JP6280425B2 - 画像処理装置、画像処理システム、３次元計測器、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、３次元計測器、画像処理方法及び画像処理プログラムに関するものである。

特許文献１には、対象物の曲面を表現する三次元座標情報からなる点群から、対象物の再生曲面を定義するための複数の点列を生成する点列生成方法であって、コンピュータが、点群内の複数の点からなる点列を抽出する点列抽出過程と、点列から解析用点列を作成する解析用点列作成過程と、解析用点列を用いて曲面解析を行い、曲面情報を算出する曲面解析処理過程と、各解析用点列の各点において、解析用点列の方向と法曲率がゼロとなる点を含む法断面の方向とが一致する特徴点を検出する特徴点検出過程と、解析用点列または三次元座標情報からなる点群内の複数の点列に特徴点を挿入して新たな点列とする点列生成過程と、を実行する点列生成方法が開示されている。

特開２０１１−１８０７８７号公報

特許文献１に記載の発明は、点群から高い精度で曲面を定義するものであるが、点群のデータが正しいか否かについては考慮されていない。したがって、点群が正しくないデータを含んでいる場合には、精度よく曲面を定義することができないという問題がある。

図１４は、点群が正しくないデータを含んでいる場合の問題を説明する図であり、（Ａ）は測定対象物を示し、（Ｂ）は測定対象物を三次元計測した結果（点群）であり、（Ｃ）は形状認識を誤った結果を示す。

図１４（Ａ）に示すようなＬ型鋼３００の断面を３次元測定器で計測すると、本来であれば、図１４（Ｂ）に示すように、Ｌ字形状の点群３０１が得られるはずである。しかしながら、図１４（Ｃ）に示すように、乱反射等により、Ｌ型鋼が無い位置に形成された点を含む点群３０１Ａが得られる場合がある。このような場合、点群３０１を基に３次元モデルを生成しようとすると、Ｌ型の対象物ではなく、図１４（Ｄ）に示すような円筒形状の対象物３０２と誤認識される恐れがある。

そこで、本発明は、計測結果からノイズを除去し、生成する３次元モデルの基となる３次元点群データの精度を高くすることができる画像処理装置、画像処理システム、３次元計測器、画像処理方法及び画像処理プログラムを提供する。

上記課題を解決すべく、本発明に係る画像処理装置は、例えば、三次元空間内に設けられた対象物のレーザビームを用いた測定結果としての点データの集合体である点群データであって、第１の方向から前記レーザビームを用いて測定した第１の点群データと、前記第１の方向と異なる第２の方向から前記レーザビームを用いて測定した第２の点群データとを取得する点群データ取得部と、前記第１の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加し、かつ、前記第２の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加する点データ生成部と、前記対象物の同一の位置に対応する前記点データが前記第１の点群データ又は前記第２の点群データの一方に含まれない場合には、前記第１の点群データ又は前記第２の点群データの他方から前記点データを削除する点群データ削除部と、前記点群データ削除部により削除された後の第１の点群データ又は前記第２の点群データを出力する出力部と、を備え、前記所定領域は、前記レーザビームの分解能に基づいて定められる３次元領域であることを特徴とする。

本発明によれば、計測結果からノイズを除去し、生成する３次元モデルの基となる３次元点群データの精度を高くすることができる。

本発明の実施形態に係る画像処理装置１の構成例を示す図である。 画像処理装置１を使用する変電所の全体模式図の一例である。 画像処理装置１のハードウェア構成を示す図である。 画像処理装置１の処理の流れを示すフローチャートである。 プラント設備である開閉器２０２を３次元測定器２０が計測する様子を示す一例である。 ３次元測定器２０の位置と、３次元点群データ２１（第１の３次元点群データ２１１、第２の３次元点群データ２１２）に含まれる任意の点Ｐと、誤差領域Ｒとの関係を示す図である。 点データ生成部１１２が複数の点データＰ１を生成する方法を説明する図である。 測定対象の一例であるＨ型鋼を示す図である。 Ｈ型鋼の端面を計測した場合におけるマッチングを説明する図である。 Ｈ型鋼の側面を計測した場合におけるマッチングを説明する図である。 点データ削除を説明する図である。 表示例である。 表示例である。 点群が正しくないデータを含んでいる場合の問題を説明する図である。

以下、実施例を図面を用いて説明する。

［構成の説明］図１は、本発明の一実施形態である画像処理装置１の構成例を示す図である。画像処理装置１は、主として、制御部１１と、出力部１２と、入力部１３と、通信部１４と、記憶部１５と、を有する。画像処理装置１には、主として、３次元測定器２０と、表示装置３０と、図示しない３次元ＣＡＤサーバとが有線又は無線で接続されている。

なお、画像処理装置１、３次元測定器２０、及び表示装置３０は、同一又は近い場所にあってもよいし、異なる場所（例えば、３次元測定器２０及び表示装置３０は現場、画像処理装置１はオフィス）にあってもよい。

制御部１１は、画像処理装置１の全体を制御する処理を行う。制御部１１の内部の構成については、後に詳述する。

出力部１２は、プログラムの実行状態、処理結果等の出力を行う。

入力部１３は、ユーザからのプログラム実行開始指示や中止指示等の入力を行う。

通信部１４は、画像処理装置１の各部間のデータ交換を行う。また、通信部１４は、他装置（例えば、３次元測定器２０や、図示しない３次元ＣＡＤサーバ）と通信してデータ交換を行う。

記憶部１５は、取得した各種データを一時的に保存したり、作成したデータを記憶したりする。

３次元測定器２０は、発電所２００（後述）等のプラントにあるプラント設備（対象物）の各部位にレーザビームを照射し、三次元の測定結果を取得する。３次元測定器２０は、すでに一般的であるため、説明を省略する。

図２は、発電所２００の全体図である。発電所２００は、例えば数十〜数百メートルの大きさを有するメタルクラッド２０１、開閉器２０２等を有する。３次元測定器２０は、例えば１００ｍ程度離れたところからメタルクラッド２０１、開閉器２０２等のプラント設備にレーザビームを照射し、三次元の測定結果を取得する。

３次元測定器２０による対象物の測定結果は、図示しない処理装置等でデータ処理され、３次元点群データ２１として画像処理装置１に出力される。３次元点群データ２１は、点データの集合体である。本実施の形態では、３次元測定器２０からは、プラント設備を複数の方向（例えば、２方向）からレーザビームを照射した結果、すなわち複数の３次元点群データ２１が画像処理装置１に出力される。

さらに、画像処理装置１には、図示しない３次元ＣＡＤサーバから３次元ＣＡＤデータ２２が出力される。３次元ＣＡＤデータ２２は、プラント設備等の３次元設計データ又はカタログデータである３次元ＣＡＤデータである。なお、本実施の形態では、３次元設計データはポリゴンデータであるが、これに限定されない。

図１の説明に戻る。表示装置３０は、ＣＲＴモニタ、液晶モニタ等のディスプレイ装置により構成される。

次に、制御部１１の各構成について詳細に説明する。図１に示すように、制御部１１は、主として、点群データ取得部１１１と、点データ生成部１１２と、点群データマッチング部１１３と、点データ削除部１１４と、３次元ＣＡＤデータ取得部１１５と、３次元ＣＡＤデータマッチング部１１６と、３次元ＣＡＤデータ生成部１１７とを有する。

点群データ取得部１１１は、３次元測定器２０から出力された複数の３次元点群データ２１を取得する。

点データ生成部１１２は、３次元点群データ２１に含まれる各点データに対して、点データの周囲に新たな点データを生成する。点データ生成部１１２が行う処理については、後に詳述する。

点群データマッチング部１１３は、点データ生成部１１２が処理した後の複数の３次元点群データ２１を、それぞれマッチング（重ね合わせ）する。点群データマッチング部１１３が行う処理については、後に詳述する。

点データ削除部１１４は、点群データマッチング部１１３がマッチングした結果、複数の３次元点群データ２１の全てに含まれていない点データを、それぞれの３次元点群データ２１から削除する。また、点データ削除部１１４は、３次元ＣＡＤデータマッチング部１１６により３次元ＣＡＤデータ２２とマッチングされた場合には、３次元ＣＡＤデータ２２とマッチングされた点データについては３次元点群データ２１から削除しない。点データ削除部１１４が行う処理については、後に詳述する。

３次元ＣＡＤデータ取得部１１５は、図示しない３次元ＣＡＤサーバなどから３次元ＣＡＤデータ２２を取得する。

３次元ＣＡＤデータマッチング部１１６は、３次元ＣＡＤデータ２２が取得された場合には、点データ生成部１１２が点データを生成した後の３次元点群データ２１に対して、３次元ＣＡＤデータ２２とマッチング（重ね合わせ）する。３次元ＣＡＤデータマッチング部１１６が行う処理については、後に詳述する。

なお、本実施の形態では、３次元ＣＡＤデータ取得部１１５は、３次元ＣＡＤデータ２２を取得し、３次元ＣＡＤデータマッチング部１１６は、３次元ＣＡＤデータ２２を３次元点群データ２１とマッチングするが、３次元ＣＡＤデータ２２は３次元データ（立体図形として認識可能なデータ）の一例であり、３次元ＣＡＤデータには限定されない。

３次元ＣＡＤデータ生成部１１７は、点データ削除部１１４により点データが削除された３次元点群データ２１に基づいて、３次元ＣＡＤデータを生成する。３次元点群データ２１に基づいて３次元ＣＡＤデータを生成する方法は、公知であるため、説明を省略する。なお、３次元ＣＡＤデータは、３次元モデル（立体図形として認識可能な画像）の一例であり、これに限定されない。

なお、点データ生成部１１２、３次元ＣＡＤデータ取得部１１５、３次元ＣＡＤデータマッチング部１１６、及び３次元ＣＡＤデータ生成部１１７は、必須の構成ではない（後に詳述）。

さらに、３次元ＣＡＤデータ生成部１１７は、点群データ取得部１１１と、点データ生成部１１２と、点群データマッチング部１１３と、点データ削除部１１４と、３次元ＣＡＤデータ取得部１１５と、３次元ＣＡＤデータマッチング部１１６と（少なくとも、点群データ取得部１１１と、点群データマッチング部１１３と、点データ削除部１１４と）を有する制御部が設けられた画像処理装置とは異なる画像処理装置に設けられていてもよい。これらの２個の画像処理装置は、有線又は無線で接続されている。また、これらの２個の画像処理装置は、同一又は近い場所にあってもよいし、異なる場所にあってもよい。

図３は、画像処理装置１のハードウェア構成を示す図である。図示するように、例えばコンピュータなどで構成される画像処理装置１は、演算装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、揮発性の記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や不揮発性の記憶装置であるＲＯＭ（Ｒｅａｄ ｏｎｌｙ Ｍｅｍｏｒｙ）からなるメモリ１０２と、外部記憶装置１０３と、外部の装置と通信を行う通信装置１０４と、ユーザからの入力を受け付けるキーボード、マウス、或いはタッチパネル等のユーザインターフェイスで構成される入力装置１０５と、ディスプレイ等の出力装置１０６と、ＣＤドライブ、ＤＶＤドライブ等の読み書き装置１０７と、画像処理装置１と他のユニットを接続するインターフェイス（Ｉ／Ｆ）１０８とを備える。

上記の制御部１１の各機能部は、例えば、ＣＰＵ１０１がメモリ１０２に格納された所定のプログラムをメモリ１０２に読み出して実行することにより実現される。なお、所定のプログラムは、例えば、予めメモリ１０２にインストールされてもよいし、通信装置１０４を介して図示しない通信ネットワークからダウンロードされてインストール又は更新されてもよいし、外部記憶装置１０３からインストール又は更新されてもよいし、読み書き装置１０７を介してＣＤ、ＤＶＤ等の可搬性記憶媒体１０９からインストール又は更新されてもよい。入力部１３は入力装置１０５により実現される。出力部１２及び通信部１４は通信装置１０４及びＩ／Ｆ１０８により実現される。記憶部１５はメモリ１０２により実現される。表示装置３０は出力装置１０６により実現される。なお、出力装置１０６は画像処理装置１の構成として必須ではなく、Ｉ／Ｆ１０８を介して接続されていてもよい。

以上の画像処理装置１の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られなるものではない。

［動作の説明］次に、本実施形態における画像処理装置１の動作を説明する。

図４は、本実施形態における画像処理装置１の全体の処理の流れを示すフローチャートである。当該処理は、入力部１３によりプログラム実行開始指示が入力された後で開始される。

点群データ取得部１１１は、３次元測定器２０により第１の方向からプラント設備を計測した結果である第１の３次元点群データ２１１を取得する（ステップＳ２００）。また、点群データ取得部１１１は、３次元測定器２０により第２の方向からプラント設備を計測した結果である第２の３次元点群データ２１２を取得する（ステップＳ２０２）。

図５は、プラント設備である開閉器２０２を３次元測定器２０が計測する様子を示す一例である。本実施の形態では、開閉器２０２は大きいため、図５の一点鎖線で囲む開閉器２０２の一部を３次元測定器２０で計測する例を説明する。ステップＳ２００では、方向Ａ（第１の方向）から開閉器２０２を計測した結果である第１の３次元点群データ２１１を取得する。また、ステップＳ２０２では、方向Ａと異なる方向である方向Ｂ（第２の方向）から開閉器２０２を計測した結果である第２の３次元点群データ２１２を取得する。これにより、２方向から開閉器２０２の一部を計測した結果を取得できる。

第１の３次元点群データ２１１、第２の３次元点群データ２１２が取得されると、点データ生成部１１２は、第１の３次元点群データ２１１、第２の３次元点群データ２１２に含まれる各点データに対して、点データの周囲に新たな点データを生成する（ステップＳ２０４）。ステップＳ２０４の処理について、詳細に説明する。

図６は、３次元測定器２０の位置と、３次元点群データ２１（第１の３次元点群データ２１１、第２の３次元点群データ２１２）に含まれる任意の点Ｐと、誤差領域Ｒとの関係を示す図である。誤差領域Ｒとは、計測された点である点Ｐの位置と、計測された点（点Ｐ）の基となる対象物の位置との、誤差範囲である。この誤差範囲は、３次元測定器２０が３次元点群データ２１の取得に用いるレーザビームの分解能に起因する誤差の範囲を示す３次元領域である。すなわち、誤差領域Ｒは、点データの位置の誤差範囲ということもできる。本実施の形態では、計測された点である点Ｐが誤差領域Ｒの中心にあるとして３次元測定器２０により形成された３次元点群データ２１が取得される。

図６に示すように、誤差領域Ｒは、主として、平面方向の計測分解能Ｈと、高さ方向の計測分解能Ｖとより決定される。ここで、平面方向の計測分解能Ｈ及び高さ方向の計測分解能Ｖは、計測原点（ここでは、３次元測定器２０の位置）と計測対象との距離Ｌにより決定される。例えば、Ｌ＝１０ｍの場合には、平面方向の計測分解能Ｈ及び高さ方向の計測分解能Ｖは±２ｍｍ（４ｍｍ）程度であるが、本実施の形態における使用条件であるＬ＝１００ｍの場合には、平面方向の計測分解能Ｈ及び高さ方向の計測分解能Ｖは±２０ｍｍ（４０ｍｍ）程度となる。また、３次元測定器２０の公称測定限界であるＬ＝１２０ｍの場合には、平面方向の計測分解能Ｈ及び高さ方向の計測分解能Ｖは±２４ｍｍ（４８ｍｍ）程度となる。なお、距離Ｌと、平面方向の計測分解能Ｈ及び高さ方向の計測分解能Ｖとの関係は、記憶部１５等に予め記憶しておいてもよいし、３次元測定器２０から取得してもよい。このように、誤差領域Ｒを分解能に基づいて定めることで、誤差領域Ｒを距離Ｌに応じた大きさとすることができる。

点データ生成部１１２は、３次元測定器２０から距離Ｌに関する情報を取得する。また、点データ生成部１１２は、図６に示すように、距離Ｌに基づいて点Ｐの周囲に誤差領域Ｒを設定し、誤差領域Ｒの範囲内に複数の点データＰ１を生成する。点データ生成部１１２は、点Ｐに近い領域は点データＰ１を多く、点Ｐから遠くなるにつれて点データＰ１が少なくなるように、誤差領域Ｒ内に点データを生成する。

図７は、点データ生成部１１２が複数の点データＰ１を生成する方法を説明する図である。図７（Ａ）は、点データＰ１を生成に用いる標準正規分布の密度関数を示し、図７（Ｂ）は標準正規分布の密度関数と点データとの関係とを示す図である。点データ生成部１１２は、点Ｐの位置を原点とする標準正規分布の密度関数におけるσ及び３σを半径とする円α及び円βを点Ｐの周囲に生成する。円α及び円βは、誤差領域Ｒに含まれる。

そして、円αの内側には、高い密度で点データを生成し、円αの外側かつ円βの内側には、円αの内側より低い密度で点データを生成する。例えば、点データ生成部１１２は、円αの内側と、円αの外側かつ円βの内側とにそれぞれ１０個ずつ点データを生成する。また、例えば、点データ生成部１１２は、円αの内側は密度Ｄ１で点データを生成し、円αの外側かつ円βの内側は密度Ｄ２（Ｄ１＞Ｄ２）で点データを生成してもよい。

なお、本実施の形態では、標準正規分布の密度関数を用いて点データＰ１を生成したが、点データＰ１を生成する方法はこれに限られない。点データ生成部１１２は、点Ｐに近い領域は点データＰ１を多く、点Ｐから遠くなるにつれて点データＰ１が少なくなるように、誤差領域Ｒ内に点データＰ１を生成するのであれば、どのような方法を用いてもよい。

また、誤差領域Ｒはこれに限られない。誤差領域Ｒは、第１の点群データ２１の取得に用いるレーザビームの分解能に基づいて定められる３次元領域であればよい。例えば、平面方向の計測分解能Ｈは、例示した大きさ（Ｌ＝１００ｍの場合に±２０ｍｍ等）よりも大きく設定することもできる。また、図６に示す例では、誤差領域の平面方向の計測分解能Ｈと平行な面が曲面であるが、平面でもよい。

図４の説明に戻る。ステップＳ２００、Ｓ２０２で取得した第１の３次元点群データ２１１、第２の３次元点群データ２１２の基となるプラント設備のデータが、３次元ＣＡＤデータ取得部１１５が取得した３次元ＣＡＤデータ２２に含まれる場合には、３次元ＣＡＤデータマッチング部１１６は、点データを生成した（ステップＳ２０４）後の第１の３次元点群データ２１１、第２の３次元点群データ２１２のそれぞれに対して、３次元ＣＡＤデータ２２とマッチング（重ね合わせ）を行う。そして、３次元ＣＡＤデータマッチング部１１６は、第１の３次元点群データ２１１、第２の３次元点群データ２１２のうちの３次元ＣＡＤデータ２２の面と一致する点データを面として拘束する（面拘束）（ステップＳ２０６）。

なお、ステップＳ２００、Ｓ２０２で取得した第１の３次元点群データ２１１、第２の３次元点群データ２１２の基となるプラント設備のデータが、３次元ＣＡＤデータ取得部１１５が取得した３次元ＣＡＤデータ２２に含まれない場合には、ステップＳ２０６は行われない。

図８〜１０を用いて、ステップＳ２０６について説明する。図８は、測定対象の一例であるＨ型鋼を示す図である。点群データ取得部１１１は、図８に示すようなＨ型鋼の端面を計測（図８におけるＨ方向から計測）した結果を、３次元点群データ２１として取得する。３次元ＣＡＤデータ取得部１１５が取得した３次元ＣＡＤデータ２２には、Ｈ型鋼の端面形状、Ｈ型鋼の端面の寸法比（ここでは、ｘ：ｙ）等に関する情報が含まれる。

図９は、Ｈ型鋼の端面を計測した場合におけるマッチングを説明する図である。図９（Ａ）は図８に示すＨ型鋼の端面を計測した３次元点群データ２１である。図９（Ｂ）は、図９（Ａ）に示す３次元点群データ２１に３次元ＣＡＤデータ２２をマッチングさせた状態である。図を分かりやすくするため、図９（Ｂ）においては、３次元点群データ２１は白丸又はハッチングを施した丸で表示している。また、図９（Ｂ）における線は、３次元ＣＡＤデータ２２を示している。

図９（Ａ）に示す３次元点群データ２１は、様々な計測誤差により、Ｈ形となっていない。それに対し、３次元ＣＡＤデータ２２は、カタログ等の通りであるため、Ｈ形である。３次元ＣＡＤデータ２２には、Ｈ型鋼の端面形状と、Ｈ型鋼の端面の寸法比（ここでは、ｘ：ｙ）が分かるデータとが含まれるため、３次元ＣＡＤデータマッチング部１１６は、３次元点群データ２１の寸法(絶対値)が判明していなくても、３次元点群データ２１に３次元ＣＡＤデータ２２をマッチングすることが出来る。

なお、３次元ＣＡＤデータマッチング部１１６が３次元ＣＡＤデータ２２を用いて拘束する面は、平面に限られず、円筒形状の面や曲面でもよい。

３次元ＣＡＤデータマッチング部１１６は、３次元点群データ２１のうちの３次元ＣＡＤデータ２２とマッチングした点データについては、点の移動、削除等が出来ないように、面として拘束する。図９（Ｂ）においては、３次元ＣＡＤデータ２２はＨの形状を形成する３個の面ｈ１、ｈ２、ｈ３を有する。３次元ＣＡＤデータマッチング部１１６は、３次元ＣＡＤデータ２２と重なる点データ（ハッチングを施した点データ）のうち、面ｈ１と重なる点データを面ｈ１として拘束し、面ｈ２と重なる点データを面ｈ２として拘束し、面ｈ３と重なる点データを面ｈ３として拘束する。

また、図８に示すようなＨ型鋼の側面を計測（図８におけるＩ方向から計測）した場合を考える。Ｈ型鋼は金属であるため、特に角で乱反射が発生しやすい。乱反射により、本来計測される位置以外の位置に点データが計測されてしまう。

図１０は、Ｈ型鋼の側面を計測した場合におけるマッチングを説明する図である。図１０（Ａ）は、乱反射により、本来計測される位置以外の位置で点データが計測されてしまうことを説明する図であり、図１０（Ｂ）は、Ｈ型鋼の側面を計測した３次元点群データ２１に３次元ＣＡＤデータ２２をマッチングさせた状態を示す。

計測原点（ここでは、３次元測定器２０の位置）からＨ型鋼の角の任意の点Ｍにレーザビームが照射されたときに、レーザビームはＨ型鋼上にない点Ｎに向けて乱反射する。３次元測定器２０は対象物で反射して帰ってきたレーザビームに基づいて点データを生成するため、図１０（Ａ）に示す場合には、３次元測定器２０は、レーザビームが点Ｎから帰ってきたと認識し、点Ｎの位置に点データを生成してしまう。

その結果、図１０（Ｂ）に示すように、３次元点群データ２１は、本来計測される点データ２１ａと、乱反射等による誤った点データ２１ｂとが含まれることとなる。また、乱反射等による誤った点データ２１ｂが形成された場合には、本来計測される位置に点データが計測されないこととなる。

しかしながら、３次元ＣＡＤデータ２２をマッチングさせることで、Ｈ型鋼の側面の形状が分かるため、計測されるべき点データ２１ａと、乱反射による誤った点データ２１ｂとを明確に区別することができる。そして、３次元ＣＡＤデータ２２とマッチングした点データ（例えば、３次元ＣＡＤデータ２２の内側にある点データ２１ａ）については、点の移動、削除等が出来ないように、面として拘束する。これにより、他方向（例えば、方向Ｈ）から計測したＨ型鋼の側面の計測結果に、乱反射等で点データ２１ａに相当する点データが含まれない場合にも、点データ２１ａを削除することを防止し、点データ２１ａを３次元データの生成に用いることができる。

図４の説明に戻る。点群データマッチング部１１３は、点データ生成部１１２により点データが生成され（ステップＳ２０４）、３次元ＣＡＤデータマッチング部１１６により面拘束された（ステップＳ２０６）第１の３次元点群データ２１１、第２の３次元点群データ２１２を重ねあわせる（ステップＳ２０８）。そして、点データ削除部１１４は、第１の３次元点群データ２１１、第２の３次元点群データ２１２を重ねあわせた（ステップＳ２０８）結果、一致しない点データを削除する（ステップＳ２１０）。ステップＳ２１０について図１１を用いて説明する。

図１１は、点データ削除を説明する図である。図１１（Ａ）は、第１の３次元点群データ２１１であり、図１０（Ｂ）は、第２の３次元点群データ２１２である。

第１の３次元点群データ２１１は、図５に示す方向Ａ（側面）から開閉器２０２を計測したデータである。したがって、開閉器２０２の角Ｅで乱反射が発生し、本来無い点データ（点データａ）が第１の３次元点群データ２１１に含まれている。

第２の３次元点群データ２１２は、図５に示す方向Ｂ（上面）から開閉器２０２を計測したデータである。したがって、点データａは第２の３次元点群データ２１２に含まれていない。しかしながら、面Ｔにおける反射の影響等により、本来無い点データ（点データｃ）が第２の３次元点群データ２１２に含まれている。

点データ削除部１１４は、第１の３次元点群データ２１１にあって第２の３次元点群データ２１２にない点である点データａを第１の３次元点群データ２１１から削除する。また、点データ削除部１１４は、第２の３次元点群データ２１２にあって第１の３次元点群データ２１１にない点である点データｃを第２の３次元点群データ２１２から削除する。

第１の３次元点群データ２１１にあって第２の３次元点群データ２１２にない点である点データａや第２の３次元点群データ２１２にあって第１の３次元点群データ２１１にない点である点データｃは、点群データマッチング部１１３が第１の３次元点群データ２１１、第２の３次元点群データ２１２を重ねあわせる（ステップＳ２０８）ことにより判明する。

具体的には、点群データマッチング部１１３は、第１の３次元点群データ２１１の各点データに対して、点データの基となる対象物の位置を判定する。また、点群データマッチング部１１３は、第２の３次元点群データ２１２の各点データに対して、点データの基となる対象物の位置を判定する。これは、第１の３次元点群データ２１１の各点データと第１の３次元点群データ２１１の測定原点、及び第２の３次元点群データ２１２の各点データと第２の３次元点群データ２１２の測定原点を同じ座標上に置くことにより可能となる。

そして、点群データマッチング部１１３は、第１の３次元点群データ２１１と第２の３次元点群データ２１２とを重ねあわせることで、第１の３次元点群データ２１１に含まれる任意の点データ（第１の点データ）の基となる対象物の位置を測定した点データが第２の３次元点群データ２１２に含まれるかどうか、及び第２の３次元点群データ２１２に含まれる任意の点データ（第２の点データ）の基となる対象物の位置を測定した点データが第１の３次元点群データ２１１に含まれるかどうかを判定する。つまり、点群データマッチング部１１３は、対象物の同一の位置を測定した点データが第１の３次元点群データ２１１及び第２の３次元点群データ２１２に含まれるか否かを判定する。

なお、同一の位置を測定した点データが第１の３次元点群データ２１１及び第２の３次元点群データ２１２に含まれるかどうかの判定において、完全に同一の位置の場合に限らず、微小誤差だけずれている等の実質的に同一の位置の場合には、同一の位置を測定した点データとすることができる。

そして、点データ削除部１１４は、第１の３次元点群データ２１１に含まれる第１の点データの基となる対象物の位置を測定した点データが第２の３次元点群データ２１２に含まれない場合には、第１の点データを第１の３次元点群データ２１１から削除する。また、点データ削除部１１４は、第２の３次元点群データ２１２に含まれる第２の点データの基となる対象物の位置を測定した点データが第１の３次元点群データ２１１に含まれない場合には、第２の点データを第２の３次元点群データ２１２から削除する。

図１１（Ｃ）は、点データａを第１の３次元点群データ２１１から削除した結果であり、また点データｃを第２の３次元点群データ２１２から削除した、すなわち第１の３次元点群データ２１１及び第２の３次元点群データ２１２からノイズを除去した結果である。この結果、第１の３次元点群データ２１１及び第２の３次元点群データ２１２には、第１の３次元点群データ２１１及び第２の３次元点群データ２１２の両方に含まれる点データｂのみが残される。

これにより、３次元点群データ２１からノイズを除去し、３次元点群データ２１の精度を高くすることが出来る。

ただし、点データ削除部１１４は、第１の３次元点群データ２１１にあって第２の３次元点群データ２１２にない点データや、第２の３次元点群データ２１２にあって第１の３次元点群データ２１１にない点データであっても、ステップＳ２０６で面拘束されている場合には、削除（ノイズとして除去しない）ようにする。これにより、３次元点群データ２１の精度をより高くすることができる。

次に、３次元ＣＡＤデータ生成部１１７は、ノイズを除去した（ステップＳ２１０）後の３次元点群データ２１から３次元ＣＡＤデータを生成し、出力部１２が生成した３次元データを表示装置３０へ出力する（ステップＳ２１２）。図１３は、表示装置３０における表示例である。これにより、精度の高い３次元ＣＡＤデータを生成することができる。以上で画像処理装置１の処理を終了する。

本実施の形態によれば、異なる方向から計測した３次元点群データにおいて、異なる方向から計測した３次元点群データの両方に含まれない点データについては、ノイズとして除去することで、３次元点群データ２１の精度を高くすることができる。

また、本実施の形態では、誤差領域内に点データを生成することで、３次元点群データにおける点データの間隔、すなわち点データの位置の誤差を誤差領域の大きさより小さくすることが出来る。そのため、３次元点群データ２１の精度を、３次元測定器の測定限界よりも高い精度とすることが出来る。

本実施の形態では、３次元測定器２０を用いて、例えば数十〜数百メートルの大きさを有する大きなプラント設備を、例えば１００ｍ程度離れたところから測定する。このように、１００ｍ程度離れた遠方から測定することで、誤差領域（点データの位置の誤差と同義）が±２０ｍｍ程度と大きくなってしまう。しかしながら、例えばプラント設備内の線路等の設置においては、数ｍｍ（例えば、５ｍｍ）程度の誤差しか許されない。本実施の形態では、誤差領域内に点データを生成（追加）するため、点と点との間隔を小さくし、生成する３次元データの精度を向上させることができる。

さらに、本実施の形態では、誤差領域内に点データを生成した後のデータに対して、異なる方向から計測した３次元点群データの両方に含まれない点データについては、ノイズとして除去する。したがって、３次元点群データの両方に含まれる点の数を増やし、生成する３次元データの精度を向上させることができる。

また、本実施の形態では、３次元ＣＡＤデータを用いて面拘束を行うため、３次元点群データ２１の精度をより高くすることができる。特に、面拘束をしていない場合には、３次元点群データの両方に含まれない点データを削除するのに対し、面拘束をした点データは、片方の３次元点群データにしか含まれない場合にも削除しないため、３次元データ生成の基とすることができる。したがって、効率よくかつ正確な３次元ＣＡＤデータを生成可能な３次元点群データとすることができる。

なお、本実施の形態では、点群データ取得部１１１は異なる２つの方向から対象物を測定した結果である３次元点群データ２１（第１の３次元点群データ２１１、第２の３次元点群データ２１２）を取得したが、点群データ取得部１１１が取得するのは、異なる２方向から対象物を測定した結果である３次元点群データ２１に限られない。例えば、点群データ取得部１１１は、異なる３方向から測定した対象物を測定した結果である３次元点群データ２１を取得してもよい。

なお、点データ生成部１１２は、本発明において必須の構成ではない。例えば、本実施の形態では、３次元ＣＡＤデータマッチング部１１６は、点データ生成部１１２で点データを生成した３次元点群データ２１に対して、３次元ＣＡＤデータ２２とマッチングを行ったが、３次元ＣＡＤデータマッチング部１１６が３次元ＣＡＤデータ２２とマッチングを行うデータは、点群データ取得部１１１が取得した３次元点群データ２１でもよい。また、例えば、本実施の形態では、点群データマッチング部１１３は、点データ生成部１１２で点データを生成した複数の３次元点群データ２１をそれぞれマッチングしたが、点群データマッチング部１１３がマッチングする複数の３次元点群データ２１は、点群データ取得部１１１が取得した３次元点群データ２１でもよい。しかしながら、使用する点の情報量を増やし、精度を向上させるためには、点群データマッチング部１１３は、点データ生成部１１２で点データを生成した後の複数の３次元点群データ２１をマッチングすることが望ましい。

また、３次元ＣＡＤデータ取得部１１５及び３次元ＣＡＤデータマッチング部１１６は、本発明において必須の構成ではない。例えば、本実施の形態では、点群データマッチング部１１３は、点データ生成部１１２が点データを生成し、３次元ＣＡＤデータマッチング部１１６が３次元ＣＡＤデータ２２とマッチングを行った後の複数の３次元点群データ２１をマッチングしたが、点群データマッチング部１１３がマッチングする複数の３次元点群データ２１は、点群データ取得部１１１が取得した３次元点群データ２１でもよい。ただし、使用する点の情報量を増やし、精度を向上させためには、点データ削除部１１４は、面拘束後の３次元点群データ２１から点データを削除することが望ましい。

また、３次元ＣＡＤデータ生成部１１７は、本発明において必須の構成ではない。例えば、３次元ＣＡＤデータ生成部１１７がない場合には、ステップＳ２１２において、出力部１２は、点データ削除部１１４により点データが削除された３次元点群データ２１を表示装置３０へ出力すればよい。図１３は、３次元点群データ２１を表示装置３０が出力された場合の表示例である。この場合には、表示装置３０には、点データの集合体が表示される。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない（本実施形態の一部の構成を有する画像処理装置は、本発明に含まれる）。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、本発明は、画像処理装置として提供する場合に限られない。複数の画像処理装置を有するシステムとして提供してもよいし、画像処理装置と３次元測定器とを有するシステムとして提供してもよい。また、画像処理装置を含む３次元測定器として提供してもよい。

また、本発明は、本実施の形態に記載の発電所等のプラントに適用する場合には限定されず、エレベータの設置や補修、鉄道の敷設や補修等の工事現場にも適用することができる。本発明は、規模が大きく、遠方から現場全体を計測し、３次元モデルの基となる点群データを生成する場合に特に好適であるが、ＮＣ工作機械等の小型の機器にも適用可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部をハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することよりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報戦を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１ ：画像処理装置
１１ ：制御部
１２ ：出力部
１３ ：入力部
１４ ：通信部
１５ ：記憶部
２０ ：３次元測定器
２１ ：３次元点群データ
２２ ：３次元ＣＡＤデータ
３０ ：表示装置
１０１ ：ＣＰＵ
１０２ ：メモリ
１０３ ：外部記憶装置
１０４ ：通信装置
１０５ ：入力装置
１０６ ：出力装置
１０７ ：読み書き装置
１０８ ：Ｉ／Ｆ
１１１ ：点群データ取得部
１１２ ：点データ生成部
１１３ ：点群データマッチング部
１１４ ：点データ削除部
１１５ ：３次元ＣＡＤデータ取得部
１１６ ：３次元ＣＡＤデータマッチング部
１１７ ：３次元ＣＡＤデータ生成部
２００ ：発電所
２０１ ：メタルクラッド
２０２ ：開閉器
２１１ ：第１の３次元点群データ
２１２ ：第２の３次元点群データ

Claims (8)

1. 三次元空間内に設けられた対象物のレーザビームを用いた測定結果としての点データの集合体である点群データであって、第１の方向から前記レーザビームを用いて測定した第１の点群データと、前記第１の方向と異なる第２の方向から前記レーザビームを用いて測定した第２の点群データとを取得する点群データ取得部と、
   前記第１の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加し、かつ、前記第２の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加する点データ生成部と、
   前記対象物の同一の位置に対応する前記点データが前記第１の点群データ又は前記第２の点群データの一方に含まれない場合には、前記第１の点群データ又は前記第２の点群データの他方から前記点データを削除する点群データ削除部と、
   前記点群データ削除部により削除された後の第１の点群データ又は前記第２の点群データを出力する出力部と、
   を備え、
   前記所定領域は、前記レーザビームの分解能に基づいて定められる３次元領域である
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記対象物が有する面の形状を含む３次元ＣＡＤデータを取得する３次元ＣＡＤデータ取得部を備え、
   前記点群データ削除部は、前記第１の点群データ又は前記第２の点群データと、前記３次元ＣＡＤデータとを重ね合わせ、前記第１の点群データ又は前記第２の点群データと前記３次元ＣＡＤデータにおける面と一致する点データについては、削除しない
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記点群データ削除部により削除された後の第１の点群データ又は前記第２の点群データに基づいた３次元モデルを生成する３次元モデル生成部を備え、
   前記出力部は、前記生成された３次元モデルを出力する
   ことを特徴とする画像処理装置。
4. 三次元空間内に設けられた対象物のレーザビームを用いた測定結果としての点データの集合体である点群データであって、第１の方向から前記レーザビームを用いて測定した第１の点群データと、前記第１の方向と異なる第２の方向から前記レーザビームを用いて測定した第２の点群データとを取得する点群データ取得部と、
   前記第１の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加し、かつ、前記第２の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加する点データ生成部と、
   前記対象物の同一の位置に対応する前記点データが前記第１の点群データ又は前記第２の点群データの一方に含まれない場合には、前記第１の点群データ又は前記第２の点群データの他方から前記点データを削除する点群データ削除部と、
   前記点群データ削除部により削除された後の第１の点群データ又は前記第２の点群データを出力する出力部と、を備え、
   前記所定領域は、前記レーザビームの分解能に基づいて定められる３次元領域である
   第１の画像処理装置と、
   前記第１の画像処理装置から出力された第１の点群データ又は前記第２の点群データに基づいた３次元モデルを生成する３次元モデル生成部を備えた第２の画像処理装置と、
   を備えたことを特徴とする画像処理システム。
5. 三次元空間内に設けられた対象物をレーザビームを用いて測定し、その測定結果を点データの集合体である点群データとして出力する３次元計測器と、
   画像処理装置と、を備えた画像処理システムであって、
   前記画像処理装置は、
   前記３次元計測器により第１の方向から測定された第１の点群データと、前記第１の方向と異なる第２の方向から測定された第２の点群データとを取得する点群データ取得部と、
   前記第１の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加し、かつ、前記第２の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加する点データ生成部と、
   前記対象物の同一の位置に対応する前記点データが前記第１の点群データ又は前記第２の点群データの一方に含まれない場合には、前記第１の点群データ又は前記第２の点群データの他方から前記点データを削除する点群データ削除部と、
   前記点群データ削除部により削除された後の第１の点群データ又は前記第２の点群データを出力する出力部と、
   を備え、
   前記所定領域は、前記レーザビームの分解能に基づいて定められる３次元領域である
   ことを特徴とする画像処理システム。
6. 三次元空間内に設けられた対象物をレーザビームを用いて測定し、その測定結果を点データの集合体である点群データとして出力する計測部と、
   前記計測部により第１の方向から測定された第１の点群データと、前記第１の方向と異なる第２の方向から測定された第２の点群データとを取得する点群データ取得部と、
   前記第１の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加し、かつ、前記第２の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加する点データ生成部と、
   前記対象物の同一の位置に対応する前記点データが前記第１の点群データ又は前記第２の点群データの一方に含まれない場合には、前記第１の点群データ又は前記第２の点群データの他方から前記点データを削除する点群データ削除部と、
   前記点群データ削除部により削除された後の第１の点群データ又は前記第２の点群データを出力する出力部と、
   を備え、
   前記所定領域は、前記レーザビームの分解能に基づいて定められる３次元領域である
   ことを特徴とする３次元計測器。
7. 三次元空間内に設けられた対象物のレーザビームを用いた測定結果としての点データの集合体である点群データであって、第１の方向から前記レーザビームを用いて測定した第１の点群データと、前記第１の方向と異なる第２の方向から前記レーザビームを用いて測定した第２の点群データとを取得するステップと、
   前記第１の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加し、かつ、前記第２の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加するステップと、
   前記対象物の同一の位置に対応する前記点データが前記第１の点群データ又は前記第２の点群データの一方に含まれない場合には、前記第１の点群データ又は前記第２の点群データの他方から前記点データを削除するステップと、
   前記点データが削除された後の第１の点群データ又は前記第２の点群データを出力するステップと、
   を含み、
   前記所定領域は、前記レーザビームの分解能に基づいて定められる３次元領域である
   ことを特徴とする画像処理方法。
8. 三次元空間内に設けられた対象物のレーザビームを用いた測定結果としての点データの集合体である点群データであって、第１の方向から前記レーザビームを用いて測定した第１の点群データと、前記第１の方向と異なる第２の方向から前記レーザビームを用いて測定した第２の点群データとを取得するステップと、
   前記第１の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加し、かつ、前記第２の点群データを構成する点データのそれぞれに対して、当該点データを中心とした所定領域内に複数の点データを追加するステップと、
   前記対象物の同一の位置に対応する前記点データが前記第１の点群データ又は前記第２の点群データの一方に含まれない場合には、前記第１の点群データ又は前記第２の点群データの他方から前記点データを削除するステップと、
   前記点データが削除された後の第１の点群データ又は前記第２の点群データを出力するステップと、
   を演算装置に実行させ、
   前記所定領域は、前記レーザビームの分解能に基づいて定められる３次元領域である
   ことを特徴とする画像処理プログラム。

Images