JP7539110B2 - 外観検査支援システム及び外観検査支援方法 - Google Patents

Description

本発明は、人体よりサイズの大きい人工物又は自然物の外観検査を支援するためのコンピュータを利用したシステム及び方法に関する。

例えば、巨大な貯蔵タンクが林立するタンクヤードでは、各タンクの塗装の劣化や腐食などの異常状態を人が外観観察（例えば、目視と携帯カメラによる写真撮影）をすることによって調べる。異常部分の面積がある程度よりも広い範囲である場合には、タンクには修繕が施される。

このような大型の対象物の検査では、人が対象物の周囲を歩きまわって異常を見つけて写真撮影する。そして、撮影された沢山の写真を用いて検査結果レポートを作成するなどの作業に要する労力と時間は相当に大きい。また、タンクの高い部分のように、人が近づいて観察することが難しい個所も少なくない。

こうした問題の解決の一助として、無人航空機の利用がある。例えば特許文献１には、カメラを備える飛行装置により撮影された検査対象物の複数の画像に基づいて、検査対象物の３次元モデルを生成するシステムが開示されている。このシステムは、上記複数の画像に基づいて検査対象の異常を検出し、検出した異常の３次元座標系における位置を特定し、異常の位置に対応付けて画像を記憶し、上記３次元モデル上での任意の位置（座標）の指定を受け付け、指定された位置に対応する画像を特定して表示する。

特開２０１９－２１１２５７号公報

特許文献１に開示されたシステムによれば、検査物の複数の画像に基づいて生成される３次元モデル上に、検出した異常個所をマッピングする。これにより、異常個所に対応する写真画像を見ることができる。

しかしながら、対象物の修繕の要否又は費用見積もりなどを判断する場合には、対象物の異常部分が対象物のどの位置に存在し、その面積の値又はその割合がいくつであるかというような、異常部分の定量的な情報が特定されることが求められる。すなわち、その定量的情報がレポートなどの書面上に図面や文を用いて的確に表現されることが求められる。この目的のためには、ディスプレイ画面に表示された３次元モデル上で異常個所の写真画像が見れるだけでは不十分である。

また、無人飛行体での写真撮影が制限される対象物が存在する。例えば、ある貯蔵タンクの隣に近接して別の貯蔵タンクが存在し、両タンクに挟まれた領域が無人飛行体の飛行には狭すぎる場合、その領域に面したタンク部分を無人飛行体で撮影することが難しい。あるいは、安全上の理由からその上空に無人飛行体を飛行させることが禁じられている対象物の場合、対象物の屋根をその真上から無人飛行体で撮影することができない。

本発明は、上記の問題に鑑みてなされたものであり、その一つの目的は、現実の要求や制限に、より適応した対象物検査を支援できる外観検査支援システムを提供することである。

一実施形態にかかる外観検査支援システムは、対象物が表示される複数の画像を取得する画像取得部と、対象物の展開図を生成する展開図生成部と、画像に基づいて対象物の所定の状態が現れる展開図上の所定の領域を検出する状態検出部とを備え、展開図と所定の領域に関する情報の表示をユーザに提供する。

外観検査支援システムの機能構成図。 外観検査支援システムのハードウェア構成図。 画像取得から３次元モデル生成そして展開図生成までの一例の説明図。 ３次元モデル生成から展開図生成までの別の一例の説明図。 ３次元モデル生成から展開図生成までのまた別の一例の説明図。 検出結果展開図の一例の説明図。 編集された検出結果展開図の一例の説明図。 外観検査支援システムが行う処理の全体的流れ図。 図８のステップＳ４の展開図作成の流れ図。 図９のステップＳ１５の３次元点群生成の流れ図。 図９のステップＳ１７の単純化モデル生成の流れ図。 図９のステップＳ１８の単純化モデルの色付け処理の流れ図。 図８のステップＳ５の異常検出の流れ図。

図１は、一実施形態にかかる外観検査支援システム１の概略図である。外観検査支援システム１は、「対象物」の一例としての燃料タンクの外観検査を支援する。なお、外観検査支援システム１は、燃料タンクの外観検査に限らず、橋梁、船舶又は岩壁等、他の種類の物体の外観検査の支援をしてもよい。すなわち、外観検査支援システム１は、例えば人体よりも大きい人工物又は自然物について、「所定の状態」の一例としての錆の発生の有無や程度、あるいは、損傷や変形や変質などの異常の有無や程度について、外観観察を通して検査する作業を支援する。

外観検査支援システム１は、例えば、「移動体」の一例としてのカメラ２４を有する無人航空機２（以下、ドローン２と示す場合がある）と「携帯可能な撮影装置」の一例としての、ユーザに携行される携帯カメラ３の少なくとも一方から取得された、燃料タンクが表示される複数の画像に基づいて、外観検査を支援する。外観検査支援システム１は、例えば、ユーザに使用されるユーザ端末４と双方向通信可能に接続され、ユーザ端末４を介して（または、ユーザ端末４を介さずに）、ドローン２と携帯カメラ３のいずれか一方又は双方から、対象物を撮影した複数の画像を取得して、取得した対象物の複数の画像を、その対象物に関連付けて外観検査支援システム１内に登録する。

なお、ドローン２は、空中を飛行する移動体だけに限らず、燃料タンクつまり対象物を撮影する機能を備えた他の種類の移動体であってもよい。他の種類の移動体は、例えば、固体表面上を走行する装置、液体面上を航行する装置又は液中を潜航する装置、さらには、人工衛星のように宇宙空間を飛翔するもの等であり得る。さらには、ドローン２に代えて、または、それと組み合わせて、対象物を撮影する機能をもつ有人の移動体や、対象物の近くに設置された固定カメラのように特定の場所や領域に配置された撮影装置等も、対象物の画像を得るために使用されてよい。以下では、ドローン２が空中を飛行するものであって、燃料タンクの発錆状況の外観検査に使用される場合を例にとり、説明する。

ドローン２は、燃料タンクの周囲又は上空を飛行することにより、燃料タンクの外観を撮影する。ドローン２は、例えば、飛行装置２１と、位置測定装置２２と、方位測定装置２３と、カメラ２４とを内蔵、搭載又は付属する。飛行装置２１は、ドローン２を飛行させ、かつその飛行を制御する。

位置測定装置２２は、ドローン２又はカメラ２４の３次元位置情報を測定する。３次元位置情報は、例えば、緯度、経度又は高度等の３次元地理座標である。位置測定装置２２には、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）又はＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）が用いられてもよい。なお、位置測定装置２２には、ＧＮＳＳ又はＲＴＫが用いられる装置に限られない。

方位測定装置は、カメラ２４の視線（光軸）又はドローン２の３次元方位を測定する。３次元方位は、例えば、ロール角、ピッチ角及びヨー角によって設定される。方位測定装置２３は、例えば、ジャイロセンサである。なお、方位測定装置２３は、ジャイロセンサに限られない。

カメラ２４は、燃料タンクの外観を撮影する。本実施例において、カメラ２４によって撮影される画像７（１），７（２）（図３参照）は、燃料タンクが表示される静止画を一例にあげて説明するが、撮影される画像７（１），７（２）は静止画に限らず動画でもよい。画像７（１），７（２）は、撮影される動画のうちの一つの静止画として設定されてもよい。以下、画像７（１），７（２）を特に区別しない場合には、画像７と示す場合がある。

携帯カメラ３は、手動で燃料タンクの外観を撮影するために使用される。携帯カメラ３は、例えば、写真撮影装置３１と、位置測定装置３２と、方位測定装置３３とを内蔵、搭載又は付属する。写真撮影装置３１は、燃料タンクの外観を撮影し、画像７を保存する。写真撮影装置３１は、例えば、レンズ又はシャッター等のカメラ部品ある。

位置測定装置３２は、携帯カメラ３の３次元位置を測定する。方位測定装置３３は、携帯カメラ３の視線（光軸）の３次元方位を測定する。３次元方位は、例えば、水平面上の方位角と垂直面上の方位角とを含む。

携帯カメラ３は、ドローン２に代えて、又は、ドローン２よる撮影の補助として使用されてよい。例えば、ドローン２の飛行が困難又は禁止される場所があり得る。そのような場所は、例えば、燃料タンクとそれに近接する建造物との間の狭い空間、又は、安全確保のためにドローン２の飛行が制限される領域等の場所である。そのような場所で携帯カメラ３を用いた撮影が行われ得る。また、ドローン２の飛行可能な場所からは物陰に隠れて撮影できない部分が燃料タンクにある場合、その部分の撮影に携帯カメラ３が用いられてよい。

すなわち、携帯カメラ３は、ドローン２が撮影可能な燃料タンクの外観の範囲とは異なる他の範囲を撮影することによって、外観検査するのに不足する画像７を補ってもよい。なお、ドローン２からの画像７のみで外観検査支援システム１が燃料タンクの発錆状態を説明するレポートを生成することができる場合には、携帯カメラ３は必ずしも使用されなくてもよい。携帯カメラ３のみで外観検査支援システム１が燃料タンクの発錆状態を説明するレポートを生成することができる場合には、ドローン２は必ずしも使用されなくてもよい。

ユーザ端末４は、外観検査支援システム１のユーザ（燃料タンクなどの対象物の外観検査を行う者、対象物の写真撮影を行う者、外観検査の結果を受け取り利用する者、等）が使用する情報処理通信端末である。ユーザ端末４は、例えば、パーソナルコンピュータ、スマートフォン又はタブレット端末等である。なお、ユーザ端末４は、パーソナルコンピュータ、スマートフォン、タブレット端末に限られず、ドローン２又は携帯カメラ３と一体的に形成される装置でもよい。

ユーザ端末４は、ドローン２及び／又は携帯カメラ３から、燃料タンクの多数の画像を取得する。取得された各画像７には、画像それ自体のデータと、それぞれの画像７に対応する付属データとが含まれる。

各画像７の付属データには、例えば、その画像７についての外部標定要素と内部標定要素とが含まれる。外部標定要素のデータには、例えば、燃料タンクをドローン２又は携帯カメラ３が撮影した際における、ドローン２、カメラ２４又は携帯カメラ３の３次元位置を表したパラメータと、ドローン２、カメラ２４又は携帯カメラ３の３次元方位を表したパラメータ等が含まれる。

内部標定要素には、例えば、カメラ２４又は携帯カメラ３の、焦点距離のパラメータ、及び／又はレンズ歪み係数などのパラメータ等が含まる。ユーザ端末４は、取得された多数の画像７を外観検査支援システム１へと送る。

さらに、ユーザ端末４は、表示装置４１を備える。ユーザ端末４は、外観検査支援システム１に含まれる後述の複数の機能１１～１７を制御するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示装置４１に表示させる。

外観検査支援システム１は、ユーザ端末４からの燃料タンクを撮影した多数の画像７に基づいて、燃料タンクの「所定の領域」の一例としての発錆個所を説明するレポートを生成する。外観検査支援システム１は、例えば、データベース１０と、画像取得部１１と、３次元モデル生成部１２と、設計図取得部１３と、展開図生成部１４と、状態検出部１５と、展開図編集部１６と、レポート生成部１７とを備える。なお、図中において、「部」を省略して示す場合がある。

外観検査支援システム１は、典型的には、図２に示すように、ストレージ（記憶部）６１、ＣＰＵ６２、メモリ６３及び通信部６４を含む。ストレージ６１には、ＣＰＵ６２に実行されることにより、例えば、データベース１０っと画像取得部１１と、３次元モデル生成部１２と、設計図取得部１３と、展開図生成部１４と、状態検出部１５と、展開図編集部１６と、レポート生成部１７としてＣＰＵ６２を動作させるコンピュータプログラムが記録される。

ＣＰＵ６２は、ストレージ６１からメモリ６３にロードされた上記コンピュータプログラムを実行することにより、ストレージ６１に格納された各種のデータを操作及び加工する。これにより、外観検査支援システム１は機能１０～１７を実現する。

データベース１０は、検査対象である１以上の燃料タンクのそれぞれについて、撮影された複数の画像７、並びに、後述される３次元モデル、設計図、単純化モデル、展開図、及びレポートなど、外観検査に利用される各種のデータを、ストレージ６に保存して管理する。データベース１０は、他の機能部１１～１７の各々に対して、各機能部が読み込みを要求するデータを提供し、また、各機能部からその機能が保存を要求するデータを受け取って保存する。

画像取得部１１は、ユーザ端末４から、ある燃料タンクを撮影した複数（通常は多数）の撮影画像を取得する。画像取得部１１は、取得されたその燃料タンクの画像を、その燃料タンクの識別情報に関連付けてデータベース１０に登録する。したがって、異なる燃料タンクの画像が、それぞれの燃料タンクに関連付けれてデータベースに１０に登録され得る。データベース１０に登録された各燃料タンクの多数の画像は、画像３次元モデル生成部１２、展開図生成部１４及びレポート生成部１７などの各種機能に供給され（読み込まれ）得る。

３次元モデル生成部１２は、ある燃料タンクの複数の撮影画像に基づいて、その燃料タンクの３次元モデル１２１（例えば、図３に示された三次元モデル１２１（１）あるいは図４に示された三次元モデル１２１（２）など）を生成する。３次元モデル生成部１２は、生成された燃料タンクの３次元モデル１２１を、その燃料タンクに関連付けてデータベース１０に登録する。登録された３次元モデル１２１は、展開図生成部１４及び／又は状態検出部１５等に供給され（読み込まれ）得る。

３次元モデル生成部１２は、燃料タンクの複数の画像７に基づいて、３次元モデル１２１の表面に色をつけてもよい。すなわち、３次元モデル生成部１２は、画像７を３次元モデル１２１に投影させることによって、３次元モデル１２１の表面に画像７に基づく燃料タンクの表面色と実質的に同じ色、これに似た色、又は少なくとも燃料タンクの検出したい発錆個所が肉眼で識別可能な色をつけてもよい。以下、このような色のつけられた３次元モデル１２１を色付きの３次元モデル１２１と呼ぶ場合がある。

３次元モデル生成部１２は、燃料タンクを撮影した画像に基づいて３次元モデル１２１を生成することに限られない。３次元モデル生成部１２は、設計図取得部１３から取得した燃料タンクの設計図に基づいて３次元モデル１２１を生成してもよい。

設計図取得部１３は、燃料タンクの設計図をユーザ端末４から取得する。設計図取得部１３は、燃料タンクの設計図をその燃料タンクに関連付けてデータベース１０に登録する。データベース１０に登録された設計図は、３次元モデル生成部１２及び／又は展開図生成部１４に供給され得る。

展開図生成部１４は、データベース１０に登録された燃料タンクの３次元モデル１２１に基づいて、その燃料タンクの３次元形状をそれに近い幾何学的形状に単純化した単純化モデル１２２（例えば、図３に示された単純化モデル１２２（１）、図４に示された単純化モデル１２２（２）、あるいは図５に示された単純化モデル１２２（３）等）を作成する。さらに展開図生成部１４は、その単純化モデル１２２の表面を展開した平面的な１以上の図から構成される展開図１４１（例えば、図３又は図４の展開図１４１（１）、あるいは図５の展開図１４１（２）等）を生成する。

図３に示された例では、屋根が側壁上端から下方へ若干距離下がっている燃料タンクの３次元モデル１２１（１）に基づいて、単純な円筒形の単純化モデル１２２（１）が作成される。そして、その単純化モデル１２１（１）の側壁と屋根をそれぞれ平面図に展開することで、その燃料タンクの展開図１４１（１）が作成される。他方、図４の例では、多角錐形の屋根を持つ燃料タンクの３次元モデル１２１（２）に基づいて、図３の場合と同様の単純な円筒形の単純化モデル１２２（２）が作成される。そして、その単純化モデル１２２（２）から、図３の場合と同様の展開図１４１（１）が作成される。あるいは、図５の例では、多角錐形の屋根を持つ燃料タンクの３次元モデル１２１（２）に基づいて、円錐形の屋根を持つ単純化モデル１２２（３）が作成される。そして、その単純化モデル１２２（３）の側壁と屋根をそれぞれ平面図に展開することで、展開図１４１（２）が作成される。このように、展開図生成部１４は、異なる形状と構成をもつ単純化モデル１２２を生成して、それぞれの単純化モデル１２２からその展開図１４４を生成することができる。なお、図示の例に限られず、他の形状又は構造をもつ単純化モデルと展開図を生成してもよい。

展開図生成部１４は、燃料タンクの複数の画像７に基づいて、単純化モデル１２２に展開図１４１に色を付与し、その結果として、展開図１４１に色が付与される。すなわち、展開図生成部１４は、単純化モデル１２２の表面に複数の画像７の対応する画素の色を投影することで、単純化モデル１２２の表面に、燃料タンクと実質的に同じ色、又は、少なくとも燃料タンクの検出したい発錆個所が肉眼又は自動的な画像処理で識別可能な色を、付与する。このように色が付与された単純化モデル１２２を展開図１４１に変換することで、展開図１４１に上記の色が付与される。

以下、展開図生成部１４によって色が付与された単純化モデル１２２と展開図１４１をそれぞれ、色付き単純化モデル１２２及び色付きの展開図１４１と呼ぶ場合がある。展開図生成部１４は、燃料タンクの色付き単純化モデル１２２と色付きの展開図１４１をその燃料タンクに関連付けてデータベース１０に登録する。データベース１０に登録された色付き単純化モデル１２２と色付きの展開図１４１は、状態検出部１５に供給され得る。

なお、展開図生成部１４は、３次元モデル１２１に基づいて単純化モデル１２２と展開図１４１を生成することに限られない。展開図生成部１４は、設計図取得部１３から取得した設計図に基づいて単純化モデル１２２と展開図１４１を生成してもよいし、あるいは、ユーザの手動操作によって単純化モデル１２２と展開図１４１を作成してもよい。

展開図生成部１４は、複数の画像７に基づいて単純化モデル１２２と展開図１４４に色を付与することに限られない。展開図生成部１４は、色付きの３次元モデル１２１に基づいて、単純化モデル１２２と展開図１４４に色を付与してもよい。

状態検出部１５は、色付きの展開図１４１に基づいて、燃料タンクの特定状態の個所、例えば所定の異常個所、例えば発錆個所を検出する。すなわち、状態検出部１５は、展開図１４１の表面色から燃料タンクの発錆個所を検出し、その発錆個所を示すために、展開図１４１に「印」の一例としての錆マーク１５１（図６参照）を記す。

以下、発錆個所が示された展開図１４１を検出結果展開図１５２と示す場合がある。状態検出部１５は、燃料タンクの検出結果展開図１５２をその燃料タンクに関連付けてデータベース１０に登録する。登録された検出結果展開図１５２は展開図編集部１６へ供給され得る。

なお、状態検出部１５は、色付きの展開図１４１に基づいて発錆個所などの特定状態個所を検出することだけに限られない。対象物の画像７に基づいて、又は、それらの画像７が投影された他のモデル、例えば３次元モデル１２１あるいは単純化モデル１２２に基づいて、同検出を行ってもよい。

展開図編集部１６は、いずれかのユーザ端末４から要求があれば、検出結果展開図１５２を、それをユーザが編集可能に構成されたＧＵＩ（グラフィカル・ユーザ・インタフェース）に組み込んだ上で、そのＧＵＩをそのユーザ端末４の表示装置４１へ表示させる。ユーザは、表示装置４１上のＧＵＩに表示される検出結果展開図１５２を編集することにより、検査結果レポートへの掲載に適したレポート用展開図１５３（図７参照）を作成することができる。

図６に例示されるように、検出結果展開図１５２は燃料タンクの異なる部分をそれぞれ表す複数の２次元図１４３、１４４から構成され得る。図６の例示では、一つの２次元図１４３は燃料タンクの側壁面を表し、別の２次元図１４４は燃料タンクの屋根面を表している。上述したＧＵＩを操作することで、ユーザは、検出結果展開図１５２を構成する複数の２次元図１４３、１４４の相対位置を編集可能である。例えば、図６に例示された検出結果展開図１５２の屋根面を表す２次元図１４４の位置を、図７に例示される位置へ移動させるなどの編集ができる。

また、上述したＧＵＩを操作することによって、例えば、図７に例示された修正ツール８を操作することによって、ユーザは検出結果展開図１５２上で、状態検出部１５によって自動的に検出された錆マーク１５１を修正することができる。例えば、誤検出された錆マークを削除したり、検出漏れの発錆個所に新たな錆マークを追加したりすることができる。とくに錆は、雨水に溶けて発錆個所の下方の領域まで流れ落ちてその領域を錆色にしていることが多く、そのような領域（例えば、図７に示された錆マーク１５１の修正ツール８で囲まれた部分）も発錆個所として誤って自動検出されるおそれがある。そこで、人が肉眼で検出結果展開図１５２を観察して、自動検出結果を修正できることのメリットは大きい。

展開図編集部１６は、検出結果展開図１５２を編集することで作られたレポート用展開図１５３に基づいて、発錆個所の定量分析、例えば、燃料タンクの表面積に対する発錆個所の面積の割合の計算等、を行う。展開図編集部１６は、燃料タンクのレポート用展開図１５３と定量分析結果とを、その燃料タンクに関連づけてデータベース１０に登録する。登録されたレポート用展開図１５３と定量分析結果は、レポート生成部１７に供給され得る。

レポート生成部１７は、展開図編集部１６によって生成されたレポート用展開図１５３と発錆個所の定量分析結果とに基づいて、外観検査結果を表すレポートを生成する。レポート生成部１７は、いずれかのユーザ端末４から供給されると、レポートをユーザが編集可能なように構成されたＧＵＩ上にそのレポートを組み込んだ上で、そのＧＵＩをそのユーザ端末４の表示装置４１に表示させる。レポートには、少なくとも、発錆個所の定量分析の結果と、レポート用展開図１５３とが自動的に掲載される。

レポートを編集できる上記ＧＵＩ上でユーザによりレポート用展開図１５３が編集された場合には、レポート生成部１７は、展開図編集部１６を呼び出してレポート用展開図１５３を再生成してもよい。レポート生成部１７は、再生成されるレポート用展開図１５３に基づいてレポートを再生成し、再生成されたレポートを表示装置４１に表示させてもよい。

レポート生成部１７は、ユーザ端末４からのユーザの要求に応じて、燃料タンクのユーザにより所望された部位の画像７を表示装置４１に表示させたり、その画像７をレポートに加えたりすることができる。すなわち、レポート生成部１７は、例えば、ＧＵＩ上に表示された発錆個所のうちのいずれかがユーザによって選択された場合には、ユーザによって選択された発錆個所の画像７をデータベース１０から取得して、そのＧＵＩ上に表示することができる。レポート生成部１７は、その表示された画像７をレポート中のユーザ所望の位置に加えることができる。

図８は、外観検査支援システム１が行う処理の全体的な流れ図である。

ステップＳ１で、画像取得部１１が、いずれかのユーザ端末４から、１以上の検査対象、例えば１以上の燃料タンク、を撮影した複数の画像を取得し、取得した各燃料タンクの複数の画像を、各燃料タンクに関連付けてデータベース１０に登録する。

その後、ステップＳ２で、いずれかのユーザ端末４からの対象物選択要求を受けて、展開図生成部１４が、データベース１０にと登録された１以上の検査対象の中から、一つの検査対象、例えば一つの燃料タンクを選択する。その後、ステップＳ３で、展開図生成部１４が、選択された燃料タンクの展開図がデータベース１０内に既にあるかどうかを判断する。その判断の結果がYesであれば、制御はステップＳ５へ進み、Noであれば、制御はステップＳ４へ進む。

ステップＳ４では、展開図生成部１４が、選択された燃料タンクの展開図を作成する。その際、３次元モデル生成部１２又は設計図取得部１３も、必要に応じて、展開図作成に関与する。ここで作成される展開図は、燃料タンクの画像の色が投影された色付き展開図であってよい。その後、制御はステップＳ５へ進む。

ステップＳ５では、状態検出部１５が、検査対象の燃料タンクの例えば色付き展開図から、異常個所、例えば発錆個所を検出する。その後、ステップＳ６で、状態検出部１５が、検出された異常個所、例えば発錆個所を、その燃料タンクの展開図に投影する（例えば、展開図の発錆個所に錆マークを付ける）。発錆箇所が投影された（錆マークのつけられた）展開図が前述の検出結果展開図である。

ステップＳ５の異常個所検出は、ステップＳ４の展開図作成の前に行われてもよい。その場合、状態検出部１５は、燃料タンクの画像７に基づいて、又は、それらの画像７が投影された３次元モデル１２１に基づいて、異常個所の検出を行なうことができる。

その後、ステップＳ７で、展開図編集部１６が、いずれかのユーザ端末４からの要求に応じて、検出結果展開図をそのユーザ端末４に表示させてユーザに自動的な検査結果を確認させる。そして、そのユーザ端末４に入力されるユーザ操作に応じて、検出結果展開図の編集、及び必要があれば修正を行う。さらに、展開図編集部１６が、更なる修正の必要がなくなった検出結果展開図に基づいて、発錆個所の面積や面積比などの定量的な計算を行う。

その後、ステップＳ８で、レポート生成部１６が、いずれかのユーザ端末４からの要求に応じて、その燃料タンクの検出結果展開図及び必要あれば特定個所の画像やその他の登録データを用いて、その燃料タンクの検査結果を表すレポートを作成する。

図９は、図３のステップＳ４の展開図作成の流れを示す。

Ｓ１１で、ユーザがユーザ端末４から展開図生成部１４に対して作成方法を選択する。ステップＳ１２で、選択された作成方法が手動か自動かが判断され、前者であれば制御はステップＳ１３へ進む。

ステップＳ１３では、ユーザがユーザ端末４から展開図生成部１４に対して、単純化モデルの諸元を指定する。その諸元には、例えば、形状種（例えば円筒、球、直方体、円錐、等）及び寸法（例えば高さ、半径、長さ、幅、等）等の単純化モデルの３次元形状を特定するための形状パラメータが含まれる。その後、ステップＳ１５で、指定された形状パラメータに基づいて単純化モデルが作成される。その後、ステップＳ１４で、展開図生成部１４が、指定された諸元に基づいて、燃料タンクの単純化モデルを作成する。

上述のステップＳ１２で展開図の自動作成が選ばれた場合には、制御はステップＳ１５へと進み、そこで、３次元モデル生成部１２によって、検査対象の燃料タンクの多数の３次元点群が生成される。ここで、燃料タンクの３次元点群とは、その燃料タンクの多数の特徴点のそれぞれの３次元位置データを意味する。その後、ステップＳ１６で、上述の３次元点群をメッシュ状に繋ぐことによって、その燃料タンクの３次元モデル（３次元メッシュモデル）１２１（図３、図４、図５参照）が生成される。

その後、ステップＳ１７で、その燃料タンクの単純化モデル１２２（図３、図４、図５参照）が生成される。

単純化モデル１２２の３次元形状は、それを２次元の展開図に展開することが可能なものであれば、特に限定はないが、ユーザにとって検査対象の実物と展開図との位置関係が把握しやすい構造の展開図（例えば、側面図と平面図とのセット、あるいは、正面図と右側面図と左側面図と背面図と平面図のセット、等）に展開され得るものが好ましい。例えば、単純化モデル１２２の形状は、燃料タンクの３次元形状の中から、検査目的に大きく影響しない細かい形状要素が簡略化又は省略された形状であってよい。また、単純化モデル１２２の形状は、例えば、円筒型、直方型、円錐型、多角錐型、球形又はそれらの組み合わせ等の幾何学的形状であってよい。

ステップＳ１４又はＳ１７で燃料タンクの単純化モデル１２２が生成された後、ステップＳ１８で、その燃料タンクの画像７に基づく色がその単純化モデル１２２に付けられる。その後、ステップＳ１９で、色付きの単純化モデル１２２が、２次元の展開図１４１（図３、図４、図５参照）に変換される。

ステップＳ１８で生成された展開図１４１には、その展開図１４１と検査対象との位置関係又は方向関係を示す補助情報が記されていてもよい。例えば、図３に例示された燃料タンクを円筒形に単純化した展開図１４１（１）には、燃料タンクの各方向を示す補助情報、例えば、０°（正面方向）、９０°（左側面方面）、１８０°（背面方向）及び２７０°（右側面方向）が付加されている。

図１０は、図９のステップＳ１５の３次元点群生成の流れを示す。

ステップＳ２１で、３次元モデル生成部１２が、データベース１０から燃料タンクの複数の画像７を読み込む。その後、ステップＳ２２で、３次元モデル生成部１２が、それらの画像７から、その燃料タンクの特徴点に相当する画素が多数抽出される。３次元モデル生成部１２は、燃料タンクの特徴的な形状、色又は模様をもつ部分の点を特徴点として抽出してよい。３次元モデル生成部１２は、例えば、燃料タンクに備えられる階段、凸部、凹部又は窓等の点を特徴点として抽出してもよい。

その後、３次元モデル生成部１２は、燃料タンクの複数の画像７から外部標定要素と内部標定要素とを算出する（Ｓ２３）。３次元モデル生成部１２は、画像７から抽出された多数の特徴点相当の画素と、外部標定要素と内部標定要素とに基づいて、燃料タンクの多数の特徴点のそれぞれの３次元位置（つまり３次元点群）を算出する（Ｓ２４）。

なお、３次元モデル１２１の生成方法は、上述した方法に限られない。３次元モデル生成部１２は、例えば、画像７から３次元モデル１２１を生成する方法を学習させたニューラルネットワークを用いることによって、３次元モデル１２１を生成してもよい。

図１１は、図９のステップＳ１７の単純化モデル生成の流れを示す。

ステップＳ３１で、展開図生成部１４が、データベース１０内に、検査対象の燃料タンクの設計図面があるかどうかを判定する。その判定結果がＹｅｓならば、設計図取得部１３は、データベース１０からその燃料タンクの設計図面を読み込む（Ｓ３２）。その判定結果がＮｏならば、展開図生成部１４が、データベース１０からその燃料タンクの３次元モデルを読み込む（Ｓ３３）。

その後、展開図生成部１４は、その燃料タンクの設計図面又は３次元モデルに基づいて、単純化モデルの諸元、例えば、形状種や寸法を決定する（Ｓ３４）。なお、展開図生成部１４は、検査対象の形状又は種類等に応じて、単純化モデルの形状種を決定してもよい。また、展開図生成部１４は、予め設定されている異なる種類の諸元の中から、検査対象物に応じて、特定の諸元を選択してもよい。その後、展開図生成部１４は、決定された諸元に基づいて単純化モデルを生成する（Ｓ３５）。

図１２は、図９のステップＳ１８の単純化モデルの色付け処理の流れを示す。

ステップＳ４１で、展開図生成部１４が、データベース１０から、検査対象の燃料タンクの複数の画像７を読み込むと共に、それらの画像７の外部評定要素と内部評定要素を取得する。その燃料タンクの３次元モデルがすでに作成されている場合には、各画像７の外部評定要素と内部評定要素は、図１０のステップＳ２３ですでに算出されてデータベース１０に登録されているから、それを読み込めばいい。他方、その画像７の外部評定要素と内部評定要素がまだ計算されていない場合には、図１０のステップＳ２１からＳ２３と同じ方法で、外部評定要素と内部評定要素を計算すればよい。

その後、ステップＳ４２で、展開図生成部１４が、それぞれの画像７の外部評定要素と内部評定要素に基づいて、単純化モデルの表面のすべての座標点を、それぞれの座標点が映っている１以上の画像７の画素に対応付ける。換言すれば、単純化モデルの各座標点がどの画像７のどの画素に写っているかを特定する。たいていの場合、各座標点は２枚以上の異なる画像７内の画素に写っているので、各座標点に対応する画素として２つ以上の画素が特定される。

その後、ステップＳ４３で、展開図生成部１４が、単純化モデルの表面の各座標点について、ステップＳ４２で特定された２以上の対応画素の内から、その座標点をカメラの最も正面に近い位置で撮影した１つの対応画素を選択する。その座標点をカメラの正面に位置させて撮影した結果が、その座標点の色を最も正確に示していると判断されるからである。

その後、ステップＳ４４で、展開図生成部１４が、ステップ４３で選択した対応画素の画素値を、単純化モデルのその座標点の色に設定する。ステップ４５で、単純化モデルの全ての座標点について、ステップＳ４３とＳ４４の処理を行うことで、単純化モデルの全ての座標点の入りを設定する。これにより、色付き単純化モデルが出来上がる。

図１３は、図８のステップＳ５の異常検出の流れを示す。

ステップS５１で、ユーザがユーザ端末４を通じて状態検出部１５に対して、異常検出のための解析方法を選択する。選択された解析方法が機械学習である場合（Ｓ５２、Ｙｅｓ）には、制御はステップS５３進む、ステップS１５では、状態検出部１５が、予め用意された学習済み異常検出モデル（例えば、検査対象である燃料タンクの表面色に基づいて発錆個所などの異常を検出する方法を学習したニューラルネットワーク）を用いて、その燃料タンクの発錆個所などの異常個所を検出する。このとき、異常検出モデルには、例えば、色付きの展開図１４１又は色付きの単純化モデル１２２が入力され、そして、異常検出モデルは、色付きの展開図１４１又は色付きの単純化モデル１２２の表面から、発錆などの異常がある個所を検出する。

ステップＳ５２で、選択された解析方法が画像処理である場合（Ｓ５２、Ｎｏ）には、状態検出部１５は、色付き展開図１４１又は色付き単純化モデル１２２の色データを、必要に応じて、画像処理で異常個所を検出するのに適した所定の色空間の色データに変換する。例えば、元の色データがＲＧＢ系であるところ、これをＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｂｒｉｇｈｔｎｅｓｓ）系、又は、ＨＬＳ（Ｈｕｅ、Ｌｉｇｈｔｎｅｓｓ、Ｓａｔｕｒａｔｉｏｎ）系の色データに変換する（Ｓ５４）。

その後、ステップＳ５５で、状態検出部１５は、発錆などの異常個所を識別するために予め用意された多次元の特徴空間上で、色付き展開図１４１又は色付き単純化モデル１２２の各位置の色データを評価することにより、発錆などの異常個所を検出する。

以上説明した一実施形態にかかる外観検査支援システム１は、展開図編集部１６及びレポート生成部１７を備えることによって、対象物の発錆個所等の所定状態個所の定量情報に基づいたレポートを表示装置４１に表示させることができる。これにより、外観検査支援システム１は、所定状態個所の定量情報をレポートに図面や文を用いて的確に表現することができる。その結果、外観検査支援システム１は、現実の要求により適合した対象物検査を支援することができる。

一実施形態にかかる外観検査支援システム１は、展開図編集部１６を備えることによって、ユーザがＧＵＩ上で展開図１２１を編集することができる。これにより、外観検査支援システム１は、よりユーザに視認性の高い説明用展開図１５３をレポートに載せることができる。

一実施形態にかかる外観検査支援システム１は、展開図編集部１６を備えることによって、錆マーク１５１等の自動検出結果をユーザが編集することができる。これにより、外観検査支援システム１は、より正確な検査結果をレポートに載せることができる。

一実施形態にかかる外観検査支援システム１は、レポート生成部１７を備えることによって、検査対象のユーザが所望する部位が表示される画像をＧＵＩ上に表示させることができる。これにより、外観検査支援システム１の利便性が向上する。

一実施形態にかかる外観検査支援システム１は、画像取得部１１を備えることにより、ドローン２又は携帯カメラ３の少なくともいずれか一方から画像７を取得することができる。これにより、ドローン２では撮影できない検査対象の外観の範囲を携帯カメラ３の画像７で補完することができる。その結果、外観検査支援システム１は、現実の制限により適合した対象物検査を支援することができる。

一実施形態にかかる外観検査支援システム１は、燃料タンク以外の様々な種類の人工的な又は自然の検査対象物の外観検査に適用できる。

以上、本発明の一実施形態を説明したが、これは本発明の説明のための例示にすぎず、それとは異なる様々な態様で本発明を実施することができる。例えば、状態検出部１５は、色付きの展開図又は色付き単純化モデルに代えて、３次元モデル生成部１２からの色付きの３次元モデル１２１又は検査対象の画像７に基づいて、発錆箇所などの異常個所を検出してもよい。

また、例えば、展開図生成部１４は、単純化モデル１２２に代えて、検査対象の設計図面に基づいて展開図１４１を生成してもよい。その場合、展開図生成部１４は、設計図面から作成した展開図の各座標点を、検査対象物の複数の画像７の中の１以上の画素に対応付け、その１以上の対応画素の画素値に基づいて各座標点の色を設定することにより、色付きの展開図を作成することができる。

また、例えば、展開図生成部１４は、単純化モデル１２２に代えて、検査対象の設計図面に基づいて展開図１４１を生成してもよい。その場合、展開図生成部１４は、設計図面から作成した展開図の各座標点を、検査対象物の複数の画像７の中の１以上の画素に対応付け、その１以上の対応画素の画素値に基づいて各座標点の色を設定することにより、色付きの展開図を作成することができる。

１・・・外観検査支援システム，１１・・・画像取得部，１２・・・３次元モデル生成部，１３・・・設計図取得部，１４・・・展開図生成部，１５・・・状態検出部，１６・・・展開図編集部，１７・・・レポート生成部，２・・・ドローン，２１・・・飛行装置，２２・・・位置測定装置，２３・・・方位測定装置，２４・・・カメラ，３・・・携帯カメラ，３１・・・写真撮影装置，３２・・・位置測定装置，３３・・・方位測定装置，４・・・ユーザ端末，４１・・・表示装置

Claims (8)

1. 対象物が表示される複数の画像を取得する画像取得部と、
   前記対象物の展開図であって、前記複数の画像の色が投影される色付きの前記展開図を生成する展開図生成部と、
   前記画像に基づいて前記対象物の所定の状態が現れる前記展開図上の所定の領域を検出する状態検出部と、
   前記展開図と前記所定の領域に関する情報との表示を出力する手段と、
   前記複数の画像に基づいて、前記対象物の３次元モデルを生成する３次元モデル生成部と、を備え、
   前記展開図生成部は、前記複数の画像と前記３次元モデルとに基づいて、前記画像が投影される色付きの展開図を生成し、
   前記状態検出部は、前記色付きの展開図に基づいて、前記所定の領域を検出する、
   外観検査支援システム。
2. さらに、前記外観検査支援システムは、前記展開図を構成する複数の２次元図の相対位置を調整可能に表示させる展開図編集部を備える、
   請求項１に記載の外観検査支援システム。
3. さらに、前記外観検査支援システムは、前記展開図に基づいて、前記所定の領域を説明するレポートを生成するレポート生成部を備える、
   請求項１又は請求項２に記載の外観検査支援システム。
4. 前記所定の領域の定量情報を算出する手段を備え、
   前記レポート生成部は、前記定量情報に基づいて前記レポートを生成する、
   請求項３に記載の外観検査支援システム。
5. 前記状態検出部は、前記所定の領域の検出結果を前記展開図上に印付けをし、
   前記展開図編集部は、前記印を追加又は削除可能に表示させる、
   請求項２に記載の外観検査支援システム。
6. 前記３次元モデルを単純化した単純化モデルを生成する手段を備え、
   前記展開図生成部は、前記単純化モデルに基づいて、前記展開図を生成する、
   請求項１に記載の外観検査支援システム。
7. 前記画像取得部は、カメラが備えられる移動体又は携帯可能な撮影装置の少なくとも一方によって撮影される前記画像を取得する、
   請求項１乃至６のいずれか１項に記載の外観検査支援システム。
8. 対象物が表示される複数の画像を取得し、
   前記対象物の展開図であって、前記複数の画像の色が投影される色付きの前記展開図を生成し、
   前記画像に基づいて前記対象物の所定の状態が現れる前記展開図上の所定の領域を検出し、
   前記展開図と前記所定の領域に関する情報とを表示させ、
   前記複数の画像に基づいて、前記対象物の３次元モデルを生成し、
   前記複数の画像と前記３次元モデルとに基づいて、前記画像が投影される前記色付きの展開図を生成し、
   前記色付きの展開図に基づいて、前記所定の領域を検出する、
   外観検査支援方法。
   

Images