[go: up one dir, main page]

JP7563921B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7563921B2
JP7563921B2 JP2020147031A JP2020147031A JP7563921B2 JP 7563921 B2 JP7563921 B2 JP 7563921B2 JP 2020147031 A JP2020147031 A JP 2020147031A JP 2020147031 A JP2020147031 A JP 2020147031A JP 7563921 B2 JP7563921 B2 JP 7563921B2
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
information processing
dimensional model
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020147031A
Other languages
English (en)
Other versions
JP2022041682A (ja
Inventor
大輔 林
博一 田中
裕 稲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Corp
Original Assignee
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Corp filed Critical Shimizu Corp
Priority to JP2020147031A priority Critical patent/JP7563921B2/ja
Publication of JP2022041682A publication Critical patent/JP2022041682A/ja
Application granted granted Critical
Publication of JP7563921B2 publication Critical patent/JP7563921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
下記特許文献1には、構造物が映っている入力画像から前記構造物の三次元モデルを作成する情報処理装置が開示されている。構造物の三次元モデルは、構造物のインフラ点検に有用である。
特開2016-57792号公報
トンネルや橋などの寸法の大きなインフラ構造物に対し、コンクリートの損傷を検知可能な解像度でデジタル画像を撮影した場合、その画像をもとに三次元モデルを作成すると、その三次元モデルは情報量が非常に大きくなる。そのため、保存や保管に必要となるコストが増える。さらに、情報量の大きなデータを取り扱うために、非常に性能の高い情報処理装置が必要となる
本発明は、このような事情に鑑みてなされたもので、その目的は、構造物の三次元モデルを作成するにあたって、インフラ点検に必要なデータの品質を保持したまま、三次元モデルの情報量を低減させることである。
(1)本発明の一態様は、構造物の二次元画像から、前記構造物の三次元モデルを作成する情報処理装置であって、前記三次元モデルを作成するにあたって、前記構造物の異常箇所を第1の点群データを用いてモデル化し、異常箇所以外の前記構造物の領域を、前記第1の点群データよりも低密度な第2の点群データを用いてモデル化し、前記構造物の二次元画像から前記構造物の三次元モデルを前記第1の点群データを用いて作成するモデル作成部と、前記三次元モデルから、前記構造物の異常箇所の前記第1の点群データである損傷点群データを取得する取得部と、前記取得部で前記損傷点群データが取得された後において、前記三次元モデルの前記第1の点群データを圧縮することで前記第2の点群データの前記三次元モデルを生成する圧縮部と、前記圧縮部で生成された前記三次元モデルに対して前記損傷点群データを反映させる処理部と、を備える情報処理装置である。
)上記()の情報処理装置であって、前記処理部は、前記圧縮部で生成された前記三次元モデルの全領域のうち、前記異常箇所に対応する領域にのみ前記損傷点群データを反映させてもよい。
)上記()又は上記()の情報処理装置であって、構造物の二次元画像から、前記構造物の異常箇所を特定する異常特定部を更に備え、前記取得部は、前記異常特定部によって特定された前記異常箇所に対応する三次元モデルの領域の前記第1の点群データを前記損傷点群データとして取得してもよい。
)本発明の一態様は、コンピュータの情報処理方法であって、構造物の二次元画像から、前記構造物の第1の点群データである三次元モデルを作成するモデル作成ステップと、前記三次元モデルから、前記構造物の異常箇所の前記第1の点群データである損傷点群データを取得する取得ステップと、前記取得ステップで前記損傷点群データが取得された後において、前記三次元モデルの前記第1の点群データを圧縮する圧縮ステップと、前記圧縮ステップで圧縮された前記三次元モデルに対して前記損傷点群データを反映させる処理ステップと、を含む情報処理方法である。
)本発明の一態様は、コンピュータを、上記(1)から上記()のいずれかに記載の情報処理装置として機能させるプログラムである。
以上説明したように、本発明によれば、構造物の三次元モデルを作成するにあたって、インフラ点検に必要なデータの品質を保持したまま、三次元モデルの情報量を低減させることができる。
本実施形態に係る情報処理装置3の構成例を示す図である。 本実施形態に係る情報処理装置3が取り込むデジタル画像の一例を示す図である。 本実施形態に係るモデル作成部が作成した三次元モデルを示す図である。 本実施形態に係る情報処理装置3の動作フロー図である。 本実施形態に係る情報処理装置3のハードウェア構成図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一又は類似の部分には同一の符号を付して、重複する説明を省く場合がある。また、図面における要素の形状及び大きさなどはより明確な説明のために誇張されることがある。
明細書の全体において、ある部分がある構成要素を「含む」、「有する」や「備える」とする時、これは、特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むことができるということを意味する。
以下、本実施形態に係る情報処理装置、情報処理方法及びプログラムを、図面を用いて説明する。
図1は、本実施形態に係る情報処理装置3を含むインフラ管理システム1の概略構成の一例を示す図である。図1に示すように、インフラ管理システム1は、撮像部2及び情報処理装置3を備える。
撮像部2は、インフラ点検の対象である構造物Wを撮像することで構造物Wの二次元画像を取得する。すなわち、撮像部2は、構造物Wを撮像することで、構造物Wのデジタル画像を得る。撮像部2で撮像されたデジタル画像は、直接的又は間接的に情報処理装置3に送信されてもよい。例えば、撮像部2は、情報処理装置3と通信ネットワークを介して情報を送信する通信機能を有してもよい。例えば、撮像部2は、デジタルカメラである。
例えば、撮像部2は、情報処理装置3と有線又は無線で接続されており、デジタル画像を有線又は無線で情報処理装置3に送信してもよい。ただし、これに限定されず、撮像部2で撮像されたデジタル画像は、情報処理装置3に入力されればよく、その入力方法には特定限定されない。例えば、ユーザは、USB(Universal Serial Bus)メモリなどの外部の記憶媒体を用いて撮像部2からデジタル画像を取り出し、その記録媒体を情報処理装置3に接続することによってデジタル画像を入力してもよい。また、撮像部2が撮像さいたデジタル画像は、サーバ装置に格納されてもよい。前記サーバ装置は、一又は複数の物理サーバを備える。複数の物理サーバは、通信ネットワークを介して互いに接続されていることにより、互いに通信可能である。前記物理サーバは、一又は複数の仮想サーバを備えてもよい。仮想サーバは、クラウドシステム上のサーバ、すなわちクラウドサーバであってもよい。
例えば、構造物Wは、劣化や損傷などの異常の有無や、異常の進行度合いなどの構造物の状態を点検(インフラ点検)する必要がある構造物である。構造物Wは、道路、ダム、ビル、トンネルや橋梁等のインフラ構造物である。例えば、構造物Wは、コンクリート構造物である。
情報処理装置3は、構造物Wの状態をデータ化して管理する。情報処理装置3は、撮像部2で撮像されたデジタル画像(入力画像)から、構造物Wの三次元モデルを生成する。この三次元モデルは、三次元の点群データである。情報処理装置3は、デジタル画像から点群データの三次元モデルを生成すればよく、その生成方法には特に限定されない。例えば、情報処理装置3は、コンピュータである。
情報処理装置3は、三次元モデルにおいて、構造物Wの異常箇所を高密度な点群データで表現し、異常箇所ではない箇所を低密度な点群データで表現する。具体的には、情報処理装置3は、構造物Wのデジタル画像から、構造物の三次元モデルを作成するにあたって構造物Wの異常箇所を第1の点群データを用いてモデル化し、異常箇所以外の構造物Wの領域を、第1の点群データよりも低密度な第2の点群データを用いてモデル化する。以下において、情報処理装置3の各機能部について説明する。
情報処理装置3は、読み込む部10、異常特定部11、モデル作成部12、取得部13、圧縮部14及び処理部15を備える。なお、情報処理装置3の「…部」は、少なくとも1つの機能や動作を処理する単位を意味し、これは、ハードウェアまたはソフトウェアとして具現されてもよいし、ハードウェアとソフトウェアとの組み合わせで具現されてもよい。
読み込む部10は、撮像部2で撮像された一つ以上のデジタル画像を読み込む。例えば、デジタル画像は、図2に示すようなコンクリート構造物である。なお、デジタル画像は、二次元画像である。
異常特定部11は、構造物Wのデジタル画像から、構造物Wの異常箇所を特定する。例えば、異常特定部11は、構造物Wのデジタル画像に対して所定の画像処理を適用することで、異常箇所として、ひび割れなどの損傷箇所を特定してもよい。なお、本実施形態の情報処理装置3は、異常箇所の特定方法には特に限定されず、公知の技術を用いて構造物Wのデジタル画像から構造物Wの異常箇所を特定すればよい。すなわち、異常特定部11は、構造物Wのデジタル画像から構造物Wの異常箇所を特定できればく、その特定方法には特に限定されない。一例として、異常特定部11は、特開2000-2523号公報に記載されているひび割れ計測方法を用いて、デジタル画像から構造物Wの異常箇所を特定してもよい。また、異常特定部11は、AI(人工知能)を使用してデジタル画像から構造物Wの異常箇所を特定してもよい。
例えば、異常特定部11は、デジタル画像を入力すると、そのデジタル画像における構造物Wの異常箇所を出力する学習済みモデルを有している。前記学習済みモデルは、異常箇所が有しない構造物Wのデジタル画像と、異常箇所を有する構造物Wのデジタル画像と、学習データとして用いることにより構造物Wのデジタル画像を学習データとしてディープラーニングなどの機械学習を行うことにより生成される。学習済みモデルは、畳み込みニューラルネットワーク(CNN)であってもよい。
モデル作成部12は、構造物Wの一つ以上のデジタル画像から構造物Wの三次元モデルを第1の点群データを用いて生成する。モデル作成部12は、上述したように、デジタル画像から点群データの三次元モデルを生成すればよく、その生成方法には特に限定されない。一例として、モデル作成部12は、SfM(Structure from Motion)という技術を用いて、複数の二次元のデジタル画像から構造物Wの三次元形状を復元することで三次元モデルを作成する。本実施形態のモデル作成部12は、視点が異なる複数のデジタル画像から特徴点の三次元位置及び撮像部2の姿勢を推定するSfMと、画像間の重複する領域から高密度な点群(第1の点群データ)を生成するMVS(Multi-View-Stereo)と、を用いて、構造物Wの三次元モデルを生成する。なお、SfM及びMVSは、公知の技術であるため具体的な説明を省略する。
取得部13は、モデル作成部12で作成された三次元モデルから、構造物Wの異常箇所の第1の点群データである損傷点群データを取得する。取得部13は、異常特定部11によって特定された異常箇所に対応する三次元モデルの領域の第1の点群データを損傷点群データとして取得する。ここで、取得するとは、モデル作成部12で作成された三次元モデルから異常箇所に対応する第1の点群データを抽出することを含んでいる。具体的には、取得部13は、モデル作成部12で作成された三次元モデルにおいて、異常特定部11によって特定された異常箇所のPixel位置に対応する各点の三次元座標を取得する。この異常箇所のPixel位置に対応する各点の三次元座標は、損傷点群データである。
圧縮部14は、取得部13で損傷点群データが取得された後において、モデル作成部12で作成された三次元モデルの第1の点群データを圧縮することで第2の点群データの三次元モデルを生成する。このように、圧縮部14は、モデル作成部12で作成された高密度な点群データから成る三次元モデルを圧縮し、軽量な三次元モデルを作成する。なお、圧縮部14による圧縮方法は、特に限定されず、公知の技術を用いることができる。一例として、圧縮部14は、モデル作成部12で作成された三次元モデルにおいてエッジなど特徴的な情報を保持して第1の点群データを間引く。そして、圧縮部14は、間引いた領域に対してメッシュを作成することで、軽量な三次元モデルを作成する。なお、圧縮部14で作成した軽量な三次元モデルを、軽量化モデルを称する場合がある。
処理部15は、圧縮部14で生成された三次元モデル(軽量化モデル)に対して損傷点群データを反映させる。処理部15は、軽量化モデルに対して、高密度な点群による損傷情報(損傷点群データ)を登録する。処理部15は、圧縮部14で生成された軽量化モデルの全領域のうち、異常箇所に対応する領域にのみ損傷点群データを反映させる。一例として、処理部15は、SfMにより取得した撮像部2の位置と損傷箇所の三次元座標との関係に基づいて軽量モデルに損傷点群データを投影し、軽量化モデル上に損傷点群データを登録することで軽量化モデルに対して損傷点群データを反映させる。
次に、本実施形態の情報処理装置3の動作の流れを、図4を用いて説明する。図4は、本実施形態の情報処理装置3の動作のフロー図である。
情報処理装置3には、構造物Wのデジタル画像が複数入力される。情報処理装置3は、入力された複数のデジタル画像を読み込む(ステップS101)。情報処理装置3の異常特定部11は、構造物Wの複数のデジタル画像から、構造物Wの異常箇所を特定する(ステップS102)。次に、モデル作成部12は、ステップS101で読み込んだ複数のデジタル画像から構造物Wの三次元モデルを第1の点群データを用いて生成する。一例として、モデル作成部12は、SfMを用いて、SfMを用いて複数の二次元のデジタル画像から構造物Wの三次元モデルを作成する(ステップS103)。
取得部13は、ステップS103で作成された三次元モデルから、構造物Wの異常箇所の第1の点群データである損傷点群データを取得する。一例として、取得部13は、ステップS102で特定された異常箇所のPixel位置に対応する各点の三次元座標を、三次元モデルから損傷点群データとして取得する(ステップS104)。
圧縮部14は、ステップS104の後において、モデル作成部12で作成された三次元モデルの第1の点群データを圧縮することで第2の点群データの三次元モデル、すなわち軽量化モデルを作成する(ステップS105)。
処理部15は、ステップS105で作成された軽量化モデルに対して損傷点群データを反映させる(ステップS106)。一例として、処理部15は、ステップS103でのSfMにより取得した撮像部2の位置と損傷箇所の三次元座標との関係に基づいて、軽量モデルに損傷点群データを投影し、軽量化モデル上に損傷点群データを登録することで軽量化モデルに対して損傷点群データを反映させる。
処理部15は、損傷点群データを反映させた軽量化モデルを情報処理装置3に格納する(ステップS107)。
図5は、情報処理装置3として機能するコンピュータ1000のハードウェア構成の一例を概略的に示す。コンピュータ1000にインストールされたプログラムは、コンピュータ1000を、上記実施形態に係る情報処理装置3の1又は複数の「部」として機能させ、又はコンピュータ1000に、上記実施形態に係る情報処理装置3に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1000に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1000に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1012によって実行されてよい。
本実施形態によるコンピュータ1000は、CPU1012、RAM1014、及びグラフィックコントローラ1016を含み、それらはホストコントローラ1010によって相互に接続されている。コンピュータ1000はまた、通信インタフェース1022及び記憶装置1024のような入出力ユニットを含み、それらは入出力コントローラ1020を介してホストコントローラ1010に接続されている。記憶装置1024は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1000はまた、ROM1030及びタッチパネルのような入出力ユニットを含み、それらは入出力チップ1040を介して入出力コントローラ1020に接続されている。
CPU1012は、ROM1030及びRAM1014内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1016は、RAM1014内に提供されるフレームバッファ等又はそれ自体の中に、CPU1012によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1018上に表示されるようにする。
通信インタフェース1022は、ネットワークを介して他の電子デバイスと通信する。記憶装置1024は、コンピュータ1000内のCPU1012によって使用されるプログラム及びデータを格納する。
ROM1030はその中に、アクティブ化時にコンピュータ1000によって実行されるブートプログラム等、及び/又はコンピュータ1000のハードウェアに依存するプログラムを格納する。入出力チップ1040はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1020に接続してよい。
プログラムは、ICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1024、RAM1014、又はROM1030にインストールされ、CPU1012によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1000に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1000の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1000及び外部デバイス間で実行される場合、CPU1012は、RAM1014にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1022に対し、通信処理を命令してよい。通信インタフェース1022は、CPU1012の制御の下、RAM1014、記憶装置1024、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1012は、記憶装置1024、又はICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1014に読み取られるようにし、RAM1014上のデータに対し様々なタイプの処理を実行してよい。CPU1012は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1012は、RAM1014から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1014に対しライトバックする。また、CPU1012は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1012は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1000上又はコンピュータ1000近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1000に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
上述の撮像部2は、所定の位置に固定されてもよいし、移動体に設けられてもよい。移動体は、有人であってもよく、無人であってもよい。例えば、前記移動体は、ドローンなどの小型の飛行体である。飛行体に設けられた撮像部2は、撮像したデジタル画像を無線又は有線で情報処理装置3に送信してもよい。
上述の情報処理装置3では、異常特定部11が構造物Wのデジタル画像から構造物Wの異常箇所を特定する例について説明した。ただし、これに限定されず、構造物Wの異常箇所は、ユーザによって特定されてもよい。例えば、情報処理装置3は、デジタル画像をディスプレイデバイス1018に表示する。ユーザは、操作装置を用いてデジタル画像における構造物Wの異常箇所を選択する。情報処理装置3は、選択された領域を異常箇所として設定することで、構造物の異常箇所を特定してもよい。前記操作部は、ユーザからの入力を受け付けて、当該入力に係る情報を情報処理装置3に出力する。例えば、前記操作部は、タッチパネル、キーボード等に代表されるハードウェアキー、マウス等のポインティングデバイスである。また、前記操作部は、マイク等の音声による操作入力を受け付けてもよい。このように、デジタル画像から構造物Wの異常箇所は、人為的に特定されてもよいし、コンピュータソフトウェアによって特定されてもよい。
以上、説明したように、本実施形態の情報処理装置3は、構造物Wの二次元画像から、構造物Wの三次元モデルを作成する情報処理装置であって、三次元モデルを作成するにあたって、構造物Wの異常箇所を第1の点群データを用いてモデル化し、異常箇所以外の構造物Wの領域を、第1の点群データよりも低密度な第2の点群データを用いてモデル化する。
このような構成によれば、構造物の三次元モデルを作成するにあたって、インフラ点検に必要なデータの品質を保持したまま、三次元モデルの情報量を低減させることができる。また、最終的に得られる三次元モデルの情報量を小さくすることで、データ可視化、編集に必要とするコストを低減することができる。また、情報処理装置3は、三次元モデルの情報量の密度をコントロールすることで、インフラ点検に必要なデータの品質は保持することができる。
1…インフラ管理システム
2…撮像部
3…情報処理装置
10…読み込む部
11…異常特定部
12…モデル作成部
13…取得部
14…圧縮部
15…処理部

Claims (5)

  1. 構造物の二次元画像から、前記構造物の三次元モデルを作成する情報処理装置であって、
    前記三次元モデルを作成するにあたって、前記構造物の異常箇所を第1の点群データを用いてモデル化し、異常箇所以外の前記構造物の領域を、前記第1の点群データよりも低密度な第2の点群データを用いてモデル化し、
    前記構造物の二次元画像から前記構造物の三次元モデルを前記第1の点群データを用いて作成するモデル作成部と、
    前記三次元モデルから、前記構造物の異常箇所の前記第1の点群データである損傷点群データを取得する取得部と、
    前記取得部で前記損傷点群データが取得された後において、前記三次元モデルの前記第1の点群データを圧縮することで前記第2の点群データの前記三次元モデルを生成する圧縮部と、
    前記圧縮部で生成された前記三次元モデルに対して前記損傷点群データを反映させる処理部と、
    を備える情報処理装置。
  2. 前記処理部は、前記圧縮部で生成された前記三次元モデルの全領域のうち、前記異常箇所に対応する領域にのみ前記損傷点群データを反映させる、
    請求項に記載の情報処理装置。
  3. 構造物の二次元画像から、前記構造物の異常箇所を特定する異常特定部を更に備え、
    前記取得部は、前記異常特定部によって特定された前記異常箇所に対応する三次元モデルの領域の前記第1の点群データを前記損傷点群データとして取得する、
    請求項又はに記載の情報処理装置。
  4. コンピュータの情報処理方法であって、
    構造物の二次元画像から、前記構造物の第1の点群データである三次元モデルを作成するモデル作成ステップと、
    前記三次元モデルから、前記構造物の異常箇所の前記第1の点群データである損傷点群データを取得する取得ステップと、
    前記取得ステップで前記損傷点群データが取得された後において、前記三次元モデルの前記第1の点群データを圧縮する圧縮ステップと、
    前記圧縮ステップで圧縮された前記三次元モデルに対して前記損傷点群データを反映させる処理ステップと、
    を含む情報処理方法。
  5. コンピュータを、請求項1からのいずれか一項に記載の情報処理装置として機能させるプログラム。
JP2020147031A 2020-09-01 2020-09-01 情報処理装置、情報処理方法及びプログラム Active JP7563921B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020147031A JP7563921B2 (ja) 2020-09-01 2020-09-01 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020147031A JP7563921B2 (ja) 2020-09-01 2020-09-01 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022041682A JP2022041682A (ja) 2022-03-11
JP7563921B2 true JP7563921B2 (ja) 2024-10-08

Family

ID=80500041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020147031A Active JP7563921B2 (ja) 2020-09-01 2020-09-01 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7563921B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197443A (ja) 2000-12-25 2002-07-12 Minolta Co Ltd 3次元形状データの生成装置
JP2018116004A (ja) 2017-01-20 2018-07-26 パイオニア株式会社 データ圧縮装置、制御方法、プログラム及び記憶媒体
WO2019198562A1 (ja) 2018-04-11 2019-10-17 富士フイルム株式会社 構造物管理装置、構造物管理方法、及び構造物管理プログラム
WO2020092178A1 (en) 2018-10-29 2020-05-07 Dji Technology, Inc. Techniques for real-time mapping in a movable object environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197443A (ja) 2000-12-25 2002-07-12 Minolta Co Ltd 3次元形状データの生成装置
JP2018116004A (ja) 2017-01-20 2018-07-26 パイオニア株式会社 データ圧縮装置、制御方法、プログラム及び記憶媒体
WO2019198562A1 (ja) 2018-04-11 2019-10-17 富士フイルム株式会社 構造物管理装置、構造物管理方法、及び構造物管理プログラム
WO2020092178A1 (en) 2018-10-29 2020-05-07 Dji Technology, Inc. Techniques for real-time mapping in a movable object environment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
関和彦 外5名,小規模橋梁の安全確認のための効率的点検技術の研究開発,土木学会論文集F3(土木情報学),公益財団法人土木学会,2019年,Vol.75、No.2,pp.II_8-II_16,DOI: 10.2208/jscejcei.75.2_II_8

Also Published As

Publication number Publication date
JP2022041682A (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN111145213B (zh) 一种目标跟踪方法、装置、系统及计算机可读存储介质
US10901740B2 (en) Synthetic depth image generation from cad data using generative adversarial neural networks for enhancement
US20240029303A1 (en) Three-dimensional target detection method and apparatus
US20210011908A1 (en) Model-based structured data filtering in an autonomous vehicle
US11164370B2 (en) Information processing apparatus and accumulated images selecting method
US20210374543A1 (en) System, training device, training method, and predicting device
CN109949286A (zh) 用于输出信息的方法和装置
CN111310912B (zh) 机器学习系统、域变换装置、及机器学习方法
BR102019006403A2 (pt) inspeção de qualidade de pintura automatizada para aeronaves
US20220188346A1 (en) Method, apparatus, and computer program product for training a signature encoding module and a query processing module to identify objects of interest within an image utilizing digital signatures
US11922659B2 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
US11200455B2 (en) Generating training data for object detection
JP7421188B2 (ja) プログラム、記録媒体、及びシステム
CN114529714B (zh) 一种无人机检测方法、装置、计算机设备和存储介质
US20240331373A1 (en) Resolving training dataset category ambiguity
JP2022090633A (ja) 高解像度画像内の物体検出を改善するための方法、コンピュータ・プログラム製品、およびコンピュータ・システム
CN114689036A (zh) 地图更新方法、自动驾驶方法、电子设备及存储介质
US8229251B2 (en) Pre-processing optimization of an image processing system
CN112183321A (zh) 机器学习模型优化的方法、装置、计算机设备和存储介质
CN113496503A (zh) 点云数据的生成及实时显示方法、装置、设备及介质
JP7563921B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN115482588B (zh) 一种预测三维模型的姿态的方法及电子设备
JP7805655B2 (ja) モジュール建設のための仮想性能適合性チェック及び管理並びに関連する方法
WO2020067204A1 (ja) 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240926

R150 Certificate of patent or registration of utility model

Ref document number: 7563921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150