JP2005061931A - ３次元形状の復元方法及びその装置並びに３次元形状の復元プログラム - Google Patents

Abstract

【課題】 時系列画像からの形状復元作業において大きな省力化を図ることができる。
【解決手段】 シーケンス決定機構１１では、時系列画像をシーケンスに分割するのに必要な情報を生成し、プロファイル生成機構１２では、シーケンスごとに点群獲得プログラム１７を実行するためのプロファイルを生成し、生成されたすべてのプロファイルはプロファイル格納装置１３に保存される。生成されたプロファイルは、プロファイル選択機構１４で選択する。点群の獲得結果に基づいて再度、プロファイルを選択し、点群獲得プログラム１７に与えるパラメータを変更して処理を実行する。再度実行すべきプロファイルが無ければ点群統合機構１５に処理を移す。点群統合機構１５では、各シーケンスから獲得された点群を空間情報にまとめてファイルサーバ１６に入力する。
【選択図】 図１

Description

本発明は、撮影対象領域の部分的な撮影を複数回行って全域を撮影した時系列画像から、広域の３次元形状を復元する方法及びその装置並びにプログラムに関するものである。

映像から３次元の点群を獲得し、その点群から形状を復元する技術（方法や装置等）が知られている（非特許文献１参照。）。（非特許文献２参照。）。

このような技術により、例えば、図１６に示すように、ヘリコプターの空撮画像から市街地の３次元形状データ（市街地空間モデル）を構築し、都市計画、カーナビゲーション、バーチャルモール、災害等の数値シミュレーションなどの様々なアプリケーションの基礎データに利用されている（非特許文献３参照。）。

画像（映像）は、図１７に示すように、ヘリコプターに設置されたビデオカメラにより単位時間ごと（撮影時刻００１〜００５）に撮影されたフレームと呼ばれる画像列から構成されているため、以下、映像を時系列画像と呼ぶ。

地上の対象建物を空撮した時系列画像（撮影時刻００１〜００５）の例を、図１８に示す。図１８から分かるように地上の対象建物が映し出されているフレーム数は限られているため、長い時系列画像から広域の３次元形状を復元する場合には、部分的な画像列（シーケンス）ごとに点群を獲得する必要がある。

さらに、大きな構造物は複数のシーケンスに跨る場合も考えられるため、複数の連続するシーケンスから獲得された点群を一つの点群に統合した後で形状の復元を行う必要がある。この統合後の点群を、シーケンスごとの点群と区別するために、以下では空間情報と呼ぶ。

時系列画像からＮ枚ごとにシーケンスを生成した例を図１９に示す。長い時系列画像から広域の３次元形状を復元する場合、シーケンスごとに３次元座標値を持った点群を獲得し、点群を統合して空間情報を生成し、空間情報から形状の復元を行う。

以下の説明において、シーケンスから点群を獲得するプログラム（点群獲得プログラム）と、空間情報から立体形状を復元するプログラム（形状復元プログラム）が従来技術として準備されているものとする。点群獲得プログラムを実行した例を図２０に示す。この例では、プログラムの閾値（Threshold）、先頭フレームの撮影時刻（Initial Frame）、１シーケンスのフレーム枚数（Frames）、を指定して点群獲得プログラムを実行する。

出力は、点群獲得結果を表示した画像ファイルの名前（Initial Image）、獲得した点の数（Feature Points）、各点の３次元座標値を記述したファイルの名前（Shape3D）、獲得した位置の誤差（Score）である。

形状復元プログラムを実行した例を図２１に示す。この例では、空間情報のファイル名（World Point File）、空間情報に含まれる点の数（World Points）、などの情報を入力し、実行後に生成される形状情報をファイル（Model File）に保存する。

また、上記時系列画像から３次元情報を獲得する既存の技術としては、複数のカメラを使うことで、一部のカメラで対象物がフレームに映し出されなくても、常にフレーム中に捕らえようとする技術がある（特許文献１参照。）。

さらに、時系列画像から時間的に連続していない複数枚のフレームからの３次元情報の獲得を可能にする技術もある（特許文献２参照。）。
石川 裕治、宮川 勲、若林 佳織、有川 知彦、"ＭＤＬ基準に基づく３次元点集合からの形状モデル復元"、画像の認識・理解シンポジウム（ＭＩＲＵ2002）論文集、ｖｏｌ.1，pp．165--170、情報処理学会、2002 宮川 勲、長井 茂、有川 知彦、"カメラ運動を拘束した因子分解法による空間情報復元"、電子情報通信学会論文誌、ｖｏｌ.J85-D-II，no.5，pp．898-966，2002 第１０回機能図形情報システムシンポジウム講演論文集１９９９年４月都市３次元地図を用いた防災情報提供システム 大谷 尚通、石川 裕治、桑田 喜隆、井上 潮 特開２００１−１０１４１９号公報 特開２００２−０３２７４１号公報

上述した従来技術では、シーケンスごとに３次元点群を獲得できるが、実際の入力は時系列画像として与えられるため、そのままでは空間情報を復元することができない。

広域の領域を撮影した時系列画像では画像の枚数が膨大になるため、時系列画像のシーケンスヘの分割、および３次元点群の獲得処理は自動的に行われる必要がある。

シーケンスごとの点群獲得プログラムの実行を人手で行うと、入力設定、プログラムの実行、結果の確認、という作業をシーケンスの数だけ行わなければならず、膨大な手間がかかる。また、プログラム実行時の設定ミスも発生しやすい。

さらに、点群の獲得結果を確認し、設定を変更して再実行するといった作業が入ると、より膨大な手間がかかるようになる。さらにまた、すべてのシーケンスから点群を獲得した後、どの点群を選んで、一つの空間情報にまとめれば、良いかを選択することが難しいという問題がある。

なお、時系列画像から３次元情報を獲得する技術、また、時系列画像から時間的に連続していない複数枚のフレームからの３次元情報の獲得を可能にする技術としては、前述したような技術がある。

しかし、いずれの技術もフレーム間に同じ対象物が映し出されていることを前提として３次元形状を復元しており、単一のシーケンスから３次元情報を獲得するための技術としては利用可能である。しかしながら、これらの技術は、シーケンスが複数あり、各シーケンスごとに３次元情報を獲得し、３次元情報を統合後に形状の復元を行う際に生じる上記に挙げた問題点については、考慮がなされていないのが現状である。

本発明は、上記の事情に鑑みてなされたもので、時系列画像を与えるだけで、シーケンスごとに点群が自動的に獲得され、最終的に空間情報として統合した形で３次元座標の集合を得ることができるようにして、時系列画像からの形状復元作業において大きな省力化を図ることができると共に、作業ミスを減らすことができる３次元形状の復元方法及びその装置並びに３次元形状の復元プログラムを提供することを課題とする。

本発明は、上記の課題を達成するために、第１発明は、撮影対象領域の部分的な撮影を繰り返して全域を撮影した時系列画像から、広域の３次元形状を復元する方法であって、時系列画像を複数の画像列に分割するステップと、分割後の各画像列から３次元点群を獲得する処理を複数回行って、複数の３次元点群を獲得するステップと、複数の３次元点群を一つにまとめて、広域の３次元点群（以下、空間情報と称する）を獲得するステップと、空間情報から広域の３次元形状を復元するステップと、を有することを特徴とする３次元形状の復元方法を解決する手段とする。

第２発明は、時系列画像を複数の画像列に分割するステップは、画像中の特徴点が、時系列画像において映し出されている枚数にもとづいて、画像列に含める画像の枚数を決定するステップと、画像中における特徴点の画像座標の変化量にもとづいて、次の画像列の先頭画像を決定するステップと、を有することを特徴とする３次元形状の復元方法を解決する手段とする。

第３発明は、部分的な画像列の指定、および、３次元点群を獲得するために必要なパラメータ、を一つのファイルにまとめるステップと、すべての画像列に対して上記のファイルを生成するステップと、上記のファイルを選択することによって点群を獲得する画像列の選択を行うステップと、上記のファイルに点群の獲得結果を追加するステップと、上記のファイルを選択することによって空間情報に含める点群のグループの選択を行うステップと、を有することを特徴とする３次元形状の復元方法を解決する手段とする。

第４発明は、３次元点群の評価値が与えられた条件を満たす点群だけを集めて、空間情報を生成するステップと、を有することを特徴とする３次元形状の復元方法を解決する手段とする。

第５発明は、撮影対象領域の部分的な撮影を繰り返して全域を撮影した時系列画像から、広域の３次元形状を復元する装置であって、時系列画像を複数の画像列に分割する第１手段と、この第１手段で分割した後の各画像列から３次元点群を獲得する処理を複数回行って、複数の３次元点群を獲得する第２手段と、この第２手段で獲得した複数の３次元点群を一つにまとめて、広域の３次元点群（以下、空間情報と称する）を獲得する第３手段と、この第３手段で獲得した空間情報から広域の３次元形状を復元する第４手段と、を有することを特徴とする３次元形状の復元装置を解決する手段とする。

第６発明は、時系列画像を複数の画像列に分割する第１手段は、画像中の特徴点が、時系列画像において映し出されている枚数にもとづいて、画像列に含める画像の枚数を決定する第１決定部と、画像中における特徴点の画像座標の変化量にもとづいて、次の画像列の先頭画像を決定する第２決定部と、を有することを特徴とする３次元形状の復元装置を解決する手段とする。

第７発明は、部分的な画像列の指定、および、３次元点群を獲得するために必要なパラメータ、を一つのファイルにまとめる統合手段と、すべての画像列に対して上記のファイルを生成する生成手段と、上記のファイルを選択することによって点群を獲得する画像列の選択を行う選択手段と、上記のファイルに点群の獲得結果を追加する追加手段と、上記のファイルを選択することによって空間情報に含める点群のグループの選択を行うグループ選択手段と、を有することを特徴とする３次元形状の復元装置を解決する手段とする。

第８発明は、前記第３手段が、３次元点群の評価値が与えられた条件を満たす点群だけを集めて、空間情報を生成するものであることを特徴とする３次元形状の復元装置を解決する手段する。

第９発明は、３次元形状の復元方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする３次元形状の復元プログラムを解決する手段とする。

また、本発明は、上記各発明を解決するために、図１に示す構成を用いた。すなわち、本発明は既存技術の構成要素（点群獲得プログラム１７、形状復元プログラム１８）に加え、シーケンス決定機構１１、プロファイル生成機構１２、プロファイル格納装置１３、プロファイル選択機構１４、点群統合機構１５、ファイルサーバ１６（画像ファイル、点群ファイル、空間情報ファイル、形状ファイルなど）から構成される。以下、順に各機構について説明する。

シーケンス決定機構１１では、時系列画像をシーケンスに分割するのに必要な情報を生成する。具体的には、フレーム中の特徴点が、時系列画像上に映し出されている枚数に基づいて、シーケンスのフレームの枚数を決定し、さらに、特徴点の画像座標の移動量に基づいて、次のシーケンスの開始フレームを決定する。

プロファイル生成機構１２は、シーケンスごとに点群獲得プログラム１７を実行するための設定ファイル（プロファイル）を生成する。具体的には、時系列画像からシーケンスを特定するための情報および点群獲得プログラム１７に与えるパラメータをプロファイルに記述する。生成されたすべてのプロファイルはプロファイル格納装置１３に保存される。

プロファイル選択機構１４は、生成されたプロファイルを選択し、それらのプロファイルに対して点群獲得プログラム１７を実行する。点群の獲得結果に基づいて再度、プロファイルを選択し、点群獲得プログラム１７に与えるパラメータを変更して処理を実行する。再度実行すべきプロファイルが無ければ点群統合機構１５に処理を移す。

なお、プロファイル選択機構１４の処理においては、プロファイルに点群の獲得結果を追記し、その内容と共にプロファイルを一覧表示し、パラメータの変更またはプロファイルの選択に関する入力を受け付けても良い。

点群統合機構１５では、各シーケンスから獲得された点群を、一つもしくは複数の空間情報にまとめる。点群の獲得結果にもとづいて、どの点群を一つの空間情報にまとめるかを決定し、その決定により生成された空間情報をファイルサーバ１６に入力する。

点群統合機構１５の処理においては、プロファイルに点群の獲得結果を追記し、その内容と共にプロファイルを一覧表示し、プロファイルの選択に関する入力を受け付けることで、空間情報に含める点群を選択しても良い。

以上の工夫により、時系列画像を入力として、点群獲得プログラム１７および形状復元プログラム１８が実行され、広域の３次元形状データを全自動で得ることができる。

以上述べたように、本発明によれば、時系列画像を与えるだけで、シーケンスごとに点群が自動的に獲得され、最終的に空間情報として統合した形で３次元座標の集合を得ることができる。そのため以下に示すａ〜ｄのような手間が省かれる利点がある。

ａ．シーケンスごとの設定ファイルの作成とプログラムの実行
ｂ．点群獲得結果の確認と、パラメータの再設定およびプログラムの再実行
ｃ．空間情報にまとめるための点群の選択
ｄ．形状復元プログラムに必要な設定ファイルの作成。

例えば、上記でプロファイルＩ０００１.prfからＩ０００４.prfを使った例では、パラメータの設定および点群獲得プログラムの実行は７回に及んでいる。より長い時系列画像では、シーケンス数の増加、および、再実行の必要があるシーケンス数の増加により、回数の増加が予想される。よって、時系列画像からの形状復元作業において大きな省力化を図ることができると共に、作業ミスを減らすことができる。

以下本発明の実施の形態を図面に基づいて詳細に説明する。

通常、ＮＴＳＣやハイビジョンなどの映像では、１秒間に３０枚の画像が記録される。そこから適当な間隔で画像を取り出して、記録装置に格納する。記録装置は、撮影した時刻と画像データのファイル名の組を保存することで、時系列画像を管理する。ファイルサーバにおける時系列画像の管理の例を図２に示す。なお、図２において、図示左側の数列は撮影時刻を示し、図示右側の文字列は画像ファイルを示している。

次にシーケンス決定機構１１を図３に示すフローチャートに従って説明する。本例では、撮影画像の上方向にカメラを直線運動させて時系列画像を撮影したものとする。この場合、撮影された物体のフレーム中の位置は、図１８に示す各フレームの画像例のように、フレームの上から下に移動する。そこで、初期特徴点は初期フレームの上部領域に発生させるものとする（図４の上段）。

ここで、発生領域の上下幅をＬとすると、Ｌの値は、例えばフレームＦの高さの1/3などとして定めることができる。特徴点の発生は、画素値が大きく変化する部分を自動検出することによって可能である。特徴点の分布している位置を知るために、その重心を求め、フレームＦの下端からの高さＨ₀を保存しておく。

図３において、まず、ステップＳ１でフレーム枚数のカウンタＮを「１」に設定する（初期化する）。また、ステップＳ２で時系列画像の初期フレームの上部に特徴点を発生させる（特徴点発生領域の上下幅はＬ）。そして、ステップＳ３では、初期フレームにおける特徴点集合の重心の高さＨ₀を求める。

その後、ステップＳ４で、特徴点周辺の画像パターンを、次のフレームの中で探すことにより、次のフレームＦにおける特徴点の位置を獲得する（特徴点を追跡）。つまり、１フレームだけ特徴点追跡を行い、ステップＳ５で、フレーム枚数のカウンタＮを「１」増やし、ステップＳ６でフレームＦにおける特徴点の重心の高さＨ_fを求める。

先に述べたように撮影された物体は、フレーム中で上から下に移動するため、逐次特徴点追跡を行うに従って、特徴点が分布する範囲は徐々に下に下がる。

特徴点の分布領域がＬだけ移動したと判断された時点で、フレームＦの上部には、上下幅Ｌの新しい特徴点の発生領域ができたので、次のシーケンスは、そのフレームから開始することとする（図４の中段）。

この判断は、特徴点集合の重心位置の高さＨ_fによって行われ、Ｈ_fがＨ₀よりＬ以上低くなったら、ステップＳ７で、フレーム枚数のカウンタＮを、Ｎ’として保存し、そのフレームを次のシーケンスの開始フレームとする。

以下、特徴点のうち、任意の点がフレームの下端に達したかを、ステップＳ８で判断し、フレームアウトするまで（ステップＳ８で肯定「ｙｅｓ」）、特徴点追跡を行う（図４の下段）。

フレームアウトが生じた時点の一枚前のフレームが、シーケンスの最後のフレームとなるため，このステップまでに利用したフレーム枚数のカウンタＮから「１」を引いた枚数（Ｎ−１）が、シーケンスに含まれるフレーム枚数となる（ステップS９）。また、次のシーケンスと重なっているフレームの枚数（オーバーラップ枚数）は（Ｎ−Ｎ’−１）と求まる（ステップS１０）。

本例ではカメラが等速で移動することとを仮定し、すべてのシーケンスは、同じ枚数であるとする。よって、シーケンスの枚数とオーバラップ枚数が決定すれば、すべてのシーケンスの開始フレームを特定することができる。カメラ運動が等速でない場合には、図３に示すフローチャートの手続きを時系列画像全体に渡って繰り返し行い、シーケンス毎にフレーム枚数と開始フレームを決定すればよい。特徴点の追跡処理は点群獲得時にも必要となるので、追跡処理の結果を保存し、点群獲得時に利用しても良い。

次にプロファイル生成機構１２の説明を行う。ここでは、図２０に示す設定値を持つプロファイルを生成する場合を例として、プロファイル生成機構１２に入力するデータを記述したファイル（初期設定ファイル）の内容を図５に示す。以下、各行について説明する。

Threshold：各プロファイルに設定する点群獲得プログラム１７の閾値Thresholdのデフォルト値。シーケンスによっては点群の獲得がうまくいかない場合もあり、その場合には閾値を変更して再実行する必要があるが、１回目の点群獲得処理ではデフォルト値を用いる。

Initial Frame：時系列画像の先頭フレームを、そのフレームの撮影時刻で指定する。

End Frame：時系列画像の最後フレームを、そのフレームの撮影時刻で指定する。

Frames：時系列画像をシーケンスに分割する際の１シーケンスのフレーム枚数
Overlap Frames：シーケンス間のオーバーラップ枚数（図１９参照）。

次に、プロファイル生成機構１２を図６に示すフローチャートに基づいて説明する。図６において、最初にステップS１１で上記の初期設定ファイルを読み込む。以下の説明では、例えば［Initial Frame］などとして、”［“，“］”で囲むことでInitial Frameの設定値を表すこととする。

次に、ステップS１２で［Initial Frame］を変数Ｔにセットし、ステップS１３で［End Frame］が示すフレームから［Frames］枚前のフレームの撮影時刻を変数T_endにセットする。

T_endより後の時刻に撮影されたフレームからシーケンスを開始すると、そのシーケンスの範囲が初期設定ファイルで指定した範囲（［Initial Frame］〜［End Frame］）からはみ出すため、以下の処理においてシーケンスの開始時刻Tをチェックするようにしている。

次に、ステップS１４で、プロファイルを設定値が空欄のまま生成し、FramesとThresholdの欄には初期設定ファイルの設定値をそのまま設定する。Initial Frameの欄には、Ｔを設定し（ステップS１５）、プロファイルをプロファイル格納装置１３に保存する（ステップS１６）。

次のシーケンスの先頭フレームは、時刻Tに撮影されたフレームの［Frames］−［Overlap Frame］枚先のフレームである。よって、そのフレームの撮影時刻をＴにセットする（ステップS１７）。

ここで、先に述べた理由によりステップＳ１８の判断で、TがT_endより大きければ（ｙｅｓ）処理を終了する。そうでなければ（ｎｏ）、新しいTから始まるシーケンスに対してプロファイルが新たに生成される。

図５に示す初期設定ファイルの内容に基づいてプロファイルを、生成した例を図７に示す。撮影時刻００１から２００までの時系列画像は、４つのシーケンスに分割され、それぞれのシーケンスのプロファイルが、自動的に生成される。各プロファイルは、Ｉ０００１.prf〜Ｉ０００４.prfというファイル名でプロファイル格納装置１３に保存されるものとする。

上記の例では、復元対象とする時系列画像をInitial FrameとEnd Frameで指定しているが、Initial Frame（あるいはEnd Frame）とフレーム枚数で指定する。

プロファイル選択機構１４の説明においては、”［“，“］”で囲むことでプロファイルの設定値を表すこととする。［Score］は点の位置の平均誤差であり、点群獲得プログラム１７の実行後に設定される値である。点群獲得プログラム１７は［Threshold］を下げることで誤差の大きな点を除去し、平均誤差を低減することができる。

なお、図８の上図は、建物形状を獲得した点群を横から見た図で、この図において、［Threshold］を下げることで位置誤差の大きな点の除去により図８の下図のようになる。

ここで説明するプロファイル選択機構１４では、すべてのプロファイルにおいて［Score］を、事前に与えられた閾値Ｖs以下にすることを目的とする。ただし、点をできるだけ残すため［Threshold］は段階的に小さくする。

図９はプロファイル選択機構１４を説明するフローチャートである。図９において、最初にプロファイル生成機構１２が生成したプロファイルを格納装置１３からすべて読み込み（ステップＳ２１）、全てのプロファイルをプロファイルリストに追加する（ステップＳ２２）。

次に［Threshold］の繰り返しを重ねるごとに半分の値にしながら、ステップＳ２３で［Score］が閾値Ｖs以下になるまで繰り返し、プロファイルをプロファイルリストから除いて、ステップＳ２４、ステップＳ２５を経て、ステップＳ２６でプロファイルリストに含まれる全てのプロファイルに対して一つづつ点群獲得プログラムを実行する。

ただし、処理時間を小さくするために、ステップＳ２４でプロファイルリストが空または繰り返しの回数が閾値Ｎ回より大きいかを判断し、閾値をＮ回に制限し、またステップＳ２５でプロファイルリストに含まれるプロファイルに対して［Threshold］を半分にする。以上の処理によって、プロファイルが自動的に選択されて、点群獲得プログラム１７が実行され、ファイルサーバ１６に入力される。

なお［Threshold］を小さくする方法としては、毎回減算する方法や、手動による入力を受け付ける方法などもある。また、点群からの形状復元をする際には［Score］だけでなく点群に含まれる点の数（Feature Points）も重要な要素であるため、繰り返し処理の中で点の数が、ある一定の閾値以下になってしまった場合には、プロファイルリストから対象のプロファイルを削除する。

点群獲得プログラム１７の実行対象となるプロファイルの選択は、上記に述べたような閾値や評価関数による自動的な方法と、点群の３次元配置を目視により確認して手動の入力を受け付ける方法と、をどちらでも選択できるようにしても良い。

手動選択に依る方法としては、図１０に示すようにプロファイル選択画面の一覧を［Score］などと一緒に表示し、Thresholdの値を直接入力するための欄や、点群獲得プログラム１７の実行対象となるプロファイルを選択するためのチェックボックスを設ける。このように、一度にすべてのプロファイルに関する入力を受け付けることで、プロファイルの選択に伴う手間やミスを削減することができる。

図７のプロファイルに対してプロファイル選択機構１４の処理を実施した場合を図１１を使って説明する。処理実施前の各プロファイルの内容はThresholdの値は設定されているが、Score（平均誤差）やFeature Points（点群に含まれる点の数）は設定されていない。

最初にすべてのプロファイルがプロファイルリストに追加されるため、Ｉ０００１.prf〜Ｉ０００４.prfの各プロファイルに点群獲得プログラム１７が実行される。実行後の結果を図１１に１回目の処理終了時として示す。

ここで［Score］の閾値Ｖsを４．０とすると、Ｉ０００１.prfとＩ０００３.prfの［Score］は閾値Ｖsより小さいため、その二つのプロファイルはプロファイルリストから削除される。

残ったＩ０００２.prfとＩ０００４.prfに対して［Threshold］を、図１１の２回目処理終了時に示すように半分の値（＝１０）にして再度、点群獲得プログラム１７が実行される。しかし、Ｉ０００４.prfは［Threshold］を「１０」にしても［Score］が依然として閾値Ｖsより大きいため、図１１の全処理終了時に示すように［Threshold］を「５」にして再実行される。

繰り返しの回数を２回に制限した（Ｎ＝２）とすると最終的な結果が図１１の下段に示す全処理終了時のように得られる。［Threshold］を小さくした結果、Ｉ０００２.prfとＩ０００４.prfでは点の数が削減されている。

特にＩ０００４.prfでは、［Score］を閾値Ｖs以下にすることができず、また、ほとんどの点が削除されてしまった。これはＩ０００４.prfのシーケンスからは多数の点の位置を精度良く獲得することが難しいことを示す。Ｉ０００４.prfの点群の扱いについては次の点群統合機構１５で述べる。

点群統合機構１５では、各プロファイルから獲得された点群を一つの集合にまとめることで空間情報を生成する。その処理を図１２のフローチャートに示す。まず、図１２において、ステップＳ３１で全てのプロファイルを読み込む（以下イメージプロファイルの各設定値を［Threshold］と表す）。

上記で述べたように精度の高い点群を獲得できないシーケンスも存在するため、ステップＳ３２では［Score］が閾値Vs以下のプロファイルの［Shape3D］を読み込み、その内容を空間情報ファイルに追加する。すなわち、空間情報ファイルには［Score］が閾値Ｖs以下の点群だけを追加する。

空間情報を生成後、ステップＳ３３で形状復元プログラム１８を実行するのに必要な設定ファイルを生成する。点群統合機構１５でも、プロファイルの選択を閾値による自動的な方法以外に、手動による方法も受け付けることができるようにしても良い。

具体的には、図１３のプロファイル選択画面に示すようにプロファイルを［Score］や［Feature Points］などと共に一覧で示し、空間惰報に統合するプロファイルの選択を一括で入力できるようにする。

次に、図１１の処理例によって生成されたプロファイルＩ０００１.prf〜Ｉ０００４.prfに対して、点群統合機構１５の処理を実施した場合を説明する。

最初にＩ０００１.prfからＩ０００４.prfまでのすべてのプロファイルが読み込まれる。このうちＩ０００４.prfは［Score］(=4.2)が閾値Ｖsより大きいため、点群の位置精度が低いと判断され、Ｉ０００１.prfからＩ０００３.prfまでの点群が空間情報ファイルＭ０００１.XYZに加えられる。

具体的にはＩ０００１.prfに［Shape3D］として登録されている各点の３次元座標値を記述したファイルＩ０００１.xyzを読み込み、Ｍ０００１.XYZに書き出す。同様にＩ０００２.xyz，Ｉ０００３.xyzを読み込んでＭ０００１.XYZに追加する。

次に、形状復元プログラム１８のための設定ファイルＭ０００１.prfを生成する。空間情報を記述したファイルの名前として「Ｍ０００１.XYZ」をWorld Point Setに登録する。また、Ｍ０００１.XYZに記述された３次元座標値の数として、３つのプロファイルの［Feature Points］の和を、Ｍ０００１.prfのWorld Pointsの欄に登録する。

また、形状復元プログラム実行後に生成される形状ファイルのファイル名を記述する欄としてModel Fileを加え、図１４に示す設定ファイルが自動的に生成される。

以上の例により、市街地を空撮して取得した時系列画像から空間情報を復元し、市街地の３次元モデルを構築した例を図１５に示す。高精度な点群の自動獲得処理において、プロファイル生成機構およびプロファイル選択機構が、空間情報の復元処理において、点群統合機構が、それぞれ利用される。

本発明は、時系列画像を入力として、点群獲得プログラムおよび形状復元プログラムが実行され、広域の３次元形状データ（市街地空間モデル）を全自動で得ることができるために、災害シミュレーションやカーナビなどの基礎データに利用できる。

本発明の構成を示すブロック図。 時系列画像のデータ保存形式の例を示す説明図。 シーケンス決定機構のフローチャート。 シーケンスのフレーム枚数を決定する手続きを説明する説明図。 プロファイル生成機構の初期設定ファイルの記述例を示す説明図。 プロファイル生成機構のフローチャート。 プロファイルの生成例を示す説明図。 位置誤差の大きな点を除去した結果を示す説明図。 プロファイル選択機構のフローチャート。 点群獲得プログラム実行対象となるプロファイルの選択画面を示す説明図。 プロファイル選択機構の処理の例を示す説明図。 点群統合機構のフローチャート。 点群統合の対象となるプロファイルの選択画面を示す説明図。 形状復元プログラムの設定ファイルの例を示す説明図。 実施の形態により市街地空間モデルを構築した例を示す説明図。 映像からの３次元形状獲得技術の利用例を示す説明図。 建物の空撮例を示す説明図。 各フレームの画像の例を示す説明図。 時系列画像から一定枚数のシーケンスヘの分割を説明した図。 点群獲得プログラムの実行方法の例を示す説明図。 形状復元プログラムの実行方法の例を示す説明図。

符号の説明

１１…シーケンス決定機構
１２…プロファイル生成機構
１３…プロファイル格納装置
１４…プロファイル選択機構
１５…点群統合機構
１６…ファイルサーバ
１７…点群獲得プログラム
１８…形状復元プログラム

Claims (9)

1. 撮影対象領域の部分的な撮影を繰り返して全域を撮影した時系列画像から、広域の３次元形状を復元する方法であって、
   時系列画像を複数の画像列に分割するステップと、
   分割後の各画像列から３次元点群を獲得する処理を複数回行って、複数の３次元点群を獲得するステップと、
   複数の３次元点群を一つにまとめて、広域の３次元点群（以下、空間情報と称する）を獲得するステップと、
   空間情報から広域の３次元形状を復元するステップと、を有する
   ことを特徴とする３次元形状の復元方法。
2. 請求項１に記載の３次元形状の復元方法において、
   時系列画像を複数の画像列に分割するステップは、
   画像中の特徴点が、時系列画像において映し出されている枚数にもとづいて、画像列に含める画像の枚数を決定するステップと、
   画像中における特徴点の画像座標の変化量にもとづいて、次の画像列の先頭画像を決定するステップと、を有する
   ことを特徴とする３次元形状の復元方法。
3. 請求項１に記載の３次元形状の復元方法において、
   部分的な画像列の指定、および、３次元点群を獲得するために必要なパラメータ、を一つのファイルにまとめるステップと、
   すべての画像列に対して上記のファイルを生成するステップと、
   上記のファイルを選択することによって点群を獲得する画像列の選択を行うステップと、
   上記のファイルに点群の獲得結果を追加するステップと、
   上記のファイルを選択することによって空間情報に含める点群のグループの選択を行うステップと、を有する
   ことを特徴とする３次元形状の復元方法。
4. 請求項１に記載の３次元形状の復元方法において、
   ３次元点群の評価値が与えられた条件を満たす点群だけを集めて、空間情報を生成するステップと、を有する
   ことを特徴とする３次元形状の復元方法。
5. 撮影対象領域の部分的な撮影を繰り返して全域を撮影した時系列画像から、広域の３次元形状を復元する装置であって、
   時系列画像を複数の画像列に分割する第１手段と、
   この第１手段で分割した後の各画像列から３次元点群を獲得する処理を複数回行って、複数の３次元点群を獲得する第２手段と、
   この第２手段で獲得した複数の３次元点群を一つにまとめて、広域の３次元点群（以下、空間情報と称する）を獲得する第３手段と、
   この第３手段で獲得した空間情報から広域の３次元形状を復元する第４手段と、を有する
   ことを特徴とする３次元形状の復元装置。
6. 請求項５に記載の３次元形状の復元装置において、
   時系列画像を複数の画像列に分割する第１手段は、
   画像中の特徴点が、時系列画像において映し出されている枚数にもとづいて、画像列に含める画像の枚数を決定する第１決定部と、
   画像中における特徴点の画像座標の変化量にもとづいて、次の画像列の先頭画像を決定する第２決定部と、を有する
   ことを特徴とする３次元形状の復元装置。
7. 請求項５に記載の３次元形状の復元装置において、
   部分的な画像列の指定、および、３次元点群を獲得するために必要なパラメータ、を一つのファイルにまとめる統合手段と、
   すべての画像列に対して上記のファイルを生成する生成手段と、
   上記のファイルを選択することによって点群を獲得する画像列の選択を行う選択手段と、
   上記のファイルに点群の獲得結果を追加する追加手段と、
   上記のファイルを選択することによって空間情報に含める点群のグループの選択を行うグループ選択手段と、を有する
   ことを特徴とする３次元形状の復元装置。
8. 請求項５に記載の３次元形状の復元装置において、
   前記第３手段は、３次元点群の評価値が与えられた条件を満たす点群だけを集めて、空間情報を生成するものである、
   ことを特徴とする３次元形状の復元装置。
9. 請求項１から請求項５のいずれかに記載の３次元形状の復元方法におけるステップを、コンピュータに実行させるためのプログラムとした、
   ことを特徴とする３次元形状の復元プログラム。
   

Images