JP2010288060A - 周辺表示装置 - Google Patents

Abstract

【課題】自動車などの自走可能な移動体周辺の俯瞰画像を取得する際に計算コストを削減できる周辺表示装置を提供する。
【解決手段】３次元画像データを算出する３次元化計算部１１、３次元化計算部１１で計算された３次元画像データに、自動車座標系内でのステレオカメラの位置を表現する３次元変換行列を適用することで、ステレオカメラ座標系で表現された３次元画像データを自動車座標系で表現された３次元画像データに変換する座標変換部１２と、自動車座標系で表現された３次元画像データと、記憶部７に格納された自車両の３次元モデルのデータとを統合して３次元画像データを生成する統合部５と、統合部５で生成された３次元画像データを、仮想位置に配置したカメラで観測した俯瞰画像データに生成する画像生成部６とを備えている。
【選択図】図２

Description

本発明は周辺表示装置に関し、特に、自走可能な移動体の周辺状況を俯瞰的に表示する周辺表示装置に関する。

複数の撮像手段によって車両周辺の２次元画像を個々に撮像し、それぞれの画像を視点変換して路面を投影面とする複数の俯瞰画像を作成し、当該複数の俯瞰画像を車両周辺に並べるように合成することで、自車両周辺の俯瞰画像を得る種々の技術が開示されている。

例えば、特許文献１には、リアルタイムに取得した周辺環境の感覚を立体的に使用者に伝える仮想現実システムに関し、時系列に変化した画像の組から３次元測定を行い、箱型の３次元周辺モデルの壁面にテクスチャマッピングして３次元表示する技術を開示している。

特開２００４−２８７８０８号公報

車両周辺の画像を３次元的に表示するには、ステレオカメラで取得した２次元画像に基づいて距離情報を含む３次元情報を取得する３次元化計算が必要であり、また、取得した３次元情報に基づいて描画を行う必要があるが、これらの処理には時間を要し、車両に搭載されたシステムで行うには、ハードウエア資源に限界があり、計算コストを無視できないが、特許文献１には、計算コストの低減に関する工夫は開示されていない。

本発明は上記のような問題点を解消するためになされたもので、自動車などの自走可能な移動体周辺の俯瞰画像を取得する際に計算コストを削減できる周辺表示装置を提供することを目的とする。

本発明に係る周辺表示装置の第１の態様は、自走可能な移動体における周辺の画像データを取得する複数のステレオカメラと、前記画像データに基づいて第１の３次元画像データを算出する３次元化計算部と、前記第１の３次元画像データの座標系を、前記移動体の所定の方向から俯瞰する移動体座標系に変換して第２の３次元画像データとする座標変換部と、前記第２の３次元画像データと、前記移動体の３次元モデルのデータとを統合した統合データを生成する統合部と、前記統合データから俯瞰画像データを生成する画像生成部とを備え、前記３次元化計算部は、前記複数のステレオカメラのそれぞれで得られた前記画像データについて、２つの画像の特徴点を相互に対応付けし、その結果得られた視差から画像上の測定点の３次元位置を算出することで前記第１の３次元画像データを取得し、前記３次元化計算部、前記座標変換部および前記統合部の少なくとも１つにおける処理対象データを削減するための計算対象制限情報を有する。

本発明に係る周辺表示装置の第２の態様は、前記計算対象制限情報が前記３次元化計算部に与えられ、前記測定点のうち前記３次元位置の算出対象を制限する情報である。

本発明に係る周辺表示装置の第３の態様は、前記計算対象制限情報が、前記複数のステレオカメラのそれぞれで得られた２次元画像上で規定される所定の測定領域の情報であって、前記所定の測定領域に含まれる前記測定点のデータについては、前記３次元位置の算出対象としない。

本発明に係る周辺表示装置の第４の態様は、前記所定の測定領域が、前記複数のステレオカメラのそれぞれにおいて互い重複する測定領域に相当する。

本発明に係る周辺表示装置の第５の態様は、前記計算対象制限情報が、前記測定点の視差量に対して設定された閾値の情報であって、視差量が前記閾値を超えない前記測定点のデータについては、前記３次元位置の算出対象としない。

本発明に係る周辺表示装置の第６の態様は、前記計算対象制限情報が、前記複数のステレオカメラのそれぞれで得られた３次元画像上で規定される所定の測定領域の情報であって、前記所定の測定領域に含まれる前記測定点のデータについては、前記３次元位置の算出対象としない、請求項２記載の周辺表示装置。

本発明に係る周辺表示装置の第７の態様は、前記計算対象制限情報が、前記座標変換部に与えられ、前記第１の３次元画像データのうち、座標変換の対象を削減する情報である。

本発明に係る周辺表示装置の第８の態様は、前記計算対象制限情報が、前記複数のステレオカメラのそれぞれで得られた３次元画像上で規定される所定の測定領域の情報であって、前記所定の測定領域に含まれる前記測定点のデータについては、前記座標変換の対象としない。

本発明に係る周辺表示装置の第９の態様は、前記計算対象制限情報が、前記移動体座標系によって表される３次元画像上で規定される所定の測定領域の情報であって、前記所定の測定領域に含まれる前記測定点のデータについては、前記座標変換の対象としない。

本発明に係る周辺表示装置の第１０の態様は、前記所定の測定領域が、前記複数のステレオカメラのそれぞれから所定距離前方の位置に境界を設定し、該境界と各ステレオカメラの画角とで規定される領域以外の領域に相当する。

本発明に係る周辺表示装置の第１１の態様は、前記計算対象制限情報が前記統合部に与えられ、前記統合データのうち、前記画像生成部で前記俯瞰画像データとして生成されるべき領域を限定する情報である。

本発明に係る周辺表示装置の第１２の態様は、前記計算対象制限情報が、前記移動体座標系によって表される３次元画像上で規定される所定の測定領域の情報であって、前記所定の測定領域に含まれる前記測定点のデータについては破棄される。

本発明に係る周辺表示装置の第１３の態様は、前記複数のステレオカメラで取得された前記画像データに基づいて、各ステレオカメラで撮影された画像が正常な状態で撮影された画像であるか、異常な状態で撮影された画像であるかを判定する異常検知部をさらに備え、前記異常検知部で異常と判定された画像については、前記画像データを破棄する。

本発明に係る周辺表示装置の第１４の態様は、前記異常検知部が、前記複数のステレオカメラで取得された前記画像データについて、画素値が所定値以上の画素の個数をカウントし、予め定めた閾値以上の画素数がカウントされる場合は、該画像データを異常と判定する。

本発明に係る周辺表示装置の第１の態様によれば、３次元化計算部、座標変換部および統合部の少なくとも１つにおける処理対象データを削減するための計算対象制限情報を有するので、移動体周辺の俯瞰画像を取得する際の計算コストを削減できる。

本発明に係る周辺表示装置の第２の態様によれば、計算対象制限情報に基づいて、３次元化計算部において、測定点のうち３次元位置の算出対象を制限するので、３次元化計算の対象データを削減し、計算コストを軽減することができる。

本発明に係る周辺表示装置の第３の態様によれば、計算対象制限情報が、複数のステレオカメラのそれぞれで得られた２次元画像上で規定される所定の測定領域の情報であるので、例えば各ステレオカメラの画角に基づいて一義的に制限領域を設定することも可能であり、制限領域の設定を比較的容易に行うことができる。

本発明に係る周辺表示装置の第４の態様によれば、複数のステレオカメラのそれぞれにおいて互い重複する測定領域を制限領域とするので、より実際的な設定が可能となる。

本発明に係る周辺表示装置の第５の態様によれば、視差量が閾値を超えない測定点のデータについては、３次元位置の算出対象としないので、移動体の運転時に把握する必要のある測定点についてはデータを残しながらも、計算対象のデータを削減して、計算コストを低減することが可能となる。

本発明に係る周辺表示装置の第６の態様によれば、所定の測定領域に含まれる測定点のデータについては、３次元位置の算出より後の処理対象データとしないので、その分の計算コストを低減することができる。

本発明に係る周辺表示装置の第７の態様によれば、計算対象制限情報に基づいて、座標変換部において座標変換の対象を削減するので、座標変換の対象データを削減し、計算コストを軽減することができる。

本発明に係る周辺表示装置の第８の態様によれば、所定の測定領域に含まれる測定点のデータについては座標変換の対象としないので、座標変換に伴う計算コストを軽減することができる。

本発明に係る周辺表示装置の第９の態様によれば、移動体座標系によって表される３次元画像上で規定される所定の測定領域に含まれる前記測定点のデータについては、座標変換の対象としないので、座標変換に伴う計算コストを軽減することができる。

本発明に係る周辺表示装置の第１０の態様によれば、所定の測定領域を一義的に設定することが可能である。

本発明に係る周辺表示装置の第１１の態様によれば、計算対象制限情報に基づいて、統合部において、統合データのうち、画像生成部で俯瞰画像データとして生成されるべき領域を限定するので、３次元描画に伴う計算コストを軽減することができる。

本発明に係る周辺表示装置の第１２の態様によれば、移動体座標系によって表される３次元画像上で規定される所定の測定領域に含まれる測定点のデータについては破棄されるので、３次元描画に伴う計算コストを軽減することができる。

本発明に係る周辺表示装置の第１３の態様によれば、異常検知部で異常と判定された画像については画像データを破棄するので、異常な画像データについてまで３次元化計算等の処理を施すことが防止されるので、計算コストを軽減することができる。

本発明に係る周辺表示装置の第１４の態様によれば、異常検知部が、複数のステレオカメラで取得された画像データについて、画素値が所定値以上の画素の個数をカウントし、予め定めた閾値以上の画素数がカウントされる場合は、該画像データを異常と判定するので、飽和画素が極端に多くなるような異常状態に対応することができる。

ステレオカメラの配置例を示す図である。 本発明に係る周辺表示装置の実施の形態の構成を示すブロック図である。 ステレオカメラの測定領域の重複を模式的に示す図である。 計算対象制限領域の例を模式的に示す図である。 計算対象制限領域の例を模式的に示す図である。 計算対象制限領域の例を模式的に示す図である。 計算対象制限領域の例を模式的に示す図である。 統合部における計算対象制限領域の例を模式的に示す図である。 本発明に係る周辺表示装置の実施の形態の動作を説明するフローチャートである。 ステレオカメラ座標系の３次元画像データに対応する計算対象制限領域を示す図である。 視差の特性を模式的に示す図である。 本発明に係る周辺表示装置の実施の形態の変形例の構成を示すブロック図である。 本発明に係る周辺表示装置の実施の形態の変形例の動作を説明するフローチャートである。 ステレオカメラの他の配置例を示す図である。

＜実施の形態＞
＜装置構成＞
図１は、本発明に係る周辺表示装置を搭載した車両ＶＣにおけるステレオカメラの配置例を示す図である。

図１において、車両ＶＣには、前方、左右および後方の画像を取得する４台のステレオカメラが搭載されている。すなわち、前方の画像を取得するステレオカメラＳＣ１、前方に対して右側の画像を取得するステレオカメラＳＣ２、後方の画像を取得するステレオカメラＳＣ３および前方に対して左側の画像を取得するステレオカメラＳＣ４を備えている。

このようなシステムを用いることで、自車両の周辺の画像データを取得し、それを視点を変えて自車両の所定の方向から見た俯瞰図に変更することが可能となるが、以下の説明では、ステレオカメラＳＣ１およびＳＣ４で取得した画像を使用する場合を例に採って説明する。

なお、各カメラの実際の配置位置は車種によって異なるが、例えば、ステレオカメラＳＣ１はルームミラーの位置に配置され、ステレオカメラＳＣ２およびＳＣ４は、それぞれ、右および左のサイドミラーの位置に配置され、ステレオカメラＳＣ３は、リヤバンパーの位置などに配置される。なお、上記配置は一例であり、ステレオカメラの配置はこれに限定されるものではない。

図２は、本発明に係る周辺表示装置１００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣ１〜ＳＣ４と、ステレオカメラＳＣ１〜ＳＣ４で得られた画像データの画像処理を行う表示画像生成部８０と、表示画像生成部１００から出力される処理済みの画像データを表示する画像表示部９０とを主たる構成として備えている。

表示画像生成部８０は、ステレオカメラＳＣ１〜ＳＣ４でそれぞれ得られた２次元画像データに基づいて、３次元画像データを算出する３次元化計算部１１、２１、３１および４１と、３次元化計算部１１、２１、３１および４１のそれぞれで計算された３次元画像データ（第１の３次元画像データ）に、自動車座標系（移動体座標系）内でのステレオカメラの位置を表現する３次元変換行列を適用することで、ステレオカメラ座標系で表現された３次元画像データを自動車座標系で表現された３次元画像データ（第２の３次元画像データ）に変換する座標変換部１２、２２、３２および４２と、座標変換部１２、２２、３２および４２から出力された自動車座標系で表現された３次元画像データと、記憶部７に格納された自車両の３次元モデルのデータとを統合して、自車両を自動車座標系の原点とし、その周辺に自動車座標系で表現された各３次元画像データを並べるように統合して測定空間の３次元画像データ（統合データ）を生成する統合部５と、統合部５で生成された３次元画像データを、仮想位置に配置したカメラで観測した俯瞰画像データに生成する画像生成部６とを備えている。

ステレオカメラＳＣ１〜ＳＣ４は、何れも２台のカメラで異なる視点から同時に撮影を行い、３次元化計算部１１、２１、３１および４１のそれぞれでは、三角測量の原理に基づいて、対応するステレオカメラで得られた２つの画像の特徴点を相互に対応付けし（対応点探査）、その結果得られた視差、焦点距離、基線長などのパラメータから、各対応点の組についての３次元位置を求めることで３次元画像データを算出する。

３次元化計算部１１、２１、３１および４１では、３次元画像データの算出に際して、３次元化計算の対象データを削減するために、予め設定された計算対象制限領域に位置するデータについては３次元化計算の対象としないという措置を採る。

すなわち、図１に示されるように搭載されたステレオカメラＳＣ１〜ＳＣ４は、測定漏れを防止するために、各ステレオカメラの測定領域を互いにある程度重複させるように配置されている。

図３は、ステレオカメラＳＣ１およびＳＣ４の測定領域の重複を模式的に示す図であり、ステレオカメラＳＣ１の画角で決まる測定領域Ｒ１と、ステレオカメラＳＣ４の画角で決まる測定領域Ｒ４とは、自車両ＶＣの左斜め前方において互いに重複している。この重複領域ＤＲの３次元画像データは冗長なデータを含むことになる。

そこで、各ステレオカメラごとに、この重複領域ＤＲに対応する画像上での領域を計算対象制限領域として予め設定しておき、３次元化計算に際しては、この計算対象制限領域内にある測定データに対しては３次元化計算を行わないという処理を行うことで、３次元化計算の対象データを削減し、計算コストを軽減する。

このため、図２に示されるように、３次元化計算部１１、２１、３１および４１のそれぞれには、計算対象制限領域の情報（制限情報）を格納した記憶部１３、２３、３３および４３から、制限情報が与えられる構成となっている。なお、便宜的に、記憶部１３、２３、３３および４３のそれぞれに格納される制限情報を、制限情報１、制限情報２、制限情報３および制限情報４と呼称する。

なお、図２においては記憶部１３、２３、３３および４３を互いに独立した構成として示しているが、これらはそれぞれＲＯＭ（Read Only Memory）やハードディスク記憶装置の記憶領域の１つによって構成されていても良い。

ここで、計算対象制限領域の例について図４〜図８を用いて説明する。なお、以下においては、図３に示すステレオカメラＳＣ１およびＳＣ４のそれぞれの測定領域Ｒ１およびＲ４を例に採って説明するものとし、車両ＯＶが撮影されているものとする。

まず、第１の例について図４および図５を用いて説明する。図４はステレオカメラＳＣ１によって撮影された画像を示し、図５はステレオカメラＳＣ４によって撮影された画像を示している。

図３に示されるように、車両ＯＶは、自車両ＶＣの前方にあって、測定領域Ｒ１およびＲ４の重複領域ＤＲにその一部が含まれるように位置しており、図４においては全体が写っているが、図５においてその一部のみが写っている。

図３に示されるような重複領域ＤＲの場合、図５において、向かって右上角部に破線で囲まれて示される３角形の領域が、ステレオカメラＳＣ４から見た重複領域ＤＲに該当することになる。従って、ステレオカメラＳＣ４の測定領域Ｒ４のうち、この３角形の領域を計算対象制限領域ＬＭＲとして設定し、この領域に含まれる画素データについては、３次元化処理を行わないことで計算コストを低減できる。計算対象制限領域ＬＭＲ以外の領域については計算対象領域ＯＲとし、この領域に含まれる画素データについては３次元化処理を行う。

なお、図４においては計算対象制限領域ＬＭＲは設定されておらず、全領域が計算対象領域ＯＲとなる。重複領域ＤＲは、計算対象制限領域ＬＭＲとしてステレオカメラＳＣ４の測定領域Ｒ４から除外されているので、画像データが重複することはない。

次に、第２の例について図６および図７を用いて説明する。図６はステレオカメラＳＣ１によって撮影された画像を示し、図７はステレオカメラＳＣ４によって撮影された画像を示している。図６および図７において車両ＯＶの位置は、図４および図５の例と同じである。

図３に示されるような重複領域ＤＲを想定すると、図６において、向かって左上角部に破線で囲まれて示される２つの３角形の領域を合わせた領域が、ステレオカメラＳＣ１から見た重複領域ＤＲに該当することになる。また、図７においては、向かって右上角部に破線で囲まれて示される２つの３角形の領域を合わせた領域が、ステレオカメラＳＣ４から見た重複領域ＤＲに該当することになる。

図６および図７において、それぞれの角部を含む３角形の領域が計算対象制限領域ＬＭＲとして設定され、計算対象制限領域ＬＭＲの隣の３角形の領域は、重複領域ＤＲではあるが計算対象領域となる重複計算領域ＤＯＲであり、実質的には計算対象領域ＯＲとして扱われる。

このように、重複領域ＤＲの一部についても計算対象領域として処理することで、必要な画像データが欠落する可能性を低減できる。

なお、重複領域ＤＲを、計算対象制限領域ＬＭＲと重複計算領域ＤＯＲとに区分する方法としては、各ステレオカメラから見た重複領域ＤＲについて予め定めた面積比となるように区分する方法を採ることができる。

なお、図６および図７の例では、計算対象制限領域ＬＭＲと重複計算領域ＤＯＲとが面積比で同じとなるように設定されているが、これに限定されるものではなく、重複領域ＤＲの位置や大きさによって適宜に設定すれば良い。

また、統合部５においては、統合部５で生成された３次元画像データのうち、画像生成部６で俯瞰画像データとして生成されるべき領域を予め限定しておくことで、３次元描画に伴う計算コストを軽減することができる。

この領域の一例を図８に示す。図８において、ステレオカメラＳＣ１〜ＳＣ４のそれぞれの画角で決まる測定領域（重複領域を含む）を、自動車座標系で表現された３次元画像データにおいて示しており、各測定領域において、それぞれステレオカメラから所定距離前方の位置に境界を設定し、当該境界で囲まれる閉領域を描画対象領域ＶＯＲとし、それ以外の領域を計算対象制限領域ＬＭＲとする。図８の例では描画対象領域ＶＯＲは、自車両ＶＣを中心として取り囲む矩形領域として表されている。

図２においては、このような描画対象領域ＶＯＲおよび計算対象制限領域ＬＭＲの情報が制限情報５として統合部５に与えられ、統合部５では、この描画対象領域ＶＯＲに含まれる３次元画像データのみを画像生成部６に与えて俯瞰画像データとして生成させる構成となっている。

図２に示すように、制限情報５は独立した記憶部５３に格納されているが、これも記憶部１３等と同様にＲＯＭやハードディスク記憶装置の記憶領域の１つによって構成されていても良い。

＜動作＞
次に、上述した説明を前提として、周辺表示装置１００の動作について、図９に示すフローチャートを用いて説明する。

周辺表示装置１００が動作を開始すると、ステレオカメラＳＣ１〜ＳＣ４による画像データが取得され始める（ステップＳ１）。

そして、３次元化計算部１１、２１、３１および４１のそれぞれでは、対応するステレオカメラの２台のカメラでそれぞれ得られた２つの画像の特徴点（測定点）について、相互に対応付けする対応点探索を行う（ステップＳ２）。これは、従来的な手法である。

この対応点探索によって相互に対応付けされた測定点（対応点）について、記憶部１３、２３、３３および４３に格納された制限情報１〜４で設定される計算対象制限領域ＬＭＲに含まれているか否かの判定を行う（ステップＳ３）。

そして、当該測定点が計算対象制限領域ＬＭＲに含まれていると判定された場合は、ステップＳ９に進んで当該測定点のデータを破棄した後、ステップＳ８に進む。

一方、当該測定点が計算対象制限領域ＬＭＲに含まれていないと判定された場合は、ステップＳ４に進み、測定点に対して、視差、焦点距離、基線長などのパラメータから、各対応点の組についての３次元位置を求める３次元化計算を行うことで３次元画像データを算出する。

３次元化計算部１１、２１、３１および４１から出力される３次元画像データは、ステレオカメラ座標系で表現されているので、自動車座標系で表現された３次元画像データに変換するために座標変換部１２、２２、３２および４２において座標変換を行う（ステップＳ５）。

この座標変換は、３次元化計算部１１、２１、３１および４１から出力される３次元画像データに対して、それぞれ所定の３次元変換行列Ｍａｔ１、Ｍａｔ２、Ｍａｔ３およびＭａｔ４を適用することで実行される。

ここで、３次元変換行列Ｍａｔ１〜Ｍａｔ４は、図２に示されるように、それぞれ座標変換部１２、２２、３２および４２に対応付けられた記憶部１４、２４、３４および４４に格納されている。

座標変換部１２、２２、３２および４２から出力される自動車座標系で表現された３次元画像データは統合部５に与えられて、自車両の３次元モデルのデータと統合されるが、この統合処理に際して、各測定点（自動車座標系に変換済み）が、例えば図８に示したような描画対象領域ＶＯＲに含まれているか否かを判定する（ステップＳ６）。

そして、当該測定点が、描画対象領域ＶＯＲに含まれていると判定された場合は、当該測定点の画像データを画像生成部６に与えて俯瞰画像データを生成する（ステップＳ７）。

一方、当該測定点が、描画対象領域ＶＯＲに含まれていないと判定された場合は、ステップＳ９に進んで当該測定点のデータを破棄した後、ステップＳ８に進む。

画像生成部６で俯瞰画像データを生成した後は、ステップＳ８において、全ての測定点についてステップＳ３以降の処理を完了したか否かの確認を行い、全ての測定点について処理を終えた場合は俯瞰画像データを画像表示部９０に出力して一連の動作を終了する。 一方、全ての測定点についての処理が終わっていない場合は、新たな測定点についてステップＳ３以下の処理を繰り返す。

なお、ステップＳ８の判定は画像生成部６において行っても良く、統合部５において行っても良く、また、表示画像生成部８０を制御する図示されない制御部において行っても良い。

以上説明したように、周辺表示装置１００の表示画像生成部８０においては、各ステレオカメラで測定された測定点について、予め設定された計算対象制限領域に含まれているか否かの判定を行い、３次元化計算部１１、２１、３１および４１での３次元化計算に際しては、この計算対象制限領域内にある測定データに対しては３次元化計算を行わないという処理を行うことで、３次元化計算の対象データを削減し、計算コストを軽減することができる。

また、統合部５においては、統合部５で生成された３次元画像データのうち、画像生成部６で俯瞰画像データとして生成されるべき領域を描画対象領域として予め限定しておくことで、３次元描画に伴う計算コストを軽減することができる。

＜変形例１＞
以上説明したように、周辺表示装置１００の表示画像生成部８０においては、３次元化計算部１１、２１、３１および４１での３次元化計算に際して、計算対象制限領域内にある測定データに対しては３次元化計算を行わないという構成を示したが、当該計算対象制限領域を規定する制限情報１〜４は、ステレオカメラ座標系の２次元画像データに対応するものであった。これの代わりに、制限情報１〜４をステレオカメラ座標系の３次元画像データに対応するものとして設定しても良い。

図１０には、ステレオカメラ座標系の３次元画像データに対応する計算対象制限領域の一例を示す。

図１０においては、自車両ＶＣの上方から見た場合のステレオカメラＳＣ１の測定領域を示しており、ステレオカメラＳＣ１から所定距離前方の位置に境界を設定し、当該境界とステレオカメラＳＣ１の画角とで規定される領域を計算対象領域ＯＲとし、それ以外を計算対象制限領域ＬＭＲとする。

そして、３次元化計算部１１、２１、３１および４１での３次元化計算の結果、当該計算対象制限領域ＬＭＲに含まれる測定点については、３次元画像データとして出力しないという措置を採る。これにより、３次元化計算よりも後の処理における計算コストを低減することができる。

＜変形例２＞
周辺表示装置１００の表示画像生成部８０においては、３次元化計算部１１、２１、３１および４１での３次元化計算に際して、計算対象制限領域内にある測定データに対しては３次元化計算を行わないという構成を示したが、当該測定データが計算対象制限領域内にあるか否かは、対応点探索で得られた対応点が、各ステレオカメラで撮影される画面上でどこに位置するかによって判定していた。

しかし、対応点探索に使用する視差を用いることで、３次元化計算を行わない対応点をより簡便に規定することも可能である。

すなわち、対応点探索に使用する視差は、カメラからの距離が遠くなるに従い小さい値となる。図１１にはこの視差の特性を模式的に示す。

図１１においては、ステレオカメラを構成する２つのカメラのそれぞれの受光部を、センサ面ＳＦ１およびＳＦ２として示し、２つのカメラのそれぞれのレンズ系による焦点位置を焦点ＦＰ１およびＦＰ２として示している。

ここで、カメラに最も近い位置にある対応点を対応点Ｐ１とし、次に遠い位置にある対応点を対応点Ｐ２とし、最も遠い位置にある対応点を対応点Ｐ３とした場合、対応点Ｐ１、Ｐ２およびＰ３のそれぞれの視差量はＬ１、Ｌ２およびＬ３で表され、Ｌ１が最も大きく、Ｌ３が最も小さいことが表されている。

視差量に、このような大小関係を有する対応点Ｐ１〜Ｐ３について、視差量の閾値を設定すると、当該閾値に対応して距離が決まり、この距離を想定制限距離ＶＬＭと呼称する。図１１においては、この想定制限距離ＶＬＭが対応点Ｐ２の距離に対応するように設定されており、この想定制限距離ＶＬＭに対応する視差量はＬ２となる。

この視差量Ｌ２を閾値とし、当該閾値を超えない視差量を有する対応点（図１１ではＰ３）については、３次元化計算部１１、２１、３１および４１での３次元化計算を行わないという措置を採ることで、自車両の運転時に把握する必要のない遠距離にある対応点については３次元化計算を不要とし、結果的に、運転時に把握する必要のある対応点についてはデータを残しながらも、計算対象のデータを削減して、計算コストを低減することが可能となる。

＜変形例３＞
周辺表示装置１００の表示画像生成部８０においては、３次元化計算部１１、２１、３１および４１での３次元化計算に際して、計算対象制限領域（図４〜図７）内にある測定データに対しては３次元化計算を行わないという構成を示したが、３次元化計算部１１、２１、３１および４１での３次元化計算は全ての測定データについて実施し、３次元化計算部１１、２１、３１および４１から出力される３次元画像データについて、計算対象制限領域内にある３次元画像データについては、座標変換部１２、２２、３２および４２での座標変換を行わないという構成を採っても良い。

この場合、計算対象制限領域は、図１０を用いて説明したように、ステレオカメラ座標系の３次元画像データに対応するものとして設定すれば良い。

また、統合部５において描画対象領域ＶＯＲ（図８）を設定する例を示したが、座標変換部１２、２２、３２および４２においても同様の領域を設定し、当該領域内の３次元画像データについてのみ座標変換を行うという構成を採っても良い。

これらの方法を採ることで、座標変換処理を削減して、計算コストを低減することが可能となる。

＜変形例４＞
図２を用いて説明した表示画像生成部８０に、各ステレオカメラで撮影された画像が正常な状態で撮影された画像であるか、異常な状態で撮影された画像であるかを判定する異常検知部をさらに有する構成としても良い。図１２は、当該異常検知部を有した表示画像生成部８０Ａを備えた周辺表示装置１００Ａの構成を示すブロック図である。なお、図１２に示す周辺表示装置１００Ａにおいて、図２に示した周辺表示装置１００と同一の構成については同一の符号を付し、重複する説明は省略する。

周辺表示装置１００Ａにおいては、ステレオカメラＳＣ１〜ＳＣ４の出力を３次元化計算部１１、２１、３１および４１にそれぞれ与える信号線に、異常検知部１０、２０、３０および４０が接続された構成となっている。

各異常検知部は、例えば、それぞれに対応するステレオカメラで撮影された画像データについて、画素値が所定値（画素の飽和値に近い値）以上の画素の個数をカウントし、予め定めた閾値以上の画素数がカウントされる場合は、当該画像データを異常と判定する処理を行う。この処理は、飽和画素が極端に多くなるような異常に対応することができる。

また、他の例として、ステレオカメラで撮影された画像データについて各画素値の時間変化を測定し、予め定めた時間以上画素値の変化がない画素の個数をカウントし、無変化の画素数の全画素数に対する割合が予め定めた閾値以上となる場合は、当該画像データを異常と判定する処理を行う。この処理は、カメラのレンズに汚れが付着したような場合に対応することができる。

また、他の例として、ステレオカメラで撮影された画像データについての対応点探索に際して、画素の表現パラメータ（誤差値）を評価して類似度を探索する類似度探索を行い、類似度が所定値以上となる画素数が予め定めた閾値以下となる場合は、当該画像データを異常と判定する処理を行う。この処理は、飽和画素が極端に多くなるような異常やカメラのレンズに汚れが付着したような場合に対応できる。

このような機能を有する、異常検知部１０、２０、３０および４０を有する周辺表示装置１００Ａの動作について、図１３に示すフローチャートを用いて説明する。

周辺表示装置１００Ａが動作を開始すると、ステレオカメラＳＣ１〜ＳＣ４による画像データが取得され始める（ステップＳ１１）。

そして、３次元化計算部１１、２１、３１および４１のそれぞれでは、対応するステレオカメラの２台のカメラでそれぞれ得られた２つの画像の特徴点（測定点）について、相互に対応付けする対応点探索を行う（ステップＳ１２）。これは、従来的な手法である。

また、異常検知部１０、２０、３０および４０では、それぞれに対応するステレオカメラＳＣ１〜ＳＣ４で撮影された画像データについて、上述した手法で異常の有無を検出する（ステップＳ１３）。

そして、画像データの異常を検出しなかった場合はステップＳ１４以下の処理を行う。なお、ステップＳ１４〜Ｓ２０の処理は図９に示したステップＳ３〜Ｓ９の処理と同じであるので説明は省略する。

一方、ステップＳ１３で画像データの異常を検出した場合は、ステップＳ２１で当該画像データを破棄し、ステップＳ１１以下の動作を繰り返す。

このように、周辺表示装置１００Ａでは、ステレオカメラＳＣ１〜ＳＣ４で取得した画像データが異常な状態で撮影された場合には、それを判定することができ、異常な画像データについては破棄する処理を行うことで、異常な画像データについてまで３次元化計算等の処理を施すことが防止されるので、計算コストを軽減することができる。

＜変形例５＞
図１においては、車両ＶＣの４方向に１台ずつステレオカメラを配置した例を示したが、図１４に示されるように、車両ＶＣの４方向に２台ずつステレオカメラを配置する構成としても良い。

すなわち、図１４に示すように、車両ＶＣの、前方の左右の画像を取得するステレオカメラＳＣ１およびＳＣ２が配置され、前方に対して右側の前方寄りおよび後方寄りの画像を取得するステレオカメラＳＣ３およびＳＣ４が配置され、後方の左右の画像を取得するステレオカメラＳＣ５およびＳＣ６が配置され、前方に対して左側の後方寄りおよび前方寄りの画像を取得するステレオカメラＳＣ７およびＳＣ８が配置されている。

このようなシステムを用いることで、より、死角の少ない周辺の画像データを取得することが可能となる。

５ 統合部
６ 画像生成部
１０，２０，３０，４０ 異常検知部
１１，２１，３１，４１ ３次元化計算部
１２，２２，３２，４２ 座標変換部
ＳＣ１〜ＳＣ４ ステレオカメラ

Claims (14)

1. 自走可能な移動体における周辺の画像データを取得する複数のステレオカメラと、
   前記画像データに基づいて第１の３次元画像データを算出する３次元化計算部と、
   前記第１の３次元画像データの座標系を、前記移動体の所定の方向から俯瞰する移動体座標系に変換して第２の３次元画像データとする座標変換部と、
   前記第２の３次元画像データと、前記移動体の３次元モデルのデータとを統合した統合データを生成する統合部と、
   前記統合データから俯瞰画像データを生成する画像生成部とを備え、
   前記３次元化計算部は、
   前記複数のステレオカメラのそれぞれで得られた前記画像データについて、２つの画像の特徴点を相互に対応付けし、その結果得られた視差から画像上の測定点の３次元位置を算出することで前記第１の３次元画像データを取得し、
   前記３次元化計算部、前記座標変換部および前記統合部の少なくとも１つにおける処理対象データを削減するための計算対象制限情報を有する、周辺表示装置。
2. 前記計算対象制限情報は、
   前記３次元化計算部に与えられ、前記測定点のうち前記３次元位置の算出対象を制限する情報である、請求項１記載の周辺表示装置。
3. 前記計算対象制限情報は、
   前記複数のステレオカメラのそれぞれで得られた２次元画像上で規定される所定の測定領域の情報であって、
   前記所定の測定領域に含まれる前記測定点のデータについては、前記３次元位置の算出対象としない、請求項２記載の周辺表示装置。
4. 前記所定の測定領域は、
   前記複数のステレオカメラのそれぞれにおいて互い重複する測定領域に相当する、請求項３記載の周辺表示装置。
5. 前記計算対象制限情報は、
   前記測定点の視差量に対して設定された閾値の情報であって、
   視差量が前記閾値を超えない前記測定点のデータについては、前記３次元位置の算出対象としない、請求項２記載の周辺表示装置。
6. 前記計算対象制限情報は、
   前記３次元化計算部に与えられ、
   前記複数のステレオカメラのそれぞれで得られた３次元画像上で規定される所定の測定領域の情報であって、
   前記所定の測定領域に含まれる前記測定点のデータについては、前記３次元位置の算出より後の処理対象データとしない、請求項１記載の周辺表示装置。
7. 前記計算対象制限情報は、前記座標変換部に与えられ、
   前記第１の３次元画像データのうち、座標変換の対象を削減する情報である、請求項１記載の周辺表示装置。
8. 前記計算対象制限情報は、
   前記複数のステレオカメラのそれぞれで得られた３次元画像上で規定される所定の測定領域の情報であって、
   前記所定の測定領域に含まれる前記測定点のデータについては、前記座標変換の対象としない、請求項７記載の周辺表示装置。
9. 前記計算対象制限情報は、
   前記移動体座標系によって表される３次元画像上で規定される所定の測定領域の情報であって、
   前記所定の測定領域に含まれる前記測定点のデータについては、前記座標変換の対象としない、請求項７記載の周辺表示装置。
10. 前記所定の測定領域は、
    前記複数のステレオカメラのそれぞれから所定距離前方の位置に境界を設定し、該境界と各ステレオカメラの画角とで規定される領域以外の領域に相当する、請求項６、請求項８または請求項９の何れかに記載の周辺表示装置。
11. 前記計算対象制限情報は、前記統合部に与えられ、
    前記統合データのうち、前記画像生成部で前記俯瞰画像データとして生成されるべき領域を限定する情報である、請求項１記載の周辺表示装置。
12. 前記計算対象制限情報は、
    前記移動体座標系によって表される３次元画像上で規定される所定の測定領域の情報であって、
    前記所定の測定領域に含まれる前記測定点のデータについては破棄される、請求項１１記載の周辺表示装置。
13. 前記複数のステレオカメラで取得された前記画像データに基づいて、各ステレオカメラで撮影された画像が正常な状態で撮影された画像であるか、異常な状態で撮影された画像であるかを判定する異常検知部をさらに備え、
    前記異常検知部で異常と判定された画像については、前記画像データを破棄する、請求項１記載の周辺表示装置。
14. 前記異常検知部は、
    前記複数のステレオカメラで取得された前記画像データについて、画素値が所定値以上の画素の個数をカウントし、予め定めた閾値以上の画素数がカウントされる場合は、該画像データを異常と判定する、請求項１３記載の周辺表示装置。

Images