JP2018017506A - 視差演算システム、移動体及びプログラム - Google Patents

Abstract

【課題】視差演算の精度を向上させる視差演算システムを提供する。
【解決手段】基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段２５０と、基準画素領域と比較画像内の各画素領域との非類似度を算出する算出手段と、算出された非類似度を合成することで得た合成結果に基づいて、基準画素領域に対応する比較画像内の対応画素領域を抽出し、基準画素領域における視差を演算する演算手段と、を有し、算出手段は、距離情報に基づいて導出される位置にある比較画像内の画素領域との非類似度が、比較画像内の他の画素領域との非類似度よりも低くなるように、基準画素領域と比較画像内の各画素領域との非類似度を算出する。
【選択図】図２

Description

本発明は、視差演算システム、移動体及びプログラムに関する。

従来より、車両等の各種移動体には、周囲環境を３次元情報として取得するためのセンサ装置（３次元センサ）の１つとして、ステレオカメラが搭載されている。当該ステレオカメラは、基準画像内の各画素に対応する比較画像内の対応画素を検索し、視差を演算することでオブジェクトまでの距離を算出する。

当該ステレオカメラの場合、他の３次元センサ（例えば、ミリ波レーダ装置、レーザレーダ装置等）と比較して、空間分解能が高い等の利点がある。

しかしながら、当該ステレオカメラの場合、基準画像内の領域にテクスチャの少ないオブジェクト等が含まれていると、比較画像内の対応する領域を検索した際に対応画素を精度よく抽出することができず、有効な視差演算を行うことができないといった問題がある。

本発明は上記課題に鑑みてなされたものであり、視差演算の精度を向上させることを目的とする。

本発明の各実施形態に係る視差演算システムは、以下のような構成を有する。すなわち、
基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記基準画素領域と比較画像内の各画素領域との非類似度を算出する算出手段と、
算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差を演算する演算手段と、を有し、
前記算出手段は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とする。

本発明の各実施形態によれば、視差演算の精度を向上させることができる。

視差演算システムの外観構成及び取り付け例を示す図である。 視差演算システムのハードウェア構成の一例を示す図である。 基準画像内の基準画素領域及び比較画像内の画素領域を示す図である。 ステレオカメラ部により算出される距離情報の特性を示す図である。 レーザレーダ測距部により算出される距離情報の特性を示す図である。 距離計算処理部の機能構成を示す図である。 コスト算出部の機能構成の詳細を示す図である。 コストＣ（ｐ，ｄ）の算出方法を説明するための図である。 合成コスト算出部の機能構成の詳細を示す図である。 経路コストＬ_ｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。 基準画素領域ｐにおける合成コストＳの算出結果を示す図である。 視差画像生成部による視差画像生成処理の流れを示すフローチャートである。

以下、各実施形態の詳細について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［実施形態］
＜１．視差演算システムの外観構成及び取り付け例＞
はじめに、一実施形態に係る視差演算システムの外観構成及び取り付け例について説明する。図１は、視差演算システムの外観構成及び取り付け例を示す図である。

図１の上部（外観構成）に示すように、視差演算システム１００は、周囲環境を３次元情報として取得するためのセンサ装置（３次元センサ）として、ステレオカメラ部１１０と、レーザレーダ測距部（レーザレーダ装置）１２０とを備える。ステレオカメラ部１１０は、単眼カメラ部（第１の撮像装置）１１１と単眼カメラ部（第２の撮像装置）１１２とを備え、レーザレーダ測距部１２０は、単眼カメラ部１１１と単眼カメラ部１１２との間に配置される。

単眼カメラ部１１１、１１２は、同期をとりながら所定のフレーム周期でそれぞれが撮影を行い、撮影画像を生成する。

レーザレーダ測距部１２０は、レーザ光を照射し、その反射光を受光することで、レーザ光の照射位置（オブジェクト）までの距離を測定する。

図１の下部（取り付け例）に示すように、視差演算システム１００は、例えば、車両１４０のフロントウィンドウの内側中央位置に取り付けられる。このとき、ステレオカメラ部１１０及びレーザレーダ測距部１２０は、いずれも車両１４０の前方方向に向かって取り付けられる。つまり、車両１４０において、視差演算システム１００は、ステレオカメラ部１１０の撮影方向と、レーザレーダ測距部１２０のレーザ光の出射方向とが、同じ方向になるように取り付けられる。

＜２．視差演算システムのハードウェア構成＞
次に、視差演算システム１００のハードウェア構成について説明する。図２は、視差演算システムのハードウェア構成の一例を示す図である。

図２に示すように、視差演算システム１００は、カメラステイ２０１と制御基板収納部２０２とを有する。

カメラステイ２０１には、単眼カメラ部１１１、１１２とレーザレーダ測距部１２０とが一体的に取り付けられている。これにより、視差演算システム１００の小型化及び低コスト化を実現している。

制御基板収納部２０２には、レーザ信号処理部２４０、距離計算処理部２５０、メモリ２６０、ＭＰＵ（Micro Processing Unit）２７０が収納されている。レーザ信号処理部２４０をレーザレーダ測距部１２０とは別体に構成することで、レーザレーダ測距部１２０のサイズを小さくすることができる。これにより、本実施形態では、単眼カメラ部１１１と単眼カメラ部１１２との間への、レーザレーダ測距部１２０の配置を実現している。

なお、図２の例では、レーザ信号処理部２４０と距離計算処理部２５０とを、別の回路基板として構成しているが、レーザ信号処理部２４０と距離計算処理部２５０とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。

続いて、カメラステイ２０１側の各部の詳細について説明する。図２に示すように、単眼カメラ部１１１は、カメラレンズ２１１と、撮像素子２１２と、センサ基板２１３とを備える。カメラレンズ２１１を介して入射された外部の光は、撮像素子２１２において受光され、所定のフレーム周期で光電変換される。光電変換されることで得た信号は、センサ基板２１３において処理され、１フレームごとの撮影画像が生成される。生成された撮影画像は、比較画像として、順次、距離計算処理部２５０に送信される。

なお、単眼カメラ部１１２も、単眼カメラ部１１１と同様の構成を有しており、同期制御信号に基づいて単眼カメラ部１１１と同期して生成された撮影画像は、基準画像として、順次、距離計算処理部２５０に送信される。

レーザレーダ測距部１２０は、光源駆動回路２３１と、レーザ光源２３２と、投光レンズ２３３とを備える。光源駆動回路２３１は、レーザ信号処理部２４０からの同期制御信号に基づいて動作し、レーザ光源２３２に対して変調電流（光源発光信号）を印加する。これにより、レーザ光源２３２ではレーザ光を出射する。レーザ光源２３２より出射されたレーザ光は、投光レンズ２３３を介して外部に出射される。

なお、本実施形態では、レーザ光源２３２として、赤外半導体レーザダイオード（ＬＤ：Laser Diode）が用いられ、レーザ光として波長８００ｎｍ〜９５０ｎｍの近赤外光が出射されるものとする。また、レーザ光源２３２は、光源駆動回路２３１により印加された変調電流（光源発光信号）に応じて、パルス状の波形を有するレーザ光を周期的に出射するものとする。更に、レーザ光源２３２は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に出射するものとする。

レーザ光源２３２から出射されたパルス状のレーザ光は、投光レンズ２３３を介して投射ビームとして外部に出射された後、所定の照射位置（所定のオブジェクト）に照射される。なお、レーザ光源２３２から出射されるレーザ光は、投光レンズ２３３によって略平行光にコリメートされているため、照射されたオブジェクトにおける照射範囲は、予め設定された微小面積に抑えられる。

レーザレーダ測距部１２０は、更に、受光レンズ２３４と、受光素子２３５と、受光信号増幅回路２３６とを備える。所定のオブジェクトに照射されたレーザ光は、一様な方向に散乱する。そして、レーザレーダ測距部１２０から出射されたレーザ光と同じ光路をたどって反射してくる光成分のみが、反射光として、受光レンズ２３４を介して受光素子２３５に導かれる。

本実施形態では、受光素子２３５として、シリコンＰＩＮフォトダイオードやアバランシェフォトダイオードが用いられる。受光素子２３５は、反射光を光電変換することでレーザ受光信号を生成し、受光信号増幅回路２３６は、生成されたレーザ受光信号を増幅した後、レーザ信号処理部２４０に送信する。

続いて、制御基板収納部２０２側の各部の詳細について説明する。レーザ信号処理部２４０は、レーザレーダ測距部１２０より送信されたレーザ受光信号に基づいて、所定のオブジェクトまでの距離を算出し、算出した距離情報を距離計算処理部２５０に送信する。

距離計算処理部２５０は、例えば、ＦＰＧＡ（Field-Programmable gate array）や、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路により構成される。距離計算処理部２５０は、単眼カメラ部１１１、１１２及びレーザ信号処理部２４０に対して、撮影タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。

また、距離計算処理部２５０は、単眼カメラ部１１１より送信された比較画像、単眼カメラ部１１２より送信された基準画像、レーザ信号処理部２４０より送信された距離情報に基づいて、視差画像を生成する。距離計算処理部２５０は、生成した視差画像をメモリ２６０に格納する。

メモリ２６０は、距離計算処理部２５０にて生成された視差画像を格納する。また、メモリ２６０は、距離計算処理部２５０及びＭＰＵ２７０が各種処理を実行する際のワークエリアを提供する。

ＭＰＵ２７０は、制御基板収納部２０２に収納された各部を制御するとともに、メモリ２６０に格納された視差画像を解析する解析処理を行う。

＜３．基準画像内の基準画素領域及び比較画像内の画素領域＞
次に、基準画像内の処理対象の画素領域である、「基準画素領域」と、比較画像内の画素領域とについて説明する。

図３は、基準画像内の基準画素領域及び比較画像内の画素領域を示す図である。このうち、図３（ｂ）は、単眼カメラ部１１２より送信された基準画像３２０を示している。基準画像３２０において、画素領域ｐは、距離計算処理部２５０が、現在、処理対象としている画素領域である、「基準画素領域」を示している。図３（ｂ）の例では、座標（ｘ、ｙ）により特定される位置の画素領域を基準画素領域ｐとしている。

一方、図３（ａ）は、単眼カメラ部１１１より送信された比較画像３１０を示している。比較画像３１０において、画素領域３１１は、基準画像３２０内の基準画素領域ｐのｘ座標及びｙ座標と同じｘ座標及びｙ座標を有する比較画像３１０内の画素領域を示している。

位置３１２は、基準画像３２０において、基準画素領域ｐに対応する「対応画素領域」の位置を示している。基準画素領域ｐの位置に対応する実空間のオブジェクト（図３の例では、他車両の側面の一部）と、対応画素領域の位置３１２に対応する実空間のオブジェクトとは、実空間内において同じ位置を指している。ただし、基準画像３２０の撮影位置と比較画像３１０の撮影位置とは、左右方向にずれているため、位置３１２は、画素領域３１１に対して視差分、左右方向に座標がずれることになる。

ここで、図３のように、基準画素領域ｐが他車両の側面等のテクスチャの少ない領域（隣合う画素領域間の画素値の変化が少ない領域）に含まれる場合には、実際には、基準画素領域ｐに対応する対応画素領域の位置３１２を精度よく抽出することは困難である。例えば、比較画像３１０内において、画素領域３１１を開始位置として、所定範囲を検索しても他の画素領域を誤検出し、基準画素領域ｐに対応する対応画素領域の位置３１２を精度よく抽出できない可能性が高い。

そこで、本実施形態における視差演算システム１００では、視差演算を行う際にレーザレーダ測距部１２０により測定された距離情報を用いる。図３（ｂ）において、点３３０は、基準画像３２０が撮影されたタイミングで、レーザレーダ測距部１２０により照射されたレーザ光の照射位置を、基準画像３２０に重ねて模式的に示したものである。

図３（ｂ）に示すように、点３３０は、他車両の側面内にあり、基準画素領域ｐと概ね同じ位置にある。つまり、基準画素領域ｐの位置に対応する実空間のオブジェクト（他車両の側面の一部）までの距離は、点３３０を照射位置とするレーザ受光信号を用いて算出することができる。

そこで、本実施形態における距離計算処理部２５０では、基準画素領域ｐについて視差演算を行う際に、レーザ受光信号を用いて算出した点３３０までの距離を利用する。

＜４．３次元センサの距離分解能及び空間分解能＞
ここで、視差演算システム１００が備える各３次元センサ（ステレオカメラ部１１０、レーザレーダ測距部１２０）の距離情報の特性に基づいて、各３次元センサの距離分解能及び空間分解能について簡単に説明する。

図４、図５は、３次元センサの距離情報の特性を示す図である。このうち、図４は、ステレオカメラ部により算出される距離情報の特性を示す図である。図４（ａ）に示すように、ステレオカメラ部１１０により算出される距離情報は、ステレオカメラ部１１０に近い位置ほど、距離分解能が高く、ステレオカメラ部１１０から離れるにつれて、距離分解能が低くなる。

このとき、ステレオカメラ部１１０により算出される距離情報の距離分解能は、オブジェクトまでの距離には比例せず、図４（ｂ）のグラフに示すように、所定の距離（例えば、２５［ｍ］）以上離れると、急速に低下する。なお、図４（ｂ）において、横軸は、視差（画素数で示した視差）を表し、縦軸は、オブジェクトまでの距離を表している。図４（ｂ）のグラフの場合、グラフの左下にいくほど距離分解能が高くなり、右上にいくほど距離分解能がいくほど距離分解能が低くなる。

つまり、ステレオカメラ部１１０により算出される距離情報は、所定の距離以下においては、高い距離分解能を有しているといえる。ここで、ステレオカメラ部１１０の場合、距離分解能が高ければ、空間分解能も高くなることから、ステレオカメラ部１１０により算出される距離情報は、所定の距離以下においては空間分解能も高いといえる。ただし、上述したとおりステレオカメラ部１１０の場合、距離分解能や空間分解能の高低に関わらず、テクスチャの少ないオブジェクトが含まれる領域においては、有効な視差演算を行うことができないといった問題がある。

一方、図５は、レーザレーダ測距部により算出される距離情報の特性を示す図である。図５（ａ）に示すように、レーザレーダ測距部１２０により算出される距離情報は、レーザレーダ測距部１２０からの距離に関わらず、距離分解能は一定となる。このため、図５（ｂ）のグラフに示すように、レーザ光を出射してから受光するまでの応答時間は、オブジェクトまでの距離に比例し、その傾きは概ね一定となる。なお、図５（ｂ）において、横軸は、レーザ光を出射してから受光するまでの応答時間を表し、縦軸は、オブジェクトまでの距離を表している。図５（ｂ）のグラフの場合、グラフの傾きが小さいほど距離分解能が高くなり、グラフの傾きが大きいほど距離分解能が低くなる。

ここで、レーザレーダ測距部１２０の場合、応答時間をナノ秒オーダで測定することができる。このため、レーザレーダ測距部１２０により算出される距離情報は、オブジェクトまでの距離によらず、いずれの距離においても概ねステレオカメラ部１１０よりも高い距離分解能を有することになる。また、レーザレーダ測距部１２０の場合、測定対象がテクスチャの少ないオブジェクトであるか否かに関わらず、距離分解能は一定である。

ただし、レーザレーダ測距部１２０の場合、ステレオカメラ部１１０による撮影と同期してレーザ光を出射するため、出射可能なレーザ光の出射回数に上限がある。このため、レーザレーダ測距部１２０により取得される距離情報は、高い空間分解能を実現することができない。

視差演算システム１００が備える各３次元センサにおける上記特性を考慮し、例えば、ステレオカメラ部１１０により有効な視差演算ができない領域については、レーザレーダ測距部１２０により取得される距離情報を選択的に利用する、といった構成が考えられる。

しかしながら、このような構成の場合、当該領域の空間分解能は、有効な視差演算が可能な他の領域の空間分解能と比較して、著しく低下することになる。他の領域では画素単位で距離情報が算出されるのに対して、当該領域では、レーザ光の照射位置でしか距離情報が算出されないからである。

そこで、本実施形態に係る視差演算システム１００では、所定の距離以下のいずれの領域においても高い空間分解能が実現できるよう、レーザ信号処理部２４０が算出した距離情報を、視差演算に用いる構成とする。このように、精度の高い距離情報を、視差演算に組み込むことで、従来は有効な視差演算を行うことが困難であった領域においても、対応画素領域の位置３１２を正しく抽出することができるようになり、精度よく視差演算を行うことができるようになる。

＜５．距離計算処理部の機能構成＞
（１）距離計算処理部の機能構成
図６は、距離計算処理部の機能構成を示す図である。なお、図６では、距離計算処理部の機能構成のうち、視差演算に関する処理を実現するための機能構成についてのみ示し、その他の機能構成（例えば、同期制御信号を送信するための機能等）については省略してある。

図６に示すように、視差演算に関する処理を実現するための機能構成として、距離計算処理部２５０は、視差画像生成部６００を有する。視差画像生成部６００は、更に、コスト算出部６１０、合成コスト算出部６２０、視差演算部６３０を有する。

コスト算出部６１０は、算出手段の一例である。コスト算出部６１０は、単眼カメラ部１１２より基準画像３２０を取得するとともに、単眼カメラ部１１２より比較画像３１０を取得する。また、コスト算出部６１０は、基準画像３２０より基準画素領域ｐを抽出し、比較画像３１０内の各画素領域との間でコストＣを算出する。コストＣとは、基準画素領域ｐと比較画像３１０内の各画素領域との間の非類似度を示すパラメータである。

更に、コスト算出部６１０は、レーザ信号処理部２４０より点３３０の距離情報を取得し、コストＣ_ｌを算出する。コストＣ_ｌとは、取得した距離情報に基づいて導出される位置にある比較画像３１０内の画素領域と、基準画素領域ｐとの非類似度を示すパラメータである。

また、コスト算出部６１０は、算出したコストＣ（第１のコスト）、Ｃ_ｌ（第２のコスト）に基づいて重み付け加算を行い、比較画像３１０内の各画素領域の重み付けコストを算出する。更に、コスト算出部６１０は、算出した重み付けコストを合成コスト算出部６２０に通知する。つまり、重み付けコストは、合成コスト算出部６２０において合成されるコスト（"非類似度"）である。

合成コスト算出部６２０は、コスト算出部６１０より通知された各画素領域の重み付けコストを合成することで合成コストＳを算出し、合成結果を得る。合成コスト算出部６２０は、例えば、ＳＧＭ（Semi-Global Matching）等の処理方法を用いて、複数の経路コストＬ_ｒを算出し、それぞれの経路コストＬ_ｒを、基準画素領域ｐに集約させることで、合成コストＳを算出する。

視差演算部６３０は、演算手段の一例であり、合成コスト算出部６２０により算出された合成コストＳに基づいて、基準画素領域ｐに対応する比較画像３１０内の対応画素領域を抽出し、基準画素領域ｐの視差を演算する。

なお、コスト算出部６１０及び合成コスト算出部６２０は、基準画像３２０内の他の基準画素領域についても同様の処理を行う。そして、視差演算部６３０では、各基準画素領域について、それぞれの視差を演算する。また、視差演算部６３０では、演算した各基準画素領域についての視差に基づいて視差画像を生成し、メモリ２６０に格納する。

（２）コスト算出部６１０の機能構成
図７は、コスト算出部の機能構成の詳細を示す図である。図７に示すように、コスト算出部６１０は、基準画像取得部７０１、比較画像取得部７０２、コストＣ計算部７０３、コストＣ調整部７０４を有する。また、コスト算出部６１０は、距離情報取得部７１１、コストＣ_ｌ計算部７１２、重み付け加算部７２０を有する。

基準画像取得部７０１は、単眼カメラ部１１２から基準画像３２０を取得する。また、取得した基準画像３２０から、基準画素領域ｐを抽出する。比較画像取得部７０２は、単眼カメラ部１１１から比較画像３１０を取得する。

コストＣ計算部７０３は、基準画素領域ｐのコストＣ（ｐ，ｄ）を算出する。図８は、コストＣ（ｐ，ｄ）の算出方法を説明するための図である。図８（ａ）に示すように、コストＣ計算部７０３は、所定範囲（０〜Ｄ）でシフト量ｄを変化させることで、比較画像３１０内において画素領域３１１を順次シフトさせる。そして、コストＣ計算部７０３は、それぞれのシフト量ｄの位置における画素領域３１１の画素値と、図８（ｂ）の基準画像３２０の基準画素領域ｐの画素値との非類似度として、コストＣ（ｐ，ｄ）を算出する。

なお、コストＣ（ｐ，ｄ）は、例えば、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Distance）等、画素領域間の画素値の差分に基づいて算出する、公知のマッチング方法を用いて算出する。このため、算出されるコストＣ（ｐ，ｄ）は、基準画素領域ｐの画素値と類似するほど低い値となり、類似しないほど高い値となる。

図７の説明に戻る。コストＣ調整部７０４は、コストＣ計算部７０３により算出された基準画素領域ｐのコストＣ（ｐ，ｄ）を、信頼度に基づいて調整する。コストＣ調整部７０４は、下式（１）を用いて調整することで、調整後のコストＣ'（ｐ，ｄ）を得る。

ここで、Ｄは、シフト量の最大値を表している。ｋはシフト量のカウント値を表している。また、Ｑ（ｐ）は、基準画素領域ｐのコストＣ（ｐ，ｄ）の信頼度を示している。信頼度Ｑ（ｐ）は、例えば、下式（２）を用いて算出される。

ここで、Ｃ_ｍｉｎ１、Ｃ_ｍｉｎ２は、所定範囲（０〜Ｄ）でシフト量ｄを変化させることで算出されたそれぞれのコストＣ（ｐ，ｄ）のうち、最も低いコストと２番目に低いコストを表している。なお、上記（２）に基づいて算出される信頼度Ｑ（ｐ）は、Ｃ_ｍｉｎ１、Ｃ_ｍｉｎ２に基づいて算出した値を、０〜１．０未満に正規化し、信頼度が高いほど１．０に近づくよう補正したうえで、上記（１）に用いるものとする。

コストＣ調整部７０４により調整された調整後のコストＣ'（ｐ，ｄ）は、例えば、基準画素領域ｐがテクスチャが少ない領域（隣り合う画素領域間の画素値の変化が少ない領域）にあり、信頼度Ｑ（ｐ）が低い場合には、より大きな値となる。

距離情報取得部７１１は、取得手段の一例であり、レーザ信号処理部２４０より距離情報を取得する。ここでは、レーザ信号処理部２４０より取得した距離情報を、Ｚ_ｌとおく。距離情報取得部７１１は、取得した距離情報Ｚ_ｌをコストＣ_ｌ計算部７１２に通知する。

コストＣ_ｌ計算部７１２は、距離情報取得部７１１より通知された距離情報Ｚ_ｌに基づいて、コストＣ_ｌを算出する。具体的には、コストＣ_ｌ計算部７１２では、まず、距離情報Ｚ_ｌに基づいて、下式（３）を用いてシフト量ｄ_ｌを算出する。これにより、距離情報Ｚ_ｌに基づいて導出される位置にある比較画像３１０内の画素領域が抽出される。

上式（３）において、Ｂは、カメラレンズ２１１とカメラレンズ２２１との間の基線長である。ｆは、カメラレンズ２１１、カメラレンズ２２１の焦点距離である。

コストＣ_ｌ計算部７１２は、続いて、シフト量ｄ_ｌにおけるコストＣ_ｌ（ｐ，ｄ_ｌ）を算出する。上述したコストＣ（ｐ，ｄ）の算出と同様に、コストＣ_ｌ計算部７１２では、シフト量ｄ_ｌの位置における画素領域３１１の画素値と基準画素領域ｐの画素値との非類似度として、コストＣ_ｌ（ｐ，ｄ_ｌ）を算出する。

重み付け加算部７２０は、コストＣ調整部７０４において調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣ_ｌ計算部７１２において算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）とを用いて、下式（４）に基づいて重み付け加算し、重み付けコストを算出する。

ここで、ｗ_ｄは、コストＣ調整部７０４により調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣ_ｌ計算部７１２により算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）のいずれを優先するかを示す重み係数である。コストＣ調整部７０４により調整された調整後のコストＣ'（ｐ，ｄ）を優先させる場合には、ｗ_ｄの値を大きくする。一方、コストＣ_ｌ計算部７１２により算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）を優先させる場合には、ｗ_ｄの値を小さくする。

具体的には、シフト量ｄ≠ｄ_ｌの場合、ｗ_ｄの値を大きくする。これにより、比較画像３１０内の画素領域３１１のうち、シフト量ｄ≠ｄ_ｌの画素領域の重み付けコストをより大きくすることができる。なお、調整後のコストＣ'（ｐ，ｄ）は、テクスチャが少ない領域等においてより大きな値となっており、ｗ_ｄの値を大きくして調整後のコストＣ'（ｐ，ｄ）を優先させることで、シフト量ｄ≠ｄ_ｌの画素領域の重み付けコストはより大きな値となる。

一方、シフト量ｄ＝ｄ_ｌの場合、ｗ_ｄの値を小さくする。これにより、比較画像３１０内の画素領域３１１のうち、シフト量ｄ＝ｄ_ｌの画素領域の重み付けコストをより小さくすることができる。なお、コストＣ_ｌ計算部７１２により算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）は、コストＣ調整部７０４により算出された調整後のコストＣ'（ｐ，ｄ）よりも小さい値となっている。このため、ｗ_ｄの値を小さくしてコストＣ_ｌ計算部７１２により算出されたコストＣ_ｌ（ｐ，ｄ_ｌ）を優先させることで、シフト量ｄ＝ｄ_ｌの画素領域の重み付けコストはより小さな値となる。

つまり、上式（４）によれば、シフト量ｄ＝ｄ_ｌの画素領域とそれ以外の画素領域との間のコストの差を、重み付けコストとして、より顕在化させることができる。

この結果、合成コスト算出部６２０により算出された合成コストＳから対応画素領域を抽出する際に、比較画像３１０内のｄ＝ｄ_ｌの画素領域が抽出しやすくなる。つまり、基準画素領域ｐに対応する対応画素領域の位置３１２を精度よく抽出することが可能となる。

なお、上式（４）において、ｗ_ｄの値は、固定値であってもよいし、距離情報Ｚ_ｌの値に応じて変更してもよい。あるいは、周囲環境に応じて（例えば、日中か夜間かに応じて）変更するように構成してもよい。

（３）合成コスト算出部６２０の機能構成
図９は、合成コスト算出部の機能構成の詳細を示す図である。図９に示すように、合成コスト算出部６２０は、経路コスト計算部９０１と、合成コストＳ計算部９０２とを有する。

経路コスト計算部９０１は、重み付け加算部７２０より重み付けコストを取得すると、下式（５）に基づいて、経路コストＬ_ｒ（ｐ，ｄ）を算出する。

ここで、上式（５）は、ＳＧＭを用いた経路コストＬ_ｒの一般的な式において、コストＣ（ｐ，ｄ）を、重み付けコストに置き換えたものである。また、上式（５）においてＰ_１、Ｐ_２は固定のパラメータである。

上式（５）のもと、経路コスト計算部９０１では、基準画素領域ｐの重み付けコストに、図１０に示されているｒ方向の各画素領域における経路コストＬ_ｒの最小値を加算することで、経路コストＬ_ｒ（ｐ，ｄ）を求める。なお、図１０は、経路コストＬ_ｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。

図１０に示すように、経路コスト計算部９０１では、基準画素領域ｐのｒ方向（例えば、ｒ_１３５方向）の一番端の画素領域において経路コストＬ_ｒ（例えば、Ｌ_ｒ１３５（ｐ−２ｒ，ｄ））を求める。続いて、経路コスト計算部９０１では、ｒ方向に沿って経路コストＬ_ｒ（Ｌ_ｒ１３５（ｐ−ｒ，ｄ））を求める。本実施形態において、経路コスト計算部９０１は、これらの処理を繰り返すことで得られる経路コストＬ_ｒ（例えば、Ｌ_ｒ１３５（ｐ，ｄ））を、８方向について算出し、経路コストＬ_ｒ０（ｐ，ｄ）〜Ｌ_ｒ３１５（ｐ，ｄ）を得る。

合成コストＳ計算部９０２は、経路コスト計算部９０１において求めた８方向の経路コストＬ_ｒ０（ｐ，ｄ）〜Ｌ_ｒ３１５（ｐ，ｄ）に基づいて、下式（６）により合成コストＳ（ｐ，ｄ）を算出する。

合成コストＳ計算部９０２は、算出した合成コストＳ（ｐ，ｄ）を、視差演算部６３０に通知する。

（４）視差演算部６３０の処理
視差演算部６３０は、合成コストＳ計算部９０２より通知された、基準画素領域ｐにおける合成コストＳ（ｐ，ｄ）を取得する。図１１は、基準画素領域ｐにおける合成コストＳの算出結果を示す図である。視差演算部６３０は、所定範囲（０〜Ｄ）において、合成コストＳ（ｐ，ｄ）が最小となるシフト量ｄ_ｍｉｎを算出することで、比較画像３１０より対応画素領域を抽出する。これにより、視差演算部６３０では、抽出した対応画素領域と基準画素領域との視差の演算結果として、シフト量ｄ_ｍｉｎを取得する。

なお、視差演算部６３０は、基準画像３２０内の他の基準画素領域についても同様の処理を行い視差の演算結果を取得することで、視差画像を生成し、生成した視差画像をメモリ２６０に格納する。

＜６．視差画像生成部による視差画像生成処理＞
次に、視差画像生成部６００による視差画像生成処理の流れについて説明する。図１２は、視差画像生成部による視差画像生成処理の流れを示すフローチャートである。なお、図１２に示すフローチャートは、１の基準画素領域ｐについての視差を演算する処理を示したものであり、視差画像の生成にあたっては、視差画像生成部６００が各基準画素領域について図１２に示すフローチャートを実行するものとする。

ステップＳ１２０１において、基準画像取得部７０１は、基準画像３２０を取得し、基準画素領域ｐを抽出する。

ステップＳ１２０２において、コストＣ計算部７０３は、比較画像取得部７０２にて取得された比較画像３１０内のシフト量ｄの位置における画素領域３１１の画素値と、基準画素領域ｐの画素値とに基づいて、コストＣ（ｐ，ｄ）を算出する。

ステップＳ１２０３において、コストＣ調整部７０４は、算出したコストＣ（ｐ，ｄ）を信頼度Ｑ（ｐ）に基づいて調整し、調整後のコストＣ'（ｐ，ｄ）を算出する。

ステップＳ１２０４において、距離情報取得部７１１は、基準画素領域ｐの位置に対応する実空間のオブジェクトまでの距離を示す距離情報Ｚ_ｌを取得する。

ステップＳ１２０５において、コストＣ_ｌ計算部７１２は、距離情報取得部７１１において取得された距離情報Ｚ_ｌに基づいて、コストＣ_ｌを算出する。

ステップＳ１２０６において、重み付け加算部７２０は、コストＣ調整部７０４において調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣ_ｌ計算部７１２において算出されたコストＣ_ｌ（ｐ，ｄ）とを重み付け加算し、重み付けコストを算出する。

ステップＳ１２０７において、経路コスト計算部９０１は、重み付けコストを用いて各経路コストＬ_ｒ（ｐ、ｄ）を算出する。

ステップＳ１２０８において、合成コストＳ計算部９０２は、各経路コストＬ_ｒ（ｐ，ｄ）に基づいて、合成コストＳ（ｐ，ｄ）を算出する。

ステップＳ１２０９において、視差演算部６３０は、合成コストＳ（ｐ，ｄ）が最小となるシフト量（ｄ_ｍｉｎ）を算出することで、比較画像３１０より対応画素領域を抽出するとともに、抽出した対応画素領域と基準画素領域ｐとの視差の演算結果を取得する。

＜７．まとめ＞
以上の説明から明らかなように、本実施形態における視差演算システム１００は、
・基準画素領域ｐの位置に対応する実空間のオブジェクトまでの距離を、レーザレーダ測距部１２０が測定し、距離情報Ｚ_ｌを取得する。
・取得した距離情報Ｚ_ｌに対応するシフト量ｄ_ｌに基づいて、コストＣ_ｌを算出する。
・基準画素領域ｐのコストＣを信頼度に基づいて調整した調整後のコストＣ'と、距離情報Ｚ_ｌに基づいて算出したコストＣ_ｌとを重み係数ｗ_ｄを用いて重み付け加算し、重み付けコストを算出する。
・算出した重み付けコストを合成することで合成コストＳを算出する。
・算出した合成コストＳに基づいて、基準画素領域に対応する比較画像内の対応画素領域を抽出し、基準画素領域ｐにおける視差を演算する。

これにより、レーザレーダ測距部により測定された距離情報に基づいて導出される位置にある比較画像内の画素領域について、他の画素領域よりも低い重み付けコストを算出することが可能となる。この結果、例えば、テクスチャが少ない領域であっても、当該重み付けコストを合成した合成コストを用いれば、対応画素領域を抽出する際に、当該画素領域が対応画素領域として抽出しやすくなる。

つまり、本実施形態における視差演算システム１００によれば、テクスチャが少なく、従来は対応画素領域の抽出が困難であった領域においても、対応画素領域を精度よく抽出することが可能となり、精度の高い視差演算を行うことができる。

［他の実施形態］
上記実施形態では、画素領域についてコストＣを算出する場合について説明したが、コストＣの算出は、１画素ごとに行うように構成してもよい。この場合、コスト算出部６１０では、基準画像３２０から基準画素を抽出し、比較画像３１０の各画素との間でコストＣを算出することになる。つまり、上記実施形態に記載の"画素領域"には、１または複数の画素が含まれるものとする。

また、上記第１の実施形態では、ステレオカメラ部１１０とレーザレーダ測距部１２０とが一体的に構成される場合について示したが、ステレオカメラ部１１０とレーザレーダ測距部１２０とは、別体により構成されてもよい。

また、上記実施形態では、３次元センサとして、ステレオカメラ部１１０に、レーザレーダ測距部１２０を組み合わせる場合について説明したが、ステレオカメラ部１１０に、他の３次元センサを組み合わせて視差演算システム１００を構成してもよい。他の３次元センサには、例えば、ミリ波レーダ装置等が含まれる。

また、上記実施形態では、視差演算システム１００に、３次元センサ（ステレオカメラ部１１０、レーザレーダ測距部１２０）と、制御基板収納部２０２とが含まれるものとして説明した。しかしながら、視差演算システム１００には、３次元センサが含まれていなくてもよく、少なくとも、制御基板収納部２０２において距離計算処理部２５０を実現する基板が含まれていればよい。

また、上記実施形態では、距離計算処理部２５０が、専用の集積回路により構成されるものとして説明した。しかしながら、例えば、距離計算処理部２５０の機能を実現するソフトウェアのプログラムコードが記録された記憶媒体を、視差演算システム１００に供給する構成とすることで距離計算処理部２５０の機能を実現してもよい。この場合、視差演算システム１００のコンピュータが記憶媒体に記録されたプログラムコードを読み出して実行することにより、距離計算処理部２５０の機能が実現されることになる。

また、上記実施形態では、視差演算システム１００を車両１４０に取り付ける場合について説明した。しかしながら、視差演算システム１００の取り付け先は車両１４０に限定されず、バイク、自転車、車椅子、農業用の耕運機等であってもよい。あるいは、ロボット等の移動体であってもよい。あるいは、ＦＡ（Factory Automation）において固定設置される工業用ロボット等であってもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：視差演算システム
１１０ ：ステレオカメラ部
１１１、１１２ ：単眼カメラ部
１２０ ：レーザレーダ測距部
２５０ ：距離計算処理部
３１０ ：比較画像
３１１ ：画素領域
３２０ ：基準画像
６００ ：視差画像生成部
６１０ ：コスト算出部
６２０ ：合成コスト算出部
６３０ ：視差演算部
７０１ ：基準画像取得部
７０２ ：比較画像取得部
７０３ ：コストＣ計算部
７０４ ：コストＣ調整部
７１１ ：距離情報取得部
７１２ ：コストＣ_ｌ計算部
７２０ ：重み付け加算部
９０１ ：経路コスト計算部
９０２ ：合成コストＳ計算部

特開２０１６−０１１９３９号公報

Claims (6)

1. 基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
   前記基準画素領域と比較画像内の各画素領域との非類似度を算出する算出手段と、
   算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差を演算する演算手段と、を有し、
   前記算出手段は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とする視差演算システム。
2. 前記算出手段は、前記基準画素領域の画素値と、前記比較画像内の各画素領域の画素値との差分に基づいて算出される第１のコストと、前記基準画素領域の画素値と、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域の画素値との差分に基づいて算出される第２のコストとを、重み付け加算することで、前記非類似度を算出し、
   前記比較画像内の他の画素領域との前記非類似度を算出する場合に、前記第１のコストを優先して前記重み付け加算を行い、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度を算出する場合に、前記第２のコストを優先して前記重み付け加算を行うことを特徴とする請求項１に記載の視差演算システム。
3. 前記算出手段は、前記重み付け加算に用いる重み係数を、前記距離情報、または、前記距離情報を取得した際の周囲環境に応じて変更することを特徴とする請求項２に記載の視差演算システム。
4. 前記基準画像を撮影する第１の撮像装置と、
   前記比較画像を撮影する第２の撮像装置と、
   前記オブジェクトまでの距離を測定するレーザレーダ装置と
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の視差演算システム。
5. 請求項１乃至４のいずれか１項に記載の視差演算システムを有する移動体。
6. コンピュータに、
   基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得工程と、
   前記基準画素領域と比較画像内の各画素領域との非類似度を算出する算出工程と、
   算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差を演算する演算工程と、を実行させ、
   前記算出工程は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とするプログラム。

Images