JP2013161190A - 物体認識装置 - Google Patents

Abstract

【課題】遠方領域における物体認識精度を高めることができる物体認識装置の提供。
【解決手段】物体認識装置１は、ステレオカメラ１７と、ステレオカメラにより取得した画像を処理する処理装置２０とを含み、処理装置は、ステレオカメラにより取得した２つの画像から視差を算出し、算出した視差に基づいて立体物を検出すると共に、ステレオカメラにより取得した２つの画像のうちの一方の画像において、水平ラインに沿った立体物の輝度変化パターンを生成し、輝度変化パターンの検索を立体物の検出位置よりも遠方に向けて実行する。
【選択図】図２

Description

本発明は、ステレオカメラを用いる物体認識装置に関する。

従来から、ステレオカメラから車線候補領域を検出し、視差から算出される立体物の実空間上の大きさが予め設定された閾値以内で、且つ立体物の上下方向の輝度変化が一定のパターンを有する場合にその立体物を走行誘導障害物として検出する技術が知られている（例えば、特許文献１参照）。

特開２００７−２８０１３２号公報

ところで、ステレオカメラで取得した画像における遠方側の領域では立体物であっても十分な視差が得られない場合がある。特に縁石や歩道帯などの高さが低い立体物については、遠方になるにつれて視差に基づく検出が困難となる。

そこで、本発明は、遠方領域における物体認識精度を高めることができる物体認識装置の提供を目的とする。

上記目的を達成するため、本発明の一局面によれば、ステレオカメラと、
前記ステレオカメラにより取得した画像を処理する処理装置とを含み、
前記処理装置は、前記ステレオカメラにより取得した２つの画像から視差を算出し、前記算出した視差に基づいて立体物を検出すると共に、前記ステレオカメラにより取得した２つの画像のうちの一方の画像において、水平ラインに沿った前記立体物の輝度変化パターンを生成し、前記輝度変化パターンの検索を前記立体物の検出位置よりも遠方に向けて実行することを特徴とする、物体認識装置が提供される。

本発明によれば、遠方領域における物体認識精度を高めることができる物体認識装置が得られる。

本発明の一実施例による物体認識装置１の要部構成を示した図である。 本実施例のステレオＥＣＵ２０により実現される主要処理の一例を示すフローチャートである。 エッジ検出結果と立体物検出点の一例を示す図である。 縁石候補領域の設定例を示す図である。 輝度変化パターンの生成例を示す図である。 輝度変化パターンの探索領域の一例を示す図である。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の一実施例による物体認識装置１の要部構成を示した図である。物体認識装置１は、撮像装置１０とステレオＥＣＵ（Electric Control Unit）２０を備える。ＥＣＵは、中央処理演算装置（ＣＰＵ）、プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものである。

撮像装置１０は、撮像素子１１，１２やレンズ１５，１６を備えるステレオカメラ１７を含む。また、撮像装置１０は、カメラＣＰＵ１３、画像出力部１４等を有する。撮像素子１１，１２は、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。カメラＣＰＵ１３は、ステレオＥＣＵ２０からの制御信号に基づいてカメラ側の露出等の制御を行う。カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、撮像素子１１，１２による撮像画像を画像信号としてステレオＥＣＵ２０に送信する。なお、撮像素子は２個に限らず、それ以上の数を有してもよい。また、撮像素子１１，１２やレンズ１５，１６は、必ずしも同一のカメラユニット内に配置される必要はなく、車両横方向に離間して配置されていればよい。

ステレオＥＣＵ２０は、入力インターフェースである画像入力部２１、幾何変換ＬＳＩ２２、画像処理ＬＳＩ２４、各処理部を監督するＳＶ−ＣＰＵ２３等を有する。

撮像装置１０の画像出力部１４から出力された画像信号は、ステレオＥＣＵ２０の入力インターフェースである画像入力部２１に送られる。画像出力部１４と画像入力部２１は、所定のデジタル伝送方式のインターフェースである。

画像信号を受けた画像入力部２１は、画像信号の画像データを幾何変換ＬＳＩ２２に送る。幾何変換ＬＳＩ２２は、キャリブレーションデータを用いて、ステレオ演算処理等に使用されるステレオカメラ１７の撮像画像から、撮像素子１１，１２やレンズ１５，１６等によるハード的な内部誤差要因（レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等）の影響を取り除き、エピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換ＬＳＩ２２は、メモリ２５に記憶された幾何変換用のＬＵＴ（Look Up Table）に基づき入力画像を変換する。

画像処理ＬＳＩ２４は、幾何変換ＬＳＩ２２からの幾何変換された画像データに基づいて画像認識処理を行う。画像処理プログラムや処理すべき画像はメモリ２６に記録され、画像処理ＬＳＩ２４は、それらを読み込んで画像認識処理を行う。画像認識処理は、視差画像（視差情報）に基づく物体認識処理と、輝度変化パターン探索処理とを含む。

視差画像に基づく物体認識処理は、例えば左右に配置された撮像素子１１，１２により撮像された一対の画像の相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出するものである。つまり、画像処理ＬＳＩ２４は、撮像素子１１，１２により撮像された一組のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求めることによって撮像対象物までの距離を算出する。撮像対象物が前方にある場合、撮像素子１１による画像と撮像素子１２による画像とを重ね合わせると、撮像対象物が左右横方向にずれる。そして、片方の画像を１画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。レンズの焦点距離をｆ、光軸間の距離をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは、Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）という関係式が成立する。この（ｎ・ｄ）の項が視差である。輝度変化パターン探索処理については後述する。

ＳＶ−ＣＰＵ２３は、各処理部を監督（supervisor）するＣＰＵである。画像処理ＬＳＩ２４が兼ねても可である。ＳＶ−ＣＰＵ２３は、画像処理ＬＳＩ２４の処理画像に基づいて算出されたカメラ制御値（例えば、露出調整のパラメータであるシャッタスピード情報）を撮像装置１０内のカメラＣＰＵ１３に送信・指示する。

このような撮像装置１０やステレオＥＣＵ２０を車両に搭載することによって、路上の障害物等の画像認識情報を利用する制御に使用することが可能である。例えば、ＳＶ−ＣＰＵ２３が、車内ＬＡＮを介して、画像認識処理結果（障害物認識結果）を必要とする他のＥＣＵにその結果を送信すればよい。他のＥＣＵとは、例えば、ACC(オートクルーズコントロール）等の先行車追従システム、衝突回避・衝突軽減システムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間ＥＣＵ、ブレーキＥＣＵ等である。

図２は、本実施例のステレオＥＣＵ２０により実現される主要処理の一例を示すフローチャートである。図２に示す処理ルーチンは、車両のイグニッションスイッチがオンの間、所定周期毎に繰り返し実行されてもよい。

ステップ２００では、エッジ検出が行われる。エッジ検出は、ステレオカメラ１７の撮像素子１１，１２のいずれかによる画像に対して実行されてよい。ここでは、ステレオカメラ１７の撮像素子１１よる画像が右側の画像（右画像）であり、撮像素子１２よる画像が左側の画像（左画像）であり、右画像を基準画像とする。この場合、エッジ検出は、右画像において実行されてよい。図３（Ａ）は、エッジ検出結果の一例を示す。図中において太線部分Ｅ１−Ｅ６は、検出されたエッジを示す。図３に示す例では、道路の白線と共に、道路脇の縁石がエッジ検出されている。即ち、図３においては、道路の白線に係るエッジが符合Ｅ５，Ｅ６で指示され、縁石に係るエッジが符合Ｅ１，Ｅ２，Ｅ３で指示されている。縁石は、エッジＥ１，Ｅ２に係る上縁を有し、エッジＥ３に係る縁部で道路に繋がっている。即ち、縁石は、エッジＥ１，Ｅ２に係る上縁間の幅を有して道路上に立設されている。

ステップ２０２では、ステレオカメラ１７の左右の画素の水平方向のずれ量（即ち視差）が算出される。即ち、ステレオカメラ１７の撮像素子１１，１２による各画像間の各対応点の視差が算出され、視差画像が生成される。具体的には、ステップ２００でエッジ検出された画素に対応する画素を左画像上で探索して左右画素間の視差を算出する。次に視差の統計（局所領域における視差分布等）を用いて路面点を取り除き、立体物となる点（立体物検出点）のみを検出（抽出）する。図３（Ｂ）は、立体物検出点の一例を示す。図中において白い各点は、立体物検出点を示す。図３に示す例では、道路脇の縁石が立体物検出点として検出されている。即ち、縁石の上縁（両側）に沿って立体物検出点が出現している。

ここで、ステップ２０２の立体物検出処理は、好ましくは、視差量が十分に大きくなる画素領域内でのみ実行される。例えば、立体物検出処理は、上記ステップ２００で算出した視差が一定値以上である画素領域内（即ち近距離領域）でのみ実行される。一定値は、視差情報に基づいて障害物（立体物）を精度良く認識することができる視差の下限値に対応してよい。この一定値は、ステレオカメラ１７の撮像素子１１，１２の性能や要求される精度等に応じて変化し、実験等により適合されてよい。図３に示す例では、近距離領域においてのみ道路脇の縁石が立体物検出点として検出されている。尚、視差が一定値未満の画素領域（遠距離領域）では、道路脇の縁石のような高さの低い立体物の検出は困難である。

ステップ２０４では、立体物検出点を結んだ線（一点鎖線）を中心として左右に広がる縁石候補領域が設定される。縁石候補領域の幅（左右に広がるピクセル数）は、固定値であってもよいし、各立体物検出点の距離に応じて可変されてもよい。後者の場合、立体物検出点の距離が遠くなるほど縁石候補領域の幅が小さくなる態様で可変されてもよい。図４は、縁石候補領域の設定例を示す図である。図４に示す例では、縁石候補領域は、符合７０が付された枠内に設定されている。尚、図４に示す例では、立体物検出点を結んだ線（一点鎖線）は、縁石の上縁（両側）の幅方向中心に設定されている。この場合、縁石候補領域の幅（左右に広がるピクセル数）は、縁石の幅に応じた値であってよく、同様に、各立体物検出点の距離に応じて可変されてよい。尚、縁石候補領域の中心ライン（一点鎖線）の決め方は任意であり、縁石候補領域が、縁石候補となる立体物検出点を幅方向の中心付近に含むように設定されていればよい。

ステップ２０６では、上記ステップ２０４で設定した縁石候補領域内の水平ラインに沿った輝度値が計測され、上記ステップ２０４で設定した縁石候補領域内の水平ラインに沿った輝度変化パターンが生成され記録される。輝度値を計測する水平ラインの本数は、任意であってよい。例えば、輝度変化パターンは、上記ステップ２０４で設定した縁石候補領域の上下方向の中心に位置する水平ラインに基づくものであってもよいし、代表となる複数本の水平ラインを決めてそれらの統計値（平均、分散など）に基づくものであってもよい。図５は、輝度変化パターンの生成例を示す図であり、図５（Ａ）は、水平ラインの一例を示し、図５（Ｂ）は、輝度変化パターンの一例を示す図である。図５（Ａ）に示す例では、輝度変化パターンを生成するための水平ラインは、符合９０を付された矢印で示されている。図５（Ｂ）には、横軸に水平ライン上の各画素のＸ座標（画像平面でのＸ座標）が示され、縦軸に水平ライン上の各画素の輝度値が示されている。

ステップ２０８では、上記ステップ２０６で生成された輝度変化パターンに基づいて、同様の輝度変化パターンの存在が遠方に向かって探索される。これは、縁石が遠方まで延在する場合には、縁石に起因した同様の輝度変化パターンが遠方まで延在するはずであるためである。これにより、視差情報だけでは検出が困難な遠方の縁石についても検出することが可能となる。尚、遠方に向かうにつれて縁石の水平方向の画素数が少なくなるので、照合される輝度変化パターンは水平方向で縮小されてよい。尚、上記ステップ２０６で生成された輝度変化パターンと同様の輝度変化パターンを探索する際、上記ステップ２０６で生成された輝度変化パターンにおける中心ライン（図５の一点鎖線）付近のパターンが特に重要視されてもよい。即ち、立体物検出点付近の輝度変化パターンに重い重み付けを与える態様で、輝度変化パターンの探索が実行されてもよい。

本ステップ２０８において、輝度変化パターンの探索は、輝度変化パターンの探索領域に限定して実行されてよい。図６は、輝度変化パターンの探索領域の一例を示す図である。図６に示す例では、輝度変化パターンの探索領域は、符合８０を付された枠内に設定されている。輝度変化パターン探索領域８０は、縁石候補領域７０を基準に設定されてよい。輝度変化パターン探索領域８０は、縁石候補領域７０から連続する態様で、縁石候補領域７０よりも遠方側の領域（視差が一定値未満である画素領域）に設定される。この際、輝度変化パターン探索領域８０は、立体物検出点を結んだ線（図５（Ａ）の一点鎖線参照）の延長線を含む範囲で延在してもよい。

ステップ２１０では、上記ステップ２０２で検出された立体物（本例の場合、縁石）と、上記ステップ２０８で探索により検出された立体物とが、縁石領域として確定され、結果が出力される。即ち、上記ステップ２０６で生成された輝度変化パターンと同様の輝度変化パターンを有する画素領域が、上記ステップ２０２で検出された立体物検出点の領域と共に縁石領域として確定される。

以上説明した本実施例の物体認識装置１によれば、とりわけ、以下のような優れた効果が奏される。

本実施例によれば、上述の如く、視差量が十分得られない遠方領域においては、近距離領域で視差情報に基づいて検出された立体物の輝度変化パターンに基づいて、同立体物（正確には同立体物の連続部分）が検出されるので、視差量が十分得られない遠方領域においても精度良く立体物を検出することができる。特に縁石や歩道帯などの高さが低い立体物については、遠方になるにつれて視差に基づく検出が困難となるが、本実施例によれば、かかる高さが低い立体物についても、遠方領域において精度良く検出することができる。また、遠方領域における立体物の検出に用いる輝度変化パターンは、上述の如く、近距離領域で視差情報に基づいて検出された立体物の輝度測定値に基づいて生成されるので、立体物を表す輝度変化パターンとしての信頼性が高く、遠方領域において同立体物を高い信頼性で検出することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述した実施例では、輝度変化パターンを照合して検出される立体物は、縁石であったが、同様の検出方法は、縁石以外の立体物を検出するためにも有効に利用することができる。特に、上述した実施例による検出方法は、道路に沿って近距離から遠方へと連続的に延在する立体物を検出するのに好適である。かかる立体物としては、縁石以外のも、ガードレールや側壁、歩道（段差）等が存在する。尚、立体物が歩道である場合等、立体物検出点は、２本で遠方へと延びる縁石の場合（図３等参照）と異なり、１本で遠方に延びる態様で出現しうる。この場合、縁石候補領域７０に相当する領域は、当該１本の立体物検出点を中心として所定の幅で設定されればよい。

また、上述した実施例では、処理効率を高めるために、検出された立体物検出点に基づいてこれらの立体物検出点が主に含まれるように範囲を限定した縁石候補領域７０を生成し、縁石候補領域７０内の水平ラインで輝度変化パターンを生成しているが、画像の端から端までの水平ラインで輝度変化パターンを生成してもよい。

また、上述した実施例では、処理効率を高めるために、検出された立体物検出点に基づいて、これらが遠方領域において存在する蓋然性が高い領域に、輝度変化パターン探索領域８０を設定し、輝度変化パターン探索領域８０内で探索を行っている。しかしながら、例えば視差が一定値未満の領域の全体に亘って探索を行ってもよい。即ち、輝度変化パターン探索領域８０は任意の態様で設定されてもよい。

また、図１には、特定のハードウェア構成を備える物体認識装置１が開示されているが、物体認識装置１のハードウェア構成は任意であってよい。また、図１に示すハードウェア構成において、カメラＣＰＵ１３及びステレオＥＣＵ２０の機能分担も任意であり、一方の機能の一部又は全部が他方により実現されてもよい。

１ 物体認識装置
１０ 撮像装置
１１，１２ 撮像素子
１３ カメラＣＰＵ
１４ 画像出力部
１５，１６ レンズ
１７ ステレオカメラ
２０ ステレオＥＣＵ
２１ 画像入力部
２２ 幾何変換ＬＳＩ
２３ ＳＶ−ＣＰＵ
２４ 画像処理ＬＳＩ
２５，２６ メモリ
２８ ＥＥＰＲＯＭ
７０ 縁石候補領域
８０ 輝度変化パターン探索領域
９０ 水平ライン

Claims (4)

1. ステレオカメラと、
   前記ステレオカメラにより取得した画像を処理する処理装置とを含み、
   前記処理装置は、前記ステレオカメラにより取得した２つの画像から視差を算出し、前記算出した視差に基づいて立体物を検出すると共に、前記ステレオカメラにより取得した２つの画像のうちの一方の画像において、水平ラインに沿った前記立体物の輝度変化パターンを生成し、前記輝度変化パターンの検索を前記立体物の検出位置よりも遠方に向けて実行することを特徴とする、物体認識装置。
2. 前記処理装置は、算出した視差が所定値以上の近距離の画素領域において、前記立体物を検出し、
   前記処理装置は、前記輝度変化パターンの検索を、算出した視差が所定値未満の画素領域において実行する、請求項１に記載の物体認識装置。
3. 前記処理装置は、前記輝度変化パターンの検索により、前記輝度変化パターンと同様の輝度変化パターンを有する部分を、前記立体物の連続部分として検出する、請求項１又は２に記載の物体認識装置。
4. 前記立体物は、道路に沿って遠方へと連続的に延在する立体物である、請求項１〜３のうちのいずれか１項に記載の物体認識装置。

Images