JP2018005682A - 画像処理装置 - Google Patents

Abstract

【課題】従来よりも低コントラストな画像であっても、歩行者や車両といった立体物としての種別を適切に信頼度高く認識することができる画像処理装置を得ること。【解決手段】本発明の画像処理装置は、露光条件の異なる複数の画像を取得する画像取得部１００と、画像から物体候補を検知する物体候補検知部２００と、物体候補に対応する画像領域内の複数の部分領域に応じて露光条件の異なる複数の画像１１０、１２０を用いて物体を認識する物体認識部３００とを備えることを特徴とする。【選択図】図１

Description

本発明は、例えば車両に設置されたカメラで撮像した画像を画像処理する画像処理装置に関する。

車両に設置されたカメラにより車両周囲環境を認識するアプリケーションの製品化が増加傾向にある。その中でも、認識した物体を利用し、未然に事故を防止する予防安全技術や、自律走行を目指した車両制御技術への応用が期待されている。車両制御に利用される認識技術は、失敗すれば事故にもつながりかねないため高い信頼性が必要とされる。

異なる露光条件において時分割に撮像した画像の中から対象物を認識するために、最適な露光画像の1枚を選択し、対象物を認識する対象物識別装置がある（特許文献１）。また、ヘッドライトの照射範囲に基づいて、認識対象物の分割領域ごとに重み付けし、重みに応じて学習結果との比較を行うパターンマッチングを実施する物体検出装置がある（特許文献２）。

特開2012-088785号公報 特開2011-90450号公報

車両に設置されたカメラを利用して自車両の周囲環境を撮像し、カメラによって得られた物体候補の中から物体の種別の認識を実施し、歩行者や車両などの特定を実施し、物体の種別に応じた予測結果と自車両の進行路推定結果に基づいて、警報、制御の出力を実施する。

しかしながら、カメラの認識においては、明るい領域と暗い領域を同時に撮像するような状況、例えば、夜間ヘッドライト照射領域とそれ以外の領域、または、昼間の日照領域と日陰領域を同時に撮像するような状況においては、露光条件が適合している領域は画像上で視認できるものの、露光条件が適合していない領域では、認識対象物の形状を視認しづらい。

特許文献１では、異なる露光条件の画像を、時系列に撮像することで明るい物体と暗い物体に対応する手法が述べられている。特許文献２では、１つの露光条件では視認困難な暗く撮像された歩行者頭部の重みを減らして歩行者の下半身でマッチングする方式の提案がある。

これらの従来方法は、それぞれ効果はあるものの、１つの物体の半分が暗く、残り半分が明るいような状況においては、特許文献１では、それぞれ別物体が半分ずつ抽出されることとなるうえに、歩行者として識別が困難である。また、特許文献２においても、通常時と比較すると歩行者の下半身のみで歩行者識別しようとしており、歩行者としての識別精度の低下が予想される。特許文献２の技術では、立体物として物体は検知できたとしても、部分的な視認のみでは、それが人であるか車であるかなど、信頼度、精度高く種別を特定することが困難である課題が存在する。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、従来よりも低コントラストな画像であっても、歩行者や車両といった立体物としての種別を適切に信頼度高く認識することができる画像処理装置を提供することにある。

上記課題を解決する本発明の画像処理装置は、露光条件の異なる複数の画像を取得する画像取得部１００と、画像から物体候補を検知する物体候補検知部２００と、物体候補に対応する画像領域内の複数の部分領域に応じて露光条件の異なる複数の画像１１０、１２０を用いて物体を認識する物体認識部３００とを備えることを特徴とする。

本発明によれば、従来よりも低コントラストな画像であっても、歩行者や車両といった立体物としての種別を適切に信頼度高く認識することが可能となる。
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における車載環境認識装置の構成を説明する図。 物体候補検知部の構成を説明する図。 物体認識部の構成を説明する図。 不可視領域判定部の構成を説明する図。 特徴量抽出部の構成を説明する図。 特徴量統合部の構成を説明する図。 パターンマッチング部の構成を説明する図。 ２重露光の撮像方法の一例を説明する図。 夜間歩行者を撮像した状況と撮像画像の模式図。 歩行者の上半身が日向にあり下半身が日陰にある状態の撮像画像。 特徴量の統合について概念的に示す図。 特徴量の統合方法を説明する図。 処理内容を説明するフローチャート。 物体候補の周囲における不可視領域の有無の判定方法を説明する図。 実施例２における車載ステレオカメラ環境認識装置の構成を説明する図。 通常物体候補検知部の構成を説明する図。 暗物体候補検知部の構成を説明する図。 ステレオ物体認識部の構成を説明する図。

以下、本発明の実施例について図面を用いて説明する。
［実施例１］

＜図１ 車載環境認識装置 概要＞
図１に車載環境認識装置の構成図を示す。
車載環境認識装置は、自車両に設置されたカメラで撮像した周囲の画像を画像処理して障害物などの周囲環境を認識するものであり、マイクロコンピュータなどのハードウエアとソフトウエアプログラムとの協働により実現される。

車載環境認識装置は、図１に示すように、多重露光カメラ100と、物体候補検知部200と、物体認識部300と、警報制御部400を備えている。多重露光カメラ100は、自車両前方を撮像するように車両に取り付けられている。多重露光カメラ100は、互いに露光条件が異なる画像として、通常画像（第１画像）と暗物体用画像（第２画像）を適宜選択して撮像することができる。

通常画像と暗物体用画像は、多重露光カメラ100を利用して取得される。多重露光カメラ100は、図８に示すように、同一のカメラの撮像素子を利用し、時分割に交互に露光条件の異なる画像を撮像する。図８の例は、夜間走行中に多重露光カメラ100で自車両前方を撮像したものであり、通常画像110と暗物体用画像120とを時分割に交互に取得している（画像取得部）。通常画像110は、第１の露光条件により撮像されたものであり、画像中央領域に撮像された自車両走行路が見えやすいような露光に設定されている。暗物体用画像120は、第２の露光条件により撮像されたものであり、長時間の露光画像、もしくはゲインを上げた画像であって、通常画像110と比較して、暗い領域を見るための露光に設定されている。多重露光カメラ100は、シャッター時間若しくはゲインの調整により、互いに露光条件の異なる通常画像110（第１画像）と暗物体用画像120（第２画像）を撮像することができる。

実際には、高フレームレートのカメラであれば、更に多重の露光条件の撮像を時分割に行っても良い。例えば、5重の露光条件を短い瞬間に交互に切り替えて実施し、通常の露光条件を中央により明るいものから暗いものを見るための露光条件を5段階に切り替えて撮像することで、さまざまな明るさの物体領域を視認できる画像を取得する。

物体候補検知部200と物体認識部300は、互いに協働して画像処理装置を構成する。物体候補検知部200は、多重露光カメラ100で撮像された通常画像から、物体候補検知用の特徴量を抽出して、物体候補を検知する。物体認識部300は、物体候補検知部200にて検知された物体候補に対して、露光条件の異なる暗物体用画像120を確認すべき認識対象であるかどうかを判定する。そして、暗物体用画像120が確認すべき認識対象であった場合には、通常画像110と暗物体用画像120からそれぞれ識別用の特徴量を抽出する。そして、互いの識別用特徴量を統合して物体種別の識別を実施する。

また、多重露光画像でなくとも、広ダイナミックレンジでかつ16bitなどの高階調で撮像した画像を、処理負荷低減のために8bitなどの通常階調で処理する場合に、通常用の8bit画像と暗物体用の8bit画像などを生成して画像処理するような場合には、これを多重露光の画像と見立てて本実施例を実施しても良い。また、同様にアナログ値の段階で、ゲインなどをかけることにより、通常の明るさに調整した画像と、暗物体用にチューニングした画像を生成するような場合には、これら画像を２重露光の画像として活用することで、本実施例の効果を得ることができる。また、これら同時刻に撮影されたデータから２つの画像を生成して画像認識する場合には、同時刻に撮像された２枚の画像であるため、異なる時間で撮像されたことによる物体の移動の補正を実施する必要はなくなる。

警報制御部400では、物体認識部300による物体種別の認識結果と、自車挙動に基づいて、警報と制御を実施する。特に、物体種別が歩行者などの移動体であると判定できた場合には、道路標識や電柱などの静止した立体物とは異なる警報、制御を実施する。静止した立体物であれば、その近くを車両で素早く通り抜けることも想定されるため、警報や制御はぎりぎりまで実施しないような設定とする。一方、歩行者などの移動体の場合、静止していてもいきなり動き始める場合や、動いている方向が変化する場合なども想定できるため、車両は低速で通り過ぎる、もしくは避けて通る場合が多い。したがって、比較的早めの警報もしくはスピードを抑制する制御を実施するなど、物体種別に応じた適切な警報、制御を実施する。

＜図２ 物体候補検知部 概要＞
図２は、物体候補検知部の構成を説明する図である。
物体候補検知部200では、通常画像から物体候補を検知するための特徴量抽出の前処理を実施する。物体候補検知部200は、エッジ抽出部210と、フロー生成部220と、物体候補抽出部230と、幾何計算部240を有している。エッジ抽出部210においては、画像上の横方向の輝度変化に反応するSobelフィルタを実施し、通常画像から縦エッジとそのエッジ強度を算出する。次に、フロー生成部220においては、通常画像の画面全体からのフローを抽出し、自車挙動に応じて変化する背景の移動分を削除した移動体検出用のフロー画像を生成する。そして、更に移動体を含まないと推測されるフロー画像も生成する。

物体候補抽出部230は、エッジ抽出部210で生成された縦エッジ画像を利用して、路面に垂直に存在することの多い立体物を物体候補として抽出する。多くの場合、背景と立体物の境界で色合いの変化が生じることから、画像上で横方向に立体物を見た場合、背景との輝度変化が２回生じる。このため横方向にエッジがあるかどうかを探索し、エッジが存在する場合に、その縦エッジと対となる縦エッジのペアを探索する。

たとえば、人や電柱といった立体物が存在する場合には、縦エッジを横方向にスキャンして見つけたところで、それと対となるペアが存在するかどうか更に探索する。この横方向のスキャンを、縦方向に全て処理することで、立体物であれば、同じような画像上の横位置に、縦エッジのペアが存在していたことが明らかとなるため、これを活用して、立体物を検出し、物体候補として抽出する。

次に、立体物が移動体であるか否かを判断するために、移動体用に背景の動きを削除した移動体検出用のフロー画像では、フローが集合体として密集しているような領域を探索する。フローが密集している領域でかつフローの方向や速度が同等であれば、その集合体を一つの移動体として抽出する。更に、移動体を含まないように生成されたフロー画像は、自車移動量に応じて変化したとされるフローを含むため、自車移動量とフローの動きから大まかな３次元形状を復元し、その中から立体物としての塊を物体候補として抽出する。

次に、幾何計算部240では、それぞれの手法で抽出された物体候補に対して、３次元的な位置、姿勢、サイズなどを計算する。すでにフローの物体候補抽出部230において立体物候補の姿勢、サイズなどが求められているかもしれないが、認識対象個々に絞って３次元的な位置、姿勢、サイズなどを計算する。３次元位置の再計算では、抽出した立体物の路面上の下端位置を基準に計算した３次元位置であっても良い。

＜図３ 物体認識部 概要＞
図３は、物体認識部の構成を説明する図である。
物体認識部300は、不可視領域判定部310と、特徴量抽出部320と、特徴量統合部330と、パターンマッチング部340を有する。

不可視領域判定部310は、通常画像110の輝度を分析して、物体候補検知部200にて検知された物体候補が暗物体用画像120を確認する認識対象であるか否かを判定する。不可視領域判定部310は、自車両のヘッドライトの照射範囲に一部跨る物体候補が存在するか否かを判定する。不可視領域判定部310は、通常画像110では暗すぎてある物体の一部が認識できないような状況である場合、すなわち、通常画像110上ではある物体の一部のみが視認可能であり、物体の一部のみが物体候補として抽出されている状況である場合に、物体候補が暗物体用画像120を確認する認識対象であると判定する。
また、光源環境や認識対象によっては、暗物体用では明るすぎて物体の一部が認識できないような状況である場合、暗物体用の一部のみを物体候補として抽出するような構成であっても良く、このような場合には、暗物体用の画像では白飛びし明るすぎる領域を通常画像で情報を補完する必要のある認識対象であると判断する構成であっても良い。

特徴量抽出部320では、暗物体用画像120と通常画像110とを組み合わせて利用して、物体候補の全形状、及び、それが人なのか車両なのかを識別するための特徴量を抽出する。すなわち、特徴量抽出部320は、不可視領域判定部310により物体候補が暗物体用画像120を確認する認識対象であると判定された場合に、通常画像110及び暗物体用画像120からそれぞれ物体の識別用の特徴量を抽出する。例えば、通常画像110では黒つぶれして視認困難な物体の暗い部分（不可視領域）があると不可視領域判定部310により判定された場合に、暗物体用画像120を用いることで、その暗い部分の特徴量を抽出する。一方、通常画像110で視認可能な物体の部分（可視領域）については、通常画像110を用いることでその部分の特徴量を抽出する。
同様に、暗物体用画像では白飛びして認識しづらいような状況においては、それよりも明るい物体を対象に撮像した通常画像を活用する構成であっても良い。

特徴量統合部330は、特徴量抽出部320によって通常画像110と暗物体用画像120のそれぞれから抽出した特徴量を利用して、より視認性高く見えている方の画像の特徴量を選定し、通常画像110と暗物体用画像120の両画像からの特徴量を組み合わせる。これにより、異なる露光条件で撮像された2つの画像を活用して得られた特徴量を組み合わせて、パターンマッチング部340にてパターンマッチングを実施することで、暗くて物体の一部が見えづらいような物体であっても、より信頼度高く、精度よく認識することができる。同様に、白飛びして物体の一部が見えづらい状況においても、逆により暗い画像からの特徴量を取得し、組み合わせることで同様の効果が得られる。

図１に示す実施例においては、通常画像110と暗物体用画像120の、２つの露光画像を、図８に示すように周期的に交互に撮影した場合の実施例であるが、この周期に通常画像よりも明るい物体を見るための明物体用画像を取得するような構成が追加されていてもよい。例えば、明物体用画像と、通常画像110と、暗物体用画像120とを順番に撮像する構成としてもよい。明物体用画像は、明るいところを暗く、暗いところはもっと暗くした画像である。したがって、通常画像では白飛びして視認困難な物体の明るい部分領域がある場合には、明物体用画像を用いることで、その部分の特徴量を抽出することができる。したがって、物体の部分領域ごとに、適切な露光条件の画像から抽出された特徴量を組み合わせて利用することにより認識精度の向上を図ることができる。

＜図４ 不可視領域判定部 概要＞
図４は、不可視領域判定部の構成を説明する図である。
不可視領域判定部310は、物体候補検知部200にて検知された物体候補に対して、物体の一部が明るすぎて白飛びしていないか、暗すぎて黒つぶれしていないかを確認する。つまり、光源環境の影響により物体の一部のみを物体候補としてとらえており、物体の残る一部は画像上では明るすぎて白飛びしていないか、暗すぎて黒つぶれしていないかを確認する。不可視領域判定部310は、輝度上下限判定部311と、認識種別事前判定部312と、領域候補抽出部313を有している。

輝度上下限判定部311は、物体候補の画像上周囲の輝度情報を解析し、画像上で物体候補の周囲の輝度が上下限付近に達していないかどうかを確認する。物体候補の周囲の輝度が上下限付近に達しているとは、輝度が輝度上下限範囲に入っていること、より詳しくは、所定の輝度下限範囲若しくは所定の輝度上限範囲に入っていることである。例えば、輝度下限範囲は、8bit輝度値における10以下の固定輝度値(0〜10)とし、輝度上限範囲は、8bit輝度値における245以上の固定輝度値(245〜255)とすることができる。

図９（ａ）は、夜間歩行者を撮像した状況を説明する図、図９（ｂ）は、図９（ａ）の状況における撮像画像の模式図である。夜間においては、図９（ｂ）の撮像画像900にその一例を示すように、比較的頻繁にヘッドライト照射領域911の外に不可視領域が発生する。

例えば自車両901の前進によりヘッドライト照射領域911内に歩行者921が差し掛かった場合、ヘッドライトは歩行者921の足元を強く照らし、歩行者921の上半身にはヘッドライトの光があたらない状況が多々発生する。車載フロントカメラの場合には、当然、衝突危険性の高い領域であるヘッドライト照射領域911に合わせた露光を基本とするため、通常画像900では、歩行者921が存在した場合、明るい足元が視認性高く、頭部が暗い図９（ｂ）のような見え方になり、歩行者921の下半身が立体物として検知される。

夜間自車両のヘッドライト照射時には、更に確認として、ヘッドライト照射範囲と垂直立体物の位置関係に応じた照射範囲内外の境界が適切かどうかを判定する。物体候補の3次元位置と自車両のヘッドライトの照射範囲の関係を解析することで、例えば20ｍ遠方にいる歩行者の場合は、事前情報もしくは学習された自車両の配光パターンでは、路面からの高さが0.8mより上はヘッドライトの照射が弱くなり暗くなるとの推定と画像上の実際の解析結果を比較することで、再確認する。

ヘッドライトの配光パターンなどは、最近、手動で上下の照射角度を調整できるものも存在する。例えば調整結果の情報がCANなどに流れるような場合には、配光パターンを動的に変更できる。調整結果の情報がCANなどに流れていない場合には、夜間走行時の学習結果から奥行きと物体候補の路面からの高さの傾向を学習から解析しても良い。周囲環境が暗く、他光源環境からの影響を受けない場合に、自車両の奥行き、角度、路面からの高さを学習することで、より精度高い判定が可能となる。

輝度上下限判定部311は、夜間、自車両のヘッドライト照射時にヘッドライト照射範囲内において、図９（ｂ）に示すように、物体候補（歩行者921の下半身）が存在する場合、この物体候補の上側が輝度の下限付近かどうかを判断する。ここでは、鉛直方向に輝度のヒストグラムを生成し、輝度のヒストグラムにおいて、物体候補の上側の輝度が下限付近であり、物体候補から上側に移行するにしたがって漸次輝度が低下する輝度の分布が認められる場合に、物体候補の上側は通常画像110上では黒つぶれして見えていないが、実際には上側に連続して物体が存在している可能性が高いと判定する。

このように、例えば夜間のヘッドライト点灯時に、輝度上下限判定部311において、路面に垂直に立つ立体物の下部が物体候補として通常画像において視認可能であり、立体物の上部はヘッドライト照射範囲外のため暗くて視認不可の可能性が高いと判定された場合は、次に認識種別事前判定部312において、立体物の上部に物体が存在すると仮定して、認識種別の絞り込みを行う。パターンマッチング部340で種別を認識する物体の想定幅が存在し、これに対して明らかに小さな物体候補や、明らかに大きな物体候補は対象外とし、種別を認識するためのパターンマッチング候補から除外する。

ここでは、たとえば、図９（ｂ）に示すように、幅0.7m高さ0.8mほどの立体物が20ｍ遠方に見えた場合の処理を仮定すると、パターンマッチングの種別である車両と比較すると明らかに細いため、車両候補ではないと判断し、他、歩行者、二輪車、動物の可能性を残して、処理を実施する。そして、歩行者921の下半身が見えるのでは、と仮定した場合には、領域候補抽出部３１３によって、歩行者921の標準サイズ170cmを基準に、少し大きい範囲で、歩行者用候補枠931が画像上に設置される。

この場合、自車両も物体候補も静止状態であれば、物体候補の上部、画像上でも上部に枠を設置するだけで良いが、自車両が動いている場合や物体候補も移動している場合には、図８に示すような異なる時間タイミングで撮影した画像上での位置を推定するために、異なる露光条件で撮像するフレーム間隔の時間と自車両と物体候補の移動予測が必要となる。そのため、今回は1frameあとの処理時間33msecの物体の位置を予想する。

領域候補抽出部313は、自車両の物体候補への移動速度と、物体候補の移動速度から暗物体用画像撮像時の物体候補の3次元位置の推定、更には、それが画像上でどのような領域となるかを推定する。認識種別事前判定部312にて可能性が残っている対象物に関しては、歩行者の例と同様に領域候補の抽出を領域候補抽出部313にて実施する。

場合によっては、物体候補の検知を通常画像110に対してだけでなく、暗物体用画像120に対しても実施し、これら抽出された物体候補同士が同一物体である可能性を物体認識部300の不可視領域判定部310にて判断しても良い。

＜図１０の場合＞
次に、図１０の場合のように、物体のどの部分が不可視な領域となっているか判断が困難な場合について説明する。図１０は、歩行者の上半身が日向にあり下半身が日陰にある状態の撮像画像である。

図１０に示す例は、昼間に右側の車線に沿って立つ壁1010によってできた影1011が歩行者1012の足元にのみ影を落としている場合を示す。歩行者1012の上半身は明るく、下半身は影1011の中で暗い状況となる。露光の調整状況にもよるが、このような場合には、歩行者1012の上半身のみが通常画像上で視認性高く見えて、反対に下半身は黒くつぶれて視認困難となる。

このような場合には、まず、物体候補検知部200において、通常画像110から物体候補が抽出される。したがって、日向の上半身を立体物として検知することができる。次に、物体認識部300の不可視領域判定部310において、物体候補は物体の一部分が視認困難な状況でないかどうかを判定する。不可視領域判定部310の輝度上下限判定部311において、物体候補の周囲の輝度分布を解析し、輝度上下限に近い輝度分布となるかどうかを判定する。

図１０に示す例でいうと、解析する範囲にもよるが、歩行者1012の左の方向は明るく、画像上で見えやすい状況にあり、歩行者1012の上下、右の３方向は暗く、画像上で見えづらい状況にあると解析できる。

図１４は、物体候補の周囲における不可視領域の判定方法を説明する図である。輝度上下限判定部311は、通常画像110における物体候補の上下左右の輝度分布を解析し、輝度上下限に近い輝度分布となるかどうかを判定する。図１４の輝度解析（１）案に示すように、上下の輝度解析については、夜間自車両ヘッドライト照射時においても実施することで、物体候補の上下方向に不可視領域が存在することを確認してもよい。また、夜間自車両ヘッドライト照射時においても、車両のライトなどの影響により、物体候補の左右方向に光源環境が変化する場合も十分にありうるので、これを併用することで、物体候補が不可視領域を抱える物体であるか否かの判断精度を向上させてもよい。

図１４に示すように、物体候補周囲の輝度分布の解析には、物体候補を中心に左右上下の４方向について極端に暗いもしくは明るい輝度分布へ変化していないかどうかを解析する。極端に明るいもしくは暗く、エッジや形状特徴量となる情報がほぼ得られないとされる、例えば、暗い方は8bit輝度値における10以下の固定輝度値、明るい方は8bit輝度値における245以上の固定輝度値を閾値として、これを超える画素数の解析を実施する。図１４に示す例では、暗い側の変化だけ観測をしているが、明物体用画像も撮像するような構成の場合には、ここで解析を実施し、明るい側の変化も観測する。

図１４（ａ）に示すように、物体候補の領域を上下左右の４方向に拡張し、まず上方向の拡張領域に対して輝度がグラデーションのように変化しているか解析する。図１４（ｂ）に示す輝度解析（１）のように、物体候補の領域とその上側の拡張領域だけに着目し、固定輝度閾値10以下のpixel数を横方向ごとにカウントし、そのカウント値をＹ座標ごとに並べてヒストグラム化する。

輝度解析（１）の例でいうと、上側の拡張領域において画像の上部に移行するほどに、画像上の輝度値10以下のピクセル数が増加しており、画像の上部が徐々にグラデーションがかかって見えていることが判断できる。このため、物体候補の上方には、黒つぶれによる不可視領域が存在しており、物体の上部は暗くて通常画像では見えていないが、暗物体用画像では物体を認識できるかもしれない可能性があることを判定する。

図10の例で示すと、視認できた上半身をベースに下側の拡張領域において画像の下部に移行するほどに画像上の輝度値10以下のピクセル数が増加しており、画像の下部が徐々にグラデーションがかかって見えていることが判断できる。斜め方向に暗くなってはいるものの、物体候補の下方には、黒つぶれによる不可視領域が存在しており、物体の下部は暗くて通常画像では見えていないが、暗物体用画像では物体を認識できるかもしれない可能性があることを判定する。

同様に、物体候補の領域とその右側の拡張領域についても解析する。図１４（ｃ）に示す輝度解析（２）については、今度は縦方向に輝度値10以下となった画素数をカウントする。しかしながら、横方向には光源環境が変化せず、図１４（ｃ）に示すように、固定輝度値以下のピクセル数は、Ｘ方向に応じての変化を確認できない。

このため、物体候補の横方向には、露光条件によって視認できないような不可視領域が存在しないことを示し、暗物体用画像などで見ても、その物体候補の形状が変化することはないことを示している。同様に、図１４（ａ）に示す物体候補の下側や左側の拡張領域についても同様の処理を施し、輝度解析（３）及び（４）を行う。明物体用の画像があれば、同様にこれを固定輝度245以上の画素数をカウントする別処理を再度実施することとなる。

不可視領域を抱えた物体がある場合、認識種別事前判定部312において、パターンマッチングの候補を絞ることが困難となるため、全てのケースを想定した処理を実施する必要がある。領域候補抽出部313においては、それぞれの候補を想定した領域の抽出を実施する。例えば、物体が車両と歩行者のいずれの可能性もある場合には、それぞれに応じた領域の抽出を実施する。

＜図５ 特徴量抽出部 概要＞
図５は、特徴量抽出部の構成を説明する図である。
特徴量抽出部320では、通常画像110と暗物体用画像120の両画像から物体認識用の特徴量を抽出する。既に、通常画像110では、物体候補の一部が、黒つぶれしており、暗物体用画像120で確認することで、物体候補の一部が見える可能性が高いことがわかっている。

そこで、不可視領域判定部310の領域候補抽出部313において設定された暗物体用画像120上の領域候補内の特徴量を抽出するための前処理を、特徴量前処理部321にて実施する。特徴量前処理部321では、まず、暗物体用画像120の領域候補内に物体候補が存在するかを確認するために、物体候補検知部200のエッジ抽出部210とフロー生成部220と同様に、特徴量抽出を実施する。

領域候補抽出部313では、図９（ｂ）で示すような夜間ヘッドライト照射時であることを確認した上で、領域候補内に物体候補の位置が設定されて渡された領域候補と、図１０に示すように、どの物体候補のどの部分が視認できずに黒つぶれしているか不明の状況で渡された領域候補とが存在する。このため、特徴量前処理部321では、この領域候補内のどの部分に物体候補の一部が存在するかを確認するための特徴量抽出を実施する。エッジ抽出とフロー生成後、これらの特徴量に基づいて、領域候補の領域の大きさの修正もしくは、領域候補内に特徴量が存在せず、物体が見えないのではなく、物体の一部自体が存在しないことの確認結果を返すことで領域候補の存在を削除する。

暗物体用画像上の領域候補の中から物体が存在しそうな特徴量が存在する領域が抽出できた。これにより従来から抽出してあった通常画像110の物体候補と、暗物体用画像120の物体候補が、そろったことになる。図１１に示す例では、通常画像110により下半身を立体物として検知し、暗物体用画像120により上半身を立体物として検知する。そして、通常画像110では、下半身の上側を不可視領域として物体候補の領域111を設定し、暗物体用画像120では、上半身の下側を不可視領域として物体候補の領域121を設定する。

しかしながら、ここで課題となることは、図８の例に示すように、異なる露光条件の画像を時系列に周期的に撮影しているために、二つの通常画像110と暗物体用画像120の撮像タイミングが異なる。このため短い期間とはいえ、撮像物体と自車両が静止状態にない限り、画像上の対象物体は少なからず移動、もしくは変形していることとなる。特に車載カメラの場合には、対象物体の移動よりも自車両の移動が大きい場合も多く、画像上での移りの変化を無視したままでは、認識性能低下につながるおそれがある。

本実施例では、自車両の挙動をＣＡＮ情報などから常に予測計算しておく。更に物体候補の位置と動きに関しては、物体候補検知部200の幾何計算部240において計算された物体候補の3次元位置と移動速度に基づいた補正を行う。当然、特徴量前処理部321で抽出されたフロー結果から、暗物体用画像120上の物体候補の画像上の横移動量と、3次元位置から、通常画像110上の物体候補と暗物体用画像120上で見つけた候補の移動量、3次元位置を類似していることの確認をとることで、まず同一物体の可能性が高いことを確認する。

そして、類似していることを確認したうえで、物体候補の横移動量と、スケール方向の大きさの変化を、横移動補正部322とスケール補正部323において揃える。すなわち、横移動補正部322とスケール補正部323は、通常画像110の物体候補と暗物体用画像120の物体候補の、横方向移動量及びスケール方向の大きさの変化を補正して互いに一致させる。画像上で大きく撮像された物体であっても、パターンマッチングのサイズは固定パターンで実施するため、どの領域をどの程度の大きさに成型してパターンマッチングの前準備を実施するかを確定する。

図１２は、特徴量の統合方法を説明する図であり、夜間における歩行者の見え方の場合を例に示す。ここでは、横移動量とスケール変化を補正しながら特徴量を抽出する。ヒストグラム総量が多く、平均エッジ強度が強い、横エッジ強度、横エッジ総量（ヘッドライトによるグラデーション方向を省く）、エッジ総量、エッジ位置標準偏差が大きい。これらの条件を用いて、局所領域毎に、通常画像110と暗物体用画像120のいずれを使用するか判定する。隣接の局所領域の結果に合わせて、通常画像110と暗物体用画像120のいずれを使用するか判定する。このように特徴量を比較して判定し、局所領域毎に特徴量の多い露光画像を選択し、これらの特徴量を統合する（図１２（ｃ））。

特徴量計算部324においては、パターンマッチングの識別候補別に定められた決められた成型サイズのブロック数に分割した上で、それぞれ通常画像110と暗物体用画像120のそれぞれからパターンマッチング用の特徴量抽出を実施する。図１１に示すように、通常画像110と暗物体用画像120のそれぞれについて、物体候補の領域111、121を設定する。そして、設定された物体候補の領域111、121を、図１２（ａ）、（ｂ）に示すように、固定サイズの正方領域に分割する。図では歩行者識別用として、4x9のサイズの正方領域に分割されているが、認識対象とする最も遠距離の歩行者のサイズと認識性能を考慮して分割サイズを定義すればよい。

そして、固定された分割領域の局所領域内に相当するそれぞれの画素のエッジ方向ヒストグラムを作成する。ただし、図１２（ａ）、（ｂ）に示すように、エッジ強度が固定強度以下の場合には、無効なエッジとしてヒストグラムに投票しない。しかしながら、物体の画像上での大きさが異なるだけでなく、通常画像と暗物体用画像でも異なる。そこで、局所領域の画像サイズに応じたヒストグラム正規化を実施したヒストグラムにする。これにより、画像上に映るサイズに関わらず一定の特徴量を抽出することがわかる。

しかし、図９に示すように夜間ヘッドライト照射時においては、大まかには通常画像110上で視認可能な領域と、暗物体用画像120上で見やすい領域とが既知の状態にある。このため候補物体の奥行きとヘッドライト照射範囲の関係から、異なる露光条件の画像のうちどちらの画像を、物体の認識に活用するかを決めても良い。しかしながら、図９に示すような場合においても詳細な領域や境界上にある場合に、どちらの画像上でより視認性が高いかなど局所領域ごとの判断が困難である。

また、自車両ヘッドライト以外の光源があるような場合には、基本的には物体上下で明るさが異なるが、例えば、図１０に示すような場合においては、物体右側には別光源からの光が当たるために、若干明るくなる。したがって、上下左右の局所領域別にどの画像を活用することが、安定したパターンマッチングにつながるかを個別に判断した方が、どちらの露光画像からの特徴量を選択すべきかがより適切に判定できる。

＜図６ 特徴量統合部＞
そこで、特徴量選定部331は、図１２（ａ）、（ｂ）に示すように、対応する局所領域同士のヒストグラムの総和を比較する。エッジ強度閾値がある固定閾値を超えたパーセンテージが高い領域、つまりエッジが良く見える局所領域のほうが、画像上で物体候補の形状特徴量を捉えていると考えて、特徴量選定部331では、局所領域毎に、この判定を実施することで、通常画像110と暗物体用画像120の特徴量から、より物体形状を視認可能な方の特徴量を選定する。

通常画像110と、暗物体用画像120に映る物体候補のスケールは、自車挙動などの要因から変化している可能性があるため、それぞれ大きさを正規化した局所領域内のエッジ量の割合にて判断する。この局所領域ごとの選定条件を基にして、特徴量統合部332において、特徴量を統合する（図１２（ｃ））。

＜図７ パターンマッチング部＞
図７は、パターンマッチング部の構成を説明する図である。
次に、統合した特徴量を利用してパターンマッチングを実施する。パターンマッチング部340は、通常画像110及び暗物体用画像120からそれぞれ抽出した互いの識別用の特徴量を統合して物体種別の識別を実施する（物体識別部）。パターンマッチング部340では、既に認識種別事前判定部312において絞り込まれた候補に対してパターンマッチングを実施する。物体候補が認識種別事前判定部312において歩行者の可能性があるとされた場合には、歩行者識別部341において、既に学習された歩行者特徴量と比較して、歩行者かどうか識別を実施する。他の種別に関しても同様に、物体候補の種別の可能性が残っている場合には、それぞれ、車両識別を車両識別部342において実施し、二輪車識別を二輪車識別部343において実施し、動物識別を動物識別部344において実施する。このように、パターンマッチング部においては、事前に学習された物体であるか否かを判別する。この他、種別の特定は、標識、電光標識や、信号、路面標示などのパターンが準備されていても良い。

＜図１３ 処理フロー概要＞
次に、周囲環境認識処理の全体の流れについて説明する。図１３は、処理内容を説明するフローチャートである。まず、カメラで通常露光条件の画像（通常画像）を撮像する(S01)。そして、取得した通常画像から物体候補を検出する(S02)。

次いで、不可視領域が存在するか否かを判定する(S03)。物体候補の周囲の輝度を解析することで、物体候補の一部の輝度が白飛び、もしくは黒つぶれしていないかチェックを実施する。ここでは、物体候補の周囲の輝度が暗く黒つぶれしていないかどうかを解析する。白飛びしていた場合には、明物体用画像を撮像しているシステムにおいて、暗物体と同じように、明物体用画像から特徴量を抽出するような手法をとることで、物体の識別精度や信頼度を向上させる。

物体候補の周囲の輝度が暗くない、すなわち、不可視領域が存在しないと判定された場合（S03でNO)には、通常画像上で物体候補が暗すぎて見えづらいことはないと判別されたこととなる。このため、通常画像のみを利用して物体が何であるか種別の特定処理を実施する。このため、通常画像のみを利用してパターンマッチング用の特徴量抽出を実施する(S04)。

一方、物体候補の周囲の輝度が暗い、すなわち、不可視領域が存在すると判定された場合（S03でYES)には、物体候補は、物体候補の一部が通常画像上では暗すぎて黒つぶれしており、通常画像だけでは物体全体が見えていない可能性があることを示している。

本実施例では、図８に示すように、通常画像の撮像後に、S01からS04と通常画像のみを利用したS08の物体候補のパターンマッチングまでを実施する。そして、S03において不可視領域が存在すると判定された物体に対しては、図８に示すように、暗物体用画像の撮像後に、S05から以降のS09の処理までを実施する。このように撮像タイミングに合わせて、処理負荷を分散して処理を実施することで効率的に処理負荷を分散して、高精度で信頼度の高い認識を実施する。

暗物体用画像を撮像し(S05)、この画像を利用した認識の処理を、この後から開始する。物体候補の一部が暗すぎて、通常画像では、見えづらい状況であることが確認できた場合には、通常画像110の撮像結果と暗物体用画像120の撮像結果の両方を利用して、パターンマッチング用の特徴量を抽出する(S06)。

そして、通常画像110の特徴量と暗物体用画像120の特徴量を統合する(S07)。図１１に示す例で説明すると、通常画像110で視認可能であり、特徴量が多く抽出されていた下半身と、通常画像110では暗くて見えづらかった上半身については、暗物体用画像120に撮像されている上半身を利用して、上半身、下半身がそれぞれ見やすい画像から特徴量を抽出し、統合する。

図１１に示すような歩行者でない場合にも画像上において良く形状特徴を示すエッジ特徴量が多く存在するかどうかによって、どちらの画像を使うべきかを選択する。本実施例では、暗物体用画像120と通常画像110をメインに述べているが、高輝度物体を対象とするような明物体用画像の撮影を行って、これを含めて最適な画像を選択、特徴量を統合するような方法でも良い。
そして、特徴量統合(S07)で統合した特徴量を用いてパターンマッチングを実施する(S08)。したがって、特徴量統合によって得られた、1つの露光条件で撮像された画像だけでは得られないような豊富な特徴量を利用することで、信頼性の高い、精度の高いパターンマッチングを実施することができる。
そして、警報・制御処理が行われる(S09)。ここでは、警報や制御を実施するために、対象物体の位置、速度などを更新する。通常画像など１つの露光条件の画像のみから物体が検出された場合には、その画像の情報を活用して物体の位置、速度などを算出し、警報、制御などを実施する。そして、通常画像110と暗物体用画像120など複数の露光条件の画像から特徴量を取得してパターンマッチングを実施した場合には、これら特徴量を活用して、位置、速度計算も実施し、より精度の高い位置、速度の算出結果を基に、警報や制御を実施する。
このように、夜間ヘッドライト照射環境や、日中の明るい領域と影領域などダイナミックレンジの広さが要求されるような撮像環境において、ダイナミックレンジに限界のある廉価なカメラで撮像された露光条件の異なる複数の画像を組み合わせて認識を行うことで、物体形状全体を見ながらより信頼性の高い認識を実施する。したがって、１つの物体の一部が暗く、残りの部分が明るく撮像された場合でも、一つの物体として正確に認識することができ、従来の例えば、上半身が見えない場合においては、足元のみで歩行者を認識することと比較すると、より精度が高く信頼度の高い識別を実現できる。

［実施例２］
＜ステレオカメラの場合＞
基本は単眼処理であってもステレオ処理であっても同様に、効果のある実施例を記載したが、一部ステレオカメラならではの活用方法などもあるため、実施例２として記載する。

＜図１５ 車載ステレオカメラ環境認識装置概要＞
図１５にステレオカメラの場合の実施例を記載する。図１５は、実施例２における車載ステレオカメラ環境認識装置の構成を説明する図である。また、今回の処理方法においては、通常画像のみステレオ視の左右画像を撮像し、右画像のみ暗物体用右画像を撮像するようなカメラ構成でも良いが、この構成は基本的には、視差画像から物体候補を検知する仕組みが変化するだけであり、後段の活用方法が類似している。今回は、ステレオならではの処理を記載するために、より異なるシステム構成として、ステレオカメラの左右カメラにて、それぞれ通常画像、及び暗物体用画像を撮像する例を記載する。

図１５に示すように、左カメラ1101で、通常左画像1111と暗物体用左画像1121を時系列に交互に撮像する。同様に、右カメラ1100でも通常右画像1110と暗物体用右画像1120を時系列に交互に撮像する。それぞれの左右の通常画像同士、及び左右の暗物体用画像同士にてステレオマッチングを実施するため、左右カメラの撮像は同期され通常画像1111、1110同士は同タイミングにて撮像され、同様に暗物体用画像1121、1120も左右同期して撮像される。これら画像を利用して、ステレオマッチングを実施し、視差画像を生成する。
通常左画像1111と通常右画像1110は同タイミングで撮像され、この画像からステレオマッチングを実施し通常視差画像1150を生成する。同様に、暗物体用左画像1121と暗物体用右画像1120は同タイミングで撮像され、この画像からステレオマッチングを実施し暗物体用視差画像1151を生成する。

通常視差画像1150を活用した通常物体候補検知を通常物体候補検知部1200で実施し、同様に暗物体用視差画像1151を活用した暗物体用物体候補検知を暗物体用物体候補検知部1201で実施する。ステレオ物体認識部1300において、異なる露光条件にて抽出されたそれぞれ物体候補同士から、本来は同一物体である可能性がある物体同士を判定する。詳細は、図１６から図１８を使って説明する。

これによって例えば歩行者を例として考えると、通常視差画像では下半身だけが立体物として抽出され、反対に上半身だけが暗物体用視差画像から立体物として抽出されるような場合において、このままであれば、それぞれが別物体の立体物であり、かつ半身のみであるために、歩行者としての識別がうまくいかない。それをステレオ物体認識部1300において、それぞれが同一物体の可能性があると判断した上に、更に統合した特徴量を基に識別を実施することで、初めて、２つの候補物体が、歩行者でありかつ１つの物体であることが特定できる。

この結果を基にして、ステレオ警報制御1400では、候補物体の種別及び、３次元的な位置、姿勢、速度から、自車挙動を考慮した警報制御を実施する。

図１６に、通常物体候補検知部1200を示す。通常視差画像1150から、物体候補を通常物体候補検知部1200にて検知する。図９（ａ）に示すような状況において、ステレオカメラの場合には、左右通常画像から通常視差画像を生成し、この通常視差画像から下半身のみを通常物体候補抽出部1210にて物体候補として抽出する。次に、通常物体幾何計算部1240において、視差画像から計算された奥行きと、横位置を利用して正確な3次元位置を推定し、時系列の情報から移動速度も推定する。物体候補の路面から見える高さが、図９（ａ）に示すように物体奥行きに対するヘッドライト照射範囲の境界付近かどうかを判定することで、物体候補の上側が暗すぎて見えていない可能性をライト照射範囲判定部1220にて確かめる。

図１７に、暗物体候補検知部1201を示す。暗物体用視差画像1151から、物体候補を暗物体候補検知部1201にて検知する。図９に示すような状況において暗物体用画像は、図８右に示すような、ヘッドライト照射領域が白飛びし、反対にヘッドライト照射範囲外は比較的明るく物体形状が確認しやすい画像となる。これら左右暗物体用画像から生成された暗物体用視差画像を生成し、この暗物体用視差画像から上半身のみを物体候補として、暗物体候補抽出部1211にて抽出する。抽出した立体物の暗物体幾何計算部1241では、同様に、3次元奥行きと横位置、移動速度を暗物体用視差画像から推定する。

図１８に示すステレオ物体認識部1300では、それぞれの視差画像から抽出された物体候補の周囲を輝度解析することで、物体候補周辺の不可視領域を確認する。図１１に示すようなシーンで説明するとステレオカメラの場合にも同様な見え方となる。

通常露光の通常画像ではステレオ視から、足を立体物として検知して、不可視領域が物体候補上側となる。反対に、暗物体用露光の暗物体用画像ではステレオ視から、上半身を立体物として検知し、物体候補下側が不可視領域と判定される。左右通常画像から抽出された通常物体候補の不可視領域には、左右暗物体用画像から抽出された暗物体候補が存在し、暗物体候補の不可視領域には、逆に左右通常画像から抽出された通常物体候補が存在する。これにより、2つの候補が1つの立体物である可能性が高くなる。

しかしながら、たまたま画像上の近くに2つの物体が存在するだけの可能性もある。そこで、奥行き、横位置だけでなく、物体の移動速度も同程度であるかをチェックすることで、これらが同一物体であるかどうかを判定する。自車両も対象物体も静止状態でない場合には、異なる撮像タイミングの画像から物体候補を抽出しているために、撮像タイミングの時間差と、物体の移動速度と自車挙動を考慮したうえで、同一物体かどうかを確認する。これによって不可視領域判定部1310において、暗物体候補と通常物体候補の両物体候補が1つの立体物であると判定されたあとには、特徴量抽出部1320において単眼と同様に、通常画像と暗物体用画像の右画像から特徴量を抽出し、これを特徴量統合部1330にて統合し、パターンマッチング部1340にてパターンマッチングを実施することで、種別を特定することで、種別に合わせた警報や車両制御の判断基準に活用する。

上記のように、候補物体ごとに別々の処理を実施しても良いが、例えば通常物体画像をベースとして、暗物体用画像から通常物体画像のフレームにおける物体の映り方を想定して合成しても良い。たとえば、標識検知のように基本的に自車両に正面を向いているような物体で、なおかつ自車両が直進であることに限定すると、消失点を中心としながら標識が大きくなっていく予想が可能である。

単一露光条件だけは１つの物体全体の形状を捉えることのできないような光源環境下において、ダイナミックレンジに限界のあるカメラであっても、時系列に異なる露光条件にて撮影した画像を合わせて利用することで、物体形状を補い合うことで全体の形状を抽出し、物体種別の識別性能を高める。これにより、物体の種別に応じて調整されている予防安全や自動運転へ向けた警報や車両制御を、より適切に動作させることを可能とする。

上述の実施例では、左右のカメラを有するステレオカメラの場合について説明したが、上下に一対のカメラを有するステレオカメラに適用することもできる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

100 多重露光カメラ
110 通常画像（第１画像）
120 暗物体用画像（第２画像）
200 物体候補検知部
210 エッジ抽出部
220 フロー生成部
230 物体候補抽出部
240 幾何計算部
300 物体認識部
310 不可視領域判定部
311 輝度上下限判定部
312 認識種別事前判定部
313 領域候補抽出部
320 特徴量抽出部
321 特徴量前処理部
322 横移動補正部（横移動量補正手段）
323 スケール補正部（スケール補正手段）
324 特徴量計算部
330 特徴量統合部
331 特徴量選定部
332 特徴量統合部
340 パターンマッチング部
341 歩行者識別
342 車両識別
343 二輪車識別
344 動物識別
400 警報制御
1101 左カメラ
1100 右カメラ
1111 通常左画像
1110 通常右画像
1121 暗物体用左画像
1120 暗物体用右画像
1150 通常視差画像
1151 暗物体用視差画像
1200 通常物体候補検知部
1201 暗物体候補検知部
1300 テレオ物体認識部
1400 ステレオ警報制御部

Claims (13)

1. 露光条件の異なる複数の画像を取得する画像取得部と、
   前記画像から物体候補を検知する物体候補検知部と、
   前記物体候補に対応する画像領域内の複数の部分領域に応じて前記露光条件の異なる複数の画像を用いて物体を認識する物体認識部と、
   を備えることを特徴とする画像処理装置。
2. 自車のヘッドライトの照射範囲に基づいて、前記各部分領域に対して用いる画像を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記自車のヘッドライトの照射範囲に一部跨って存在する物体候補が存在するか否かを判定する判定部を備え、
   前記物体候補検知部は、前記物体候補が自車のヘッドライトの照射範囲に一部跨って存在する場合に、前記露光条件の異なる複数の画像を用いて前記物体候補を認識することを特徴とする請求項２に記載の画像処理装置。
4. 前記判定部は、画像ヒストグラムにより輝度のグラデーションを検知した場合に、前記物体候補が自車のヘッドライトの照射範囲に一部跨って存在すると判定することを特徴とする請求項３に記載の画像処理装置。
5. 異なる複数の画像から特徴量をそれぞれ抽出し、
   局所領域ごとに、抽出した特徴量を統合し、
   該統合した特徴量の数の多さで、どちらの画像の方が、物体候補の視認性が良いかどうかを判定し、
   視認性が良いと判定された画像の特徴量を組み合わせて利用し、
   パターンマッチングにより物体の種別を識別することを特徴とする画像処理装置。
6. 露光条件の異なる画像を時系列に撮像するステレオカメラにおいて
   左右カメラにより第１の露光条件で同時に撮像された左右画像から物体候補を抽出し、
   前記左右カメラにより第２の露光条件で同時に撮像された左右画像から物体候補を抽出し、
   これら異なる露光条件を基に抽出された物体候補が同一の物体であるか否かを判定し、
   同一の物体であると判定された場合に、該物体の種別を特定することを特徴とする画像処理装置。
7. 前記物体候補の輝度情報及び、前記物体候補の奥行き、移動速度、物体サイズのいずれか１つ以上が類似していることを基に、前記同一の物体であるかどうかを判定することを特徴とする請求項６に記載の画像処理装置。
8. 互いに露光条件の異なる第１画像と第２画像を取得する画像取得部と、
   前記第１画像から物体候補を検知する物体候補検知部と、
   該物体候補が前記第２画像を確認する認識対象であるか否かを判定する判定部と、
   前記物体候補が前記第２画像を確認すべき認識対象であると判定された場合に、前記第１画像及び前記第２画像からそれぞれ識別用の特徴量を抽出する特徴量抽出部と、
   前記第１画像及び前記第２画像からそれぞれ抽出した互いの識別用の特徴量を統合して前記物体候補の物体種別の識別を実施する物体識別部と、
   を有することを特徴とする画像処理装置。
9. 前記判定部は、
   前記第１画像における前記物体候補の周囲の輝度分布を解析して予め設定された輝度分布となっている場合に、前記物体候補が前記第２画像を確認する認識対象であると判定することを特徴とする請求項８に記載の画像処理装置。
10. 前記判定部は、
    前記第１画像において前記物体候補の周囲の輝度が予め設定された上下限範囲に入っているか否かを判定する輝度上下限判定部と、
    前記物体候補の周囲の輝度が予め設定された上下限範囲に入っていると判定された場合に、前記物体候補の物体種別の絞り込みを行う認識種別事前判定部と、
    前記物体候補の物体種別の絞り込みの結果に基づいて領域候補の抽出を実施する領域候補抽出部と、
    を有することを特徴とする請求項９に記載の画像処理装置。
11. 前記特徴量抽出部は、
    前記第１画像と前記第２画像における前記物体候補の横移動量を補正する横移動量補正手段と、
    前記第１画像と前記第２画像における前記物体候補のスケール方向の大きさを補正するスケール補正手段と、
    を有することを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像取得部は、前記第１画像と前記第２画像として夜間ヘッドライト照射時における通常画像と暗物体用画像を取得し、
    前記輝度上下限判定部は、前記通常画像において前記物体候補の上側が予め設定された輝度下限範囲に入っており、かつ、前記物体候補から上側に移行するにしたがって輝度が漸次低下する場合に、前記物体候補の上側に連続して物体が存在していると判定することを特徴とする請求項１０に記載の画像処理装置。
13. 前記輝度上下限判定部は、前記第１画像において前記物体候補の領域を上下左右の４方向に拡張し、該４方向の拡張領域のうち輝度が予め設定された輝度下限範囲に入っており、かつ、前記物体候補から離れるにしたがって輝度が漸次低下する拡張領域がある場合に、該拡張領域に連続して物体が存在していると判定することを特徴とする請求項１０に記載の画像処理装置。

Images