JP2014191685A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】検出対象領域の検出精度を高めることが可能な画像処理装置を提供する。
【解決手段】検出対象領域が識別された基準画像を複数の基準領域に分割し、画像の上下方向をＹ座標とした座標系で特定可能な基準領域から色情報を抽出し、Ｙ座標が共通する基準領域の色情報の特徴に基づいて、各Ｙ座標位置に対応する判定基準を取得する判定基準取得手段２０と、第１撮像装置で撮像された基準画像の特徴点と、第２撮像装置で撮像された撮像画像の特徴点とに基づいて、基準画像のＹ座標位置と撮像画像のＹ座標位置との対応関係を定義した参照テーブルを取得する参照テーブル取得手段２０と、撮像画像を複数の判定領域に分割し、判定領域から色情報を抽出する抽出手段２０と、参照テーブルに基づいて判定領域のＹ座標位置に対応する判定基準を取得し、該判定基準を用いて判定領域が検出対象領域であるかを判定する判定手段２０と、を備える画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関するものである。

従来より、道路の路面などの検出対象領域をラベル付けした基準画像に基づいて、検出対象領域の色情報の特徴を学習させることで、この学習結果に基づいて、道路の路面などの検出対象領域を撮像した撮像画像から検出対象領域を検出する技術が知られている（たとえば、特許文献１参照）。

特許第２９６３１３８号公報

しかしながら、従来技術では、たとえば、第１撮像装置で撮像した基準画像に基づく学習結果を用いて、第１撮像装置とは異なる第２撮像装置で撮像した撮像画像から検出対象領域を検出する場合に、第１撮像装置と第２撮像装置とが画角、高さ、俯角、および撮影方向などの撮影条件が異なる場合には、たとえ撮影場所が同じであっても、第１撮像装置で撮像された基準画像と第２撮像装置で撮像された撮像画像で得られる色情報は異なるため、検出対象領域の検出精度が低下してしまうという問題があった。

本発明の課題は、第１撮像装置で撮像した基準画像での学習結果に基づいて、第１撮像装置と撮影条件の異なる第２撮像装置で撮像した撮像画像から検出対象領域を検出する場合に、検出対象領域の検出精度の低下を有効に防止することが可能な画像処理装置を提供することである。

本発明は、第１撮像装置により撮像された基準画像に基づいて定義された判定基準を用いて、第１撮像装置とは異なる撮影条件を備えた第２撮像装置により撮像された撮像画像から検出対象領域を検出する際に、第２撮像装置により撮像された撮像画像を複数の判定領域に分割し、判定領域から色情報を抽出し、該判定領域のＹ座標位置に対応する判定基準を用いて、該判定領域の色情報に基づいて、該判定領域が前記対象領域であるか否かを判定することで、上記課題を解決する。

本発明によれば、第１撮像装置と第２撮像装置との撮影条件が異なる場合でも、基準画像のＹ座標位置と撮像画像のＹ座標位置との対応関係を示す参照テーブルを参照して、判定領域のＹ座標位置に対応する判定基準を適切に選択することができ、これにより、選択した判定基準を用いて、判定領域が検出対象領域であるか否かを判定することで、検出対象領域の検出精度を高めることができる。

本実施形態に係る画像処理システムの概略構成図である。 ラベル付したサンプル画像の一例を示す図である。 他車両に搭載されたカメラＡの設置例を説明するための図である。 基準領域の一例を示す図である。 基準領域の色情報のヒストグラムの一例を示す図である。 記憶装置に記憶される基準領域のデータの一例を示す図である。 サンプル画像を撮像するカメラＡと撮像画像を撮像するカメラ１０との撮影条件が異なる場合の基準領域の座標位置と判定領域の座標位置との関係を説明するための図である。 図７に示す判定領域の色情報のヒストグラムと、基準領域の色情報のヒストグラムの一例を示す図である。 白線に基づいて、サンプル画像と撮像画像との座標位置の対応関係を決定する方法を説明するための図である。 本実施形態に係る判定基準生成処理を示すフローチャートである。 本実施形態に係る参照テーブル生成処理を示すフローチャートである。 本実施形態に係る対象領域検出処理を示すフローチャートである。 検出対象領域の検出対象から除外される判定領域を説明するための図である。

以下、図面に基づいて、本発明の実施形態について説明する。なお、以下においては、車両に搭載され、車両周辺を撮像した撮像画像から検出対象領域である自車両の走路を検出する画像処理システムを例示して、本発明を説明する。

図１は、本実施形態に係る画像処理システムの概略構成図である。本実施形態に係る画像処理システム１は、図１に示すように、カメラ１０と、画像処理装置２０と、記憶装置３０とを備える。

カメラ１０は、ＣＣＤイメージセンサ、ＭＯＳセンサ、又はＣＩＤ等の複数の光電変換素子が二次元に配置された撮像素子を備えている。このカメラ１０の撮像素子の撮像面には、たとえばベイヤー配列により、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）に対応するカラーフィルターが配置されており、赤色（Ｒ）に対応するカラーフィルターが配置されたＲ画素からＲ成分の画像信号が、緑色（Ｇ）に対応するカラーフィルターが配置されたＧ画素からＧ成分の画像信号が、青色（Ｂ）に対応するカラーフィルターが配置されたＢ画素からＢ成分の画像信号がそれぞれ出力される。

また、カメラ１０は、図１に示すように、高さｈの箇所において、俯角がθとなるように車両前方に取り付けられている。カメラ１０は、この位置から、自車両の進行方向前方を撮像するように設置されており、これにより、自車両が走行する道路の路面（以下、走路ともいう。）を含む撮影領域を撮像する。なお、カメラ１０により撮像された撮像画像は、画像処理装置２０に送信される。

記憶装置３０は、検出対象領域（走路）をラベル付けした複数のサンプル画像を記憶している。図２は、記憶装置３０に記憶されているサンプル画像の一例を示す図である。記憶装置３０に記憶されているサンプル画像は、予め撮像されたカラー画像であり、たとえば、図２に示すように、設計者や開発者の手作業により、検出対象領域である道路の路面（走路）がラベル付け（識別）されたものである。なお、図２においては、ラベル付けをしたサンプル画像の画像領域（走路）をグレーで示している。

また、記憶装置３０に記憶されているサンプル画像は、本実施形態のカメラ１０とは異なり、他車両に搭載されたカメラ（以下、カメラＡという）により撮像されたものである。図３は、他車両に搭載されたカメラＡの設置例を示す図である。カメラＡは、高さ、画角、俯角、撮影方向のうち少なくとも１つの撮影条件が、本実施形態のカメラ１０の撮影条件と異なっており、そのため、同じ場所で同じ被写体を撮影した場合でも、カメラＡで撮像されるサンプル画像と、カメラ１０により撮像される撮像画像とでは撮像される被写体（構図）が異なることとなる。たとえば、図３に示す例では、カメラＡは高さがｈ’、俯角がθ’となるように設置されており、図２に示すカメラ１０の撮影条件と異なる撮影条件を有しているため、カメラ１０で撮影される被写体（構図）と異なることとなる。

さらに、記憶装置３０には、サンプル画像を撮像したカメラＡの撮影条件、すなわち、カメラＡの高さｈ’、画角、俯角θ’、撮影方向などが記憶されている。同様に、記憶装置３０には、撮像画像を撮像するカメラ１０の撮影条件、すなわち、カメラ１０の高さｈ、画角、俯角θ、撮影方向などが記憶されている。

次に、画像処理装置２０について説明する。画像処理装置２０は、各種プログラムが格納されたＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）と、を備えている。

本実施形態に係る画像処理装置２０は、いわゆるランダムフォレスト法に基づいて、記憶装置３０に記憶している複数のサンプル画像から、検出対象領域あるいは非検出対象領域の色情報の特徴を学習させることで、カメラ１０により撮像された撮像画像から検出対象領域を検出するものである。本実施形態に係る画像処理装置２０は、上述した機能を実現するために、判定基準生成機能と、撮像画像取得機能と、色情報抽出機能と、参照テーブル生成機能と、対象領域判定機能との各機能を実現する。以下に、画像処理装置２０が実現する各機能について説明する。

まず、画像処理装置２０の判定基準生成機能について説明する。判定基準生成機能は、記憶装置３０に記憶されているサンプル画像に基づいて、カメラ１０で撮像した撮像画像において検出対象領域（走路）を判定するための判定基準を生成する。具体的には、判定基準生成機能は、まず、記憶装置３０に記憶されている複数のサンプル画像をそれぞれ複数の領域に分割し、分割した複数の領域を基準領域として特定する。ここで、図４は、基準領域を説明するための図である。図４に示す例では、判定基準生成機能は、サンプル画像を１１×１５＝１６５個の基準領域に分割する。なお、図４では、説明の便宜上、サンプル画像を１６５個の基準領域に分割する構成を例示したが、基準領域の数は、この例に限定されるものではなく、１６５よりも小さくすることも、大きくすることもできる。

次に、判定基準生成機能は、サンプル画像を構成する各基準領域から色情報を抽出する。具体的には、判定基準生成機能は、基準領域に対応する各画素からＲ成分，Ｇ成分、またはＢ成分の画像信号を抽出し、基準領域ごとに、Ｒ成分、Ｇ成分、およびＢ成分に応じた３つのヒストグラムを生成する。ここで、図５は、基準領域の色情報（ＲＧＢ成分）のヒストグラムの一例を示す図であり、（Ａ）はＲ成分のヒストグラムを、（Ｂ）はＧ成分のヒストグラムを、（Ｃ）はＢ成分のヒストグラムの一例を示している。

たとえば、判定基準生成機能は、図５（Ａ）に示すように、基準領域内のＲ画素から抽出したＲ成分の成分値の大きさを、たとえば４つの範囲に分け、それぞれの範囲に含まれるＲ画素の画素数に基づいて度数をカウントすることで、Ｒ成分のヒストグラムを生成する。同様に、判定基準生成機能は、図５（Ｂ）に示すように、基準領域内のＧ画素から抽出したＧ成分に基づいて、Ｇ成分のヒストグラムを生成し、また、図５（Ｃ）に示すように、基準領域内のＢ画素から抽出したＢ成分に基づいて、Ｂ成分のヒストグラムを生成する。

そして、判定基準生成機能は、サンプル画像を構成する全ての基準領域において、Ｒ成分、Ｇ成分、およびＢ成分に応じた３つのヒストグラムを生成し、さらに、記憶装置３０に記憶されている全てのサンプル画像についても同様の処理を行うことで、全てのサンプル画像の全ての基準領域から、Ｒ成分、Ｇ成分、およびＢ成分に応じた３つのヒストグラムを生成する。

また、判定基準生成機能は、基準領域の色情報として、基準領域から彩度Ｓ、明度Ｖ、色相Ｈ（以下、ＨＳＶ成分ともいう。）を抽出する構成としてもよい。具体的には、判定基準生成機能は、まず、基準領域の各画素から抽出したＲＧＢ成分を変換して、基準領域の彩度Ｓ、明度Ｖ、色相Ｈを算出する。

そして、判定基準生成機能は、算出した基準領域内の各画素領域の彩度Ｓの大きさを、４つの範囲に分け、それぞれの範囲に含まれる画素数の数に基づいて度数をカウントすることで、基準領域内の彩度Ｓのヒストグラムを生成することができる。同様に、判定基準生成機能は、算出した基準領域内の明度Ｖおよび色相Ｈの大きさに基づいて、基準領域内の明度Ｖのヒストグラム、および基準領域内の色相Ｈのヒストグラムを生成することができる。なお、この場合も、判定基準生成機能は、サンプル画像を構成する全ての基準領域において、彩度Ｓ、明度Ｖ、および色相Ｈに応じた３つのヒストグラムを生成することで、基準領域ごとに、彩度Ｓ、明度Ｖ、および色相Ｈの３つのヒストグラムを生成する。また、判定基準生成機能は、記憶装置３０に記憶されている全てのサンプル画像について同様の処理を行い、全てのサンプル画像の全ての基準領域から、ＨＳＶ成分に応じた３つのヒストグラムを生成する。

そして、判定基準生成機能は、図５に示すように、基準領域のＲ成分、Ｇ成分、およびＢ成分の３つのヒストグラムを、この基準領域の座標位置とともに記憶する。ここで、図５に示す例では、画面の左上の座標位置を原点（０，０）とした二次元画像座標系において、画面の左方向から右方向にＸ軸を、画面の上方向から下方向にＹ軸をとっている。判定基準生成機能は、このような二次元画像座標系において、各基準領域の座標位置を取得し、各基準領域の座標位置を、該基準領域の色情報に基づいて生成した３つのヒストグラムとともに記憶する。たとえば、図５に示す例では、画面の左上の座標位置を原点（０，０）とした二次元画像座標系において、Ｘ座標が１２、Ｙ座標が６の基準領域を例示しており、この場合、判定基準生成機能は、図５に示すように、この基準領域の３つのヒストグラムと、この基準領域の座標位置（１２，６）とを、記憶装置３０に記憶する。なお、原点の座標は画面の左上に限定されず、たとえば画面の左下であってもよい。

また、判定基準生成機能は、消失点が存在する座標位置を原点Ｏ（０，０）として、各基準領域の座標位置を特定する構成としてもよい。このように、消失点が存在する座標位置を原点とした二次元画像座標系において、基準領域の座標位置を求めることで、たとえば、消失点よりも上部の画像領域は検出対象領域（走路）ではないと判断して、検出対象領域の検出対象から除外することができ、これにより、検出対象領域をより高い精度で算出することが可能となる。なお、消失点は、公知の方法により求めればよい。

そして、判定基準生成機能は、複数のサンプル画像の複数の基準領域のうち、上述した二次元画像座標系において、座標位置が共通する基準領域の色情報に基づいて、該座標位置に対応する画像が検出対象領域であるか否かを判定（分類）するための判定基準を生成する。たとえば、判定基準生成機能は、複数のサンプル画像の複数の基準領域から座標位置が共通する複数の基準領域を抽出し、抽出した複数の基準領域のＲ成分、Ｇ成分、Ｂ成分の各ヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈの各ヒストグラム）と、該基準領域のラベル付けの有り無し（すなわち、検出対象領域であるか否か）との関係を、所定のアルゴリズムに基づいて対応付けることで、基準領域の色情報から該基準領域が検出対象領域であるか否かを判定（分類）するための分類木を判定基準として生成することができる。

たとえば、判定基準生成機能は、座標位置が共通する複数の基準領域のＲ成分のヒストグラムに基づいて、該座標位置に対応する画像が検出対象領域であるか否かを判定（分類）するための分類木を生成し、生成した分類木を、該座標位置のＲ成分に対応する判定基準として記憶装置３０に記憶する。同様に、判定基準生成機能は座標位置のＧ成分に対応する判定基準と、座標位置のＧ成分に対応する判定基準とを記憶装置３０に記憶する。

このように、判定基準生成機能は、Ｒ成分、Ｇ成分、Ｂ成分の各ヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈの各ヒストグラム）に基づいて、座標位置ごとに、Ｒ成分、Ｇ成分、Ｂ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）に対応する３つの分類木を、Ｒ成分、Ｇ成分、Ｂ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）に対応する判定基準として生成し、座標位置ごとに生成した判定基準を記憶装置３０に記憶する。

画像処理装置２０の撮像画像取得機能は、カメラ１０が撮像した撮像画像を、カメラ１０から取得する。

画像処理装置２０の色情報抽出機能は、撮像画像取得機能により取得された撮像画像から色情報を抽出する。具体的には、色情報抽出機能は、まず、カメラ１０で撮像された撮像画像を、複数の領域に分割し、分割した複数の領域を判定領域として特定する。たとえば、色情報抽出機能は、図３に示すように、判定基準機能によりサンプル画像を分割した基準領域の分割数と同様に、撮像画像を１１×１５＝１６５個の領域に分割し、これらの領域を判定領域として特定する。

そして、色情報抽出機能は、特定した各判定領域から色情報を抽出する。たとえば、色情報抽出機能は、図３に示すように、判定領域内のＲ画素からＲ成分の画像信号を、Ｇ画素からＧ成分の画像信号を、Ｂ画素からＢ成分の画像信号をそれぞれ抽出し、これにより、図５に示すように、この判定領域内のＲ成分のヒストグラムと、Ｇ成分のヒストグラムと、Ｂ成分のヒストグラムとを生成する。あるいは、色情報抽出機能は、判定領域のＲＧＢ成分をＨＳＶ成分に変換することで、判定領域内のＨ成分（色相）のヒストグラムと、Ｓ成分（彩度）のヒストグラムと、Ｖ成分（明度）のヒストグラムとを生成する。

画像処理装置２０の参照テーブル生成機能は、サンプル画像の座標位置と判定領域の座標位置とを対応付けた参照テーブルの生成を行う。具体的には、参照テーブル生成機能は、撮影範囲が共通する基準領域と判定領域とを特定し、特定した基準領域の座標位置と判定領域の座標位置とを対応付けた参照テーブルを生成する。

ここで、記憶装置３０に記憶されている判定基準は、他車両に搭載されたカメラＡにより撮像されたサンプル画像に基づいて、基準領域ごとに生成されたものである。そのため、他車両に搭載されたカメラＡと、自車両に搭載されたカメラ１０とが、高さ、画角、俯角、撮影方向などの撮影条件が一致している場合には、判定領域と座標位置が共通する基準領域の判定基準を用いて、この判定領域が検出対象領域であるか否かを判定することができる。しかしながら、本実施形態では、他車両に搭載されたカメラＡと、自車両に搭載されたカメラ１０とが、高さ、画角、俯角、撮影方向のうち少なくとも１つの撮影条件が異なるため、判定領域と座標位置が共通する基準領域の判定基準をそのまま用いて、この判定領域が検出対象領域であるか否かを判定する場合には、次のような問題があった。

図７（Ａ）は、他車両に搭載されたカメラＡにより撮像されたサンプル画像の一例を示す図であり、図７（Ｂ）は、本実施形態に係るカメラ１０により撮像された撮像画像の一例を示す図である。たとえば、図７（Ａ）に示すように、カメラＡの撮影条件により、所定の座標位置（ｘｉ，ｙｉ）において、カメラＡからの撮影距離がＬメートルの路面が撮影されるが、図７（Ｂ）に示すように、カメラＡの撮影条件と異なるカメラ１０の撮影条件では、同じ座標位置（ｘｉ，ｙｉ）において、カメラ１０からの撮影距離がＬ’メートル（Ｌ≠Ｌ’）の路面が撮影されてしまう。このように、カメラＡの撮影条件とカメラ１０の撮影条件とが異なる場合には、たとえカメラＡとカメラ１０とが同じ撮影場所で撮影した場合でも、サンプル画像の座標位置（ｘｉ，ｙｉ）で撮像される撮影範囲（各基準領域が撮影する範囲）と、撮像画像の座標位置（ｘｉ，ｙｉ）で撮像される撮像範囲（各判定領域が撮影する範囲）とは異なる。一方、図７に示す例では、サンプル画像の座標位置（ｘｉ，ｙｉ）の撮影範囲と、撮像画像の座標位置（ｘｔ，ｙｔ）の撮影範囲とが共通し、カメラＡとカメラ１０とが同じ撮影場所で撮影した場合に、サンプル画像の座標位置（ｘｉ，ｙｉ）と、撮像画像の座標位置（ｘｔ，ｙｔ）とが同一の被写体を撮影することとなる。

そのため、図８に示すように、カメラＡで撮像したサンプル画像の座標位置（ｘｉ，ｙｉ）での色情報は、カメラ１０で撮像した撮像画像の座標位置（ｘｔ，ｙｔ）での色情報とは類似せず、撮像画像の座標位置（ｘｔ，ｙｔ）での色情報と類似する。このように、カメラＡとカメラ１０との撮影条件が異なる場合には、カメラＡで撮像されたサンプル画像の座標位置（ｘｉ，ｙｉ）の色情報と、カメラ１０で撮像された撮像画像の座標位置（ｘｉ，ｙｉ）の色情報とは異さ、サンプル画像の座標位置（ｘｉ，ｙｉ）で撮像された画像の色情報に基づいて生成された判定基準を、撮像画像の座標位置（ｘｉ，ｙｉ）にそのまま適用してしまうと、検出対象領域の判定精度が低下してしまうこととなる。

そこで、本実施形態では、撮影範囲が共通するサンプル画像の座標位置と撮像画像の座標位置とを特定し、撮影範囲が共通するサンプル画像の座標位置と撮像画像の座標位置とを対応付けた参照テーブルを生成する。たとえば、図７（Ａ），（Ｂ）に示す例では、カメラＡにより撮像されたサンプル画像の座標位置（ｘｉ，ｙｉ）は、カメラ１０で撮像された撮像画像の座標位置（ｘｔ，ｙｔ）と撮影範囲が共通するため、参照テーブル生成機能は、サンプル画像の座標位置（ｘｉ，ｙｉ）と、撮像画像の座標位置（ｘｔ，ｙｔ）とを対応付け、同様に、他のサンプル画像の座標位置においても、撮影範囲が共通する撮像画像の座標位置と対応付けることで、参照テーブルを生成する。

具体的には、参照テーブル生成機能は、たとえば、カメラＡで撮像したサンプル画像と、カメラ１０で撮像した撮像画像とから、チェッカーボード、レーンマーク、道路標示などの既知の像を検出し、これらの像から特徴点を抽出する。そして、サンプル画像から抽出した特徴点の座標位置と、撮像画像から抽出した特徴点の座標位置とに基づいて、ＤＬＴ（Direct Linear Transform）法などにより変換行列を算出し、この変換行列により、カメラＡで撮像したサンプル画像の座標位置と、カメラ１０で撮像したサンプル画像の座標位置とを対応付ける。このように、大きさなどが既知のマーカーを用いることで、カメラＡで撮像したサンプル画像の座標位置と、カメラ１０で撮像したサンプル画像の座標位置とを対応付けることができる。

たとえば、参照テーブル生成機能は、同一のチェッカーボードを撮像したサンプル画像と撮像画像とから、それぞれ４点以上の特徴点を検出する。そして、参照テーブル生成機能は、ＤＬＴ法を用いて、これらの特徴点から３×３の変換行列を算出する。さらに、参照テーブル生成機能は、最適化問題として、射影誤差が所定値以下となるまで変換行列の算出を繰り返し、最終的に、射影誤差が所定値以下となる変換行列を算出する。そして、参照テーブル生成機能は、算出した変換行列を用いて、サンプル画像の座標位置と撮像画像の座標位置との対応関係を特定し、サンプル画像の座標位置と撮像画像の座標位置とを対応付けた参照テーブルを生成する。

また、参照テーブル生成機能は、チェッカーボートの代わりに、大きさが既知の白線や道路標示を用いて、サンプル画像の座標位置と撮像画像の座標位置とを対応付ける構成としてもよい。ここで、図８は、白線を用いた参照テーブルの生成方法の一例を説明するための図であり、図８（Ａ）は、白線を撮像したサンプル画像の一例を示す図であり、図８（Ｂ）は、白線を撮像した撮像画像の一例を示す図である。たとえば、参照テーブル生成機能は、図８（Ａ）に示すように、サンプル画像内で白線を検出し、検出した白線と白線の間の領域を白線間領域として特定する。そして、この白線間領域の４つの頂点を特徴点として検出する。同様に、参照テーブル生成機能は、図８（Ｂ）に示すように、撮像画像内で白線間領域を特定し、白線間領域の４つの頂点を特徴点として検出する。そして、参照テーブル生成機能は、サンプル画像内で検出した４つの特徴点と、撮像画像内で検出した４つの特徴点とから変換行列を算出し、算出した変換行列に基づいて、サンプル画像の座標位置と撮像画像の座標位置とを対応付けた参照テーブルを生成する。同様に、参照テーブル生成機能は、道路の路面に描画された道路標示から所定の特徴点を抽出することで、サンプル画像の座標位置と撮像画像の座標位置とを対応付けた参照テーブルを生成することができる。

画像処理装置２０の対象領域判定機能は、判定基準生成機能により生成された判定基準を用いて、撮像画像を構成する各判定領域が検出対象領域（走路）であるか否かを判定する。ここで、上述したように、判定基準生成機能により生成された判定基準は、検出対象領域をラベル付けした複数のサンプル画像に基づいて、画像の色情報の特徴と、検出対象領域あるいは非検出対象領域との関係を、座標位置ごとに学習させた分類木である。そのため、対象領域判定機能は、判定領域に対応する判定基準を用いることで、判定領域の色情報の特徴から、該判定領域が検出対象領域であるか否かを判定（分類）することができる。

具体的には、対象領域判定機能は、まず、参照テーブル生成機能により生成された参照テーブルに基づいて、判定領域と共通の撮像範囲を撮像する基準領域を特定し、この基準領域の色情報に基づいて生成された判定基準（以下、判定領域に対応する判定基準という。）を、記憶装置３０から読み出す。

そして、対象領域判定機能は、判定領域に対応する判定基準を用いて、色情報抽出機能により抽出された判定領域の色情報から、この判定領域が検出対象領域であるか否かを判定する。たとえば、図７（Ａ）に示すサンプル画像の座標位置（ｘｉ，ｙｉ）の基準領域と、図７（Ｂ）に示す撮像画素の座標位置（ｘｔ，ｙｔ）の判定領域とは撮像範囲が共通しており、対象領域判定機能は、参照テーブルを参照して、座標位置（ｘｉ，ｙｉ）の基準領域の色情報に基づいて生成された判定基準を用いて、座標位置（ｘｔ，ｙｔ）の判定領域が検出対象領域であるか否かを判定する。

より具体的には、対象領域判定機能は、判定領域に対応するＲ成分の判定基準に基づいて、この判定領域のＲ成分のヒストグラムの特徴から、この判定領域が検出対象領域あるいは非検出対象領域のいずれかであるかを判定（分類）する。また、同様に、対象領域判定機能は、判定領域に対応するＧ成分の判定基準に基づいて、この判定領域のＧ成分のヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定し、また、判定領域に対応するＢ成分の判定基準に基づいて、この判定領域のＢ成分のヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定する。これにより、対象領域判定機能は、この判定領域が検出対象領域であるか否かの判定結果を３つ得ることができる。

また、判定基準生成機能により彩度Ｓ、明度Ｖ、および色相Ｈの色情報に基づいて判定基準が生成されている場合には、対象領域判定機能は、色情報抽出機能により抽出された判定領域の彩度Ｓ、明度Ｖ、および色相Ｈのヒストグラムから、判定領域が検出対象領域であるか否かを判定する。たとえば、対象領域判定機能は、判定領域に対応する彩度Ｓの判定基準を用いて、この判定領域の彩度Ｓのヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定する。同様に、対象領域判定機能は、判定領域に対応する明度Ｖの判定基準を用いて、この判定領域の明度Ｖのヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定し、また、判定領域に対応する色相Ｈの判定基準を用いて、この判定領域の色相Ｈのヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定する。この場合も、対象領域判定機能は、３つの判定結果を得ることができる。

そして、対象領域判定機能は、取得した３つの判定結果に基づいて、この判定領域が検出対象領域であるか否かを判定する。すなわち、対象領域判定機能は、この３つの判定結果において、判定領域が検出対象領域であるとの判定結果が多い場合には、この判定領域は検出対象領域であると判定し、判定領域が検出対象領域ではないとの判定結果が多い場合には、この判定領域は検出対象領域ではないと判定する。

さらに、対象領域判定機能は、撮像画像を構成する全ての判定領域について同様の処理を行い、各判定領域が検出対象領域であるか否かを判定する。これにより、対象領域判定機能は、撮像画像から検出対象領域を検出することができる。

続いて、図１０を参照して、本実施形態に係る判定基準生成処理について説明する。図１０は、本実施形態に係る判定基準生成処理を示すフローチャートである。なお、以下に説明する判定基準生成処理は、画像処理装置２０の判定基準生成機能により実行される。

まず、ステップＳ１０１では、記憶装置３０に記憶されている複数のサンプル画像のうち、判定基準の生成が行われていないサンプル画像の取得が行われる。そして、ステップＳ１０２では、図２に示すように、ステップＳ１０１で取得されたサンプル画像が複数の基準領域に分割される。たとえば、図２に示す例では、１１×１５＝１６５の基準領域に分割される。

ステップＳ１０３〜Ｓ１０６では、ステップＳ１０２で分割された複数の基準領域のそれぞれについて、ステップＳ１０３〜Ｓ１０６の処理が行われる。まず、ステップＳ１０３では、ステップＳ１０３〜Ｓ１０６の処理が行われていない基準領域が取得される。

そして、ステップＳ１０４では、ステップＳ１０３で取得された基準領域から色情報の抽出が行われる。具体的には、判定基準生成機能は、図４に示すように、基準領域内のＲ画素、Ｇ画素、およびＢ画素から、Ｒ成分、Ｇ成分、およびＢ成分をそれぞれ抽出し、抽出した画素領域内のＲ成分、Ｇ成分、Ｂ成分の分布をヒストグラムとして生成する。また、基準領域のＲＧＢ成分をＨＳＶ成分に変換することで、Ｒ成分、Ｇ成分、Ｂ成分のヒストグラムに代えて、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラムを生成する構成としてもよい。

ステップＳ１０５では、ステップＳ１０４で色情報の抽出が行われた基準領域について、基準領域の座標位置の取得が行われる。たとえば、図６に示す例では、判定基準生成機能は、画面左上の座標位置を原点（０，０）とした二次元画像座標系において、基準領域の座標位置を（１２，６）として取得する。また、判定基準生成機能は、消失点を検出し、検出された消失点が存在する座標位置を原点とした二次元画像座標系において、基準領域の座標位置を取得する構成としてもよい。

ステップＳ１０６では、ステップＳ１０３で抽出された基準領域の色情報、すなわち、基準領域内のＲ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）と、ステップＳ１０４で取得した基準領域の座標位置とが、記憶装置３０に記憶される。

そして、ステップＳ１０７では、ステップＳ１０２で分割された全ての基準領域について、ステップＳ１０３〜Ｓ１０６の処理が実施されたか否かの判断が行われる。ステップＳ１０２で分割された全ての基準領域について、ステップＳ１０３〜Ｓ１０６の処理が実施された場合には、ステップＳ１０８に進み、一方、ステップＳ１０２で分割された全ての基準領域について、ステップＳ１０３〜Ｓ１０６の処理が実施されていない場合には、ステップＳ１０３に戻り、ステップＳ１０３〜Ｓ１０６の処理が実施されていない基準領域について、ステップＳ１０３〜Ｓ１０６の処理が実施される。これにより、サンプル画像を分割した全ての基準領域について、Ｒ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）と、座標位置とが得られることとなる。

ステップＳ１０８では、ステップＳ１０１で取得された全てのサンプル画像について、ステップＳ１０２〜Ｓ１０７の処理が実施されたか否かの判断が行われる。ステップＳ１０１で取得された全てのサンプル画像について、ステップＳ１０２〜Ｓ１０７の処理が実施された場合には、ステップＳ１０９に進む。一方、ステップＳ１０１で取得された全てのサンプル画像について、ステップＳ１０２〜Ｓ１０７の処理が実施されていない場合には、ステップＳ１０１に戻り、ステップＳ１０２〜Ｓ１０７の処理が実施されていないサンプル画像について、ステップＳ１０２〜Ｓ１０７の処理が実施される。これにより、記憶装置３０に記憶されている全てのサンプル画像の全ての基準領域について、Ｒ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）と、座標位置とが得られることとなる。

ステップＳ１０９では、全てのサンプル画像の全ての基準領域についてのＲ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）と、座標位置とが、記憶装置３０から読み出される。そして、読み出した複数の基準領域のうち、二次元画像座標系において座標位置が共通する基準領域の色情報に基づいて、この座標位置における画像が検出対象領域であるか否かを判定（分類）するための分類木の生成が行われる。

具体的には、判定基準生成機能は、読み出した複数の基準領域のうち、二次元画像座標系において座標位置が共通する基準領域のＲ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）から、Ｒ成分、Ｇ成分、Ｂ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）に対応する分類木をそれぞれ生成する。すなわち、判定基準生成機能は、所定のアルゴリズムに基づいて、基準領域のＲ成分、Ｇ成分、Ｂ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）ごとに、各成分がどのような分布であれば、検出対象領域であると判定（分類）することができ、あるいは、検出対象領域ではないと判定（分類）することができるかを学習させることで、座標位置ごとに、画像が検出対象領域であるか否かを判定（分類）するための分類木を生成する。このように、本実施形態では、座標位置ごとに、Ｒ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）に基づく３つの分類木を生成する。

そして、判定基準生成機能は、座標位置ごとに生成した３つの分類木を、各座標位置に対応する判定基準として、記憶装置３０に記憶する。このように、本実施形態では、検出対象領域を判定するための判定基準の生成が行われる。

次に、図１１を参照して、本実施形態に係る参照テーブル生成処理について説明する。参照テーブル生成処理は、他車両のカメラＡにより撮像されたサンプル画像と、自車両のカメラ１０により撮像された撮像画像との対応関係を示す参照テーブルを生成する処理である。図１１は、本実施形態に係る参照テーブル生成処理を示すフローチャートである。なお、以下に説明する参照テーブル生成処理は、所定のタイミングで行ってもよいし、あるいは、本実施形態に係る対象領域検出処理を初めて実行する前に一度だけ実行してもよい。

まず、ステップＳ２０１では、画像処理装置２０の参照テーブル生成機能により、他車両のカメラＡにより撮像されたサンプル画像の取得が行われる。本実施形態では、他車両のカメラＡにより撮像されたサンプル画像が予め記憶装置３０に記憶されており、参照テーブル生成機能は、カメラＡにより撮像されたサンプル画像を記憶装置３０から取得することができる。

ステップＳ２０２では、画像処理装置２０の参照テーブル生成機能により、ステップＳ２０１で取得されたサンプル画像から特徴点の検出が行われる。たとえば、参照テーブル生成機能は、サンプル画像に撮像されたチェッカーボード、レーンマーク（白線または黄色の線）、道路標示などから特徴点を抽出することができる。

ステップＳ２０３では、画像処理装置２０の撮像画像取得機能により、自車両のカメラ１０により撮像された撮像画像の取得が行われる。そして、ステップＳ２０４では、ステップＳ２０３で取得された撮像画像から特徴点の抽出が行われる。すなわち、ステップＳ２０４では、ステップＳ２０２と同様に、たとえば、撮像画像に撮像されたチェッカーボード、レーンマーク（白線または黄色の線）、道路標示などから特徴点を抽出することができる。

そして、ステップＳ２０５では、画像処理装置２０の参照テーブル生成機能により、ステップＳ２０２で抽出されたサンプル画像の特徴点と、ステップＳ２０４で抽出された撮像画像の特徴点とに基づいて、射影変換（たとえばＤＬＴ法）による変換行列の算出が行われる。そして、ステップＳ２０６では、算出した変換行列を用いて、サンプル画像の座標位置と、撮像画像の座標位置との対応関係が特定され、これにより、参照テーブルが生成される。

なお、ステップＳ２０４では、ステップＳ２０２においてチェッカーボードの像から特徴点が抽出された場合には、同一のチェッカーボードの像から特徴点を抽出し、同様に、ステップＳ２０２において、レーンマークの像から特徴点が抽出された場合にはレーンマークの像から特徴点を、道路標示の像から特徴点が抽出された場合には道路標示の像から特徴点をそれぞれ抽出する。これらの被写体は、撮像場所にかかわらず大きさが一定であるため、異なる撮影場所でサンプル画像および撮像画像を撮影した場合でも、サンプル画像の座標位置と、撮像画像の座標位置との対応関係を特定することができる。

また、上述した参照テーブルの生成方法は一例であり、参照テーブル生成機能は、他の方法で参照テーブルを生成することもできる。たとえば、参照テーブル生成機能は、カメラＡの高さ、画角、俯角などの撮影条件に基づいて各基準領域が撮像する撮影範囲を算出するとともに、カメラ１０の高さ、画角、俯角などの撮影条件とに基づいて各判定領域が撮像する撮影範囲を算出することで、サンプル画像の座標位置と撮像画像の座標位置との対応関係を特定し、これにより、参照テーブルを生成する構成とすることができる。なお、カメラＡの撮影条件およびカメラ１０の撮影条件は予め記憶装置３０に記憶されており、参照テーブル生成機能は、カメラＡの撮影条件およびカメラ１０の撮影条件を記憶装置３０から取得することができる。

続いて、図１２を参照して、本実施形態に係る対象領域検出処理について説明する。図１２は、本実施形態に係る対象領域検出処理を示すフローチャートである。なお、以下に説明する対象領域検出処理は、画像処理装置２０により実行される。

まず、ステップＳ３０１では、画像処理装置２０の撮像画像取得機能により、カメラ１０で撮像された撮像画像の取得が行われる。そして、ステップＳ３０２では、画像処理装置２０の色情報抽出機能により、ステップＳ３０１で取得された撮像画像が複数の判定領域に分割される。たとえば、本実施形態では、サンプル画像を１１×１５＝１６５個の基準領域に分割しているため、色情報抽出機能は、撮像画像も１１×１５＝１６５個の判定領域に分割する。

次いで、ステップＳ３０２で分割された複数の判定領域のそれぞれについて、ステップＳ３０３〜Ｓ３０６の処理が行われる。具体的には、ステップＳ３０３では、まず、色情報抽出機能により、ステップＳ３０２で分割された判定領域から色情報の抽出が行われる。具体的には、色情報抽出機能は、判定領域からＲ成分、Ｇ成分、およびＢ成分をそれぞれ抽出し、抽出したＲ成分、Ｇ成分、およびＢ成分に基づいて、Ｒ成分、Ｇ成分、およびＢ成分のそれぞれに対応する３つのヒストグラムを生成する。また、図６に示す判定基準生成処理において、彩度Ｓ、明度Ｖ、および色相Ｈに基づいて判定基準が生成されている場合には、抽出した判定領域のＲ成分、Ｇ成分、およびＢ成分から、判定領域内の彩度Ｓ、明度Ｖ、および色相Ｈを算出し、算出した彩度Ｓ、明度Ｖ、および色相Ｈに基づいて、彩度Ｓ、明度Ｖ、および色相Ｈのそれぞれに対応する３つのヒストグラムを生成する。

ステップＳ３０４では、画像処理装置２０の色情報抽出機能により、ステップＳ３０３において色情報が抽出された判定領域の座標位置が取得される。なお、色情報抽出機能は、判定基準生成処理における二次元画像座標系と共通する座標系において、判定領域の座標位置を取得する。すなわち、判定基準生成処理において、画面左上の座標位置を原点とした二次元画像座標系により基準領域の座標位置を特定している場合には、判定領域の座標位置についても、画面左上の座標位置を原点とした二次元画像座標系により特定される。あるいは、判定基準生成処理において、消失点が存在する座標位置を原点とした二次元画像座標系により基準領域の座標位置を特定している場合には、判定領域の座標位置についても、消失点が存在する座標位置を原点とした二次元画像座標系により特定される。

ステップＳ３０５では、画像処理装置２０の対象領域判定機能により、記憶装置３０に記憶されている参照テーブルを参照し、記憶装置３０に記憶されている判定基準の中から、この判定領域と撮影範囲が共通する判定基準の読み出しが行われる。すなわち、参照テーブルには、撮像範囲が共通するサンプル画像の座標位置と撮像画像の座標位置との対応関係が定められており、対象領域判定機能は、この参照テーブルに基づいて、判定領域と撮影範囲が共通する基準領域を特定することができ、これにより、判定領域と撮影範囲が共通する基準領域に基づいて生成された判定基準を、この判定領域に対応する判定基準として読み出すことができる。

そして、ステップＳ３０６では、対象領域判定機能により、ステップＳ３０５で読み出された判定基準を用いて、判定領域が検出対象領域であるか否かの判定が行われる。ここで、本実施形態に係る判定基準は、検出対象領域をラベル付けした複数のサンプル画像を用いて、画像の色情報がどのような特徴である場合に検出対象領域であり、あるいは、検出対象領域ではないかを学習させたものである。そのため、対象領域判定機能は、判定領域に対応する判定基準を用いて、色情報抽出機能により抽出された判定領域の色情報の特徴から、判定領域が検出対象領域であるか否かを判定することができる。

次いで、ステップＳ３０７では、ステップＳ３０２で分割された全ての判定領域について、ステップＳ３０３〜Ｓ３０６の処理が実施されたか否かの判断が行われる。ステップＳ３０２で分割された全ての判定領域について、ステップＳ３０３〜Ｓ３０６の処理が実施された場合には、この対象領域検出処理を終了して、ステップＳ３０１に戻り、次フレームの撮像画像について、対象領域検出処理を実行する。一方、ステップＳ３０２で分割された全ての判定領域について、ステップＳ３０３〜Ｓ３０６の処理が実施されていない場合には、ステップＳ３０３に戻り、ステップＳ３０３〜Ｓ３０６の処理が実施されていない判定領域について、ステップＳ３０３〜Ｓ３０６の処理が実施される。これにより、撮像画像を構成する全ての判定領域について、検出対象領域であるか否かの判定が行われ、その結果、撮像画像から検出対象領域を検出することができる。

以上のように、本実施形態では、走路などの検出対象領域をラベル付けしたサンプル画像を複数の基準領域に分割し、分割した各基準領域から色情報を抽出し、座標位置が共通する基準領域の色情報に基づいて、画像の色情報がどのような特徴である場合に、画像を検出対象領域であると判定（分類）することができ、あるいは、検出対象領域ではないと判定（分類）することができるかを、座標位置ごとに学習させ、この学習結果を、この座標位置に対応する画像が検出対象領域であるか否かを判定するための判定基準として生成する。そして、カメラ１０で撮像した撮像画像を複数の判定領域に分割し、分割した判定領域から色情報を抽出し、この判定領域に対応する判定基準を用いて、この判定領域の色情報の特徴から、この判定領域が検出対象領域であるか否かを判定する。このように、本実施形態では、判定領域の色情報に加えて判定領域の座標位置も加味して、この判定領域が検出対象領域（走路）であるか否かを判定することで、たとえば、検出対象領域である走路と色が似ている建物（ビル）など、色情報だけでは走路として誤検出される被写体が多く撮像され座標位置の判定領域においても、このような判定領域を検出対象領域として誤検出してしまうことを有効に防止することができ、その結果、検出対象領域の検出精度を向上させることができる。

さらに、本実施形態では、サンプル画像を撮像するカメラＡの撮影条件と、撮像画像を撮像するカメラ１０の撮影条件とが異なるために、サンプル画像の座標位置と撮像画像の座標位置との対応関係を示す参照テーブルを生成し、この参照テーブルに基づいて、判定領域の座標位置に対応する基準領域を特定し、この基準領域の色情報に基づいて生成された判定基準を用いて、この判定領域が検出対象領域であるか否かを判定する。ここで、図８に示すように、カメラＡとカメラ１０との撮影条件が異なる場合には、カメラＡで撮像されたサンプル画像の座標位置（ｘｉ，ｙｉ）の色情報と、カメラ１０で撮像された撮像画像の座標位置（ｘｉ，ｙｉ）の色情報とは異なり、サンプル画像の座標位置（ｘｉ，ｙｉ）で撮像された画像の色情報に基づいて生成した判定基準を、撮像画像の座標位置（ｘｉ，ｙｉ）にそのまま適用してしまうと、検出対象領域の判定精度が低下してしまうこととなる。このような場合でも、本実施形態では、撮影範囲が共通するサンプル画像の座標位置と、撮像画像の座標位置との対応関係を予め参照テーブルとして生成することで、判定領域の座標位置に対応する基準領域の色情報に基づいて生成された判定基準を用いて、この判定領域が検出対処領域であるか否かの判定を行うことができるため、判定領域が検出対象領域であるか否かを適切に判定することができる。

特に、従来では、カメラＡとカメラ１０との撮影条件が異なる場合には、カメラＡで撮像したサンプル画像に基づく判定基準を、カメラ１０で撮像した撮像画像に用いることができず、そのため、再度、カメラ１０で撮像した複数の撮像画像のについて検出対象領域をラベル付けし、ラベル付した撮像画像の色情報から、画像の色情報がどのような特徴の場合に、画像が検出対象領域であるか否かを学習させる必要があるが、本実施形態では、カメラＡで撮像したサンプル画像に基づく判定基準を用いて、カメラ１０で撮像した撮像画像から検出対象領域を検出することができるため、再度、カメラ１０で撮像した複数の撮像画像のそれぞれについて検出対象領域をラベル付けし、ラベル付した撮像画像の色情報に基づいて学習を行わせる手間を省くことができる。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

たとえば、上述した実施形態に加えて、カメラ１０から所定距離以上の撮影範囲を撮像する判定領域を、検出対象領域であるか否かを判定する判定領域から除外する構成とすることができる。たとえば、画像処理装置２０の対象領域判定機能は、図１３に示すように、カメラ１０の高さ、画角、俯角などから各判定領域が撮像する撮影範囲の撮影距離Ｌ１を算出し、この撮影距離Ｌ１を超える撮影範囲を撮像する判定領域を、検出対象領域であるか否かを判定する判定領域から除外する構成とすることができる。また、対象領域判定機能は、図１３に示すように、カメラ１０の高さ、画角、俯角などから、判定領域から該判定領域が撮影する撮影範囲とを結ぶ光線と、光軸との角度がθ１よりも小さくなる判定領域を算出し、算出した判定領域を、検出対象領域であるか否かを判定する判定領域から除外する構成とすることができる。撮影距離がＬ１以上であり、俯角がθ１よりも小さい撮影範囲を撮像する判定領域では、路面に反射した光が撮像素子に入射し易く、輝度が高くなるために、判定領域が白くなってしまい、このような判定領域が検出対象領域であるか否かを適切に検出することができない。そこで、このような判定領域を検出対象領域の検出対象から除外することで、検出対象領域の検出精度を向上させることができる。

また、同様に、魚眼レンズなどの歪みが生じるレンズを用いる場合も、ゆがみが生じる判定領域を検出対象領域の検出対象から除外することで、検出対象領域の検出精度を向上させることができる。さらに、本実施形態のように、自車両が走行する路面を検出対処領域として検出する場合には、水平線よりも上方を撮影する判定領域を、検出対処領域の検出対象から除外する構成としてもよい。また同様に、消失点を検出し、消失点よりも上方を撮影する判定領域を、検出対処領域の検出対象から除外する構成としてもよい。

さらに、上述した実施形態では、二次元画像座標系において、サンプル画像の座標位置（ＸＹ座標位置）と、撮像画像の座標位置（ＸＹ座標位置）との対応関係を示す参照テーブルを生成する構成を例示したが、この構成に限定されず、たとえば、二次元画像座標系におけるサンプル画像のＹ座標位置と、撮像画像のＹ座標位置との対応関係を示す参照テーブルを生成する構成としてもよい。たとえば、サンプル画像の各座標位置の基準領域から色情報のヒストグラムを生成し、複数のサンプル画像から取得した複数の基準領域のうち、Ｙ座標位置が共通する基準領域の色情報に基づいて、判定基準をＹ座標位置ごとに生成する。そして、参照テーブルを参照して、判定領域のＹ座標位置に対応する判定基準を読み出し、判定領域のＹ座標位置に対応する判定基準を用いて、この判定領域が検出対象領域否かを判定することができる。たとえば、本実施形態のように、検出対象領域として道路の路面を撮影する場合に、判定領域のＹ座標位置が異なれば、カメラから判定領域で撮像される路面までの撮影距離が異なるため、Ｘ座標位置と比べて、各判定領域で撮影される画像の色情報のヒストグラムが変化する度合が高くなる。そのため、少なくとも判定領域のＹ座標位置に対応する判定基準を用いて、この判定領域が検出対象領域である否かを判定することで、検出対象領域の判定精度を高くすることができる。

また、上述した実施形態では、基準領域および判定領域の色情報として、ＲＧＢ成分またはＨＳＶ成分を抽出する構成を例示したが、この構成に限定されず、たとえば、基準領域および判定領域の色情報として、基準領域および判定領域の輝度勾配を抽出する構成としてもよい。

さらに、上述した実施形態では、進行方向前方を撮像するカメラＡで撮像したサンプル画像と、同じく進行方向前方を撮像するカメラ１０で撮像した撮像画像との対応関係を求めることで、サンプル画像の判定基準を撮像画像に適用する構成を例示したが、たとえば、サンプル画像が進行方向前方を撮像したものであり、撮像画像が自車両の車幅方向を撮像したものであっても、サンプル画像に基づいて得られた判定基準を用いて、撮像画像から検出対象領域を検出することができる。

この場合、車両進行方向を撮像するサンプル画像では、車両進行方向がＹ軸方向となるのに対して、車幅方向を撮像する撮像画像では、車幅方向がＹ軸方向となるが、撮像画像を９０°回転させることで、サンプル画像と撮像画像との対応関係を求めることができる。また、上述したように、二次元画像座標系において、サンプル画像のＹ座標位置と撮像画像のＹ座標位置との対応関係を示す参照テーブルを参照して、判定領域のＹ座標位置に対応する判定基準を読み出し、判定領域のＹ座標位置に対応する判定基準を用いて、この判定領域が検出対象領域である否かを判定することで、サンプル画像と撮像画像とで撮影距離が違う場合でも、判定領域が検出対象領域である否かを適切に判定することができる。なお、この場合、車両進行方向を撮像するサンプル画像では、車両進行方向がＹ軸方向となるのに対して、車幅方向を撮像する撮像画像では、車幅方向がＹ軸方向となるため、基準領域および判定領域の色情報として輝度勾配は用いることができず、基準領域および判定領域の色情報としてＲＧＢ成分またはＨＳＶ成分を用いて、検出対処領域の判定を行うことが好適である。

また、上述した実施形態では、基準領域および判定領域の色情報として、ＲＧＢ成分またはＨＳＶ成分を抽出する構成を例示したが、この構成に限定されず、たとえば、ＲＧＢ成分およびＨＳＶ成分の両方を抽出して、抽出したＲＧＢ成分およびＨＳＶ成分に対応する判定基準を生成する構成としてもよい。

すなわち、ＨＳＶ成分の色情報を用いた検出対象領域の判定の方が判定精度は高いが、ＲＧＢ成分の色情報を用いた検出対象領域の判定の方が処理速度は速い。そのため、たとえば、自車両が高速で走行している場合など、撮像画像を短いフレームレートで撮像する場合には、ＲＧＢ成分の色情報を用いて検出対象領域の判定を行い、一方、渋滞などにより撮像画像を長いフレームレートで撮像することができる場合には、ＨＳＶ成分の色情報を用いて検出対象領域の判定を行うなど、ＨＳＶ成分の色情報を用いた検出対象領域の判定と、ＲＧＢ成分の色情報を用いた検出対象領域の判定とを切り替えることが好適である。

さらに、上述した実施形態では、基準領域および判定領域において、Ｒ成分、Ｇ成分、Ｂ成分に対応する３つのヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈに対応する３つのヒストグラム）をそれぞれ生成する構成を例示したが、この構成に限定されず、たとえば、以下に説明するように、基準領域および判定領域において生成されるヒストグラムの数を増やす構成としてもよい。すなわち、基準領域および判定領域をさらに４つの領域に分割し、これらの領域ごとに、Ｒ成分、Ｇ成分、Ｂ成分に対応する３つのヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈに対応する３つのヒストグラム）を生成することで、基準領域および判定領域から、Ｒ成分、Ｇ成分、Ｂ成分についてのヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈについてのヒストグラム）を、３×４＝１２ずつ生成する構成とすることができる。すなわち、基準領域および判定領域をそれぞれ４つの領域に分割することで、Ｒ成分に対応する４つのヒストグラムと、Ｇ成分に対応する４つのヒストグラムと、Ｂ成分に対応する４つのヒストグラムとを生成することができ、これにより、基準領域および判定領域において、１２のヒストグラムを生成することができる（彩度Ｓ、明度Ｖ、色相Ｈについてのヒストグラムも同様。）。この場合、座標位置ごとに１２の分類木を判定基準として得ることができるため、このような判定基準を用いて判定領域が検出対象領域であるか否かを判定することで、検出対象領域の判定精度を向上させることができる。

また、上述した実施形態では、基準領域および判定領域の色情報としてＲＧＢ成分またはＨＳＶ成分を抽出し、ＲＧＢ成分またはＨＳＶ成分に基づいて３つのヒストグラムを生成することで、３本の分類木を判定基準として生成する構成を例示したが、この構成に限定されず、たとえば、ＲＧＢ成分およびＨＳＶ成分を抽出し、ＲＧＢ成分およびＨＳＶ成分に基づいて６つのヒストグラムを生成することで、６本の分類木を判定基準として生成する構成としてもよい。さらに、上述したように、基準領域および判定領域の色情報として輝度勾配を抽出し、ＲＧＢ成分および／またはＨＳＶ成分と組み合わせる構成としてもよい。

さらに、上述した実施形態では、撮像画像を複数の判定領域に分割する際に、判定領域の分割数を、サンプル画像を分割した基準領域の分割数と同数とする構成を例示したが、この構成に限定されず、判定領域の分割数と基準領域の分割数とを異なる数にする構成としてもよい。このような場合も、基準領域の座標位置と判定領域の座標位置とを対応付けておくことで、判定領域に対応する判定基準を用いて、この判定領域が検出対象領域であるか否かを判定することができる。

また、上述した実施形態では、撮影範囲が共通する基準領域の座標位置と判定領域の座標位置との対応関係を示す参照テーブルを生成する構成を例示したが、この構成に限定されず、たとえば、各判定領域の座標位置と、該判定領域と撮影範囲が共通する基準領域の色情報に基づいて生成された判定基準との対応関係を示す参照テーブルを生成する構成としてもよい。この場合、判定領域の座標位置に基づいて、該判定領域に対応する判定基準を特定することができるため、該判定領域が検出対象領域であるか否かを適切に判定することができる。

なお、上述した実施形態の画像処理装置２０の撮像画像取得機能は本発明の撮像画像取得手段に、色情報抽出機能は本発明の抽出手段に、対象領域判定機能は本発明の参照テーブル取得手段、判定基準取得手段、および判定手段に、それぞれ対応する。

１…画像処理システム
１０…カメラ
２０…画像処理装置
３０…記憶装置

Claims (8)

1. 第１撮像装置により撮像された画像であり、かつ、検出対象領域が識別された画像である複数の基準画像をそれぞれ複数の基準領域に分割し、画像の左右方向をＸ座標とし、画像の上下方向をＹ座標としたＸＹ座標系で特定可能な前記基準領域から色情報を抽出し、Ｙ座標位置が共通する前記基準領域の色情報の特徴に基づいて、前記検出対象領域であるか否かを判定するために、Ｙ座標位置が共通する前記基準領域ごとに定義された判定基準を取得する判定基準取得手段と、
   前記第１撮像装置により撮像された前記基準画像の４点以上の特徴点と、前記第１撮影装置と撮影条件の異なる第２撮像装置により撮像された撮像画像の４点以上の特徴点とに基づいて、前記基準画像のＹ座標位置と、前記撮像画像のＹ座標位置との対応関係を定義した参照テーブルを取得する参照テーブル取得手段と、
   前記第２撮像装置により撮像された撮像画像を取得する撮像画像取得手段と、
   前記撮像画像を複数の判定領域に分割し、前記判定領域から色情報を抽出する抽出手段と、
   前記参照テーブルに基づいて、前記判定領域のＹ座標位置に対応する前記基準領域を特定し、該判定領域の前記判定基準を用いて、前記判定領域の色情報に基づいて、該判定領域が前記検出対象領域であるか否かを判定する判定手段と、を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記参照テーブル取得手段は、前記第１撮像装置でチェッカーボード、レーンマーク、または道路標示を撮像することで、前記第１撮像装置により撮像されたチェッカーボード、レーンマーク、または道路標示の像から前記基準画像の特徴点を抽出するとともに、前記第２撮像装置でチェッカーボード、レーンマーク、または道路標示を撮像することで、前記第２撮像装置により撮像されたチェッカーボード、レーンマーク、または道路標示の像から前記基準画像の特徴点を抽出することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記判定基準取得手段は、前記基準領域のＲＧＢ画像信号の分布、ＨＳＶ画像信号の分布、または輝度勾配を、前記基準領域の色情報の特徴として求めることで、前記Ｙ座標位置が共通する基準領域のＲＧＢ画像信号の分布、ＨＳＶ画像信号の分布、または輝度勾配から該Ｙ座標位置に対応する前記判定基準を定義し、
   前記判定手段は、ＲＧＢ画像信号の分布、ＨＳＶ画像信号の分布、または輝度勾配に基づいて定義された前記判定基準を用いて、前記判定領域内のＲＧＢ画像信号の分布、ＨＳＶ画像信号の分布、または輝度勾配に基づいて、前記判定領域が前記検出対象領域であるか否かを判定することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記判定手段は、前記第１撮像装置が撮像する方向と前記第２撮像装置が撮像する方向とが異なる場合には、輝度勾配に基づいて定義される前記判定基準を用いずに、ＲＧＢ画像信号の分布またはＨＳＶ画像信号の分布に基づいて定義された前記判定基準を用いて、前記判定領域内のＲＧＢ画像信号の分布またはＨＳＶ画像信号の分布に基づいて、前記判定領域が前記検出対象領域であるか否かを判定することを特徴とする画像処理装置。
5. 請求項１〜４のいずれかに記載の画像処理装置であって、
   前記判定基準取得手段は、前記二次元画像座標系のＸＹ座標位置が共通する前記基準領域の色情報の特徴から該ＸＹ座標位置に対応する画像が前記検出対象領域であるか否かを判定するための判定基準を定義することで、ＸＹ座標位置ごとに前記判定基準を取得し、
   前記参照テーブル取得手段は、前記基準画像のＸＹ座標位置と前記撮像画像のＸＹ座標位置との対応関係を定義した参照テーブルを取得し、
   前記判定手段は、前記参照テーブルに基づいて、前記判定領域とＸＹ座標位置が共通する基準領域を特定し、該基準領域の前記判定基準を用いて、前記判定領域の色情報に基づいて、該判定領域が前記検出対象領域であるか否かを判定することを特徴とする画像処理装置。
6. 請求項１〜５のいずれかに記載の画像処理装置であって、
   前記判定手段は、前記複数の判定領域のうち、前記第２撮像装置からの撮影距離が所定距離以上となる前記判定領域を、前記検出対象領域の検出対象から除外することを特徴とする画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置であって、
   前記判定手段は、レンズの特性により被写体の像が所定値以上歪む画像領域を除外領域として特定し、前記複数の判定領域のうち、前記除外領域に対応する前記判定領域を前記検出対象領域の検出対象から除外することを特徴とする画像処理装置。
8. 第１撮像装置により撮像された画像であり、かつ、検出対象領域が識別された画像である基準画像を複数の基準領域に分割し、画面の左右方向をＸ座標とし、画面の上下方向をＹ座標としたＸＹ座標系で特定可能な前記基準領域から色情報を抽出し、Ｙ座標位置が共通する前記基準領域の色情報の特徴に基づいて、Ｙ座標位置ごとに定義された前記判定基準を取得する判定基準取得工程と、
   前記第１撮像装置により撮像された前記基準画像の特徴点と、前記第１撮像装置と撮影条件の異なる第２撮像装置により撮像された撮像画像内の特徴点とに基づいて、前記基準画像のＹ座標位置と、前記撮像画像のＹ座標位置との対応関係を定義した参照テーブルを取得する参照テーブル取得工程と、
   前記第２撮像装置により撮像された撮像画像を取得し、前記撮像画像を複数の判定領域に分割し、前記判定領域から色情報を抽出し、前記参照テーブルに基づいて、前記判定領域のＹ座標位置に対応する基準領域を特定し、該基準領域の前記判定基準を用いて、前記判定領域の色情報に基づいて、該判定領域が前記検出対象領域であるか否かを判定する対象領域検出工程と、を有することを特徴とする画像処理方法。

Images