JP2008077154A - 車両周辺監視装置 - Google Patents

Abstract

【課題】画像から抽出された対象物が人工構造物であるか否かを、効率的かつ精度良く判定することができる車両周辺監視装置を提供する。
【解決手段】車両１０に搭載された撮像手段２Ｒ，２Ｌ，２´によって得られる画像から対象物を抽出する（ＳＴＥＰ２００）対象物抽出手段と、該対象物が人工構造物であるか否かを判定する人工構造物判定手段とを備えて、車両の周辺に存在する物体を監視する車両周辺監視装置であって、前記画像から道路領域を識別する（ＳＴＥＰ１００）道路領域識別手段を備え、前記人工構造物判定手段は、人工構造物であるか否かの判定を、前記道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて行い、該道路領域外で対象物が抽出された場合には該第１の人工構造物判定条件と異なる第２の人工構造物判定条件に基づいて行う（ＳＴＥＰ５００）。
【選択図】図３

Description

本発明は、車両の走行に影響を与える対象物を監視する車両周辺監視装置に関する。

従来、この種の車両周辺監視装置としては、赤外線カメラにより捉えられた車両周辺の画像から、車両との接触の可能性がある歩行者等の対象物を抽出し、その情報を車両の運転者に視覚的に提供する表示処理装置が提案されている（例えば特許文献１参照）。この装置は、赤外線画像を２値化処理して高輝度領域を探し、該領域の赤外線画像内の重心位置、面積比、実面積などの頭部判定条件から、該領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域であると判定したときは、歩行者の身体を包含する領域を他の領域と区分して表示する。これにより、歩行者情報が車両の運転者に対して表示され、運転者の視覚を補助している。

また、かかる車両周辺監視装置において、車両の運転者に対して不要な注意喚起がなされることを抑制するため、歩行者である可能性の高い対象物を視覚的に表示する車両周辺装置が提案されている（例えば特許文献２参照）。この装置は、２つの赤外線カメラにより得られる画像から歩行者の可能性がある対象物を抽出し、（１）該対象物が歩行者にはあり得ない特徴を有するか否か、および（２）所定の人工構造物の外形的特徴を有するか否かを判定条件として、該対象物が該判定条件を満たす場合に人工構造物と判定して、注意喚起の対象から除外する処理を行っている。

しかしながら、上記判定条件によって、対象物が人工構造物であるか否かを判定した場合、判定精度は高くなるが、上記（２）の判定は複雑な演算処理を伴うため、人工構造物か否かの判定時間が長くなるという不都合がある。そこで、上記（１）だけを行うことも考えられるが、上記（１）だけを行う場合には、人工構造物か否かの判定時間は短くなるが、判定精度が低くなるという不都合がある。
特開平１１−３２８３６４号公報 特開２００３−２３０１３４号公報

本発明は、以上の不都合な点に鑑み、画像から抽出された対象物が人工構造物であるか否かを、効率的かつ精度良く判定することができる車両周辺監視装置を提供することをその課題としている。

上記課題を解決するための本発明の車両周辺監視装置の第１の態様は、車両に搭載された撮像手段によって得られる画像から対象物を抽出する対象物抽出手段と、該対象物が人工構造物であるか否かを判定する人工構造物判定手段とを備えて、車両の周辺に存在する物体を監視する車両周辺監視装置であって、前記画像から道路領域を識別する道路領域識別手段を備え、前記人工構造物判定手段は、前記対象物抽出手段によって、前記道路領域識別手段により識別された道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該道路領域外で対象物が抽出された場合には、該第１の人工構造物判定条件と異なる第２の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、道路領域を識別する道路領域識別手段を備え、人工構造物判定手段は、画像から抽出された対象物が、該道路領域識別手段によって識別された道路領域内又は道路領域外において抽出されたか否かによって、第１の人工構造物判定条件と第２の人工構造物判定条件という相異なる判定条件に基づいて、該対象物が人工構造物であるか否かの判定を行う。ここで、道路領域内において存在する可能性のある人工構造物は限られることから、比較的簡易な判定条件に基づいて、対象物が人工構造物であるか否かを判定することができる。一方、道路領域外においては、様々な人工構造物が存在することから、ある程度複雑な条件で、対象物が人工構造物であるか否かを判定する必要があると考えられる。そのため、対象物が道路領域内で抽出されたか否かによって、第１の人工構造物判定条件と第２の人工構造物判定条件とを変えることで、画像から抽出された対象物が人工構造物であるか否かを、効率的かつ精度良く判定することができる。

また、本発明の車両周辺監視装置において、前記第１の人工構造物判定条件として、前記対象物の画像の特徴量と、前記道路領域内に存在する可能性のある特定の人工構造物の特徴量との近似レベルが所定レベル以上であることが設定され、前記第２の人工構造物判定条件として、前記対象物の画像の特徴量と、前記道路領域外に存在する可能性のある特定の人工構造物の特徴量との近似レベルが所定レベル以上であることが設定されていることを特徴とする。

かかる本発明の車両周辺監視装置によれば、第１の判定条件として、予め道路領域内に存在し得る特定の人工構造物の画像を登録しておき、該登録された人工構造物の画像の特徴量と前記画像から抽出された対象物の画像の特徴量との近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。一方、第２の判定条件として、予め道路領域外に存在し得る特定の人工構造物の画像を登録しておき、該登録された人工構造物の画像の特徴量と前記画像から抽出された対象物の画像の特徴量との近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。このように、道路領域内外において存在する可能性のある対象物に応じた前記第１の人工構造物判定条件および第２の人工構造物判定条件を設定することで、対象物が人工構造物であるか否かを効率的かつ精度良く判定することができる。

さらに、本発明の車両周辺監視装置において、前記撮像手段として、赤外画像を取得する赤外画像撮像手段を有し、前記道路領域識別手段は、前記赤外画像撮像手段によって取得された赤外画像のエッジ部を抽出するエッジ抽出処理を行い、該エッジ抽出処理によって抽出されたエッジ部により道路領域を識別することを特徴とする。

かかる本発明の車両周辺監視装置によれば、撮像手段として赤外画像撮像手段を備え、道路領域識別手段が、赤外画像撮像手段によって得られる赤外画像のエッジ部を抽出し、該エッジ部に基づいて道路領域の内外を区別して識別することで、道路領域を一定の確実性をもって識別することができる。

また、本発明の車両周辺監視装置において、前記人工構造物判定手段は、前記画像から抽出された対象物の下端部を検出し、該下端部が前記道路領域内に位置するときに該対象物が該道路領域内で抽出されたと判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、画像から抽出された対象物の下端部を検出し、該下端部が道路領域内に位置しているか否かによって、該対象物が道路領域内から抽出されたか否かを判定する。ここで、対象物の下端部は、例えば、該対象物の同一距離部分を抽出した領域のうち、画像上で下端に位置する画素部分として検出することができる。そして、対象物の下端部を基準に該対象物の位置を判定することにより、該対象物が道路領域の境界部分の近くに位置する場合にも、該対象物が道路領域内で抽出されたか否かを容易かつ確実に判定することができる。

さらに、本発明の車両周辺監視装置において、前記画像に含まれる画像部分に対応する実空間上の位置を算出する位置算出手段を備え、前記人工構造物判定手段は、前記画像から抽出された対象物の実空間上の位置が、実空間上の前記道路領域の上方にあるときに該対象物が該道路領域内で抽出されたと判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、位置算出手段が、画像から抽出された対象物の実空間上の位置と道路領域の実空間上の領域範囲とを算出し、対象物の実空間上の位置が該実空間上の領域範囲上に位置しているか否かによって、該対象物が道路領域内から抽出されたか否かを判定する。これにより、例えば、画像から抽出された対象物の形状が、実空間における実際の形状に対して、その一部を欠いたものとなっている場合でも、該対象物が前記領域内で抽出されたか否かを正確に判定することができる。

また、本発明の車両周辺監視装置において、前記画像から車道領域を識別する車道領域識別手段を備え、前記人工構造物判定手段は、前記対象物抽出手段によって、前記車道領域識別手段により識別された車道領域内で対象物が抽出された場合には第３の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、車道領域を識別する車道領域識別手段を備え、人工構造物判定手段は、画像から抽出された対象物が、該車道領域識別手段によって識別された車道領域内で抽出された場合には、第３の人工構造物判定条件という新たな判定条件に基づいて、該対象物が人工構造物であるか否かの判定を行う。ここで、車道領域内においては、人工構造物が存在する可能性が低いことから、第３の人工構造物判定条件は簡易なものとすることができる。そのため、第３の人工構造物判定条件に基づいて、車道領域内で抽出された対象物が人工構造物であるか否かを効率的かつ精度良く判定することができる。

さらに、本発明の車両周辺監視装置において、前記人工構造物判定手段は、前記対象物抽出手段によって、前記道路領域内の前記車道領域識別手段により識別された車道領域外で対象物が抽出された場合には第４の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、人工構造物判定手段は、画像から抽出された対象物が、前記道路領域内の前記車道領域識別手段により識別された車道領域外で抽出された場合には、第４の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かの判定を行う。ここで、道路領域内の車道領域外においては、存在する可能性のある人工構造物が限られることから、第４の人工構造物判定条件は比較的簡易なものとすることができる。そのため、第４の人工構造物判定条件に基づいて、道路領域内の車道領域外で抽出された対象物が人工構造物であるか否かをより効率的に判定することができる。

また、本発明の車両周辺監視装置において、前記第４の人工構造物判定条件として、前記対象物の画像の特徴量と、前記道路領域内の前記車道領域外に存在する可能性のある特定の人工構造物の特徴量との近似レベルが所定レベル以上であることが設定されていることを特徴とする。

かかる本発明の車両周辺監視装置によれば、第４の判定条件として、予め前記道路領域内の前記車道領域外に存在し得る特定の人工構造物の画像を登録しておき、該登録された人工構造物の画像の特徴量と前記画像から抽出された対象物の画像の特徴量との近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。このように、道路領域内の車道領域外に存在する可能性のある対象物に応じた人工構造物判定条件を設定することで、対象物が人工構造物であるか否かを効率的かつ精度良く判定することができる。

また、本発明の車両周辺監視装置の第２の態様は、車両に搭載された撮像手段によって得られる画像から対象物を抽出する対象物抽出手段と、該対象物が人工構造物であるか否かを判定する人工構造物判定手段とを備えて、車両の周辺に存在する物体を監視する車両周辺監視装置であって、前記画像から車道領域を識別する車道領域識別手段を備え、前記人工構造物判定手段は、前記対象物抽出手段によって、前記車道領域識別手段により識別された車道領域内で対象物が抽出された場合には第３の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該車道領域外で対象物が抽出された場合には、該第３の人工構造物判定条件と異なる第５の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、車道領域を識別する車道領域識別手段を備え、人工構造物判定手段は、画像から抽出された対象物が、該車道領域識別手段によって識別された車道領域内又は車道領域外において抽出されたか否かによって、第３の人工構造物判定条件と第５の人工構造物判定条件という相異なる判定条件に基づいて、該対象物が人工構造物であるか否かの判定を行う。ここで、車道領域内においては、人工構造物が存在する可能性が低いことから、第３の人工構造物判定条件は比較的簡易なものとすることができる。一方、車道領域外においては、様々な人工構造物が存在することから、第５の人工構造物判定条件はある程度複雑な条件を設定する必要があると考えられる。そのため、対象物が車道領域内で抽出されたか否かによって、第３の人工構造物判定条件と第５の人工構造物判定条件とを使い分けることで、画像から抽出された対象物が人工構造物であるか否かを、効率的かつ精度良く判定することができる。

また、本発明の車両周辺監視装置において、前記第５の判定条件として、前記対象物の画像の特徴量と、前記車道領域外に存在する可能性のある特定の人工構造物との近似レベルが所定レベル以上であることが設定されていることを特徴とする。

かかる本発明の車両周辺監視装置によれば、第５の判定条件として、予め車道領域外に存在し得る特定の人工構造物の画像を登録しておき、該登録された人工構造物の画像の特徴量と前記画像から抽出された対象物の画像の特徴量との近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。このように、車道領域外に存在する可能性のある対象物に応じた人工構造物判定条件を設定することで、対象物が人工構造物であるか否かを効率的かつ精度良く判定することができる。

さらに、本発明の車両周辺監視装置において、前記第３の人工構造物判定条件として、前記対象物の画像の特徴量と、前記車道領域内に存在する可能性のある特定の人工構造物の特徴量との近似レベルが所定レベル以上であることが設定されていることを特徴とする。

かかる本発明の車両周辺監視装置によれば、第３の判定条件として、車道領域内に存在し得る特定の人工構造物の画像を登録しておき、該登録された人工構造物の画像の特徴量と前記画像から抽出された対象物の画像の特徴量との近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。このように、車道領域内に存在する可能性のある対象物に応じた人工構造物判定条件を設定することで、対象物が人工構造物であるか否かを効率的かつ精度良く判定することができる。

本発明の車両周辺監視装置は、前記撮像手段として、可視画像を取得する可視画像撮像手段を備え、前記車道領域識別手段は、前記可視画像撮像手段によって取得された可視画像から車道のレーンマークを検出し、該レーンマークにより車道領域を識別することを特徴とする。

かかる本発明の車両周辺監視装置によれば、撮像手段として可視画像撮像手段を備え、車道領域識別手段は、可視画像撮像手段によって得られる可視画像から車道領域の識別精度の高いレーンマークを検出し、該レーンマークに基づいて車道領域を識別する。このように、車道領域の識別精度の高いレーンマークにより、車道領域を精度良く識別することができる。

本発明の車両周辺監視装置において、前記人工構造物判定手段は、前記画像から抽出された対象物の下端部を検出し、該下端部が前記車道領域内に位置するときに該対象物が該車道領域内で抽出されたと判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、画像から抽出された対象物の下端部を検出し、該下端部が車道領域内に位置しているか否かによって、該対象物が車道領域内から抽出されたか否かを判定する。ここで、対象物の下端部は、例えば、該対象物の同一距離部分を抽出した領域のうち、画像上で下端に位置する画素部分として検出することができる。そして、対象物の下端部を基準に該対象物の位置を判定することにより、該対象物が車道領域の境界部分の近くに位置する場合にも、該対象物が車道領域内で抽出されたか否かを容易かつ確実に判定することができる。

本発明の車両周辺監視装置は、前記画像に含まれる画像部分に対応する実空間上の位置を算出する位置算出手段を備え、前記人工構造物判定手段は、前記画像から抽出された対象物の実空間上の位置が、実空間上の前記車道領域の上方にあるときに該対象物が該車道領域内で抽出されたと判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、位置算出手段が、画像から抽出された対象物の実空間上の位置と車道領域の実空間上の領域範囲とを算出し、対象物の実空間上の位置が該実空間上の領域範囲上に位置しているか否かによって、該対象物が車道領域内から抽出されたか否かを判定する。これにより、例えば、画像から抽出された対象物の形状が、実空間における実際の形状に対して、その一部を欠いたものとなっている場合でも、該対象物が前記領域内で抽出されたか否かを正確に判定することができる。

本発明の車両周辺監視装置において、前記特定の人工構造物の特徴量として、車両、自動販売機、電柱、街灯トランス、ブリンカーライト、壁、樹木のうちの少なくともいずれか１つの特徴量が登録されていることを特徴とする。

かかる本発明の車両周辺監視装置によれば、前記車道領域外から抽出される典型的な人工構造物であって、歩行者との区別がし難い自動販売機、電柱、街灯トランス、ブリンカーライト、壁、樹木を、前記特定の人工構造物の画像として登録しておくことで、前記第１〜第５の人工構造物判定条件に基づく人工構造物判定の判定精度を向上させることができる。

上記課題を解決するための本発明の車両は、前記車両周辺監視装置が搭載されたことを特徴とする。

かかる本発明の車両によれば、道路領域を識別する道路領域識別手段を備え、人工構造物判定手段は、画像から抽出された対象物が、該道路領域識別手段によって識別された道路領域内又は道路領域外において抽出されたか否かによって、第１の人工構造物判定条件と第２の人工構造物判定条件という相異なる判定条件に基づいて、該対象物が人工構造物であるか否かの判定を行う。ここで、道路領域内において存在する可能性のある人工構造物は限られることから、比較的簡易な判定条件に基づいて、対象物が人工構造物であるか否かを判定することができる。一方、道路領域外においては、様々な人工構造物が存在することから、ある程度複雑な条件で、対象物が人工構造物であるか否かを判定する必要があると考えられる。そのため、対象物が道路領域内で抽出されたか否かによって、第１の人工構造物判定条件と第２の人工構造物判定条件とを変えることで、画像から抽出された対象物が人工構造物であるか否かを、効率的かつ精度良く判定することができる。

上記課題を解決するための本発明の車両周辺監視用プログラムは、車両に搭載された撮像手段によって得られる画像のデータにアクセスする手段を有する車載コンピュータに、車両の周辺に存在する物体を監視する機能を実現させるためのプログラムであって、該コンピュータを、前記画像から対象物を抽出する対象物抽出手段と、前記画像から道路領域を識別する道路領域識別手段と、前記対象物抽出手段によって、前記道路領域識別手段により識別された道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該道路領域外で該対象物が抽出された場合には、該第１の人工構造物判定条件と異なる第２の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定する人工構造物判定手段として機能させることを特徴とする。

かかる本発明の車両周辺監視用プログラムを前記コンピュータ上で実行させて、前記対象物抽出手段により前記画像から対象物を抽出し、前記道路領域識別手段により前記画像から道路領域を識別し、前記人工構造物判定手段により、前記対象物抽出手段によって、前記道路領域識別手段により識別された道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該対象物が該道路領域外で抽出された場合には、該第１の人工構造物判定と異なる第２の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定する。この場合、道路領域内において存在する可能性のある人工構造物は限られることから、比較的簡易な判定条件に基づいて、対象物が人工構造物であるか否かを判定することができる。一方、道路領域外においては、様々な人工構造物が存在することから、ある程度複雑な条件で、対象物が人工構造物であるか否かを判定する必要があると考えられる。そのため、対象物が道路領域内で抽出されたか否かによって、第１の人工構造物判定条件と第２の人工構造物判定条件とを変えることで、画像から抽出された対象物が人工構造物であるか否かを、効率的かつ精度良く判定することができる。

上記課題を解決するための本発明の車両周辺監視方法は、車両に搭載された撮像手段によって得られる画像のデータにアクセスする手段を有する車載コンピュータにより、車両の周辺に存在する物体を監視する車両周辺監視方法であって、前記コンピュータが、前記画像から対象物を抽出する対象物抽出ステップと、前記コンピュータが、前記画像から道路領域を識別する道路領域識別ステップと、前記コンピュータが、前記対象物抽出ステップによって、前記道路領域識別ステップにより識別された道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該道路領域外で該対象物が抽出された場合には、該第１の人工構造物判定条件と異なる第２の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定する人工構造物判定ステップとを有することを特徴とする。

かかる本発明の車両周辺監視方法によれば、前記コンピュータが対象物抽出ステップで前記画像から対象物を抽出し、道路領域識別ステップで前記画像から道路領域を識別し、人工構造物判定ステップで、前記対象物抽出ステップによって、前記道路領域識別ステップにより識別された道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該対象物が該道路領域外で抽出された場合には、該第１の人工構造物判定と異なる第２の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定する。この場合、道路領域内において存在する可能性のある人工構造物は限られることから、比較的簡易な判定条件に基づいて、対象物が人工構造物であるか否かを判定することができる。一方、道路領域外においては、様々な人工構造物が存在することから、ある程度複雑な条件で、対象物が人工構造物であるか否かを判定する必要があると考えられる。そのため、対象物が道路領域内で抽出されたか否かによって、第１の人工構造物判定条件と第２の人工構造物判定条件とを変えることで、画像から抽出された対象物が人工構造物であるか否かを、効率的かつ精度良く判定することができる。

本発明の一実施形態を以下に図１〜図１２を参照して説明する。

まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両（自車両）の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像手段としての２つの赤外線カメラ２Ｒ，２Ｌと１つの可視カメラ２´とが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を検出する車速センサ４と、自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。

なお、赤外線カメラ２Ｒ，２Ｌが本発明における赤外画像撮像手段に相当し、可視カメラ２´が本発明における可視画像撮像手段に相当する。また、赤外線カメラ２Ｒ，２Ｌと可視カメラ２´とは、本発明の撮像手段に相当する。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、可視カメラ２´、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の注意喚起要件を満す場合にスピーカ６や表示装置７により運転者に注意喚起を発する処理を実行する。

なお、画像処理ユニット１は、本発明における道路領域識別手段、対象物抽出手段、人工構造物判定手段、車道領域識別手段、位置算出手段としての機能を備えている。そして、前記マイクロコンピュータに、本発明の車両周辺監視用プログラムを実行させることにより、該コンピュータは、本発明の道路領域識別手段、対象物抽出手段、人工構造物判定手段として機能する。さらに、前記マイクロコンピュータを、道路領域識別手段、対象物抽出手段および人工構造物判定手段として機能させることにより、本発明の車両周辺監視方法における道路領域識別ステップ、対象物抽出ステップおよび人工構造物判定ステップが実行される。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。

また、可視カメラ２´は、自車両１０のルームミラー（図示せず）の前方に、撮像方向を自車両１０の前方に向けて取り付けられている。可視カメラ２´は、可視光領域で撮像可能なＣＣＤカメラ等によって構成され、それにより撮像される物体の照度が高いほど、出力される映像信号のレベルが高くなる（映像信号の画像の輝度が高くなる）特性を有している。

さらに、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。

次に、本実施形態の周辺監視装置の全体的動作を図３のフローチャートを参照して説明する。

本実施形態の画像処理ユニット１は、図３を参照して、先ず、ＳＴＥＰ１００で可視画像または赤外線画像から車道領域および道路領域を識別して設定する「車道・道路領域識別処理」を行う。そして、道路領域を設定できたときには、フラグ（ｊ）をセット（ｊ＝１）し、道路領域を設定できなかったときには、フラグ（ｊ）をリセット（ｊ＝０）する。

次いで、ＳＴＥＰ２００で赤外線画像から対象物を抽出する「対象物抽出処理」を行う。

そして、ＳＴＥＰ３００では、「対象物抽出処理」で対象物が抽出されたか否かを判断し、抽出されたときはＳＴＥＰ４００に進んで、フラグ（ｊ）の値に基づいて、道路領域が設定されているか否かを判断する。

一方、ＳＴＥＰ３００において、対象物が抽出されなかったときは、ＳＴＥＰ１００に戻って「車道・道路領域識別処理」以下の処理を再び実行する。

ＳＴＥＰ４００において、道路領域が設定されているとき（ｊ＝１のとき）には、ＳＴＥＰ５００に進んで、対象物が道路領域内から抽出されたか否かによって、相異なる判定条件に基づいて人工構造物判定を行う「人工構造物判定処理（Ｉ）」を実行し、ＳＴＥＰ７００に進む。

一方、ＳＴＥＰ４００において、道路領域が設定されていないとき（ｊ＝０のとき）には、ＳＴＥＰ６００に分岐して、道路領域の内外を区別せずに人工構造物判定を行う「人工構造物判定処理（ＩＩ）」を実行し、ＳＴＥＰ７００に進む。

なお、「人工構造物判定処理（Ｉ）」および「人工構造物判定処理（ＩＩ）」で、対象物が人工構造物であると判定された場合には、フラグ（ｋ）をセット（ｋ＝１）し、対象物が人工構造物でないと判定された場合には、フラグ（ｋ）をリセット（ｋ＝０）する。

ＳＴＥＰ７００では、ＳＴＥＰ５００又はＳＴＥＰ６００の人工構造物判定の結果を示すフラグ（ｋ）の値に基づいて、対象物が人工構造物であるか否かを判断する。

そして、ＳＴＥＰ７００において、対象物が人工構造物でないと判断された場合（ｋ＝０のとき）には、ＳＴＥＰ８００に進んで、対象物が歩行者であるか否かが判定される。なお、ＳＴＥＰ８００の歩行者判定の処理は、前記特許文献２の図５のＳＴＥＰ３４の処理と同じであるので詳細な説明を省略するが、対象物の形状や大きさ、輝度分散等の特徴から、該対象物が歩行者的特徴を有している否かを判断して、歩行者であるか否かを判定する。

一方、ＳＴＥＰ７００において、対象物が人工構造物であると判断された場合（ｋ＝１のとき）には、該対象物は注意喚起の対象ではないと判断し、ＳＴＥＰ１００に戻って「車道・道路領域識別処理」以下の処理を再び実行する。

さらに、ＳＴＥＰ８００において、対象物が歩行者的特徴を有していると判定された場合には、ＳＴＥＰ９００に進んで、該対象物と自車両１０との接触の可能性が判断される。なお、ＳＴＥＰ９００の接触の可能性判断は、特許文献２の図５（ＳＴＥＰ３１〜３３）に記載されている処理と同じであるので、本明細書での詳細な説明は省略するが、対象物が自車両１０の前方の接近判定領域に存在するとき、および、所定の移動ベクトルを有して対象物が接近判定領域に進入するときに、接触の可能性があると判定される。

一方、ＳＴＥＰ８００において、対象物が歩行者的特徴を有していないと判定された場合には、該対象物は注意喚起の対象ではないと判断し、ＳＴＥＰ１００に戻って「車道・道路領域識別処理」以下の処理を再び実行する。

そして、ＳＴＥＰ９００において、対象物と自車両１０との接触の可能性があると判定された場合には、ＳＴＥＰ１０００に進んで、実際の注意喚起を行なうべきか否かを判定する。なお、ＳＴＥＰ１０００の実際の注意喚起を行なうべきか否かの判定は、前記特許文献２の図３（ＳＴＥＰ１８）に記載されている処理と同じであるので、本明細書での詳細な説明は省略するが、自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、注意喚起の出力を行うか否かが判定される。

一方、ＳＴＥＰ９００において、対象物と自車両１０との接触の可能性が低いと判定された場合には、該対象物は注意喚起の対象ではないと判断し、ＳＴＥＰ１００に戻って「車道・道路領域識別処理」以下の処理を再び実行する。

さらに、ＳＴＥＰ１０００において、注意喚起を行う必要があると判定された場合には、ＳＴＰ１１００に進んで、注意喚起を出力する。具体的には、スピーカ６を介して音声による注意喚起を出力するとともに、画像表示装置７の基準画像の中に対象物の画像を強調的に表示し、該対象物に対する運転者の注意を喚起する。そして、ＳＴＥＰ１００に戻って「車道・道路領域識別処理」以下の処理を再び実行する。

一方、ＳＴＥＰ１０００において、実際の注意喚起を行う必要がないと判定された場合には、注意喚起出力を行うことなく、ＳＴＥＰ１００に戻って「車道・道路領域識別処理」以下の処理を再び実行する。

以上が、本実施形態の周辺監視装置の全体的動作である。

次に、図４に示したフローチャートに従って、「車道・道路領域識別処理」の具体的な内容について説明する。

まず、画像処理ユニット１は、可視カメラ２´により可視画像を取得する（ＳＴＥＰ１０１）。ここで、取得される可視画像は、可視カメラ２´の出力信号をＡ／Ｄ変換して得られるグレースケール画像であり、画像メモリに格納される。

続けて、可視画像上で白線等の走行区分線（レーンマーク）を検出するレーンマーク検出を行う（ＳＴＥＰ１０２）。具体的には、可視画像におけるエッジ点を微分フィルタ等により抽出し、該エッジ点から白線等の走行区分線に相当する直線成分をレーンマークとして検出する。

例えば、ＳＴＥＰ１０１で、図５（ａ）に示した可視画像が取得された場合、該可視画像に、微分処理を施してエッジ画像を生成し、該エッジ画像から周知のＨｏｕｇｈ（ハフ）変換により、走行区分線に相当する直線成分を抽出する。そして、白線等の走行区分線に相当する直線成分が抽出されたときは、該直線成分をレーンマークとして検出することにより、図５（ｂ）に丸印で示したように、レーンマークを検出することができる。

次いで、画像処理ユニット１は、ＳＴＥＰ１０２で、レーンマークが検出されたか否かを判定する（ＳＴＥＰ１０３）。

そして、レーンマークが検出されたとき（ＳＴＥＰ１０３の判断結果がＹＥＳとなる場合）は、ＳＴＥＰ１０４に進み、ＳＴＥＰ１０２で検出されたレーンマークの位置に基づいて、車道領域を設定する。そして、ＳＴＥＰ１０５に進んで、フラグｉをセット（ｉ＝１）する。

一方、ＳＴＥＰ１０３で、レーンマークが検出されなかったと判定された場合（ＳＴＥＰ１０３の判断結果がＮＯとなる場合）には、ＳＴＥＰ１０６に分岐し、フラグｉをリセット（ｉ＝０）する。

フラグｉがセットまたはリセットされると（ＳＴＥＰ１０５，１０６）、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌにより赤外線画像を取得する（ＳＴＥＰ１０７）。赤外線画像は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像をＡ／Ｄ変換して得られるグレースケール画像であり、画像メモリに格納される。なお、以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像といい、特に、右画像を基準画像という。また、基準画像は、本実施形態では右画像であるが、左画像としてもよい。

続けて、画像処理ユニット１は、該赤外線画像から道路領域を検出する（ＳＴＥＰ１０８）。具体的には、前記基準画像におけるエッジ点を微分フィルタ等により抽出し、該エッジ点から自車両１０の前方領域において道路領域を検出する。

例えば、ＳＴＥＰ１０７で、図６（ａ）に示した赤外線画像が基準画像として取得された場合、前述のＳＴＥＰ１０２におけるレーンマークの検出と同様、基準画像に微分処理を施してエッジ画像を生成し、該エッジ画像から周知のＨｏｕｇｈ（ハフ）変換により、道路領域の端部に相当する直線成分を抽出する。そして、道路領域の端部に相当する直線成分が抽出されたときは、該直線成分を道路領域の端部として検出することにより、図６（ｂ）に丸印で示したように、道路領域を検出することができる。

次いで、画像処理ユニット１は、ＳＴＥＰ１０８で道路領域が検出されたか否かを判定する（ＳＴＥＰ１０９）。

そして、道路領域が検出されたとき（ＳＴＥＰ１０９の判断結果がＹＥＳとなる場合）は、ＳＴＥＰ１０８によって検出された道路領域の端部位置の内側を道路領域として設定する（ＳＴＥＰ１１０）。そして、ＳＴＥＰ１１１に進んで、フラグｊをセット（ｊ＝１）して、「車道・道路領域識別処理」を終了する。

一方、道路領域が検出されなかったとき（ＳＴＥＰ１０９の判断結果がＮＯとなる場合）は、ＳＴＥＰ１１２に分岐して、フラグｊをリセット（ｊ＝０）して、「車道・道路領域識別処理」を終了する。

なお、画像処理ユニット１によりＳＴＥＰ１０１〜１０６の処理を実行する構成が、本発明の車道領域識別手段に相当し、ＳＴＥＰ１０７〜１１２の処理を実行する構成が、本発明の道路領域識別手段に相当する。また、ＳＴＥＰ１０７〜１１２の処理は、本発明の車両周辺監視方法おける道路領域識別ステップに相当する。

次に、図７に示したフローチャートに従って、「対象物抽出処理」（図３のＳＴＥＰ２００）の具体的な内容について説明する。

まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌにより赤外線画像を取得する（ＳＴＥＰ２０１）。

次いで、画像処理ユニット１は、前記基準画像（右画像）を２値化する（ＳＴＥＰ２０２）。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。

次に、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ２０３〜２０５の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）に延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ２０３）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ２０４）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ２０５）。

なお、ＳＴＥＰ２０３〜２０５の処理により抽出される対象物には、人（歩行者）だけでなく、他車両などの人工構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。

次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ２０６）。面積は、ランレングスデータの長さを同一対象物について積算することにより算出し、重心の座標は、面積をｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比は、ランレングスデータ化したラインの外接四角形の縦横比として算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

次に、画像処理ユニット１は、前記ＳＴＥＰ２０５で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ２０７）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ２０５の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ２０５の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ２０４で付したラベル）が対象物Ａのラベルと同じラベルに変更される。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読込む（ＳＴＥＰ２０８）。なお、このＳＴＥＰ２０８では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。

一方、画像処理ユニット１は、ＳＴＥＰ２０７，２０８の処理と並行して、ＳＴＥＰ２１０の処理を実行する。このＳＴＥＰ２１０〜２１２の処理は、ＳＴＥＰ２０５で抽出した各対象物の自車両１０からの距離を求める処理である。その処理を概略的に説明すると、まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ２１０）。

次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が左画像に設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ２１１）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ２１１の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ２１２）。距離ｚは、次式（１）により算出される。

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）

なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。

以上がＳＴＥＰ２１０〜２１２の処理の概要である。なお、ＳＴＥＰ２１０〜２１２の処理は、ＳＴＥＰ２０５で抽出された各対象物に対して実行される。

ＳＴＥＰ２０８およびＳＴＥＰ２１２の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ２１３）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。

次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ２０８で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ２１４）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ２１５）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（点）から、現在時刻における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の自車両１０に対する相対速度ベクトルに比例する。

以上が、ＳＴＥＰ２００の「対象物抽出処理」の詳細である。なお、画像処理ユニット１によりＳＴＥＰ２００の処理を実行する構成が、本発明の対象物抽出手段に相当する。また、ＳＴＥＰ２００の処理は、本発明の車両周辺監視方法おける対象物抽出ステップに相当する。

また、画像処理ユニット１により、ＳＴＥＰ２１３の処理を実行する構成が、本発明の位置算出手段に相当する。

次に、図８に示したフローチャートに従って、「人工構造物判定処理（Ｉ）」（図３のＳＴＥＰ５００）の具体的な内容について説明する。

まず、画像処理ユニット１は、対象物が、「車道・道路領域識別処理」によって設定された道路領域から抽出されたか否かを判定する（ＳＴＥＰ５０１）。

具体的には、例えば、前記赤外線画像として図９に示す画像が取得された場合、対象物Ｑにおける、ある一定の輝度値が連続する部分又は同一距離部分を同一対象物の範囲として、対象物Ｑの下端部ｑを決定する。そして、下端部ｑが道路領域ＡＲＥに位置しているか否かより、対象物Ｑが道路領域ＡＲＥ内から抽出されたものであるか否かを判定する。例えば、図９に示す場合には、対象物Ｑの下端部ｑが、道路領域ＡＲＥ内に位置しているため、対象物Ｑは、道路領域ＡＲＥから抽出されたものと判定される。

なお、本実施形態においては、画像処理ユニット１は、前記基準画像上の対象物の下端部を検出し、該下端部が道路領域に位置しているか否かより、対象物が道路領域内から抽出されたものであるか否かを判定しているが、上述の（２）、（３）、（４）式から、対象物の実空間位置（Ｘ，Ｙ，Ｚ）が、道路領域に対応する実空間上の領域（Ｘ−Ｚ座標軸上）の上方に位置しているかにより、対象物が道路領域内から抽出されたものであるか否かを判定してもよい。

次に、ＳＴＥＰ５０１において、対象物が道路領域内から抽出されたと判定された場合には（ＳＴＥＰ５０１の判断結果がＹＥＳの場合）、ＳＴＥＰ５０２に進んで、フラグ（ｉ）の値（ｉ＝１又は０）に基づいて、車道領域が設定されているか否かを判断する。

ＳＴＥＰ５０２において、車道領域が設定されていないとき（ｉ＝０のとき）には、ＳＴＥＰ５０３に進んで、第１の人工構造物判定条件に基づく人工構造物判定が行われる。

第１の人工構造物判定条件は、予めメモリ（図示しない）に登録された特定の人工構造物の画像（テンプレート）と対象物の画像との相関性を示す近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。ここで、予めメモリに登録しておく特定の人工構造物の画像は、道路領域内に存在する可能性のある人工構造物の画像であり、例えば、自動販売機、電柱、街灯トランス、ブリンカーライト、車両の画像などである。

具体的に、予め登録された特定の人工構造物の画像と対象物の画像との相関性は、テンプレートマッチングによって判断される。テンプレートマッチングは、２つの画像が与えられるとき、両者を重ね合わせてその相関性（又は差異）を検出することで、両者の近似レベルを判断するものであり、２つの画像間における相関性を様々な尺度で表すものである。例えば、相関性を表す尺度としては、輝度値の残差絶対値和(SAD)を用いる方法を用いることができる。

輝度値の残差絶対値和(SAD)を用いて、図１０に示す自動販売機の画像をテンプレートとして対象物の画像との近似レベルを算出する場合には、予め、自動販売機の画像をＡ／Ｄ変換したグレースケール画像上で、図１１（ａ）及び（ｂ）に示すように、該自動販売機の重心位置を通るｘ軸方向及びｙ軸方向の輝度スペクトルを登録しておく。その上で、前記対象物抽出処理（ＳＴＥＰ２００）において抽出された対象物に対して、前記ＳＴＥＰ２０６で算出した対象物の重心位置を通るｘ軸方向及びｙ軸方向の輝度スペクトルを求め、テンプレートの輝度スペクトルと該対象物の輝度スペクトルとの残差の絶対値の和を、前記近似レベルとして算出することができる。この場合の近似レベルは、残差を基にしているため、残差の絶対値和が小さいほど近似レベルが高くなる。

このようにして算出された近似レベルが所定の値以上の場合（残差の絶対値和が所定の値以下のとき）に、対象物は人工構造物（自動販売機）であると判定される。

また、電柱、街灯トランス等についても、上述の自動販売機の場合と同様にして、第１の人工構造物判定条件に基づく人工構造物判定を行うことができる。

なお、パターンマッチングの手法は、前述の輝度値の残差絶対値和(SAD)に基づくものに限られるものではなく、例えば、テンプレートと対象物の画像との各画素位置での正規化相互相関値を近似レベルとして算出する正規化相互相関法などを用いてもよい。

また、人工構造物抽出処理は、パターンマッチング以外の手法にて人工構造物の判定を行ってもよい。

さらに、本実施形態では、予めメモリ登録された特定の人工構造物の特徴量として該人工構造物の画像を用いて人工構造物判定を行っているが、特徴量として用いられるものは、これに限られるものではなく、例えば、特定の人工構造物の実際の寸法を測定した値を特徴量として用いてもよい。この場合、画像処理ユニット１を介して算出される実空間における対象物の大きさと、予めメモリに登録された特定の人工構造物の寸法とを比較することで、近似レベルを算出することができる。

そして、ＳＴＥＰ５０３において、第１の人工構造物判定条件に基づいて対象物が人工構造物であると判定された場合（ＳＴＥＰ５０３の判断結果がＹＥＳの場合）には、ＳＴＥＰ５１１に進んで、フラグｋをセット（ｋ＝１）して、「人工構造物判定処理（Ｉ）」を終了する。

一方、ＳＴＥＰ５０３において、第１の人工構造物判定条件に基づいて対象物が人工構造物でないと判定された場合（ＳＴＥＰ５０３の判断結果がＮＯの場合）には、ＳＴＥＰ５１２に分岐して、フラグｋをリセット（ｋ＝０）して、「人工構造物判定処理（Ｉ）」を終了する。

また、ＳＴＥＰ５０２において、車道領域が設定されているとき（ｉ＝１のとき）には、ＳＴＥＰ５０４に進んで、対象物が、「車道・道路領域識別処理」によって設定された車道領域から抽出されたか否かを判定する（ＳＴＥＰ５０４）。対象物が車道領域から抽出されたか否かは、図９に示した赤外線画像に対応する可視画像を用いて、ＳＴＥＰ５０１と同様の手法により判定される。

次に、ＳＴＥＰ５０４において、対象物が車道領域内から抽出されたと判定された場合には（ＳＴＥＰ５０４の判断結果がＹＥＳの場合）、ＳＴＥＰ５０５に進んで、第３の人工構造物判定条件に基づく人工構造物判定が行われる。

第３の人工構造物判定条件は、予め、車道領域内に存在する可能性のある車両などの人工構造物の画像をメモリ（図示しない）に登録しておき、その人工構造物の画像と対象物の画像との相関性を示す近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。

なお、予め登録された特定の人工構造物の画像と対象物の画像との相関性は、テンプレートマッチングによって判断されてもよいが、特に、車両を対象とする人工構造物判定処理を行う場合には、前記特許文献２の図８（ＳＴＥＰ４１〜５４）に記載されている処理を行なうようにしてもよい。すなわち、対象物が車両であるか否かを判定する場合には、まず、テールライトに相当する、対称な位置に存在する２値化対象物を探索し、次に、２つの２値化対象物の間の上部に、ウィンドウシールドの有無を探索する探索領域を設定する。そして、２値化対象物と探索領域の物体とが同一距離である場合に、探索領域の平均輝度値が規定値より小さいか否かを判定し、探索領域の平均輝度値が規定値より小さい場合に、対象物は車両であると判定する。

そして、ＳＴＥＰ５０５において、第３の人工構造物判定条件に基づいて対象物が人工構造物であると判定された場合（ＳＴＥＰ５０５の判断結果がＹＥＳの場合）には、ＳＴＥＰ５１１に進んで、フラグｋをセット（ｋ＝１）して、「人工構造物判定処理（Ｉ）」を終了する。

一方、ＳＴＥＰ５０５において、第１の人工構造物判定条件に基づいて対象物が人工構造物でないと判定された場合（ＳＴＥＰ５０５の判断結果がＮＯの場合）には、ＳＴＥＰ５１２に分岐して、フラグｋをリセット（ｋ＝０）して、「人工構造物判定処理（Ｉ）」を終了する。

また、ＳＴＥＰ５０４において、対象物が車道領域内から抽出されたものではないと判定された場合（ＳＴＥＰ５０４の判断結果がＮＯの場合）は、ＳＴＥＰ５０６に分岐して、第４の人工構造物判定条件に基づく人工構造物判定が行われる。

第４の人工構造物判定条件は、予め、道路領域内の車道領域外に存在する可能性のある自動販売機、電柱、街灯トランス、ブリンカーライト、車両などの画像をメモリに登録しておき、その人工構造物の画像と対象物の画像との相関性を示す近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。予め登録された特定の人工構造物の画像と対象物の画像との相関性は、前述のように、テンプレートマッチング等によって判断される。

そして、ＳＴＥＰ５０６において、第４の人工構造物判定条件に基づいて対象物が人工構造物であると判定された場合（ＳＴＥＰ５０６の判断結果がＹＥＳの場合）には、ＳＴＥＰ５１１に進んで、フラグｋをセット（ｋ＝１）して、「人工構造物判定処理（Ｉ）」を終了する。

一方、ＳＴＥＰ５０６において、第４の人工構造物判定条件に基づいて対象物が人工構造物でないと判定された場合（ＳＴＥＰ５０６の判断結果がＮＯの場合）には、ＳＴＥＰ５１２に分岐して、フラグｋをリセット（ｋ＝０）して、「人工構造物判定処理（Ｉ）」を終了する。

また、ＳＴＥＰ５０１において、対象物が道路領域内から抽出されたものではないと判定された場合（ＳＴＥＰ５０１の判断結果がＮＯの場合）は、ＳＴＥＰ５０７に分岐して、第２の人工構造物判定条件に基づく人工構造物判定が行われる。

第２の人工構造物判定条件は、予め、道路領域外に存在する可能性のある自動販売機、電柱、街灯トランス、ブリンカーライト、壁、樹木、車両などの人工構造物の画像を、メモリ（図示しない）に登録しておき、その特定の人工構造物の画像と対象物の画像との相関性を示す近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。予め登録された特定の人工構造物の画像と対象物の画像との相関性は、前述のように、テンプレートマッチング等によって判断される。

そして、ＳＴＥＰ５０７において、第２の人工構造物判定条件に基づいて対象物が人工構造物であると判定された場合（ＳＴＥＰ５０７の判断結果がＹＥＳの場合）には、ＳＴＥＰ５１１に進んで、フラグｋをセット（ｋ＝１）して、「人工構造物判定処理（Ｉ）」を終了する。

一方、ＳＴＥＰ５０７において、第２の人工構造物判定条件に基づいて対象物が人工構造物でないと判定された場合（ＳＴＥＰ５０７の判断結果がＮＯの場合）には、ＳＴＥＰ５１２に分岐して、フラグｋをリセット（ｋ＝０）して、「人工構造物判定処理（Ｉ）」を終了する。

以上が「人工構造物判定処理（Ｉ）」の詳細である。これにより、対象物が道路領域内から抽出された否かによって、第１の人工構造物判定条件〜第４の人工構造物判定条件を設定することにより、画像から抽出された対象物が人工構造物であるか否かを、効率的かつ精度良く判定することができる。

次に、図１２に示したフローチャートに従って、「人工構造物判定処理（ＩＩ）」（図３のＳＴＥＰ６００）について概要を説明する。

「人工構造物判定処理（ＩＩ）」において、画像処理ユニット１は、まず、フラグ（ｉ）の値に基づいて、車道領域が設定されているか否かを判断する（ＳＴＥＰ６０１）。

ＳＴＥＰ６０１において、車道領域が設定されているとき（ｉ＝１のとき）には、ＳＴＥ６０２に進んで、対象物が、「車道・道路領域識別処理」によって設定された車道領域から抽出されたか否かを判定する（ＳＴＥＰ６０２）。尚、対象物が車道領域から抽出されたか否かは、前述のＳＴＥＰ５０４と同様にして判定される。

次に、ＳＴＥＰ６０２において、対象物が車道領域内から抽出されたと判定された場合には（ＳＴＥＰ６０２の判断結果がＹＥＳの場合）、ＳＴＥＰ６０３に進んで、第３の人工構造物判定条件に基づく人工構造物判定が行われる。第３の人工構造物判定条件は、前述のＳＴＥＰ５０５と同様の処理であり、第３の人工構造物判定条件に基づいて対象物が人工構造物であると判定された場合（ＳＴＥＰ６０３の判断結果がＹＥＳの場合）には、ＳＴＥＰ６１１に進んで、フラグｋをセット（ｋ＝１）して、「人工構造物判定処理（ＩＩ）」を終了する。

一方、ＳＴＥＰ６０３において、第１の人工構造物判定条件に基づいて対象物が人工構造物でないと判定された場合（ＳＴＥＰ６０３の判断結果がＮＯの場合）には、ＳＴＥＰ６１２に分岐して、フラグｋをリセット（ｋ＝０）して、「人工構造物判定処理（ＩＩ」を終了する。

また、ＳＴＥＰ６０２において、対象物が車道領域内から抽出されたものではないと判定された場合（ＳＴＥＰ６０２の判断結果がＮＯの場合）は、ＳＴＥＰ６０４に分岐して、第５の人工構造物判定条件に基づく人工構造物判定が行われる。

第５の人工構造物判定条件は、予め、車道領域外に存在する可能性のある自動販売機、電柱、街灯トランス、ブリンカーライト、壁、樹木、車両などの人工構造物の画像を、メモリ（図示しない）に登録しておき、その特定の人工構造物の画像と対象物の画像との相関性を示す近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。予め登録された特定の人工構造物の画像と対象物の画像との相関性は、前述のように、テンプレートマッチング等によって判断される。

そして、ＳＴＥＰ６０４において、第５の人工構造物判定条件に基づいて対象物が人工構造物であると判定された場合（ＳＴＥＰ６０４の判断結果がＹＥＳの場合）には、ＳＴＥＰ６１１に進んで、フラグｋをセット（ｋ＝１）して、「人工構造物判定処理（ＩＩ）」を終了する。

一方、ＳＴＥＰ６０４において、第５の人工構造物判定条件に基づいて対象物が人工構造物でないと判定された場合（ＳＴＥＰ６０４の判断結果がＮＯの場合）には、ＳＴＥＰ６１２に分岐して、フラグｋをリセット（ｋ＝０）して、「人工構造物判定処理（ＩＩ）」を終了する。

また、ＳＴＥＰ６０５において、車道領域が設定されていないとき（ｉ＝０のとき）には、ＳＴＥＰ６０５に進んで、第６の人工構造物判定条件に基づく人工構造物判定が行われる。

第６の人工構造物判定条件は、道路領域の内外および車道領域の内外に関わらず、一般的に道路周辺に存在する人工構造物の画像をメモリに登録しておき、その特定の画像と対象物の画像との相関性を示す近似レベルが所定レベル以上である場合に人工構造物と判定されるように設定されている。予め登録された特定の人工構造物の画像と対象物の画像との相関性は、前述のように、テンプレートマッチング等によって判断される。尚、第６の人工構造物の判定条件は、前記第２又は第５の人工構造物判定条件と同一の判定条件としてもよい。

そして、ＳＴＥＰ６０５において、第６の人工構造物判定条件に基づいて対象物が人工構造物であると判定された場合（ＳＴＥＰ６０５の判断結果がＹＥＳの場合）には、ＳＴＥＰ６１１に進んで、フラグｋをセット（ｋ＝１）して、「人工構造物判定処理（ＩＩ）」を終了する。

一方、ＳＴＥＰ６０５において、第６の人工構造物判定条件に基づいて対象物が人工構造物でないと判定された場合（ＳＴＥＰ６０５の判断結果がＮＯの場合）には、ＳＴＥＰ６１２に分岐して、フラグｋをリセット（ｋ＝０）して、「人工構造物判定処理（ＩＩ）」を終了する。

以上が、ＳＴＥＰ６００における「人工構造物判定処理（ＩＩ）」の概要である。なお、画像処理ユニット１によりＳＴＥＰ５０１〜５１２，６０１〜６１２の処理が、本発明の車両周辺監視方法における人工構造物判定ステップに相当し、これらの処理を実行する構成が、本発明の人工構造物判定手段に相当する。

尚、本実施形態においては、可視画像にてレーンマーク検出を行い（ＳＴＥＰ１０１〜１０５）、その後、赤外線画像から道路領域を検出している（ＳＴＥＰ１０７〜１１２）が、ＳＴＥＰ１０１〜１０５の可視画像に基づく処理を省略して、赤外線画像から道路領域を検出する構成（ＳＴＥＰ１０７〜１１２）のみとしてもよい。この場合、人工構造物判定処理（Ｉ）および人工構造物判定処理（ＩＩ）では、車道領域の設定の有無に基づく処理（ＳＴＥＰ５０２，５０４〜５０６，６０１〜６０４）が省略される。

また、逆に、ＳＴＥＰ１０７〜１１２の赤外線画像に基づく処理を省略して、可視画像から車道領域を検出する構成（ＳＴＥＰ１０１〜１０５）のみとしてもよい。この場合、道路領域の設定の有無に基づく処理（ＳＴＥＰ４００、５００）が省略されて、第２の人工構造物判定処理（ＩＩ）のみが実行される。

また、本実施形態では、可視カメラ２´の可視画像から車道領域を検出し、赤外線カメラ２Ｒ，２Ｌの赤外線画像から道路領域を検出しているが、これに限定されるものではなく、他の撮像手段による撮像画像から車道領域や道路領域を検出するようにしてもよい。

なお、本実施形態においては、画像処理ユニット１の処理結果に基づき、所定の注意喚起を行うように構成されているが、該処理結果に基づき車両挙動が制御されてもよい。

また、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、対象物との距離をレーダーなどにより検出するようにした場合には、１台の赤外線カメラ２Ｒもしくは２Ｌを自車両１０に搭載するようにしてもよい。

本発明の車両の周辺監視装置の一実施形態の全体構成を示す図。 図１の周辺監視装置を備えた車両の斜視図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 本実施形態における撮像画像を例示的に示す図。 本実施形態における撮像画像を例示的に示す図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 本実施形態における撮像画像を例示的に示す図。 画像処理ユニットの処理を説明するための図。 画像処理ユニットの処理を説明するための図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。

符号の説明

１…画像処理ユニット（道路領域識別手段、対象物抽出手段、人工構造物判定手段、車道領域識別手段、位置算出手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、２´…可視カメラ（可視画像撮像手段）、ＳＴＥＰ１０１〜１０６…車道領域識別手段による処理、ＳＴＥＰ１０７〜１１２…道路領域識別手段による処理、ＳＴＥＰ２００…対象物抽出手段による処理、ＳＴＥＰ２１３…位置算出手段による処理、ＳＴＥＰ５００，６００…人工構造物判定手段による処理。

Claims (18)

1. 車両に搭載された撮像手段によって得られる画像から対象物を抽出する対象物抽出手段と、該対象物が人工構造物であるか否かを判定する人工構造物判定手段とを備えて、車両の周辺に存在する物体を監視する車両周辺監視装置であって、
   前記画像から道路領域を識別する道路領域識別手段を備え、
   前記人工構造物判定手段は、前記対象物抽出手段によって、前記道路領域識別手段により識別された道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該道路領域外で対象物が抽出された場合には、該第１の人工構造物判定条件と異なる第２の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定することを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記第１の人工構造物判定条件として、前記対象物の画像の特徴量と、前記道路領域内に存在する可能性のある特定の人工構造物の特徴量との近似レベルが所定レベル以上であることが設定され、
   前記第２の人工構造物判定条件として、前記対象物の画像の特徴量と、前記道路領域外に存在する可能性のある特定の人工構造物の特徴量との近似レベルが所定レベル以上であることが設定されていることを特徴とする車両周辺監視装置。
3. 請求項１又は２記載の車両周辺監視装置において、
   前記撮像手段として、赤外画像を取得する赤外画像撮像手段を有し、
   前記道路領域識別手段は、前記赤外画像撮像手段によって取得された赤外画像のエッジ部を抽出するエッジ抽出処理を行い、該エッジ抽出処理によって抽出されたエッジ部により道路領域を識別することを特徴とする車両周辺監視装置。
4. 請求項１から請求項３のうちいずれか１項記載の車両周辺監視装置において、
   前記人工構造物判定手段は、前記画像から抽出された対象物の下端部を検出し、該下端部が前記道路領域内に位置するときに該対象物が該道路領域内で抽出されたと判定することを特徴とする車両周辺監視装置。
5. 請求項１から請求項３のうちいずれか１項記載の車両周辺監視装置において、
   前記画像に含まれる画像部分に対応する実空間上の位置を算出する位置算出手段を備え、
   前記人工構造物判定手段は、前記画像から抽出された対象物の実空間上の位置が、実空間上の前記道路領域の上方にあるときに該対象物が該道路領域内で抽出されたと判定することを特徴とする車両周辺監視装置。
6. 請求項１から請求項５のうちいずれか１項記載の車両周辺監視装置において、
   前記画像から車道領域を識別する車道領域識別手段を備え、
   前記人工構造物判定手段は、前記対象物抽出手段によって、前記車道領域識別手段により識別された車道領域内で対象物が抽出された場合には第３の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定することを特徴とする車両周辺監視装置。
7. 請求項６記載の車両周辺監視装置において、
   前記人工構造物判定手段は、前記対象物抽出手段によって、前記道路領域内の前記車道領域識別手段により識別された車道領域外で対象物が抽出された場合には第４の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定することを特徴とする車両周辺監視装置。
8. 請求項７記載の車両周辺監視装置において、
   前記第４の人工構造物判定条件として、前記対象物の画像の特徴量と、前記道路領域内の前記車道領域外に存在する可能性のある特定の人工構造物の特徴量との近似レベルが所定レベル以上であることが設定されていることを特徴とする車両周辺監視装置。
9. 車両に搭載された撮像手段によって得られる画像から対象物を抽出する対象物抽出手段と、該対象物が人工構造物であるか否かを判定する人工構造物判定手段とを備えて、車両の周辺に存在する物体を監視する車両周辺監視装置であって、
   前記画像から車道領域を識別する車道領域識別手段を備え、
   前記人工構造物判定手段は、前記対象物抽出手段によって、前記車道領域識別手段により識別された車道領域内で対象物が抽出された場合には第３の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該車道領域外で対象物が抽出された場合には、該第３の人工構造物判定条件と異なる第５の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定することを特徴とする車両周辺監視装置。
10. 請求項９記載の車両周辺監視装置において、
    前記第５の判定条件として、前記対象物の画像の特徴量と、前記車道領域外に存在する可能性のある特定の人工構造物との近似レベルが所定レベル以上であることが設定されていることを特徴とする車両周辺監視装置。
11. 請求項６から請求項１０のうちいずれか１項記載の車両周辺監視装置において、
    前記第３の人工構造物判定条件として、前記対象物の画像の特徴量と、前記車道領域内に存在する可能性のある特定の人工構造物の特徴量との近似レベルが所定レベル以上であることが設定されていることを特徴とする車両周辺監視装置。
12. 請求項６から請求項１１のうちいずれか１項記載の車両周辺監視装置において、
    前記撮像手段として、可視画像を取得する可視画像撮像手段を備え、
    前記車道領域識別手段は、前記可視画像撮像手段によって取得された可視画像から車道のレーンマークを検出し、該レーンマークにより車道領域を識別することを特徴とする車両周辺監視装置。
13. 請求項６から請求項１２のうちいずれか１項記載の車両周辺監視装置において、
    前記人工構造物判定手段は、前記画像から抽出された対象物の下端部を検出し、該下端部が前記車道領域内に位置するときに該対象物が該車道領域内で抽出されたと判定することを特徴とする車両周辺監視装置。
14. 請求項６から請求項１２のうちいずれか１項記載の車両周辺監視装置において、
    前記画像に含まれる画像部分に対応する実空間上の位置を算出する位置算出手段を備え、
    前記人工構造物判定手段は、前記画像から抽出された対象物の実空間上の位置が、実空間上の前記車道領域の上方にあるときに該対象物が該車道領域内で抽出されたと判定することを特徴とする車両周辺監視装置。
15. 請求項２、８、１０又は１１のうちいずれか１項記載の車両周辺監視装置において、
    前記特定の人工構造物の特徴量として、車両、自動販売機、電柱、街灯トランス、ブリンカーライト、壁、樹木のうちの少なくともいずれか１つの特徴量が登録されていることを特徴とする車両周辺監視装置。
16. 請求項１から請求項１５のうちいずれか１項記載の車両周辺監視装置が搭載されたことを特徴とする車両。
17. 車両に搭載された撮像手段によって得られる画像のデータにアクセスする手段を有する車載コンピュータに、車両の周辺に存在する物体を監視する機能を実現させるためのプログラムであって、該コンピュータを、
    前記画像から対象物を抽出する対象物抽出手段と、
    前記画像から道路領域を識別する道路領域識別手段と、
    前記対象物抽出手段によって、前記道路領域識別手段により識別された道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該道路領域外で該対象物が抽出された場合には、該第１の人工構造物判定条件と異なる第２の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定する人工構造物判定手段と
    して機能させることを特徴とする車両周辺監視用プログラム。
18. 車両に搭載された撮像手段によって得られる画像のデータにアクセスする手段を有する車載コンピュータにより、車両の周辺に存在する物体を監視する車両周辺監視方法であって、
    前記コンピュータが、前記画像から対象物を抽出する対象物抽出ステップと、
    前記コンピュータが、前記画像から道路領域を識別する道路領域識別ステップと、
    前記コンピュータが、前記対象物抽出ステップによって、前記道路領域識別ステップにより識別された道路領域内で対象物が抽出された場合には第１の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定し、該道路領域外で該対象物が抽出された場合には、該第１の人工構造物判定条件と異なる第２の人工構造物判定条件に基づいて、該対象物が人工構造物であるか否かを判定する人工構造物判定ステップと
    を有することを特徴とする車両周辺監視方法。