JP2001023091A - 車両の画像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 車両の進行方向に存在する対象物を検出し、
運転者が容易且つ確実に周辺状況を把握できるようにし
た画像表示装置を提供する。 【解決手段】 車両に搭載されたカメラ１Ｒ、１Ｌによ
り得られる画像から車両の進行方向に存在する対象物が
抽出され、その位置が検出される。ヘッドアップディス
プレイの表示画面４１は、３つの領域に分割されてお
り、中央領域４１ａには、カメラにより得られる画像及
び車両の進行方向に設定される接近判定領域内に存在す
る対象物の強調画像が表示される。また、右領域４１ｂ
及び左領域４１ｃには、接近判定領域より外側に設定さ
れる侵入判定領域内に存在する対象物に対応するアイコ
ンＩＣＲ，ＩＣＬが表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置などによ
り車両の進行方向に存在する対象物を検出して、ヘッド
アップディスプレイに表示する車両の画像表示装置に関
する。

【０００２】

【従来の技術】車両の前方に存在する障害物を検出し、
その障害物の危険度が高いときは、ヘッドアップディス
プレイによりその障害物を赤枠で囲む表示をすることに
より、運転者に確実に危険を知らせるようにした危険情
報警報装置が従来より知られている（特開平６−２１５
３００号公報）。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の装置では、検出した障害物の実物の像と表示される
赤枠とがフロントウインドウ上で重畳して示されるよう
に赤枠の表示位置の計算を行い、ヘッドアップディスプ
レイの表示制御を行うようにしているので、表示制御が
複雑化するという問題や、遠方に存在する障害物の実物
像は小さいので運転者が容易に視認できないという問題
がある。

【０００４】本発明はこのような点に着目してなされた
ものであり、車両の進行方向に存在する対象物を検出
し、運転者が容易且つ確実に周辺状況を把握できるよう
にした画像表示装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
請求項１に記載の発明は、車両の進行方向に存在する対
象物を検出する対象物検出手段と、該対象物検出手段に
より検出された対象物の表示を行うヘッドアップディス
プレイとを備えた車両の画像表示装置において、前記対
象物検出手段により、当該車両の進行方向に設定される
接近判定領域内で対象物が検出されたときは、その対象
物の位置に応じた表示を行うように前記ヘッドアップデ
ィスプレイを制御し、前記対象物検出手段により、前記
接近判定領域の外側に設定される侵入判定領域内で対象
物が検出されたときは、その対象物が存在することを示
す情報を表示するように前記ヘッドアップディスプレイ
を制御する表示制御手段とを備えることを特徴とする。

【０００６】この構成によれば、当該車両の進行方向に
設定される接近判定領域内で対象物が検出されたとき
は、ヘッドアップディスプレイにその対象物の位置に応
じた表示が行われ、接近判定領域の外側に設定される侵
入判定領域内で対象物が検出されたときは、その対象物
が存在することを示す情報がヘッドアップディスプレイ
に表示されるので、接近判定領域内あるいは侵入判定領
域内に対象物が存在するか否かを運転者が容易に視認す
ることができ、さらに接近判定領域内に存在する対象物
についてはその位置についての認識も容易に得ることが
可能となる。

【０００７】前記ヘッドアップディスプレイの表示画面
は、水平方向に３分割されており、中央の領域に前記接
近判定領域内で検出された対象物に対応する表示が行わ
れ、前記中央の領域を挟む左右の領域には、前記侵入判
定領域内で検出された対象物に対応する表示が行われる
ことが望ましい。さらに前記中央の領域には、撮像手段
により得られる画像を表示して、検出した対象物の強調
表示を行ったり、あるいは検出した対象物に対応するア
イコンを表示して、当該車両とその対象物との距離が近
いほどそのアイコンが大きくなるように制御することが
望ましい。

【０００８】また前記左右の領域に検出した対象物に対
応するアイコンを表示し、当該車両とその対象物との距
離が近いほどそのアイコンが大きくなるように制御する
ようにしてもよい。本発明の他の特徴は、車両の進行方
向に存在する対象物を検出する対象物検出手段と、該対
象物検出手段により検出された対象物の表示を行うヘッ
ドアップディスプレイとを備えた車両の画像表示装置に
おいて、前記対象物検出手段により、当該車両の進行方
向に対象物が検出されたときは、その対象物の位置に応
じたアイコンを表示するように前記ヘッドアップディス
プレイを制御する表示制御手段を備えることである。

【０００９】

【発明の実施の形態】以下本発明の実施の形態を図面を
参照して説明する。図１は本発明の一実施形態にかかる
画像表示装置を含む、車両の周辺監視装置の構成を示す
図であり、この装置は、遠赤外線を検出可能な２つの赤
外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出
するヨーレートセンサ５と、当該車両の走行速度（車
速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操
作量を検出するためのブレーキセンサ７と、これらのカ
メラ１Ｒ，１Ｌによって得られる画像データの基づいて
車両前方の動物等の対象物を検出し、衝突の可能性が高
い場合に警報を発する画像処理ユニット２と、音声で警
報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌ
によって得られる画像を表示するとともに、衝突の可能
性が高い対象物を運転者に認識させるためのヘッドアッ
プディスプレイ（以下「ＨＵＤ」という）４とを備えて
いる。

【００１０】カメラ１Ｒ、１Ｌは、図２に示すように車
両１０の前部に、車両１０の横方向の中心軸に対してほ
ぼ対象な位置に配置されており、２つのカメラ１Ｒ、１
Ｌの光軸が互いに平行となり、両者の路面からの高さが
等しくなるように固定されている。赤外線カメラ１Ｒ、
１Ｌは、対象物の温度が高いほど、その出力信号レベル
が高くなる（輝度が増加する）特性を有している。

【００１１】画像処理ユニット２は、入力アナログ信号
をディジタル信号に変換するＡ／Ｄ変換回路、ディジタ
ル化した画像信号を記憶する画像メモリ、各種演算処理
を行うＣＰＵ（Central Processing Unit）、ＣＰＵが
演算途中のデータを記憶するために使用するＲＡＭ（Ra
ndom Access Memory）、ＣＰＵが実行するプログラムや
テーブル、マップなどを記憶するＲＯＭ（Read Only Me
mory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号な
どを出力する出力回路などを備えており、カメラ１Ｒ，
１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に
変換されて、ＣＰＵに入力されるように構成されてい
る。ＨＵＤ４は、図２に示すように、車両１０のフロン
トウインドウの、運転者の前方位置に画面４１が表示さ
れるように設けられている。

【００１２】図３は画像処理ユニット２における対象物
の位置検出処理の手順を示すフローチャートであり、先
ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メ
モリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。
画像メモリに格納される画像は、輝度情報を含んだグレ
ースケール画像である。図５（ａ）（ｂ）は、それぞれ
はカメラ１Ｒ，１Ｌによって得られるグレースケール画
像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌによ
り左画像が得られる）を説明するための図であり、ハッ
チングを付した領域は、中間階調（グレー）の領域であ
り、太い実線で囲んだ領域が、輝度レベルが高く（高温
で）、画面上に白色として表示される対象物の領域（以
下「高輝度領域」という）である。右画像と左画像で
は、同一の対象物の画面上の水平位置がずれて表示され
るので、このずれ（視差）によりその対象物までの距離
を算出することができる。

【００１３】図３のステップＳ１４では、右画像を基準
画像とし、その画像信号の２値化、すなわち、実験的に
決定される輝度閾値ＩＴＨより明るい領域を「１」
（白）とし、暗い領域を「０」（黒）とする処理を行
う。図６に図５（ａ）の画像を２値化した画像を示す。
この図は、ハッチングを付した領域が黒であり、太い実
線で囲まれた高輝度領域が白であることを示している。

【００１４】続くステップＳ１５では、２値化した画像
データをランレングスデータに変換する処理を行う。図
７（ａ）はこれを説明するための図であり、この図では
２値化により白となった領域を画素レベルでラインＬ１
〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれ
もｙ方向には１画素の幅を有しており、実際にはｙ方向
には隙間なく並んでいるが、説明のために離間して示し
ている。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ
２画素、２画素、３画素、８画素、７画素、８画素、８
画素、８画素の長さを有している。ランレングスデータ
は、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの
左端の点）の座標と、開始点から終了点（各ラインの右
端の点）までの長さ（画素数）とで示したものである。
例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）
及び（ｘ５，ｙ５）の３画素からなるので、ランレング
スデータとしては、（ｘ３，ｙ５，３）となる。

【００１５】ステップＳ１６、Ｓ１７では、図７（ｂ）
に示すように対象物のラベリングをすることにより、対
象物を抽出する処理を行う。すなわち、ランレングスデ
ータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部
分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、
ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレン
グスデータに対象物ラベル１，２を付加する。この処理
により、例えば図６に示す高輝度領域が、それぞれ対象
物１から４として把握されることになる。なお以上説明
した図３のステップＳ１４〜Ｓ１７の処理は、２値化し
た基準画像（本実施形態では、右画像）ついて実行す
る。

【００１６】図３のステップＳ１８では、図８に示すよ
うに右画像に含まれる対象物像Ｒ１に対応する左画像中
の対象物像Ｒ２を求め、右画像のｘ方向の中心線ＬＣＴ
Ｒと対象物像Ｒ１の重心との距離ΔｄＲ、及び左画像の
中心線ＬＣＴＲと対象物像Ｒ２の重心との距離ΔｄＬを
算出し、下記式（１）にこれらを適用して自車両１０か
らその対象物までの距離ｚを算出する。

【数１】

【００１７】ここで、Ｂは基線長、すなわち図９に示す
ようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメ
ラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方
向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２
Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ
内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量で
ある。またｆは、焦点距離Ｆと画素間隔ｐの比である。

【００１８】ステップＳ１９では、画像内の座標（ｘ，
ｙ）及び式（１）により算出した距離ｚを下記式（２）
に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここ
で、実空間座標（Ｘ，Ｙ，Ｚ）は、図１０（ａ）に示す
ように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置
（自車両１０に固定された位置）を原点Ｏとして、図示
のように定め、画像内の座標は同図（ｂ）に示すよう
に、画像の中心を原点として水平方向をｘ、垂直方向を
ｙと定めている。

【数２】

【００１９】ここで、（ｘｃ，ｙｃ）は、右画像上の座
標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間
原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画
像の中心とを一致させた仮想的な画像内の座標に変換し
たものである。またｆは、焦点距離Ｆと画素間隔ｐとの
比である。図３のステップＳ２０では、図４に示す表示
制御処理を実行する。この処理は、検出した対象物の位
置に応じてＨＵＤ４の画面４１の表示状態を制御するも
のである。

【００２０】図１１は、カメラ１Ｒ、１Ｌで監視可能な
領域を、太い実線で示す外側の三角形の領域ＡＲ０で示
し、さらに領域ＡＲ０内の、自車両１０に近い領域ＡＲ
１，ＡＲ２，ＡＲ３を、警報判定領域としている。ここ
で領域ＡＲ１は、自車両１０の進行方向に、車幅αの両
側に余裕β（例えば５０〜１００ｃｍ程度とする）を加
えた範囲に対応する領域、換言すれば自車両１０の横方
向の中心軸の両側に（α／２＋β）の幅を有する領域で
あって、対象物がそのままの存在し続ければ衝突の可能
性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ
２，ＡＲ３は、接近判定領域よりＸ座標の絶対値が大き
い（接近判定領域の横方向外側の）領域であり、この領
域内にある対象物でも車両１０の進行方向と垂直の方向
に進行して車両１０に接近してくる対象物は衝突の可能
性が高いので侵入判定領域と呼ぶ。接近判定領域ＡＲ１
及び侵入判定領域ＡＲ２，ＡＲ３内で検出された対象物
については、図４の処理によりＨＵＤ４に表示するとと
もに、図示しない処理により衝突の可能性の判定を行
い、可能性が高いときはスピーカ３を介して音声と、Ｈ
ＵＤ４の画面４１の表示とより運転者に警報を発する。

【００２１】図４のステップＳ４１では、検出された対
象物が接近判定領域ＡＲ１内にあるか否かを判別し、接
近判定領域ＡＲ１内にあるときは、図１２に示すように
画面４１の中央領域４１ａにカメラ１Ｒにより撮像され
ている画像を表示するとともに、検出した対象物ＯＢＪ
１の強調表示（例えば枠で囲んで示す）を行う（ステッ
プＳ４２）。このように画面の中央領域４１ａには、カ
メラ１Ｒで実際に撮像された対象物像が表示されるの
で、遠くに存在するものほど表示像が小さくなり、表示
像の大きさにより運転者は対象物までの距離を視覚的に
容易に認識することができる。

【００２２】また接近判定領域ＡＲ１内に対象物がない
ときは、侵入判定領域ＡＲ２，ＡＲ３内に存在する対象
物があるか否かを判別し（ステップＳ４３）、図１２に
示すように侵入判定領域ＡＲ２内で対象物ＯＢＪ２が検
出されているときは、画面４１の右領域４１ｂに対象物
ＯＢＪ２に対応したアイコンＩＣＲを表示し、侵入判定
領域ＡＲ３内で対象物ＯＢＪ３が検出されているとき
は、画面４１の左領域４１ｃに対象物ＯＢＪ３に対応し
たアイコンＩＣＬを表示する（ステップＳ４４）。アイ
コンＩＣＲ，ＩＣＬは、例えば歩行者の外形に似たもの
を予め容易しておき、該当する対象物を検出したときに
実際に表示されるように制御する。

【００２３】侵入判定領域内に存在する対象物のうち衝
突の可能性の高い対象物は、車両１０から見た対象物の
方向がほぼ一定となる傾向があり、カメラ１Ｒまたは１
Ｌにより得られる画像内での動きがほとんどない状態と
なるので、画面上にアイコン表示することにより、その
存在を運転者に明確に知らせることができる。すなわ
ち、運転者はそのような対象物の存在を容易に視認する
ことができる。

【００２４】なお、接近判定領域ＡＲ１内で検出された
対象物ＯＢＪ１との衝突の可能性が高いと判定されたと
きは、強調表示の枠を点滅させたり、表示色を一定周期
で変化させるなどの制御を行い、また侵入判定領域ＡＲ
２，ＡＲ３内で検出された対象物ＯＢＪ２，ＯＢＪ３と
の衝突の可能性が高いと判定されたときは、アイコンを
点滅させたり、あるいは表示色を一定周期で変化させた
りするなどの制御を行う。

【００２５】以上のように本実施形態では、車両１０の
進行方向に設定される接近判定領域ＡＲ１内で対象物が
検出されたときは、カメラ１Ｒにより得られる画像、す
なわち対象物の位置に応じた表示を行うようにＨＵＤ４
を制御し、接近判定領域の外側に設定される侵入判定領
域ＡＲ２，ＡＲ３内で対象物が検出されたときは、その
対象物に対応するアイコンＩＣＲ，ＩＣＬ、すなわちそ
の対象物が存在することを示す情報を表示するようにＨ
ＵＤ４を制御するようにしたので、接近判定領域内ある
いは侵入判定領域内に対象物が存在するか否かを運転者
が容易に視認することができ、さらに接近判定領域内に
存在する対象物についてはその位置についての認識も容
易に得ることが可能となる。

【００２６】本実施形態では、画像処理ユニット２及び
ＨＵＤ４により画像表示装置が構成される。より具体的
には、カメラ１Ｒ、１Ｌ及び図３のステップＳ１１〜Ｓ
１９が対象物検出手段に相当し、図４の処理が表示制御
手段に相当する。なお本発明は上述した実施形態に限る
ものではなく、種々の変形が可能である。例えば、上述
した実施形態では、ＨＵＤ４の画面の中央領域には、カ
メラ１Ｒにより得られる画像を表示するようにしたが、
中央領域４１ａにも図１３に示すようにアイコンＩＣＣ
を表示するようにしてもよい。この場合、検出した対象
物の位置に応じて中央領域４１ａ内のアイコン表示位置
を制御し、さらに自車両１０に近い対象物ほど大きいア
イコンで表示するようにして、対象物の距離（Ｚ座標）
に応じた表示を行う。すなわち、図１３に示す例では、
アイコンＩＣＣ１に対応する対象物が最も近くに存在
し、次いでアイコンＩＣＣ２に対応する対象物が存在
し、アイコンＩＣＣ３に対応する対象物が最も遠くに存
在することを示している。

【００２７】また、同図に示すように右領域４１ｂ及び
左領域４２ｃに表示する侵入判定領域にある対象物につ
いても、その距離Ｚが近いほど大きいアイコンを表示す
るようにしてもよい。また対象物の検出は、赤外線カメ
ラに限るものではなく、可視光を検出するＣＣＤカメ
ラ、あるいはレーザなどにより行うようにしてもよい。

【００２８】

【発明の効果】以上詳述したように本発明によれば、当
該車両の進行方向に設定される接近判定領域内で対象物
が検出されたときは、ヘッドアップディスプレイにその
対象物の位置に応じた表示が行われ、接近判定領域の外
側に設定されている侵入判定領域内で対象物が検出され
たときは、その対象物が存在することを示す情報がヘッ
ドアップディスプレイに表示されるので、接近判定領域
内あるいは侵入判定領域内に対象物が存在するか否かを
運転者が容易に視認することができ、さらに接近判定領
域内に存在する対象物についてはその位置についての認
識も容易に得ることが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態にかかる画像表示装置を含
む、車両の周辺監視装置の構成を示す図である。

【図２】赤外線カメラの取り付け位置を説明するための
図である。

【図３】図１の画像処理ユニットにおける処理の手順を
示すフローチャートである。

【図４】図３の表示制御処理を詳細に示すフローチャー
トである。

【図５】赤外線カメラにより得られるグレースケール画
像を説明するために、中間階調部にハッチングを付して
示す図である。

【図６】グレースケール画像を２値化した画像を説明す
るために、黒の領域をハッチングを付して示す図であ
る。

【図７】ランレングスデータへの変換処理及びラベリン
グを説明するための図である。

【図８】視差の算出方法を説明するための図である。

【図９】視差から距離を算出する手法を説明するための
図である。

【図１０】本実施形態における座標系を示す図である。

【図１１】車両前方の領域区分を説明するための図であ
る。

【図１２】ヘッドアップディスプレイ上の表示を説明す
るための図である。

【図１３】ヘッドアップディスプレイ上の表示の変形例
を説明するための図である。

【符号の説明】

１Ｒ、１Ｌ 赤外線カメラ（対象物検出手段） ２ 画像処理ユニット（対象物検出手段、表示制御手
段） ４ ヘッドアップディスプレイ ４１ 表示画面 ４１ａ 中央領域 ４１ｂ 右領域 ４１ｃ 左領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 正人 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 長岡 伸治 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 Ｆターム(参考） 5C054 AA01 CA05 EB05 EG01 FC05 FC12 FC15 FE09 FE16 FE28 GA04 GB01 HA30 5H180 AA01 CC04 LL01 LL08

Claims (1)

【特許請求の範囲】
1. 【請求項１】 車両の進行方向に存在する対象物を検出
   する対象物検出手段と、該対象物検出手段により検出さ
   れた対象物の表示を行うヘッドアップディスプレイとを
   備えた車両の画像表示装置において、 前記対象物検出手段により、当該車両の進行方向に設定
   される接近判定領域内で対象物が検出されたときは、そ
   の対象物の位置に応じた表示を行うように前記ヘッドア
   ップディスプレイを制御し、前記対象物検出手段によ
   り、前記接近判定領域の外側に設定される侵入判定領域
   内で対象物が検出されたときは、その対象物が存在する
   ことを示す情報を表示するように前記ヘッドアップディ
   スプレイを制御する表示制御手段とを備えることを特徴
   とする車両の画像表示装置。