JP2009040108A - 画像表示制御装置及び画像表示制御システム - Google Patents

Abstract

【課題】要安全確認対象物を容易に認識できるとともに、自車両と要安全確認対象物との位置関係を容易に把握できる画像表示制御装置及び画像表示制御システムを提供すること。
【解決手段】画像表示制御装置５では、ステップ１００にて、電子カメラ１１で撮影された画像の撮像データを取り込む。続くステップ１１０では、レーダ１３により検出された対象物との距離のデータ（測距データ）を取り込む。続くステップ１２０では、車速センサ１５や操舵角センサ１７から得られた自車の車両情報を取り込む。続くステップ１３０では、自車線走行領域の算出を行う。続くステップ１４０では、歩行者や車両等の障害物の検出を行う。続くステップ１５０では、ディスプレイ３に表示する表示画像を算出する。続くステップ１６０では、前記ステップ１５０にて算出された画像データに基づく画像を、ディスプレイ３に表示する。
【選択図】図２

Description

本発明は、例えば自動車に搭載され、自車の前方等の周囲の画像をモニタディスプレイやウインドシールドディスプレイ等に表示できる画像表示制御装置及び画像表示制御システムに関する。

従来より、車両を運転する際のドライバの負担を軽減するために、周囲状況を見落としなく、より早期に且つ正確に検知する目的で、電子カメラを車両に搭載し、その電子カメラで撮影した画像などを、運転席前方のモニタディスプレイやウインドシールドディスプレイ等に表示する車両用間接視認装置が提案されている。

これらの技術では、運転する際に安全確認が必要な対象物、例えば歩行者や他の車両等のような要安全確認対象物を、ディスプレイ上に強調表示することで、ドライバの注意を喚起している。

この強調表示の方法としては、例えば車両前方の所定のエリアを強調表示する方法（特許文献１参照）や、要安全確認対象物の背景を目立たないように抑制処理することで、要安全確認対象物を間接的に強調する方法などが提案されている（特許文献２、３参照）。
特開２００３−２７４３９３号公報 特開平９−４８２８２号公報 特開平１１−３２８３６４号公報

しかしながら、例えば、要安全確認対象物の画像を直接強調する場合には、要安全確認対象物の見え方が大きく変化し、かえって認知しにくくなるという問題があった。
また、特許文献１の技術のように、車両の進行方向の全てを鮮明化すると、本当に注意すべき要安全確認対象物以外も注意喚起されるので、逆に注意力が低下するという問題があった。

更に、特許文献２、３では、要安全確認対象物以外を全て抑制するので、ドライバが自車両と要安全確認対象物との位置関係を把握し難く、要安全確認対象物の位置を認識しづらいという問題があった。

本発明は、かかる問題に鑑みてなされたものであり、要安全確認対象物を容易に認識できるとともに、自車両と要安全確認対象物との位置関係を容易に把握できる画像表示制御装置及び画像表示制御システムを提供することを目的とする。

（１）請求項１の発明は、自車両の周囲を撮影する撮像装置から得られる信号に基づいて、前記自車両の周囲に存在する要安全確認対象物を示す対象物画像を、画像表示装置に表示する画像表示制御装置において、前記自車両の走行予想領域を算出する走行予想領域算出手段と、前記走行予想領域の画像と前記要安全確認対象物との位置を関係づけて、前記走行予想領域と前記対象物画像とを前記画像表示装置に表示するとともに、前記走行予想領域以外の領域（走路外領域）の表示を該走行予想領域の表示より抑制することを特徴とする。

本発明では、走行予想領域と要安全確認対象物との位置を関係づけて画像表示装置に表示するので、今後の自車両と要安全確認対象物との位置関係を容易に把握できる。しかも、この際には、走行予想領域以外は画像の表示を抑制するので、走行予想領域が明瞭になり、その結果、今後の自車両と要安全確認対象物との位置関係を極めて容易に把握できるという顕著な効果を奏する。

・なお、ここで、「画像の表示を抑制する」とは、画像の認識を高める強調処理とは逆に、ぼかし等のように画像の認識を低める処理である。
・前記要安全確認対象物とは、歩行者や車両の様に、将来自車両と衝突する可能性がある障害物のことである。

・前記走行予想領域とは、自車が走行する道路全体（対向車線を含む）が考えられるが、対向車線を除いた同じ方向の走路のみとしてもよい。また、同じ方向の走路（走行車線や追越車線等レーン）が複数ある場合には、その全ての走路を含むことが望ましいが、自車の走行する単一の車線のみとしてもよい。

（２）請求項２の発明では、前記対象物画像は、前記要安全確認対象物自身の画像又は前記要安全確認対象物自身の画像の周囲を含む枠内の画像であることを特徴とする。
本発明は、要安全確認対象物を示す対象物画像を例示したものである。なお、要安全確認対象物自身の画像を枠で囲むことにより、要安全確認対象物の存在をより認識し易くなる。

（３）請求項３の発明では、前記対象物画像の領域以外の表示を、該対象物画像の領域内の表示よりも抑制することを特徴とする。
これにより、対象物の認識性を高めることができる。例えば、走行予想領域以外の領域の画像と対象物画像とが重なり合う場合には、走行予想領域の表示を対象物画像の表示より抑制する。また、走行予想領域の画像と対象物画像とが重なり合う場合には、走行予想領域の表示を対象物画像の表示より抑制する。

（４）請求項４の発明では、前記要安全確認対象物に対し、その危険度に応じて優先順位を設定するとともに、前記優先順位に応じて、前記対象物画像の周囲の表示の抑制の度合いを変更することを特徴とする。

これにより、危険度に応じた表示が可能となるので、ドライバが危険度の程度を容易に把握でき、安全性が一層向上する。
（５）請求項５の発明では、前記対象物画像の周囲に帯状部を設定し、その帯状部において前記表示の抑制の度合いを変更する。

本発明は、優先度に応じて表示の抑制の度合いを変更する領域を例示したものである。
（６）請求項６の発明では、前記優先順位が高いほど、前記表示の抑制の度合いを大きくすることを特徴とする。

これにより、ドライバは、どの要安全確認対象物の優先度（従って危険度）が高いかが分かるので、一層安全性が向上する。
本発明は、走行予想領域の画像と対象物画像とが重なり合う場合の表示の抑制方法を例示したものである。なお、対象物画像と走路外領域とが重なる領域では、走路外領域の表示を抑制することができる。

（７）請求項７の発明では、前記画像の表示を抑制する抑制処理は、所定の色で塗りつぶす処理、所定の色で半透明で塗りつぶす処理、所定のぼかし度合いでぼかす処理、コントラストを下げる処理、輝度を下げる処理、カラー画像の彩度を下げる処理のうち、少なくとも１種であることを特徴とする。

本発明は、抑制処理を例示したものである。
（８）請求項８の発明（画像表示制御システム）は、前記請求項１〜７のいずれかに記載の画像表示制御装置に、少なくとも撮像装置及び画像表示装置を備えたことを特徴とする。

本発明は、画像表示制御装置を用いたシステム構成を示したものである。なお、撮像装置以外に、レーダや各種のセンサ等の信号を用いることができる。

以下に本発明の実施形態を図面と共に説明する。
［第１の実施形態］
ａ）まず、本実施形態の画像表示制御システムの構成について説明する。

図１に示す様に、本実施形態の画像表示制御システム１は、車両の周囲に存在する注意すべき対象物（要安全確認対象物：障害物）を検出し、その障害物をディスプレイ３上で容易に認識できるような画像処理を行う車両用間接視認システムであり、その主要部として、画像の抑制表示等の処理を行う画像表示制御装置５を備えている。

画像表示制御装置５は、周知のマイクロコンピュータ７やメモリ９を主要部とする電子制御装置から構成されており、この画像表示制御装置５には、車両の前方等を撮影する電子カメラ１１、車両の前方等の障害物などを検出するレーダ１３、車速を検出する車速センサ１５、操舵角を検出する操舵角センサ１７、ナビゲーション装置１９、画像を表示するディスプレイ３などが接続されている。

なお、前記電子カメラ１１としては、可視光カメラや赤外線カメラを用いることができ、また、レーダ１３としては、ミリ波レーダ（車両を対象とした場合）やレーザレーダ（歩行者を対象とした場合）を用いることができる。更に、センサとしては、車両のピッチ角を検出するセンサを用いてもよい。

前記画像表示制御装置５は、後に詳述する様に、電子カメラ１１、レーダ１３、車速センサ１５、操舵角センサ１７、ナビゲーション装置１９などから得られる情報に基づいて、走行環境の認識、走行状態の認識、障害物及び走行予想領域並びにその周囲の画像の処理を行い、その処理結果に基づいて、ディスプレイ３に、障害物及び走行予想領域の画像を表示するとともに、それらの周囲をぼかす等の処理により抑制して表示する。

ｂ）次に、画像表示制御装置５で行われる処理内容を説明する。
図２のフローチャートに示す様に、画像表示制御装置５では、まず、ステップ（Ｓ）１００にて、電子カメラ１１で撮影された車両の前方の撮像データを取り込む。

続くステップ１１０では、レーダ１３により検出された障害物との距離のデータ（測距データ）を取り込む。
続くステップ１２０では、車速センサ１５や操舵角センサ１７から得られた自車の車両情報を取り込む。なお、この際に、自車が走行する車線等の情報を、ナビゲーション装置１９から取り込むことができる。

続くステップ１３０では、自車線走行領域の算出を行う。この自車線走行領域とは、自車がこれから走行する可能性の高い走行予想領域（軌跡）のことであり、ここでは対向車線を含む道路全体を示している。

この自車線走行領域の算出方法としては、例えば道路に白線がある場合は、カメラ画像と車両情報（操舵角等）から左右の白線を検出し、その左右の白線の内側を自車線走行領域として抽出する方法が挙げられる。なお、白線検出方法は、例えば特開平１１−８５９９９号公報に記載の技術を採用できる。

また、白線がない場合には、カメラ画像からクラスタリング処理にて、道路平面領域を求め、自車線走行領域として抽出する方法を採用できる。なお、道路平面検出方法は、例えば特開２００５−２１７８８号公報に記載の技術を採用できる。

続くステップ１４０では、要安全確認対象物である歩行者や車両等の障害物の検出を行う。この障害物の検出方法としては、例えば下記(1)〜(4)の方法を採用できる。
(1)立体物（障害物）の検出手法
２台の並列に配置された電子カメラ１１から、視差を算出し、視差が出ている部分をクラスタリングして、立体物領域（即ち障害物）を抽出する。なお、ステレオ画像から立体物を検出する方法は、例えば特開２０００−２１７８８３号公報等に記載の技術を採用できる。

(2)歩行者の検出手法
赤外線カメラ画像から高輝度の領域を抽出し、歩行者の形状・動き等に着目した識別法により、歩行者を検出する。なお、赤外画像から歩行者を検出する方法は、特開平１１−３２８３６４号公報等に記載の技術を採用できる。

(3)歩行者の検出手法
レーザレーダにより歩行者を含む立体物領域を抽出し、カメラ画像の立体物領域にて、歩行者の形状・動き等に着目した識別法により、歩行者を検出する。なお、レーザと画像から歩行者を検出する方法は、特開２００３−３０２４７０号公報等に記載の技術を採用できる。

(4)車両の検出手法
ミリ波レーダにより車両を含む立体物領域を抽出し、カメラ画像の立体物領域にて、車両の形状・動き等に着目した識別法により、車両を検出する。なお、ミリ波と画像から車両を検出する方法は、特開２００５−１４１５１７号公報等に記載の技術を採用できる。

続くステップ１５０では、ディスプレイ３に表示する表示画像を算出する。即ち、ディスプレイ３上で、障害物と自車線走行領域との位置関係が分かるようにするとともに、どの部分の表示をどの程度抑制するか等を設定した表示画像を算出する。

具体的には、図３に示す様に、前記ステップ１５０で検出した歩行者や車両に対して、その周囲を囲むように矩形状のフレームを設定し、そのフレーム内は、電子カメラ１１で撮影した画像をそのまま表示するようにする。

また、前記ステップ１３０で算出した自車線走行領域は、電子カメラ１１で撮影した画像をそのまま表示する。なお、自車線走行領域に対しては、フレーム内の画像（対象物画像）よりは表示を抑制した処理を行ってもよい。例えば半透明に塗りつぶす処理を行ってもよい。これによりフレーム内の画像の認識度が向上する。

更に、自車線走行領域以外の領域（走行外領域）に対しては、画像の抑制処理を行う。つまり、フレーム内の画像や自車線走行領域よりも認識度（注目度）を低下させるために、走行外領域全体をぼかす等の画像処理を行う。なお、フレームと走行外領域が重ねる領域では、フレーム内の画像を表示するように設定する。

従って、ここでは、画像が目立つ順番（即ち抑制の程度が低い順番）は、（障害物自身の画像を含む）フレーム内の画像及び自車線走行領域内の画像＞走行外領域の画像となる。なお、自車線走行領域内を半透明にした場合は、フレーム内の画像＞自車線走行領域内の画像＞走行外領域の画像となる
続くステップ１６０では、前記ステップ１５０にて算出された前記図３に示すような画像を、ディスプレイ３に表示し、一旦本処理を終了する。

ｃ）このように、本実施形態では、障害物の存在位置に対応して、障害物の画像と自車線走行領域の画像とを重ね合わせるように表示するので、ドライバは、自車両と障害物との現在や将来の位置関係を容易に把握することができる。また、自車線走行領域の外側の領域は、ぼかす等の画像の抑制処理を行うので、ドライバの運転によって重要な障害物や自車線走行領域の画像の認識度を高めることができる。

なお、自車線走行領域を、例えば半透明にすることにより画像を抑制する場合には、危険度高い障害物の認識度を高めることができるとともに、道路の形状等も容易に把握できるという利点がある。

［第２の実施形態］
次に、第２の実施形態について説明するが、前記第１の実施形態と同様な内容の説明は省略する。

本実施形態では、障害物の危険度に応じた表示を行うものである。
以下に、本実施形態の画像表示制御装置５で行われる処理内容を説明する。
図４のフローチャートに示す様に、画像表示制御装置５では、まず、ステップ２００にて、電子カメラ１１で撮影された画像の撮像データを取り込む。

続くステップ２１０では、レーダ１３により検出された障害物との測距データを取り込む。
続くステップ２２０では、車速センサ１５や操舵角センサ１７から得られた自車の車両情報を取り込む。

続くステップ２３０では、前記第１の実施形態のステップ１３０と同様にして、自車線走行領域の算出を行う。
続くステップ２４０では、前記第１の実施形態のステップ１４０と同様にして、歩行者や車両等の障害物の検出を行う。

続くステップ２５０では、障害物の危険度の度合いを算出する。
この障害物の危険度の度合いの算出方法としては、例えば下記(1)〜(3)の方法を採用できる。

(1)例えばレーダ１３による情報に基づいて、各障害物と自車両との相対距離を算出し、障害物との距離が短いほど、障害物の危険度が大きいように設定する。なお、この際には、距離に対する危険度をマップとして持っておくことが望ましい。

(2)各障害物と自車両との相対距離と相対速度を算出し、障害物との距離が短いほど、障害物との相対速度の方向が自車両や自車線に正対するほど、障害物との相対速度の大きさが大きいほど、危険度が大きいように設定する。なお、この際には、距離と相対速度に対する危険度をマップとして持っておくことが望ましい。

(3)各障害物と自車両との相対距離と相対速度を算出し、障害物との距離が短いほど、障害物との相対速度の方向が自車両や自車線に正対するほど、障害物との相対速度の大きさが大きいほど、危険度が大きいように設定する。更に、障害物の属性によっても危険度を変える。例えば、「立体物（静止物）＜車両＜歩行者」のように、危険度の度合いを設定する。この際にも、距離と相対速度に対する危険度をマップとして持っておくことが望ましい。

これにより、例えば図５に示す様に、自車線走行領域のうち、特に左側の走行車線上にあって、車線中央に近づく歩行者Ａの危険度を、最大の危険度レベル４に設定し、次に、左側の走行車線上にあって、その車線から遠ざかる歩行者Ｂの危険度を、次の危険度レベル３に設定し、次に、右側の反対車線から遠ざかる歩行者Ｃの危険度を、次の危険度レベル２に設定し、次に、右側の反対車線から近づいてくる他車両Ｄの危険度を、次の危険度レベル１に設定する。なお、歩行者や車両の移動方向は、周知のように、例えばそれらの画像を特徴点を抽出し、その特徴点の移動方向から求めることができる。

続くステップ２６０では、ディスプレイ３に表示する表示画像を算出する。
基本的には、図５に示す様に、前記ステップ２４０で検出した歩行者や車両に対して、その周囲を囲むように矩形状の帯状フレーム（帯状部）を設定し（但し下側は帯状にしない）、その帯状フレームより内側は、電子カメラ１１で撮影した画像を、画像処理することなく、そのまま表示するようにする。

また、自車線走行領域は、前記第１の実施形態と同様に、そのまま撮影画像を表示してもよく、或いは、例えば自車線走行領域を半透明にして表示を抑制してもよい。
更に、自車線走行領域以外の領域（走行外領域）に対しては、前記第１の実施形態と同様に、例えば全体をぼかす等の画像の抑制処理を行う。

本実施形態では、特に、障害物の周囲に設定した帯状フレームの表示を、危険度の程度が大きいほど、ぼかし度を大きくしている。更に、ここでは、危険度に応じて、帯状フレームの色も変更している。例えば危険度の大きなものから、赤色＞橙色＞黄色＞青色のように着色したり、背景との明度の差分が大きくなるように、明度を変更している。

つまり、危険度の高い障害物ほど、ドライバの注目を引くように、帯状フレームの表示を設定している。
なお、自車線走行領域以外の領域と帯状フレームとの間の画像の抑制の程度（ぼかしの程度としては、自車線走行領域以外の領域と帯状フレームとの区別が可能であればよく、例えば自車線走行領域以外の領域のぼかしの程度を大きくする。

続くステップ２７０では、前記図５に示すような画像を、ディスプレイ３に表示し、一旦本処理を終了する。
ｃ）このように、本実施形態では、障害物の周囲に設定した帯状フレームの表示を、危険度の程度が大きいほど、画像表示の抑制の度合いを大きくしているので、従来の障害物自身の強調程度を大きくするという方法に比べて、ドライバが危険度の高い障害物を容易に認識できるという顕著な効果を奏する。

尚、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。
（１）例えば強調表示の手法として、運転者等の注意を喚起するものであれば、特に限定はない。例えば、対象物を示す画像を、画面上で振動させて強調表示してもよい。また、対象物が複数ある場合には、危険度の高いものから順に、対象物を示す画像を順次強調表示してもよい。

（２）また、本発明は、上述したアルゴリズムに基づいて表示の抑制処理などを実行させるプログラムやそのプログラムを記憶している記録媒体にも適用できる。
この記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フレキシブルディスク、ハードディスク、ＤＶＤ、光ディスク等の各種の記録媒体が挙げられる。つまり、上述した画像表示制御装置の処理を実行させることができるプログラムを記憶したものであれば、特に限定はない。

尚、前記プログラムは、単に記録媒体に記憶されたものに限定されることなく、例えばインターネットなどの通信ラインにて送受信されるプログラムにも適用される。

第１、２の実施形態における制御システム全体を示すブロック図である。 第１の実施形態の画像表示制御装置における処理を示すフローチャートである。 第１の実施形態のディスプレイに表示された画面を示す説明図である。 第２の実施形態の画像表示制御装置における処理を示すフローチャートである。 第２の実施形態のディスプレイに表示された画面を示す説明図である。

符号の説明

１…画像表示制御システム
３…ディスプレイ
５…画像表示製御装置
１１…電子カメラ
１３…レーダ

Claims (8)

1. 自車両の周囲を撮影する撮像装置から得られる信号に基づいて、前記自車両の周囲に存在する要安全確認対象物を示す対象物画像を、画像表示装置に表示する画像表示制御装置において、
   前記自車両の走行予想領域を算出する走行予想領域算出手段と、
   前記走行予想領域と前記要安全確認対象物との位置を関係づけて、前記走行予想領域の画像と前記対象物画像とを前記画像表示装置に表示するとともに、前記走行予想領域以外の領域の表示を前記走行予想領域の表示より抑制することを特徴とする画像表示制御装置。
2. 前記対象物画像は、前記要安全確認対象物自身の画像又は前記要安全確認対象物自身の画像の周囲を含む枠内の画像であることを特徴とする請求項１に記載の画像表示制御装置。
3. 前記対象物画像の領域以外の表示を、該対象物画像の領域内の表示よりも抑制することを特徴とする請求項１又は２に記載の画像表示制御装置。
4. 前記要安全確認対象物に対し、その危険度に応じて優先順位を設定するとともに、前記優先順位に応じて、前記対象物画像の周囲の表示の抑制の度合いを変更することを特徴とする請求項３に記載の画像表示制御装置。
5. 前記対象物画像の周囲に帯状部を設定し、その帯状部において前記表示の抑制の度合いを変更することを特徴とする請求項４に記載の画像表示制御装置。
6. 前記優先順位が高いほど、前記表示の抑制の度合いを大きくすることを特徴とする請求項４又は５に記載の画像表示制御装置。
7. 前記画像の表示を抑制する抑制処理は、所定の色で塗りつぶす処理、所定の色で半透明で塗りつぶす処理、所定のぼかし度合いでぼかす処理、コントラストを下げる処理、輝度を下げる処理、カラー画像の彩度を下げる処理のうち、少なくとも１種であることを特徴とする請求項１〜６のいずれかに記載の画像表示制御装置。
8. 前記請求項１〜７のいずれかに記載の画像表示制御装置に、少なくとも撮像装置及び画像表示装置を備えたことを特徴とする画像表示制御システム。