JP2010128794A - 車両周辺認知支援装置 - Google Patents

Abstract

【課題】車載カメラによる撮影画像を用いて車両周囲において安全確認を要する対象に自然に意識を向けるきっかけとして、気配を感じさせ、車両周辺の状況を目視により確認するように促す車両周辺認知支援装置を提供する。
【解決手段】カメラ１２により車両の周辺が撮影された複数フレームからなる動画の撮影画像を受け取る画像受取部１と、フレームの内の１つである対象フレームにおいて、方向指示器の表示色に相当する所定の色空間に属する画素を含む画像領域を対象画像領域として検出する対象画像領域検出部２と、対象画像領域の画像に所定の重み付けを与えて生成される残像画像を生成する残像生成部３と、対象フレームに続く少なくとも１つのフレームにおいて、対象フレームの対象画像領域の座標と同じ座標に残像画像を重畳して、表示部４２に表示させる表示画像を生成する表示画像生成部４とを備える。
【選択図】図３

Description

本発明は、車両周囲において安全確認を要する対象に運転者が煩わしさを感じることなく自然に意識を向けるきっかけを与え、当該きっかけを与えた後、運転者が運転者自身の眼により確認して正しい運転行動を取ることができるように支援する車両周辺認知支援装置に関する。

車両の運転に際して、車両周辺の状況、例えば人や他の物体などの存在や接近を運転者が確認することが重要である。近年、車両にカメラを搭載して、撮影された画像を車内のモニタ装置に表示させることによって、この確認を助けるような運転支援装置や車両周辺監視装置が実用化されている。特開２００４−１７３１９５号公報（特許文献１）には隣接車線を走行する他の車両のウィンカの点灯状態をカラー画像に基づいて認識し、この認識結果に基づいて警報が必要と判定された場合に警報装置を作動させる車両監視装置が開示されている。例えば、自車が走行する車線へ当該他の車両が合流しようとしている場合や、自車と当該他の車両との距離が所定の距離よりも接近しそうな場合に警報装置が作動される。

特開２００５−１８２３０６号公報（特許文献２）には、運転者にとって運転上重要な周囲の情報を的確に提供するための車両用表示装置が開示されている。この車両用表示装置は、ウィンドシールドに設けられた表示領域に、自車両前方の風景と重ねて表示画像を表示させる装置である。車両用表示装置は、自車両の前方を撮影したカラー画像内において所定の対象物を認識し、当該対象物の「赤」の光成分を検出して、ウィンドシールドの表示領域に表示される当該対象物における「赤」の位置を強調して表示する。ここで、対象物とは、自車両に先行する先行車両や、道路標識等である。当該対象物を撮影した撮影画像中における赤の光成分とは、先行車両のストップランプや、道路標識の色に対応するものである。車両用表示装置は、運転者のアイポイントを検出し、このアイポイントの位置に基づいてウィンドシールドの表示領域における赤の光成分の位置を特定し、この位置を強調表示するための表示画像を生成する。そして、車両用表示装置は、生成した表示画像をウィンドシールドの表示領域に表示する。

特開２００４−１７３１９５号公報（第３５〜３７段落等） 特開２００５−１８２３０６号公報（第１７〜４２段落等）

特許文献１の車両監視装置は、点滅の状態を認識し、警報を要するか否かを判定するため、演算負荷の重いものとなる。また、意識を向けるきっかけを与えるというよりも、積極的に警報を発しているために、運転者によっては煩わしさを覚える場合がある。特許文献２の車両用表示装置は、道路標識や先行車両を認識した上で、赤の光成分を検出するので、やはり演算負荷の重いものである。さらに、運転者のアイポイントに基づいて表示画像を生成するには、アイポイントを特定するためのカメラが必要となる。また、意識を向けるきっかけを与えるというよりも、積極的に強調表示を行うために、運転者によっては、やはり煩わしさを覚える可能性がある。

また、運転に際しては運転者による直接の目視が重要である。目視、つまり、動的に顔を動かすことによる運動効果によって、運転者の思考力や判断力、運転操作に関わる反応力の向上も期待できる。従って、車両周辺の状況を目視するように促す認知支援が重要である。しかし、意識を向けるきっかけとして気配を感じさせて目視を促す認知支援のような間接的な報知を行うシステムはほとんど提案されていない。

本発明は、上記課題に鑑みて創案されたもので、車載カメラによる撮影画像を用いて人の感性に訴えかけて気配を感じさせ、車両周辺の状況を目視により確認するように促す車両周辺認知支援装置を、比較的簡易且つ安価な構成により提供することを目的とする。

上記目的を達成するための本発明に係る車両周辺認知支援装置の特徴構成は、
車両の周辺を撮影する車載カメラにより撮影された複数フレームからなる動画の撮影画像を受け取る画像受取部と、
前記撮影画像を構成するフレームの内の１つである対象フレームにおいて、方向指示器の表示色に相当する所定の色空間に属する画素を含む画像領域を対象画像領域として検出する対象画像領域検出部と、
前記対象画像領域の画像に所定の重み付けを与えて生成される残像画像を生成する残像生成部と、
前記対象フレームに続く少なくとも１つのフレームにおいて、前記対象フレームの前記対象画像領域の座標と同じ座標に前記残像画像を重畳して、表示装置に表示させる表示画像を生成する表示画像生成部と、を備える点にある。

動画は、良く知られているように複数のフレームにより構成される。１つのフレームにおいて検出された対象画像領域の画像を、後続のフレームの同じ座標に表すことにより、非常に簡単に残像を作り出すことができる。残像により、運転者は、「『何か』が出現した」、「『何か』が起こった」等の状況の変化を「気配」として感じることができる。そして、運転者が感じるのは「気配」であるから、車両周辺の状況を目視により確認しようとする動機付けとなる。その結果、「『何か』が出現した」、「『何か』が起こった」等の状況の変化が生じた際に、運転者に対して目視確認を良好に促すことが可能となり、運転の安全性が向上する。また、本構成によれば、他の車両等の存在を認識する必要もなく、本来人間が有する能力を活かすことによって、非常に単純な画像処理のみで機能を実現することが可能である。従って、車両周辺認知支援装置を安価に構成することができる。また、警報を発するようなものでもないので、運転者に対して煩わしさを感じさせることもない。これは、不必要な対象物に対して残像を生じさせることがあったとしても、煩わしさを感じさせにくいことにもつながる。従って、利便性の高い車両周辺認知支援装置を提供することが可能となる。

また、本発明に係る車両周辺認知支援装置は、前記所定の重み付けが、前記対象フレームとの撮影時間差が長くなるに従って重みが小さくなるように設定されると好適である。

残像は、時間の経過と共に、薄くなっていることが好ましい。残像画像を生成するに当たっての重み付けが、対象画像領域が検出された対象フレームから離れるに従って小さくなると時間の経過と共に残像の効果が弱くなるので良好に残像画像を生成することができる。

また、本発明に係る車両周辺認知支援装置は、前記対象画像領域検出部が、前記撮影画像を構成する各フレームを前記対象フレームとして前記対象画像領域を検出すると好適である。

撮影画像を構成する各フレームを対象フレームとすることで、連続感のある（シームレス（seamless）な）残像画像を生成することが可能となる。

また、本発明に係る車両周辺認知支援装置は、
前記車両の後方の情景を映す鏡面部と、前記表示画像の少なくとも一部を表示可能な表示部とを有して前記表示装置として機能するルームミラーを備え、
前記車載カメラが、前記車両の後方を撮影するカメラであり、
前記表示画像生成部が、前記撮影画像を消去した白紙画像に対して前記残像画像を重畳して前記表示画像を生成すると好適である。

ルームミラー上に残像を映し出すことによって、運転者は、「『何か』が出現した」、「『何か』が起こった」等の状況の変化を「気配」として感じることができる。ルームミラーを介して感じた「気配」に基づいて車両周辺の状況を目視により確認しようとする運転者の行為は、乗り慣れた運転作用に準じた非常に自然な動作である。つまり、運転者に対して煩わしさを感じさせることなく、車両周辺の状況を目視により確認するように促す車両周辺認知支援装置を提供することが可能となる。尚、ルームミラーの表示部における残像画像の位置は、鏡面部に映る情景と厳密に一致している必要はない。残像画像により運転者が「気配」を感じることができれば充分であるからである。また、一般的に運転者は運転前に自分のアイポイントに合わせてルームミラーの姿勢を調整するから、ルームミラーに映る情景は運転者の違いによらず、ほぼ同等のものとなる。従って、残像画像の位置を個々のケースに応じて厳密に調整しなくても、違和感のない位置に残像画像を表示させることが可能である。

以下、本発明の車両周辺認知支援装置の実施形態を図面に基づいて説明する。図１及び図２は、車両周辺認知支援装置が搭載される車両３０の基本構成を示したものである。運転席に備えられたステアリング２４は、パワーステアリングユニット３３と連動し、回転操作力を前輪２８ｆに伝えて車両３０の操舵を行う。車両３０の前部にはエンジン３２と、このエンジン３２からの動力を変速して前輪２８ｆや後輪２８ｒに伝えるトルクコンバータやＣＶＴ等を有する変速機構３４とが配置されている。車両３０の駆動方式（前輪駆動、後輪駆動、四輪駆動）に応じて、前輪２８ｆ及び後輪２８ｒの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル２６と、前輪２８ｆ及び後輪２８ｒのブレーキ装置３１を介して前輪２８ｆ及び後輪２８ｒに制動力を作用させるブレーキペダル２７とが並列配置されている。

運転席の近傍のコンソールの上部位置には、モニタ２０が備えられている。モニタ２０は、バックライトを備えた液晶式のものである。モニタ２０には、感圧式や静電式によるタッチパネルが形成され、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付け可能に構成されていると好適である。また、モニタ２０には、スピーカも備えられており、種々の案内メッセージや効果音を発することができると好適である。車両３０にナビゲーションシステムが搭載される場合、モニタ２０はナビゲーションシステムの画面表示に用いられるものを兼用すると好適である。尚、モニタ２０は、プラズマ表示型のものやＣＲＴ型のものであっても良く、スピーカは、ドアの内側など他の場所に備えられても良い。

また、運転席の上方には、車両の後方の情景を映すルームミラー４０が備えられている。このルームミラー４０は、鏡として機能して車両３０の後方の情景を映す鏡面部４１と、モニタ２０と同様の表示画像の少なくとも一部を表示可能な表示部４２とを有して構成されている。モニタ２０や表示部４２、表示部４２を含むルームミラー４０は、本発明の表示装置に相当する。ここで、鏡面部４１は、ハーフミラーとなっており、このハーフミラーの内側に表示部４２として液晶ディスプレイが備えられている。液晶ディスプレイが消灯しているときには、ハーフミラーは鏡として機能する。液晶ディスプレイを介して表示画像が表示されると、ハーフミラーに映る後方の情景に、表示画像が重畳されることになる。

尚、この重畳には、アルファブレンディング（α(alpha) blending）の技法を用いてもよい。コンピュータ上などで扱われる色の情報には、ＲＧＢ等の色空間に加えて、透過情報用の色チャンネル（αチャンネル）がある。この透過情報の値、つまりα値を掛け合わせることで、半透明の画像を生成することができる。アルファブレンディングを用いることにより、よりうっすらと気配を与えることができる。従って、より運転者に煩わしさを感じさせることなく、自然に意識を向けるきっかけを与えるシステムを構築することができる。

ステアリング２４の操作系にはステアリングセンサ１４が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー２５の操作系にはシフト位置センサ１５が備えられ、シフト位置が判別される。アクセルペダル２６の操作系にはアクセルセンサ１６が備えられ、操作量が計測される。ブレーキペダル２７の操作系にはブレーキセンサ１７が備えられ、操作の有無などが検出される。

また、移動距離センサとして、前輪２８ｆ及び後輪２８ｒの少なくとも一方の回転量を計測する回転センサ１８が備えられる。本実施形態では、後輪２８ｒに回転センサ１８が備えられた場合を例示している。尚、移動距離については、変速機構３４において、駆動系の回転量から車両３０の移動量を計測するようにしてもよい。また、車両３０には本発明の車両周辺認知支援装置の中核となるＥＣＵ（electronic control unit）１０が配置されている。

車両３０の後部には、車両３０の後方の情景を撮影するカメラ１２が備えられている。カメラ１２は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、当該撮像素子に撮像された情報を複数のフレームから構成される動画情報としてリアルタイムに出力するデジタルカメラである。カメラ１２は、例えば、１５フレーム／秒や３０フレーム／秒の動画を撮影する。カメラ１２は、広角レンズを備えており、例えば左右約１４０度程度の画角を有している。カメラ１２は、車両３０の後方に向けて例えば３０度程度の俯角を有して設置され、概ね後方８ｍ程度までの領域を撮影する。撮影された画像は、ＥＣＵ１０に入力される。

カメラ１２は、例えば駐車支援に利用され、例えば、シフトレバー２５がリバースにセットされたことがシフト位置センサ１５によって検出されると、カメラ１２は撮影を開始する。撮影された情景は、モニタ２０に表示される。運転者は、モニタ２０に表示される車両後方の情景を参考にしながら、駐車や方向転換などの運転を行う。また、回転センサ１８により車両の速度を検出し、ステアリングセンサ１４により操舵角を検出して、撮影画像にガイドラインを重畳表示させることもできる。さらに、アクセルセンサ１６やブレーキセンサ１７の検出結果を利用して、駐車目標位置への誘導等を行うことも可能である。

一方、通常走行中、つまり車両３０が一般的な走行速度で前進している場合には、カメラ１２はその機能をほとんど発揮していない。車両３０が非常に低速で走行している場合、例えば、時速５〜１０ｋｍ未満で走行しているような場合には、いつでも良好な撮影画像を提供できるように、撮影を開始してもよい。しかし、車両３０が時速３０〜４０ｋｍ以上で走行している場合には、いきなり後退することはないので、カメラ１２は撮影を中止していても問題はない。つまり、車両３０が通常走行している間におけるカメラ１２の稼働率は非常に低いものである。

本実施形態において車両周辺認知支援装置は、車両３０の後方を走行する他の車両が進路を変更する際の気配を運転者に感じさせる。前進運転中の運転者の注意の大部分は、前方に向いている。一方、上述したように、後方の情景を撮影可能なカメラ１２は、車両３０が前進している際にはその機能を発揮していない。そこで、車両周辺認知支援装置は、車両３０が前進している時に、カメラ１２により撮影された撮影画像を利用して後方を監視して、「『何か』が出現した」、「『何か』が起こった」等の状況の変化を「気配」として運転者に知らせる。

図３は、本発明の車両周辺認知支援装置の構成を模式的に示すブロック図である。図３に示すように、本実施形態において、車両周辺認知支援装置はＥＣＵ１０を中核として構成されている。ＥＣＵ１０は、画像受取部１と、対象画像領域検出部２と、残像生成部３と、表示画像生成部４との各機能部を有して構成される。ＥＣＵ１０は、例えば、マイクロコンピュータやＤＳＰ（digital signal processor）などによって構成されており、上記各機能部は、プログラム等によってその機能を分担することが可能である。従って、上記各機能部は、物理的に独立して設けられる必要はなく、同一のハードウェアを兼用してプログラム等のソフトウェアとの協働によってその機能が実現されれば充分である。

画像受取部１は、車両３０の周辺を撮影するカメラ１２（車載カメラ）により撮影された複数フレームから構成される動画の撮影画像を受け取る機能部である。対象画像領域検出部２は、撮影画像を構成するフレームの内の１つである対象フレームにおいて、方向指示器の表示色に相当する所定の色空間に属する画素を含む画像領域を対象画像領域として検出する機能部である。残像生成部３は、対象画像領域の画像に所定の重み付けを与えて生成される残像画像を生成する機能部である。表示画像生成部４は、対象フレームに続く少なくとも１つのフレームにおいて、対象フレームの対象画像領域の座標と同じ座標に残像画像を重畳して、表示装置に表示させる表示画像を生成する機能部である。

好適には、図３に示すように、ルームミラー４０が有する表示部４２に生成された表示画像が表示されるが、理解を容易にするために、初めにモニタ２０に表示画像が表示される場合を例として説明する。図４、図５及び図７は、モニタ２０に表示される表示画像の一例を示す図である。図６は、表示画像の生成原理を示す説明図である。

モニタ２０に表示される表示画像は、運転者が前方を向いて確認する画像であるので、撮影画像に対する鏡像画像が基本となっている。図４は、モニタ２０に表示される表示画像の一例を示す図である。具体的には、図４は、撮影画像を構成する複数のフレームＦの内の１つのフレームＦ１が、歪み補正、色補正等の所定の画像処理を施されてモニタ２０に表示された例である。歪み補正、色補正等の所定の画像処理は、ＥＣＵ１０に備えられた不図示の画像補正部などによって実施される。フレームＦ１は、自車両である車両３の後続車両が車線変更のために方向指示器を点滅させた状態を捉えたフレームである。

対象画像領域検出部２は、フレームＦ１において、方向指示器の表示色に相当する所定の色空間に属する画素を含む画像領域を対象画像領域Ｒ１（Ｒ）として検出する。フレームＦ１は、本発明の対象フレームに相当する。また、方向指示器の表示色に相当する所定の色空間とは、赤色や橙色に対応する色を表す色空間である。

残像生成部３は、対象画像領域Ｒ１の画像に所定の重み付けを与えて残像画像を生成する。図５は、図４に示すフレームＦ１から１０フレーム後のフレームＦ１１に、残像画像Ａ（Ａ１〜Ａ１０）が重畳された表示画像の例である。図４に示すフレームＦ１から図５に示すフレームＦ１１までの間、後続車両の方向指示器は点滅しており、フレームＦ１からフレームＦ１０の１０のフレームにおいて検出された対象画像領域Ｒ１〜Ｒ１０に対応して、残像画像Ａ１〜Ａ１０が生成される。

図６は、フレームＦに残像画像Ａを重畳して表示画像を生成する原理を示す説明図である。ここでは、説明を容易にするために、カメラ１２が１０フレーム／秒の動画を撮影するデジタルカメラであるとして説明する。ＥＣＵ１０は、この動画を受け取り、受け取った動画のフレームから対象画像領域Ｒを検出して、残像画像Ａを生成する。図６に示す例において、ＥＣＵ１０が受け取った最新のフレームＦは、フレームＦ１１である。このフレームＦ１１よりも１秒前には、ＥＣＵ１０は、フレームＦ１を受け取っており、以降、０．１秒ごとにフレームＦ２〜Ｆ１０を受け取っている。

フレームＦ１〜Ｆ１０は、それぞれ対象フレームとなる。フレームＦ１を対象フレームとして、方向指示器の表示色に相当する画素を含む画像領域が対象画像領域Ｒ１として検出される。また、フレームＦ２を対象フレームとして、同様に対象画像領域Ｒ２が検出される。以下同様に、フレームＦ３〜Ｆ１０をそれぞれ対象フレームとして、それぞれ対象画像領域Ｒ３〜Ｒ１０が検出される。つまり、最新のフレームＦ１１の過去１秒間の各フレームから、対象画像領域Ｒが検出される。

次に、それぞれの対象画像領域Ｒ１〜Ｒ１０の画像に所定の重み付けを与えて、それぞれ残像画像Ａ１〜Ａ１０が生成される。ここで、所定の重み付けは、最新のフレームＦ１１、つまり、表示画像として表示されるベースとなるフレームＦから見て新しいほど、高い重み付けを与えられる。一例として、フレームＦ１０から検出された対象画像領域Ｒ１０には、１００％の重み付けが設定されて、残像画像Ａ１０が生成される。フレームＦ９から検出された対象画像領域Ｒ９には、Ｒ１０よりも低い重み付けである９０％の重み付けが設定されて、残像画像Ａ９が生成される。以下、フレームＦ８にて検出された対象画像領域Ｒ８から、フレームＦ１にて検出された対象画像領域Ｒ１まで、順次低い重み付けが与えられて、それぞれ、残像画像Ａ８〜Ａ１が生成される。

このように、所定の重み付けは、対象フレームとの撮影時間差が長くなるに従って重みが小さくなるように設定される。図６に示した例においては、１０％ずつリニアに重み付けが低下する例を示したが、当然ながら、これに限定されるものではない。対数的な変化や、二次曲線に応じた変化などでもよい。

それぞれの残像画像Ａは、対象画像領域Ｒと同じ座標上の画像として生成される。図４及び図５に示すように、後続車両が図示右方向へと移動してくるに従って、対象画像領域Ｒの座標もフレームＦ上において右方向へ移動し、残像画像Ａも右方向へ移動する。過去１秒間の１０枚の残像画像Ａ１〜Ａ１０が重畳されると、１秒間の軌跡を示す残像画像となる。最新のフレームＦ１１に対して、１０枚の残像画像Ａ１〜Ａ１０を重畳することによって、最新のフレームＦ１１をベースとした表示画像が生成される。生成された表示画像の一例は、図５に示すような画像である。後続車両に方向指示器の軌跡を示す残像が重畳されている。

上述したように、古いフレームＦから生成された残像画像Ａほど、重み付けが低いので、以降、最新のフレームがフレームＦ１２となると、最も古い残像画像Ａ１は、フレームＦ１１に重畳されなくなる。図６に示すように、表示画像のベースとなるフレームＦ１１においても、対象画像領域Ｒ１１が検出され、残像画像Ａ１１が生成される。従って、最新のフレームＦがフレームＦ１２となると、最新の残像画像Ａ１１がフレームＦ１２に重畳されるようになる。例えば、フレームＦ１５が最新のフレームＦとなる場合には、図７に示すように、フレームＦ５〜Ｆ１４から生成された残像画像Ａ５〜Ａ１４が重畳される。

図５に示す例においては、対象フレームＦ１〜Ｆ１０に続く１つのフレームＦ１１において、対象フレームＦ１〜Ｆ１０の対象画像領域Ｒ１〜Ｒ１０の座標と同じ座標に残像画像Ａ１〜Ａ１０を重畳して、表示画像が生成される。図７に示す例においては、対象フレームＦ５〜Ｆ１４に続く１つのフレームＦ１５において、対象フレームＦ５〜Ｆ１４の対象画像領域Ｒ５〜Ｒ１４の座標と同じ座標に残像画像Ａ５〜Ａ１４を重畳して、表示画像が生成される。

１つの対象フレームに着目すれば、当該対象フレームに続く少なくとも１つのフレームにおいて、対象フレームの対象画像領域の座標と同じ座標に残像画像を重畳して、表示画像が生成される。例えば、フレームＦ１を対象フレームとすれば、対象フレームＦ１に続くフレームＦ２〜Ｆ１１において、対象フレームＦ１の対象画像領域Ｒ１の座標と同じ座標に残像画像Ａ１が重畳される。

上記例においては、撮影画像を構成する各フレームを対象フレームとして対象画像領域が検出される場合を示した。しかし、これに限定されることなく、数フレーム置きに対象フレームを設定してもよい。

このように、「残像」を重畳させることによって、運転者は、「『何か』が出現した」、「『何か』が起こった」等の状況の変化を「気配」として感じることができる。そして、この「気配」は、運転者が、車両周辺の状況を目視により確認しようとする動機付けとなる。従って、「『何か』が出現した」、「『何か』が起こった」等の状況の変化が生じた際に、運転者に対して目視確認を良好に促すことが可能となる。その結果、運転者が本来有する安全運転への意識を、正しい運転動作へとスムーズに反映させることができ、運転の安全性が向上する。

上記においては、理解を容易にするために、「残像」を含む車両３０の後方の情景を、モニタ２０に表示させる場合を例として説明した。運転中にモニタ２０を注視することは好ましくないが、本発明のように、残像を表示して気配を感じさせるだけであれば、安全上の観点からもほとんど問題ないからである。しかし、より好ましくは、運転者が頻繁に確認するルームミラー４０に残像が表示されるとよい。つまり、表示装置として、ルームミラー４０を利用すると好適である。

上述したように、本実施形態においてルームミラー４０は、鏡として機能して車両３０の後方の情景を映す鏡面部４１と、モニタ２０と同様の表示画像の少なくとも一部を表示可能な表示部４２とを有して構成されている。鏡面部４１は、ハーフミラーとなっており、このハーフミラーの内側に表示部４２として液晶ディスプレイが備えられている。モニタ２０の画面、つまり、一般的な横置きのデジタル画像の横と縦の画素数の比率は４：３であり、ワイドタイプの場合の比率合は５：３である。これに対して、一般的にルームミラー４０の横と縦の長さの比率は、３：１よりも横長であるため、横の長さを基準とすると、上下方向がカットされた表示画像の一部がルームミラー４０の表示部４２に表示されることになる。

残像画像Ａを含む表示画像がルームミラー４０の表示部４２に表示されることによって、運転者に残像画像を良好に示すことができる。但し、ルームミラー４０は、鏡面部４１も有しており、車両３０の後方の情景は、カメラ１２による撮影画像である必要はない。従って、ルームミラー４０の表示部４２に表示させる表示画像を生成する場合には、表示画像生成部は、撮影画像（フレームＦ）を消去した白紙画像に対して残像画像Ａを重畳して表示画像を生成する。つまり、ルームミラー４０の表示部４２に表示される表示画像は、複数のフレームＦから生成された複数の残像画像Ａの集合のみである。

図８は、ルームミラーの表示部に表示される表示画像の一例を示す図である。図８には、ルームミラー４０の鏡面部４１に映る車両３０の後方の情景と、表示画像としての残像画像Ａとが重ね合わされた様子を示している。運転者は、ルームミラー４０に映し出される残像画像により、気配を感じることが可能である。

尚、上述したように、残像画像Ａの座標は、撮影画像（フレームＦ）の座標に対応している。ルームミラー４０に映る車両３０の後方の情景は、撮影画像ではないが、残像画像Ａの表示位置は、大きくずれることはない。運転者は、運転を開始する前に、運転姿勢においてルームミラー４０の角度を調整し、良好に後方視界が確保できようにする。従って、運転者の体格、運転席の位置や姿勢等に拘わらず、ルームミラー４０の鏡面図４１に映る情景はほぼ同一となる。従って、ルームミラー４０の表示部４２の標準的な座標値を設定し、この標準的な座標値と撮影画像の座標値とを対応させれば、簡単な座標変換により、大きなずれを発生することなく、残像画像Ａを表示部４２に映し出すことができる。

また、フレームＦにおいて残像画像Ａの座標値を設定する解像度と、ルームミラー４０の表示部４２における座標値の解像度（分解能）を異ならせることで、ずれを吸収するようにすることもできる。モニタ２０は、ナビゲーションシステム等の表示装置として利用されるため、概ねＱＶＧＡ（３２０画素×２４０画素）やＶＧＡ（６４０画素×４８０画素）の解像度を有している。従って、残像画像Ａの座標値もＱＶＧＡやＶＧＡの解像度を有することとなる。これに対して、ルームミラー４０の表示部４２には、精細な描写は求められない。従って、ＱＶＧＡ相当の解像度よりもさらに低い解像度であって問題はない。

ルームミラー４０の表示部４２の解像度がＱＶＧＡのさらに１／４であるとする。フレームＦの解像度がＱＶＧＡであったとすれば、残像画像Ａの４画素分がルームミラー４０の表示部４２の１画素分に相当する。残像画像Ａの座標値が１画素分ずれても、ルームミラー４０の表示部４２においては、同じ座標又は隣の座標となるから、実質的にずれは生じない。フレームＦの解像度がＶＧＡであったとすれば、残像画像Ａの１６画素分がルームミラー４０の表示部４２の１画素分に相当する。この場合には、さらに、残像画像Ａの座標値が最大１５画素分ずれた場合でも、ルームミラー４０の表示部４２においては同じ座標、又は隣の座標となる。残像は、気配を伝える物であり、厳密な座標値は要求されない。従って、撮影画像のフレームＦから求められた座標値に基づいて、ルームミラー４０の表示部４２に残像画像Ａを表示させても、違和感なく残像を映し出すことが可能である。

また、図３に点線で示すように、ルームミラー４０の取り付け部にミラー姿勢検出部４５として、角度センサ等を設け、ルームミラー４０の角度に応じて、座標値を補正するようにしてもよい。あるいは、ルームミラー４０の表示部４２に撮影画像を淡く表示し、この撮影画像と鏡面部４１に映る反射像とが重なるように、ルームミラー４０を調整する調整モードが設けられていてもよい。

動画は、良く知られているように複数のフレームにより構成される。そして、上述したように、１つのフレームにおいて検出された対象画像領域の画像を、後続のフレームの同じ座標に表すことにより、非常に簡単に残像を作り出すことができる。この残像をモニタ２０やルームミラー４０の表示部４２に表示させることにより、運転者は、「『何か』が出現した」、「『何か』が起こった」等の状況の変化を「気配」として感じることができる。そして、この「気配」は、車両３０の周辺の状況を目視により確認しようとする動機付けとなる。従って、「『何か』が出現した」、「『何か』が起こった」等の状況の変化が生じた際に、運転者に対して目視確認を良好に促すことが可能となる。その結果、運転者が本来有する安全運転への意識を、正しい運転動作へとスムーズに反映させることができ、運転の安全性が向上する。

また、本発明の車両周辺認知支援装置は、他の車両等の存在を認識する必要もなく、非常に単純な画像処理のみで機能を実現することが可能である。つまり、図３に示したＥＣＵ１０の機能は極めて単純であり、カメラ１２にＥＣＵ１０の各機能部を内蔵させることも可能である。その場合には、車両ごとに何ら調整を加える必要もなく、カメラ１２を各車両に搭載することによって、本発明の残像の効果が得られる。近年、カメラ１２のような車載カメラは、基本的な画像処理を担うプロセッサやＤＳＰが内蔵されたカメラモジュールとして構成されるようになってきている。そのようなプロセッサやＤＳＰにとって、上述したような残像画像を生成したり、表示画像を生成したりする画像処理は軽い処理である。従って、実質的に何らコストアップすることなく、機能を追加することができ、付加価値の高い車載カメラ（車載カメラモジュール）を提供することが可能となる。

車両の運転席前方の説明図 車両の基本構成を示すブロック図 車両周辺認知支援装置の構成を模式的に示すブロック図 モニタに表示される表示画像の一例を示す図 モニタに表示される表示画像の一例を示す図 表示画像の生成原理を示す説明図 モニタに表示される表示画像の一例を示す図 ルームミラーの表示部に表示される表示画像の一例を示す図

符号の説明

１：画像受取部
２：対象画像領域検出部
３：残像生成部
４：表示画像生成部
１０：ＥＣＵ（車両周辺認知支援装置）
１２：カメラ（車載カメラ）
２０：モニタ（表示装置）
４０：ルームミラー（表示装置）
４１：鏡面部
４２：表示部
Ａ、Ａ１〜Ａ１４：残像画像
Ｆ、Ｆ１〜Ｆ１１、Ｆ１５：フレーム
Ｒ、Ｒ１〜Ｒ１１：対象画像領域

Claims (4)

1. 車両の周辺を撮影する車載カメラにより撮影された複数フレームからなる動画の撮影画像を受け取る画像受取部と、
   前記撮影画像を構成するフレームの内の１つである対象フレームにおいて、方向指示器の表示色に相当する所定の色空間に属する画素を含む画像領域を対象画像領域として検出する対象画像領域検出部と、
   前記対象画像領域の画像に所定の重み付けを与えて生成される残像画像を生成する残像生成部と、
   前記対象フレームに続く少なくとも１つのフレームにおいて、前記対象フレームの前記対象画像領域の座標と同じ座標に前記残像画像を重畳して、表示装置に表示させる表示画像を生成する表示画像生成部と、
   を備える車両周辺認知支援装置。
2. 前記所定の重み付けは、前記対象フレームとの撮影時間差が長くなるに従って重みが小さくなるように設定される請求項１に記載の車両周辺認知支援装置。
3. 前記対象画像領域検出部は、前記撮影画像を構成する各フレームを前記対象フレームとして前記対象画像領域を検出する請求項１又は２に記載の車両周辺認知支援装置。
4. 前記車両の後方の情景を映す鏡面部と、前記表示画像の少なくとも一部を表示可能な表示部とを有して前記表示装置として機能するルームミラーを備え、
   前記車載カメラは、前記車両の後方を撮影するカメラであり、
   前記表示画像生成部は、前記撮影画像を消去した白紙画像に対して前記残像画像を重畳して前記表示画像を生成する請求項１〜３の何れか一項に記載の車両周辺認知支援装置。

Images