JP2018147035A - 表示装置、移動体及び表示システム - Google Patents

Abstract

【課題】運転者等の移動体搭乗者に対し、死角領域の対象物を迅速に認識させることを課題とする。【解決手段】移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置において、前記移動体の外部機器から、前記視界中の死角領域に存在する対象物を示す対象物情報を取得する対象物情報取得手段と、前記対象物情報取得手段により取得した対象物情報に基づき、前記対象物を示す重畳画像を生成する画像生成手段と、前記視界中の前記死角領域に重ねて、又は、前記死角領域に対応する前記視界画像中の画像部分に重ねて、前記画像生成手段により生成された重畳画像を表示する表示手段とを有する。【選択図】図１

Description

本発明は、自動車等の移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置、移動体及び表示システムに関するものである。

特許文献１には、車両情報（速度や回転数など）やナビゲーション情報などを示す画像情報を、自車両のフロントガラスを通じて視認される自車両前方の視界に重なるように、自車両のフロントガラスに投影表示するヘッドアップディスプレイが開示されている。

特許文献２には、自車両のカメラで自車両前方を撮影して得られる撮像画像中における前方車両によって死角となっている部分に、前方車両のカメラで撮像された画像を重ね合わせ、前方車両を透過した合成画像を生成する車載画像処理装置が開示されている。この車載画像処理装置では、生成した合成画像を、フロントガラスとは別の場所に配置される液晶ディスプレイ等の表示画面に表示させる。

前記特許文献１に開示のヘッドアップディスプレイは、自車両に搭載されているセンサやカメラ等の機器によって得られる情報に基づいた画像（重畳画像）を、車両のフロントガラス（光透過性の前方ウィンドシールド）に投影表示するものである。このような自車両に搭載の機器で得られる情報では、自車両のフロントガラスを通じて視認される自車両前方の視界中における死角領域に存在する対象物を把握することはできない。したがって、そのような死角領域に存在する対象物を示す画像を、フロントガラスを通じて視認されるように前記死角領域に重ねて表示することはできない。

一方、前記特許文献２に開示の車載画像処理装置は、前方車両のカメラで撮像された画像を自車両で受信することにより、自車両のフロントガラスを通じて視認される自車両前方の視界中における前方車両による死角領域に存在する対象物を把握することが可能である。しかしながら、この車載画像処理装置では、前記合成画像をフロントガラスとは別の場所に配置される液晶ディスプレイ等の表示画面に表示するため、死角領域に存在する対象物を認識するには、フロントガラスとは別の表示画面へ運転者の視線を移させなければならず、死角領域の対象物を運転者に迅速に認識させることが困難である。

本発明の一態様に係る表示装置は、移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置において、前記移動体の外部機器から、前記視界中の死角領域に存在する対象物を示す対象物情報を取得する対象物情報取得手段と、前記対象物情報取得手段により取得した対象物情報に基づき、前記対象物を示す重畳画像を生成する画像生成手段と、前記視界中の前記死角領域に重ねて、又は、前記死角領域に対応する前記視界画像中の画像部分に重ねて、前記画像生成手段により生成された重畳画像を表示する表示手段とを有する。

前記表示装置において、前記外部機器は、撮像手段であり、前記対象物情報は、前記撮像手段により前記死角領域内の前記対象物を撮像して得られる撮像画像を含むものであってもよい。
また、前記表示装置において、前記画像生成手段は、前記対象物情報取得手段により取得した撮像画像に基づき、前記ウィンドシールドから視認されるときに死角となる視界部分を映し出す死角領域視界画像を、前記重畳画像として生成するものであってもよい。
また、前記表示装置において、前記表示手段は、前記視界中の前記死角領域に重ならない重畳画像部分、又は、前記死角領域に対応する前記視界画像中の画像部分に重ならない重畳画像部分を、非表示にするものであってもよい。
また、前記表示装置において、前記ウィンドシールドは、前記移動体の前方ウィンドシールドであり、
前記表示手段は、前記前方ウィンドシールド上の側部領域から視認される移動体外部の前方視界中の側部に重なる重畳画像部分、又は、該前方視界中の側部を映し出す前記視界画像中の画像部分に重なる重畳画像部分を、非表示にするものであってもよい。
また、前記表示装置において、前記対象物情報取得手段は、移動通信網を介して前記対象物情報を前記外部機器から受信して取得するものであってもよい。
また、前記表示装置において、前記対象物情報取得手段は、前記外部機器との間の無線通信により前記対象物情報を受信して取得するものであってもよい。
また、前記表示装置において、前記外部機器は、前記移動体が移動する移動経路の周辺に配置されている機器を含んでもよい。
また、前記表示装置において、前記外部機器は、前記移動体とは別の移動体に配置されている機器を含んでもよい。
また、前記表示装置において、前記別の移動体は、前記移動体と同方向へ移動する同方向移動体を含んでもよい。
また、前記表示装置において、前記外部機器は、前記対象物に配置されている機器を含み、前記対象物情報は、前記対象物の位置情報を含むものであってもよい。
また、前記表示装置において、前記表示手段は、前記移動体の光透過性ウィンドシールドから視認される移動体外部の視界に重ねて前記重畳画像を表示するものであってもよい。
また、前記表示装置において、前記表示手段は、前記移動体のウィンドシールド上に、該移動体上の撮像手段によって撮像した前記視界を映し出す視界画像に前記重畳画像を重ねた合成画像を表示するものであってもよい。
また、前記表示装置において、前記表示手段は、所定の非表示条件を満たすときは、前記重畳画像の全体を非表示にするものであってもよい。

本発明の他の態様に係る移動体は、ウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置を備えた移動体において、その表示装置として、前記表示装置を用いたものである。
ここでいう移動体は、光透過性のウィンドシールドを通じて移動体外部の視界を直接的に視認可能な移動体、又は、光不透過性ウィンドシールドの内壁面に配置される表示画面に移動体外部の視界を映し出す視界画像を表示することにより移動体外部の視界を間接的に視認可能な移動体のいずれであってもよい。また、移動体には、乗用車、バス、トラック若しくは自動二輪車を含む自動車、線路上を走行する鉄道車両、航空機、船舶、産業用重機あるいは産業用ロボットなどが含まれる。

また、本発明の更に他の態様に係る表示システムは、移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置が、前記移動体に設けられ、前記視界中の死角領域に存在する対象物を示す対象物情報を発信する外部機器が、前記移動体の外部に設けられた表示システムであって、その表示装置として、前記表示装置を用いたものである。

本発明によれば、移動体のウィンドシールドから視認される視界中の死角領域に存在する対象物を示す重畳画像が、そのウィンドシールドから視認される視界中の当該死角領域に重ねて表示され、又は、当該死角領域に対応する視界画像中の画像部分に重ねて表示されるので、運転者等の搭乗者に対し、死角領域の対象物を迅速に認識させることができる。

本発明の実施形態に係る表示システムの一例を示す説明図。 本発明の実施形態に係る表示システムの他の例を示す説明図。 本実施形態における表示装置を搭載する自車両の構成を示す模式図。 本実施形態における表示装置で用いるＨＵＤの構成を示す説明図。 本実施形態の表示装置における画像処理装置の主要構成を示すハードウェアブロック図。 本実施形態における表示装置の機能ブロック図。 本実施形態における先行車両に搭載されるカメラの機能ブロック図。 本実施形態における自車両及び先行車両を側方から見たときの説明図。 本実施形態における表示装置により先行車両撮像画像を表示してない状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 本実施形態における表示装置により先行車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 本実施形態の表示処理の流れを示すシーケンス図。 本実施形態における通信網を構成する基地局の機能ブロック図。 本実施形態における表示装置により先行車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の他の例を示す模式図。 本実施形態における表示装置により先行車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の更に他の例を示す模式図。 変形例１において、先行車両の直前を走行している先々行車両が急ブレーキをかけて先々行車両が先行車両に急接近した例を示す説明図。 変形例１における表示装置により先行車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 変形例２において、対向車線で渋滞している場合において、第一対向車両とその前に停止している第二対向車両との間を通って、歩行者が自車両の走行車線を横切ろうとしている例を示す説明図。 変形例２の表示装置により対向車両撮像画像を表示してない状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 変形例２の表示装置により対向車両撮像画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。 変形例３において、片側三車線の道路において、左車線の自車両と、中央車線の側方車両と、右車線の側々方車両とが併走している例を示す説明図。 変形例３の他の例であって、片側二車線の道路において、左車線を走行する自車両の斜め後方を同方向へ移動する側方車両が右車線を走行し、その側方車両の後方をバイクが走行している例を示す説明図。 変形例３の他の例における表示装置により側方車両撮像画像を表示した状態において、自車両の後方ウィンドシールドを通じて運転者が視認する自車両後方の視界の一例を示す模式図。 変形例４における表示装置で用いるディスプレイ装置の構成を示す説明図。 変形例４における表示装置により自車両の前方ウィンドシールド上の表示画面に表示された合成画像の一例を示す模式図。 変形例５の表示処理の流れを示すシーケンス図。 変形例５における表示装置により歩行者マーク画像を表示した状態において、自車両のフロントガラスを通じて運転者が視認する自車両前方の視界の一例を示す模式図。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の実施形態に係る表示システムの一例を示す説明図である。
本実施形態の表示システムは、移動体である自車両（乗用車、トラック、バスなど）４０（１）に搭載される表示装置１と、自車両４０（１）の前方を同一方向へ走行する別の移動体である同方向移動体としての先行車両４０（２）に搭載される外部機器である撮像手段としてのカメラ５０とを備える。なお、本実施形態では、移動体が自動車である場合について説明するが、本実施形態における移動体は、自動車のほか、線路上を走行する鉄道車両、航空機、船舶、産業用重機、産業用ロボットなどであってもよい。

本実施形態の表示システムにおいて、自車両４０（１）上の表示装置１は、先行車両４０（２）上のカメラ５０で撮像した撮像画像のデータを、通信網６０を介して受信することができる。この通信網６０は、撮像画像のデータを通信可能な通信網であれば特に制限はないが、広く普及しているセルラー方式の移動通信網であるのが好ましい。また、このような通信網６０を利用せず、例えば、図２に示すように、自車両４０（１）と先行車両４０（２）との間の無線通信（車車間通信）によって、先行車両４０（２）上のカメラ５０で撮像した撮像画像のデータを自車両４０（１）上の表示装置１が受信するようにしてもよい。

図３は、本実施形態における表示装置１を搭載する自車両４０（１）の構成を示す模式図である。
図４は、本実施形態における表示装置１で用いる表示手段としてのヘッドアップディスプレイ（以下「ＨＵＤ」という。）２０の構成を示す説明図である。
本実施形態の表示装置１は、画像処理装置１０とＨＵＤ２０とに大別することができる。ＨＵＤ２０は、例えば自車両４０（１）のダッシュボードに配置されたプロジェクタにより、自車両４０（１）の前方ウィンドシールドであるフロントガラス４２に画像を投射するものである。

ＨＵＤ２０は、主に、表示装置１の画像処理装置１０において生成される画像を表示するための画像光（光束）を照射する光照射装置２１、照射レンズ２２、画像光の照射範囲を制御するための光学レンズ２３、画像光の照射位置を制御するための反射ミラー２４、画像を拡大するための拡大レンズ２５で構成される。

光照射装置２１が照射した画像光（光束）は、照射レンズ２２及び光学レンズ２３を介して反射ミラー２４に照射される。反射ミラー２４で反射した画像光は、拡大レンズ２５で拡大されて、自車両４０（１）のフロントガラス４２に投射される。フロントガラス４２に投射された画像光は、フロントガラス４２の内壁面で反射され、自車両の運転者Ｐに向かう。したがって、本実施形態の表示装置１は、自車両のフロントガラス４２を通じて視認される自車両前方の視界に重ねて、ＨＵＤ２０によって投射される画像（重畳画像）Ｇを表示することができる。運転者Ｐは、ＨＵＤ２０によって投射された画像Ｇを、自車両のフロントガラス４２を通じて視認される自車両前方の視界に重ねた状態で、視認することができる。

投射される画像Ｇの表示範囲（画像光の照射範囲）は、光学レンズ２３を光軸方向へ移動させることで制御することができる。また、画像Ｇの表示位置（画像光の照射位置）は、反射ミラー２４の角度を変更することによって制御することができる。光学レンズ２３の移動や反射ミラー２４の角度変更は、画像処理装置１０により所定の駆動部を制御することによって行うことができる。

図５は、本実施形態の表示装置１における画像処理装置１０の主要構成を示すハードウェアブロック図である。
画像処理装置１０のハードウェアは、主に、ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、外部通信Ｉ／Ｆ１０Ｄ、データＩ／Ｆ１０Ｅから構成されている。ＣＰＵ１０Ａは、ＲＯＭ１０Ｂに記憶されている各種プログラムを実行することにより、ＨＵＤ２０の駆動制御等の画像表示制御を実行したり、各種画像処理を実行したり、表示装置１の各機能を制御したりする。ＲＯＭ１０Ｂは、ＣＰＵ１０Ａが表示装置１の各機能を制御するために実行する各種プログラムを記憶する。ＲＡＭ１０Ｃは、ＣＰＵ１０Ａのワークエリアとして使用される。外部通信Ｉ／Ｆ１０Ｄは、通信網６０を介して、先行車両４０（２）に搭載されるカメラ５０等の外部機器との通信を行ったり、自車両４０（１）のＣＡＮ（Controller Area Network）６１を介して、自車両４０（１）のナビゲーション装置、ＧＰＳ装置や車速センサなどの各種車載センサとの通信を行ったりする。データＩ／Ｆ１０Ｅは、ＨＵＤ２０との間の通信を行う。

図６は、自車両４０（１）に搭載される表示装置１の機能ブロック図である。
表示装置１の画像処理装置１０は、表示装置１の全体機能を制御する制御部１１と、先行車両４０（２）のカメラ５０により先行車両４０（２）の前方を撮像した先行車両撮像画像のデータを通信網６０を介して受信する外部通信部１２と、外部通信部１２で受信した先行車両撮像画像のデータに基づき、自車両４０（１）のフロントガラス４２を通じて視認される自車両前方の視界に重ねてＨＵＤ２０により表示させる画像（重畳画像）を生成する画像生成部１３と、画像生成部１３により生成された画像を表示するＨＵＤ２０の制御を行う表示制御部１４と、自車両４０（１）に搭載されているＧＰＳ（Global Positioning System）装置４３や各種車載センサ（車速センサ、加速度センサ、姿勢センサ、レーダー、温度センサなど）４４からの情報を自車両４０（１）のＣＡＮ６１を介して受信する車内通信部１５と、自車両４０（１）の前方を撮像して自車両撮像画像を得る撮像部１６とから構成される。

図７は、先行車両４０（２）に搭載されるカメラ５０の機能ブロック図である。
カメラ５０は、カメラ５０の全体機能を制御する制御部５１と、撮像部５３によって先行車両４０（２）の前方を撮像した先行車両撮像画像のデータを通信網６０より送信する外部通信部５２と、先行車両４０（２）の前方を撮像して先行車両撮像画像を得る撮像部５３と、先行車両４０（２）に搭載されているＧＰＳ装置４３や各種車載センサ４４からの情報を先行車両４０（２）のＣＡＮ６１を介して受信する車内通信部５４とから構成される。

図８は、自車両４０（１）及び先行車両４０（２）を側方から見たときの説明図である。
図９は、表示装置１により先行車両撮像画像を表示してない状態において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界の一例を示す模式図である。
図１０は、表示装置１により先行車両撮像画像を表示した状態において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界の一例を示す模式図である。

図示の例は、交差点を通過する直前の先行車両４０（２）に続いて、自車両４０（１）が走行している状況の例である。この状況において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界中には、図８に示すように、先行車両４０（２）による死角領域（図８中の斜線部分Ｄ）が存在する。この例では、図９に示すように、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する対象物としての信号機４５が先行車両４０（２）に隠れてしまい、信号機４５を視認することができない。そのため、自車両４０（１）の運転者Ｐは、信号機４５が赤信号になっていることに気付かずに、交差点に自車両４０（１）を進入させてしまうおそれがある。

本実施形態では、先行車両４０（２）のカメラ５０による撮像領域Ｅには先行車両４０（２）による死角領域Ｄが含まれているので、そのカメラ５０による撮像画像（先行車両撮像画像）を自車両４０（１）が受信する。そして、受信した先行車両撮像画像（重畳画像）を、ＨＵＤ２０により、図１０に示すように、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重ねて投射表示する。これにより、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する信号機４５を認識することができ、信号機４５が赤信号になっていることに気付かずに交差点に自車両４０（１）を進入させてしまう事態が抑制される。特に、本実施形態では、運転者Ｐは、フロントガラス４２から視線を外すことなく、死角領域Ｄに存在する信号機４５を認識することができるので、信号機４５を迅速に認識することができ、上述した事態をより効果的に抑制することができる。

図１１は、本実施形態の表示処理の流れを示すシーケンス図である。
本実施形態では、自車両４０（１）において所定の処理開始条件が満たされることで、自車両４０（１）に搭載される表示装置１の制御部１１の制御の下、外部通信部１２から通信網６０を通じて、先行車両４０（２）へ画像取得要求が送信される（Ｓ１）。

所定の処理開始条件は、例えば、先行車両４０（２）から受信する先行車両撮像画像を常にＨＵＤ２０により投射表示させる場合には、自車両４０（１）のイグニッションをオンにするという条件、表示装置１の電源をオンにするという条件、シフトレバーをＤポジションに操作するという条件などであってもよい。
また、所定の処理開始条件は、例えば、運転者Ｐの希望する期間だけ先行車両撮像画像を投射表示させる場合には、運転者Ｐによる処理開始操作を受け付けるという条件などであってもよい。
また、所定の処理開始条件は、例えば、予めシステム上で決められた状況（信号機４５等の対象物が死角領域Ｄに隠れた状況）の時期だけ先行車両撮像画像を投射表示させる場合には、自車両４０（１）に搭載されたセンサ等により当該状況を検知したという条件などであってもよい。なお、このような状況の検知は、例えば、自車両４０（１）に前方カメラを搭載し、その前方カメラで撮像された撮像画像に基づいて識別された信号機４５が撮像画像から識別できなくなったことを判断する方法などによって実現することができる。この方法では、信号機４５が撮像画像から識別できなくなったときに、信号機４５が死角領域Ｄに入ったことを把握することができる。

先行車両４０（２）に搭載されるカメラ５０の撮像部５３は、例えば、先行車両４０（２）のフロントガラス内壁に取り付けられたルームミラー付近に設置されている。先行車両４０（２）に搭載されたカメラ５０は、撮像部５３により、先行車両４０（２）のフロントガラスを通じて先行車両４０（２）の前方を常時撮像している。自車両４０（１）の外部通信部１２から送信された画像取得要求が先行車両４０（２）の外部通信部５２に受信されると、カメラ５０の制御部５１は、撮像部５３により撮像した撮像画像（先行車両撮像画像）を、外部通信部５２から通信網６０を通じて、自車両４０（１）へ送信する処理を開始する（Ｓ２）。

ここで、自車両４０（１）が先行車両４０（２）から先行車両撮像画像を受信するためには、画像取得要求の送信先として先行車両４０（２）を特定する必要がある。そのため、本実施形態では、以下の方法によって画像取得要求の送信先を特定する。

図１２は、本実施形態における通信網６０を構成する基地局６５の機能ブロック図である。
本実施形態における通信網６０は、セルラー方式の移動通信網である。そのため、自車両４０（１）の外部通信部１２は、移動局として、例えば、２８ＧＨｚ帯、５ＧＨｚ帯、４．２ＧＨｚ帯などの周波数帯を用いた無線通信により、自車両４０（１）が属するセルを形成する基地局６５と通信し、基地局６５からバックホール回線を介して通信網６０のコアネットワーク６２に接続される。

本実施形態の基地局６５は、主に、通信可能な移動局あるいは他の基地局との間で送受信されるデータを処理するためのデータ処理部６６、各種データを記憶する記憶部６７、セル内の各移動局と通信するための移動通信部６８、通信網６０のコアネットワーク６２に接続された他の基地局あるいは管理装置等と通信するためのバックホール通信部６９で構成される。本実施形態の基地局は、セル内のローカルデータセンターとして機能することができる。具体的には、例えば、位置情報を取得する機能（ＧＰＳ装置４３等）を備えている移動局に対しては、その移動局の現在位置を示す位置情報を当該移動局から受信し、これを記憶部６７に記憶する。これにより、基地局６５は、そのセル内に属する各移動局の位置情報をデータベースとして保持する。

自車両４０（１）における表示装置１の制御部１１は、外部通信部１２から画像取得要求を送信する際、自車両４０（１）に搭載されているＧＰＳ装置４３から取得される自車両４０（１）の位置情報に関連づけて画像取得要求を送信する。この画像取得要求が通信網６０の基地局６５に受信されると、基地局６５のデータ処理部６６は、記憶部６７に記憶されているデータベースを参照し、受信した画像取得要求に関連づけられた自車両４０（１）の位置情報から、自車両４０（１）の前方エリア内の位置情報をもつ移動局（先行車両４０（２））を特定する。そして、データ処理部６６は、特定した移動局すなわち先行車両４０（２）の外部通信部５２へ自車両４０（１）からの画像取得要求を送信する。そして、この画像取得要求を受信した先行車両４０（２）の制御部５１は、その応答として、カメラ５０の撮像部５３により撮像した先行車両撮像画像を、先行車両４０（２）に搭載されているＧＰＳ装置４３から取得される先行車両４０（２）の位置情報に関連づけて、外部通信部５２から送信する処理を実行する。

このように基地局６５がローカルデータセンターとして機能することで、同じセル内に属する移動局間における通信については、通信網６０のコアネットワーク６２を用いずに実現でき、通信網６０のコアネットワーク６２側の通信トラフィックや処理負荷を軽減することができる。したがって、本実施形態において、自車両４０（１）と先行車両４０（２）との間で行われる通信は、通信網６０のコアネットワーク６２側に通信トラフィックや処理負荷をかけることなく、実現することができる。

自車両４０（１）の制御部１１は、外部通信部１２から先行車両撮像画像を先行車両４０（２）の位置情報に関連づけて受信すると（Ｓ３）、先行車両撮像画像の視点を変換する視点変換処理を行う（Ｓ４）。この視点変換処理では、先行車両４０（２）の撮像部５３で撮像した先行車両撮像画像の視点位置を、自車両４０（１）のフロントガラス４２を通じて視認される運転者Ｐの視点位置に変換する。この視点変換処理により、先行車両４０（２）の視界を映し出す先行車両撮像画像を、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。

例えば、先行車両４０（２）の位置情報と自車両４０（１）の位置情報とから、先行車両４０（２）の撮像部５３の視点位置（先行車両撮像画像の視点位置）と自車両４０（１）の視点位置（運転者Ｐの視点位置）との位置関係を特定できる。よって、その位置関係に応じた視点変換パラメータを用いて、先行車両撮像画像の画像中心変更や画像拡大などを行い、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。より詳細な位置関係を特定する場合には、先行車両４０（２）の位置情報だけでなく、先行車両４０（２）の車両データや撮像部５３の設定情報（撮像部５３の設置高さや撮像方向のデータなど）、自車両４０（１）の車両データや自車両４０（１）の運転者Ｐの視点位置情報などを取得し、これらの情報も用いて視点変換処理を実行してもよい。

また、視点変換処理は、このような位置情報を用いずに行うことも可能である。例えば、自車両４０（１）に搭載の撮像部１６で撮像した自車両撮像画像を、先行車両４０（２）から受信した先行車両撮像画像と対比し、両画像に映し出されている被写体のマッチング処理を行う。そして、マッチングした被写体の相対位置関係を特定し、その相対位置関係に応じた視点変換パラメータを用いて、先行車両撮像画像の画像中心変更や画像拡大などを行い、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。

次に、自車両４０（１）の制御部１１は、視点変換処理後の先行車両撮像画像から、先行車両４０（２）による自車両４０（１）の死角領域（図８中の斜線部分Ｄ）に対応する画像部分を抽出する死角領域抽出処理を行う（Ｓ５）。この死角領域抽出処理は、視点変換処理後の先行車両撮像画像（重畳画像）を、ＨＵＤ２０により、図１０に示すように、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面（死角領域）に重ねて投射表示する際、死角領域Ｄではない視界部分（先行車両４０（２）の背面以外の視界部分）に先行車両撮像画像が投射表示されないようにするための処理である。

死角領域Ｄではない視界部分に先行車両撮像画像が投射表示されると、死角領域Ｄではない視界部分において、自車両４０（１）の運転者Ｐが視認できている対象物に先行車両撮像画像が重なってしまい、その対象物が見えにくくなってしまう。特に、自車両４０（１）のフロントガラス４２上の側部領域（フロントガラス４２を通じて視認される先行車両４０（２）の両側領域）は、歩行者やバイクなどが横からの飛び出してくることを運転者Ｐが察知するために重要な視界部分である。そのため、自車両４０（１）のフロントガラス４２上の側部領域については、運転者Ｐの視認性を確保することが特に重要であり、先行車両撮像画像を非表示にすることが望ましい。

本実施形態においては、死角領域抽出処理を行うことで、先行車両４０（２）による死角領域Ｄだけに先行車両撮像画像（重畳画像）が重ねて表示され、その死角領域Ｄ以外は先行車両撮像画像（重畳画像）が表示されない。したがって、自車両４０（１）のフロントガラス４２上の側部領域については、先行車両撮像画像が表示されず、運転者Ｐの視認性を確保することができる。

本実施形態の死角領域抽出処理では、自車両４０（１）に搭載の撮像部１６によって自車両４０（１）の前方を撮像した自車両撮像画像を解析して、自車両４０（１）のフロントガラス４２を通じて運転者Ｐに視認される視界中における先行車両４０（２）による死角領域Ｄを特定する。自車両撮像画像は、運転者Ｐに視認される視界の一部又は全部を含むエリアが映し出されており、図９に示すものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、先行車両４０（２）を映し出す画像部分（死角領域Ｄの画像部分）を特定する。死角領域Ｄの画像部分を特定する方法については、特に制限はなく、例えば、自車両撮像画像中のエッジ部（輝度変化が大きい部分）を抽出するなどの方法を用いることができる。

その後、自車両４０（１）の制御部１１は、表示制御部１４を介して、死角領域Ｄについて抽出した先行車両撮像画像の画像部分を、死角領域視界画像として、ＨＵＤ２０により、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重なるように投射表示する（Ｓ６）。これにより、図１０に示すように、先行車両４０（２）によって死角となっていた信号機４５を映し出す先行車両撮像画像の画像部分が、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重ねて投射表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する信号機４５を認識することができ、信号機４５が赤信号になっていることに気付かずに交差点に自車両４０（１）を進入させてしまう事態が抑制される。特に、本実施形態では、運転者Ｐは、フロントガラス４２から視線を外すことなく、死角領域Ｄに存在する信号機４５を認識することができるので、信号機４５を迅速に認識することができ、上述した事態をより効果的に抑制することができる。

なお、本実施形態では、死角領域抽出処理を実行して、先行車両４０（２）による死角領域Ｄだけに先行車両撮像画像（重畳画像）が重ねて表示しているが、死角領域抽出処理は必ずしも実行する必要はない。例えば、死角領域抽出処理を実行せず、視点変換処理後の先行車両撮像画像を、自車両４０（１）のフロントガラス４２上の予め決められた領域（横方向中央領域など）に投射表示するようにしてもよい。この場合でも、自車両４０（１）のフロントガラス４２上の側部領域については、先行車両撮像画像が表示されないので、運転者Ｐの視認性を確保することができる。

また、本実施形態では、死角領域Ｄに存在する対象物である信号機４５を、視点変換処理後の先行車両撮像画像を投射することにより死角領域Ｄに重ねて表示したが、対象物を運転者Ｐに認知させることができる画像であれば、先行車両撮像画像に代えて、予め用意しておいたマーク画像などを死角領域Ｄに重ねて表示するようにしてもよい。このようなマーク画像を用いることは、先行車両撮像画像を死角領域Ｄに重ねて投射表示させる場合に対象物の視認性を十分に確保することが困難である場合に有効である。

具体例としては、例えば、上述した死角領域抽出処理により先行車両撮像画像から抽出した死角領域Ｄの画像部分内に信号機４５が含まれているか否かの識別処理を行い、信号機４５が含まれていることを識別したら、その信号機４５の色を特定し、その色に対応する信号機のマーク画像を、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重ねて投射表示する。例えば、赤信号のマーク画像は、図１３に示すような信号機のマーク画像４５’のように赤信号部分を相対的に拡大するなど、赤信号であることを強調するようなデザインであるのが好ましい。

また、本実施形態では、死角領域に存在する対象物が信号機４５である場合を例に挙げて説明したが、対象物はこれに限らず、運転者を含む搭乗者に視認させることが有益な対象物であれば、人（歩行者等）、軽車両（自転車等）、移動経路周囲の他の構造物（電柱やガードレール等）などであってもよい。例えば、自車両４０（１）の直前を走行する先行車両４０（２）によって道路脇（路側等）に居る歩行者Ｗが死角になっている状況においては、先行車両４０（２）に搭載されているカメラ５０がその歩行者Ｗを撮像し得る。この場合、その先行車両撮像画像を自車両４０（１）が受信することで、図１４に示すように、死角領域Ｄに存在する歩行者Ｗが自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重ねて投射表示される。

また、本実施形態では、先行車両４０（２）に搭載されているカメラ５０によって撮像した先行車両撮像画像を自車両４０（１）が受信することで、死角領域Ｄに存在する対象物である信号機４５の撮像画像を自車両４０（１）が取得するが、その取得方法はこれに限られない。例えば、信号機４５を撮像する外部機器である撮像手段としての路側カメラを路側に配置し、その路側カメラによって撮像した路側カメラ撮像画像を通信網６０を介して自車両４０（１）が受信することで、死角領域Ｄに存在する対象物である信号機４５の撮像画像を自車両４０（１）が取得してもよい。

また、本実施形態では、自車両４０（１）のフロントガラス４２（光透過性ウィンドシールド）から視認される自車両外部の視界に重ねて重畳画像を表示する表示手段として、プロジェクタによりフロントガラス４２に画像を投射するＨＵＤ２０を用いているが、これに限られない。例えば、自車両４０（１）の前方ウィンドシールド自体を透明又は半透明の透過型ディスプレイ（例えば、透明又は半透明の液晶ディスプレイ）で構成し、透過型ディスプレイ上に重畳画像を表示することで、透過型ディスプレイを通じて視認される自車両外部の視界に重ねて重畳画像を表示するものであってもよい。また、例えば、自車両４０（１）のフロントガラス４２（光透過性ウィンドシールド）に透過型ディスプレイを重ねて配置し、透過型ディスプレイ上に重畳画像を表示することで、フロントガラス４２及び透過型ディスプレイを通じて視認される自車両外部の視界に重ねて重畳画像を表示するものであってもよい。

〔変形例１〕
次に、本実施形態における一変形例（以下、本変形例を「変形例１」という。）について説明する。
上述した実施形態では、自車両４０（１）のフロントガラス４２を通じて視認される視界中の死角領域Ｄに存在する対象物を示す対象物情報が、先行車両４０（２）のカメラ５０で撮像した先行車両撮像画像のデータであった。しかしながら、他の対象物情報を用いてもよく、例えば、先行車両４０（２）に搭載されている超音波センサやレーダーなどの対象物検出手段の検出結果に基づく対象物情報であってもよい。本変形例１では、先行車両４０（２）の直前を走行している先々行車両を対象物とし、先行車両４０（２）に搭載される超音波センサやレーダーなどの対象物検出手段の検出結果を対象物情報として用いる。

図１５は、本変形例１において、先行車両４０（２）の直前を走行している先々行車両４０（３）が急ブレーキをかけて先々行車両４０（３）が先行車両４０（２）に急接近した例を示す説明図である。
自車両４０（１）の直前を走行している先行車両４０（２）に搭載されている超音波センサやレーダーなどの対象物検出手段が対象物である先々行車両４０（３）の急接近を検出した場合、その検出結果が対象物情報として先行車両４０（２）から通信網６０を通じて自車両４０（１）へ送信される。

この対象物情報を受信した自車両４０（１）の制御部１１は、表示制御部１４により、例えば、図１６に示すように、先行車両４０（２）による死角領域Ｄ（先行車両４０（２）の背面）に重なるように、先々行車両４０（３）の急接近を知らせるマーク画像４０（３）’を重畳画像として投射表示する。このマーク画像４０（３）’は、ブレーキランプが強調表示された自動車の背面を模式的に表したものである。このようなマーク画像４０（３）’が投射表示されることで、自車両４０（１）の運転者Ｐは、先行車両４０（２）の前方に位置する死角領域Ｄの先々行車両４０（３）の急接近を迅速かつ直感的に認識することができる。その結果、自車両４０（１）のブレーキ操作を行うなどの適切な操作を早期のうちに行うことができる。

〔変形例２〕
次に、本実施形態における更に他の変形例（以下、本変形例を「変形例３」という。）について説明する。
上述した実施形態や変形例１では、自車両４０（１）のフロントガラス４２を通じて視認される視界中の死角領域Ｄに存在する対象物を示す対象物情報が、先行車両４０（２）に搭載されているカメラ５０や超音波センサやレーダーなどの対象物検出手段で取得される情報であった。しかしながら、他の対象物情報を用いてもよく、例えば、逆方向移動体である対向車両に搭載されている撮像手段で撮像した対向車両撮像画像のデータであってもよい。本変形例２では、対向車両の前方を横切る歩行者を対象物とし、その対向車両に搭載される撮像手段によって撮像された対向車両撮像画像を対象物情報として用いる。

図１７は、本変形例２において、対向車線で渋滞している場合において、第一対向車両４０（４）とその前に停止している第二対向車両４０（５）との間を通って、歩行者Ｗが自車両４０（１）の走行車線を横切ろうとしている例を示す説明図である。
図１８は、本変形例２の表示装置１により対向車両撮像画像を表示してない状態において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界の一例を示す模式図である。
図１９は、本変形例２の表示装置１により対向車両撮像画像を表示した状態において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界の一例を示す模式図である。

図示の例において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界中には、図１７に示すように、第二対向車両４０（５）による死角領域（図１７中の斜線部分Ｄ）が存在する。この例では、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する対象物としての歩行者Ｗが第二対向車両４０（５）に隠れてしまい、図１８に示すように、歩行者Ｗを視認することができない。そのため、自車両４０（１）の運転者Ｐは、自車両４０（１）の走行車線を横切ろうとしている歩行者Ｗの存在に気付かないまま自車両４０（１）を走行させることになり、歩行者Ｗと接触するおそれがある。

ここで、第一対向車両４０（４）に搭載されている外部機器である撮像手段としてのカメラ５０による撮像領域Ｅには、第二対向車両４０（５）による死角領域Ｄが含まれ、そのカメラ５０による撮像画像（対向車両撮像画像）には、自車両４０（１）の走行車線を横切ろうとしている歩行者Ｗが映し出される。なお、第一対向車両４０（４）に搭載されるカメラ５０の構成や動作は、上述した実施形態における先行車両４０（２）に搭載されるカメラ５０と同様である。本変形例２においては、第一対向車両４０（４）に搭載されているカメラ５０によって撮像される対向車両撮像画像を自車両４０（１）が受信し、これを重畳画像として、ＨＵＤ２０により、図１９に示すように、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面（死角領域Ｄ）に重ねて投射表示する。

本変形例２において、自車両４０（１）における画像処理装置１０の制御部１１は、外部通信部１２から対向車両撮像画像を第一対向車両４０（４）の位置情報に関連づけて受信する。その後、制御部１１は、対向車両撮像画像の視点を変換する視点変換処理を行う。この視点変換処理では、第一対向車両４０（４）のカメラ５０の撮像部５３で撮像した対向車両撮像画像の視点位置を、自車両４０（１）のフロントガラス４２を通じて視認される運転者Ｐの視点位置に変換する。この視点変換処理により、第一対向車両４０（４）の視界を映し出す対向車両撮像画像を、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。

例えば、第一対向車両４０（４）の位置情報と自車両４０（１）の位置情報とから、第一対向車両４０（４）の撮像部５３の視点位置（対向車両撮像画像の視点位置）と自車両４０（１）の視点位置（運転者Ｐの視点位置）との位置関係を特定できる。よって、その位置関係に応じた視点変換パラメータを用いて、対向車両撮像画像の左右反転、画像中心の変更、画像拡大又は画像縮小などを行い、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。より詳細な位置関係を特定する場合には、上述した実施形態と同様、第一対向車両４０（４）の位置情報だけでなく、第一対向車両４０（４）の車両データや撮像部５３の設定情報（撮像部５３の設置高さや撮像方向のデータなど）、自車両４０（１）の車両データや自車両４０（１）の運転者Ｐの視点位置情報などを取得し、これらの情報も用いて視点変換処理を実行してもよい。また、視点変換処理を、このような位置情報を用いずに行うことも可能である点は、上述した実施形態と同様である。

次に、自車両４０（１）の制御部１１は、視点変換処理後の対向車両撮像画像から、第二対向車両４０（５）による自車両４０（１）の死角領域（図１７中の斜線部分Ｄ）に対応する画像部分を抽出する死角領域抽出処理を行う。この死角領域抽出処理は、視点変換処理後の対向車両撮像画像（重畳画像）を、ＨＵＤ２０により、図１９に示すように、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面（死角領域）に重ねて投射表示する際、死角領域Ｄではない視界部分（第二対向車両４０（５）の側面以外の視界部分）に対向車両撮像画像が投射表示されないようにするための処理である。

本変形例２の死角領域抽出処理は、上述した実施形態と同様、自車両４０（１）に搭載の撮像部１６によって自車両４０（１）の前方を撮像した自車両撮像画像を解析して、自車両４０（１）のフロントガラス４２を通じて運転者Ｐに視認される視界中における第二対向車両４０（５）による死角領域Ｄを特定する。自車両撮像画像は、運転者Ｐに視認される視界の一部又は全部を含むエリアが映し出されており、図１８に示すものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、第二対向車両４０（５）を映し出す画像部分（死角領域Ｄの画像部分）を特定する。

その後、自車両４０（１）の制御部１１は、表示制御部１４を介して、死角領域Ｄについて抽出した対向車両撮像画像の画像部分を、死角領域視界画像として、ＨＵＤ２０により、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面に重なるように投射表示する。これにより、図１９に示すように、第二対向車両４０（５）によって死角となっていた歩行者Ｗを映し出す対向車両撮像画像の画像部分が、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面に重ねて投射表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する歩行者Ｗを認識することができ、歩行者Ｗの存在に気付かずに自車両４０（１）を走行させる事態が抑制される。

〔変形例３〕
次に、本実施形態における更に他の変形例（以下、本変形例を「変形例３」という。）について説明する。
上述した実施形態や変形例１、２では、自車両４０（１）のフロントガラス４２を通じて視認される自車両前方の死角領域Ｄに存在する信号機４５、先々行車両４０（３）、歩行者Ｗ等の対象物を示す重畳画像を、フロントガラス４２を通じて視認される視界中の死角領域Ｄに重ねて表示する例であった。しかしながら、フロントガラス４２のような前方のウィンドシールドに限らず、例えば、自車両４０（１）のドアウィンドウ等の他のウィンドシールドを通じて視認される視界に重ねて、死角領域に存在する対象物を示す重畳画像を表示するようにしてもよい。

図２０は、本変形例３において、片側三車線の道路において、左車線の自車両４０（１）と、中央車線の側方車両４０（６）と、右車線の側々方車両４０（７）とが併走している例を示す説明図である。
図示の例において、自車両４０（１）の右側ドアウィンドウを通じて運転者Ｐが視認する自車両右側方の視界中には、図２０に示すように、側方車両４０（６）による死角領域（図２０中の斜線部分Ｄ）が存在する。この例では、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する対象物としての側々方車両４０（７）が側方車両４０（６）に隠れてしまい、側々方車両４０（７）を視認することができない。そのため、自車両４０（１）の運転者Ｐは、側々方車両４０（７）の存在に気付かないまま、例えば、左車線から側方車両４０（６）の前方の中央車線へ車線変更する場合がある。その場合、右車線を走行する側々方車両４０（７）も側方車両４０（６）の前方の中央車線へ車線変更しようとしていたときには、側々方車両４０（７）と接触するおそれがある。

本変形例３では、自車両４０（１）のドアウィンドウを通じて視認される自車両側方の視界に重ねて、自車両側方の死角領域Ｄに存在する側々方車両４０（７）を示す重畳画像を表示する。これにより、自車両４０（１）の運転者Ｐは、左車線から側方車両４０（６）の前方の中央車線へ車線変更する際に、側々方車両４０（７）の存在を認識することができ、適切な操作を行うことが可能となる。

なお、本変形例３において、自車両４０（１）のドアウィンドウを通じて視認される自車両側方の視界に重ねて、自車両側方の死角領域に存在する対象物を示す重畳画像を表示する方法も、フロントガラス４２に重畳画像を表示する方法と同様の方法を用いることができる。また、自車両側方の死角領域Ｄに存在する側々方車両４０（７）を示す対象物情報も、フロントガラス４２に重畳画像を表示する方法と同様、側方車両４０（６）に搭載されるカメラ５０の撮像画像や、側方車両４０（６）に搭載される超音波センサやレーダーなどの対象物検出手段の検出結果を用いることができる。

また、本変形例３では、前方ウィンドシールドとは別のウィンドシールドを通じて視認される視界に重ねて重畳画像を表示する例として、別のウィンドシールドがドアウィンドウである例を挙げたが、例えば、後方ウィンドシールドであってもよい。

具体例を挙げて説明すると、図２１は、片側二車線の道路において、左車線を走行する自車両４０（１）の斜め後方を同方向へ移動する同方向移動体としての側方車両４０（６）が右車線を走行し、その側方車両４０（６）の後方をバイクＢが走行している状況の例である。この状況において、後方ウィンドシールド４７を通じて視認される視界中には、側方車両４０（６）による死角領域（図２１中の斜線部分Ｄ）が存在する。この例では、自車両４０（１）の運転者Ｐがルームミラー４６に映し出される後方ウィンドシールド４７を通じて視認する視界では、死角領域Ｄに存在する対象物としてのバイクＢが側方車両４０（６）に隠れてしまい、バイクＢを視認することができない。そのため、自車両４０（１）の運転者Ｐは、例えば、そのバイクＢが自車両４０（１）の前方に急な車線変更をしたとき、そのバイクＢを事前に察知できていないため、自車両４０（１）の操作を誤るおそれがある。

このような状況において、図２２に示すように、自車両４０（１）の後方ウィンドシールド４７を通じて視認される自車両後方の視界に重ねて、自車両後方の死角領域Ｄに存在するバイクＢを示す重畳画像を表示する。このような重畳画像は、例えば、側方車両４０（６）に搭載されたカメラ５０によって側方車両４０（６）の後方を撮像した側方車両撮像画像を自車両４０（１）で取得することにより得ることができる。このようなバイクＢを示す重畳画像を、後方ウィンドシールド４７を通じて視認される自車両後方の視界中の側方車両４０（６）の側面に重ねて表示することにより、自車両４０（１）の運転者Ｐは、例えば、バイクＢが自車両４０（１）の前方に急な車線変更をしたときでも、そのバイクＢを事前に察知することが可能であり、自車両４０（１）の操作を適切に行うことが可能となる。

自車両後方の死角領域Ｄに存在するバイクＢを示す撮像画像（対象物情報）は、上述した方法（側方車両４０（６）に搭載された後方カメラで撮像し、その側方車両撮像画像を自車両４０（１）で取得する方法）に限られない。例えば、自車両４０（１）の前方を走行する先行車両に搭載された後方カメラにより死角領域ＤのバイクＢを撮像できる場合には、その後方カメラで撮像した先行車両撮像画像を自車両４０（１）で取得してもよい。また、例えば、自車両４０（１）の後方を走行する後行車両に搭載された前方カメラにより死角領域ＤのバイクＢを撮像できる場合には、その前方カメラで撮像した後行車両撮像画像を自車両４０（１）で取得してもよい。また、例えば、バイクＢの後方で同方向に右車線を走行する別の側方車両に搭載された前方カメラにより死角領域ＤのバイクＢを撮像できる場合には、その前方カメラで撮像した当該別の側方車両の撮像画像を自車両４０（１）で取得してもよい。また、例えば、対向車線を走行する対向車両に搭載された前方カメラ又は後方カメラにより死角領域ＤのバイクＢを撮像できる場合には、その前方カメラや後方カメラで撮像した対向車両撮像画像を自車両４０（１）で取得してもよい。また、路側に設置された路側カメラにより死角領域ＤのバイクＢを撮像できる場合には、その路側カメラで撮像した路側カメラ撮像画像を自車両４０（１）で取得してもよい。
なお、ここで例示した対象物情報の取得方法は、自車両後方の死角領域Ｄに存在するバイクＢに限らず、他の対象物についての対象物情報を取得する方法としても適用できる。

〔変形例４〕
次に、本実施形態における更に他の変形例（以下、本変形例を「変形例４」という。）について説明する。
上述した実施形態や変形例１〜３における表示手段は、フロントガラス４２やドアウィンドウなどの光透過性ウィンドシールドを通じて視認される自車両４０（１）の外部の視界に重ねて重畳画像を表示するＨＵＤ２０であった。しかしながら、自車両４０（１）に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両４０（１）のウィンドシールド上に表示させるディスプレイ装置を備えている場合には、そのディスプレイ装置を表示手段として用い、視界画像に重畳画像を重ねた合成画像を生成して、その合成画像をウィンドシールド上に表示するようにしてもよい。

図２３は、本変形例４における表示装置１で用いる表示手段としてのディスプレイ装置１２０の構成を示す説明図である。
本変形例４の表示装置１は、画像処理装置１０とディスプレイ装置１２０とに大別することができる。画像処理装置１０は、上述した実施形態と同様の構成及び動作でよい。自車両４０（１）の前方ウィンドシールドは、上述した実施形態では光透過性を有するフロントガラス４２であったが、本変形例４では、光不透過性の板状部材で構成されている。ディスプレイ装置１２０は、主に、この光不透過性である前方ウィンドシールド４２’の内壁面に配置される表示画面１２１と、表示画面１２１に表示させる画像を生成する画像合成部１２２とから構成される。

ディスプレイ装置１２０は、自車両４０（１）の前方を撮像する撮像部１６から送られてくる自車両撮像画像が画像合成部１２２に入力されると、撮像部１６で撮像した自車両撮像画像（自車両前方を撮像した画像）の視点位置を、自車両４０（１）の運転者Ｐの視点位置に変換する視点変換処理を行い、視点変換処理後の自車両撮像画像（視界画像）を表示画面１２１へ出力する。これにより、前方ウィンドシールド４２’上の表示画面１２１には、運転者Ｐがあたかも前方ウィンドシールド４２’を透過して自車両４０（１）の前方を視認しているのと同等の視界画像が、リアルタイム表示される。すなわち、本変形例４では、運転者Ｐは、前方ウィンドシールド４２’上の表示画面１２１に表示される視界画像によって自車両４０（１）の前方の視界を得ながら、自車両４０（１）の操縦を行う。

本変形例４において、表示画面１２１に表示させる画像を生成する画像合成部１２２には、画像処理装置１０の画像生成部１３からの重畳画像が入力される。この画像生成部１３で生成される重畳画像は、上述した実施形態や変形例１などと同様のものを用いることができる。例えば、上述した実施形態のように、先行車両４０（２）のカメラ５０によって撮像した先行車両撮像画像を自車両４０（１）で受信し、視点変換処理や死角領域抽出処理等を施した先行車両撮像画像（死角領域Ｄ内の信号機４５を撮像した画像）を、画像処理装置１０からディスプレイ装置１２０の画像合成部１２２へ入力する。また、上述した変形例１のように、先行車両４０（２）に搭載されている超音波センサやレーダーなどの対象物検出手段が先々行車両４０（３）の急接近を検出した結果に応じたマーク画像（ブレーキランプが強調表示された自動車の背面を模式的に表した画像）を、画像処理装置１０からディスプレイ装置１２０の画像合成部１２２へ入力する。

ディスプレイ装置１２０の画像合成部１２２は、画像処理装置１０から入力された重畳画像を、前方ウィンドシールド４２’上の表示画面１２１に表示される視界画像に重ねた合成画像を生成し、その合成画像を表示画面１２１へ出力する。これにより、画像処理装置１０から入力された重畳画像（信号機４５を映し出す先行車両撮像画像や、先々行車両４０（３）の急接近を知らせるマーク画像）が、自車両４０（１）の前方ウィンドシールド４２’上の表示画面１２１に表示される視界画像に映し出されている先行車両４０（２）の背面画像部分に重ねて表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する信号機４５や先々行車両４０（３）を認識することができ、信号機４５が赤信号になっていることに気付かずに交差点に自車両４０（１）を進入させてしまう事態が抑制され、また、先々行車両４０（３）の急ブレーキによる対応を迅速に行うことができる。

上述した実施形態では、自車両４０（１）の前方の視界を、光透過性のフロントガラス４２を通じて直接視認する構成であったため、運転者Ｐに提供される自車両前方の視界の内容を変更することはできない。これに対し、本変形例４においては、自車両４０（１）の前方の視界を、光不透過性のウィンドシールド４２’上の表示画面１２１に表示される視界画像によって運転者Ｐに提供する構成であるため、視界画像を画像処理することにより、自車両前方の視界の内容を変更した状態で運転者Ｐに提供することが可能である。

そこで、本変形例４においては、自車両前方の視界を映し出す視界画像（自車両撮像画像を視点変換処理したもの）を画像処理したものに、画像処理装置１０から入力された重畳画像を重ねた合成画像を生成する。具体的には、画像合成部１２２は、自車両前方の視界を映し出す視界画像のレイヤーの下に、画像処理装置１０から入力された重畳画像のレイヤーを重ねるとともに、視界画像レイヤーにおける先行車両４０（２）の背面画像部分（死角領域Ｄに対応する画像部分）を半透明にして、重畳画像レイヤー上の対応する画像部分が先行車両４０（２）の背面画像部分を透けて視認できる合成画像を生成する。

これにより、例えば、図２４に示すように、先行車両４０（２）によって死角となっていた信号機４５を映し出す先行車両撮像画像の画像部分が先行車両４０（２）の背面画像部分（半透明状態）を透過した状態の合成画像が、自車両４０（１）の前方ウィンドシールド４２’上の表示画面１２１に表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する信号機４５を認識することができ、信号機４５が赤信号になっていることに気付かずに交差点に自車両４０（１）を進入させてしまう事態が抑制される。

なお、本変形例４では、自車両４０（１）に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両４０（１）のウィンドシールド上に表示させる表示手段として、自車両４０（１）の光不透過性の前方ウィンドシールド４２’上に表示画面１２１が配置されたディスプレイ装置１２０を用いているが、これに限られない。例えば、自車両４０（１）の光不透過性の前方ウィンドシールド４２’の内壁面にプロジェクタによって視界画像を投射するＨＵＤを用いてもよい。また、例えば、自車両４０（１）の前方ウィンドシールド自体をディスプレイ装置で構成してもよい。そのディスプレイ装置としては、例えば、透明又は半透明の透過型ディスプレイを採用してもよく、この場合、視界画像に重畳画像を重ねた合成画像を表示しない時期には、透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。また、例えば、自車両４０（１）のフロントガラス４２（光透過性ウィンドシールド）に透過型ディスプレイを重ねて配置した構成を採用してもよく、この場合も、視界画像に重畳画像を重ねた合成画像を表示しない時期には、フロントガラス４２及び透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。

〔変形例５〕
次に、本実施形態における更に他の変形例（以下、本変形例を「変形例５」という。）について説明する。
上述した実施形態や変形例１〜４においては、死角領域Ｄに存在する対象物を示す対象物情報が、先行車両４０（２）や第一対向車両４０（４）のカメラ５０で撮像した先行車両撮像画像のデータや超音波センサやレーダーなどの対象物検出手段で取得される情報であった。しかしながら、他の対象物情報を用いてもよく、例えば、対象物本体に配置されている外部機器としての携帯電話機が取得する対象物の位置情報を対象物情報として用いてもよい。本変形例５では、対象物である歩行者Ｗが所持している携帯電話機から送信される当該携帯電話機の位置情報を対象物情報として用いる。

本変形例５においては、上述した変形例２と同様、図１７に示したように、対向車線で渋滞している場合において、第一対向車両４０（４）とその前に停止している第二対向車両４０（５）との間を通って、歩行者Ｗが自車両４０（１）の走行車線を横切ろうとしている例である。本変形例５では、対象物である歩行者Ｗが所持している携帯電話機から送信される当該携帯電話機の位置情報を対象物情報として自車両４０（１）が受信し、その歩行者Ｗの位置が死角領域Ｄ内であるときに、図２６に示すように、歩行者の存在を示す歩行者マーク画像Ｗ’を重畳画像として、ＨＵＤ２０により、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面（死角領域Ｄ）に重ねて投射表示する。この歩行者マーク画像Ｗ’は、運転者Ｐが歩行者Ｗの存在に気付きやすいように強調されたデザインであるのが好ましい。

図２５は、本変形例５の表示処理の流れを示すシーケンス図である。
歩行者Ｗが所持している携帯電話機は、ＧＰＳ装置を備えており、上述したように、ローカルデータセンターとして機能する通信網６０の基地局６５に対し、当該携帯電話機の現在位置を示す位置情報を送信する（Ｓ１１）。これを受信した基地局６５は、当該携帯電話機の位置情報を記憶部６７に記憶する。これにより、基地局６５の位置情報データベースに、歩行者Ｗが所持している携帯電話機の位置情報すなわち歩行者Ｗの現在位置が登録される（Ｓ１２）。自車両４０（１）の位置情報についても、基地局６５の位置情報データベースに登録される。

一方、自車両４０（１）における表示装置１の制御部１１は、外部通信部１２から歩行者報知情報の取得要求を送信する（Ｓ１３）。このとき、自車両４０（１）に搭載されているＧＰＳ装置４３から取得される自車両４０（１）の位置情報に関連づけて取得要求を送信する。この取得要求が通信網６０の基地局６５に受信されると、基地局６５のデータ処理部６６は、記憶部６７に記憶されている位置情報データベースを参照し、受信した取得要求に関連づけられた自車両４０（１）の位置情報から、自車両４０（１）の前方エリア内の位置情報をもつ移動局（歩行者Ｗの携帯電話機）が存在するか否かを判断する（Ｓ１４）。自車両４０（１）の前方エリア内の位置情報をもつ移動局（歩行者Ｗの携帯電話機）が存在する場合、基地局６５のデータ処理部６６は、歩行者報知条件を満たす判断し、その携帯電話機の位置情報（すなわち歩行者Ｗの位置情報）を含む歩行者報知情報を、自車両４０（１）へ送信する。

自車両４０（１）の制御部１１は、外部通信部１２から歩行者報知情報を受信すると（Ｓ１５）、その歩行者報知情報に含まれる歩行者Ｗの位置情報に基づき、歩行者Ｗが死角領域Ｄ内に存在するか否かを判断する（Ｓ１６）。この判断は、例えば、次のようにして行うことができる。自車両４０（１）に搭載の撮像部１６によって自車両４０（１）の前方を撮像した自車両撮像画像を解析して、自車両４０（１）のフロントガラス４２を通じて運転者Ｐに視認される視界中における先行車両４０（２）による死角領域Ｄを特定する。自車両撮像画像は、運転者Ｐに視認される視界の一部又は全部を含むエリアが映し出されており、図１８に示したものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、第二対向車両４０（５）を映し出す画像部分（死角領域Ｄの画像部分）を特定する。その後、死角領域Ｄの画像部分に対応する自車両前方の実範囲を算出し、歩行者Ｗの位置がその実範囲内に属しているか否かを判断する。

歩行者Ｗが死角領域Ｄ内に存在すると判断した場合、自車両４０（１）の制御部１１は、表示制御部１４を介して、自車両４０（１）のフロントガラス４２を通じて視認される歩行者Ｗの位置、すなわち、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面に、歩行者マーク画像Ｗ’が重なるように、死角領域視界画像としてＨＵＤ２０により投射表示する（Ｓ１７）。これにより、図２６に示すように、第二対向車両４０（５）によって死角となっていた歩行者Ｗを示す歩行者マーク画像Ｗ’が、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面に重ねて投射表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する歩行者Ｗを認識することができ、歩行者Ｗの存在に気付かずに自車両４０（１）を走行させる事態が抑制される。

なお、本明細書で説明された表示装置、移動体及び表示システムの構成要素あるいは処理工程は、様々な手段によって実装することができる。例えば、これらの構成要素や処理工程は、ハードウェア、ファームウェア、ソフトウェア、又は、それらの組み合わせで実装されてもよく、例えば、後述のハードウェアに所定のプログラムが読み込まれて実行されたり、後述のハードウェアに予め組み込まれた所定のプログラムが実行されたりすることにより、実現される。

ハードウェア実装については、実体（例えば、各種無線通信装置、Ｎｏｄｅ Ｂ、端末、ハードディスクドライブ装置、又は、光ディスクドライブ装置）において構成要素や処理工程を実現するために用いられる処理ユニット等の手段は、１つ又は複数の、特定用途向けＩＣ（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するようにデザインされた他の電子ユニット、コンピュータ、又は、それらの組み合わせの中に実装されてもよい。

また、ファームウェア及び／又はソフトウェア実装については、上記構成要素を実現するために用いられる処理ユニット等の手段は、本明細書で説明された機能を実行するプログラム（例えば、プロシージャ、関数、モジュール、インストラクション、などのコード）で実装されてもよい。一般に、ファームウェア及び／又はソフトウェアのコードを明確に具体化する任意のコンピュータ／プロセッサ読み取り可能な媒体が、本明細書で説明された上記処理工程及び構成要素を実現するために用いられる処理ユニット等の手段の実装に利用されてもよい。例えば、ファームウェア及び／又はソフトウェアコードは、例えば制御装置において、メモリに記憶され、コンピュータやプロセッサにより実行されてもよい。そのメモリは、コンピュータやプロセッサの内部に実装されてもよいし、又は、プロセッサの外部に実装されてもよい。また、ファームウェア及び／又はソフトウェアコードは、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、フロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、磁気又は光データ記憶装置、などのような、コンピュータやプロセッサで読み取り可能な媒体に記憶されてもよい。そのコードは、１又は複数のコンピュータやプロセッサにより実行されてもよく、また、コンピュータやプロセッサに、本明細書で説明された機能性のある態様を実行させてもよい。

また、本明細書で開示された実施形態の説明は、当業者が本開示を製造又は使用するのを可能にするために提供される。本開示に対するさまざまな修正は当業者には容易に明白になり、本明細書で定義される一般的原理は、本開示の趣旨又は範囲から逸脱することなく、他のバリエーションに適用可能である。それゆえ、本開示は、本明細書で説明される例及びデザインに限定されるものではなく、本明細書で開示された原理及び新規な特徴に合致する最も広い範囲に認められるべきである。

１ 表示装置
１０ 画像処理装置
１１ 制御部
１２ 外部通信部
１３ 画像生成部
１４ 表示制御部
１５ 車内通信部
１６ 撮像部
２０ ＨＵＤ
４０（１） 自車両
４０（２） 先行車両
４０（３） 先々行車両
４０（４） 第一対向車両
４０（５） 第二対向車両
４０（６） 側方車両
４０（７） 側々方車両
４２ フロントガラス
４２’ ウィンドシールド
４３ ＧＰＳ装置
４４ 各種車載センサ
４５ 信号機
５０ カメラ
５１ 制御部
５２ 外部通信部
５３ 撮像部
５４ 車内通信部
６０ 通信網
６５ 基地局
６６ データ処理部
６７ 記憶部
６８ 移動通信部
６９ バックホール通信部
１２０ ディスプレイ装置
１２１ 表示画面
１２２ 画像合成部
Ｄ 死角領域
Ｅ 撮像領域
Ｐ 運転者
Ｗ 歩行者

特開２０１１−２１８８９１号公報 特開２００３−３１９３８３号公報

Claims (16)

1. 移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置において、
   前記移動体の外部機器から、前記視界中の死角領域に存在する対象物を示す対象物情報を取得する対象物情報取得手段と、
   前記対象物情報取得手段により取得した対象物情報に基づき、前記対象物を示す重畳画像を生成する画像生成手段と、
   前記視界中の前記死角領域に重ねて、又は、前記死角領域に対応する前記視界画像中の画像部分に重ねて、前記画像生成手段により生成された重畳画像を表示する表示手段とを有することを特徴とする表示装置。
2. 請求項１の表示装置において、
   前記外部機器は、撮像手段であり、
   前記対象物情報は、前記撮像手段により前記死角領域内の前記対象物を撮像して得られる撮像画像を含むことを特徴とする表示装置。
3. 請求項２の表示装置において、
   前記画像生成手段は、前記対象物情報取得手段により取得した撮像画像に基づき、前記ウィンドシールドから視認されるときに死角となる視界部分を映し出す死角領域視界画像を、前記重畳画像として生成することを特徴とする表示装置。
4. 請求項１乃至３のいずれかの表示装置において、
   前記表示手段は、前記視界中の前記死角領域に重ならない重畳画像部分、又は、前記死角領域に対応する前記視界画像中の画像部分に重ならない重畳画像部分を、非表示にすることを特徴とする表示装置。
5. 請求項１乃至４のいずれかの表示装置において、
   前記ウィンドシールドは、前記移動体の前方ウィンドシールドであり、
   前記表示手段は、前記前方ウィンドシールド上の側部領域から視認される移動体外部の前方視界中の側部に重なる重畳画像部分、又は、該前方視界中の側部を映し出す前記視界画像中の画像部分に重なる重畳画像部分を、非表示にすることを特徴とする表示装置。
6. 請求項１乃至５のいずれかの表示装置において、
   前記対象物情報取得手段は、移動通信網を介して前記対象物情報を前記外部機器から受信して取得するものであることを特徴とする表示装置。
7. 請求項１乃至５のいずれかの表示装置において、
   前記対象物情報取得手段は、前記外部機器との間の無線通信により前記対象物情報を受信して取得するものであることを特徴とする表示装置。
8. 請求項１乃至７のいずれかの表示装置において、
   前記外部機器は、前記移動体が移動する移動経路の周辺に配置されている機器を含むことを特徴とする表示装置。
9. 請求項１乃至８のいずれかの表示装置において、
   前記外部機器は、前記移動体とは別の移動体に配置されている機器を含むことを特徴とする表示装置。
10. 請求項９の表示装置において、
    前記別の移動体は、前記移動体と同方向へ移動する同方向移動体を含むことを特徴とする表示装置。
11. 請求項１乃至１０のいずれかの表示装置において、
    前記外部機器は、前記対象物に配置されている機器を含み、
    前記対象物情報は、前記対象物の位置情報を含むことを特徴とする表示装置。
12. 請求項１乃至１１のいずれかの表示装置において、
    前記表示手段は、前記移動体の光透過性ウィンドシールドから視認される移動体外部の視界に重ねて前記重畳画像を表示するものであることを特徴とする表示装置。
13. 請求項１乃至１１のいずれかの表示装置において、
    前記表示手段は、前記移動体のウィンドシールド上に、該移動体上の撮像手段によって撮像した前記視界を映し出す視界画像に前記重畳画像を重ねた合成画像を表示するものであることを特徴とする表示装置。
14. 請求項１乃至１３のいずれかの表示装置において、
    前記表示手段は、所定の非表示条件を満たすときは、前記重畳画像の全体を非表示にすることを特徴とする表示装置。
15. ウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置を備えた移動体において、
    前記表示装置として、請求項１乃至１４のいずれかの表示装置を用いたことを特徴とする移動体。
16. 移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置が、前記移動体に設けられ、
    前記視界中の死角領域に存在する対象物を示す対象物情報を発信する外部機器が、前記移動体の外部に設けられた表示システムであって、
    前記表示装置として、請求項１乃至１４のいずれかの表示装置を用いたことを特徴とする表示システム。

Images