JP2017092678A - 自動車用画像表示システム - Google Patents

Abstract

【課題】提供情報をドライバーに対して分かりやすくフロントウインドシールドに情報を表示することが可能な自動車用画像表示システムを提供する。【解決手段】検出部２は、ステレオカメラやセンサで自動車の周囲状況を検出する。そして、表示制御部３は、検出部２が検出した情報の立体画像を構成する右目用画像及び左目用画像をＨＵＤ装置４により自動車のフロントウインドシールド１５に向けて投影する。検出した情報がステレオカメラによる撮影画像であれば、撮影した右目用画像及び左目用画像を投影し、センサによる検出情報であれば、この情報に基づく描画の右目用画像及び左目用画像を作成して投影する。これによって、自動車の乗員は、両眼視差により情報を立体画像で確認することができる。【選択図】図１

Description

本発明は、特に自動車等の車輌の運転を支援するために使用される自動車用画像表示システムに関する。

従来より、自動車の安全な運転を支援するために様々な自動車用画像表示システムが開発されている。

例えば、自車輌周辺の危険やナビゲーションをドライバーに直感的に分かり易く伝達するための車輌用情報伝達装置が知られている（例えば、特許文献１を参照）。この装置は、自車輌に搭載したカメラやレーダーセンサ等を用いて、前方周辺に存在する歩行者、自転車又は他車輌等の危険対象を検出し、それをインストルメントパネルの表示装置に図形で表示して、その存在をドライバーに認識させている。

しかしながら、特許文献１に開示の装置は、検出した危険対象がインストルメントパネルの表示装置に表示されるため、それを見るのにドライバーは、運転中にフロントウインドシールド越しに前方に向けている視線を表示装置に移さなければならず、危険を瞬時に判断しなければならない状況においては認知が遅れることになる。

同様に、自車輌との接触の可能性が高い検知対象物の存在及び種類を、ＨＵＤ（ヘッドアップディスプレイ）からなる画像表示装置に表示して、ドライバーに通報する車輌周辺監視装置が知られている（例えば、特許文献２を参照）。このときの検知対象物は、その形状及びサイズに基づいて、歩行者、自転車、動物等の種類が判定され、その種類の違いに応じて異なる形態のマークと、検知対象物の位置にそれを囲む矩形状のフレームとがＨＵＤに表示される。

国際公開第２０１３／０８８５３５号 特開２０１０−１０８２６４号公報

特許文献２の従来技術によれば、フロントウインドシールドに情報を表示するために、ドライバーにとっては視線を変更する必要がなく、特許文献１の場合よりも有利となる。

しかしながら、フロントウインドシールドに情報を表示する場合であっても、ドライバーの視線の先はフロントウインドシールド越しの前方にあるため、フロントウインドシールド面に表示された情報を視認するには目の焦点を変えなければならず、瞬時に認知できなかったり見落すこともある。

本発明は、上記問題点を解消するためになされたもので、その目的は、ドライバーに対して分かりやすくフロントウインドシールドに向けて情報を表示することが可能な自動車用画像表示システムを提供することにある。

本発明は、自動車の乗員への提供情報を画像で表示する自動車用画像表示システムであって、前記提供情報を検出する検出手段と、前記提供情報の立体画像を構成する右目用画像及び左目用画像を前記自動車のフロントウインドシールドに向けて投影する表示手段と、を備えて、前記乗員が前記自動車の前方への視線上の前記フロントウインドシールドを挟んだ奥行き方向の位置に前記提供情報を表示可能にしたことを特徴とする。

このとき、前記検出手段は、前記自動車の周囲の状況を撮影するカメラであり、カメラの撮影画像を前記提供情報とする。このカメラは、右目用画像と左目用画像とを撮影するステレオカメラであるとよい。

また、前記検出手段は、前記自動車の周囲の状況又は自動車の走行状態を検知するセンサであり、描画手段によって前記センサによる前記提供情報を視覚的に表示可能な描画画像に変換する。

そして、前記描画画像は、前記フロントウインドシールドを通して視認可能な現実風景における特定の検知対象物に関連付けて表示することで、乗員は検知対象物を注意をもって視認することができる。

さらに、前記表示手段は、描画画像を表示するとき、前記乗員が前記フロントウインドシールドから前記検知対象物を視認するときの奥行き方向の深度と略同じ深度で、前記検知対象物を視認することができる両眼視差を有する前記右目用画像及び前記左目用画像を投影すると、乗員は検知対象物の視認がより容易で確実となる。

また、前記検知手段は、前記自動車の現在位置を特定して周辺の地図データから進行方向を案内するナビゲーション装置であり、この案内の描画画像を前記検知対象物に関連付けて表示するとよい。

また、前記検出手段は、車両／車両間通信（以下、適宜「車車間通信」という）又は道路施設／車両間通信（以下、適宜「路車間通信」という）によって、付近の車輛についての前記提供情報を取得する通信装置であってもよい。車車間通信は、他車輌との間での近距離無線通信で行われ、路車間通信は、道路周辺設備間等における各種情報通信である。車車間通信又は路車間通信により、他車輌の状況を精度よく入手できる。

本発明によれば、乗員への提供情報を右目用画像と左目用画像とで投影するために、乗員は立体画像で提供情報を視認することができる。よって、乗員はフロントウインドシールド越しの前方に目の焦点を合せている状態で提供情報を視認することができるため、提供情報の確認のために目の焦点を切り変える必要がなく見落としがなくなる。

本発明に係る自動車用画像表示システムの全体構成をブロック図で示す。 本発明に係る自動車用画像表示システムにおけるカメラ及びセンサを配置した自動車の一例を平面図で示す。 本発明に係る自動車用画像表示システムを備える自動車のフロントウインドシールド及びダッシュボードを運転席側から見た概念図で示す。 ＨＵＤ装置による画像表示の模式的な説明図を示す。 本発明に係る自動車用画像表示システムのフロントウインドシールドでの表示の一例を説明する模式図を示す。 本発明に係る自動車用画像表示システムのフロントウインドシールドでの表示の別の一例を説明する模式図を示す。 本発明に係る自動車用画像表示システムを組み合わせた走行支援システムの全体構成をブロック図で示す。 自動車用画像表示の動作の一例を説明するフローチャートを示す。 走行支援システムにおけるフロントウインドシールドでの表示の一例を説明する模式図を示す。 走行支援システムにおけるフロントウインドシールドでの表示の別の一例を説明する模式図を示す。 走行支援システムにおけるフロントウインドシールドでの表示のさらに別の一例を説明する模式図を示す。 走行支援システムにおけるフロントウインドシールドに表示される仮想車輌の車線変更を時間経過順に説明する模式図を示す。

図１は、本発明に係る自動車用画像表示システムの概略構成をブロック図で示している。図１が示すように、自動車用画像表示システム１は、検出部２と、表示制御部３と、表示手段であるヘッドアップディスプレイ（ＨＵＤ）装置４とで構成される。

検出部２は、自動車の周囲の状況を監視するカメラ部２Ａ及びセンサ部２Ｂを備えている。カメラ部２Ａによる撮影画像やセンサ部２Ｂによる検知情報は、自動車の乗員への提供情報となる。したがって、検出部２は、提供情報を検出する検出手段である。

カメラ部２Ａは、例えば、自動車の周囲の状況を撮影するために、図２に示すように３通りのカメラ１７，１８，１９を配置している。

カメラ１７は、フロントウインドシールド１５の上部に設置されて自動車１０の前方視界を撮影する。カメラ１８は、バックウインドシールドに配置されて自動車１０の後方視界を撮影する。

また、自動車１０の内側から周囲の状況を目視する際、自動車の構造上、車内からの視線が遮られて外の状況を視認することができない死角を形成する構造体がある。例えば、車体の屋根を支持するピラー等の構造体であり、図２の例では、車体の屋根共にフロントウインドシールド１５を保持するＡピラー１６による死角の視界を確保するために、Ａピラー１６の外側にカメラ１９を配置している。

センサ部２Ｂは、自動車の周囲における自動車、自転車、人又は動物等（以下、「検知対象物」という）の存在を検知するためのセンサ２０，２１を備えている。センサ２０，２１は、例えば、レーダーセンサであり、図３で示すように、センサ２０は、左右のドアミラー３５の下部に取り付けられて、左右後方における検知対象物の存在を検知する。センサ２１は、自動車１０の前部の車体の中央部に取り付けられて、前方に存在する検知対象物の存在を検知する。レーダーセンサとしては、ミリ波レーダー、マイクロ波レーダー、レーザーレーダー、赤外線センサ、超音波センサ等が用いられる。

さらに、自動車１０の走行系に設けられている操舵角センサ２４や車速センサ２５、ギアポジションセンサ２６等も、ここでの検出部２を構成している。

表示制御部３は、検出部２が取得した情報を立体画像でＨＵＤ装置４に表示する。このとき、表示する画像には、カメラ１７，１８，１９による撮影画像と、センサ２０，２１や操舵角センサ２４、車速センサ２５からの検知情報を図形やアイコン等の絵柄又は文字・数字で視覚的に表す描画画像との二種類がある。そして、表示制御部３は、これら各種の描画画像が予め格納されている画像メモリＭを含む。

撮影画像を立体表示するには、それぞれのカメラ１７，１８，１９には、人間の左右の目に相当する両眼のレンズを一つの筐体に収めたステレオカメラを用いることで、表示制御部３は、ステレオカメラから入力される右目用画像及び左目画像をＨＵＤ装置４に出力する。カメラ１７，１８，１９には、ステレオカメラに限らず、単眼のカメラであってもコンピュータ処理によってステレオ画像を撮影することができるカメラを用いることもできる。

描画画像を表示するには、表示制御部３は、センサ２０，２１及び操舵角センサ２４や車速センサ２５、ギアポジションセンサ２６からの検知情報を視覚的に表示するのに、適切な絵柄や文字・数字の描画画像を画像メモリＭに予め記憶されている中から選択する。そして、選択した描画画像から右目用画像及び左目用画像を作成し、ＨＵＤ装置４に出力する。したがって、この場合に表示制御部３は、前記提供情報を視覚的に表示可能な描画画像に変換する描画手段として機能する。

ここでのＨＵＤ装置４には、従来から知られた構造や仕組みのものが使用され、例えば、図４で示すように、右目用画像表示部６と、左目用画像表示部７と、ミラー８とを備える構成となっている。そして、ＨＵＤ装置４は、ダッシュボード３９の上面に配置されて、フロントウインドシールド１５に向けて画像を投影する。また、ＨＵＤ装置４は、ダッシュボード３９内に組み込むことや、運転席の天井部からフロントウインドシールド１５に画像を投影してもよい。

ＨＵＤ装置４の右目用画像表示部６及び左目用画像表示部７は、それぞれ右目用画像ＲＰ及び左目用画像ＬＰを表示するディスプレイであり、例えば、ＥＬＤ（エレクトロ・ルミネッセンス・ディスプレイ）、蛍光表示管、ＦＥＤ（フィールド・エミッション・ディスプレイ）、ＬＣＤ（液晶ディスプレイ）等の表示デバイスが用いられる。

そして、ＨＵＤ装置４のミラー８は、右目用画像表示部６及び左目用画像表示部７と対向するように配置されて、右目用画像表示部６及び左目用画像表示部７がそれぞれ表示している右目用画像ＲＰと左目用画像ＬＰとを、フロントウインドシールド１５に向けて反射する。また、ミラー８は、右目用画像表示部６や左目用画像表示部７が表示している右目用画像ＲＰと左目用画像ＬＰを、ミラー形状によって予め決定される倍率に拡大して投影する。

フロントウインドシールド１５は、合わせガラス、ＩＲカットガラス、ＵＶカットガラス等を用いて、自動車１０の外形に応じて縦方向及び横方向に湾曲した曲面形状に形成されている。そして、フロントウインドシールド１５は、乗員のドライバーの視線を透過するとともに、ＨＵＤ装置４から投射された右目用画像ＲＰと左目用画像ＬＰとは視線方向に反射する。

このように構成された自動車用画像表示システム１において、ＨＵＤ装置４が表示制御部３から出力される右目用画像ＲＰと左目用画像ＬＰとを投影することで、右目用画像ＲＰと左目用画像ＬＰはフロントウインドシールド１５にドライバーの両目にそれぞれ反射される。

これによりドライバーは、両眼視差によってフロントウインドシールド１５を挟んだ自動車の前方の奥行き方向の視線上に立体画像ＴＤを視認することができる。よって、ドライバーは、フロントウインドシールド１５越しに自動車１０の前方の状況を目視している状態で、検出部２が検出した提供情報を撮影画像や描画画像の立体画像で認識することができる。

人の目の焦点は数メートル前に合せていれば、無限遠にある対象に対しても大きくピントがずれることはない。したがって、ドライバーが自動車１０の前方の視界を確認するのに、フロントウインドシールド１５の前方の奥行き方向に目の焦点を合せているとき、画像がフロントウインドシールド１５上に写し出されると、これを見落とす可能性が高くなる。しかし、ドライバーが提供情報を立体視可能なように構成することで、フロントウインドシールド１５の前方の奥行き方向に焦点を合せている状態で提供情報が視認可能となり、提供情報を容易に且つ確実に認知して見落とすことがなくなる。

上記構成の自動車用画像表示システム１は、表示制御部３は、例えば、ドライバーが自動車１０を右折させようと、ステアリングホイール２２を操作するのを操舵角センサ２４で検知したとき、そのときカメラ１８が撮影した画像をＨＵＤ装置４に立体表示することができる。したがって、図４で示すように、ドライバーは、フロントウインドシールド１５を通して前方の奥行き方向に目の焦点を合わせている状態で、立体画像ＴＤを視認可能なことから、自動車１０の右側を横断している歩行者の存在を認識してブレーキ操作を行うことができる。しかも、死角の光景は立体画像で表示されるため、フロントウインドシールド１４を通して視認される自動車の前方の実際の光景と混同視される虞もなく、ドライバーは正確な状況把握を行うことが可能となる。

このとき、ドライバーによって視認される立体画像のフロントウインドシールド１５からの奥行方向の深度は両眼視差によって決まるため、必要に応じて、表示制御部３は、この深度で立体画像が再現されるようカメラ１８が撮影した右目用画像ＲＰと左目用画像ＬＰの加工処理を行うことができる。

同様に、自動車１０を後退させるときには、ギアポジションセンサ２４がリバースギアに入ったことを検出すると、表示制御部３は、カメラ１８が撮影した右目用画像ＲＰと左目用画像ＬＰとをＨＵＤ装置４によって投影する。よって、ドライバーは、フロントウインドシールド１５越しに自動車１０の前方の状況を目視している状態で後方の歩行者等の存在を視認できる。

また、表示制御部３は、車速センサ２５から現在の車速値を取得すると、これを視覚的に表示するための数字及び文字の画像を画像メモリＭから読み出して、この画像から右目用画像ＲＰと左目用画像ＬＰを作成して、図５に示す速度表示３４（図示の例では、「６０ｋｍ／ｈ」）の描画画像を表示する。このとき、表示制御部３は、車速を示す描画画像のフロントウインドシールド１５からの奥行方向の深度に応じた両眼視差が再現した立体画像が視認可能なよう、描画画像の右目用画像ＲＰ及び左目用画像ＬＰを作成する。速度の表示以外にも、ギアポジションセンサ２６が検知したギアの状態を表わす描画画像等も両眼視差に基づく立体画像で表示する。

そして、表示制御部３は、操舵角センサ２４によってドライバーが車線を変更するためにステアリングホィール２２を右又は左に切るのを検知すると、その方向の後方における検知対象物の存在をセンサ２０からの情報で検知する。このとき、センサ２０は、検知した検知対象物が所定以上の大きさであると、検知対象物が接近していると判別して、検知対象物の検知信号を表示制御部３に出力する。

これにより、表示制御部３は、図６に示すように、車線変更には危険があることを表わす禁止マーク１３の描画画像を描画メモリＭから読み出して、ＨＵＤ装置４によって立体表示する。図示の例では、左側のレーンに車線変更しようとして、左後方から接近する他車輛が存在するために、禁止マーク１３を左側に表示している。

よって、ドライバーは、禁止マーク１３が立体表示されるため、フロントウインドシールド１５を通して前方の奥行き方向に目の焦点を合わせて注視している状態で禁止マーク１３を認識できるため、確実に車線変更の危険を察知することができる。また、左右後方の検知対象物を検知するセンサ２０に代えてカメラを配置し、カメラが撮影した後方の他車輛をＨＵＤ装置４によって立体画像で表示することも可能である。

上記した本発明に係る自動車用画像表示システム１は、安全運転を支援するための走行支援システムを備えた自動車１０に有効に適用される。以下、その実施形態を説明する。

先ず、走行支援システムについて述べると、我が国では、走行支援システムについて、その自動化レベルがレベル１からレベル４まで４段階に分けて定義されている。レベル１は、加速・操舵・制動のいずれかを自動車が行い、安全運転支援システムと呼ばれる。レベル２は、加速・操舵・制動の内複数の操作を同時に自動車が行い、準自動走行システムと呼ばれる。レベル３は、加速・操舵・制動を全て自動車が行い、緊急時のみドライバーが対応する状態で、これも準自動走行システムと呼ばれる。レベル４は、加速・操舵・制動を全てドライバー以外が行い、ドライバーが全く関与しない状態で完全自動走行システムと呼ばれる。本明細書においての「自動運転」とは、レベル３又は４のレベルでの走行を言う。

図７は、本実施形態の自動車用画像表示システム１を組み合わせた走行支援システム２０の構成全体を概略的に示している。

走行支援システム２０は、ＣＰＵ、ＲＯＭ、ＲＡＭから成る中央演算処理部２１を備えて、この中央演算処理部２１には、図１で説明した検出部２と、ＨＭＩ（Ｈｕｍａｎ
Ｉｎｔｅｒｆａｃｅ）部２３と、走行制御装置２５と、ナビゲーション装置３３とがそれぞれ接続されている。

ＨＭＩ部２３は、図１で説明したＨＵＤ装置４と共に、タッチパネル３０及びモニター３１（図３に図示）を有して構成される。モニター３１は、例えば、自動車１０の後退時にカメラ１８が撮影した後方視界を表示する。また、タッチパネル３０は、モニター３１の画面上にソフトウェアで形成される。

走行制御装置２５は、ブレーキ制御装置２６及びアクセル制御装置２７を備える。ブレーキ制御装置２６は、ブレーキ作動装置（図示せず）を制御して自動車１０を自動的に減速させる。アクセル制御装置２７は、スロットル開度を調整するスロットル作動装置（図示せず）を制御して、自動車１０を自動的に加速させる。

ナビゲーション装置３３は、ＧＰＳ（グローバル・ポジショニング・システム）３２から受け取るＧＰＳ情報に基づいて、地図データベースから自動車１０の周囲の地図データを読み出す。

中央演算処理部２１は、前記ＣＰＵが前記ＲＯＭに格納されている制御プログラムを実行することにより、それぞれ実現されるパターンマッチング処理部２１ａ、停止制御部２１ｂ、追従走行制御部２１ｃ、定速走行制御部２１ｄ、目標先行車輌決定部２１ｅ、自動運転制御部２１ｆ及び図１で説明した表示制御部３の各機能を有している。

パターンマッチング処理部２１ａは、カメラ１７，１８，１９からそれぞれ送られてくる画像にパターンマッチング処理を行うことで、画像の中から歩行者や自転車、自動二輪車等の輪郭を検出することで、これらの存在を判別する。この処理を行うために、前記ＲＯＭには、これら検出対象の画像特徴である輪郭が予め登録されているパターンデータファイルＦが含まれている。さらに、このＲＯＭには、表示制御部３がＨＵＤ装置４に表示する図形やアイコン等の絵柄又は文字・数字で視覚的に表す描画画像が予め格納されている前述の画像メモリＭが含まれている。

そして、パターンマッチング処理部２１ａは、パターンマッチング処理と同時に、画像の輝度情報を基にして、白線又は黄線による車線ラインの検出も行う。

停止制御部２１ｂは、パターンマッチング処理部２１ａが画像の中から歩行者や自転車、自動二輪車等の検知対象物を検出したとき、カメラ１７の左右の両画像の視差から検知対象物までの距離を演算して、その距離に応じて自動車１０の停止を制御する停止制御手段である。

追従走行制御部２１ｃは、追従走行モードにおいて、自動車１０が先行車輌に追従走行させるために、先行車輌との車間距離を演算して、予め設定した車間距離と比較した結果のデータを走行制御装置２５に出力する。

定速走行制御部２１ｄは、定速走行モードにおいて、自車輌を定速走行させるために、現在の速度と予め設定した車速と差を演算して走行制御装置２５に出力する。

目標先行車輌決定部２１ｅは、追従走行モードの目標となる先行車輌を決定する。

自動運転制御部２１ｆは、上記レベル３又は４のレベルでの自動車１０を自動走行するための制御を行なう。

上記の走行支援システム２０において、自動車１０が右折する際に、人の存在を検知したときに自動停止する場合の具体的な動作について、図８のフローチャートに基づいて説明する。この自動停止は、上記したレベル１からレベル４までの全ての走行支援は勿論、ドライバーによるマニュアル運転時の安全支援においても適用できる。

中央演算処理部２１は、ドライバーが自動車１０を右折させるためのステアリング操作が行われたか否かを判定する（ステップＳ１）。このとき中央演算処理部２１は、ステアリングホイール２２が回転操作されたかを操舵角センサ２４によって検出する。右折のステアリング操作が行われておらず「ＮＯ」の場合には、死角となっている光景の画像を表示する動作は行われない。

右折のステアリング操作が行われて「ＹＥＳ」の場合には、中央演算処理部２１のパターンマッチング処理部２１ａは、このときカメラ１９から送られてくる画像を取得し（ステップＳ２）、次に、カメラ１９が撮影した右目用画像ＲＰと左目用画像ＬＰとをＨＵＤ装置４によって表示する。したがって、画像が両眼視差によって立体表示されることで、ドライバーは自動車の前方のドライバーの視線上のフロントウインドシールド１５を挟んだ奥行き方向の位置に画像を視認できる（ステップＳ３）。

そして、中央演算処理部２１は、取得した画像とパターンデータファイルＦに登録されている検知対象物の輪郭とのパターンマッチング処理を行い、画像の中に歩行者や自転車、自動二輪車等の検知対象物の画像特徴が含まれているか否かを検出することで、その存在を判別する（ステップＳ４）。検知対象物が含まれていない「ＮＯ」の場合は、死角となっている光景の画像を表示する動作を終了する。

中央演算処理部２１は、画像に検知対象物が含まれていると（ステップＳ４の「ＹＥＳ」）、停止制御部２１ｂによって、カメラ１９の左右の両画像の視差から検知対象物までの距離を演算して、その距離が所定範囲内にあるか否かを判断する（ステップＳ５）。そして、検知対象物までの距離が、例えば、１０メートルの範囲を超えているときには（ステップＳ５の「ＮＯ」）、死角となっている光景の画像を表示する動作を終了する。

一方、検知対象物までの距離が１０メートルの範囲内であると（ステップＳ５の「ＹＥＳ」）、中央演算処理部２１は、ブレーキ制御装置２６により自動車１０を停止させる制御を行う（ステップＳ６）。その後、中央演算処理部２１は、ステップ２からの処理を繰り返して、当該検知対象物や他の検知対象物が存在しなくなるか（ステップ４の「ＮＯ」）、又は存在していてもそれらとの距離が１０メートルを超えるようになると（ステップＳ５の「ＮＯ」）、死角となっている光景の画像を表示する動作を終了する。この場合、停止制御部２１ｂは、ブレーキ制御装置２６による自動車１０の停止状態を解除する。

これにより、カメラ１９が検知対象物を所定範囲内の距離で検出されている間、自動車１０は停止状態に維持される。よって、この安全運転支援システム２０によれば、ドライバーの目が届かない死角の範囲の状況に応じて自動停止を制御するために、右折時のドライバーの安全運転を確実に支援することができる。

本発明に係る自動車用画像表示システム１を統合した走行支援システム２０は、Ａピラー６に代表されるようなピラー部分以外にも、他のフレームやアウター部材等の自動車の構造体も車内から死角を形成する場合があり、これらの表面にカメラを取り付けて、そのステレオ画像をＨＵＤ装置４によりフロントウインドシールド１５で表示させることもできる。

走行支援システム２０は、上記のＡピラー６により死角の画像以外にも、種々の情報を撮影画像や描画画像でドライバーに立体画像により表示するが、以下、幾つかの表示例を説明する。

［定速走行・車間距離制御を行なっているときの表示］
走行支援システム２０による自動車１０の定速走行・車間距離制御について説明する。本実施形態での定速走行・車間距離制御は、例えば以下のように行われるが、当然ながら、これに限定されるものではない。

中央演算処理部２１は、ドライバーが走行支援スイッチ（図示せず）をオンにすることによって、自車輌の定速走行・車間距離制御を開始する。定速走行の車速及び先行車輌との車間距離は、ドライバーが走行支援スイッチをオンにする直前に、ＨＭＩ部２３のタッチパネル３０に所望の値を入力して設定してもよいし、走行支援システム２０のメモリ（図示せず）に記憶されている前回の設定値をそのまま使用することもできる。定速走行・車間距離制御は、先行車輌が検知されているときは追従走行モードで、先行車輌が検知されていないときは定速走行モードで、互いに切り換えて行われる。

最初に、目標先行車輌決定部２１ｅがフロント側のカメラ１７とセンサ２１とにより、先行する全ての他車輌を検知する。そして、目標先行車輌決定部２１ｅは、検知された全ての先行車輌との車間距離、相対速度、自車輌に対する方向等を検出して記憶すると共に、その中で自車輌と同じ車線を走行している先行車両の内、自車輌に最も近いものを追従走行するための目標の先行車輌に決定する。先行車両が自車両と同じ車線を走行しているか否かは、パターンマッチング処理部２１ａが車線を検出することで判別できる。

センサ２１は、前記走行支援スイッチのオン／オフに拘わらず、常時走査させていることが好ましい。それにより、前記走行支援スイッチのオン操作に対して、目標先行車輌の決定を素早くできるだけでなく、先行車輌の検知を追突防止機能にも利用することができる。

先行車輌の存在は、先行車輌との間で近距離無線通信を行うことによって入手することもできる。このような先行車輌との車両間における情報通信によって行われる所謂、車車間通信により入手した情報を、センサ２１及びフロントカメラ１７による検出結果に加えることによって、先行車輌検知部１１は、先行車輌の位置情報の精度を更に高めることができる。

先行車輌の存在は、車両と道路周辺設備間等における各種情報通信、すなわち道路上に設置されたセンサやアンテナ等の通信装置と直接又はその周辺エリアのサーバーを介した無線通信によって行われる所謂、路車間通信によっても、入手可能である。かかる車車間通信及び／又は路車間通信のために、走行支援システム２０は、外部と通信するための通信装置を備える。よって、車車間通信や路車間通信によって、周囲の車輛の位置情報や走行状況を取得する通信装置は、ドライバーへの提供情報を検出する検出手段となる。

中央演算処理部２１は、追従走行モードにおいては、追従走行制御部２１ｃにより、決定した目標先行車輌との車間距離を設定車間距離に維持するように、走行制御装置２５を制御する。すなわち、目標先行車輌との現在の実際の車間距離が設定車間距離よりも長ければ、自動車１０の車速を上げて目標先行車輌との車間距離を縮めるようにアクセル制御装置２７を制御し、短ければ、自車輌の車速を下げて目標先行車輌との車間距離を伸ばすようにブレーキ制御装置２６を制御し、同じであれば、現在の自車輌の車速を維持するようにブレーキ制御装置２６とアクセル制御装置２７とを制御する。

図９は、追従走行モードにおけるＨＵＤ装置４の画面表示の一例を示している。この例では、追従している先行車４１をマーキング４２の描画で表示している。フロントウインドシールド１５を通して見える現実風景４０の道路上の自車輌の前方には、自車輌と同じ追越し車線４３に１台の先行車輌４１が、更に隣の走行車線４４には別の１台の先行車輌４５が走行している。この場面において、センサ２１やカメラ１７によって両方の先行車輌４２，４５が検知されているが、目標先行車輌決定部２１ｅは、自車輌と同じ車線４３上で自車輌に最も近い先行車輌４１を目標先行車輌に決定する。したがって、この場合、先行車輌４１が現実風景において、ドライバーが特に注視する検知対象物となる。

このとき、目標先行車輌決定部２１ｅは、検出した目標先行車輌４２との車間距離、相対速度、方向等のデータは、メモリに記憶すると共に、センサ２１及びカメラ１７が継続して連続的に走査することによって、目標先行車輛４２を自動追尾し、それとの車間距離、相対速度、方向等のデータを連続的に収集して記憶する。

そして、表示制御部３は、目標先行車輌決定により、先行車輛４１が追従対象車両であることを表すマーキング４２の画像を表示する。マーキング４２は、図９に示すように、先行車輛４１の後部輪郭と概ね重なるような枠の絵柄であり、表示制御部３は、画像メモリＭから枠の描画画像を読み出して、これを立体画像で表示するよう右目用画像ＲＰ及び左目用画像ＬＰの作成処理を行う。

このときの処理について説明する。フロントウインドシールド１５の上部に固定で据え付けられているカメラ１７が撮影する範囲とフロントウインドシールド１５の面とが重なる領域は一定であり、表示制御部３にはこの重なる領域が予め設定されている。よって、表示制御部３は、目標先行車輌が決定されたとき、フロントウインドシールド１５の中心点Ｏを通るＸ−Ｙ軸を基準にして、カメラが撮影した画像の中から、先行車輛４１の輪郭の中心点Ｐの座標位置を演算する。このとき先行車輛４１の大きさは、その輪郭が画像に占める割合から判別できるため、その大きさに見合ったサイズのマーキング４２の描画画像を画像メモリＭから読み出す。

そして、表示制御部３は、このマーキング４２の描画画像から両眼視差を有する右目用画像ＲＰ及び左目用画像ＬＰを作成してＨＵＤ装置４で表示する。この場合、表示制御部３は、ドライバーがマーキング４２をその中心が演算で求めた前述の座標位置で、且つフロントウインドシールド１５から先行車輛４１までの奥行き方向の深度で視認できるような両眼視差を有する右目用画像ＲＰ及び左目用画像ＬＰを作成する。

よって、ドライバーは、フロントウインドシールド１５を通して先行車輛４１に目の焦点を合せている状態でマーキング４２も同時に視認できる。これにより、ドライバーは、目標先行車輛４２を実際に枠で囲ったように目に映るため、自車輛が追尾の対象としている目標先行車輛を確実に視認することができる。

本実施形態でのマーキング４２の画像は、図示するように、目標先行車輛４１の輪郭を囲むような四角い太枠線で形成されているが、四角い太枠線以外の様々な形や表示を用いることができる。例えば、円形の太枠線や、枠で囲むのではなく矢印で示してもよく、さらには、ドライバーの注意をさらに喚起するために、例えば、赤又は橙等の目立つ色で表示することもできる。

そして、定速走行制御部２１ｄの制御による定速走行時には、表示制御部３は、ＨＭＩ部２３のタッチパネル３０への入力により設定された走行速度を数字の描画画像によって立体表示する。さらに、表示制御部３は、定速走行速度を変更する場合には、設定速度に到達するまでの途中段階での車速を車速センサ２５から取得して、逐次表示していく。

［ナビゲーションの表示］
自動車１０がナビゲーション装置３３によって、目的地までへの経路案内が設定されているときには、ＨＵＤ装置４によってナビゲーション情報を立体表示する。

ＨＵＤ装置４により表示されるナビゲーション情報は、例えば、自動車１０の進行方向に沿った矢印であり、交差点において真っ直ぐに進むときには直線の矢印、左折又は右折のときにはその方向に応じた屈折した矢印を表示する。

図１０は、ナビゲーション走行時において、経路を左折する案内時のＨＵＤ装置４による画面表示の一例を示している。表示制御部３は、左折を表示する矢印４６の描画画像を画像メモリＭから読み出してきてＨＵＤ装置４に立体表示する。このとき、表示制御部３は、ナビゲーション装置３３から左折する交差点４７までの距離情報が送信されてくると、その距離に基づきフロントウインドシールド１５の面上に設定しているＹ軸での座標位置を決定して、その位置に矢印４６が立体表示されるような両眼視差を有する右目用画像ＲＰ及び左目用画像ＬＰを作成し表示する。

よって、ドライバーは、フロントウインドシールド１５を通して交差点４７に目の焦点を合せている状態で、矢印４６も視認することができる。これにより、ドライバーは、交差点４７に重ねて左折の矢印が視認されるため、左折の準備を執ることができる。したがって、この場合、交差点４７が現実風景において、ドライバーが特に注視する検知対象物となる。

［自動運転を行っているときの表示］
本発明に係る自動車用画像表示システムは、ドライバーが直接には運転に関与しない完全自動運転車においては、ドライバーは、ＨＵＤ装置４によって投影される立体画像によって自動運転状況を監視することができる。このような、自動運転中での本発明に係る自動車用画像表示システムによる表示の例を説明する。

自動運転は、ナビゲーション装置３３が事前に乗員から入力された目的地までの走行ルートの候補を１つ又は複数演算し、ドライバーの確認又は承認により決定された走行ルートに沿って、自動運転制御部２１ｆが走行制御装置２５を制御することで行われる。

この自動運転中に表示制御部３は、図１１で示すように、自車輌の走行コースを表す矢印４８による描画画像の右目用画像ＲＰと左目用画像ＬＰとを作成して、ＨＵＤ装置４で表示する。この場合、表示制御部３は、パターンマッチング処理部２１ａによるカメラ１７が撮影した画像の処理により自車両の走行路４９の座標位置を検出し、その座標位置にドライバーが両眼視差で矢印４８を立体画像で視認可能なよう右目用画像ＲＰ及び左目用画像ＬＰを作成する。

よって、ドライバーは、フロントウインドシールド１５を通してその奥行き方向に目の焦点を合せている状態で矢印４８を視認できるため、ドライバーには、あたかもフロントウインドシールド１５を通して見える現実風景３６の道路４９上に、矢印４８が示されているように認識できる。

さらに、表示制御部３は、自動運転中の自動車１０が現在の走行コースから逸れたり車線変更の走行行動をする前に、その執ろうとしている次の走行行動を、ドライバー及び他の乗員に直感的かつ瞬間的に分かり易く表示することで予告する。本実施形態において、予定の走行行動と異なる走行行動を取るべきか、又はどのように行動するかの判断は、中央演算処理部２１が自動運転制御部２１ｆを実現するために実行する自動運転の制御プログラムに従って決定する。

図１２は、自車輌が自動運転中に、追越車線５２から走行車線５３へ車線変更する場合に、それに先立ってＨＵＤ装置４にそれぞれ表示される予告のための画面を模式的に示している。このときの表示には、予定走行コースを示す矢印５０による描画画像に加えて、車線変更の走行コースを矢印５１による描画画像が表示される。

矢印５１は、現実風景３６の追越車線３８上の位置から、移動先の隣接する走行車線４５上の位置まで、自車輌が自動走行すると予測される軌跡に沿って湾曲する形状となっている。これらの矢印５０，５１も画像メモリＭから読み出されて、立体画像で表示されることで、ドライバーは、前方の車両に目の焦点を併せている状態で矢印が視認できる。よって、ドライバーは、現在走行中の追越車線５２から、走行車線５３へ車線変更の運転操作が行われようとしていることを、より明確に、直感的かつ具体的に認識することができる。

さらに、図１２の例では、矢印５０，５１による描画画像と共に自車輌を仮想させるアイコン５４による描画画像を表示している。そして、表示制御部３は、自車輛がこれから行おうとする車線変更の経過をアイコン５４の動きでＨＵＤ装置４によって仮想表示する。図１２の（ａ）から（ｄ）までは、このときの表示を時間順に模式的に示している。

先ず、図１２（ａ）では、アイコン５４は、自車輛がフロントウインドシールド１５の直前を走行しているかの如き状態を示している。このとき、表示制御部３は、アイコン５４がドライバーによって視認される位置が、同じ車線５２の先行車輛５５の後方であるかのような両目視差が得られるように右目用画像ＲＰ及び左目用画像ＬＰを作成して、ＨＵＤ装置４で表示する。

そして、表示制御部３は、以下、図１２（ｂ），（ｃ），（ｄ）の仮想画像で順次示すように、アイコン５４が追越車線５２から走行車線５３へと車線変更して離れていく様子をそれぞれ立体画像でドライバーが視認できるように、右目用画像ＲＰ及び左目用画像ＬＰを作成して、ＨＵＤ装置４で表示する。このとき、車線変更の経過に伴い自車両の外観形状も変化することになるが、表示制御部３は、その経過時に応じた自車両の外観形状を表わすアイコン５４の描画画像を描画メモリＭから読み出して表示する。

このような仮想車輌のアイコン５４による車線変更のシミュレーション表示は、自車輌の実際の走行速度よりも高速で表示することが好ましい。それにより、車線変更を予告した後、自動運転制御部２１ｆが予定している車線変更のタイミングまでの間に、ドライバーに車線変更の中止や手動運転への切換を判断させ、必要があれば準備させる時間的余裕を持たせることができる。

また、アイコン５４は、仮想での車線変更の終了後直ちに消滅させることができ、又はそれぞれフロントウインドシールド１５の同じ位置に表示させた状態で、或る短い時間維持することもできる。また、図１２の（ａ）乃至（ｄ）までの動画を繰り返して表示させることもできる。

以上、詳述したように、本発明に係る自動車用画像表示システムは、ドライバーによって運転操作が直接行われる場合や走行支援システムで実現されるレベル１からレベル４までの何れの段階での自動運転においても、安全走行に必要な情報を表示によりドライバーに提供することができる。

１ 自動車用画像表示システム
２ 検出部（検出手段）
３ 表示制御部（描画手段）
４ ＨＵＤ装置（表示手段）
１７、１８、１９ カメラ
２０、２１ センサ

Claims (8)

1. 自動車の乗員への提供情報を画像で表示する自動車用画像表示システムであって、
   前記提供情報を検出する検出手段と、
   前記提供情報の立体画像を構成する右目用画像及び左目用画像を前記自動車のフロントウインドシールドに向けて投影する表示手段と、を備えて、
   前記乗員が前記自動車の前方への視線上の前記フロントウインドシールドを挟んだ奥行き方向の位置に前記提供情報を表示可能にしたことを特徴とする自動車用画像表示システム。
2. 前記検出手段を前記自動車の周囲の状況を撮影するカメラで構成したことを特徴とする請求項１に記載の自動車用画像表示システム。
3. 前記カメラは、右目用画像と左目用画像とを撮影するステレオカメラであることを特徴とする請求項２に記載の自動車用画像表示システム。
4. 前記検出手段は、前記自動車の周囲の状況又は自動車の走行状態を検知するセンサであり、前記センサによる前記提供情報を視覚的に表示可能な描画画像に変換する描画手段を含むことを特徴とする請求項１に記載の自動車用画像表示システム。
5. 前記描画画像は、前記フロントウインドシールドを通して視認可能な現実風景における特定の検知対象物に関連付けて表示することを特徴とする請求項４に記載の自動車用画像表示システム。
6. 前記表示手段は、前記乗員が前記フロントウインドシールドから前記検知対象物を視認するときの奥行き方向の深度と略同じ深度で、前記検知対象物を視認することができる両眼視差を有する前記右目用画像及び前記左目用画像を投影することを特徴とする請求項５に記載の自動車用画像表示システム。
7. 前記検知手段は、前記自動車の現在位置を特定して周辺の地図データから進行方向を案内するナビゲーション装置であって、
   前記案内の描画画像を前記風景に関連付けて表示することを特徴とする請求項５又は６に記載の自動車用画像表示システム。
8. 前記検出手段は、車車間通信又は路車間通信によって、付近の車輛についての前記提供情報を取得する通信装置であることを特徴とする請求項１に記載の自動車用画像表示システム。

Images