JP2016112984A - 車両用虚像表示システム、ヘッドアップディスプレイ - Google Patents
車両用虚像表示システム、ヘッドアップディスプレイ Download PDFInfo
- Publication number
- JP2016112984A JP2016112984A JP2014252198A JP2014252198A JP2016112984A JP 2016112984 A JP2016112984 A JP 2016112984A JP 2014252198 A JP2014252198 A JP 2014252198A JP 2014252198 A JP2014252198 A JP 2014252198A JP 2016112984 A JP2016112984 A JP 2016112984A
- Authority
- JP
- Japan
- Prior art keywords
- virtual image
- traffic light
- host vehicle
- display
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】障害物に隠れてしまった信号機の情報をユーザに認識させることができる。【解決手段】通信部400は、自車両2が通過する予定の信号機の灯色状態を無線受信し、画像解析部202は、ステレオカメラ201が撮像した自車両2の進行方向の実景画像を解析し、前記実景画像に信号機が存在するかを判定し、コントローラ500は、信号機が実景画像に存在しない場合に、通信部400から入力した信号機の灯色状態に基づき、信号機の灯色状態を示す灯色虚像を表示させる。【選択図】図1
Description
本発明は、自車両に存在する反射透過面に表示画像を示す表示光を投影することで、ユーザに虚像を視認させる車両用虚像表示システム、ヘッドアップディスプレイに関する。
ユーザに虚像を視認させる車両用虚像表示システムは、ヘッドアップディスプレイ(HUD:Head−Up Display)を用い、例えば、特許文献1に開示されるものがある。このようなHUDは、車外カメラなどで車外の信号機などの特定対象物を認識し、特定対象物に重畳して視認される表示位置を特定し、その表示位置に画像を投影することで、特定対象物に虚像を重畳表示して強調することができるものである。
しかしながら、特許文献1のようなHUDでは、自車両の前方に車体の大きなトラックが走行していた場合、車外カメラがトラックに隠れた信号機を認識することができないため、車外の信号機に対して強調表示することができず、ユーザが信号機を見逃してしまうおそれがあった。
本発明は、上記問題を鑑みてなされたものであり、障害物に隠れてしまった信号機の情報をユーザに認識させることができる車両用虚像表示システム、ヘッドアップディスプレイを提供することを目的とする。
上記目的を達成するため、本発明の第1の発明における車両用虚像表示システムは、自車両が通過する予定の信号機の灯色状態を無線受信する通信部と、受信した前記信号機の灯色状態を示す虚像を表示するヘッドアップディスプレイと、を備えた車両用虚像表示システムであって、前記自車両の前方状況を取得する前方状況取得部と、取得した前記前方状況を解析し、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在するかを判定する前方状況解析部と、前記信号機が前記自車両の前方でユーザが視認可能な位置に存在しない場合に、前記灯色状態を示す前記虚像を表示させる制御手段と、を備える。
また、第2の発明におけるヘッドアップディスプレイは、自車両が通過する予定の信号機の灯色情報を外部から取得し、取得した前記信号機の灯色状態を示す虚像を表示するように制御する制御手段と、を備えたヘッドアップディスプレイにおいて、前記制御手段は、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在しないとする信号を外部から受信した場合、前記灯色状態を示す前記虚像を表示させるものである。
本発明における車両用虚像表示システム及びヘッドアップディスプレイによれば、障害物に隠れてしまった信号機の情報をユーザに認識させることができる。
(第一実施形態)
図1に本実施形態に係る車両用虚像表示システム1のシステム構成を示す。
本実施形態に係る車両用虚像表示システム1は、虚像Mを表す表示光Lを自車両2のフロントガラス(反射透過面の一実施形態)2aに投影し、虚像Mを自車両2の乗員(ユーザ)3に視認させるヘッドアップディスプレイ(以下、HUD)100と、自車両2の前方の実景画像を取得し、解析する前方情報取得部200と、経路案内のための情報を生成するナビゲーションシステム300と、外部と無線通信可能な通信部400と、これら前方情報取得部200とナビゲーションシステム300と通信部400とから入力される情報に基づき、HUD100の表示を制御するコントローラ500と、から構成される。
図1に本実施形態に係る車両用虚像表示システム1のシステム構成を示す。
本実施形態に係る車両用虚像表示システム1は、虚像Mを表す表示光Lを自車両2のフロントガラス(反射透過面の一実施形態)2aに投影し、虚像Mを自車両2の乗員(ユーザ)3に視認させるヘッドアップディスプレイ(以下、HUD)100と、自車両2の前方の実景画像を取得し、解析する前方情報取得部200と、経路案内のための情報を生成するナビゲーションシステム300と、外部と無線通信可能な通信部400と、これら前方情報取得部200とナビゲーションシステム300と通信部400とから入力される情報に基づき、HUD100の表示を制御するコントローラ500と、から構成される。
本実施形態における車両用虚像表示システム1は、通信部400を用いて、道路上に設置されているインフラ側の通信機器である信号機情報送信部4と路車間通信することができる。車両用虚像表示システム1は、信号機情報送信部4から信号機5の灯色を示す灯色情報Isを取得し、取得した灯色情報Isに基づいて、信号機5の灯色を示す灯色虚像M1を表示することが可能である。路車間通信では、狭域通信(DSRC)などの電波ビーコンや光ビーコンの技術が用いられる。
(HUD100の光学的構成)
HUD100は、本発明の特徴である後述する信号機5の灯色を示す灯色虚像M1を表示するための画像を表示する表示器10と、この画像を示す画像光Kを反射する平面ミラー20と、この平面ミラー20が反射した画像光Kを拡大及び変形して表示光Lとしてフロントガラス2a側へ反射する自由曲面ミラー30と、を備える。HUD100は、フロントガラス2a上に所定の表示可能領域Eを有し、この表示可能領域E内に虚像Mを表示することができる。
HUD100は、本発明の特徴である後述する信号機5の灯色を示す灯色虚像M1を表示するための画像を表示する表示器10と、この画像を示す画像光Kを反射する平面ミラー20と、この平面ミラー20が反射した画像光Kを拡大及び変形して表示光Lとしてフロントガラス2a側へ反射する自由曲面ミラー30と、を備える。HUD100は、フロントガラス2a上に所定の表示可能領域Eを有し、この表示可能領域E内に虚像Mを表示することができる。
表示器10は、後述するコントローラ500による制御の下、信号機5の灯色を示す画像や、自車両2に関する情報を示す車両情報画像(図示しない)等を表示面に表示するものであり、例えば、液晶パネルなどの表示素子(図示しない)と、この表示素子を照明する光源(図示しない)とから構成される透過型液晶ディスプレイなどである。なお、表示器10は、透過型液晶ディスプレイではなく、自発光型の有機ELディスプレイや、反射型のDMD(Digital Micromirror Device)、反射型及び透過型のLCoS(登録商標:Liquid Crystal on Silicon)等で構成されてもよい。後述するコントローラ500は、表示器10の表示面に表示する画像の表示位置を調整することで、乗員3が視認する虚像Mの位置を調整することができる。
平面ミラー20は、表示器10が出射した画像光Kを、自由曲面ミラー30に向けて反射させるものである。
自由曲面ミラー30は、例えば合成樹脂材料からなる凹状の基材の表面に、蒸着等の手段により反射膜を形成したものであり、平面ミラー20で反射した画像光Kを拡大すると共に、画像光Kを変形して表示光Lとしてフロントガラス2aの方向に出射する。
乗員3から見てフロントガラス2aの奥側で視認される虚像Mは、図2に示すように、自車両2が通過する予定の信号機5の灯色を示す灯色虚像M1を有する。灯色虚像M1は、例えば、赤色の信号機を模した円形状の赤色枠の赤色灯虚像M1rと、黄色の信号機を模した円形状の黄色枠の黄色灯虚像M1yと、青色の信号機を模した円形状の青色枠の青色灯虚像M1bと、から構成される。灯色虚像M1は、後述する通信部400から入力する灯色情報Isに基づき、赤色灯虚像M1rまたは黄色灯虚像M1yまたは青色灯虚像M1bのいずれかが点灯しているように表示される。図2では、黄色灯虚像M1yが点灯している様子が図示されている。この灯色虚像M1の表示処理については、後で詳述する。
以上が、本実施形態におけるHUD100の光学的な構成である。HUD100は、出射した表示光Lが自車両2のフロントガラス2aに投影されることで、フロントガラス2aの所定の表示可能領域Eで虚像Mを視認させるものである。以下に、車両用虚像表示システム1の電気的な構成を説明する。
(車両用虚像表示システム1の電気的構成)
前方情報取得部200は、自車両2の前方の実景を撮像し、この実景画像を解析することで、実景画像内の信号機5を抽出するものである。本実施形態の前方情報取得部200は、自車両2前方側を撮像するステレオカメラ(前方状況取得部)201と、このステレオカメラ201で取得された撮像データを解析する画像解析部(前方状況解析部)202と、を有する。
前方情報取得部200は、自車両2の前方の実景を撮像し、この実景画像を解析することで、実景画像内の信号機5を抽出するものである。本実施形態の前方情報取得部200は、自車両2前方側を撮像するステレオカメラ(前方状況取得部)201と、このステレオカメラ201で取得された撮像データを解析する画像解析部(前方状況解析部)202と、を有する。
ステレオカメラ(前方状況取得部)201は、自車両2が走行する車線を含む前方領域を撮像し、実景画像を画像解析部202に送信する。画像解析部202(前方状況解析部)は、取得した実景画像をパターンマッチングなどの画像解析法を用いて解析し、実景画像から信号機5を抽出する。また、ステレオカメラ201は、カラー画像を取得可能であり、画像解析部202は、取得したカラーの実景画像から信号機5の灯色を検出することができる。さらに、画像解析部202は、例えば、ステレオカメラ201が撮像したステレオ画像である実景画像を、三角法などの画像解析することにより、信号機5や後述する障害物Wまでの距離を算出することが可能である。なお、ステレオカメラ201が設置されている位置と、乗員3の眼の位置は異なるため、ステレオカメラ201で撮像できても乗員3には視認が困難である場合がある。画像解析部202は、実景画像内に信号機5が抽出できたとしても、抽出した信号機5の位置が乗員3にとって視認可能な位置にあるかを判定する。
すなわち、本実施形態における前方情報取得部200は、自車両2の前方で乗員3が視認可能な位置に信号機5が存在するか否かを示す情報や信号機5の灯色情報Isや信号機5までの距離情報などを、後述するコントローラ500に出力する。
本発明に記載の『前方状況取得部』の一例として、本実施形態では、ステレオカメラ201を挙げたが、ステレオカメラ以外に、可視光を撮像する通常の単眼カメラや単眼3次元ステレオカメラなどを用いてもよい。また、カラーではなくモノクロの実景画像を取得するものであってもよい。また、本発明の『前方状況取得部』として、赤外センサやミリ波レーダー、レーザーレーダーなど様々なセンサを適用することが可能である。
すなわち、本実施形態における前方情報取得部200は、自車両2の前方で乗員3が視認可能な位置に信号機5が存在するか否かを示す情報や信号機5の灯色情報Isや信号機5までの距離情報などを、後述するコントローラ500に出力する。
本発明に記載の『前方状況取得部』の一例として、本実施形態では、ステレオカメラ201を挙げたが、ステレオカメラ以外に、可視光を撮像する通常の単眼カメラや単眼3次元ステレオカメラなどを用いてもよい。また、カラーではなくモノクロの実景画像を取得するものであってもよい。また、本発明の『前方状況取得部』として、赤外センサやミリ波レーダー、レーザーレーダーなど様々なセンサを適用することが可能である。
ナビゲーションシステム300は、自車両2に設けられ、信号機5の位置情報を含む地図情報を記憶し、図示しないGPSコントローラで検出する自車両2の位置情報に基づいて、現在位置近傍の地図情報を記憶部から読み出し、自車両2がこれから通過する信号機5の位置情報を生成し、後述するコントローラ500に出力する。ナビゲーションシステム300が生成する信号機5の位置情報とは、具体的に例えば、自車両2から通過する予定の信号機5までの距離等を含む情報である。後述するコントローラ500は、ナビゲーションシステム300から入力する自車両2から信号機5までの距離情報に基づいて、自車両2が信号機5を視認できる位置にあるかを判定する。なお、ナビゲーションシステム300は、本発明の特許請求の範囲に記載の自車両2の位置を取得する位置情報取得手段と、道路上の信号機5の位置を含む地図情報を記憶する地図情報記憶手段と、前記位置情報取得手段が取得した自車両2の位置から自車両2が通過する予定の信号機5の位置を前記地図情報記憶手段から読み出し、自車両2と信号機5との間の距離を算出する距離算出手段を、機能として備える。
通信部400は、自車両2に設けられ、道路上に設置されている信号機情報送信部4と一方向または双方向の無線通信を行うものであり、信号機情報送信部4から灯色情報Isを取得し、この灯色情報Isをコントローラ500に送信する。
コントローラ500は、CPU,ROM,RAM,グラフィックコントローラなどからなるECU(Electirical Control Unit)であり、前方情報取得部200,ナビゲーションシステム300,通信部400から入力される情報に基づいて、HUD100の表示を制御する。コントローラ500は、ナビゲーションシステム300から取得した自車両2と信号機5との距離情報から、自車両2が信号機5を視認できる位置にあるかを判定する。具体的には、コントローラ500は、自車両2と信号機5との間の距離が100m以内となった場合、自車両2が信号機5を視認できる位置にあると判定する。
コントローラ500は、自車両2が信号機5を視認できる位置にあると判定した場合、前方情報取得部200が行う実景画像内に信号機5が存在するか否かの判定に基づいて、信号機5の灯色を示す灯色虚像M1をHUD100に表示させるかを決定する。具体的には、前方情報取得部200が、実景画像内に信号機5が存在しないと判定した場合、コントローラ500は、HUD100に灯色虚像M1を表示させる。これにより、信号機5が障害物Wなどによって隠れてしまった場合でも、乗員3は、信号機5の灯色状態を、灯色虚像M1を視認することで確認することができる。
以下に、車両用虚像表示システム1の動作を、図3のフロー図を用いて説明する。
コントローラ500は、自車両2が信号機5を視認できる位置にあると判定した場合、前方情報取得部200が行う実景画像内に信号機5が存在するか否かの判定に基づいて、信号機5の灯色を示す灯色虚像M1をHUD100に表示させるかを決定する。具体的には、前方情報取得部200が、実景画像内に信号機5が存在しないと判定した場合、コントローラ500は、HUD100に灯色虚像M1を表示させる。これにより、信号機5が障害物Wなどによって隠れてしまった場合でも、乗員3は、信号機5の灯色状態を、灯色虚像M1を視認することで確認することができる。
以下に、車両用虚像表示システム1の動作を、図3のフロー図を用いて説明する。
車両用虚像表示システム1は、自車両2のイグニスイッチ(図示しない)のオン操作に従って起動する。起動すると、まず、ステップS10において、ナビゲーションシステム300は、自車両2の現在地を取得し、記憶部に記憶しておいた地図情報から自車両2が通過する可能性のある信号機5の位置情報を取得し(ステップS20)、コントローラ500に出力する。
ステップS30において、コントローラ500は、ナビゲーションシステム300から入力した位置情報に含まれる自車両2から信号機5までの距離が、所定の距離(例えば、100m)以内であるかを判定する。自車両2から信号機5までの距離が100mより長い場合(ステップS30でNO)、ステップS10に戻り再び自車両2の現在位置を取得する。一方、自車両2から信号機5までの距離が100m以下であった場合(ステップS30でYES)、前方情報取得部200は、自車両2の前方側を撮像した実景画像内に信号機5が存在するかを判定する(ステップS40)。
前方情報取得部200が実景画像内に信号機5が存在すると判定した場合(ステップS40でYES)、コントローラ500は、信号機5の灯色を示す灯色虚像M1や後述する警告虚像M2を非表示とする(ステップS50)。例えば、コントローラ500は、灯色虚像M1を表示している途中に実景画像で信号機5の存在が確認された場合、灯色虚像M1を非表示とする。
このように、乗員3が実景における信号機5が視認できる状態になった際に、灯色虚像M1を非表示とすることで、実景における信号機5と灯色虚像M1とで灯色を示す情報の重複を解消することができ、乗員3に実景の信号機5に注意を促すことができる。
このように、乗員3が実景における信号機5が視認できる状態になった際に、灯色虚像M1を非表示とすることで、実景における信号機5と灯色虚像M1とで灯色を示す情報の重複を解消することができ、乗員3に実景の信号機5に注意を促すことができる。
一方、前方情報取得部200が実景画像内に信号機5が存在しないと判定した場合(ステップS40でNO)、コントローラ500は、通信部400から灯色情報Isが入力されたかを判定する(ステップS60)。
コントローラ500が通信部400から灯色情報Isが入力されていないと判定した場合(ステップS60でNO)、コントローラ500は、HUD100を制御し、表示可能領域Eに信号機5が近いことを警告する警告虚像M2を表示させる。警告虚像M2は、具体的に例えば、「信号機が近くにあります。注意して下さい。」などの文字情報や乗員3に信号機5の接近を知らせる標示などである。このように、灯色情報Isの入力がなく、信号機5の灯色を示す灯色虚像M1を表示することが出来なくても警告虚像M2により、信号機5の接近を乗員3に通知し、注意を促すことができる。
コントローラ500が通信部400から灯色情報Isが入力されていないと判定した場合(ステップS60でNO)、コントローラ500は、HUD100を制御し、表示可能領域Eに信号機5が近いことを警告する警告虚像M2を表示させる。警告虚像M2は、具体的に例えば、「信号機が近くにあります。注意して下さい。」などの文字情報や乗員3に信号機5の接近を知らせる標示などである。このように、灯色情報Isの入力がなく、信号機5の灯色を示す灯色虚像M1を表示することが出来なくても警告虚像M2により、信号機5の接近を乗員3に通知し、注意を促すことができる。
コントローラ500が通信部400から灯色情報Isが入力されたと判定した場合(ステップS60でYES)、コントローラ500は、ステップS80において、HUD100を制御し、表示可能領域Eに信号機5の灯色を示す灯色虚像M1を表示させる。なお、灯色虚像M1を表示する位置は、自車両2の前方に位置するトラックなどの障害物Wに重ならない位置とすることが好ましい。障害物Wに表示が重なることによる灯色虚像M1の視認性の低下を抑制することができる。
以上に説明したように、本実施形態における車両用虚像表示システム1は、自車両2が通過する予定の信号機5の灯色状態を無線受信する通信部400と、受信した前記信号機の灯色状態を示す虚像を表示するHUD100と、を備え、自車両2の進行方向の実景を撮像した実景画像を取得するステレオカメラ201と、灯色状態を取得した信号機5が実景画像に存在しない場合に、灯色状態を示す灯色虚像M1を表示させるコントローラ500と、を備えるものであり、信号機5を直接視認できない場合であっても、灯色虚像M1を視認することで、信号機5の灯色を乗員3に認識させることができる。
本発明は上記実施形態に限定されるものではなく、例えば、次のような実施形態も本発明の技術的範囲に含まれる。さらに、下記以外にも、本発明の要旨を逸脱しない範囲内で種々変更して実施することが可能である。
(第二実施形態)
第二実施形態における車両用虚像表示システム1において、コントローラ500は、ナビゲーションシステム300から入力する自車両2から信号機5までの距離情報に従い、灯色虚像M1の大きさを変える。具体的には、コントローラ500は、自車両2から信号機5までの距離が長い場合、図4(a)に示すように、灯色虚像M1を小さく表示し、自車両2から信号機5までの距離が短い場合、図4(b)に示すように、灯色虚像M1を大きく表示する。これにより、灯色虚像M1の大きさの変化を参考に、乗員3は、自車両2から視認できない信号機5までの距離を推測することが可能となる。すなわち、灯色虚像M1が大きく表示された場合、乗員3は、信号機5が近いと認識することができ、信号機5が設置された交差点付近において安全運転を促すことが可能である。
第二実施形態における車両用虚像表示システム1において、コントローラ500は、ナビゲーションシステム300から入力する自車両2から信号機5までの距離情報に従い、灯色虚像M1の大きさを変える。具体的には、コントローラ500は、自車両2から信号機5までの距離が長い場合、図4(a)に示すように、灯色虚像M1を小さく表示し、自車両2から信号機5までの距離が短い場合、図4(b)に示すように、灯色虚像M1を大きく表示する。これにより、灯色虚像M1の大きさの変化を参考に、乗員3は、自車両2から視認できない信号機5までの距離を推測することが可能となる。すなわち、灯色虚像M1が大きく表示された場合、乗員3は、信号機5が近いと認識することができ、信号機5が設置された交差点付近において安全運転を促すことが可能である。
(第三実施形態)
第三実施形態における車両用虚像表示システム1について、図5,図6,図7を用いて説明する。図5は、信号機5に対する自車両2の相対的な位置Pが変化する様子を示した道路の俯瞰図であり、信号機5までの左カーブを進行する自車両2の位置を時間経過に伴いPa,Pb,Pcと記してある。また、信号機5の正面方向を、Qと記してある。図6は、信号機5に対する自車両2の相対的な位置P(Pa,Pb,Pc)と、信号機5の正面方向Qとの間の角度θを説明するための図である。図7は、灯色虚像M1の方位角の変化の様子を説明する図であり、図7(a),(b),(c)に図示した灯色虚像M1は、自車両2の位置Pa,Pb,Pcにおいて視認されるものを示している。
第三実施形態における車両用虚像表示システム1について、図5,図6,図7を用いて説明する。図5は、信号機5に対する自車両2の相対的な位置Pが変化する様子を示した道路の俯瞰図であり、信号機5までの左カーブを進行する自車両2の位置を時間経過に伴いPa,Pb,Pcと記してある。また、信号機5の正面方向を、Qと記してある。図6は、信号機5に対する自車両2の相対的な位置P(Pa,Pb,Pc)と、信号機5の正面方向Qとの間の角度θを説明するための図である。図7は、灯色虚像M1の方位角の変化の様子を説明する図であり、図7(a),(b),(c)に図示した灯色虚像M1は、自車両2の位置Pa,Pb,Pcにおいて視認されるものを示している。
ナビゲーションシステム300は、信号機5に対する自車両2の相対的な位置P(Pa,Pb,Pc)と、信号機5の正面方向Qとの間の角度θを算出し、コントローラ500に出力する。自車両2の位置Pについては、前述したように、GPSコントローラで取得することが可能であり、信号機5の正面方向Qについては、信号機5につながる車線の方向と同一であるため、地図情報を読み出すことで決定することが可能である。
コントローラ500は、ナビゲーションシステム300から入力した信号機5から自車両2の位置Pに向けた方向と信号機5の正面方向Qとの間の角度θに基づき、図7に示すように、灯色虚像M1を水平方向に回転させて表示する。コントローラ500は、角度θが小さいほど、正面側がより視認されるように灯色虚像M1を回転させ、角度θ(θa>θb)が大きいほど、灯色虚像M1の側面側がより視認されるように回転させる。すなわち、第三実施形態における車両用虚像表示システム1は、信号機5の正面方向Qに対する自車両2の位置Pに対応して、灯色虚像M1が表示される水平方向の角度を調整する。灯色虚像M1の水平方向の角度が変化することにより、乗員3は、信号機5がどの方向にあるのかを推測することができる。
(第四実施形態)
第四実施形態における車両用虚像表示システム1は、灯色虚像M1を表示している際、前方情報取得部200が撮像する実景画像内に信号機5が存在した場合、灯色虚像M1を非表示にしない点で上記実施形態とは異なる。HUD100が灯色虚像M1を表示している際に、信号機5が視認できる状態になった場合でも灯色虚像M1の表示を継続させる。灯色虚像M1を非表示としてしまった場合、同じ信号機5の灯色を確認するために、あるときは灯色虚像M1が表示されている表示可能領域Eの領域に視線を向け、あるときは実景における信号機5に視線を向けなくてはならず、乗員3の視線移動が煩雑になってしまうおそれがあるが、灯色虚像M1の表示を継続することで、信号機5の灯色を確認するための乗員3の視線移動を少なく抑えることができる。
第四実施形態における車両用虚像表示システム1は、灯色虚像M1を表示している際、前方情報取得部200が撮像する実景画像内に信号機5が存在した場合、灯色虚像M1を非表示にしない点で上記実施形態とは異なる。HUD100が灯色虚像M1を表示している際に、信号機5が視認できる状態になった場合でも灯色虚像M1の表示を継続させる。灯色虚像M1を非表示としてしまった場合、同じ信号機5の灯色を確認するために、あるときは灯色虚像M1が表示されている表示可能領域Eの領域に視線を向け、あるときは実景における信号機5に視線を向けなくてはならず、乗員3の視線移動が煩雑になってしまうおそれがあるが、灯色虚像M1の表示を継続することで、信号機5の灯色を確認するための乗員3の視線移動を少なく抑えることができる。
また、前方情報取得部200は、実景画像内で信号機5の存在を確認した場合、実景画像における信号機5の灯色情報Isを抽出し、コントローラ500に出力する。そして、コントローラ500は、実景画像における信号機5の灯色情報Isに基づいて灯色虚像M1の灯色を切り替える。このように、実景画像内から信号機5の灯色を抽出し、灯色虚像M1の灯色を同期させることで、実景における信号機5の灯色と灯色虚像M1の灯色とのズレを解消し、乗員3に前記ズレにより生じる違和感を防止することができる。
(第五実施形態)
第五実施形態において、コントローラ500は、図8に示すように、HUD100内に設けられていてもよい。第五実施形態におけるHUD100は、外部(前方情報取得部200,ナビゲーションシステム300,通信部400)と電気的に接続され、信号を入力する入力I/F500aを有する。入力I/F500aは、自車両2が通過する予定の信号機5の灯色情報Isを通信部400から取得したり、実景画像で撮像された信号機5の灯色状態に関する信号あるいは自車両2の進行方向の実景を撮像した実景画像に信号機5が存在するか否かを示す信号を前方情報取得部200から取得したり、自車両2と信号機5との間の距離情報をナビゲーションシステム300から取得したりする。
第五実施形態において、コントローラ500は、図8に示すように、HUD100内に設けられていてもよい。第五実施形態におけるHUD100は、外部(前方情報取得部200,ナビゲーションシステム300,通信部400)と電気的に接続され、信号を入力する入力I/F500aを有する。入力I/F500aは、自車両2が通過する予定の信号機5の灯色情報Isを通信部400から取得したり、実景画像で撮像された信号機5の灯色状態に関する信号あるいは自車両2の進行方向の実景を撮像した実景画像に信号機5が存在するか否かを示す信号を前方情報取得部200から取得したり、自車両2と信号機5との間の距離情報をナビゲーションシステム300から取得したりする。
第五実施形態におけるHUD100は、自車両2が通過する予定の信号機5の灯色情報Isを外部から取得し、取得した信号機5の灯色状態を示す灯色虚像M1を表示するように制御するコントローラ500と、を備え、コントローラ500は、外部(前方情報取得部200)から自車両2の前方で乗員3が視認可能な位置に信号機5が存在しないとする信号を受信した場合、灯色状態を示す灯色虚像M1を表示させる。
(その他の変形例)
上記実施形態において、灯色虚像M1は、赤色の信号機を模した円形状の赤色枠の赤色灯虚像M1rと、黄色の信号機を模した円形状の黄色枠の黄色灯虚像M1yと、青色の信号機を模した円形状の青色枠の青色灯虚像M1bと、を有するとしたが、これに限定されず、点灯している信号灯を模した単体のもののみであってもよく、点灯している信号灯と、その前後いずれかの2つの信号灯を模したものであってもよい。
上記実施形態において、灯色虚像M1は、赤色の信号機を模した円形状の赤色枠の赤色灯虚像M1rと、黄色の信号機を模した円形状の黄色枠の黄色灯虚像M1yと、青色の信号機を模した円形状の青色枠の青色灯虚像M1bと、を有するとしたが、これに限定されず、点灯している信号灯を模した単体のもののみであってもよく、点灯している信号灯と、その前後いずれかの2つの信号灯を模したものであってもよい。
また、上記実施形態では、灯色虚像M1を、障害物Wに重ならない位置に灯色虚像M1を表示していたが、図9に示すように、自車両2の進行方向の位置に灯色虚像M1を表示させてもよい。灯色虚像M1を表示する場合、灯色虚像M1を進行方向に表示することで、前方領域に十分注意をしながら、信号機5の灯色を確認することができる。
また、上記実施形態では、HUD100の表示光Lを乗員3に向けて反射させる反射透過面として、フロントガラス2aを挙げていたが、これに限定されずに専用のコンバイナなどを用いてもよい。
1 車両用虚像表示システム
2 自車両
2a フロントガラス(反射透過面)
3 乗員(ユーザ)
4 信号機情報送信部
5 信号機
10 表示器
20 平面ミラー
30 自由曲面ミラー
100 ヘッドアップディスプレイ(HUD)
200 前方情報取得部
201 ステレオカメラ(前方状況取得部)
202 画像解析部(前方状況解析部)
300 ナビゲーションシステム
400 通信部
500 コントローラ(制御手段)
E 表示可能領域
K 画像光
L 表示光
M 虚像
M1 灯色虚像
M2 警告虚像
2 自車両
2a フロントガラス(反射透過面)
3 乗員(ユーザ)
4 信号機情報送信部
5 信号機
10 表示器
20 平面ミラー
30 自由曲面ミラー
100 ヘッドアップディスプレイ(HUD)
200 前方情報取得部
201 ステレオカメラ(前方状況取得部)
202 画像解析部(前方状況解析部)
300 ナビゲーションシステム
400 通信部
500 コントローラ(制御手段)
E 表示可能領域
K 画像光
L 表示光
M 虚像
M1 灯色虚像
M2 警告虚像
Claims (14)
- 自車両が通過する予定の信号機の灯色状態を無線受信する通信部と、受信した前記信号機の灯色状態を示す虚像を表示するヘッドアップディスプレイと、を備えた車両用虚像表示システムであって、
前記自車両の前方状況を取得する前方状況取得部と、
取得した前記前方状況を解析し、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在するかを判定する前方状況解析部と、
前記信号機が前記自車両の前方でユーザが視認可能な位置に存在しない場合に、前記灯色状態を示す前記虚像を表示させる制御手段と、を備える、
ことを特徴とする車両用虚像表示システム。 - 前記自車両の位置を取得する位置情報取得手段と、道路上の信号機の位置を含む地図情報を記憶する地図情報記憶手段と、前記位置情報取得手段が取得した前記自車両の位置から前記自車両が通過する予定の前記信号機の位置を前記地図情報記憶手段から読み出し、前記自車両と前記信号機との間の距離を算出する距離算出手段と、をさらに備え、
前記制御手段は、前記距離算出手段が算出した前記自車両と前記信号機との間の距離に基づいて、前記虚像の大きさを制御する、
ことを特徴とする請求項1に記載の車両用虚像表示システム。 - 前記制御手段は、前記地図情報記憶手段に記憶される前記地図情報で前記自車両の進行方向に前記信号機が存在し、かつ前記通信部から前記信号機の前記灯色状態が検出されなかった場合、警告虚像を表示させる、
ことを特徴とする請求項2に記載の車両用虚像表示システム。 - 前記制御手段は、前記前方状況からユーザによる前記信号機の視認を妨げる障害物を抽出し、前記障害物に重ならない位置に前記虚像を表示させる、
ことを特徴とする請求項1乃至3のいずれかに記載の車両用虚像表示システム。 - 前記制御手段は、前記虚像を表示している際、前記前方状況でユーザが視認可能な位置に前記信号機の存在を確認した場合においても前記虚像の表示を維持する、
ことを特徴とする請求項1乃至4のいずれかに記載の車両用虚像表示システム。 - 前記制御手段は、前記通信部から取得した前記灯色状態と前記前方状況で存在を確認した前記信号機の灯色状態とを比較し、異なっていた場合に前記虚像を非表示にさせる、
ことを特徴とする請求項1乃至5のいずれかに記載の車両用虚像表示システム。 - 前記制御手段は、前記信号機から前記自車両の位置に向けた方向と前記信号機の正面方向との間の角度に基づき、前記虚像を水平方向に回転させて表示する、
ことを特徴とする請求項2に記載の車両用虚像表示システム。 - 自車両が通過する予定の信号機の灯色情報を外部から取得し、取得した前記信号機の灯色状態を示す虚像を表示するように制御する制御手段と、を備えたヘッドアップディスプレイにおいて、
前記制御手段は、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在しないとする信号を外部から受信した場合、前記灯色状態を示す前記虚像を表示させる、
ことを特徴とするヘッドアップディスプレイ。 - 前記制御手段は、前記自車両と前記信号機との間の距離情報を外部から入力し、前記自車両と前記信号機との間の距離に基づいて、前記虚像の大きさを制御する、
ことを特徴とする請求項8に記載のヘッドアップディスプレイ。 - 前記制御手段は、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在することを示す信号を外部から受信し、かつ前記信号機の前記灯色状態が外部から検出されなかった場合、警告虚像を表示させる、
ことを特徴とする請求項8または請求項9に記載のヘッドアップディスプレイ。 - 前記制御手段は、ユーザによる前記信号機の視認を妨げる障害物に関する情報を外部から受信し、前記障害物に重ならない位置に前記虚像を表示させる、
ことを特徴とする請求項8乃至10のいずれかに記載のヘッドアップディスプレイ。 - 前記制御手段は、前記虚像を表示している際、前記自車両の前方でユーザが視認可能な位置に前記信号機の存在を確認した信号を外部から入力した場合においても前記虚像の表示を維持する、
ことを特徴とする請求項8乃至11のいずれかに記載のヘッドアップディスプレイ。 - 前記制御手段は、外部から取得した前記灯色状態と、外部から入力する前記前方状況で存在を確認した前記信号機の灯色状態とを比較し、異なっていた場合に前記虚像を非表示にさせる、
ことを特徴とする請求項8乃至12のいずれかに記載のヘッドアップディスプレイ。 - 前記制御手段は、前記信号機から前記自車両の位置に向けた方向と前記信号機の正面方向との間の角度を外部から入力し、入力した前記角度に応じて前記虚像を少なくとも水平方向に回転させて表示する、
ことを特徴とする請求項8乃至13のいずれかに記載のヘッドアップディスプレイ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014252198A JP2016112984A (ja) | 2014-12-12 | 2014-12-12 | 車両用虚像表示システム、ヘッドアップディスプレイ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014252198A JP2016112984A (ja) | 2014-12-12 | 2014-12-12 | 車両用虚像表示システム、ヘッドアップディスプレイ |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016112984A true JP2016112984A (ja) | 2016-06-23 |
Family
ID=56140605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014252198A Pending JP2016112984A (ja) | 2014-12-12 | 2014-12-12 | 車両用虚像表示システム、ヘッドアップディスプレイ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016112984A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018173755A (ja) * | 2017-03-31 | 2018-11-08 | パナソニックIpマネジメント株式会社 | 運転支援装置、運転支援方法及び運転支援プログラム |
| WO2019003929A1 (ja) * | 2017-06-30 | 2019-01-03 | パナソニックIpマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラムと記録媒体、及び移動体装置 |
| JP2019012237A (ja) * | 2017-06-30 | 2019-01-24 | パナソニックIpマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 |
| KR20190038870A (ko) * | 2016-08-05 | 2019-04-09 | 쌩-고벵 글래스 프랑스 | 디스플레이 장치를 갖는 복합판유리 |
| WO2019107295A1 (ja) | 2017-11-30 | 2019-06-06 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
| JP2019121307A (ja) * | 2018-01-11 | 2019-07-22 | トヨタ自動車株式会社 | 信号機認識装置、及び自動運転システム |
| JP2020135321A (ja) * | 2019-02-18 | 2020-08-31 | トヨタ自動車株式会社 | 運転支援システム及びサーバ装置 |
| JP2020144721A (ja) * | 2019-03-08 | 2020-09-10 | 本田技研工業株式会社 | 車両制御装置 |
| JP2021059228A (ja) * | 2019-10-07 | 2021-04-15 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
| WO2022030379A1 (ja) * | 2020-08-07 | 2022-02-10 | 株式会社デンソー | 信号機認識装置、信号機認識方法、車両制御装置 |
| JP2025143866A (ja) * | 2024-03-19 | 2025-10-02 | 株式会社Cct | 通信装置及び表示方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0562097A (ja) * | 1991-09-03 | 1993-03-12 | Omron Corp | 交通システム |
| JP2005069799A (ja) * | 2003-08-22 | 2005-03-17 | Denso Corp | 車両用ナビゲーションシステム |
| JP2008149786A (ja) * | 2006-12-14 | 2008-07-03 | Mazda Motor Corp | 車両用運転支援装置及び車両用運転支援システム |
| WO2014192594A1 (ja) * | 2013-05-31 | 2014-12-04 | 日本精機株式会社 | 車載装置 |
-
2014
- 2014-12-12 JP JP2014252198A patent/JP2016112984A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0562097A (ja) * | 1991-09-03 | 1993-03-12 | Omron Corp | 交通システム |
| JP2005069799A (ja) * | 2003-08-22 | 2005-03-17 | Denso Corp | 車両用ナビゲーションシステム |
| JP2008149786A (ja) * | 2006-12-14 | 2008-07-03 | Mazda Motor Corp | 車両用運転支援装置及び車両用運転支援システム |
| WO2014192594A1 (ja) * | 2013-05-31 | 2014-12-04 | 日本精機株式会社 | 車載装置 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019530604A (ja) * | 2016-08-05 | 2019-10-24 | サン−ゴバン グラス フランス | 表示装置を有している複合ペイン |
| KR102265661B1 (ko) * | 2016-08-05 | 2021-06-16 | 쌩-고벵 글래스 프랑스 | 디스플레이 장치를 갖는 복합판유리 |
| JP2021120270A (ja) * | 2016-08-05 | 2021-08-19 | サン−ゴバン グラス フランス | 表示装置を有している複合ペイン |
| KR20190038870A (ko) * | 2016-08-05 | 2019-04-09 | 쌩-고벵 글래스 프랑스 | 디스플레이 장치를 갖는 복합판유리 |
| US11220090B2 (en) | 2016-08-05 | 2022-01-11 | Saint-Gobain Glass France | Composite pane with a display device |
| JP7202412B2 (ja) | 2016-08-05 | 2023-01-11 | サン-ゴバン グラス フランス | 表示装置を有している複合ペイン |
| JP2018173755A (ja) * | 2017-03-31 | 2018-11-08 | パナソニックIpマネジメント株式会社 | 運転支援装置、運転支援方法及び運転支援プログラム |
| WO2019003929A1 (ja) * | 2017-06-30 | 2019-01-03 | パナソニックIpマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラムと記録媒体、及び移動体装置 |
| JP7065383B2 (ja) | 2017-06-30 | 2022-05-12 | パナソニックIpマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 |
| JP2019012237A (ja) * | 2017-06-30 | 2019-01-24 | パナソニックIpマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 |
| WO2019107295A1 (ja) | 2017-11-30 | 2019-06-06 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
| US11538334B2 (en) | 2017-11-30 | 2022-12-27 | Nippon Seiki Co., Ltd. | Head-up display device |
| JP2019121307A (ja) * | 2018-01-11 | 2019-07-22 | トヨタ自動車株式会社 | 信号機認識装置、及び自動運転システム |
| JP7067067B2 (ja) | 2018-01-11 | 2022-05-16 | トヨタ自動車株式会社 | 信号機認識装置、及び自動運転システム |
| JP2020135321A (ja) * | 2019-02-18 | 2020-08-31 | トヨタ自動車株式会社 | 運転支援システム及びサーバ装置 |
| US11508161B2 (en) | 2019-02-18 | 2022-11-22 | Toyota Jidosha Kabushiki Kaisha | Driving support system and server device |
| JP7205695B2 (ja) | 2019-02-18 | 2023-01-17 | トヨタ自動車株式会社 | 運転支援システム |
| JP2020144721A (ja) * | 2019-03-08 | 2020-09-10 | 本田技研工業株式会社 | 車両制御装置 |
| JP7093738B2 (ja) | 2019-03-08 | 2022-06-30 | 本田技研工業株式会社 | 車両制御装置 |
| US11364912B2 (en) | 2019-03-08 | 2022-06-21 | Honda Motor Co., Ltd. | Vehicle control device |
| JP2021059228A (ja) * | 2019-10-07 | 2021-04-15 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
| JP7255443B2 (ja) | 2019-10-07 | 2023-04-11 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
| JP2022030770A (ja) * | 2020-08-07 | 2022-02-18 | 株式会社デンソー | 信号機認識装置、信号機認識方法、車両制御装置 |
| WO2022030379A1 (ja) * | 2020-08-07 | 2022-02-10 | 株式会社デンソー | 信号機認識装置、信号機認識方法、車両制御装置 |
| JP7409257B2 (ja) | 2020-08-07 | 2024-01-09 | 株式会社デンソー | 信号機認識装置、信号機認識方法、車両制御装置 |
| US12399035B2 (en) | 2020-08-07 | 2025-08-26 | Denso Corporation | Traffic signal recognition device, traffic signal recognition method and vehicle control device |
| JP2025143866A (ja) * | 2024-03-19 | 2025-10-02 | 株式会社Cct | 通信装置及び表示方法 |
| JP7762366B2 (ja) | 2024-03-19 | 2025-10-30 | 株式会社Cct | 通信装置及び表示方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016112984A (ja) | 車両用虚像表示システム、ヘッドアップディスプレイ | |
| JP6459205B2 (ja) | 車両用表示システム | |
| USRE50732E1 (en) | Head up display apparatus and display control method thereof | |
| US11803053B2 (en) | Display control device and non-transitory tangible computer-readable medium therefor | |
| JP4807263B2 (ja) | 車両用表示装置 | |
| US9818206B2 (en) | Display device | |
| JP6379779B2 (ja) | 車両用表示装置 | |
| JP6225379B2 (ja) | 車両情報投影システム | |
| US11525694B2 (en) | Superimposed-image display device and computer program | |
| JP7111582B2 (ja) | ヘッドアップディスプレイシステム | |
| JP6443716B2 (ja) | 画像表示装置、画像表示方法及び画像表示制御プログラム | |
| JP2015187806A (ja) | 車両用警報装置 | |
| JP2015099469A (ja) | 車両情報投影システム | |
| WO2017082067A1 (ja) | 自動車用画像表示システム | |
| JP2019012236A (ja) | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 | |
| JP2019202589A (ja) | 表示装置 | |
| JP7127565B2 (ja) | 表示制御装置及び表示制御プログラム | |
| JP7216898B2 (ja) | 表示制御方法、表示制御装置及びヘッドアップディスプレイ装置 | |
| JP6379770B2 (ja) | 車両用表示装置 | |
| JP2015226304A (ja) | 車両用投影装置及びヘッドアップディスプレイシステム | |
| JP2017149335A (ja) | 運転支援情報表示装置 | |
| JP2021037916A (ja) | 表示制御装置及び表示制御プログラム | |
| JP2018020779A (ja) | 車両情報投影システム | |
| JP2019206262A (ja) | 表示装置 | |
| JP2018087852A (ja) | 虚像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171013 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180823 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190307 |