JP2019038342A - 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置 - Google Patents

Abstract

【課題】虚像の視認性の低下を回避させる。【解決手段】表示コントローラ２００に適用される画像処理ユニットは、ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成する生成部２３０を備える。仮想平面Ｓ上の虚像は、仮想平面Ｓが道路面Ｈに略平行であり、且つ仮想平面Ｓが道路面Ｈよりも所定高さだけ上昇したようにユーザによって視認される。生成部２３０は、ユーザの視点高さに基づきユーザによって視認される虚像の大きさが変化するように、表示要素の平面形状を決定する。具体的には、物体が自車両内のユーザの視点１０２に近づき、ユーザの視点高さが低い位置に変化する時に、生成部２３０は、仮想平面Ｓ上の虚像の平面形状の大きさが所定方向に変化するように決定する。【選択図】図１

Description

本発明は、ユーザの視点位置に基づく表示画像を生成可能な画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置等に関する。

例えば特許文献１のヘッドアップディスプレイ装置は、車両の前方に存在する道路上の白線等の区画線を認識し、その区画線（実際の風景）と虚像が重なるように、その虚像に対応する表示画像を車両のウインドシールド（フロントガラス）に投影又は表示することができる。特に、特許文献１のヘッドアップディスプレイ装置は、レーン逸脱警告装置（ＬＤＷ装置）、レーン維持アシスト装置（ＬＫＡ装置）等の運転支援装置と連携し、運転支援装置がアクティブであることを虚像で表す。具体的には、特許文献１の例えば図３，図４に示されるように、その虚像は、車両側に傾斜する表示要素Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６として、ユーザ（運転者）に視認される。

特開２０１６−１１０６２７号公報

特許文献１の段落［００１８］の記載によれば、車内カメラにより撮影された運転者の顔画像を解析して、運転者の眼球位置（視点位置）を演算する。そして、解析により得られた視点位置に応じて、表示要素Ｍ１〜Ｍ６が区画線Ｒ１〜Ｒ６と重畳して視認されるように表示要素Ｍ１〜Ｍ６の投影位置を調節する。しかしながら、視点位置が低くなる時に、本発明者らは、ユーザが虚像を視認し難いこと、即ち視認性の低下を認識した。

具体的には、特許文献１の例において、表示要素Ｍ１〜Ｍ６が道路面に略平行であり、且つ表示要素Ｍ１〜Ｍ６が道路面よりも所定高さだけ上昇したようにユーザに視認させることを仮定すると、本発明者らは、表示要素Ｍ１〜Ｍ６及び／又は区画線Ｒ１〜Ｒ６の視認性の低下を認識した。

本発明の１つの目的は、虚像の視認性の低下を回避可能な画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置を提供することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

第１の態様において、画像処理ユニットは、
仮想平面が道路面に略平行であり、且つ前記仮想平面が前記道路面よりも所定高さだけ上昇したようにユーザによって視認される前記仮想平面上の虚像に対応する表示要素を含む表示画像を生成する生成部を
備え、
前記生成部は、前記ユーザの視点高さに基づき前記ユーザによって視認される前記虚像の大きさが変化するように、前記表示要素の平面形状を決定し、
前記視点高さが基準位置から、前記基準位置よりも低い位置に変化する時に、前記生成部は、前記仮想平面上の前記虚像の平面形状が所定方向に移動するように、前記表示要素の前記平面形状を決定する。

第１の態様では、視点高さが低くなる時に、仮想平面上の虚像の平面形状は、所定方向に移動している。従って、仮想平面上の虚像は、その移動の分だけ、視認性の低下を回避させることができる。

第１の態様に従属する第２の態様において、
前記所定方向は、前記仮想平面上の前記虚像の前記平面形状が、前記虚像が投射される被投影部材を有する車両に近づく方向であってもよい。

第２の態様では、視点高さが低くなる時に、仮想平面上の虚像の平面形状が車両に近づいて、視認性を向上させることができる。

第２の態様に従属する第３の態様において、
前記所定方向は、前記仮想平面上の前記虚像の前記平面形状の基準点から、前記車両を運転する前記ユーザに向かう方向であってもよい。

第３の態様では、視点高さが低くなる時に、仮想平面上の虚像の平面形状がユーザ（運転者）に近づいて、視認性を効果的に向上させることができる。

第１乃至第３の何れか１つの態様に従属する第４の態様において、
前記仮想平面上の前記虚像の前記平面形状は、前記ユーザによって認識され得る物体を取り囲む形状であってもよく、
前記所定方向は、前記物体と前記道路面との境界と、前記仮想平面上の前記虚像の前記平面形状の外縁と、の間で規定される、前記仮想平面上の面積が増加する方向であってもよい。

第４の態様では、視点高さが低くなる時に、物体と前記道路面との境界（物体の外縁）と仮想平面上の虚像の平面形状の外縁との間の隙間（仮想平面上の面積）を増加させて、視認性をより一層向上させることができる。

第１乃至第４の何れか１つの態様に従属する第５の態様において、
前記生成部は、前記視点高さの変化に応答して、前記仮想平面上の前記虚像の前記平面形状の移動量を動的に決定してもよい。

第５の態様では、視点高さが変化する時に、その変化に応答して、視認性を向上させることができる。

第５の態様に従属する第６の態様において、
単位時間あたりの前記視点高さの変化量が基準値以上である時に、前記生成部は、前記仮想平面上で前記所定方向に移動する前記虚像に対応する表示要素の表示を弱める又は無効化してもよい。

第６の態様では、視点高さの変化が大きい時に、視認性の向上を中止することができる。

第５又は第６の態様に従属する第７の態様において、
前記ユーザの視線方向が前記虚像を向いている間だけ、前記仮想平面上の前記虚像の前記平面形状の前記移動量がゼロであるように、前記生成部は、前記表示要素の前記平面形状を決定してもよい。

第７の態様では、ユーザの視線方向が表示要素（虚像）を向いている時だけ、視認性の向上を中止させることができる。言い換えれば、ユーザは、仮想平面上の虚像の平面形状の移動を視認することができないため、ユーザへの誤った情報提示を回避することができる。

第５乃至第７の何れか１つの態様に従属する第８の態様において、画像処理ユニットは、
前記仮想平面上の前記虚像の前記平面形状の前記移動量がゼロでない時に、前記視点高さの低下に伴って前記移動量が発生したことを前記ユーザに報知してもよい。

第８の態様では、ユーザの視点高さに応じた虚像の移動を報知することができる。

第１乃至第４の何れか１つの態様に従属する第９の態様において、
前記視点高さは、車両始動時に取得された固定値であってもよく、
前記生成部は、前記固定値に基づき、前記仮想平面上の前記虚像の前記平面形状の移動量を決定してもよい。

第９の態様では、車両始動時に取得した視点高さ（固定値）で、車両運転中の視認性を向上させることができる。

第１乃至第９の何れか１つの態様に従属する第１０の態様において、
前記視点高さが前記基準位置から、前記基準位置よりも高い位置に変化する時に、前記仮想平面上の前記虚像の前記平面形状の移動量がゼロであるように、前記生成部は、前記表示要素の前記平面形状を決定してもよい。

第１０の態様では、視点高さが高くなる時に、仮想平面上の虚像の平面形状を移動させなくてもよく、言い換えれば、視点高さが高くなる時に、視認性は、低下しない。

第１１の態様において、ヘッドアップディスプレイ装置は、
第１乃至第１０の何れか１つの態様に従う前記画像処理ユニットと、
前記画像処理ユニットで生成された前記表示画像を表示する表示器と、
を備える。

第１１の態様では、ヘッドアップディスプレイ装置は、視点高さが低くなる時に、仮想平面上で所定方向に移動する平面形状を有する虚像に対応する表示要素を含む表示画像を表示することができる。従って、その移動の分だけ、視認性の低下を回避させることができる。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

図１（Ａ）は、本発明に従う画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置の概略構成例を示し、図１（Ｂ）は、図１（Ａ）の虚像表示面及び仮想平面の説明図を示す。 図２（Ｂ）は、図１（Ａ）の虚像表示面の変形例を示し、図２（Ｂ）は、図２（Ａ）の虚像表示面及び仮想平面の説明図を示す。 図３（Ａ）は、ウインドシールドを介して認識される物体（実際の風景）の１例を示し、図３（Ｂ）は、図３（Ａ）の物体に重畳される虚像（表示要素）の１例を示し、図３（Ｃ）は、実空間での虚像の平面形状又は仮想平面上の平面形状の説明図（平面図）を示す。 図４（Ａ）は、ユーザによって認識される虚像の１例を示し、図４（Ｂ）は、視点高さが低くなる時に、ユーザによって認識される虚像の大きさの変化例を示し、図４（Ｃ）は、仮想平面上で移動された虚像の１例を示し、図４（Ｄ）は、実空間での移動された虚像の平面形状又は仮想平面上の平面形状の説明図（平面図）を示す。 ５（Ａ）は、ユーザの視点高さに基づく、実空間での虚像の平面形状又は仮想平面上の平面形状の移動量の複数の設定例を示し、５（Ｂ）は、車両までの距離に基づく、実空間での虚像の平面形状又は仮想平面上の平面形状の移動量の設定例を示す。 図６（Ａ）は、視点高さが低くなる時に、ユーザによって認識される虚像の１例を示し、図６（Ｂ）は、側面視における図６（Ａ）の虚像の平面形状又は仮想平面上の平面形状の説明図を示す。 図７（Ａ）は、視点高さが低くなる時に、ユーザによって認識される、仮想平面上で移動された虚像の１例を示し、図７（Ｂ）は、側面視における図７（Ａ）の虚像の平面形状又は仮想平面上の平面形状の説明図を示し、図７（Ｃ）は、図７（Ａ）の虚像の他の変形例を示す。 図８（Ａ）は、物体（前方車両）と自車両との位置関係の説明図を示し、図８（Ｂ）は、所定方向の設定例の説明図を示す。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

図１（Ａ）は、本発明に従う画像処理ユニットを備えるヘッドアップディスプレイ装置（又はヘッドアップディスプレイシステム）の概略構成例を示す。図１（Ａ）に示されるように、ヘッドアップディスプレイシステムは、例えば撮像装置１０３と、撮像装置１０３からの撮像画像を処理する画像処理部３００と、画像処理部３００からの情報に基づき表示器２０への表示画像を処理し、且つ表示画像に基づき表示器２０を制御する表示コントローラ２００と、例えば表示器２０及び反射器２１を含む表示機構１００と、を備えることができる。なお、図１（Ａ）の表示コントローラ２００の処理部２１０は、表示器２０を制御する機能を有さないで、その機能は、他の装置（図示せず）、又は、図示される例えば表示器２０又は画像処理部３００によって実現されてもよい。

本明細書において、ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成する生成部２３０の機能を備える装置は、本発明に従う画像処理ユニットと呼ぶことができる。１例として、生成部２３０は、図１（Ａ）の表示コントローラ２００に適用されているので、生成部２３０を備える表示コントローラ２００は、画像処理ユニットである。画像処理ユニットは、本質的には、表示画像を処理する機能（生成部２３０）を有するが、撮像画像を処理する機能（物体情報取得部３１０及び／又は視点情報取得部３２０）を更に有してもよい。言い換えれば、画像処理部３００が表示要素を含む表示画像を生成する生成部２３０の機能を備える時に、その画像処理部３００は、本発明に従う画像処理ユニットと呼ぶことができる。

また、本発明に従う画像処理ユニット（例えば図１（Ａ）表示コントローラ２００）と、画像処理ユニットで生成された表示画像を表示する表示器２０と、を備える装置は、本発明に従うヘッドアップディスプレイ装置と呼ぶことができる。

図１（Ａ）において、撮像装置１０３は、１例として、例えば車両の前方に存在する道路（道路上の実際の風景）を撮像可能である第１の撮像部１０３−１と、ユーザである例えば運転者の顔を撮像可能である第２の撮像部１０３−２と、を有している。表示機構１００は、車両のウインドシールド１０１の例えば一部に設定される表示範囲ＡＲ（被投影部材）に表示画像（表示要素を含む）を投影して、車両の運転者の視点１０２で表示要素の虚像表示面Ｖ上の虚像が実際の風景（例えば前方車両）と重なるように表示画像を表示範囲ＡＲに表示可能である。表示機構１００及び表示コントローラ２００は、典型的にはダッシュボードの内部に収納されているが、表示機構１００及び表示コントローラ２００の一部がダッシュボードの外部に配置されてもよい。なお、表示器２０は、例えばウインドシールド１０１に表示要素又は表示画像を投影するので、投影器と呼ばれてもよい。

図１（Ａ）の画像処理部３００は、第１の撮像部１０３−１からの撮像画像を解析し、その撮像画像から、表示要素に重ねられる前方車両、歩行者、白線等の物体を認識可能な物体情報取得部３１０を有することができる。好ましくは、物体情報取得部３１０は、認識した物体の位置情報（例えば自車両を基準とした時の実空間での相対的な３次元の位置）を取得し、更に好ましくは、認識した物体の大きさ（例えば実空間での物体の体積）を取得することができる。第１の撮像部１０３−１は、例えばステレオカメラであり、物体情報取得部３１０は、左右の撮像画像から、物体と車両（自車両）との距離（自車両から物体までの相対距離）と、道路面Ｈ（水平面）上の物体と車両（自車両）との位置（自車両から物体までの相対距離）と、物体を取り囲む直方体を規定する３辺の長さ（物体の幅と奥行きと高さ）と、を取得することができる。

図１（Ａ）の画像処理部３００は、第２の撮像部１０３−２からの撮像画像を解析し、その撮像画像から、運転者の目を認識可能な視点情報取得部３２０を有することができる。好ましくは、視点情報取得部３２０は、認識した目の位置情報（例えば自車両の室内の天井、又は、床、又は、天井と床との間の所定の位置を基準とした時の実空間での相対的な１次元の位置（視点高さ））を取得し、更に好ましくは、認識した目の向き（視線方向）を取得することができる。

撮像装置１０３は、例えば図示されないインナーリアビューミラー（バックミラー）の付近に設置されている。１例として、第１の撮像部１０３−１は、インナーリアビューミラーのウインドシールド１０１側に位置し、第２の撮像部１０３−２は、インナーリアビューミラーの運転席（図示せず）側に位置する。

図１（Ａ）の表示コントローラ２００は、処理部２１０を有している。処理部２１０は、生成部２３０を有し、好ましくは、例えば判定部２２０を更に有することができる。処理部２１０又は判定部２２０は、視点情報取得部３２０によって取得される運転者の視点１０２が上下方向に変化しているか否かを判定することができる。また、判定部２２０は、視点高さが変化する時に、その変化が大きいか否かを判定することができる。加えて、判定部２２０は、視点情報取得部３２０によって取得される運転者の視線方向が表示要素を向いているか否かを判定することができる。

次に、処理部２１０又は生成部２３０は、ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成し、好ましくは、車両の運転者の視点１０２で表示要素の虚像が実際の風景（物体情報取得部３１０によって取得される例えば前方車両）と重なるように、その表示要素を含む表示画像を生成する。

具体的には、生成部２３０は、ユーザである例えば運転者の視点高さと、認識した物体である例えば前方車両の位置情報と、に基づき、表示要素の位置情報及び大きさを決定することができる。より具体的には、生成部２３０は、表示要素がユーザによって視認される時に、その表示要素に対応する虚像が実空間上で平面形状を有するように、且つ、ユーザの視点高さに依存しないで、実空間での虚像の平面形状が同一であるように、表示要素の平面形状を決定する。言い換えれば、生成部２３０は、ユーザの視点高さに応じて、ユーザによって視認される例えば前方車両（実際の風景）の大きさが変化する時に、その前方車両に重ねる表示要素の大きさの変化が、前方車両の大きさの変化と等しくなるように、ユーザの視点高さに応じて、表示要素の平面形状を決定する。即ち、生成部２３０は、ユーザの視点高さに依らず、ユーザによって視認される例えば前方車両（実際の風景）と表示要素との実空間での相対的な位置関係及び実空間での大きさ関係が変化しないように、ユーザの視点高さに応じて、表示画像内の表示要素の位置及び見た目の形状を決定する。

但し、ユーザの視点高さが低くなる時に、虚像の視認性が低下することを本発明者らは認識した。詳細は、後述するが、視認性の低下を回避させるために、生成部２３０は、ユーザの視点高さに応じて表示要素の平面形状を決定した後、ユーザの視点高さが低くなる時に、仮想平面上の虚像の平面形状が所定方向に移動するように、表示要素の平面形状を決定することを特徴とする。従って、その表示要素の虚像の視認性は、その移動の分だけ向上する。

図１（Ａ）の表示コントローラ２００は、例えば記憶部２４０を更に備え、記憶部２４０は、例えば判定部２２０、生成部２３０等の処理部２１０の処理又は演算に必要な様々なデータを記憶することができる。表示コントローラ２００は、典型的には例えばマイクロコンピュータで構成され、例えばＣＰＵと、ＲＯＭ、ＲＡＭ等のメモリと、入出力インターフェース等を含むことができる。処理部２１０は、典型的にはＣＰＵ及びＲＡＭ（ワーク領域）で構成され、記憶部２４０は、典型的にはＲＯＭ（例えばＥＥＰＲＯＭ）で構成される。例えば、ＲＯＭは、ＣＰＵに所定の動作（ユーザの視点１０２に基づく表示画像を生成する方法）を実行させるプログラムを記憶してもよく、ＲＡＭは、ＣＰＵのワーク領域を形成することができる。また、ＲＯＭは、例えば表示要素の形状を決定又は演算するために必要なデータを記憶することができる。

表示コントローラ２００は、車両に配置又は搭載され、例えばＣＡＮ（Controller Area Network）である車載ネットワークＬＡＮを介して、例えば画像処理部３００等に接続されている。表示コントローラ２００は、一般に、ＥＣＵ（Electronic Control Unit）と呼ばれてもよい。

図１（Ａ）の表示コントローラ２００は、例えば情報取得部４００からの情報を入力し、その情報に基づき、ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成してもよい。具体的には、処理部２１０又は生成部２３０は、例えば車載ネットワークＬＡＮ、道路情報取得部４１０及び位置情報取得部４２０を介して、車両（自車両）の位置（例えば現在位置）に基づく道路面Ｈの勾配の情報を入力してもよい。

なお、情報取得部４００からの情報に基づき生成された表示要素の投影位置は、ウインドシールド１０１に設定される表示範囲ＡＲの一部に固定されてもよく、所定の物体（実際の風景）に重ねられなくてもよい。例えば、道路情報の中に標識情報が含まれる時に、現在位置に基づく道路の標識が、生成部２３０に入力されて、道路の標識を表す表示要素は、ウインドシールド１０１に設定される表示範囲ＡＲの一部に固定されて、表示されてもよい。

また、処理部２１０又は生成部２３０は、例えば車載ネットワークＬＡＮ及び車速情報取得部４３０を介して、車両（自車両）の速度を入力してもよい。現在時刻に基づく車両（自車両）の速度が、生成部２３０に入力されて、車両の速度を表す表示要素は、ウインドシールド１０１に設定される表示範囲ＡＲの一部に固定されて、表示されてもよい。言い換えれば、ヘッドアップディスプレイ装置は、表示画像を表示する時に、所定の物体（実際の風景）の位置に依らず、車両の速度等の計器情報を固定する一方、前方車両、歩行者等の障害物情報を所定の物体（実際の風景）の位置に応じて変化させてもよい[0]。なお、表示コントローラ２００は、例えば道路情報取得部４１０、位置情報取得部４２０、車速情報取得部４３０等の情報取得部４００からの情報を入力しなくてもよい。

図１（Ａ）において、表示機構１００又は表示器２０は、ウインドシールド１０１を介して虚像表示面Ｖ上の虚像をユーザに視認させるために、表示コントローラ２００又は処理部２１０によって制御され、これにより、表示器２０は、虚像に対応する表示要素を含む表示画像に基づく表示光Ｌ（投影光）を生成又は放出することができる。反射器２１は、表示器２０からの表示光Ｌの光路をウインドシールド１０１に導き、運転者は、ウインドシールド１０１での表示光Ｌ（表示要素）を虚像として認識することができる。なお、表示器２０は、例えばＬＥＤ等の光源部、例えばＤＭＤ（Digital Micromirror Device）等の表示素子、表示素子からの光を受光して表示画像（表示要素を含む）を表示するスクリーン等を有する。

画像処理ユニットである表示コントローラ２００及び例えば表示機構１００を備えるヘッドアップディスプレイ装置が搭載される車両（自車両）は、図１（Ａ）において例えば自動車であり、自動車は道路面Ｈの上を走行可能である。運転者の視点１０２で、図１（Ａ）の虚像表示面Ｖの高さ又は奥行き（重畳距離）は、例えば距離Ｄ１から距離Ｄ３までの所定距離に設定されている。言い換えれば、運転者の視点１０２で、虚像表示面Ｖの下端は、車両から距離Ｄ１だけ前方に存在し、虚像表示面Ｖの上端は、車両から距離Ｄ３だけ前方に存在し、虚像表示面Ｖの上下方向の中点は、車両から距離Ｄ２だけ前方に存在している。距離Ｄ１、距離Ｄ２及び距離Ｄ３は、それぞれ、例えば２０［ｍ］、例えば３０［ｍ］及び例えば５０［ｍ］である。

図１（Ａ）において、１つの反射器２１が示されているが、反射器２１は、例えば２つの反射器で構成することができ、言い換えれば、表示器２０からウインドシールド１０１までの表示光Ｌの光路長は、反射器２１によって設定されてもよく、距離Ｄ１、距離Ｄ２及び距離Ｄ３は、理想的な運転者の視点高さ（理想的な運転者の座高の高さ）及び表示光Ｌの光路長に応じて設定されてもよい。また、反射器２１は、一般に、表示器２０からの表示光Ｌを拡大し、加えて、反射器２１又は表示コントローラ２００（例えば処理部２１０）は、一般に、ウインドシールド１０１の一部に設定される表示範囲ＡＲにおける歪み（例えばガラス面の歪み）を補正することができる。

図１（Ｂ）は、図１（Ａ）の虚像表示面及び仮想平面の説明図を示す。表示要素の虚像は、例えば、道路面Ｈから所定高さだけ上昇した虚像表示面Ｖ上に認識され、例えば、虚像表示面Ｖは、道路面Ｈから所定高さだけ上昇した仮想平面Ｓに設定される。なお、虚像表示面Ｖは、道路面Ｈと平行に設定されないで、道路面Ｈから所定の角度だけ傾いてもよい。虚像表示面Ｖの傾きは、スクリーン（表示器２０が表示画像を表示する表示面）又は反射器２１の角度によって設定されている。

反射器２１を回転駆動可能なアクチュエータ（図示せず）が反射器２１に設けられていてもよく、その場合、表示コントローラ２００の処理部２１０は、そのアクチュエータを制御して、虚像表示面Ｖの傾きを調整してもよい。図１（Ａ）又は図１（Ｂ）の例において、虚像表示面Ｖは、道路面Ｈとほぼ平行であり、道路面Ｈからの虚像表示面Ｖの傾きは、１例として、０［ｄｅｇｒｅｅ］から３０［ｄｅｇｒｅｅ］までの範囲に設定されてもよい。

図１（Ａ）又は図１（Ｂ）において、虚像表示面Ｖは、道路面Ｈから所定高さだけ上昇しているが、道路面Ｈに設定されてもよい。また、仮想平面Ｓは、道路面Ｈから所定高さだけ上昇している。

図２（Ｂ）は、図１（Ａ）の虚像表示面の変形例を示し、図２（Ｂ）は、図２（Ａ）の虚像表示面及び仮想平面の説明図を示す。図２（Ａ）又は図２（Ｂ）の例において、虚像表示面Ｖ’は、道路面Ｈとほぼ垂直であり、道路面Ｈからの虚像表示面Ｖの傾きθ’は、１例として、８０［ｄｅｇｒｅｅ］から９０［ｄｅｇｒｅｅ］までの範囲に設定されてもよい。図２（Ａ）において、運転者の視点１０２で、虚像表示面Ｖ’上の虚像によって重ねられる実際の風景の範囲（重畳距離）は、例えば距離Ｄ１’から距離Ｄ３’までの所定距離に設定されている。なお、図２（Ａ）の距離Ｄ１’、距離Ｄ２’及び距離Ｄ３’が、それぞれ、図１（Ａ）の距離Ｄ１、距離Ｄ２及び距離Ｄ３と同一となるように、表示光Ｌの光路長及び反射器２１の角度が設定されてもよい。また、図２（Ａ）の仮想平面Ｓは、道路面Ｈから所定高さだけ上昇している。

なお、虚像表示面は、図１（Ａ）の虚像表示面Ｖ又は図２（Ａ）の虚像表示面Ｖ’に限定されず、例えば特開２０１４−１８１０２５号公報、特開２０１６−０６８５７６号公報、特開２０１６−２１２３３８号公報に開示されるように、複数の虚像表示面の組み合わせであってもよい。言い換えれば、虚像表示面は、実空間での任意の平面に設定してもよく、いわゆる３Ｄヘッドアップディスプレイ装置の虚像表示面であってもよい。

図３（Ａ）は、ウインドシールド１０１を介して認識される物体ＯＢ（実際の風景）の１例を示す。図３（Ａ）に示されるように、ユーザである例えば運転者は、例えば片側三車線の道路を自車両で走行し、例えば左隣のレーン上を走行する前方車両を認識することができる。この時、例えば図１（Ａ）の物体情報取得部３１０は、自車両の前方に存在する道路上の物体ＯＢとして、車両（前方車両）を認識し、認識した物体ＯＢ（前方車両）の位置情報を取得することができる。

図３（Ｂ）は、図３（Ａ）の物体ＯＢに重畳される虚像Ｖ１（表示要素）の１例を示す。例えば図１（Ａ）の生成部２３０は、物体情報取得部３１０からの位置情報と、視点情報取得部３２０からの運転者の視点高さと、に基づき、運転者の視点１０２で、虚像Ｖ１が物体ＯＢ（前方車両）と重なるように、虚像Ｖ１に対応する表示要素の位置情報を決定することができる。虚像Ｖ１は、例えば図１（Ｂ）の仮想平面Ｓと一致する虚像表示面Ｖ上に形成される。

図３（Ｃ）は、実空間での虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図（平面図）を示す。例えば図１（Ｂ）に示されるように、虚像表示面Ｖが仮想平面Ｓと一致する時に、実空間での虚像Ｖ１は、仮想平面Ｓ上に形成され、従って、実空間での虚像Ｖ１の平面形状は、実空間での仮想平面Ｓ上の平面形状と一致する。図３（Ｃ）に示されるように、実空間での仮想平面Ｓ上の平面形状は、例えば第１〜第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形である。図３（Ｃ）の例において、仮想平面Ｓ上の平面形状（長方形）の中心Ｃは、物体ＯＢ（前方車両）の例えば中心に一致し、生成部２３０は、物体ＯＢ（前方車両）の中心を、例えば物体情報取得部３１０からの情報によって取得又は算出することができる。

図３（Ｃ）において、実空間での仮想平面Ｓ上の平面形状は、物体情報取得部３１０によって取得される実空間での物体ＯＢ（前方車両）を取り囲む直方体の仮想平面Ｓ（仮想平面Ｓは、道路面Ｈがｘｚ平面である時に、ｘｚ平面から所定高さだけ上昇している。）による切断面を規定する形状であってもよい。言い換えれば、物体情報取得部３１０は、物体ＯＢ（前方車両）を直方体（仮想直方体）で取り囲む時に、直方体（仮想直方体）を規定する３辺の長さ（物体の幅（ｘ軸方向）と奥行き（ｚ軸方向）と高さ（ｙ軸方向））のうち、物体ＯＢ（前方車両）の幅及び奥行きに、それぞれ所定値（＝ｏｆ２＋ｏｆ３）及び所定値（＝ｏｆ１＋ｏｆ４）を加算することができる。

なお、物体ＯＢ（前方車両）の大きさは、物体情報取得部３１０によって厳密に取得されなくてもよく、物体情報取得部３１０は、障害物又は接近物のカテゴリ（例えば「車両」又は「歩行者」）だけが認識されて、カテゴリ毎に、固定の大きさが割り当てられてもよく、カテゴリ内の種類（例えば車両カテゴリ内の「普通自動車」、「大型トラック」、又は「オートバイ」）毎に、固定の大きさが割り当てられてもよい。

虚像Ｖ１が、例えば図２（Ｂ）の仮想平面Ｓと一致しない虚像表示面Ｖ’上に形成される時に、ユーザによって視認される実空間での虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状は、図３（Ｃ）に示されるように、例えば第１〜第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形である。

図４（Ａ）は、ユーザによって認識される虚像Ｖ１の１例を示し、図４（Ｂ）は、視点高さが低くなる時に、ユーザによって認識される虚像Ｖ１の大きさの変化例を示し、図４（Ｃ）は、仮想平面Ｓ上で移動された虚像Ｖ１の１例を示し、図４（Ｄ）は、実空間での移動された虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図（平面図）を示す。

図４（Ａ）〜図４（Ｃ）において、図３（Ｂ）の物体ＯＢ（前方車両）は、簡略化されて、二点鎖線で表される直方体（現実直方体）として表されている。ユーザの視点高さが図４（Ａ）で想定される高さから図４（Ｂ）で想定される高さに減少する時に、ユーザによって視認される実空間での虚像Ｖ１の平面形状又は虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状が同一であるように、生成部２３０は、虚像Ｖ１に対応する表示要素の平面形状を決定する。従って、実空間での仮想平面Ｓ上の平面形状が例えば第１〜第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形（仮想直方体）で固定又は維持される状況では、視点高さが低くなる時に、本発明者らは、ユーザが虚像Ｖ１を視認し難いこと、即ち視認性の低下を認識した（図４（Ｂ）参照）。

図４（Ｂ）の例において、物体ＯＢ（前方車両）が二点鎖線で表される直方体（現実直方体）の外縁（物体ＯＢと道路面Ｈとの境界）と、仮想平面Ｓ上の虚像Ｖ１の平面形状の外縁（辺Ｓ１）と、の間の隙間がない。言い換えれば、図４（Ｂ）の例において、虚像Ｖ１の一部（辺Ｓ１）は、物体ＯＢと道路面Ｈとの境界に位置する。このように、図４（Ｂ）の例では、辺Ｓ１及び／又は境界の視認性が低下する。

従って、本発明に従う生成部２３０では、図４（Ａ）及び図４（Ｂ）に示されるように、その物体ＯＢ（前方車両）を取り囲む仮想平面Ｓ上の平面形状（第１〜第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形）に重ねる表示要素（虚像Ｖ１）の大きさの変化が、物体ＯＢ（前方車両）の大きさ（二点鎖線で表される直方体）の変化と等しくなるように、ユーザの視点高さに応じて、表示要素の平面形状を一時的に決定する。即ち、生成部２３０は、ユーザの視点高さに依らず、ユーザによって視認される物体ＯＢ（前方車両）と表示要素（虚像Ｖ１）との実空間での相対的な位置関係及び実空間での大きさ関係が変化しないように、ユーザの視点高さに応じて、表示画像内の表示要素の位置及び見た目の形状を一時的に決定する。その後、生成部２３０は、仮想平面Ｓ上の虚像Ｖ１の平面形状（長方形）が移動するように、一時的に決定された表示要素の平面形状を確定する（図４（Ｃ）及び図４（Ｄ）参照）。

図４（Ｃ）及び図４（Ｄ）に示されるように、実空間での仮想平面Ｓ上の平面形状は、１例として、第１〜第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形である。即ち、図４（Ｂ）の各辺Ｓ１，Ｓ２，Ｓ３，Ｓ４は、図４（Ｃ）のＳ１，Ｓ２，Ｓ３，Ｓ４に維持され、仮想平面Ｓ上の平面形状の大きさ（面積）は固定される。次に、視点高さが低くなる時に、ユーザによって視認される実空間での虚像Ｖ１の平面形状又は虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状が前側で（ｏｆ４’＋ｏｆ４）の分だけ移動し、且つ後側で同方向に（ｏｆ１’−ｏｆ１＝ｏｆ４’＋ｏｆ４）の分だけ移動する（図４（Ｄ）参照）。図４（Ｃ）に示されるように、生成部２３０は、仮想平面Ｓ上の虚像Ｖ１の平面形状（長方形）が移動するように、一時的に決定された表示要素の平面形状を確定するので、その移動の分だけ、視認性を向上させることができる。

生成部２３０は、ユーザの視点高さの変化に応答して、仮想平面Ｓ上の虚像Ｖ１の平面形状の移動量を動的に決定することができる。ユーザの視点高さが変化する時に、その変化に応答して、視認性を向上させることができる。しかしながら、視点高さの変化が大きい時に、視認性の向上を中止してもよい。具体的には、判定部２２０は、所定期間内に所定の範囲以上に視点高さが変化するか否かを判定し、単位時間あたりの視点高さの変化量が基準値以上である時に、生成部２３０は、一時的に決定された表示要素の平面形状をそのまま保持してもよい。代替的に、単位時間あたりの視点高さの変化量が基準値以上である時に、生成部２３０は、仮想平面Ｓ上の虚像Ｖ１の平面形状が移動するように、一時的に決定された表示要素の平面形状を保持しても、表示要素の表示輝度を下げて、或いは、表示要素（虚像Ｖ１）の表示を消してもよい。その後、視点高さの変化が小さくなった時に、生成部２３０は、視認性の向上を再開することができる。視点高さの変化が大きい時に、視認性の向上を中止することで、物体ＯＢ（前方車両）と車両（自車両）との距離が変化したという誤った認識、或いは、運転者への誤った情報提示を回避することができる。

他方、生成部２３０は、ユーザの視点高さの変化に応答しなくてもよい。具体的には、生成部２３０は、車両始動時に取得した視点高さ（固定値）で、車両運転中の視認性を向上させることができる。言い換えれば、例えば比較的座高の低い女性が車両を運転する時に、その女性の視点高さで、車両運転中の視認性を向上させることができる。

ところで、生成部２３０は、視点高さが低くなる時に、ユーザによって認識される仮想平面Ｓ上の虚像Ｖ１の平面形状が移動するように、一時的に決定された表示要素の平面形状を保持するので、その移動の分だけ、視認性を向上させることができる。しかしながら、判定部２２０は、視点情報取得部３２０によって取得される運転者の視線方向が表示要素（虚像Ｖ１）を向いているか否かを判定することができる。即ち、運転者の視線方向が表示要素（虚像Ｖ１）を向いている時だけ、生成部２３０は、仮想平面Ｓ上の虚像Ｖ１の平面形状の移動量がゼロであるように、視認性の向上を中止してもよい。視認性の向上を中止することで、運転者への誤った情報提示を回避することができる。

視点高さが低くなり、且つ運転者の視線方向が表示要素（虚像Ｖ１）を向いていない時に、生成部２３０は、仮想平面Ｓ上の虚像Ｖ１の平面形状を移動させなくてもよい。

加えて、生成部２３０は、視認性を向上させるために、仮想平面Ｓ上の虚像Ｖ１の平面形状を移動させる時に、即ち、仮想平面Ｓ上の虚像Ｖ１の平面形状の移動量がゼロでない時に、ユーザの視点高さの低下に伴ってその移動が発生したことをユーザに報知することができる。１例として、生成部２３０は、ユーザの視点高さに応じて表示要素（虚像Ｖ１）が移動したことを表す専用の表示要素（図示せず）を表示範囲ＡＲに表示することができる。これに加えて、或いは、これに代えて、処理部２１０は、車両のスピーカ（図示せず）を制御して、ユーザの視点高さに応じて表示要素（虚像Ｖ１）が移動したことを表す音声を出力することができる。これにより、ユーザは、ユーザの視点高さに応じた虚像Ｖ１の移動と、物体ＯＢ（前方車両）の接近に応じた虚像Ｖ１の移動とを区別することができる。

図５（Ａ）は、ユーザの視点高さに基づく、実空間での虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の移動量の複数の設定例を示し、５（Ｂ）は、車両までの距離に基づく、実空間での虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の移動量の設定例を示す。

図５（Ａ）に示されるように、判定部２２０は、ユーザの視点高さが基準位置ＴＨαよりも低いか否かを判定することが好ましく、ユーザの視点高さが基準位置ＴＨα以上である時に、仮想平面Ｓ上の虚像Ｖ１の平面形状の移動量は、ゼロである。言い換えれば、ユーザの視点高さが基準位置ＴＨα以上である時に、例えば図４（Ａ）と同様に、仮想平面Ｓ上の虚像Ｖ１の平面形状が移動しなくても、視認性は、低下しない。

他方、ユーザの視点高さが基準位置ＴＨαよりも低い時に、仮想平面Ｓ上の虚像Ｖ１の平面形状の移動量（α）は、図５（Ａ）の実線で示されるように、増大される。なお、図５（Ａ）のＴａｌｌ及びＳｈｏｒｔは、それぞれ、車両の室内で想定されるユーザである運転者の視点高さの最大値及び最小値を示す。図５（Ａ）のＮｏｒｍａｌは、理想的な運転者の視点高さを示す。図５（Ａ）の移動量（α）は、図５（Ａ）の実線以外の一点鎖線によって決定されてもよい。一点鎖線は、上に凸の曲線によって図５（Ａ）の移動量（α）を表すことができ、これは、視点高さが低くなる時に、視認性をより一層向上させることができることを意味する。

また、視認性を向上させるために、生成部２３０は、例えば図５（Ｂ）に示される拡大率（β）を追加することができる。即ち、生成部２３０は、図５（Ａ）の移動量（α）＋図５（Ｂ）の移動量（β）で、仮想平面Ｓ上の平面形状が移動されるように、表示要素の平面形状を決定（確定）することができる。図５（Ｂ）において、物体ＯＢ（前方車両）と車両（自車両）との距離が閾値ＴＨβよりも大きい時に、０よりも大きい移動量（β）を設定することができる。

なお、図５（Ａ）及び図５（Ｂ）において、移動量（α）及び移動量（β）の各最小値は、０以上である。

図６（Ａ）は、視点高さが低くなる時に、ユーザによって認識される虚像Ｖ１の１例を示し、図６（Ｂ）は、側面視における図６（Ａ）の虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図を示す。図６（Ａ）及び図６（Ｂ）は、図４（Ｂ）に対応し、実空間での仮想平面Ｓ上の平面形状が例えば第１〜第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形で固定又は維持される状況では、視点高さが低くなる時に、本発明者らは、ユーザが虚像Ｖ１及び／又は境界（物体ＯＢと道路面Ｈとの境界）を視認し難いこと、即ち視認性の低下を認識した（図６（Ａ）参照）。

図７（Ａ）は、視点高さが低くなる時に、ユーザによって認識される、仮想平面Ｓ上で移動虚像Ｖ１の１例を示し、図７（Ｂ）は、側面視における図７（Ａ）の虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図を示す。図７（Ａ）及び図７（Ｂ）は、図４（Ｃ）に対応し、実空間での仮想平面Ｓ上の平面形状が移動される状況では、視点高さが低くなる時に、本発明者らは、視認性の向上を認識した（図７（Ａ）参照）。

図７（Ｃ）は、図７（Ａ）の虚像Ｖ１の他の変形例を示す。図７（Ｃ）の例において、物体ＯＢ（前方車両）それ自身の視認性を保つために、物体ＯＢ（前方車両）の方が優先されて、仮想平面Ｓ上の平面形状の一部、即ち、物体ＯＢ（前方車両）の背後の虚像Ｖ１の部分を省略するように、生成部２３０は、その虚像Ｖ１に対応する表示要素の形状を決定することができる。

図８（Ａ）は、物体ＯＢ（前方車両）と自車両との位置関係の説明図を示し、図８（Ｂ）は、所定方向の設定例の説明図を示す。図８（Ａ）の例において、実空間での座標は、ｘ_ｗ軸、ｙ_ｗ軸及びｚ_ｗ軸で表すことができ、ワールド座標と呼ぶこともできる。図８（Ｂ）の例において、所定方向ＤＲ１_ｗは、ｚ_ｗ軸に平行であり、仮想平面Ｓ上の平面形状の第１の辺Ｓ１が所定方向ＤＲ１_ｗに移動する時に、第１の辺Ｓ１は、自車両に近づくことになる。言い換えれば、自車両の前進方向を前方向とし、自車両の後進方向を後方向とする時に、所定方向ＤＲ１_ｗは、自車両の後進方向と一致する。

実空間での所定方向は、ｘ_ｌ軸、ｙ_ｌ軸及びｚ_ｌ軸で表すことができる物体ＯＢ（前方車両）のローカル座標で規定してもよい。なお、図８（Ｂ）において、物体ＯＢ（前方車両）と道路面Ｈとの境界Ｌ１がｚ_ｌ軸に垂直であり、所定方向ＤＲ１_ｌは、所定方向ＤＲ１_ｗと一致する。

所定方向ＤＲ１_ｗ又はＤＲ１_ｌは、図８（Ａ）の自車両の後進方向又は第１の辺Ｓ１が境界Ｌ１から離れる方向に限定されず、仮想平面Ｓ上の平面形状が自車両に近づく方向であればよい。図８（Ｂ）において、所定方向ＤＲ_ｍは、点線で表わされ、物体ＯＢ（前方車両）の例えば道路面Ｈ上の基準点Ｒ（例えば中心、重心等）から自車両の運転者の視点１０２に向かう方向Ｍと一致するように、物体ＯＢ（前方車両）の例えば中心と自車両の運転者の視点１０２とを結ぶ直線（仮想直線）上に所定方向ＤＲ_ｍを設定することができる。第１の辺Ｓ１が自車両内のユーザ（具体的には、視点１０２）に近づく時に、視認性を効果的に向上させることができる。

代替的に、所定方向ＤＲ１_ｗ又はＤＲ１_ｌは、或いは、所定方向ＤＲ_ｍは、仮想平面Ｓ上の虚像Ｖ１の平面形状は、物体ＯＢ（前方車両）と道路面Ｈとの境界Ｌ１と、仮想平面Ｓ上の虚像Ｖ１の平面形状の外縁Ｓ１と、の間で規定される、仮想平面Ｓ上の隙間又は面積が増加する方向であってもよい。視点高さが低くなる時に、仮想平面Ｓ上の隙間（仮想平面上の面積）を増加させて、視認性をより一層向上させることができる。

更に、物体ＯＢが自車両に向かって進行する障害物である時に、所定方向ＤＲ１_ｗ又はＤＲ１_ｌは、或いは、所定方向ＤＲ_ｍは、その物体ＯＢ（障害物）の進行方向に設定されて、辺Ｓ１及び／又は境界の視認性を向上させてもよい。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

２０・・・表示器、２１・・・反射器、１００・・・表示機構、１０１・・・ウインドシールド、１０２・・・ユーザ（運転者）の視点、１０３・・・撮像装置、２００・・・表示コントローラ（広義には、画像処理ユニット）、２１０・・・処理部、２２０・・・判定部、２３０・・・生成部、２４０・・・記憶部、３００・・・画像処理部、３１０・・・物体情報取得部、３２０・・・視点情報取得部、４００・・・情報取得部、ＡＲ・・・表示範囲、ＤＲ１_ｗ，ＤＲ１_ｌ，ＤＲ_ｍ・・・所定方向、Ｌ・・・表示光、Ｌ１・・・境界、Ｈ・・・道路面、ＯＢ・・・物体、Ｒ・・・基準点、Ｖ・・・虚像表示面、Ｖ１・・・虚像。

Claims (11)

1. 仮想平面が道路面に略平行であり、且つ前記仮想平面が前記道路面よりも所定高さだけ上昇したようにユーザによって視認される前記仮想平面上の虚像に対応する表示要素を含む表示画像を生成する生成部を
   備え、
   前記生成部は、前記ユーザの視点高さに基づき前記ユーザによって視認される前記虚像の大きさが変化するように、前記表示要素の平面形状を決定し、
   前記視点高さが基準位置から、前記基準位置よりも低い位置に変化する時に、前記生成部は、前記仮想平面上の前記虚像の平面形状が所定方向に移動するように、前記表示要素の前記平面形状を決定することを特徴とする画像処理ユニット。
2. 前記所定方向は、前記仮想平面上の前記虚像の前記平面形状が、前記虚像が投射される被投影部材を有する車両に近づく方向であることを特徴とする請求項１に記載の画像処理ユニット。
3. 前記所定方向は、前記仮想平面上の前記虚像の前記平面形状の基準点から、前記車両を運転する前記ユーザに向かう方向であることを特徴とする請求項２に記載の画像処理ユニット。
4. 前記仮想平面上の前記虚像の前記平面形状は、前記ユーザによって認識され得る物体を取り囲む形状であり、
   前記所定方向は、前記物体と前記道路面との境界と、前記仮想平面上の前記虚像の前記平面形状の外縁と、の間で規定される、前記仮想平面上の面積が増加する方向であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理ユニット。
5. 前記生成部は、前記視点高さの変化に応答して、前記仮想平面上の前記虚像の前記平面形状の移動量を動的に決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理ユニット。
6. 単位時間あたりの前記視点高さの変化量が基準値以上である時に、前記生成部は、前記仮想平面上で前記所定方向に移動する前記虚像に対応する表示要素の表示を弱める又は無効化することを特徴とする請求項５に記載の画像処理ユニット。
7. 前記ユーザの視線方向が前記虚像を向いている間だけ、前記仮想平面上の前記虚像の前記平面形状の前記移動量がゼロであるように、前記生成部は、前記表示要素の前記平面形状を決定することを特徴とする請求項５又は６に記載の画像処理ユニット。
8. 前記仮想平面上の前記虚像の前記平面形状の前記移動量がゼロでない時に、前記視点高さの低下に伴って前記移動量が発生したことを前記ユーザに報知することを特徴とする請求項５乃至７の何れか１項に記載の画像処理ユニット。
9. 前記視点高さは、車両始動時に取得された固定値であり、
   前記生成部は、前記固定値に基づき、前記仮想平面上の前記虚像の前記平面形状の移動量を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理ユニット。
10. 前記視点高さが前記基準位置から、前記基準位置よりも高い位置に変化する時に、前記仮想平面上の前記虚像の前記平面形状の移動量がゼロであるように、前記生成部は、前記表示要素の前記平面形状を決定することを特徴とする請求項１乃至９の何れか１項に記載の画像処理ユニット。
11. 請求項１乃至１０の何れか１項に記載の前記画像処理ユニットと、
    前記画像処理ユニットで生成された前記表示画像を表示する表示器と、
    を備えることを特徴とするヘッドアップディスプレイ装置。

Images