JPWO2018124299A1 - Virtual image display apparatus and method - Google Patents
Virtual image display apparatus and method Download PDFInfo
- Publication number
- JPWO2018124299A1 JPWO2018124299A1 JP2018559647A JP2018559647A JPWO2018124299A1 JP WO2018124299 A1 JPWO2018124299 A1 JP WO2018124299A1 JP 2018559647 A JP2018559647 A JP 2018559647A JP 2018559647 A JP2018559647 A JP 2018559647A JP WO2018124299 A1 JPWO2018124299 A1 JP WO2018124299A1
- Authority
- JP
- Japan
- Prior art keywords
- display
- virtual image
- optical path
- path length
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
- B60K35/232—Head-up displays [HUD] controlling the projection distance of virtual images depending on the condition of the vehicle or the driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Instrument Panels (AREA)
Abstract
簡素な構成でありながら、車速等の表示内容以外に、危険信号その他の追加情報を適切な認識が可能な程度に多数の距離に表示させることができる虚像表示装置及び方法を提供する。虚像表示装置100は、表示部である像形成素子11と、像形成素子11によって表示領域に形成された像を拡大する虚像表示光学系30とを備え、表示領域から第1の反射体であるミラー17aまでの光路中に、光軸AX方向に厚みの異なる構造を有する光路長変化素子16が配置されている。Provided are a virtual image display device and method capable of displaying a danger signal and other additional information at a number of distances to allow proper recognition in addition to the display contents such as the vehicle speed, etc. with a simple configuration. The virtual image display device 100 includes an image forming element 11 that is a display unit, and a virtual image display optical system 30 that enlarges an image formed in the display area by the image forming element 11, and is a first reflector from the display area. In the optical path to the mirror 17a, an optical path length changing element 16 having a structure with different thicknesses in the optical axis AX direction is disposed.
Description
本発明は、視線の先に虚像を表示し、かつ虚像の投影位置を可変とした虚像表示装置及び虚像表示方法に関するものである。 The present invention relates to a virtual image display device and a virtual image display method in which a virtual image is displayed at the tip of a line of sight and the projection position of the virtual image is variable.
従来のヘッドアップディスプレイ(HUD)装置は、虚像を運転者からある一定の距離だけ離れた位置に生成するのが一般的であり、HUDによる表示内容は、車速、カーナビゲーション情報等に限られていた。そもそもHUDを車に搭載する目的は、運転者の視線移動を最小限に抑えることで、より安全な運転を支援するものであるが、安全運転支援という意味においては、車速等の表示内容だけでは不十分であり、例えば前方の車、歩行者、障害物等をカメラやセンサーで検知し、HUDを通して運転者に事前に危険を察知させて事故を未然に防ぐようなシステムの方がより好ましい。こういったシステムを実現するには、例えば車、人、障害物等のシースルー像に対して危険信号その他の追加情報を重畳させて表示させることが考えられる。 Conventional head-up display (HUD) devices generally generate a virtual image at a position away from a driver by a certain distance, and display contents by HUD are limited to vehicle speed, car navigation information, and the like. It was. In the first place, the purpose of installing the HUD in the car is to support the safer driving by minimizing the movement of the driver's line of sight. It is more preferable to use a system in which, for example, a car, a pedestrian, an obstacle, etc. in front of the vehicle are detected by a camera or a sensor, and the driver is informed of the danger in advance through HUD to prevent an accident. In order to realize such a system, for example, it is conceivable to display a danger signal or other additional information superimposed on a see-through image of a car, a person, an obstacle or the like.
上記のような危険信号を重畳させて表示するシステムにおいて、運転者から虚像までの距離が一定だと、運転者の目の位置がずれた場合に実物の位置と危険信号の位置とがずれてしまい、運転者が危険信号を誤認してしまうという課題がある。このような問題を解決する手法としては、実物に対して虚像を奥行き方向も含めて重畳させることが考えられる。 In the system that displays the danger signal superimposed as described above, if the distance from the driver to the virtual image is constant, the actual position and the position of the danger signal will be shifted if the driver's eyes are displaced. Therefore, there is a problem that the driver misidentifies the danger signal. As a technique for solving such a problem, it is conceivable to superimpose a virtual image on the real object including the depth direction.
例えば特許文献1では、ミラーを動かすことにより、投影する反射体を切り替えて運転者から虚像までの距離を変える手法が開示されているが、このような手法では、虚像位置は多くて2つであるため、運転者の誤認を防ぐには不十分である。また、特許文献2には、表示素子を複数並べることによって虚像を複数生成する手法が開示されているが、このような手法では、表示素子の厚みや配線等による物理的な制約により虚像距離の細かな調整が難しく、また表示素子を複数有することによるコストアップや、表示制御回路の複雑化が懸念される。
For example,
本発明は、上記背景技術に鑑みてなされたものであり、簡素な構成でありながら、上記のような追加情報を適切な認識が可能な程度に多数の距離に表示させることができる虚像表示装置及び虚像表示方法を提供することを目的とする。 The present invention has been made in view of the above-described background art, and has a simple configuration and can display a virtual image display device capable of displaying additional information as described above at a large number of distances to allow proper recognition. It is another object of the present invention to provide a virtual image display method.
上記した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した虚像表示装置は、表示部と、表示部によって表示領域に形成された像を拡大する虚像表示光学系とを備え、表示領域から第1の反射体までの光路中に、光軸方向に厚みの異なる構造を有する光路長変化素子が配置されている。 In order to achieve at least one of the above objects, a virtual image display device reflecting one aspect of the present invention includes a display unit and a virtual image display optical system that enlarges an image formed in the display region by the display unit. An optical path length changing element having a structure with different thicknesses in the optical axis direction is arranged in the optical path from the display area to the first reflector.
上記した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した虚像表示方法は、表示部と、表示部によって表示領域に形成された像を拡大する虚像表示光学系とを用いた虚像表示方法であって、光軸方向に厚みの異なる構造を有する光路長変化素子を表示領域から第1の反射体までの光路中に配置し、光路長変化素子の配置によって投影距離を変化させる。 In order to achieve at least one of the above objects, a virtual image display method reflecting one aspect of the present invention includes a display unit and a virtual image display optical system that enlarges an image formed in the display region by the display unit. In the virtual image display method used, an optical path length changing element having a structure having a different thickness in the optical axis direction is arranged in the optical path from the display region to the first reflector, and the projection distance is set by the arrangement of the optical path length changing element. Change.
〔第1実施形態〕
以下、図面を参照しつつ、本発明に係る虚像表示装置及び方法の第1実施形態について説明する。[First Embodiment]
Hereinafter, a virtual image display device and method according to a first embodiment of the present invention will be described with reference to the drawings.
図1A及び1Bは、本実施形態の虚像表示装置100及びその使用状態を説明する概念的な側方断面図及び正面図である。この虚像表示装置100は、例えばヘッドアップディスプレイ装置として車体2内に搭載されるものであり、描画ユニット10と表示スクリーン20とを備える。虚像表示装置100は、描画ユニット10中の後述する像形成素子11に表示されている画像情報を、表示スクリーン20を介してドライバーUN向けに虚像表示するものである。
1A and 1B are a conceptual side sectional view and a front view illustrating a virtual
虚像表示装置100のうち描画ユニット10は、車体2のダッシュボード4内に埋め込むように設置されており、運転関連情報等を含む画像に対応する表示光HKを表示スクリーン20に向けて射出する。表示スクリーン20は、コンバイナーとも呼ばれるハーフミラーであり、半透過性を有する凹面鏡又は平面鏡である。表示スクリーン20は、下端の支持によってダッシュボード4上に立設され、描画ユニット10からの表示光HKを車体2の後方に向けて反射する。つまり、図示の場合、表示スクリーン20は、フロントガラス8とは別体で設置される独立型のものとなっている。ハーフミラーである表示スクリーン20で反射された表示光HKは、運転席6に座ったドライバーUNの瞳HT及びその周辺位置に対応するアイボックス(不図示)に導かれる。ドライバーUNは、表示スクリーン20で反射された表示光HK、つまり車体2の前方にある虚像としての表示像IMを観察することができる。一方、ドライバーUNは、ハーフミラーである表示スクリーン20を透過した外界光、つまり前方景色、自動車等の実像を観察することができる。結果的に、ドライバーUNは、表示スクリーン20の背後の外界像に重ねて、表示スクリーン20での表示光HKの反射によって形成される運転関連情報等を含む表示像(虚像)IMを観察することができる。
The
図2に示すように、描画ユニット10は、像形成素子11を含む拡大結像系又は投影光学系並びに虚像型の反射光学系から構成される本体光学系13と、本体光学系13を動作させる表示制御部18と、本体光学系13等を収納するハウジング14とを備える。これらのうち本体光学系13と表示スクリーン(コンバイナー)20と組み合わせたものは、虚像表示光学系30を構成する。
As shown in FIG. 2, the
本体光学系(投影光学系)13は、表示部である像形成素子11のほかに、像形成素子11に形成された画像を拡大した中間像TIを形成可能な結像光学系15と、中間像TIの結像位置に近接して光路後段に配置される光路長変化素子16と、中間像TIを虚像に変換する虚像形成光学系17とを備える。
The main body optical system (projection optical system) 13 includes an image forming
像形成素子11は、2次元的な表示面11aを有する表示部である。像形成素子11の表示面11aに形成された像は、本体光学系13のうち結像光学系15で拡大されて中間像TIを形成し、光路長変化素子16を通過し、虚像形成光学系17等へ導かれる。この際、2次元表示が可能な像形成素子11を用いることで、中間像TI又は表示像(虚像)IMの切換えを比較的高速とできる。像形成素子11は、DMDやLCOS等の反射型の素子であっても、液晶等の透過型の素子であってもよい。特に、像形成素子11としてDMDを用いると、明るさを維持しつつ画像を高速で切り替えることが容易になり、虚像距離又は投影距離を変化させる表示に有利である。なお、像形成素子11は、30fps以上のフレームレートで動作する。これにより、異なる投影距離に複数の表示像IMが同時に表示されているように見せることが容易になる。
The
結像光学系15は、固定焦点のレンズ系であり、図示を省略するが、複数のレンズを有する。結像光学系15は、像形成素子(表示部)11の表示面11aに形成された画像を適当な倍率で拡大投影し、光路長変化素子16の入射面16jに近接した位置に中間像TIを形成する。なお、結像光学系15は、この結像光学系15の最も光路長変化素子16側に配置された絞り15aを有する。
The imaging
光路長変化素子16は、樹脂やガラスで形成された回転体であり、移動部である配置変更装置62に設けた回転駆動装置62aに駆動されて一定速度で回転する。光路長変化素子16は、詳細は後述するが、複数の厚みが異なる部分領域を有し、これらの部分領域は、光路長変化素子16の回転に伴って結像光学系15によって形成される中間像TIの位置に順次配置される。配置変更装置62によって光路長変化素子16を光軸AXの周りに移動させることで、虚像形成光学系17によって表示スクリーン(コンバイナー)20の背後に形成される虚像としての表示像IMと観察者であるドライバーUNとの距離を大きく、または小さくすることができる。このように、投影される表示像IMの位置を前後に変化させるとともに、表示内容をその位置に応じたものとすることで、表示像IMまでの虚像距離を変化させつつ表示像IMを変化させることになり、一連の投影像としての表示像IMを3次元的なものとすることができる。
The optical path
図Aは、光路長変化素子16及び配置変更装置62を説明する側方断面図であり、図3Bは、光路長変化素子16を説明する正面図である。光路長変化素子16は、光軸AXに平行に延びる回転軸RXが通る軸部19aと、軸部19aに支持されて回転軸RXの周りに配置される4つの部分領域16a〜16dとを有する。回転駆動装置62aは、軸部19aを介して光路長変化素子16を回転させる。回転駆動装置62aは、台座及び支柱を有する支持部材62b上に固定されている。
FIG. A is a side sectional view for explaining the optical path
光路長変化素子16は、4つの部分領域16a〜16dを含む階段状構造体であり、部分領域16a〜16dを中心の周りに設けた円盤状構造体116である。円盤状構造体116としての光路長変化素子16は、空気換算した光路長を例えば4段階で変化させる役割を有する。光路長変化素子16を構成する各部分領域16a〜16dは、表示領域に形成された中間像TIに対応するサイズを有している。これらの部分領域16a〜16dは、光軸AX方向の厚みが互いに異なるものとなっている。具体的には、光路長変化素子16は、虚像形成光学系17側又は光路後段側において、光軸AXが通る円周16rに沿って階段状に配置された複数の射出面16e〜16hを有しており、各射出面16e〜16hは、平面となっている。つまり、光路長変化素子16は、表示領域に形成された中間像TIの反対側に配置される射出面16e〜16hが階段状となっている。一方、光路長変化素子16は、結像光学系15側又は光路前段側において、単一の平面である入射面16jを有している。中間像TIは、光路長変化素子16から光路前段にかけての表示領域に結像され、具体的には、光路長変化素子16すなわち入射面16jは、中間像TIの結像位置から±1mm以内に配置されている。光路長変化素子16の入射面16jは、拡散機能を有している。入射面16jは、例えば磨りガラス状の面に加工されている。この場合、入射面16jに強制的な中間像が形成され、ここから光が拡散するので、アイボックスを広く確保することができる。なお、拡散機能に対応する磨りガラス面の部分は、例えば別部品として光路長変化素子16の入射面16j上に貼り付けることができる。入射面16j上に貼り付ける別部品としては、磨りガラス板、拡散板、マイクロレンズアレイ等を用いることができる。
The optical path
回転駆動装置62aによって軸部19aを例えば一定速度で回転させることで、光路長変化素子16も回転軸RXの周りに回転する。結果的に、4つの部分領域16a〜16dが光軸AX上に順次移動し、各部分領域16a〜16dは、光軸AXを横切るように移動する。この際、部分領域16a〜16dの中央が光軸AXを横切るように配置関係が調整され位置決めがなされている。正面から見て軸部19aが例えば時計方向に回転する場合、部分領域16a〜16dの順番で光軸AX上に配置される。部分領域16aの中央が光軸AX上に配置されたタイミングでは、部分領域16aが最も厚く、この時点で表示部である像形成素子11に表示されている画像又は中間像TIが、ハーフミラーである表示スクリーン(コンバイナー)20の背後の最も近くに虚像として表示される。また、部分領域16dの中央が光軸AX上に配置されたタイミングでは、部分領域16dが最も薄く、この時点で像形成素子11に表示されている画像又は中間像TIが、ハーフミラーである表示スクリーン(コンバイナー)20の背後の最も遠くに虚像として表示される。ここで、虚像形成光学系17から見た中間像TIの見かけ上の位置は、最も厚い部分領域16aが光軸AX上に位置するとき最も虚像形成光学系17寄りとなっており、最も薄い部分領域16dが光軸AX上に位置するとき最も像形成素子11の表示面11a寄りとなっている。像形成素子11における画像の表示は、ストロボのように間欠的で部分領域16a〜16dの中央又は周辺が光軸AX上に配置されているタイミングとなる。なお、部分領域は4つに限られるものではなく、虚像を表示したい距離数に応じて部分領域数を変えてもよい。
The optical path
図2に示す虚像形成光学系17は、光路長変化素子16に形成された中間像TIを表示スクリーン20と協働して拡大し、ドライバーUNの前方に虚像としての表示像IMを形成する。虚像形成光学系17は、少なくとも1枚のミラーで構成されるが、図示の例では2枚のミラー17a,17bを含む。ここで、一方のミラー17aは、第1の反射体であって、光路前段にある中間像TI側に配置されており、光学的なパワーを有する第1のミラーとなっている。また、他方のミラー17bは、光路後段にある表示スクリーン(コンバイナー)20側に配置されており、光学的なパワーを有する第2のミラーとなっている。この場合、本体光学系(投影光学系)13を高倍かつ高性能にすることができる。
The virtual image forming
図4Aは、実施形態の虚像表示光学系30又は虚像表示装置100による表示を説明する概念的な平面図であり、図4Bは、図4Aに対応する表示の見え方を説明する図である。図4Aに示すように、ドライバーUNが観察している対象物(この場合、対向車線を走行する自動車)KTの位置又はその近傍に表示像IMである表示枠HWを形成する場合について説明する。このような表示枠HWは、危険警告信号その他の虚像であり、例えば前方に近接する自動車、自転車、歩行者等を識別した結果を示す。表示枠HWは、この場合、図4Aに示すように対象物KTの近傍に表示枠HWを投影しているので、図4Bに示すように、標準位置P0に居るドライバーUNだけでなく、頭の位置を動かした変動位置P1に姿勢を変化させたドライバーUNにも、対象物KTと表示枠HWとが略重なって略ズレなく見える。
FIG. 4A is a conceptual plan view for explaining display by the virtual image display
図5Aは、比較例の虚像表示光学系又は虚像表示装置による表示を説明する概念的な平面図であり、図5Bは、図5Aに対応する表示の見え方を説明する図である。図5Aに示すように、ドライバーUNが観察している対象物KTに関係なく、固定位置に表示像IMである表示枠HWを形成する場合について説明する。この場合、図5Aに示すように対象物KTのかなり手前に表示枠HWを投影しているので、図5Bに示すように、標準位置P0に居るドライバーUNにとって、対象物KTと表示枠HWとが略重なって略ズレなく見えても、変動位置P1に姿勢を変化させたドライバーUNにとって、表示枠HWが対象物KTに対して目の並ぶ横方向に大きく位置ずれして見えてしまい、表示枠HWを誤認する可能性が高まる。 FIG. 5A is a conceptual plan view for explaining the display by the virtual image display optical system or the virtual image display device of the comparative example, and FIG. 5B is a diagram for explaining the appearance of the display corresponding to FIG. 5A. As shown in FIG. 5A, a case will be described in which the display frame HW that is the display image IM is formed at a fixed position regardless of the object KT that the driver UN observes. In this case, as shown in FIG. 5A, since the display frame HW is projected substantially in front of the object KT, as shown in FIG. 5B, for the driver UN at the standard position P0, the object KT and the display frame HW Even if they appear to be substantially overlapped with each other, the display frame HW appears to be greatly displaced in the lateral direction in which the eyes are aligned with respect to the object KT for the driver UN whose posture has been changed to the change position P1. The possibility of misidentifying the frame HW increases.
図6は、移動体用表示システム200を説明するブロック図であり、移動体用表示システム200は、その一部として虚像表示装置100を含む。この虚像表示装置100は、図2に示す構造を有するものであり、ここでは説明を省略する。図6に示す移動体用表示システム200は、移動体である自動車等に組み込まれるものである。
FIG. 6 is a block diagram illustrating the moving
移動体用表示システム200は、虚像表示装置100のほかに、運転者検出部71と、環境監視部72と、主制御装置90とを備える。
In addition to the virtual
運転者検出部71は、ドライバーUNの存在や視点位置を検出する部分であり、運転席用カメラ71aと、運転席用画像処理部71bと、判断部71cとを備える。運転席用カメラ71aは、車体2内のダッシュボード4の運転席正面に設置されており(図1B参照)、ドライバーUNの頭部及びその周辺の画像を撮影する。運転席用画像処理部71bは、運転席用カメラ71aで撮影した画像に対して明るさ補正等の各種画像処理を行って判断部71cでの処理を容易にする。判断部71cは、運転席用画像処理部71bを経た運転席画像からオブジェクトの抽出又は切り出しを行うことによってドライバーUNの頭部や目を検出するとともに、運転席画像に付随する奥行情報から車体2内におけるドライバーUNの頭部の存否とともにドライバーUNの目の空間的な位置(結果的に視線の方向)を算出する。
The
環境監視部72は、前方に近接する自動車、自転車、歩行者等を識別する部分であり、外部用カメラ72aと、外部用画像処理部72bと、判断部72cとを備える。外部用カメラ72aは、車体2内外の適所に設置されており、ドライバーUN又はフロントガラス8の前方、側方等の外部画像を撮影する。外部用画像処理部72bは、外部用カメラ72aで撮影した画像に対して明るさ補正等の各種画像処理を行って判断部72cでの処理を容易にする。判断部72cは、外部用画像処理部72bを経た外部画像からオブジェクトの抽出又は切り出しを行うことによって自動車、自転車、歩行者等の対象物KT(例えば図4A参照)の存否を検出するとともに、外部画像に付随する奥行情報から車体2前方における対象物KTの空間的な位置を算出する。
The
なお、運転席用カメラ71aや外部用カメラ72aは、図示を省略しているが、例えば複眼型の3次元カメラである。つまり、両カメラ71a,72aは、結像用のレンズと、CMOSその他の撮像素子とを一組とするカメラ素子をマトリックス状に配列したものであり、撮像素子用の駆動回路をそれぞれ有する。各カメラ71a,72aを構成する複数のカメラ素子は、例えば奥行方向の異なる位置にピントを合わせるようになっており、或いは相対的な視差を検出できるようになっており、各カメラ素子から得た画像の状態(フォーカス状態、オブジェクトの位置等)を解析することで、画像内の各領域又はオブジェクトまでの距離を判定できる。
The driver's
上記のような複眼型のカメラ71a,72aに代えて、2次元カメラと赤外距離センサーとを組み合わせたものを用いても、撮影した画面(死角画像)内の各部に関して奥行方向の距離情報を得ることができる。また、複眼型のカメラ71a,72aに代えて、2つの2次元カメラを分離配置したステレオカメラによって、撮影した画面内の各部(領域又はオブジェクト)に関して奥行方向の距離情報を得ることができる。その他、単一の2次元カメラにおいて、焦点距離を高速で変化させながら撮像を行うことによっても、撮影した画面内の各部に関して奥行方向の距離情報を得ることができる。
Even if a combination of a two-dimensional camera and an infrared distance sensor is used in place of the compound-
表示制御部18は、主制御装置90の制御下で虚像表示光学系30を動作させて、ハーフミラーである表示スクリーン(コンバイナー)20の背後に虚像距離又は投影距離が変化する3次元的な表示像IMを表示させる。表示制御部18は、主制御装置90を介して受信した表示形状や表示距離を含む表示情報であって、環境監視部72からの信号に基づいて得た情報から、虚像表示光学系30に表示させる表示像IMを生成する。表示像IMは、例えば表示スクリーン20の背後に存在する自動車、自転車、歩行者その他の対象物KTに対して、その奥行き位置方向及びこれと直交する方向に関して周辺に位置する表示枠HW(図4B参照)のような標識とすることができる。
The
表示制御部18は、主制御装置90を介して運転者検出部71からドライバーUNの存在や目の位置に関する検出出力を受け取る。これにより、虚像表示光学系30による表示像IMの投影の自動的な開始や停止が可能になる。また、ドライバーUNの視線の方向のみに表示像IMの投影を行うこともできる。さらに、ドライバーUNの視線の方向の表示像IMのみを明るくする、点滅する等の強調を行った投影を行うこともできる。
The
主制御装置90は、虚像表示装置100、環境監視部72等の動作を調和させる役割を有し、環境監視部72によって検出した対象物KTの空間的な位置に対応するように、虚像表示光学系30によって投影される表示枠HWの空間的な配置を調整する。
The
以上で説明した第1実施形態に係る虚像表示装置100によれば、所定の区分領域である部分領域16a〜16dごとに光軸AX方向に厚みの異なる構造を有する光路長変化素子16が配置されているので、ドライバーUNから表示像(虚像)IMまでの距離を光路長変化素子16の厚みによって細かく変えることができ、表示像IMを奥行き方向も含めて実物に重畳させることが可能となる。これにより視点がずれても危険信号等の表示像IMと実物との位置関係がずれないため、ドライバーUNの誤認を防ぐことが容易となる。
According to the virtual
〔第2実施形態〕
以下、第2実施形態に係る虚像表示装置及び方法について説明する。なお、第2実施形態の虚像表示装置は第1実施形態の虚像表示装置を変形したものであり、特に説明しない事項は第1実施形態と同様である。[Second Embodiment]
The virtual image display device and method according to the second embodiment will be described below. The virtual image display device according to the second embodiment is a modification of the virtual image display device according to the first embodiment, and matters not specifically described are the same as those in the first embodiment.
図7に示すように、第2実施形態の虚像表示装置100の場合、光路長変化素子16が矩形板状の階段状構造体216である。
As shown in FIG. 7, in the case of the virtual
光路長変化素子16又は階段状構造体216に付随して設けられた移動部である配置変更装置262は、光路長変化素子16を光軸AXに垂直な上下方向に沿って所望の位置に移動させるためのものである。配置変更装置262は、階段状構造体216の光軸AXに垂直な上下方向への移動を案内するガイド部262aと、階段状構造体216を光軸AXに垂直な上下方向に所望の速度で往復移動させる駆動部262bとを有する。
The
図8A及び8Bに示すように、階段状構造体216は、光軸AXに垂直な方向に配列された複数の部分領域216a〜216cを有し、各部分領域216a〜216cは、表示領域に形成された中間像TIに対応するサイズ及び輪郭形状を有している。これらの部分領域216a〜216cは、光軸AX方向の厚みが互いに異なるものとなっている。具体的には、階段状構造体216は、虚像形成光学系17側又は光路後段側において、階段状に配置された複数の射出面216e〜216gを有しており、各射出面216e〜216gは、平面となっている。一方、階段状構造体216は、結像光学系15側又は光路前段側において、単一の平面である入射面16jを有しており、入射面16jは、拡散機能を有する。中間像TIは、階段状構造体216から光路前段にかけての表示領域に結像され、具体的には、階段状構造体216すなわち入射面16jは、中間像TIの結像位置から±1mm以内に配置されている。
As shown in FIGS. 8A and 8B, the
配置変更装置62によって階段状構造体216を光軸AXに垂直な方向に移動させることで、3つの部分領域216a〜216cが光軸AX上に順次移動し、虚像形成光学系17によって表示スクリーン20の背後に形成される虚像としての表示像IMと観察者であるドライバーUNとの距離を大きく、または小さくすることができる。このように、投影される表示像IMの位置を前後に変化させるとともに、表示内容をその位置に応じたものとすることで、表示像IMまでの虚像距離を変化させつつ表示像IMを変化させることになり、一連の投影像としての表示像IMを3次元的なものとすることができる。なお、階段状構造体216の移動方向は光軸AXに垂直な水平方向でもよいし、部分領域は3つに限られるものではない。
By moving the step-
第2実施形態の虚像表示装置100では、光路長変化素子16をスライド移動させることで、虚像全体の生成距離を変化させることができる。光路長変化素子16を高速でスライドさせることで、複数の距離に同時に虚像が表示されているように見せることができる。また、光路長変化素子16又は階段状構造体216を構成する部分領域216a〜216cの数及び厚みを調整することで虚像距離を細かく調整することができる。
In the virtual
〔第3実施形態〕
以下、第3実施形態に係る虚像表示装置及び方法について説明する。なお、第3実施形態の虚像表示装置は第1実施形態の虚像表示装置を変形したものであり、特に説明しない事項は第1実施形態と同様である。[Third Embodiment]
The virtual image display device and method according to the third embodiment will be described below. The virtual image display device according to the third embodiment is a modification of the virtual image display device according to the first embodiment, and items that are not particularly described are the same as those in the first embodiment.
図9に示すように、第3実施形態の虚像表示装置100の場合、光路長変化素子16は、矩形板状の階段状構造体316であり、光路に沿って固定的に配置されている。
As shown in FIG. 9, in the case of the virtual
図10A及び10Bに示すように、階段状構造体316は、光軸AXに垂直な方向に配列された複数の部分領域316a〜316cを有し、各部分領域316a〜316cは、表示領域における中間像TIを上下のZ方向に3分割したサイズ及び輪郭形状を有し、部分領域316a〜316cを合わせた全体で表示領域である中間像TIに対応するサイズ及び輪郭形状を有している。これらの部分領域316a〜316cは、光軸AX方向の厚みが互いに異なるものとなっている。具体的には、階段状構造体316は、虚像形成光学系17側又は光路後段側において、階段状に配置された複数の射出面316e〜316gを有しており、各射出面316e〜316gは、平面となっている。一方、階段状構造体316は、結像光学系15側又は光路前段側において、単一の平面である入射面16jを有しており、入射面16jは、拡散機能を有する。中間像TIは、階段状構造体316又は光路長変化素子16から光路前段にかけての表示領域に結像され、具体的には、階段状構造体316すなわち入射面16jは、中間像TIの結像位置から±1mm以内に配置されている。
As shown in FIGS. 10A and 10B, the stepped
この虚像表示装置100では、中間像TIが上下のZ方向に3分割した部分像TIa〜TIcからなる。部分像TIaは、比較的近距離投影用の画像であり、部分像TIcは、比較的遠距離投影用の画像であり、部分像TIbは、中距離投影用の画像である。つまり、虚像表示装置100による表示像(虚像)IMを構成する下側の部分IMaは、部分像TIaに対応して比較的近距離に結像され、表示像(虚像)IMを構成する上側の部分IMcは、部分像TIcに対応して比較的遠距離に結像される。さらに、表示像(虚像)IMの上下に関する中間の部分IMbは、部分像TIbに対応して中間距離に結像される。この場合、表示像IMa〜IMcの奥行方向の位置は固定的であるが、表示像IMが立体的なものとなる。
In the virtual
第3実施形態の虚像表示装置100では、光路長変化素子のために可動部を設ける必要がないため、車その他の移動体に搭載する装置として好ましい。さらに各部分領域において厚みを調整することで、虚像距離を細かく調整することができる。なお、虚像の上側で遠距離表示、虚像の下側で近距離表示となるように部分領域の厚みを設定することが好ましい。
In the virtual
第3実施形態の虚像表示装置100のように単一の像形成素子11によって奥行き方向の異なる位置に虚像を表示する場合、階段状構造体316の段差の境界をまたいで光が入射し、虚像までの距離がアイボックス内の一部で所望の距離ではなくなるおそれや虚像が乱れるおそれがあるため、像形成素子11や中間像TIにおいて境界部として表示に使用しない領域を設けることが好ましい。
When a virtual image is displayed at different positions in the depth direction by the single
〔第4実施形態〕
以下、第4実施形態に係る虚像表示装置及び方法について説明する。なお、第4実施形態の虚像表示装置は第1〜第3実施形態の虚像表示装置を変形したものであり、特に説明しない事項は第1実施形態等と同様である。[Fourth Embodiment]
The virtual image display device and method according to the fourth embodiment will be described below. The virtual image display device according to the fourth embodiment is a modification of the virtual image display device according to the first to third embodiments, and items not specifically described are the same as those in the first embodiment.
図11に示すように、第4実施形態に係る虚像表示装置100において、本体光学系13は、結像光学系15が省略されており、像形成素子11と光路長変化素子16と虚像形成光学系17とで構成される。このため、図2で中間像TIのあった位置付近に、つまり光路長変化素子16の光路前段に、表示部である像形成素子11の表示面11aが配置されている。光路長変化素子16のうち像形成素子11に対向する側に配置される入射面16jは、像形成素子11の表示面11aから1cm以内に配置されている。この場合、像形成素子11の表示面11aがそのまま表示領域となっており、表示面11aに形成された像が虚像形成光学系17等によって直接的に表示像(虚像)IMとして拡大投影される。なお、光路長変化素子16の入射面16jは、拡散機能を有していない。第4実施形態の虚像表示装置100では、光路長変化素子16の光路前段に中間像TIを形成しないため、光路長変化素子16を小型化することができる。
As shown in FIG. 11, in the virtual
本実施形態のように、光路長変化素子16の入射面16jに拡散機能を持たせない場合、部分領域16a〜16cのうち最も薄い部分領域16cを厚みゼロとして省略することもできる。
As in the present embodiment, when the
以上は、第1実施形態の虚像表示装置100を変形した例であるが、第2及び第3実施形態の虚像表示装置100も同様に変更することができ、本体光学系13から結像光学系15を省略し、中間像TIを介さないで、表示面11aを表示領域としてこれに形成された像を直接的に表示像(虚像)IMとして拡大投影することができる。
The above is an example in which the virtual
〔第5実施形態〕
以下、第5実施形態に係る虚像表示装置及び方法について説明する。なお、第5実施形態の虚像表示装置は第1〜第4実施形態の虚像表示装置を変形したものであり、特に説明しない事項は第1実施形態等と同様である。[Fifth Embodiment]
The virtual image display device and method according to the fifth embodiment will be described below. In addition, the virtual image display apparatus of 5th Embodiment deform | transforms the virtual image display apparatus of 1st-4th Embodiment, and the matter which is not demonstrated especially is the same as that of 1st Embodiment.
図12に示すように、第5実施形態に係る虚像表示装置100の場合、虚像形成光学系17が1枚のミラー517aのみからなる。ここで、ミラー517aは、第1の反射体であって、光学的なパワーを有する第1のミラーとなっている。この場合、本体光学系(投影光学系)13を簡素にできるため、虚像表示装置100を安価なものとすることができる。
As shown in FIG. 12, in the case of the virtual
〔第6実施形態〕
以下、第6実施形態に係る虚像表示装置及び方法について説明する。なお、第6実施形態の虚像表示装置は第1実施形態の虚像表示装置を変形したものであり、特に説明しない事項は第1実施形態と同様である。[Sixth Embodiment]
The virtual image display device and method according to the sixth embodiment will be described below. The virtual image display device according to the sixth embodiment is a modification of the virtual image display device according to the first embodiment, and matters not specifically described are the same as those in the first embodiment.
図13に示すように、本体光学系13は、結像光学系15と虚像形成光学系17との間に配置される光路長変化素子416を備える。
As shown in FIG. 13, the main body
第6実施形態の場合、第1実施形態のように虚像形成光学系17から見た中間像TIの見かけ上の位置が離散的に変化するのではなく、光路長変化素子416によって虚像形成光学系17から見た中間像TIの見かけ上の位置を連続的に変化させる。
In the case of the sixth embodiment, the apparent position of the intermediate image TI viewed from the virtual image forming
光路長変化素子416は、結像光学系(第1投影光学系)15による投影位置又は結像位置の直後に配置され、回転体6aと中空枠体6bとを有し、移動部である配置変更装置62の回転駆動装置62aに駆動されて例えば一定速度で回転軸RXの周りに回転する。
The optical path
図14Aは、光路長変化素子416を説明する一部破断側面図であり、図14Bは、光路長変化素子416を説明する一部破断正面図である。光路長変化素子416は、全体として円板に近い輪郭を有する螺旋状の回転体6aと、回転体6aを収納する円筒状の中空枠体6bとを有する。
14A is a partially broken side view for explaining the optical path
回転体6aは、中央部6cと外周光学部6pとを有する。回転体6aは、光透過性を有する螺旋状の部材であり、回転体6aの外周光学部6pは、立体形状部106として機能する。回転体6aの外周光学部6pに形成された一方の表面6f又は入射面16jは、回転軸RXに垂直な平面であるが、拡散機能を付したものとできる。中間像TIは、光路長変化素子416から光路前段にかけての表示領域に結像され、具体的には、光路長変化素子416すなわち入射面16jは、中間像TIの結像位置から±1mm以内に配置されている。回転体6aの外周光学部6pに形成された他方の表面6sは、回転軸RXを螺旋軸とする螺旋面である。一方の表面6sが平面で他方一方の表面6sが螺旋面であることから、回転体6aは、回転軸RX又は光軸AXの方向に関して変化する厚みtを有する。光路長変化素子416の周に沿った一箇所に段差部6jが形成されている。段差部6jは、螺旋端間の段差を繋ぐとともに、光路長変化素子416を回転させる回転軸RXを含む平面に対して傾斜した接続面6kを有する。
The
回転体6aにおいて、周方向に沿った一箇所は、本体光学系13の光軸AXが通る機能領域FAとなっており、機能領域FAの像形成素子11側の近傍には中間像TIが形成される。この機能領域FAは、回転体6aの回転に伴って回転体6a上において一定速度で移動する。つまり、回転体6aを回転させつつその一部である機能領域FAに表示光(映像光)HKを入射させることで、機能領域FAにおける光軸AX方向の厚みが段階的でなく連続的に変化する。結果的に、虚像形成光学系17から見た中間像TIの見かけ上の位置を光軸AX方向に連続的に変化させることができる。なお、像形成素子11の表示が動作していなければ、必ずしも表示としての中間像は形成されないが、中間像が形成されるであろう見かけ上の位置も中間像の見かけ上の位置と呼ぶ。図示の例では、回転体6aの1回転で中間像TIの見かけ上の位置は、光軸AX方向に段差に相当する距離だけ1往復することになる。以下では、虚像形成光学系17から見た中間像TIの見かけ上の位置を、中間像TIの可動投影位置とも呼ぶ。
In the
中空枠体6bは、円柱状の外形輪郭を有し、側面部6eと一対の端面部6g,6hとで構成される。側面部6eと一対の端面部6g,6hとは、光透過性を有する同一の材料で形成されている。ただし、側面部6eは、光透過性を有していなくてもよい。中空枠体6b中の回転体6aは、一対の中心軸部65を介して中空枠体6bに固定されており、中空枠体6bと回転体6aとは回転軸RXの周りに一体的に回転する。このように、中間スクリーン19を設けた回転体6aを中空枠体6b中に配置することで、回転体6aに塵等が付着することを抑制でき、回転体6aの回転に伴う音の発生を抑制することができ、回転体6aの高速での回転を安定化させることが容易になる。
The
図13に戻って、スクリーン駆動部である回転駆動装置62aによって光路長変化素子416を一定速度で回転軸RXの周りに回転させることで、回転体16a上での機能領域FAの配置が回転移動する。つまり、図15Aに示すように、回転体6aの回転に伴って、中間スクリーン19上の機能領域FAは、例えば等角度でずれた位置に設定された隣接する機能領域FA'に順次シフトする。このような機能領域FAの移動により、回転体6aを通過する光路の光路長が連続的に減少するように変化し、虚像形成光学系17から見た中間像TIの見かけ上の位置又は中間像TIの可動投影位置も光軸AX方向沿って像形成素子11の表示面11a側に移動させることができる。詳細は後述するが、例えば虚像形成光学系17から見た中間像TIの見かけ上の位置を像形成素子11の表示面11a側に移動させることにより、投影像IMまでの投影距離又は虚像距離を増加させることができる。また、虚像形成光学系17から見た中間像TIの見かけ上の位置を虚像形成光学系17側に移動させることにより、投影像IMまでの投影距離又は虚像距離を減少させることができる。
Returning to FIG. 13, the arrangement of the functional area FA on the
虚像形成光学系(第2投影光学系)17は、結像光学系(第1投影光学系)15によって形成された中間像TIを光路長変化素子416越しに拡大し、観察者であるドライバーVDの前方に虚像としての投影像IMを形成する。虚像形成光学系17は、光路長変化素子416等による結像の歪みや光線の偏向を補償するような光学特性を有するものとできる。
The virtual image forming optical system (second projection optical system) 17 enlarges the intermediate image TI formed by the imaging optical system (first projection optical system) 15 through the optical path
図13等に示す画像表示装置100において、表示制御部18の制御下で回転駆動装置62aを動作させることで、光路長変化素子416が回転軸RXの周りに回転して機能領域FAに対応する中間像TIの見かけ上の位置又は中間像TIの可動投影位置が光軸AX方向に繰り返し周期的に移動し、虚像形成光学系17によって表示スクリーン20の背後に形成される虚像としての投影像IMと観察者であるドライバーVDとの距離を大きく、又は小さくすることができる。このように、投影される投影像IMの位置を前後に変化させるとともに、表示制御部18の制御下で、像形成素子11を中間像TIの見かけ上の配置に同期させつつ、像形成素子(表示素子)11による表示内容をその位置に応じたものとすることで、投影像IMまでの投影距離又は虚像距離を変化させつつ投影像IMの表示内容を変化させることになり、一連の投影像としての投影像IMを3次元的なものとすることができる。
In the
光路長変化素子416若しくは回転体6aの回転速度又は機能領域FAの移動速度は、虚像としての投影像IMが奥行き方向に関して複数個所又は複数投影距離に同時に表示されているかのように見せることができる速度であることが望ましい。ここで、各距離ゾーン(後述するサブゾーン)の投影像IMを30fps以上、望ましくは60fps以上で切り替えれば、表示される複数の画像が視覚的には連続的な画像として認識される。例えば、光路長変化素子416の動作に伴って投影像IMが近距離から遠距離までに5段階で順次投影されるものとして、像形成素子11に200fpsで表示を行わせると、各距離(例えば近距離)の投影像IMは、40fpsで表示の切替えが行われることになり、各距離の投影像IMが並列的に行われかつ切替えが略連続的なものとして認識される。
The rotational speed of the optical path
図15Bは、光路長変化素子416の回転に伴う虚像形成光学系17から見た中間像TIの見かけ上の位置又は中間像TIの可動投影位置の変化を具体的に例示する図である。光路長変化素子416の回転に伴って中間像TIの可動投影位置は、像形成素子(表示素子)11が連続表示を行っている場合、光軸AX方向に沿って鋸歯状の経時パターンPAで繰り返し周期的に移動する。つまり、中間像TIの位置は、段差部6jに対応する箇所で不連続的ながら、光路長変化素子416の回転に伴って連続的かつ周期的に変化する。この結果、図示を省略するが、投影像(虚像)IMの位置も、スケールは異なるが、中間像TIの可動投影位置と同様に光軸AX方向に沿って繰り返し周期的に移動し、投影距離を連続的に変化させることができる。ここで、像形成素子11は、連続表示を行うものでなく、表示内容を切り替りえつつ間欠的な表示を行うものであるから、中間像TIの可動投影位置も鋸歯状の経時パターン上における離散的な位置となる。経時パターンPAにおいて、最も近距離側又は虚像形成光学系17寄りの表示位置Pnと、最も遠距離側又は反虚像形成光学系17寄りの表示位置Pfとは、マージンを確保して、経時パターンPAの両端から所定量だけ離れた位置に設定される。また、経時パターンPAの途切れ目PDは、光路長変化素子416の回転体6aに設けた段差部6jに対応する。
FIG. 15B is a diagram specifically illustrating a change in the apparent position of the intermediate image TI as viewed from the virtual image forming
ここで、ある距離ゾーンの画像について表示を行う場合、図15Bに示すように表示している時間内で見かけ上の中間像の位置が変化することで、表示している奥行き方向の距離が変化する。この際、そのように奥行き方向の距離が変化する表示ゾーンで観察者(ドライバー)に見える表示距離は、その表示時間内で変化する奥行き方向の距離の略平均位置となる。 Here, when displaying an image in a certain distance zone, the displayed distance in the depth direction changes by changing the position of the apparent intermediate image within the displayed time as shown in FIG. 15B. To do. At this time, the display distance that can be seen by the observer (driver) in the display zone in which the distance in the depth direction changes is approximately the average position of the distance in the depth direction that changes within the display time.
図16は、中間像の可動投影位置と投影距離との関係又は中間像の可動投影位置と表示ゾーンとの関係を説明する図である。一点鎖線で示す特性C1に従って、虚像形成光学系17から見た中間像TIの虚像を光軸AX方向に等しい速度で移動させた場合において、各距離ゾーンの切替時間の刻みδを一定値とすれば、投影距離の刻み幅は、近距離では短く、遠距離では長くなる。見かけ上の中間像又は中間像TIの虚像の移動の刻み幅Δは、表示する距離ゾーンの切替時間に相当する均等なものとなっている。
FIG. 16 is a diagram for explaining the relationship between the movable projection position of the intermediate image and the projection distance or the relationship between the movable projection position of the intermediate image and the display zone. When the virtual image of the intermediate image TI viewed from the virtual image forming
図15Bに示す中間像の可動投影位置の両端間を移動する時間を1周期と考えた場合、奥行きを持つ表示の単位を表示ゾーンとして、その1周期の時間が各表示ゾーンの表示時間と、表示ゾーン数nの積よりも短い時間であれば、表示ゾーンは複数の距離ゾーンに亘るものとなり、少なくとも隣り合う表示ゾーンで、各ゾーンで表示される投影距離範囲に、重なりが生じる(図16の表示ゾーンDZ1〜DZn参照)。このように重ねた表示を行うことで、同一の投影像(虚像)を奥行方向に広がりを持たせて表示することができ、重なりを生じない表示に比較して各表示ゾーンの表示時間を長くすることが可能となり、投影像(虚像)IMの輝度が向上する。 When the time for moving between both ends of the movable projection position of the intermediate image shown in FIG. 15B is considered as one cycle, the display unit having the depth is set as a display zone, and the time of the one cycle is the display time of each display zone, If the time is shorter than the product of the number n of display zones, the display zone extends over a plurality of distance zones, and at least adjacent display zones overlap in the projection distance range displayed in each zone (FIG. 16). Display zones DZ1 to DZn). By performing overlapping display in this way, the same projected image (virtual image) can be displayed with a spread in the depth direction, and the display time of each display zone is made longer compared to a display that does not overlap. And the brightness of the projection image (virtual image) IM is improved.
図16に例示するように、特性C1に沿ってn個の表示ゾーンを設定することができる。ここで、説明の便宜上、最も近距離の表示ゾーンを第1表示ゾーンDZ1と呼び、最も遠距離の表示ゾーンを第n表示ゾーンDZn(nは自然数)と呼ぶ。複数の表示ゾーンDZ1〜DZnは、近距離から遠距離になるに従って表示する距離幅が広がっている。複数の表示ゾーンDZ1〜DZnのうち隣り合う表示ゾーンは、投影距離が部分的に重複している。すなわち、第k表示ゾーンDZk(kはnより小さい自然数)と第k+1表示ゾーンDZk+1とは、投影距離が部分的に重複し、例えば第2表示ゾーンDZ2と第3表示ゾーンDZ3とは、投影距離が部分的に重複している。第k表示ゾーンDZkは、そこに表示すべき表示対象の投影距離の本来の表示像に対して、その前、後、又は前後の双方で設定される表示ゾーンで表示する像も合せて表示した複合的な投影像となっている。図示の例では、第k表示ゾーンを表示している間の全体又はある一定時間内では4区間分の距離ゾーン又はサブゾーンLZk−2〜LZk+1に相当するそれぞれの像が重なった状態の表示がされている。この場合、それぞれの表示ゾーンDZ1〜DZnで表示される像の表示時間は、表示時間の刻みδのピッチで隣り合う表示ゾーンDZ1〜DZn間でズレがあるため、その分表示されている間の近側と遠側の両端の距離が変動してその平均距離も変動する。人の目又は脳は、その表示ゾーンDZ1〜DZnの平均距離で表示像を捉えるので、同時に表示を行っている場合でも、それぞれの表示ゾーンDZ1〜DZnの表示距離を異なる位置として表示している状態にできる。 As illustrated in FIG. 16, n display zones can be set along the characteristic C1. Here, for convenience of explanation, the shortest display zone is called a first display zone DZ1, and the farthest display zone is called an nth display zone DZn (n is a natural number). In the plurality of display zones DZ <b> 1 to DZn, the width of the distance displayed increases from the short distance to the long distance. Among the display zones DZ1 to DZn, adjacent display zones partially overlap in projection distance. That is, the kth display zone DZk (k is a natural number smaller than n) and the (k + 1) th display zone DZk + 1 partially overlap in projection distance. For example, the second display zone DZ2 and the third display zone DZ3 are projected distances. Are partially overlapping. The k-th display zone DZk also displays an image displayed in the display zone set before, after, or before and after the original display image of the projection distance of the display target to be displayed there. It is a composite projection image. In the example shown in the figure, the entire zone or the corresponding zones corresponding to the sub-zones LZk-2 to LZk + 1 are displayed in a certain period of time while the kth display zone is displayed. ing. In this case, the display time of the image displayed in each of the display zones DZ1 to DZn is shifted between the adjacent display zones DZ1 to DZn at the pitch δ of the display time. The distance between both ends of the near side and the far side varies, and the average distance also varies. Since the human eye or brain captures the display image with the average distance of the display zones DZ1 to DZn, even when displaying simultaneously, the display distances of the display zones DZ1 to DZn are displayed as different positions. Can be in a state.
なお、第k表示ゾーンDZkを重なり合う距離ゾーンが切り替わるタイミングで分割して、基準サブゾーンLZkを含む一連のサブゾーンLZk−2〜LZk+1として考えた場合、像形成素子(表示素子)11に適宜表示動作を行わせることにより同一の投影像(虚像)IMをそれぞれのサブゾーンで表示させていることになる。つまり、距離が段階的に変化する一連の複数のサブゾーンLZk−2〜LZk+1の組合せによって表示ゾーンDZkが構成される。この際、投影距離の変化を考慮して、隣り合う距離ゾーンLZk−2〜LZk+1において同一の投影像(虚像)IMを位置及び角度サイズが一致するように重ねて表示させる。これにより、投影距離が変化する投影像(虚像)IMをズレや滲みがない状態で表示することができる。また、この時の平均的な表示距離が、基準サブゾーンLZkに相当する距離となる。なお、図16では、表示の便宜上、各表示ゾーンDZ1〜DZnが横方向に延びるように示されているが、縦軸を中間像の位置とした場合、各表示ゾーンDZ1〜DZnは、特性C1に沿って延びるものとなる。 Note that when the kth display zone DZk is divided at the timing at which the overlapping distance zones are switched and considered as a series of subzones LZk-2 to LZk + 1 including the reference subzone LZk, a display operation is appropriately performed on the image forming element (display element) 11. By doing so, the same projected image (virtual image) IM is displayed in each subzone. That is, the display zone DZk is configured by a combination of a series of a plurality of subzones LZk−2 to LZk + 1 whose distance changes stepwise. At this time, in consideration of the change in the projection distance, the same projection image (virtual image) IM is displayed in an overlapping manner in the adjacent distance zones LZk−2 to LZk + 1 so that the positions and the angle sizes coincide with each other. Thereby, the projection image (virtual image) IM in which the projection distance changes can be displayed in a state where there is no deviation or blurring. In addition, the average display distance at this time is a distance corresponding to the reference subzone LZk. In FIG. 16, for convenience of display, the display zones DZ1 to DZn are shown to extend in the horizontal direction. However, when the vertical axis is the position of the intermediate image, the display zones DZ1 to DZn have characteristics C1. It will extend along.
第1表示ゾーンDZ1〜第n表示ゾーンDZnでの表示時間は、全て等しくなっている。各表示ゾーンDZ1〜DZnでの表示時間を等しくすることで、各表示ゾーンDZ1〜DZnの表示輝度を一致させることができ、観察者であるドライバーVDが意図せず特定距離の像に偏って着目する傾向が生じることを防止できる。なお、用途によっては、各表示ゾーンDZ1〜DZnでの表示輝度に差を持たせることができる。例えば遠距離投影に対応する表示ゾーンについては、表示輝度を上げるといった処理が可能である。 The display times in the first display zone DZ1 to the nth display zone DZn are all equal. By equalizing the display time in each of the display zones DZ1 to DZn, the display brightness of each of the display zones DZ1 to DZn can be matched, and the driver VD who is an observer unintentionally focuses on an image at a specific distance. Can be prevented from occurring. Depending on the application, it is possible to provide a difference in display brightness in each of the display zones DZ1 to DZn. For example, for a display zone corresponding to long-distance projection, it is possible to increase the display brightness.
画面内の特定の奥行き方向で異なる対象を表示する場合、距離の異なる表示対象が、奥行き方向以外の2次元平面内において重なる、または略重なるような近い位置にあり、それらに対する表示間の干渉が発生してしまうことが考えられ、これを回避する必要がある。例えば表示ゾーンDZkの表示対象に対して別の表示距離DZk'に存在する表示対象が2次元平面内で近傍に位置していてそれぞれの対象に対する表示に干渉が生ずる場合には、干渉領域ではそれらを合成するような表示を行うことが考えられる。具体的には、一対の表示対象が重なる共通領域又は交わり領域では、一対の表示対象が半透過重畳表示されるような画像とし、一対の表示対象が重ならない差分領域又は独立領域では、各部分で標準的な表示を行えば足る。または、色や大きさ(線の場合は太さも含む)、明るさ、明滅といった手法で違いを出した表示とする方法も考えられ、ドライバーに伝わるような工夫がされた各種表示方法を用いることができる。 When displaying different objects in a specific depth direction on the screen, display objects with different distances are close to each other in a two-dimensional plane other than the depth direction, or overlap each other, and there is interference between the displays. It is thought that it will occur, and it is necessary to avoid this. For example, when a display target existing at a different display distance DZk ′ with respect to a display target in the display zone DZk is located in the vicinity in the two-dimensional plane and interference occurs in the display for each target, these are displayed in the interference region. It is conceivable to display such that Specifically, in a common area or intersection area where a pair of display objects overlap, a pair of display objects are images that are displayed in a semi-transparent superimposed manner, and in a difference area or an independent area where a pair of display objects do not overlap, The standard display is sufficient. Alternatively, it is possible to make a display that makes a difference by using methods such as color and size (including thickness in the case of lines), brightness, and blinking, and use various display methods that are devised to communicate to the driver. Can do.
図17は、第6実施形態における主制御部90の動作を説明する概念図である。まず、主制御部90は、環境監視部72を利用してオブジェクトを検出した場合、オブジェクトに対応する対象物KT(図4A等参照)を囲む表示枠HWに対応する表示データを生成し、不図示の記憶部に保管する(ステップS11)。その後、主制御部90は、ステップS11で得た表示データを、対応する表示ゾーンDZ1〜DZnに振り分けるようなデータの変換を行う(ステップS12)。具体的には、1つ以上の対象物KTの位置に応じて、対応する1つ以上の表示枠HWを表示ゾーンDZ1〜DZnのいずれか1つ(図11の例では表示ゾーンDZa〜DZc)に割り当てる。次に、主制御部90は、1つ以上の表示枠HWに対応する表示データを割り当てた表示ゾーンDZ1〜DZnに適合するように加工し、不図示の記憶部に保管する(ステップS13)。この適合化は、距離ゾーンLZk−2〜LZk+1ごとに枠画像の輪郭や配置を補正するといった画像処理を含む。その後、主制御部90は、ステップS13で適合化させた表示データを既存データと合成する(ステップS14)。表示ゾーンDZ1〜DZnによる表示は、時間差があるものの同時並行して行われ、短時間であるが残像を残すような表示が行われるので、新たな対象物KTが出現した場合、既存の対象物と新たな対象物とを併存させるように表示内容を組み直す必要があることを考慮したものである。最後に、主制御部90は、ステップS15で得た表示データを、回転駆動装置62aの動作に同期して表示制御部18に出力し、像形成素子(表示素子)11に回転体6aの機能領域FA又は中間像TIの可動投影位置に応じた表示動作を行わせる。
FIG. 17 is a conceptual diagram illustrating the operation of the
図18は、像形成素子11動作を説明する図である。この場合、縦方向に並ぶ第1表示領域〜第n表示領域は、図16等に示す第1〜第n表示ゾーンDZ1〜DZnに対応している。回転体6aの1回転に対応する1サイクルで、第1〜第n表示ゾーンDZ1〜DZnに対応して、像形成素子(表示素子)11の表示面11aにおいて、第1表示領域〜第n表示領域での表示が繰り返される。各表示領域において、信号F1〜F4は、同一の表示像が4つのサブゾーンで繰り返されることを意味し、信号F1〜F4のそれぞれにカラー表示用のR,G、及びBの信号成分が含まれている。
FIG. 18 is a diagram for explaining the operation of the
以上の第6実施形態において、回転体6aに形成する立体形状としての螺旋形状は、一周期に限らず、方位領域を複数に分割して複数周期とすることができる。また、回転体6aの螺旋形状は、厚みを線形的に増減させるものに限らず、厚みを非線形的に増減させるものであってもよい。
In the above sixth embodiment, the spiral shape as a three-dimensional shape formed on the
本実施形態の虚像表示装置又は方法によれば、光路長変化素子416を回転軸RXの周りに回転させることで、中間像の可動投影位置を連続的に変化させており、簡素な構成で信頼性を確保しつつ奥行き方向を含めて高速で虚像の表示位置を変化させながら表示することが可能となる。
According to the virtual image display apparatus or method of the present embodiment, the movable projection position of the intermediate image is continuously changed by rotating the optical path
また、本実施形態の虚像表示装置又は方法によれば、投影距離を変化させる光路長変化素子416の回転に同期させて像形成素子(表示素子)11に表示を行わせるので、奥行き方向を含めて表示位置が異なる虚像を高速で変化させながら表示することでき、複数の距離位置に各種画像を同時に投影することができる。この際、制御部90,18が投影距離を変化させる複数の表示ゾーンDZ1〜DZnのうち隣り合う表示ゾーンにおいて投影距離が部分的に重複するように設定するので、例えば表示距離を近側の端から遠側の端、または遠側の端から近側の端に変えて表示する1周期内で設定した距離分割数の表示ゾーンで表示することを考えた場合、隣り合う表示ゾーンにおいて投影距離の重なりがない表示に比べて、同じ分割数でも重なりを持たせることで各表示ゾーンによる投影時間又は表示時間を長くすることができ、高輝度の画像を同時に投影することが容易になる。
Further, according to the virtual image display apparatus or method of the present embodiment, since the image forming element (display element) 11 performs display in synchronization with the rotation of the optical path
〔第7実施形態〕
以下、第7実施形態に係る虚像表示装置及び方法について説明する。なお、第7実施形態の虚像表示装置は第2実施形態又は第6実施形態の虚像表示装置を変形したものであり、特に説明しない事項は第2又は第6実施形態と同様である。[Seventh Embodiment]
The virtual image display device and method according to the seventh embodiment will be described below. The virtual image display device according to the seventh embodiment is a modification of the virtual image display device according to the second embodiment or the sixth embodiment, and items not particularly described are the same as those in the second or sixth embodiment.
図19に示すように、本体光学系13は、結像光学系15と虚像形成光学系17との間に配置される光路長変化素子516を備える。この光路長変化素子516は、楔状に形成された立体形状部であり、先端側で薄く根元側で厚くなっている。
As shown in FIG. 19, the main body
配置変更装置62によって光路長変化素子516を光軸AXに垂直な方向に移動させることで、光路長変化素子516において光軸AXが横切る箇所が順次移動し、虚像形成光学系17から見た中間像TIの見かけ上の位置又は中間像TIの可動投影位置が移動する。結果的に、虚像形成光学系17によって表示スクリーン20の背後に形成される虚像としての表示像IMと観察者であるドライバーUNとの距離を大きく、または小さくすることができる。
By moving the optical path
第7実施形態の虚像表示装置でも、第6実施形態と同様に虚像形成光学系17から見た中間像TIの見かけ上の位置を連続的に変化させるので、第6実施形態と同様の表示制御を行う。この際、中間像TIの可動投影位置を図15Bに示すように一定速度で移動させることもできるが、正弦波のような周期的に変化する速度で移動させることもできる。この場合、表示ゾーンDZ1〜DZnの設定を光路長変化素子516の移動速度も加味したものとすれば、表示枠HW等の輝度を投影位置に関わらず一様なものとすることができる。
Also in the virtual image display device of the seventh embodiment, the apparent position of the intermediate image TI viewed from the virtual image forming
なお、光路長変化素子516によって色分散が顕著となる場合、像形成素子11において予め色ズレのある表示を行うこともできる。
In addition, when color dispersion becomes remarkable by the optical path
〔第8実施形態〕
以下、第8実施形態に係る虚像表示装置について説明する。なお、第8実施形態の虚像表示装置は第1〜第7実施形態の虚像表示装置を変形したものであり、特に説明しない事項は第1実施形態等と同様である。[Eighth Embodiment]
The virtual image display device according to the eighth embodiment will be described below. Note that the virtual image display device of the eighth embodiment is a modification of the virtual image display device of the first to seventh embodiments, and items not specifically described are the same as those of the first embodiment.
図20に示すように、第8実施形態に係る虚像表示装置100の場合、フロントウインドウを形成するフロントガラス8の運転席正面に設けた矩形の反射領域8dの内側に表示スクリーン220が貼り付けられている。つまり、ハーフミラーがフロントガラス8に形成される。なお、表示スクリーン220は、フロントガラス8内に埋め込むこともできる。
As shown in FIG. 20, in the case of the virtual
以上では、具体的な実施形態としての虚像表示装置100について説明したが、本発明に係る虚像表示装置は、上記のものには限られない。例えば、第1〜5実施形態における光路長変化素子16は、階段状構造体に限らず、互いに分離された区分領域又は部分領域16a〜16dを含むものであってもよい。この場合、区分領域又は部分領域は、枠等の連結部材によって互いに連結することができる。
Although the virtual
光路長変化素子16を構成する各部分領域16a〜16dは、全て異なる厚みとする場合、回転をスムースにするためのバランサーを組み込むことが望ましい。ただし、光路長変化素子16を構成する部分領域が虚像表示距離の2倍の数だけあれば、同じ虚像表示距離に対応する部分領域を対向配置する等して、光路長変化素子16の回転バランスを高めることができる。
When the
第1実施形態において、虚像表示装置100の配置を上下反転させて、フロントガラス8の上部又はサンバイザー位置に表示スクリーン20を配置することものでき、この場合、描画ユニット10の斜め下方前方に表示スクリーン20が配置される。また、表示スクリーン20は、自動車の従来のミラーに対応する位置に配置してもよい。
In the first embodiment, the arrangement of the virtual
上記実施形態において、表示スクリーン20の輪郭は、矩形に限らず、様々な形状とすることができる。
In the above-described embodiment, the outline of the
図2等に示す結像光学系15や虚像形成光学系17は、単なる例示であり、これら結像光学系15及び虚像形成光学系17の光学的構成については適宜変更することができる。例えば、結像光学系15中に中間像TIの前段としての中間像を追加で形成することができる。また、結像光学系15や虚像形成光学系17の光路中において、光学的なパワーを持たない1つ以上のミラーを配置していてもよい。この場合、折り返しによる描画ユニット10等の小型化に有利になる場合もある。
The imaging
上記実施形態において、表示スクリーン(コンバイナー)20が平板状であるとしたが、本体光学系13の光学的仕様を考慮しつつ表示スクリーン20を自由曲面その他の曲面とすることもできる。
In the above embodiment, the display screen (combiner) 20 has a flat plate shape. However, the
第1〜5実施形態において、表示像(虚像)IMの表示位置は、上記実施形態で例示した3か所又は4か所に限らず、5か所以上の適当数に設定することができる。また、表示像IMの表示は、位置を変化させて連続的又は断続的に行うことができる。 In the first to fifth embodiments, the display position of the display image (virtual image) IM is not limited to three or four illustrated in the above embodiment, and can be set to an appropriate number of five or more. The display of the display image IM can be performed continuously or intermittently by changing the position.
第1〜5実施形態において、光路長変化素子16の拡散領域16a〜16dを長方形で例示したが、光路長変化素子16の拡散領域は、台形や扇形、その他の形状とすることもできる。より好ましい実施形態としては、拡散スクリーンの領域数、回転軸RXと光軸AXの関係性、回転速度等を考慮した形状とすることである。
In the first to fifth embodiments, the
以上で説明した虚像表示装置100は、自動車やその他移動体に搭載される投影装置に限らず、デジタルサイネージ等に組み込むことができるが、これら以外の用途に適用することもできる。
The virtual
Claims (17)
前記表示領域から第1の反射体までの光路中に、光軸方向に厚みの異なる構造を有する光路長変化素子が配置されている虚像表示装置。A display unit, and a virtual image display optical system for enlarging an image formed in the display region by the display unit,
A virtual image display device in which optical path length changing elements having structures having different thicknesses in the optical axis direction are arranged in an optical path from the display region to the first reflector.
前記光路長変化素子は、中間像の結像位置から±1mm以内に配置され、前記表示領域側の入射面が拡散機能を有する、請求項1〜7のいずれか一項に記載の虚像表示装置。The display unit forms an intermediate image corresponding to the display surface of the image forming element on the display region from the optical path length changing element to the front stage of the optical path,
The virtual image display device according to claim 1, wherein the optical path length changing element is arranged within ± 1 mm from an imaging position of an intermediate image, and an incident surface on the display region side has a diffusion function. .
前記光路長変化素子のうち前記像形成素子に対向する側に配置される前記入射面は、前記表示素子の表示面から1cm以内に配置される、請求項1〜7のいずれか一項に記載の虚像表示装置。The display unit is an image forming element,
The said incident surface arrange | positioned at the side facing the said image formation element among the said optical path length change elements is arrange | positioned within 1 cm from the display surface of the said display element. Virtual image display device.
光軸方向に厚みの異なる構造を有する光路長変化素子を前記表示領域から第1の反射体までの光路中に配置し、光路長変化素子の配置によって投影距離を変化させる、虚像表示方法。A virtual image display method using a display unit and a virtual image display optical system for enlarging an image formed in a display region by the display unit,
A virtual image display method in which optical path length changing elements having structures having different thicknesses in the optical axis direction are arranged in an optical path from the display region to the first reflector, and the projection distance is changed by the arrangement of the optical path length changing elements.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016257486 | 2016-12-30 | ||
| JP2016257486 | 2016-12-30 | ||
| JP2017195300 | 2017-10-05 | ||
| JP2017195301 | 2017-10-05 | ||
| JP2017195301 | 2017-10-05 | ||
| JP2017195300 | 2017-10-05 | ||
| PCT/JP2017/047352 WO2018124299A1 (en) | 2016-12-30 | 2017-12-28 | Virtual image display device and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2018124299A1 true JPWO2018124299A1 (en) | 2019-11-07 |
Family
ID=62709476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018559647A Pending JPWO2018124299A1 (en) | 2016-12-30 | 2017-12-28 | Virtual image display apparatus and method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2018124299A1 (en) |
| WO (1) | WO2018124299A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020065125A (en) * | 2018-10-15 | 2020-04-23 | コニカミノルタ株式会社 | Display device |
| US11137597B2 (en) | 2019-03-28 | 2021-10-05 | Samsung Electronics Co., Ltd. | Image display apparatus |
| WO2022176208A1 (en) * | 2021-02-22 | 2022-08-25 | 株式会社 ジャパンセル | Predetermined light generation method, predetermined light utilization method, service provision method using predetermined light, measurement/imaging method, optical characteristic conversion element, light source unit, measurement unit, observation device, predetermined light utilization device and service provision system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09113845A (en) * | 1995-08-11 | 1997-05-02 | Sharp Corp | 3D image display |
| JP2003043407A (en) * | 2001-07-31 | 2003-02-13 | Olympus Optical Co Ltd | Portable image observation device |
| JP2007523364A (en) * | 2004-01-09 | 2007-08-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Space display |
| JP2013073229A (en) * | 2011-09-29 | 2013-04-22 | Seiko Epson Corp | Display device, and method of driving the same |
| JP2014028593A (en) * | 2012-07-31 | 2014-02-13 | Jvc Kenwood Corp | Display device for vehicle |
| JP2016024420A (en) * | 2014-07-24 | 2016-02-08 | トヨタ自動車株式会社 | In-vehicle display device |
| WO2016208194A1 (en) * | 2015-06-26 | 2016-12-29 | パナソニックIpマネジメント株式会社 | Head-up display and moving body equipped with head-up display |
-
2017
- 2017-12-28 WO PCT/JP2017/047352 patent/WO2018124299A1/en not_active Ceased
- 2017-12-28 JP JP2018559647A patent/JPWO2018124299A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09113845A (en) * | 1995-08-11 | 1997-05-02 | Sharp Corp | 3D image display |
| JP2003043407A (en) * | 2001-07-31 | 2003-02-13 | Olympus Optical Co Ltd | Portable image observation device |
| JP2007523364A (en) * | 2004-01-09 | 2007-08-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Space display |
| JP2013073229A (en) * | 2011-09-29 | 2013-04-22 | Seiko Epson Corp | Display device, and method of driving the same |
| JP2014028593A (en) * | 2012-07-31 | 2014-02-13 | Jvc Kenwood Corp | Display device for vehicle |
| JP2016024420A (en) * | 2014-07-24 | 2016-02-08 | トヨタ自動車株式会社 | In-vehicle display device |
| WO2016208194A1 (en) * | 2015-06-26 | 2016-12-29 | パナソニックIpマネジメント株式会社 | Head-up display and moving body equipped with head-up display |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018124299A1 (en) | 2018-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7078904B2 (en) | Virtual image display optical system and image display device | |
| JP6187329B2 (en) | Virtual image display system | |
| JPWO2017056953A1 (en) | Display device | |
| WO2018180856A1 (en) | Head-up display apparatus | |
| WO2020261830A1 (en) | Head-up display device | |
| JPWO2018124299A1 (en) | Virtual image display apparatus and method | |
| JP2020148950A (en) | Head-up display device | |
| EP3693783B1 (en) | Display device | |
| WO2018199245A1 (en) | Virtual image display device, and display system for moving body | |
| JP7111071B2 (en) | head-up display device | |
| JP7111070B2 (en) | head-up display device | |
| JPWO2019151314A1 (en) | Display device | |
| JP2020071441A (en) | Display unit | |
| JP2019191368A (en) | Virtual image display device and head-up display device | |
| JP7121349B2 (en) | Display method and display device | |
| JP7280557B2 (en) | Display device and display method | |
| JPWO2019124323A1 (en) | Virtual image display device and head-up display device | |
| JP2020056901A (en) | Virtual image display device and head-up display device | |
| WO2019107225A1 (en) | Virtual-image display device and head-up display device | |
| JP2020065125A (en) | Display device | |
| WO2019093500A1 (en) | Display device | |
| WO2019220767A1 (en) | Virtual image projection optical system and display device | |
| JP2020027209A (en) | Display device | |
| JPWO2019177113A1 (en) | Virtual image display optical system and display device | |
| JP2020071402A (en) | Display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211201 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220525 |