JP2018149884A - Head-up display device and display control method - Google Patents
Head-up display device and display control method Download PDFInfo
- Publication number
- JP2018149884A JP2018149884A JP2017046674A JP2017046674A JP2018149884A JP 2018149884 A JP2018149884 A JP 2018149884A JP 2017046674 A JP2017046674 A JP 2017046674A JP 2017046674 A JP2017046674 A JP 2017046674A JP 2018149884 A JP2018149884 A JP 2018149884A
- Authority
- JP
- Japan
- Prior art keywords
- guidance destination
- information
- information indicating
- vehicle
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000003384 imaging method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
- Navigation (AREA)
Abstract
Description
本発明は、ヘッドアップディスプレイ装置及び表示制御方法に関する。 The present invention relates to a head-up display device and a display control method.
従来より、車両のフロントウィンドウに画像を投影し、車両前方の虚像として運転者に視認させる車両用のヘッドアップディスプレイ装置が知られている。当該装置によれば、運転者は少ない視線移動で、車両情報（速度情報や目的地までの距離情報、目的地に誘導するための誘導先を示す情報等）を視認することができる。 2. Description of the Related Art Conventionally, a head-up display device for a vehicle that projects an image on a front window of the vehicle and makes a driver visually recognize a virtual image in front of the vehicle is known. According to this device, the driver can visually recognize vehicle information (speed information, distance information to the destination, information indicating a guidance destination for guiding to the destination, etc.) with a small line of sight movement.
ここで、車両用のヘッドアップディスプレイ装置は、一般にダッシュボード等に収納されるため、フロントウィンドウにおいて画像が投影可能な投影領域（ＦＯＶ（Field Of View））は制限される。このため、通常は、フロントウィンドウの一部の領域を利用して画像の投影が行われる。 Here, since a head-up display device for a vehicle is generally housed in a dashboard or the like, a projection area (FOV (Field Of View)) in which an image can be projected on a front window is limited. For this reason, an image is normally projected using a partial area of the front window.
この結果、例えば、車両が右折または左折する場合等においては、運転者が視認する虚像の位置と、車両が実際に進む道路の位置との間にずれが生じ、運転者に対して適切な誘導を行うことができなくなる。具体的には、車両の右折または左折中に誘導先を示す情報（例えば、誘導先を示す矢印等）を含む画像をＦＯＶに投影すると、運転者は、フロントウィンドウを介して視認する実景の建物や対向車線、歩道等の位置に、当該誘導先を示す情報を視認することになる。 As a result, for example, when the vehicle turns right or left, there is a difference between the position of the virtual image visually recognized by the driver and the position of the road on which the vehicle actually travels. Can no longer do. Specifically, when an image including information indicating a guidance destination (for example, an arrow indicating the guidance destination) is projected on the FOV during a right turn or a left turn of the vehicle, the driver can see a real building visually recognized through the front window. Information indicating the guidance destination is visually recognized at a position such as an oncoming lane or a sidewalk.
このような問題に対して、下記特許文献１では、ハンドルの舵角を監視し、舵角に応じて誘導先を示す情報の表示を制御する表示制御方法が提案されている。 In order to solve such a problem, Patent Document 1 below proposes a display control method for monitoring a steering angle of a steering wheel and controlling display of information indicating a guidance destination according to the steering angle.
しかしながら、車両が右折または左折する場合、運転者がハンドルを操作する直前の状態であっても、運転者が視認する虚像の位置と、車両が実際に進む道路の位置との間にはずれが生じる。このため、ハンドルの舵角に応じて表示を制御したとしても、運転者に対して適切な誘導を行うことができない場合がある。 However, when the vehicle turns right or left, there is a deviation between the position of the virtual image visually recognized by the driver and the position of the road on which the vehicle actually travels even if the driver is in a state immediately before operating the steering wheel. . For this reason, even if the display is controlled in accordance with the steering angle of the steering wheel, there are cases where it is not possible to perform appropriate guidance for the driver.
本発明は上記課題に鑑みてなされたものであり、車両用のヘッドアップディスプレイ装置において、運転者に対して適切な誘導を行うことができるようにすることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to enable appropriate guidance to a driver in a head-up display device for a vehicle.
一態様によれば、車両に搭載されるヘッドアップディスプレイ装置は、
前記車両のフロントウィンドウを介して前記車両の運転者により視認される実景に相当する目線画像において、前記車両の誘導先の道路の路面の領域を算出する算出部と、
前記車両の誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置と、算出された前記路面の領域との位置関係に基づいて、前記誘導先を示す情報の表示を制御する制御部とを有する。
According to one aspect, a head-up display device mounted on a vehicle includes:
In a line-of-sight image corresponding to a real scene visually recognized by a driver of the vehicle through the front window of the vehicle, a calculation unit that calculates a road surface area of the road to which the vehicle is guided;
Information indicating the guidance destination based on the calculated positional relationship between the position in the eye image corresponding to the position on the front window where the information indicating the guidance destination of the vehicle is displayed and the calculated area of the road surface And a control unit for controlling the display.
車両用のヘッドアップディスプレイ装置において、運転者に対して適切な誘導を行うことができるようになる。 In the head-up display device for a vehicle, it is possible to perform appropriate guidance for the driver.
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。 Each embodiment will be described below with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.
［第１の実施形態］
＜ヘッドアップディスプレイ装置の構成＞
はじめに、ヘッドアップディスプレイ装置の構成について説明する。図１は、ヘッドアップディスプレイ装置の構成を示す図である。図１に示すように、ヘッドアップディスプレイ装置１００は、画像投影装置１０１と、反射ミラー１０２、１０３とを有し、車両に搭載される（例えば、ダッシュボード等に収納される）。画像投影装置１０１より出射した投影画像は、反射ミラー１０２、１０３においてそれぞれ反射した後、車両のフロントウィンドウ１３０に投影される。これにより、運転者は、フロントウィンドウ１３０にて反射した投影画像を、フロントウィンドウ１３０の前方の虚像として視認することができる。
[First Embodiment]
<Configuration of head-up display device>
First, the configuration of the head-up display device will be described. FIG. 1 is a diagram illustrating a configuration of a head-up display device. As shown in FIG. 1, the head-up display device 100 includes an image projection device 101 and reflection mirrors 102 and 103 and is mounted on a vehicle (for example, housed in a dashboard or the like). The projected images emitted from the image projector 101 are reflected by the reflecting mirrors 102 and 103, respectively, and then projected onto the front window 130 of the vehicle. Accordingly, the driver can visually recognize the projection image reflected by the front window 130 as a virtual image in front of the front window 130.
なお、本実施形態において、画像投影装置１０１は、撮像装置１１０において撮影された車両前方の実景画像と、ナビゲーション装置１２０より送信されたナビゲーション情報とを用いて、投影画像を生成するものとする。 In the present embodiment, the image projection apparatus 101 generates a projection image using the actual scene image in front of the vehicle captured by the imaging apparatus 110 and the navigation information transmitted from the navigation apparatus 120.
撮像装置１１０は、車両前方を撮影することで実景画像を生成し、画像投影装置１０１に送信する。ナビゲーション装置１２０は、車両走行中に生成される各種ナビゲーション情報を、画像投影装置１０１に送信する。 The imaging device 110 captures the front of the vehicle to generate a real scene image and transmits it to the image projection device 101. The navigation device 120 transmits various types of navigation information generated while the vehicle is traveling to the image projection device 101.
＜画像投影装置のハードウェア構成＞
次に、画像投影装置１０１のハードウェア構成について説明する。図２は、画像投影装置のハードウェア構成の一例を示す図である。図２に示すように、画像投影装置１０１は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。また、画像投影装置１０１は、補助記憶装置２０４、ＧＰＵ（Graphic Processing Unit）２０５、投影装置２０６、Ｉ／Ｆ（Interface）装置２０７を有する。画像投影装置１０１の各部は、バス２０８を介して相互に接続されている。
<Hardware configuration of image projector>
Next, the hardware configuration of the image projection apparatus 101 will be described. FIG. 2 is a diagram illustrating an example of a hardware configuration of the image projection apparatus. As shown in FIG. 2, the image projection apparatus 101 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, and a RAM (Random Access Memory) 203. The CPU 201, ROM 202, and RAM 203 form a so-called computer. Further, the image projection apparatus 101 includes an auxiliary storage device 204, a GPU (Graphic Processing Unit) 205, a projection device 206, and an I / F (Interface) device 207. Each unit of the image projection apparatus 101 is connected to each other via a bus 208.
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、画像投影プログラム等）を実行するデバイスである。ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラムやデータ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。 The CPU 201 is a device that executes various programs (for example, an image projection program) installed in the auxiliary storage device 204. The ROM 202 is a nonvolatile memory. The ROM 202 functions as a main storage device that stores various programs and data necessary for the CPU 201 to execute various programs installed in the auxiliary storage device 204. Specifically, the ROM 202 stores a boot program such as a basic input / output system (BIOS) or an Extensible Firmware Interface (EFI).
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。 The RAM 203 is a volatile memory such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). The RAM 203 functions as a main storage device that provides a work area that is expanded when various programs installed in the auxiliary storage device 204 are executed by the CPU 201.
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。後述する投影領域情報格納部は、補助記憶装置２０４において実現される。 The auxiliary storage device 204 is an auxiliary storage device that stores various programs, information generated by executing the various programs, and information used when the various programs are executed. A projection area information storage unit to be described later is realized in the auxiliary storage device 204.
ＧＰＵ２０５は、画像処理を行う専用の集積回路であり、本実施形態では、例えば、出射する投影画像を生成する。Ｉ／Ｆ装置２０７は、撮像装置１１０やナビゲーション装置１２０等と接続するための接続デバイスである。 The GPU 205 is a dedicated integrated circuit that performs image processing. In the present embodiment, for example, an output projection image is generated. The I / F device 207 is a connection device for connecting to the imaging device 110, the navigation device 120, and the like.
＜画像投影装置の機能構成＞
次に、画像投影装置１０１の機能構成について説明する。図３は、画像投影装置の機能構成の一例を示す図である。画像投影装置１０１には、画像投影プログラムがインストールされている。画像投影装置１０１は、当該プログラムが実行されることで、図３に示すように、実景画像取得部３１０、ナビゲーション情報取得部３２０、走行路算出部３３０、表示可否判定部３４０、投影画像生成部３５０、投影画像出力部３６０として機能する。
<Functional configuration of image projection apparatus>
Next, the functional configuration of the image projection apparatus 101 will be described. FIG. 3 is a diagram illustrating an example of a functional configuration of the image projection apparatus. An image projection program is installed in the image projection apparatus 101. As illustrated in FIG. 3, the image projection apparatus 101 executes the program, and as illustrated in FIG. 3, the actual scene image acquisition unit 310, the navigation information acquisition unit 320, the travel route calculation unit 330, the display availability determination unit 340, and the projection image generation unit 350, which functions as a projection image output unit 360.
実景画像取得部３１０は生成部の一例である。実景画像取得部３１０は、撮像装置１１０より送信された実景画像をフレーム単位で取得する。また、実景画像取得部３１０は、取得した実景画像の各フレームに基づき、フロントウィンドウ１３０を介して車両の運転者が視認する実景に相当する画像（運転者の目線に対応する「目線画像」）を生成し、走行路算出部３３０に通知する。 The real scene image acquisition unit 310 is an example of a generation unit. The real scene image acquisition unit 310 acquires the real scene image transmitted from the imaging device 110 in units of frames. Further, the actual scene image acquisition unit 310, based on each frame of the acquired actual scene image, an image corresponding to the actual scene visually recognized by the driver of the vehicle through the front window 130 ("eye line image" corresponding to the driver's eye line). Is generated and notified to the travel route calculation unit 330.
ナビゲーション情報取得部３２０は、ナビゲーション装置１２０より送信されたナビゲーション情報を取得する。また、ナビゲーション情報取得部３２０は、取得したナビゲーション情報を、走行路算出部３３０及び投影画像生成部３５０に通知する。 The navigation information acquisition unit 320 acquires the navigation information transmitted from the navigation device 120. In addition, the navigation information acquisition unit 320 notifies the travel route calculation unit 330 and the projection image generation unit 350 of the acquired navigation information.
走行路算出部３３０は算出部の一例である。走行路算出部３３０は、実景画像取得部３１０より通知された目線画像と、ナビゲーション情報取得部３２０より通知されたナビゲーション情報とを取得する。また、走行路算出部３３０は、目線画像に含まれる道路の路面のうち、ナビゲーション情報に基づいて特定される、自車両の誘導先の道路（「走行路」と称す）の路面の領域を算出する。また、走行路算出部３３０は、走行路の路面の領域が算出された目線画像を、表示可否判定部３４０に通知する。更に、走行路算出部３３０は、ナビゲーション情報に基づいて誘導先を示す情報を生成し、表示可否判定部３４０に通知する。 The travel route calculation unit 330 is an example of a calculation unit. The travel route calculation unit 330 acquires the eye image notified from the real scene image acquisition unit 310 and the navigation information notified from the navigation information acquisition unit 320. In addition, the traveling road calculation unit 330 calculates a road surface area of a road to which the host vehicle is guided (referred to as a “traveling road”), which is specified based on navigation information, among road surfaces included in the eye image. To do. In addition, the travel route calculation unit 330 notifies the display availability determination unit 340 of the eye line image in which the road surface area of the travel route is calculated. Furthermore, the travel route calculation unit 330 generates information indicating the guidance destination based on the navigation information and notifies the display availability determination unit 340 of the information.
表示可否判定部３４０は判定部の一例である。表示可否判定部３４０は、投影領域情報格納部３７０より、投影領域情報を読み出す。投影領域情報とは、画像投影装置１０１より出射された投影画像が投影される、フロントウィンドウ１３０での投影領域（ＦＯＶ）の位置を特定する情報を指す。表示可否判定部３４０は、投影領域情報により特定される投影領域（ＦＯＶ）の位置に対応する目線画像での位置と、走行路算出部３３０により算出された走行路の路面の領域との位置関係に基づいて、誘導先を示す情報を表示するか否かを判定する。また、表示可否判定部３４０は、判定結果を、誘導先を示す情報とともに投影画像生成部３５０に通知する。 The display availability determination unit 340 is an example of a determination unit. The display availability determination unit 340 reads projection area information from the projection area information storage unit 370. The projection area information refers to information for specifying the position of the projection area (FOV) on the front window 130 on which the projection image emitted from the image projection apparatus 101 is projected. The display propriety determination unit 340 has a positional relationship between the position in the eye image corresponding to the position of the projection area (FOV) specified by the projection area information and the area of the road surface of the road calculated by the road calculation unit 330. Based on the above, it is determined whether or not to display information indicating the guidance destination. Further, the display possibility determination unit 340 notifies the projection image generation unit 350 of the determination result together with information indicating the guidance destination.
投影画像生成部３５０は制御部の一例である。投影画像生成部３５０は、ナビゲーション情報取得部３２０より通知されたナビゲーション情報等に基づいて投影画像を生成し、投影画像出力部３６０に通知する。投影画像生成部３５０は投影画像を生成するにあたり、表示可否判定部３４０より通知された判定結果を参照する。 The projection image generation unit 350 is an example of a control unit. The projection image generation unit 350 generates a projection image based on the navigation information notified from the navigation information acquisition unit 320 and notifies the projection image output unit 360 of the projection image. The projection image generation unit 350 refers to the determination result notified from the display availability determination unit 340 when generating the projection image.
具体的には、表示可否判定部３４０より通知された判定結果が"表示可"であった場合、投影画像生成部３５０は、表示可否判定部３４０より通知された誘導先を示す情報を含む投影画像を生成する。一方、表示可否判定部３４０より通知された判定結果が"表示不可"であった場合、投影画像生成部３５０は、表示可否判定部３４０より通知された誘導先を示す情報を含まない投影画像を生成するか、または投影画像を生成しない。 Specifically, when the determination result notified from the display enable / disable determining unit 340 is “display enabled”, the projection image generating unit 350 includes a projection including information indicating the guidance destination notified from the display enable / disable determining unit 340. Generate an image. On the other hand, when the determination result notified from the display availability determination unit 340 is “not displayable”, the projection image generation unit 350 displays a projection image that does not include information indicating the guidance destination notified from the display availability determination unit 340. Generate or do not generate projection images.
なお、投影画像生成部３５０は、ナビゲーション情報取得部３２０より通知されたナビゲーション情報に基づいて、誘導先を示す情報以外の各種車両情報を含む投影画像を生成する。ただし、以下では、説明の簡略化のため、投影画像に含める車両情報として、誘導先を示す情報以外の車両情報についての説明は割愛する。 The projection image generation unit 350 generates a projection image including various types of vehicle information other than the information indicating the guidance destination based on the navigation information notified from the navigation information acquisition unit 320. However, in the following, for simplification of description, description of vehicle information other than information indicating the guidance destination is omitted as vehicle information included in the projection image.
投影画像出力部３６０は、投影画像生成部３５０より通知された投影画像を、所定周期で出射する。つまり、投影画像出力部３６０は、表示可否判定部３４０により"表示可"と判定されている間、誘導先を示す情報を含む投影画像を出射し、"表示不可"と判定された場合には、誘導先を示す情報を含まない投影画像を出射するか、または投影画像を出射しない。 The projection image output unit 360 emits the projection image notified from the projection image generation unit 350 at a predetermined period. That is, the projection image output unit 360 emits a projection image including information indicating the guidance destination while it is determined as “displayable” by the display availability determination unit 340, and when it is determined as “not displayable”. The projection image that does not include information indicating the guidance destination is emitted, or the projection image is not emitted.
なお、誘導先を示す情報を含まない投影画像が出射された後であっても、表示可否判定部３４０により再び"表示可"と判定された場合には、投影画像出力部３６０は、誘導先を示す情報を含む投影画像の出射を再開する。 Even after a projection image that does not include information indicating the guidance destination is emitted, if the display availability determination unit 340 determines that “display is possible” again, the projection image output unit 360 displays the guidance destination. The emission of the projection image including the information indicating is resumed.
＜画像投影装置の各部の処理の詳細＞
次に、画像投影装置１０１の各部（実景画像取得部３１０、ナビゲーション情報取得部３２０、走行路算出部３３０、表示可否判定部３４０、投影画像生成部３５０）の処理の詳細について説明する。
<Details of processing of each unit of image projection apparatus>
Next, details of processing of each unit (real scene image acquisition unit 310, navigation information acquisition unit 320, travel route calculation unit 330, display availability determination unit 340, and projection image generation unit 350) of the image projection apparatus 101 will be described.
（１）実景画像取得部の処理の詳細
はじめに、実景画像取得部３１０の処理の詳細について説明する。図４は、実景画像取得部の処理の具体例を示す図である。上述したとおり、撮像装置１１０は、車両前方を撮影することで得た実景画像を画像投影装置１０１に送信し、実景画像取得部３１０は、撮像装置１１０より送信された実景画像をフレーム単位で取得する。このため、実景画像取得部３１０により取得される実景画像の各フレームの内容は、時間の経過とともに車両の進行方向に沿って変化する。
(1) Details of Processing of Real Scene Image Acquisition Unit First, details of processing of the real scene image acquisition unit 310 will be described. FIG. 4 is a diagram illustrating a specific example of processing of the real scene image acquisition unit. As described above, the imaging device 110 transmits the actual scene image obtained by capturing the front of the vehicle to the image projection device 101, and the actual scene image acquisition unit 310 acquires the actual scene image transmitted from the imaging device 110 in units of frames. To do. For this reason, the content of each frame of the actual scene image acquired by the actual scene image acquisition unit 310 changes along the traveling direction of the vehicle with the passage of time.
図４（ａ）に示す実景画像のフレーム４１０は、時刻＝ｔ１において撮像装置１１０により撮影された画像である。フレーム４１０の例は、車両が建物４１２と建物４１３との間を通る道路４１１上を走行していることを示している。なお、以下で説明する道路は、いずれも、右側通行の道路であるとする。 A frame 410 of the actual scene image shown in FIG. 4A is an image taken by the imaging device 110 at time = t 1 . The example of the frame 410 indicates that the vehicle is traveling on a road 411 passing between the building 412 and the building 413. It is assumed that all roads described below are right-hand traffic roads.
実景画像取得部３１０は、取得したフレーム４１０を、フロントウィンドウ１３０を介して車両の運転者が視認する実景に相当する目線画像に変換する。なお、本実施形態では、説明の簡略化のため、実景画像のフレーム４１０と、実景画像のフレーム４１０を変換することで得られる目線画像とは、同じ画像であるとする。したがって、以下では、フレーム４１０を、実景画像のフレームとして説明する場合と、目線画像のフレームとして説明する場合とがある。 The actual scene image acquisition unit 310 converts the acquired frame 410 into a line-of-sight image corresponding to an actual scene visually recognized by the driver of the vehicle via the front window 130. In the present embodiment, for simplification of explanation, it is assumed that the frame 410 of the actual scene image and the eye image obtained by converting the frame 410 of the actual scene image are the same image. Therefore, hereinafter, the frame 410 may be described as a frame of a real scene image and may be described as a frame of a eye image.
図４（ｂ）に示す実景画像のフレーム４２０は、時刻＝ｔ２において撮像装置１１０により撮影された画像である。フレーム４２０に示すように、建物４１３の手前には、道路４１１から右方向に分岐する道路４２１がある。車両は、この後、道路４１１から道路４２１へと右折するものとする。 Frame 420 of the actual scene image shown in FIG. 4 (b), at time = t 2 is an image taken by the imaging device 110. As shown in the frame 420, a road 421 that branches rightward from the road 411 is located in front of the building 413. Thereafter, the vehicle turns right from the road 411 to the road 421.
図４（ｃ）に示す実景画像のフレーム４３０は、時刻＝ｔ３において撮像装置１１０により撮影された画像であり、車両が道路４１１から道路４２１へと右折を開始した様子を示している。車両が道路４１１から道路４２１へと右折を開始したことで、フレーム４３０には、建物４１３とその手前の歩道４３１が中央上側に映し出される一方で、車両の進行方向の道路４２１は、フレーム４３０の右下に映し出されることになる。 A frame 430 of the actual scene image shown in FIG. 4C is an image photographed by the imaging device 110 at time = t 3 and shows a state in which the vehicle starts a right turn from the road 411 to the road 421. As the vehicle starts to turn right from the road 411 to the road 421, the frame 430 shows the building 413 and the sidewalk 431 in front of the frame 430, while the road 421 in the traveling direction of the vehicle It will be projected in the lower right.
図４（ｄ）に示す実景画像のフレーム４４０は、時刻＝ｔ４において撮像装置１１０により撮影された画像であり、道路４１１から道路４２１への右折が完了し、車両が道路４２１での走行を開始した様子を示している。道路４１１から道路４２１への右折が完了したことで、フレーム４３０には、道路４２１が中央に映し出され、更に、道路４２１の先の建物４４１が映し出されることになる。 A frame 440 of the actual scene image shown in FIG. 4D is an image taken by the imaging device 110 at time = t 4 , the right turn from the road 411 to the road 421 is completed, and the vehicle travels on the road 421. It shows how it started. When the right turn from the road 411 to the road 421 is completed, the frame 430 displays the road 421 in the center, and further, the building 441 ahead of the road 421 is displayed.
このように、実景画像取得部３１０は、走行中の車両において、運転者がフロントウィンドウ１３０を介して視認する実景に相当する画像を、目線画像としてリアルタイムに生成する。 As described above, the actual scene image acquisition unit 310 generates an image corresponding to the actual scene visually recognized by the driver through the front window 130 in the traveling vehicle as the eye image in real time.
（２）ナビゲーション情報取得部の処理の詳細
次に、ナビゲーション情報取得部３２０の処理の詳細について説明する。図５は、ナビゲーション情報取得部の処理の具体例を示す図である。上述したとおり、ナビゲーション情報取得部３２０は、ナビゲーション装置１２０より送信されたナビゲーション情報を取得する。
(2) Details of Processing of Navigation Information Acquisition Unit Next, details of processing of the navigation information acquisition unit 320 will be described. FIG. 5 is a diagram illustrating a specific example of processing of the navigation information acquisition unit. As described above, the navigation information acquisition unit 320 acquires the navigation information transmitted from the navigation device 120.
図５（ａ）に示すナビゲーション情報５１０は、時刻＝ｔ１においてナビゲーション装置１２０より送信されたナビゲーション情報である。時刻＝ｔ１において、車両は、建物４１２と建物４１３との間を通る道路４１１上を走行している。ナビゲーション情報５１０には、走行中の車両の周辺の地図情報（道路４１１、４２１、建物４１２、４１３）に加え、道路４１１上での車両の位置を示す位置情報５１１が含まれる。また、ナビゲーション情報５１０には、車両を目的地に誘導するための誘導経路５１２、及び、誘導経路５１２に基づいて生成された、現在の誘導先情報５１３が含まれる。なお、フロントウィンドウ１３０の投影領域に表示される誘導先を示す情報は、ナビゲーション情報５１０に含まれる誘導先情報５１３に基づいて生成されるものとする。以下、各時刻ｔｎごとのナビゲーション情報は当該時刻における上述した各情報を含むものとする。 The navigation information 510 shown in FIG. 5A is navigation information transmitted from the navigation device 120 at time = t 1 . At time = t 1 , the vehicle is traveling on the road 411 passing between the building 412 and the building 413. The navigation information 510 includes position information 511 indicating the position of the vehicle on the road 411 in addition to map information (roads 411 and 421, buildings 412 and 413) around the traveling vehicle. Further, the navigation information 510 includes a guidance route 512 for guiding the vehicle to the destination, and current guidance destination information 513 generated based on the guidance route 512. Note that information indicating the guidance destination displayed in the projection area of the front window 130 is generated based on the guidance destination information 513 included in the navigation information 510. Hereinafter, the navigation information for each time t n is intended to include the information described above in the time.
図５（ｂ）に示すナビゲーション情報５２０は、時刻＝ｔ２においてナビゲーション装置１２０より送信されたナビゲーション情報である。時刻＝ｔ２において、車両は、建物４１３の手前の道路４２１に近い位置を走行している。 Navigation information shown in FIG. 5 (b) 520 is a navigation information transmitted from the navigation device 120 at time = t 2. At time = t 2 , the vehicle is traveling at a position close to the road 421 in front of the building 413.
図５（ｃ）に示すナビゲーション情報５３０は、時刻＝ｔ３においてナビゲーション装置１２０より送信されたナビゲーション情報である。時刻＝ｔ３において、車両は、道路４１１から道路４２１へと右折を開始した位置を走行している。 Navigation information shown in FIG. 5 (c) 530 is a navigation information transmitted from the navigation device 120 at time = t 3. At time = t 3 , the vehicle is traveling at a position where a right turn is started from the road 411 to the road 421.
図５（ｄ）に示すナビゲーション情報５４０は、時刻＝ｔ４においてナビゲーション装置１２０より送信されたナビゲーション情報である。時刻＝ｔ４において、車両は、道路４１１から道路４２１への右折が完了し、道路４２１上を走行している。 Navigation information shown in FIG. 5 (d) 540 is a navigation information transmitted from the navigation device 120 at time = t 4. At time = t 4 , the vehicle completes the right turn from the road 411 to the road 421 and is traveling on the road 421.
このように、ナビゲーション情報取得部３２０は、実景画像取得部３１０による実景画像の取得と同期してナビゲーション情報を取得する。これにより、ナビゲーション情報取得部３２０では、実景画像取得部３１０において生成された目線画像に対応する、自車両の周辺の地図情報、自車両の位置情報、誘導経路、誘導先情報を取得することができる。 As described above, the navigation information acquisition unit 320 acquires navigation information in synchronization with the acquisition of the actual scene image by the actual scene image acquisition unit 310. Thus, the navigation information acquisition unit 320 can acquire map information around the host vehicle, position information of the host vehicle, guide route, and guide destination information corresponding to the eye line image generated by the actual scene image acquisition unit 310. it can.
（３）走行路算出部の処理の詳細
次に、走行路算出部３３０の処理の詳細について説明する。図６は、走行路算出部の処理の具体例を示す図である。上述したとおり、走行路算出部３３０は、実景画像取得部３１０より通知された目線画像と、ナビゲーション情報取得部３２０より通知されたナビゲーション情報とに基づいて、誘導先の道路（走行路）の路面の領域を算出する。
(3) Details of Processing of Traveling Route Calculation Unit Next, details of processing of the traveling route calculation unit 330 will be described. FIG. 6 is a diagram illustrating a specific example of the process of the travel route calculation unit. As described above, the travel route calculation unit 330 is based on the eye image notified from the real scene image acquisition unit 310 and the navigation information notified from the navigation information acquisition unit 320, and the road surface of the guidance destination road (travel route). The area of is calculated.
図６（ａ）〜（ｄ）に示す目線画像のフレーム６１０〜６４０は、時刻＝ｔ１〜ｔ４の目線画像のフレーム４１０〜４４０それぞれに対して、時刻＝ｔ１〜ｔ４のナビゲーション情報５１０〜５４０それぞれに基づいて走行路算出部３３０が算出した、走行路の路面の領域６１１〜６４１それぞれを重ね合わせた画像である。 Frame 610-640 of eyes image shown in FIG. 6 (a) ~ (d), to the frame 410 through 440 each time = t 1 ~t 4 of eyes image, navigation information of the time = t 1 ~t 4 It is the image which each of the area | regions 611-641 of the road surface of the driving road calculated on the basis of each of 510-540 overlapped.
図６（ａ）において、走行路算出部３３０は、ナビゲーション情報５１０に含まれる車両の位置情報５１１から、道路４１１が、自車両が走行中の道路であると認識する。また、走行路算出部３３０は、ナビゲーション情報５１０に含まれる誘導経路５１２から、建物４１３の手前の道路４２１を右折するまでの間、車両が道路４１１を直進すると認識する。これにより、走行路算出部３３０では、目線画像のフレーム４１０において、走行路の路面の領域６１１を算出することができる。 In FIG. 6A, the travel path calculation unit 330 recognizes that the road 411 is a road on which the host vehicle is traveling, from the vehicle position information 511 included in the navigation information 510. In addition, the travel route calculation unit 330 recognizes that the vehicle travels straight on the road 411 from the guidance route 512 included in the navigation information 510 to the right turn on the road 421 in front of the building 413. Accordingly, the travel route calculation unit 330 can calculate the road surface area 611 of the travel route in the frame 410 of the eye image.
図６（ｂ）において、走行路算出部３３０は、ナビゲーション情報５２０に含まれる車両の位置情報５１１から、道路４１１が、自車両が走行中の道路であると認識する。また、走行路算出部３３０は、ナビゲーション情報５２０に含まれる誘導経路５１２から、建物４１３の手前の道路４２１を右折するまでの間、自車両が道路４１１を直進すると認識する。更に、走行路算出部３３０は、道路４２１に到達したら右折すると認識する。これにより、走行路算出部３３０は、目線画像のフレーム４２０において、走行路の路面の領域６２１を算出することができる。 In FIG. 6B, the travel route calculation unit 330 recognizes that the road 411 is a road on which the host vehicle is traveling from the vehicle position information 511 included in the navigation information 520. In addition, the travel route calculation unit 330 recognizes that the host vehicle travels straight on the road 411 from the guidance route 512 included in the navigation information 520 to the right turn of the road 421 in front of the building 413. Furthermore, the travel route calculation unit 330 recognizes that it will turn right when it reaches the road 421. Thereby, the travel route calculation unit 330 can calculate the road surface area 621 of the travel route in the frame 420 of the eye image.
図６（ｃ）において、走行路算出部３３０は、ナビゲーション情報５３０に含まれる自車両の位置情報５１１から、自車両が道路４１１から道路４２１へと右折を開始した位置にいると認識する。また、走行路算出部３３０は、ナビゲーション情報５３０に含まれる誘導経路５１２から、道路４２１が誘導先の道路であると認識する。これにより、走行路算出部３３０では、目線画像のフレーム４３０において、走行路の路面の領域６３１を算出することができる。 In FIG. 6C, the travel route calculation unit 330 recognizes from the position information 511 of the own vehicle included in the navigation information 530 that the own vehicle is in a position where a right turn is started from the road 411 to the road 421. In addition, the travel route calculation unit 330 recognizes that the road 421 is the guidance destination road from the guidance route 512 included in the navigation information 530. Thus, the travel route calculation unit 330 can calculate the road surface area 631 of the travel route in the frame 430 of the eye image.
図６（ｄ）において、走行路算出部３３０は、ナビゲーション情報５４０に含まれる自車両の位置情報５１１から、道路４２１が、右折が完了した自車両が走行する道路であると認識する。また、走行路算出部３３０は、ナビゲーション情報５４０に含まれる誘導経路５１２から、自車両が道路４２１を直進すると認識する。これにより、走行路算出部３３０では、目線画像のフレーム４４０において、走行路の路面の領域６４１を算出することができる。 In FIG. 6D, the travel path calculation unit 330 recognizes that the road 421 is a road on which the host vehicle that has completed the right turn travels from the position information 511 of the host vehicle included in the navigation information 540. In addition, the travel route calculation unit 330 recognizes from the guidance route 512 included in the navigation information 540 that the host vehicle travels straight on the road 421. Accordingly, the travel route calculation unit 330 can calculate the road surface area 641 of the travel route in the frame 440 of the eye image.
（４）表示可否判定部の処理の詳細
次に、表示可否判定部３４０の処理の詳細について説明する。図７は、表示可否判定部の処理の具体例を示す図である。上述したとおり、表示可否判定部３４０は、投影領域情報により特定されるフロントウィンドウ１３０での投影領域の位置に対応する目線画像での位置と、走行路の路面の領域との位置関係に基づいて、投影領域に、誘導先を示す情報を表示するか否かを判定する。
(4) Details of Processing of Display Visibility Determining Unit Next, details of processing of the display propriety determining unit 340 will be described. FIG. 7 is a diagram illustrating a specific example of processing of the display availability determination unit. As described above, the display availability determination unit 340 is based on the positional relationship between the position in the eye image corresponding to the position of the projection area on the front window 130 specified by the projection area information and the road surface area of the traveling road. Then, it is determined whether or not information indicating the guidance destination is displayed in the projection area.
図７（ａ）は、時刻＝ｔ１の目線画像のフレーム６１０（走行路の路面の領域６１１が重ね合わされた画像）に、フロントウィンドウ１３０の投影領域に対応する目線画像での領域７０１、７０２を重畳した様子を示している。図７（ａ）に示すように、ヘッドアップディスプレイ装置１００は、フロントウィンドウ１３０の２つの投影領域に投影画像を投影する。このうち、上側の投影領域に投影される投影画像には、誘導先を示す情報（矢印）７１１が含まれる。なお、誘導先を示す情報（矢印）７１１は、時刻＝ｔ１のナビゲーション情報に含まれる誘導先情報５１３に基づいて表示可否判定部３４０により生成されるものとする。 FIG. 7A shows regions 701 and 702 in the eye image corresponding to the projection region of the front window 130 on the frame 610 of the eye image at time = t 1 (an image in which the road surface region 611 of the traveling road is superimposed). Is shown in a superimposed manner. As shown in FIG. 7A, the head-up display device 100 projects a projection image on two projection areas of the front window 130. Among these, the projection image projected on the upper projection area includes information (arrow) 711 indicating the guidance destination. Note that information (arrow) 711 indicating the guidance destination is generated by the display availability determination unit 340 based on the guidance destination information 513 included in the navigation information at time = t 1 .
表示可否判定部３４０は、上側の投影領域に投影される投影画像に、誘導先を示す情報（矢印）７１１を含めるか否かを判定するにあたり、投影領域に対応する目線画像での領域７０１と、走行路の路面の領域６１１との重なり度合いを算出する。重なり度合いとは、投影領域に対応する目線画像での領域７０１の面積のうち、走行路の路面の領域６１１と重畳している領域の面積の占める割合を指すものとする。 When determining whether to include information (arrow) 711 indicating the guidance destination in the projection image projected on the upper projection area, the display availability determination unit 340 includes the area 701 in the eye image corresponding to the projection area, The degree of overlap with the road surface area 611 of the traveling road is calculated. The degree of overlap refers to the ratio of the area of the area overlapped with the area 611 on the road surface of the area 701 in the eye image corresponding to the projection area.
表示可否判定部３４０は、算出した重なり度合いが所定の閾値以上であると判定した場合、上側の投影領域に投影される投影画像に、誘導先を示す情報（矢印）７１１を含める（"表示可"）と判定する。一方、表示可否判定部３４０は、算出した重なり度合いが所定の閾値未満であると判定した場合、上側の投影領域に投影される投影画像に、誘導先を示す情報（矢印）７１１を含めない（"表示不可"）と判定する。 When the display possibility determination unit 340 determines that the calculated degree of overlap is equal to or greater than a predetermined threshold value, the display availability determination unit 340 includes information (arrow) 711 indicating the guidance destination in the projection image projected on the upper projection area (“display possible”). "). On the other hand, if the display possibility determination unit 340 determines that the calculated degree of overlap is less than a predetermined threshold, the display image projected on the upper projection area does not include information (arrow) 711 indicating the guidance destination ( It is determined that “display is not possible”.
図７（ａ）の場合、表示可否判定部３４０は、算出した重なり度合いが所定の閾値以上であるため、"表示可"と判定する。このため、上側の投影領域には、誘導先を示す情報（矢印）７１１を含む投影画像が投影されることになる。 In the case of FIG. 7A, the display possibility determination unit 340 determines “display is possible” because the calculated degree of overlap is equal to or greater than a predetermined threshold. Therefore, a projection image including information (arrow) 711 indicating the guidance destination is projected on the upper projection area.
同様に、図７（ｂ）の場合、表示可否判定部３４０は、算出した重なり度合いが所定の閾値以上であるため、"表示可"と判定する。このため、上側の投影領域には、誘導先を示す情報（矢印）７２１を含む投影画像が投影されることになる。なお、図７（ａ）と同様、誘導先を示す情報（矢印）７２１は、時刻＝ｔ２のナビゲーション情報に含まれる誘導先情報５１３に基づいて表示可否判定部３４０により生成されるものとする。 Similarly, in the case of FIG. 7B, the display possibility determination unit 340 determines “display is possible” because the calculated degree of overlap is equal to or greater than a predetermined threshold. Therefore, a projection image including information (arrow) 721 indicating the guidance destination is projected on the upper projection area. Incidentally, similarly to FIG. 7 (a), the information indicating the guiding destination (arrow) 721 shall be generated by the display determination unit 340 on the basis of the induced destination information 513 included in the navigation information of the time = t 2 .
一方、図７（ｃ）の場合、表示可否判定部３４０は、算出した重なり度合いが所定の閾値未満であるため、"表示不可"と判定する。このため、上側の投影領域には、誘導先を示す情報（矢印）７３１を含まない投影画像が投影されることになる。この結果、時刻＝ｔ３において、誘導先を示す情報（矢印）７３１が、運転者によって視認されることはない。 On the other hand, in the case of FIG. 7C, the display possibility determination unit 340 determines that “display is not possible” because the calculated degree of overlap is less than a predetermined threshold. Therefore, a projection image that does not include information (arrow) 731 indicating the guidance destination is projected on the upper projection area. As a result, at time = t 3, information indicating the guiding destination (arrow) 731, is not visually recognized by the driver.
更に、図７（ｄ）の場合、表示可否判定部３４０は、算出した重なり度合いが所定の閾値以上であるため、"表示可"と判定する。このため、上側の投影領域には、誘導先を示す情報（矢印）７４１を含む投影画像が投影されることになる。なお、図７（ａ）と同様、誘導先を示す情報（矢印）７４１は、時刻＝ｔ４のナビゲーション情報に含まれる誘導先情報５１３に基づいて表示可否判定部３４０により生成されるものとする。 Further, in the case of FIG. 7D, the display possibility determination unit 340 determines “display is possible” because the calculated degree of overlap is equal to or greater than a predetermined threshold. Therefore, a projection image including information (arrow) 741 indicating the guidance destination is projected on the upper projection area. Incidentally, similarly to FIG. 7 (a), the information indicating the guiding destination (arrow) 741 shall be generated by the display determination unit 340 on the basis of the induced destination information 513 included in the navigation information of the time = t 4 .
（５）投影画像生成部の処理の詳細
次に、投影画像生成部３５０の処理の詳細について説明する。上述したとおり、投影画像生成部３５０は投影画像を生成する。このとき、投影画像生成部３５０は、表示可否判定部３４０より通知された判定結果を参照し、誘導先を示す情報を含む投影画像または誘導先を示す情報を含まない投影画像のいずれかを生成する。
(5) Details of Processing of Projected Image Generation Unit Next, details of processing of the projected image generation unit 350 will be described. As described above, the projection image generation unit 350 generates a projection image. At this time, the projection image generation unit 350 refers to the determination result notified from the display availability determination unit 340 and generates either a projection image including information indicating the guidance destination or a projection image not including information indicating the guidance destination. To do.
図８（ａ）は、時刻＝ｔ１において運転者がフロントウィンドウ１３０を介して視認する実景及び投影画像である。時刻＝ｔ１の目線画像に対して、表示可否判定部３４０では、"表示可"と判定しているため、図８（ａ）に示すように、投影領域８０１には、誘導先を示す情報（矢印）７１１を含む投影画像が投影される。 FIG. 8A shows an actual scene and a projected image that the driver visually recognizes through the front window 130 at time = t 1 . Since the display possibility determination unit 340 determines “display is possible” for the eye line image at time = t 1 , as shown in FIG. 8A, information indicating the guidance destination is displayed in the projection area 801. A projected image including (arrow) 711 is projected.
同様に、図８（ｂ）は、時刻＝ｔ２において運転者がフロントウィンドウ１３０を介して視認する実景及び投影画像である。時刻＝ｔ２の目線画像に対して、表示可否判定部３４０では、"表示可"と判定しているため、図８（ｂ）に示すように、投影領域８０１には、誘導先を示す情報（矢印）７２１を含む投影画像が投影される。 Similarly, FIG. 8 (b) is a actual scene and the projection image for the driver to visually recognize through the front window 130 at time = t 2. Against time = t 2 the eyes image, the display determination unit 340, since it is determined "displayable" and, as shown in FIG. 8 (b), the projection region 801, information indicating the guiding destination A projected image including (arrow) 721 is projected.
図８（ｃ）は、時刻＝ｔ３において運転者がフロントウィンドウ１３０を介して視認する実景及び投影画像である。ここで、時刻＝ｔ３の目線画像に対して、表示可否判定部３４０では、"表示不可"と判定しているため、図８（ｃ）に示すように、投影領域８０１に投影される投影画像には、誘導先を示す情報（矢印）７３１が含まれない。 FIG. 8 (c), the driver at time = t 3 is the actual landscape and the projection image to be viewed through the front window 130. Here, with respect to the eye line image at time = t 3 , the display availability determination unit 340 determines “not displayable”, so that the projection projected onto the projection area 801 as shown in FIG. The image does not include information (arrow) 731 indicating the guidance destination.
図８（ｄ）は、時刻＝ｔ４において運転者がフロントウィンドウ１３０を介して視認する実景及び投影画像である。時刻＝ｔ４の目線画像に対して、表示可否判定部３４０では、"表示可"と判定しているため、図８（ｄ）に示すように、投影領域８０１には、誘導先を示す情報（矢印）７４１を含む投影画像が投影される。 Figure 8 (d) is a actual scene and the projection image for the driver to visually recognize through the front window 130 at time = t 4. Since the display availability determination unit 340 determines “display is possible” for the eye line image at time = t 4 , as shown in FIG. 8D, information indicating the guidance destination is displayed in the projection area 801. A projection image including (arrow) 741 is projected.
なお、時刻＝ｔ３において、投影画像生成部３５０が、仮に、誘導先を示す情報（矢印）７３１を含む投影画像を生成したとすると、図８（ｃ）に示す実景において、投影領域８０１に、誘導先を示す情報（矢印）７３１が表示されることになる。この場合、誘導先を示す情報（矢印）７３１が歩道上を指し示すことになり、運転者に対して適切でない誘導が行われることになる。 If the projection image generation unit 350 generates a projection image including the information (arrow) 731 indicating the guidance destination at time = t 3 , the projection area 801 in the actual scene illustrated in FIG. Then, information (arrow) 731 indicating the guidance destination is displayed. In this case, the information (arrow) 731 indicating the guidance destination points on the sidewalk, and inappropriate guidance for the driver is performed.
このように、誘導先を示す情報（矢印）を表示することで、実景との関係において、運転者に対して適切でない誘導を行う可能性がある場合、投影画像生成部３５０は、誘導先を示す情報（矢印）を投影画像に含める処理を一旦停止する。これにより、本実施形態によれば、誘導先を示す情報（矢印）の表示が停止され、運転者に対して適切でない誘導が行われることを回避することができる。 As described above, when the information (arrow) indicating the guidance destination is displayed, there is a possibility that the guidance is not appropriate for the driver in relation to the actual scene, the projection image generation unit 350 displays the guidance destination. The process of including the indicated information (arrow) in the projection image is temporarily stopped. Thereby, according to this embodiment, the display of the information (arrow) which shows a guidance destination is stopped, and it can avoid that guidance not appropriate for a driver is performed.
また、実景との関係において、運転者に対して適切な誘導を行うことが可能となった場合には、投影画像生成部３５０は、誘導先を示す情報（矢印）を投影画像に含める処理を再開する。これにより、本実施形態によれば、運転者に対して適切な誘導を再開することができる。 In addition, when it is possible to perform appropriate guidance for the driver in relation to the actual scene, the projection image generation unit 350 performs processing to include information (arrow) indicating the guidance destination in the projection image. Resume. Thereby, according to the present embodiment, it is possible to resume appropriate guidance for the driver.
＜画像投影装置の誘導先表示制御処理の流れ＞
次に、画像投影装置１０１による誘導先表示制御処理の流れについて説明する。図９は、誘導先表示制御処理の流れを示すフローチャートである。ヘッドアップディスプレイ装置１００を起動するとともに、ナビゲーション装置１２０を動作させ、運転者が目的地を入力することで誘導経路の案内が開始されると、画像投影装置１０１では、図９に示す誘導先表示制御処理を開始する。
<Flow of guidance display control processing of image projection apparatus>
Next, the flow of guidance destination display control processing by the image projection apparatus 101 will be described. FIG. 9 is a flowchart showing the flow of the guidance destination display control process. When the head-up display device 100 is activated, the navigation device 120 is operated, and the guidance of the guidance route is started by the driver inputting the destination, the image projection device 101 displays the guidance destination display shown in FIG. Control processing is started.
ステップＳ９０１において、実景画像取得部３１０は、撮像装置１１０より、実景画像をフレーム単位で取得する。ステップＳ９０２において、ナビゲーション情報取得部３２０は、ナビゲーション装置１２０より、ナビゲーション情報を取得する。 In step S <b> 901, the actual scene image acquisition unit 310 acquires an actual scene image from the imaging device 110 in units of frames. In step S <b> 902, the navigation information acquisition unit 320 acquires navigation information from the navigation device 120.
ステップＳ９０３において、実景画像取得部３１０は、取得した実景画像のフレームを変換し、目線画像のフレームを生成する。ステップＳ９０４において、走行路算出部３３０は、目線画像のフレームと、ナビゲーション情報とを用いて、目線画像のフレームにおける走行路の路面の領域を算出するとともに、ナビゲーション情報を用いて、誘導先を示す情報（矢印）を生成する。 In step S903, the actual scene image acquisition unit 310 converts the acquired frame of the actual scene image, and generates a frame of the eye image. In step S904, the travel route calculation unit 330 calculates the road surface area of the travel route in the frame of the eye image using the eye image frame and the navigation information, and indicates the guidance destination using the navigation information. Generate information (arrows).
ステップＳ９０５において、表示可否判定部３４０は、フロントウィンドウ１３０での投影領域の位置に対応する目線画像での位置と、目線画像における走行路の路面の領域との位置関係に基づいて、両者の重なり度合いを算出する。ステップＳ９０６において、表示可否判定部３４０は、重なり度合いが所定の閾値以上か否かを判定する。 In step S905, the display permission / inhibition determination unit 340 overlaps the positions based on the positional relationship between the position in the eye image corresponding to the position of the projection area on the front window 130 and the road surface area of the road in the eye image. Calculate the degree. In step S906, the display availability determination unit 340 determines whether the degree of overlap is equal to or greater than a predetermined threshold.
ステップＳ９０６において、所定の閾値以上であると判定した場合には（ステップＳ９０６においてＹｅｓの場合には）、ステップＳ９０７に進む。ステップＳ９０７において、表示可否判定部３４０は、"表示可"と判定し、判定結果及び誘導先を示す情報（矢印）を投影画像生成部３５０に通知する。この場合、投影画像生成部３５０は、誘導先を示す情報（矢印）を含む投影画像を生成する。 If it is determined in step S906 that the value is equal to or greater than the predetermined threshold value (in the case of Yes in step S906), the process proceeds to step S907. In step S907, the display possibility determination unit 340 determines “display is possible”, and notifies the projection image generation unit 350 of the determination result and information (arrow) indicating the guidance destination. In this case, the projection image generation unit 350 generates a projection image including information (arrow) indicating the guidance destination.
一方、ステップＳ９０６において、所定の閾値未満であると判定した場合には（ステップＳ９０６においてＮｏの場合には）、ステップＳ９０８に進む。ステップＳ９０８において、表示可否判定部３４０は、"表示不可"と判定し、判定結果を投影画像生成部３５０に通知する。この場合、投影画像生成部３５０は、誘導先を示す情報（矢印）を含まない投影画像を生成する。 On the other hand, if it is determined in step S906 that it is less than the predetermined threshold (in the case of No in step S906), the process proceeds to step S908. In step S <b> 908, the display availability determination unit 340 determines “not displayable” and notifies the projection image generation unit 350 of the determination result. In this case, the projection image generation unit 350 generates a projection image that does not include information (arrow) indicating the guidance destination.
ステップＳ９０９において、実景画像取得部３１０は、誘導先表示制御処理を終了するか否かを判定する。ステップＳ９０９において、誘導先表示制御処理を終了しないと判定した場合には（ステップＳ９０９においてＮｏの場合には）、ステップＳ９０１に戻る。一方、ステップＳ９０９において、終了すると判定した場合には（ステップＳ９０９においてＹｅｓの場合には）、誘導先表示制御処理を終了する。 In step S909, the real scene image acquisition unit 310 determines whether to end the guidance destination display control process. If it is determined in step S909 that the guidance destination display control process is not terminated (No in step S909), the process returns to step S901. On the other hand, when it is determined in step S909 that the process is to be ended (in the case of Yes in step S909), the guide destination display control process is ended.
＜まとめ＞
以上の説明から明らかなように、本実施形態に係るヘッドアップディスプレイ装置１００は、
・フロントウィンドウを介して運転者が視認する実景に相当する目線画像を生成し、生成した目線画像において、車両の誘導先の道路の路面の領域を算出する。
・フロントウィンドウにおいて誘導先を示す情報が表示される投影領域の位置に対応する目線画像での位置と、走行路の路面の領域との位置関係に基づいて、誘導先を示す情報（矢印）を投影領域に表示するか否かを判定し、判定結果に応じた投影画像を生成する。
<Summary>
As is clear from the above description, the head-up display device 100 according to the present embodiment is
A line-of-sight image corresponding to a real scene visually recognized by the driver through the front window is generated, and a road surface area of the road to which the vehicle is guided is calculated in the generated line-of-sight image.
-Information (arrow) indicating the guidance destination based on the positional relationship between the position in the eye image corresponding to the position of the projection area where the information indicating the guidance destination is displayed on the front window and the road surface area of the traveling road It is determined whether or not to display in the projection area, and a projection image corresponding to the determination result is generated.
これにより、本実施形態に係るヘッドアップディスプレイ装置１００では、フロントウィンドウを介して運転者が視認する実景との関係に基づいて、誘導先を示す情報（矢印）の投影領域への表示を制御することが可能になる。つまり、ハンドルの舵角によらずに表示を制御することが可能になる。この結果、本実施形態によれば、運転者に対して適切な誘導を行うことが可能になる。 Thereby, in the head-up display device 100 according to the present embodiment, the display of the information (arrow) indicating the guidance destination on the projection area is controlled based on the relationship with the actual scene visually recognized by the driver through the front window. It becomes possible. That is, display can be controlled regardless of the steering angle of the steering wheel. As a result, according to the present embodiment, it is possible to appropriately guide the driver.
［第２の実施形態］
上記第１の実施形態では、誘導先を示す情報として、１本の矢印からなる図形を用いるものとして説明した。しかしながら、誘導先を示す情報として用いる図形は、１本の矢印に限定されない。
[Second Embodiment]
In the first embodiment, the description has been made on the assumption that a figure composed of one arrow is used as information indicating the guidance destination. However, the graphic used as information indicating the guidance destination is not limited to one arrow.
図１０は、誘導先を示す情報として用いる図形のバリエーションを示す図である。図１０において、図形ＩＤ＝１により特定される図形は、上記第１の実施形態の説明において用いた、１本の矢印である。 FIG. 10 is a diagram illustrating variations of figures used as information indicating the guidance destination. In FIG. 10, the graphic specified by graphic ID = 1 is one arrow used in the description of the first embodiment.
一方、図形ＩＤ＝２は、２本の矢印を用いる場合を示している。また、図形ＩＤ＝３は、レーンを示す図形を用いる場合を示している。また、図形ＩＤ＝４は、レーンを示す図形と、１本の矢印とを用いることを示している。 On the other hand, the figure ID = 2 indicates a case where two arrows are used. Further, the figure ID = 3 indicates a case where a figure indicating a lane is used. The graphic ID = 4 indicates that a graphic indicating a lane and one arrow are used.
また、図形ＩＤ＝５は、レーンとレーンの間の領域（レーン領域）を塗りつぶした図形を用いる場合を示している。また、図形ＩＤ＝６は、レーン領域をメッシュで形成した図形を用いる場合を示している。更に、図形ＩＤ＝７は、レーン領域をメッシュで形成するにあたり、奥行き感を出すために、手前側と奥側とで、メッシュ幅を可変とした図形を用いる場合を示している。 Further, the figure ID = 5 indicates a case where a figure in which an area between lanes (lane area) is filled is used. Moreover, figure ID = 6 has shown the case where the figure which formed the lane area | region with the mesh is used. Furthermore, the figure ID = 7 indicates a case where a figure with a variable mesh width is used on the near side and the far side in order to give a sense of depth when forming the lane region with a mesh.
このように、誘導先を示す情報として複数種類の図形を用意しておくことで、第２の実施形態によれば、複数種類の図形の中から選択した図形を、誘導先を示す情報として用いることが可能になる。 As described above, by preparing a plurality of types of figures as information indicating the guidance destination, according to the second embodiment, a figure selected from a plurality of types of figures is used as the information indicating the guidance destination. It becomes possible.
［第３の実施形態］
上記第１の実施形態では、フロントウィンドウ１３０での投影領域の位置に対応する目線画像での位置と、目線画像における走行路の路面の領域との位置関係に基づいて、投影領域に、誘導先を示す情報（矢印）を表示するか否かを判定する構成とした。
[Third Embodiment]
In the first embodiment, based on the positional relationship between the position in the line-of-sight image corresponding to the position of the projection area on the front window 130 and the area of the road surface of the road in the line-of-sight image, It is set as the structure which determines whether the information (arrow) which shows is displayed.
これに対して、第３の実施形態では、投影領域に表示される誘導先を示す情報の位置に対応する目線画像での位置と、目線画像における走行路の路面の領域との位置関係に基づいて、投影領域に、誘導先を示す情報を表示するか否かを判定する。以下、第１の実施形態との相違点を中心に説明する。 On the other hand, in the third embodiment, based on the positional relationship between the position in the eye image corresponding to the position of the information indicating the guidance destination displayed in the projection area and the area of the road surface of the traveling road in the eye image. Then, it is determined whether or not information indicating the guidance destination is displayed in the projection area. Hereinafter, a description will be given focusing on differences from the first embodiment.
図１１は、表示可否判定部の処理の具体例を示す図である。このうち、図１１（ａ）は、時刻＝ｔ２'の目線画像のフレーム１１１０に、誘導先を示す情報（矢印）１１１１を重畳した様子を示している。本実施形態において表示可否判定部３４０は、誘導先を示す情報（矢印）１１１１の先端１１１２が、走行路の路面の領域１１０１に重畳している場合に、"表示可"と判定する。図１１（ａ）の例の場合、誘導先を示す情報（矢印）１１１１の先端１１１２が、走行路の路面の領域１１０１に重畳しているため、表示可否判定部３４０は、"表示可"と判定する。 FIG. 11 is a diagram illustrating a specific example of processing of the display availability determination unit. Among these, FIG. 11A shows a state in which information (arrow) 1111 indicating the guidance destination is superimposed on the frame 1110 of the eye image at time = t 2 ′. In this embodiment, the display possibility determination unit 340 determines “display is possible” when the tip 1112 of the information (arrow) 1111 indicating the guidance destination is superimposed on the area 1101 on the road surface of the traveling road. In the case of the example of FIG. 11A, the tip 1112 of the information (arrow) 1111 indicating the guidance destination is superimposed on the area 1101 on the road surface of the traveling road, so that the display possibility determination unit 340 determines that “display is possible”. judge.
図１１（ｂ）は、時刻＝ｔ２'の目線画像のフレーム１１１０に、誘導先を示す情報（２本の矢印）１１２１を重畳した様子を示している。本実施形態において表示可否判定部３４０は、誘導先を示す情報（２本の矢印）１１２１のうち、誘導先に近い側の矢印の先端１１２２が、走行路の路面の領域１１０１に重畳している場合に、"表示可"と判定する。図１１（ｂ）の例の場合、誘導先を示す情報（２本の矢印）１１２１のうち、誘導先に近い側の矢印の先端１１２２が、走行路の路面の領域１１０１に重畳しているため、表示可否判定部３４０は、"表示可"と判定する。 FIG. 11B shows a state in which information (two arrows) 1121 indicating the guidance destination is superimposed on the frame 1110 of the eye image at time = t 2 ′. In the present embodiment, the display possibility determination unit 340 includes the tip 1122 of the arrow on the side closer to the guidance destination in the information (two arrows) 1121 indicating the guidance destination, which is superimposed on the area 1101 on the road surface of the traveling road. In this case, it is determined that “display is possible”. In the case of the example in FIG. 11B, the tip 1122 of the arrow on the side closer to the guidance destination in the information (two arrows) 1121 indicating the guidance destination is superimposed on the area 1101 on the road surface of the traveling road. The display availability determination unit 340 determines that “display is possible”.
図１１（ｃ）は、時刻＝ｔ２'の目線画像のフレーム１１１０に、誘導先を示す情報（レーン）１１３１を重畳した様子を示している。本実施形態において表示可否判定部３４０は、誘導先を示す情報（レーン）１１３１のうち、誘導先に近い側のレーンの先端１１３２が、走行路の路面の領域１１０１に重畳している場合に、"表示可"と判定する。図１１（ｃ）の例の場合、誘導先を示す情報（レーン）１１３１のうち、誘導先に近い側のレーンの先端１１３２が、走行路の路面の領域１１０１に重畳しているため、表示可否判定部３４０は、"表示可"と判定する。 FIG. 11C shows a state in which information (lane) 1131 indicating the guidance destination is superimposed on the frame 1110 of the eye image at time = t 2 ′. In the present embodiment, the display availability determination unit 340 includes, when information (lane) 1131 indicating a guidance destination, the tip 1132 of the lane closer to the guidance destination is superimposed on the area 1101 on the road surface of the traveling road. It is determined that “display is possible”. In the case of the example of FIG. 11C, the information 1 (lane) 1131 indicating the guidance destination includes the tip 1132 of the lane closer to the guidance destination, which is superimposed on the area 1101 on the road surface of the traveling road. The determination unit 340 determines that “display is possible”.
図１１（ｄ）は、時刻＝ｔ２'の目線画像のフレーム１１１０に、誘導先を示す情報（レーン領域）１１４１を重畳した様子を示している。本実施形態において表示可否判定部３４０は、誘導先を示す情報（レーン領域）１１４１の先端の一部が、走行路の路面の領域１１０１に重畳している場合に、"表示可"と判定する。図１１（ｄ）の例の場合、誘導先を示す情報（レーン領域）１１４１の先端の一部１１４２が、走行路の路面の領域１１０１に重畳しているため、表示可否判定部３４０は、"表示可"と判定する。 FIG. 11D shows a state in which information (lane region) 1141 indicating the guidance destination is superimposed on the frame 1110 of the eye image at time = t 2 ′. In this embodiment, the display possibility determination unit 340 determines “display is possible” when a part of the tip of the information (lane area) 1141 indicating the guidance destination is superimposed on the area 1101 on the road surface of the traveling road. . In the case of the example of FIG. 11D, the display enable / disable determining unit 340 determines that the part 1142 of the tip of the information (lane area) 1141 indicating the guidance destination is superimposed on the road surface area 1101 of the traveling road. It is determined that “display is possible”.
このように、本実施形態では、投影領域８０１に表示される誘導先を示す情報の、目線画像での位置と、目線画像における走行路の路面の領域との位置関係に基づいて、投影領域に、誘導先を示す情報を表示するか否かを判定する。これにより、本実施形態によれば、上記第１の実施形態同様、運転者に対して適切な誘導を行うことが可能になる。 As described above, in the present embodiment, the information indicating the guidance destination displayed in the projection area 801 is stored in the projection area based on the positional relationship between the position in the eye image and the road surface area of the road in the eye image. Then, it is determined whether or not to display information indicating the guidance destination. Thereby, according to this embodiment, it becomes possible to perform appropriate guidance to the driver as in the first embodiment.
［第４の実施形態］
上記第１乃至第３の実施形態では、表示可否判定部３４０が"表示可"と判定した場合、誘導先を示す情報が投影領域８０１内の所定の位置に表示されるように、投影画像生成部３５０が、投影画像内の所定の位置に誘導先を示す情報を配置するものとして説明した。
[Fourth Embodiment]
In the first to third embodiments, when the display possibility determination unit 340 determines “display is possible”, the projection image generation is performed so that information indicating the guidance destination is displayed at a predetermined position in the projection region 801. It has been described that the unit 350 arranges information indicating the guidance destination at a predetermined position in the projection image.
これに対して、第４の実施形態における表示可否判定部３４０では、誘導先を示す情報が走行路の路面の領域に重畳する割合が大きくなるように配置及びサイズを決定する。また、第４の実施形態における投影画像生成部３５０では、決定された配置及びサイズに基づいて、誘導先を示す情報を含む投影画像を生成する。 On the other hand, the display availability determination unit 340 in the fourth embodiment determines the arrangement and size so that the ratio of the information indicating the guidance destination superimposed on the road surface area of the traveling road is increased. In addition, the projection image generation unit 350 according to the fourth embodiment generates a projection image including information indicating the guidance destination based on the determined arrangement and size.
図１２は、投影画像生成部の処理の具体例を示す図である。図１２（ａ）は、時刻＝ｔ２'の目線画像のフレーム１１１０に、誘導先を示す情報（矢印）１１１１を配置した際に、走行路の路面の領域１１０１と重畳する割合が大きくなるように配置を決定した様子を示している。図１２（ａ）の例によれば、誘導先を示す情報（矢印）１１１１全体を、走行路の路面の領域１１０１に重畳させることができる。投影画像生成部３５０では、時刻＝ｔ２の目線画像のフレーム１１１０に対して決定した誘導先を示す情報（矢印）１１１１の配置と等しくなるように、誘導先を示す情報（矢印）１１１１を投影画像内に縮小またはスライドして配置する。 FIG. 12 is a diagram illustrating a specific example of the process of the projection image generation unit. FIG. 12A shows that when the information (arrow) 1111 indicating the guidance destination is arranged in the frame 1110 of the eye-gaze image at time = t 2 ′, the ratio of overlapping with the road surface area 1101 of the traveling road increases. Fig. 6 shows how the arrangement has been determined. According to the example of FIG. 12A, the entire information (arrow) 1111 indicating the guidance destination can be superimposed on the road surface area 1101 of the traveling road. In the projection image generation unit 350, information indicating the induction destination determined with respect to the frame 1110 of the eyes image at time = t 2 (arrow) to be equal to the arrangement of 1111, projects information (arrow) 1111 showing the guiding destination Reduce or slide in the image.
同様に、図１２（ｂ）は、時刻＝ｔ２'の目線画像のフレーム１１１０に、誘導先を示す情報（２本の矢印）１１２１を配置した際に、走行路の路面の領域１１０１と重畳する割合が大きくなるように配置を決定した様子を示している。図１２（ｂ）の例によれば、誘導先を示す情報（２本の矢印）１１２１全体を、走行路の路面の領域１１０１に重畳させることができる。投影画像生成部３５０では、時刻＝ｔ２'の目線画像のフレーム１１１０に対して決定した誘導先を示す情報（２本の矢印）１１２１の配置と等しくなるように、誘導先を示す情報（２本の矢印）１１２１を投影画像内に縮小またはスライドして配置する。 Similarly, in FIG. 12B, when the information (two arrows) 1121 indicating the guidance destination is arranged in the frame 1110 of the eye image at time = t 2 ′, it overlaps with the area 1101 on the road surface of the traveling road. It shows a state where the arrangement is determined so that the ratio to be increased. According to the example of FIG. 12B, the entire information (two arrows) 1121 indicating the guidance destination can be superimposed on the area 1101 on the road surface of the traveling road. In the projection image generation unit 350, information (2) indicating the guidance destination so as to be equal to the arrangement of the information (two arrows) 1121 indicating the guidance destination determined for the frame 1110 of the eye image at time = t 2 ′. (Arrow) 1121 is reduced or slid in the projected image.
一方、図１２（ｃ）は、時刻＝ｔ２'の目線画像のフレーム１１１０に、誘導先を示す情報（レーン）１１３１を配置した際に、走行路の路面の領域１１０１と重畳する割合が大きくなるように配置及びサイズを決定した様子を示している。図１２（ｃ）の例によれば、誘導先を示す情報（レーン）１１３１全体を、走行路の路面の領域１１０１に重畳させることができる。投影画像生成部３５０では、時刻＝ｔ２'の目線画像のフレーム１１１０に対して決定した誘導先を示す情報（レーン）１１３１の配置及びサイズと等しくなるように、誘導先を示す情報（レーン）１１３１を投影画像内に縮小して配置する。 On the other hand, in FIG. 12C, when information (lane) 1131 indicating the guidance destination is arranged in the frame 1110 of the eye image at time = t 2 ′, the ratio of overlapping with the road surface area 1101 of the traveling road is large. It shows how the arrangement and size have been determined. According to the example of FIG. 12C, the entire information (lane) 1131 indicating the guidance destination can be superimposed on the road surface area 1101 of the traveling road. In the projection image generation unit 350, information (lane) indicating the guidance destination so as to be equal to the arrangement and size of the information (lane) 1131 indicating the guidance destination determined for the frame 1110 of the eye-line image at time = t 2 ′. 1131 is reduced and arranged in the projection image.
同様に、図１２（ｄ）は、時刻＝ｔ２'の目線画像のフレーム１１１０に、誘導先を示す情報（レーン領域）１１４１を配置した際に、走行路の路面の領域１１０１と重畳する割合が大きくなるように配置及びサイズを決定した様子を示している。図１２（ｄ）の例によれば、誘導先を示す情報（レーン領域）１１４１全体を、走行路の路面の領域１１０１に重畳させることができる。投影画像生成部３５０では、時刻＝ｔ２'の目線画像のフレーム１１１０に対して決定した誘導先を示す情報（レーン領域）１１４１の配置及びサイズと等しくなるように、誘導先を示す情報（レーン領域）１１４１を投影画像内に縮小して配置する。 Similarly, FIG. 12D shows the ratio of overlapping with the road surface area 1101 of the traveling road when information (lane area) 1141 indicating the guidance destination is arranged in the frame 1110 of the eye image at time = t 2 ′. This shows how the arrangement and the size are determined so as to increase. According to the example of FIG. 12D, the entire information (lane area) 1141 indicating the guidance destination can be superimposed on the road surface area 1101 of the traveling road. In the projection image generation unit 350, information (lanes) indicating the guidance destination so as to be equal to the arrangement and size of the information (lane area) 1141 indicating the guidance destination determined for the frame 1110 of the eye image at time = t 2 ′. (Region) 1141 is reduced and arranged in the projection image.
このように、誘導先を示す情報と走行路の路面の領域とが重畳する割合が大きくなるように、投影画像生成部３５０が、誘導先を示す情報の配置及びサイズを変えることで、運転者に対して適切な誘導を行うことが可能になる。また、上述した例では誘導先を示す情報のサイズを縮小する例で表したが、サイズを拡大することで走行路の路面の領域と重畳する割合を大きくすることが可能な状況であれば、サイズを拡大するようにしても良いことはいうまでもない。また、配置についても同様である。 As described above, the projection image generation unit 350 changes the arrangement and size of the information indicating the guidance destination so that the ratio of the information indicating the guidance destination and the road surface area of the traveling road is increased. It is possible to perform an appropriate guidance for. In the above example, the size of the information indicating the guidance destination is shown as an example of reducing the size. However, if the size can be increased, the ratio of overlapping with the road surface area of the traveling road can be increased. Needless to say, the size may be increased. The same applies to the arrangement.
［第５の実施形態］
上記第１の実施形態では、画像投影装置１０１が、撮像装置１１０から実景画像を取得し、ナビゲーション装置１２０から取得したナビゲーション情報と対比することで、目線画像を生成するものとして説明した。しかしながら、目線画像の生成方法はこれに限定されない。例えば、撮像装置１１０から実景画像を取得する代わりに、高精度３次元マップを取得し、ナビゲーション装置１２０から取得したナビゲーション情報と対比することで、目線画像を生成するように構成してもよい。
[Fifth Embodiment]
In the first embodiment, the image projection apparatus 101 has been described as acquiring a real scene image from the imaging apparatus 110 and generating the eye image by comparing with the navigation information acquired from the navigation apparatus 120. However, the method for generating a line-of-sight image is not limited to this. For example, instead of acquiring a real scene image from the imaging device 110, a high-accuracy three-dimensional map may be acquired and compared with the navigation information acquired from the navigation device 120 to generate the eye image.
また、上記第４の実施形態では、表示可否判定部３４０が配置及びサイズを決定するものとして説明した。しかしながら、表示可否判定部３４０が決定する対象は、配置及びサイズに限定されず、誘導先を示す情報の形状等、他の表示態様を決定してもよい。 In the fourth embodiment, the display availability determination unit 340 has been described as determining the arrangement and size. However, the object to be determined by the display availability determination unit 340 is not limited to the arrangement and size, and other display modes such as the shape of information indicating the guidance destination may be determined.
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations with other elements, etc., in the configurations described in the above embodiments. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.
１００ ：ヘッドアップディスプレイ装置
１０１ ：画像投影装置
１０２、１０３ ：反射ミラー
１１０ ：撮像装置
１２０ ：ナビゲーション装置
１３０ ：フロントウィンドウ
３１０ ：実景画像取得部
３２０ ：ナビゲーション情報取得部
３３０ ：走行路算出部
３４０ ：表示可否判定部
３５０ ：投影画像生成部
３６０ ：投影画像出力部
４１０、４２０、４３０、４４０ ：実景画像のフレーム
５１０、５２０、５３０、５４０ ：ナビゲーション情報
５１１ ：位置情報
５１２ ：誘導経路
６１０、６２０、６３０、６４０ ：目線画像のフレーム
６１１、６２１、６３１、６４１ ：走行路の路面の領域
７０１、７０２ ：投影領域に対応する目線画像での領域
７１１、７２１、７３１、７４１ ：誘導先を示す情報（矢印）
８０１ ：投影領域
DESCRIPTION OF SYMBOLS 100: Head up display apparatus 101: Image projector 102, 103: Reflection mirror 110: Imaging device 120: Navigation apparatus 130: Front window 310: Real scene image acquisition part 320: Navigation information acquisition part 330: Traveling path calculation part 340: Display Availability determination unit 350: projection image generation unit 360: projection image output units 410, 420, 430, 440: real scene image frames 510, 520, 530, 540: navigation information 511: position information 512: guidance paths 610, 620, 630 , 640: Frames 611, 621, 631, 641 of the line-of-sight images: Road surface areas 701, 702: Areas 711, 721, 731, 741: Line-of-sight images corresponding to the projection areas (arrows) )
801: Projection area
Claims (10)
前記車両のフロントウィンドウを介して前記車両の運転者により視認される実景に相当する目線画像において、前記車両の誘導先の道路の路面の領域を算出する算出部と、
前記車両の誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置と、算出された前記路面の領域との位置関係に基づいて、前記誘導先を示す情報の表示を制御する制御部と
を有することを特徴とするヘッドアップディスプレイ装置。 A head-up display device mounted on a vehicle,
In a line-of-sight image corresponding to a real scene visually recognized by a driver of the vehicle through the front window of the vehicle, a calculation unit that calculates a road surface area of the road to which the vehicle is guided;
Information indicating the guidance destination based on the calculated positional relationship between the position in the eye image corresponding to the position on the front window where the information indicating the guidance destination of the vehicle is displayed and the calculated area of the road surface And a control unit for controlling the display of the head-up display device.
前記誘導先を示す情報を含む投影画像が投影される前記フロントウィンドウの投影領域に対応する前記目線画像での領域と、算出された前記路面の領域との重なり度合いに基づいて、前記誘導先を示す情報の表示を制御することを特徴とする請求項１に記載のヘッドアップディスプレイ装置。 The controller is
Based on the degree of overlap between the area in the eye image corresponding to the projection area of the front window onto which the projection image including the information indicating the guidance destination is projected, and the calculated area of the road surface, the guidance destination is determined. The head-up display device according to claim 1, wherein display of information to be displayed is controlled.
前記誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置において、前記誘導先を示す情報の一部が、算出された前記路面の領域と重なるか否かに基づいて、前記誘導先を示す情報の表示を制御することを特徴とする請求項１に記載のヘッドアップディスプレイ装置。 The controller is
Whether or not a part of the information indicating the guidance destination overlaps the calculated area of the road surface at the position on the eye image corresponding to the position on the front window where the information indicating the guidance destination is displayed The head-up display device according to claim 1, wherein display of information indicating the guidance destination is controlled based on the information.
前記判定部により前記誘導先を示す情報について表示不可と判定された場合、前記制御部は、前記誘導先を示す情報を含まない投影画像を生成することを特徴とする請求項３または５に記載のヘッドアップディスプレイ装置。 When it is determined that the information indicating the guidance destination is displayable by the determination unit, the control unit generates a projection image including information indicating the guidance destination,
The said control part produces | generates the projection image which does not contain the information which shows the said guidance destination, when the judgment part determines with the information which shows the said guidance destination not being displayable. Head up display device.
前記車両の周辺の地図情報、前記車両の位置情報及び前記車両を目的地に誘導するための誘導経路と、前記目線画像とを対比することで、前記誘導先の道路の路面の領域を算出することを特徴とする請求項１乃至８のいずれか１項に記載のヘッドアップディスプレイ装置。 The calculation unit includes:
The road surface area of the guidance destination road is calculated by comparing the map information around the vehicle, the position information of the vehicle, the guidance route for guiding the vehicle to the destination, and the eye image. The head-up display device according to any one of claims 1 to 8, wherein
前記車両のフロントウィンドウを介して前記車両の運転者により視認される実景に相当する目線画像において、前記車両の誘導先の道路の路面の領域を算出する算出工程と、
前記車両の誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置と、算出された前記路面の領域との位置関係に基づいて、前記誘導先を示す情報の表示を制御する制御工程と
を有することを特徴とする表示制御方法。 A display control method in a head-up display device mounted on a vehicle,
In a line-of-sight image corresponding to a real scene visually recognized by the driver of the vehicle through the front window of the vehicle, a calculation step of calculating a road surface area of the road to which the vehicle is guided;
Information indicating the guidance destination based on the calculated positional relationship between the position in the eye image corresponding to the position on the front window where the information indicating the guidance destination of the vehicle is displayed and the calculated area of the road surface And a control process for controlling the display of the display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017046674A JP6759132B2 (en) | 2017-03-10 | 2017-03-10 | Head-up display device and display control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017046674A JP6759132B2 (en) | 2017-03-10 | 2017-03-10 | Head-up display device and display control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018149884A true JP2018149884A (en) | 2018-09-27 |
| JP6759132B2 JP6759132B2 (en) | 2020-09-23 |
Family
ID=63681294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017046674A Active JP6759132B2 (en) | 2017-03-10 | 2017-03-10 | Head-up display device and display control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6759132B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115118951A (en) * | 2022-06-06 | 2022-09-27 | 东软集团股份有限公司 | Data projection method and device, storage medium and vehicle |
| CN116091740A (en) * | 2023-04-11 | 2023-05-09 | 江苏泽景汽车电子股份有限公司 | Information display control method, storage medium and electronic device |
| CN116519007A (en) * | 2023-04-04 | 2023-08-01 | 阿维塔科技(重庆)有限公司 | Destination guiding method and device based on projection and terminal equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006035755A1 (en) * | 2004-09-28 | 2006-04-06 | National University Corporation Kumamoto University | Method for displaying movable-body navigation information and device for displaying movable-body navigation information |
| JP2009250827A (en) * | 2008-04-08 | 2009-10-29 | Panasonic Corp | Navigation device, method, and program |
| WO2013114617A1 (en) * | 2012-02-03 | 2013-08-08 | パイオニア株式会社 | Image-display device, method for displaying image, and image-display program |
| JP2014213763A (en) * | 2013-04-26 | 2014-11-17 | 日本精機株式会社 | Vehicle information projection system |
-
2017
- 2017-03-10 JP JP2017046674A patent/JP6759132B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006035755A1 (en) * | 2004-09-28 | 2006-04-06 | National University Corporation Kumamoto University | Method for displaying movable-body navigation information and device for displaying movable-body navigation information |
| JP2009250827A (en) * | 2008-04-08 | 2009-10-29 | Panasonic Corp | Navigation device, method, and program |
| WO2013114617A1 (en) * | 2012-02-03 | 2013-08-08 | パイオニア株式会社 | Image-display device, method for displaying image, and image-display program |
| JP2014213763A (en) * | 2013-04-26 | 2014-11-17 | 日本精機株式会社 | Vehicle information projection system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115118951A (en) * | 2022-06-06 | 2022-09-27 | 东软集团股份有限公司 | Data projection method and device, storage medium and vehicle |
| CN116519007A (en) * | 2023-04-04 | 2023-08-01 | 阿维塔科技(重庆)有限公司 | Destination guiding method and device based on projection and terminal equipment |
| CN116091740A (en) * | 2023-04-11 | 2023-05-09 | 江苏泽景汽车电子股份有限公司 | Information display control method, storage medium and electronic device |
| WO2024212590A1 (en) * | 2023-04-11 | 2024-10-17 | 江苏泽景汽车电子股份有限公司 | Information display control method, storage medium, and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6759132B2 (en) | 2020-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6695049B2 (en) | Display device and display control method | |
| US20210078503A1 (en) | Display control device and non-transitory tangible computer-readable medium therefor | |
| JP2020102241A (en) | Image processing apparatus | |
| KR102306790B1 (en) | Device and method to visualize content | |
| US11525694B2 (en) | Superimposed-image display device and computer program | |
| JP6443122B2 (en) | Vehicle display device | |
| WO2019097755A1 (en) | Display device and computer program | |
| WO2015151438A1 (en) | Vehicle display control device | |
| WO2019230272A1 (en) | Display control device, display control program, and persistent tangible computer-readable recording medium therefor | |
| WO2015079654A1 (en) | Head-up display device | |
| CN115700196A (en) | Display control device for vehicle, display control method for vehicle, and display device for vehicle | |
| JP6631572B2 (en) | Display control device for vehicle and display unit for vehicle | |
| CN109927552A (en) | Display apparatus | |
| WO2019224922A1 (en) | Head-up display control device, head-up display system, and head-up display control method | |
| JP2019148935A (en) | Display control device and head-up display device | |
| JP2018149884A (en) | Head-up display device and display control method | |
| CN119053470A (en) | Display control device, head-up display device, and display control method | |
| WO2023145852A1 (en) | Display control device, display system, and display control method | |
| US20200152157A1 (en) | Image processing unit, and head-up display device provided with same | |
| JP2020117104A (en) | Display control device, display system, method and computer program | |
| JP6996542B2 (en) | Vehicle display control device and vehicle display unit | |
| JP2014029280A (en) | Road shape guide system, method and program | |
| JP2021133874A (en) | Display control device, head-up display device and method | |
| KR101637298B1 (en) | Head-up display apparatus for vehicle using aumented reality | |
| JP2019172070A (en) | Information processing device, movable body, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6759132 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |