[go: up one dir, main page]

JP2019036826A - VEHICLE DISPLAY METHOD AND VEHICLE DISPLAY DEVICE - Google Patents

VEHICLE DISPLAY METHOD AND VEHICLE DISPLAY DEVICE Download PDF

Info

Publication number
JP2019036826A
JP2019036826A JP2017156549A JP2017156549A JP2019036826A JP 2019036826 A JP2019036826 A JP 2019036826A JP 2017156549 A JP2017156549 A JP 2017156549A JP 2017156549 A JP2017156549 A JP 2017156549A JP 2019036826 A JP2019036826 A JP 2019036826A
Authority
JP
Japan
Prior art keywords
vehicle
virtual viewpoint
intersection
target position
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017156549A
Other languages
Japanese (ja)
Other versions
JP7002246B2 (en
Inventor
草柳 佳紀
Yoshinori Kusayanagi
佳紀 草柳
渡辺 省吾
Shogo Watanabe
省吾 渡辺
拓良 柳
Hiroyoshi Yanagi
柳  拓良
ジャン・フィリップ アレキサンダー
Alexander Jeanphilippe
ジャン・フィリップ アレキサンダー
タレック サード
Saad Tarek
タレック サード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Nissan Motor Co Ltd
Original Assignee
Renault SAS
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS, Nissan Motor Co Ltd filed Critical Renault SAS
Priority to JP2017156549A priority Critical patent/JP7002246B2/en
Publication of JP2019036826A publication Critical patent/JP2019036826A/en
Application granted granted Critical
Publication of JP7002246B2 publication Critical patent/JP7002246B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】乗員に周囲状況を良好に把握させることができる車両用表示方法を提供する。【解決手段】車両に対する基準位置に設定された仮想視点から見た画像を表示装置に表示する車両用表示方法において、車両が交差点に進入する場合には、他車両などの注意対象が存在するか否かを判定し、表示装置に表示される画像が注意対象を含む画像となるように、仮想視点の目標位置を設定し、仮想視点を基準位置から目標位置まで移動させる。【選択図】図4PROBLEM TO BE SOLVED: To provide a display method for a vehicle capable of allowing an occupant to grasp the surrounding situation well. SOLUTION: In a vehicle display method for displaying an image seen from a virtual viewpoint set at a reference position with respect to a vehicle on a display device, when a vehicle enters an intersection, is there an object of caution such as another vehicle? Whether or not it is determined, the target position of the virtual viewpoint is set so that the image displayed on the display device is an image including the attention target, and the virtual viewpoint is moved from the reference position to the target position. [Selection diagram] FIG. 4

Description

本発明は、車両用表示方法及び車両用表示装置に関する。   The present invention relates to a display method for a vehicle and a display device for a vehicle.

特許文献1は、車両を俯瞰する基準視点から車両の周辺の様子を示す周辺画像の視点まで仮想視点が段階的に移動することにより、切り替え後に表示された周辺画像がどの視点から見た周辺画像であるかをユーザが把握できる画像表示システムを開示する。   Patent Document 1 discloses a peripheral image in which a peripheral image displayed after switching is viewed from which viewpoint by a virtual viewpoint moving in a stepwise manner from a reference viewpoint overlooking a vehicle to a viewpoint of a peripheral image showing a state around the vehicle. Disclosed is an image display system that allows a user to grasp whether or not.

特開2012−39341号公報JP 2012-39341 A

しかしながら、特許文献1に記載の技術は、車両を基準として画一的に移動する仮想視点を採用するため、例えば大きな交差点等、注意すべき範囲を含む画像を表示できず、乗員は周囲状況の把握が困難となる可能性がある。   However, since the technique described in Patent Document 1 employs a virtual viewpoint that moves uniformly with respect to the vehicle, it is not possible to display an image including a range to be noted, such as a large intersection. It may be difficult to grasp.

本発明は、上記問題点を鑑み、乗員に周囲状況を良好に把握させることができる車両用表示方法及び車両用表示装置を提供することを目的とする。   In view of the above problems, an object of the present invention is to provide a display method for a vehicle and a display device for a vehicle that allow a passenger to satisfactorily understand the surrounding situation.

本発明の一態様は、車両に対する基準位置に設定された仮想視点から見た画像を表示装置に表示する車両用表示方法において、車両が進入する交差点における注意対象を検出し、注意対象を含む画像となる仮想視点の目標位置を設定し、仮想視点を基準位置から目標位置まで移動させることを特徴とする。   One aspect of the present invention is a display method for a vehicle that displays an image viewed from a virtual viewpoint set at a reference position with respect to a vehicle on a display device, and detects an attention object at an intersection where the vehicle enters and includes an attention object. The target position of the virtual viewpoint is set, and the virtual viewpoint is moved from the reference position to the target position.

本発明によれば、乗員に周囲状況を良好に把握させることができる車両用表示方法及び車両用表示装置を提供できる。   ADVANTAGE OF THE INVENTION According to this invention, the display method for vehicles and the display apparatus for vehicles which can make a passenger | crew grasp favorable surrounding conditions can be provided.

第1実施形態に係る車両用表示装置を備える運転支援装置の構成の一例を説 明するブロック図である。It is a block diagram explaining an example of composition of a driving support device provided with a display for vehicles concerning a 1st embodiment. HMI画像の一例を示す図である。It is a figure which shows an example of an HMI image. 図1のコントローラにより実現される構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure implement | achieved by the controller of FIG. 第1実施形態に係る車両用表示装置を用いた車両表示方法の一例を説明する フローチャートである。It is a flowchart explaining an example of the vehicle display method using the display apparatus for vehicles which concerns on 1st Embodiment. 仮想視点の軌跡を説明する図である。It is a figure explaining the locus | trajectory of a virtual viewpoint. 交差点に対する表示画像の範囲を説明する図である。It is a figure explaining the range of the display image with respect to an intersection. 交差点の他の例に対する表示画像の範囲を説明する図である。It is a figure explaining the range of the display image with respect to the other example of an intersection. 周囲に他車両が存在する場合の仮想視点の軌跡を説明する図である。It is a figure explaining the locus | trajectory of a virtual viewpoint when another vehicle exists around. 仮想視点の軌跡の他の例を説明する図である。It is a figure explaining the other example of the locus | trajectory of a virtual viewpoint. 後続車が存在する場合の仮想視点の軌跡を説明する図である。It is a figure explaining the locus | trajectory of a virtual viewpoint when a succeeding vehicle exists. 仮想視点を後退させない場合の軌跡を説明する図であるIt is a figure explaining the locus | trajectory when not retreating a virtual viewpoint. 第2実施形態に係る車両用表示装置のコントローラにより実現される構成 の一例を示すブロック図である。It is a block diagram which shows an example of the structure implement | achieved by the controller of the display apparatus for vehicles which concerns on 2nd Embodiment. 第2実施形態に係る車両用表示装置を用いた車両表示方法の一例を説明す るフローチャートである。10 is a flowchart for explaining an example of a vehicle display method using the vehicle display device according to the second embodiment. 交差点に対する表示画像の拡張範囲を説明する図である。It is a figure explaining the extended range of the display image with respect to an intersection. 交差点の他の例に対する表示画像の拡張範囲を説明する図である。It is a figure explaining the extended range of the display image with respect to the other example of an intersection. 自車両が交差点を左折しようとする場面を図示した一例である。It is an example which illustrated the scene where the own vehicle is going to turn left at the intersection.

以下、図面を参照して、本発明の第1及び第2実施形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。各図面は模式的なものであり、現実のものとは異なる場合が含まれる。以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記の実施形態に例示した装置や方法に特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。   Hereinafter, first and second embodiments of the present invention will be described with reference to the drawings. In the description of the drawings, the same or similar parts are denoted by the same or similar reference numerals, and redundant description is omitted. Each drawing is schematic and includes cases different from actual ones. The following embodiments exemplify apparatuses and methods for embodying the technical idea of the present invention, and the technical ideas of the present invention are specific to the apparatuses and methods illustrated in the following embodiments. It is not what you do. The technical idea of the present invention can be variously modified within the technical scope described in the claims.

本明細書において自動運転とは、自車両の操舵、制動及び駆動の少なくとも1つが運転支援装置1により自動的に制御されている運転状態を意味する。即ち、本明細書における自動運転は、乗員(運転者)が関与せずに自車両の操舵、制動及び駆動のすべてが自動的に制御される完全自動運転の他、自車両の操舵、制動及び駆動の少なくとも1つが自動的に制御される運転支援を含む。自動運転は、先行車追従制御、車間距離制御、車線逸脱防止制御等であってもよい。一方、本明細書における手動運転とは、操舵、制動及び駆動のすべてが運転者の操作により操作される運転状態を意味する。   In this specification, the automatic driving means a driving state in which at least one of steering, braking, and driving of the host vehicle is automatically controlled by the driving support device 1. That is, the automatic driving in this specification includes not only the fully automatic driving in which all of the steering, braking and driving of the own vehicle are automatically controlled without involving the occupant (driver) but also the steering, braking and driving of the own vehicle. It includes driving assistance in which at least one of the drives is automatically controlled. The automatic driving may be preceding vehicle following control, inter-vehicle distance control, lane departure prevention control, or the like. On the other hand, the manual driving in this specification means a driving state in which all of steering, braking, and driving are operated by a driver's operation.

(第1実施形態)
本発明の第1実施形態に係る車両用表示装置は、図1に示すように、運転支援装置1の一部として実現される。運転支援装置1は、運転支援装置1を搭載する車両(以下、「自車両」と表記する)の周囲の走行環境に基づき自車両の自動運転制御を行う。自車両は、運転支援装置1による自動運転制御又は運転者の手動運転により走行可能である。
(First embodiment)
The vehicle display device according to the first embodiment of the present invention is realized as a part of the driving support device 1 as shown in FIG. The driving assistance device 1 performs automatic driving control of the own vehicle based on the traveling environment around the vehicle (hereinafter referred to as “own vehicle”) on which the driving assistance device 1 is mounted. The host vehicle can travel by automatic driving control by the driving support device 1 or by manual driving by the driver.

運転支援装置1は、周囲環境センサ群10、測位装置11、高精度地図記憶部12、車両センサ群20、コントローラ30、表示装置31及び車両制御アクチュエータ群40を備える。このうち、例えば、周囲環境センサ群10、測位装置11、高精度地図記憶部12、コントローラ30及び表示装置31が、本発明の第1実施形態に係る車両用表示装置を構成し得る。   The driving support device 1 includes an ambient environment sensor group 10, a positioning device 11, a high-precision map storage unit 12, a vehicle sensor group 20, a controller 30, a display device 31, and a vehicle control actuator group 40. Among these, for example, the ambient environment sensor group 10, the positioning device 11, the high-accuracy map storage unit 12, the controller 30, and the display device 31 may constitute the vehicle display device according to the first embodiment of the present invention.

周囲環境センサ群10は、自車両の周囲環境、例えば自車両の周囲の物体を検出するセンサ群である。周囲環境センサ群10は、測距装置13、カメラ14及び通信機15を含む。測距装置13及びカメラ14は、自車両の周囲に存在する車線境界線、交差点、信号機、停止位置等の地物、他車両や歩行者等の移動物体の位置、移動方向、速度、種類等の自車両の周囲環境のデータを検出する。   The ambient environment sensor group 10 is a sensor group that detects an ambient environment of the host vehicle, for example, an object around the host vehicle. The ambient environment sensor group 10 includes a distance measuring device 13, a camera 14, and a communication device 15. The distance measuring device 13 and the camera 14 include lane boundary lines, intersections, traffic lights, stop positions, etc. existing around the host vehicle, positions of moving objects such as other vehicles and pedestrians, moving directions, speeds, types, etc. The data of the surrounding environment of the vehicle is detected.

測距装置13は、例えば、レーザレンジファインダ(LRF)やレーダであってよい。カメラ14は、例えばステレオカメラであってよい。カメラ14は、単眼カメラであってもよく、単眼カメラにより複数の視点で同一の物体を撮影して、物体までの距離を計算してもよい。測距装置13とカメラ14は、検出した周囲環境の情報である周囲環境情報をコントローラ30へ出力する。通信機15は、他車両との車車間通信、路側機との路車間通信、又は交通情報センタとの通信等を行うことにより、他車両や歩行者等の移動物体の位置、移動方向、速度、種類等を自車両の周囲環境のデータとして受信し、受信した周囲環境のデータをコントローラ30へ出力する。   The distance measuring device 13 may be, for example, a laser range finder (LRF) or a radar. The camera 14 may be a stereo camera, for example. The camera 14 may be a monocular camera, and may capture the same object from a plurality of viewpoints using a monocular camera and calculate the distance to the object. The distance measuring device 13 and the camera 14 output the ambient environment information, which is the detected ambient environment information, to the controller 30. The communication device 15 performs vehicle-to-vehicle communication with other vehicles, road-to-vehicle communication with roadside devices, or communication with a traffic information center, etc., so that the position, moving direction, and speed of moving objects such as other vehicles and pedestrians are communicated. The type and the like are received as the surrounding environment data of the host vehicle, and the received surrounding environment data is output to the controller 30.

測位装置11は、自車両の現在位置を測定する。測位装置11は、例えば全地球測位システム(GPS)受信機であってよい。測位装置11は、GLONASS(Global Navigation Satellite System)等の他の衛星測位システムの衛星信号に基づき自車両の現在位置を測定してもよい。測位装置11は、慣性航法装置であってもよい。測位装置11は、自車両の現在位置の情報である測位情報をコントローラ30へ出力する。     The positioning device 11 measures the current position of the host vehicle. The positioning device 11 may be, for example, a global positioning system (GPS) receiver. The positioning device 11 may measure the current position of the host vehicle based on satellite signals of other satellite positioning systems such as GLONASS (Global Navigation Satellite System). The positioning device 11 may be an inertial navigation device. The positioning device 11 outputs positioning information, which is information on the current position of the host vehicle, to the controller 30.

高精度地図記憶部12に記憶される高精度地図情報は、例えば、従来のナビ地図情報よりも高精度の地図情報であり、道路単位の情報よりも詳細な車線単位の情報を含む。例えば、高精度地図情報は、車線単位の情報として、車線基準線(例えば中央の線)上の基準点を示す車線ノードの情報と、車線ノード間の車線の区間態様を示す車線リンクの情報を含む。車線ノードの情報は、その車線ノードの識別番号、位置座標、接続される車線リンク数、接続される車線リンクの識別番号を含む。車線リンクの情報は、その車線リンクの識別番号、車線の種類、車線境界線の種類、車線の形状、車線基準線の形状を含む。   The high-accuracy map information stored in the high-accuracy map storage unit 12 is, for example, map information with higher accuracy than conventional navigation map information, and includes lane-unit information that is more detailed than road-unit information. For example, the high-accuracy map information includes, as lane unit information, lane node information indicating a reference point on a lane reference line (for example, the center line) and lane link information indicating a lane section mode between lane nodes. Including. The lane node information includes the identification number of the lane node, the position coordinates, the number of connected lane links, and the identification number of the connected lane link. The lane link information includes an identification number of the lane link, a lane type, a lane boundary type, a lane shape, and a lane reference line shape.

高精度地図情報は、交差点の大きさ、形状を含む。高精度地図情報は、更に車線上又はその近傍に存在する信号機、停止線、標識、建物、電柱、縁石、横断歩道、壁等の地物の種類及び位置座標と、地物の位置座標に対応する車線ノードの識別番号及び車線リンクの識別番号等の地物の情報を含む。コントローラ30は、自車両の測位情報に基づき自車両の周囲の高精度地図情報を高精度地図記憶部12から読み出す。   The high-precision map information includes the size and shape of the intersection. High-precision map information further corresponds to the type and position coordinates of features such as traffic lights, stop lines, signs, buildings, utility poles, curbs, pedestrian crossings, walls, etc. that exist on or in the vicinity of the lane, and the position coordinates of the features It includes information on features such as the identification number of the lane node to be performed and the identification number of the lane link. The controller 30 reads high-accuracy map information around the host vehicle from the high-accuracy map storage unit 12 based on the positioning information of the host vehicle.

車両センサ群20は、車両の走行状態を検出するセンサと、運転者による運転操作を検出するセンサとを含む。車両の走行状態を検出するセンサは、車速センサ21、加速度センサ22及びジャイロセンサ23を含む。運転操作を検出するセンサは、操舵角センサ24、アクセルセンサ25及びブレーキセンサ26を含む。   The vehicle sensor group 20 includes a sensor that detects a traveling state of the vehicle and a sensor that detects a driving operation by the driver. Sensors that detect the traveling state of the vehicle include a vehicle speed sensor 21, an acceleration sensor 22, and a gyro sensor 23. Sensors that detect driving operations include a steering angle sensor 24, an accelerator sensor 25, and a brake sensor 26.

車速センサ21は、自車両の車輪速を検出し、車輪速に基づき自車両の速度を算出する。加速度センサ22は、自車両の前後方向の加速度、車幅方向の加速度及び上下方向の加速度を検出する。ジャイロセンサ23は、ロール軸、ピッチ軸及びヨー軸を含む3軸回りの自車両の回転角度の角速度を検出する。   The vehicle speed sensor 21 detects the wheel speed of the host vehicle and calculates the speed of the host vehicle based on the wheel speed. The acceleration sensor 22 detects the longitudinal acceleration, the vehicle width direction acceleration, and the vertical direction acceleration of the host vehicle. The gyro sensor 23 detects the angular velocity of the rotation angle of the host vehicle around three axes including the roll axis, the pitch axis, and the yaw axis.

操舵角センサ24は、操舵操作子であるステアリングホイールの現在の回転角度(操舵操作量)である現在操舵角を検出する。アクセルセンサ25は、車両のアクセル開度を検出する。例えばアクセルセンサ25は、車両のアクセルペダルの踏み込み量をアクセル開度として検出する。ブレーキセンサ26は、運転者によるブレーキ操作量を検出する。例えばブレーキセンサ26は、車両のブレーキペダルの踏み込み量をブレーキ操作量として検出する。車両センサ群20の各センサが検出した自車両の速度、加速度、角速度、操舵角、アクセル開度、ブレーキ操作量の情報を総称して「車両情報」と表記する。車両センサ群20は車両情報をコントローラ30へ出力する。   The steering angle sensor 24 detects a current steering angle that is a current rotation angle (a steering operation amount) of a steering wheel that is a steering operator. The accelerator sensor 25 detects the accelerator opening of the vehicle. For example, the accelerator sensor 25 detects the amount of depression of the accelerator pedal of the vehicle as the accelerator opening. The brake sensor 26 detects the amount of brake operation by the driver. For example, the brake sensor 26 detects the depression amount of the brake pedal of the vehicle as a brake operation amount. Information on the speed, acceleration, angular velocity, steering angle, accelerator opening, and brake operation amount of the host vehicle detected by each sensor of the vehicle sensor group 20 is collectively referred to as “vehicle information”. The vehicle sensor group 20 outputs vehicle information to the controller 30.

コントローラ30は、自車両の運転制御を行う電子制御ユニット(ECU)である。コントローラ30は、プロセッサ32と、記憶装置33等の周辺部品とを含む。プロセッサ32は、例えばCPU(Central Processing Unit)、やMPU(Micro-Processing Unit)であってよい。記憶装置33は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置33は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ30を実現してもよい。例えば、コントローラ30はフィールド・プログラマブル・ゲート・アレイ(FPGA)等のプログラマブル・ロジック・デバイス(PLD)等を有していてもよい。   The controller 30 is an electronic control unit (ECU) that controls the operation of the host vehicle. The controller 30 includes a processor 32 and peripheral components such as a storage device 33. The processor 32 may be, for example, a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit). The storage device 33 may include any one of a semiconductor storage device, a magnetic storage device, and an optical storage device. The storage device 33 may include a register, a cache memory, and a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory) used as a main storage device. The controller 30 may be realized by a functional logic circuit set in a general-purpose semiconductor integrated circuit. For example, the controller 30 may include a programmable logic device (PLD) such as a field programmable gate array (FPGA).

コントローラ30は、自車両の自動運転制御が実行される自動運転モードと、操舵、制動及び駆動のすべてが運転者により操作される手動運転モードを切り替え可能である。自動運転モードでは、コントローラ30は、周囲環境センサ群10から入力した周囲環境情報と、車両センサ群20から入力した車両情報とに基づき、自車両を走行させる走行軌跡を生成する。コントローラ30は、生成した走行軌跡を自車両が走行するように車両制御アクチュエータ群40を駆動して自動的に車両を走行させる。なお、コントローラ30は、周囲環境情報及び車両情報に加えて、測位装置11から入力した測位情報と、高精度地図記憶部12から読み出した高精度地図情報とに基づき走行軌跡を生成してもよい。   The controller 30 can switch between an automatic driving mode in which automatic driving control of the host vehicle is executed and a manual driving mode in which all of steering, braking and driving are operated by the driver. In the automatic operation mode, the controller 30 generates a travel locus for running the host vehicle based on the ambient environment information input from the ambient environment sensor group 10 and the vehicle information input from the vehicle sensor group 20. The controller 30 automatically drives the vehicle by driving the vehicle control actuator group 40 so that the host vehicle travels along the generated travel locus. Note that the controller 30 may generate a travel locus based on the positioning information input from the positioning device 11 and the high-accuracy map information read from the high-accuracy map storage unit 12 in addition to the surrounding environment information and the vehicle information. .

車両制御アクチュエータ群40は、コントローラ30からの制御信号に応じて、自車両のステアリングホイール、アクセル開度及びブレーキ装置を操作して、自車両の車両挙動を発生させる。車両制御アクチュエータ群40は、ステアリングアクチュエータ41、アクセル開度アクチュエータ42及びブレーキ制御アクチュエータ43を備える。ステアリングアクチュエータ41は、自車両のステアリングの操舵方向及び操舵量を制御する。アクセル開度アクチュエータ42は、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータ43は、自車両のブレーキ装置の制動動作を制御する。   The vehicle control actuator group 40 operates the steering wheel, the accelerator opening degree, and the brake device of the host vehicle according to the control signal from the controller 30 to generate the vehicle behavior of the host vehicle. The vehicle control actuator group 40 includes a steering actuator 41, an accelerator opening actuator 42, and a brake control actuator 43. The steering actuator 41 controls the steering direction and amount of steering of the host vehicle. The accelerator opening actuator 42 controls the accelerator opening of the host vehicle. The brake control actuator 43 controls the braking operation of the brake device of the host vehicle.

一方、手動運転モードでは、コントローラ30は、例えば、車両センサ群20により検出された操舵角、アクセル開度及びブレーキ操作量に応じて車両制御アクチュエータ群40を駆動して、運転者の操作に応じた車両挙動を発生させる。コントローラ30は、乗員の操作を検出することにより、自動運転モードを終了し、手動運転モードに切り替えるようにしてもよい。   On the other hand, in the manual operation mode, the controller 30 drives the vehicle control actuator group 40 according to the steering angle, the accelerator opening, and the brake operation amount detected by the vehicle sensor group 20, for example, according to the driver's operation. Vehicle behavior is generated. The controller 30 may end the automatic operation mode and switch to the manual operation mode by detecting the operation of the occupant.

さらに、コントローラ30は、自車両の周囲の情報を運転者に知らせるHMI(Human Machine Interface)画像を生成する。例えば、自車両が自動運転中に走行経路Rに沿って走行中であり、交差点を左折する場面において、HMI画像Gは、図2に示すように生成される。表示画像Gは、自車両の表示(自車両アイコン)H、走行経路の表示R、走行車線の表示K、車線境界線の表示J等を含んでよい。図示を省略するが、HMI画像Gは、自車両の周囲に他車両が有る場合には、他車両の表示(他車両アイコン)を含んでよい。   Further, the controller 30 generates an HMI (Human Machine Interface) image that informs the driver of information around the host vehicle. For example, the HMI image G is generated as shown in FIG. 2 when the host vehicle is traveling along the travel route R during automatic driving and turns left at an intersection. The display image G may include a display (own vehicle icon) H of the host vehicle, a display R of the travel route, a display K of the travel lane, a display J of the lane boundary line, and the like. Although illustration is omitted, the HMI image G may include a display of another vehicle (another vehicle icon) when there is another vehicle around the host vehicle.

HMI画像Gは、例えば、自車両に対する所定の位置に設定され、所定の画角(視野)を有する仮想視点から見た画像である。仮想視点は、自車両を基準とする仮想空間に設定された視点である。仮想視点からの視線方向は、主として自車両側に向けられる。HMI画像Gは、自車両の斜め上方に設定された仮想視点から自車両を見る鳥瞰図であってもよく、自車両の直上に設定された仮想視点から自車両を見る俯瞰図であってもよい。HMI画像Gは、コンピュータグラフィックス(CG)画像等の仮想画像を含んでもよく、カメラ14等により撮像された実環境の画像を含んでもよい。   The HMI image G is an image viewed from a virtual viewpoint that is set at a predetermined position with respect to the host vehicle and has a predetermined angle of view (field of view), for example. The virtual viewpoint is a viewpoint set in a virtual space based on the host vehicle. The line-of-sight direction from the virtual viewpoint is mainly directed toward the own vehicle. The HMI image G may be a bird's-eye view of viewing the host vehicle from a virtual viewpoint set obliquely above the host vehicle, or may be a bird's-eye view of viewing the host vehicle from a virtual viewpoint set immediately above the host vehicle. . The HMI image G may include a virtual image such as a computer graphics (CG) image, or may include an image of a real environment captured by the camera 14 or the like.

コントローラ30は、生成したHMI画像を表示装置31に表示する。表示装置31は、例えば自車両に搭載されたナビゲーション装置のディスプレイ装置であってもよく、自車両のメータパネルに配置されたディスプレイ装置であってもよく、ヘッドアップディスプレイ(HUD)装置でもよい。   The controller 30 displays the generated HMI image on the display device 31. The display device 31 may be, for example, a display device of a navigation device mounted on the host vehicle, a display device arranged on a meter panel of the host vehicle, or a head-up display (HUD) device.

コントローラ30は、図3に示すように、自車位置算出部50、交差点検出部51、交差点情報検出部52、仮想視点演算部53、表示画像描画部54、HMI描画部55及び画像合成部56を備える。自車位置算出部50、交差点検出部51、交差点情報検出部52、仮想視点演算部53、表示画像描画部54、HMI描画部55及び画像合成部56の機能は、コントローラ30のプロセッサ32が、記憶装置33に格納されたコンピュータプログラムを実行することによって実現されてよい。   As shown in FIG. 3, the controller 30 includes a host vehicle position calculation unit 50, an intersection detection unit 51, an intersection information detection unit 52, a virtual viewpoint calculation unit 53, a display image drawing unit 54, an HMI drawing unit 55, and an image composition unit 56. Is provided. The functions of the vehicle position calculation unit 50, the intersection detection unit 51, the intersection information detection unit 52, the virtual viewpoint calculation unit 53, the display image drawing unit 54, the HMI drawing unit 55, and the image composition unit 56 are performed by the processor 32 of the controller 30. It may be realized by executing a computer program stored in the storage device 33.

自車位置算出部50は、測位装置11により得られた測位情報と、高精度地図記憶部12に記憶された高精度地図情報とに基づき、高精度地図情報上の自車両の現在位置を算出する。   The own vehicle position calculation unit 50 calculates the current position of the own vehicle on the high-accuracy map information based on the positioning information obtained by the positioning device 11 and the high-accuracy map information stored in the high-accuracy map storage unit 12. To do.

交差点検出部51は、高精度地図記憶部12に記憶された高精度地図情報と、自車位置算出部50により算出された現在位置とから、自車両が進入する予定の交差点を検出する。交差点検出部51は、自車両の進行方向における直近の交差点を検出してもよく、自車両の進行方向において自車両の現在位置から所定の距離範囲内の交差点を検出してもよい。或いは、自車両の現在位置から目的地までの走行経路が設定されている場合には、交差点検出部51は、走行経路上に存在する交差点を検出するようにしてもよい。   The intersection detection unit 51 detects an intersection where the host vehicle is scheduled to enter from the high accuracy map information stored in the high accuracy map storage unit 12 and the current position calculated by the host vehicle position calculation unit 50. The intersection detection unit 51 may detect the nearest intersection in the traveling direction of the host vehicle, or may detect an intersection within a predetermined distance range from the current position of the host vehicle in the traveling direction of the host vehicle. Alternatively, when a travel route from the current position of the host vehicle to the destination is set, the intersection detection unit 51 may detect an intersection existing on the travel route.

交差点情報検出部52は、交差点検出部51により検出された交差点に関する交差点情報を検出する。交差点情報は、交差点の大きさ、交差点における注意対象を含む。交差点情報検出部52は、例えば、高精度地図記憶部12に記憶された高精度地図情報から、注意対象として、交差点、交差点における車両用の停止位置、横断歩道、信号機等を検出する。交差点情報検出部52は、高精度地図情報の代わりに、測距装置13、カメラ14及び通信機15の少なくともいずれかを用いて注意対象を検出するようにしてもよい。その他、交差点情報検出部52は、周囲環境センサ群10を用いて、交差点に進入する他車両、自車両の周囲の他車両、交差点又は自車両の周囲の歩行者等を注意対象として検出するようにしてもよい。   The intersection information detection unit 52 detects intersection information regarding the intersection detected by the intersection detection unit 51. The intersection information includes the size of the intersection and the attention object at the intersection. For example, the intersection information detection unit 52 detects an intersection, a stop position for a vehicle at the intersection, a pedestrian crossing, a traffic light, and the like as a target of attention from the high-accuracy map information stored in the high-accuracy map storage unit 12. The intersection information detection unit 52 may detect the attention object using at least one of the distance measuring device 13, the camera 14, and the communication device 15 instead of the high-precision map information. In addition, the intersection information detection unit 52 uses the surrounding environment sensor group 10 to detect other vehicles entering the intersection, other vehicles around the own vehicle, intersections, pedestrians around the own vehicle, and the like as caution targets. It may be.

仮想視点演算部53は、交差点情報検出部52により検出された注意対象を含む画像となるような仮想視点の位置である目標位置を設定する。換言すれば、目標位置に位置する仮想視点から見える画像には、交差点情報検出部52により検出された注意対象が含まれる。例えば注意対象が交差点の場合、仮想視点Xの目標位置の高さは、交差点の大きさによって異なる。仮想視点演算部53は、車両に対する仮想視点の現在位置(基準位置)から目標位置まで移動する仮想視点の軌跡を算出する。基準位置から目標位置まで移動する間、仮想視点から見た画像には常に自車両の表示Hが含まれ得る。また、目標位置cは、自車両Vから注意対象までの距離に基づいて設定されるようにしてもよい。仮想視点は、例えば視線方向が常に自車両に向けられ、自車両を回転中心とし、自車両の水平方向に対する角度及び自車両までの距離を変更することにより、移動される。   The virtual viewpoint calculation unit 53 sets a target position that is the position of the virtual viewpoint that is an image including the attention object detected by the intersection information detection unit 52. In other words, the image seen from the virtual viewpoint located at the target position includes the attention object detected by the intersection information detection unit 52. For example, when the attention object is an intersection, the height of the target position of the virtual viewpoint X varies depending on the size of the intersection. The virtual viewpoint calculation unit 53 calculates the locus of the virtual viewpoint that moves from the current position (reference position) of the virtual viewpoint to the vehicle to the target position. While moving from the reference position to the target position, the image viewed from the virtual viewpoint can always include the display H of the host vehicle. Further, the target position c may be set based on the distance from the host vehicle V to the attention object. The virtual viewpoint is moved, for example, by changing the angle of the host vehicle with respect to the horizontal direction and the distance to the host vehicle, with the line-of-sight direction always directed toward the host vehicle, with the host vehicle as the center of rotation.

表示画像描画部54は、仮想視点演算部53により算出された軌跡に沿って仮想視点を移動させ、基準位置から目標位置までの間に仮想視点から見える表示画像を逐次描画する。表示画像描画部54は、例えば、高精度地図記憶部12に記憶された高精度地図情報に基づいて、2次元又は3次元の仮想空間に、予め決定されたアイコンやテクスチャを用いて、自車両周辺の道路、車線境界線、横断報道及び信号機等の地物を描画する。表示画像描画部54は、周囲環境センサ群10により検出された周囲環境のデータに基づいて、地物が描画された仮想空間に、他車両や歩行者等の移動物体と、自車両とを重ねて描画する。更に、表示画像描画部54は、基準位置から目標位置まで移動する間に仮想視点から仮想空間を見た表示画像を逐次描画する。   The display image drawing unit 54 moves the virtual viewpoint along the trajectory calculated by the virtual viewpoint calculation unit 53, and sequentially draws the display image seen from the virtual viewpoint between the reference position and the target position. The display image drawing unit 54 uses, for example, a predetermined icon or texture in a two-dimensional or three-dimensional virtual space on the basis of the high-accuracy map information stored in the high-accuracy map storage unit 12. Draw features such as surrounding roads, lane boundaries, crossing reports and traffic lights. The display image drawing unit 54 superimposes a moving object such as another vehicle or a pedestrian and the own vehicle on the virtual space in which the feature is drawn based on the data of the surrounding environment detected by the surrounding environment sensor group 10. And draw. Further, the display image drawing unit 54 sequentially draws a display image in which the virtual space is viewed from the virtual viewpoint while moving from the reference position to the target position.

表示画像描画部54は、カメラ14により撮像された実環境の画像の歪みを補正して、自車両を基準とする2次元又は3次元の投影面にマッピングし、基準位置から目標位置まで移動する間に仮想視点から投影面を見た表示画像を逐次描画するようにしてもよい。実環境の画像は、カメラ14の他、例えば、路側機に設けられたカメラや他車両のカメラから、通信機15を介して取得されてもよい。或いは、表示画像描画部54は、仮想視点から見た表示画像として、仮想画像と実環境の画像とが混在する画像を描画するようにしてもよい。例えば、表示画像描画部54は、路側機に設けられたカメラにより取得された交差点周辺の地物の画像と、周囲環境センサ群10により検出された他車両や歩行者等の移動物体のアイコンとを用いて、仮想視点から見える表示画像を描画するようにしてもよい。   The display image drawing unit 54 corrects the distortion of the image of the real environment captured by the camera 14, maps it to a two-dimensional or three-dimensional projection plane based on the host vehicle, and moves from the reference position to the target position. In the meantime, it is possible to sequentially draw a display image when the projection plane is viewed from a virtual viewpoint. The image of the real environment may be acquired via the communication device 15 from, for example, a camera provided on a roadside device or a camera of another vehicle in addition to the camera 14. Alternatively, the display image drawing unit 54 may draw an image in which a virtual image and a real environment image are mixed as a display image viewed from a virtual viewpoint. For example, the display image drawing unit 54 includes an image of a feature around an intersection acquired by a camera provided in a roadside machine, and an icon of a moving object such as another vehicle or a pedestrian detected by the surrounding environment sensor group 10. May be used to draw a display image that can be seen from a virtual viewpoint.

HMI描画部55は、例えば、自車両の後方且つ上方の位置(基準位置)に設定された仮想視点から自車両の前方を見たHMI画像(図2参照)を、自車両の現在位置及び高精度地図情報に基づいて描画する。HMI描画部55は、自車両の進行に伴い、自車両の前方の状況を示すHMI画像を逐次生成する。   For example, the HMI drawing unit 55 displays an HMI image (see FIG. 2) in which the front of the host vehicle is viewed from the virtual viewpoint set at the rear and upper position (reference position) of the host vehicle. Draw based on the accuracy map information. The HMI drawing unit 55 sequentially generates an HMI image indicating a situation ahead of the host vehicle as the host vehicle progresses.

このように、表示画像描画部54及びHMI描画部55は、高精度地図記憶部12に着御講された高精度地図情報を用いることにより、自車両と、周囲環境センサ群10等により検出された他車両等の移動物体との時々刻々の位置関係を表現することが可能となる。   As described above, the display image drawing unit 54 and the HMI drawing unit 55 are detected by the own vehicle, the ambient environment sensor group 10 and the like by using the high-precision map information received by the high-precision map storage unit 12. In addition, it is possible to express a positional relationship with a moving object such as another vehicle every moment.

画像合成部56は、表示画像描画部54により描画された表示画像と、HMI描画部55により描画されたHMI画像とを互いに対応するように合成し、表示装置31に出力する。画像合成部56は、例えば、表示画像描画部54が表示画像を描画していない間はHMI画像を表示装置31に出力し、表示画像描画部54が表示画像を描画している間は表示画像を表示装置31に出力する。画像合成部56により合成された画像は、連続的に移動する過程を含む1つの仮想視点から見た画像である。   The image composition unit 56 synthesizes the display image drawn by the display image drawing unit 54 and the HMI image drawn by the HMI drawing unit 55 so as to correspond to each other, and outputs them to the display device 31. For example, the image composition unit 56 outputs the HMI image to the display device 31 while the display image drawing unit 54 is not drawing the display image, and displays the display image while the display image drawing unit 54 is drawing the display image. Is output to the display device 31. The image synthesized by the image synthesis unit 56 is an image viewed from one virtual viewpoint including a process of continuously moving.

<車両用表示方法>
図4のフローチャートを参照しながら、本発明の第1実施形態に係る車両用表示装置による車両用表示方法の一例を説明する。
<Vehicle display method>
An example of the vehicle display method by the vehicle display device according to the first embodiment of the present invention will be described with reference to the flowchart of FIG.

ステップS101において、コントローラ30は、自動運転中であるか否かを判定する。自動運転中でないと判定された場合は処理を完了し、自動運転中であると判定された場合はステップS102に移行する。   In step S101, the controller 30 determines whether or not automatic driving is in progress. If it is determined that the vehicle is not in automatic operation, the process is completed. If it is determined that automatic operation is being performed, the process proceeds to step S102.

ステップS102において、表示装置31は、例えば図2に示すように、通常時のHMI画像Gを表示する。即ち、HMI描画部55は、高精度地図情報及び自車両の現在位置に基づいて、自車両に対する相対的な仮想空間において、自車両の後方且つ上方の所定の位置に設定された仮想視点から自車両の前方を見た通常時のHMI画像を生成する。画像合成部56が、HMI描画部55により描画されたHMI画像を表示装置31に出力することにより、表示装置31は通常時のHMI画像を表示する。   In step S102, the display device 31 displays a normal HMI image G, for example, as shown in FIG. In other words, the HMI drawing unit 55 automatically determines from a virtual viewpoint set at a predetermined position behind and above the host vehicle in a virtual space relative to the host vehicle based on the high-precision map information and the current position of the host vehicle. A normal HMI image of the front of the vehicle is generated. When the image composition unit 56 outputs the HMI image drawn by the HMI drawing unit 55 to the display device 31, the display device 31 displays a normal HMI image.

ステップS103において、交差点検出部51は、高精度地図情報及び自車両の現在位置から、自車両の走行車線における自車両から所定の距離範囲内の交差点を検出することにより、自車両が進入する予定の交差点が接近したか否かを判定する。交差点が接近したと判定された場合はステップS104に進み、交差点が接近していないと判定された場合はステップS102に戻る。   In step S103, the intersection detection unit 51 detects the intersection within a predetermined distance range from the own vehicle in the traveling lane of the own vehicle from the high-accuracy map information and the current position of the own vehicle, so that the own vehicle is scheduled to enter. It is determined whether or not the intersection of If it is determined that the intersection is approaching, the process proceeds to step S104. If it is determined that the intersection is not approaching, the process returns to step S102.

ステップS104において、交差点情報検出部52は、ステップS103で検出された交差点に関する交差点情報を検出する。交差点情報検出部52は、高精度地図記憶部12に記憶された高精度地図情報から、交差点の大きさ、交差点における注意対象を検出する。交差点の注意対象は、交差点、交差点における車両用の停止位置、横断歩道、信号機等を採用可能である。   In step S104, the intersection information detection unit 52 detects intersection information regarding the intersection detected in step S103. The intersection information detection unit 52 detects the size of the intersection and the attention object at the intersection from the high accuracy map information stored in the high accuracy map storage unit 12. As an attention object of an intersection, an intersection, a stop position for a vehicle at the intersection, a pedestrian crossing, a traffic light, or the like can be adopted.

ステップS105において、交差点情報検出部52は、周囲環境センサ群10を用いて、自車両の周囲の他車両を周囲状況として検出する。交差点情報検出部52は、例えばカメラ14により取得された画像に基づいて、自車両から所定の距離範囲に存在する他車両の位置を検出する。   In step S105, the intersection information detection unit 52 uses the surrounding environment sensor group 10 to detect other vehicles around the host vehicle as the surrounding situation. The intersection information detection unit 52 detects the position of another vehicle existing within a predetermined distance range from the host vehicle based on, for example, an image acquired by the camera 14.

ステップS106において、仮想視点演算部53は、ステップS105の他車両の検出結果に基づいて、自車両の周囲に他車両が存在するか否かを判定する。仮想視点演算部53は、自車両の進行方向車線を走行する他車両が自車両の周囲に存在するか否かを判定するようにしてもよい。自車両の周囲に他車両が存在しない場合、ステップS107に進み、周囲に他車両が存在する場合、ステップS109に進む。   In step S106, the virtual viewpoint calculation unit 53 determines whether there is another vehicle around the host vehicle based on the detection result of the other vehicle in step S105. The virtual viewpoint calculation unit 53 may determine whether another vehicle that travels in the traveling lane of the host vehicle exists around the host vehicle. If there is no other vehicle around the host vehicle, the process proceeds to step S107. If another vehicle exists around the host vehicle, the process proceeds to step S109.

ステップS107において、仮想視点演算部53は、ステップS103で検出された交差点に対応する範囲の画像となる仮想視点の高さを算出し、目標位置として設定する。仮想視点は、自車両に対する相対的な仮想空間において、自車両の上方に設定される。仮想視点演算部53は、ステップS102で表示したHMI画像の仮想視点の位置(基準位置)から、ステップS107で設定された目標位置まで移動する仮想視点の軌跡を算出する。仮想視点の移動軌跡は、例えば、移動前の基準位置から目標位置まで、常に視野に自車両が含まれるように線形に算出される。   In step S107, the virtual viewpoint calculation unit 53 calculates the height of the virtual viewpoint that becomes an image in the range corresponding to the intersection detected in step S103, and sets it as the target position. The virtual viewpoint is set above the host vehicle in a virtual space relative to the host vehicle. The virtual viewpoint calculation unit 53 calculates the locus of the virtual viewpoint that moves from the virtual viewpoint position (reference position) of the HMI image displayed in step S102 to the target position set in step S107. For example, the movement locus of the virtual viewpoint is calculated linearly so that the vehicle is always included in the field of view from the reference position before the movement to the target position.

例えば図5に示すように、仮想視点Xの軌跡は、基準位置aから、自車両Vの真上の位置d、更に上方の位置cに順に移動する軌跡であってもよい。仮想視点Xの軌跡の始点となる基準位置aは、自車両Vを基準とする仮想空間において、自車両Vの後方且つ上方に設定される。位置dは、自車両Vまでの距離を基準位置aから維持した状態で、例えば自車両Vを回転中心として仮想視点Xの視線方向(例えば画角の中心線)と自車両Vの水平方向(ヨー軸に直交する平面方向)とがなす角を約90°になるように仮想視点Xを回転させた位置である。位置cは、仮想視点Xの軌跡の終点であり、目標位置である。   For example, as shown in FIG. 5, the trajectory of the virtual viewpoint X may be a trajectory that sequentially moves from the reference position a to a position d just above the host vehicle V and further to a position c above. The reference position a that is the starting point of the trajectory of the virtual viewpoint X is set behind and above the host vehicle V in a virtual space with the host vehicle V as a reference. The position d is a state in which the distance to the host vehicle V is maintained from the reference position a. For example, the view direction of the virtual viewpoint X (for example, the center line of the angle of view) and the horizontal direction ( This is the position where the virtual viewpoint X is rotated so that the angle formed by the plane direction perpendicular to the yaw axis is about 90 °. The position c is the end point of the trajectory of the virtual viewpoint X and is the target position.

ステップS108において、表示画像描画部54は、ステップS107で算出した移動軌跡に沿って仮想視点を目標位置に移動させる。表示画像描画部54は、基準位置から目標位置までの間に仮想視点から見える表示画像を逐次描画する。目標地点に到達した仮想視点から見える表示画像は、ステップS104で検出した交差点の全領域及び交差点における注意対象を含む。   In step S108, the display image drawing unit 54 moves the virtual viewpoint to the target position along the movement locus calculated in step S107. The display image drawing unit 54 sequentially draws a display image that can be seen from the virtual viewpoint between the reference position and the target position. The display image seen from the virtual viewpoint that has reached the target point includes the entire area of the intersection detected in step S104 and the attention object at the intersection.

例えば図6に示すように、自車両Vが交差点P1に進入する場面において、交差点情報検出部52は、交差点P1の全領域と、交差点P1における停止位置(停止線)T1,T2とを注意対象として検出する。この場合、仮想視点演算部53は、自車両Vが交差点P1の手前に位置するとき、表示画像が交差点P1及び停止位置T1,T2を包含する範囲Q1に対応するように、仮想視点の目標位置を設定する。表示装置31に表示される画像は、通常時のHMI画像から、仮想視点の移動に伴い連続的に範囲Q1に対応する表示画像に変化する。   For example, as shown in FIG. 6, in a scene where the host vehicle V enters the intersection P1, the intersection information detection unit 52 pays attention to the entire area of the intersection P1 and the stop positions (stop lines) T1 and T2 at the intersection P1. Detect as. In this case, when the host vehicle V is positioned in front of the intersection P1, the virtual viewpoint calculation unit 53 sets the target position of the virtual viewpoint so that the display image corresponds to the range Q1 including the intersection P1 and the stop positions T1 and T2. Set. The image displayed on the display device 31 continuously changes from a normal HMI image to a display image corresponding to the range Q1 as the virtual viewpoint moves.

図7に示すように、交差点P2に進入する車線の全てに停止位置T1〜T4が設けられている場合、停止位置T1〜T4注意対象として検出し、全ての停止位置T1〜T4を包含する範囲Q2に対応する表示画像となるように、仮想視点の目標位置が設定されてよい。注意対象は、交差点P2の横断歩道U1〜U4の全てを含むようにしてもよく、交差点P2の周囲の他車両Fを含むようにしてもよい。また、各横断歩道U1〜U4は、必ずしも全ての範囲を注意対象としなくてもよい。例えば、自車両Vに走行経路Rが設定されている場合、自車両が交差点P2から退出する車線に対応する範囲を選択的に注意対象としてもよい。更に、注意対象は、歩行者の移動方向及び速度と自車両Vの進行方向とに基づいて算出される、自車両Vと歩行者とが接近する箇所を含んでもよい。   As shown in FIG. 7, when stop positions T1 to T4 are provided in all the lanes entering the intersection P2, it is detected as the stop positions T1 to T4 as caution targets and includes all the stop positions T1 to T4. The target position of the virtual viewpoint may be set so that a display image corresponding to Q2 is obtained. The attention object may include all of the pedestrian crossings U1 to U4 of the intersection P2, or may include other vehicles F around the intersection P2. In addition, the pedestrian crossings U1 to U4 do not necessarily have to cover the entire range. For example, when the travel route R is set for the host vehicle V, a range corresponding to a lane where the host vehicle exits from the intersection P2 may be selectively set as a target of attention. Further, the attention object may include a place where the host vehicle V and the pedestrian approach, which are calculated based on the moving direction and speed of the pedestrian and the traveling direction of the host vehicle V.

ステップS109において、仮想視点演算部53は、自車両の周囲に他車両が存在する場合の仮想視点の移動軌跡を算出する。ステップS109では、図5に示すように、自車両Vの周囲に先行車W1や後続車W2の他車両が存在する。この場合、仮想視点Xが位置dのときに、先行車W1及び後続車W2が仮想視点Xの画角θから一旦フレームアウトしてしまう可能性がある。これにより、乗員は、運転支援装置1が他車両を認識しているか不安になったり、違和感を覚えたりする可能性がある。更に乗員は、再びフレームインした他車両とフレームアウト前の他車両とが同一の車両であることを認識できなくなる可能性がある。   In step S109, the virtual viewpoint calculation unit 53 calculates a movement locus of the virtual viewpoint when there is another vehicle around the host vehicle. In step S109, as shown in FIG. 5, there are other vehicles in the vicinity of the host vehicle V, the preceding vehicle W1 and the following vehicle W2. In this case, when the virtual viewpoint X is at the position d, there is a possibility that the preceding vehicle W1 and the succeeding vehicle W2 once out of the frame from the angle of view θ of the virtual viewpoint X. Thereby, a passenger | crew may become anxious whether the driving assistance device 1 recognizes another vehicle, or may feel uncomfortable. Furthermore, there is a possibility that the occupant cannot recognize that the other vehicle that has entered the frame again and the other vehicle before the frame out are the same vehicle.

これに対して、仮想視点演算部53は、図8に示すように、通常時のHMI画像の仮想視点Xの位置である基準位置aから、一旦後方の位置bに移動した次に目標位置cに移動する軌跡を算出する。詳細には、位置bは、基準位置aのときの仮想視点Xの視線方向と自車両Vの水平方向とがなす角を維持した状態で、自車両Vまでの距離を長くした(ズームアウトした)位置である。目標位置cは、自車両Vまでの距離を位置bのときから維持した状態で、仮想視点Xの視線方向と自車両Vの水平方向とがなす角を約90°まで大きくした位置である。これにより、先行車W1及び後続車W2が画角内に連続して含まれる時間が長くなるため、同一の車両を連続して把握することが容易になる。   On the other hand, as shown in FIG. 8, the virtual viewpoint calculation unit 53 temporarily moves from the reference position a, which is the position of the virtual viewpoint X of the normal HMI image, to the rear position b, and then the target position c. The trajectory to move to is calculated. More specifically, the position b is increased in the distance to the host vehicle V (zoomed out) while maintaining the angle formed by the line-of-sight direction of the virtual viewpoint X at the reference position a and the horizontal direction of the host vehicle V. ) Position. The target position c is a position where the angle formed by the line-of-sight direction of the virtual viewpoint X and the horizontal direction of the host vehicle V is increased to about 90 ° while maintaining the distance to the host vehicle V from the position b. As a result, the time during which the preceding vehicle W1 and the succeeding vehicle W2 are continuously included in the angle of view becomes long, so that it is easy to grasp the same vehicle continuously.

特に、コントローラ30が先行車追従制御を含む自動運転を行っている場合、先行車W1が画角内に継続して含まれることにより、乗員は、先行車W1を示す表示画像を表示装置31により視認することができる。このため、乗員は運転支援装置1が先行車W1を認識していることを把握でき、自動運転に対する不安や違和感を低減することができる。同様に、コントローラ30が合流等の場面において自動運転を行っている場合、後続車W2が画角内に含まれることにより、乗員は運転支援装置1が先行車W1を認識していることを把握でき、自動運転に対する不安や違和感を低減することができる。更に、乗員は、表示画像により周囲状況を良好に把握できるため、運転支援装置1による自動運転制御が乗員の意図と異なる場合、即座に自車両Vの運転操作を行うことにより手動運転を開始することができる。   In particular, when the controller 30 performs automatic driving including preceding vehicle following control, the preceding vehicle W1 is continuously included in the angle of view, so that the occupant can display a display image indicating the preceding vehicle W1 on the display device 31. It can be visually recognized. For this reason, the occupant can grasp that the driving support apparatus 1 recognizes the preceding vehicle W1, and can reduce anxiety and uncomfortable feeling about the automatic driving. Similarly, when the controller 30 performs automatic driving in a scene such as merging, the occupant grasps that the driving support device 1 recognizes the preceding vehicle W1 by including the following vehicle W2 within the angle of view. It is possible to reduce anxiety and uncomfortable feeling about automatic driving. Furthermore, since the occupant can better understand the surrounding situation from the display image, if the automatic driving control by the driving support device 1 is different from the occupant's intention, the driver immediately starts the driving operation by operating the host vehicle V. be able to.

このように算出された軌跡に沿って仮想視点Xを移動させるように、ステップS110において、表示画像描画部54は、仮想視点Xを後方の位置bに移動させ、ステップS111において、仮想視点Xを目標位置cに移動させる。仮想視点Xの視線方向は常に自車両V側に向けられる。表示画像描画部54は、基準位置aから目標位置cまでの間に仮想視点Xから見える表示画像を逐次描画する。   In step S110, the display image drawing unit 54 moves the virtual viewpoint X to the rear position b so as to move the virtual viewpoint X along the locus calculated in this way, and in step S111, the virtual viewpoint X is moved. Move to the target position c. The line-of-sight direction of the virtual viewpoint X is always directed toward the host vehicle V side. The display image drawing unit 54 sequentially draws a display image that can be seen from the virtual viewpoint X between the reference position a and the target position c.

なお、ステップS109〜S111の一連の処理は、必ずしも実行される必要はない。例えば図9に示すように、自車両Vの先行車W1までの距離が短い場合、仮想視点Xは、例えば、基準位置a、位置e、目標位置cを通る直線状の軌跡に沿って移動されてもよい。即ち、仮想視点Xの移動軌跡は、仮想視点Xが目標位置cに移動するまでの間、先行車W1又は後続車W2が画角内に連続して含まれるような軌跡であればよい。   Note that the series of processes in steps S109 to S111 are not necessarily executed. For example, as shown in FIG. 9, when the distance of the host vehicle V to the preceding vehicle W1 is short, the virtual viewpoint X is moved along, for example, a linear trajectory passing through the reference position a, the position e, and the target position c. May be. That is, the movement locus of the virtual viewpoint X may be a locus in which the preceding vehicle W1 or the following vehicle W2 is continuously included in the angle of view until the virtual viewpoint X moves to the target position c.

ステップS112において、ステップS106に検出された他車両が自車両Vの前方に存在するか否かを判定する。他車両が自車両Vの前方である場合、ステップS116に進み、後方である場合、ステップS113に進む。他車両が自車両Vの前方及び後方の両方に存在する場合、乗員の操作によりいずれかを選択するようにしてもよく、自車両Vに最も接近する他車両が前方か否かを判定するようにしてもよい。   In step S112, it is determined whether or not the other vehicle detected in step S106 exists in front of the host vehicle V. If the other vehicle is in front of the host vehicle V, the process proceeds to step S116. If the other vehicle is behind, the process proceeds to step S113. When another vehicle exists both in front and behind the host vehicle V, either one may be selected by the operation of the occupant, and it is determined whether or not the other vehicle closest to the host vehicle V is the front. It may be.

ステップS113において、表示画像描画部54は、目標位置cに到達した仮想視点Xから見た表示画像を、表示画像と鏡像対称性を有する鏡像画像に変換する。即ち、ステップS114において、仮想視点Xから見た画像を上下反転させることにより、鏡像画像が生成される。   In step S113, the display image drawing unit 54 converts the display image viewed from the virtual viewpoint X reaching the target position c into a mirror image having mirror image symmetry with the display image. That is, in step S114, the image viewed from the virtual viewpoint X is turned upside down to generate a mirror image.

ステップS115において、表示画像描画部54は、仮想視点Xを自車両Vの前方に移動させる。仮想視点Xは、例えば図10に示すように、目標位置cから、自車両Vの前方の位置fに移動した後、自車両Vに近い位置gに移動し、自車両Vの後方に向けられる。詳細には、位置fは、例えば自車両Vを回転中心として仮想視点Xを目標位置cから自車両Vの前方に回転させた位置である。位置gは、自車両Vまでの距離を位置fから短くした距離である。位置g及び位置fは、仮想視点Xから見た表示画像がステップS104で検出された注意対象を含むように設定されてもよい。基準位置a及び位置g、位置b及び位置fのそれぞれは、自車両Vを通り、自車両Vの前後方向に直交する平面に関して鏡像対称性を有するようにしてもよい。   In step S115, the display image drawing unit 54 moves the virtual viewpoint X to the front of the host vehicle V. For example, as shown in FIG. 10, the virtual viewpoint X moves from a target position c to a position f in front of the host vehicle V, then moves to a position g near the host vehicle V, and is directed to the rear of the host vehicle V. . Specifically, the position f is, for example, a position obtained by rotating the virtual viewpoint X from the target position c to the front of the host vehicle V with the host vehicle V as the center of rotation. The position g is a distance obtained by shortening the distance to the host vehicle V from the position f. The position g and the position f may be set so that the display image viewed from the virtual viewpoint X includes the attention object detected in step S104. Each of the reference position a and the position g, the position b and the position f may pass through the host vehicle V and have mirror image symmetry with respect to a plane orthogonal to the front-rear direction of the host vehicle V.

仮に、図11に示すように、仮想視点Xが、基準位置aから、例えば自車両Vを回転中心として自車両Vの前方に回転させることにより、位置d、位置hに順に移動する合、後続車W2は、仮想視点Xが位置hに到達するまで完全に表示画像に映らない可能性がある。これに対して、表示画像描画部54は、図10に示すように、仮想視点Xが位置bから位置gに移動するまでの間、継続して後続車W2を表示画像含めることが可能となる。更に、表示画像は、ルームミラーに映る鏡像のような画像となり、乗員は、自車両Vの後方の状況を把握することが容易になる。これにより、例えば運転支援装置1が自動運転中の場合、乗員は運転支援装置1が後続車W2を認識していることを容易に把握でき、自動運転に対する不安や違和感を低減することができる。   As shown in FIG. 11, when the virtual viewpoint X moves from the reference position a to the position d and the position h in order by rotating the vehicle V in front of the host vehicle V around the rotation center, for example, The car W2 may not be completely reflected in the display image until the virtual viewpoint X reaches the position h. On the other hand, as shown in FIG. 10, the display image drawing unit 54 can continuously include the display image of the subsequent vehicle W2 until the virtual viewpoint X moves from the position b to the position g. . Further, the display image is an image like a mirror image reflected in the rearview mirror, and the occupant can easily grasp the situation behind the host vehicle V. Thereby, for example, when the driving assistance device 1 is in automatic driving, the occupant can easily grasp that the driving assistance device 1 recognizes the following vehicle W2, and can reduce anxiety and discomfort with respect to the automatic driving.

ステップS116において、表示画像描画部54は、移動が完了した状態で仮想視点Xを保持する。   In step S116, the display image drawing unit 54 holds the virtual viewpoint X in a state where the movement is completed.

ステップS117において、表示画像描画部54は、高精度地図情報及び自車両Vの現在位置から、ステップS103で検出した交差点を通過したか否かを判定する。交差点を通過したと判定する場合、ステップS118に進み、未だ交差点を通過しないと判定する場合、ステップS116に戻る。交差点の通過は、自車両の後端が交差点の終端に到達したことと定義してもよく、自車両の前端が交差点の終端に到達したことと定義してもよい。また、交差点の終端は、交差点の周縁の境界に対して所定の差を有するように定義されてもよい。   In step S117, the display image drawing unit 54 determines whether or not the intersection detected in step S103 has been passed from the high-precision map information and the current position of the host vehicle V. If it is determined that the vehicle has passed the intersection, the process proceeds to step S118. If it is determined that the vehicle has not yet passed the intersection, the process returns to step S116. Passing the intersection may be defined as the rear end of the host vehicle reaching the end of the intersection, or may be defined as the front end of the host vehicle reaching the end of the intersection. The end of the intersection may be defined to have a predetermined difference with respect to the boundary of the periphery of the intersection.

ステップS118において、表示画像描画部54は、仮想視点Xを移動前の位置(基準位置)aに戻す。仮想視点Xが基準位置aに戻る軌跡は、例えば、基準位置aからステップS116における位置までの軌跡の逆を辿ればよい。即ち、例えば運転支援装置1が自動運転を行っている場合、仮想視点Xは、図8に示す目標位置c、位置b、基準位置aの順に通る軌跡に沿って移動することが好ましい。これにより、乗員は運転支援装置1が他車両を認識していることを把握でき、自動運転に対する不安や違和感を低減することができる。但し、表示画像の描画の途中で他車両が自車両Vの周囲から存在しなくなった場合、基準位置aに戻るための軌跡は、他の軌跡であってもよい。   In step S118, the display image drawing unit 54 returns the virtual viewpoint X to the position (reference position) a before the movement. The trajectory where the virtual viewpoint X returns to the reference position a may be the reverse of the trajectory from the reference position a to the position in step S116, for example. That is, for example, when the driving support device 1 is performing automatic driving, it is preferable that the virtual viewpoint X moves along a trajectory passing through the target position c, the position b, and the reference position a shown in FIG. Thereby, the occupant can grasp that the driving support device 1 recognizes another vehicle, and can reduce anxiety and discomfort with respect to the automatic driving. However, when another vehicle no longer exists around the host vehicle V in the middle of drawing the display image, the locus for returning to the reference position a may be another locus.

ステップS119において、コントローラ30は、自動運転が終了したか否かを判定する。自動運転が終了したと判定された場合、処理を完了する。一方、自動運転が終了していないと判定された場合、ステップS102に戻る。   In step S119, the controller 30 determines whether or not the automatic operation has ended. If it is determined that the automatic operation has ended, the process is completed. On the other hand, when it determines with automatic driving | operation not being complete | finished, it returns to step S102.

<第1実施形態の効果>
第1実施形態に係る車両用表示装置によれば、自車両Vが進入する予定の交差点における注意対象を含む画像となる仮想視点Xの目標位置を設定し、仮想視点を移動前の基準位置から目標位置に移動させる。よって、仮想視点から見た画像は、車両が進入する交差点及び交差点において注意すべき注意対象を含むものとなる。これにより、乗員は車両が通過する交差点における注意対象を容易に把握することができるようになり、車両の周囲状況を良好に把握できるようになる。
<Effects of First Embodiment>
According to the vehicle display device according to the first embodiment, the target position of the virtual viewpoint X that is an image including the attention object at the intersection where the host vehicle V is scheduled to enter is set, and the virtual viewpoint is moved from the reference position before the movement. Move to the target position. Therefore, the image viewed from the virtual viewpoint includes the intersection where the vehicle enters and the attention object to be noted at the intersection. As a result, the occupant can easily grasp the attention object at the intersection where the vehicle passes, and can better grasp the surrounding situation of the vehicle.

また、第1実施形態に係る車両用表示装置は、自車両Vから注意対象までの距離に基づいて、仮想視点Xの目標位置を表示画像が注意対象を含むように適切に設定できる。このため、乗員は、自車両Vが通過する交差点における注意対象を容易に把握することができるようになり、車両の周囲状況を良好に把握できるようになる。   In addition, the vehicle display device according to the first embodiment can appropriately set the target position of the virtual viewpoint X so that the display image includes the attention object, based on the distance from the host vehicle V to the attention object. For this reason, the occupant can easily grasp the attention object at the intersection where the host vehicle V passes, and can better grasp the surrounding situation of the vehicle.

また、第1実施形態に係る車両用表示装置は、注意対象として、交差点の停止位置を検出するため、表示画像は、交差点の停止位置を含むものとなる。これにより、乗員は交差点に進入する他車両を把握することが容易になるため、車両の周囲状況を良好に把握できるようになる。   Moreover, since the display apparatus for vehicles which concerns on 1st Embodiment detects the stop position of an intersection as caution object, a display image contains the stop position of an intersection. As a result, it becomes easy for the occupant to grasp other vehicles entering the intersection, so that the situation around the vehicle can be well understood.

また、第1実施形態に係る車両用表示装置は、注意対象として、交差点の全ての停止位置を検出可能であるため、表示画像を、交差点の全て停止位置を含むものとすることができる。これにより、乗員は交差点に進入する全ての他車両を把握することが容易になるため、自車両の周囲状況を良好に把握できるようになる。   Moreover, since the display apparatus for vehicles which concerns on 1st Embodiment can detect all the stop positions of an intersection as caution object, a display image can include all the stop positions of an intersection. This makes it easier for the occupant to grasp all the other vehicles entering the intersection, so that the surrounding situation of the host vehicle can be well understood.

また、第1実施形態に係る車両用表示装置は、注意対象として、自車両の周囲に存在する歩行者を検出し、歩行者に基づいて目標位置を設定することができる。これにより、乗員は、自車両の周囲に存在する歩行者の状況を把握することが容易になるため、車両の周囲状況を良好に把握できるようになる。   Moreover, the display apparatus for vehicles which concerns on 1st Embodiment can detect the pedestrian who exists around the own vehicle as an attention object, and can set a target position based on a pedestrian. Thereby, since it becomes easy for a passenger | crew to grasp | ascertain the condition of the pedestrian who exists around the own vehicle, he can grasp | ascertain the surrounding condition of a vehicle favorably.

また、第1実施形態に係る車両用表示装置は、注意対象として、交差点の横断歩道を検出し、横断歩道に基づいて目標位置を設定することができる。これにより、乗員は、横断歩道の状況を把握することが容易になるため、車両周囲状況を良好に把握できるようになる。   Moreover, the display apparatus for vehicles which concerns on 1st Embodiment can detect the pedestrian crossing of an intersection as caution object, and can set a target position based on a pedestrian crossing. As a result, it becomes easy for the occupant to grasp the situation of the pedestrian crossing, so that the situation around the vehicle can be well understood.

また、第1実施形態に係る車両用表示装置では、自車両との距離を変更した後に、仮想視点の視線方向及び自車両の水平方向がなす角を変更するように、仮想視点Xが基準位置から目標位置まで移動する。これにより、仮想視点が移動する間において周囲の他車両が一旦フレームアウトすることなく、表示画像に継続して映るようすることができる。よって、乗員は自車両の周囲の他車両の状況を把握することが容易になるため、車両の周囲状況を良好に把握できるようになる。   In the vehicular display device according to the first embodiment, after changing the distance from the host vehicle, the virtual viewpoint X is set to the reference position so as to change the angle formed by the gaze direction of the virtual viewpoint and the horizontal direction of the host vehicle. To the target position. Thereby, while the virtual viewpoint moves, other surrounding vehicles can be continuously displayed in the display image without being out of frame once. Therefore, since it becomes easy for the occupant to grasp the situation of other vehicles around the host vehicle, the situation around the vehicle can be well understood.

(第2実施形態)
本発明の第2実施形態に係る車両用表示装置は、図12に示すように、コントローラ30が信号状態検出部57、先行車検出部58及び停止可能性演算部59を更に備える点で第1実施形態と異なる。第2実施形態において説明しない構成、作用及び効果は、第1実施形態と実質的に同様であり、重複するため省略する。
(Second Embodiment)
As shown in FIG. 12, the vehicle display device according to the second exemplary embodiment of the present invention is the first in that the controller 30 further includes a signal state detection unit 57, a preceding vehicle detection unit 58, and a stop possibility calculation unit 59. Different from the embodiment. Configurations, operations, and effects that are not described in the second embodiment are substantially the same as those in the first embodiment, and are omitted because they overlap.

信号状態検出部57は、例えばカメラ14により撮像された画像から、交差点検出部51により検出された交差点における信号機の点灯状態である信号状態を検出する。信号状態検出部57は、通信機15を介して路側機から受信する情報に基づいて信号状態を検出するようにしてもよい。信号状態は、信号機の各色の点灯状態の他、点灯時間(点灯周期)を含み得る。   The signal state detection unit 57 detects the signal state that is the lighting state of the traffic light at the intersection detected by the intersection detection unit 51 from, for example, an image captured by the camera 14. The signal state detection unit 57 may detect the signal state based on information received from the roadside device via the communication device 15. The signal state may include a lighting time (lighting cycle) in addition to a lighting state of each color of the traffic light.

先行車検出部58は、例えば測距装置13により検出された周囲環境のデータから、自車両の進行方向に走行する自車両の先行車の情報を検出する。先行車検出部58は、先行車の情報として、自車両から所定の距離範囲に存在する先行車の位置、速度、数等を検出する。更に、先行車検出部58は、自車両の進行方向車線の先行車による混雑状況を、先行車の情報として検出する。先行車検出部58は、例えば、自車両の走行経路Rが予め設定されている等、自車両の進行方向決定されている場合、自車両の進行方向における先行車の情報を検出する。例えば、先行車検出部58は、自車両の方向指示器により交差点を左折することを検出すると、左折先の道路における先行車の情報を検出するようにしてもよい。   For example, the preceding vehicle detection unit 58 detects information on the preceding vehicle of the host vehicle traveling in the traveling direction of the host vehicle from the data of the surrounding environment detected by the distance measuring device 13, for example. The preceding vehicle detection unit 58 detects the position, speed, number, and the like of the preceding vehicle existing within a predetermined distance range from the host vehicle as information on the preceding vehicle. Furthermore, the preceding vehicle detection unit 58 detects the congestion state of the preceding vehicle in the traveling lane of the host vehicle as information on the preceding vehicle. When the traveling direction of the host vehicle is determined, for example, when the traveling route R of the host vehicle is set in advance, the preceding vehicle detection unit 58 detects information on the preceding vehicle in the traveling direction of the host vehicle. For example, when the preceding vehicle detection unit 58 detects turning left at an intersection with a direction indicator of the host vehicle, the preceding vehicle detection unit 58 may detect information on the preceding vehicle on the left turn destination road.

停止可能性演算部59は、信号状態検出部57により検出された信号状態及び先行車検出部58により検出された先行車の情報を含む周囲状況に基づいて、自車両が交差点内に停止する可能性を算出する。即ち、停止可能性演算部59は、自車両が交差点に進入した後、進行方向車線の先行車による混雑のために交差点を退出できず、交差点内で停止する可能性を算出する。また、停止可能性演算部59は、信号機等による交通整理が行われている交差点の他、横断歩道、自転車横断帯、踏切、停止禁止部分の道路標示により区画された部分等に、先行車による混雑のため自車両が停止する可能性を算出するようにしてもよい。   The stop possibility calculation unit 59 can stop the host vehicle in the intersection based on the surrounding state including the signal state detected by the signal state detection unit 57 and information on the preceding vehicle detected by the preceding vehicle detection unit 58. Calculate gender. That is, after the host vehicle enters the intersection, the stop possibility calculating unit 59 calculates the possibility that the vehicle cannot leave the intersection due to congestion due to the preceding vehicle in the traveling lane, and stops within the intersection. In addition to intersections where traffic control is performed by traffic lights etc., the possibility of stoppage calculation unit 59 is based on a preceding vehicle on a pedestrian crossing, a bicycle crossing, a railroad crossing, a section marked by a road marking of a stop prohibited part, etc. The possibility that the host vehicle will stop due to congestion may be calculated.

<車両用表示方法>
図13のフローチャートを参照しながら、本発明の第2実施形態に係る車両用表示装置による車両用表示方法の一例を説明する。図13のステップS201〜S204の一連の処理は、図4のステップS101〜S104の一連の処理と実質的に同様であるため、重複する説明を省略する。
<Vehicle display method>
An example of a vehicle display method by the vehicle display device according to the second embodiment of the present invention will be described with reference to the flowchart of FIG. A series of processes in steps S201 to S204 in FIG. 13 is substantially the same as the series of processes in steps S101 to S104 in FIG.

ステップS205において、信号状態検出部57は、ステップS203(ステップS103に相当)で検出された交差点における信号機の点灯状態を検出する。また、先行車検出部58は、自車両の進行方向に走行する自車両の先行車の情報を検出する。   In step S205, the signal state detection unit 57 detects the lighting state of the traffic light at the intersection detected in step S203 (corresponding to step S103). The preceding vehicle detection unit 58 detects information on the preceding vehicle of the host vehicle that travels in the traveling direction of the host vehicle.

ステップS206において、停止可能性演算部59は、信号状態検出部57により検出された信号状態及び先行車検出部58により検出された先行車の混雑状況に基づいて、自車両が交差点内に停止する可能性を算出する。即ち、停止可能性演算部59は、自車両が交差点に進入した場合において、進行方向車線の先行車が交差点内又は交差点付近に停止しているために、自車両が交差点内で停止せずに交差点から退出できない可能性を算出する。   In step S206, the stop possibility calculating unit 59 stops the host vehicle in the intersection based on the signal state detected by the signal state detecting unit 57 and the congestion state of the preceding vehicle detected by the preceding vehicle detecting unit 58. Calculate the possibility. That is, when the host vehicle enters the intersection, the stop possibility calculation unit 59 does not stop the host vehicle in the intersection because the preceding vehicle in the traveling lane is stopped in or near the intersection. Calculate the possibility that you cannot leave the intersection.

ステップS207において、停止可能性演算部59は、ステップS206で算出した可能性が、所定の閾値より高いか否かを判定する。交差点内で停止する可能性が閾値より高いと判定する場合、ステップS208に進み、閾値より高くないと判定する場合、ステップS209に進む。   In step S207, the stop possibility calculating unit 59 determines whether or not the possibility calculated in step S206 is higher than a predetermined threshold. If it is determined that the possibility of stopping in the intersection is higher than the threshold, the process proceeds to step S208. If it is determined that the possibility of stopping in the intersection is not higher than the threshold, the process proceeds to step S209.

ステップS208において、仮想視点演算部53は、ステップS203で検出された交差点に対応する範囲より広い拡張範囲の画像となる仮想視点Xの高さ(h2>h1)を算出し、自車両の上方において目標位置cとして設定する。仮想視点演算部53は、ステップS202(ステップS102に相当)で表示したHMI画像の仮想視点Xの基準位置aから、高さ(h2)の目標位置cまで移動する仮想視点Xの軌跡を算出する。   In step S208, the virtual viewpoint calculation unit 53 calculates the height (h2> h1) of the virtual viewpoint X that becomes an image of an extended range wider than the range corresponding to the intersection detected in step S203, and above the host vehicle. Set as target position c. The virtual viewpoint calculation unit 53 calculates the locus of the virtual viewpoint X that moves from the reference position a of the virtual viewpoint X of the HMI image displayed in step S202 (corresponding to step S102) to the target position c of height (h2). .

ステップS209において、仮想視点演算部53は、ステップS203で検出された交差点に対応する範囲の画像となる仮想視点Xの高さ(h1)を算出し、自車両の上方において目標位置として設定する。仮想視点演算部53は、ステップS202で表示したHMI画像の仮想視点Xの基準位置aから、高さ(h1)の目標位置cまで移動する仮想視点Xの軌跡を算出する。   In step S209, the virtual viewpoint calculation unit 53 calculates the height (h1) of the virtual viewpoint X that is an image in the range corresponding to the intersection detected in step S203, and sets it as the target position above the host vehicle. The virtual viewpoint calculation unit 53 calculates the trajectory of the virtual viewpoint X that moves from the reference position a of the virtual viewpoint X of the HMI image displayed in step S202 to the target position c of height (h1).

例えば図14に示すように、自車両Vが交差点P1に進入する場面において、停止可能性演算部59が、自車両が交差点P1に進入した場合に交差点P1内で停止する可能性が閾値より高いと判定したとする。このとき、仮想視点演算部53は、交差点P1における注意対象に対応する範囲Q1より広い拡張範囲Q1Aを設定し、拡張範囲Q1Aの画像となる仮想視点Xの目標位置cを算出する。拡張範囲Q1Aは、例えば、交差点P1から退出する道路の方向に範囲Qから距離Bだけ拡張した範囲である。距離Bは、少なくとも車両1台分に相当する距離(例えば5m程度)であることが望ましい。このような拡張範囲Q1Aの表示画像を表示装置31に表示することにより、乗員は、自車両が交差点P1から退出するスペースがあるか否かを示す周囲状況を把握することができる。   For example, as shown in FIG. 14, when the host vehicle V enters the intersection P1, the possibility that the stop possibility calculating unit 59 stops in the intersection P1 when the host vehicle enters the intersection P1 is higher than the threshold. Is determined. At this time, the virtual viewpoint calculation unit 53 sets an extended range Q1A wider than the range Q1 corresponding to the attention object at the intersection P1, and calculates the target position c of the virtual viewpoint X that becomes an image of the extended range Q1A. The extended range Q1A is, for example, a range extended by a distance B from the range Q in the direction of the road exiting from the intersection P1. The distance B is desirably a distance corresponding to at least one vehicle (for example, about 5 m). By displaying such a display image of the extended range Q1A on the display device 31, the occupant can grasp the surrounding situation indicating whether or not the vehicle has a space for exiting from the intersection P1.

更に、注意対象は、対向車線に存在する他車両Fを含むようにしてもよい。これにより、乗員は、信号待ちや右折待ちをしている他車両Fの存在を把握することができる。また、自車両の走行経路Rが予め設定されている等、自車両の進行方向決定されている場合、自車両が交差点P1から退出する車線に存在するする他車両F1〜F3を選択的に注意対象としてもよい。これにより乗員は、例えば単車線の道路等、進行方向における見通しが悪い道路であっても、進行方向における先行車による混雑状況を把握することができる。道路又は車線の幅により、目標位置cの高さを変更するようにしてもよい。   Further, the attention object may include another vehicle F existing in the oncoming lane. Thereby, the passenger | crew can grasp | ascertain presence of the other vehicle F which is waiting for a signal or waiting for a right turn. In addition, when the traveling direction of the host vehicle is determined such that the traveling route R of the host vehicle is set in advance, the other vehicles F1 to F3 existing in the lane where the host vehicle exits from the intersection P1 are selectively noted. It may be a target. Thereby, even if the occupant is a road with a poor visibility in the traveling direction, such as a single lane road, for example, the occupant can grasp the congestion situation due to the preceding vehicle in the traveling direction. You may make it change the height of the target position c with the width | variety of a road or a lane.

また図15に示すように、自車両Vが交差点P2に進入する場面において、停止可能性演算部59が、自車両が交差点P2に進入した場合に交差点P2内で停止する可能性が閾値より高いと判定したとする。このとき、交差点P2の全ての停止位置T1〜T4を包含する範囲Q2より広い拡張範囲Q2Aを設定し、拡張範囲Q2Aの画像となる仮想視点の目標位置cを算出する。注意対象は、交差点P2の横断歩道U1〜U4の全てを含むようにしてもよい。   Further, as shown in FIG. 15, in the scene where the host vehicle V enters the intersection P2, the possibility that the stop possibility calculation unit 59 stops in the intersection P2 when the host vehicle enters the intersection P2 is higher than the threshold value. Is determined. At this time, an extended range Q2A wider than the range Q2 including all the stop positions T1 to T4 of the intersection P2 is set, and the target position c of the virtual viewpoint that becomes an image of the extended range Q2A is calculated. The attention object may include all of the pedestrian crossings U1 to U4 at the intersection P2.

なお、ステップS208又はS209で算出する移動軌跡は、第1実施形態の図9と同様に、基準位置aから目標位置cまで線形に仮想視点が移動する軌跡であってもよい。また、自車両の周囲に先行車又は後続車が存在する場合において、ステップS208又はS209で算出する軌跡は、図8に示すように、基準位置aから一旦後方の位置bに移動した後、自車両の上方の目標位置cに仮想視点Xが移動する軌跡であってもよい。   Note that the movement trajectory calculated in step S208 or S209 may be a trajectory in which the virtual viewpoint moves linearly from the reference position a to the target position c, as in FIG. 9 of the first embodiment. Further, when there is a preceding vehicle or a succeeding vehicle around the host vehicle, the trajectory calculated in step S208 or S209 is once moved from the reference position a to the rear position b as shown in FIG. It may be a trajectory where the virtual viewpoint X moves to the target position c above the vehicle.

ステップS210において、表示画像描画部54は、ステップS208又がS209で算出された軌跡に沿って仮想視点Xを移動させる。表示画像描画部54は、基準位置aから目標位置cまでの間に仮想視点Xから見える表示画像を逐次描画する。   In step S210, the display image drawing unit 54 moves the virtual viewpoint X along the locus calculated in step S208 or S209. The display image drawing unit 54 sequentially draws a display image that can be seen from the virtual viewpoint X between the reference position a and the target position c.

ステップS211において、表示画像描画部54は、ステップS208又がS209で算出された目標位置cに仮想視点Xが到達したか否かを判定する。仮想視点Xが目標位置cに到達したと判定する場合、ステップS212に進み、未だ目標地点に到達していないと判定する場合、ステップS210に戻る。   In step S211, the display image drawing unit 54 determines whether or not the virtual viewpoint X has reached the target position c calculated in step S208 or S209. If it is determined that the virtual viewpoint X has reached the target position c, the process proceeds to step S212. If it is determined that the virtual point X has not yet reached the target position, the process returns to step S210.

ステップS212において、表示画像描画部54は、移動が完了した状態で仮想視点Xを保持する。   In step S212, the display image drawing unit 54 holds the virtual viewpoint X in a state where the movement is completed.

ステップS213において、表示画像描画部54は、高精度地図情報及び自車両Vの現在位置から、ステップS203で検出した交差点を通過したか否かを判定する。交差点を通過したと判定する場合、ステップS214に進み、未だ交差点を通過しないと判定する場合、ステップS212に戻る。   In step S213, the display image drawing unit 54 determines whether or not the intersection detected in step S203 has passed from the high-precision map information and the current position of the host vehicle V. If it is determined that the vehicle has passed the intersection, the process proceeds to step S214. If it is determined that the vehicle has not yet passed the intersection, the process returns to step S212.

ステップS214において、表示画像描画部54は、仮想視点Xを移動前の位置である基準位置aに戻す。仮想視点Xが基準位置aに戻る軌跡は、例えば、基準位置aから目標位置cまでの軌跡の逆を辿ればよい。第1実施形態と同様に、基準位置aに戻る軌跡は、必ずしも目標位置cに移動する軌跡の逆でなくてもよい。   In step S214, the display image drawing unit 54 returns the virtual viewpoint X to the reference position a that is the position before the movement. The trajectory where the virtual viewpoint X returns to the reference position a may be the reverse of the trajectory from the reference position a to the target position c, for example. Similar to the first embodiment, the trajectory returning to the reference position a is not necessarily the reverse of the trajectory moving to the target position c.

ステップS215において、コントローラ30は、自動運転が終了したか否かを判定する。自動運転が終了したと判定された場合、処理を完了する。一方、自動運転が終了していないと判定された場合、ステップS202に戻る。   In step S215, the controller 30 determines whether or not the automatic operation has ended. If it is determined that the automatic operation has ended, the process is completed. On the other hand, when it determines with automatic driving | operation not being complete | finished, it returns to step S202.

<第2実施形態の効果>
第2実施形態に係る車両用表示装置によれば、自車両の進行方向の車線の先行車による混雑状況を検出し、混雑状況に基づいて、仮想視点Xの目標位置cを変更することができる。これにより、乗員は自車両の前方における混雑状況を把握することが容易になるため、自車両の周囲状況を良好に把握できるようになる。また、乗員は、運転支援装置1による自動運転が実行されている場合、運転支援装置1が自車両の進行方向の状況を認識していることを把握でき、自動運転に対する不安や違和感を低減することができる。更に、自車両の周囲状況を把握できるようになるため、運転支援装置1による自動運転制御が乗員の意図と異なる場合、即座に自車両Vの運転操作を行うことにより手動運転を開始することができる。
<Effects of Second Embodiment>
According to the vehicular display device according to the second embodiment, it is possible to detect a congestion situation due to a preceding vehicle on the lane in the traveling direction of the host vehicle, and to change the target position c of the virtual viewpoint X based on the congestion situation. . As a result, it becomes easy for the occupant to grasp the congestion situation in front of the host vehicle, so that the surrounding situation of the host vehicle can be well understood. In addition, when the driving assistance device 1 is performing the automatic driving, the occupant can grasp that the driving assistance device 1 recognizes the situation of the traveling direction of the own vehicle, and reduces anxiety and discomfort with respect to the automatic driving. be able to. Furthermore, since the surrounding situation of the own vehicle can be grasped, when the automatic driving control by the driving support device 1 is different from the intention of the occupant, the manual driving can be started by immediately performing the driving operation of the own vehicle V. it can.

また、第2実施形態に係る車両用表示装置は、自車両が交差点内に停止する可能性を算出し、停止する可能性に基づいて仮想視点の目標位置を変更する。これにより、広い範囲を示す表示画像とすることが望ましい場合に、仮想視点を高くして表示画像の視野を拡張することができ、自車両の周囲状況を良好に把握できるようになる。   In addition, the vehicle display device according to the second embodiment calculates the possibility that the host vehicle will stop in the intersection and changes the target position of the virtual viewpoint based on the possibility of stopping. Thereby, when it is desirable to make a display image showing a wide range, the virtual viewpoint can be increased to expand the field of view of the display image, and the surrounding situation of the host vehicle can be grasped well.

(その他の実施形態)
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
While embodiments of the present invention have been described as described above, it should not be understood that the description and drawings that form part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.

例えば、図16に示すように、自車両Vが交差点において左折を待機する場面において、交差点の周囲の他車両E1〜E3、二輪車である他車両D1〜D3、その他の歩行者や自転車を注意対象として検出しているとする。このとき、交差点情報検出部52は、他車両E1〜E2の予想軌跡t1〜t2、他車両D1〜D2の予想軌跡u1〜u2、歩行者及び自転車の予想軌跡v等を算出ようにしてもよい。他車両E1は、対向車線から右折しようとする車両である。特に自車両Vと接近する可能性のある注意対象を表示画像においてズームインするようにしてもよい。このとき、仮想視点Xを目標位置cに移動させた後に特定の注意対象にズームインすることにより、注意対象の位置が把握しやすくなる。   For example, as shown in FIG. 16, in a scene where the host vehicle V waits for a left turn at an intersection, other vehicles E1 to E3 around the intersection, other vehicles D1 to D3 that are two-wheeled vehicles, and other pedestrians and bicycles are subject to attention. Is detected. At this time, the intersection information detection unit 52 may calculate the expected trajectories t1 to t2 of the other vehicles E1 to E2, the expected trajectories u1 to u2 of the other vehicles D1 to D2, the expected trajectories v of pedestrians and bicycles, and the like. . The other vehicle E1 is a vehicle that is about to turn right from the oncoming lane. In particular, you may make it zoom in in the display image the attention object which may approach the own vehicle V. FIG. At this time, by moving the virtual viewpoint X to the target position c and then zooming in on the specific attention object, the position of the attention object can be easily grasped.

交差点情報検出部52は、走行経路R等の自車両Vの進行方向に応じて、注意対象を検出する範囲Yを変更するようにしてもよい。これにより、周囲環境センサ群10による検出のための範囲を選択的に設定することができ、検出のための演算負荷を低減することができる。また、表示画像描画部54は、例えば自車両Vが右折しようとする場合、自車両から見て交差点の左右方向の範囲を拡張して表示画像を生成し、左折しようとする場合、右方向の範囲を拡張して表示画像を生成するようにすればよい。これにより、右左折時において注意すべき範囲の状況を把握することができるようになる。   The intersection information detection unit 52 may change the range Y for detecting the attention object according to the traveling direction of the host vehicle V such as the travel route R. Thereby, the range for detection by the ambient environment sensor group 10 can be selectively set, and the calculation load for detection can be reduced. For example, when the host vehicle V is about to turn right, the display image drawing unit 54 generates a display image by expanding the horizontal range of the intersection as viewed from the host vehicle, and when the host vehicle V is about to turn left, A display image may be generated by extending the range. As a result, it is possible to grasp the situation in the range to be noted when turning left or right.

また、図4及び図13のフローチャートでは、自車両が自動運転モードの場合に一連の処理を実行するようにしているが、手動運転の場合に一連の処理を実行するようにしてもよい。運転支援装置1が手動運転モードの場合であっても、注意対象を含む画像を表示装置31に表示することにより、自動運転の場合は、周囲の状況を把握することができるようになるため、乗員は、自車両が進入する交差点における注意対象を容易に把握することができるようになり、車両の周囲状況を良好に把握できるようになる。   Further, in the flowcharts of FIGS. 4 and 13, a series of processing is executed when the host vehicle is in the automatic driving mode, but a series of processing may be executed in the case of manual driving. Even if the driving support device 1 is in the manual driving mode, by displaying an image including the attention object on the display device 31, in the case of automatic driving, it becomes possible to grasp the surrounding situation. The occupant can easily grasp the attention object at the intersection where the host vehicle enters, and can better grasp the surrounding situation of the vehicle.

また、交差点情報検出部52は、乗員の視線を検出するセンサを用いて、乗員の視線方向に存在する対象を注意対象として検出するようにしてもよい。更に、交差点情報検出部52は、他車両や歩行者等の移動物体の位置、移動方向、速度、種類等の自車両の周囲環境から、自車両Vと接近する可能性がある移動物体を注意対象として検出するようにしてもよい。   In addition, the intersection information detection unit 52 may detect a target existing in the sight line direction of the occupant as a caution target by using a sensor that detects the sight line of the occupant. Furthermore, the intersection information detection unit 52 pays attention to a moving object that may approach the host vehicle V from the surrounding environment of the host vehicle such as the position, moving direction, speed, and type of the moving object such as another vehicle or a pedestrian. You may make it detect as a target.

また、表示画像描画部54及びHMI描画部55は、信号機の状態を示すアイコンを画像に表示するようにしてもよい。更に、右左折用の矢印信号等を表示するようにしてもよい。特に、日本において右折用の矢印信号がない場合、表示画像の範囲を広くすることにより、右折の可否を判断する材料として交差点の周囲状況を把握することが可能となる。   Further, the display image drawing unit 54 and the HMI drawing unit 55 may display an icon indicating the state of the traffic light on the image. Further, an arrow signal for turning left or right may be displayed. In particular, when there is no right turn arrow signal in Japan, it is possible to grasp the surrounding situation of the intersection as a material for determining whether or not a right turn is possible by widening the range of the display image.

また、第2実施形態において、停止可能性演算部59は、横断歩道等に存在する歩行者や自転車の混雑状況に基づいて、交差点内等の停止禁止部分で停止する可能性を算出するようにしてもよい。   Further, in the second embodiment, the stop possibility calculating unit 59 calculates the possibility of stopping at a stop prohibited portion such as an intersection based on the congestion situation of pedestrians and bicycles existing on a pedestrian crossing or the like. May be.

また、第1及び第2実施形態では、基準位置から目標位置までの仮想視点Xの移動において、移動の過程を表示装置31等に表示するようにしてもよい。これにより、乗員は、基準位置と目標位置の関係を正確に把握することができる為、仮想視点を目標位置に移動させたとしても、周囲状況を正確に把握することができるようになる。   In the first and second embodiments, in the movement of the virtual viewpoint X from the reference position to the target position, the movement process may be displayed on the display device 31 or the like. As a result, the occupant can accurately grasp the relationship between the reference position and the target position, so that the surrounding situation can be accurately grasped even if the virtual viewpoint is moved to the target position.

また、第1及び第2実施形態に係る車両用表示装置は、仮想視点演算部53により生成された基準位置から目標位置までの移動軌跡と、移動軌跡を生成した自車両Vの位置とを
記憶し、仮想視点演算部53が基準位置及び目標位置を設定した位置が、移動軌跡を生成した位置と所定距離以下の場合、記憶された移動軌跡を用いて、仮想視点Xを基準位置から目標位置に移動させるようにしてもよい。これにより、移動軌跡を生成した位置において、以前用いた移動軌跡、つまりは一貫した移動軌跡により、仮想視点Xを移動させることができる為、仮想視点Xの移動に伴う乗員の周囲状況の理解を妨げることを抑制することができる。
The vehicle display devices according to the first and second embodiments store the movement locus from the reference position generated by the virtual viewpoint calculation unit 53 to the target position and the position of the host vehicle V that has generated the movement locus. When the position where the virtual viewpoint calculation unit 53 sets the reference position and the target position is equal to or less than a predetermined distance from the position where the movement locus is generated, the virtual viewpoint X is moved from the reference position to the target position using the stored movement locus. You may make it move to. As a result, the virtual viewpoint X can be moved at the position where the movement locus is generated by the previously used movement locus, that is, the consistent movement locus, so that it is possible to understand the surrounding situation of the occupant accompanying the movement of the virtual viewpoint X. Interfering can be suppressed.

また、第1及び第2実施形態に係る車両用表示装置は、仮想視点演算部53により生成された基準位置から目標位置までの移動軌跡と、移動軌跡における自車両Vに対する基準位置及び目標位置とを記憶し、仮想視点演算部53が設定した基準位置及び目標位置が、記憶した目標位置及び基準位置とそれぞれ一致するか否か判定し、それぞれ一致すると判定した場合に、記憶した移動軌跡を用いて、仮想視点Xを基準位置から目標位置に移動させるようにしてもよい。これにより、基準位置と目標位置とがそれぞれ一致する場合に、以前用いた移動軌跡、つまりは一貫した移動軌跡により、仮想視点を移動させることができる為、仮想視点の移動に伴う乗員の周囲状況の理解を妨げることを抑制することができる。   In addition, the vehicle display devices according to the first and second embodiments include the movement locus from the reference position to the target position generated by the virtual viewpoint calculation unit 53, and the reference position and the target position with respect to the host vehicle V in the movement locus. , And whether or not the reference position and target position set by the virtual viewpoint calculation unit 53 match the stored target position and reference position, respectively. Thus, the virtual viewpoint X may be moved from the reference position to the target position. As a result, when the reference position matches the target position, the virtual viewpoint can be moved by the previously used movement trajectory, that is, the consistent movement trajectory. Can prevent the understanding of

その他、上記の実施形態において説明される各構成を任意に応用した構成等、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。   In addition, of course, the present invention includes various embodiments that are not described here, such as configurations in which the respective configurations described in the above embodiments are arbitrarily applied. Therefore, the technical scope of the present invention is defined only by the invention specifying matters according to the scope of claims reasonable from the above description.

10 周囲環境センサ群
11 測位装置
12 高精度地図記憶部
20 車両センサ群
30 コントローラ
51 交差点検出部
52 交差点情報検出部
53 仮想視点演算部
54 表示画像描画部
55 HMI描画部
57 信号状態検出部
58 先行車検出部
59 停止可能性演算部
a 基準位置
c 目標位置
D1〜D3,E1〜E3,F,F1〜F3 他車両
T1〜T2 停止位置(停止線)
U1〜U4 横断歩道
V 自車両
W1 先行車
W2 後続車
X 仮想視点
DESCRIPTION OF SYMBOLS 10 Ambient environment sensor group 11 Positioning apparatus 12 High precision map memory | storage part 20 Vehicle sensor group 30 Controller 51 Intersection detection part 52 Intersection information detection part 53 Virtual viewpoint calculation part 54 Display image drawing part 55 HMI drawing part 57 Signal state detection part 58 Previous Car detection part 59 Stop possibility calculation part a Reference position c Target positions D1 to D3, E1 to E3, F, F1 to F3 Other vehicles T1 to T2 Stop position (stop line)
U1-U4 Crosswalk V Own vehicle W1 Preceding vehicle W2 Subsequent vehicle X Virtual viewpoint

Claims (12)

車両に対する基準位置に設定された仮想視点から見た画像を表示装置に表示する車両用表示方法であって、
前記車両が進入する交差点における注意対象を検出し、
前記注意対象を含む前記画像となる前記仮想視点の目標位置を設定し、
前記仮想視点を前記基準位置から前記目標位置まで移動させることを特徴とする車両用表示方法。
A vehicle display method for displaying an image viewed from a virtual viewpoint set at a reference position with respect to a vehicle on a display device,
Detect an object of attention at the intersection where the vehicle enters,
Setting a target position of the virtual viewpoint to be the image including the attention object;
A display method for a vehicle, wherein the virtual viewpoint is moved from the reference position to the target position.
前記車両と前記注意対象との間の距離を検出し、
前記車両と注意対象との間の距離に基づいて、前記目標位置を設定することを特徴とする請求項1に記載の車両用表示方法。
Detecting a distance between the vehicle and the attention object;
The vehicle display method according to claim 1, wherein the target position is set based on a distance between the vehicle and the attention object.
前記注意対象として、前記交差点の停止位置を検出する請求項1又は2に記載の車両用表示方法。   The vehicle display method according to claim 1, wherein a stop position of the intersection is detected as the attention object. 前記交差点の全ての停止位置を含む前記画像となる前記目標位置を設定することを特徴とする請求項3に記載の車両用表示方法。   The vehicle display method according to claim 3, wherein the target position that is the image including all stop positions of the intersection is set. 前記車両の進行方向車線の先行車による混雑状況を検出し、
前記混雑状況に基づいて前記目標位置を変更することを特徴とする請求項1〜4のいずれか1項に記載の車両用表示方法。
Detecting the congestion status of the preceding vehicle in the direction lane of the vehicle
The vehicle display method according to claim 1, wherein the target position is changed based on the congestion state.
前記注意対象として、前記車両の周囲に存在する歩行者を検出し、
前記歩行者の位置に基づいて前記目標位置を設定することを特徴とする請求項1〜5のいずれか1項に記載の車両用表示方法。
Detecting pedestrians around the vehicle as the attention object,
The vehicle display method according to claim 1, wherein the target position is set based on the position of the pedestrian.
前記注意対象として、横断歩道を検出し、
前記横断歩道に基づいて前記目標位置を設定することを特徴とする請求項1〜6のいずれか1項に記載の車両用表示方法。
As a cautionary object, a pedestrian crossing is detected,
The vehicle display method according to claim 1, wherein the target position is set based on the pedestrian crossing.
前記仮想視点と前記車両との距離を変更した後に、前記仮想視点の視線方向及び前記車両の水平方向がなす角を変更することにより、前記仮想視点を前記基準位置から前記目標位置まで移動することを特徴とする請求項1〜7のいずれか1項に記載の車両用表示方法。   After changing the distance between the virtual viewpoint and the vehicle, the virtual viewpoint is moved from the reference position to the target position by changing an angle formed by the viewing direction of the virtual viewpoint and the horizontal direction of the vehicle. The vehicle display method according to claim 1, wherein: 前記基準位置から前記目標位置までの移動において、前記移動の過程を前記表示装置に表示することを特徴とする請求項1〜8のいずれか1項に記載の車両用表示方法。   The vehicle display method according to claim 1, wherein the movement process is displayed on the display device during movement from the reference position to the target position. 前記基準位置から前記目標位置までの移動軌跡を生成し、
生成した前記移動軌跡と、前記移動軌跡を生成した位置を記憶する車両用表示方法において、
前記車両に対する基準位置と目標位置とを設定した位置が、前記移動軌跡を生成した位置と所定距離以下の場合、前記記憶した移動軌跡を用いて、前記仮想視点を前記基準位置から前記目標位置まで移動させることを特徴とする請求項1〜9のいずれか1項に車両用表示方法。
Generating a movement trajectory from the reference position to the target position;
In the vehicle display method for storing the generated movement locus and the position where the movement locus is generated,
When the position where the reference position and the target position for the vehicle are set is equal to or less than a predetermined distance from the position where the movement locus is generated, the virtual viewpoint is moved from the reference position to the target position using the stored movement locus. The vehicle display method according to claim 1, wherein the vehicle display method is moved.
前記基準位置から前記目標位置までの移動軌跡を生成し、
生成した前記移動軌跡と、前記移動軌跡における前記車両に対する基準位置と目標位置とを記憶する車両用表示方法において、
前記設定した前記車両に対する基準位置及び目標位置が、前記記憶した移動軌跡の基準位置及び目標位置と、それぞれ一致するか否か判定し、
前記それぞれ一致すると判定した場合は、前記記憶した移動軌跡を用いて、前記仮想視点を前記基準位置から前記目標位置まで移動させることを特徴とする請求項1〜9のいずれか1項に車両用表示方法。
Generating a movement trajectory from the reference position to the target position;
In the vehicle display method for storing the generated movement locus, and a reference position and a target position for the vehicle in the movement locus,
It is determined whether or not the set reference position and target position for the vehicle coincide with the stored reference position and target position of the movement locus, respectively.
10. The vehicle according to claim 1, wherein when it is determined that the two match each other, the virtual viewpoint is moved from the reference position to the target position using the stored movement trajectory. Display method.
車両に対する基準位置に設定された仮想視点から見た画像を表示する車両用表示装置であって、
前記車両が進入する交差点における注意対象を検出する交差点情報検出部と、
前記注意対象を含む前記画像となる前記仮想視点の目標位置を設定する仮想視点演算部と、
を備え、前記仮想視点を前記基準位置から前記目標位置まで移動することを特徴とする車両用表示装置。
A vehicle display device that displays an image viewed from a virtual viewpoint set at a reference position for a vehicle,
An intersection information detection unit for detecting an attention object at an intersection where the vehicle enters;
A virtual viewpoint calculation unit that sets a target position of the virtual viewpoint to be the image including the attention object;
And the virtual viewpoint is moved from the reference position to the target position.
JP2017156549A 2017-08-14 2017-08-14 Vehicle display method and vehicle display device Active JP7002246B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017156549A JP7002246B2 (en) 2017-08-14 2017-08-14 Vehicle display method and vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017156549A JP7002246B2 (en) 2017-08-14 2017-08-14 Vehicle display method and vehicle display device

Publications (2)

Publication Number Publication Date
JP2019036826A true JP2019036826A (en) 2019-03-07
JP7002246B2 JP7002246B2 (en) 2022-01-20

Family

ID=65637765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017156549A Active JP7002246B2 (en) 2017-08-14 2017-08-14 Vehicle display method and vehicle display device

Country Status (1)

Country Link
JP (1) JP7002246B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696048A (en) * 2019-03-15 2020-09-22 北京四维图新科技股份有限公司 Smoothing method and device for wall sampling line
JPWO2020240660A1 (en) * 2019-05-27 2020-12-03
JP2021136022A (en) * 2020-02-27 2021-09-13 本田技研工業株式会社 System and method for performing intersection scenario acquisition
WO2021240873A1 (en) * 2020-05-28 2021-12-02 パナソニックIpマネジメント株式会社 Display control device, vehicle, and display control method
WO2021240872A1 (en) * 2020-05-28 2021-12-02 パナソニックIpマネジメント株式会社 Display control device, vehicle and display control method
WO2022039146A1 (en) * 2020-08-20 2022-02-24 株式会社デンソー Display control device
JP2022050311A (en) * 2020-12-21 2022-03-30 ペキン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド Methods, devices, electronics, storage media, roadside machines, cloud control platforms, and computer programs for detecting vehicle lane changes.
US11741723B2 (en) 2020-02-27 2023-08-29 Honda Motor Co., Ltd. System for performing intersection scenario retrieval and method thereof
WO2025009192A1 (en) * 2023-07-04 2025-01-09 日産自動車株式会社 Information processing method, information processing system, and information processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094045A (en) * 2005-09-29 2007-04-12 Matsushita Electric Ind Co Ltd Navigation device, navigation method, and vehicle
JP2008014754A (en) * 2006-07-05 2008-01-24 Xanavi Informatics Corp Navigation apparatus
JP2009264819A (en) * 2008-04-23 2009-11-12 Nissan Motor Co Ltd Navigation apparatus, and method of presenting guidance information
JP2015064750A (en) * 2013-09-25 2015-04-09 日産自動車株式会社 Vehicle information presentation device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094045A (en) * 2005-09-29 2007-04-12 Matsushita Electric Ind Co Ltd Navigation device, navigation method, and vehicle
JP2008014754A (en) * 2006-07-05 2008-01-24 Xanavi Informatics Corp Navigation apparatus
JP2009264819A (en) * 2008-04-23 2009-11-12 Nissan Motor Co Ltd Navigation apparatus, and method of presenting guidance information
JP2015064750A (en) * 2013-09-25 2015-04-09 日産自動車株式会社 Vehicle information presentation device

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696048B (en) * 2019-03-15 2023-11-14 北京四维图新科技股份有限公司 Smoothing processing method and device for wall sampling line
CN111696048A (en) * 2019-03-15 2020-09-22 北京四维图新科技股份有限公司 Smoothing method and device for wall sampling line
JPWO2020240660A1 (en) * 2019-05-27 2020-12-03
WO2020240660A1 (en) * 2019-05-27 2020-12-03 三菱電機株式会社 Driving assistance device and driving assistance method
JP7282169B2 (en) 2019-05-27 2023-05-26 三菱電機株式会社 Driving support device and driving support method
JP7050974B2 (en) 2020-02-27 2022-04-08 本田技研工業株式会社 System and method for performing intersection scenario acquisition
JP2021136022A (en) * 2020-02-27 2021-09-13 本田技研工業株式会社 System and method for performing intersection scenario acquisition
US11741723B2 (en) 2020-02-27 2023-08-29 Honda Motor Co., Ltd. System for performing intersection scenario retrieval and method thereof
WO2021240872A1 (en) * 2020-05-28 2021-12-02 パナソニックIpマネジメント株式会社 Display control device, vehicle and display control method
CN115668909A (en) * 2020-05-28 2023-01-31 松下知识产权经营株式会社 Display control device, vehicle and display control method
US20230099481A1 (en) * 2020-05-28 2023-03-30 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, vehicle, and display control method
JP2021189677A (en) * 2020-05-28 2021-12-13 パナソニックIpマネジメント株式会社 Display control apparatus, vehicle, and display control method
JP2021189676A (en) * 2020-05-28 2021-12-13 パナソニックIpマネジメント株式会社 Display control apparatus, vehicle, and display control method
WO2021240873A1 (en) * 2020-05-28 2021-12-02 パナソニックIpマネジメント株式会社 Display control device, vehicle, and display control method
US11823467B2 (en) * 2020-05-28 2023-11-21 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, vehicle, and display control method
JP7398637B2 (en) 2020-05-28 2023-12-15 パナソニックIpマネジメント株式会社 Display control device, vehicle and display control method
JP7429865B2 (en) 2020-05-28 2024-02-09 パナソニックIpマネジメント株式会社 Display control device, vehicle and display control method
JP2022035142A (en) * 2020-08-20 2022-03-04 株式会社デンソー Display control device
WO2022039146A1 (en) * 2020-08-20 2022-02-24 株式会社デンソー Display control device
JP2022050311A (en) * 2020-12-21 2022-03-30 ペキン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド Methods, devices, electronics, storage media, roadside machines, cloud control platforms, and computer programs for detecting vehicle lane changes.
WO2025009192A1 (en) * 2023-07-04 2025-01-09 日産自動車株式会社 Information processing method, information processing system, and information processing device

Also Published As

Publication number Publication date
JP7002246B2 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
JP7002246B2 (en) Vehicle display method and vehicle display device
JP7052786B2 (en) Display control device and display control program
CN111052733B (en) Surrounding vehicle display method and surrounding vehicle display device
RU2704773C1 (en) Display control method and device
JP7129495B2 (en) Driving support method and driving support device
JP6149846B2 (en) Warning device
CN111149140B (en) Driving assistance method and driving assistance device
JP7502869B2 (en) Vehicle Driving Assistance Systems
JP7019239B2 (en) Vehicle display method and vehicle display device
CN110920609A (en) System and method for imitating a preceding vehicle
JP6954469B2 (en) Driving support method and driving support device
WO2020008220A1 (en) Travel trajectory generation method and travel trajectory generation device
JPWO2019021437A1 (en) Driving support method and driving support device
JP2022079590A (en) Display control device and display control program
JP6733277B2 (en) Image display method and image display device
JP2019219885A (en) Driving support method and driving support device
JP2023054084A (en) Vehicle stereo camera device
JP2022060075A (en) Driving support device
US12162479B2 (en) Driving assistance apparatus
JP2020154468A (en) Driving support device, method, and computer program
JP7674947B2 (en) Driving Support Devices
JP2020118545A (en) Display controller and display control program
JP2023167861A (en) Driving support method and driving support device for vehicle
JP7030438B2 (en) Vehicle display method and vehicle display device
JP7202120B2 (en) Driving support device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7002246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150