JP2010198454A

JP2010198454A - Display device and display method for vehicle

Info

Publication number: JP2010198454A
Application number: JP2009044071A
Authority: JP
Inventors: Hiroyoshi Yanagi; 柳　　拓良
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2009-02-26
Filing date: 2009-02-26
Publication date: 2010-09-09
Anticipated expiration: 2029-02-26
Also published as: JP5338374B2

Abstract

PROBLEM TO BE SOLVED: To provide a display device and a display method for a vehicle which can have the vehicle periphery correctly recognized by presenting a video without any feeling of strangeness for a driver. SOLUTION: A video processing apparatus 10 inputs an image of the vehicle periphery that is shot by cameras 2a, 2b, 2c and 2d and a bird's eye view image is created by an operation part 14 by referring to a conversion table in a conversion table storing part 15. Furthermore, the operation part 14 creates a display image that superposes its own vehicle image onto the bird's eye view image and displays the display image to a display 3. In this case, the operation part 14 varies the display configuration of the own vehicle image according to the peripheral environment in which the own vehicle is travelling. COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両用表示装置及び車両用表示方法に関する。 The present invention relates to a vehicle display device and a vehicle display method.

従来より、車両周辺を撮影した画像を運転者に対して提示する技術としては、例えば下記の特許文献１に記載されているように、カメラ映像に映っていない自車形状を合成して表示する技術が知られている。具体的には、車両の後続車両との位置関係（距離感）を掴むために、自車両後部の基準位置から後方に突出した部位を路面に投影し、当該投影した自車両部位を、自車両後方を撮影したカメラ映像に対して合成している。 Conventionally, as a technique for presenting an image of the periphery of a vehicle to a driver, for example, as described in Patent Document 1 below, a vehicle shape that is not reflected in a camera image is synthesized and displayed. Technology is known. Specifically, in order to grasp the positional relationship (sense of distance) with the following vehicle of the vehicle, a portion protruding backward from the reference position at the rear of the own vehicle is projected onto the road surface, and the projected own vehicle portion is This is combined with the camera image taken from behind.

特開２００３−８７７７９号公報JP 2003-87779 A

しかしながら、従来の技術では、自車両の形状に応じた画像をカメラ映像に合成しているだけなので、当該人工的な自車両画像とカメラ映像とが異質なものとなっている。したがって、自車両画像とカメラ映像を運転者に提示すると、運転者にとっては違和感のある映像となってしまう。特に、自車両画像が表示画面において示す面積が大きくなるほど、違和感が大きくなってしまい、車両周辺を正しく認識させることができなかった。 However, in the conventional technique, since the image corresponding to the shape of the host vehicle is merely combined with the camera video, the artificial host vehicle image and the camera video are different. Therefore, when the vehicle image and the camera video are presented to the driver, the video is uncomfortable for the driver. In particular, as the area of the host vehicle image displayed on the display screen increases, the sense of discomfort increases and the periphery of the vehicle cannot be recognized correctly.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者に違和感のない映像を提示することにより、車両周辺を正しく認識させることができる車両用表示装置及び車両用表示方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and a vehicle display device and a vehicle display method capable of correctly recognizing the periphery of the vehicle by presenting an image without a sense of incongruity to the driver. The purpose is to provide.

本発明は、車両周辺を撮影した車両周辺画像に自車両画像を重畳させた表示画像を作成して、当該表示画像を表示手段に表示させる。このとき、本発明では、自車両の走行している周辺環境に応じて、自車両画像の表示形態を変更する。 The present invention creates a display image in which a host vehicle image is superimposed on a vehicle periphery image obtained by photographing the vehicle periphery, and displays the display image on a display unit. At this time, in the present invention, the display form of the host vehicle image is changed according to the surrounding environment in which the host vehicle is traveling.

本発明によれば、周辺環境に応じて自車両画像の表示形態を変更して車両周辺画像に重畳させるので、当該自車両画像が周囲環境に対して違和感のない映像を運転者に提示することにより、車両周辺を正しく認識させることができる。 According to the present invention, the display form of the own vehicle image is changed according to the surrounding environment and superimposed on the surrounding image of the vehicle, so that the own vehicle image presents to the driver an image that does not feel uncomfortable with the surrounding environment. Thus, the periphery of the vehicle can be recognized correctly.

本発明の第１実施形態として示す車両用表示装置が搭載される車両において、４台の車載カメラの設置位置及び撮影領域の一例を示す図である。It is a figure which shows an example of the installation position and imaging | photography area | region of four vehicle-mounted cameras in the vehicle by which the vehicle display apparatus shown as 1st Embodiment of this invention is mounted. 本発明の第１実施形態として示す車両用表示装置が搭載される車両において、実カメラ及び仮想カメラの位置と撮影エリアとの関係の一例を示す図である。It is a figure which shows an example of the relationship between the position of a real camera and a virtual camera, and an imaging | photography area in the vehicle by which the vehicle display apparatus shown as 1st Embodiment of this invention is mounted. 本発明の第１実施形態として示す車両用表示装置による視点変換の原理の一例を説明する図である。It is a figure explaining an example of the principle of viewpoint conversion by the display apparatus for vehicles shown as a 1st embodiment of the present invention. 本発明の第１実施形態として示す車両用表示装置により作成する俯瞰画像の一例を示す図である。It is a figure which shows an example of the bird's-eye view image produced with the display apparatus for vehicles shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す車両用表示装置の機能的な一構成例を示すブロック図である。It is a block diagram which shows one functional structural example of the display apparatus for vehicles shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す車両用表示装置における演算部の機能的な一構成例を示すブロック図である。It is a block diagram which shows one functional structural example of the calculating part in the display apparatus for vehicles shown as 1st Embodiment of this invention. ディスプレイ等の配置の一例を示す正面図である。It is a front view which shows an example of arrangement | positioning, such as a display. 本発明の第１実施形態として示す車両用表示装置において表示画像を作成するときの周囲環境の一例を示す図である。It is a figure which shows an example of the surrounding environment when producing a display image in the display apparatus for vehicles shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す車両用表示装置により表示する画像の一例を示す図である。It is a figure which shows an example of the image displayed with the display apparatus for vehicles shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す車両用表示装置において鏡面反射状態を模擬するための原理を説明する図である。It is a figure explaining the principle for simulating a specular reflection state in the display apparatus for vehicles shown as a 1st embodiment of the present invention. 本発明の第１実施形態として示す車両用表示装置における魚眼カメラにより撮影した周囲映像の一例を示す図である。It is a figure which shows an example of the surrounding image image | photographed with the fisheye camera in the display apparatus for vehicles shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す車両用表示装置により作成する鏡面反射状態を模擬した自車両画像の一例を示す図である。It is a figure which shows an example of the own vehicle image which simulated the specular reflection state produced with the display apparatus for vehicles shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す車両用表示装置において、車体を撮影するカメラの一例を示す斜視図である。1 is a perspective view showing an example of a camera that captures a vehicle body in a vehicle display device shown as a first embodiment of the present invention. 本発明の第１実施形態として示す車両用表示装置により、車体の一部を撮影した画像の一例を示す図である。It is a figure which shows an example of the image which image | photographed a part of vehicle body by the display apparatus for vehicles shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す車両用表示装置において、実際に車両に映る鏡面反射状態を示す図である。It is a figure which shows the specular reflection state actually reflected in a vehicle in the display apparatus for vehicles shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す車両用表示装置において、仮想カメラから見た鏡面反射状態を説明する図である。In the display apparatus for vehicles shown as 1st Embodiment of this invention, it is a figure explaining the specular reflection state seen from the virtual camera. 本発明の第２実施形態として示す車両用表示装置の機能的な一構成例を示すブロック図である。It is a block diagram which shows one functional structural example of the display apparatus for vehicles shown as 2nd Embodiment of this invention. 本発明の第２実施形態として示す車両用表示装置において、車体映像の車体領域に応じて自車両画像を変更することの説明図である。It is explanatory drawing of changing the own vehicle image according to the vehicle body area | region of a vehicle body image | video in the vehicle display apparatus shown as 2nd Embodiment of this invention. 本発明の第２実施形態として示す車両用表示装置により作成する拡散反射状態を模擬した自車両画像の一例を示す図である。It is a figure which shows an example of the own vehicle image which simulated the diffuse reflection state produced with the display apparatus for vehicles shown as 2nd Embodiment of this invention. 本発明の第３実施形態として示す車両用表示装置において予め記憶しておく自車両画像群の一例を示す図である。It is a figure which shows an example of the own vehicle image group memorize | stored beforehand in the display apparatus for vehicles shown as 3rd Embodiment of this invention. 本発明の第３実施形態として示す車両用表示装置の機能的な一構成例を示すブロック図である。It is a block diagram which shows one functional structural example of the display apparatus for vehicles shown as 3rd Embodiment of this invention. 本発明の第３実施形態として示す車両用表示装置における演算部の機能的な一構成例を示すブロック図である。It is a block diagram which shows one functional structural example of the calculating part in the display apparatus for vehicles shown as 3rd Embodiment of this invention. 本発明の第４実施形態として示す車両用表示装置において、拡散反射状態を模擬した自車両画像と、鏡面反射状態を模擬した自車両画像とを合成することの説明図である。In the vehicle display apparatus shown as 4th Embodiment of this invention, it is explanatory drawing of synthesize | combining the own vehicle image which simulated the diffuse reflection state, and the own vehicle image which simulated the specular reflection state. 本発明の第５実施形態として示す車両用表示装置において、自車両画像の一部を半透明にすることの説明図である。In the vehicle display apparatus shown as 5th Embodiment of this invention, it is explanatory drawing of making part of the own vehicle image translucent.

以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

［第１実施形態］
本発明の第１実施形態として示す車両用表示装置は、車両周辺を撮影し、当該撮影された車両周辺画像に自車両画像を重畳させた表示画像を作成して、表示するものである。このとき、車両用表示装置は、自車両の走行している周辺環境に応じて、表示画像中の自車両画像の表示形態を変更する。 [First Embodiment]
The vehicle display device shown as the first embodiment of the present invention captures a vehicle periphery, creates a display image in which the vehicle image is superimposed on the captured vehicle periphery image, and displays the display image. At this time, the display apparatus for vehicles changes the display form of the own vehicle image in a display image according to the surrounding environment where the own vehicle is traveling.

車両用表示装置は、表示画像として、例えば、撮影エリアを車両中央の真上から見下ろした画像である俯瞰画像を表示する。なお、以下の説明においては、運転者に自車両の周辺を認識させるための表示画像として俯瞰画像を表示させる例について説明する。しかし、俯瞰画像に限らず、自車両側方を確認させるための側方画像やその他の車両周辺画像を表示画像として表示させる場合であっても、後述するように表示画像中の自車両画像の表示形態を変更することができる。 The vehicle display device displays, as the display image, for example, an overhead image that is an image obtained by looking down the photographing area from directly above the center of the vehicle. In the following description, an example in which an overhead image is displayed as a display image for allowing the driver to recognize the periphery of the host vehicle will be described. However, not only the bird's-eye view image but also a side image for confirming the side of the host vehicle and other vehicle peripheral images are displayed as display images, as described later, The display form can be changed.

車両用表示装置は、例えば図１に示すように複数のカメラ２ａ，２ｂ，２ｃ，２ｄ（以下、総称する場合には単に「カメラ２」と呼ぶ。）を備えた車両１に搭載される。カメラ２は、車両の前後左右に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。図１に示すように、カメラ２ａは、車両前方のフロントグリルに設置され、車両前方の撮影エリアＳＰ１の画像を撮影する。また、カメラ２ｂは、車両左側方の左サイドミラーに設置され、車両左側方の撮影エリアＳＰ２の画像を撮影する。また、カメラ２ｃは、車両後方のルーフスポイラーに設置され、車両後方の撮影エリアＳＰ３の画像を撮影する。また、カメラ２ｄは、車両右側方の右サイドミラーに設置され、車両右側方の撮影エリアＳＰ４の画像を撮影する。これら４台のカメラ２ａ，２ｂ，２ｃ，２ｄで撮影された車両周辺画像データは、車両用表示装置に含まれる後述の映像処理装置１０に随時供給される。 The vehicle display device is mounted on a vehicle 1 having a plurality of cameras 2a, 2b, 2c, and 2d (hereinafter simply referred to as “camera 2” when collectively referred to) as shown in FIG. 1, for example. The cameras 2 are installed on the front, rear, left and right sides of the vehicle, respectively, and take images in four directions around the vehicle. As shown in FIG. 1, the camera 2a is installed on the front grille in front of the vehicle, and takes an image of the imaging area SP1 in front of the vehicle. The camera 2b is installed on the left side mirror on the left side of the vehicle, and takes an image of the shooting area SP2 on the left side of the vehicle. The camera 2c is installed in a roof spoiler at the rear of the vehicle and takes an image of the shooting area SP3 at the rear of the vehicle. The camera 2d is installed on the right side mirror on the right side of the vehicle and captures an image of the shooting area SP4 on the right side of the vehicle. Vehicle peripheral image data photographed by these four cameras 2a, 2b, 2c, and 2d is supplied to a video processing device 10 (described later) included in the vehicle display device as needed.

車両用表示装置は、カメラ２ａ，２ｂ，２ｃ，２ｄにより撮影された車両前方、車両後方、車両両側方からなる４個の車両周辺画像データのそれぞれを座標変換して、合成する。これにより、車両用表示装置は、カメラ２ａ，２ｂ，２ｃ，２ｄによって撮影された車両周辺画像データから、図２に示すように車両全周囲を車両上方の仮想視点から見下ろした合成画像（俯瞰画像）を生成する。すなわち、車両用表示装置は、カメラ２ａ，２ｂ，２ｃ，２ｄによって撮影された車両周辺画像に対して、変換前後の画像における画素アドレスの対応関係を記述した変換テーブルによってそれぞれ俯瞰画像に視点変換を行い、繋ぎ合わせる。これにより、車両用表示装置は、カメラ２によって得られた車両周辺画像を、仮想カメラ２’を視点として撮影エリアＳＰ１〜ＳＰ４を撮影した俯瞰画像に変換する。 The vehicle display device performs coordinate conversion of each of four pieces of vehicle peripheral image data, which is taken by the cameras 2a, 2b, 2c, and 2d and is composed of the vehicle front, the vehicle rear, and both sides of the vehicle. Thereby, the display apparatus for vehicles is the composite image (overhead image) which looked down from the virtual viewpoint above the vehicle from the vehicle periphery image data image | photographed with the cameras 2a, 2b, 2c, 2d as shown in FIG. ) Is generated. That is, the vehicular display device converts the viewpoint image into a bird's-eye view image by using a conversion table that describes the correspondence between pixel addresses in the images before and after conversion with respect to the vehicle surrounding images taken by the cameras 2a, 2b, 2c, and 2d. Do and connect. As a result, the vehicle display device converts the vehicle periphery image obtained by the camera 2 into a bird's-eye view image obtained by photographing the photographing areas SP1 to SP4 from the virtual camera 2 '.

例えば図３に示すように、先ず実空間に合わせて仮想空間を設定し、仮想空間上に位置及び向きを合わせて実際のカメラ２と仮想カメラ２’とを配置する。次に投影面を設定する。図３ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。次に仮想カメラ２’の画素の１つに注目し、注目した画素を画素Ｖとする。仮想カメラ２’の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ２’の位置及び向きの情報と合わせ、投影面と光線ａとの交点ｃを求める。次に交点ｃから実際のカメラ２への光線ｂを考える。光線ｂの実際のカメラ２への入射が実際のカメラ撮影範囲内の場合には、光線ｂが実際のカメラ２のどの画素に入射するかを計算する。この場合、画像変換後の画像変換画像について光線ｂが実カメラ１１のどの画素に入射するかを計算する。この光線ｂが入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色及び輝度を画素Ｒの色及び輝度とすることができる。 For example, as shown in FIG. 3, first, a virtual space is set in accordance with the real space, and the actual camera 2 and the virtual camera 2 'are arranged in the virtual space with the position and the orientation being matched. Next, the projection plane is set. In FIG. 3, the xy plane is set as the projection plane, but a plurality of projection planes may be provided in accordance with the topography of the real space and the presence of the object. Next, attention is paid to one of the pixels of the virtual camera 2 ′, and the focused pixel is set as a pixel V. Since the pixel V of the virtual camera 2 ′ has an area, the coordinates of the center point of the pixel V are set as the coordinates of the pixel V. Together with the position and orientation information of the virtual camera 2 ', the intersection point c between the projection plane and the light ray a is obtained. Next, consider a ray b from the intersection c to the actual camera 2. When the incident of the light beam b on the actual camera 2 is within the actual camera photographing range, the pixel of the actual camera 2 on which the light beam b is incident is calculated. In this case, which pixel of the actual camera 11 the light ray b enters is calculated for the image converted image after the image conversion. When the pixel on which the light beam b is incident is a pixel R, the pixel V and the pixel R correspond to each other, and the color and luminance of the pixel V can be set to the color and luminance of the pixel R.

このような変換処理により、車両用表示装置は、図４に示すような俯瞰画像を作成することができる。この俯瞰画像は、車両前方に設けられたカメラ２ａにより撮影された車両周辺画像データを変換した部分画像１０１Ｆと、車両左側方に設けられたカメラ２ｂにより撮影された車両周辺画像データを変換した部分画像１０１Ｌと、車両右側方に設けられたカメラ２ｄにより撮影された車両周辺画像データを変換した部分画像１０１Ｒと、車両後方に設けられたカメラ２ｃにより撮影された車両周辺画像データを変換した部分画像１０１Ｂを合成してなる。この俯瞰画像において、部分画像１０１同士の境界には繋ぎ目線１０２が重畳されている。俯瞰画像の中央には、自車両を示す自車両画像１００が重畳されている。この自車両画像１００は、後述するように自車両の走行している周辺環境に応じて表示形態を変更されて、当該俯瞰画像に重畳される。 By such conversion processing, the vehicular display device can create an overhead image as shown in FIG. This bird's-eye view image is a partial image 101F obtained by converting the vehicle surrounding image data photographed by the camera 2a provided in front of the vehicle and a portion obtained by converting the vehicle surrounding image data photographed by the camera 2b provided on the left side of the vehicle. An image 101L, a partial image 101R obtained by converting the vehicle peripheral image data photographed by the camera 2d provided on the right side of the vehicle, and a partial image obtained by converting the vehicle peripheral image data photographed by the camera 2c provided behind the vehicle. 101B is synthesized. In this overhead image, a joint line 102 is superimposed on the boundary between the partial images 101. A host vehicle image 100 showing the host vehicle is superimposed on the center of the overhead image. As will be described later, the display form of the host vehicle image 100 is changed according to the surrounding environment in which the host vehicle is traveling, and is superimposed on the overhead image.

このように車両周辺画像としての俯瞰画像を作成し、当該俯瞰画像に自車両画像１００を重畳させる車両用表示装置は、例えば図５に示すように構成されている。この車両用表示装置は、前方のカメラ２ａ，左側方のカメラ２ｂ，後方のカメラ２ｃ，右側方のカメラ２ｄと、映像処理装置１０と、ディスプレイ３とを有する。 A vehicle display device that creates an overhead image as a vehicle peripheral image and superimposes the host vehicle image 100 on the overhead image is configured as shown in FIG. 5, for example. This vehicle display device includes a front camera 2 a, a left camera 2 b, a rear camera 2 c, a right camera 2 d, a video processing device 10, and a display 3.

このような車両用表示装置における映像処理装置１０は、図７に示すように、インストルメントパネル３３に内蔵される。また、インストルメントパネル３３の略中央部には、駐車ボタン３２及びスクロールキー３１を含むスイッチ群３４及びディスプレイ３が設けられている。また、インストルメントパネル３３の運転席側には、運転者が視認可能な速度や回転数などの表示部３６が設けられている。スイッチ群３４のステアリング３５側には、シフトレバー３７が設けられている。このようにスイッチ群３４には、当該スイッチ群３４内におけるシフトレバー３７側に駐車ボタン３２が設けられている。駐車ボタン３２は、例えば俯瞰画像を表示させた状態で駐車を開始する時に操作される。 The video processing device 10 in such a vehicle display device is built in the instrument panel 33 as shown in FIG. In addition, a switch group 34 including a parking button 32 and a scroll key 31 and a display 3 are provided in a substantially central portion of the instrument panel 33. Further, on the driver seat side of the instrument panel 33, a display unit 36 such as a speed and a rotational speed that can be visually recognized by the driver is provided. A shift lever 37 is provided on the steering group 35 side of the switch group 34. As described above, the switch group 34 is provided with the parking button 32 on the shift lever 37 side in the switch group 34. The parking button 32 is operated, for example, when parking is started in a state where an overhead image is displayed.

映像処理装置１０は、カメラ２ａ，２ｂ，２ｃ，２ｄのそれぞれに対応した映像入力部１２ａ，１２ｂ，１２ｃ，１２ｄ及びフレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄと、図６に示す各部を含む演算部１４と、変換テーブル記憶部１５と、出力映像用のフレームメモリ１６と、ディスプレイ３と接続された映像出力部１７とを備える。 The video processing apparatus 10 includes video input units 12a, 12b, 12c, and 12d and frame memories 13a, 13b, 13c, and 13d corresponding to the cameras 2a, 2b, 2c, and 2d, and arithmetic units including the units shown in FIG. 14, a conversion table storage unit 15, an output video frame memory 16, and a video output unit 17 connected to the display 3.

映像入力部１２ａ，１２ｂ，１２ｃ，１２ｄは、カメラ２ａ，２ｂ，２ｃ，２ｄから、所定時間ごとに車両周辺画像データを入力する。ここで、カメラ２は、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラで構成されている。このカメラ２は、車両周辺を撮影した車両周辺画像を映像処理装置１０に出力する。なお、この実施の形態では、車両の前方、後方及び両側方を撮影するために４個のカメラ２ａ，２ｂ，２ｃ，２ｄを設けているので、車両前方、車両後方、車両両側方の４個の車両周辺画像が映像入力部１２ａ，１２ｂ，１２ｃ，１２ｄに出力される。 The video input units 12a, 12b, 12c, and 12d input vehicle peripheral image data from the cameras 2a, 2b, 2c, and 2d every predetermined time. Here, the camera 2 is composed of a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal-Oxide Semiconductor) camera, for example. The camera 2 outputs a vehicle periphery image obtained by capturing the vehicle periphery to the video processing device 10. In this embodiment, four cameras 2a, 2b, 2c, and 2d are provided to photograph the front, rear, and both sides of the vehicle. The vehicle periphery image is output to the video input units 12a, 12b, 12c, and 12d.

フレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄは、映像入力部１２ａ，１２ｂ，１２ｃ，１２ｄにより入力したカメラ２ａ，２ｂ，２ｃ，２ｄによる車両周辺画像データをフレーム単位で格納する。フレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄは、同時刻にカメラ２ａ，２ｂ，２ｃ，２ｄにより撮影された車両周辺画像データが演算部１４により読み込まれる。 The frame memories 13a, 13b, 13c, and 13d store vehicle peripheral image data by the cameras 2a, 2b, 2c, and 2d input by the video input units 12a, 12b, 12c, and 12d in units of frames. In the frame memories 13a, 13b, 13c, and 13d, the vehicle peripheral image data captured by the cameras 2a, 2b, 2c, and 2d at the same time is read by the calculation unit 14.

演算部１４は、カメラ２ａ，２ｂ，２ｃ，２ｄにより撮影された車両周辺画像データに自車両画像１００を重畳させた表示画像を作成する表示画像作成手段として機能する。特に、演算部１４は、自車両の車体に映る周囲状態を模擬するように自車両画像１００の表示形態を変更する。この第１実施形態として示す車両用表示装置における演算部１４は、自車両の車体に対して周囲の光が鏡面反射される状態を模擬するように自車両画像１００の表示形態を変更する。この鏡面反射状態とは、例えば昼間の太陽や、夜間電灯などの周囲光に対して高い輝度の光が車両１に対して照射された時に、車両１のうち一部分の輝度が高く見える状態をいう。 The calculation unit 14 functions as a display image creation unit that creates a display image in which the vehicle image 100 is superimposed on the vehicle surrounding image data captured by the cameras 2a, 2b, 2c, and 2d. In particular, the calculation unit 14 changes the display form of the host vehicle image 100 so as to simulate the surrounding state reflected in the vehicle body of the host vehicle. The calculation unit 14 in the vehicle display device shown as the first embodiment changes the display form of the host vehicle image 100 so as to simulate a state in which ambient light is specularly reflected with respect to the vehicle body of the host vehicle. This specular reflection state refers to a state in which a portion of the vehicle 1 appears to have a high luminance when the vehicle 1 is irradiated with light having a high luminance relative to ambient light such as the daytime sun or night light. .

また、演算部１４は、自車両画像１００が重畳される車両周辺画像として、上述したような俯瞰画像を作成する。このために、演算部１４は、変換前後の画像における画素アドレスの対応関係を記述した変換テーブルを変換テーブル記憶部１５から読み出す。そして、演算部１４は、カメラ２ａ，２ｂ，２ｃ，２ｄにより撮影された車両前方、車両後方、車両両側方からなる４個の車両周辺画像データのそれぞれを座標変換して、俯瞰画像を作成する。そして、演算部１４は、作成した俯瞰画像における所定領域に、車両の周囲状態を模擬した自車両画像１００を重畳させる。 Moreover, the calculating part 14 produces the above-mentioned bird's-eye view image as a vehicle periphery image with which the own vehicle image 100 is superimposed. For this purpose, the calculation unit 14 reads out from the conversion table storage unit 15 a conversion table describing the correspondence between pixel addresses in the images before and after conversion. And the calculating part 14 carries out coordinate conversion of each of the four vehicle periphery image data which consisted of the vehicle front, vehicle back, and vehicle both sides image | photographed with the cameras 2a, 2b, 2c, and 2d, and produces a bird's-eye view image. . And the calculating part 14 superimposes the own vehicle image 100 which simulated the surrounding state of the vehicle on the predetermined area | region in the created bird's-eye view image.

変換テーブル記憶部１５は、演算部１４により表示画像を作成するに際して、カメラ２ａ，２ｂ，２ｃ，２ｄの車両周辺画像データを変換するための変換テーブルを記憶する。なお、変換テーブル記憶部１５は、俯瞰画像を作成する変換テーブルに限らず、他のレイアウトの表示画像を作成するための変換テーブルを記憶していても良いことは勿論である。 The conversion table storage unit 15 stores a conversion table for converting vehicle surrounding image data of the cameras 2a, 2b, 2c, and 2d when the calculation unit 14 creates a display image. Note that the conversion table storage unit 15 is not limited to a conversion table for creating a bird's-eye view image, but may naturally store a conversion table for creating a display image of another layout.

フレームメモリ１６は、演算部１４により作成された出力映像である俯瞰画像をフレーム単位で記憶する。フレームメモリ１６は、所定時間ごとに、フレーム単位の俯瞰画像を映像出力部１７に出力する。 The frame memory 16 stores a bird's-eye view image that is an output video created by the calculation unit 14 in units of frames. The frame memory 16 outputs an overhead image in units of frames to the video output unit 17 every predetermined time.

映像出力部１７は、フレームメモリ１６からフレーム単位で俯瞰画像を読み出して、所定時間ごとに俯瞰画像をディスプレイ３に出力する。 The video output unit 17 reads the overhead image from the frame memory 16 in units of frames, and outputs the overhead image to the display 3 every predetermined time.

ディスプレイ３は、映像処理装置１０により作成された表示画像としての俯瞰画像を入力して、当該俯瞰画像を表示する。 The display 3 inputs the overhead image as a display image created by the video processing device 10 and displays the overhead image.

演算部１４は、図６に示すように、視点変換処理部２１と、鏡面反射映像生成部２２と、画像合成処理部２３とを有する。なお、この演算部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたコンピュータによるハードウエアで構成されているが、図６においては便宜的に機能ブロック毎に分けて、説明を行っている。 As illustrated in FIG. 6, the calculation unit 14 includes a viewpoint conversion processing unit 21, a specular reflection image generation unit 22, and an image synthesis processing unit 23. The calculation unit 14 is configured by hardware by a computer including a CPU, a ROM, a RAM, and the like. However, in FIG. 6, the description is given separately for each functional block for convenience.

視点変換処理部２１は、カメラ２ａ，２ｂ，２ｃ，２ｄの撮影映像である車両周辺画像データを、フレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄから読み出して、上述した変換テーブルを用いた視点変換を行って俯瞰画像を作成する。この俯瞰画像は、画像合成処理部２３に供給される。 The viewpoint conversion processing unit 21 reads out vehicle peripheral image data, which are captured images of the cameras 2a, 2b, 2c, and 2d, from the frame memories 13a, 13b, 13c, and 13d, and performs viewpoint conversion using the conversion table described above. To create a bird's-eye view image. This overhead view image is supplied to the image composition processing unit 23.

鏡面反射映像生成部２２は、自車両の走行している周辺環境に応じて、自車両画像１００の表示形態を変更する。この第１実施形態においては、鏡面反射映像生成部２２により、車両１に対して周囲の光が鏡面反射した状態を模擬した自車両画像１００を作成する場合について説明する。鏡面反射映像生成部２２は、車両周辺画像データ及び自車両の周囲を撮影する周囲撮影手段としての魚眼カメラ２１１からの周囲映像（周囲画像）を用いて、鏡面反射状態を模擬した自車両画像１００を作成する。この自車両画像１００は、画像合成処理部２３に供給される。 The specular reflection image generation unit 22 changes the display form of the host vehicle image 100 according to the surrounding environment in which the host vehicle is traveling. In the first embodiment, a case will be described in which the mirror image generation unit 22 creates a host vehicle image 100 that simulates a state in which ambient light is specularly reflected on the vehicle 1. The specular reflection image generation unit 22 uses the vehicle periphery image data and the surrounding image (ambient image) from the fisheye camera 211 as a surrounding photographing means for capturing the surroundings of the host vehicle, and the own vehicle image simulating the specular reflection state. 100 is created. The host vehicle image 100 is supplied to the image composition processing unit 23.

画像合成処理部２３は、俯瞰画像における所定領域に自車両画像１００を重畳させて、ディスプレイ３に表示させる表示画像を作成する。この表示画像は、フレームメモリ１６に供給される。 The image composition processing unit 23 creates a display image to be displayed on the display 3 by superimposing the host vehicle image 100 on a predetermined region in the overhead image. This display image is supplied to the frame memory 16.

［鏡面反射状態を模擬した自車両画像を作成する具体例］
つぎに、上述した車両用表示装置において、車両１に対して周囲の光が鏡面反射した状態を模擬した自車両画像１００を作成する具体例について説明する。 [Specific example of creating own vehicle image simulating specular reflection state]
Next, a specific example of creating the vehicle image 100 simulating a state in which ambient light is specularly reflected from the vehicle 1 in the vehicle display device described above will be described.

例えば、図８に示すように、車両１の周囲には、車両１が走行している脇に設置された支柱２０１の先端に電灯２０２が設けられ、歩道２０４を介してビル２０３が存在するとする。このような周囲状態において、図９に示すような表示画像としての俯瞰画像を表示させるとする。 For example, as shown in FIG. 8, around the vehicle 1, it is assumed that a lamp 202 is provided at the tip of a column 201 installed on the side where the vehicle 1 is traveling, and a building 203 exists via a sidewalk 204. . Assume that an overhead image as a display image as shown in FIG. 9 is displayed in such a surrounding state.

図９に示す俯瞰画像は、周囲状態を表す部分画像１０１の組み合わせた画像上に、自車両画像１００を配置している。この状態において、部分画像１０１には、道路上の白線、支柱２０１、歩道２０４、ビル２０３が含まれている。これら車両１の周囲に存在する支柱２０１、歩道２０４及びビル２０３、白線１１２は、車両１周囲の明るさなどの影響によって、色合いが変化するものである。したがって、車両用表示装置は、当該車両１の周囲状態によって色合いが変化する部分画像１０１に対して違和感がないような自車両画像１００を作成する。 In the bird's-eye view image shown in FIG. 9, the host vehicle image 100 is arranged on an image obtained by combining the partial images 101 representing the surrounding state. In this state, the partial image 101 includes a white line on the road, a column 201, a sidewalk 204, and a building 203. The columns 201, the sidewalk 204, the building 203, and the white line 112 existing around the vehicle 1 change in color due to the influence of the brightness around the vehicle 1. Therefore, the vehicular display device creates the host vehicle image 100 that does not give a sense of incongruity to the partial image 101 whose hue changes depending on the surrounding state of the vehicle 1.

このために、車両用表示装置は、図１０に示すように、車両１の塗装面に対する入射光を魚眼カメラ２１１により撮影する。そして、車両用表示装置は、魚眼カメラ２１１により、仮想カメラ２１２から車両１を見たときに車両１に映っていることが推定される周囲映像を生成する。魚眼カメラ２１１は、図１０中におけるＡからの矢印方向を撮影領域２１１’の中心とし、図１１に示す周囲映像を撮影させる。図１１に示す周囲映像には、当該映像の大部分を占める空の他に、ビル２０３及び電灯２０２が含まれている。 For this purpose, the vehicular display device captures incident light on the painted surface of the vehicle 1 with a fish-eye camera 211, as shown in FIG. Then, the vehicular display device uses the fish-eye camera 211 to generate a surrounding image that is estimated to be reflected in the vehicle 1 when the vehicle 1 is viewed from the virtual camera 212. The fisheye camera 211 captures the surrounding image shown in FIG. 11 with the arrow direction from A in FIG. 10 as the center of the imaging region 211 ′. The surrounding image shown in FIG. 11 includes a building 203 and a lamp 202 in addition to the sky that occupies most of the image.

このような魚眼カメラ２１１により撮影された周囲映像は、鏡面反射映像生成部２２に供給される。鏡面反射映像生成部２２は、魚眼カメラ２１１により撮影された周囲映像を用いて、仮想カメラ２１２の位置から車両１を見下ろしたときに車両１に映っている風景（鏡面反射映像）を演算する。 The surrounding image captured by the fisheye camera 211 is supplied to the specular reflection image generation unit 22. The specular reflection image generation unit 22 calculates a landscape (specular reflection image) reflected in the vehicle 1 when looking down at the vehicle 1 from the position of the virtual camera 212 using the surrounding image captured by the fisheye camera 211. .

例えば、魚眼カメラ２１１に対しては、当該魚眼カメラ２１１の位置Ａに入射光２１５が入射される。また、車両１の車体位置Ｃには入射光２１３が入射され、当該車両１の車体にて反射した反射光２１４が仮想カメラ２１２の位置Ｂに入射される。このように仮想カメラ２１２が反射光２１４を撮影した状態を鏡面反射映像生成部２２によって求める。 For example, incident light 215 is incident on the fisheye camera 211 at a position A of the fisheye camera 211. Further, incident light 213 is incident on the vehicle body position C of the vehicle 1, and reflected light 214 reflected by the vehicle body of the vehicle 1 is incident on the position B of the virtual camera 212. Thus, the specular reflection image generation unit 22 obtains the state in which the virtual camera 212 has captured the reflected light 214.

ここで、車両１のボディ形状と仮想カメラ２１２の位置Ａとは既知であるため、電灯２０２からの入射光２１３が車両１に入射する位置Ｃにおける車体接線と仮想カメラ２１２の位置Ｂとの位置関係から、入射光２１３が反射した反射光２１４の出射角αが求まる。すると、入射光２１３が車両１に入射した位置Ｃにおける入射角βは、出射角αと等しいものとして求めることができる。そして、この入射角βの入射光２１３が水平線となす角度γを求めることができる。 Here, since the body shape of the vehicle 1 and the position A of the virtual camera 212 are known, the position of the vehicle body tangent at the position C where the incident light 213 from the electric light 202 enters the vehicle 1 and the position B of the virtual camera 212. From the relationship, the emission angle α of the reflected light 214 reflected by the incident light 213 is obtained. Then, the incident angle β at the position C where the incident light 213 enters the vehicle 1 can be obtained as being equal to the emission angle α. Then, the angle γ formed by the incident light 213 having the incident angle β with the horizontal line can be obtained.

通常、車両１と仮想カメラ２１２の距離よりも、車両１の周囲に存在する電灯２０２などの物体との距離の方が長い。このため、鏡面反射映像生成部２２は、魚眼カメラ２１１が撮影した周囲映像のうち、水平線となす角度γにおけるピクセルの色を、電灯２０２が車両１に入射した色として用いることができる。これにより、鏡面反射映像生成部２２は、実際に電灯２０２の位置Ｄと、魚眼カメラ２１１により撮影された周囲映像のうち電灯２０２を撮影した位置Ｅとの間に誤差があるものの、魚眼カメラ２１１により撮影した周囲映像のうち車両１の車体に対して周囲の光が鏡面反射される方向の映像を求めることができる。 Usually, the distance between the vehicle 1 and the virtual camera 212 is longer than an object such as the electric light 202 existing around the vehicle 1. For this reason, the specular reflection image generation unit 22 can use the color of the pixel at the angle γ formed with the horizontal line in the surrounding image captured by the fisheye camera 211 as the color at which the lamp 202 is incident on the vehicle 1. Thereby, the specular reflection image generation unit 22 has an error between the position D of the electric light 202 and the position E of the surrounding image captured by the fisheye camera 211 where the electric light 202 is imaged. Of the surrounding images photographed by the camera 211, an image in a direction in which ambient light is specularly reflected with respect to the vehicle body of the vehicle 1 can be obtained.

このように、車両１の位置と、魚眼カメラ２１１との対応関係を、鏡面反射映像生成部２２によって求める。これにより、鏡面反射映像生成部２２は、魚眼カメラ２１１により撮影された周囲映像を用いて、自車両画像１００の全体に亘って、どのような光が自車両画像１００に投影されているかを求めることができる。これにより、鏡面反射映像生成部２２は、例えば図１２に示すように、自車両画像１００の一部に、電灯２０２からの光が反射することにより他の部分よりも輝度が高い鏡面反射部分１０３Ａ，１０３Ｂ，１０３Ｃを模擬するように自車両画像１００の表示形態を変更できる。 Thus, the correspondence between the position of the vehicle 1 and the fisheye camera 211 is obtained by the specular reflection image generation unit 22. Thereby, the specular reflection image generation unit 22 uses the surrounding image captured by the fisheye camera 211 to determine what light is projected on the host vehicle image 100 over the entire host vehicle image 100. Can be sought. Thereby, the specular reflection image generation unit 22, for example, as shown in FIG. 12, the specular reflection part 103 A having higher luminance than the other part due to the light from the electric lamp 202 being reflected on a part of the vehicle image 100. , 103B, 103C, the display form of the host vehicle image 100 can be changed.

なお、鏡面反射映像生成部２２は、リアルタイムで鏡面反射部分１０３を含む自車両画像１００を作成するために、自車両画像１００上の位置と、魚眼カメラ２１１との対応関係を記述した対応マップを用意しておくことが望ましい。これにより、鏡面反射映像生成部２２は、簡単な処理で、魚眼カメラ２１１により撮影された周囲映像に基づいて、鏡面反射部分１０３を含む自車両画像１００を作成することができる。 Note that the specular reflection video generation unit 22 creates a self-vehicle image 100 including the specular reflection portion 103 in real time, and a correspondence map describing the correspondence between the position on the self-vehicle image 100 and the fisheye camera 211. It is desirable to prepare. Thereby, the specular reflection image generation unit 22 can create the host vehicle image 100 including the specular reflection portion 103 based on the surrounding image captured by the fisheye camera 211 with a simple process.

［鏡面反射状態を模擬した自車両画像を作成する他の具体例］
つぎに、鏡面反射映像生成部２２により、鏡面反射状態を模擬した自車両画像１００を作成する他の具体例について説明する。 [Other specific examples of creating a vehicle image simulating the specular reflection state]
Next, another specific example of creating the vehicle image 100 simulating the specular reflection state by the specular reflection image generation unit 22 will be described.

この車両用表示装置は、図１３に示すように、車体の一部を撮影する車体撮影手段としてのカメラ２ｅを備える。このカメラ２ｅは、車室内におけるルームミラー付近に設置され、車両１の前部１Ａを撮影範囲に含み、後部１Ｂは撮影範囲に含まない。このカメラ２ｅは、車両１の車体を撮影する車体撮影手段として機能し、当該車体映像を演算部１４の鏡面反射映像生成部２２に供給する。そして、鏡面反射映像生成部２２は、カメラ２ｅにより撮影された車体画像を用いて自車両画像１００の表示形態を変更する。 As shown in FIG. 13, the vehicle display device includes a camera 2e as a vehicle body photographing unit that photographs a part of the vehicle body. The camera 2e is installed in the vicinity of a rearview mirror in the vehicle interior, and includes the front portion 1A of the vehicle 1 in the shooting range, and the rear portion 1B is not included in the shooting range. The camera 2 e functions as a vehicle body photographing unit that photographs the vehicle body of the vehicle 1 and supplies the vehicle body image to the specular reflection image generation unit 22 of the calculation unit 14. And the specular reflection image generation part 22 changes the display form of the own vehicle image 100 using the vehicle body image image | photographed with the camera 2e.

このよう車両用表示装置において、カメラ２ｅにより撮影された車体映像１２０は、図１４に示すように、車両１の前部１Ａ、道路上の白線１１１，１１２を含む。また、車両１の前部１Ａには、電灯２０２から出射された光１０４が照射されているとする。この時、実際の車両１の前部１Ａは、図１５に示すように、電灯２０２からの光によって鏡面反射部分１０３Ａ，１０３Ｂ，１０３Ｃが形成されていたとする。 In such a vehicle display device, the vehicle body image 120 photographed by the camera 2e includes a front portion 1A of the vehicle 1 and white lines 111 and 112 on the road, as shown in FIG. Further, it is assumed that the light 104 emitted from the electric lamp 202 is irradiated on the front portion 1 A of the vehicle 1. At this time, in the front portion 1A of the actual vehicle 1, as shown in FIG. 15, it is assumed that specular reflection portions 103A, 103B, and 103C are formed by light from the electric lamp 202.

この場合、鏡面反射映像生成部２２は、カメラ２ｅにより撮影された車体映像１２０と自車両画像１００上の位置との対応関係を記憶しておき、カメラ２ｅにより撮影された車体映像１２０を、自車両画像１００上の映像に変換することができる。ここで、例えば電灯２０２と車両１との距離が十分に離れているので、任意の車両１上の点に入射された光の入射角と、仮想カメラ２１２により撮影される反射光の反射角とが同じであると仮定できる。図１６に、図１５におけるＡ線上での断面状態を示すように、カメラ２ｅの撮影範囲と、仮想カメラ２１２の撮影範囲との対応関係は、仮想カメラ２１２の位置と車両１のボディ形状の関係から予め設定される。すなわち、カメラ２ｅにより撮影された車体映像１２０における任意の画素Ａ（１０４）に対する、仮想カメラ２１２から見た点としての自車両画像１００上の画素Ｂ，Ｃ，Ｄ（１０３Ａ，１０３Ｂ，１０３Ｃ）の関係は、予め対応マップとして設定できる。 In this case, the specular reflection image generation unit 22 stores the correspondence between the vehicle body image 120 captured by the camera 2e and the position on the host vehicle image 100, and the vehicle body image 120 captured by the camera 2e It can be converted into a video on the vehicle image 100. Here, for example, since the distance between the electric lamp 202 and the vehicle 1 is sufficiently large, the incident angle of light incident on a point on an arbitrary vehicle 1 and the reflection angle of reflected light photographed by the virtual camera 212 Can be assumed to be the same. 16 shows a cross-sectional state on the line A in FIG. 15, the correspondence between the shooting range of the camera 2 e and the shooting range of the virtual camera 212 is the relationship between the position of the virtual camera 212 and the body shape of the vehicle 1. Is set in advance. That is, pixels B, C, and D (103A, 103B, and 103C) on the vehicle image 100 as points viewed from the virtual camera 212 with respect to an arbitrary pixel A (104) in the vehicle body image 120 photographed by the camera 2e. The relationship can be set in advance as a correspondence map.

例えば、図１４に示すカメラ２ｅの車体映像１２０が撮影された場合には、図１４に示す光１０４（図１６のＡ）を、図１５に示すような鏡面反射部分１０３Ａ，１０３Ｂ，１０３Ｃ（図１６のＢ，Ｃ，Ｄ）として含む自車両画像１００を模擬する対応マップを作成しておく。これにより、鏡面反射映像生成部２２は、カメラ２ｅにより撮影された車体映像１２０における画素を取り出して、予め設定された対応マップを参照して、鏡面反射部分１０３Ａ，１０３Ｂ，１０３Ｃを含む自車両画像１００を作成できる。 For example, when the vehicle body image 120 of the camera 2e shown in FIG. 14 is captured, the light 104 shown in FIG. 14 (A in FIG. 16) is converted into specular reflection portions 103A, 103B, and 103C (see FIG. 15). A correspondence map for simulating the vehicle image 100 included as 16 B, C, D) is created. Thereby, the specular reflection image generation unit 22 takes out the pixels in the vehicle body image 120 photographed by the camera 2e, refers to the preset correspondence map, and the own vehicle image including the specular reflection portions 103A, 103B, 103C 100 can be created.

［第１実施形態の効果］
以上説明したように、本発明の実施形態として示す車両用表示装置によれば、自車両の走行している周辺環境に応じて自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することができ、車両周辺を正しく認識させることができる。 [Effect of the first embodiment]
As described above, according to the vehicle display device shown as the embodiment of the present invention, the display form of the own vehicle image 100 is changed according to the surrounding environment in which the own vehicle is traveling. A video including the vehicle image 100 without a sense of incongruity can be presented, and the periphery of the vehicle can be recognized correctly.

また、この車両用表示装置によれば、車両周辺画像から俯瞰画像を生成し、当該俯瞰画像に自車両画像１００を重畳させる場合に、自車両画像１００と車両周辺画像とを同時に見たときの違和感を低減できる。 Moreover, according to this vehicle display device, when the overhead image is generated from the vehicle periphery image and the own vehicle image 100 is superimposed on the overhead image, the own vehicle image 100 and the vehicle periphery image are viewed simultaneously. Discomfort can be reduced.

更に、この車両用表示装置によれば、車両１に映る周囲状態を模擬するように自車両画像１００の表示形態を変更するので、より違和感のない映像を提示することにより、車両周辺を正しく認識させることができる。したがって、例えば車両１が、両脇に街灯がある道を走行中には、その風景があたかも車両１に写っている自車両画像１００を作成でき、周囲映像に違和感なく溶け込んでいる自車両画像１００を表示できる。 Furthermore, according to this vehicle display device, the display form of the host vehicle image 100 is changed so as to simulate the surrounding state reflected in the vehicle 1, so that the vehicle periphery is correctly recognized by presenting a more comfortable image. Can be made. Therefore, for example, when the vehicle 1 is traveling on a road with street lamps on both sides, the own vehicle image 100 in which the scenery is reflected in the vehicle 1 can be created, and the own vehicle image 100 is blended into the surrounding image without a sense of incongruity. Can be displayed.

更にまた、車両用表示装置は、自車両の周囲を撮影する周囲撮影手段としての魚眼カメラ２１１を備え、図１０に示したように、鏡面反射映像生成部２２により、魚眼カメラ２１１により撮影された周囲映像のうち、車両１の車体に対して周囲の光が鏡面反射される方向の映像を用いて自車両画像１００の表示形態を変更することができる。したがって、この車両用表示装置によれば、実際に車両１の塗装面に映りこんでいる風景を撮影することができない場合でも、車両周辺の状況に対して現実感のある鏡面反射映像を含む自車両画像１００を生成することができる。 Furthermore, the vehicular display device includes a fisheye camera 211 as a surrounding photographing means for photographing the surroundings of the host vehicle, and is photographed by the fisheye camera 211 by the specular reflection image generation unit 22 as shown in FIG. The display form of the host vehicle image 100 can be changed using an image in a direction in which ambient light is specularly reflected from the vehicle 1 of the vehicle 1. Therefore, according to this vehicular display device, even when it is not possible to photograph the scenery that is actually reflected on the painted surface of the vehicle 1, the vehicle display device itself includes a specular reflection image that has a real sense of the situation around the vehicle. A vehicle image 100 can be generated.

また、車両用表示装置によれば、自車両の車体を撮影するカメラ２ｅを備え、鏡面反射映像生成部２２により、カメラ２ｅにより撮影された車体映像１２０を用いて自車両画像１００の表示形態を変更するので、車両１を実際に撮影して自車両画像１００を作成でき、より現実感に近い自車両画像１００を作成できる。また、車両１の全部を撮影しなくても、車両１に映っている鏡面反射状態に応じて、現実感の高い自車両画像１００を作成できる。 Moreover, according to the display apparatus for vehicles, the camera 2e which image | photographs the vehicle body of the own vehicle is provided, and the display form of the own vehicle image 100 is used by the specular reflection image generation part 22 using the vehicle body image | video 120 image | photographed with the camera 2e. Since the change is made, the own vehicle image 100 can be created by actually photographing the vehicle 1 and the vehicle image 100 closer to the real sense can be created. Further, even if the entire vehicle 1 is not photographed, it is possible to create a vehicle image 100 having a high sense of reality according to the specular reflection state reflected in the vehicle 1.

［第２実施形態］
つぎに、本発明の第２実施形態として示す車両用表示装置について説明する。なお、上述した第１実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。 [Second Embodiment]
Next, a vehicle display device shown as a second embodiment of the present invention will be described. In addition, about the same part as 1st Embodiment mentioned above, the detailed description is abbreviate | omitted by attaching | subjecting the same code | symbol.

第２実施形態として示す車両用表示装置は、図１７に示すように、鏡面反射映像生成部２２に代えて、演算部１４に拡散反射映像生成部２４を備えた点で、上述した第１実施形態として示した車両用表示装置とは異なる。この車両用表示装置において、拡散反射映像生成部２４は、車両１の車体に対して周囲の光が拡散反射された状態を模擬するように自車両画像１００の表示形態を変更する。この拡散反射状態とは、周囲の光が車両１にて拡散反射することにより車両１の色が異なって見える状態をいう。 As shown in FIG. 17, the vehicle display device shown as the second embodiment is the first embodiment described above in that the calculation unit 14 includes a diffuse reflection image generation unit 24 instead of the specular reflection image generation unit 22. It is different from the vehicle display device shown as a form. In this vehicle display device, the diffuse reflection image generation unit 24 changes the display form of the host vehicle image 100 so as to simulate a state in which ambient light is diffusely reflected on the vehicle body of the vehicle 1. This diffuse reflection state refers to a state in which the color of the vehicle 1 looks different because ambient light is diffusely reflected by the vehicle 1.

このような車両用表示装置は、上述の図１３に示したカメラ２ｅを備え、図１８に示す車体映像１２０を撮影する。そして、拡散反射映像生成部２４は、カメラ２ｅにより撮影された車体映像１２０の輝度又は色に応じて自車両画像１００の表示形態を変更する。例えば図１８に示す車体映像１２０のうち、車両１の前部１Ａのうち一部に相当する車体領域１２１の輝度又は色を取得する。そして、拡散反射映像生成部２４は、取得した車体領域１２１の輝度又は色の平均値を演算する。具体的には、車体領域１２１として設定されている座標のＲＧＢ値の平均を演算する。そして、拡散反射映像生成部２４は、演算した値となるように自車両画像１００の輝度又は色を決定して自車両画像１００の表示形態を変更させる。これにより、車両用表示装置は、図１９に示すように、車両１の前部１Ａ及び後部１Ｂを、周囲の光が拡散反射された状態を模擬する形態とする自車両画像１００Ｂを作成することができる。 Such a vehicle display device includes the camera 2e shown in FIG. 13 described above, and takes a vehicle body image 120 shown in FIG. And the diffuse reflection image generation part 24 changes the display form of the own vehicle image 100 according to the brightness | luminance or the color of the vehicle body image | video 120 image | photographed with the camera 2e. For example, the luminance or color of the vehicle body region 121 corresponding to a part of the front portion 1A of the vehicle 1 is acquired from the vehicle body image 120 shown in FIG. Then, the diffuse reflection image generation unit 24 calculates the average value of the acquired luminance or color of the vehicle body region 121. Specifically, the average of the RGB values of the coordinates set as the vehicle body area 121 is calculated. And the diffuse reflection image generation part 24 determines the brightness | luminance or color of the own vehicle image 100 so that it may become the calculated value, and changes the display form of the own vehicle image 100. FIG. Thereby, as shown in FIG. 19, the vehicle display device creates a host vehicle image 100 B in which the front portion 1 A and the rear portion 1 B of the vehicle 1 are simulated in a state in which ambient light is diffusely reflected. Can do.

以上のように、車両用表示装置によれば、第１実施形態と同様に、自車両の走行している周辺環境に応じて自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することにより、車両周辺を正しく認識させることができる。これに加えて、この車両用表示装置によれば、実際に車両１を撮影した車体映像１２０を用いて自車両画像１００の輝度又は色を決定できるので、実際に周囲の光が拡散反射している状態に応じて自車両画像１００の表示形態を変更できる。これにより、車両用表示装置によれば、車両周辺の明るさの違いによる違和感を回避した、現実感が非常に高い自車両画像１００を生成することができる。 As described above, according to the vehicle display device, the display form of the host vehicle image 100 is changed according to the surrounding environment in which the host vehicle is traveling, as in the first embodiment. By presenting a video including the vehicle image 100 without a sense of incongruity, it is possible to correctly recognize the periphery of the vehicle. In addition, according to this vehicular display device, the brightness or color of the vehicle image 100 can be determined using the vehicle body image 120 obtained by actually capturing the vehicle 1, so that ambient light is actually diffusely reflected. The display form of the own vehicle image 100 can be changed according to the state of being. Thereby, according to the vehicle display device, it is possible to generate the own vehicle image 100 with a very high sense of reality that avoids a sense of incongruity due to a difference in brightness around the vehicle.

［第３実施形態］
つぎに、第３実施形態として示す車両用表示装置について説明する。なお、上述した実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。 [Third Embodiment]
Next, a vehicle display device shown as a third embodiment will be described. In addition, about the same part as embodiment mentioned above, the detailed description is abbreviate | omitted by attaching | subjecting the same code | symbol.

この車両用表示装置は、図２０に示すように、自車両の車体に対して周囲の光が拡散反射された状態を模擬した自車両画像を複数含む自車両画像群１３０を記憶しておき、車両１の状態に応じて、何れかの自車両画像１００を選択するものである。この車両用表示装置は、図２１に示すように、自車両画像群１３０を記憶する自車画像記憶部１８と、車両状態を示す車両信号を出力するタイマ４１，ワイパーＳＷ４２，ナビゲーション装置４３，輝度センサ４４，ヘッドライトＳＷ４５とを備える。自車画像記憶部１８、及び、タイマ４１，ワイパーＳＷ４２，ナビゲーション装置４３，輝度センサ４４，ヘッドライトＳＷ４５は、演算部１４に接続されている。演算部１４は、自車両画像群１３０及び車両信号を取得する。 As shown in FIG. 20, the vehicle display device stores a host vehicle image group 130 including a plurality of host vehicle images simulating a state in which ambient light is diffusely reflected on the body of the host vehicle. One of the own vehicle images 100 is selected according to the state of the vehicle 1. As shown in FIG. 21, the vehicle display device includes a host vehicle image storage unit 18 that stores a host vehicle image group 130, a timer 41 that outputs a vehicle signal indicating a vehicle state, a wiper SW 42, a navigation device 43, luminance A sensor 44 and a headlight SW45 are provided. The own vehicle image storage unit 18, the timer 41, the wiper SW 42, the navigation device 43, the luminance sensor 44, and the headlight SW 45 are connected to the calculation unit 14. The calculation unit 14 acquires the host vehicle image group 130 and the vehicle signal.

演算部１４は、図２２に示すように、視点変換処理部２１、鏡面反射映像生成部２２、画像合成処理部２３及び拡散反射映像生成部２４を備える。第３実施形態において、拡散反射映像生成部２４は、車両信号及び自車両画像群１３０を入力する（入力手段）。この車両信号としては、自車両の状態としての時刻、ワイパーのオンオフ状態、走行場所、輝度センサ値、ヘッドライトのオンオフ状態のうち、何れかであれば良い。また、車両信号は、自車両画像１００の鏡面反射状態又は拡散反射状態が変化するものであれば、他のものを含んでいても良い。 As shown in FIG. 22, the calculation unit 14 includes a viewpoint conversion processing unit 21, a specular reflection image generation unit 22, an image synthesis processing unit 23, and a diffuse reflection image generation unit 24. In the third embodiment, the diffuse reflection image generation unit 24 inputs the vehicle signal and the host vehicle image group 130 (input unit). The vehicle signal may be any one of the time as the state of the host vehicle, the on / off state of the wiper, the travel location, the luminance sensor value, and the on / off state of the headlight. Further, the vehicle signal may include other signals as long as the specular reflection state or the diffuse reflection state of the vehicle image 100 changes.

拡散反射映像生成部２４は、自車両の状態としての時刻、ワイパーのオンオフ状態、走行場所、輝度センサ値、ヘッドライトのオンオフ状態のうち、何れかの車両信号に基づいて自車画像記憶部１８に記憶した自車両画像の何れかを選択する。これにより、鏡面反射映像生成部２２は、現在の車両状態に近い拡散反射状態を模擬した自車両画像１００を選択することができる。 The diffuse reflection image generation unit 24 is based on any one of the vehicle signals based on the vehicle time, the wiper on / off state, the travel location, the brightness sensor value, and the headlight on / off state. One of the stored vehicle images is selected. Thereby, the specular reflection image generation unit 22 can select the host vehicle image 100 simulating the diffuse reflection state close to the current vehicle state.

具体的には、拡散反射映像生成部２４は、自車両画像群１３０のうち実際に使用する自車両画像１００を選択するために、一又は複数の車両信号を用いて、適切な自車両画像１００を決定する。 Specifically, the diffuse reflection image generation unit 24 uses the one or a plurality of vehicle signals to select an appropriate own vehicle image 100 in order to select the own vehicle image 100 to be actually used from the own vehicle image group 130. To decide.

例えば、車両信号としてタイマ４１が計時している時刻を用いるとする。この場合、拡散反射映像生成部２４は、タイマ４１から取得した時刻に基づいて、適切な明るさの自車両画像１００を選択する。タイマ４１により取得した時刻が昼間であり車両周辺が明るい場合には明るい自車両画像１００を選択し、タイマ４１により取得した時刻が夜間であり車両周辺が暗い場合には暗い自車両画像１００を選択する。例えば、時刻が０〜５時である場合には、図２０に示した「Ａ」の自車両画像１００を選択し、時刻が５〜６時である場合には、図２０に示した「Ｂ」の自車両画像１００を選択し、時刻が６〜７時である場合には、図２０に示した「Ｃ」の自車両画像１００を選択し、時刻が７〜８時である場合には、図２０に示した「Ｄ」の自車両画像１００を選択し、時刻が８〜９時である場合には、図２０に示した「Ｅ」の自車両画像１００を選択し、時刻が９〜１５時である場合には、図２０に示した「Ｆ」の自車両画像１００を選択し、時刻が１５〜１６時である場合には、図２０に示した「Ｅ」の自車両画像１００を選択し、時刻が１６〜１７時である場合には、図２０に示した「Ｄ」の自車両画像１００を選択し、時刻が１７〜１８時である場合には、図２０に示した「Ｃ」の自車両画像１００を選択し、時刻が１８〜１９時である場合には、図２０に示した「Ｂ」の自車両画像１００を選択し、時刻が１９〜２４時である場合には、図２０に示した「Ａ」の自車両画像１００を選択する。 For example, assume that the time measured by the timer 41 is used as the vehicle signal. In this case, the diffuse reflection image generation unit 24 selects the own vehicle image 100 with appropriate brightness based on the time acquired from the timer 41. When the time acquired by the timer 41 is daytime and the surroundings of the vehicle are bright, the bright own vehicle image 100 is selected. When the time acquired by the timer 41 is night and the surroundings of the vehicle are dark, the dark own vehicle image 100 is selected. To do. For example, when the time is 0 to 5 o'clock, the host vehicle image 100 of “A” shown in FIG. 20 is selected, and when the time is 5 to 6 o'clock, “B” shown in FIG. When the vehicle image 100 of “C” is selected and the time is 6 to 7 o'clock, the vehicle image 100 of “C” shown in FIG. 20 is selected and when the time is 7 to 8 o'clock. When the host vehicle image 100 of “D” shown in FIG. 20 is selected and the time is 8 to 9 o'clock, the host vehicle image 100 of “E” shown in FIG. When it is -15: 00, the own vehicle image 100 of "F" shown in FIG. 20 is selected, and when the time is 15-16: 00, the own vehicle image of "E" shown in FIG. 100 is selected, and when the time is 16:00 to 17:00, the vehicle image 100 of “D” shown in FIG. 20 is selected, and the time is 17:00 to 18:00. In this case, the host vehicle image 100 of “C” shown in FIG. 20 is selected, and when the time is 18:00 to 19:00, the host vehicle image 100 of “B” shown in FIG. When the time is from 19:00 to 24:00, the host vehicle image 100 of “A” shown in FIG. 20 is selected.

また、拡散反射映像生成部２４は、ワイパーＳＷ４２がオン状態である時には雨天であると判定して、暗い自車両画像１００を選択する。例えば、上述した時刻に対して自車両画像１００を選択した状態で、ワイパーＳＷ４２がオン状態である場合には、一段階だけ暗い自車両画像１００を選択する。例えば、時刻が７〜８時でありワイパーＳＷ４２がオフ状態である場合には、時刻にのみ基づいて「Ｄ」の自車両画像１００を選択し、ワイパーＳＷ４２がオンである場合には一段階だけ暗い「Ｃ」の自車両画像１００を選択する。 Further, the diffuse reflection image generation unit 24 determines that it is raining when the wiper SW 42 is in the on state, and selects the dark vehicle image 100 that is dark. For example, when the own vehicle image 100 is selected at the above-described time and the wiper SW 42 is on, the own vehicle image 100 that is dark by one step is selected. For example, when the time is 7-8 o'clock and the wiper SW 42 is in the off state, the vehicle image 100 of “D” is selected based only on the time, and when the wiper SW 42 is on, only one stage is selected. The own vehicle image 100 of dark “C” is selected.

更に、拡散反射映像生成部２４は、ナビゲーション装置４３から地図データを取得し、車両周辺の明るさに応じて自車両画像１００を選択する。例えば車両１がトンネル内を走行している場合には、拡散反射映像生成部２４は、昼間の時刻に応じて選択した自車両画像１００よりも３段階程度の暗い自車両画像１００を選択し、夜間の時刻に応じて選択した自車両画像１００よりも４段階程度の暗い自車両画像１００を選択する。 Furthermore, the diffuse reflection image generation unit 24 acquires map data from the navigation device 43 and selects the host vehicle image 100 according to the brightness around the vehicle. For example, when the vehicle 1 is traveling in a tunnel, the diffuse reflection image generation unit 24 selects the own vehicle image 100 which is darker than the own vehicle image 100 selected according to the daytime time, The host vehicle image 100 that is darker than the host vehicle image 100 selected according to the night time is selected in about four stages.

更にまた、拡散反射映像生成部２４は、輝度センサ４４が検出した車両周辺の明るさに応じて、自車両画像１００を選択しても良い。例えば輝度センサ４４により検出した車両周辺の明るさが５００００ルクス以上である場合には最も明るい「Ｆ」の自車両画像１００を選択し、１０００〜５０００ルクスである場合には「Ｄ」の自車両画像１００を選択し、１０００ルクス以下である場合には「Ｂ」の自車両画像１００を選択する。 Furthermore, the diffuse reflection image generation unit 24 may select the host vehicle image 100 according to the brightness around the vehicle detected by the luminance sensor 44. For example, when the brightness around the vehicle detected by the luminance sensor 44 is 50000 lux or more, the brightest vehicle image 100 of “F” is selected, and when it is 1000 to 5000 lux, the vehicle of “D” is selected. The image 100 is selected, and if it is 1000 lux or less, the vehicle image 100 of “B” is selected.

更にまた、拡散反射映像生成部２４は、ヘッドライトＳＷ４５のオンオフ状態に応じて、自車両画像１００を選択しても良い。拡散反射映像生成部２４は、ヘッドライトＳＷ４５がオン状態である場合には車両周辺が暗いので、暗い自車両画像１００を選択する。また、拡散反射映像生成部２４は、ヘッドライトＳＷ４５がオン状態である場合には、時刻に応じて選択した自車両画像１００よりも３段階程度の暗い自車両画像１００を選択しても良い。 Furthermore, the diffuse reflection image generation unit 24 may select the host vehicle image 100 according to the on / off state of the headlight SW45. The diffuse reflection image generation unit 24 selects the dark vehicle image 100 because the vehicle periphery is dark when the headlight SW 45 is on. Further, when the headlight SW 45 is in the on state, the diffuse reflection image generation unit 24 may select the own vehicle image 100 that is darker than the own vehicle image 100 selected according to the time by about three stages.

以上のように、第３実施形態として示した車両用表示装置によれば、第１実施形態と同様に、自車両の走行している周辺環境に応じて、自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することにより、車両周辺を正しく認識させることができる。これに加えて、この車両用表示装置によれば、車両状態に応じて拡散反射状態を模擬した自車両画像１００を簡単な構成によって作成することができる。 As described above, according to the vehicle display device shown as the third embodiment, the display form of the host vehicle image 100 is changed according to the surrounding environment in which the host vehicle is traveling, as in the first embodiment. Therefore, the periphery of the vehicle can be recognized correctly by presenting the video including the own vehicle image 100 that does not give a sense of incongruity to the surrounding environment. In addition, according to this vehicle display device, the host vehicle image 100 simulating the diffuse reflection state according to the vehicle state can be created with a simple configuration.

［第４実施形態］
つぎに、第４実施形態として示す車両用表示装置について説明する。なお、上述した実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。 [Fourth Embodiment]
Next, a vehicle display device shown as the fourth embodiment will be described. In addition, about the same part as embodiment mentioned above, the detailed description is abbreviate | omitted by attaching | subjecting the same code | symbol.

この車両用表示装置は、図２２に示すように、鏡面反射映像生成部２２によって作成された鏡面反射状態を模擬した自車両画像１００と、拡散反射映像生成部２４によって作成された拡散反射状態を模擬した自車両画像１００とを合成して、ディスプレイ３に表示させる自車両画像１００を作成する。 As shown in FIG. 22, the vehicle display device displays the vehicle image 100 simulating the specular reflection state created by the specular reflection image generation unit 22 and the diffuse reflection state created by the diffuse reflection image generation unit 24. The simulated vehicle image 100 is combined with the simulated vehicle image 100 to be displayed on the display 3.

この車両用表示装置において、拡散反射映像生成部２４は、第３実施形態のように車両信号に応じて自車両画像群１３０から自車両画像１００を選択しても良く、第２実施形態のように車体映像１２０を用いて拡散反射状態を模擬した自車両画像１００を作成しても良い。また、鏡面反射映像生成部２２は、上述したような魚眼カメラ２１１により撮影された周囲映像又はカメラ２ｅにより撮影された車体映像１２０を用いて、第１実施形態に示した演算を行って鏡面反射状態を模擬した自車両画像１００を作成する。 In this vehicle display device, the diffuse reflection image generation unit 24 may select the own vehicle image 100 from the own vehicle image group 130 according to the vehicle signal as in the third embodiment, as in the second embodiment. Alternatively, the vehicle image 100 simulating the diffuse reflection state may be created using the vehicle body image 120. Further, the specular reflection image generation unit 22 performs the calculation shown in the first embodiment using the surrounding image captured by the fisheye camera 211 or the vehicle body image 120 captured by the camera 2e as described above to perform the specular reflection. A host vehicle image 100 simulating the reflection state is created.

そして、画像合成処理部２３は、図２３（ｂ）に示した鏡面反射状態を模擬した自車両画像１００Ａと、図２３（ａ）に示した拡散反射状態を模擬した自車両画像１００Ｂとを合成して、図２３（ｃ）に示す合成後の自車両画像１００Ｃを作成する。画像合成処理部２３は、合成した自車両画像１００Ｃを、視点変換処理部２１により作成した俯瞰画像に重畳させる。 Then, the image composition processing unit 23 synthesizes the own vehicle image 100A simulating the specular reflection state shown in FIG. 23B and the own vehicle image 100B simulating the diffuse reflection state shown in FIG. Then, the synthesized vehicle image 100C shown in FIG. The image composition processing unit 23 superimposes the synthesized vehicle image 100C on the overhead image created by the viewpoint conversion processing unit 21.

ここで、画像合成処理部２３は、フレームメモリ１６に格納する出力映像の各ピクセルについて、視点変換映像としての俯瞰画像と、鏡面反射状態を模擬した自車両画像１００と、拡散反射状態を模擬した自車両画像１００との混合比を予め決定して、テーブルに記憶しておく。そして、画像合成処理部２３は、俯瞰画像、自車両画像１００Ａ，１００Ｂを合成する時に、テーブルを読み出して、当該テーブルの混合比に応じて足し合わせる。例えば車両１から離れた位置では、俯瞰画像、鏡面反射状態を模擬した自車両画像１００、拡散反射状態を模擬した自車両画像１００のそれぞれの混合比を、１００％：０％：０％とする。中央の自車の領域においては、それぞれの混合比を、例えば０％：０％：１００％、０％：１００％：０％、又は、０％：５０％：５０％とする。 Here, for each pixel of the output video stored in the frame memory 16, the image composition processing unit 23 simulates a bird's-eye view image as a viewpoint conversion video, a vehicle image 100 that simulates a specular reflection state, and a diffuse reflection state. A mixing ratio with the host vehicle image 100 is determined in advance and stored in a table. Then, the image composition processing unit 23 reads the table when adding the overhead image and the host vehicle images 100A and 100B, and adds them according to the mixing ratio of the table. For example, at a position away from the vehicle 1, the mixing ratio of the overhead image, the own vehicle image 100 simulating the specular reflection state, and the own vehicle image 100 simulating the diffuse reflection state is set to 100%: 0%: 0%. . In the central vehicle area, the respective mixing ratios are, for example, 0%: 0%: 100%, 0%: 100%: 0%, or 0%: 50%: 50%.

このような第４実施形態として示した車両用表示装置によれば、自車両の走行している周辺環境に応じて自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することにより、車両周辺を正しく認識させることができる。このような効果に加えて、第４実施形態として示した車両用表示装置によれば、演算部１４により、車両１に対して周囲の光が鏡面反射された状態を模擬するように表示形態を変更した自車両画像１００Ａを作成すると共に、車両１に対して周囲の光が拡散反射された状態を模擬するように表示形態を変更した自車両画像１００Ｂを作成し、双方の自車両画像を合成した自車両画像１００Ｃを俯瞰画像に重畳させるので、車両周辺に対して更に現実感の高い自車両画像１００を表示させることができる。 According to the vehicle display device shown as the fourth embodiment, since the display form of the host vehicle image 100 is changed according to the surrounding environment in which the host vehicle is traveling, there is no sense of incongruity with the surrounding environment. By presenting an image including the host vehicle image 100, the vicinity of the vehicle can be correctly recognized. In addition to such an effect, according to the vehicle display device shown as the fourth embodiment, the calculation unit 14 changes the display form so as to simulate the state in which ambient light is specularly reflected from the vehicle 1. A modified vehicle image 100A is created, and a vehicle image 100B in which the display mode is changed so as to simulate a state in which ambient light is diffusely reflected on the vehicle 1 is created, and both vehicle images are synthesized. Since the own vehicle image 100C is superimposed on the bird's-eye view image, it is possible to display the own vehicle image 100 with higher realism around the vehicle periphery.

［第５実施形態］
つぎに、第５実施形態として示す車両用表示装置について説明する。なお、上述した実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。 [Fifth Embodiment]
Next, a vehicle display device shown as a fifth embodiment will be described. In addition, about the same part as embodiment mentioned above, the detailed description is abbreviate | omitted by attaching | subjecting the same code | symbol.

第５実施形態として示す車両用表示装置は、演算部１４により、鏡面反射状態を模擬した自車両画像１００又は拡散反射状態を模擬した自車両画像１００、又は双方を合成した自車両画像１００を俯瞰画像に重畳させることに加え、自車両画像１００のうち、車両周辺画像としての俯瞰画像に重畳される一部を半透明にするものである。 In the vehicular display device shown as the fifth embodiment, the operation unit 14 overlooks the own vehicle image 100 that simulates the specular reflection state, the own vehicle image 100 that simulates the diffuse reflection state, or the own vehicle image 100 that combines both. In addition to being superimposed on the image, a part of the own vehicle image 100 that is superimposed on the overhead image as the vehicle peripheral image is made translucent.

例えば図２４（ａ）に示すように、自車両画像１００の一部としてのドアミラー部１００ａが俯瞰画像に含まれる白線に重畳されているとする。この場合、画像合成処理部２３は、自車両画像１００のうち、白線に重畳されているドアミラー部１００ａを半透明に加工する。これにより、画像合成処理部２３は、自車両画像１００のドアミラー部１００ａによって俯瞰画像が隠れてしまうことを防ぐ。具体的には、画像合成処理部２３は、表示画像中の自車両画像１００のドアミラー部１００ａに相当する範囲における俯瞰画像と、自車両画像１００との混合比を５０％：５０％にする。 For example, as shown in FIG. 24A, it is assumed that the door mirror part 100a as a part of the host vehicle image 100 is superimposed on a white line included in the overhead image. In this case, the image composition processing unit 23 processes the door mirror unit 100a superimposed on the white line in the own vehicle image 100 to be translucent. Thereby, the image composition processing unit 23 prevents the overhead image from being hidden by the door mirror unit 100 a of the host vehicle image 100. Specifically, the image composition processing unit 23 sets the mixture ratio between the overhead image in the range corresponding to the door mirror 100a of the host vehicle image 100 in the display image and the host vehicle image 100 to 50%: 50%.

以上のように、第５実施形態として示した車両用表示装置によれば、自車両の走行している周辺環境に応じて自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することにより、車両周辺を正しく認識させることができる。これに加えて、車両用表示装置によれば、自車両画像１００のうちの一部を半透明に加工するので、車両周辺に対して現実感の高い自車両画像１００を表示すると共に、車両周辺の視認性を高めることとを両立させることができる。 As described above, according to the vehicle display device shown as the fifth embodiment, the display form of the host vehicle image 100 is changed according to the surrounding environment in which the host vehicle is traveling. By presenting a video including the own vehicle image 100 without any vehicle, the periphery of the vehicle can be recognized correctly. In addition, according to the display device for a vehicle, a part of the own vehicle image 100 is processed to be translucent. It is possible to achieve both of improving the visibility.

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.

１車両
２ａ，２ｂ，２ｃ，２ｄ，２ｅカメラ
３ディスプレイ
１０映像処理装置
１１実カメラ
１２ａ，１２ｂ，１２ｃ，１２ｄ映像入力部
１３ａ，１３ｂ，１３ｃ，１３ｄフレームメモリ
１４演算部
１５変換テーブル記憶部
１６フレームメモリ
１７映像出力部
１８自車画像記憶部
２１視点変換処理部
２２鏡面反射映像生成部
２３画像合成処理部
２４拡散反射映像生成部
３１スクロールキー
３２駐車ボタン
３３インストルメントパネル
３４スイッチ群
３５ステアリング
３６表示部
３７シフトレバー
４１タイマ
４２ワイパーＳＷ
４３ナビゲーション装置
４４輝度センサ
４５ヘッドライトＳＷ
１００自車両画像
１００ａドアミラー部
１０１部分画像
１０３鏡面反射部分
１２０車体映像
１３０自車両画像群
２１１魚眼カメラ DESCRIPTION OF SYMBOLS 1 Vehicle 2a, 2b, 2c, 2d, 2e Camera 3 Display 10 Image processing apparatus 11 Real camera 12a, 12b, 12c, 12d Image input part 13a, 13b, 13c, 13d Frame memory 14 Calculation part 15 Conversion table storage part 16 Frame Memory 17 Video output unit 18 Vehicle image storage unit 21 View point conversion processing unit 22 Specular reflection video generation unit 23 Image composition processing unit 24 Diffuse reflection video generation unit 31 Scroll key 32 Parking button 33 Instrument panel 34 Switch group 35 Steering 36 Display Section 37 Shift lever 41 Timer 42 Wiper SW
43 Navigation device 44 Luminance sensor 45 Headlight SW
DESCRIPTION OF SYMBOLS 100 Own vehicle image 100a Door mirror part 101 Partial image 103 Specular reflection part 120 Car body image | video 130 Own vehicle image group 211 Fisheye camera

Claims

Photographing means for photographing the periphery of the vehicle;
Display image creation means for creating a display image in which the vehicle image is superimposed on the vehicle periphery image photographed by the photographing means;
Display means for displaying the display image created by the display image creation means,
The display device for a vehicle, wherein the display image creation means changes a display form of the vehicle image according to a surrounding environment where the vehicle is traveling.

The display image creating unit generates a bird's-eye view image from a vehicle peripheral image photographed by the photographing unit, and creates a display image by superimposing the host vehicle image on the bird's-eye view image. The vehicle display device described.

3. The display image creation unit changes a display form of the host vehicle image so as to simulate a state in which ambient light is reflected from a vehicle body of the host vehicle. 4. Vehicle display device.

The vehicle according to claim 3, wherein the display image creating unit changes the display form of the host vehicle image so as to simulate a state in which ambient light is specularly reflected with respect to a vehicle body of the host vehicle. Display device.

It is equipped with a surrounding photographing means for photographing the surroundings of the own vehicle,
The display image creation means changes the display form of the host vehicle image using an image in a direction in which ambient light is specularly reflected with respect to the vehicle body of the host vehicle among the surrounding images taken by the surrounding photographing unit. The vehicular display device according to claim 4.

A vehicle body photographing means for photographing the vehicle body of the host vehicle,
The vehicle display device according to claim 4, wherein the display image creating unit changes a display form of the host vehicle image using a vehicle body image photographed by the vehicle body photographing unit.

4. The vehicle according to claim 3, wherein the display image creating unit changes the display form of the host vehicle image so as to simulate a state in which ambient light is diffusely reflected with respect to a vehicle body of the host vehicle. Display device.

A vehicle body photographing means for photographing the vehicle body of the host vehicle,
The vehicle display device according to claim 7, wherein the display image creating unit changes a display form of the host vehicle image according to a luminance or a color of the vehicle body image photographed by the vehicle body photographing unit.

Storage means for storing a plurality of own vehicle images simulating a state in which ambient light is diffusely reflected with respect to the body of the own vehicle;
Input means for inputting a vehicle signal including any of the time as the state of the host vehicle, the wiper on / off state, the travel location, the brightness sensor value, and the headlight on / off state;
The vehicle display device according to claim 7, wherein the display image creating unit selects any one of the own vehicle images stored in the storage unit based on a vehicle signal input by the input unit.

The display image creating means creates a host vehicle image in which the display form is changed so as to simulate a state in which ambient light is specularly reflected with respect to the body of the host vehicle, and The self-vehicle image in which a display form is changed so as to simulate a state in which light is diffusely reflected is created, and both the self-vehicle images are synthesized and superimposed on the surrounding image of the vehicle. Vehicle display device.

The vehicle according to any one of claims 1 to 10, wherein the display image creating means makes part of the own vehicle image superimposed on the vehicle periphery image translucent. Display device.

When displaying the vehicle image superimposed on the vehicle periphery image photographed by the photographing means,
A display method for a vehicle, comprising: changing a display form of the host vehicle image according to a surrounding environment where the host vehicle is traveling.