CN102198818A

CN102198818A - 车载照明装置、图像处理装置、图像显示系统及照明方法

Info

Publication number: CN102198818A
Application number: CN2011100361970A
Authority: CN
Inventors: 山田正博; 松冈梓; 谷口奖
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2010-03-25
Filing date: 2011-02-09
Publication date: 2011-09-28
Anticipated expiration: 2031-02-09
Also published as: JP5604146B2; US20110234802A1; CN102198818B; JP2011205376A

Abstract

本发明提供一种车载照明装置、图像处理装置、图像显示系统及照明方法，提供一种能够减少与辅助车辆周边摄影的照明有关的耗电的技术。在图像显示系统(120)中，根据显示器(21)上显示的显示图像中作为被摄物图像表示的车辆周边区域，分别调整多个光源(60)各自的光量。因此，能够仅增加必要的一部分光源(60)的光量。这样，无须使多个光源(60)全部以最大光量始终发光，因此能够减少耗电。

Description

车载照明装置、图像处理装置、图像显示系统及照明方法

技术领域

本发明涉及进行辅助车辆周边摄影的照明的技术。

背景技术

以往，已知搭载在汽车等车辆上，将使用车载照相机对车辆周边进行摄影得到的图像显示在车内的显示器上的图像显示系统。通过利用该图像显示系统，驾驶员能够几乎实时地把握车辆周边的情形。

例如，位于驾驶座相反侧的前翼子板(front fender)的外侧区域容易成为从驾驶座观察的死角，驾驶员难以把握车体与障碍物之间的间隙。对此，若利用图像显示系统，则通过车载照相机的摄影取得表示前翼子板的外侧区域的图像，将该图像显示在车内的显示器上。据此，在使车辆尽量靠边等情况下，驾驶员能够容易地确认驾驶座的相反侧的车体与障碍物之间的间隙。

在这种图像显示系统中，在夜间等周边环境较暗的情况下摄影时无法得到足够的曝光量，有时无法充分确保表示车辆周边的图像的亮度。因此，还提出了在周边环境比较暗的情况下发出辅助摄影的辅助光，照明作为摄影对象的区域，确保图像的必要亮度的技术(例如参照专利文献1)。

专利文献1：日本特开2004-189060号公报

专利文献2：日本特许第3286306号公报

另外，近年来，提出了利用使用多个车载照相机对车辆周边进行摄影得到的多个摄影图像，生成表示从车辆的铅直上方或后方等任意的虚拟视点观察的车辆周边情形的合成图像，并在显示器上显示的图像显示系统(例如参照专利文献2)。在该图像显示系统中，还能将表示车辆周边整体的图像显示在显示器上。

在利用这种图像显示系统的情况下，在周边环境比较暗的情况下也最好对车辆周边进行照明。随着图像显示系统中可显示区域的变大，在周边环境比较暗的情况下要由辅助光照明的区域也变大。例如，对于车辆的侧面区域，必须使用辅助光对从车辆前方到后方的比较大的范围进行照明。

另外，另一方面，由于人工植物或石壁等具有难以反射辅助光的性质，所以为了提高存在于车辆附近的这些物体的视觉识别性，要求进一步提高辅助光的光量。

但是，如果关于要照明区域的整体一律提高辅助光的光量，由于要照明区域较大，所以需要非常大的电力，与辅助光的照明有关的耗电量提高。另外，始终以较高的光量发出辅助光，会产生发出辅助光的光源的劣化，其耐久性有可能降低。

发明内容

本发明鉴于上述问题而作，其目的在于提供一种能够减少与辅助车辆周边摄影的照明有关的耗电的技术。

为了解决上述问题，方式1的发明是一种车载照明装置，进行辅助图像生成装置的摄影的照明，该图像生成装置能够基于使用多个照相机对车辆周边进行摄影而得到的摄影图像，生成表示从虚拟视点观察的所述车辆周边的至少一部分区域的合成图像，所述图像生成装置将所述摄影图像以及所述合成图像中的至少一个作为显示图像显示在显示装置上；所述车载照明装置包括：多个光源，分别对分割所述车辆周边的特定区域得到的多个区域进行照明；以及调整单元，根据所述显示图像中表示的所述车辆的周边区域，分别调整所述多个光源各自的光量。

另外，方式2的发明是在方式1所述的车载照明装置中，所述调整单元使所述多个光源的一部分的光量相对于基准光量增加，使其他光源的光量相对于基准光量减少。

另外，方式3的发明是在方式1所述的车载照明装置中还包括取得单元，其取得所述车辆周边的亮度；所述调整单元根据所述车辆周边的亮度调整所述多个光源的光量。

另外，方式4的发明是在方式1所述的车载照明装置中还包括接收单元，其接收表示用于所述车辆的行驶的行驶用灯光装置的点亮状态的信号；所述调整单元根据所述点亮状态调整所述多个光源的光量。

另外，方式5的发明是在方式1所述的车载照明装置中还包括接收单元，其接收表示来自所述车辆的驾驶员的方向指示的方向的信号；所述多个光源分别配置在所述车辆的左侧以及右侧；所述调整单元在具有所述方向指示时，使配置在所述方向指示的方向上的所述多个光源的光量大于配置在与所述方向指示的方向相反的方向上的所述多个光源的光量。

另外，方式6的发明是一种搭载在车辆上的图像处理装置，包括：图像生成装置，能够基于使用多个照相机对所述车辆周边进行摄影得到的摄影图像，生成表示从虚拟视点观察的所述车辆周边的至少一部分区域的合成图像；以及车载照明装置，进行辅助所述图像生成装置的摄影的照明；所述图像生成装置将所述摄影图像以及所述合成图像中的至少一个作为显示图像显示在显示装置上；所述车载照明装置包括：多个光源，分别对分割所述车辆周边的特定区域得到的多个区域进行照明；以及调整单元，根据所述显示图像中表示的所述车辆的周边区域，分别调整所述多个光源各自的光量。

另外，方式7的发明是一种搭载在车辆上的图像显示系统，包括：图像生成装置，能够基于使用多个照相机对所述车辆周边进行摄影得到的摄影图像，生成表示从虚拟视点观察的所述车辆周边的至少一部分区域的合成图像；车载照明装置，进行辅助所述图像生成装置的摄影的照明；以及显示装置，将所述摄影图像以及所述合成图像中的至少一个作为显示图像进行显示；所述车载照明装置包括：多个光源，分别对分割所述车辆周边的特定区域得到的多个区域进行照明；以及调整单元，根据所述显示图像中表示的所述车辆的周边区域，分别调整所述多个光源各自的光量。

另外，方式8的发明是一种照明方法，进行辅助图像生成装置的摄影的照明，该图像生成装置能够基于使用多个照相机对车辆周边进行摄影得到的摄影图像，生成表示从虚拟视点观察的所述车辆周边的至少一部分区域的合成图像，所述照明方法包括：(a)将所述摄影图像以及所述合成图像中的至少一个作为显示图像显示在显示装置上的步骤；以及(b)根据所述显示图像中表示的所述车辆的周边区域，分别调整多个光源各自的光量的步骤，其中的多个光源分别对分割所述车辆周边的特定区域得到的多个区域进行照明。

(发明效果)

根据方式1至8的发明，根据显示图像中表示的车辆周边区域分别调整多个光源各自的光量。因此，能够仅增加必要的一部分光源的光量，因而无须增加多个光源全部的光量。其结果是能够减少与辅助光的照明有关的耗电。

另外，尤其根据方式2的发明，使多个光源的一部分的光量相对于基准光量增加，使其他光源的光量相对于基准光量减少，因此能够在减少耗电的同时向用户强调表示特定区域的一部分。

另外，尤其根据方式3的发明，光源的光量根据车辆周边的亮度调整为适当的光量，因此不会进行无用的照明，能够减少耗电。

另外，尤其根据方式4的发明，对行驶用灯光装置正在照明的区域不进行照明，由此不会进行无用的照明，能够减少耗电。

另外，尤其根据方式5的发明，配置在方向指示的方向上的光源的光量大于相反方向，因此能够强调驾驶员应该注意的区域。

附图说明

图1是表示图像显示系统的结构的模块图。

图2是表示车载照相机配置在车辆上的位置的图。

图3是表示侧照相机单元的外观结构的图。

图4是从车辆后方观察的侧照相机单元的剖视图。

图5是从车辆左侧观察的侧照相机单元的剖视图。

图6是表示3个光源的光轴相对于车辆的位置关系的图。

图7是表示3个光源的光轴相对于车辆的位置关系的图。

图8是用于说明生成合成图像的方法的图。

图9是表示图像显示系统的动作模式的迁移的图。

图10是表示周边确认模式下虚拟视点的位置迁移的图。

图11是表示周边确认模式下的显示例的图。

图12是表示前方模式下显示模式的迁移的图

图13是表示后方模式下显示模式的迁移的图。

图14是表示后视镜被收纳的状态的图。

图15是表示基准光量表的内容的图。

图16是表示光量调整表的内容的图。

图17是表示第一实施方式中调整光源的光量的处理流程的图。

图18是表示本车确认模式下的画面状态迁移的图。

图19是表示虚拟视点的位置迁移的图。

图20是表示第二实施方式中调整光源的光量的处理流程的图。

图21是表示车辆的前照灯能照明的区域的图。

图22是表示第三实施方式中调整光源的光量的处理流程的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

<1.第一实施方式>

<1-1.系统结构>

图1是表示第一实施方式的图像显示系统120的结构的模块图。该图像显示系统120搭载在车辆(在本实施方式中是汽车)上，具有对车辆周边进行摄影以生成图像并在车内显示的功能。图像显示系统120的用户(具有代表性的是驾驶员)通过利用该图像显示系统120，能够几乎实时地了解该车辆周边的情形。

如图1所示，图像显示系统120主要包括生成表示车辆周边的图像的图像处理装置100；以及对乘坐在车辆中的用户显示各种信息的导航装置20。由图像处理装置100生成的图像在导航装置20中显示。

导航装置20对用户进行导航向导，包括：具备触摸面板功能的液晶等显示器21；用户进行操作的操作部22；以及控制装置整体的控制部23。导航装置20设置在车辆的仪表面板等处，以使用户能够视觉识别显示器21的画面。通过操作部22和作为触摸面板的显示器21接受来自用户的各种指示。控制部23例如是包括CPU、RAM以及ROM等的计算机。通过由CPU按照指定的程序进行计算处理，实现包含导航功能在内的控制部23的各种功能。

导航装置20与图像处理装置100可通信地连接，能够进行与图像处理装置100之间的各种控制信号的收发，和由图像处理装置100生成的图像的接收。显示器21上，利用控制部23的控制，通常显示基于导航装置20单个装置功能的图像，但在指定条件下显示由图像处理装置100生成的表示车辆周边情形的图像。据此，导航装置20也作为接收由图像处理装置100生成的图像并进行显示的显示装置起作用。

图像处理装置100包括作为具有生成图像的功能的ECU(Electronic Control Unit，电子控制单元)的主体部10。主体部10配置在车辆的指定位置处。图像处理装置100包括对车辆周边进行摄影的摄影部5，作为基于由该摄影部5对车辆周边进行摄影得到的摄影图像生成从虚拟视点观察的合成图像的图像生成装置起作用。

进而，图像处理装置100包括进行辅助摄影部5的摄影的照明的辅助照明部6，作为进行辅助摄影部5的摄影的照明的车载照明装置起作用。辅助照明部6包括发出辅助摄影部5的摄影的辅助光的多个光源60(在本实施方式中是6个光源60)。在夜间等周边环境较暗的情况下摄影部5的摄影时无法得到足够的曝光量，取得的图像变得不够明亮，无法显示车辆周边，因此由辅助照明部6进行照明。

摄影部5包括的多个车载照相机51、52、53和辅助照明部6包括的多个光源60配置在与主体部10不同的车辆的合适位置处，详细情况在后面描述。

图像处理装置100的主体部10主要包括控制装置整体的控制部1；处理由摄影部5取得的摄影图像以生成显示图像的图像生成部3；以及与导航装置20之间进行通信的导航通信部42。

通过导航装置20的操作部22或显示器21接受的来自用户的各种指示作为控制信号通过通信部42接受并输入到控制部1中。另外，图像处理装置100包括从用户接受切换显示内容的指示的切换开关43。表示用户指示的信号也从该切换开关43输入到控制部1中。据此，图像处理装置100能够进行响应于对导航装置20的用户操作、以及对切换开关43的用户操作这两者的动作。切换开关43为了易于用户操作，与主体部10分开配置在车辆的合适位置处。

图像生成部3例如是能进行各种图像处理的硬件电路，作为主要功能包括摄影图像调整部31以及合成图像生成部32。

摄影图像调整部31以摄影部5取得的摄影图像为对象，进行以用于显示为目的的调整。具体而言，摄影图像调整部31对摄影图像进行歪曲校正、放大缩小以及剪切等图像处理。

合成图像生成部32基于由摄影部5的多个车载照相机51、52、53取得的多个摄影图像，生成表示从车辆周边的任意虚拟视点观察的车辆周边的至少一部分区域的合成图像。合成图像生成部32生成合成图像的方法在后面描述。

摄影图像调整部31调整的摄影图像和合成图像生成部32生成的合成图像进一步被调整为显示图像，随后通过导航通信部42输出到导航装置20。据此，作为被摄物图像表示车辆周边区域的图像作为显示图像显示在导航装置20的显示器21上。显示图像是摄影图像以及合成图像中的至少一个。

控制部1例如是包括CPU、RAM以及ROM等的计算机。通过由CPU按照指定的程序进行计算处理，实现控制部1的各种控制功能。如图中所示，图像控制部11、照明控制部12以及亮度取得部13表示以此方式实现的控制部1的功能中的一部分。

图像控制部11控制由图像生成部3执行的图像处理。例如，图像控制部11指示合成图像生成部32生成的合成图像的生成所必需的各种参数等。

照明控制部12控制由辅助照明部6进行的照明。照明控制部12能够分别调整辅助照明部6中包含的多个光源60各自的光量。具体而言，照明控制部12决定多个光源60各自的光量，向辅助照明部6输出信号，使得各光源60发出的辅助光的光量成为决定的光量。

亮度取得部13取得由4个车载照相机51、52、53取得的4个摄影图像的各像素的亮度，导出其平均亮度。

另外，图像处理装置100的主体部10还包括非易失性存储器40、读卡部44以及信号接收部41，它们与控制部1连接。

非易失性存储器40例如是电源关闭时也能维持存储内容的闪速存储器等。非易失性存储器40中，存储车类别数据4a、基准光量表4b以及光量调整表4c等。车类别数据4a是合成图像生成部32生成合成图像时所必需的与车辆的类别相对应的数据。另外，基准光量表4b以及光量调整表4c是照明控制部12决定辅助照明部6的多个光源60的光量时参照的表数据。

读卡部44进行作为可移动性存储介质的存储卡MC的读取。读卡部44包括可装卸存储卡MC的卡插槽，读取装入该卡插槽的存储卡MC中存储的数据。读卡部44读取的数据输入到控制部1中。

存储卡MC包括可存储各种数据的闪速存储器等。图像处理装置100能够利用存储卡MC中存储的各种数据。例如，通过将程序存储到存储卡MC中并将其读出，能够更新实现控制部1的功能的程序(固件(firmware))。另外，通过将与非易失性存储器40中存储的车类别数据4a不同类别的车辆对应的车类别数据存储到存储卡MC中，将其读出并存储到非易失性存储器40中，能够使图像显示系统120与不同类别的车辆对应。

另外，信号接收部41接收来自车辆中设置的各种装置的信号。经由该信号接收部41，来自图像显示系统120外部的信号输入到控制部1中。具体而言，信号接收部41接收从换档传感器81、车速传感器82、灯光控制装置84、方向指示器85以及反射镜驱动装置86等发送的表示各种信息的信号，并输入到控制部1中。

换档传感器81发送表示车辆变速装置换档杆的操作位置，即“P(停车)”、“D(前进)”、“N(空档)”、“R(后退)”等换档位置的信号。车速传感器82发送表示当时的车辆9的行驶速度(km/h)的信号。

灯光控制装置84进行与辅助照明部6分开地标准设置在车辆上的、用于车辆正常行驶的行驶用灯光装置的控制。行驶用灯光装置中包含前照灯(headlight)、示廓灯(small lamp)、尾灯(tail lamp)、制动灯(brake lamp)以及倒车灯(back lamp)等。灯光控制装置84响应于驾驶员的操作点亮前照灯或示廓灯，在点亮前照灯或示廓灯时点亮尾灯。另外，灯光控制装置84在驾驶员踩下制动器的情况下点亮制动灯，在换档位置为“R”时点亮倒车灯。灯光控制装置84发送表示上述各种行驶用灯光装置的点亮状态的信号。

方向指示器85发送表示基于方向指示灯开关的操作的方向指示，即来自车辆驾驶员的方向指示的方向(左右转、或路线变更的方向)的转弯信号。在方向指示灯开关被操作时产生转弯信号，转弯信号表示该操作的方向(左方或右方)。在方向指示灯开关变为中立位时，转弯信号变为关闭。

另外，反射镜驱动装置86响应于驾驶员的操作收纳/展开车辆的后视镜。反射镜驱动装置86发送表示后视镜的状态(收纳/展开)的信号。

<1-2.摄影部以及辅助照明部>

接着，更为详细地说明图像处理装置100的摄影部5以及辅助照明部6。摄影部5以及辅助照明部6与控制部1电连接，基于来自控制部1的信号进行动作。

摄影部5包括作为车载照相机的前方照相机51、后方照相机52以及侧照相机53。这些车载照相机51、52、53分别包括CCD或CMOS等摄像元件，以电子形式取得图像。

图2是表示车载照相机51、52、53配置在车辆9上的位置的图。此外，在以下说明中，在表示方向以及朝向时，适当地使用图中所示的三维XYZ正交坐标。该XYZ轴对于车辆9相对固定。此处，X轴方向沿车辆9的左右方向，Y轴方向沿车辆9的前进方向(前后方向)，Z轴方向沿铅直方向。另外，为方便起见，设+X侧为车辆9的右侧，+Y侧为车辆9的后侧，+Z侧为上侧。

前方照相机51设置在位于车辆9前端的汽车牌照安装位置的附近，其光轴51a朝向车辆9的前进方向(在平面视图中是Y轴方向的-Y侧)。后方照相机52设置在位于车辆9后端的汽车牌照安装位置的附近，其光轴52a朝向车辆9的前进方向的反方向(在平面视图中是Y轴方向的+Y侧)。另外，侧照相机53分别设置在左右后视镜93上，其光轴53a沿车辆9的左右方向(在平面视图中是X轴方向)朝向外部。此外，虽然优选前方照相机51和后方照相机52的安装位置位于左右的大致中央，但也可以是从左右中央向左右方向稍微偏离的位置。

作为这些车载照相机51、52、53的透镜采用鱼眼透镜等，车载照相机51、52、53具有180度以上的视角α。因此，通过利用4个车载照相机51、52、53，能够进行车辆9的整个周边的摄影。

返回图1，辅助照明部6包括的6个光源60例如是发出作为不可见光的近红外光的LED等。近红外光对人眼不可见，因此，虽然从辅助照明部6的光源60照明车辆9的周边，也不会对存在于车辆9周边的步行者等带来影响。另一方面，车载照相机51、52、53中采用的摄像元件具有近红外光的敏感度。因此，在车辆9的周边环境比较暗的情况下，通过将辅助照明部6的光源的近红外光作为辅助光对车辆9的周边区域进行照明，能够在不对步行者等带来影响的情况下取得表示该区域状况的足够明亮的图像。

在辅助照明部6的6个光源60中，3个光源60配置在车辆9的左侧，剩余的3个光源60配置在车辆9的右侧。车辆9左侧的3个光源60分别对分割车辆9左侧的侧面区域得到的多个区域进行照明。另一方面，车辆9右侧的3个光源60分别对分割车辆9右侧的侧面区域得到的多个区域进行照明。

另外，车辆9左侧的3个光源60与车辆9左侧的侧照相机53收容在同一容器内形成一体化，作为整体形成侧照相机单元70。同样，车辆9右侧的3个光源60与车辆9右侧的侧照相机53收容在同一容器内形成一体化，作为整体形成侧照相机单元70。

图3是表示左侧的侧照相机单元70的外观结构的图。此外，侧照相机单元70的结构和配置在车辆9的左右对称，因此在以后的说明中虽然以车辆9左侧为例具体说明，但右侧也是同样。如图所示，侧照相机单元70经由托架79配置在后视镜93的下侧。

图4是左侧的侧照相机单元70的从车辆9后方(+Y侧)观察的XZ平面上的剖视图。另外，图5是左侧的侧照相机单元70的从车辆9的左侧(-X侧)观察的YZ平面上的剖视图。图4相当于图5的IV-IV位置处的剖视图，图5相当于图4的V-V位置处的剖视图。

如上述图所示，侧照相机单元70具有作为壳体的容器7。在该容器7内，收容有侧照相机53、辅助照明部6的3个光源60以及光源驱动部69。3个光源60具体为主要照明车辆9的前方侧区域的前方光源61、主要照明车辆9的后方侧区域的后方光源62和主要照明前方光源61以及后方光源62照明的区域之间的区域的中央光源63。

光源驱动部69对这3个光源60供应来自车辆的电池装置的电力。光源驱动部69与前方光源61、后方光源62以及中央光源63分别对应地包括3个电流变更部61a、62a、63a。各电流变更部61a、62a、63a能够变更流至对应的光源61、62、63的电流值。光源60的光量依赖于电流值，因此通过这种电流值的变更，3个光源61、62、63的光量被分别变更。各光源61、62、63的光量由控制部1的照明控制部12通过信号进行指示。

侧照相机53包括透镜531和摄像元件532。如图4所示，侧照相机53配置在容器7内，光轴53a朝向车辆9的外侧。侧照相机53以该光轴53a的方向相对于铅直方向成指定角度(例如约45度)的方式固定在容器7上。

辅助照明部6的3个光源60在容器70内配置在侧照相机53的内侧(+X侧)，3个光源61、62、63的光轴61a、62a、63a朝向车辆9外侧，其方向从车辆9的前后方向(Y轴方向)观察全部相对于铅直方向成指定角度θ1。角度θ1例如采用30度以下是较为理想的。

另外，如图5所示，容器7内的中央部分处配置中央光源63，并且前方光源61和后方光源62关于容器7内的中心左右对称地配置。从车辆9的左右方向(X轴方向)观察，中央光源63的光轴63a的方向沿铅直方向(Z轴方向)，前方光源61的光轴61a的方向向车辆9的前方侧(-Y侧)倾斜，后方光源62的光轴62a的方向向车辆9的后方侧(+Y侧)倾斜。并且，前方光源61的光轴61a的方向与后方光源62的光轴62a的方向关于中央光源63的光轴63a的方向对称。即，中央光源63的光轴63a与前方光源61的光轴61a所成的角度和中央光源63的光轴63a与后方光源62的光轴62a所成的角度一致，为指定角度θ2。角度θ2例如采用60度以上70度以下是较为理想的。

辅助照明部6的3个光源60以成为上述说明的位置及方向的方式利用固定部件71固定到容器7上。即，3个光源60以其光轴朝向相互不同的方向的状态固定到容器7上。与这些光源60的固定位置的下部对应的容器7的部分采用透过近红外光的透过部件72。据此，光源60的辅助光能够投向容器7的外部。

图6及图7是表示左侧的侧照相机单元70中的3个光源60的光轴相对于车辆9的位置关系的图。图6是俯视图(从+Z侧观察的图)，图7是侧面图(从-X侧观察的图)。

如上述图所示，从设置在后视镜93上的侧照相机单元70起，3个光源60的光轴61a、62a、63a向相对于车辆9的侧面在X轴方向上离开500mm的位置处延伸。3个光源60的光轴61a、62a、63a的方向相互不同。具体而言，在平面视图(参照图6)中，中央光源63的光轴63a沿着车辆9的左右方向(X轴方向)，前方光源61的光轴61a朝向车辆9的前方侧(-Y侧)，后方光源62的光轴62a朝向车辆9的后方侧(+Y侧)。另外，在侧面视图(参照图7)中，中央光源63的光轴63a沿着铅直方向(Z轴方向)，前方光源61的光轴61a朝向车辆9的前方侧(-Y侧)，后方光源62的光轴62a朝向车辆9的后方侧(+Y侧)。前方光源61的光轴61a的方向与后方光源62的光轴62a的方向关于中央光源63的光轴63a的方向对称。

通过这种光轴配置，由3个光源61、62、63对车辆9的侧面区域SA分担进行照明。作为照明对象的侧面区域SA中，设定对于车辆9相对固定的特定区域。具体而言，在车辆9的前后方向(Y轴方向)上，从车辆9的前端前方约2m的位置起到车辆9的大概后端位置为止为侧面区域SA的范围。另外，在车辆9的左右方向(X轴方向)上，从车辆9侧面的位置起到其外侧离开约1m的位置为止为侧面区域SA的范围。

3个光源61、62、63对分割该作为照明对象的侧面区域SA得到的多个区域FA、BA、CA分别进行照明。具体而言，前方光源61主要照明作为照明对象的侧面区域SA中车辆9的前端前方的区域(以下称作“前方区域”)FA。后方光源62主要照明作为照明对象的侧面区域SA中车辆9的后门96以及后翼子板(rear fender)97附近的外侧区域(以下称作“后方区域”)BA。另外，中央光源63主要照明作为照明对象的侧面区域SA中的、前方区域FA与后方区域BA之间的、车辆9的前翼子板94以及前门95附近的外侧区域(以下称作“中央区域”)CA。

与前方光源61以及后方光源62相比，中央光源63照明距离侧照相机单元70的位置(配置3个光源60的位置)比较近的区域。因此，如果使中央光源63的光量与前方光源61以及后方光源62的光量为同一水平，则认为侧面区域SA中中央区域CA比其他区域FA、BA更亮地得到照明，作为侧面区域SA整体亮度变得不均匀。因此，为了能够大致均匀地对从车辆9的前方侧到后方侧的车辆9的侧面区域SA的整体进行照明，将中央光源63的光量调整为低于前方光源61以及后方光源62的光量。

这样，在本实施方式中，对车辆9的同一方向的侧面区域SA进行照明的3个光源60以光轴方向相互不同的状态固定收容在同一容器7内。据此，3个光源60通过容器7作为侧照相机单元70进行一体化。因此，仅安装该侧照相机单元70，便可一次安装多个光源60。另外，对3个光源60的电源线和控制线等电子线路也布线至一个侧照相机单元70的位置处便可。因此，能够将用于对车辆9的较广范围的侧面区域SA进行照明的多个光源60简单且低成本地安装到车辆9上。

<1-3.合成图像的生成>

接着，说明图像生成部3的合成图像生成部32基于由摄影部5得到的多个摄影图像生成表示从任意虚拟视点观察车辆9周边的至少一部分区域的情形的合成图像的方法。在生成合成图像时，利用预先存储在非易失性存储器40中的车类别数据4a。图8是用于说明生成合成图像的方法的图。

使用摄像部5的前方照相机51、后方照相机52以及侧照相机53同时进行摄影时，取得分别表示车辆9的前方、后方、左侧方以及右侧方的4个摄影图像P1～P4。即，摄像部5取得的4个摄影图像P1～P4中，包含了表示摄影时车辆9的整个周边的信息。

接着，将4个摄影图像P1～P4的各像素投影到假想的三维空间中的立体曲面SP上。立体曲面SP例如采用大致半球状(碗形)，其中心部分(碗底部分)确定于车辆9存在的位置处。摄影图像P1～P4中包含的各像素的位置与该立体曲面SP的各像素的位置预先确定对应关系。因此，立体曲面SP的各像素的值可以基于该对应关系和摄影图像P1～P4中包含的各像素的值确定。

摄影图像P1～P4中的各像素的位置与立体曲面SP的各像素的位置的对应关系依赖于车辆9上的4个车载照相机51、52、53的配置(相互间距离、地上高度、光轴角度等)。因此，表示该对应关系的表数据包含在非易失性存储器40中存储的车类别数据4a中。

另外，利用车类别数据4a中包含的表示车体形状、大小的多边形(polygon)数据，假想地构成作为表示车辆9的三维形状的多边形模型的车辆图像。构成的车辆图像配置在设定立体曲面SP的三维空间中确定为车辆9的位置的大致半球状的中心部分处。

进而，对于立体曲面SP存在的三维空间，利用控制部1设定虚拟视点VP。虚拟视点VP通过视点位置和视野方向规定，在该三维空间中对应于车辆9的周边的任意视点位置处朝向任意视野方向进行设定。

并且，根据设定的虚拟视点VP，将立体曲面SP中的所需区域剪切为图像。虚拟视点VP与立体曲面SP中的所需区域的关系预先确定，作为表数据预先存储在非易失性存储器40等中。另一方面，根据设定的虚拟视点VP，关于由多边形构成的车辆图像进行渲染(rendering)，将作为其结果的二维车辆图像相对于剪切的图像进行重叠。据此，生成表示从任意虚拟视点观察车辆9及该车辆9周边的至少一部分区域的情形的合成图像。

例如，在设定了视点位置为车辆9的位置的大致中央的垂直上方位置，视野方向为大致垂直向下方向的虚拟视点VP1的情况下，以从车辆9的大致垂直上方俯视车辆9的方式，生成表示车辆9(实际上是车辆图像)及车辆9周边的情形的合成图像CP1。另外，如图中所示，在设定了视点位置为车辆9的位置的左后方，视野方向为车辆9的大致前方的虚拟视点VP2的情况下，以从车辆9的左后方环视其整个周边的方式，生成表示车辆9(实际上是车辆图像)及车辆9周边的情形的合成图像CP2。

此外，在实际生成合成图像的情况下，不必确定立体曲面SP的所有像素的值，基于摄影图像P1～P4仅确定与设定的虚拟视点VP对应的所需区域的像素的值，由此能够提高处理速度。

<1-4.动作模式>

接着，说明图像显示系统120的动作模式。图9是表示图像显示系统120的动作模式的迁移的图。图像显示系统120具有导航模式M0、周边确认模式M1、前方模式M2以及后方模式M3这4个动作模式。这些动作模式根据驾驶员的操作、车辆9的行驶状态利用控制部1的控制进行切换。

导航模式M0是利用导航装置20的功能，将导航向导用的地图图像等显示在显示器21上的动作模式。在导航模式M0中，不利用图像处理装置100的功能，使用导航装置20单个装置的功能进行各种显示。因此，导航装置20在具有接收并显示电视广播的电波的功能的情况下，还会取代导航向导用的地图图像，显示电视广播画面。

与此相对，周边确认模式M1、前方模式M2以及后方模式M3是利用图像处理装置100的功能，将摄影图像及合成图像中的至少一个作为显示图像显示在显示器21上，实时地向用户表示车辆9的周边状况的动作模式。

周边确认模式M1是以俯视车辆9的状态进行环绕车辆9的周边的动画表现的动作模式。前方模式M2是显示主要表示前进时所需的车辆9的前方、侧方的显示图像的动作模式。另外，后方模式M3是显示主要表示后退时所需的车辆9的后方的显示图像的动作模式。

图像显示系统120起动后，最初为周边确认模式M1。在周边确认模式M1的情况下，进行环绕车辆9的周边的动画表现以后，经过指定时间(例如6秒)后，自动切换为前方模式M2。另外，在前方模式M2的情况下，在行驶速度例如为0km/h的状态(停止状态)下切换开关43持续按下指定时间以上后，切换为周边确认模式M1。此外，也可以通过来自驾驶员的指示从周边确认模式M1切换为前方模式M2。

另外，在前方模式M2的情况下，行驶速度例如达到10km/h以上时，切换为导航模式M0。相反，在导航模式M0的情况下，来自车速传感器82的信号所表示的行驶速度例如变得小于10km/h时，切换为前方模式M2。

在车辆9的行驶速度较高的情况下，为了使驾驶员专注于行驶，解除前方模式M2。相反，在车辆9的行驶速度较低的情况下，驾驶员进行更多考虑车辆9的周边状况的驾驶的情况较多，具体而言，有视线较差的交叉路口的进入、方向变更或者使车辆尽量靠边等情况。因此，在行驶速度较低的情况下，从导航模式M0切换为前方模式M2。此外，在从导航模式M0切换为前方模式M2的情况下，除了行驶速度小于10km/h的条件外，也可以加上存在来自驾驶员的明确的操作指示的条件。

另外，在导航模式M0或前方模式M2的情况下，在来自换档传感器81的信号所表示的换档位置变为“R(后退)”时，切换为后方模式M3。即，在车辆9的变速装置操作至“R(后退)”的位置处时，车辆9处于后退状态，因此切换为主要表示车辆9的后方的后方模式M3。

另一方面，在后方模式M3的情况下，在换档杆的位置变为“R(后退)”以外时，以当前的行驶速度为基准，切换为导航模式M0或前方模式M2。即，若行驶速度为10km/h以上，则切换为导航模式M0，若行驶速度小于10km/h，则切换为前方模式M2。

以下，详细说明周边确认模式M1、前方模式M2以及后方模式M3的每种模式下车辆9周边的显示方式。

<1-5.周边确认模式>

首先，说明周边确认模式M1下车辆9周边的显示方式。在周边确认模式M1下，仅有一种显示模式。在周边确认模式M1下，作为被摄物图像显示表示车辆9的整个周边区域的合成图像，但该合成图像的虚拟视点VP连续变化，进行动画表现。

具体而言，以俯视车辆9的方式设定虚拟视点VP，如图10所示，该虚拟视点VP以环绕车辆9的周边的方式连续移动。虚拟视点VP最初设定在车辆9后方以后，以向右旋转的方式环绕车辆9的周边。以此方式，虚拟视点VP经由车辆9的左侧、前方以及右侧后再次移动至后方，然后移动至车辆9的铅直上方。这样，在虚拟视点VP移动的状态下，多个合成图像时间连续地生成。生成的多个合成图像依次输出到导航装置20，时间连续地显示在显示器21上。

据此，如图11所示，进行以俯视车辆9的状态环绕车辆9的周边的动画表现。在图11所示的例子中，以状态ST1～ST6的顺序依次显示合成图像RP。在各合成图像RP中，车辆9配置在图像的中心附近，能够确认车辆9和车辆9周边的情形。

用户通过视觉识别周边确认模式M1的这种动画表现，能够从车辆9位于面前的视点出发确认车辆9的整个周边的状况，能够直观地把握车辆9的整个周边的障碍物与车辆9的位置关系。

<1-6.前方模式>

接着，详细说明前方模式M2下车辆9周边的显示方式。图12是表示前方模式M2下显示模式的迁移的图。在前方模式M2下，具有行驶俯瞰模式M21、本车确认模式M22以及侧照相机模式M23这3种显示模式，这些显示模式的显示方式相互不同。即，每种显示模式中显示的显示图像的种类不同，每种显示模式中向用户表示车辆周边的不同区域。在这些画面上，显示表示各显示方式中的视野范围的视野向导90，对用户指示正在显示表示车辆9周边的哪一区域的显示图像。

这些显示模式在用户每次按下切换开关43时，以行驶俯瞰模式M21、本车确认模式M22、侧照相机模式M23的顺序利用控制部1的控制进行切换。在侧照相机模式M23的情况下按下切换开关43后，再次返回到行驶俯瞰模式M21。

行驶俯瞰模式M21是将并列包含有合成图像FP1和前方图像FP2的画面显示在显示器21上的显示模式，其中合成图像FP1表示从车辆9的铅直上方的虚拟视点VP观察的车辆9的情形，前方图像FP2是利用前方照相机51的摄影得到的摄影图像。即，在行驶俯瞰模式M21下，作为被摄物图像表示车辆9的周边整体区域的合成图像FP1和作为被摄物图像表示车辆9的前方区域的前方图像FP2这两个显示图像显示在同一画面上。

在行驶俯瞰模式M21下，能够观看上述两个图像FP1、FP2，因此用户能够一眼确认车辆9的周边整体和作为车辆9的行进方向的前方的状况。行驶俯瞰模式M21可以说是可在前进中的各种情况下通用性较高地得到利用的显示模式。

另外，本车确认模式M22是将并列包含有前方图像FP3和合成图像FP4的画面显示在显示器21上的显示模式，其中前方图像FP3是利用前方照相机51的摄影得到的摄影图像，合成图像FP4表示从车辆9的后方的虚拟视点VP观察的车辆9周边的情形。即，在本车确认模式M22下，作为被摄物图像表示车辆9的前方区域的前方图像FP3和作为被摄物图像表示车辆9的侧面区域的合成图像FP4这两个显示图像显示在同一画面上。

与行驶俯瞰模式M21的前方图像FP2相比，本车确认模式M22的前方图像FP3将左右方向的视野范围设定得较广。因此，在进入视线较差的交叉路口的情况下能够确认存在于容易成为死角的相对于车辆9前端的前方和左右方向的物体。

另外，与行驶俯瞰模式M21的合成图像FP1相比，本车确认模式M22的合成图像FP4将虚拟视点VP的位置向车辆9的后方移动，因此，虽然车辆9的后方区域变窄，但车辆9的侧面区域变得容易确认。因此，在与对面车错车等情况下，能够容易地确认与对面车的间隙。

在本车确认模式M22下，能够观看上述两个图像FP3、FP4，因此用户在进入视线较差的交叉路口的情况下或在与对面车错车等需要慎重驾驶的状况下，能够一眼确认应该确认的区域的状况。

另外，侧照相机模式M23是将并列包含有作为由左右侧照相机53的摄影分别取得的摄影图像的侧面图像FP5、FP6的画面显示在显示器21上的显示模式。侧面图像FP5、FP6是仅将从驾驶座观察容易成为死角的前翼子板94的外侧区域作为被摄物图像进行表示的显示图像。

在侧照相机模式M23中，能够观看上述两个图像FP3、FP4，因此用户在进行使车体靠近道路一端的使车辆尽量靠边等情况下能够容易地确认应确认区域的状况。

<1-7.后方模式>

接着，详细说明后方模式M3下车辆9周边的显示方式。图13是表示后方模式M3下显示模式的迁移的图。在后方模式M3下，具有停车俯瞰模式M31以及后视镜模式M32这2种显示模式，这些显示模式的显示方式相互不同。即，每种显示模式中显示的显示图像的种类不同，每种显示模式中向用户表示车辆周边的不同区域。在这些画面上，还显示表示各显示方式中的视野范围的视野向导90，对用户指示正在显示表示车辆9周边的哪一区域的显示图像。

这些显示模式根据来自反射镜驱动装置86的信号所表示的后视镜93的状态利用控制部1的控制进行切换。具体而言，在后视镜93作为通常状态展开的情况下变为停车俯瞰模式M31，在后视镜93处于收纳中的情况下变为后视镜模式M32。

停车俯瞰模式M31是将并列包含有合成图像BP1和后方图像BP2的画面显示在显示器21上的显示模式，其中合成图像BP1表示从车辆9的铅直上方的虚拟视点VP观察的车辆9的情形，后方图像BP2是利用后方照相机52的摄影得到的摄影图像。即，在停车俯瞰模式M31下，作为被摄物图像表示车辆9的周边整体区域的合成图像BP1和作为被摄物图像表示车辆9的后方区域的后方图像BP2这两个显示图像显示在同一画面上。

在停车俯瞰模式M31下，能够观看上述两个图像BP1、BP2，因此用户能够一眼确认车辆9的周边整体和作为车辆9的行进方向的后方的状况。停车俯瞰模式M31可以说是可在后退中的各种情况下通用性较高地得到利用的显示模式。

另外，后视镜模式M32是将并列包含有作为由左右侧照相机53的摄影分别取得的摄影图像的侧面图像BP3、BP4的画面显示在显示器21上的显示模式。侧面图像BP3、BP4在后视镜93展开时是表示与映射在后视镜93中的范围大致相同的范围，具体而言是车辆9的侧面区域中的后方的显示图像。

如图14所示，侧照相机53设置在后视镜93上，因此在后视镜93变为收纳的状态后，其光轴53a的方向变为朝向车辆9的后方。在该状态下，侧照相机53中无法取得表示车辆9的侧面整体的图像，因此变得难以生成从任意虚拟视点观察的合成图像。但是，由于光轴53a向车辆9的后方移动，所以能够对车辆9的侧面区域的后方取得歪曲较少的摄影图像。在后视镜模式M32中，利用这种侧照相机53的配置，作为被摄物图像生成并显示包含车辆9的侧面区域的后方的两个侧面图像BP3、BP4。

在后视镜模式M32下，能够观看上述两个侧面图像BP3、BP4，因此用户在由于停车环境而不得不收纳后视镜93的情况下，也能确认与映射在后视镜93中的范围大致相同的范围。

<1-8.光源光量的调整>

这样，在图像显示系统120中，通过显示方式相互不同的各种显示模式将车辆9周边的情形显示在显示器21上，但在周边环境比较暗，无法充分确保表示车辆9周边的图像的亮度时，由辅助照明部6进行辅助光的照明。

为了提高显示图像中表示的物体(被摄物图像)的视觉识别性，必须提高该辅助光的光量。但是，若使辅助照明部6的多个光源60全部以可能的最大光量始终发光，则存在白白浪费电力的可能性。例如，虽然是周边环境较暗的情况，但在傍晚时由于路灯等具有某种程度的亮度的情况下，辅助光的光量即使较少，有时也能取得亮度足以表示车辆周边的情形的图像。另外，例如，在侧照相机模式M32下，由于需要使用户关注前翼子板94的外侧区域，所以对于与该区域对应的中央区域CA(参照图6)，需要提高辅助光的光量，但对于前方区域FA和后方区域BA，提高辅助光的光量的必要性较小。

另外，在使多个光源60全部以最大光量始终发光的情况下，流至一个侧照相机单元70的电流的合计值变高，因此为了使侧照相机单元70与高电流相适应，电子线路和电子部件等的成本有可能上升。另外，若使多个光源60全部以最大光量始终发光，则产生光源60的劣化，其耐久性有可能降低。

为了应对上述问题，在图像显示系统120中，根据车辆周边的亮度以及当前的显示模式，分别调整辅助照明部6的多个光源的各自的光量。

具体而言，首先，基于车辆周边的亮度，对于多个光源60中的每个设定作为控制基准的光量(以下称作“基准光量”)。接着，基于该多个光源60的各基准光量，进行与显示模式相应的调整，决定最终应进行控制的光量(以下称作“控制光量”)。

车辆周边的亮度与基准光量的对应关系由存储在非易失性存储器40中的基准光量表4b表示。在基准光量表4b中，设定为车辆周边的亮度越暗则基准光量越高。

图15是表示该基准光量表4b的内容的图。在本实施方式中，将由摄影部5的4个车载照相机51、52、53取得的4个摄影图像的平均亮度用作表示车辆周边的亮度的值。该平均亮度是由亮度取得部13导出的值，用8比特(0～255)进行表示。

另外，由于光源60发光的光量依赖于流至该光源60的电流值，因此在本实施方式中，各光源60的基准光量用为了达到该基准光量而应流至光源60的电流值(mA)来表示。以下，将为了达到基准光量而应流至光源60的电流值称作“基准电流值”。

如前所述，为了能够大致均匀地照明侧面区域SA的整体，与前方光源61以及后方光源62相比，中央光源63的基准光量(更准确地说是基准电流值)设定得较低。

如基准光量表4b所示，与周边环境最暗的情况对应的平均亮度为“0～50”的情况下，前方光源61的基准电流值设定为50(mA)，中央光源63的基准电流值设定为10(mA)，后方光源62的基准电流值设定为50(mA)。

另外，在平均亮度为“51～100”的情况下，与平均亮度为“0～50”的情况相比周边环境变亮。因此，与平均亮度为“0～50”的情况相比，基准电流值设定得较低。具体而言，前方光源61的基准电流值设定为40(mA)，中央光源63的基准电流值设定为8(mA)，后方光源62的基准电流值设定为40(mA)。

进而，在平均亮度为“101～150”的情况下，与平均亮度为“51～100”的情况相比周边环境进一步变亮。因此，与平均亮度为“51～100”的情况相比，基准电流值设定得较低。具体而言，前方光源61的基准电流值设定为30(mA)，中央光源63的基准电流值设定为6(mA)，后方光源62的基准电流值设定为30(mA)。

另外，在平均亮度为“151～255”的情况下，车辆周边的亮度足够明亮，因此所有光源60不点亮。

若前方光源61、中央光源63以及后方光源62全部以基准光量表4b中设定的基准光量发光，则侧面区域SA的整体被大致均匀照明。关于根据显示模式如何调整上述对各光源60设定的基准光量以成为控制光量，在存储在非易失性存储器40中的光量调整表4c中表示。

图16是表示该光量调整表4c的内容的图。如图所示，在光量调整表4c中，对于每种显示模式，记载了前方光源61、中央光源63以及后方光源62各自的控制光量的决定方法。即，对于应将控制光量维持为基准光量的光源60表示为“维持”，应将控制光量相对于基准光量进行增加的光源60表示为“增加”，应将控制光量相对于基准光量进行减少的光源60表示为“减少”。

在周边确认模式M1下，前方光源61、中央光源63以及后方光源62全部表示为“维持”。由于周边确认模式M1是用于确认车辆9的整个周边的状况的显示模式(参照图11)，所以在车辆周边不存在用户应该特别关注的区域。因此，所有光源60的控制光量维持为基准光量。

在行驶俯瞰模式M21下，前方光源61、中央光源63以及后方光源62全部表示为“维持”。由于在行驶俯瞰模式M21下显示表示车辆9的整个周边的合成图像FP1(参照图12)，所以在车辆周边不存在用户应该特别关注的区域。因此，所有光源60的控制光量维持为基准光量。

在本车确认模式M22下，对前方光源61以及中央光源63表示为“增加”，对后方光源62表示为“减少”。本车确认模式M22在进入视线较差的交叉路口或与对面车错车等情况下利用(参照图12)。因此，为了使用户关注车辆9的前方侧，前方光源61以及中央光源63的控制光量相对于基准光量增加，后方光源62的控制光量相对于基准光量减少。

在侧照相机模式M23下，对中央光源63表示为“增加”，对前方光源61以及后方光源62表示为“减少”。在侧照相机模式M23下，仅表示前翼子板94的外侧区域(参照图12)。因此，为了使用户关注该区域，中央光源63的控制光量相对于基准光量增加，前方光源61以及后方光源62的控制光量相对于基准光量减少。

在停车俯瞰模式M31下，前方光源61、中央光源63以及后方光源62全部表示为“维持”。由于在停车俯瞰模式M31下显示表示车辆9的整个周边的合成图像BP1(参照图13)，所以在车辆周边不存在用户应该特别关注的区域。因此，所有光源60的控制光量维持为基准光量。

另外，在后视镜模式M32下，对中央光源63表示为“增加”，对前方光源61以及后方光源62表示为“减少”。在后视镜模式M32下，表示车辆9的侧面区域的后方(参照图13)。但是在此情况下，由于后视镜93被收纳，所以3个光源60的光轴方向均向车辆9的后方侧移动。因此，仅将光轴朝向车辆9的侧面区域的后方的中央光源63的控制光量相对于基准光量增加，前方光源61以及后方光源62的控制光量相对于基准光量减少。

以上述方式决定控制光量，实际上相当于为了达到该控制光量而决定应流至光源60的电流值(以下称作“控制电流值”)。关于前方光源61以及后方光源62，控制电流值在光量调整表4c中表示为“增加”的情况下相对于基准电流值增加例如10(mA)，在表示为“减少”的情况下相对于基准电流值减少例如10(mA)。另外，关于中央光源63，控制电流值在光量调整表4c中表示为“增加”的情况下相对于基准电流值增加例如2(mA)，在表示为“减少”的情况下相对于基准电流值减少例如2(mA)。

<1-9.处理流程>

接着，说明分别调整上述多个光源60的光量的处理的流程。图17是表示照明控制部12调整光源60的光量的处理流程的图。该处理由照明控制部12反复执行。

首先，判断是否处于在显示器21上显示表示车辆9周边情形的显示图像的状态(步骤S11)。具体而言，判断动作模式是否是导航模式M0以外的模式(周边确认模式M1、前方模式M2以及后方模式M3中的任意一种)。在动作模式为导航模式M0的情况下(步骤S11中“否”)，不需要进行辅助照明部6的照明，因此所有光源60灭灯(步骤S17)。

另外，在动作模式是导航模式M0以外的模式时(步骤S11中“是”)，接着，判断车辆周边的亮度是否低至需要辅助照明部6的照明的程度。车辆周边的亮度利用由摄影部取得的摄影图像的平均亮度。由亮度取得部13导出摄影图像的平均亮度，判断该平均亮度是否为指定的阈值(例如“150”)以下(步骤S12)。在摄影图像的平均亮度高于指定的阈值的情况下(步骤S12中“否”)，不需要进行辅助照明部6的照明，因此所有光源60灭灯(步骤S17)。

另一方面，在摄影图像的平均亮度低于指定的阈值的情况下(步骤S12中“是”)，接着，基于车辆周边的亮度，设定多个光源60各自的基准光量。具体而言，参照非易失性存储器40内的基准光量表4b，基于摄影图像的平均亮度，取得多个光源60各自的基准电流值(步骤S13)。

接着，取得当前的显示模式(步骤S14)。并且，对多个光源60各自的基准光量进行与显示模式相应的调整，决定控制光量(步骤S15)。具体而言，参照非易失性存储器40中存储的光量调整表4c，根据显示模式进行对基准电流值的增减，或者维持基准电流值，以决定控制电流值。

接着，从照明控制部12向光源驱动部69的电流变更部61a、62a、63a中的每一个输出信号，从而使各光源60的电流值成为控制电流值。据此，以对各光源60分别调整的控制光量，各光源60进行发光(步骤S16)。

如上所述，在本实施方式的图像显示系统120中，根据显示在显示器21上的显示图像中作为被摄物图像表示的车辆周边区域，分别调整多个光源60各自的光量。因此，能够仅增加必要部分的光源60的光量。这样，无需使多个光源60全部以最大光量始终发光，因此能够减少耗电。与此同时，能够抑制光源60的劣化的发生，以提高其耐久性。

另外，根据显示模式，将多个光源60中的部分光源60的光量相对于基准光量增加，将其它光源60的光量相对于基准光量减少，由此使光量增加的光源60照明的区域与光量减少的光源60照明的区域之间的对比度增高，能够强调侧面区域SA中应使用户关注的部分区域(光量增加的光源60照明的区域)。另外，虽然增加了部分光源60的光量，但减少了其他光源60的光量，因此能够抑制流至一个侧照相机单元70的电流的合计值，因此能够防止电子线路和电子部件等的成本上升。

另外，根据车辆周边的亮度将光源60的光量调整为适当的光量，因此不会进行无用的照明，能够有效地减少耗电。

<2.第二实施方式>

接着，说明第二实施方式。第二实施方式中的图像显示系统120的结构和处理与第一实施方式大致相同，仅部分不同，因此以下以与第一实施方式的不同点为中心进行说明。

在第二实施方式中，在本车确认模式M22下，响应于驾驶员的方向指示器85的方向指示灯开关的操作，合成图像FP4的虚拟视点VP的视点位置被移动。

图18是表示本车确认模式M22下的画面状态迁移的图。另外，图19是表示虚拟视点VP的位置迁移的图。在从方向指示器85发送的转弯信号为关闭的情况下，即没有方向指示的情况下，虚拟视点VP的视点位置设定为车辆9后方的左右大致中央的位置VPC(参照图19)，视野方向设定为车辆9的前方方向。据此，如图18的状态STC所示，显示器21上，大致均等地表示车辆9的左右双方的侧面区域的合成图像FP4作为显示图像进行显示。

另一方面，在从方向指示器85发送的转弯信号为开的情况下，即有方向指示的情况下，关于虚拟视点VP，视野方向保持为车辆9的前方方向，视点位置向转弯信号所示方向的位置移动。

具体而言，在转弯信号指示左方时，虚拟视点VP的视点位置设定为车辆9左侧的位置VPL(参照图19)。据此，如图18的状态STL所示，方向指示器85的转弯信号所示的左方的侧面区域大于右方的侧面区域地进行表示的合成图像FP4作为显示图像显示在显示器21上。

另外，在转弯信号指示右方向时，虚拟视点VP的视点位置设定为车辆9右侧的位置VPR(参照图19)。据此，如图18的状态STR所示，方向指示器85的转弯信号所示的右方的侧面区域大于左方的侧面区域地进行表示的合成图像FP4作为显示图像显示在显示器21上。

在方向指示器85指示的方向上，方向变更或使车辆尽量靠边时车辆9移动从而接触的物体存在的可能性较高。这样，通过以上述方式使由方向指示器85指示的方向的侧面区域较大地表示，能够使用户(具有代表性地，为驾驶员)的注意力侧重于有可能接触的物体，能够有效地防止车辆9与物体的接触。此外，方向指示解除后，如图18的状态STC所示，返回到显示大致均等地表示车辆9的左右双方的侧面区域的合成图像FP4的状态。

另外，在本实施方式中，在如上所述有方向指示的情况下，使配置在方向指示的方向上的侧照相机单元70的3个光源60的光量大于配置在方向指示的反方向上的侧照相机单元70的3个光源60的光量。

图20是表示第二实施方式中调整光源60的光量的处理流程的图。

图20所示的步骤S21～S25，S29的处理与图17所示的步骤S11～S15，S17的处理相同。这样，在步骤S25结束时，根据显示模式决定了控制光量(更准确地说是控制电流值)。

在步骤S25结束后，接着，判断是否显示模式为本车确认模式M22并且有方向指示(步骤S26)。方向指示的有无基于转弯信号进行判断。在显示模式为本车确认模式M22以外的模式的情况下，以及虽然是本车确认模式M22但没有方向指示的情况下(步骤S26中“否”)，控制使得各光源60直接以步骤S25中决定的控制光量发光(步骤S28)。

另一方面，在显示模式为本车确认模式M22并且有方向指示的情况下(步骤S26中“是”)，配置在与方向指示的方向相反方向上的全部3个光源60的控制光量重新决定为相对于基准光量减少后的值。另外，配置在方向指示的方向上的3个光源60的控制光量维持原样(步骤S27)。并且，控制使得各光源60以重新决定的控制光量发光(步骤S28)。

据此，仅使方向指示的方向的前方光源61以及中央光源63的控制光量相对于基准光量增加，其它光源60的控制光量相对于基准光量减少。其结果是，方向指示的方向的光源60的光量变得大于其反方向的光源60的光量，因此能够更为强调方向指示的方向的侧面区域，能够使用户(代表性地为驾驶员)的注意力侧重于接触可能性较高的方向。此外，在此情况下，对于方向指示的反方向的光源60，虽然控制光量减少，但并不灭灯。因此，假设在方向指示的反方向上存在具有接触可能性的物体的情况下，用户也能识别该物体。

此外，在本实施方式中，不仅在本车确认模式M22的情况下基于方向指示的方向调整光源60的光量，在其他显示模式下也可以同样地使方向指示的方向的光源60的光量大于其反方向的光源60的光量。

<3.第三实施方式>

接着，说明第三实施方式。第三实施方式中的图像显示系统的结构和处理与第一实施方式大致相同，仅部分不同，因此以下以与第一实施方式的不同点为中心进行说明。

如图6所示，配置在一个侧照相机单元70中的3个光源60对前方区域FA、中央区域CA以及后方区域BA进行照明。其中，对于前方区域FA，还能够通过车辆9标准配备的前照灯进行照明。

图21是表示车辆9的前照灯98能照明的区域的图。图中，用阴影表示通过前照灯98在周边环境较暗的情况下也能以可取得足够明亮的图像的程度(例如0.5勒克斯(lux)以上)进行照明的区域HA。如图所示，前方区域FA包含在前照灯98可照明的区域HA中。这样，在前照灯98点亮的情况下，提高前方区域FA的光量的必要性较低。因此，在本实施方式中，在前照灯98点亮的情况下，使前方光源61的控制光量相对于基准光量减少。

图22是表示第三实施方式中调整光源60的光量的处理流程的图。

图22所示的步骤S31～S35，S39的处理与图17所示的步骤S11～S15，S17的处理相同。这样，在步骤S35结束时，根据显示模式决定了控制光量(更准确地说是控制电流值)。

在步骤S35结束后，接着，判断前照灯98是否已点亮(步骤S36)。前照灯98的点亮状态基于来自灯光控制装置84的信号进行判断。在前照灯98未点亮的情况下(步骤S36中“否”)，控制使得各光源60直接以步骤S35中决定的控制光量发光(步骤S38)。

另一方面，在前照灯98已点亮的情况下(步骤S36中“是”)，前方光源61的控制光量重新决定为相对于基准光量减少后的值。另外，前方光源61以外的光源60的控制光量维持原样(步骤S37)。并且，控制使得各光源60以重新决定的控制光量发光(步骤S38)。

这样，通过在前照灯98已点亮的情况下使前方光源61的控制光量相对于基准光量减少，不会进行无用的照明，能够有效地减少耗电。此外，在本实施方式中，仅考虑了行驶用灯光装置中的前照灯98的点亮状态，也可以考虑尾灯或制动灯等其他行驶用灯光装置的点亮状态来调整各光源60的光量。

<4.变形例>

以上说明了本发明的实施方式，但该发明并不限定于上述实施方式，可进行各种变形。以下说明这种变形例。包括上述实施方式中说明的方式以及以下说明的方式在内的所有方式可以适当进行组合。

在上述实施方式中，根据显示模式分别调整多个光源各自的光量。由于根据换档位置或行驶速度等车辆行驶状态变更动作模式，显示模式根据动作模式变更，所以上述实施方式的技术也可以说是根据车辆行驶状态分别调整多个光源各自的光量的技术。另外，也可以与显示模式无关，考虑车辆行驶状态以分别调整多个光源各自的光量。例如，考虑若换档位置为“D(前进)”则使前方光源61的控制光量相对于基准光量增加(使其他光源60的光量相对于基准光量减少)，若换档位置为“R(后退)”则使后方光源62的控制光量相对于基准光量增加(使其他光源60的光量相对于基准光量减少)。另外，考虑在行驶速度超过指定速度的情况下为使驾驶员专注于行进方向而使前方光源61的控制光量相对于基准光量增加(使其他光源60的光量相对于基准光量减少)，在行驶速度小于指定速度的情况下往往需要进行车辆周边的确认，因此使全部光源60控制光量维持为基准光量等。

另外，在上述实施方式中，关于说明为将控制光量相对于基准光量减少的光源，也可以进行灭灯。

另外，在上述实施方式中，基于车辆周边的亮度设定基准光量，也可以使基准光量为预先设定的恒定值。

另外，在上述实施方式中，作为表示车辆周边的亮度的值利用摄影图像的平均亮度，也可以设置检测车辆周边的照度的照度传感器，作为表示车辆周边的亮度的值利用该照度传感器的检测结果。照度传感器可以安装在车辆的前窗中央上部或仪表板上等处。

另外，在上述实施方式中，作为多个光源照明的车辆周边的特定区域设定车辆的侧面区域，但特定区域并不限定于车辆的侧面区域，可以设定车辆周围的任意区域。不过，如果如上述实施方式那样将侧面区域设定为特定区域，则在车辆周边较暗的情况下也能显示表示对驾驶员而言难以确认且使用行驶用灯光装置也难以照明的侧面区域的图像，因此是较为有效的。此外，在上述实施方式中，将车辆的左右双方的侧面区域作为特定区域，也可以仅将一个侧面区域(例如，仅将尤其容易成为死角的驾驶位相反侧的侧面区域)设定为特定区域。

另外，在上述实施方式中，图像处理装置100与导航装置20作为不同的装置进行了说明，也可以将图像处理装置100与导航装置20配置在同一壳体内构成为一体型的装置。

另外，在上述实施方式中，显示由图像处理装置100生成的图像的显示装置作为导航装置20进行了说明，但也可以是不具有导航功能等特殊功能的一般的显示装置。

另外，在上述实施方式中，说明为由图像处理装置100的控制部1实现功能的一部分也可以由导航装置20的控制部23实现。

另外，在上述实施方式中，说明为由信号接收部41接收的信号的一部分或全部也可以由导航装置20接收。在此情况下，进一步由导航通信部42接收由导航装置20接收的信号，并输入到图像生成装置100的控制部1中。

另外，在上述实施方式中，从方向指示器85接收表示来自车辆的驾驶员的方向指示的方向的信号，但也可以通过其他手段进行接收。例如，也可以从如下装置接收表示该方向指示的方向的信号，即从对驾驶员的眼睛进行摄影的图像中检测出驾驶员视线的移动，根据该检测结果导出方向指示的方向的装置。

另外，在上述实施方式中，说明了通过按照程序进行的CPU的计算处理在软件上实现各种功能，但也可以将这些功能中的一部分利用电子硬件电路实现。另外，相反，也可以将通过硬件电路实现的功能中的一部分在软件上实现。

符号说明：

1控制部；12照明控制部；13亮度取得部；21显示器；32合成图像生成部；4b基准光量表；4c光量调整表；5摄影部；6辅助照明部；61前方光源；62后方光源；63中央光源。

Claims

1.一种车载照明装置，进行辅助图像生成装置的摄影的照明，该图像生成装置能够基于使用多个照相机对车辆周边进行摄影而得到的摄影图像，生成表示从虚拟视点观察到的所述车辆周边的至少一部分区域的合成图像，其特征在于，

所述图像生成装置将所述摄影图像以及所述合成图像中的至少一个作为显示图像显示在显示装置上；

所述车载照明装置包括：

多个光源，分别对分割所述车辆周边的特定区域而得到的多个区域进行照明；以及

调整单元，根据显示在所述显示图像中的所述车辆的周边区域，分别调整所述多个光源各自的光量。

2.根据权利要求1所述的车载照明装置，其特征在于：

所述调整单元使所述多个光源中的一部分光源的光量相对于基准光量增加，使其他光源的光量相对于基准光量减少。

3.根据权利要求1所述的车载照明装置，其特征在于：

还包括取得单元，该取得单元取得所述车辆周边的亮度；

所述调整单元根据所述车辆周边的亮度调整所述多个光源的光量。

4.根据权利要求1所述的车载照明装置，其特征在于：

还包括接收单元，该接收单元接收表示所述车辆行驶时使用的行驶用灯光装置的点亮状态的信号；

所述调整单元根据所述点亮状态调整所述多个光源的光量。

5.根据权利要求1所述的车载照明装置，其特征在于：

还包括接收单元，该接收单元接收表示所述车辆的驾驶员所指示的方向的信号；

所述多个光源分别配置在所述车辆的左侧以及右侧；

在有所述方向指示时，所述调整单元使配置在所述驾驶员所指示的方向上的所述多个光源的光量大于配置在与所述驾驶员所指示的方向相反的方向上的所述多个光源的光量。

6.一种图像处理装置，其搭载在车辆上，其特征在于，包括：

图像生成装置，能够基于使用多个照相机对所述车辆周边进行摄影而得到的摄影图像，生成表示从虚拟视点观察到的所述车辆周边的至少一部分区域的合成图像；以及

车载照明装置，进行辅助所述图像生成装置的摄影的照明；

所述车载照明装置包括：

多个光源，分别对通过分割所述车辆周边的特定区域而得到的多个区域进行照明；以及

7.一种图像显示系统，其搭载在车辆上，其特征在于，包括：

图像生成装置，能够基于使用多个照相机对所述车辆周边进行摄影而得到的摄影图像，生成表示从虚拟视点观察到的所述车辆周边的至少一部分区域的合成图像；

车载照明装置，进行辅助所述图像生成装置的摄影的照明；以及

显示装置，将所述摄影图像以及所述合成图像中的至少一个作为显示图像进行显示；

所述车载照明装置包括：

8.一种照明方法，进行辅助图像生成装置的摄影的照明，该图像生成装置能够基于使用多个照相机对车辆周边进行摄影而得到的摄影图像，生成表示从虚拟视点观察到的所述车辆周边的至少一部分区域的合成图像，所述照明方法的特征在于，包括：

(a)将所述摄影图像以及所述合成图像中的至少一个作为显示图像显示在显示装置上的步骤；以及

(b)根据显示在所述显示图像中的所述车辆的周边区域，分别调整多个光源各自的光量的步骤，其中，多个光源分别对通过分割所述车辆周边的特定区域而得到的多个区域进行照明。