CN102934427A

CN102934427A - 图像处理装置、图像处理系统和图像处理方法

Info

Publication number: CN102934427A
Application number: CN2010800590899A
Authority: CN
Inventors: 木下功太郎; 小原泽正弘; 任顺子
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2009-12-24
Filing date: 2010-12-22
Publication date: 2013-02-13
Also published as: US9706175B2; JP2011135253A; WO2011078201A1; US20120257058A1

Abstract

在所公开的车载图像处理装置中，图像获取装置获取由设置在车辆上的多个摄像机拍摄的多个摄像机图像。合成图像生成装置生成具有从不同观察点观察所述车辆及其周围的多个自上向下的图像的多个合成图像。显示图像提供装置将对应于显示图像的信息输出至车载显示装置，其中在所述显示图像中连续播放所述多个合成图像。

Description

图像处理装置、图像处理系统和图像处理方法

技术领域

本发明涉及在车载显示装置上显示图像的技术。

背景技术

通常，有一种使用户能够通过借助车载摄像机获取车辆周边的图像并自动或按照用户操作将所获取的图像显示在显示装置上来监控车辆周边的装置。还有一种提供用于通过在屏幕上显示从作为虚拟观察点的车辆正上方观察到的向下视图来向用户确认车辆的整个周边安全的手段的装置。此外，例如，日本未审查的专利申请公开第2008-219559号（专利文献1）公开了利用包括第一屏幕和第二屏幕这两个屏幕来确认车辆周围安全的技术，所述第一屏幕显示了车辆的全景以及由以预定高度安装在车辆上的各摄像机所拍摄的各图像的观察点位置，所述第二屏幕显示了与显示在第一屏幕上的各观察点位置的移动相对应的各自摄像机图像。

发明内容

本发明要解决的问题

然而，根据相关技术中通过摄像机进行的车辆周边的图像显示，必须确认来自各个摄像机的图像对应于车辆的哪一个方向，并且因为没有在屏幕上显示用户的车辆，所以用户难以掌握诸如车辆与出现在车辆周边的障碍物之间的距离之类的位置关系。

此外，对于在屏幕上显示从作为虚拟观察点的车辆正上方观察到的向下视图的情况而言，用户必须确认车辆整个周边周围的宽范围，从而导致要向用户提供过量的信息，结果，难以缩窄用户应当当心的点。

此外，根据专利文献1所公开的技术，由于显示了车辆全景以及由各摄像机拍摄的图像的观察点位置的屏幕、以及显示了与观察点位置移动相对应的各个摄像机图像的屏幕被显示为分离的两个屏幕，所以用户应该对显示在这两个屏幕上的信息执行映射，这一点导致用户很难掌握车辆和障碍物之间的位置关系的问题。

因此，考虑到上述情况，提出了本发明，其目的是提供使用户能够直观掌握车辆与存在于车辆周边的障碍物之间的位置关系的技术。

解决问题的手段

为了解决该问题，根据本发明，提供了以下构造。

（1）：一种图像处理装置，其被构造为安装于车辆中，所述图像处理装置包括：

图像获取器，其被构造为获取由提供在所述车辆上的多个摄像机拍摄的多个摄像机图像；

合成图像生成器，其被构造为基于所述多个摄像机图像生成多个合成图像，所述多个合成图像包括从彼此不同的多个观察点观察到的所述车辆及其周边的多个第一向下视图；以及

显示图像提供器，其被构造为将与显示图像相对应的信息输出到安装在所述车辆中的显示装置，其中在所述显示图像中连续再现所述多个合成图像。

（2）：根据（1）所述的图像处理装置，

其中，所述多个合成图像包括从所述车辆的正上方观察到的所述车辆和所述车辆的周边的第二向下视图；并且

其中，在再现所述第一向下视图时至少再现一次所述第二向下视图来作为所述显示图像。

（3）：根据（1）或（2）所述的图像处理装置，其中，所述多个第一向下视图中的每一个都在其中央处示出所述车辆。

（4）：根据（1）到（3）中任意一项所述的图像处理装置，其中，所述合成图像生成器被构造为在所述图像处理装置启动时生成所述多个合成图像。

（5）：根据（1）到（4）中任意一项所述的图像处理装置，其中，所述合成图像生成器被构造为在生成所述多个合成图像时消除亮度低于参考值的一部分摄像机图像。

（6）一种图像处理系统，其包括：

多个摄像机，其被构造为设置在车辆上；以及

图像处理装置，其被构造为安装于所述车辆中，所述图像处理装置包括：

图像获取器，其被构造为获取由所述多个摄像机拍摄的多个摄像机图像；

合成图像生成器，其被构造为基于所述多个摄像机图像生成多个合成图像，所述多个合成图像分别是从彼此不同的多个观察点观察到的所述车辆及其周边的多个向下视图；以及

（7）：一种图像处理方法，其包括：

获取由提供在车辆上的多个摄像机拍摄的多个摄像机图像；

基于所述多个摄像机图像生成多个合成图像，所述多个合成图像分别是从彼此不同的多个观察点观察到的所述车辆及其周边的多个向下视图；以及

将与所述显示图像相对应的信息输出到安装在所述车辆中的显示装置，其中在所述显示图像中连续再现所述多个合成图像。

本发明的有益效果

根据（1）或（7）的构造，能够提供图像，从该图像用户能够掌握车辆与多个障碍物之间的位置关系，所述车辆和这些障碍物以三维显示，好像用户从上面看到它们一样。此外，通过以连续地对获得了车辆的鸟瞰视图的合成图像进行再现的方式来再现观察点移动，用户能够直观地掌握车辆与这些障碍物之间的位置关系。

此外，根据（2）的构造，即使在显示观察点移动时忽视了诸如障碍物之类的信息，也能够从车辆的正上方位置再次进行安全确认。

此外，根据（3）的构造，用户能够在一个屏幕上确认车辆整个周边中的障碍物。

此外，根据（4）的构造，通常在开始开始操作之前对所述图像处理装置进行启动，使得用户能够顺利地确认车辆整个周边的障碍物。

此外，根据（5）的构造，能够防止不期望的阴影（机械渐晕）出现在合成图像中，因此能够提供使用户能够从中直观地掌握车辆和障碍物之间的位置关系的合成图像。

附图说明

图1是例示了图像处理装置的构造的示图。

图2是例示了车载摄像机在车辆中的安装位置的视图。

图3是例示了处于将车辆左侧的摄像机容纳在壳体内的状态中的侧摄像机单元的外部构造的视图。

图4是例示了生成合成图像的技术的视图。

图5是例示了图像处理系统中的操作模式的变换的示图。

图6是例示了虚拟观察点连续移动以围绕车辆而行的视图。

图7是例示了在获得车辆的向下视图的状态中围绕车辆盘旋的视图。

图8是例示了前方模式中的显示模式变换的视图。

图9是例示了后方模式中的显示模式变换的视图。

图10是例示了当关闭后视镜光轴的方向的视图。

图11是例示了周围确认模式中的图像处理系统的控制单元的处理流程的示图。

图12是例示了后方模式中的图像处理系统的控制单元的处理流程的示图。

具体实施方式

在下文中，将参照附图来详细描述本发明的优选实施例。

<1-1.系统构造>

图1是例示了图像处理系统120的构造的框图。该图像处理系统120安装在车辆（在本发明的实施例中为汽车）中，并且具有通过拍摄车辆周边的图像来生成图像并在将所生成的图像输出到车厢内的诸如导航装置20之类的显示装置的功能。图像处理系统120的用户（典型地为驾驶员）通过使用图像处理系统120能够基本上实时地掌握车辆周边的外观。

如图1所示，图像处理系统120主要包括被构造为生成显示车辆周边的多个周边图像并且将图像信息输出到诸如导航装置20等的显示装置的图像处理装置100，和被构造为提供有用于拍摄车辆周围的图像的摄像机的拍摄单元5。

导航装置20为用户执行导航引导，其包括诸如具有触摸板功能的液晶显示器之类的显示器21、由用户操作的操作单元22和控制整个装置的控制单元23。在车辆的仪表面板或类似的部件上提供导航装置20，以便用户能够认出显示器21的屏幕。利用操作单元22以及作为触摸板的显示器21接收来自用户的各种指令。控制单元23被构造为具有CPU、RAM、ROM等的计算机，在CPU根据预定程序执行运算处理时实现包括导航功能在内的各种功能。

导航装置20与图像处理装置100可通信地相连接，导航装置20与图像处理装置100执行对各种控制信号的发送和接收，并且导航装置20接收由图像处理装置100生成的周边图像。在显示器21上，通常显示的是基于导航装置20的独立功能的图像，而在预定条件显示由图像处理装置100生成的示出了车辆周边的外观的周边图像。由此，导航装置20还用作对图像处理装置100生成的周边图像进行接收和显示的显示装置。

图像处理装置100包括主体部分10，在主体部分10中提供具有生成周边图像功能的ECU（电子控制单元），图像处理装置100设置在车辆的预定位置处。图像处理系统120设置有拍摄车辆周边图像的拍摄单元5，并且图像处理系统120用作在通过拍摄单元5拍摄车辆周边图像而获得的所拍摄图像的基础上生成从虚拟观察点观察的合成图像的图像生成装置。将提供在拍摄单元5中提供的车载摄像机51、52和53设置在车辆上不同于主体部分10的适当位置处，稍后将描述其细节。

图像处理装置100的主体部分10主要包括控制整个装置的控制单元1、通过对拍摄单元5获得的拍摄图像进行处理来生成用于显示的周边图像的图像生成单元3（本发明中的图像获取装置）以及与导航装置20通信的导航通信单元42。

通过导航装置20的操作单元22或显示器21接收的来自用户的各种指令被导航通信单元42接收并被输入至控制单元1作为控制信号。此外，图像处理装置100包括选择开关43，其接收来自用户的指令以切换显示内容。指示用户指令的信号也被从选择开关43输入至控制单元1。由此，图像处理装置100能够响应于用户对导航装置20的操作和用户对选择开关43的操作来工作。选择开关43设置在车辆中不同于主体部分10的适当位置处。

图像生成单元3被构造为能够执行各种图像处理的硬件电路，并包括合成图像生成单元31、图像范围选择单元32和图像信息输出单元33。

合成图像生成单元31用作根据本发明的合成图像生成装置，并在通过拍摄单元5的车载摄像机51、52和53所获取的拍摄图像（摄像机图像）的基础上生成从车辆周围的某一个虚拟观察点观察到的合成图像。稍后将描述通过生成单元31来生成从该虚拟观察点观察到的合成图像的技术。

图像范围选择单元32在通过拍摄单元5的侧摄像机53获取的拍摄图像的基础上选择和裁剪图像的预定范围。在此，在关闭后视镜的情况下，所述的图像的预定范围是包含与反映在处于打开状态下的后视镜中的范围几乎一样的物体图像的图像范围。换言之，图像的预定范围是显示车辆的侧面区域的后方的图像范围。由此，即使在当车辆通过狭窄的地方时关闭后视镜的状态下，用户也能够确认与打开后视镜的情况下的范围几乎相同范围中的图像。

此外，在打开后视镜93的情况下，所述的图像的预定范围是包含车辆9的前挡板外侧的图像范围。由此，用户能够容易地确认在将车辆往路边移动的情况下要确认区域的状况。

图像信息输出单元33通过导航通信单元42将由图像范围选择单元32选择的图像信息输出到导航装置20。另一方面，基于控制单元1执行图像信息的输出。此外，在选择图像的预定范围的情况下，使用了存储在稍后将描述的非易失性存储器40中的针对每一种车辆型号的参数（针对每一种车辆型号的如下参数：被附接到左后视镜和右后视镜的侧摄像机53的依据后视镜的打开和关闭而改变的位置、依据后视镜的打开和关闭而改变的光轴角度的数据，等等）。

此外，图像信息输出单元33用作根据本发明的显示图像提供装置，并且将由合成图像生成单元31生成的合成图像信息（显示图像）输出到导航装置20。由此，示出了车辆周边的周边图像被显示在导航装置20的显示器21上。

控制单元1被构造为具有CPU、RAM、ROM等的计算机，在CPU根据预定程序执行运算处理时实现各种控制功能。附图中所示的图像控制单元11与如上述所实现的控制单元1的多种功能中的一种相对应。

图像控制单元11控制由图像生成单元3执行的图像处理。例如，图像控制单元11指示生成由合成图像生成单元31生成的合成图像所必需的各种参数。此外，图像范围选择单元32根据有关后视镜的打开或关闭状态的信息和针对每一种车辆型号的参数来执行指令以选中由侧摄像机53拍摄的图像的预定范围。

此外，图像处理装置100的主体部分10还包括连接到控制单元1的非易失性存储器40、读卡单元44和信号输入单元41。

非易失性存储器40构造为即使断电也能够保存存储内容的闪速存储器等。在非易失性存储器40中，存储了针对每一种车辆型号的数据4a。针对每一种车辆型号的数据4a可以是依据在合成图像生成单元31生成合成图像时所需的车辆型号的数据、或者是针对每一种车辆型号的如下参数：被附接到左后视镜和右后视镜的侧摄像机53依据后视镜的打开和关闭而改变的位置的数据、以及依据后视镜的打开和关闭而改变的光轴角度的数据，等等。

读卡单元44读取作为便携式记录介质的存储卡MC。读卡单元44包括可移除地安装存储卡MC的卡槽，并且读卡单元44读取安装在卡槽中的存储卡MC上记录的数据。通过读卡单元44读取的数据被输入至控制单元1。

存储卡MC由能够存储各种数据的闪速存储器等构成，图像处理装置100能够使用存储卡MC中存储的各种数据。例如，通过在存储卡MC中存储程序并且从存储卡MC读取该程序，可以对实现控制单元1的功能的程序（固件）进行更新。此外，通过在存储卡MC中存储对应于与非易失性存储器40中所存储的针对每一种车辆型号的数据4a的车辆型号不同的车辆型号的针对每一种车辆型号的数据，并且在非易失性存储器40中读取和存储该数据，可以使图像处理系统120对应于不同种类的车辆型号。

此外，来自车辆中提供的各种装置的信号被输入至信号输入单元41。通过该信号输入单元41，将来自图像处理系统120外部的信号输入至控制单元1。具体来说，将指示各种信息的信号从档位传感器81、车速传感器82、方向指示器83和镜驱动装置84输入到控制单元1。

从档位传感器81输入车辆9的变速器的变速杆的操作位置，即档位“P（驻车）”、“D（前进）”、“N（空档）”和“R（倒车）”。从车速传感器82输入车辆9在当时的行驶速度（km/h）。

从方向指示器83输入基于转向信号开关的操作而指示转向方向的转向信号，即车辆驾驶员想要转向的方向。当操作转向信号开关时，生成转向信号，并且该转向信号指示操作方向（向左或向右）。当转向信号开关处于中间位置时，转向信号关闭。

此外，镜驱动装置84响应于驾驶员的操作而关闭或打开车辆的后视镜。从镜驱动装置84输入后视镜状态（关闭/打开）信号。

<1-2.拍摄单元>

接下来，将详细描述图像处理系统120的拍摄单元5。拍摄单元5电连接至控制单元1，并且基于来自控制单元1的信号工作。

拍摄单元5包括多个车载摄像机，即前摄像机51、后摄像机52和多个侧摄像机53。车载摄像机51、52和53具有诸如CCD或CMOS的图像拾取装置，并且电子地获取图像。

图2是例示了车载摄像机51、52和53的安装位置的视图。在下面的描述中，当描述朝向和方向时，适当地使用附图中所示的三维XYZ正交坐标。XYZ轴相对于车辆9是相对固定的。在此，X轴方向沿着车辆9的左/右方向，Y轴方向沿着车辆9的前/后方向，Z轴方向沿着竖直方向。此外，为了方便起见，假设正X侧是车辆9的右侧，正Y侧是车辆9的后侧，正Z侧是上侧。

前摄像机51设置在车辆9前端处的车牌安装位置附近，其光轴51a指向车辆9的前进方向（如在平面中观察到的Y轴方向的负Y侧）。后摄像机52设置在车辆9后端处的车牌安装位置附近，其光轴52a指向车辆9的前进方向的反方向（如在平面中观察到的Y轴方向的正Y侧）。此外，所述多个侧摄像机53设置在左右后视镜93上，其光轴53a沿着车辆9的左/右方向（如在平面中观察到的X轴方向）指向外侧。另一方面，尽管优选使前摄像机51或后摄像机52的附接位置基本处在车辆中心，但该位置也可以从车辆中心向左右方向稍微移动。

采用鱼眼镜头作为车载摄像机51、52和53的镜头，并且车载摄像机51、52和53具有180度或更大的视角α。因此，通过使用四个车载摄像机51、52和53，能够拍摄车辆9的整个周边的多个图像。

图3是例示了处于将车辆9的左侧摄像机53容纳在壳体内的状态中的侧摄像机单元70的外部构造的视图。因为各个侧摄像机单元70对称构造并且设置在车辆9的左侧和右侧之间，所以将车辆9的左侧（与其右侧相同）作为示例进行详细说明。如附图所示，侧摄像机单元70通过托架79安装在后视镜93的下侧。

侧摄像机53被构造为装备有镜头和图像拾取装置。侧摄像机53安装在壳体中，光轴指向车辆9的外侧。侧摄像机53固定至壳体，使得光轴的方向相对竖直方向具有预定角度（例如，约45度）。

<1-3.图像转换处理>

下面，描述图像生成单元3的合成图像生成单元31基于通过拍摄单元5获得的拍摄图像来生成表示从某一个虚拟观察点观察到的车辆9周边外观的合成图像的技术。在生成合成图像的情况下，使用预先存储在非易失性存储器4a中的针对每一种车辆型号的数据。图4是例示了生成合成图像的技术的视图。

如果在拍摄单元5的前摄像机51、后摄像机52和各个侧摄像机53中同时执行图像拍摄，则获取了显示车辆9的前、后、左和右侧的四幅拍摄图像P1至P4。即，通过拍摄单元5获取的四幅拍摄图像P1至P4包含显示了在拍摄时车辆9的整个周边的信息。

然后，将四幅拍摄图像P1至P4的各个像素投影到虚拟三维（3D）空间中的三维曲面SP2上。该3D曲面SP2（例如）基本上为半球形状（碗形），并且将其中央部分（碗的底部）确定为车辆9存在的位置。预先确定了拍摄图像P1至P4中包括的各个像素的位置与3D曲面SP2的各个像素的位置之间的对应关系。因此，基于拍摄图像P1至P4中包括的各个像素的值能够确定3D曲面SP2的各个像素的值。

另一方面，在拍摄图像P1至P4的过程中，将具有180度或更大的视角α的广角摄像机用作车载摄像机51、52和53。在使用这样的广角摄像机来拍摄图像的情况下，图像的一部分可能被诸如摄像机的遮光罩和滤框之类的障碍物阻挡，导致周边区域中光强度的减弱，从而屏幕上可能出现摄影者不想要的阴影（摄像机图像中具有低亮度的部分）。通常将该阴影现象称为机械渐晕。

图4所示的3D曲面SP 1显示由于在拍摄图像的部分上出现机械渐晕而发生阴影的状态，该阴影是由已在其上投影了拍摄图像P1至P4的3D曲面SP1周围的指定区域中光强度的减弱而引起的。如果将具有该阴影的3D曲面如此显示在导航装置20上，则从预定虚拟观察点观察到的合成图像可能不是基本上为半球形状（碗形）。

由于这一点，使用3D曲面SP2来生成相应于某一个虚拟观察点的合成图像，其中，除了由于3D曲面SP1的机械渐晕而出现光强度减弱的周边区域之外，3D曲面SP2是基本处于半球形状（碗形）的中央区域。例如，如图4所示，在考虑作为3D曲面SP1的边界的虚线部分的情况下，通过除去由于机械渐晕而出现光强度减弱的周边区域来确定了3D曲面SP2。由此，能够形成基本为半球形状（碗形）的物体图像，从而能够提供使用户能够从中掌握以3D方式显示的车辆与障碍物之间的位置关系的图像，就好像用户从上面看到顶面朝下的碗。

已经作为示例描述了在由于机械渐晕而出现光强度减弱的情况下的处理。然而，还能够将该处理应用于除了机械渐晕以外的光强度减弱（例如，由于光学渐晕而出现的光强度减弱）的情况。即，可以检测具有低于参考值的亮度的区域并将该区域从通过车载摄像机51、52和53获得的拍摄图像（摄像机图像）中除去。

此外，拍摄图像P1至P4的各个像素的位置与3D曲面SP的各个像素的位置之间的对应关系取决于四个车载摄像机51、52和53在车辆9上的布置（相互距离、距地面高度、光轴角度等等）。因此，在存储于非易失性存储器40中的针对每一种车辆型号的数据4a中包括了指示该对应关系的列表数据。

此外，使用针对每一种车辆型号的数据4a中包括的指示车体形状或尺寸的多边形数据，并且虚拟构造了显示车辆9的3D形状的多边形模型的车辆图像。将所构造的车辆图像设置在基本上为半球形状的中央部分，该中央部分对应于车辆9在设置了3D曲面SP的3D空间中的位置。

此外，在存在3D曲面SP的3D空间中，通过控制单元1设置了虚拟观察点VP。通过观察点位置和观察方向来定义虚拟观察点VP，并将其设置在与车辆周边相对应并指向3D空间中的某一个观察方向的某一个观察点位置。

然后，根据所设置的虚拟观察点VP，将如上所述的3D曲面SP2上的必要区域裁剪为图像。虚拟观察点VP和3D曲面SP中的所述必要区域之间的关系为预定的并且作为列表数据预先存储在非易失性存储器40中。另一方面，针对被构造为多边形以对应于所设置的虚拟观察点VP的车辆图像进行渲染（rendering），且作为渲染结果的二维（2D）车辆图像重叠在裁剪图像上。由此，生成了显示车辆9的外观以及从某一个虚拟观察点观察到的车辆9的周边的合成图像。

例如，如果在观察点的位置几乎为车辆9位置中央的正上方的位置并且观察方向几乎为车辆9的正下方的情形中设置了虚拟观察点VP1，则生成了显示车辆9的外观（实际上为车辆图像）和从车辆9的几乎正上方观察到的车辆9的周边的合成图像CP1。此外，如附图所示，如果在观察点的位置位于车辆9的位置的左后方并且观察方向几乎位于车辆9的前方的情形中设置了虚拟观察点VP2，则生成了显示车辆9的外观（实际上为车辆图像）和从车辆9的左后方观察到的车辆9的整个周边的合成图像CP2。

另一方面，在实际生成合成图像的情况下，不必确定3D曲面SP2的全部像素的值，而是基于拍摄图像P1至P4来仅确定与所设置的虚拟观察点VP相应的必要区域的像素的值，从而能够提高处理速度。

<1-4.操作模式>

接下来，将描述图像处理系统120的操作模式。图5是例示了图像处理系统120的操作模式变换的示图。图像处理系统120具有四种操作模式，包括导航模式M0、周围确认模式M1、前方模式M2和后方模式M3。根据驾驶员的操作或车辆9的行驶状态在控制单元1的控制下切换这些操作模式。

导航模式M0是通过导航装置20的功能在显示器21上显示用于导航引导等的地图图像的操作模式。在导航模式M0中，不使用图像处理装置100的功能，而是通过导航装置20自身的功能来执行各种显示。因此，在导航装置20具有接收和显示电视广播的无线电波的功能的情况下，可以显示电视广播屏幕而不显示用于导航引导的地图图像。

相比之下，周围确认模式M1、前方模式M2和后方模式M3是通过使用图像处理装置100的功能来在显示器21上显示实时地示出了车辆9的周边情况的显示图像的操作模式。

周围确认模式M1是执行示出了在向下观察车辆9的情况下围绕车辆9盘旋的动画演示的操作模式。前方模式M2是显示主要示出了在车辆9前进期间必要的车辆9的前方或侧面的显示图像的操作模式。另外，后方模式M3是显示主要示出了在车辆9倒车期间必要的车辆9的后方的显示图像的操作模式。

如果图像处理系统120启动，则初始设置周围确认模式M1。在周围确认模式M1的情况下，如果在执行示出了围绕车辆9盘旋的动画演示之后经过了预定时间（例如，6秒），则模式自动切换至前方模式M2。此外，在前方模式M2的情况下，如果在0km/h的状态（停车状态）下选择开关43被持续按下了预定时间，则模式切换至周围确认模式M1。另一方面，通过来自驾驶员的预定指令可将模式从周围确认模式M1切换至前方模式M2。

此外，在前方模式M2的情况下，例如，如果行驶速度变为10km/h或更快，则模式切换至导航模式M0。相反，在导航模式M0的情况下，例如，如果从车速传感器82输入的行驶速度变为小于10km/h，则模式切换至前方模式M2。

在车辆9的行驶速度比较高的情况下，则释放前方模式M2，以使驾驶员集中注意力驾驶。相反，在车辆9的行驶速度比较低的情况下，驾驶员在驾驶时可以更多地考虑车辆9的周围情况，具体地说，驶进视野差的十字路口、改变方向或者驶向路边。因此，在行驶速度比较低的情况下，模式从导航模式M0切换至前方模式M2。另一方面，对于模式从导航模式M0切换至前方模式M2的情况，可以将有来自驾驶员的明确操作指令的条件添加到行驶速度小于10km/h的条件。

此外，在导航模式M0的情况下，如果在例如0km/h的状态（停车状态）下持续按下选择开关43达预定时间，则模式切换至周围确认模式M1。此外，如果在执行示出了围绕车辆9盘旋的动画演示之后经过了预定时间（例如，6秒），则模式自动切换至前方模式M2。

此外，在导航模式M0或前方模式M2的情况下，如果从档位传感器81输入的变速杆的位置为“R（倒车）”，则模式切换至后方模式M3。即，如果将车辆9的变速器操作到“R（倒车）”的位置，则车辆9后退，从而模式切换至主要显示车辆9后方的后方模式M3。

另一方面，在后方模式M3的情况下，如果变速杆的位置是除了“R（倒车）”以外的任何其它位置，则基于当时的行驶速度将模式切换至导航模式M0或前方模式M2。即，如果行驶速度为10km/h或更快，则模式切换至导航模式M0，而如果行驶速度小于10km/h，则模式切换至前方模式M2。

在下文中，将详细描述周围确认模式M1、前方模式M2和后方模式M3中车辆9周边的显示模式。

<1-5.周围确认模式>

首先，描述周围确认模式M1中车辆9周边的显示模式。在周围确认模式M1中，如图6所示，将虚拟观察点VP设置为向下观察车辆9，并且虚拟观察点VP连续移动以围绕车辆9盘旋。虚拟观察点VP初始设置至车辆9的后方，然后围绕车辆9顺时针盘旋。由此，如果虚拟观察点VP通过车辆9的左侧、前方和右侧向上移动至车辆的后方，则其向上移动至车辆9的正上方。

在已经如上所述移动了虚拟观察点VP的状态下，连续生成合成图像。所生成的合成图像顺序输出至导航装置20并且连续显示在显示器21上。

因此，如图7所示，执行示出了在向下观察车辆9的情况下围绕车辆9盘旋的动画演示。在图7的示例中，以ST1到ST6的次序顺序且连续地显示各合成图像RP。每一幅合成图像RP都是一幅基于除了由于3D曲面SP1的机械渐晕而出现光强度减弱的周边区域之外的基本上为半球形状的3D曲面SP2生成的合成图像，并以3D显示每一幅合成图像RP就好像用户从上面看碗一样。由此，根据该图像用户能够容易掌握车辆与障碍物之间的位置关系。此外，将车辆9布置在图像的中央附近，并且能够与车辆9一起确认车辆9的周边模式。

此外，在图7中，基于从拍摄单元5的车载摄像机51、52和53输入的图像由合成图像生成单元31生成从车辆9的后方向下观察车辆9的合成图像ST1（ST5）、从车辆9的左侧向下观察车辆9的合成图像ST2、从车辆9的前方向下观察车辆9的合成图像ST3、从车辆9的右侧向下观察车辆9的合成图像ST4、以及从车辆9的几乎中央的正上方（正对上方）向下观察车辆9的合成图像ST6。合成图像ST1到ST5与根据本发明的第一俯瞰视图相对应，合成图像ST6与根据本发明的第二俯瞰视图相对应。

然后，如图7所示，例如，通过在导航装置20上例如以ST1→ST2→ST3→ST4→ST5→ST6的顺序连续显示示出了在用户向下观察车辆的情况下围绕车辆9盘旋的图像，能够在一个屏幕上直观地掌握车辆与障碍物之间的位置关系。

此外，通过显示示出了围绕车辆盘旋的合成图像和从车辆的几乎中央的正上方（正对上方）观察到的合成图像，同时连续移动虚拟观察点的位置，用户能够在一个屏幕上直观地掌握车辆与障碍物之间的位置关系。此外，从车辆周围和车辆的几乎中央的正上方（正对上方）的观察点能够确认车辆周围的安全。

此外，即使是障碍物出现在车辆周边的图像中的信息被用户忽视，也能够通过在围绕车辆的图像之后连续显示的车辆上方的图像来再次进行安全确认。

此外，用户不必一次确认车辆的整个周边周围的宽范围，而是通过借助围绕车辆的有限范围的图像来连续显示从车辆的几乎中央的正上方（正对上方）观察到的宽范围中的整个车辆的多幅图像，以使用户能够在一个屏幕上更准确地执行车辆周围的安全确认。

此外，通过生成从以车辆的位置为中心依次围绕车辆移动的虚拟观察点观察到的合成图像，用户能够在一个屏幕上直观地确认车辆的整个周边的障碍物。

另一方面，在此所示的合成图像是示例性的，并且用户能够随意地改变设置，诸如合成图像的向下观察车辆的高度和方向、合成图像的连续显示的暂时停止、连续显示的旋转速度的调整、连续显示的反转，等等。

此外，能够根据用户通过对连续显示的暂时停止的操作通过选择显示单元的屏幕的某一部分来将所选择部分进行放大显示。此外，在本发明的实施例中，已经描述了在连续显示示出了车辆周边的合成图像后连续显示从车辆的几乎中央的正上方（正对上方）观察到的合成图像的情况。然而，合成图像的连续显示不限于该顺序，而在从车辆的几乎中央的正上方（正对上方）观察到的合成图像之后可以连续显示围绕车辆的合成图像。此外，根据本发明的实施例，已经描述了从车辆后方的虚拟观察点的位置开始围绕车辆盘旋一次。然而，用于图像变换的开始位置没有特别的限定，而可以将任意位置设置为开始位置。此外，围绕车辆盘旋的次数不限于一次，而可以是任意次数，诸如两次或更多次，或者是半次。

此外，根据本发明的实施例，通过将由图像处理装置100或导航装置20对来自车辆电源控制装置的ACC-On信号进行接收来作为对车辆周围进行确认处理的开始条件，用户能够在图像处理装置启动时确认车辆的周边。通常，因为图像处理装置在车辆行驶之前响应于ACC-On而启动，所以用户能够在车辆行驶之前确认车辆的周边。用于车辆周围确认处理的开始条件可以不仅是ACC-On信号的接收，还可以是将选择开关43持续按下一段预定时间（例如，3秒）。由此，用户能够在其想要自动确认车辆周边的任何时候来对车辆的周边进行确认。

此外，即使是在连续显示合成图像的时候也可以通过按下在导航装置20上提供的完成按钮（没有示出）来结束对合成图像的连续显示，或者车辆周围确认处理可以不会由于按下诸如ACC-On或选择开关43之类的设置按钮（没有示出）一段预定时间而启动。

通过视觉识别周围确认模式M1中的动画演示，用户能够从车辆9前方中的观察点确认车辆9整个周边的情况，并且直观地掌握车辆整个周边上的障碍物与车辆9之间的位置关系。

<1-6.前方模式>

下面描述在前方模式M2中车辆9的周边的显示模式。图8是例示了前方模式M2中的显示模式的变换的视图。前方模式M2包括四种显示模式，即行驶向下观察模式M21、车辆确认模式M22、侧摄像机模式M23和导航模式M24，这些显示模式具有不同的显示类型。在显示模式M21、M22和M23的屏幕上，对指示出各个显示模式中的视野范围的视野引导90进行显示，并且该视野引导90指示了针对用户显示的是车辆9周边的哪个区域。此外，在导航模式M24中，显示车辆9周围的地图图像，还执行车辆9当前位置的显示。

无论何时用户按下选择开关43，行驶向下观察模式M21、车辆确认模式M22、侧摄像机模式M23和导航模式M24都在控制单元1的控制下依次切换。如果在导航模式M24中按下选择开关43，则模式又返回行驶向下观察模式M21。

行驶向下观察模式M21是用于在显示器21上并排显示包含示出了从车辆9正上方的虚拟观察点VP观察到的车辆9的外观的合成图像FP 1和由前方摄像机51进行拍摄而获得的前方图像FP2的屏幕的显示模式。即，在行驶向下观察模式M21中，在同一屏幕上显示两幅图像：示出了车辆9整个周边的合成图像FP 1和示出了车辆9前方的前方图像FP2。

在行驶向下观察模式M21中，由于能够读取两个图像FP 1和FP2，所以用户能够一眼确认作为车辆9行驶方向的前方的情况以及车辆9的整个周边。行驶向下观察模式M21可以是能够在前进行驶期间的各种场景中高度通用的显示模式。

此外，车辆确认模式M22是用于在显示器21上并排显示包含通过前摄像机51进行拍摄而获得的前方图像FP3和示出了从车辆9后方的虚拟观察点VP观察到的车辆9的外观的合成图像FP4的屏幕的显示模式。即，在车辆确认模式M22中，在同一屏幕上显示两个图像：示出了车辆9前方的前方图像FP3和示出了车辆9侧面的合成图像FP4。

与行驶向下观察模式M21中的前方图像FP2相比，车辆确认模式M22中的前方图像FP3在左右方向上具有较宽的观察范围。因此，当车辆进入视野差的十字路口时，能够确认处于容易成为盲区的车辆9前端的前方以及左右方向上的物体。

此外，根据车辆确认模式M22中的合成图像FP4，因为与行驶向下观察模式M21中的合成图像FP 1相比，虚拟观察点VP的位置移动至车辆9的后方，所以显示车辆9后方的区域变窄，但容易确认车辆9的侧面。因此，当迎面驶来的车辆彼此经过时，能够容易确认与迎面驶来的车辆之间的间隙。

因为在车辆确认模式M22中能够读取两幅图像FP3和FP4，所以用户能够在需要谨慎驾驶的情况下（例如在车辆进入视野差的十字路口或者迎面驶来的车辆彼此经过的情况下）一眼确认要确认区域的状况。

此外，侧摄像机模式M23是用于在显示器21上并排显示包含通过左侧和右侧摄像机53进行拍摄而获得的侧面图像FP5和FP6的屏幕的显示模式。侧面图像FP5和FP6仅示出了从驾驶员座位观察容易成为盲区的前挡板94的外侧。

因为在侧摄像机模式M23中能够读取两幅图像FP5和FP6，所以用户在向路边移动的情况下能够容易确认要确认区域的状况。

导航模式M24是用于在显示器21上显示用于通过导航装置20的功能实现的导航引导的地图图像的操作模式。在导航模式M24中，未使用图像处理装置100的功能，而是通过导航装置20自身的功能来执行各种显示。因此，在导航装置20具有接收和显示电视广播的无线电波的功能的情况下，可以显示电视广播屏幕而不显示用于导航引导的地图图像。

<1-7.后方模式>

下面描述后方模式M3中车辆9周边的显示模式。图9是例示了后方模式M3中的显示模式变换的视图。后方模式M3包括三种显示模式：停车向下观察模式M31、前后视镜模式M32和后后视镜模式M33，这些显示模式具有不同的显示类型。在这些显示模式的屏幕上，对指示出各个显示模式中的视野范围的视野引导90进行显示，并且该视野引导90指示了针对用户显示车辆9周边的哪个区域。

根据从镜驱动装置84输入的后视镜93的状态，在控制单元1的控制下从停车向下观察模式M31切换到前后视镜模式M32和后后视镜模式M33的显示模式。具体地说，如果将变速杆的位置操作至“R（倒车）”，则将模式切换至停车向下观察模式M31。在停车向下观察模式M31中，后视镜93打开以处在通常状态下，并且在车辆9的车速小于10km/h的情况下，如果用户按下选择开关43，则模式切换至前后视镜模式M32。

在前后视镜模式M32中，由图像生成单元3的图像范围选择单元32来选择图像范围，该图像范围包含由在后视镜93上提供的各个侧摄像机53拍摄的图像的车辆9的前挡板外侧。此外，图像信息输出单元33通过导航通信单元42将图像信息输出，并且在导航装置20上显示该图像信息。由此，用户在向路边移动的情况下能够容易确认要确认区域的状况。

此外，在停车向下观察模式M31中，在后视镜93关闭和车辆9的车速小于10km/h的情况下，如果用户按下选择开关43，则模式切换至后后视镜模式M33。

在后后视镜模式M33中，选择由在后视镜93上提供的各个侧摄像机53拍摄的图像的图像范围，该图像范围与处在打开状态下的后视镜中所反映的范围几乎相同。具体地说，选择示出了车辆的侧面区域后方的图像范围。由此，即使在车辆经过狭窄地方时处在后视镜关闭的状态下，用户也能够确认与在后视镜打开的情况下的范围几乎相同的范围中的图像（物体的外观）。

此外，停车向下观察模式M31是用于在显示器21上并排显示包含合成图像BP1和后方图像BP2的屏幕的显示模式，其中合成图像BP1示出了从车辆9正上方的虚拟观察点VP观察到的车辆9的外观，后方图像BP2是通过后摄像机52进行拍摄而得到的。即，在停车向下观察模式M31中，在同一屏幕上显示两幅图像：示出了车辆9的整个周边的合成图像BP 1和示出了车辆9的后方的后方图像BP2。

此外，在停车向下观察模式M31中，因为能够读取两幅图像BP1和BP2，所以用户能够一眼确认作为车辆9的行驶方向的后方的情况以及车辆9的整个周边。停车向下观察模式M31可以是能够在车辆9倒车期间的各种场景中高度通用的显示模式。

另一方面，除了停车向下观察模式M31之外，还可以提供在车辆9执行平行停车时显示了从车辆后方的预定虚拟观察点观察到的合成图像的纵列引导模式，以及诸如在示出了车辆9的后方的后方图像BP2上显示停车指引线路的后方引导模式之类的其它模式，并且根据后视镜的打开/关闭状态，可以执行从上述模式中的任何一个到前后视镜模式M32或后后视镜模式M33的转换。

此外，前后视镜模式M32是用于在显示器21上并排显示包含通过左侧和右侧摄像机53进行拍摄而获得的侧面图像FP5和FP6的屏幕的显示模式。因为在前后视镜模式M32中的一个屏幕上能够读取两幅图像FP5和FP6，所以用户能够在用户倒车的情况下确认包含具有一些碰撞危险的左右前挡板的外侧的图像。

此外，后后视镜模式M33是用于在显示器21上并排显示包含通过左侧和右侧摄像机53进行拍摄而获得的侧面图像BP3和BP4的屏幕的显示模式。因为在后后视镜模式M33中的一个屏幕上能够读取两幅图像BP3和BP4，所以当在同一个屏幕上确认车辆9的后方的左右侧时可以进行倒车。

如图10所示，在各个后视镜93上提供各个侧摄像机53，如果各个后视镜93处于关闭状态，则光轴53a的方向指向车辆9的后方。在这种状态下，无法通过各个侧摄像机53获得示出了车辆9整个侧面的图像，并且难以生成从某一个虚拟观察点观察到的合成图像。然而，由于光轴53a移向车辆9的后方，所以能够获得针对车辆9侧面区域的后方的具有比较低的失真的拍摄图像。在后后视镜模式M33中，使用通过各个侧摄像机53获得的拍摄图像来生成并显示示出了车辆9侧面区域后方的两幅图像BP3和BP4。

由于在后后视镜模式M33中能够读取两幅图像BP3和BP4，所以即使在由于停车环境而应该关闭后视镜的状态下用户也能够确认与后视镜93中所反映的范围几乎相同的范围。

<2.操作>

<2-1.周围确认模式中的操作>

下面，参照图11来描述通过周围确认模式中的图像处理系统的控制单元进行的处理流程。如果图像处理装置100的控制单元1通过信号输入单元41从车辆电源控制装置（没有示出）接收到ACC-On信号（步骤S 101中的“是”），则控制单元1启动通过导航通信单元42与导航装置20的初始通信（步骤S 102）。在此，初始通信表示确认图像处理装置100的控制单元1与导航装置20之间的通信是否可能的过程。如果控制单元1没有从车辆电源控制装置接收到ACC-On信号（步骤S 101中的“否”），则处理结束。

如果控制单元1与导航装置20之间的初始通信正常完成（步骤S103中的“是”），则控制单元1从非易失性存储器40读取用于车辆周围确认处理的数据（步骤S104）。车辆周围确认处理数据的示例包括车辆的位图数据和观察点的移动数据（每一次的观察点位置或观察点的方向数据）。

如果初始通信没有正常完成（步骤S103中的“否”），则控制单元1再次执行与导航装置20的通信，如果即使尝试通信不止一次也不能进行通信，则处理结束。在初始通信没有正常完成的情况下，控制单元1可能由于故障而不会正常工作。在此情况下，可以在导航装置20上显示用于对车辆周边的图像进行显示的系统已出故障的警告。

在从非易失性存储器40读取用于车辆周围确认处理的数据之后，控制单元1的图像生成单元3基于所读取的数据生成车辆周边的各合成图像（步骤S105）。在生成各合成图像的过程中，使用3D曲面SP2来执行生成对应于某一个虚拟观察点的合成图像的过程，该3D曲面SP2是如图4例示的除了由于机械渐晕而出现光强度减弱的3D曲面SP1的周边区域之外的基本为半球形状（碗形）的区域。然后，将所生成的合成图像数据传输到导航装置20（步骤S106）。

当分阶段改变虚拟观察点的位置的时候（步骤S107a），图像生成单元3生成各合成图像（步骤S105）。然后，控制单元1以使得各合成图像具有连续性的方式将数据传输到导航装置20。由此，连续改变虚拟观察点的位置，并且能够在导航装置20上通过连续显示的方式来显示在向下观察车辆9的状态下围绕车辆9盘旋的图像。

如果到导航装置20的合成图像的传输已经完成（步骤S107中的“是”），则通过与车辆周边的合成图像相同的处理来生成从车辆9的几乎中央的正上方（正对上方）观察到的各合成图像（步骤S108），并且将所生成的从车辆9的几乎中央的正上方（正对上方）观察的合成图像传输到导航装置20（步骤S109）。由此，在显示装置上显示在向下观察车辆的状态下看起来像是围绕车辆盘旋的各合成图像，并且用户能够通过从用户在车辆前方的观察点来确认车辆的整个周边的方式而在一个屏幕上直观地掌握车辆与障碍物之间的位置关系。

<2-2.后方模式中的操作>

下面描述根据如上所述的后视镜93的打开/关闭状态来选择拍摄图像范围以及输出图像信息的处理流程。图12是示出了后方模式中的图像处理系统的控制单元的处理流程的示图。首先，为了确定图像处理系统的模式是否为后方模式，要确定变速杆的操作位置是否处于档位“R（倒车）”（步骤S201）。

如果将变速杆的操作位置置于“R（倒车）”（步骤S201中的“是”），则后方模式M3的控制单元1将用于在停车向下观察模式M31中生成图像并向导航装置20输出图像信息的指令信号传输到图像生成单元3（步骤S202）。另一方面，如果没有将变速杆的操作位置置于档位“R（倒车）”（步骤S201中的“否”），则处理结束。

然后，如果用户在将停车向下观察模式M31的图像显示在导航装置20上的情况下按下选择开关43（步骤S203中的“是”），则控制单元1确定车辆9的车速是否小于10km/h（步骤S204）。另一方面，如果用户没有按下选择开关43（步骤S203中的“否”），则控制单元1继续进行在导航装置20上显示停车向下观察模式M31的处理（步骤S209）。

在步骤S204中，如果车速小于10km/h（步骤S204中的“是”），则控制单元1确定车辆9的后视镜93是否打开（步骤S205）。

在步骤S205中，如果后视镜93打开（步骤S205中的“是”），则控制单元1将用于执行前后视镜模式M32的处理的指令信号传输到图像生成单元3（步骤S206），并且进行下一步处理。具体地说，控制单元1选择包含使用各个侧摄像机53拍摄的图像的前挡板外侧的图像范围，并且将用于输出所选择范围的图像信息的指令信号传输到图像生成单元3。由此，用户能够在向路边移动等情况下容易确认要确认区域的状况。

另一方面，如果车辆9的车速不小于10km/h（步骤S204中的“否”），则控制单元1继续进行在导航装置20上显示停车向下观察模式M31的处理（步骤S209）。

此外，如果后视镜93关闭（步骤S205中的“否”），则控制单元1将用于执行后后视镜模式M33的处理的指令信号传输到图像生成单元3（步骤S207），并且进行下一步处理。控制单元1将用于选择使用各个侧摄像机拍摄的图像中与在处于打开状态中的后视镜中所反映的范围几乎相同的图像范围的指令信号以及用于输出所选择范围的图像信息的指令信号传输到图像生成单元3。具体地说，控制单元1将用于选择示出了车辆的侧面区域的后方的图像范围的指令信号以及用于输出所选择范围的图像信息的指令信号传输到图像生成单元3。由此，即使在车辆经过狭窄地方期间处在后视镜关闭的状态下，用户也能够确认与在后视镜打开的情况下的范围几乎相同的范围中的图像（物体的外观）。

然后，如果用户没有按下选择开关43（步骤S208中的“否”），则控制单元1返回步骤S205中的处理，并且传输用于指示图像生成单元3选择与前后视镜模式M32和后后视镜模式M33中的任一相对应的图像以及根据各后视镜93的打开/关闭状态来输出图像信息的信号。

另一方面，如果用户按下选择开关43（步骤S208中的“是”），则以与步骤S202中描述的处理相同的方式，控制单元1生成停车向下观察模式M31的图像，并且将用于向导航装置20输出图像信息的指令信号传输到图像生成单元3（步骤S209）。

在上述处理中，控制单元1在步骤S203中确定是否按下选择开关之后在步骤S204中确定车辆9的车速是否小于10km/h。相反，控制单元1可以先确定车辆9的车速是否小于10km/h，然后再确定是否按下选择开关。

此外，在本发明的实施例中，例示了在图像处理系统120的模式为后方模式的情况下，即，在车辆9后退的情况下，根据各后视镜93的打开/关闭状态来显示前后视镜模式M32和后后视镜模式M33中的任一个。然而，也可以在图像处理系统120的模式为前方模式的情况下，即，在车辆9前进的情况下，根据各后视镜93的打开/关闭状态来显示前后视镜模式M32和后后视镜模式M33中的任一个。

<3变型示例>

虽然已经描述了本发明的实施例，但是本发明不限于所描述的实施例，并且可以做出各种变型。在下文中，将描述这样的变型示例。包括上述实施例中描述的形式以及下文将要描述的形式的全部形式可以适当地组合。

在上述实施例中，将图像处理装置100和导航装置20描述为不同的装置。然而，图像处理装置100和导航装置20可以构造为布置在同一个壳体中的集成装置。

此外，在上述实施例中，显示通过图像处理装置100生成的图像的显示装置是导航装置20。然而，该显示装置可以是不具有诸如导航功能之类的特殊功能的一般显示装置。

此外，在上述实施例中，由图像处理装置100的控制单元1实现的功能的一部分可以由导航装置20的控制单元23实现。

此外，在上述实施例中，通过信号输入单元41输入到图像处理装置100的控制单元1的信号的一部分或全部可以输入到导航装置20。在这种情况下，优选通过导航通信单元42将信号输入到图像处理装置100的控制单元1。

此外，在上述实施例中，从方向指示器83输入车辆9的驾驶员想要的方向指示。然而，也可以通过另一种手段输入方向指示。例如，可以从驾驶员眼睛的图像中检测驾驶员观察点的移动，并且根据该检测结果来输入驾驶员想要的方向指示。

此外，在上述实施例中，根据程序通过CPU的运算操作由软件实现各种功能。然而，也可以通过电子硬件电路来实现这些功能的一部分。相对地，通过硬件电路实现的功能的一部分也可以通过软件实现。

本发明要求2009年12月24日向日本专利局提交的日本专利申请第2009-291878号的优先权，其内容通过引用并入本文。

Claims

1.一种图像处理装置，其被构造为安装于车辆中，所述图像处理装置包括：

图像获取器，其被构造为获取由设置在所述车辆上的多个摄像机拍摄的多个摄像机图像；

2.根据权利要求1所述的图像处理装置，

其中，所述多个合成图像包括从所述车辆的正上方观察到的所述车辆及其周边的第二向下视图；并且

其中，在再现所述多个第一向下视图时至少再现一次所述第二向下视图来作为所述显示图像。

3.根据权利要求1所述的图像处理装置，其中，所述多个第一向下视图中的每一个都在其中央处示出所述车辆。

4.根据权利要求2所述的图像处理装置，其中，所述多个第一向下视图中的每一个都在其中央处示出所述车辆。

5.根据权利要求1到4中任意一项所述的图像处理装置，其中，所述合成图像生成器被构造为在所述图像处理装置启动时生成所述多个合成图像。

6.根据权利要求1到4中任意一项所述的图像处理装置，其中，所述合成图像生成器被构造为在生成所述多个合成图像时消除具有低于参考值的亮度的一部分摄像机图像。

7.一种图像处理系统，其包括：

多个摄像机，其被构造为设置在车辆上；以及

8.一种图像处理方法，其包括：

获取由设置在车辆上的多个摄像机拍摄的多个摄像机图像；

将与显示图像相对应的信息输出到安装在所述车辆中的显示装置，其中在所述显示图像中连续再现所述多个合成图像。