CN1373720A

CN1373720A - 驾驶提醒装置

Info

Publication number: CN1373720A
Application number: CN00812866A
Authority: CN
Inventors: 石井浩史; 森村淳; 中川雅通; 冈本修作
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 1999-09-20
Filing date: 2000-09-20
Publication date: 2002-10-09
Anticipated expiration: 2020-09-20
Also published as: EP1223083B1; JP4091775B2; KR20020033817A; US6993159B1; DE60009114D1; EP1223083A4; WO2001021446A1; KR100466458B1; EP1223083A1; DE60009114T2; CN1160210C; JP3300340B2; JP2002335524A

Abstract

一种提供驾驶员可以可靠地确认移动体周围的状况的驾驶提醒装置。在该移动体上设置了多个拍摄移动体后方的摄像单元。该多个摄像单元具有摄像区域重叠的区域(OL),在该重叠区域(OL)中,包含消失点(VP)附近。检测单元在重叠区域(OL)中求一个摄像单元与其他摄像单元的立体视差(VD),根据该立体视差(VD)计算到对象物的距离。

Description

驾驶提醒装置

技术领域

本发明涉及在驾驶车辆等移动体时用摄像机拍摄该移动体周围的状况、通过对该拍摄图像进行处理而提醒驾驶的驾驶提醒装置。

背景技术

关于现有的使用摄像机的驾驶提醒装置，对于障碍物或接近车辆的检测，已登载在例如日本特许公开公报、特开平9-240397号公报和特开平7-93693号公报中。

在特开平9-240397号公报(以下，称为「第1现有例」)中，公开了后侧方车辆的报告装置。该装置根据自己车辆的后侧方区域的拍摄图像检测在相邻车线内存在的移动物体，另一方面，检测在该移动物体的检测中有无白线，通过将这些检测结果综合来检测其他车辆。并且，判断其他车辆与自己车辆的接近状态，在接近度有可能过大时，就报告驾驶员。

另外，在特开平7-93693号公报(以下，称为「第2现有例」)中，公开了车辆用物体检测装置。该装置是可以正确地识别道路的文字及图案与车辆等的物体的不同从而可以高精度地检测该物体的车辆用物体检测装置，其结构的特征在于，利用表观移动速度测量单元以宛如路面上的3维的活动来测量图像中的物体的边缘点的活动，在物体判断单元中将该测量的活动量和车速进行比较，进行物体的辨别。解决课题

但是，现有的技术存在以下的问题。

首先，在第2现有例中，通过拍摄图像的活动分析检测障碍物的方法是通常称为运动立体声的方法，通过分析与由移动所决定的视点的变化对应的图像的变化来得到拍摄图像内的3维信息。但是，该方法对于移动方向的图像，有与视点的变化对应的图像的变化小的缺点，例如，应用于车辆时，越是行进方向的前方和后方的正面，检测的灵敏度越低。

另外，活动分析的方法，是寻求画面上的对象物的活动，所以，在摄像装置设置在车辆上时，由于车辆本身的振动引起画面的摇动，从而将不能正确地找出该活动。

此外，在检测到接近物后，如何将该信息传达给驾驶员就是重要的问题。通过警报声音等传达时，驾驶员将会由于警报声音而受到惊吓反而进行误操作。这样，如何将接近物的状态传达给驾驶员就是重要的问题。对于向驾驶员的报警，在第1现有例中没有提及在接近过大时报告驾驶员的问题。另外，在第2现有例中没有提及将检测的障碍物向驾驶员报告的方法。

发明内容

本发明考虑了这种现有的驾驶提醒装置或移动体图像显示系统存在的问题，目的旨在提供以及可以直接确认接近物或障碍物的周围状况从而可以减轻驾驶员的负担的驾驶提醒装置。

具体而言，本发明作为提醒移动体的驾驶的装置，具有设置在该移动体上的拍摄移动体后方的多个摄像单元和根据所述多个摄像单元的拍摄图像检测移动体后方的物体的活动的检测单元，所述多个摄像单元在其拍摄图像上包含消失点附近并且具有一个摄像单元与其他摄像单元的拍摄区域重叠的区域，所述检测单元在所述重叠区域中求出所述一个摄像单元与所述其他摄像单元的立体视差，并根据求出的立体视差计算到该物体的距离。

并且，所述本发明的驾驶提醒装置具有的检测单元对于上述一个摄像单元的上述重叠区域以外的摄像区域间表示图像随时间的移动的图像流，并根据检测的图像流来检测移动体后方的物体的移动。

另外，上述本发明的驾驶提醒装置具有使用所述多个摄像单元的拍摄图像进行图像合成从而生成表示移动体后方的图像的图像合成单元。

另外，上述本发明的驾驶提醒装置具有接收从所述检测单元输出的信息而判断移动体后方的接近物与该移动体碰撞的可能性，并在判定可能性高时就输出指示信号的危险度判断单元和在从上述危险度判断单元输出指示信号时，向移动体后方发出警报的车外警报单元。或者，具有接收从所述检测单元输出的信息而判断移动体后方的接近物与该移动体碰撞的可能性，并在判定该可能性高时就输出指示信号的危险度判断单元和在从上述危险度判断单元输出指示信号时采取保护该移动体的乘客的措施的乘客保护单元。

另外，本发明作为提醒移动体的驾驶的装置，具有设置在该移动体上的拍摄移动体的周围的摄像单元、将所述摄像单元的拍摄图像变换为位于与所述摄像单元的位置不同的位置的视点的图像的图像生成单元和对于摄入上述拍摄图像的物体检测到该移动体的距离的检测单元，所述图像生成单元在生成上述变换图像时对上述物体使用由所述检测单元检测的距离修正该图像的畸变。

并且，在上述本发明的驾驶提醒装置中，设置了多个所述摄像单元，上述多个摄像单元在其拍摄图像上具有一个摄像单元和其他摄像单元的摄像区域重叠的区域，上述检测单元在上述重叠区域中求出上述一个摄像单元与上述其他摄像单元的立体视差，并根据求出的立体视差计算到该移动体的距离。

另外，上述本发明的驾驶提醒装置的检测单元根据表示上述拍摄图像随时间的移动的图像流计算到该移动体的距离。

另外，本发明作为提醒移动体的驾驶的装置，具有设置在该移动体上的拍摄移动体周围的摄像单元和根据上述摄像单元的拍摄图像求出表示随时间的移动的图像流并根据该图像流检测移动体周围的物体的移动的检测单元，上述检测单元作为检测物体的移动的前处理，根据求出的各图像流计算偏移的推断值，并将该偏移推断值作为该移动体的振动引起的摇动成分从各图像流中扣除。

附图说明

图1是表示本发明实施例1的驾驶提醒装置的结构的框图。

图2(a)是拍摄图像的一例，图2(b)是在图2(a)的图像上表示图像流的图。

图3是从上方看拍摄图2的图像时的状态的概念图。

图4(a)是表示消失点与图像流的关系的图，图4(b)是在图2的图像上抽出摇动物区域的图。

图5是表示摇动成分抽出的处理的流程的流程图。

图6(a)、图6(b)是表示车辆的上下方向的振动对摄像单元的影响的图。

图7(a)～(g)是用于说明求移动矢量的偏移推断值的图。

图8是表示移动物·检测物检测的处理的流程的流程图。

图9(a)、图9(b)是用于说明判断是否摇动物的方法的图。

图10(a)、图10(b)是表示使用移动矢量的移动物区域的抽出的图。

图11(a)是表示拍摄范围的缺省距离值的图，图11(b)是表示移动物区域跨越区域AR1、AR2时的距离推断的图。

图12(a)是表示静止背景的移动矢量的图像，图12(b)用于说明障碍物的判断方法的图。

图13是表示显示图像的一例的图。

图14是表示本发明实施例2的驾驶提醒装置的结构的框图。

图15是表示本发明实施例2的摄像单元的配置的一例的模式图。

图16(a)、图16(b)是对各拍摄图像表示图像流的图，图16(c)是将图16(a)、图16(b)所示的2个图像相互重合求立体视差的图。

图17是抽出障碍物、移动物和接近物的图的例子。

图18(a)、图18(b)是表示用于得到移动物立体显示的合成图像的假想视点的图。

图19(a)是实际的拍摄图像的例子，图19(b)是根据图19(a)生成的合成图像。

图20(a)、图20(b)是用于说明考虑检测的距离的图像合成的图。

图21(a)、图21(b)是考虑了检测的距离的图像合成，是用于说明使用2台摄像单元时的图。

图22(a)、图22(b)是表示本发明实施例2的变形例的摄像单元的配置的一例的图。

图23(a)、图23(b)、图23(c)是用于说明本发明实施例2的变形例的立体视差的求法的图。

图24是表示本发明实施例3的驾驶提醒装置的结构的框图。

实施发明的最佳方式

下面，参照附图说明本发明的实施例。

实施例1

图1是表示本发明实施例1的驾驶提醒装置(移动体图像显示系统)的结构的框图。在图1中，101是设置在移动体上的摄像单元、102是层次图像化单元、103是LPF(低通滤波器)、104是字块采样单元、105是层次的字块匹配单元、106是子像素推断·可靠性判断单元、107是摇动成分抽出·消除单元、108是消失点计算单元、109是移动物·接近物检测单元、110是图像合成单元、111是显示装置。由结构要素102～109构成检测单元。

摄像单元101是例如摄像机，为了可以拍摄车辆后方，设置在车辆后部例如后面板上。作为显示装置111，使用例如本系统专用的显示器或汽车导向系统用的液晶监视器等。

本实施例的移动体图像显示系统的目的，主要是在驾驶员变更行进路线时用以使驾驶员容易直接知道成为危险的后方的接近物而进行警告和显示，从而减轻驾驶员的负担。下面，参照图2～图13说明本实施例的移动体图像显示系统的动作。

首先，如图2(a)所示，由摄像单元101拍摄自己车辆的后方的图像(这里，定为320像素×240像素)。在该拍摄图像中，包含大楼11、街道两旁的树木12等障碍物和在后方行进的其他车辆13、14等移动物。在图2中，模式地表现出了这些障碍物和移动物。该拍摄图像输入层次图像化单元102和图像合成单元110。

层次图像化单元102对于输入的拍摄图像通过对各(2×2)像素相加运算，生成1维高位图像(160×120像素)。此外，对于该1维高位图像进行同样的处理，生成2维高位图像(80×60像素)。并且，将这3种图像作为层次图像向LPF103输出。LPF103对输入的层次图像的各图像进行(3×3)像素的LPF(低通滤波)处理。

字块采样单元104对层次图像的各图像分割为(8×8)像素的字块，对各字块每隔2像素用16(＝4×4)个代表点进行采样。

层次的字块匹配单元105根据高位层次的图像在(5×5)像素的范围内通过字块匹配求出SAD(差值绝对值的总和)，根据该SAD成为最小的位置求移动矢量。低位措施的图像的字块以用高位层次的同一位置的字块求出的移动矢量为中心，进而在(5×5)像素的范围内求移动矢量。

子像素推断·可靠性判断单元106使用在最低位层次的图像(拍摄图像)中求出的移动矢量和SAD，根据SAD的最小位置及其周围的8点的SAD的值按1像素以下的子像素的精度进行移动矢量的推断。与此同时，进行该字块的移动矢量的可靠性判断。

由该层次的字块匹配单元105和子像素推断·可靠性判断单元106如图2(b)所示的那样，对拍摄图像的各位置作为图像流FL而求出表示前一帧的移动的移动矢量。

下面，使用图3说明拍摄图像的图像流FL。如图2(b)所示，在图像的边缘部分，可以得到上述那样的图像流FL。这时，在消除了摄像机的摇动后，图3所示的车辆行进方向的反方向就成为图4(a)所示的画面上的消失点VP。静止在地面上的物体在摄像画面上具有向着消失点VP的图像流FL。因此，具有向着消失点VP以外的图像流FL的画面上的区域(例如矩形区域202)就可以作为摇动物和接近物而抽出。

此外，摇动成分抽出·消除单元107通过对得到的移动矢量进行统计处理，抽出和消除由车辆的振动引起的图像的摇动成分。在本发明中，使用为了检测接近物而求出的移动矢量抽出图像的摇动成分，所以，为了修正摇动，不必另外检测图像全体的摇动成分。消失点计算单元108计算伴随车辆的行进的图像的图像流FL的消失点VP。即，如图4(a)所示，将消失点VP作为向着图像全体的大部分的点而求出。

移动物·接近物检测单元109将具有与向着由消失点计算单元108求出的消失点VP的图像流FL不同的移动矢量的字块作为移动物·接近物候补字块而抽出。并且，通过将相邻的移动物·接近物候补字块连结，如图4(b)所示的那样，使存在移动物和接近物的区域成为矩形区域202，并作为移动物而抽出。

下面，使用图5～图7说明摇动成分抽出·消除单元107的具体的动作。图5是用于说明该动作的流程图。

车辆在行进方向的摇动以外，由于道路的凹凸等影响主要在上下方向进行振动。如图6所示，车辆的上下方向的振动对摄像单元的影响表现为(a)所示的位置的变化和(b)所示的摄像方向的变化。

图6(a)所示的上下位置的变化，由于图像信号的帧间隔非常短，所以，与车辆的行进方向的位置的变化相比，非常小。另外，摄像单元的位置的变化，根据到对象的距离其影响大不相同，对近的物体影响大，而对远的物体则几乎没有影响。并且，在本实施例中到监视的后方的对象的距离约为数m～数10m，非常远。因此，这里不考虑上下位置的变化所带来的影响，只考虑图6(b)所示的摄像方向的变化。

摄像方向的变化，其影响不随到对象的距离而不同，另外，其变化的角度非常小时，可以假定画面的各移动矢量在整个画面上为均匀的上下方向的偏移Vdy。这时，移动物以外的静止的背景上的移动矢量(Vx，Vy)如下式所示的那样，可以由车辆的行进引起的向消失点VP的移动矢量(V0x，V0y)与上述偏移(0，Vdy)之和来近似。

Vx＝V0x

Vy＝V0y+Vdy

图5的流程图将该偏移(0，Vdy)作为摇动成分而抽出，通过从检测的摇动矢量(Vx，Vy)中将其消除，对静止的背景部分得到向消失点VP的移动矢量(V0x。V0y)。

首先，对画面的各位置(x，y)输入移动矢量(Vx，Vy)(S11)。但是，这时，对于空白地方等均匀地图像中没有图案的部分等，就作为没有移动矢量的可靠性的部分预先除外，仅输入有可靠性的移动矢量。另外，车辆向前方直线行进时的临时的消失点(x0，0y)根据摄像单元101的安装角度定在画面上指定的位置，所以，可以预先求出(S12)。

其次，对各移动矢量计算偏移(S13)。位置(x，y)位于静止的背景的部分上时，下式的关系成立。

(x-x0)*Voy＝(y-y0)*Vx

(x-x0)*(Vy-Vdy)＝(y-y0)*Vx

根据这些公式求Vdy时，则得

Vdy＝Vy-(y-y0)*Vx/(x-x0)

按照上式，可以根据1个移动矢量求出Vdy。但是，在输入的移动矢量中，包含多个移动物等静止的背景部分以外的图像区域的移动矢量。另外，在静止的背景部分的移动矢量中也包含误差。因此，通过统计处理推断移动矢量的偏移Vdy。即，如图7所示，对各移动矢量按照上式分别求Vdy，计算其频度，将具有最高频度的Vdy作为最终的偏移推断值(S14、S15、S16)。

首先，对1个移动矢量，假定误差(±Vnx，±Vny)，对画面内的位置，也假定微小误差(±nx，±ny)。现在，如图7(a)那样，对1个移动矢量求偏移Vdy。对此，若考虑移动矢量的误差(±Vnx，±Vny)，则得到图7(b)、图7(c)那样的分布，若考虑画面内位置的微小误差(±nx，±ny)，则得到图7(d)、图7(e)那样的分布。通过将图7(b)～图7(e)的分布进行卷积积分，便可得到图7(f)那样的分布。

并且，对画面全体的移动矢量将图7(f)的分布求积分和，则可得到图7(g)那样的分布。在该分布中，将频度最高的Vdy的值决定为摇动引起的偏移的推断值。

图1的消失点计算单元108在消除推断的偏移之后，再次求实际的消失点。这时，在例如摇动物占据的画面大时或车辆有上下方向以外的摇动时或者进行曲线等直线行进以外的行进时，计算的消失点将与临时的消失点大不相同。这时，就中断以后的摇动物和接近物的检测处理，使用前一帧的结果进行图像合成并进行显示。

另一方面，在计算的消失点位于临时的消失点附近的指定范围内时，就判定为正常，移动物·接近物检测单元109进行以下的动作。

图8是表示移动物·接近物检测单元109的具体的动作的流程图。首先，和摇动成分抽出时一样，输入画面的各位置(x，y)的移动矢量(Vx，Vy)和临时的消失点(x0，y0)(S21，S22)。

并且，在输入的移动矢量消除了偏移之后，根据是否表示向消失点的移动来判断是否为移动物(S23)。具体而言，如图9所示，考虑了摇动成分抽出时求出的移动矢量的误差(±Vnx，±Vny)和画面内位置的微小误差(±nx，±ny)的Vdy的分布(图7(f))根据与偏移推断值是否一致而进行判断。即，在图9(a)中，Vdy的分布与偏移推断值不一致，所以，判定该移动矢量的位置是移动物，另一方面，在图9(b)中，Vdy的分布与偏移推断值一致，所以，判定该移动矢量的位置是静止背景。

如图10(a)所示，在画面中的移动物的各部分检测到判定为移动物FL1。并且，如图10(b)所示，将包含这些移动矢量FL1的区域分组，生成矩形的移动物区域202(S24)。并且，在移动物区域202的下端UE的位置推断从车辆到该移动物的距离(S25)。

图11(a)是表示摄像单元101的摄像范围的缺省距离值的图。这里，如图11(a)所示，对于拍摄图像中的位于指定位置之下的第1区域AR1，假定位于路面RS上，位于该指定位置之上的第2区域AR2假定位于到摄像单元101指定距离DD处(例如50m)。即，对于第1区域AR1，作为缺省距离值存储到路面RS的推断距离，对于第2区域AR2，作为缺省距离值存储指定距离DD。

另外，如图11(b)所示，例如移动物区域202在画面上跨越区域AR1、AR2时，以包含在第1区域AR1中的移动物区域202的下端UE为基准，假定该物体在下端UE与路面RS接触而推断距离。

这里，推断的到移动物区域的距离被存储到存储器中。并且，通过下一帧图像的处理在同一位置检测移动物区域，并且，到该移动物区域的推断距离比存储器存储的前一帧的推断距离短时，就判定该移动物区域的物体是接近物(S26)。

另一方面，根据图12(a)所示的判定为静止背景的移动矢量FL2的大小(消除了偏移)按照下式计算距离Z(S27)。

Z＝dZ*r/dr

其中，dZ是帧间的车辆的移动量、r是画面上到消失点VP的距离、dr是移动矢量的大小。即，

r＝sqrt((x-x0)²+(y-y0)²)

dr＝sqrt(Vx²+(Vy-Vdy)²)

并且，将这里求出的距离Z与作为缺省距离值存储的到路面的距离进行比较(S28)。并且，将图12(b)所示的街道旁边的树木OB那样位于比路面高的位置的物体判定为障碍物。另外，如车辆MM那样从正后方接近时，虽然在消失点附近发生移动矢量，但是，其大小非常小。因此，用上述方法求距离Z时，该物体就有可能成为位于路面之下的值。通常，在路面之下不可能存在物体，所以，就判定这时的移动矢量是移动物，并返回到移动物区域抽出处理S24。

通过以上的处理，根据画面各位置的移动矢量求障碍物、移动物、接近物和画面内的距离(S29)，并将这些信息向图像合成单元110输出。

图像合成单元110如图13所示的那样将矩形区域202的框203以红色显示地合成到从摄像单元101输入的拍摄图像上，并将其向显示装置111输出。但是，这时显示装置111将合成图像左右对调显示，以便与后视镜同相。

按照上述方法，驾驶员看了图13所示的显示图像，根据红色框203的显示便可知道接近物的接近。即，驾驶员看了拍摄图像，确认周围的状况，同时特别注意对需要的接近物不会由于警报声音等受到惊吓，从而可以自然地引起注意。

另外，用警报声音可以直接而容易地掌握困难的接近物对自己车辆从哪个方向接近到什么程度的信息。

在本实施例中，通过红色框仅闪烁显示移动体的接近物，但是，作为唤起驾驶员注意的方法，不限于该方法，也可以例如使用其他颜色，并且可以进行不闪烁的显示。另外，如果在显示装置111上显示的接近物的图像移动到下方，就可以理解为接近移动体了，反之，如果移动到上方，就可以理解为远离了移动体。

此外，求出了到接近物的距离，所以，通过显示距离本身或根据距离改变显示，可以更有助于驾驶员把握状况。例如，可以在与接近物的距离为50m以上时，显示绿色、大于20m小于50m时显示黄色、小于20m时显示红色等，根据距离改变框的颜色，或者在移动物区域的右上方显示距离值。

实施例2

图14是表示作为本发明实施例2的驾驶提醒装置的移动体图像显示系统的结构的框图。图中，对于与图1共同的结构要素标以与图1相同的符号，并省略其详细的说明。与图1不同的结构要素是，与第1摄像单元101分开设置的第2摄像单元401、层次的字块立体匹配单元405、3D信息推断·障碍物检测单元409和作为图像合成单元或图像生成单元的3D图像合成单元410。由结构要素102～109、405、409构成检测单元。

本实施例的移动体图像显示系统的目的是，高精度地检测未高精度地求出移动矢量(图像流)的消失点附近的接近物或障碍物。下面，参照图15～图21说明本实施例的移动体图像消失系统的动作。

图15是从上俯瞰自己车辆及其周围的模式图。如图15所示，在本实施例的驾驶提醒装置中，2台摄像单元101、401在车辆后部沿水平方向分离开设置。并且，配置为作为一个摄像单元的第1摄像单元101的第1摄像范围VA1与作为其他摄像单元的第2摄像单元401的第2摄像范围VA2具有重叠的区域OL。

图15所示的摄像单元的配置使用具有视野有限的通常的镜头的摄像机，用于在宽广的视野中拍摄监视车辆后方。如果这样配置多个摄像单元，不使用鱼眼镜头等特殊的镜头也可以拍摄宽视野的图像。另外，通过使用多个摄像单元，还可以保持得到的图像的高解像度。

另外，在将监视作为用途时，需要将得到的多个图像进行拼接显示，但是，如图15所示的那样拼接从不同的位置拍摄的图像时，考虑到位置的隐蔽(封闭)的影响等，可以在2个摄像范围具有重叠。

下面，说明处理的详细情况。层次图像化单元102、LPF103、字块采样单元104和层次的字块匹配单元105对于从摄像单元101、401输入的各拍摄图像进行和实施例1同样的处理，求出图像流(移动矢量)。

图16(a)、图16(b)分别是将通过上述处理得到的图像流重叠到由摄像单元101、401得到的拍摄图像上的图。OL表示摄像画面上的重叠区域。在图16(a)、图16(b)中，对大楼或树木等静止的物体的图像流利用实线的箭头表示，对车辆等移动的物体的图像流利用虚线的箭头表示。

对静止的物体的图像流，用于自己车辆的移动，成为向着消失点VP的图像流。该图像流的大小与自己车辆的速度和到画面上的消失点VP的距离成正比。因此，消失点VP附近的图像流，其大小变小，所以，难于检测。

因此，层次的字块立体匹配单元405在重叠区域OL中进行图16(a)、图16(b)所示的2幅图像的立体分析，求出立体视差。消失点VP发生在车辆的行进方向的正后方，所以，将摄像单元101、401设定为重叠区域OL在设想画面上包含消失点VP是容易的。

图16(c)是将图16(a)、图16(b)所示的2幅图像相互重叠的图。图中，车辆图像的偏离VD就是求出的立体视差。

就摄像单元在水平方向平行地配置时，立体视差VD基本上发生在水平方向。因此，根据高位层次的图像在水平5×垂直3像素的范围内利用字块匹配求SAD(差值绝对值的总和)，从该SAD的最小点求立体视差。在低位措施的图像中，以在高位层次的图像的同一位置的字块中求出的立体视差为中心，进而在水平5×垂直3像素的范围内求立体视差。

子像素推断·可靠性判断单元106使用在最低位层次的图像(拍摄图像)中求出的移动矢量和SAD，根据SAD的最小位置及其周围的8点的SAD的值，以1像素以下的子像素的精度进行移动矢量的推断。与此同时，进行该字块的移动矢量的可靠性判断。

另外，对于由层次的字块立体匹配单元405得到的立体视差VD通过完全相同地应用移动矢量的处理，进行子像素精度的立体视差的推断和立体视差的可靠性判断。

通过上述处理，对拍摄图像的各位置，求出表示前一帧的随时间的移动的图像流，同时在重叠区域OL中求出立体视差。

通常，如果知道了立体视差和摄像单元的相对位置关系，利用三角测量的原理，便可求出从摄像单元到对象物的距离。另外，根据表示图像随时间的移动的图像流，通过假定例如对象物静止在地面上，也可以根据与车速的关系求出从摄像单元到对象物的距离。

利用上述结果，3D信息推断·障碍物检测单元409如图17所示的那样对2幅拍摄图像推断3维信息，并进而将推断为位于地面之上指定的高度以上的画面上的区域作为障碍物OB来检测。

另外，移动物·接近物检测单元109将具有与向着消失点VP的图像流不同的移动矢量的子块作为移动物·接近物候补子块而抽出，通过将相邻的移动物·接近物候补子块连结，如图17所示的那样抽出移动物MM。另外，与此同时，根据从3D信息推断·障碍物检测单元409得到的3维信息判定消失点VP附近区域的障碍物的距离已接近时，就将其如图17所示的那样作为接近物AP而抽出。

3D图像合成单元410如图17所示的那样利用从3D信息推断·障碍物检测单元409得到的3维信息，将从摄像单元101、401输入的2幅拍摄图像合成。进而在合成图像上将移动物MM和接近物AP的区域用例如红色的框包围点亮显示，同时用例如绿色的框将障碍物OB包围进行显示，并将其向显示装置111输出。但是，这时，显示装置111将合成图像左右颠倒进行显示，以便使之与后视镜同相。

驾驶员看了图17所示的显示图像，根据红色框的点亮显示便可知道移动物MM或接近物AP的接近，另外，可以直接而容易地把握接近物AP对自己车辆从哪个方向接近到什么程度。此外，驾驶员根据绿色框的显示可以直接而容易地把握障碍物OB的存在及其位置。

另外，如第2现有例和本发明的实施例1那样，在通过拍摄图像的移动分析来检测障碍物和接近物的被称为所谓的「运动立体声」的方法中，通过分析与移动引起的视点的变化对应的图像的变化，得到拍摄图像内的3维信息。这时，在移动的方向或其相反方向的图像的移动引起的图像流(移动矢量)的消失点的附近区域中，存在与视点的变化对应的图像的变化很小的缺点，例如，应用于车辆时，就存在在行进方向的前方和后方的检测灵敏度低的问题。

然而，按照本实施例2，是通过2台摄像机的重叠区域OL中的立体分析来修正画面上的消失点附近区域的检测的，所以，可以进行高灵敏度的检测。

3D图像合成单元410利用从3D信息推断·障碍物检测单元409得到的3维信息，将接近物或障碍物的信息可靠地传达给驾驶员。下面，说明该方法。

在实施例1中，看到合成了接近物的信息的拍摄图像时，画面的深度方向的距离必须根据合成图像上的物体的表观的大小进行判断。特别是将摄像装置设置在车辆上时，不能设置到车高以上的位置，另外，为了使某种程度的远方进入视野，必须使其方向基本上接近于水平，所以，与接近物的距离就成为了画面的深度方向。

作为在画面上容易把握与接近物的距离的方法，有本发明人等在日本国专利申请特愿平10-217261中提出的变更合成图像的视点位置的技术。在该专利申请的装置中，假定车辆的周围的多个拍摄图像3维地拍摄了地面，作成了例如从上空俯瞰的新的视点的合成图像。这时，车辆与其他物体的距离就与画面上的距离成正比，所以，容易直观地把握距离。

在本实施例中，3D图像合成单元410使用上述技术将由摄像单元101、401得到的拍摄图像变换为从实际的摄像单元的设置位置的上方的视点位置看到的合成图像。为了远方进入视野，可以使用俯瞰比正下方倾斜的斜下方的视点。

图18(a)表示用于得到这样的合成图像的假想视点VVP的位置。假想视点VVP位于摄像单元101的上方，其方向成为俯瞰车辆后方斜下方的方向。并且，如图18(b)所示，假定实际的摄像单元101的拍摄图像位于使用图11(a)说明的缺省的距离，根据实际的拍摄图像便可生成从假想视点VVP看到的合成图像。

例如，在实际的拍摄图像是图19(a)所示的情况时，从假想视点VVP看的合成图像就成为图19(b)所示的情况。由图19可知，实际上和缺省的距离值相同，路面上的白线411等在合成图像上也合成在正确的位置，并且是从上方看的图像，所以，容易把握距离感。但是，实际上在路面上不存在的树木412或车辆413等在合成图像上将延长得很长，从而发生不自然的畸变。图19(b)的合成图像包含实际的摄像区域的外侧的区域414。

即，在直接应用现有的图像合成技术时，只假定了图像变换时地面的位置，所以，这就发生了实际上没有位于地面上的物体例如其他车辆或障碍物在合成图像上将畸变的问题。

因此，在本实施例中，通过利用从3D信息推断·障碍物检测单元409得到的3维信息，大大改善了上述合成图像上的车辆等的畸变。下面，使用图20和图21说明这一点。

在本实施例中，利用从3D信息推断·障碍物检测单元409得到的3维信息检测位于地面之上的障碍物和接近物。因此，如图20(a)所示，将障碍物或接近物的区域按照该3维信息进行合成，所以，即使合成从假想视点VVP看的图像，也可以合成畸变很少的自然的图像。

即，对于实际上没有位于路面上的树木412或车辆413检测了到摄像单元101的实际的距离RD，所以，该区域在合成图像生成中也合成到了考虑了实际的距离RD的位置。因此，如图20(b)所示，实际上没有位于路面上的树木412或车辆413等也不是缺省的距离值而是根据实际的距离RD合成的，所以，在合成图像上没有延长得很长，是自然的图像。

这样，在合成图像中，实际上和缺省的距离值相同，路面上的白线等合成到正确的位置，并且实际上没有位于路面上的树木或车辆等也可以得到自然的图像。此外，合成图像是从上方看的图像，所以，可以向驾驶员显示容易把握距离感的图像。

图21是表示根据2个摄像单元101、401的拍摄图像生成合成图像时的图。如图21(a)所示，这时，对实际上没有位于路面上的树木412或车辆413检测到摄像单元101、401的实际的距离，所以，该区域在合成图像生成中也合成到考虑了实际的距离RD的位置。并且，可以得到图21(b)所示的合成图像。在图21(b)的合成图像中，VA1、VA2分别是与摄像单元101、401的视野范围对应的区域，OL是视野范围重叠的重叠区域。与图20(b)的例子比较，合成了视野宽的图像。另外，在重叠区域OL的外侧的区域中，由于远离消失点，可以根据图像流求距离，所以，可以就例如树木415合成到考虑了该距离的位置。

实施例2的变形例

下面，参照图22和图23说明本实施例的变形例。

图22是表示本变形例的摄像单元的配置的一例的图。与上述实施例不同的地方是，2台摄像单元101、401不是设置在水平方向，而是在垂直方向间隔k而设置。另外，对于摄像单元的视野范围，和实施例2相同，摄像单元101的第1摄像区域VA1与摄像单元401的第2摄像区域VA2相互重叠，发生重叠区域OL。

并且，如图23(a)所示，和实施例2相同，在2个摄像区域重叠的区域设置立体分析区域ST，另外，在除此以外的部分也设置移动分析区域MA1、MA2。

下面，说明在本变形例的立体分析区域ST中的处理。

如图23(b)所示，在2幅图像中，在纵向发生立体视差VD。这时，如图23(c)所示，预先从2幅图像中抽出水平边缘HE，对该水平边缘HE通过找2幅图像间的对应关系，可以很容易地求出立体视差VD。另外，本发明作为主要的对象的路面上的车辆的图像，缓冲器、车盖的线等的水平边缘与其他的边缘比较，包含的边缘很多，可以很容易地检测。根据该立体视差VD求到摄像单元的距离，所以，和上述实施例一样，可以检测接近物和障碍物，另外，可以就接近物或障碍物的图像立体地合成进行显示。

在本变形例中，2个摄像单元和假想视点在纵向排列，所以，合成图像成为强调纵向的视差的图像。另外，水平方向的边缘少，所以，在不能高精度地求出立体视差VD的部分，合成图像的精度也降低了，但是，相反，由于水平边缘少，位置的偏离引起的在不自然度几乎不明显。因此，总体上是非常自然的，并且在有水平边缘的部分(反映其他车辆的部分等)，可以生成强调深度位置信息的合成图像。

另外，下面，补充说明摄像单元的间隔k与可以检测的距离的关系。为了便于说明，假定摄像单元指向正后方。假定摄像单元的水平方向的画角约为90度，距离D为10m时，水平方向的画角范围相当于约20m。另外，设摄像单元的像素的纵横比为3∶4，则垂直方向的画角范围Vh相当于约15m。即，

Vh/D＝1.5

另外，设画面的垂直方向的像素数为Vp，位于与摄像单元同一高度的后方车辆的水平边缘从无限远的视差0接近到发生相当1像素的视差时的距离D，根据

Vh/k＝Vp

可得

D＝k*Vp/1.5

设垂直方向的像素数Vp为480、摄像单元的间隔k为10cm(＝0.1m)时，则有

D＝0.1*480/1.5＝32(m)

实际的视差的检测精度是0.3～1像素，假定求出的接近物检测距离为30～70m、摄像单元的画角为60～120度时，则可得到摄像单元的间隔约为7～20cm。

这样，利用以约7～20cm的间隔比较近地设置的摄像单元也可以检测接近物，所以，更容易搭载到车辆上。

在上述实施例1～实施例2中，将车辆的后方作为主要的监视区域进行说明的，但是，本发明不限于此种情况，也可以例如将车辆前方、侧方作为监视区域，生成车辆前方、侧方的图像。

实施例3

图24是表示本发明实施例3的驾驶提醒装置的结构的框图。在图24中，与图14不同的结构要素是危险度判断单元501、车外警报单元502和乘客保护单元503。

和实施例2一样，通过利用层次的立体匹配单元405立体分析多个摄像单元101、401的重叠的区域，可以高精度地测量以往检测困难的车辆正后方的接近物。

以往，向车辆接近的接近物的检测装置之所以没有将从正后方的接近物作为对象，是因为仅检测移动难于检测接近物，检测到接近物后避免发生碰撞的方法也少。例如，在第1现有例中，检测到来自自己车辆行进的相邻的车道的解决物时，可以通过警报等使自己车辆的行进不向该车道变更，从而可以很容易避免碰撞。另一方面，对于从与自己车辆相同车道接近的车辆，需要提高速度向前方回避，或者向其他车道变更行进线路等积极的移动。总之，不论哪种情况，都容易发生与接近物以外的周围的车辆和物体发生碰撞的新的危险。

因此，在本实施例中，在移动物接近物检测单元109检测到来自正后方的接近物时，危险度判断单元501根据到发生碰撞之前的时间或接近物的速度变化等判断该接近物碰撞的可能性。并且，在判定发生碰撞的可能性高时，就输出指示信号。车外警报单元502接收到指示信号后，自动地使制动指示灯闪烁，向后方发出警报。作为这里的警报，除了制动指示灯的闪烁以外，也可以考虑向后方设置的指示灯的照射或闪烁、利用声音的警报、以及利用无线电等电波的警报等。

另外，从危险度判断单元501输出指示信号时，乘客保护单元503就进行放出安全带或气囊的工作准备等保护乘客的措施。关于气囊，如果预先知道碰撞的可能性高，就可以进行工作准备和乘客头部位置的检测等各种前处理，这样，就可以可靠地进行乘客保护。

本实施例的接近物的检测单元不限于利用图像的立体分析或移动分析，也可以由使用另外雷达、激光等的其他单元进行。

另外，本发明也可以很容易地应用于车辆以外的移动体，例如轮船、飞机、列车等。

另外，多个摄像单元的设置位置和台数也不限于这里所示的情况。

另外，本发明的驾驶提醒装置的检测单元和图像生成单元的功能，可以使用专用的硬件实现其全部或一部分，也可以利用软件来实现。另外，也可以将本发明的驾驶提醒装置的检测单元和图像生成单元的功能的全部或一部分利用存储使计算机执行的程序的记录媒体或传输媒体。

由上述说明可知，按照本发明，可以不受车辆的振动引起的摇动的影响而检测接近物。另外，通过同时并用多个摄像装置的立体分析，可以检测摇动的变化小的车辆正后方的接近物。

通过在图像上报告这些接近物等的检测结果，以便可直接地确认其位置关系和周围状况。另外，通过将图像变换为从上方的倾斜俯瞰的视点的图像，可以更容易理解地提示到接近物的距离。

另外，通过不仅报告给驾驶员，而且向接近的车辆放出警报，可以降低碰撞的可能性，从而可以更迅速地开始进行保护乘客免遭碰撞的冲击的措施。

如上所述，按照本发明，可以提供能够减轻驾驶员的负担的驾驶提醒装置。

Claims

1.一种驾驶提醒装置，是提醒移动体的驾驶的驾驶提醒装置，其特征在于：

具有设置在该移动体上的拍摄移动体后方的多个摄像单元，和

根据所述多个摄像单元的拍摄图像检测移动体后方的物体的移动的检测单元；

所述多个摄像单元在其拍摄图像上具有包含消失点附近并且一个摄像单元与其他摄像单元的摄像区域重叠的区域，

所述检测单元在所述重叠区域中，求所述一个摄像单元与所述其他摄像单元的立体视差，

根据求出的立体视差计算到该物体的距离。

2.根据权利要求1所述的驾驶提醒装置，其特征在于：

所述检测单元对所述一个摄像单元的所述重叠区域以外的摄像区域检测表示图像随时间移动的图像流，

根据检测的图像流来检测移动体后方的物体的移动。

3.根据权利要求1所述的驾驶提醒装置，其特征在于：

具有使用所述多个摄像单元的拍摄图像进行图像合成，从而生成表示移动体后方的图像的图像合成单元。

4.根据权利要求1所述的驾驶提醒装置，其特征在于：

具有接收从所述检测单元输出的信息而判断移动体后方的接近物与该移动体碰撞的可能性并在判定可能性高时就输出指示信号的危险度判断单元，和

在从所述危险度判断单元输出指示信号时向移动体后方发出警报的车外警报单元。

5.根据权利要求1所述的驾驶提醒装置，其特征在于：

在从所述危险度判断单元输出指示信号时采取保护该移动体的乘客的措施的乘客保护单元。

6.一种驾驶提醒装置，是提醒移动体的驾驶的驾驶提醒装置，其特征在于：

设置在该移动体上的拍摄移动体的周围的摄像单元、

将所述摄像单元的拍摄图像变换为位于与所述摄像单元的位置不同的位置的视点的图像的图像生成单元，和

对于摄入所述拍摄图像的物体检测到该移动体的距离的检测单元；

所述图像生成单元在生成所述变换图像时对所述物体使用由所述检测单元检测的距离修正该图像的畸变。

7.根据权利要求6所述的驾驶提醒装置，其特征在于：

设置了多个所述摄像单元，

所述多个摄像单元在其拍摄图像上具有一个摄像单元和其他摄像单元的摄像区域重叠的区域，

所述检测单元在所述重叠区域中求出所述一个摄像单元与所述其他摄像单元的立体视差，

并根据求出的立体视差计算到该移动体的距离。

8.根据权利要求6所述的驾驶提醒装置，其特征在于：

所述检测单元根据表示所述拍摄图像随时间移动的图像流，求到该物体的距离。

9.一种驾驶提醒装置，是提醒移动体的驾驶的驾驶提醒装置，其特征在于：

设置在该移动体上的拍摄移动体周围的摄像单元，和

根据所述摄像单元的拍摄图像求出表示随时间移动的图像流，并根据该图像流检测移动体周围的物体的移动的检测单元；

所述检测单元作为检测物体的移动的前处理，根据求出的各图像流计算偏移的推断值，并将该偏移推断值作为该移动体的振动引起的摇动成分从各图像流中扣除。