CN111937002A - 障碍物检测装置、利用了障碍物检测装置的自动制动装置、障碍物检测方法以及利用了障碍物检测方法的自动制动方法 - Google Patents

Abstract

本发明通过基于车辆(1)周边的路面图像来运算直方图(S105)，基于该直方图来检测车辆(1)可行驶的可行驶区域(S106)，基于该可行驶区域来提取障碍物区域(20)(S107)，来对障碍物区域(20)内的障碍物的位置进行检测(S112)，从而与现有技术相比进一步提高车辆(1)周边的障碍物检测的精度。

Description

障碍物检测装置、利用了障碍物检测装置的自动制动装置、障 碍物检测方法以及利用了障碍物检测方法的自动制动方法

技术领域

本申请涉及障碍物检测装置、利用了障碍物检测装置的自动制动装置、障碍物检测方法以及利用了障碍物检测方法的自动制动方法。

背景技术

作为现有的障碍物检测装置，已知使用摄像头来检测路面，并且提取障碍物候补的技术(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本专利特开2017－33506号公报

发明内容

发明所要解决的技术问题

现有的障碍物检测装置中，如专利文献1所记载，进行下述方法：推测路面的亮度范围和白线的亮度范围，将除它们以外的地方设为障碍物的区域。因此，在路面没有图案的板油路面等处，路上的障碍物的检测精度较高。然而，该方法中，由于预先设定了路面的亮度范围，因此存在下述问题：即使是柏油路面，用白色以外的颜色描绘在路面上的线、文字以及标记、以及设置于路面上的井盖或下沉式消火栓等被误检测为不是车辆可进入的路面的障碍物。另外，存在下述问题：将柏油路面以外的例如石板路、草坪路等中路面上的图案误检测为障碍物。

本申请是为了解决上述问题而完成的，其目的在于与现有技术相比进一步提高障碍物检测的精度。

解决技术问题所采用的技术方案

本申请所公开的障碍物检测装置的特征在于，包括：

障碍物距离检测部，该障碍物距离检测部设置于车辆上，对车辆周围的障碍物与车辆之间的障碍物距离进行检测；

拍摄部，该拍摄部设置于车辆上，拍摄车辆周围的路面图像并进行输出；

图像转换部，该图像转换部转换路面图像的坐标，并作为坐标转换图像进行输出；

直方图生成区域图像提取部，该直方图生成区域图像提取部将坐标转换图像内的、未达到障碍物距离的规定区域提取为直方图生成区域图像；

直方图运算部，该直方图运算部计算直方图生成区域图像的直方图；

第1可行驶区域检测部，该第1可行驶区域检测部基于坐标转换图像和直方图，对坐标转换图像内的车辆可行驶的第1可行驶区域进行检测；

障碍物区域提取部，该障碍物区域提取部基于第1可行驶区域，提取坐标转换图像内的障碍物区域；以及

障碍物位置检测部，该障碍物位置检测部基于障碍物区域，检测针对车辆的障碍物位置，并作为障碍物位置信息进行输出。

发明效果

本申请所公开的障碍物检测装置与现有技术相比，可以进一步提高障碍物的检测精度。

附图说明

图1A是实施方式1所涉及的障碍物检测装置的简要结构图。

图1B是实施方式1所涉及的障碍物检测装置的硬件结构图。

图2是实施方式1所涉及的障碍物检测装置的功能框图。

图3是示出实施方式1所涉及的障碍物检测装置的动作的流程图。

图4是示出了实施方式1所涉及的障碍物检测装置的前方摄像头3、路面图像的范围、以及拍摄坐标转换图像时的在空中架设的摄像头3a之间的关系的图。

图5是示出了从实施方式1所涉及的障碍物检测装置的摄像头3获取到的路面图像的图。

图6是示出了从实施方式1所涉及的障碍物检测装置的摄像头3a获取到的理想的坐标转换图像的图。

图7是示出了对从实施方式1所涉及的路面检测装置的摄像头3获取到的路面图像进行转换而获得的实际的坐标转换图像的图。

图8是示出了实施方式1所涉及的障碍物检测装置的坐标转换图像中的障碍物与障碍物检测距离之间的关系的图。

图9是示出了实施方式1所涉及的障碍物检测装置的坐标转换图像中的障碍物检测距离与直方图生成区域之间的关系的图。

图10是示出了实施方式1所涉及的障碍物检测装置获得了两个以上障碍物检测距离时的坐标转换图像中的两个圆的交点与直方图生成区域之间的关系的图。

图11是示出了实施方式1所涉及的障碍物检测装置的直方图生成区域图像的直方图的图。

图12是示出了实施方式1所涉及的障碍物检测装置的坐标转换图像整个区域的直方图的图。

图13是示出了将实施方式1所涉及的障碍物检测装置的可行驶路面的亮度值设为255、将障碍物区域的亮度值设为0而得到的图像的图。

图14是示出了将实施方式1所涉及的障碍物检测装置的可行驶路面的亮度值设为0、将障碍物区域的亮度值设为255而得到的图像的图。

图15是示出了实施方式1所涉及的障碍物检测装置的坐标转换图像中的障碍物检测距离与障碍物检测区之间的关系的图。

图16是示出了将实施方式1所涉及的障碍物检测装置的障碍物检测区的亮度值设为255、将障碍物检测区以外的亮度值设为0而得到的图像的图。

图17是示出了将实施方式1所涉及的路面检测装置的差分图像障碍物区域的亮度值设为255、将差分图像障碍物区域以外的亮度值设为0而得到的图像的图。

图18是示出了将实施方式1所涉及的障碍物检测装置的障碍物区域、障碍物检测区以及差分图像障碍物区域的叠加部分设为亮度值255而得到的图像的图。

图19是实施方式2所涉及的自动制动装置的简要结构图。

图20是实施方式2所涉及的自动制动装置的功能框图。

图21是示出实施方式2所涉及的自动制动装置的动作的流程图。

图22是示出了将实施方式2所涉及的自动制动装置的第2可行驶路面的亮度值设为255、将第2障碍物区域的亮度值设为0而得到的图像的图。

图23是示出了将实施方式2所涉及的自动制动装置的第2障碍物区域的亮度值设为255、将第2可行驶区域的亮度值设为0而得到的图像的图。

图24是示出了实施方式2所涉及的自动制动装置的障碍物图像的图。

图25是示出了实施方式2所涉及的自动制动装置直行时的行驶路径的图。

图26是示出了实施方式2所涉及的自动制动装置转弯时的行驶路径的图。

图27是示出了实施方式2所涉及的自动制动装置的行驶路径和碰撞障碍物的图。

图28是示出了一般的自动制动装置的最短碰撞时间和目标减速度的图。

图29是示出了实施方式2所涉及的自动制动装置的最短碰撞时间和目标减速度的图。

具体实施方式

下面，使用附图对本申请实施方式进行说明。此外，在各图中对相同或相当的构件、部位标注相同标号来进行说明。

实施方式1.

使用图1对实施方式1的障碍物检测装置进行说明。图1是所涉及的障碍物检测装置的结构图。

图1A中，车辆1具有声纳传感器2、摄像头3以及路面检测装置14。在车辆前方、侧方及左右设置多个声纳传感器2，它们经由声纳传感器布线8连接到声纳控制器9。此外，图1A中，在前后各配置四个声呐传感器2，以及在左右各配置一个声呐传感器2，但本申请中，只要在利用摄像头3获取的路面图像的方向上最低有一个以上的声呐传感器2则没有问题。在车辆前后及左右设置多个摄像头3，经由摄像头布线7连接到周边监视摄像头控制器10。此外，在图1A中，在前后左右各配置一个摄像头3，但可以限定于设为路面检测装置的对象的方向而最低配置一个以上。例如，在本申请后述的自动制动装置中，当以前方的障碍物为对象进行自动制动时，车辆1的前方可以有至少一个以上的摄像头3，当以后方的障碍物为对象进行自动制动装置时，车辆1的后方可以有至少一个以上的摄像头3。另外，安装到车辆1左右的摄像头3可以利用于在车辆1转弯时防止障碍物卷入警报或防止障碍物卷入用的自动制动装置。另外，对于安装位置，图1A中图示为将左右摄像头设置于当前一般的后视镜下部，将前后的摄像头分别设置于保险杠中央，但并不一定如图1A所示那样来设置，只要可满足本申请的目的则设置位置不做限定。路面检测装置14除了声纳控制器9、周边监视摄像头控制器10以外，还包含其他传感器11、路面检测装置的运算装置12，它们分别使用通信线5、例如CAN(Control Area Network：控制器局域网)等进行连接。

如图1B所示，运算装置12由处理器1000和存储装置2000构成，虽未图示，但存储装置具备随机存取存储器等易失性存储装置、和闪存等非易失性辅助存储装置。另外，也可以具备硬盘这样的辅助存储装置以取代闪存。处理器1000执行从存储装置2000输入的程序，完成图2中所说明的功能块的相关结构以及图3中所说明的流程图的动作的一部分或全部。该情况下，从辅助存储装置经由易失性存储装置向处理器1000输入程序。另外，处理器1000可以将输入输出的信号、运算的中间值以及运算结果等数据输出至存储装置2000的易失性存储装置，也可以经由易失性存储装置将数据保存至辅助存储装置。此外，除了处理器1000和存储装置2000以外，还可以兼用逻辑电路和模拟电路。另外，运算装置12完成后述的实施方式2中所说明的功能块和流程图的动作的一部分或全部。

接着，使用图2的功能框图对本实施方式1的障碍物检测装置的功能结构进行说明，进一步地使用图3的流程图对功能结构的动作进行说明。

本实施方式1的路面检测装置14由图2所示的、障碍物距离检测部101、拍摄部102、第1图像转换部103、直方图生成区域图像提取部104、直方图运算部105、可行驶区域检测部106、障碍物区域提取部107、障碍物位置检测部108、障碍物检测区运算部109、车辆状态检测部110、图像存储部111、以及差分图像障碍物区域提取部112构成。特别是，在障碍物位置检测部108中被输入了障碍物区域提取部107、障碍物检测区运算部109以及差分图像障碍物区域提取部112的三个输出，并基于这些输入来进行障碍物检测。这些功能按照图3所示的流程图周期性地反复动作。

首先，对提取障碍物区域为止的动作进行说明。

图3中，在步骤S101中，图2所示的障碍物距离检测部101对障碍物距离进行测量并输出。在本实施方式1中，障碍物距离检测部101由声呐传感器2、声呐控制器9以及连接它们的声呐传感器布线8构成。障碍物距离检测部101将从声呐传感器2到最接近声呐传感器2的障碍物为止的距离输出为障碍物距离。此外，作为可测量障碍物距离的传感器，除声呐传感器以外还存在毫米波传感器或红外线传感器、雷达传感器等，即使使用它们也不会对本申请的效果产生影响。

接着，图3中，在步骤S102中，图2所示的拍摄部102将摄像头3拍摄到的影像输出为路面图像。如图1所示，拍摄部102由摄像头3、周边监视摄像头控制器10以及连接它们的摄像头布线7构成。另外，在本实施方式1中，如上述所述，对于障碍物距离检测部101中的声纳传感器2和拍摄部102中的摄像头3，只要以路面检测装置为目的在路面的方向上各自有最低一个则没有问题，但是在本申请用于其他目的的情况下，需要以获取与目的对应的路面的方式来设置摄像头3，并根据摄像头3设置必要数量的声纳传感器2。例如，在避免前后方向的障碍物的情况下，分别在前后方向上配置摄像头3，声纳传感器2至少在前后任意方向上配置1个以上即可。另外，在车辆1整个周围检测障碍物的情况下，具有能拍摄车辆1整个周围的数个摄像头3以及在某一个摄像头3的方向上具有至少1个以上的声纳传感器2即可。

图3中，在步骤S103中，图2所示的第1图像转换部103将拍摄部102输出的路面图像坐标转换为坐标转换图像。

使用图4至图7对第1图像转换部103进行的路面图像的坐标转换进行说明。图4是示出了在车辆1前方安装了摄像头3时的车辆1、实际上设置于车辆1上的摄像头3、从摄像头3的位置CP拍摄的路面图像的范围、再从路面图像中利用投影转换而获得的坐标转换图像的范围、以及拍摄坐标转换图像时所需要的在空中架设的摄像头3a的位置CP'之间的关系的图。当在车辆前方安装摄像头3以显示路面时，摄像头3可以获取图5所示的路面图像。图5的路面图像中显示了绘制在柏油路面上的白线15、柏油路面上的障碍物即塔形路障16。在图5中，当从天顶方向用摄像头3a拍摄虚线范围170时，可以获得图6所示的影像(图6的下部为车辆1的方向)。然而，该天顶方向的摄像头3a实际上并不存在。因此，从天顶方向观察到的影像可以通过根据由摄像头3获得的路面图像(图5)进行坐标转换来获得。

将在摄像头3的位置CP得到的图像转换成在另一个摄像头3a的位置CP'获得的图像的方法通常被称为投影转换，可以基于相对于路面的位置CP与位置CP’之间的关系以几何学的方式进行转换。然而，使用该投影转换而获得的图像实际上不是图6而是图7所示的图像。这是因为，在对由摄像头3获得的图5的路面图像进行投影转换时，摄像头3单体并不知道显示出的障碍物的高度。因此，在投影转换路面图像时，为了将路面图像内的具有高度的障碍物(例如，塔形路障16)处理成没有高度的路面上的图案(例如柏油路面上的白线15)，将图7的塔形路障16以从车辆1向深度方向延伸的形式进行转换。本实施方式1中，相对于图5的路面图像，将图7的图像称为坐标转换图像。由此，图3中，在步骤S103中，利用图2所示的第1图像转换部103将路面图像坐标转换成坐标转换图像，并进行输出。

图3中，在步骤S104中，图2所示的直方图生成区域图像提取部104提取直方图生成区域图像。使用图8至图10对直方图生成区域图像提取部104进行说明。

直方图生成区域图像提取部104根据坐标转换图像和障碍物检测距离来提取直方图生成区域图像。图8是示出了坐标转换图像和障碍物检测距离之间的关系的图。例如，当在坐标转换图像内存在作为障碍物的塔形路障16的情况下，障碍物检测距离17如图8所示。障碍物检测距离17在图8的下部侧示出了声呐传感器2的位置。由声呐传感器2检测到的障碍物存在于距声呐传感器2的位置仅离开障碍物检测距离17的圆弧状的某处。在图8的情况下，塔形路障16相当于由声呐传感器2检测出的障碍物。此外，此时由声呐传感器2检测出的障碍物仅是具有高度的障碍物，虽然如塔形路障16那样具有高度的障碍物被检测出，但柏油路面上的白线15不被检测出。

直方图生成区域图像提取部104根据该障碍物检测距离17来求出直方图生成区域。直方图生成区域在图9中是由两点锁线18所示的区域，设定在车辆1至障碍物即塔形路障16之间。直方图生成区域图像提取部104将该坐标转换图像内的直方图生成区域的图像输出为直方图生成区域图像。

当对直方图生成区域的设定方法示出一个示例时，可以设定区域，该区域从坐标转换图像即图9的下端中心向上方确保了障碍物检测距离17的0.8倍的长度，并从坐标转换图像即图9的下端中心向左右方向确保了车辆1的车辆宽的一半以上长度。这是因为，本实施方式1所涉及的摄像头3的安装位置如图1A和图4所示是位于车辆1前方中心，通过设定这样的直方图生成区域，从而将直到车辆1前方的障碍物为止的、不包含障碍物即塔形路障16而包含车辆两侧的白线15在内的路面输出为直方图生成区域图像。

另外，上述的障碍物检测距离17的0.8倍这一数值由进行障碍物检测的障碍物距离检测部的特性来决定。在本实施方式1的声呐传感器2中，假设大约±30度的波束角度，设为可测量从声呐传感器2正面到位于±30度的位置的障碍物为止的距离。假设，在从声纳传感器2正面偏离30度的位置存在障碍物的情况下，对于车辆1与障碍物之间的直线距离，根据障碍物检测距离与30度的余弦值成为障碍物检测距离的0.86倍、即在与车辆1沿垂直方向上离开的位置(水平方向的位置不明)上存在障碍物。因此，通过取检测偏差等余量，设定为低于该0.86倍的0.8倍，从而即使与声纳传感器2正面偏离30度的位置上存在障碍物的情况下，也可以设定为在直方图生成区域中不显示障碍物。另外，当使用声纳传感器以外的指向性较高的传感器时，该数值接近1.0，当即使是声纳传感器也使用指向性较低的传感器时，由于波束角度扩展，因此成为比0.8要更小的值。

如图8及图9所示，在仅存在一个与坐标转换图像内对应的障碍物检测距离17的情况下，即在车辆1前方仅设置一个声纳传感器2的情况下，或者，即使在车辆1前方存在多个声纳传感器2，也仅由一个声纳传感器2检测出障碍物的情况下，将如上所述检测出的障碍物检测距离的0.8倍的长度设为直方图生成区域的纵向长度。然而，在检测到两个以上的障碍物检测距离17的情况下，可以采用其中最短的障碍物检测距离，将该最短的障碍物检测距离的0.8倍的长度设为直方图生成区域的纵向长度。另外，在获取到多个障碍物检测距离17的情况下，如图10所示，可以求出从这些中获得的障碍物位置的圆弧的交点，将该交点与车辆1前端之间的距离设为直方图生成区域的纵向长度。

另外，在障碍物检测距离17为预先设定的最大值以上、或者利用图2所示的障碍物距离检测部101没有检测到障碍物的情况下，例如，可以设定直方图生成区域，并将该直方图生成区域的图像输出为直方图生成区域图像，上述直方图生成区域是从图8的坐标转换图像的下端中心向上方(行进方向)障碍物检测距离17具有预先设定的最大值(所谓传感器的最大检测距离)的0.8倍的大小的直方图生成区域。另一方面，在障碍物检测距离17为预先设定的最小值以下的情况下，判断为障碍物与车辆1相接近或相接触，可以将障碍物检测距离17低于预先设定的最小值之前提取出的过去的直方图生成区域图像输出为直方图生成区域图像。由此，通过输出过去的直方图生成区域图像，从而即使在当前时刻因障碍物的接近而导致无法设定直方图生成区域，也可以根据过去信息输出不存在障碍物的直方图生成区域图像。

另外，在本实施方式1中，使用声纳传感器2来检测接近于传感器的障碍物是比较容易的，但是例如利用激光或毫米波等容易检测比接近区域要远一定程度的区域的障碍物。因此，在接近区域中发生漏检测障碍物的可能性较高，在这种情况下，可以利用车辆运动来跟踪远处测量出的障碍物的位置，并根据上述跟踪结果来求出直方图生成区域。由此，即使使用跟踪结果来求出直方图生成区域，也不会对本申请的效果产生影响。

接着，图3中，在步骤S105中，图2所示的直方图运算部105运算直方图。直方图运算部105根据直方图生成区域图像提取部104提取的直方图生成区域图像来运算直方图。当求出直方图生成区域图像的直方图时，如图11所示，获得反映了直方图生成区域图像内的要素的直方图。另外，在本实施方式1的说明中，为了简化，利用灰度化后的亮度直方图对直方图生成区域图像进行了说明，但实际上直方图生成区域图像是彩色图像，计算具有红·绿·蓝(RGB)三要素的三个直方图。另外，在使用彩色图像的情况下，除了具有上述RGB三要素的三个直方图的情况以外，也可以转换彩色图像的颜色要素，转换成色相、彩度、亮度这样的要素来使用直方图。由于图11的直方图是灰度化后的亮度直方图，因此横轴示出亮度，纵轴示出该亮度的出现比例(例如像素数)。

图3中，在步骤S106中，由图2所示的可行驶区域检测部106来运算可行驶区域。可行驶区域检测部106根据直方图和坐标转换图像并使用直方图的逆投影法来求出坐标转换图像内的可行驶区域。

使用图11和图12以及图13对直方图的逆投影法进行说明。将使用直方图反映其出现比例的方法称为直方图的逆投影法。图11示出了直方图生成区域图像的直方图。与图12的坐标转换图像整个区域的直方图相比，图12的坐标转换图像整个区域的直方图中包含由路面上的障碍物即塔形路障引起的要素，但在图11的直方图生成区域图像的直方图中，在设定直方图生成区域时，由于无法预先由障碍物距离检测部101获取存在障碍物的区域的图像，因此不包含障碍物的亮度值。针对坐标转换图像整个区域的所有像素，当使用图11的直方图生成区域图像的直方图来观察各个像素的亮度值的出现比例时，对于柏油路面和白线，由于包含于直方图中，因此出现比例成为较大的值，但对于塔形路障，由于出现比例变低，因此成为较小的值。在该值为一定阈值以上的情况下，将亮度值设为255，在该值小于一定阈值的情况下，将亮度值为0，当对各像素进行处理时，获得图13所示的图像(图13的白色部分为亮度值255，阴影部分为0。原本亮度值0为黑色，但为了图框和编号图示而设为阴影。)。

图2所示的可行驶区域检测部106将图13所示的图像输出为坐标转换图像内的可行驶区域。此外，在图13中，白色部分示出可行驶路面19，包含柏油路面和白线，阴影部分示出障碍物区域20，包含塔形障碍物。

图3中，在步骤S107中，图2所示的障碍物区域提取部107反转可行驶路面的亮度值，如图14所示，将可行驶路面的亮度值设为0、将障碍物区域的亮度值设为255来进行输出。(图14的白色部分为亮度值255，阴影部分为0。原本亮度值0为黑色，但为了图框和编号图示而与图13同样地设为阴影。)。

接着，在图3中，对在步骤S108中示出的障碍物检测区进行说明。

障碍物检测区根据由障碍物距离检测部101计算出的障碍物检测距离17，由障碍物检测区运算部109进行运算并输出。使用图8和图9对由声呐传感器2检测出的障碍物存在于距声呐传感器2的位置仅离开障碍物检测距离17的圆弧状的某处这一情况进行了说明。如图15所示，障碍物检测区22利用该障碍物检测距离17的圆弧，在圆弧的前后方向(图15中是上下方向)设定预先决定的障碍物检测宽度21，将从该圆弧起加上或减去了障碍物检测宽度大小后的区域设为障碍物检测区22。障碍物检测宽度21是考虑到声纳传感器2的障碍物检测误差等的值，作为一个示例，在本实施方式1中确保大约±30cm的区域。该障碍物检测区22表示为如图16那样，障碍物检测区的区域全部输出为亮度值255，而除此之外输出为亮度值0。(图16的白色部分为亮度值255，阴影部分为0。原本亮度值0为黑色，但为了图框和编号图示而与图13、图14同样地设为阴影。)。

接着，对差分图像障碍物区域进行说明。

图3中，在步骤S109中，图2所示的车辆状态检测部110利用其它传感器11来获取车辆1的行驶车速。

图3中，在步骤S110中，图2所示的图像存储部111存储过去图像。图像存储部111具有能存储多个帧输入图像的存储器(未示出)，可以输出存储器内任意存储的影像。在本实施方式1中，将第1图像转换部103输出的坐标转换图像按每次转换处理来存储，输出某个指定时间的过去的坐标转换图像。此外，能存储在图像存储部111中的图像张数是有限的，在存储张数达到可存储的张数的情况下，删除最旧的坐标转换图像，存储新输入的坐标转换图像。输出的过去的坐标转换图像的指定时间例如可以为200ms前的坐标转换图像等，但该指定时间可以不固定。根据车辆1的车速改变指定时间，例如在车速较低时，将指定时间设定得较长，在车速较高时，将指定时间设定得较短。

图3中，在步骤S11中，图2所示的差分图像障碍物区域提取部112根据输入的坐标转换图像、图像存储部111输出的过去的坐标转换图像来求出差分图像障碍物区域并进行输出。该坐标转换图像与过去的坐标转换图像之间的偏差一般被称为时间差分，或者帧间差分，可提取图像内有变化的部位。在车辆1移动的情况下，由于在坐标转换图像上障碍物的位置发生变化，所以如图17所示检测差分图像障碍物区域23，差分图像障碍物区域23全部输出为亮度值255，除此以外输出为亮度值0。(图17的白色部分为亮度值255，阴影部分为0。原本亮度值0为黑色，但为了图框和编号图示而与图13、图14、图16同样地设为阴影。)。但是，在车辆1没有移动的情况下，当障碍物本身没有移动时，差分图像障碍物区域不被检测。因此，在本实施方式1中，使用移动车速来检测车辆1的移动，在车辆1处于停车中的情况下，作为不可检测差分图像障碍物区域而输出标志，或者将坐标转换图像的所有区域输出为亮度值255。

图3中，在步骤S112中，如图18所示，图2所示的障碍物位置检测部108最终将图14的障碍物区域20、图16的障碍物检测区22以及图17的差分图像障碍物区域23的叠加区域检测为坐标转换图像内的障碍物区域24。障碍物位置检测部108进一步求出坐标转换图像内的障碍物区域24的位置信息。坐标转换图像内的障碍物区域24的位置信息将坐标转换图像内的障碍物区域24的位置转换为以车辆1为基准的位置。对于该转换，可以根据图4中说明的摄像头3a的位置CP'、摄像头3a的视角和焦距、以及坐标转换图像的尺寸以几何学的方式求出。另外，坐标转换图像内的障碍物区域24的位置信息使用在差分图像障碍物区域23中、最接近车辆1的位置(在以直线距离连接摄像头3和差分图像障碍物区域23时，该直线距离为最短的差分图像障碍物区域23上的位置)的值。这是因为，在第1图像转换部103的说明中，如使用图6和图7所说明的那样，由于没有障碍物的高度方向的信息，因此即使原本是如图6那样的关系，也进行如图7那样的图像转换，考虑为不受该影响，是由于接近于车辆1的摄像头3的位置表示正确的位置。

由此，本实施方式1的障碍物检测装置，通过由摄像头获取车辆周围的路面图像，并进一步转换为坐标转换图像，由声纳测量车辆与车辆周围的障碍物之间的障碍物距离，基于所述障碍物距离在所述坐标转换图像内没有障碍物的区域中提取直方图生成区域图像，根据所述直方图生成区域图像的直方图、和所述坐标转换图像来求出可行驶区域和障碍物区域，对根据所述障碍物区域和所述障碍物距离求出的障碍物检测区、和根据所述坐标转换图像的差分求出的差分图像障碍物区域的叠加进行提取，在坐标转换图像内求出障碍物区域，并且求出障碍物位置，从而可以提供与现有技术相比精度较高的障碍物检测。

实施方式2.

实施方式2中的自动制动装置使用实施方式1的障碍物检测装置的障碍物位置来避免车辆1与障碍物相接触。

使用图19对实施方式2的自动制动装置的结构进行说明。在图19中，对与实施方式1的障碍物检测装置共同的要素标注相同的编号。

本实施方式2的自动制动装置相对于本实施方式1的障碍物检测装置，新追加了制动控制装置13、油压配道6以及制动器4，制动器4和制动控制装置13由油压配道6相连接，制动控制装置13由通信线5与路面检测装置14的运算装置12相连接。由运算装置12运算出的目标减速度由通信线5传递到制动控制装置13，制动器4可以根据制动控制装置13的指令来对车辆1施加制动。此外，自动制动装置并不一定限于这样的结构，例如在利用电动机行驶的EV车辆或利用发动机和电动机行驶的HEV、PHEV车辆中，也可以使所述电动机的减速再生用于制动。

接着，使用图20的功能框图和图21的流程图，对本实施方式2的自动制动装置的功能和动作进行说明。另外，在图20和图21中，对于与实施方式1的障碍物检测装置相同的要素，标注与图2的功能框图及图3的流程图中相同的编号，并省略说明。

本实施方式2的自动制动装置相对于实施方式1的障碍物检测装置，进一步追加了第2可行驶区域检测部213、第2障碍物区域提取部214、障碍物图像提取部215、障碍物识别部216、障碍物信息关联部217、行驶路径内障碍物检部218、碰撞时间运算部219、目标减速度运算部220、制动装置221来构成。这些功能按照图21所示的流程图周期性地反复动作。此外，对于图20中从行驶路径内障碍物检测部218到制动装置221、和图21中步骤S218到步骤S221，叙述了一般的自动制动装置的动作，并不一定限于所述的功能及动作。

图21的流程图中的步骤S101至步骤S112的动作与实施方式1相同，因此省略。

图21中，在步骤S213中，图20所示的第2可行驶区域检测部213根据路面图像和直方图来运算第2可行驶区域。该运算和步骤S106中的可行驶区域检测部106的运算使用相同直方图的逆投影法，不同点在于，相对于在步骤S106中设为对象的图像是坐标转换图像这一点，在步骤S213中使用路面图像。由此，在步骤S213中求出的第2可行驶区域求出如图22所示的路面图像中的可行驶区域(图22的白色部分为亮度值255，阴影部分为0。原本亮度值0为黑色，但为了图框和编号图示而设为阴影。)。在图22中，第2可行驶区域26包含柏油路面和白线，第2障碍物区域25包括塔形路障。

图21中，在步骤S214中，图20所示的第2障碍物区域提取部214反转第2可行驶区域26的亮度值，如图23所示，将第2可行驶区域26的亮度值设为0来输出，将第2障碍物区域25的亮度值设为255来输出(图23的白色部分为亮度值255，阴影部分为0。原本亮度值0为黑色，但是为了图框和编号图示，与图22同样地设为阴影。)。

图21中，在步骤S215中，图20所示的障碍物图像提取部215根据路面图像和第2障碍物区域25来运算图24所示的阴影背景中仅提取出障碍物的障碍物图像并进行输出。当以像素单位将路面图像与第2障碍物区域25相乘时，可以求出该障碍物图像。这是因为，第2障碍物区域25的图像为所谓的掩膜图像，仅透过所述第2障碍物区域中成为亮度值255的区域。此外，在图24中，作为障碍物仅提取了塔形路障16，这是因为路面图像内仅有一个障碍物，在存在多个障碍物的情况下，在图24的障碍物图像内绘制多个障碍物。另外，当将图23的图像设为掩膜时，会导致地平线以上的部分也被提取，但由于这为误检测，因此排除从而不被提取。可根据摄像头3的位置CP求出哪个位置成为地平线。

图21中，在步骤S216中，图20所示的障碍物识别部216对图24的障碍物图像的各要素，鉴定并识别所显示的障碍物为何物。对于障碍物的识别方法，由于不是本申请的特征，所以可以使用任何方法，例如，可以使用图案识别，该图案识别预先持有多个障碍物图像并运算与它们的相似度，近年来，也可以设为预先使用多个障碍物图像并通过神经网络来进行学习，根据其学习结果从障碍物图像中所显示的图像的种类、构造、外观、功能来鉴定障碍物为何物。此外，在本实施方式2中，使用从图24所示的路面图像中提取出的障碍物图像，这一点是为了提高障碍物识别部216的精度。这是因为，上述的图案识别中使用的预先准备的多个障碍物图像、或者用于神经网络学习的多个障碍物图像中使用从摄像头3的位置CP拍摄到的图5中显示的塔形路障16那样的图像，而不是图7的坐标转换图像的塔形路障16那样的图像。由此，障碍物的识别率变高。这是本实施方式2的自动制动装置的特征之一。

图21中，在步骤S217中，图20所示的障碍物信息关联部217将在步骤S112中障碍物位置检测部108计算出的障碍物区域的位置信息、与在步骤S216中由障碍物识别部216识别出的障碍物结果相关联，并作为新的障碍物信息进行输出。

在图21中，对于步骤S218至步骤S221的动作，主要涉及自动制动装置的制动。在步骤S218中，图20所示的行驶路径内障碍物检测部218根据障碍物信息来提取车辆1的行驶路径内存在的障碍物。对于车辆1的行驶路径，利用车辆状态检测部110获取的转向角、车速、偏移状态和预先存储在行驶路径内障碍物检测部218内的车辆1的大小信息(车辆宽、全长、轴距、转向的齿轮齿条传动比等)来进行计算。此外，在本实施方式2中，在保持当前转向角和车速不变而前进的情况下，将车辆1通过的区域和不通过的区域的边界线设为本车辆的行驶路径。

直行状态下(具体而言，在转向角为±约10度以下的情况下)，车辆几乎朝着行进方向笔直前进。此时,向前后哪个方向前进，根据偏移状态而不同，在偏移状态为D范围的情况下，车辆向前方前进，在偏移状态为R范围的情况下，车辆向后方后退。该情况下，如图25所示，由于车辆笔直前进，因此车辆1通过的区域和不通过区域的边界线成为车辆的左右位置保持不变的边界线。如图25所示，当将车辆1的右侧的边界线设为Y_r、车辆1左侧的边界线为Y_l、车辆1的横向宽度的一半为α、以坐标原点即后轮车辆轴中心为基准来考虑时，可以用式(1)来表示。

[数学式1]

旋转状态下(具体而言，在上述直行状态以外的情况下)，车辆1通过的区域和不通过的区域的边界线成为如图26所示的关系。图26是车辆进行左转弯时的关系图。在左转弯的情况下，车辆1中在最内侧行驶的部分成为图26所示的Pi的地点。该地点Pi连续通过的路径成为车辆1左侧的边界线。车辆1中在最外侧行驶的部分成为图26所示的Po的地点。该地点Po连续通过的路径成为车辆1右侧的边界线。图26中车辆以点C为基准进行转弯。该情况下的转弯半径ρ为下式(2)。

[数学式2]

ρ＝I/δ (2)

式(2)的ρ示出转弯半径，l示出车辆1的轴距，δ示出前轮的轮胎角，并且轮胎角δ和转向角θ如式(3)所示，利用转向的齿轮齿条传动比Grp进行减速。

[数学式3]

δ＝θ/G_rp (3)

此外，对于导出式(2)记载在以下文献1中，特别是在本实施方式中，由于在低车速时限定紧急制动控制的动作范围，因此式(2)使用车辆不产生离心力且不发生侧滑的稳定圆周转弯的情况的、转向角和转弯半径ρ的关系式。

文献1：株式会社山海堂：安部正人著，《汽车的运动和控制》，

第3章：车辆运动的基础，3.3节：车辆的稳定圆周转弯

对于转弯半径ρ，示出车辆1左侧的边界线的半径的内转弯半径ρi、和示出车辆1右侧的边界线的半径的外转弯那半径ρo，使用图26的α和β如式(4)和式(5)那样来表示。此外，图26中α是车辆1的横向宽度的一半的长度，β是将车辆1的轴距l和前悬相加而得到的值。

[数学式4]

ρ_i＝ρ-α (4)

[数学式5]

当基于这些转弯半径ρ、内转弯半径ρi、外转弯半径ρo，来求出示出车辆1左侧的边界线的式子和示出右侧的边界线的式子时，分别成为式(6)和式(7)。

[数学式6]

[数学式7]

然而，式(6)和式(7)是示出车辆1进行左转弯时的车辆1左侧的边界线和右侧的边界线的式子，在车辆1进行右转弯的情况下，车辆1左侧的边界线成为式(8)，示出右侧的边界线的式子成为式(9)。

[数学式8]

[数学式9]

图21中，在步骤S218中，由此求出式(1)至式(9)，运算本车辆的行驶路径。

在步骤S218中，进一步利用使用式(1)至式(9)而求出的行驶路径和障碍物位置信息，来仅提取障碍物中与本车辆相接触的障碍物信息。当示出区分障碍物是否存在于本车辆路径上的具体判别方法时，如图27中示意性地示出那样，对车辆1处于直行状态、左转弯、右转弯中的哪一个进行判断，根据在直行状态的情况下障碍物位置信息是否收敛在式(1)的范围内，在左转弯的情况下障碍物位置信息是否收敛在式(6)和式(7)之间，在右转弯的情况下障碍物信息是否收纳在式(8)和式(9)之间，来对障碍物位置是否存在于行驶路径内进行判定，仅提取所述行驶路径内的障碍物信息。

图21中，在步骤S219中，利用图20所示的碰撞时间运算部219，对于被判定为碰撞障碍物的多个障碍物位置信息，计算碰撞时间，该碰撞时间为车辆1在以当前车速不变地行驶的情况下直到与各个障碍物相接触为止的预想时间。作为碰撞时间的计算方法，若是简单的方法，则可以仅将障碍物与车辆1之间的直线距离除以车速，若是进一步提高精度的复杂方法，则计算障碍物与车辆1相接触的位置，求出障碍物的位置到障碍物与车辆相接触的位置为止的实际距离、例如当直行时求出直线距离，当转弯时求出与转弯相对应的圆弧距离，并可以分别除以车速。无论使用简单的方法和复杂的方法中的哪种方法都不会对本申请的效果产生影响。

最终，在步骤S219中，对于被判定为这些碰撞障碍物的多个障碍物位置信息，将个别计算出的碰撞时间中最短的值、即最早与车辆1相接触的可能性较高的障碍物的碰撞时间，输出为最短碰撞时间。此外，在车辆1处于停车的情况下，用于计算碰撞时间的车速成为0，因此当直接进行除法时，会导致运算装置12发生错误。然而，由于停车时障碍物与车辆没有发生碰撞，因此仅在该情况下，将所有障碍物位置信息的碰撞时间设定为碰撞时间中所设定的最大值，最短碰撞时间也设为碰撞时间中所设定的最大值。碰撞时间中所设定的最大值可以在后一步骤S220中设定目标减速度为0那样的较大值。

图21中，在步骤S220中，利用图20所示的目标减速度运算部220基于最短碰撞时间来求出目标减速度。虽然目标减速度的计算方法考虑有各种各样的方法，但当示出一个示例时，如图28所示的表所示，一般根据最短碰撞时间的值来选择3种目标减速度。在本实施方式2中，可识别障碍物，根据相当于最短碰撞时间的障碍物的种类，来设定图29所示的表所示的目标减速度。图29所示的目标减速度根据有可能碰撞的障碍物的种类来变更目标减速度，识别到的障碍物相当于障碍物种类中的人、二轮车等的情况下，将减速度设定得较大，识别到的障碍物相当于其他障碍物(例如，路上的塔形路障或建筑物的墙壁面等)的情况下，将减速度设定得较小。其目的在于，在以路上的塔形路障或建筑物的墙壁面等这样的其他障碍物为基准，发生了碰撞的情况下，对于可能会对对方造成更大伤害的障碍物，以具有相对于通常更大的减速度的方式来安全地避免碰撞。这一点是本实施方式2的自动制动装置的另一个特征。

最终，图21中，在步骤S221中，制动装置221以车辆1的实际减速度追随于目标减速度运算部220运算的目标减速度的方式来控制油压，并使制动器4动作，进行车辆1的减速。

由此，本实施方式2的自动制动装置相对于本实施方式1的路面检测装置，包括：基于所述路面图像和所述直方图，在所述路面图像内提取所述车辆可行驶的第2可行驶区域的第2可行驶区域检测部；基于所述第2可行驶区域，提取所述路面图像内的第2障碍物区域的第2障碍物区域提取部；基于所述第2障碍物区域和所述路面图像，提取所述路面图像内的障碍物图像的障碍物图像提取部；根据所述障碍物图像来识别所述障碍物图像中反映的物体是什么从而识别障碍物，并将所述识别结果输出为障碍物识别信息的障碍物识别部；以及将所述障碍物位置信息和所述障碍物识别信息相关联的障碍物信息关联部，通过所述自动制动装置根据所述障碍物信息关联部相关联的所述障碍物位置信息和所述障碍物识别信息来变更自动制动的目标减速度，从而障碍物的识别精度变高，并且基于障碍物的识别结果来变更减速度，从而可以根据对障碍物造成的碰撞受害程度来进行减速。

此外，在本实施方式2中，为了避免障碍物而进行了车辆1的制动，但也可以在进行制动之前利用另外具备的扬声器等(未图示)，在进行制动之前对司机进行警告。即使是这样的构成也不会损害本申请的效果。另外，在本实施方式2中，记载了对车辆周围的障碍物进行制动的自动制动装置，但通过用于车辆1的后侧方的监视，从而可以应用于盲点工作装置等。即使在该情况下，也与本实施方式2同样地，可通过利用左右摄像头3的路面图像来分别使用障碍物图像，来判别比后侧方要接近的运动体是什么，例如车辆、二轮车、行人等，由此，可变更与接近运动体相对应的警告时间及显示方式。

本申请虽然记载了各种示例性的实施方式以及实施例，但是1个或多个实施方式所记载的各种特征、方式及功能并不仅限于适用特定的实施方式，也可以单独适用于实施方式，或者进行各种组合来适用于实施方式。

因此，可以认为未例示出的无数变形例也包含在本申请说明书所公开的技术范围内。例如，设为也包含对至少1个结构要素进行变形、追加或者省略的情况、以及提取至少1个结构要素并与其他实施方式的结构要素进行组合的情况。

标号说明

1：车辆、2：声纳传感器、3：摄像头、4：制动器、5：通信线、6：油压配管、7：摄像头布线、8：声纳传感器布线、9：声纳控制器、10：周边监视摄像头控制器、11：其他传感器、12：运算装置、13:制动控制装置、14：路面检测装置、101：障碍物距离检测部、102：拍摄部、103:第1图像转换部、104:直方图生成区域图像提取部、105:直方图运算部、106：可行驶区域检测部、107：障碍物区域提取部、108：障碍物位置检测部、109：障碍物检测区运算部、110：车辆状态检测部、111：图像存储部、112：差分图像障碍物区域提取部、213：第2可行驶区域检测部、214：第2障碍物区域提取部、215：障碍物图像提取部、216：障害物识别部、217：障碍物信息关联部、218：行驶路径内障碍物检测部、219：碰撞时间运算部、220：目标减速度运算部、221：制动装置。

Claims (10)

1.一种障碍物检测装置，其特征在于，包括：

障碍物距离检测部，该障碍物距离检测部设置于车辆上，对所述车辆周围的障碍物与所述车辆之间的障碍物距离进行检测；

拍摄部，该拍摄部设置于所述车辆上，拍摄所述车辆周围的路面图像并进行输出；

图像转换部，该图像转换部转换所述路面图像的坐标，并作为坐标转换图像进行输出；

直方图生成区域图像提取部，该直方图生成区域图像提取部将所述坐标转换图像内的、未达到所述障碍物距离的规定区域的图像提取为直方图生成区域图像；

直方图运算部，该直方图运算部计算所述直方图生成区域图像的直方图；

第1可行驶区域检测部，该第1可行驶区域检测部基于所述坐标转换图像和所述直方图，对所述坐标转换图像内的所述车辆可行驶的第1可行驶区域进行检测；

障碍物区域提取部，该障碍物区域提取部基于所述第1可行驶区域，提取所述坐标转换图像内的障碍物区域；以及

障碍物位置检测部，该障碍物位置检测部基于所述障碍物区域，检测针对所述车辆的障碍物位置，并作为障碍物位置信息进行输出。

2.如权利要求1所述的障碍物检测装置，其特征在于，

包括障碍物检测区运算部，该障碍物检测区运算部将如下区域设定为障碍物检测区，所述区域是将以由所述障碍物距离检测部检测出的障碍物距离为半径的圆弧扩展成沿径向和周向具有固定宽度而得到的，

所述障碍物位置检测部将所述障碍物检测区和所述障碍物区域的叠加部分检测为针对所述车辆的障碍物位置。

3.如权利要求2所述的障碍物检测装置，其特征在于，包括：

车辆状态检测部，该车辆状态检测部对所述车辆的车辆状态进行检测；

图像存储部，该图像存储部存储多个帧所述坐标转换图像，并且将预先指定的帧数前的坐标转换图像存储为过去的坐标转换图像；以及

差分图像障碍物区域提取部，该差分图像障碍物区域提取部根据所述车辆状态、存储的坐标转换图像、以及存储的过去的坐标转换图像来运算坐标转换图像的差分，并且将产生偏差的区域输出为差分障碍物区域，

所述障碍物位置检测部将所述障碍物检测区、所述障碍物区域以及所述差分障碍物区域内的至少两个以上的叠加部分检测为针对所述车辆的障碍物位置。

4.一种利用了障碍物检测装置的自动制动装置，其特征在于，

基于如权利要求1至3的任一项所述的障碍物检测装置的所述障碍物位置信息来控制车辆的制动。

5.如权利要求4所述的利用了障碍物检测装置的自动制动装置，其特征在于，包括：

第2可行驶区域检测部，该第2可行驶区域检测部基于所述路面图像和所述直方图，对在所述路面图像内所述车辆可行驶的第2可行驶区域进行检测；

第2障碍物区域提取部，该第2障碍物区域提取部基于所述第2可行驶区域，提取所述路面图像内的第2障碍物区域；

障碍物图像提取部，该障碍物图像提取部基于所述第2障碍物区域和所述路面图像，提取所述路面图像内的障碍物图像；

障碍物识别部，该障碍物识别部识别提取出的所述障碍物图像，将识别结果作为障碍物识别信息来输出；以及

障碍物信息关联部，该障碍物信息关联部将所述障碍物位置信息和所述障碍物识别信息相关联，

根据所述障碍物信息关联部的输出来变更目标减速度。

6.一种障碍物检测方法，其特征在于，包括下述步骤：

对车辆周围的障碍物与所述车辆之间的障碍物距离进行检测的第1步骤；

获取所述车辆周边的路面图像的第2步骤；

转换所述路面图像的坐标，输出坐标转换图像的的第3步骤；

对所述坐标转换图像内、未达到障碍物距离的规定区域的图像内的直方图进行运算的的第4步骤；

基于所述坐标转换图像和所述直方图，对所述坐标转换图像内所述车辆可行驶的可行驶区域进行提取的第5步骤；

基于所述车辆的所述可行驶区域，提取障碍物区域的第6步骤；以及

基于所述障碍物区域，检测针对所述车辆的障碍物位置的第7步骤。

7.如权利要求6所述的障碍物检测方法，其特征在于，

所述第7步骤中，将障碍物检测区和所述障碍物区域的叠加部分检测为针对所述车辆的障碍物位置，所述障碍物检测区是将在离开所述障碍物距离的位置处以障碍物距离为半径的圆弧扩展成沿径向和周向具有固定宽度而得到的。

8.如权利要求7所述的障碍物检测方法，其特征在于，

所述第7步骤中，将过去的坐标转换图像和当前的坐标转换图像之间的差分产生了偏差的区域、所述障碍物检测区以及所述障碍物区域中的至少两个以上的叠加部分检测为针对所述车辆的障碍物位置。

9.一种利用了障碍物检测方法的自动制动方法，其特征在于，

基于由如权利要求6至8的任一项所述的障碍物检测方法检测出的障碍物位置来控制车辆的制动。

10.如权利要求9所述的利用了障碍物检测方法的自动制动方法，其特征在于，还具有下述步骤：

基于所述路面图像和所述直方图，提取所述路面图像内的障碍物图像的步骤；以及

识别提取出的障碍物图像的步骤，

基于识别出的障碍物图像和检测出的障碍物位置，来变更自动制动的目标减速度。

Images