CN119288303A - 车门避障控制方法、装置、车辆和存储介质 - Google Patents

Abstract

本申请涉及一种车门避障控制方法、装置、车辆和存储介质。该方法包括：在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；图像数据包含障碍物；根据图像数据，识别障碍物的属性类型和动作意图；当属性类型为人物类型，且动作意图为开门意图时，控制车门开启。本申请提供的方案，能够解决因用户的开门动作导致用户被车门的超声波雷达探测为障碍物致使用户开门失败的问题，从而能够优化避障策略，提升用户乘车体验。

Description

车门避障控制方法、装置、车辆和存储介质

技术领域

本申请涉及车辆控制技术领域，尤其涉及一种车门避障控制方法、装置和存储介质。

背景技术

随着车辆行业的发展，特别是电动化趋势的推进，自动开关车门的功能越来越普及，它可以给用户带来极大的便利性、体验感和科技感。在车门自动开启过程中，为了避免车门碰到车辆周围的障碍物而造成安全事故，可以在靠近车门外轮廓面位置安装超声波雷达，利用车门超声波雷达可以探测障碍物以实现避障功能。

相关技术中，车门外把手位置与车门超声波雷达位置在垂直方向上是同一条直线，因此当用户触摸外把手电容开关或者拉动外把手以开启车门的时候，很容易被车门超声波雷达探测为障碍物，从而触发避障功能，导致用户在车外无法打开车门的情况，影响用户乘车体验。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种车门避障控制方法、装置、车辆和存储介质，能够解决因用户的开门动作导致用户被车门的超声波雷达探测为障碍物致使用户开门失败的问题，从而能够优化避障策略，提升用户乘车体验。

本申请第一方面提供一种车门避障控制方法，包括：

在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；所述图像数据包含所述障碍物；

根据所述图像数据，识别所述障碍物的属性类型和动作意图；

当所述属性类型为人物类型，且所述动作意图为开门意图时，控制所述车门开启。

在一实施方式中，所述当所述属性类型为人物类型，且所述动作意图为开门意图时，控制所述车门开启，包括：

当所述属性类型为人物类型，且所述动作意图为开门意图时，获取所述障碍物与所述超声波雷达的目标距离；

根据所述目标距离，控制所述车门的开启角度。

在一实施方式中，所述根据所述目标距离，控制所述车门的开启角度，包括：

在所述目标距离小于或等于预设距离时，确定所述障碍物位于所述车门的运动轨迹区域内，则控制所述车门开启至第一角度，并向所述障碍物发出第一提示信息；所述第一提示信息用于指示所述障碍物远离所述车门；

直至所述目标距离大于所述预设距离时，确定所述障碍物位于所述车门的运动轨迹区域外，则控制所述车门开启至第二角度；其中，所述第二角度大于所述第一角度。

在一实施方式中，所述根据所述图像数据，识别所述障碍物的属性类型和动作意图，包括：

对所述图像数据进行目标检测，获得所述障碍物的属性类型；

当所述属性类型为人物类型时，对所述障碍物进行人体姿态估计，获得所述障碍物的动作意图。

在一实施方式中，所述图像数据包括所述侧视摄像头在所述自动开门请求的前后接收时间内采集的多帧图像帧；

所述当所述属性类型为人物类型时，对所述障碍物进行人体姿态估计，获得所述障碍物的动作意图，包括：

当所述属性类型为人物类型时，分别检测各帧所述图像帧中的所述障碍物的各个人体关节点；

在各帧所述图像帧中，按照预设顺序将各个所述人体关节点依次连接，得到各帧所述图像帧中的所述障碍物的目标姿态信息；

基于各帧所述图像帧中的所述障碍物的目标姿态信息，确定所述障碍物的姿态变化信息；

根据所述姿态变化信息，识别所述障碍物的动作意图。

在一实施方式中，所述方法还包括：

当所述属性类型为物体类型，和/或，所述动作意图为非开门意图时，控制所述车门不开启，并向用户发出第二提示信息；其中，所述第二提示信息用于向所述用户提醒所述车门的运动轨迹区域内存在障碍物信息。

在一实施方式中，所述方法还包括：

若所述超声波雷达未探测到障碍物，则控制所述车门开启至第二角度。

本申请第二方面提供一种车门避障控制装置，包括：

图像数据获取模块，用于在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；所述图像数据包含所述障碍物；

辅助信息识别模块，用于根据所述图像数据，识别所述障碍物的属性类型和动作意图；

第一控制模块，用于当所述属性类型为人物类型，且所述动作意图为开门意图时，控制所述车门开启。

本申请第三方面提供一种车辆，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被车辆的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

本申请提供的方案，在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；图像数据包含障碍物；根据图像数据，识别障碍物的属性类型和动作意图；当属性类型为人物类型，且动作意图为开门意图时，控制车门开启。本申请通过借助于侧视摄像头，可以实现视觉辅助识别障碍物类型和障碍物意图，当基于障碍物类型和障碍物意图判定为因用户的开门动作导致该用户被车门的超声波雷达探测为障碍物时，可以控制车门开启，从而优化避障策略，提升用户乘车体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其他目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的车门外把手和车门超声波雷达的位置关系示意图；

图2是本申请实施例示出的车门避障控制方法的流程示意图；

图3是本申请实施例示出的车门避障控制方法涉及的各模块之间的通讯示意图；

图4是本申请实施例示出的车门避障控制方法的另一流程示意图；

图5是本申请实施例示出的车门避障控制流程图；

图6是本申请实施例示出的车门避障控制装置的结构示意图；

图7是本申请实施例示出的车辆的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

相关技术中，为了保证车门超声波雷达有足够大的探测区域，车门超声波雷达的安装角度一般是垂直60°，水平100°，而且能够覆盖车门的运动轨迹区域，以前排车门为例，如图1所示，需将超声波雷达安装在靠近车门外轮廓面位置（靠近B柱）。车门外把手由于造型原因，而且考虑到用户在电动不能工作的情况下，手动操作车门的需求，一般也是布置在靠近车门外轮廓面位置（靠近B柱），因此车门外把手位置与车门超声波雷达位置在垂直方向上是同一条直线。当用户触摸外把手电容开关或者拉动外把手以开启车门的时候，车辆输入自动开门请求信号，由于用户就在车门附近，而且用户在FOV（Field Of View，视野）区域内，因此车门超声波雷达会反馈障碍物信息，从而触发避障功能，导致用户开门失败，影响用户乘车体验。

针对上述问题，本申请实施例提供一种车门避障控制方法，通过借助于侧视摄像头，可以实现视觉辅助识别障碍物类型和障碍物意图，当基于障碍物类型和障碍物意图判定为因用户的开门动作导致该用户被车门的超声波雷达探测为障碍物时，可以控制车门开启，从而优化避障策略，提升用户乘车体验。

以下结合附图详细描述本申请实施例的技术方案。

图2是本申请实施例示出的车门避障控制方法的流程示意图。

参见图2，本申请的车门避障控制方法，包括：

S210，在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；图像数据包含障碍物。

其中，本车门避障控制的执行主体可以是搭载于车辆上的自动门控制模块（或称为电动门控制模块）。如图3所示，自动门控制模块基于CAN（Controller Area Network，控制器局域网）与车门状态检测模块通讯连接。车门状态检测模块可以检测每个车门的状态，例如可以检测每个车门的外把手开关是否被触发，或者检测每个车门的外把手电容开关是否被触发，当检测到任一车门的外把手开关或外把手电容开关被触发时，车门状态检测模块可以输入自动开门请求，使得自动门控制模块可以接收到车门状态检测模块输入的自动开门请求。

自动开门请求的输入除了可以通过触发车门的外把手开关或外把手电容开关来实现，还可以通过触发车辆钥匙或者移动终端（例如手机终端）来实现。例如，当用户通过触发车辆钥匙去开门时，自动门控制模块可以接收到车辆钥匙输入的自动开门请求。例如，当用户通过触发手机终端去开门时，自动门控制模块可以接收到手机终端输入的自动开门请求，本申请实施例对此不作出限定。

如图3所示，自动门控制模块基于LIN（Local Interconnect Network，低成本串行通信网络）与左右两侧的超声波雷达通讯连接，由于超声波雷达的探测范围足够大，因此前排车门（主驾驶车门和副驾驶车门）可以分别配置超声波雷达，后排车门（后排左车门和后排右车门）可以无需配置超声波雷达。当然，每个车门也可以分别配置超声波雷达，本申请实施例对此不作出限定。

超声波雷达可以对外发射雷达波，由于车门的超声波雷达的探测范围能够覆盖车门的运动轨迹区域，因此如果有障碍物在车门的运动轨迹区域内，则超声波雷达可以接收到障碍物针对雷达波反射的回波；如果无障碍物在车门的运动轨迹区域内，则超声波雷达接收不到障碍物针对雷达波反射的回波。

在接收到自动开门请求时，自动门控制模块可以向车门的超声波雷达发送第一获取请求，第一获取请求用于请求获取车门的超声波雷达采集的探测数据，然后自动门控制模块可以判断探测数据是否包含障碍物信息，如果探测数据包含障碍物信息，说明车门的超声波雷达探测到障碍物；如果探测数据不包含障碍物信息，说明车门的超声波雷达未探测到障碍物。

如图3所示，自动门控制模块基于CAN网络与XPU（eXtensible Processing Unit，可扩展处理器单元）通讯连接，XPU基于LVDS（Low-Voltage Differential Signaling，低电压差分信号）网络与AVM（Around View Monitor，全景影像系统）通讯连接，AVM可以包括左右两侧的侧视摄像头，其中，左右两侧的侧视摄像头可以配置于后视镜位置。

如果车门的超声波雷达探测到障碍物，则自动门控制模块可以向XPU发送第二获取请求，XPU将第二获取请求转发至AVM，第二获取请求用于请求获取侧视摄像头采集的图像数据，由于侧视摄像头配置于后视镜位置，则侧视摄像头的采集范围与超声波雷达的探测范围重叠，因此如果车门的超声波雷达探测到障碍物，则侧视摄像头采集的图像数据包含该障碍物。

S220，根据图像数据，识别障碍物的属性类型和动作意图。

由于超声波雷达无法识别障碍物类型，也无法识别障碍物意图，因此很容易出现因用户的开门动作导致该用户被车门的超声波雷达探测为障碍物的情况，从而触发避障功能，导致用户开门失败。

对此，本申请实施例通过借助于侧视摄像头，可以实现视觉辅助识别障碍物类型和障碍物意图。具体地，XPU内置有预先训练好的YOLO模型，YOLO（You Only Look Once）是一种目标检测算法，其核心思想是将目标检测任务简化为一个回归问题，因此自动门控制模块可以调用预先训练好的目标检测模型（YOLO模型），以便通过目标检测模型对图像数据进行识别处理，获得第一识别结果和第二识别结果，第一识别结果可以包含障碍物的属性类型，第二识别结果可以包含障碍物的动作意图。

S230，当属性类型为人物类型，且动作意图为开门意图时，控制车门开启。

属性类型可以包括人物类型和物体类型中的任一种，动作意图可以包括开门意图和非开门意图中的任一种，其中，非开门意图可以是指除开门意图之外的其他意图，例如非开门意图可以包括路过意图、站立意图、停车意图等。

自动门控制模块可以先判断障碍物的属性类型是否为人物类型，再判断障碍物的动作意图是否为开门意图。

在一种示例中，当障碍物的属性类型为人物类型时，说明超声波雷达探测到的障碍物可能是用户（车主）或者是行人，因此自动门控制模块可以进一步判断障碍物的动作意图是否为开门意图。当障碍物的动作意图为开门意图时，说明超声波雷达探测到的障碍物即是用户，因用户的开门动作导致该用户被车门的超声波雷达探测为障碍物，因此自动门控制模块可以控制车门开启。

在另一种示例中，当障碍物的属性类型为人物类型时，说明超声波雷达探测到的障碍物可能是用户（车主）或者是行人，因此自动门控制模块可以进一步判断障碍物的动作意图是否为开门意图。当障碍物的动作意图为非开门意图时，例如障碍物的动作意图为路过意图，说明超声波雷达探测到的障碍物即是行人，因行人路过车辆导致该行人被车门的超声波雷达探测为障碍物，为了避免车门撞到行人，自动门控制模块可以控制车门不开启。

在又一种示例中，当障碍物的属性类型为物体类型时，说明超声波雷达探测到的障碍物是车辆周围的其他车辆、树木或交通锥等物体，因此自动门控制模块可以无需进一步判断障碍物的动作意图是否为开门意图，为了避免车门撞到物体，自动门控制模块可以控制车门不开启。

从该示例可以看出，本申请提供的方案，在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；图像数据包含障碍物；根据图像数据，识别障碍物的属性类型和动作意图；当属性类型为人物类型，且动作意图为开门意图时，控制车门开启。本申请通过借助于侧视摄像头，可以实现视觉辅助识别障碍物类型和障碍物意图，当基于障碍物类型和障碍物意图判定为因用户的开门动作导致该用户被车门的超声波雷达探测为障碍物时，可以控制车门开启，从而优化避障策略，提升用户乘车体验。

图4是本申请示出的车门避障控制方法的另一流程示意图。

参见图4，本申请的车门避障控制方法，包括：

S410，在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；图像数据包含障碍物。

在实际应用中，当用户通过触发车门的外把手开关或外把手电容开关去开门时，自动门控制模块可以接收到车门状态检测模块输入的自动开门请求。或者，当用户通过触发车辆钥匙去开门时，自动门控制模块可以接收到车辆钥匙输入的自动开门请求。或者，当用户通过触发移动终端（例如手机终端）去开门时，自动门控制模块可以接收到移动终端输入的自动开门请求。

在接收到自动开门请求时，自动门控制模块可以向车门的超声波雷达发送第一获取请求，第一获取请求用于请求获取车门的超声波雷达采集的探测数据，然后自动门控制模块可以判断探测数据是否包含障碍物信息，如果探测数据包含障碍物信息，说明车门的超声波雷达探测到障碍物；如果探测数据不包含障碍物信息，说明车门的超声波雷达未探测到障碍物。

如果车门的超声波雷达探测到障碍物，则自动门控制模块可以向XPU发送第二获取请求，XPU将第二获取请求转发至AVM，第二获取请求用于请求获取侧视摄像头采集的图像数据，由于侧视摄像头配置于后视镜位置，则侧视摄像头的采集范围与超声波雷达的探测范围重叠，因此如果车门的超声波雷达探测到障碍物，则侧视摄像头采集的图像数据包含该障碍物。

S420，根据图像数据，识别障碍物的属性类型和动作意图。

自动门控制模块可以调用预先训练好的目标检测模型（YOLO模型），以便通过目标检测模型对图像数据进行识别处理，获得第一识别结果和第二识别结果，第一识别结果可以包含障碍物的属性类型，第二识别结果可以包含障碍物的动作意图。

在一实施方式中，根据图像数据，识别障碍物的属性类型和动作意图，可以包括：

对图像数据进行目标检测，获得障碍物的属性类型；当属性类型为人物类型时，对障碍物进行人体姿态估计，获得障碍物的动作意图。

自动门控制模块可以将包含障碍物的图像数据输入至目标检测模型，目标检测模型可以对图像数据进行目标检测，以输出障碍物的属性类型。其中，目标检测过程可以包括图像划分、特性提取、边界框预测、类别预测和非极大值抑制等步骤。在图像划分步骤中，目标检测模型可以将输入的图像数据划分为多个网格，每个网格负责预测n个边界框和每个边界框的置信度，n为正整数，其中，置信度表示边界框内存在目标对象的概率和边界框的准确度。在特征提取步骤中，目标检测模型可以利用卷积神经网络提取图像特征，图像特征可以包括颜色、纹理、形状等信息。在边界框预测步骤中，每个网格根据提取到的特征预测n个边界框的坐标(x, y, w, h)和置信度，其中，(x, y)表示边界框的中心坐标，(w, h)表示边界框的宽度和高度。在类别预测步骤中，每个网格可以预测每个边界框中的目标对象的类别。在非极大值抑制步骤中，在得到所有网格的预测结果后，目标检测模型可以通过非极大值抑制算法去除冗余的边界框，以保留最佳的预测结果。目标检测模型可以从剩余的边界框中确定属于障碍物的边界框，然后输出属于障碍物的边界框内的预测结果，预测结果即是第一识别结果，第一识别结果可以包含障碍物的属性类型。

当属性类型为人物类型时，自动门控制模块可以通过目标检测模型进一步对障碍物进行识别处理，例如目标检测模型针对属于人物类型的障碍物进行人体姿态估计，以输出第二识别结果，第二识别结果可以包含障碍物的动作意图。

在一实施方式中，图像数据包括侧视摄像头在自动开门请求的前后接收时间内采集的多帧图像帧；当属性类型为人物类型时，对障碍物进行人体姿态估计，获得障碍物的动作意图，可以包括：

当属性类型为人物类型时，分别检测各帧图像帧中的障碍物的各个人体关节点；在各帧图像帧中，按照预设顺序将各个人体关节点依次连接，得到各帧图像帧中的障碍物的目标姿态信息；基于各帧图像帧中的障碍物的目标姿态信息，确定障碍物的姿态变化信息；根据姿态变化信息，识别障碍物的动作意图。

自动门控制模块获取到的图像数据可以包括侧视摄像头在自动开门请求的前后接收时间内采集的多帧图像帧，例如自动开门请求的接收时间为T，则自动开门请求的前后接收时间可以是(T-t,T+t)，其中，T为时刻，t为时长，自动门控制模块可以获取侧视摄像头在(T-t,T+t)内采集的图像数据，图像数据包括多帧图像帧。

需说明的是，侧视摄像头的数据采集格式可以是图像数据，也可以是视频数据，如果自动门控制模块获取到的是视频数据，例如自动门控制模块获取到侧视摄像头在(T-t,T+t)内采集的视频数据，则自动门控制模块可以从视频数据中截取多帧图像帧。

当属性类型为人物类型时，自动门控制模块可以通过目标检测模型分别检测每帧图像帧中的障碍物的每个人体关节点。其中，人体关节点是指连接两个或多个骨骼的点，它们允许人体的运动和灵活性，人体关节点可以包括头部关节点、颈部关节点、肩膀关节点、肘关节点、手腕关节点、腰部关节点、髋部关节点、膝关节点、踝关节点和足底关节点中的至少一种。在每帧图像帧中，自动门控制模块可以通过目标检测模型按照预设顺序将每个人体关节点依次连接，从而得到每帧图像帧中的障碍物的目标姿态信息，其中，预设顺序可以根据人体结构和运动的描述体系设定，例如预设顺序可以是：头部关节点→颈部关节点→肩膀关节点→肘关节点→手腕关节点→腰部关节点→髋部关节点→膝关节点→踝关节点→足底关节点。通过目标姿态信息可以分析出障碍物在当前图像帧中的人体各部位的空间位置，因此基于每帧图像帧中的障碍物的目标姿态信息，可以确定障碍物的姿态变化信息。通过姿态变化信息可以分析出障碍物在自动开门请求的前后接收时间内的运动轨迹、姿势和动作幅度，因此可以根据姿态变化信息，识别得到障碍物的动作意图。

S430，当属性类型为人物类型，且动作意图为开门意图时，获取障碍物与超声波雷达的目标距离。

属性类型可以包括人物类型和物体类型中的任一种，动作意图可以包括开门意图和非开门意图中的任一种，其中，非开门意图可以是指除开门意图之外的其他意图，例如非开门意图可以包括路过意图、站立意图、停车意图等。

自动门控制模块可以先判断障碍物的属性类型是否为人物类型，再判断障碍物的动作意图是否为开门意图。

当障碍物的属性类型为人物类型时，说明超声波雷达探测到的障碍物可能是用户（车主）或者是行人，因此自动门控制模块可以进一步判断障碍物的动作意图是否为开门意图。当障碍物的动作意图为开门意图时，说明超声波雷达探测到的障碍物即是用户，因用户的开门动作导致该用户被车门的超声波雷达探测为障碍物，为了避免车门撞到用户，自动门控制模块可以获取障碍物（用户）与超声波雷达的目标距离。

超声波雷达对外发射雷达波，并在发射时刻开始计时，当雷达波在空气中传播遇到障碍物时，会立即反射回来，反射的雷达波可以称为回波，超声波雷达接收到回波时停止计时，通过计算雷达波的发射时间和回波的接收时间的时间差，可以计算出障碍物与超声波雷达的目标距离。

S440，根据目标距离，控制车门的开启角度。

为了避免车门撞到用户，自动门控制模块可以根据障碍物（用户）与超声波雷达的目标距离，以便根据目标距离，精准控制车门的开启角度。

在一实施方式中，根据目标距离，控制车门的开启角度，可以包括：

在目标距离小于或等于预设距离时，确定障碍物位于车门的运动轨迹区域内，则控制车门开启至第一角度，并向障碍物发出第一提示信息；第一提示信息用于指示障碍物远离车门；直至目标距离大于预设距离时，确定障碍物位于车门的运动轨迹区域外，则控制车门开启至第二角度；其中，第二角度大于第一角度。

由于车门的超声波雷达的探测范围能够覆盖车门的运动轨迹区域，因此可以基于障碍物与超声波雷达的目标距离，判断障碍物是否位于车门的运动轨迹区域内，其中，车门的运动轨迹区域是指开门区域，例如车门从最小角度开启至最大角度过程中的弧形区域。

当障碍物与超声波雷达的目标距离小于或等于预设距离时，说明障碍物当前位于车门的运动轨迹区域内，为了避免车门撞到用户，自动门控制模块可以小角度开门，同时提醒用户远离，以便顺利完成开门动作。具体地，如图3所示，自动门控制模块基于CAN网络与左右两侧的电动撑杆和ECU（Electronic Control Unit，电子控制单元）通讯连接，在确定障碍物位于车门的运动轨迹区域内时，自动门控制模块可以向电动撑杆和ECU发送第一控制请求，第一控制请求用于驱动电动撑杆和ECU控制车门开启至第一角度，第一角度可以设置为5%的小角度，这样既开启车门，也不会撞到用户。与此同时，自动门控制模块可以向中控HMI（Human Machine Interface，人机界面）发送第一提示信息，使得HMI可以向障碍物（用户）语音发出第一提示信息，第一提示信息用于指示障碍物（用户）远离车门。

在车门开启第一角度后，自动门控制模块可以实时监测障碍物与超声波雷达的目标距离是否大于预设距离。如果障碍物与超声波雷达的目标距离仍然小于或等于预设距离，则自动门控制模块控制车门停止，以使车门维持在第一角度。如果障碍物与超声波雷达的目标距离大于预设距离，说明障碍物当前位于车门的运动轨迹区域外，这样车门即使开启至最大角度也不会撞到用户，因此自动门控制模块可以向电动撑杆和ECU发送第二控制请求，第二控制请求用于驱动电动撑杆和ECU控制车门开启至第二角度，第二角度可以设置为最大角度，这样用户可以方便上车，从而优化避障策略，提升用户乘车体验。

在一实施方式中，该方法还可以包括：

当属性类型为物体类型，和/或，动作意图为非开门意图时，控制车门不开启，并向用户发出第二提示信息；其中，第二提示信息用于向用户提醒车门的运动轨迹区域内存在障碍物信息。

在一种示例中，当障碍物的属性类型为人物类型，且障碍物的动作意图为非开门意图时，例如障碍物的动作意图为路过意图，说明用户（车主）在超声波雷达的探测区域外通过触发车辆钥匙或者移动终端去开门，但是有行人路过车辆导致该行人被车门的超声波雷达探测为障碍物，为了避免车门撞到行人，自动门控制模块可以控制车门不开启，并且可以向移动终端（例如手机终端）发送第二提示信息，使得移动终端（例如手机终端）可以向用户语音发出第二提示信息，第二提示信息用于向用户提醒车门的运动轨迹区域内存在障碍物信息，这样用户能够及时了解当前不适合开门，从而优化避障策略，提升用户乘车体验。

在另一种示例中，当障碍物的属性类型为物体类型时，说明用户（车主）在超声波雷达的探测区域外通过触发车辆钥匙或者移动终端去开门，但是车辆周围有其他车辆、树木或交通锥等物体导致超声波雷达探测到障碍物，为了避免车门撞到物体，自动门控制模块可以控制车门不开启，并且可以向移动终端（例如手机终端）发送第二提示信息，使得移动终端（例如手机终端）可以向用户语音发出第二提示信息，第二提示信息用于向用户提醒车门的运动轨迹区域内存在障碍物信息，这样用户能够及时了解当前不适合开门，从而优化避障策略，提升用户乘车体验。

在一实施方式中，该方法还可以包括：

若超声波雷达未探测到障碍物，则控制车门开启至第二角度。

在一种示例中，在接收到自动开门请求时，如果车门的超声波雷达没有探测到障碍物，说明用户（车主）在超声波雷达的探测区域外通过触发车辆钥匙或者移动终端去开门，且车辆周围没有行人，也没有其他车辆、树木或交通锥等物体，因此超声波雷达没有检测到障碍物，则自动门控制模块可以控制车门开启。具体地，自动门控制模块可以向电动撑杆和ECU发送第三控制请求，第三控制请求用于驱动电动撑杆和ECU控制车门开启至第二角度，第二角度可以设置为最大角度，这样用户可以方便上车，从而优化避障策略，提升用户乘车体验。

从该示例可以看出，本申请通过借助于侧视摄像头，可以实现视觉辅助识别障碍物类型和障碍物意图，当基于障碍物类型和障碍物意图判定为因用户的开门动作导致该用户被车门的超声波雷达探测为障碍物时，可以控制车门开启，从而优化避障策略，提升用户乘车体验。

进一步地，本申请利用目标检测模型（YOLO模型）对用户开门意图进行二次判断，当判定为因用户的开门动作导致该用户被车门的超声波雷达探测为障碍物时，可以小角度开门，并且提醒用户远离车门，从而顺利完成开门动作。

进一步地，本申请通过对当前用户痛点问题进行分析，设计开门避障逻辑策略，借助当前车辆的原有传感器（超声波雷达+侧视摄像头），即可有效解决因用户的开门动作导致用户被车门的超声波雷达探测为障碍物致使用户开门失败的问题，实现成本低，实现效果好。

图5是车门避障控制流程图，为了使本领域技术人员能够更好地理解本申请实施例，下面通过以下示例对本申请实施例加以说明。

S501，接收自动开门请求；其中，自动开门请求的输入可以包括通过触发车门的外把手开关或外把手电容开关、通过触发车辆钥匙、通过触发移动终端等方式来实现。

S502，判断车门的超声波雷达是否探测到障碍物；若是，则进入步骤S503；若否，则进入步骤S512。

S503，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；其中，图像数据包含障碍物。

S504，根据图像数据，识别障碍物的属性类型和动作意图。

S505，判断障碍物的属性类型是否为人物类型；若是，则进入步骤S506；若否，则进入步骤S511。

S506，若障碍物的属性类型为人物类型，则判断障碍物的动作意图是否为开门意图；若是，则进入步骤S507；若否，则进入步骤S511。

S507，若障碍物的动作意图为开门意图，则控制车门开启至第一角度（第一角度可以是5%的小角度），并语音提醒用户远离车门。

S508，判断用户是否位于车门的运动轨迹区域外；若是，则进入步骤S509；若否，则进入步骤S510。

S509，若用户位于车门的运动轨迹区域外，则控制车门开启至第二角度（第二角度可以是最大角度），结束流程。

S510，若用户位于车门的运动轨迹区域内，则控制车门停止，以使车门维持在第一角度，并返回至步骤S508。

S511，若障碍物的属性类型为物体类型，和/或，障碍物的动作意图为非开门意图，则控制车门不开启，并语音提醒用户在车门的运动轨迹区域内有障碍物信息，结束流程。

S512，若车门的超声波雷达未探测到障碍物，则控制车门开启至第二角度（第二角度可以是最大角度），结束流程。

与前述应用功能实现方法实施例相对应，本申请还提供了一种车门避障控制装置、车辆、计算机可读存储介质及相应的实施例。

图6是本申请实施例示出的车门避障控制装置的结构示意图。

参见图6，本申请提供的一种车门避障控制装置，该装置可以包括：

图像数据获取模块610，用于在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；所述图像数据包含所述障碍物；

辅助信息识别模块620，用于根据所述图像数据，识别所述障碍物的属性类型和动作意图；

第一控制模块630，用于当所述属性类型为人物类型，且所述动作意图为开门意图时，控制所述车门开启。

在一实施方式中，第一控制模块630可以包括：

目标距离获取子模块，用于当属性类型为人物类型，且动作意图为开门意图时，获取障碍物与超声波雷达的目标距离；

开启角度控制子模块，用于根据目标距离，控制车门的开启角度。

在一实施方式中，开启角度控制子模块可以包括：

第一角度开启单元，用于在目标距离小于或等于预设距离时，确定障碍物位于车门的运动轨迹区域内，则控制车门开启至第一角度，并向障碍物发出第一提示信息；第一提示信息用于指示障碍物远离车门；

第二角度开启单元，用于直至目标距离大于预设距离时，确定障碍物位于车门的运动轨迹区域外，则控制车门开启至第二角度；其中，第二角度大于第一角度。

在一实施方式中，辅助信息识别模块620可以包括：

目标检测子模块，用于对图像数据进行目标检测，获得障碍物的属性类型；

人体姿态估计子模块，用于当属性类型为人物类型时，对障碍物进行人体姿态估计，获得障碍物的动作意图。

在一实施方式中，图像数据包括侧视摄像头在自动开门请求的前后接收时间内采集的多帧图像帧；

人体姿态估计子模块可以包括：

人体关节点检测单元，用于当属性类型为人物类型时，分别检测各帧图像帧中的障碍物的各个人体关节点；

人体关节点连接单元，用于在各帧图像帧中，按照预设顺序将各个人体关节点依次连接，得到各帧图像帧中的障碍物的目标姿态信息；

姿态变化信息确定单元，用于基于各帧图像帧中的障碍物的目标姿态信息，确定障碍物的姿态变化信息；

动作意图识别单元，用于根据所述姿态变化信息，识别所述障碍物的动作意图。

在一实施方式中，该装置还可以包括：

第二控制模块，用于当属性类型为物体类型，和/或，动作意图为非开门意图时，控制车门不开启，并向用户发出第二提示信息；其中，第二提示信息用于向用户提醒车门的运动轨迹区域内存在障碍物信息。

在一实施方式中，该装置还可以包括：

第三控制模块，用于若超声波雷达未探测到障碍物，则控制车门开启至第二角度。

从该示例可以看出，本申请提供的方案，在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；图像数据包含障碍物；根据图像数据，识别障碍物的属性类型和动作意图；当属性类型为人物类型，且动作意图为开门意图时，控制车门开启。本申请通过借助于侧视摄像头来辅助判断障碍物的属性类型和动作意图，当基于属性类型和动作意图判定为因用户的开门动作导致用户被车门的超声波雷达误判为障碍物时，可以控制车门开启，从而解决因超声波雷达的误判而导致无法开启车门的问题，实现避障策略的优化，提升用户乘车体验。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图7是本申请实施例示出的车辆的结构示意图。

参见图7，车辆700包括存储器710和处理器720。

处理器720可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器710可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器720或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器710可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器710可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等）、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器710上存储有可执行代码，当可执行代码被处理器720处理时，可以使处理器720执行上文述及的方法中的部分或全部。

另外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种计算机可读存储介质（或非暂时性机器可读存储介质或机器可读存储介质），其上存储有可执行代码（或计算机程序或计算机指令代码），当可执行代码（或计算机程序或计算机指令代码）被车辆的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种车门避障控制方法，其特征在于，包括：

在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；所述图像数据包含所述障碍物；

根据所述图像数据，识别所述障碍物的属性类型和动作意图；

当所述属性类型为人物类型，且所述动作意图为开门意图时，控制所述车门开启。

2.根据权利要求1所述的方法，其特征在于，所述当所述属性类型为人物类型，且所述动作意图为开门意图时，控制所述车门开启，包括：

当所述属性类型为人物类型，且所述动作意图为开门意图时，获取所述障碍物与所述超声波雷达的目标距离；

根据所述目标距离，控制所述车门的开启角度。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标距离，控制所述车门的开启角度，包括：

在所述目标距离小于或等于预设距离时，确定所述障碍物位于所述车门的运动轨迹区域内，则控制所述车门开启至第一角度，并向所述障碍物发出第一提示信息；所述第一提示信息用于指示所述障碍物远离所述车门；

直至所述目标距离大于所述预设距离时，确定所述障碍物位于所述车门的运动轨迹区域外，则控制所述车门开启至第二角度；其中，所述第二角度大于所述第一角度。

4.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据，识别所述障碍物的属性类型和动作意图，包括：

对所述图像数据进行目标检测，获得所述障碍物的属性类型；

当所述属性类型为人物类型时，对所述障碍物进行人体姿态估计，获得所述障碍物的动作意图。

5.根据权利要求4所述的方法，其特征在于，所述图像数据包括所述侧视摄像头在所述自动开门请求的前后接收时间内采集的多帧图像帧；

所述当所述属性类型为人物类型时，对所述障碍物进行人体姿态估计，获得所述障碍物的动作意图，包括：

当所述属性类型为人物类型时，分别检测各帧所述图像帧中的所述障碍物的各个人体关节点；

在各帧所述图像帧中，按照预设顺序将各个所述人体关节点依次连接，得到各帧所述图像帧中的所述障碍物的目标姿态信息；

基于各帧所述图像帧中的所述障碍物的目标姿态信息，确定所述障碍物的姿态变化信息；

根据所述姿态变化信息，识别所述障碍物的动作意图。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述属性类型为物体类型，和/或，所述动作意图为非开门意图时，控制所述车门不开启，并向用户发出第二提示信息；其中，所述第二提示信息用于向所述用户提醒所述车门的运动轨迹区域内存在障碍物信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述超声波雷达未探测到障碍物，则控制所述车门开启至第二角度。

8.一种车门避障控制装置，其特征在于，包括：

图像数据获取模块，用于在接收到自动开门请求时，若车门的超声波雷达探测到障碍物，则获取侧视摄像头采集的图像数据；所述图像数据包含所述障碍物；

辅助信息识别模块，用于根据所述图像数据，识别所述障碍物的属性类型和动作意图；

第一控制模块，用于当所述属性类型为人物类型，且所述动作意图为开门意图时，控制所述车门开启。

9.一种车辆，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被车辆的处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。