CN114495167A - 一种基于dlp的智能交互解锁系统及方法 - Google Patents

Abstract

一种基于DLP的智能交互解锁系统及方法，包括供电、DLP投影、信息采集、预处理、决策融合和执行单元。系统开启，DLP投影单元将解锁界面投影至地面上，用户通过脚踩解锁界面来进行交互操作。信息采集单元负责采集用户的脚部信息，并传输至控制器，控制器根据采集到的信息，在经过信号预处理、数据融合、特征提取、分类识别、控制决策一系列流程后，判断出用户脚踩动作对应的交互信息，输出对应指令，执行车辆解锁的操作。本发明是基于毫米波雷达和红外相机这两种传感器的融合检测方法，并应用于车载环境下的投影交互。毫米波雷达可精确获得脚部的速度信息，相机可以提供准确的物体类别信息，两种传感器融合互补，大大提高了检测的精确性。

Description

一种基于DLP的智能交互解锁系统及方法

技术领域

本发明属于本发明涉及投影交互技术领域，尤其是涉及一种车载投影交互组件以及人与车之间的交互技术。

背景技术

随着车辆智能化和互动多媒体技术的发展，人们对人车交互的需求越来越多，要求也越来越高。很多时候，汽车已不单单作为一个交通工具，其功能的智能化，多样化，甚至成为一个移动的办公室或者娱乐室，从而解决了不同人群对汽车的需求，并且适应了现代人高质量、便捷化、智能化生活的要求。

近年来，车载信息娱乐和信息通信系统正逐渐成为汽车厂商追捧的热点，越来越多的智能化操作在汽车中得到应用。但现有的车辆，智能系统还不够支持人们特定的需求，人车的交互性较差，车辆解锁智能化不够，例如，车主遗忘或者丢失车钥匙，又或者手机关机无法使用APP开车门。此外，人们也不再满足于这些传统方法实现的人车交互，而是需要一种更自然、更具娱乐性的交互方式。

因此，如何解决现有技术中的汽车功能性单一，交互性能较差，客户的体验感较差、交互的新颖性不足成为本领域技术人员亟待解决的技术问题。

发明内容

为了解决上述技术问题，本发明提供一种基于DLP的智能交互解锁系统及方法。

本发明的技术方案：一种基于DLP(DLP是"Digital Light Processing"的缩写，即为数字光处理)的智能交互解锁系统及方法。系统主要包括供电单元、DLP投影单元、信息采集单元、预处理单元、决策融合单元和执行单元。系统开启后，DLP投影单元将解锁界面投影至地面上，用户可脚踩解锁界面来进行交互解锁。信息采集单元负责采集用户的脚部信息，包括类别、速度、位置等，传输至决策融合单元，并与相应投影区域的坐标进行比较后输出对应指令，交由执行单元进行车辆的解锁操作。

所述的供电单元负责整个系统的供电，并可以诊断出外接设备电源的短路断路、通讯故障等信息，从而起到保护作用。

所述的DLP投影单元，具有自校正功能，保障投影效果不发生畸变。

所述的信息采集单元是由短距毫米波雷达和红外相机组成，安装在主驾驶一侧，负责采集用户的交互信息，短距雷达更适用于本系统的检测场景，红外相机的使用滤除了图像的可见光信息，解决了投影仪光线的干扰，为系统的图像处理过程提供了可能，也实现了相机的夜间检测功能。

所述的预处理单元和决策融合单元，均属于控制器组件，各组件间通过CAN通信，当传感器获取脚部数据后，控制器进行信号预处理、数据融合、特征提取、分类识别和控制决策。

一种基于DLP的智能交互解锁方法，所述的方法包括：

DLP投影单元自校正后，将解锁界面准确投影至相应投影区域的地面上。

用户通过脚踩方式人车交互，信号采集单元将检测到的用户脚部数据传递给预处理单元进行解析和滤波处理，然后传输给决策融合单元。

决策融合单元在得到毫米波雷达数据和图像数据后，进行时空融合和特征融合，完成两种传感器的坐标系转换和时间维度上的同步对准，以及获取特征信息和有效目标的提取。

将速度阈值v_τ时的脚部位置坐标与解锁界面的相应投影区域坐标进行对比，得出交互结果，并由执行单元进行解锁操作。

本发明的有益效果：以本发明提供的技术方案可以通过投影方式将解锁界面投影至地面上，用户通过脚踩相应的投影区域来实现人车交互。系统利用视觉融合雷达技术，在经过信号预处理、数据融合、特征提取、分类识别、控制决策一系列流程后，精准判断出用户脚踩动作对应的交互信息，输出对应指令，执行车辆解锁的操作。解决了现有技术中的汽车功能性单一，交互性能较差，客户的体验感较差、交互的新颖性不足的技术问题，极大地提高了汽车的功能性、交互性、娱乐性，用户的体验感得到较好的提升。

附图说明

图1是本发明系统总体框图；

图2是本发明系统总体示意图；

图3是本发明预处理单元的有效滤波流程图；

图4是本发明雷达坐标系与世界坐标系转换示意图；

图5是本发明相机坐标系与世界坐标系转换示意图；

图6是本发明像素坐标系与图像坐标系转换示意图；

图7是本发明融合决策单元的时间融合示意图。

具体实施方式

下面我们结合实际的产品原理和附图对本发明的一种基于DLP的智能交互解锁系统详细说明。

如图1所示，本发明的一种基于DLP的智能交互解锁系统，包括供电单元、DLP投影单元、信息采集单元、预处理单元、决策融合单元和执行单元。供电单元负责整个系统的供电和电路保护。DLP投影单元，具有自校正功能，负责投影解锁界面。信息采集单元由4D毫米波雷达和红外相机组成，安装在主驾驶一侧，负责采集用户的交互信息。预处理单元和决策融合单元，均属于控制器组件，当传感器获取脚部数据后，由控制器进行信号预处理、数据融合、特征提取、分类识别和控制决策。执行单元在得到相应指令后，负责执行车辆的解锁操作。

如图2所示，DLP投影单元自校正后，将解锁界面准确投影至相应投影区域的地面上。用户通过脚踩方式人车交互，信号采集单元将检测到的用户脚部数据传递给预处理单元进行解析和滤波处理，然后传输给决策融合单元。决策融合单元在得到毫米波雷达数据和图像数据后，进行时空融合和特征融合，完成两种传感器的坐标系转换和时间维度上的同步对准，以及获取特征信息和有效目标的提取。最后，将脚部位置坐标与解锁界面的相应投影区域坐标进行对比，得出交互结果，并由执行单元进行解锁操作。

如图3所示，预处理单元根据4D毫米波雷达产品特性以及在实际使用过程中遇到的情况设置毫米波雷达有效目标数据滤波条件，为毫米波雷达有效目标的筛选提供合理的判断规则。滤波程序将根据判断规则，对雷达每个周期内的数据进行预处理，剔除干扰数据。

本发明融合决策单元的空间融合主要通过对两种传感器数据的坐标转换来完成，其中包括雷达坐标系与世界坐标系的转换、相机坐标系与世界坐标系的转换、相机坐标系与图像坐标系的转换以及像素坐标系与图像坐标系的转换等。

首先是雷达坐标系与世界坐标系的转换，如图4所示，假设毫米波雷达位置为O_r，毫米波雷达波束发射面为X_rO_rY_r，毫米波雷达发射波束的方向为Z_r，该坐标轴方向垂直于毫米波雷达，Y_r方向垂直于地面向上，X_r方向垂直于向右，将O_r-X_rY_rZ_r确定为毫米波雷达坐标系。O_w-X_wrY_wZ_w确定为世界坐标系，其三个坐标平面分别平行于上述雷达坐标系，坐标轴指向也分别相同。雷达坐标系平面与世界坐标系平面的距离为H，垂直于雷达表面的方向设定为0度方向，顺时针角度为正，逆时针角度为负，假设毫米波雷达探测到脚部目标为P，其径向距离为R，偏航角为α，则其在世界坐标系下的坐标可通如下公式计算得到：

相机坐标系与世界坐标系的转换如图5所示，O_w-X_wY_wZ_w是世界坐标，O_c-X_cY_cZ_c是相机坐标系，坐标系原点O_c是相机的镜头中心，Z_c是相机的光轴，垂直穿过成像平面xO₁y，与成像平面的交点为O₁。

相机坐标系与世界坐标系之间的转换关系可以用旋转矩阵R和平移向量T来表示，对于三维空间中的一点P，其在世界坐标系和相机坐标系中的坐标分别为(X_w,Y_w,Z_w)和(X_c,Y_c,Z_c)，它们之间存在如下关系：

相机坐标系与图像坐标系的转换，设相机坐标系中的一点P(X_c,Y_c,Z_c)，在成像平面中的投影点则为P’，在图像坐标系中的坐标为(x,y)，P’点就是P点与相机光心O_c的连线O_cP与成像平面xO₁y的交点。根据小孔成像的原理，P点和P’点存在相似关系，根据相似原理可得：

其中，f是相机的焦距，将上式转化为矩阵形式进行表示，即相机坐标系到图像坐标系的转换如下：

图像坐标系到像素坐标系的转换如图6所示，在成像平面上以左上角为原点建立以像素为单位的像素坐标系uO₀v，坐标轴O₀u、O₀v分别与图像坐标系中的坐标轴O₁x、O₁y平行，对于图像上的每一个像素点，其横坐标u代表该像素在图像数组中所在的列数，纵坐标v代表所在的行数，单位是像素单位，需将像素单位与物理单位进行联系，使用d_x和d_y分别表示每个像素在横轴x与纵轴y上的物理尺寸，图像坐标系中的原点O₁在像素坐标系中的坐标为(u₀,v₀)，则图像中的每个像素在像素坐标系uO₀v中的坐标与在图像坐标系xO₁y中的坐标之间存在如下的关系：

用矩阵形式进行表示为：

如图7所示，本发明所选用的毫米波雷达的采样频率为20Hz，摄像头的采样帧速率为30fps。由于两种传感器的采样速率不一致，需要对其采用多线程时间同步的方法以获取同一时刻的环境信息，选用两种传感器采样周期的最小公倍数作为系统的采样周期，即传感器融合系统的采样周期为100ms。

Claims (5)

1.一种基于DLP的智能交互解锁系统，其特征在于，包括供电单元、DLP投影单元、信息采集单元、预处理单元、决策融合单元和执行单元，各单元之间采用CAN通信，

所述的供电单元负责整个智能交互解锁系统的供电，并能够诊断出外接设备电源的短路、断路、通讯故障信息，起保护作用；

所述的DLP投影单元用于投影解锁界面，具有自校正功能，能够保障投影效果不发生畸变；

所述的信息采集单元是由4D毫米波雷达和红外相机组成，设置在主驾驶一侧，负责采集用户的交互信息，4D毫米波雷达的短距模式用于智能交互解锁系统的场景检测，红外相机用于滤除图像的可见光信息，避免投影仪光线的干扰；

所述的预处理单元属于控制器组件，对信息采集单元返回的图像信息，采用YoloX算法进行目标检测，对信息采集单元返回的各字段进行解析以计算真实值，同时对4D毫米波雷达输出目标信息进行滤波处理，得到目标位置及运动数据，以便之后进行进一步决策；

所述的决策融合单元属于控制器组件，将4D毫米波雷达数据与图像数据的时间融合、空间融合、特征融合，之后进行控制决策；

所述的执行单元在接收到相关解锁指令后，实现车辆解锁。

2.一种基于DLP的智能交互解锁方法，其特征在于：是通过权利要求1所述的一种基于DLP的智能交互解锁系统实现的，包括以下步骤：

步骤一，DLP投影单元自校正后，将解锁界面准确投影至相应投影区域的地面上；

步骤二，信号采集单元将检测到的用户脚部数据传递给预处理单元进行解析和滤波处理，然后传输给决策融合单元；

步骤三，决策融合单元在得到4D毫米波雷达数据和图像数据后，进行时空融合和特征融合，完成两种传感器的坐标系转换和时间维度上的同步对准，以及提取特征信息和有效目标的提取；

步骤四，决策融合单元利用特征融合的信息，判断脚步动作，并进一步将脚部位置坐标与解锁界面的相应投影区域坐标进行对比，得出决策后的交互结果，并由执行单元进行解锁操作。

3.根据权利要求2所述的一种基于DLP的智能交互解锁方法，其特征在于：

所述方法中的时空融合，具体方案如下：

4D毫米波雷达与红外相机的空间融合通过对两种传感器数据的坐标转换来完成，其中包括雷达坐标系与世界坐标系的转换、相机坐标系与世界坐标系的转换、相机坐标系与图像坐标系的转换以及像素坐标系与图像坐标系的转换；此外，在坐标转换过程中还需对红外相机进行参数标定，并对两种传感器联合标定以完成空间融合；

4D毫米波雷达与红外相机的时间融合通过选用两种传感器采样周期的最小公倍数作为系统的采样周期。

4.根据权利要求2所述的一种基于DLP的智能交互解锁方法，其特征在于：所述决策融合单元在进行决策的过程：数据进行时空融合和特征融合后，需设置一个速度阈值v_τ，当脚部移动速度大于v_τ时，视作正在移动，即视为脚部处于抬起动作；当脚部移动速度小于或等于v_τ时，视作停止移动，即视为脚部处于踩下动作，选取脚步踩下时的脚部位置坐标与解锁界面的相应投影区域坐标进行对比，若脚部位置坐标与预设密码对应的投影区域坐标完全匹配，则执行单元进行解锁；所述的脚部移动速度、脚部位置坐标均是通过特征融合后选取的。

5.根据权利要求2所述的一种基于DLP的智能交互解锁方法，其特征在于：所述方法中的特征融合，是用来解决两种传感器的数据冲突情况，当两者检测数据发生冲突时，目标特征信息由两传感器根据优势共同提供，具体方案如下：

目标类型，红外相机摄像头优先级大于4D毫米波雷达；

横向距离，4D毫米波雷达优先级大于红外相机摄像头；

纵向距离，4D毫米波雷达优先级大于红外相机摄像头；

相对速度，4D毫米波雷达优先级大于红外相机摄像头。

Images