CN111830470B - 联合标定方法及装置、目标对象检测方法、系统及装置 - Google Patents

Abstract

本申请提供一种目标对象检测方法及装置，包括：在车载相机采集的图像中检测车辆周围的图像目标，获取各图像目标在图像中的坐标，针对每个图像目标，根据该图像目标在图像中的坐标和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵确定在毫米波雷达坐标系中的坐标，并确定该图像目标在图像经过坐标转换后得到的能量图中的能量，同时根据该图像目标在图像中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵确定该图像目标在激光雷达坐标系中的坐标，并确定该图像目标在图像经过坐标转换后得到的高度图中的高度；根据能量和高度从图像目标中筛选满足条件的目标对象，以将误检的目标对象剔除，提高目标对象检出准确度。

Description

联合标定方法及装置、目标对象检测方法、系统及装置

技术领域

本申请涉及目标检测技术领域，尤其涉及一种联合标定方法及装置、目标对象检测方法、系统及装置。

背景技术

目前在智能监控或智能驾驶领域，通常是采用传统算法或深度学习方法，检测摄像机采集的视频图像中的某些特定目标对象，并在检测到特定目标对象时，进行预警提示或进行驾驶决策。然而，单独由传统算法或深度学习方法实现的目标对象检测，可能存在误检的情况，进而导致错误提示或者错误决策。

发明内容

有鉴于此，本申请提供一种目标对象检测方法、系统及装置，以解决相关技术中的检测方式存在误检的问题。

根据本申请实施例的第一方面，提供一种联合标定方法，所述方法应于包括毫米波雷达、激光雷达和车载相机的系统中，所述毫米波雷达、所述激光雷达与所述车载相机进行数据采集的视场区域相同，所述方法包括：

获取M组由毫米波雷达、激光雷达和车载相机同步采集的标定目标的标定参数；其中，所述M为大于等于4的正整数，每组标定参数包括预设位置的标定目标分别在毫米波雷达坐标系中的坐标信息、激光雷达坐标系中的坐标信息、图像坐标系中的坐标信息，且任意两组标定参数是所述标定目标在不同位置时得到的；

依据所述M组标定参数，确定所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间转换的变换矩阵中各元素的元素值，其中每组标定参数中的激光雷达坐标系中的坐标信息的高度信息不用于所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间的标定。

根据本申请实施例的第二方面，提供一种联合标定装置，所述装置应于包括毫米波雷达、激光雷达和车载相机的系统中，所述毫米波雷达、所述激光雷达与所述车载相机进行数据采集的视场区域相同，所述装置包括：

获取模块，用于获取M组由毫米波雷达、激光雷达和车载相机同步采集的标定目标的标定参数；其中，所述M为大于等于4的正整数，每组标定参数包括预设位置的标定目标分别在毫米波雷达坐标系中的坐标信息、激光雷达坐标系中的坐标信息、图像坐标系中的坐标信息，且任意两组标定参数是所述标定目标在不同位置时得到的；

标定模块，用于依据所述M组标定参数，确定所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间转换的变换矩阵中各元素的元素值，其中每组标定参数中的激光雷达坐标系中的坐标信息的高度信息不用于所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间的标定。

应用本申请实施例，通过获取4组以上由毫米波雷达、激光雷达和车载相机同步采集的标定目标的标定参数，并在忽略激光雷达坐标系中的高度信息条件下，实现毫米波雷达、激光雷达和车载相机三者之间的两两标定，以用于任意两者之间坐标的互相转换。

根据本申请实施例的第三方面，提供一种目标对象检测方法，所述方法应用于上述第一方面所述的系统中，包括：

在所述车载相机采集的视频图像中检测车辆周围的所有图像目标，并获取各图像目标在所述视频图像的图像坐标系中的坐标信息；

针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息；根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息；

针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息；根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息；

根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

根据本申请实施例的第四方面，提供一种目标对象检测系统，所述系统包括：车载相机、激光雷达、毫米波雷达以及处理器；所述毫米波雷达、所述激光雷达与所述车载相机均设置于车辆上，且三者进行数据采集的视场区域相同；

所述车载相机，用于采集所述视场区域的视频图像并发送至处理器；

所述激光雷达，用于采集所述视场区域中每点在激光雷达坐标系中的坐标信息和高度信息并发送至处理器；

所述毫米波雷达，用于采集所述视场区域中每点在激光雷达坐标系中的坐标信息和能量信息并发送至处理器；

所述处理器，用于在所述视频图像中检测车辆周围的所有图像目标，并获取各图像目标在所述视频图像的图像坐标系中的坐标信息；针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息；根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息；针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息；根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息；根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

根据本申请实施例的第五方面，提供一种目标对象检测装置，所述装置应用于上述第一方面所述的系统中，包括：

检测模块，用于在所述车载相机采集的视频图像中检测车辆周围的所有图像目标，并获取各图像目标在所述视频图像的图像坐标系中的坐标信息；

第一确定模块，用于针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息；根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息；

第二确定模块，用于针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息；根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息；

筛选模块，用于根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

应用本申请实施例，通过设置与相机视场区域相同的毫米波雷达和激光雷达，在相机采集的视频图像中检测到多个图像目标后，分别通过用于图像坐标系向毫米波雷达坐标系转换的变换矩阵和用于图像坐标系向激光雷达坐标系转换的变换矩阵获得各个图像目标的能量信息和高度信息，进而基于能量信息和高度信息筛选出符合条件的目标对象，以将误检的目标对象剔除，提高目标对象检出准确度。

附图说明

图1为本申请根据一示例性实施例示出的一种视频图像的目标框检出情况示意图；

图2A为本申请根据一示例性实施例示出的一种联合标定方法的实施例流程图；

图2B为本申请根据图2A所示实施例示出的一种毫米波雷达坐标系示意图；

图2C为本申请根据图2A所示实施例示出的一种激光雷达坐标系示意图；

图2D为本申请根据图2A所示实施例示出的一种联合标定系统结构图；

图2E为本申请根据图2A所示实施例示出的一种激光雷达、毫米波雷达以及车载相机的安装示意图；

图3A为本申请根据一示例性实施例示出的一种目标对象检测方法的实施例流程图；

图3B为本申请根据图3A所示实施例示出的一种能量图；

图4为本申请根据一示例性实施例示出的另一种目标对象检测方法的实施例流程图；

图5为本申请根据一示例性实施例示出的一种目标对象检测系统结构图；

图6为本申请根据一示例性实施例示出的一种目标对象检测装置的实施例结构图；

图7为本申请根据一示例性实施例示出的一种联合标定装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

假设在智能安防领域中，利用雷达和相机一起监控一个区域，假设需要检测的目标对象为运动物体，如图1所示，为采用传统算法或深度学习方法检测得到的目标框，由图1可以看出，其中有5个目标框(图1中的004、006、007、009、010)都是无效的目标框，由此可知，单独由传统算法或深度学习方法实现的目标对象检测，会存在误检，准确度比较低。

为解决上述问题，本申请提出一种目标对象检测方法，通过在车载相机采集的视频图像中检测车辆周围的所有图像目标，并获取各图像目标在视频图像的图像坐标系中的坐标信息，然后针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息，并根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息，同时针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息，并根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息，进而再根据所述能量信息和所述高度信息从视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。其中，毫米波雷达、激光雷达以及车载相机进行数据采集的视场区域相同。

基于上述描述可知，通过设置与相机视场区域相同的毫米波雷达和激光雷达，在相机采集的视频图像中检测到多个图像目标后，分别通过用于图像坐标系向毫米波雷达坐标系转换的变换矩阵和用于图像坐标系向激光雷达坐标系转换的变换矩阵获得各个图像目标的能量信息和高度信息，进而基于能量信息和高度信息筛选出符合条件的目标对象，以将误检的目标对象剔除，提高目标对象检出准确度。

需要说明的是，在进行目标对象检测之前，需要对毫米波雷达、激光雷达与车载相机三者之间的转换关系进行联合标定，以用于三者之间的互相转换。下面对毫米波雷达、激光雷达与车载相机三者之间的联合标定方法进行详细阐述：

图2A为本申请根据一示例性实施例示出的一种联合标定方法的实施例流程图，所述联合标定方法应用于包括毫米波雷达、激光雷达和车载相机的系统中，如图2A所示，所述联合标定方法包括如下步骤：

步骤201：获取M组由毫米波雷达、激光雷达和车载相机同步采集的标定目标的标定参数。

其中，所述M为大于等于4的正整数，每组标定参数包括预设位置的标定目标分别在毫米波雷达坐标系中的坐标信息、激光雷达坐标系中的坐标信息、图像坐标系中的坐标信息，且任意两组标定参数是所述标定目标在不同位置时得到的。

示例性的，标定目标在毫米波雷达坐标系中的坐标信息可以通过毫米波雷达采集的标定目标相对毫米波雷达的径向距离和方位角得到；标定目标在激光雷达坐标系中的坐标信息可以通过激光雷达直接采集得到；标定目标在图像坐标系中的坐标信息可以通过车载相机采集的标定目标图像得到。

在一示例性场景中，如图2B所示，为毫米波雷达坐标系，r和θ为毫米波雷达采集的A点的径向距离和方位角，同时毫米波雷达还会采集A点的能量信息D，由r和θ可以得到A点在毫米波雷达坐标系中的坐标信息为(r*sinθ，r*cosθ)。如图2C所示，为激光雷达坐标系，x和y为激光雷达采集的P点的水平方向距离和垂直方向距离，z为激光雷达采集的P点相对地面的高度信息。

需要说明的是，毫米波雷达属于无线电探测雷达，其采集的目标点的能量信息准确度高，并且毫米波雷达还会采集目标点的运动速度，通过运动速度可以很容易将有速度的目标和静止的目标区分开，该运动速度指的是目标点相对毫米波雷达的速度；激光雷达属于光电探测雷达，其采集的高度信息准确度高。

步骤202：依据所述M组标定参数，确定毫米波雷达坐标系、激光雷达坐标系和图像坐标系两两之间转换的变换矩阵中各元素的元素值。

其中，每组标定参数中的激光雷达坐标系中的坐标信息的高度信息不用于毫米波雷达坐标系、激光雷达坐标系和图像坐标系两两之间的标定。

通常，传感器A的坐标系中坐标点到传感器B的坐标系中坐标点的转换关系满足如下方程：

其中，(x，y)表示传感器A的坐标点，(u，v)表示传感器B的坐标点，T表示待求解的3*3的变换矩阵。

以(x，y)变换到u为例，可以变换到如下方程：

通过上述关系式，可以将t₃₃固定为1，从而由变换矩阵T中的9未知数，变为8个未知数。由于一对坐标点值能够提供2个方程，因此至少需要四对坐标点值，才能求解得到8个未知数，即M为大于等于4的正整数。假设有n对坐标点值，n≥4，传感器A的坐标点值分别为(x₁y₁)...(x_n y_n)，传感器B的坐标点值分别为(u₁ v₁)...(u_n v_n)，记T_i＝[t_i1 t_i2 t_i3]’，i＝1,2,3，U＝[u₁ u₂ … u_n]，V＝[v₁ v₂ … v_n]，I_1×n＝[1 1 … … 1]，

则变换矩阵T＝[T’₁ T’₂ T’₃]’，可以通过如下公式计算获得变换矩阵T中的8个未知数：

T₁＝(P′P)^-1P′U

T₂＝(P′P)^-1P′V

T₃＝(P′P)^-1P′I_1×n

其中，上标“′”代表转置，上标“-1”代表逆矩阵。

基于上述分析，对于图像坐标系向毫米波雷达坐标系转换的变换矩阵确定过程可以是：从M组标定参数中获取标定目标分别在毫米波雷达坐标系中的坐标信息和图像坐标系中的坐标信息，并通过将毫米波雷达坐标系中的坐标信息和图像坐标系中的坐标信息输入至由毫米波雷达坐标系的雷达坐标点、图像坐标系的像素坐标点以及待求解的用于图像坐标系向毫米波雷达坐标系转换的变换矩阵组成的方程中，以求解得到待求解的用于图像坐标系向毫米波雷达坐标系转换的变换矩阵的各元素的元素值。

其中，由毫米波雷达坐标系的雷达坐标点、图像坐标系的像素坐标点以及待求解的用于图像坐标系向毫米波雷达坐标系转换的变换矩阵组成的方程，即为上述所述的(方程1)：(x，y)表示图像坐标系中的像素坐标点，(u，v)表示毫米波雷达坐标系的雷达坐标点，T表示待求解的用于图像坐标系向毫米波雷达坐标系转换的变换矩阵。通过将毫米波雷达坐标系中的坐标信息和图像坐标系中的坐标信息输入(方程1)中，可以得到用于图像坐标系向毫米波雷达坐标系转换的变换矩阵的各元素的元素值。

对于图像坐标系向激光雷达坐标系转换的变换矩阵确定过程可以是：从所述M组标定参数中获取所述标定目标分别在激光雷达坐标系中的坐标信息和图像坐标系中的坐标信息，并通过将所述激光雷达坐标系中的雷达坐标点值和所述图像坐标系中的像素坐标点值输入至由激光雷达坐标系的雷达坐标点、图像坐标系的像素坐标点以及待求解的用于图像坐标系向激光雷达坐标系转换的变换矩阵组成的方程中，以求解得到待求解的用于图像坐标系向激光雷达坐标系转换的变换矩阵的各元素的元素值。

其中，由激光雷达坐标系的雷达坐标点、图像坐标系的像素坐标点以及待求解的用于图像坐标系向激光雷达坐标系转换的变换矩阵组成的方程即为上述所述的(方程1)：(x，y)表示图像坐标系的像素坐标点，(u，v)表示激光雷达坐标系的雷达坐标点，T表示待求解的用于图像坐标系向激光雷达坐标系转换的变换矩阵。通过将获取的激光雷达坐标系中的雷达坐标点值和所述图像坐标系中的像素坐标点值输入(方程1)中，可以得到用于图像坐标系向激光雷达坐标系转换的变换矩阵的各元素的元素值。

需要说明的是，在得到用于图像坐标系向毫米波雷达坐标系转换的变换矩阵和用于图像坐标系向激光雷达坐标系转换的变换矩阵后，根据不同的实际需求，可以直接得到毫米波雷达、激光雷达以及车载相机三者之间任意两者之间的变换矩阵，而无需再进行数据采集和标定。

假设图像坐标系向毫米波雷达坐标系转换的变换矩阵为H₁，用于图像坐标系向激光雷达坐标系转换的变换矩阵为H₂，通过H₁和H₂可以得到：

毫米波雷达坐标系向图像坐标系转换的变换矩阵为

激光雷达坐标系向图像坐标系转换的变换矩阵为

毫米波雷达坐标系向激光雷达坐标系转换的变换矩阵为

激光雷达坐标系向毫米波雷达坐标系转换的变换矩阵为

基于上述描述的联合标定过程，如图2D所示，激光雷达、毫米波雷达以及车载相机三者之间的联合标定系统结构包括设备信息采集模块、相互标定模块以及坐标转换模块，设备信息采集模块用于接收激光雷达的特征点数据、毫米波雷达的特征点数据以及车载相机的特征点数据，即预设位置的标定目标分别在激光雷达坐标系中的坐标信息、毫米波雷达坐标系中的坐标信息以及图像坐标系中的坐标信息，相互标定模块用于利用标定目标分别在激光雷达坐标系中的坐标信息、毫米波雷达坐标系中的坐标信息以及图像坐标系中的坐标信息获得任意两传感器坐标之间的变换矩阵，从而坐标转换模块可以利用对应的变换矩阵，对输入的某一传感器的坐标进行转换得到其他任意两个传感器的坐标，例如，将图像坐标系中的某一坐标点输入坐标转换模块后，坐标转换模块可以利用图像坐标系向毫米波雷达坐标系转换的变换矩阵对该坐标点进行转换，得到在毫米波雷达坐标系中的坐标点并输出，还可以利用图像坐标系向激光雷达坐标系转换的变换矩阵对该坐标点进行转换，得到在激光雷达坐标系中的坐标点并输出。

在一示例性场景中，如图2E所示，毫米波雷达设置于车辆的车头，激光雷达设置于车辆的车顶，车载相机设置于车辆的前挡玻璃上，三个传感器在标定过程中，在车辆上的相对位置始终保持不变，且进行数据采集的视场区域相同。在进行数据采集时，通过将标定目标放置在视场区域中的不同位置，并且对于每一位置的标定目标，在同一时刻获取标定目标分别在激光雷达坐标系中的坐标信息、毫米波雷达坐标系中的坐标信息以及图像坐标系中的坐标信息。在进行标定时，激光雷达坐标系中的坐标信息的高度信息不参与标定计算。

在本申请实施例中，通过获取4组以上由毫米波雷达、激光雷达和车载相机同步采集的标定目标的标定参数，并在忽略激光雷达坐标系中的高度信息条件下，实现毫米波雷达、激光雷达和车载相机三者之间的两两标定，以用于任意两者之间坐标的互相转换。

下面以具体实施例对本申请提出的目标对象检测方法进行详细阐述。

图3A为本申请根据一示例性实施例示出的一种目标对象检测方法的实施例流程图，该目标对象检测方法可以应用于上述图2A所示的包括毫米波雷达、激光雷达和车载相机的系统中。由于车辆的监控区域通常都是固定不变的，因此车载相机的类型可以是镜头方向保持不变的枪型相机。

如图3A所示，该目标对象检测方法包括如下步骤：

步骤301：从车载相机采集的视频图像中检测车辆周围的所有图像目标，并获取各图像目标在视频图像的图像坐标系中的坐标信息。

在一实施例中，可以通过传统的检测算法检测视频图像中的图像目标，也可以通过深度学习方法检测视频图像中的图像目标，本申请对此不进行限定。

步骤302：针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息。

步骤303：根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在视频图像经过坐标转换后得到的能量图中的能量信息。

在一实施例中，毫米波雷达除了可以采集目标点的能量信息之外还可以采集到目标点的运动速度，针对将视频图像进行坐标转换获得能量图的过程，可以结合要检测的目标对象的特点进行转换，如果要检测的目标对象为运动目标对象，在进行坐标转换获得能量图过程中，如果视频图像中的某一像素坐标点对应的毫米波雷达坐标点所对应的运动速度不为0，则可以将该毫米波雷达坐标点对应的能量信息作为该像素坐标点对应的能量信息；如果视频图像中的某一像素坐标点对应的毫米波雷达坐标点所对应的运动速度为0，则可以确定该像素坐标点对应的能量信息为0。

如图3B所示，为由上述图1所示视频图像得到的能量图，由于视频图像中的001、003以及008的图像目标处于运动状态。因此在能量图中对应的区域处比较明亮。

步骤304：针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息。

步骤305：根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在视频图像经过坐标转换后得到的高度图中的高度信息。

步骤306：根据所述能量信息和所述高度信息，从视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

在一实施例中，可以先根据所述能量信息从所有图像目标中筛选满足能量条件的图像目标，再根据所述高度信息从筛选出的图像目标中再筛选满足高度条件的图像目标作为目标对象。

在另一实施例中，也可以先根据所述高度信息从所有图像目标中筛选满足高度条件的图像目标，再根据所述能量信息从筛选出的图像目标中再筛选满足能量条件的图像目标。

示例性的，能量条件可以是图像目标的能量信息大于图像目标周围的能量信息。高度条件可以是图像目标的高度信息在预设高度区间内，该预设高度区间为根据实践经验设置的目标对象的高度区间。

在本申请实施例中，通过设置与相机视场区域相同的毫米波雷达和激光雷达，在相机采集的视频图像中检测到多个图像目标后，分别通过用于图像坐标系向毫米波雷达坐标系转换的变换矩阵和用于图像坐标系向激光雷达坐标系转换的变换矩阵获得各个图像目标的能量信息和高度信息，进而基于能量信息和高度信息筛选出符合条件的目标对象，以将误检的目标对象剔除，提高目标对象检出准确度。

图4为本申请根据一示例性实施例示出的另一种目标对象检测方法的实施例流程图，该目标对象检测方法可以应用于上述图2A所示的包括毫米波雷达、激光雷达和车载相机的系统中。如图4所示，该目标对象检测方法包括如下步骤：

步骤401：获取车载相机采集的视频图像。

步骤402：利用图像坐标系向毫米波雷达坐标系转换的变换矩阵，对所述视频图像进行转换得到能量图。

示例性的，针对视频图像中每一像素坐标点，通过图像坐标系向毫米波雷达坐标系转换的变换矩阵计算该像素坐标点对应在毫米波雷达坐标系中的坐标点，进而将该坐标点对应的能量信息作为能量图中该像素坐标点的像素值。

步骤403：利用图像坐标系向激光雷达坐标系转换的变换矩阵，对所述视频图像进行转换得到高度图。

示例性的，针对视频图像中每一像素坐标点，通过图像坐标系向激光雷达坐标系转换的变换矩阵计算该像素坐标点对应在激光雷达坐标系中的坐标点，进而将该坐标点对应的高度信息作为高度图中该像素坐标点的像素值。

步骤404：将视频图像、能量图以及高度图输入至已训练的目标对象检测模型，以由所述目标对象检测模型利用视频图像、能量图以及高度图检测所述视频图像中的目标对象。

在执行步骤404之前，针对目标对象检测模型的训练过程，可以通过获取多组训练样本，该训练样本包括车载相机采集的视频图像、视频图像经过坐标转换后得到的能量图以及视频图像经过坐标转换后得到的高度图，然后利用该训练样本训练出用于检测目标对象的网络模型。

其中，网络模型的训练方式可以采用深度学习方法训练。该网络模型的训练过程输入样本不再是单独的视频图像，还有能量图以及高度图，在多维信息的共同作用下，使得网络模型检出精度提升。

在本申请实施例中，通过将视频图像、视频图像经过坐标转换后得到的能量图和高度图输入目标对象检测模型实现目标对象检测，在高度图和能量图的作用下，可以提高视频图像中目标对象的检出准确度，降低误检率。

图5为本申请根据一示例性实施例示出的一种目标对象检测系统结构图，该系统包括：车载相机501、激光雷达502、毫米波雷达503以及处理器504；毫米波雷达503、激光雷达502与车载相机501均设置于车辆上，且三者进行数据采集的视场区域相同；

所述车载相机501，用于采集所述视场区域的视频图像并发送至处理器；

所述激光雷达502，用于采集所述视场区域中每点在激光雷达坐标系中的坐标信息和高度信息并发送至处理器；

所述毫米波雷达503，用于采集所述视场区域中每点在激光雷达坐标系中的坐标信息和能量信息并发送至处理器；

所述处理器504，用于在所述视频图像中检测车辆周围的所有图像目标，并获取各图像目标在所述视频图像的图像坐标系中的坐标信息；针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息；根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息；针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息；根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息；根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

在一可选实现方式中，所述处理器504，具体用于在根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象过程中，根据所述能量信息从所有图像目标中筛选满足能量条件的图像目标，并根据所述高度信息从筛选出的图像目标中再筛选满足高度条件的图像目标作为目标对象；或者，根据所述高度信息从所有图像目标中筛选满足高度条件的图像目标，并根据所述能量信息从筛选出的图像目标中再筛选满足能量条件的图像目标。

图6为本申请根据一示例性实施例示出的一种目标对象检测装置的实施例结构图，所述目标对象检测装置可以应用于上述图4所示系统的处理器上，如图6所示，所述目标对象检测装置包括：

检测模块610，用于在所述车载相机采集的视频图像中检测车辆周围的所有图像目标，并获取各图像目标在所述视频图像的图像坐标系中的坐标信息；

第一确定模块620，用于针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息；根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息；

第二确定模块630，用于针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息；根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息；

筛选模块640，用于根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

在一可选实现方式中，所述筛选模块640，具体用于根据所述能量信息从所有图像目标中筛选满足能量条件的图像目标，并根据所述高度信息从筛选出的图像目标中再筛选满足高度条件的图像目标作为目标对象；或者，根据所述高度信息从所有图像目标中筛选满足高度条件的图像目标，并根据所述能量信息从筛选出的图像目标中再筛选满足能量条件的图像目标。

图7为本申请根据一示例性实施例示出的一种联合标定装置的实施例结构图，所述联合标定装置可以应用于上述图4所示系统的处理器上，如图7所示，所述联合标定装置包括：

获取模块710，用于获取M组由毫米波雷达、激光雷达和车载相机同步采集的标定目标的标定参数；其中，所述M为大于等于4的正整数，每组标定参数包括预设位置的标定目标分别在毫米波雷达坐标系中的坐标信息、激光雷达坐标系中的坐标信息、图像坐标系中的坐标信息，且任意两组标定参数是所述标定目标在不同位置时得到的；

标定模块720，用于依据所述M组标定参数，确定所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间转换的变换矩阵中各元素的元素值，其中每组标定参数中的激光雷达坐标系中的坐标信息的高度信息不用于所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间的标定。

在一可选实现方式中，所述标定模块720，具体用于从所述M组标定参数中获取所述标定目标分别在毫米波雷达坐标系中的坐标信息和图像坐标系中的坐标信息；通过将所述毫米波雷达坐标系中的坐标信息和所述图像坐标系中的坐标信息输入至由毫米波雷达坐标系的雷达坐标点、图像坐标系的像素坐标点以及待求解的用于图像坐标系向毫米波雷达坐标系转换的变换矩阵组成的方程中，以求解得到待求解的用于图像坐标系向毫米波雷达坐标系转换的变换矩阵的各元素的元素值。

在一可选实现方式中，所述标定模块720，还具体用于从所述M组标定参数中获取所述标定目标分别在激光雷达坐标系中的坐标信息和图像坐标系中的坐标信息；通过将所述激光雷达坐标系中的雷达坐标点值和所述图像坐标系中的像素坐标点值输入至由激光雷达坐标系的雷达坐标点、图像坐标系的像素坐标点以及待求解的用于图像坐标系向激光雷达坐标系转换的变换矩阵组成的方程中，以求解得到待求解的用于图像坐标系向激光雷达坐标系转换的变换矩阵的各元素的元素值。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种目标对象检测方法，其特征在于，所述方法应用于包括毫米波雷达、激光雷达和车载相机的系统中，包括：

在所述车载相机采集的视频图像中检测车辆周围的所有图像目标，并获取各图像目标在所述视频图像的图像坐标系中的坐标信息；

针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息；根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息；

针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息；根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息；

根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

2.根据权利要求1所述的方法，其特征在于，根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象，包括：

根据所述能量信息从所有图像目标中筛选满足能量条件的图像目标，并根据所述高度信息从筛选出的图像目标中再筛选满足高度条件的图像目标作为目标对象；或者，

根据所述高度信息从所有图像目标中筛选满足高度条件的图像目标，并根据所述能量信息从筛选出的图像目标中再筛选满足能量条件的图像目标。

3.根据权利要求1所述的方法，其特征在于，所述毫米波雷达、所述激光雷达与所述车载相机进行数据采集的视场区域相同，所述方法还包括：

获取M组由毫米波雷达、激光雷达和车载相机同步采集的标定目标的标定参数；其中，所述M为大于等于4的正整数，每组标定参数包括预设位置的标定目标分别在毫米波雷达坐标系中的坐标信息、激光雷达坐标系中的坐标信息、图像坐标系中的坐标信息，且任意两组标定参数是所述标定目标在不同位置时得到的；

依据所述M组标定参数，确定所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间转换的变换矩阵中各元素的元素值，其中每组标定参数中的激光雷达坐标系中的坐标信息的高度信息不用于所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间的标定。

4.根据权利要求3所述的方法，其特征在于，依据所述M组标定参数，确定所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间转换的变换矩阵中各元素的元素值，包括：

从所述M组标定参数中获取所述标定目标分别在毫米波雷达坐标系中的坐标信息和图像坐标系中的坐标信息；

通过将所述毫米波雷达坐标系中的坐标信息和所述图像坐标系中的坐标信息输入至由毫米波雷达坐标系的雷达坐标点、图像坐标系的像素坐标点以及待求解的用于图像坐标系向毫米波雷达坐标系转换的变换矩阵组成的方程中，以求解得到待求解的用于图像坐标系向毫米波雷达坐标系转换的变换矩阵的各元素的元素值。

5.根据权利要求3所述的方法，其特征在于，依据所述M组标定参数，确定所述毫米波雷达坐标系、所述激光雷达坐标系和所述图像坐标系两两之间转换的变换矩阵中各元素的元素值，包括：

从所述M组标定参数中获取所述标定目标分别在激光雷达坐标系中的坐标信息和图像坐标系中的坐标信息；

通过将所述激光雷达坐标系中的雷达坐标点值和所述图像坐标系中的像素坐标点值输入至由激光雷达坐标系的雷达坐标点、图像坐标系的像素坐标点以及待求解的用于图像坐标系向激光雷达坐标系转换的变换矩阵组成的方程中，以求解得到待求解的用于图像坐标系向激光雷达坐标系转换的变换矩阵的各元素的元素值。

6.一种目标对象检测系统，其特征在于，所述系统包括：车载相机、激光雷达、毫米波雷达以及处理器；所述毫米波雷达、所述激光雷达与所述车载相机均设置于车辆上，且三者进行数据采集的视场区域相同；

所述车载相机，用于采集所述视场区域的视频图像并发送至处理器；

所述激光雷达，用于采集所述视场区域中每点在激光雷达坐标系中的坐标信息和高度信息并发送至处理器；

所述毫米波雷达，用于采集所述视场区域中每点在激光雷达坐标系中的坐标信息和能量信息并发送至处理器；

所述处理器，用于在所述视频图像中检测车辆周围的所有图像目标，并获取各图像目标在所述视频图像的图像坐标系中的坐标信息；针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息；根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息；针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息；根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息；根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

7.根据权利要求6所述的系统，其特征在于，所述处理器，具体用于在根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象过程中，根据所述能量信息从所有图像目标中筛选满足能量条件的图像目标，并根据所述高度信息从筛选出的图像目标中再筛选满足高度条件的图像目标作为目标对象；或者，根据所述高度信息从所有图像目标中筛选满足高度条件的图像目标，并根据所述能量信息从筛选出的图像目标中再筛选满足能量条件的图像目标。

8.一种目标对象检测装置，其特征在于，所述装置应用于包括毫米波雷达、激光雷达和车载相机的系统中，包括：

检测模块，用于在所述车载相机采集的视频图像中检测车辆周围的所有图像目标，并获取各图像目标在所述视频图像的图像坐标系中的坐标信息；

第一确定模块，用于针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向毫米波雷达坐标系转换的变换矩阵，确定该图像目标在毫米波雷达坐标系中的坐标信息；根据该图像目标在毫米波雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的能量图中的能量信息；

第二确定模块，用于针对每个图像目标，根据该图像目标在图像坐标系中的坐标信息和用于图像坐标系向激光雷达坐标系转换的变换矩阵，确定该图像目标在激光雷达坐标系中的坐标信息；根据该图像目标在激光雷达坐标系中的坐标信息，确定该图像目标在所述视频图像经过坐标转换后得到的高度图中的高度信息；

筛选模块，用于根据所述能量信息和所述高度信息，从所述视频图像的所有图像目标中筛选出满足条件的图像目标作为目标对象。

Images