CN111507339B

CN111507339B - 一种基于强度图像的目标点云获取方法

Info

Publication number: CN111507339B
Application number: CN202010301597.9A
Authority: CN
Inventors: 朱翔
Original assignee: Beijing Shenzhen Survey Technology Co ltd
Current assignee: Beijing Shenzhen Survey Technology Co ltd
Priority date: 2020-04-16
Filing date: 2020-04-16
Publication date: 2023-07-18
Anticipated expiration: 2040-04-16
Also published as: CN111507339A

Abstract

本发明提供了一种基于强度图像的目标点云获取方法，包括获取原始点云数据，并从原始点云数据中提取强度图像数据；按照预设网格步长对强度图像数据的进行采样处理，确定采样像素点；并进一步确定种子像素点；对每个像素点添加种子标签和判定数据，之后根据第一种子像素点与其第二领域内的第一像素点的第一距离数据和第一像素点的判定数据确定第一像素点所属的种子像素点，生成第一强度图像数据；调用预设二值化算法对第一强度图像数据进行二值化处理，得到第二强度图像数据；调用预设形态学处理算法对第二强度图像数据进行目标识别处理，得到目标强度图像数据；根据目标强度图像数据中各像素的像素坐标值，从原始点云数据中获取目标点云数据。

Description

一种基于强度图像的目标点云获取方法

技术领域

本发明涉数据处理领域，尤其涉及一种基于强度图像的目标点云获取方法。

背景技术

当前三维成像邻域，飞行时间的研究是热门之一。与其他五种三维成像技术相比较而言，飞行时间三维成像法能够获得瞬态图像，也就意味着计算景深时不需要过多的后续处理，因此往往能够达到较高的帧率，而且因为减少了后去处理的系统开支，可节省相关成本。目前的飞行时间三维成像研究多集中于瞬态成像、超分辨、非视域探测成像、飞行时间质谱等领域。此外，由于飞行时间三维成像方式在一般情况下，距离测量的范围可以通过改变激光器的脉冲频率、视野大小和光源强度就可以调整，因此飞行时间三维成像的探测距离弹性大，适合在近距离范围内的人脸识别、手势识别和跟踪、体感识别、游戏互动等操作，同时也适合在远距离探测目标，潜在的应用场景十分广阔。但这些应用场景就要求对三维点云目标对象化，即从背景中提取出感兴趣的目标点云。

由于飞行时间三维成像法应用于商业化及家庭服务时间较晚，针对飞行时间三维成像法获得的点云目标提取方案较少，同时仅利用点云空间位置信息提取目标难度较大。目前对于从三维点云数据中确定目标点云数据的方法大多是针对特定场景而设计的，特征值法对于处理偏差大和异常值多的场景来说提取率不高，也有用单一随机抽样一致性算法进行目标点云提取，但是易出现边界误提取情况。

发明内容

针对现有技术缺陷，本发明实施例的目的是提供一种基于强度图像的目标点云获取方法，根据飞行时间三维成像技术能够同时获取点云位置及强度信息的特点，从飞行时间相机获取的原始点云数据中获取目标点云数据。

为解决上述问题，第一方面，本发明提供了一种基于强度图像的目标点云获取方法，所述方法包括：

S1，获取原始点云数据，并从所述原始点云数据中提取强度图像数据；

S2，按照预设网格步长对所述强度图像数据的进行采样处理，确定采样像素点；

S3，根据所述采样像素点第一邻域内各像素点的梯度值，确定种子像素点；

S4，对所述强度图像数据中的每个像素点添加种子标签，将所述种子标签设置为第一标签，对每个像素点添加判定数据，将所述判定数据设置为初始判定数据；

S5，对第一种子像素点第二领域内的第一像素点与所述第一种子像素点进行距离计算处理，得到所述第一像素点与所述第一种子像素点的第一距离数据；

S6，当所述第一距离数据小于所述第一像素点的判定数据时，将所述第一像素点的种子标签设置为第一种子像素点，并将所述第一像素点的判定数据设置为所述第一距离数据；

S7，迭代执行S5和S6直至每个第一种子像素点对应的第一像素点与所述第一种子像素点的第一距离数据大于等于所述第一像素点的判定数据时，根据处理后的各像素点数据生成第一强度图像数据；

S8，调用预设二值化算法对所述第一强度图像数据进行二值化处理，得到第二强度图像数据；

S9，调用预设形态学处理算法对所述第二强度图像数据进行目标识别处理，得到目标强度图像数据；

S10，根据所述目标强度图像数据中各像素的像素坐标值，从所述原始点云数据中获取目标点云数据。

优选的，所述根据所述采样像素点第一邻域内各像素点的梯度值，确定种子像素点具体包括：

对所述采样像素点第一邻域内的各像素点的梯度值按照升序进行排序处理，确定排在第一位的第一梯度值；

将所述第一梯度值对应的像素点确定为所述种子像素点。

优选的，所述对第一种子像素点第二领域内的第一像素点与所述第一种子像素点进行距离计算处理，得到所述第一像素点与所述第一种子像素点的第一距离数据具体包括：

根据所述第一种子像素点的像素坐标值和所述第一像素点的像素坐标值进行空间距离计算处理，得到所述第一种子像素点与所述第一像素点的第一空间距离数据；

根据所述第一种子像素点的颜色值和所述第一像素点的颜色值进行第一颜色距离数据计算处理，得到所述第一种子像素点与所述第一像素点的第一颜色距离数据；

调用预设距离计算方法对所述第一空间距离数据和所述第一颜色距离数据进行距离计算处理，得到所述第一距离数据。

优选的，所述调用预设二值化算法对所述第一强度图像数据进行二值化处理，得到第二强度图像数据具体为：

调用最大类间方差算法对所述第一强度图像数据进行二值化处理，并根据处理后的各像素数据生成所述第二强度图像数据。

优选的，调用预设形态学处理算法对所述第二强度图像数据进行目标识别处理，得到目标强度图像数据具体为：

采用半径为3的圆盘膨胀模板对所述第二强度图像数据进行膨胀运算处理，得到所述目标强度图像数据。

优选的，所述根据所述目标强度图像数据中各像素的像素坐标值，从所述原始点云数据中获取目标点云数据具体包括：

将所述目标强度图像数据中各像素点的像素坐标值，映射至所述原始点云数据中，根据映射像素坐标值确定目标点；

根据所述目标点对应的点云数据生成所述目标点云数据。

优选的，在所述按照预设网格步长对所述强度图像数据的进行采样处理，确定采样像素点之前，所述方法还包括：

调用第一预设图像模型转换方法对所述强度图像数据进行第一模型转换处理，生成转化处理后的强度图像数据。

进一步优选的，在根据处理后的各像素点数据生成第一强度图像数据之后，所述方法还包括：

调用第二预设图像模型转换方法对所述第一强度图像数据进行第二模型转换处理，生成转化处理后的第一强度图像数据；其中，所述第二预设图像模型转换方法与所述第一预设图像模型转换方法具有对应关系。

第二方面，本发明提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行第一方面任一所述的方法。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一所述的方法。

本发明实施例提供的一种基于强度图像的目标点云获取方法，根据飞行时间相机成像的特点，对其获取的原始点云数据进行目标点云的获取，其对目标点云进行获取的过程中，针对原始点云数据的强度图像数据进行目标范围的确定，然后根据强度图像数据中目标像素与原始点云数据中各点云数据的像素坐标对应关系，从原始点云数据中获取目标点云数据，其获取的目标点云数据误差小，且提取过程简化从点云数据中目标点云数据获取的复杂度，达到在目标点云获取过程减小了计算量，节约了系统开支的目的。

附图说明

图1为本发明实施例提供的一种基于强度图像的目标点云获取方法。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种基于强度图像的目标点云获取方法。图1为本发明实施例提供的一种基于强度图像的目标点云获取方法。如图所示，包括以下步骤：

S1，获取原始点云数据，并从原始点云数据中提取强度图像数据。

具体的，原始点云数据是通过三维成像系统对目标场景进行扫描或者拍摄后经过数据处理得到的点云数据集。原始点云数据具有几何位置信息和强度数据信息。飞行时间相机获取的点云数据的强度数据信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点。本发明实施例中从原始点云数据中提取的强度图像数据实际为包括颜色信息的图像信息数据。

本发明实施例中的原始点云数据是由飞行时间相机采集目标场景图像数据生成的三维点云数据。飞行时间相机接收图像采集指令，并根据图像采集指令对目标场景进行拍摄，生成原始点云数据。飞行时间相机的分辨率为M×N,那么通过飞行时间相机采集目标场景生成的原始点云数据就包括M×N点云像素点。其中，M和N为正整数。

本发明实施例的一个具体例子中，飞行时间相机包括320×240分辨率的传感器和配套的飞行时间控制器，飞行时间相机采用850nm的红外光源作为发射光源，采集的深度数据包括相位信息、强度振幅信息、环境光和标志位。飞行时间相机采集的图像信息经过集成的处理模块生成原始点云数据。从原始点云数据中提取出强度图像数据。

S2，按照预设网格步长对强度图像数据的进行采样处理，确定采样像素点。

具体的，对强度图像数据进行网格化的采样，其采用的距离为预设网络步长，例如预设网络步长为S。也就是说按照S×S的步长对强度图像数据进行采用，确定多个采样像素点。在本发明实施例中，强度图像数据具有M×N个像素点，按照S×S对强度图像数据进行采样得到K个采样像素点。那么采样像素点的个数K与预设网络步长就满足关系K×S×S＝M×N，其中，K、S、M、N均为正整数。

在本发明提供的方法实施前，综合考虑数据处理量和对处理后的图像数据所要达到的期望进行评估后，进行预设网络步长的确定。本发明实施例中，强度图像数据的处理只是为确定点云数据中的目标点云位置信息，因此在综合考虑运算速度和分类效果后，预设网络步长确定为500。这样既能满足确定目标范围，又能提高数据处理速度。

本发明实施例的优选方案中，在强度图像数据的进行采样处理，确定采样像素点之前，根据强度图像数据的颜色模型图像进行判断，当强度图像数据为RGB颜色模型图像数据时，需要调用第一预设图像模型转换方法对强度图像数据进行第一模型转换处理，将其转换为LAB颜色模型图像数据。本发明实施例中，第一预设图像转换方法选用现有技术中任一的RGB到LAB转换方法。

S3，根据采样像素点第一邻域内各像素点的梯度值，确定种子像素点。

具体的，获取采样像素点第一邻域内的多个像素点的梯度值，确定梯度值最小的像素点为种子像素点。对S2中采集到的每个采样像素点进行处理后，就在强度图像数据中确定了多个种子像素点，且每个种子像素点都不会取边缘和噪声点上。

本发明实施例的优选方案中，对采样像素点第一邻域内的各像素点的梯度值按照升序进行排序处理，确定排在第一位的第一梯度值。然后，将第一梯度值对应的像素点确定为种子像素点。本发明实施例的一个具体例子中，第一邻域为3×3的邻域。也就是说，获取采样点3×3的领域内的像素点的梯度值。

S4，对强度图像数据中的每个像素点添加种子标签，将种子标签设置为第一标签，对每个像素点添加判定数据，将判定数据设置为初始判定数据。

具体的，对强度图像数据中的每个像素点进行初始化，也就是对每个像素点添加种子标签和判定数据。

种子标签用来指示像素点属于哪个种子像素点。在初始化时将种子标签初始化为不属于任何种子像素点。即第一标签为不属于任何种子像素点。例如，在本发明实施例的一个具体例子中，将像素点i的种子标签初始化为-1。

判定数据用来指示像素点与其所属的种子像素点的距离值，在初始化的时候，由于像素点被初始化为不属于任何种子像素点，所以在初始化时将各像素点的判定数据初始化为初始判定数据，初始判定数据为超出强度图像数据中所有像素点间距离的最大值的任一数据值。例如，在本发明实施例的一个具体例子中，将像素点i的判定数据初始化为无穷大。

S5，对第一种子像素点第二领域内的第一像素点与第一种子像素点进行距离计算处理，得到第一像素点与第一种子像素点的第一距离数据。

具体的，第一种子像素点第二领域内的像素点为第一像素点，对第一像素点与第一种子像素点进行距离计算处理，得到第一像素点与第一种子像素点的第一距离数据。其中，第二邻域用来确定对第一种子像素点邻域的范围。也就是确定需要对哪些范围内像素点计算其与第一种子像素点的第一距离数据。第二邻域的值可以在本执行发明实施例提供的方法之前，通过多次测试，对数据计算量进行评估后确定。

在本发明实施例中，根据步骤S2中进行采样的预设网络步长来进行第二邻域大小的确定。例如，预设网络步长为S，那么第二邻域大小就确定为2S。也就是说，对第一种子像素点2S×2S邻域内的像素点进行遍历，计算各像素点与第一种子像素点的第一距离数据。在本发明实施例的一个具体例子中，第二邻域为1000×1000。

为了给强度图像数据中的每个像素点确定其所属的种子像素点，对每个种子像素点第二邻域内的第一像素点进行遍历，并计算第一像素点与第一种子像素点的第一距离，用以在之后的步骤根据第一距离确定像素点所属的第一种子像素点。

本发明实施例的优选方案中，计算第一种子像素点与第二邻域内的像素点的第一距离包括以下步骤：

首先，根据第一种子像素点的像素坐标值和第一像素点的像素坐标值进行空间距离计算处理，得到第一种子像素点与第一像素点的第一空间距离数据。

具体的，根据第一像素点i和第一种子像素点j像素坐标值x，y计算第一空间距离数据d_s。根据计算公式：

其次，根据第一种子像素点的颜色值和第一像素点的颜色值进行第一颜色距离数据计算处理，得到第一种子像素点与第一像素点的第一颜色距离数据。

具体的，根据第一像素点i和第一种子像素点j的l值、a值、b值计算第一颜色距离数据d_c，根据计算公式：

最后，调用预设距离计算方法对第一空间距离数据和第一颜色距离数据进行距离计算处理，得到第一距离数据。

具体的，根据第一空间距离数据和第一颜色距离数据，采用计算公式：

其中，d_c为第一颜色距离数据，ds为第一空间距离数据，S为预设网格步长，m是一个常数，用来选择空间临近性的重要程度，m越大，表示空间上的邻近比颜色上的相似越重要。在本发明实施例的一个具体例子中，m＝10，S＝500。

S6，当第一距离数据小于第一像素点的判定数据时，将第一像素点的种子标签设置为第一种子像素点，并将第一像素点的判定数据设置为第一距离数据。

具体的，判断第一距离是否小于第一像素点的判定数据，当第一距离数据小于第一判定数据时，说明第一像素点找到了离它更近的种子像素点，此时将第一像素点的种子标签设置为第一种子像素点，并将第一像素点的判定数据更新为第一距离数据。当第一距离大于第一像素点的判定数据时，说明第一像素点所属的种子像素点比第一种子像素点离第一像素点的距离更近，此时，不对第一像素点做处理。

需要说明的是，在第一次执行本步骤时，每个像素点的第一判定数据为初始判定数据，肯定比第一距离数据大，所以此时将第一像素点的种子标签设置为第一种子像素，并将第一像素的判定数据更新为第一距离数据。

对强度图像数据中的每个第一种子像素点进行此步骤的处理，将对强度图像数据中的每个像素点确定一个其所属的种子像素点。

S7，迭代执行S5和S6直至每个第一种子像素点对应的第一像素点与第一种子像素点的第一距离数据大于等于第一像素点的判定数据时，根据处理后的各像素点数据生成第一强度图像数据。

具体的，在步骤S5-S6的处理过程后，对强度图像数据中的每个像素点都确定了一个所属的种子像素点，但是仅进行一次确定，并不能确定其对应的种子像素点都为最终的种子像素点，所以对强度图像数据迭代执行S5和S6，当强度图像数据中所有的像素点的判断数据都小于重新计算出来的第一距离数据时，就完成了强度图像数据中每个像素点的所属种子像素点的确定，也就是将强度图像数据划分成了多个以种个种子像素点为中心的区域块。此时，根据处理后的所有像素点数据生成第一强度图像数据。

本发明实施例的优选方案中，在生成第一强度图像数据之后，需要调用第二预设图像模型转换方法对第一强度图像数据进行第二模型转换处理，生成转化处理后的第一强度图像数据。其目的是将第一强度图像数据有LAB颜色模型图像数据转换为RGB颜色模型图像数据。本发明实施例中，第二预设图像模型转换方法与步骤S2中的第一预设图像模型转换方法相对应，互为逆转换方法。

S8，调用预设二值化算法对第一强度图像数据进行二值化处理，得到第二强度图像数据。

具体的，为了方便提取第一强度图数据中的目标数据信息,调用预设二值化算法对第一强度图像数据进行二值化处理，以增加识别目标数据的识别效率。

本发明实施例的优选方案中，调用最大类间方差算法对第一强度图像数据进行二值化处理，并根据处理后的各像素数据生成所述第二强度图像数据。对于使用最大类间方差算法时的阈值选取，可以根据目标的数量来确定，如果目标均在相同的深度则使用单个阈值即可，如果目标不在同一深度，则按照深度的层次多少增加阈值。例如：本发明实施例的一个具体例子中，需要对原始点云数据中的一个目标物体进行提取，那么选取单个阈值使用最大间方差算法对第一强度图像数据进行二值化处理，对第一强度图像数据中的每个像素点按照阈值划分处理，得到二值化的第二强度图像数据。

S9，调用预设形态学处理算法对第二强度图像数据进行目标识别处理，得到目标强度图像数据。

具体的，本发明实施例的优选方案中，采用半径为3的圆盘膨胀模板对第二强度图像数据进行膨胀运算处理，得到所述目标强度图像数据。经过处理后的目标强度图像数据适当的扩大了目标像素，可以最大程度的保留目标像素点，这样得到的目标强度图像保留目标物体所有的像素点，极大的提高了目标点云提取的完整性。

S10，根据目标强度图像数据中各像素的像素坐标值，从原始点云数据中获取目标点云数据。

具体的，强度图像数据是从原始点云数据中提取得到的，所以强度图像数据的每个像素点与原始点云数据的每个点云数据具有像素坐标对应关系，而在对强度图像数据进行处理过程中，没有改变强度图像数据的像素坐标值，所以经过处理后得到的目标强度图像数据中每个像素与原始点云数据还具有相同的像素坐标对应关系。

本发明实实施例的优选方案中，将目标强度图像数据中各像素点的像素坐标值，映射至原始点云数据中，根据映射像素坐标值确定目标点，然后，根据目标点对应的点云数据生成目标点云数据。

在本发明实施例的一个具体例子中，目标强度图像数据中包括像素坐标值为(r,c)的像素点k，那么在原始点云数据中像素坐标值为(r,c)的点云数据点确定为目标点，这样就可以在原始点云中确定所有的目标点，之后根据所有目标点对应的点云数据生成目标点云数据。

本发明实施例一提供一种基于强度图像的目标点云获取方法，根据飞行时间相机成像的特点，对其获取的原始点云数据进行目标点云的获取，其对目标点云进行获取的过程中，针对原始点云数据的强度图像数据进行目标范围的确定，然后根据强度图像数据中目标像素与原始点云数据中各点云数据的像素坐标对应关系，从原始点云数据中获取目标点云数据，其获取的目标点云数据误差小，且提取过程简化从点云数据中目标点云数据获取的复杂度，达到在目标点云获取过程减小了计算量，节约了系统开支的目的。

本发明实施例二提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例一提供的方法。

本发明实施例三提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于强度图像的目标点云获取方法，其特征在于，所述方法包括：

S10，根据所述目标强度图像数据中各像素的像素坐标值，从所述原始点云数据中获取目标点云数据；

其中，所述根据所述采样像素点第一邻域内各像素点的梯度值，确定种子像素点具体包括：

将所述第一梯度值对应的像素点确定为所述种子像素点。

2.根据权利要求1所述基于强度图像的目标点云获取方法，其特征在于，所述对第一种子像素点第二领域内的第一像素点与所述第一种子像素点进行距离计算处理，得到所述第一像素点与所述第一种子像素点的第一距离数据具体包括：

3.根据权利要求1所述基于强度图像的目标点云获取方法，其特征在于，所述调用预设二值化算法对所述第一强度图像数据进行二值化处理，得到第二强度图像数据具体为：

4.根据权利要求1所述基于强度图像的目标点云获取方法，其特征在于，调用预设形态学处理算法对所述第二强度图像数据进行目标识别处理，得到目标强度图像数据具体为：

5.根据权利要求1所述基于强度图像的目标点云获取方法，其特征在于，所述根据所述目标强度图像数据中各像素的像素坐标值，从所述原始点云数据中获取目标点云数据具体包括：

根据所述目标点对应的点云数据生成所述目标点云数据。

6.根据权利要求1所述基于强度图像的目标点云获取方法，其特征在于，在所述按照预设网格步长对所述强度图像数据的进行采样处理，确定采样像素点之前，所述方法还包括：

7.根据权利要求6所述基于强度图像的目标点云获取方法，其特征在于，在根据处理后的各像素点数据生成第一强度图像数据之后，所述方法还包括：

8.一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行如权利要求1-7任一所述的基于强度图像的目标点云获取方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的基于强度图像的目标点云获取方法。