CN112800902B - 一种基于图像分割的复杂场景下轨道线拟合方法 - Google Patents

Abstract

本发明公开了一种基于图像分割的复杂场景下轨道线拟合方法，包括：输入轨道区域图像，通过编码‑解码神经网络分割图像，得到轨道区域像素；根据图像分割结果，对图像进行逆透视变换；提取轨道关键点；根据像素关键点，对于距离在一定阈值内的点进行匹配；对匹配点开展广度优先搜索，得到初始轨道序列；筛选去除较差轨道序列；对每一条轨道序列内的关键点对进行拟合，得到拟合的左右轨道。通过本发明的技术方案，能够解决轨道列车在复杂轨道环境过程中的轨道线拟合问题，即能够准确分辨出轨道线像素所属轨道线，且可以区分轨道区域(左右轨)，具有简单、高效、适用多轨交错环境等优点，能够用于复杂环境下轨道列车辅助驾驶。

Description

一种基于图像分割的复杂场景下轨道线拟合方法

技术领域

本发明属于轨道交通自动驾驶技术领域，尤其涉及一种基于图像分割的复杂场景下轨道线拟合方法。

背景技术

轨道交通的封闭环境在一定程度上减少了事故的发生，但巡线人员、自然灾害等不可预测的异物侵入轨道界限区域仍然给轨道交通带来了很大的隐患。由于异物入侵的危害性，传统的静态监测已不能满足当前复杂的轨道运行环境和全天候高速运行的要求，有必要对其进行实时监测。动态监控检测异物入侵的前提是准确的轨道列车行车环境场景识别即轨道区域识别，这就需要进行轨道线拟合。

当前有很多学者对轨道区域识别展开研究，诸如利用图像信息通过划窗检测方式对单一轨道线进行拟合以及利用激光雷达对前方简单轨道线进行检测。而现实轨道交通环境复杂，轨道线之间相互交错，并且轨道线条数不定，因此复杂场景轨道线拟合更为困难，且现有方案无法对多条交错的轨道线进行拟合。

发明内容

为了解决现有轨道线路拟合算法面向单一道路线路、无法对交错轨道线路进行拟合等问题，本发明提出一种基于图像分割的复杂场景下轨道线拟合方法，能够分辨出轨道线像素所属轨道线，且可以区分轨道区域(左右轨)。本发明的具体技术方案如下：

一种基于图像分割的复杂场景下轨道线拟合方法，其特征在于，包括以下步骤：

S1：输入轨道区域图像，通过编码-解码神经网络分割图像，得到轨道区域像素；

S2：根据步骤S1得到的图像分割结果，对图像进行逆透视变换，将图像转换到鸟瞰图上，即：

[u′,v′,w′]＝[u,v,1]·M

其中，u,v分别为原图像的横纵坐标值，u′/w′，v′/w′分别为变换后的横纵坐标值，M为透视变换投影矩阵；

S3：从步骤S2得到的逆透视变换图像中提取轨道关键点；

S4：根据步骤S3提取的轨道关键点，对于距离在一定阈值内的点进行匹配；

S5：对匹配成功的轨道关键点开展广度优先搜索，得到初始轨道序列；

S6：筛选步骤S5得到的初始轨道序列，去除重复轨道序列；

S7：对步骤S6处理后的全部轨道序列内的轨道关键点对进行拟合，得到拟合后的左右轨道。

进一步地，所述步骤S3的处理过程为：

S3-1：在步骤S2得到的鸟瞰图上纵向等间距取n行关键像素行，分别为r₁,r₂…,r_i，i＝1,2,…,n,其中，第r_i行像素中，第j个轨道关键点的横坐标为第j段连续轨道像素的横坐标均值共得到n行轨道关键点；

其中，h_img为分割图片像素高度，C_l为第l段轨道像素横坐标，k为轨道像素横坐标，m为C_l中包含像素个数；

S3-2：将第r_i行和第r_i+1行关键像素行之间的图像作为子图，以第r_i行轨道关键点A作为种子点，对子图区域进行区域生长，得到与轨道关键点A连通的第r_i+1行轨道关键点B和轨道关键点C；

S3-3：通过两轨道关键点之间的坐标差值，得到轨道关键点A与轨道关键点B之间的连线与y轴的夹角θ_AB作为轨道关键点A的倾斜角：

θ_AB＝atan((Ax-Bx)/(Ay-By))

其中，Ax、Ay为本行轨道关键点A的横纵坐标值；Bx、By为下一行轨道关键点B的横纵坐标值。

进一步地，所述步骤S4的处理过程为：

S4-1：在同一行轨道关键点中，任意选取两个轨道关键点进行匹配；

S4-2：若匹配的两轨道关键点之间的实际距离dis_pair＝x_left-x_right满足(dis_{min_th}/cosθ)<dis_pair<(dis_{max_th}/cosθ)，则执行步骤S4-3，否则返回步骤S4-1；其中，x_left、x_right分别为左侧、右侧轨道关键点的横坐标，θ＝(θ_left+θ_right)/2，θ_left、θ_right分别为按照步骤S3-3计算得到的轨道关键点的倾斜角，dis_{max_th}和dis_{min_th}分别为匹配的两轨道关键点间距离的上下界；

S4-3：若匹配的两轨道关键点的倾斜角满足|θ_left-θ_right|<θ_th，则执行步骤S4-4，否则返回步骤S4-1，θ_th为设定的左侧、右侧轨道关键点的倾斜角之差的阈值；

S4-4：匹配成功，存储轨道关键点对。

进一步地，所述步骤S5的处理过程为：

S5-1：对于当前第r_i行的任意轨道关键点对，查找第r_i+1行像素的轨道关键点对；

S5-2：判断第r_i+1行像素的轨道关键点对与第r_i行轨道关键点对是否连通，如果不连通，返回步骤S5-1；否则，将连通的第r_i+1行轨道关键点对加入到第r_i行轨道关键点对所在的轨道序列中；

S5-3：遍历全部轨道关键点对，若当前行轨道关键点对不存在连通的轨道关键点对，则将得到的轨道序列保存。

进一步地，所述步骤S6的处理过程为：

S6-1：任意选取两条轨道序列，设序号为f和g；

S6-2：对两条轨道序列逐行比较轨道关键点对坐标，如果两条轨道序列第r_i行像素的轨道关键点对坐标完全相同，则判定该点对为相同点对；否则判定为不同点对，并保存不同点对；

S6-3：如果两条轨道序列之间，S6-2得到的不同点对个数小于设定的阈值，判定为高重复序列，否则返回步骤S6-1；

S6-4：从步骤S6-2得到高重复轨道序列中不同点对其中，表示第f轨道序列在第r_i行像素的轨道关键点，表示第g条轨道序列在第r_i行像素的轨道关键点；

S6-5：根据步骤S6-4得到的轨道序列不同点对，若则去除第g条轨道序列；否则去除第f条轨道序列；

不同点与上下两个轨道关键点之间的倾斜角度和其中，表示第f条轨道序列的第r_i行像素的轨道关键点和第f条轨道序列的第r_i-1行像素的轨道关键点连线与y轴的夹角，表示第f条轨道序列的第r_i行像素的轨道关键点和第f条轨道序列的第r_i+1行像素的轨道关键点连线与y轴的夹角；第f条轨道序列的不同点处的平滑度同理，为第g条轨道序列的不同点处的平滑度。

本发明的有益效果在于：

1.本发明的方法针对左右两侧轨道的匹配问题，以提取的轨道关键点为基础，通过轨道间的距离先验知识，对轨道关键点进行匹配，以确定轨道像素轨道区域(左右轨)。

2.本发明的方法针对轨道交错的轨道线拟合问题，通过对图像从上到下的搜索，设定阈值从而对于轨道关键点进行连接，区分同一图片中的不同轨道。

3.本发明的方法针对多条轨道本邻轨区分问题，通过相机在列车上的摆放位置，确定本轨中心点，与本轨中心点距离一定阈值范围内的关键点对所在轨道序列为本轨，其余为邻轨，从而区分本邻轨轨道线。

4.本发明的方法简单、高效、适用多轨交错环境，能够用于复杂环境下轨道列车辅助驾驶。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1是本发明的方法流程图；

图2是本发明的轨道关键点提取与匹配示意图；

图3是本发明的广度优先搜索算法流程图；

图4是本发明的轨道序列筛选流程图；

图5是本发明的轨道序列筛选示意图；

图6是本发明实施例1的原始图片；

图7是本发明实施例1的分割图片；

图8是本发明实施例1的逆透视变换图；

图9是本发明实施例1的轨道关键点提取方式示意图；

图10是本发明实施例1的轨道关键点图；

图11是本发明实施例1的筛选轨道序列示意图；

图12是本发明实施例1的筛选轨道序列图；

图13是本发明实施例1的透视回原始图片。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1-4所示，为了解决解决轨道列车在复杂轨道环境过程中的轨道线拟合问题，具体针对现有轨道线路拟合算法面向单一道路线路、无法对交错轨道线路进行拟合等问题，本发明提出一种适用于复杂场景的轨道线拟合算法，能够分辨出轨道线像素所属轨道线，且可以区分轨道区域(左右轨)，具有简单、高效、适用多轨交错环境等优点，适用于复杂环境下轨道列车辅助驾驶。

为了方便理解本发明的上述技术方案，以下通过具体实施例对本发明的上述技术方案进行详细说明。

实施例1

S1：输入1280*720原始图片，如图6所示，通过神经网络对图像进行分割，得到轨道区域像素，如图7所示。

S2：根据步骤S1得到的图像分割结果，对图像进行逆透视变换，将图像转换到鸟瞰图上，如图8所示。

S3：从步骤S2得到的逆透视变换图像中提取轨道关键点；

S3-1：在取鸟瞰图上纵向等间距的取25个，取鸟瞰图的第29、58、87、……720行关键像素行，取关键像素行中每段连续轨道像素的坐标均值作为轨道关键点的坐标。如图9、图10所示。

S3-2：取当前关键像素与下一关键像素行间的图像作为子图，在子图中以当前特定关键点为种子点，通过区域生长得到与当前特定关键点连通的关键点。

S3-3：通过当前关键点与下一关键像素行中连通关键点的连线与y轴的夹角作为倾斜角。

S4：根据步骤S3提取的轨道关键点，对于距离在一定阈值内的点进行匹配；

S4-1：同一关键像素行的关键点中，任意选取两个轨道关键点进行匹配。

S4-2：若匹配的两轨道关键点之间的实际距离dis_pair＝x_left-x_right满足(dis_{min_th}/cosθ)<dis_pair<(dis_{max_th}/cosθ)，则执行步骤S4-3，否则返回步骤S4-1；其中，x_left、x_right分别为左侧、右侧轨道关键点的横坐标，θ＝(θ_left+θ_right)/2，θ_left、θ_right分别为按照步骤S3-3计算得到的轨道关键点的倾斜角，dis_{max_th}和dis_{min_th}分别为匹配的两轨道关键点间距离的上下界；

S4-3：若匹配的两轨道关键点的倾斜角满足|θ_left-θ_right|<θ_th，则执行步骤S4-4，否则返回步骤S4-1，θ_th为设定的左侧、右侧轨道关键点的倾斜角之差的阈值；

S4-4：匹配成功，存储轨道关键点对。

S5：对匹配成功的轨道关键点开展广度优先搜索，得到初始轨道序列；

S5-1：对于当前第r_i行的任意轨道关键点对，查找第r_i+1行像素的轨道关键点对；

S5-2：判断第r_i+1行像素的轨道关键点对与第r_i行轨道关键点对是否连通，如果不连通，返回步骤S5-1；否则，将连通的第r_i+1行轨道关键点对加入到第r_i行轨道关键点对所在的轨道序列中；

S5-3：遍历全部轨道关键点对，若当前行轨道关键点对不存在连通的轨道关键点对，则将得到的轨道序列保存。

S6：筛选步骤S5得到的初始轨道序列，去除重复轨道序列；

S6-1：任意选取两条轨道序列；

S6-2：如图11所示，轨道序列1轨道序列、2之间不同点对数量(1对)小于阈值2，判定轨道序列1、轨道序列2为高重复序列，否则返回步骤S6-1；

S6-3：寻找轨道序列1、轨道序列2两条高重复轨道序列中不同点B、C

S6-4：根据步骤S6-3得到的轨道序列不同点，去除两高重复序列中不同点对处平滑度小的轨道序列。

如图5所示，轨道序列1与轨道序列2两个高重复轨道序列中只有一个点不同，但轨道序列2在点3处斜率变化大(|θ_1,3,up-θ_1,3,down|<|θ_2,3,up-θ_2,3,down|)，所以去除轨道序列2。

本实施例中，轨道序列1、轨道序列2两条高重复轨道序列中不同点B、C处，B点平滑度θ_B,slope＝|θ_B,up-θ_B,down|<θ_C,slope＝|θ_C,up-θ_C,down|，所以，去除点C所在轨道序列2，得到去重后轨道序列如图12所示。

S7：将轨道序列重投影回原始图像中，对于每一条轨道序列的关键点对，如图13所示。通过最小二乘法进行拟合，得到拟合轨道。

综上，通过本发明能够对复杂场景下轨道线进行拟合，在此基础上，能够通过相机在列车上的摆放位置，确定本轨中心点，与本轨中心点距离一定阈值范围内的关键点对所在轨道序列为本轨，其余为邻轨，从而区分本邻轨轨道线。

在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像分割的复杂场景下轨道线拟合方法，其特征在于，包括以下步骤：

S1：输入轨道区域图像，通过编码-解码神经网络分割图像，得到轨道区域像素；

S2：根据步骤S1得到的图像分割结果，对图像进行逆透视变换，将图像转换到鸟瞰图上，即：

[u′，v′，w′]＝[u，v，1]·M

其中，u，v分别为原图像的横纵坐标值，u′/w′，v′/w′分别为变换后的横纵坐标值，M为透视变换投影矩阵；

S3：从步骤S2得到的逆透视变换图像中提取轨道关键点；

S4：根据步骤S3提取的轨道关键点，对于距离在一定阈值内的点进行匹配；

S5：对匹配成功的轨道关键点开展广度优先搜索，得到初始轨道序列；

S6：筛选步骤S5得到的初始轨道序列，去除重复轨道序列；

S7：对步骤S6处理后的全部轨道序列内的轨道关键点对进行拟合，得到拟合后的左右轨道；

所述步骤S3的处理过程为：

S3-1：在步骤S2得到的鸟瞰图上纵向等间距取n行关键像素行，分别为r₁，r₂...，r_i，i＝1，2，…，n，其中，第r_i行像素中，第j个轨道关键点的横坐标为第j段连续轨道像素的横坐标均值共得到n行轨道关键点；

其中，h_img为分割图片像素高度，C_l为第l段轨道像素横坐标，k为轨道像素横坐标，m为C_l中包含像素个数；

S3-2：将第r_i行和第r_i+1行关键像素行之间的图像作为子图，以第r_i行轨道关键点A作为种子点，对子图区域进行区域生长，得到与轨道关键点A连通的第r_i+1行轨道关键点B和轨道关键点C；

S3-3：通过两轨道关键点之间的坐标差值，得到轨道关键点A与轨道关键点B之间的连线与y轴的夹角θ_AB作为轨道关键点A的倾斜角：

θ_AB＝atan((Ax-Bx)/(Ay-By))

其中，Ax、Ay为本行轨道关键点A的横纵坐标值；Bx、By为下一行轨道关键点B的横纵坐标值。

2.根据权利要求1所述的一种基于图像分割的复杂场景下轨道线拟合方法，其特征在于，所述步骤S4的处理过程为：

S4-1：在同一行轨道关键点中，任意选取两个轨道关键点进行匹配；

S4-2：若匹配的两轨道关键点之间的实际距离dis_pair＝x_left-x_right满足(dis_{min_th}/cosθ)＜dis_pair＜(dis_{max_th}/cosθ)，则执行步骤S4-3，否则返回步骤S4-1；其中，x_left、x_right分别为左侧、右侧轨道关键点的横坐标，θ＝(θ_left+θ_right)/2，θ_left、θ_right分别为按照步骤S3-3计算得到的轨道关键点的倾斜角，dis_{max_th}和dis_{min_th}分别为匹配的两轨道关键点间距离的上下界；

S4-3：若匹配的两轨道关键点的倾斜角满足|θ_left-θ_right|＜θ_th，则执行步骤S4-4，否则返回步骤S4-1，θ_th为设定的左侧、右侧轨道关键点的倾斜角之差的阈值；

S4-4：匹配成功，存储轨道关键点对。

3.根据权利要求2所述的一种基于图像分割的复杂场景下轨道线拟合方法，其特征在于，所述步骤S5的处理过程为：

S5-1：对于当前第r_i行的任意轨道关键点对，查找第r_i+1行像素的轨道关键点对；

S5-2：判断第r_i+1行像素的轨道关键点对与第r_i行轨道关键点对是否连通，如果不连通，返回步骤S5-1；否则，将连通的第r_i+1行轨道关键点对加入到第r_i行轨道关键点对所在的轨道序列中；

S5-3：遍历全部轨道关键点对，若当前行轨道关键点对不存在连通的轨道关键点对，则将得到的轨道序列保存。

4.根据权利要求3所述的一种基于图像分割的复杂场景下轨道线拟合方法，其特征在于，所述步骤S6的处理过程为：

S6-1：任意选取两条轨道序列，设序号为f和g；

S6-2：对两条轨道序列逐行比较轨道关键点对坐标，如果两条轨道序列第r_i行像素的轨道关键点对坐标完全相同，则判定该点对为相同点对；否则判定为不同点对，并保存不同点对；

S6-3：如果两条轨道序列之间，S6-2得到的不同点对个数小于设定的阈值，判定为高重复序列，否则返回步骤S6-1；

S6-4：从步骤S6-2得到高重复轨道序列中不同点对其中，表示第f条轨道序列在第r_i行像素的轨道关键点，表示第g条轨道序列在第r_i行像素的轨道关键点；

S6-5：根据步骤S6-4得到的轨道序列不同点对，若则去除第g条轨道序列；否则去除第f条轨道序列；

不同点与上下两个轨道关键点之间的倾斜角度和其中，表示第f条轨道序列的第r_i行像素的轨道关键点和第f条轨道序列的第r_i-1行像素的轨道关键点连线与y轴的夹角，表示第f条轨道序列的第r_i行像素的轨道关键点和第f条轨道序列的第r_i+1行像素的轨道关键点连线与y轴的夹角；第f条轨道序列的不同点处的平滑度同理，为第g条轨道序列的不同点处的平滑度。