CN111238365B - 基于立体视觉的地铁列车测距和定位方法及系统 - Google Patents

Abstract

本发明涉及一种基于立体视觉的地铁列车测距和定位方法及系统，属于定位技术领域，解决地铁列车的测距和定位问题，方法包括，在地铁列车上安装双目摄像头，用于拍摄地铁轨旁图像，所述地铁轨旁铺设有二维码；对所述双目摄像头拍摄的图像进行处理，确定所述二维码在图像中的位置；对确定图像中位置的二维码进行解码和测距，得到二维码ID号和列车距二维码的距离；根据所述二维码ID号对应的位置坐标和列车距二维码的距离确定列车位置坐标。本发明在保证了输出结果的准确性的同时大大减少了系统的运算时间，无需部署轨旁设备，能大幅度地减小部署成本和运营成本。

Description

基于立体视觉的地铁列车测距和定位方法及系统

技术领域

本发明涉及定位技术领域，尤其是一种基于立体视觉的地铁列车测距和定位方法及系统。

背景技术

目前，地铁列车的定位系统主要依赖于车载设备和轨旁设备，通过应答方式进行位置标定。这种严重依赖于轨旁设备的定位模式，导致地铁列车施工难度大、施工过程繁琐。在列车交付运营后，故障率高且维修难度大，同时由于应答的原理、报文等不同，导致相同城市的不同线路之间地铁列车不能互换的问题。

双目立体视觉BSV(Binocular Stereo Vision)可用于目标检测和测距。通常双目立体视觉BSV通过全局遍历的方式寻找目标位置，基于机器学习进行目标检测，通过立体匹配BM(Stereo match)测量距离目标的距离信息。

但是将目前的双目立体视觉BSV运用到地铁列车定位时，还存在以下问题：

1、采用的全局遍历方法需要对图像进行遍历并进行层级筛选，其时间和空间复杂度都相当庞大，需要的计算资源也很多，相应地，算法的执行时间长。另外，由于在地铁环境下，图像的光线、拍摄位置等原因，像素特征与理想情况下会出现一些变化，导致识别的准确性不高。

2、采用的机器学习方法识别的准确度很大程度上取决于训练数据集的数量和网络的结构，对于一个特定的应用场景来说，庞大数据集往往是不容易收集到的。虽然目前一些网络的识别准确性已经很高，但这些网络往往规模巨大，计算过程繁琐，不适合应用到嵌入式系统等计算资源有限设备上。因此，使用这种方案的开发成本较高、运算过程也较慢。

3、采用的立体匹配算法都是对双目图的全局进行匹配，需要进行耗时的全图遍历操作，比较耗时，在满足测量精度要求下，往往无法满足对测量时间的要求。

发明内容

鉴于上述的分析，本发明旨在提供一种基于立体视觉的地铁列车测距和定位方法及系统，解决地铁列车的测距和定位问题。

本发明的目的主要是通过以下技术方案实现的：

本发明公开了一种基于立体视觉的地铁列车测距定位方法，包括：

在地铁列车上安装双目摄像头，用于拍摄地铁轨旁图像，所述地铁轨旁铺设有二维码；

对所述双目摄像头拍摄的图像进行处理，确定所述二维码在图像中的位置；

对确定图像中位置的二维码进行解码和测距，得到二维码ID号和列车距二维码的距离；

根据所述二维码ID号对应的位置坐标和列车距二维码的距离确定列车位置坐标。

进一步地，在地铁轨旁两侧均铺设有多个所述二维码，铺设的位置坐标与所述二维码的ID号一一对应，所述二维码的图案采用某一种特征颜色；

所述双目摄像头安装在列车的单侧，两个摄像头的拍摄视角均能覆盖设置在同侧轨旁的、列车前方的二维码。

进一步地，所述双目摄像头朝向列车前进方向，两个摄像头的连线与列车前进方向的垂直面成30±5度角。

进一步地，所述图像处理过程包括：

对所述包含二维码图片的图像进行预处理；

截取预处理后图像，获取图像有效范围；

对所述截取的图像进行二值化得到二值图，使与所述特征颜色相同的图像区域为一种颜色值，其他区域为另一种颜色值；

对所述二值图的面积进行分割缩小，查找二值图中二维码图片所在区域，确定二维码图片在二值图中的位置。

进一步地，所述二维码铺设在轨道旁边，与地铁轨道以及列车上的双目摄像头构成固定的拍摄关系中，使二维码在进入有效的拍摄范围时，只出现在拍摄视场的一侧；所述图像有效范围为拍摄图像中该侧的半幅图像。

进一步地，所述二值化包括：

将所述截取的图像转换为HSV图；

根据所述二维码图案的特征颜色，对HSV图进行阈值分割得到阈值图；

对阈值图进行二值化；使阈值图像只有黑、白两种颜色值，其中所述特征颜色相同的图像区域为黑色，其他区域为白色。

进一步地，所述图像处理过程中还包括对二值化后的图像进行开运算。

进一步地，所述对二值图的面积进行分割缩小采用滑窗方法，包括：

1)以设定的窗口大小对所述二值图进行分割，初始化全局计数器记录迭代次数，初始值为0；

2)遍历分割后的图块，计算每个图块中的黑色区域面积，判断是否某个图块的黑色区域面积大于预设的最大数值；是，则进入3)；否，则进入4)；

3)判断迭代次数，若大于2，表明所述二值图中未包含二维码图片，则结束对所述二值图的搜索，否则，迭代计数器加1，加大窗口的尺寸规格，对二值图进行重新分割，返回2)；

4)取到黑色面积最大的图块，判断该图块中黑色区域面积的占比是否小于预设的最小数值；是，判断迭代次数，若大于2，表明所述二值图中未包含二维码图片，则结束对所述二值图的搜索；否则，迭代计数器加1，减小窗口的大小，返回2)；否，则停止调整窗口大小，保存包含黑色面积最大的块的坐标，为二维码图片在二值图中的位置。

进一步地，所述解码和测距方法包括；

将预处理后的图像进行灰度处理得到灰度图；

根据所述二维码在二值图中位置，在灰度图中找到二维码；

对灰度图中的二维码进行解码操作，得到二维码的ID号；

准确定位解码成功的灰度图中二维码的四个角点，利用双目图中二维码角点的视差得到双目摄像头到二维码的距离信息。

本发明还公开了一种基于立体视觉的地铁列车测距定位系统，包括二维码、双目摄像头、图像处理模块和测距定位模块；

所述二维码铺设在地铁轨旁两侧，铺设的位置坐标与二维码的ID号一一对应，所述二维码的图案采用某一种特征颜色；

所述双目摄像头安装在地铁列车上，用于拍摄铺设在地铁轨旁的二维码，获取包含所述二维码图片的图像；

所述图像处理模块，用于对所述双目摄像头拍摄的图像进行处理，确定所述二维码在图像中的位置；

所述测距定位模块，用于对所述确定在图像中位置的二维码进行解码和测距，得到二维码ID号和列车距二维码的距离；并根据所述二维码ID号对应的位置坐标和列车距二维码的距离确定列车位置坐标。

本发明有益效果如下：

1、本发明解决传统地铁轨道列车测距系统中需要部署轨旁设备问题，能大幅度地减小部署成本和运营成本；

2、利用双目视觉技术对设置在轨旁的二维码区域进行快速检测和测距，省去了繁琐的目标检测与立体匹配过程，大大减少了系统的运算时间，同时也保证了输出结果的准确性；

3、搭载性能略差的嵌入式板卡设备进行测距和定位，每帧图像的计算时间仍能保证在75ms以内，每秒内能给出13个左右的输出结果，具有实际应用价值。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本实施例一中的地铁列车测距和定位方法流程图；

图2为本实施例一中的双目摄像头与二维码的位置关系图；

图3为本实施例一中的确定二维码在图像中位置的方法流程图；

图4为本实施例一中的滑动窗口算法流程图；

图5为本实施例一中的对确定位置的二维码解码和测距方法流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

实施例一、

本实施例公开了一种基于立体视觉的地铁列车测距和定位方法，如图1所示，包括以下步骤：

步骤S1、在地铁列车上安装双目摄像头，用于拍摄地铁轨旁图像，所述地铁轨旁铺设有二维码；

具体的，在地铁轨旁两侧均铺设多个二维码，铺设的位置坐标与二维码的ID号一一对应，二维码的图案采用某一种特征颜色，例如为蓝色。

具体的，所述双目摄像头安装在列车的单侧，其两个摄像头的拍摄视角均能覆盖到设置在同侧轨旁的、列车前方的二维码。

优选的，为了能够使拍摄视角范围更好的覆盖二维码，将双目摄像头水平朝前放置，双目摄像头放置在列车上，距离站台约1.5m。二维码标识大小固定，采用A4纸大小宽度为21cm；双目摄像头的测距范围最小值为1.5m左右。

为了使双目摄像头能够更好的拍摄到二维码，可以让双目摄像头整体朝向车身前进方向并与前进方向的垂直面成30度角设置，使距离为12cm的左目和右目的视角重叠部分能覆盖二维码区域。

双目摄像头的设置角度及视角覆盖范围与二维码的位置关系如图2所示，此图可以看作是双目摄像头放置的俯视图。根据双目摄像头的视角50度，倾斜角度30度可以得到，左目摄像头的左视角线与前进方向的垂直面成35度角。

步骤S2、对所述双目摄像头拍摄的图像进行处理，确定所述二维码在图像中的位置；

如图3所示，图像处理过程包括以下子步骤：

步骤S2-1、对图像进行预处理；

由于双目摄像头在制作过程中会产生微小的位移，导致其左右目不是理论分析下的平行共面的情况，这会使拍摄的图像产生微小的畸变，不利于计算距离。因此，对图像进行预处理，根据双目摄像头的畸变参数、旋转矩阵、平移矩阵进行立体校正，消除图像产生的畸变。

步骤S2-2、截取预处理后图像，获取图像有效范围；

因为本实施例中，二维码铺设在轨道旁边，与地铁轨道以及双目摄像头的位置关系固定，在构成的拍摄关系中，使二维码在进入有效的拍摄范围时，只出现在拍摄视场的一侧；则只需截取拍摄图像中该侧的半幅图像，就可以用于后续对二维码图片的处理，可使后处理可以减少一半的运算量。

例如，双目摄像头位于列车的左侧，拍摄同侧轨旁的二维码图片，使二维码图片只出现在拍摄图像的左侧，则图像左侧为图像的有效范围，截取图像的左侧。

步骤S2-3、将截取的预处理后图像转换为HSV图；

在计算机视觉中HSV颜色空间，更容易实现对特定颜色的对象的识别，因此，将截取的有效范围转换为HSV图。

步骤S2-4、对HSV图进行阈值分割得到阈值图；

本实施例中二维码图案采用的特征颜色为蓝色；因此，以蓝色作为特征色，将HSV颜色空间的原图像进行缩小操作，对缩小后的图像进行阈值分割操作，使原图中的蓝色部分变明亮，其他颜色部分变暗。之后进行颜色取反，使暗色的部分变亮，亮色的部分变暗。

因此，这里考虑对图像进行缩小，使二维码的蓝色区域更加集中并进一步的减少运算时间。

步骤S2-5、对阈值图进行二值化；使阈值图像只有黑、白两种颜色。

使包含特征颜色的区域为黑色，其他区域为白色。

优选的，对二值化后的图像再进行开运算；通过开运算，消除明亮部分的毛刺和图中小的明亮点，使黑色区域更加集中，平滑。更有利于找到特征颜色的位置。

步骤S2-6、通过设置的滑窗对二值图的面积进行缩小，以确定二维码位置；

在本实施例中，通过滑窗方法，对二值图的面积进行分割缩小，查找并确定二值图中最可能是二维码的区域。

具体的，如图4所示，包括：

1)以设定的窗口大小对二值图进行分割，根据实验测试，在待测范围内，A4纸大小的二维码在图中大小在24像素左右，使用24像素的初始值识别较稳定，此时初始化一个全局计数器记录迭代次数，初始值为0；

2)遍历分割后的图块，计算每个图块中的黑色区域面积，判断是否某个图块的黑色区域面积大于预设的最大数值；是，则进入3)；否，则进入4)；

3)判断迭代次数，若大于2，表明所述二值图中未包含二维码图片，则结束对所述二值图的搜索，否则，迭代计数器加1，加大窗口的尺寸规格，长宽各增加2像素，对二值图进行重新分割，返回2)；

4)取到黑色面积最大的图块，判断该图块中黑色区域面积的占比是否小于预设的最小数值；是，判断迭代次数，若大于2，表明所述二值图中未包含二维码图片，则结束对所述二值图的搜索，否则迭代计数器加1，减小窗口的大小，长宽各减少2像素，返回2)；否，则停止调整窗口大小，保存包含黑色面积最大的块的坐标为二维码图片在二值图中的位置。

优选的，所述最大数值可设置为80％；所述最小数值可设置为20％.

步骤S3、对确定位置的二维码进行解码和测距，得到二维码ID号和列车距二维码的距离；

如图5所示，包括以下子步骤：

步骤S3-1、将预处理后的图像进行灰度处理得到灰度图；

步骤S3-2、根据步骤S2中确定的二维码位置，在灰度图中找到二维码；

步骤S3-3、对灰度图中的二维码进行解码操作，得到二维码的ID号；

步骤S3-4、准确定位解码成功图像中二维码的四个角点，利用双目图中二维码角点的视差得到双目摄像头到二维码的距离信息，即列车到二维码的距离信息；

步骤S4、根据所述二维码ID号对应的位置坐标和列车距二维码的距离确定列车位置坐标。

由于二维码的ID号与铺设位置一一对应，通过二维码的ID号可获得二维码对应的位置坐标，列车到二维码的距离信息即为列车到该位置坐标的距离，通过常规换算则和确定列车的当前位置坐标。

相对与现有技术，本实施例的基于立体视觉的地铁列车测距和定位方法解决了传统地铁轨道列车测距系统中需要部署轨旁设备问题，能大幅度地减小部署成本和运营成本；利用双目视觉技术对设置在轨旁的二维码区域进行快速检测和测距，省去了繁琐的目标检测与立体匹配过程，大大减少了系统的运算时间，同时也保证了输出结果的准确性；

在测试中，搭载性能略差的嵌入式板卡设备进行测距和定位，每帧图像的计算时间仍能保证在75ms以内，每秒内能给出13个左右的输出结果，具有实际应用价值。

实施例二、

本实施例公开了一种基于立体视觉的地铁列车测距和定位系统，包括二维码、双目摄像头、图像处理模块和测距定位模块；

所述二维码铺设在地铁轨旁两侧，铺设的位置坐标与二维码的ID号一一对应，所述二维码的图案采用某一种特征颜色；

所述双目摄像头安装在地铁列车上，用于拍摄铺设在地铁轨旁的二维码，获取包含所述二维码图片的图像；

所述图像处理模块，用于对所述双目摄像头拍摄的图像进行处理，确定所述二维码在图像中的位置；

所述测距定位模块，用于对所述确定在图像中位置的二维码进行解码和测距，得到二维码ID号和列车距二维码的距离；并根据所述二维码ID号对应的位置坐标和列车距二维码的距离确定列车位置坐标。

相对与现有技术，本实施例提供的基于立体视觉的地铁列车测距和定位系统的有益效果与实施例一提供的有益效果基本相同，在此不一一赘述。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于立体视觉的地铁列车测距和定位方法，其特征在于，包括：

在地铁列车上安装双目摄像头，用于拍摄地铁轨旁图像，所述地铁轨旁铺设有二维码；

对所述双目摄像头拍摄的图像进行处理，确定所述二维码在图像中的位置；

所述图像处理过程包括：

对包含二维码图片的图像进行预处理；

截取预处理后图像，获取图像有效范围；

所述二维码铺设在轨道旁边，与地铁轨道以及列车上的双目摄像头构成固定的拍摄关系中，使二维码在进入有效的拍摄范围时，只出现在拍摄视场的一侧；所述图像有效范围为拍摄图像中该侧的半幅图像；

对所述截取的图像进行二值化得到二值图，使与二维码图案的特征颜色相同的图像区域为一种颜色值，其他区域为另一种颜色值；

对所述二值图的面积进行分割缩小，查找二值图中二维码图片所在区域，确定二维码图片在二值图中的位置；

对二值图的面积进行分割缩小采用滑窗方法，包括：

1)以设定的窗口大小对所述二值图进行分割，初始化全局计数器记录迭代次数，初始值为0；

2)遍历分割后的图块，计算每个图块中的黑色区域面积，判断是否某个图块的黑色区域面积大于预设的最大数值；是，则进入3)；否，则进入4)；

3)判断迭代次数，若大于2，表明所述二值图中未包含二维码图片，则结束对所述二值图的搜索，否则，迭代计数器加1，加大窗口的尺寸规格，对二值图进行重新分割，返回2)；

4)取到黑色面积最大的图块，判断该图块中黑色区域面积的占比是否小于预设的最小数值；是，判断迭代次数，若大于2，表明所述二值图中未包含二维码图片，则结束对所述二值图的搜索；否则，迭代计数器加1，减小窗口的大小，返回2)；否，则停止调整窗口大小，保存包含黑色面积最大的块的坐标，为二维码图片在二值图中的位置；

对确定图像中位置的二维码进行解码和测距，得到二维码ID号和列车距二维码的距离；

根据所述二维码ID号对应的位置坐标和列车距二维码的距离确定列车位置坐标。

2.根据权利要求1所述的地铁列车测距和定位方法，其特征在于，在地铁轨旁两侧均铺设有多个所述二维码，铺设的位置坐标与所述二维码的ID号一一对应，所述二维码的图案采用某一种特征颜色；

所述双目摄像头安装在列车的单侧，两个摄像头的拍摄视角均能覆盖设置在同侧轨旁的、列车前方的二维码。

3.根据权利要求2所述的地铁列车测距和定位方法，其特征在于，所述双目摄像头朝向列车前进方向，两个摄像头的连线与列车前进方向的垂直面成30±5度角。

4.根据权利要求1所述的地铁列车测距和定位方法，其特征在于，所述二值化包括：

将所述截取的图像转换为HSV图；

根据二维码图案的特征颜色，对HSV图进行阈值分割得到阈值图；

对阈值图进行二值化；使阈值图像只有黑、白两种颜色值，其中所述特征颜色相同的图像区域为黑色，其他区域为白色。

5.根据权利要求4所述的地铁列车测距和定位方法，其特征在于，所述图像处理过程中还包括对二值化后的图像进行开运算。

6.根据权利要求1所述的地铁列车测距和定位方法，其特征在于，

所述解码和测距方法包括；

将预处理后的图像进行灰度处理得到灰度图；

根据所述二维码在二值图中位置，在灰度图中找到二维码；

对灰度图中的二维码进行解码操作，得到二维码的ID号；

准确定位解码成功的灰度图中二维码的四个角点，利用双目图中二维码角点的视差得到双目摄像头到二维码的距离信息。

7.一种基于权利要求1-6任一项所述的地铁列车测距和定位方法的地铁列车测距定位系统，其特征在于，包括二维码、双目摄像头、图像处理模块和测距定位模块；

所述二维码铺设在地铁轨旁两侧，铺设的位置坐标与二维码的ID号一一对应，所述二维码的图案采用某一种特征颜色；所述二维码铺与地铁轨道以及列车上的双目摄像头构成固定的拍摄关系中，使二维码在进入有效的拍摄范围时，只出现在拍摄视场的一侧；所述图像有效范围为拍摄图像中该侧的半幅图像；

所述双目摄像头安装在地铁列车上，用于拍摄铺设在地铁轨旁的二维码，获取包含所述二维码图片的图像；

所述图像处理模块，用于对所述双目摄像头拍摄的图像进行处理，确定所述二维码在图像中的位置；

所述测距定位模块，用于对所述确定在图像中位置的二维码进行解码和测距，得到二维码ID号和列车距二维码的距离；并根据所述二维码ID号对应的位置坐标和列车距二维码的距离确定列车位置坐标。

Images