CN102288121A - 一种基于单目视觉的车道偏离距离测量及预警方法 - Google Patents

Abstract

一种基于单目视觉的车道偏离距离测量及预警方法，属于计算机图像处理技术领域。首先通过安装于车辆前方的单目摄像机采集视频图像，经图像处理技术处理，完成车道线的检测，提取出车道线的几何信息；利用小孔成像原理立体几何变换关系、得汽车到左、右两侧车道线垂直的距离；根据实时测量的垂直距离建立偏离预警决策方法，为智能辅助驾驶技术提供有效信息。本发明利用Hough变换检测车道线时，加入了约束条件，排除了部分虚假车道线，提高了运算速度和车道线检测的准确性；同时，本发明仅利用图像信息即可实现车道偏离预警；车辆偏航角度对车道偏离距离的测量影响小且使用立体几何变化法求解运算速度快，能够满足智能辅助驾驶技术的要求。

Description

一种基于单目视觉的车道偏离距离测量及预警方法

技术领域

本发明属于计算机图像处理技术领域，特别涉及智能辅助驾驶技术中的车道偏离预警技术。

背景技术

随着社会经济的发展，汽车的保有量迅速增加，由于驾驶员等原因引起的交通事故更加频繁，已经成为制约社会发展的一个障碍。智能辅助驾驶技术是减少交通事故、提高运输效率、减轻驾驶员劳动负荷的途径之一，已经引起了越来越多的国内外研究机构和汽车研发、生产厂商的广泛兴趣。车道偏离预警系统是智能辅助驾驶系统研究的一个重要方面，车道偏离预警系统的基本原理：系统通过图像传感器获取车道线的几何信息，通过车辆运动参数传感器获取决策算法所必需的车辆运动参数如车速、车辆转向状态等，系统根据这些结果结合系统设定的相关参数判断是否发生车道偏离。目前国内外车道偏离预警系统的研制已经取得的一些成果，详见文献贾鑫，智能车辆视觉感知中的车道标线识别方法的研究，吉林大学博士论文，p6-13，2008.10；和文献：董因平，高速汽车车道偏离预警系统的算法研究，吉林大学博士学位论文，p3-11，2004所述。

在车道偏离预警系统中，车道偏离距离的决策的关键的确定一个合适的预警时刻向驾驶员报警，在保证适时与准确报警的的同时减少不必要的误警。目前的的车道偏离决策主要有几种：基于估计偏离时间的TLC(Time to Lane Crossing)决策方法、基于预测轨迹偏离的决策方法、基于车辆在车道中的当前位置(Cars Current Position，CCP)。以上几种方法需要运动参数传感器采集车速、方向盘转向及车辆转向灯等信息，传感设备昂贵、模型复杂、算法参数多、计算复杂。相对雷达、激光、超声波、红外线等传感器进行感知道路环境，视觉传感系统可获得更高、更精确、更丰富的道路结构环境信息。在实际生活中，驾驶员通过视觉可以获得80％以上的环境信息，例如交通标志、交通信号、车道线、道路形状、车辆、障碍物等。另一方面，视觉传感器费用低廉，体积小，图像处理算法有柔韧性和适应能力强等特点。因此视觉辅助驾驶技术在智能车辆中有广阔的应用前景。

发明内容

本发明提供一种基于单目视觉的车道偏离距离测量及预警方法，该方法利用图像处理技术处理采集到的视频图像，完成车道线的检测、提取出车道线的几何信息，利用小孔成像模型及立体几何变换关系获得汽车到左、右车道线的距离，并根据车道偏离距离建立一种偏离预警决策方法。

本发明技术方案如下

一种基于单目视觉的车道偏离距离测量及预警方法，包含下述步骤：

步骤1：将视频采集装置安装在车辆后视镜下方，安装视频采集装置时，应保证视频采集装置能够获取车辆前方清晰的车道线图像。

步骤2：视频采集装置内、外参数的标定。

步骤2-1：标定视频采集装置的内部参数，所述内部参数包括视频采集装置的水平方向的焦距f_x、垂直方向焦距f_y和所采集视频图像中心坐标(u₀，v₀)与车辆坐标系的位置关系。

步骤2-2：标定视频采集装置的外部参数，所述外部参数包括视频采集装置的俯仰角φ和方向角

将摄像机安装在车辆上，然后停放在两条平行的车道上，利用检测出的直线计算出摄像机的俯仰角φ，方向角

(详见文献Ender Kivanc Bas，Jill D.Crisman.An Easy to Install CameraCalibration for Traffic Monitoring.IEEE Intelligent Transportation System，1997.ITSC′97.)

步骤3：对采集到的视频图像进行车道线检测。

步骤3-1：图像二值化与边缘检测。首先将采集到的彩色图像转成灰度图像，然后使用最大类间方差法(Ostu)得到自适应阈值，再根据该自适应阈值对灰度图像进行二值化处理，最后利用差分边缘算子

作边缘检测以提取出车道线两侧的边缘。

步骤3-2：利用改进的Hough变换检测车道线。

Hough是一种广泛采用的直线检测方法，本发明为了减少由于分布效应产生的虚假类峰导致错误的直线提取，对Hough变换进行改进，加入了局部峰值限制与参数之间最小距离约束条件对Hough域进行筛选。具体来说：针对步骤3-1所得经边缘检测的二值化图像中所有像素值为1的点(x，y)，进行经过Hough变换得到的峰值点以H(ρ，θ)表示(其中ρ表示极轴，θ表示极角)，在H(ρ，θ)参数空间中每个单元的局部峰值与相邻的峰值比较，当比较结果满足H(ρ，θ)≥H(ρ±1，θ±1)时，将该峰值保存在H′(ρ，θ)＝H(ρ，θ)，将不满足H(ρ，θ)≥H(ρ±1，θ±1)的单元置为零；然后利用参数间最小距离对H′(ρ，θ)中的峰值进行第二次筛选，在最小距离窗口[(ρ±w，θ±w)](w为设定的窗口值)内的搜索最大值并保留，其他的非最大值置为零；最后在H′(ρ，θ)中按极轴ρ的大小将(ρ，θ)按组进行降序排列。

步骤4：车辆左、右两侧的车道线参数提取。根据车辆在当前车道中的行驶情况，按照极轴ρ、极角θ间的关系，在参数矩阵H′(ρ，θ)中确定当前左、右两侧的车道线参数。具体来说：

取参数矩阵H′(ρ，θ)中第一组(ρ₁，θ₁)作为第一条车道线参数，当θ₁＞0时为左侧车道线参数，当θ₁＜0时为右侧车道线参数。

当车辆正常行驶时，在参数矩阵H′(ρ，θ)中从第二组(ρ，θ)开始选择满足θ*θ₁＜0的一组参数作为第二条车道线的参数；当车辆跨越车道时，在H′(ρ，θ)中从第二组(ρ，θ)开始选择满足θ*θ₁＞0的一组参数作为第二条车道线参数。

步骤5、利用车道线的斜率计算车辆在车道中的偏离距离。

对车辆行驶过程中采集到的图像按帧进行实时的检测，依据步骤4中获得的车道线参数，计算出当前车辆所在车道的左、右两条车道线的斜率k₁、k₂，斜率k₁、k₂的值等于步骤4中获得的左、右车道线参数(ρ，θ)中极角的正切值tan(θ)。如图4所示，利用小孔成像模型推导出的垂直距离测量公式，将斜率k₁、k₂及步骤2中获得的俯仰角φ，方向角

及车道的宽度W代入公式(1)、(2)中，得到车辆到左、右车道线的垂直距离dl、dr。

步骤6、车道偏离预警决策的建立。根据步骤6得到的偏离距离，当dl＜D且左侧的直线极角参数θ_L＞λ_L时，触发左偏离偏离警报；当dr＜D且右侧的直线参数极角θ_R＞λ_R时，触发右偏离偏离警报，提醒驾驶员有偏离的可能，注意安全驾驶。其中，距离阈值D，角度阈值λ_L、λ_R的选取根据驾驶员对安全要求、反应时间、车辆制动灯因素综合决定。

上述技术方案中，需要特别说明的是：

1、步骤1中所述视频采集装置可采用CCD或CMOS摄像机；安装视频采集装置时，将视频采集装置安装在车辆后视镜处并与车体的纵向坐标轴平行，相对车体横向坐标的位移为零，这样能够减少由于摄像机位置偏移对车辆偏移距离测量结果影响。

2、步骤3对采集到的视频图像进行车道线检测时，由于采集的视频图像上三分之一的部分为包含天空、树木、标示牌、建筑物的干扰信息，道路及车道线位于采集的视频图像下三分之二部分，因此为了减少计算量，可选择采集视频图像的下三分之二部分作为感兴趣区域并进行步骤3-1和步骤3-2的处理。

3、步骤2中，摄像机内部参数标定，通常情况下摄像机内部参数经标定后参数不变，因此采用了线下进行摄像机标定的方式。内部参数的标定方法较多，通常情况下可使用通用的标定工具进行内部参数的标定，如Intel公司的开源计算机视觉库OpenCV中的标定函数、加州理工学院视觉实验室的Matlab摄像机标定工具箱、微软的Easy Camera Calibration工具箱等，将标定出的结果记录下来。对于摄像机的外部参数，没有考虑摄像机的侧倾角，可以将其设为零，因此只需标定俯仰角φ、方向角

即可。

4、步骤3中，根据Hough变换的检测结果，在峰值集合H′(ρ，θ)中选取了10个最大的点作为候选车道线参数；步骤3-1中设定窗口值w的取值范围为[3，6]。

5、步骤5中，车辆到车道线的垂直距离，该距离为车载摄像机到左右车道线的垂直距离，在实际的应用中应减去车体宽度，这样就能得到车辆左右两侧与车道线的距离。

本发明的有益效果是：

本发明利用图像处理技术处理采集到的视频图像，基于Hough变换完成车道线的检测、提取出车道线的几何信息，利用小孔成像模型及立体几何变换关系获得汽车到左、右车道线的距离，并根据车道偏离距离建立一种偏离预警决策方法。其中对Hough变换检测车道线加入了约束条件，这样能够排除一部分虚假的车道线且运算速度较快，提高车道线检测的准确性；使用单目视觉采集图像，通过车道线的斜率与车道的宽度实现视觉图像测距，能够仅利用图像信息而不用其他的传感器即可实现车道偏离预警；车辆偏航角度对车道偏离距离的测量影响小且使用立体几何变化法求解运算速度快，能够满足智能辅助驾驶技术的要求。

附图说明

图1为摄像机的俯仰角示意图。

图2为摄像机的方向角示意图。

图3为车辆上方的俯视示意图。

图4为本发明中使用的空间坐标系关系图。

图5为本发明流程示意图。

具体实施方式

采用本发明的方法，给出一个非限定性的实例，结合图1、图2、图3、图4、图5进一步对本发明的具体实施过程进行说明。本发明在Matlab/Simulink搭建的车道偏离预警系统实现，在高速公路上采集视频图像。所用实验设备皆为市场上的通用设备，使用的一些通用技术如图像采集、图像变换等不再详细叙述。

本发明的实施方式如下：

1.摄像机参数的标定与安装，按照步骤2-1进行摄像机内部参数的标定(本实例使用加州理工学院视觉实验室开发的Matlab摄像机标定工具箱进行的内部参数标定)，然后按步骤

1、步骤2-2将标定过的摄像机安装到车辆上，并标定出外部参数。

2.车道线的检测与左、右两侧车道线参数提取，按照步骤3、步骤4确定直线的参数。

3.利用车道线的斜率计算车辆在车道中的偏离距离，按照步骤5将各个参数带入公式(1)、(2)得到车辆到车道的垂直距离。

车道偏离预警决策，按照步骤6中，根据驾驶员对安全要求、反应时间、车辆制动灯因素设定阈值，当获得的实时结果不满足设定的阈值要求时，触发警报，提醒驾驶员注意安全驾驶。

Claims (4)

1.一种基于单目视觉的车道偏离距离测量及预警方法，包含下述步骤：

步骤1：将视频采集装置安装在车辆后视镜下方，安装视频采集装置时，应保证视频采集装置能够获取车辆前方清晰的车道线图像；

步骤2：视频采集装置内、外参数的标定；

步骤2-1：标定视频采集装置的内部参数，所述内部参数包括视频采集装置的水平方向的焦距f_x、垂直方向焦距f_y和所采集视频图像中心坐标(u₀，v₀)与车辆坐标系的位置关系；

步骤2-2：标定视频采集装置的外部参数，所述外部参数包括视频采集装置的俯仰角φ和方向角

步骤3：对采集到的视频图像进行车道线检测；

步骤3-1：图像二值化与边缘检测；首先将采集到的彩色图像转成灰度图像，然后使用最大类间方差法得到自适应阈值，再根据该自适应阈值对灰度图像进行二值化处理，最后利用差分边缘算子

作边缘检测以提取出车道线两侧的边缘；

步骤3-2：利用改进的Hough变换检测车道线；

针对步骤3-1所得经边缘检测的二值化图像中所有像素值为1的点(x，y)，进行经过Hough变换得到的峰值点以H(ρ，θ)表示，其中ρ表示极轴、θ表示极角，在H(ρ，θ)参数空间中每个单元的局部峰值与相邻的峰值比较，当比较结果满足H(ρ，θ)≥H(ρ±1，θ±1)时，将该峰值保存在H′(ρ，θ)＝H(ρ，θ)，将不满足H(ρ，θ)≥H(ρ±1，θ±1)的单元置为零；然后利用参数间最小距离对H′(ρ，θ)中的峰值进行第二次筛选，在最小距离窗口[(ρ±w，θ±w)]内的搜索最大值并保留，w为设定的窗口值，其他的非最大值置为零；最后在H′(ρ，θ)中按极轴ρ的大小将(ρ，θ)按组进行降序排列；

步骤4：车辆左、右两侧的车道线参数提取；根据车辆在当前车道中的行驶情况，按照极轴ρ、极角θ间的关系，在参数矩阵H′(ρ，θ)中确定当前左、右两侧的车道线参数；具体来说：

取参数矩阵H′(ρ，θ)中第一组(ρ₁，θ₁)作为第一条车道线参数，当θ₁＞0时为左侧车道线参数，当θ₁＜0时为右侧车道线参数；

当车辆正常行驶时，在参数矩阵H′(ρ，θ)中从第二组(ρ，θ)开始选择满足θ*θ₁＜0的一组参数作为第二条车道线的参数；当车辆跨越车道时，在H′(ρ，θ)中从第二组(ρ，θ)开始选择满足θ*θ₁＞0的一组参数作为第二条车道线参数；

步骤5、利用车道线的斜率计算车辆在车道中的偏离距离；

对车辆行驶过程中采集到的图像按帧进行实时的检测，依据步骤4中获得的车道线参数，计算出当前车辆所在车道的左、右两条车道线的斜率k₁、k₂，斜率k₁、k₂的值等于步骤4中获得的左、右车道线参数(ρ，θ)中极角的正切值tan(θ)；利用小孔成像模型推导出的垂直距离测量公式，将斜率k₁、k₂及步骤2中获得的俯仰角φ，方向角

及车道的宽度W代入公式(1)、(2)中，得到车辆到左、右车道线的垂直距离dl、dr：

步骤6、车道偏离预警决策的建立；根据步骤6得到的偏离距离，当dl＜D且左侧的直线极角参数θ_L＞λ_L时，触发左偏离偏离警报；当dr＜D且右侧的直线参数极角θ_R＞λ_R时，触发右偏离偏离警报，提醒驾驶员有偏离的可能，注意安全驾驶；其中，距离阈值D，角度阈值λ_L、λ_R的选取根据驾驶员对安全要求、反应时间、车辆制动灯因素综合决定。

2.根据权利要求1所述的基于单目视觉的车道偏离距离测量及预警方法，其特征在于，步骤1中所述视频采集装置为CCD或CMOS摄像机；安装视频采集装置时，将视频采集装置安装在车辆后视镜处并与车体的纵向坐标轴平行，相对车体横向坐标的位移为零，这样能够减少由于摄像机位置偏移对车辆偏移距离测量结果影响。

3.根据权利要求1所述的基于单目视觉的车道偏离距离测量及预警方法，其特征在于，步骤3对采集到的视频图像进行车道线检测时，选择采集视频图像的下三分之二部分作为感兴趣区域并进行步骤3-1和步骤3-2的处理。

4.根据权利要求1所述的基于单目视觉的车道偏离距离测量及预警方法，其特征在于，步骤3-1中设定窗口值w的取值范围为[3，6]。

Images