CN106529592A - 一种基于混合特征与灰度投影的车牌识别方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，特指一种基于混合特征与灰度投影的车牌识别方法。本系统针对车牌识别这个特定问题，为了提高系统的准确性与可靠性，使其能满足实时性需求。本算法包括三个步骤：1.基于混合特征的车牌定位；2.车牌字符的分割，采用基于改进的灰度投影算法对车牌字符进行分割；3.车牌字符分割后的字符识别并输出，提出了联合方向梯度直方图和核主成分分析法的特征，它综合了二值图、灰度图、16值图的方向梯度直方图特征的优点，能够较好提取汉字结构特征。本发明中提出的方法实际上可嵌入FPGA实现，运用于具有实时输出图像功能的车牌定位识别功能的相机或摄像机中。

Description

一种基于混合特征与灰度投影的车牌识别方法

技术领域

本发明涉及计算机视觉领域，特指一种基于混合特征与灰度投影的车牌识别方法。

背景技术

随着现代化交通的发展，车辆牌照自动识别技术越来越受到人们的重视，是近年来计算机视觉与模式识别技术在智能交通领域的重要研究课题之一。车辆牌照自动识别系统可用于公路收费站、停车场、十字路口等场所的车辆管理，对于道路交通和停车场车辆管理具有重要的促进作用。

车牌识别技术包括车牌定位、字符分割和字符识别3个基本环节，其中车牌定位是字符分割和字符识别的前提，而车牌字符分割是车牌识别的基础。

车牌识别系统在国内外研究都有一段时间了，国外的车牌识别系统有一定的应用，但是国内的车牌识别系统总体上来说还处于实验室阶段，离实际的工程应用还有一段距离。其原因是因为国内的车牌不统一、汉字识别难度大等因素。但车牌其自身的特点为我们研究车牌识别系统提供了突破口。

现实中，在实际路口采集所得的图片与停车场和小区中采集的图片有很大的不同。小区中的图片背景单一，光照均匀，分辨率高。与此不同的是，在十字路口采集的图片背景复杂、光照不均、分辨率低、车牌旧、车牌脏等，这些都给车牌识别带来了很大的困难，针对这些实际的特定问题，本发明提出了一种车牌自动定位、分割以及识别方法。

本系统算法车牌字符读取可靠性高，识别度好，鲁棒性好，同时步骤计算简单，能保持高效率，实时性也能满足需求。

发明内容

本发明要解决的技术问题在于：针对现行车牌识别系统存在的这些特定难点问题，为了提高监控系统的车牌识别的准确程度，并使其满足实时性需求，提出一种基于混合特征和灰度投影的车牌识别方法。

包括如下步骤：

S1)车牌定位；

S1.1)获取车牌彩色图像，所述车牌彩色图像的颜色空间转换为HSV颜色空间；

S1.2)实现车牌区域粗定位，实现彩色图像的二值化；

S1.3)实现车牌区域精确定位，获取车牌的水平坐标和垂直坐标位置；

S1.4)将精确定位后输出的图像进行非极大值抑制处理，将处理结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；

S2)车牌字符分割；

S2.1)去除输入车牌区域图像的车牌边框；

S2.2)先对去除边框后的车牌图像进行字符的对比度增强和滤波，再基于灰度投影算法进行车牌字符分割；

S3)车牌字符分割后的字符识别并输出。

作为本发明技术方案的进一步改进，所述步骤S3)采用基于联合HOG特征的车牌字符识别方法对车牌字符分割后的字符进行识别，具体包括以下步骤：

S3.1)首先确定字符的分类器；

S3.2)分别提取汉字、数字字母的灰度方向梯度直方图HOG特征、二值HOG特征、16值HOG特征，将它们组合成联合HOG特征，将得到的联合HOG特征用核主成分分析法进行降维；

S3.3)将汉字和数字字母的联合HOG特征送入所述分类器进行训练和预测，将汉字和数字字母的识别结果进行组合，得到最终的车牌字符识别结果并输出。

作为本发明技术方案的进一步改进，所述步骤S1.4)中，所述(1)将初始检测窗口按照检测分数从高到低排序；

(2)将第1个初始检测窗口作为当前的抑制窗口；

(3)非极大值抑制。将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口。计算当前抑制窗口与被抑制窗口的重合面积比率：面积的交集/面积的并集。剔除重合面积比率高于设定阈值的窗口；

(4)如果只剩最后一个初始检测窗口则结束，否则按照排好的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤(3)。

作为本发明技术方案的进一步改进，所述步骤S2.1)包括：

S2.1.1)上下边框的去除：

获得车牌候选区域的二值化阈值，得到候选区域的二值图像，求取该二值图像中间部分的行和，然后将行和处理如下：

从中间向两端开始寻找rowsum的上下方向上有一段距离为零的边界，采用该距离为0.75×height，从而得到车牌的上下边界；

S2.1.2)左右边框的去除：

用去除上下边框相同的方法来找到一个左右边框的边界：left1,right1；

重新构建一个二值图像，再用去除上下边框相同的方法来找到另一个左右边框的边界left2,right2；

最后确定的边界可以用下面式子表示：

left＝max(left1,left2)，

right＝min(right1,right2)。

作为本发明技术方案的进一步改进，所述步骤S2.2)中对比度增强步骤如下：

步骤1：统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue,minvalue；

步骤2：设置需要增强的像素点数占全部像素点数的比例系数coef，比例系数范围在0-1之间；

步骤3：统计0-255像素值上对应出现的像素点的个数，并存储在1×255的数组count(1,i)里面；

步骤4：从count(1,i),i＝255开始往下统计像素点的个数，如果统计的像素点pixelnum<width*height*coef则将i-1继续统计，否则停止统计并记下当前的像素值index；

步骤5：车牌区域每一点按下面的方法进行增强：

作为本发明技术方案的进一步改进，所述步骤S2.2)中基于灰度投影算法进行车牌字符分割方法步骤如下：

步骤1：根据车牌的灰度投影曲线图可得，车牌后面最多出现五个双峰结构，故搜索出前五个最大波谷点，然后判断这些点是否为双峰结构中的波谷点，如果是，则将该双峰结构的起止位置记下。

步骤2：确定车牌字符宽度characterwidth。如果步骤1检测到了双峰结构，则字符宽度就取为检测到的所有双峰结构的平均值，否则字符宽度就取前3个单峰宽度中的最大值。

步骤3：设置字符起始点为第二字符和第三字符的分割点，设置结束点为车牌最后一个波谷点。如果在步骤1中检测到了双峰结构则进行步骤4，否则进行步骤5。

步骤4：设置字符临时分割段起始点为字符起始点，字符临时分割段终点为一个双峰结构起始位置，然后在字符临时分割段里进行检测，如果该字符临时分割段里有一个峰结构，则该峰结构就单独为一个字符，如果该字符临时分割段里有两个峰结构，则先判断这两个峰结构是一个双峰字符还是两个单峰字符，具体判断规则就利用这两个峰结构的宽度，以及该两个峰结构的宽度和字符宽度进行比较。如果这两个峰结构的宽度之和小于字符宽度的1.2倍且这两个峰结构的宽度相差很小。否则这两个峰结构就不是一个双峰字符的投影，且可以肯定前面一个峰结构就是一个字符，所以可以将这两个峰结构前面的一个峰结构分割出来，然后更新字符临时分割段如下：将字符临时分割段的起点更新到被分割出来的峰后面，字符临时分割段终点不变，但是如果此时字符临时分割段的起点等于终点时则将字符临时分割段起点更新到先前的双峰结构的终止位置，并将临时分割段的终点更新到下一个双峰结构的起点，如果后面没有双峰结构了则将临时分割段的终点更新为字符结束点，然后重复步骤4直到分割到字符结束点为止。

步骤5：进行到步骤5说明在检测双峰结构时并未检测到，但是并不代表该车牌内不存在双峰结构的字符，并不能排除存在有双峰结构的字符。此时分割就直接从字符起始点开始分割直到分割出5个字符。在分割中需要检测的就是检测相邻的两个峰结构是不是一个字符的双峰曲线。检测所利用的方法和步骤4中双峰结构检测方法相同，利用两个峰结构的宽度和该两个峰结构的宽度与字符宽度之间的关系进行判断。

步骤6：根据分割出的后面五个字符来分割前面两个字符。首先将分割出来的后面五个字符中的最大宽度作为前面两个字符的宽度。前面两个字符为字母或者汉字，而字符也为双峰结构的，所以用后面五个字符中的最大宽度作为前面字符的宽度是合理的。分割前面两个字符的方法为：从第二字符和第三字符的分割点向前移动字符宽度个像素，然后将离该向前移动后的分割点的最近一个波谷值作为车牌第一字符和第二字符的分割点。利用同样方法也可以确定第一个字符的开始位置。

步骤7：对分割出来的字符序列进行检测，看该字符序列是否符合车牌字符序列的特征。车牌字符序列的特征可以用下面表达式来表示，假设dis1为前面两个字符的宽度向量，dis2为后面五个字符的宽度向量，width为车牌宽度，height为车牌高度，则一个合理的车牌字符序列必须满足下面的表达式：

min(min(dis1),min(dis2))>width/10

max(dis2)>width/5

height/min(dis1)<3

根据上述车牌字符分割方法步骤1-7从车牌区域中分割出字符序列。

作为本发明技术方案的进一步改进，所述步骤S3)中所述训练器为SVM训练器，在车牌字符样本中选择训练样本集和测试样本集，分别对训练集和测试集进行预处理，并提取HOG等特征，然后利用交叉验证法选择最优参数c和g，最后利用最佳参数训练SVM，获得训练模型，利用训练模型对测试集进行预测，得到预测分类准确率，在提取特征以后，利用SVM进行训练分类；训练分类后，将分割好的字符输入训练器中，输出识别的车牌字符。

与现有技术相比，本发明具有以下有益效果：

1、本发明采用字符竖直纹理的分割方法,能够对各类车牌图像实现很好的分割效果。

2、本发明在车牌定位中对二值化图像选用了的线形结构元素,进行了运算,填充了空洞和删除了噪声点并且可以去除汽车牌照的边框部分,使得定位更加准确。

3、本发明所采用的字符分割方法是基于灰度投影的算法，由于原本字符对比度不明显，其灰度投影图的波峰、波谷特征也不是很明显，但是经过图像增强后，其灰度投影图就能够很好的表现其波峰波谷特征，有利用对字符的精确分割。

4、本发明提出了联合方向梯度直方图和核主成分分析法的特征，它综合了二值图、灰度图、16值图的方向梯度直方图特征的优点，能够较好提取汉字结构特征。方向梯度直方图特征进行联合后，HOG特征维数增加，此时为了缩短特征提取时间，本系统用核主成分分析法方法进行降维。字符识别方法采用的是对小样本问题有较好分类效果的支持向量机。

附图说明

图1是本实施例所述整体算法流程图；

图2是本实施例所述霍夫变换倾斜校正的车牌图像；

图3是本实施例所述车牌图像增强算法效果图；

图4是本实施例所述车牌分割算法流程图；

图5是本实施例所述车牌投影曲线的滤波前后的效果图；

图6是本实施例所述基于联合HOG的车牌识别流程图。

具体实施方式

以基于混合特征和灰度投影的车牌识别系统为例，结合附图对本发明做进一步详细说明。

本实施例为一种基于混合特征和灰度投影的车牌识别方法，其具体包括以下步骤S1至S3。

S1.车牌定位；

S1.1颜色空间转换

一般通过CCD摄像机或数码相机获得的彩色图像都是基于RGB模型,它将红(R)、绿(G)、蓝(B)3种颜色按照加法混合得到人眼能看到的大部分色彩。但是RGB模型并不适合人们对彩色信息的肉眼直观鉴别判断,计算机处理也比较困难。而HSI色彩模型是从人的视觉出发,用色调(H),饱和度(S)和亮度(I)来描述色彩。它把图像的颜色信息与亮度信息分离开来,3个分量之间的相关性较RGB空间3分量要小的多,因此更加适合于颜色特征的表达。从RGB模型转化为HSI模型的基本方法为:

I_max＝max(R,G,B)

I_min＝min(R,G,B)

V＝I_max

if H<0then H＝H+360

式中：H_max——色调的个数，通常取值60。H取值在0～360之间，S在0～1之间，V在0～1之间。

S1.2车牌区域粗定位

根据已知的我国车牌主要颜色,我们可以很好的利用车牌的彩色信息对车牌位置进行粗定位。定义HSV色彩空间中两色彩C₁(H₁,S₁,V₁)与C₂(H₂,S₂,V₂)之间的距离为：

两种色彩之间的相似度定义为：

通常来说，蓝色车牌的HSV色彩空间取值为：

H＝240,S＝0.8,V＝0.6

白色车牌取值通常为：

H＝0,S＝0,V＝0.6

根据给出的标准值以及计算色彩距离和相似度的公式可以得到一组色彩距离图谱,相似度阈值T_h通常为根据已知环境给定,为一个常数。小于阈值T_h的设置为背景,大于阈值T_h的预设为车牌区域,从而实现彩色图像的二值化。

随后对二值化后包含车牌区域的图像采用数学形态学的方法进行处理,数学形态学的开运算能滤除较小的区域,同时平滑区域的轮廓、闭运算能填充区域的空洞,同时平滑区域的轮廓。在本发明中选用了的线形结构元素,进行了运算,填充了空洞和删除了噪声点并且可以去除汽车牌照的边框部分,使得定位更加准确。

S1.3车牌区域精确定位

我国车牌的一个显著纹理特征是车牌区域垂直边缘比水平边缘密集,且车牌一般来说大都悬挂在车身较低的位置，其下方没有明显的边缘密集区域。从纹理特征看,车牌字符间隔有一定的规则性,采用字符竖直纹理的分割方法,能够对各类车牌图像实现很好的分割效果。本发明使用Soble垂直算子实现图像的边缘增强。

对边缘增强的图像沿水平方向进行投影,确定车牌的水平位置,得到统计图像。水平定位算法具体实现时在水平投影图中从下向上搜索直到找到一个较大的投影值(约为最小值的10倍)的行号,并储存为L(0)，继续搜索直到找到离L(0)最近的一个小于较大投影值的行号，并储存到L(1)。若L(0)-L(1)>d，d位为预设的车牌高度，则判定为车牌的水平位置，停止搜索，否则将L(0)、L(1)清空，依照此法继续搜索。

确定车牌的垂直位置,基于水平定位图像,采用1×3的线性结构元素对图像进行膨胀处理,目的是使得车牌底色和字符的颜色在较小的范围内变化频繁且对比强烈这一特点得到充分的利用。而后对其在竖直方向上进行累加得到垂直投影图。依照水平投影的方法,并根据车牌的几何特征,已知车牌的宽高比大约为3.14左右,搜索一个大于预定车牌宽度约3.1倍的区域,即可得到垂直坐标位置,结合己获取的水平坐标即可在原图像中得到车牌的准确定位。

最后，将精确定位后的车牌图像进行截取，并输出。

S1.4将精确定位后输出的图像进行非极大值抑制处理后的结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；

非极大值抑制在物体检测中应用十分广泛，主要目的是为了消除多余干扰因素，找到最佳的物体检测的位置。非极大值抑制是检测的后处理过程，是关键环节之一。

启发式窗口融合算法对非重合目标检测效果很好，但对于车辆车牌检测并不适合。启发式窗口融合算法，将初始检测窗口划分为若干个不重合的子集，然后计算每个子集的中心，最后每个子集只保留一个检测窗口，显然该算法容易造成大量漏检。

Dalal等提出了均值漂移非极大值抑制，这种方法不仅计算复杂，需要将检测窗口在3维空间(横坐标，纵坐标，尺度)表示，检测分数转换，计算不确定性矩阵，迭代优化，而且还需要调整很多与检测器的步长等相关联的参数，因此，目前较少使用。

当前，大多数的目标检测普遍使用基于贪心策略的非极大值抑制算法，因为它简单高效，主要步骤如下：

(1)将初始检测窗口按照检测分数从高到低排序；

(2)将第1个初始检测窗口作为当前的抑制窗口；

(3)非极大值抑制。将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口。计算当前抑制窗口与被抑制窗口的重合面积比率：面积的交集/面积的并集。剔除重合面积比率高于设定阈值的窗口；

(4)如果只剩最后一个初始检测窗口则结束，否则按照排好的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤(3)。

本发明同样使用的是简单高效的基于贪心策略的非极大值抑制算法。经过非极大值抑制处理后的车牌图像再进行基于霍夫变换的倾斜校正。

霍夫变换是一种强有力的特征提取方法，它利用局部图像信息有效的积累所有可能的模型实例的依据，这使得它既能方便的从外部数据中获得额外的信息，又能敏锐的从只有一部分的实例中呈现出有效信息。霍夫变换普遍应用在计算机视觉中形状，位置，几何变换参数的判断中。自霍夫变换提出以来，其得到了广泛的应用。近些年，专家学者们对霍夫变换的理论性质与应用方法又进行了进一步的探讨。霍夫变换作为一种有效的识别直线的算法，具有良好的抗干扰性及鲁棒性。

霍夫变换方法包含一个从图像空间中的特征到参数空间中点的集合的映射。每一个参数空间中的点表征着图像空间中模型的一个实例，图像特征利用一个函数被映射到参数空间当中去，这个函数产生能够兼容观察到的图像特征与假设的模型的所有的参数组合。每一个图像特征将在多维的参数空间中产生一个不同的平面，但是由所有图像特征产生的属于同一个模型的实例的一切平面都会相交在描绘共同的实例的点。霍夫变换的根本是产生这些平面并且识别与之相交的参数点。

经过基于霍夫变换的倾斜校正后的车牌图像为系统二次定位后的图像。霍夫变换倾斜校正的车牌图像示例如图2所示。

S2车牌字符分割；

S2.1.去除输入车牌区域图像的车牌边框；

对于车牌图像来说，在定位出来后的车牌图像有两种，一种是有边框的车牌，而另一种是没有边框的车牌。我们将车牌候选区域旋转至水平后就可以对车牌进行精确定位了，也就是对车牌边框的去除。对测试数据进行统计分析可以得出：经过定位旋转后的车牌候选区域边框有两种，一种是车牌本身的边框，而另一种是车牌周围的白色背景与车牌一起被当作候选车牌区域，此时该白色背景也可以被看作是车牌的边框。

车牌边框的处理分为车牌上下边框的处理和车牌左右边框的处理。车牌的上下边框的处理比较简单，车牌的上下边框分为两种：一种是车牌本身的白色边框，另一种是车牌上下位置的白色背景。而车牌的左右边界也可以归为这两类，不过由于图像本身的特征，一般来说车牌的上下边框要宽于左右边框，并且车牌左右边框要复杂一些。

对于车牌的上下边框的去除，本发明采取了下面步骤来处理：

S2.1.1上下边框的去除；

S2.1.1.1用OTSU(大津算法)方法获得车牌候选区域的二值化阈值，从而得到候选区域的二值图像，为了排除车牌倾斜角度的影响我们求取该二值图像中间部分的行和，然后将行和处理如下：

S2.1.1.2从中间向两端开始寻找rowsum的上下方向上有一段距离为零的边界，本发明算法中采用该距离为0.75×height，因为一般车牌的上下边框去除的比较准确，故我们采用图形高度来做参考距离。此时我们得到的边界就是最后所需要的车牌上下边界。

经过上面处理后，对于大多数图片我们就可以将其上下边框进行处理掉，然后我们就可以对该车牌区域进行去除左右边框了。

对于车牌的左右边框的去除，本发明采取了下面步骤来处理：

S2.1.2左右边框的去除；

S2.1.2.1用去除上下边框相同的方法来找到一个左右边框的边界：left1,right1。

S2.1.2.2重新构建一个二值图像，再用和第一步相同的方法来寻找边界left2,right2。此时构建的二值图像根据车牌区域HSV模型的H值来二值化图像。首先对车牌区域的中间区域来统计其H值的范围，然后根据该H值的范围对全部车牌区域进行二值化，就得到了我们需要的二值化图像。

S2.1.2.3根据S2.1.2.1和S2.1.2.2得到的两个边界信息来确定最后的边界。最后确定的边界可以用下面式子表示：

left＝max(left1,left2)

right＝min(right1,right2)

按照上述步骤去边框处理后，得到的车牌区域比原来定位出来原始车牌区域精确了些，但是并不是绝对的精确，我们可以将其看作是边框去除过程中引入的误差。本发明采用的分割算法能够容忍在车牌边框去除时存在的少许误差。也就是说在去除车牌左右边框时，边框没有完全去除并不影响我们队字符的正确分割。

S2.2.车牌字符分割；

在进行分割字符前，必须要注意一个问题，那就是由于不同光照、和车牌脏旧等原因使得车牌的灰度图像中背景和字符对比度不强，这对于后一步用投影法来进行字符分割会带来一定的难度，故而在分割前需要先对车牌图像进行字符的对比度增强。

一个完整的车牌区域字符像素占整个车牌区域像素的20％，对于某些图片来说，虽然由于其他原因使得车牌中字符和背景的差异不是很大，但是总体上来说字符的像素值也比背景像素值高一些。故可以利用该特点来对车牌区域中前20％像素进行增强而对其他的像素进行抑制，从而到达增强目标字符抑制背景的目的。对此本发明采用车牌增强算法如下：

步骤1：统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue,minvalue。

步骤2：设置需要增强的像素点数占全部像素点数的比例系数coef，比例系数范围在0-1之间，根据实际需要调整，通常原始车牌图像较清晰，比例系数就较小，原始车牌图像模糊，比例系数就大。

步骤3：统计0-255像素值上对应出现的像素点的个数，并存储在1×255的数组count(1,i)里面。

步骤4：从count(1,i),i＝255开始往下统计像素点的个数，如果统计的像素点pixelnum<width*height*coef则将i-1继续统计，否则停止统计并记下当前的像素值index。

步骤5：车牌区域每一点按下面的方法进行增强：

经过上面的变换后，就可以将图像进行增强，如果原图已有很好的对比度，经过以上的变换也不会使图像的效果变差，其效果图如图3所示。

从图5的效果可以看出，前两幅由RGB直接转换为灰度图像的车牌区域其对比度不是很明显，经过增强后背景和字符的对比度明显好转，而原本对比度一般的车牌区域经过增强后其效果也变得更好了。这样的增强对下一步分割字符有利。因为本发明所采用的字符分割方法是基于灰度投影的算法，由于原本字符对比度不明显，其灰度投影图的波峰、波谷特征也不是很明显，但是经过图像增强后，其灰度投影图就能够很好的表现其波峰波谷特征，有利用对字符的精确分割。

本发明所用的灰度投影分割字符充分利用了车牌字符的特点，与一般的投影分割相比有很大的优越性。普通的投影分割就是利用灰度投影曲线的波谷点来对字符进行分割。本发明对这种普通的投影算法进行了改进，大大提高了字符分割正确率。由车牌字符投影曲线可以看出，车牌圆点右边的五个字符中除了字符就是数字，当然还有少数车牌为汉字。对于字符和数字来说，其投影曲线不是双峰结构就是单峰结构。所以本发明在对字符进行分割充分利用该特征改进了投影分割算法。本发明字符分割算法流程图如图4所示。

进行字符分割前，对前面增强的车牌图像，按列累加图像的像素值，就可以得到车牌的投影曲线，但是得到的投影曲线有很多噪声使其并不平滑，这影响系对字符的分割，所以首先需要将投影曲线进行平滑，在本算法中采用高斯滤波来平滑投影曲线，用于滤波的核为[0.25,0.5,1,0.5,0.25]。图5为车牌投影曲线的滤波前后的效果图。从图5中可以很明显的看出经过滤波后的投影曲线比原曲线平滑了很多，且原曲线中的一些由噪声引起的峰值也在滤波后消失了，这样在检测波峰波谷时就不会检测出因噪声产生的波峰波谷点。

由滤波后的车牌灰度投影图，就可以根据该投影曲线来进行字符分割。本发明采用的是改进的投影法来进行字符分割。一般的投影法分割字符是直接利用波谷点来对字符进行分割，而本发明的投影法在分割字符时充分考虑了车牌字符的投影特征，具体步骤如下：

步骤1：根据车牌的灰度投影曲线图可得，车牌后面最多出现五个双峰结构，故搜索出前五个最大波谷点，然后判断这些点是否为双峰结构中的波谷点，如果是，则将该双峰结构的起止位置记下。

步骤2：确定车牌字符宽度characterwidth。如果步骤1检测到了双峰结构，则字符宽度就取为检测到的所有双峰结构的平均值，否则字符宽度就取前3个单峰宽度中的最大值。

步骤3：设置字符起始点为第二字符和第三字符的分割点，设置结束点为车牌最后一个波谷点。如果在步骤1中检测到了双峰结构则进行步骤4，否则进行步骤5。

步骤4：设置字符临时分割段起始点为字符起始点，字符临时分割段终点为一个双峰结构起始位置，然后在字符临时分割段里进行检测，如果该字符临时分割段里有一个峰结构，则该峰结构就单独为一个字符，如果该字符临时分割段里有两个峰结构，则先判断这两个峰结构是一个双峰字符还是两个单峰字符，具体判断规则就利用这两个峰结构的宽度，以及该两个峰结构的宽度和字符宽度进行比较。如果这两个峰结构的宽度之和小于字符宽度的1.2倍且这两个峰结构的宽度相差很小。否则这两个峰结构就不是一个双峰字符的投影，且可以肯定前面一个峰结构就是一个字符，所以可以将这两个峰结构前面的一个峰结构分割出来，然后更新字符临时分割段如下：将字符临时分割段的起点更新到被分割出来的峰后面，字符临时分割段终点不变，但是如果此时字符临时分割段的起点等于终点时则将字符临时分割段起点更新到先前的双峰结构的终止位置，并将临时分割段的终点更新到下一个双峰结构的起点，如果后面没有双峰结构了则将临时分割段的终点更新为字符结束点，然后重复步骤4直到分割到字符结束点为止。

步骤5：进行到步骤5说明在检测双峰结构时并未检测到，但是并不代表该车牌内不存在双峰结构的字符，并不能排除存在有双峰结构的字符。此时分割就直接从字符起始点开始分割直到分割出5个字符。在分割中需要检测的就是检测相邻的两个峰结构是不是一个字符的双峰曲线。检测所利用的方法和步骤4中双峰结构检测方法相同，利用两个峰结构的宽度和该两个峰结构的宽度与字符宽度之间的关系进行判断。

步骤6：根据分割出的后面五个字符来分割前面两个字符。首先将分割出来的后面五个字符中的最大宽度作为前面两个字符的宽度。前面两个字符为字母或者汉字，而字符也为双峰结构的，所以用后面五个字符中的最大宽度作为前面字符的宽度是合理的。分割前面两个字符的方法为：从第二字符和第三字符的分割点向前移动字符宽度个像素，然后将离该向前移动后的分割点的最近一个波谷值作为车牌第一字符和第二字符的分割点。利用同样方法也可以确定第一个字符的开始位置。

步骤7：对分割出来的字符序列进行检测，看该字符序列是否符合车牌字符序列的特征。车牌字符序列的特征可以用下面表达式来表示，假设dis1为前面两个字符的宽度向量，dis2为后面五个字符的宽度向量，width为车牌宽度，height为车牌高度，则一个合理的车牌字符序列必须满足下面的表达式：

min(min(dis1),min(dis2))>width/10

max(dis2)>width/5

height/min(dis1)<3

这样就可以从车牌区域中分割出字符序列，从上面的算法步骤中可以看出，对于还有部分左右边框的车牌，本发明的分割算法对其有很高的鲁棒性。

S3车牌分割字符识别；

对于已经分割好的车牌字符，需要进行识别才能输出，本发明提出了联合方向梯度直方图和核主成分分析法的特征，它综合了二值图、灰度图、16值图的方向梯度直方图特征的优点，能够较好提取汉字结构特征。方向梯度直方图特征进行联合后，HOG特征维数增加，此时为了缩短特征提取时间，本系统用核主成分分析法方法进行降维。字符识别方法采用的是对小样本问题有较好分类效果的支持向量机。

本实施例采用基于联合HOG特征的车牌字符识别算法来对车牌分割字符进行识别；

常见车牌有7个字符，文中是将分割下来的7个字符进行识别。车牌字符由英文字母、汉字和数字组成，中文和英文数字的特点不一样：中文汉字笔画稠密、轮廓复杂；数字和英文则轮廓清晰，结构简单。因此文中对汉字和英文数字采用不同的分类器，对它们分别提取特征。

本发明车牌识别过程是：

S3.1首先确定字符的分类器。

S3.2然后分别提取汉字、数字字母的灰度方向梯度直方图(HOG)特征、二值HOG特征、16值HOG特征，将它们组合成联合HOG特征，将得到的联合HOG特征用核主成分分析法进行降维。

S3.3最后将汉字和数字字母的联合HOG特征送入支持向量机进行训练和预测，将汉字和数字字母的识别结果进行组合，得到最终的车牌字符识别结果。

基于联合HOG的车牌识别流程如图6所示。

方向梯度直方图：

方向梯度直方图的核心思想是计算图像中被检测目标的局部梯度的统计信息。由于梯度是针对边缘轮廓，因此，目标的外形轮廓可以由梯度分布所描述。因此，HOG特征就是通过将分割下来的单个字符分割成小的连通区域，成为细胞单元，每个细胞单元中的每个像素生成一个梯度直方图，这些直方图的串联就可表示出所检测目标的特征。为了提高光照变化的适应性，将这些直方图在分割下来的单个字符中的一个较大区域内进行对比度归一化，具体来说就是计算每个局部直方图在块中的密度，所述块为整个分割下来的较大区域图像块，根据密度来对这个块中的每个细胞单元进行归一化。经过归一化后，HOG特征对光照变化和阴影可以获得更好的适应能力。

HOG具体实现过程如下：

(1)计算图像梯度：先用模板[-1,0,1]对分割下来的单个字符做卷积运算，得到水平方向梯度分量G_h(x,y)，如式(1)所示；再用模板[-1,0,1]对分割下来的单个字符做卷积运算，得到竖值方向梯度分量G_v(x，y)，如式(2)所示；最后，计算分割下来的单个字符所表示的像素点的梯度幅值M(x,y)和θ(x,y)梯度方向，如式(3)、式(4)所示，f(x,y)表示该点的像素值，计算公式为：

G_h(x,y)＝f(x+1,y)－f(x-1,y) (1)

G_v(x,y)＝f(x,y+1)－f(x,y-1) (2)

M(x,y)≈|G_h(x,y)|+|G_v(x,y)| (3)

(2)构建梯度方向直方图：在细胞单元中的每个像素点都要为基于某个梯度方向的直方柱投票，梯度方向可取0～180°或者0～360°，在以往的实验证明0～180°效果较好。单个字符图像被分为若干个细胞单元，每个细胞单元包括8*8个像素，将梯度范围分为9个方向角度，因此利用9个方向角度对8*8个像素的梯度信息进行投票。特别指出，直方图投票采取加权投票，即每个像素的梯度幅值作为投票权重。

(3)将细胞单元组合成块：块的结构有两种，矩形块(R-HOG)和环形块(C-HOG)。本发明采用矩形块来进行目标检测，矩形块一般包含3个参数：每个块中细胞单元的数目，每个细胞单元中像素点的数目以及每个细胞单元的方向角数目。

(4)块内归一化计算公式如下所示:

L2_hys：先计算L2_norm，然后将v的最大值限定为0.2，再进行归一化。

其中，v表示包含给定块统计直方图信息的未归一化向量；δ是一个很小的常数，作用是为了避免分母为0；||v||_k是v的k阶范数。在Dalal的实验中发现L2_hys，L2_norm，L1_sqrt效果差不多，L1_norm字符识别效果要差一些，但这4个归一化方法在识别性能上对比未归一化都有明显提高。本发明中采用的是L2_norm进行归一化。

假设将车牌字符归一化到64*128，每8*8个像素组成一个细胞单元，每2*2个细胞单元组成一个块，当块的滑动步长为8时，扫描垂直方向可以滑动15次，水平方向可以滑动7次，因此可以得到36*7*15＝3780位的特征算子。单个车牌字符处理效果如图4所示，车牌字符灰度图的梯度幅值图和梯度角度图包含的细节信息多，但缺点在于角度图中的字符轮廓不明显，影响了车牌字符识别率。为了克服上述缺点，提出了联合HOG特征，将灰度图的HOG特征、二值图的HOG特征和16值图的HOG特征联合起来。

联合方向梯度直方图：

联合HOG方法，即将灰度图和二值图分别计算HOG并组合成联合特征，如下所示：H_t代表是得到的联合特征，h_i表示灰度图和二值图的HOG特征，ω_i代表的是灰度图和二值图HOG的权重值，权重之和为1。权重分布的不同对后来的识别结果有很大影响。经实验证明，权重值都为0.5时，识别效果是最好的，并且对比单独的灰度图或二值图的识别效果好：

其中∑ω_i＝1

同时将16值图的HOG特征加入联合HOG特征，即分别进行车牌字符的灰度图、二值图和16值图的HOG计算，将结果以某种关系线性组合起来得到的联合HOG特征，组合如下式所示：

H_t＝ω_grayh_gray+ω₂h₂+ω₁₆h₁₆

H_t代表最终的联合HOG特征，h_gray，h₂，h₁₆分别代表车牌字符灰度图、二值图和16值图的HOG特征，ω_i代表权重。

联合HOG将灰度图、二值图和16值图的特点结合起来，能够一定程度的弥补单独进行灰度图或者二值图的HOG运算造成的不足，对识别率有也有一定程度的提高。

车牌字符特征分类：

车牌字符分类主要是指将待识别的字符特征与经过学习的训练字符特征通过某一算法进行对比来进行识别。常用的分类器主要包括最小距离分类器、k-最近邻分类器、贝叶斯分类器、决策树、Adaboost级联分类器、人工神经网络和支持向量机(SVM)。根据需要训练分类的车牌字符特性及不同分类器的特点，本发明主要采用支持向量机进行分类。支持向量机的核心思想在于利用一个分类超平面当作决策的曲面，来最大化正类和负类两者的边缘距离。考虑到本文中车牌字符识别中训练样本的数量有限，而且生成的HOG维数较多，因此本发明采用的对小样本问题有较好分类效果的支持向量机。针对多分类的问题，本文采用的“一对一”的方式进行划分。SVM在处理样本并进行训练预测识别的过程大致为以下几步：在车牌字符样本中选择训练样本集和测试样本集，分别对训练集和测试集进行预处理，并提取HOG等特征，然后利用交叉验证法选择最优参数c和g，最后利用最佳参数训练SVM，获得训练模型，利用训练模型对测试集进行预测，得到预测分类准确率。SVM中常用的核函数包括线性核函数，径向基核函数，多项式核函数，sigmoid核函数。对于不同的核函数测试集的分类准确率也会不同，车牌字符识别中采用径向基核函数的分类准确率最高。因此，本发明SVM的核函数采用的是RBF核函数。

综上所述，在提取特征以后，利用SVM进行训练分类。训练分类后，将分割好的字符输入训练器中，输出识别的车牌字符。

本发明中提出的方法实际上可嵌入FPGA实现，运用于具有实时输出图像功能的车牌识别功能的相机或摄像机监控系统中。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对本发明的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在本发明中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (7)

1.一种基于混合特征和灰度投影的车牌识别方法，其特征在于，包括以下步骤：

S1)车牌定位；

S1.1)获取车牌彩色图像，所述车牌彩色图像的颜色空间转换为HSV颜色空间；

S1.2)实现车牌区域粗定位，实现彩色图像的二值化，并对二值化图像采用数学形态学方法处理；

S1.3)实现车牌区域精确定位，获取车牌的水平坐标和垂直坐标位置；

S1.4)将精确定位后输出的图像进行非极大值抑制处理，将处理结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；

S2)车牌字符分割；

S2.1)去除输入车牌区域图像的车牌边框；

S2.2)先对去除边框后的车牌图像进行字符的对比度增强和滤波，再基于灰度投影算法进行车牌字符分割；

S3)车牌字符分割后的字符识别并输出。

2.根据权利要求1所述的一种基于混合特征和灰度投影的车牌识别方法，其特征在于，所述步骤S3)采用基于联合HOG特征的车牌字符识别方法对车牌字符分割后的字符进行识别，具体包括以下步骤：

S3.1)首先确定字符的分类器；

S3.2)分别提取汉字、数字字母的灰度方向梯度直方图HOG特征、二值HOG特征、16值HOG特征，将它们组合成联合HOG特征，将得到的联合HOG特征用核主成分分析法进行降维；

S3.3)将汉字和数字字母的联合HOG特征送入所述分类器进行训练和预测，将汉字和数字字母的识别结果进行组合，得到最终的车牌字符识别结果并输出。

3.根据权利要求1所述的一种基于混合特征和灰度投影的车牌识别方法，其特征在于，所述步骤S1.4)中，所述(1)将初始检测窗口按照检测分数从高到低排序；

(2)将第1个初始检测窗口作为当前的抑制窗口；

(3)非极大值抑制。将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口。计算当前抑制窗口与被抑制窗口的重合面积比率：面积的交集/面积的并集。剔除重合面积比率高于设定阈值的窗口；

(4)如果只剩最后一个初始检测窗口则结束，否则按照排好的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤(3)。

4.根据权利要求1所述的一种基于混合特征和灰度投影的车牌识别方法，其特征在于，所述步骤S2.1)包括：

S2.1.1)上下边框的去除：

获得车牌候选区域的二值化阈值，得到候选区域的二值图像，求取该二值图像中间部分的行和，然后将行和处理如下：

$meanvalue=0.25*mean\left(rowsum\right(1,\frac{row}{3}):rowsum(1,row*2/3\left)\right)$

$rowsum=\left\{\begin{array}{cc}rowsum-meanvalue& rowsum>meanvalue\\ 0& else\end{array}\right.;$

从中间向两端开始寻找rowsum的上下方向上有一段距离为零的边界，采用该距离为0.75×height，从而得到车牌的上下边界；

S2.1.2)左右边框的去除：

用去除上下边框相同的方法来找到一个左右边框的边界：left1,right1；

重新构建一个二值图像，再用去除上下边框相同的方法来找到另一个左右边框的边界left2,right2；

最后确定的边界可以用下面式子表示：

left＝max(left1,left2)，

right＝min(right1,right2)。

5.根据权利要求1所述的一种基于混合特征和灰度投影的车牌识别方法，其特征在于，所述步骤S2.2)中对比度增强步骤如下：

步骤1：统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue,minvalue；

步骤2：设置需要增强的像素点数占全部像素点数的比例系数coef，比例系数范围在0-1之间；

步骤3：统计0-255像素值上对应出现的像素点的个数，并存储在1×255的数组count(1,i)里面；

步骤4：从count(1,i),i＝255开始往下统计像素点的个数，如果统计的像素点pixelnum<width*height*coef则将i-1继续统计，否则停止统计并记下当前的像素值index；

步骤5：车牌区域每一点按下面的方法进行增强：

$image\left(i,j\right)=\left\{\begin{array}{cc}\frac{\left(image\left(i,j\right)-\min value\right)*255}{\max value-\min value}& image\left(i,j\right)>index\\ 0& else\end{array}\right..$

6.根据权利要求1所述的一种基于混合特征和灰度投影的车牌识别方法，其特征在于，所述步骤S2.2)中基于灰度投影算法进行车牌字符分割方法步骤如下：

步骤1：根据车牌的灰度投影曲线图可得，车牌后面最多出现五个双峰结构，故搜索出前五个最大波谷点，然后判断这些点是否为双峰结构中的波谷点，如果是，则将该双峰结构的起止位置记下。

步骤2：确定车牌字符宽度characterwidth。如果步骤1检测到了双峰结构，则字符宽度就取为检测到的所有双峰结构的平均值，否则字符宽度就取前3个单峰宽度中的最大值。

步骤3：设置字符起始点为第二字符和第三字符的分割点，设置结束点为车牌最后一个波谷点。如果在步骤1中检测到了双峰结构则进行步骤4，否则进行步骤5。

步骤4：设置字符临时分割段起始点为字符起始点，字符临时分割段终点为一个双峰结构起始位置，然后在字符临时分割段里进行检测，如果该字符临时分割段里有一个峰结构，则该峰结构就单独为一个字符，如果该字符临时分割段里有两个峰结构，则先判断这两个峰结构是一个双峰字符还是两个单峰字符，具体判断规则就利用这两个峰结构的宽度，以及该两个峰结构的宽度和字符宽度进行比较。如果这两个峰结构的宽度之和小于字符宽度的1.2倍且这两个峰结构的宽度相差很小。否则这两个峰结构就不是一个双峰字符的投影，且可以肯定前面一个峰结构就是一个字符，所以可以将这两个峰结构前面的一个峰结构分割出来，然后更新字符临时分割段如下：将字符临时分割段的起点更新到被分割出来的峰后面，字符临时分割段终点不变，但是如果此时字符临时分割段的起点等于终点时则将字符临时分割段起点更新到先前的双峰结构的终止位置，并将临时分割段的终点更新到下一个双峰结构的起点，如果后面没有双峰结构了则将临时分割段的终点更新为字符结束点，然后重复步骤4直到分割到字符结束点为止。

步骤5：进行到步骤5说明在检测双峰结构时并未检测到，但是并不代表该车牌内不存在双峰结构的字符，并不能排除存在有双峰结构的字符。此时分割就直接从字符起始点开始分割直到分割出5个字符。在分割中需要检测的就是检测相邻的两个峰结构是不是一个字符的双峰曲线。检测所利用的方法和步骤4中双峰结构检测方法相同，利用两个峰结构的宽度和该两个峰结构的宽度与字符宽度之间的关系进行判断。

步骤6：根据分割出的后面五个字符来分割前面两个字符。首先将分割出来的后面五个字符中的最大宽度作为前面两个字符的宽度。前面两个字符为字母或者汉字，而字符也为双峰结构的，所以用后面五个字符中的最大宽度作为前面字符的宽度是合理的。分割前面两个字符的方法为：从第二字符和第三字符的分割点向前移动字符宽度个像素，然后将离该向前移动后的分割点的最近一个波谷值作为车牌第一字符和第二字符的分割点。利用同样方法也可以确定第一个字符的开始位置。

步骤7：对分割出来的字符序列进行检测，看该字符序列是否符合车牌字符序列的特征。车牌字符序列的特征可以用下面表达式来表示，假设dis1为前面两个字符的宽度向量，dis2为后面五个字符的宽度向量，width为车牌宽度，height为车牌高度，则一个合理的车牌字符序列必须满足下面的表达式：

min(min(dis1),min(dis2))>width/10

max(dis2)>width/5

height/min(dis1)<3

根据上述车牌字符分割方法步骤1-7从车牌区域中分割出字符序列。

7.根据权利要求1所述的一种基于混合特征和灰度投影的车牌识别方法，其特征在于，所述步骤S3)中所述训练器为SVM训练器，在车牌字符样本中选择训练样本集和测试样本集，分别对训练集和测试集进行预处理，并提取HOG等特征，然后利用交叉验证法选择最优参数c和g，最后利用最佳参数训练SVM，获得训练模型，利用训练模型对测试集进行预测，得到预测分类准确率，在提取特征以后，利用SVM进行训练分类；训练分类后，将分割好的字符输入训练器中，输出识别的车牌字符。