CN106570887A - 结合LBP特征自适应Mean Shift目标跟踪方法 - Google Patents

Abstract

本发明涉及计算机视觉和目标跟踪技术领域，为实现在不同背景干扰情形下都能确保目标跟踪的鲁棒性，提高算法的鲁棒性和适应性，有效地克服跟踪过程中目标尺度与方向不断变化的问题。本发明采用的技术方案是，结合LBP特征自适应Mean Shift目标跟踪方法，步骤如下：(1)目标模型生成：(2)相似性度量：利用Bhattacharyya系数来衡量目标模型与目标候选模型之间的相似度；(3)目标尺度方向估计：首先对目标区域进行Mean shift迭代，使其收敛至候选目标的空间位置处，对联合纹理‑颜色特征的目标候选区域权重图进行矩阵分解，利用矩阵分析来计算目标候选区域的尺度和方向。本发明主要应用于目标跟踪场合。

Description

结合LBP特征自适应Mean Shift目标跟踪方法

技术领域

本发明涉及计算机视觉和目标跟踪技术领域，尤其涉及一种联合二维局部二值特征与颜色直方图的尺度方向自适应的Mean Shift目标跟踪方法。

背景技术

计算机视觉是近年来发展起来的一门新兴学科，其研究内容涵盖了智能监控系统、机器人视觉导航、人机交互、物体三维重建、自动驾驶等领域。在计算机视觉的众多研究领域中，基于图像序列的运动目标跟踪受到了国内外学术界和工业界的广泛关注，在智能监控、机器人导航、智能交通、视频内容分析与理解等领域具有重要的应用价值，是一项不可或缺的关键技术。

针对图像序列运动目标跟踪的研究，涌现了大量优秀的跟踪算法。在众多优秀的跟踪算法中，基于Mean Shift的运动目标跟踪算法以其计算量小，对目标旋转、形变不敏感等优点而得到了广泛关注，成为当前目标跟踪领域的研究热点。2003年，Comaniciu等人将Mean shift算法引入到目标跟踪领域，提出了具有里程碑意义的基于Mean shift的运动目标跟踪算法(见文献[1,2])。此后，针对该方法存在的一些缺陷，国内外研究者提出了大量优秀的改进算法(见文献[3]～[8])。

原始的Mean shift目标跟踪算法虽然具有计算量小，对目标变形、旋转、部分遮挡不敏感等优点，然而，该算法的一些局限也是显而易见的：

(1)以颜色直方图作为目标的表观特征，无法包含目标的所有信息；且颜色特征对光照变化敏感，在光照变化情况下，易丢失跟踪目标；此外，在目标与背景颜色相近的情况下，无法有效鉴别出跟踪目标(见文献[3]和[4])。

(3)无法有效地估计目标尺度与方向(见文献[5])。

(2)缺乏有效的目标模型更新策略(见文献[6]和[7])。

(4)无法克服背景杂波干扰这一缺陷,当背景出现较多杂波，易丢失跟踪目标(见文献[8])。

参考文献：

[1]Comaniciu D,Ramesh V,Meer P.Real-time tracking of non-rigidobjects using Mean shift[C].IEEE conference on Computer Vision and PatternRecognition.2000:142-149

[2]Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking[J].IEEEtrans on pattern Analysis and Machine Intelligence,2003,25(5):564-575

[3]Leichter I,Lindenbaum M,Rivlin E.Mesn Shift tracking with multiplereference color histograms[J].Computer Vision and Image Understanding,2010,114(3):400-408

[4]Tan Xiao-yang,Triggs B.Enhanced Local Texture Feature Sets forFace Recognition Under Difficult Lighting Conditions[J].IEEE Transaction onImage Processing,2010,19(6):1635-1650

[5]Tomas Vojir,Jana Noskova,Jiri Matas.Robust scale-adaptive mean-shift for tracking[J].Pattern Recognition Letters,2014,49(1):250-258

[6]Huiyu Zhou,Yuan Yuan,Chunmei Shi.Object tracking using SIFTfeatures and mean shift[J].Computer Vision and Image Understanding,2009,113(3):345-352

[7]Nan Luo,Quansen Sun,Qiang Chen.A Novel Tracking Algorithm viaFeature Points Matching[J].PLoS ONE,2015

[8]Fouad Bousetouane,Lynda Dib,Hichem Snoussi.Improved mean shiftintegrating texture and color features for robust real time object tracking[J],2013,29:155-170。

发明内容

为克服现有技术的不足，本发明旨在实现在不同背景干扰情形下都能确保目标跟踪的鲁棒性，提高算法的鲁棒性和适应性，有效地克服跟踪过程中目标尺度与方向不断变化的问题。本发明采用的技术方案是，结合LBP特征自适应Mean Shift目标跟踪方法，步骤如下：

(1)目标模型生成：

目标模型由图像的局部二值特征与颜色特征组成的联合直方图来描述，即利用由局部二值模式形成的掩膜内的颜色和纹理特征来描述目标，构建联合纹理-颜色特征的目标模型；

(2)相似性度量：

利用Bhattacharyya系数来衡量目标模型与目标候选模型之间的相似度，Bhattacharyya系数表示两个向量与之间夹角的余弦值，其值越大，代表目标模型与目标候选模型越相似，首先计算上述目标模型和目标候选模型的Bhattacharyya系数，并规定某个度量准则，使其在该准则下相似度最高；

(3)目标尺度方向估计：

在跟踪过程中，首先对目标区域进行Mean shift迭代，使其收敛至候选目标的空间位置处，对(1)中生成的联合纹理-颜色特征的目标候选区域权重图进行矩阵分解，利用矩阵分析来计算目标候选区域的尺度和方向。

具有灰度尺度不变性和旋转不变性的局部二值模式LBP算子通过下面的模型获得：

其中，表示g_c对应窗口中心点的像素值，P代表(x_c,y_c)窗口中心点周围的像素点，g_p为中心点邻域内的像素值，R代表了邻域的范围，riv2表示旋转不变等价模式，U(LBP_P,R)为旋转不变模式LBP算子的界定，其值≤2，表示从起始点0点起，计算相邻两点与中心点像素值的函数s(x)的差值，依次遍历P个像素点:

其中，g_P-1表示邻域内像素点P-1的像素值，g₀表示邻域内起始点的像素值；用S(g_P-g_c+a)代替S(g_P-g_c)，a为弥补平坦区域内像素波动小而设定的阈值；并且，|a|越大，像素波动的允许值越大；

有效联合目标的局部二值特征LBP与颜色特征具体步骤如下：

有9个均匀的纹理模式，每一种LBP纹理模式可以视为一个微纹理基元，算子检测到的局部图像块内特征包括点，平坦区域，边缘，线段的起始点和终点，在目标表示中，上述的的微纹理基元包括角点、边缘、线段，称为主要的目标模式，代表了目标的大部分特征，而点、平面区域称为次要的目标模式，是目标次要的纹理；通过下面的公式来提取目标的大部分目标模式：

在算子中，标记0，1，7，8对应次要的目标模式，标记9没有对应目标模式。因此，主要的目标模式标记有：2～6，通过式(7)提取目标的主要LBP模式，然后联合图像的颜色特征描述目标，构建成8×8×8×5的四维联合纹理-颜色的联合直方图。

目标模型与候选目标模型的相似性采用Bhattacharyya系数ρ(y)来衡量，即

其中，y表示候选目标区域中心位置，u＝1,2...m表示任意一个颜色索引， 分别表示目标模型及候选目标模型；q_u和p_u(y)分别表示在目标区域及候选目标区域概率分布直方图中特征u的概率；Bhattacharyya系数ρ(y)定义了跟踪目标和候选目标的相似性，此外，定义一个度量函数d(y)，其表示跟踪目标与候选目标模型之间的距离:

Bhattacharyya越大，目标模型与候选目标越相似，对ρ[p(y) q]在p_u(y₀)处进行泰勒级数展开，除去高次项，只保留一阶展开式，得到ρ[p(y) q]的线性近似式如下:

y₀表示上一帧中目标候选模型的中心位置，p_u(y_o)表示上一帧的目标候选模型；将目标模型与候选目标模型代入可得：

其中，

式(11)中，第一项与y无关，而第二项表示候选目标区域中心点y处的核密度估计，其中每个像素点x_i的权重用w(x_i)表示。所以寻找最优候选目标的问题就转化为寻找概率密度函数局部极值位置的问题，并通过Mean shift迭代的方法来完成，最大化上式(11)，即令得到Mean shift的迭代形式：

其中，g(x)＝-k'(x)，以上一帧目标位置y₀为初始值，迭代计算上式中的y，直至收敛或者达到设定的最大迭代次数。

目标尺度方向估计具体步骤是，利用候选目标区域权重图的矩信息来估计跟踪过程中目标的尺度方向变化，来自适应目标的形变，在上一帧中，利用Mean shift迭代算法寻找到最优目标区域，作为当前的跟踪结果，然后利用下式计算该区域的零阶矩M₀₀：

w(x_i)表示每个像素点x_i处的权重，n为目标区域内像素点的个数；利用Bhattacharyya系数来校正由零阶矩引起的误差，定义下式：

A＝c(ρ)M₀₀ (15)

c(ρ)是与Bhattacharyya系数ρ相关的单调递增的函数，其值在0～1之间：

其中，σ为可调参数。当ρ(0～1)减小时，c(ρ)(0～1)也减小；即随着目标模型与候选模型相似性减小，M₀₀比真实目标区域的面积更大，即误差更大；

下一帧目标候选区域的中心位置，尺度与方向，通过对权重图的一阶矩和二阶矩进行矩阵分析得到，对权重图计算一阶矩M₁₀、M₀₁和二阶矩M₂₀、M₀₂、M₁₁分别如下：

其中，(x_i,1,x_i,2)为像素点i的坐标，而下一帧候选目标区域的中心位置由上述一阶矩和零阶矩的比值求得：

其中，y为下一帧候选目标区域的中心位置，表示中心位置y的坐标；同样，二阶矩的矩信息可以用来描述目标区域的形状与方向，计算二阶矩和零阶矩的比值与中心位置坐标的平方差，分别为μ₂₀μ₁₁μ₀₂：

为分析目标区域的尺度大小与方向，把μ₂₀,μ₀₂，μ₁₁写入协方差矩阵Cov，并对协方差矩阵进行奇异值分解：

其中，

U,S为协方差矩阵进行奇异值分解后的两个矩阵，其中，(u₁₁,u₂₁)^T和(u₁₂,u₂₂)^T分别代表目标候选区域中目标两个轴的方向，目标的方向可由长轴与水平轴之间的夹角得出，此外，λ₁,λ₂为协方差矩阵Cov的特征值，其比值与目标区域长短轴的比值相同，即λ₁/λ₂＝a/b，引入尺度因素k，使得a＝kλ₁,b＝kλ₂，则目标区域的面积为：πab＝π(kλ₁)(kλ₂)＝A,所以，目标区域的长短轴(a,b)分别为：

由此，便估计出跟踪过程中目标的尺度与方向。

本发明的特点及有益效果是：

本发明提供的图像序列目标跟踪方法中，局部二值特征(改进的LBP)的引入使得目标模型的描述不再局限于单一颜色特征，同时，在此基础上，对目标区域的权重图进行矩阵分解，利用去矩信息有效估计目标尺度和方向，因此，本发明提供的图像序列目标跟踪方法对于光照条件和目标形变下的图像序列目标跟踪都具有更强的可靠性和鲁棒性。

附图说明：

图1为本发明提供跟踪算法的跟踪框架示意图。

图2(a)为本发明提供的跟踪算法的部分跟踪结果，从左到右，从上到下分别为第5、10、13、21、24、31帧的跟踪结果；

图2(b)为SOAMST跟踪算法的部分跟踪结果，从左到右，从上到下分别为第5、10、13、21、24、31帧的跟踪结果；

图3(a)为本发明提供的跟踪算法的部分跟踪结果，从左到右，从上到下分别为第4、22、31、45、49、51帧的跟踪结果；

图3(b)为SOAMST跟踪算法的部分跟踪结果，从左到右，从上到下分别为第4、22、31、45、49、51帧的跟踪结果；

图4(a)为本发明提供的跟踪算法的部分跟踪结果，从左到右，从上到下分别为第5、10、13、21、24、31帧的跟踪结果；

图4(b)为SOAMST跟踪算法的部分跟踪结果，从左到右，从上到下分别为第5、10、13、21、24、31帧的跟踪结果。

具体实施方式

本发明提供了一种结合局部二值特征与颜色直方图的尺度方向自适应的MeanShift目标跟踪算法，本发明中引入局部二值特征(LBP)，并使其与颜色特征相结合，使得在利用目标颜色特征的基础上，进一步利用目标的边缘和角点等纹理信息，使其在不同背景干扰情形下都能确保目标跟踪的鲁棒性，提高了算法的鲁棒性和适应性。此外，在跟踪过程中对目标区域进行矩阵分解，利用目标区域的矩信息来估计跟踪过程中目标的尺度与方向，使得本发明提供的目标跟踪方法能够有效地克服跟踪过程中目标尺度与方向不断变化的问题，详见下文描述：

1)目标模型及候选目标描述：目标模型与候选目标模型均由选定目标区域的纹理特征(改进的LBP算子)和颜色特征组成的联合直方图来描述，与经典Mean Shift算法中目标模型的描述相比，克服了目标模型单一的缺点：当跟踪场景中的光照发生变化时，由目标区域的颜色分布发生变化而引起的跟踪失败。而本发明中由联合直方图描述的目标模型，对于光照变化具有较强的鲁棒性，且在背景与目标颜色相似时，对目标具有较强的鉴别能力；此外，算法的运算速度也得到了进一步的提升。

2)相似性度量：Bhattacharyya系数表示两个向量与之间夹角的余弦值，其值越大，代表目标模型与目标候选模型越相似，它计算简单，在基于Mean Shift算法的目标跟踪中使用最为广泛。

3)目标尺度方向估计：在利用联合直方图描述目标模型的基础上，在跟踪过程中，我们利用选定区域的基于联合特征权重图的矩信息，有效地估计跟踪目标的尺度和方向的变化，克服了跟踪过程中由于目标形变而引起的跟踪失败。因此，本发明提供的结合局部二值特征与颜色直方图的尺度方向自适应的Mean Shift目标跟踪算法，能够较好地适应光照变化和背景干扰等目标跟踪中的难点，同时改善了传统算法中对于目标形变的局限性，提高了基于MeanShift的跟踪算法可靠性和鲁棒性。

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一种结合局部二值特征与颜色直方图的尺度方向自适应的Mean Shift目标跟踪方法，其跟踪框架对应的示意图如图1所示，跟踪方法可分为三步：目标模型生成，目标尺度方向估计和相似性度量。

(1)目标模型生成：

本发明提供的跟踪方法中，目标模型由图像的局部二值特征与颜色特征组成的联合直方图来描述，即利用由局部二值模式形成的掩膜内的颜色和纹理特征来描述目标，构建联合纹理-颜色特征的目标模型。

(2)相似性度量：

利用Bhattacharyya系数来衡量目标模型与目标候选模型之间的相似度。Bhattacharyya系数表示两个向量与之间夹角的余弦值，其值越大，代表目标模型与目标候选模型越相似，其计算简单，在基于Mean Shift算法的目标跟踪中使用最为广泛。首先计算上述目标模型和目标候选模型的Bhattacharyya系数，并规定某个度量准则，使其在该准则下相似度最高。

(3)目标尺度方向估计：

在跟踪过程中，首先对目标区域进行Mean shift迭代，使其收敛至候选目标的空间位置处，对(1)中生成的联合纹理-颜色特征的目标候选区域权重图进行矩阵分解，利用矩阵分析来计算目标候选区域的尺度和方向。

综上所述，局部二值特征(改进的LBP)的引入使得目标模型的描述不再局限于单一颜色特征，同时，在此基础上，对目标区域的权重图进行矩阵分解，利用去矩信息有效估计目标尺度和方向，因此，本发明提供的图像序列目标跟踪方法对于光照条件和目标形变下的图像序列目标跟踪都具有更强的可靠性和鲁棒性；

实施例2

下面结合图1、设计原理对实施例1中的方案进行详细地介绍，详见下文描述：

一种结合局部二值特征与颜色直方图的尺度方向自适应的Mean Shift目标跟踪方法，其加跟踪框架对应的示意图如图1所示，目标模型生成，目标尺度方向估计和相似性度量。下面就这三部分的具体实施方式分别予以详细的描述。

(1)目标模型生成部分：

本发明提供的跟踪方法中目标模型的描述，由局部二值特征(LBP)与颜色特征组成的联合直方图组成。下面就如何提取目标区域的局部二值特征进行详细介绍。

局部二值模式(Local Binary Pattern，LBP)是一种用来描述图像局部纹理特征的算子，其提取的特征是图像的局部纹理特征。原始的LBP算子定义为在3×3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。因此，3×3领域内的8个点可产生8bit的无符号数，计算其对应的十进制数，即得到该窗口的LBP值，并用这个值来反映该区域的纹理信息。

其基本的数学表达式为：

其中，(x_c,y_c)窗口中心点的横纵坐标，g_c表示对应窗口中心点的像素值，P代表(x_c,y_c)窗口中心点周围的像素点，g_p为图像中心周围邻域内的像素值，R代表了邻域的范围。函数s(x)的定义如下:

上述提取的LBP算子在每个像素点都得到一个LBP编码，因此，对一幅图像提取其原始的LBP算子之后，即将其转换为二值特征，且得到的原始LBP特征依然是一幅图片。从上面的分析能够看出，原始的LBP特征跟位置信息紧密相关。因此，直接对两幅图片提取LBP特征，并进行判别分析，会由于位置差别而产生较大误差。因此，上述原始的LBP特征只具有灰度尺度不变性，而不具有旋转不变性，并不能直接用于判别分析。具有灰度尺度不变性和旋转不变性的LBP算子可通过下面的模型获得：

其中，riv2表示旋转不变等价模式，U(LBP_P,R)为旋转不变模式LBP算子的界定，其值≤2，表示从起始点0点起，计算相邻两点与中心点像素值的函数s(x)的差值，依次遍历P个像素点:

其中，g_p-1表示邻域内像素点p-1的像素值，g₀表示邻域内起始点的像素值；在图像的平坦区域中，像素值的波动很小。因此LBP算子的局限在于，不能有效描述图像中的平坦区域。为了使LBP算子能有效克服这个缺点，对LBP算子中的阈值进行改进。用S(g_P-g_c+a)代替S(g_P-g_c)。其中，a为弥补平坦区域内像素波动小而设定的阈值；并且|a|越大，像素波动的允许值越大。本发明采用改进的阈值方法，并利用算子来提取目标的局部纹理特征。

在提取图像的二值特征后，下面就如何有效联合目标的局部二值特征(LBP)与颜色特征进行详细介绍:

基于单一颜色特征的目标模型q_u和目标候选模型p_u分别为：

其中，c为归一化常数，y候选目标区域的中心位置，q_u和p_u(y)分别表示在目标区域及候选目标区域概率分布直方图中特征u的概率；满足u＝1,2...m表示任意一个颜色索引，b(x_i)表示x_i处像素对应的颜色索引值；{x_i}_i＝1,2...,n表示目标区域像素点的坐标位置，y代表候选目标模型的中心位置，n和n_h分别表示目标区域和候选区域内像素点的个数，k(x)为Epanechinkov核函数，h表示核函数窗口宽度，其作用是根据不同像素点距离中心点的远近，赋予每个像素点不同的权值，距离中心越近的像素点，权值越大。

由上述提取的LBP特征直接联合图像的颜色特征而得到的联合直方图并不能有效增强mean shift算法的跟踪性能，尤其当目标和背景颜色相似时，利用此纹理-颜色构成的联合直方图并不能有效区分目标和背景。因此，我们需要建立一种更加有效的联合方法。

上述改进的有9个均匀的纹理模式，每一种LBP纹理模式可以视为一个微纹理基元，算子检测到的局部图像块内特征包括点，平坦区域，边缘，线段的起始点和终点。在目标表示中，上述的的微纹理基元如角点、边缘、线段等称为主要的目标模式，代表了目标的大部分特征，而点、平面区域称为次要的目标模式，是目标次要的纹理。所以，我们通过下面的公式来提取目标的主要目标模式：

在算子中，标记0，1，7，8对应次要的目标模式，标记9没有对应目标模式。因此，主要的目标模式标记有：2～6。一般来说，与次要的LBP模式相比，目标的主要LBP特征更重要，更能有效准确的描述目标。因此，通过式(7)提取目标的主要LBP模式，然后联合图像的颜色特征描述目标，构建成8×8×8×5的四维联合纹理-颜色的联合直方图。由此联合直方图描述的目标模型，对于光照变化具有较强的鲁棒性，且在背景与目标颜色相似时，对目标具有较强的鉴别能力；

(2)相似性度量部分：

目标模型与候选目标模型的相似性采用Bhattacharyya系数ρ(y)来衡量，即

其中Bhattacharyya系数ρ(y)定义了跟踪目标和候选目标的相似性，此外，定义一个度量函数d(y)，其表示跟踪目标与候选目标模型之间的距离:

Bhattacharyya越大，目标模型与候选目标越相似，因此寻找候选目标最优位置，需最大化Bhattacharyya系数，即最小化d(y)。对ρ[p(y) q]在p_u(y₀)处进行泰勒级数展开，除去高次项，只保留一阶展开式，得到ρ[p(y) q]的线性近似式如下:

y₀表示上一帧中目标候选模型的中心位置，p_u(y_o)表示上一帧的目标候选模型；将目标模型与候选目标模型代入可得：

其中，

式(11)中，第一项与y无关，而第二项表示坐标y处的核密度估计，其中每个像素点x_i的权重用w(x_i)表示。所以寻找最优候选目标的问题就转化为寻找概率密度函数局部极值位置的问题，可通过Mean shift迭代的方法来完成。因此，最大化上式(11)，即令得到Mean shift的迭代形式：

其中，g(x)＝-k'(x)，以上一帧目标位置y₀为初始值，迭代计算上式中的y，直至收敛或者达到设定的最大迭代次数。

(3)目标尺度方向估计部分：

经典的Mean shift目标跟踪算法中，跟踪目标窗口的宽度与高度是固定的，并且在跟踪过程中一直保持不变。当被跟踪的目标尺度和方向发生变化时，固定的跟踪窗口就不能很好的适应目标的形变，导致算法的跟踪性能逐步降低，甚至跟踪失败。

由于目标区域的尺度大小与方向和目标区域的权重图紧密相关，因此，本发明利用候选目标区域权重图的矩信息来估计跟踪过程中目标的尺度方向变化，来自适应目标的形变。在上一帧中，利用Mean shift迭代算法寻找到最优目标区域，作为当前的跟踪结果，然后利用下式计算该区域的零阶矩M₀₀：

通常，w(x_i)表示每个像素点x_i处的权重，n为目标区域内像素点的个数；我们将零阶矩看做是目标区域大小，但是，当目标的权重减小时，零阶矩的误差随之增大；而Bhattacharyya系数反应目标模型与目标候选模型的相似性，其值在1～0之间，因此，我们利用Bhattacharyya系数来校正由零阶矩引起的误差，定义下式：

A＝c(ρ)M₀₀ (15)

c(ρ)是与Bhattacharyya系数ρ相关的单调递增的函数，其值在0～1之间：

其中，σ为可调参数。当ρ(0～1)减小时，c(ρ)(0～1)也减小；即随着目标模型与候选模型相似性减小，M₀₀比真实目标区域的面积更大，即误差更大；因此，较小的c(ρ)可以很好的校正M₀₀引起的误差。

下一帧目标候选区域的中心位置，尺度与方向，可以对权重图的一阶矩和二阶矩进行矩阵分析得到。对权重图计算一阶矩M₁₀、M₀₁和二阶矩M₂₀、M₀₂、M₁₁分别如下：

其中，(x_i,1,x_i,2)为像素点x_i的坐标，而下一帧候选目标区域的中心位置y可由上述一阶矩和零阶矩的比值求得：

其中，y下一帧候选目标区域的中心位置，表示中心位置y的坐标；同样，二阶矩的矩信息可以用来描述目标区域的形状与方向，计算二阶矩和零阶矩的比值与中心位置坐标的平方差，分别为μ₂₀μ₁₁μ₀₂：

为分析目标区域的尺度大小与方向，我们μ₂₀,μ₀₂，μ₁₁写入协方差矩阵Cov，并对协方差矩阵进行奇异值分解：

其中，

U,S为协方差矩阵进行奇异值分解后的两个矩阵，其中，(u₁₁,u₂₁)^T和(u₁₂,u₂₂)^T分别代表目标候选区域中目标两个轴的方向，目标的方向可由长轴与水平轴之间的夹角得出。此外，λ₁,λ₂为协方差矩阵Cov的特征值，其比值与目标区域长短轴的比值相同，即λ₁/λ₂＝a/b。引入尺度因素k，使得a＝kλ₁,b＝kλ₂，则目标区域的面积为：πab＝π(kλ₁)(kλ₂)＝A,所以，目标区域的长短轴(a,b)分别为：

由此，便估计出跟踪过程中目标的尺度与方向，使本发明的跟踪方法能自适应的调整跟踪出口的大小与方向。

综上所述，改进的局部二值特征(LBP)的引入使得目标模型的描述不再局限于单一颜色特征，对于光照变化及目标颜色与背景颜色相似的情况下的跟踪具有更强的鲁棒性。同时，在此基础上，对目标区域的权重图计算其零阶矩、一阶矩及二阶矩，并通过矩阵分析法有效地估计目标尺度和方向。因此，本发明提供的图像序列目标跟踪方法对于光照条件和目标形变下的图像序列目标跟踪都具有更强的可靠性和鲁棒性；

实施例3

下面结合具体的附图对实施例1和2中的方案进行可行性验证，详见下文描述：

采用本发明实施提供的跟踪方法对3组光照变化及背景与目标颜色相似情况下的视频进行跟踪，并在相同条件下与SOAMST算法的跟踪结果进行比较，得到的部分跟踪结果分别如图(2)、(3)、(4)所示。

在图(2)所示的视频序列中，大雁及其周围的区域选定为跟踪目标，视频中目标的辨识度很低，并且在跟踪过程中大雁的尺度方向不断发生变化。图2(a)、(b)分别表示本发明提供的跟踪算法及SOAMST算法所得到部分跟踪结果，并且两种算法在初始帧处选择的目标区域相同。从图2的跟踪结果可知，本发明提供的跟踪算法都能很好地对目标进行定位，跟踪精度较高，取得了很好地跟踪效果。而SOAMST算法在第31帧时开始发生偏移，33帧以后，目标中心与跟踪框中心发生较大偏移，导致后续跟踪失败。

在图(3)所示的视频序列中，汽车及其周围的区域选定为跟踪目标，此视频序列中，背景颜色较复杂，且目标颜色与背景颜色相似。图3(a)、(b)分别表示本发明提供的跟踪算法及SOAMST算法所得到部分跟踪结果，并且两种算法在初始帧处选择的目标区域相同。对比图3的跟踪结果可知，本发明提供的跟踪算法能够很好地锁定被跟踪目标，具有较高的跟踪精确度，并且在整个跟踪过程中，没有出现跟踪失败现象。

在图(4)所示的视频序列中，汽车及其周围的区域选定为跟踪目标，此视频序列中，背景颜色较复杂，且伴有明显的光照变化。图4(a)、(b)分别表示本发明提供的跟踪算法及SOAMST算法所得到部分跟踪结果，并且两种算法在初始帧处选择的目标区域相同。对比图4的跟踪结果可知，在背景复杂及光照变化强烈的跟踪情境下，本发明提供的跟踪算法能够跟精确地跟踪目标，跟踪框与目标基本吻合，不包含多余的背景颜色。

由此，本发明提供的结合局部二值特征与颜色直方图的尺度方向自适应的MeanShift目标跟踪方法，对于背景复杂、光照变化、目标与背景颜色相似及尺度方向变化情景下的图像序列目标跟踪具有更强的鲁棒性。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种结合LBP特征自适应Mean Shift目标跟踪方法，其特征是，步骤如下：

(1)目标模型生成：

目标模型由图像的局部二值特征与颜色特征组成的联合直方图来描述，即利用由局部二值模式形成的掩膜内的颜色和纹理特征来描述目标，构建联合纹理-颜色特征的目标模型；

(2)相似性度量：

利用Bhattacharyya系数来衡量目标模型与目标候选模型之间的相似度，Bhattacharyya系数表示两个向量与之间夹角的余弦值，其值越大，代表目标模型与目标候选模型越相似，首先计算上述目标模型和目标候选模型的Bhattacharyya系数，并规定某个度量准则，使其在该准则下相似度最高；

(3)目标尺度方向估计：

在跟踪过程中，首先对目标区域进行Mean shift迭代，使其收敛至候选目标的空间位置处，对(1)中生成的联合纹理-颜色特征的目标候选区域权重图进行矩阵分解，利用矩阵分析来计算目标候选区域的尺度和方向。

2.如权利要求1所述的结合LBP特征自适应Mean Shift目标跟踪方法，其特征是，具有灰度尺度不变性和旋转不变性的局部二值模式LBP算子通过下面的模型获得：

其中，表示g_c对应窗口中心点的像素值，P代表(x_c,y_c)窗口中心点周围的像素点，g_p为中心点邻域内的像素值，R代表了邻域的范围，riv2表示旋转不变等价模式，U(LBP_P,R)为旋转不变模式LBP算子的界定，其值≤2，表示从起始点0点起，计算相邻两点与中心点像素值的函数s(x)的差值，依次遍历P个像素点:

其中，g_P-1表示邻域内像素点P-1的像素值，g₀表示邻域内起始点的像素值；用S(g_P-g_c+a)代替S(g_P-g_c)，a为弥补平坦区域内像素波动小而设定的阈值；并且，|a|越大，像素波动的允许值越大。

3.如权利要求1所述的结合LBP特征自适应Mean Shift目标跟踪方法，其特征是，有效联合目标的局部二值特征LBP与颜色特征具体步骤如下：

有9个均匀的纹理模式，每一种LBP纹理模式可以视为一个微纹理基元，算子检测到的局部图像块内特征包括点，平坦区域，边缘，线段的起始点和终点，在目标表示中，上述的的微纹理基元包括角点、边缘、线段，称为主要的目标模式，代表了目标的大部分特征，而点、平面区域称为次要的目标模式，是目标次要的纹理；通过下面的公式来提取目标的大部分目标模式：

在算子中，标记0，1，7，8对应次要的目标模式，标记9没有对应目标模式。因此，主要的目标模式标记有：2～6，通过式(7)提取目标的主要LBP模式，然后联合图像的颜色特征描述目标，构建成8×8×8×5的四维联合纹理-颜色的联合直方图。

4.如权利要求1所述的结合LBP特征自适应Mean Shift目标跟踪方法，其特征是，目标模型与候选目标模型的相似性采用Bhattacharyya系数ρ(y)来衡量，即

其中，y表示候选目标区域中心位置，u＝1,2...m表示任意一个颜色索引， 分别表示目标模型及候选目标模型；q_u和p_u(y)分别表示在目标区域及候选目标区域概率分布直方图中特征u的概率；Bhattacharyya系数ρ(y)定义了跟踪目标和候选目标的相似性，此外，定义一个度量函数d(y)，其表示跟踪目标与候选目标模型之间的距离:

Bhattacharyya越大，目标模型与候选目标越相似，对ρ[p(y)q]在p_u(y₀)处进行泰勒级数展开，除去高次项，只保留一阶展开式，得到ρ[p(y)q]的线性近似式如下:

y₀表示上一帧中目标候选模型的中心位置，p_u(y_o)表示上一帧的目标候选模型；将目标模型与候选目标模型代入可得：

其中，

式(11)中，第一项与y无关，而第二项表示候选目标区域中心点y处的核密度估计，其中每个像素点x_i的权重用w(x_i)表示。所以寻找最优候选目标的问题就转化为寻找概率密度函数局部极值位置的问题，并通过Mean shift迭代的方法来完成，最大化上式(11)，即令得到Mean shift的迭代形式：

其中，g(x)＝-k'(x)，以上一帧目标位置y₀为初始值，迭代计算上式中的y，直至收敛或者达到设定的最大迭代次数。

5.如权利要求1所述的结合LBP特征自适应Mean Shift目标跟踪方法，其特征是，目标尺度方向估计具体步骤是，利用候选目标区域权重图的矩信息来估计跟踪过程中目标的尺度方向变化，来自适应目标的形变，在上一帧中，利用Mean shift迭代算法寻找到最优目标区域，作为当前的跟踪结果，然后利用下式计算该区域的零阶矩M₀₀：

w(x_i)表示每个像素点x_i处的权重，n为目标区域内像素点的个数；利用Bhattacharyya系数来校正由零阶矩引起的误差，定义下式：

A＝c(ρ)M₀₀ (15)

c(ρ)是与Bhattacharyya系数ρ相关的单调递增的函数，其值在0～1之间：

其中，σ为可调参数。当ρ(0～1)减小时，c(ρ)(0～1)也减小；即随着目标模型与候选模型相似性减小，M₀₀比真实目标区域的面积更大，即误差更大；

下一帧目标候选区域的中心位置，尺度与方向，通过对权重图的一阶矩和二阶矩进行矩阵分析得到，对权重图计算一阶矩M₁₀、M₀₁和二阶矩M₂₀、M₀₂、M₁₁分别如下：

其中，(x_i,1,x_i,2)为像素点i的坐标，而下一帧候选目标区域的中心位置由上述一阶矩和零阶矩的比值求得：

其中，y为下一帧候选目标区域的中心位置，表示中心位置y的坐标；同样，二阶矩的矩信息可以用来描述目标区域的形状与方向，计算二阶矩和零阶矩的比值与中心位置坐标的平方差，分别为μ₂₀μ₁₁μ₀₂：

为分析目标区域的尺度大小与方向，把μ₂₀,μ₀₂，μ₁₁写入协方差矩阵Cov，并对协方差矩阵进行奇异值分解：

其中，

U,S为协方差矩阵进行奇异值分解后的两个矩阵，其中，(u₁₁,u₂₁)^T和(u₁₂,u₂₂)^T分别代表目标候选区域中目标两个轴的方向，目标的方向可由长轴与水平轴之间的夹角得出，此外，λ₁,λ₂为协方差矩阵Cov的特征值，其比值与目标区域长短轴的比值相同，即λ₁/λ₂＝a/b，引入尺度因素k，使得a＝kλ₁,b＝kλ₂，则目标区域的面积为：πab＝π(kλ₁)(kλ₂)＝A,所以，目标区域的长短轴(a,b)分别为：

由此，便估计出跟踪过程中目标的尺度与方向。