CN105404894A - 无人机用目标追踪方法及其装置 - Google Patents

Abstract

本发明提供一种无人机用目标追踪方法及其装置，包括以下步骤：步骤S100：通过无人机获取待追踪目标的视频图像，以包含目标的区域作为目标模板；步骤S200：通过Mean？Shift目标追踪器对视频图像进行目标追踪，所得结果为第一追踪结果，通过根据目标模板初始化后的随机森林检测器对视频图像进行目标追踪，所得结果为第二追踪结果；步骤S300：判断第一追踪结果和第二追踪结果中是否出现目标，以包含目标的结果为目标追踪结果。本发明提供的无人机用目标追踪方法包括检测步骤，对追踪结果提供补偿信息，特别在追踪器失败而检测器成功的情况下，用检测器的结果对追踪器进行重新初始化，保证追踪系统的继续运行，从而提高了对目标追踪的准确度。

Description

无人机用目标追踪方法及其装置

技术领域

本发明涉及图像处理技术领域，具体的涉及一种无人机用目标追踪方法及其装置。

背景技术

近年来，随着自动化技术、计算机视觉技术等科技领域水平的不断提高，无人机在军用、工业和民用领域都得到了快速发展。微型无人机的目标追踪技术作为无人机应用技术的一个重要分支，在国家公共安全领域如防爆反恐、交通监控、抗灾救援等方面具有广泛的应用前景，受到各国学者的极大关注，成为该领域当前最活跃的研究方向之一。

目标追踪的主要目的是通过处理与分析从成像传感器获得的图像序列，计算出运动目标在每一帧图像上的二维坐标位置，将图像序列中连续帧里的同一运动目标关联起来，获取运动目标完整的运动轨迹。简单的说，就是在下一帧图像中找到目标的确定位置，并反馈给追踪系统进行追踪。针对目标追踪方向的研究已经有几十年的历史，现有的算法也很多，很难对它们进行精确的划分。常用的追踪方法有：卡尔曼滤波、粒子滤波、MeanShift、压缩追踪、TLD等等。

随机森林是一种有监督的集成学习分类技术，其分类模型由一组决策树分类器组成，模型对数据的分类是通过单个决策树的分类结果进行集体投票来决定最终结果。它结合了LeoBreiman的Bagging集成学习理论与Ho提出的随机子空间方法，通过对训练样本空间和属性空间注入随机性，充分保证了每个决策树之间的独立性和差异性，很好地克服了决策树过拟合问题，同时对噪声和异常值也有较好的鲁棒性。

与一般的目标追踪系统不同，在面向微型无人机的地面运动目标追踪系统中，无人机、成像传感器和运动目标三者均在运动中。因此该系统具有以下特点：

第一，成像传感器安装在无人机的云台上，随着无人机的运动而不停运动，很多针对从静止成像传感器获得图像的目标检测和追踪方法成像效果较差，如背景差分法。

第二，整个追踪系统要求具有较高的实时处理能力。

第三，微型无人机比较轻巧，对有效负载的重量存在限制。

因而运用于微型无人机上的目标追踪系统需要满足：既具有较高的实时处理能力，又不需要耗费较多的硬件资源，还能够与机载设备进行有效融合。

MeanShift目标追踪方法虽然具有实时性好、鲁棒性高和易于实现等特点，但对于目标突变、遮挡等情况下，容易导致目标追踪失败。

发明内容

本发明的目的在于提供一种无人机用目标追踪方法及其装置，该发明解决了现有目标追踪方法均难以适应在人机、成像传感器和运动目标三者均在运动的环境中进行有效目标追踪的技术问题。

本发明提供一种无人机用目标追踪方法，包括以下步骤：步骤S100：通过无人机获取待追踪目标的视频图像，以包含目标的区域作为目标模板；步骤S200：通过MeanShift目标追踪器对视频图像进行目标追踪，所得结果为第一追踪结果，通过根据目标模板初始化后的随机森林检测器对视频图像进行检测，所得结果为第二追踪结果；步骤S300：判断第一追踪结果和第二追踪结果中是否出现目标，以包含目标的结果为目标追踪结果。

进一步地，随机森林检测器的初始化，包括以下步骤：步骤S210：根据目标模板生成用于训练的多个正样本图像和多个负样本图像，并提取各正样本图像和各负样本图像的HOG特征；步骤S220：通过随机森林从HOG特征中筛选出训练特征用于对随机森林中的决策树进行训练，得到用于对视频图像中是否含有目标进行检测的随机森林检测器。

进一步地，正样本图像的生成方法包括以下步骤：步骤S211：以目标模板图像对应的HOG特征作为目标正样本，以正样本图像的中心点处八邻域作为中心点，得到8个领域图像，以领域图像和目标正样本的HOG特征作为正样本，得到9个正样本图像；步骤S212：对目标模板图像进行n次尺度缩/放，以每次尺度缩/放后得到的图像对应的HOG特征作为目标正样本，重复步骤S211，得到9*n个正样本图像；优选的，负样本图像的生成方法包括以下步骤：步骤S213：以目标模板图像作为母版，并分别以母版的四个顶点和两两顶点连线的中点为中心点，获取以中心点为中心且具有与母版相同宽度和相同高度的8个中点图像作为8个负样本图像；步骤S214：对母版进行n次尺度缩/放，以每次尺度缩/放后得到的图像作为母版，重复步骤S213，得到8*n个负样本图像。

进一步地，尺度缩/放为放大1.1～1.2倍或缩小0.8～0.9倍。

进一步地，每棵决策树的训练方法包括以下步骤：步骤S221：从正样本的HOG特征中随机选择3个根特征进行编号，并将根特征赋给决策树的根节点和内部节点；步骤S222：根据根节点对应的特征，对根节点上的HOG特征所有可能的取值进行测试，选取分类最优的取值作为根节点的分类阈值；步骤S223：对内部节点上的HOG特征重复步骤S222，得到内部节点的分类阈值；步骤S224：将所有训练样本用本决策树进行分类，根据正样本和负样本的数目决定决策树上每个叶子节点的正负属性和权重系数。

进一步地，步骤S300中还包括对第一追踪结果和第二追踪结果进行融合，融合包括以下步骤：步骤S310：当第一追踪结果和第二追踪结果，均返回包含目标的结果时，计算第一追踪结果与目标模板的Bhattacharyya系数B₁、第二追踪结果与目标模板的Bhattacharyya系数B₂，以Bhattacharyya系数较大的作为目标追踪结果；步骤S320：当第二追踪结果，返回包含目标的结果时，计算第二追踪结果与目标模板的Bhattacharyya系数B₂，若B₂大于0.6则以第二追踪结果为目标追踪结果，否则返回步骤S100，继续追踪；步骤S320：当第一追踪结果，返回包含目标的结果时，将其作为目标追踪结果。

进一步地，还包括对随机森林检测器根据目标追踪结果进行更新的步骤S400，以目标追踪结果作为随机森林检测器的目标正样本和母版，进行随机森林检测器初始化。

进一步地，MeanShift目标追踪器的追踪方法包括以下步骤：

步骤S231：在第一帧图像中初始化目标模板，利用公式一计算目标模板的概率密度q_u，

$q_u=C_q\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]$ 式一

其中C_q是目标模板的归一化常数，x₀为目标模板区域的中心位置坐标，设{x_i},i＝1,…,n为目标模板区域内所有的像素位置，u＝1,…,m为颜色特征，h是核函数带宽，K(·)是核函数，δ(x)为Kroneckerdelta函数；

步骤S232：对于所获取的下一帧图像，用前一帧的目标模板位置y₀，通过式二计算候选目标模板的概率密度p_u，

$p_u=C_p\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)\mathrm{\δ}\[b\left(y_i\right)-u\]$ 式二

其中y₀为候选目标区域中心，{y_i},i＝1,…,n表示候选目标区域各像素；

步骤S233：利用公式三计算候选目标区域的更新位置y_new，

$y_{new}=\frac{\underset{i=1}{\overset{n}{\Σ}}{y}_i{\mathrm{\ω}}_{i}g\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ω}}_{i}g\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)}$ 式三

其中g(x)＝-k′(x)，ω_i为每个像素的权重；

步骤S234：根据公式四计算候选目标区域内的每个像素的权重ω_i，，

${\mathrm{\ω}}_i=\underset{u=1}{\overset{m}{\Σ}}\sqrt{\frac{q_u}{p_u\left(y_0\right)}}\mathrm{\δ}\[b\left(y_i\right)-u\]$ 式四；

步骤S235：如果||y₀-y_new||<0.1或者迭代次数大于给定阈值，则停止迭代，

当迭代停止后，如果||y₀-y_new||<0.1说明追踪是成功的，如果||y₀-y_new||>0.1说明未获得包含目标的追踪结果；

如果不满足迭代停止条件，则令y₀＝y_new重复步骤S232～S234，直到满足迭代终止条件。

本发明另一方面还提供了一种上述方法的无人机用目标追踪装置，包括：目标模板确定模块，用于通过无人机获取待追踪目标的视频图像，以包含目标的区域作为目标模板；追踪结果获取模块，用于通过MeanShift目标追踪器对视频图像进行目标追踪，所得结果为第一追踪结果，通过根据目标模板初始化后的随机森林检测器对视频图像进行目标追踪，所得结果为第二追踪结果；结果判断模块，用于判断第一追踪结果和第二追踪结果中是否出现目标，以包含目标的结果为目标追踪结果。

进一步地，追踪结果获取模块中包括MeanShift目标追踪器和随机森林检测器；还包括用于对第一追踪结果和第二追踪结果进行融合的融合模块，融合模块中包括：第一判断模块：当第一追踪结果和第二追踪结果，均返回包含目标的结果时，计算第一追踪结果与目标模板的Bhattacharyya系数B₁、第二追踪结果与目标模板的Bhattacharyya系数B₂，以Bhattacharyya系数较大的作为目标追踪结果；第二判断模块：当第二追踪结果，返回包含目标的结果时，计算第二追踪结果与目标模板的Bhattacharyya系数B₂，若B₂大于0.6则以第二追踪结果为目标追踪结果，否则返回步骤S100，继续追踪；第三判断模块：当第一追踪结果，返回包含目标的结果时，将其作为目标追踪结果。

本发明的技术效果：

1、本发明提供的无人机用目标追踪方法包括检测步骤，对追踪结果提供补偿信息，特别在追踪器失败而检测器成功的情况下，用检测器的结果对追踪器进行重新初始化，保证追踪系统的继续运行，从而提高了对目标追踪的准确度。

2、本发明提供的无人机用目标追踪方法能够高效实时的处理目标追踪问题，并且在目标追踪失败后通过检测器进行自动检测搜索目标，在线更新检测器信息，保证目标在变形遮挡等情况下不被跟丢，克服了MeanShift目标追踪方法在使用时，由于目标受到遮挡，而追踪失效的缺点，使其能运用于无人机追踪这一特定应用领域。

3、本发明提供的无人机用目标追踪装置克服了MeanShift目标追踪方法在使用时，由于目标受到遮挡，而追踪失效的缺点，使其能运用于无人机追踪这一特定应用领域。

参考根据本发明的无人机用目标追踪方法的各种实施例的如下描述将使得本发明的上述和其他方面显而易见。

附图说明

图1是本发明优选实施例无人机用目标追踪方法的流程示意图；

图2是本发明优选实施例无人机用目标追踪装置的示意图；

图3是本发明优选实施例的随机森林分类器的结构示意图。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

本发明提供的方法可以用于各类无人机上。尤其适用于微型无人机。自身重量在1到2千克、负重五百克以内、飞行时间在二十分钟左右的戴旋翼无人机称为微型无人机。

参见图1，本发明提供的无人机用目标追踪方法，包括以下步骤：

步骤S100：通过无人机获取待追踪目标的视频图像，以包含目标的区域作为目标模板；

步骤S200：通过MeanShift目标追踪器对视频图像进行目标追踪，所得结果为第一追踪结果，通过根据目标模板初始化后的随机森林检测器对视频图像进行检测，所得结果为第二追踪结果；

步骤S300：判断第一追踪结果和第二追踪结果中是否出现目标，以包含目标的结果为目标追踪结果。

本发明提供的方法通过将MeanShift目标追踪器和随机森林检测器相结合，通过随机森林检测器对MeanShift目标追踪法获得的结果进行校验，解决了MeanShift目标追踪法无法获取被遮蔽物的目标的问题。提高了该方法用于无人机时的目标追踪效率。此处的MeanShift目标追踪器为常用的包含MeanShift算法的目标追踪装置。随机森林检测器可以按现有的处理方法进行训练，以目标模板为样本对检测器进行初始化。从而提高对所得结果的筛选效率。随机森林检测器是将追踪问题看成目标与背景的两类分类问题，通过分类器的在线更新以适应目标表观的变化，达到在复杂环境下对目标的稳健追踪。特别是在MeanShift目标追踪器失败的情况下，随机森林检测器如果能够正确检测到运动目标，那么整个追踪系统就能够继续运行下去。在追踪器部分，主要采用的是MeanShift算法；

优选的，首先无人机对目标进行视频拍摄，在目标出现在视频图像的某一帧，人工选定目标所在的一个矩形区域作为目标模板。通过人工方法获得的目标模板准确率高。

优选的，随机森林检测器的初始化，包括以下步骤：

步骤S210：根据目标模板生成用于训练的多个正样本图像和多个负样本图像，并提取各正样本图像和各负样本图像的HOG特征；

步骤S220：通过随机森林从HOG特征中筛选出训练特征用于对随机森林中的决策树进行训练，得到用于对视频图像中是否含有目标进行检测的随机森林检测器。

随机森林检测器的初始化具体为对其进行训练的过程，以人手动选取含有待追踪目标的目标框为目标模板，之后生成训练的正负样本，提取样本的HOG特征，再由随机森林筛选出特征的一部分进行分类器训练，得到每棵决策树的分类信息，在检测过程中，在目标框的周围拓展获得待检框，同样经过特征提取与筛选后，由训练好的分类器对其进行分类，判决是否为目标。以目标模板为训练样本，能提高所得随机森林检测器对目标的检出效率，减少漏检的发生。

本发明的随机森林检测器采用加权随机森林分类器，其中分类特征采用HOG(HistogramofOrientedGridients，缩写为HOG)特征。随机森林是一个由许多决策树分类器组成的分类器，普通的随机森林分类器并不限定每棵树的大小。为了提高该方法用于无人机时的计算效率，如图3所示，随机森林检测器中包括多个随机森林分类器，每个随机森林分类器中包含分为两层的50棵决策树。根节点和内部节点存储了特征编号和对应的分类阈值，而叶子节点存储分类信息包括分类标号和权重系数。

优选的，用于训练的正样本图像的生成方法包括以下步骤：

步骤S211：以目标模板图像对应的HOG特征作为目标正样本，以正样本图像的中心点处八邻域作为中心点，得到8个领域图像，以领域图像和目标正样本的HOG特征作为正样本，得到9个正样本图像；

步骤S212：对目标模板图像进行n次尺度缩/放，以每次尺度缩/放后得到的图像对应的HOG特征作为目标正样本，重复步骤S中步骤，得到9*n个正样本图像。采用上述方法获得的正样本包含目标的HOG特征较多，能提高所得检测器用于对目标筛选时的准确率。

优选的，用于训练的负样本图像的生成方法包括以下步骤：

步骤S213：以目标模板图像为母版，并以目标模板图像的四个顶点、两两顶点连线的中点为中心点，获取以中心点中中心点的，具有与母版图像相同宽度和相同高度的8个中点图像作为8个负样本图像；

步骤S214：对目标模板图像进行n次尺度缩/放，以每次尺度缩/放后得到的图像作为母版，重复步骤S213，得到8*n个负样本图像。

采用该方法获得的负样本能避免将目标仅出现在四周的图像作为目标追踪结果。提高追踪的准确率。

优选的，尺度缩/放为放大1.1～1.2倍或缩小0.8～0.9倍。n可以为任意值。采用该缩放范围，能避免由于过度缩放导致目标丢失。

具体的，例如首先将目标模板图像对应的HOG特征作为一个正样本。之后以该目标模板图像的中心点处8邻域为新的中心点，得到8个新的图像，它们的HOG特征，加上模板特征图像，共得到9个正样本。然后对原图像进行一个尺度的缩放，分别为放大1.1倍、1.2倍，缩小为0.8倍、0.9倍，并在缩放后的图像以同样的方式获取正样本，每次依然可获得9个样本，这样共得到了45个正样本。

负样本的选取方式：以模板图像为母版，并以模板图像的四个顶点、顶点连线的中点为新的图像的中心点，图像的宽度和高度与模板图像的一致，获得8个负样本，同样进行尺度的缩放，得到40个负样本。

本发明采用的加权随机森林分类由50棵两层决策树组成，在构建过程中引入了特征选择随机化过程来保证每棵树的独立性，提高分类精度和泛化能力。

每棵决策树的训练方法包括以下步骤：

步骤S221：从正样本的HOG特征中随机选择3个根特征进行编号，并将根特征赋给决策树的根节点和内部节点；

步骤S222：根据根节点对应的特征，对根节点上的HOG特征所有可能的取值进行测试，选取分类最优的取值作为根节点的分类阈值；

步骤S223：对内部节点上的HOG特征重复步骤S222，得到内部节点的分类阈值；

步骤S224：将所有训练样本用本决策树进行分类，根据正样本和负样本的数目决定决策树上每个叶子节点的正负属性和权重系数。

具体可以为：

(1)从HOG特征中随机选择3个特征编号，赋给决策树的根节点和内部节点；

(2)对于根节点对应的特征，对所有可能的取值进行测试，选取分类最优的取值作为该节点的分类阈值；

(3)和步骤(2)计算方法一样，求得两个内部节点的分类阈值；

(4)将所有训练样本用本决策树进行分类，根据正负样本的数目决定每个叶子节点的正负属性和权重系数。

如：到达某叶子节点的正样本数目为D₁，负样本数目为D₂，D₁>D₂，那么该叶子节点的属性为+1，且权重系数为

所有决策树都训练完后，对于一个新样本，用随机森林分类器进行分类结果得到一个总体的得分：其中H_i(x,ω_i)是每棵决策树给出的带权重系数的分类结果。

使用时，检测过程采用滑动窗口的方式进行，提取待检框中图像的所有HOG特征，通过随机森林检测器进行分类，得到一个总体的得分，若该得分大于0，则以此待检测框为候选框。当存在多个候选框时，选取其中得分最高的候选框中的图像为检测到的目标结果。如果一个候选目标都没有，那么认为随机森林检测器失败或没有发现目标。

优选的，步骤S300中还包括对第一追踪结果和第二追踪结果进行融合的步骤S310。通过对第一追踪结果和第二追踪结果进行结合，能提高追踪效果的鲁棒性，克服了MeanShift算法本身容易对遮蔽变形目标追踪失效的问题。由于实际运用中，MeanShift追踪器和随机森林检测器均不能保证一定获得包含目标的追踪结果，因而通过将两者所得结果进行融合，可以有效的提高该方法的检测正确率。

步骤S300中还包括对第一追踪结果和第二追踪结果进行融合，融合包括以下步骤：

步骤S310：当第一追踪结果和第二追踪结果，均返回包含目标的结果时，计算第一追踪结果与目标模板的Bhattacharyya系数B₁、第二追踪结果与目标模板的Bhattacharyya系数B₂，以Bhattacharyya系数较大的作为目标追踪结果；

步骤S320：当第二追踪结果，返回包含目标的结果时，计算第二追踪结果与目标模板的Bhattacharyya系数B₂，若B₂大于0.6则以第二追踪结果为目标追踪结果，否则返回步骤S100，继续追踪；

步骤S320：当第一追踪结果，返回包含目标的结果时，将其作为目标追踪结果。

具体的，

(1)当第一追踪结果和第二追踪结果，均返回包含目标的结果时：

分别计算两者和目标模板的Bhattacharyya系数B₁和B₂，最终融合结果采用Bhattacharyya系数较大的那一个。

(2)随机森林检测器成功，追踪器失败

计算随机森林检测器和目标模板的Bhattacharyya系数，若大于0.6，则认为该检测结果是可靠的，并更新目标框的位置信息。若小于0.6，则转入第4种情况处理。

(3)随机森林检测器失败，追踪器成功

追踪结果作为最终追踪结果使用。

(4)随机森林检测器失败，追踪器失败

这说明此次追踪中并没有发现目标。再读入下一帧图像，进行滑动窗口检测，如果检测成功，则用检测结果作为系统追踪结果。若持续n帧，都没有检测成功，则追踪系统结束。

优选的，为了使随机森林检测器，能保持对目标的实时追踪，防止由于目标的改变而导致追踪失效的出现，还包括对随机森林检测器根据目标追踪结果进行更新的步骤S400。还包括对随机森林检测器根据目标追踪结果进行更新的步骤S400，以目标追踪结果作为随机森林检测器的目标正样本和母版，进行随机森林检测器初始化。此处的目标追踪结果可以为随机森林检测器或MeanShift目标追踪器获得的结果。

当随机森林检测器和追踪器都成功，或B₂大于0.6时，说明随机森林检测器的结果是可信的，这时对检测器进行在线更新。以当前追踪结果作为目标模板，更新目标模板后，需按前述方法再次对随机森林检测器进行初始化。

追踪器为采用MeanShift追踪算法的MeanShift目标追踪器。可以为现有的该算法的追踪器，优选的，该追踪器为根据颜色信息建立目标模板和候选区域的直方图模型，利用Bhattacharyya系数计算目标模板和候选区域的相似性，将相似性最大的候选区域确定为追踪目标。包括以下步骤：

步骤S231：在第一帧图像中初始化目标模板，利用公式一计算目标模板的概率密度q_u，

$q_u=C_q\underset{i=1}{\overset{n}{\&Sigma;}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(x_i\right)-u\&rsqb;$ 式一

其中C_q是目标模板的归一化常数，x₀为目标模板区域的中心位置坐标，设{x_i},i＝1,…,n为目标模板区域内所有的像素位置，u＝1,…,m为颜色特征，h是核函数带宽，K(·)是核函数，δ(x)为Kroneckerdelta函数；

步骤S232：对于所获取的下一帧图像，用前一帧的目标模板位置y₀，通过式二计算候选目标模板的概率密度p_u，

$p_u=C_p\underset{i=1}{\overset{n}{\&Sigma;}}k\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(y_i\right)-u\&rsqb;$ 式二

其中y₀为候选目标区域中心，{y_i},i＝1,…,n表示候选目标区域各像素；

步骤S233：利用公式三计算候选目标区域的更新位置y_new，

$y_{new}=\frac{\underset{i=1}{\overset{n}{\&Sigma;}}{y}_i{\mathrm{\&omega;}}_{i}g\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&omega;}}_{i}g\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)}$ 式三

其中g(x)＝-k′(x)，ω_i为每个像素的权重；

步骤S234：根据公式四计算候选目标区域内的每个像素的权重ω_i，，

${\mathrm{\&omega;}}_i=\underset{u=1}{\overset{m}{\&Sigma;}}\sqrt{\frac{q_u}{p_u\left(y_0\right)}}\mathrm{\&delta;}\&lsqb;b\left(y_i\right)-u\&rsqb;$ 式四；

步骤S235：如果||y₀-y_new||<0.1或者迭代次数大于给定阈值，则停止迭代，

当迭代停止后，如果||y₀-y_new||<0.1说明追踪是成功的，如果||y₀-y_new||>0.1说明未获得包含目标的追踪结果；

如果不满足迭代停止条件，则令y₀＝y_new重复所述步骤S232～S234，直到满足迭代终止条件。

具体的，视频帧的图像都是RGB颜色空间图像，但是RGB颜色空间不符合人眼的视觉特点，容易受到光照等情况的影响。因而，将图像从RGB(红、绿、黄)颜色空间变换到HSV(Hue,Saturation,Value)颜色空间，选择其中的H分量作为MeanShift追踪器的特征空间。统计特征空间的颜色直方图，将特征空间分成m＝32份，每份记为特征空间的一个特征值。记x₀为目标模板区域的中心位置坐标，设{x_i},i＝1,…,n为目标模板区域内所有的像素位置，则基于颜色特征u＝1,…,m的目标模板的概率密度函数的计算公式如式一：

$q_u=C_q\underset{i=1}{\overset{n}{\&Sigma;}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(x_i\right)-u\&rsqb;$ 式一，

其中C_q是目标模板的归一化常数， $C_q=1/\underset{i=1}{\overset{n}{\&Sigma;}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2).$

其中K(·)是核函数，它的作用是考虑遮挡或背景干扰的影响，给靠近目标中心位置的像素赋予较大的权值，而远离目标模板中心位置的像素赋予较小的权值，以此来区分目标区域内不同位置处的像素在估计目标概率密度函数中所做的贡献，这里以高斯核函数 $K\left(x\right)=\exp \{-|\left|\frac{x-x_0}{h}\right|{|}^2\},$ h是核函数带宽。δ(x)为Kroneckerdelta函数，这里的作用是判断目标区域中像素x_i的颜色值是否属于第u个单元的颜色索引值，等于为1，否则为0。

运动目标在第二帧及以后的每帧中可能包含目标且与目标模板相同大小的区域称为候选目标区域，为了减少计算量，用前一帧图像中目标模板的位置开始计算。设候选目标区域中心为y₀，该区域各像素用{y_i},i＝1,…,n表示。与目标模板的概率密度函数计算方式相同，可以得到候选区域的概率密度函数式二：

$p_u=C_p\underset{i=1}{\overset{n}{\&Sigma;}}k\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(y_i\right)-u\&rsqb;$ 式二；

在MeanShift算法中，引入了Bhattacharyya系数来衡量目标模板和候选目标区域对应的直方图之间的相似性。以两个直方图的相似性最大为原则，使搜索窗口沿密度增加最大的方向移动到目标的真实位置。从而提高MeanShift算法运用于无人机时，对目标追踪的准确性。降低丢失目标的几率。

Bhattacharyya系数的计算公式为 $\mathrm{\&rho;}\&lsqb;p,q\&rsqb;=\underset{u=1}{\overset{m}{\&Sigma;}}\sqrt{p_u\left(y_0\right)q_u},$ 其中q_u为目标模板，p_u为候选目标模板。

将Bhattacharyya系数的计算公式经过泰勒级数展开后求导，可得到MeanShift跟踪器的候选目标区域中心位置的更新公式，式三：

$y_{new}=\frac{\underset{i=1}{\overset{n}{\&Sigma;}}{y}_i{\mathrm{\&omega;}}_{i}g\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&omega;}}_{i}g\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)}$ 式三；

其中g(x)＝-k′(x)，ω_i为每个像素的权重

${\mathrm{\&omega;}}_i=\underset{u=1}{\overset{m}{\&Sigma;}}\sqrt{\frac{q_u}{p_u\left(y_0\right)}}\mathrm{\&delta;}\&lsqb;b\left(y_i\right)-u\&rsqb;$ 式四；

参见图2，本发明另一方面还提供一种如上述方法的无人机用目标追踪装置，包括：

目标模板确定模块100，用于通过无人机获取待追踪目标的视频图像，以包含目标的区域作为目标模板；

追踪结果获取模块200，用于通过MeanShift目标追踪器对视频图像进行目标追踪，所得结果为第一追踪结果，通过根据目标模板初始化后的随机森林检测器对视频图像进行目标追踪，所得结果为第二追踪结果；

结果判断模块300，用于判断第一追踪结果和第二追踪结果中是否出现目标，以包含目标的结果为目标追踪结果。

采用该装置可以实现对MeanShift目标追踪的检测，放置由于遮蔽等原因导致目标的丢失。

优选的，追踪结果获取模块中包括MeanShift目标追踪器和随机森林检测器；还包括用于对第一追踪结果和第二追踪结果进行融合的融合模块，融合模块中包括：

第一判断模块：当第一追踪结果和第二追踪结果，均返回包含目标的结果时，计算第一追踪结果与目标模板的Bhattacharyya系数B₁、第二追踪结果与目标模板的Bhattacharyya系数B₂，以Bhattacharyya系数较大的作为目标追踪结果；

第二判断模块：当第二追踪结果，返回包含目标的结果时，计算第二追踪结果与目标模板的Bhattacharyya系数B₂，若B₂大于0.6则以第二追踪结果为目标追踪结果，否则返回步骤S100，继续追踪；

第三判断模块：当第一追踪结果，返回包含目标的结果时，将其作为目标追踪结果。

通过上述融合模块，实现对两种结果的融合，提高目标追踪的准确性。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (10)

1.一种无人机用目标追踪方法，其特征在于，包括以下步骤：

步骤S100：通过所述无人机获取待追踪目标的视频图像，以包含所述目标的区域作为目标模板；

步骤S200：通过MeanShift目标追踪器对所述视频图像进行目标追踪，所得结果为第一追踪结果，通过根据所述目标模板初始化后的随机森林检测器对所述视频图像进行检测，所得结果为第二追踪结果；

步骤S300：判断所述第一追踪结果和所述第二追踪结果中是否出现所述目标，以包含所述目标的结果为目标追踪结果。

2.根据权利要求1所述的无人机用目标追踪方法，其特征在于，所述随机森林检测器的初始化，包括以下步骤：

步骤S210：根据所述目标模板生成用于训练的多个正样本图像和多个负样本图像，并提取各所述正样本图像和各所述负样本图像的HOG特征；

步骤S220：通过随机森林从所述HOG特征中筛选出训练特征用于对所述随机森林中的决策树进行训练，得到用于对所述视频图像中是否含有所述目标进行检测的所述随机森林检测器。

3.根据权利要求2所述的无人机用目标追踪方法，其特征在于，所述正样本图像的生成方法包括以下步骤：

步骤S211：以所述目标模板图像对应的HOG特征作为目标正样本，以所述正样本图像的中心点处八邻域作为中心点，得到8个领域图像，以所述领域图像和所述目标正样本的HOG特征作为正样本，得到9个正样本图像；

步骤S212：对所述目标模板图像进行n次尺度缩/放，以每次所述尺度缩/放后得到的图像对应的HOG特征作为所述目标正样本，重复步骤S211，得到9*n个正样本图像；

优选的，所述负样本图像的生成方法包括以下步骤：

步骤S213：以所述目标模板图像作为母版，并分别以所述母版的四个顶点和两两顶点连线的中点为中心点，获取以所述中心点为中心且具有与所述母版相同宽度和相同高度的8个中点图像作为8个负样本图像；

步骤S214：对所述母版进行n次尺度缩/放，以每次所述尺度缩/放后得到的图像作为所述母版，重复步骤S213，得到8*n个负样本图像。

4.根据权利要求3所述的无人机用目标追踪方法，其特征在于，所述尺度缩/放为放大1.1～1.2倍或缩小0.8～0.9倍。

5.根据权利要求3所述的无人机用目标追踪方法，其特征在于，每棵所述决策树的训练方法包括以下步骤：

步骤S221：从所述正样本的HOG特征中随机选择3个根特征进行编号，并将所述根特征赋给所述决策树的根节点和内部节点；

步骤S222：根据根节点对应的特征，对所述根节点上的HOG特征所有可能的取值进行测试，选取分类最优的取值作为所述根节点的分类阈值；

步骤S223：对所述内部节点上的HOG特征重复步骤S222，得到所述内部节点的分类阈值；

步骤S224：将所有训练样本用本决策树进行分类，根据正样本和负样本的数目决定所述决策树上每个叶子节点的正负属性和权重系数。

6.根据权利要求1所述的无人机用目标追踪方法，其特征在于，所述步骤S300中还包括对所述第一追踪结果和所述第二追踪结果进行融合，所述融合包括以下步骤：

步骤S310：当所述第一追踪结果和所述第二追踪结果，均返回包含所述目标的结果时，计算所述第一追踪结果与所述目标模板的Bhattacharyya系数B₁、所述第二追踪结果与所述目标模板的Bhattacharyya系数B₂，以Bhattacharyya系数较大的作为所述目标追踪结果；

步骤S320：当所述第二追踪结果，返回包含所述目标的结果时，计算所述第二追踪结果与所述目标模板的Bhattacharyya系数B₂，若B₂大于0.6则以所述第二追踪结果为所述目标追踪结果，否则返回步骤S100，继续追踪；

步骤S320：当所述第一追踪结果，返回包含所述目标的结果时，将其作为所述目标追踪结果。

7.根据权利要求5所述的无人机用目标追踪方法，其特征在于，还包括对所述随机森林检测器根据所述目标追踪结果进行更新的步骤S400，以所述目标追踪结果作为所述随机森林检测器的目标正样本和母版，进行所述随机森林检测器初始化。

8.根据权利要求7所述的无人机用目标追踪方法，其特征在于，所述MeanShift目标追踪器的追踪方法包括以下步骤：

步骤S231：在第一帧图像中初始化目标模板，利用公式一计算目标模板的概率密度q_u，

$q_u=C_q\underset{i=1}{\overset{n}{\&Sigma;}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(x_i\right)-u\&rsqb;$ 式一

其中C_q是目标模板的归一化常数，x₀为所述目标模板区域的中心位置坐标，设{x_i},i＝1,…,n为所述目标模板区域内所有的像素位置，u＝1,…,m为颜色特征，h是核函数带宽，K(·)是核函数，δ(x)为Kroneckerdelta函数；

步骤S232：对于所获取的下一帧图像，用前一帧的目标模板位置y₀，通过式二计算候选目标模板的概率密度p_u，

$p_u=C_p\underset{i=1}{\overset{n}{\&Sigma;}}k\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(y_i\right)-u\&rsqb;$ 式二

其中y₀为候选目标区域中心，{y_i},i＝1,…,n表示所述候选目标区域各像素；

步骤S233：利用公式三计算所述候选目标区域的更新位置y_new，

$y_{new}=\frac{\underset{i=1}{\overset{n}{\&Sigma;}}{y}_i{\mathrm{\&omega;}}_{i}g\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&omega;}}_{i}g\left(\right|\left|\frac{y_i-y_0}{h}\right|{|}^2)}$ 式三

其中g(x)＝-k′(x)，ω_i为每个像素的权重；

步骤S234：根据公式四计算所述候选目标区域内的每个像素的权重ω_i，，

${\mathrm{\&omega;}}_i=\underset{u=1}{\overset{m}{\&Sigma;}}\sqrt{\frac{q_u}{p_u\left(y_0\right)}}\mathrm{\&delta;}\&lsqb;b\left(y_i\right)-u\&rsqb;$ 式四；

步骤S235：如果||y₀-y_new||<0.1或者迭代次数大于给定阈值，则停止迭代，

当迭代停止后，如果||y₀-y_new||<0.1说明追踪是成功的，如果||y₀-y_new||>0.1说明未获得包含所述目标的追踪结果；

如果不满足迭代停止条件，则令y₀＝y_new重复所述步骤S232～S234，直到满足迭代终止条件。

9.一种如权利要求1～8中任一项所述方法的无人机用目标追踪装置，其特征在于，包括：

目标模板确定模块，用于通过所述无人机获取待追踪目标的视频图像，以包含所述目标的区域作为目标模板；

追踪结果获取模块，用于通过MeanShift目标追踪器对所述视频图像进行目标追踪，所得结果为第一追踪结果，通过根据所述目标模板初始化后的随机森林检测器对所述视频图像进行目标追踪，所得结果为第二追踪结果；

结果判断模块，用于判断所述第一追踪结果和所述第二追踪结果中是否出现所述目标，以包含所述目标的结果为目标追踪结果。

10.根据权利要求8所述的无人机用目标追踪装置，其特征在于，所述追踪结果获取模块中包括MeanShift目标追踪器和随机森林检测器；还包括用于对所述第一追踪结果和第二追踪结果进行融合的融合模块，所述融合模块中包括：

第一判断模块：当所述第一追踪结果和所述第二追踪结果，均返回包含所述目标的结果时，计算所述第一追踪结果与所述目标模板的Bhattacharyya系数B₁、所述第二追踪结果与所述目标模板的Bhattacharyya系数B₂，以Bhattacharyya系数较大的作为所述目标追踪结果；

第二判断模块：当所述第二追踪结果，返回包含所述目标的结果时，计算所述第二追踪结果与所述目标模板的Bhattacharyya系数B₂，若B₂大于0.6则以所述第二追踪结果为所述目标追踪结果，否则返回步骤S100，继续追踪；

第三判断模块：当所述第一追踪结果，返回包含所述目标的结果时，将其作为所述目标追踪结果。