[go: up one dir, main page]

CN111815677A - 目标追踪方法、装置、终端设备和可读存储介质 - Google Patents

目标追踪方法、装置、终端设备和可读存储介质 Download PDF

Info

Publication number
CN111815677A
CN111815677A CN202010661194.5A CN202010661194A CN111815677A CN 111815677 A CN111815677 A CN 111815677A CN 202010661194 A CN202010661194 A CN 202010661194A CN 111815677 A CN111815677 A CN 111815677A
Authority
CN
China
Prior art keywords
template
sample set
detection
candidate
preset size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010661194.5A
Other languages
English (en)
Other versions
CN111815677B (zh
Inventor
衣杨
赵小蕾
陈嘉谦
邱泽敏
刘东琳
陈怡华
李宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhua College of Sun Yat Sen University
Original Assignee
Xinhua College of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhua College of Sun Yat Sen University filed Critical Xinhua College of Sun Yat Sen University
Priority to CN202010661194.5A priority Critical patent/CN111815677B/zh
Publication of CN111815677A publication Critical patent/CN111815677A/zh
Application granted granted Critical
Publication of CN111815677B publication Critical patent/CN111815677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种目标追踪方法、装置、终端设备和可读存储介质，该方法包括利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图；利用特征金字塔网络从检测帧中提取n个不同尺度的检测特征图；利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置；当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。本方案实现对小目标的准确跟踪。

Description

目标追踪方法、装置、终端设备和可读存储介质
技术领域
本发明涉及目标追踪领域，尤其涉及一种目标追踪方法、装置、终端设备和可读存储介质。
背景技术
近年来，深度学习开始进军目标跟踪领域，吸引了越来越多的学者的目光。跟踪图像的低层特征有较高的分辨率，方便对目标进行精准的定位，而高层特征则蕴含着更多的语义信息，能够处理较大的目标变化并防止跟踪器出现漂移现象，更方便对目标进行范围定位，因此利用深度学习可以更好的提取目标的特征，对目标进行更好的表达。然而，由于深度学习存在着训练样本较大以及在线更新时间较长的问题，在跟踪的时效性方面依然存在着不小的挑战。
发明内容
鉴于上述问题，本发明提出一种目标追踪方法、装置、终端设备和可读存储介质。
本发明的第一个实施例提出一种目标追踪方法，该方法包括：
利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图；
利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图；
利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置；
当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。
本发明的第二个实施例提出的目标追踪方法，所述利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像，以及各个备选图像对应的分值和位置，包括：
将所述第i个模板特征图进行卷积操作以获取第一预设尺寸的模板样本集和第二预设尺寸的模板样本集；
将与所述第i个模板特征图尺度相同的检测特征图进行卷积操作以获取第三预设尺寸的检测样本集和第四预设尺寸的检测样本集；
所述第i个区域候选子网络的分类分支根据所述第一预设尺寸的模板样本集和所述第三预设尺寸的检测样本集计算所述第三预设尺寸的检测样本集中各个备选图像的分值；
所述第i个区域候选子网络的回归分支根据所述第二预设尺寸的模板样本集和所述第四预设尺寸的检测样本集确定所述第四预设尺寸的检测样本集中各个样本的位置；
根据所述第四预设尺寸的检测样本集中各个样本的位置确定所述各个备选图像对应的位置，所述第三预设尺寸的检测样本集和第四预设尺寸的检测样本集等同。
本发明的第三个实施例提出的目标追踪方法，还包括：
确定所述前m个备选图像对应的目标位置的位置响应值；
当最大的位置响应值大于预设的响应阈值时，将所述最大的位置响应值对应的备选图像作为所述模板帧。
上述的目标追踪方法，所述响应值根据以下公式计算：
Figure BDA0002578585200000031
其中，
Figure BDA0002578585200000036
表示所述位置响应值，t*表示所述目标位置，y(t*)表示所述目标位置t*的响应结果，t表示距离所述目标位置最近的干扰位置，y(t)表示干扰位置t的响应结果，Δ是二次连续可微函数。
上述实施例所述的目标追踪方法，利用训练样本集预先训练所述目标追踪方法对应的目标追踪模型，直到目标追踪模型的误差损失小于预设误差阈值；
所述误差损失利用如下损失函数计算：
Figure BDA0002578585200000032
其中，
Figure BDA0002578585200000033
表示误差损失，βi表示第i个区域候选子网络的加权系数，μ表示衰减参数，
Figure BDA0002578585200000034
表示n个区域候选子网络的加权后的加权响应值；
所述加权后的加权响应值计算公式如下：
Figure BDA0002578585200000035
其中，yβ(t*)表示所述目标位置t*的加权后的响应结果，t表示距离所述目标位置最近的干扰位置，yβ(t)表示干扰位置t的加权后响应结果，Δ是二次连续可微函数；
所述加权后的响应结果计算公式如下：
Figure BDA0002578585200000041
si(t)表示第i个区域候选子网络响应结果。
上述实施例所述的目标追踪方法，所述n个不同尺度包括32×32个像素点尺度、64×64个像素点尺度、128×128个像素点尺度和256×256个像素点尺度中的至少一种。
本发明的第四个实施例提出一种目标追踪装置，该装置包括：
模板特征图获取模块，用于利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图；
检测特征图获取模块，用于利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图；
备选图像确定模块，用于利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置；
跟踪目标确定模块，用于当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。
上述备选图像确定模块，包括：
模板样本集获取单元，用于将所述第i个模板特征图进行卷积操作以获取第一预设尺寸的模板样本集和第二预设尺寸的模板样本集；
检测样本集获取单元，用于将与所述第i个模板特征图尺度相同的检测特征图进行卷积操作以获取第三预设尺寸的检测样本集和第四预设尺寸的检测样本集；
备选图像分值计算单元，用于所述第i个区域候选子网络的分类分支根据所述第一预设尺寸的模板样本集和所述第三预设尺寸的检测样本集计算所述第三预设尺寸的检测样本集中各个备选图像的分值；
样本位置确定单元，用于所述第i个区域候选子网络的回归分支根据所述第二预设尺寸的模板样本集和所述第四预设尺寸的检测样本集确定所述第四预设尺寸的检测样本集中各个样本的位置；
备选图像位置确定单元，用于根据所述第四预设尺寸的检测样本集中各个样本的位置确定所述各个备选图像对应的位置，所述第三预设尺寸的检测样本集和第四预设尺寸的检测样本集等同。
上述实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备能执行上述的目标追踪方法。
上述实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述的目标追踪方法。
本发明利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图；利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图；利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置；当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。本发明的技术方案一方面，将特征金字塔网络作为跟踪框架的特征提取层，有效地融合了低层的高分辨率信息和高层的高语义信息，可以更加精准的定位目标位置，在小目标跟踪物体上的跟踪表现尤为突出；另一方面通过改进的区域候选子网络对跟踪目标进行筛选，实现对小目标的准确跟踪。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例一种目标追踪方法的流程示意图；
图2示出了本发明实施例一种目标追踪模型的结构示意图；
图3示出了本发明实施例确定备选图像分值和位置的流程示意图；
图4示出了本发明实施例一种区域候选子网络模型的结构示意图；
图5示出了本发明实施例另一种目标追踪方法的流程示意图；
图6示出了本发明实施例一种目标追踪装置的结构示意图；
图7示出了本发明实施例确定备选图像分值和位置的结构示意图。
主要元件符号说明：
1-目标追踪装置；100-模板特征图获取模块；200-检测特征图获取模块；300-备选图像确定模块；400-跟踪目标确定模块；500-响应值计算模块；600-模板帧更新模块；310-模板样本集获取单元；320-检测样本集获取单元；330-备选图像分值计算单元；340-样本位置确定单元；350-备选图像位置确定单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
本发明是对现有的三项技术进行改进而提出的目标追踪方法，包括孪生神经网络结构、特征金字塔网络和区域候选网络。
孪生网络结构，是指网络的主体结构由上下两个分支构成，两个分支共享同一网络的所有权值，如同孪生双胞胎一样，常用于解决类别很多或者不确定、但是每个类别下面的样本数较少的分类问题。在视觉目标跟踪领域，孪生网络的上分支为用于提取模板帧的外观特征的模板分支(Template branch)，下分支是检测分支(Detection branch)，其输入是根据上一帧的跟踪结果在当前帧上截取的用于搜索的候选区域，经过相同的网络后，用模版分支的特征图与当前帧的多个候选区域的特征图进行相似度计算，将得分最高的候选区域作为当前帧的跟踪结果。
特征金字塔通常指针对输入的单张图像可得到多张不一样尺度的图像，将这些不同尺度的图像的4个顶点连接起来构造出一个类似真实金字塔的图像金字塔。在目标跟踪领域使用的特征金字塔网络(Feature Pyramid Network，FPN)可以为二维图像增加一个尺度维度(或者称之为深度)，不同于传统的检测算法仅仅采用顶层特征做预测，特征金字塔网络可对不同层级的特征进行融合，同时也在不同的特征层独立进行预测，从而获得更加鲁棒的语义信息。通过其自身自底向上线路和自顶向下线路，特征金字塔网络充分利用了低层的高分辨率信息和高层的高语义信息，特别对于小目标而言，特征金字塔网络还增加了特征映射的分辨率，可以获得更多关于小目标的有用信息。
区域候选网络(Region Proposal Network，RPN)是用于提取候选框的网络，最早出现在Faster RCNN结构中。其使用候选框(也叫做锚框(Anchor)技术)，在计算机视觉中通常用于表示固定的参考框。在目标跟踪任务中，跟踪的目标存在类别不确定、位置不确定、尺度不确定等特点，改进的锚框技术可以通过预先设立一组不同尺度、不同位置的固定参考框，覆盖大约全部的位置和尺度，每个固定参考框负责检测与其交并比大于预设阈值的目标，区域候选网络不仅识别效果好，而且识别速度快。
实施例1
本实施例，参见图1，示出了一种目标追踪方法包括以下步骤：
步骤S100：利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图。
在目标追踪的起始阶段，可以将视频帧中的第一帧作为模板帧，利用特征金字塔网络(FPN)从模板帧中提取n个不同尺度的模板特征图。示范性的，可以参见图2，特征金字塔网络(FPN)从模板帧中提取4个不同尺度的模板特征图，包括32×32个像素点尺度的模板特征图、64×64个像素点尺度的模板特征图、128×128个像素点尺度的模板特征图和256×256个像素点尺度的模板特征图。
应当理解，n为正整数，可以设置为3、4、5、6等，可以根据目标追踪的实际效果进行调节，模板特征图的尺度大小也可以根据具体的需求灵活设置。
步骤S200：利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图。
检测帧为需要获取跟踪目标的当前帧，利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图。示范性的，可以参见图2，特征金字塔网络(FPN)从检测帧中提取4个不同尺度的检测特征图，包括32×32个像素点尺度的检测特征图、64×64个像素点尺度的检测特征图、128×128个像素点尺度的检测特征图和256×256个像素点尺度的检测特征图。
步骤S300：利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置。
示范性的，可以参见图2，当n为4时，对应4个区域候选子网络(RPN)，32×32个像素点尺度的模板特征图和32×32个像素点尺度的检测特征图作为第一个区域候选子网络(RPN)的输入，64×64个像素点尺度的模板特征图和64×64个像素点尺度的检测特征图作为第二个区域候选子网络(RPN)的输入，128×128个像素点尺度的模板特征图和128×128个像素点尺度的检测特征图作为第三个区域候选子网络(RPN)的输入，256×256个像素点尺度的模板特征图和256×256个像素点尺度的检测特征图作为第四个区域候选子网络(RPN)的输入。
4个区域候选子网络(RPN)分别在对应的检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置。可以在每一尺度的检测特征图上预先设置3种长宽比例的锚框，以覆盖检测特征图中可能存在的追踪目标，3种长宽比例包括1：2、1：1和2：1。对应的，4个尺度的检测特征图包括12个预设的锚框。
可以利用区域候选子网络(RPN)的分类分支计算各个锚框的分类分值，利用区域候选子网络(RPN)的回归分支确定各个锚框的回归位置，应当理解，每一锚框包含一备选图像，每一锚框的回归位置为对应的备选图像的位置，每一锚框的分类分值为对应的备选图像的分值。
步骤S400：当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。
根据各个备选图像对应的分值将各个备选图像按照分值从高到低依次排序，确定分值最高的前m个备选图像的作为跟踪目标。其中，m为预先设置的正整数。
上述i小于等于n。
本实施例利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图；利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图；利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置；当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。本实施例的技术方案一方面，将特征金字塔网络作为跟踪框架的特征提取层，有效地融合了低层的高分辨率信息和高层的高语义信息，可以更加精准的定位目标位置，在小目标跟踪物体上的跟踪表现尤为突出；另一方面通过改进的区域候选子网络对跟踪目标进行筛选，实现对小目标的准确跟踪。
实施例2
区域候选子网络，如图4所示，包含用于区分目标和背景的分类分支和用于边界框回归的回归分支。
进一步的，参见图3，上述实施例1的步骤步骤S300包括以下步骤：
步骤S310：将所述第i个模板特征图进行卷积操作以获取第一预设尺寸的模板样本集和第二预设尺寸的模板样本集。
第i个区域候选子网络的第一卷积层将输入的第i个模板特征图进行卷积操作以获取第一预设尺寸的模板样本集和第二预设尺寸的模板样本集。
进一步的，在第i个区域候选子网络的分类分支上得到大小为4×4×(2k×256)的第一预设尺寸的模板样本集
Figure BDA0002578585200000111
表示大小为4×4的模板样本的特征在k种不同的锚框上有2k种变化。应当理解，2k种变化表示每一锚框中的图像可能存在两种情况，是背景或者是目标，即0或1两种状态。
进一步的，在第i个区域候选子网络的回归分支上得到大小为4×4×(4k×256)的第二预设尺寸的模板样本集
Figure BDA0002578585200000121
表示为4×4个像素点尺度的模板样本的特征在k种不同的锚框上有4k种变化。应当理解，4k种变化对应位置的宽、高、横坐标和纵坐标，每一锚框通过对应的宽、高、横坐标和纵坐标进行表示。
步骤S320：将与所述第i个模板特征图尺度相同的检测特征图进行卷积操作以获取第三预设尺寸的检测样本集和第四预设尺寸的检测样本集。
第i个区域候选子网络的第一卷积层将输入的与所述第i个模板特征图尺度相同的检测特征图进行卷积操作以获取第三预设尺寸的检测样本集和第四预设尺寸的检测样本集。
进一步的，在第i个区域候选子网络的分类分支上得到大小为20×20×256的第三预设尺寸的检测样本集
Figure BDA0002578585200000122
在第i个区域候选子网络的回归分支上得到大小为20×20×256第四预设尺寸的检测样本集
Figure BDA0002578585200000123
上述尺度中的256表示模板样本的通道数，通过特征金字塔的网络训练过程将特征的维度扩展至256维。
步骤S330：所述第i个区域候选子网络的分类分支根据所述第一预设尺寸的模板样本集和所述第三预设尺寸的检测样本集计算所述第三预设尺寸的检测样本集中各个备选图像的分值。
分类分支会给出每个输入的检测样本对应的分类分值，即被预测为目标或者背景的详细的得分情况，对应的分值可以表示为
Figure BDA0002578585200000124
★表示相关操作。
步骤S340：所述第i个区域候选子网络的回归分支根据所述第二预设尺寸的模板样本集和所述第四预设尺寸的检测样本集确定所述第四预设尺寸的检测样本集中各个样本的位置。
回归分支给出的则是每个检测样本的位置回归值
Figure BDA0002578585200000131
这个位置回归值包含横坐标、纵坐标、宽和高，分别对应dx，dy，dw和dh四个值，
Figure BDA0002578585200000132
★表示相关操作。
步骤S350：根据所述第四预设尺寸的检测样本集中各个样本的位置确定所述各个备选图像对应的位置，所述第三预设尺寸的检测样本集和第四预设尺寸的检测样本集等同。
第三预设尺寸的检测样本集和第四预设尺寸的检测样本是尺寸相同的样本集，可以根据四预设尺寸的检测样本集中各个样本的位置确定所述各个备选图像对应的位置。
前m个的备选的分类输出信息
Figure BDA0002578585200000133
和回归输出信息
Figure BDA0002578585200000134
可以得到得分最高的m个备选位置的位置信息
Figure BDA0002578585200000135
具体计算公式如下：
Figure BDA0002578585200000136
Figure BDA0002578585200000137
Figure BDA0002578585200000138
Figure BDA0002578585200000139
其中
Figure BDA00025785852000001310
为第i个备选位置对应的备选框的原始中心坐标和长宽，cls表示分类分支和reg表示回归分支，对于每个下标：i∈[0,w)，j∈[0,h)，l∈[0,2k)，p∈[0,k)，每一个A为一个输出信息的向量集合。
实施例3
本实施例，参见图5，示出了目标追踪方法在上述步骤S100-S400之后，还包括以下步骤：
步骤S500：确定所述前m个备选图像对应的目标位置的位置响应值。
可以根据以下公式分别计算前m个备选图像对应的目标位置的位置响应值：
Figure BDA0002578585200000141
其中，
Figure BDA0002578585200000142
表示所述位置响应值，t*表示m个备选图像中任一个备选图像对应的目标位置，y(t*)表示该目标位置t*的响应结果，t表示距离该目标位置最近的干扰位置，y(t)表示干扰位置t的响应结果，Δ是二次连续可微函数，t与t*越接近，Δ(t-t*)趋近于0，t与t*距离越远，Δ(t-t*)趋近于1。
应当理解，根据上述公式可以确定m个备选位置对应的m个位置响应值。
步骤S600：当最大的位置响应值大于预设的响应阈值时，将所述最大的位置响应值对应的备选图像作为所述模板帧。
从m个备选位置中选取对应的位置响应值大于预设的响应阈值的备选图像，作为新的模板帧，以继续执行上述步骤S100。
上述实基于高分样本反馈的在线更新方式，将跟踪过程中的高得分备选样本作为新的模板帧，用于后续的检测任务。有效提高目标追踪的准确性和鲁棒性。
进一步的，利用训练样本集预先训练所述目标追踪方法对应的目标追踪模型，直到目标追踪模型的误差损失小于预设误差阈值；所述误差损失利用如下损失函数计算：
Figure BDA0002578585200000143
其中，
Figure BDA0002578585200000144
表示误差损失，βi表示第i个区域候选子网络的加权系数，μ表示衰减参数，
Figure BDA0002578585200000145
表示n个区域候选子网络的加权后的加权响应值，所述加权后的加权响应值计算公式如下：
Figure BDA0002578585200000151
其中，yβ(t*)表示所述目标位置t*的加权后的响应结果，t表示距离所述目标位置最近的干扰位置，yβ(t)表示干扰位置t的加权后响应结果，Δ是二次连续可微函数；所述加权后的响应结果计算公式如下：
Figure BDA0002578585200000152
si(t)表示第i个区域候选子网络响应结果，其中，加权系数之和为1，即
Figure BDA0002578585200000153
利用上述损失函数计算目标追踪方法对应的目标追踪模型的误差损失，当目标追踪模型的误差损失小于预设的误差阈值时，表明目标追踪方法对应的目标追踪模型的追踪质量符合标准。
实施例4
本实施例，参见图6，示出了一种目标追踪装置1包括：模板特征图获取模块100、检测特征图获取模块200、备选图像确定模块300和跟踪目标确定模块400。
模板特征图获取模块100，用于利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图；检测特征图获取模块200，用于利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图；备选图像确定模块300，用于利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置；跟踪目标确定模块400，用于当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。
进一步的，参见图7，备选图像确定模块300包括：模板样本集获取单元310、检测样本集获取单元320、备选图像分值计算单元330、样本位置确定单元340和备选图像位置确定单元350。
模板样本集获取单元310，用于将所述第i个模板特征图进行卷积操作以获取第一预设尺寸的模板样本集和第二预设尺寸的模板样本集；检测样本集获取单元320，用于将与所述第i个模板特征图尺度相同的检测特征图进行卷积操作以获取第三预设尺寸的检测样本集和第四预设尺寸的检测样本集；备选图像分值计算单元330，用于所述第i个区域候选子网络的分类分支根据所述第一预设尺寸的模板样本集和所述第三预设尺寸的检测样本集计算所述第三预设尺寸的检测样本集中各个备选图像的分值；样本位置确定单元340，用于所述第i个区域候选子网络的回归分支根据所述第二预设尺寸的模板样本集和所述第四预设尺寸的检测样本集确定所述第四预设尺寸的检测样本集中各个样本的位置；备选图像位置确定单元350，用于根据所述第四预设尺寸的检测样本集中各个样本的位置确定所述各个备选图像对应的位置，所述第三预设尺寸的检测样本集和第四预设尺寸的检测样本集等同。
一种目标追踪装置1还包括：响应值计算模块500，用于确定所述前m个备选图像对应的目标位置的位置响应值；模板帧更新模块600，用于当最大的位置响应值大于预设的响应阈值时，将所述最大的位置响应值对应的备选图像作为所述模板帧。
本实施例目标追踪装置1通过模板特征图获取模块100、检测特征图获取模块200、备选图像确定模块300和跟踪目标确定模块400的配合使用，用于执行上述实施例所述的目标追踪方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
上述实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备能执行上述实施例所述的目标追踪方法。
上述实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述实施例所述的目标追踪方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种目标追踪方法，其特征在于，该方法包括：
利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图；
利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图；
利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置；
当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。
2.根据权利要求1所述的目标追踪方法，其特征在于，所述利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像，以及各个备选图像对应的分值和位置，包括：
将所述第i个模板特征图进行卷积操作以获取第一预设尺寸的模板样本集和第二预设尺寸的模板样本集；
将与所述第i个模板特征图尺度相同的检测特征图进行卷积操作以获取第三预设尺寸的检测样本集和第四预设尺寸的检测样本集；
所述第i个区域候选子网络的分类分支根据所述第一预设尺寸的模板样本集和所述第三预设尺寸的检测样本集计算所述第三预设尺寸的检测样本集中各个备选图像的分值；
所述第i个区域候选子网络的回归分支根据所述第二预设尺寸的模板样本集和所述第四预设尺寸的检测样本集确定所述第四预设尺寸的检测样本集中各个样本的位置；
根据所述第四预设尺寸的检测样本集中各个样本的位置确定所述各个备选图像对应的位置，所述第三预设尺寸的检测样本集和第四预设尺寸的检测样本集等同。
3.根据权利要求1所述的目标追踪方法，其特征在于，还包括：
确定所述前m个备选图像对应的目标位置的位置响应值；
当最大的位置响应值大于预设的位置响应阈值时，将所述最大的位置响应值对应的备选图像作为所述模板帧。
4.根据权利要求3所述的目标追踪方法，其特征在于，所述位置响应值根据以下公式计算：
Figure FDA0002578585190000021
其中，
Figure FDA0002578585190000023
表示所述位置响应值，t*表示所述目标位置，y(t*)表示所述目标位置t*的响应结果，t表示距离所述目标位置最近的干扰位置，y(t)表示干扰位置t的响应结果，Δ是二次连续可微函数。
5.根据权利要求1所述的目标追踪方法，其特征在于，利用训练样本集预先训练所述目标追踪方法对应的目标追踪模型，直到目标追踪模型的误差损失小于预设误差阈值；
所述误差损失利用如下损失函数计算：
Figure FDA0002578585190000022
其中，
Figure FDA0002578585190000024
表示误差损失，βi表示第i个区域候选子网络的加权系数，μ表示衰减参数，
Figure FDA0002578585190000025
表示n个区域候选子网络的加权后的加权响应值；
所述加权响应值计算公式如下：
Figure FDA0002578585190000031
其中，yβ(t*)表示所述目标位置t*的加权后响应结果，t表示距离所述目标位置最近的干扰位置，yβ(t)表示干扰位置t的加权后响应结果，Δ是二次连续可微函数；
所述加权后响应结果计算公式如下：
Figure FDA0002578585190000032
si(t)表示第i个区域候选子网络响应结果。
6.根据权利要求1-5任一项所述的目标追踪方法，其特征在于，所述n个不同尺度包括32×32个像素点尺度、64×64个像素点尺度、128×128个像素点尺度和256×256个像素点尺度中的至少一种。
7.一种目标追踪装置，其特征在于，该装置包括：
模板特征图获取模块，用于利用特征金字塔网络从模板帧中提取n个不同尺度的模板特征图；
检测特征图获取模块，用于利用特征金字塔网络从检测帧中提取与n个所述模板特征图的尺度一一对应的n个不同尺度的检测特征图；
备选图像确定模块，用于利用第i个区域候选子网络根据第i个模板特征图和与所述第i个模板特征图尺度相同的检测特征图在所述检测特征图上确定预设备选数目个备选图像、以及各个备选图像对应的分值和位置；
跟踪目标确定模块，用于当n个区域候选子网络对n个所述模板特征图和对应的检测特征图处理完成后，根据各个备选图像的分值在所有备选图像中确定分值最高的前m个备选图像的作为跟踪目标，所述跟踪目标对应的位置作为目标位置。
8.根据权利要求7所述的目标追踪装置，其特征在于，所述备选图像确定模块，包括：
模板样本集获取单元，用于将所述第i个模板特征图进行卷积操作以获取第一预设尺寸的模板样本集和第二预设尺寸的模板样本集；
检测样本集获取单元，用于将与所述第i个模板特征图尺度相同的检测特征图进行卷积操作以获取第三预设尺寸的检测样本集和第四预设尺寸的检测样本集；
备选图像分值计算单元，用于所述第i个区域候选子网络的分类分支根据所述第一预设尺寸的模板样本集和所述第三预设尺寸的检测样本集计算所述第三预设尺寸的检测样本集中各个备选图像的分值；
样本位置确定单元，用于所述第i个区域候选子网络的回归分支根据所述第二预设尺寸的模板样本集和所述第四预设尺寸的检测样本集确定所述第四预设尺寸的检测样本集中各个样本的位置；
备选图像位置确定单元，用于根据所述第四预设尺寸的检测样本集中各个样本的位置确定所述各个备选图像对应的位置，所述第三预设尺寸的检测样本集和第四预设尺寸的检测样本集等同。
9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备能执行权利要求1至6任一项所述的目标追踪方法。
10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至6任一项所述的目标追踪方法。
CN202010661194.5A 2020-07-10 2020-07-10 目标追踪方法、装置、终端设备和可读存储介质 Active CN111815677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010661194.5A CN111815677B (zh) 2020-07-10 2020-07-10 目标追踪方法、装置、终端设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010661194.5A CN111815677B (zh) 2020-07-10 2020-07-10 目标追踪方法、装置、终端设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111815677A true CN111815677A (zh) 2020-10-23
CN111815677B CN111815677B (zh) 2024-11-26

Family

ID=72841718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010661194.5A Active CN111815677B (zh) 2020-07-10 2020-07-10 目标追踪方法、装置、终端设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111815677B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614157A (zh) * 2020-12-17 2021-04-06 上海眼控科技股份有限公司 一种视频目标跟踪方法、装置、设备及存储介质
CN116309710A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 目标追踪方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230359A (zh) * 2017-11-12 2018-06-29 北京市商汤科技开发有限公司 目标检测方法和装置、训练方法、电子设备、程序和介质
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN110033473A (zh) * 2019-04-15 2019-07-19 西安电子科技大学 基于模板匹配和深度分类网络的运动目标跟踪方法
CN110544269A (zh) * 2019-08-06 2019-12-06 西安电子科技大学 基于特征金字塔的孪生网络红外目标跟踪方法
CN110796679A (zh) * 2019-10-30 2020-02-14 电子科技大学 一种面向航拍影像的目标跟踪方法
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230359A (zh) * 2017-11-12 2018-06-29 北京市商汤科技开发有限公司 目标检测方法和装置、训练方法、电子设备、程序和介质
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN110033473A (zh) * 2019-04-15 2019-07-19 西安电子科技大学 基于模板匹配和深度分类网络的运动目标跟踪方法
CN110544269A (zh) * 2019-08-06 2019-12-06 西安电子科技大学 基于特征金字塔的孪生网络红外目标跟踪方法
CN110796679A (zh) * 2019-10-30 2020-02-14 电子科技大学 一种面向航拍影像的目标跟踪方法
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵小蕾等: "双重熵快速提取ROI图像优化分类方法", 计算机与现代化, no. 2, 15 February 2019 (2019-02-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614157A (zh) * 2020-12-17 2021-04-06 上海眼控科技股份有限公司 一种视频目标跟踪方法、装置、设备及存储介质
CN116309710A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 目标追踪方法和电子设备

Also Published As

Publication number Publication date
CN111815677B (zh) 2024-11-26

Similar Documents

Publication Publication Date Title
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN108470354A (zh) 视频目标跟踪方法、装置和实现装置
CN111815687A (zh) 点云匹配方法、定位方法、设备及存储介质
CN113140005A (zh) 目标对象定位方法、装置、设备及存储介质
CN112287906B (zh) 一种基于深度特征融合的模板匹配跟踪方法及系统
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
US11961249B2 (en) Generating stereo-based dense depth images
Wibowo et al. Collaborative learning based on convolutional features and correlation filter for visual tracking
Dong et al. Learning regional purity for instance segmentation on 3d point clouds
CN116721139A (zh) 生成图像数据的深度图像
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN117392111A (zh) 带钢伪装表面缺陷检测网络及方法
CN116844185B (zh) 基于质量分数的多人姿态识别方法
CN113129332A (zh) 执行目标对象跟踪的方法和装置
CN111815677A (zh) 目标追踪方法、装置、终端设备和可读存储介质
CN117765363A (zh) 一种基于轻量型记忆库的图像异常检测方法及系统
CN115937205B (zh) 表面缺陷瓷砖图像生成方法、装置、设备及存储介质
CN117726790A (zh) 一种基于图像的弱纹理场景识别系统、方法、装置及介质
CN114943766B (zh) 重定位方法、装置、电子设备及计算机可读存储介质
CN117095053A (zh) 姿势识别方法、姿势识别模型的训练方法及相关设备
CN119169056B (zh) 基于精细化定位的卫星视频目标跟踪方法、装置及设备
CN111291611A (zh) 一种基于贝叶斯查询扩展的行人重识别方法及装置
CN115240077B (zh) 锚框无关角点回归的遥感图像任意方向物体检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: No. 19 Huamei Road, Tianhe District, Guangzhou City, Guangdong Province 510000

Applicant after: Guangzhou Xinhua College

Address before: No. 19 Huamei Road, Tianhe District, Guangzhou City, Guangdong Province 510000

Applicant before: XINHUA COLLEGE OF SUN YAT-SEN University

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant