CN111199189A - 一种目标对象跟踪方法、系统、电子设备及存储介质 - Google Patents
一种目标对象跟踪方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111199189A CN111199189A CN201911314566.0A CN201911314566A CN111199189A CN 111199189 A CN111199189 A CN 111199189A CN 201911314566 A CN201911314566 A CN 201911314566A CN 111199189 A CN111199189 A CN 111199189A
- Authority
- CN
- China
- Prior art keywords
- determining
- picture
- values
- machine learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例所公开的一种目标对象跟踪方法、系统、电子设备及存储介质，其中，方法包括根据样本图片中样本对象的第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，根据第一特征集合和多个第二特征集合确定多个匹配值集合，根据所述多个匹配值集合与预设匹配值的差值确定多个损失值以调整训练跟踪模型的参数，得到训练后的跟踪模型，基于训练后的跟踪模型，能够提高跟踪目标对象的准确性和鲁棒性。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种目标对象跟踪方法、系统、电子设备及存储介质。
背景技术
一直以来，目标对象跟踪技术是计算机视觉领域的研究热点，在民用和商用领域都得到广泛应用，尤其是在智能视频监控、自动驾驶、无人超市和人机交互中，采用目标对象跟踪技术来自动分析视频内容，不仅可以节省大量的人力物力，还可以带来巨大的经济效益。
传统的目标对象跟踪技术通过训练分类器基于视频不同帧中的颜色、纹理或者其他特征信息来进行目标对象的跟踪，然而在视频的连续帧中由于间隔时间较短，特征信息变化较小，使得所确定的目标对象的位置区域的准确性和鲁棒性较低，无法满足人们的日益增长的准确度要求。近年来随着深度学习算法的兴起，越来越多的目标对象跟踪技术引入深度学习算法以提高目标对象跟踪的准确性和鲁棒性。
发明内容
本申请实施例提供一种目标对象跟踪方法，该方法包括：
获取参考图片和待跟踪图片；
确定参考图片中的识别对象；
基于训练后的跟踪模型对参考图片中的识别对象和待跟踪图片进行跟踪，得到待跟踪图片中识别对象的位置；
上述跟踪模型的训练步骤包括：
获取样本图片和对比图片；样本图片中含有样本对象，对比图片中至少有部分区域含有样本对象；
确定样本对象在样本图片中的第一位置区域；
根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域；多个预设尺度值包括至少两个尺度值；
构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；
基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合；
根据第一特征集合和多个第二特征集合确定多个匹配值集合；多个匹配值集合中的每个匹配值集合和多个第二特征集合中的每个第二特征集合一一对应；
根据多个匹配值集合与预设匹配值确定多个损失值；
当多个损失值大于预设阈值时，基于多个损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合；
当多个损失值中存在有目标损失值小于或者等于预设阈值时，将当前机器学习模型确定为跟踪模型，将目标损失值对应的模型参数确定为跟踪模型的参数。
进一步地，多个预设尺度值包括第一尺度值和第二尺度值；
根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，包括：
根据第一位置区域和第一尺度值从对比图片中确定样本对象的第一搜索区域；第一搜索区域包括第一位置区域；
以及根据第一位置区域和第二尺度值从对比图片中确定样本对象的第二搜索区域；第二搜索区域包括第一位置区域。
进一步地，根据第一特征集合和多个第二特征集合确定多个匹配值集合，包括：
将第一特征集合与多个第二特征集合中的每个第二特征集合进行卷积操作，得到多个匹配值集合。
进一步地，根据多个匹配值集合与预设匹配值确定多个损失值，包括：
确定多个匹配值集合的每个匹配值集合中的最大匹配值；
根据最大匹配值和预设匹配值的差值确定多个损失值。
相应地，本申请实施例还提供了一种目标对象跟踪系统，该系统包括：
第一获取模块，用于获取参考图片和待跟踪图片；
第一确定模块，用于确定参考图片中的识别对象；
跟踪模块，用于基于训练后的跟踪模型对参考图片中的识别对象和待跟踪图片进行跟踪，得到待跟踪图片中识别对象的位置。
进一步地，该系统还包括训练模块；
该训练模块包括：
第二获取模块，用于获取样本图片和对比图片；样本图片中含有样本对象，对比图片中至少有部分区域含有样本对象；
第二确定模块，用于确定样本对象在样本图片中的第一位置区域；
第三确定模块，用于根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域；多个预设尺度值包括至少两个尺度值；
构建模块，用于构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；
第四确定模块，用于基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合；
第五确定模块，用于根据第一特征集合和多个第二特征集合确定多个匹配值集合；多个匹配值集合中的每个匹配值集合和多个第二特征集合中的每个第二特征集合一一对应；
第六确定模块，用于根据多个匹配值集合与预设匹配值确定多个损失值；
更新模块，用于当多个损失值大于预设阈值时，基于多个损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合；
第七确定模块，用于当多个损失值中存在有目标损失值小于或者等于预设阈值时，将当前机器学习模型确定为跟踪模型，将目标损失值对应的模型参数确定为跟踪模型的参数。
进一步地，第三确定模块包括：
第一确定单元，用于根据第一位置区域和第一尺度值从对比图片中确定样本对象的第一搜索区域；第一搜索区域包括第一位置区域；
第二确定单元，用于根据第一位置区域和第二尺度值从对比图片中确定样本对象的第二搜索区域；第二搜索区域包括第一位置区域。
进一步地，第五确定模块包括：
卷积单元，用于将第一特征集合与多个第二特征集合中的每个第二特征集合进行卷积操作，得到多个匹配值集合。
相应地，本申请实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述目标对象跟踪方法。
相应地，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述目标对象跟踪方法。
本申请实施例具有如下有益效果：
本申请实施例所公开的一种目标对象跟踪方法、系统、电子设备及存储介质，其中，方法包括：获取参考图片和待跟踪图片，确定参考图片中的识别对象，基于训练后的跟踪模型对参考图片中的识别对象和待跟踪图片进行跟踪，得到待跟踪图片中识别对象的位置；其中，跟踪模型的训练步骤包括获取样本图片和对比图片，样本图片中含有样本对象，对比图片中至少有部分区域含有样本对象，确定样本对象在样本图片中的第一位置区域，根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，多个预设尺度值包括至少两个尺度值，构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型，基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，根据第一特征集合和多个第二特征集合确定多个匹配值集合，多个匹配值集合中的每个匹配值集合和多个第二特征集合中的每个第二特征集合一一对应，根据多个匹配值集合与预设匹配值确定多个损失值，当多个损失值大于预设阈值时，基于多个损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型，重复步骤：基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，当多个损失值中存在有目标损失值小于或者等于预设阈值时，将当前机器学习模型确定为跟踪模型，将目标损失值对应的模型参数确定为跟踪模型的参数。基于本申请实施例，根据样本图片中样本对象的第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，根据第一特征集合和多个第二特征集合确定多个匹配值集合，根据所述多个匹配值集合与预设匹配值的差值确定多个损失值以调整训练跟踪模型的参数，得到训练后的跟踪模型，基于训练后的跟踪模型，能够提高跟踪目标对象的准确性和鲁棒性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例所提供的一种应用环境的示意图；
图2是本申请实施例所提供的一种目标对象跟踪方法的流程示意图；
图3是本申请实施例所提供的一种训练跟踪模型的方法的流程示意图；
图4是本申请实施例提供的一种目标对象跟踪系统的结构示意图；
图5是本申请实施例提供的一种训练跟踪模型的系统示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。显然，所描述的实施例仅仅是本申请一个实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
此处所称的“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”和“第七”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”、“第五”、“第六”和“第七”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”和“第七”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”、“含有”和“为”以及他们/其的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤、单元或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤、单元或模块，而是可包括没有清楚地列出的或对于这些过程、方法、系统、产品或设备固有的其它步骤、单元或模块。
请参阅图1，其所示为本申请实施例所提供的一种应用环境的示意图，包括：服务器101和客户端103，其中，服务器101获取参考图片和待跟踪图片，并确定参考图片中的识别对象，服务器101基于训练后的跟踪模型对参考图片中的识别对象和待跟踪图片进行跟踪，得到待跟踪图片中识别对象的位置。其中，服务器101中的目标对象跟踪系统获取样本图片和对比图片，样本图片中含有样本对象，对比图片中至少有部分区域含有样本对象，并确定样本对象在样本图片中的第一位置区域，以及根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，多个预设尺度值包括至少两个尺度值，系统构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型，基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，系统根据第一特征集合和多个第二特征集合确定多个匹配值集合，多个匹配值集合中的每个匹配值集合和多个第二特征集合中的每个第二特征集合一一对应，系统根据多个匹配值集合与预设匹配值确定多个损失值，当多个损失值大于预设阈值时，基于多个损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型，重复步骤：基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，当多个损失值中存在有目标损失值小于或者等于预设阈值时，将当前机器学习模型确定为跟踪模型，将目标损失值对应的模型参数确定为跟踪模型的参数。
下面介绍本申请一种目标对象跟踪方法的具体实施例，图2是本申请实施例提供的一种目标对象跟踪方法的流程示意图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法包括：
S201：获取参考图片和待跟踪图片。
本申请实施例中，服务器接收客户端发送的视频数据，并获取视频数据中的参考图片待跟踪图片。参考图片与待跟踪图片可以是视频中连续的图像帧，也可以是视频中不连续的图像帧，其中，参考图片含有所需研究的识别对象，待跟踪图片中至少有部分区域含有所需研究的识别对象，以达到研究目的：跟踪目标对象即在待跟踪图片中跟踪识别对象。
S203：确定参考图片中的识别对象。
本申请实施例中，服务器基于识别对象的预设特征信息从参考图片中确定识别对象，其中，参考图片中可能只含有识别对象，也可能含有多个对象，多个对象包括识别对象和非识别对象，其中，非识别对象的特征信息与预设特征信息不匹配。
S205：基于训练后的跟踪模型对参考图片中的识别对象和待跟踪图片进行跟踪，得到待跟踪图片中识别对象的位置。
本申请实施例中，服务器基于训练后的跟踪模型对参考图片中的识别对象和待跟踪图片进行跟踪，得到识别对象在带跟踪图片中的位置。
本申请实施例中，介绍一种训练跟踪模型的具体实施方式，如图3，其所示为一种训练跟踪模型的方法的流程示意图，图中所示的跟踪模型的训练步骤包括：
S301：获取样本图片和对比图片；样本图片中含有样本对象，对比图片中至少有部分区域含有样本对象。
本申请实施例中，系统获取样本图片和对比图片，该样本图片中含有样本对象，对比图片中至少有部分区域含有样本图片中的样本对象，其中，对比图片中的至少部分区域含有样本对象可以是对比图片中包含样本对象的整体区域，也可以是对比图片中包括样本对象的部分区域，并且，样本对象在样本图片中的位置与样本对象在对比图片中的位置可以是在相对一致的，可以是完全不一致的，也就是说，对比图片中的样本对象相对于样本图片中的样本对象可是作旋转运动，也可以是作曲线运动。
S303：确定样本对象在样本图片中的第一位置区域。
本申请实施例中，系统基于样本对象的预设特征信息，从样本图片中确定样本对象的第一位置区域。
S305：根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域；多个预设尺度值包括至少两个尺度值。
本申请实施例中，由于样本图片和对比图片是同一视频中不同的图像帧，且对比图片中至少有部分区域含有样本对象，则系统根据样本图片中样本对象所在的第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，其中，多个预设尺度值中的尺度值与多个搜索区域中的搜索区域是一一对应的。且多个预设尺度值包括至少两个尺度值。根据多个预设尺度值中相对小的尺度值所确定的搜索区域中样本对象的第二特征集合中第二特征更加精细，根据多个预设尺度值中相对大的尺度值所确定的搜索区域中样本对象的第二特征集合中第二特征的数量更多。需要说明的是，根据多个预设尺度值中的尺度值所确定的多个搜索区域中每个搜索区域对应的尺寸值比第一位置区域的对应的尺寸值大。例如，系统根据样本对象在样本图片中的第一位置区域，确定对比图片中第一位置区域的相对位置区域为搜索区域，其中，第一位置区域对应的尺寸值为127*127，基于多个预设尺度值确定的多个搜索区域对应的尺寸值为199*199和255*255。
一种可选的根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域的具体实施方式中，多个预设尺度值包括第一尺度值和第二尺度值。系统根据第一位置区域和第一尺度值从对比图片中确定样本对象的第一搜索区域，并且系统根据第一位置区域和第二尺度值从对比图片中确定样本对象的第二搜索区域，其中，第一搜索区域包括第一位置区域，且第二搜索区域也包括第一位置区域。
本申请实施例中，上述根据第一位置区域、第一尺度值和第二尺度值从对比图片中确定样本对象的多个搜索区域包括但不限于：
一、基于第一尺度值和第二尺度值的重复顺序从对比图片中确定样本对象的搜索区域，例如根据第一位置区域和第一尺度值确定样本对象的一个搜索区域，根据第一位置区域和第二尺度值确定样本对象的一个搜索区域，根据第一位置区域和第一尺度值确定样本对象的一个搜索区域，根据第一位置区域和第二尺度值确定样本对象的一个搜索区域，以此类推得到多个搜索区域。
二、基于第一尺度值和第二尺度值的随机顺序从对比图片中确定样本对象的搜索区域，例如根据第一位置区域和第一尺度值确定样本对象的一个搜索区域，根据第一位置区域和第一尺度值确定样本对象的一个搜索区域，根据第一位置区域和第二尺度值确定样本对象的一个搜索区域，得到多个搜索区域。再例如根据第一位置区域和第一尺度值确定样本对象的一个搜索区域，根据第一位置区域和第二尺度值确定样本对象的一个搜索区域，根据第一位置区域和第二尺度值确定样本对象的一个搜索区域，得到多个搜索区域。
S307：构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型。
本申请实施例中，系统采用AexNet网络构建预设机器学习模型，该网络的整体架构为SiamFC。
S309：基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合。
本申请实施例中，基于当前机器学习模型，对第一位置区域进行特征提取，得到样本对象在第一位置区域的第一特征集合，以及基于当前机器学习模型，对多个搜索区域进行特征提取，得到样本对象在多个搜索区域的每个搜索区域的第二特征集合。其中，多个搜索区域的每个搜索区域包括搜索子区域集合，第二特征集合包括第二特征子集合，搜索子区域集合中的搜索子区域与第二特征子集合一一对应。
S311：根据第一特征集合和多个第二特征集合确定多个匹配值集合；多个匹配值集合中的每个匹配值集合和多个第二特征集合中的每个第二特征集合一一对应。
本申请实施例中，系统根据第一特征集合和多个第二特征集合确定多个匹配值集合。一种可选的确定多个匹配值集合的具体实施方式中，系统将第一特征集合与多个第二特征集合中的每个第二特征集合进行卷积操作，得到多个匹配值集合。
S313：根据多个匹配值集合与预设匹配值确定多个损失值。
本申请实施例中，系统根据第一特征集合和每个第二特征集合进行卷积操作，得到第一特征集合与每个第二特征集合中每个第二特征子集合的匹配值，并确定多个匹配值集合的每个匹配值集合中的最大匹配值，采用交叉熵损失函数根据最大匹配值与预设匹配值的差值确定多个损失值。
一种可选的实施方式中，系统的训练数据集为GOT10k，batchsize为8，总计迭代30个完整的epoch,训练时基于两个预设尺度值进行重复顺序训练，训练时每20个epoch换一次尺度值。
S315：当多个损失值大于预设阈值时，基于多个损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合。
S316：当多个损失值中存在有目标损失值小于或者等于预设阈值时，将当前机器学习模型确定为跟踪模型，将目标损失值对应的模型参数确定为跟踪模型的参数。
基于上述训练跟踪模型的方法得到训练后的跟踪模型，并基于训练前的跟踪模型和训练后的跟踪模型分别在OTB50、OTB100和VOT2018的数据集上验证训练前的跟踪准确率和训练后的跟踪准确率如下表1所示：
表1
| OTB50 | OTB100 | VOT2018 | |
| 训练前 | 0.781 | 0.765 | 0.502 |
| 训练后 | 0.857 | 0.803 | 0.516 |
采用本申请实施例所提供的目标对象跟踪方法，根据样本图片中样本对象的第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，根据第一特征集合和多个第二特征集合确定多个匹配值集合，根据所述多个匹配值集合与预设匹配值的差值确定多个损失值以调整训练跟踪模型的参数，得到训练后的跟踪模型，基于训练后的跟踪模型，能够提高跟踪目标对象的准确性和鲁棒性。
本申请实施例还提供的一种目标对象跟踪系统，图4是本申请实施例提供的一种目标对象跟踪系统的结构示意图，如图4所示，该系统包括：
第一获取模块401用于获取参考图片和待跟踪图片；
第一确定模块403用于确定参考图片中的识别对象；
跟踪模块405用于基于训练后的跟踪模型对参考图片中的识别对象和待跟踪图片进行跟踪，得到待跟踪图片中识别对象的位置。
本申请实施例中，上述系统还包括训练模块，如图5所示为一种训练跟踪模型的系统示意图，图中包括：
第二获取模块501用于获取样本图片和对比图片；样本图片中含有样本对象，对比图片中至少有部分区域含有样本对象；
第二确定模块503用于确定样本对象在样本图片中的第一位置区域；
第三确定模块505用于根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域；多个预设尺度值包括至少两个尺度值；
构建模块507用于构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；
第四确定模块509用于基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合；
第五确定模块511用于根据第一特征集合和多个第二特征集合确定多个匹配值集合；多个匹配值集合中的每个匹配值集合和多个第二特征集合中的每个第二特征集合一一对应；
第六确定模块513用于根据多个匹配值集合与预设匹配值确定多个损失值；
更新模块515用于当多个损失值大于预设阈值时，基于多个损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合；
第七确定模块516用于当多个损失值中存在有目标损失值小于或者等于预设阈值时，将当前机器学习模型确定为跟踪模型，将目标损失值对应的模型参数确定为跟踪模型的参数。
本申请实施例中，第三确定模块505包括：
第一确定单元，用于根据第一位置区域和第一尺度值从对比图片中确定样本对象的第一搜索区域；第一搜索区域包括第一位置区域；
第二确定单元，用于根据第一位置区域和第二尺度值从对比图片中确定样本对象的第二搜索区域；第二搜索区域包括第一位置区域。
本申请实施例中，第五确定模块511包括：
卷积单元，用于将第一特征集合与多个第二特征集合中的每个第二特征集合进行卷积操作，得到多个匹配值集合。
本申请实施例中的系统与方法实施例基于同样的申请构思。
本申请实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的目标对象跟踪方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的目标对象跟踪方法。
本申请实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种目标对象跟踪方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述目标对象跟踪方法。
可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：U盘、只读存储器(ROM，Read-only Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的目标对象跟踪方法、系统、电子设备或存储介质的实施例可见，本申请中方法包括:方法包括：获取参考图片和待跟踪图片，确定参考图片中的识别对象，基于训练后的跟踪模型对参考图片中的识别对象和待跟踪图片进行跟踪，得到待跟踪图片中识别对象的位置；其中，跟踪模型的训练步骤包括获取样本图片和对比图片，样本图片中含有样本对象，对比图片中至少有部分区域含有样本对象，确定样本对象在样本图片中的第一位置区域，根据第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，多个预设尺度值包括至少两个尺度值，构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型，基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，根据第一特征集合和多个第二特征集合确定多个匹配值集合，多个匹配值集合中的每个匹配值集合和多个第二特征集合中的每个第二特征集合一一对应，根据多个匹配值集合与预设匹配值确定多个损失值，当多个损失值大于预设阈值时，基于多个损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型，重复步骤：基于当前机器学习模型，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，当多个损失值中存在有目标损失值小于或者等于预设阈值时，将当前机器学习模型确定为跟踪模型，将目标损失值对应的模型参数确定为跟踪模型的参数。基于本申请实施例，根据样本图片中样本对象的第一位置区域和多个预设尺度值从对比图片中确定样本对象的多个搜索区域，从第一位置区域中确定样本对象的第一特征集合，从多个搜索区域中确定样本对象在每个搜索区域的第二特征集合，根据第一特征集合和多个第二特征集合确定多个匹配值集合，根据所述多个匹配值集合与预设匹配值的差值确定多个损失值以调整训练跟踪模型的参数，得到训练后的跟踪模型，基于训练后的跟踪模型，能够提高跟踪目标对象的准确性和鲁棒性。
需要说明的是：上述本申请实施例的先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于系统的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种目标对象跟踪方法，其特征在于，包括：
获取参考图片和待跟踪图片；
确定所述参考图片中的识别对象；
基于训练后的跟踪模型对所述参考图片中的所述识别对象和所述待跟踪图片进行跟踪，得到所述待跟踪图片中所述识别对象的位置；
所述跟踪模型的训练步骤包括：
获取样本图片和对比图片；所述样本图片中含有样本对象，所述对比图片中至少有部分区域含有所述样本对象；
确定所述样本对象在所述样本图片中的第一位置区域；
根据所述第一位置区域和多个预设尺度值从所述对比图片中确定所述样本对象的多个搜索区域；所述多个预设尺度值包括至少两个尺度值；
构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
基于所述当前机器学习模型，从所述第一位置区域中确定所述样本对象的第一特征集合，从所述多个搜索区域中确定所述样本对象在每个搜索区域的第二特征集合；
根据所述第一特征集合和多个所述第二特征集合确定多个匹配值集合；所述多个匹配值集合中的每个匹配值集合和所述多个所述第二特征集合中的每个第二特征集合一一对应；
根据所述多个匹配值集合与预设匹配值确定多个损失值；
当所述多个损失值大于所述预设阈值时，基于所述多个损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：基于所述当前机器学习模型，从所述第一位置区域中确定所述样本对象的第一特征集合，从所述多个搜索区域中确定所述样本对象在每个搜索区域的第二特征集合；
当所述多个损失值中存在有目标损失值小于或者等于所述预设阈值时，将所述当前机器学习模型确定为所述跟踪模型，将所述目标损失值对应的模型参数确定为所述跟踪模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述多个预设尺度值包括第一尺度值和第二尺度值；
所述根据所述第一位置区域和多个预设尺度值从所述对比图片中确定所述样本对象的多个搜索区域，包括：
根据所述第一位置区域和所述第一尺度值从所述对比图片中确定所述样本对象的第一搜索区域；所述第一搜索区域包括所述第一位置区域；
以及根据所述第一位置区域和所述第二尺度值从所述对比图片中确定所述样本对象的第二搜索区域；所述第二搜索区域包括所述第一位置区域。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征集合和多个所述第二特征集合确定多个匹配值集合，包括：
将所述第一特征集合与所述多个所述第二特征集合中的每个第二特征集合进行卷积操作，得到所述多个匹配值集合。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多个匹配值集合与预设匹配值确定多个损失值，包括：
确定所述多个匹配值集合的每个匹配值集合中的最大匹配值；
根据所述最大匹配值和所述预设匹配值的差值确定所述多个损失值。
5.一种目标对象跟踪系统，其特征在于，包括：
第一获取模块，用于获取参考图片和待跟踪图片；
第一确定模块，用于确定所述参考图片中的识别对象；
跟踪模块，用于基于训练后的跟踪模型对所述参考图片中的所述识别对象和所述待跟踪图片进行跟踪，得到所述待跟踪图片中所述识别对象的位置。
6.根据权利要求5所述的系统，其特征在于，还包括：训练模块；
所述训练模块包括：
第二获取模块，用于获取样本图片和对比图片；所述样本图片中含有样本对象，所述对比图片中至少有部分区域含有所述样本对象；
第二确定模块，用于确定所述样本对象在所述样本图片中的第一位置区域；
第三确定模块，用于根据所述第一位置区域和多个预设尺度值从所述对比图片中确定所述样本对象的多个搜索区域；所述多个预设尺度值包括至少两个尺度值；
构建模块，用于构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
第四确定模块，用于基于所述当前机器学习模型，从所述第一位置区域中确定所述样本对象的第一特征集合，从所述多个搜索区域中确定所述样本对象在每个搜索区域的第二特征集合；
第五确定模块，用于根据所述第一特征集合和多个所述第二特征集合确定多个匹配值集合；所述多个匹配值集合中的每个匹配值集合和所述多个所述第二特征集合中的每个第二特征集合一一对应；
第六确定模块，用于根据所述多个匹配值集合与预设匹配值确定多个损失值；
更新模块，用于当所述多个损失值大于所述预设阈值时，基于所述多个损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：基于所述当前机器学习模型，从所述第一位置区域中确定所述样本对象的第一特征集合，从所述多个搜索区域中确定所述样本对象在每个搜索区域的第二特征集合；
第七确定模块，用于当所述多个损失值中存在有目标损失值小于或者等于所述预设阈值时，将所述当前机器学习模型确定为所述跟踪模型，将所述目标损失值对应的模型参数确定为所述跟踪模型的参数。
7.根据权利要求5所述的系统，其特征在于，所述第三确定模块包括：
第一确定单元，用于根据所述第一位置区域和所述第一尺度值从所述对比图片中确定所述样本对象的第一搜索区域；所述第一搜索区域包括所述第一位置区域；
第二确定单元，用于根据所述第一位置区域和所述第二尺度值从所述对比图片中确定所述样本对象的第二搜索区域；所述第二搜索区域包括所述第一位置区域。
8.根据权利要求5所述的系统，其特征在于，所述第五确定模块包括：
卷积单元，用于将所述第一特征集合与所述多个所述第二特征集合中的每个第二特征集合进行卷积操作，得到所述多个匹配值集合。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1-4任意一项所述目标对象跟踪方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-4任意一项所述目标对象跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911314566.0A CN111199189A (zh) | 2019-12-18 | 2019-12-18 | 一种目标对象跟踪方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911314566.0A CN111199189A (zh) | 2019-12-18 | 2019-12-18 | 一种目标对象跟踪方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111199189A true CN111199189A (zh) | 2020-05-26 |
Family
ID=70746948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911314566.0A Pending CN111199189A (zh) | 2019-12-18 | 2019-12-18 | 一种目标对象跟踪方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199189A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766097A (zh) * | 2021-01-06 | 2021-05-07 | 中国科学院上海微系统与信息技术研究所 | 视线识别模型的训练方法、视线识别方法、装置及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090918A (zh) * | 2018-02-12 | 2018-05-29 | 天津天地伟业信息系统集成有限公司 | 一种基于深度全卷积孪生网络的实时人脸跟踪方法 |
| CN109064493A (zh) * | 2018-08-01 | 2018-12-21 | 北京飞搜科技有限公司 | 一种基于元学习的目标跟踪方法及装置 |
| US20190147602A1 (en) * | 2017-11-13 | 2019-05-16 | Qualcomm Technologies, Inc. | Hybrid and self-aware long-term object tracking |
| CN109993774A (zh) * | 2019-03-29 | 2019-07-09 | 大连理工大学 | 基于深度交叉相似匹配的在线视频目标跟踪方法 |
| CN110223324A (zh) * | 2019-06-05 | 2019-09-10 | 东华大学 | 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法 |
| CN110473231A (zh) * | 2019-08-20 | 2019-11-19 | 南京航空航天大学 | 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法 |
| CN110570458A (zh) * | 2019-08-12 | 2019-12-13 | 武汉大学 | 一种基于内部裁剪和多层特征信息融合的目标跟踪方法 |
-
2019
- 2019-12-18 CN CN201911314566.0A patent/CN111199189A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147602A1 (en) * | 2017-11-13 | 2019-05-16 | Qualcomm Technologies, Inc. | Hybrid and self-aware long-term object tracking |
| CN108090918A (zh) * | 2018-02-12 | 2018-05-29 | 天津天地伟业信息系统集成有限公司 | 一种基于深度全卷积孪生网络的实时人脸跟踪方法 |
| CN109064493A (zh) * | 2018-08-01 | 2018-12-21 | 北京飞搜科技有限公司 | 一种基于元学习的目标跟踪方法及装置 |
| CN109993774A (zh) * | 2019-03-29 | 2019-07-09 | 大连理工大学 | 基于深度交叉相似匹配的在线视频目标跟踪方法 |
| CN110223324A (zh) * | 2019-06-05 | 2019-09-10 | 东华大学 | 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法 |
| CN110570458A (zh) * | 2019-08-12 | 2019-12-13 | 武汉大学 | 一种基于内部裁剪和多层特征信息融合的目标跟踪方法 |
| CN110473231A (zh) * | 2019-08-20 | 2019-11-19 | 南京航空航天大学 | 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| LUCA BERTINETTO 等: "Fully-Convolutional Siamese Networks for Object Tracking", 《EUROPEAN CONFERENCE ON COMPUTER VISION》, pages 850 - 865 * |
| 史璐璐;张索非;吴晓富;: "基于Tiny Darknet全卷积孪生网络的目标跟踪", 《南京邮电大学学报(自然科学版)》, vol. 38, no. 04, pages 89 - 95 * |
| 张宏伟 等: "基于多尺度建议框的目标跟踪误差修正方法", 《计算机工程与应用》, vol. 56, no. 19, pages 132 - 138 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766097A (zh) * | 2021-01-06 | 2021-05-07 | 中国科学院上海微系统与信息技术研究所 | 视线识别模型的训练方法、视线识别方法、装置及设备 |
| CN112766097B (zh) * | 2021-01-06 | 2024-02-13 | 中国科学院上海微系统与信息技术研究所 | 视线识别模型的训练方法、视线识别方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110430443B (zh) | 视频镜头剪切的方法、装置、计算机设备及存储介质 | |
| US20200356818A1 (en) | Logo detection | |
| CN112750140A (zh) | 基于信息挖掘的伪装目标图像分割方法 | |
| JP2022554068A (ja) | ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス | |
| CN110648289B (zh) | 图像的加噪处理方法及装置 | |
| CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
| US20160147882A1 (en) | Object Search Method and Apparatus | |
| CN110689535B (zh) | 一种工件识别方法、装置及电子设备和存储介质 | |
| CN109842811B (zh) | 一种在视频中植入推送信息的方法、装置及电子设备 | |
| CN105894538A (zh) | 一种目标跟踪方法和装置 | |
| CN112580666B (zh) | 图像特征的提取方法、训练方法、装置、电子设备及介质 | |
| CN110866469A (zh) | 一种人脸五官识别方法、装置、设备及介质 | |
| CN112270384B (zh) | 一种回环检测方法、装置及电子设备和存储介质 | |
| CN110458096A (zh) | 一种基于深度学习的大规模商品识别方法 | |
| Seychell et al. | Ranking regions of visual saliency in rgb-d content | |
| CN112200862A (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
| CN113190444B (zh) | 一种测试方法、装置及存储介质 | |
| CN103870563B (zh) | 确定给定文本的主题分布的方法和装置 | |
| CN111539390A (zh) | 一种基于Yolov3的小目标图像识别方法、设备和系统 | |
| CN111199189A (zh) | 一种目标对象跟踪方法、系统、电子设备及存储介质 | |
| CN114647361B (zh) | 一种基于人工智能的触摸屏物体定位方法及装置 | |
| CN116416646A (zh) | 基于解耦样本组学习的行人重识别方法、系统、设备及介质 | |
| CN113282781B (zh) | 图像检索方法及装置 | |
| CN114648814A (zh) | 人脸活体检测方法及模型的训练方法、装置、设备及介质 | |
| CN105302715A (zh) | 应用程序用户界面的获取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200526 |