CN111047626B - 目标跟踪方法、装置、电子设备及存储介质 - Google Patents
目标跟踪方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111047626B CN111047626B CN201911374132.XA CN201911374132A CN111047626B CN 111047626 B CN111047626 B CN 111047626B CN 201911374132 A CN201911374132 A CN 201911374132A CN 111047626 B CN111047626 B CN 111047626B
- Authority
- CN
- China
- Prior art keywords
- target
- optical flow
- tracking point
- frame
- flow tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种目标跟踪方法、装置、电子设备及存储介质，该方法包括：获取目标视频的当前图像帧中至少一个目标对象的第一目标框；对第一目标框进行重叠区域标记，得到第一目标框的遮挡情况；根据第一目标框的遮挡情况和目标对象的类别获取当前图像帧的光流跟踪点集；对光流跟踪点集进行稀疏光流计算，得到光流跟踪点集中每个光流跟踪点在当前图像帧的下一图像帧中对应的目标跟踪点；根据目标跟踪点获取目标对象在下一图像帧中的第二目标框。本申请实施例有利于提高对视频中的多目标进行跟踪的效率和效果。
Description
技术领域
本申请涉及视频目标跟踪技术领域，尤其涉及一种目标跟踪方法、装置、电子设备及存储介质。
背景技术
随着机器视觉理论与技术的发展，对视频内容进行识别与理解成为研究的热点，尤其在基于视频的单个目标跟踪相关产品落地后，对视频中的多目标进行跟踪的需求也愈发强烈。当前基于视频的目标跟踪方法较多，例如：根据目标中心点距离、目标区域交并比等物理指标将相邻视频帧中的目标进行关联的方法，但这些方法在某些场景中并不适用；再者是现在应用较为普遍的光流跟踪法，但其多用于对视频图像中单个目标进行跟踪，且采用均匀选取跟踪点的方式，难免会使背景像素点也被当作跟踪点，可见，目前的光流跟踪法在进行多目标跟踪时，跟踪效率较差且跟踪效果并不显著。
发明内容
为解决上述问题，本申请提供了一种目标跟踪方法、装置、电子设备及存储介质，有利于提高对视频中的多目标进行跟踪的效率和效果。
本申请实施例第一方面提供了一种目标跟踪方法，该目标跟踪方法包括：
获取目标视频的当前图像帧中至少一个目标对象的第一目标框；
对所述第一目标框进行重叠区域标记，得到所述第一目标框的遮挡情况；
根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集；
对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点；
根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框。
结合第一方面，在一种可能的示例中，所述根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集，包括：
根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点；
将每个所述第一目标框选取出的所述光流跟踪点加入同一集合中，得到所述光流跟踪点集。
结合第一方面，在一种可能的示例中，所述根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点，包括：
对于属于第一类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第一预设比例对该第一目标框进行缩小，得到第一选取窗口，在所述第一选取窗口内选取所述光流跟踪点；若所述第一选取窗口存在遮挡，则在所述第一选取窗口未被遮挡的区域选取所述光流跟踪点；
对于属于第二类目标对象的所述第一目标框，若该第一目标框无遮挡，则在该第一目标框的第一预设高度处和第二预设高度处选取所述光流跟踪点；若所述第一预设高度处或所述第二预设高度处存在遮挡，则在所述第一预设高度处和所述第二高度处未被遮挡的区域选取所述光流跟踪点；
对于属于第三类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第二预设比例对该第一目标框进行缩小，得到第二选取窗口，在所述第二选取窗口内选取所述光流跟踪点；若所述第二选取窗口存在遮挡，则在所述第二选取窗口未被遮挡的区域选取所述光流跟踪点。
结合第一方面，在一种可能的示例中，所述对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点，包括：
将所述当前图像帧转换为灰度图像，使用所述当前图像帧的灰度图像构建图像金字塔；所述图像金字塔的最底层为所述当前图像帧；
获取所述光流跟踪点集中每个所述光流跟踪点在图像金字塔每层图像上的坐标；
计算所述光流跟踪点集中每个所述光流跟踪点的光流；
通过所述光流跟踪点集中每个所述光流跟踪点在所述当前图像帧上的坐标以及所述光流得到所述目标跟踪点。
结合第一方面，在一种可能的示例中，所述根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框，包括：
通过所述光流跟踪点集中每个所述光流跟踪点的坐标及该每个所述光流跟踪点对应的所述目标跟踪点的坐标计算得到该每个所述光流跟踪点在X方向和Y方向的位移；
计算每两个所述光流跟踪点之间的第一距离并取绝对值、计算该两个所述光流跟踪点对应的两个所述目标跟踪点之间的第二距离并取绝对值，获取取绝对值后的所述第一距离与取绝对值后的所述第二距离之间的距离比值，将所述距离比值的中值确定为缩放尺寸；
选取所述光流跟踪点集中每个所述光流跟踪点在X方向的位移的第一中值、在Y方向的位移的第二中值；
根据所述第一目标框的中心点的坐标、宽度和高度以及所述缩放尺寸、所述第一中值、所述第二中值计算得到所述第二目标框。
本申请实施例第二方面提供了一种多目标跟踪装置，该多目标跟踪装置包括：
目标检测模块，用于获取目标视频的当前图像帧中至少一个目标对象的第一目标框；
遮挡检测模块，用于对所述第一目标框进行重叠区域标记，得到所述第一目标框的遮挡情况；
跟踪点集获取模块，用于根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集；
光流计算模块，用于对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点；
目标位置确定模块，用于根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框。
本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述第一方面或第二方面所述的方法中的步骤。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行上述第一方面或第二方面所述的方法中的步骤。
可以看出，本申请实施例提供的技术方案中，通过获取目标视频的当前图像帧中至少一个目标对象的第一目标框；对第一目标框进行重叠区域标记，得到第一目标框的遮挡情况；根据第一目标框的遮挡情况和目标对象的类别获取当前图像帧的光流跟踪点集；对光流跟踪点集进行稀疏光流计算，得到光流跟踪点集中每个光流跟踪点在当前图像帧的下一图像帧中对应的目标跟踪点；根据目标跟踪点获取目标对象在下一图像帧中的第二目标框。这样根据当前图像帧中每个目标对象的遮挡情况选取每个对象的光流跟踪点，然后将选取出的所有光流跟踪点放在一个集合中进行单次稀疏光流计算，相比现有技术中在面对多个目标对象时需要分别进行稀疏光流计算的计算效率明显提升，从而有利于提高多目标跟踪的效率；同时，在选取光流跟踪点时，根据目标对象的遮挡情况进行选取，避免了背景像素也被选为光流跟踪点进行跟踪的情况，从而有利于提高多目标跟踪的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用架构图；
图2为本申请实施例提供的一种目标跟踪方法的流程示意图；
图3为本申请实施例提供的一种遮挡处理单元的示例图；
图4为本申请实施例提供的一种获取第二目标框的流程示意图；
图5为本申请实施例提供的另一种目标跟踪方法的流程示意图；
图6a为本申请实施例提供的一种第一目标框未被遮挡时选取光流跟踪点的示例图；
图6b为本申请实施例提供的一种第一目标框被遮挡时选取光流跟踪点的示例图；
图7a为本申请实施例提供的另一种第一目标框未被遮挡时选取光流跟踪点的示例图；
图7b为本申请实施例提供的另一种第一目标框被遮挡时选取光流跟踪点的示例图；
图8a为本申请实施例提供的另一种第一目标框未被遮挡时选取光流跟踪点的示例图；
图8b为本申请实施例提供的另一种第一目标框被遮挡时选取光流跟踪点的示例图；
图9为本申请实施例提供的一种目标跟踪装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
首先结合相关附图来举例介绍下本申请实施例的方案可能应用到的应用架构。请参见图1，图1为本申请实施例提供的一种应用架构图，如图1所示，包括用户终端、服务器、数据库和图像采集设备，其中，各部分通过网络连接通信，为本申请的目标跟踪方法提供可靠的系统架构。用户终端提供人机交互界面，用于向服务器发送用户输入的指令或请求，例如：目标跟踪请求、卷积神经网络训练请求、视频图像获取请求等等，并接收服务器根据这些指令或请求进行相应处理后返回的结果，并在显示窗口进行展示，例如：将目标跟踪时得到的行人的目标框进行展示等等。服务器是整个目标跟踪方法的执行主体，用于根据用户终端发送的指令或请求对获取到的视频图像中的各类对象执行一系列目标跟踪操作，例如：目标检测、跟踪点选取、算法运行等等，服务器包括但不限于本地服务器、云端服务器、服务器集群。数据库可以是服务器的数据库，也可以是独立于服务器之外的数据库，例如：云端数据库或一些开源数据库，数据库中存储有能够用于目标跟踪实验的数据集，例如：完整的视频序列、相邻的图像帧，当然，数据库还用于存储图像采集设备采集的视频，例如：某小区监控设备采集的视频、某道路高速摄像机采集的视频等等。图像采集设备可以是任何能够采集视频图像的设备，其采集的视频图像可在用户终端展示，且可以向服务器实时发送采集的视频图像以使服务器执行目标跟踪操作，也可以将采集的视频图像保存在数据库中以备后续调用，具体不作限定。
基于图1所示的应用架构，本申请实施例提出一种目标跟踪方法，该目标跟踪方法可由电子设备执行，不仅适用于视频图像中的单个目标跟踪场景，也适用于多目标跟踪场景、目标被遮挡的场景，请参见图2，该目标跟踪方法可包括如下步骤：
S21，获取目标视频的当前图像帧中至少一个目标对象的第一目标框。
本申请具体实施例中，目标视频指图像采集设备采集到的视频，其可以是图像采集设备实时采集的视频，例如：街道上或产业园区摄像头的实时监控视频，当然也可以是图像采集设备之前采集的存储在数据库中的历史视频，如在对目标跟踪方法的效果进行测试的场景中，可能并不需要图像采集设备实时采集的视频，任意一段历史视频即可达到测试的目的。当前图像帧即当前时间目标视频在用户终端显示窗口上出现的图像帧，在某些特定场景中，当前图像帧还可以是用户选定的图像帧，例如：公安在刑事侦查过程中，将目标视频中嫌犯首次出现的图像帧选定为当前图像帧。
具体的，目标对象可以是目标视频中任一图像帧中的行人、人脸或车辆等，在获取到当前图像帧后，将该当前图像帧输入预训练神经网络中进行特征提取和目标检测，输出为当前图像帧中所有目标对象的检测框Oi，即第一目标框，其中，i表示当前图像帧中第i个目标对象的唯一跟踪标识。预训练神经网络可采用Fast R-CNN(Fast Region-basedConvolutional Network，基于快速区域的卷积神经网络)、或者MTCNN(Multi-taskCascaded Convolutional Networks，多任务卷积神经网络)、或者OR-CNN(Occlusion-aware Region-Convolutional Network，遮挡感知区域卷积神经网络)等。
S22，对所述第一目标框进行重叠区域标记，得到所述第一目标框的遮挡情况。
本申请具体实施例中，可根据每个第一目标框的中心点的坐标、每个第一目标框的宽度和高度进行重叠区域标记，例如：通过计算每两个第一目标框交并比的方式进行重叠区域标记，两个第一目标框相交的面积即重叠的区域，再对两个第一目标框的前后位置进行判断，由此便可得到每个第一目标框的遮挡情况，即是否被遮挡、被遮挡的区域和未被遮挡的区域。可选的，还可采用OR-CNN中提供的遮挡处理单元进行重叠区域标记，在步骤S21中使用OR-CNN得到第一目标框后，将第一目标框划分为预设数量(例如：5个)个目标区域，然后分别提取这预设数量个目标区域的特征，将提取出的特征输入图3所示的遮挡处理单元，经过三个3*3卷积的处理和softmax分类器的二分类，输出为该预设数量个目标区域中每个目标区域的遮挡得分，当某个目标区域的遮挡得分小于一阈值(例如：0.9、0.8等)时，将该目标区域标记为重叠区域，说明第一目标框存在遮挡，且被遮挡的区域就是被标记的区域。
S23，根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集。
本申请具体实施例中，在第一目标框中选取光流跟踪点时，除了会考虑第一目标框的遮挡情况，还会考虑目标对象的类别，例如：目标对象是人脸、还是人体，或者是车辆等其他对象，目标对象的类别在步骤S21中目标检测时便得到，每个类别的目标对象选取光流跟踪点的区域是不同的，但选取的方式均是：如果第一目标框未被遮挡，则在预设区域选取m*n个特征点为光流跟踪点，其中m与n可相等，如果第一目标框的预设区域存在遮挡，则将预设区域未被遮挡的特征点选为光流跟踪点，最后由选取出的所有光流跟踪点构成当前图像帧的光流跟踪点集{pij}，j表示第i个目标对象的第j个光流跟踪点。
S24，对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点。
本申请具体实施例中，目标跟踪点即选取的光流跟踪点在当前图像帧的下一图像帧中对应的点，针对得到的光流跟踪点集{pij}，采用稀疏光流算法对光流跟踪点集{pij}中的所有光流跟踪点pij进行一次性计算，得到每个光流跟踪点pij在下一图像帧中的目标跟踪点p’ij。
其中，上述对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点，包括：
将所述当前图像帧转换为灰度图像，使用所述当前图像帧的灰度图像构建图像金字塔；所述图像金字塔的最底层为所述当前图像帧；
获取所述光流跟踪点集中每个所述光流跟踪点在图像金字塔每层图像上的坐标；
计算所述光流跟踪点集中每个所述光流跟踪点的光流；
通过所述光流跟踪点集中每个所述光流跟踪点在所述当前图像帧上的坐标以及所述光流得到所述目标跟踪点。
具体的，对当前图像帧的灰度图像进行缩放得到图像金字塔的共L层图像，L＝0，1，2，...，Lm，分辨率最低的Lm层为最顶层，当前图像帧的原始图像在图像金字塔的最底层。光流算法的目的是从图像金字塔的最顶层开始计算最顶层图像上的光流，将最顶层的计算结果作为初始值传递到下一层(Lm-1层)，再在该初始值的基础上计算第Lm-1层的光流，将第Lm-1层的计算结果作为初始值继续传递到下一层，直至传递到最底层，最底层计算出的光流作为最终的光流计算结果。每层光流的计算均需用到每个光流跟踪点pij在该层的坐标，因此需定位出每个所述光流跟踪点pij在图像金字塔每层图像上的坐标，包括在当前图像帧的原始图像上的坐标，由每个所述光流跟踪点pij在每层的坐标计算得到每个光流跟踪点pij在每层的光流，例如：第Lm-1层的光流为由第Lm-1层的光流初始值和该可推算出第Lm-2层的初始值，如此迭代可计算出每个光流跟踪点pij在图像金字塔最底层的图像(即当前图像帧的原始图像)上的光流d，每个光流跟踪点pij在当前图像帧的原始图像上的坐标加上该光流d便得到每个光流跟踪点pij在下一图像帧中的目标跟踪点p’ij。
S25，根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框。
本申请具体实施例中，如图4所示，上述根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框，包括步骤S2501-S2504：
S2501，通过所述光流跟踪点集中每个所述光流跟踪点的坐标及该每个所述光流跟踪点对应的所述目标跟踪点的坐标计算得到该每个所述光流跟踪点在X方向和Y方向的位移；
S2502，计算每两个所述光流跟踪点之间的第一距离并取绝对值、计算该两个所述光流跟踪点对应的两个所述目标跟踪点之间的第二距离并取绝对值，获取取绝对值后的所述第一距离与取绝对值后的所述第二距离之间的距离比值，将所述距离比值的中值确定为缩放尺寸；
S2503，选取所述光流跟踪点集中每个所述光流跟踪点在X方向的位移的第一中值、在Y方向的位移的第二中值；
S2504，根据所述第一目标框的中心点的坐标、宽度和高度以及所述缩放尺寸、所述第一中值、所述第二中值计算得到所述第二目标框。
可以理解的，得到每个光流跟踪点pij对应的目标跟踪点p’ij后，采用每个所述光流跟踪点pij的坐标及其对应的目标跟踪点p’ij的坐标计算得到该每个光流跟踪点pij在X方向的位移dxij和Y方向的位移dyij，并选取dxij的中值为第一中值Δx，选取dyij的中值为第二中值Δy，然后计算每两个所述光流跟踪点pij之间的距离，定义为第一距离a，计算该两个光流跟踪点pij对应的两个目标跟踪点p’ij之间的距离，定义为第二距离b，取b的绝对值|b|与a的绝对值|a|之间的距离比值|b|/|a|的中值为缩放尺寸scale，采用公式：x+Δx+width*(1-scale)/2，y+Δy+height*(1-scale)/2分别计算出第二目标框的中心点的坐标(x’，y’)其中，(x，y)表示第一目标框中心点的坐标，width和height为第一目标框宽和高，同理，width*scale便是第二目标框的宽、height*scale便是第二目标框的高，由第二目标框的中心点的坐标、第二目标框的宽、第二目标框的高便确定出第二目标框在当前图像帧的下一图像帧中的位置。
可以看出，本申请实施例通过获取目标视频的当前图像帧中至少一个目标对象的第一目标框；对第一目标框进行重叠区域标记，得到第一目标框的遮挡情况；根据第一目标框的遮挡情况和目标对象的类别获取当前图像帧的光流跟踪点集；对光流跟踪点集进行稀疏光流计算，得到光流跟踪点集中每个光流跟踪点在当前图像帧的下一图像帧中对应的目标跟踪点；根据目标跟踪点获取目标对象在下一图像帧中的第二目标框。这样根据当前图像帧中每个目标对象的遮挡情况选取每个对象的光流跟踪点，然后将选取出的所有光流跟踪点放在一个集合中进行单次稀疏光流计算，相比现有技术中在面对多个目标对象时需要分别进行稀疏光流计算的计算效率明显提升，从而有利于提高多目标跟踪的效率；同时，在选取光流跟踪点时，根据目标对象的遮挡情况进行选取，避免了背景像素也被选为光流跟踪点进行跟踪的情况，从而有利于提高多目标跟踪的效果。
请参见图5，图5为本申请实施例提供的另一种目标跟踪方法的流程示意图，如图5所示，包括步骤S51-S56：
S51，获取目标视频的当前图像帧中至少一个目标对象的第一目标框；
S52，对所述第一目标框进行重叠区域标记，得到所述第一目标框的遮挡情况；
S53，根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点；
本申请具体实施例中，主要针对三种类别的目标对象预设了不同的光流跟踪点选取区域，对于属于第一类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第一预设比例对该第一目标框进行缩小，得到第一选取窗口，在所述第一选取窗口内选取所述光流跟踪点；若所述第一选取窗口存在遮挡，则在所述第一选取窗口未被遮挡的区域选取所述光流跟踪点。第一类目标对象即人脸，若第一目标框为人脸检测框，且人脸检测框无遮挡，则以人脸检测框的中心为中心，以第一预设比例(例如：宽和高的50％-80％)对人脸检测框进行缩小，得到如图6a所示的第一选取窗口，在该第一选取窗口内选取5*5的特征点为光流跟踪点，覆盖眼睛、鼻子和嘴巴；如图6b所示，若人脸检测框存在遮挡，且被遮挡的区域为按照前述方法得到的第一选取窗口的右半下角，则选取第一选取窗口未被遮挡的区域的特征点为光流跟踪点，简单来说就是选取5*5的特征点中未被遮挡的特征点为光流跟踪点。
对于属于第二类目标对象的所述第一目标框，若该第一目标框无遮挡，则在该第一目标框的第一预设高度处和第二预设高度处选取所述光流跟踪点；若所述第一预设高度处或所述第二预设高度处存在遮挡，则在所述第一预设高度处和所述第二高度处未被遮挡的区域选取所述光流跟踪点。第二类目标对象即人体，如图7a所示，若第一目标框为人体检测框，且人体检测框无遮挡，则将人体检测框高度的1/4处(此处靠近人体头部)作为第一预设高度处，以该第一预设高度处正中央的特征点为中心选取5*3的特征点为光流跟踪点，同时，将人体检测框高度的1/2处(靠近人体胸口和腹部)作为第二预设高度处，以该第二预设高度处正中央的特征点为中心选取5*5的特征点为光流跟踪点；如图7b所示，若人体检测框存在遮挡，且被遮挡的区域涵盖了第二预设高度处的左边大部分特征点，则仍然在第一预设高度处选取5*3的特征点为光流跟踪点，而在第二预设高度处将5*5的特征点中未被遮挡的特征点选取为光流跟踪点，同理，若第一预设高度处也存在遮挡，则将第一预设高度处5*3的特征点中未被遮挡的特征点选取为光流跟踪点。
对于属于第三类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第二预设比例对该第一目标框进行缩小，得到第二选取窗口，在所述第二选取窗口内选取所述光流跟踪点；若所述第二选取窗口存在遮挡，则在所述第二选取窗口未被遮挡的区域选取所述光流跟踪点。第三类目标对象即车辆或其他，以车辆检测框为例，若车辆检测框未被遮挡，则以车辆检测框的中心为中心，以第二预设比例(例如：宽和高的80％)对车辆检测框进行缩小，得到如图8a所示的第二选取窗口，在该第二选取窗口内选取5*5的特征点为光流跟踪点；如图8b所示，若车辆检测框存在遮挡，且被遮挡的区域为按照前述方法得到的第二选取窗口的部分区域，则同样选取第二选取窗口未被遮挡的区域的特征点为光流跟踪点。
S54，将每个所述第一目标框选取出的所述光流跟踪点加入同一集合中，得到所述光流跟踪点集；
本申请具体实施例中，在步骤S53针对每个第一目标框选取出光流跟踪点后将其加入同一个集合中，该集合即为光流跟踪点集，便于后续的单次稀疏光流计算。
S55，对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点；
S56，根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框。
其中，图5所示的实施例中的部分步骤在图2所示的实施例中已有相关说明，且能达到相同或相似的有益效果，为避免重复，此处不再赘述。
基于上述目标跟踪方法实施例的描述，本申请实施例还提供一种目标跟踪装置，所述目标跟踪装置可以是运行于终端中的一个计算机程序(包括程序代码)。该目标跟踪装置可以执行图2或图5所示的方法。请参见图9，该目标跟踪装置包括：
目标检测模块91，用于获取目标视频的当前图像帧中至少一个目标对象的第一目标框；
遮挡检测模块92，用于对所述第一目标框进行重叠区域标记，得到所述第一目标框的遮挡情况；
跟踪点集获取模块93，用于根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集；
光流计算模块94，用于对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点；
目标位置确定模块95，用于根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框。
在一种可能的示例中，跟踪点集获取模块93在根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集方面，具体用于：
根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点；
将每个所述第一目标框选取出的所述光流跟踪点加入同一集合中，得到所述光流跟踪点集。
在一种可能的示例中，跟踪点集获取模块93在根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点方面，具体用于：
对于属于第一类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第一预设比例对该第一目标框进行缩小，得到第一选取窗口，在所述第一选取窗口内选取所述光流跟踪点；若所述第一选取窗口存在遮挡，则在所述第一选取窗口未被遮挡的区域选取所述光流跟踪点；
对于属于第二类目标对象的所述第一目标框，若该第一目标框无遮挡，则在该第一目标框的第一预设高度处和第二预设高度处选取所述光流跟踪点；若所述第一预设高度处或所述第二预设高度处存在遮挡，则在所述第一预设高度处和所述第二高度处未被遮挡的区域选取所述光流跟踪点；
对于属于第三类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第二预设比例对该第一目标框进行缩小，得到第二选取窗口，在所述第二选取窗口内选取所述光流跟踪点；若所述第二选取窗口存在遮挡，则在所述第二选取窗口未被遮挡的区域选取所述光流跟踪点。
在一种可能的示例中，光流计算模块94在对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点方面，具体用于：
将所述当前图像帧转换为灰度图像，使用所述当前图像帧的灰度图像构建图像金字塔；所述图像金字塔的最底层为所述当前图像帧；
获取所述光流跟踪点集中每个所述光流跟踪点在图像金字塔每层图像上的坐标；
计算所述光流跟踪点集中每个所述光流跟踪点的光流；
通过所述光流跟踪点集中每个所述光流跟踪点在所述当前图像帧上的坐标以及所述光流得到所述目标跟踪点。
在一种可能的示例中，遮挡检测模块92在对所述第一目标框进行重叠区域标记方面，具体用于：
将所述第一目标框划分为预设数量个目标区域；
获取所述预设数量个目标区域中每个目标区域的遮挡得分；
将所述遮挡得分小于阈值的所述目标区域标记为重叠区域。
在一种可能的示例中，目标位置确定模块95在根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框方面，包括：
通过所述光流跟踪点集中每个所述光流跟踪点的坐标及该每个所述光流跟踪点对应的所述目标跟踪点的坐标计算得到该每个所述光流跟踪点在X方向和Y方向的位移；
计算每两个所述光流跟踪点之间的第一距离并取绝对值、计算该两个所述光流跟踪点对应的两个所述目标跟踪点之间的第二距离并取绝对值，获取取绝对值后的所述第一距离与取绝对值后的所述第二距离之间的距离比值，将所述距离比值的中值确定为缩放尺寸；
选取所述光流跟踪点集中每个所述光流跟踪点在X方向的位移的第一中值、在Y方向的位移的第二中值；
根据所述第一目标框的中心点的坐标、宽度和高度以及所述缩放尺寸、所述第一中值、所述第二中值计算得到所述第二目标框。
根据本申请的一个实施例，图9所示的目标跟踪装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，目标跟踪装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图9所示的装置设备，以及来实现本发明实施例的上述方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种电子设备。请参见图10，该电子设备至少包括处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004。其中，电子设备内的处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004可通过总线或其他方式连接。
计算机存储介质1004可以存储在电子设备的存储器中，所述计算机存储介质1004用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1001用于执行所述计算机存储介质1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中，本申请实施例提供的电子设备的处理器1001可以用于进行一系列目标跟踪处理，包括：
获取目标视频的当前图像帧中至少一个目标对象的第一目标框；
对所述第一目标框进行重叠区域标记，得到所述第一目标框的遮挡情况；
根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集；
对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点；
根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框。
在一个实施例中，处理器1001执行所述根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集，包括：
根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点；
将每个所述第一目标框选取出的所述光流跟踪点加入同一集合中，得到所述光流跟踪点集。
在一个实施例中，处理器1001执行所述根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点，包括：
对于属于第一类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第一预设比例对该第一目标框进行缩小，得到第一选取窗口，在所述第一选取窗口内选取所述光流跟踪点；若所述第一选取窗口存在遮挡，则在所述第一选取窗口未被遮挡的区域选取所述光流跟踪点；
对于属于第二类目标对象的所述第一目标框，若该第一目标框无遮挡，则在该第一目标框的第一预设高度处和第二预设高度处选取所述光流跟踪点；若所述第一预设高度处或所述第二预设高度处存在遮挡，则在所述第一预设高度处和所述第二高度处未被遮挡的区域选取所述光流跟踪点；
对于属于第三类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第二预设比例对该第一目标框进行缩小，得到第二选取窗口，在所述第二选取窗口内选取所述光流跟踪点；若所述第二选取窗口存在遮挡，则在所述第二选取窗口未被遮挡的区域选取所述光流跟踪点。
在一个实施例中，处理器1001执行所述将所述对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点，包括：
将所述当前图像帧转换为灰度图像，使用所述当前图像帧的灰度图像构建图像金字塔；所述图像金字塔的最底层为所述当前图像帧；
获取所述光流跟踪点集中每个所述光流跟踪点在图像金字塔每层图像上的坐标；
计算所述光流跟踪点集中每个所述光流跟踪点的光流；
通过所述光流跟踪点集中每个所述光流跟踪点在所述当前图像帧上的坐标以及所述光流得到所述目标跟踪点。
在一个实施例中，处理器1001执行所述对所述第一目标框进行重叠区域标记，包括：
将所述第一目标框划分为预设数量个目标区域；
获取所述预设数量个目标区域中每个目标区域的遮挡得分；
将所述遮挡得分小于阈值的所述目标区域标记为重叠区域。
在一个实施例中，处理器1001执行所述根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框，包括：
通过所述光流跟踪点集中每个所述光流跟踪点的坐标及该每个所述光流跟踪点对应的所述目标跟踪点的坐标计算得到该每个所述光流跟踪点在X方向和Y方向的位移；
计算每两个所述光流跟踪点之间的第一距离并取绝对值、计算该两个所述光流跟踪点对应的两个所述目标跟踪点之间的第二距离并取绝对值，获取取绝对值后的所述第一距离与取绝对值后的所述第二距离之间的距离比值，将所述距离比值的中值确定为缩放尺寸；
选取所述光流跟踪点集中每个所述光流跟踪点在X方向的位移的第一中值、在Y方向的位移的第二中值；
根据所述第一目标框的中心点的坐标、宽度和高度以及所述缩放尺寸、所述第一中值、所述第二中值计算得到所述第二目标框。
示例性的，上述电子设备可以是计算机、笔记本电脑、平板电脑、掌上电脑、服务器等。电子设备可包括但不仅限于处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
需要说明的是，由于电子设备的处理器1001执行计算机程序时实现上述的目标跟踪方法中的步骤，因此上述目标跟踪方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器1001的计算机存储介质。在一个实施例中，可由处理器1001加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关目标跟踪方法的相应步骤。
需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的目标跟踪方法中的步骤，因此上述目标跟踪方法的所有实施例或实施方式均适用于该计算机存储介质，且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种目标跟踪方法，其特征在于，所述方法包括：
获取目标视频的当前图像帧中至少一个目标对象分别对应的第一目标框，包括：将所述当前图像帧输入预训练神经网络中进行特征提取和目标检测，输出所述当前图像帧中所有目标对象的检测框；
对所述第一目标框进行重叠区域标记，得到所述第一目标框的遮挡情况；
根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集，其中，每个类别的目标对象选取光流跟踪点的区域不同；
对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点；
根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集，包括：
根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点；
将每个所述第一目标框选取出的所述光流跟踪点加入同一集合中，得到所述光流跟踪点集。
3.根据权利要求2所述的方法，其特征在于，所述根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点，包括：
对于属于第一类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第一预设比例对该第一目标框进行缩小，得到第一选取窗口，在所述第一选取窗口内选取所述光流跟踪点；若所述第一选取窗口存在遮挡，则在所述第一选取窗口未被遮挡的区域选取所述光流跟踪点；
对于属于第二类目标对象的所述第一目标框，若该第一目标框无遮挡，则在该第一目标框的第一预设高度处和第二预设高度处选取所述光流跟踪点；若所述第一预设高度处或所述第二预设高度处存在遮挡，则在所述第一预设高度处和所述第二预设高度处未被遮挡的区域选取所述光流跟踪点；
对于属于第三类目标对象的所述第一目标框，若该第一目标框无遮挡，则以该第一目标框的中心为中心、以第二预设比例对该第一目标框进行缩小，得到第二选取窗口，在所述第二选取窗口内选取所述光流跟踪点；若所述第二选取窗口存在遮挡，则在所述第二选取窗口未被遮挡的区域选取所述光流跟踪点。
4.根据权利要求1所述的方法，其特征在于，所述对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点，包括：
将所述当前图像帧转换为灰度图像，使用所述当前图像帧的灰度图像构建图像金字塔；所述图像金字塔的最底层为所述当前图像帧；
获取所述光流跟踪点集中每个所述光流跟踪点在图像金字塔每层图像上的坐标；
计算所述光流跟踪点集中每个所述光流跟踪点的光流；
通过所述光流跟踪点集中每个所述光流跟踪点在所述当前图像帧上的坐标以及所述光流得到所述目标跟踪点。
5.根据权利要求1所述的方法，其特征在于，所述对所述第一目标框进行重叠区域标记，包括：
将所述第一目标框划分为预设数量个目标区域；
获取所述预设数量个目标区域中每个目标区域的遮挡得分；
将所述遮挡得分小于阈值的所述目标区域标记为重叠区域。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框，包括：
通过所述光流跟踪点集中每个所述光流跟踪点的坐标及该每个所述光流跟踪点对应的所述目标跟踪点的坐标计算得到该每个所述光流跟踪点在X方向和Y方向的位移；
计算每两个所述光流跟踪点之间的第一距离并取绝对值、计算该两个所述光流跟踪点对应的两个所述目标跟踪点之间的第二距离并取绝对值，获取取绝对值后的所述第一距离与取绝对值后的所述第二距离之间的距离比值，将所述距离比值的中值确定为缩放尺寸；
选取所述光流跟踪点集中每个所述光流跟踪点在X方向的位移的第一中值、在Y方向的位移的第二中值；
根据所述第一目标框的中心点的坐标、宽度和高度以及所述缩放尺寸、所述第一中值、所述第二中值计算得到所述第二目标框。
7.一种多目标跟踪装置，其特征在于，所述装置包括：
目标检测模块，用于获取目标视频的当前图像帧中至少一个目标对象分别对应的第一目标框，包括：将所述当前图像帧输入预训练神经网络中进行特征提取和目标检测，输出所述当前图像帧中所有目标对象的检测框；
遮挡检测模块，用于对所述第一目标框进行重叠区域标记，得到所述第一目标框的遮挡情况；
跟踪点集获取模块，用于根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集，其中，每个类别的目标对象选取光流跟踪点的区域不同；
光流计算模块，用于对所述光流跟踪点集进行稀疏光流计算，得到所述光流跟踪点集中每个光流跟踪点在所述当前图像帧的下一图像帧中对应的目标跟踪点；
目标位置确定模块，用于根据所述目标跟踪点获取所述目标对象在所述下一图像帧中的第二目标框。
8.根据权利要求7所述的装置，其特征在于，所述跟踪点集获取模块在根据所述第一目标框的遮挡情况及所述目标对象的类别获取所述当前图像帧的光流跟踪点集方面，具体用于：
根据每个所述第一目标框的遮挡情况及每个所述第一目标框对应的所述目标对象的类别，从每个所述第一目标框的预设区域选取所述光流跟踪点；
将每个所述第一目标框选取出的所述光流跟踪点加入同一集合中，得到所述光流跟踪点集。
9.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-6任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911374132.XA CN111047626B (zh) | 2019-12-26 | 2019-12-26 | 目标跟踪方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911374132.XA CN111047626B (zh) | 2019-12-26 | 2019-12-26 | 目标跟踪方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047626A CN111047626A (zh) | 2020-04-21 |
| CN111047626B true CN111047626B (zh) | 2024-03-22 |
Family
ID=70240454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911374132.XA Active CN111047626B (zh) | 2019-12-26 | 2019-12-26 | 目标跟踪方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047626B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113660443B (zh) * | 2020-05-12 | 2024-07-02 | 武汉Tcl集团工业研究院有限公司 | 一种视频插帧方法、终端以及存储介质 |
| CN114170267B (zh) * | 2020-09-10 | 2025-06-13 | 深圳引望智能技术有限公司 | 目标跟踪方法、装置、设备及计算机可读存储介质 |
| CN112784680B (zh) * | 2020-12-23 | 2024-02-02 | 中国人民大学 | 一种人流密集场所锁定密集接触者的方法和系统 |
| CN112686204B (zh) * | 2021-01-12 | 2022-09-02 | 昆明理工大学 | 一种基于稀疏像素点跟踪的视频测流方法及装置 |
| CN112699854B (zh) * | 2021-03-22 | 2021-07-20 | 亮风台（上海）信息科技有限公司 | 一种识别停止行驶车辆的方法与设备 |
| CN113160149B (zh) * | 2021-03-31 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种目标显示方法、装置、电子设备及内窥镜系统 |
| CN113284167B (zh) * | 2021-05-28 | 2023-03-07 | 深圳数联天下智能科技有限公司 | 人脸跟踪检测方法、装置、设备和介质 |
| CN113592904B (zh) * | 2021-07-09 | 2024-11-29 | 炜呈智能电力科技（杭州）有限公司 | 基于光流算法的智慧管廊运动目标检测方法及检测装置 |
| CN113516093B (zh) * | 2021-07-27 | 2024-09-10 | 浙江大华技术股份有限公司 | 标识信息的标注方法及装置、存储介质及电子装置 |
| CN115049954B (zh) * | 2022-05-09 | 2023-09-22 | 北京百度网讯科技有限公司 | 目标识别方法、装置、电子设备和介质 |
| CN114862813B (zh) * | 2022-05-19 | 2025-09-19 | 瑞诺(济南)动力科技有限公司 | 一种基于双目相机的铲斗追踪方法、设备及介质 |
| CN115497038A (zh) * | 2022-08-30 | 2022-12-20 | 青岛云天励飞科技有限公司 | 物品监测方法、装置、电子设备及存储介质 |
| CN116612406B (zh) * | 2023-04-21 | 2025-09-16 | 北京爱奇艺科技有限公司 | 一种人体遮挡程度确定方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104599286A (zh) * | 2013-10-31 | 2015-05-06 | 展讯通信(天津)有限公司 | 一种基于光流的特征跟踪方法及装置 |
| CN109558815A (zh) * | 2018-11-16 | 2019-04-02 | 恒安嘉新（北京）科技股份公司 | 一种实时多人脸的检测及跟踪方法 |
| CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574894B (zh) * | 2015-12-21 | 2018-10-16 | 天津远度科技有限公司 | 一种运动物体特征点跟踪结果的筛选方法和系统 |
-
2019
- 2019-12-26 CN CN201911374132.XA patent/CN111047626B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104599286A (zh) * | 2013-10-31 | 2015-05-06 | 展讯通信(天津)有限公司 | 一种基于光流的特征跟踪方法及装置 |
| CN109558815A (zh) * | 2018-11-16 | 2019-04-02 | 恒安嘉新（北京）科技股份公司 | 一种实时多人脸的检测及跟踪方法 |
| CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047626A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047626B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| Wang et al. | Learning center probability map for detecting objects in aerial images | |
| CN113362329B (zh) | 病灶检测模型的训练方法及识别图像中的病灶的方法 | |
| CN111160379B (zh) | 图像检测模型的训练方法及装置、目标检测方法及装置 | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| CN110400332B (zh) | 一种目标检测跟踪方法、装置及计算机设备 | |
| US9965719B2 (en) | Subcategory-aware convolutional neural networks for object detection | |
| CN109284670B (zh) | 一种基于多尺度注意力机制的行人检测方法及装置 | |
| CN104376576B (zh) | 一种目标跟踪方法及装置 | |
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN112232140B (zh) | 人群计数方法、装置、电子设备及计算机存储介质 | |
| CN113256677A (zh) | 一种图注意力视觉目标跟踪方法 | |
| CN106980895A (zh) | 基于旋转区域的卷积神经网络预测方法 | |
| CN109543641A (zh) | 一种实时视频的多目标去重方法、终端设备及存储介质 | |
| CN111783523A (zh) | 一种遥感影像旋转目标检测方法 | |
| CN108182695B (zh) | 目标跟踪模型训练方法及装置、电子设备和存储介质 | |
| CN117197669A (zh) | 一种改进yolov8算法的遥感图像目标检测方法及系统 | |
| JP2025504056A (ja) | 顔姿勢推定方法、装置、電子機器及び記憶媒体 | |
| CN114742989B (zh) | 一种垃圾种类识别方法、装置、计算机设备及存储介质 | |
| Zhang et al. | High-quality face image generation based on generative adversarial networks | |
| Piao et al. | AccLoc: Anchor-Free and two-stage detector for accurate object localization | |
| Lyu et al. | A real-time and lightweight method for tiny airborne object detection | |
| CN110147750A (zh) | 一种基于运动加速度的图像搜索方法、系统及电子设备 | |
| CN111986233B (zh) | 基于特征自学习的大场景极小目标遥感视频跟踪方法 | |
| CN115953744B (zh) | 一种基于深度学习的车辆识别追踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |