CN111898572A - 一种基于形体识别的案件智能串并方法 - Google Patents

Abstract

本发明公开了一种基于形体识别的案件智能串并方法，属于案件串并技术领域。该案件智能串并方法包括以下步骤：建立形体库，形体库中每一目标的特征包括结构化特征和非结构化特征；若存在嫌疑人目标的图视资料，对图视资料中的嫌疑人目标进行结构化特征和非结构化特征提取，计算嫌疑人目标与形体库中目标的最终相似度；否则，根据目击证人的描述构建嫌疑人目标的结构化特征，计算嫌疑人目标与形体库中目标的结构化特征相似度。该案件智能串并方法采用形体识别技术来实现案件的智能串并，能够帮助办案人员找出更多具备相同或相似内容的案件，从而提高案件侦破效率。

Description

一种基于形体识别的案件智能串并方法

技术领域

本发明属于案件串并技术领域，具体地指一种基于形体识别的案件智能串并方法。

背景技术

近年来，全国公安机关刑侦部门视频侦查技术发展非常迅速，视频侦查早已成为侦查破案工作的支柱。但是，在视频侦查实战中仍然存在短板，例如两抢一盗、诈骗犯罪类案件逐渐呈现犯罪流窜化、团队化、职业化的特征，对社会的繁荣稳定产生了极大影响。这类案件常为系列案件，即在一个阶段时期内，一个或一伙犯罪分子进行连续多次犯案，构成了一批看似各自独立，实则有内在联系的案件。如何有效地将系列案件进行串并分析是公安侦查办案过程中一个重要的课题。

当前，我国在视频侦查所有手段中，人脸识别技术与人工智能结合最紧密、应用最成熟、使用最频繁。但是也暴露出一些问题需要新技术去弥补。

1、犯罪嫌疑人、高危人员的反侦查意识和隐藏身份的手段越来越强烈和丰富，特别是蒙面、化妆、服饰上印制人脸图案等反侦查手段给人脸检测和人脸识别技术带来严重挑战。

2、各级公安机关视频侦查部门现存大量涉案视频数据，其中以普通摄头为主，这类摄像头能采集到的多是形体数据，仅靠办案人员逐一浏览筛查线索，不仅耗时费力，而且效率低下，不利于推进案件侦破。

发明内容

为解决背景技术中的问题，本发明提供一种基于形体识别的案件智能串并方法。

本发明的技术方案为：一种基于形体识别的案件智能串并方法，包括以下步骤：

S01、建立形体库，形体库中每一目标的特征包括结构化特征和非结构化特征；

S02、若存在嫌疑人目标的图视资料，对图视资料中的嫌疑人目标进行结构化特征和非结构化特征提取，进行步骤S03；否则，根据目击证人的描述构建嫌疑人目标的结构化特征，进行步骤S04；

S03、将嫌疑人目标的结构化特征和形体库中目标的结构化特征进行比对，得到结构化特征相似度；将嫌疑人目标的非结构化特征和形体库中目标的非结构化特征进行比对，得到非结构化特征相似度；对结构化特征相似度和非结构化特征相似度进行加权求和，得到最终相似度；根据最终相似度从大到小推送结果；

S04、将嫌疑人目标的结构化特征与形体库中目标的结构化特征进行比对，得到结构化特征相似度；根据结构化特征相似度从大到小推送结果。

步骤S03中，所述最终相似度的计算公式为：

Sim(X,Y)＝(1-a)·Sim(X₁,Y₁)+a·Sim(X₂,Y₂)；

其中，a为加权系数；Sim(X₁,Y₁)为结构化特征相似度，Sim(X₂,Y₂)为非结构化特征相似度。

所述加权系数为0.2～0.5。

所述结构化特征相似度的计算公式为：

其中，X₁为嫌疑人目标的结构化特征向量，Y₁为形体库中目标的结构化特征向量；||x₁||和||y₁||分别表示向量X₁和Y₁的模，

表示向量X₁和Y₁的点积。

所述非结构化特征相似度的计算公式为：

其中，X₂为嫌疑人目标的非结构化特征向量，Y₂为形体库中目标的非结构化特征向量；||x₂||和||y₂||分别表示向量X₂和Y₂的模，

表示向量X₂和Y₂的点积。

步骤S01中，形体库的建立过程包括以下步骤：

T01、对涉案视频内容中的形体进行结构化特征和非结构化特征提取，提取完成后将目标特征值进行存储，并将视频摘要展现在页面上；

T02、在步骤T01获得的视频摘要中，对每一个目标代表图进行形体聚类，根据每段视频摘要的检索结果，办案人员通过手动方式进行选择添加目标形体数据，形成形体库。

结构化特征提取包括以下步骤：

E01、构建多任务深度学习网络，包括骨干网络和三个子任务网络，所述子任务网络包括全局特征网络、人体部件分割网络和行人属性网络；

E02、分别构建三个子任务网络的损失函数，加权求和得到多任务深度学习网络的损失函数；

E03、准备每个子任务网络的训练数据集，并进行训练；

E04、将多任务深度学习网络中的子任务网络输出的特征进行拼接，作为结构化特征。

非结构化特征提取包括以下步骤：利用三元损失函数将同一目标样本的距离最小化，不同目标样本之间的距离最大化，得到用于提取目标非结构化特征的网络结构，将目标图像输入到神经网络后，神经网络输出一个2048维的特征向量。

所述三元损失函数为：

L＝max(d(a,p)-d(a,n)+margin,0)；

其中a表示anchor样本，p为正样本，n为负样本；d(a,p)表示anchor和正样本之间的距离，d(a,n)表示anchor和负样本之间的距离，margin表示边界值。

本发明的有益效果有：采用形体识别技术来实现案件的智能串并，通过涉案视频分析处理，建立形体库，为串并案分析提供准确的形体数据支撑；能够响应各类复杂环境下的人员识别需求，包括蒙面、戴口罩和小目标等，提供多起案件的串并比对功能，充分利用并挖掘存量案件视频，帮助办案人员找出更多具备相同或相似内容的案件，从而提高案件侦破效率。

附图说明

图1为本发明整体流程示意图。

图2为本发明一实施例中人体部件及全身信息与人体属性的对应图。

图3为本发明一实施例中多任务深度学习网络结构图。

图4为本发明一实施例中全局特征网络结构图。

图5为本发明一实施例中人体部件分割网络结构图。

图6为本发明一实施例中的行人属性网络结构图。

图7为本发明一实施例中对单帧图像进行非结构化分析的流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。为了突出本发明的重点，本文对一些常规的设备、装置、部件和操作进行了省略，或仅作简单描述。

参照图1，一种基于形体识别的案件智能串并方法，包括以下步骤：

S01、建立形体库。具体地，包括以下步骤：

T01、对涉案视频进行预处理。系统对接涉案视图库，自动对涉案视频进行结构化分析和非结构化分析；分析完成后，将目标特征值进行存储，并将视频摘要展现在页面上。

参照图2，所述结构化分析是对视频内容中的形体进行结构化特征提取：先对人体图片的人体部件进行定位，再根据人体部件和全身信息提取人体的结构化特征。所述人体部件包括人物的头、大臂、小臂、躯干、大腿、小腿和脚7个部件。所述结构化特征以人体的性别(男/女)、年龄(儿童/青少年/成年/老年)、发型(短发/披肩长/披肩短/束发)、头饰(帽子/耳机/其他)、上衣颜色(黑/白/紫/黄/灰/蓝/绿/棕/红)、上衣花纹(纯色/logo/条纹/格纹/碎花)、上衣款式(长袖/短袖)、下装颜色(黑/白/紫/黄/灰/蓝/绿/棕/红)、下装花纹(纯色/logo/条纹/格纹/碎花)、下装款式(长裤/短裤)、人物动作(骑车/步行)和附属物信息(双肩包/单肩包/手提包/其他)12种属性的置信度得分向量表示。

具体的，参照中国专利CN110852276A“一种基于多任务深度学习的行人再识别方法”，所述结构化分析包括以下步骤：

E01、参照图3，构建多任务深度学习网络，包括骨干网络和三个子任务网络，所述子任务网络包括全局特征网络、人体部件分割网络和行人属性网络。

所述骨干网络采用ResNet，骨干网络ResNet最后一层conv5_1的步长由2改为1；全局特征网络和行人属性网络连接ResNet的conv5_x层，即ResNet的conv5_x层的输出作为全局特征网络和行人属性网络的输入；同理，人体部件分割网络连接ResNet的conv4_x层。

参照图4，所述全局特征网络包括依次连接的池化层、向量拼接层、BN层、全连接层和softmax层；所述池化层，对输入进行全局平均池化和全局最大池化；所述向量拼接层，对全局平均池化结果和全局最大池化进行拼接输出拼接向量feature f_t；所述BN层，对拼接后的向量feature f_t进行批量标准化得到feature f_i；所述softmax层，输出ID结果向量feature f_id。

参照图5，所述人体部件分割网络包括依次连接的3×3逆卷积层、BN层、relu层和1×1卷积层。部分分割结果为8×48×16的张量，即有48×16的二维向量每个像素点有一个长度为8的一维向量，这个长度为8的一维向量对应该像素点部件分割的结果。8个部件优选为：头、大臂、小臂、躯干、大腿、小腿、脚和全身。

参照图6，所述行人属性网络包括依次连接的分割层、全局平均池化层、第一向量拼接层、全连接层、softmax层和第二向量拼接层；分割层，将输入水平分割成6块，分别是局部特征1至局部特征6，能够有效提取整张图像的局部特征，提高行人属性识别准确性；所述全局平均池化层，将分割后的块分别进行平均池化；所述第一向量拼接层，将平均池化得到的向量拼接成1个向量；所述全连接层，数量与行人属性的数量相同，本实施例优选行人属性的数量为12，将拼接后的向量转化为12个行人属性结果向量；所述softmax层，将多个行人属性结果向量进行归一化；所述第二向量拼接层，将归一化后的多个行人属性结果向量拼接层一个向量作为属性输出向量。

E02、分别构建三个子任务网络的损失函数，加权求和得到多任务深度学习网络的损失函数。

E03、准备每个子任务网络的训练数据集，并进行训练。

E04、将多任务深度学习网络中的子任务网络输出的特征，具体为对全局特征网络的BN层输出向量feature f_i与行人属性网络的属性输出向量feature f_attr进行拼接，作为多任务深度学习网络最终的输出特征，即所述置信度得分向量(即结构化特征)。

所述非结构化分析是基于形体识别技术对视频内容中目标的综合体态、身高、胖瘦、衣着、附属物、运动姿态等人体特征，建立一种2048维的高维特征表示，即非结构化特征，实现对包括小目标、模糊目标、运动目标在内的各类目标进行有效表征。区别于结构化特征，非结构化特征是目标人物图片的高维映射表示，不能够直接解析目标人物的各项属性信息，同一个人的非结构化特征是高度相似的，而且与他人的非结构化特征具有较大区别。

具体的，所述非结构化分析包括目标检测和非结构特征提取。

目标检测有两个基本步骤：

1)针对单帧图像，基于神经网络的one-stage算法，图像输入神经网络后，最后根据输出的特征，解码为目标的位置和类别，再经过NMS过程，滤除重叠区域较大目标，获得最终的目标检测位置；

基于神经网络的one-stage检测算法实现细节，对于单张图片，resize成300×300图片尺寸，送入basebone，basebone为VGG16，做卷积运算，再经过后面的几层卷积之后，通过ExtraFeatureLayer提取特征，形成6组张量，分别为1×512×38×38，1×1024×19×19，1×512×10×10，1×256×5×5，1×256×3×3，1×256×1×1，对这6组张量分别做卷积运算后拼接，得到预测位置的张量和预测置信度张量，再对预测置信度张量进行softmax等运算，得到1×8732×4张量用于最终位置预测依据和1×8732×21(21为检测目标总类)用于最终分类结果的预测依据。解码目标的过程主要依靠的是预先设置好的8732×4维度的Priorboxes，先验框的位置表示为d＝(d^cx,d^cy,d^w,d^h)，对应的真实边界框的位置为b＝(b^cx,b^cy,b^w,b^h)，进行解码得到原始的位置公式b^cx＝d^wl^cx+d^cy，b^cy＝d^yl^cy+d^cy，b^w＝d^wexp(l^w)，b^h＝d^hexp(l^h)，对之前1×8732×21进行预测分类得分的降序排序并进行NMS操作滤除多余候选框，确定8732个box哪些将做为预测结果。

2)针对帧间信息，传递上一帧最后一层的特征到当前帧神经网络特征的对应层，然后做平均池化操作，融合前后帧信息；其中平均池化的公式可以表示为：

其中N表示特征图的个数，o⁽ⁿ⁾表示第n个特征图，F表示平均池化后的特征。

特征提取采用一种改进的person-reID思想，基础网路采用ResNet50网络结构，损失函数利用三元损失函数：L＝max(d(a,p)-d(a,n)+margin,0)计算，L表示了损失函数的计算方法，其中a表示anchor样本，p为正样本，n为负样本；d(a,p)表示anchor和正样本之间的距离，d(a,n)表示anchor和负样本之间的距离，margin表示边界值，上式总体表示了将同一个目标样本的距离最小化，不同目标的样本之间距离最大化。

通过在数据集中的训练，我们得到了能够提取目标特征的网络结构，将目标图像输入神经网络后，神经网络输出一个2048维的特征向量(即非结构化特征向量)，该向量用于目标之间相似度判断。

T02、每个案件会有多张目标代表图，在获得步骤T01的视频摘要中，对每一个目标代表图进行形体聚类，根据每段视频摘要的检索结果，办案人员通过手动方式进行选择添加目标形体数据，形成形体库。

S02、若存在嫌疑人目标的图视资料(图视资料包括图片资料和视频资料)，办案人员上传嫌疑人目标的图视资料，进行结构化特征和非结构化特征提取，进行步骤S03；否则，目击证人描述嫌疑人目标的属性(性别、年龄、发型、头饰、上衣颜色、上衣花纹、上衣款式、下装颜色、下装花纹、下装款式、人物动作和附属物信息)，当获取了嫌疑人目标各个属性之后，会根据所有属性得分组成一个向量，这就成为嫌疑人目标的结构化特征，进行步骤S04。具体的，人体的属性类和对应的属性值如表1所示。

表1人体的属性类及对应的属性值

属性类	属性值
		性别	男1/女2
年龄	儿童1/青少年2/成年3/老年4
		发型	短发1/披肩长2/披肩短3/束发4
头饰	帽子1/耳机2/其他3
		上衣颜色	黑1/白2/紫3/黄4/灰5/蓝6/绿7/棕8/红9
上衣花纹	纯色1/logo2/条纹3/格纹4/碎花5
		上衣款式	长袖1/短袖2
下装颜色	黑1/白2/紫3/黄4/灰5/蓝6/绿7/棕8/红9
		下装花纹	纯色1/logo2/条纹3/格纹4/碎花5
下装款式	长裤1/短裤2
		人物动作	骑车1/步行2
附属物信息	双肩包1/单肩包2/手提包3/其他4

假设某些属性类信息不详，则这些信息不详的属性类的属性值记为0。

以一个性别为男性，年龄为成年，发型为短发，头饰为其他，上衣颜色为红色，上衣花纹为logo，上衣款式为短袖，下装颜色为蓝色，下装花纹不详，下装款式为短裤，人物动作为步行，附属物信息为双肩包的目标为例，据表1中属性类及属性值可得，该目标的结构化特征向量为：131392260221。

S03、将嫌疑人目标的结构化特征和非结构化特征输入服务器，服务器根据收到的嫌疑人目标的结构化特征与形体库中所有摘要的结构化特征进行比对，得到结构化特征相似度，根据收到的嫌疑人目标的非结构化特征与形体库中所有摘要的非结构化特征进行比对，得到非结构化特征相似度。服务器将结构化特征相似度和非结构化特征相似度进行加权求和，作为最终相似度，并根据最终相似度从大到小推送检索结果。

S04、服务器根据收到的嫌疑人目标的结构化特征与形体库中所有摘要的结构化特征进行比对，得到结构化特征相似度，并根据结构化特征相似度从大到小推送检索结果。

所述结构化特征相似度和非结构化特征相似度均采用特征之间的余弦距离来衡量。

设服务器收到的嫌疑人目标的结构化特征向量为X₁，服务器收到的嫌疑人目标的非结构化特征向量为X₂，形体库中目标的结构化特征向量为Y₁，形体库中目标的非结构化特征向量为Y₂；

则X₁和Y₁的结构化特征相似度按公式

计算，其中，Sim(X₁,Y₁)表示向量X₁和Y₁之间的相似度，||x₁||和||y₁||分别表示向量X₁和Y₁的模，

表示向量X₁和Y₁的点积；

X₂和Y₂的非结构化特征相似度按公式

计算，其中，Sim(X₂,Y₂)表示向量X₂和Y₂之间的相似度，||x₂||和||y₂||分别表示向量X₂和Y₂的模，

表示向量X₂和Y₂的点积；

最终相似度按公式

Sim(X,Y)＝(1-a)·Sim(X₁,Y₁)+a·Sim(X₂,Y₂)计算，其中Sim(X,Y)为最终相似度，a为加权系数，一般取0.2～0.5。

S05、在步骤S03或步骤S04中服务器推送的检索结果中，办案人员接合案件信息进行人工复核，通过复核来判定是否为同一个目标或相关目标。

需要理解到的是：虽然本发明已通过具体实施方式对其进行了较为详细的描述，但这些描述并非对本发明专利范围的限制，在此基础上所做出的未超出权利要求保护范围的任何形式和细节的变动，均属于本发明所保护的范围。

Claims (9)

1.一种基于形体识别的案件智能串并方法，其特征在于，包括以下步骤：

S01、建立形体库，形体库中每一目标的特征包括结构化特征和非结构化特征；

S02、若存在嫌疑人目标的图视资料，对图视资料中的嫌疑人目标进行结构化特征和非结构化特征提取，进行步骤S03；否则，根据目击证人的描述构建嫌疑人目标的结构化特征，进行步骤S04；

S03、将嫌疑人目标的结构化特征和形体库中目标的结构化特征进行比对，得到结构化特征相似度；将嫌疑人目标的非结构化特征和形体库中目标的非结构化特征进行比对，得到非结构化特征相似度；对结构化特征相似度和非结构化特征相似度进行加权求和，得到最终相似度；根据最终相似度从大到小推送结果；

S04、将嫌疑人目标的结构化特征与形体库中目标的结构化特征进行比对，得到结构化特征相似度；根据结构化特征相似度从大到小推送结果。

2.根据权利要求1所述的基于形体识别的案件智能串并方法，其特征在于，步骤S03中，所述最终相似度的计算公式为：

Sim(X,Y)＝(1-a)·Sim(X₁,Y₁)+a·Sim(X₂,Y₂)；

其中，a为加权系数；Sim(X₁,Y₁)为结构化特征相似度，Sim(X₂,Y₂)为非结构化特征相似度。

3.根据权利要求2所述的基于形体识别的案件智能串并方法，其特征在于，所述加权系数为0.2～0.5。

4.根据权利要求1至3任一项所述的基于形体识别的案件智能串并方法，其特征在于，所述结构化特征相似度的计算公式为：

其中，X₁为嫌疑人目标的结构化特征向量，Y₁为形体库中目标的结构化特征向量；||x₁||和||y₁||分别表示向量X₁和Y₁的模，

表示向量X₁和Y₁的点积。

5.根据权利要求1至3任一项所述的基于形体识别的案件智能串并方法，其特征在于，所述非结构化特征相似度的计算公式为：

其中，X₂为嫌疑人目标的非结构化特征向量，Y₂为形体库中目标的非结构化特征向量；||x₂||和||y₂||分别表示向量X₂和Y₂的模，

表示向量X₂和Y₂的点积。

6.根据权利要求1所述的基于形体识别的案件智能串并方法，其特征在于，步骤S01中，形体库的建立过程包括以下步骤：

T01、对涉案视频内容中的形体进行结构化特征和非结构化特征提取，提取完成后将目标特征值进行存储，并将视频摘要展现在页面上；

T02、在步骤T01获得的视频摘要中，对每一个目标代表图进行形体聚类，根据每段视频摘要的检索结果，办案人员通过手动方式进行选择添加目标形体数据，形成形体库。

7.根据权利要求1或6所述的基于形体识别的案件智能串并方法，其特征在于，结构化特征提取包括以下步骤：

E01、构建多任务深度学习网络，包括骨干网络和三个子任务网络，所述子任务网络包括全局特征网络、人体部件分割网络和行人属性网络；

E02、分别构建三个子任务网络的损失函数，加权求和得到多任务深度学习网络的损失函数；

E03、准备每个子任务网络的训练数据集，并进行训练；

E04、将多任务深度学习网络中的子任务网络输出的特征进行拼接，作为结构化特征。

8.根据权利要求1或6所述的基于形体识别的案件智能串并方法，其特征在于，非结构化特征提取包括以下步骤：利用三元损失函数将同一目标样本的距离最小化，不同目标样本之间的距离最大化，得到用于提取目标非结构化特征的网络结构，将目标图像输入到神经网络后，神经网络输出一个2048维的特征向量。

9.根据权利要求8所述的基于形体识别的案件智能串并方法，其特征在于，所述三元损失函数为：

L＝max(d(a,p)-d(a,n)+margin,0)；

其中a表示anchor样本，p为正样本，n为负样本；d(a,p)表示anchor和正样本之间的距离，d(a,n)表示anchor和负样本之间的距离，margin表示边界值。

Images