[go: up one dir, main page]

CN111008576A - 行人检测及其模型训练、更新方法、设备及可读存储介质 - Google Patents

行人检测及其模型训练、更新方法、设备及可读存储介质 Download PDF

Info

Publication number
CN111008576A
CN111008576A CN201911163826.9A CN201911163826A CN111008576A CN 111008576 A CN111008576 A CN 111008576A CN 201911163826 A CN201911163826 A CN 201911163826A CN 111008576 A CN111008576 A CN 111008576A
Authority
CN
China
Prior art keywords
training
pedestrian
pedestrian detection
model
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911163826.9A
Other languages
English (en)
Other versions
CN111008576B (zh
Inventor
肖刚
周捷
王逸飞
王正来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaochuang Anbang Beijing Technology Co Ltd
Original Assignee
Gaochuang Anbang Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaochuang Anbang Beijing Technology Co Ltd filed Critical Gaochuang Anbang Beijing Technology Co Ltd
Priority to CN201911163826.9A priority Critical patent/CN111008576B/zh
Publication of CN111008576A publication Critical patent/CN111008576A/zh
Application granted granted Critical
Publication of CN111008576B publication Critical patent/CN111008576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人检测及其模型训练、更新方法、设备及可读存储介质,该训练行人检测模型的方法包括:获取包含行人的训练视频数据;将训练视频数据转化为图像序列训练样本集;根据图像序列训练样本集中的行人是否被遮挡对图像序列训练样本集中的行人区域进行标注,得到正负样本集;根据正负样本集计算得到第一训练集;根据第一训练集对基于级联网络和特征融合的深度卷积神经网络模型进行迭代训练,得到行人检测模型。本发明实施例提供的训练行人检测模型的方法,根据图像序列中行人是否被遮挡赋予遮挡行人单独的标签,与图像中未被遮挡的行人区别开来,提升了对于遮挡行人的检测精度。

Description

行人检测及其模型训练、更新方法、设备及可读存储介质
技术领域
本发明涉及行人检测技术领域,具体涉及一种行人检测及其模型训练、更新方法、设备及可读存储介质。
背景技术
行人检测技术是一种在任意输入图像中自动搜索行人的位置和大小的技术,是目标检测领域中的一个重点问题,其在自动驾驶、视频监控和生物特征识别、行为分析等领域有着广泛的应用。
在现实生活中的复杂环境下,不同行人的衣着不同,易产生与背景混淆的情况,同时容易出现躯干部位被遮挡的情形,加之监控镜头视角、光照等干扰,导致行人的遮挡问题是目前行人检测面临的最大挑战之一,尤其是在拥挤场景下,如何进行高效且精准的行人检测更是研究的热点与难点。
传统行人检测方法通常采用人工设计提取特征的方式,往往仅在特定场景下取得较好的检测效果,算法的鲁棒性难以保证。
发明内容
有鉴于此,本发明实施例提供了一种行人检测及其模型训练、更新方法、设备及可读存储介质,以解决现有行人检测算法准确性较差的问题。
本发明提出的技术方案如下:
本发明实施例第一方面提供一种训练行人检测模型的方法,该方法包括:获取包含行人的训练视频数据;将所述训练视频数据转化为图像序列训练样本集;根据所述图像序列训练样本集中的行人是否被遮挡对所述图像序列训练样本集中的行人区域进行标注,得到正负样本集;根据所述正负样本集计算得到第一训练集;根据所述第一训练集对基于级联网络和特征融合的深度卷积神经网络模型进行迭代训练,得到所述行人检测模型。
根据第一方面,在第一方面第一实施方式中,所述级联网络包括:锚点细化模块及目标检测模块;根据所述第一训练集对基于级联网络和特征融合的深度卷积神经网络模型进行迭代训练,得到所述行人检测模型,包括,将所述第一训练集输入所述锚点细化模块计算得到第一特征向量;将所述第一特征向量输入所述目标检测模块计算得到第二特征向量;将所述第一特征向量和所述第二特征向量分别输入所述特征融合模块进行计算,得到第一损失函数和第二损失函数;将所述第一损失函数和所述第二损失函数进行叠加,计算得到损失函数;选取所述损失函数值最低的模型作为所述行人检测模型。
根据第一方面,在第一方面第二实施方式中,该训练行人检测模型的方法还包括:根据预设比例由所述正负样本集计算得到第一验证集;根据所述第一验证集对所述行人检测模型进行验证。
根据第一方面第二实施方式,在第一方面第三实施方式中,该训练行人检测模型的方法还包括:根据预设比例由所述正负样本集计算得到第一测试集;根据所述第一测试集对验证后的行人检测模型进行测试,得到测试结果。
本发明实施例第二方面提供一种行人检测方法,该行人检测方法包括:获取包含行人的待检测视频数据;将所述待检测视频数据转化为图像序列检测样本集;将所述图像序列检测样本集输入到如本发明实施例第一方面及第一方面任一项所述的训练行人检测模型的方法训练生成的行人检测模型,得到检测结果。
本发明实施例第三方面提供一种更新行人检测模型的方法,该方法包括:获取每隔预设时间的检测结果,所述检测结果为根据本发明实施例第二方面所述的行人检测方法得到的检测结果;根据所述检测结果计算得到第二训练集;采用本发明实施例第一方面及第一方面任一项所述的方法,根据所述第二训练集得到更新模型;判断所述更新模型和所述行人检测模型的精度;当所述行人检测模型的精度低于所述更新模型的精度,则将所述更新模型作为行人检测模型对包含行人的视频数据进行检测;当所述行人检测模型的精度高于所述更新模型的精度,则根据所述行人检测模型对包含行人的视频数据进行检测。
根据第二方面,在第二方面第一实施方式中,根据所述检测结果计算得到第二训练集,包括:将所述检测结果中分值高于预设值的结果作为正样本集,将所述检测结果中分值低于预设值的结果作为负样本集;根据所述正样本集和负样本集计算得到第二训练集。
根据第二方面,在第二方面第二实施方式中,判断所述更新模型和所述行人检测模型的精度,包括:根据所述正样本集和负样本集计算得到第二测试集;根据包含行人的待检测视频数据计算得到第二测试集;根据第一测试集和所述第二测试集判断所述更新模型和所述行人检测模型的精度,所述第一测试集为根据第一方面第三实施方式所述的训练行人检测模型的方法得到的第一测试集。
本发明实施例第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的训练行人检测模型的方法,或执行如本发明实施例第二方面所述的行人检测方法或执行如本发明实施例第三方面及第三方面任一项所述的更新行人检测模型的方法。
本发明实施例第五方面提供一种行人检测设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如本发明实施例第一方面及第一方面任一项所述的训练行人检测模型的方法,或执行如本发明实施例第二方面所述的行人检测方法或执行如本发明实施例第三方面及第三方面任一项所述的更新行人检测模型的方法。
本发明提出的技术方案,具有如下效果:
本发明实施例提供的行人检测及其模型训练、更新方法、设备及可读存储介质,通过获取包含行人的视频数据,将视频数据转化为图像序列,根据图像序列中行人是否被遮挡赋予遮挡行人单独的标签,与图像中未被遮挡的行人区别开来,提升了对于遮挡行人的检测精度,同时通过级联网络提取行人特征,通过迭代训练提升了模型性能,此外通过对级联网络的特征融合,进一步有效地提升了对行人小目标的检测效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的训练行人检测模型的方法的流程图;
图2是根据本发明另一实施例的训练行人检测模型的方法的流程图;
图3是根据本发明实施例的行人检测方法的流程图;
图4是根据本发明实施例的更新行人检测模型方法的流程图;
图5是根据本发明另一实施例的更新行人检测模型方法的流程图;
图6是根据本发明另一实施例的更新行人检测模型方法的流程图;
图7是本发明实施例提供的行人检测设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
行人检测技术是一种在任意输入图像中自动搜索行人的位置和大小的技术,其广泛应用于的计算机视觉和模式识别等领域,例如自动驾驶、视频监控和生物特征识别等。
在现实生活中的复杂环境下,行人的遮挡问题是目前行人检测面临的最大挑战之一,尤其是在拥挤场景下,如何进行高效且精准的行人检测更是研究的热点与难点。本发明通过深度学习(Deep Learning)获取包含行人的训练视频数据并将其转化为图像序列,根据行人是否被遮挡对图像序列进行标注,从而得到行人检测结果。
深度学习是建立深层结构模型的学习方法,典型的深度学习算法包括深度置信网络、卷积神经网络、受限玻尔兹曼机和循环神经网络等。深度学习又称为深度神经网络(指层数超过3层的神经网络)。深度学习源于多层神经网络,其实质是给出了一种将特征表示和学习合二为一的方式。深度学习的特点是放弃了可解释性,单纯追求学习的有效性。
下面将对本发明中的训练行人检测模型的方法进行介绍,请参阅图1,本发明实施例中训练行人检测模型的方法主要包括如下步骤:
步骤S101:获取包含行人的训练视频数据;具体地,包含行人的视频可以是各个路口安装的监控视频,也可以是包含地铁出口、超市出口、商场出口、火车站出口、学校内等不同户外场合下的视频数据,本发明对此不做限定。
步骤S102:将训练视频数据转化为图像序列训练样本集;其中,图像序列是指在不同时间、不同方位对目标依序连续获取的系列图像,而视频是由一系列图像构成,这些图像称为帧,帧是以固定的时间间隔获取的(称为帧速率,通常用帧/秒表示),据此可以显示运动中的场景。本发明中可以采用现有的视频转换软件将训练视频数据转化为图像序列训练样本集。
步骤S103:根据图像序列训练样本集中的行人是否被遮挡对图像序列训练样本集中的行人区域进行标注,得到正负样本集。其中,正样本集为包含行人的样本集,负样本集为不包含行人的样本集。
具体地,可以采用矩形框的形式对图像序列训练样本集中的所有行人区域进行标注,根据行人是否被遮挡给予Person和Blocked Person标签,其中Person标签表示行人未被遮挡,Blocked Person标签表示行人被遮挡。将图像序列训练样本集中图像的名称、尺寸、行人区域对应的标签、是否完整、是否容易识别、坐标等信息以标准voc格式保存至对应的标注文件,其中,图像是否完整是指标注的行人区域中行人是否完全出现在图像中,当行人完全出现在图像中时,则表示图像容易识别。同时标注文件名称可以与图像序列训练样本集中对应的图像一致,标注文件格式可以是xml,图像与标注文件夹组成正负样本集Y。此外,本发明实施例中对行人区域进行标注的标注工具可以是自制python工具,用户可以采用python工具对行人区域进行标注,也可以采用其他标注工具,本发明对此不做限定。
步骤S104:根据正负样本集计算得到第一训练集;具体地,可以按照第一预设比例将正负样本集分成训练集和第一测试集,再按照第二预设比例将训练集分为第一训练集和第一验证集。
步骤S105:根据第一训练集对基于级联网络和特征融合的深度卷积神经网络模型进行迭代训练,得到行人检测模型。具体地,该深度卷积神经网络模型可以选择达到预设深度的卷积神经网络模型,该深度卷积神经网络模型中包含级联网络和特征融合模型,其中级联网络作为卷积网络中的特征提取模块,可以包含多个卷积层和池化层,用于提取行人特征,通过迭代训练可以提升模型性能;特征融合模型可以是concat层,将级联网络中提取的行人特征进行融合,并选择迭代训练中最优的模型作为行人检测模型。
通过上述步骤S101至步骤S105,本发明实施例提供的训练行人检测模型的方法,通过获取包含行人的视频数据,将视频数据转化为图像序列,根据图像序列中行人是否被遮挡赋予遮挡行人单独的标签,与图像中未被遮挡的行人区别开来,提升了对于遮挡行人的检测精度,同时通过级联网络提取行人特征,通过迭代训练提升了模型性能,此外通过对级联网络的特征融合,进一步有效地提升了对行人小目标的检测效果。
作为本发明实施例的一种可选的实施方式,上述实施例中提供的级联网络包括:锚点细化模块及目标检测模块;如图2所示,步骤S105根据第一训练集对基于级联网络和特征融合的深度卷积神经网络模型进行迭代训练,得到行人检测模型,包括如下步骤:
步骤S201:将第一训练集输入锚点细化模块计算得到第一特征向量;具体地,获取第一训练集中的图像,调整获取的图像尺寸,该尺寸可以统一调整为320*320,将该尺寸的图像输入锚点细化模型进行计算,可以得到目标检测模型所需的图像尺寸。锚点细化模块、可以初步提取行人特征。锚点细化模块计算得到的第一特征向量中包含标注信息、行人框的位置坐标和大小等,因此锚点细化模块用于粗略的描述行人的位置和大小,为目标检测模块提供更好的锚点初始化位置。
步骤S202:将第一特征向量输入目标检测模块计算得到第二特征向量;具体地,获取第一特征向量中的图像尺寸,选择锚点细化模块中不同层卷积计算得到的图像尺寸为40*40、20*20、10*10、5*5的特征向量,将其输入目标检测模块进行计算,得到第二特征向量。为了获取锚点细化模块中得到的深层的特征,在这里选择了图像尺寸为40*40、20*20、10*10、5*5的特征向量。其中,目标检测模块可以通过传输链接模块与锚点细化模块连接,第一特征向量中的图像可以通过传输链接模块输入至目标检测模块。目标检测模块包含可以在锚点细化模块的基础上进一步提取行人特征。目标检测模块以锚点细化模块改善后的锚点作为输入,通过计算得到第二特征向量,其中第二特征向量中包含标注信息、行人框的位置坐标和大小等,可以用于区分图像的背景、Person标签及Blocked Person标签等类别,可以进一步提高回归和预测的效果。
步骤S203:将第一特征向量和第二特征向量分别输入特征融合模块进行计算,得到第一损失函数和第二损失函数;具体地,获取第一特性向量和第二特征向量中的图像尺寸,选择目标检测模块中不同层卷积计算得到的两个特征向量中图像尺寸为40*40、20*20、10*10、5*5的特征向量,将其分别输入特征融合模块进行卷积计算,得到第一损失函数和第二损失函数。
步骤S204:将第一损失函数和第二损失函数进行叠加,计算得到损失函数;具体地,第一损失函数可以表示为
Figure BDA0002285244400000081
其中Narm为锚点数目,Lb为分类损失,用于计算分类正确与否,即对于图像的背景、Person标签及Blocked Person标签等类别分类是否正确,Lr为回归损失,用于计算物体检测框与真实框的偏移量,其中,物体检测框为根据第一特征向量中得到的行人框的坐标,真实框为图像实际显示的行人框的坐标,pi为网络预测的是否为物体的概率值,xi代表检测坐标,gi代表真实坐标,i表示第一训练集中的各个图像;第二损失函数可以表示为
Figure BDA0002285244400000082
Figure BDA0002285244400000083
其中,Nodm为目标检测模块获得的锚点数目,Lm为分类损失,Lr为回归损失,ci为检测框属于各类别的概率,ti与gi分别代表检测坐标与真实坐标;计算得到第一损失函数和第二损失函数后,将第一损失函数和第二损失函数进行叠加,计算得到损失函数,损失函数可以用公式(1)表示:
Figure BDA0002285244400000091
其中,
Figure BDA0002285244400000092
表示在框回归时只计算正负样本集中正样本的损失。由于正样本集是包含行人的样本集,负样本集是其他的样本集,最后输出的结果只需要行人的框,不需要其余类别的框,因此只计算正样本的损失。
步骤S205:选取损失函数值最低的模型作为行人检测模型。具体的,特征融合将锚点细化模块和目标检测模块中尺寸为40*40、20*20、10*10、5*5特征向量进行融合,用于计算损失函数值,因此可以根据公式(1),将计算得到损失函数值最低时的模型作为行人检测模型。
在本发明实施例中,通过搭建锚点细化模块和目标检测模块两层级联网络,将第一训练集输入级联网络中进行计算,逐步进行判断并分类,实现由粗到精的检测框回归,进一步提升了行人检测模型的检测精度;同时通过对级联网络进行特征融合,计算损失函数,进一步有效地提升了行人检测模型对行人小目标的检测效果。
作为本发明实施例的一种可选的实施方式,本发明实施例提供的训练行人检测模型的方法还包括:将上述实施例中正负样本集中计算得到的第一验证集输入得到的行人检测模型进行验证;此外,将上述实施例中正负样本集中计算得到的第一测试集输入到验证后的行人检测模型进行测试,得到测试结果。通过该验证和测试过程可以判断本发明实施例得到的行人检测模型的检测结果是否符合预设标准,例如,可以将检测结果划分为不同的分值,当预设比例样本集的检测结果高于预设分值,则该检测结果符合预设标准,该行人检测模型可以用于行人检测。
本发明实施例还提供一种行人检测方法,如图3所示,该行人检测方法包括如下步骤:
步骤S301:获取包含行人的待检测视频数据;具体地,包含行人的待检测视频可以是各个路口安装的监控视频,也可以是包含地铁出口、超市出口、商场出口、火车站出口、学校内等不同户外场合下的视频数据,本发明对此不做限定。
步骤S302:将待检测视频数据转化为图像序列检测样本集;其中,图像序列是指在不同时间、不同方位对目标依序连续获取的系列图像,而视频是由一系列图像构成,这些图像称为帧,帧是以固定的时间间隔获取的(称为帧速率,通常用帧/秒表示),据此可以显示运动中的场景。本发明中可以采用现有的视频转换软件将待检测视频数据转化为图像序列检测样本集。
步骤S303:将图像序列检测样本集输入到上述实施例通过训练行人检测模型的方法得到的行人检测模型,得到检测结果。具体地,可以将图像序列检测样本集输入到如图1至图2所示的通过训练行人检测模型的方法得到的行人检测模型进行检测,从而获取检测结果。
通过上述步骤S301至步骤S303,本发明实施例提供的行人检测方法,通过获取包含行人的视频数据,将视频数据转化为图像序列,将图像序列输入上述实施例通过训练行人检测模型的方法得到的行人检测模型,将图像序列中行人是否被遮挡赋予遮挡行人单独的标签,与图像中未被遮挡的行人区别开来,单独对人体部分躯干进行深度学习,提升了对于遮挡行人的检测精度。
本发明实施例还提供一种更新行人检测模型的方法,如图4所示,该更新行人检测模型的方法还包括如下步骤:
步骤S401:获取每隔预设时间的检测结果,该检测结果为上述实施例所述的行人检测方法得到的检测结果;具体地,根据上述实施例的行人检测方法对不同时间的视频数据进行检测,得到检测结果后,每隔一段时间获取一次检测结果。
步骤S402:根据检测结果计算得到第二训练集;具体地,可以获取检测结果中的数据作为第二训练集。
步骤S403:采用上述训练行人检测模型的方法,根据第二训练集得到更新模型。具体地,可以将第二训练集按照图1至图2所示的训练行人检测模型的方法进行训练,从而获得更新后的行人检测模型。
步骤S404:判断更新模型和行人检测模型的精度。
步骤S405:当行人检测模型的精度低于更新模型的精度,则将更新模型作为行人检测模型对包含行人的视频数据进行检测。
步骤S406:当行人检测模型的精度高于更新模型的精度,则根据行人检测模型对包含行人的视频数据进行检测。
作为本发明实施例的一种可选的实施方式,如图5所示,步骤S402根据所述检测结果计算得到第二训练集,包括如下步骤:
步骤S501:将检测结果中分值高于预设值的结果作为正样本集,将检测结果中分值低于预设值的结果作为负样本集;具体地,根据如图3所示的行人检测方法得到检测结果,该检测结果中包含对待检测视频数据的检测得分,每隔预设时间获取一次上述检测结果,将检测结果中得分为0-0.2的检测结果作为负样本集,将得分为0.9以上的检测结果作为正样本集,并对负样本集和正样本集内的包含的图像做相似度检测,剔除重复样本,可以提高后续采用该训练集进行检测的精度。本发明实施例中负样本集和正样本集中检测结果的得分只是举例说明,也可以将包含其他分值的检测结果作为正样本集和负样本集,本发明对此不做限定。
步骤S502:根据正样本集和负样本集计算得到第二训练集。具体地,可以按照3:1的比例对负样本集和正样本集随机采样,重复5次,得到五次采样的样本集G1、G2、G3、G4及G5,将五个样本集分别和上述实施例步骤S104得到的第一训练集进行合并,得到合并后的样本集H1、H2、H3、H4及H5,因此第二训练集中可以包括五个样本集,也可以根据采样的次数得到其他数量的样本集,本发明对此不做限定。根据第二训练集对行人检测模型进行迭代训练时,可以将五个样本集分别输入该模型,得到五个更新模型,后面可以比较五个更新模型和行人检测模型的精度。
作为本发明实施例的一种可选的实施方式,如图6所示,步骤S404判断更新模型和行人检测模型的精度,包括:
步骤S601:根据包含行人的待检测视频数据计算得到第二测试集;具体地,获取部分最新的待检测视频数据,将该待检测视频数据转化为图像序列集,得到的图像序列集即为第二测试集。
步骤S602:根据第一测试集和第二测试集判断更新模型和行人检测模型的精度;具体地,根据上述实施例步骤S104得到第一测试集和步骤S601得到第二测试集,将第一测试集和第二测试集输入上述步骤S403得到的五个更新模型和根据上述实施例训练行人检测模型的方法得到的行人检测模型进行检测,根据检测结果判断更新模型和行人检测模型的精度。
本发明实施例提供的更新行人检测模型的方法,通过提取检测结果中的数据,对上述实施例通过训练行人检测模型的方法得到的行人检测模型进行更新,提升了模型的检测性能,同时还可以通过对更新模型精度的判断,获取精度更高的模型对包含行人的待检测视频数据进行检测,减少了误报和漏报的情况,提高了该行人检测方法检测精度。
本发明实施例还提供了一种行人检测设备,如图7所示,该行人检测设备可以包括处理器51和存储器52,其中处理器51和存储器52可以通过总线或者其他方式连接,图7中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit,CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的行人检测方法对应的装置。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的行人检测方法。
存储器52可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器51所创建的数据等。此外,存储器52可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器52可选包括相对于处理器51远程设置的存储器,这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中,当被所述处理器51执行时,执行如图3所示实施例中的行人检测方法。
上述行人检测设备具体细节可以对应参阅图3所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种训练行人检测模型的方法,其特征在于,包括:
获取包含行人的训练视频数据;
将所述训练视频数据转化为图像序列训练样本集;
根据所述图像序列训练样本集中的行人是否被遮挡对所述图像序列训练样本集中的行人区域进行标注,得到正负样本集;
根据所述正负样本集计算得到第一训练集;
根据所述第一训练集对基于级联网络和特征融合的深度卷积神经网络模型进行迭代训练,得到所述行人检测模型。
2.根据权利要求1所述的训练行人检测模型的方法,其特征在于,所述级联网络包括:锚点细化模块及目标检测模块;
根据所述第一训练集对基于级联网络和特征融合的深度卷积神经网络模型进行迭代训练,得到所述行人检测模型,包括,
将所述第一训练集输入所述锚点细化模块计算得到第一特征向量;
将所述第一特征向量输入所述目标检测模块计算得到第二特征向量;
将所述第一特征向量和所述第二特征向量分别输入所述特征融合模块进行计算,得到第一损失函数和第二损失函数;
将所述第一损失函数和所述第二损失函数进行叠加,计算得到损失函数;
选取所述损失函数值最低的模型作为所述行人检测模型。
3.根据权利要求1所述的训练行人检测模型的方法,其特征在于,还包括:
根据预设比例由所述正负样本集计算得到第一验证集;
根据所述第一验证集对所述行人检测模型进行验证。
4.根据权利要求3所述的训练行人检测模型的方法,其特征在于,还包括:
根据预设比例由所述正负样本集计算得到第一测试集;
根据所述第一测试集对验证后的行人检测模型进行测试,得到测试结果。
5.一种行人检测方法,其特征在于,包括:
获取包含行人的待检测视频数据;
将所述待检测视频数据转化为图像序列检测样本集;
将所述图像序列检测样本集输入到如权利要求1-4任一项所述的训练行人检测模型的方法训练生成的行人检测模型,得到检测结果。
6.一种更新行人检测模型的方法,其特征在于,包括:
获取每隔预设时间的检测结果,所述检测结果为根据权利要求5所述的行人检测方法得到的检测结果;
根据所述检测结果计算得到第二训练集;
采用权利要求1-4任一项所述的方法,根据所述第二训练集得到更新模型;
判断所述更新模型和所述行人检测模型的精度;
当所述行人检测模型的精度低于所述更新模型的精度,则将所述更新模型作为行人检测模型对包含行人的视频数据进行检测;
当所述行人检测模型的精度高于所述更新模型的精度,则根据所述行人检测模型对包含行人的视频数据进行检测。
7.根据权利要求6所述的更新行人检测模型的方法,其特征在于,根据所述检测结果计算得到第二训练集,包括:
将所述检测结果中分值高于预设值的结果作为正样本集,将所述检测结果中分值低于预设值的结果作为负样本集;
根据所述正样本集和负样本集计算得到第二训练集。
8.根据权利要求6所述的更新行人检测模型的方法,其特征在于,判断所述更新模型和所述行人检测模型的精度,包括:
根据包含行人的待检测视频数据计算得到第二测试集;
根据第一测试集和所述第二测试集判断所述更新模型和所述行人检测模型的精度,所述第一测试集为根据权利要求4所述的训练行人检测模型的方法得到的第一测试集。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行如权利要求1-4、5或6-8任一项所述的方法。
10.一种行人检测设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求1-4、5或6-8任一项所述的方法。
CN201911163826.9A 2019-11-22 2019-11-22 行人检测及其模型训练、更新方法、设备及可读存储介质 Active CN111008576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911163826.9A CN111008576B (zh) 2019-11-22 2019-11-22 行人检测及其模型训练、更新方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911163826.9A CN111008576B (zh) 2019-11-22 2019-11-22 行人检测及其模型训练、更新方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111008576A true CN111008576A (zh) 2020-04-14
CN111008576B CN111008576B (zh) 2023-09-01

Family

ID=70111902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911163826.9A Active CN111008576B (zh) 2019-11-22 2019-11-22 行人检测及其模型训练、更新方法、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111008576B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507289A (zh) * 2020-04-22 2020-08-07 上海眼控科技股份有限公司 视频匹配方法、计算机设备和存储介质
CN111523452A (zh) * 2020-04-22 2020-08-11 北京百度网讯科技有限公司 用于检测图像中人体位置的方法和装置
CN111767380A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 模型自适应重训方法、装置、电子设备和存储介质
CN112132218A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN113158971A (zh) * 2021-05-11 2021-07-23 北京易华录信息技术股份有限公司 一种事件检测模型训练方法及事件分类方法、系统
CN113688761A (zh) * 2021-08-31 2021-11-23 安徽大学 一种基于图像序列的行人行为类别检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886167A (zh) * 2019-02-01 2019-06-14 中国科学院信息工程研究所 一种遮挡人脸识别方法及装置
CN109948573A (zh) * 2019-03-27 2019-06-28 厦门大学 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN109886167A (zh) * 2019-02-01 2019-06-14 中国科学院信息工程研究所 一种遮挡人脸识别方法及装置
CN109948573A (zh) * 2019-03-27 2019-06-28 厦门大学 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507289A (zh) * 2020-04-22 2020-08-07 上海眼控科技股份有限公司 视频匹配方法、计算机设备和存储介质
CN111523452A (zh) * 2020-04-22 2020-08-11 北京百度网讯科技有限公司 用于检测图像中人体位置的方法和装置
CN111523452B (zh) * 2020-04-22 2023-08-25 北京百度网讯科技有限公司 用于检测图像中人体位置的方法和装置
CN111767380A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 模型自适应重训方法、装置、电子设备和存储介质
CN112132218A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN112132218B (zh) * 2020-09-23 2024-04-16 平安国际智慧城市科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN113158971A (zh) * 2021-05-11 2021-07-23 北京易华录信息技术股份有限公司 一种事件检测模型训练方法及事件分类方法、系统
CN113158971B (zh) * 2021-05-11 2024-03-08 北京易华录信息技术股份有限公司 一种事件检测模型训练方法及事件分类方法、系统
CN113688761A (zh) * 2021-08-31 2021-11-23 安徽大学 一种基于图像序列的行人行为类别检测方法
CN113688761B (zh) * 2021-08-31 2024-02-20 安徽大学 一种基于图像序列的行人行为类别检测方法

Also Published As

Publication number Publication date
CN111008576B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
US11144786B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN108288088B (zh) 一种基于端到端全卷积神经网络的场景文本检测方法
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN112508975A (zh) 一种图像识别方法、装置、设备及存储介质
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
EP3702957B1 (en) Target detection method and apparatus, and computer device
CN112541395A (zh) 一种目标检测和跟踪方法、装置、存储介质及电子装置
WO2021147055A1 (en) Systems and methods for video anomaly detection using multi-scale image frame prediction network
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN114399729B (zh) 监控对象移动识别方法、系统、终端及存储介质
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN111739029A (zh) 基于深度学习卷积神经网络的电铲斗齿脱落检测方法
CN112991280B (zh) 视觉检测方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant