[go: up one dir, main page]

CN105975929A - 一种基于聚合通道特征的快速行人检测方法 - Google Patents

一种基于聚合通道特征的快速行人检测方法 Download PDF

Info

Publication number
CN105975929A
CN105975929A CN201610287163.1A CN201610287163A CN105975929A CN 105975929 A CN105975929 A CN 105975929A CN 201610287163 A CN201610287163 A CN 201610287163A CN 105975929 A CN105975929 A CN 105975929A
Authority
CN
China
Prior art keywords
feature
image
channel
pedestrian
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610287163.1A
Other languages
English (en)
Inventor
王文敏
黄颖
王荣刚
李革
董胜富
王振宇
李英
赵辉
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201610287163.1A priority Critical patent/CN105975929A/zh
Publication of CN105975929A publication Critical patent/CN105975929A/zh
Priority to PCT/CN2017/079519 priority patent/WO2017190574A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公布了一种基于聚合通道特征的快速行人检测方法,包括前期位置标定过程和后期位置筛选过程;前期位置标定过程聚合输入视频或图像中的多个通道特征信息,构建输入图像或视频在尺度空间中的图像金字塔,对每个尺度计算各个通道特征的图像,识别作为存在行人判别依据的特征,初步提取行人位置;后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选,进一步检测图片或视频中出现的行人,得到检测结果。采用本发明技术方案,在训练数据量大时,分类器可自动选择出具有较好识别能力的特征,作为行人判别依据,方法的鲁棒性高;也提高了行人检测的精度。

Description

一种基于聚合通道特征的快速行人检测方法
技术领域
本发明属于计算机视觉技术领域,涉及行人检测方法,尤其涉及一种基于聚合通道特征的快速行人检测方法,针对输入图像或视频,标定其中存在的行人的准确位置。
背景技术
在计算机视觉的研究中,对象检测技术有着比较长的研究历史,其中行人检测问题作为其子问题而存在,是指通过一系列自动化的处理流程完成输入图像或者视频中所存在行人位置标定的过程,其中位置标定由一个矩形框来表示,需要给出该矩形框的左上角和右下角(或矩形框的长、宽)的坐标信息。由于输入图像中行人的姿态、光照的强弱、是否有遮挡、场景的变换以及拍摄角度的不同,都会影响最终的检测效果。因此,使用一种鲁棒的方法检测图像(或视频)输入中存在的行人显得非常重要。
通过获得图像或视频中所包含行人的准确定位,机器人将可以感知周围的状况;无人机可以对特定行人进行跟踪拍摄,或者完成自动送货;无人驾驶则可以根据输入中距离行人的远近提前预判并进行有效避让,提高无人驾驶的安全性;在移动支付领域也可以通过生物特征来完成身份验证;对于多媒体网站则可以实现信息自动过滤,节省大量的人力物力,同时进化网络环境;特别是在公共安全领域,近年来随着恐怖事件的频繁发生而加大了人们对于智能安全系统建设的需求,而行人对象识别与检测技术就可以为其提供基础性的支持,使得对监控视频中的语义信息做进一步筛选成为可能,并在公共安全遭受损害前提前预警,在危机事件发生后对于危险分子快速定位,防止事件蔓延,因此该技术应用范围将非常广阔。
在行人检测的研究历程中出现了很多优秀算法。使用梯度直方图(Histogram ofGradient,HOG)特征加支持向量机(Support Vector Machine,SVM)的滑动窗口算法能够较好的克服光照的影响,因此应用较为广泛,但其在处理遮挡问题时表现不佳。Felzenszwalb和Girshick等人通过研究发现,可以使用局部可形变模型(Deformable Part Model,DPM)来描述待检测行人各个部位以及整体之间的关系,从而可以有效克服遮挡问题,但是该方法计算过程较为复杂,运行速度较慢。
发明内容
为了克服上述现有技术的不足,本发明提供一种基于聚合通道特征的快速行人检测方法,前期标定通过聚合输入视频和/或图像中的多个通道特征信息,选择出具有较好识别能力的特征作为存在行人的判别依据,增加了方法的鲁棒性,再使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选,提高对输入视频和图像中行人进行检测的精度,为智能监控等领域提供基础性技术支持。
本发明的原理是:针对输入图像或视频,行人检测即需要标定其中存在的行人的准确位置,本发明首先聚合输入视频和/或图像中的多个通道特征信息,获取聚合通道特征。通道特征是指对于原始输入图像的某种输出响应,用公式C=Ω(I)来表示。对于灰度图像而言,可以认为其本身即为最朴素的通道,而彩色图像包含了RGB三个颜色通道,同时也可以计算其对应的灰度通道或者CIELUV(色彩空间中的亮度(L)和色度(U,V)通道,也称LUV通道)。在此基础上,一阶通道特征可以定义为对某个输入通道在一定区域的像素之和,用f(C)表示。而高阶通道特征则定义为使用任意多幅一阶通道特征相互叠加后计算出的结果。利用不同通道的特征进行组合,所得到的结果向量称为聚合通道特征,可作为输入图像某一个区域的特征表示。然后,对于输入图像或者视频,构建其在尺度空间中的图像金字塔,对每个尺度计算其对应的各个通道特征的图像。但是,如果每个尺度的特征图像都要重复计算的话,将会非常耗时,因此,在计算过程中使用快速算法来构建图像特征金字塔,本发明中采用原始尺度的特征图像通过尺度缩放得到该尺度上图像的各个通道特征图像。之后,通过训练决策树模型(使用迭代变换(Iterative Dichotomiser 3,ID3)算法),从所有特征通道中自动选择出具有较好鉴别能力的特征,作为行人的分类依据,并通过该分类器提取各个尺度中行人可能出现的位置,在原始输入的尺度空间中进行标注,完成行人位置的初步提取。最后,本发明通过采用卷积神经元网络作为分类器模型,筛选所标注的每个行人位置,检测图片或视频中出现的行人。
本发明提供的技术方案是:
一种基于聚合通道特征的快速行人检测方法,包括前期位置标定过程和后期位置筛选过程;聚合输入视频或图像中的多个通道特征信息,构建输入图像或视频在尺度空间中的图像金字塔,对每个尺度计算各个通道特征的图像,识别作为存在行人判别依据的特征,初步提取行人位置;后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选,提高对输入视频和图像中行人进行检测的精度;具体包括如下步骤:
1)对每幅输入图像或视频,计算得到所述图像或视频的多通道的特征图像;
2)构建特征图像金字塔:利用步骤1)计算出的特征图像,得到所述图像或视频在尺度空间内的特征图像金字塔;
3)根据步骤2)得到的特征图像金字塔,对所述图像或视频中待识别的图像目标区域,使用所述区域内所有通道的特征图像,将所述区域表示为统一维度的特征向量,作为聚合通道特征;
4)使用决策树模型进行训练,从步骤3所述特征向量中自动选择出行人鉴别特征作为判别标准,训练得到决策树分类器,通过滑动窗口扫描对不同尺度大小的行人进行位置标定,标定位置表示为在窗口所在区域添加标注;
5)使用卷积神经元网络模型对步骤4)得到的每个位置进行筛选,得到最后的检测结果。
针对上述基于聚合通道特征的快速行人检测方法,进一步地,所述多通道包括LUV通道、梯度方向通道和梯度幅值通道。
针对上述基于聚合通道特征的快速行人检测方法,进一步地,步骤2)具体通过对所述输入图像进行上下采样的方法,构建得到所述输入图像在尺度空间内的特征图像金字塔。
针对上述基于聚合通道特征的快速行人检测方法,进一步地,步骤3)中,所述特征图像金字塔中包含的尺度为五个;所述通道为八个;所述聚合通道特征具体通过如下操作得到:
设定输入图像为I;待识别图像区域为R,在I的特征图像金字塔中包含五个尺度,记为L1,L2,...,L5;各个尺度上八个特征通道的图像记为Pxy(x=1,...,5;y=1,...,8),每个尺度上待识别图像区域R对应的区域记为r1,r2,...,r5;设i=1..5,对尺度Li下的区域ri,将所述各通道图像Piy(y=1,...,8)上的相应区域列在一起,形成区域ri的聚合通道特征。
针对上述基于聚合通道特征的快速行人检测方法,进一步地,步骤4)所述训练得到决策树分类器具体为:在使用决策树模型进行训练过程中,计算特征向量中每个维度的特征所带来的信息增益,对信息增益进行排序,依次选取出当前信息增益最大的特征,代表鉴别能力最强的行人鉴别特征,将所述行人鉴别特征作为所述决策树的结点,得到决策树分类器。
在本发明实施例中,所述决策树模型具体为迭代变换算法,输入为训练集D、特征集X和阈值ε,输出为决策树T;所述迭代变换算法执行如下操作得到决策树分类器:
41)通过式1计算得到特征向量中每个维度的特征Xi为训练集D所带来的信息增益g(D,Xi):
g(D,Xi)=H(D)-H(D|Xi) (式1)
式1中,为训练数据集D本身的熵,其中pk为训练数据集D中第k个类别出现的概率,k只有两个取值,k=1代表行人和k=2代表非行人;为特征Xi给定条件下训练集D的条件熵;
42)对步骤41)得到的不同特征向量所得信息增益进行排序,选取出信息增益最大的特征向量作为行人鉴别特征,将所述行人鉴别特征作为所述决策树的结点,得到决策树分类器。
针对上述基于聚合通道特征的快速行人检测方法,进一步地,步骤4)所述标注形式(x,y,w,h),其中(x,y)为所述区域左上角的坐标,(w,h)为所述区域的宽度和高度。
针对上述基于聚合通道特征的快速行人检测方法,进一步地,步骤5)所述使用卷积神经元网络模型对步骤4)得到的每个位置进行筛选,所述卷积神经元网络分类模型采用AlexNet网络结构,包括五个卷基层和两个全连接层;通过对步骤4)得到的图像中所有添加标注的区域,使用所述AlexNet网络进行再次分类,标注出行人,完成行人检测。
更进一步地,所述再次分类包括如下步骤:
51)通过所述AlexNet网络的五个卷基层将要分类的每个区域r表示成一个4096维的向量,作为区域r的特征向量;
52)通过一个分类层Softmax层,输入步骤51)所述4096维的特征向量,输出一个2维向量;所述输出向量中的第一维表示所述区域r识别为行人的概率,所述输出向量中的第二维表示所述区域r识别不为行人的概率;
53)通过设定概率阈值,确定所述区域r是否为行人,完成行人检测。
在本发明实施例中,步骤53)所述设定值为0.9。
与现有技术相比,本发明的有益效果是:
一种基于聚合通道特征的快速行人检测方法,包括前期位置标定过程和后期位置筛选过程;聚合输入视频或图像中的多个通道特征信息,构建输入图像或视频在尺度空间中的图像金字塔,对每个尺度计算各个通道特征的图像,识别作为存在行人判别依据的特征,初步提取行人位置;后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选,提高对输入视频和图像中行人进行检测的精度。与现有技术相比,本发明技术方案具有如下特点:
(一)本发明利用了输入中的多个通道特征的信息,因此在拥有很多训练数据时,分类器可以自动选择出具有较好识别能力的特征,将其作为判别某个位置是否可能存在行人的判别依据,增加了方法的鲁棒性。
(二)本发明在得到最终结果前,使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选,提高了检测精度。
附图说明
图1是本发明提供的基于聚合通道特征的快速行人检测方法的流程框图。
图2是本发明实施例通过滑动窗口扫描对不同尺度大小的行人进行位置标定示意图。
图3是本发明实施例使用到的聚合通道特征;
其中,(a)为输入的图像;(b)为L颜色通道的图像;(c)为U颜色通道的图像;(d)为V颜色通道的图像;(e)为梯度幅值通道的图像;(f)为第一个梯度方向通道的图像;(g)为第二个梯度方向通道的图像;(h)为第三个梯度方向通道的图像;(i)为第四个梯度方向通道的图像。
图4是本发明实施例根据多通道特征图像在尺度空间构建得到特征图像金字塔的示意图;
其中,(a)是原始尺度梯度幅值通道的图像;(b)是(a)缩放75%后对应尺度上梯度幅值通道的图像;(c)是(a)缩放50%或对应尺度上梯度幅值通道的图像;(d)是(a)缩放25%后对应尺度上梯度幅值通道的图像。
图5是本发明实施例使用多通道特征图像生成图像区域块特征向量的示意图;
其中,(a)是输入图像;(b)-(i)对应图3说明的各个通道,包括LUV通道、梯度方向通道和梯度幅值通道,同时用矩形框标注出其中待识别区域;(j)是图像中待识别区域的聚合通道特征。
图6是本发明实施例使用卷积神经元网络对前期提取的行人位置进行分类过程的示意图。
图7是本发明实施例在INRIA行人数据集上采用本发明方法与其它现有方法的性能指标对比图;
其中,横坐标为平均误检数,单位为个/帧;纵坐标为漏检率,单位为%;OURs为本发明提供方法;VJ为OpenCV中使用的方法;HOG为梯度直方图(Histogram of Gradient);ACF为聚合通道特征(Aggregate Channel Features)。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明提供一种基于聚合通道特征的快速行人检测方法,包括前期位置标定过程和后期位置筛选过程;图1是本发明实施例中的基于聚合通道特征的快速行人检测方法的流程框图。前期标定通过聚合输入视频和/或图像中的多个通道特征信息;通过构建输入图像或者视频在尺度空间中的图像金字塔,对每个尺度计算其对应的各个通道特征的图像;选择出具有较好识别能力的特征作为存在行人的判别依据,增加了方法的鲁棒性,初步提取行人位置;后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选,提高对输入视频和图像中行人进行检测的精度,为智能监控等领域提供基础性技术支持。其中,图像尺度空间金字塔是对于一幅图像进行缩放后得到的一组图像,他们是对不同距离和不同清晰度条件下输入图像的映射。卷积神经元网路是计算机视觉中所使用的一种分类器模型,它的作用是将不同类别的图片区分开来。
基于多通道聚合特征完成行人检测过程,需要对不同尺度大小的行人完成位置标定,整个过程称为滑动窗口扫描,图2是本发明实施例通过滑动窗口扫描对不同尺度大小的行人进行位置标定示意图。滑动窗口扫描过程中,需要对图像中不同大小的区域块进行判定,通过不断调整区域块大小并穷尽搜索整幅图像,得到其中行人。本发明提供一种基于聚合通道特征的快速行人检测方法,在具体实施中,主要包括如下步骤(见图1):
1)对每幅输入图像,计算其各个通道的特征图像;
本实施例中,对每幅输入图像计算了图像的LUV通道、梯度方向通道和梯度幅值通道的特征;图3表示了本实施使用到的聚合通道特征,其中,(a)为输入的图像;(b)为L颜色通道的图像;(c)为U颜色通道的图像;(d)为V颜色通道的图像;(e)为梯度幅值通道的图像;(f)为第一个梯度方向通道的图像;(g)为第二个梯度方向通道的图像;(h)为第三个梯度方向通道的图像;(i)为第四个梯度方向通道的图像。
2)构建特征图像金字塔:利用上一步计算出的特征图像,得到其在尺度空间内的特征图像金字塔;
此过程直接通过将原始特征图像上下采样的形式,构建尺度空间内特征图像金字塔,该特征图像金字塔作为下一步骤的输入;图4是本发明实施例根据多通道特征图像在尺度空间构建得到特征图像金字塔的示意图;其中,(a)是原始尺度梯度幅值通道的图像;(b)是(a)缩放75%后对应尺度上梯度幅值通道的图像;(c)是(a)缩放50%或对应尺度上梯度幅值通道的图像;(d)是(a)缩放25%后对应尺度上梯度幅值通道的图像。
3)对待识别的图像目标区域,使用该区域内所有通道的特征图像将该区域表示为统一维度的特征向量,作为聚合通道特征;
设定输入图像为I,待识别图像区域为R,在I的特征图像金字塔中包含五个尺度(L1,L2,...,L5)上十个特征通道的图像Pxy(x=1,...,5;y=1,...,10),每个尺度上待识别图像区域R对应的区域为r1,r2,...,r5。对尺度Li下的区域ri,取各通道图像Piy(y=1,...,10)上的对应区域列在一起,形成ri的聚合通道特征。图5示意了本实施例使用各通道特征图像生成图像区域块特征向量;其中,(a)是输入图像;(b)-(i)对应图3说明的各个通道,包括LUV通道、梯度方向通道(图中(f)-(i)显示了6个梯度方向通道中的4个作为示例)和梯度幅值通道,同时用矩形框标注出其中待识别区域;(j)是图像中待识别区域的聚合通道特征。本实施例中,对于不同大小的图像区域,将其归一化到128x64维度的向量上进行表示。
4)使用决策树模型(本发明实施例采用迭代变换(Iterative Dichotomiser 3,ID3)算法)自动选择出其中具有鉴别能力的特征(行人鉴别特征)作为判别标准,训练得到决策树分类器,通过滑动窗口扫描对不同尺度大小的行人进行位置标定,获得待测试图像中行人可能出现的位置;
在训练过程中,ID3算法首先计算特征向量中每个维度的特征Xi为训练集D所带来的信息增益g(D,Xi)(亦称为互信息),通过如下公式(式1)计算得到:
g(D,Xi)=H(D)-H(D|Xi) (式1)
其中,为训练数据集D本身的熵,pk为训练数据集D中第k个类别出现的概率,此处k只有两个取值,k=1(行人)和k=2(非行人);为特征Xi给定条件下训练集D的条件熵;
之后对不同特征所得信息增益进行排序,选取出当前鉴别能力最强的特征(信息增益最大)作为决策树的结点,得到决策树分类器。ID3算法的输入为训练集D、特征集X和阈值ε,输出为决策树T,具体计算过程如下:
(a)若D中所有实例属于同一个类Ck,则T为单结点树,并将Ck作为该结点的类标记,返回T;
(b)若X=Φ,则T为单结点树,将D中实例数最多的类Ck作为该结点的类标记,返回T;
(c)否则,当X≠Φ时,计算X中各个特征对D的信息增益,选择信息增益最大的特征Xi,若Xi的信息增益小于ε,则T为单结点树,并将D中实例数最多的类Ck作为该结点的类标记,返回T;
(d)若Xi的信息增益大于等于ε,对Xi的每一个可能值xj,按照Xi=xj,将D划分为若干非空子集Dj,将Dj中实例数最大的类作为标记,构建子结点,由结点及其子结点构成树T,返回T;
(e)对第j个子结点,以Dj为训练集,以X-{Xi}为特征集,递归地调用(a)-(d),得到子树Tj,返回Tj
对测试图像,通过滑动窗口的方法获得当前待判别区域,使用训练好的决策树模型判别该区域是否是行人,若判别结果为正,则为该窗口所在区域添加标注,标注形式为(x,y,w,h),其中(x,y)为该区域左上角的坐标,(w,h)为该区域的宽度和高度;
5)使用卷积神经元网络模型对上述得到的每个位置进行筛选,得到最后的检测结果。
对上一步得到的图像中所有标注过的区域,使用卷积神经元网络分类模型对此区域进行再次分类。本发明在实验中采用了AlexNet网络结构(实际实施过程可不限于该网络结构),此网络中有五个卷积层:卷积层1,(conv1,包含96个11x11x3的卷积核),卷积层2(conv2,包含256个5x5的卷积核),卷积层3(conv3,包含384个3x3的卷积核),卷积层4(conv4,包含384个3x3的卷积核),卷积层5(conv5,包含256个3x3的卷积核);两个全连接层:全连接层1(fc1,输入为6×6×256维的卷积特征向量,输出为4096维)和全连接层2(fc2,输入和输出均为4096维)。这个过程中对于要分类的每个区域r,经过此网络的计算后,将会得到一个4096维(fc2的输出维度)的特征向量作为此区域的特征表达,使用该表达,通过一个分类层(Softmax层,该层依据本发明任务添加,它的输入为fc2层所输出的4096维的向量,输出为2维的向量,输出向量中每个维度的取值范围在[0,1]区间内,其中第一维表示此区域为行人的概率,第二维表示此区域不为行人的概率),从而得到该区域是否为行人。图6是本发明实施例使用卷积神经元网络对前期提取的行人位置进行分类过程的示意图。如图6所示,对所得概率值大于0.9的区域,标注其为行人,标注形式为(x,y,w,h,s),其中(x,y,w,h)与步骤4中标注意义相同,s为所得概率值,从而得到最后的检测结果。
在本发明实施例中,我们采用了输入图像的颜色特征通道,具体使用图像的CIELUV色彩空间而非原始的RGB空间,因为CIELUV色彩空间中光照的变化对所提取的特征干扰较小。对于每个点所计算得到的梯度方向,将其量化到六个角度范围内,并用该方向梯度幅值对其进行加权,得到六个梯度方向的特征通道。六个角度范围为:[0,π/3],(π/3,2π/3],(2π/3,π],(π,4π/3],(4π/3,5π/3],(5π/3,2π]。
最后,还将梯度幅值本身单独作为一个特征通道。因此,对于输入有总共十个特征通道的数据作为其特征表示。
对于检测性能的评测,采用平均误检数(False Positive Per Image,FPPI)与漏检率(Miss rate)指标作为最终评测指标,该值表示固定误检数时,每幅图像的漏检率是多少,该指标数值越低说明算法的检测性能越好。图7显示了本发明与其他一些成熟算法在通用的INRIA行人数据集下检测性能指标的结果对比,其中横坐标为平均误检数(单位:个/帧),纵坐标为漏检率(%)。OURs为本发明方法的检测性能,从图中可看出,本发明方法OURs的检测性能优于VJ(OpenCV中使用的方法)、梯度直方图(Histogram of Gradient,HOG)算法和聚合通道特征(Aggregate Channel Features,ACF)算法的检测性能。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于聚合通道特征的快速行人检测方法,包括前期位置标定过程和后期位置筛选过程;前期位置标定过程聚合输入视频或图像中的多个通道特征信息,构建输入图像或视频在尺度空间中的图像金字塔,对每个尺度计算各个通道特征的图像,识别作为存在行人判别依据的特征,初步提取行人位置;后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选,提高对输入视频和图像中行人进行检测的精度;具体包括如下步骤:
1)对每幅输入图像或视频,计算得到所述图像或视频的多通道的特征图像;
2)构建特征图像金字塔:利用步骤1)计算出的特征图像,得到所述图像或视频在尺度空间内的特征图像金字塔;
3)根据步骤2)得到的特征图像金字塔,对所述图像或视频中待识别的图像目标区域,使用所述区域内所有通道的特征图像,将所述区域表示为统一维度的特征向量,作为聚合通道特征;
4)使用决策树模型进行训练,从步骤3所述特征向量中自动选择出行人鉴别特征作为判别标准,训练得到决策树分类器,通过滑动窗口扫描对不同尺度大小的行人进行位置标定,标定位置表示为在窗口所在区域添加标注;
5)使用卷积神经元网络模型对步骤4)得到的每个位置进行筛选,得到最后的检测结果。
2.如权利要求1所述基于聚合通道特征的快速行人检测方法,其特征是,所述多通道包括LUV通道、梯度方向通道和梯度幅值通道。
3.如权利要求1所述基于聚合通道特征的快速行人检测方法,其特征是,步骤2)具体通过对所述输入图像进行上下采样的方法,构建得到所述输入图像在尺度空间内的特征图像金字塔。
4.如权利要求1所述基于聚合通道特征的快速行人检测方法,其特征是,步骤3)中,所述特征图像金字塔中包含的尺度为五个;所述通道为十个;所述聚合通道特征具体通过如下操作得到:
设定输入图像为I;待识别图像区域为R,在I的特征图像金字塔中包含五个尺度,记为L1,L2,...,L5;各个尺度上十个特征通道的图像记为Pxy(x=1,...,5;y=1,...,10),每个尺度上待识别图像区域R对应的区域记为r1,r2,...,r5;设i=1..5,对尺度Li下的区域ri,将所述各通道图像Piy(y=1,...,10)上的相应区域列在一起,形成区域ri的聚合通道特征。
5.如权利要求1所述基于聚合通道特征的快速行人检测方法,其特征是,步骤4)所述训练得到决策树分类器具体为:在使用决策树模型进行训练过程中,计算特征向量中每个维度的特征所带来的信息增益,对信息增益进行排序,依次选取出当前信息增益最大的特征,代表鉴别能力最强的行人鉴别特征,将所述行人鉴别特征作为所述决策树的结点,得到决策树分类器。
6.如权利要求5所述基于聚合通道特征的快速行人检测方法,其特征是,所述决策树模型具体为迭代变换算法,输入为训练集D、特征集X和阈值ε,输出为决策树T;所述迭代变换算法执行如下操作得到决策树分类器:
41)通过式1计算得到特征向量中每个维度的特征Xi为训练集D所带来的信息增益g(D,Xi):
g(D,Xi)=H(D)-H(D|Xi) (式1)
式1中,为训练数据集D本身的熵,其中pk为训练数据集D中第k个类别出现的概率,k只有两个取值,k=1代表行人和k=2代表非行人;为特征Xi给定条件下训练集D的条件熵;
42)对步骤41)得到的不同特征向量所得信息增益进行排序,选取出信息增益最大的特征向量作为行人鉴别特征,将所述行人鉴别特征作为所述决策树的结点,得到决策树分类器。
7.如权利要求1所述基于聚合通道特征的快速行人检测方法,其特征是,步骤4)所述标注的形式为(x,y,w,h);其中,(x,y)为所述区域左上角的坐标,(w,h)为所述区域的宽度和高度。
8.如权利要求1所述基于聚合通道特征的快速行人检测方法,其特征是,步骤5)所述使用卷积神经元网络模型对步骤4)得到的每个位置进行筛选,所述卷积神经元网络分类模型采用AlexNet网络结构,包括五个卷积层和两个全连接层;通过对步骤4)得到的图像中所有添加标注的区域,使用所述AlexNet网络进行再次分类,标注出行人,完成行人检测。
9.如权利要求8所述基于聚合通道特征的快速行人检测方法,其特征是,所述再次分类包括如下步骤:
51)通过所述AlexNet网络的五个卷基层将要分类的每个区域r表示成一个4096维的向量,作为区域r的特征向量;
52)通过一个分类层Softmax层,输入步骤51)所述4096维的特征向量,输出一个2维向量;所述输出向量中的第一维表示所述区域r识别为行人的概率,所述输出向量中的第二维表示所述区域r识别不为行人的概率;
53)通过设定概率阈值,确定所述区域r是否为行人,完成行人检测。
10.如权利要求9所述基于聚合通道特征的快速行人检测方法,其特征是,步骤53)所述概率阈值设定为0.9。
CN201610287163.1A 2016-05-04 2016-05-04 一种基于聚合通道特征的快速行人检测方法 Pending CN105975929A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610287163.1A CN105975929A (zh) 2016-05-04 2016-05-04 一种基于聚合通道特征的快速行人检测方法
PCT/CN2017/079519 WO2017190574A1 (zh) 2016-05-04 2017-04-06 一种基于聚合通道特征的快速行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610287163.1A CN105975929A (zh) 2016-05-04 2016-05-04 一种基于聚合通道特征的快速行人检测方法

Publications (1)

Publication Number Publication Date
CN105975929A true CN105975929A (zh) 2016-09-28

Family

ID=56994941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610287163.1A Pending CN105975929A (zh) 2016-05-04 2016-05-04 一种基于聚合通道特征的快速行人检测方法

Country Status (2)

Country Link
CN (1) CN105975929A (zh)
WO (1) WO2017190574A1 (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN106779055A (zh) * 2017-01-10 2017-05-31 北京邮电大学 图像特征提取方法和装置
CN106778913A (zh) * 2017-01-13 2017-05-31 山东大学 一种基于像素级联特征的模糊车牌检测方法
CN106845527A (zh) * 2016-12-29 2017-06-13 南京江南博睿高新技术研究院有限公司 一种菜品识别方法
CN107092884A (zh) * 2017-04-20 2017-08-25 宋佳颖 一种快速粗精级联行人检测方法
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
WO2017190574A1 (zh) * 2016-05-04 2017-11-09 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技(深圳)有限公司 行人检测方法及终端设备
CN107463629A (zh) * 2017-07-14 2017-12-12 青岛海尔智能技术研发有限公司 基于3d技术的图像数据库建立方法和系统
CN107491762A (zh) * 2017-08-23 2017-12-19 珠海安联锐视科技股份有限公司 一种行人检测方法
CN107972026A (zh) * 2016-10-25 2018-05-01 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN108334099A (zh) * 2018-01-26 2018-07-27 上海深视信息科技有限公司 一种高效的无人机人体跟踪方法
CN108460336A (zh) * 2018-01-29 2018-08-28 南京邮电大学 一种基于深度学习的行人检测方法
CN108460407A (zh) * 2018-02-02 2018-08-28 东华大学 一种基于深度学习的行人属性精细化识别方法
CN108764110A (zh) * 2018-05-23 2018-11-06 大连民族大学 基于hog特征行人检测器的递归错检校验方法、系统及设备
CN108875537A (zh) * 2018-02-28 2018-11-23 北京旷视科技有限公司 对象检测方法、装置和系统及存储介质
WO2019007004A1 (zh) * 2017-07-04 2019-01-10 北京大学深圳研究生院 用于行人重识别的图像特征提取方法
WO2019072128A1 (zh) * 2017-10-09 2019-04-18 北京京东尚科信息技术有限公司 对象识别方法及其系统
US10296794B2 (en) 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
CN109903308A (zh) * 2017-12-08 2019-06-18 百度在线网络技术(北京)有限公司 用于获取信息的方法及装置
CN109934296A (zh) * 2019-03-18 2019-06-25 江苏科技大学 一种基于红外和可见光图像多环境下水面人员识别方法
WO2019175686A1 (en) 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN111814662A (zh) * 2020-07-07 2020-10-23 北京航空航天大学 基于微型卷积神经网络的可见光图像飞机快速检测方法
CN113723232A (zh) * 2021-08-16 2021-11-30 绍兴市北大信息技术科创中心 一种根据通道协同注意力的车辆重识别方法
CN114128490A (zh) * 2021-11-29 2022-03-04 西南大学 一种手持式花椒剪切脱粒机器
CN120071412A (zh) * 2024-12-26 2025-05-30 昆明仁量科技有限公司 基于多任务级联卷积网络的人脸识别处理方法及存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537117B (zh) * 2018-03-06 2022-03-11 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108846843A (zh) * 2018-04-03 2018-11-20 南昌奇眸科技有限公司 一种图像特征提取方法
CN110516512B (zh) * 2018-05-21 2023-08-25 北京中科奥森数据科技有限公司 行人属性分析模型的训练方法、行人属性识别方法及装置
CN110188766B (zh) * 2019-04-17 2023-06-30 平安科技(深圳)有限公司 基于卷积神经网络的图像主目标检测方法及装置
CN110309747B (zh) * 2019-06-21 2022-09-16 大连理工大学 一种支持多尺度快速深度行人检测模型
CN110390283B (zh) * 2019-07-12 2023-01-03 易诚高科(大连)科技有限公司 一种商业场景下跨摄像头行人重检索方法
CN110555420B (zh) * 2019-09-09 2022-04-12 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法
CN110909591B (zh) * 2019-09-29 2022-06-10 浙江大学 用编码向量的行人图像检测自适应非极大值抑制处理方法
CN111062335B (zh) * 2019-12-19 2022-06-14 航天物联网技术有限公司 一种基于机器学习的公交客流统计方法
CN111353385B (zh) * 2020-01-23 2023-03-17 广东工业大学 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111488839B (zh) * 2020-04-14 2023-05-12 上海富瀚微电子股份有限公司 一种目标检测方法和目标检测系统
CN111832450B (zh) * 2020-06-30 2023-11-28 成都睿沿科技有限公司 基于图像识别的持刀检测方法
CN111899233A (zh) * 2020-07-20 2020-11-06 中纺标(深圳)检测有限公司 混纺纤维形态特征鉴定模型、其训练方法以及鉴别方法
CN112418248B (zh) * 2020-11-19 2024-02-09 无锡禹空间智能科技有限公司 基于fpga加速器的目标检测方法及系统
CN112926457B (zh) * 2021-02-26 2022-09-06 中国电子科技集团公司第二十八研究所 一种基于融合频域和空间域网络模型的sar图像识别方法
CN112949484B (zh) * 2021-03-01 2022-04-26 浙江大学 一种高速铁路落石实时检测方法
CN113763300B (zh) * 2021-09-08 2023-06-06 湖北工业大学 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
CN113807587B (zh) * 2021-09-18 2022-07-26 西安未来国际信息股份有限公司 一种基于多梯核深度神经网络模型积分预警方法以及系统
CN115457520B (zh) * 2022-09-06 2025-09-26 东南大学 一种基于多层次特征聚合网络的动车油迹检测方法
CN116363597B (zh) * 2023-05-04 2025-11-18 长沙海信智能系统研究院有限公司 一种人员聚集行为识别方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366160A (zh) * 2013-06-28 2013-10-23 西安交通大学 融合肤色、人脸和敏感部位检测的不良图像判别方法
CN104063719A (zh) * 2014-06-27 2014-09-24 深圳市赛为智能股份有限公司 基于深度卷积网络的行人检测方法及装置
CN104537647A (zh) * 2014-12-12 2015-04-22 中安消技术有限公司 一种目标检测方法及装置
CN104850844A (zh) * 2015-05-27 2015-08-19 成都新舟锐视科技有限公司 一种基于快速构建图像特征金字塔的行人检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679187B (zh) * 2012-09-12 2018-07-27 深圳先进技术研究院 图像识别方法和系统
CN105046197B (zh) * 2015-06-11 2018-04-17 西安电子科技大学 基于聚类的多模板行人检测方法
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN106339686A (zh) * 2016-08-29 2017-01-18 江苏大学 一种基于稀疏判别模板特征的行人检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366160A (zh) * 2013-06-28 2013-10-23 西安交通大学 融合肤色、人脸和敏感部位检测的不良图像判别方法
CN104063719A (zh) * 2014-06-27 2014-09-24 深圳市赛为智能股份有限公司 基于深度卷积网络的行人检测方法及装置
CN104537647A (zh) * 2014-12-12 2015-04-22 中安消技术有限公司 一种目标检测方法及装置
CN104850844A (zh) * 2015-05-27 2015-08-19 成都新舟锐视科技有限公司 一种基于快速构建图像特征金字塔的行人检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘文志: "《科学计算与企业级应用的并行优化》", 31 July 2015 *
卢宏涛等: "深度卷积神经网络在计算机视觉中的应用研究综述", 《数据采集与处理》 *
李庆武等: "基于多尺度聚合通道特征的实时行人检测", 《电子测量与仪器学报》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017190574A1 (zh) * 2016-05-04 2017-11-09 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN107972026B (zh) * 2016-10-25 2021-05-04 河北亿超机械制造股份有限公司 机器人、机械臂及其控制方法和装置
CN107972026A (zh) * 2016-10-25 2018-05-01 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN106650806B (zh) * 2016-12-16 2019-07-26 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
US10296794B2 (en) 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
CN106845527A (zh) * 2016-12-29 2017-06-13 南京江南博睿高新技术研究院有限公司 一种菜品识别方法
CN106779055A (zh) * 2017-01-10 2017-05-31 北京邮电大学 图像特征提取方法和装置
CN106779055B (zh) * 2017-01-10 2019-06-21 北京邮电大学 图像特征提取方法和装置
CN106778913B (zh) * 2017-01-13 2020-11-10 山东大学 一种基于像素级联特征的模糊车牌检测方法
CN106778913A (zh) * 2017-01-13 2017-05-31 山东大学 一种基于像素级联特征的模糊车牌检测方法
CN107092884A (zh) * 2017-04-20 2017-08-25 宋佳颖 一种快速粗精级联行人检测方法
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技(深圳)有限公司 行人检测方法及终端设备
WO2019007004A1 (zh) * 2017-07-04 2019-01-10 北京大学深圳研究生院 用于行人重识别的图像特征提取方法
CN107273936B (zh) * 2017-07-07 2020-09-11 广东工业大学 一种gan图像处理方法及系统
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
CN107463629A (zh) * 2017-07-14 2017-12-12 青岛海尔智能技术研发有限公司 基于3d技术的图像数据库建立方法和系统
CN107491762A (zh) * 2017-08-23 2017-12-19 珠海安联锐视科技股份有限公司 一种行人检测方法
WO2019072128A1 (zh) * 2017-10-09 2019-04-18 北京京东尚科信息技术有限公司 对象识别方法及其系统
CN109903308A (zh) * 2017-12-08 2019-06-18 百度在线网络技术(北京)有限公司 用于获取信息的方法及装置
CN109903308B (zh) * 2017-12-08 2021-02-26 百度在线网络技术(北京)有限公司 用于获取信息的方法及装置
CN108334099B (zh) * 2018-01-26 2021-11-19 上海深视信息科技有限公司 一种高效的无人机人体跟踪方法
CN108334099A (zh) * 2018-01-26 2018-07-27 上海深视信息科技有限公司 一种高效的无人机人体跟踪方法
CN108460336A (zh) * 2018-01-29 2018-08-28 南京邮电大学 一种基于深度学习的行人检测方法
CN108460407A (zh) * 2018-02-02 2018-08-28 东华大学 一种基于深度学习的行人属性精细化识别方法
CN108875537A (zh) * 2018-02-28 2018-11-23 北京旷视科技有限公司 对象检测方法、装置和系统及存储介质
WO2019175686A1 (en) 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN108764110A (zh) * 2018-05-23 2018-11-06 大连民族大学 基于hog特征行人检测器的递归错检校验方法、系统及设备
CN108764110B (zh) * 2018-05-23 2021-03-23 大连民族大学 基于hog特征行人检测器的递归错检校验方法、系统及设备
CN109934296A (zh) * 2019-03-18 2019-06-25 江苏科技大学 一种基于红外和可见光图像多环境下水面人员识别方法
CN111814662A (zh) * 2020-07-07 2020-10-23 北京航空航天大学 基于微型卷积神经网络的可见光图像飞机快速检测方法
CN111814662B (zh) * 2020-07-07 2022-06-24 北京航空航天大学 基于微型卷积神经网络的可见光图像飞机快速检测方法
CN113723232A (zh) * 2021-08-16 2021-11-30 绍兴市北大信息技术科创中心 一种根据通道协同注意力的车辆重识别方法
CN114128490A (zh) * 2021-11-29 2022-03-04 西南大学 一种手持式花椒剪切脱粒机器
CN114128490B (zh) * 2021-11-29 2024-07-30 西南大学 一种手持式花椒剪切脱粒机器
CN120071412A (zh) * 2024-12-26 2025-05-30 昆明仁量科技有限公司 基于多任务级联卷积网络的人脸识别处理方法及存储介质

Also Published As

Publication number Publication date
WO2017190574A1 (zh) 2017-11-09

Similar Documents

Publication Publication Date Title
CN105975929A (zh) 一种基于聚合通道特征的快速行人检测方法
CN107506763B (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
CN111767882B (zh) 一种基于改进yolo模型的多模态行人检测方法
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN107134144B (zh) 一种用于交通监控的车辆检测方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN104778453B (zh) 一种基于红外行人亮度统计特征的夜间行人检测方法
CN103530600B (zh) 复杂光照下的车牌识别方法及系统
CN108154102B (zh) 一种道路交通标志识别方法
CN109190444B (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN103871077B (zh) 一种道路车辆监控视频中的关键帧提取方法
CN105447503B (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN102915433B (zh) 基于字符组合的车牌定位和识别方法
Wang et al. License plate detection using gradient information and cascade detectors
CN105160340A (zh) 一种车辆品牌识别系统及方法
CN104050684B (zh) 一种基于在线训练的视频运动目标分类方法与系统
CN107273866A (zh) 一种基于监控系统的人体异常行为识别方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN109271932A (zh) 基于颜色匹配的行人再识别方法
CN107657225A (zh) 一种基于聚合通道特征的行人检测方法
CN108537286A (zh) 一种基于关键区域检测的复杂目标精准识别方法
CN104143077B (zh) 基于图像的行人目标检索方法和系统
CN106934355A (zh) 基于深度卷积神经网络的车内手检测方法
KR101742115B1 (ko) 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법
CN112101114A (zh) 一种视频目标检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928

WD01 Invention patent application deemed withdrawn after publication