一种红外图像和彩色图像融合的人流量统计方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种红外图像和彩色图像融合的人流量统计方法。
背景技术
随着社会不断的进步,社会情况越来越复杂,管理者需要往往需要知道各地的实际情况,尤其在超市、地铁、码头以及车站等公共场所,具有人流量较大,人员分布情况复杂等特点,所以这些出入口处通常安装有监控设备。通过这些监控设备,管理人员可以实时了解掌握监控区域的安全运行情况。但是,随着通道人流量的增加,管理者很多时候需要掌握相应通道在一定时间段内的人流量信息。就这个需要目前主要有以下几种方法:
第一种,通过人工统计的方式。这种方式一方面需要长时间的人力资源的消耗;另一方面,随着时间的推移,人工统计的效果会逐渐变差,影响最终的人流量统计结果,而且该方法的实时性比较差。
第二种,通过传感器方式。这种方式在需要进行人流量统计的通道口安装传感器,其中包括机械式传感器和红外传感器,该方法主要受传感器的分布影响较大,而且对传感器的精度和使用寿命都有较高要求,同时对于人流分布不均匀,人流遮挡等复杂情况的辨识度低,统计效果不理想。
第三种,基于视频监控的技术。其中又可以分为以下几种1)基于行人检测跟踪的方法;2)基于特征点轨迹聚类的方法;3)基于底层特征回归的方法;这三类方法往往都需要用到彩色摄像头,前两类方法主要基于运动检测跟踪,对于非人体目标的辨识度不是很大,容易漏检,而基于底层特征回归的方法,则是利用训练分类的方法,来尽可能的实现各种复杂人头的识别,但在实际操作中,训练的分类器不可能考虑所有人头的变化,所以也是比较难以实现的,同时基于彩色摄像头进行人流量统计不可避免的受到环境光线的影响,这是彩色图像无法克服的问题。
发明内容
为了克服传统单一的基于彩色摄像头的人像检测中,受环境影响大,人脸辨识度低,近红外摄像头中分类器训练麻烦等问题,本发明提供一种具有良好自适应能力和可靠性的基于红外图像和彩色图像融合的人流量统计方法。
本发明的目的是通过以下技术方案来实现的:一种红外图像和彩色图像融合的人流量统计方法,包括以下步骤:
(1)利用标定模板法对红外摄像头和彩色摄像头进行标定,获得红外图像和彩色图像像素点之间的匹配关系;
(2)计算环境光亮度,若环境光亮度大于阈值时,则执行步骤3;若环境光亮度小于阈值,则执行步骤4;
(3)利用自适应混合高斯模型区分彩色图像的前后景,获得运动前景,得到一系列人体运动包围框;利用红外图像区分彩色图像的人体运动包围框中的人体和其他非人体区域;根据人体运动包围框和去除非人体区域后的运动前景得到人头数统计结果;
(4)利用基于人脸血流模型的识别技术对红外图像进行人脸识别,得到人头数统计结果。
进一步地,所述步骤(2)具体为:
a.设定白天晴天中午日照条件下的图像平均亮度作为基准光亮度;
b.计算彩色图像的平均亮度,若低于基准光亮度的一半,则采用以红外图像为主的统计方法,若高于基准光亮度的一半,则采用以彩色图像为主结合红外图像的统计方法。
进一步地,所述步骤(3)中,所述利用自适应混合高斯模型区分彩色图像的前后景,获得运动前景,得到一系列人体运动包围框,包括以下子步骤:
a.随机建立K个高斯分布;
b.如果彩色图像的某个像素的观测值位于高斯混合模型中某一高斯分布的2.5个标准偏差范围内,则认为其与该高斯分布配对;
c.根据配对的情况对所有高斯分布的权值进行更新;
d.如果某个像素不存在配对的高斯分布,则将概率值最小的高斯分布替换为一个均值为该像素的观测值、大方差、小权值的高斯分布,对下一帧图像重复执行步骤b-d;
e.按照权值和与其对应的标准差的比值对K个高斯分布降序排列,把权值之和大于背景闭值T的最前面的b个高斯分布作为背景模型B,
即有:这里ωk为第k个高斯分布的权值;
f.在背景模型B确定后,即可对图像中的背景像素和前景像素进行区分,如果新观测的像素与该b个高斯分布中的某一个配对,则认为其属于背景,否则属于前景,最终得到一系列人体运动包围框。
进一步地,所述步骤(3)中,所述利用红外图像区分彩色图像的人体运动包围框中的人体和其他非人体区域,包括以下子步骤:
a.对获得的运动前景图像进行滤波、孔洞填补等预处理;
b.根据步骤1获得的红外图像和彩色图像像素点之间的匹配关系,根据温谱图去除彩色图像人体运动包围框的非生物特征的区域,该过程只去除属于连通边界的部分,对于会形成孔洞的区域不进行剔除。
进一步地,所述步骤(3)中,所述根据人体运动包围框和去除非人体区域后的运动前景得到人头数统计结果,具体包括以下子步骤:
a.在摄像头拍摄方向设置检测线,若有符合人体红外特征的包围框碰撞到检测线,则对彩色图像中的人体运动包围框进行从上到下的扫描,并记录人体扫描宽度;
b.将扫描过程中扫描宽度突然变大的扫描高度作为阶跃高度,计算初始扫描高度到阶跃高度之间人体扫描宽度的平均值x1,同时计算阶跃高度之后经过相同扫描高度的人体扫描宽度的平均值x2;若x1和x2的比值在人体头宽和肩膀宽度比例的变化范围之内,则记为一个人头数;若出现多人遮挡时,即人体运动包围框内扫描线出现中断情况,则根据扫描数据的间隔数量N,计算实际人人头数为N+1;
c.统计两个方向上的人流量,获得最后的总人流量。
进一步地,所述步骤4具体包括以下子步骤:
a.利用自适应混合高斯模型区分红外图像的前后景,获得运动前景,得到一系列人体运动包围框;
b.利用人脸血流图模型建立模型库,进行训练;
c.利用离线的数据库对于运动前景中的人脸进行识别;
d.设置碰撞检测线,进行人流量统计。
本发明具有的有益效果是:
1、整套系统采用两种摄像头,彩色摄像头,红外摄像头,通过相机标定实现图像之间的匹配,利用融合判断的方法,提高人头辨识率。
2、利用彩色图像进行环境光亮度的判断,根据不同光亮度选择不同的人流量统计方法,提高统计结果的准确性。
3、在光照充足的情况下,采用以彩色图像为主,红外图像为辅的方法进行人流量统计,利用红外图像去除多余的非生物区域,采用扫描线方法快速获得人头统计数量,得到人流量统计结果。
4、在光照不充足的情况下,采用以红外图像为主的统计方法,弥补单一彩色图像在低光照下无法辨识的缺点,实现多变光照下的人流量统计。
附图说明
图1本发明实施例中红外图像和彩色图像融合的人流量统计方法的流程图;
图2本发明实施例中红外图像和彩色图像融合的人流量统计系统架构图;
图3本发明实施例中人头统计示意图;
图4本发明实施例中多人头统计示意图;
图5本发明实施例中碰撞线设置位置图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明在视频监控领域,实现一种红外图像和彩色图像融合的人流量统计方法,方法其技术路线如图1所示,系统架构如图2所示,其中1为彩色摄像头,2为红外摄像头,3为中心服务器,具体包含以下实施步骤:
(1)利用标定模板法对红外摄像头和彩色摄像头进行标定,获得红外图像和彩色图像像素点之间的匹配关系;
(2)计算环境光亮度,若环境光亮度大于阈值时,则执行步骤3;若环境光亮度小于阈值,则执行步骤4;具体为:
a.设定白天晴天中午日照条件下的图像平均亮度作为基准光亮度;
b.计算彩色图像的平均亮度,若低于基准光亮度的一半,则采用以红外图像为主的统计方法,若高于基准光亮度的一半,则采用以彩色图像为主结合红外图像的统计方法。
(3)以彩色图像为主结合红外图像进行人头统计,具体包括以下子步骤:
(3.1)利用自适应混合高斯模型区分彩色图像的前后景,获得运动前景,得到一系列人体运动包围框;包括以下子步骤:
a.随机建立K个高斯分布;
b.如果彩色图像的某个像素的观测值位于高斯混合模型中某一高斯分布的2.5个标准偏差范围内,则认为其与该高斯分布配对;
c.根据配对的情况对所有高斯分布的权值进行更新;
d.如果某个像素不存在配对的高斯分布,则将概率值最小的高斯分布替换为一个均值为该像素的观测值、大方差、小权值的高斯分布,对下一帧图像重复执行步骤b-d;
e.按照权值和与其对应的标准差的比值对K个高斯分布降序排列,把权值之和大于背景闭值T的最前面的b个高斯分布作为背景模型B,
即有:这里ωk为第k个高斯分布的权值;
f.在背景模型B确定后,即可对图像中的背景像素和前景像素进行区分,如果新观测的像素与该b个高斯分布中的某一个配对,则认为其属于背景,否则属于前景,最终得到一系列人体运动包围框。
(3.2)利用红外图像区分彩色图像的人体运动包围框中的人体和其他非人体区域;包括以下子步骤:
a.对获得的运动前景图像进行滤波、孔洞填补等预处理;
b.根据步骤1获得的红外图像和彩色图像像素点之间的匹配关系,根据温谱图去除彩色图像人体运动包围框的非生物特征的区域,该过程只去除属于连通边界的部分,对于会形成孔洞的区域不进行剔除。
(3.3)根据人体运动包围框和去除非人体区域后的运动前景得到人头数统计结果。具体包括以下子步骤:
a.在摄像头拍摄方向设置检测线,若有符合人体红外特征的包围框碰撞到检测线,则对彩色图像中的人体运动包围框进行从上到下的扫描,并记录人体扫描宽度;
b.将扫描过程中扫描宽度突然变大的扫描高度作为阶跃高度,计算初始扫描高度到阶跃高度之间人体扫描宽度的平均值x1,同时计算阶跃高度之后经过相同扫描高度的人体扫描宽度的平均值x2;若x1和x2的比值在人体头宽和肩膀宽度比例的变化范围之内,则记为一个人头数;若出现多人遮挡时,即人体运动包围框内扫描线出现中断情况,则根据扫描数据的间隔数量N,计算实际人人头数为N+1;
c.统计两个方向上的人流量,获得最后的总人流量。
(4)利用基于人脸血流模型的识别技术对红外图像进行人脸识别,得到人头数统计结果;具体包括以下子步骤:
a.利用自适应混合高斯模型区分红外图像的前后景,获得运动前景,得到一系列人体运动包围框;
b.利用人脸血流图模型建立模型库,进行训练;
c.利用离线的数据库对于运动前景中的人脸进行识别;
d.设置碰撞检测线,进行人流量统计。
对于步骤3中,采用自适应混合高斯模型进行背景建模时,可以根据不同的场景设定T值和b值,且T值越大则代表背景中允许的变化越多,T值越小背景中高斯模型越趋于单峰,即背景变化越小,这些可以根据实际路口情况来设定;在设置碰撞检测线时,碰撞检测线的位置应稍微远离摄像头,即设置在图像的一半偏上的位置,本实例中设置在离图像顶部约1/3图像高度的位置,利于获得比较好的扫描结果。