CN109815867A - 一种人群密度估计和人流量统计方法 - Google Patents

Abstract

本发明涉及一种人群密度估计和人流量统计方法，本发明使用了多尺度融合的人群密度估计模型，该模型由深层网络和浅层网络组成，其中深层网络是基于VGG‑16而设计的。浅层网络主要是用来学习图片上所占像素比较小的目标的特征。而且多尺度融合的人群密度估计模型提取了深层网络不同卷积层的特征，将它们和深层网络和浅层网络的输出融合进行人群密度估计。同时将人群密度估计模型的输出当作人流量统计模型的输入，从而将两个模型融合在一起，这样不仅能大大加快神经网络的训练速度，在实际生活中的运用也更加广泛。本发明不仅提高了人群密度任务和人流量同任务的准确率，同时将人群密度估计任务和人流量统计任务在一个模型中完成。

Description

一种人群密度估计和人流量统计方法

技术领域

本发明涉及一种基于神经网络的人群密度估计和人流量统计方法，属于视频安全监控技术领域。

背景技术

人群密度估计，是采用机器和软件对人群密集信息进行处理，提取其特征并计算出人群密度图像中的总人数的过程，而人流量统计是提取连续帧图片之间的信息，计算出一段时间内通过某个地方的人数。人群密度估计和人流量统计常常被用于视频安全监控领域。例如，在人流量多且复杂的场合如火车站、地铁站等地点进行视频监控，通过群体分析，进行智能化监控，检测场景中群体的异常行为。

目前的人群密度估计和人流量统计研究中，主要使用一个端到端的回归模型来完成，该模型是基于AlexNet提出的，但是将最后一层的全连接层的4096个神经元换成了一个单一的神经元用来估计图片中的人数。但是由于人群密度估计和人流量统计计算的图片中的人群密集度较大的原因，所以研究时会面临很多困难，如目标遮挡、目标形变、尺度变换等。比如一张密集图片上靠近摄像头的人所占的像素比例很大，但是远离摄像头的人所占的像素特别小，这样就算是神经网络也很难一次性学完这张图片所有的密度信息。同时，图片中人群密度较大时，人与人之间的遮挡也会非常严重，所以最后的估计结果往往并不理想。

发明内容

本发明的目的是：提高人群密度估计和人流量统计任务的准确率。

为了达到上述目的，本发明的技术方案是提供了一种人群密度估计和人流量统计方法，其特征在于，包括以下步骤：

步骤1、对人群密度图片进行预处理操作；

步骤2、将预处理后的人群密度图片上的人物头部用点标记出来，生成大小相同的二值图像，对生成的二值图像利用高斯核归一化算法产生热力图，一张热力图及与热力图相对应的人群密度图形成一组训练集；

步骤3、将步骤2得到的训练集放入密度估计模型中进行训练，密度估计模型由深层网络和浅层网络组成，其中：

深层网络为移除全连接层的VGG-16，VGG-16由五组全卷积层组成，VGG-16的第一组卷积层和第二组卷积层有两个全卷积层，而VGG-16的第三组全卷积层、第四组全卷积层和第五组全卷积层都由三个全卷积层组成，仅第一组卷积层、第二组卷积层、第三组全卷积层和第四组全卷积层后面连接了一层最大池化层，连接在第一组卷积层、第二组卷积层、第三组全卷积层后的最大池化层的步长为2，连接在第四组全卷积层后的最大池化层的步长为1

浅层网络拥有三层卷积层和三层池化层；

直接把深层网络的输出和浅层网络的输出连接起来后再加入了两个上卷积层，使得密度估计模型最后输出的特征图的大小和原始人群密度图片的大小相同；

步骤4、根据训练完成的密度估计模型，将密度估计模型的输出作为双层LSTM的输出从而将人群密度估计模型和人流量统计模型连接起来，同时完成人群密度估计任务和人流量统计任务。

优选地，步骤2中，产生所述热力图包括以下步骤：

首先对二维高斯核归一化使它的参数和为一，然后对所述二值图像使用二维高斯核归一化算法生成热力图，使得二值图像中像素值为一的点分散开，使该点周围所有像素值加起来和为一。

优选地，步骤2中，所述高斯核归一化的计算公式H(x)为：

式中，A代表的是人群密度图片中的人物头部被标记出来所有的点，a是A中的一个点，x代表的是热力图中的像素位置，σ是高斯核N的方差。

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明使用了多尺度融合的人群密度估计模型，该模型由深层网络和浅层网络组成，其中深层网络是基于VGG-16而设计的，只不过深层网络在VGG-16的基础上去除了全连接层和第五层池化层，并且将第四层池化层的步长改为1。而浅层网络仅由三层卷积层和三层池化层组成，浅层网络主要是用来学习图片上所占像素比较小的目标的特征。而且多尺度融合的人群密度估计模型提取了深层网络不同卷积层的特征，将它们和深层网络和浅层网络的输出融合进行人群密度估计。同时将人群密度估计模型的输出当作人流量统计模型的输入，从而将两个模型融合在一起，这样不仅能大大加快神经网络的训练速度，在实际生活中的运用也更加广泛。本发明不仅提高了人群密度任务和人流量同任务的准确率，同时将人群密度估计任务和人流量统计任务在一个模型中完成。

附图说明

图1为本发明提供的一种人群密度估计和人流量统计方法的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于神经网络的人群密度估计和人流量统计方法，如图1所示，包括以下步骤：对人群密度图像进行预处理；将预处理后的图像上的人物头部用点标记出来生成大小相同的二值图像，对生成的二值图像利用高斯核归一化算法产生热力图，一张原始图像和一张热力图就为一组训练集；将上述训练集放入人群密度估计网络中进行训练，人群密度估计网络由深层网络和浅层网络组成，其中深层网络是基于VGG-16设计的，浅层网络拥有三层卷积层和三层池化层；根据训练完成的人群密度估计网络，将它的输出作为双层LSTM的输出从而将人群密度估计网络和人流量统计网络连接起来，该网络能够同时完成人群密度估计任务和人流量统计任务。具体如下：

步骤1、根据采集的数据集在当前帧裁剪出图像块，将图像块做预处理操作：首先将图像块尺寸调整为225′225像素大小，然后求出所有像素点的像素均值，再用每个像素点的像素值减去像素均值得到归一化的图像块。

步骤2、将预处理后的图像上的人物头部用点标记出来生成大小相同的二值图像，对生成的二值图像利用高斯核归一化算法产生热力图，一张原始图像和一张热力图就为一组训练集。具体步骤如下：

步骤2.1、首先对二维高斯核归一化使它的参数和为一，然后对上述二值图像使用二维高斯核归一化算法生成热力图。该方法使得二值图像中像素值为一的点分散开，使该点周围所有像素值加起来和为一。高斯核归一化的计算公式如下所示：

式(1)中，A代表的是原始图像中的人物头部被标记出来所有的点，a是A中的一个点，x代表的是热力图中的像素位置，而σ是高斯核N的方差。

步骤2.2、把通过上述方法生成的热力图上的所有像素值相加就等于原始图像中的人数，可以通过以下公式计算原始图像中的总人数：

其中H(x)代表热力图上x点的像素值。通过这种热力图去训练人群密度估计网络能够使得网络不用再关注于图像中人物的位置，而关注的是图像中的人数。并且通过这种方式生成的热力图能够获得原始图像中人群的大致分布范围。

步骤3、将上述训练集放入密度估计网络中进行训练，密度估计网络由深层网络和浅层网络组成，其中深层网络是基于VGG-16设计的，浅层网络拥有三层卷积层和三层池化层。具体步骤如下：

步骤3.1、利用深层网络来学习密度图上的高级语义信息，该深层网络是一种类似于VGG-16的模型。利用预训练好的VGG-16来实现人群密度估计任务。虽然VGG-16设计的初衷是被用来当作图像分类网络的，但是VGG-16里面的卷积核是非常好的通用视觉描述符。VGG-16已经被用在各种各样的计算机视觉任务当中如目标分割，目标检测，目标追踪等。基于VGG-16这个特性，将预训练好的VGG-16分类网络进行微调来完成人群密度估计任务。但是分类任务始终和人群密度估计任务不一样，分类任务是对一张图片进行分类，而人群密度估计任务是对图片进行像素级的预测，通过将输出图片上所有的像素值相加得到总人数。简单的来说，分类任务的输出是一些离散的点，而人群密度估计任务的输出是一张二维图像。所以本发明移除了VGG-16里面的全连接层，使得我们的人群密度估计网络成为全卷积网络。

VGG-16由五组全卷积层组成，VGG-16的第一和第二组卷积层有两个全卷积层，而第三、第四和第五组全卷积层都由三个全卷积层组成。每组卷积层内的所有卷积层的卷积核大小都为3×3，而且每组卷积层内进行的卷积都不会改变输出特征图的大小和维度。但是每组卷积层后面都连接了一层最大池化层(max-pooling)，且最大池化层的步长为2。因此，整个深层人群密度估计网络一共有5个最大池化层，这就使得最后的输出图片大小为输入图片大小的1/32。为了使人群密度估计网络的深层网络和浅层网络的输出大小一样，本发明去掉深层网络的第五组卷积层后面的池化层并且将第四组卷积层后的池化层步长设为1。通过这种方式进行处理后，深层网络的输出图片大小变为输入图片的1/8。

步骤3.2、因为密度图像中人数较多，一些离摄像头比较远的人往往只在图像中显示出一只手或者一条腿，他们往往只占几个像素点甚至一个像素点。由于他们的特征非常不明显的原因，所以对人群密度估计图像中小目标的检测相当困难。如果本文继续用深层网络来检测小目标，那么最后的准确率将会很低。产生这种效果是由于感受野原因，比如在上述的深层网络中，人群密度估计网络的输出图片中的一个像素点在输入图片中所占的感受野有几十个像素点，但是小的目标仅仅只有几个像素点，所以小目标的特征在经过这么多层的卷积计算后被忽视了，这就造成了人群密度估计任务的准确率降低。

因此，本发明在深层网络的基础上提出了浅层网络，该网络主要用来学习图片中小目标的特征。因为不需要去学习图像的高级语义信息，所以浅层网络仅仅只有三个卷积层和三个平均池化层。每个卷积层都有24个卷积核，卷积核的大小为5×5。因为最大池化有可能造成统计总人数的丢失，所以将最大池化层改为平均池化层。每个平均池化层的步长为2，所以浅层网络的输出图片大小为输入图片大小的1/8。

步骤3.3、由于深层网络的输出和浅层网络的输出都为输入图片的1/8，所以可以直接把深层网络的输出和浅层网络的输出连接起来。即在不改变输出图片大小的情况下，直接在维度上进行叠加。同时，为了更好的完成人群密度估计任务，本发明提取了深层网络Conv2-2、Conv3-3和Conv4-3层的特征。对于提取到的Conv2-2层的特征，本发明在其后面添加了一层卷积层，该卷积层有128个卷积核，卷积核的大小为9×9，步长为4。同时对于提取到的Conv3-3层的特征，本发明也在其后面添加了一层卷积层，该卷积层有128个卷积核，卷积核大小为9×9，步长为2。对于提取得到的Conv4-3层的特征，也在其后面添加了一层卷积层，该卷积层有128个卷积核，卷积核大小为4×4，步长为1。在它们后面添加卷积层是为了使通过Conv2-2,Conv3-3和Conv4-3层提取得到特征图的大小相同，这样提取的特征图就能与浅层网络和深层网络的输出直接进行连接。通过提取不同层的特征，人群密度估计网络能够学习到密度图片中更高级的密度信息，提高人群密度估计模型的准确率。

通过上述操作之后，最后输出图片的维度为920维，输出图片的大小为输入图片的1/8。为了使输出图片大小和输入图片大小相同的同时减小网络的参数，本发明在融合多尺度特征之后加入了两个上采样层。第一个上采样层有512个卷积核，卷积核大小为5×5，步长为4。第二个上采样层也有512个卷积核，卷积核大小为3×3。经过这两个上采样层处理后，能够得到一个512维的特征图，该特征图的大小和原始图片大小相同。这种操作不仅能使输出图片大小和输入图片大小相同，以便顺利完成人群密度估计任务，同时还能减少人群密度估计网络的参数，加快网络训练速度。最后在人群密度估计模型后面添加一个1×1的卷积核，这样做主要是为了改变特征图的维度，使得特征图能够和热力图进行对比，计算损失函数。最后，我们只需要将输出特征图上所有的像素值相加就能够得到输入图片上的总人数。

步骤4、根据训练完成的人群密度估计网络，将它的输出作为双层LSTM的输出从而将人群密度估计网络和人流量统计网络连接起来，该网络能够同时完成人群密度估计任务和人流量统计任务。具体步骤如下：

步骤4.1、理论上，神经网络的层数越深，神经网络的表现越好。这个理论在循环神经网络中同样适用。所以在我们融合人群密度估计和人流量统计任务中采用了两层LSTM。通过堆叠两层LSTM，人流量统计模型能够更有效的学习时间序列图片上的信息。标准的循环神经网络只有一层，在本发明中我们增加了LSTM。因为增加了一层LSTM，所以第一层的输出是第二层的输入。

步骤4.2、输入为时间序列图片，每个时刻都有人进入监控区域同时也有人走出监控区域，所以在不同的时刻，图像中的总人数有可能没有改变，但是通过该地区的人数一直在变化。每个时刻的图片经过上述介绍的多尺度融合的人群密度估计模型计算出热力图，将热力图上所有像素值相加就能够计算出原始图片上的总人数。将每个时间点输出的热力图当作两层LSTM的输入，因为LSTM能够计算连续时间序列图片上的信息，所以可以在最后一个LSTM上输出这段时间内通过监控区域的总人数，从而将人群密度估计任务和人流量统计任务结合在一起。

不难发现，本发明使用了比使用一个端到端的回归模型有更强学习样本图片信息的能力。相较于直接将时间序列原始图片直接输入到LSTM中去实现人流量统计任务，本发明提出的人流量统计模型的输入为人群密度估计模型的输出。本发明不仅提高了人流量统计任务的准确率，同时也将人群密度估计任务和人流量统计任务结合起来。

Claims (3)

1.一种人群密度估计和人流量统计方法，其特征在于，包括以下步骤：

步骤1、对人群密度图片进行预处理操作；

步骤2、将预处理后的人群密度图片上的人物头部用点标记出来，生成大小相同的二值图像，对生成的二值图像利用高斯核归一化算法产生热力图，一张热力图及与热力图相对应的人群密度图形成一组训练集；

步骤3、将步骤2得到的训练集放入密度估计模型中进行训练，密度估计模型由深层网络和浅层网络组成，其中：

深层网络为移除全连接层的VGG-16，VGG-16由五组全卷积层组成，VGG-16的第一组卷积层和第二组卷积层有两个全卷积层，而VGG-16的第三组全卷积层、第四组全卷积层和第五组全卷积层都由三个全卷积层组成，仅第一组卷积层、第二组卷积层、第三组全卷积层和第四组全卷积层后面连接了一层最大池化层，连接在第一组卷积层、第二组卷积层、第三组全卷积层后的最大池化层的步长为2，连接在第四组全卷积层后的最大池化层的步长为1

浅层网络拥有三层卷积层和三层池化层；

直接把深层网络的输出和浅层网络的输出连接起来后再加入了两个上卷积层，使得密度估计模型最后输出的特征图的大小和原始人群密度图片的大小相同；

步骤4、根据训练完成的密度估计模型，将密度估计模型的输出作为双层LSTM的输出从而将人群密度估计模型和人流量统计模型连接起来，同时完成人群密度估计任务和人流量统计任务。

2.如权利要求1所述一种人群密度估计和人流量统计方法，其特征在于，步骤2中，产生所述热力图包括以下步骤：

首先对二维高斯核归一化使它的参数和为一，然后对所述二值图像使用二维高斯核归一化算法生成热力图，使得二值图像中像素值为一的点分散开，使该点周围所有像素值加起来和为一。

3.如权利要求1所述一种人群密度估计和人流量统计方法，其特征在于，步骤2中，所述高斯核归一化的计算公式H(x)为：

式中，A代表的是人群密度图片中的人物头部被标记出来所有的点，a是A中的一个点，x代表的是热力图中的像素位置，σ是高斯核N的方差。