CN109299703B - 对鼠情进行统计的方法、装置以及图像采集设备 - Google Patents

Abstract

本申请公开了一种对鼠情进行统计的方法、装置以及图像采集设备。其中，图像采集设备，包括：图像采集装置(110)，用于采集图像；以及与所述图像采集装置(110)通信连接的处理器(121)。所述处理器(121)配置用于执行以下操作：从所述图像采集装置(110)获取预定时段内的视频；以及利用基于卷积神经网络的计算模型，对所述视频进行分析，生成与所述图像采集设备所监控的监控区域内的鼠情相关的第一统计信息。从而本发明解决了现有现有的机器视觉监测方法中存在的检测效率不高、数据量过大不利于快速获取检测图片以及监控摄像头增多会导致服务器运算负担加重的技术问题。

Description

对鼠情进行统计的方法、装置以及图像采集设备

技术领域

本申请涉及鼠情监测领域，特别是涉及一种对鼠情进行统计的方法、装置以及图像采集设备。

背景技术

目前针对鼠情监测主要包括传统鼠情监测方法和逐渐流行的机器视觉监测方法。传统监测方法如粉剂法、鼠夹法、粘鼠板、目测法等方法。该方法在识别鼠情及鼠密度上存在诸多不足：粉剂法以及目测法误差大，耗费人力资源；鼠夹法以及粘鼠板效率低，均无法观察活鼠的形态、活动规律等鼠情，且都存在消息延后无法获取及时动态信息。

针对传统的鼠情监测方法存在的问题，机器视觉监测方法得到应用。但是目前的机器视觉监测方法仍然存在以下不足：由于目标老鼠目标较小，运动速度较快，且与背景颜色较为接近，检测效率有待提高；如果采用摄像机进行不间断地拍照时，会产生大量的图像数据，将这些数据存放在数据库中时，由于数据量大，导致查看速度变慢，用户不能快速获得关于当前时间老鼠的检测图片；同时当监控摄像头增多时会产生极大的计算量，加重服务器运算负担，增加了生产成本。

针对上述的现有的机器视觉监测方法中存在的检测效率不高、数据量过大不利于快速获取检测图片以及监控摄像头增多会导致服务器运算负担加重的技术问题，目前尚未提出有效的解决方案。

发明内容

本公开的实施例提供了一种对鼠情进行统计的方法、装置以及图像采集设备，以至少解决现有的机器视觉监测方法中存在的检测效率不高、数据量过大不利于快速获取检测图片以及监控摄像头增多会导致服务器运算负担加重的技术问题。

根据本公开实施例的一个方面，提供了一种图像采集设备，包括：图像采集装置，用于采集图像；以及与图像采集装置通信连接的处理器。其中，处理器配置用于执行以下操作：从图像采集装置获取预定时段内的视频；以及利用基于卷积神经网络的计算模型，对视频进行分析，生成与图像采集设备所监控的监控区域内的鼠情相关的第一统计信息。

根据本公开实施例的另一方面，还提供了一种图像处理电路，包括：通信接口以及与通信接口连接的处理器。其中，处理器配置用于执行以下操作：通过通信接口，获取预定时段内的关于监控区域的视频；以及利用基于卷积神经网络的计算模型，对视频进行分析，生成与监控区域内的鼠情相关的第一统计信息。

根据本公开实施例的另一个方面，还提供了一种对鼠情进行统计的方法，包括：获取预定时段内的关于监控区域的视频；以及利用基于卷积神经网络的计算模型，对视频进行分析，生成与监控区域内的鼠情相关的第一统计信息。

根据本公开实施例的另一个方面，还提供了一种存储介质，其特征在于，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项的方法。

根据本公开实施例的另一个方面，还提供了一种对鼠情进行统计的装置，包括：视频获取模块，用于获取预定时段内的关于监控区域的视频；以及第一统计信息生成模块，用于利用基于卷积神经网络的计算模型，对视频进行分析，生成与所述监控区域内的老鼠相关的第一统计信息。

根据本公开实施例的另一个方面，还提供了一种对鼠情进行统计的装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取预定时段内的关于监控区域的视频；以及利用基于卷积神经网络的计算模型，对视频进行分析，生成与监控区域内的老鼠相关的第一统计信息。

从而，根据本实施例的技术方案，利用处理器使用基于卷积神经网络的计算模型，对视频进行分析，生成与鼠情相关的统计信息，从而避免了将视频数据发送到服务器的数据库中进行处理。由于各个图像采集设备采集的视频，都是通过各自的处理器完成分析的，因此就不需要由服务器集中进行统计，因此数据的分析就不再依赖于服务器的算力。从而本实施例的技术方案可以布局更多的图像采集设备进行监控。并且由于本实施例采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算。

因此，本实施例的技术方案解决了现有的机器视觉监测方法中存在的检测效率不高、数据量过大、不利于快速获取检测图片以及监控摄像头增多会导致服务器运算负担加重的技术问题。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1是根据本公开实施例1所述的用于监控鼠情的系统的示意图；

图2是根据本公开实施例1所述的用于监控鼠情的图像采集设备的示意图；

图3是根据本公开实施例1所述的图像采集设备的内部电路组件的示意图；

图4是根据本公开实施例1的第一个方面所述的图像采集设备的处理器执行的方法的流程示意图；

图5和图6是根据本公开实施例1的第一个方面所述的图像采集设备所采用的卷积神经网络的参数的参数表；

图7是根据本公开实施例1的第一个方面所述图像采集设备利用第二统计信息生成第一统计信息的示意图；

图8是根据本公开实施例1的第一个方面所述的图像采集设备对目标视频图像划分成多个图像区域的示意图；

图9A是根据本公开实施例1的第一个方面所述的图像采集设备基于多个图像区域生成多个向量的示意图；

图9B是根据本公开实施例1的第一个方面所述的图形采集设备对一个图像区域进行处理的示意图；

图10是根据本公开实施例1的第一个方面所述的图像采集设备生成的向量的向量参数的参数表。

图11是根据本公开实施例1的第二个方面所述的图像处理电路的处理器所执行的方法的流程图；

图12是根据本公开实施例1的第三个方面所述的对鼠情进行统计的方法的流程图；

图13是根据本公开实施例2所述的对鼠情进行统计的装置的示意图；以及

图14是根据本公开实施例3所述的对鼠情进行统计的装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

图1示出了根据本实施例所述的鼠情监控系统的示意图。参考图1所示，鼠情监控系统包括多个图像采集设备100。优选地，图像采集设备100例如可以是红外摄像机，该红外摄像机可实现自动变焦，通过变焦实现对监测区域大小的自动调整。从而，使得抓拍图片的大小、清晰度、老鼠大小以及角度适合算法计算。该红外摄像机在夜间或无光源条件下切换为红外模式，可以实现对目标场景24小时无间断监控。

多个图像采集设备100与网络连接，用于监控多个监控区域的鼠情情况。并且，用户可以利用终端设备200通过各个图像采集设备100的IP地址访问图像采集设备100捕捉到的近几日的数据，也可将数据导出。

其中，图2示出了根据本实施例所述的图像采集设备100的示意图。参考图2所示，图像采集设备100包括图像采集装置110以及图像处理电路120。其中图像处理电路120与图像采集装置110连接，并且对图像采集装置110采集的视频图像进行处理。

图3进一步示出了图像采集设备100的内部连接示意图。其中图像处理电路120包括处理器121以及通信接口123。从而使得处理器121可以通过通信接口123与图像采集装置110通信连接。尽管在本实施例中，处理器121是设置于与图像采集装置110独立配置的图像处理电路120中的。但是可选地，处理器121也可以与图像采集装置110作为一个整体连接。例如，图像采集装置110可以是图像传感器，处理器121可以不通过通信接口123与图像采集装置110直接连接在一个电路中。即，处理器121可以是与图像采集装置110处于一个整体中的。

从而根据本实施例的第一个方面，提供了一种图像采集设备100，包括：图像采集装置110，用于采集图像；以及与图像采集装置110通信连接的处理器121。其中，参考图4所示，处理器121配置用于执行以下操作：

S402：从图像采集装置110获取预定时段内的视频；以及

S404：利用基于卷积神经网络的计算模型，对视频进行分析，生成与图像采集设备所监控的监控区域内的鼠情相关的第一统计信息。

具体地，处理器121从图像采集装置110获取预定时段(例如一日、一周等)内的视频。然后处理器121利用基于卷积神经网络的计算模型，对从图像采集装置110接收的视频进行分析，并生成与图像采集设备所监控的监控区域内的鼠情相关的统计信息(即第一统计信息)。

正如前面背景技术中所述的，目前针对鼠情监测主要包括基于人工的传统检测方法和目前基于机器视觉的鼠情检测方法。

传统检测方法(主要例如粉剂法、目测法、鼠夹法、粘鼠板等方法)在识别鼠情的精度、速度以及资源消耗方面存在较大的局限性。而现有的利用机器视觉进行鼠情监控的方法大多数均运行在服务器端，通过终端摄像头采集场景图片并将图片发送回服务器。然后服务器运行算法对这些图片进行处理得到鼠情检测结果，通常常用的机器视觉检测方法包括背景建模方法和特征点监测方法。

常见的背景建模算法包括高斯混合背景建模算法和背景差分法等方法，其原理是首先根据图像序列的第一帧或前几帧根据像素点差异建立背景参考模型，并使用图像序列中的当前帧和背景参考模型进行像素比较来判断该像素点是否属于运动物体。但是传统背景建模算法在复杂及干扰较大的场景内很难保证较高的鲁棒性，同时由于其计算量大、耗费计算资源，当同时监控多个目标场景时很难做到实时性监测且服务器运算压力较大。

传统特征点检测算法即滑动窗口检测方法，其原理在于将一张图分解成几百万个不同位置不同尺度的子窗口，针对每一个窗口使用分类器判断是否包含目标物体。一般会设计不同的特征和分类算法。图像特征一般包括HOG特征、HAAR特征、SIFT特征、SURF特征等。但是此种算法也同样存在着诸多不足：滑动窗口检测算法为静态检测，在应用到视频中时无法利用上下帧之间的联系；由于在检测时需要生成大量的滑动窗口，会产生非常大的计算量，很难保持实时性监测；同时由于老鼠目标较小，特征点有限，本算法在检测老鼠等小目标时精度较低，容易被其他小型生物造成干扰。

且上述算法在实际工程中场景较为复杂且场景变化较大时均难以保持较高检测准确率；且如果采用摄像机进行不间断地拍照时，会产生大量的图像数据。将这些数据存放在数据库中时，由于数据量大，导致查看速度变慢，用户不能快速获得关于当前时间老鼠的检测图片；同时由于服务器算力以及计算成本的限制，无法布局太多的摄像头，对较大区域内鼠情监测产生很大的局限性。

针对现有技术中存在的上述问题，本实施例的技术方案提供了一种图像采集设备100。该设备将处理器121与图像采集装置110通信连接，并且利用处理器121使用基于卷积神经网络的计算模型，对视频进行分析，生成与鼠情相关的统计信息，从而避免了将视频数据发送到服务器的数据库中进行处理。由于各个图像采集设备100采集的视频，都是通过各自的处理器121完成分析的，因此就不需要由服务器集中进行统计，因此数据的分析就不再依赖于服务器的算力。从而本实施例的技术方案可以布局更多的图像采集设备100进行监控。并且由于本实施例采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算。

从而，本实施例的技术方案解决了现有的机器视觉监测方法中存在的检测效率不高、数据量过大、不利于快速获取检测图片以及监控摄像头增多会导致服务器运算负担加重的技术问题。

此外，作为卷积神经网络的具体结构，本实施例中并不受限制。例如，图5和图6分别示出了能够适用于本实施例的两个卷积神经网络的参数的参数表。

此外，可选地，利用计算模型，对视频进行分析，生成第一统计信息的操作，包括：

利用计算模型对视频所包含的多个视频图像进行分析，生成分别与多个视频图像对应的多个第二统计信息，其中第二统计信息用于指示与对应的视频图像中所包含的老鼠图像相关的统计信息；以及

基于多个第二统计信息，生成第一统计信息。

众所周知，视频是由多个视频图像构成的。因此，参考图7所示，在本实施例的技术方案中，处理器121对视频所包含的多个视频图像分别进行分析，从而获得各个视频图像的统计信息(即第二统计信息)。然后处理器121根据与各个视频图像对应的第二统计信息，生成反映整个视频所展示的鼠情的第一统计信息。从而，通过这种方式，本实施例的技术方案利用基于卷积神经网络的计算模型首先对视频所包含的各个视频图像进行分析，从而获得与各个视频图像对应的第二统计信息，然后再根据所获取的第二统计信息，生成反映监控区域内的鼠情的第一统计信息。从而能够充分地利用卷积神经网络对视频进行分析，从而能够获得更加准确的结果。

此外，可选地，第二统计信息包括以下至少一项：对应的视频图像所包含的老鼠图像的数量；对应的视频图像所包含的老鼠图像的种类；对应的视频图像所包含的老鼠图像的大小；以及对应的视频图像所包含的老鼠图像的位置。并且，基于多个第二统计信息，生成第一统计信息的操作包括：基于多个第二统计信息生成以下至少一项统计参数，以及根据所生成的统计参数，生成第一统计信息：

预定时段内，监控区域内出现的老鼠的数量；

预定时段内，监控区域内出现的老鼠的大小；

预定时段内，监控区域内出现的老鼠的活动区域；

预定时段内，监控区域内出现的老鼠的活动频率；

预定时段内，监控区域内出现的老鼠的活动路线；以及

预定时段内，监控区域内出现的老鼠的活动时间。

具体地，处理器121对视频中各个视频图像进行分析，从而获得第二统计信息，其中第二统计信息包括以下各项中的至少一项：对应的视频图像所包含的老鼠图像的数量；对应的视频图像所包含的老鼠图像的大小；以及对应的视频图像所包含的老鼠图像的位置。在此基础上，处理器121基于各个视频图像对应的多个第二统计信息，即可获得生成第一统计信息所需的上述统计参数。

从而根据本实施例，处理器121在生成视频的统计信息时(即第一统计信息)，首先对各个视频图像进行分析，从而获得各个视频图像的统计信息(即第二统计信息，例如对应的视频图像所包含的老鼠图像的数量；对应的视频图像所包含的老鼠图像的种类；对应的视频图像所包含的老鼠图像的大小；以及对应的视频图像所包含的老鼠图像的位置等)，然后再根据该第二统计信息生成第一统计信息的上述统计参数。从而通过这种方式，能够准确地通过视频所包含的各个视频图像，分析出整个视频所反映的鼠情的统计信息。

可选地，利用计算模型对多个视频图像进行分析的操作，包括对多个视频图像中作为分析对象的目标视频图像执行以下操作：将目标视频图像划分成多个图像区域；利用计算模型，基于多个图像区域，分别生成与多个图像区域对应的多个向量；以及根据多个向量，生成与目标视频图像对应的第二统计信息。其中向量包括以下的至少一项向量参数：向量对应的图像区域内包含老鼠图像的置信度；向量对应的图像区域内的老鼠图像的种类；矩形框在对应的图像区域内的位置，其中矩形框与向量对应的图像区域内的老鼠图像匹配；以及矩形框的大小。

具体地，处理器121对视频所包含的视频图像进行分析。对于当前分析的目标视频图像，处理器121首先将其划分为多个图像区域。图8示出了将目标视频图像划分为多个图像区域(例如12个)的示意图。其中，可以看到在划分的多个图像区域中，图像区域1、3和6中包含有老鼠图像。从而目标视频图像中包含有3个老鼠图像。其中，每个图像区域的大小例如可以是416*416*3的矩阵(考虑到图像包含3个颜色通道)。

然后，参考图9A所示，处理器121利用基于卷积神经网络的计算模型分别对每一个图像区域进行分析，从而获得与多个图像区域对应的多个向量(即向量1～向量12)。其中，向量1与图像区域1对应，向量2与图像区域2对应，以此类推，向量12与图像区域12对应。其中多个向量1～12中所包含的向量参数，能够反映出对应的图像区域中所包含的老鼠图像的情况。从而通过多个向量1～12的向量参数，能够生成关于该目标视频图像的第二统计信息。

图9B示出了针对一个图像区域的处理的示例。参考图9B所示，416*416*3的图像区域输入至卷积神经网络，所述卷积神经网络的输出通道被调整为18个，从而输出了18个52*52的特征图(52*52*18)。将18个特征图分成3组，每组包括6个52*52的特征图。参考图9B所示，在每一组特征图中，相同位置的元素(例如图中标出的相同位置处的黑色圆点)分别表示同一个6维向量中的一个元素。这样，每一组特征图就表示52*52个6维向量。从而，18个特征图就表示了3*52*52个6维向量。

具体地，图10示出了目标视频图像的一个图像区域以及与之对应的向量的向量参数的示意图。参考图10所示，与图像区域对应的向量包括6个向量参数，分别是：图像区域内包含有老鼠的置信度conf；老鼠的种类cls；与老鼠匹配的矩形框的左上角的横坐标x；与老鼠匹配的矩形框的左上角的纵坐标y；与老鼠匹配的矩形框的宽度w以及与老鼠匹配的矩形框的高度h。

作为一个实例，置信度conf的取值范围可以为0～1，数值越大代表老鼠的概率越高。老鼠的种类cls的取值可以为0和1，其中0代表是非老鼠，1代表是老鼠。当然也可以选取其他的取值。

这样，18个特征图就包含了与图像区域对应的3*52*52个6维向量，其中每个6维向量均符合上面所述的定义。这样18个特征图就包含了3*52*52个矩形框的信息。

然后，采用非极大值抑制算法，从多个6维向量所表示的矩形框中确定最合适的一个矩形框，作为与该图像区域对应的矩形框的6维向量。

从而，通过以上向量参数，即可获得图像区域内的以下信息：是否包含老鼠以及老鼠的种类、在图像区域内的位置以及大小。由于每个向量都能够反映出对应的图像区域内的鼠情，因此根据与每个图像区域对应的向量，即可获得关于整个目标视频图像所反映的鼠情的信息，即第二统计信息。

从而根据本实施例的技术方案，由于将视频图像进一步划分成多个区域分别进行分析，因此可以准确地获得每个视频图像所反映的鼠情的信息。

当然，以上所述的向量参数仅仅只是示例性的，本领域技术人员容易想到根据本实施例公开的内容，对向量参数进行取舍或替换。此外尽管本实施例中采用了对视频图像划分图像区域的方法进行分析，但是这不是必需的。例如，也可以直接将视频图像作为整体通过计算模型进行分析。

此外，可选地，根据多个向量，生成与目标视频图像对应的第二统计信息的操作，还包括：对多个向量执行修正操作；以及根据修正后的多个向量，生成第二统计信息。其中，修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像；在目标向量指示对应的图像区域包含老鼠图像的情况下，计算目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定目标向量所对应的图像区域中不包含老鼠图像。其中，目标向量为多个向量中作为修正操作的对象的向量。

具体地，鉴于神经网络仍存在0.05的误检率，需要处理器121利用级联背景差分法对检测结果进行修正。具体地，处理器121获取作为修正对象的目标向量的向量参数。并且根据向量参数判定目标向量是否指示对应的图像区域包含老鼠图像。

例如当目标向量的向量参数conf为1时，代表图像区域内包含老鼠。然后处理器121计算目标向量对应的图像区域与预设的背景图像之间的相似性。如果相似性越高，则说明该图像区域与背景图像的差别越小，从而图像区域内包含老鼠图像的可能性越低。因此，当相似性高于预定阈值时，则认为计算模型对图像区域的分析结果有误，需要修正，将其结果判定为无老鼠图像。

从而通过本实施例的技术方案将基于深度学习的卷积神经网络模型与背景差分法级联，从而进一步增强了检测的准确性。从而使得根据视频获得的统计信息(即第一统计信息)更加准确。

此外，可选地，参考图1至图3所示，图像采集设备100还包括通信模块122，通信模块122与处理器121连接，用于接收和发送数据。其中处理器121进一步配置用于执行以下操作：通过通信模块122从远程的设备200接收提供第一统计信息的请求；以及响应于接收到请求，将第一统计信息发送至远程的设备200。

在本实施例中，该设备例如可以是移动电话、笔记本电脑等终端设备200。但是，其他类型的远程设备也同样适用于本实施例。从而用户可以利用远程的终端设备200经由网络从多个图像采集设备100获取统计信息，从而便于用户对各个区域的鼠情进行监控。

可选地，处理器121与通信模块122设置于处理电路120上，并且处理器121通过预设于处理电路120上的通信接口123与图像采集装置110通信连接。

从而处理器121可以作为与图像采集装置110独立的部件设置于图像处理电路120上。从而便于从图像采集装置110拆卸和安装。当然正如前面所述，将处理器121与图像采集装置110整合为一体的方案也适用于本发明。

此外，参考图2和图3所示，根据本实施例的第二个方面，提供了一种图像处理电路120。该图像处理电路120可以为图2和图3所示的图像采集设备100中与图像采集装置100连接的图像处理电路120。图像处理电路120包括：通信接口123以及与通信接口123连接的处理器121。

并且，参考图11所示，处理器121配置用于执行以下操作：

S1102：通过通信接口123，获取预定时段内的关于监控区域的视频；以及

S1104：利用基于卷积神经网络的计算模型，对视频进行分析，生成与监控区域内的鼠情相关的第一统计信息。

此外，关于处理器121所执行的进一步的操作，可以参考本实施例第一个方面中所述的处理器121的操作。此处不再赘述。

此外，图12示出了根据本实施例的第三个方面所述的对鼠情进行统计的方法的流程示意图。该方法可以由根据本实施例第一个方面和第二个方面中所述的处理器121执行。参考图12所示，方法包括：

S1202：获取预定时段内的关于监控区域的视频；以及

S1204：利用基于卷积神经网络的计算模型，对视频进行分析，生成与监控区域内的鼠情相关的第一统计信息。

此外，关于该方法的进一步描述，可以参考本实施例第一个方面和第二个方面中所述的处理器121所执行的方法。这里不再赘述。

此外，根据本实施例的第四个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上所述的方法。

从而，根据本实施例的技术方案，利用处理器121使用基于卷积神经网络的计算模型，对视频进行分析，生成与鼠情相关的统计信息，从而避免了将视频数据发送到服务器的数据库中进行处理。由于各个图像采集设备100采集的视频，都是通过各自的处理器121完成分析的，因此就不需要由服务器集中进行统计，因此数据的分析就不再依赖于服务器的算力。从而本实施例的技术方案可以布局更多的图像采集设备100进行监控。并且由于本实施例采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算。

因此，本实施例的技术方案解决了现有的机器视觉监测方法中存在的检测效率不高、数据量过大、不利于快速获取检测图片以及监控摄像头增多会导致服务器运算负担加重的技术问题。

此外，为了便于理解，对本实施例的技术方案补充说明如下。

本实施例提供了如下技术方案：

步骤一：本实施例的图像采集设备100，作为智能摄像头，安装于需要进行鼠情监测的区域，安装高度为2米左右，安装角度为与地面呈60度夹角；

步骤二：智能摄像头100上的图像采集装置110(后面称为摄像头模块)对检测区域进行连续抓拍，并将抓拍到的视频码流发送给安装于摄像头尾部的图像处理电路120；

步骤三：图像处理电路120解码获得图片数据，并将运行检测算法对图片数据进行算法处理；

步骤四：检测算法需要对图片数据进行去噪、归一化处理，通过经过神经网络特征提取、特征判断、坐标回归等阶段得到图片中老鼠的数量以及每个老鼠的位置，并再次经过背景匹配算法剔除错误结果，以高精度高速度低内存消耗的前提下输出老鼠数量及每个老鼠的位置；

步骤五：对于算法计算结果，统计得到一段时间内老鼠的数量、大小、活动区域、活动频率、活动路线、活动时间等结构化的数据信息并生成统计报表保存于芯片本地；

步骤六：一个区域内的智能摄像头均通过内置网络模块对外发射信息，用户可通过终端对摄像头进行访问，获取每个摄像头对该区域的鼠情统计信息。

此外，步骤一中的智能摄像头具体组成结构如下：

智能摄像头由红外摄像机110(对应于前面所述的图像采集装置110)、图像处理电路120以及设置于图像处理电路120的快速老鼠检测算法组成：

红外摄像机110可实现自动变焦，通过变焦实现对监测区域大小的自动调整，使抓拍图片大小、清晰度、老鼠大小及角度适合算法计算，摄像头在夜间或无光源条件下切换为红外模式，可以实现对目标场景24小时无间断监控；

图像处理电路120与红外摄像机110集成在一起，接收到红外摄像机110抓拍到的连续图片数据，并运行老鼠检测智能算法对图片数据进行检测，通过算法运算，可以获得图片中是否存在老鼠，以及老鼠的位置、大小、数量信息，并将保存这些信息数据的文件保存至本地，用户可通过网络对此数据进行获取；

快速老鼠检测算法结合深度学习算法与背景差分法，通过对现有数据集训练学习使算法能够正常图片内是否存在老鼠进行检测，算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下能够快速进行检测计算。

步骤三中图像处理电路120具体功能如下：

图像处理电路120安装于红外摄像机110上，与红外摄像机110通过标准通信接口连接集成，可快速读取红外摄像机110发送的数据；红外摄像机110开启之后，对目标场景进行抓拍，并将抓拍的视频编码发送给图像处理电路120，图像处理电路120利用处理器121读取红外摄像机110发送的码流信息，并通过解码得到连续图片数据。对于获得的连续图片数据，处理器121运行老鼠检测算法对连续图片进行逐帧运算，得到每一帧图片中是否存在老鼠、老鼠的数量以及每只老鼠的位置。对于算法得到的相关数据信息，处理器121内运行的程序自动对其进行统计，得到固定时间段内老鼠的数量、大小、活动区域、活动频率、活动路线、活动时间等数据信息并将其保存为本地文件。图像处理电路120设置有内置的通信模块122，用户可通过网络对图像处理电路120内的数据文件进行访问读取。

步骤四中的老鼠检测算法，具体包括以下步骤：

首先收集不同场景内老鼠活动照片，并对图片进行标注，利用最小外接矩形对图片内每个老鼠进行框选，并保存每个矩形左上角坐标(x,y)以及矩形长宽(w,h)；

采用检测卷积神经网络作为检测算法主要架构，卷积神经网络的输入设定为416*416*3的矩阵，输出为n*6的空间向量，分别代表网络检测的图片中老鼠外接矩形框左上角坐标x、y,矩形框长宽w、h,框内老鼠的置信度(取值为0～1)以及老鼠的分类(目前只检测一种老鼠，分类取值只有0,1，其中0代表为非老鼠，1代表是老鼠)；通过制作好的训练数据对神经网络进行训练调优，保证神经网络检测精度在0.95以上，并对神经网络进行剪枝压缩，在不损失精度的前提下，降低神经网络的内存消耗，加快其运算速度；

鉴于神经网络仍存在0.05的误检率，需要级联背景差分法对检测结果进行修正，对于场景内的连续图片选定第一张图片作为背景图片，并以此作为背景匹配的模板，对于神经网络检测为老鼠的图片与原背景图进行相似性匹配，相似性大于0.85的则视为背景图片，即为非老鼠，此区域不输出算法结果，同时当监测场景内发生比较大的变化时，更新背景图片，继续以新背景图片进行检测。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

图13示出了根据本实施例所述的对鼠情进行统计的装置1300，该装置1300与根据实施例1的第三个方面所述的方法相对应。参考图13所示，该装置1300包括：视频获取模块1310，用于获取预定时段内的关于监控区域的视频；以及第一统计信息生成模块1320，用于利用基于卷积神经网络的计算模型，对视频进行分析，生成与监控区域内的老鼠相关的第一统计信息。

可选地，第一统计信息生成模块1320包括：第二统计信息生成子模块，用于利用计算模型对视频所包含的多个视频图像进行分析，生成分别与多个视频图像对应的多个第二统计信息，其中第二统计信息用于指示与对应的视频图像中所包含的老鼠图像相关的统计信息；以及第一统计信息生成子模块，用于基于多个第二统计信息，生成第一统计信息。

可选地，第二统计信息包括以下至少一项：对应的视频图像所包含的老鼠图像的数量；对应的视频图像所包含的老鼠图像的大小；以及对应的视频图像所包含的老鼠图像的位置，并且第一统计信息生成子模块包括：第一统计信息生成单元，用于基于多个第二统计信息生成以下至少一项统计参数，以及根据所生成的统计参数，生成第一统计信息：预定时段内，监控区域内出现的老鼠的数量；预定时段内，监控区域内出现的老鼠的大小；预定时段内，监控区域内出现的老鼠的活动区域；预定时段内，监控区域内出现的老鼠的活动频率；预定时段内，监控区域内出现的老鼠的活动路线；以及预定时段内，监控区域内出现的老鼠的活动时间。

第二统计信息生成子模块包括目标视频图像分析单元，用于对多个视频图像中作为分析对象的目标视频图像执行以下操作：将目标视频图像划分成多个图像区域；利用计算模型，基于多个图像区域，分别生成与多个图像区域对应的多个向量；以及根据多个向量，生成与目标视频图像对应的第二统计信息。其中向量包括以下所述的至少一项向量参数：向量对应的图像区域内包含老鼠图像的置信度；向量对应的图像区域内的老鼠图像的种类；矩形框在对应的图像区域内的位置，其中矩形框与向量对应的图像区域内的老鼠图像匹配；以及矩形框的大小。

可选地，目标视频图像分析单元还包括：修正子单元，用于对多个向量执行修正操作；以及第二统计信息生成子单元，用于根据修正后的多个向量，生成第二统计信息。其中修正子单元包括：第一判定组件，用于判定目标向量是否指示对应的图像区域内包含老鼠图像，其中目标向量为多个向量中作为修正操作的对象的向量；相似性计算组件，用于在目标向量指示对应的图像区域包含老鼠图像的情况下，计算目标向量对应的图像区域与预设的背景图像的相似性；以及第二判定组件，用于在所计算的相似性大于预设的阈值的情况下，判定目标向量所对应的图像区域中不包含老鼠图像。

从而，根据本实施例的技术方案，采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算。

因此，本实施例的技术方案解决了现有的机器视觉监测方法中存在的检测效率不高的技术问题。

实施例3

图14示出了根据本实施例所述的对鼠情进行统计的装置1400，该装置1400与根据实施例1的第三个方面所述的方法相对应。参考图14所示，该装置1400包括：处理器1410；以及存储器1420，与处理器1410连接，用于为处理器1410提供处理以下处理步骤的指令：获取预定时段内的关于监控区域的视频；以及利用基于卷积神经网络的计算模型，对视频进行分析，生成与监控区域内的老鼠相关的第一统计信息。

可选地，利用计算模型，对视频进行分析，生成第一统计信息的操作，包括：利用计算模型对视频所包含的多个视频图像进行分析，生成分别与多个视频图像对应的多个第二统计信息，其中第二统计信息用于指示与对应的视频图像中所包含的老鼠图像相关的统计信息；以及基于多个第二统计信息，生成第一统计信息。

可选地，第二统计信息包括以下至少一项：对应的视频图像所包含的老鼠图像的数量；对应的视频图像所包含的老鼠图像的种类；对应的视频图像所包含的老鼠图像的大小；以及对应的视频图像所包含的老鼠图像的位置。并且，基于多个第二统计信息，生成第一统计信息的操作包括：基于多个第二统计信息生成以下至少一项统计参数，以及根据所生成的统计参数，生成第一统计信息：预定时段内，监控区域内出现的老鼠的数量；预定时段内，监控区域内出现的老鼠的大小；预定时段内，监控区域内出现的老鼠的活动区域；预定时段内，监控区域内出现的老鼠的活动频率；预定时段内，监控区域内出现的老鼠的活动路线；以及预定时段内，监控区域内出现的老鼠的活动时间。

可选地，利用计算模型对多个视频图像进行分析的操作，包括对多个视频图像中作为分析对象的目标视频图像执行以下操作：将目标视频图像划分成多个图像区域；利用计算模型，基于多个图像区域，分别生成与多个图像区域对应的多个向量；以及根据多个向量，生成与目标视频图像对应的第二统计信息。其中，向量包括以下的至少一项向量参数：向量对应的图像区域内包含老鼠图像的置信度；向量对应的图像区域内的老鼠图像的种类；矩形框在对应的图像区域内的位置，其中矩形框与向量对应的图像区域内的老鼠图像匹配；以及矩形框的大小。

可选地，根据多个向量，生成与目标视频图像对应的第二统计信息的操作，还包括：对多个向量执行修正操作；以及根据修正后的多个向量，生成第二统计信息。其中，修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中目标向量为多个向量中作为修正操作的对象的向量；在目标向量指示对应的图像区域包含老鼠图像的情况下，计算目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定目标向量所对应的图像区域中不包含老鼠图像。

从而，根据本实施例的技术方案，采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算。

因此，本实施例的技术方案解决了现有的机器视觉监测方法中存在的检测效率不高的技术问题。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种图像采集设备(100)，包括：图像采集装置(110)，用于采集图像；以及与所述图像采集装置(110)通信连接的处理器(121)，其特征在于，所述处理器(121)配置用于执行以下操作：

从所述图像采集装置(110)获取预定时段内的视频；以及

利用基于卷积神经网络的计算模型，对所述视频进行分析，生成与所述图像采集设备所监控的监控区域内的鼠情相关的第一统计信息，并且其中

利用所述计算模型，对所述视频进行分析，生成所述第一统计信息的操作，包括：利用所述计算模型对所述视频所包含的多个视频图像进行分析，生成分别与所述多个视频图像对应的多个第二统计信息，其中所述第二统计信息用于指示与对应的视频图像中所包含的老鼠图像相关的统计信息；以及基于所述多个第二统计信息，生成所述第一统计信息，并且其中

利用所述计算模型对所述多个视频图像进行分析的操作，包括对所述多个视频图像中作为分析对象的目标视频图像执行以下操作：将所述目标视频图像划分成多个图像区域；利用所述计算模型，基于所述多个图像区域，分别生成与所述多个图像区域对应的多个向量；以及根据所述多个向量，生成与所述目标视频图像对应的所述第二统计信息，并且其中

所述向量包括以下所述的至少一项向量参数：所述向量对应的图像区域内包含老鼠图像的置信度；所述向量对应的图像区域内的老鼠图像的种类；矩形框在对应的图像区域内的位置，其中所述矩形框与所述向量对应的图像区域内的老鼠图像匹配；以及所述矩形框的大小，并且其中

根据所述多个向量，生成与所述目标视频图像对应的所述第二统计信息的操作，还包括：对所述多个向量执行修正操作；以及根据修正后的所述多个向量，生成所述第二统计信息，其中

所述修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中所述目标向量为所述多个向量中作为所述修正操作的对象的向量；在所述目标向量指示对应的图像区域包含老鼠图像的情况下，计算所述目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定所述目标向量所对应的图像区域中不包含老鼠图像。

2.根据权利要求1所述的设备，其特征在于，所述第二统计信息包括以下至少一项：对应的视频图像所包含的老鼠图像的数量；对应的视频图像所包含的老鼠图像的种类；对应的视频图像所包含的老鼠图像的大小；以及对应的视频图像所包含的老鼠图像的位置，并且

基于所述多个第二统计信息，生成所述第一统计信息的操作包括：基于所述多个第二统计信息生成以下至少一项统计参数，以及根据所生成的统计参数，生成所述第一统计信息：

所述预定时段内，所述监控区域内出现的老鼠的数量；

所述预定时段内，所述监控区域内出现的老鼠的大小；

所述预定时段内，所述监控区域内出现的老鼠的活动区域；

所述预定时段内，所述监控区域内出现的老鼠的活动频率；

所述预定时段内，所述监控区域内出现的老鼠的活动路线；以及

所述预定时段内，所述监控区域内出现的老鼠的活动时间。

3.根据权利要求1所述的设备，其特征在于，还包括通信模块(122)，所述通信模块(122)与所述处理器(121)连接，用于接收和发送数据，其中所述处理器(121)进一步配置用于执行以下操作：

通过所述通信模块(122)从远程的设备接收提供所述第一统计信息的请求；以及

响应于接收到所述请求，将所述第一统计信息发送至所述远程的设备。

4.根据权利要求3所述的设备，其特征在于，所述处理器(121)与所述通信模块(122)设置于处理电路(120)上，并且所述处理器(121)通过预设于所述处理电路(120)上的通信接口(123)与所述图像采集装置(110)通信连接。

5.一种图像处理电路(120)，包括：通信接口(123)以及与所述通信接口(123)连接的处理器(121)，其特征在于，所述处理器(121)配置用于执行以下操作：

通过所述通信接口(123)，获取预定时段内的关于监控区域的视频；以及

利用基于卷积神经网络的计算模型，对所述视频进行分析，生成与所述监控区域内的鼠情相关的第一统计信息，并且其中

利用所述计算模型，对所述视频进行分析，生成所述第一统计信息的操作，包括：利用所述计算模型对所述视频所包含的多个视频图像进行分析，生成分别与所述多个视频图像对应的多个第二统计信息，其中所述第二统计信息用于指示与对应的视频图像中所包含的老鼠图像相关的统计信息；以及基于所述多个第二统计信息，生成所述第一统计信息，并且其中

利用所述计算模型对所述多个视频图像进行分析的操作，包括对所述多个视频图像中作为分析对象的目标视频图像执行以下操作：将所述目标视频图像划分成多个图像区域；利用所述计算模型，基于所述多个图像区域，分别生成与所述多个图像区域对应的多个向量；以及根据所述多个向量，生成与所述目标视频图像对应的所述第二统计信息，并且其中

所述向量包括以下所述的至少一项向量参数：所述向量对应的图像区域内包含老鼠图像的置信度；所述向量对应的图像区域内的老鼠图像的种类；矩形框在对应的图像区域内的位置，其中所述矩形框与所述向量对应的图像区域内的老鼠图像匹配；以及所述矩形框的大小，并且其中

根据所述多个向量，生成与所述目标视频图像对应的所述第二统计信息的操作，还包括：对所述多个向量执行修正操作；以及根据修正后的所述多个向量，生成所述第二统计信息，其中

所述修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中所述目标向量为所述多个向量中作为所述修正操作的对象的向量；在所述目标向量指示对应的图像区域包含老鼠图像的情况下，计算所述目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定所述目标向量所对应的图像区域中不包含老鼠图像。

6.一种对鼠情进行统计的方法，其特征在于，包括：

获取预定时段内的关于监控区域的视频；以及

利用基于卷积神经网络的计算模型，对所述视频进行分析，生成与所述监控区域内的鼠情相关的第一统计信息，并且其中

利用所述计算模型，对所述视频进行分析，生成所述第一统计信息的操作，包括：利用所述计算模型对所述视频所包含的多个视频图像进行分析，生成分别与所述多个视频图像对应的多个第二统计信息，其中所述第二统计信息用于指示与对应的视频图像中所包含的老鼠图像相关的统计信息；以及基于所述多个第二统计信息，生成所述第一统计信息，并且其中

利用所述计算模型对所述多个视频图像进行分析的操作，包括对所述多个视频图像中作为分析对象的目标视频图像执行以下操作：将所述目标视频图像划分成多个图像区域；利用所述计算模型，基于所述多个图像区域，分别生成与所述多个图像区域对应的多个向量；以及根据所述多个向量，生成与所述目标视频图像对应的所述第二统计信息，并且其中

所述向量包括以下所述的至少一项向量参数：所述向量对应的图像区域内包含老鼠图像的置信度；所述向量对应的图像区域内的老鼠图像的种类；矩形框在对应的图像区域内的位置，其中所述矩形框与所述向量对应的图像区域内的老鼠图像匹配；以及所述矩形框的大小，并且其中

根据所述多个向量，生成与所述目标视频图像对应的所述第二统计信息的操作，还包括：对所述多个向量执行修正操作；以及根据修正后的所述多个向量，生成所述第二统计信息，其中

所述修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中所述目标向量为所述多个向量中作为所述修正操作的对象的向量；在所述目标向量指示对应的图像区域包含老鼠图像的情况下，计算所述目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定所述目标向量所对应的图像区域中不包含老鼠图像。

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求6所述的方法。

Images