CN109313806A

CN109313806A - 图像处理装置、图像处理系统、图像处理方法和程序

Info

Publication number: CN109313806A
Application number: CN201780037065.5A
Authority: CN
Inventors: 岛内和博; 小桥贵志; 海老原正和; 小野优嗣; 永野秀敏
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-06-22
Filing date: 2017-05-30
Publication date: 2019-02-05
Also published as: JP7014161B2; US11132538B2; US20190384969A1; WO2017221644A1; JPWO2017221644A1

Abstract

提供了一种用于使用轻量计算以高精度从图像执行人物的检测的装置和方法。执行预先确定处理和最终确定处理。在预先确定处理期间，在围绕从图像检测到的移动体区域的移动体检测框内设置人物确定检测框，并且进行关于人物确定检测框内的图像是否是人物的确定。在最终确定处理期间，分析在预先确定处理期间针对其确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果进行关于人物确定检测框内的图像是否是人物的最终确定。例如，在最终确定处理期间，计算在预先确定处理期间确定为期中包括有人的人物确定检测框在移动体检测框内的特定区域中的占用率，并且如果占用率至少是阈值，则进行人物确定检测内的图像是人物的最终确定。

Description

图像处理装置、图像处理系统、图像处理方法和程序

技术领域

本公开涉及图像处理装置、图像处理系统、图像处理方法和程序。更具体地，本公开涉及能够从图像执行人物检测处理的图像处理装置、图像处理系统、图像处理方法和程序。

背景技术

最近，监控相机已安装在车站、建筑物、公共道路和各种其他场所。监控相机的捕获图像经由例如网络传输到服务器，存储在诸如数据库的存储设备中，并且用于连接到服务器或网络的信息终端所应用于的各种类型的数据处理。

例如，由服务器或信息终端执行的数据处理是搜索和跟踪特定人物的处理。

在使用这种监控相机的监控系统中，组合诸如移动体检测、面部检测、人物检测等的各种检测处理，并将其用作从捕获的图像数据中检测诸如人物的特定对象的处理。

例如，从相机捕获图像检测和跟踪人物等的处理被用于在各种情况下调查可疑人物或犯罪分子。

通常，从图像中检测人物的过程需要大量计算，因此难以在监控相机中执行该过程。在许多当前监控系统中，监控相机的捕获图像经由网络发送到服务器，并且使用在服务器侧累积的图像来执行人物检测处理。

例如，专利文献1(JP2011-209794A)中公开了多个相机经由网络与诸如温度检测传感器的传感器连接，从这些设备获得的图像和传感器信息被集合在服务器中，并且执行人体检测处理的配置。

然而，当集中处理多个监控相机的视频时，服务器上的负载很繁重，视频分析成本变得巨大，出现了使用大规模系统的必要性，结果出现了如下问题，例如，刑事侦查所需的处理时间增加。

在专利文献2(JP 5179132B)中公开了用于解决服务器负载的这种增加的配置示例。

具体地，基于每个监控相机的捕获图像在每个监控相机中执行人物检测处理，并且仅将其结果发送到服务器。其是一种分布式处理类型系统，其中服务器仅使用从每个监控相机接收到的个人检测结果来提取具有诸如特定衣物的特定特征的人物。

然而，可以在每个监控相机中执行的数据处理量是有限的。在专利文献2中描述的配置中，在预定数量的帧中连续检测到移动体的情况下，每个监控相机执行检测移动体作为人物的人物检测处理。

然而，在人物检测处理中，经常发生错误检测，其中诸如汽车和动物的所有非人类移动体被检测为人物。

结果，在服务器中累积了许多错误检测结果，并且产生了来自服务器的、必须执行用于正确人物检测结果数据和错误检测结果数据的确定处理的新负载。

此外，专利文献3(JP2010-062942A)中公开了其中每个监控相机执行组合了移动体检测和面部检测的人物检测，并且在通过组合的处理检测到人物的情况下，将异常检测信号输出到连接到网络连接的服务器侧的配置。

然而，在该专利文献3中描述的配置中，面部检测是针对人物检测的确定而执行的，结果，存在如下问题，即，即使人物包括在图像中，不包括面部的图像(诸如人物的背面图像)也无法用于人物检测。

此外，在专利文献3中，面部检测电路可以用人体检测电路代替，但是在这种情况下没有提及特定的人物检测配置。

引文列表

专利文献

专利文献1：JP2011-209794A

专利文献2：JP 5179132B

专利文献3：JP2010-062942A

发明内容

技术问题

本公开例如是鉴于上述问题而做出的，并且本公开的目的是提供能够以较少的计算实现高精度的人物检测处理的图像处理装置、图像处理系统、图像处理方法和程序。

在本公开的一个实施例中，例如，设置了使得经由网络与服务器连接的每个监控相机能够较少的计算执行高精度的人物检测处理并将个人检测结果发送到服务器等的图像处理装置、图像处理系统、图像处理方法和程序。

问题的解决方案

本公开的第一方面在于一种图像处理装置，包括：数据处理单元，被配置为从图像执行人物检测处理。数据处理单元执行预先确定处理：在围绕从图像检测到的移动体区域的移动体检测框中设置人物确定检测框，并且确定人物确定检测框中的图像是否是人物；以及最终确定处理：分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物。

此外，本公开的第二方面在于一种图像处理系统，包括：捕获图像的相机；和经由网络与相机连接的服务器。相机包括数据处理单元，被配置为从捕获的图像执行人物检测处理。数据处理单元执行预先确定处理：在围绕从捕获的图像检测到的移动体区域的移动体检测框中设置人物确定检测框，并且确定人物确定检测框中的图像是否是人物；以及最终确定处理：分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物，以及生成其中指示作为最终确定处理的结果而获得的移动体是否是人物的对象类型信息被记录的元数据，并将所述元数据发送到服务器。

此外，本公开的第三方面在于一种图像处理系统，包括：捕获图像的相机；以及经由网络与相机连接的服务器和信息终端。相机包括数据处理单元，被配置为从捕获的图像执行人物检测处理。数据处理单元执行预先确定处理：在围绕从捕获的图像检测到的移动体区域的移动体检测框中设置人物确定检测框，并且确定人物确定检测框中的图像是否是人物；以及最终确定处理：分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物，以及生成其中指示作为最终确定处理的结果而获得的移动体是否是人物的对象类型信息被记录的元数据，并将所述元数据连同捕获的图像发送到服务器。所述服务器将从所述相机接收到的捕获的图像和元数据存储在存储单元中，以及响应于来自所述信息终端的处理请求，执行存储在所述存储单元中的捕获的图像和元数据所应用到的对象搜索或跟踪处理。

此外，本公开的第四方面在于一种在图像处理装置中执行的图像处理方法。图像处理装置包括数据处理单元，被配置为从图像执行人物检测处理。数据处理单元执行预先确定处理：在围绕从图像检测到的移动体区域的移动体检测框中设置人物确定检测框，并且确定人物确定检测框中的图像是否是人物；以及最终确定处理：分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物。

此外，本公开的第五方面在于一种使图像处理装置执行图像处理的程序。所述图像处理装置包括数据处理单元，被配置为从图像执行人物检测处理。该程序使数据处理单元执行预先确定处理：在围绕从图像检测到的移动体区域的移动体检测框中设置人物确定检测框，并且确定人物确定检测框中的图像是否是人物；以及最终确定处理：分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物。

注意，根据本公开的实施例的程序是例如以计算机可读格式提供给图像处理设备或能够执行各种程序代码的计算机系统的程序，该程序可由存储介质或者通信介质提供。通过以计算机可读格式提供这样的程序，在图像处理设备或计算机系统上实现与程序相对应的处理。

通过基于下文描述的本公开的实施例和附图的更详细描述，将阐明本公开的进一步目的、特征和优点。注意，在本说明书中，术语“系统”指的是多个设备的逻辑集合配置，并且配置的各个设备不限于在同一外壳内。

发明的有益效果

根据本公开的实施例的配置，实现了用于通过以高精度的轻量计算执行从图像执行人物检测处理的装置和方法。

具体地，执行预先确定处理：在围绕从图像检测到的移动体区域的移动体检测框中设置人物确定检测框，并且确定人物确定检测框中的图像是否是人物；以及最终确定处理：分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物。例如，在最终确定处理中，计算在预先确定处理中确定为包括人的人物确定检测框在移动体检测框中的特定区域中的占用率，并且在占用率等于或大于阈值的情况下，最终确定人物确定检测中的图像是人物。

利用该配置，实现了以高精度通过轻量计算来从图像执行人物检测处理的装置和方法。

注意，在本说明书中描述的有利效果仅仅是为了示例而非限制，并且可以存在另外的有利效果。

附图说明

图1是用于描述可以应用本公开的图像处理的图像处理系统的示例的图。

图2是用于描述由图像处理装置(相机)生成的元数据的图。

图3是用于描述由图像处理系统执行的处理序列的流程图。

图4是用于描述由图像处理系统执行的处理序列的流程图。

图5是用于描述图像处理装置(相机)的配置示例的图。

图6是用于描述由图像处理装置执行的处理的处理序列的流程图。

图7是用于描述移动体检测处理示例的图。

图8是用于描述由图像处理装置执行的处理的处理序列的流程图。

图9是用于描述应用分区小区域设置窗口的人物检测处理示例的图。

图10是用于描述应用分区小区域设置窗口的人物检测处理示例的图。

图11是用于描述应用分区小区域设置窗口的人物检测处理示例的图。

图12是用于描述应用分区小区域设置窗口的人物检测处理示例的图。

图13是用于描述应用分区小区域设置窗口的人物检测处理示例的图。

图14是用于描述应用分区小区域设置窗口的人物检测处理示例的图。

图15是用于描述第一人物候选点列表的示例的图。

图16是用于描述第一人物候选点列表的示例的图。

图17是用于描述由图像处理装置执行的处理的处理序列的流程图。

图18是用于描述应用人物确定检测框的人物确定处理示例的图。

图19是用于描述应用人物确定检测框的人物确定处理示例的图。

图20是用于描述应用人物确定检测框的人物确定处理示例的图。

图21是用于描述应用人物确定检测框的人物确定处理示例的图。

图22是用于描述应用人物确定检测框的人物确定处理示例的图。

图23是示出第二人物候选点列表的示例的图。

图24是用于描述人物确定检测框和第二人物候选点的合并处理示例的图。

图25是用于描述由图像处理装置执行的处理的处理序列的流程图。

图26是用于描述由图像处理装置执行的人物确定的最终验证处理的示例的图。

图27是用于描述由图像处理装置执行的人物确定的最终验证处理的示例的图。

具体实施方式

在下文中，将参照附图详细描述本公开的图像处理装置、图像处理系统、图像处理方法和程序。此外，描述将根据以下条目进行。

1.可应用本公开的处理的图像处理系统的配置示例

2.图像处理装置的配置示例

3.由图像处理装置执行的特定处理

4.由图像处理装置执行的第一人物检测处理的细节

5.由图像处理装置执行的第二人物检测处理的细节

6.由图像处理装置执行的最终验证处理和元数据生成处理的细节

7.其他实施例

8.本公开的配置的结论

[1.可应用本公开的处理的图像处理系统的配置示例]

首先，将描述可应用本公开的处理的图像处理系统的配置示例。

图1是示出可应用本公开的处理的图像处理系统的配置示例的图。

在图1所示的图像处理系统中，至少一个相机10-1至10-n、服务器20和信息终端30经由网络40连接。

相机10-1至10-n中的每一个捕获、记录和分析视频，并且生成并输出经由网络40作为视频分析结果获得的视频数据和信息(元数据)。

服务器20经由网络40从每个相机10接收捕获的图像(视频)和与图像对应的元数据，将它们累积在存储单元(数据库)中，从信息终端30接收诸如搜索请求的用户指令，并执行数据处理。

服务器20例如根据从信息终端30输入的用户指令来使用从相机10-1到10-n中的每个接收到的捕获图像和元数据对图像中的特定对象(例如，特定人物)执行数据处理(诸如搜索处理或跟踪处理)。

信息终端30接收来自用户的指令(例如，诸如针对特定人物的搜索请求的指令信息)，并且经由网络40将所接收的指令信息发送到服务器20。此外，信息终端30接收用作来自服务器20的跟踪结果的搜索结果、图像、搜索/跟踪结果信息等，并执行将图像、信息等输出到显示器的处理。

此外，尽管在图1中示出了单独配置服务器20和信息终端30的示例，但是可以提供其中设置了具有信息终端30和服务器20的功能的单个信息处理装置的配置。

此外，尽管图1中仅示出了一个服务器20和一个信息终端30。但是可以提供其中多个服务器20或信息终端30连接到网络40，在每个服务器和每个信息终端中执行各种信息处理，并且在每个服务器和每个信息终端之间发送和接收处理结果的各种配置。

接下来，将参考图2描述从相机10-1到10-n中的每个发送到服务器20的数据的示例。

此外，相机10-1至10-n可以将数据发送到信息终端30以及服务器20。

如图2中所示，相机10发送元数据和图像数据。

图像数据是由相机10捕获的图像，具体地，是构成运动图像的图像帧。元数据是与每个图像帧相对应的数据，并且以图像帧为单位设置。

元数据包括与关联图像帧相关的各种类型的信息。

如图2中所示，在元数据中，首先记录报头，然后设置记录来自图像帧的检测信息的净负荷，具体地，记录与人物或其他移动体对象有关的信息等。

如图2中所示，报头包括读取从图像检测的对象数据所需的信息(例如，记录的对象的数量)或所有对象共有的信息(例如，记录时间信息等)。

此外，如图2所示，从与元数据相关联的图像帧检测到的检测到的对象单元的数据，具体地，例如，以下对象对应数据，被记录在元数据的净负荷中：

(1)对象的类型(人物或非人类对象)；

(2)对象位置(x，y坐标信息)；以及

(3)对象尺寸(宽度和高度)。

例如，以从图像帧检测到的对象为单位记录这样的对象信息。

作为本公开的图像处理装置的示例的相机10执行捕获图像、生成与图2所示的捕获图像有关的元数据，并将元数据与图像一起发送到服务器等的处理。

换句话说，在本公开的图像处理系统中，捕获图像的每个相机对捕获的图像执行图像分析、基于分析结果生成元数据、并发送该元数据。

此外，由相机10执行的图像分析处理是包括以下处理的分析处理：

(a)确定移动体是否包括在捕获图像中的移动体检测处理；以及

(b)确定检测到的移动体是人物还是非人类对象(例如，汽车等)的人物确定处理。

随后将描述其具体的处理示例。

图3中示出的流程图是用于描述由图1所示的图像处理系统执行的处理的处理序列的示例的流程图。

将描述各个步骤的处理。

(步骤S11)

首先，连接到网络40的相机10-1到10-n中的每个捕获图像并对捕获的图像执行分析处理。

如上所述，例如，执行以下图像分析处理：

(a)确定移动体是否包括在捕获图像中的移动体检测处理；和

(步骤S12)

此外，相机10-1至10-n经由网络40将相机捕获图像和包括基于捕获图像的分析结果的元数据发送到服务器20。

(步骤S13)

服务器20将与从相机10-1至10-n接收到的图像相关联的元数据和图像数据存储在服务器20中的存储单元中。

(步骤S14)

然后，信息终端30获取在服务器20中累积的图像和包括图像分析结果的元数据，并在显示单元上显示图像和元数据。

具体地，例如，根据相机的捕获图像的显示来执行对用于指示包括在显示图像中的每个对象是否是移动体的识别信息，以及允许在对象是移动体的情况下识别移动体对象是否是人物的显示信息的显示处理。

此外，服务器20和信息终端30可以在必要时分析图像和元数据。例如，可以设置执行未在每个相机10中执行的分析处理，补充在每个相机10中执行的分析的处理，提取对用户有用的信息，或者可视化要叠加在图像上的元数据的信息并显示元数据的信息的处理的配置。例如，其是使框叠加在其对象类型是人物的对象上的显示处理。

此外，服务器20可以被配置为经由网络40将通过将诸如存储单元中累积的图像的信息或者诸如用作分析结果且叠加在图像上的对象类型的信息可视化而获得的显示数据发送到信息终端30。

信息终端30可以选择性地或完全地获取从服务器20接收到的数据，并将数据输出到显示器等。

信息终端30可以从服务器20选择性地或完全地接收对用户有用的元数据或信息(例如拍摄时间、分析结果的统计信息等)，执行信息终端中所需的处理和过程，并在显示器上输出结果数据。

图4中示出的流程图是用于描述处理请求从信息终端30发送到服务器20并且在服务器中执行数据处理的处理的一个处理示例的流程图。

将描述各个步骤的处理。

(步骤S21)

在步骤S21中，信息终端30基于从服务器20获取的图像和图像分析结果，将针对特定对象(例如，特定人物)的搜索或跟踪处理请求发送到服务器20。

(步骤S22)

在接收到来自信息终端30处理请求时，在步骤S22中，服务器20执行针对特定对象(例如，特定人物)的搜索或跟踪处理请求，并将处理结果发送到信息终端30。

(步骤S23)

在接收到来自服务器信息20的处理结果时，在步骤S23中，信息终端30在显示器上显示作为处理结果获取的针对特定对象(例如，特定人物)的搜索或跟踪处理的结果。

例如，执行针对其中仅为被设置为跟踪目标的特定人物设置识别框的图像的显示处理。

[2.图像处理装置的配置示例]

接下来，将参考图5描述作为本公开的图像处理装置的示例的相机的配置示例。

图5是示出本公开的图像处理装置(相机)100的一个配置示例的框图。图像处理装置(相机)100对应于图1中所示的相机10。

如图5中所示，图像处理装置(相机)100包括镜头101、图像传感器102、图像处理单元103、传感器104、存储器105、通信单元106、驱动单元107、CPU 108、GPU 109和DSP 110。

捕获图像经由镜头101输入到图像传感器102。

图像传感器102例如是电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器等。

图像处理单元103接收从图像传感器102输出的图像数据(RAW图像)，并且除了用于减少输入的RAW图像中包括的噪声的降噪处理之外，执行普通相机中的信号处理，诸如将对应于RGB的所有颜色的像素值设置到RAW图像的各个像素位置的去马赛克处理、白平衡(WB)调整、伽马校正等。

传感器104是用于利用最佳设置执行图像捕获的传感器(例如，亮度传感器等)，并且根据传感器104的检测信息来控制图像捕获的成像模式。

存储器106是由RAM、ROM等构成的存储器，其用作捕获图像、在图像处理装置100中执行的处理程序、各种参数等的存储区域。

通信单元106是用于经由网络40与图1所示的服务器20或信息终端30进行通信处理的通信单元。

驱动单元107执行用于图像捕获所需的各种驱动处理，诸如用于图像捕获的透镜驱动、光圈控制等。例如，通过使用传感器104的检测信息在CPU 108的控制下执行驱动处理。

CPU 108控制由图像处理装置(相机)100执行的各种处理，诸如图像捕获、图像分析、元数据生成、通信处理等。CPU 108用作根据存储在存储器105中的数据处理程序执行各种处理的数据处理单元。

图形处理器单元(GPU)109和数字信号处理器(DSP)110是例如用于对捕获图像执行图像处理等的处理器，并且用于捕获图像的分析处理等。类似于CPU 108，GPU 109和DSP110中的每一个用作根据存储在存储器105中的数据处理程序执行各种图像处理的数据处理单元。

此外，本公开的图像处理装置(相机)100从捕获图像执行移动体检测处理或人物检测处理。

通过应用用作数据处理单元的图像处理单元103、CPU 108、GPU 109、DSP 110等来执行数据处理。应用于数据处理的处理程序存储在存储器105中。

此外，例如，可以在图像处理单元103中安装专用硬件电路，并且可以通过应用专用硬件来执行移动体检测或人物检测处理。

此外，可以通过适当地组合根据专用硬件的处理和根据程序的软件应用处理来执行处理。

[3.由图像处理装置执行的特定处理]

接下来，将描述由图像处理装置(相机)执行的特定处理。

图6是示出由图像处理装置(相机)执行的从捕获图像的人物检测处理的处理序列的流程图。

在本公开的人物检测处理中，由于甚至可以通过具有相对低的数据处理功能的相机以及具有高数据处理功能的信息处理装置(诸如PC)来执行基于图像分析的个人检测，因此实现了人物检测处理中所需的计算的显著减少。

例如，在进行从相机的捕获图像进行人物检测的尝试的情况下，在现有技术的一般处理中，针对每个像素构成图像计算特征量，并且执行所计算的特征量和其中登记了人物的图像的特征数据的学习字典的核对处理。

特征量计算处理和字典核对处理通常针对图像中的所有像素或检测到移动体的所有像素来执行，并且是增加处理负荷的因素。

此外，根据与相机的距离，在捕获图像中拍摄不同尺寸的人物。为了检测各种尺寸的人物的图像区域，需要将图像转换为不同分辨率的图像，并且对于不同分辨率的每个图像分层地执行与字典的核对处理。

利用这些处理，需要两次或更多次地执行特征量计算处理和字典核对处理，并且处理负荷进一步增加。

为了减轻根据现有技术的人物检测处理的过度处理负荷，在本公开的处理中，预先执行具有小计算的简单“第一人物检测处理”，以及执行缩小估计为人物的像素区域(即，来自捕获图像的第一人物候选点)的处理。

此后，执行仅将第一人物候选点和相邻像素区域设置为处理目标的特征量计算和字典核对处理，作为“第二人物检测处理”。

当执行这样的两步处理时，实现了与现有技术的人物检测处理相比减少了必要处理量并且还可以进一步减少错误检测的配置。

下面将详细描述本公开的人物检测处理。

图6是示出由本公开的图像处理装置(相机)执行的从捕获图像的人物检测处理的整个序列的流程图。

下面将描述该流程的每个步骤的处理。

(步骤S101)

在步骤S101中，图像处理装置(相机)首先执行从捕获图像的移动体检测处理，并执行将移动体与背景分离的处理。

可以应用诸如背景差分方法的过去已知的常用技术作为移动体检测。图7示出了对图像执行移动体检测处理的结果的数据示例。

作为移动体检测处理的结果，如图7所示，可以获得像素单元的移动体的轮廓(silhouette)。

此外，还可以获得外部地接触移动体的框，即移动体检测框。

图7示出了四个移动体检测框，即，第一至第四移动体检测框141至144。

这里，移动体是移动到最后的某些对象，并且可以是人物、汽车或诸如树木颤抖的错误检测，并且其类型不能被指定。

此外，多个移动体可以相邻或重叠以形成轮廓，或者可以被视为一个移动体对象。

(步骤S102)

在步骤S101中的移动体检测处理之后，在步骤S102中，使用移动体检测结果执行“第一人物检测处理”。

如上所述，为了减轻根据现有技术的人物检测处理的过度处理负荷，在本公开的处理中，预先执行具有小计算的简单“第一人物检测处理”，并且执行缩小估计为人物的像素区域(即，来自捕获图像的“第一人物候选点”)的处理。

此后，执行仅将“第一人物候选点”和相邻像素区域设置为处理目标的特征量计算和字典核对处理，作为“第二人物检测处理”。

步骤S102中的第一人物检测处理对应于上述缩小人物候选点的处理。

步骤S103中的第二人物检测处理对应于候选点和相邻像素区域被设置为处理目标的特征量计算和字典核对处理。

在步骤S102中执行的第一人物检测处理可以通过比在步骤S103中执行的第二人物检测处理更轻量的计算来执行。

此外，稍后将详细描述第一人物检测处理。

在步骤S102中，执行第一人物检测处理，并且在检测到用作人物候选(第一人物候选点)的一个或多个点的情况下，生成其中记录检测到的“第一人物候选点”的坐标位置信息等的“第一人物候选点列表”。

该列表将在后面详细描述。

(步骤S103)

在步骤S101中的移动体检测处理和步骤S102中的“第一人物检测处理”之后，在步骤S103中，执行“第二人物检测处理”。

该处理包括其中仅将与在步骤S102中检测到的“第一人物候选点”对应的像素及其相邻像素区域设置为处理目标的特征量计算，以及其中计算出的特征量和登记在字典中的人物图像的登记特征量被比较和核对的字典核对处理。

作为在步骤S103中执行的“第二人物检测处理”，可以使用基于通用字典的人物检测方法。

此外，稍后还将详细描述“第二人物检测处理”。

如上所述，在该步骤S103中的“第二人物检测处理”中，执行将“第一人物候选点及其相邻像素”设置为处理目标的特征量计算和字典核对处理，并且与将图像的所有像素都设置为处理目标的现有技术的处理相比，可以大大减少处理量。

执行“第二人物检测处理”，并且在检测到用作人物候选的一个或多个点(第二人物候选点)的情况下，生成记录检测到的“第二人物候选点”的坐标位置信息等的“第二人物候选点列表”。

(步骤S104)

最后，使用作为在步骤S101中执行的移动体检测处理的结果而获得的移动体检测框和作为步骤S103中的“第二人物检测处理”的结果获得的“第二人物候选点”的每条信息来执行最终验证处理和元数据生成处理。

最终验证处理是用于重新验证其中作为步骤S103中的“第二人物检测处理”的结果而获得的“第二人物候选点”被设置的移动体是否确实是“人物”的处理，以及例如执行检测和去除错误检测数据的处理或使用前一和下一捕获图像帧的验证过程。

监控相机的安装状态不一定是适合于人物检测的条件。例如，它可以是在黑暗的地方或阳光或天气变化的地方不能清楚地拍摄人物的形状的环境。此外，在人物和相机之间可能出现障碍物，或者发生不能由相机拍摄的遮挡区域。出现许多难以识别人物的情况，例如相机的俯角、人物的拍摄方向等。

由于这些外部因素，作为步骤S103中的“第二人物检测处理”的结果而获得的“第二人物候选点”中可能包括实际上不是人物的错误检测点。此外，可能检测不到原本应该被检测为第二人物候选点的点。

在这方面，在步骤S104中，重新验证在步骤S103中检测到的“第二人物候选点”并最终执行移动体检测框中的对象是否是人物的最终确定的处理。

基于作为最终确定的结果获得的结果，将“人物”或“非人类对象”的数据记录在元数据中，即，上面参考图2描述为对象类型的元数据中。

[4.由图像处理装置执行的第一人物检测处理的细节]

接下来，将参考图8和随后的附图详细描述上述参考图6的流程图描述步骤S102中的“第一人物检测处理”。

图8是用于描述上述参考图6的流程图描述的步骤S102中的“第一人物检测处理”的详细序列的流程图。

下面将依次描述图8中所示的流程的各个步骤的处理。

(步骤S201)

首先，在步骤S201中，图像处理装置(相机)从捕获图像的图像帧中选择处理目标的移动体检测框。

移动体检测框是如上所述的图6所示的流程的步骤S101中检测到的移动体检测框。

在图6中所示的流程的步骤S101中，例如，如图7所示，在图像中设置多个移动体检测框。

在步骤S201中，首先，选择用作处理目标的一个移动体检测框。

(步骤S202)

然后，执行将被选择为处理目标的移动体检测框设置为处理区域，移动移动体检测框中的分区小区域设置窗口，以及计算每个小区域的移动体像素的数量的处理。

将参考图9详细描述该处理。

图9示出了在步骤S202的处理中应用的“分区小区域设置窗口151”以及设置和移动两个移动体检测框的窗口的示例。

例如，如图9中所示，分区小区域设置窗口151是被分成多个矩形小区域的矩形窗口。

在图9所示的示例中，小区域包括八个小区域a至h。

在移动体检测框中设置划分为小区域的窗口，并且在设置位置处对包括在窗口中的小区域a至g中中的每个中的移动体像素的数量进行计数。

此外，窗口151被设置到移动体检测框中的所有可设置位置，并且在每个位置处执行对每个小区域的移动体像素的数量进行计数的处理。

例如，图9(a)是示出与图7所示的第三移动体检测框143相对应的移动体检测框的图。

图9(a)中所示的第三移动体检测框143中由白色指示的像素区域是移动体像素。由黑色指示的区域是不具有移动的像素，即，非移动体像素。

分区小区域设置窗口151被设置到图9(a)所示的第三移动体检测框143的左上端。其是图9中所示的窗口开始位置152S。

在该位置处，对于分区小区域设置窗口151中的小区域a至g中的每一个，对每个小区域中包括的移动体像素的数量(＝由白色指示的区域中的像素的数量)进行计数。

在图9所示的窗口开始位置152S处对小区域a至g的移动体像素的数量进行计数结束的情况下，计数值被存储在存储器中，并且分区小区域设置窗口151被向右移动一个像素。

在该移动位置处，类似地执行对小区域a至g的移动体像素的数量的计数，并且计数值被存储在存储器中。

此外，分区小区域设置窗口151被向右移动一个像素，并且执行类似的处理。如果窗口到达移动体检测框的右端，则窗口向下移动一个像素，执行类似的处理，然后窗口向左移动一个像素，并执行类似的处理。

如上所述，重复执行以小区域为单位的窗口移动处理和活动像素计数处理，并且如果分区小区域设置窗口151到达图9(a)中所示的第三移动体检测框143的右下端的窗口结束位置152E，并且移动体像素计数处理结束，则以一个移动体检测框的小区域为单位的移动体像素计数处理结束。

图9(b)是示出以应用针对图7所示的第四移动体检测框144的分区小区域设置窗口151的小区域为单位的移动体像素计数处理示例的图。

在图9(b)所示的示例中，由于窗口的水平宽度与第四移动体检测框144的水平宽度一致，因此窗口151将移动体检测框的上端作为窗口开始位置153S，每个小区域的移动体像素的数量的计数开始，在计数结束后将窗口151向下移动一个像素，并且在该位置执行计数处理。

此后，窗口顺序向下移动一个像素，重复以小区域为单位的移动体像素计数处理，并且分区小区域设置窗口151到达如图9(b)所示的移动体检测框的下端处的窗口结束位置153E，如图9(b)所示，并且移动体像素计数处理，以一个移动体检测框的小区域为单位的移动体像素计数处理结束。

此外，在图9(a)和9(b)中所示的示例中，分区小区域设置窗口的开始位置和结束位置被设置为在内部接触移动体检测框，但是这是示例，并且可以为分区小区域设置窗口的开始位置和结束位置执行各种设置。例如，分区小区域设置窗口的开始位置和结束位置被设置在部分地向移动体检测框的外侧区域突出的位置，并且可以进行各种设置。

(步骤S203)

然后，在步骤S203中，执行使用在每个窗设置位置处的每个小区域的移动体像素的数量的计数值来确定移动体检测框的移动体是否是人物的处理。

将每个小区域的移动体像素比例与每个小区域的预定阈值进行比较，并且基于比较结果确定在其中设置窗口的移动体检测框中的移动体是否是人物。

将参考图10描述该具体处理示例。

图10示出了与上面参照图9(b)描述的第四移动体检测框144类似的图，以及设置在第四移动体检测框144的上端处的小区域设置窗口151。

如图10所示，分区小区域设置窗口151被分成八个小区域a至g。在步骤S202中，已经对分区小区域的移动体像素(＝白色像素区域)的数量进行了计数，并且将计数数据作为图10(1)的每个分区小区域的移动体像素的数量存储在存储器中。

对于在分区小区域设置窗口151中设置的每个分区小区域，预先设置阈值并将其存储在存储器中。

阈值是用于确定窗口中的图像是否是人物的阈值。

阈值的示例在图10(2)中示出。

图10(2)的每个分区小区域的移动体图像比例阈值是针对在分区小区域设置窗口151中设置的每个分区小区域预定义的阈值的示例。

是阈值来指定每个小区域的总像素数中的百分之几的像素被确定为移动体像素。

图10(2)中示出的阈值是用于确定窗口中的移动体像素是否对应于人物的上身(头部到胸部)区域的阈值的示例。

在图10(2)所示的示例中，设置以下阈值：

小区域a和d的阈值是移动体像素比例的0到5％；

小区域b和c的阈值是移动体像素比例的40％至60％；

小区域e和h的阈值是移动体像素比例的5％至25％；以及

小区域f和g的阈值是移动体像素比例的60％至100％。

将通过应用通过设置图10(1)所示的窗口151获得的移动体像素的数量和计数计算的每个小区域的移动体像素比例与图10(2)中所示的预定阈值进行比较，以确定窗口151中的移动体是否是人物。

具体的确定处理示例在图11中示出。

图11示出了以下数据，诸如使用设置在第四移动体检测框144的上端的分区小区域设置窗口151计算的数据：

(1)每个小区域的移动体像素计数数量；

(2)每个小区域的移动体像素比例；

(3)每个小区域的移动体像素比例阈值；以及

(4)确定结果(每个小区域的移动体像素比例是否在阈值范围内的确定结果)。

此外，在图11所示的示例中，每个小区域的总像素数被设置为5000。

在图11所示的示例中，如果将图11(2)所示的窗口中的小区域a到h的移动体像素比例与图11(3)中所示的阈值进行比较，则小区域a至h的所有移动体像素比例都在阈值的范围内，并且(4)的所有确定结果被确定为“是”。

在这种情况下，其中设置了窗口的移动体检测框中的移动体被确定为人物。

此外，在图11所示的示例中，小区域a至g的移动体像素比例均在阈值中，并且所有小区域的确定结果被确定为“是”，但是，

用于确定移动体检测框中的移动体是人物的条件可以被不同地设置，并且小区域的移动体像素比例均在阈值中不是必不可少的。

例如，如果小区域a至g的移动体像素比例中的三分之二或更多处于阈值中，则确定为人物，并且可以执行各种设置。

此外，图9至11中所示的分区小区域设置窗口151是用于基于每个小区域的移动体像素确定窗口设置区域的移动体是否对应于人物的上身(面部到胸部)的八划分窗口，但是窗口的设置或划分的数量是用于人物确定的一个代表性示例。

除了图9至11所示的分区小区域设置窗口151之外，可以设置各种类型的窗口(诸如从头部覆盖到脚的窗口)，并且可以根据每种窗口类型设置各种分区小区域。

返回图8的流程图，继续对图6的流程的步骤S102中的“第一人物检测处理”的详细序列的描述。

在图8中所示的流程图的步骤S203中，如参照图9至图11所描述地，使用每个窗口设置位置处的每个小区域的移动体像素的数量的计数值确定移动体检测框的移动体是否是人物。换句话说，如图11中所示，将每个小区域的移动体像素比例与每个小区域的预定阈值进行比较，并且基于比较结果确定其中设置窗口的移动体检测框中的移动体是否是人物。

(步骤S204)

步骤S204是根据在步骤S203的确定处理中窗口中的移动体是否被确定为人物的分叉处理。

在步骤S203的确定处理中确定窗口中的移动体是人物的情况下，步骤S204被确定为是，并且处理进行到步骤S205。

另一方面，在步骤S203的确定处理中确定窗口中的移动体不是人物的情况下，确定步骤S204为否，并且处理进行到步骤S206。

(步骤S205)

步骤S205的处理是在步骤S203的确定处理中确定窗口中的移动体是人物的情况下执行的处理。

在这种情况下，在步骤S205中，在窗口中设置“第一人物候选点”，并且将“第一人物候选点”的坐标信息等记录在第一人物候选点列表中。

将参考图12描述该处理。

图12示出了第四移动体检测框144和设置在第四移动体检测框144的上端的分区小区域设置窗口151，类似于参照图9至11所述的那些。

假设在第四移动体检测框144的上端设置分区小区域设置窗口151的位置处，窗口中的移动体被确定为人物。

在这种情况下，在步骤S205中，在窗口中设置“第一人物候选点”，并且将坐标信息等记录在人物候选点列表中。

如图12中所示，设置第一人物候选点161，并且将第一人物候选点161的坐标信息(x，y)等登记在“第一人物候选点列表”中。

此外，第一人物候选点161被设置到分区小区域设置窗口151的中心位置，例如，被确定为人物的位置。

(步骤S206)

在步骤S205中完成“第一人物候选点”的设置和列表登记处理的情况下或者在步骤S204中确定窗口中的移动体不是人物的情况下，处理进行到步骤S206。

在步骤S206中，确定是否完成了针对图像帧中用作处理目标的移动体检测框的所有处理。

在处理完成的情况下，处理进入步骤S207。

在任何一个处理未完成的情况下，处理返回到步骤S201，并且执行针对未处理的移动体检测框的处理。

(步骤S207和S208)

在步骤S206中确定针对图像帧中用作处理目标的移动体检测框的所有处理都已完成的情况下，然后在步骤S207中，确定是否完成指定层的所有缩小图像应用处理。

在确定完成指定层的所有缩小图像应用处理的情况下，处理结束。

在确定指定层的缩小图像应用处理中的任何一个未完成的情况下，处理进行到步骤S208，执行图像缩小处理，处理返回到步骤S201，并且执行步骤S201和应用缩小图像的后续步骤的处理。

将参考图13和14描述步骤S207和S208中的处理示例。

在步骤S207和S208中执行的图像缩小处理是用于使用缩小图像执行基于步骤S202至S203中的分区小区域设置窗口的移动体像素计数处理的处理。

例如，如图13中所示，假设图像R₀是未经过缩小处理的原始图像的图像尺寸。

首先使用原始图像R₀执行图8所示的流程图的步骤S201至S205的处理。换句话说，使用原始图像R₀执行基于分区小区域设置窗口的移动体像素计数处理。

如果完成原始图像R₀的处理，则在步骤S208中，执行对原始图像R₀的图像缩小处理。例如，生成垂直和水平长度被设置为1/2的缩小图像R₁。

使用缩小图像R₁重复执行图8所示的流程图的步骤S201至S205的处理。

此后，类似地，顺序地生成缩小图像R₂至R₆，并且使用缩小图像R₂至R₆重复执行图8所示的流程图的步骤S201至S205的处理。

此外，在重复处理中，分区/缩小区域设置窗口的尺寸不减小，并且保持其原始尺寸。

将参考图14描述如上所述使用多个缩小图像重复执行处理的原因。

图14示出了使用原始尺寸的图像R₀和缩小图像R₅来以使用相同尺寸的分区/缩小区域设置窗口的小区域为单位的活动像素计数处理示例。

随着图像缩小，移动体检测框中的图像也缩小。

在图像中拍摄的人物的尺寸随着距离相机越近而增加，并且随着距离相机越远而减小。

换句话说，在图像中拍摄的人物的尺寸具有各种尺寸。

如果对各种尺寸的人物进行应用参照图9和至图11所述的分区小区域设置窗口151的人物检测，可以检测到具有适合窗口尺寸的尺寸的人物区域，但是不能检测到尺寸不适合的人物。

为了防止由这种尺寸不兼容引起的检测错误，生成了多个缩小图像，并且通过应用相同尺寸的窗口来执行人物检测处理。

如上所述，能够通过应用多个缩小图像重复执行人物检测处理来检测各种尺寸的人物区域。

图8所示的流程图的步骤S207和S208中的缩小图像生成处理是用于使得能够按如上所述检测到包括在图像帧中的各种尺寸的人物的处理。

例如，如图13至图14所示，生成从图像R₀到图像R₆的多个不同缩小率的图像，并且使用多个图像重复步骤S201和后续步骤的处理。

在图8所示的流程图的步骤S207中确定完成了使用所有指定缩小图像的处理的情况下，处理结束。

在根据图8中所示的流程图执行的步骤S205中，生成被确定为人物的第一人物候选点的列表。

将参考图15和16描述第一人物候选点列表的具体示例。

图15示出了第一人物候选点列表的示例。

五个条目(即标识符0到4)被登记在图15所示的第一人物候选点列表中。

五条登记数据(条目)是与通过执行图8所示的流程而获得的为确定为人物的移动体设置的“第一人物候选点”相对应的登记数据。

具体地，例如，其是与图12中所示的每个第一人物候选点161相对应的登记数据(条目)。

此外，对应于分区小区域设置窗口的一个设置位置检测到一个“第一人物候选点”，并且还将“第一人物候选点”设置在与已设置“第一人物候选点”的一个窗口相邻的多个窗口中。

可以确定它们两者都是从图像中检测到的与一个人物相对应的检测点，并且接近位置处的“第一人物候选点”可以被合并为一条数据并登记在列表中。

此外，作为用于将相邻坐标位置处的多个点合并为一个点的合并技术，应用了从过去已知的合并技术。

具体地，例如，使用“Mean Shift(均值平移)技术”搜索相邻区域中的多个第一人物候选点，然后通过应用“最近邻技术”来执行合并欧几里德距离等于或小于指定阈值的第一人物候选点的处理，即，将多个点集合成一个代表点的合并处理。

可以在列表中执行仅登记作为合并的结果而获得的代表点的信息的设置。

图15中示出的“第一人物候选点列表”的示例是其中将与第一人物候选点标识符(ID)相关联的以下数据记录为登记数据的示例：

(1)x，y坐标；以及

(2)窗口的宽度和高度

这样的数据被记录为未经过缩小处理的原始尺寸的图像，即，窗口尺寸以及图13和图14中所示的原始图像R₀中的坐标。

此外，在图15所示的示例中，窗口尺寸为40×40(像素)。这是原始图像R₀中的窗口大小。

在图15中所示的人物候选点标识符0、2和3中，登记数据中的窗口的宽度和高度是40×40，并且其所有条目被确定为使用原始图像R₀检测到的“第一人物候选点”。

另一方面，在图15中所示的人物候选点标识符1中，登记数据中的窗口的宽度和高度是80×80，并且其条目被确定为使用通过在垂直和水平方向两者上将原始图像R₀设置为1/2而获得的原始图像R₁检测到的“第一人物候选点”。

另外，在图15中所示的人物候选点标识符4中，登记数据中的窗口的宽度和高度是160×160，并且其条目被确定为使用通过在垂直和水平方向上将原始图像R0设置为1/4而获得的原始图像R₂检测到的“第一人物候选点”。

如上所述，当请求“第一人物候选点”时使用的窗口的尺寸和人物候选点的设置坐标位置都被登记在第一人物候选点列表中，作为与非缩小原始图像R₀对应的转换值。

图16示出了具有与图15所示的示例的数据设置不同的数据设置的“第一人物候选点列表”的另一示例。

五个条目(即标识符0到4)也被登记在图16所示的第一人物候选点列表中。

五条登记数据(条目)是与通过执行图8所示的流程而获得的为被确定为人物的移动体设置的“第一人物候选点”相对应的登记数据。

在图16所示的示例中，在每条登记数据中记录与第一人物候选点标识符(ID)相关联的以下数据：

(1)x，y坐标；以及

(2)检测到分层图像(R₀到R₆)

x，y坐标被记录为未经过缩小处理的原始尺寸的图像中的坐标，即图13和图14中所示的原始图像R₀中的坐标。

在图16所示的示例中，执行设置登记其中检测到第一人物候选点的分层图像，即，指示是否在图13和14所示的图像R₀至R₆中、而不是在图15中所示的列表中登记的窗口尺寸中检测到第一人物候选点的第一人物候选点检测分层图像信息。

图16中示出的所有人物候选点标识符0、2和3都被记录为使用原始图像R₀检测到的“第一人物候选点”。

另一方面，图16中所示的人物候选点标识符1被记录为使用缩小图像R₁检测到的“第一人物候选点”。

此外，图16中示出的人物候选点标识符4可以被记录为使用缩小图像R₂检测到的“第一人物候选点”。

如上所述，图16中所示的第一人物候选点是登记了当检测到“第一人物候选点”时使用的图像的识别信息和人物候选点的设置坐标位置的示例。

此外，除了参考图15和图16描述的第一人物候选点列表之外，还可以使用设置各种注册信息的列表。

这里，指示“第一人物候选点”的设置位置的坐标信息是必不可少的，并且需要能够根据其计算非缩小原始图像中的坐标位置的数据。

[5.由图像处理装置执行的第二人物检测处理的细节]

接下来，将参考图17和随后的附图详细描述以上参考图6的流程图所述的步骤S103中的“第二人物检测处理”。

图6的流程中的步骤S103中的“第二人物检测处理”包括特征量计算和字典核对处理，其中仅将与在步骤S102中检测到的“第一人物候选点”对应的像素及其相邻像素区域设置为如上所述的处理目标。

图17是用于描述以上参考图6的流程图描述的步骤S103中的“第二人物检测处理”的详细序列的流程图。

下面将依次描述图17中所示的流程的各个步骤的处理。

(步骤S301)

首先，在步骤S301中，图像处理装置(相机)从捕获的图像帧中选择用作处理目标的第一人物候选点。

第一人物候选点被登记在上面参考图15和图16描述的第一人物候选点列表中，并存储在存储器中。

在步骤S301中，图像处理装置(相机)选择登记在第一人物候选点列表中的一条登记数据(条目)，并将所选择的登记数据(条目)设置为处理目标。此外，基于列表中登记的坐标数据，从图像帧确定用作处理目标的第一人物候选点的坐标位置。

(步骤S302)

然后，在步骤S302中，设置包括被设置为处理目标的“第一人物候选点”的人物确定检测框，并且从设置的人物检测框的帧中的图像中提取人物确定特征量。

将参考图18和随后的附图描述包括“第一人物候选点”的人物确定检测框的设置示例。

图18示出了包括根据图8中所示的流程检测到的第一人物候选点161的第四移动体检测框144。

第一人物候选点161被设置为登记在第一人物候选点列表中的坐标位置(x，y)的位置。

将一个或多个人物确定检测框设置为具有包括第一人物候选点161或其相邻像素的预定区域的框，并且对每个设置框执行特征量提取处理。

在图18所示的示例中，示出了包括第一人物候选点161的n个人物确定检测框171-1至171-n。

将参考图19描述包括第一人物候选点或其相邻像素的多个人物确定检测框的特定设置示例。

图19是用于描述包括第一人物候选点或其相邻像素的九个人物确定检测框的特定设置示例的图。

在图19的示例中，设置以构成以第一人物候选点180为中心的3×3像素区域181的九个像素为中心的九个N×N图像，并且分别将人物确定检测框185-1至185-9设置为特征量提取区域。

图19(1)中示出的人物确定检测框设置示例1示出了人物确定检测框185-1，其包括以构成以第一人物候选点180为中心的3×3像素区域181的九个像素中的中心像素为中心的N×N像素区域。

图19(2)中示出的人物确定检测框设置示例2示出了人物确定检测框185-2，其包括以构成以第一人物候选点180为中心的3×3像素区域181的九个像素中的左上像素为中心的N×N像素区域。

图19(9)中示出的人物确定检测框设置示例2示出了人物确定检测框185-9，其包括以构成以第一人物候选点180为中心的3×3像素区域181的九个像素中的右下像素为中心的N×N像素区域。

在图19中，使用这些像素来示出了以构成以第一人物候选点180为中心的3×3像素区域181的九个像素中的三个像素为中心的N×N像素的人物确定检测框185-1、185-2和185-9，但是除了它们之外，依次设置以构成3×3像素区域181的九个像素中的每一个为中心的N×N像素的人物确定检测框185-1至185-9，并且从九个人物确定检测框185-1到185-9中的每一个提取人物确定特征量。

图20是示出与参考图19描述的人物确定检测框的设置示例不同的人物确定检测框195-1至195-m的设置示例的图。

图20中所示的人物确定检测框的设置示例是如下示例：其中，设置以第一人物候选点180为中心的预定范围的区域，例如，具有半径R的像素区域191，从像素区域中选择m个像素，以所选择的m个像素中的每一个为中心的M个N×M像素区域被设置为人物确定检测框195-1至191-m。

从m个人物确定检测框195-1到195-m中的每一个提取用于人物确定的特征量提取。

在图17的流程的步骤S302中，如参照图19和20所述，例如，设置包括第一人物候选点的人物确定检测框，并且从设置检测框中提取人物确定特征量。

此外，特征量例如是指示人脸特征的眼睛、鼻子、嘴巴等的图像特征量或者指示人体形状的特征量，并且可以使用应用于根据图像的人物检测处理的各种现有特征量。

此外，将从图像提取的特征量与登记在作为图像处理装置的存储单元的存储器中的字典登记特征量进行比较，并且如果确定近似度高，则确定为人物。

(步骤S303和S304)

然后，在步骤S303和S304中，执行基于对从人物确定检测框中的图像提取的人物确定特征量和其中登记了人物确定特征量的字典的登记数据的核对处理的人物确定处理。

执行对基于参照图18至20描述的人物确定检测框中的像素值提取的特征量和作为图像处理装置的存储单元的存储器中登记的字典登记特征量的比较核对处理，并且在确定提取的特征量与字典登记特征量一致或其相似度高情况下，人物检测框中捕获的图像被确定为人物。

在这种情况下，步骤S304被确定为是，并且处理进入步骤S305。

另一方面，在确定提取的特征量与字典登记特征量不一致或者相似度低的情况下，在人物检测框中捕获的图像被确定为不是人物。

在这种情况下，步骤S304被确定为否，并且处理进入步骤S306。

(步骤S305)

步骤S305的处理是在步骤S303的确定处理中确定人物确定检测框中的移动体是人物的情况下执行的处理。

在这种情况下，在步骤S305中，在人物确定检测框中设置第二人物候选点，并且将坐标信息等记录在第二人物候选点列表中。

将参考图21描述该处理。

图21示出了第四移动体检测框144、设置在第四移动体检测框144中的第一人物候选点161、包括第一人物候选点161的多个人物确定检测框201-1和201-2、以及设置到人物确定检测框201-1和201-2的人物候选点211-1和211-2，类似于参考图18描述的那些。

此外，对应于一个人物确定检测框设置一个“第二人物候选点”。例如，“第二人物候选点”被设置在人物确定检测框的中心位置。

如参照图18至图20所述，为“第一人物候选点”设置多个人物确定检测框，从每个帧执行特征量提取和字典核对，并设置与该帧对应的“第二人物候选点”，从而存在设置与设置的人物确定检测框的数量相对应的多个“第二人物候选点”的情况的处理。

接近位置处的多个“第二人物候选点”被确定为与从图像检测到的一个人物相对应的检测点，并且可以执行将接近位置处的“第二人物候选点”合并为一条数据并将它们注册在列表中的设置。

稍后将描述合并“第二人物候选点”和第二人物候选点列表的处理的具体示例。

(步骤S306)

在步骤S305中完成“第二人物候选点”的设置和列表登记处理的情况下，或者在步骤S304中确定人物确定检测框中的移动体不是人物的情况下，处理进入步骤S306。

在步骤S306中，确定是否完成了针对图像帧中用作处理目标的所有第一人物候选点的所有处理。

在处理完成的情况下，处理进入步骤S307。

在处理未完成的情况下，处理返回到步骤S301，并且执行针对未处理的第一人物候选点的处理。

(步骤S307和S308)

在步骤S306中确定针对图像帧中用作处理目标的所有“第一人物候选点”的所有处理都已完成的情况下，在步骤S307中，确定是否完成指定层的所有缩小图像应用处理。

在确定指定层的缩小图像应用处理中的任何一个未完成的情况下，处理进行到步骤S308，执行图像缩小处理，处理返回到步骤S301，并且执行步骤S301和应用缩小图像的后续步骤的处理。

将参考图22描述步骤S307和S308的处理示例。

在步骤S307和S308中执行的图像缩小处理是与上面参照图8描述的步骤S207和S208的处理类似的处理。

换句话说，其是用于通过使用缩小图像在步骤S302至S303中使用人物确定检测框来执行特征量提取和字典核对处理的处理。

例如，如图22中所示，假设图像R₀具有原始图像的图像尺寸。

使用原始图像R₀执行图17所示的流程图的步骤S301至S305的处理。换句话说，使用非缩小原始图像R₀执行使用人物确定检测框的特征量提取和字典核对处理。

如果完成了对原始图像R₀的处理，则在步骤S308中，执行对原始图像R₀的图像缩小处理。例如，生成垂直和水平长度被设置为1/2的缩小图像R₁。

使用缩小图像R₁重复执行图17所示的流程图的步骤S301至S305的处理。

此后，类似地，顺序地生成缩小图像R₂至R₆，并且使用缩小图像R₂至R₆重复执行图17中所示的流程图的步骤S301至S305的处理。

此外，在重复处理中，不缩小人物确定检测框的尺寸，并且保持其原始尺寸。

如上所述，使用多个缩小图像重复执行处理的原因是执行适合于在图像中拍摄的人物的尺寸的人物检测处理。

如上所述，图像中的人物的尺寸随着离相机越近而增加，并且随着离相机越远而减小。

如果对各种尺寸的人物执行使用人物确定检测框的特征量提取，则可以检测到具有适合于人物确定检测框尺寸的尺寸的人物区域，但是不能检测到尺寸不适合的人物。

为了防止由这种尺寸不兼容引起的检测错误，生成多个缩小图像，并且通过应用相同尺寸的人物确定检测框来执行人物检测处理。

如上所述，能够通过应用多个缩小图像重复执行人物检测处理来检测各种尺寸的人物图像区域。

图17所示的流程图中的步骤S307和S308中的缩小图像生成处理是如上所述的用于使得能够检测到包括在图像帧中的各种尺寸的人物的处理。

例如，如图22中所示，生成从图像R₀到图像R₆的多个缩小图像，并且使用多个缩小图像重复步骤S301和后续步骤的处理。

在图17所示流程图的步骤S307中确定完成了使用所有指定缩小图像的处理的情况下，处理结束。

在根据图17所示的流程图执行的步骤S305中，生成被确定为人物的“第二人物候选点”的列表。

将参考图23描述第二人物候选点列表的具体示例。

图23示出了第二人物候选点列表的示例。

五个条目(即标识符0到4)被登记在图23所示的第二人物候选点列表中。

五条登记数据(条目)是与通过执行图17所示的流程而获得的为确定为人物的移动体设置的“第二人物候选点”相对应的登记数据。

此外，如上所述，存在如下的情况：对应于一个人物确定检测框设置一个“第二人物候选点”，并且为多个相邻人物确定检测框设置多个相邻的“第二人物候选点”。

接近位置处的多个“第二人物候选点”被确定为从图像检测到的与一个人物相对应的检测点，并且可以执行将接近位置处的“第二人物候选点”合并为一条数据并将它们注册在列表中的设置。

作为用于将紧密坐标位置处的多个点合并为一个点的合并技术，应用了从过去已知的合并技术。应用的合并技术类似于上述合并技术。

例如，使用“Mean Shift技术”搜索相邻区域中的多个“第二人物候选点”，然后通过应用“最近邻技术”来执行合并欧几里德距离等于或小于指定阈值的“第二人物候选点”的处理，即，将多个点集合成一个代表点的合并处理。

图24是示出将多个人物确定检测框201-1至201-n和对应于多个框设置的“第二人物候选点”集合成一个人物确定检测框251和一个第二人物候选人物点271的处理示例的图。

例如，仅将通过合并处理获得的合并结果登记在图23所示的第二人物候选点列表中。

在图23所示的示例中，在每条登记数据中记录与第二人物候选点标识符(ID)相关联的以下数据：

(1)x，y坐标；以及

(2)检测到的分层图像(R₀到R₆)

x，y坐标被记录为未经历缩小处理的原始尺寸的图像中的坐标，即，图22中所示的原始图像R₀中的坐标。

此外，执行设置登记其中检测到“第二人物候选点”的分层图像，即，指示是否在图22中所示的图像R₀到R₆中检测到“第二人物候选点”的第二人物候选点检测分层图像信息。

图23中示出的所有人物候选点标识符0、2和3都被记录为使用原始图像R₀检测到的“第二人物候选点”。

另一方面，图23中所示的人物候选点标识符1被记录为使用缩小图像R₁检测到的“第二人物候选点”。

此外，图23中示出的人物候选点标识符4可以被记录为使用缩小图像R₂检测到的“第二人物候选点”。

如上所述，图23中所示的第二人物候选点列表是登记了当检测到“第二人物候选点”时使用的图像的识别信息和人物候选点的设置坐标位置的示例。

此外，除了参考图23描述的第二人物候选点列表之外，还可以使用设置各种注册信息的列表。

这里，指示“第二人物候选点”的坐标信息是必不可少的，并且需要能够根据计算非缩小原始图像中的坐标位置的数据。

[6.由图像处理装置执行的最终验证处理和元数据生成处理的细节]

接下来，将参考图25和随后的附图详细描述以上参考图6的流程图描述的步骤S104的“最终验证处理和元数据生成处理”。

如上所述，图6的流程中的步骤S104的“最终验证处理和元数据生成处理”包括重新验证其中设置作为步骤S103中的第二人物检测处理的结果而获得的“第二人物候选点”的移动体是否实际为人物的处理，以及例如执行使用前一和下一捕获图像帧的验证处理。

监控相机的安装状态不一定是适合于人物检测的条件。例如，它可以是在黑暗的地方或阳光或天气变化的地方不能清楚地拍摄人物的形状的环境。此外，在人物和相机之间可能出现障碍物，或者发生不能由相机拍摄的遮挡区域。出现许多难以识别人物的情况，诸如相机的俯角、人物的拍摄方向等。

由于外部因素，作为步骤S103中的第二人物检测处理的结果而获得的第二人物候选点中可以包括实际上不是人物的错误地检测到的点，并且应当最初检测为第二人物候选点的点可能未被检测到。

在这方面，在步骤S104中，执行对步骤S103中的检测点等的重新验证，并且最终执行最终确定移动体检测框中的对象是否是人物的处理。

基于作为最终确定的结果获得的结果，将人物或非人类对象的数据被记录在元数据中，即，上面参考图2描述为对象类型的元数据。

将参考图25和随后的附图详细描述步骤S104的“最终验证处理和元数据生成处理”。

图25是示出参考图6的流程图描述的步骤S104的“最终验证处理和元数据生成处理”的详细序列的流程图。

下面将依次描述图25中所示的流程的各个步骤的处理。

(步骤S401)

首先，在步骤S401中，图像处理装置(相机)从捕获的图像帧中选择用作处理目标的移动体检测框。

移动体检测框是在如上所述的图6的流程的步骤S101中检测到的移动体检测框。

在图6中所示的流程的步骤S101中，在图像中设置多个移动体检测框，例如，如图7所示。

在步骤S401中，首先，选择用作处理目标的一个移动体检测框。

(步骤S402)

然后，在步骤S402中，确定在步骤S401中选择的移动体检测框中是否设置了“第二人物候选点”。

“第二人物候选点”是根据参照图6中的步骤S103描述的流程(即参照图17描述的流程)设置的“第二人物候选点”。

“第二人物候选点”的坐标位置被登记在上面参考图23描述的第二人物候选点列表中，并存储在存储器中。

在步骤S402中，图像处理装置(相机)检查具有与在步骤S401中选择的移动体检测框中的坐标位置相对应的坐标位置信息的登记数据(条目)是否登记在第二人物候选点列表中。

在其被登记在第二人物候选点列表中的情况下，确定“第二人物候选点”存在于被设置为处理目标的移动体检测框中，并且处理进行到步骤S403。

另一方面，在没有登记在第二人物候选点列表中的情况下，确定“第二人物候选点”不存在于设置为处理目标的移动体检测框中，并且处理进入步骤S405。

(步骤S403和S404)

在步骤S402中确定“第二人物候选点”存在于移动体检测框中的情况下，在步骤S403和S404中，执行移动体检测框中的移动体是否确实是人物的重新验证处理。

更具体地，在步骤S403中，执行以下处理。

分析以下两个检测框(a)和(b)的位置关系：

(a)包括第二人物候选点的人物确定检测框；以及

(b)设置了人物确定检测框的移动体检测框。

在步骤S404中，再次基于分析结果(即，两个检测框的位置关系分析结果)确定在其中设置了第二人物候选点的移动体检测框中的移动体是否是人物。

步骤S403和S404的处理主要作为去除错误地检测到“第二人物候选点”(即，不是人物的移动体被确定为“第二人物候选点”)处的错误检测到的点的处理来执行。

将参考图26和随后的附图描述该错误检测去除处理的具体示例。

图26示出了其中设置了检测到“第二人物候选点”的确定检测框的多个移动体检测框的示例。

人物确定检测框是在图6的流程的步骤S103的处理中(即，在根据图17所示的流程执行的第二人物检测处理中)设置的框。这是参照图18至图20描述的人物确定检测框。

图26示出了在上面参照图7描述的图像中的第二至第四移动体检测框142至144中检测到“第二人物候选点”的人物确定检测框。

此外，这些人物检测框是合并处理之前的人物确定检测框。

在根据图17中所示的流程的处理中，在移动体是人物的情况下，其中检测到“第二人物候选点”的人物确定检测框可能被设置为在水平方向上密集的多个框。

另一方面，在移动体不是人物的情况下，其中检测到“第二人物候选点”的人物确定检测框不被设置为在水平方向上密集的多个框，而可能显示为单个框或少量的框。

这是基于这样的现象：在移动体是人物的情况下，即使在框在水平方向上移位的位置处也可能检测到指示是人物的特征量，但是在移动体不是人物的情况下，在框在水平方向上移位的位置处几乎检测不到指示是人物的特征量。

此外，无论移动体框中是否有一个人物或者移动体框中是否有多个人物，这种现象都是类似的。

图26中示出的第二移动体检测框142和第四移动体检测框144是移动体检测框中的移动体是人物的情况下的示例。

在第二移动体检测框142中，在水平方向上密集地设置其中设置了第二人物候选点的移动体检测框311-1至311-n。

类似地，在第四移动体检测框144中，在水平方向上密集地设置其中设置了第二人物候选点的移动体检测框321-1至321-n。

另一方面，图26所示的第三移动体检测框143是移动体检测框中的移动体不是人物的情况下的示例。

在第三移动体检测框143中，仅设置其中设置了第二人物候选点的一个移动体检测框331-1，而不是在水平方向上密集地设置。

如上所述，出现的不同之处在于：在移动体是人物的情况下，在水平方向上密集地设置检测到“第二人物候选点”的移动体检测框，并且在移动体不是人物的情况下，不在水平方向上密集地设置检测到“第二人物候选点”的移动体检测框。

作为基于该差异删除错误检测到的“第二人物候选点”的处理，执行步骤S303和S304中的错误检测去除处理。

将参考图27描述用于实现检测和删除错误检测的处理的轻量算术处理。

图27示出了用作处理目标的移动体检测框350，其中假设检测到“第二人物候选点”的多个确定检测帧的示例，以及人物确定检测框p1 371到人物确定检测框p5 375。

人物确定检测框371至375是在图6的流程的步骤S103的处理中(即，在根据图17所示的流程执行的第二人物检测处理中)设置的框。这些是参照图18至图20描述的人物确定检测框。

如图27中所示，检查设置了第二人物候选点的人物确定检测框是否存在于水平方向上在从低于移动体检测框从移动体检测框350的上端部分的高度a％的位置的b％的高度的范围内。

例如，a％＝3至10％，b％＝5至60％，并且应用这些值。

确定其中设置了第二人物候选点的人物确定检测框是否密集地存在于移动体检测框350的大约一半的上部区域中。

作为具体处理，例如，如图27的下部所示，计算相对于移动体检测框水平宽度(宽度)存在于上部区域(距上端a％至b％)的人物确定检测框的区域(x+y)占用率的处理。

在图27所示的示例中，存在于上部区域(距上端a％至b％)中的人物确定检测框包括人物确定检测框p1 371、人物确定检测框p2372和人物确定检测框p3 373。

包括人物确定检测框p1 371和人物确定检测框p3 373的图像区域在水平方向上的长度(例如，像素的数量)由x表示。

此外，包括人物确定检测框p2 372的图像区域在水平方向上的长度(例如，像素的数量)由y表示。

移动体检测框350在水平方向上的宽度的长度(例如，像素的数量)由宽度表示。

在该设置中，通过下式(式1)计算相对于移动体检测框水平宽度(宽度)存在于上部区域(距上端a％至b％)的人物确定检测框的区域(x+y)占用率。

人物确定检测框占用率＝(x+y)/(宽度)……(式1)

此外，将根据(式1)计算的人物确定检测框占用率与预设占用率阈值(Th1＝c％)进行比较。作为阈值c％，例如，使用诸如30％的值。

人物确定检测框占用率≥Th1……(式2)

如果(式2)的确定式成立，则将设置了第二人物候选点的人物确定检测框中的移动体确定为人物。

另一方面，在(式2)的确定式不成立的情况下，确定其中设置了第二人物候选点的人物确定检测框中的移动体不是人物。换句话说，“第二人物候选点”被确定为错误检测。

此外，图27中所示的示例是将要确定为人物的人物确定检测框的区域限制为移动体检测框的高度方向(距离a％的高度b％)的示例。

这是因为，如上面参考图18所述，在使用检测指示人物的上身的特征量的人物检测方法的情况下，设置了第二人物候选点的人物确定检测框可能出现在该移动体检测框的上部，因此下部可能是错误的检测。

因此，用于计算占用率的范围和阈值根据其他人物检测技术(诸如对整个人物的特征量检测处理)的使用、相机的安装状态(给出俯角等的情况)或者人物的状态(存在阴影的情况、人物骑自行车的情况等)而改变。

具体地，例如，在存在阴影的情况下或在人物骑自行车的情况下，移动体框可能在水平方向上扩展。为了例如在检测到阴影或人物骑自行车的情况下正确地确定人物，优选地执行将阈值c％降低到相对低的值的处理或增加人物确定检测框的占用率计算范围的调整处理。

此外，可以不同地设置指定人物确定检测框的占用率计算范围的线(例如，水平方向或倾斜方向)，并且其形状和尺寸可以根据情况而改变。

返回到对图25中所示的流程图的描述。

在步骤S402中确定在移动体检测框中存在“第二人物候选点”的情况下，在步骤S403和S404中，执行对移动体检测框中的移动体是否确实是人物的重新验证处理。

具体而言，如参考图26和图27所述，在步骤S403中，执行以下处理。

分析以下两个检测框(a)和(b)的位置关系：

(a)包括第二人物候选点的人物确定检测框；以及

(b)设置了人物确定检测框的移动体检测框。

在步骤S404中，基于分析结果(即，两个检测框的位置关系分析结果)再次确定在其中设置了第二人物候选点的移动体检测框中的移动体是否是人物。

如上所述，步骤S403和S404的处理主要作为去除错误地检测到“第二人物候选点”(即，不是人物的移动体被确定为“第二人物候选点”)处的错误检测到的点的处理来执行。

在步骤S404中确定设置了第二人物候选点的移动体检测框中的移动体是人物的情况下，处理进入步骤S406。

另一方面，在步骤S404中确定设置了第二人物候选点的移动体检测框中的移动体不是人物的情况下，处理进入步骤S405。

(步骤S405)

在步骤S402中确定在移动体检测框中没有第二人物候选点的情况下或者在步骤S404中确定设置了第二人物候选点的移动体检测框中的移动体不是人物的情况下，处理进入步骤S405。

在步骤S405中，确定其中设置了第二人物候选点的移动体检测框的移动体不是人物，并且将其记录在元数据中。

换句话说，其中设置了第二人物候选点的移动体检测框的对象的对象类型被在上面参考图2描述的元数据中记录为“非人类对象”。

(步骤S406至S408)

另一方面，在步骤S404中确定设置了“第二人物候选点”的移动体检测框中的移动体是人物的情况下，处理进行到步骤S406。

在步骤S406中，确定是否完成了针对当前处理帧和预先指定的多个前一帧和下一帧的处理。

在未完成针对当前处理帧和预先指定的多个前一帧和下一帧的处理的情况下，在步骤S407中，从预先指定的范围中的连续帧中获取未处理的帧，并且对未处理的帧执行步骤S401和后续步骤的处理。

在步骤S406中确定完成了针对当前处理帧和预先指定的多个前一帧和下一帧的处理的情况下，处理进行到步骤S408。

在步骤S408中，在多个指定的连续帧中确定其中设置了“第二人物候选点”的移动体是否是人物。

在多个指定的连续帧中确定其中设置了“第二人物候选点”的移动体是人物的情况下，处理进行到步骤S409。

另一方面，在多个指定的连续帧中确定其中设置了“第二人物候选点”的移动体不是人物的情况下，处理进行到步骤S405。

步骤S406至S408的处理是过去已知的常见错误检测移除处理的应用。例如，在连续帧中，在确定相同的移动体对象都被确定为在相同的移动体对象中共同的人物的情况下，执行指示对象是人物的最终确定。

另一方面，在未获得指示在多个指定的连续帧中、设置了“第二人物候选点”的移动体是的人物的共同确定的情况下，执行指示所设置的“第二人物候选点”的对象不是人物的最终确定。

此外，除了这些处理之外，在移动体或人物框的尺寸或位置、对象的亮度或颜色或特征变化很大的情况下，可以执行将其视为错误检测的处理。

在步骤S408的确定处理中确定在多个指定的连续帧中、设置了“第二人物候选点”的移动体不是人物的情况下，处理进行到步骤S405。

在步骤S405中，如上所述，确定设置了“第二人物候选点”的移动体检测框的移动体不是人物，并且将其记录在元数据中。

换句话说，其中设置了“第二人物候选点”的移动体检测框的对象的对象类型被在上面参考图2描述的元数据中记录为“非人类对象”。

(步骤S409)

另一方面，在步骤S408的确定处理中确定在多个指定的连续帧中、设置了第二人物候选点的移动体是人物的情况下，处理进行到步骤S409。

在步骤S409中，将设置了“第二人物候选点”的移动体检测框的移动体确定为人物，并将其记录在元数据中。

换句话说，其中设置了“第二人物候选点”的移动体检测框的对象的对象类型被在上面参考图2描述的元数据中记录为“人物”。

(步骤S410)

在步骤S405或步骤S409的元数据记录处理之后，处理进入步骤S410。

在步骤S410中，确定是否完成了对图像帧中的所有移动体检测框的处理。

在存在未处理的移动体检测框的情况下，对未处理的移动体检测框重复执行从步骤S401开始的处理。

在完成对所有移动体检测框的处理的情况下，处理结束。

利用这些处理，获得从图像帧检测到的每个移动体是否是人物的结果，并且与结果对应的元数据(即，记录参考图2描述的对象信息的元数据)被生成并从图像处理装置(相机)发送到服务器或信息终端。

[7.其他实施例]

在如上所述的图25所示的流程图中，步骤S406至S408的处理是错误检测去除处理，并且已经被描述为在预定范围内的连续帧中相同的移动体对象都被确定为共同的人物的情况下执行指示对象是人物的最终确定的处理。

在上述实施例中，在预定的连续帧中全都被确定为人物的情况下，执行指示其最终是人物的确定，但是例如，可以根据在预定时间段内在连续帧中被确定为人物的频率来执其是否是人物的最终确定。

例如，如果在n帧中的m帧或更多帧中检测到相同的人物，则确定为人物(n≥m)。因此，即使在时间方向上间歇地检测到第二人物候选点，也补偿了未检测。

另一方面，在检测频率低的情况下，存在错误检测的高可能性，并且执行指示不是人物的最终确定。

参数n和m可以任意确定或者可以自动设置。

例如，为了增加难以检测人物的黑暗的地方的检测灵敏度，当视频的亮度级低时，增加n，并且减小m。这里，在帧上测量其频率的目标可以是每个第二人物候选点或每个人物确定检测框，或者可以是对象数据(每个移动体检测框)。

在前一种情况下，在帧上以任意方式跟踪第二人物候选点。例如，在帧之间的特定范围中出现的第二人物候选点的元素被认为是相同的。

此外，在后一种情况下，能够通过确认对象数据的ID来在帧之间关联对象。通过观察它是否被记录为对象数据类型中的人物来理解在每个帧中它是否被检测为人物。

此外，在本公开的处理中，可以在特定图像区域中密集地检测到在图6的步骤S102的“第一人物检测处理”中检测到的“第一人物候选点”。

优选地，这些点被配置为使得候选点基于如上所述的预先指定的规则被合并或者候选点被稀疏。通过减少“第一人物称候选点”的数量，可以进一步减少“第二人物检测处理”之后的处理负荷。优选地对“第二人物候选点”执行类似的稀疏和合并。

如上所述，在本公开的处理中，在图6中所示的流程的步骤S102中，执行可作为轻量计算处理执行的“第一人物检测处理”以检测“第一人物候选点”，并且仅对在步骤S102中检测到的“第一人物候选点”的邻近区域执行需要步骤S103的计算的基于字典的“第二人物检测处理”，从而可以大大减少总计算量。

由于可以利用计算它们可以安装在相机中的水平来实现这些处理，因此能够通过各个相机分布地处理人物检测处理并减少集中在服务器上的负荷。换句话说，能够降低大规模系统的安装成本，并且还能够在短时间内研究例如作为跟踪目标的犯罪分子等的对象。

此外，由于在步骤S103中仅针对通过图6的流程的步骤S102中的“第一人物检测处理”估计为人物的范围执行“第二人物检测处理”，因此可以大大减少“第二人物检测处理”中的错误检测的可能性。

此外，由于在“第二人物检测处理”之后在步骤S104中执行诸如删除错误检测数据等的最终验证处理，因此即使在很难获得“第二人物检测处理”的情况下也实现稳定的检测处理。

[8.配置本公开的总结]

因此，前述内容参考具体实施例提供了对本公开的实施例的详细说明。然而，显然的是，本领域技术人员可以在不脱离本公开的主旨的情况下对这些实施例进行修改和替换。换句话说，已经通过示例公开了本公开，并且不应该以限制的方式解释本公开。应该在考虑权利要求的情况下确定本公开的主旨。

另外，本技术还可以如下配置。

(1)一种图像处理装置，包括：

数据处理单元，所述数据处理单元被配置为从图像中执行人物检测处理，

其中，所述数据处理单元执行：

预先确定处理，所述预先确定处理在围绕从图像检测到的移动体区域的移动体检测框中设置人物确定检测框，并且确定人物确定检测框中的图像是否是人物，以及

最终确定处理，所述最终确定处理分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物。

(2)根据(1)所述的图像处理装置，其中，所述数据处理单元：

在最终确定处理中，

计算在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的特定区域中的占用率，以及

在占有率等于或大于阈值的情况下，最终确定人物确定检测框中的图像是人物。

(3)根据(1)或(2)所述的图像处理装置，其中，所述数据处理单元：

在预先确定处理中，

计算人物确定检测框中的图像特征量，并基于计算出的图像特征量确定人物确定检测框中的图像是否是人物。

(4)根据(1)至(3)中任一项所述的图像处理装置，其中，所述数据处理单元：

在预先确定处理中，

计算人物确定检测框中的图像特征量，并确定计算出的特征量是否具有与人物的上身相对应的特征量，以及

在最终确定处理中，

计算在预先确定处理中确定为包括人物的上身的人物确定检测框在移动体检测框中的近似上半区域中的占用率，以及

(5)根据(1)至(4)中任一项所述的图像处理装置，其中，所述数据处理单元：

在预先确定处理中，

计算人物确定检测框中的图像特征量，执行作为计算出的特征量和预先登记的人物确定特征量的核对处理的字典核对处理，并基于核对结果确定人物确定检测框中的图像是否是人物。

(6)根据(1)至(5)中任一项所述的图像处理装置，其中，所述数据处理单元：

对多个n个连续的图像帧执行最终确定处理，以及

在获得指示在预先指定的m个或更多个图像帧中、图像被确定为人物的最终决定结果的情况下，这里，n≥m，

确定人物确定检测框中的图像是人物。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中，所述数据处理单元生成其中指示作为最终确定处理的结果而获得的移动体是否是人物的对象类型信息被记录的元数据。

(8)根据(7)所述的图像处理装置，其中，所述图像处理装置通过通信单元发送由所述数据处理单元生成的元数据。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，所述数据处理单元作为预处理执行：

第一人物检测处理，所述第一人物检测处理设置分区小区域设置窗口，基于每个分区小区域的移动体像素的数量确定窗口中的图像是否是人物，并且在图像被确定为人物的情况下在窗口中设置第一人物候选点，以及

第二人物检测处理，所述第二人物检测处理设置包括第一人物候选点或第一人物候选点相邻像素的人物确定检测框，基于人物确定检测框中的图像特征量确定人物确定检测框中的图像是否是人物，以及在图像被确定为人物的情况下在人物确定检测框中设置第二人物候选点，以及

在最终确定处理中，

分析其中第二人物候选点被设置的人物确定检测框在移动体检测框中的分布状态，并基于分析结果最终确定人物确定检测框中的图像是否是人物。

(10)根据(9)所述的图像处理装置，其中，在第一人物检测处理中，所述数据处理单元将每个分区小区域的移动体像素的数量与所有像素的数量的比例与预先指定的阈值进行比较，并基于比较结果确定窗口中的图像是否是人物。

(11)一种图像处理系统，包括：

捕获图像的相机；以及

经由网络与相机连接的服务器，

其中，所述相机包括：

数据处理单元，数据处理单元被配置为从捕获的图像执行人物检测处理，以及

所述数据处理单元执行：

预先确定处理，所述预先确定处理在围绕从捕获的图像检测到的移动体区域的移动体检测框中设置人物确定检测框，并且确定人物确定检测框中的图像是否是人物，以及

最终确定处理，所述最终确定处理分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物，以及

生成其中指示作为最终确定处理的结果而获得的移动体是否是人物的对象类型信息被记录的元数据，并将所述元数据发送到服务器。

(12)一种图像处理系统，包括：

捕获图像的相机；以及

经由网络与相机连接的信息终端和服务器，

其中，所述相机包括：

数据处理单元，数据处理单元被配置为从捕获的图像执行人物检测处理，

所述数据处理单元执行：

生成其中指示作为最终确定处理的结果而获得的移动体是否是人物的对象类型信息被记录的元数据，并将所述元数据连同捕获的图像发送到服务器，以及

所述服务器将从所述相机接收到的捕获的图像和元数据存储在存储单元中，以及

响应于来自所述信息终端的处理请求，执行存储在所述存储单元中的捕获的图像和元数据所应用到的对象搜索或跟踪处理。

(13)一种在图像处理装置中执行的图像处理方法，

其中，所述图像处理装置包括数据处理单元，所述数据处理单元被配置为从图像中执行人物检测处理，以及

所述数据处理单元执行：

(14)一种使图像处理装置执行图像处理的程序，

所述程序使所述数据处理单元执行：

最终确定处理，所述最终确定处理分析在预先确定处理中确定为包括人物的人物确定检测框在移动体检测框中的分布状态，并且基于分析结果最终确定人物确定检测框中的图像是否是人物

另外，本说明书中描述的一系列处理可以由硬件，软件或硬件和软件的组合配置来执行。在通过软件执行处理的情况下，记录处理序列的程序可以安装在嵌入在要执行的专用硬件中的计算机的存储器中，或者程序可以安装在能够执行的通用计算机中。要执行的各种进程。例如，可以将程序预先记录在记录介质上。除了从记录介质安装在计算机上之外，还可以通过诸如局域网(LAN)或因特网之类的网络接收程序，并且可以将程序安装在诸如内置硬盘的记录介质上。。

此外，本说明书中描述的各种处理可以如上所述按时间顺序执行，并且还可以根据执行处理的装置的处理能力或者根据需要并行或单独地执行。注意，在本说明书中，术语“系统”指的是多个装置的逻辑集合配置，并且配置的各个装置不限于在同一外壳内。

工业适用性

如上所述，根据本公开的一个实施例的配置，实现了用于通过以高精度的轻量计算从图像执行人物检测处理的装置和方法。

附图标记列表

10 相机

20 服务器

30 信息终端

40 网络

100 图像处理装置(相机)

101 透镜

102 图像传感器

103 图像处理单元

104 传感器

105 存储器

106 通信单元

107 驱动单元

108 CPU

109 GPU

110 DSP

141 至144移动体检测框

151 分区小区域设置窗口

161 第一人物候选点

171 人物确定检测框

201 人物确定检测框

211 第二人物候选点

251 人物确定检测框

271 第二人称候选点

350 移动体检测框

371 至375人物确定检测框

Claims

1.一种图像处理装置，包括：

其中，所述数据处理单元执行：

2.根据权利要求1所述的图像处理装置，其中，所述数据处理单元：

在最终确定处理中，

3.根据权利要求1所述的图像处理装置，其中，所述数据处理单元：

在预先确定处理中，

4.根据权利要求1所述的图像处理装置，其中，所述数据处理单元：

在预先确定处理中，

在最终确定处理中，

5.根据权利要求1所述的图像处理装置，其中，所述数据处理单元：

在预先确定处理中，

6.根据权利要求1所述的图像处理装置，其中，所述数据处理单元：

对多个n个连续的图像帧执行最终确定处理，以及

确定人物确定检测框中的图像是人物。

7.根据权利要求1所述的图像处理装置，其中，所述数据处理单元生成其中指示作为最终确定处理的结果而获得的移动体是否是人物的对象类型信息被记录的元数据。

8.根据权利要求7所述的图像处理装置，其中，所述图像处理装置通过通信单元发送由所述数据处理单元生成的元数据。

9.根据权利要求1所述的图像处理装置，其中，所述数据处理单元作为预处理执行：

在最终确定处理中，

10.根据权利要求9所述的图像处理装置，其中，在第一人物检测处理中，所述数据处理单元将每个分区小区域的移动体像素的数量与所有像素的数量的比例与预先指定的阈值进行比较，并基于比较结果确定窗口中的图像是否是人物。

11.一种图像处理系统，包括：

捕获图像的相机；以及

经由网络与相机连接的服务器，

其中，所述相机包括：

所述数据处理单元执行：

12.一种图像处理系统，包括：

捕获图像的相机；以及

经由网络与相机连接的信息终端和服务器，

其中，所述相机包括：

所述数据处理单元执行：

13.一种在图像处理装置中执行的图像处理方法，

所述数据处理单元执行：

14.一种使图像处理装置执行图像处理的程序，

所述程序使所述数据处理单元执行：