CN104603838A - 从采集的图像监测对象的设备和方法 - Google Patents

Abstract

本发明涉及一种用于从采集的图像监测对象的设备和方法。用于从采集的图像监测对象的所述设备和方法被设置为基于帧的梯度信息生成边缘图像和基准图像，通过将边缘图像与基准图像进行比较来设定关注对象，并且监测所设定的关注对象被偷窃或遗弃的事件。

Description

从采集的图像监测对象的设备和方法

技术领域

一个或更多个实施方式中的本公开涉及从采集的图像监测对象的设备和方法。

背景技术

此部分中的陈述仅提供与本公开有关的背景信息，不构成现有技术。

传统上，在利用图像监控来监测对象时，检测像素的颜色的变化，表现出颜色变化的像素被观察达特定时间并且根据梯度信息被确定为是被偷窃或被遗弃的对象的像素。

然而，在实时监测的图像中频繁发生由于完全或部分照明(阴影、开灯和关灯)引起的颜色变化。基于颜色的图像检测由于对照明变化的灵敏响应而有可能导致不正确的确定。除了诸如照明所引起的颜色变化的问题以外，由于独立于候选对象的提取而执行遗弃的对象和偷窃的确定，所以检测速度可降低。此外，为了利用梯度信息来确定诸如遗弃对象和偷窃的事件，需要长的计算时间来提取梯度信息以及3维颜色信息，从而使得难以实现实时处理。

发明内容

技术问题

因此，本公开致力于提供一种通过基于帧的梯度信息生成边缘图像和基准图像，通过将边缘图像与基准图像进行比较来设定关注对象，并且监测诸如所设定的关注对象被偷窃和被遗弃的事件，来从采集的图像监测对象的设备和方法。

技术方案

根据本公开的一些实施方式，一种对象监测设备包括图像接收器、边缘图像生成器、基准图像生成器、候选对象提取器和关注对象确定器。所述图像接收器被配置为接收采集的图像的至少一个帧。所述边缘图像生成器被配置为通过计算像素的梯度来生成边缘图像。所述基准图像生成器被配置为利用由出现在多个帧上的边缘的预定重复表示的背景边缘来生成基准图像。所述候选对象提取器被配置为通过将边缘图像与基准图像进行比较来提取候选对象像素，并且通过将多个提取的候选对象像素分组来提取候选对象。所述关注对象确定器被配置为基于候选对象的检测的大小和持续时间来确定候选对象是否为关注对象。

在本公开的另一方面中，一种对象监测方法包括以下步骤：从图像采集器接收采集的图像的至少一个帧；通过计算像素的梯度来生成边缘图像；利用由出现在多个帧上的边缘的预定重复表示的背景边缘来生成基准图像；通过将边缘图像与基准图像进行比较来提取候选对象；以及确定候选对象是否为关注对象。

有益效果

如上所述，根据本公开，基于帧的梯度信息生成边缘图像和基准图像，通过将边缘图像与基准图像进行比较来设定关注对象，并且针对偷窃或遗弃监测所设定的关注对象。这降低了在利用颜色信息检测关注对象时发生的由照明变化(例如，阴影、开灯、关灯)导致的误差，可利用边缘信息更快速和准确地检测关注对象。

附图说明

图1是根据至少一个实施方式的针对偷窃和遗弃来监测对象的系统的示意性框图。

图2是在根据至少一个实施方式的对象监测设备中更新基准图像的更新器的示意性框图。

图3是根据至少一个实施方式的针对偷窃和遗弃来监测对象的方法的流程图。

图4是根据至少一个实施方式的对象监测设备的示例操作的示图。

具体实施方式

以下，将参照附图详细描述本公开的至少一个实施方式。

图1是根据本公开的至少一个实施方式的针对偷窃或遗弃来监测对象的系统的示意性框图。

根据本公开的一个或更多个实施方式的监测对象的系统包括图像采集器110和对象监测设备120。这里，对象监测设备120包括图像接收器130、边缘图像生成器140、基准图像生成器150、更新器181、候选对象提取器170、关注对象确定器180和显示单元190。

图像采集器110是指能够采集图像的装置。图像采集器110可通过能够采集对象监测图像以针对偷窃或遗弃监测对象的CCTV相机、监控相机等来实现。图像采集器110将采集的图像发送给对象监测设备120以监测偷窃或遗弃。由图像采集器110采集的图像可包括多个帧。

对象监测设备120生成边缘图像和基准图像，并且基于通过将边缘图像的像素和基准图像的像素应用于预定函数而计算出的相对差来提取检测候选。另外，对象监测设备120根据预定标准将所提取的检测候选注册为关注对象，从而监测诸如偷窃和遗弃对象的事件。

以下，将更详细地描述根据本公开的一个或更多个实施方式的对象监测设备120中所包括的元件。

图像接收器130从连接到对象监测设备120的图像采集器110接收采集的图像的至少一个帧。这里，所述帧可以是采集的图像的采集的帧，但不限于此。所述帧可以是从多个接收的帧中选择出的一个帧。

边缘图像生成器140通过计算像素的梯度来生成边缘图像。这里，梯度信息可以是从相邻像素之差生成的值，可表示所述差的绝对值之和。边缘是指利用梯度信息表现的对象边界。

基准图像生成器150通过检测帧中的与背景对应的部分作为背景边缘来生成基准图像。这里，基准图像可通过以下步骤生成：检测出现在预设图像中的对象的边缘作为背景边缘，或者通过比较帧来检测出现在多个帧上的边缘的至少预定数量的重复作为背景边缘。

候选对象提取器170通过将边缘图像与基准图像进行比较来提取候选对象像素，并且将多个提取的候选对象像素组成候选对象。

候选对象提取器170通过将边缘图像的像素和基准图像的像素应用于预定函数来计算相对差(RD)，并且如果RD维持在预定阈值以上达预设时间周期，则确定并提取具有该RD的像素作为候选对象的像素。这里，预设时间周期应该被设定为使得不从通过边缘图像与基准图像之间的比较而在帧之间表现出移动的对象提取候选对象。这里，RD与边缘图像的像素和基准图像的像素之差的平方成正比，与边缘图像的像素和基准图像的像素的最大值成反比。

通过比较边缘图像的像素和基准图像的像素来计算RD以提取候选对象像素的示例被表示为式1。

$\mathrm{RD}=\frac{{(A-B)}^2}{\max (A,B)}$     式1

这里，RD表示相对差，A表示边缘图像的像素值，B表示基准图像的像素值。

假设用于提取候选对象像素的阈值为2，边缘图像的像素值为10像素，基准图像的像素值为6像素，则候选对象提取器170得出1.6作为RD。由于该RD小于阈值，所以确定对应图像帧中不存在候选对象像素。当用于提取候选对象像素的阈值被给出为2时，如果边缘图像具有10像素，基准图像具有4像素，则RD变为3.6。由于在这种情况下RD大于阈值，所以如果RD维持超过阈值达预设时间，则具有该RD的像素被确定为候选对象像素。

候选对象提取器170还将被确定为候选对象像素的多个像素组成候选对象。这里，候选对象提取器170将RD维持在预定阈值以上达预设时间的多个候选对象像素组成候选对象。

如果候选对象具有在候选对象组中没有表现出变化达预定时间周期以上的边缘并且具有大于预设标准大小的大小，则关注对象确定器180将候选对象确定为关注对象。另一方面，如果候选对象具有在候选对象组中表现出变化达预定时间周期以上的边缘并且具有小于预设标准大小的大小，则关注对象确定器180将边缘确定为基准图像的背景边缘，并且通过更新器181更新基准图像。

更新器181将被关注对象确定器180确定为背景边缘的候选对象更新到基准图像中。这里，更新意指仅增加或消除在对由基准图像生成器150生成的基准图像与被确定为背景边缘的候选对象进行比较时变化的部分。

关注对象监测单元182注册被关注对象确定器180确定为关注对象的候选对象，并且测量从关注对象被注册时起该关注对象存在于采集的图像中的持续时间。当测量的持续时间达到预设标准时间时，关注对象监测单元182识别出发生偷窃或者遗弃的事件，并且生成事件信号(例如，偷窃信号或遗弃信号)。这里，事件可以是偷窃或者遗弃的对象的出现，可应用于检测关注对象的任何领域。预设标准时间由用户输入和设定。例如，当使用监测遗弃的对象的功能来监测违规停车时，标准时间可被设定为5分钟，使得针对留在同一地点无人达5分钟限制以上的车辆，生成遗弃信号。当在美术馆采用偷窃功能以监测艺术品的偷窃时，标准时间可被设定为3秒，因此如果艺术品变得消失达3秒钟以上，则生成偷窃信号。

在检测诸如偷窃或遗弃的事件时，如果A表示边缘图像的像素值，B是基准图像的像素值，则关注对象监测单元182可通过与关注对象的区域对应的多个像素的A-B的值的组合利用关注对象的边缘的分布来检测诸如偷窃或遗弃对象的事件。

如果边缘图像的像素和基准图像的像素之差大于0(A-B>0)，则通过关注对象监测单元182将新像素(以下，增加的像素)增加到基准图像。如果边缘图像的像素和基准图像的像素之差小于0(A-B<0)，则通过关注对象监测单元182消除基准图像中的像素(以下，消除的像素)。例如，当关注对象监测单元182监测遗弃的事件时，增加的像素出现在基准图像中的对象的周边，消除的像素出现在封闭现有背景边缘的对象的中心。当关注对象监测单元182检测偷窃的事件时，基准图像中增加的像素存在于封闭基准图像的对象的中心，丢失的对象的消除的像素存在于对象的周边。

在基于边缘图像的像素和基准图像的像素之差检测诸如偷窃或遗弃的事件时，关注对象监测单元182可利用作为距关注对象的中心的距离的权重的和来检测诸如偷窃或遗弃的事件。例如，当关注对象监测单元182检测遗弃的事件时，因为确定存在于对象的周边的像素(增加的像素)与关注对象的区域间隔开的距离较长，并且增加的像素的数量大于删除的像素(消除的像素)的数量，所以可从作为距关注对象的中心的距离的权重的正的和来确定对象被遗弃。

求取作为距关注对象的中心的距离的权重的和的示例被表示为式2。

$\underset{P\&Element;\mathrm{ROI}}{\mathrm{\&Sigma;}}d\left(P\right)\&times;\mathrm{RD}\left(P\right)\&times;\mathrm{type}$     式2

这里，P是增加或消除的像素，d(P)是像素(P)与关注对象的中心之间的距离，RD(P)是像素(P)的相对差，type是增加的像素(例如，+1)或消除的像素(例如，-1)类型，ROI(关注区域)是关注对象的区域。

显示单元190接收由关注对象监测单元182根据预设标准时间生成的事件信号(例如，偷窃信号和遗弃信号)，标记关注对象(利用例如圆、矩形等)并将其输出给监视器。

图2是在根据本公开的至少一个实施方式的对象监测设备中更新基准图像的更新器的示意性框图。

根据本公开的一个或更多个实施方式的更新器160包括更新开始器210、更新处理器220和更新停止器230。

一旦候选对象被关注对象确定器180确定为背景，更新开始器210就将初始化信号发送给基准图像生成器150以更新基准图像。尽管更新开始器210被示出为根据关注对象确定器180的确定来更新基准图像，但是本公开的实施方式不限于此。如果通过将边缘图像与基准图像进行比较而检测出预设背景区域中的变化，则更新开始器210可通过更新处理器220更新基准图像。

更新处理器220更新基准图像。这里，更新处理器220可通过将被确定为背景边缘的候选对象与基准图像进行比较来仅更新变化的边缘，或者可更新候选对象的所有边缘。另外，更新处理器220可通过重置边缘来生成基准图像。

一旦基准图像的更新结束，更新停止器230就将更新完成信号发送给基准图像生成器150，使得基准图像生成器150利用更新的基准图像提取候选对象。

图3是根据至少一个实施方式的针对偷窃和遗弃来监测对象的方法的流程图。

对象监测设备120接收由图像采集器110采集的图像的帧(S310)。这里，所述帧可以是采集的图像的采集的帧，但不限于此。所述帧可以是从多个接收的帧中选择出的帧。

对象监测设备120通过计算像素的梯度来生成边缘图像(S320)。

对象监测设备120通过检测出现在多个帧上的边缘的重复作为背景边缘，来生成基准图像(S330)。

如果不需要更新基准图像，则对象监测设备120通过将边缘图像与基准图像进行比较并且将图像之间的不同边缘部分分组来提取候选对象(S340)。对象监测设备120通过将边缘图像的像素和基准图像的像素应用于预定函数来计算RD，并且如果RD维持在预定阈值以上达预设时间，则确定并提取具有该RD的像素作为候选对象像素。另外，对象监测设备120将RD维持在预定阈值以上达预设时间的多个候选对象像素组成候选对象。

对象监测设备120利用预定标准确定在步骤S340中提取的候选对象是否为关注对象(S350)。如果候选对象不是关注对象，则对象监测设备120确定候选对象是基准图像的背景边缘并且更新基准图像(S352)。这里，如果候选对象具有在候选对象组中没有表现出变化达预定时间周期以上的边缘，并且具有小于预设标准大小的大小，则对象监测设备120确定候选对象不是关注对象。

如果在步骤S350中由于候选对象具有在候选对象组中没有表现出变化达预定时间周期以上的边缘并且具有小于预设标准大小的大小而确定候选对象是关注对象，则对象监测设备120将该候选对象注册为关注对象(S360)。

对象监测设备120针对诸如偷窃和遗弃的事件监测关注对象(S370)。当关于关注对象发生诸如偷窃和遗弃的事件时(S380)，对象监测设备120显示关注对象的区域，使得所述区域利用例如圆或矩形而被突出(S390)。

尽管图3的步骤S310至S390被描述为顺序执行，但是这仅是本公开的至少一个实施方式的技术构思的示例性描述。本领域技术人员将理解，在不脱离本公开的至少一个实施方式的特性的情况下，可进行各种修改、添加和置换。例如，图3所示的步骤的顺序可改变，或者步骤S310至S390中的一个或更多个可并行执行。因此，本公开不限于如图3所示的时间顺序。

图4是根据至少一个实施方式的对象监测设备的操作的示例的示图。

采集的图像410是由图像采集器110采集的图像。该图像示出一个人将包留在空房间中。

边缘图像420是由对象监测设备120通过利用梯度信息检测出现在采集的图像410的帧中的多个对象的边缘作为边缘而生成的图像。

基准图像430是通过检测帧中与背景对应的部分作为背景边缘而生成的图像。这里，基准图像可通过以下步骤生成：检测预设区域中的对象的边缘作为背景边缘，或者通过比较帧来检测出现在多个帧上的边缘的至少预定重复作为背景边缘。

边缘比较图像440是通过将边缘图像420与基准图像430进行比较提取候选对象442，从而生成的图像。这里，为了提取出现在边缘比较图像440中的候选对象442，对象监测设备120通过将边缘图像420的像素和基准图像430的像素应用于预定函数来计算RD，并且如果RD维持在预定阈值以上达预设时间，则确定具有该RD的像素是候选对象442的像素。

关注对象图像450是通过基于预定标准从候选对象442确定并提取关注对象452而生成的图像。这里，如果候选对象442的边缘具有没有表现出值差的变化达预定时间周期以上的像素并且具有大于预设标准大小的大小，则对象监测设备120确定候选对象442是关注对象452。

事件检测的结果图像460是在关于关注对象452发生事件时将事件结果462突出地输出的图像。这里，对象监测设备120可测量关注对象452的持续时间。当持续时间的测量值达到预设标准时间时，对象监测设备120可确定发生诸如偷窃和遗弃的事件，并且将事件结果462输出到监视器，使得事件结果462被突出(利用例如圆、矩形等)。

由于已出于示意性目的描述了本公开的示例性实施方式，本领域技术人员将理解，在不脱离本公开的基本特性的情况下，可进行各种修改、添加和置换。因此，描述本公开的示例性实施方式并非为了限制示例性实施方式的技术构思，而是为了简明和清晰。因此，本领域普通技术人员将理解，本公开的范围不受上面明确描述的实施方式的限制，而是由权利要求及其等同物限定。

工业实用性

如上所述，应用于诸如视频监控领域的至少一个实施方式可降低在利用颜色信息检测关注对象时发生的由照明变化(例如，阴影、灯打开、灯关闭)导致的误差，并且利用边缘信息更快速和准确地检测关注对象。

附图标号

110：图像采集器        120：对象监测单元

130：图像接收器        140：边缘图像生成器

150：基准图像生成器    170：候选对象提取器

180：关注对象确定器    181：更新器

182：关注对象监测单元  190：显示单元

相关申请的交叉引用

如果可申请，本申请要求2012年8月31日在韩国提交的专利申请No.10-2012-0096805的优先权，其完整内容以引用方式并入本文。另外，本非临时申请基于该韩国专利申请以相同的理由要求美国以外的国家的优先权，其完整内容以引用方式并入本文。

Claims (17)

1.一种对象监测设备，该对象监测设备包括：

图像接收器，该图像接收器被配置为接收采集的图像的至少一个帧；

边缘图像生成器，该边缘图像生成器被配置为通过检测出现在所述帧中的对象的边缘来生成边缘图像；

基准图像生成器，该基准图像生成器被配置为利用由出现在多个所述帧上的边缘的至少预定重复表示的背景边缘生成基准图像；

候选对象提取器，该候选对象提取器被配置为通过将所述边缘图像与所述基准图像进行比较来提取至少一个候选对象像素，并且通过将多个提取的候选对象像素分组来提取候选对象；以及

关注对象确定器，该关注对象确定器被配置为基于所述候选对象的检测的大小和持续时间来确定所述候选对象是否为关注对象。

2.根据权利要求1所述的对象监测设备，该对象监测设备还包括更新器，该更新器被配置为在所述关注对象确定器确定所述候选对象不是关注对象的情况下，将所述候选对象更新到所述基准图像中。

3.根据权利要求2所述的对象监测设备，其中，如果所述候选对象具有没有表现出值差的变化达预定时间周期以上的像素并且具有小于预设标准大小的大小，则所述更新器将所述候选对象更新到所述基准图像中。

4.根据权利要求1所述的对象监测设备，该对象监测设备还包括显示单元，该显示单元被配置为响应于事件输出所述采集的图像，并使得所述关注对象在区域上被突出。

5.根据权利要求1所述的对象监测设备，其中，所述候选对象提取器基于所述边缘图像与所述基准图像之间的相对差来提取所述至少一个候选对象像素。

6.根据权利要求5所述的对象监测设备，其中，所述相对差与所述边缘图像的像素和所述基准图像的像素之差的平方成正比，与所述边缘图像的像素和所述基准图像的像素的最大值成反比。

7.根据权利要求6所述的对象监测设备，其中，如果所述相对差维持在预定阈值以上超过预设时间，则所述候选对象提取器进行操作，以提取所述至少一个候选对象像素并将提取的候选对象像素分组成所述候选对象。

8.根据权利要求1所述的对象监测设备，其中，所述边缘图像生成器利用所述帧的梯度信息来检测所述边缘。

9.根据权利要求1所述的对象监测设备，该对象监测设备还包括关注对象监测单元，该关注对象监测单元被配置为在所述候选对象具有没有表现出值差的变化达预定时间周期以上的像素并且具有大于预设标准大小的大小的情况下，将所述候选对象注册为关注对象，从而确定是否存在事件。

10.根据权利要求9所述的对象监测设备，其中，所述关注对象监测单元测量从所述关注对象被注册时起所述关注对象在所述采集的图像中的持续时间，并且当所述持续时间的测量值达到预设标准时间时，确定存在事件。

11.根据权利要求9所述的对象监测设备，其中，所述关注对象监测单元通过将多个增加的像素和多个消除的像素组合来生成所述关注对象的边缘，利用所述边缘图像的像素与所述基准图像的像素之差生成所述增加的像素和所述消除的像素。

12.根据权利要求11所述的对象监测设备，其中，当所述边缘图像的像素与所述基准图像的像素之差大于0时，存在所述增加的像素，当所述边缘图像的像素与所述基准图像的像素之差小于0时，存在所述消除的像素，其中，所述关注对象监测单元进行操作以在偷窃监控中监测事件，使得所述增加的像素存在于所述基准图像中的封闭所述基准图像的所述关注对象的中心，所述消除的像素存在于所述关注对象的周边。

13.根据权利要求12所述的对象监测设备，其中，所述关注对象监测单元利用作为从所述关注对象的中心至所述增加的像素和所述消除的像素的距离的权重的和来关于所述关注对象监测事件，其中，所述权重的和通过应用下式来计算：

$\underset{P\&Element;\mathrm{ROI}}{\mathrm{\&Sigma;}}d\left(P\right)\&times;\mathrm{RD}\left(P\right)\&times;\mathrm{type}$

其中，P是增加或消除的像素，d(P)是像素(P)与所述关注对象的中心之间的距离，RD(P)是像素(P)的相对差，type是增加的像素(例如，+1)或消除的像素(例如，-1)类型，关注区域ROI是所述关注对象的区域。

14.一种对象监测方法，该对象监测方法包括以下步骤：

从图像采集器接收采集的图像的至少一个帧；

通过计算像素的梯度来生成边缘图像；

利用由出现在多个所述帧上的边缘的预定重复表示的背景边缘生成基准图像；

通过将所述边缘图像与所述基准图像进行比较来提取候选对象；以及

确定所述候选对象是否为关注对象。

15.根据权利要求14所述的对象监测方法，其中，提取所述候选对象的步骤包括以下步骤：

基于通过将所述边缘图像与所述基准图像进行比较而计算出的相对差来提取至少一个候选对象像素，以及

执行多个所述候选对象像素到所述候选对象的分组提取。

16.根据权利要求14所述的对象监测方法，其中，确定所述候选对象是否为关注对象的步骤在所述候选对象具有没有表现出值差的变化达预定时间周期以上的像素并且具有大于预设标准大小的大小的情况下，确定所述候选对象是关注对象。

17.根据权利要求14所述的对象监测方法，该对象监测方法还包括以下步骤：

如果所述候选对象被确定为关注对象，则将所述候选对象注册为关注对象，从而监测是否存在事件；以及

如果监测步骤确定存在事件，则输出所述采集的图像，并使得所述关注对象在区域上被突出。