CN109948411A - 检测与视频中的运动模式的偏差的方法、设备和存储介质 - Google Patents

Abstract

本发明提供一种检测与视频中的运动模式的偏差的方法、设备和存储介质。其中，通过将来自视频序列的至少两个拍摄图像(100、110)的相应元素之间是否存在改变的指示存储在包括多个元素(142)的当前运动网格(140)的各元素中来生成所述当前运动网格。通过首先搜索包括在所述当前运动网格中指示了改变并且彼此相邻的多个元素的片段(151)、其次将与所述片段的尺寸相对应的值存储在所述片段的各元素中，来生成包括多个元素(152)的当前运动模式网格(150)。将所述当前运动模式网格(150)的元素的值与阈值进行比较。然后，根据比较结果来判断是否存在与所述运动模式的偏差。

Description

检测与视频中的运动模式的偏差的方法、设备和存储介质

技术领域

本发明涉及检测视频中的运动偏差。更具体但非限制性地，本发明涉及用于使用基于网格的运动模式模型来检测与视频场景中的运动模式的偏差的方法、设备、计算机程序和计算机可读存储介质。

背景技术

在视频监控和监视技术中，运动检测通常用于确定何时记录视频。对象的运动通常由诸如被动式红外(PIR)传感器、使用微波或超声波脉冲的传感器或振动传感器等的运动检测传感器检测。在摄像技术中，已知用于检测连续视频流中的运动的算法。一些算法基于将当前视频帧与先前帧中的一帧进行比较。一些运动检测方法利用图像处理滤波器来寻找两个视频帧彼此不同的区域。

然而，大多数传统的图像处理算法的计算繁重，并且由于硬件成本太高，因此不适用于大型视频监控设置。另外，利用上述传统方法，无法区分正常运动和异常运动。

因此，本发明的目的是提供用于检测与视频场景中的运动模式(motion pattern)的偏差的解决方案，这提供了计算和硬件资源的优化使用。

发明内容

本发明提供用于使用基于网格的运动模式模型来检测与视频场景中的运动模式的偏差的方法、设备、计算机程序和计算机可读存储介质。

根据本发明的第一方面，提供一种用于检测与视频场景中的运动模式的偏差的方法，包括：通过在包括多个元素的当前运动网格的各元素中存储来自视频序列的至少两个拍摄图像的相应元素之间是否存在改变的指示，来生成所述当前运动网格；通过首先搜索包括所述当前运动网格中指示了改变并且彼此相邻的多个元素的片段、其次将与所述片段的尺寸相对应的值存储在所述片段的各元素中，来生成当前运动模式网格；将所述当前运动模式网格的元素的值与阈值进行比较；以及根据所述比较的结果来判断是否存在与所述运动模式的偏差。

根据本发明的第二方面，提供一种用于检测与视频场景中的运动模式的偏差的设备，包括：至少一个处理器；以及至少一个存储器，其包括计算机程序代码；其中，所述至少一个处理器被配置为利用所述计算机程序代码来使所述设备：通过在包括多个元素的当前运动网格的各元素中存储来自视频序列的至少两个拍摄图像的相应元素之间是否存在改变的指示，来生成所述当前运动网格；通过首先搜索包括所述当前运动网格中指示了改变并且彼此相邻的多个元素的片段、其次将与所述片段的尺寸相对应的值存储在所述片段的各元素中，来生成当前运动模式网格；将所述当前运动模式网格的元素的值与阈值进行比较；以及根据所述比较的结果来判断是否存在与所述运动模式的偏差。

根据本发明的第三方面，提供一种计算机程序，所述计算机程序在由处理器执行时被配置为控制所述处理器进行所述方法的步骤的处理。

根据本发明的第四方面，提供一种计算机可读存储介质，其利用计算机程序来有形地编码，所述计算机程序能够由处理器执行以进行包括所述方法的步骤的动作。

本发明的优点是运动模式网格数据具有非常小的尺寸，因此与视频数据相比需要少得多的存储空间。运动模式网格数据可以在数据库中单独存储为元数据或在无需任何大量额外磁盘空间的情况下与视频数据一起存储在数据库中。因此，本发明优化了计算和存储器资源的使用，从而降低了硬件成本。这尤其在包括几个监控照相机的大型监控系统中具有优势。

本发明的另一优点是例如在从远程记录服务器中检索记录时由于运动模式网格数据的传送而导致的业务负荷将保持为小。由于要传送的数据量小，因此不占用或不需要高网络容量。由于在工作时间内监控照相机和用于处理数据的服务器之间的可用带宽可能经常受到限制并且可能会将可用带宽的使用优先用于其它目的，因此这是特别优选的。

可以根据实时视频序列或先前记录的视频序列来生成基于网格的运动模式模型。在没有足够的网络容量来及时传送完整的视频记录的情况下，这是有利的。因此，可以使用先前存储的元数据来进行偏差检测，从而使得能够进行非常快速的取证偏差检测。可以仅对运动模式网格数据进行所有计算操作，因此其计算量少。

此外，本发明使得能够仅使用运动模式网格元数据来提取并比较运动模式。因此，与使用传统的图像处理算法相比，要分析的数据量保持低。这减少了实现本发明的系统中所需的计算资源。

下面描述的本发明的各实施例可以单独实现，或者可以根据需要或者在来自各个实施例的元素或特征的组合在一个实施例中是有益的情况下作为多个实施例或其特征的组合实现。

附图说明

现在将仅通过示例的方式参考附图来描述实施例，其中：

图1A是示出生成运动网格的方法的图；

图1B是示出运动网格的图；

图1C是示出基于图1B的运动网格所生成的运动模式网格的图；

图2A是示出生成运动模式模型的方法的图；

图2B是示出动作模式模型的图；

图3是示出用于检测与视频场景中的运动模式的偏差并且在检测到偏差的情况下触发事件的方法的图；

图4是示出更新运动模式模型的方法的图；

图5A是示出用于生成运动网格的方法的流程图；

图5B是示出用于基于运动网格来生成运动模式网格的方法的流程图；

图5C是示出用于生成运动模式模型的方法的流程图；

图5D是示出用于检测与视频场景中的运动模式的偏差的方法的流程图；

图6是示出根据本发明的一些实施例的设备的简化框图；

图7是示出用于实现根据本发明的一些实施例的方法的摄像机的简化框图；

图8是示出根据本发明的一些实施例的系统的简化框图；

图9A是从监控视频序列拍摄的图像的图形表示；

图9B是作为拍摄图像上的重叠的运动模式网格的图形表示；

图9C是运动模式的图形表示。

具体实施方式

下面将参考附图来详细描述本发明的各种说明性实施例、特征和方面。根据本发明的说明性实施例的后述的配置仅仅是示例，并且本发明不限于这些配置。

图1A示出根据本发明的一些实施例的生成运动网格的方法。在图1A中，至少两个图像或视频帧、即图像1(100)和图像2(110)是来自视频序列(未示出)的拍摄图像。视频序列可以是实时视频序列，以使得可以实时生成运动网格120、130。视频序列也可以预先记录并存储在存储器中。视频序列可以包括由监控照相机记录的监控视频的某个选定视频场景。

接着，将至少两个拍摄图像100、110中的每一个划分为多个元素101、111的网格，使得对于图像1的网格的各元素，在图像2的网格上存在具有相同位置和尺寸的相应元素。网格的各元素包括至少一个像素。例如，网格可以由4×4像素的方格组成。

在整个说明书中，术语“相应元素”是指不同网格上的具有相同位置和尺寸的元素。位置可以例如由网格上的行和列定义。

由于至少两个图像100、110是在视频的不同时间位置拍摄，因此图像可能相同，或者如果存在在视频中移动且被拍摄到图像中的对象则图像可能发生改变。可以通过分别将两个图像100、110中的相应元素101、111彼此进行比较来检测该改变。该改变可以例如通过对相应元素中的改变像素数进行计数来进行测量。然而，也可以使用其它测量方法。

在下文中，描述了如何生成运动网格120、130。首先，确定在两个拍摄图像100、110之间各网格元素中有多少像素已经改变(121)。在运动网格的各元素中，该信息例如可以被存储为整数122。两个图像之间的改变也可以通过其它方式测量。

接着，基于所确定的元素中的改变像素数来判断该元素中是否发生改变。该元素中的改变将为视频中存在运动的指示。该判断可以考虑阈值，以使得不是视频中的所有改变都会被登记为运动。例如，可以假设图像中存在一定量的噪声，这可以通过噪声阈值来考虑。

如果判断为该元素中存在改变，则在运动网格的相应元素中将该信息存储为指示131。该指示例如在存在改变的情况下可以是‘真’(1)指示132，或者在没有检测到改变的情况下可以是‘假’(0)指示132。再次，可以考虑阈值，使得仅在改变的水平(例如，改变像素数)超过预定阈值的情况下才将指示标记为“真”。运动网格120、130的各元素中的指示的初始值可以是‘假’(0)。因此，通过使用阈值对运动网格120进行二值化来生成运动网格130。

当生成运动网格120、130时，可以考虑拍摄图像100、110的全部帧，或者可以基于例如图像中的关注区域来考虑图像100、110及其网格的仅一部分帧。

运动网格120、130的尺寸对应于拍摄图像100、110的网格的尺寸，或者可选地，对应于拍摄图像中的所选区域的尺寸。图1A所示的运动网格由多个矩形形成的元素构成，然而可以使用诸如方形等的其它形式。

图1B示出运动网格的示例。运动网格140是x×y网格(例如，如图1B所示的8×8，但不限于此)。其它可能的尺寸例如是100×100或50×25。运动网格140在各元素中包括该元素或至少一个像素在两个给定拍摄图像之间是否已经改变(可选地具有一些噪声阈值)的‘真’(‘1’)或‘假’(‘0’)指示。在元素142中，从指示‘0’可以看出，没有检测到改变。

运动网格140上的已经标记或指示了改变并且连接为邻居的元素形成片段141。在运动网格140上，如果两个元素彼此横向、纵向或对角邻接，则它们是邻居。因此，在运动网格140上，存在由具有‘真’(1)指示的元素构成的四个片段。

图1C示出基于运动网格140生成的运动模式网格150。与运动网格140相同，运动模式网格150中的片段151由已经标记了改变或运动并且彼此横向、纵向或对角连接为邻居的元素构成。运动模式网格150中的各片段的大小基于该片段包含的元素的数量来定义。换句话说，片段的大小与以片段包含的元素数量所测量出的片段的尺寸相对应。例如，由于片段151包含已经检测到运动的三个相邻元素，因此片段151的大小是3。如图1C中可以看到，在片段151的各元素中，已经标记了片段151的大小‘3’。元素的大小与其所属的片段的大小相同。没有检测到运动或改变的元素152的大小是0。

图2A是根据本发明的一些实施例的用于生成运动模式模型201的方法200的图。如上所述，基于拍摄图像203来获得一系列运动模式网格202。例如，将来自视频序列的第一拍摄图像与来自相同视频序列的第二拍摄图像进行比较。例如，如图2A所示，可以使用每三个拍摄图像来构建运动模式模型。然而，视频序列的采样频率不受本发明的限制。视频序列中的第一采样图像和最后的采样图像之间的时间定义了获得一系列运动模式网格202的时间间隔204。因此，该一系列运动模式网格202包括用于构建运动模式模型201的多个运动模式网格。

可以选择时间间隔204，使得其覆盖视频中的特别关注的选定场景。时间间隔204可以是例如一天的特定时间(诸如从下午4点到下午6点等)，或者通常是白天或者晚上的时间。运动模式模型201可以表示在该时间间隔期间的运动行为，并且可以用于例如对高峰时间段期间的交通状况进行建模。偏离运动模式模型201将表示异常(或非预期的、不寻常的)动作。该时间间隔还可以与星期几相关，以使得具有关于特定日期的正常运动行为的模型。该时间间隔还可以是上述的组合，诸如星期五的下午4点至下午6点等。选择时间框架旨在创建表示在所选时间内受监视的关注区域中预期的正常运动的模型。

视频中的所选场景可以包括要监视的诸如房屋或房产、存储空间、室外区域、街道或公路或城市区域等的特定场所的视频序列。

运动模式模型201包含尺寸与运动模式网格202的尺寸相同的网格。逐渐累积运动模式网格202的元素中的信息。这意味着，在运动模式模型201的各元素中，存储指示在该系列的运动模式网格202的任何相应元素中检测到的片段的最大大小或尺寸的指示。运动模式模型201可以存储在存储器或数据库206中。

可以通过将来自视频序列的其它运动模式网格添加至一系列运动模式网格202来随时间更新运动模式模型201。还可以通过从一系列运动模式网格202中移除运动模式网格来更新运动模式模型201。

一系列运动模式网格202可以从实时视频序列获得。一系列运动模式网格202还可以从预先生成并存储在例如数据库206中的运动模式网格数据获得。由于不需要处理原始视频数据，因此这具有运动模式网格数据的处理是轻量的优势。也没有必要在记录了数据的现场处理数据，而可以将其传送到进行处理的管理站点服务器。

图2B示出根据本发明的运动模式模型210。运动模式模型210具有与图1C的运动模式网格相同的网格格式。如上所述，运动模式模型210的各元素包含已在一系列运动模式网格211的任何相应元素中检测到的最大大小的指示。基于该模型，可以定义例如场景中发生的最大片段。片段的尺寸或大小可以是视频中看到的对象的尺寸的指示，或者其可以指示对象与摄像机的距离。在各相应元素中存储与相关片段的尺寸或大小有关的信息提供了用于估计运动模式网格上的特定位置的移动对象的最大尺寸的基础。

在替代实现中，运动模式模型210的各元素可以存储一个或多个阈值或者值范围。值范围可以包括例如表示讨论中的元素的正常运动的值。在一些实施例中，该范围还可以包括表示异常运动的值。阈值可以例如基于一系列运动模式网格的相应元素中所检测到的最高或最低大小来定义。因此，运动模式模型可用于表示与视频场景中的对象的大小、形状或距离有关的预期运动。

图3示出根据一些实施例的用于检测视频场景中的运动偏差的方法。首先，从包括如上所述的图像302的序列的实时视频馈送301生成当前运动模式网格303。该视频也可以是预先记录的视频而非实时视频。当前运动模式网格303的时间位置在运动模式模型305的时间间隔之后。使用先前描述的方法来生成运动模式模型305。从实时馈送301获得的当前运动模式网格303和运动模式模型305涉及视频的相同场景，例如涉及相同对象(例如正监视的房间或者正被观察交通状况的高速公路的一部分)。

接着，将从视频的特定场景中获得的当前运动模式网格303与基于该视频中的特定场景的历史数据而生成的运动模式模型305进行比较(304)。比较304可以包括将当前运动模式网格303的区域的元素中所存储的值与运动模式模型305的相应区域的相应元素中所存储的值进行比较。可选地，可以将当前运动模式网格303的区域中的元素的值与预定阈值进行比较。该区域可以包括任意数量的网格元素。

基于比较，如果当前运动模式网格303的所选区域中的元素的值超过预定阈值或运动模式模型305的相应区域中的相应元素的值，则判断为与运动模式存在偏差。偏差的发生还可以通过测量与阈值的差并检查与阈值的差是否超过预定值来判断。如果差大于预定值，则可能是视频中存在非预期对象或异常运动的指示。

可选地，如果当前运动模式格303的所选区域中的元素的值低于预定阈值或运动模式模型305的相应区域中的相应元素的值，则同样判断为与运动模式存在偏差。偏差的发生还可以通过测量与阈值的差并检查与阈值的差是否小于预定值来判断。这可能是视频中的对象变得越来越小或者其与摄像机的距离越来越大的指示。

此外，如上所述，元素的值的范围可以用于表示视频中的正常或异常运动行为。例如，该范围可以由元素的较低和较高阈值定义。然后，当前运动模式网格303在由这些阈值限定的范围内的值将被视为正常或异常运动行为的指示。相应地，当前运动模式网格303的落在该范围之外的值将分别被视为异常或正常运动行为。值的范围可以包含在运动模式模型的元素中。

注意，不必使用过去运动模式网格的全部区域来构建运动模式模型305，而作为替代还可以提取运动模式网格的区域并使用该区域。同样，不必使用图像302的帧的整个区域，而可以仅选择图像的特定区域。可以将运动模式模型305和当前运动模式网格303相互比较，只要它们覆盖了视频图像的相同区域并具有相同尺寸即可。

作为与运动模式存在偏差的判断结果，可以触发事件306。在一些实施例中，触发事件306可以考虑预定阈值，使得仅在区域中的偏差元素的数量超过阈值的情况下才触发事件。

事件306的触发可以包括设置标志、将位值设置为1、发出警报和输出通知中的至少一个。可以向用户发送通知以通知用户检测到与运动模式的偏差。事件306的触发还可以包括输出当前运动模式网格303上的检测到潜在异常运动的元素的位置和/或数量的信息以及/或者识别信息。因此触发器可以用于通知用户已检测到偏差的位置。另外，可以输出视频中发生偏差的时刻。输出信息还可以包括与偏差有关的其它信息。该偏差信息可以存储在存储器或数据库中以供以后分析。

图4示出根据被视为预期运动行为404的内容来更新运动模式模型403的方法400的流程图。在方法400中，将实时视频馈送401与运动模式模型403匹配(402)。这可以包括如上所述的当前运动模式网格与运动模式模型的比较。在通常情况下，如果从实时视频馈送获得的当前运动模式网格与预期运动行为404不同，则可以触发事件406。根据触发的事件，可能导致例如通过系统向用户发送自动通知或输出警报。

然而，在一些情况下，可以更新运动模式模型403以还包括发生与预期运动行为的偏差的运动模式网格。这样，这种偏差将来将不会触发事件。例如在注意到已经触发了伪警报之后，用户可以做出将哪些偏差作为预期行为404包括在运动模式模型403中的决定。该运动模式模型可以从所做出的决定中“学习”405，并且自动将将来的类似偏差包括在预期运动行为的模型中。

参考图5A中的流程图，描述用于生成当前运动网格130、140的方法500。该方法从步骤S501开始。在步骤S502中，从视频序列中识别第一拍摄图像和第二拍摄图像。应注意，术语“第一”和“第二”仅用于清楚说明目的。对于视频序列中两个图像的时间位置没有限制。该视频序列可以是各种视频格式。

在步骤S503中，将第一拍摄图像和第二拍摄图像划分成包括多个元素的网格。然后，在步骤S504中，将第二图像的至少一个元素与第一图像的相应元素进行比较。在步骤S505中，将第二图像的至少一个元素是否已相对于第一图像的相应元素发生改变的指示存储在运动网格130、140的元素中。

图5B示出用于基于运动网格140来生成运动模式网格150的方法的流程图。在步骤S506中，在运动网格中识别可能的片段。片段包括运动网格上的存储改变(‘1’)并且彼此连接为邻居的所有元素。相邻元素是具有共同边缘或彼此对角邻接的元素。在下一步骤S507中，将该元素所属的片段的尺寸或大小的指示存储在运动模式网格的各元素中。如果元素不属于任何片段，则将值0存储在该元素中。运动模式网格中的片段的大小是基于片段包含的元素的数量来定义的。因此，片段的大小与以元素的数量测量的片段的尺寸相对应。元素的大小与该元素所属的片段的大小相同。未检测到运动或改变的元素的大小为0。该方法在步骤S508结束。

参考图5C的流程图中，描述用于生成运动模式模型的方法。该方法从步骤S511开始。首先，从要建模的视频序列获得一系列运动模式网格(S512)。在步骤S513中，针对尺寸或大小的指示搜索该一系列运动模式网格的全部相应元素。如果在一系列运动网格的任何相应元素中检测到大小的指示，则将所检测到的该系列中的最大大小的指示存储在运动模式模型的相应元素中(S514)。该方法在步骤S515结束。

图5D示出根据本发明的一些实施例的用于检测与视频场景中的运动模式的偏差的方法流程图。该方法从步骤S521开始。首先，在步骤S522中，提供当前运动模式网格。如上面参考图5A和5B所述，可以通过将来自包括图像序列的实时视频馈送的两个拍摄图像彼此进行比较来生成当前运动模式网格。可选地，运动模式网格可以例如与视频数据一起预先存储在存储器中。当前运动模式网格包括多个元素。在当前运动模式网格的各元素中，如先前所述，在视频序列的两个拍摄图像的相应元素之间存在改变的情况下存储了片段的大小的指示。

接着，在步骤S523中，提供运动模式模型。运动模式模型可以是例如基于从场景的视频序列获得的历史数据的预期运动行为的网格形式呈现。如上所述，已经通过将所检测到的最大大小存储在从视频序列获得的一系列运动模式网格的相应元素中生成了运动模式模型。在一些实施例中，运动模式模型不是基于实际历史数据而是通过将预定阈值或值范围存储在各元素中而生成的。

在下一步骤S524中，将当前运动模式网格与运动模式模型进行比较，或者将当前运动模式网格与预定阈值或值范围进行比较。该比较可以包括将当前运动模式网格的所选区域中的元素与运动模式模型的区域中的相应元素或者预定阈值或范围进行比较。可以在当前运动模式网格的其它元素的情况下重复该比较步骤S524。

在S525中，基于该比较，判断是否存在与运动模式的偏差。存在几种可能的状况，基于此可以进行判断，例如，a)当前运动模式网格的区域中的元素的值偏离运动模式模型的相应区域中的相应元素的值，b)该值超过预定阈值，c)该值低于预定阈值，d)该值在预定范围内或外，以及e)与预定阈值的差值超过或小于特定值。

作为检测到与运动模式的偏差的结果，可以触发事件(S526)。事件是否被触发可取决于偏差是否满足特定标准，例如偏差是否超过特定阈值。例如，可以考虑特定水平的噪声以减少不必要的警报。该方法在步骤S527结束。

可以根据情形在各种硬件中实现上述处理。现在将描述可以检测与运动模式的偏差的各种硬件。

图6是示出实现本发明的第一设备600的简化框图。设备600包括至少一个处理器602，该至少一个处理器602被配置为根据本发明的方法来处理视频序列和运动模式网格数据。设备600还包括至少一个存储器601，该至少一个处理器602被配置为存储视频、运动模式网格和运动模式模型数据以及用于一个或多个程序的计算机程序代码(未示出)。

处理器602被配置为利用计算机程序和存储器601来生成当前运动模式网格。处理器602还被配置为如先前所述根据视频序列来生成运动模式模型。处理器602还被配置为处理预先存储的运动模式网格和运动模式模型。

处理器602还被配置为根据先前描述的方法，进行当前运动模式网格和运动模式模型之间的比较并基于比较的结果来判断是否存在与运动模式的偏差。处理器602还被配置为根据先前描述的方法来将当前运动模式网格的元素与预定阈值或值范围进行比较。利用处理器602和存储器601执行的计算机程序被配置为进行先前描述的视频序列处理。因此，设备600被配置为通过执行本发明的方法来检测与运动模式的偏差。

设备600还可以包括：数据输入604，其被配置为接收诸如视频数据等的数据；以及数据输出603，其被配置为输出诸如检测到与运动模式的偏差的通知等的数据。数据输入604和数据输出603被配置为接收和发送数据以与外部装置通信。设备600还可以包括用于无线接收和发送数据的部件和用于将设备连接到诸如WLAN、LTE或5G网络等的网络的部件。此外，设备600还可以包括外部存储器单元、用于检测光和/或运动的传感器、用于存储信息的数据库、以及一个或多个驱动器。该设备可以是视频监控摄像机。可选地，该设备可以是客户终端、服务器或个人计算机。

图7是被配置为执行本发明的方法的视频监控摄像机700的简化框图。

根据一些实施例中，视频监控摄像机700包括镜头709，其被配置为拍摄视频并连接到至少一个处理器703和存储器702。处理器703被配置为根据本发明的方法来处理视频序列和运动模式网格数据。存储器702被配置为存储视频、运动模式网格和运动模式模型数据以及用于一个或多个程序的计算机程序代码。处理器703被配置为处理由镜头709拍摄的视频并基于视频序列来生成运动模式网格和运动模式模型。存储器702用于存储记录的视频序列和运动模式网格数据。利用处理器703和存储器702执行的计算机程序可以进行先前描述的视频序列处理。

另外，摄像机700还可以包括壳体707、用于输出诸如检测到与运动模式的偏差的通知等的数据的数据输出706、用于接收诸如视频数据等的数据的数据输入704、以及按键面板或用户接口708。可选地，摄像机700还包括用于检测光或运动的传感器701和显示器705。摄像机700还可以包括用于将摄像机安装并保持在静止位置的支撑元件或固定元件710。

图8是示出根据本发明的一些实施例的系统800的简化框图。系统800包括根据本发明的逻辑地连接到如下所述的系统中的其它实体的设备。该设备可以在系统的各种实体中实现。

根据本发明的一个实施例，该设备可以是安装在远程站点810的视频监控摄像机811。视频监控摄像机811拍摄由摄像机811处理或经由网络或总线812发送到服务器或计算机813、820、842以进行处理的场景的视频序列。摄像机811可以经由总线812连接到其它摄像机，以例如提供监视对象814的完全覆盖。摄像机811可以另外连接到至少包括用于处理和存储视频数据的处理器和存储器(未示出)的一个或多个本地计算机813。

视频监控摄像机811用于如前所述记录视频序列，以生成运动模式网格和运动模式模型。该视频监控摄像机可以包括用于分析视频序列并执行本发明的方法的所有设备、软件以及资源。远程站点810可以是例如工业站点/居住房产、农村地区或商店。远程站点可以经由网络830连接到管理站点840。

根据另一实施例，本发明的设备可以与监控照相机设备分开实现。例如，设备可以包括或集成在单独的服务器820、基于云的服务器或位于管理站点840处的计算机中。该设备被配置为执行根据本发明的方法。

管理站点840可以包括被配置为操作监控照相机设备的个人计算机842和被配置为存储运动模式网格和视频数据的数据库843。管理站点处的个人计算机842或服务器可具有比远程站点810处可用的处理能力和资源更大的处理能力和资源。使用个人计算机842的人841可以接收已经检测到与运动模式的偏差的通知并且可以相应地对其做出反应。用户可以例如判断为偏差属于正常运动行为并决定将该偏差包括在运动模式模型中。

根据实施例，运动模式网格数据可以被发送到网络830以在监控照相机设备的外部进行处理。可以例如在包括被配置为操作监控照相机设备的一个或多个个人计算机的管理站点840处理数据。服务器或个人计算机可以被配置为执行根据本发明的方法。

图9A是示出交通被观察的高速公路的一部分的拍摄图像的图形表示。该图像可以从摄像机记录的视频序列获得，并且是用于生成运动模式网格和运动模式模型的拍摄图像的示例。

图9B是作为图9A的拍摄图像上的重叠的运动网格的图形表示。将该图像划分为元素的网格。如在运动网格上突出显示在视频序列的两个拍摄图像之间检测到改变的元素。因此，突出显示的元素与具有如前面结合图1A和图1B所述的‘真’或‘1’的值的运动网格元素相对应。

图9C示出基于拍摄视频的运动模式网格的示例。突出显示的区域表示检测到移动对象的区域。在图9C的图像中，移动对象是人，因此他的实际尺寸在视频中不变。然而，根据对象的位置和到摄像机的距离，对象在运动模式网格上占据不同大小的区域。通常，运动模式网格上突出显示的区域的尺寸也可以是对象的尺寸的指示。在运动模式网格方面，突出显示的区域的尺寸或强度指示片段的大小，即已检测到运动的元素的数量。大小也可以用另一种方式指示，诸如由整数指示等。为了示出所检测到的大小的出现，还可以使用频率分布。

此外，可以使用突出显示的区域的不同强度水平来指示对象的尺寸或距离。在图9C中，对象离摄像机越近，突出显示的区域越亮。因此，在运动模式网格中，颜色的强度可以是片段或元素的大小的指示，即已经检测到运动的片段中的元素的数量。

基于运动模式网格和运动模式模型之间的比较，可以检测是否存在预期大小的对象或位于到摄像机的预期距离处的对象。还可以通过将运动模式网格与预定阈值或范围(代替运动模式模型)进行比较来分析运动模式网格。在这种情况下，如果基于比较结果检测到对象的尺寸、形状和/或位置不是预期的，则可以触发事件。

本发明可特别用于但不限于监控系统，诸如城市监控、移动监控系统、传送设备、以及从小型或中型设备到高安全性设备等。本发明的用途不限于视频监控，而也可以用于其它摄像应用。

上述示例可以通过读出并执行记录在存储器装置上的程序以进行本发明的上述实施例中的功能的系统或设备的计算机、中央处理单元(CPU)或微处理单元(MPU)来实现。上述示例还可以通过方法来实现，该方法的步骤通过系统或设备的计算机例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行。为此，例如经由网络或从用作存储器装置的各种类型的记录介质(例如，诸如非暂时性计算机可读介质等的计算机可读介质)向计算机提供程序。

该计算机可以包括中央处理单元、微处理单元或其它电路中的一个或多个，并且可以包括单独的计算机或单独的计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM等)、闪速存储装置和存储卡等中的一个或多个。

虽然已经参考实施例描述了本发明，但是应该理解，本发明不限于所公开的实施例。在不脱离本发明的主要特征的情况下，可以以各种形式实现本发明。

Claims (23)

1.一种用于检测与视频中的运动模式的偏差的方法，包括：

通过在包括多个元素的当前运动网格的各元素中存储来自视频序列的至少两个拍摄图像的相应元素之间是否存在改变的指示，来生成所述当前运动网格；

通过首先搜索包括所述当前运动网格中指示了改变并且彼此相邻的多个元素的片段、其次将与所述片段的尺寸相对应的值存储在所述片段的各元素中，来生成当前运动模式网格；

将所述当前运动模式网格的元素的值与阈值进行比较；以及

根据所述比较的结果来判断是否存在与所述运动模式的偏差。

2.根据权利要求1所述的方法，其中，所述阈值是运动模式模型的一部分，其中所述运动模式模型包括具有与所述当前运动模式网格相同的尺寸的网格，并且所述比较的步骤包括将所述当前运动模式网格的元素的值与所述运动模式模型的相应元素中存储的阈值进行比较。

3.根据权利要求2所述的方法，其中，所述运动模式模型是通过获得一系列运动模式网格、并将基于从该一系列运动模式网格所累积的信息的阈值存储在所述运动模式模型的各元素中来生成的。

4.根据权利要求1至3中任一项所述的方法，其中，所述阈值是最小值，并且判断是否存在与所述运动模式的偏差包括判断所述当前运动模式网格的元素的值是否低于所述最小值。

5.根据权利要求1至3中任一项所述的方法，其中，所述阈值是最大值，并且判断是否存在与所述运动模式的偏差包括判断所述当前运动模式网格的元素的值是否高于所述最大值。

6.根据权利要求3所述的方法，其中，所述运动模式模型的元素中所存储的值是在所述一系列运动模式网格的相应元素中检测到的最小值。

7.根据权利要求3所述的方法，其中，所述运动模式模型的元素中所存储的值是在所述一系列运动模式网格的相应元素中检测到的最大值。

8.根据权利要求2或3所述的方法，其中，所述运动模式模型包括各元素的最小阈值和最大阈值，并且判断是否存在与所述运动模式的偏差包括判断所述当前运动模式网格的元素的值是否在所述最小阈值和所述最大阈值之间。

9.根据权利要求1至8中任一项所述的方法，还包括：在判断为存在与所述运动模式的偏差的情况下，进行事件的触发。

10.根据权利要求9所述的方法，其中，进行事件的触发包括设置标志、设置位值、发出警报和输出通知中的至少一个。

11.根据权利要求9所述的方法，其中，进行事件的触发包括向用户发送检测到与运动模式的偏差的通知。

12.根据权利要求3所述的方法，还包括：通过将与所述视频相关的运动模式网格添加到所述一系列运动模式网格来逐渐地更新所述运动模式模型。

13.根据权利要求2或3所述的方法，其中，用于生成所述运动模式模型的图像比用于生成所述当前运动模式网格的图像更早出现在所述视频序列中。

14.根据权利要求1至13中任一项所述的方法，其中，各拍摄图像被划分成包括多个元素的网格，所述网格具有与所述当前运动模式网格相同的尺寸。

15.根据权利要求1至14中任一项所述的方法，其中，存储至少两个拍摄图像的相应元素之间是否存在改变的指示包括判断相应元素之间是否存在至少预定数量的改变像素。

16.根据权利要求1至15中任一项所述的方法，其中，所述当前运动网格的元素中所存储的指示是整数，并且各元素的初始值是零。

17.根据权利要求1至16中任一项所述的方法，其中，相应元素在由行和列定义的各网格上具有相同的位置。

18.根据权利要求1至17中任一项所述的方法，其中，与所述片段的尺寸相对应的值指示如下元素的数量，其中这些元素在所述当前运动网格中指示了改变并且彼此纵向、横向或对角邻接。

19.根据权利要求1至18中任一项所述的方法，其中，所述当前运动模式网格是从静态摄像机记录的实时视频序列中获得的。

20.根据权利要求3所述的方法，其中，所述一系列运动模式网格是从预先生成并存储在数据库中的运动网格元数据中获得的。

21.根据权利要求1至20中任一项所述的方法，其中，所述当前运动模式网格与所述当前运动网格具有相同尺寸的相同数量的元素。

22.一种用于检测与视频中的运动模式的偏差的设备，包括：

至少一个处理器；以及

至少一个存储器，其包括计算机程序代码；

其中，所述至少一个处理器被配置为利用所述计算机程序代码来使所述设备：

通过在包括多个元素的当前运动网格的各元素中存储来自视频序列的至少两个拍摄图像的相应元素之间是否存在改变的指示，来生成所述当前运动网格；

通过首先搜索包括所述当前运动网格中指示了改变并且彼此相邻的多个元素的片段、其次将与所述片段的尺寸相对应的值存储在所述片段的各元素中，来生成当前运动模式网格；

将所述当前运动模式网格的元素的值与阈值进行比较；以及

根据所述比较的结果来判断是否存在与所述运动模式的偏差。

23.一种计算机可读存储介质，其利用计算机程序来有形地编码，所述计算机程序能够由处理器执行以进行包括权利要求1至21中任一项所述的方法的步骤的动作。