HK1081365B - 运动瞄准系统和方法 - Google Patents

Description

运动瞄准系统和方法

技术领域

本发明涉及运动瞄准系统和方法，尤其涉及在视频系统中的运动对象的运动瞄准。 

背景技术

通过使用视频摄像机来检测和跟踪运动对象的系统是已知的。一般地说，这种系统包括用于识别与/或跟踪摄像机或摄像机组的视频输出中的运动的算法。图像的跟踪可以通过控制摄像机的移动-俯仰-推拉(PTZ)来实现。这里使用的PTZ指的是和摄像机相关的任何的成像装置，例如常规的视频摄像机、视频监视圆顶等。 

若干个困难和常规的运动检测和跟踪系统有关。例如，使用运动摄像机跟踪对象需要更强大的处理器进行更广泛的计算。此外，当摄像机正在跟踪一个对象时，其它的对象可能运动而进入当前视野的外部而检测不到。摄像机镜头越移向目标，被覆盖的周围区域越小，因而越容易检测不到视野外部的重要的事件，或者不能精确地跟踪对象，因为其滑到了视野的外部。 

固定安装的广角摄像机可以同时跟踪大范围内的多个对象，但是一般地说，不能以足够的分辨率用数字方式移向对象来帮助可靠的识别。研制了具有高像素分辨率成像器的广角摄像机，以便提供改进的数字聚焦能力，但是已知的广角摄像机的数字聚焦的分辨率比现有技术的光学聚焦摄像机低得多。具有高像素密度成像器的摄像机和光学聚焦摄像机相比价格太贵，并且因为在每帧期间必须被处理的像素的数量而具有慢的帧速率。 

一种使用静止的广角视频摄像机跟踪对象并控制另一个摄像机的系统方案是昂贵的。成本非常低的广角运动检测器例如PIR传感器等，一般没有足够的分辨率或智能用于精确地控制相关的摄像机。利用多个离散的、成本低的、被配置用于瞄准摄像机的运动检测器来覆盖一个宽的区域需要大量的传感器来获得足够的分辨率。

由这些困难看来，许多当前安装的系统没有运动检测能力。而是，摄像机以自动扫描方式操作，随时间记录其输出，或者是多路传输的记录装置。这些系统可以覆盖宽的区域，具有可接受的记录介质要求，但是没有大量的活动性，这是因为它们利用一个相当窄的视野扫描一个宽的空间。一种具有宽的视野的摄像机可以提供较大的连续的覆盖，但是需要较高的分辨率、非标准的摄像机和昂贵的存储器来提供足够的分辨率。 

US 6,215,519B1公开了一种监督和监视系统和用于监视一个区域的方法，包括一个第一成象系统，具有等于或大于该区域的广角视野。该系统还包括一个或多个第二成象系统，具有可调的视野设置。该系统还包括一个或多个控制装置，用于控制一个或多个第二成象系统的可调的视野设置，以获得在该区域内的关心的区的高的分辨率和放大的图象。该可调的视野设置包括移动、俯仰、推拉设置，由操作者手动控制。 

因而，需要一种系统和方法，用于以成本效率的方式和可靠的方式检测与/或跟踪视频系统中的运动的对象。 

附图说明

为了更好地理解本发明以及其它目的、特征和优点，参看下面的详细说明，下面的说明应当结合下面的附图阅读，附图中相同的标号代表相同的部件： 

图1是按照本发明的运动跟踪系统的示例的实施例的方框图； 

图2是按照本发明的示例的运动跟踪系统的示意图； 

图3是按照本发明的示例的运动检测器的方框图； 

图4是按照本发明的瞄准或跟踪一个运动着的对象的示例的方法的方块流程图；以及 

图5是按照包括多个检测器的本发明的系统配置的示意图。 

具体实施方式

为了简化和容易说明，结合本发明的示例的实施例对本发明进行说明。不过，本领域的技术人员应当认识到，本发明的特征和优点可以用各种配置来实现。因此，应当理解，这里所述的实施例是借助于说明而不是限制的方式提供的。 

参见图1，其中以简化的方框图的形式示出了按照本发明的示例的运动跟踪系统。系统100包括：基于图像传感器的运动检测器102，用于控制至少一个视频摄像机104的PTZ。视频摄像机104可以和用于显示摄像机104的视频输出的视频显示装置106以及用于存储视频输出的记录介质108相连。 

视频摄像机104可以是本领域已知的具有模拟或数字视频输出的任何类型的摄像机。当多个摄像机104和运动检测器102相连时，可以提供多种类型和配置的摄像机的混和结构。摄像机可以具有一个或几个摄像机操作特性，包括PTZ条件、聚焦等，它们可以由和其相连的用户控制接口110控制。控制接口110可以对摄像机提供用户启动的控制信号。响应在摄像机接收的控制信号，可以操作电动机，以便改变一个或几个摄像机104的操作特性。 

本领域技术人员应当考虑到关于记录介质108和视频显示装置106的各种配置，例如，显示装置106可以直接和摄像机相连，或者通过其它装置例如视频矩阵开关、视频多路传输器等(未示出)和摄像机相连。记录介质108可以是任何固定的或可动的机器可读的介质，其被配置用于存储摄像机视频输出的表示，并可以作为视频记录器的元件被提供，例如数字的或模拟的磁带记录器、写一次或可重写的视频盘记录器与/或DVD记录器。记录介质108可以和视频显示器106相连，用于记录的或缓冲的视频数据的选择的显示。 

虽然在所示的示例的实施例中所示的元件是作为单独的元件示出的，本领域技术人员应当认识到，一个或几个元件可以被组合而成为一个元件。例如，用户控制接口110可以作为在视频显示器106上的图形用户接口来提供。此外，在包括多个摄像机104的实施例中，每个摄像机可以和一个或几个运动检测器102、视频显示器106、记录介质108以及用户接口110相关，或者这些摄像机可被配置使得共用这些装置中的一个或几个。 

装置102、104、106、108、110可以用各种熟知的配置借助于传输介质用通信方式相连。传输介质可以是能够在特定的装置之间传输 信号的任何介质，例如同轴电缆、成对的绞线、光缆、空气等。用于帮助这种通信连接的协议是熟知的，因而不需要在此详细说明。 

图2表示按照本发明的系统的一个示例的实施例200。在所示的实施例中，为了简化和容易说明，只示出了一个摄像机104a，一个运动检测器102a，一个显示装置106a，一个记录装置202以及控制接口110a。此外，应当理解，在按照本发明的系统中可以提供一个或几个这些元件的不同的实施例。 

在所示的示例的实施例中，视频摄像机104a被配置为圆顶型的摄像机。圆顶型的摄像机对于本领域技术人员是熟知的，其经常被用于监视应用中。按照本发明的运动检测器102a被固定地安装在摄像机104a上。运动检测器102a可以包括镜头204，例如广角镜头，以及相关的成像器和视频处理逻辑。当检测到和运动的对象相关的改变时，检测器102a可以通过电缆206提供输出，用于控制摄像机104a的PTZ，以便移动、俯仰或推拉，以最佳的或所需的分辨率捕捉运动的对象。 

摄像机104a的视频输出可以通过电缆208和显示装置106a例如视频监视器相连，用于显示所述输出。记录装置202例如数字视频记录器可被连接用于通过电缆210例如响应检测器的输出接收并在记录介质上记录所述视频输出。用户控制接口110a可以通过电缆212和摄像机相连，并且可以包括具有用户输入键214和显示器216的控制板。各种不同的用户接口都是已知的。用户控制接口可被配置用于通过电缆212和206对摄像机与/或运动检测器提供用户启动的控制指令。例如，用户可以从这个接口启动控制功能，以便手动地控制摄像机的PTZ、摄像机104a与/或运动检测器102a的接通/切断状态，与/或对摄像机与/或运动检测器下载软件更新材料。 

现在参看图3，其中提供了按照本发明的示例的运动检测器102的方框图。如图所示，检测器102包括向成像器300引导图像的镜头204a，运动检测定序器(sequencer)302，电源304以及控制器306。电源304可以是任何类型的常规的电源，并可被配置用于接收例如在 线308上输入的功率，并把所述功率转换成被调节的DC电源电压，以便供给成像器300、运动检测定序器302和控制器306。 

镜头204a可以是任何已知类型的镜头，用于把光学图像引导到成像器300上。在一个实施例中，镜头204a可以是常规的广角镜头，以便提供广角观察和在广角视野内的对象的检测。此处使用的“广角”，当参照镜头或检测器使用时，应当指具有大于50度的视野的镜头或检测器。这包括具有180度或更大的视野的鱼眼镜头。 

以本领域技术人员熟知的方式，成像器300把来自镜头204a的光学图像转换成该图像的电的表示。成像器300可以是本领域已知的任何成像器。不过，因为成像器要达到可接受的运动检测所需的分辨率比对象识别所需的分辨率低得多，成像器300可以是低分辨率的、标准密度的、低成本的成像器，例如包括互补金属氧化物半导体(CMOS)成像器或电荷耦合器件(CCD)成像器。这里使用的“低分辨率”当在提及成像器时使用时，应当指小于380条垂直线的分辨率，以及“高分辨率”当提及成像器时使用时，应当指具有480条或更多的垂直线的成像器。 

成像器300的输出可被提供给运动检测定序器302，其可以包括视频处理逻辑，以便应用任何的熟知的算法，连续地监视运动对象的视频图像。一般地说，运动检测定序器302缓冲并监视视频帧在连续的帧之间的改变。例如，当背景是固定的/无运动的背景时，由一个视频帧到下一个视频帧的任何改变代表一个运动的对象。 

由一个视频帧内的对象的位置、在该帧内的对象的改变速率、关于对象的尺寸的假设等，定序器300可以对控制器306提供表示对象的位置、速度和相对于检测器102的距离的输出。控制器可被配置或编程用于在线310上提供PTZ控制的输出，用于响应来自定序器302的输出控制至少一个相关的摄像机的PTZ。例如，控制器可被配置用于对摄像机提供一个输出，使得摄像机移动、俯仰与/或推拉，从而以最佳的或所需的分辨率捕捉对象。 

控制器306可以是任何类型的电子电路，其能够提供本发明的实 施例所需的速度和功能。例如，控制器可被配置为微处理器、可现场编程的门阵列(FPGA)，复杂的可编程的逻辑装置(CPLD)，专用集成电路(ASIC)，或其它类似的器件。在一个实施例中，其中控制器被配置为微处理器，所述处理器可以是以由Intel公司制造的奔腾系列的处理器，或者是由摩托罗拉制造的处理器系列。用于使控制器/处理器提供合适的输出的软件指令可被存储在能够存储适合于处理器/控制器执行的指令的任何机器可读的介质上。这里使用的短语“适合于由处理器执行的”意思是包括以压缩与/或加密形式存储的指令以及在处理器执行之前必须由安装者编辑或安装的指令。 

虽然在按照本发明的检测器中可以使用各种成像器300，但是使用低分辨率的成像器能够减少和定序器相关的图像相关的缓冲存储器的尺寸和图像处理所需的处理速度。尺寸和速度的减少使得降低系统成本。也可以使用成本较低的镜头，因为一些小的失真对于大部分对象的检测没有大的影响。 

此外，由检测器102处理的图像可能不需要例如在视频显示器上观察。这样，在按照本发明的系统中的运动检测可以根据原始图像数据进行，而没有为使人观察而需要的扩大的处理。例如，按照本发明的检测器可以根据原始数据进行运动检测，而不应用适用于帮助人在显示器上的视觉的熟知的视觉算法。这里使用的“视觉算法”指的是已知算法，这些算法用于彩色空间校正(Bayer对RGB对YUV等)、彩色纯度校正、像素对像素灵敏度(增益和偏移补偿)，黏贴像素补偿，伽玛校正和对于一种标准例如CCIR-656，NTSC或PAL等。省略这些算法和使用具有内装的运动检测或其它已知的检测器配置相比使得能够使用相当简单的检测器电子电路和降低系统的成本。虽然这些优点是通过省略所有的这些算法被最大地实现的，按照本发明的系统可以省略这些算法中的一个或几个。此外，这些优点也可以通过把这些算法只应用于原始图像数据的某些被限制的部分来实现。 

本领域技术人员应当认识到，噪声滤除算法可以是仍然需要的，以便阻止在按照本发明的系统中的假的运动检测，这根据系统要求和 镜头质量以及成像器质量而定。监视来自彩色传感器的彩色空间信息也可以在按照本发明的检测器中实现。不过，可以使用黑白成像器以非常低的成本实现合理的运动检测。 

此外，使用按照本发明的检测器和摄像机比使用具有内装运动检测的高分辨率的成像器能够提供重大优点。独立的检测器允许进行感兴趣的区域的不间断的运动检测覆盖。检测器的输出可以使摄像机瞄准并移近到运动着的对象上，同时还能控制记录装置捕捉摄像机视频输出的片断，例如通过一系列的通信端口或者对记录装置的报警输入。检测器可被配置成可以和熟知的PTZ摄像机以及记录装置兼容的，允许系统对于分辨率、成本、推拉能力等不同的要求进行用户化。按照本发明的系统例如还能够实现较轻的重量，较好的自动增益控制，共每秒30帧(或更多)的更新速率，并对于视频输出允许使用成熟的图像增强算法。此外，在包括具有光学变焦的摄像机的系统中可以避免和数字变焦相关的分辨率的损失。 

图4是按照本发明的一个示例的实施例的方法400的方块流程图。图4的方框图包括一个特定顺序的步骤。不过，可以理解，这些步骤序列仅仅提供可以如何实施所述的一般功能的例子。此外，每个步骤序列不必按照所示的顺序被执行，除非另有说明。 

如图所示，在402，检测器连续地监视接收的图像，以便检测表示一个运动着的对象的改变。在这期间，可以允许摄像机按照缺省的模式或用户启动的扫描模式例如广角扫描模式独立地操作。在其中检测器被固定到一个固定位置上的配置中，检测器视野的背景可以总是静止的。利用摄像机运行缺省模式或在任何广角或变焦观察之间的转换不影响运动检测，这是因为摄像机和检测器独立地操作。 

当在404检测到和运动着的对象相关的改变时，在406检测器可以提供一个输出，命令摄像机移动、俯仰与/或推拉，以便以最佳的或所需的分辨率捕捉运动着的对象。在408，检测器的输出还可以命令记录装置，以便捕获运动着的对象的帧或片断。在一个实施例中，在一个预定的时间间隔内瞄准对象或活动区域之后，检测器可以命令摄像机移动到另外一个获得区域，以便捕获另一个运动着的对象。因而检测器可被配置，使得命令摄像机借助于在目标的景象之间循环例如以最佳的分辨率独立地跟踪多个运动着的对象，同时命令记录装置捕获每个运动着的对象的帧或视频片断。当在404未检测到运动着的对象时，可以在410使摄像机保持在当前的操作模式，或者返回缺省的模式410，例如广角扫描模式，以便使视频电流的值最大，进行实况观看或记录。

在一个实施例中，检测器可被配置用于命令记录装置，按照数量、频率或其它参数的测量，根据视频活动的性质每秒记录不同数量的图像。这可以提供有限的记录介质的改进的使用，所述记录介质出于安全或其它的应用用于存储最需要的视频。这种空间压缩还允许记录介质被最佳化，以便在一个较长的时间内使用，并可以大大增加记录最重要的视频内容的可能性。除去运动瞄准应用之外，按照本发明的系统还用于自动跟踪，其中检测器可以锁定到运动着的对象上，并当其运动时进行记录，而不考虑空间压缩。 

此外，按照本发明的系统可以包括各种检测器和摄像机配置。例如，可以使用一个检测器来瞄准多个摄像机。在这种实施例中，可以命令不同的摄像机跟踪不同的运动对象与/或多个运动对象，同时命令一个或几个记录装置记录和所述对象相关的视频。此外，可以配置多个检测器使得彼此协调用于控制多个摄像机并控制从所述摄像机与/或不被检测器控制的固定的摄像机到记录器的视频流的选择。 

图5表示按照本发明的系统的配置500，包括多个检测器502，504，506，508，它们围绕被其控制的摄像机509呈环形设置。在所示的示例的实施例500中，4个检测器502，504，506，508中的每一个由相关的镜头510，512，514，516和相关的成像器518，520，522，524表示。这些检测器沿着圆环526的外表面等距离地设置。圆环526可被设置在摄像机509的上方或下方，或者完全地或部分地把摄像机设置在圆环的内部。用这种方式在摄像机周围提供圆环526可以简化在检测器502，504，506，508和摄像机509之间的空间坐标的校准。 这种固定的布置允许在工厂校准，因而消除了在安装期间的费时的设置操作。 

每个镜头510，512，514，516的视野分别由角度FOV1，FOV2，FOV3和FOV4识别。如图所示，这些镜头的视野可以重叠，因而提供围绕摄像机510的连续的360度的视野。例如包括上述的定序器和控制器的运动检测电子电路530可以接收并时间多路传输成像器518，520，522，524的各个输出，并屏蔽观察区域的重叠的视野。可以对传送给摄像机509的每个指令进行消除偏差的补偿，与基于实时地逐个像素地相反，如果需要通过简化电子电路来把成本降到最低的话。可以使用任何已知的消除偏差的算法。 

这样便提供了一种用于在视频系统中监视运动着的对象的系统和方法。按照本发明的一个方面，所述系统包括至少一个视频摄像机以及至少一个运动检测器。所述运动检测器可以包括具有固定地指向有关的区域的视野的镜头和用于接收通过所述镜头的图像并把所述图像转换成视频数据的成像器。运动检测器可被配置为对于在所述视野内的对象的运动监视视频数据，并响应所述对象的运动提供一个检测器输出。所述检测器输出可被配置使得引起视频摄像机的至少一个操作特性的调节，使得摄像机瞄准所述对象。按照一个实施例，所述镜头可以是广角镜头，并且所述检测器输出可以控制摄像机的移动、俯仰和推拉，使得摄像机瞄准所述对象。 

按照本发明的另一个方面，提供一种用于监视视频系统中的运动着的对象的方法。该方法包括提供至少一个按照本发明的运动检测器，操作所述运动检测器，以便连续地监视视频数据，以便检测运动对象的运动；以及响应所述运动由所述运动检测器提供一个输出，使得调节摄像机的至少一个操作特性，以便使所述摄像机瞄准运动着的对象。 

按照本发明的另一个方面，提供一种用于监视在视频系统中的多个运动着的对象的方法。所述方法包括提供至少一个按照本发明的运动检测器，操作所述运动检测器，以便连续地监视视频数据，以便检测运动对象的运动；以及响应第一个对象的运动由所述运动检测器提供第一输出，使得调节一个摄像机的至少一个操作特性，以便使所述摄像机瞄准第一个运动着的对象；以及响应第二个对象的运动由所述运动检测器提供第二输出，使得调节所述摄像机的至少一个操作特性，以便使所述摄像机瞄准第二个运动着的对象。所述检测器可以提供记录命令，使记录介质记录视频摄像机的输出的至少一部分，同时使所述摄像机瞄准第一和第二对象。 

不过，这里说明的这些实施例不过是利用本发明的几个实施例，并且是以举例方式而不是限制的方式提出的。对于本领域的技术人员，不脱离本发明的范围和构思，显然容易想出许多其它的实施例。 

Claims (23)

1.一种视频监视系统，包括：

至少一个视频摄像机；以及

至少一个运动检测器，所述运动检测器包括具有固定地指向有关的区域的视野的镜头，和用于接收通过所述镜头的图像并把所述图像转换成原始图像视频数据的成像器，其特征在于

所述运动检测器被配置为：

接收包括第一个视频帧和下一个视频帧的原始视频数据；

分析所述第一个视频帧和下一个视频帧以确定在所述下一个视频帧与所述第一个视频帧的区别；

当所述下一个视频帧不同于所述第一个视频帧时：

所述运动检测器被配置为使得命令所述视频摄像机借助于在运动着的对象的景象之间循环以独立地跟踪多个运动着的对象，同时命令记录装置捕获每个运动着的对象的帧或视频片断。

2.如权利要求1所述的系统，其中所述视频摄像机包括圆顶型摄像机。

3.如权利要求1所述的系统，其中所述镜头包括广角镜头。

4.如权利要求1所述的系统，其中所述运动检测器被固定地安装到所述视频摄像机上。

5.如权利要求1所述的系统，其中所述成像器包括CCD成像器。

6.如权利要求1所述的系统，其中所述成像器包括CMOS成像器。

7.如权利要求1所述的系统，其中所述运动检测器还包括运动检测定序器，其被配置为对于所述对象的所述运动监视所述视频数据。

8.如权利要求7所述的系统，其中所述运动检测器还包括控制器，用于接收所述运动检测定序器的输出，所述控制器被配置用于提供所述检测器输出。

9.如权利要求1所述的系统，其中所述至少一个视频摄像机的操作特性包括所述视频摄像机的移动、俯仰或推拉特性。

10.如权利要求1所述的系统，其中所述检测器的输出被提供用于修改所述视频摄像机的移动、俯仰和推拉特性。

11.如权利要求1所述的系统，其中所述记录装置包括记录介质，并且其中所述检测器被配置用于提供记录命令，所述记录命令被配置为当所述摄像机瞄准所述对象时用于使所述记录装置在所述记录介质上记录所述摄像机的视频输出的至少一部分。

12.如权利要求1所述的系统，所述系统包括多个所述运动检测器。

13.如权利要求12所述的系统，其中和所述运动检测器的每一个相关的所述视频数据被时间多路传输。

14.如权利要求12所述的系统，其中所述运动检测器中的至少两个的所述视野重叠。

15.如权利要求12所述的系统，其中所述运动检测器的每一个的所述视野重叠。

16.如权利要求12所述的系统，其中所述运动检测器被配置为在所述摄像机周围呈圆环形。

17.如权利要求12所述的系统，其中所述运动检测器的所述视野在所述摄像机周围延伸360度。

18.如权利要求12所述的系统，其中所述运动检测器被连附到一个圆环上。

19.如权利要求18所述的系统，其中所述圆环在所述摄像机的周围被设置。

20.如权利要求1所述的系统，所述系统还包括和所述摄像机相连的用户控制接口，用于响应于用户启动的输入来控制所述摄像机。

21.如权利要求1所述的系统，其中所述成像器包括低分辨率的成像器。

22.一种用于监视在如权利要求1-21中任一项所述的视频监视系统中的多个运动对象的方法，所述方法包括：

提供至少一个运动检测器，所述运动检测器包括具有固定地指向有关的区域的视野的镜头，和用于接收通过所述镜头的图像并把所述图像转换成视频数据的成像器；

操作所述运动检测器，以便：

接收包括第一个视频帧和下一个视频帧的原始视频数据；

分析所述第一个视频帧和下一个视频帧以确定在所述下一个视频帧与所述第一个视频帧的区别；

当所述下一个视频帧不同于所述第一个视频帧时：

所述运动检测器被配置为使得命令所述视频摄像机借助于在运动着的对象的景象之间循环以独立地跟踪多个运动着的对象，同时命令记录装置捕获每个运动着的对象的帧或视频片断。

23.如权利要求22所述的方法，其中所述镜头包括广角镜头。