CN102609099A - 在kvm系统中检测和处理预选择的图像块 - Google Patents

Abstract

一种可在键盘、视频、鼠标（KVM）系统中操作的方法，其中通过与KVM交换机连接的远程计算机经由KVM交换机可访问连接到KVM交换机的多个目标计算机，每个目标计算机具有视频输出，并且其中一个或多个预选择的图像均与对应的动作相关联，该方法包括：监控与KVM交换机连接的至少一些目标计算机的视频输出，以搜索该视频输出中的预选择的图像之一；和当在目标计算机之一的视频输出中检测到预选择的图像之一时，采取与该图像相关联的对应动作。

Description

在KVM系统中检测和处理预选择的图像块

版权声明

本发明专利文献的公开内容的一部分包含受版权保护的材料。该版权所有者不反对任何人影印该专利文献或专利公开，因为其出现在专利商标局的专利文件或记录中，否则将保留所有的版权权利。

技术领域

本发明涉及键盘、视频和鼠标（KVM）系统，并且更特别地涉及KVM中的消息处理和操作。

附图说明

参照所附的附图所给出的随后说明书可以通过参考附图的非限制性实例来更好的理解，其中：

图1示出了典型KVM系统的概况；

图2是设置过程的流程图；

图3示出了存储器中的示例数据结构；

图4是系统使用的流程图；

图5示出了用于处理KVM系统中的预选择消息的设备；和

图6示出了捕获的视频屏幕。

具体实施方式

介绍与背景

图1示出了典型KVM系统100，其中一个或多个远程计算机102可例如经由KVM器具交换机106访问一个或多个目标系统104-1，…，104-k（总的为104）。如所周知的，各种目标系统104中的每一个可以经由KVM交换机106被远程计算机102选择性地监视和控制。目标系统104可以直接连接到KVM交换机106或经由一个或多个其他设备（未示出）连接到其上。来自目标系统104的视频输出（V）可以显示在远程计算机102的显示屏108上，并且来自远程计算机102 的键盘110和鼠标112的键盘和鼠标输入可以经由KVM交换机106被提供给选择的目标系统104。

KVM系统在美国的公开专利申请号为2008-0040522（申请号为11/523,582,2006年9月20日提交，名称为“Rack interface pod with intelligent platform control”）和2008-0052442（申请号为11/882,557,2007年8月2日提交，名称为“Rack Interface Pod with intelligent platform control”）中描述，这两个申请的每一个的整个内容都合并在此以用于各种目的。

在KVM系统的操作中，目标系统104（计算机、服务器等）可生成屏幕上消息，这些消息可要求操作者创造或检测。使用这里描述的系统，而不是让操作者寻找和介入每个屏幕上消息，一些（一个或多个）潜在的屏幕上消息被预选择并且对那些预选择的消息的响应被预置。接着，在操作中，当预选择的屏幕上消息中的一个出现在目标系统的屏幕之一（或目标系统的视频输出中）时，这些预选择消息的对应响应被执行。本领域技术人员可知道并理解，在阅读该说明书时，一些或所有目标系统104可以不具有与其直接连接的真实监视器。由此，目标系统的视频输出实际上可以不显示在目标系统本身上，并且只在目标系统的视频输出中经由KVM交换机106提供给远程计算机102。

设置模式

在设置模式下，各种屏幕上图像与对应的动作相关联。图2是用于消息处理系统的示例设置过程的流程图，并且图3示出了KVM交换机106的存储器114中的示例数据结构。

操作者使得屏幕上图像被显示（例如通过迫使错误或事件发生或通过访问图像的数据库）。操作者选择包含图像的屏幕区域（在200处）并且图像存储在存储器中并且能够被检测（在202处）。操作者还将预先确定响应与图像相关联（在204处）。该响应可是一系列击键、鼠标点击等，并且可以包括记录图像的出现并警报操作者。预先确定的响应存储在存储器中（例如，在动作表中，该动作表具有用于每个预选择图像的条目）。

图像模块结构

在目前优选的实施方式中，要检测的每个图像块在存储器中以如下的结构存储：

struct_size

line_res, hor_res

cksum

line_order_ptr_offset[line_res]

   line_numb, comp_bytes

   crc32

   pixel_data[comp_bytes]

struct_size（结构大小）是该结构占据的32位位置的数量。line_res, hor_res（行和水平分辨率）以像素来定义图像块的尺寸。

cksum（校验和）是图像块的要搜索的第一行的每个像素的和。这可以不是块的第一行，而是块中具有最大压缩字节量的行。

结构line_order_ptr_offset[line_res]是结构中指针偏移量的阵列，该阵列按照各个行应当被搜索的顺序来指向各个行。按照压缩行所用字节的数量从压缩得最多的字节到压缩得最少的字节的顺序来放置各行。当被搜索的图像实际上不在帧中时，具有压缩得最多的字节的行最不可能检测与帧中其他行的匹配。

图像块的每行具有如下结构：

Line_numb(行数量)压缩行中的块中的行数量。这些行将按照顺序从行号零（0）开始。

Comp_bytes（压缩的字节）是行所压缩成的字节的数量。

CRC32（32位（“循环冗余校验”）值），当该行被解压缩且CRC被计算时，其应当匹配该值。

Pixel_data[comp_bytes]是用于该行的压缩像素数据。

用于检测的块的结构：是具有指向要检测的图像块的指针列表的结构。

Blks_2det_struct :

           numb_blks                        --   要搜索的块的数量

           blk_list_ptr[numb_blks]   --   用于搜索的块的存储器中的指针阵列

本领域技术人员在阅读本发明说明书后将知道和理解，不同和/或其他数据结构可用于存储要检测的图像块的图像数据和/或用于在图像块被检测时的对应动作。

使用模式

在使用模式下，连接到KVM交换机的每个计算机的终端屏幕被监控，并且当在屏幕上检测到预置图像时，采取与该图像关联的预先确定的动作。以这种方式，不要求持续的且不断的操作者监控。

图像块检测是遍寻所捕获的视频屏幕（图6中的600）以搜索具有任意水平和垂直分辨率的规定矩形块尺寸的预定义图像块602的能力。尽管这里参考矩形块来描述，本领域技术人员在阅读了本发明的说明书后将认识和理解，该算法还可以适用于非矩形块尺寸。

图4是消息处理系统使用方面的流程图。对于连接到KVM的每个目标系统，屏幕的显示被搜索（在400处），并且如果预先确定的屏幕上图像之一被找到（在402处），与该图像相关联的预先确定的动作被执行（在404处）。对该图像的预先确定的动作（响应）可包括将警报发送到操作者，并且/或捕获和存储图像，并且/或应答该图像。

要检测的块602可以在所捕获屏幕600内的任何地方或甚至与整个所捕获屏幕的尺寸相同。要检测的多个图像被压缩并存储在存储器中。要搜索的图像块列表被保存在存储器中。在捕获来自目标系统104的每个视频帧（如所捕获的屏幕600）之后，该系统遍寻所捕获的帧/屏幕以搜索预选择的图像块列表中的每个图像。如果没有图像块被找到，则另一个帧将被捕获并重复该过程。如果预选择的图像块被检测，则执行与该图像块相关联的动作。

图像块检测算法

图像块检测算法按照如下操作：

块搜索：

1. 捕获视频帧。

2. 从块的具有最多压缩字节数的行开始搜索。要搜索的块中的行的顺序由行的复杂性确定。首选搜索最复杂的行是为了避免具有匹配行但却没有匹配块。在当前的优选实施例中，行的复杂性是由压缩该行所用的字节数来确定。压缩行所用的字节数越多，那么该行被认为更复杂（对于该算法而言）。

3. 为要检测的块的第一行计算校验和（cksum）并接着搜索帧缓冲器以寻找校验和匹配的位置。这称之为“滚动cksum”或“滚动校验和”，因为通过将向左减去像素数据并向右加上像素数据来完成在所捕获的行中对下一个像素集合重新计算校验和（cksum）。该方法避免了必须对整个块的行进逐像素地比较、查找匹配以及必须当存在失配时再次重头开始。滚动校验和（cksum）公式按如下给出：

cksum = cksum + pixel(hor_res + x) – pixel(x)

4. 如果找到具有匹配校验和（cksum）的位置，则行中的每个像素从列开始与匹配校验和（cksum）进行比较。如果没有任何像素匹配，则认为不存在匹配，因此退出并以帧缓冲器中的下一个像素位置继续滚动校验和（cksum）。如果行中的所有的像素匹配，则下一个块对行进行检测且下一个帧行被加载，并且像素比较继续从相同的列号开始。如果没有任何像素匹配，则退出像素比较且继续以下一个像素位置继续滚动校验和（cksum）。

5. 如果所有像素匹配，则找到了块。开始搜索下一个块。

6. 如果不存在在帧缓冲器中找到的校验和（cksum）匹配或块匹配，则开始寻找下一个要检测的块。

7. 如果没有检测到块，返回步骤1并捕获新的视频帧。

在当前优选的实施方式中，当搜索大帧中的小块时最大的时间节省是：

1. 滚动校验和。

2. 要搜索的行的顺序。

图5示出了用于处理KVM系统中的预选择的消息的设备500。设备500可以例如是FPGA或ASIC并且优选地包括在KVM交换机106中。存储器114可是设备500的一部分或可以是单独的。

运行一个或多个程序的一个或多个计算机和设备可以是任何通用目的或专用目的的一个或多个计算机，其可以运行网站。本发明的各方面可以作为处理器的一部分或作为驻留在存储器（以及外部存储器）并在处理器上运行的程序来实现，或作为程序和专门硬件的组合来实现。当在存储器和/或外部存储器中，程序可以位于RAM、ROM、内部或外部盘、CD ROM、ASIC等中。通常，当作为程序或部分作为程序实现时，程序可以在计算机可读介质或包括但不限于RAM、ROM、盘、ASIC、PROM等的计算机可读媒体的组合上编码。一个或多个目标计算机104和远程计算机102可以运行一个或多个任何操作系统，且不需要是同质的。

尽管本发明的各方面已经参照特定系统来描述，但是本发明在任何计算机系统上操作并能以软件、硬件或其任何组合来实现。当完全或部分地以软件来实现时，本发明可以永久或临时驻留在包括但不限于RAM、ROM、盘、ASIC、PROM等的任何存储器或存储介质中。

尽管已经为呈现本发明的基本结构的目的说明了结构的某些构造，但是本领域技术人员将理解其他仍然落在本发明所附的权利要求的范围内的变型也是可能的。尽管本发明已经根据当前被认为是最实用和优选的实施例来描述，仍然可以理解，本发明不限于所公开的实施例，相反，其旨在覆盖包括在所附权利要求的精神和范围内的各种修改和等效方案。

Claims (6)

1.一种可在键盘、视频、鼠标（KVM）系统中操作的方法，其中通过与KVM交换机连接的远程计算机经由KVM交换机可访问连接到KVM交换机的多个目标计算机，每个目标计算机具有视频输出，并且其中一个或多个预选择的图像均与对应的动作相关联，该方法包括：

监控与KVM交换机连接的至少一些目标计算机的视频输出，以搜索该视频输出中的预选择的图像之一；和

当在目标计算机之一的视频输出中检测到预选择的图像之一时，采取与该图像相关联的对应动作。

2. 权利要求1的方法，其中从包括以下操作的动作中选择与图像相关联的动作：

（a）向操作者发送警报，

（b）捕获并存储图像，和

（c）应答该图像。

3. 权利要求2的方法，其中应答该图像包括：将指令发送到目标计算机之一。

4. 一种可在键盘、视频、鼠标（KVM）系统中操作的设备，其中通过与KVM交换机连接的远程计算机经由KVM交换机可访问连接到KVM交换机的多个目标计算机，每个目标计算机具有视频输出，并且其中一个或多个预选择的图像均与对应的动作相关联，该设备被配置为：

监控与KVM交换机连接的至少一些目标计算机的视频输出，以搜索该视频输出中的预选择的图像之一；和

当在目标计算机之一的视频输出中检测到预选择的图像之一时，采取与该图像相关联的对应动作。

5. 权利要求4的设备，其中从包括以下操作的动作中选择与图像相关联的动作：

（a）向操作者发送警报，

（b）捕获并存储图像，和

（c）应答该图像。

6. 权利要求4的设备，其中该设备包括在KVM交换机中。

Images