CN101536032A

CN101536032A - 图像识别的装置及方法

Info

Publication number: CN101536032A
Application number: CNA2007800409948A
Authority: CN
Inventors: A·A·达尼林; Y·比汉
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-11-02
Filing date: 2007-10-31
Publication date: 2009-09-16
Also published as: WO2008053433A2; JP2010509651A; WO2008053433A3

Abstract

本发明公开了用于图像识别的装置和方法，其中，图像被逐行地电子扫描。每一行像素被处理，并且根据色调和位置标准都合格的像素被选为轮廓点。将一组轮廓点与存储的参考进行比较，以确定所述图像的性质。

Description

图像识别的装置及方法

技术领域

本发明涉及用于图像识别的装置和方法，特别但并不排他地涉及用于识别人手形状的装置和方法。

背景技术

用于识别诸如人手形状的物体的装置是公知的，并已存在若干旨在使用相机和电子处理装置来识别手势信号的在先系统。为了区别不同的手势信号，这样的在先系统通常需要相对较大数量的存储器和/或包含相对密集的计算。由此，这些系统消耗相对较多的功率。

在日本专利No.JP2003-346162中描述了一种这样的用于识别人手图像的在先系统。此专利描述了一种计算机输入系统，该计算机输入系统目的在于通过对人手的图像进行电子处理来识别出从该手伸出的是哪根手指。该技术需要基于皮肤色调的识别程序来检测人手。由点和角度所描述的详细的多边形形状被建立并被用于确定伸出了多少根手指。处理图像所必需的计算是大量的，因此，使用在此技术中的装置的电子处理能力和存储器必然是相对较大的，如同其功耗一样。

发明内容

本发明的实施例旨在提供一种用于识别比如为人手的物体的形状的鲁棒的技术，该技术需要相对较少的电子处理能力和相对较小的存储器，并需要低的功耗，从而可以适合于使用无线“智能相机”装置的应用。

智能相机，即具有内置处理能力的相机，其在本地处理原始图像数据并仅将信息的关键字通过无线传输发送到主机系统。发明人发现，对于功耗，这样做比将实况视频广播到进行分析的主机计算机的方式更有效。

根据本发明，图像被逐行地电子扫描。像素行被处理，并且根据色调和位置标准都合格的像素被选为轮廓点。将一组轮廓点与存储的参考进行比较，以确定所述图像的特性。

根据本发明的一个方面，提供了一种图像识别装置，该图像识别装置包括图像传感器、第一电子处理器、第二电子处理器和存储器，

-其中，所述第一电子处理器是包括多个行存储器(line memory)的并行视频处理器，

-其中，所述第一电子处理器水平地逐行扫描由所述图像传感器检测到的图像，

-每一行像素被处理并被存储在所述行存储器之一中，

-以及其中，存储在行存储器中的一行上的每个像素被首先根据其色调与合格标准进行比较，并且，对于首个其中曾被检测到色调合格的像素的那行之后的每一行，在每一行上的第一个和最后一个合格的像素被相对于前一行上的色调合格的像素与位置标准进行比较，

-根据其色调和位置都合格的像素被选为轮廓点，

并且其中，所述装置被设置用于存储轮廓点，并且一组存储的轮廓点由第二电子处理器处理，第二电子处理器将这些轮廓点与存储的信息进行比较，以确定由所述轮廓点描述的图像的性质。

所述传感器寄存所述包括多个基于逐行组织的像素的图像。所述图像被传递给所述第一电子处理器。所述图像由所述第一电子处理器逐行地水平扫描，以便基于所述像素的色调来检测在该图像中手的存在。对于所述行中的每一行，当所述色调合格的像素被检测到时，所述第一个和最后一个合格像素被验证为轮廓点。所述轮廓的点被进一步提供给所述第二电子处理器，该第二电子处理器将接收到的轮廓点与所述存储的信息进行比较，以便确定由所述轮廓点描述的图像的性质。

这样的图像识别装置的优点在于，该图像识别装置仅仅需要所述轮廓中最重要的点以便确定图像的性质。所述轮廓点的确定通过逐行方式来处理接收到的图像，利用了所述存储器的行组织并利用了所述并行视频处理器。

由于所述装置是以并行的方式逐行处理所述图像的，因而功耗可以保持在最小限度。

在一个优选布置中，所述装置包括具有嵌入式的第一和第二电子处理器的无线相机，该无线相机用作所述图像传感器。

将无线相机用作所述图像传感器具有许多好处，因为这使所述相机的位置不依赖于该相机附近的电源的可用性。

在一个优选布置中，像素符合色调标准是指该像素具有预定的在UV颜色空间中表示皮肤色调的取值范围内的值。这样的色调标准的符合是一种确定在图像中手的存在的简单方法。

在一个优选布置中，所述装置被设置用于识别人手的图像。

在一个优选布置中，所述相机包括至少一个滤波器。所述滤波器用于过滤皮肤颜色像素。

本发明还提供了一种电子识别图像的方法，该方法包括以下步骤：

-将所述图像作为多行来水平地扫描；

-对于所述图像的每一个被扫描的行，根据预定的色调标准检测哪些像素是合格的；

-对于首个其中被检测到色调合格的像素的那行之后的每一行，根据合格的像素在该行上的位置来确定最小和最大的合格像素；

-将合格的最小和最大的像素与前一行上合格的最小和最大的像素进行比较，以根据位置标准确定哪些像素是合格的。

-将根据色调和位置标准都合格的像素作为轮廓点存储在存储器中；以及

-通过将一组轮廓点与存储的轮廓进行比较来处理所述一组轮廓点，以识别所述图像的性质。

在一个优选的布置中，第一个轮廓点被当作第一个被检测到的根据所述色调标准合格的像素。

优选地，当像素与前一行上相应最大或最小值的像素相比，其位置差落入预定范围内时，则认为所述像素符合所述位置标准。

所述方法包括用于识别人手的图像的方法，其中，色调合格的像素可以是其值落入UV颜色空间的预定取值范围内的像素。

优选地，所述方法包括将轮廓与一组存储的轮廓进行比较，每个所述存储的轮廓相应于不同的手形或手势语(hand sign)。

所述方法包括确定一系列手形或手势语以便识别手势(handgesture)。

附图说明

现在将参照附图仅以举例的方法来描述本发明的优选实施例，其中：

图1是根据本发明的一个实施例的图像识别装置的示意图；

图2是示出了用于从被扫描的图像中获取轮廓点的方法的流程图；

图3a和3b示意性地示出了用于不同图像的行扫描技术的例子；

图4示出了从图3a所示的图像扫描中获得的图像轮廓；

图5示出了通过根据本发明的技术获得的多个图像及其相应的图像轮廓。

具体实施方式

在这里所描述的实施例使用了无线“智能相机”，以检测人手的图像。功耗必须保持在最小限度，以延长电池寿命。因此，并行处理体系结构被采用，因为这将存储器访问的数量、时钟速度和指令的译码都保持在了最小限度。使用所述无线相机中的并行视频处理器来处理图像数据比将原始采集的数据发送到固定装置更加节能。所述智能相机基本上包括四个部件，一个或两个图像传感器，一个用于低层次图像处理的SIMD(Single Instruction Multiple Data单指令多数据)处理器，一个用于中间层次和高层次处理和控制的通用处理器，以及一个通信模块。使用双端口RAM将所述两个处理器耦合，以使所述两个处理器能够以各自的处理速度在共享的工作空间中工作。

图1示意性地示出了根据本发明的图像识别装置的一个实施例的体系结构。在此情况下，所述装置包括总地以10示出的智能相机。所述装置包括传感器12、视频处理器14、通用处理器16、双端口RAM(DPRAM)18、EEPROM12、无线通信子系统22、连接视频处理器14和通用处理器16的芯片间控制装置(I2C)24、DPRAM总线26和28、EEPROM总线30以及UART(或者其他可替代的串行)总线32。

视频处理器14包括线性处理器阵列(LPA)以及多个行存储器(未示出)。

所述视频处理器是并行处理器，并可以通过IC3D实现，所述IC3D是Philips Xetal SIMD处理器家族中的一员。Atmel 8051器件则可用作所述通用处理器。

视频处理器14的核心由所述具有320个精简指令集计算机(RISC)处理器的线性处理器阵列(LPA)构成。这些处理器中的每一个可在一个时钟周期内对所述LPA中的存储器位置同时进行读写访问。从SIMD意义上来说，存储器地址和处理器的指令是共享的。在所述LPA中的每个处理器也可以直接读取它左边和右边的相邻处理器的存储器数据。在所述线性阵列的末端处，可选地，这些处理器的输入被耦合或被形成镜像。所述LPA处理器可以处理高达64条指令，这些指令的范围是从算术运算指令和单周期的乘积累加指令到复合指令。除了这些指令，还存在使依赖于数据的操作能够进行的条件保护指令。数据路径的宽度为10比特。每个处理器具有两个字寄存器和一个标志寄存器。

在所述视频处理器中的行存储器存储了64行3200比特。所述图像行的像素以交织的方式被放置在此存储器上。

所述视频处理器的峰值像素性能在50GOPS(Giga Operations PerSecond：千兆次运算每秒)左右。尽管所述视频处理器具有较高的像素性能，但它本质上是一个低功率的处理器，因为不仅指令解码是在所有320个处理元件中共享的，而且存储器访问是在包含完整图像行的极宽的存储器字上的，而不是能量消耗较大的对多像素宽度的存储器位置的访问。对于典型的应用，比如特征寻找，在活跃的处理模式中测到的功耗在100mW以下。

用于视频处理器14的程序被存储在所述EEPROM中，并可以通过I²C 24从通用处理器16中上传。对于必须对图像执行的特定任务，通用处理器16可以将程序加载到所述视频处理器中。

用于装置10的软件包括基本上独立开发的三个部分。用于视频(并行)处理器14的程序由具有隐式并行数据类型的C++语言编写。所有的程序以基于行的方式编写，在该基于行的方式中，完整的图像行在单个时钟周期指令中被处理。通过保护结构，数据自适应软件结构可以被实现。能在此处理器上运行的典型功能是图像改善、运动分析、目标检测和跟踪算法。在所述通用处理器16上的程序用于随时间跟踪对象数据。所述通用处理器执行主机功能(运行操作系统)，并能够决定通过通信子系统22将事件发送到主机系统。

在本实施例中，所述视频处理器程序的目的在于，检测手的“轮廓点”并将它们存储在所述DPRAM中。

所述视频处理器在具有YUYV格式的四个通道(在图中由元件34表示)上从一个或两个VGA传感器12(在本实施例中只有一个)中接收信息。为了将所述图像从所述传感器传递给所述视频处理器，还可以使用其他的格式。第一个步骤在于过滤皮肤颜色像素。具有合适阈值的低通或中值滤波器被使用，以便从检测到的图像中消除噪音，因为对于下一个步骤而言，需要具有最小噪声的鲁棒的检测。

在本实施例中，所述视频处理器是SIMD处理器，因而它仅能以完整的行处理图像而不能按逐个像素的方式处理该图像。在检测到手之后，行扫描技术被使用以形成物体轮廓，在本实施例中，所述物体轮廓为手的轮廓。所述技术包括：扫描横穿所述图像的水平行，跟踪一定的数据，以及每当在行扫描期间遇到一定的事件时执行一定的操作。作为轮廓点的合格像素被存储在DPRAM 18中。然后，如此获得的轮廓被通用处理器16分析，通过与存储的参考轮廓进行比较，以便确定所述物体的特性，或者在此特定的情况下确定手势语的特性。

当像素最初被处理器14处理时，确定哪些像素由于其色调而合格可作为图像像素(即正被讨论的物体的图像像素)。在本实施例中，感兴趣的色调为皮肤色调，并且因此，其值落入与UV颜色空间中皮肤色调相称的预定取值范围内的像素被选为色调合格的像素。

图2示意性地示出了根据本发明这个实施例的用于形成一组定义所述图像的轮廓点的方法。

在步骤100，一行像素被读入处理器14，并在步骤110确定该行像素是否包含色调合格的像素(在此情况下为皮肤色调像素)。

如果没有色调合格的像素被检测到，那么下一行像素被读入所述处理器。

如果有色调合格的像素被检测到，那么在步骤120确定该像素是否为首次被检测到的所述像素。

如果是，那么在步骤160，所述具有相应坐标的像素被存储为轮廓点。

如果所述像素不是首个这样的像素，那么在步骤130获得在该行上最左边(MinX)和最右边(MaxX)的色调合格的像素。

在步骤135执行降噪处理。

在步骤140，将这些像素(MinX和MaxX)与对应的前一个被考虑的行的最左边和最右边的色调合格的像素进行比较。

在步骤150确定所述像素是否位置合格。

如果这两个像素都不满足所述位置合格标准，那么在步骤100中将下一行像素读入处理器14。

如果这两个像素中有一个或两个都满足所述位置合格标准，那么它或它们在步骤160被存储为轮廓点，以及下一行像素被读入。

图3示出了所述行扫描技术和轮廓点的例子。在图3a中，行从屏幕的顶部(行＝行0)开始扫描并向下移动，并跟踪MinX和MaxX值，其中MinX和MaxX是在该行上色调合格的像素(即在该行上的皮肤色调像素)的最小和最大X坐标。对于第一个轮廓点E₁(X₁，Y₁)，行＝Y₁以及MinX＝＝MaxX＝＝X₁。对于第二个轮廓点E₂(X₂，Y₂)，行＝Y₂以及MinX＝＝X₁和MaxX＝＝X₂，等等。下面的表格示出了对于每个所述轮廓点的X的最小值和最大值的例子。

事件	MinX	MaxX	行
事件	MinX	MaxX	行	事件1	X₁	X₁	Y₁
事件2	X₁	X₂	Y₂	事件1	X₁	X₁	Y₁
事件2	X₁	X₂	Y₂	事件3	X₃	X₂	Y₃
事件4	X₄	X₂	Y₄	事件3	X₃	X₂	Y₃
事件4	X₄	X₂	Y₄	事件5	X₄	X₅	Y₅
事件6	X₄	X₅	Y₆	事件5	X₄	X₅	Y₅

如果.MinX＝MinX-当前MinX(.MinX＝MinX-Current MinX)并且.MaxX＝MaxX-当前MaxX(.MaxX＝MaxX-Current MaxX)，其中当前MaxX和当前MinX分别为对于皮肤色调像素的X坐标的最大值和最小值，那么仅当.MinX处于预定范围(.1，.2)内或者.MaxX处于预定范围(.1，.2)内时轮廓点才被生成。采用这个位置合格标准的原因在于，当像素太接近于前一行上的轮廓点时，所述像素就可以被忽略。这样的像素可以，例如，仅表示了手的曲率，并且对于形成手的唯一识别轮廓来说并不需要。但第一个轮廓点E对此是个例外。轮廓点E1被生成为用于第一个待检测的皮肤色调像素。

使用此方法，轮廓C{E₁...E_n}可以被形成。

图4示出了从图3所示的五根手指的手势语中获得的轮廓。图5示出了多个可由上述方式获得的其他的手势语和它们的轮廓。

最重要的是，对于图5所示的每个手势语，其轮廓有别于所有其他的轮廓。

X和Y的比值描述了各个轮廓。例如在图4中，如果Y₅大于Y₄，那么这是右手，否则就是左手。不同的手势语相应于不同的X和Y的比值。

一系列手形可以被用于确定手势。

虽然已在附图和上述描述中详细地图解说明和描述了本发明，但这样的图解说明和描述应被视为说明性的或示例性的而不是限制性的；本发明并不限定于所公开的实施例。

通过研究附图、公开内容和所附的权利要求，本领域的技术人员在实施所要求保护的本发明时能够理解和实现所公开的实施例的其他变型方案。在权利要求中，措词“包括”不排除其他的元件或步骤，并且未作数目限定的量词“一”并未排除多个。单个处理器或其他单元可以实现权利要求中列出的若干项的功能。在相互不同的从属权利中列出一定措施并不表示这些措施的组合不能被有利地使用。计算机程序可以被存储/分布在合适的介质上，比如光存储介质或与其他硬件一起或作为其他硬件一部分被提供的固态介质，但还可以以其他形式被分布，例如通过互联网或其他有线或无线的通信系统。在权利要求中的任何附图标记不应当解释为对范围的限制。

Claims

1.一种图像识别装置(10)，包括图像传感器(12)、第一电子处理器(14)、第二电子处理器(16)和存储器，

其中，所述第一电子处理器(14)为包括多个行存储器的并行视频处理器；

-其中，所述第一电子处理器被设置用于逐行水平地扫描由所述图像传感器(12)检测到的图像，

-每一行像素被所述视频处理器处理并被存入所述行存储器之一中，

-并且其中，存储在行存储器中的一行上的每个像素首先根据其色调与合格标准进行比较，并且，对于首个其中被检测到色调合格的像素的那行之后的每一行，在所述每一行上的第一个和最后一个合格的像素被相对于前一行上的色调合格的像素而与位置标准进行比较，

-根据其色调和位置都合格的像素被选为轮廓点，

-并且其中，所述装置被设置用于存储轮廓点，并且一组存储的轮廓点由所述第二电子处理器处理，所述第二电子处理器将这些轮廓点与存储的信息进行比较，以确定由所述轮廓点描述的图像的性质。

2.根据权利要求1所述的图像识别装置，包括作为所述图像传感器(12)的无线相机，该无线相机具有嵌入的第一(14)和第二(16)电子处理器。

3.根据权利要求1或2所述的图像识别装置，其中，所述像素符合色调标准是指该像素具有UV颜色空间中表示皮肤色调的预定取值范围内的值。

4.根据权利要求3所述的图像识别装置，其中，所述装置被设置用于识别人手的图像。

5.根据以上权利要求任一所述的图像识别装置，其中，所述传感器包括至少一个滤波器。

6.一种用于电子识别图像的方法，该方法包括以下步骤：

将所述图像作为多行水平地电子扫描；

对于所述图像的每一个被扫描的行，根据预定的色调标准检测哪些像素是合格的；

对于首个其中被检测到色调合格的像素的那行之后的每一行，根据合格的像素在该行上的位置来确定最小和最大的合格像素；

将合格的最小和最大的像素与前一行上合格的最小和最大的像素进行比较，以根据位置标准确定哪些像素是合格的。

将根据色调和位置标准都合格的像素作为轮廓点存储在存储器中；以及

通过将一组轮廓点与存储的轮廓进行比较来处理所述一组轮廓点，以识别所述图像的性质。

7.根据权利要求6所述的方法，其中，所述第一个轮廓点被当作第一个被检测到的根据所述色调标准而合格的像素。

8.根据权利要求6或7所述的方法，其中，当像素与前一行上具有相应最大或最小值的像素相比，其位置差落入预定范围内时，则认为所述像素符合所述位置标准。

9.根据权利要求6至8任一所述的方法，其中，色调合格的像素是其值落入UV颜色空间的预定取值范围内的像素。

10.根据权利要求9所述的方法，其中，所述方法包括用于识别人手图像的方法。

11.根据权利要求6至10任一所述的方法，其中，所述方法还包括将轮廓与一组存储的轮廓进行比较，所述一组存储的轮廓的每个相应于不同的手形或手势语。

12.一种计算机程序，包括用于使计算机能够执行根据权利要求6至11中任一所述的方法的指令。

13.一种计算机可读的存储介质，该计算机可读的存储介质具有记录在其上的根据权利要求12所述的计算机程序。