CN102007492B - 用于搜索多幅存储的数字图像的方法和设备 - Google Patents

Abstract

搜索多幅存储的数字图像。依照搜索查询检索图像(步骤204)。依照图像内容的预定特性对检索的图像进行聚类(步骤208)。根据预定准则对聚类分级(步骤210)。依照分级的聚类返回搜索结果(步骤212)。

Description

用于搜索多幅存储的数字图像的方法和设备

技术领域

本发明涉及用于搜索多幅存储的数字图像的方法和设备。

背景技术

诸如图像和视频之类的多媒体内容的检索引起了全球的兴趣。归因于大量的可用多媒体内容，高效的检索方法对于消费和商业市场都是必要的。图像搜索引擎的使用已经变成查找和检索图像的流行方法。通常，这样的系统依赖于用文本对图像加标签(tag)。该文本主要由从包含图像的文档中提取的文件名或文本组成。

由于图像检索几乎仅仅依赖于伴随图像的文本特征，因而图像检索过程可能有问题。例如，这样的文本信息不总是可靠的并且在许多情况下该信息是“含噪声的”信息。例如，在网站中，根据图像被添加到系统的顺序任意地选择图像的文件名。此外，从其中文本提及不一定与伴随图像中显示的对象有关的许多不同对象的页面中提取相关文本信息是困难的。例如，文本可能提及伴随图像中没有显示的许多不同的人。

此外，一些姓名非常常见并且因而用户难于找到他们记住的个人的图像。例如，在因特网上，出现在许多网页上的人级别高于出现在非常少的网页上的相同姓名的人。这使得找到具有常见姓名或者其姓名也属于名人的人的图像成为不可能。

因此，现有的图像检索方法经常返回不精确的搜索结果。此外，大量的结果被返回，使得用户难于改进(refine)和获得可用的结果。因此，希望的是具有产生精确和一致的结果并且提供改进的搜索结果的搜索引擎。

发明内容

本发明寻求提供一种产生精确和一致的搜索结果并且允许进一步改进这些结果的系统。

依照本发明的一个方面，这是通过用于搜索多幅存储的数字图像的方法来实现的，该方法包括步骤：依照搜索查询检索图像；依照图像内容的预定特性对所述检索的图像进行聚类；根据预定准则对聚类分级(rank)；以及依照分级的聚类返回搜索结果。所述搜索查询可以包括例如个人的姓名或者另一文本。

依照本发明的另一个方面，这也通过用于搜索多幅存储的数字图像的设备来实现，该设备包括：检索装置，其用于依照搜索查询检索图像；聚类装置，其用于依照图像内容的预定特性对所述检索的图像进行聚类；分级装置，其用于根据预定准则对聚类分级；以及输出装置，其用于依照分级的聚类返回搜索结果。所述搜索查询可以包括例如个人的姓名或者另一文本。

通过这种方式，返回精确的搜索结果，因为图像依照其内容而被聚类。此外，搜索结果被改进，因为它们依照预定准则而被分级。结果，返回的结果更加特定于搜索查询并且更容易解释。

数字图像可以是视频数据流、诸如照片之类的静止数字图像、网站或者具有元数据的图像等等。

所述预定特性可以是对象的预定特征，例如个人的预定脸部特征。检索的图像可以通过使用脸部检测的结果并且对包含具有相同/相似脸部特征的脸部的检索的图像进行聚类而被聚类。通过这种方式，可以找到特定个人的图像。可替换地，检索的图像可以依照其场景内容，例如通过对林地场景的图像聚类以及对城市场景的图像聚类而被聚类。可替换地，检索的图像可以依照图像中包含的对象或动物类型或者任何其他预定的内容特性来聚类。

所述预定准则可以是聚类的大小，并且分级的步骤可以包括按照聚类的大小顺序对聚类分级，例如最大的第一，或者它们可以依照用户偏好或者依照访问历史来分级，使得最受欢迎的或最近的首先被显示。按照这种方式，通过将其分级得高于不太相关的聚类而赋予最相关的聚类更多的权重。这提供了更加改进的搜索。

可以通过显示所述聚类的至少一个的代表性图像而返回搜索结果。这些显示的代表性图像可以伴随有与显示的图像有关的文本或音频数据。当选择显示的代表性图像时，可以显示与选择的代表性图像关联的聚类中的所有图像。通过这种方式，向用户呈现出代表性图像形式的精简的菜单。用户只需浏览少量显示的代表性图像以便找到与其搜索查询有关的图像。这在提供用于观看和解释结果的简单而高效的方法方面实现了进一步的改进。

所述聚类的分级可以根据选择的显示的代表性图像而进行调节。通过这种方式，进一步改进了结果以便向用户提供依照用户的兴趣分级的图像。

附图说明

为了更完整地理解本发明，现在参照结合附图进行的以下描述，在附图中：

图1为依照本发明实施例的用于搜索多幅存储的数字图像的设备的简化示意图；以及

图2为依照本发明实施例的用于搜索多幅存储的数字图像的方法的流程图。

具体实施方式

参照图1，设备100包括数据库102，其输出连接到检索装置104的输入。检索装置104可以例如是搜索引擎，比如web或桌面搜索引擎。检索装置104的输出连接到检测装置106的输入。检测装置106的输出连接到聚类装置108的输入。聚类装置108的输出连接到分级装置110的输入。分级装置110的输出连接到输出装置112的输入并且输出装置114的输出反过来连接到分级装置110的输入。用户输入可以经由选择装置114提供给输出装置112。

参照图1和图2，在操作中，将搜索查询输入到检索装置104(步骤202)。检索装置104有权访问数据库102。数据库102是索引，其是对原始数据的引用(例如网站url)和描述性信息(例如元数据)的列表。原始数据可以包括例如数字图像，比如视频数据流或者静止数字图像(例如照片)。检索装置104可以不断地为新的数字图像搜索例如web。检索装置104不断地对这些新的数字图像编索引并且将这些新的编索引的数字图像添加到具有有关描述性信息的数据库102。当输入搜索查询时，检索装置104对数据库102中的文本执行搜索并且依照搜索查询检索图像(步骤204)。

检索的图像输入到检测装置106。检测装置106可以例如是脸部检测器。可替换地，检测装置106可以是场景内容检测器或者检测对象形状或动物类型等的检测器。在脸部检测器的情况下，检测装置106在检索的图像内检测脸部(步骤206)。这可以通过在检索的图像内检测包含脸部的区域并且在检索的图像中找到所有脸部的位置和大小来实现。检测图像中的脸部的方法称为脸部检测。例如在“Rapidobjectdetectionusingaboostedcascadeofsimplefeatures”，P.Viola，andM.Jones，IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition，2001中公开了脸部检测方法的一个实例。个人的身份可以基于个人的脸部在图像中的外貌来确定。这种标识个人的方法称为脸部识别。例如在“ComparisonofFaceMatchingTechniquesunderPoseVariation”，B.Kroon，S.Boughorbel，andA.Hanjalic，ACMConferenceonImageandVideoRetrieval，2007中公开了脸部识别方法的一个实例。

检测装置106将检索的图像和检测的脸部输出到聚类装置108。

可替换地，检测装置106可以事先为检索装置104编索引的每幅数字图像执行检测。通过这种方式，检索装置104连续地为新的数字图像搜索web，对找到的任何新的数字图像编索引，并且检测装置106对每一幅编索引的数字图像执行检测。数据库102于是将包含对这些数字图像的引用以及每幅数字图像的所有检测的脸部的脸部特征，其可以在输入搜索查询时由检索装置104检索并且被输入到聚类装置108。这使得系统能够快速而高效地执行，因为不必每次输入搜索查询时执行检测。

聚类装置108依照图像内容的预定特性对检索的图像进行聚类(步骤208)。该预定特性可以例如是对象的预定特征，比如个人的预定脸部特征。聚类装置108可以使用多个脸部特征以便对检索的图像聚类。可替换地，预定特性可以是诸如纹理之类的图像特性。在脸部特征的情况下，聚类装置108对包含具有相同或相似特征的脸部的检索的图像进行聚类。相同或相似的特征很可能属于相同的个人。可替换地，聚类装置108可以对包含有关场景内容的检索的图像聚类。例如，聚类装置108可以对与林地场景有关的所有图像以及与城市场景有关的所有图像进行聚类。可替换地，聚类装置108可以对包含特定对象或动物类型等的图像聚类。WO2006/095292、US2007/0296863、WO2007/036843以及US2003/0210808中公开了聚类技术的实例。

所述聚类从聚类装置108输出到分级装置110。分级装置110基于预定准则对聚类分级(步骤210)。该预定准则可以是例如聚类的大小。分级装置110按照聚类的大小顺序对聚类分级，例如最大的聚类第一。聚类的大小指示对象(例如个人)出现在检索的图像中的频度。聚类越大，该聚类越可能表征(feature)查询的个人。较小的聚类可能表征与目标具有某种语义关系的个人。例如，在关于意大利政治家Prodi或Berlusconi的查询中，较大的聚类可能代表Prodi或Berlusconi，而较小的聚类可能表征具有相同姓名的其他政治家或者不同的个人。可替换地，分级装置110可以依照用户偏好或者依照访问历史来对聚类分级，使得最受欢迎的或最近的首先被显示。按照这种方式，通过将其分级得高于不太相关的聚类而赋予最受欢迎或最近的聚类(即最相关的聚类)更多的权重。

分级的聚类从分级装置110输出并且输入到输出装置112。输出装置112依照分级的聚类返回搜索结果(步骤212)。输出装置112可以例如是显示器。输出装置112可以通过显示所述聚类的至少一个的代表性图像而返回搜索结果。这些显示的代表性图像可以伴随有与显示的图像有关的文本和/或音频数据。

用户可以通过选择装置114选择显示的代表性图像(步骤214)。当选择显示的代表性图像时，输出装置112显示与选择的代表性图像关联的聚类中的所有图像。输出装置112使用搜索结果的层次表示。

输出装置112在返回搜索结果时可以使用相关反馈选项。输出装置112将选择的代表性图像输出到分级装置110。分级装置110然后通过向与选择的代表性图像相应的聚类赋予更多的权重来调节聚类的分级(步骤216)。换言之，当用户选择代表性图像时，与选择的代表性图像相应的聚类在分级的聚类中上移，使得它例如首先出现。通过这种方式，用户更感兴趣的聚类首先显示，使得用户更容易改进和获得可用的结果。分级装置110将重新分级的聚类输出到输出装置112以便显示。

尽管在附图中示出并且在前面的描述中描述了本发明的实施例，但是应当理解的是，本发明并不限于所公开的这些实施例，而是能够在不脱离如以下权利要求书中所述的本发明的范围的情况下进行许多修改。本发明存在于每一个新颖的特性特征以及特性特征的每一种组合之中。权利要求中的附图标记并没有限制其保护范围。动词“包括”及其变体的使用并没有排除存在权利要求中未列出的元件。元件之前冠词“一”的使用并没有排除存在多个这样的元件。

本领域技术人员应当清楚的是，“装置”意在包括操作中再现或者被设计成再现规定的功能的任何硬件(例如单独的或集成的电路或电子元件)或软件(例如程序或程序的部分)，不管它是独立地再现还是结合其他功能再现，不管它是孤立的还是与其他元件协作。本发明可以借助于包括若干不同元件的硬件以及借助于经过适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的一些可以由同一硬件项来实施。“计算机程序产品”应当被理解成表示存储在计算机可读介质(例如软盘)上的、可通过网络(例如因特网)下载的或者可以任何其他方式销售的任何软件产品。

Claims (11)

1.一种用于搜索多幅存储的数字图像的方法，该方法包括步骤：

依照搜索查询检索图像；

依照图像内容的预定特性对所述检索的图像进行聚类；

按照聚类的大小顺序对聚类分级；以及

依照分级的聚类返回搜索结果。

2.依照权利要求1的方法，其中所述预定特性为对象的预定特征。

3.依照权利要求2的方法，其中对象的预定特性为个人的预定脸部特征。

4.依照权利要求3的方法，其中对检索的图像进行聚类的步骤包括：

使用脸部检测的结果；以及

对包含具有相同／相似脸部特征的脸部的检索的图像进行聚类。

5.依照权利要求1的方法，其中返回搜索结果的步骤包括显示所述聚类的至少一个的代表性图像。

6.依照权利要求5的方法，其中返回搜索结果的步骤还包括以下步骤：

选择所述显示的代表性图像之一；以及

显示与所述选择的代表性图像关联的聚类中的所有图像。

7.依照权利要求5或6的方法，其中返回搜索结果的步骤还包括提供与显示的图像有关的文本或音频数据。

8.依照权利要求6的方法，还包括根据选择的显示的代表性图像调节所述聚类的分级的步骤。

9.用于搜索多幅存储的数字图像的设备，该设备包括：

检索装置，其用于依照搜索查询检索图像；

聚类装置，其用于依照图像内容的预定特性对所述检索的图像进行聚类；

分级装置，其用于按照聚类的大小顺序对聚类分级；以及

输出装置，其用于依照分级的聚类返回搜索结果。

10.依照权利要求9的设备，还包括：

检测装置，其用于在检索的图像内检测脸部；并且其中所述聚类装置操作用于对包含具有相同／相似脸部特征的脸部的检索的图像进行聚类。

11.依照权利要求9的设备，其中输出装置包括用于显示所述聚类的至少一个的代表性图像的显示器，并且其中所述设备还包括用于选择这些代表性图像的选择装置。