[go: up one dir, main page]

CN1669052B - 使用三维物体模型的图像匹配系统以及图像匹配方法 - Google Patents

使用三维物体模型的图像匹配系统以及图像匹配方法 Download PDF

Info

Publication number
CN1669052B
CN1669052B CN03816308XA CN03816308A CN1669052B CN 1669052 B CN1669052 B CN 1669052B CN 03816308X A CN03816308X A CN 03816308XA CN 03816308 A CN03816308 A CN 03816308A CN 1669052 B CN1669052 B CN 1669052B
Authority
CN
China
Prior art keywords
image
dimensional object
object model
storage part
similar degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN03816308XA
Other languages
English (en)
Other versions
CN1669052A (zh
Inventor
滨中雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1669052A publication Critical patent/CN1669052A/zh
Application granted granted Critical
Publication of CN1669052B publication Critical patent/CN1669052B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明的目的在于即使在每个物体只存在少数参照图像的情况下，也可以针对在姿势、照明不同的条件下所拍摄的物体的图像，从输入图像高速检索数据库中所存储的参照图像。参照图像匹配结果存储部(50)将参照图像存储部(70)中的各参照图像作为输入图像，并预先存储与代表三维物体模型存储部(20)中的各代表三维物体模型进行匹配的结果；图像生成单元(30)基于各代表三维物体模型生成输入条件与通过图像输入单元(10)所得到的输入图像接近的比较图像；图像匹配单元(40)计算输入图像与所生成的各图像的类似度；结果匹配单元(60)计算所述图像匹配单元(40)的匹配结果与所述参照图像匹配结果存储部(50)中所存储的各参照图像的匹配结果的类似度，并按类似度从高到低的顺序提取匹配结果类似的参照图像，并显示在结果显示单元(80)上。

Description

使用三维物体模型的图像匹配系统以及图像匹配方法
技术领域
本发明涉及使用了三维物体模型的图像匹配系统、图像匹配方法以及图像匹配程序，特别是涉及以下图像匹配系统、图像匹配方法以及图像匹配程序，即：对于在姿势、照明不同的条件下所拍摄的物体(人物的脸)的输入图像，可以从该输入图像来检索数据库(DB)中的参照图像。
背景技术
1995年，电子信息通信学会论文杂志D-II，第J78-D-II卷，第11号，1639页～1649页，岛田等所著，《用于不依据脸部朝向的人物识别的辞典构成法》中记载有现有的图像匹配系统的一个例子(以下称为第一现有技术)。如图26所示，该第一现有技术的图像匹配系统包括图像输入部10、图像匹配部40、结果显示部80、参照图像存储部70和参照图像注册部75。
具有这种结构的现有的图像匹配系统如下那样工作。
参照图像存储部70中存储有预先通过参照图像注册部75所拍摄的各种物体的参照图像(人物的参照脸部图像等)。其中，对于参照图像来说，由于根据摄影时的条件(姿势、照明等条件)不同而大幅变化，所以对于一个物体要存储在各种条件下拍摄的多个(很多)图像。
图像输入部10由照相机等来实现，并将拍摄的输入图像存储在存储器(图中未示出)中。图像匹配部40将通过图像输入部10所得到的输入图像和通过参照图像存储部70所得到的各参照图像进行比较，分别计算特征的类似度(或是距离值)，并选出各物体中类似度最大(或是距离具小)的参照图像。各个图像用浓淡特征来表现，在特征间的类似度计算或距离值计算中例如可使用规范化函数或欧几里得距离等。结果显示部80将该参照图像中所选出的类似度最大的物体的参照图像作为匹配结果加以显示(或者按照类似度从大到小的顺序显示作为候补的参照图像)。
日本专利文献特开2000-322577号公报中记载有现有图像匹配系统的另一个例子(以下称为第二现有技术)。如图28所示，该现有的图像匹配系统包括图像输入部10、图像转换部35、部分图像匹配部45、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20和三维物体模型注册部25。
具有这样的结构的现有的图像匹配系统如下那样工作。
代表三维物体模型存储部20中存储有预先通过三维物体模型注册部25所得到的有代表性的一个或多个三维物体模型。关于通过图像输入部10所得到的输入图像和通过参照图像存储部70所得到的各参照图像共同的部分区域，图像转换部35使用通过代表三维物体模型存储部20所得到的三维物体模型，来转换该输入图像和该参照图像的双方或任意一方以生成部分图像，使得输入条件(例如姿势条件)相同。
所谓部分区域，例如图29所示，是眼、鼻、口这样的特征部分，可以通过预先对各图像与三维物体模型指定特点来获得对应。部分图像匹配部45将通过图像转换部35得到的被转换的输入图像和各参照图像的部分图像进行比较，分别计算平均类似度，并选出各物体中类似度最大的参照图像。结果显示部80将该参照图像的类似度最大的物体作为匹配结果加以显示。
在上述现有技术中，有下面所述的各种问题。
第一，在上述第一及第二现有技术中存在以下问题，即：对于所注册的物体，需要在各种条件下所拍摄的多个参照图像。
其理由是，由于直接比较输入图像和参照图像，所以在输入图像的拍摄条件没有被限定时，为了对应多种姿势或照明条件，就需要预先准备接近输入图像的拍摄条件的参照图像。但是，实际上，姿势或照明条件存在无限的可能性，预先准备与各种条件相对应的大量图像在现实上是不可能的。
第二，在第二现有技术中，由于转换输入图像或参照图像，使得姿势吻合，并进行比较，所以，存在以下问题，即：三维物体模型的参照图像的数目不够多，或是若姿势差异较大，则转换引起的失真变大，从而不能正确匹配。此外，存在以下问题，即：通过转换来使照明条件吻合是非常困难的，而且，由于在共同区域内比较图像，所以就必须存在共同的区域。
第三，在各现有技术中，存在匹配耗时的问题。
其理由是，在现有技术中，由于对输入图像和各物体的多个参照图像进行比较，所以当物体数是M个，而各物体的参照图像是L个时，至少需要进行L×M次的图像比较。
发明内容
本发明的目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使在只存在少数参照图像的情况下，也可以针对每个物体在不同姿势和照明条件下所拍摄的图像，从输入图像来检索出数据库中注册的参照图像。
本发明的另一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而不进行转换输入图像或参照图像以使其姿势吻合的处理，就可以通过很少的三维物体模型的参照图像进行匹配，并且即使各图像未必存在共同的区域也可以进行匹配。
本发明的又一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使不对所有物体生成某一必需数目的三维物体模型也可以进行图像的匹配。
本发明的再一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使数据库中注册有关于很多物体的参照图像，也可以高速地进行检索。
根据本发明，提供一种检索与输入图像类似的参照图像的图像匹配系统，所述图像匹配系统的特征在于，其包括：用于将所述输入图像与多个代表三维物体模型进行匹配的单元；用于将所述参照图像与多个所述代表三维物体模型进行匹配的单元；利用所述输入图像与多个所述代表三维物体模型进行匹配的结果，和所述参照图像与多个所述代表三维物体模型进行匹配的结果，检索与所述输入图像类似的所述参照图像的单元。
上述图像匹配系统还可以包括：用于求出与所述参照图像对应的参照三维物体模型的单元，其中所述参照图像与所述输入图像类似；和利用所述参照三维物体模型和所述输入图像，重新检索与所述输入图像类似的所述参照图像的单元。
上述图像匹配系统还可以包括：用于求出与所述参照图像对应的参照三维物体模型的单元，其中所述参照图像与所述输入图像类似；基于所述参照三维物体模型，通过转换所述输入图像与所述参照图像的双方或任一方来使所述输入图像与所述参照图像的输入条件一致的转换单元；和通过将所述输入条件一致的所述输入图像与所述参照图像进行匹配来检索与所述输入图像对应的所述参照图像的单元。
在上述图像匹配系统中，所述转换单元也可以预先转换所述参照图像，并使所述输入图像的输入条件与所述参照图像的输入条件一致。
上述图像匹配系统也可以包括：图像输入单元，用于输入所述输入图像；代表三维物体模型存储部，用于存储多个所述代表三维物体模型；图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像接近的、至少一个比较图像；图像匹配单元，用于计算所述输入图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像与代表三维物体模型之间的类似度；参照图像存储部，用于存储各物体的所述参照图像；参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；结果匹配单元，基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像。
上述图像匹配系统还可以包括：三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将新的参照图像注册到所述参照图像存储部中时，对于通过注册而新产生的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中。
在上述图像匹配系统中，也可以是：所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；所述参照图像匹配结果存储部按每个区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
在上述图像匹配系统中，也可以是：所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
上述记载的图像匹配系统也可以包括：图像输入单元，用于输入所述输入图像；代表三维物体模型存储部，用于存储多个所述代表三维物体模型；图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像接近的、至少一个比较图像；图像匹配单元，用于计算所述输入图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像与代表三维物体模型之间的类似度；参照图像存储部，用于存储各物体的所述参照图像；参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；结果匹配单元，基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像；参照三维物体模型存储部，用于存储与所述参照图像存储部中所存储的各参照图像对应的参照三维物体模型；第二图像生成单元，通过所述参照三维物体模型存储部获得与通过所述结果匹配单元提取的各参照图像对应的各参照三维物体模型，并基于所获得的各参照三维物体模型，关于各参照三维物体模型生成输入条件与输入图像接近的、至少一个第二比较图像；和第二图像匹配单元，用于计算所述输入图像与通过所述第二图像生成单元所生成的各第二比较图像之间的类似度，并关于与各参照三维物体模型对应的第二比较图像选出最大类似度，并将该最大类似度作为所述输入图像与参照三维物体模型之间的类似度。
上述图像匹配系统还可以包括：三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将参照图像注册到所述参照图像存储部中时，对于通过注册而新产生的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中；三维物体模型生成单元，用于在通过所述参照图像匹配结果更新单元将所述参照图像与所述代表三维物体模型之间的类似度注册到参照图像匹配结果存储部中时，基于该类似度，通过合成所述代表三维物体模型存储部中所存储的所述代表三维物体模型来生成与该参照图像对应的所述参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
在上述图像匹配系统中，也可以是：所述三维物体模型生成单元基于所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的每个部分区域的类似度，通过按每个区域合成所述代表三维物体模型存储部中所存储的代表三维物体模型来生成与各参照图像对应的参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
在上述图像匹配系统中，也可以是：所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
在上述图像匹配系统中，也可以是：所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
上述图像匹配系统也可以包括：图像输入单元，用于输入所述输入图像；代表三维物体模型存储部，用于存储多个所述代表三维物体模型；图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像接近的、至少一个比较图像；图像匹配单元，用于计算所述输入图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像与代表三维物体模型之间的类似度；参照图像存储部，用于存储各物体的所述参照图像；参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；结果匹配单元，基于通过所述图像匹配单元计算的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像；参照三维物体模型存储部，用于存储与所述参照图像存储部中所存储的各参照图像对应的参照三维物体模型；图像转换单元，通过所述参照三维物体模型存储部获得与通过所述结果匹配单元提取的各参照图像对应的各参照三维物体模型，并基于所获得的各参照三维物体模型，通过转换所述输入图像与通过所述结果匹配单元提取的所述参照图像的双方或任一方来使所述输入图像与通过所述结果匹配单元提取的所述参照图像的输入条件一致，并分别生成输入条件一致的所述输入图像与所述参照图像的部分图像；部分图像匹配单元，用于计算通过所述图像转换单元生成的所述输入图像的部分图像与所述参照图像的部分图像之间的类似度。
上述图像匹配系统还可以包括：三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将参照图像注册到所述参照图像存储部中时，对于通过注册而新产生的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中；三维物体模型生成单元，用于在通过所述参照图像匹配结果更新单元将所述参照图像与所述代表三维物体模型之间的类似度注册到参照图像匹配结果存储部中时，基于该类似度，通过合成所述代表三维物体模型存储部中所存储的所述代表三维物体模型来生成与该参照图像对应的所述参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
在上述图像匹配系统中，也可以是：所述三维物体模型生成单元基于所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的每个部分区域的类似度，通过按每个部分区域合成所述代表三维物体模型存储部中所存储的代表三维物体模型来生成与各参照图像对应的参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
在上述图像匹配系统中，所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
在所述图像匹配系统中，也可以是：所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
在上述图像匹配系统中，所述物体也可以是人的脸。
根据本发明可以达成如下所述效果。
第一效果是，即使在参照图像是每个物体存在一个甚至只有少数存在时，也可以针对在姿势、照明条件等不同的输入条件下拍摄的物体的输入图像，检索同一物体的参照图像。此外，不进行转换输入图像或参照图像，以使得姿势吻合这一处理，就可以利用很少的三维物体模型的参照图像进行匹配，并且即使未必存在各图像共同的区域也可以进行匹配。此外，即使对于所有物体未必生成某一预定数量的三维物体模型也可以进行图像的匹配。
其理由是，因为采用了通过对输入图像与代表三维物体模型的匹配结果和参照图像与代表三维物体模型的匹配结果进行比较，从而可以检索参照图像的结构。此外，还因为采用了通过代表三维物体模型的合成来生成参照三维物体模型并匹配的结构。
第二效果是可以从输入图像来高速地检索参照图像。
其理由是，因为采用了通过与比物体数量少的代表三维物体模型的匹配以及匹配结果的类似度计算来进行图像匹配的结构。此外，还因为采用了在进行与参照三维物体模型的匹配时，在通过代表三维物体模型提取了类似性高的参照图像之后，对上位候补进行与参照三维物体模型的匹配的结构。
附图说明
图1是表示本发明第一实施方式的图像匹配系统的结构的框图；
图2是表示第一实施方式中匹配时的动作的流程图；
图3是第一实施方式中代表三维物体模型的具体例子的示意图；
图4是第一实施方式中参照图像的具体例子的示意图；
图5是第一实施方式中参照图像匹配结果的具体例子的示意图；
图6是第一实施方式中输入图像的具体例子的示意图；
图7是第一实施方式中输入图像匹配结果的具体例子的示意图；
图8是第一实施方式中结果匹配的具体例子的示意图；
图9是表示本发明第二实施方式的图像匹配系统的结构的框图；
图10是表示第二实施方式中三维物体模型注册时的动作的流程图；
图11是表示第二实施方式中参照图像注册时的动作的流程图；
图12是第二实施方式中所注册的三维物体模型的匹配结果的具体例子的示意图；
图13是第二实施方式中参照图像匹配结果的更新的具体例子的示意图；
图14是第二实施方式中所注册的参照图像的匹配结果的具体例子的示意图；
图15是第二实施方式中参照图像匹配结果的更新的具体例子的示意图；
图16是表示本发明第三实施方式中的图像匹配系统的结构的框图；
图17是表示第三实施方式的匹配时的动作的流程图；
图18是第三实施方式的参照三维物体模型的具体例子的示意图；
图19是第三实施方式的参照图像匹配结果的具体例子的示意图；
图20是表示本发明第四实施方式的图像匹配系统的结构的框图；
图21是表示第四实施方式中三维物体模型注册时的动作的流程图；
图22是表示第四实施方式中参照图像注册时的动作的流程图；
图23是表示本发明第五实施方式的图像匹配系统的结构的框图；
图24是表示第五实施方式的匹配时的动作的流程图；
图25是表示本发明第六实施方式的图像匹配系统的结构的框图；
图26是表示第一现有技术的图像匹配系统的结构的框图；
图27是三维物体模型的坐标的具体例子的示意图；
图28是表示第二现有技术的图像匹配系统的结构的框图；
图29是第二现有技术的部分区域的具体例子的示意图。
具体实施方式
以下，参照附图详细说明本发明的实施方式。
参照图1，本发明第一实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、代表三维物体模型存储部20和参照图像匹配结果存储部50。
代表三维物体模型存储部20中注册有代表性的三维物体模型(物体的三维形状和物体表面的纹理(texture))。关于三维物体模型，例如可以通过使用日本专利文献特开2001-12925号公报记载的三维形状测定装置来生成，或是使用日本专利文献特开平9-91436号公报记载的从通过多个照相机所拍摄的多个图像复原三维形状的装置来生成。
如图27所示，三维物体模型包括物体表面的三维空间(x，y，z)内的形状PQ(x，y，z)和纹理TQ(R，G，B)的信息。Q表示物体表面上的点的位标(index)，对应于将物体表面上的点从重心向以物体的重心为中心的球体投影的点Q(s，t)的坐标。为了匹配，预先使用各三维物体模型，通过计算机制图生成基于各种照明条件的学习用CG图像，并通过对该学习用CG图像进行主成份分析而求得基底图像组。
图像生成部30基于通过代表三维物体模型存储部20所得到的代表三维物体模型，假定姿势条件并生成多个与通过图像输入部10所得到的输入图像照明条件接近的比较图像。此处，生成与输入图像照明条件接近的比较图像是通过以下实现的：基于假定了的姿势条件对预先求得的基底图像组进行坐标变换，并通过最小二乘法求得线性和的系数，使得该进行了坐标变换的基底图像的线性和接近该输入图像。
关于从该三维物体模型生成接近输入图像的比较图像的技术，例如，在2001年电子信息通信学会技术研究报告Vol.101 No.524 PRMU2001-153～175、59页～64页“通过照明条件与姿势两者的自动校正而进行的脸部匹配”中有记载。
图像匹配部40对通过图像输入部10所得到的输入图像与通过图像生成部30所得到的各比较图像进行比较，并计算输入图像与各比较图像之间的类似度，从而通过选出各物体中类似度最大的比较图像来推定姿势。
将作为存储参照图像的数据库(DB)的参照图像存储部70的各参照图像作为输入图像，并通过图像生成部30及图像匹配部40对代表三维物体模型存储部20的各代表三维物体模型与各参照图像进行匹配，其结果预存在参照图像匹配结果存储部50中。
结果匹配部60将通过图像生成部30及图像匹配部40对利用图像输入部10所得到的输入图像进行匹配的结果与参照图像匹配结果存储部50中的各参照图像的匹配结果进行比较，并按类似度从高到低的顺序提取匹配结果类似的参照图像。结果显示部80将该类似度最大的物体作为匹配结果加以显示。
参照图像存储部70中注册有作为检索对象的物体的二位图像，即参照图像。该参照图像不受包括其照明、姿势在内的输入条件的限制，对于一个物体(检索对象)至少注册一个图像。
代表三维物体模型存储部20中存储有代表性的多个代表三维物体模型。
下面，参照图1和图2的流程图对第一实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，首先通过图像输入部10获得输入图像(图2的步骤100)。接着，图像生成部30对于代表三维物体模型存储部20中的各代表三维物体模型，生成姿势、照明等输入条件与输入图像接近的，即易于进行比较的比较图像(步骤101)。
进一步，图像匹配部40求出该输入图像与该各比较图像的类似度(步骤102)。结果匹配部60计算该匹配结果与参照图像匹配结果存储部50中的各参照图像的匹配结果的类似度，并按类似度从高到低的顺序提取匹配结果类似的参照图像(步骤103)。最后，显示类似度高的该参照图像(步骤104)。
接着，对如上所述构成并工作的第一实施方式的效果进行说明。
在第一实施方式中，由于被构成通过对输入图像与代表三维物体模型的匹配结果和参照图像与代表三维物体模型的匹配结果进行比较来检索参照图像，所以即使在参照图像是每个物体存在一个甚至只有少数存在时，也可以对不同姿势、照明条件下拍摄的物体的输入图像检索参照图像。
此外，在本实施方式中，进一步地，由于采用通过与比物体数量少的代表三维物体模型的匹配以及匹配结果的类似度计算来进行图像匹配的结构，所以可以高速检索。因为匹配结果的类似度计算所耗时间比图像匹配短，所以检索时间依赖于图像匹配的数量。例如，代表三维物体模型的数量N相对于物体数量(参照图像数量)M是N＝M/100时，若在图像生成部30中所生成的各代表三维物体模型的比较图像是L个，则以L×N＝L×M/100次的图像匹配来完成，从而能够以以往的1/100的匹配次数进行检索。
此外，利用表示具体实施例的图3～图8来说明第一实施方式的动作。
如图3所示，代表三维物体模型存储部20中存储有N个代表性的代表三维物体模型Cj(j＝1，2，…，N)。此外，如图4所示，参照图像存储部70中存储有M个各物体的参照图像Ri(i＝1，2，…，M)(每个物体都存在多个参照图像也没问题，此处以1个来说明)。
此外，如图5所示，参照图像匹配结果存储部50通过参照图像注册时的处理，存储有各参照图像Ri相对于代表三维物体模型Cj的匹配结果(类似度)Sij(在图5中是以类似度从高到低的顺序显示的，但是实际上按模型的顺序存储也可以)。
在进行输入图像的匹配时，通过图像输入部10获得图6所示的输入图像I(u，v)(图2的步骤100)。接着，图像生成部30对于代表三维物体模型存储部20中的各代表三维物体模型Cj(j＝1，2，…，N)，生成L个接近输入图像的姿势、照明等输入条件的比较图像Gjk(u，v)(j＝1，…，N、k＝1，…，L)(步骤101)。
此外，图像匹配部40求得该输入图像I(u，v)与该各比较图像Gjk(u，v)的类似度S(I，Gjk)，并按每个代表三维物体模型求出类似度最大的类似度S0j＝maxkS(I，Gjk)(步骤102)。匹配结果(类似度)S0j例如图7所示。
结果匹配部60计算该匹配结果S0j与参照图像匹配结果存储部50中的各参照图像的匹配结果Sij的类似度Di＝D(S0j，Sij)，并按顺序提取该匹配结果的类似度Di高的参照图像(步骤103)。提取结果例如如图8所示，作为与输入图像是同一物体的图像的可能性高的参照图像，依次求得R1、R5、R2。最后，显示类似度高的该参照图像(步骤104)。
此处，作为匹配结果的类似度Di(S0j，Sij)的计算方法，可以利用规范化函数、秩相关等。所谓秩相关，是匹配结果的候补顺序的相关。若输入图像的匹配结果S0j的候补顺序为A0j，则图7的匹配结果为A0,2＝1，A0,5＝2，A0,3＝3。若各参照图像的匹配结果Sij的候补顺序为Aij，则例如斯皮尔曼秩相关通过1-6∑j(A0j-Aij)2/{N(N2-1)}求得。
此外，在类似度计算中，对各变量(S0j、Sij或A0j、Aij)进行变量转换之后再计算类似度也可以。此外，使用基于候补顺序A0j，Aij的任何一个或两个的权g(A0j，Aij)给各变量加权，再计算类似度也可以。例如，令g(A0j，Aij)＝1/(A0j+Aij)，并将类似度S0j，Sij转换成S0j/(A0j+Aij)，Sij/(A0j+Aij)，则上位候补的比重增高。进而，除下位候补外，也可进行类似度计算。
参照图9以下对本发明第二实施方式的图像匹配系统进行说明。
本发明第二实施方式的图像匹配系统包括图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25、参照图像匹配结果存储部50和参照图像匹配结果更新部55，在第一实施方式的结构中增加了参照图像注册部75、三维物体模型注册部25和参照图像匹配结果更新部55。
对于第二实施方式的图像匹配系统与第一实施方式相同的结构要素，省略说明，对在本实施方式中增加的结构要素进行说明。
三维物体模型注册部25将新的代表三维物体模型(物体的三维形状和物体表面的构造)注册到代表三维物体模型存储部20中。
当进行注册时，在通过三维物体模型注册部25将代表三维物体模型注册到代表三维物体模型存储部20中时，以及通过参照图像注册部75将参照图像注册到参照图像存储部70中时，参照图像匹配结果更新部55，通过图像生成部30及图像匹配部40对新的参照图像与代表三维物体模型的组合进行匹配，并将该匹配结果添加到参照图像匹配结果存储部50中。
参照图像注册部75向参照图像存储部70注册作为检索对象的物体的二维图像，即参照图像。该注册的参照图像不受包括其照明、姿势在内的输入条件的限制，对于一个物体(检索对象)至少注册一个图像。
此外，三维物体模型注册部25与图28所示的第二现有技术中的三维物体模型注册部25相同，代表三维物体模型存储部20中存储有预先通过三维物体模型注册部25得到的代表三维物体模型。
接着，参照图9、图2、图10、图11的流程图对第二实施方式的全体动作进行详细说明。
关于进行输入图像的匹配时的动作，与第一实施方式的图2所示的动作完全相同。
在进行输入图像的匹配时，首先通过图像输入部10获得输入图像(图2的步骤100)。接着，图像生成部30对于代表三维物体模型存储部20中的各代表三维物体模型，生成姿势、照明等输入条件与输入图像接近的，即易于进行比较的比较图像(步骤101)。
进一步，图像匹配部40求出该输入图像与该各比较图像的类似度(步骤102)。结果匹配部60计算该匹配结果与参照图像匹配结果存储部50中的各参照图像的匹配结果的类似度，并按类似度从高到低的顺序提取匹配结果类似的参照图像(步骤103)。最后，显示类似度高的该参照图像(步骤104)。
此处，对代表三维物体模型注册时和参照图像注册时的动作进行说明。
当进行代表三维物体模型(物体的三维形状和物体表面的纹理)的注册时，首先，三维物体模型注册部25将新的代表三维物体模型注册到代表三维物体模型存储部20中(图10的步骤200)。
接着，参照图像匹配结果更新部55将参照图像存储部70中的各参照图像作为输入图像送到图像输入部10，并在图像匹配部40对该各参照图像与基于所注册的该代表三维物体模型并通过图像生成部30而生成的比较图像进行匹配，求出各类似度(步骤201)。最后，将该匹配结果添加到参照图像匹配结果存储部50中的各参照图像的匹配结果中(步骤202)。
当进行参照图像的注册时，首先，参照图像注册部75将新的参照图像注册到参照图像存储部70中(图11的步骤210)。
接着，参照图像匹配结果更新部55将参照图像存储部70中所注册的该参照图像作为输入图像送到图像输入部10，并通过图像匹配部40对该参照图像与基于代表三维物体模型存储部20中的代表三维物体模型并通过图像生成部30而生成的比较图像进行匹配，求出各类似度(步骤211)。最后，将该匹配结果添加到参照图像匹配结果存储部50中(步骤212)。
接着，对如上所述构成并工作的第二实施方式的效果进行说明。
在第二实施方式中，由于是通过对输入图像与代表三维物体模型的匹配结果和参照图像与代表三维物体模型的匹配结果进行比较来检索参照图像，所以即使在针对每个物体只有一个至少数的参照图像时，也可以对不同姿势、照明条件下拍摄的物体的输入图像检索参照图像。
此外，在本实施方式中，进一步地，由于采用通过与比物体数量少的代表三维物体模型的匹配以及匹配结果的类似度计算来进行图像匹配的结构，所以可以高速地进行检索。因为匹配结果的类似度计算所耗时间比图像匹配短，所以检索时间依赖于图像匹配的数量。例如，代表三维物体模型的数量N相对于物体数量(参照图像数量)M是N＝M/100时，若在图像生成部30中所生成的各代表三维物体模型的比较图像是L个，则以L×N＝L×M/100次的图像匹配来完成，从而能够以以往的1/100的匹配次数进行检索。
此外，利用具体的实施例来说明第二实施方式的动作。
这里，与第一实施方式一样，如图3所示，代表三维物体模型存储部20中存储有N个代表性的代表三维物体模型Cj(j＝1，2，…，N)，如图4所示，参照图像存储部70中存储有M个各物体的参照图像Ri(i＝1，2，…，M)。如图5所示，参照图像匹配结果存储部50通过参照图像注册时的处理，存储有各参照图像Ri相对于代表三维物体模型Cj的匹配结果(类似度)Sij。
在进行输入图像的匹配时，通过图像输入部10获得图6所示的输入图像I(u，v)(图2的步骤100)。接着，图像生成部30对于代表三维物体模型存储部20中的各代表三维物体模型Cj(j＝1，2，…，N)，生成L个接近输入图像的姿势、照明等输入条件的比较图像Gjk(u，v)(j＝1，…，N、k＝1，…，L)(步骤101)。
此外，图像匹配部40求得该输入图像I(u，v)与该各比较图像Gjk(u，v)的类似度S(I，Gjk)，并按每个代表三维物体模型求出类似度最大的类似度S0j＝maxkS(I，Gjk)(步骤102)。匹配结果(类似度)S0j例如如图7所示。
结果匹配部60计算该匹配结果S0j与参照图像匹配结果存储部50中的各参照图像的匹配结果Sij的类似度Di＝D(S0j，Sij)，并依次提取该匹配结果的类似度Di高的参照图像(步骤103)。提取结果例如如图8所示，作为与输入图像是同一物体的图像的可能性高的参照图像，依次求得R1、R5、R2。最后，显示类似度高的该参照图像(步骤104)。
当进行代表三维物体模型的注册时，首先，在代表三维物体模型存储部20中已注册有N＝50个代表三维物体模型时，三维物体模型注册部25注册第51个新的代表三维物体模型C51。(图10的步骤200)。
接着，参照图像匹配结果更新部55将参照图像存储部70中的各参照图像Ri作为输入图像送到图像输入部10，并通过图像生成部30及图像匹配部40对该各参照图像Ri与所注册的该代表三维物体模型C51进行匹配，求出各类似度Si，51＝maxkS(Ri，G51，k)(步骤201)。
匹配结果(类似度)Si，51例如如图12所示。最后，如图13所示，将该匹配结果添加到参照图像匹配结果存储部50中的各参照图像的匹配结果中(步骤202)。
当进行参照图像的注册时，首先，在参照图像存储部70中已存储有M＝100个的参照图像时，参照图像注册部75注册第101个新的参照图像R101(图11的步骤210)。
接着，参照图像匹配结果更新部55将参照图像存储部70中所注册的该参照图像R101作为输入图像发送到图像输入部10，并通过图像生成部30及图像匹配部40对该参照图像R101与代表三维物体模型存储部20中的各代表三维物体模型Cj进行匹配，求出各类似度S101，j＝maxkS(R101，Gjk)(步骤211)。
匹配结果(类似度)S101，j例如如图14所示。最后，如图15所示，将该匹配结果添加到参照图像匹配结果存储部50中(步骤212)。
接着，参照图16及其以下附图对本发明第三实施方式的图像匹配系统进行详细说明。
参照图16，本发明第三实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、第二图像生成部31、第二图像匹配部41、结果显示部80、参照图像存储部70、代表三维物体模型存储部20、参照图像匹配结果存储部50和参照三维物体模型存储部21。
这些部分分别大致如下工作。图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70和代表三维物体模型存储部20进行与图1所示的本发明第一实施方式中的处理相同的处理。
参照三维物体模型存储部21中注册有与该参照图像对应的参照三维物体模型。该参照三维物体模型可以基于参照图像匹配结果存储部50中所注册的参照图像匹配结果的信息，通过代表三维物体模型存储部20中的代表三维物体模型的合成来生成。或者，与上述代表三维物体模型的注册一样，通过三维形状测定装置，在生成与参照图像相同物体的三维物体模型时，使用该三维物体模型也可以。
第二图像生成部31对于通过结果匹配部60所得到匹配结果的上位候补的参照图像，基于通过参照三维物体模型存储部21所得到的与该参照图像对应的各参照三维物体模型，生成姿势、照明条件等的输入条件接近通过图像输入部10所得到的输入图像的比较图像。
第二图像匹配部41将通过图像输入部10得到的输入图像与通过第二图像生成部31得到的各比较图像进行比较，并分别计算类似度。
接着，参照图16和图17的流程图对第三实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，参照图17，首先，步骤100、101、102和103与图2所示的第一实施方式中的动作相同。
第二图像生成部31对于通过结果匹配部60所得到的匹配结果的上位候补的参照图像，基于通过参照三维物体模型存储部21所得到的与该参照图像对应的各参照三维物体模型，生成姿势、照明条件等的输入条件接近通过图像输入部10所得到的输入图像的比较图像(步骤111)。
第二图像匹配部41将通过图像输入部10得到的输入图像与通过第二图像生成部31得到的各比较图像进行比较，并分别计算类似度(步骤112)。最后，显示类似度高的该参照图像(步骤104)。
接着，对如上述那样构成并工作的第三实施方式的效果进行说明。
在本第三实施方式中，由于对通过代表三维物体模型的合成而生成的参照三维物体模型进行匹配，所以即使在针对每个物体只存在一个参照图像时，也可以通过参照三维物体模型对不同姿势、照明条件等的输入条件下拍摄的物体的输入图像检索参照图像。
此外，在本实施方式中，还由于在通过代表三维物体模型提取类似性高的参照图像后，对上位候补进行与参照三维物体模型的匹配，所以，可以高速检索参照图像。
接着，利用具体的实施例来说明第三实施方式的动作。
与第一实施方式的动作一样，代表三维物体模型存储部20中存储有图3所示的代表三维物体模型Cj(j＝1，2，…，N)；参照图像存储部70中存储有图4所示的各物体的参照图像Ri(i＝1，2，…，M)；参照图像匹配结果存储部50中存储有图5所示的各参照图像Ri相对于代表三维物体模型Cj的匹配结果(类似度)Sij。
进一步，如图18所示，参照三维物体模型存储部21中存储有M个与该参照图像Ri对应的参照三维物体模型Bi(i＝1，2，…，M)。
当进行输入图像的匹配时，通过图像输入部10获得图6所示的输入图像I(u，v)(图17的步骤100)。通过与第一实施方式的动作相同的处理，通过图像生成部30、图像匹配部40、结果匹配部60，作为与输入图像是同一物体的图像的可能性高的参照图像，如图8所示，依次求得R1、R5、R2(步骤101、102、103)。
第二图像生成部31对于通过结果匹配部60得到的匹配结果中的例如作为上3位候补的R1、R5、R2的参照图像，从参照三维物体模型存储部21中取得对应的各参照三维物体模型B1、B5、B2，并生成姿势、照明条件与通过图像输入部10所得到的输入图像接近的比较图像Hjk(u，v)(j＝1，5，2、k＝1，…，L)(步骤111)。比较图像Hjk(u，v)的生成通过与步骤101同样的方法来进行。即，对于参照三维物体模型存储部21中的各参照三维物体模型Bj(j＝1，5，2)，生成L个与输入图像的姿势、照明等输入条件接近的比较图像Hjk(u，v)(j＝1，5，2、k＝1，…，L)。第二图像匹配部41求出该输入图像I(u，v)与该各比较图像Hjk(u，v)的类似度S(I，Hjk)，并按每个模型求出类似度最大的类似度S0j＝maxkS(I，Hjk)(步骤112)。
匹配结果例如如图19所示，作为与输入图像是同一物体的图像的可能性高的参照图像，当S0,5＞S0,1＞S0,2时，依次求出R5、R1、R2。最后，显示类似度高的该参照图像(步骤104)。
接着，参照图20及其以下的附图对本发明的第四实施方式的图像匹配系统进行详细说明。
参照图20，本发明第四实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、第二图像生成部31、第二图像匹配部41、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25、参照图像匹配结果存储部50、参照图像匹配结果更新部55、参照三维物体模型存储部21和三维物体模型生成部27。
对于本第四实施方式来说，是在第三实施方式中增加了参照图像注册部75、三维物体模型注册部25、参照图像匹配结果更新部55和三维物体模型生成部27而构成的。
对于第四实施方式的图像匹配系统的与第三实施方式相同的结构要素，省略其说明，对在本实施方式中增加的结构要素进行说明。
这些部分分别大致如下工作。图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25和参照图像匹配结果更新部55进行与图1所示的本发明第一实施方式和图9所示的第二实施方式中的处理相同的处理。
此外，对于参照三维物体模型存储部21、第二图像生成部31、第二图像匹配部41来说，进行与图16所示的第三实施方式中的处理相同的处理。
在注册的过程中，当通过参照图像匹配结果更新部55将参照图像匹配结果注册到参照图像匹配结果存储部50中时，三维物体模型生成部27基于参照图像匹配结果的信息，通过代表三维物体模型存储部20中的代表三维物体模型的合成来生成与该参照图像对应的参照三维物体模型，并将该参照三维物体模型注册到参照三维物体模型存储部21中，或更新参照三维物体模型存储部21的参照三维物体模型。
第二图像生成部31对于通过结果匹配部60所得到的匹配结果的上位候补的参照图像，基于通过参照三维物体模型存储部21所得到的与该参照图像对应的各参照三维物体模型，生成姿势、照明条件等输入条件与通过图像输入部10所得到的输入图像接近的比较图像。
第二图像匹配部41将通过图像输入部10得到的输入图像与通过第二图像生成部31得到的各比较图像进行比较，并分别计算类似度。
接着，参照图20、图17、图21和图22的流程图对第四实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，参照图17，首先，步骤100、101、102和103与图2所示的第一实施方式中的动作相同。
第二图像生成部31对于通过结果匹配部60所得到匹配结果的上位候补的参照图像，基于通过参照三维物体模型存储部21所得到的与该参照图像对应的各参照三维物体模型，生成姿势、照明条件等输入条件与通过图像输入部10所得到的输入图像接近的比较图像(步骤111)。
第二图像匹配部41将通过图像输入部10得到的输入图像与通过第二图像生成部31得到的各比较图像进行比较，并分别计算类似度(步骤112)。最后，显示类似度高的该参照图像(步骤104)。
当进行三维物体模型的注册时，参照图21，首先，步骤200、201、202与图10所示的第二实施方式中的动作相同。最后，三维物体模型生成部27基于参照图像匹配结果存储部50中的各参照图像匹配结果的信息，通过代表三维物体模型存储部20中的代表三维物体模型的合成来再次生成与各参照图像对应的参照三维物体模型，并将该参照三维物体模型注册到参照三维物体模型存储部21中，或与所存储的参照三维物体模型置换(步骤220)。
当进行参照图像的注册时，参照图22，首先，步骤210、211、212与图11所示的第二实施方式中的动作相同。最后，三维物体模型生成部27基于参照图像匹配结果存储部50中新注册的该参照图像匹配结果的信息，通过代表三维物体模型存储部20中的代表三维物体模型的合成来生成与该参照图像对应的参照三维物体模型，并将该参照三维物体模型添加注册到参照三维物体模型存储部21中(步骤221)。
接着，对如上述那样构成并工作的第四实施方式的效果进行说明。
在本第四实施方式中，由于通过代表三维物体模型的合成而生成参照三维物体模型并进行匹配，所以即使在针对每个物体只存在一个参照图像时，也可以通过参照三维物体模型对在姿势、照明条件等输入条件不同的条件下所拍摄的物体的输入图像检索参照图像。
此外，在本实施方式中，还由于在通过代表三维物体模型提取类似性高的参照图像后，对上位候补进行与参照三维物体模型的匹配，所以，可以高速检索参照图像。
接着，利用具体的实施例来说明第四实施方式的动作。
与第一实施方式的动作一样，代表三维物体模型存储部20中存储有图3所示的代表三维物体模型Cj(j＝1，2，…，N)；参照图像存储部70中存储有图4所示的各物体的参照图像Ri(i＝1，2，…，M)；参照图像匹配结果存储部50中存储有图5所示的各参照图像Ri相对于代表三维物体模型Cj的匹配结果(类似度)Sij。
进一步，如图18所示，参照三维物体模型存储部21中，通过参照图像注册时的处理，存储有M个与该参照图像Ri对应的参照三维物体模型Bi(i＝1，2，…，M)。
在进行输入图像的匹配时，通过图像输入部10获得图6所示的输入图像I(u，v)(图17的步骤100)。通过与第一实施方式的动作相同的处理，通过图像生成部30、图像匹配部40、结果匹配部60和结果匹配部60，作为与输入图像是同一物体的图像的可能性高的参照图像，如图8所示，依次求得R1、R5、R2(步骤101、102、103)。
第二图像生成部31对于通过结果匹配部60得到的匹配结果中的例如作为上3位候补的R1、R5、R2的参照图像，从参照三维物体模型存储部21中取得对应的各参照三维物体模型B1、B5、B2，并生成姿势、照明条件与通过图像输入部10所得到的输入图像接近的比较图像Hjk(u，v)(j＝1，5，2、k＝1，…，L)(步骤111)。第二图像匹配部41求出该输入图像I(u，v)与该各比较图像Hjk(u，v)的类似度S(I，Hjk)，并求出每个模型的作为最大类似度的类似度S0j＝maxkS(I，Hjk)(步骤112)。
匹配结果例如如图19所示，作为与输入图像是同一物体的图像的可能性高的参照图像，依次求出R5、R1、R2。最后，显示类似度高的该参照图像(步骤104)。
当进行三维物体模型的注册时，首先，当代表三维物体模型存储部20中已注册有N＝50个三维物体模型时，三维物体模型注册部25注册第51个新的代表三维物体模型C51。(图21的步骤200)。
接着，通过与第二实施方式的动作相同的处理，参照图像匹配结果更新部55更新参照图像匹配结果存储部50中的各参照图像的匹配结果Sij(步骤201、202)。
最后，三维物体模型生成部27基于参照图像匹配结果存储部50中的各参照图像匹配结果Sij的信息，通过代表三维物体模型存储部20中的代表三维物体模型Cj的合成来再次生成与各参照图像Ri(i＝1，2，…，M)对应的参照三维物体模型Bi，并将该参照三维物体模型Bi与参照三维物体模型存储部21中已存储的参照三维物体模型置换(步骤220)。
此处，令代表三维物体模型Cj(i＝1，2，…，N)的形状和纹理分别为PQj(x，y，z)和纹理TQj(R，G，B)，令参照三维物体模型Bi(i＝1，2，…，M)的形状和纹理分别为PQi(x，y，z)和纹理TQi(R，G，B)，则参照三维物体模型例如可通过下式计算。
PQi(x，y，z)＝∑jf(Sij)PQj(x，y，z)
TQi(R，G，B)＝∑jf(Sij)TQj(R，G，B)
此处，f相对于Sij的增加而单调增加，并通过满足∑jf(Sij)＝1的函数，作为最简单的例子通过f(Sij)＝Sij/∑jSij来实现。
当进行参照图像的注册时，首先，当在参照图像存储部70中已存储有M＝100个参照图像时，参照图像注册部75注册第101个新的参照图像R101(图22的步骤210)。
接着，通过与第二实施方式的动作相同的处理，参照图像匹配结果更新部55将与参照图像R101对应的参照结果S101，j添加到参照图像匹配结果存储部50中(步骤211、212)。
最后，三维物体模型生成部27基于参照图像匹配结果存储部50中的该参照图像匹配结果S101，j的信息，通过代表三维物体模型存储部20中的代表三维物体模型Cj的合成来生成与参照图像R101对应的参照三维物体模型B101，并将该参照三维物体模型B101添加到参照三维物体模型存储部21中(步骤221)。
接着，参照图23及其以下附图对本发明第五实施方式的图像匹配系统进行详细说明。
参照图23，本发明第五实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、图像转换部36、部分图像匹配部45、结果显示部80、参照图像存储部70、代表三维物体模型存储部20、参照图像匹配结果存储部50和参照三维物体模型存储部21。
这些部分分别大致如下工作。图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20进行与图1所示的本发明第一实施方式中的处理相同的处理。
图像转换部36对于通过结果匹配部60得到的匹配结果的上位候补的参照图像，基于与通过参照三维物体模型存储部21得到的该参照图像对应的各参照三维物体模型，通过转换该输入图像与该参照图像双方或其中任一方来生成部分图像，以使得输入条件(例如姿势条件)相同。图像转换部36与图28所示的第二现有技术的图像转换部35是相同的。
部分图像匹配部45将通过所述图像转换部36得到的被转换了的输入图像与参照图像的部分图像进行比较，并分别计算类似度。类似度的计算与上述步骤102相同地进行。
接着，参照图23及图24的流程图对第五实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，参照图24，首先，步骤100、101、102和103与图2所示的第一实施方式中的动作相同。图像转换部36对于通过结果匹配部60得到的匹配结果的上位候补的参照图像，基于与通过参照三维物体模型存储部21得到的该参照图像对应的各参照三维物体模型，通过转换该输入图像与该参照图像双方或其中任一方来生成部分图像，以使得输入条件(例如姿势条件)相同(步骤121)。
部分图像匹配部45将通过所述图像转换部36得到的被转换了的输入图像与参照图像的部分图像进行比较，并分别计算类似度(步骤122)。最后，显示类似度高的该参照图像(步骤104)。
在本发明第五实施方式中，在图像转换部36中，转换输入图像与参照图像双方或任一方，但是，也可以将参照图像预先转换为标准的输入条件(例如姿势条件)并存储，再在图像转换部36中将输入图像转换为标准的输入条件(例如姿势条件)。这样，无需根据匹配的度转换参照图像，从而可以使匹配时间缩短。
接着，参照图25对本发明第六实施方式的图像匹配系统进行详细的说明。
参照图25，本发明第六实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、图像转换部36、部分图像匹配部45、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25、参照图像匹配结果存储部50、参照图像匹配结果更新部55、参照三维物体模型存储部21和三维物体模型生成部27。
这些部分分别大致如下工作。图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25和参照图像匹配结果更新部55进行与图1所示的本发明第一实施方式和图9所示的第二实施方式中的处理相同的处理。
此外，参照三维物体模型存储部21、三维物体模型生成部27进行与图16所示的第三实施方式和图20所示的第四实施方式中的处理相同的处理。
图像转换部36对于通过结果匹配部60得到的匹配结果的上位候补的参照图像，基于与通过参照三维物体模型存储部21得到的该参照图像对应的各参照三维物体模型，通过转换该输入图像与该参照图像双方或其中任一方来生成部分图像，以使得输入条件(例如姿势条件)相同。部分图像匹配部45将通过所述图像转换部36得到的被转换了的输入图像与参照图像的部分图像进行比较，并分别计算类似度。
接着，参照图25及图24的流程图对第六实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，参照图24，首先，步骤100、101、102和103与图2所示的第一实施方式中的动作相同。图像转换部36对于通过结果匹配部60得到的匹配结果的上位候补的参照图像，基于与通过参照三维物体模型存储部21得到的该参照图像对应的各参照三维物体模型，通过转换该输入图像与该参照图像双方或其中任一方来生成部分图像，以使得输入条件(例如姿势条件)相同(步骤121)。
部分图像匹配部45将通过所述图像转换部36得到的被转换了的输入图像与参照图像的部分图像进行比较，并分别计算类似度(步骤122)。最后，显示类似度高的该参照图像(步骤104)。
在本发明第六实施方式中，在图像转换部36中，转换输入图像与参照图像双方或任一方，但是，也可以将参照图像预先转换为标准的输入条件(例如姿势条件)并存储，再在图像转换部36中将输入图像转换为标准的输入条件(例如姿势条件)。
在本发明的第一至第六实施方式中，当在图像匹配部40中求得输入图像I(u，v)与各比较图像Gjk(u，v)的类似度S(I，Gjk)时，在全体中求一个类似度S(I，Gjk)，但是也可以按每个部分区域m求出类似度S(I，G’jkm)，按每个模型求出作为最大类似度的类似度S’0jm＝maxkS(I，G’jkm)。
部分区域例如是图29所示的区域。此时，在参照图像匹配结果存储部50中也存储有每个部分区域m的类似度S’ijm＝maxkS(Ri，G’jkm)。结果匹配部60计算该匹配结果S’0jm与参照图像匹配结果存储部50中的各参照图像的匹配结果S’ijm的类似度Di＝∑mD(S’0jm，S’ijm)，并依次提取该匹配结果的类似度Di高的参照图像。此外，在第四实施方式及第六实施方式中的三维物体模型生成部27中，也可以在每个部分区域中合成代表三维物体模型。
此外，在本发明的第一至第六实施方式中，对从很多的参照图像中检索与输入图像相同的物体的图像的动作进行了说明，但是，也可应用于对特定的参照图像判断是否是与输入图像相同的物体的一对一匹配。
在第一、第二实施方式中，例如特定的参照图像为R1，则结果匹配部60计算输入图像的匹配结果S0j与参照图像R1的匹配结果S1j的类似度D1＝D(S0j，S1j)，并且若该类似度D1比某一阈值大，则可以判定R1是与输入图像相同的物体。此外，在第三、第四及第五、第六实施方式中，可以判定特定的参照图像与第二图像匹配部41及部分图像匹配部45中的输入图像的类似度是否大于某一阈值。
本发明的图像匹配系统当然可以通过硬件来实现作为结构要素的各部分的功能，还可以通过计算机读入并运行图像匹配程序500来实现，其中所述图像匹配程序500是用于使计算机实现上述各部分的功能的。该图像匹配程序500被存储在磁盘、半导体存储器及其他记录介质中，并且计算机从该记录介质中读入图像匹配程序500。
工业上的可利用性
本发明可用于使用了脸部等的图像的人物确定、个人认证等。

Claims (38)

1.一种图像匹配系统，用于检索与输入图像类似的参照图像，其特征在于，包括：
图像输入单元，输入所述输入图像；
代表三维物体模型存储部，用于存储多个所述代表三维物体模型；
参照图像存储部，用于存储各物体的所述参照图像；
输入图像匹配单元，将所述输入图像与多个代表三维物体模型进行匹配；
参照图像匹配单元，将所述参照图像与多个所述代表三维物体模型进行匹配；
结果匹配单元，利用所述输入图像与多个所述代表三维物体模型进行匹配的结果，和所述参照图像与多个所述代表三维物体模型进行匹配的结果，检索与所述输入图像类似的所述参照图像；以及
结果显示单元，输出图像匹配结果。
2.如权利要求1所述的图像匹配系统，其特征在于，还包括：
用于求出与所述参照图像对应的参照三维物体模型的单元，其中所述参照图像与所述输入图像类似；和
重新检索单元，利用所述参照三维物体模型和所述输入图像，重新检索与所述输入图像类似的所述参照图像。
3.如权利要求1所述的图像匹配系统，其特征在于，还包括：
用于求出与所述参照图像对应的参照三维物体模型的单元，其中所述参照图像与所述输入图像类似；
转换匹配单元，基于所述参照三维物体模型，通过转换所述输入图像与所述参照图像的双方或任一方来使所述输入图像与所述参照图像的输入条件一致，并通过将所述输入条件一致的所述输入图像与所述参照图像进行匹配来检索与所述输入图像对应的所述参照图像。
4.如权利要求3所述的图像匹配系统，其特征在于，
所述转换匹配单元预先转换所述参照图像，并使所述输入图像的输入条件与所述参照图像的输入条件一致。
5.如权利要求1所述的图像匹配系统，其特征在于，
所述输入图像匹配单元和所述参照图像匹配单元由同一单元构成，并包括：
图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像接近的至少一个比较图像；和
图像匹配单元，用于计算所述输入图像及所述参照图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像及所述参照图像与代表三维物体模型之间的类似度；
所述图像匹配系统还包括参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；
所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像。
6.如权利要求5所述的图像匹配系统，其特征在于，还包括：
三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；
参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；
参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将新的参照图像注册到所述参照图像存储部中时，对于通过注册而新生成的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中。
7.如权利要求5所述的图像匹配系统，其特征在于，
所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；
所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；
所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
8.如权利要求5所述的图像匹配系统，其特征在于，
所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
9.如权利要求2所述的图像匹配系统，其特征在于，
所述输入图像匹配单元和所述参照图像匹配单元由同一单元构成，并包括：
图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像及所述参照图像接近的至少一个比较图像；和
图像匹配单元，用于计算所述输入图像及所述参照图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像及所述参照图像与代表三维物体模型之间的类似度；
所述图像匹配系统还包括：参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；和
参照三维物体模型存储部，存储所求出的与各参照图像对应的参照三维物体模型；
所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像；
所述重新检索单元包括：
第二图像生成单元，在所述参照三维物体模型存储部中获得与通过所述结果匹配单元提取的各参照图像对应的各参照三维物体模型，并基于所获得的各参照三维物体模型，关于各参照三维物体模型生成输入条件与输入图像接近的至少一个第二比较图像；和
第二图像匹配单元，用于计算所述输入图像与通过所述第二图像生成单元所生成的各第二比较图像之间的类似度，并关于与各参照三维物体模型对应的第二比较图像选出最大类似度，并将该最大类似度作为所述输入图像与参照三维物体模型之间的类似度。
10.如权利要求9所述的图像匹配系统，其特征在于，还包括：
三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；
参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；
参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将参照图像注册到所述参照图像存储部中时，对于通过注册而新生成的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中；
三维物体模型生成单元，用于在通过所述参照图像匹配结果更新单元将所述参照图像与所述代表三维物体模型之间的类似度注册到参照图像匹配结果存储部中时，基于该类似度，通过合成所述代表三维物体模型存储部中所存储的所述代表三维物体模型来生成与该参照图像对应的所述参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
11.如权利要求10所述的图像匹配系统，其特征在于，
所述三维物体模型生成单元基于所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的每个部分区域的类似度，通过按每个部分区域合成所述代表三维物体模型存储部中所存储的代表三维物体模型来生成与各参照图像对应的参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
12.如权利要求9所述的图像匹配系统，其特征在于，
所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；
所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；
所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
13.如权利要求9所述的图像匹配系统，其特征在于，
所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
14.如权利要求3所述的图像匹配系统，其特征在于，包括：
所述输入图像匹配单元和所述第二匹配单元由同一单元构成，并包括：
图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像及所述参照图像接近的至少一个比较图像；和
图像匹配单元，用于计算所述输入图像及所述参照图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像及所述参照图像与代表三维物体模型之间的类似度；
所述图像匹配系统还包括：
参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；和
参照三维物体模型存储部，用于存储与所述参照图像存储部中所存储的各参照图像对应的参照三维物体模型；
所述结果匹配单元，基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像；
所述转换匹配单元包括：
图像转换单元，通过所述参照三维物体模型存储部获得与通过所述结果匹配单元提取的各参照图像对应的各参照三维物体模型，并基于所获得的各参照三维物体模型，通过转换所述输入图像与通过所述结果匹配单元提取的参照图像的双方或任一方来使所述输入图像与通过所述结果匹配单元提取的所述参照图像的输入条件一致，并分别生成输入条件一致的所述输入图像与所述参照图像的部分图像；和
部分图像匹配单元，用于计算通过所述图像转换单元生成的所述输入图像的部分图像与所述参照图像的部分图像之间的类似度。
15.如权利要求14所述的图像匹配系统，其特征在于，还包括：
三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；
参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；
参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将参照图像注册到所述参照图像存储部中时，对于通过注册而新生成的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中；
三维物体模型生成单元，用于在通过所述参照图像匹配结果更新单元将所述参照图像与所述代表三维物体模型之间的类似度注册到参照图像匹配结果存储部中时，基于该类似度，通过合成所述代表三维物体模型存储部中所存储的所述代表三维物体模型来生成与该参照图像对应的所述参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
16.如权利要求15所述的图像匹配系统，其特征在于，
所述三维物体模型生成单元基于所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的每个部分区域的类似度，通过按每个部分区域合成所述代表三维物体模型存储部中所存储的代表三维物体模型来生成与各参照图像对应的参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
17.如权利要求14所述的图像匹配系统，其特征在于，
所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；
所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；
所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
18.如权利要求14所述的图像匹配系统，其特征在于，
所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
19.如权利要求1所述的图像匹配系统，其特征在于，所述物体是人的脸。
20.一种图像匹配方法，用于检索与输入图像类似的参照图像，其特征在于，包括：
输入图像匹配步骤，将所述输入图像与多个代表三维物体模型进行匹配；
参照图像匹配步骤，将所述参照图像与多个所述代表三维物体模型进行匹配；和
结果匹配步骤，利用所述输入图像与多个所述代表三维物体模型进行匹配的结果，和所述参照图像与多个所述代表三维物体模型进行匹配的结果，检索与所述输入图像类似的所述参照图像。
21.如权利要求20所述的图像匹配方法，其特征在于，还包括：
求出与所述参照图像对应的参照三维物体模型的步骤，其中所述参照图像与所述输入图像类似；和
重新检索步骤，利用所述参照三维物体模型和所述输入图像，重新检索与所述输入图像类似的所述参照图像。
22.如权利要求20所述的图像匹配方法，其特征在于，还包括：
求出与所述参照图像对应的参照三维物体模型的步骤，其中所述参照图像与所述输入图像类似；
转换匹配步骤，基于所述参照三维物体模型，通过转换所述输入图像与所述参照图像的双方或任一方来使所述输入图像与所述参照图像的输入条件一致，并通过将所述输入条件一致的所述输入图像与所述参照图像进行匹配来检索与所述输入图像对应的所述参照图像。
23.如权利要求22所述的图像匹配方法，其特征在于，
在所述转换匹配步骤中，预先转换所述参照图像，并使所述输入图像的输入条件与所述参照图像的输入条件一致。
24.如权利要求20所述的图像匹配方法，其特征在于，还包括：
输入所述输入图像的图像输入步骤；
将多个所述代表三维物体模型存储到代表三维物体模型存储部中的步骤；
将各物体的所述参照图像存储到参照图像存储部中的步骤；以及
将所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度存储到参照图像匹配结果存储部中的步骤；
所述输入图像匹配步骤和参照图像匹配步骤分别包括：
图像生成步骤，在该步骤中，基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像及所述参照图像接近的至少一个比较图像；和
图像匹配步骤，在该步骤中，计算所述输入图像及所述参照图像与通过所述图像生成步骤所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像及所述参照图像与代表三维物体模型之间的类似度；
在所述结果匹配步骤中，基于通过所述图像匹配步骤计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像。
25.如权利要求24所述的图像匹配方法，其特征在于，还包括：
三维物体模型注册步骤，在该步骤中，将各代表三维物体模型注册到所述代表三维物体模型存储部中；
参照图像注册步骤，在该步骤中，将各参照图像注册到所述参照图像存储部中；
参照图像匹配结果更新步骤，在该步骤中，在通过所述三维物体模型注册步骤将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册步骤将新的参照图像注册到所述参照图像存储部中时，对于通过注册而新生成的参照图像与代表三维物体模型的组合，通过所述图像匹配步骤进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中。
26.如权利要求24所述的图像匹配方法，其特征在于，
在所述图像匹配步骤中，按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；
所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；
在所述结果匹配步骤中，基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
27.如权利要求24所述的图像匹配方法，其特征在于，
在所述结果匹配步骤中，对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
28.如权利要求21所述的图像匹配方法，其特征在于，还包括：
输入所述输入图像的图像输入步骤；
将多个所述代表三维物体模型存储到代表三维物体模型存储部中的步骤；
将各物体的所述参照图像存储到参照图像存储部中的步骤；
将所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度存储到参照图像匹配结果存储部中的步骤；以及
将与所述参照图像存储部中所存储的各参照图像对应的参照三维物体模型存储到参照三维物体模型存储部中的步骤；
所述输入图像匹配步骤和参照图像匹配步骤分别包括：
图像生成步骤，在该步骤中，基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像及所述参照图像接近的至少一个比较图像；和
图像匹配步骤，在该步骤中，计算所述输入图像及所述参照图像与通过所述图像生成步骤所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像及所述参照图像与代表三维物体模型之间的类似度；
在所述结果匹配步骤中，基于通过所述图像匹配步骤计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像；
所述重新检索单元包括：
第二图像生成步骤，在该步骤中，在所述参照三维物体模型存储部中获得与通过所述结果匹配步骤提取的各参照图像对应的各参照三维物体模型，并基于所获得的各参照三维物体模型，关于各参照三维物体模型生成输入条件与输入图像接近的至少一个第二比较图像；和
第二图像匹配步骤，在该步骤中，计算所述输入图像与通过所述第二图像生成步骤所生成的各第二比较图像之间的类似度，并关于与各参照三维物体模型对应的第二比较图像选出最大类似度，并将该最大类似度作为所述输入图像与参照三维物体模型之间的类似度。
29.如权利要求28所述的图像匹配方法，其特征在于，还包括：
三维物体模型注册步骤，在该步骤中，将各代表三维物体模型注册到所述代表三维物体模型存储部中；
参照图像注册步骤，在该步骤中，将各参照图像注册到所述参照图像存储部中；
参照图像匹配结果更新步骤，在该步骤中，在通过所述三维物体模型注册步骤将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册步骤将参照图像注册到所述参照图像存储部中时，对于通过注册而新生成的参照图像与代表三维物体模型的组合，通过所述图像匹配步骤进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中；
三维物体模型生成步骤，在该步骤中，在通过所述参照图像匹配结果更新步骤将所述参照图像与所述代表三维物体模型之间的类似度注册到参照图像匹配结果存储部中时，基于该类似度，通过合成所述代表三维物体模型存储部中所存储的所述代表三维物体模型来生成与该参照图像对应的所述参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
30.如权利要求29所述的图像匹配方法，其特征在于，
在所述三维物体模型生成步骤中，基于所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度，通过按每个部分区域合成所述代表三维物体模型存储部中所存储的代表三维物体模型来生成与各参照图像对应的参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
31.如权利要求28所述的图像匹配方法，其特征在于，
在所述图像匹配步骤中，按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；
参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；
在所述结果匹配步骤中，基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
32.如权利要求28所述的图像匹配方法，其特征在于，
在所述结果匹配步骤中，对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
33.如权利要求22所述的图像匹配方法，其特征在于，包括：
输入所述输入图像的图像输入步骤；
将多个所述代表三维物体模型存储到代表三维物体模型存储部中的步骤；
将各物体的所述参照图像存储到参照图像存储部中的步骤；
将所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度存储到参照图像匹配结果存储部中的步骤；以及
将与所述参照图像存储部中所存储的各参照图像对应的参照三维物体模型存储到参照三维物体模型存储部中的步骤；
所述输入图像匹配步骤和参照图像匹配步骤分别包括：
图像生成步骤，在该步骤中，基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像及所述参照图像接近的、至少一个比较图像；和
图像匹配步骤，在该步骤中，计算所述输入图像及所述参照图像与通过所述图像生成步骤所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像及所述参照图像与代表三维物体模型之间的类似度；
在所述结果匹配步骤中，基于通过所述图像匹配步骤计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像；
所述转换匹配步骤包括：
图像转换步骤，在该步骤中，通过所述参照三维物体模型存储部获得与通过所述结果匹配步骤提取的各参照图像对应的各参照三维物体模型，并基于所获得的各参照三维物体模型，通过转换所述输入图像与通过所述结果匹配步骤提取的参照图像的双方或任一方来使所述输入图像与通过所述结果匹配步骤提取的所述参照图像的输入条件一致，并分别生成输入条件一致的所述输入图像与所述参照图像的部分图像；和
部分图像匹配步骤，在该步骤中，计算通过所述图像转换步骤生成的所述输入图像的部分图像与所述参照图像的部分图像之间的类似度。
34.如权利要求33所述的图像匹配方法，其特征在于，还包括：
三维物体模型注册步骤，在该步骤中，将各代表三维物体模型注册到所述代表三维物体模型存储部中；
参照图像注册步骤，在该步骤中，将各参照图像注册到所述参照图像存储部中；
参照图像匹配结果更新步骤，在该步骤中，在通过所述三维物体模型注册步骤将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册步骤将参照图像注册到所述参照图像存储部中时，对于通过注册而新生成的参照图像与代表三维物体模型的组合，通过所述图像匹配步骤进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中；
三维物体模型生成步骤，在该步骤中，在通过所述参照图像匹配结果更新步骤将所述参照图像与所述代表三维物体模型之间的类似度注册到参照图像匹配结果存储部中时，基于该类似度，通过合成所述代表三维物体模型存储部中所存储的所述代表三维物体模型来生成与该参照图像对应的所述参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
35.如权利要求34所述的图像匹配方法，其特征在于，
在所述三维物体模型生成步骤中，基于所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的每个部分区域的类似度，通过按每个部分区域合成所述代表三维物体模型存储部中所存储的代表三维物体模型来生成与各参照图像对应的参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
36.如权利要求33所述的图像匹配方法，其特征在于，
在所述图像匹配步骤中，按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；
所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；
在所述结果匹配步骤中，基于通过所述图像匹配步骤计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
37.如权利要求33所述的图像匹配方法，其特征在于，
在所述结果匹配步骤中，对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
38.如权利要求20所述的图像匹配方法，其特征在于，所述物体是人的脸。
CN03816308XA 2002-07-10 2003-07-08 使用三维物体模型的图像匹配系统以及图像匹配方法 Expired - Lifetime CN1669052B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002201118 2002-07-10
JP201118/2002 2002-07-10
PCT/JP2003/008642 WO2004008392A1 (ja) 2002-07-10 2003-07-08 ３次元物体モデルを用いた画像照合システム、画像照合方法及び画像照合プログラム

Publications (2)

Publication Number Publication Date
CN1669052A CN1669052A (zh) 2005-09-14
CN1669052B true CN1669052B (zh) 2010-05-26

Family

ID=30112549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN03816308XA Expired - Lifetime CN1669052B (zh) 2002-07-10 2003-07-08 使用三维物体模型的图像匹配系统以及图像匹配方法

Country Status (10)

Country Link
US (2) US7545973B2 (zh)
EP (1) EP1530157B1 (zh)
JP (1) JP4560832B2 (zh)
KR (1) KR100651010B1 (zh)
CN (1) CN1669052B (zh)
AT (1) ATE374978T1 (zh)
AU (1) AU2003281007B2 (zh)
CA (1) CA2491727A1 (zh)
DE (1) DE60316690T2 (zh)
WO (1) WO2004008392A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003281007B2 (en) * 2002-07-10 2009-11-19 Nec Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
SE528068C2 (sv) 2004-08-19 2006-08-22 Jan Erik Solem Med Jsolutions Igenkänning av 3D föremål
JP2007072620A (ja) * 2005-09-05 2007-03-22 Toshiba Corp 画像認識装置及びその方法
JP4873004B2 (ja) * 2006-03-17 2012-02-08 日本電気株式会社 ３次元データ処理システム
JP4830585B2 (ja) * 2006-03-31 2011-12-07 トヨタ自動車株式会社 画像処理装置および画像処理方法
GB2443469A (en) 2006-11-03 2008-05-07 Messagelabs Ltd Detection of image spam
JP4456617B2 (ja) * 2007-04-16 2010-04-28 富士通株式会社 類似分析装置、画像表示装置、および画像表示プログラム
JP4378413B2 (ja) * 2007-05-01 2009-12-09 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
CN101201845B (zh) * 2007-09-24 2012-01-11 覃征 基于中轴点集分层螺旋信息的三维模型检索方法
JP5337161B2 (ja) * 2007-11-02 2013-11-06 コーニンクレッカ フィリップス エヌ ヴェ 自動動画飛行経路計算
KR20090067913A (ko) * 2007-12-21 2009-06-25 삼성디지털이미징 주식회사 영상 트리밍 장치 및 방법
JP5472891B2 (ja) * 2008-01-21 2014-04-16 株式会社東芝 医用画像処理装置
US8306315B2 (en) * 2008-04-30 2012-11-06 Osaka Prefecture University Public Corporation Method of compiling three-dimensional object identifying image database, processing apparatus and processing program
WO2010002070A1 (en) 2008-06-30 2010-01-07 Korea Institute Of Oriental Medicine Method for grouping 3d models to classify constitution
JP5300387B2 (ja) * 2008-09-12 2013-09-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp ３次元視覚センサにおけるモデル表示方法および３次元視覚センサ
US8606774B1 (en) * 2009-05-18 2013-12-10 Google Inc. Methods and systems for 3D shape retrieval
CN103109307B (zh) * 2010-04-28 2015-11-25 奥林巴斯株式会社 用于制作三维物体识别用图像数据库的方法和装置
CN102024273A (zh) * 2010-12-10 2011-04-20 中国人民解放军国防科学技术大学 基于隐式向量空间的非刚性注册方法
TWI479435B (zh) * 2012-04-03 2015-04-01 Univ Chung Hua 人臉辨識方法
US10068073B2 (en) 2012-07-19 2018-09-04 Nec Corporation Verification device and control method for verifiction device, as well as computer program
JP2014053749A (ja) * 2012-09-06 2014-03-20 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2015184054A (ja) * 2014-03-20 2015-10-22 株式会社東芝 同定装置、方法及びプログラム
US9878447B2 (en) * 2015-04-10 2018-01-30 Microsoft Technology Licensing, Llc Automated collection and labeling of object data
JP6491959B2 (ja) * 2015-06-03 2019-03-27 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
CN106557728B (zh) * 2015-09-30 2019-06-18 佳能株式会社 查询图像处理和图像检索方法和装置以及监视系统
CN109389015A (zh) * 2017-08-10 2019-02-26 丽宝大数据股份有限公司 脸部相似度评估方法与电子装置
CN108340405B (zh) * 2017-11-10 2021-12-07 广东康云多维视觉智能科技有限公司 一种机器人三维扫描系统及方法
CN112020630B (zh) * 2018-04-27 2024-06-28 北京嘀嘀无限科技发展有限公司 用于更新建筑物的3d模型的系统和方法
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10771867B1 (en) 2019-03-08 2020-09-08 Shutterstock, Inc. Video-generating systems and methods
US12394511B2 (en) * 2019-11-18 2025-08-19 Fujifilm Healthcare Americas Corporation Methods and systems for remote analysis of medical image records
JP7163947B2 (ja) * 2020-10-22 2022-11-01 セイコーエプソン株式会社 投写領域の設定支援方法、設定支援システム、及びプログラム
US11527104B2 (en) * 2021-02-09 2022-12-13 Danny Rittman Systems and methods of facial and body recognition, identification and analysis

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1139269A2 (en) * 2000-03-30 2001-10-04 Nec Corporation Method for matching a two-dimensional image to one of a plurality of three-dimensional candidate models contained in a database
EP1143375A2 (en) * 2000-04-03 2001-10-10 Nec Corporation Device, method and record medium for image comparison

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644282B2 (ja) 1985-10-02 1994-06-08 富士通株式会社 物体検索方式
US4970666A (en) * 1988-03-30 1990-11-13 Land Development Laboratory, Inc. Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
JPH08315152A (ja) 1995-05-22 1996-11-29 Sony Corp 画像認識装置
JP3330790B2 (ja) 1995-08-30 2002-09-30 株式会社日立製作所 三次元形状認識装置、建設支援装置、物体検査装置、種類認識装置、及び物体認識方法
JPH0991436A (ja) 1995-09-21 1997-04-04 Toyota Central Res & Dev Lab Inc 画像処理方法及びその装置
US6002782A (en) * 1997-11-12 1999-12-14 Unisys Corporation System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model
EP0944018B1 (en) * 1998-03-19 2011-08-24 Panasonic Corporation Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method
JP2000293687A (ja) * 1999-02-02 2000-10-20 Minolta Co Ltd ３次元形状データ処理装置および３次元形状データ処理方法
JP3611239B2 (ja) * 1999-03-08 2005-01-19 富士通株式会社 三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体
JP2000306099A (ja) 1999-04-20 2000-11-02 Ntt Data Corp 三次元物体の認識方法及びシステム、記録媒体
JP3417377B2 (ja) 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
JP3926059B2 (ja) 1999-05-12 2007-06-06 日本電気株式会社 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
JP4341135B2 (ja) 2000-03-10 2009-10-07 コニカミノルタホールディングス株式会社 物体認識装置
EP1139262A3 (en) * 2000-03-29 2002-08-21 Ford Motor Company On-line reporting related to orders for consumer products having specific configurations
US6580821B1 (en) * 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
US6847733B2 (en) * 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
AU2003281007B2 (en) * 2002-07-10 2009-11-19 Nec Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
EP1594085A4 (en) * 2003-02-13 2008-02-27 Nec Corp DEVICE AND METHOD FOR DETECTING UNEMPLOYED PERSONS
EP2479726B9 (en) * 2003-10-21 2013-10-23 Nec Corporation Image comparison system and image comparison method
TW200725433A (en) * 2005-12-29 2007-07-01 Ind Tech Res Inst Three-dimensional face recognition system and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1139269A2 (en) * 2000-03-30 2001-10-04 Nec Corporation Method for matching a two-dimensional image to one of a plurality of three-dimensional candidate models contained in a database
EP1143375A2 (en) * 2000-04-03 2001-10-10 Nec Corporation Device, method and record medium for image comparison

Also Published As

Publication number Publication date
US7545973B2 (en) 2009-06-09
CA2491727A1 (en) 2004-01-22
AU2003281007A1 (en) 2004-02-02
US20060120589A1 (en) 2006-06-08
US20090245624A1 (en) 2009-10-01
DE60316690D1 (de) 2007-11-15
AU2003281007B2 (en) 2009-11-19
KR100651010B1 (ko) 2006-11-30
EP1530157B1 (en) 2007-10-03
EP1530157A1 (en) 2005-05-11
DE60316690T2 (de) 2008-07-17
EP1530157A4 (en) 2006-02-08
JP4560832B2 (ja) 2010-10-13
KR20050017117A (ko) 2005-02-21
JPWO2004008392A1 (ja) 2005-11-10
ATE374978T1 (de) 2007-10-15
US7873208B2 (en) 2011-01-18
CN1669052A (zh) 2005-09-14
WO2004008392A1 (ja) 2004-01-22

Similar Documents

Publication Publication Date Title
CN1669052B (zh) 使用三维物体模型的图像匹配系统以及图像匹配方法
CN100430935C (zh) 利用形状进行目标表示与检索的方法和装置
JP4553141B2 (ja) 重み情報を用いた物体姿勢推定・照合システム
CN109086706B (zh) 应用于人机协作中的基于分割人体模型的动作识别方法
US20190057299A1 (en) System for building a map and subsequent localization
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
JP6207210B2 (ja) 情報処理装置およびその方法
JP4511135B2 (ja) データ分布を表現する方法、データ要素を表現する方法、データ要素の記述子、照会データ要素を照合または分類する方法、その方法を実行するように設定した装置、コンピュータプログラム並びにコンピュータ読み取り可能な記憶媒体
CN113902989B (zh) 直播场景检测方法、存储介质及电子设备
Ratan et al. Object detection and localization by dynamic template warping
JP3926059B2 (ja) 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
CN115601710A (zh) 基于自注意力网络架构的考场异常行为监测方法及系统
CN114429647A (zh) 一种递进式人物交互识别方法及系统
CN111428689A (zh) 一种多池化信息融合的人脸图像特征提取方法
CN118072252A (zh) 适用于任意多模态数据组合的行人重识别模型训练方法
CN113516020B (zh) 一种与年龄变化相关的身份核验方法及系统
JPH1185988A (ja) 顔画像認識システム
CN111428612B (zh) 行人重识别方法、终端、装置及存储介质
CN117373100B (zh) 基于差分量化局部二值模式的人脸识别方法及系统
JP3988554B2 (ja) 画像照会用情報構築方法および画像照会方法
CN116958859A (zh) 基于视频的高尔夫挥杆评测方法及系统
CN116645634A (zh) 一种基于视频实例分割的步态识别方法及装置
RU2720361C1 (ru) Обучение по нескольким кадрам реалистичных нейронных моделей голов говорящих персон
JP4101734B2 (ja) 顔表情推定装置、顔表情推定方法および顔表情推定プログラム
JP2019185349A (ja) 検索装置、検索方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1083038

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1083038

Country of ref document: HK

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20100526