[go: up one dir, main page]

CN111819600A - 图像匹配装置 - Google Patents

图像匹配装置 Download PDF

Info

Publication number
CN111819600A
CN111819600A CN201880090849.9A CN201880090849A CN111819600A CN 111819600 A CN111819600 A CN 111819600A CN 201880090849 A CN201880090849 A CN 201880090849A CN 111819600 A CN111819600 A CN 111819600A
Authority
CN
China
Prior art keywords
image
matching
distribution
resolution
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880090849.9A
Other languages
English (en)
Inventor
牧野贤吾
高桥彻
石山垒
工藤佑太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN111819600A publication Critical patent/CN111819600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)

Abstract

该用于比较第一图像和第二图像的图像比较装置包括：频率特征获取单元，其获取第一图像的频率特征和第二图像的频率特征；频率特征合成单元，其合成第一图像的频率特征和第二图像的频率特征以生成合成频率特征；确定单元，其对所述合成频率特征进行频率转换，计算提供与目标分辨率相等的分辨率的相关系数图，并且基于从相关系数图计算出的比较分数来比较所述第一图像和所述第二图像；以及调整单元，其基于比较分数来调整目标分辨率。

Description

图像匹配装置
技术领域
本发明涉及图像匹配装置、图像匹配方法以及程序。
背景技术
以个体识别等为目的进行对比图像与注册图像的匹配的图像匹配方法已有各种提案或被实用化。
纯相位相关法是一种能够用于图像之间的位置搜索以及图像匹配的技术。
例如，使用了纯相位相关法的图像之间的位置搜索方法被记载于非专利文献1。
例如相关技术被记载于专利文献1及专利文献2。
例如，应用了纯相位相关法的图像匹配方法被记载于非专利文献2。
在非专利文献2中，纯相位相关法被用于指纹图像匹配。在非专利文献2中，通过纯相位相关法来计算相关系数图，根据相关系数图中的最大值是否超过某个阈值，确定指纹是相同指纹还是其他指纹。另外，在非专利文献2中，鉴于频域中的高频分量不包括重要信息的性质，通过从归一化互功率谱中仅提取低频分量并且执行傅里叶逆变换，来提高匹配的能力。因为通过提取低频分量，去除了不需要的高频分量(相当于噪声等)，所以具有避免产生由高频分量引起的相关的效果。换言之，在抵抗噪声等的鲁棒性方面具有效果。另外，提取低频分量相当于降低傅里叶逆变换的分辨率，即，降低相关系数图的分辨率，并且输出的相关系数的图像尺寸变小。因此，在减少计算量上具有效果。
在非专利文献2中，根据指纹图像计算对指纹图像有效的频带。
专利文献1：日本特开2008-15848号公报
专利文献2：日本特许3468182号公报
非专利文献1：Kenji TAKITA et al.,“High-Accuracy Subpixel ImageRegistration Based on Phase-Only Correlation”(《基于纯相位相关的高精度子像素图像配准》),IEICE Trans.Fundamentals,vol.E86-A,No.8August 2003.
非专利文献2：Koich ITO et al.,“A Fingerprint Matching Algorithm UsingPhase-Only Correlation”(《使用纯相位相关的指纹匹配算法》),IEICETrans.Fundamentals,vol.E87-A,No.3March 2004.
如上述，在使用纯相位相关法的图像匹配中，通过预先确定对要对比的图像有效的频带(低频分量)，根据图像计算仅该频带(低频分量)的相关值，从而确保抵抗噪声等的鲁棒性。另外，相关系数图的分辨率被调节为降低至与提取出的低频分量的互功率谱的分辨率相同的分辨率。
也就是说，在现有技术中，基于从互功率谱中提取的特征量的频率，将相关系数图的分辨率确定为相同分辨率。换言之，相关系数图的分辨率被确定为与互功率谱的分辨率相同。
然而，根据要对比的图像预先计算出的分辨率不一定总是适当的。因此，期望实现一种方法，其能够独立于从互功率谱中提取的频率分量及其分辨率来适当地调节相关系数图的分辨率。
发明内容
本发明的目的是提供一种解决上述课题的图像匹配装置。
为了达成上述目的，根据本发明的一个方面的图像匹配装置是执行第一图像与第二图像之间的匹配的装置。该图像匹配装置包括：频率特征获取单元，被配置为获取所述第一图像的频率特征和所述第二图像的频率特征；频率特征合成单元，被配置为合成所述第一图像的频率特征和所述第二图像的频率特征以生成合成频率特征；确定单元，被配置为对所述合成频率特征进行频率变换，以计算其分辨率与目标分辨率一致的相关系数图，并且基于从所述相关系数图计算出的匹配分数来执行所述第一图像与所述第二图像之间的匹配；以及调节单元，被配置为基于所述匹配分数来调节所述目标分辨率。
另外，根据本发明的另一方面的图像匹配方法是用于执行第一图像与第二图像之间的匹配的图像匹配方法，所述图像匹配方法包括：获取所述第一图像的频率特征和所述第二图像的频率特征，合成所述第一图像的频率特征和所述第二图像的频率特征以生成合成频率特征，对所述合成频率特征进行频率变换，以计算其分辨率与目标分辨率一致的相关系数图，基于从所述相关系数图计算出的匹配分数来执行所述第一图像与所述第二图像之间的匹配，以及基于所述匹配分数来调节所述目标分辨率。
另外，根据本发明的另一方面的计算机程序包括指令，所述指令用于使执行第一图像与第二图像之间的匹配的计算机充当：频率特征获取单元，被配置为获取所述第一图像的频率特征和所述第二图像的频率特征；频率特征合成单元，被配置为合成所述第一图像的频率特征和所述第二图像的频率特征以生成合成频率特征；确定单元，被配置为对所述合成频率特征进行频率变换，以计算其分辨率与目标分辨率一致的相关系数图，以及基于从所述相关系数图计算出的匹配分数来执行所述第一图像与所述第二图像之间的匹配；以及调节单元，被配置为基于所述匹配分数来调节所述目标分辨率。
通过如上所述的配置，本发明能够适当地调节相关系数图的分辨率进行。
附图说明
图1是根据本发明的第一示例实施例的图像匹配装置的框图。
图2是示出根据本发明的第一示例实施例的图像匹配装置的硬件配置的示例的框图。
图3是示出根据本发明的第一示例实施例的图像匹配装置的操作中的匹配处理执行时的操作概略的流程图。
图4是示出根据本发明的第一示例实施例的图像匹配装置的操作中的自动确定匹配所需的最小必要分辨率时的操作概略的流程图。
图5是示出根据本发明的第一示例实施例的图像匹配装置中的频率特征获取单元的示例的框图。
图6是示出表示第一图像的频率特征和第二图像的频率特征的数学式的示例的图。
图7是示出用于计算归一化互功率谱的数学式的示例的图。
图8是示出数学式的示例的图，该数学式表示伴随位置偏移的相同图像对的频率特征F(k1，k2)、频率特征G(k1，k2)及归一化互功率谱R(k1，k2)。
图9是示出表示伴随位置偏移的相同图像对的相关系数图r(n1，n2)的数学式的示例的图。
图10是在傅里叶逆变换中，通过仅切出并且使用变换前的数据中的低频带来降低分辨率的情况的示意图。
图11是在傅里叶逆变换中，通过对变换前的数据进行零填充来提高分辨率的情况的示意图。
图12是示出根据本发明的第一示例实施例的图像匹配装置中的频率变换分辨率调节单元的示例的框图。
图13是在最佳变换分辨率的自动确定的方法中，在注册数据库中全部是不同个体的情况下，得到分数分布的方法的示意图。
图14是在最佳变换分辨率的自动确定的方法中，在注册数据库中包含相同个体的情况下，得到分数分布的方法的示意图。
图15是示出根据本发明的第二示例实施例的图像匹配装置中的频率特征获取单元的示例的框图。
图16是示出根据本发明的第三示例实施例的图像匹配装置中的频率特征获取单元的示例的框图。
图17是用于示出在以高的分辨率和低的分辨率进行傅里叶逆变换的情况下得到的相关系数图的差异的示意图。
图18是示出根据本发明的第四示例实施例的图像匹配装置中的频率特征获取单元的示例的框图。
具体实施方式
[第一示例实施例]
对本发明的第一示例实施例进行说明。
<本示例实施例所要解决的技术课题>
通常，在纯相位相关法的处理过程中所使用的傅里叶逆变换中，计算量取决于变换后的相关系数图的分辨率。另外，位置推定和匹配的精度也根据分辨率而变化。
例如，在将分辨率设定得较高的情况下，计算量增加，但精度提高。反之，在将分辨率设定得较低的情况下，计算量减少，但精度下降。
图17为用于示出在以高的分辨率和低的分辨率进行傅里叶逆变换的情况下得到的相关系数图的差异的示意图。在图17中，假设在分辨率上存在4倍的差作为示例，上层示出分辨率低的情况下的相关系数图，下层示出分辨率高的情况下的相关系数图，为了示出分辨率的差异，使横轴的比例一致。例如，在图17中，由于分辨率有4倍的差，因此，使比例一致以便分辨率低的情况下的1像素等于分辨率高的情况下的4像素。
在分辨率低的情况下，与分辨率高的情况相比，因为各个像素的值是该像素和与其相邻的像素的值的平均值，所以相关的最大值下降。因此，例如，将相关的最大值用于匹配的情况下，因为相同个体的情况与不同个体的情况之间的相关的最大值没有差别，所以难以定义用于匹配的阈值。也就是说，由于判别的边界模糊，因此，匹配有可能失败。
另一方面，在分辨率高的情况下，不产生由上述理由等导致的相关的最大值的下降，在相同个体的情况与不同个体的情况之间的相关的最大值存在差别，因此，可以容易地定义用于匹配的阈值。也就是说，判别的边界是明确的，因此，匹配失败的情况较少。
在纯相位相关法中，以往已经执行过如上所述在傅里叶逆变换时调节变换的分辨率。例如，在专利文献1中，首先，对搜索对象图像和模板图像使用傅里叶变换而将其变换到频域。接下来，根据通过上述变换得到的搜索对象图像及模板图像各自的复谱计算互功率谱。接下来，对上述互功率谱使用每个频率的加权滤波器来消除功率分量以归一化为仅相位分量。接下来，对上述归一化后的互功率谱(归一化互功率谱)使用傅里叶逆变换来计算实际坐标区域上的相关系数(相关系数图)。接下来，通过从上述计算出的相关系数图中检测具有最大值的坐标来进行位置搜索。在如非专利文献1、专利文献1那样地将纯相位相关法用于位置搜索的情况下，能够通过调节分辨率来实现任意的位置推定精度下的位置搜索。即，在要求如亚像素单位等高的位置推定精度的情况下需要提高分辨率。在专利文献2中，代替执行傅里叶逆变换，基于上述互功率谱，在平行移动量的参数空间中进行投票操作，生成投票图像。然后，通过检测投票图像中的值成为最大值的坐标来进行位置搜索。关于提高分辨率，如专利文献2所记载的那样，例如，能够通过以零值等补偿归一化互功率谱的高频分量来实现。另外，在可以允许几个像素的推定误差的情况等的不那么要求位置推定精度的情况下，也可以降低分辨率来计算。关于降低分辨率，涉及非专利文献2如上所述，例如通过仅提取并使用低频分量来实现。像这样，在位置搜索的情况下，能够根据目标位置搜索精度来确定分辨率。
另一方面，即使在将纯相位相关法用于匹配的情况下，如非专利文献2中那样，分辨率的调节也具有效果。例如，如上所述，通过降低分辨率，输出的相关系数的图像尺寸变小，因此，能够削减计算量。也就是说，能够通过降低分辨率来高速地进行匹配。但是，这限于适当地进行了分辨率的调节的情况。在非专利文献2中，根据要对比的图像预先计算相关系数图的分辨率。具体而言，设为与提取出的互功率谱的分辨率相同。但是，将相关系数图的分辨率确定为与互功率谱的分辨率相同无法保证总是适合于匹配。如果不适合的情况下，则无法区分相同个体与不同个体，无法进行匹配。因此，期望实现可以对相关系数图的分辨率进行适当地调节的方法。
在现有技术的知识中，基准是，由于互功率谱对应于对相关系数图进行频率变换后的形态所以仅需要最小的必要分辨率用于得到在互功率谱中提取的低频分量。在原始图像的频率分量本来就仅具有该低频分量的情况下，该基准对于匹配的精度成为有效的基准。但是，实际上，对比的原始图像包含更高频的分量。因此，本来的相关系数图的最大值在原始图像的分辨率中取最大值。即，若仅将低频分量降低至之后提取出的上述互功率谱的分辨率，则有可能相关的最大值下降太多。
因此，不同于现有技术，本来期望基于对于如独立于互功率谱的分辨率且能够稳定地检测相关系数图的最大值这样的匹配的用途最佳的基准来设定相关系数图的分辨率。本发明是作为如下方法而做出的：基于该新颖的知识，可以对相关系数图的分辨率进行更加适当地调节，能够确保匹配精度且更加削减特征量的数据量和计算量。
<本示例实施例的目的>
本示例实施例的目的是提供一种图像匹配装置、图像匹配方法和程序，其独立于从互功率谱中提取的频率、分辨率而自动确定匹配所需的最小必要的相关系数图的分辨率，能够确保匹配精度且高速地进行匹配。
<本示例实施例的配置>
图1是本发明的第一示例实施例的图像匹配装置的框图。本示例实施例的图像匹配装置100被配置为执行第一图像与第二图像之间的匹配。
参照图1，图像匹配装置100包括频率特征获取单元101、第一存储单元102、第二存储单元103、频率特征合成单元104、频率变换分辨率调节单元105、匹配确定单元106和信息提示单元107。
频率特征获取单元101被配置为获取第一图像和第二图像的频率特征。频率特征是指对图像执行傅里叶变换(离散傅里叶变换)，从而将图像变换为频域的结果的二维数据(二维阵列)。
在此，例如，第一图像是拍摄要对比的对象而得到的对比图像。第二图像是拍摄多个要注册的对象而得到的多个注册图像中的一个注册图像。第二图像存在1个或多个。对象是指例如工业产品、商品等。在对象的表面，存在微细凹凸、花纹、材料表面的随机图案等通过相同制造过程产生的自然发生的微细的图案。通过使用照相机等拍摄装置获取这样的对象表面的图案的差异作为图像并识别该微细图案，能够对每个产品进行个体识别和管理。本示例实施例涉及用于这样的个体识别的图像匹配技术。
第一存储单元102被配置为存储第一图像的频率特征。第二存储单元103被配置为存储第二图像的频率特征。
频率特征合成单元104被配置为计算储存于第一存储单元102的第一图像的频率特征和储存于第二存储单元103的第二图像的频率特征的归一化互功率谱。
频率变换分辨率调节单元105被配置为调节利用后述的匹配确定单元106将归一化互功率谱变换为相关系数图时的傅里叶逆变换(离散傅里叶逆变换)的分辨率。在此，傅里叶逆变换的分辨率具有与相关系数图的分辨率相同的含义。另外，相关系数图的分辨率高、低与相关系数图的尺寸即维度数(像素数)大、小相同。相关系数图的尺寸由相关系数图的各维度的尺寸确定。各维度的尺寸由离散频率指数的数值确定。因此，调节离散频率指数的最大值是调节分辨率的方法的一个方案。
匹配确定单元106被配置为基于由频率变换分辨率调节单元105调节过的分辨率，利用傅里叶逆变换将归一化互功率谱变换为相关系数图。另外，匹配确定单元106被配置为从相关系数图计算示出第一图像与第二图像的相似度的分数。
信息提示单元107被配置为基于匹配确定单元106的确定结果，提示第一图像与第二图像的匹配结果。匹配结果的提示也可以是将匹配结果显示于显示装置，或通过印刷装置印刷记载了匹配结果的纸张，或将记载了匹配结果的信息通过通信装置发送到外部终端等。
例如如图2所示，图像匹配装置100能够通过信息处理装置200和程序207实现，其中信息处理装置200具有照相机等拍摄单元201、键盘、鼠标等操作输入单元202、液晶显示器等画面显示单元203、通信接口单元204、存储器、硬盘等存储单元205以及1个以上的微处理器等运算处理单元206。例如信息处理装置200可以是个人计算机或智能手机。
例如，当信息处理装置200启动时，程序207从外部的计算机可读存储介质中加载至存储器，并且控制运算处理单元206的操作，从而在运算处理单元206上实现功能单元，诸如频率特征获取单元101、第一存储单元102、第二存储单元103、频率特征合成单元104、频率变换分辨率调节单元105、匹配确定单元106及信息提示单元107。
<本示例实施例的操作>
接下来，说明本示例实施例的图像匹配装置100的操作的概略。
图3是示出根据本发明的第一示例实施例的图像匹配装置100的操作中的匹配处理执行时的操作概略的流程图。
首先，频率特征获取单元101获取第一图像的频率特征和第二图像的频率特征(步骤S101)。在存在多个第二图像的情况下，频率特征获取单元101获取各个第二图像的频率特征。频率特征获取单元101将获取到的第一图像的频率特征保存于第一存储单元102，将第二图像的频率特征保存于第二存储单元103。
接下来，频率特征合成单元104计算储存于第一存储单元102的第一图像的频率特征与储存于第二存储单元103的第二图像的频率特征的归一化互功率谱(步骤S102)。在存在第二图像的多个频率特征的情况下，频率特征合成单元104计算第一图像的频率特征与第二图像的各个频率特征的多个归一化互功率谱。
接下来，频率变换分辨率调节单元105调节利用傅里叶逆变换将频率特征合成单元104计算出的归一化互功率谱变换为相关系数图时的分辨率(步骤S103)。例如，频率变换分辨率调节单元105将通过后述的图4所示的操作确定的匹配所需的最小必要分辨率设定为调节后的分辨率。
接下来，匹配确定单元106通过使用由频率变换分辨率调节单元105调节了的分辨率，对归一化互功率谱执行傅里叶逆变换，将其变换为相关系数图(步骤S104)。然后，匹配确定单元106根据相关系数图计算指示第一图像与第二图像的相似度的分数(步骤S105)。在存在多个归一化互功率谱的情况下，匹配确定单元106针对各个归一化互功率谱执行傅里叶逆变换，将其变换为相关系数图。另外，匹配确定单元106针对各个相关系数图，计算指示第一图像与第二图像的相似度的分数。
接下来，匹配确定单元106基于计算出的分数执行第一图像与第二图像之间的匹配(步骤S106)。
例如，在第二图像是1个的情况下，如果分数满足预定参考值，则匹配确定单元106得出第一图像与第二图像匹配(相同)的意思的匹配结果。另一方面，如果分数不满足预定参考值，则匹配确定单元106得出第一图像与第二图像不匹配(不相同)的意思的匹配结果。
另外，例如在存在多个第二图像的情况下，如果计算出的分数中的最优分数满足预定参考值，则匹配确定单元106得出第一图像与最优分数的第二图像匹配(相同)的意思的匹配结果。另一方面，如果上述最优分数不满足预定参考值，则匹配确定单元106得出第一图像与第二图像不匹配(不相同)的意思的匹配结果。
接下来，信息提示单元107提示从匹配确定单元106得到的第一图像与第二图像之间匹配的匹配结果(步骤S107)。
图4是示出根据本发明的第一示例实施例的图像匹配装置100的操作中的自动确定匹配所需的最小必要分辨率时的操作概略的流程图。在根据图3所示的流程执行实际的匹配的操作(匹配操作)之前执行图4所示的操作(目标分辨率确定操作)。图像匹配装置100执行图3所示的操作还是图4所示的操作取决于例如由操作输入单元202输入的指令。
首先，频率特征获取单元101获取第一图像的频率特征和第二图像的频率特征(步骤S201)。在存在多个第二图像的情况下，频率特征获取单元101获取各个第二图像的频率特征。频率特征获取单元101将获取到的第一图像的频率特征保存于第一存储单元102，将第二图像的频率特征保存于第二存储单元103。
接下来，频率特征合成单元104计算储存于第一存储单元102的第一图像的频率特征与储存于第二存储单元103的第二图像的频率特征的归一化互功率谱(步骤S202)。在存在第二图像的多个频率特征的情况下，频率特征合成单元104计算第一图像的频率特征与第二图像的各个频率特征的多个归一化互功率谱。
接下来，频率变换分辨率调节单元105调节利用傅里叶逆变换将频率特征合成单元104计算出的归一化互功率谱变换为相关系数图时的分辨率(步骤S203)。例如，当在开始图4所示的处理后初次执行步骤S203时，频率变换分辨率调节单元105将预先确定的初始值的分辨率设定为调节后的分辨率。在执行第二次及以后的步骤S203时，频率变换分辨率调节单元105将大于或小于前次使用的分辨率的分辨率设定为调节后的分辨率。
接下来，匹配确定单元106通过使用由频率变换分辨率调节单元105调节了的分辨率，对归一化互功率谱执行傅里叶逆变换，将其变换为相关系数图(步骤S204)。然后，匹配确定单元106根据相关系数图计算指示第一图像与第二图像的相似度的分数(步骤S205)。在存在多个归一化互功率谱的情况下，匹配确定单元106针对各个归一化互功率谱执行傅里叶逆变换，将其变换为相关系数图。另外，匹配确定单元106针对各个相关系数图，计算指示第一图像与第二图像的相似度的分数。
接下来，频率变换分辨率调节单元105根据匹配确定单元106计算出的分数，对第一图像与第二图像匹配的情况下的分数的分布和第一图像与第二图像不匹配的情况下的分数的分布这2个种类的分数分布的分离的程度是否满足条件进行评价(步骤S206)。例如，在评价为2个种类的分数分布被充分地分开的情况下，频率变换分辨率调节单元105将自身调节了的分辨率确定为匹配所需的最小必要分辨率。在评价为2个种类的分数分布没有被充分地分开的情况下，返回至步骤S203，再次重复处理。
<各单元的详情>
接下来，详细说明本示例实施例的图像匹配装置100的各单元。
首先，对频率特征获取单元101进行详细说明。
图5为示出频率特征获取单元101的示例的框图。该示例的频率特征获取单元101包括图像获取单元111和频率变换单元112。
图像获取单元111被配置为获取第一图像和第二图像。图像获取单元111可以为例如由照相机、扫描仪等代表的摄影设备。或者图像获取单元111可以为光学传感器，该光学传感器通过透镜收集可见光和比可见光波长更长的近红外光、短波长红外线、热红外线区域的光，获取对象的形状等作为图像数据。或者，图像获取单元111也可以为获取红外光、紫外光、X射线的强度，并将其输出为二维数据阵列的传感器。或者，图像获取单元111也可以被配置为从CD-ROM、存储器等外部存储介质获取第一图像及第二图像。或者，图像获取单元111也可以被配置为经由网络来接收第一图像及第二图像。另外，图像获取单元111的获取第一图像的方法和获取第二图像的方法可以不同。
频率变换单元112被配置为从图像获取单元111接收第一图像和第二图像，输出对该各个图像执行离散傅里叶变换得到的结果的图像(频谱图像)。频率变换单元112将第一图像的频谱图像作为第一频率特征保存于第一存储单元102，将第二图像的频谱图像作为第二频率特征保存于第二存储单元103。
接下来，说明频率特征获取单元101获取的第一图像和第二图像的频率特征的示例。
将第一图像及第二图像设为N1×N2像素的2个图像f(n1，n2)及图像g(n1，n2)。另外，将二维图像信号的离散空间指数(整数)设为n1＝-M1，...，M1及|n2＝-M2，...，M2。但是，M1及M2为正整数，N1＝2M1+1及|N2＝2M2+1。如此，对图像f(n1，n2)进行二维离散傅里叶变换得到第一频率特征F(k1，k2)及对图像g(n1，n2)进行二维离散傅里叶变换得到第二频率特征G(k1，k2)由图6所示的式1、式2提供。在式1、式2中，k1＝-M1，...，M1及|k2＝-M2，...，M2为离散频率指数(整数)。另外，WN1以及WN2为旋转因子，由图6所示的式3、式4提供。另外，AF(k1，k2)及|AG(k1，k2)表示振幅谱(振幅分量)，θF(k1，k2)及θG(k1，k2)表示相位谱(相位分量)。另外，如图6的式5所示，∑n1，n2表示整个指数范围的加法。
接下来，对频率特征合成单元104进行详细说明。
频率特征合成单元104利用图7所示的式6计算第一频率特征F(k1，k2)与第二频率特征G(k1，k2)的归一化互功率谱R(k1，k2)。在式6中，上划线G(k1，k2)为第二频率特征G(k1，k2)的复共轭。另外，θF(k1，k2)-θG(k1，k2)为第一频率特征与第二频率特征的相位差谱。如式6所示，频率特征合成单元104求出作为第一频率特征F(k1，k2)与第二频率特征G(k1，k2)的复共轭的每个要素的积的互功率谱，进一步地通过使用该绝对值进行归一化，计算归一化互功率谱。
然而，在图像f(n1，n2)和图像g(n1，n2)为伴随位置偏移的相同图像对的情况下，这些频率特征F(k1，k2)、频率特征G(k1，k2)以及这两者的归一化互功率谱R(k1，k2)由图8所示的式7、式8、式9提供。在此，δ1、δ2为图像f(n1，n2)与图像g(n1，n2)间的位置偏移量。即，图像g(n1，n2)为使图像f(n1，n2)仅平行移动(δ1，δ2)而成的图像。如式9所示，在要进行匹配的2个频率特征F(k1，k2)、G(k1，k2)为相同图像对的情况下，其归一化互功率谱R(k1，k2)表现为在每个维度(每个k1、k2)上具有单一周期的复正弦波。与之相对，在要进行匹配的2个频率特征F(k1，k2)、G(k1，k2)不是相同图像对的情况下，其归一化互功率谱R(k1，k2)不成为在每个维度上具有单一周期的复正弦波。
接下来，在说明频率变换分辨率调节单元105之前，对匹配确定单元106进行详细说明。
首先，匹配确定单元106通过对归一化互功率谱执行傅里叶逆变换来计算相关系数图。然后，匹配确定单元106根据计算出的相关系数图中的峰值的最大值，来确定是相同个体还是不同个体。如上所述，在相同图像对的情况下，归一化互功率谱表现为具有单一周期的复正弦波，因此，通过执行傅里叶逆变换，仅显著地出现特定的谱，在相关系数图中出现尖峰。相关系数图r(n1，n2)由图9所示的式10提供。另一方面，在不是相同图像对的情况下，不成为具有单一周期的复正弦波，因此，在相关系数图中不出现尖峰。即，能够根据相关系数图中的峰值的最大值来确定是否是相同图像。
然而，在傅里叶逆变换中，计算量取决于变换后的相关系数图的分辨率。在分辨率低的情况下，相关系数图的图像尺寸、即像素的总数少，因此计算量变小。因此，在想要高速地进行匹配的情况下，只要使分辨率变低即可。但是，当分辨率变得太低时，相关系数图的1个像素成为也包含峰值的周围部位的平均值的值，从而峰值的最大值变小，因此，有可能无法判断是相同图像对还是不是相同图像对。即，有可能无法进行匹配。因此，为了在能够进行匹配的范围内尽量高速地进行匹配，除了需要将分辨率调节为适当的值之外，还需要执行傅里叶逆变换。以下，将适当的分辨率的值记载为最佳变换分辨率。
此外，调节分辨率的方法例如包括通过仅切出并使用变换前的数据中的低频带来降低分辨率、通过对变换前的数据进行零填充来提高分辨率等。也可以通过上述方法，以在降低了分辨率之后，通过零填充来提高分辨率这样的方式来组合地进行调节。
图10为通过仅切出并使用变换前的数据中的低频带来降低分辨率的情况的示意图。
图11为通过对变换前的数据进行零填充来提高分辨率的情况的示意图。
在此，对频率变换分辨率调节单元105进行详细说明。
频率变换分辨率调节单元105被配置为自动确定最佳变换分辨率。另外，频率变换分辨率调节单元105被配置为将最佳变换分辨率提供给匹配确定单元106。
图12为示出频率变换分辨率调节单元105的示例的框图。该示例的频率变换分辨率调节单元105包括分辨率存储单元121、分辨率设定单元122和分离度评价单元123。
分辨率存储单元121保持在匹配确定单元106中计算的相关系数图的图像尺寸(分辨率)。
分辨率设定单元122被配置为读出分辨率存储单元121保持的分辨率的值，将分辨率提供给匹配确定单元106。
分离度评价单元123被配置为根据从匹配确定单元106得到的相同个体之间的分数和不同个体之间的分数，对是否充分地进行了匹配的程度进行评价。另外，分离度评价单元123被配置为能够基于评价的结果将信息反馈至分辨率存储单元121、分辨率设定单元122。
分离度评价单元123仅用于频率变换分辨率调节单元105自动地确定最佳变换分辨率，在进行匹配处理时不使用。即，分离度评价单元123在进行图4所示的处理时使用，在进行图3所示的处理时不使用。
接下来，说明频率变换分辨率调节单元105自动确定最佳变换分辨率的处理的流程。
频率变换分辨率调节单元105为了自动确定最佳变换分辨率，使用多个注册图像。以下，将多个注册图像记载为注册数据库。在注册数据库中，可以包含相同个体，也可以全部为不同个体。但是，在注册数据库中，需要至少包含2个以上不同个体的图像。
首先，对全部注册数据库为不同个体的情况下的最佳变换分辨率的自动确定方法进行说明。
使用图像匹配装置100，在多个注册图像之间进行匹配处理从而得到多个分数。此外，在此时的匹配处理中，例如，分辨率存储单元121刚开始保持足够小的值作为相关系数图的图像尺寸(分辨率)，使得匹配的精度下降。当假设注册数据库为r个时，不同个体之间的组合为r(r-1)/2，因此，能够得到r(r-1)/2个不同个体之间的分数。然后，能够根据这些多个不同个体之间的分数得到分布。以下，将分数的分布记载为分数分布。
在此，如果存在相同个体之间的分数分布，则将相同个体之间的分数分布与不同个体之间的分数分布分离这样的分辨率设为最佳变换分辨率即可。但是，在注册数据库中不存在相同个体，因此，无法简单地得到相同个体之间的分数分布。于是，选择注册数据库的r个中的至少1个以上的S个图像作为原始图像，通过图像处理执行加工来生成伪相同个体图像。作为加工方法，包括使图像平移、使图像旋转、添加噪声等。另外，也可以针对1个图像执行多个加工，也可以针对1个原始图像生成多个伪相同个体图像。
从注册数据库中选择出的原始图像和根据该原始图像生成的伪相同个体图像被作为相同个体对待。在该情况下，相同个体之间的组合为S以上，因此，通过在相同个体之间进行匹配处理，能够得到S个以上相同个体之间的分数。然后，能够根据这些相同个体之间的分数得到分数分布。
图13为全部注册数据库为不同个体的情况下得到分数分布的方法的示意图。A1、B1、C1是注册数据库的各个图像中的互不相同的个体的图像。A2、A3为对A1执行加工而得到的图像，被作为与A1相同个体对待。C2为对C1执行加工而得到的图像，被作为与C1相同个体对待。另外，白圈及其上部的实线分别表示相同个体之间的分数、相同个体之间的分数分布。另外，白色X符号及其上部的虚线表示不同个体之间的分数、不同个体之间的分数分布。
在得到了相同个体之间的分数分布和不同个体之间的分数分布的情况下，如上所述，将分数分布分离这样的分辨率设为最佳变换分辨率即可。作为分数分布是否分离的指标，例如，存在使用正态分布的方法。具体而言，以下作为示例：当将不同个体之间的分数分布假设为正态分布，其平均值为μ，标准偏差为σ时，将相同个体之间的全部分数是否大于μ+3σ设为指标。
在相同个体之间的全部分数大于μ+3σ的情况下，分离度评价单元123评价为分数分布分离，将分辨率设定单元122提供给匹配确定单元106的分辨率确定为最佳变换分辨率。然后，分离度评价单元123将最佳变换分辨率的值提供给分辨率存储单元121。
在相同个体之间的分数的一部分小于μ+3σ的情况下，分离度评价单元123评价为分数分布没有充分分离。然后，分离度评价单元123将大于当前值的不同的分辨率的值提供给分辨率存储单元121。之后，重新进行相同个体之间的匹配处理和不同个体之间的匹配处理，以同样方式进行分离度的评价。在分离度评价单元123评价为分数分布分离之前重复该处理。
接下来，对注册数据库中包含相同个体的情况下的最佳变换分辨率的自动确定方法进行说明。
如上所述，与全部注册数据库为不同个体的情况下同样地，通过使用图像匹配装置100在多个注册图像之间进行匹配处理从而得到多个分数。得到的多个分数中存在相同个体之间的分数和不同个体之间的分数这2个种类。因此，能够得到相同个体之间的分数分布和不同个体之间的分数分布这两者。
图14为在注册数据库中包含相同个体的情况下得到分数分布的方法的示意图。A1、B1、C1是注册数据库中的互不相同的个体的图像。A2、A3为描绘了与A1相同个体的互不相同的的图像，被作为与A1相同个体对待。C2为描绘了与C1相同个体的不同的图像，被作为与C1相同个体对待。另外，白圈及其上部的实线分别表示相同个体之间的分数、相同个体之间的分数分布。另外，白色X符号及其上部的虚线表示不同个体之间的分数、不同个体之间的分数分布。
因为得到了相同个体对的分数分布和不同个体对的分数分布，所以分离度评价单元123可以如在注册数据库中不包括相同个体的情况下那样自动确定最佳变换分辨率。例如，在注册数据库中包含的相同个体的数量少的情况下，相同个体对的分数分布不稳定，因此，如上述那样，可以通过生成伪相同个体图像来增加相同个体的数量。
在上述的示例中，分辨率存储单元121刚开始保持足够小的值，但是，也可以保持足够大的值。在该情况下，分离度评价单元123提供给分辨率存储单元121的分辨率的值成为小于当前值的不同的分辨率的值。然后，分离度评价单元123以确定分数分布不再充分分离的极限的分辨率的方式来操作。例如，分离度评价单元123也可以将分辨率的值设为逐渐变小的值，当在某个值时初次分数分布变得不再充分分离时，将该值的前1个值确定为最佳变换分辨率。
另外，在最佳变换分辨率被确定之前的重复处理中，分离度评价单元123提供给分辨率存储单元121的分辨率的值不必总是为大于当前值的值或者总是为小于当前值的值。例如，也可以使用二分搜索这样的优化算法来设定分离度评价单元123提供给分辨率存储单元121的分辨率的值。
另外，也可以预先定义多个预定的分辨率，针对这些各个分辨率进行匹配处理和分离度的评价，将分离度的评价结果最优的分辨率设为最佳变换分辨率。或者，也可以将相同个体之间的全部分数变得大于μ+3σ的多个的分辨率中的值最小的分辨率设为最佳变换分辨率。
像这样根据本示例实施例的图像匹配装置100，能够自动确定匹配所需的最小必要分辨率。其理由是，被配置为在使分辨率变化的同时，计算相同个体之间的匹配分数和不同个体之间的匹配分数，基于这些分数自动搜索匹配所需的最小必要分辨率。
而且，本示例实施例的图像匹配装置100对于第一图像与第二图像的匹配，能够确保匹配精度且高速地进行确定。其理由是，本示例实施例的图像匹配装置100对第一图像和第二图像进行频率变换以获取第一图像的频率特征和第二图像的频率特征，对该2个频率特征进行合成以计算归一化互功率谱，使用上述确定出的匹配所需的最小必要分辨率来进行频率变换并计算相关系数图，基于该相关系数图进行第一图像与第二图像的匹配。即，由于计算匹配所需的最小必要分辨率的相关系数图，因此，能够确保匹配精度且减少傅里叶逆变换的计算量。另外，即使当大幅削减从互功率谱中提取的频率时，也能够确保根据相关系数图的最大值检测的精度，确保匹配精度。
[第二示例实施例]
接下来，对本发明的第二示例实施例的图像匹配装置进行说明。本示例实施例的图像匹配装置300与第一示例实施例的图像匹配装置相比，频率特征获取单元101不同，除此以外均与第一示例实施例的图像匹配装置相同。
图15为本示例实施例的图像匹配装置300中的频率特征获取单元101的框图。该示例的频率特征获取单元101包括图像获取单元131、频率变换单元132、极坐标变换单元133和频率变换单元134。
与图5的图像获取单元111同样地，图像获取单元131被配置为获取第一图像和第二图像。
频率变换单元132被配置为从图像获取单元131接收第一图像和第二图像，对该各个图像执行离散傅里叶变换，根据该结果计算二维振幅谱。该二维振幅谱对于原始图像的平行移动是不变的。
极坐标变换单元133被配置为从频率变换单元132接收第一图像的二维振幅谱和第二图像的二维振幅谱，对这些二维振幅谱执行极坐标变换或对数极坐标变换，来计算极坐标图像。该极坐标图像被称为傅里叶·梅林特征图像。原始图像的倍率、旋转的变化在傅里叶·梅林特征图像中被变换为平行移动的变化。
频率变换单元134被配置为从极坐标变换单元133接收第一图像的傅里叶·梅林特征图像和第二图像的傅里叶·梅林特征图像，通过对这些特征图像执行离散傅里叶变换来计算相位图像。该相位图像被称为傅里叶·梅林频谱图像。傅里叶·梅林频谱图像对于原始图像的倍率、旋转、平行移动是不变的。频率变换单元134将第一图像的傅里叶·梅林频谱图像保存于第一存储单元102，将第二图像的傅里叶·梅林频谱图像保存于第二存储单元103。
根据本示例实施例的图像匹配装置300，根据与第一示例实施例的图像匹配装置相同的理由，能够自动确定匹配所需的最小必要分辨率，并且能够确保第一图像与第二图像的匹配能力且高速地执行。另外，可以对第一及第二图像的倍率、旋转、平行移动进行稳健的匹配。
此外，在第一图像和第二图像中不存在倍率、旋转的位置偏移的环境下，也可以省略图15的极坐标变换单元133。在省略了极坐标变换单元133的图像匹配装置中，成为如下配置：频率变换单元134从频率变换单元132接收第一图像的二维振幅谱和第二图像的二维振幅谱，将对这些二维振幅谱进行离散傅里叶变换得到的结果的相位图像储存于第一存储单元102和第二存储单元103。
[第三示例实施例]
接下来，对本发明的第三示例实施例的图像匹配装置进行说明。本示例实施例的图像匹配装置400与第一至第二示例实施例的图像匹配装置相比，频率特征获取单元101不同，除此以外均与第一至第二示例实施例的图像匹配装置相同。
图16为本示例实施例的图像匹配装置400中的频率特征获取单元101的框图。该示例的频率特征获取单元101具有对图15所示的频率特征获取单元101追加了特征选择单元135的配置。
与图15的图像获取单元111同样地，图像获取单元131被配置为获取第一图像和第二图像。
与图15的图像获取单元111同样地，频率变换单元132被配置为计算二维振幅谱。
与图15的图像获取单元111同样地，极坐标变换单元133被配置为计算傅里叶·梅林特征图像。
频率变换单元134被配置为从极坐标变换单元133接收第一图像的傅里叶·梅林特征图像和第二图像的傅里叶·梅林特征图像，通过对这些特征图像执行离散傅里叶变换来计算相位图像(傅里叶·梅林频谱图像)。
特征选择单元135被配置为从频率变换单元134接收第一图像的傅里叶·梅林频谱图像和第二图像的傅里叶·梅林频谱图像，从这些傅里叶·梅林频谱图像中提取一部分的局部区域。该提取出的局部区域被称为频带选择傅里叶·梅林频谱图像。将第一图像的频带选择傅里叶·梅林频谱图像保存于第一存储单元102，将第二图像的频带选择傅里叶·梅林频谱图像保存于第二存储单元103。
特征选择单元135提取的局部区域为在不同的个体间相关最大值的值产生差别这样的局部区域。即，为对个体识别的有效性高的局部区域。能够使用多个不同的图像通过预先处理来求出该局部区域。具体而言，使用图像匹配装置400对注册数据库重复匹配处理，计算该局部区域在相同个体间对于有无相关峰产生多大程度的贡献。然后，根据该贡献度，能够确定该局部区域的有效性。
如上所述，特征选择单元135提取的局部区域被确定为在不同的个体间对于有无相关峰产生差别，因此，即使在第一图像和第二图像中包含共有的图像分量的情况下，也能够稳健地进行匹配。例如，在第一图像和第二图像为不同的个体的情况下，而且，在第一图像和第二图像中包含共有的图像分量的情况下，通常共有的图像分量有助于相关值，即使是不同的个体之间也出现相关峰。但是，特征选择单元135能够通过不选择这样的包含共有的图像分量的局部区域而将其排除，因此在不同的个体的情况下不出现相关峰。
根据本示例实施例的图像匹配装置400，根据与第一至第二示例实施例的图像匹配装置相同的理由，能够自动确定匹配所需的最小必要分辨率，并且能够确保第一图像与第二图像的匹配能力且高速地执行。另外，可以对第一及第二图像的倍率、旋转、平行移动进行稳健的匹配。另外，即使在第一图像与第二图像之间包含共有的图像分量的情况下也可以稳健地进行匹配。
[第四示例实施例]
接下来说明本发明的第四示例实施例的图像匹配装置。图18为本示例实施例的图像匹配装置500的框图。
参照图18，图像匹配装置500包括频率特征获取单元501、频率特征合成单元502、确定单元503和调节单元504。
频率特征获取单元501被配置为获取第一图像的频率特征和第二图像的频率特征。频率特征获取单元502能够与例如图1的频率特征获取单元101同样地构成，但不限定于此。
频率特征合成单元502被配置为对第一图像的频率特征和第二图像的频率特征进行合成以获取合成频率特征。频率特征合成单元502能够与图1的频率特征合成单元104同样地构成，但不限定于此。
确定单元503被配置为对合成频率特征进行频率变换，计算分辨率与目标分辨率一致的相关系数图，基于根据该相关系数图计算出的匹配分数来进行第一图像与所述第二图像的匹配。确定单元503能够与图1的匹配确定单元106同样地构成，但不限定于此。
调节单元504被配置为基于确定单元503计算出的匹配分数来变更目标分辨率。
像这样构成的本示例实施例的图像匹配装置500以以下的方式操作。即，首先，频率特征获取单元501获取第一图像的频率特征和第二图像的频率特征。接下来，频率特征合成单元502对第一图像的频率特征和第二图像的频率特征进行合成以获取合成频率特征。接下来，确定单元503对合成频率特征进行频率变换，计算分辨率与目标分辨率一致的相关系数图，基于根据该相关系数图计算出的匹配分数来进行第一图像与所述第二图像的匹配。然后，调节单元504基于确定单元503计算出的匹配分数来变更目标分辨率。
像这样根据本示例实施例的图像匹配装置500，能够对相关系数图的分辨率进行适当地调节。其理由是，调节单元504基于确定单元503计算出的匹配分数来变更目标分辨率。
以上，参照上述各示例实施例说明了本发明，但是，本发明不限定于上述示例实施例。关于本发明的配置、详情，在本发明的范围内能够进行本领域技术人员可以理解的各种变更。
例如，在上述的示例中，分离度评价单元123通过第一图像与第二图像匹配的情况下的分数的分布和第一图像与第二图像不匹配的情况下的分数的分布这2个种类的分布是否满足预定的条件来机械性地确定这2个种类的分数分布是否分离。但是，也可以使用人工来进行该确定。在该情况下，被配置为分离度评价单元123将描绘2个种类的分布的分布图显示于画面显示单元203，根据从操作输入单元202输入的操作输入，确定2个种类的分布是否分离。例如，在存在分离的意思的操作输入时，分离度评价单元123判断为2个种类的分布分离，在存在没有分离的意思的操作输入时，分离度评价单元123判断为2个种类的分布没有分离。
另外，也可以通过以下方法来计算归一化互功率谱。首先，频率特征获取单元101对第一图像和第二图像进行了傅里叶变换等频率变换后，使用该振幅分量分别进行归一化，计算归一化后的第一频率特征F(k1，k2)和归一化后的第二频率特征G(k1，k2)。另一方面，频率特征合成单元104通过合成归一化后的频率特征来计算归一化互功率谱。具体而言，频率特征合成单元104通过求出作为归一化后的第一频率特征F(k1，k2)与归一化后的第二频率特征G(k1，k2)的复共轭的每个要素的积的互功率谱来计算归一化互功率谱。在该情况下，频率特征合成单元104不同于图7的式6所示的方法，不使用绝对值进行归一化处理。根据如以上那样计算归一化互功率谱的方法，在存在多个第二图像的情况下，通过预先将各个归一化后的频率特征保持于第二存储单元，可以高速地进行匹配处理。其理由是，在进行匹配时，仅通过对第一图像的归一化后的频率特征和第二图像的归一化后的频率特征进行合成就能够计算归一化互功率谱，省略使用绝对值进行归一化的处理。
以上，参照上述各示例实施例对本发明进行了说明，但是，本发明不限定于上述示例实施例。关于本发明的配置、详情，在本发明的范围内能够进行本领域技术人员可以理解的各种变更。
工业上的适用性
本发明能够用于进行2个图像的匹配的领域，尤其地，通过使用照相机等拍摄装置获取产品的表面的微细凹凸、纹路、材料表面的随机图案等通过相同制造过程产生的自然发生的微细的图案的差异作为图像并识别该微细的图案，能够用于对每个产品进行个体识别、管理的领域。
上述示例实施例的一部分或全部可以如以下的附记那样记载，但是不限于以下内容。
[附记1]
一种图像匹配装置，对第一图像与第二图像进行匹配，该图像匹配装置具备：
频率特征获取单元，获取所述第一图像的频率特征和所述第二图像的频率特征；
频率特征合成单元，对所述第一图像的频率特征和所述第二图像的频率特征进行合成以生成合成频率特征；
确定单元，对所述合成频率特征进行频率变换，计算分辨率与目标分辨率一致的相关系数图，基于根据所述相关系数图计算出的匹配分数来进行所述第一图像与所述第二图像的匹配；以及
调节单元，基于所述匹配分数来调节所述目标分辨率。
[附记2]
根据附记1所述的图像匹配装置，其中所述调节单元被配置为搜索所述第一图像与所述第二图像相同时的所述匹配分数的分布和所述第一图像与所述第二图像不相同时的所述匹配分数的分布分离的、更小的值的所述目标分辨率。
[附记3]
根据附记1或2所述的图像匹配装置，其中所述调节单元被配置为选择性地进行目标分辨率确定时操作和匹配时操作，在所述目标分辨率确定时操作中，被配置为如下：在某一个所述目标分辨率下，为了对所述第一图像和与所述第一图像相同的所述第二图像进行匹配，进行由所述频率特征获取单元执行的所述获取、由所述频率特征合成单元执行的所述合成和由所述确定单元执行的所述匹配分数的计算，来计算作为所述第一图像与所述第二图像相同时的所述匹配分数的分布的第一分布，为了对所述第一图像和与所述第一图像不相同的所述第二图像进行匹配，进行由所述频率特征获取单元执行的所述获取、由所述频率特征合成单元执行的所述合成和由所述确定单元执行的所述匹配分数的计算，来计算作为所述第一图像与所述第二图像不相同时的所述匹配分数的分布的第二分布，变更所述目标分辨率并重复上述计算第一分布和第二分布的流程，来搜索各目标分辨率中的、所述第一分布与所述第二分布分离的、更小的值的所述目标分辨率，在所述匹配时操作中，被配置为在所述确定单元中设定所述搜索出的所述目标分辨率。
[附记4]
根据附记2或3所述的图像匹配装置，其中所述调节单元被配置为根据所述第一分布和所述第二分布是否满足预定的条件来确定所述第一分布与所述第二分布是否分离。
[附记5]
根据附记2或3所述的图像匹配装置，其中所述调节单元被配置为将所述第一分布和所述第二分布显示于显示装置，根据从输入装置输入的用户输入，来确定所述第一分布与所述第二分布是否分离。
[附记6]
根据附记1至5中的任意一项所述的图像匹配装置，其中所述确定单元被配置为在所述匹配分数满足预定的参考值的情况下，生成所述第一图像与所述第二图像匹配的意思的匹配结果。
[附记7]
根据附记1至6中的任意一项所述的图像匹配装置，其中还具备输出单元，该输出单元输出所述确定单元的匹配的结果。
[附记8]
一种对第一图像与第二图像进行匹配的图像匹配方法，其中
获取所述第一图像的频率特征和所述第二图像的频率特征，
对所述第一图像的频率特征和所述第二图像的频率特征进行合成以生成合成频率特征，
对所述合成频率特征进行频率变换，计算分辨率与目标分辨率一致的相关系数图，
基于根据所述相关系数图计算出的匹配分数来进行所述第一图像与所述第二图像的匹配，
基于所述匹配分数来调节所述目标分辨率。
[附记9]
根据附记8所述的图像匹配方法，其中在所述调节中，搜索所述第一图像与所述第二图像相同时的所述匹配分数的分布和所述第一图像与所述第二图像不相同时的所述匹配分数的分布分离的、更小的值的所述目标分辨率。
[附记10]
根据附记8或9所述的图像匹配方法，其中：
所述调节具有目标分辨率确定时操作和匹配时操作，在所述目标分辨率确定时操作中，在某一个所述目标分辨率下，为了对所述第一图像和与所述第一图像相同的所述第二图像进行匹配，进行由所述频率特征获取单元执行的所述获取、由所述频率特征合成单元执行的所述合成和由所述确定单元执行的所述匹配分数的计算，来计算作为所述第一图像与所述第二图像相同时的所述匹配分数的分布的第一分布，为了对所述第一图像和与所述第一图像不相同的所述第二图像进行匹配，进行由所述频率特征获取单元执行的所述获取、由所述频率特征合成单元执行的所述合成和由所述确定单元执行的所述匹配分数的计算，来计算作为所述第一图像与所述第二图像不相同时的所述匹配分数的分布的第二分布，变更所述目标分辨率并重复上述计算第一分布和第二分布的流程，来搜索各目标分辨率中的、所述第一分布与所述第二分布分离的、更小的值的所述目标分辨率，在所述匹配时操作中，在所述确定单元中设定所述搜索出的所述目标分辨率。
[附记11]
根据附记9或10所述的图像匹配方法，其中在所述调节中，根据所述第一分布和所述第二分布是否满足预定的条件来确定所述第一分布与所述第二分布是否分离。
[附记12]
根据附记9或10所述的图像匹配方法，其中在所述调节中，将所述第一分布和所述第二分布显示于显示装置，根据从输入装置输入的用户输入，来确定所述第一分布与所述第二分布是否分离。
[附记13]
根据附记8至12中的任意一项所述的图像匹配方法，其中在所述匹配中，在所述匹配分数满足预定的参考值的情况下，生成所述第一图像与所述第二图像匹配的意思的匹配结果。
[附记14]
根据附记8至13中的任意一项所述的图像匹配方法，其中在所述匹配中，输出所述匹配的结果。
[附记15]
一种程序，用于使对第一图像与第二图像进行匹配的计算机作为如下单元发挥功能：
频率特征获取单元，获取所述第一图像的频率特征和所述第二图像的频率特征；
频率特征合成单元，对所述第一图像的频率特征和所述第二图像的频率特征进行合成以生成合成频率特征；
确定单元，对所述合成频率特征进行频率变换，计算分辨率与目标分辨率一致的相关系数图，基于根据所述相关系数图计算出的匹配分数来进行所述第一图像与所述第二图像的匹配；以及
调节单元，基于所述匹配分数来调节所述目标分辨率。
附图标记
100：图像匹配装置；101：频率特征获取单元；102：第一存储单元；103：第二存储单元；104：频率特征合成单元；105：频率变换分辨率调节单元；106：匹配确定单元；107：信息提示单元；111：图像获取单元；112：频率变换单元；121：分辨率存储单元；122：分辨率设定单元；123：分离度评价单元；131：图像获取单元；132：频率变换单元；133：极坐标变换单元；134：频率变换单元；135：特征选择单元；200：信息处理装置；201：拍摄单元；202：操作输入单元；203：画面显示单元；204：通信接口单元；205：存储单元；206：运算处理单元；207：程序；300：图像匹配装置；400：图像匹配装置；500：图像匹配装置；501：频率特征获取单元；502：频率特征合成单元；503：确定单元；504：调节单元。

Claims (15)

1.一种图像匹配装置，执行第一图像与第二图像之间的匹配，所述图像匹配装置包括：
频率特征获取单元，被配置为获取所述第一图像的频率特征和所述第二图像的频率特征；
频率特征合成单元，被配置为合成所述第一图像的所述频率特征和所述第二图像的所述频率特征，以生成经合成的频率特征；
确定单元，被配置为对所述经合成的频率特征进行频率变换，以计算相关系数图，所述相关系数图的分辨率与目标分辨率一致，并且被配置为基于根据所述相关系数图所计算的匹配分数，执行所述第一图像与所述第二图像之间的匹配；以及
调节单元，被配置为基于所述匹配分数调节所述目标分辨率。
2.根据权利要求1所述的图像匹配装置，其中所述调节单元被配置为搜索将当所述第一图像和所述第二图像相同时的所述匹配分数的分布与当所述第一图像和所述第二图像不相同时的所述匹配分数的分布分离的、具有较小的值的所述目标分辨率。
3.根据权利要求1或2所述的图像匹配装置，其中所述调节单元被配置为选择性地执行目标分辨率确定操作和匹配操作，
所述调节单元被配置为：在对所述目标分辨率确定操作中，
当改变目标分辨率时，重复以下操作：在所述目标分辨率中的一个目标分辨率下，通过由所述频率特征获取单元进行的所述获取、由所述频率特征合成单元进行的所述合成、以及由所述确定单元进行的所述匹配分数的所述计算，计算作为所述第一图像和所述第二图像相同时的所述匹配分数的所述分布的第一分布，以便执行所述第一图像和与所述第一图像相同的所述第二图像之间的匹配，以及通过由所述频率特征获取单元进行的所述获取、由所述频率特征合成单元进行的所述合成、以及由所述确定单元的进行的所述匹配分数的所述计算，计算作为所述第一图像与所述第二图像不相同时的所述匹配分数的所述分布的第二分布，以便执行所述第一图像和与所述第一图像不相同的所述第二图像之间的匹配，以及
在所述目标分辨率中，搜索将所述第一分布与所述第二分布分离的、具有较小的值的所述目标分辨率，
所述调节单元被配置为：在所述匹配操作中，在所述确定单元中设定搜索到的所述目标分辨率。
4.根据权利要求2或3所述的图像匹配装置，其中所述调节单元被配置为基于所述第一分布和所述第二分布是否满足预定条件，确定所述第一分布是否与所述第二分布分离。
5.根据权利要求2或3所述的图像匹配装置，其中所述调节单元被配置为在显示装置上显示所述第一分布和所述第二分布，以及根据从输入装置输入的用户输入，确定所述第一分布是否与所述第二分布分离。
6.根据权利要求1至5中的任一项所述的图像匹配装置，其中，所述确定单元被配置为：在所述匹配分数满足预定参考值的情况下，生成表示所述第一图像与所述第二图像相匹配的匹配结果。
7.根据权利要求1至6中的任一项所述的图像匹配装置，还包括输出单元，所述输出单元被配置为输出由所述确定单元确定的所述匹配的结果。
8.一种图像匹配方法，用于执行第一图像与第二图像之间的匹配，所述图像匹配方法包括：
获取所述第一图像的频率特征和所述第二图像的频率特征；
合成所述第一图像的所述频率特征和所述第二图像的所述频率特征，以生成经合成的频率特征；
对所述经合成的频率特征执行频率变换，以计算相关系数图，所述相关系数图的分辨率与目标分辨率一致；
基于根据所述相关系数图所计算的匹配分数，执行所述第一图像与所述第二图像之间的匹配；以及
基于所述匹配分数调节所述目标分辨率。
9.根据权利要求8所述的图像匹配方法，其中在所述调节中，搜索具有较小的值的所述目标分辨率，所述目标分辨率将当所述第一图像和所述第二图像相同时的所述匹配分数的分布与当所述第一图像和所述第二图像不相同时的所述匹配分数的分布分离。
10.根据权利要求8或9所述的图像匹配方法，其中：
所述调节包括目标分辨率确定操作和匹配操作；
在所述目标分辨率确定操作中，
当目标分辨率被改变时，重复下述操作：：在所述目标分辨率中的一个目标分辨率下，通过所述获取、所述合成以及所述匹配分数的所述计算，来计算作为所述第一图像和所述第二图像相同时的所述匹配分数的所述分布的第一分布，以便执行所述第一图像和与所述第一图像相同的所述第二图像之间的匹配，以及通过所述获取、所述合成以及所述匹配分数的所述计算，来计算作为所述第一图像和所述第二图像不相同时的所述匹配分数的所述分布的第二分布，以便执行所述第一图像和与所述第一图像不相同的所述第二图像之间的匹配，
在所述目标分辨率中搜索所述第一分布与所述第二分布分离的、具有较小的值的所述目标分辨率，
在所述匹配操作中，在所述确定单元中设定搜索到的所述目标分辨率。
11.根据权利要求9或10所述的图像匹配方法，其中在所述调节中，所述第一分布是否与所述第二分布分离基于所述第一分布和所述第二分布是否满足预定条件而被确定。
12.根据权利要求9或10所述的图像匹配方法，其中在所述调节中，所述第一分布和所述第二分布被显示在显示装置上，并且所述第一分布是否与所述第二分布分离根据从输入装置输入的用户输入而被确定。
13.根据权利要求8至12中的任一项所述的图像匹配方法，其中在所述匹配中，在所述匹配分数满足预定参考值的情况下，表示所述第一图像与所述第二图像匹配的匹配结果被生成。
14.根据权利要求8至13中的任一项所述的图像匹配方法，其中在所述匹配中，所述匹配的结果被输出。
15.一种计算机程序，包括指令，所述指令用于使执行第一图像与第二图像之间的匹配的计算机用作：
频率特征获取单元，被配置为获取所述第一图像的频率特征和所述第二图像的频率特征；
频率特征合成单元，被配置为合成所述第一图像的所述频率特征和所述第二图像的所述频率特征，以生成经合成的频率特征；
确定单元，被配置为对所述经合成的频率特征进行频率变换，以计算相关系数图，所述相关系数图的分辨率与目标分辨率一致，以及被配置为基于根据所述相关系数图所计算的匹配分数，执行所述第一图像与所述第二图像之间的匹配；以及
调节单元，被配置为基于所述匹配分数调节所述目标分辨率。
CN201880090849.9A 2018-03-05 2018-03-05 图像匹配装置 Pending CN111819600A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/008245 WO2019171413A1 (ja) 2018-03-05 2018-03-05 画像照合装置

Publications (1)

Publication Number Publication Date
CN111819600A true CN111819600A (zh) 2020-10-23

Family

ID=67847017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090849.9A Pending CN111819600A (zh) 2018-03-05 2018-03-05 图像匹配装置

Country Status (5)

Country Link
US (1) US11468661B2 (zh)
EP (1) EP3764319B1 (zh)
JP (1) JP6919758B2 (zh)
CN (1) CN111819600A (zh)
WO (1) WO2019171413A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020057749A1 (en) * 2018-09-20 2020-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Resolution of a picture
WO2023218441A1 (en) * 2022-05-11 2023-11-16 Inspekto A.M.V. Ltd. Optimizing a reference group for visual inspection
US20230419660A1 (en) * 2022-06-23 2023-12-28 Sharper Shape Oy System and method for remote labelling of hyperspectral data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238060A (ja) * 2011-05-10 2012-12-06 Azbil Corp 照合装置
CN104079912A (zh) * 2013-03-29 2014-10-01 索尼公司 图像处理装置和图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3468182B2 (ja) 1999-12-21 2003-11-17 日本電気株式会社 画像マッチング装置および画像マッチング方法
EP1968015B1 (en) 2004-11-10 2010-09-15 Agfa Healthcare Method of performing measurements on digital images
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置
JP5147060B2 (ja) * 2008-05-02 2013-02-20 栄子 小菅 歯科ｘ線画像の照合システム及び歯科ｘ線画像の照合方法
US8155452B2 (en) * 2008-10-08 2012-04-10 Harris Corporation Image registration using rotation tolerant correlation method
JP5331721B2 (ja) * 2010-02-02 2013-10-30 アズビル株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5310594B2 (ja) 2010-02-17 2013-10-09 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム
US8285079B2 (en) * 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation
US9652821B2 (en) * 2010-09-03 2017-05-16 Digimarc Corporation Signal processors and methods for estimating transformations between signals with phase deviation
CN107608447B (zh) * 2010-09-03 2020-10-23 数字标记公司 用于估计信号间的变换的信号处理器及方法
JP5773736B2 (ja) * 2011-05-10 2015-09-02 アズビル株式会社 照合装置
EP2725550A4 (en) * 2011-06-27 2015-03-04 Konica Minolta Inc IMAGE PROCESSING DEVICE, IMAGE PROCESSING PROCESS AND CORRESPONDING PROGRAM
US9117135B2 (en) * 2011-06-29 2015-08-25 Konica Minolta, Inc. Corresponding point searching apparatus
US11132582B2 (en) * 2017-10-05 2021-09-28 Nec Corporation Individual identification device
WO2019207642A1 (ja) * 2018-04-24 2019-10-31 日本電気株式会社 画像照合装置
GB2574428B (en) * 2018-06-06 2020-06-10 Visidon Oy Image registering method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238060A (ja) * 2011-05-10 2012-12-06 Azbil Corp 照合装置
CN104079912A (zh) * 2013-03-29 2014-10-01 索尼公司 图像处理装置和图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANG WANG 等: "Learning fine-grained image similarity with deep ranking", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》, 31 December 2014 (2014-12-31), pages 1386 - 1393 *
张晓闻 等: "融合粒子群与拓扑相似性的图像匹配算法研究", 《微电子学与计算机》, vol. 34, no. 3, 31 March 2017 (2017-03-31), pages 95 - 99 *

Also Published As

Publication number Publication date
EP3764319A1 (en) 2021-01-13
JP6919758B2 (ja) 2021-08-18
EP3764319B1 (en) 2023-11-22
WO2019171413A1 (ja) 2019-09-12
US11468661B2 (en) 2022-10-11
US20210049399A1 (en) 2021-02-18
JPWO2019171413A1 (ja) 2021-02-04
EP3764319A4 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
US8503734B2 (en) Detecting image detail level
KR102284096B1 (ko) 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
CN111819600A (zh) 图像匹配装置
JP6992880B2 (ja) 画像照合装置
US11132582B2 (en) Individual identification device
Shukri et al. An improved multiscale retinex algorithm for motion-blurred iris images to minimize the intra-individual variations
Tiwari et al. Image features dependant correlation-weighting function for efficient PRNU based source camera identification
JP6845492B2 (ja) 画像照合装置
EP3137896A1 (en) Method and apparatus for processing block to be processed of urine sediment image
Frantc et al. Machine learning approach for objective inpainting quality assessment
Ahmed et al. Selective sparse coding based coupled dictionary learning algorithm for single image super-resolution
CN108038516B (zh) 基于低维图像编码与集成学习的白胚布平整度分级方法
Bhandari et al. Feature extraction for surface classification–An approach with wavelets
JP7660764B2 (ja) データ変換装置、データ変換方法及びデータ変換プログラム
Krasula et al. Using full-reference image quality metrics for automatic image sharpening
US11748863B2 (en) Image matching apparatus, image matching method, and program
EP3971826B1 (en) Image comparison apparatus
Julliand Automatic noise-based detection of splicing in digital images
McLaughlin et al. Illumination invariant facial recognition using a piecewise-constant lighting model
Hayatudeen et al. An Enhanced Feature Extraction using Chebyshev Wavelet Filter for Iris Recognition System
Princy¹ et al. Smart Assessment of Underwater Quality
CN119360195A (zh) 基于空谱异常分布的高光谱数据波段选择方法和装置
Lin et al. Low cost illumination invariant face recognition by down-up sampling self quotient image
Cavalcante et al. Segmentation of Depth-of-Field Images Based on the Response of ICA Filters
JP2009037503A (ja) 画像特徴抽出装置，画像特徴抽出方法，画像特徴抽出プログラム及びそのプログラムを格納した記録媒体、その画像特徴抽出装置を備えた画像類似度計算装置，画像類似度計算方法，画像類似度計算プログラム及びそのプログラムを格納した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201023