CN107018407B - 信息处理装置、评价用图、评价系统、以及性能评价方法 - Google Patents

Abstract

本发明涉及信息处理装置、评价用图、评价系统、以及性能评价方法。高效地找出用于高精度进行使用了拍摄图像的信息处理的条件。摄像装置(12)拍摄评价用图(200)，以与应用时同样的方法来生成拍摄图像数据并发送至信息处理装置(10)。信息处理装置(10)在评价用图(200)中，检测棋盘状的大矩形的角部，通过与其的相对位置，取得在内部表示的灰色的小矩形的角部的坐标作为正解坐标。还以与应用时同样的算法来提取特征点，并与正解坐标进行比较，从而计算表示在特征点提取的观点上的性能的指标。在该指标没有达到目标值的情况下，信息处理装置(10)更新并调整摄像装置(12)中的各种处理的设定之中调整对象的设定。

Description

信息处理装置、评价用图、评价系统、以及性能评价方法

技术领域

本发明涉及进行包含使用了拍摄图像的实物体的识别的信息处理的信息处理系统、其中包含的摄像装置、垫(mat)、以及所使用的图像生成方法。

背景技术

已知通过相机对用户的身体、标记进行拍摄，将该像的区域置换为其他的图像并显示在显示器的游戏(例如，参照专利文献1)。通过检测并分析拍摄图像中的像，取得被摄体、相机自身的位置、运动或识别被摄体是什么的技术被广泛导入利用了被搭载于游戏装置、信息终端的相机以及利用了安全相机、车载相机、机器人搭载相机等的信息处理中。

在上述那样的技术中，如何准确地取得对象物的像、其造形的特征始终是重要的课题。因此提出了准确地提取拍摄图像中的物体的轮廓、特征的部位的各种技术(例如，参照专利文献2)。

现有技术文献

专利文献

专利文献1：欧洲专利申请公开第0999518号说明书

专利文献2：(日本)特开2010-182078号公报

发明内容

拍摄图像上的特征的部位依赖于明亮度等拍摄环境、图像传感器等所使用的设备的性能、从摄像至特征检测为止被施加于数据的各种处理、具体而言解马赛克处理、校正处理、压缩编码处理、通信处理等中的条件、方法，其提取容易度变动。作为这样多个主要原因复杂地关联的结果，由于进行使用了所检测出的特征的信息处理，所以不容易找出用于满足系统的制造成本、处理成本的观点上的制约且得到充分的处理精度的最佳条件。

本发明是鉴于这样的课题而完成的，其目的在于，提供能够高效地找出用于高精度地进行使用了拍摄图像的信息处理的处理条件的技术。

为了解决上述课题，本发明的某方式涉及信息处理装置。该信息处理装置的特征在于，具备：图图像取得部，从摄像装置取得表示规定的图案的评价用图的拍摄图像的数据并作为图像而在存储器中展开；特征点提取部，从拍摄图像提取特征点；正解坐标取得部，以与特征点提取部不同的方法，取得应从拍摄图像提取的特征点的位置坐标作为正解坐标；以及性能指标计算部，基于特征点提取部提取到的特征点和正解坐标，计算将得到适于特征点提取的图像的性能数值化后的性能指标并进行输出。

本发明的其他方式涉及评价用图。该评价用图是用于评价信息处理装置得到适于特征点提取的图像的性能的评价用图，其特征在于，包含用于从该拍摄图像检测角部的棋盘状的黑以及白的矩形、和在各矩形的内部表示的灰色的图形，该在各矩形的内部表示的灰色的图形具有用于基于角部的检测结果而取得坐标并与另外进行的特征点提取处理的结果比较的特征点。

本发明的再其他方式也涉及评价用图。该评价用图是用于评价信息处理装置得到适于特征点提取的图像的性能的评价用图，其特征在于，包含从该拍摄图像检测的配置为在上下左右形成一个量的空隙的多个黑圆、和在各圆的内部以及所述空隙表示的灰色的图形，该在各圆的内部以及所述空隙表示的灰色的图形具有用于基于该圆的检测结果而取得坐标并与另外进行的特征点提取处理的结果比较的特征点。

本发明的再其他方式涉及评价系统。该评价系统的特征在于，包含拍摄表示规定的图案的评价用图的摄像装置、和取得该拍摄图像的数据并评价得到适于特征点提取的图像的性能的信息处理装置，信息处理装置具备：图图像取得部，从摄像装置取得拍摄图像的数据并作为图像而在存储器中展开；特征点提取部，从拍摄图像提取特征点；正解坐标取得部，以与特征点提取部不同的方法，取得应从拍摄图像提取的特征点的位置坐标作为正解坐标；性能指标计算部，基于特征点提取部提取的特征点和正解坐标，计算将性能数值化后的性能指标；以及调整部，在性能指标没有达到预先设定的目标值时，对摄像装置中的处理所使用的设定的其中一个进行调整，摄像装置具备：参数存储部，储存通过调整部而被调整的设定；以及数据形成部，按照参数存储部储存的设定而生成拍摄图像的数据并发送至信息处理装置。

本发明的再其他方式涉及性能评价方法。该性能评价方法的特征在于，包含：从摄像装置取得表示规定的图案的评价用图的拍摄图像的数据并作为图像而在存储器中展开的步骤；从拍摄图像提取特征点的步骤；以与提取特征点的步骤不同的方法，取得应从拍摄图像提取的特征点的位置坐标作为正解坐标的步骤；以及基于在提取特征点的步骤中提取到的特征点和正解坐标，计算将得到适于特征点提取的图像的性能数值化后的性能指标并进行输出的步骤。

另外，将以上的结构要素的任意的组合、本发明的表现在方法、装置、系统、记录介质、计算机程序等之间转换后的组合、表现作为本发明的方式也是有效的。

根据本发明，高效地找出用于高精度地进行使用了拍摄图像的信息处理的条件。

附图说明

图1是表示能够应用本实施方式的评价系统的结构例的图。

图2是表示本实施方式中的信息处理装置的内部电路结构的图。

图3是例示在本实施方式中被设想为调整的对象的主要原因的图。

图4是表示本实施方式的评价时的信息处理装置以及摄像装置的功能块的结构的图。

图5是例示本实施方式中的评价用图的图。

图6(a)～(b)是用于说明本实施方式中的正解坐标取得部从图5的评价用图的拍摄图像取得正解坐标的方法的图。

图7(a)～(b)是在本实施方式中将正解坐标取得部取得了坐标的小矩形的角部、和特征点提取部提取的特征点进行比较的图。

图8是例示在本实施方式中，对拍摄了评价用图的图像提取的特征点的分布、和所计算出的F值的图。

图9是例示在本实施方式中，对拍摄了评价用图的图像提取的特征点的分布、和所计算的F值的图。

图10是例示在本实施方式中，对拍摄了评价用图的图像提取的特征点的分布、和所计算出的F值的图。

图11是例示在本实施方式中，对拍摄了评价用图的图像提取的特征点的分布、和所计算出的F值的图。

图12是例示S/N比的变化相对于单元尺寸的变化的图。

图13是表示在本实施方式中，目标值存储部中储存的目标值的设定信息的数据结构例的图。

图14是表示在本实施方式中信息处理装置评价了特征点提取性能的基础上对调整对象参数进行调整的处理过程的流程图。

图15是表示本实施方式中的评价用图的另一例的图。

标号说明

8评价系统，10信息处理装置，12摄像装置，16显示装置，22CPU，24GPU，26主存储器，60数据形成部，62摄像部，64参数存储部，70图图像取得部，71图像储存部，72特征点提取部，74正解坐标取得部，76性能指标计算部，78比较部，80目标值存储部，82调整部，84参数候选存储部，200评价用图，300评价用图。

具体实施方式

本实施方式涉及为了高精度地进行使用了从拍摄图像提取的特征点的信息处理而事先进行的性能评价以及根据需要的调整。该性能评价、调整也可以在开发、制造信息处理系统的阶段由厂商等进行，也可以由购入了产品的用户在实际的使用环境中进行。没有特别限定使用特征点进行的游戏等信息处理的内容。以后，将利用所提取的特征点进行某些信息处理的阶段称为“应用时”、将之前进行性能评价、调整的阶段称为“评价时”。

图1表示能够应用本实施方式的评价系统的结构例。评价系统8包含对评价用图200进行拍摄的摄像装置12、从所拍摄到的图像提取特征点并对其结果进行评价的信息处理装置10、和将评价结果等信息作为图像而输出的显示装置16。另外，同图所示的系统结构是评价时的系统结构，在应用时，也可以是摄像装置12对与用途相应的被摄空间进行拍摄，信息处理装置10进行用户请求等的信息处理。此外，显示装置16也可以显示该信息处理的结果。

摄像装置12具有对对象物进行拍摄的相机、对其输出信号实施解马赛克处理等一般的处理从而生成拍摄图像的输出数据并向信息处理装置10送出的机构。相机具备CCD(电荷耦合器件(Charge Coupled Device))传感器、CMOS(互补金属氧化物半导体(Complementary Metal Oxide Semiconductor))传感器等在一般的数码相机、数码摄像机中利用的可见光传感器。摄像装置12具备的相机也可以只有一个，也可以是将两个相机以已知的间隔配置于左右的所谓立体相机。

信息处理装置10例如也可以是游戏装置、个人计算机，通过加载评价、应用所需的程序来实现信息处理功能。或也可以将信息处理装置10设为针对于性能评价、调整的装置。在该情况下，在应用时调换为游戏装置、个人计算机等与用途相应的装置即可。

显示装置16也可以是液晶显示器、等离子显示器、有机EL显示器等一般的显示器。在评价时显示装置16显示信息处理装置10进行的评价的结果、所提取的特征点等信息。在不需要这样的信息的提示的情况下，在评价时也可以没有显示装置16。

摄像装置12、信息处理装置10、显示装置16的连接也可以是有线也可以是无线。在本实施方式中特别是根据摄像装置12拍摄的图像，评价是否以充分的精度提取了特征点。并且根据需要，对摄像装置12内部的处理、从摄像装置12向信息处理装置10的数据发送、特征点的提取处理等的条件进行调整。由于这样决定适当的条件并活用于应用是目的，所以摄像装置12、通信部件沿袭在应用时设想的结构。

图2表示信息处理装置10的内部电路结构。信息处理装置10包含CPU(中央处理单元(Central Processing Unit))22、GPU(图形处理单元(Graphics Processing Unit))24、主存储器26。CPU22基于操作系统、应用等的程序，对信息处理装置10内部的结构要素中的处理、信号传输进行控制。GPU24进行图像处理。主存储器26由RAM(随机存取存储器(RandomAccess Memory))构成，存储处理所需的程序、数据。

这些各部经由总线30而相互连接。在总线30上还连接有输入输出接口28。在输入输出接口28上，连接有由USB、IEEE1394等周边设备接口、有线或无线LAN的网络接口构成的通信部32，硬盘驱动、非易失性存储器等存储部34，向显示装置16、扬声器等输出装置输出数据的输出部36，从摄像装置12输入数据的输入部38，对磁盘、光盘或半导体存储器等可拆卸记录介质进行驱动的记录介质驱动部40。

CPU22通过执行在存储部34中存储的操作系统从而控制信息处理装置10的整体。CPU22还执行从可拆卸记录介质读出而加载到主存储器26或经由通信部32下载的各种程序。GPU24具有几何引擎的功能和绘制处理器的功能，按照来自CPU22的描绘命令进行描绘处理，将显示图像储存至未图示的帧缓冲器。并且将帧缓冲器中储存的显示图像转换为视频信号并输出至输出部36。

在评价时信息处理装置10从拍摄了评价用的图的图像提取特征点，以后述的方法计算表示其性能的数值作为性能指标。并且使显示装置16显示提取结果、性能指标，或基于其调整拍摄条件、处理条件。但是也可以是仅进行结果的显示，看到它的开发者、用户通过人手而使条件变化，而不需要将它们全部实施，也可以仅自动调整处理条件而不进行信息显示。在任何情况下，通过直至得到良好的性能为止反复调整，从而最终得到用于在特征点提取的观点上取得最佳的图像的条件。

在此作为调整对象的“条件”也可以是在从摄像至特征点提取处理为止的期间会对提取精度有影响的主要原因的其中一个，也可以是一个也可以是多个组合。图3例示被设想为调整的对象的主要原因。如图所示，认为摄像装置12具有的图像传感器的种类、拍摄条件、根据传感器的输出值而生成图像数据时使用的算法、使用的滤波器、在对图像数据进行压缩编码时的方式、设定值、向信息处理装置10发送数据时的无线方式等各种主要原因对拍摄图像、进而特征点的提取精度有影响。

例示的要素以往在显示了图像时人看到后适宜识别的方向上进行追求。但是这样决定的条件不一定对特征点提取有利。因此，认为即使利用从以那样的条件取得的拍摄图像提取的特征点进行信息处理，也不会得到满足的处理精度，或没有注意到易于估计进一步的精度提高。

因此，在本实施方式中，在至特征点的提取为止的阶段，从提取性能的观点来评价图像，从而将对处理精度给予的影响的原因与后级的信息处理分开。此外，将性能指标数值化，能够进行容易的比较，从而能够从图示的大量的主要原因确定影响大的主要原因，或高效地进而自动地决定最佳的条件。另外，作为调整对象的主要原因如图所示，包含图像传感器的种类、算法等单独有实体的主要原因、和曝光时间、伽马值等数值。在以后的说明中将它们总括而称为“调整对象参数”。

图4表示评价时的信息处理装置10以及摄像装置12的功能块的结构。图4所示的各功能块在硬件上能够由CPU、GPU、主存储器等实现，在软件上由从硬盘、记录介质加载到主存储器的计算机程序等实现。从而，这些功能块能够通过仅硬件、仅软件、或它们的组合以各种各样的形式来实现对本领域技术人员来说应当理解，不限定于其中一个。

摄像装置12除了由图像传感器构成的摄像部62之外，还包含形成应发送至信息处理装置10的拍摄图像的数据的数据形成部60、储存用于拍摄条件、数据形成的参数的设定值的参数存储部64。在该参数中，包含调整对象参数。摄像部62包含CCD、CMOS等图像传感器，拍摄评价用图。此时，以按照参数存储部64中储存的曝光时间、光阑值、增益值等设定值的条件进行摄像。

数据形成部60根据按从摄像部62输出的每个像素的电信号而生成拍摄图像的数据。具体而言，进行解马赛克处理、缺陷像素的校正处理、伽马校正等。此外，数据形成部60对所生成的图像的数据进行压缩编码，以规定的通信协议来发送给信息处理装置10。关于用于这些各种处理的算法、滤波器等，也按照参数存储部64中储存的设定。

信息处理装置10包含取得拍摄了评价用图的图像的数据的图图像取得部70、储存拍摄图像的数据的图像储存部71、以与应用时相同的方法从拍摄图像提取特征点的特征点提取部72、以适于评价用图的方法取得正确的特征点的坐标的正解坐标取得部74、计算特征点提取的性能指标的性能指标计算部76、将预先设定的目标值和性能指标进行比较的比较部78、储存该目标值的目标值存储部80、基于比较结果对调整对象参数进行调整的调整部82、以及储存调整对象参数的设定候选的参数候选存储部84。

图图像取得部70从摄像装置12取得拍摄了图的图像的数据，遵照所采用的压缩编码形式进行解码、扩展并在图像储存部71中展开。特征点提取部72从图像储存部71读出图像的数据，以与应用时相同的算法来提取特征点。作为以图像识别等目的来提取特征点的技术，Harris、Eigen、Fast(快速分割测试特征(Features from Accelerated SegmentTest))、SIFT(尺度不变特征转换(Scale-Invariant Feature Transform))、SURF(快速鲁棒特征(Speeded Up Robust Features))等各种算法被实用化。

在本实施方式中采用哪个都可以，根据信息处理的目的等进行适当选择。或还能够将算法本身设为调整对象参数。各个算法是一般的算法所以在此省略说明。

正解坐标取得部74从图像储存部71读出图的拍摄图像的数据，使用适于评价用图的规定的算法，取得本来应提取的特征点在图像平面上的位置坐标(以后，称为“正解坐标”)。即，以与特征点提取部72提取特征点不同的针对于评价用图的方法来取得正解坐标。具体例如后述。

性能指标计算部76将从评价用图的相同的拍摄图像，由特征点提取部72提取的特征点、和由正解坐标取得部74取得的正解坐标进行对照，从而将特征点的提取性能作为数值来表示。性能指标计算部76也可以进而生成在拍摄图像上以图形等表示特征点提取部72提取的特征点、和正解坐标取得部74取得的正解坐标的图像，并显示在显示装置16。由此，开发者、用户能够在感觉上理解特征点的提取准确地进行到什么程度。

比较部78从目标值存储部80读出预先设定的性能指标的目标值，与性能指标计算部76计算出的实际的性能指标进行比较。关于性能指标的目标值，使用所提取到的特征点进行信息处理的结果，通过实验等求得保证得到充分的处理精度的值。目标值也可以通过信息处理的内容、检测对象的被摄体等而设定多个。在该情况下，按这些要素的每些，得到最佳的调整对象参数。

调整部82根据性能指标是否达到目标值来判定是否需要调整。判定结果也可以显示在显示装置16。此外，在判定为需要调整时，调整部82决定调整对象参数的新的设定。如上所述，对调整对象参数来说，考虑曝光时间、光阑值、压缩率等连续地使数值变化的调整对象参数、从算法、滤波器等单独的实体选择的调整对象参数。

在参数候选存储部84中，关于使数值变化的调整对象参数储存可调整的数值范围及其变化的方法所涉及的规则，关于从候选选择的调整对象参数储存可选择的候选及其选择规则。调整部82按照所设定的规则来决定新的设定，更新在摄像装置12的参数存储部64中储存的设定。在调整时，也可以反映实际的性能指标与目标值的差分。即，差分越大则使调整对象参数的调整幅度越大。

另外，通过一次评价来调整的参数也可以是一个，也可以是多个组合。也可以是开发者、用户能够事先指定其对象。此外，关于图像传感器的种类等自动调整困难的参数，能够在显示装置16中显示判定结果等从而设为开发者等的研究材料。若摄像装置12使用以更新后的设定新拍摄并发送的评价用图的摄像图像，再次反复进行性能评价、调整的循环，能够高效地确定最佳的条件。

图5例示评价用图。评价用图200也可以是在板、垫等物体的表面描绘了图图案，也可以将制成为电子数据的图图案显示在显示装置16。通过以规定的距离从正面拍摄那样的评价用图200，从而得到图示那样的图案作为拍摄图像。图示的评价用图200由在相邻之间白黑反转的棋盘状的多个大矩形(例如大矩形202)、和在各大矩形的内部示出的灰色的小矩形(例如小矩形204)构成。

期望在评价用图200中小矩形的灰色浓度具有浓淡度。在该例中，在是否能够将小矩形的四角(角部)作为特征点而准确且不浪费地提取的观点上进行特征点提取性能的评价。即，将应用时的被摄体的像疑似地以小矩形表示而评价提取性能。从而小矩形所示的灰色的深浅度越多，越表示实际的拍摄图像中的像的多样性，能进行正确的评价。

图6是用于说明正解坐标取得部74从图5中示出的评价用图的拍摄图像取得正解坐标的方法的图。另外同图(a)、(b)精选评价用图200的像之中一部分而示出。正解坐标取得部74首先如同图的(a)中白叉记号所示，提取大矩形的角部作为特征点，取得其位置坐标。从棋盘状的图案图的拍摄图像提取矩形的角部作为特征点的方法在相机校准中被广泛已知(例如参照(日本)特开2014-92460号公报)，提取算法也使用一般的算法而高精度地实施。

例如能够利用在计算机视觉的领域中广泛使用的开源的openCV中的cornerSubPix函数(http：//docs.opencv.org/2.4/modules/imgproc/doc/feature_detection.html)。正解坐标取得部74使用这样保证了精度的方法，取得拍摄图像中的大矩形的角部的位置坐标。并且如同图的(b)中白圆所示，基于与大矩形的角部的相对位置来提取小矩形的角部。

具体而言，如同图右侧所示，基于大矩形的像的一个角部的位置坐标(x0，y0)、和横向、纵向的边的长度Δx、Δy，求得对应的小矩形的像的角部的位置坐标(x，y)。在原来的评价用图中，若把将大矩形缩小为n％(n＜100)的尺寸的小矩形配置于大矩形的中心，则小矩形的角部的位置坐标(x，y)如下表示。

【数1】

在此右边的正负的符号根据大矩形与小矩形的对应的角部的位置关系而切换。另外为了更高精度地求得正解坐标，期望对拍摄了评价用图的图像，实施去除基于透镜等的失真的校正处理。在这样的校正处理中，能够将使用了棋盘状的图案图的一般的方法、例如由上述的openCV提供的函数直接应用于本实施方式的评价用图。

像这样，通过将在以往相机校准中使用的图案包含于评价用图的一部分，从而能够同时达成特征点的提取性能评价以外的校准处理。此外，通过将小矩形的至少一个设为与调整曝光、白色平衡的灰色卡同色，从而也能同时进行这些调整。

另一方面，如上所述，特征点提取部72从相同的拍摄图像以与应用时相同的算法来提取小矩形的角部。即，相对于正解坐标取得部74使用针对于棋盘状的图案的算法，特征点提取部72使用即使是任意的被摄体也能够提取特征点的算法。

例示的评价用图设想能够提取其中的角部的算法，所以在大矩形的内部示出较小的矩形。其中，也可以根据在应用时使用的特征点提取算法，将在大矩形的内部示出的图形的形状设为矩形以外。只要与大矩形的角部的位置关系已知，就能够与图形无关地取得正解坐标，所以能够与矩形同样地评价提取性能。

图7将正解坐标取得部74取得了坐标的小矩形的角部、和特征点提取部72提取的特征点进行比较。(a)、(b)所示的评价用图的拍摄图像之中，(a)以四边形包围示出正解坐标取得部74取得的角部的位置，(b)以四边形包围示出特征点提取部72提取的特征点。

如(a)所示，正解坐标取得部74能够通过上述的方法准确地提取小矩形的角部。另一方面，特征点提取部72不能提取小矩形的角部，或误提取角部以外的部位。另外在(b)中，将包围误提取的特征点的四边形以更浓的线来表示。

若在评价用图的一方向上以大矩形和小矩形的对比度逐渐变强的方式使小矩形的灰色浓度变化，则能够易于掌握对比度与误提取的频度的关系。性能指标计算部76将特征点提取部72提取的特征点如(b)所示那样显示，从而用户能以目视来确认误提取、提取遗漏的趋势，进行对策的研究。

性能指标计算部76在这样的误提取、提取遗漏的观点上将提取性能数值化，从而能够容易进行多个条件下的结果比较，或自动进行调整对象参数的调整。具体而言，将用于表示信息检索的性能等的尺度即F值(F-measure)如下计算。

【数2】

即F值是Precision(适合率)与Recall(再现率)的调和平均。在此Precision(适合率)是特征点提取部72提取的特征点的个数N之中正解的个数R的比例，Recall(再现率)是应提取的正解的个数、即正解坐标取得部74取得的正解坐标的个数C之中特征点提取部72提取为特征点的个数R的比例，分别如下被提供。

【数3】

通过利用F值，除了所提取的特征点中的错误的多少这样的含义下的“精度”之外，还表示包含提取遗漏的多少的观点的总括的提取性能。图8～11例示对在各种条件下拍摄了评价用图的图像提取的特征点的分布、和所计算出的F值。在各图中，将通过具有四种不同的摄像元件的相机而拍摄的结果进行比较，A、B、C具有单元尺寸为大、中、小的RGB(红绿蓝)传感器，D具有RGB·IR(红外线)传感器。

但是，无论是哪个传感器，都从根据RGB的信号而最终生成的亮度图像提取特征点。图8表示在700勒克斯的比较亮的地点拍摄，进行通常的增益调整的情况下的结果。在这样的好条件下的拍摄中，能减少单元尺寸、有无红外线传感器导致的影响而稳定地得到良好的F值。

图9表示在与图8相同的明亮度的地点拍摄，不进行增益调整的情况下的结果。若与进行了增益调整的情况进行比较，则无论哪个传感器F值都恶化，但恶化的程度不一样，单元尺寸小的C的传感器和还检测红外线的D的传感器恶化显著。

图10表示在比图8、9暗的100勒克斯的地点拍摄，进行了通常的增益调整的情况下的结果。在该情况下，在单元尺寸小的C的传感器中F值进一步恶化。此外已知在单元尺寸大的A、B的传感器中，相对于该程度的照度的变化具有稳健性。

图11表示在比图10更暗的10勒克斯的地点拍摄，进行了通常的增益调整的情况下的结果。其中在还检测红外线的D的传感器中拍摄的图像由于噪声而没有进行正常的特征点提取所以设为未图示。在该情况下，在单元尺寸为中程度的B的传感器中，F值也显著恶化。

即在设想了这样的暗处的情况下，已知对可忍受使用了特征点的信息处理来说，需要使用单元尺寸为规定值以上的传感器。另外，没有示出B、C的传感器中的图像的下方提取到的特征点是基于在从上方累计的误检测的个数超过了规定值时将以后的特征点从显示对象除去这样的软件上的规则。

图12例示S/N比的变化相对于单元尺寸的变化。如图所示，S/N比具有相对于单元尺寸的增加线性地增加的特性。另一方面，在图8～11的结果中，F值相对于单元尺寸的变化不能说是线性，此外根据拍摄环境的照度而其关系较大地变化。例如在相同的单元尺寸下，以某照度为边界而F值剧烈地恶化，成为该边界的照度根据单元尺寸而不同。

从而特征点提取处理的性能的恶化不仅依赖于噪声，还认为各种主要原因复杂地相关。根据本实施方式中说明的方法，通过将那样的性能数值化从而容易进行各种条件下的比较。由此能够区分多个主要原因来评价性能，所以能高效且容易地进行决定最佳的参数的组合，或确认特征点的信息是否能够维持耐受应用时的使用的精度。

图13表示目标值存储部80中储存的目标值的设定信息的数据结构例。目标值设定表260包含应用栏262以及目标值栏264。应用栏262设定作为在各个游戏等应用时用户选择而进行信息处理的单位的应用的识别信息。在目标值栏264中，与各应用对应而设定特征点提取性能指标的目标值。

根据应用，存在要求较高的提取性能的情况，另一方面，还存在不那么追求特征点的提取性能处理也没有破绽的情况。此外，检测对象、所设想的运动也是各种，由此特征点的提取容易度也不同。从而通过按每个应用来设定目标值，能够求得或切换与状况相称的调整对象参数，使得处理成本没有浪费地增大。

接着，说明能够通过上述的结构而实现的信息处理装置10的动作。图14是表示在信息处理装置10评价了特征点提取性能的基础上对调整对象参数进行调整的处理过程的流程图。该流程图在摄像装置12拍摄了评价用图时开始。首先，信息处理装置10的图图像取得部70取得该评价表图的拍摄图像的数据(S10)。

从摄像装置12的摄像至信息处理装置10取得数据为止的各种处理设为与应用时同样。即，关于调整对象参数，也被给予在应用时设想的初始值。图图像取得部70将所取得的数据适当进行解码、扩展等并储存至图像储存部71。接着，特征点提取部72读出该图像的数据，以在应用时设想的算法提取特征点(S12)。

此时，若所提取到的特征点的数目没有超过规定的阈值Th(S14的否)，则判定为需要调整对象参数的调整而不进行性能评价，使调整部82进行参数的调整(S22)。具体而言，调整部82从参数候选存储部84读出下一设定候选，更新摄像装置12的参数存储部64中的设定。在此，阈值Th设定特征点提取明显不适合而不用计算性能指标的较低的值。

若所提取到的特征点的数目超过规定的阈值Th(S14的是)，则正解坐标取得部74取得正解坐标(S16)，性能指标计算部76计算性能评价的指标(S18)。具体而言，按照正解坐标的个数、特征点提取部72提取到的特征点之中正解的个数、非正解的个数来计算F值。此时，性能指标计算部76也可以将在拍摄图像上以正解、非正解以不同的颜色、形状来表示所提取到的特征点的图像显示在显示装置16。

若比较部78将所计算出的性能指标和从目标值存储部80读出的目标值进行比较的结果，性能指标没有达到目标值(S20的是)，则调整部82对调整对象参数进行调整(S22)。具体而言，从参数候选存储部84读出下一设定候选，更新摄像装置12的参数存储部64中的设定。若进行参数的调整，则反映它而重新取得所拍摄、发送的新的拍摄图像的数据(S10)，进行S12～S20的处理。

将其反复，若在S20中特征点提取性能的指标达到目标值则结束处理(S20的否)。由此在摄像装置12的参数存储部64中，设定得到充分的特征点提取性能的处理条件。

图15表示评价用图的另一例。评价用图300具有将规定尺寸的黑圆(例如圆302)在上下左右形成一个量的空隙的基础上排列，在其内部以及空隙部分表示规定尺寸的灰色的三角形(例如三角形304)的图案。在该情况下，首先，通过圆形模型的拟合从拍摄图像检测黑圆的像。并且如同图右侧所示，求得各圆的中心坐标(x0，y0)、(x1，y1)、以及通过它们的纵向、横向的直线的交点的坐标(x1，y0)、(x0，y1)，求得以这些坐标为重心的规定尺寸的三角形的顶点坐标作为正解坐标。

并且，单独通过应用时的算法提取三角形的顶点作为特征点，能够与使用了图5的评价用图的情况同样地求得性能指标。像这样，评价用图的图案是存在准确地求得某部位的坐标的算法的成为基准的单色的图形、和表示为与该图形具有规定的位置关系的具有近似表示应用时的对象物的像的特征点的形状的灰色的图形的组合即可，形状、配置没有被限定。

例如也可以将图5的评价用图200中的小矩形设为三角形，也可以将图15的评价用图300中的三角形设为矩形。此外也可以代替两者的评价用图中的大矩形、圆而是栅格状的直线等。也可以代替小矩形、三角形而设为直线、星形、多边形等。

以上，根据所叙述的本实施方式，使用拍摄了评价用图的图像，从提取处理的观点评价是否适当地得到提取特征点的阶段下的图像。一般而言，从摄像至信息处理装置中的数据展开为止的图像所涉及的处理的条件被最佳化为人眼看到良好的图像。另一方面，那样的条件不限于在特征点提取的观点下适合。从而从特征点提取的观点，对这些处理、所使用的设备给予调整的余地，从而能够更高精度地提取特征点，进而还能够提高使用其的信息处理的精度。

对于特征点的提取的系统结构的适应性作为提取性能指标而数值化。此时，使用与在应用时使用的特征点提取算法不同的方法，求得本来应提取的特征点的坐标，求得加进了误提取以及提取遗漏这两者的尺度。评价用图设为与能够准确地求得本来应提取的特征点的坐标的算法对应的图案。例如，在棋盘状的图案的各矩形的内部表示灰色的小矩形。并且使用一般的算法而首先高精度地检测棋盘状的图案的角部，基于与其的相对位置而求得小矩形的角部坐标。将其与以应用时的算法提取到的特征点进行比较，从而能够求得上述那样的尺度。

即使会对特征点提取处理有影响的主要原因存在多数，条件多样化，也能够通过将提取性能指标作为数值来计算而进行容易的比较。此外装置还能够将其识别，判定是否需要调整，或为了改善性能而进行了调整。作为结果，能够高效地取得用于使用从拍摄图像提取到的特征点进行的信息处理的精度提高的处理条件。

以上，基于实施方式说明了本发明。上述实施方式为例示，本领域技术人员应该理解能够对这些各结构要素、各处理进程的组合进行各种各样的变形例，此外这样的变形例也处于本发明的范围。

例如在本实施方式中，为了适当地得到特征点，对从摄像装置的摄像至信息处理装置中的图像数据的展开为止进行的处理进行了调整，但本发明的用途不限于此。例如在以具有RGB·IR传感器的相机进行拍摄的情况下，对RGB信号漏入IR信号的结果，有时在RGB图像中产生噪声。根据本发明，能够明确地确定从拍摄了评价用图的图像提取到的特征点之中误提取的特征点，所以能够通过该误提取的产生量来评价IR信号的漏入的程度。

在该情况下，通过使用在对来自图像传感器的RGB信号的处理尽可能少的阶段中的图像来计算指标，从而能够与后级的处理引起的误提取分开。此外，若使用基于IR信号的图像来计算指标，则还能够评价在IR传感器中产生的噪声的量。

Claims (12)

1.一种信息处理装置，其特征在于，具备：

评价用图图像取得部，从摄像装置取得表示规定的图案的评价用图的拍摄图像的数据并作为图像而在存储器中展开；

特征点提取部，从所述拍摄图像提取特征点；

正解坐标取得部，以与所述特征点提取部不同的方法，取得应从所述拍摄图像提取的特征点的位置坐标作为正解坐标；以及

性能指标计算部，基于所述特征点提取部提取的特征点和所述正解坐标，计算将得到适于特征点提取的图像的性能数值化后的性能指标并进行输出。

2.如权利要求1所述的信息处理装置，其特征在于，

所述评价用图的图案包含所述正解坐标取得部使用的提取算法作为提取对象的单色的图形、和与其具有规定的位置关系的灰色的图形，

所述正解坐标取得部利用该位置关系，取得所述灰色的图形具有的特征点的坐标作为所述正解坐标。

3.如权利要求1或2所述的信息处理装置，其特征在于，

所述评价用图的图案包含棋盘状的黑以及白的大矩形、和在各大矩形的内部示出的灰色的图形。

4.如权利要求1或2所述的信息处理装置，其特征在于，

所述评价用图的图案包含配置为在上下左右形成一个量的空隙的多个黑圆、和在各圆的内部以及所述空隙表示的灰色的图形。

5.如权利要求2所述的信息处理装置，其特征在于，

所述评价用图的图案中的多个灰色的图形具有多个灰色浓度。

6.如权利要求1或2所述的信息处理装置，其特征在于，还具备：

调整部，在所述性能指标没有达到预先设定的目标值时，对从摄像至特征点提取为止执行的涉及拍摄图像的处理所使用的设定的其中一个进行调整。

7.如权利要求6所述的信息处理装置，其特征在于，

所述目标值根据规定利用了所提取到的特征点的信息处理的应用而不同。

8.如权利要求1或2所述的信息处理装置，其特征在于，

所述性能指标计算部基于所述特征点提取部误提取的点的数目、和提取遗漏的特征点的数目，计算所述性能指标。

9.如权利要求1或2所述的信息处理装置，其特征在于，

所述性能指标计算部把将所述特征点提取部提取到的特征点之中与正解坐标对应的特征点和这以外进行区分而表示在拍摄图像上的图像显示在显示装置。

10.一种评价系统，其特征在于，

包含拍摄表示规定的图案的评价用图的摄像装置、和取得该拍摄图像的数据并评价得到适于特征点提取的图像的性能的信息处理装置，

所述信息处理装置具备：

评价用图图像取得部，从摄像装置取得所述拍摄图像的数据并作为图像而在存储器中展开；

特征点提取部，从所述拍摄图像提取特征点；

正解坐标取得部，以与所述特征点提取部不同的方法，取得应从所述拍摄图像提取的特征点的位置坐标作为正解坐标；

性能指标计算部，基于所述特征点提取部提取的特征点和所述正解坐标，计算将所述性能数值化后的性能指标；以及

调整部，在所述性能指标没有达到预先设定的目标值时，对所述摄像装置中的处理所使用的设定的其中一个进行调整，

所述摄像装置具备：

参数存储部，储存通过所述调整部而被调整的设定；以及

数据形成部，按照所述参数存储部储存的设定而生成拍摄图像的数据并发送至所述信息处理装置。

11.一种信息处理装置的性能评价方法，其特征在于，包含：

从摄像装置取得表示规定的图案的评价用图的拍摄图像的数据并作为图像而在存储器中展开的步骤；

从所述拍摄图像提取特征点的步骤；

以与提取所述特征点的步骤不同的方法，取得应从所述拍摄图像提取的特征点的位置坐标作为正解坐标的步骤；以及

基于在提取所述特征点的步骤中提取到的特征点和所述正解坐标，计算将得到适于特征点提取的图像的性能数值化后的性能指标并进行输出的步骤。

12.一种记录介质，其特征在于，存储用于使计算机实现以下功能的计算机程序：

从摄像装置取得表示规定的图案的评价用图的拍摄图像的数据并作为图像而在存储器中展开的功能；

从所述拍摄图像提取特征点的功能；

以与提取所述特征点的功能不同的方法，取得应从所述拍摄图像提取的特征点的位置坐标作为正解坐标的功能；以及

基于在提取所述特征点的功能中提取到的特征点和所述正解坐标，计算将得到适于特征点提取的图像的性能数值化后的性能指标并进行输出的功能。

Images