CN102572264A

CN102572264A - 成像方法和成像装置

Info

Publication number: CN102572264A
Application number: CN2011103973748A
Authority: CN
Inventors: 泷本裕士; 八重田岳; 宫原正典
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-12-09
Filing date: 2011-12-02
Publication date: 2012-07-11
Also published as: JP2012123218A; JP5625844B2; US20120147170A1; US9258491B2

Abstract

在此公开了一种成像方法和成像装置。所述成像方法包括：通过成像装置，检测能够在预定区域存在的用户；计算所检测的用户的眼睛和手的三维坐标；基于所计算的所述用户的眼睛和手的三维坐标来确定成像范围；以及对所确定的成像范围成像。

Description

成像方法和成像装置

技术领域

本公开涉及成像方法和成像装置，具体地说，涉及使得能够使用在例如旅游胜地的拍摄地点安装的照相机来进行拍摄的成像方法和成像装置。

背景技术

当人参观作为旅游胜地等中的所谓拍摄地点的场所时，该人需要随身携带照相机以在该地点拍摄照片。

另外，即使当人携带照相机时，为了在所述地点拍摄该人所属的团体的团体照片，例如需要请求团体之外的人执行快门操作，或需要团体内的某人执行快门操作而不被拍摄在团体照片中。另外，可以使用定时器功能或遥控快门功能。

对于未携带照相机的情况，已经提出了一种用于使得能够使用预先安装在旅游胜地等的照相机来拍摄纪念照片的方法(例如，参见日本公开专利No.2004-282769)。

发明内容

然而，在日本公开专利No.2004-282769中所述的发明仅使得能够以预定的构图(拍摄的方向和范围等)来拍摄，而用户不能确定照片的构图。

已经根据这样的情况做出了本公开。期望使得能够在未携带照相机的情况下获得以任意构图拍摄的照片。

根据本公开的一个实施例，提供了一种成像方法，包括：通过成像装置，检测能够在预定区域存在的用户；计算所检测的用户的眼睛和手的三维坐标；基于所计算的用户的眼睛和手的三维坐标来确定成像范围；以及对所确定的成像范围成像。

可以通过从用户的眼睛的三维坐标投影由用户的两手的手指识别的矩形的三维坐标来确定所述成像范围。

可以基于所计算的用户的眼睛和手的三维坐标来确定成像方向，并且，可以将针对所确定的成像方向预先设置的最佳构图设置为所述成像范围。

根据本公开的实施例的所述成像方法可以进一步包括：通过所述成像装置，搜索预先存储的图像以查找与作为所述成像的结果而获得的采集图像类似的类似图像；以及，使用所述类似图像来校正所述采集图像。

所述成像方法可以进一步包括：通过所述成像装置，在作为所述成像的结果而获得的所述采集图像中的对象人物中识别属于与所述用户相同的团体的团体成员，其中，可以使用所述类似图像来替换在所述采集图像中的除了所述团体成员之外的对象人物的区域。

根据本公开的另一个实施例，提供了一种成像装置，包括：检测部分，用于检测能够在预定区域中存在的用户；计算部分，用于计算所检测的用户的眼睛和手的三维坐标；确定部分，用于基于所计算的用户的眼睛和手的三维坐标来确定成像范围；以及成像部分，用于对所确定的成像范围成像。

在本公开的实施例中，检测能够在预定区域中存在的用户，计算所检测的用户的眼睛和手的三维坐标，基于所计算的用户的眼睛和手的三维坐标来确定成像范围，以及对所确定的成像范围成像。

根据本公开的所述实施例，可以在没有携带照相机的情况下获得以任意构图拍摄的照片。

附图说明

图1是示出应用本公开的实施例的自动成像系统的配置示例的框图；

图2是示出用户的眼睛和双手与照片的构图之间的关系的图；

图3A、3B和3C是示出用户的手的姿势的样式示例的图；

图4是辅助说明成像处理的流程图；

图5是辅助说明成像后处理的流程图；

图6A、6B和6C是示出消除除了团体成员之外的对象人物的示例的图；以及

图7A、7B、7C和7D是示出消除除了团体成员之外的对象人物的另一个示例的图。

具体实施方式

以下参考附图详细描述用于实现本公开的最佳方式(以下称为实施例)。

本发明的一个实施例提供了一种成像方法，包括：通过成像装置，检测能够在预定区域存在的用户；计算所检测的所述用户的眼睛和手的三维坐标；基于所计算的所述用户的眼睛和手的所述三维坐标来确定成像范围；以及对所确定的所述成像范围成像。

本发明的另一个实施例提供了一种成像装置，包括：检测部分，用于检测能够在预定区域中存在的用户；计算部分，用于计算所检测的所述用户的眼睛和手的三维坐标；确定部分，用于基于所计算的所述用户的眼睛和手的所述三维坐标来确定成像范围；以及成像部分，用于对所确定的成像范围成像。

<1.实施例>

[自动成像系统的配置示例]

图1示出作为本公开的一个实施例的自动成像系统的配置示例。在这个自动成像系统中，响应于用于指示照片的构图的、由在诸如旅游胜地等的所谓拍摄地点的未携带照相机的人(该人将被以下被称为用户)采取的预定姿势(将随后描述)，在周围安装的照相机以用户期望的构图(以下也称为成像范围)来拍摄照片。

自动成像系统10包括经由网络12彼此连接的多个照相机11-1至11-3、成像管理装置13和成像管理装置14。

照相机11-1至11-3被安装在可以作为拍摄地点的场所。具体地说，照相机11-1至11-3被安装在例如具有预定长度的轨道上，并且在轨道上移动，由此可以改变照相机11-1至11-3的安装位置。也可以在成像方向(方位角和仰角)和变焦放大率方面改变照相机11-1至11-3。

照相机11-1采集用于检测用户并测量用户的眼睛和两手的三维坐标的图像(以下称为第一图像)。照相机11-1在用户可以在拍摄地点存在的方向上执行连续拍摄。照相机11-1在任何时间向成像管理装置13输出作为连续拍摄的结果而获得的第一图像。

照相机11-2采集用于测量在用户和站在诸如拍摄地点的风景或建筑物等的背景前的对象人物之间的距离的第二图像。照相机11-2在可以拍摄用户和在拍摄地点的对象人物两者的方向上进行拍摄。照相机11-2向成像管理装置13输出作为拍摄的结果而获得的第二图像。

照相机11-3在预定的采样周期中对由成像管理装置13指定的拍摄范围成像。照相机11-3向成像管理装置13输出作为成像的结果获得的图像(以下称为第三图像)。另外，照相机11-3在指定的时刻对由成像管理装置13指定的拍摄范围成像。照相机11-3向成像管理装置13输出作为成像结果获得的图像(以下称为采集图像)以及成像条件(照相机11-3的安装位置的坐标、成像方向和变焦放大率)。

此外，照相机11-3周期性地采集图像，作为在不同条件下要与采集图像组合的类似图像(随后详细描述)的候选图像，所述条件诸如是构图、天气、季节和时间等。照相机11-3经由网络12向成像管理装置14提供在图像采集时所获得的图像和成像条件。

假定照相机11-1至11-3的成像条件(照相机11的安装位置的坐标、成像方向和变焦放大率)经由网络12通知给成像管理装置13，并且总是由成像管理装置13掌握。

另外，虽然在上面的说明中为了方便而区分照相机11-1至11-3彼此的用途，但是照相机11-1至11-3的每一个可以提供其他照相机的用途，或共同服务于另一个照相机的用途。

不必单独地为自动成像系统10提供照相机11-1至11-3。可以使用已经安装的监视照相机和观测照相机等作为照相机11-1至11-3。

成像管理装置13包括已经执行人的面部、眼睛和手等的图像的机器学习的图像识别器。通过使用图像识别器，成像管理装置13在任何时间从自照相机11-1经由网络12输入的第一图像中检测作为用户的人。具体地说，例如，成像管理装置13将采用预定姿势(在图2中所示的两手的手指形成相应的L形，并且由此指示矩形)的人视为和检测为用户。

或者，例如，可以预先向用户提供用于指示用户的标记(例如，徽章或粘贴物)，以附着到用户的胸部等，并且，附着有所述标记的人可以被检测为用户。

成像管理装置13保存关于可以由相应的照相机11-1和11-2拍摄的范围的三维映射数据。

图2示出在用户的眼睛和两手与由照相机1103成像的成像范围(也称为构图，如上所述)之间的关系。

假定用户采取一种姿势，使得两手的手指形成相应的L形并由此在成像方向上指示作为成像范围的矩形的相对顶点，以便指定成像范围，并且用户执行预定的快门操作(例如，弯曲食指的顶端)以指定成像时刻。

当用户采用如上所述的姿势时，计算用户的眼睛21的三维坐标。接下来，计算总共四个点的三维坐标，这四个点是由用户的左手22L和右手22R之一的手指形成的L形的三个点和由用户的另一只手的手指形成的L形的顶点，并且，识别由用户的手形成的矩形的四个顶点的三维坐标。此外，通过以用户的眼睛21的位置作为基准，执行由用户的手形成的矩形的四个顶点的透视投影，来确定成像范围23。

顺便提及，成像管理装置13可以预先保存要在安装了照相机11-1至11-3的拍摄地点拍摄的照片的几种理想构图，并且所述几种构图中与由用户的手指示的方向重合的构图可以被用作成像范围23。

通过在所述地点采集的多个图像的构图分析来确定理想构图，或者允许下载多个图像并且基于所述多个图像的下载数目来确定理想构图，或者允许关于多个图像的评价进行投票并基于投票的结果来确定理想构图，这些是足够的。替代地，可以从综合在一起的这些结果来确定理想构图。

作为成像范围23的理想构图的使用为用户提供了下述优点：可以仅通过粗略地指定拍摄方向来获得良好构图的图像。在自动成像系统10侧也存在下述优点：即使当由于照相机11等的位置或成像方向导致不能精确地识别用户的眼睛和手的位置时，也可以确定成像范围。

返回图1，成像管理装置13通过使用图像识别器来从第一图像识别用户的眼睛和双手的位置，并基于与第一图像对应的三维映射数据来计算用户的眼睛和双手的三维坐标。此外，成像管理装置13基于从照相机11-2输入的第二图像和与第二图像对应的三维映射数据来计算用户与对象人物之间的距离。此外，成像管理装置13基于所计算的眼睛和双手的三维坐标和所计算的用户与对象人物之间的距离来确定成像范围23，并向照相机11-3通知该成像范围23。

顺便提及，取代如上所述的保存三维映射数据的成像管理装置13，照相机11-1至11-2可以每一个被替换为立体照相机，使得可以基于立体匹配来测量到对象的距离。替代地，可以将范围传感器包含到照相机11-1和11-2中。由此可以计算用户的眼睛和双手的三维坐标，并且在不使用三维映射数据的情况下计算用户与对象人物之间的距离。

成像管理装置13在依序从照相机11-3输入的第三图像中出现的对象人物中估计与用户属于同一团体的人(以下将这些人称为团体成员)，并产生用于指示估计的结果的成像前团体信息。具体地说，成像管理装置13通过面部识别处理来从第三图像提取人的面部的眼睛，并估计其视线的方向持续向用户的方向达特定时间的人是团体成员。所产生的成像前团体信息与用于识别用户的信息(以下将该信息称为用户信息)相关联，然后经由诸如因特网等的网络12被通知给成像管理装置14。

另外，当成像管理装置13基于第一图像检测到用户进行的预定快门操作(例如，弯曲手指的顶端以形成L形)时，成像管理装置13使得照相机11-3与所述快门操作的时刻同步地对成像范围23成像，并由此获得采集图像。顺便提及，在随后描述的定时器模式中，在从所述快门操作的时刻延迟预定时间的时刻进行成像是足够的。所获得的采集图像与用户信息相关联，然后经由网络12被输出到成像管理装置14。顺便提及，在预定的采样周期中输入的第三图像中的与所述快门操作的时刻重合的第三图像可以被视为采集图像。

成像管理装置14分析经由网络12从成像管理装置13输入的采集图像，在采集图像中出现的对象人物中估计团体成员，并产生用于指示估计结果的成像后团体信息。

具体地说，如在成像前团体信息的产生中那样，通过面部识别处理从采集图像提取人的面部的眼睛，并估计其视线方向是用户的方向的人是团体成员。另外，也可以通过下述方式提高成像后团体信息的精度：在与所涉及的采集图像串行地采集的另一个采集图像中估计团体成员，其中，所述团体成员对应于相同的用户，并且，仅将在多个采集图像中被重复地估计为团体成员的人视为团体成员。

此外，成像管理装置14最后仅将根据成像前团体信息和成像后团体信息在对象人物中被重复地估计为团体成员的对象人物判断为团体成员，将团体成员的面部与用户信息相关联，并在由成像管理装置14本身管理的团体DB(数据库)中登记与用户信息相关联的团体成员。

此外，成像管理装置14通过将照相机11-3的安装位置的坐标、成像方向和变焦放大率与构图作比较来从由成像管理装置14管理的图像DB中搜索与所涉及的采集图像类似的图像(以下称为类似图像)。

顺便提及，假定图像DB与照相机11-3的安装位置的坐标、成像方向和变焦放大率相关联地存储在不同的构图、天气、季节和时间等条件下由照相机11-3采集的多个图像。顺便提及，因为如将随后描述的，使用未拍摄到人的区域作为类似图像，所以期望在类似图像中未拍摄到任何人。然而，难以在拍摄地点中无人被拍摄的时刻采集类似图像。因此，在类似条件(构图、天气、季节和时间等)下采集的大量图像中无人被拍摄的区域可以彼此组合，以产生无人被拍摄的类似图像，并且存储所述类似图像。

成像管理装置14产生处于下述状态的采集图像：通过将采集图像中的拍摄到除了团体成员之外的人物的区域替换为类似图像中的无人被拍摄的对应区域，来消除除了团体成员之外的人物。处于消除了除团体成员之外的人物的状态中的采集图像与用户信息相关联地存储在图像DB中。当用户例如使用便携式电话或计算机等经由网络12访问成像管理装置14时，可以显示或下载处于消除了除团体成员之外的人物的状态中的采集图像。

[改变成像模式]

图3A、3B和3C示出在指定成像范围23时用户的双手的姿势的不同样式。可以根据这些不同样式来改变成像模式。

例如，如图3A中所示，当用户使用拇指和另一个手指(食指等)形成L形并且两手的背部朝向用户自己时，设置正常模式(在该模式中，响应于快门操作而立即执行成像一次)。

另外，例如，如图3B中所示，当用户使用拇指和另外两个手指(食指和中指等)形成L形并且两手的背部朝向用户自己时，设置快速拍摄模式(在该模式中，响应于快门操作多次执行成像)。

此外，例如，如图3C中所示，当用户将两手的手掌朝向用户自己时，设置定时器模式(在该模式中，在快门操作之后几秒执行成像)。当使用定时器模式时，用户可以移动到成像范围23来作为对象人物。

在图3A至3C中所示的手的姿势的样式和与各个样式对应的成像模式是示例，并且各种组合是可能的。

[操作的说明]

接下来说明自动成像系统10的操作。自动成像系统10的操作包括由照相机11-1至11-3和成像管理装置13进行的成像处理以及由成像管理装置14执行的成像后处理。

图4是辅助说明成像处理的流程图。

在自动成像系统10被操作的同时，该成像处理持续被重复地执行。

在步骤S1中，成像管理装置13监控在任何时间经由网络12从照相机11-1输入的第一图像。在步骤S2中，成像管理装置13确定从第一图像是否检测到用户。当未确定检测到用户时，处理返回到步骤S1，以继续监控第一图像。当在步骤S2中确定检测到用户时，处理前进到步骤S3。

在步骤S3中，成像管理装置13从第一图像检测用户的眼睛和两手的位置。在步骤S4中，成像管理装置13计算所检测的用户的眼睛和两手的三维坐标。此外，成像管理装置13在步骤S5中基于从照相机11-2输入的第二图像和与第二图像对应的三维映射数据来计算用户与对象人物之间的距离，基于用户的眼睛和两手的三维坐标以及在用户与对象人物之间的距离来确定成像范围23，并向照相机11-3通知该成像范围23。

根据该通知，在步骤S6中，照相机11-3在预定的采样周期中对所通知的成像范围成像，并向成像管理装置13依序输出作为成像的结果而获得的第三图像。成像管理装置13从在从照相机11-3依序输入的第三图像中拍摄的对象人物中估计团体成员，并产生用于指示估计结果的成像前团体信息。另外，成像管理装置13从第一图像确定用户的手的姿势的样式，并确定成像模式。

在步骤S7中，成像管理装置13监控从照相机11-1输入的第一图像，并且等待直到成像管理装置13检测到用户的预定快门操作。当检测到用户的预定快门操作时，处理前进到步骤S8。

在步骤S8中，成像管理装置13使得照相机11-3根据所确定的成像模式来对成像范围23成像，并由此获得采集图像。成像管理装置13将所获得的采集图像和所产生的成像前团体信息与用户信息相关联，并经由网络12向成像管理装置14发送与用户信息相关联的采集图像和成像前团体信息。成像处理然后结束。

图5是辅助说明成像后处理的流程图。当成像管理装置14接收到与用户信息相关联的采集图像和成像前团体信息时，开始该成像后处理，与用户信息相关联的采集图像和成像前团体信息是从成像管理装置13发送的。

在步骤S11中，成像管理装置14分析来自成像管理装置13的采集图像，在采集图像中拍摄的对象人物中估计团体成员，并产生用于指示估计结果的成像后团体信息。

在步骤S12中，成像管理装置14最后确定在采集图像中的对象人物中根据成像前团体信息和成像后团体信息被重复地估计为团体成员的对象人物是团体成员。

在步骤S13中，成像管理装置14搜索由成像管理装置14本身管理的图像DB以查找与所涉及的采集图像类似的类似图像。在步骤S14中，成像管理装置14例如将如图6A中所示的采集图像中的拍摄到除了团体成员之外的人的区域替换为如图6B中所示的类似图像中的无人被拍摄到的对应的区域，并由此产生处于如图6C中所示的消除了除了团体成员之外的人的状态的采集图像。图像后处理然后结束。

[在采集图像中消除除了团体成员之外的对象人物的另一个示例]

图7A、7B、7C和7D示出使用类似图像在采集图像中消除除了团体成员之外的对象人物的另一个示例。

如图所示，可以从一个采集图像产生仅分别存在团体成员(团体成员X和团体成员Y)的多个图像。

如上所述，根据自动成像系统10，在旅游胜地等的用户可以在用户未携带照相机的情况下获得在期望的方向上成像的照片。

另外，通过将照相机安装在高处或将照相机安装在通常禁入的区域中，可以获得通常不能由个人拍摄到的具有构图的照片。另外，当安装例如用于专业用途的高性能照相机时，可以获得通常不能被个人拍摄到的高图像质量的照片。

此外，成像管理装置13可以预先保留用于要在安装了照相机11-1至11-3的拍摄地点中成像的照片的几种理想构图，并且，所述几种构图中在由用户的手指示的成像方向上的构图可以被用作成像范围23。

通过在所述地点采集的多个图像的构图分析来确定理想构图，或者允许下载多个图像并基于所述多个图像的下载数目来确定理想构图，或者允许关于多个图像的评价进行投票并基于投票的结果来确定理想构图，这些是足够的。替代地，可以从综合在一起的这些结果来确定理想构图。由此，即使不善于拍摄照片的用户也可以成像有良好构图的照片(获得有良好构图的图像)。另外，即使当不能精确地计算用户的眼睛和手的三维坐标时，也可以确定成像范围23。

在本说明书中，系统指的是整体由多个装置形成的设备。

应当注意，本公开的实施例不限于上述实施例，并且在不偏离本公开的精神的情况下，可以进行各种改变。

本公开包含与在2010年12月9日在日本专利局提交的日本优先权专利申请JP 2010-274231中公开的主题相关的主题，该日本优先权专利申请的整体内容通过引用合并在此。

本领域内的技术人员应当明白，可以根据设计要求和其他因素来进行各种变型、组合、子组合和改变，只要它们在所附的权利要求或其等同内容的范围内。

Claims

1.一种成像方法，包括：

通过成像装置，

检测能够在预定区域存在的用户；

计算所检测的所述用户的眼睛和手的三维坐标；

基于所计算的所述用户的眼睛和手的所述三维坐标来确定成像范围；以及

对所确定的所述成像范围成像。

2.根据权利要求1所述的成像方法，

其中，通过从所述用户的眼睛的所述三维坐标投影由所述用户的两手的手指识别的矩形的三维坐标，来确定所述成像范围。

3.根据权利要求1所述的成像方法，

其中，基于所计算的所述用户的眼睛和手的所述三维坐标来确定成像方向，并且，将针对所确定的成像方向预先设置的最佳构图设置为所述成像范围。

4.根据权利要求2所述的成像方法，进一步包括：

通过所述成像装置，

搜索预先存储的图像以查找与作为所述成像的结果而获得的采集图像类似的类似图像；以及

使用所述类似图像来校正所述采集图像。

5.根据权利要求4所述的成像方法，进一步包括：

通过所述成像装置，

在作为所述成像的结果而获得的所述采集图像中的对象人物中识别属于与所述用户相同的团体的团体成员；

其中，使用所述类似图像来替换在所述采集图像中的除了所述团体成员之外的对象人物的区域。

6.根据权利要求3所述的成像方法，进一步包括：

通过所述成像装置，

使用所述类似图像来校正所述采集图像。

7.根据权利要求6所述的成像方法，进一步包括：

通过所述成像装置，

8.一种成像装置，包括：

检测部分，用于检测能够在预定区域中存在的用户；

计算部分，用于计算所检测的所述用户的眼睛和手的三维坐标；

确定部分，用于基于所计算的所述用户的眼睛和手的所述三维坐标来确定成像范围；以及

成像部分，用于对所确定的成像范围成像。