CN111801725A - 图像显示控制装置及图像显示控制用程序 - Google Patents

Abstract

本发明提供图像显示控制装置和图像显示控制用程序，该图像显示控制装置具备：对象物检测部(13)，其从显示虚拟空间图像的HMD(200)上搭载的照相机(202)拍摄到的现实世界的动态图像，检测位于距HMD(200)规定距离以内的位置处的对象物；和图像重叠部(15)，其将包含该对象物的规定范围的图像重叠显示于虚拟空间图像上；当用户在搭载于HMD(200)上的照相机(202)所拍摄的范围的身边进行所需的操作时，通过使包含该手的规定范围的拍摄图像重叠显示于虚拟空间图像上，从而用户在佩戴HMD(200)的状态下，也能够一边观察重叠显示于虚拟空间图像上的拍摄图像一边适当地进行所需的操作。

Description

图像显示控制装置及图像显示控制用程序

技术领域

本发明涉及图像显示控制装置及图像显示控制用程序，尤其适用于控制针对头戴式显示器描绘的虚拟空间中的图像的显示的装置中。

背景技术

近年来，让人宛如现实般地体验计算机中创造的虚拟世界的虚拟现实(VR：Virtual Reality)技术得到广泛应用。VR的应用例多种多样，但一般是用户佩戴护目镜式的HMD(头戴式显示器)，并在通过计算机在HMD上描绘的三维虚拟空间中，用户能够虚拟地进行各种体验。VR也能够向用户呈现超越时间、空间这一现实制约的世界。

使用护目镜式HMD的VR所具备的魅力之一在于，HMD之外的现实世界被完全屏蔽，因而用户能够沉浸于虚拟现实的世界中。然而，完全屏蔽现实世界在成为VR的魅力的同时，反过来也存在着不利之处。例如，由于佩戴HMD时完全无法看到外界，因此，如果在HMD中呈现的虚拟空间中行走而使用户实际行走的话，则有可能碰到周围的障碍物。

目前，已提出了旨在解决上述问题的技术(例如参照专利文献1、2)。在专利文献1所述的系统中，根据搭载于HMD上的照相机拍摄到的外界的图像检测对于佩戴HMD的用户而言的障碍物，并计算检测到的障碍物与用户之间的距离。然后，将由检测到的障碍物替换而成的虚拟对象在显示于HMD的虚拟空间内合成至与到障碍物的距离相对应的位置处。

专利文献2中也公开了如下技术，即：在显示于HMD上的图像中，为了告知用户其身边存在桌子等障碍物，而使与桌子对应的虚拟对象重叠显示于虚拟空间的图像上。

专利文献1：日本专利特开2013-257716号公报

专利文献2：日本专利特开2017-102298号公报

发明内容

根据上述专利文献1、2所述的技术，由于用户能够通过重叠显示于虚拟空间图像上的障碍物的虚拟对象而掌握显示于HMD上的虚拟空间图像的外界所存在的障碍物的存在位置，因此，用户能够在佩戴HMD的状态下避开障碍物行动。由此，能够避免因为现实世界被完全屏蔽所带来的VR的不利之一。

然而，即使使用上述专利文献1、2中所述的技术，也存在用户在佩戴HMD的状态下无法进行现实世界中的操作这一问题。例如，无法在观看HMD上显示的虚拟空间图像的同时，在手里做笔记以将感兴趣的事物写入备忘录、或者操作智能手机。因此，目前必须进行如下繁杂的操作，即：暂时停止再生虚拟空间图像并取下HMD，在进行了所需操作之后，再次佩戴HMD并重新开始再生虚拟空间图像。

本发明是为了解决上述问题而完成的，其目的在于，使用户能够在佩戴HMD的状态下容易地进行现实世界中的操作。

为了解决上述问题，在本发明中，在从显示虚拟空间图像的头戴式显示器上搭载的照相机拍摄到的现实世界的动态图像检测到位于距头戴式显示器规定距离以内的位置处的对象物时，在规定距离以内的位置处检测到对象物的期间，将包含该对象物的规定范围的拍摄图像重叠显示于虚拟空间图像上。

(发明效果)

根据上述那样构成的本发明，当用户在搭载于头戴式显示器上的照相机所拍摄的范围的身边进行所需的操作时，由于包含该手的规定范围的拍摄图像重叠显示于虚拟空间图像上，因此，用户在佩戴头戴式显示器的状态下，也能够一边观察重叠显示于虚拟空间图像上的拍摄图像一边适当地进行所需的操作。这样，根据本发明，用户在佩戴头戴式显示器的状态下，也能够容易地进行现实世界中的操作。

附图说明

图1是表示第一实施方式涉及的图像显示控制装置的功能构成例的框图。

图2是用于说明本实施方式涉及的对象物检测部的处理内容的图。

图3是用于说明第一实施方式涉及的图像重叠部的处理内容的图。

图4是表示第一实施方式涉及的图像显示控制装置的动作例的流程图。

图5是表示第二实施方式涉及的图像显示控制装置的功能构成例的框图。

图6是用于说明第二实施方式涉及的图像重叠部的处理内容的图。

图7是表示第二实施方式涉及的图像显示控制装置的动作例的流程图。

图8是用于说明在第二实施方式中可变地设定重叠区域的变形例的图。

(符号说明)

11：图像再生部

12：拍摄图像获取部

13：对象物检测部

14：位置检测部

15、17：图像重叠部

16：对象物判断部

100、100’：图像显示控制装置

200：HMD

201：姿势检测传感器

202：照相机

具体实施方式

(第一实施方式)

以下，根据附图对本发明的第一实施方式进行说明。图1是表示第一实施方式涉及的图像显示控制装置100的功能构成例的框图。第一实施方式涉及的图像显示控制装置100用于再生存储于VR图像存储部300中的虚拟空间图像，并使其显示于HMD200上。HMD200中搭载有姿势检测传感器201和照相机202。第一实施方式涉及的图像显示控制装置100根据该姿势检测传感器201和照相机202的输出控制显示于HMD200上的图像。

如图1所示，第一实施方式的图像显示控制装置100的功能构成包括图像再生部11、拍摄图像获取部12、对象物检测部13、位置检测部14以及图像重叠部15。该等各功能块11～15可以由硬件、DSP(Digital Signal Processor：数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块11～15实际上具备计算机的CPU、RAM、ROM等而构成，并通过运行RAM或ROM、硬盘或者半导体存储器等的记录介质中存储的图像显示控制用程序而实现。

图像再生部11再生存储于VR图像存储部300中的虚拟空间图像并使其显示于HMD200上。在显示该虚拟空间图像的HMD200中，搭载有由陀螺仪传感器或加速度传感器构成的姿势检测传感器201，能够检测佩戴HMD200的用户的头部的运动。图像再生部11控制虚拟空间图像的显示，以使通过HMD200的显示实现的虚拟空间图像的视野根据姿势检测传感器201检测到的用户头部的运动而动态地改变。

拍摄图像获取部12获取通过HMD200上搭载的照相机202拍摄的现实世界的图像。照相机202搭载于HMD200的前面或上面，并以一定的周期始终拍摄HMD200的前方。拍摄图像获取部12以动态图像(按时间序列连续的多张帧图像的集合)的形式获取照相机202所拍摄的现实世界的图像。

对象物检测部13从拍摄图像获取部12所获得的动态图像中检测位于距HMD200规定距离以内的位置处的对象物。例如，对象物检测部13使用公知的图像识别技术，在拍摄图像获取部12所获得的动态图像的每个帧图像中检测帧图像内所包含的物体。然后，使用公知的测距技术测量检测到的物体与HMD200之间的距离，并且仅将位于规定距离以内的物体检测为上述对象物。

其中，对象物检测部13可以将帧图像内包含的所有物体作为检测的对象，但也可以仅检测满足一定条件的物体。例如，既可以仅检测拍摄为规定大小以上的物体，也可以仅检测被拍摄至帧图像的周缘部的规定范围以外的中央区域中的物体。此外，与检测到的物体之间的距离的测量，可以通过使用立体相机或单眼相机拍摄的图像测量与物体之间的距离的公知方法进行。

此外，这里说明了对拍摄图像进行分析而测量与物体之间的距离的例子，但并不限定于该方法。例如，也可以在HMD200上搭载使用激光、红外线、超声波等的距离传感器，并利用该距离传感器来测量与物体之间的距离。此外，可以应用测量与物体之间的距离的各种公知技术。

图2是用于说明对象物检测部13的处理内容的图。在图2中，AR所示的阴影区域表示HMD200所搭载的照相机202的拍摄范围。位于该拍摄范围AR内的物体OBT1、OBT2包含在照相机202拍摄的图像中。而且，通过拍摄图像获取部12获得该拍摄图像。对象物检测部13分别检测出通过拍摄图像获取部12所获得的拍摄图像内包含的物体OBT1、OBT2与HMD200(照相机202)之间的距离d1、d2，并仅将该距离在规定距离以下的物体OBT1检测为对象物。此外，假设d1≤规定距离，d2＞规定距离。

位置检测部14检测通过对象物检测部13检测出的对象物相对于HMD200的相对位置。相对位置是指包括从HMD200至对象物的方向及距离的信息。与检测出的对象物之间的距离可以通过上述公知的方法检测。另外，朝向检测出的对象物的方向可以利用公知的图像识别技术根据拍摄范围AR与拍摄图像内所呈现的对象物的位置之间的关系进行检测。

此外，这里说明了对拍摄图像进行分析而检测对象物的相对位置的例子，但并不限定于该方法。例如，还可以在HMD200上搭载使用雷达或LiDAR等的位置检测传感器，并通过该位置检测传感器检测对象物的相对位置。此外，可以应用检测对象物的相对位置的各种公知技术。

在通过对象物检测部13在规定距离以内的位置中检测到对象物的期间，图像重叠部15将包含对象物的规定范围的图像重叠显示于虚拟空间图像上。此处，图像重叠部15根据位置检测部14检测出的对象物的相对位置，将包含对象物的规定范围的图像重叠显示于虚拟空间图像中与相对位置对应的位置(以下称为“现实世界对应位置”)上。图像重叠部15对每个帧图像进行该处理。即，图像重叠部15将包含对象物的规定范围的拍摄图像以动态图像的形式重叠显示于虚拟空间图像的现实世界对应位置上。

此处，包含对象物的规定范围例如是将与通过对拍摄图像(各帧图像)进行图像识别而掌握的对象物的轮廓线外接的矩形区域设为基准区域，并从左右方向及上下方向分别向该基准区域附加规定宽度的扩展区域而成的区域的范围。此外，在由于对象物位于拍摄图像的周缘部而无法在某一方向上附加规定宽度的扩展区域的情况下，对于该方向而言，也可以在能够附加的范围内附加最大宽度的扩展区域。以下，将拍摄图像中设定的包含对象物的规定范围称为“提取范围”。

当通过对象物检测部13仅检测到一个距HMD200在规定距离以内的对象物时，图像重叠部15只要对该一个对象物设定提取范围即可。另一方面，当通过对象物检测部13检测到多个对象物，并且该多个对象物在拍摄图像上重叠或者相接的情况下，图像重叠部15既可以针对多个对象物分别设定提取范围，也可以将该多个对象物视为一个对象物，并针对视为一个的对象物设定提取范围。此外，在将多个对象物视为一个对象物的情况下，该视为一个的对象物相对于HMD200的相对位置采用针对原来多个对象物检测出的相对位置中的任意一个。例如，采用距离HMD200最近的相对位置。

即使在通过对象物检测部13检测到多个对象物的情况下，当该多个对象物在拍摄图像上相互分开时，图像重叠部15也针对多个对象物分别设定提取范围。此外，在针对多个对象物分别设定提取范围的情况下，当该多个提取范围彼此产生重叠时，也可以将该多个对象物视为一个对象物，并对视为一个的对象物设定提取范围。或者，也可以设定一个与产生重叠的多个提取范围外接的大的提取范围。以上，关于提取范围的设定方法，对几个模式进行了说明，但这些仅为示例，也可以利用除此之外的方法设定提取范围。

另外，现实世界对应位置是指从拍摄图像提取并重叠显示于虚拟空间图像上的对象物在虚拟空间中的位置，并且是以使从显示虚拟空间图像的虚拟空间中的用户的虚拟视点至重叠显示的对象物为止的方向及距离与现实世界中从HMD200至对象物为止的方向及距离(位置检测部14检测出的方向及距离)一致的方式在虚拟空间中设定的位置。

图3是用于说明图像重叠部15的处理内容的图。其中，图3中的(a)表示通过拍摄图像获取部12获得的1帧的拍摄图像。另外，图3中的(b)表示将拍摄图像中设定的提取范围的图像重叠显示于虚拟空间图像上的状态。此外，此处为了便于理解说明，假设通过照相机202拍摄的拍摄图像的视场角(视角)与HMD200的显示画面中显示的虚拟空间图像的视场角(视角)相同进行图示，但两者的视场角也可以不同。但是，需要使(拍摄图像的视场角)≤(虚拟空间图像的视场角)。这是因为，若虚拟空间图像的视场角比拍摄图像的视场角小，则会产生无法将呈现于拍摄图像的周缘部的对象物重叠显示于虚拟空间图像的现实世界对应位置上这一情况。

在图3的(a)所示的拍摄图像中，拍摄到人(佩戴HMD200的用户)手OBT11以及该用户把持在手上的智能手机OBT12。人手OBT11及智能手机OBT12是位于距HMD200规定距离以内的位置处的对象物。此外，拍摄图像内还拍摄到人手OBT11及智能手机OBT12以外的物体(距HMD200规定距离以外的非对象物)，但省略图示。另外，假设在距HMD200规定距离以内的位置处，不存在人手OBT11及智能手机OBT12以外的物体。

人手OBT11及智能手机OBT12被对象物检测部13检测为位于距HMD200规定距离以内的位置处的对象物。在此，人手OBT11及智能手机OBT12在拍摄图像上重叠。因此，图像重叠部15将人手OBT11及智能手机OBT12视为一个对象物。并且，将与视为一个的对象物的轮廓线外接的矩形区域作为基准区域31，将从左右方向及上下方向对该基准区域31附加扩展区域而成的区域设定为提取范围32。此外，在图3的(a)的例子中，未从下方附加扩展区域。这是因为，由于佩戴HMD200的用户的手呈现至拍摄图像的下端，因此，基准区域31的下端与拍摄图像的下端相接，不存在继续向下方扩展的区域。

进而，如图3的(b)所示，图像重叠部15提取上述那样设定的提取范围32内的图像PT，并将该提取的图像PT重叠显示于虚拟空间图像VRP的现实世界对应位置(即，与通过位置检测部14在现实世界中检测到的对象物的相对位置对应的虚拟空间上的位置)。在重叠的图像PT上显示有矩形框，使得虚拟空间图像VRP上重叠有其他图像变得一目了然。

图像重叠部15对每个帧图像进行图3所示的处理。由此，在HMD200中，以动态图像的形式显示有虚拟空间图像VRP，并在距HMD200规定距离以内的位置检测到对象物(人手OBT11及智能手机OBT12)的期间，将从拍摄图像提取的包含该对象物的图像PT以动态图像的形式显示在虚拟空间图像VRP上的现实世界对应位置。由此，用户不必取下HMD200，可以通过观看以动态图像的形式显示于现实世界对应位置上的现实世界的拍摄图像PT而适当地进行智能手机的操作。

此外，在图3中，举例说明了用户把持智能手机并进行操作的状态，但是，当然并不限定于智能手机的操作。例如，能够在不取下HMD200的状态下操作家电的遥控器、确认手表的时间、或者在笔记本上写备忘录等。另外，在图3中，将从左右方向及上下方向对基准区域31附加扩展区域而成的区域设定为提取范围32，但是，也可以直接将基准区域31设定为提取范围。

另外，此处说明了将包含对象物的矩形的范围设为提取范围的例子，但本发明并不限定于此。例如，也可以将沿着对象物(在多个对象物重叠或者相接的情况下，也可以是将该多个对象物视为一个的对象物)的轮廓线切出的范围设为提取范围。

图4是表示如以上那样构成的第一实施方式涉及的图像显示控制装置100的动作例的流程图。图4所示的流程图在用户指示再生虚拟空间图像时开始。此外，该图4所示的流程图表示通过对象物检测部13、位置检测部14以及图像重叠部15执行的处理的一例。与此同时，通过图像再生部11继续执行虚拟空间图像的再生和显示。

当图像再生部11开始再生和显示虚拟空间图像时，拍摄图像获取部12获取照相机202拍摄的1帧的图像(步骤S1)。而且，对象物检测部13从拍摄图像获取部12获得的图像检测位于距HMD200规定距离以内的位置处的对象物(步骤S2)。

接着，位置检测部14判断是否通过对象物检测部13检测到位于距HMD200规定距离以内的位置处的对象物(步骤S3)。此处，当未检测到距HMD200规定距离以内的对象物时，处理返回步骤S1，并转移至下一帧的拍摄图像的处理。另一方面，当检测到距HMD200规定距离以内的对象物时，位置检测部14检测该检测到的对象物相对于HMD200的相对位置(步骤S4)。

接着，图像重叠部15根据位置检测部14检测出的对象物的相对位置，将包含对象物的规定范围(提取范围)的图像重叠显示于虚拟空间图像上的现实世界对应位置(与相对位置对应的位置)(步骤S5)。然后，判断图像再生部11是否结束了虚拟空间图像的再生(步骤S6)，当再生未结束时返回步骤S1，当再生结束了时，结束图4所示的流程图的处理。

如以上详细说明，在第一实施方式中，在从显示虚拟空间图像的HMD200上搭载的照相机202拍摄到的现实世界的动态图像检测到位于距HMD200规定距离以内的位置处的对象物时，在规定距离以内的位置处检测到对象物的期间，将包含该对象物的规定范围的图像重叠显示于虚拟空间图像的现实世界对应位置上。

根据如此构成的第一实施方式，若用户在HMD200上搭载的照相机202所拍摄的范围的身边进行所需的操作，则包含用户的手和操作对象物(智能手机或遥控器、手表、备忘录等)的规定范围的拍摄图像重叠显示于虚拟空间图像的现实世界对应位置上，因此，用户即使在佩戴HMD200的状态下，也能够一边观察该现实世界对应位置上显示的图像一边适当地进行所需的操作。由此，根据第一实施方式，用户即使在佩戴HMD200的状态下，也能够容易地进行现实世界中的操作。

此外，在上述第一实施方式中，针对每一帧图像判断是否在距HMD200规定距离以内的位置处检测到对象物，并在检测到的情况下，将提取范围的图像重叠显示于虚拟空间图像上。因此，即使用户仅仅在距HMD200规定距离以内的位置动了一下手、或者任意物体在距HMD200规定距离以内的位置上仅仅存在了很短时间时，也将包含用户的手或物体的提取范围的图像重叠显示于虚拟空间图像上。但是，如果每次都像这样将仅在很短时间内位于规定距离以内的位置上的物体重叠显示于虚拟空间图像上，则该显示有时会使用户感到厌烦。

因此，关于仅在很短时间内位于规定距离以内的位置上的物体，也可以不将包含该物体的规定范围的图像重叠显示于虚拟空间图像上。该情况下，对象物检测部13检测在规定距离以内的位置上持续存在规定时间以上的对象物。而且，当对象物检测部13检测到在规定距离以内的位置上持续存在规定时间以上的对象物时，则在此后在规定距离以内的位置上检测到对象物的期间，图像重叠部15将包含对象物的规定范围(提取范围)的图像重叠显示于虚拟空间图像上。

(第二实施方式)

接着，根据附图对本发明的第二实施方式进行说明。图5是表示第二实施方式涉及的图像显示控制装置100’的功能构成例的框图。此外，在该图5中，标注了与图1所示的符号相同符号的部件具有相同的功能，故此处省略重复的说明。如图5所示，第二实施方式涉及的图像显示控制装置100’取代图1所示的位置检测部14和图像重叠部15而具备对象物判断部16和图像重叠部17。

对象物判断部16判断对象物检测部13检测到的对象物中是否包含人手。例如，对象物判断部16可以使用公知的图形识别技术来判断对象物检测部13检测到的对象物中是否包含人手。或者，也可以使用针对人手通过机械学习制成的学习模型来判断对象物检测部13检测到的对象物中是否包含人手。对象物判断部16针对每个帧图像进行该判断。

当对象物判断部16判断为对象物中包含有人手时，在距HMD200规定距离以内的位置上检测到该对象物的期间，图像重叠部17将包含人手的规定范围内的图像重叠显示于虚拟空间图像的规定区域中。图像重叠部17对每个帧图像进行该处理。即，图像重叠部17将包含有人手的规定范围的图像以动态图像的形式重叠显示于虚拟空间图像的规定区域中。

此处，虚拟空间图像的规定区域是指：在显示虚拟空间图像的HMD200的显示画面的整个区域中预定位置处的预定大小的矩形区域。例如，可以是显示画面的左下角中规定大小的矩形区域。以下，将其称为“重叠区域”。

另外，包含人手的规定范围例如是将与通过对拍摄图像(各帧图像)进行图像识别而掌握的人手的轮廓线外接的矩形区域设为基准区域，并从左右方向及上方对该基准区域附加规定宽度的扩展区域而成的区域的范围。之所以不在下方附加扩展区域，是因为在佩戴HMD200的用户的手被拍摄至拍摄图像中的情况下，用户的手呈现至拍摄图像的下端为止，因此，基准区域的下端与拍摄图像的下端相接，从而不存在继续向下方扩展的区域。此外，与第一实施方式同样地，在由于对象物位于拍摄图像的周缘部而无法在左或右的任一方向上附加规定宽度的扩展区域时，对于该方向而言，也可以在能够附加的范围内附加最大宽度的扩展区域。

之所以相对于与人手的轮廓线外接的基准区域附加扩张区域，是为了在用户用手把持了某物的情况下，使该把持物也包含在规定范围中。即，这是为了从拍摄图像提取出包含用户的手及把持物的范围的图像并重叠显示于虚拟空间图像的规定区域中。这相当于第二实施方式中的“提取范围”。

优选使提取范围中的矩形的纵横比与虚拟空间图像上设定的重叠区域的矩形的纵横比相同。该情况下，为了使提取范围的纵横比与重叠区域的纵横比相同，对拍摄图像的基准区域附加扩展区域。但是，这不是必须的。例如，也可以从左右方向及上方对基准区域附加规定长度的扩展区域而设定提取范围，适当地放大或缩小提取范围内的图像，从而使缩放后的图像的纵横比与重叠区域的纵横比相同。

图6是用于说明图像重叠部17的处理内容的图。其中，图6中的(a)表示通过拍摄图像获取部12获得的1帧的拍摄图像。另外，图6中的(b)表示将设定于拍摄图像中的提取范围的图像重叠显示于虚拟空间图像的重叠区域中的状态。

在图6的(a)所示的拍摄图像中，拍摄到人(佩戴HMD200的用户)手OBT11以及该用户把持在手上的智能手机OBT12。人手OBT11及智能手机OBT12是位于距HMD200规定距离以内的位置处的对象物。此外，拍摄图像内还拍摄到人手OBT11及智能手机OBT12以外的物体(距HMD200规定距离以外的非对象物)，但省略图示。另外，假设在距HMD200规定距离以内的位置处，不存在人手OBT11及智能手机OBT12以外的物体。

人手OBT11被对象物检测部13检测为位于距HMD200规定距离以内的位置上的对象物，并通过对象物判断部16判断该对象物为人手。图像重叠部17将与人手OBT11的轮廓线外接的矩形区域设为基准区域61，将从左右方向及上方对该基准区域61附加扩展区域而成的区域设定为提取范围62。如图6中的(a)所示，在提取范围62中，也包含有人手OBT11所把持的智能手机OBT12。

进而，如图6中的(b)所示，图像重叠部17提取上述那样设定的提取范围62内的图像PT，并将该提取出的图像PT重叠显示于虚拟空间图像VRP的左下角位置上设定为规定大小的重叠区域63中。此时，适当地放大或缩小图像PT，以使其与重叠区域63的大小一致。重叠区域63内显示有矩形框，使得虚拟空间图像VRP中重叠有其他图像变得一目了然。

图像重叠部17对每个帧图像进行图6所示的处理。由此，在HMD200中，以动态图像的形式显示有虚拟空间图像VRP，并在距HMD200规定距离以内的位置上检测到对象物的期间，将从拍摄图像提取出的包含人手(存在把持物时也包含把持物)的图像PT以动态图像的形式显示于重叠区域63中。由此，用户不必取下HMD200，可以通过观看以动态图像的形式显示于重叠区域63中的现实世界的拍摄图像PT就能够适当地进行智能手机的操作。

此外，当从拍摄图像获取部12所获得的拍摄图像中作为对象物未检测到位于距HMD200规定距离以内的位置处的人手时，不执行图像重叠部17的处理。因此，该情况下，在HMD200中，仅虚拟空间图像VRP显示于显示画面的整个区域中，未设定重叠区域63(重叠区域63的矩形框和图像PT均未显示)。由此，当用户未在手边进行所需的操作时，不显示多余的图像，能够在显示画面的整个区域容易观看地仅显示虚拟空间图像VRP。另外，即使不是用户在手边操作某一作业对象物，而是某种物体偶然出现在距HMD200规定距离以内的地方并被对象物检测部13检测为对象物的情况下，也不执行图像重叠部17的处理。因此，该情况下，在HMD200中，也在显示画面的整个区域中仅显示虚拟空间图像VRP，从而能够防止重叠显示多余的图像。

此外，在图6中，也举例说明了用户把持智能手机进行操作的状态，但是，当然并不限定于智能手机的操作。例如，能够在不取下HMD200的状态下操作家电的遥控器、确认手表的时间、或者在笔记本上写备忘录等。

另外，即便在第二实施方式中，也可以将沿着对象物(在多个对象物重叠或者相接的情况下，也可以是将该多个对象物视为一个的对象物)的轮廓线切出的范围设为提取范围。即使在该情况下，也可以在虚拟空间图像中设定矩形的重叠区域63，并将沿轮廓线切出的范围的图像显示于重叠区域63中。或者，也可以不在虚拟空间图像中设定矩形的重叠区域63，并将沿轮廓线切出的范围的图像重叠显示于虚拟空间图像中。

图7是表示如以上那样构成的第二实施方式涉及的图像显示控制装置100’的动作例的流程图。图7所示的流程图在用户指示再生虚拟空间图像时开始。此外，该图7所示的流程图表示通过对象物检测部13、对象物判断部16以及图像重叠部17执行的处理的一例。与此同时，通过图像再生部11继续执行虚拟空间图像的再生和显示。

当图像再生部11开始再生和显示虚拟空间图像时，拍摄图像获取部12获取照相机202拍摄的1帧的图像(步骤S11)。而且，对象物检测部13从拍摄图像获取部12获得的图像检测位于距HMD200规定距离以内的位置的对象物(步骤S12)。

接着，对象物判断部16判断是否通过对象物检测部13检测到位于距HMD200规定距离以内的位置处的对象物(步骤S13)。此处，当未检测到距HMD200规定距离以内的对象物时，处理返回至步骤S11，并转移至下一帧的拍摄图像的处理。另一方面，当检测到距HMD200规定距离以内的对象物时，对象物判断部16判断该检测到的对象物中是否包含人手(步骤S14)。

在此，当对象物中不包含人手时，处理返回至步骤S11，并转移至下一帧的拍摄图像的处理。另一方面，当判断为对象物中包含人手时，图像重叠部17将包含人手的规定范围(提取范围)的图像重叠显示于虚拟空间图像的规定区域(重叠区域)中(步骤S15)。然后，判断图像再生部11是否结束了虚拟空间图形的再生(步骤S16)，当再生未结束时返回步骤S11，当再生结束了时，结束图7所示的流程图的处理。

如以上详细说明，在第二实施方式中，在根据显示虚拟空间图像的HMD200上搭载的照相机202拍摄到的现实世界的动态图像，检测到位于距HMD200规定距离以内的位置处的包含人手的对象物时，在规定距离以内的位置处检测到对象物的期间，将该包含人手的规定范围的图像重叠显示于虚拟空间图像的规定区域中。

根据如此构成的第二实施方式，若用户在HMD200上搭载的照相机202所拍摄的范围的身边进行所需的操作，则包含该手的规定范围的拍摄图像被重叠显示于虚拟空间图像的规定区域中，因此，用户即使在佩戴HMD200的状态下，也能够一边观察显示于该规定区域的图像一边适当地进行所需的操作。由此，根据第二实施方式，用户即使在佩戴HMD200的状态下，也能够容易地进行现实世界中的操作。

另外，在第二实施方式中，如果仅是人手以外的任意物体偶然出现在距HMD200规定距离以内的地方，则不将包含该物体的规定范围的拍摄图像重叠显示于虚拟空间图像的规定区域中。由此，当用户未在手边进行操作时，能够防止在虚拟空间图像上重叠显示多余的图像，从而在显示画面的整个区域容易观看地仅显示虚拟空间图像。

此外，在第二实施方式中也与第一实施方式同样地，对于仅在比处理时间短的期间位于规定距离以内的位置处的物体，也可以不将包含该物体的规定范围的图像重叠显示于虚拟空间图像上。这样，能够大致限定为用户在搭载于HMD200上的照相机202所拍摄的范围的身边进行所需的操作时，将包含该手的规定范围的拍摄图像重叠显示于虚拟空间图像的规定区域中。

在上述第二实施方式中，说明了将包含人手的提取范围的拍摄图像重叠显示于虚拟空间图像的规定区域中的例子，但是，也可以与第一实施方式同样地将包含人手的提取范围的拍摄图像重叠显示于虚拟空间图像的现实世界对应位置处。另外，还可以将如第一实施方式那样设定的提取范围的拍摄图像如第二实施方式这样重叠显示于虚拟空间图像的规定区域中。进而，还可以如第一实施方式那样，无论是否包含人手，都将包含对象物检测部13检测到的对象物的范围内设定的提取范围的拍摄图像如第二实施方式这样重叠显示于虚拟空间图像的规定区域中。

另外，在上述第二实施方式中，说明了将包含人手的规定范围设为提取范围，并将该提取范围的拍摄图像重叠显示于虚拟空间图像的规定区域中的例子，但本发明并不限定于此。例如，也可以由对象物判断部16判断对象物检测部13检测到的对象物中是否包含人手及该手中的把持物，在判断为包含人手及把持物的情况下，图像重叠部17将包含人手及把持物的规定范围设为提取范围，并将该提取范围的拍摄图像重叠显示于虚拟空间图像的规定区域中。

该情况下，也可以与第一实施方式同样地，将用户的手及把持物视为一个对象物，并相对于视为一个的对象物设定提取范围。例如，提取范围可以是与通过对拍摄图像进行图像识别而掌握的人手及把持物的轮廓线外接的矩形区域的范围。或者，也可以将与人手及把持物的轮廓线外接的矩形区域设为基准区域，将从左右方向对该基准区域附加规定宽度的扩展区域、以及从上方对该基准区域附加规定高度的扩展区域而成的区域设为提取范围。这样，通过从拍摄图像内识别人手以及把持物，并将也包含该把持物的范围设为提取范围，从而即使把持物较大，也能够可靠地使把持物也包含在提取范围内。

此外，在通过对象物判断部16判断对象物中是否包含人手及把持物的例子中，也可以是在判断为对象物中包含人手及把持物的情况下，图像重叠部17将包含人手及把持物的规定范围的图像，而且不包含人手及把持物以外的物体的图像重叠显示于虚拟空间图像的规定区域中。

例如，在如上所述将矩形区域的范围设定为提取范围的情况下，当在该提取范围中以远景的形式拍摄到位于距HMD200规定距离以内的位置处的人手及把持物以外的物体(即，位于与HMD200之间的距离比规定距离长的位置上的物体)时，将该远景的物体从提取范围的图像PT消除后重叠显示于虚拟空间图像上。此处所说的消除远景的物体是指：例如将通过图像识别检测出的该物体的区域替换为根据其周围的远景的图像生成的推定的远景图像(假定不存在该物体时的远景的推定图像)。

或者，也可以将用户的手及把持物视为一个对象物，并将沿着视为一个的对象物的轮廓线切出的范围设为提取范围。该情况下，图像重叠部17如图6中的(b)所示在虚拟空间图像中设定矩形的重叠区域63，并将如上所述沿轮廓线切出的提取范围的图像显示于该重叠区域63中。此外，也可以不设定矩形的重叠区域63，并将沿轮廓线切出的提取范围的图像重叠显示于虚拟空间图像上。

另外，在将包含人手及把持物的规定范围设为提取范围的例子中，也可以在通过对象物检测部13检测到的对象物中包含人手而不包含把持物的情况下，不执行提取拍摄图像的一部分并使其重叠于虚拟空间图像上的处理。这是因为，可能并非用户对把持物进行了所需的操作的状况，而是用户的手偶然被拍摄到。反之，即使在通过对象物检测部13检测到的对象物中包含人手而不包含把持物的情况下，也可以与上述第二实施方式同样地提取包含人手的规定范围的图像并使其重叠于虚拟空间图像上。这是因为，也有可能是操作例如手表型的可穿戴终端而不是把持物。

另外，在上述第二实施方式中，说明了重叠区域设定于虚拟空间图像的固定位置(图6的例子中为左下角的位置)的例子，但也可以构成为能够根据用户的意思改变重叠区域的位置。例如，在HMD200中搭载视线检测传感器。而且，图像重叠部17根据视线检测传感器检测出的用户的视线，变更使规定范围(提取范围)的拍摄图像重叠于虚拟空间图像时的规定区域(重叠区域)的位置。

例如，如图8所示，作为一个例子，可以考虑将虚拟空间图像的整个区域分割成纵横四个象限，并在用户的视线所处的象限的角部设定重叠区域。即，当视线检测传感器检测到用户的视线朝向右上象限时，图像重叠部17在虚拟空间图像的右上角的位置处设定重叠区域63RU。当视线检测传感器检测到用户的视线朝向右下象限时，图像重叠部17在虚拟空间图像的右下角的位置处设定重叠区域63RD。当视线检测传感器检测到用户的视线朝向左上象限时，图像重叠部17在虚拟空间图像的左上角的位置处设定重叠区域63LU。当视线检测传感器检测到用户的视线朝向左下象限时，图像重叠部17在虚拟空间图像的左下角的位置处设定重叠区域63LD。

另外，在上述第一及第二实施方式中，说明了将图像显示装置100、100’和HMD200分开构成的例子，但也可以采用HMD200具备图像显示控制装置100、100’的构成。该情况下，也可以使HMD200还具备VR图像存储部300。

此外，上述第一和第二实施方式都只不过示出了实施本发明时的具体化的一例，不能据此对本发明的技术范围进行限定性的解释。即，本发明能够在不脱离其主旨或其主要特征的情况下以各种方式实施。

Claims (12)

1.一种图像显示控制装置，其特征在于，具备：

图像再生部，其再生虚拟空间图像并显示于头戴式显示器中；

对象物检测部，其从所述头戴式显示器上搭载的照相机所拍摄的现实世界的动态图像，检测位于距所述头戴式显示器规定距离以内的位置处的对象物；以及

图像重叠部，其在所述对象物检测部在所述规定距离以内的位置上检测到所述对象物的期间，将包含所述对象物的规定范围的图像重叠显示于所述虚拟空间图像上。

2.如权利要求1所述的图像显示控制装置，其特征在于，

所述对象物检测部检测在所述规定距离以内的位置处持续存在规定时间以上的对象物；

当所述对象物检测部检测到在所述规定距离以内的位置处持续存在所述规定时间以上的对象物时，所述图像重叠部在之后在所述规定距离以内的位置处检测到所述对象物的期间，将包含所述对象物的规定范围的图像重叠显示于所述虚拟空间图像上。

3.如权利要求1或2所述的图像显示控制装置，其特征在于，还具备：

对象物判断部，其判断所述对象物检测部检测到的所述对象物中是否包含人手；

所述图像重叠部在所述对象物判断部判断为所述对象物中不包含人手时，不将图像重叠于所述虚拟空间图像上，在所述对象物判断部判断为所述对象物中包含人手时，将包含所述人手的规定范围的图像重叠显示于所述虚拟空间图像上。

4.如权利要求3所述的图像显示控制装置，其特征在于，

所述对象物判断部判断所述对象物检测部检测到的所述对象物中是否包含人手以及该手把持的把持物；

所述图像重叠部在所述对象物判断部判断为所述对象物中包含人手及把持物时，将包含所述人手及把持物的规定范围的图像重叠显示于所述虚拟空间图像上。

5.如权利要求4所述的图像显示控制装置，其特征在于，

所述图像重叠部在所述对象物判断部判断为所述对象物中包含人手及把持物时，将包含所述人手及把持物的规定范围的图像，而且是不包含所述人手及把持物以外的物体的图像重叠显示于所述虚拟空间图像上。

6.如权利要求4所述的图像显示控制装置，其特征在于，

所述图像重叠部在所述对象物判断部判断为所述对象物中包含人手而不包含把持物时，不执行相对于所述虚拟空间图像的图像的重叠处理。

7.如权利要求4所述的图像显示控制装置，其特征在于，

所述图像重叠部在所述对象物判断部判断为所述对象物中包含人手而不包含把持物时，将包含所述人手的规定范围的图像重叠显示于所述虚拟空间图像上。

8.如权利要求1至7中任一项所述的图像显示控制装置，其特征在于，

所述图像重叠部将所述规定范围的图像以动态图像的形式重叠显示于所述虚拟空间图像上。

9.如权利要求1至8中任一项所述的图像显示控制装置，其特征在于，还具备：

位置检测部，其检测通过所述对象物检测部检测到的所述对象物相对于所述头戴式显示器的相对位置；

所述图像重叠部根据所述位置检测部检测到的所述对象物的相对位置，将包含所述对象物的规定范围的图像重叠显示于所述虚拟空间图像中与所述相对位置对应的位置处。

10.如权利要求1至8中任一项所述的图像显示控制装置，其特征在于，

所述图像重叠部将包含所述对象物的规定范围的图像重叠显示于所述虚拟空间图像的规定位置。

11.如权利要求10所述的图像显示控制装置，其特征在于，

所述图像重叠部根据搭载于所述头戴式显示器中的视线检测传感器检测到的用户的视线，变更使所述规定范围的图像与所述虚拟空间图像重叠时的所述规定区域的位置。

12.一种图像显示控制用程序，其特征在于，用于使计算机作为图像再生手段、对象物检测手段以及图像重叠手段发挥作用；

所述图像再生手段用于再生虚拟空间图像并使其显示于头戴式显示器中；

所述对象物检测手段从所述头戴式显示器上搭载的照相机所拍摄的现实世界的动态图像，检测位于距所述头戴式显示器规定距离以内的位置处的对象物；

所述图像重叠手段在所述对象物检测手段在所述规定距离以内的位置上检测到所述对象物的期间，将包含所述对象物的规定范围的图像重叠显示于所述虚拟空间图像上。

Images