CN111684336A - 使用了视网膜扫描型显示部的图像显示装置及其方法 - Google Patents

Abstract

本发明提供图像显示装置及其方法，在针对使用者(USR)可视觉确认地显示规定图像时，检测使用者的视线的方向，将假定为存在于检测到的使用者的视线的方向的部分作为第一图像，针对规定图像将与第一图像互补的图像作为第二图像，通过从装戴于使用者的头部的视网膜扫描型显示部(20)向使用者的两眼的视网膜位置扫描激光，而在从上述使用者的两眼的位置隔开第一距离的位置聚焦并显示第一图像。另外，在被设置于从使用者隔开比第一距离短的第二距离的位置的面板型显示部(50)的面板表面上显示第二图像。由此，适当地对使用者提示规定图像。

Description

使用了视网膜扫描型显示部的图像显示装置及其方法

技术领域

本发明涉及使用了视网膜扫描型显示部的图像的显示技术。

背景技术

以往，提出了如下的各种显示装置，即：通过尽可能多地覆盖人(以下，称为使用者)的视野，来提高使用者的沉浸感。例如，在专利文献1中，准备多台大型显示装置，以包围使用者的方式配置，由此提高沉浸感。在这样的装置结构中，如果使液晶显示器等显示装置与使用者的距离接近，则即使是比较小的显示装置也能够覆盖很多视野，但若与显示装置的距离变小，则容易失去临场感。因此，要求在确保与使用者相距一定的距离的基础上进行大画面的显示的结构，例如在专利文献2中，提出了利用投影型显示装置和曲面的投影面来覆盖使用者的视野的大部分的沉浸感较高的结构。

另一方面，还提出了如下的各种技术，即：像头戴式显示器那样使显示装置与眼接近地配置来提高视野的覆盖率，并且通过使所形成的像成为虚像来使像的位置与使用者分离，兼得显示装置的小型化和沉浸感的形成(例如，专利文献3)。

而且，在这样的大型显示装置或头戴式显示器中还提出了如下的结构，即：考虑到人的视觉确认能力在视野的中心部分较高、在周边部分较低，相比于在视野中心显示的图像的分辨率，使周边的分辨率较粗，实现图像形成的载荷的减少、绘制时间的缩短等(专利文献4、5)。关于头戴式显示器，除了像专利文献3所例示的那样，在液晶或有机EL等微小的显示部形成图像，使用光学系统使该图像作为虚像来由使用者视觉确认的类型之外，还公知有如下的类型，即：使用光学系统将微小的激光直接入射到视网膜，显示能够在与使用者隔开规定距离的位置聚焦的图像(例如，专利文献6)。

专利文献1：日本特许第2708189号公报

专利文献2：日本特许第3956543号公报

专利文献3：日本特许第5920897号公报

专利文献4：日本特许第3240362号公报

专利文献5：日本特许第3143558号公报

专利文献6：日本特开2017-122775号公报

然而，在这样的以往的显示装置中，没有解决以下的相反的要求。即，很难兼得装置的小型化和自然的现实世界的视觉确认性的确保。例如，在专利文献1、2、5的方法中，导致显示装置大型化。另一方面，在专利文献3、4、6这样的头戴式显示器中，虽然能够实现装置的小型化和沉浸感的确保，但是全视野被覆盖，与图像的描绘范围的宽窄无关地，很难视觉确认现实世界。

发明内容

本发明是鉴于这样的课题而完成的，能够以以下的方式实现。

作为一个实施方式，提供图像显示装置，针对使用者可视觉确认地显示规定图像。该图像显示装置具备：视网膜扫描型显示部，其装戴于使用者的头部，通过向上述使用者的两眼的视网膜位置扫描激光，来显示聚焦在从上述使用者的两眼的位置隔开第一距离的位置的第一图像；视线检测部，其检测装戴了上述视网膜扫描型显示部的上述使用者的瞳孔位置和视线的方向；面板型显示部，其在被设置于从上述使用者隔开比上述第一距离短的第二距离的位置的面板，显示与上述第一图像不同的第二图像；以及图像输出部，其从上述规定图像中将假定为存在于检测到的上述使用者的视线的方向的部分作为上述第一图像来向上述视网膜扫描型显示部输出，并且针对上述规定图像将与上述第一图像互补的图像作为上述第二图像来向上述面板型显示部输出。

该图像显示装置将针对使用者显示的规定图像作为假定为存在于检测到的使用者的视线的方向的部分即第一图像和与该第一图像互补的第二图像，通过视网膜扫描型显示部在从使用者的第一距离显示第一图像，在从使用者隔开比该第一距离短的第二距离的位置设置的面板型显示部显示第二图像。因此，使用者会看到在该视线的方向上在与使用者隔开第一距离的位置聚焦的第一图像，同时在比第一距离短的第二距离看到与第一图像互补的第二图像。人的眼在视线的方向即中心视野区域具有较高的识别能力。因此，使用者能够将聚焦的位置的第一图像看作清晰的图像，能够和与之互补的第二图像一起看作在宽的范围显示的规定图像。

此外，本发明能够以图像显示方法、图像显示装置的控制方法、或者内置有上述的图像显示装置的游戏机、大规模监视装置等各种方式来实施。

附图说明

图1是第一实施方式的图像显示装置的概略结构图。

图2是在中心示出视网膜扫描型显示部的概略结构图。

图3是示出在实施方式中由使用者看到的图像的一例的说明图。

图4是示出在图像输出装置中所执行的图像显示处理程序的流程图。

图5是示出在图像输出装置中所执行的图像生成处理程序的流程图。

图6是示意性地示出来自使用者的观看方式的说明图。

图7是示出使用者的视线方向移动的情况下的由使用者看到的图像的一例的说明图。

图8是例示第二实施方式的说明图。

图9是例示第三实施方式的说明图。

具体实施方式

A.实施方式的硬件结构：

如图1所示，第一实施方式的图像显示装置10具备：视网膜扫描型显示部20，其装戴于使用者USR的头部；面板型显示部50；图像输出装置60，其输出需要在视网膜扫描型显示部20和面板型显示部50显示的图像数据；以及外部存储装置90，其存储虚拟空间数据，该虚拟空间数据是图像输出装置60为了显示而处理的原始数据。

图像输出装置60具备：统一进行控制的CPU61、存储器62、作为进行图像处理的专用芯片的GPU65、操作部67、进行与视网膜扫描型显示部20的信号的交换的视网膜扫描型显示部接口71、进行与面板型显示部50的信号的交换的面板型显示部接口72、进行与外部存储装置90的信号的交换的存储接口75等。图像输出装置60不仅作为图像输出部发挥功能，而且像后述那样，还分担作为视线检测部的功能的一部分。

关于各部分的动作等，后述说明，但若简略地说明整体的图像处理，则本实施方式的图像显示装置10根据存储在外部存储装置90中的虚拟空间数据，经由存储接口75取出使用者USR所指定的空间的数据，利用GPU65的图像变换能力，基于使用者USR的位置和视线的方向来将这些数据变换为使用者USR能够看到的图像。图像的变换根据使用者USR对操作部67的操作、使用者USR的视线的方向来实时地变换。图像输出装置60对变换后的图像进行分配，将其一部分经由视网膜扫描型显示部接口71输出到视网膜扫描型显示部20，并且将剩余部分经由面板型显示部接口72输出到面板型显示部50，并使两显示部20、50进行显示。显示于面板型显示部50的图像是视网膜扫描型显示部20所显示的图像的剩余部分，因此两图像可以称为互补的图像。

存储于外部存储装置90的虚拟空间数据是表现虚拟的三维空间的数据，是成为图像显示的源的数据。这样的虚拟空间数据可以是基于现实的地形或城市等的数据，也可以是在游戏等中使用的完全虚拟的数据。虚拟空间数据可以包含：表示在该虚拟空间中存在的对象物的三维数据和坐标关系的数据、以及表示对象物的色彩或质感等的数据等。另外，外部存储装置90可以内置于图像输出装置60，也可以设置于经由网络连接的其他的站点等。在本实施方式中，预先准备虚拟空间数据，但也可以赋予空间的造形规则来实时地生成，也可以利用三维照相机的拍摄数据。

使用者USR位于上述的虚拟空间的内部，由图像输出装置60进行图像的生成和显示。虚拟空间内的最初的位置(默认的位置)可以预先决定，也可以由使用者USR使用操作部67进行指定。使用者的视线的方向如后述那样由视网膜扫描型显示部20进行检测。关于使用者的位置的变更即在虚拟的空间中前进或者弯曲这样的位置的变更，仅通过视网膜扫描型显示部20无法赋予图像输出装置60。因此，使用者USR对操作部67进行操作来输入自己的位置的变化。例如，可通过在操作部67设置与前后左右的移动对应的十字键，或者设置操纵杆，或者设置二维的触摸垫，来接受使用者USR对移动方向的输入即可。

对视网膜扫描型显示部20的结构和动作进行说明。图2是视网膜扫描型显示部20的概略结构图。视网膜扫描型显示部20是所谓的透视类型的显示部，使用者USR在装戴了视网膜扫描型显示部20的状态下也能够视觉确认外界。视网膜扫描型显示部20在中心具备摄像机24，在其左右大致对称地配置有显示用的结构。在视网膜扫描型显示部20中，不仅透过型的透过显示部21、22、以及用于由使用者USR装戴于头部的镜腿28、29设置为左右对称，对左右的眼球EL、ER的方向进行检测的眼睛照相机26、27、设置在透过显示部21、22内部的反射部31、32、朝向反射部31、32射出激光的光学引擎41、42等也设置为左右对称。

光学引擎41、42内置有发出RGB的三色光的半导体激光器，使用合波器将来自半导体激光器的RGB的光合并到一个导光路上。另外，使反射镜反射从该导光路射出的光，并引导到反射部31、32。通过利用致动器使反射镜的角度变化，来对所射出的激光进行扫描，与该扫描匹配地控制半导体激光器的输出强度，由此在使用者USR的左右眼EL、ER的视网膜直接形成图像，使使用者视觉确认该图像。关于光学引擎41、42所内置的半导体激光器、合波器、导光路、反射镜等，没有特别地图示，但这些构造例如在国际公开号WO2015/170505号的公报等中详细地说明。当然，也可以采用如下的结构，即，不使用合波器，而分别使用反射镜将三原色的激光向反射部射出。或者，也可以将光学引擎41、42设置在透过显示部21、22的外侧而不使用反射部31、32，从而直接向左右眼EL、ER射出激光。

关于视网膜扫描型显示部20显示的图像，详细地进行说明，但通过从光学引擎41、42射出的激光来形成图像的区域是左右的眼EL、ER的视网膜的中心视野区域。中心视野区域是人的至少包含视网膜中心窝的区域。人眼在该中心视野区域具有较高的识别能力。因此，通过光学引擎41、42来形成的图像被清晰地识别。使用者USR的两眼的间隔等因人而不同，因此视网膜扫描型显示部20调整光学系统的对准，以使得在向使用者USR的头部的装戴时，反射部31、32所反射的激光到达视网膜的中心视野区域。此外，像后述那样，在由光学引擎41、42生成的用于左右眼EL、ER的图像被赋予用于立体观看的视差，因此使用者USR的眼的所谓的焦点通过反应左右的图像包含的视差信息来调整到与视差对应的位置。因此，对于存在于除此之外的位置的物体，例如对于透过显示部21、22透视而看到的物体，通常不被对焦，成为模糊的状态。关于这点，也在后面详细地进行说明。

设置在视网膜扫描型显示部20的中心的摄像机24拍摄使用者USR的前方的图像，将该图像信号向图像输出装置60输出。摄像机24是为了识别在使用者USR的前方的面板型显示部50设置的3个标记51～53而设置的。如图2和后述的图3所示，标记51～53设置在形成面板型显示部50的外缘的框架的3个位置。3个标记的位置只要满足两个以上不存在于相同的位置、3个标记不在一条直线上排列的位置、进入摄像机24的拍摄范围这样的条件，则其位置关系也可以是任意的。在本实施方式中，如图3所示，分别设置在面板型显示部50的左上、右上、左下。

图像输出装置60能够基于来自该摄像机24的影像来分析标记51～53的位置，从而确定视网膜扫描型显示部20、甚至使用者USR与面板型显示部50的位置关系。在使用摄像机24拍摄标记51～53的方法的情况下，如果发现标记51～53的位置(标记间的距离和配置)，则对包含摄像机24所拍摄到的标记51～53的影像进行分析，由此能够求出视网膜扫描型显示部20与面板型显示部50的位置关系(到面板型显示部50为止的距离、以及视网膜扫描型显示部20相对于面板型显示部50在3个方向上的姿势)。也可以在视网膜扫描型显示部20侧进行求出这样的位置关系的处理。此外，也可以取代摄像机24而设置3轴的陀螺传感器，对使用者USR的头部的倾斜以及视网膜扫描型显示部20的倾斜进行检测，并将其输出到图像输出装置60。在该情况下，由于没有求出面板型显示部50与视网膜扫描型显示部20的距离，因此只要确定默认的位置并将其作为初始值使用即可。这样的位置关系可以由XYZ的正交坐标系来表现，也可以由将使用者USR的头部的任意位置作为原点的极坐标系来表现。

眼睛照相机26、27拍摄使用者USR的左右的眼球EL、ER，并将该信号向图像输出装置60输出。图像输出装置60根据接受到的图像来分析眼球的瞳孔的位置和大小，由此识别眼球的位置即视线的方向。该情况下的视线的方向是指以使用者USR的头部为基准的方向。因此，图像输出装置60通过将分析来自该眼睛照相机26、27的信号而得到的视线的方向的信息、分析来自已叙述的摄像机24的信号而得到的使用者USR的位置关系的信息合并，能够确定使用者USR观看的方向。这里所说的“使用者观看的方向”在现实中是指相对于面板型显示部50的方向，在虚拟中是指使用者USR在虚拟空间内观看的方向。如上述那样，在本实施方式中，通过眼睛照相机26、27和后述的图像输出装置60中执行的处理(图4、步骤S130)来实现视线检测部。

B.图像显示处理：

关于由图像显示装置10使用以上说明的结构进行的图像显示处理，使用图3、图4、图5进行说明。图3是示出在本实施方式中使用者USR看到的图像的一例的说明图，图4、图5是示出在图像输出装置60中执行的处理程序的流程图。在图像输出装置60所执行的处理的说明之前，先关于使用者USR能够看到怎样的影像的情况进行说明。装戴视网膜扫描型显示部20而站在面板型显示部50前的使用者USR可看到：基于视网膜扫描型显示部20的作为第一图像的图像、以及能够透过视网膜扫描型显示部20的透过显示部21、22而识别的在面板型显示部50显示的作为第二图像的图像。视网膜扫描型显示部20所显示的图像与在面板型显示部50显示的图像如后述那样独立生成。

其中，如图3所示，在视网膜扫描型显示部20显示的图像是从使用者USR角度与其中心视野对应的区域(以下，是指中心区域)CSA的图像。由于不向视网膜扫描型显示部20输出与该中心视野对应的中心区域CSA的图像以外的图像，在中心区域CSA以外的区域没有图像，从使用者USR角度，中心区域CSA以外的区域处于透视的状态。在该中心区域CSA以外的区域且与面板型显示部50的显示区域重叠的区域(以下，称为周边区域)BSA的图像被输出至面板型显示部50。由于两个图像不重叠，因此处于互补的关系。因此，对于使用者USR来说，在视网膜扫描型显示部20显示的中心区域CSA的图像与在面板型显示部50显示的周边区域BSA的图像作为连续的图像，被视觉确认为没有矛盾或趋同的图像。

在使用者USR观看图像的期间，设置在视网膜扫描型显示部20的摄像机24继续进行拍摄，拍摄图3所例示的标记51～53。因此，通过对所拍摄的标记51～53进行识别，图像输出装置60能够将面板型显示部50作为坐标系的起点，得知使用者USR与面板型显示部50的位置关系，即距离以及视网膜扫描型显示部20的倾斜(使用者USR的头部的姿势)。另外，来自设置在视网膜扫描型显示部20的眼睛照相机26、27的信号也被输入至图像输出装置60，图像输出装置60能够根据使用者USR的左右的眼EL、ER的瞳孔的图像，将使用者USR的头部作为坐标系的起点，得知瞳孔位置和视线的方向。因此，通过利用两个识别结果，图像输出装置60能够得知使用者USR相对于面板型显示部50处于怎样的姿势、观看哪个方向。此外，在本实施方式中，在视线检测部，按照根据眼睛照相机26、27所拍摄的瞳孔的图像求出瞳孔位置和视线的方向的方法来检测视线的方向，但也可以按照通过专用的传感器等直接检测瞳孔位置，然后通过计算来求出视线方向的方法进行检测。

接下来，参照图4、图5所示的流程图，关于图像输出装置60执行的图像显示处理程序和图像生成处理程序进行说明。若图像显示装置10的图像输出装置60的电源被接通，使用者USR装戴了视网膜扫描型显示部20，则执行图4所示的图像显示处理程序。若开始该处理程序，则图像输出装置60的CPU61首先执行初始化的处理(步骤S100)。初始化的处理是指图像处理所使用的存储空间的确保或GPU65的设定、与视网膜扫描型显示部20、面板型显示部50、和外部存储装置90进行信号或数据的交换所需的初始化处理等。此外，由使用者USR装戴在头部的视网膜扫描型显示部20的光学系统的对准完成，在使用者USR的眼睛的适当的位置形成基于视网膜扫描的图像。

若结束初始化的处理，则CPU61进行实际空间与虚拟空间的初始对应建立的处理(步骤S110)。在该处理中，设定使用者USR位于虚拟空间的何处、朝向哪个方向，进行使用者USR装戴视网膜扫描型显示部20而存在的实际空间与存储在外部存储装置90中的虚拟空间之间的对应建立。关于位于虚拟空间中的何处、朝向哪个方向，可以预先决定为默认的位置和方向，也可以由使用者USR使用操作部67来进行设定。在该情况下，给出最初的位置和方向，从此处对操作部67进行操作来进行对应建立。当然，在使用者USR开始图像显示装置10的使用时，也可以以“在○○世界的××场所朝东站立”这样的方式指定虚拟空间内的位置和方向，将该位置和方向与使用者USR的实际空间进行对应建立。位置和方向的指定例如可以利用声音识别，也可以通过显示地图等、指定该地图上的一点和方向这样的方法来指定。

接着，图像输出装置60与视网膜扫描型显示部20进行信号的交换，进行从视网膜扫描型显示部20的摄像机24所拍摄的影像中读取设置于面板型显示部50的标记51～53的处理(步骤S120)。并且，进行输入来自视网膜扫描型显示部20的眼睛照相机26、27的信号、读取瞳孔的图像的处理(步骤S130)。根据这两个影像，图像输出装置60能够得知使用者在实际空间中的位置和视线方向、即相对于面板型显示部50离开多远，观看面板型显示部50的哪个部分这样的内容，因此能够决定在建立对应的虚拟空间中从哪个位置观看哪个方向(步骤S140)。

基于该对应的建立，图像输出装置60接着进行图像生成处理(步骤S200)和对两显示部20、50输出图像信号的输出处理(步骤S300)。然后，判断使用者USR对于图像显示装置10的利用是否结束(步骤S150)，如果使用未结束，则返回步骤S120，从标记51～53的读取开始反复处理。因此，如果使用者USR改变相对于面板型显示部50的位置、或者改变观看的方向，则继续进行相对于面板型显示部50的位置的变更，例如与接近或分离对应地继续进行改变图像的大小的等的处理。图像显示装置10的使用的开始或结束能够通过设置于操作部67的开关等容易地实现。

使用图5对图4的图像生成处理(步骤S200)进行说明。若开始该图像生成处理程序，则CPU61首先基于使用者USR在当前的虚拟空间中的位置和视线方向，来进行访问存储于外部存储装置90的虚拟空间的三维数据并读出该数据的处理(步骤S210)。接着，基于所读出的三维数据以及使用者USR的当前的视线方向来对与使用者USR的中心视野对应的中心区域CSA进行运算(步骤S220)。中心区域CSA的运算相当于求出中心区域CSA的中心位置和大小。在本实施方式中，大小作为定义预先决定的椭圆或者长圆形的形状的、例如短径和长径来定义。

然后，对于所求出的中心区域CSA，CPU61指示GPU65生成高分辨率的图像(步骤S230)。使用者USR在虚拟空间中的位置和视线方向在图4的步骤S130中求出，因此据此容易生成与中心区域CSA对应的图像。此时，GPU65基于虚拟空间的三维数据，将虚拟空间内的三维的纵深变换为形成于两眼EL、ER的图像的视差，来分别生成两眼EL、ER用的图像。另外，通过将绘制作为图像的源的三维数据时的参数赋予GPU65，来设定所生成的图像的分辨率。中心区域CSA比在其周边扩展的周边区域BSA窄，因此GPU65能够在短时间内生成与中心区域CSA对应的两眼用的高分辨率的图像。该图像按照每秒60帧左右进行改写，从而使使用者USR观看影像(动画)。此外，图像的改写方法可以是隔行也可以是非隔行。

接下来，CPU61判断使用者USR的视线的移动量的大小(步骤S240)。视线的移动量是指，能够将使用者USR的视线方向的移动量作为从之前生成高分辨率的图像时的方向起的视线的角度的变化量θ来掌握。在该角度θ较大的情况下(包含最初生成图像的情况)，对中心区域CSA以外的周边区域BSA进行生成低分辨率的图像的处理(步骤S250)。而且，对中心区域CSA与周边区域BSA的边界区域进行阶段性地修改图像的处理(步骤S260)。具体而言，能够通过使中心区域CSA的周缘的分辨率朝向外侧逐渐降低的处理来实现该处理。降低分辨率的处理公知有近邻法、双线性法、双三次法等各种方法。只要应用这些方法中的任意一种即可。简单地说，只要将邻接的两个以上的像素的灰度值置换为这些像素的平均灰度值即可。

另一方面，在判断为视线的移动量较小的情况下(步骤S240)，不对周边区域BSA进行新的图像的生成，仅进行关于边界区域的分辨率的修改(步骤S260)，在任何情况下都结束本处理程序。

这样，在进行了关于中心区域CSA的高分辨率的图像的生成(步骤S230)和关于周边区域BSA的低分辨率的图像的生成(步骤S250)之后，进行图4所示的步骤S300的处理，即对视网膜扫描型显示部20和面板型显示部50的图像信号的输出处理。因此，如图3所示，使用者USR能够对于中心区域CSA，视觉确认由视网膜扫描型显示部20显示的高分辨率的图像。而且，此时在左右的眼的视网膜上所生成的图像设置有与纵深对应的视差，因此使用者USR对于中心区域CSA，三维地识别具有纵深的图像、即虚拟空间。

在图6中例示出该情况。现在，假设在虚拟的三维空间中存在对象物OBJ1～OBJ5。位于从面板型显示部50稍微离开的地方的使用者USR在虚拟空间中朝向对象OBJ5。此时，图像输出装置60识别使用者USR的位置和视线的方向，在视网膜扫描型显示部20显示与中心区域CSA对应的图像。在图6中，用交叉阴影线表示与中心区域CSA对应的范围且使用者USR能够看到的范围CSB。

假设使用者USR观看交叉阴影线的范围CSB，图像输出装置60生成从使用者USR侧观看该范围CSB的图像，通过视网膜扫描型显示部20来显示该图像。由于在该图像中包含视差信息，因此使用者USR视觉确认从使用者USR侧观看对象物OBJ5的图像，根据图像中包含的视差，来视觉确认为在与使用者USR分隔的位置DA存在对象物OBJ5。此时，在面板型显示部50，对于与对象物OBJ5对应的图像，没有形成除了从中心区域CSA偏离的左端的图像以外的图像。

在面板型显示部50形成有与中心区域CSA处于互补的关系的周边区域BSA的图像。假设从使用者USR观看各对象物OBJ1～4，该图像的形成位置是与其对应的面板型显示部50的位置DE1～4。若是面板型显示部50的尺寸为例如纵横比16：9的48英寸的液晶显示装置，如果使用者USR在面板型显示部50的中心站在分离50厘米的场所，则使用者USR能够看到向水平方向上左右分别47度的合计94度的范围作为面板型显示部50的图像。在图6中，将该范围作为角度α示出。此外，能够同样地看到垂直方向上上下分别31度的合计62度的范围作为面板型显示部50的图像。使用者USR能够透过视网膜扫描型显示部20的透过显示部21、22，来视觉确认该面板型显示部50上的图像。该图像在面板型显示部50显示，因此是没有纵深且低分辨率的图像，但由于使用者USR在注视其视线方向，因此只要在该程度的角度α的范围存在图像，则使用者USR的沉浸感充分高。

对应于在通过视网膜扫描型显示部20形成在视网膜的中心视野的图像中包含的视差信息，使用者USR的左右眼EL、ER的焦点与和虚拟空间的纵深对应的部位对准，因此焦点与在面板型显示部50显示的周边区域BSA的图像不对准。即，周边区域BSA的图像是对于使用者USR来说模糊的图像。在人的视觉确认特性上，若偏离中心视野则空间分辨率(视力)迅速降低。因此，即使对于显示了像这样与中心区域CSA相比分辨率较低的图像的周边区域BSA，焦点没有对准，特别是关于识别也不容易感到不协调。并且，在中心区域CSA与周边区域BSA的边界区域，以分辨率阶段性地变化的方式修改中心区域CSA的周缘的图像，因此使用者USR进一步对于中心区域CSA与周边区域BSA图像的差异不容易觉得不协调。

若在该状态下，使用者USR改变观看的方向，则该视线方向的变更作为摄像机24所检测出的标记51～53的位置的变更、眼睛照相机26、27所检测出的眼球EL、ER的动作的变化，来由图像输出装置60立即识别。视线方向也可以仅是观看的方向，但也可以根据左右的眼EL、ER的瞳孔的位置识别焦点的位置、即观看以怎样的程度分离的地方。如果识别出焦点的位置，则能够与识别出的焦点的位置匹配地调整在左右的眼EL、ER的视网膜形成的像的视差。

如果使用者USR观看的方向是已知的，则像图7所例示的那样，在显示于视网膜扫描型显示部20的中心区域CSA显示的图像在虚拟空间内沿使用者USR观看的方向移动。另外，与该移动匹配地，在周边区域BSA显示的图像也形成为与中心区域CSA的图像互补的图像。在中心区域CSA移动的情况下，在该中心区域CSA形成的图像始终为高分辨率的图像，在周边区域BSA形成的图像始终为低分辨率的图像。

像以上说明的那样，根据上述实施方式的图像显示装置10，视网膜扫描型显示部20在使用者USR的视线的方向即中心区域CSA显示高分辨率且立体观看的图像，面板型显示部50在与该中心区域CSA处于互补的关系的周边区域BSA显示低分辨率的图像。中心区域CSA追从使用者USR的视线的方向而被设定，该区域的图像追从该方向而被更新。因此，在使用者USR的中心视野形成的图像始终保持高分辨率，因此作为使用者USR，能够继续观看虚拟空间的鲜明的图像，不会遍及宽的视野注意到形变或不连续的位置，能够进行自然的立体观看。其结果为，能够持续地感受到对虚拟空间的高沉浸感，能够感受到较高的临场感。

另外，根据本实施方式的图像显示装置，利用视网膜扫描型显示部20显示的图像和在面板型显示部50显示的图像覆盖使用者USR的视野的大部分，而且若使用者USR通过视网膜扫描型显示部20视觉确认的图像与使用者USR的视线的方向的变化对应地变化，则通过面板型显示部50显示的互补的图像也变化。因此，还抑制在通过视网膜扫描型显示部20直接显示在使用者的视网膜的图像与在使用者观看的面板型显示部50显示的图像之间产生的不协调。另外，能够通过视网膜扫描型显示部20和面板型显示部50提示大量或者复杂的信息。

并且，对于使用者USR来说的图像视觉确认距离是根据视网膜扫描型显示部20所显示的中心区域CSA的图像来决定的，因此不需要增大面板型显示部50与使用者USR的距离。如果从使用者USR角度来看，则面板型显示部50所显示的图像始终是作为周边区域BSA的图像，即使到面板型显示部50为止的距离较短而焦点未对准，也不会妨碍沉浸感。因此，作为从使用者USR到面板型显示部50为止的距离，只要几十厘米即可，能够实现还包含面板型显示部50的整体结构的小型化。

并且，在视网膜扫描型显示部20显示的图像能够仅是中心区域CSA的图像，因此若与形成包含周边区域BSA的全部图像的情况进行比较，则能够缩短图像输出装置60中的高分辨率的、并且包含视差信息的图像的生成所需要的时间。另外，也可以使视网膜扫描型显示部20本身的显示区域与中心区域CSA匹配地变小，因此能够将视网膜扫描型显示部20的光学引擎41、42或反射部31、32等小型化。其结果为，也可以实现节省资源或制造成本的减少等。

通过面板型显示部50显示在周边区域BSA的图像是与显示在中心区域CSA的图像互补的图像，并且是低分辨率的图像。因此，能够缩短宽区域的图像的运算所需要的时间。并且，此时，如图5所示，如果视线的移动量不大，则对于周边区域BSA不进行图像的更新处理。因此，能够进一步减少运算处理。在视线的移动量较小时，周边区域BSA的图像的变化较小，而且人的视觉上的识别能力在中心以外较低，因此即使不更新，使用者USR也不会感觉不协调。

另外，本实施方式的图像显示装置10所使用的视网膜扫描型显示部20是透视类型，因此使用者USR透过视网膜扫描型显示部20的透过显示部21、22来观看在面板型显示部50显示的图像。因此，使用者USR能够沉浸于图像显示装置10显示的影像的世界，另一方面，包含自己身体的周边现实世界的视觉确认几乎不会被阻碍或者没有完全阻碍。不仅能够进行自然的视觉经验，而且如果例如产生紧急情况等而要向使用者USR传递某些情况的人进入视野，则容易经由视网膜扫描型显示部20视觉确认该情况。

C.第二实施方式：

在第一实施方式中，作为面板型显示部，使用了显示面平坦的液晶显示器。与此相对，如图8所示，第二实施方式的图像显示装置10A具备与第一实施方式中使用的结构相同的视网膜扫描型显示部20和将显示面作为曲面的面板型显示部50A。作为这样的曲面的显示器，例如也可以利用像有机EL那样能够形成挠性的发光面的结构而实现，在第二实施方式中，使用投影型的显示装置。在图8所示的第二实施方式中，使用者USR装戴视网膜扫描型显示部20并位于成为圆顶形状的面板型显示部50A的内部。在本实施方式中，图像显示装置10的基本的结构与上述实施方式相同，设置有图像输出装置和外部存储装置，该图像输出装置输出需要在视网膜扫描型显示部20和面板型显示部50A显示的图像数据，该外部存储装置存储有由图像输出装置为了显示而处理的原始数据即虚拟空间数据。另外，视网膜扫描型显示部20也没有变化。对于面板型显示部50A，在处于投影型以及显示面成为圆顶形状的方面是不同的。

面板型显示部50A具备多台投影型显示装置PJ1、PJ2、··，从圆顶59的外侧投影从图像输出装置60输出的图像。圆顶59为背面投射型的屏幕，使用者USR能够观看投影型显示装置PJ1等所投影的图像。

在该第二实施方式中，也在包含使用者USR的中心视野的中心区域CSA，通过视网膜扫描型显示部20将高分辨率的立体观看用图像形成在使用者USR的左右眼EL、ER的视网膜，并通过面板型显示部50A将低分辨率的图像形成在与中心区域互补的区域(周边区域BSA)。因此，在起到与第一实施方式相同的效果的基础上，进一步使用圆顶59，因此能够覆盖接近使用者USR的全视野的区域来显示图像，能够提高使用者USR的沉浸感。并且，对于使用者USR来说的图像视觉确认距离根据视网膜扫描型显示部20所显示的中心区域CSA的图像来决定，因此不需要增大圆顶59与使用者USR的距离。若从使用者USR角度来看，则通过面板型显示部50A显示在圆顶59的图像始终是作为周边区域BSA的图像，即使到圆顶59为止的距离较短而没有对准焦点，也不会妨碍沉浸感。因此，作为从使用者USR到圆顶59为止的距离，只要几十厘米即可。只要实现这样的圆顶59的小型化，还能够实现投影型显示装置PJ1、PJ2、··的设置台数的减少、显示亮度等显示能力的抑制等，包括这点在内还能够实现装置整体的简单化和小型化。

D.第三实施方式：

接着对本发明的第三实施方式进行说明。图9是示出第三实施方式的图像显示装置10B的概略结构的说明图。如图9所示，该图像显示装置10B具备：装戴在使用者USR的头部的视网膜扫描型显示部20、以及面板型显示装置50B。在第三实施方式中，也在设置有图像输出装置和外部存储装置的方面与第一、第二实施方式相同，该图像输出装置输出需要在视网膜扫描型显示部20和面板型显示部50B显示的图像数据，该外部存储装置存储有由图像输出装置为了显示而处理的原始数据即虚拟空间数据。

面板型显示部50B由在使用者USR的头部与视网膜扫描型显示部20一同设置的投影仪100、以及粘贴在球形的圆顶58的内侧的回射屏幕110构成。回射屏幕110是在表面铺设有较小的玻璃珠的屏幕。玻璃珠的折射率和直径选择为能够引起回射。作为使用这样的玻璃珠的回射材料，公知有露出透镜型、封入透镜型、胶囊透镜型等各种材料。在本实施方式中，由于将屏幕粘贴在圆顶58的内侧，因此使用了柔软性较高的露出透镜型的回射材料。当然，只要与圆顶58一体地制造，则并不局限于露出透镜型，也可以使用封入透镜型、胶囊透镜型。或者，也可以使用棱镜型的回射材料。

使用视网膜扫描型显示部20显示的图像为第一图像，像已叙述的那样，若从使用者USR角度来看则是与其中心视野对应的中心区域CSA(参照图3)的图像。该图像始终在使用者USR的视线的方向A上显示。在图9中，将该显示范围表示为范围B。当然，范围B是三维的范围。由于不向视网膜扫描型显示部20输出与该中心视野对应的中心区域CSA的图像以外的图像，因此在中心区域CSA以外不存在图像，若从使用者USR角度来看，中心区域CSA以外处于透视的状态。在该中心区域CSA以外的区域，从投影仪100投影的作为第二图像的图像由回射屏幕110反射来进入使用者USR的视野。即，周边区域BSA的图像为从投影仪100投影的图像。在图9中，将从投影仪100投影的图像的范围表示为范围C。基于视网膜扫描型显示部20的图像与基于投影仪100的图像不重叠，处于互补的关系。因此，对于使用者USR来说，在视网膜扫描型显示部20显示的中心区域CSA的图像与从投影仪100投影且由回射屏幕110反射而被视觉确认的周边区域BSA的图像作为连续的图像，被视觉确认为没有矛盾或重复的图像。

作为面板型显示装置50B，第三实施方式的图像显示装置10B使用回射屏幕110，因此从投影仪100投影的光的大部分返回到使用者USR的头部周边。因此，即使是输出较小的投影仪，关于充分的明亮度的第二图像的形成，也能够由面板型显示装置50B形成。并且，在使用者USR的头部设置有将图像向回射屏幕110投影的投影仪100，因此即使使用者USR的头部位置移动，反射光也高效地集中在USR的头部周边。因此，即使使用者USR进行动作，也不需要修改对准等。

另外，在第三实施方式中，将显示图像的视网膜扫描型显示部20和面板型显示部50B的投影仪100都集中在使用者USR的头部，因此能够使与图像输出装置60等的连接、信息传送或电源线等的处理变得简单。圆顶58侧可以仅设置回射屏幕110，圆顶58的移动或设置也容易。另外，视网膜扫描型显示部20与投影仪100都集中在使用者USR的头部，因此也容易整合第一图像与第二图像的配置。如果在圆顶58的内侧整面或者大致整面设置回射屏幕110，则使用者USR也可以在从头顶到脚下大致360度的范围内，能够视觉确认第一和第二图像。为了能够进行360度的视觉确认，能够减少投影仪100的台数，根据情况，可以使用1台。

投影仪100也可以不是1台，可配置多个投影仪100，从而扩大显示第二图像的范围C。在该情况下，只要与扩大的范围C对应地，圆顶58内的回射屏幕110也粘贴在圆顶58内即可。投影仪100可以与视网膜扫描型显示部20一体地设置，也可以与视网膜扫描型显示部20独立地使用帽子形状的适配器或带等辅助装备等，从而设置于使用者USR的头部。只要是头部的附近，也可以搭载在肩上。如果投影仪100变得小型，则也可以在视网膜扫描型显示部20的中心，例如与第一实施方式中说明的摄像机24排列地配置。另外，也可以内置在镜腿28、29。

当然，也可以将投影仪100与使用者USR分开放置。在该情况下，只要设置如下的机构即可，该机构利用摄像机等检测使用者USR的头部的动作，来与头部的动作匹配地，三维地控制来自投影仪100的图像的投影方向。在该情况下，投影仪100可以直接朝向回射屏幕110投影第二图像，也可以朝向设置于使用者USR的头部的凸面镜投影第二图像。在后者的情况下，由凸面镜反射的图像进一步朝向回射屏幕110投影。这样，能够充分地发挥光向投影方向反射这样的回射屏幕110的特性，而且能够减少搭载于使用者USR的头部的部件的重量。

并且，在第三实施方式中，由使用者USR视觉确认的第一图像由视网膜扫描型显示部20形成，第二图像从按照每个USR准备的投影仪100投影，由回射屏幕110反射而大致全部返回到使用者USR的头部附近，因此多个使用者USR也可以同时使用一个圆顶58。这是因为，由于回射屏幕110的特性，从位于稍微远离的场所的使用者USR的头部的投影仪100所投影的图像几乎不能被相邻的使用者USR视觉确认。

E.其他的实施方式：

除了上述实施方式之外，作为针对使用者，可视觉确认地显示规定图像的图像显示装置，能够采用以下的结构。该图像显示装置能够作为如下的结构来实现，具备：视网膜扫描型显示部，其被装戴于使用者的头部，向使用者的两眼的视网膜位置扫描激光，由此显示在从使用者的两眼的位置隔开第一距离的位置聚焦的第一图像；视线检测部，其对装戴了视网膜扫描型显示部的使用者的瞳孔位置和视线的方向进行检测；面板型显示部，其在与使用者隔开比第一距离短的第二距离的位置设置的面板上，显示与第一图像不同的第二图像；以及图像输出部，其将规定图像中的假定存在于检测到的使用者的视线的方向的部分作为第一图像来向视网膜扫描型显示部输出，并且将针对规定图像与第一图像互补的图像作为第二图像来向面板型显示部输出，并且该图像显示装置也可以采用如下的结构。

例如，该视网膜扫描型显示部也可以向至少包含使用者的视网膜中心窝的区域投映第一图像。包含视网膜中心窝的区域如上述那样在人的视觉中也是分辨率最高的范围，通过在这里显示第一图像，能够使使用者明确地识别第一图像。

或者，在这样的图像显示装置中，视线检测部也可以具备：第一检测部，其检测装戴了视网膜扫描型显示部的使用者的头部至少相对于面板型显示部的位置和方向；以及第二检测部，其检测以装戴了视网膜扫描型显示部的使用者的头部为基准的瞳孔位置和视线的方向。该图像显示装置能够通过第一检测部和第二检测部来检测装戴了视网膜扫描型显示部的使用者的瞳孔位置和视线的方向。

这里，第一检测部能够采用以下的至少一个结构。即，第一检测部能够采用以下结构中的至少一个：

[1]至少3轴的陀螺传感器，其设置于装戴了视网膜扫描型显示部的使用者，检测使用者的位置和方向；

[2]光学式读取装置，其通过读取相对于面板型显示部的位置是已知的、并且不存在于一条直线上的三个以上的标记的位置，来检测装戴了视网膜扫描型显示部的使用者的位置和方向；以及

[3]磁式读取装置，其读取相对于面板型显示部的位置是已知的线圈所产生的磁场的强度，根据正交配置的三个拾取线圈而读取装戴了视网膜扫描型显示部的使用者的头部的位置和方向。

另一方面，第二检测部能够采用以下结构中的至少一个：

[4]眼睛照相机，其设置在视网膜扫描型显示部，并且设置在能够拍摄使用者的眼球的位置；以及

[5]传感器，其对使用者的眼球的表面进行光学性扫描。关于第一、第二检测部采用哪个结构，只要根据成本或基材的大小、与控制部的信号的交换的容易度等、设计和制造上的要求来确定即可。或者也可以采用除此以外的结构。

在这样的图像显示装置中，面板型显示部也可以具备从使用者观看的视角在水平方向上为60度以上且180度以下、在垂直方向上为45度以上且120度以下的面板尺寸。只要是该角度范围，则能够抑制面板型显示部的大小，对使用者提供充分的沉浸感。

并且，在这样的图像显示装置中，图像输出部能够将在视网膜扫描型显示部对使用者的两眼使用激光来显示的第一图像作为使两眼产生视差的立体观看用的图像。在该情况下，使用者能够使用视网膜扫描型显示部来立体观看，而且在面板型显示部显示的图像不需要为立体观看用的图像。因此，能够兼得立体观看用的图像的生成和在大范围内显示互补的图像这样的要求。当然，第一图像也可以为立体观看用的图像以外的图像。

在这样的图像显示装置中，图像输出部也可以对于在面板型显示部显示的第二图像，作为将分辨率、亮度、彩度、清晰度(图像没有模糊的程度)中的至少一个参数比关于在视网膜扫描型显示部显示的第一图像的参数小的图像来输出。这样，能够减少形成第二图像的时间、处理的载荷。

在上述的图像显示装置中，图像输出部也可以在第一图像与第二图像的边界，使上述的参数从第一图像侧朝向第二图像侧逐渐变化。这样，在第一图像与第二图像的边界的图像的变化变得平滑。

在这样的图像显示装置中，也可以具备：存储部，其存储表现规定空间的三维数据的存储部；操作部，其变更使用者的规定空间内的位置和视线方向的至少一方；以及图像生成部，其根据三维数据，将伴随着使用者的位置和视线方向的至少一方的变更而假定为使用者在规定空间中进行视觉确认的影像作为规定图像来生成。这样，使用者像在规定空间的内部观看该空间内的事物的那样，能够视觉确认第一图像和第二图像。

并且，在这样的图像显示装置中，具备：存储部，其存储表现位于规定虚拟空间的对象组的三维数据；坐标系对应设定部，其设定使用者所在的实际空间的坐标系与规定虚拟空间的坐标系之间的对应；以及图像生成部，其根据所设定的坐标系对应，将检测到的瞳孔位置和视线方向变换为虚拟空间的坐标系的瞳孔位置和视线方向，并根据三维数据，将假定为虚拟空间的使用者在规定虚拟空间中视觉确认的影像作为规定图像来生成。这样，通过图像显示装置，使用者能够视觉确认包含位于虚拟空间的对象组的、假定为使用者在上述规定虚拟空间中视觉确认的影像。因此使用者能够针对游戏等、假定虚拟空间来进行的影像显示具有较高的沉浸感。

如上所述，这样的图像显示装置可以用于游戏机、娱乐模拟器等，能够实现如下的使用方式，使使用者看到虚拟的游戏的世界等的影像、观光地、博物馆等的影像。并且，也可以用于业务用的模拟器。作为业务用的模拟器，也可以实现如下的使用方式，用于城市开发的城市景观的确认、无论规模的大小如何的构建物的内部或外部的视觉确认、将通常无法用肉眼监察的分子构造、例如碳纳米管或蛋白质等三维构造的数据可视化等。另外，也可以作为监视工厂或各种基础设施等的状态的大型监视显示器、针对这些设备等的远程操作时的监视显示器而使用。在该情况下，如果将现有的液晶显示器等作为本发明的面板型显示部使用，与视网膜扫描型显示部组合而构成图像显示装置，则能够实现现有设备的有效利用。

以上，对本发明的实施方式进行了说明，但本发明不限于这些实施方式，能够以各种方式实施。在本说明书中，关于没有记载为必须的结构，可以以将其删除的方式作为一个发明而成立。另外，作为硬件说明的结构的一部分能够作为软件实现。另一方面，通过软件而实现的功能或结构的至少一部分能够通过硬件实现。

产业上的利用领域

本发明能够用于图像处理装置或游戏机、虚拟现实的显示装置等。

附图标记的说明

10…图像显示装置；20…视网膜扫描型显示部；21、22…透过显示部；24…摄像机；26…眼睛照相机；28、29…镜腿；31、32…反射部；41、42…光学引擎；50、50A…面板型显示部；51～53…标记；59…圆顶；60…图像输出装置；61…CPU；62…存储器；65…GPU；67…操作部；71…视网膜扫描型显示部接口；72…面板型显示部接口；75…存储接口；90…外部存储装置；BSA…周边区域；CSA…中心区域；EL、ER…左右眼；USR…使用者。

Claims (11)

1.一种图像显示装置，该图像显示装置针对使用者可视觉确认地显示规定图像，具备：

视网膜扫描型显示部，其装戴于使用者的头部，通过向所述使用者的两眼的视网膜位置扫描激光，来显示聚焦在从所述使用者的两眼的位置隔开第一距离的位置的第一图像；

视线检测部，其检测装戴了所述视网膜扫描型显示部的所述使用者的瞳孔位置和视线的方向；

面板型显示部，其在被设置于从所述使用者隔开比所述第一距离短的第二距离的位置的面板，显示与所述第一图像不同的第二图像；以及

图像输出部，其从所述规定图像中将假定为存在于检测到的所述使用者的视线的方向的部分作为所述第一图像来向所述视网膜扫描型显示部输出，并且针对所述规定图像将与所述第一图像互补的图像作为所述第二图像来向所述面板型显示部输出。

2.根据权利要求1所述的图像显示装置，其中，

所述视网膜扫描型显示部向所述使用者的至少包含视网膜中心窝的区域投映所述第一图像。

3.根据权利要求1或2所述的图像显示装置，其中，

所述视线检测部具备：第一检测部，其检测装戴了所述视网膜扫描型显示部的使用者的头部的至少相对于所述面板型显示部的位置和方向；以及第二检测部，其检测以装戴了所述视网膜扫描型显示部的所述使用者的所述头部为基准的瞳孔位置和视线的方向。

4.根据权利要求1至3中任一项所述的图像显示装置，其中，

所述面板型显示部具备从所述使用者观看的视角在水平方向上为60度以上且180度以下、在垂直方向上为40度以上且120度以下的面板尺寸。

5.根据权利要求1至4中任一项所述的图像显示装置，其中，

所述图像输出部在所述视网膜扫描型显示部使用所述激光向所述使用者的所述两眼显示的第一图像为使所述两眼产生视差的立体观看用的图像。

6.根据权利要求1至5中任一项所述的图像显示装置，其中，

关于在所述面板型显示部显示的所述第二图像，所述图像输出部输出分辨率、亮度、彩度、清晰度中的至少一个参数比在所述视网膜扫描型显示部显示的所述第一图像的所述参数小的图像。

7.根据权利要求6所述的图像显示装置，其中，

在所述第一图像与所述第二图像的边界，所述图像输出部使所述参数从所述第一图像侧朝向所述第二图像侧逐渐变化。

8.根据权利要求1至7中任一项所述的图像显示装置，其中，

所述面板型显示部具备：

屏幕，其在所述面板表面设置有回射部件；以及

投影仪，其从所述使用者的所述头部附近朝向所述屏幕投影所述第二图像。

9.根据权利要求1至8中任一项所述的图像显示装置，其具备：

存储部，其存储表现规定空间的三维数据；

操作部，其变更所述使用者的所述规定空间内的位置和视线方向中的至少一方；以及

图像生成部，其根据所述三维数据，生成伴随着所述使用者的所述位置和所述视线方向中的至少一方的变更而被假定为所述使用者在所述规定空间中视觉确认的影像来作为所述规定图像。

10.根据权利要求1至8中任一项所述的图像显示装置，其具备：

存储部，其存储表现位于规定虚拟空间的对象组的三维数据；

坐标系对应设定部，其设定所述使用者所在的实际空间的坐标系与所述规定虚拟空间的坐标系的对应；以及

图像生成部，其根据所述设定的坐标系对应，将检测到的所述瞳孔位置和视线方向变换为虚拟空间的坐标系中的瞳孔位置和视线方向，并且根据所述三维数据，生成假定为虚拟空间中的使用者在所述规定虚拟空间中视觉确认的影像来作为所述规定图像。

11.一种图像显示方法，该图像显示方法针对使用者可视觉确认地显示规定图像，其中，

检测所述使用者的视线的方向，

从所述规定图像中将假定为存在于检测到的所述使用者的视线的方向的部分作为第一图像，并针对所述规定图像将与所述第一图像互补的图像作为第二图像，

通过从装戴于所述使用者的头部的视网膜扫描型显示部对所述使用者的两眼的视网膜位置扫描激光，来在从所述使用者的两眼的位置隔开第一距离的位置聚焦并显示所述第一图像，

在从所述使用者隔开比所述第一距离短的第二距离的位置设置的面板型显示部的面板表面显示所述第二图像。

Images