CN104918036B - 增强现实显示装置及方法 - Google Patents
增强现实显示装置及方法 Download PDFInfo
- Publication number
- CN104918036B CN104918036B CN201410090169.0A CN201410090169A CN104918036B CN 104918036 B CN104918036 B CN 104918036B CN 201410090169 A CN201410090169 A CN 201410090169A CN 104918036 B CN104918036 B CN 104918036B
- Authority
- CN
- China
- Prior art keywords
- eye
- depth
- display screen
- camera
- digital picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004519 manufacturing process Methods 0.000 claims abstract description 25
- 210000001508 eye Anatomy 0.000 claims description 258
- 210000005252 bulbus oculi Anatomy 0.000 claims description 27
- 239000011521 glass Substances 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000004424 eye movement Effects 0.000 claims description 3
- 230000003565 oculomotor Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 239000011324 bead Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
公开了一种增强现实显示装置及方法,所述增强现实显示装置包括:透明显示屏,用于在其上显示数字图像;聚焦点确定部件,用于获得眼睛聚焦点的位置;显示图像产生部件,用于基于所获得的眼睛聚焦点处的位置来产生用于在所述透明显示屏上显示的数字图像。通过根据眼睛聚焦点的位置来确定数字图像的虚像的位置,使得增强所显示的数字图像与真实场景的融合的真实感。
Description
技术领域
本发明涉及增强现实技术领域,并且更具体地涉及一种增强现实显示装置及方法。
背景技术
增强现实技术作为一种实现虚拟与现实结合的技术,已经得到越来越多的关注。
可以在增强现实眼镜上实现增强现实技术,当使用者佩戴这样的增强现实眼镜并透过其观看真实场景时,通过增强现实眼镜显示数字图像,从而使得使用者在真实场景的基础上感受到数字图像所产生的虚拟效果。然而,目前显示的数字图像与真实场景的融合的真实感不强。
因此,需要一种增强现实显示装置,其能够将数字图像与真实场景完美融合,使得使用者真正感受到身临其境的感觉。
发明内容
为了解决上述技术问题,本发明提供了一种增强现实显示装置及方法,其通过根据眼睛聚焦点的位置来确定数字图像的虚像的位置,使得增强所显示的数字图像与真实场景的融合的真实感。
根据本发明的一个方面,提供了一种增强现实显示装置,包括:透明显示屏,用于在其上显示数字图像;聚焦点确定部件,用于获得眼睛聚焦点的位置;显示图像产生部件,用于基于所获得的眼睛聚焦点处的位置来产生用于在所述透明显示屏上显示的数字图像。
优选地,所述增强现实显示装置还包括:景深确定部件,用于获得所述数字图像的虚像的预期位置,其中,所述显示图像产生部件基于所获得的眼睛聚焦点处的位置、以及所述虚像的预期位置来产生用于在所述透明显示屏上显示的数字图像。
优选地,所述数字图像的虚像位于所述眼睛聚焦点处。
优选地,所述透明显示屏包括左透明显示屏和右透明显示屏,所述左透明显示屏用于显示供左眼观看的图像,所述右透明显示屏用于显示供右眼观看的图像;以及所述显示图像产生部件分别产生用于在左透明显示屏上显示的左眼数字图像以及用于在右透明显示屏上显示的右眼数字图像。
优选地,所述聚焦点确定部件包括用于追踪至少一个眼球的运动的照相机,并且所述至少一个照相机包括分别用于追踪左眼眼球运动和右眼眼球运动的左照相机和右照相机,所述左照相机和右照相机相对于左眼和右眼的中心对称布置。
优选地,所述景深确定部件包括左景深照相机和右景深照相机,所述左景深照相机和右景深照相机相对于左眼和右眼的中心对称布置,所述景深确定部件根据所述左景深照相机和所述右景深照相机之间的距离、以及所述左景深照相机和右景深照相机各自所拍摄的图像来确定眼睛聚焦点处的景深。
优选地,所述增强现实显示装置为增强现实眼镜,所述左透明显示屏和所述右透明显示屏分别被实现为左镜片和右镜片,所述左照相机和所述左景深照相机安装在所述增强现实眼镜的左镜片附近,所述右照相机和所述右景深照相机安装在所述增强现实眼镜的右镜片附近。
根据本发明另一方面,提供了一种增强现实显示方法,包括:获得眼睛聚焦点的位置;基于所获得的眼睛聚焦点处的位置来产生用于在所述透明显示屏上显示的数字图像;以及在所述透明显示屏上显示所述数字图像。
优选地,所述增强现实显示方法还包括:获得所述数字图像的虚像的预期位置;其中,基于所获得的眼睛聚焦点处的位置以及所述虚像的预期位置,来产生用于在所述透明显示屏上显示的数字图像。
优选地,所述透明显示屏包括左透明显示屏和右透明显示屏,其中,基于所获得的眼睛聚焦点处的位置来产生用于在所述透明显示屏上显示的数字图像包括:产生用于在左透明显示屏上显示的左眼数字图像以及用于在右透明显示屏上显示的右眼数字图像;其中,在所述透明显示屏上显示所述数字图像包括:在所述左透明显示屏上显示左眼数字图像,以及在所述右透明显示屏上显示右眼数字图像。
优选地,通过相对于左眼和右眼的中心对称布置的左照相机和右照相机拍摄左眼眼球图像和右眼眼球图像,来获得眼睛聚焦点的位置。
优选地,通过相对于左眼和右眼的中心对称布置的左景深照相机和右景深照相机拍摄左眼图像和右眼图像,来获得所述数字图像的虚像的预期位置。
采用根据本发明的增强现实显示装置及显示方法,通过根据人眼的眼睛聚焦点的位置来产生数字图像,从而使得数字图像的虚像与真实场景的融合更为真实,增强了用户体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1图示了根据本发明第一实施例的增强现实显示装置的示意性框图;
图2图示了根据本发明第二实施例的增强现实显示装置的示意性框图;
图3图示了根据本发明第二实施例的增强现实眼镜的示意性结构图;
图4A图示了根据本发明第一实施例的眼睛聚焦点确定的示意图;
图4B和4C图示了根据本发明第一实施例的显示效果的示意图;
图5A图示了根据本发明第二实施例的眼睛聚焦点确定的示意图;
图5B-5E图示了根据本发明第二实施例的显示效果的示意图;
图6图示了根据本发明第三实施例的增强现实显示方法的流程图;以及
图7图示了根据本发明第四实施例的增强现实显示方法的流程图。
具体实施方式
将参照附图详细描述根据本发明的各个实施例。这里,需要注意的是,在附图中,将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分,并且将省略关于它们的重复描述。
第一实施例
如图1所示,示出了根据本发明第一实施例的增强现实显示装置100,其包括:透明显示屏110、聚焦点确定部件120和显示图像产生部件130。
透明显示屏110从显示图像产生部件130接收数字图像并显示所接收的数字图像。透明显示屏110的具体实现方式对于本领域技术人员是公知的,在此不对其进行赘述。应了解,根据本发明实施例的增强现实显示装置100中的透明显示屏110可以采用任何现有的或将来开发的透明显示技术来制作,只要其能够实现透明显示的技术效果即可,因此在此不对其具体实现方式做出任何限制。
聚焦点确定部件120被配置来获得使用者的眼睛聚焦点的位置,所述眼睛聚焦点的位置包括该眼睛聚焦点在人眼视野中的二维平面位置以及该眼睛聚焦点距所述透明显示屏110的距离。
显示图像产生部件130基于所获得的眼睛聚焦点的位置(例如,具体地,该眼睛聚焦点的二维平面位置以及该眼睛聚焦点距透明显示屏110的距离),产生要在所述透明显示屏110上显示的数字图像。
所述聚焦点确定部件120可以包括用于追踪至少一个眼球的运动的至少一个照相机。
作为示例,所述聚焦点确定部件120可以包括左照相机和右照相机,所述左照相机用于追踪左眼眼球的运动并且拍摄左眼眼球的图像,所述右照相机用于追踪右眼眼球的运动并且拍摄右眼眼球的图像。有利地,所述左照相机和右照相机相对于左眼和右眼的中心对称布置。例如,所述左照相机和右照相机可以相对于左眼和右眼的中心对称地布置在左眼和右眼上方,或者可以相对于左眼和右眼的中心对称地布置在左眼和右眼下方,或者可以相对于左眼和右眼的中心对称地布置在左眼外侧和右眼外侧。
此外,所述聚焦点确定部件120还可以包括聚焦点计算部件,所述聚焦点计算部件基于所述左照相机拍摄的左眼眼球的图像和所述右照相机拍摄的右眼眼球的图像、基于所述左照相机和所述右照相机之间的距离、并且基于所述左照相机与左眼的距离和所述右照相机与右眼的距离,计算使用者的左眼和右眼的眼睛聚焦点。
作为示例,所述眼睛聚焦点的位置包括所述眼睛聚焦点在真实场景中的空间位置,并且可以具体地包括空间的三维坐标信息。例如,以使用者所观看到的真实场景的左上顶点、左下顶点、右上顶点或右下顶点为坐标原点而测量的眼睛聚焦点的真实位置;或者以所述透明显示屏的中心在真实场景中的投影为坐标原点而测量的眼睛聚焦点的真实位置。所述三维坐标信息可以为三维坐标系下的三维坐标信息,或者也可以是极坐标下的三维坐标信息。
作为示例,所述透明显示屏110可以包括左透明显示屏和右透明显示屏。在此情况下,所述显示图像产生部件130基于所获得的眼睛聚焦点的二维平面位置和眼睛聚焦点距透明显示屏110的距离,产生要在左透明显示屏上显示的左眼数字图像、以及要在右透明显示屏上显示的右眼数字图像;所述左透明显示屏从所述显示图像产生部件130接收左眼数字图像并显示所接收的左眼数字图像以供观看者的左眼观看,所述右透明显示屏从所述显示图像产生部件130接收右眼数字图像并显示所接收的右眼数字图像以供观看者的右眼观看。
作为示例,所述透明显示屏110显示所述显示图像产生部件130产生的数字图像,所显示的数字图像的虚像位于所述眼睛聚焦点处。
在根据本发明实施例的增强现实显示装置100中,根据使用者的眼睛聚焦点的位置来产生用于在透明显示屏110上显示的数字图像(即,虚拟图像),从而使得虚拟图像与真实场景的融合更加真实。
下面以在真实场景中放置一水杯并向该水杯中注水为例来描述根据本发明第一实施例的增强现实显示装置100的工作情况。
根据本发明第一实施例的增强现实显示装置100被制作为增强现实眼镜,如图3所示,所述透明显示屏110包括左眼镜片L和右眼镜片R,所述聚焦点确定部件120包括左照相机L1和右照相机R1。
在该示例中,人眼看着水杯,根据本发明第一实施例的增强现实显示装置100能够产生向水杯中注水的虚拟图像。
所述聚焦点确定部件120根据所述左照相机L1和右照相机R1拍摄的左眼眼球的图像和右眼眼球的图像、以及所述左照相机L1和右照相机R1相对于左眼和右眼的位置,来确定使用者的眼睛聚焦点的位置(即二维平面位置)并确定该眼睛聚焦点距所述透明显示屏110的距离。
如图4A所示,示出了该实施例中眼睛聚焦点确定的示意图。
当人眼看着水杯时,所述聚焦点确定部件120确定眼睛聚焦点为水杯位置,通过利用根据本发明第一实施例的增强现实显示装置100可以产生对应于向水杯中注水的虚像的数字图像。图4B所示,示出了人眼注视水杯时向水杯中注水的情况。
另外,当人眼偏离水杯时,所述聚焦点确定部件120确定新的眼睛聚焦点,通过利用根据本发明第一实施例的增强现实显示装置100可以产生对应于向水杯外注水的虚像的数字图像。例如,没有将水注入到水杯中,而是流到了水杯外的桌面上,更进一步可以产生对应于在水杯外的桌面上形成一滩水的虚像的数字图像。如图4C所示,示出了人眼注视水杯外时水流到桌面上的情况。
第二实施例
首先,将参考图2描述根据本发明第二实施例的增强现实显示装置200。
如图2所示,示出了根据本发明第二实施例的增强现实显示装置200,与图1所示的增强现实显示装置100相比,其除了包括透明显示屏110和聚焦点确定部件120之外,还包括景深确定部件225和显示图像产生部件230。
根据本发明第二实施例的增强现实显示装置200中的透明显示屏110和聚焦点确定部件120根据本发明第一实施例的增强现实显示装置100中的透明显示屏110和聚焦点确定部件120相同,在此不再进行赘述。
聚焦点确定部件120被配置来获得使用者的眼睛聚焦点的位置,所述眼睛聚焦点的位置包括该眼睛聚焦点在人眼视野中的二维平面位置以及该眼睛聚焦点距所述透明显示屏110的距离。
景深确定部件225被配置来获得数字虚像的预期位置,所述预期位置包括预期景深。
显示图像产生部件130基于所获得的眼睛聚焦点的二维平面位置和眼睛聚焦点距透明显示屏110的距离、以及基于所获得的预期景深,产生要在所述透明显示屏110上显示的数字图像。
所述景深确定部件225可以包括至少一个景深照相机。
作为示例,所述景深确定部件225可以包括左景深照相机和右景深照相机,所述左景深照相机用于拍摄左眼图像,所述右景深照相机用于拍摄右眼图像。有利地,所述左景深照相机和右景深照相机相对于左眼和右眼的中心对称布置。例如,所述左景深照相机和右景深照相机可以相对于左眼和右眼的中心对称地布置在左眼和右眼上方,或者可以相对于左眼和右眼的中心对称地布置在左眼和右眼下方,或者可以相对于左眼和右眼的中心对称地布置在左眼外侧和右眼外侧。
此外,所述景深确定部件225还可以包括景深计算部件,所述景深计算部件基于所述左景深照相机拍摄的左眼图像和所述右景深照相机拍摄的右眼图像、并且基于所述左景深照相机和所述右景深照相机之间的距离,计算真实场景中至少第一对象处的景深。
作为示例,所述第一对象是所述眼睛聚焦点在真实场景中所对应的对象。
作为示例,所述透明显示屏110可以包括左透明显示屏和右透明显示屏。在此情况下,所述显示图像产生部件230基于所获得的眼睛聚焦点的位置和眼睛聚焦点距透明显示屏110的距离、以及基于所获得的真实场景中至少第一对象处的景深,产生要在左透明显示屏上显示的左眼数字图像、以及要在右透明显示屏上显示的右眼数字图像;所述左透明显示屏从所述显示图像产生部件230接收左眼数字图像并显示所接收的左眼数字图像以供观看者的左眼观看,所述右透明显示屏从所述显示图像产生部件230接收右眼数字图像并显示所接收的右眼数字图像以供观看者的右眼观看。
作为示例,所述透明显示屏110显示所述显示图像产生部件230产生的数字图像,所显示的数字图像的虚像位于所述眼睛聚焦点处或位于所述至少第一对象处。
在根据本发明实施例的增强现实显示装置200中,根据使用者的眼睛聚焦点的位置以及所述至少第一对象的景深来产生用于在透明显示屏110上显示的数字图像(即,虚拟图像),从而使得虚拟图像与真实场景的融合更加真实。
第一示例
下面以在真实场景中放置一水杯并向该水杯中注水为例来描述根据本发明第二实施例的增强现实显示装置200的工作情况。
根据本发明第二实施例的增强现实显示装置200被制作为增强现实眼镜,如图3所示,所述透明显示屏110包括左眼镜片L和右眼镜片R,所述聚焦点确定部件120包括左照相机L1和右照相机R1,所述景深确定部件225包括左景深照相机L2和右景深照相机R2。
在该示例中,人眼看着水杯,根据本发明第二实施例的增强现实显示装置200能够产生向水杯中注水的虚拟图像。
所述聚焦点确定部件120根据所述左照相机L1和右照相机R1拍摄的左眼眼球的图像和右眼眼球的图像、以及所述左照相机L1和右照相机R1相对于左眼和右眼的位置,来确定使用者的眼睛聚焦点的二维平面位置并确定该眼睛聚焦点距所述透明显示屏110的距离。例如,人眼可能注视水杯的不同位置,由此确定的眼睛聚焦点也可能不同。
所述景深确定部件225根据所述左景深照相机L2和右景深照相机R2拍摄的左眼图像和右眼图像、所述左景深照相机L2和右景深照相机R2的位置、以及所述眼睛聚焦点的位置,来确定所述眼睛聚焦点位置处的景深。例如,通过景深确定部件225确定的所述眼睛聚焦点位置处的景深可以更进一步保证判断水杯景深的准确性。
如图5A所示,示出了该示例中眼睛聚焦点确定的示意图。
通过利用根据本发明第二实施例的增强现实显示装置200,随着水杯位置移动,可以始终保证所显示的数字图像的虚像与水杯的相对位置关系,即向水杯中注水。如图5B和5C所示,随着水杯从左侧移动到右侧,始终向水杯中注水。
此外,通过利用根据本发明第二实施例的增强现实显示装置200,在水杯位置不变时,随着眼睛聚焦点位置的细微变化,例如从水杯左侧移动到水杯右侧,也可以追踪眼睛聚焦点的细微变化,在保证向水杯中注水的同时可以细微地调整向水杯中注水的具体位置。如图5D和图5E所示,随着人眼看向水杯的位置的细微变化,例如从左到右,向水杯中注水的位置也发生细微变化,相应地从左到右。
尽管在本示例中始终保证向水杯中注水,但是应了解本发明不限于此,根据实际情况也可以仅根据眼睛聚焦点的位置来产生注水水流,例如,可能没有将水注入到水杯中,而是流到了水杯外的桌面上,更进一步可以产生对应于在水杯外的桌面上形成一滩水的虚像的数字图像。
第二示例
下面以在真实场景中右手做出投球动作向墙壁投球并且墙壁反射球为例来描述根据本发明第二实施例的增强现实显示装置200的工作情况。
在该示例中,根据本发明第二实施例的增强现实显示装置200能够产生对应于小球运动轨迹的虚像。
所述聚焦点确定部件120根据所述左照相机L1和右照相机R1拍摄的左眼眼球的图像和右眼眼球的图像、以及所述左照相机L1和右照相机R1相对于左眼和右眼的位置,来确定使用者的眼睛聚焦点的二维平面位置并确定该眼睛聚焦点距所述透明显示屏110的距离。
所述景深确定部件225根据所述左景深照相机L2和右景深照相机R2拍摄的左眼图像和右眼图像、所述左景深照相机L2和右景深照相机R2的位置,确定眼睛聚焦点位置处的景深。
例如,当人眼注视右手时,所述聚焦点确定部件120确定眼睛聚焦点的位置为右手位置,此时所述景深确定部件225确定眼睛聚焦点位置(即右手位置)处的景深。相应地,所述显示图像产生部件230和透明显示屏110产生对应于出现在右手中的小球的虚像的数字图像。然后,在右手投球之前,随着右手的运动,所述景深确定部件225追踪右手的位置与景深,所述显示图像产生部件230和透明显示屏110产生对应于右手一直握持小球的虚像的数字图像,即产生小球一直保持在右手中的视觉效果。
然后,人眼注视墙壁,所述聚焦点确定部件120确定眼睛聚焦点的位置为墙壁位置,此时所述景深确定部件225确定眼睛聚焦点位置(即墙壁位置)处的景深作为目标运动景深。
此外,在投球动作发生时,所述景深确定部件225还可以根据所述左景深照相机L2和右景深照相机R2拍摄的左眼图像和右眼图像、所述左景深照相机L2和右景深照相机R2的位置,确定右手投球的方向。
所述显示图像产生部件230根据所确定的投球右手的景深、墙壁的景深以及右手投球的方向,确定小球的运动轨迹,并产生相应的数字图像。
在本示例中,所述聚焦点确定部件120和所述景深确定部件225的配合更为复杂,根据应用需要,可能存在更多更复杂的配合方式,应了解本发明不限于这里具体描述的实施例,只要应用了所述聚焦点确定部件120和所述景深确定部件225配合来确定虚像位置,就应涵盖在本发明保护范围内。
第三实施例
接下来,将参考图6来描述根据本发明第三实施例的增强现实显示方法600,应用于根据本发明第一实施例的增强现实显示装置100。
根据本发明实施例的增强现实显示方法600在步骤S601开始。
首先,在步骤S610,获得眼睛聚焦点的位置,所述眼睛聚焦点的位置包括该眼睛聚焦点在人眼视野中的二维平面位置以及该眼睛聚焦点距所述透明显示屏110的距离。
如前所述,可以通过聚焦点确定部件120来获得眼睛聚焦点的位置。
所述聚焦点确定部件120可以包括左照相机和右照相机,所述左照相机用于追踪左眼眼球的运动并且拍摄左眼眼球图像,所述右照相机用于追踪右眼眼球的运动并且拍摄右眼眼球图像,并且所述左照相机和右照相机相对于左眼和右眼的中心对称布置。换句话说,通过相对于左眼和右眼的中心对称布置的左照相机和右照相机拍摄左眼眼球图像和右眼眼球图像,来获得眼睛聚焦点的位置。
例如,所述左照相机和右照相机可以相对于左眼和右眼的中心对称地布置在左眼和右眼上方,或者可以相对于左眼和右眼的中心对称地布置在左眼和右眼下方,或者可以相对于左眼和右眼的中心对称地布置在左眼外侧和右眼外侧。
更具体地,可以基于所述左照相机拍摄的左眼眼球图像和所述右照相机拍摄的右眼眼球图像、基于所述左照相机和所述右照相机之间的距离、并且基于所述左照相机与左眼的距离和所述右照相机与右眼的距离,计算使用者的左眼和右眼的眼睛聚焦点。
然后,在步骤S620,基于所获得的眼睛聚焦点处的位置来产生用于在所述透明显示屏上显示的数字图像。
接下来,在步骤S630,在所述透明显示屏110上显示所述数字图像。
所述透明显示屏110可以包括左透明显示屏和右透明显示屏。在此情况下,基于所获得的眼睛聚焦点的位置,产生要在左透明显示屏上显示的左眼数字图像、以及要在右透明显示屏上显示的右眼数字图像;所述左透明显示屏显示所述左眼数字图像以供观看者的左眼观看,所述右透明显示屏显示所述右眼数字图像以供观看者的右眼观看。
在此情况下,所显示的数字图像的虚像位于所述眼睛聚焦点处。
在根据本发明实施例的增强现实显示方法600中,根据使用者的眼睛聚焦点的位置来产生用于在透明显示屏110上显示的数字图像(即,虚拟图像),从而使得虚拟图像与真实场景的融合更加真实。
第四实施例
接下来,将参考图7来描述根据本发明第四实施例的增强现实显示方法700,其在根据本发明第三实施例的增强现实显示方法600的基础上增加了步骤S715。
图7中的步骤S710与图6中的步骤S610相同,在此不再进行赘述。
在步骤S715,获得所述数字图像的虚像的预期位置,所述预期位置包括预期景深。
如前所述,可以通过景深确定部件来获得所述数字图像的虚像的预期位置。
所述景深确定部件可以包括左景深照相机和右景深照相机,所述左景深照相机用于拍摄左眼图像,所述右景深照相机用于拍摄右眼图像,并且所述左景深照相机和右景深照相机相对于左眼和右眼的中心对称布置。换句话说,通过相对于左眼和右眼的中心对称布置的左景深照相机和右景深照相机拍摄左眼图像和右眼图像,来获得所述数字图像的虚像的预期位置。
例如,所述左景深照相机和右景深照相机可以相对于左眼和右眼的中心对称地布置在左眼和右眼上方,或者可以相对于左眼和右眼的中心对称地布置在左眼和右眼下方,或者可以相对于左眼和右眼的中心对称地布置在左眼外侧和右眼外侧。
更具体地,基于所述左景深照相机拍摄的左眼图像和所述右景深照相机拍摄的右眼图像、并且基于所述左景深照相机和所述右景深照相机之间的距离,计算真实场景中至少第一对象处的景深。例如,以上示例中水杯的位置、手的位置、墙壁的位置。
在步骤S720中,基于所获得的眼睛聚焦点处的位置以及所述虚像的预期位置,来产生用于在所述透明显示屏上显示的数字图像。
作为示例,所述虚像的预期位置可以包括所述眼睛聚焦点处的景深,在此情况下,所述数字图像的虚像位于眼睛聚焦点处。
作为另一示例,所述虚像的预期位置可以为真实场景中至少第一对象处,所述至少第一对象与眼睛聚焦点位置不同,在此情况下,所述数字图像的虚像位于真实场景中的至少第一对象处。
然后,步骤S730的操作与图6中步骤S630的操作相同,在此不再进行赘述。
根据本发明实施例的增强现实显示装置和显示方法可以根据人眼的眼睛聚焦点的位置来产生数字图像,从而使得数字图像的虚像与真实场景的融合更为真实,增强了用户体验。
需要说明的是,在本说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过硬件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
在本发明实施例中,单元/模块可以用软件实现,以便由各种类型的处理器执行。举例来说,一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块,举例来说,其可以被构建为对象、过程或函数。尽管如此,所标识模块的可执行代码无需物理地位于一起,而是可以包括存储在不同位里上的不同的指令,当这些指令逻辑上结合在一起时,其构成单元/模块并且实现该单元/模块的规定目的。
在单元/模块可以利用软件实现时,考虑到现有硬件工艺的水平,所以可以以软件实现的单元/模块,在不考虑成本的情况下,本领域技术人员都可以搭建对应的硬件电路来实现对应的功能,所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备,诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种增强现实显示装置,包括:
透明显示屏,用于在其上显示数字图像;
聚焦点确定部件,用于获得眼睛聚焦点的位置;
显示图像产生部件,用于基于所获得的眼睛聚焦点处的位置来产生用于在所述透明显示屏上显示的数字图像;
景深确定部件,用于基于现实场景中至少第一对象的景深来获得所述数字图像的虚像的预期位置,其中,所述景深确定部件追踪所述第一对象的位置与景深,以使所述显示图像产生部件产生对应于所述第一对象的数字图像;
其中,所述显示图像产生部件基于所获得的眼睛聚焦点处的位置、以及所述虚像的预期位置来产生用于在所述透明显示屏上显示的数字图像。
2.如权利要求1所述的增强现实显示装置,其中,所述虚像的预期位置包括所述眼睛聚焦点处的景深。
3.如权利要求1或2所述的增强现实显示装置,其中,
在将所述显示图像产生部件所产生的数字图像显示在所述透明显示屏上的情况下,所述数字图像的虚像位于眼睛聚焦点处。
4.如权利要求1所述的增强现实显示装置,其中,
在将所述显示图像产生部件所产生的数字图像显示在所述透明显示屏上的情况下,所述数字图像的虚像位于所述虚像的预期位置处。
5.如权利要求1所述的增强现实显示装置,其中,
所述透明显示屏包括左透明显示屏和右透明显示屏,所述左透明显示屏用于显示供左眼观看的图像,所述右透明显示屏用于显示供右眼观看的图像;以及
所述显示图像产生部件分别产生用于在左透明显示屏上显示的左眼数字图像以及用于在右透明显示屏上显示的右眼数字图像。
6.如权利要求1所述的增强现实显示装置,其中,
所述聚焦点确定部件包括用于追踪至少一个眼球的运动的至少一个照相机。
7.如权利要求6所述的增强现实显示装置,其中,
所述至少一个照相机包括分别用于追踪左眼眼球运动和右眼眼球运动的左照相机和右照相机,所述左照相机和右照相机相对于左眼和右眼的中心对称布置。
8.如权利要求1所述的增强现实显示装置,其中,
所述聚焦点确定部件包括分别用于追踪左眼眼球运动和右眼眼球运动的左照相机和右照相机,所述左照相机和右照相机相对于左眼和右眼的中心对称布置;以及
所述景深确定部件包括左景深照相机和右景深照相机,所述左景深照相机和右景深照相机相对于左眼和右眼的中心对称布置,
所述景深确定部件根据所述左景深照相机和所述右景深照相机之间的距离、以及所述左景深照相机和右景深照相机各自所拍摄的图像来确定眼睛聚焦点处的景深。
9.如权利要求8所述的增强现实显示装置,其中,
所述增强现实显示装置为增强现实眼镜,所述透明显示屏包括左透明显示屏和右透明显示屏,所述左透明显示屏和所述右透明显示屏分别被实现为左镜片和右镜片,所述左照相机和所述左景深照相机安装在所述增强现实眼镜的左镜片附近,所述右照相机和所述右景深照相机安装在所述增强现实眼镜的右镜片附近。
10.一种增强现实显示方法,包括:
获得眼睛聚焦点的位置;
基于所获得的眼睛聚焦点处的位置来产生用于在透明显示屏上显示的数字图像;以及
在所述透明显示屏上显示所述数字图像;
基于现实场景中至少第一对象的景深来获得所述数字图像的虚像的预期位置,其中,追踪所述第一对象的位置与景深,以产生对应于所述第一对象的数字图像;
其中,基于所获得的眼睛聚焦点处的位置、以及所述虚像的预期位置来产生用于在所述透明显示屏上显示的数字图像。
11.如权利要求10所述的增强现实显示方法,其中,所述虚像的预期位置包括所述眼睛聚焦点处的景深,所述数字图像的虚像位于眼睛聚焦点处。
12.如权利要求10所述的增强现实显示方法,其中,
所产生的所述数字图像的虚像位于眼睛聚焦点处。
13.如权利要求10所述的增强现实显示方法,其中,
所产生的所述数字图像的虚像位于所述虚像的预期位置处。
14.如权利要求10所述的增强现实显示方法,其中,所述透明显示屏包括左透明显示屏和右透明显示屏,
其中,基于所获得的眼睛聚焦点处的位置来产生用于在所述透明显示屏上显示的数字图像包括:产生用于在左透明显示屏上显示的左眼数字图像以及用于在右透明显示屏上显示的右眼数字图像;
其中,在所述透明显示屏上显示所述数字图像包括:在所述左透明显示屏上显示左眼数字图像,以及在所述右透明显示屏上显示右眼数字图像。
15.如权利要求10所述的增强现实显示方法,其中,
通过相对于左眼和右眼的中心对称布置的左照相机和右照相机拍摄左眼眼球图像和右眼眼球图像,来获得眼睛聚焦点的位置。
16.如权利要求10所述的增强现实显示方法,其中,
通过相对于左眼和右眼的中心对称布置的左景深照相机和右景深照相机拍摄左眼图像和右眼图像,来获得所述数字图像的虚像的预期位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410090169.0A CN104918036B (zh) | 2014-03-12 | 2014-03-12 | 增强现实显示装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410090169.0A CN104918036B (zh) | 2014-03-12 | 2014-03-12 | 增强现实显示装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104918036A CN104918036A (zh) | 2015-09-16 |
| CN104918036B true CN104918036B (zh) | 2019-03-29 |
Family
ID=54086688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410090169.0A Active CN104918036B (zh) | 2014-03-12 | 2014-03-12 | 增强现实显示装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104918036B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
| CN106127171A (zh) * | 2016-06-28 | 2016-11-16 | 广东欧珀移动通信有限公司 | 一种增强现实内容的显示方法、装置及终端 |
| CN106131541A (zh) * | 2016-08-26 | 2016-11-16 | 广州巧瞳科技有限公司 | 基于增强现实的智能显示装置及方法 |
| CN106444042A (zh) * | 2016-11-29 | 2017-02-22 | 北京知境科技有限公司 | 一种增强现实与虚拟现实两用显示设备和可穿戴设备 |
| CN107024991A (zh) * | 2017-04-13 | 2017-08-08 | 长沙职业技术学院 | 一种基于物联网的眼镜系统 |
| CN108012147B (zh) * | 2017-12-22 | 2019-08-02 | 歌尔股份有限公司 | Ar成像系统虚像距测试方法及装置 |
| CN110572632A (zh) * | 2019-08-15 | 2019-12-13 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于视线跟踪的增强现实显示系统、头盔和方法 |
| CN115280369A (zh) * | 2020-05-26 | 2022-11-01 | Oppo广东移动通信有限公司 | 图像创建显示装置的控制方法及图像创建显示装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102566049A (zh) * | 2010-11-08 | 2012-07-11 | 微软公司 | 用于扩展现实显示的自动可变虚拟焦点 |
| CN102591016A (zh) * | 2010-12-17 | 2012-07-18 | 微软公司 | 用于扩展现实显示的优化聚焦区 |
| CN102981616A (zh) * | 2012-11-06 | 2013-03-20 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及系统和计算机 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8767305B2 (en) * | 2011-08-02 | 2014-07-01 | Google Inc. | Method and apparatus for a near-to-eye display |
-
2014
- 2014-03-12 CN CN201410090169.0A patent/CN104918036B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102566049A (zh) * | 2010-11-08 | 2012-07-11 | 微软公司 | 用于扩展现实显示的自动可变虚拟焦点 |
| CN102591016A (zh) * | 2010-12-17 | 2012-07-18 | 微软公司 | 用于扩展现实显示的优化聚焦区 |
| CN102981616A (zh) * | 2012-11-06 | 2013-03-20 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及系统和计算机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104918036A (zh) | 2015-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104918036B (zh) | 增强现实显示装置及方法 | |
| US12141935B2 (en) | Foveated rendering using eye motion | |
| KR102068801B1 (ko) | 가상 현실 화상을 조정하기 위한 방법 및 장치 | |
| EP3414742B1 (en) | Optimized object scanning using sensor fusion | |
| AU2013224653B2 (en) | Virtual reality display system | |
| US10397539B2 (en) | Compensating 3D stereoscopic imagery | |
| US12238262B2 (en) | Creation and user interactions with three-dimensional wallpaper on computing devices | |
| US10884576B2 (en) | Mediated reality | |
| KR20160117522A (ko) | 멀티-포컬 디스플레이 시스템 및 방법 | |
| EP2926554A1 (en) | System and method for generating 3-d plenoptic video images | |
| US20130044191A1 (en) | Device and method for generating stereoscopic image | |
| IL308285B1 (en) | System and method for augmented and virtual reality | |
| Gourlay et al. | Head‐Mounted‐Display tracking for augmented and virtual reality | |
| US20230319256A1 (en) | Image Display Control Method, Image Display Control Apparatus, and Head-Mounted Display Device | |
| CN115868158A (zh) | 一种显示调节方法、装置、设备及介质 | |
| CN111596763B (zh) | 虚拟现实设备的控制方法及装置 | |
| CN102510503B (zh) | 一种立体显示方法及立体显示设备 | |
| CN105592306A (zh) | 一种三维立体显示处理方法和装置 | |
| CN111712859B (zh) | 用于生成视图图像的装置和方法 | |
| WO2020036916A1 (en) | Tilted focal plane for near-eye display system | |
| CN102447929B (zh) | 一种显示控制芯片及立体显示设备 | |
| Hirzle et al. | Towards a symbiotic human-machine depth sensor: Exploring 3D gaze for object reconstruction | |
| CN121458922A (zh) | 显示方法与电子设备 | |
| Hirzle et al. | Exploring 3D Gaze for Object Reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |