[go: up one dir, main page]

CN110321005A - 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质 - Google Patents

一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质 Download PDF

Info

Publication number
CN110321005A
CN110321005A CN201910517424.8A CN201910517424A CN110321005A CN 110321005 A CN110321005 A CN 110321005A CN 201910517424 A CN201910517424 A CN 201910517424A CN 110321005 A CN110321005 A CN 110321005A
Authority
CN
China
Prior art keywords
coordinate system
environment image
true environment
virtual article
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910517424.8A
Other languages
English (en)
Other versions
CN110321005B (zh
Inventor
晏凤宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Transsion Holdings Co Ltd
Original Assignee
Shenzhen Transsion Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Transsion Holdings Co Ltd filed Critical Shenzhen Transsion Holdings Co Ltd
Priority to CN201910517424.8A priority Critical patent/CN110321005B/zh
Publication of CN110321005A publication Critical patent/CN110321005A/zh
Application granted granted Critical
Publication of CN110321005B publication Critical patent/CN110321005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种提高AR设备虚拟物件显示效果的方法、装置、AR设备和存储介质。所述方法包括:获取真实环境图像,构建真实环境图像坐标系;获取视角信息,构建视角坐标系;获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值;获取眼球运动状态;根据所述眼球运动状态,调整所述视角坐标系;根据调整后的所述视角坐标系,调整所述坐标系差值;根据调整后的所述坐标系差值,调整所述虚拟物件的坐标。采用上述技术方案后,可以让AR设备的虚拟物件与实际场景中物体的叠加效果更好,使用户具有更好的观看体验。

Description

一种提高AR设备虚拟物件显示效果的方法、装置、AR设备和存 储介质
技术领域
本发明涉及AR设备技术领域,尤其涉及一种提高AR设备虚拟物件显示效果的方法、装置、AR设备和存储介质。
背景技术
增强现实(Augmented Reality,简称AR)技术,是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
目前,头戴式AR设备主要有两种显示方式:视频透视式(Video See-Through)和光学透视式(Optical See-Through)。
视频透视式是通过安装在AR设备上的微型摄像机来采集真实场景的图像,同时计算机通过场景理解和分析将所要添加的信息和图像信号叠加在摄像机的视频信号上,同时将计算机生成的虚拟场景与真实场景进行融合,最后通过显示器呈现给用户。
光学透视式是通过一对安装在眼前的半透半反的光学合成器实现对外界真实环境与虚拟信息的融合的。真实场景直接透过半反半透镜呈现给用户,计算机生成的虚拟信息经过光学系统放大后经半透半反透镜反射而进入眼睛,真实场景和虚拟信息汇聚到视网膜上从而形成虚实叠加的成像效果。
现有的光学透视式AR设备存在的问题在于,计算机生产的虚拟信息,例如虚拟物件,其坐标位置是根据摄像机获得的真实场景建立的坐标系确定的,即是由根据摄像机构建的坐标系确定的;而用户看到的真实场景是人眼直接获得的,及是由根据人眼构成的坐标系确定的。由于这两个坐标系存在偏差,所以导致计算机生产的虚拟物在叠加到真实场景时存在偏差,导致虚实叠加的效果不佳,即虚拟物件的显示效果不佳,影响用户的使用体验。
因此,需要开发一种能够提高AR设备虚拟物件显示效果的方法、装置、AR设备和存储介质。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供一种能够提高AR设备虚拟物件显示效果的方法、装置、AR设备和存储介质。
本发明公开了一种提高AR设备虚拟物件显示效果的方法,包括:
获取真实环境图像,构建真实环境图像坐标系;
获取视角信息,构建视角坐标系;
获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值;
获取眼球运动状态;
根据所述眼球运动状态,调整所述视角坐标系;
根据调整后的所述视角坐标系,调整所述坐标系差值;
根据调整后的所述坐标系差值,调整所述虚拟物件的坐标。
优选地,在获取真实环境图像,构建真实环境图像坐标系后,
添加虚拟物件,获取所述虚拟物件在所述真实环境图像坐标系中的坐标。
优选地,所述添加虚拟物件,获取所述虚拟物件在所述真实环境图像坐标系中的坐标,包括:
通过物体识别技术识别真实环境中的参照物,并获取所述参照物在真实环境图像坐标系中的坐标;
根据所述虚拟物件与所述参照物预设的位置关系添加虚拟物件,并获取所述虚拟物件在所述真实环境图像坐标系中的坐标。
优选地,根据调整后所述坐标系差值,调整所述虚拟物件的坐标后,
将所述虚拟物件以调整后坐标投射至AR设备的显示屏幕上。
优选地,通过眼球追踪技术获取所述眼球运动状态;
所述眼球追踪技术包括:虹膜角度变化追踪技术、眼球和眼球周边特征变化追踪技术、红外线追踪技术。
优选地,所述视角坐标系的原点为眼球中心点,所述视角坐标系的x轴、y轴与视网膜平面或虹膜平面的x轴、y轴方向一致,所述视角坐标系的z轴为视线观察方向。
优选地,所述获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值,包括:
通过物体识别技术识别真实环境中的参照物,并获取所述参照物在真实环境图像坐标系和视角坐标系中的坐标;
计算所述参照物在真实环境图像坐标系和视角坐标系中的坐标差值;
所述坐标差值即所述真实环境图像坐标系和视角坐标系的坐标系差值。
本发明还公开了一种提高AR设备虚拟物件显示效果的装置,包括:
第一获取单元,用于获取真实环境图像,构建真实环境图像坐标系;
第二获取单元,用于获取视角信息,构建视角坐标系;
第三获取单元,用于获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值;
第四获取单元,用于获取眼球运动状态;
第一调整单元,用于根据所述眼球运动状态,调整所述视角坐标系;
第二调整单元,用于根据调整后的所述视角坐标系,调整所述坐标系差值;
第三调整单元,用于根据调整后所述坐标系差值,调整所述虚拟物件的坐标。
本发明还公开了一种AR设备,包括存储器、处理器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述的方法。
本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的方法。
采用了上述技术方案后,与现有技术相比,能够有效提高AR设备虚拟物件的显示效果,使虚拟物件与现实场景的叠加更匹配,提升AR眼镜视觉效果,从而提升用户的使用体验。
附图说明
图1为本发明一实施例中提高AR设备虚拟物件显示效果的方法的流程示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
参见附图1,本发明一实施例中提高AR设备虚拟物件显示效果的方法的流程示意图。
所述AR设备可以为AR眼镜或头盔式显示器,所述AR设备的显示方式为光学透视式(Optical See-Through)。
所述方法包括如下步骤:
S1:获取真实环境图像,构建真实环境图像坐标系。
具体地,所述AR设备上设置有摄像机,所述摄像机用于获取真实环境的图像,所述AR设备的处理模块根据摄像机获取的真实环境的图像计算构建真实环境图像坐标系,也即摄像机坐标系。
所述真实环境图像坐标系的原点为摄像机光心,x轴,y轴与成像平面的x轴和y轴一致,z轴为摄像机的光轴,与x轴和y轴垂直。
在步骤S1之后,还包括步骤S1’:添加虚拟物件,获取所述虚拟物件在所述真实环境图像坐标系中的坐标。
即,在获取到真实环境的图像后,根据获得的真实环境图像,添加需要添加的虚拟物件,并获取所述虚拟物件在所述真实环境图像坐标系中的坐标。应当注意的是,这里的添加可以是指根据真实环境图像构建相应的虚拟物件,也可以是指根据预设的添加规则,将已有的或者说已生成好的虚拟物件添加到所述真实环境图像坐标系中。这里的虚拟物件可以是指图片、视频、动画、文字等,即真实环境图像中没有的,通过处理器添加的东西。
具体地,在步骤S1’中,先通过物体识别技术识别真实环境中的参照物,并获取所述参照物在真实环境图像坐标系中的坐标;再根据所述虚拟物件与所述参照物预设的位置关系添加虚拟物件,并获取所述虚拟物件在所述真实环境图像坐标系中的坐标。
物体识别技术是计算机视觉领域中的一项基础技术,它的作用是识别出图像中有什么物体,并报告出这个物体在图像表示的场景中的位置和方向。
物体识别技术通常包括如下步骤:图像的预处理、特征提取、特征选择、建模、匹配、定位。
物体识别的主要方法包括:基于统计的物体分类方法、基于物体部件的识别、生成性方法与鉴别性方法、基于模型(model)的物体识别方法、基于上下文(context)物体识别方法。
下面以提高虚拟圆形花瓶在真实环境的圆形桌面上的显示效果为例,来对上述步骤进行说明。
在步骤S1中,通过AR设备的摄像机获取含有圆形桌面的真实环境图像,并根据真实环境图像计算构建真实环境图像坐标系,真实环境图像坐标系的原点为摄像机光心,x轴,y轴与成像平面的x轴和y轴一致,z轴为摄像机的光轴,与x轴和y轴垂直。
在步骤S1’中,在获取到真实环境图像后,先通过物体识别技术识别真实环境中的圆形桌面,圆形桌面即上述的参照物,识别到圆形桌面后,对圆形桌面进行定位,获取圆形桌面圆心在真实环境图像坐标系中的坐标(x1,y1,z1)。然后根据所述虚拟圆形花瓶与所述圆形桌面预设的位置关系添加虚拟花瓶。虚拟圆形花瓶底部圆心位置在真实环境图像坐标系中的坐标为(x2,y2,z2),预设在圆形桌面圆心右方3cm,上方5cm处添加虚拟圆形花瓶。则根据该预设的位置关系添加虚拟圆形花瓶,则虚拟圆形花瓶在真实环境图像坐标系中坐标(x2,y2,z2)为(x1+3,y1+5,z1)。
S2:获取视角信息,构建视角坐标系。
具体地,所述视角信息包括眼球的位置、状态、视线方向、视角等信息,所述视角信息可以通过眼球追踪技术获得。
所述眼球追踪技术包括:虹膜角度变化追踪技术、眼球和眼球周边特征变化追踪技术、红外线追踪技术。
获得视角信息后,VR设备的处理器根据所述视角信息计算构建视角坐标系,具体地,所述视角坐标系原点为眼球中心点,所述视角坐标系的x轴、y轴与视网膜平面或虹膜平面的x轴、y轴方向一致,所述视角坐标系的z轴为视线观察方向。在一些实施例中,所述眼球中心点可以是瞳孔中心点。
S3:获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值。
具体地,在所述真实环境图像坐标系和所述视角坐标系建立后,根据眼球与摄像机的位置关系、视角信息等信息,可以直接获知所述真实环境图像坐标系和视角坐标系的位置关系,进而可以直接获得所述真实环境图像坐标系和视角坐标系的坐标系差值。
在一些实施例中,也可以通过参照物来获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值。具体地,通过物体识别技术识别真实环境中的参照物,并获取所述参照物在真实环境图像坐标系和视角坐标系中的坐标;计算所述参照物在真实环境图像坐标系和视角坐标系中的坐标差值;所述坐标差值即所述真实环境图像坐标系和视角坐标系的坐标系差值。
继续以提高虚拟圆形花瓶在真实环境的圆形桌面上的显示效果为例,来对上述步骤进行说明。
在步骤S2中,通过眼球追踪技术获取视角信息,并计算构建视角坐标系,所述视角坐标系原点为眼球中心点,所述视角坐标系的x轴、y轴与视网膜平面或虹膜平面的x轴、y轴方向一致,所述视角坐标系的z轴为视线观察方向。进一步地,由于在步骤S1’已通过物体识别技术识别出真实环境中的圆形桌面,在本步骤中,获取圆形桌面圆心在视角坐标系中坐标为(x3,y3,z3)。
在步骤S3中,根据获取的圆形桌面圆心在真实环境图像坐标系中的坐标(x1,y1,z1)和在视角坐标系中坐标为(x3,y3,z3),计算圆形桌面圆心在真实环境图像坐标系和视角坐标系中的坐标差值,所述坐标差值为(x3-x1,y3-y1,z3-z1),即所述真实环境图像坐标系和所述视角坐标系的坐标系差值为(x3-x1,y3-y1,z3-z1)。在一些实施例中,此时,可以根据所述坐标系差值调整虚拟圆形花瓶的坐标,即将虚拟圆形花瓶在真实环境图像坐标系的坐标加上所述坐标系差值,即可得到虚拟圆形花瓶在视角坐标系的坐标(x3-x1+x2,y3-y1+y2,z3-z1+z2)。进而,可以以该坐标将虚拟圆形花瓶的图像投射到AR设备的显示屏幕上。通过这样的方式可以补偿根据摄像机构建的坐标系与人眼视角坐标系的偏差,提高虚拟物件与实际场景的叠加效果,即提高虚拟物件的显示效果。
S4:获取眼球运动状态。
具体地,通过眼球追踪技术追踪眼球的运动状态,即眼球的转动方向、角度等。因为在眼球运动时,视线方向会发生变化。如果想要提高虚拟物件的显示效果,则需要根据眼球的运动,即视线方向的变化来调整虚拟物件的坐标,使之与人眼的视线更匹配。
S5:根据所述眼球运动状态,调整所述视角坐标系。
具体地,对于本步骤,在一些实施例中,在初始的视角坐标系的基础上,获取眼球运动的变化量,即眼球的转动方向、角度等信息,并将该变化量叠加到初始的视角坐标系上,得到变化后的视角坐标系。
对于本步骤,在另一些实施例中,通过眼球追踪技术,对转动一定方向、角度后的眼球,获取其视角相关信息,并重新建立视角坐标系,重新建立的视角坐标系即为调整后的所述视角坐标系。
S6:根据调整后的所述视角坐标系,调整所述坐标系差值。
对于本步骤,在一些实施例中,通过运动后眼球位置、实现方向,即其与摄像机位置关系等信息,可以直接获知所述真实环境图像坐标系和步骤S5中调整后的视角坐标系的位置关系,进而可以直接得到真实环境图像坐标系与步骤S5中调整后的视角坐标系的坐标系差值。
对于本步骤,在另一些实施例中,也可以通过参照物在真实环境图像坐标系和该参照物在步骤S5中调整后的视角坐标系中的坐标差值,来计算真实环境图像坐标系和步骤S5中调整后的视角坐标系的坐标系差值。即将参照物在这两个坐标系中的坐标相减,即可得到调整后的坐标系差值。
S7:根据调整后的所述坐标系差值,调整所述虚拟物件的坐标。
在本步骤中,将所述虚拟物件在真实环境图像坐标系中的坐标加上步骤S6得到的调整后的坐标系差值,即可得到虚拟物件在调整后的视角坐标系中的坐标。
进一步地,所述方法还包括步骤S8:将所述虚拟物件以调整后坐标投射至AR设备的显示屏幕上。以调整后的坐标投影虚拟物件,可以有效补偿根据摄像机构建的坐标系与人眼视角坐标系的偏差,即使是眼球运动,也可以使虚拟物件显示在合适的位置,提高虚拟物件与实际场景的叠加效果,即提高虚拟物件的显示效果。
这里继续以提高虚拟圆形花瓶在真实环境的圆形桌面上的显示效果为例,来对上述步骤进行说明。
在步骤S4、S5中,通过眼球追踪技术获取眼球运动状态,并根据运动后的眼球视角相关信息重新构建视角坐标系,即得到调整后的视角坐标系。
在步骤S6中,获取圆形桌面圆心在调整后的视角坐标系中的坐标(x4,y4,z4),计算圆形桌面圆心在真实环境图像坐标系和调整后的视角坐标系的坐标差值,即(x4-x1,y4-y1,z4-z1),该坐标差值即真实环境图像坐标系和调整后的视角坐标系的坐标系差值。
在步骤S7中,将所述虚拟圆形花瓶在真实环境图像坐标系中的坐标加上步骤S6得到的调整后的坐标系差值,得到虚拟物件在调整后的视角坐标系中的坐标(x4-x1+x2,y4-y1+y2,z4-z1+z2)。
在步骤S8中,将所述虚拟物件以调整后坐标(x4-x1+x2,y4-y1+y2,z4-z1+z2)投射至AR设备的显示屏幕上。
应当注意的是,对于本发明的步骤S1~S7,没有严格的顺序要求。例如步骤S4和S2可以同步完成;例如步骤S3可以在步骤S5之后。只要是包含上述步骤S1~S7的方法,即使顺序不同,也应当包含在本申请的保护范围内。
本发明还公开了一种提高AR设备虚拟物件显示效果的装置,包括:
第一获取单元,用于获取真实环境图像,构建真实环境图像坐标系;
第二获取单元,用于获取视角信息,构建视角坐标系;
第三获取单元,用于获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值;
第四获取单元,用于获取眼球运动状态;
第一调整单元,用于根据所述眼球运动状态,调整所述视角坐标系;
第二调整单元,用于根据调整后的所述视角坐标系,调整所述坐标系差值;
第三调整单元,用于根据调整后所述坐标系差值,调整所述虚拟物件的坐标。
进一步地,本发明还包括:
第一添加单元,用于添加虚拟物件,获取所述虚拟物件在所述真实环境图像坐标系中的坐标。
进一步地,本发明还包括:
投影单元,用于将所述虚拟物件以调整后坐标投射至AR设备的显示屏幕上。
本发明还公开了一种AR设备,包括存储器、处理器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的方法。
本申请中,处理器以包括一个或者多个处理核心。通过运行或执行存储在存储器内的计算机程序(包括:指令、程序、代码集或指令集等)以及调用存储在存储器内的数据,执行AR设备的各种功能和处理数据。可选地,处理器可以采用数字信号处理(DigitalSignal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics ProcessingUnit,GPU)和调制解调器等中的一种或几种的组合。
存储器可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选地,存储器包括非瞬时性计算机可读介质(non-transitorycomputer-readable storage medium)。存储器可用于存储计算机程序(包括:指令、程序、代码、代码集或指令集等)。
所述AR设备还包括:
摄像机,用于获取真实环境的图像;
眼球追踪装置,用于获取视角信息和眼球运动状态;
显示屏幕,用于投影虚拟物件。所述显示屏幕可以是透明的镜片。
本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述实施例中的方法。具体地,该计算机程序可以内置在AR设备中,这样,AR设备就可以通过执行内置的计算机程序实现上述方法的步骤。
所应计算机可读存储介质可为各种类型的存储介质,可选为非瞬间存储介质。所述计算机可读存储介质,可选为移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。

Claims (10)

1.一种提高AR设备虚拟物件显示效果的方法,其特征在于,包括:
获取真实环境图像,构建真实环境图像坐标系;
获取视角信息,构建视角坐标系;
获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值;
获取眼球运动状态;
根据所述眼球运动状态,调整所述视角坐标系;
根据调整后的所述视角坐标系,调整所述坐标系差值;
根据调整后的所述坐标系差值,调整所述虚拟物件的坐标。
2.如权利要求1所述的方法,其特征在于:
在获取真实环境图像,构建真实环境图像坐标系后,
添加虚拟物件,获取所述虚拟物件在所述真实环境图像坐标系中的坐标。
3.如权利要求2所述的方法,其特征在于:
所述添加虚拟物件,获取所述虚拟物件在所述真实环境图像坐标系中的坐标,包括:
通过物体识别技术识别真实环境中的参照物,并获取所述参照物在真实环境图像坐标系中的坐标;
根据所述虚拟物件与所述参照物预设的位置关系添加虚拟物件,并获取所述虚拟物件在所述真实环境图像坐标系中的坐标。
4.如权利要求1所述的方法,其特征在于,
根据调整后所述坐标系差值,调整所述虚拟物件的坐标后,
将所述虚拟物件以调整后坐标投射至AR设备的显示屏幕上。
5.如权利要求1所述的方法,其特征在于,
通过眼球追踪技术获取所述眼球运动状态;
所述眼球追踪技术包括:虹膜角度变化追踪技术、眼球和眼球周边特征变化追踪技术、红外线追踪技术。
6.如权利要求1所述的方法,其特征在于,
所述视角坐标系的原点为眼球中心点,所述视角坐标系的x轴、y轴与视网膜平面或虹膜平面的x轴、y轴方向一致,所述视角坐标系的z轴为视线观察方向。
7.如权利要求1所述的方法,其特征在于,
所述获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值,包括:
通过物体识别技术识别真实环境中的参照物,并获取所述参照物在真实环境图像坐标系和视角坐标系中的坐标;
计算所述参照物在真实环境图像坐标系和视角坐标系中的坐标差值;
所述坐标差值即所述真实环境图像坐标系和视角坐标系的坐标系差值。
8.一种提高AR设备虚拟物件显示效果的装置,其特征在于,包括:
第一获取单元,用于获取真实环境图像,构建真实环境图像坐标系;
第二获取单元,用于获取视角信息,构建视角坐标系;
第三获取单元,用于获取所述真实环境图像坐标系和所述视角坐标系的坐标系差值;
第四获取单元,用于获取眼球运动状态;
第一调整单元,用于根据所述眼球运动状态,调整所述视角坐标系;
第二调整单元,用于根据调整后的所述视角坐标系,调整所述坐标系差值;
第三调整单元,用于根据调整后所述坐标系差值,调整所述虚拟物件的坐标。
9.一种AR设备,其特征在于,包括存储器、处理器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-7中任意一项所述的方法。
CN201910517424.8A 2019-06-14 2019-06-14 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质 Active CN110321005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910517424.8A CN110321005B (zh) 2019-06-14 2019-06-14 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910517424.8A CN110321005B (zh) 2019-06-14 2019-06-14 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质

Publications (2)

Publication Number Publication Date
CN110321005A true CN110321005A (zh) 2019-10-11
CN110321005B CN110321005B (zh) 2025-07-25

Family

ID=68119654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910517424.8A Active CN110321005B (zh) 2019-06-14 2019-06-14 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质

Country Status (1)

Country Link
CN (1) CN110321005B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429567A (zh) * 2020-03-23 2020-07-17 成都威爱新经济技术研究院有限公司 一种数字虚拟人眼球真实环境反射方法
CN111881861A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种展示方法、装置、设备及存储介质
CN111880654A (zh) * 2020-07-27 2020-11-03 歌尔光学科技有限公司 一种图像显示方法、装置、穿戴设备及存储介质
CN113163134A (zh) * 2021-04-21 2021-07-23 山东新一代信息产业技术研究院有限公司 基于增强现实的恶劣环境视觉增强方法及系统
CN113568504A (zh) * 2021-07-22 2021-10-29 福州富星光学科技有限公司 一种基于移动设备的ar显示处理方法及其系统
CN114125415A (zh) * 2020-08-28 2022-03-01 奥迪股份公司 通过增强现实呈现车辆异常部件的系统、方法和存储介质
CN114842172A (zh) * 2022-04-01 2022-08-02 合众新能源汽车有限公司 显示控制方法、装置、介质、抬头显示系统和车辆
CN114860084A (zh) * 2022-06-08 2022-08-05 广东技术师范大学 模板化编辑的虚拟内容在mr/ar头戴设备中交互呈现方法
CN115060229A (zh) * 2021-09-30 2022-09-16 西安荣耀终端有限公司 运动物体的测量方法和测量装置
CN116266071A (zh) * 2021-12-17 2023-06-20 广州视享科技有限公司 一种显示系统调整方法、装置和显示系统
CN116700500A (zh) * 2023-08-07 2023-09-05 江西科技学院 多场景vr互动方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1117074A2 (en) * 2000-01-13 2001-07-18 Mixed Reality Systems Laboratory Inc. Augmented reality presentation apparatus and method, and storage medium
EP1369769A2 (en) * 2002-06-06 2003-12-10 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
CN104808795A (zh) * 2015-04-29 2015-07-29 王子川 一种增强现实眼镜的手势识别方法及增强现实眼镜系统
WO2016115872A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
WO2019004565A1 (ko) * 2017-06-29 2019-01-03 주식회사 맥스트 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1117074A2 (en) * 2000-01-13 2001-07-18 Mixed Reality Systems Laboratory Inc. Augmented reality presentation apparatus and method, and storage medium
EP1369769A2 (en) * 2002-06-06 2003-12-10 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
WO2016115872A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN104808795A (zh) * 2015-04-29 2015-07-29 王子川 一种增强现实眼镜的手势识别方法及增强现实眼镜系统
WO2019004565A1 (ko) * 2017-06-29 2019-01-03 주식회사 맥스트 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429567B (zh) * 2020-03-23 2023-06-13 成都威爱新经济技术研究院有限公司 一种数字虚拟人眼球真实环境反射方法
CN111429567A (zh) * 2020-03-23 2020-07-17 成都威爱新经济技术研究院有限公司 一种数字虚拟人眼球真实环境反射方法
CN111880654A (zh) * 2020-07-27 2020-11-03 歌尔光学科技有限公司 一种图像显示方法、装置、穿戴设备及存储介质
CN111881861A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种展示方法、装置、设备及存储介质
WO2022022036A1 (zh) * 2020-07-31 2022-02-03 北京市商汤科技开发有限公司 一种展示方法、装置、设备、存储介质及计算机程序
CN114125415A (zh) * 2020-08-28 2022-03-01 奥迪股份公司 通过增强现实呈现车辆异常部件的系统、方法和存储介质
CN113163134A (zh) * 2021-04-21 2021-07-23 山东新一代信息产业技术研究院有限公司 基于增强现实的恶劣环境视觉增强方法及系统
CN113568504A (zh) * 2021-07-22 2021-10-29 福州富星光学科技有限公司 一种基于移动设备的ar显示处理方法及其系统
CN113568504B (zh) * 2021-07-22 2024-08-16 深圳市赫拉新能源有限责任公司 一种基于移动设备的ar显示处理方法及其系统
CN115060229A (zh) * 2021-09-30 2022-09-16 西安荣耀终端有限公司 运动物体的测量方法和测量装置
CN115060229B (zh) * 2021-09-30 2024-08-20 西安荣耀终端有限公司 运动物体的测量方法和测量装置
CN116266071A (zh) * 2021-12-17 2023-06-20 广州视享科技有限公司 一种显示系统调整方法、装置和显示系统
CN114842172A (zh) * 2022-04-01 2022-08-02 合众新能源汽车有限公司 显示控制方法、装置、介质、抬头显示系统和车辆
CN114860084A (zh) * 2022-06-08 2022-08-05 广东技术师范大学 模板化编辑的虚拟内容在mr/ar头戴设备中交互呈现方法
CN114860084B (zh) * 2022-06-08 2025-08-22 广东技术师范大学 模板化编辑的虚拟内容在mr/ar头戴设备中交互呈现方法
CN116700500B (zh) * 2023-08-07 2024-05-24 江西科技学院 多场景vr互动方法、系统及存储介质
CN116700500A (zh) * 2023-08-07 2023-09-05 江西科技学院 多场景vr互动方法、系统及存储介质

Also Published As

Publication number Publication date
CN110321005B (zh) 2025-07-25

Similar Documents

Publication Publication Date Title
CN110321005A (zh) 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质
US12536756B2 (en) Systems and methods for presenting perspective views of augmented reality virtual object
US11170521B1 (en) Position estimation based on eye gaze
CN107111370B (zh) 现实世界对象的虚拟表示
CN107209950B (zh) 从现实世界材料自动生成虚拟材料
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
JP6177872B2 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2015068656A1 (ja) 画像生成装置および画像生成方法
US20180165887A1 (en) Information processing method and program for executing the information processing method on a computer
WO2013155217A1 (en) Realistic occlusion for a head mounted augmented reality display
JP2023515517A (ja) ライブフィッティングを含む眼鏡フレームのフィッティング
US20220405996A1 (en) Program, information processing apparatus, and information processing method
WO2014128752A1 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
WO2014128748A1 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP6250025B2 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2017191703A1 (ja) 画像処理装置
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2021237952A1 (zh) 一种增强现实的显示系统及方法
CN109426419B (zh) 界面显示方法及相关设备
CN108881892B (zh) 用于桌面式虚拟现实系统的防眩晕方法、系统
JP7467748B1 (ja) 表示制御装置、表示システム及びプログラム
WO2024232857A1 (en) Multi-sensor capture for virtual try-on
WO2016051430A1 (ja) 入出力装置、入出力プログラム、および入出力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant