CN110569006A - 显示方法、装置、终端设备及存储介质 - Google Patents
显示方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN110569006A CN110569006A CN201810569821.5A CN201810569821A CN110569006A CN 110569006 A CN110569006 A CN 110569006A CN 201810569821 A CN201810569821 A CN 201810569821A CN 110569006 A CN110569006 A CN 110569006A
- Authority
- CN
- China
- Prior art keywords
- terminal device
- marker
- display
- virtual object
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种显示方法、装置、终端设备及存储介质,涉及显示技术领域。具体地,所述显示方法包括:获取第一终端设备相对标记物的第一空间位置信息;接收第二终端设备发送的虚拟对象的数据以及所述虚拟对象相对所述标记物的第二空间位置信息;基于所述第一空间位置信息以及所述第二空间位置信息,利用所述数据创建所述虚拟对象,得到用于显示的终端显示内容;将所述终端显示内容进行显示。与现有技术相比,将第二终端设备显示的虚拟内容于第一终端设备中进行展示,便于第二终端设备周围的用户了解第二终端设备的用户所观看到的内容。
Description
技术领域
本申请涉及显示技术领域,具体而言,涉及一种显示方法、装置、终端设备及存储介质。
背景技术
近年来,随着科技的进步,增强现实(AR,Augmented Reality)和虚拟现实(VR,Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例,增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟对象、场景或系统提示信息叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。
在增强现实的显示技术中,用户在利用AR设备观看显示内容时,例如用户佩戴AR眼镜或者AR头盔观看显示内容时,仅能自己看到AR设备所展示的内容,而周围的用户则无法了解到该用户看到的内容,无法实现AR显示内容的分享。
发明内容
有鉴于此,本申请实施例提供了一种显示方法、装置、终端设备及存储介质,通过确定第二终端设备显示的虚拟对象相对标记物的位置后,将第二终端设备显示的虚拟内容于第一终端设备进行显示。
为了实现上述目的,本申请采用的技术方案如下:
第一方面,本申请实施例提供了一种显示方法,所述方法包括:获取第一终端设备相对标记物的第一空间位置信息;接收第二终端设备发送的虚拟对象的数据以及所述虚拟对象相对所述标记物的第二空间位置信息;基于所述第一空间位置信息以及所述第二空间位置信息,利用所述数据创建对应的虚拟对象,得到用于显示的终端显示内容;将所述终端显示内容进行显示。
第二方面,本申请实施例提供了一种显示装置,所述装置包括:第一位置获取模块、第二位置获取模块、显示内容生成模块以及显示执行模块,其中,所述第一位置获取模块用于获取所述第一终端设备相对标记物的第一空间位置信息;所述第二位置获取模块用于接收第二终端设备发送的虚拟对象的数据以及所述虚拟对象相对所述标记物的第二空间位置信息;所述显示内容生成模块用于基于所述第一空间位置信息以及所述第二空间位置信息,利用所述数据创建对应的虚拟对象,得到用于显示的终端显示内容;所述显示执行模块用于将所述终端显示内容进行显示。
第三方面,本申请实施例提供了一种终端设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现上述第一方面提供的显示方法。
第四方面,本申请实施例提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的显示方法。
第五方面,本申请实施例还提供了一种显示方法,所述方法包括:获取第二终端设备中显示的虚拟对象相对标记物的第二空间位置信息;发送所述虚拟对象的数据以及所述第二空间位置信息至第一终端设备,所述数据以及所述第二空间位置信息用于指示所述第一终端设备基于第一空间位置信息及所述第二空间位置信息,利用所述数据创建对应的虚拟对象,得到用于所述第一终端设备显示的终端显示内容,并将所述终端显示内容进行显示,其中,所述第一空间位置信息为所述第一终端设备相对所述标记物的位置信息。
本发明实施例提供的显示方法、装置、终端设备及存储介质,通过确定第一终端设备相对标记物的第一空间位置信息,再接收第二终端设备发送的虚拟对象的数据以及虚拟对象相对标记物的第二空间位置信息,然后基于第一空间位置信息以及第二空间位置信息,利用数据创建对应的虚拟对象,得到用于显示的终端显示内容,将终端显示内容进行显示。从而,该显示方法可以实现将第二终端设备显示的虚拟对象,于第一终端设备中进行显示,实现第二终端设备显示的显示内容的分享。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示出了本申请实施例提供的显示系统的结构示意图;
图2示出了本申请实施例提供的第一终端设备的结构框图;
图3示出了本申请实施例提供的头戴显示装置的结构框图;
图4示出了本申请实施例提供的显示方法的流程图;
图5示出了本申请实施例提供的显示系统的效果的示意图;
图6示出了本申请实施例提供的显示装置的功能模块图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参阅图1,示出了本发明实施例提供的显示系统100。该显示系统100包括:第一终端设备200以及第二终端设备300。其中,第一终端设备200与第二终端设备300通信连接,第一终端设备200可以是移动终端,例如手机、平板电脑等;第二终端设备300可以是一体式头戴显示装置,也可以是连接有电子设备的头戴显示装置。
在本申请实施例中,请参见图2,第一终端设备200可以包括一个或多个处理器201、存储器202、RF(Radio Frequency,射频)模块203、显示屏204、摄像头205以及输入模块206等。
相对于处理器201来说,所有其他的组件均属于外设,处理器201与这些外设之间通过多个外设接口207相耦合。外设接口207可基于以下标准实现:通用异步接收/发送装置(Universal Asynchronous Receiver/Transmitter,UART)、通用输入/输出(GeneralPurpose Input Output,GPIO)、串行外设接口(Serial Peripheral Interface,SPI)、内部集成电路(Inter-Integrated Circuit,I2C),但不并限于上述标准。在一些实例中,外设接口207可仅包括总线。
存储器202可用于存储软件程序以及模块,处理器201通过运行存储在存储器202内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器202可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。
RF模块203用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。RF模块203可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF模块203可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术,包括但并不限于全球移动通信系统(Global System for Mobile Communication,GSM)、增强型移动通信技术(Enhanced DataGSM Environment,EDGE),宽带码分多址技术(wideband code division multipleaccess,W-CDMA),码分多址技术(Code division access,CDMA)、时分多址技术(timedivision multiple access,TDMA),无线保真技术(Wireless,Fidelity,WiFi)(如美国电气和电子工程师协会标准IEEE 802.10A,IEEE802.11b,IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over internet protocal,VoIP)、全球微波互联接入(WorldwideInteroperability for Microwave Access,Wi-Max)、其他用于邮件、即时通讯及短消息的协议,以及任何其他合适的通讯协议,甚至可包括那些当前仍未被开发出来的协议。
显示屏204用于显示由用户输入的信息、提供给用户的信息以及移动终端200的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成。
摄像头205用于采集真是场景的图像,摄像头可以为红外摄像头,也可以是彩色摄像头,具体的摄像头类型在本申请实施例中并不作为限定。
输入模块206可包括设置在显示屏204上的触摸屏,触摸屏可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触摸屏上或在触摸屏附近的操作)。当然,输入模块206也可以包括输入键盘。
当然,本申请实施例提供的第一终端设备200并不局限于上述的组件,可以包括比上述的组件更多或者更少的组件。
在本申请实施例中,第二终端设备300可以为头戴显示装置。作为一种实施方式,头戴显示装置300可以包括:处理器310、存储器320、显示装置330以及图像采集装置340。显示装置330、存储器320以及图像采集装置340均与处理器310连接。
图像采集装置340用于采集待拍摄物体的图像并发送至处理器310。该图像采集装置340可以为红外摄像头、彩色摄像头等,图像采集装置340的具体类型在本申请实施例中并不作为限定。
处理器310可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器340可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器310还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如,处理器310根据预先存储的图像数据生成虚拟世界的图像数据,将其发送至显示装置进行显示;也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据,根据所接收的图像数据生成虚拟世界的图像进行显示;还可以根据图像采集装置采集的图像进行识别定位,并根据定位信息确定在虚拟世界中对应的显示内容,发送至显示装置进行显示。可以理解的是,处理器并不限定于装设在头戴显示装置内。
存储器320可用于存储软件程序以及模块,处理器310通过运行存储在存储器320内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器320可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。
作为另一种实施方式,头戴显示装置300可以包括:显示装置以及图像采集装置,头戴显示装置的显示装置以及图像采集装置与一具有存储器的存储功能以及处理器的处理功能的电子设备连接。可以理解的是,上述实施方式中的处理器执行的处理由电子设备的处理器执行,上述实施方式中的存储器存储的数据由电子设备的存储器进行存储。该电子设备可以是移动终端,也可以是PC机,即在该实施方式中,头戴显示装置可以为插入手机式的,也可以为外接电脑式的。
在本申请实施例中,头戴显示装置300还可以包括通信模块,通信模块与头戴信息装置的处理器连接。通信模块用于头戴显示装置与其他终端之间的通信,例如与本申请实施例中的显示系统100的第二终端设备之间的通信。
在本申请实施例中,该显示系统10还可以包括放置于第一终端设备以及第二终端设备的视野范围内的标记物,标记物包括第一标记物400以及第二标记物500,即头戴显示装置100以及移动终端200均可以采集到第一标记物400以及第二标记物500的图像。该第一标记物400的图像存储于第一终端设备中,用于定位第一终端设备相对第一标记物400的位置;第二标记物500的图像存储于第二终端设备中,用于定位第二终端设备相对第二标记物500的位置。在本申请实施例中,第一标记物400以及第二标记物500均也可以按照特定规则分布于第一背景。标记物包括第二背景以及按照特定规则分布于第二背景的若干子标记物,每个子标记物具有一个或多个特征点。其中,第一背景和第二背景有一定的区分度,例如,可以是第一背景为黑色,第二背景为白色。本实施方式中,每个标记物内的子标记物的分布规则不同,因此,每个标记物所对应的图像互不相同。
子标记物为具有一定形状的图案,且该子标记物的颜色与标记物内的第二背景有一定的区分度,例如,第二背景为白色,而子标记物的颜色为黑色。子标记物可以是由一个或多个特征点构成,且特征点的形状不做限定,可以是圆点、圆环,也可以是三角形、其他形状。
作为一种实施方式,标记物内包括多个子标记物,而每个子标记物由一个或多个特征点构成,每个白色圆形图案为一个特征点。标记物的轮廓为矩形,当然,标记物的形状也可以是其他形状,在此不做限定,矩形的白色区域以及该白色区域内的多个子标记物构成一个标记物。
作为另一种实施方式,标记物内包括多个子标记物,而每个子标记物由一个或多个特征点构成;其中,多个黑色圆点构成一个子标记物。具体地,每个白色圆形图案和每个黑色圆点图案均为特征点。在本申请实施例中,第一标记物400也可以为第一终端设备200可以识别追踪的图案,第二终端设备300也可以对红外标记板进行识别追踪,获得相对红外标记板的位置;第二标记物500可以为红外标记板,红外标记板可以包括可识别追踪的标签以及红外滤光片,第二终端设备300也可以对红外标记板进行识别追踪,获得相对红外标记板的位置。.
在本申请实施例中,第一标记物400与第二标记物500可以为相同标记物,且设置于同一位置,也可以设置于不同位置,设置于不同位置时的第一标记物400与第二标记物500的相对位置关系可以存储于第一终端设备200以及第二终端设备300中。第一标记物400与第二标记物500也可以为不同的标记物,且也可以设置于同一位置,也可以设置于不同位置,设置于不同位置时的第一标记物400与第二标记物500的相对位置关系可以存储于第一终端设备200以及第二终端设备300中。
需要说明的是,具体的第一标记物400以及第二标记物500在本申请实施例中并不作为限定,仅需要第一标记物400能被第一终端设备200识别追踪,第二标记物500可以被第二终端设备300识别追踪即可。
用户在使用第一终端设备200以及第二终端设备300时,当第一标记物400在第一终端设备200的视野范围内,以及第二标记物500在第二终端设备300的视野范围内时,第一终端设备200可以采集到包含有第一标记物400的目标图像,以及第二终端设备300可以采集到包含有该第二标记物500的目标图像;第一终端设备200的处理器获取到目标图像及相关信息,运算识别出第一标记物400,并获取到该第一标记物400与第一终端设备200的摄像头之间的位置与旋转关系,进而得到第一标记物400相对于第一终端设备200的位置及旋转关系。同理,第二终端设备300的处理器获取到目标图像及相关信息,运算识别出第二标记物500,并获取到该第二标记物500与第二终端设备300的摄像头之间的位置与旋转关系,进而得到第二标记物500相对于第二终端设备300的位置及旋转关系。
针对上述的显示系统,本发明实施例提供了一种通过上述系统确定出第一终端设备相对于第一标记物的位置以及第二终端设备显示的虚拟对象相对于第二标记物的位置之后,在根据上述相对位置将第二终端设备的显示内容于第一终端设备进行显示的显示方法,具体地,请参阅图3,示出了一种显示方法。如图3所示,该方法包括:
步骤S110:获取第一终端设备相对标记物的第一空间位置信息。
在本申请实施例中,第二终端设备为头戴显示装置时,在头戴显示装置进行AR显示时,头戴显示装置可以虚拟对象的显示内容,并且用户通过镜片可以观察到真实场景的内容,在用户同时看到虚拟对象的显示内容以及真实场景的内容时,实现增强现实的效果。在第一终端设备对应的用户需要了解第二终端设备的用户所看到的内容,或者头第二终端设备的用户欲将看到的内容分享至第一终端设备的用户时,第二终端设备的用户需要将显示的虚拟对象发送至移动终端进行显示。
但是,如果将第二终端设备的虚拟对象直接于第一终端设备进行显示,则第一终端设备的用户则不能较为清楚的知道虚拟对象具体于真实场景中的位置。这是由于,第一终端设备与第二终端设备所处的位置不同,其对应的用户观看的方向不同,如果将虚拟对象相对于第二终端设备的位置,作为虚拟对象相对第一终端设备的位置于第一终端设备进行显示,第一终端设备的用户则不能了解到虚拟对象于真实场景中所处的真实位置。例如,第二终端设备在正对一房屋的一侧,第二终端设备显示的内容中,虚拟对象相对第二终端设备在左前方,此时第一终端设备在此房屋的右侧,如果在第一终端设备显示的内容中,虚拟对象相对头戴显示装置也是在左前方,则会导致第一终端设备的用户误认为该虚拟对象在房屋的正对方向,使得第一终端设备的用户不能清楚的知道第一终端设备显示的虚拟对象的具体位置。
因此,第一终端设备在对第二终端设备显示的虚拟对象的内容进行显示时,需要根据虚拟对象与标记物的位置关系,对第二终端设备展现的虚拟对象的内容相对第二终端设备的位置,进行换算,使第一终端设备中展示出的内容中虚拟内容相对第一终端设备的位置在真实场景中对应。
首先,应当获取第一终端设备相对标记物的第一空间位置信息。
在本申请实施例中,标记物可以包括第一标记物以及第二标记物,获取第一终端设备相对第一标记物的第一空间位置信息,包括:
第一终端设备获取包含第一标记物的图像;基于包含第一标记物的图像,获取第一终端设备相对第一标记物的第一空间位置信息。
第一终端设备可以对上述显示系统中处于其视野范围内的第一标记物进行采集并识别追踪,以得到第一终端设备相对于第一标记物的位置。
第一终端设备的处理器可以从第一标记物的图像中任意选取特定数量的特征点作为目标特征点,用于确定第一终端设备(摄像头)与具有目标特征点的第一标记物之间的真实的姿态信息。其中,处理器可以获取所有目标特征点的像素坐标。
然后,根据所有特征点的像素坐标和预先获取的所有特征点的物理坐标,获取移动终端与第一标记物之间的姿态信息,其中,物理坐标为预先获取的特征点在第一标记物对应的物理坐标系内的坐标,所有特征点的物理坐标在预设坐标轴对应的坐标值均为预设值。
其中,物理坐标为预先获取的目标特征点在第一标记物对应的物理坐标系内的坐标,目标特征点的物理坐标为该目标特征点在第一标记物上的真实位置。各个特征点的物理坐标可以预先获取,具体地,多个特征点和多个标记物设置在第一标记物的所在的标记面上,选择标记面上的某一个点作为原点,建立物理坐标系。其中,特征点的物理坐标在预设坐标轴对应的坐标值均为预设值。例如,物理坐标系的Z轴为零,即将标记面作为物理坐标系的XOY平面,XOY坐标系的原点位于标记面内。
在获取到第一标记物的图像中所有目标特征点的像素坐标和物理坐标之后,根据每个标记物内的所有目标特征点的像素坐标和物理坐标,获取移动终端与该标记物之间的位置信息,具体地,根据每个目标特征点的像素坐标、物理坐标和预先获取的移动终端的内参数,获取图像坐标系与物理坐标系之间的映射参数。
再根据映射参数获取移动终端的相机坐标系与物理坐标系之间的旋转参数和平移参数。
然后,将旋转参数和平移参数作为第一终端设备与第一标记物之间的位置信息。其中,旋转参数表示相机坐标系与物理坐标系之间的旋转状态,也即第一终端设备在物理坐标系内,与物理坐标系的各坐标轴的转动自由度。其中,平移参数表示相机坐标系与物理坐标系之间的移动状态,也即第一终端设备在物理坐标系内,与物理坐标系的各坐标轴的移动自由度。则旋转参数和平移参数即为第一终端设备(第一终端设备的摄像头)在物理坐标系内的六自由度信息,能够表示第一终端设备(第一终端设备的摄像头)在物理坐标系内的转动和移动状态,也即能够得到第一终端设备(第一终端设备的摄像头)的视野与物理坐标系内的各坐标轴之间的角度和距离等。
从而,可以得到第一终端设备相对于第一标记物的第一空间位置信息,即上述求解得到的旋转参数以及平移参数,也即六自由度信息。
步骤S120:接收第二终端设备发送的虚拟对象的数据以及所述虚拟对象相对所述标记物的第二空间位置信息。
同样的,在本申请实施例中,在第二标记物与上述的第一标记物相同时,第二终端设备可以基于上述第一终端设备获取第一终端设备相对第一标记物的位置信息的方式,获取到第二终端设备相对第二标记物的第四空间位置信息,具体第二终端设备获取相对第二标记物的第四空间位置信息的过程在此不再赘述。
在第二标记物为上述的红外标记板时,第二终端设备可以通过红外摄像头采集红外标记板上的标记图案进行识别追踪,得到第二终端设备相对第二标记物的第四空间位置信息。
另外,第二终端设备也可以通过光点追踪的方式,通过第二标记物的颜色进行定位追踪。
第二终端设备在得到其相对第二标记物的第四空间位置信息之后,在第二终端设备显示的内容中,虚拟对象在显示空间中相对第二终端设备的位置,可以将虚拟对象在显示空间中的坐标换算至真实空间中相对第二终端设备的坐标,以得到虚拟对象相对第二标记物的第二空间位置信息。
另外,第二终端设备可以读取其显示的虚拟对象对应的数据,数据可以包括虚拟对象的模型数据,模型数据为用于渲染虚拟对象的数据,可以包括用于建立虚拟对象对应的模型的颜色、3D模型中的各顶点坐标等。
例如,第二终端设备显示一条某颜色的线段,则可以将该线段的3D点队列(多个虚拟空间中的点坐标),线段的粗度,线段的颜色作为虚拟对象的模型数据。
第二终端设备在获取到虚拟对象相对第二标记物的第二空间位置信息,以及虚拟对象的数据之后,再将虚拟对象相对第二标记物的第二空间位置信息,以及虚拟对象的数据发送至第一终端设备。
对应的,第一终端设备对虚拟对象的数据以及第二空间位置信息进行接收,以根据第一空间位置信息以及第二空间位置信息,以得到虚拟对象在第一终端设备需要显示的内容中(即显示空间中)的位置,以便后续第一终端设备对虚拟对象进行创建,并进行显示。
步骤S130:基于第一空间位置信息以及第二空间位置信息,利用数据创建对应的虚拟对象,得到用于显示的终端显示内容。
第一终端设备在获取到第一终端设备相对第一标记物的第一空间位置信息,第二终端显示的虚拟对象相对第二标记物的第二空间位置信息,以及虚拟对象的数据之后,第一终端设备则可以在其虚拟空间中创建该数据对应的虚拟对象,以得到第一终端设备的显示内容。
具体的,在第一标记物与第二标记物设置的位置相同时,基于第一空间位置信息以及第二空间位置信息,基于第一空间位置信息以及第二空间位置信息,利用数据创建对应的虚拟对象,得到用于显示的终端显示内容,可以包括:
基于第一空间位置信息以及第二空间位置信息,确定虚拟对象于第一终端设备的虚拟空间中的空间坐标;根据模型数据,在虚拟空间中的空间坐标处创建对应的虚拟对象,得到用于显示的终端显示内容。
可以理解的是,第一终端设备可以基于第一终端设备相对第一标记物的第一空间位置信息,以及虚拟对象相对第二标记物的第二空间位置信息,确定虚拟空间中虚拟对象的空间坐标,然后根据空间坐标渲染虚拟对象,即在虚拟空间中相对标记板的位置创建虚拟对象,使虚拟对象对应于真实场景中的位置与第二终端设备显示的虚拟对象对应于真实场景中的位置相同。
在得到虚拟对象在第一终端设备的虚拟空间中的空间坐标之后,即得到了第一终端设备中虚拟对象需要于第一终端设备的显示空间中的位置,然后在虚拟空间中的空间坐标处,根据虚拟对象的模型数据创建该虚拟显示内容,得到第一终端设备用于显示的终端显示内容。具体创建时,根据渲染虚拟对象的数据,例如颜色、3D模型的顶点坐标等,创建虚拟对象,从而得到终端显示内容。
由于本方法在确定第二终端设备显示的虚拟对象需要于第一终端设备显示空间中的位置后,再重新渲染虚拟对象,创建出虚拟对象得到显示内容并进行显示,使第一终端设备显示的内容中虚拟对象的真实位置,与第二终端设备显示的内容中虚拟对象的真实位置相同,即对应于真实场景中的位置相同。从而第一终端设备的用户可以通过自己视角观察虚拟对象,第一终端设备的用户可以进行位置的移动,虚拟对象也会随用户位置的移动而变化,例如,第一终端设备远离虚拟对象于真实场景中的位置时,则虚拟对象变小,反之,靠近虚拟对象于真实场景中的位置时,虚拟对象变大等,又例如,第一终端设备从相对虚拟对象于真实场景中的位置的左侧,移动至相对虚拟对象于真实场景中的位置的右侧,虚拟对象则由左侧的内容变为右侧的内容。
另外,第一终端设备的用户在可以通过自己的视角观察虚拟对象时,也可以进行显示内容的录制,以便于本次观察以后的观察以及分析。
在第一标记物与第二标记物设置于不同的位置时,基于第一空间位置信息以及第二空间位置信息,利用数据创建对应的虚拟对象,得到用于显示的终端显示内容,可以包括:
获得第一标记物相对第二标记物的第三空间位置信息;基于第一空间位置信息、第二空间位置信息以及第三空间位置信息,确定虚拟对象于第一终端设备的虚拟空间中的空间坐标;根据模型数据,在虚拟空间中的空间坐标处创建对应的虚拟对象,得到用于显示的终端显示内容。
可以理解的是,第一标记物与第二标记物设置于不同的位置时,第一终端设备中可以预先存储有第一标记物相对第二标记物的第三空间位置信息,以用于第一终端设备根据虚拟对象相对第二标记物的第二空间位置信息,换算为虚拟对象相对第一标记物的空间位置信息。从而再根据虚拟对象相对第一标记物的空间位置信息,以及第一空间位置信息,确定出真实空间中虚拟对象相对第一终端设备的位置信息,再将其换算至虚拟空间,得到虚拟对象于第一终端设备的虚拟空间中的空间坐标。
在得到虚拟对象在第一终端设备的虚拟空间中的空间坐标之后,即得到了第一终端设备中虚拟对象需要于第一终端设备的显示空间中的位置,然后在虚拟空间中的空间坐标处,根据虚拟对象的模型数据创建该虚拟显示内容,得到第一终端设备用于显示的终端显示内容。
步骤S140:将终端显示内容进行显示。
在创建出于第一终端设备进行显示的终端显示内容之后,即创建出第二终端设备显示的虚拟对象的显示内容在第一终端设备中进行显示的显示内容之后,再将该终端显示内容进行显示。如图5所示,第二终端设备显示的虚拟对象的内容600为向上的箭头,第一终端设备显示的虚拟对象的内容700也为向上的箭头,从而,第一终端设备的用户可以观看到该终端显示内容,使第一终端设备对应的用户可以了解到第二终端设备显示的虚拟对象的显示内容,并且用户可以清楚的了解到虚拟对象对应于真实场景中的位置。
在本申请实施例中,移动终端还可以将终端显示内容与真实场景结合进行显示。作为一种实施方式,可以包括:接收第二终端设备采集的真实场景的图像;将真实场景的图像以及终端显示内容结合进行显示。
可以理解的是,在第一终端设备的用户需要了解虚拟对象在真实场景中的展示效果,并且需要直接于第一终端设备进行显示。
例如,第一终端设备与第二终端设备处于不同的房间口,标记物放置于房间门口的过道,第二终端设备朝向房间内观看时,此时第一终端设备的用户无法直接观察到第二终端设备的用户所在房间的真实场景,也无法通过第一终端设备获取第二终端设备的用户所在房间的真实场景。
因此,可以通过第二终端设备采集真实场景的图像,并发送至第一终端设备,使第一终端设备可以将终端显示内容与真实场景的图像结合进行显示。具体为第一终端设备根据真实场景图像与终端显示内容进行融合后,再进行显示,实现真实场景与虚拟对象的结合显示。
从而,使第一终端设备的用户无法观察到第二终端设备的用户观察的真实场景,也无法拍摄第二终端设备的用户观察的真实场景时,实现将第二终端设备的用户所观察到的真实场景以及虚拟对象均在第一终端设备进行显示,使第一终端设备的用户可以了解到第二终端设备的用户观察到的所有内容。
作为另一种实施方式,可以包括:采集真实场景的图像;将真实场景的图像以及终端显示内容结合进行显示。
可以理解的是,在第一终端设备与第二终端设备处于同一真实场景中,真实场景的图像可以是移动终端自身采集的真实场景的图像,移动终端在采集与虚拟现实内容同时刻的真实场景的图像之后,再将真实场景的图像以及终端显示内容融合之后,再进行显示,实现真实场景与虚拟对象的结合显示。
从而,可以实现第二终端设备的用户所观察到的真实场景以及虚拟对象均在第一终端设备进行显示,使用户直接通过第一终端设备显示的内容即可了解到第二终端设备的用户观察到的所有内容。
在本申请实施例中,在第二终端设备是应用于VR显示时,即显示的均为虚拟内容,例如,第二终端设备显示游戏场景与游戏人物。为保证显示效率,所有的游戏场景可以存储于第二终端设备以及第一终端设备中,第二终端设备则可以仅将游戏人物作为虚拟显示物体发送至第一终端设备进行显示,第一终端设备根据游戏人物来生成终端显示内容。具体的显示方法可以包括:
接收第二终端设备发送的游戏场景标识;读取游戏场景标识对应的虚拟游戏场景;将终端显示内容与虚拟游戏场景结合进行显示。
可以理解的是,第二终端设备将游戏场景标识发送至移动终端,使第一终端设备可以利用游戏场景标识读取对应的虚拟游戏场景,然后再将终端显示内容与虚拟游戏场景进行融合,得到结合显示的显示内容,再进行显示。
例如,第一终端设备根据游戏场景标识读取的虚拟游戏场景,可以是游戏中的地图等,而终端显示内容中包括虚拟对象则可以为游戏人物的在地图中的位置信息,具体的游戏人物等,第一终端设备可以直接将终端显示内容中的虚拟对象对应于地图中进行显示,则实现了终端显示内容于虚拟游戏场景的结合显示,使第一终端设备的用户可以了解到第二终端设备的用户所玩的游戏的内容。
本申请实施例还提供了一种显示装置。请参见图5,显示装置800包括:第一位置获取模块810、第二位置获取模块820、显示内容生成模块830以及显示执行模块840。其中,第一位置获取模块810用于获取第一终端设备相对标记物的第一空间位置信息;第二位置获取模块820用于接收第二终端设备发送的虚拟对象的数据以及虚拟对象相对标记物的第二空间位置信息;显示内容生成模块830用于基于第一空间位置信息以及第二空间位置信息,利用数据创建对应的虚拟对象,得到用于显示的终端显示内容;显示执行模块840用于将终端显示内容进行显示。
在本申请实施例中,第一位置获取模块810可以具体用于:第一终端设备获取包含第一标记物的图像;基于包含第一标记物的图像,获取第一终端设备相对第一标记物的第一空间位置信息。
进一步的,第二位置获取模块820可以具体用于:接收第二终端设备发送的虚拟对象的模型数据以及虚拟对象相对第二标记物的第二空间位置信息。
在本申请实施例中,显示内容生成模块830可以具体用于:基于所述第一空间位置信息以及所述第二空间位置信息,确定所述虚拟对象于所述第一终端设备的虚拟空间中的空间坐标;根据所述模型数据,在所述虚拟空间中的所述空间坐标处创建对应的虚拟对象,得到用于显示的终端显示内容。
在本申请实施例中,显示内容生成模块830也可以具体用于:获得第一标记物相对第二标记物的第三空间位置信息;基于所述第一空间位置信息、所述第二空间位置信息以及所述第三空间位置信息,确定所述虚拟对象于所述第一终端设备的虚拟空间中的空间坐标;根据所述模型数据,在所述虚拟空间中的所述空间坐标处创建对应的虚拟对象,得到用于显示的终端显示内容。
作为一种实施方式,显示执行模块840可以具体用于:接收第二终端设备采集的真实场景的图像;将真实场景的图像以及终端显示内容结合进行显示。
作为另一种实施方式,显示执行模块840可以具体用于:采集真实场景的图像;将真实场景的图像以及终端显示内容结合进行显示。
作为又一种实施方式,显示执行模块840可以具体用于:接收第二终端设备发送的游戏场景标识;读取游戏场景标识对应的虚拟游戏场景;将终端显示内容与虚拟游戏场景结合进行显示。
本发明实施例提供的显示方法、装置、终端设备及存储介质,通过确定第一终端设备相对标记物的第一空间位置信息,再接收第二终端设备发送的虚拟对象的数据以及虚拟对象相对标记物的第二空间位置信息,然后基于第一空间位置信息以及第二空间位置信息,利用数据创建对应的虚拟对象,得到用于显示的终端显示内容,将终端显示内容进行显示。从而,该显示方法可以实现将第二终端设备显示的虚拟对象,于第一终端设备中进行显示,实现第二终端设备显示的显示内容的分享。
需要说明的是,本说明书中的各个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
Claims (11)
1.一种显示方法,其特征在于,所述方法包括:
获取第一终端设备相对标记物的第一空间位置信息;
接收第二终端设备发送的虚拟对象的数据以及所述虚拟对象相对所述标记物的第二空间位置信息;
基于所述第一空间位置信息以及所述第二空间位置信息,利用所述数据创建对应的虚拟对象,得到用于显示的终端显示内容;
将所述终端显示内容进行显示。
2.根据权利要求1所述的方法,其特征在于,所述标记物包括第一标记物和第二标记物;
所述获取第一终端设备相对标记物的第一空间位置信息,包括:
第一终端设备获取包含所述第一标记物的图像;
基于包含所述第一标记物的图像,获取所述第一终端设备相对所述第一标记物的第一空间位置信息;
所述接收第二终端设备发送的虚拟对象的数据以及所述虚拟对象相对所述标记物的第二空间位置信息,包括:
接收第二终端设备发送的虚拟对象的模型数据以及所述虚拟对象相对所述第二标记物的第二空间位置信息。
3.根据权利要求2所述的方法,其特征在于,所述第一标记物与所述第二标记物设置的位置相同;
所述基于所述第一空间位置信息以及所述第二空间位置信息,利用所述数据创建对应的虚拟对象,得到用于显示的终端显示内容,包括:
基于所述第一空间位置信息以及所述第二空间位置信息,确定所述虚拟对象于所述第一终端设备的虚拟空间中的空间坐标;
根据所述模型数据,在所述虚拟空间中的所述空间坐标处创建对应的虚拟对象,得到用于显示的终端显示内容。
4.根据权利要求2所述的方法,其特征在于,所述第一标记物与所述第二标记物设置于不同的位置;
所述基于所述第一空间位置信息以及所述第二空间位置信息,利用所述数据创建对应的虚拟对象,得到用于显示的终端显示内容,包括:
获得所述第一标记物相对所述第二标记物的第三空间位置信息;
基于所述第一空间位置信息、所述第二空间位置信息以及所述第三空间位置信息,确定所述虚拟对象于所述第一终端设备的虚拟空间中的空间坐标;
根据所述模型数据,在所述虚拟空间中的所述空间坐标处创建对应的虚拟对象,得到用于显示的终端显示内容。
5.根据权利要求1-4中任一项所述的方法,其特征在于,将所述终端显示内容进行显示,包括:
接收所述第二终端设备采集的真实场景的图像;
将所述真实场景的图像以及所述终端显示内容结合进行显示。
6.根据权利要求1-4中任一项所述的方法,其特征在于,将所述终端显示内容进行显示,包括:
采集真实场景的图像;
将所述真实场景的图像以及所述终端显示内容结合进行显示。
7.根据权利要求1-4中任一项所述的方法,其特征在于,将所述终端显示内容进行显示,包括:
接收所述第二终端设备发送的游戏场景标识;
读取所述游戏场景标识对应的虚拟游戏场景;
将所述终端显示内容与所述虚拟游戏场景结合进行显示。
8.一种显示装置,其特征在于,所述装置包括:第一位置获取模块、第二位置获取模块、显示内容生成模块以及显示执行模块,其中,
所述第一位置获取模块用于获取所述第一终端设备相对标记物的第一空间位置信息;
所述第二位置获取模块用于接收第二终端设备发送的虚拟对象的数据以及所述虚拟对象相对所述标记物的第二空间位置信息;
所述显示内容生成模块用于基于所述第一空间位置信息以及所述第二空间位置信息,利用所述数据创建对应的虚拟对象,得到用于显示的终端显示内容;
所述显示执行模块用于将所述终端显示内容进行显示。
9.一种终端设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至7任一所述的方法。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
11.一种显示方法,其特征在于,所述方法包括:
获取第二终端设备中显示的虚拟对象相对标记物的第二空间位置信息;
发送所述虚拟对象的数据以及所述第二空间位置信息至第一终端设备,所述数据以及所述第二空间位置信息用于指示所述第一终端设备基于第一空间位置信息及所述第二空间位置信息,利用所述数据创建对应的虚拟对象,得到用于所述第一终端设备显示的终端显示内容,并将所述终端显示内容进行显示,其中,所述第一空间位置信息为所述第一终端设备相对所述标记物的位置信息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810569821.5A CN110569006B (zh) | 2018-06-05 | 2018-06-05 | 显示方法、装置、终端设备及存储介质 |
| US16/432,906 US10922042B2 (en) | 2018-06-05 | 2019-06-05 | System for sharing virtual content and method for displaying virtual content |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810569821.5A CN110569006B (zh) | 2018-06-05 | 2018-06-05 | 显示方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110569006A true CN110569006A (zh) | 2019-12-13 |
| CN110569006B CN110569006B (zh) | 2023-12-19 |
Family
ID=67985085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810569821.5A Active CN110569006B (zh) | 2018-06-05 | 2018-06-05 | 显示方法、装置、终端设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10922042B2 (zh) |
| CN (1) | CN110569006B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111163174A (zh) * | 2019-12-31 | 2020-05-15 | 歌尔股份有限公司 | 网络连接方法、网络连接装置和可读存储介质 |
| CN111178305A (zh) * | 2019-12-31 | 2020-05-19 | 维沃移动通信有限公司 | 信息显示方法及头戴式电子设备 |
| CN111310704A (zh) * | 2020-02-28 | 2020-06-19 | 联博智能科技有限公司 | 行李车姿态估计方法、行李车姿态估计装置及机器人 |
| CN111651051A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN115766981A (zh) * | 2022-11-07 | 2023-03-07 | 维沃移动通信有限公司 | 基于增强现实的图像显示方法及装置 |
| CN116301316A (zh) * | 2022-12-26 | 2023-06-23 | 歌尔科技有限公司 | 操控装置、头戴显示设备、控制方法以及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
| CN104076920A (zh) * | 2013-03-28 | 2014-10-01 | 索尼公司 | 信息处理设备、信息处理方法及存储介质 |
| WO2015192117A1 (en) * | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| CN105452994A (zh) * | 2013-06-18 | 2016-03-30 | 微软技术许可有限责任公司 | 虚拟物体的同时优选观看 |
| CN107390875A (zh) * | 2017-07-28 | 2017-11-24 | 腾讯科技(上海)有限公司 | 信息处理方法、装置、终端设备和计算机可读存储介质 |
| CN107771342A (zh) * | 2016-06-20 | 2018-03-06 | 华为技术有限公司 | 一种增强现实显示方法及头戴式显示设备 |
| CN107894842A (zh) * | 2017-12-19 | 2018-04-10 | 北京盈拓文化传媒有限公司 | 增强现实场景复原方法、终端及计算机可读存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7369101B2 (en) * | 2003-06-12 | 2008-05-06 | Siemens Medical Solutions Usa, Inc. | Calibrating real and virtual views |
| US8730156B2 (en) * | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| US9433395B2 (en) * | 2012-07-12 | 2016-09-06 | Samsung Electronics Co., Ltd. | X-ray imaging apparatus and method for controlling X-ray imaging apparatus |
| US10366511B2 (en) * | 2014-05-28 | 2019-07-30 | Elbit Systems Land And C4I Ltd. | Method and system for image georegistration |
| CA3112726C (en) * | 2016-03-17 | 2024-10-08 | Brainlab Ag | OPTICAL TRACKING METHOD AND SYSTEM |
| WO2018112021A1 (en) * | 2016-12-14 | 2018-06-21 | Wal-Mart Stores, Inc. | Hands-free shopping applications including scanning functions |
| US20200050256A1 (en) * | 2017-01-25 | 2020-02-13 | Google Llc | Techniques to cause changes in both virtual environment and physical environment |
-
2018
- 2018-06-05 CN CN201810569821.5A patent/CN110569006B/zh active Active
-
2019
- 2019-06-05 US US16/432,906 patent/US10922042B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
| CN104076920A (zh) * | 2013-03-28 | 2014-10-01 | 索尼公司 | 信息处理设备、信息处理方法及存储介质 |
| CN105452994A (zh) * | 2013-06-18 | 2016-03-30 | 微软技术许可有限责任公司 | 虚拟物体的同时优选观看 |
| WO2015192117A1 (en) * | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| CN107771342A (zh) * | 2016-06-20 | 2018-03-06 | 华为技术有限公司 | 一种增强现实显示方法及头戴式显示设备 |
| CN107390875A (zh) * | 2017-07-28 | 2017-11-24 | 腾讯科技(上海)有限公司 | 信息处理方法、装置、终端设备和计算机可读存储介质 |
| CN107894842A (zh) * | 2017-12-19 | 2018-04-10 | 北京盈拓文化传媒有限公司 | 增强现实场景复原方法、终端及计算机可读存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111163174A (zh) * | 2019-12-31 | 2020-05-15 | 歌尔股份有限公司 | 网络连接方法、网络连接装置和可读存储介质 |
| CN111178305A (zh) * | 2019-12-31 | 2020-05-19 | 维沃移动通信有限公司 | 信息显示方法及头戴式电子设备 |
| CN111163174B (zh) * | 2019-12-31 | 2022-07-22 | 歌尔光学科技有限公司 | 网络连接方法、网络连接装置和可读存储介质 |
| CN111310704A (zh) * | 2020-02-28 | 2020-06-19 | 联博智能科技有限公司 | 行李车姿态估计方法、行李车姿态估计装置及机器人 |
| CN111310704B (zh) * | 2020-02-28 | 2020-11-20 | 联博智能科技有限公司 | 行李车姿态估计方法、行李车姿态估计装置及机器人 |
| CN111651051A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN111651051B (zh) * | 2020-06-10 | 2023-08-22 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN115766981A (zh) * | 2022-11-07 | 2023-03-07 | 维沃移动通信有限公司 | 基于增强现实的图像显示方法及装置 |
| CN116301316A (zh) * | 2022-12-26 | 2023-06-23 | 歌尔科技有限公司 | 操控装置、头戴显示设备、控制方法以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10922042B2 (en) | 2021-02-16 |
| CN110569006B (zh) | 2023-12-19 |
| US20190294403A1 (en) | 2019-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569006B (zh) | 显示方法、装置、终端设备及存储介质 | |
| US9367961B2 (en) | Method, device and storage medium for implementing augmented reality | |
| CN109802931B (zh) | 一种通信处理方法、终端及存储介质 | |
| JP7387202B2 (ja) | 3次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム | |
| WO2014169692A1 (en) | Method,device and storage medium for implementing augmented reality | |
| EP3313060B1 (en) | Mobile terminal and operating method thereof | |
| CN108537889A (zh) | 增强现实模型的调整方法、装置、存储介质和电子设备 | |
| KR20180040451A (ko) | 이동 단말기 및 그의 동작 방법 | |
| CN110737414B (zh) | 交互显示方法、装置、终端设备及存储介质 | |
| US9628706B2 (en) | Method for capturing and displaying preview image and electronic device thereof | |
| CN110800314B (zh) | 计算机系统、远程操作通知方法以及记录介质 | |
| CN106097258A (zh) | 一种影像处理方法及增强现实设备 | |
| CN108961375A (zh) | 一种根据二维图像生成三维图像的方法及装置 | |
| KR20180020517A (ko) | 이동 단말기 | |
| US11436818B2 (en) | Interactive method and interactive system | |
| CN112950535A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN110738185B (zh) | 表单对象的识别方法、装置及存储介质 | |
| CN112116530B (zh) | 鱼眼图像畸变矫正方法、装置和虚拟显示系统 | |
| CN112700525B (zh) | 一种图像处理方法及电子设备 | |
| CN111913560B (zh) | 虚拟内容的显示方法、装置、系统、终端设备及存储介质 | |
| CN118057461A (zh) | 图像渲染方法、介质、产品及电子设备 | |
| CN112788443B (zh) | 基于光通信装置的交互方法和系统 | |
| KR20180041430A (ko) | 이동 단말기 및 그의 동작 방법 | |
| CN104062758B (zh) | 图像显示的方法和显示设备 | |
| KR20180047694A (ko) | 이동 단말기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |