[go: up one dir, main page]

CN114286036A - 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备 - Google Patents

用于虚拟现实设备的图像处理方法、装置及虚拟现实设备 Download PDF

Info

Publication number
CN114286036A
CN114286036A CN202111582600.XA CN202111582600A CN114286036A CN 114286036 A CN114286036 A CN 114286036A CN 202111582600 A CN202111582600 A CN 202111582600A CN 114286036 A CN114286036 A CN 114286036A
Authority
CN
China
Prior art keywords
virtual reality
video signal
frame
signal received
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111582600.XA
Other languages
English (en)
Inventor
翁志彬
周克
鄢华浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pimax Technology Shanghai Co ltd
Original Assignee
Pimax Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pimax Technology Shanghai Co ltd filed Critical Pimax Technology Shanghai Co ltd
Priority to CN202111582600.XA priority Critical patent/CN114286036A/zh
Publication of CN114286036A publication Critical patent/CN114286036A/zh
Priority to JP2022204770A priority patent/JP2023093406A/ja
Priority to US18/069,486 priority patent/US20230199145A1/en
Priority to EP22215777.8A priority patent/EP4202912A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及数据传输技术领域,具体涉及一种用于虚拟现实设备的图像处理方法、装置及虚拟现实设备。这种用于虚拟现实设备的图像处理方法,包括通过HDMI接收视频信号;将所述HDMI接收的视频信号转换为CSI接收的视频信号;对所述CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成DSI接收的视频信号。这种图像处理方法使得所应用的虚拟现实设备的显示画面具有较高的显示帧率,同时该虚拟现实设备无需借助HDMI也可以接收并处理视频信号,并将其中的视频以及音频数据最大程度的保存,降低了数据丢失的概率,有效提高了虚拟现实设备进行数据传输时的低延时性以及刷新率,保证了画质的高清。

Description

用于虚拟现实设备的图像处理方法、装置及虚拟现实设备
技术领域
本申请涉及数据传输技术领域,具体涉及一种用于虚拟现实设备的图像处理方法、装置及虚拟现实设备。
背景技术
目前,虚拟现实产品与PC端进行数据传输的应用中,常常需要对视频音频数据进行压缩后再输出至虚拟现实产品的显示单元进行显示,这样会造成PC端传输信号丢失、数据不完整,画面清晰度较低、延时问题严重,使用户造成较差的体验。
发明内容
有鉴于此,本申请提供了一种用于虚拟现实设备的图像处理方法、装置及虚拟现实设备,解决或改善了现有技术中虚拟现实产品进行数据传输时,PC端传输信号易丢失、数据不完整,画面清晰度较低、延时问题严重的技术问题。
本申请提供了一种用于虚拟现实设备的图像处理方法,这种用于虚拟现实设备的图像处理方法包括:通过HDMI接收视频信号;将所述HDMI接收的视频信号转换为CSI接收的视频信号;对所述CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成DSI接收的视频信号。
在一实施例中,所述对所述CSI接收的视频信号进行异步时间扭曲处理,包括:获取渲染帧中场景的图像内容信息;对所述渲染帧中场景的图像内容信息的像素值进行单一深度近似处理,获取时间扭曲的渲染帧。
在一实施例中,在所述对所述渲染帧中场景的图像内容信息的像素值进行单一深度近似处理,获取时间扭曲的渲染帧之后,还包括:根据所述时间扭曲的渲染帧,生成所述DSI接收的视频信号。
在一实施例中,所述对所述CSI接收的视频信号进行异步空间扭曲处理,包括:获取当前图像帧;获取前一图像帧的时间扭曲帧;对所述当前图像帧插入所述前一图像帧的所述时间扭曲帧,根据所述当前图像帧以及所述前一图像帧的所述时间扭曲帧,获取混合单一帧。
在一实施例中,在对所述当前图像帧插入所述前一图像帧的所述时间扭曲帧,根据所述当前图像帧以及所述前一图像帧的所述时间扭曲帧,获取混合单一帧之后,还包括:根据所述混合单一帧,生成所述DSI接收的视频信号。
在一实施例中,所述用于虚拟现实设备的图像处理方法还包括:将所述DSI接收的视频信号传输至虚拟现实设备的显示单元进行显示。
本申请同时提供了一种用于虚拟现实设备的图像处理装置,所述用于虚拟现实设备的图像处理装置包括:HDMI,用于接收视频信号;信号转换单元,用于将所述HDMI接收的视频信号转换为CSI接收的视频信号;主控单元,用于对所述CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理后生成DSI接收的视频信号。
在一实施例中,所述主控单元包括:图像处理模块,用于对所述CSI信号进行异步时间扭曲处理以及异步空间扭曲处理。
在一实施例中,所述信号转换单元包括用于将所述HDMI接收的视频信号转换为所述CSI接收的视频信号的数据转换芯片。
在一实施例中,所述主控单元包括:图像处理模块,用于对所述CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成所述DSI接收的视频信号。
本申请同时提供了一种虚拟现实设备,所述虚拟现实设备包括:上述实施例所述的用于虚拟现实设备的图像处理装置;所述图像处理装置与任一计算机端通讯连接。
在一实施例中,所述虚拟现实设备为:虚拟头显一体机设备。
在一实施例中,所述虚拟现实设备还包括:DSI,所述虚拟现实设备通过所述DSI接收所述DSI信号;显示单元,所述显示单元与所述DSI通讯连接,用于根据所述DSI接收的视频信号,生成显示内容。
在一实施例中,所述虚拟现实设备还包括:无线传输设备,所述无线传输设备与所述图像处理装置无线连接;其中,所述无线传输设备包括:发射装置,所述发射装置与数据源通讯连接,所述发射装置用于接收所述数据源发射的所述HDMI接收的视频信号,并将所述HDMI接收的视频信号转换为毫米波信号,并发射所述毫米波信号;接收装置,所述接收装置与所述发射装置以及所述图像处理装置无线连接,所述接收装置用于接收所述发射装置传输的所述毫米波信号,并将所述毫米波信号转换为所述HDMI接收的视频信号后传输至所述图像处理装置。
本申请提供的这种用于虚拟现实设备的图像处理方法,包括通过HDMI接收视频信号;将所述HDMI接收的视频信号转换为CSI接收的视频信号;对所述CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成DSI接收的视频信号。这种图像处理方法使得所应用的虚拟现实设备的显示画面具有较高的显示帧率,同时该虚拟现实设备无需借助HDMI也可以接收并处理视频信号,并将其中的视频以及音频数据最大程度的保存,降低了数据丢失的概率,有效提高了虚拟现实设备进行数据传输时的低延时性以及刷新率,保证了画质的高清。
附图说明
图1所示为本申请一实施例提供的用于虚拟现实设备的图像处理方法的流程示意图。
图2所示为本申请另一实施例提供的用于虚拟现实设备的图像处理方法的流程示意图。
图3所示为本申请另一实施例提供的用于虚拟现实设备的图像处理方法的流程示意图。
图4所示为本申请另一实施例提供的用于虚拟现实设备的图像处理装置的结构示意图。
图5所示为本申请另一实施例提供的虚拟现实设备的结构示意图。
图6所示为本申请另一实施例提供的虚拟现实设备的结构示意图。
图7所示为申请另一实施例提供的电子设备的结构示意图。
附图标记说明:101、DSI;102、显示单元;200、计算机端;300、图像处理装置;301、HDMI;302、信号转换单元;303、主控单元;3031、图像处理模块;400、无线传输设备;401、发射装置;402、接收装置;600、电子设备;601、处理器;602、存储器;603、输入装置;604、输出装置。
具体实施方式
本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后、顶、底……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外,在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1所示为本申请一实施例提供的用于虚拟现实设备的图像处理方法的流程示意图。如图1所示,本申请提供的用于虚拟现实设备的图像处理方法具体包括如下步骤:
步骤100:通过HDMI接收视频信号。
HDMI即高清多媒体接口(High Definition Multimedia Interface)是一种全数字化视频和声音发送接口,可以发送未压缩的音频及视频信号,HDMI可以同时发送音频和视频信号。视频信号即可以被HDMI接收的带有视频数据信息的信号。通过HDMI接收数据源发射的视频信号以接收视频、音频数据,从而进行虚拟现实产品的图像以及声音显示。
步骤200:将HDMI接收的视频信号转换为CSI接收的视频信号。
CSI即MIPI标准下的接口应用。将HDMI接收的视频信号转换为CSI接收的视频信号,从而对视频以及音频数据做出进一步处理。
步骤300:对CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成DSI接收的视频信号。
异步时间扭曲(Asynchronous Timewarp简称ATW)是一种生成中间帧的技术,当游戏不能保持足够帧率的时候,异步时间扭曲能产生中间帧,从而有效减少游戏画面的抖动。异步空间扭曲(Asynchronous Spacewarp,简称ASP)是通过对当前帧插入前一帧的扭曲帧来将PC帧率提高的处理方式。DSI同为MIPI标准下的接口应用,其为显示接口。异步时间扭曲和异步空间扭曲的同步处理使所生成的DSI接收的视频信号具有较高的显示帧率,同时使得此方法所应用的虚拟现实设备无需借助HDMI也可以接收并处理视频信号,并将其中的视频以及音频数据最大程度的保存,降低了数据丢失的概率,有效提高了虚拟现实设备进行无线传输时的低延时性以及刷新率,保证了画质的高清。
本申请提供的这种用于虚拟现实设备的图像处理方法,包括通过HDMI接收视频信号;将HDMI接收的视频信号转换为CSI接收的视频信号;对CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成DSI接收的视频信号。这种图像处理方法使得所应用的虚拟现实设备在进行无线传输时,虚拟现实设备的显示画面具有较高的显示帧率,同时该虚拟现实设备无需借助HDMI也可以接收并处理视频信号,并将其中的视频以及音频数据最大程度的保存,降低了数据丢失的概率,有效提高了虚拟现实设备进行数据传输时的低延时性以及刷新率,保证了画质的高清。
在一种可能的实现方式中,图2所示为本申请另一实施例提供的用于虚拟现实设备的图像处理方法的流程示意图。如图2所示,步骤300的异步时间扭曲处理方法进一步可以包括如下步骤:
步骤310:获取渲染帧中场景的图像内容信息。
渲染,是计算机动画除后期制作外的最后一道工序,也是最终使图像符合的3D场景的阶段。渲染帧即为呈现在显示装置上的画面帧。获取渲染帧中场景的图像内容信息是对其进行处理的前提。
步骤311:对渲染帧中场景的图像内容信息的像素值进行单一深度近似处理,获取时间扭曲的渲染帧。
使用单一深度近似来修改渲染帧中的一个或更多像素值,生成时间扭曲的渲染帧。用户在使用虚拟现实设备时,难免会存在抖动,通过上述过程可以对因抖动对显示画面产生的影响加以改善。
具体的,如图2所示,在步骤311后,还包括如下步骤:
步骤312:根据时间扭曲的渲染帧,生成DSI接收的视频信号。
将上述时间扭曲的渲染帧生成DSI接收的视频信号后,使得该DSI接收的视频信号可以被显示单元接收,进而使得显示单元对此视频信号进行显示处理。
具体的,如图2所示,步骤300的异步空间扭曲处理方法进一步可以包括如下步骤:
步骤320:获取当前图像帧。
当前图像帧即当前画面帧。
步骤321:获取前一图像帧的时间扭曲帧。
前一图像帧为当前画面帧的前一画面帧,时间扭曲帧即为经过了扭曲异步时间扭曲处理的扭曲帧。
步骤323:对当前图像帧插入前一图像帧的时间扭曲帧,获取混合单一帧。
对当前图像帧插入前一图像帧的时间扭曲帧可以将接受到的PC端的画面帧率提高一倍左右,大大提供虚拟现实设备显示端的清晰度及刷新率,同时保证了PC与虚拟现实设备通过无线传输下的较低延时。
具体的,如图2所示,在步骤323后,还可以包括如下步骤:
步骤324:根据混合单一帧,生成DSI接收的视频信号。
将混合单一帧生成DSI接收的视频信号后,使得显示单元可以接收此视频信号,进而使得显示单元可以对此视频信号进行显示处理。
进一步的,图3所示为本申请另一实施例提供的用于虚拟现实设备的图像处理方法的流程示意图。如图3所示,在步骤300之后,这种图像处理方法还可以包括:
步骤400:将DSI接收的视频信号传输至虚拟现实设备的显示单元进行显示。
显示单元即图形处理器(Graphics Processing Unit,简称为GPU),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。利用显示单元的显示技术即可根据数据信号生成显示内容。
下面,结合图4描述本申请提供的一种用于虚拟现实设备无线传输的图像处理装置,以下简称图像处理装置。
图4所示为本申请另一实施例提供的用于虚拟现实设备无线传输的图像处理装置的结构示意图。如图4所示,本申请提供的这种图像处理装置300包括HDMI301、信号转换单元302以及主控单元303。其中,HDMI301用于接收视频信号,信号转换单元302用于将HDMI301接收的视频信号转换为CSI接收的视频信号,主控单元303用于对CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理。
本申请提供的这种图像处理装置300包括HDMI301、信号转换单元302以及主控单元303,其可以接收视频信号;将HDMI301接收的视频信号转换为CSI接收的视频信号;对CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成DSI101接收的视频信号。这种图像处理装置300使得所应用的虚拟现实设备在进行数据传输时,虚拟现实设备的显示画面具有较高的显示帧率,同时该虚拟现实设备无需借助HDMI301也可以接收并处理视频信号,并将其中的视频以及音频数据最大程度的保存,降低了数据丢失的概率,有效提高了虚拟现实设备的低延时性以及刷新率,保证了画质的高清。
具体的,如图4所示,此图像处理装置300的主控单元303具体可以包括图像处理模块3031,此图像处理模块3031用于对CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,以提高最终显示画面的帧率。
需要说明的是,信号转换单元302可以为具有信号转换功能的数据转换芯片或微型处理器等,本申请优选为数据转换芯片,同理,主控单元303可以为主控芯片。上述单元的具体的实施装置应视具体的应用场景而定,本申请不对信号转换单元302以及主控单元303的具体实施装置作出进一步限定。
下面将结合图5对本申请另一实施例提供的虚拟现实设备进行说明。
图5所示为本申请另一实施例提供的虚拟现实设备的结构示意图。如图5所示,这种无线传输的虚拟现实设备具体包括上述实施例中的图像处理装置300。其中,图像处理装置300与任一计算机端200通讯连接。
本申请提供的这种虚拟现实设备包括以及与此通讯连接的图像处理装置300,这种图像处理装置300包括HDMI301、信号转换单元302以及主控单元303,其可以接收视频信号;将HDMI301接收的视频信号转换为CSI接收的视频信号;对CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成DSI101接收的视频信号。这种图像处理装置300使得所应用的虚拟现实设备的显示画面具有较高的显示帧率,同时该虚拟现实设备无需借助HDMI301也可以接收并处理视频信号,并将其中的视频以及音频数据最大程度的保存,降低了数据丢失的概率,有效提高了虚拟现实设备进行无线传输时的低延时性以及刷新率,保证了画质的高清。
此外,这种虚拟现实设备还可以包括任一计算机端200,此计算机端200可以为计算机也可以为设置在中的带有计算机功能的集成芯片,本申请不对计算机端200的具体实施方式作出限定。
具体的,在本申请一实施例中,这种虚拟现实设备可以为虚拟头显一体机设备,虚拟头显一体机设备具有集成化的特点,将虚拟现实体验所需的无线传输设备400和计算机端200均集成于一台设备,不仅无需数据线,而且设备数量少、体积小,得以进一步提升使用者的体验感,提高产品竞争力。
在一种可能的实现方式中,如图5所示,虚拟现实设备进一步包括DSI101,设备通过DSI101接收视频信号,进一步实现数据的传输。图这种还包括显示单元102,显示单元102用于显示处理DSI101接收到的视频信号,以实现对声音以及图像进行显示的目的,通过显示单元102将数据信号转换为视频音频信号,实现了虚拟现实的目的,从而使得传输的数据得以被用户看到图像处理装置300中的主控单元303,该主控单元303即为虚拟现实设备的主控单元303。
具体的,在一实施例中,图6所示为本申请另一实施例提供的虚拟现实设备的结构示意图。如图6所示,此虚拟现实设备进一步还可以包括无线传输设备400,该无线传输设备400分别与以及图像处理装置300通讯连接,这种无线传输设备400以无线传输来替代传统有线的传输方式,无需使用数据线来进行计算机与虚拟现实设备的连接,有效提高了用户在使用过程中的体验感,进一步提升了产品的市场竞争力。
进一步地,如图6所示,此无线传输设备400可以包括发射装置401以及接收装置402。其中,发射装置401与数据源通讯连接,用于接收数据源发射的视频信号,并将视频信号转换为毫米波信号,随后将毫米波信号发射,以此完成数据源信号的接收以及发射;接收装置402与发射装置401无线连接,用于接收发射装置401传输的毫米波信号,并将毫米波信号转换为HDMI301接收的视频信号,随后将HDMI301接收的视频信号传输给图像处理装置300;图像处理装置300与接收装置402通讯连接,图像处理装置300进一步包括HDMI301、信号转换单元302以及主控单元303,HDMI301对接收装置402传输的视频信号进行接收,并由其他单元对接受到的HDMI301接收的视频信号进行转换以及处理。这种无线传输设备400以毫米波信号的无线传输来替代传统有线的传输方式,无需使用数据线来进行计算机与虚拟现实设备的连接,有效提高了用户在使用过程中的体验感,进一步提升了产品的市场竞争力。同时利用图像处理装置300使得所应用的虚拟现实设备的显示画面具有较高的显示帧率,同时该虚拟现实设备无需借助HDMI301也可以接收并处理视频信号,并将其中的视频以及音频数据最大程度的保存,降低了数据丢失的概率,有效提高了虚拟现实设备进行无线传输时的低延时性以及刷新率,保证了画质的高清。
在一种可能的实现方式中,这种用于虚拟现实设备的无线传输设备100进行无线传输过程中的毫米波信号的频段为60GHZ,由于60GHZ频段的毫米波具有低延迟、高带宽的特点,因此将其作为无线传输设备400的传输信号频段可使无线传输的过程更加高速、可靠。
下面,参考图7来描述根据本申请实施例的电子设备。图7所示为本申请一实施例提供的电子设备的结构示意图。
如图7所示,电子设备600包括一个或多个处理器601和存储器602。
处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或信息执行能力的其他形式的处理单元,并且可以控制电子设备600中的其他组件以执行期望的功能。
存储器601可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序信息,处理器601可以运行所述程序信息,以实现上文所述的本申请的各个实施例的用于虚拟现实设备的图像处理方法或者其他期望的功能。
在一个示例中,电子设备600还可以包括:输入装置603和输出装置604,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置603可以包括例如键盘、鼠标等等。
该输出装置604可以向外部输出各种信息。该输出装置604可以包括例如显示屏、通信网络及其所连接的远程输出设备等等。
当然,为了简化,图7中仅示出了该电子设备600中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备600还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序信息,所述计算机程序信息在被处理器运行时使得所述处理器执行本说明书中描述的根据本申请各种实施例的用于虚拟现实设备的图像处理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序信息,所述计算机程序信息在被处理器运行时使得所述处理器执行本说明书根据本申请各种实施例用于虚拟现实设备的图像处理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此发明的原理和新颖的特征一致的最宽范围。
以上所述仅为本申请创造的较佳实施例而已,并不用以限制本申请创造,凡在本申请创造的精神和原则之内,所作的任何修改、等同替换等,均应包含在本申请创造的保护范围之内。

Claims (13)

1.一种用于虚拟现实设备的图像处理方法,其特征在于,包括:
通过HDMI接收视频信号;
将所述HDMI接收的视频信号转换为CSI接收的视频信号;
对所述CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成DSI接收的视频信号。
2.根据权利要求1所述的用于虚拟现实设备的图像处理方法,其特征在于,所述对所述CSI接收的视频信号进行异步时间扭曲处理,包括:
获取渲染帧中场景的图像内容信息;
对所述渲染帧中场景的图像内容信息的像素值进行单一深度近似处理,获取时间扭曲的渲染帧。
3.根据权利要求2所述的用于虚拟现实设备的图像处理方法,其特征在于,在所述对所述渲染帧中场景的图像内容信息的像素值进行单一深度近似处理,获取时间扭曲的渲染帧之后,还包括:
根据所述时间扭曲的渲染帧,生成所述DSI接收的视频信号。
4.根据权利要求1所述的用于虚拟现实设备的图像处理方法,其特征在于,所述对所述CSI接收的视频信号进行异步空间扭曲处理,包括:
获取当前图像帧;
获取前一图像帧的时间扭曲帧;
对所述当前图像帧插入所述前一图像帧的所述时间扭曲帧,根据所述当前图像帧以及所述前一图像帧的所述时间扭曲帧,获取混合单一帧。
5.根据权利要求4所述的用于虚拟现实设备的图像处理方法,其特征在于,在对所述当前图像帧插入所述前一图像帧的所述时间扭曲帧,根据所述当前图像帧以及所述前一图像帧的所述时间扭曲帧,获取混合单一帧之后,还包括:
根据所述混合单一帧,生成所述DSI接收的视频信号。
6.根据权利要求1所述的用于虚拟现实设备的图像处理方法,其特征在于,还包括:
将所述DSI接收的视频信号传输至虚拟现实设备的显示单元进行显示。
7.一种用于虚拟现实设备的图像处理装置,其特征在于,包括:
HDMI(301),用于接收视频信号;
信号转换单元(302),用于将所述HDMI(301)接收的视频信号转换为CSI接收的视频信号;
主控单元(303),用于对所述CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理后生成DSI(101)接收的视频信号。
8.根据权利要求7所述的用于虚拟现实设备的图像处理装置,其特征在于,所述信号转换单元(302)包括用于将所述HDMI(301)接收的视频信号转换为所述CSI接收的视频信号的数据转换芯片。
9.根据权利要求7所述的用于虚拟现实设备的图像处理装置,其特征在于,所述主控单元(303)包括:
图像处理模块(3031),用于对所述CSI接收的视频信号进行异步时间扭曲处理以及异步空间扭曲处理,生成所述DSI(101)接收的视频信号。
10.一种的虚拟现实设备,其特征在于,包括:
权利要求7-9任一项所述的用于虚拟现实设备的图像处理装置(300);
所述图像处理装置(300)与任一计算机端(200)通讯连接。
11.根据权利要求10所述的的虚拟现实设备,其特征在于,所述的虚拟现实设备为:
虚拟头显一体机设备。
12.根据权利要求10所述的的虚拟现实设备,其特征在于,所述虚拟现实设备还包括:
DSI(101),所述虚拟现实设备通过所述DSI(101)接收视频信号;
显示单元(102),所述显示单元(102)与所述DSI(101)通讯连接,用于根据所述DSI(101)接收的视频信号,生成显示内容。
13.根据权利要求10所述的虚拟现实设备,其特征在于,所述虚拟现实设备还包括:
无线传输设备(400),所述无线传输设备(400)与所述图像处理装置(300)无线连接;
其中,所述无线传输设备(400)包括:
发射装置(401),所述发射装置(401)与数据源通讯连接,所述发射装置(401)用于接收所述数据源发射的所述HDMI(301)接收的视频信号,并将所述HDMI(301)接收的视频信号转换为毫米波信号,并发射所述毫米波信号;
接收装置(402),所述接收装置(402)与所述发射装置(401)以及所述图像处理装置(300)无线连接,所述接收装置(402)用于接收所述发射装置(401)传输的所述毫米波信号,并将所述毫米波信号转换为所述HDMI(301)接收的视频信号后传输至所述图像处理装置(300)。
CN202111582600.XA 2021-12-22 2021-12-22 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备 Pending CN114286036A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111582600.XA CN114286036A (zh) 2021-12-22 2021-12-22 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备
JP2022204770A JP2023093406A (ja) 2021-12-22 2022-12-21 仮想現実機器のための画像処理方法、装置及び仮想現実機器
US18/069,486 US20230199145A1 (en) 2021-12-22 2022-12-21 Image processing method and apparatus for virtual reality device, and virtual reality device
EP22215777.8A EP4202912A1 (en) 2021-12-22 2022-12-22 Image processing method and apparatus for virtual reality device, and virtual reality device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111582600.XA CN114286036A (zh) 2021-12-22 2021-12-22 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备

Publications (1)

Publication Number Publication Date
CN114286036A true CN114286036A (zh) 2022-04-05

Family

ID=80874351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111582600.XA Pending CN114286036A (zh) 2021-12-22 2021-12-22 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备

Country Status (4)

Country Link
US (1) US20230199145A1 (zh)
EP (1) EP4202912A1 (zh)
JP (1) JP2023093406A (zh)
CN (1) CN114286036A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12148120B2 (en) * 2019-12-18 2024-11-19 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207460366U (zh) * 2017-11-30 2018-06-05 歌尔科技有限公司 一种支持视频输入的虚拟现实一体机
EP3521899A1 (en) * 2018-02-03 2019-08-07 Facebook Technologies, LLC Apparatus, system, and method for achieving intraframe image processing in head-mounted displays
CN111656433A (zh) * 2018-02-03 2020-09-11 脸谱科技有限责任公司 减轻头戴式显示器中动显延迟的装置、系统和方法
CN112020858A (zh) * 2018-04-30 2020-12-01 高通股份有限公司 利用感兴趣区域的确定的异步时间和空间扭曲
CN113473216A (zh) * 2020-03-30 2021-10-01 华为技术有限公司 数据传输方法、芯片系统及相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167954A (zh) * 2018-09-30 2019-01-08 厦门亿联网络技术股份有限公司 一种无线多hdmi投屏显示设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207460366U (zh) * 2017-11-30 2018-06-05 歌尔科技有限公司 一种支持视频输入的虚拟现实一体机
EP3521899A1 (en) * 2018-02-03 2019-08-07 Facebook Technologies, LLC Apparatus, system, and method for achieving intraframe image processing in head-mounted displays
CN111656433A (zh) * 2018-02-03 2020-09-11 脸谱科技有限责任公司 减轻头戴式显示器中动显延迟的装置、系统和方法
CN112020858A (zh) * 2018-04-30 2020-12-01 高通股份有限公司 利用感兴趣区域的确定的异步时间和空间扭曲
CN113473216A (zh) * 2020-03-30 2021-10-01 华为技术有限公司 数据传输方法、芯片系统及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴帅凡;田丰;: "虚拟现实影视渲染优化技术现状概述", 现代电影技术, no. 04, 11 April 2018 (2018-04-11) *

Also Published As

Publication number Publication date
US20230199145A1 (en) 2023-06-22
JP2023093406A (ja) 2023-07-04
EP4202912A1 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
CN114286138B (zh) 显示设备、外接设备及多视角比例显示方法
CN112235626B (zh) 视频渲染方法、装置、电子设备及存储介质
US10229651B2 (en) Variable refresh rate video capture and playback
CN207460366U (zh) 一种支持视频输入的虚拟现实一体机
US9836437B2 (en) Screencasting for multi-screen applications
EP3169075A1 (en) Audio and video playback device
US20060183542A1 (en) Method and system for displaying video from a video game console
WO2017032082A1 (zh) 设置屏幕菜单的透明度的方法、装置以及音视频播放设备
CN204836434U (zh) 音视频播放设备
WO2017143663A1 (zh) 电子交互系统及其设置方法
US20120069218A1 (en) Virtual video capture device
WO2017101361A1 (zh) 音频播放的控制设备、视频显示设备及音视频播放系统
CN204887293U (zh) 音视频播放设备
WO2017080175A1 (zh) 用于多机位的视频播放器、播放系统及播放方法
CN111464828A (zh) 虚拟特效显示方法、装置、终端及存储介质
US20170054939A1 (en) Audio and video player
CN114286036A (zh) 用于虚拟现实设备的图像处理方法、装置及虚拟现实设备
US20170054940A1 (en) Device and method for playing audios and videos
CN111741343B (zh) 视频处理方法及装置、电子设备
TW200844747A (en) Expansion device with AV input/output function of television
JP6395971B1 (ja) グラフィカルコマンドトークンの修正
WO2020191040A1 (en) Timing compensation and correlation of input with frames in a video game application
EP2275922A1 (en) Display apparatus and graphic display method
CN108132767A (zh) 应用窗口预览方法和系统
CN101316331A (zh) 具备电视影音输入及输出功能的扩充装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room 208-2, Building 1, 1818-1 Wenyi West Road, Yuhang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100

Applicant after: Xiaopai Technology (Hangzhou) Co.,Ltd.

Address before: Room 615, Block A, Building 1, No. 3000 Longdong Avenue, Pudong New Area, Shanghai

Applicant before: PIMAX TECHNOLOGY (SHANGHAI) Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20220405

RJ01 Rejection of invention patent application after publication