[go: up one dir, main page]

CN106887033A - 场景的渲染方法和装置 - Google Patents

场景的渲染方法和装置 Download PDF

Info

Publication number
CN106887033A
CN106887033A CN201710044997.4A CN201710044997A CN106887033A CN 106887033 A CN106887033 A CN 106887033A CN 201710044997 A CN201710044997 A CN 201710044997A CN 106887033 A CN106887033 A CN 106887033A
Authority
CN
China
Prior art keywords
panorama
video camera
left eye
right eye
textures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710044997.4A
Other languages
English (en)
Inventor
冼文佟
潘关孔
周扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710044997.4A priority Critical patent/CN106887033A/zh
Publication of CN106887033A publication Critical patent/CN106887033A/zh
Priority to PCT/CN2018/072580 priority patent/WO2018133757A1/zh
Priority to TW107101729A priority patent/TW201828258A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种场景的渲染方法和装置。其中,该方法包括:接收显示终端发送的图像显示请求;根据图像显示请求确定显示终端在场景中的区域信息,及确定该区域信息所表示的区域为视角的场景图像;获取与场景图像相匹配的全景贴图,其中,全景贴图是根据三维的场景图像生成的二维图像;及向显示终端发送全景贴图,并将全景贴图显示在显示终端上,来渲染场景图像。本发明解决了移动设备无法渲染出3D场景的技术问题。

Description

场景的渲染方法和装置
技术领域
本发明涉及图像处理领域,具体而言,涉及一种场景的渲染方法和装置。
背景技术
虚拟现实世界中,为了提高用户的沉浸感,需要为用户提供复杂逼真次世代3D场景。复杂逼真次世代3D场景(次世代即高面模型、超大的贴面、极高计算量显卡程序的代价换来的现实世界相近的视觉效果),往往需要具备高渲染能力的设备,例如本地的电脑或远程的服务器,才能够实现。但这些设备不够轻便,用户更倾向于选择移动设备。然而,移动设备的渲染能力较弱,并且与服务器和电脑相比,移动设备的电池续航能力,使得移动设备无法实时渲染出3D场景。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种场景的渲染方法和装置,以至少解决移动设备无法渲染出3D场景的技问题。
根据本发明实施例的一个方面,提供了一种场景的渲染方法,包括:接收显示终端发送的图像显示请求;根据所述图像显示请求确定所述显示终端在场景中的区域信息,及确定该区域信息所表示的区域为视角的场景图像;获取与所述场景图像相匹配的全景贴图,其中,所述全景贴图是根据三维的所述场景图像生成的二维图像;及向所述显示终端发送所述全景贴图,并将所述全景贴图显示在所述显示终端上,来渲染所述场景图像。
根据本发明实施例的另一方面,还提供了一种场景的渲染方法,包括:显示终端向设备端发送图像显示请求,以请求获取所述显示终端在场景中的区域信息所表示的区域为视角的场景图像;接收所述设备端响应所述图像显示请求所发送的全景贴图,其中,所述全景贴图是由所述设备端根据三维的所述场景图像生成的二维图像;及显示所述全景贴图。
根据本发明实施例的一个方面,提供了一种场景的渲染装置,包括:接收单元,用于接收显示终端发送的图像显示请求;确定单元,用于根据所述图像显示请求确定所述显示终端在场景中的区域信息;及确定该区域信息所表示的区域为视角的场景图像;获取单元,用于获取与所述场景图像相匹配的全景贴图,其中,所述全景贴图是根据三维的所述场景图像生成的二维图像;发送单元,用于向所述显示终端发送所述全景贴图,并将所述全景贴图显示在所述显示终端上,来渲染所述场景图像。
根据本发明实施例的另一方面,还提供了一种场景的渲染装置,包括:终端发送单元,用于向设备端发送图像显示请求,以请求获取所述显示终端在场景中的区域信息所表示的区域为视角的场景图像;终端接收单元,用于接收所述设备端响应所述图像显示请求所发送的全景贴图,其中,所述全景贴图是由所述设备端根据三维的所述场景图像生成的二维图像;以及终端显示单元,用于显示所述全景贴图。
在本发明实施例中,先在设备端上制作好全景贴图,然后在显示终端上显示全景贴图,从而实现了性能较低的显示终端上渲染高清的场景图像,解决了现有技术的移动设备无法渲染出3D场景的技术问题,达到了在移动设备上显示3D场景的技术效果。同时,还能减少显示3D场景对显示设备的耗能。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种硬件环境系统的示意图;
图2是根据本发明一实施例的场景的渲染方法的流程图;
图3是根据本发明可选实施例的场景的渲染方法的流程图;
图4是根据本发明又一实施例的场景的渲染方法的流程图;
图5是根据本发明实施例的全景模型的示意图;
图6是根据本发明实施例的全景模型显示左眼全景贴图后的左眼全景图;
图7是根据本发明实施例的全景模型显示右眼全景贴图后的右眼全景图;
图8是根据本发明一实施例的场景的渲染装置的示意图;
图9是根据本发明又一实施例的场景的渲染装置的示意图;
图10是根据本发明实施例的服务器的架构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种可以通过本申请装置实施例执行的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
名词解释:
Virtual Reality,简称VR,即虚拟现实。
Shader,图形渲染的显卡程序。
渲染,使用3D图形显卡绘画到屏幕的过程。
FPS,每秒显示屏刷新的速度:60FPS即每秒60帧。
全景贴图,立体贴图,如:box Cube texture
次世代,高面模型、超大的贴面、极高计算量显卡程序的代价换来的现实世界相近的视觉效果。
根据本发明实施例,提供了一种场景的渲染方法。该场景的渲染方法可以由设备端执行,如服务器和本地电脑。
可选地,在本实施例中,上述场景的渲染方法可以应用于如图1所示的终端102和服务器104所构成的硬件环境中。如图1所示,终端102通过网络与服务器104进行连接,上述网络包括但不限于:移动通信网络、广域网、城域网或局域网,终端102可以是手机终端,也可以是PC终端、笔记本终端或平板电脑终端。
图1中示出的硬件环境系统的工作原理是:
在图1所示的服务器104中对3D场景进行处理,利用3D引擎制作3D场景。然后在左眼位置和右眼位置分别渲染一张全景贴图,得到两张全景贴图。在终端102上可以执行虚拟现实应用,当终端102需要显示真实场景时,向服务器104请求真实场景的全景贴图。终端102接收服务器104已经渲染好的两张全景贴图,即左眼全景贴图和右眼全景贴图,终端102显示接收到的左眼全景贴图和右眼全景贴图,从而在虚拟现实应用中显示了真实场景。
本实施例的上述服务器104也可以是高性能的本地电脑端,或者其他具有较强图像渲染能力的智能终端。通过图1所示的硬件环境系统,可以在服务器等高性能端先渲染好全景贴图,然后再将渲染后的全景贴图发送给终端102进行显示,无需终端102进行场景的渲染。由于在终端102上显示左眼全景贴图和右眼全景贴图,用于通过终端102就能同时看到左眼全景贴图和右眼全景贴图,看到3D场景的效果。即,在终端102进行虚拟现实应用的场景显示时,无需要求终端102具有较高的图像渲染能力和电池续航能力就能显示3D场景,解决了移动设备无法渲染出3D场景的技术问题,达到了在移动设备上显示3D场景的技术效果。
图2是根据本发明一实施例的场景的渲染方法的流程图,该渲染方法可以由设备端执行。以下结合图2对本发明实施例所提供的场景的渲染方法做具体介绍,如图2所示,该场景的渲染方法包括:
步骤S202,接收显示终端发送的图像显示请求;
步骤S204,根据所述图像显示请求确定所述显示终端在场景中的区域信息,及确定该区域信息所表示的区域为视角的场景图像;
设备端可以是图1所示的服务器或者本地电脑等高性能设备,该设备端具有较强的图像渲染能力,可以渲染出场景的全景贴图。显示终端可以是图1所示的终端,该显示终端用于显示设备端渲染好的全景贴图。
在显示终端需要显示模拟3D场景时,会向设备端发送图像显示请求,该图像显示请求携带有显示终端在场景中的区域信息,以便服务器根据显示终端发送以当前区域信息为视角的场景图像的全景贴图。可选地,图像显示请求也可以携带显示终端在场景中的位置信息,以便服务器根据显示终端发送以当前位置信息为视角的场景图像的全景贴图。
步骤S206,根据图像显示请求获取与场景图像相匹配的全景贴图,其中,全景贴图是由设备端根据三维的场景图像生成的二维图像。
设备端上可以运行3D引擎,例如unreal4,在3D引擎中导入次世代3D场景。3D引擎在左眼位置和右眼位置渲染两张全景贴图。设备端可以对一个区域内渲染两张全景贴图,当显示终端在该区域内的不同位置时都可以用这个区域内的两张全景贴图。另外,设备端还可以对一个区域渲染多张全景贴图,该区域内的每个位置对应两张全景贴图,设备端根据显示终端的位置提供与显示终端当前所处场景相匹配的两张全景贴图。全景贴图是由3D引擎制作的二维图像,减少显示终端的图像处理负担的同时,还能在显示终端上呈现三维效果。
步骤S208,向显示终端发送全景贴图,其中,显示终端显示全景贴图来渲染场景图像。
设备端将全景贴图发送给显示终端。发送的方式可以是通过有线连接发送,如USB和串口等,还可以通过无线连接发送,比如wifi和蜂窝网络等。此处,其他有线或者无线连接(比如,蓝牙,NFC和zigbee)的方式也可以用于在设备端和显示终端之间发送全景贴图,为了传输效率和减少图片的损伤,可以选择上述任意一种或者多种数据传输方式。
通过本实施例,先在设备端上制作好全景贴图,然后在显示终端上显示全景贴图,从而实现了性能较低的显示终端上渲染高清的场景图像,解决了现有技术的移动设备无法渲染出3D场景的技术问题,达到了在移动设备上显示3D场景的技术效果。同时,还能减少显示3D场景对显示设备的耗能。
如图3所示,高性能设备端(即设备端)中的3D引擎输入次时代3D场景模型,基于模型进行渲染,并获取左右眼实时或静态全景图(即全景贴图)。通过数据连接,将全景图发送给移动设备(即显示终端)。移动设备接收图像数据,即接收全景贴图,进行拼接并显示。即显示左眼全景贴图和右眼全景贴图。
以显示终端为VR设备为例对本实施例进行说明。
人体头部佩戴VR设备之后,可以通过VR设备观看到3D场景。在VR设备显示的3D场景中进行游戏或者游览3D场景。
当人体佩戴VR设备转头时,VR设备上显示的场景也随着头部的旋转而旋转。VR设备在3D场景中的区域或者位置对应两张全景贴图,一张左眼全景贴图和一张右眼全景贴图。VR设备显示左眼全景贴图和右眼全景贴图,人体通过VR设备可以观看到左眼全景贴图和右眼全景贴图所显示出来的3D场景图。
对于开阔的室外场景,如田野等,VR设备在室外场景中的位置变换可以采用相同的一组全景贴图来显示,即设备端向VR设备提供一组全景贴图,一组全景贴图包括左眼全景贴图和右眼全景贴图。当人体在田野场景中由近向远处移动时,可以采用相同的一组全景贴图来模拟人体所在的3D场景。
对于狭窄的室内场景,如房间中,VR设备可以随着人体在室内场景中的位置变化而接收多组全景贴图,每组全景贴图都与人体在室内场景的位置相关联。例如,人体处于室内场景的窗边,在窗边的视角观看整个房间,此时VR设备获得与窗边的视角相匹配的一组全景贴图。当人体移动到门口,在门口的视角观看整个房间,此时VR设备获得与门口的视角相匹配的一组全景贴图。即不同的视角对应不同的全景贴图。这种随着位置的变化而显示不同的全景贴图的方式,可以更加精细的模拟人体在室内场景下的视角变化,提高了场景的真实感,增加了用户在室内场景中的沉浸感。
对于不同的场景,由于VR设备显示左眼全景贴图和右眼全景贴图,当佩戴VR设备的人体的头部旋转来变换视角时,每只眼睛可以看到相应全景贴表示场景的不同位置的图像内容。另外,在VR设备上显示二维的左眼全景贴图和右眼全景贴图,人体在视觉上看到的是三维的场景图像。
可选地,根据图像显示请求获取与场景图像相匹配的全景贴图包括:获取场景的至少一张全景图,其中,每张全景图包括多个方向上的图片,每个方向上包括至少一张图片;将所述场景对象对应的区域信息与全景图进行关联;将与所述区域信息关联的全景图作为与场景图像相匹配的全景贴图。
设备端提供给显示终端的全景贴图由设备端生成,在设备端中制作好场景并且调配好效果,以便发送给显示终端后由显示终端显示全景贴图。设备端可以生成一个区域内的全景贴图,或者某个位置相关联的全景贴图。设备端获取场景的至少一张全景图,并且将全景图与区域或者位置进行关联,该全景图就作为当前区域或者当前位置的全景贴图。设备端可以根据显示终端请求的区域或者位置选择相应的全景贴图发送给显示终端,以便显示终端显示相应区域和位置的全景贴图。
由上述内容可知,为了在显示终端上显示出三维效果,需要在显示终端上显示左眼全景贴图和右眼全景贴图。那么,设备端生成左眼全景图和右眼全景图,从而生成左眼全景贴图和右眼全景贴图。左眼全景图和右眼全景图分别由处于左眼位置的一组摄像机和处于右眼位置的另外一组摄像机拍摄得到。
摄像机获取左眼全景图和右眼全景图的方法可以包括以下几种:
第一种:两组摄像机,每组包含6台摄像机,且摄像机位置固定不旋转。
即全景图包括左眼全景图和右眼全景图,设备端获取场景的至少一张全景图包括:设备端获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括6张以左眼为视角的图片,以左眼为视角的图片为第一组摄像机在左眼的位置拍摄的图片,第一组摄像机包括6台摄像机,第一组摄像机的每台摄像机拍摄一张图片,第一组摄像机的6台摄像机相互夹角为90度;右眼全景图包括6张以右眼为视角的图片,以右眼为视角的图片为第二组摄像机在右眼的位置拍摄的图片,第二组摄像机包括6台摄像机,第二组摄像机的每台摄像机拍摄一张图片,第二组摄像机的6台摄像机相互夹角为90度。
在左眼位置设置一组摄像机,在右眼位置设置另外一组摄像机,每组摄像机包括6台摄像机。
左眼位置的6台摄像机分别拍摄左眼视角的前、后、左、右、上和下6个角度的场景。右眼位置的6台摄像机分别拍摄右眼视角的前、后、左、右、上和下6个角度的场景。6台摄像机相互之间的夹角为90度,每台摄像机可以拍摄一个角度上的一张图像,一组摄像机拍摄的6张图像可以形成左眼视角的全景图。
左眼位置的6台摄像机分别拍摄右眼视角的前、后、左、右、上和下6个角度的场景。右眼位置的6台摄像机分别拍摄右眼视角的前、后、左、右、上和下6个角度的场景。6台摄像机相互之间的夹角为90度,每台摄像机可以拍摄一个角度上的一张图像,一组摄像机拍摄的6张图像可以形成右眼视角的全景图。
左眼位置的一组摄像机和右眼位置的一组摄像机之间的间距可以设置为12.94cm左右。通过两组摄像机获取的左眼全景图和右眼全景图可以用来生成左眼全景贴图和右眼全景贴图。
第二种:两组摄像机,每组摄像机包括一台摄像机,且两组摄像机同时旋转。
即全景图包括左眼全景图和右眼全景图,设备端获取场景的至少一张全景图包括:设备端获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括多张以左眼为视角的图片,以左眼为视角的图片为第一摄像机在左眼所在的位置上沿垂直轴旋转拍摄的图片,其中,垂直轴为左眼和右眼连线的中垂线;右眼全景图包括多张以右眼为视角的图片,以右眼为视角的图片为第二摄像机在右眼所在位置上沿垂直轴旋转拍摄的图片,拍摄过程中第一摄像机和第二摄像机同时旋转。
在左眼位置设置一台摄像机拍摄左眼视角的全景图像,在右眼位置设置另外一台摄像机拍摄右眼视角的全景图像。两台摄像机以左眼和右眼中心点连线的中垂线为轴进行旋转,模拟人体头部旋转时两只眼睛的视角。两台摄像机同时旋转,每台摄像机拍摄多张图片。例如,每旋转1°拍摄一张图片,或者每旋转0.5°拍摄一张图片。两组摄像机可以沿着中垂线旋转360°,或者根据场景的需要选择旋转的度数,以及拍摄图片的步长。
两组摄像机可以以中垂线为轴进行旋转,也可以以左眼和右眼中心的连线为轴进行旋转。例如每旋转1°拍摄一张图片,则左眼位置的一台摄像机拍摄360张图片,右眼位置的一台摄像机拍摄360张图片,左眼的360张图片形成左眼全景图,右眼的360张图片形成右眼全景图。
可选地,全景图包括左眼全景图和右眼全景图,设备端获取场景的至少一张全景图包括:设备端获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括多张以左眼为视角的图片,以左眼为视角的图片为第一摄像机在左眼所在的位置上以左眼和右眼连线为轴进行旋转拍摄的图片;右眼全景图包括多张以右眼为视角的图片,以右眼为视角的图片为第二摄像机在右眼所在的位置上以左眼和右眼连线为轴进行旋转拍摄的图片,拍摄过程中第一摄像机和第二摄像机同时旋转。
例如,两组摄像机同时以左眼和右眼中心的连线从下到上的方向旋转,模拟人体从看向地面逐渐看向天空。同样地,旋转的角度和拍摄图片的张数可以根据精度需要进行设置。
两组摄像机沿中垂线旋转可以得到在水平方向上的左眼全景图和右眼全景图,两组摄像机以双眼连线为轴旋转可以得到竖直方向上的左眼全景图和右眼全景图。
通过上述两种旋转方式,可以获得不同平面上的左眼全景图和右眼全景图。可以根据场景需要选择以中垂线为轴进行旋转,以双眼连线为轴进行旋转,或者采用上述两种方式进行旋转,以便人体通过显示终端在不同角度上都能看到左眼全景贴图和右眼全景贴图渲染出来的3D场景。
第三种:两组摄像机,每组摄像机包括5台摄像机,且两组摄像机同时旋转。
即,全景图包括左眼全景图和右眼全景图,设备端获取场景的至少一张全景图包括:设备端获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括多张以左眼为视角的图片,以左眼为视角的图片为第三组摄像机在左眼所在的位置上沿垂直轴旋转拍摄的图片,其中,第三组摄像机包括左眼的前方、左方、右方、上方和下方各设置摄像机,垂直轴为左眼和右眼连线的中垂线;右眼全景图包括多张以右眼为视角的图片,以右眼为视角的图片为第四组摄像机在右眼所在的位置上沿垂直轴旋转拍摄的图片,其中,第四组摄像机包括右眼的前方、左方、右方、上方和下方各设置的摄像机,在拍摄过程中,第三组摄像机和第四组摄像机的所有摄像机同时旋转。
每组的5台摄像机分别设置在眼睛的前方、左方、右方、上方和下方,即在左眼位置的5个方向上设置5台摄像机,每个方向上一台摄像机;在右眼位置的5个方向上设置5台摄像机,每个方向上一台摄像机。
每组5台摄像机以中垂线为轴同时进行旋转,可以拍摄5个方向上的照片。两组摄像机同时旋转,就可以拍摄双眼的视角变换所看到的场景图像。每组摄像机可以以中垂线为轴旋转360°,可以每转1°拍摄一张照片,这样每组拍摄360*5=1800图片,两组共拍摄3600张图片。左眼的1800张图片形成左眼全景图,右眼1800张图片形成右眼全景图。
本实施例可以采用多种方式来获取左眼全景图和右眼全景图,进而得到左眼全景贴图和右眼全景贴图。由于设备端的图像处理能力较强,可以生成精细的全景图,作为显示终端渲染场景图像的良好基础。显示终端可以显示二维图像,且显示二维图像对终端的配置要求较低,对终端的消耗较少,因此,将设备端生成的二维全景贴图发送给显示终端进行显示,不仅可以渲染出逼真的三维场景,还能减少显示终端的功耗。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,提供了一种可以通过本申请装置实施例执行的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一张场景的渲染方法。该场景的渲染方法可以由显示终端执行。
图4是根据本发明又一实施例的场景的渲染方法的流程图,该渲染方法由显示终端执行,以下结合图4对本发明实施例所提供的场景的渲染方法做具体介绍,如图4所示,该场景的渲染方法包括:
步骤S402,向设备端发送图像显示请求,以请求获取显示终端在场景中的区域信息所表示的区域为视角的场景图像。
步骤S404,接收设备端响应图像显示请求所发送的全景贴图,其中,全景贴图是由设备端根据三维的场景图像生成的二维图像。
步骤S406,显示全景贴图。
显示终端并不生成全景贴图,全景贴图由设备端生成,因此,在显示终端需要显示全景贴图时,会向设备端发出图像显示请求。图像显示请求可以携带显示终端在场景中区域信息。设备端根据区域信息提供该区域信息表示的区域所关联的全景贴图。显示终端接收设备端发送的全景贴图,并在显示终端上显示全景贴图。全景贴图为二维图像,在显示终端上显示后可以呈现出三维图像的效果,从而实现了显示终端上三维场景的渲染。
通过本实施例,先在设备端上制作好全景贴图,然后在显示终端上显示全景贴图,从而实现了性能较低的显示终端上渲染高清的场景图像,解决了现有技术的移动设备无法渲染出3D场景的技术问题,达到了在移动设备上显示3D场景的技术效果。同时,还能减少显示3D场景对显示设备的耗能。
可选地,全景贴图包括左眼全景贴图和右眼全景贴图,显示全景贴图包括:将全景模型的中心点设置为视角,其中,全景模型为全景盒子或者全景球体模型;渲染左眼图像,并将全景模型的贴图显示为左眼全景贴图;渲染右眼图像,并将全景模型的贴图显示为右眼全景贴图。
在显示终端上渲染场景图像时,将全景模型的中心点设置在视角位置。全景模型可以是全景盒子或者全景球体模型。全景盒子如图5所示。在虚拟现实应用中,全景模型的中心点的位置就是人体在虚拟显示的场景中的位置。在渲染左眼图像时将全景模型的贴图全部换成左眼的全景贴图,在渲染右眼图像时将全景模型的贴图全部换成右眼的全景贴图。对于实施例1中的三种获取全景贴图的方式,三种方式获取的全景贴图可以采用如图4所示的全景模型,也可以根据全景模型采集的方向来更改全景模型。例如,对于第三种5台摄像机获取的全景贴图来说,可以将全景模型调整成与这种全景贴图相匹配的模型。
将全景模型的贴图全部换成左眼的全景贴图之后,显示的全景图如图6所示;将全景模型的贴图全部换成右眼的全景贴图之后,显示的全景图如图7所示。由图6和图7可知,左眼视角看到的场景与右眼看到的场景是有差异的。但是,在显示终端上同时显示左眼全景贴图和右眼全景贴图,就可以显示出三维场景的效果。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例3
根据本发明实施例,还提供了一种用于实施上述实施例1的场景的渲染方法的场景的渲染装置,该场景的渲染装置主要用于执行本发明实施例上述内容所提供的场景的渲染方法,以下对本发明实施例所提供的场景的渲染装置做具体介绍:
图8是根据本发明一实施例的场景的渲染装置的示意图,如图8所示,该场景的渲染装置包括:
接收单元10用于接收显示终端发送的图像显示请求;
确定单元20用于根据图像显示请求确定显示终端在场景中的区域信息,及确定该区域信息所表示的区域为视角的场景图像。
设备端可以是图1所示的服务器或者本地电脑等高性能设备,该设备端具有较强的图像渲染能力,可以渲染出场景的全景贴图。显示终端可以是图1所示的终端,该显示终端主要显示在设备端已经渲染好的全景贴图。
在显示终端需要显示模拟3D场景时,会向设备端发送图像显示请求,该图像显示请求携带有显示终端在场景中的区域信息,以便服务器根据显示终端发送以当前区域信息为视角的场景图像的全景贴图。可选地,图像显示请求也可以携带显示终端在场景中的位置信息,以便服务器根据显示终端发送以当前位置信息为视角的场景图像的全景贴图。
获取单元30用于获取与场景图像相匹配的全景贴图,其中,全景贴图是由设备端根据三维的场景图像生成的二维图像。
设备端上可以运行3D引擎,例如unreal4,在3D引擎中导入次世代3D场景。3D引擎在左眼位置和右眼位置渲染两张全景贴图。设备端可以对一个区域内渲染两张全景贴图,当显示终端在该区域内的不同位置时都可以用这个区域内的两张全景贴图。另外,设备端还可以对一个区域内渲染多张全景贴图,该区域内的每个位置对应两张全景贴图,设备端根据显示终端的位置提供与显示终端当前所处场景相匹配的两张全景贴图。全景贴图是由3D引擎制作的二维图像,减少显示终端的图像处理负担的同时,还能在显示终端上呈现三维效果。
发送单元40用于向显示终端发送全景贴图,其中,显示终端显示全景贴图来渲染场景图像。
设备端将全景贴图发送给显示终端。发送的方式可以是通过有线连接发送,如USB和串口等,还可以通过无线连接发送,比如wifi和蜂窝网络等。此处,其他有线或者无线连接(比如,蓝牙,NFC和zigbee)的方式也可以用于在设备端和显示终端之间发送全景贴图,为了传输效率和减少图片的损伤,可以选择上述任意一种或者多种数据传输方式。
通过本实施例,先在设备端上制作好全景贴图,然后在显示终端上显示全景贴图,从而实现了性能较低的显示终端上渲染高清的场景图像,解决了现有技术的移动设备无法渲染出3D场景的技术问题,达到了在移动设备上显示3D场景的技术效果。同时,还能减少显示3D场景对显示设备的耗能。
以显示终端为VR设备为例对本实施例进行说明。
人体头部佩戴VR设备之后,可以通过VR设备观看到3D场景。在VR设备显示的3D场景中进行游戏或者游览3D场景。
当人体佩戴VR设备转头时,VR设备上显示的场景也随着头部的旋转而旋转。VR设备在3D场景中的区域或者位置对应两张全景贴图,一张左眼全景贴图和一张右眼全景贴图。VR设备显示左眼全景贴图和右眼全景贴图,人体通过VR设备可以观看到左眼全景贴图和右眼全景贴图所显示出来的3D场景图。
对于开阔的室外场景,如田野等,VR设备在室外场景中的位置变换可以采用相同的一组全景贴图来显示,即设备端向VR设备提供一组全景贴图,一组全景贴图包括左眼全景贴图和右眼全景贴图。当人体在田野场景中由近向远处移动时,可以采用相同的一组全景贴图来模拟人体所在的3D场景。
对于狭窄的室内场景,如房间中,VR设备可以随着人体在室内场景中的位置变化而接收多组全景贴图,每组全景贴图都与人体在室内场景的位置相关联。例如,人体处于室内场景的窗边,在窗边的视角观看整个房间,此时VR设备获得与窗边的视角相匹配的一组全景贴图。当人体移动到门口,在门口的视角观看整个房间,此时VR设备获得与门口的视角相匹配的一组全景贴图。即不同的视角对应不同的全景贴图。这种随着位置的变化而显示不同的全景贴图的方式,可以更加精细的模拟人体在室内场景下的视角变化,提高了场景的真实感,增加了用户在室内场景中的沉浸感。
对于不同的场景,由于VR设备显示左眼全景贴图和右眼全景贴图,当佩戴VR设备的人体的头部旋转来变换视角时,每只眼睛可以看到相应全景贴表示场景的不同位置的图像内容。另外,在VR设备上显示二维的左眼全景贴图和右眼全景贴图,人体在视觉上看到的是三维的场景图像。
可选地,获取单元包括:获取模块,用于获取场景的至少一张全景图,其中,每张全景图包括多个方向上的图片,每个方向上包括至少一张图片;关联模块,用于将场景对象对应的区域信息与全景图进行关联;确定模块,用于将与所述区域信息关联的全景图作为与场景图像相匹配的全景贴图。
设备端提供给显示终端的全景贴图由设备端生成,在设备端中制作好场景并且调配好效果,以便发送给显示终端后由显示终端显示全景贴图。设备端可以生成一个区域内的全景贴图,或者某个位置相关联的全景贴图。设备端获取场景的至少一张全景图,并且将全景图与区域或者位置进行关联,该全景图就作为当前区域或者当前位置的全景贴图。设备端可以根据显示终端请求的区域或者位置选择相应的全景贴图发送给显示终端,以便显示终端显示相应区域和位置的全景贴图。
由上述内容可知,为了在显示终端上显示出三维效果,需要在显示终端上显示左眼全景贴图和右眼全景贴图。那么,设备端生成左眼全景图和右眼全景图,从而生成左眼全景贴图和右眼全景贴图。左眼全景图和右眼全景图分别由处于左眼位置的一组摄像机和处于右眼位置的另外一组摄像机拍摄得到。
摄像机获取左眼全景图和右眼全景图的方法可以包括以下几种:
第一种:两组摄像机,每组包含6台摄像机,且摄像机位置固定不旋转。
即,获取模块包括:第一获取子模块,用于获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括6张以左眼为视角的图片,以左眼为视角的图片为第一组摄像机在左眼的位置拍摄的图片,第一组摄像机包括6台摄像机,第一组摄像机的每台摄像机拍摄一张图片,第一组摄像机的6台摄像机相互夹角为90度;右眼全景图包括6张以右眼为视角的图片,以右眼为视角的图片为第二组摄像机在右眼的位置拍摄的图片,第二组摄像机包括6台摄像机,第二组摄像机的每台摄像机拍摄一张图片,第二组摄像机的6台摄像机相互夹角为90度。
在左眼位置设置一组摄像机,在右眼位置设置另外一组摄像机,每组摄像机包括6台摄像机。
左眼位置的6台摄像机分别拍摄左眼视角的前、后、左、右、上和下6个角度的场景。右眼位置的6台摄像机分别拍摄右眼视角的前、后、左、右、上和下6个角度的场景。6台摄像机相互之间的夹角为90度,每台摄像机可以拍摄一个角度上的一张图像,一组摄像机拍摄的6张图像可以形成左眼视角的全景图。
左眼位置的6台摄像机分别拍摄右眼视角的前、后、左、右、上和下6个角度的场景。右眼位置的6台摄像机分别拍摄右眼视角的前、后、左、右、上和下6个角度的场景。6台摄像机相互之间的夹角为90度,每台摄像机可以拍摄一个角度上的一张图像,一组摄像机拍摄的6张图像可以形成右眼视角的全景图。
左眼位置的一组摄像机和右眼位置的一组摄像机之间的间距可以设置为12.94cm左右。通过两组摄像机获取的左眼全景图和右眼全景图可以用来生成左眼全景贴图和右眼全景贴图。
第二种:两组摄像机,每组摄像机包括一台摄像机,且两组摄像机同时旋转。
即获取模块包括:第二获取子模块,用于获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括多张以左眼为视角的图片,以左眼为视角的图片为第一摄像机在左眼所在的位置上沿垂直轴旋转拍摄的图片,其中,垂直轴为左眼和右眼连线的中垂线;右眼全景图包括多张以右眼为视角的图片,以右眼为视角的图片为第二摄像机在右眼所在的位置上沿垂直轴旋转拍摄的图片,第一摄像机和第二摄像机同时旋转。
在左眼位置设置一台摄像机拍摄左眼视角的全景图像,在右眼位置设置另外一台摄像机拍摄右眼视角的全景图像。两台摄像机以左眼和右眼中心点连线的中垂线为轴进行旋转,模拟人体头部旋转时两只眼睛的视角。两台摄像机同时旋转,每台摄像机拍摄多张图片。例如,每旋转1°拍摄一张图片,或者每旋转0.5°拍摄一张图片。两组摄像机可以沿着中垂线旋转360°,或者根据场景的需要选择旋转的度数,以及拍摄图片的步长。
两组摄像机可以以中垂线为轴进行旋转,也可以以左眼和右眼中心的连线为轴进行旋转。例如每旋转1°拍摄一张图片,则左眼位置的一台摄像机拍摄360张图片,右眼位置的一台摄像机拍摄360张图片,左眼的360张图片形成左眼全景图,右眼的360张图片形成右眼全景图。
可选地,全景图包括左眼全景图和右眼全景图,获取模块包括:第三获取子模块,用于获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括多张以左眼为视角的图片,以左眼为视角的图片为第一摄像机在左眼所在的位置上以左眼和右眼连线为轴进行旋转拍摄的图片;右眼全景图包括多张以右眼为视角的图片,以右眼为视角的图片为第二摄像机在右眼所在的位置上以左眼和右眼连线为轴进行旋转拍摄的图片,拍摄的过程中第一摄像机和第二摄像机同时旋转。
例如,两组摄像机同时以左眼和右眼中心的连线从下到上的方向旋转,模拟人体从看向地面逐渐看向天空。同样地,旋转的角度和拍摄图片的张数可以根据精度需要进行设置。
两组摄像机沿中垂线旋转可以得到在水平方向上的左眼全景图和右眼全景图,两组摄像机以双眼连线为轴旋转可以得到竖直方向上的左眼全景图和右眼全景图。
通过上述两种旋转方式,可以获得不同平面上的左眼全景图和右眼全景图。可以根据场景需要选择以中垂线为轴进行旋转,以双眼连线为轴进行旋转,或者采用上述两种方式进行旋转,以便人体通过显示终端在不同角度上都能看到左眼全景贴图和右眼全景贴图渲染出来的3D场景。
第三种:两组摄像机,每组摄像机包括5台摄像机,且两组摄像机同时旋转。
即,全景图包括左眼全景图和右眼全景图,获取模块包括:第四获取子模块,用于获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括多张以左眼为视角的图片,以左眼为视角的图片为第三组摄像机在左眼所在的位置上沿垂直轴旋转拍摄的图片,其中,第三组摄像机包括左眼的前方、左方、右方、上方和下方每个方向设置的一个摄像机,垂直轴为左眼和右眼连线的中垂线;右眼全景图包括多张以右眼为视角的图片,以右眼为视角的图片为第四组摄像机在右眼所在的位置上沿垂直轴旋转拍摄的图片,其中,第四组摄像机包括右眼的前方、左方、右方、上方和下方每个方向设置的一个摄像机,第三组摄像机和第四组摄像机的所有摄像机同时旋转。
每组的5台摄像机分别设置在眼睛的前方、左方、右方、上方和下方,即在左眼位置的5个方向上设置5台摄像机,每个方向上一台摄像机;在右眼位置的5个方向上设置5台摄像机,每个方向上一台摄像机。
每组5台摄像机以中垂线为轴同时进行旋转,可以拍摄5个方向上的照片。两组摄像机同时旋转,就可以拍摄双眼的视角变换所看到的场景图像。每组摄像机可以以中垂线为轴旋转360°,可以每转1°拍摄一张照片,这样每组拍摄360*5=1800图片,两组共拍摄3600张图片。左眼的1800张图片形成左眼全景图,右眼1800张图片形成右眼全景图。
本实施例可以采用多种方式来获取左眼全景图和右眼全景图,进而得到左眼全景贴图和右眼全景贴图。由于设备端的图像处理能力较强,可以生成精细的全景图,作为显示终端渲染场景图像的良好基础。显示终端可以显示二维图像,且显示二维图像对终端的配置要求较低,对终端的消耗较少,因此,将设备端生成的二维全景贴图发送给显示终端进行显示,不仅可以渲染出逼真的三维场景,还能减少显示终端的功耗。
实施例4
根据本发明实施例,还提供了一种用于实施上述实施例2的场景的渲染方法的场景的渲染装置,该场景的渲染装置主要用于执行本发明实施例上述内容所提供的场景的渲染方法,以下对本发明实施例所提供的场景的渲染装置做具体介绍:
图9是根据本发明又一实施例的场景的渲染装置的示意图。如图9所示,该场景的渲染装置包括:
终端发送单元92用于向设备端发送图像显示请求,以请求获取显示终端在场景中的区域信息所表示的区域为视角的场景图像。
终端接收单元94用于接收设备端响应图像显示请求所发送的全景贴图,其中,全景贴图是由设备端根据三维的场景图像生成的二维图像。
终端显示单元96用于显示全景贴图。
显示终端并不生成全景贴图,全景贴图由设备端生成,因此,在显示终端需要显示全景贴图时,会向设备端发出图像显示请求。图像显示请求可以携带显示终端在场景中区域信息。设备端根据区域信息提供该区域信息表示的区域所关联的全景贴图。显示终端接收设备端发送的全景贴图,并在显示终端上显示全景贴图。全景贴图为二维图像,在显示终端上显示后可以呈现出三维图像的效果,从而实现了显示终端上三维场景的渲染。
通过本实施例,先在设备端上制作好全景贴图,然后在显示终端上显示全景贴图,从而实现了性能较低的显示终端上渲染高清的场景图像,解决了现有技术的移动设备无法渲染出3D场景的技术问题,达到了在移动设备上显示3D场景的技术效果。同时,还能减少显示3D场景对显示设备的耗能。
可选地,全景贴图包括左眼全景贴图和右眼全景贴图,终端显示单元包括:设置模块,用于将全景模型的中心点设置为视角,其中,全景模型为全景盒子或者全景球体模型;第一渲染模块,用于在渲染左眼图像时,将全景模型的贴图显示为左眼全景贴图;第二渲染模块,用于在渲染右眼图像时,将全景模型的贴图显示为右眼全景贴图。
在显示终端上渲染场景图像时,将全景模型的中心点设置在视角位置。全景模型可以是全景盒子或者全景球体模型。全景盒子如图5所示。在虚拟现实应用中,全景模型的中心点的位置就是人体在虚拟显示的场景中的位置。在渲染左眼图像时将全景模型的贴图全部换成左眼的全景贴图,在渲染右眼图像时将全景模型的贴图全部换成右眼的全景贴图。对于实施例1中的三种获取全景贴图的方式,三种方式获取的全景贴图可以采用如图4所示的全景模型,也可以根据全景模型采集的方向来更改全景模型。例如,对于第三种5台摄像机获取的全景贴图来说,可以将全景模型调整成与这种全景贴图相匹配的模型。
将全景模型的贴图全部换成左眼的全景贴图之后,显示的全景图如图6所示;将全景模型的贴图全部换成右眼的全景贴图之后,显示的全景图如图7所示。由图6和图7可知,左眼视角看到的场景与右眼看到的场景是有差异的。但是,在显示终端上同时显示左眼全景贴图和右眼全景贴图,就可以显示出三维场景的效果。
实施例5
根据本发明实施例,还提供了一种用于实施上述场景的渲染方法的服务器,如图10所示,该服务器主要包括处理器1001、摄像头1002、显示器1003、数据接口1004、存储器1005和网络接口1006,其中:
摄像头1002主要用于拍摄场景图像。
数据接口1004则主要通过数据传输的方式将第三方工具拍摄到的初始图像传输给处理器1001,或者将生成的全景贴图传输给显示终端。
存储器1005主要用于存储拍摄的图片、全景图和全景贴图等。
网络接口1006主要用于与显示终端进行网络通信,向显示终端传输全景贴图。
显示器1003主要用于显示全景图。
处理器1001主要用于执行如下操作:
接收显示终端发送的图像显示请求;根据所述图像显示请求确定所述显示终端在场景中的区域信息,及确定该区域信息所表示的区域为视角的场景图像;获取与所述场景图像相匹配的全景贴图,其中,所述全景贴图是根据三维的所述场景图像生成的二维图像;及向所述显示终端发送所述全景贴图,并将所述全景贴图显示在所述显示终端上,来渲染所述场景图像。
处理器1001主要用于执行如下操作:获取所述场景的至少一张全景图,其中,每张所述全景图包括多个方向上的图片,每个方向上包括至少一张图片;将所述场景对象对应的区域信息与所述全景图进行关联;及将与所述区域信息关联的所述全景图作为与所述场景图像相匹配的全景贴图。
处理器1001主要用于执行如下操作:获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,所述左眼全景图包括6张以左眼为视角的图片,所述以左眼为视角的图片为第一组摄像机在左眼所在位置上拍摄的图片,所述第一组摄像机包括6台摄像机,所述第一组摄像机的每台摄像机拍摄一张图片,所述第一组摄像机的6台摄像机相互夹角为90度;所述右眼全景图包括6张以右眼为视角的图片,所述以右眼为视角的图片为第二组摄像机在右眼所在位置上拍摄的图片,所述第二组摄像机包括6台摄像机,所述第二组摄像机的每台摄像机拍摄一张图片,所述第二组摄像机的6台摄像机相互夹角为90度。
处理器1001主要用于执行如下操作:获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第一摄像机在左眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述垂直轴为左眼和右眼连线的中垂线;所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第二摄像机在右眼所在位置上沿所述垂直轴旋转拍摄的图片;其中,所述第一摄像机和所述第二摄像机同时旋转。
处理器1001主要用于执行如下操作:获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第一摄像机在左眼所在位置上以左眼和右眼连线为轴进行旋转拍摄的图片;所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第二摄像机在右眼所在位置上以左眼和右眼连线为轴进行旋转拍摄的图片;及其中,拍摄过程中所述第一摄像机和所述第二摄像机同时旋转。
处理器1001主要用于执行如下操作:获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第三组摄像机在左眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述第三组摄像机包括在所述左眼的前方、左方、右方、上方和下方各设置的摄像机,所述垂直轴为左眼和右眼连线的中垂线;所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第四组摄像机在右眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述第四组摄像机包括在所述右眼的前方、左方、右方、上方和下方各设置的摄像机;其中,所述第三组摄像机和所述第四组摄像机的所有摄像机同时旋转。
可选地,本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例,本实施例在此不再赘述。
实施例6
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于存储本发明实施例的场景的渲染方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于移动通信网络、广域网、城域网或局域网的网络中的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
S1,设备端接收显示终端发送的图像显示请求。
S2,根据所述图像显示请求确定所述显示终端在场景中的区域信息,及确定该区域信息所表示的区域为视角的场景图像。
S3,获取与所述场景图像相匹配的全景贴图,其中,所述全景贴图是根据三维的所述场景图像生成的二维图像。
S4,向所述显示终端发送所述全景贴图,并将所述全景贴图显示在所述显示终端上,来渲染所述场景图像。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:获取所述场景的至少一张全景图,其中,每张所述全景图包括多个方向上的图片,每个方向上包括至少一张图片;将所述场景对象对应的区域信息与所述全景图进行关联;及将与所述区域信息关联的所述全景图作为与所述场景图像相匹配的全景贴图。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:设备端获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括6张以左眼为视角的图片,以左眼为视角的图片为第一组摄像机在左眼的位置拍摄的图片,第一组摄像机包括6台摄像机,第一组摄像机的每台摄像机拍摄一张图片,第一组摄像机的6台摄像机相互夹角为90度;右眼全景图包括6张以右眼为视角的图片,以右眼为视角的图片为第二组摄像机在右眼的位置拍摄的图片,第二组摄像机包括6台摄像机,第二组摄像机的每台摄像机拍摄一张图片,第二组摄像机的6台摄像机相互夹角为90度。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:设备端获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括多张以左眼为视角的图片,以左眼为视角的图片为第一摄像机在左眼所在的位置上沿垂直轴旋转拍摄的图片,其中,垂直轴为左眼和右眼连线的中垂线;右眼全景图包括多张以右眼为视角的图片,以右眼为视角的图片为第二摄像机在右眼所在的位置上沿垂直轴旋转拍摄的图片,第一摄像机和第二摄像机同时旋转。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:设备端获取摄像机拍摄的左眼全景图和右眼全景图,其中,左眼全景图包括多张以左眼为视角的图片,以左眼为视角的图片为第一摄像机在左眼所在的位置上以左眼和右眼连线为轴进行旋转;右眼全景图包括多张以右眼为视角的图片,以右眼为视角的图片为第二摄像机在右眼所在的位置上以左眼和右眼连线为轴进行旋转,第一摄像机和第二摄像机同时旋转。
可选地,在本实施例中,获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第三组摄像机在左眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述第三组摄像机包括在所述左眼的前方、左方、右方、上方和下方各设置的摄像机,所述垂直轴为左眼和右眼连线的中垂线;所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第四组摄像机在右眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述第四组摄像机包括在所述右眼的前方、左方、右方、上方和下方各设置的摄像机;其中,所述第三组摄像机和所述第四组摄像机的所有摄像机同时旋转。
可选地,本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例,本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种场景的渲染方法,其特征在于,包括:
接收显示终端发送的图像显示请求;
根据所述图像显示请求确定所述显示终端在场景中的区域信息,及确定该区域信息所表示的区域为视角的场景图像;
获取与所述场景图像相匹配的全景贴图,其中,所述全景贴图是根据三维的所述场景图像生成的二维图像;及
向所述显示终端发送所述全景贴图,并将所述全景贴图显示在所述显示终端上,来渲染所述场景图像。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述场景图像相匹配的全景贴图包括:
获取所述场景的至少一张全景图,其中,每张所述全景图包括多个方向上的图片,每个方向上包括至少一张图片;
将所述场景对象对应的区域信息与所述全景图进行关联;及
将与所述区域信息关联的所述全景图作为与所述场景图像相匹配的全景贴图。
3.根据权利要求2所述的方法,其特征在于,所述全景图包括左眼全景图和右眼全景图,所述获取所述场景的至少一张全景图包括:
获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,
所述左眼全景图包括6张以左眼为视角的图片,所述以左眼为视角的图片为第一组摄像机在左眼所在位置上拍摄的图片,所述第一组摄像机包括6台摄像机,所述第一组摄像机的每台摄像机拍摄一张图片,所述第一组摄像机的6台摄像机相互夹角为90度;
所述右眼全景图包括6张以右眼为视角的图片,所述以右眼为视角的图片为第二组摄像机在右眼所在位置上拍摄的图片,所述第二组摄像机包括6台摄像机,所述第二组摄像机的每台摄像机拍摄一张图片,所述第二组摄像机的6台摄像机相互夹角为90度。
4.根据权利要求2所述的方法,其特征在于,所述全景图包括左眼全景图和右眼全景图,所述获取所述场景的至少一张全景图包括:
获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,
所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第一摄像机在左眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述垂直轴为左眼和右眼连线的中垂线;
所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第二摄像机在右眼所在位置上沿所述垂直轴旋转拍摄的图片;
其中,所述第一摄像机和所述第二摄像机同时旋转。
5.根据权利要求2或4所述的方法,其特征在于,所述全景图包括左眼全景图和右眼全景图,所述获取所述场景的至少一张全景图包括:
获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,
所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第一摄像机在左眼所在位置上以左眼和右眼连线为轴进行旋转拍摄的图片;
所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第二摄像机在右眼所在位置上以左眼和右眼连线为轴进行旋转拍摄的图片;及
其中,拍摄过程中所述第一摄像机和所述第二摄像机同时旋转。
6.根据权利要求2所述的方法,其特征在于,所述全景图包括左眼全景图和右眼全景图,所述获取所述场景的至少一张全景图包括:
获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,
所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第三组摄像机在左眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述第三组摄像机包括在所述左眼的前方、左方、右方、上方和下方各设置的摄像机,所述垂直轴为左眼和右眼连线的中垂线;
所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第四组摄像机在右眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述第四组摄像机包括在所述右眼的前方、左方、右方、上方和下方各设置的摄像机;
其中,所述第三组摄像机和所述第四组摄像机的所有摄像机同时旋转。
7.一种场景的渲染方法,其特征在于,包括:
显示终端向设备端发送图像显示请求,以请求获取所述显示终端在场景中的区域信息所表示的区域为视角的场景图像;
接收所述设备端响应所述图像显示请求所发送的全景贴图,其中,所述全景贴图是由所述设备端根据三维的所述场景图像生成的二维图像;及
显示所述全景贴图。
8.根据权利要求7所述的方法,其特征在于,所述全景贴图包括左眼全景贴图和右眼全景贴图,所述显示所述全景贴图包括:
将全景模型的中心点设置为所述视角,其中,所述全景模型为全景盒子或者全景球体模型;
渲染左眼图像,并将所述全景模型的贴图显示为所述左眼全景贴图;
渲染右眼图像,并将所述全景模型的贴图显示为所述右眼全景贴图。
9.一种场景的渲染装置,其特征在于,包括:
接收单元,用于接收显示终端发送的图像显示请求;
确定单元,用于根据所述图像显示请求确定所述显示终端在场景中的区域信息,及确定该区域信息所表示的区域为视角的场景图像;
获取单元,用于获取与所述场景图像相匹配的全景贴图,其中,所述全景贴图是根据三维的所述场景图像生成的二维图像;
发送单元,用于向所述显示终端发送所述全景贴图,并将所述全景贴图显示在所述显示终端上,来渲染所述场景图像。
10.根据权利要求9所述的装置,其特征在于,所述获取单元包括:
获取模块,用于获取所述场景的至少一张全景图,其中,每张所述全景图包括多个方向上的图片,每个方向上包括至少一张图片;
关联模块,用于将所述场景对象对应的区域信息与所述全景图进行关联;
确定模块,用于将与所述区域信息关联的所述全景图作为与所述场景图像相匹配的全景贴图。
11.根据权利要求10所述的装置,其特征在于,所述全景图包括左眼全景图和右眼全景图,所述获取模块包括:
第一获取子模块,用于获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,
所述左眼全景图包括6张以左眼为视角的图片,所述以左眼为视角的图片为第一组摄像机在左眼所在位置上拍摄的图片,所述第一组摄像机包括6台摄像机,所述第一组摄像机的每台摄像机拍摄一张图片,所述第一组摄像机的6台摄像机相互夹角为90度;
所述右眼全景图包括6张以右眼为视角的图片,所述以右眼为视角的图片为第二组摄像机在右眼所在位置上拍摄的图片,所述第二组摄像机包括6台摄像机,所述第二组摄像机的每台摄像机拍摄一张图片,所述第二组摄像机的6台摄像机相互夹角为90度。
12.根据权利要求10所述的装置,其特征在于,所述全景图包括左眼全景图和右眼全景图,所述获取模块包括:
第二获取子模块,用于获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,
所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第一摄像机在左眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述垂直轴为左眼和右眼连线的中垂线;
所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第二摄像机在右眼所在位置上沿所述垂直轴旋转拍摄的图片;
其中,所述第一摄像机和所述第二摄像机同时旋转。
13.根据权利要求10或12所述的装置,其特征在于,所述全景图包括左眼全景图和右眼全景图,所述获取模块包括:
第三获取子模块,用于获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,
所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第一摄像机在左眼所在的位置上以左眼和右眼连线为轴进行旋转拍摄的图片;
所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第二摄像机在右眼所在的位置上以左眼和右眼连线为轴进行旋转拍摄的图片;
其中,拍摄过程中所述第一摄像机和所述第二摄像机同时旋转。
14.根据权利要求10所述的装置,其特征在于,所述全景图包括左眼全景图和右眼全景图,所述获取模块包括:
第四获取子模块,用于获取摄像机拍摄的所述左眼全景图和所述右眼全景图,其中,
所述左眼全景图包括多张以左眼为视角的图片,所述以左眼为视角的图片为第三组摄像机在左眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述第三组摄像机包括所述左眼的前方、左方、右方、上方和下方各设置的摄像机,所述垂直轴为左眼和右眼连线的中垂线;
所述右眼全景图包括多张以右眼为视角的图片,所述以右眼为视角的图片为第四组摄像机在右眼所在位置上沿垂直轴旋转拍摄的图片,其中,所述第四组摄像机包括所述右眼的前方、左方、右方、上方和下方各设置的摄像机;
其中,所述第三组摄像机和所述第四组摄像机的所有摄像机同时旋转。
15.一种场景的渲染装置,其特征在于,包括:
终端发送单元,用于向设备端发送图像显示请求,以请求获取显示终端在场景中的区域信息所表示的区域为视角的场景图像;
终端接收单元,用于接收所述设备端响应所述图像显示请求所发送的全景贴图,其中,所述全景贴图是由所述设备端根据三维的所述场景图像生成的二维图像;以及
终端显示单元,用于显示所述全景贴图。
16.根据权利要求15所述的装置,其特征在于,所述全景贴图包括左眼全景贴图和右眼全景贴图,所述终端显示单元包括:
设置模块,用于将全景模型的中心点设置为所述视角,其中,所述全景模型为全景盒子或者全景球体模型;
第一渲染模块,用于渲染左眼图像,并将所述全景模型的贴图显示为所述左眼全景贴图;
第二渲染模块,用于渲染右眼图像,并将所述全景模型的贴图显示为所述右眼全景贴图。
CN201710044997.4A 2017-01-20 2017-01-20 场景的渲染方法和装置 Pending CN106887033A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710044997.4A CN106887033A (zh) 2017-01-20 2017-01-20 场景的渲染方法和装置
PCT/CN2018/072580 WO2018133757A1 (zh) 2017-01-20 2018-01-15 场景的渲染方法、装置和存储介质
TW107101729A TW201828258A (zh) 2017-01-20 2018-01-17 場景的渲染方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710044997.4A CN106887033A (zh) 2017-01-20 2017-01-20 场景的渲染方法和装置

Publications (1)

Publication Number Publication Date
CN106887033A true CN106887033A (zh) 2017-06-23

Family

ID=59175443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710044997.4A Pending CN106887033A (zh) 2017-01-20 2017-01-20 场景的渲染方法和装置

Country Status (3)

Country Link
CN (1) CN106887033A (zh)
TW (1) TW201828258A (zh)
WO (1) WO2018133757A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182723A (zh) * 2017-12-06 2018-06-19 北京像素软件科技股份有限公司 星空模拟方法和星空模拟装置
WO2018133757A1 (zh) * 2017-01-20 2018-07-26 腾讯科技(深圳)有限公司 场景的渲染方法、装置和存储介质
CN110717964A (zh) * 2019-09-26 2020-01-21 深圳市名通科技股份有限公司 场景建模方法、终端及可读存储介质
CN111277797A (zh) * 2020-02-03 2020-06-12 重庆特斯联智慧科技股份有限公司 一种用于安防监视的vr立体成像系统
CN111803945A (zh) * 2020-07-23 2020-10-23 网易(杭州)网络有限公司 界面渲染方法、装置、电子设备及存储介质
CN116310152A (zh) * 2023-05-24 2023-06-23 南京维赛客网络科技有限公司 基于unity平台的步进式虚拟场景搭建、漫游方法及虚拟场景
CN120198564A (zh) * 2025-05-26 2025-06-24 湖南快乐阳光互动娱乐传媒有限公司 一种vr渲染方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681151B2 (en) * 2010-11-24 2014-03-25 Google Inc. Rendering and navigating photographic panoramas with depth information in a geographic information system
CN104021585A (zh) * 2014-06-09 2014-09-03 苏州明日吉辰软件研发有限公司 基于真实场景的三维展示方法
CN105427369A (zh) * 2015-11-25 2016-03-23 努比亚技术有限公司 移动终端及其三维形象的生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369679B2 (en) * 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
CN106339980A (zh) * 2016-08-22 2017-01-18 乐视控股(北京)有限公司 基于汽车的vr显示装置、方法及汽车
CN106887033A (zh) * 2017-01-20 2017-06-23 腾讯科技(深圳)有限公司 场景的渲染方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681151B2 (en) * 2010-11-24 2014-03-25 Google Inc. Rendering and navigating photographic panoramas with depth information in a geographic information system
CN104021585A (zh) * 2014-06-09 2014-09-03 苏州明日吉辰软件研发有限公司 基于真实场景的三维展示方法
CN105427369A (zh) * 2015-11-25 2016-03-23 努比亚技术有限公司 移动终端及其三维形象的生成方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018133757A1 (zh) * 2017-01-20 2018-07-26 腾讯科技(深圳)有限公司 场景的渲染方法、装置和存储介质
CN108182723A (zh) * 2017-12-06 2018-06-19 北京像素软件科技股份有限公司 星空模拟方法和星空模拟装置
CN108182723B (zh) * 2017-12-06 2021-10-26 北京像素软件科技股份有限公司 星空模拟方法和星空模拟装置
CN110717964A (zh) * 2019-09-26 2020-01-21 深圳市名通科技股份有限公司 场景建模方法、终端及可读存储介质
CN110717964B (zh) * 2019-09-26 2023-05-02 深圳市名通科技股份有限公司 场景建模方法、终端及可读存储介质
CN111277797A (zh) * 2020-02-03 2020-06-12 重庆特斯联智慧科技股份有限公司 一种用于安防监视的vr立体成像系统
CN111803945A (zh) * 2020-07-23 2020-10-23 网易(杭州)网络有限公司 界面渲染方法、装置、电子设备及存储介质
CN116310152A (zh) * 2023-05-24 2023-06-23 南京维赛客网络科技有限公司 基于unity平台的步进式虚拟场景搭建、漫游方法及虚拟场景
CN120198564A (zh) * 2025-05-26 2025-06-24 湖南快乐阳光互动娱乐传媒有限公司 一种vr渲染方法及相关装置

Also Published As

Publication number Publication date
WO2018133757A1 (zh) 2018-07-26
TW201828258A (zh) 2018-08-01

Similar Documents

Publication Publication Date Title
CN106887033A (zh) 场景的渲染方法和装置
Bertel et al. Omniphotos: casual 360 vr photography
US12026833B2 (en) Few-shot synthesis of talking heads
CN106375748B (zh) 立体虚拟现实全景视图拼接方法、装置及电子设备
CN106251403B (zh) 一种虚拟立体场景实现的方法、装置和系统
CN106101689B (zh) 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法
CN107315470B (zh) 图形处理方法、处理器和虚拟现实系统
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
CN110163943A (zh) 图像的渲染方法和装置、存储介质、电子装置
TWI817335B (zh) 立體影像播放裝置及其立體影像產生方法
US20120162384A1 (en) Three-Dimensional Collaboration
CN110971678B (zh) 一种基于5g网络的沉浸式可视化校园系统
CN105704468A (zh) 用于虚拟和现实场景的立体显示方法、装置及电子设备
CN204948192U (zh) 一种外置全景摄像附件及全景摄像装置
CN106462370A (zh) 基于注视位置的稳定性平面确定
CN109361913A (zh) 用于对于头戴式显示器提供三维图像的方法和装置
CN107103645A (zh) 虚拟现实媒体文件生成方法及装置
CN115423916A (zh) 基于xr技术的沉浸式互动直播构建方法、系统及介质
CN106780759A (zh) 基于图片构建场景立体全景图的方法、装置及vr系统
EP3671653A1 (en) Generating and signaling transition between panoramic images
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN108043027B (zh) 存储介质、电子装置、游戏画面的显示方法和装置
CN107272882A (zh) 一种类全息远程呈现实现方法
EP4052457A1 (en) Edge detection and smoothing for virtual object presentation
Pintore et al. Deep synthesis and exploration of omnidirectional stereoscopic environments from a single surround-view panoramic image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170623