[go: up one dir, main page]

CN111246197B - 三维视频通信方法及系统、电子装置、服务器和可读存储介质 - Google Patents

三维视频通信方法及系统、电子装置、服务器和可读存储介质 Download PDF

Info

Publication number
CN111246197B
CN111246197B CN202010036556.1A CN202010036556A CN111246197B CN 111246197 B CN111246197 B CN 111246197B CN 202010036556 A CN202010036556 A CN 202010036556A CN 111246197 B CN111246197 B CN 111246197B
Authority
CN
China
Prior art keywords
multiple frames
dimensional
frames
images
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010036556.1A
Other languages
English (en)
Other versions
CN111246197A (zh
Inventor
白剑
唐海
张学勇
吕向楠
夏炀
李虎
陈婷
谭国辉
谭正鹏
陈彪
许风华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010036556.1A priority Critical patent/CN111246197B/zh
Publication of CN111246197A publication Critical patent/CN111246197A/zh
Application granted granted Critical
Publication of CN111246197B publication Critical patent/CN111246197B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种三维视频通信方法、三维视频通信系统、电子装置、服务器和非易失性计算机可读存储介质。三维视频通信方法包括获取当前场景的多帧二维图像和/或多帧深度图像，传送多帧二维图像和/或多帧深度图像至服务器，服务器用于根据多帧二维图像和/或多帧深度图像生成多帧三维图像，并将多帧三维图像传送至终端设备。本发明实施方式的三维视频通信方法、三维视频通信系统、电子装置、服务器和非易失性计算机可读存储介质可实现三维视频的传输，终端设备可观看到三维的立体的视频效果，用户使用体验更好，且三维图像的计算由服务器来执行，减小了的电子装置的数据处理量和功耗，也减少了图像处理的时间，有利于缩短视频通信过程中的时延。

Description

三维视频通信方法及系统、电子装置、服务器和可读存储介质
技术领域
本发明涉及通信技术领域，特别涉及一种三维视频通信方法、三维视频通信系统、电子装置、服务器和非易失性计算机可读存储介质。
背景技术
目前，2D视频越来越广泛地应用在人们的生活与工作中，例如，2D视频播放、2D视频通话、2D视频会议等等，然而，尽管2D视频能够呈现给人们足够的画面感，但由于组成2D视频的多帧图片均为二维图片，不包含深度信息，无法实现立体呈现。
发明内容
本发明的实施例提供了一种三维视频通信方法、三维视频通信系统、电子装置、服务器和非易失性计算机可读存储介质。
本发明实施方式的三维视频通信方法，用于电子装置，所述电子装置通过无线通信方式与服务器通信，所述三维视频通信方法包括：
获取当前场景的多帧二维图像和/或多帧深度图像；和
传送多帧所述二维图像和/或多帧所述深度图像至所述服务器，所述服务器用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像，并将多帧所述三维图像传送至终端设备。
本发明实施方式的三维视频通信方法，用于服务器，所述服务器通过无线通信方式与电子装置及终端设备通信，所述三维视频通信方法包括：
接收所述电子装置传送的多帧二维图像和/或多帧深度图像；
根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像；和
传送多帧所述三维图像至所述终端设备。
本发明实施方式的三维视频通信方法，用于三维视频通信系统，所述三维视频通信系统包括电子装置、服务器和终端设备，所述三维视频通信方法包括：
所述电子装置获取当前场景的多帧二维图像和/或多帧深度图像；
所述电子装置传送多帧所述二维图像和/或多帧所述深度图像至所述服务器；
所述服务器接收所述电子装置传送的多帧所述二维图像和/或多帧所述深度图像；
所述服务器根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像；和
所述服务器传送多帧所述三维图像至所述终端设备。
本发明实施方式的电子装置通过无线通信方式与服务器通信，所述电子装置包括获取模块和传送模块。所述获取模块用于获取当前场景的多帧二维图像和/或多帧深度图像；所述传送模块用于传送多帧所述二维图像和/或多帧所述深度图像至所述服务器，所述服务器用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像，并将多帧所述三维图像传送至终端设备。
本发明实施方式的服务器通过无线通信方式与电子装置及终端设备通信，所述服务器包括接收单元、处理单元和传送单元。所述接收单元用于接收所述电子装置传送的多帧二维图像和/或多帧深度图像。所述处理单元用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像。所述传送单元用于传送多帧所述三维图像至所述终端设备。
本发明实施方式的三维视频通信系统包括电子装置、服务器和终端设备；所述电子装置包括获取模块和传送模块。所述获取模块用于获取当前场景的多帧二维图像和/或多帧深度图像；所述传送模块用于传送多帧所述二维图像和/或多帧所述深度图像至所述服务器，所述服务器用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像，并将多帧所述三维图像传送至终端设备。所述服务器包括接收单元、处理单元和传送单元。所述接收单元用于接收所述电子装置传送的多帧二维图像和/或多帧深度图像。所述处理单元用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像。所述传送单元用于传送多帧所述三维图像至所述终端设备。
本发明实施方式的电子装置通过无线通信方式与服务器通信，所述电子装置包括图像采集组件和通信模块。所述图像采集组件用于获取当前场景的多帧二维图像和/或多帧深度图像。所述通信模块用于传送多帧所述二维图像和/或多帧所述深度图像至所述服务器，所述服务器用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像，并将多帧所述三维图像传送至终端设备。
本发明实施方式的服务器通过无线通信方式与电子装置及终端设备通信。所述服务器包括通信单元和处理器，所述通信单元用于接收所述电子装置传送的多帧二维图像和/或多帧深度图像。所述处理器用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像。所述通信单元还用于传送多帧所述三维图像至所述终端设备。
本发明实施方式的三维视频通信系统包括电子装置、服务器和终端设备。所述电子装置包括图像采集组件和通信模块。所述图像采集组件用于获取当前场景的多帧二维图像和/或多帧深度图像。所述通信模块用于传送多帧所述二维图像和/或多帧所述深度图像至所述服务器，所述服务器用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像，并将多帧所述三维图像传送至终端设备。所述服务器包括通信单元和处理器，所述通信单元用于接收所述电子装置传送的多帧二维图像和/或多帧深度图像。所述处理器用于根据多帧所述二维图像和/或多帧所述深度图像生成多帧三维图像。所述通信单元还用于传送多帧所述三维图像至所述终端设备。
本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述任意一项实施方式所述的三维视频通信方法。
本发明实施方式的三维视频通信方法、三维视频通信系统、电子装置、服务器和非易失性计算机可读存储介质利用电子装置采集多帧二维图像和/或多帧深度图像，并将多帧二维图像和/或多帧深度图像发送到服务器，服务器融合多帧二维图像和/或多帧深度图像得到多帧三维图像，再通过无线通信方式传送到终端设备。如此，一方面可实现三维视频的传输，终端设备可观看到三维的立体的视频效果，用户使用体验更好；另一方面多帧二维图像和/或多帧深度图像融合处理得到多帧三维图像的计算由服务器来执行，服务器具有强大的计算处理能力，能够缩短多帧二维图像和/或多帧深度图像的融合处理时间，如此，无需电子装置进行计算，减小了的电子装置的数据处理量和功耗，也减少了图像处理的时间，有利于缩短视频通信过程中的时延。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明某些实施方式的三维视频通信方法的流程示意图。
图2是本发明某些实施方式的电子装置的模块示意图。
图3是本发明某些实施方式的电子装置的结构示意图。
图4是本发明某些实施方式的三维视频通信方法的流程示意图。
图5是本发明某些实施方式的终端设备的模块示意图。
图6是本发明某些实施方式的终端设备的结构示意图。
图7是本发明某些实施方式的三维视频通信方法的流程示意图。
图8是本发明某些实施方式的终端设备的模块示意图。
图9是本发明某些实施方式的三维视频通信方法的流程示意图。
图10是本发明某些实施方式的电子装置的模块示意图。
图11和图12是本发明某些实施方式的三维视频通信系统的示意图。
图13是本发明某些实施方式的三维视频通信方法的流程示意图。
图14是本发明某些实施方式的服务器的模块示意图。
图15是本发明某些实施方式的服务器的结构示意图。
图16是本发明某些实施方式的三维视频通信方法的流程示意图。
图17是本发明某些实施方式的服务器的模块示意图。
图18至图21是本发明某些实施方式的三维视频通信方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请一并参阅图1、图2、图11及图12，本发明提供一种三维视频通信方法，用于电子装置10。电子装置10通过无线通信方式与服务器30通信。三维视频通信方法包括：
011：获取当前场景的多帧二维图像和/或多帧深度图像；和
013：传送多帧二维图像和/或多帧深度图像至服务器30，服务器30用于根据多帧所述二维图像和/或多帧深度图像生成多帧三维图像，并将多帧三维图像传送至终端设备20。
请参阅图2，本发明还提供一种电子装置10。电子装置10通过无线通信方式与服务器30通信。电子装置10包括获取模块111和传送模块113。步骤011可以由获取模块111实现。步骤013可以由传送模块113实现。也即是说，获取模块111可用于获取当前场景的多帧二维图像和/或多帧深度图像。传送模块113可用于传送多帧二维图像和/或多帧深度图像至服务器30，服务器30用于根据多帧所述二维图像和/或多帧深度图像生成多帧三维图像，并将多帧三维图像传送至终端设备20。
请参阅图3，本发明还提供一种电子装置10。电子装置10通过无线通信方式与服务器30通信。电子装置10包括图像采集组件121和通信模块123。步骤011可以由图像采集组件121实现。步骤013可以由通信模块123实现。也即是说，图像采集组件121可用于获取当前场景的多帧二维图像和/或多帧深度图像。通信模块123可用于传送多帧二维图像和/或多帧深度图像至服务器30，服务器30用于根据多帧所述二维图像和/或多帧深度图像生成多帧三维图像，并将多帧三维图像传送至终端设备20。
其中，电子装置10可以为手机、平板电脑、笔记本电脑、智能穿戴设备(智能头盔、智能眼镜、智能手环、智能手表等)等。终端设备20也可以为手机、平板电脑、笔记本电脑、智能穿戴设备(智能头盔、智能眼镜、智能手环、智能手表等)等，还可以是其余显示设备，例如虚拟现实头戴式显示设备、增强现实显示设备、全息立体投影设备、电视机等配备有3D液晶显示器设备等。服务器30可为具有强大计算处理能力且具有大存储容量的计算机等。
其中，图像采集组件121可以为前置的图像采集组件121，也可为后置的图像采集组件121。
具体地，图像采集组件121可包括结构光投射模组。结构光投射模组包括结构光投射器和红外摄像头。激光投射器向目标空间中投射激光图案。红外摄像头采集被目标物体调制后的激光图案。电子装置10还包括处理器122，电子装置10的处理器122采用图像匹配算法计算出该激光图案的深度图像。图像采集组件121包括结构光投射模组时，图像采集组件121同时还包括可见光摄像头，可见光摄像头用于获取目标空间的二维图像，该二维图像包含目标空间中各物体的彩色信息。如此，图像采集组件121采集到一一对应的多帧二维图像和多帧深度图像后，通信模块123将多帧二维图像和多帧深度图像通过无线通信方式传送到服务器30。服务器30也包括处理器322(图15所示)。服务器30的处理器322根据接收到的一一对应的多帧二维图像和多帧深度图像融合得到多帧三维图像，服务器30再将多帧三维图像通过无线通信方式传送到终端设备20以供终端设备20进行显示。多帧三维图像组成三维视频，具体地，多帧三维图像在终端设备20中以预定帧率进行显示即形成三维视频，其中预定帧率要大于或等于人眼能够分辨的帧率(即每秒显示24帧三维图像)，预定帧率的取值可为24帧/秒、30帧/秒、60帧/秒、120帧/秒等。
或者，图像采集组件121可包括两个摄像头。两个摄像头可均为可见光摄像头，或者，两个摄像头可分别为红外摄像头和可见光摄像头。两个摄像头具有固定的相对距离。如此，采用双目立体视觉的采集方法即可获得多帧第一二维图像和多帧第二二维图像。当两个摄像头均为可见光摄像头时，第一二维图像和第二二维图像均为二维的彩色图像；当两个摄像头分别为红外摄像头和可见光摄像头时，第一二维图像为二维的红外图像，第二二维图像为二维的彩色图像。如此，图像采集组件121采集到一一对应的多帧第一二维图像和多帧第二二维图像后，通信模块123将多帧第一二维图像和多帧第二二维图像通过无线通信方式传送到服务器30。服务器30的处理器322根据接收到的一一对应的多帧第一二维图像和多帧第二二维图像融合得到多帧三维图像，服务器30再将多帧三维图像通过无线通信方式传送到终端设备20以供终端设备20进行显示。多帧三维图像组成三维视频。具体地，多帧三维图像在终端设备20中以预定帧率进行显示即形成三维视频，其中预定帧率要大于或等于人眼能够分辨的帧率(即每秒显示24帧三维图像)，预定帧率的取值可为24帧/秒、30帧/秒、60帧/秒、120帧/秒等。
或者，图像采集组件121可包括TOF传感器模组。TOF传感器模组包括激光投射器和红外摄像头。激光投射器向目标空间投射均匀光线，红外摄像头接收反射回的光线并记录发射光线的时间点和接收光线的时间点，电子装置10的处理器122根据发射光线的时间点与接收光线的时间点之间的时间差和光速计算目标空间中物体对应的深度像素值并合并多个深度像素值得到深度图像。图像采集组件121包括TOF传感器模组时，图像采集组件121同时还包括可见光摄像头，可见光摄像头用于获取目标空间的二维图像，该二维图像包含目标空间中各物体的彩色信息。如此，图像采集组件121采集到一一对应的多帧二维图像和多帧深度图像后，通信模块123将多帧二维图像和多帧深度图像通过无线通信方式传送到服务器30。服务器30的处理器322根据接收到的一一对应的多帧二维图像和多帧深度图像融合得到多帧三维图像，服务器30再将多帧三维图像通过无线通信方式传送到终端设备20以供终端设备20进行显示。多帧三维图像组成三维视频。具体地，多帧三维图像在终端设备20中以预定帧率进行显示即形成三维视频，其中预定帧率要大于或等于人眼能够分辨的帧率(即每秒显示24帧三维图像)，预定帧率的取值可为24帧/秒、30帧/秒、60帧/秒、120帧/秒等。
可以理解，目前的视频通话、视频会议等仅局限于二维视频的传输。组成二维视频的多帧图片均为二维图片，不包含深度信息，无法呈现三维的立体效果。
本发明实施方式的三维视频通信方法及电子装置10采集多帧二维图像和/或多帧深度图像，并将多帧二维图像和/或多帧深度图像发送到服务器30以供服务器30融合多帧二维图像和/或多帧深度图像得到多帧三维图像，再由服务器30通过有线通信方式和/或无线通信方式传送到终端设备20。如此，一方面可实现三维视频的传输，终端设备20可观看到三维的立体的视频效果，用户使用体验更好；另一方面多帧二维图像和/或多帧深度图像融合处理得到多帧三维图像的计算由服务器30来执行，服务器30具有强大的计算处理能力，能够缩短多帧二维图像和/或多帧深度图像的融合处理时间，如此，无需电子装置10进行计算，减小了的电子装置10的数据处理量和功耗，也减少了图像处理的时间，有利于缩短视频通信过程中的时延。
请参阅图一并参阅图4、图5、图11及图12，在某些实施方式中，本发明实施方式的三维视频通信方法可以应用在三维视频通话及三维视频会议场景中，可实现用户间的交互。假设电子装置10为主叫设备，而终端设备20为被叫设备，此时，步骤011为：获取主叫场景的多帧二维主叫图像和/或多帧主叫深度图像；步骤013为：传送多帧二维主叫图像和/或多帧主叫深度图像至服务器30。进一步地，本发明实施方式的三维视频通信方法还包括：
021：获取被叫场景的多帧二维被叫图像和/或多帧被叫深度图像；和
022：传送多帧二维被叫图像和/或多帧被叫深度图像至服务器30。
请参阅图5，在某些实施方式中，终端设备20包括获取子模块211和传送子模块212。步骤021可以由获取子模块211实现。步骤022可以由传送子模块212实现。也即是说，获取子模块211可用于获取被叫场景的多帧二维被叫图像和/或多帧被叫深度图像。传送子模块212可用于传送多帧二维被叫图像和/或多帧被叫深度图像至服务器30。
请参阅图6，在某些实施方式中，终端设备20包括图像获取组件221和通信组件223。步骤021可以由图像获取组件221实现。步骤022可以由通信组件223实现。也即是说，图像获取组件221可用于获取被叫场景的多帧二维被叫图像和/或多帧被叫深度图像。通信组件223可用于传送多帧二维被叫图像和/或多帧被叫深度图像至服务器30。
其中，图像获取组件221可包括结构光投射模组、双摄像头或TOF传感器模组。图像获取组件221可以为前置的图像获取组件221，也可为后置的图像获取组件221。
具体地，以电子装置10为参考对象，电子装置10为主叫设备，电子装置10的使用对象为主叫对象，终端设备20为被叫设备，终端设备20的使用对象为被叫对象。电子装置10的图像采集组件121负责采集主叫对象所处的目标空间的多帧二维主叫图像和/或多帧主叫深度图像，并由通信模块123将多帧二维主叫图像和/或多帧主叫深度图像传送到服务器30，服务器30的处理器322将多帧二维主叫图像和/或多帧主叫深度图像融合形成多帧三维主叫图像，服务器30的通信单元322通过有线通信方式和/或无线通信方式将多帧三维主叫图像传送至终端设备20。终端设备20接收后即可以预定帧率播放多帧三维主叫图像，以使被叫对象观看到主叫对象的三维视频。同样地，在被叫设备这一端，终端设备20的图像获取组件221负责采集被叫对象所处的目标空间的多帧二维被叫图像和/或多帧被叫深度图像，并由通信组件223将多帧二维被叫图像和/或多帧被叫深度图像传送到服务器30。服务器30的处理器322将多帧二维主被叫图像和/或多帧被叫深度图像融合形成多帧三维被叫图像，服务器30的通信单元322通过无线通信方式将多帧三维被叫图像传送至电子装置10。电子装置10接收后即可以预定帧率播放多帧三维被叫图像，以使主叫对象观看到被叫对象的三维视频。
如此，电子装置10和终端设备20均可传送多帧二维图像和/或深度图像，实现了电子装置10和终端设备20的三维视频的交互，实现了三维视频通话、三维视频会议等。另外，三维图像的计算由服务器30来执行，减小了电子装置10和终端设备20的数据处理压力，加快了图像处理的速度，减小了三维视频通话或三维视频会议的时延，整个三维视频通话或三维视频会议的过程更加流畅和及时，用户体验更佳。
请一并参阅图7、图8、图11及图12，在某些实施方式中，本发明实施方式的三维视频通信方法还可以应用在虚拟现实头戴式显示设备、增强现实显示设备、全息立体投影设备、配备有3D液晶显示器的显示设备等的设备中。此时，本发明实施方式的三维视频通信方法还包括：
023：终端设备20采用全息投影或3D显示的方式显示多帧三维图像。
请参阅图8，在某些实施方式中，终端设备20包括显示子模块213。步骤023可以由显示子模块213实现。也即是说，显示子模块213可为采用全息投影的光机(光学引擎)或采用3D显示的方式显示多帧三维图像的显示屏。
请参阅图6，在某些实施方式中，终端设备20还包括处理器222。步骤023可以由终端设备20的处理器222实现。也即是说，终端设备20的处理器222可用于控制终端设备20采用全息投影或3D显示的方式显示多帧三维图像。
具体地，电子装置10的图像采集组件121负责采集电子装置10的使用对象所处的目标空间的多帧二维图像和/或多帧深度图像。电子装置10的通信模块123将多帧二维图像和/或多帧深度图像通过无线通信方式传送到服务器30，服务器30的处理器322融合处理多帧二维图像和/或多帧深度图像得到多帧三维图像，服务器30的通信单元322将多帧三维图像通过有线通信方式和/或无线通信方式传送到终端设备20。终端设备20将多帧三维图像进行显示以呈现出3D的显示效果。
如此，在电子装置10未配备有显示功能的显示设备时，可以将多帧二维图像和/或多帧深度图像通过无线通信方式传送到服务器30中并由服务器30形成多帧三维图像，再由服务器30将多帧三维图像传送到可以显示三维图像的设备中，使得用户能够观看到三维视频的立体呈现效果，有利于改善用户体验。
请一并参阅图9、图10、图11及图12，在某些实施方式中，本发明实施方式的三维视频通信方法还包括：
012：压缩多帧二维图像和/或多帧深度图像；
步骤013传送多帧二维图像和/或多帧深度图像至服务器30包括：
0131：传送压缩后的多帧二维图像和/或多帧深度图像至服务器30。
请参阅图10，在某些实施方式中，电子装置10还包括压缩模块112。步骤012可以由压缩模块112实现。步骤0131可以由传送模块113实现。也即是说，压缩模块112可用于压缩多帧二维图像和/或多帧深度图像。传送模块113可用于传送压缩后的多帧二维图像和/或多帧深度图像至服务器30。
请参阅图3，在某些实施方式中，步骤012可以由电子装置10的处理器122实现。步骤0131可以由通信模块123实现。也即是说，电子装置10的处理器122可用于压缩多帧二维图像和/或多帧深度图像。通信模块123可用于传送压缩后的多帧二维图像和/或多帧深度图像至服务器30。
可以理解，二维图像和深度图像组成的数据包的数据量较大，传输时(尤其是对低时延有较高要求的应用场景，如三维视频通话等)，要求使用的无线通信方式具有较高的传输带宽。受限于无线通信技术的发展，目前的多种无线通信方式均还未能实现数据量较大的数据包的无损传输。因此，需要对多帧二维图像和多帧深度图像进行压缩，减小二维图像和深度图像组成的数据包的数据量，从而实现二维图像和深度图像组成的数据包的较高速率的传输，满足某些应用场景下低时延的要求。
进一步地，压缩比例根据不同的应用场景可自适应地调整。实际应用中，电子装置10会先判定自身处于何种应用场景下，再根据确定的应用场景调整对应的压缩比例。举例来说，当传送的多帧二维图像和多帧深度图像用于视频通话的应用场景时，此时对每一帧二维图像和对应帧的深度图像的精度的要求并不会很高，因此，对应地可以适当调高压缩比例，从而一方面可以实现三维视频的交互，另一方面也可以满足低时延的要求。当传送的多帧二维图像和多帧深度图像用于全息投影时，此时对每一帧二维图像和对应帧的深度图像的精度的要求较高，因此，对应地可以适当地调低压缩比例，从而满足全息投影场景下的高精度的要求。
同样地，对于终端设备20而言，终端设备20发送多帧二维被叫图像和/或多帧被叫深度图像时也需要进行压缩，压缩后的多帧二维被叫图像和/或多帧被叫深度图像再通过有线通信方式和/或无线通信方式传送到服务器30。压缩比例同样地可以根据不同的应用场景自适应地调整。
请一并参阅图11和图12，在某些实施方式中，电子装置10通过5G的sub-6G频段传送多帧二维图像和/或多帧深度图像至服务器30。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过5G的sub-6G频段传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式传送多帧二维图像和/或多帧深度图像至服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。其中，第二基站与服务器30之间通信的无线通信方式可为WIFI、4G或5G中的至少一种。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过5G的sub-6G频段传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。当服务器30集成在核心网中时，服务器30为运营商提供的租用服务器30。
其中，第五代移动通信网络(5G)的sub-6G频段包括多个工作频段，例如，工作频段为n78时对应的频率范围为3.3GHz～3.8GHz；工作频段为n79时对应的频率范围为4.4GHz～5.0GHz；工作频段为n77时对应的频率范围为3.3GHz～4.2GHz,；工作频段为n41时对应的频率范围为2.496GHz～2.690GHz,；工作频段为n8时对应的频率范围为上行880MHz～915MHz，下行915MHz～960MHz；工作频段为n3时对应的频率范围为上行1710MHz～1785MHz，下行1805MHz～1880MHz；工作频段为n80时对应的频率范围为1710MHz～1785MHz；工作频段为n81时对应的频率范围为880MHz～915MHz。5G sub-6GHz可以提高传统的频段的频谱效率，并且在可比较的频率带宽范围内，数据速率扩展容量较高且覆盖范围较大。Sub-6G的无线基础设施将采用波束成形方案进行广泛部署，采用该方案可以大大扩展网络覆盖范围和建筑内部穿透能力。如此，使用5G的sub-6G频段传送多帧二维图像和/或多帧深度图像一方面可满足传输速率的要求，另一方面对用户所处的环境的限制性较小，在绝大多数场景下均可以实现多帧二维图像和/或多帧深度图像的高效传输。
举例来说，电子装置10采集多帧二维图像和多帧深度图像，其中，每帧二维图像分辨率为1280×720，每一个像素点的色彩分辨率为12bit，每帧深度图像的分辨率1280×720，每一个像素点的灰度分辨率为16bit，终端设备20显示多帧三维图像的帧率为60帧(即电子装置10每秒要传输一一对应的60帧二维图像和60帧深度图像)，压缩比例为102:1，每帧二维图像和对应帧的深度图像组成的数据包对应的头文件的数据量为108bit，则电子装置10每秒要传送的数据流的大小为：[(1280*720*12+1280*720*16+108)*60]/(102/1)＝14.48Mbps。目前5G的sub-6G无线传输方式的上行速率最低为230Mbps，下行速率最低为1300Mbps。由此可看出，5G的sub-6G的无线传输方式完全可以满足720P的高清三维视频的高效传输。
再例如，电子装置10采集多帧二维图像和多帧深度图像，其中每帧二维图像分辨率为1920×1080，每一个像素点的色彩分辨率为12bit，每帧深度图像的分辨率1920×1080，每一个像素点的灰度分辨率为16bit，终端设备20显示多帧三维图像的帧率为60帧(即电子装置10每秒要传输一一对应的60帧二维图像和60帧深度图像)，压缩比例为102:1，每帧二维图像和对应帧的深度图像组成的数据包对应的头文件的数据量为108bit，则电子装置10每秒要传送的数据流的大小为：[(1920*1080*12+1920*1080*16+108)*60]/(102/1)＝32.57Mbps。目前5G的sub-6G无线传输方式的上行速率最低为230Mbps，下行速率最低为1300Mbps。由此可看出，5G的sub-6G的无线传输方式完全可以满足1080P的超清三维视频的高效传输。
请一并参阅图11和图12，在某些实施方式中，在某些实施方式中，电子装置10通过毫米波传送多帧二维图像和/或多帧深度图像至服务器30。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过毫米波传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。其中，第二基站与服务器30之间通信的无线通信方式可为WIFI、4G或5G中的至少一种。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过毫米波传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。当服务器30集成在核心网中时，服务器30为运营商提供的租用服务器30。
其中，毫米波对应的频段是第五代移动通信网络中24.25GHz～52.6GHz以及WIFI的802.11ad或802.11ay的60GHz频段。毫米波具有极大的传输带宽，可以较大地提升无线传输速率。目前基于时分双工(Time Division Duplexing，TDD)制式的5G毫米波传输方式，上行速率的峰值可达到2000Mbps，下行速率的峰值可达到2000Mbps，上述上行速率和下行速率均是在仅存在上行传输或下行传输的情形下测得的，由于时分双工中上下行数据是分时间隔传输的，则考虑实际使用中，若上下行的占比均为50％，则上行速率也可达到1000Mbps，下行速率也可达到1000Mbps。由此可以看出，5G的毫米波的无线通信方式也是可以满足多帧二维图像、多帧深度图像及三维视频的高效传输的。
请一并参阅图11和图12，在某些实施方式中，在某些实施方式中，电子装置10通过FDD-LTE传送多帧二维图像和/或多帧深度图像至服务器30。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过FDD-LTE传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。其中，第二基站与服务器30之间通信的无线通信方式可为WIFI、4G或5G中的至少一种。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过FDD-LTE传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。当服务器30集成在核心网中时，服务器30为运营商提供的租用服务器30。
其中，FDD-LTE指的是第四代移动通信网络(Long Term Evolution，LTE)中的频分双工(Frequency Division Duplexing，FDD)制式。在该制式下，上行数据和下行数据分别在不同的频段上同时传输，因此，FDD-LTE的无线传输方式具有较强的数据传输能力。FDD-LTE的无线传输方式较适用于对称业务，在支持对称业务时，能充分利用上下行的频谱，例如在三维视频通话时使用FDD-LTE方式传输多帧二维图像、深度图像及三维图像，由于FDD-LTE的上行信道和下行信道的配比为1:1，上行数据和下行数据分别在上行信道和下行信道中同时传输，因此，可以同时满足三维视频通话中数据量较大的多帧二维图像、深度图像及三维图像的上传和下载。目前基于第四代移动通信网络中频分双工制式的无线通信方式，上行速率约为200Mbps，下行速率约为1200Mbps。参考上述举例中的1080P的超清三维视频的32.57Mbps及720P的高清三维视频的14.48Mbps的传输速率需求，可以看出FDD-LTE完全可以满足三维视频的高效传输。
请一并参阅图11和图12，在某些实施方式中，在某些实施方式中，电子装置10通过TDD-LTE传送多帧二维图像和/或多帧深度图像至服务器30。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过TDD-LTE传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。其中，第二基站与服务器30之间通信的无线通信方式可为WIFI、4G或5G中的至少一种。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过TDD-LTE传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。当服务器30集成在核心网中时，服务器30为运营商提供的租用服务器30。
其中，TDD-LTE指的是第四代移动通信网络(Long Term Evolution，LTE)中的时分双工(Time Division Duplexing，TDD)制式。在该制式下，上行数据和下行数据的传输在同一频段上按照时间分配交叉进行。TDD-LTE的无线传输方式具有较高的灵活性，其上行传输的时隙占比和下行传输的时隙占比可以根据实际需求灵活调整，因此，TDD-LTE的无线传输方式较适用于非对称业务。目前基于第四代移动通信网络中时分双工制式的无线通信方式，上行速率最低为24Mbps，下行速率约为800Mbps。参考上述举例中的720P的高清三维视频的14.48Mbps的传输速率需求，TDD-LTE的无线传输方式完全可以满足720P的高清三维视频的高效传输。而对于1080P的超清三维视频的32.57Mbps的传输速率需求，TDD-LTE的无线传输方式的上行速率可能无法满足该传输速率要求，但是由于TDD-LTE的高灵活性，上行传输的时隙占比和下行传输的时隙占比是可以灵活调整的，因此，在某些应用场景下，TDD-LTE的无线传输方式也是可以满足1080P的超清三维视频的传输的。
请一并参阅图11和图12，在某些实施方式中，在某些实施方式中，电子装置10通过WIFI传送多帧二维图像和/或多帧深度图像至服务器30。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过WIFI传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。其中，第二基站与服务器30之间通信的无线通信方式可为WIFI、4G或5G中的至少一种。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线可为：电子装置10首先通过WIFI传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。当服务器30集成在核心网中时，服务器30为运营商提供的租用服务器30。
其中，第一基站指的是WIFI通信中的无线访问接入点。第二基站同样指的至WIFI通信中的无线访问接入点。
无线保真技术(Wireless-Fidelity，WIFI)的应用频段包括2G频段和5G频段。其中，2G频段对应的频率范围为2.402GHz～2.482GHz，5G频段对应的频率范围为5.150GHz～5.350GHz、5.470GHz～5.725GHz以及5.725GHz～5.850GHz。WIFI无线通信方式采用的是时分双工的工作模式。目前在2G频段下，WIFI无线通信方式的上行速率的峰值可达到300Mbps，下行速率的峰值可达到300Mbps，上述上行速率和下行速率均是在仅存在上行传输或下行传输的情形下测得的，由于时分双工中上下行数据是分时间隔传输的，则考虑实际使用中，若上下行的占比均为50％，则上行速率也可达到150Mbps，下行速率也可达到150Mbps。在5G频段下，WIFI无线通信方式的上行速率的峰值可达到1732Mbps，下行速率的峰值可达到1732Mbps，上述上行速率和下行速率均是在仅存在上行传输或下行传输的情形下测得的，由于时分双工中上下行数据是分时间隔传输的，则考虑实际使用中，若上下行的占比均为50％，则上行速率也可达到866Mbps，下行速率也可达到866Mbps。由此可以看出，WIFI无线通信方式也是可以满足多帧二维图像、多帧深度图像及三维视频的高效传输的。
请一并参阅图11至图14，本发明提供一种三维视频通信方法，用于服务器30。服务器30通过无线通信方式与电子装置10及终端设备20通信。三维视频通信方法包括：
031：接收电子装置10传送的多帧二维图像和/或多帧深度图像；
033：根据多帧二维图像和/或多帧深度图像生成多帧三维图像；和
034：传送多帧三维图像至终端设备20。
请参阅图14，本发明还提供一种服务器30。服务器30通过无线通信方式与电子装置10及终端设备20通信。服务器30包括接收单元311、处理单元313和传送单元314。步骤031可以由接收单元实现。步骤033可以由处理单元313实现。步骤034可以由传送单元314实现。也即是说，接收单元311可用于接收电子装置10传送的多帧二维图像和/或多帧深度图像。处理单元313可用于根据多帧二维图像和/或多帧深度图像生成多帧三维图像。传送单元314可用于传送多帧三维图像至终端设备20。
请参阅图15，本发明还提供一种服务器30。服务器30通过无线通信方式与电子装置10及终端设备20通信。服务器30包括通信单元322和处理器322。步骤031和步骤034均可以由通信单元322实现。步骤033可以由处理器322实现。也即是说，通信单元322可用于接收电子装置10传送的多帧二维图像和/或多帧深度图像。处理器322可用于根据多帧二维图像和/或多帧深度图像生成多帧三维图像。通信单元322还可用于传送多帧三维图像至终端设备20。
多帧三维图像可以形成视频。具体地，多帧三维图像在终端设备20中以预定帧率进行显示即形成三维视频，其中预定帧率要大于或等于人眼能够分辨的帧率(即每秒显示24帧三维图像)，预定帧率的取值可为24帧/秒、30帧/秒、60帧/秒、120帧/秒等。
其中，电子装置10可以为手机、平板电脑、笔记本电脑、智能穿戴设备(智能头盔、智能眼镜、智能手环、智能手表等)等。终端设备20也可以为手机、平板电脑、笔记本电脑、智能穿戴设备(智能头盔、智能眼镜、智能手环、智能手表等)等，还可以是其余显示设备，例如虚拟现实头戴式显示设备、增强现实显示设备、全息立体投影设备、电视机等配备有3D液晶显示器设备等。服务器30可为具有强大计算处理能力且具有大存储容量的计算机等。
可以理解，目前的视频通话、视频会议等仅局限于二维视频的传输。组成二维视频的多帧图片均为二维图片，不包含深度信息，无法呈现三维的立体效果。
本发明实施方式的三维视频通信方法及服务器30接收电子装置10采集的多帧二维图像和/或多帧深度图像，并融合多帧二维图像和/或多帧深度图像得到多帧三维图像，再通过有线通信方式和/或无线通信方式传送到终端设备20。如此，一方面可实现三维视频的传输，终端设备20可观看到三维的立体的视频效果，用户使用体验更好；另一方面多帧二维图像和/或多帧深度图像融合处理得到多帧三维图像的计算由服务器30来执行，服务器30具有强大的计算处理能力，能够缩短多帧二维图像和/或多帧深度图像的融合处理时间，如此，无需电子装置10进行计算，减小了的电子装置10的数据处理量和功耗，也减少了图像处理的时间，有利于缩短视频通信过程中的时延。
请一并参阅图11、图12和图16，在某些实施方式中，步骤031接收电子装置10传送的多帧二维图像和/或多帧深度图像包括：
0311：接收电子装置10传送的压缩后的多帧二维图像和/或多帧深度图像；
本发明实施方式的三维视频通信方法还包括：
032：解压压缩后的多帧二维图像和/或多帧深度图像；
步骤033根据多帧二维图像和/或多帧深度图像生成多帧三维图像包括：
0333：根据解压后的多帧二维图像和/或多帧深度图像生成多帧三维图像。
请参阅图17，在某些实施方式中，服务器30还包括压缩单元312。步骤0311可以由接收单元311实现。步骤032可以由压缩单元312实现。步骤0333可以由处理单元313实现。也即是说，接收单元311还可以用于接收电子装置10传送的压缩后的多帧二维图像和/或多帧深度图像。压缩单元312可用于解压压缩后的多帧二维图像和/或多帧深度图像。处理单元313可用于根据解压后的多帧二维图像和/或多帧深度图像生成多帧三维图像。
请参阅图15，在某些实施方式中，步骤0311可以由通信单元321实现。步骤032和步骤0333均可以由处理器322实现。也即是说，通信单元321还可用于接收电子装置10传送的压缩后的多帧二维图像和/或多帧深度图像。处理器322还可用于解压压缩后的多帧二维图像和/或多帧深度图像，以及根据解压后的多帧二维图像和/或多帧深度图像生成多帧三维图像。
具体地，二维图像和深度图像组成的数据包的数据量较大，受限于无线通信技术的发展，电子装置10需要压缩多帧二维图像和多帧深度图像后再进行数据传输。则在服务器30接收到压缩后的多帧二维图像和多帧深度图像后，需要对压缩后的数据进行解压，再利用解压后的多帧二维图像和多帧深度图像融合得到多帧三维图像。
请一并参阅图11和图12，在某些实施方式中，服务器30通过WIFI、4G或5G中的至少一种无线通信方式接收电子装置10传送的多帧二维图像和/或多帧深度图像。也即是说，服务器30与电子装置10之间的通信方式可仅包括WIFI、4G或5G中的任意一种，也可同时包括WIFI和4G、WIFI和5G、4G和5G两种，也可同时包括WIFI、4G或5G三种。服务器30通过WIFI、4G或5G中的至少一种无线通信方式和/或有线通信方式传送多帧三维图像至终端设备20。也即是说，服务器30与终端设备20之间的通信方式可仅包括WIFI、4G、5G或有线通信中的任意一种，也可同时包括WIFI、4G、5G、有限通信中的任意两种或三种，也可同时包括WIFI、4G、5G和有线通信四种。当服务器30与终端设备20通过有线通信方式通信时，终端设备20可为笔记本电脑、虚拟现实头戴式显示设备、增强现实显示设备、全息立体投影设备等可使用有线连接进行通信的设备。
具体地，电子装置10可以通过5G的sub-6G频段传送多帧二维图像和/或多帧深度图像至服务器30，服务器30再通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线为：电子装置10首先通过5G的sub-6G频段传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧二维图像和/或多帧深度图像至服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。随后，服务器30通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线也可为：电子装置10首先通过5G的sub-6G频段传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。多帧三维图像的传输路线为：服务器30通过有线通信方式传送多帧三维图像至核心网，核心网通过有线通信方式传送多帧三维图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)频段传送多帧三维图像至终端设备20。
5G的sub-6GHz可以提高传统的频段的频谱效率，并且在可比较的频率带宽范围内，数据速率扩展容量较高且覆盖范围较大。Sub-6G的无线基础设施将采用波束成形方案进行广泛部署，采用该方案可以大大扩展网络覆盖范围和建筑内部穿透能力。如此，使用5G的sub-6G频段传送多帧二维图像和/或多帧深度图像一方面可满足传输速率的要求，另一方面对用户所处的环境的限制性较小，在绝大多数场景下均可以实现多帧二维图像、多帧深度图像以及多帧三维图像的高效传输。
或者，电子装置10可以通过毫米波传送多帧二维图像和/或多帧深度图像至服务器30，服务器30再通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线为：电子装置10首先通过毫米波传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧二维图像和/或多帧深度图像至服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。随后，服务器30通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线也可为：电子装置10首先通过毫米波传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。多帧三维图像的传输路线为：服务器30通过有线通信方式传送多帧三维图像至核心网，核心网通过有线通信方式传送多帧三维图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧三维图像至终端设备20。
毫米波具有极大的传输带宽，可以较大地提升无线传输速率，可以满足多帧二维图像、多帧深度图像及三维视频的高效传输。
或者，电子装置10可以通过FDD-LTE传送多帧二维图像和/或多帧深度图像至服务器30，服务器30再通过FDD-LTE传送多帧三维图像至终端设备20。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线为：电子装置10首先通过FDD-LTE传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧二维图像和/或多帧深度图像至服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。随后，服务器30通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线也可为：电子装置10首先通FDD-LTE传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。多帧三维图像的传输路线为：服务器30通过有线通信方式传送多帧三维图像至核心网，核心网通过有线通信方式传送多帧三维图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧三维图像至终端设备20。
FDD-LTE制式下，上行数据和下行数据分别在不同的频段上同时传输，因此，FDD-LTE的无线传输方式具有较强的数据传输能力。FDD-LTE的无线传输方式较适用于对称业务，在支持对称业务时，能充分利用上下行的频谱，例如在三维视频通话时使用FDD-LTE方式传输多帧二维图像、深度图像及三维图像，由于FDD-LTE的上行信道和下行信道的配比为1:1，上行数据和下行数据分别在上行信道和下行信道中同时传输，因此，可以同时满足三维视频通话中数据量较大的多帧二维图像、深度图像及三维图像的上传和下载，可以满足多帧二维图像、深度图像及三维图像的高效传输。
或者，电子装置10可以通过TDD-LTE传送多帧二维图像和/或多帧深度图像至服务器30，服务器30再通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线为：电子装置10首先通过TDD-LTE传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧二维图像和/或多帧深度图像至服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。随后，服务器30通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线也可为：电子装置10首先通TDD-LTE传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。多帧三维图像的传输路线为：服务器30通过有线通信方式传送多帧三维图像至核心网，核心网通过有线通信方式传送多帧三维图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧三维图像至终端设备20。
TDD-LTE制式下，上行数据和下行数据的传输在同一频段上按照时间交叉分配进行。TDD-LTE的无线传输方式具有较高的灵活性，其上行传输的时隙占比和下行传输的时隙占比可以根据实际需求灵活调整，可以满足多帧二维图像、深度图像及三维图像的高效传输。
或者，电子装置10可以通过WIFI传送多帧二维图像和/或多帧深度图像至服务器30，服务器30再通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
此时，如图11所示，多帧二维图像和/或多帧深度图像的传输路线为：电子装置10首先通过WIFI传送多帧二维图像和/或多帧深度图像至第一基站(具体为WIFI通信中的无线访问接入点)，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至第二基站(具体为WIFI通信中的无线访问接入点)，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧二维图像和/或多帧深度图像至服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。随后，服务器30通过有线通信方式和/或无线通信方式传送多帧三维图像至终端设备20。
或者，如图12所示，多帧二维图像和/或多帧深度图像的传输路线也可为：电子装置10首先通WIFI传送多帧二维图像和/或多帧深度图像至第一基站，第一基站通过有线通信方式传送多帧二维图像和/或多帧深度图像至核心网，核心网通过有线通信方式传送多帧二维图像和/或多帧深度图像至服务器30，服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。此时服务器30可为独立于核心网之外的服务器30，也可为集成在核心网中的服务器30。服务器30接收多帧二维图像和/或多帧深度图像后即可进行融合处理以得到多帧三维图像。多帧三维图像的传输路线为：服务器30通过有线通信方式传送多帧三维图像至核心网，核心网通过有线通信方式传送多帧三维图像至第二基站，第二基站通过无线通信方式(WIFI、4G、5G中的至少一种)传送多帧三维图像至终端设备20。
WIFI无线通信方式的上行速率及下行速率均较高，可以满足多帧二维图像、深度图像及三维图像的高效传输。
请一并参阅图11、图12和图18，本发明提供一种三维视频通信方法，用于三维视频通信系统100。三维视频通信系统100包括电子装置10、服务器30和终端设备20。三维视频通信方法包括：
041：电子装置10获取当前场景的多帧二维图像和/或多帧深度图像；
043：电子装置10传送多帧二维图像和/或多帧深度图像至服务器30；
044：服务器30接收电子装置10传送的多帧二维图像和/或多帧深度图像；
046：服务器30根据多帧二维图像和/或多帧深度图像生成多帧三维图像；和
047：服务器30传送多帧三维图像至终端设备20。
请一并参阅图2、图11、图12和图14，本发明还提供一种三维视频通信系统100。三维视频通信系统100包括电子装置10、服务器30和终端设备20。其中，电子装置10可为前述任一实施方式的电子装置10，服务器30可为前述任一实施方式的服务器30，终端设备20可为前述任一实施方式的终端设备20，在此不再赘述。
请一并参阅图2和图14，在某些实施方式中，步骤041可以由获取模块111实现。步骤043可以由传送模块113实现。步骤044可以由接收单元311实现。步骤046可以由处理单元313实现。步骤047可以由传送单元314实现。
请一并参阅图3和图15，在某些实施方式中，步骤041可以由图像采集组件121实现。步骤043可以由通信模块123实现。步骤044和步骤047可以由通信单元321实现。步骤046可以由处理器322实现。
请一并参阅图5和图19，在某些实施方式中，本发明实施方式的三维视频通信方法可以应用在三维视频通话及三维视频会议场景中，可实现用户间的交互。假设电子装置10为主叫设备，而终端设备20为被叫设备，此时，步骤041为：电子装置10获取主叫场景的多帧二维主叫图像和/或多帧主叫深度图像；步骤043为：电子装置10传送多帧二维主叫图像和/或多帧主叫深度图像至服务器30。进一步地，本发明实施方式的三维视频通信方法还包括：
051：终端设备20获取被叫场景的多帧二维被叫图像和/或多帧被叫深度图像；和
052：终端设备20传送多帧二维被叫图像和/或多帧被叫深度图像至服务器30。
请参阅图5，在某些实施方式中，步骤051可以由获取子模块211实现。步骤052可以由传送子模块212实现。
请参阅图6，在某些实施方式中，步骤051可以由图像获取组件221实现。步骤052可以由通信组件223实现。
请一并参阅图5和图20，在某些实施方式中，本发明实施方式的三维视频通信方法还可以应用在虚拟现实头戴式显示设备、增强现实显示设备、全息立体投影设备、配备有3D液晶显示器的显示设备等的设备中。此时，本发明实施方式的三维视频通信方法还包括：
053：终端设备20采用全息投影或3D显示的方式显示多帧三维图像。
请参阅图5，在某些实施方式中，步骤053可以由显示子模块213实现。
请参阅图6，在某些实施方式中，终端设备20还包括处理器222。步骤053可以由终端设备20的处理器222实现。
请一并参阅图2和图21，在某些实施方式中，本发明实施方式的三维视频通信方法还包括：
042：电子装置10压缩多帧二维图像和/或多帧深度图像；
步骤043电子装置10传送多帧二维图像和/或多帧深度图像至服务器30包括：
0431：电子装置10传送压缩后的多帧二维图像和/或多帧深度图像至服务器30。
请参阅图2，在某些实施方式中，步骤042可以由压缩模块112实现。步骤0431可以由传送模块113实现。
请参阅图3，在某些实施方式中，步骤042可以由电子装置10的处理器122实现。步骤0431可以由通信模块123实现。
请一并参阅图11、图12和图21，在某些实施方式中，步骤044服务器30接收电子装置10传送的多帧二维图像和/或多帧深度图像包括：
0441：服务器30接收电子装置10传送的压缩后的多帧二维图像和/或多帧深度图像；
本发明实施方式的三维视频通信方法还包括：
045：服务器30解压压缩后的多帧二维图像和/或多帧深度图像；
步骤046服务器30根据多帧二维图像和/或多帧深度图像生成多帧三维图像包括：
0461：服务器30根据解压后的多帧二维图像和/或多帧深度图像生成多帧三维图像。
请参阅图17，在某些实施方式中，步骤0441可以由接收单元311实现。步骤045可以由压缩单元312实现。步骤0461可以由处理单元313实现。
请参阅图15，在某些实施方式中，步骤0441可以由通信单元321实现。步骤045和步骤0461均可以由处理器322实现。
请一并参阅图11和图12，在某些实施方式中，服务器30通过WIFI、4G或5G中的至少一种无线通信方式接收电子装置10传送的多帧二维图像和/或多帧深度图像。服务器30通过WIFI、4G或5G中的至少一种无线通信方式和/或有线通信方式传送多帧三维图像至终端设备20。
本发明实施方式的三维视频通信方法和三维视频通信系统100一方面可以实现三维视频的传输，终端设备20可观看到三维的立体的视频效果，用户使用体验更好；另一方面多帧二维图像和/或多帧深度图像融合处理得到多帧三维图像的计算由服务器30来执行，无需电子装置10进行计算，减小了的电子装置10的数据处理量和功耗，也减少了图像处理的时间，有利于缩短视频通信过程中的时延。
请一并参阅图3、图6、图11及图12，本发明还提供一个或多个包含计算机可执行指令的非易失性计算机可读存储介质。当计算机可执行指令被一个或多个处理器122/222/322执行时，处理器122/222/322执行上述任意一项实施方式所述的三维视频通信方法。
例如，当计算机可执行指令被一个或多个处理器122执行时，处理器122执行以下步骤：
控制图像采集组件121获取当前场景的多帧二维图像和/或多帧深度图像；和
控制通信模块123传送多帧二维图像和/或多帧深度图像至服务器30，服务器30用于根据多帧所述二维图像和/或多帧深度图像生成多帧三维图像，并将多帧三维图像传送至终端设备20。
再例如，当计算机可执行指令被一个或多个处理器222执行时，处理器222还执行以下步骤：
控制图像获取组件221获取被叫场景的多帧二维被叫图像和/或多帧被叫深度图像；和
控制通信组件223传送多帧二维被叫图像和/或多帧被叫深度图像至服务器30。
再例如，当计算机可执行指令被一个或多个处理器322执行时，处理器322还执行以下步骤：
控制通信单元322接收电子装置10传送的多帧二维图像和/或多帧深度图像；
控制服务器30的处理器322根据多帧二维图像和/或多帧深度图像生成多帧三维图像；和
控制通信单元322传送多帧三维图像至终端设备20。
再例如，当计算机可执行指令被一个或多个处理器122/222/322执行时，处理器122/222/322还执行以下步骤：
控制图像采集组件121获取当前场景的多帧二维图像和/或多帧深度图像；
控制通信模块123传送多帧二维图像和/或多帧深度图像至服务器30；
控制通信单元322接收电子装置10传送的多帧二维图像和/或多帧深度图像；
控制服务器30的处理器322根据多帧二维图像和/或多帧深度图像生成多帧三维图像；和
控制通信单元322服务器30传送多帧三维图像至终端设备20。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种三维视频通信方法，用于电子装置，所述电子装置通过无线通信方式与服务器通信，其特征在于，所述三维视频通信方法包括：
获取当前场景的多帧二维图像和多帧深度图像；和
传送多帧所述二维图像和多帧所述深度图像至所述服务器，所述服务器用于根据多帧所述二维图像和多帧所述深度图像生成多帧三维图像，并将多帧所述三维图像传送至终端设备；
所述三维视频通信方法还包括：
确定所述电子装置所处的应用场景，所述应用场景至少包括视频通话及全息投影；
根据确定的所述应用场景调整对应的压缩比例，所述视频通话及所述全息投影所对应的压缩比例不同；
根据与所述应用场景对应的所述压缩比例压缩多帧所述二维图像和多帧所述深度图像；
所述传送多帧所述二维图像和多帧所述深度图像至所述服务器的步骤包括：
传送压缩后的多帧所述二维图像和多帧所述深度图像至所述服务器。
2.根据权利要求1所述的三维视频通信方法，其特征在于，所述电子装置通过WIFI、4G或5G中的至少一种无线通信方式传送多帧所述二维图像和多帧所述深度图像至所述服务器。
3.根据权利要求2所述的三维视频通信方法，其特征在于，多帧所述二维图像和多帧所述深度图像的传输路线为：
所述电子装置通过无线通信方式传送多帧所述二维图像和多帧所述深度图像至第一基站；
所述第一基站通过有线通信方式传送多帧所述二维图像和多帧所述深度图像至核心网；
所述核心网通过有线通信方式传送多帧所述二维图像和多帧所述深度图像至第二基站；
所述第二基站通过无线通信方式传送多帧所述二维图像和多帧所述深度图像至所述服务器。
4.根据权利要求2所述的三维视频通信方法，其特征在于，多帧所述二维图像和多帧所述深度图像的传输路线为：
所述电子装置通过无线通信方式传送多帧所述二维图像和多帧所述深度图像至第一基站；
所述第一基站通过有线通信方式传送多帧所述二维图像和多帧所述深度图像至核心网；
所述核心网通过有线通信方式传送多帧所述二维图像和多帧所述深度图像至所述服务器。
5.一种三维视频通信方法，用于服务器，所述服务器通过无线通信方式与电子装置及终端设备通信，其特征在于，所述三维视频通信方法包括：
接收所述电子装置传送的多帧二维图像和多帧深度图像；
根据多帧所述二维图像和多帧所述深度图像生成多帧三维图像；和
传送多帧所述三维图像至所述终端设备；
所述接收所述电子装置传送的多帧二维图像和多帧深度图像的步骤包括：
接收所述电子装置传送的根据压缩比例压缩后的多帧所述二维图像和多帧所述深度图像，所述压缩比例根据所述电子装置所处的应用场景确定得到，所述应用场景至少包括视频通话及全息投影，所述视频通话及所述全息投影所对应的压缩比例不同；
所述三维视频通信方法还包括：
解压压缩后的多帧所述二维图像和多帧所述深度图像；
所述根据多帧所述二维图像和多帧所述深度图像生成多帧三维图像的步骤包括：
根据解压后的多帧所述二维图像和多帧所述深度图像生成多帧三维图像。
6.根据权利要求5所述的三维视频通信方法，其特征在于，所述服务器通过WIFI、4G或5G中的至少一种无线通信方式接收所述电子装置传送的多帧所述二维图像和多帧所述深度图像；
所述服务器通过WIFI、4G或5G中的至少一种无线通信方式和/或有线通信方式传送多帧所述三维图像至所述终端设备。
7.根据权利要求6所述的三维视频通信方法，其特征在于，多帧所述二维图像和多帧所述深度图像的传输路线为：
所述电子装置通过无线通信方式传送多帧所述二维图像和多帧所述深度图像至第一基站；
所述第一基站通过有线通信方式传送多帧所述二维图像和多帧所述深度图像至核心网；
所述核心网通过有线通信方式传送多帧所述二维图像和多帧所述深度图像至第二基站；
所述第二基站通过无线通信方式传送多帧所述二维图像和多帧所述深度图像至所述服务器；
多帧所述三维图像的传输路线为：
所述服务器通过无线通信方式和/或有线通信方式传送多帧所述三维图像至所述终端设备。
8.根据权利要求6所述的三维视频通信方法，其特征在于，多帧所述二维图像和多帧所述深度图像的传输路线为：
所述电子装置通过无线通信方式传送多帧所述二维图像和多帧所述深度图像至第一基站；
所述第一基站通过有线通信方式传送多帧所述二维图像和多帧所述深度图像至核心网；
所述核心网通过有线通信方式传送多帧所述二维图像和多帧所述深度图像至所述服务器；
多帧所述三维图像的传输路线为：
所述服务器通过有线通信方式传送多帧所述三维图像至所述核心网；
所述核心网通过有线通信方式传送多帧所述三维图像至第二基站；
所述第二基站通过无线通信方式传送多帧所述三维图像至所述终端设备。
9.一种三维视频通信方法，用于三维视频通信系统，其特征在于，所述三维视频通信系统包括电子装置、服务器和终端设备，所述三维视频通信方法包括：
所述电子装置获取当前场景的多帧二维图像和多帧深度图像；
所述电子装置传送多帧所述二维图像和多帧所述深度图像至所述服务器；
所述服务器接收所述电子装置传送的多帧所述二维图像和多帧所述深度图像；
所述服务器根据多帧所述二维图像和多帧所述深度图像生成多帧三维图像；和
所述服务器传送多帧所述三维图像至所述终端设备；
所述三维视频通信方法还包括：
所述电子装置确定所述电子装置所处的应用场景，所述应用场景至少包括视频通话及全息投影；
所述电子装置根据确定的所述应用场景调整对应的压缩比例，所述视频通话及所述全息投影所对应的压缩比例不同；
所述电子装置根据所述压缩比例压缩多帧所述二维图像和多帧所述深度图像；
所述电子装置传送多帧所述二维图像和多帧所述深度图像至所述服务器，包括：
传送压缩后的多帧所述二维图像和多帧所述深度图像至所述服务器；
所述服务器接收所述电子装置传送的多帧所述二维图像和多帧所述深度图像，包括：
所述服务器接收所述电子装置传送的根据压缩比例压缩后的多帧所述二维图像和多帧所述深度图像；
所述服务器解压压缩后的多帧所述二维图像和多帧所述深度图像；
所述服务器根据多帧所述二维图像和多帧所述深度图像生成多帧三维图像，包括：
所述服务器根据解压后的多帧所述二维图像和多帧所述深度图像生成多帧三维图像。
10.一种电子装置，所述电子装置通过无线通信方式与服务器通信，其特征在于，所述电子装置包括：
图像采集组件，所述图像采集组件用于获取当前场景的多帧二维图像和多帧深度图像；
通信模块，所述通信模块用于传送多帧所述二维图像和多帧所述深度图像至所述服务器，所述服务器用于根据多帧所述二维图像和多帧所述深度图像生成多帧三维图像，并将多帧所述三维图像传送至终端设备；和
处理器，所述处理器用于确定所述电子装置所处的应用场景，所述应用场景至少包括视频通话及全息投影；根据确定的所述应用场景调整对应的压缩比例，所述视频通话及所述全息投影所对应的压缩比例不同；根据与所述应用场景对应的所述压缩比例压缩多帧所述二维图像和多帧所述深度图像；
所述通信模块用于传送压缩后的多帧所述二维图像和多帧所述深度图像至所述服务器。
11.一种服务器，所述服务器通过无线通信方式与电子装置及终端设备通信，其特征在于，所述服务器包括：
通信单元，所述通信单元用于接收所述电子装置传送的多帧二维图像和多帧深度图像；和
处理器，所述处理器用于根据多帧所述二维图像和多帧所述深度图像生成多帧三维图像；
所述通信单元还用于传送多帧所述三维图像至所述终端设备；
所述通信单元还用于接收所述电子装置传送的根据压缩比例压缩后的多帧所述二维图像和多帧所述深度图像，所述压缩比例根据所述电子装置所处的应用场景确定得到，所述应用场景至少包括视频通话及全息投影，所述视频通话及所述全息投影所对应的压缩比例不同；
所述处理器用于解压压缩后的多帧所述二维图像和多帧所述深度图像；根据解压后的多帧所述二维图像和多帧所述深度图像生成多帧三维图像。
12.一种三维视频通信系统，其特征在于，所述三维视频通信系统包括电子装置、服务器和终端设备，所述电子装置包括：
图像采集组件，所述图像采集组件用于获取当前场景的多帧二维图像和多帧深度图像；
通信模块，所述通信模块用于传送多帧所述二维图像和多帧所述深度图像至所述服务器；和
处理器，所述处理器用于确定所述电子装置所处的应用场景，所述应用场景至少包括视频通话及全息投影；根据确定的所述应用场景调整对应的压缩比例，所述视频通话及所述全息投影所对应的压缩比例不同；根据与所述应用场景对应的所述压缩比例压缩多帧所述二维图像和多帧所述深度图像；
所述通信模块用于传送压缩后的多帧所述二维图像和多帧所述深度图像至所述服务器；
所述服务器包括：
通信单元，所述通信单元用于接收所述电子装置传送的多帧所述二维图像和多帧所述深度图像；
处理器，所述处理器用于根据多帧所述二维图像和多帧所述深度图像生成多帧三维图像；
所述通信单元还用于传送多帧所述三维图像至所述终端设备；
所述通信单元还用于接收所述电子装置传送的根据压缩比例压缩后的多帧所述二维图像和多帧所述深度图像；
所述处理器用于解压压缩后的多帧所述二维图像和多帧所述深度图像；根据解压后的多帧所述二维图像和多帧所述深度图像生成多帧三维图像。
13.一种计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至9任意一项所述的三维视频通信方法。
CN202010036556.1A 2018-05-06 2018-05-06 三维视频通信方法及系统、电子装置、服务器和可读存储介质 Expired - Fee Related CN111246197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010036556.1A CN111246197B (zh) 2018-05-06 2018-05-06 三维视频通信方法及系统、电子装置、服务器和可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810423518.4A CN108769646B (zh) 2018-05-06 2018-05-06 三维视频通信方法及系统、电子装置、服务器和可读存储介质
CN202010036556.1A CN111246197B (zh) 2018-05-06 2018-05-06 三维视频通信方法及系统、电子装置、服务器和可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810423518.4A Division CN108769646B (zh) 2018-05-06 2018-05-06 三维视频通信方法及系统、电子装置、服务器和可读存储介质

Publications (2)

Publication Number Publication Date
CN111246197A CN111246197A (zh) 2020-06-05
CN111246197B true CN111246197B (zh) 2022-03-22

Family

ID=64009106

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810423518.4A Expired - Fee Related CN108769646B (zh) 2018-05-06 2018-05-06 三维视频通信方法及系统、电子装置、服务器和可读存储介质
CN202010036556.1A Expired - Fee Related CN111246197B (zh) 2018-05-06 2018-05-06 三维视频通信方法及系统、电子装置、服务器和可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810423518.4A Expired - Fee Related CN108769646B (zh) 2018-05-06 2018-05-06 三维视频通信方法及系统、电子装置、服务器和可读存储介质

Country Status (4)

Country Link
US (2) US10785468B2 (zh)
EP (1) EP3567850A1 (zh)
CN (2) CN108769646B (zh)
WO (1) WO2019214505A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3565259A4 (en) * 2016-12-28 2019-11-06 Panasonic Intellectual Property Corporation of America DISTRIBUTION METHOD FOR THREE-DIMENSIONAL MODEL, RECEIVING METHOD FOR THREE-DIMENSIONAL MODEL, DISTRIBUTION DEVICE FOR THREE-DIMENSIONAL MODEL AND RECEIVING DEVICE FOR THREE-DIMENSIONAL MODEL
CN108769646B (zh) 2018-05-06 2020-02-18 Oppo广东移动通信有限公司 三维视频通信方法及系统、电子装置、服务器和可读存储介质
US10901092B1 (en) * 2018-10-02 2021-01-26 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
CN109901184B (zh) 2019-03-25 2021-12-24 Oppo广东移动通信有限公司 飞行时间组件、终端及飞行时间组件的控制方法
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
CN110853133A (zh) * 2019-10-25 2020-02-28 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
CN111447504B (zh) 2020-03-27 2022-05-03 北京字节跳动网络技术有限公司 三维视频的处理方法、装置、可读存储介质和电子设备
US11544904B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment
US11776218B1 (en) 2020-10-16 2023-10-03 Splunk Inc. Networked remote collaboration system
US11127223B1 (en) 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11563813B1 (en) 2020-10-16 2023-01-24 Splunk Inc. Presentation of collaboration environments for a networked remote collaboration session
WO2022082000A1 (en) * 2020-10-16 2022-04-21 Splunk Inc. Networked remote collaboration system
US11798235B1 (en) 2020-10-16 2023-10-24 Splunk Inc. Interactions in networked remote collaboration environments
US11546437B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Playback of a stored networked remote collaboration session
US11727643B1 (en) 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US11551421B1 (en) 2020-10-16 2023-01-10 Splunk Inc. Mesh updates via mesh frustum cutting
CN112399127B (zh) * 2020-10-29 2024-05-14 维沃移动通信有限公司 视频通信的控制方法、装置和电子设备
CN116711303A (zh) * 2021-01-06 2023-09-05 华为技术有限公司 三维视频通话方法及电子设备
CN115665467B (zh) * 2022-10-02 2025-02-14 刘晓敏 一种基于5g的超高清视频信号传输系统及方法
US12538163B2 (en) * 2022-11-14 2026-01-27 T-Mobile Usa, Inc. Service-based selection of a TDD pattern for a UE
US20240212179A1 (en) * 2022-12-23 2024-06-27 Rovi Guides, Inc. System and method for depth data coding

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2089849A1 (en) * 2006-10-26 2009-08-19 SeeReal Technologies S.A. 3d content generation system
US20160286194A1 (en) * 2010-09-10 2016-09-29 3DOO, Inc. A novel transcoder and 3d video editor
KR101732135B1 (ko) * 2010-11-05 2017-05-11 삼성전자주식회사 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
CN102164265B (zh) * 2011-05-23 2013-03-13 宇龙计算机通信科技(深圳)有限公司 一种三维视频通话的方法及系统
US8587635B2 (en) * 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
CN102333230A (zh) * 2011-09-21 2012-01-25 山东大学 一种提高三维视频系统中合成虚拟视图质量的方法
CN102413306A (zh) * 2011-11-21 2012-04-11 康佳集团股份有限公司 基于3d电视机的三维立体视频通话方法及3d电视机
US20140028799A1 (en) * 2012-07-25 2014-01-30 James Kuffner Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information
US10341611B2 (en) * 2013-04-30 2019-07-02 Inuitive Ltd. System and method for video conferencing
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
US10898070B2 (en) * 2013-07-07 2021-01-26 Real Time Imaging Technologies, Llc Imaging apparatus and methods
US9769498B2 (en) * 2014-03-28 2017-09-19 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
WO2016025962A1 (en) * 2014-08-15 2016-02-18 The University Of Akron Device and method for three-dimensional video communication
CN106296578B (zh) * 2015-05-29 2020-04-28 阿里巴巴集团控股有限公司 一种图像处理方法及装置
KR102430315B1 (ko) * 2015-09-10 2022-08-09 삼성디스플레이 주식회사 영상 처리 장치 및 영상 처리 방법
KR101764531B1 (ko) * 2016-02-29 2017-08-04 한경대학교 산학협력단 네트워크 기반 다중 카메라 영상 처리 및 데이터 전송 방법 및 그 시스템
EP3443749B1 (en) * 2016-05-06 2021-09-15 SZ DJI Technology Co., Ltd. Systems and methods for video processing and display
US10469857B2 (en) * 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
JP6894687B2 (ja) * 2016-10-11 2021-06-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
CN106507122A (zh) * 2016-10-31 2017-03-15 易瓦特科技股份公司 一种直播的方法、服务器、无人机和vr设备
US10204448B2 (en) * 2016-11-04 2019-02-12 Aquifi, Inc. System and method for portable active 3D scanning
CN107257426B (zh) * 2017-06-19 2019-09-03 成都优孚达信息技术有限公司 一种减少资源消耗的数据压缩方法
CN111768496B (zh) * 2017-08-24 2024-02-09 Oppo广东移动通信有限公司 图像处理方法、装置、服务器及计算机可读存储介质
US20190310741A1 (en) * 2018-04-05 2019-10-10 Microsoft Technology Licensing, Llc Environment-based adjustments to user interface architecture
CN108769646B (zh) * 2018-05-06 2020-02-18 Oppo广东移动通信有限公司 三维视频通信方法及系统、电子装置、服务器和可读存储介质
CN108632597B (zh) * 2018-05-06 2020-01-10 Oppo广东移动通信有限公司 三维视频通信方法及系统、电子装置和可读存储介质

Also Published As

Publication number Publication date
CN108769646A (zh) 2018-11-06
US10785468B2 (en) 2020-09-22
CN108769646B (zh) 2020-02-18
EP3567850A1 (en) 2019-11-13
US20190342541A1 (en) 2019-11-07
US11595635B2 (en) 2023-02-28
WO2019214505A1 (en) 2019-11-14
US20200382763A1 (en) 2020-12-03
CN111246197A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111246197B (zh) 三维视频通信方法及系统、电子装置、服务器和可读存储介质
CN108632597B (zh) 三维视频通信方法及系统、电子装置和可读存储介质
US11245939B2 (en) Generating and transmitting metadata for virtual reality
JP7311600B2 (ja) フォービエイテッドコーディングのスライスサイズマップ制御
CN110865782B (zh) 数据传输方法、装置及设备
CN102055991A (zh) 二维图像转换为三维图像的转换方法及转换装置
CN112929649B (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示终端
US11831888B2 (en) Reducing latency in wireless virtual and augmented reality systems
KR101832407B1 (ko) 입체 3차원 비디오 정보의 통신을 위한 방법 및 시스템
CN114245035A (zh) 视频生成方法和装置、设备、介质
US20120007951A1 (en) System and format for encoding data and three-dimensional rendering
KR101552070B1 (ko) 영상 신호 전송 방법 및 장치
US12008776B2 (en) Depth map processing
HK1260834A1 (zh) 三维视频通信方法及系统、电子装置、服务器和可读存储介质
HK1260834B (zh) 三维视频通信方法及系统、电子装置、服务器和可读存储介质
HK1260958A1 (zh) 三维视频通信方法及系统、电子装置和可读存储介质
HK1260958B (zh) 三维视频通信方法及系统、电子装置和可读存储介质
CN109389674B (zh) 数据处理方法及装置、mec服务器及存储介质
CN111629195A (zh) 一种3dvr照片的显示方法
CN116156103A (zh) 动态调节视频画质的方法、系统及电子设备
JP6322740B1 (ja) 画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法
CN106454320B (zh) 一种低延迟生成立体图像的方法及设备
CN117676237A (zh) 投屏方法及设备
CN120568036A (zh) 视频数据传输方法、装置、设备、存储介质和计算机程序产品
WO2009007458A1 (en) Telecommunication device and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220322