HK1228623B - 在通信网络中信号传递三维视频信息 - Google Patents

Description

在通信网络中信号传递三维视频信息

相关申请的交叉引用

本申请要求2012年4月9日提交的名为“先进无线通信系统和技术”的美国临时专利申请号61/621,939的优先权益，和2012年8月3日提交的名为“先进无线通信系统和技术”的美国临时专利申请号61/679,627的优先权益，这些文档的全部公开通过引用结合于此。

技术领域

本发明的实施例大体上涉及通信的领域，并且更具体地涉及在通信网络中信号传递三维视频信息。

背景技术

三维（3-D）视频提供高质量和拟真多媒体体验，其只是最近通过显示技术、信号处理、传输技术和电路设计中的进步才在消费电子产品和移动平台上变为可行。这在当前通过各种渠道（包括Blu-ray Disc^TM、电缆和卫星传输等）被引入家庭，以及通过支持3-D的智能电话等被引入移动网络。涉及通过无线网络分发这样的内容的概念正在开发中。

附图说明

实施例将通过下列详细说明连同附图而容易理解。为了便于该描述，类似的标号指代类似的结构元件。实施例通过示例而非限制的方式在附图的图中图示。

图1示意图示根据各种实施例的无线通信网络。

图2a-b图示根据各种实施例的流内容和/或关联的会话描述和元数据文件的适配（adaption）。

图3图示根据实施例的流会话的设立。

图4图示根据各种实施例的帧兼容封装格式（packing format）。

图5图示根据各种实施例的信号传递3-D视频设备能力的方法。

图6图示根据各种实施例的信号传递3-D视频内容的方法。

图7示意描绘根据各种实施例的示例系统。

具体实施方式

本公开的说明性实施例包括但不限于用于在通信网络中客户端设备的信号传递立体三维视频内容能力的方法、系统、计算机可读介质和装置。本发明的一些实施例在本上下文中可以关于在无线通信网络中移动设备的信号传递立体三维视频内容能力的方法、系统、计算机可读介质和装置。

说明性实施例的各种方面将使用通常由本领域内技术人员采用的术语来描述以向本领域内其他技术人员传达他们的工作的实质。然而，替代实施例可仅用描述的方面中的一些实践，这对于本领域内技术人员将是明显的。为了说明的目的，阐述具体数字、材料和配置以便提供对说明性实施例的全面理解。然而，替代实施例可在没有具体细节的情况下实践，这对于本领域内技术人员将是明显的。在其他实例中，省略或简化众所周知的特征以便不掩盖说明性实施例。

]此外，各种操作将进而采用对于理解说明性实施例最有帮助的方式描述为多个分立操作；然而，描述的顺序不应该解释为暗示这些操作必定依赖于顺序。特别地，这些操作不需要按呈现的顺序进行。

重复使用短语“在一些实施例中”。该短语一般不指相同的实施例；然而，它可指相同的实施例。术语“包括”、“具有”和“包含”是同义的，除非上下文另外指示。短语“A和/或B”意思是（A）、（B）或（A和B）。短语“A/B”和“A或B”意思是（A）、（B）或（A和B），与短语“A和/或B”相似。短语“A、B和C中的至少一个”意思是（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A、B和C）。短语“（A）B”意思是（B）或（A和B），即A是可选的。

尽管已经在本文说明和描述具体实施例，本领域内普通技术人员将意识到很多种替代和/或等同实现可代替示出和描述的具体实施例，而不偏离本公开的实施例的范围。本申请意在涵盖本文论述的实施例的任何适配或变化。因此，明显地规定本公开的实施例仅由权利要求和其等同物所限制。

如本文使用的，“模块”可指代以下各项、是以下各项的一部分或包括以下各项：专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享、专用或群组）和/或存储器（共享、专用或群组）、组合逻辑电路和/或提供描述的功能性的其他适合部件。

随着H.264/MPEG-4先进视频编码（AVC）标准的引入已经证明视频压缩能力的明显提高。因为开发该标准，ITU-T视频编码专家组（VCEG）和国际标准化组织（ISO）/国际电工委员会（IEC）移动图像专家组（MPEG）的联合视频小组还定出AVC扩展（称为多视点视频编码（MVC））的标准。MVC提供例如多个同步视频拍摄设备等视频场景的多个视图的紧凑表示。

在立体3D视频应用中，显示两个视图。一个针对左眼并且一个针对右眼。存在用于使立体3D视频内容的视图格式化的各种方法。在一个实施例中，立体成对3D视频的编码可以是MVC的特殊情况，其中左眼和右眼视图经由MVC产生。产生3D视频内容的其他编码格式也是可能的。关于对这些不同的格式解码和渲染，各种设备可具有不同的能力。本文描述的实施例提供设备能力交换的各种参数，其可便于在例如无线网络（例如演进的通用地面无线电接入网络（EUTRAN））等通信网络中分发和查看3D视频内容。

图1示意地图示根据各种实施例的网络环境100。该网络环境100包括与无线电接入网络（RAN）108无线耦合的用户装置（UE）104，其还可称为客户终端或移动设备。该RAN108可包括增强节点基站（eNB）112，其配置成经由空中（OTA）接口与UE 104通信。该RAN 108可以是第三代合作伙伴计划（3GPP）长期演进（LTE）先进网络的一部分，并且可称为EUTRAN。在其他实施例中，可利用其他的无线电接入网络技术。

UE 104可通过RAN 108与远程媒体服务器116通信。尽管示出eNB 112与该媒体服务器直接通信，将理解在各种实施例中通信可流过许多中间联网部件，例如交换机、路由器、网关等。例如，在一些实施例中，RAN 108可与核心服务网络（CSN）耦合，该CSN使RAN 108与更大的网络（媒体服务器116可认为是其的一部分）、例如广域网通信耦合。

尽管图1将网络环境描述为无线通信网络，其他实施例可在其他类型的网络中使用，例如有线网络。可理解可采用本发明的实施例的其他网络环境与在图1中描绘的示例中明确示出的那些相比可包括额外的、更少的或不同的部件。例如，在有线网络中采用的本发明的实施例可具有媒体服务器116和 UE 104，其在没有RAN 108的情况下互相通信。

UE 104和媒体服务器116可具有许多配置成便于3D视频内容的访问、存储、传输和显示的部件。例如，UE 104可包括内容管理模块120、具有流应用126的媒体播放器124和显示器128。流应用126可具有足够的功能性来接收3D视频内容和关联的信息；解码、拆解以及用别的方式重新组装3D视频；以及在显示器128上渲染3D视频。在各种实施例中，在采用的流技术的背景下可引用流应用126。例如，在内容由分组交换流服务（PSS）来流播的实施例中，流应用126可称为PSS应用。内容管理模块120可协商或用别的方式传送流参数，其包括例如设备能力参数，以能够以便于媒体播放器124操作的方式接收数据。

媒体服务器116可包括具有流应用134的内容分发模块132、内容管理模块136和内容存储140。内容分发模块132可对存储在内容存储140中的3D视频内容编码、封装或用别的方式组装，用于传输到一个或多个UE，例如UE 104。内容管理模块136可协商或用别的方式传送流参数（其包括例如设备能力参数）并且以便于分发3D内容的方式控制内容分发模块132。

在一些实施例中，示出为是媒体服务器116的一部分的部件中的一个或多个可设置成与媒体服务器116分开并且通过通信链路与媒体服务器通信耦合。例如，在一些实施例中，内容存储140可设置成远离内容分发模块132和内容管理模块136。

在一些实施例中，内容分发模块132可根据3GPP流标准在一个示例中通过eNB112将3D视频内容分发给UE 104。例如，可根据PSS标准（例如3GPP TS 26.234 V11.0.0（2012年3月16日））、通过HTTP的动态自适应流（DASH）标准（例如3GPP TS 26.247 V.11.0.0（2012年3月16日））、多媒体广播和多播服务（MBMS）标准（例如，TS 26.346 V11.1.0（2012年6月29日））和/或基于IMS的PSS和MBMS服务（IMS_PSS_MBMS）标准（例如，TS 26.237 V.11.0.0（2012年6月29日））传输3D视频内容。流应用126可配置成通过许多传输协议中的任意传输协议接收3D视频内容，例如实时传输协议（RTP）、超文本传输协议（HTTP）等。

能力交换使例如媒体服务器116等媒体流服务器能够向广泛设备提供适合于考虑中的特定设备的视频内容。为了便于服务器端内容协商以用于流，媒体服务器116可确定UE104的具体能力。

内容管理模块120和内容管理模块136可协商或用别的方式传送3D视频内容流会话的参数。该协商可经由RAN 108通过会话级信令而发生。在一些实施例中，该会话级信令可包括与设备能力信息（其包括媒体播放器124的立体3D视频解码和渲染能力）有关的传输。在各种实施例中，设备能力信息可进一步包括预解码器缓冲区大小、初始缓冲、解码器能力、显示器特性（屏幕大小、分辨率、位深度等）、流方法（实时流协议（RTSP）、HTTP等）、自适应支持、体验质量（QoE）支持、扩展实时传输协议（RTCP）报告支持、快速内容切换支持、支持的RTP概况（RTP profile）、会话描述协议（SDP）属性，等。

在流会话的设立期间，内容管理模块136可使用设备能力信息以采用向UE 104提供正确类型的多媒体内容的方式控制内容分发模块132。例如，媒体服务器116可基于UE104的实际能力确定视频流的多个可用变化形式中的哪些变化形式是期望的以确定对该终端最适合的流。这可允许提高3D视频内容以及关联的会话描述和元数据文件（例如SDP文件或媒体呈现描述（MPD）文件）到UE 104的分发。

内容分发模块132可访问内容存储140中的内容并且在分发内容/关联文件之前根据协商会话参数使内容和/或关联的会话描述和元数据文件（例如SDP/MPD文件）适配。内容在被分发到UE 104时可由媒体播放器124解码并且在显示器128上渲染。

根据参考图2a-b的一些具体示例示出内容和/或关联会话描述和元数据文件的适配，而根据参考图3的具体示例示出流会话的设立。

图2a图示根据一些实施例的具有3D视频格式适配的基于DASH的流实施例。特别地，图2a图示与DASH客户端208通信并且实现推式流实施例的HTTP服务器204，其中流控制由客户端而不是服务器来维持，其中客户端在检查MPD后通过一系列基于HTTP的请求-应答事务从服务器下载内容。在基于DASH的流中，MPD元数据文件提供关于存储在HTTP服务器204中的媒体内容表示的结构和不同版本的信息（其包括不同的比特率、帧率、分辨率、编解码类型等）。基于描述片段的关系以及它们如何形成媒体呈现的该MPD元数据信息，DASH客户端208可使用HTTP GET或部分GET方法来请求媒体片段。HTTP服务器204和DASH客户端208可分别与媒体服务器116和UE 104相似并且大致上与其能互换。

在DASH中，可在MPD中信号传递3D视频格式和对应的内容信息的集合到DASH客户端208。根据DASH客户端208的能力概况和它支持的3D格式，HTTP服务器204可提供不同的格式化内容，例如HTTP服务器204可在MPD中排除DASH客户端208不支持的3D格式并且只包括DASH客户端208所支持的那些3D格式。在该背景下，HTTP服务器204可将对不同3D视频格式优化的内容提供给DASH客户端208。在进行此的时候，HTTP服务器204可使用来自DASH客户端108的描述各种支持的3D视频格式的设备能力交换信令。DASH客户端208然后可请求由DASH客户端208支持的3D视频内容的对应版本。此外，当用HTTP检索MPD时，DASH客户端208可在GET请求中包括3D视频编解码（codec）和格式信息，其包括基于概况差异（ProfDiff）对3D视频格式的任何临时调整。在示例中，该差异可配置成临时修改内容呈现会话的一个或多个MPD参数。例如，该差异可配置成修改MPD直到内容呈现会话结束或后续差异（其对应于首先传送的差异）被传送到HTTP服务器204。这样，HTTP服务器204可将优化的MPD分发给DASH客户端208。

图2b图示根据一些实施例的具有3D视频格式适配的基于RTSP的流的实施例。特别地，图2b图示实现推式流方法的服务器212和客户端216，其中流和会话控制由服务器212而不是客户端216来维持。服务器212和客户端216可分别与媒体服务器116和UE 104相似并且大致上与其能互换。

推式流的示例包括分别基于RTSP和会话发起协议（SIP）的PSS和IMS_PSS_MBMS服务。在该背景下，服务器212接收来自客户端216的支持的3D视频编解码和格式的集合并且基于该信息使内容适配，例如服务器212基于支持的3D视频格式在存储的内容版本之间选择最适合的内容版本或者动态转码该内容，以及将内容流播到客户端216。SDP中携带的会话相关元数据可携带流内容的3D视频格式信息。

图3图示根据一些实施例的具有预订/通知IMS_PSS_MBMS服务的服务发现。特别地，图3图示UE 304、IP多媒体（IM）核心网（CN）子系统308和服务发现功能（SDF）312之间的交互。UE 304可与UE 104相似并且大致上与其能互换。IM CN子系统308和SDF 312可以是与接入网域（例如，RAN 108）接口的核心网域的一部分。

在IMS_PSS_MBMS服务中，UE 304可在服务发现期间在SIP SUBSCRIBE消息中将设备能力信息（例如，支持的3D视频编解码和格式）发送给IM CN子系统308。IM CN子系统308然后可将该消息转发给SDF 312。SDF 312例如根据如在用户概况（个性化服务发现）中描述的UE 304的能力来确定正确的服务发现信息。SDF 312然后可将SIP 200 OK消息发送给IMCN子系统308，该消息被转送到UE 304以基于发送的设备能力信息（其也包括支持的3D视频编解码和格式）来确认会话发起。之后，SDF 132可发送SIP NOTIFY消息（具有服务发现信息）给IM CN 子系统308，其将SIP NOTIFY消息转送回到UE 304。UE 304然后可通过将SIP200 OK消息发送到IM CN 子系统308而作出应答，该SIP 200 OK消息然后被转送到SDF312。

这样的框架在基于IMS的PSS和MBMS用户服务中使用支持的3D视频格式而实现优化的服务发现。稍后在IMS会话期间，UE 304还可使用SIP信令来指示更新，其包括基于ProfDiff（例如，如果当前设备取向与默认设备取向不同）对支持的3D视频编解码和格式的集合的任何临时调整。这可通过另外的SIP SUBSCRIBE消息（其包括关于对3D视频格式信息更新的信息）刷新预订而进行。

再次参考图1，在一些实施例中，媒体服务器116可与具有UE 104的概况信息的设备概况服务器144耦合。该概况信息可包括设备能力信息中的一些或全部。在这样的实施例中，媒体服务器116可接收来自UE 104的标识信息并且然后从设备概况服务器144检索概况信息。这可作为会话级信令的一部分而进行。

在一些实施例中，UE 104可基于ProfDiff信令用附加属性补充从设备概况服务器144检索的概况信息或覆盖在它的设备能力概况中已经限定的属性。在一个示例中，这样的临时调整可通过用户偏好而触发，例如如果特定会话的用户仅想接收二维（2D）视频（即使终端能够渲染3D视频）。

流应用134可根据许多不同的流类型对3D视频内容编码以供在网络环境100中传输，其中每个流类型具有关联的帧类型。帧类型可以包括帧封装、联播（simulcast）或2D加辅助帧类型。

帧封装可包括帧兼容封装格式和每视图全分辨率（FRPV）封装格式。在帧兼容分组格式（packet format）中，流应用134可在空间上将立体对的组成帧封装到单个帧内并且对该单个帧编码。由流应用126产生的输出帧包含立体对的组成帧。每个视图的原始帧的空间分辨率和封装的单个帧可以是相同的。在该情况下，流应用134可在封装操作之前对两个组成帧降采样。帧兼容封装格式可使用如分别在图4a-e中图示的垂直交错、水平交错、并排、上下排列或棋盘格式，并且可相应地进行降采样。

在一些实施例中，流应用134可通过将如在H.264/AVC标准中规定的一个或多个帧封装设置补充增强信息（SEI）消息包括到位流中而指示使用的帧封装格式。流应用126可对帧解码、将来自解码器的输出帧的两个组成帧拆解、对帧过采样以恢复编码器侧降采样过程，并且在显示器128上渲染组成帧。

FRPV封装格式可包括时间交错。在时间交错中，可以原始视频的帧率的两倍对3D视频编码，其中每个母图像和随后的图像构成立体对（左和右视图）。可典型地以高帧率进行时间交错的立体视频的渲染，其中主动（快门）眼镜用于使每只眼睛中的不正确视图混合。这可依靠眼镜与屏幕之间的准确同步。

在使用联播帧类型的实施例中，左和右视图可在单独的联播流中传输。单独传输的流可通过流应用126结合并且被联合解码。

在使用2D加辅助帧类型的实施例中，2D视频内容可连同可由流应用126使用以在显示器128上渲染3D视频的辅助信息一起由流应用134发送。该辅助信息可以是，例如是2D图的深度/视差图，其中每个像素限定关联的2D视频帧中的一个或多个像素的深度/视差。

在一些实施例中，可使用其他的帧类型。例如，在一些实施例中，流应用134可能够将立体视图编码为可在相同或不同的流中传输的基本视图流和非基本视图流。在一些实施例中，这可称为基于MVC的立体视频。非基本视图流可包括视图间预测帧，其提供空间/时间预测信息。基本视图流对于单视图（例如，2D）解码器可足以将基本视图渲染为2D视频，而非基本视图流可对3D解码器、例如流应用126提供足够信息来渲染3D视频。如果媒体服务器116已知UE能力，它可以省略将非基本视图流发送到不支持3D视频或不具有足够的比特率来支持3D视频的设备。

在各种实施例中，从内容管理模块120和/或设备概况服务器144传输到内容管理模块136的设备能力信息可包括3D格式属性，其包括与通过相关传输协议（例如RTP或HTTP，由流应用126支持）的立体3D视频的流相关的一个或多个格式的列表。在一些实施例中，3D格式属性可以是RTP或HTTP的流帧封装格式，其对于垂直交错具有整数值“1”、对于水平交错具有“2”、对于并排具有“3”、对于上下排列具有“4”、对于棋盘具有“0”或对于时间交错具有“5”。在一些实施例中，相同的3D格式属性可用于指示在具体文件或容器格式中支持的帧封装格式。在一些实施例中，3D格式属性可包括更广义的值，例如对于帧封装是“FP”。

在一些实施例中，3D格式属性可以是对联播具有值“SC”或对于2D视频加辅助信息具有值“2DA”的另一个流格式。

在UE 104支持超过一个格式类型的实施例中，它可进一步指示一个或多个优选的格式类型。这可以通过将格式类型按偏好的顺序列表、使偏好指示符与选择的格式类型关联等而进行。

在一些实施例中，除提供帧类型属性外，内容管理模块120和/或设备概况服务器144可提供一个或多个组元类型属性。这些组元类型属性可提供关于视频组元的具体类型的额外细节，这些视频组元是立体3D视频的组成元素、由流应用126支持和/或偏好。

组元类型属性可具有用于指示中心视点流（center-view stream）的值“C”、用于指示中心视点流和深度图的值“CD”、用于指示中心视点流和视差图的值“CP”、用于指示深度图的值“D”、用于指示视差图的值“P”、用于指示左视图流的值“L”、用于指示左视图流和深度图的值“LD”、用于指示视频帧（其包括来自左和右视图的交替扫描线）的值“LIL”、用于指示左视图流和视差图的值“LP”、用于指示右视图流的值“R”、用于指示帧顺序（例如，包括来自左和右流的交替帧－额外信令（例如AVC SEI消息）的视频流对于信号通知哪些帧包含左和右视图可以是必须的）的值“Seq”、用于指示并排的值“SbS”以及用于指示上下排列的值“TaB”。

每个格式类型属性可与组元类型属性的相应集合关联。例如，如果格式类型是SC，关联的组元类型可以是L或R，分别用于指示左和右视图。

PSS规范3GPP TS 24.234中的设备能力交换信令能力使服务器能够向广泛设备提供适合于讨论中的特定设备的内容。为了提高立体3D视频内容到客户终端的分发，本公开描述新的属性集合，其可包括在PSS词汇中用于设备能力交换信令。这些提出的属性可描述客户终端的3D解码和渲染能力，其包括客户端支持哪些3D视频帧封装格式。这例如可允许服务器和网络向客户终端提供优化的RTSP SDP或DASH MPD，以及进行适当的转码和3D格式转换以便使传输的3D视频内容与客户端设备的能力匹配。

支持的3D视频编解码和格式的设备能力交换信令可在3GPP TS 26.234中实现，其中PSS词汇中包括三个新属性：（1）对于流组元（streaming component），两个属性分别指示与通过RTP和HTTP的立体3D视频流相关的支持的帧封装格式的列表，以及（2）对于ThreeGPFileFormat组元，一个属性指示与立体3D视频相关的可以包括在3GPP文件格式（3GP）文件中的支持的帧封装格式的列表，其是通常用于基于3GPP的多媒体服务的多媒体容器格式。根据一些实施例，属性定义的细节在下文呈现。

属性名称：StreamingFramePackingFormatsRTP

属性定义：与PSS应用支持的通过RTP的立体3D视频流相关的支持的帧封装格式列表。在立体3D视频的范围内的帧封装格式包括：

帧兼容封装格式：1=垂直交错，2=水平交错，3=并排，4=上下排列，0=棋盘

每视图全分辨率的封装格式：5=时间交错

组元：流

类型：文字（袋）

合法值：对应于支持的帧封装格式的整数值列表

分辨率规则： 附上

示例：

属性名称：StreamingFramePackingFormatsHTTP

属性定义：与PSS应用支持的通过HTTP的立体3D视频流相关的支持的帧封装格式列表。在立体3D视频的范围内的帧封装格式包括：

帧兼容封装格式：1=垂直交错，2=水平交错，3=并排，4=上下排列，0=棋盘

每视图全分辨率的封装格式：5=时间交错

组元：流

类型：文字（袋）

合法值：对应于支持的帧封装格式的整数值列表

分辨率规则： 附上

示例：

属性名称：ThreeGPFramePackingFormats

属性定义：与立体3D视频相关的支持的帧封装格式的列表可以包括在3GP文件中并且由PSS应用所处理。

组元：ThreeGPFileFormat

类型：文字（袋）

合法值：对应于支持的帧封装格式的整数值列表。整数值应该是3或4，其分别对应于并排和上下排列帧封装格式。

分辨率规则： 附上

示例：

在一些实施例中，例如如在MPD中描述的媒体呈现可包括适配集合、表示和子表示所共有的属性和元素。一个这样的元素可以是FramePacking元素。FramePacking元素可规定视频媒体组元类型的帧封装设置信息。当对视频组元未提供FramePacking元素时，帧封装可不用于视频媒体组元。

FramePacking元素可包括@shcemeIdUri属性，其包括统一资源标识符（URI），用于识别采用的帧封装配置方案。在一些实施例中，FramePacking元素可进一步包括@value属性，用于对描述符元素提供值。

在一些实施例中，可存在多个FramePacking元素。如果这样的话，每个元素可包含足够的信息来选择或拒绝描述的表示。

如果方案或者所有FramePacking元素的值未被识别，客户端可忽略描述的表示。客户端可在观察FramePacking元素的基础上拒绝适配集合。

对于包含符合ISO/IEC信息技术－视听对象的编码－部分10：先进视频编码（ISO/IEC 14496-10:2012）的视频组元的适配集合或表示，FramePackin@schemeIdUri的统一资源号可以是

urn:mpeg:dash:14496:10:frame_pcking_arrangement_type:2011，其可定义成指示如由ISO/IEC 14496-10:2012（‘frame_packing_arrangement_type的定义’）的表D-8定义的帧封装设置包含在FramePacking元素中。@value可以是如在ISO/IEC 14496-10:2012的表D-8中规定的“Value”栏并且可以根据相同表格中的‘Interpretation’栏来解释。

图5图示根据一些实施例信号传递3D视频设备能力的方法500。方法500可由UE（例如，UE 104）的部件进行。在一些实施例中，UE可包括和/或访问具有存储在其上的指令的一个或多个计算机可读介质，这些指令在被执行时使UE或其部件进行方法500。

在504，UE可确定设备能力信息。如上文描述的，该设备能力信息可包括关于媒体播放器的解码和渲染能力的信息。在一些实施例中，位于UE或别处上的内容管理模块可通过在UE上运行一个或多个脚本来直接测试能力而确定该信息。在其他实施例中，内容管理模块可访问包含相关信息的一个或多个存储文件。

在508，UE可向媒体服务器116或设备概况服务器144提供设备能力信息，其包括在UE处的媒体播放器的立体3D视频解码和渲染能力。如上文描述的，设备能力信息可包括一个或多个格式类型属性，其代表由UE的流应用所支持的帧类型列表。在一些实施例中，可在512处的请求之前或之后提供设备能力信息。

在一些实施例中，设备能力信息中的一些或全部可由另一个实体（例如，设备概况服务器）提供给媒体服务器。

在512，UE可请求3D视频内容。在一些实施例中，请求可根据适当的流/传输协议，例如HTTP、RTP、RTSP、DASH、MBMS、PSS、IMS_PSS_MBMS等。请求可针对媒体服务器并且可包括统一资源定位符（URL）或请求的内容或其部分的一些其他指示符。在一些实施例中，对设备能力信息的临时调整（例如，经由ProfDiff信令）还可连同508处的请求一起被提供。相应地，UE可基于ProfDiff信令用附加属性补充从设备概况服务器检索的概况信息或覆盖在它的设备能力概况中已经限定的属性。在一个示例中，这样的临时调整可通过用户偏好而触发，例如如果特定会话的用户仅想接收二维（2D）视频（即使终端能够渲染3D视频）。

在516，UE可接收请求的3D视频内容并且在UE的显示器上渲染内容。内容的渲染可包括多种过程，例如但不限于，解码、过转换、拆解、排序等。

图6图示根据一些实施例信号传递3D视频内容的方法600。方法600可由媒体服务器（例如，媒体服务器116）的部件进行。在一些实施例中，媒体服务器可包括和/或访问具有存储在其上的指令的一个或多个计算机可读介质，这些指令在被执行时使媒体服务器或其部件进行方法600。

在604，媒体服务器可确定设备能力信息。在一些实施例中，媒体服务器可通过接收作为会话级信令的一部分的来自UE或设备概况服务器的信息而确定设备能力信息。

在608，媒体服务器可接收对3D视频内容的请求。在一些实施例中，该请求可根据适当的流/传输协议，例如HTTP、RTP、RTSP、DASH、MBMS、PSS、IMS_PSS_MBMS等。该请求可来自UE并且可包括统一资源定位符（URL）或请求的内容或其部分的一些其他指示符。在一些实施例中，在608处接收的请求可与设备能力信息604的确定同时、在确定之前或在确定之后发生。在一些实施例中，对设备能力信息的临时调整（例如，经由ProfDiff信令）还可连同608处的请求一起被接收。相应地，媒体服务器可基于ProfDiff信令用附加属性补充从设备概况服务器检索的概况信息或覆盖在它的设备能力概况中已经限定的属性。

在612，媒体服务器可基于说明UE处的媒体播放器的立体3D视频解码和渲染能力的设备能力信息而生成会话描述和/或元数据文件以建立流会话，例如SDP文件或媒体呈现描述（MPD）。

在616，媒体服务器可采用设备能力信息中如指示为由UE所支持的格式类型对3D视频内容编码。3D视频内容然后可流播到移动设备。

在本文描述的部件，例如UE 104、媒体服务器116和/或设备概况服务器144可使用任何适合的硬件和/或软件实现在系统中以根据期望配置。图7对于一个实施例图示示例系统700，其包括一个或多个处理器704、与处理器704中的至少一个耦合的系统控制逻辑708、与系统控制逻辑708耦合的系统存储器712、与系统控制逻辑708耦合的非易失性存储器（NVM）/存储716、与系统控制逻辑708耦合的网络接口720和/或与系统控制逻辑708耦合的输入/输出（I/O）设备732。

处理器704可包括一个或多个单核或多核处理器。处理器704可包括通用处理器和专用处理器（例如，图形处理器、应用处理器、基带处理器等）的任何组合。

对于一个实施例的系统控制逻辑708可包括任何适合的接口控制器，用于提供任何适合的接口给处理器704中的至少一个和/或与系统控制逻辑708通信的任何适合的设备或部件。

对于一个实施例的系统控制逻辑708可包括一个或多个存储器控制器，用于提供接口给系统存储器712。系统存储器712可用于加载和存储数据和/或指令，例如逻辑724。对于一个实施例的系统存储器712可包括任何适合的易失性存储器，例如适合的动态随机存取存储器（DRAM）等。

NVM/存储716可包括一个或多个有形的非暂时性计算机可读介质，用于存储数据和/或指令，例如逻辑724。NVM/存储716可包括任何适合的非易失性存储器，例如闪速存储器等，和/或可包括任何适合的非易失性存储设备，例如一个或多个硬盘驱动器（HDD）、一个或多个压缩盘（CD）驱动器和/或一个或多个数字多用途盘（DVD）驱动器等。

NVM/存储716可包括这样的存储资源，其在物理上是系统700安装在其上的设备的一部分，或者它可以能够由该设备访问但不一定是该设备的一部分。例如，可经由网络接口720通过网络访问和/或通过输入/输出（I/O）设备732访问NVM/存储716。

逻辑724在由处理器704中的至少一个执行时使系统进行在本文关于UE 104、媒体服务器116和/或设备概况服务器144描述的操作。逻辑724可另外/备选地设置在系统的其他部件中，例如在系统控制逻辑708中，并且可包括硬件、软件和/或固件部件的任何组合。

网络接口720可具有收发器722，用于提供无线电接口给系统700以通过一个或多个网络通信和/或与任何其他适合的设备通信。在各种实施例中，收发器722可与系统700的其他部件集成。例如，收发器722可包括处理器704的处理器、系统存储器712的存储器以及NVM/存储716的NVM/存储。网络接口720可包括任何适合的硬件和/或固件。网络接口720可包括多个天线，用于提供多输入多输出无线电接口。对于一个实施例的网络接口720可包括例如有线网络适配器、无线网络适配器、电话调制解调器和/或无线调制解调器。

对于一个实施例，处理器704中的至少一个可与系统控制逻辑708的一个或多个控制器的逻辑封装在一起。对于一个实施例，处理器704中的至少一个可与系统控制逻辑708的一个或多个控制器的逻辑封装在一起来形成系统级封装（SiP）。对于一个实施例，处理器704中的至少一个可集成在与系统控制逻辑708的一个或多个控制器的逻辑相同的芯片上。对于一个实施例，处理器704中的至少一个可集成在与系统控制逻辑708的一个或多个控制器的逻辑相同的芯片上来形成芯片上系统（SoC）。

在各种实施例中，I/O设备732可包括设计成使用户能够与系统700交互的用户界面、设计成使外围部件能够与系统700交互的外围部件接口和/或设计成确定涉及系统700的环境条件和/或位置信息的传感器。

在各种实施例中，用户界面可包括但不限于用于渲染3D视频的显示器（例如，液晶显示器、触摸屏显示器、自动立体显示器等）、扬声器、麦克风、一个或多个拍摄设备（例如，静物拍摄设备和/或视频拍摄设备）、闪光灯（例如，发光二极管闪光灯）和键盘。

在各种实施例中，外围部件接口可包括但不限于非易失性存储器端口、通用串行总线（USB）端口、音频插口和电力供应接口。

在各种实施例中，传感器可包括但不限于陀螺仪传感器、加速计、接近传感器、环境光传感器和定位单元。该定位单元也可以是网络接口720的一部分或与网络接口720交互来与定位网络的部件、例如全球定位系统（GPS）卫星通信。

在各种实施例中，系统700可以是移动计算设备，例如但不限于膝上型计算设备、平板计算设备、上网本、智能电话等。在各种实施例中，系统700可具有更多或更少部件和/或不同的架构。

根据本公开的一个方面，提供一种用于提供3D视频的媒体服务器，所述媒体服务器包括：用于从网络实体获得流帧封装格式属性的部件，所述流帧封装格式属性包括由无线通信网络的客户终端所支持的与通过所述客户终端上的分组交换流服务（PSS）应用所支持的传输协议的立体3D视频的流相关的帧封装格式的列表，其中传输协议是实时传输协议（RTP）或超文本传输协议（HTTP）；用于基于所述流帧封装格式属性使内容适配的部件；用于基于所述流帧封装格式属性生成会话描述或元数据文件以建立流会话的部件；以及用于将适配的内容和生成的会话描述或元数据文件传送给所述客户终端的部件。

所述帧封装格式的列表包括垂直交错帧兼容封装格式、水平交错帧兼容封装格式、并排帧兼容封装格式、上下排列帧兼容封装格式、棋盘帧兼容封装格式或时间交错的每视图全分辨率封装格式的指示。

所述列表包括分别对应于一个或多个支持的帧封装格式的一个或多个整数值的列表。

所述一个或多个整数值的列表包括：1，对应于垂直交错帧兼容封装格式；2，对应于水平交错帧兼容封装格式；3，对应于并排帧兼容封装格式；4，对应于上下排列帧兼容封装格式；0，对应于棋盘帧兼容封装格式；或5，对应于时间交错的每视图全分辨率封装格式。

所述传输协议包括RTP。

所述传输协议包括HTTP。

所述会话描述或元数据文件是实时流协议（RTSP）会话描述协议（SDP）文件或通过超文本传输协议的动态自适应流（DASH）媒体呈现描述（MPD）文件。

内容是3D视频内容并且所述媒体服务器进一步包括：

基于所述流帧封装格式属性将所述3D视频内容转码或转换所述3D视频内容的格式的部件。

所述网络实体是设备概况服务器或包括所述客户终端的用户装置。

根据本公开另一方面，提供一种用于提供3D视频的媒体服务器，所述媒体服务器包括：用于从网络实体获得帧封装格式属性的部件，所述帧封装格式属性包括由用户装置支持的与能够包括在第三代合作伙伴计划文件格式（3GP）文件中并且由所述用户装置上的分组交换流服务（PSS）应用所处理的立体3D视频相关的一个或多个帧封装格式的列表；用于基于所述帧封装格式属性将内容传送给所述用户装置的部件。

所述帧封装格式的列表包括并排帧封装格式或上下排列帧封装格式的指示。

所述列表包括分别对应于一个或多个帧封装格式的一个或多个整数值的列表。

所述一个或多个整数值的列表包括对应于并排帧封装格式的3或对应于上下排列帧封装格式的4。

根据本公开再另一方面，提供一种用于查看3D视频的用户装置UE，所述UE包括：媒体播放器，用于对由UE无线接收的立体三维（3D）视频内容解码并且在所述UE的显示器上渲染；以及内容管理模块，用于：确定设备能力信息，其包括所述媒体播放器支持的3D视频编解码和格式；将一个或多个消息传送到媒体服务器或设备概况服务器，所述一个或多个消息包括所述设备能力信息；将至少一个消息传送到媒体服务器，所述至少一个消息包括对立体3D视频内容的请求以及关于所述设备能力信息的任何临时调整。

所述设备能力信息具有3D格式属性，其包括媒体播放器电路所支持的格式类型。

所述格式类型是对应于帧兼容封装格式或每视图全分辨率封装格式的帧封装格式类型、联播格式类型或二维加辅助格式类型。

所述格式类型是帧封装格式类型，其是具有用于指示垂直交错、水平交错、并排、上下排列或棋盘的值的帧兼容封装格式。

所述3D视频内容经由分组交换流服务由移动设备无线接收。

所述内容管理模块在服务发现期间在会话发起协议（SIP）SUBSCRIBE消息中传送设备能力信息到互联网协议多媒体核心网络子系统。

在服务发现之后，所述内容管理模块使用SIP信令来更新支持的3D视频编解码和格式的集合。

所述媒体播放器进一步配置成：接收包括请求的立体3D视频内容的流，其中所述媒体播放器进一步配置成根据通过超文本传输协议的动态自适应流（DASH）协议、分组交换流（PSS）协议或基于互联网协议多媒体子系统（IMS）的PSS和多媒体广播/多播（MBMS）服务协议来接收所述流。

所述媒体播放器进一步配置成接收与所述流关联的会话描述协议（SDP）文件或媒体呈现描述（MPD）元数据文件。

UE进一步包括：自动立体显示器，用于在所述媒体播放器的控制下渲染所述3D视频内容。

根据本公开再另一方面，提供一种用于便于呈现3D视频的设备概况服务器，所述设备概况服务器用于：获得对涉及用户装置的3D能力信息的请求；以及提供流帧封装格式属性，其包括由所述用户装置支持的与通过所述用户装置上的分组交换流服务（PSS）应用所支持的传输协议的立体3D视频的流相关的帧封装格式的列表，其中所述传输协议是实时传输协议（RTP）或超文本传输协议（HTTP）。

所述帧封装格式的列表包括垂直交错帧兼容封装格式、水平交错帧兼容封装格式、并排帧兼容封装格式、上下排列帧兼容封装格式、棋盘帧兼容封装格式或时间交错的每视图全分辨率封装格式的指示。

所述传输协议包括RTP。

所述传输协议包括HTTP。

所述列表包括分别对应于一个或多个支持的帧封装格式的一个或多个整数值的列表。

所述一个或多个整数值的列表包括：1，对应于垂直交错帧兼容封装格式；2，对应于水平交错帧兼容封装格式；3，对应于并排帧兼容封装格式；4，对应于上下排列帧兼容封装格式；0，对应于棋盘帧兼容封装格式；或5，对应于时间交错的每视图全分辨率封装格式。

尽管已经在本文中为了描述的目的说明和描述某些实施例，用于实现相同目的所计算的许多种替代和/或等同实施例或实现可代替示出并且描述的实施例，而不偏离本公开的范围。该申请意在涵盖本文论述的实施例的任何适配或变化。因此，明确地规定本文描述的实施例仅由权利要求和其的等同物限制。

Claims (28)

1.一种要由媒体服务器采用的装置，所述装置包括：

用于获得与无线通信网络的用户设备UE关联的第三代合作伙伴3GP-通过超文本传输协议的动态自适应流DASH简档的部件，所述3GP-DASH 简档用于指示与所述UE支持的立体三维3-D视频内容关联的一个或多个约束；

用于识别符合所获得的3GP-DASH简档并且能够用于传递至所述UE的第一媒体表示的部件；

用于获得媒体表示描述MPD的部件，所述媒体表示描述MPD包括与所识别的第一媒体表示关联的信息和不符合所获得的3GP-DASH简档的第二媒体表示所关联的信息；

用于基于所获得的3GP-DASH 简档来修改所述MPD以排除不符合所获得的3GP-DASH简档的所述第二媒体表示所关联的信息的部件；以及

用于传送所修改的MPD至所述UE的部件。

2.如权利要求1所述的装置，其中所述3GP-DASH简档是多视图立体3D视频简档，用于指示所述UE支持多视图立体3D视频内容，其包括暂时交织的基本视图和非基本视图。

3.如权利要求1所述的装置，其中所述3GP-DASH简档是帧封装立体3D视频简档，用于指示所述UE支持帧封装3D视频内容，其包括在相同帧中封装的基本视图和非基本视图。

4.如权利要求3所述的装置，进一步包括用于在所修改的MPD中包括帧封装元素以指示用于所述媒体表示的DASH传递的帧封装格式的类型的部件。

5.如权利要求4所述的装置，其中所述帧封装元素指示所使用的帧封装格式的类型是垂直交织帧兼容封装格式、水平交织帧兼容封装格式、并排帧兼容封装格式、上下帧兼容封装格式或者棋盘帧兼容封装格式。

6.如权利要求1所述的装置，其中所修改的MPD包括与所述第一媒体表示的个体DASH表示关联的一个或多个属性，其中所述个体DASH表示包括与所述第一媒体表示的不同时间段关联的DASH表示。

7.如权利要求6所述的装置，其中所修改的MPD包括符合所述3GP-DASH简档的第一媒体表示的DASH表示所关联的属性，并且排除不符合所述3GP-DASH简档的所述第一媒体表示的一个或多个表示所关联的属性。

8.如权利要求1-7中任一项所述的装置，进一步包括：

用于获得由所述UE传送的对于与所述第一媒体表示关联的DASH表示的超文本传输协议HTTP GET或部分GET请求的部件，以及

用于响应于所述HTTP GET 或部分GET请求来发送所述DASH表示给所述UE的部件。

9.如权利要求8所述的装置，其中所述DASH表示经由多媒体广播和多播服务（MBMS）被发送到所述UE。

10.如权利要求1-7中任一项所述的装置，其中所述3GP-DASH简档从设备简档服务器来获得。

11.一种要由用户设备UE采用的装置，所述装置包括：

内容管理模块，用于：

经由长期演进LTE无线通信网络传送与所述UE关联的第三代合作伙伴3GP-通过超文本传输协议DASH的动态自适应流简档的标识符，所述3GP-DASH简档用于指示与所述UE支持的立体三维3-D视频内容关联的一个或多个约束；

接收媒体表示描述MPD，所述媒体表示描述MPD包括符合所述3GP-DASH简档的第一媒体表示所关联的信息，并且排除不符合所述3GP-DASH简档的一个或多个其他媒体表示所关联的信息；以及

传送对于与所述第一媒体表示关联的DASH表示的超文本传输协议HTTP GET 或部分GET请求；以及

媒体播放器，耦合至所述内容管理模块，所述媒体播放器用于接收并且渲染所述DASH表示。

12.如权利要求11所述的装置，其中所述3GP-DASH简档是多视图立体3D视频简档，用于指示所述UE支持多视图立体3D视频内容，其包括暂时交织的基本视图和非基本视图。

13.如权利要求11所述的装置，其中所述3GP-DASH简档是帧封装立体3D视频简档，用于指示所述UE支持帧封装3D视频内容，其包括在相同帧中封装的基本视图和非基本视图。

14.如权利要求13所述的装置，其中所述MPD包括帧封装元素，用于指示用于所述第一媒体表示的帧封装格式的类型。

15.如权利要求14所述的装置，其中所述帧封装元素指示所使用的帧封装格式的类型是垂直交织帧兼容封装格式、水平交织帧兼容封装格式、并排帧兼容封装格式、上下帧兼容封装格式或棋盘帧兼容封装格式。

16.如权利要求11所述的装置，其中所述MPD包括与所述第一媒体表示的个体DASH表示关联的一个或多个属性，其中所述个体表示包括与所述媒体表示的不同时间段关联的表示。

17.如权利要求11所述的装置，其中所述UE用于经由多媒体广播和多播服务（MBMS）接收所述DASH表示。

18.一种用户设备，包括如权利要求11-17中任一项所述的装置，进一步包括自动立体显示器，耦合到所述媒体播放器，用于显示所渲染的DASH表示。

19.一种媒体服务器，包括：

内容管理电路，用于：

获得与无线通信网络的用户设备UE关联的第三代合作伙伴3GP-通过超文本传输协议DASH的动态自适应流简档，其中所述3GP-DASH简档是多视图立体三维3D视频简档，用于指示所述UE支持多视图立体3D视频内容，其包括暂时交织的基本视图和非基本视图，或者所述3GP-DASH简档是帧封装立体3D视频简档，用于指示所述UE支持帧封装3D视频内容，其包括在相同帧中封装的基本视图和非基本视图；以及

基于所获得的3GP-DASH简档生成媒体表示描述MPD，所述媒体表示描述MPD包括符合所述3GP-DASH简档的媒体表示的第一DASH表示所关联的一个或多个属性，并且排除不符合所述3GP-DASH简档的媒体表示的第二DASH表示所关联的属性；以及

传送所生成的MPD至所述UE，以及

内容传递电路，耦合到所述内容管理电路，用于传递与所述第一DASH表示关联的3D视频内容至所述UE。

20.如权利要求19所述的媒体服务器，其中所述MPD包括帧封装元素，用于指示用于所述第一DASH表示的帧封装格式的类型。

21.如权利要求20所述的媒体服务器，其中所述帧封装元素指示所使用的帧封装格式的类型是垂直交织帧兼容封装格式、水平交织帧兼容封装格式、并排帧兼容封装格式、上下帧兼容封装格式或棋盘帧兼容封装格式。

22.如权利要求19-21中任一项所述的媒体服务器，其中所述内容管理电路用于从所述UE接收标识符，其中所述内容管理电路用于基于所述标识符从设备简档服务器获得所述3GP-DASH简档。

23.一种要由用户设备UE采用的装置，所述装置包括：

用于经由长期演进LTE无线通信网络传送与所述UE关联的第三代合作伙伴3GP-通过超文本传输协议DASH的动态自适应流简档的标识符的部件，所述3GP-DASH简档用于指示与所述UE支持的立体三维3-D视频内容关联的一个或多个约束；

用于接收媒体表示描述MPD的部件，所述媒体表示描述MPD包括符合所述3GP-DASH简档的媒体表示的第一个体DASH表示所关联的一个或多个属性并且排除不符合所述3GP-DASH简档的所述媒体表示的第二个体DASH表示所关联的一个或多个属性；

用于传送对于所述媒体表示的所述第一个体DASH表示的超文本传输协议HTTP GET或部分GET请求的部件；

用于获得所述第一个体DASH表示的部件；以及

用于渲染所获得的所述第一个体DASH表示的部件。

24.如权利要求23所述的装置，其中所述3GP-DASH简档是多视图立体3D视频简档，用于指示所述UE支持多视图立体3D视频内容，其包括暂时交织的基本视图和非基本视图。

25.如权利要求23所述的装置，其中所述3GP-DASH简档是帧封装立体3D视频简档，用于指示所述UE支持帧封装3D视频内容，其包括在相同帧中封装的基本视图和非基本视图。

26.如权利要求25所述的装置，其中所述MPD包括帧封装元素，用于指示用于所述媒体表示的帧封装格式的类型。

27.如权利要求26所述的装置，其中所述帧封装元素指示所使用的帧封装格式的类型是垂直交织帧兼容封装格式、水平交织帧兼容封装格式、并排帧兼容封装格式、上下帧兼容封装格式或棋盘帧兼容封装格式。

28.如权利要求23所述的装置，其中所述MPD排除不符合所述3GP-DASH简档的一个或多个其他媒体表示所关联的信息。