[go: up one dir, main page]

CN113826402A - 用于光场的多路复用渲染的系统和方法 - Google Patents

用于光场的多路复用渲染的系统和方法 Download PDF

Info

Publication number
CN113826402A
CN113826402A CN202080035273.3A CN202080035273A CN113826402A CN 113826402 A CN113826402 A CN 113826402A CN 202080035273 A CN202080035273 A CN 202080035273A CN 113826402 A CN113826402 A CN 113826402A
Authority
CN
China
Prior art keywords
sub
views
light field
view
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080035273.3A
Other languages
English (en)
Inventor
塔图·V·J·哈尔维艾宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Publication of CN113826402A publication Critical patent/CN113826402A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据一些实施例的示例方法可以包括：接收标识多视图视频的多个表示的媒体清单文件，所述多个表示中的至少第一表示包括视图的第一子采样，且所述多个表示中的至少第二表示包括不同于视图的所述第一子采样的视图的第二子采样；从所述多个表示中选择一所选择的表示；取回所选择的表示；以及渲染所选择的表示。

Description

用于光场的多路复用渲染的系统和方法
相关申请的交叉引用
本申请是2019年3月26日提交的题为“System and Method for MultiplexedRendering of Light Fields(用于光场的多路复用的系统和方法)”的美国临时专利申请系列号62/823,714的非临时提交，并且按照35U.S.C.§119(e)而要求其权益，该美国临时专利申请通过引用而被整体结合于此。
背景技术
正在出现许多能够实现视频内容的可调节视点观看的显示技术。由这种可调节视点显示器使用的光场可以包括大量数据。光场数据的处理可能成为网络的瓶颈。
发明内容
根据一些实施例的示例方法可以包括：接收标识多视图(multi-view)视频的多个表示的媒体清单文件，所述多个表示中的至少第一表示包含视图的第一子采样，且所述多个表示中的至少第二表示包括不同于视图的所述第一子采样的视图的第二子采样，从所述多个表示中选择所选择的表示；取回(retrieving)所选择的表示；以及渲染所选择的表示。
对于示例方法的一些实施例，所述多个表示中的每个表示可以具有朝向特定相应方向的相应视图密度。
对于示例方法的一些实施例，所述媒体清单文件可以针对所述多个表示中的一个或多个表示来标识所述相应视图密度和所述特定相应方向。
对于示例方法的一些实施例，视图的所述两个或更多个不同子采样可至少关于朝向特定方向的视图的所述子采样的视图密度而不同。
示例方法的一些实施例还可以包括：跟踪所述用户的所述观看方向，其中选择所选择的表示可包含选择视图的所述两个或更多个子采样中的视图子采样，所选择的视图的子采样具有朝向所述用户的所述跟踪的观看方向的高视图密度。
示例方法的一些实施例还可以包括：跟踪所述用户的观看方向，其中选择所选择的表示可以包括基于所跟踪的用户的观看方向来选择所选择的表示。
示例方法的一些实施例还可以包括：获得所述用户的所述观看方向，其中选择所述选择的表示包括基于所述获得的所述用户的观看方向选择所述选择的表示。
对于示例方法的一些实施例，选择所选择的表示可以基于用户的位置。
对于示例方法的一些实施例，选择所选择的表示可以基于带宽约束。
对于示例方法的一些实施例，所述多个表示中的至少一个表示可以包括针对第一观看方向比针对第二观看方向更高密度的视图。
示例方法的一些实施例可以进一步包括：使用所渲染的表示来生成用于显示的信号。
示例方法的一些实施例可以进一步包括：跟踪用户的头部位置，其中选择所选择的表示可以基于用户的头部位置。
示例方法的一些实施例可以进一步包括：跟踪用户的注视方向，其中选择所选择的表示可以基于用户的注视方向。
示例方法的一些实施例可以进一步包括：使用用户的注视方向来确定用户的视点，其中选择所选择的表示可以包括基于用户的视点来选择所选择的表示。
示例方法的一些实施例可以进一步包括：使用用户的注视方向确定用户的视点；以及选择所述多视图视频的视图的至少一个子采样，其中选择所述视图的所述至少一个子采样可以包括：选择在所述用户的所述视点的阈值视点角度内的所述视图的至少一个子采样。
示例方法的一些实施例还可以包括：对至少一个视图进行内插(interpolating)，其中选择所选择的表示可以从所述多个表示和所述至少一个视图中选择所选择的表示。
对于所述示例方法的一些实施例，其中，所述媒体清单文件可以包括一个或多个视图的优先级数据，并且其中，内插所述至少一个视图使用所述优先级数据。
对于所述示例方法的一些实施例，其中，所述媒体清单文件可以包括一个或多个视图的优先级数据，并且其中，选择所述选择的表示使用所述优先级数据。
示例方法的一些实施例还可以包括：获得与所选择的表示相关联的光场内容；解码所述光场内容的帧；组合所述帧中表示的两个或更多个视图以生成组合视图合成结果；以及将该组合视图合成结果渲染到显示器。
对于示例方法的一些实施例，所述帧可以包括与所选择的表示相对应的两个或更多个视图的帧打包表示。
对于示例方法的一些实施例，对于所述多个表示中的至少一个表示，所述媒体清单文件可以包括与所述光场内容的两个或更多个视图对应的信息。
对于示例方法的一些实施例，选择所选择的表示可以基于以下标准中的至少一者来选择所述表示：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
对于示例方法的一些实施例，选择所选择的表示可以包括：预测用户的视点；以及基于所预测的用户视点来选择所选择的表示。
示例方法的一些实施例还可以包括：获得与所选择的表示相关联的光场内容；从所获得的光场内容生成所述光场内容的所生成的视图；以及将所生成的视图渲染到显示器。
对于示例方法的一些实施例，生成光场内容的所生成的视图可以包括：解码所述光场内容的帧；以及组合在所述帧中表示的两个或更多视图以生成所生成的视图，其中获得的光场内容可以包括所述光场内容的所述帧。
示例方法的一些实施例还可以包括：解码光场内容的帧；以及组合在所述帧中表示的两个或更多个视图以生成组合视图合成结果，其中所述多视图视频的所述多个表示可以包括所述光场内容的视图的多个子采样，并且其中渲染所选择的表示可以包括向显示器渲染所述组合视图合成结果。
示例方法的一些实施例还可以包括：从服务器请求所述媒体清单文件；以及请求与所选择的视图子集相关联的所述光场内容，其中，获得与所选择的视图子集相关联的所述光场内容可以包括执行从由以下组成的组中选择的过程：从所述服务器取回与所选择的视图子集相关联的光场内容，从所述服务器请求与所选择的视图子集相关联的光场内容，以及接收与所选择的视图子集相关联的光场内容。
对于示例方法的一些实施例，组合所述帧中表示的两个或更多个视图可以包括使用视图合成技术。
对于示例方法的一些实施例，选择视图的多个子采样中的一个可以基于以下标准中的至少一者来选择所述视图子集：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以包括：预测用户的视点；以及基于所预测的用户视点来选择所述视图子集。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收媒体清单文件，所述媒体清单文件包括用于光场视频内容的视图的多个子采样表示的信息；选择所述多个子采样表示中的一个；获得所选择的子采样表示；使用所述清单文件中的分别对应于来自所述选择的子采样表示的一个或多个子视图的所述信息，对所述一个或多个视图进行内插；从所述一个或多个子视图合成一个或多个合成视图；以及显示所述一个或多个合成视图。
示例方法的一些实施例还可以包括：估计可用于流式传输(streaming)所述光场视频内容的带宽，使得选择所述多个子采样表示中的所述子采样表示是基于所估计的带宽的。
示例方法的一些实施例还可以包括：跟踪用户的位置，使得选择所述多个子采样表示中的所述子采样表示是基于用户的位置的。
示例方法的一些实施例还可以包括：向服务器请求所述光场视频内容，其中获得所选择的子采样表示可以包括执行从由以下各项组成的组中选择的过程：从所述服务器取回所选择的子采样表示，从所述服务器请求所选择的子采样表示，以及接收所选择的子采样表示。
对于示例方法的一些实施例，所述清单文件中的所述信息可包括两个或更多个视图的位置数据。
对于示例方法的一些实施例，所述清单文件中的所述信息可以包括用于所述多个视图中的一个或多个视图的内插优先级数据，并且选择所述多个子采样表示中的一个可以基于用于所述多个视图中的一个或多个视图的所述内插优先级数据。
示例方法的一些实施例还可以包括：跟踪用户的头部位置，其中选择多个子采样表示中的一个子采样表示是基于用户的头部位置。
示例方法的一些实施例还可以包括：跟踪用户的注视方向，其中选择多个子采样表示中的一个可以基于用户的注视方向。
示例方法的一些实施例还可以包括：从所述用户的注视方向确定所述用户的视点；以及从包括一个或多个内插视图和所选子采样表示的组中选择所述光场视频内容的一个或多个子视图，其中从一个或多个内插子视图合成一个或多个合成视图可包括：使用所述一个或多个所选子视图和用户视点，合成所述光场的所述一个或多个合成视图。
示例方法的一些实施例还可以包括：显示所述光场的所述合成视图。
对于示例方法的一些实施例，选择所述光场的一个或多个子视图可以包括：选择用户的视点的阈值视点角度内的一个或多个子视图。
示例方法的一些实施例还可以包括：从所述用户的注视方向确定所述用户的视点，其中选择所述多个子采样表示中的一个子采样表示可以包括：基于所述用户的视点来选择所述子采样表示。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收包括用于光场内容的视图的多个子采样的信息的媒体清单文件；选择视图的所述多个子采样中的一个；获得与所选择的视图子采样相关联的光场内容；解码所述光场内容的帧；组合所述帧中表示的两个或更多个视图以生成组合视图合成结果；以及将所述组合视图合成结果渲染到显示器，其中所获得的光场内容包括所述光场内容的所述帧。
示例方法的一些实施例还可以包括：从服务器请求所述媒体清单文件；以及请求与所选择的视图子集相关联的所述光场内容，其中，获得与所选择的视图子集相关联的所述光场内容可以包括执行从由以下组成的组中选择的过程：从所述服务器取回与所选视图子集相关联的所述光场内容，从所述服务器请求与所选视图子集相关联的所述光场内容，以及接收与所选视图子集相关联的所述光场内容。
对于示例方法的一些实施例，所述帧可以包括与所选择的视图子集相对应的两个或更多个视图的帧打包表示。
对于示例方法的一些实施例，所述媒体清单文件可包括与对应于所选视图子集的两个或更多个视图对应的信息。
对于示例方法的一些实施例，对于视图的多个子采样中的至少一者，所述媒体清单文件可以包括与所述光场内容的两个或更多个视图对应的信息。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以包括解析所述媒体清单文件中的用于光场内容的视图的所述多个子采样的所述信息。
对于示例方法的一些实施例，组合所述帧中表示的两个或更多个视图可以包括使用视图合成技术。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以基于以下标准中的至少一者来选择所述视图子集：注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以包括：预测用户的视点；以及基于所预测的用户视点来选择所述视图子集。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收包括用于光场内容的视图的多个子采样的信息的媒体清单文件；选择视图的所述多个子采样中的一个；获得与所选择的视图子集相关联的光场内容；从所获得的光场内容生成视图；以及将所生成的视图渲染给显示器。
对于示例方法的一些实施例，从所获得的光场内容生成视图可以包括：内插来自与所选视图子集相关联的所述光场内容的所述视图，以生成所生成的视图，该内插通过使用所述清单文件中分别对应于所述视图的信息而进行。
对于示例方法的一些实施例，从所获得的光场内容生成一个或多个视图可以包括：解码所述光场内容的帧；以及组合在所述帧中表示的两个或更多视图以生成所生成的视图，其中所获得的光场内容可以包括所述光场内容的所述帧。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收标识多视图视频的视图的多个子采样的媒体清单文件，所述视图的多个子采样包括两个或更多个不同密度的视图；从视图的所述多个子采样中选择所选择的子采样；取回所选择的子采样；以及渲染所选择的子采样。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：渲染包括光场视频内容的全阵列的视图的表示；发送所渲染的视图的全阵列表示；获取客户端的当前视点；使用所述当前视点和视点运动模型来预测未来视点；对所述光场视频内容的视图的多个子采样表示进行优先化排序；渲染光场视频内容的视图的经优先化排序的多个子采样表示；以及发送视图的经优先化排序的多个子采样表示。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：选择光场视频内容的多个子视图；产生用于所述光场视频内容的所述多个子视图中的每一个的流数据；以及产生包括用于所述光场视频内容的所述多个子视图中的每一个的所述流数据的媒体清单文件。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收对光场视频内容的信息的请求；当所述请求是新会话请求时，发送媒体清单文件，该媒体清单文件包括所述光场视频内容的视图的多个子采样表示的信息；以及当所述请求是子集数据片段请求时，发送包括所述光场视频内容的子集的数据片段。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例信号可以包括一信号，该信号携带包括光场视频内容的全阵列的视图表示和所述光场视频内容的视图的多个子采样表示。
根据一些实施例的示例信号可以包括一信号，该信号携带光场视频内容的多个子视图。
根据一些实施例的示例信号可以包括一信号，该信号携带光场视频内容的多个子视图中的每一个的流数据。
根据一些实施例的示例信号可以包括一信号，该信号携带光场视频内容的视图的多个子采样表示的信息。
根据一些实施例的示例信号可以包括一信号，该信号携带包括光场视频内容的子集的数据片段。
附图说明
图1A是根据一些实施例的示例通信系统的示例系统的系统图。
图1B是根据一些实施例的示例系统的系统图，该系统图示了可以在图1A所示的通信系统内使用的示例无线发射/接收单元(WTRU)。
图2是示出了根据一些实施例的使用5×5子视图渲染的示例全光场的示意图。
图3是示出了根据一些实施例的使用3×3子视图的示例子采样的示意图。
图4是示出了根据一些实施例的基于估计视点而被指派优先级的示例5×5子视图的示意图。
图5是示出了根据一些实施例的基于更新的视点运动模型的示例性调整的子视点优先级的示意图。
图6A是示出了根据一些实施例的对应于图2的示例性全图像5×5阵列光场配置的图示。
图6B是示出了根据一些实施例对应于图3的示例均匀子采样的3×3阵列光场配置的图示。
图6C是示出了根据一些实施例的对应于图4的示例中心偏置子采样3×3阵列光场配置的图示。
图6D是示出了根据一些实施例对应于图5的示例性左偏置子采样3×3阵列光场配置的图示。
图7是示出了根据一些实施例的光场子视图的示例编号配置的示意图。
图8是示出了根据一些实施例的示例MPEG-DASH媒体呈现描述(MPD)文件的图示。
图9是示出了根据一些实施例的具有光场配置元素的示例MPD文件的图示。
图10是示出了根据一些实施例的用于多路复用光场渲染的一组示例接口的系统图。
图11是示出了根据一些实施例的用于利用示例客户端拉模型的复用光场渲染的示例过程的消息序列图。
图12是示出了根据一些实施例的利用示例服务器推模型的用于复用光场渲染的示例过程的消息序列图。
图13是示出了根据一些实施例的用于利用示例客户端拉模型的复用光场渲染的示例过程的消息序列图。
图14是示出了根据一些实施例的用于内容服务器的示例过程的流程图。
图15是示出了根据一些实施例的用于观看客户端的示例过程的流程图。
图16是示出了根据一些实施例的以5×5子视图渲染的示例光场的示意图。
图17是示出了根据一些实施例的用3×3子视图渲染的示例光场的示意图。
图18是示出了根据一些实施例的用2×3子视图渲染的示例光场的示意图。
图19A是示出了根据一些实施例对应于图16的示例5×5阵列光场配置的图。
图19B是示出了根据一些实施例对应于图17的示例3×3阵列光场配置的图。
图19C是示出了根据一些实施例对应于图18的示例2×3阵列光场配置的图。
图20是示出了根据一些实施例使用3×3子视图的示例子采样的示意图。
图21是示出了根据一些实施例的光场子视图的示例编号配置的示意图。
图22是示出了根据一些实施例的示例MPEG-DASH媒体呈现描述(MPD)文件的图。
图23是示出了根据一些实施例的具有光场配置元素的示例MPD文件的图。
图24是示出了根据一些实施例的用于适配(adaptive)光场流式传输的一组示例接口的系统图。
图25是示出了根据一些实施例的用于使用估计带宽和视图内插的适配光场流式传输的示例过程的消息序列图。
图26是示出了根据一些实施例的用于使用预测的视图位置的适配光场流式传输的示例过程的消息序列图。
图27是示出了根据一些实施例的用于内容服务器预处理的示例过程的流程图。
图28是示出了根据一些实施例的用于内容服务器运行时(run-time)处理的示例过程的流程图。
图29是示出了根据一些实施例的用于观看客户端的示例过程的流程图。
图30是示出了根据一些实施例的用于观看客户端的示例过程的流程图。
图31是示出了根据一些实施例的用于观看客户端的示例过程的流程图。
图32是示出了根据一些实施例的用于观看客户端的示例过程的流程图。
在各个附图中描绘并结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来给出的。因此，关于特定附图“描绘了什么”、“特定附图中的特定元素或实体“是”或“具有”什么的任何和所有陈述或其他指示，以及任何和所有类似陈述—其可能是孤立的且在上下文之外被解读为绝对的且因此是限制性的—可以仅被适当地解读为其前建设性地加有诸如“在至少一个实施例中，…”之类的前缀。为了简洁和清楚地呈现，在详细描述中并不重复这个隐含的前缀。
用于实施例的实现的示例网络
在本文描述的一些实施例中，无线发射/接收单元(WTRU)可以被用作例如观看客户端。
图1A是示出了可以实施一个或多个所公开的实施例的示例通信系统100的示图。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 106、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106来接入因特网110。
RAN 104/113可以与CN 106进行通信，其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN 104/113和/或CN 106可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，所述其他网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了例示WTRU 102的系统图示。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0003349145380000201
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减少和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
鉴于图1A-1B和图1A-1B的相应描述，可以由一个或多个仿真设备(未示出)执行本文关于以下各项中的一者或一者以上描述的功能中的一者或一者以上或全部：WTRU 102a-d、基站114a-b和/或这里描述的任何其他设备(一个或多个)。所述仿真设备可以是被配置为仿真这里描述的功能中的一个或多个或全部的一个或多个设备。例如，所述仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，所述一个或多个仿真设备可以执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。所述一个或多个仿真设备可以执行一个或多个或所有功能，同时被临时实现/部署为有线和/或无线通信网络的一部分。所述仿真设备可出于测试目的而直接耦合到另一设备，且/或可使用空中无线通信执行测试。
所述一个或多个仿真设备在不是作为有线和/或无线通信网络的一部分来实现/部署时，可以执行一个或多个功能(这其中包括所有)功能。例如，仿真设备可以在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用经由RF电路(例如，其可以包括一个或多个天线)的直接RF耦合和/或无线通信来发送和/或接收数据。
具体实施方式
光场产生大量数据，其可以包括对从空间中的点发出的在一组方向上流动的光的量的描述。作为3D场景的表示的高保真光场可能包含大量数据。为了支持实时传输和可视化，可能需要高效的数据分发优化方法，并且可以减少渲染和传输的光场数据的量。
为了压缩传统的2D视频，已经开发了各种无损和有损比特率降低和压缩方法。除了当前的时空压缩方法之外，一类比特率降低方法整体地发送在时间上多路复用的信息的部分。对于CRT显示器，多路复用被广泛地用于模拟TV传输中的隔行扫描图像行的格式。
另一类压缩算法是各种预测方法，其通常可以类似地用于传输侧(编码器或服务器)和接收侧(解码器)两者中。这些预测可以是空间的(帧内)或时间的(帧间)。上述方法中的一些也已经用于光场。作为示例，以下期刊论文描述了光场渲染的主观质量如何受到简单的质量切换和停止(帧冻结)方法以及在传送比特率、光场角分辨率和空间分辨率之间的相关折衷之间的平衡的影响：Kara,Peter A.等人,Evaluation of the Concept ofDynamic Adaptive Streaming of Light Field Video(光场视频的动态适配流式传输的概念的评估),IEEE TRANSACTIONS ON BROADCASTING(2018)。
通常，将预测编码方法应用于光场的实时传输的方法仍然很少。光场压缩的示例在以下期刊论文中被讨论：Ebrahimi,Touradj等人,JPEG Pleno:Toward an EfficientRepresentation of Visual Reality(为了有效地表示视觉现实),23:4IEEE MULTIMEDIA 14-20(2016年10-12月)。该文章描述了现有的多视图编码方法(例如，MPEG HEVC或3D HEVC)可以如何用于光场的压缩。3D HEVC是HEVC的用于支持深度图像的扩展。
H.264MVC和后来的MFPEG HEVC(H.265)及其衍生物支持几个重要的3D功能。这些包括观看外部3D显示器上的内容，其将一组视点投影到空间中的不同角方向上。为此，通常可以发送和解码整个3D信息。上述标准还支持使用包括HMD的传统2D显示器的动态视点和运动视差，但是在这些应用中，接收一个或几个时变用户视点的完整的空间视图集可能不是最佳的。
H.264MVC、HEVC和3D HEVC标准可以用于光场数据的编码。传统的和常用的光场格式是视图矩阵(整体(integral)格式)，其将场景的不同视点表示为来自相邻视点的2D视图的矩阵/镶嵌图。例如，HEVC标准支持多达1024个多视图，其可以应用于由多个子视图表示的光场。
MPEG视频编解码器可以用于压缩多视图格式的光场。在这些编解码器中，网络抽象层(NAL)定义了上层数据结构，但是也导致了随时间推移对子视图冗余的利用的限制。特别地，根据以下期刊论文，该NAL结构不允许从在不同时刻的另一子视图图片预测在给定时刻的子视图图片：Vetro,Anthony等人,Overview of the Stereo and Multiview VideoCoding Extensions of the H.264/MPEG-4 AVC Standard(H.264/MPEG-4AVC标准的立体声和多视图视频编码扩展的概述),99:4PROC.IEEE 1-15(2011年4月)(“Vetro”)。此外，出于后向兼容性的原因，Vetro被理解为表示压缩MVC多视图必须包括基本视图比特流。在不使用基本视图或仅不时地使用基本视图的使用场景中，这种情况导致在传输期间过度使用带宽。
在现有的多视图编码标准中，如Sullivan,Gary J.等人,StandardizedExtensions of High Efficiency Video Coding(HEVC)(高效视频编码(HEVC)的标准化扩展),7:6IEEE J.SELECTED TOPICS IN SIGNAL PROC.1001-16(2013年12月)中所讨论的，即使正在观看特定的子视图，所有视图通常也需要被解码。相应地，一次仅解码一个子视图可能是不可能的，除非该子视图是强制性的基本视图。
期刊论文Kurutepe,Engin等人,Client-Driven Selective Streaming ofMultiview Video for Interactive 3DTV(用于交互式3DTV的客户端驱动的多视图视频的选择性流式传输),17:11IEEE TRANS.ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY 1558-65(2007)(“Kurutepe”)提出了对MVC结构的修改，以允许多视图视频的各个视图作为增强层被分发。增强层与包含用于多视图视频的所有视图的低比特率空间下采样帧的MVC基本层链接。这样，所提出的备选MVC结构被理解为分发所有视图，但是仅作为低质量版本，而与标准MVC相反，单个视图或视图对高分辨率版本可以被选择性地下载作为增强层。除了提出对MVC结构的修改之外，Kurutepe还描述了根据从所收集的头部跟踪数据推断的未来的预测用户头部位置来预取视图。
对于大数据文件的分发，端到端(P2P)分发模型提供了对严格的客户端-服务器模型的稳健替换，减轻了服务器连接和带宽要求，因为客户端在所有其它客户之间共享它们已经下载的数据的部分。P2P分发也已经考虑用于视觉内容分发。以下文章提出了适配P2P多视图内容分发解决方案：Ozcinar等人,Adaptive 3D Multi-View Video StreamingOver P2P Networks(P2P网络上的适配3D多视图视频流式传输),CONFERENCE PROCEEDINGS OF2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP)2462-66(2014)(“Ozcinar”)以及Gürler,C.Goktug&Tekalp,Murat,Peer-to-Peer System Design for Adaptive 3D VideoStreaming(用于适配3D视频流式传输的端到端统设计),51:5IEEE COMM.108-114(2013)(“Gürler”)。在所提出的方法中，连接到流式传输会话的所有客户端都连接到网状网络中，其中每个客户端从服务器或网状网络中的任何客户端下载缺失的内容片段，同时还允许其他客户端下载它们已经下载的片段。跟踪器被用于收集和共享关于每个客户端上的可用内容片段的信息。Gürler提出了两种多视图适配方法变型，这两种变型都通过在从之前的关于立体视图进行的不对称图像质量研究的观察之后，不对称地降低多视图内容的单独子视图之间的图像质量来执行适配。Ozcinar和Gürler都讨论了与多视图内容的彩色图像一起分发深度信息。Ozcinar提出了附加元数据的分发，该附加元数据描述了在网络拥塞的情况下预先选择丢弃哪些多视图图像下载，作为用于在客户端侧处理适配的实际机制。实验结果表明，在拥塞下，使用所提出的适配方案的P2P多视图流式传输的鲁棒性显著增加。
除了产生高分辨率子视图的相机阵列之外，透镜阵列光学器件可以用于以微透镜格式产生光场图像的捕获中。如果对光场使用微透镜格式，则在压缩之前，内容可以被转换为多视图光场(参见JPEG Pleno)，并且可以被转换回接收机使用的微透镜格式。
视频序列的分辨率和帧速率可以被适配为使得能够经由DASH协议进行内容流式传输。许多其它设备不使用适配视频流中的光场内容的角度方面。许多其它设备也不改变捆绑成帧打包的多视图表示的视图的数目。
多路复用的光场渲染
利用许多现有多视图编码标准支持动态用户视点和运动视差通常可能导致带宽的过度使用，尤其是在单个时步(time step)中仅产生用于显示的单视图或立体视图2D图像的应用中。这种应用的示例包括基于观看HMD或其他2D显示器上的内容的3DoF+或6DoF应用。
为了优化所述渲染和数据分发，可以产生和传输完整的整体光场数据的子集，并且接收机可以从所传输的视图合成附加视图。此外，由对渲染和传输的子视图的选择所导致的感知图像质量的影响可以指导在服务器侧或在客户端侧的子视图渲染的过程，以确保体验质量。
对于一些实施例，数据传输可以利用光场的复用渲染(其可以在内容服务器处)和视图合成(其可以在观看客户端处)来优化，这可以减轻由复用引起的光场数据的时间变化。
所述观看客户端可以将当前视点发送到内容服务器或者本地分析内容并且请求特定光场子视图。视点运动估计模型可以用于预测客户视点以用于未来时步。基于所述视点预测，可以优先化所述整体光场的子视图。优先级可以控制所述整体光场的各个子视图的渲染和传输。
在一些实施例中，复用光场数据的过程可以不在每个时步传输所有完整光场图像，而是改为传输子视图的子集。结果，可以减少所使用的内容传送带宽。可以在数据和相关联的元数据(例如，流式传输的子视图和虚拟相机规范和时间戳)的传输中以及在客户端的当前视点信令中检测子视图的时间复用。
根据一些实施例，通过动态地限制被渲染和递送的光场子视图的数量，可以减少服务器侧处理，并且可以减少内容递送带宽要求。通过使用内容分析来优先化排序那些保持由客户端侧的观看者感知的图像质量的子视图的渲染，内容服务器可以连续地渲染各个光场子视图，而不是以顺序方式渲染每个时步的整个整体图像。
在一些实施例中，观看者使用HMD或类似的移动设备，其通过根据跟踪和用户输入而将新视图合成到所述光场数据来提供单眼或立体视图。
一些实施例使用例如用于流式传输的示例服务器推模型或示例客户端拉模型。在服务器推模型中，例如，示例服务器过程可以根据由客户端发信号的视点来对子视图渲染和流式传输进行优先化排序，并且如果整体光场的子视图具有时间变化性，则示例客户端过程可以根据光场数据来合成视点。在客户端拉模型中，例如，类似于MPEG-Dash模型操作，服务器可以向客户端提供清单文件，其指示针对不同观看位置的阵列图像的版本，并且在一些实施例中，客户端可以：基于带宽和用于清单中描述的子视图的集合的观看者位置来确定子视图的数目；对所述子视图进行优先化排序；并根据优先级从内容服务器拉取数据。
利用现有的多视点编码标准来支持动态视点和运动视差通常可能导致带宽的过度使用，特别是在一次仅需要一个视点的应用中。这样的应用可以包括例如某些3DoF+或6DoF应用，其例如基于观看HMD或其他2D显示器的实时或存储的内容。根据一些实施例的本文描述的系统和方法可以通过考虑当前和预测的用户视点以及所选择的渲染和传输的子视图对感知的图像质量的影响来避免现有的限制。
通常，通过跟踪用户并预测他/她的移动和视点，可以获得比特率的显著节省。在以下文章中，对实时3D捕捉场景的用户视点的时间预测导致比特率节省约70％(如果使用视点预测，而不是每个场景八个3D捕捉，则编码和传输平均2-3个同时捕捉)：Yang,Zhengyu等人,Enabling Multi-party 3D Tele-immersive Environments with ViewCast(通过视图播出而实现了多方3D远程沉浸式环境),6:2ACM TRANS.ON MULTIMEDIA COMPUTING,COMM’S以及APPL’S 111-139(2010年3月)(“Yang”)。Yang提供了用户视点预测技术的一些示例。根据一些实施例，本文公开的示例方法和系统将例如用户视点预测应用于例如光场渲染。Yang不被理解为将用户视点预测应用于光场渲染。
一些实施例经由内容分析和复用的光场渲染，减少了传输和渲染的子视图的数量。在一些实施例中，通过基于内容特征、估计的用户视点位置和估计的视点位置的预测精度来分析所述内容，内容服务器对全光场子视图的优先级进行加权，这又可以确定该子视图被渲染和提交的顺序和频率。对于视图子采样位置集合的动态选择可以在预测视点附近分配更大的视图密度，从而允许在渲染帧到达观看客户端并被显示的情况下，对该预测视点附近的视图进行改进的内插。可以在远离用信号通知的视点的位置处，使用更粗糙的视图采样，以使得能够针对未聚焦的区域或者由于视点运动估计的不准确性而导致的聚焦的区域(并非预测的视点)，显示数据。图2至5示出了为光场子图像指派的示例性优先级。
图2是示出了根据一些实施例的用5×5子视图渲染的示例全光场的示意图。在图2中，利用子视图202的5×5虚拟相机阵列来渲染示例性全光场200。图2示出了图3-5的子采样示例所基于的示例性全光场200。
图3是示出了根据一些实施例的使用3×3子视图的示例子采样的示意图。为了减小带宽，可以从所述示例性全光场300中选择图像的3×3阵列以用于传输到客户端。对于一些实施例，服务器可使用由视点运动模型预测的估计视点位置来对子视图进行优先化排序。图3示出了以棋盘图案形式选择的子视图302、304、306、308、310、312、314、316、318的示例性3×3阵列，其中所选择的子视图用实心黑色椭圆示出。
根据一些实施例，对视图进行子采样通常可以利用在接收机处用于生成附加视图的视图内插来减小传输带宽。在一些实施例中，相对于全网格指定子采样视图的位置。可以基于用户注视来指派不同的子采样优先级。可以基于内容分析和上下文信息(例如，用户/注视位置和显示能力)来确定各个光场子视图优先级。可以基于所述优先级以顺序方式产生和/或发送各个子视图集。在客户端侧，缓存可以接收子视图，并且客户端可以使用子视图的时间相干内插来合成视点，例如，新的视点。
图4是示出了根据一些实施例的基于估计视点而被指派优先级的示例5×5子视图的示意图。图5是示出了根据一些实施例的基于更新的视点运动模型的示例性调整的子视点优先级的示意图。对于一些实施例，在图4和图5中，最接近估计视点的子视图418、518被指派有最高优先级(用实心白色椭圆标记)。
使用视点运动的当前速度，确定视点位置估计的精度，并且设置子视点优先级。在一些实施例中，子视图优先级可以是渲染多大范围的临近子视图的指示。对于一些实施例，先前渲染的子视图之间的视觉差异可以用于对所述优先级进行加权。因为视点位置的小移位可能导致视觉差异(例如，镜面反射或内容中的大深度变化)，所以可以使用估计的最可能的视点位置周围的更密集采样，并且可以相应地指派子视图优先级。在一些实施例中，分析过程可以使用这些度量，并且向适当采样密度的最可能的视点周围的区域指派第二高优先级。对于图4和5中所示的示例，被指派有第二高优先级的帧被标记为虚线黑色椭圆410、412、414、416、510、512、514、516。
根据示例，对于可能的视点，焦点区域(对于该示例，具有最高和第二高优先级的区域)之外的区域被指派第三高优先级，并且以较低的采样密度来渲染。结果，可以用较低的采样密度来渲染整个光场的大部分。对于图4和5中所示的示例，被指派第三高优先级的子视图被标记为实心黑色椭圆402、404、406、408、502、504、506、508。
图5显示了使用者的视点被估计会比图4中的视点往左移位。直接相邻于估计的使用者视点的子视图510、512、514、516会被指派第二高优先权。比较图4和图5，第二高优先级子视图集410、412、414、416、510、512、514、516也向左移动，对应于估计的用户视点向左移位。
在一些实施例中，示例渲染过程可以使用所指派的优先级来确定每隔多久渲染子视图(或者例如更新子视图的渲染)的频率。例如，所述渲染过程可将所渲染的视图连同时间戳一起发送给客户端。该时间戳可以指示在观看客户端与子视图所使用的虚拟相机之间同步的同步时间。对于一些实施例，光场压缩和分发过程或装置可以使用视图的优先化排序子集(例如，3×3阵列)，以及每个子视图在较大阵列(例如，5×5阵列)中的的原始位置(或者，例如，对于一些实施例的相对位置)。
在一些实施例中，示例观看客户端过程可以包括：从用户的注视方向确定用户的视点，并且基于用户的视点，选择光场内容的子采样表示。在一些实施例中，示例观看客户端过程可以包括从用户的注视方向确定用户的视点，使得选择所述多个子采样表示中的一个可以包括基于用户的视点选择所述子采样表示。例如，子采样表示的中心点可被选择为在用户的视点的阈值角度或距离内。
图6A是示出了根据一些实施例的对应于图2的示例性全图像5×5阵列光场配置的图示。对于一些实施例，诸如媒体呈现描述(MPD)的清单文件(例如媒体清单文件)可以包括全(或整个)光场阵列的细节，诸如视图的数目、这些视图的索引以及适配集内的视图的采样位置。例如，所述全光场阵列可以具有N×M个视图位置。图6A示出了用于全光场5x5阵列600的示例命名约定。每个坐标位置的第一个数字表示行，第二个数字表示列。位置(1，1)在左上角，位置(5，5)在右下角。当然，这仅仅是一个示例，例如，其它实施例可以使用不同的命名约定，诸如图7中所示的示例。
图6B是示出了根据一些实施例对应于图3的示例均匀子采样的3×3阵列光场配置的图。图6B所示的3×3阵列620对应于图3中的实心黑色椭圆。例如，图6B的均匀子采样3×3阵列表示在下中心位置的子视图(5，3)。该子视图对应于图3的第五(底部)行和第三(中心)列中的黑色椭圆。
图6C是示出了根据一些实施例的对应于图4的示例中心偏心子采样3×3阵列光场配置的图。图6C所示的3×3阵列640对应于图4中的椭圆形，例如，图6C的中心偏心子采样3×3阵列指示在中间右侧位置的子视图(3，4)。该子视图对应于图4的第三(中间)行和第四(右中)列中的黑色虚线椭圆。
图6D是示出了根据一些实施例对应于图5的示例性左偏子采样3×3阵列光场配置的图示。图6D所示的3×3阵列660对应于图5中的椭圆。例如，图6D的左偏子采样3×3阵列表示顶部中心位置的子视图(2，2)。该子视图对应于第二(中上)行和第二(左中)列中的图5的黑色虚线椭圆。
对于一些实施例，表示可以包括全光场阵列。对于一些实施例，表示可以包括光场阵列的视图集合。对于一些实施例，表示可以包括光场阵列的视图的子采样。对于一些实施例，表示可包含视图子集，其选自全光场阵列或光场阵列的视图子集。对于一些实施例，表示(其可以被指定为子采样表示)可以包括光场阵列的另一表示的子样本。对于一些实施例，视图的子采样可以包括与特定方向以及其它方向相对应的视图，并且可以包括一个或多个均匀子采样，所述特定方向诸如图6B、6C和6D中所示的示例。对于一些实施例，光场内容的视图集合可包含具有不同采样速率的一或多个视图，使得视图集合可对应于多个采样速率。
图7是示出了根据一些实施例的光场子视图的示例编号配置的示意图。图7所示的示例子视图编号配置被用于下表1所示的示例MPD中。图7示出了用于全光场5×5阵列700的示例子视图号配置。可以将图7的子视图编号配置与图6A的子视图编号配置进行比较。图6A示出了示例性的坐标子视图编号配置，而图7示出了示例性的顺序子视图编号配置。图7的5×5阵列700的顶行从左到右编号子视图1到5。第二行从左到右给子视图6至10编号，直到最后一行，最后一行从左到右给子视图21至25编号。图7-9和表1一起示出了示例客户端拉模型的示例MPD。
图8是示出了根据一些实施例的示例MPEG-DASH媒体呈现描述(MPD)文件的图。示例客户端拉模型(例如，使用MPEG-DASH)可使用图8中所示的MPEG-DASH媒体呈现描述(MPD)802的标准结构。图8中所示的MPD文件格式800可用于作为流式传输会话初始化的一部分来传送由观看客户端下载的总体媒体描述。所述MPEG-DASH MPD的组织结构如图8所示。
顶层时段字段804、806可以指示开始时间和持续时间。MPD 802可包括一个或多个时段字段804、806。时段字段804、806可以包括一个或多个适配集808、810。适配集808、810可包含一或多个表示字段812、814。适配集808、810内的每一表示812、814可包含用不同参数编码的相同内容。表示字段812、814可包括一个或多个片段816、818。片段816、818可以包括一个或多个子片段824、826，其包括DASH媒体文件。表示字段812、814可被划分成一个或多个子表示字段820、822。子表示字段820、822可以包括仅应用于一个媒体流的信息。
对于一些实施例，MPD的一个或多个表示字段可包括与第二观看方向相比用于第一观看方向的更高视图密度。在一些实施例中，媒体清单文件(例如MPD)可包括一个或多个视图的优先级数据，并且内插视图的过程可使用该优先级数据(诸如以选择哪个视图可被内插)。在一些实施例中，媒体清单文件(例如MPD)可包括一个或多个视图的优先级数据，并且选择表示的过程可使用该优先级数据(诸如选择具有较高优先级的表示)。对于一些实施例，媒体清单文件(例如MPD)可包括具有对应于光场内容的两个或更多视图的信息的至少一个表示。在一些实施例中，所述清单文件中的所述信息可包括两个或更多个视图的位置数据。在一些实施例中，所述清单文件中的所述信息可以包括用于所述多个视图中的一个或多个的内插优先级数据，并且其中选择多个子采样表示中的一个是基于用于所述多个视图中的一个或多个的内插优先级数据的。对于一些实施例，一种过程可以包括：跟踪用户的观看方向，使得选择表示可选择具有与用户的观看方向相关的视图密度的表示。对于一些实施例，该表示可以包括两个或更多个视图，其中该两个或更多个视图具有与用户的观看方向相关的密度，诸如与左观看方向相关的视图的密度或与右观看方向相关的视图的密度。
图9是示出了根据一些实施例的具有光场配置元素的示例MPD文件的图。图9示出了如何按照MPEG-DASH协议结构来组织MPD数据902，该MPD数据使能所复用光场流式传输的示例客户端拉模型。
在一些实施例中，MPD结构900使用时段904、906作为顶层实体。每个时段904、906可以提供单个光场场景的信息。单个场景可以是例如连续光场渲染，其中用于渲染的虚拟相机阵列保持恒定。整个体验可包括各自在单独的时段块中指定的若干场景。每个时段块可以包括光场渲染设置，其在图9中被标记为光场描述908并且与第一适配集相关。光场渲染设置块908可以包括子视图的数目、子视图所使用的虚拟相机的放置、以及场景布局的概览，诸如视图的大小以及视图中的元素的大小和放置。每个时段块904、906可以包括一个或多个子集块910、912、914，其中每个子集块与适配集相关。每一子集适配集910、912、914可包含用不同配置参数编码的内容的一个或一个以上不同版本。例如，可以用不同的分辨率、不同的压缩率、不同的比特率和/或不同的支持的编解码器来对内容进行编码。每个子集910、912、914可以包括取决于适配集的一设置数量的子视图，其分辨率取决于表示块，利用特定编解码器以针对片段块的特定比特率被编码。每一子集910、912、914可被划分成短剪辑，其被包含在具有到实际视频数据的链接的子片段块中。
MPD 902的时段904、906内的适配集可包括视图的全阵列的子集910、912、914，其改变视图的数目以及适配集中的视图的采样位置。适配集合可包含存在的视图的数目和可用视图的索引。适配集可以指示子视图的优先级。适配集(或者对于一些实施例，子集910、912、914)可以包括一个或多个分辨率918、920，每个分辨率包括一个或多个比特率922、924、926。对于每个分辨率918、920，可以存在一系列时步1、2、…、N(928、930、932)。每个时步928、930、932可以具有用于所支持的每个比特率的单独的URL 934、936、938、940、942、944。对于图9所示的示例，存在N个分辨率，每个分辨率支持N个比特率。另外，MPD 902的时段904、906内的适配集可用于音频，如图9的示例中的音频块916所示。
对于一些实施例，可使用清单文件(诸如媒体清单文件或MPD)。清单文件中的信息可包括两个或更多个视图的位置数据。对于一些实施例，清单文件中的信息可以包括一个或多个视图的内插优先级数据。对于一些实施例，选择子采样表示可基于一或多个视图的内插优先级数据。例如，内插优先级数据可以用于确定子视图多久被内插或更新一次。
表1示出了具有图9所示的字段和图7所示的5×5阵列光场的子视图配置的示例性MPD的伪代码版本。表1所示的示例示出了三个不同的光场视图适配集：全、中心和左侧。采样视图的数目和采样视图位置在适配集之间不同。对于特定分辨率，较少的视图导致每个视图更多的像素。传统的DASH速率和分辨率适配可以在每个视图类别内使用。UHD/HD的一个示例在“中心”光场视图适配集中示出。
●时段
○适配集1:光场场景描述:
■稀疏视图阵列.子视图数量5x5.虚拟相机位置.
○适配集2:子集1(全光场):子视图数量5x5(子视图1-25)
■分辨率1:每子视图1920x1080px
●比特率1:利用编解码器XX编码，需要传送容量35Mbps
●比特率2:利用编解码器XX编码，需要传送容量31Mbps
■分辨率2:每子视图1280x720px
●比特率1:利用编解码器XX编码，需要传送容量22Mbps
●比特率2:利用编解码器XX编码，需要传送容量19Mbps
○适配集3:子集2(稀疏采样):子视图数量2x2(子视图1,5,21,25)
■分辨率1:每子视图1920x1080px
●比特率1:利用编解码器XX编码，需要传送容量9Mbps
●比特率2:利用编解码器XX编码，需要传送容量8Mbps
■分辨率2:每子视图1280x720px
●比特率1:利用编解码器XX编码，需要传送容量6Mbps
●比特率2:利用编解码器XX编码，需要传送容量5Mbps
○适配集4:子集3(半密集部分采样):子视图数量2x2(子视图2,6,8,12)
■分辨率1:每子视图1920x1080px
●比特率1:利用编解码器XX编码，需要传送容量9Mbps
●比特率2:利用编解码器XX编码，需要传送容量8Mbps
■分辨率2:每子视图1280x720px
●比特率1:利用编解码器XX编码，需要传送容量6Mbps
●比特率2:利用编解码器XX编码，需要传送容量5Mbps
○适配集5:子集4(半密集部分采样):子视图数量2x2(子视图4,8,10,14)
■分辨率1:每子视图1920x1080px
●比特率1:利用编解码器XX编码，需要传送容量9Mbps
●比特率2:利用编解码器XX编码，需要传送容量8Mbps
■分辨率2:每子视图1280x720px
●比特率1:利用编解码器XX编码，需要传送容量6Mbps
●比特率2:利用编解码器XX编码，需要传送容量5Mbps
○适配集6:子集5(半密集部分采样):子视图数量2x2(子视图12,16,18,22)
■分辨率1:每子视图1920x1080px
●比特率1:利用编解码器XX编码，需要传送容量9Mbps
●比特率2:利用编解码器XX编码，需要传送容量8Mbps
■分辨率2:每子视图1280x720px
●比特率1:利用编解码器XX编码，需要传送容量6Mbps
●比特率2:利用编解码器XX编码，需要传送容量5Mbps
○适配集7:子集6(半密集部分采样):子视图数量2x2(子视图14,18,20,24)
■分辨率1:每子视图1920x1080px
●比特率1:利用编解码器XX编码，需要传送容量9Mbps
●比特率2:利用编解码器XX编码，需要传送容量8Mbps
■分辨率2:每子视图1280x720px
●比特率1:利用编解码器XX编码，需要传送容量6Mbps
●比特率2:利用编解码器XX编码，需要传送容量5Mbps
○适配集8:子集7(单个子视图):子视图数量1x1(子视图1)
■分辨率1:每子视图1920x1080px
●比特率1:利用编解码器XX编码，需要传送容量3Mbps
●比特率2:利用编解码器XX编码，需要传送容量2,5Mbps
■分辨率2:每子视图1280x720px
●比特率1:利用编解码器XX编码，需要传送容量2Mbps
●比特率2:利用编解码器XX编码，需要传送容量1,8Mbps
Figure BDA0003349145380000361
○适配集32:子集31(单个子视图):子视图数量1x 1(子视图25)
■分辨率1:每子视图1920x 1080px
●比特率1:利用编解码器XX编码，需要传送容量3Mbps
●比特率2:利用编解码器XX编码，需要传送容量2,5Mbps
■分辨率2:每子视图1280x 720px
●比特率1:利用编解码器XX编码，需要传送容量2Mbps
●比特率2:利用编解码器XX编码，需要传送容量1,8Mbps
表1
图10是示出了根据一些实施例的用于多路复用光场渲染的一组示例接口的系统图。在一些实施例中，具有服务器(例如，内容服务器1002)的示例系统1000可以包括空间内容的数据库1010。内容服务器1002可以能够运行用于分析内容和执行复用光场渲染的示例过程1012。一个或多个内容服务器1002可经由网络1018连接到客户端(例如，观看客户端1004)。在一些实施例中，观看客户端1004可以包括本地缓存1016。该观看客户端1004可被允许执行用于将视图(或对于一些实施例为子视图)合成到内容的示例过程1014。观看客户端1004可连接到显示器1006以用于显示内容(包括内容的合成视图)。在一些实施例中，观看客户端1004可以包括用于接收跟踪数据(诸如用户注视跟踪数据，或者例如用户位置数据，诸如例如来自耳机或头戴式设备(HMD)的用户头部位置数据)和输入数据的输入1008。对于一些实施例，观看客户端1004(或对于一些实施例，传感器)可用于跟踪用户的注视方向。用户的注视方向可以用于选择内容的子采样表示。例如，用户的注视方向可以用于确定用户的视点(以及相关联的子视图)，诸如图4和图5中由白色椭圆形指示的示例子视图。对于一些实施例，可以最小化用户的注视点与全光场阵列中的每个子视图的中心之间的距离，以确定最接近用户的注视的子视图。与该最小距离相关联的子视图可以被选择为视点子视图。
对于一些实施例，选择表示(诸如光场阵列的子采样视图)可以基于用户的位置。在一些实施例中，观看客户端可跟踪用户头部位置，并且选择表示可基于所跟踪的用户头部位置。在一些实施例中，可以跟踪用户的注视方向，并且可以基于所跟踪的用户的注视方向来选择表示。
图11是示出了根据一些实施例的用于利用示例客户端拉模型的复用光场渲染的示例过程的消息序列图。对于示例性光场(LF)生成过程1100的一些实施例，服务器1102可以生成1106子采样光场和MPD描述，例如关于图2-9的一些示例所描述的。在一些实施例中，客户端1104(或观看客户端)可以跟踪1108观看者的注视，并使用观看者的注视来选择内容。内容请求可从客户端1104发送1110到服务器1102(或内容服务器)，并且所述MPD可响应于客户端1104而发送1112。对于一些实施例，服务器1102可在没有请求的情况下将MPD发送1112到客户端。在一些实施例中，客户端1104可以估计1114服务器1102和客户端1104之间的网络可用的带宽和/或估计在一个或多个子采样场景下要使用的带宽。客户端1104可以部分地基于估计的带宽(一个或多个)来选择1116光场子采样。例如，可以从样本集合中选择1116LF子采样，其最小化所使用的带宽同时将一个或多个光场参数保持在阈值以上(诸如，对于头两个优先级子视图，使用特定阈值以上的分辨率和比特率)。客户端1104可以向服务器1102发送1118光场表示请求。服务器1102可以取回所请求的LF表示并将所请求的表示发送1120到客户端。客户端1104可以接收所请求的表示作为一个或多个内容片段。对于一些实施例，客户端1104可以使用所接收的内容片段来内插1124一个或多个内插子视图。观看客户端1104可显示1126所接收和内插的子视图光场内容数据。在一些实施例中，一个或多个合成视图(例如，内插的合成视图)可从一个或多个内插的子视图合成，观看客户端1104可显示1126该一个或多个合成视图(例如，内插的合成视图)。
例如，客户端可以接收图4中所示的最高、次高和第三高优先级子视图的内容片段，并且客户端可以对一个或多个附加子视图的内容数据进行内插。对于一些实施例，例如，客户端可以以方程1中所示的请求速率来请求最高优先级子视图的内容片段：
Figure BDA0003349145380000381
其中，变量x等于时间单位。客户端可以以方程2中所示的请求速率来请求第二高优先级子视图的内容片段：
Figure BDA0003349145380000382
客户端可以以方程3中所示的请求速率来请求第三高优先级子视图的内容片段：
Figure BDA0003349145380000383
一些实施例可以为对于特定时步未接收到内容数据的子视图内插子视图内容数据。一些实施例可以存储子视图内容数据，并且可以将所存储的子视图内容数据用于在特定优先级的子视图请求速率之间发生的时步。如方程1-3所示的请求速率是示例，并且对于一些实施例，可以不同地指派请求速率。
对于一些实施例，选择光场的表示(对于一些实施例，其可以是光场子采样)可以基于带宽约束。例如，可以选择低于带宽约束的表示。对于一些实施例，可以跟踪用户头部位置，并且可以基于用户头部位置来选择表示。在一些实施例中，可以跟踪用户的注视方向，并且可以基于用户的注视方向来选择表示。对于一些实施例，客户端过程可以包括对至少一个视图进行内插，使得选择表示可从包括内插视图的组中选择表示。对于一些实施例，客户端过程可以包括从服务器请求光场视频内容，使得获得所选择的子采样表示包括：执行从由以下各项组成的组中选择的过程：从服务器取回所述选定的子采样表示，从服务器请求所述选定的子采样表示，以及接收所述选定的子采样表示。对于一些实施例，客户端过程可以包括：从服务器请求媒体清单文件；以及请求与所选择的视图子集相关联的光场内容，使得获得与所选择的视图子集相关联的光场内容可以包括：执行从由以下组成的组中选择的过程：从服务器取回与所选择的视图子集相关联的光场内容，从服务器请求与所选择的视图子集相关联的光场内容，以及接收与所选择的视图子集相关联的光场内容。
图12是示出了根据一些实施例的利用示例服务器推模型的用于复用光场渲染的示例过程的消息序列图。在本申请中将进一步详细描述客户端和服务器处理。
对于一些实施例，示例服务器推过程1200可以包括例如预处理过程和运行时过程1222。在示例预处理过程的一些实施例中，观看客户端1202可以向内容服务器1204发送1206内容请求，并且内容服务器1204可以利用第一全光场帧进行响应1208。观看客户端1202可更新1210视点并合成视图，这可使用所述第一全光场帧来完成。
在示例性运行时过程1222的一些实施例中，观看客户端1202可将更新的视点发送1212到内容服务器。内容服务器1204可以使用视点运动的运动模型来预测下一个时步的视点位置。对于一些实施例，内容服务器1204可以部分地使用用户的被跟踪的运动来构建1214所述运动模型。内容服务器1204可以分析1216内容，并且可以基于预测的视图位置来对要渲染的光场子视图进行优先化排序以用于下一个时步。内容服务器1204可以向观看客户端1202发送1218所选择的光场子视图、与所选择的子视图相关联的虚拟相机位置、以及内容的时间戳。观看客户端1202可更新1220视点，并且使用光场数据的时间可变性来合成一个或多个子视图。对于一些实施例，帧可以包括与所选择的表示相对应的两个或更多个视图的帧打包表示。对于一些实施例，光场数据可以包括从内容服务器向客户端设备发送的2D图像帧数据。对于一些实施例，光场内容可以包括光场内容的帧(其可以从内容服务器传输到客户端设备)。
图13是示出了根据一些实施例的用于利用示例客户端拉模型的复用光场渲染的示例过程的消息序列图。对于示例客户端拉模型过程1300的一些实施例，客户端1302可以执行未来视点预测并且执行内容分析以确定哪些子视图被优先化排序。对于一些实施例，基于根据观看客户端1302执行的分析而指派给子视图的优先级，客户端1302可以从内容服务器1304拉取特定子视图流。在该模型中，客户端1302可以通过选择要拉多少个子视图并且通过选择在整个光场阵列上使用哪个空间分布，选择使用哪个光场采样。观看客户端1302可以根据视点运动、内容复杂度和显示能力来动态地改变所拉取的各个子视图的数目和采样分布。对于一些实施例，可以在服务器处收集视图的子集，并且提供这些视图的子集作为替代的光场子采样。客户端可以基于本地标准(例如可用的存储器、显示器渲染能力和/或处理能力)来选择这些子集中的一个。与单独压缩视图相比，分发视图子集可以允许编码器利用视图之间的冗余来进行更大的压缩。图13示出了在示例客户端拉会话1300中在观看客户端1302和内容服务器1304之间处理和通信的序列的概览。
对于一些实施例，内容服务器1304可以以顺序次序渲染1306光场子集。观看客户端1302可请求1308内容，并且内容服务器1304可发送回1310MPD文件。观看客户端1302可选择1312要拉取的子集。观看客户端1302可以请求1314一个子集，并且内容服务器1304可以用子集内容数据、虚拟摄像机位置和捕获该内容数据的时间戳来响应1316。观看客户端1302可将所接收的数据存储1318到本地缓存。观看客户端1302可更新1320用户的视点，并使用存储在本地缓存中的光场数据的时间可变性来合成视图。观看客户端1302可以使用(或者对于一些实施例，构建1322)视点运动的运动模型，并且预测下一个时步中的视点位置。观看客户端1302可以分析1324内容，并且基于预测的视点位置来对要拉取的光场子集进行优先化排序。
对于示例客户端拉模型的一些实施例，客户端从内容服务器接收媒体呈现描述。媒体呈现描述(MPD)可以指示可用子集，并且可以包括由内容服务器编译的替代光场子采样。子集可以包括单独的子视图或子视图的集合，并且所包括的子视图的采样密度、分布和数目可以针对每个子集而变化。通过将若干子视图编译成子集，内容服务器可以根据内容，提供良好的候选子采样。如果子集作为单个流被递送，则编码器可以利用视图之间的冗余来进行更大的压缩。每个子集可以在一个或多个空间分辨率和压缩版本中可用。
对于客户端拉模型的一些实施例，内容服务器可以以固定帧速率渲染和/或提供每个单独的光场子视图。对于一些实施例，内容服务器可以分析内容以确定子视图更新频率。对于一些实施例，选择表示可以包括：预测用户的视点；并且选择所选择的表示可以基于用户的预测视点。
图14是示出了根据一些实施例的用于内容服务器的示例过程的流程图。对于一些实施例，由内容服务器执行的示例过程1400可以包括：接收1402来自客户端的内容请求(例如，“等待来自客户端的内容请求”)。观看客户端可以使用跟踪(例如，用户和/或眼睛位置跟踪)来确定用户视点，并且在显示内容时将该用户视点发送到内容服务器。过程1400还可以包括渲染1404完整光场的第一帧序列的全完整图像。空间数据1406可从存储器(例如服务器本地的缓存)取回。可以将所渲染的光场数据发送1408到客户端。可以接收1410客户端的当前视点并将其作为视点数据1412存储在存储器中。可以使用从客户端接收的视点位置数据来构建和/或更新1414运动估计模型。可以利用运动估计模型来估计下一个时步的预测视点位置(其可以等于所渲染的内容到达观看客户端的估计时间)。对于一些实施例，所预测的视点位置可以基于服务器和客户端之间的估计网络通信延时以及估计视点运动的连续性的模型。为了估计运动，可以使用卡尔曼滤波或任何其它合适的运动估计模型。可以使用用于下一时步的预测视点来分析1416内容，以确定光场子视图的渲染优先级。使用所预测的视点，内容服务器可以执行内容分析以确定在下一时步骤的最高优先级子视图，用于渲染和传输到观看客户端。可以基于渲染优先级来渲染1418子视图。可以将所渲染的光场子视图内容、时间戳和虚拟相机位置流式传输1420到客户端。可以执行是否请求会话结束的确定1422。如果没有请求会话结束，则过程1400可以重复，从接收1410客户端的当前视点开始。可执行是否请求处理结束的确定1424。如果接收到处理结束信号，则过程1400退出1426。否则，过程1400可以重复，从等待1402来自客户端的内容请求开始。对于一些实施例，在内容的持续时间内或直到观看客户端信号会话结束，内容服务器连续地流式传输所复用的光场数据，其对子视图的渲染进行优先化排序。
图15是示出了根据一些实施例的用于观看客户端的示例过程的流程图。如果用户启动观看客户端应用，则用户还指示要观看的内容。内容可以是到该内容的链接，例如，该内容位于内容服务器上和/或从内容服务器流式传输。到所述内容的链接可以是标识所述内容服务器和特定内容的URL。观看客户端应用可由用户的显式命令启动，或由操作系统基于识别内容类型请求和与特定内容类型相关联的应用来自动启动。除了作为独立应用之外，观看客户端可以与web浏览器或社交媒体客户端集成，或者观看客户端可以是操作系统的一部分。如果启动了观看客户端应用，则观看客户端可以初始化用于设备、用户和/或注视跟踪的传感器。
由观看客户端执行的示例过程1500的一些实施例可包括：向内容服务器请求1502内容，以及初始化1504用户的注视跟踪。观看客户端可以从内容服务器接收1506第一全整体光场图像帧。所述光场数据可以存储在本地缓存1508中，并由观看客户端显示。可以使用默认位置来设置初始用户视点，该默认位置可以用于显示第一光场帧。可以基于设备跟踪和用户输入来更新1510所述视点。可以将当前视点发送1512到内容服务器。内容服务器可以使用所接收的视点来渲染光场的一个或多个子视图，其可以被流式传输到客户端。在步骤1518，客户端可以接收这些子视图、以及指示所述渲染的共享时步的时间戳、以及虚拟相机相对于图像全阵列的位置和用于渲染所述子视图的光学参数。
可以基于当前视点，合成对光场的一个或多个视图1514。该合成视图可以是新视图，例如其缺少与该特定视图特别关联的光场内容的。(一个或多个)合成视图可由观看客户端显示1516。在1518，观看客户端可以接收由内容服务器渲染的光场子视图内容，该光场子视图内容可以存储在诸如本地光场缓存1508的存储器中。观看客户端可使用跟踪和用户输入来使用最新视点更新1510来合成用于一个或多个渲染步骤的视点。可以执行确定1520，以确定是否接收到处理结束信号。如果接收到处理结束信号，则过程1500可以结束1522。否则，通过更新1510用户视点，过程1500可以重复。
对于一些实施例，客户端过程可以包括：使用所渲染的表示来生成用于显示的信号。在一些实施例中，客户端过程可以包括：使用用户的注视方向来确定用户的视点，使得选择所选择的表示可以包括：基于用户的视点来选择所选择的表示。在一些实施例中，客户端过程可以包括：使用用户的注视方向来确定用户的视点；以及选择多视图视频的视图的至少一个子采样，使得选择所述视图的子采样可以包括：选择用户的视点的阈值视点角度内的所述视图的子采样。
对于一些实施例，观看客户端通过使用本地缓存的光场数据合成与当前视点匹配的视点来渲染要显示的图像。如果合成视点，则观看客户端可以选择要在合成中使用的子视图。在一些实施例中，为了选择，观看客户端可以检查本地光场缓存以识别子视图，其例如接近当前视点、具有可用的最新数据、具有来自各个时步的足够数据以使得能够进行内插或预测以产生在给定时步对子视图外观的良好估计等。为了减轻子视图(其可以在单独的子集流中被接收)之间的时间变化，观看客户端可以使用为视频帧内插而开发的技术，例如在Nikilaus,S等人,Video Frame Interpolation via Adaptive SeparableConvolution(通过适配可分离卷积的视频帧内插),PROC.OF THE IEEE INT’LCONF.ON COMP.VISION261-270(2017)(“Nikilaus”)中所提到的技术，以在可以从内容服务器获得“未来”帧的情况下，产生与渲染时间相对应的帧，或者如果只有来自先前时步的帧可用于特定子视图，则使用
Figure BDA0003349145380000441
Vedran等人,One-Step Time-Dependent Future Video Frame Predictionwith a Convolutional Encoder-Decoder Neural Network(利用卷积编码器-解码器神经网络的一步时间相关未来视频帧预测),PROC.OF INT’L CONF.ON IMAGE ANALYSIS AND PROCESSING 140-151(2017)中描述的视频帧预测。对于某些实施例，观看客户端可使用这两种方法之一来估计特定时步的子视图，该子视图可被用于渲染和显示视图。对于一些实施例，观看客户端使用存储在本地缓存中的一些时步的子视图图像。在一些实施例中，如果观看客户端具有用于在给定时步合成视点的所有子视图，则观看客户端可以使用在Kalantari,Nima Khademi等人,Learning-Based View Synthesis for Light Field Cameras(用于光场相机的基于学习的视图合成),37.6ACM TRANSACTIONS ON GRAPHICS(TOG)193(2016)(“Kalantari”)中描述的过程来从由所选子视图形成的稀疏整体光场合成例如新的视点。
对于一些实施例，示例观看客户端过程可以包括：从用户的注视方向确定用户的视点。该过程还可以包括从包括一个或多个内插视图和所取回的子采样表示的组中选择光场视频内容的一个或多个子视图。该过程还可以包括：使用一个或多个选择的子视图和用户的视点来合成光场的视图。对于一些实施例，该过程可以包括：从用户的注视方向确定用户的视点；以及基于用户的视点，选择所述多个子采样表示中的一个。对于一些实施例，示例观看客户端过程还可以包括：显示所述光场的合成视图。对于一些实施例，选择光场的一个或多个子视图可以包括：选择用户的视点的阈值视点角度内的一个或多个子视图。
对于一些实施例，客户端过程可以包括：从用户的注视方向确定用户的视点，使得选择所述多个子采样表示中的一个可以进一步基于用户的视点。在一些实施例中，客户端过程可包括：显示所述光场的合成视图。在一些实施例中，选择光场的一个或多个子视图可以包括：选择用户的视点的阈值视点角度内的一个或多个子视图。
适配光场流式传输
利用许多现有多视图编码标准来支持动态用户视点和运动视差会导致带宽的过度使用，尤其是在单个时步中仅产生用于显示的单视图或立体视图2D图像的应用中。这种应用的示例包括基于观看HMD或其他2D显示器上的内容的3DoF+或6DoF应用。
在一些实施例中，为了优化所述渲染和数据分发，可以产生和传输完整的整体光场数据的子集，并且接收机可以从所传输的视图合成附加视图。此外，由对渲染和传输的子视图的选择所导致的感知图像质量的影响可以指导在服务器侧或在客户端侧的子视图渲染的过程，以确保体验质量。
对于一些实施例，可以通过在流式传输期间改变光场子视点的数目来使光场流式传输适应于可用资源，从而优化数据传输。
内容服务器可以提供光场数据的多个版本，其特征在于可变数量的光场子视图。除了流式传输内容的若干版本之外，服务器可以提供描述可用流的元数据作为适配流式传输清单。在内容流式传输会话开始时，客户端可以下载清单元数据，并且基于该清单元数据，开始下载内容片段。在下载内容片段时，客户端可以观察会话特性和网络以及处理性能，并且可以通过在可用内容流之间切换来适配流式传输质量。
对于一些实施例，客户端可以优化体验质量，同时动态地使光场流式传输适应于变化的性能和网络传输条件。通过允许观看客户端动态地调整从内容服务器传输到观看客户端的光场子视图的数量，可以降低内容传送带宽要求。
一些实施例可以使用示例性客户端拉模型来进行流式传输，其操作类似于MPEG-Dash模型。服务器可以通过改变流的每个单个版本中包括的子视图的数量来产生光场内容的若干版本。服务器可以向客户端提供清单文件(例如MPD)，该清单文件指示与内容流的每个可用版本一起包括的子视图的数量和位置。客户端可以连续地分析会话特性和性能度量以确定要下载的流，从而利用给定的网络和计算资源来提供体验质量(QoE)。
利用现有的多视点编码标准来支持动态视点和运动视差会导致带宽的过度使用，特别是在任何给定时间仅需要较少数量的视点的应用中。根据一些实施例的示例方法和系统可以通过考虑当前和预测的用户视点以及被打包到帧中以用于递送的所选数目的子视图对感知的图像质量的影响来避免现有限制。
图16是示出了根据一些实施例的以5×5子视图渲染的示例光场的示意图。对于一些实施例，视图的子采样可以用于减少传输带宽，其中在接收机处使用视图内插来生成所需视图。在一些实施例中，改变打包视图的数量可以用于适应于客户端处的带宽或处理约束。图16示出了利用子视图1602的5×5虚拟相机阵列渲染的示例性全光场1600。
图17是示出了根据一些实施例的用3×3子视图渲染的示例光场的示意图。可以基于内容分析和上下文信息(例如，用户/注视位置和显示能力)来确定各个光场子视图的优先级。可以基于顺序优先级顺序来生成各个子视图集。客户端可以接收子视图，将该子视图存储在缓存中，并且使用子视图的时间相干内插来合成新视点。图17表示3×3网格1700中封装的九个视图的示例。图17中的视图是使用如上所述用于一些实施例的优先权从图16的5×5阵列中所示的全光场中以棋盘图案的形式选择的。图19B(下面)示出了一个示例，其中为示例3×3阵列选择了特定的子视图。
图18是示出了根据一些实施例的用2×3子视图渲染的示例光场的示意图。图18表示2×3网格1800中打包的六个视图的示例。图18中的视图是使用如上所述用于一些实施例的优先权从图16的5×5阵列中所示的全光场以矩形图案选择的。图19C(下面)示出了一个示例，其中为示例2×3阵列选择了特定的子视图。
图19A是示出了根据一些实施例对应于图16的示例5×5阵列光场配置的图。对于一些实施例，媒体呈现描述(MPD)可包含全(或整个)光场阵列的细节，例如视图的数目、对那些视图的索引，以及视图在适配集内的采样位置。例如，全光场阵列1900可以具有N×M个视图位置。图19A示出了用于全光场5x5阵列1900的示例命名约定。每个坐标位置的第一个数字表示行，第二个数字表示列。位置(1，1)在左上角，位置(5，5)在右下角。其它实施例可使用不同的命名约定，诸如图21所示的示例。
图19B是示出了根据一些实施例对应于图17的示例3×3阵列光场配置的图。图19B所示的3×3阵列1920对应于图20中的实心黑色椭圆，例如，图19B的均匀子采样3×3阵列1920表示在下部中心位置中的子视图(5，3)。该子视图对应于图20的第五(底部)行和第三(中心)列中的黑色椭圆。
图19C是示出了根据一些实施例对应于图18的示例2×3阵列光场配置的图。图19C所示的2×3阵列1940对应于从图16的5×5阵列的全光场的中间部分选择的矩形视图图案。例如，图19C的2×3阵列1940指示在右上位置的子视图(2，4)。该子视图对应于图16的第二(中-上)行和第四(中-右)列。图19C的示例2×3阵列1940可如图20中用黑色椭圆示出(未示出)。
图20是示出了根据一些实施例使用3×3子视图的示例子采样的示意图。内容服务器可以通过使用若干子采样配置来生成原始光场数据的若干子采样版本。例如，内容服务器可以将全光场2000的子视图的数目减少到3×3子视图2002、2004、2206、2208、2010、2012、2014、2016、2018的子采样，如图17和19B所示。类似地，内容服务器可以生成例如10×10、5×5、2×2和1×1阵列子采样。
内容服务器可生成元数据，其在MPD文件中描述可用流。例如，如果MPD描述了两个子采样配置(10x10阵列和5x5阵列)，则10x10阵列可使用第一流，而5x5阵列可使用第二流。对于一些实施例，对10×10子视图阵列的支持可具有例如仅一个流(不是100个单独的流)。类似地，对于一些实施例，5×5阵列可仅具有五个流(或少于25的另一数量的流)。
图21是示出了根据一些实施例的光场子视图的示例编号配置的示意图。图21所示的示例子视图编号配置2100被用于表2所示的示例MPD中。图21示出用于全光场5×5阵列的示例子视图号配置。图21的子视图编号配置可以与图19A的子视图编号配置进行比较。图19A示出了示例性的坐标子视图编号配置，而图21示出了示例性的顺序子视图编号配置。图21的5×5阵列的顶行从左到右编号子视图1到5。第二行从左到右给子视图6至10编号，直到最后一行，最后一行从左到右给子视图21至25编号。图21-23和表2一起示出了示例客户端拉模型的示例MPD。
图22是示出了根据一些实施例的示例MPEG-DASH媒体呈现描述(MPD)文件的图。示例性客户端拉模型可使用图22所示的MPEG-DASH媒体呈现描述(MPD)的标准结构。图22所示的MPD文件格式可用于将观看客户端所下载的总体媒体描述作为流式传输会话初始化的一部分来传送。MPEG-DASH MPD的组织结构如图22所示。
顶层时段字段2204、2206可以指示开始时间和持续时间。MPD 2202可包括一个或多个时段字段2204、2206。时段字段2204、2206可包含一个或一个以上适配集2208、2210。适配集2208、2210可包含一或多个表示字段2212、2214。适配集2208、2210内的每个表示2212、2214可以包括利用不同参数编码的相同内容。表示字段2212、2214可以包括一个或多个片段2216、2218。片段2216、2218可以包括一个或多个子片段2224、2226，其包括DASH媒体文件。表示字段2212、2214可以被划分为一个或多个子表示字段2220、2222。子表示字段2220、2222可以包括仅应用于一个媒体流的信息。
图23是示出了根据一些实施例的具有光场配置元素的示例MPD文件的图。图23示出了如何按照MPEG-DASH协议结构来组织使得能够实现光场流式传输的示例客户端拉模型的MPD数据。
在一些实施例中，MPD结构2300使用时段2304、2306作为顶层实体。每个时段2304、2306可以提供单个光场场景的信息。单个场景可以是例如连续光场渲染，其中用于渲染的虚拟相机阵列保持恒定。整个体验可包括各自在单独的时段块中指定的若干场景。每个时段块可以包括光场渲染设置，其在图23中标记为光场描述2308并且与第一适配集相关。光场渲染设置块2308可以包括子视图的数目、该子视图所使用的虚拟相机的放置以及场景布局的概览，诸如视图的大小以及视图中的元素的大小和放置。每个时段块2304、2306可以包括一个或多个子集块2310、2312、2314，其中每个子集块与适配集相关。每个子集适配集2310、2312、2314可以包括利用不同的配置参数编码的内容的一个或多个不同的版本。例如，可以用不同的分辨率、不同的压缩率、不同的比特率和/或不同的支持的编解码器来对内容进行编码。每一子集2310、2312、2314可包含选定数目的子视图，其处于不同适配集中，分辨率取决于表示块，并以用于片段块的特定比特率用特定编解码器编码。每一子集2310、2312、2314可划分成短剪辑，其被包含于具有到实际视频数据的链接的子片段块中。
MPD 2302的时段2304、2306内的适配集可包括视图的全阵列的子集2310、2312、2314，其改变了适配集中视图的数目和视图的采样位置。适配集可包含存在的视图的数目和可用视图的索引。适配集可以指示子视图的优先级。适配集(或者对于一些实施例，子集2310、2312、2314)可以包括一个或多个分辨率2318、2320，其各自包括一个或多个比特率2322、2324、2326。对于每个分辨率2318、2320，可以存在一系列时步1、2、…、N(2328、2330、2332)。每一时步2328、2330、2332可具有用于所支持的每一比特率的单独URL 2334、2336、2338、2340、2342、2344。对于图23所示的示例，存在N个分辨率，每个分辨率支持N个比特率。另外，MPD 2302的时段2304、2306内的适配集可用于音频，如图23的示例中的音频块2316所示。
对于一些实施例，MPD可包括对应于两个或更多视图的信息，所述视图对应于所选视图子集。对于一些实施例，对于视图子集中的至少一者，媒体清单文件(例如MPD)可包括对应于光场内容的两个或更多个视图的信息。
表2示出了用于具有图23所示的字段和图21所示的5×5阵列光场的子视图配置的示例性MPD的伪代码。表2所示的示例示出了具有打包到每一帧中的不同数量的视图的三个不同的光场视图适配集。传统的DASH速率和分辨率适配可以在每个视图类别内使用。
●时段
○适配集1:光场场景描述:
■稀疏视图阵列.子视图数量5x 5.虚拟相机位置.
○适配集2:子集1(全光场):子视图数量5x 5(包含子视图1-25)
■分辨率1:每子视图1920x 1080px
●比特率1:利用编解码器XX编码，需要传送容量35Mbps
●比特率2:利用编解码器XX编码，需要传送容量31Mbps
■分辨率2:每子视图1280x 720px
●比特率1:利用编解码器XX编码，需要传送容量22Mbps
●比特率2:利用编解码器XX编码，需要传送容量19Mbps
○适配集3:子集2:子视图数量3x 3(包含子视图1,3,5,11,13,15,21,23,25)
■分辨率1:每子视图1920x 1080px
●比特率1:利用编解码器XX编码，需要传送容量10Mbps
●比特率2:利用编解码器XX编码，需要传送容量9Mbps
■分辨率2:每子视图1280x 720px
●比特率1:利用编解码器XX编码，需要传送容量7Mbps
●比特率2:利用编解码器XX编码，需要传送容量6Mbps
○适配集4:子集3:子视图数量2x 2(包含子视图1,5,21,25)
■分辨率1:每子视图1920x 1080px
●比特率1:利用编解码器XX编码，需要传送容量7Mbps
●比特率2:利用编解码器XX编码，需要传送容量6Mbps
■分辨率2:每子视图1280x 720px
●比特率1:利用编解码器XX编码，需要传送容量4Mbps
●比特率2:利用编解码器XX编码，需要传送容量3Mbps
○适配集5:子集4:子视图数量1x 1(包含子视图13)
■分辨率1:每子视图1920x 1080px
●比特率1:利用编解码器XX编码，需要传送容量2Mbps
●比特率2:利用编解码器XX编码，需要传送容量1,5Mbps
■分辨率2:每子视图1280x 720px
●比特率1:利用编解码器XX编码，需要传送容量1Mbps
●比特率2:利用编解码器XX编码，需要传送容量0,7Mbps
表2
图24是示出了根据一些实施例的用于适配光场流式传输的一组示例接口的系统图。在一些实施例中，具有服务器(例如，内容服务器2402)的示例系统2400可以包括光场内容和一个或多个MPD的数据库2410。内容服务器2402能够运行用于内容预处理的示例过程2412。一个或多个内容服务器2402可以经由网络2418连接到客户端(例如，观看客户端2404)。在一些实施例中，观看客户端2404可以包括本地缓存2416。观看客户端2404可以被使能执行用于将视图(或对于一些实施例，子视图)合成到内容的示例过程2414。观看客户端2404可以连接到显示器2406，以用于显示内容(包括内容的合成视图)。在一些实施例中，观看客户端2404可以包括用于接收跟踪数据(诸如用户视线跟踪数据)和输入数据的输入2408。例如，图24的示例内容服务器2402可以与例如图10的示例内容服务器类似地配置或不同地配置。
图25是示出了根据一些实施例的用于使用估计带宽和视图内插的适配光场流式传输的示例过程的消息序列图。对于示例适配LF流式传输过程2500的一些实施例，服务器2502可以生成2506个子采样光场和MPD的描述，诸如针对与图16-23相关的一些示例所描述的。在一些实施例中，客户端2504(或观看客户端)可以跟踪2508例如观看者的注视，并且使用观看者的注视来选择内容。在一些实施例中，可以使用跟踪例如用户的位置(例如，与注视组合或代替注视)。可从客户端2504向服务器(或内容服务器2502)发送2510内容请求，并且MPD可被响应发送到客户端。对于一些实施方式，服务器2502可在没有请求的情况下向客户端发送2512所述MPD。在一些实施例中，客户端2504可以估计2514服务器2502和客户端2504之间的网络可用的带宽和/或估计在一个或多个子采样场景下要使用的带宽。客户端2504可部分地基于所估计的带宽(一个或多个)来选择2516打包视图的数量或阵列配置。例如，所述打包视图的数量或阵列配置可以选自一样本集合中2516，其最小化所使用的带宽同时保持一个或多个光场参数高于阈值(诸如，对于最高两个优先级子视图，使用高于特定阈值的分辨率和比特率)。客户端2504可以向服务器2502发送2518光场表示请求。服务器2502可取回2520所请求的LF表示并将所请求的表示传输2522至客户端2504。客户端2504可以接收所请求的表示作为一个或多个内容片段。对于一些实施例，客户端2504可以使用接收到的内容片段来内插2524一个或多个内插的子视图。观看客户端2504可显示2526所接收的和内插的子视图光场内容数据。
对于一些实施例，客户端过程可以包括：获得与所选择的表示相关联的光场内容；解码所述光场内容的帧；组合所述帧中表示的两个或更多个视图以生成组合视图合成结果；以及将该组合视图合成结果渲染到显示器。
图26是示出了根据一些实施例的用于使用预测的视图位置的适配光场流式传输的示例过程的消息序列图。对于一些实施例，客户端2602可以执行未来视点预测并且执行内容分析以确定哪些子视图被优先化排序。在一些实施例中，该优先化排序可以基于例如递送带宽和视图内插要求和资源。对于一些实施例，基于根据例如由观看客户端2602执行的分析而指派给子视图的优先级，客户端2602可以从内容服务器拉取以所选数目的子视图为特征的特定表示。在该模型中，客户端2602可以通过选择要拉取多少子视图来选择使用哪个光场采样。观看客户端2602可以根据视点运动、内容复杂度和显示能力来动态地改变所拉取的各个子视图的数目。对于一些实施例，可以在服务器处收集具有不同数量的视图的内容表示，并且将其提供为替代的光场子采样。客户端2602可基于本地标准，诸如可用存储器、显示渲染能力、和/或处理能力来选择这些子集中的一个。图26示出了在示例客户端拉会话2600中用于在观看客户端2602和内容服务器2604之间处理和通信的序列的概览。
对于一些实施例，内容服务器2604可以按顺序次序渲染2606光场子集。观看客户端2602可请求2608内容，并且内容服务器2604可发送回2610MPD文件。观看客户端2602可以选择2612要拉取的内容表示的视图的数目。观看客户端2602可请求2614一子集，并且内容服务器2604可以用子集内容数据、虚拟相机位置和捕捉所述内容数据的时间戳来响应2616。观看客户端2602可将接收到的数据存储2618到本地缓存。观看客户端2602可更新2620用户的视点，并使用存储在本地缓存中的光场数据的时间可变性来合成视图。观看客户端2602可以使用(或对于某些实施例构建2622)视点运动的运动模型，并预测下一时步中的视点位置。观看客户端2602可分析2624内容并基于预测的视点位置而对要拉取的光场子集进行优先化排序。
对于一些实施例，选择多个视点子集中的一个可以包括：解析媒体清单文件(例如MPD)中的用于光场内容的多个视点子集的信息。
图27是示出了根据一些实施例的用于内容服务器预处理的示例过程的流程图。在预处理阶段的一些实施例中，服务器可以生成多个光场数据子集和描述该子集的元数据。可以通过选择要用于减少流数据中所包括的子视图的数量的各种子采样中的子视图的数量来配置多个光场数据子集。
对于一些实施例，内容服务器可以针对不同的子采样配置多次执行示例预处理方法。在示例预处理方法的一些配置中，可以从诸如本地内容服务器缓存的存储器接收或读取原始光场数据2704。内容服务器可以选择2702具有要产生的不同数量的子视图2708的变型。内容服务器可以为每个子视图配置(或者对于一些实施例为子采样配置)产生2706流数据。内容服务器可为每个流数据版本或变型产生2710MPD(或MPD内的元数据)。MPD 2712可由内容服务器存储在本地缓存中。
图28是示出了根据一些实施例的用于内容服务器运行时处理的示例过程的流程图。对于一些实施例，示例适配内容分发运行时过程2800，诸如图28中所示的示例，可以在执行诸如图27的示例预处理方法的预处理之后被执行。在一些实施例中，内容服务器可接收2802来自观看客户端的内容请求。运行时过程2800可以确定2804请求类型。如果所述内容请求指示新会话，则内容服务器可从存储器(例如本地缓存)取回2806对应于该内容请求的MPD，并将该MPD发送2808到观看客户端。对于一些实施例，MPD可以在运行时生成，这可以例如类似于关于图27所描述的过程。如果所述内容请求指示对子集数据片段的请求，则内容服务器可以从存储器取回2812光场子集流，并且将该数据片段发送2810到观看客户端。所述运行时过程2800可确定2814是否请求了结束处理。如果接收到处理结束信号，则该过程可以结束2816。否则，该过程可以通过等待2802以接收对内容的请求来重复。
图29是示出了根据一些实施例的用于观看客户端的示例过程的流程图。对于示例观看客户端过程2900的一些实施例，可以将内容请求发送2902到内容服务器。在一些实施例中，如果用户启动观看客户端应用并且指示要观看的内容，则可以发送内容请求。在一些实施例中，所述观看客户端应用可以通过执行用户的显式命令或脚本文件来启动，或者通过由操作系统识别内容请求和与该内容请求中的内容类型相关联的应用来自动启动。在一些实施例中，观看客户端可以是例如独立应用、集成的web浏览器或社交媒体客户端、或操作系统的一部分。对于一些实施例，启动观看客户端应用导致传感器初始化，例如由观看客户端设备、用户或注视跟踪使用的传感器。
观看客户端可接收2904例如清单文件(例如媒体清单文件)，诸如与所请求的内容相对应的MPD(或对于一些实施例的适配清单)。对于一些实施例，观看客户端初始化2906设备跟踪。观看客户端可以选择2908初始数目的子视图(或表示)以从内容服务器请求(或从内容服务器下载)。观看客户端可从内容服务器顺序地下载子片段。在一些实施例中，观看客户端可基于例如显示设置、跟踪应用设置、分辨率和比特率来确定初始适配集(或对于一些实施例来说是打包子集的数量)和特定表示，以向内容服务器请求。
所述子视图可以被打包到将由观看客户端拉取的内容的每个帧中。对于一些实施例，观看客户端可以请求2910个具有所选数目的子视图的流。对于一些实施例，观看客户端可从内容服务器下载所选子集的媒体片段。在一些实施例中，所述内容可以是标识所述内容数据和/或MPD文件的URL链接。观看客户端接收2912这些子视图集。在一些实施例中，当接收到表示的第一片段时，客户端可开始连续的运行时过程。该运行时过程可以包括更新2914视点。可以基于设备跟踪和用户输入来更新所述视点。可以使用所接收的光场数据和当前视点来合成2916视点。根据所接收的数据，客户端将光场渲染为显示器特定格式，其针对一些观看条件，内插附加子视图。
可以基于例如用户跟踪(例如，用户位置、用户注视、用户视点、用户视图跟踪)、内容分析、性能度量、视点运动、内容复杂度、显示能力、网络和处理性能、或任何其他合适的标准，更新2918所选择的子视图的数目。对于一些实施例，可以测量或观察性能度量(例如，所使用的带宽、可用的带宽和客户端能力)，并且可以更新所选择的子视图的数量。作为示例性运行时过程的一部分而，观看客户端可更新选择的子视图的数量。所述运行时过程2900可以包括确定2920是否请求了结束处理。如果接收到处理结束信号，则过程2900可以结束2922。否则，过程2900可以通过请求2910(或对于一些实施例，下载)所选择的子视图流来重复。
在一些实施例中，所述帧可以包括与所选择的视图子集相对应的两个或更多个视图的帧打包表示。对于一些实施例，组合一帧中表示的两个或更多个视图可包含使用视图合成技术。在一些实施例中，选择所述多个视图子集中的一个视图子集基于以下标准中的至少一者来选择所述视图子集：注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。在一些实施例中，选择所述多个视图子集中的一个可以包括：预测用户的视点；以及基于所预测的用户视点来选择所述视图子集。例如，所述视点子集可以被选择为在用户的视点角度阈值内。
对于一些实施例，选择一表示可以基于以下标准中的至少一者来选择表示：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。对于一些实施例，选择视图子集可基于以下标准中的至少一者来选择视图子集：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
在一些实施例中，帧可以包括与所选择的视图子集相对应的两个或更多个视图的帧打包表示。在一些实施例中，组合一帧中表示的两个或更多个视图可以包括使用视图合成技术。对于一些实施例，选择视图子集可以包括：预测用户的视点；以及基于所预测的用户视点来选择所述视图子集。在一些实施例中，从所获得的光场内容生成视图可以包括：内插来自与所选视图子集相关联的所述光场内容的所述视图，以生成所生成的视图，该内插通过使用所述清单文件中分别对应于所述视图的信息而进行。
图30是示出了根据一些实施例的用于观看客户端的示例过程的流程图。观看客户端的示例方法3000的一些实施例可以包括：接收3002媒体清单文件，该媒体清单文件包括光场视频内容的视图的多个子采样表示的信息。在一些实施例中，所述媒体清单文件可以是MPD。示例方法3000还可以包括：估计3004可用于流式传输所述光场视频内容的带宽，选择3006所述多个子采样表示中的一个，以及获得3008所选择的子采样表示。示例方法3000的一些实施例可包括：内插3010来自所选子采样表示的一个或多个内插子视图，该内插通过使用所述清单文件中分别对应于所述一个或多个视图的信息而进行。示例方法3000的一些实施例还可以包括：从所述一个或多个内插的子视图合成3012一个或多个合成视图。示例方法3000的一些实施例还可以包括：显示3014所述一个或多个合成视图。
对于一些实施例，示例方法3000还可以包括：从服务器请求光场视频内容。对于示例方法3000的一些实施例，从服务器取回所选子采样表示可以包括：从服务器请求所选子采样表示以及接收所选子采样表示。在一些实施例中，示例装置可以包括处理器和存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的任何方法。示例方法的一些实施例可以包括：获得与所选择的表示相关联的光场内容；从所获得的光场内容生成所述光场内容的视图；以及将所生成的视图渲染到显示器。示例方法的一些实施例可以包括：接收媒体清单文件，所述媒体清单文件包括用于光场视频内容的视图的多个子采样表示的信息；估计可用于流式传输所述光场视频内容的带宽；选择所述多个子采样表示中的一个；获得所选择的子采样表示；内插来自所选子采样表示的一个或多个内插子视图，该内插通过使用所述清单文件中分别对应于所述一个或多个视图的信息而进行；从所述一个或多个内插的子视图合成一个或多个合成视图；以及显示所述一个或多个合成视图。装置的一些实施例可以包括处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的示例方法中的任何一个。
图31是示出了根据一些实施例的用于观看客户端的示例过程的流程图。观看客户端的示例方法3100的一些实施例可以包括：接收3102媒体清单文件，该媒体清单文件包括光场内容的多个视图子集的信息。示例方法3100还可以包括：选择3104所述多个视图子集中的一个，并且获得与所选择的视图子集相关联的光场内容。在一些实施例中，示例方法3100可以包括：解码3108所述光场内容的帧。示例方法3100可以包括：组合3110所述帧中表示的两个或更多个视图以生成组合视图合成结果。示例方法3100还可以包括：将所述组合视图合成结果渲染3112到显示器。对于示例性方法3100的一些实施方式，取回所述MPD可包括：请求和接收所述MPD。对于一些实施例，关于图30和31描述的示例方法可以由客户端设备执行。对于一些实施例，所述光场内容可以是三维光场内容。在一些实施例中，示例装置可以包括处理器和存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的任何方法。
对于一些实施例，生成光场内容的视图可以包括：解码所述光场内容的帧；以及组合在所述帧中表示的两个或更多视图以生成所生成的视图，使得获得的(或对于一些实施例取回的)光场内容包括所述光场内容的所述帧。在一些实施例中，示例方法可以包括：接收包括所述光场内容的多个视图子集的信息的媒体清单文件；选择所述多个视图子集中的一个视图子集；获得与所选择的视图子集相关联的光场内容；解码所述光场内容的帧；组合所述帧中表示的两个或更多个视图以生成组合视图合成结果；以及将所述组合视图合成结果渲染给显示器。在一些实施例中，样本方法可以包括：接收包括光场内容的多个视图子集的信息的媒体清单文件；选择所述多个视图子集中的一个视图子集；获得与所选择的视图子集相关联的光场内容；从所获得的光场内容生成视图；以及将所生成的视图渲染给显示器。对于样本方法的一些实施例，从所获得的光场内容生成一个或多个视图可以包括：解码所述光场内容的帧；以及组合在所述帧中表示的两个或更多个视图以生成所生成的视图，使得所获得的光场内容包括所述光场内容的所述帧。装置的一些实施例可以包括处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的示例方法中的任何一个。
图32是示出了根据一些实施例的用于观看客户端的示例过程的流程图。对于一些实施例，示例过程3200可包括：接收3202标识多视图视频的多个表示的媒体清单文件，使得所述多个表示中的至少第一表示可包括视图的第一子采样，并且所述多个表示中的至少第二表示包括与视图的所述第一子采样不同的视图的第二子采样。对于一些实施例，示例过程3200可以进一步包括：从所述多个表示中选择3204一所选择的表示。对于一些实施例，示例过程3200可以进一步包括：取回3206所选择的表示。对于一些实施例，示例过程3200可以进一步包括：渲染3208所选择的表示。对于一些实施例，一种设备可包含处理器及存储指令的非暂时性计算机可读媒体，所述指令在由所述处理器执行时操作以执行示例过程3200的实施例。
尽管在显示器的上下文中讨论了根据一些实施例的方法和系统，但是一些实施例也可以应用于虚拟现实(VR)、混合现实(MR)和增强现实(AR)上下文。此外，尽管根据一些实施例在本文中使用术语“头戴式显示器(HMD)”，但是对于一些实施例，一些实施例可以应用于能够例如VR、AR和/或MR的可穿戴设备(其可以附接到头部或者可以不附接到头部)。
根据一些实施例的示例方法可以包括：接收标识多视图视频的多个表示的媒体清单文件，所述多个表示中的至少第一表示包含视图的第一子采样，且所述多个表示中的至少第二表示包括不同于视图的所述第一子采样的视图的第二子采样；从所述多个表示中选择一所选择的表示；取回所选择的表示；以及渲染所选择的表示。
对于示例方法的一些实施例，所述多个表示中的每个表示可以具有朝向特定相应方向的相应视图密度。
对于示例方法的一些实施例，所述媒体清单文件可以针对所述多个表示中的一个或多个表示来标识所述相应视图密度和所述特定相应方向。
对于示例方法的一些实施例，视图的两个或更多个不同子采样可至少关于朝向特定方向的视图的子采样的视图密度而不同。
示例方法的一些实施例还可以包括：跟踪所述用户的所述观看方向，其中选择所选择的表示可包含：选择视图的所述两个或更多个子采样中的视图子采样，所选择的视图子采样具有朝向所述用户的所述跟踪的观看方向的高视图密度。
示例方法的一些实施例还可以包括：跟踪用户的观看方向，其中选择所选择的表示可以包括：基于所跟踪的用户的观看方向来选择所选择的表示。
示例方法的一些实施例还可以包括：获得所述用户的所述观看方向，其中选择所述选择的表示包括：基于所述获得的所述用户的观看方向选择所述选择的表示。
对于示例方法的一些实施例，选择所选择的表示可以基于用户的位置。
对于示例方法的一些实施例，选择所选择的表示可以基于带宽约束。
对于示例方法的一些实施例，所述多个表示中的至少一个表示可以包括针对第一观看方向比针对第二观看方向更高密度的视图。
示例方法的一些实施例可以进一步包括：使用所渲染的表示来生成用于显示的信号。
示例方法的一些实施例可以进一步包括：跟踪用户的头部位置，其中选择所选择的表示可以基于用户的头部位置。
示例方法的一些实施例可以进一步包括：跟踪用户的注视方向，其中选择所选择的表示可以基于用户的注视方向。
示例方法的一些实施例可以进一步包括：使用用户的注视方向来确定用户的视点，其中选择所选择的表示可以包括：基于用户的视点来选择所选择的表示。
示例方法的一些实施例可以进一步包括：使用用户的注视方向确定用户的视点；以及选择所述多视图视频的视图的至少一个子采样，其中选择所述视图的所述至少一个子采样可以包括：选择用户的视点的阈值视点角度内的所述视图的至少一个子采样。
示例方法的一些实施例还可以包括：对至少一个视图进行内插，其中选择所选择的表示可以从所述多个表示和所述至少一个视图中选择所选择的表示。
对于所述示例方法的一些实施例，其中，所述媒体清单文件可以包括一个或多个视图的优先级数据，并且其中，内插所述至少一个视图使用所述优先级数据。
对于所述示例方法的一些实施例，其中，所述媒体清单文件可以包括一个或多个视图的优先级数据，并且其中，选择所述选择的表示使用所述优先级数据。
示例方法的一些实施例还可以包括：获得与所选择的表示相关联的光场内容；解码所述光场内容的帧；组合所述帧中表示的两个或更多个视图以生成组合视图合成结果；以及将所述组合视图合成结果渲染到显示器。
对于示例方法的一些实施例，所述帧可以包括与所选择的表示相对应的两个或更多个视图的帧打包表示。
对于示例方法的一些实施例，对于所述多个表示中的至少一个表示，所述媒体清单文件可以包括与所述光场内容的两个或更多个视图对应的信息。
对于示例方法的一些实施例，选择所选择的表示可以基于以下标准中的至少一者来选择所述表示：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
对于示例方法的一些实施例，选择所选择的表示可以包括：预测用户的视点；以及基于所预测的用户视点来选择所选择的表示。
示例方法的一些实施例还可以包括：获得与所选择的表示相关联的光场内容；从所获得的光场内容生成所述光场内容的所生成的视图；以及将所生成的视图渲染到显示器。
对于示例方法的一些实施例，生成所述光场内容的所生成的视图可以包括：解码所述光场内容的帧；以及组合在所述帧中表示的两个或更多视图以生成所生成的视图，其中所获得的光场内容可以包括所述光场内容的所述帧。
示例方法的一些实施例还可以包括：解码光场内容的帧；以及组合在所述帧中表示的两个或更多个视图以生成组合视图合成结果，其中所述多视图视频的所述多个表示可以包括所述光场内容的视图的多个子采样，并且其中渲染所选择的表示可以包括向显示器渲染所述组合视图合成结果。
示例方法的一些实施例还可以包括：从服务器请求所述媒体清单文件；以及请求与所选择的视图子集相关联的所述光场内容，其中，获得与所选择的视图子集相关联的所述光场内容可以包括：执行从由以下组成的组中选择的过程：从所述服务器取回与所选视图子集相关联的所述光场内容，从所述服务器请求与所选视图子集相关联的所述光场内容，以及接收与所选视图子集相关联的所述光场内容。
对于示例方法的一些实施例，组合所述帧中表示的两个或更多个视图可以包括：使用视图合成技术。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以基于以下标准中的至少一者来选择所述视图子集：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以包括：预测用户的视点；以及基于所预测的用户视点来选择所述视图子集。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收媒体清单文件，所述媒体清单文件包括用于光场视频内容的视图的多个子采样表示的信息；选择所述多个子采样表示中的一个；获得所选择的子采样表示；对来自所述选择的子采样表示的一个或多个内插子视图进行内插，该内插通过使用分别对应于所述一个或多个视图的所述清单文件中的所述信息而进行；从所述一个或多个内插的子视图合成一个或多个合成视图；以及显示所述一个或多个合成视图。
示例方法的一些实施例还可以包括：估计可用于流式传输所述光场视频内容的带宽，使得选择多个子采样表示中的所述子采样表示是基于所估计的带宽的。
示例方法的一些实施例还可以包括：跟踪用户的位置，使得选择所述多个子采样表示中的所述子采样表示是基于用户的位置的。
示例方法的一些实施例还可以包括：向服务器请求所述光场视频内容，其中获得所选择的子采样表示可以包括：执行从由以下各项组成的组中选择的过程：从所述服务器取回所述选定的子采样表示，从所述服务器请求所述选定的子采样表示，以及接收所述选定的子采样表示。
对于示例方法的一些实施例，所述清单文件中的所述信息可包括两个或更多个视图的位置数据。
对于示例方法的一些实施例，所述清单文件中的所述信息可以包括用于所述多个视图中的一个或多个的内插优先级数据，并且选择所述多个子采样表示中的一个可以基于用于所述多个视图中的一个或多个视图的所述内插优先级数据。
示例方法的一些实施例还可以包括：跟踪用户的头部位置，其中选择所述多个子采样表示中的一个子采样表示是基于用户的头部位置的。
示例方法的一些实施例还可以包括：跟踪用户的注视方向，其中选择所述多个子采样表示中的一个可以基于用户的注视方向的。
示例方法的一些实施例还可以包括：从所述用户的注视方向，确定所述用户的视点；以及从包括所述一个或多个内插视图和所选子采样表示的组中选择所述光场视频内容的一个或多个子视图，其中从所述一个或多个内插子视图合成所述一个或多个合成视图可包括：使用所述一个或多个所选子视图和所述用户视点，合成所述光场的所述一个或多个合成视图。
示例方法的一些实施例还可以包括：显示所述光场的所述合成视图。
对于示例方法的一些实施例，选择所述光场的一个或多个子视图可以包括：选择用户的视点的阈值视点角度内的一个或多个子视图。
示例方法的一些实施例还可以包括：从所述用户的注视方向，确定所述用户的视点，其中选择所述多个子采样表示中的一个子采样表示可以包括基于所述用户的视点来选择所述子采样表示。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收包括用于光场内容的视图的多个子采样的信息的媒体清单文件；选择视图的所述多个子采样中的一个；获得与所选择的视图子采样相关联的光场内容；解码所述光场内容的帧；组合所述帧中表示的两个或更多个视图以生成组合视图合成结果；以及将所述组合视图合成结果渲染到显示器，其中所获得的光场内容包括所述光场内容的所述帧。
示例方法的一些实施例还可以包括：从服务器请求所述媒体清单文件；以及请求与所选择的视图子集相关联的所述光场内容，其中，获得与所选择的视图子集相关联的光场内容可以包括执行从由以下组成的组中选择的过程：从所述服务器取回与所选视图子集相关联的所述光场内容，从所述服务器请求与所选视图子集相关联的所述光场内容，以及接收与所选视图子集相关联的所述光场内容。
对于示例方法的一些实施例，所述帧可以包括与所选择的视图子集相对应的两个或更多个视图的帧打包表示。
对于示例方法的一些实施例，所述媒体清单文件可包括与对应于所选视图子集的所述两个或更多个视图对应的信息。
对于示例方法的一些实施例，对于视图的所述多个子采样中的至少一者，所述媒体清单文件可以包括与所述光场内容的两个或更多个视图对应的信息。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以包括：解析所述媒体清单文件中的用于光场内容的视图的所述多个子采样的所述信息。
对于示例方法的一些实施例，组合所述帧中表示的两个或更多个视图可以包括使用视图合成技术。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以基于以下标准中的至少一者来选择所述视图子集：注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
对于示例方法的一些实施例，选择视图的所述多个子采样中的一个可以包括：预测用户的视点；以及基于所预测的用户视点来选择所述视图子集。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收包括用于光场内容的视图的多个子采样的信息的媒体清单文件；选择视图的所述多个子采样中的一个；获得与所选择的视图子集相关联的光场内容；从所获得的光场内容生成视图；以及将所生成的视图渲染给显示器。
对于示例方法的一些实施例，从所获得的光场内容生成视图可以包括：内插来自与所选视图子集相关联的所述光场内容的所述视图，以生成所生成的视图，该内插通过使用所述清单文件中分别对应于所述视图的信息而进行。
对于示例方法的一些实施例，从所获得的光场内容生成一个或多个视图可以包括：解码所述光场内容的帧；以及组合在所述帧中表示的两个或更多视图以生成所生成的视图，其中所获得的光场内容可以包括所述光场内容的所述帧。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收标识多视图视频的视图的多个子采样的媒体清单文件，视图的所述多个子采样包括两个或更多个不同密度的视图；从视图的所述多个子采样中选择所选择的子采样；取回所选择的子采样；以及渲染所选择的子采样。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：渲染包括光场视频内容的全阵列的视图的表示；发送所渲染的视图的全阵列表示；获取客户端的当前视点；使用当前视点和视点运动模型来预测未来视点；对所述光场视频内容的视图的多个子采样表示进行优先化排序；渲染光场视频内容的视图的经优先化排序的多个子采样表示；以及发送所述优先化排序的视图的多个子采样表示。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：选择光场视频内容的多个子视图；产生用于所述光场视频内容的所述多个子视图中的每一个的流数据；以及产生包括用于所述光场视频内容的所述多个子视图中的每一个的所述流数据的媒体清单文件。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例方法可以包括：接收对光场视频内容的信息的请求；当所述请求是新会话请求时，发送包括所述光场视频内容的视图的多个子采样表示的信息的媒体清单文件；以及当所述请求是子集数据片段请求时，发送包括所述光场视频内容的子集的数据片段。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的方法中的任何一种。
根据一些实施例的示例信号可以包括一信号，该信号携带包括所述光场视频内容的全阵列的视图表示和所述光场视频内容的视图的多个子采样表示。
根据一些实施例的示例信号可以包括一信号，该信号携带光场视频内容的多个子视图。
根据一些实施例的示例信号可以包括一信号，该信号携带光场视频内容的多个子视图中的每一个的流数据。
根据一些实施例的示例信号可以包括一信号，该信号携带光场视频内容的视图的多个子采样表示的信息。
根据一些实施例的示例信号可以包括一信号，该信号携带包括光场视频内容的子集的数据片段的信号。
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其实施(即，执行、运行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒体中，其诸如通常被称为RAM、ROM等。
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如内部硬盘和可移除磁盘)、磁光媒体和光学媒体(例如CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、UE、终端、基站、RNC和/或任何主计算机的射频收发信机。

Claims (71)

1.一种方法，包括：
接收标识多视图视频的多个表示的媒体清单文件，所述多个表示中的至少第一表示包括视图的第一子采样，且所述多个表示中的至少第二表示包括不同于视图的所述第一子采样的视图的第二子采样；
从所述多个表示中选择一所选择的表示；
取回所选择的表示；以及
渲染所选择的表示。
2.根据权利要求1所述的方法，其中所述多个表示中的每一表示具有朝向特定相应方向的相应视图密度。
3.根据权利要求2所述的方法，其中，所述媒体清单文件针对所述多个表示中的一个或多个表示，标识所述相应视图密度和所述特定相应方向。
4.根据权利要求1所述的方法，其中视图的所述两个或更多个不同子采样至少在朝向特定方向的视图的所述子采样的视图密度方面不同。
5.根据权利要求1至4中任一项所述的方法，还包括：
跟踪所述用户的所述观看方向，
其中选择所选择的表示包括：选择视图的所述两个或更多个子采样中的视图的子采样，所选择的视图的子采样具有朝向所跟踪的所述用户的观看方向的高视图密度。
6.根据权利要求1至5中任一项所述的方法，还包括：
跟踪所述用户的所述观看方向，
其中选择所选择的表示包括：基于所跟踪的所述用户的观看方向，选择所选择的表示。
7.根据权利要求1至5中任一项所述的方法，还包括：
获取所述用户的所述观看方向，
其中选择所选择的表示包括：基于所获得的所述用户的观看方向，选择所选择的表示。
8.根据权利要求1-7中任一项所述的方法，其中选择所选择的表示是基于用户的位置的。
9.根据权利要求1-8中任一项所述的方法，其中，选择所选择的表示是基于带宽约束的。
10.根据权利要求1-9中任一项所述的方法，其中，所述多个表示中的至少一个表示包括针对第一观看方向的比针对第二观看方向的更高密度的的视图。
11.根据权利要求1-10中任一项所述的方法，还包括：使用所渲染的表示来生成用于显示的信号。
12.根据权利要求1至11中任一项所述的方法，还包括：
跟踪用户的头部位置，
其中选择所选择的表示是基于所述用户的所述头部位置的。
13.根据权利要求1至12中任一项所述的方法，还包括：
跟踪用户的注视方向，
其中选择所选择的表示是基于所述用户的所述注视方向的。
14.根据权利要求13所述的方法，还包括：
使用所述用户的所述注视方向来确定所述用户的视点，
其中选择所选择的表示包括：基于所述用户的所述视点，选择所选择的表示。
15.根据权利要求13所述的方法，还包括：
使用所述用户的所述注视方向来确定所述用户的视点；以及
选择所述多视图视频的视图的至少一个子采样，
其中选择所述视图的所述至少一个子采样包括：在所述用户的所述视点的阈值视点角度内，选择所述视图的至少一个子采样。
16.根据权利要求1至15中任一项所述的方法，还包括：
对至少一个视图进行内插，
其中选择所选择的表示从所述多个表示和所述至少一个视图中选择所选择的表示。
17.根据权利要求16所述的方法，
其中所述媒体清单文件包括用于一个或多个视图的优先级数据，以及
其中内插所述至少一个视图使用所述优先级数据。
18.根据权利要求1-17中任一项所述的方法，
其中所述媒体清单文件包括用于一个或多个视图的优先级数据，以及
其中选择所选择的表示使用所述优先级数据。
19.根据权利要求1至18中任一项所述的方法，还包括：
获得与所选择的表示相关联的光场内容；
解码所述光场内容的帧；
组合所述帧中表示的两个或更多个视图以生成组合视图合成结果；以及
将所述组合视图合成结果渲染到显示器。
20.根据权利要求19所述的方法，其中所述帧包括对应于所选择的表示的两个或更多视图的帧打包表示。
21.根据权利要求19-20中的任一项所述的方法，其中对于所述多个表示中的至少一个表示，所述媒体清单文件包括与所述光场内容的两个或更多个视图相对应的信息。
22.根据权利要求19-21中任一项所述的方法，其中选择所选择的表示基于以下标准中的至少一者来选择所述表示：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
23.根据权利要求19-22中任一项所述的方法，其中选择所选择的表示包括：
预测用户的视点；以及
基于所预测的所述用户的视点，选择所选择的表示。
24.根据权利要求1至23中任一项所述的方法，还包括：
获得与所选择的表示相关联的光场内容；
从所获得的光场内容，生成所述光场内容的所生成的视图；以及
将所生成的视图渲染到显示器。
25.根据权利要求24所述的方法，其中生成所述光场内容的所述所生成的视图包括：
解码所述光场内容的帧；以及
组合在所述帧中表示的两个或更多个视图，以生成所述所生成的视图，
其中所获得的光场内容包括所述光场内容的所述帧。
26.根据权利要求1至25中任一项所述的方法，还包括：
解码光场内容的帧；以及
组合所述帧中表示的两个或更多个视图，以生成组合视图合成结果，
其中所述多视图视频的所述多个表示包括所述光场内容的视图的多个子采样，以及
其中渲染所选择的表示包括：将所述组合视图合成结果渲染到显示器。
27.根据权利要求1至26中任一项所述的方法，还包括：
从服务器请求所述媒体清单文件；以及
请求与所选择的视图子集相关联的光场内容，
其中获得与所述所选择的视图子集相关联的所述光场内容包括：执行选自由以下各项组成的群组的过程：
从所述服务器取回与所选择的视图子集相关联的所述光场内容，
从所述服务器请求与所选择的视图子集相关联的所述光场内容，以及
接收与所选择的视图子集相关联的所述光场内容。
28.根据权利要求26到27中任一权利要求所述的方法，其中组合所述帧中表示的两个或更多个视图包括：使用视图合成技术。
29.根据权利要求26到28中任一权利要求所述的方法，其中选择视图的所述多个子采样中的一者是基于以下标准中的至少一者来选择所述视图子集的：用户头部位置、注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
30.根据权利要求26-29中任一项所述的方法，其中选择视图的所述多个子采样中的一者包括：
预测用户的视点；以及
基于所预测的所述用户的视点，选择所述视图子集。
31.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求1至30中任一项所述的方法。
32.一种方法，包括：
接收媒体清单文件，所述媒体清单文件包括用于光场视频内容的视图的多个子采样表示的信息；
选择所述多个子采样表示中的子采样表示；
获得所选择的子采样表示；
使用所述清单文件中的分别对应于所述一个或多个视图的所述信息，对来自所选择的子采样表示的一个或多个子视图进行内插；
从所述一个或多个子视图合成一个或多个合成视图；以及
显示所述一个或多个合成视图。
33.根据权利要求32所述的方法，还包括：
估计可用于流式传输所述光场视频内容的带宽，
其中选择所述多个子采样表示中的所述子采样表示是基于所估计的带宽的。
34.根据权利要求32所述的方法，还包括：
跟踪用户的位置，
其中选择所述多个子采样表示中的所述子采样表示是基于所述用户的所述位置的。
35.根据权利要求32至34中任一项所述的方法，还包括：
从服务器请求所述光场视频内容，
其中获得所选择的子采样表示包括：执行选自由以下各项组成的群组的过程：
从所述服务器取回所选择的子采样表示，
向服务器请求所选择的子采样表示，以及
接收所选择的子采样表示。
36.根据权利要求32-35中任一项所述的方法，其中所述清单文件中的所述信息包括两个或更多个视图的位置数据。
37.根据权利要求32-36中任一项所述的方法，
其中所述清单文件中的所述信息包括用于所述多个视图中的一个或多个视图的内插优先级数据，以及
其中选择所述多个子采样表示中的一者是基于所述多个视图中的一者或多者的所述内插优先级数据的。
38.根据权利要求32至37中任一项所述的方法，还包括：
跟踪用户的头部位置，
其中选择所述多个子采样表示中的一者是基于所述用户的所述头部位置的。
39.根据权利要求32至38中任一项所述的方法，还包括：
跟踪用户的注视方向，
其中选择所述多个子采样表示中的一个子采样表示是基于所述用户的所述注视方向的。
40.根据权利要求39所述的方法，还包括：
从所述用户的所述注视方向，确定所述用户的视点，
其中选择所述多个子采样表示中的一个进一步基于所述用户的所述视点。
41.根据权利要求40所述的方法，其进一步包括：显示所述光场的所述合成视图。
42.根据权利要求40所述的方法，其中选择所述光场的一个或多个子视图包括：在所述用户的所述视点的阈值视点角度内，选择一个或多个子视图。
43.根据权利要求39所述的方法，还包括：
从所述用户的所述注视方向，确定所述用户的视点，
其中选择所述多个子采样表示中的一个包括：基于所述用户的所述视点，选择所述子采样表示。
44.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求32至43中任一项所述的方法。
45.一种方法，包括：
接收媒体清单文件，该媒体清单文件包括用于光场内容的视图的多个子采样的信息；
选择视图的所述多个子采样中的一个；
获得与所选择的视图子采样相关联的光场内容；
解码所述光场内容的帧；
组合所述帧中表示的两个或更多个视图，以生成组合视图合成结果；以及
将所述组合视图合成结果渲染到显示器，
其中所获得的光场内容包括所述光场内容的所述帧。
46.根据权利要求45所述的方法，还包括：
从服务器请求所述媒体清单文件；以及
请求与所选择的视图子集相关联的所述光场内容，
其中获得与所选择的视图子集相关联的所述光场内容包括：执行选自由以下各项组成的群组的过程：
从所述服务器取回与所选择的视图子集相关联的所述光场内容，
从所述服务器请求与所选择的视图子集相关联的所述光场内容，以及
接收与所选择的视图子集相关联的所述光场内容。
47.根据权利要求45-46中任一项所述的方法，其中所述帧包括对应于所选择的视图子集的两个或更多个视图的帧打包表示。
48.根据权利要求45所述的方法，其中，所述媒体清单文件包括与对应于所选择的视图子集的所述两个或更多个视图相对应的信息。
49.根据权利要求45-48中的任一项所述的方法，其中，对于视图的所述多个子采样中的至少一者，所述媒体清单文件包括与所述光场内容的两个或更多个视图对应的信息。
50.根据权利要求45-49中任一项所述的方法，其中选择视图的所述多个子采样中的一个子采样包括：解析所述媒体清单文件中的针对光场内容的视图的所述多个子采样的所述信息。
51.根据权利要求45-50中任一项所述的方法，其中组合所述帧中表示的两个或更多个视图包括：使用视图合成技术。
52.根据权利要求45-51中任一项所述的方法，其中选择视图的所述多个子采样中的一个子采样是基于以下标准中的至少一者来选择所述视图子集的：注视跟踪、所述内容的复杂度、显示能力和可用于取回光场内容的带宽。
53.根据权利要求45-52中任一项所述的方法，其中选择视图的所述多个子采样中的一个包括：
预测用户的视点；以及
基于所预测的所述用户的视点，选择所述视图子集。
54.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求45至53中任一项所述的方法。
55.一种方法，包括：
接收媒体清单文件，该媒体清单文件包括用于光场内容的视图的多个子采样的信息；
选择视图的所述多个子采样中的一个；
获得与所选择的视图子集相关联的光场内容；
从所获得的光场内容，生成视图；以及
将所生成的视图渲染给显示器。
56.根据权利要求55所述的方法，其中从所获得的光场内容生成所述视图包括：内插来自与所选视图子集相关联的所述光场内容的所述视图，以生成所生成的视图，该内插通过使用所述清单文件中分别对应于所述视图的信息而进行。
57.根据权利要求55至56中任一项所述的方法，其中从所获得的光场内容生成一个或多个视图包括：
解码所述光场内容的帧；以及
组合在所述帧中表示的两个或更多个视图，以生成所生成的视图，
其中所获得的光场内容包括所述光场内容的所述帧。
58.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求55至57中任一项所述的方法。
59.一种方法，包括：
接收标识多视图视频的视图的多个子采样的媒体清单文件，视图的所述多个子采样包括两个或更多个不同密度的视图；
从视图的所述多个子采样中选择所选择的子采样；
取回所选择的子采样；以及
渲染所选择的子采样。
60.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时能操作以执行权利要求59。
61.一种方法，包括：
渲染视图的表示，该视图的表示包括光场视频内容的全阵列；
发送所渲染的视图的全阵列表示；
获取客户端的当前视点；
使用所述当前视点和视点运动模型，预测未来视点；
对所述光场视频内容的视图的多个子采样表示进行优先化排序；
渲染光场视频内容的视图的所述优先化排序的多个子采样表示；以及
发送视图的所述优先化排序的多个子采样表示。
62.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时能操作以执行权利要求61。
63.一种方法，包括：
选择光场视频内容的多个子视图；
针对所述光场视频内容的所述多个子视图中的每一者，产生流数据；以及
产生媒体清单文件，该媒体清单文件包括用于所述光场视频内容的所述多个子视图中的每一者的所述流数据。
64.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时能操作以执行权利要求63。
65.一种方法，包括：
接收对光场视频内容的信息的请求；
当所述请求是新会话请求时，发送媒体清单文件，该媒体清单文件包括用于所述光场视频内容的视图的多个子采样表示的信息；以及
当所述请求是子集数据片段请求时，发送包括所述光场视频内容的子集的数据片段。
66.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时能操作以执行权利要求65。
67.一种信号，其携带包括光场视频内容的全阵列的视图的表示和所述光场视频内容的视图的多个子采样表示。
68.一种信号，其携带光场视频内容的多个子视图。
69.一种信号，其携带用于光场视频内容的多个子视图中的每一者的流数据。
70.一种信号，其携带用于光场视频内容的视图的多个子采样表示的信息。
71.一种信号，其携带包括光场视频内容的子集的数据片段。
CN202080035273.3A 2019-03-26 2020-03-23 用于光场的多路复用渲染的系统和方法 Pending CN113826402A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962823714P 2019-03-26 2019-03-26
US62/823,714 2019-03-26
PCT/US2020/024299 WO2020198164A1 (en) 2019-03-26 2020-03-23 System and method for multiplexed rendering of light fields

Publications (1)

Publication Number Publication Date
CN113826402A true CN113826402A (zh) 2021-12-21

Family

ID=70334058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080035273.3A Pending CN113826402A (zh) 2019-03-26 2020-03-23 用于光场的多路复用渲染的系统和方法

Country Status (5)

Country Link
US (2) US11991402B2 (zh)
EP (1) EP3949422A1 (zh)
KR (2) KR102734225B1 (zh)
CN (1) CN113826402A (zh)
WO (1) WO2020198164A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11991402B2 (en) 2019-03-26 2024-05-21 Interdigital Vc Holdings, Inc. System and method for multiplexed rendering of light fields
US20220264080A1 (en) * 2019-07-23 2022-08-18 Pcms Holdings, Inc. System and method for adaptive lenslet light field transmission and rendering
US11130125B2 (en) 2019-08-06 2021-09-28 Bio-Rad Laboratories, Inc. Prevention and bubble removal from microfluidic devices
US20230262208A1 (en) * 2020-04-09 2023-08-17 Looking Glass Factory, Inc. System and method for generating light field images
CN116848840A (zh) 2020-12-31 2023-10-03 皇家Kpn公司 多视图视频流式传输
EP4391550A1 (en) * 2022-12-23 2024-06-26 Koninklijke KPN N.V. Processing content for extended reality applications

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US20140035959A1 (en) * 2012-08-04 2014-02-06 Paul Lapstun Light Field Display Device and Method
CN106068645A (zh) * 2014-01-10 2016-11-02 奥斯坦多科技公司 用于全视差压缩光场3d成像系统的方法
WO2018049321A1 (en) * 2016-09-12 2018-03-15 Vid Scale, Inc. Method and systems for displaying a portion of a video stream with partial zoom ratios
WO2018175855A1 (en) * 2017-03-23 2018-09-27 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
WO2019024521A1 (zh) * 2017-07-31 2019-02-07 华为技术有限公司 一种图像的处理方法、终端和服务器

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US20130195204A1 (en) 2012-01-19 2013-08-01 Vid Scale Inc. Methods and Systems for Video Delivery Supporting Adaptation to Viewing Conditions
US9451298B2 (en) 2012-07-02 2016-09-20 Sony Corporation Transmission device, transmission method, and network apparatus
JP6064249B2 (ja) 2012-07-09 2017-01-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 動的適応ストリーミングオーバーハイパーテキスト転送プロトコルクライアント挙動フレームワークおよびセッション管理の実装
JP6697879B2 (ja) 2012-07-10 2020-05-27 ヴィド スケール インコーポレイテッド 品質ドリブンストリーミング
WO2014012015A2 (en) 2012-07-13 2014-01-16 Vid Scale, Inc. Operation and architecture for dash streaming clients
WO2014102088A1 (en) 2012-12-28 2014-07-03 Telefonaktiebolaget L M Ericsson (Publ) Decoder and encoder and methods therein for handling frame packing layering
WO2015054235A1 (en) 2013-10-07 2015-04-16 Vid Scale, Inc. User adaptive 3d video rendering and delivery
US9807452B2 (en) 2013-10-07 2017-10-31 Samsung Electronics Co., Ltd. Practical delivery of high quality video using dynamic adaptive hypertext transport protocol (HTTP) streaming (DASH) without using HTTP in a broadcast network
KR102224716B1 (ko) * 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치
CN106664443B (zh) 2014-06-27 2020-03-24 皇家Kpn公司 根据hevc拼贴视频流确定感兴趣区域
US20160150212A1 (en) 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
US9883151B2 (en) 2014-11-28 2018-01-30 Electronics And Telecommunications Research Institute Apparatus and method for capturing lightfield image
KR102408142B1 (ko) * 2014-11-28 2022-06-16 한국전자통신연구원 라이트필드 촬영 장치 및 방법
US9860294B2 (en) 2014-12-24 2018-01-02 Intel Corporation Media content streaming
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
JP6866299B2 (ja) * 2015-04-23 2021-04-28 オステンド・テクノロジーズ・インコーポレーテッド 全方向視差ライトフィールド表示システム用の方法および装置
US20170038591A1 (en) 2015-08-03 2017-02-09 Oculus Vr, Llc Display with a Tunable Pinhole Array for Augmented Reality
US10388069B2 (en) * 2015-09-09 2019-08-20 Futurewei Technologies, Inc. Methods and systems for light field augmented reality/virtual reality on mobile devices
GB2550589B (en) 2016-05-23 2019-12-04 Canon Kk Method, device, and computer program for improving streaming of virtual reality media content
JP7022077B2 (ja) 2016-05-25 2022-02-17 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 空間的にタイリングされた全方位ビデオのストリーミング
EP3466076A1 (en) 2016-05-26 2019-04-10 VID SCALE, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US20190362151A1 (en) 2016-09-14 2019-11-28 Koninklijke Kpn N.V. Streaming virtual reality video
WO2018068236A1 (zh) 2016-10-10 2018-04-19 华为技术有限公司 一种视频流传输方法、相关设备及系统
US10558264B1 (en) * 2016-12-21 2020-02-11 X Development Llc Multi-view display with viewer detection
EP3643063A1 (en) * 2017-06-21 2020-04-29 Vid Scale, Inc. Adaptive quantization for 360-degree video coding
US11223848B2 (en) * 2017-06-30 2022-01-11 Vid Scale, Inc. Weighted to spherically uniform PSNR for 360-degree video quality evaluation using cubemap-based projections
EP3489900A1 (en) 2017-11-23 2019-05-29 Thomson Licensing Method, apparatus and stream for encoding/decoding volumetric video
US11991402B2 (en) 2019-03-26 2024-05-21 Interdigital Vc Holdings, Inc. System and method for multiplexed rendering of light fields

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US20140035959A1 (en) * 2012-08-04 2014-02-06 Paul Lapstun Light Field Display Device and Method
CN106068645A (zh) * 2014-01-10 2016-11-02 奥斯坦多科技公司 用于全视差压缩光场3d成像系统的方法
WO2018049321A1 (en) * 2016-09-12 2018-03-15 Vid Scale, Inc. Method and systems for displaying a portion of a video stream with partial zoom ratios
WO2018175855A1 (en) * 2017-03-23 2018-09-27 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
WO2019024521A1 (zh) * 2017-07-31 2019-02-07 华为技术有限公司 一种图像的处理方法、终端和服务器

Also Published As

Publication number Publication date
US12519992B2 (en) 2026-01-06
KR20220004961A (ko) 2022-01-12
WO2020198164A1 (en) 2020-10-01
KR20240170581A (ko) 2024-12-03
US20240259616A1 (en) 2024-08-01
US11991402B2 (en) 2024-05-21
KR102734225B1 (ko) 2024-11-25
US20220174332A1 (en) 2022-06-02
EP3949422A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US12519992B2 (en) System and method for multiplexed rendering of light fields
JP7446329B2 (ja) サブ画像ビットストリーム抽出および再位置付け
US20250211753A1 (en) Adaptive streaming of geometry-based point clouds
US20220264080A1 (en) System and method for adaptive lenslet light field transmission and rendering
CN112219406A (zh) 视口相关的视频流传输事件
WO2018191224A1 (en) 360-degree video coding using face continuities
US20240022773A1 (en) Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media
US20240430478A1 (en) Adaptive streaming of geometry-based point clouds
US20250119579A1 (en) Coordinate refinement and upsampling from quantized point cloud reconstruction
EP4454276A1 (en) Temporal attention-based neural networks for video compression
US20250168376A1 (en) Dynamic adaptation of volumetric content component sub-bitstreams in streaming services
WO2025073549A1 (en) Haptics keyframe interpolation for streaming
WO2024236014A1 (en) Measurement and adjustment of extended reality roundtrip delays
WO2025073951A1 (en) Avatar canonical pose in scene descriptions
KR20260012250A (ko) 확장 현실 왕복 지연들의 측정 및 조정
WO2025078394A1 (en) Poses of trackable objects
WO2025026998A1 (en) Ar anchoring quality of experience (qoe) framework
WO2025201861A1 (en) Poses of trackable objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230505

Address after: Delaware

Applicant after: Interactive Digital VC Holdings

Address before: Wilmington, Delaware, USA

Applicant before: PCMS HOLDINGS, Inc.