[go: up one dir, main page]

TW201840201A - 全向式視覺媒體中之感興趣區之進階傳信 - Google Patents

全向式視覺媒體中之感興趣區之進階傳信 Download PDF

Info

Publication number
TW201840201A
TW201840201A TW107109905A TW107109905A TW201840201A TW 201840201 A TW201840201 A TW 201840201A TW 107109905 A TW107109905 A TW 107109905A TW 107109905 A TW107109905 A TW 107109905A TW 201840201 A TW201840201 A TW 201840201A
Authority
TW
Taiwan
Prior art keywords
virtual reality
reality data
data
file
video
Prior art date
Application number
TW107109905A
Other languages
English (en)
Inventor
益魁 王
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201840201A publication Critical patent/TW201840201A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在各種實施方案中,對ISOBMFF之修改及/或添加可指示已根據該ISOBMFF或自該ISOBMFF衍生之一格式而格式化之一檔案包括虛擬實境內容。該檔案可包括寫入至該檔案中之一播放軌方框中之一受限定方案資訊方框。該受限定方案資訊方框可指示用於播放軌之內容之一虛擬實境方案。舉例而言,一傳信機構可指示與虛擬實境資料相關聯之一檢視最多檢視區。

Description

全向式視覺媒體中之感興趣區之進階傳信
本申請案係關於虛擬實境(virtual reality;VR)視訊內容之儲存及處理,該等VR視訊內容呈一或多個媒體檔案格式,諸如基於ISO之媒體檔案格式(ISO based media file format;ISOBMFF)及/或自ISOBMFF衍生之檔案格式。
視訊寫碼標準包括:ITU-T H.261;ISO/IEC MPEG-1 Visual;ITU-T H.262或ISO/IEC MPEG-2 Visual;ITU-T H.263;ISO/IEC MPEG-4 Visual;ITU-T H.264或ISO/IEC MPEG-4 AVC,包括其被稱為可調式視訊寫碼(Scalable Video Coding;SVC)之可調式視訊寫碼延伸,及其多視圖視訊寫碼延伸,即多視圖視訊寫碼(Multiview Video Coding;MVC)延伸;及高效率視訊寫碼(High-Efficiency Video Coding;HEVC),亦被稱為ITU-T H.265及ISO/IEC 23008-2,包括其可調式寫碼延伸(亦即,可調式高效率視訊寫碼(scalable high-efficiency video coding),SHVC)及多視圖延伸(亦即,多視圖高效率視訊寫碼(multiview high efficiency video coding),MV-HEVC)。
在一些實施例中,描述用於進行以下操作之技術:在一檔案中指示該檔案包括虛擬實境內容,使得視訊播放器器件可適當地顯現及/或忽略該虛擬實境內容。 根據一項實例,論述一種用於解碼及顯示虛擬實境資料之方法。該方法可包括:接收含有虛擬實境資料之一檔案,其中該虛擬實境資料表示一虛擬環境之一360度視圖;自該檔案提取該虛擬實境資料,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;自該播放軌方框提取一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌;及解碼及顯現該虛擬實境資料以供顯示給一使用者。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。該檢視最多檢視區可與該虛擬實境資料至該使用者之一呈現時間相關聯。與該虛擬實境資料相關聯之該檢視最多檢視區可選自由以下各者組成之群組:基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區;用於顯示該虛擬實境資料之一推薦檢視區;缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區;該虛擬實境資料之一導演界定檢視區;及該虛擬實境資料之一製作人界定檢視區。自該等檔案提取該虛擬實境資料可包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。可使用關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊來顯現及顯示該虛擬實境資料。該檔案格式可基於一國際標準組織(ISO)基本媒體檔案格式。 根據另一實例,論述一種用於解碼及顯示虛擬實境資料之裝置。該裝置可包括:一接收器,其經組態以接收含有虛擬實境資料之一檔案,其中該虛擬實境資料表示一虛擬環境之一360度視圖;及一處理器,其經組態以進行以下操作:自該檔案提取該虛擬實境資料,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;自該播放軌方框提取一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌;及解碼及顯現該虛擬實境資料以供顯示給一使用者。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。該檢視最多檢視區可與該虛擬實境資料至該使用者之一呈現時間相關聯。與該虛擬實境資料相關聯之該檢視最多檢視區可選自由以下各者組成之群組:基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區;用於顯示該虛擬實境資料之一推薦檢視區;缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區;該虛擬實境資料之一導演界定檢視區;及該虛擬實境資料之一製作人界定檢視區。自該等檔案提取該虛擬實境資料可包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。可使用關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊來顯現及顯示該虛擬實境資料。該檔案格式可基於一國際標準組織(ISO)基本媒體檔案格式。 根據另一實例,論述一種儲存虛擬實境資料之方法。該方法可包括:獲得虛擬實境資料,其中該虛擬實境資料表示一虛擬環境之一360度視圖;將該虛擬實境資料儲存至一檔案中,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;及自該播放軌方框儲存一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。該檢視最多檢視區可與該虛擬實境資料至一使用者之一呈現時間相關聯。與該虛擬實境資料相關聯之該檢視最多檢視區可選自由以下各者組成之群組:基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區;用於顯示該虛擬實境資料之一推薦檢視區;缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區;該虛擬實境資料之一導演界定檢視區;及該虛擬實境資料之一製作人界定檢視區。自該等檔案提取該虛擬實境資料可包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。該檔案格式可基於一國際標準組織(ISO)基本媒體檔案格式。 根據另一實例,論述一種用於儲存虛擬實境資料之裝置。該裝置可包括:一接收器,其經組態以獲得虛擬實境資料,其中該虛擬實境資料表示一虛擬環境之一360度視圖;及一處理器,其經組態以進行以下操作:將該虛擬實境資料儲存至一檔案中,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;及自該播放軌方框儲存一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。該檢視最多檢視區可與該虛擬實境資料至一使用者之一呈現時間相關聯。與該虛擬實境資料相關聯之該檢視最多檢視區可選自由以下各者組成之群組:基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區;用於顯示該虛擬實境資料之一推薦檢視區;缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區;該虛擬實境資料之一導演界定檢視區;及該虛擬實境資料之一製作人界定檢視區。自該等檔案提取該虛擬實境資料可包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。該檔案格式可基於一國際標準組織(ISO)基本媒體檔案格式。 根據另一實例,論述一種含有用於致使一電腦執行一方法之指令之非暫時性電腦可讀媒體。該方法可包括:接收含有虛擬實境資料之一檔案,其中該虛擬實境資料表示一虛擬環境之一360度視圖;自該檔案提取該虛擬實境資料,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;自該播放軌方框提取一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌;及解碼及顯現該虛擬實境資料以供顯示給一使用者。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。該檢視最多檢視區可與該虛擬實境資料至該使用者之一呈現時間相關聯。與該虛擬實境資料相關聯之該檢視最多檢視區可選自由以下各者組成之群組:基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區;用於顯示該虛擬實境資料之一推薦檢視區;缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區;該虛擬實境資料之一導演界定檢視區;及該虛擬實境資料之一製作人界定檢視區。自該等檔案提取該虛擬實境資料可包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。可使用關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊來顯現及顯示該虛擬實境資料。該檔案格式可基於一國際標準組織(ISO)基本媒體檔案格式。 根據另一實例,論述一種用於解碼及顯示虛擬實境資料之裝置。該裝置可包括:一接收器構件,其經組態以接收含有虛擬實境資料之一檔案,其中該虛擬實境資料表示一虛擬環境之一360度視圖;及一處理器構件,其經組態以進行以下操作:自該檔案提取該虛擬實境資料,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;自該播放軌方框提取一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌;及解碼及顯現該虛擬實境資料以供顯示給一使用者。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。該檢視最多檢視區可與該虛擬實境資料至該使用者之一呈現時間相關聯。與該虛擬實境資料相關聯之該檢視最多檢視區可選自由以下各者組成之群組:基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區;用於顯示該虛擬實境資料之一推薦檢視區;缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區;該虛擬實境資料之一導演界定檢視區;及該虛擬實境資料之一製作人界定檢視區。自該等檔案提取該虛擬實境資料可包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。可使用關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊來顯現及顯示該虛擬實境資料。該檔案格式可基於一國際標準組織(ISO)基本媒體檔案格式。 根據另一實例,論述一種含有用於致使一電腦執行一方法之指令之非暫時性電腦可讀媒體。該方法可包括:獲得虛擬實境資料,其中該虛擬實境資料表示一虛擬環境之一360度視圖;將該虛擬實境資料儲存至一檔案中,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;及自該播放軌方框儲存一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。該檢視最多檢視區可與該虛擬實境資料至一使用者之一呈現時間相關聯。與該虛擬實境資料相關聯之該檢視最多檢視區可選自由以下各者組成之群組:基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區;用於顯示該虛擬實境資料之一推薦檢視區;缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區;該虛擬實境資料之一導演界定檢視區;及該虛擬實境資料之一製作人界定檢視區。自該等檔案提取該虛擬實境資料可包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。該檔案格式可基於一國際標準組織(ISO)基本媒體檔案格式。 根據另一實例,論述一種用於儲存虛擬實境資料之裝置。該裝置可包括:一接收器構件,其經組態以獲得虛擬實境資料,其中該虛擬實境資料表示一虛擬環境之一360度視圖;及一處理器構件,其經組態以進行以下操作:將該虛擬實境資料儲存至一檔案中,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;及自該播放軌方框儲存一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊可包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。該檢視最多檢視區可與該虛擬實境資料至一使用者之一呈現時間相關聯。與該虛擬實境資料相關聯之該檢視最多檢視區可選自由以下各者組成之群組:基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區;用於顯示該虛擬實境資料之一推薦檢視區;缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區;該虛擬實境資料之一導演界定檢視區;及該虛擬實境資料之一製作人界定檢視區。自該等檔案提取該虛擬實境資料可包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。該檔案格式可基於一國際標準組織(ISO)基本媒體檔案格式。 此發明內容並不意欲識別所主張主題之關鍵或決定性特徵,亦不意欲單獨地用以判定所主張主題之範疇。應參考本專利之整個說明書之適當部分、任何或所有圖式及每一請求項來理解該主題。 在參考以下說明書、申請專利範圍及隨附圖式後,前述內容連同其他特徵及實施例將變得更顯而易見。
根據 35 U.S.C. § 119 之優先權主張 本專利申請案主張2017年3月23日申請且讓渡給本發明之受讓人且據此以引用之方式明確地併入本文中的名為「Advanced signalling of regions of interest in omnidirectional visual media」之臨時申請案第62/475,714號的優先權。用以傳信虛擬實境內容中之檢視最多檢視區之機構。檢視最多檢視區可為由一組請求最多圖像區完全地覆蓋之檢視區。請求最多圖像區可在統計學上更可能針對使用者在呈現時被請求或顯現。舉例而言,此等區可包括在呈現時間的虛擬實境內容內之高使用者感興趣區。在另一實施方案中,請求最多檢視區可為應在使用者未控制檢視定向或已釋放對檢視定向之控制時顯示的檢視區。請求最多圖像區後設資料及對應檢視最多檢視區後設資料可彼此相關聯,且幫助視訊顯示器件理解虛擬實境內容之球面表面上之哪一區已被最多地請求及檢視。 可界定新類型之樣本項目,例如由4CC 「mvvp」指示。此指示播放軌為含有關於檢視最多檢視區之資訊的時控後設資料播放軌。可指示各種類型之檢視區,諸如由四個大圓指定之球面區,或由兩個偏航圓及兩個俯仰圓指定之球面區。 虛擬實境(VR)描述可在看起來真實或實體的方式內互動之三維電腦產生環境。通常,體驗虛擬實境環境之使用者使用諸如頭戴式顯示器(head-mounted display;HMD)及視情況亦為衣物(例如,配備有感測器之手套)之電子設備以與虛擬環境互動。隨著使用者在真實世界中移動,在虛擬環境中顯現之影像亦改變,從而向使用者給出使用者正在虛擬環境內移動之感知。在一些狀況下,虛擬環境包括與使用者之移動相關之聲音,從而向使用者給出聲音起源於特定方向或源之閱聽。可以極高品質捕捉及顯現虛擬實境視訊,從而潛在地提供真實沈浸式虛擬實境體驗。虛擬實境應用包括遊戲、訓練、教育、體育視訊及線上購物等等。 虛擬實境系統通常包括視訊捕捉器件及視訊顯示器件,且可能亦包括諸如伺服器、資料儲存體及資料傳輸設備之其他中間器件。視訊捕捉器件可包括攝影機集,即多個攝影機之集合,每一攝影機定向於不同方向且捕捉不同視圖。可使用少至六個攝影機以捕捉以攝影機集之位置為中心的全360度視圖。一些視訊捕捉器件可使用主要捕捉側對側視圖之較少攝影機,諸如視訊捕捉器件。視訊通常包括圖框,其中圖框為場景之經電子寫碼靜態影像。攝影機捕捉某一數目個圖框/秒,其通常被稱作攝影機之圖框速率。 為了提供無縫360度視圖,由攝影機集中之每一攝影機捕捉的視訊通常經歷影像拼接。在360度視訊產生之狀況下的影像拼接涉及在來自鄰近攝影機之視訊圖框重疊或原本將連接的區域中組合或合併該等視訊圖框。結果將為大致球面圖框,但相似於麥卡托(Mercator)投影,經合併資料通常係以平面方式表示。舉例而言,可將經合併視訊圖框中之像素映射至立方體形狀或某一其他三維平面形狀(例如,金字塔形、八面體、十面體等等)之平面上。視訊捕捉及視訊顯示器件通常基於光柵原理而操作——意謂視訊圖框被視為像素柵格——因此,通常使用正方形或矩形平面以表示球面環境。 可編碼及/或壓縮被映射至平面表示之虛擬實境視訊圖框以供儲存及/或傳輸。編碼及/或壓縮可使用視訊編碼解碼器(例如,符合H.265/HEVC的編碼解碼器、符合H.264/AVC的編碼解碼器,或其他適合編碼解碼器)予以實現,且產生經壓縮視訊位元串流或位元串流群組。下文進一步詳細地描述使用視訊編碼解碼器之視訊資料編碼。 可以媒體格式或檔案格式儲存及/或囊封經編碼視訊位元串流。可例如經由網路將經儲存位元串流傳輸至接收器器件,接收器器件可解碼及顯現視訊以供顯示。此接收器器件可在本文中被稱作視訊顯示器件。舉例而言,虛擬實境系統可自經編碼視訊資料產生經囊封檔案(例如,使用國際標準組織(ISO)基本媒體檔案格式及/或衍生檔案格式)。舉例而言,視訊編碼解碼器可編碼視訊資料,且囊封引擎可藉由將視訊資料囊封於一或多個ISO格式媒體檔案中而產生媒體檔案。替代地或另外,可將經儲存位元串流直接自儲存媒體提供至接收器器件。 接收器器件亦可實施編碼解碼器以解碼及/或解壓縮經編碼視訊位元串流。接收器器件可支援用以將視訊位元串流封裝至一檔案(或多個檔案)中之媒體或檔案格式,提取視訊(及亦可能為音訊)資料,以產生經編碼視訊資料。舉例而言,接收器器件可剖析具有經囊封視訊資料之媒體檔案以產生經編碼視訊資料,且接收器器件中之編碼解碼器可解碼經編碼視訊資料。 接收器器件接著可將經解碼視訊信號發送至顯現器件(例如,視訊顯示器件)。舉例而言,顯現器件包括頭戴式顯示器、虛擬實境電視,及其他180或360度顯示器件。通常,頭戴式顯示器能夠追蹤穿戴者之頭部之移動及/或穿戴者之眼睛之移動。頭戴式顯示器可使用追蹤資訊以顯現對應於穿戴者正觀看之方向的360度視訊之部分,使得穿戴者以她將體驗真實世界之相同方式體驗虛擬環境。顯現器件可以視訊被捕捉之相同圖框速率或以不同圖框速率顯現視訊。 檔案格式標準可定義用於將視訊(及亦可能為音訊)資料封裝及解封裝成一或多個檔案之格式。檔案格式標準包括:國際標準化組織(ISO)基本媒體檔案格式(ISOBMFF,定義於ISO/IEC 14496-12中);及自ISOBMFF衍生之其他檔案格式,包括動畫專家團體(MPEG) MPEG-4檔案格式(定義於ISO/IEC 14496-15中)、第三代合作夥伴計劃(3GPP)檔案格式(定義於3GPP TS 26.244中),以及進階視訊寫碼(AVC)檔案格式及高效率視訊寫碼(HEVC)檔案格式(皆定義於ISO/IEC 14496-15中)。ISO/IEC 14496-12及14496-15之最新版本之草案本文可分別得自http://phenix.int-evry.fr/mpeg/doc_end_user/documents/111_Geneva/wg11/w15177-v6-w15177.zip及http://phenix.int-evry.fr/mpeg/doc_end_user/ documents/112_Warsaw/wg11/w15479-v2-w15479.zip。 ISOBMFF用作許多編碼解碼器囊封格式(例如,AVC檔案格式或任何其他適合編碼解碼器囊封格式)以及許多多媒體容器格式(例如,MPEG-4檔案格式、3GPP檔案格式(3GP)、DVB檔案格式或任何其他適合多媒體容器格式)之基礎。基於ISOBMFF之檔案格式可用於連續媒體,其亦被稱作串流媒體。 除了連續媒體(例如,音訊及視訊)以外,靜態媒體(例如,影像)及後設資料亦可儲存於符合ISOBMFF之檔案中。根據ISOBMFF而結構化之檔案可用於許多目的,包括本端媒體檔案播放、遠端檔案之漸進式下載、作為用於HTTP動態調適性串流(Dynamic Adaptive Streaming over HTTP;DASH)之區段、作為用於待串流內容之容器(在此狀況下,容器包括封包化指令)、用於記錄經接收即時媒體串流,或其他用途。 ISOBMFF及其衍生檔案格式(例如,AVC檔案格式或其他衍生檔案格式)在許多多媒體應用中廣泛地用於媒體內容(例如,包括視訊、音訊及時控文字)之儲存及囊封。然而,ISOBMFF及自ISOBMFF衍生之檔案格式不包括用於儲存虛擬實境(VR)視訊之規格。舉例而言,若虛擬實境視訊基於ISOBMFF或衍生檔案格式儲存於檔案中,則播放器器件可將虛擬實境視訊視為(例如,可嘗試處理為)習知平面視訊(例如,播放器器件可將虛擬實境資訊視為不包括虛擬實境內容)。播放器可因此在顯現期間不應用虛擬實境視訊之必要投影,從而引起視訊在顯示時失真且潛在地不可檢視。 在各種實施方案中,對ISOBMFF之修改及/或添加可指示已根據ISOBMFF或自ISOBMFF衍生之格式而格式化之檔案包括虛擬實境內容。舉例而言,在一些實施方案中,檔案可包括檔案層級指示,檔案層級指示傳信(例如,指示)檔案之內容被格式化以用於虛擬實境使用狀況或實施方案。作為另一實例,在一些實施方案中,檔案可包括電影層級指示,電影層級指示傳信(例如,指示)檔案中之電影呈現包括虛擬實境內容。作為另一實例,在一些實施方案中,檔案可包括播放軌層級指示,播放軌層級指示傳信(例如,指示)播放軌包括虛擬實境內容。在各種實施方案中,亦可在檔案、電影及/或播放軌層級處傳信與虛擬實境內容相關之參數。 在此等及其他實施方案中,播放器器件可辨識檔案何時包括虛擬實境內容。在一些狀況下,不能夠顯示虛擬實境內容之播放器器件可忽略及/或跳過虛擬實境媒體。 論述了本發明之某些態樣及實施例。可獨立地應用此等態樣及實施例中之一些,且可組合地應用此等態樣及實施例中之一些,此對於熟習此項技術者而言將顯而易見。在以下描述中,出於闡釋之目的,闡述特定細節以便提供對本發明之實施例的透徹理解。然而,將顯而易見,可在無此等特定細節之情況下實踐各種實施例。諸圖及描述並不意欲為限定性的。 隨後的描述僅提供例示性實施例,且並不意欲限制本發明之範疇、適用性或組態。更確切地,例示性實施例之隨後的描述將向熟習此項技術者提供用於實施例示性實施例之令人能夠實現的描述。應理解,可在不脫離如所附申請專利範圍中所闡述的本發明之精神及範疇的情況下對元件之功能及配置進行各種改變。 在以下描述中給出特定細節以提供對實施例之透徹理解。然而,一般技術者應理解,可在無此等特定細節之情況下實踐實施例。舉例而言,可以方塊圖形式將電路、系統、網路、處理程序及其他組件展示為組件,以免以不必要的細節混淆實施例。在其他情況下,可在無不必要的細節之情況下展示熟知的電路、處理程序、演算法、結構及技術,以便避免混淆實施例。 又,應注意,可將個別實施例描述為被描繪為流圖、流程圖、資料流程圖、結構圖或方塊圖之處理程序。儘管流圖可將操作描述為循序處理程序,但可並行地或同時地執行許多操作。另外,可重新配置操作之次序。處理程序在其操作完成時終止,但可具有未包括於圖中之額外步驟。處理程序可對應於方法、函式、程序、次常式、子程式等等。當處理程序對應於函式時,其終止可對應於函式返回至呼叫函式或主函式。 術語「電腦可讀媒體」包括但不限於攜帶型或非攜帶型儲存器件、光學儲存器件,及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀媒體可包括非暫時性媒體,非暫時性媒體中可儲存資料且非暫時性媒體不包括載波及/或以無線方式或經由有線連接而傳播之暫時性電子信號。非暫時性媒體之實例可包括但不限於磁碟或磁帶、諸如緊密光碟(compact disk;CD)或數位多功能光碟(digital versatile disk;DVD)之光學儲存媒體、快閃記憶體、記憶體,或記憶體器件。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令,程式碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模組、套裝軟體、類別,或指令、資料結構或程式陳述式之任何組合。可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容將一程式碼區段耦接至另一程式碼區段或硬體電路。可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何適合方式傳遞、轉發或傳輸資訊、引數、參數、資料等等。 此外,實施例可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合實施。當以軟體、韌體、中間軟體或微碼予以實施時,用以執行必要任務之程式碼或程式碼區段(例如,電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。 圖1為繪示包括編碼器件104及解碼器件112之系統100之實例的方塊圖。編碼器件104可為源器件之部分,且解碼器件112可為接收器件之部分。源器件及/或接收器件可包括電子器件,諸如行動或靜止電話手機(例如,智慧型電話、蜂巢式電話或其類似者)、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件,或任何其他適合電子器件。在一些實例中,源器件及接收器件可包括用於無線通信之一或多個無線收發器。本文中所描述之寫碼技術適用於各種多媒體應用中之視訊寫碼,包括串流視訊傳輸(例如,經由網際網路)、電視廣播或傳輸、編碼數位視訊以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊,或其他應用。在一些實例中,系統100可支援單向或雙向視訊傳輸以支援諸如視訊會議、視訊串流、視訊播放、視訊廣播、遊戲及/或視訊電話之應用。 在使用視訊寫碼標準或協定以產生經編碼視訊位元串流之情況下,編碼器件104 (或編碼器)可用以編碼視訊資料,包括虛擬實境視訊資料。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦被稱為ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼及多視圖視訊寫碼延伸,分別被稱為SVC及MVC。ITU-T視訊寫碼專家團體(VCEG)及ISO/IEC動畫專家團體(MPEG)之視訊寫碼聯合協作小組(JCT-VC)已完成較新近的視訊寫碼標準,即高效率視訊寫碼(HEVC)。對HEVC之各種延伸處理多層視訊寫碼且亦正由JCT-VC開發,包括:對HEVC之多視圖延伸,被稱為MV-HEVC;及對HEVC之可調式延伸,被稱為SHVC;或任何其他適合寫碼協定。 本文中所描述之實施方案描述使用HEVC標準或其延伸之實例。然而,本文中所描述之技術及系統亦可適用於其他寫碼標準,諸如AVC、MPEG、其延伸,或已經可用或尚不可用或尚未開發之其他適合寫碼標準。因此,雖然可參考特定視訊寫碼標準來描述本文中所描述之技術及系統,但一般技術者應瞭解,該描述不應被解譯為僅適用於彼特定標準。 視訊源102可將視訊資料提供至編碼器件104。視訊源102可為源器件之部分,或可為除了源器件以外之器件之部分。視訊源102可包括視訊捕捉器件(例如,視訊攝影機、攝影機電話、視訊電話或其類似者)、含有經儲存視訊之視訊檔案庫、提供視訊資料之視訊伺服器或內容提供者、自視訊伺服器或內容提供者接收視訊之視訊饋送介面、用於產生電腦圖形視訊資料之電腦圖形系統、此等源之組合,或任何其他適合視訊源。視訊源102之一項實例可包括網際網路協定攝影機(IP攝影機)。IP攝影機為可用於監視、家庭安全或其他適合應用之數位視訊攝影機類型。不同於類比閉路電視(closed circuit television;CCTV)攝影機,IP攝影機可經由電腦網路及網際網路發送及接收資料。 來自視訊源102之視訊資料可包括一或多個輸入圖像或圖框。圖像或圖框為作為視訊之部分的靜態影像。編碼器件104之編碼器引擎106 (或編碼器)編碼視訊資料以產生經編碼視訊位元串流。在一些實例中,經編碼視訊位元串流(或「視訊位元串流」或「位元串流」)為一系列一或多個經寫碼視訊序列。經寫碼視訊序列(coded video sequence;CVS)包括一系列存取單元(access unit;AU),其始於具有在基層中且具有某些性質之隨機存取點圖像的AU,直至且不包括具有在基層中且具有某些性質之隨機存取點圖像的下一AU。舉例而言,開始CVS之隨機存取點圖像之某些性質可包括等於1之RASL旗標(例如,NoRaslOutputFlag)。否則,隨機存取點圖像(具有等於0之RASL旗標)不會開始CVS。存取單元(AU)包括一或多個經寫碼圖像及對應於共用相同輸出時間之經寫碼圖像之控制資訊。圖像之經寫碼截塊在位元串流層級中囊封至被稱為網路抽象層(network abstraction layer;NAL)單元之資料單元中。舉例而言,HEVC視訊位元串流可包括一或多個CVS,一或多個CVS包括NAL單元。HEVC標準中存在兩種類別之NAL單元,包括視訊寫碼層(video coding layer;VCL) NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個截塊或截塊區段(如下文所描述),且非VCL NAL單元包括與一或多個經寫碼圖像相關之控制資訊。 NAL單元可含有形成視訊資料之經寫碼表示的一系列位元(例如,經編碼視訊位元串流、位元串流之CVS或其類似者),諸如視訊中之圖像之經寫碼表示。編碼器引擎106藉由將每一圖像分割成多個截塊而產生圖像之經寫碼表示。接著將截塊分割成明度樣本及色度樣本之寫碼樹型區塊(coding tree block;CTB)。明度樣本之CTB及色度樣本之一或多個CTB連同用於該等樣本之語法被稱作寫碼樹型單元(coding tree unit;CTU)。CTU為用於HEVC編碼之基本處理單元。CTU可被分裂成不同大小之多個寫碼單元(coding unit;CU)。CU含有被稱作寫碼區塊(coding block;CB)之明度及色度樣本陣列。 明度及色度CB可被進一步分裂成預測區塊(prediction block;PB)。PB為使用相同運動參數以用於框間預測的明度或色度分量之樣本區塊。明度PB及一或多個色度PB連同關聯語法形成預測單元(prediction unit;PU)。在位元串流中針對每一PU傳信一組運動參數,且該組運動參數用於明度PB及一或多個色度PB之框間預測。CB亦可被分割成一或多個變換區塊(transform block;TB)。TB表示被應用相同二維變換以用於寫碼預測殘餘信號的色彩分量之正方形樣本區塊。變換單元(transform unit;TU)表示明度及色度樣本之TB,以及對應語法元素。 CU之大小對應於寫碼節點之大小,且可為正方形形狀。舉例而言,CU之大小可為8×8樣本、16×16樣本、32×32樣本、64×64樣本,或高達對應CTU之大小的任何其他適當大小。片語「N×N」在本文中用以係指在垂直及水平維度方面的視訊區塊之像素尺寸(例如,8像素×8像素)。區塊中之像素可按列及行而配置。在一些實施例中,區塊在水平方向上與在垂直方向上可能不具有相同數目個像素。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式在CU被框內預測模式編碼抑或框間預測模式編碼之間可能不同。PU可被分割為非正方形形狀。與CU相關聯之語法資料亦可描述例如根據CTU將CU分割成一或多個TU。TU可為正方形或非正方形形狀。 根據HEVC標準,可使用變換單元(TU)來執行變換。TU可針對不同CU而變化。TU可基於給定CU內之PU之大小而定大小。TU可與PU大小相同或小於PU。在一些實例中,可使用被稱為「殘餘四元樹」(residual quad tree;RQT)之四元樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。接著可由編碼器引擎106量化變換係數。 一旦視訊資料之圖像被分割成CU,編碼器引擎106就使用預測模式來預測每一PU。接著自原始視訊資料減去預測以得到殘餘(下文所描述)。對於每一CU,可使用語法資料在位元串流內部傳信預測模式。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。在使用框內預測之情況下,使用例如DC預測以得知PU之平均值、使用平面預測以使平面表面擬合於PU、使用方向預測以自相鄰資料外插或使用任何其他適合類型之預測而自同一圖像中之相鄰影像資料預測每一PU。在使用框間預測之情況下,使用運動補償預測而自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可例如以在CU層級處決定使用圖像間預測抑或圖像內預測來寫碼圖像區域。在一些實例中,圖像之一或多個截塊被指派截塊類型。截塊類型包括I截塊、P截塊及B截塊。I截塊(圖框內,可獨立解碼)為僅藉由框內預測而寫碼的圖像之截塊且因此可獨立解碼,此係因為I截塊僅需要圖框內之資料以預測截塊之任何區塊。P截塊(單向式預測圖框)為可運用框內預測及單向式框間預測而寫碼的圖像之截塊。P截塊內之每一區塊係運用框內預測或框間預測而寫碼。當框間預測適用時,區塊僅由一個參考圖像預測,且因此,參考樣本僅來自一個圖框之一個參考區。B截塊(雙向式預測性圖框)為可運用框內預測及框間預測而寫碼的圖像之截塊。可自兩個參考圖像雙向式預測B截塊之區塊,其中每一圖像貢獻一個參考區,且兩個參考區之樣本集被加權(例如,運用相等權重)以產生雙向式預測區塊之預測信號。如上文所闡釋,一個圖像之截塊被獨立地寫碼。在一些狀況下,圖像可僅僅作為一個截塊被寫碼。 一PU可包括與預測處理程序相關之資料。舉例而言,當使用框內預測來編碼PU時,PU可包括描述用於PU之框內預測模式的資料。作為另一實例,當使用框間預測來編碼PU時,PU可包括定義用於PU之一運動向量的資料。定義用於一PU之運動向量的資料可描述例如運動向量之一水平分量、運動向量之一垂直分量、用於運動向量之一解析度(例如,四分之一像素精確度或八分之一像素精確度)、運動向量所指向之一參考圖像,及/或用於運動向量之一參考圖像清單(例如,清單0、清單1或清單C)。 編碼器件104接著可執行變換及量化。舉例而言,在預測之後,編碼器引擎106可計算對應於PU之殘餘值。殘餘值可包含像素差值。使用一區塊變換來變換可在執行預測之後剩餘的任何殘餘資料,區塊變換可基於離散餘弦變換、離散正弦變換、一整數變換、一小波變換或其他適合變換函數。在一些狀況下,一或多個區塊變換(例如,大小32×32、16×16、8×8、4×4或其類似者)可應用於每一CU中之殘餘資料。在一些實施例中,一TU可用於由編碼器引擎106實施之變換及量化處理程序。具有一或多個PU之一給定CU亦可包括一或多個TU。如下文進一步詳細地所描述,可使用區塊變換將殘餘值變換成變換係數,且接著可使用TU來將其量化及掃描以產生用於熵寫碼之序列化變換係數。 在一些實施例中,在使用一CU之PU進行框內預測性或框間預測性寫碼之後,編碼器引擎106可計算用於CU之TU的殘餘資料。該等PU可包含空間域(或像素域)中之像素資料。在應用區塊變換之後,TU可包含變換域中之係數。如先前所提及,殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差值。編碼器引擎106可形成包括用於CU之殘餘資料的TU,且接著可變換該等TU以產生用於CU之變換係數。 編碼器引擎106可執行變換係數之量化。量化藉由量化變換係數以縮減用以表示該等係數之資料的量而提供進一步壓縮。舉例而言,量化可縮減與一些或所有係數相關聯之位元深度。在一項實例中,具有n位元值之係數可在量化期間降值捨位至m位元值,其中n大於m。 一旦執行量化,經寫碼視訊位元串流就包括經量化變換係數、預測資訊(例如,預測模式、運動向量或其類似者)、分割資訊,及任何其他適合資料,諸如其他語法資料。接著可由編碼器引擎106熵編碼經寫碼視訊位元串流之不同元素。在一些實例中,編碼器引擎106可利用預定義掃描次序來掃描經量化變換係數以產生可被熵編碼之序列化向量。在一些實例中,編碼器引擎106可執行調適性掃描。在掃描經量化變換係數以形成向量(例如,一維向量)之後,編碼器引擎106可熵編碼向量。舉例而言,編碼器引擎106可使用上下文調適性可變長度寫碼、上下文調適性二進位算術寫碼、基於語法之上下文調適性二進位算術寫碼、機率區間分割熵寫碼或另一適合熵編碼技術。 編碼器件104之輸出110可經由通信鏈路120將構成經編碼視訊位元串流資料之NAL單元發送至接收器件之解碼器件112。解碼器件112之輸入114可接收NAL單元。通信鏈路120可包括由無線網路、有線網路或有線網路與無線網路之組合提供的通道。無線網路可包括任何無線介面或無線介面之組合,且可包括任何適合無線網路(例如,網際網路或其他廣域網路、基於封包之網路、WiFiTM、射頻(radio frequency;RF)、UWB、WiFi-Direct、蜂巢式、長期演進(Long-Term Evolution;LTE)、WiMaxTM或其類似者)。有線網路可包括任何有線介面(例如,光纖、乙太網路、電力線乙太網路、經由同軸纜線之乙太網路、數位信號線(digital signal line;DSL)或其類似者)。可使用諸如基地台、路由器、存取點、橋接器、閘道器、交換器或其類似者之各種設備來實施有線及/或無線網路。可根據諸如無線通信協定之通信標準來調變經編碼視訊位元串流資料,且將其傳輸至接收器件。 在一些實例中,編碼器件104可將經編碼視訊位元串流資料儲存於儲存體108中。輸出110可自編碼器引擎106或自儲存體108擷取經編碼視訊位元串流資料。儲存體108可包括多種分散式或本機存取資料儲存媒體中之任一者。舉例而言,儲存體108可包括硬碟機、儲存光碟、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他適合數位儲存媒體。 解碼器件112之輸入114接收經編碼視訊位元串流資料,且可將視訊位元串流資料提供至解碼器引擎116,或提供至儲存體118以供解碼器引擎116稍後使用。解碼器引擎116可藉由熵解碼(例如,使用熵解碼器)及提取構成經編碼視訊資料之一或多個經寫碼視訊序列之元素來解碼經編碼視訊位元串流資料。解碼器引擎116接著可重新按比例調整經編碼視訊位元串流資料且對經編碼視訊位元串流資料執行反變換。接著將殘餘資料傳遞至解碼器引擎116之預測級。解碼器引擎116接著預測像素區塊(例如,PU)。在一些實例中,將預測與反變換之輸出(殘餘資料)相加。 解碼器件112可將經解碼視訊輸出至視訊目的地器件122,視訊目的地器件122可包括用於將經解碼視訊資料顯示給內容之消費者的顯示器或其他輸出器件。在一些態樣中,視訊目的地器件122可為包括解碼器件112之接收器件之部分。在一些態樣中,視訊目的地器件122可為除了接收器件以外之單獨器件之部分。 補充增強資訊(Supplemental Enhancement Information;SEI)訊息可包括於視訊位元串流中。舉例而言,SEI訊息可用以攜載並非為由解碼器件112解碼位元串流所必需的資訊(例如,後設資料)。此資訊可用於改良經解碼輸出之顯示或處理(例如,此資訊可由解碼器側實體使用以改良內容之可檢視性)。 在一些實施例中,視訊編碼器件104及/或視訊解碼器件112可分別與音訊編碼器件及音訊解碼器件整合。視訊編碼器件104及/或視訊解碼器件112亦可包括對於實施上文所描述之寫碼技術所必要的其他硬體或軟體,諸如一或多個微處理器、數位信號處理器(digital signal processor;DSP)、特殊應用積體電路(application specific integrated circuit;ASIC)、場可程式化閘陣列(field programmable gate array;FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器件104及視訊解碼器件112可被整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)之部分。 對HEVC標準之延伸包括被稱作MV-HEVC之多視圖視訊寫碼延伸,及被稱作SHVC之可調式視訊寫碼延伸。MV-HEVC及SHVC延伸共用分層寫碼之概念,其中不同層包括於經編碼視訊位元串流中。經寫碼視訊序列中之每一層係由唯一層識別符(identifier;ID)定址。層ID可存在於NAL單元之標頭中以識別與NAL單元相關聯之層。在MV-HEVC中,不同層可表示視訊位元串流中之同一場景之不同視圖。在SHVC中,提供以不同空間解析度(或圖像解析度)或以不同重建保真度表示視訊位元串流之不同可調式層。可調式層可包括基層(具有層ID = 0)及一或多個增強層(具有層ID = 1、2、…n)。基層可符合HEVC之第一版本之規範,且表示位元串流中之最低可用層。與基層相比較,增強層具有增加的空間解析度、時間解析度或圖框速率及/或重建保真度(或品質)。增強層被階層式地組織,且可能(或可能不)取決於較低層。在一些實例中,可使用單一標準編碼解碼器來寫碼不同層(例如,使用HEVC、SHVC或其他寫碼標準來編碼所有層)。在一些實例中,可使用多標準編碼解碼器來寫碼不同層。舉例而言,可使用AVC來寫碼基層,而可使用對HEVC標準之SHVC及/或MV-HEVC延伸來寫碼一或多個增強層。一般而言,層包括一組VCL NAL單元及一組對應非VCL NAL單元。NAL單元被指派特定層ID值。在層可取決於較低層的意義上,層可為階層式。 如先前所描述,HEVC位元串流包括NAL單元群組,其包括VCL NAL單元及非VCL NAL單元。除了其他資訊以外,非VCL NAL單元亦可含有具有與經編碼視訊位元串流相關之高層級資訊的參數集。舉例而言,參數集可包括視訊參數集(video parameter set;VPS)、序列參數集(sequence parameter set;SPS)及圖像參數集(picture parameter set;PPS)。參數集之目標之實例包括位元速率效率、錯誤復原(error resiliency),及提供系統層介面。每一截塊參考單一作用中PPS、SPS及VPS以存取可由解碼器件112用於解碼截塊之資訊。可針對每一參數集寫碼識別符(ID),包括VPS ID、SPS ID及PPS ID。SPS包括SPS ID及VPS ID。PPS包括PPS ID及SPS ID。每一截塊標頭包括PPS ID。在使用ID之情況下,可針對給定截塊識別作用中參數集。 VCL NAL單元包括形成經寫碼視訊位元串流之經寫碼圖像資料。HEVC標準中定義各種類型之VCL NAL單元,如以下表A中所繪示。在單層位元串流中,如第一HEVC標準中所定義,AU中所含有之VCL NAL單元具有相同NAL單元類型值,其中NAL單元類型值定義AU之類型及AU內之經寫碼圖像之類型。舉例而言,特定AU之VCL NAL單元可包括瞬時解碼再新(instantaneous decoding refresh;IDR) NAL單元(值19),從而使AU為IDR AU且使AU之經寫碼圖像為IDR圖像。VCL NAL單元之給定類型與VCL NAL單元(例如,VCL NAL單元中之圖像之截塊或截塊區段)中所含有之圖像或其部分相關。HEVC標準中定義三種類別之圖像,包括前置圖像、後置圖像,及框內隨機存取(IRAP)圖像(亦被稱作「隨機存取圖像」)。在多層位元串流中,AU內之圖像之VCL NAL單元具有相同NAL單元類型值及相同類型之經寫碼圖像。舉例而言,含有類型IDR之VCL NAL單元的圖像被稱為AU中之IDR圖像。在另一實例中,當AU含有為基層(層ID等於0)處之IRAP圖像的圖像時,AU為IRAP AU。 可將如上文所論述而編碼之視訊位元串流寫入或封裝至一或多個檔案中,以便將位元串流自編碼器件104傳送至解碼器件112。舉例而言,輸出110可包括檔案寫入引擎,其經組態以產生含有位元串流之一或多個檔案。輸出110可經由通信鏈路120將一或多個檔案傳輸至解碼器器件112。替代地或另外,一或多個檔案可儲存於儲存媒體(例如,磁帶、磁碟,或硬碟機,或某一其他媒體)上以供稍後傳輸至解碼器件112。 解碼器件112可例如在輸入114中包括檔案剖析引擎。檔案剖析引擎可讀取經由通信鏈路120或自儲存媒體接收之檔案。檔案剖析引擎可進一步自檔案提取樣本,且重建位元串流以用於由解碼器引擎116解碼。在一些狀況下,經重建位元串流可與由編碼器引擎106產生之位元串流相同。在一些狀況下,編碼器引擎106可能已產生具有用於解碼位元串流之若干個可能選項的位元串流,在此狀況下,經重建位元串流可包括所有可能選項中之僅一者或少於所有可能選項。 可使用ISOBMFF、自ISOBMFF衍生之檔案格式、某一其他檔案格式及/或包括ISOBMFF之檔案格式之組合將如上文所論述而編碼之視訊位元串流寫入或封裝至一或多個檔案中。可使用視訊播放器器件來播放該或該等檔案,可傳輸且接著顯示該或該等檔案,及/或儲存該或該等檔案。 圖2繪示含有根據ISOBMFF而格式化之用於視訊呈現之資料及後設資料的ISO基本媒體檔案200之實例。ISOBMFF經設計為含有呈靈活且可延伸之格式的時控媒體資訊,該格式促進媒體之互換、管理、編輯及呈現。媒體之呈現可在含有該呈現之系統「本端」,或該呈現可經由網路或其他串流遞送機構。 如由ISOBMFF規格所定義之「呈現」為一系列圖像,其常常藉由已由視訊捕捉器件循序地捕捉而相關,或由於某一其他原因而相關。本文中,呈現亦可被稱作電影或視訊呈現。呈現可包括音訊。一或多個檔案中可含有單一呈現,其中一個檔案含有用於整個呈現之後設資料。後設資料包括諸如時序及成框資料、描述詞、指標、參數及描述呈現之其他資訊的資訊。後設資料自身並不包括視訊及/或音訊資料。除了含有後設資料之檔案以外的檔案不需要根據ISOBMFF而格式化,且僅需要經格式化使得此等檔案可由後設資料參考。 ISO基本媒體檔案之檔案結構為物件導向式,且該檔案中之個別物件之結構可直接自該物件之類型被推斷。ISOBMFF規格將ISO基本媒體檔案中之物件稱作「方框」。ISO基本媒體檔案被結構化為一系列方框,其可含有其他方框。方框通常包括提供方框之大小及類型的標頭。大小描述方框之整個大小,包括標頭、欄位,及方框內所含有之所有方框。通常忽略及跳過類型不為播放器器件所識別之方框。 如由圖2之實例所繪示,在檔案之頂部層級處,ISO基本媒體檔案200可包括檔案類型方框210、電影方框220及一或多個電影片段方框230a、230n。可在此層級處包括但在此實例中未表示之其他方框包括自由空間方框、後設資料方框及媒體資料方框等等。 ISO基本媒體檔案可包括由方框類型「ftyp」識別之檔案類型方框210。檔案類型方框210識別最適合於剖析檔案之ISOBMFF規格。在此情況下,「最」意謂ISO基本媒體檔案200可能已根據特定ISOBMFF規格而格式化,但很可能與該規格之其他反覆項目相容。此最適合規格被稱作主要品牌(major brand)。播放器器件可使用主要品牌來判定該器件是否能夠解碼及顯示檔案之內容。檔案類型方框210亦可包括版本號,版本號可用以指示ISOBMFF規格之版本。檔案類型方框210亦可包括相容品牌清單,該清單包括與檔案相容之其他品牌之清單。ISO基本媒體檔案可與多於一個主要品牌相容。 當ISO基本媒體檔案200包括檔案類型方框210時,存在僅一個檔案類型方框。ISO基本媒體檔案200可省略檔案類型方框210以便與早期播放器器件相容。當ISO基本媒體檔案200不包括檔案類型方框210時,播放器器件可採取預設主要品牌(例如,「mp41」)、次要版本(例如,「0」)及相容品牌(例如,「mp41」)。檔案類型方框210通常儘可能早地置放於ISO基本媒體檔案200中。 ISO基本媒體檔案可進一步包括電影方框220,其含有用於呈現之後設資料。電影方框220係由方框類型「moov」識別。ISO/IEC 14496-12規定,呈現無論含於一個檔案抑或多個檔案中皆可包括僅一個電影方框220。通常,電影方框220靠近ISO基本媒體檔案之開始。電影方框220包括電影標頭方框222,且可包括一或多個播放軌方框224以及其他方框。 由方框類型「mvhd」識別之電影標頭方框222可包括媒體非相依且總體上與呈現相關之資訊。舉例而言,電影標頭方框222可包括諸如建立時間、修改時間、時間標度及/或針對呈現之持續時間等等的資訊。電影標頭方框222亦可包括識別呈現中之下一播放軌的識別符。舉例而言,在所繪示實例中,識別符可指向由電影方框220所含有之播放軌方框224。 由方框類型「trak」識別之播放軌方框224可含有用於呈現之播放軌的資訊。呈現可包括一或多個播放軌,其中每一播放軌獨立於呈現中之其他播放軌。每一播放軌可包括特定於播放軌中之內容的時間及空間資訊,且每一播放軌可與媒體方框相關聯。播放軌中之資料可為媒體資料,在此狀況下,播放軌為媒體播放軌;或資料可為用於串流協定之封包化資訊,在此狀況下,播放軌為提示播放軌。舉例而言,媒體資料包括視訊及音訊資料。在所繪示實例中,實例播放軌方框224包括播放軌標頭方框224a及媒體方框224b。播放軌方框可包括其他方框,諸如播放軌參考方框、播放軌群組方框、編輯方框、使用者資料方框、後設方框及其他方框。 由方框類型「tkhd」識別之播放軌標頭方框224a可指定播放軌方框224中所含有之播放軌之特性。舉例而言,播放軌標頭方框224a可包括播放軌之建立時間、修改時間、持續時間、播放軌識別符、層識別符、群組識別符、音量、寬度及/或高度等等。對於媒體播放軌,播放軌標頭方框224a可進一步識別播放軌是否被啟用,播放軌是否應作為呈現之部分而播放,或播放軌是否可用以預覽呈現等等。播放軌之呈現通常被假定為處於呈現之開始。播放軌方框224可包括此處未繪示之編輯清單方框,編輯清單方框可包括顯式時刻表映圖。時刻表映圖可指定用於播放軌之偏移時間等等,其中偏移指示用於播放軌之在呈現之開始之後的開始時間。 在所繪示實例中,播放軌方框224亦包括由方框類型「mdia」識別之媒體方框224b。媒體方框224b可含有物件及關於播放軌中之媒體資料之資訊。舉例而言,媒體方框224b可含有處理常式參考方框,其可識別播放軌之媒體類型及藉以呈現播放軌中之媒體之處理程序。作為另一實例,媒體方框224b可含有媒體資訊方框,其可指定播放軌中之媒體之特性。媒體資訊方框可進一步包括樣本之表,其中每一樣本描述一塊媒體資料(例如,視訊或音訊資料),其包括例如用於樣本之資料之位置。用於樣本之資料儲存於下文進一步所論述之媒體資料方框中。如同大多數其他方框一樣,媒體方框224b亦可包括媒體標頭方框。 在所繪示實例中,實例ISO基本媒體檔案200亦包括呈現之多個片段230a、230b、230c、230n。片段230a、230b、203c、230n並非ISOBMFF方框,而是描述電影片段方框232及由電影片段方框232參考之媒體資料方框238。電影片段方框232及媒體資料方框238為頂部層級方框,但此處被分組以指示電影片段方框232與媒體資料方框238之間的關係。 由方框類型「moof」識別之電影片段方框232可藉由包括原本將儲存於電影方框220中之額外資訊而延伸呈現。在使用電影片段方框232之情況下,可遞增地建置呈現。電影片段方框232可包括電影片段標頭方框234及播放軌片段方框236,以及此處未繪示之其他方框。 由方框類型「mfhd」識別之電影片段標頭方框234可包括序號。播放器器件可使用序號來驗證片段230a包括用於呈現之下一資料片斷。在一些狀況下,可將檔案之內容或用於呈現之檔案無序地提供至播放器器件。舉例而言,網路封包可以除了封包最初被傳輸之次序以外的次序頻繁地到達。在此等狀況下,序號可輔助播放器器件判定用於片段之正確次序。 電影片段方框232亦可包括由方框類型「traf」識別之一或多個播放軌片段方框236。電影片段方框232可包括一組播放軌片段,每播放軌零或多個。播放軌片段可含有零或多個播放軌回合(track run),其中之每一者描述用於播放軌之樣本之連續回合。除了將樣本添加至播放軌以外,播放軌片段亦可用以將空的時間添加至播放軌。 由方框類型「mdat」識別之媒體資料方框238含有媒體資料。在視訊播放軌中,媒體資料方框238將含有視訊圖框。媒體資料方框可替代地或另外包括音訊資料。呈現可包括一或多個個別檔案中所含有之零或多個媒體資料方框。媒體資料係由後設資料描述。在所繪示實例中,媒體資料方框238中之媒體資料可由包括於播放軌片段方框236中之後設資料描述。在其他實例中,媒體資料方框中之媒體資料可由電影方框220中之後設資料描述。後設資料可指檔案200內達絕對偏移之特定媒體資料,使得可跳過媒體資料方框238內之媒體資料標頭及/或自由空間。 ISO基本媒體檔案200中之其他片段230b、230c、230n可含有與針對第一片段230a所繪示之方框相似的方框,及/或可含有其他方框。 除了支援媒體之本機播放以外,ISOBMFF亦包括支援經由網路來串流媒體資料。包括一個電影呈現之該或該等檔案可包括被稱為提示播放軌之額外播放軌,其含有可輔助串流伺服器形成及傳輸該或該等檔案作為封包之指令。舉例而言,此等指令可包括用於使伺服器發送之資料(例如,標頭資訊)或對媒體資料之區段之參考。檔案可包括用於不同串流協定之單獨提示播放軌。亦可在不需要重新格式化檔案之情況下將提示播放軌添加至檔案。 一種用於串流媒體資料之方法為經由超文字傳送協定(HyperText Transfer Protocol;HTTP)之動態調適性串流,或DASH (定義於ISO/IEC 23009-1:2014中)。亦被稱為MPEG-DASH之DASH為使能夠使用習知HTTP網頁伺服器進行媒體內容之高品質串流的調適性位元速率串流技術。DASH藉由將媒體內容中斷成一系列小的基於HTTP之檔案區段而操作,其中每一區段含有短時間間隔之內容。在使用DASH之情況下,伺服器可以不同位元速率提供媒體內容。正播放媒體之用戶端器件可在下載下一區段時在替代位元速率當中進行選擇,且因此調適至改變網路條件。DASH使用網際網路之HTTP網頁伺服器基礎結構以經由全球資訊網遞送內容。DASH獨立於用以編碼及解碼媒體內容之編碼解碼器,且因此與諸如H.264及HEVC等等之編碼解碼器一起操作。 ISOBMFF規格指定用於與DASH一起使用之六種類型之串流存取點(Stream Access Point;SAP)。前兩種SAP類型(類型1及2)對應於H.264/AVC及HEVC中之瞬時解碼再新(IDR)圖像。舉例而言,IDR圖像為在解碼器處完全地再新或重新初始化解碼處理程序且開始新經寫碼視訊序列之框內圖像(I圖像)。在一些實例中,IDR圖像及按解碼次序在IDR圖像之後的任何圖像不能取決於按解碼次序在IDR圖像之前出現之任何圖像。 第三SAP類型(類型3)對應於開放圖像群組(Group of Pictures;GOP)隨機存取點,因此對應於HEVC中之斷鏈存取(broken link access;BLA)或清潔隨機存取(clean random access;CRA)圖像。舉例而言,CRA圖像亦為I圖像。CRA圖像可能不再新解碼器且可能不開始新CVS,從而允許CRA圖像之前置圖像取決於按解碼次序在CRA圖像之前出現之圖像。可藉由解碼以下各者而在CRA圖像處進行隨機存取:CRA圖像、不取決於按解碼次序在CRA圖像之前出現之任何圖像的與CRA圖像相關聯之前置圖像,及按解碼次序及輸出次序兩者在CRA之後的所有關聯圖像。在一些狀況下,CRA圖像可能不具有關聯前置圖像。在一些實施例中,在多層狀況下,屬於層ID大於0之層的IDR或CRA圖像可為P圖像或B圖像,但此等圖像可僅使用來自與IDR或CRA圖像屬於同一存取單元且層ID小於含有IDR或CRA圖像之層之其他圖像的層間預測。 第四SAP類型(類型4)對應於逐漸解碼再新(gradual decoding refresh;GDR)隨機存取點。 雖然ISOBMFF係靈活且可延伸的且廣泛地用以儲存及傳輸各種類型之媒體,但ISOBMFF並不包括用於儲存虛擬實境視訊或將ISO基本媒體檔案之內容識別為包括虛擬實境內容的機構。播放器器件可因此不能夠判定檔案之內容包括虛擬實境視訊。不能夠顯示虛擬實境內容之播放器器件可能無論如何皆顯示內容,從而引起呈現失真。 在各種實施方案中,可修改及/或延伸ISOBMFF及/或自ISOBMFF衍生之檔案格式,使得可識別虛擬實境內容。此等實施方案可涉及方框、品牌值、方框中之保留位元,及/或可各自獨立地或組合地識別虛擬實境內容之其他指示符。 圖3A及圖3B繪示ISO基本媒體檔案300中之頂部層級方框用以指示檔案300包括虛擬實境內容的實例。在各種實施方案中,使用頂部層級方框指示檔案中300中之內容之全部為虛擬實境內容。檔案300可包括檔案類型方框310,其可指定ISOBMFF之品牌或特定反覆項目或與檔案300相容的ISOBMFF之衍生。檔案300亦可包括電影方框320,其可含有用於呈現之後設資料。檔案300可視情況亦包括一或多個片段330a、330b、330c、330n,如上文所論述。 在圖3A之實例中,檔案類型方框310可用以指示檔案300包括虛擬實境內容。舉例而言,檔案類型方框310可用以指定指示檔案與虛擬實境品牌相容之品牌值。在各種實施方案中,檔案類型方框310中列出之相容品牌亦可用以提供選用品牌指示符,選用品牌指示符可用以提供虛擬實境相關參數。舉例而言,一個相容品牌值可指示虛擬實境內容為2維(2-D),而另一相容品牌值可指示虛擬實境內容為3維(3-D)。作為另一實例,相容品牌值可用以指示映射類型;即,虛擬實境視訊之球面表示已映射至等量矩形、立方體或金字塔形格式抑或某一其他格式以供儲存於檔案300中。在各種實施方案中,可替代地或另外使用檔案類型方框310中之選用欄位來指示諸如視訊之維度性及/或映射的資訊。 在圖3B之實例中,已定義新方框類型360。新方框類型360為與檔案類型方框310相似之頂部層級方框。新方框類型360在檔案中之存在及/或新方框類型360中之指示符可用以指示檔案300包括虛擬實境內容。舉例而言,新方框類型360可指定虛擬實境相容品牌值,及/或包括與相容品牌清單中之虛擬實境內容相容的品牌值。新方框類型360可進一步包括可指示例如虛擬實境內容為2-D抑或3-D及/或針對儲存於檔案300中之虛擬實境資料之映射的選用參數。指定新方框類型360可避免需要修改檔案類型方框310,在圖3A之實例中需要該修改。不能識別新方框類型360之播放器器件可忽略新方框類型360。 當針對檔案之頂部層級所定義之檔案類型方框310或新方框類型360用以指示檔案300包括虛擬實境內容時,在一些實施方案中,檔案300亦可能不需要在檔案300中之其他方框中包括指示符以傳信虛擬實境內容之存在。 圖4繪示電影層級指示用於ISO基本媒體檔案400中以指示檔案400包括虛擬實境內容的實例。檔案400可包括檔案類型方框410,其可指定ISOBMFF或與檔案400相容的ISOBMFF之衍生的品牌或特定反覆項目。檔案400亦可包括電影方框420,其可含有用於呈現之後設資料。檔案400可視情況亦包括一或多個片段430a、430b、430c、430n,如上文所論述。 如上文所論述,電影方框420可包括電影標頭方框422且視情況包括一或多個播放軌方框424。在圖4之實例中,電影標頭方框422用以指示由電影方框420描述之電影或呈現包括虛擬實境內容。舉例而言,電影標頭方框422中之保留位元在被設定為一個值時可指示電影內容為虛擬實境視訊,且在電影可能或可能不為虛擬實境視訊時可被設定為另一值。在一個說明性實例中,若保留位元中之一者用以傳達指示,則等於1之位元指示內容為虛擬實境視訊內容,且等於0之位元指示內容可能或可能不為虛擬實境視訊內容。未經組態成處理保留位元之播放器器件可忽略此等位元。 電影標頭方框422中之其他欄位及/或保留位元可用以提供與虛擬實境內容有關之選用參數。舉例而言,電影標頭方框422可包括指示虛擬實境內容為2-D抑或3D之參數。 作為另一實例,電影標頭方框422可包括指示虛擬實境內容被預拼接抑或後拼接的參數。「預拼接」意謂針對虛擬實境呈現所捕捉之不同視圖在儲存於檔案400中之前組譯成單一表示。「後拼接」意謂不同視圖個別地儲存於檔案中400中,且將由解碼器器件組譯成單一表示。 預拼接虛擬實境視訊通常被表示為球面形狀,且映射至對於儲存而言較方便之另一形狀(例如,等量矩形、立方體映射、金字塔形映射,或某一其他形狀)。指示所使用之映射類型之參數為可例如使用保留位元在電影標頭方框422中傳信之參數之另一實例。舉例而言,一個保留位元可用以傳達每一映射類型指示。在各種實施方案中,播放器器件可支援多個映射類型。在此等實施方案中,電影標頭方框422可針對每一個別播放軌及/或針對播放軌群組包括映射類型。 當電影標頭方框422用以指示儲存於電影方框420中之電影呈現包括虛擬實境視訊時,在各種實施方案中,電影方框420中之其他方框亦可能不需要傳信虛擬實境視訊之存在。 圖5繪示播放軌層級指示符用於ISO基本媒體檔案500中以指示檔案500包括虛擬實境內容的實例。檔案500可包括檔案類型方框510,其可指定ISOBMFF之品牌或特定反覆項目或與檔案500相容的ISOBMFF之衍生。檔案500亦可包括電影方框520,其可含有用於呈現之後設資料。檔案500可視情況亦包括一或多個片段530a、530b、530c、530n,如上文所論述。 電影方框520可包括電影標頭方框522及一或多個播放軌方框524,以及此處未繪示之其他方框。電影標頭方框522可包括總體上描述呈現之資訊。播放軌方框524可包括用於呈現中之播放軌之資訊。播放軌方框524可包括播放軌標頭方框524a及零或多個媒體資料方框524b。 在圖5之實例中,用於特定播放軌方框524之播放軌標頭方框524a用以指示由播放軌方框524描述之播放軌為虛擬實境播放軌,此意謂由播放軌提及之樣本包括虛擬實境視訊資料。舉例而言,可使用播放軌標頭方框524a中之保留位元來指示播放軌中之虛擬實境內容。舉例而言,當特定保留位元被設定為一個值時,播放軌包括虛擬實境內容,且當位元設定被為另一值時,播放軌可能或可能不包括虛擬實境內容。在一個說明性實例中,若保留位元中之一者用以傳達指示,則等於1之位元指示內容為虛擬實境視訊內容,且等於0之位元指示內容可能或可能不為虛擬實境視訊內容。在一些實施方案中,播放軌標頭方框524中之虛擬實境內容之傳信可取決於哪一內容在電影標頭方框522中被傳信。舉例而言,當電影標頭方框622指示電影不包括虛擬實境內容時,則可忽略播放軌標頭方框524a中播放軌含有虛擬實境資料之任何指示。 在各種實施方案中,亦可在播放軌標頭方框524a中傳信其他虛擬實境相關參數。舉例而言,保留位元或某一其他變數可用以指示播放軌中之虛擬實境視訊被預拼接抑或後拼接。當播放軌中之視訊被預拼接時,額外參數可提供諸如攝影機位置(例如,相對於視點及/或視角)之資訊。當播放軌中之視訊被後拼接時,額外參數可提供球面視訊表示與用以將資料儲存於檔案500中之表示(例如,等量矩形、立方體映射、金字塔形映射,或某一其他形狀)之間的映射類型。 當用於播放軌方框524之播放軌標頭方框524a用以傳信播放軌包括虛擬實境內容時,在一些實施方案中,播放軌方框524中之其他方框亦可能不需要傳信虛擬實境內容在播放軌中之存在。 在各種實施方案中,與上文所論述之技術相似的技術可用以指示使用DASH而傳輸之檔案中之虛擬實境內容。舉例而言,可在DASH呈現之媒體呈現層級處傳信虛擬實境內容。如由DASH規格所定義之媒體呈現為用於有界或無界媒體呈現之資料集合(例如,單一動畫或連續實況串流,以及其他實例)。媒體呈現可藉由媒體呈現描述予以描述,文件含有後設資料,後設資料可由DASH用戶端使用以建構適當HTTP統一資源定位符(uniform resource locator;URL)以存取媒體呈現之區段。 在各種實施方案中,媒體呈現描述可用以指示藉由媒體呈現描述而描述之媒體內容包括虛擬實境內容。舉例而言,可修改元素或將其添加至用於媒體呈現描述之結構描述,其中元素接著傳信虛擬實境內容。在各種實施方案中,亦可修改屬性或將其添加至媒體呈現描述以提供關於虛擬實境內容之資訊,諸如內容為2-D抑或3-D,內容被預拼接抑或後拼接,及/或內容被後拼接時用於視訊圖框之映射。在一些實施方案中,媒體呈現描述中之虛擬實境指示符指示呈現中之內容之全部針對虛擬實境而格式化。 在DASH呈現中,用於一個呈現之媒體內容被劃分成時段。如由DASH所定義之時段為媒體呈現內之時間間隔。呈現因此由一系列連續時段組成。在一時段內,媒體內容通常具有一組一致編碼,包括具有一個平均位元速率、一種語言、一個字幕設定、一個副標題設定等等。 在各種實施方案中,時段之元素及/或屬性可用以指示虛擬實境內容。舉例而言,可修改元素或將其添加至用於時段之結構描述,其中元素接著傳信虛擬實境內容。在各種實施方案中,亦可修改屬性或將其添加至時段以提供關於虛擬實境內容之資訊,諸如內容為2-D抑或3-D,內容被預拼接抑或後拼接,及/或內容被後拼接時用於視訊圖框之映射。在一些實施方案中,時段中之虛擬實境指示符指示時段中之內容針對虛擬實境而格式化。 在一時段內,內容可被配置成調適集。調適集表示一或多個媒體內容分量之一組可互換經編碼版本。舉例而言,時段可包括用於主要視訊分量之一個調適集及用於主要音訊分量之單獨調適集。在此實例中,若存在其他可用內容,諸如字幕或音訊描述,則此等描述中之每一者可具有單獨調適集。 在各種實施方案中,可在調適集中傳信虛擬實境內容。舉例而言,可修改元素或將其添加至用於調適集之結構描述,其中元素接著傳信虛擬實境內容。在各種實施方案中,亦可修改屬性或將其添加至調適集以提供關於虛擬實境內容之資訊,諸如內容為2-D抑或3-D,內容被預拼接抑或後拼接,及/或內容被後拼接時用於視訊圖框之映射。在一些實施方案中,調適集中之虛擬實境指示符指示調適集中之表示中之每一者包括虛擬實境內容。 調適集可含有多個替代表示。表示描述一或若干個媒體內容分量之可遞送經編碼版本。調適集內之任何單一表示可用以在時段中顯現媒體內容分量。一個調適集中之不同表示可被視為感知上等效,此意謂用戶端器件可在調適集內自一個表示動態地切換至另一表示以便調適至網路條件或其他因素。 在各種實施方案中,可在表示中傳信虛擬實境內容。舉例而言,可修改元素或將其添加至用於表示之結構描述,其中元素接著指示虛擬實境內容。在各種實施方案中,亦可修改屬性或將其添加至表示以提供關於虛擬實境內容之資訊,諸如內容為2-D抑或3-D,內容被預拼接抑或後拼接,及/或內容被後拼接時用於視訊圖框之映射。在一些實施方案中,表示中之虛擬實境指示符指示表示之內容針對虛擬實境而格式化。 與媒體內容之串流相關之另一格式為作業階段描述協定(Session Description Protocol;SDP),其描述於RFC 4566中。SDP可用以描述多媒體通信作業階段。舉例而言,此等描述可用於作業階段通知、作業階段邀請及參數協商。SDP自身並不用以遞送媒體,而是可用於針對媒體類型、格式及關聯性質之協商之端點之間。一組性質及參數常常被稱作作業階段規範。SDP最初為作業階段通知協定(Session Announcement Protoco;SAP)之分量,但具有結合以下各者之其他用途:即時傳送協定(Real-time Transfer Protocol;RTP)、即時串流協定(Real-time Streaming Protocol;RTSP)、作業階段起始協定(Session Initiation Protocol;SIP),及作為用於描述多播作業階段之獨立式格式。 在各種實施方案中,虛擬實境內容之指示可包括於作業階段描述中及/或SDP訊息中之媒體描述中。舉例而言,可在作業階段描述及/或媒體描述中添加或修改欄位以指示串流內容中之虛擬實境內容之存在。另外,在一些實施方案中,亦可將與虛擬實境內容相關之參數添加至SDP訊息。舉例而言,此等參數可包括虛擬實境內容為2-D抑或3-D,內容被預拼接抑或後拼接,及/或用以儲存資料之映射。在此及其他實例中,SDP可用於基於RTP之串流、廣播及/或遠程監控或會議應用中以指示媒體內容包括虛擬實境內容。 作為另一實例,多媒體廣播多播服務(Multimedia Broadcast Multicast Services;MBMS)可用以指示內容經由3GPP蜂巢式網路而傳輸時之虛擬實境內容。MBMS為點對多點介面規格,該規格可既在小區內又在核心網路內提供廣播及多播服務之高效遞送。用於MBMS之目標應用包括行動電視、實況視訊及音訊流線化、檔案遞送,及緊急提醒遞送。 在各種實施方案中,可藉由將新特徵添加至MBMS特徵要求清單來實現虛擬實境內容之傳信,以及與該內容相關之參數。在各種實施方案中,對於其他廣播及多播應用可以相似方式實現虛擬實境內容之傳信。 在各種實施方案中,當ISO基本媒體檔案中之播放軌包括虛擬實境內容時,各種額外或替代途徑可用以將虛擬實境內容傳信至播放器器件。圖6繪示處理常式方框624c用以傳信播放軌之內容包括虛擬實境視訊的ISO基本媒體檔案600之一項實例。檔案600可包括檔案類型方框610,其可指定ISOBMFF或與檔案600相容的ISOBMFF之衍生的品牌或特定反覆項目。檔案600亦可包括電影方框620,其可含有用於呈現之後設資料。檔案600可視情況亦包括一或多個片段630a、630b、630c、630n,如上文所論述。 電影方框620可包括電影標頭方框622及一或多個播放軌方框624,以及此處未繪示之其他方框。電影標頭方框622可包括總體上描述呈現之資訊。播放軌方框624可包括用於呈現中之播放軌之資訊。播放軌方框624可包括播放軌標頭方框624a及零或多個媒體資料方框624b。 媒體資料方框624b可包括處理常式方框642c以及其他方框。亦可被稱作處理常式參考方框之處理常式方框642c可指示播放軌之媒體類型。播放軌之媒體類型定義藉以呈現播放軌中之媒體資料之處理程序。媒體類型之實例包括視訊及音訊等等。呈現媒體之方式可包括用於媒體之格式。舉例而言,由播放器器件使用以遞送播放軌中之視訊資料的格式(例如,縱橫比、解析度、圖框速率等等)可儲存於視訊播放軌中,且由處理常式方框642c之視訊處理常式版本識別。在一些狀況下,檔案600可包括用於任何類型之後設資料串流的一般處理常式。在此等狀況下,視訊內容之特定格式可由描述該內容之樣本項目識別。 在一些狀況下,媒體資料方框624b可包括處理常式方框642c。處理常式方框642c可用以指示由播放軌方框624描述之播放軌包括虛擬實境資料。舉例而言,當播放軌描述視訊資料時,處理常式方框642c可特定地為可由方框類型「vide」識別之視訊處理常式方框。 在各種實施方案中,處理常式方框642c可用以指示由媒體資料內容方框624b參考之媒體內容包括虛擬實境內容。舉例而言,處理常式方框642c可包括播放軌中所含有之視訊內容為虛擬實境視訊的選用指示符(例如,呈保留位元或新變數)。未經組態成讀取選用指示符之視訊播放器可忽略選用指示符。 在一些實施方案中,視訊處理常式方框可視情況亦包括描述虛擬實境內容之參數,諸如虛擬實境視訊為2-D抑或3-D,虛擬實境視訊被預拼接抑或後拼接,及/或用於虛擬實境視訊之映射。在各種實施方案中,可在可發現於播放軌方框524中之各種其他方框中指示與虛擬實境內容相關之參數。舉例而言,可在播放軌標頭方框624a中傳信參數。替代地或另外,可在媒體標頭方框(由方框類型「mdhd」識別)中及/或在視訊媒體標頭方框(由方框類型「vmhd」識別)中傳信參數,此處未繪示該等方框。替代地或另外,可在樣本項目中及/或在可置放於播放軌方框624之頂部層級處的新定義方框中指示參數。 圖7繪示新處理常式方框724d已被定義以指示播放軌包括虛擬實境內容的ISO基本媒體檔案700之實例。檔案700可包括檔案類型方框710,其可指定ISOBMFF或與檔案700相容的ISOBMFF之衍生的品牌或特定反覆項目。檔案700亦可包括電影方框720,其可含有用於呈現之後設資料。檔案700可視情況亦包括一或多個片段730a、730b、730c、730n,如上文所論述。 電影方框720可包括電影標頭方框722及一或多個播放軌方框724,以及此處未繪示之其他方框。電影標頭方框722可包括總體上描述呈現之資訊。播放軌方框724可包括用於呈現中之播放軌之資訊。播放軌方框724可包括播放軌標頭方框724a及零或多個媒體資料方框724b。 如上文所論述,在一些狀況下,媒體資料方框724b可包括處理常式方框724d,其可描述用於呈現由媒體資料方框724b描述之媒體內容的格式。在圖7之實例中,已定義新處理常式方框724d,其特定於虛擬實境視訊資料。舉例而言,新處理常式方框724d可由方框類型「vrvd」識別。在此實例中,不與虛擬實境內容相容之視訊播放器可能不能夠識別新處理常式方框724d,且因此可忽略新處理常式方框724d且跳過由播放軌方框724參考之任何內容。虛擬實境內容將因此不由未經組態成顯示虛擬實境視訊之播放器顯現及顯示。 在一些實施方案中,新處理常式方框可視情況亦包括描述虛擬實境內容之參數,諸如虛擬實境視訊為2-D抑或3-D,虛擬實境視訊被預拼接抑或後拼接,及/或用於虛擬實境視訊之映射。在各種實施方案中,可在可發現於播放軌方框724中之各種其他方框中指示與虛擬實境內容相關之參數。舉例而言,可在播放軌標頭方框724a中傳信參數。替代地或另外,可在媒體標頭方框(由方框類型「mdhd」識別)中及/或在視訊媒體標頭方框(由方框類型「vmhd」識別)中傳信參數,此處未繪示該等方框。替代地或另外,可在樣本項目中及/或在可置放於播放軌方框724之頂部層級處的新定義方框中指示參數。 圖8繪示可包括於ISO基本媒體檔案中之媒體方框840之實例。如上文所論述,媒體方框可包括於播放軌方框中,且可含有描述播放軌中之媒體資料的物件及資訊。在所繪示實例中,媒體方框840包括媒體資訊方框842。媒體方框840亦可包括其他方框,此處未繪示該等其他方框。 媒體資訊方框842可含有描述關於播放軌中之媒體之特性資訊的物件。舉例而言,媒體資訊方框842可包括描述播放軌中之媒體資訊之位置的資料資訊方框。作為另一實例,當播放軌包括視訊資料時,媒體資訊方框842可包括一視訊媒體標頭。視訊媒體標頭可含有獨立於視訊媒體之寫碼的一般呈現資訊。當播放軌包括音訊資料時,媒體資訊方框842亦可包括一聲音媒體標頭。 媒體資訊方框842亦可包括一樣本表方框844,如所繪示實例中所提供。由方框類型「stbl」識別之樣本表邏輯方框844可提供播放軌中之媒體樣本的位置(例如,具有檔案之位置),以及用於該等樣本之時間資訊。在使用由樣本表方框844提供之資訊的情況下,一播放器器件可按正確時間次序定位樣本,判定一樣本之類型,及/或判定大小、容器,及容器內之一樣本之偏移等等。 樣本表方框844可包括由方框類型「stsd」識別之一樣本描述方框846。樣本描述方框846可提供關於例如用於一樣本之寫碼類型之詳述資訊,及為彼寫碼類型所需要之任何初始化資訊。儲存於樣本描述方框中之資訊可特定於包括樣本之播放軌之類型。舉例而言,當播放軌為視訊播放軌時可針對樣本描述使用一個格式,且當播放軌為提示播放軌時可使用一不同格式。作為另外實例,用於樣本描述之格式亦可取決於提示播放軌之格式而變化。 樣本描述方框846可包括一或多個樣本項目方框848a、848b、848c。樣本項目類型為一摘要類別,且因此樣本描述方框通常包括一特定樣本項目方框,諸如視訊資料之一視覺樣本項目或音訊樣本之一音訊樣本項目以及其他實例。一樣本項目方框可儲存用於一特定樣本之參數。舉例而言,對於一視訊樣本,樣本項目方框可包括用於視訊樣本之一寬度、高度、水平解析度、垂直解析度、圖框計數及/或深度等等。作為另一實例,對於一音訊樣本,樣本項目可包括一通道計數、一通道佈局及/或一取樣速率等等。 在所繪示實例中,第一樣本項目848a包括一受限定方案資訊方框860。由方框類型「rinf」識別之一受限定方案資訊方框可含有為理解應用於一樣本之一受限定方案及該方案之參數兩者所需要的資訊。在一些狀況下,檔案之作者可能需要來自播放器器件之某些動作。在此等狀況下,檔案可包括受限定方案資訊方框,播放器器件可定位及使用受限定方案資訊方框以判定用於顯現檔案之媒體內容的要求。可能不能夠顯現內容之播放器亦可使用受限定方案資訊方框以判定其不能顯現內容,且因此不應嘗試處理內容。受限定方案資訊方框通常包括原始樣本項目類型,即,在由受限定方案資訊方框描述之任何變換之前的樣本項目之類型。 在各種實施方案中,可針對虛擬實境內容定義受限定方案。在此等實施方案中,可將受限定方案資訊方框860添加至包括虛擬實境資料之樣本項目848a。可在由方框類型「schm」識別之方案類型方框862中指定受限定方案之類型。舉例而言,對應於「vrvd」之編碼可用以識別用於虛擬實境內容之受限定方案。 所繪示實例中之受限定方案資訊方框860包括由方框類型「schi」識別之方案資訊方框864。方案資訊方框864可儲存用於特定方案之資訊。舉例而言,當受限定方案用於虛擬實境內容時,方案資訊方框864可包括用於虛擬實境內容之參數。舉例而言,此等參數可包括虛擬實境視訊為2-D抑或3-D,虛擬實境視訊被預拼接或後拼接,及/或用於虛擬實境視訊之映射。在各種實施方案中,可針對虛擬實境內容定義方案資訊方框,特定地用於含有用於虛擬實境內容之參數。 在使用圖8所繪示之技術的情況下,不需要將可能不被舊版播放器器件理解之新方框添加至ISOBMFF規格。甚至在新方框之情況下,舊版播放器器件仍可嘗試播放器件不能識別之內容,且當此內容為虛擬實境媒體時,結果可為失真呈現。在避免添加新方框時,可針對虛擬實境內容產生檔案,其中檔案很可能僅包括舊版播放器可識別之方框。舊版播放器器件可進一步判定器件不能夠實施由受限定方案資訊方框864描述之受限定方案,且因此不嘗試顯示虛擬實境內容。 技術另外為舊版播放器及能夠顯現虛擬實境內容之播放器兩者提供靈活性。舉例而言,舊版播放器可判定播放器是否理解由受限定方案資訊方框識別之虛擬實境方案。當播放器器件不能夠符合受限定方案時,播放器器件可選擇根本不顯現播放軌中之內容,或可能能夠代替地處理原始的未經變換樣本。受限定方案機構因此可使播放器器件能夠檢查檔案以判定用於顯現位元串流之要求,且可使舊版播放器器件停止解碼及顯現器件可能不能夠處理之檔案。 在各種實施方案中,虛擬實境內容可替代地或另外包括於視訊位元串流中之補充增強資訊(SEI)訊息中。SEI訊息可因此指示位元串流包括虛擬實境內容。在各種實施方案中,SEI訊息可指示檔案層級、電極層級及/或播放軌層級處之虛擬實境內容。在各種實施方案中,SEI資訊亦可包括描述虛擬實境視訊之性質(例如,視訊為2-D抑或3-D、被預拼接抑或後拼接等等)的參數。 在各種實施方案中,對ISOBMFF規格之延伸可包括用於與含有推薦檢視區時控後設資料之時控後設資料播放軌一起使用的樣本項目類型「rcvp」。延伸可包括指示推薦檢視區資訊方框之方框類型「rvif」。在一些實施方案中,推薦檢視區可為與如本文中所論述之虛擬實境資料相關聯的檢視最多檢視區。以下本文提供日期為2018年2月7日之ISO/IEC FDIS 23090-2:201x (E)章節7.7.5之「Information technology - Coded representation of immersive media (MPEG-I) - Part 2: Omnidirectional media format」的本文。推薦檢視區 推薦檢視區時控後設資料播放軌指示應在使用者未控制檢視定向或已釋放對檢視定向之控制時顯示的檢視區。 附註:推薦檢視區時控後設資料播放軌可用於指示基於導演之切割或基於檢視統計之量測的推薦檢視區。 應使用播放軌樣本項目類型「rcvp」。 如下指定此樣本項目類型之樣本項目: class RcvpSampleEntry() extends SphereRegionSampleEntry('rcvp') { RcvpInfoBox(); //強制 } class RcvpInfoBox extends FullBox('rvif', 0, 0) { unsigned int(8) viewport_type; string viewport_description; } viewport_type指定如表0.1中所列出之推薦檢視區類型。 0 .1 推薦檢視區類型 viewport_description為提供推薦檢視區之文字描述的空值終止UTF-8字串。 應使用SphereRegionSample之樣本語法。 shape_type應在樣本項目之SphereRegionConfigBox中等於0。 static_azimuth_range及static_elevation_range (在存在時)或azimuth_range及elevation_range (在存在時)分別指示推薦檢視區之方位角及高度範圍。 centre_azimuth及centre_elevation指示推薦檢視區相對於全域座標軸線之中心點。centre_tilt指示推薦檢視區之傾斜角。 圖9繪示如本文中所描述的用於產生含有虛擬實境內容之檔案之處理程序900之實例。在902處,處理程序900包括獲得虛擬實境資料,其中虛擬實境資料表示虛擬環境之360度視圖。在一些實施方案中,虛擬實境資料包括虛擬實境視訊。在一些實施方案中,虛擬實境視訊可被預拼接。在一些實施方案中,虛擬實境視訊中之圖框可能未被組譯,且可能需要後拼接。可捕捉及編碼虛擬實境資料以供儲存及傳輸至如本文中所論述之接收器件。 在904處,方法900包括將虛擬實境資料儲存至檔案,其中虛擬實境資料係根據檔案格式而儲存,其中檔案格式指定虛擬實境資料在檔案內之置放且指定與虛擬實境資料相關聯之資訊在檔案內之置放,其中與虛擬實境資料相關聯之資訊儲存於播放軌方框中。在各種實施方案中,檔案格式為ISOBMFF或自ISOBMFF衍生之檔案格式。在一些實施方案中,與虛擬實境資料相關聯之資訊可包括例如圖框速率、解析度、檔案內或視訊及/或音訊樣本之其他檔案內之位置,及/或其他資訊。在一些實施方案中,虛擬實境資料可儲存於檔案之一或多個媒體播放軌中。 在906處,處理程序900包括將樣本項目儲存至播放軌方框中,其中樣本項目與一或多個樣本相關聯,其中樣本項目指示播放軌為含有關於與虛擬實境資料相關聯之檢視最多檢視區之資訊的時控後設資料播放軌。舉例而言,此可由如本文中所論述之4CC 「mvvp」指示。 檢視最多檢視區可由一組經傳信請求最多圖像區完全地覆蓋。請求最多圖像區可為已由接收器器件最頻繁地請求或由先前使用者在虛擬實境內容之先前播放期間之呈現時間檢視的虛擬環境內容之球面表面上之區。舉例而言,虛擬實境內容可包括在播放期間新出現之物件,且出現物件之區可在出現時使使用者感興趣。舉例而言,請求最多圖像區可為在播放期間之特定呈現時間使使用者感興趣之其他區。 在一些實施方案中,處理程序900亦可包括將與虛擬視訊相關之參數(例如,本文中所描述之選用參數)儲存至檔案。在一些實施方案中,參數可儲存於方案資訊方框中。 圖10繪示如本文中所描述的用於自檔案提取虛擬實境內容之處理程序1000之實例。在1002處,處理程序包括接收含有虛擬實境資料之檔案,其中虛擬實境資料表示虛擬環境之360度視圖,其中虛擬實境資料根據檔案格式儲存於檔案中,其中檔案格式指定虛擬實境內容在檔案內之置放及與虛擬實境資料相關聯之資訊在檔案內之置放,其中與虛擬實境資料相關聯之資訊儲存於播放軌方框內。 在1004處,處理程序包括自檔案提取虛擬實境資料,其中虛擬實境資料根據檔案格式儲存於檔案中,其中檔案格式指定虛擬實境資料在檔案內之置放且指定與虛擬實境資料相關聯之資訊在檔案內之置放,其中與虛擬實境資料相關聯之資訊儲存於播放軌方框中。在各種實施方案中,檔案格式係基於ISOBMFF格式。 在1006處,處理程序包括自播放軌方框提取樣本項目,其中樣本項目與一或多個樣本相關聯,其中樣本項目指示播放軌為含有關於與虛擬實境資料相關聯之檢視最多檢視區之資訊的時控後設資料播放軌。接著可解碼虛擬實境資料且在視訊顯示器件上顯現虛擬實境資料,如下文所論述。 圖11繪示如本文中所描述的用於解碼及顯現虛擬實境環境之處理程序1100之實例。舉例而言,處理程序1100可在視訊顯示器件上執行。在1102處,處理程序1100包括接收虛擬實境資料,其中虛擬實境資料表示虛擬環境之360度視圖。虛擬實境資料可包括視訊資料及音訊資料。可能已藉由圖9及圖10所繪示之處理程序而產生及提取虛擬實境資料。 在1104處,處理程序1100包括解碼虛擬實境資料。解碼可根據檔案格式而如本文中進一步所論述而進行。在各種實施方案中,檔案格式可基於ISO基本媒體檔案格式。 在1106處,處理程序1100包括顯現由虛擬實境資料表示之虛擬環境以供顯示給使用者。顯現可利用本文中所論述之檢視最多檢視區資訊。在一些實施方案中,檢視最多檢視區可為由四個大圓指定之球面區檢視區。在其他實施方案中,檢視最多檢視區可為由兩個偏航圓及兩個俯仰圓指定之球面矩形檢視區。 在一些實例中,處理程序900、1000及1100可由諸如系統100之計算器件或裝置執行。舉例而言,處理程序900、1000及/或1100可由圖1所展示之系統100及/或儲存體108或輸出110執行。在一些狀況下,計算器件或裝置可包括處理器、微處理器、微電腦,或經組態以實行處理程序900、1000或1100之步驟之器件之其他組件。在一些實例中,計算器件或裝置可包括經組態以捕捉包括視訊圖框之視訊資料(例如,視訊序列)的攝影機。舉例而言,計算器件可包括攝影機器件(例如,IP攝影機或其他類型之攝影機器件),攝影機器件可包括視訊編碼解碼器。在一些實例中,捕捉視訊資料之攝影機或其他捕捉器件與計算器件分離,在此狀況下,計算器件接收經捕捉視訊資料。計算器件可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(IP)之資料。 處理程序900、1000及1100被繪示為邏輯流程圖,邏輯流程圖之操作表示可以硬體、電腦指令或其組合而實施之一系列操作。在電腦指令之上下文中,操作表示儲存於一或多個電腦可讀儲存媒體上之電腦可執行指令,其在由一或多個處理器執行時執行所敍述操作。通常,電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、物件、組件、資料結構及其類似者。描述操作之次序並不意欲被認作限制,且任何數目個所描述操作可按任何次序及/或並行地組合以實施處理程序。 另外,處理程序900、1000及1100可在經組態有可執行指令之一或多個電腦系統之控制下執行,且可被實施為共同地執行於一或多個處理器上之程式碼(例如,可執行指令、一或多個電腦程式,或一或多個應用程式)、由硬體實施,或其組合。如上文所提及,程式碼可儲存於電腦可讀或機器可讀儲存媒體上,例如呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。 圖12及圖13中分別展示編碼器件1204及解碼器件1312之特定細節。圖12為繪示可實施本發明中所描述之技術中之一或多者之實例編碼器件1204的方塊圖。編碼器件1204可例如產生本文中所描述之語法結構(例如,VPS、SPS、PPS或其他語法元素之語法結構)。編碼器件1204可執行視訊截塊內之視訊區塊之框內預測及框間預測寫碼。如先前所描述,框內寫碼至少部分地依賴於空間預測以縮減或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以縮減或移除視訊序列之鄰近或周圍圖框內之時間冗餘。框內模式(I模式)可指若干個基於空間之壓縮模式中之任一者。諸如單向式預測(P模式)或雙向式預測(B模式)之框間模式可指若干個基於時間之壓縮模式中之任一者。 編碼器件1204包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建,編碼器件1204亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器,諸如解區塊濾波器、調適性迴路濾波器(adaptive loop filter,ALF)及樣本調適性偏移(sample adaptive offset;SAO)濾波器。儘管濾波器單元63在圖12中被展示為迴路內濾波器,但在其他組態中,濾波器單元63可被實施為迴路後濾波器。後處理器件57可對由編碼器件1204產生之經編碼視訊資料執行額外處理。在一些情況下,本發明之技術可由編碼器件1204實施。然而,在其他情況下,本發明之技術中之一或多者可由後處理器件57實施。 如圖12所展示,編碼器件1204接收視訊資料,且分割單元35將資料分割成視訊區塊。分割亦可包括分割成截塊、截塊區段、影像塊或其他較大單元,以及例如根據LCU及CU之四元樹結構的視訊區塊分割。編碼器件1204大體上繪示編碼待編碼之視訊截塊內之視訊區塊的組件。截塊可被劃分成多個視訊區塊(且可能劃分成被稱作影像塊之視訊區塊集合)。預測處理單元41可針對當前視訊區塊基於錯誤結果(例如,寫碼速率及失真位準或其類似者)而選擇複數個可能寫碼模式中之一者,諸如複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者。預測處理單元41可將所得的經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料,且提供至求和器62以重建經編碼區塊以用作參考圖像。 預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼之當前區塊在同一圖框或截塊中之一或多個相鄰區塊的框內預測寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼以提供時間壓縮。 運動估計單元42可經組態以根據用於視訊序列之預定圖案來判定用於視訊截塊之框間預測模式。預定圖案可將序列中之視訊截塊指定為P截塊、B截塊或GPB截塊。運動估計單元42及運動補償單元44可高度地整合,但出於概念目的而單獨地繪示。由運動估計單元42執行之運動估計為產生運動向量之處理程序,運動向量估計視訊區塊之運動。舉例而言,運動向量可指示當前視訊圖框或圖像內之視訊區塊之預測單元(PU)相對於參考圖像內之預測性區塊的位移。 預測性區塊為被發現在像素差方面接近地匹配於待寫碼之視訊區塊之PU的區塊,像素差可由絕對差總和(sum of absolute difference;SAD)、平方差總和(sum of square difference;SSD)或其他差度量判定。在一些實例中,編碼器件1204可計算儲存於圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言,編碼器件1204可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此,運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋,且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊之位置而計算用於經框間寫碼截塊中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1),該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行內插至子像素精確度)判定之運動向量而提取或產生預測性區塊。在接收到用於當前視訊區塊之PU的運動向量後,運動補償單元44就可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼器件1204藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差形成用於區塊之殘餘資料,且可包括明度及色度差分量兩者。求和器50表示執行此減去運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊截塊相關聯之語法元素,以供解碼器件1312用於解碼視訊截塊之視訊區塊。 如上文所描述,作為由運動估計單元42及運動補償單元44執行之框間預測的替代方案,框內預測處理單元46可框內預測當前區塊。詳言之,框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中,框內預測處理單元46可例如在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊,且框內預測單元處理46 (或在一些實例中,模式選擇單元40)可自經測試模式選擇適當框內預測模式以供使用。舉例而言,框內預測處理單元46可使用針對各種經測試框內預測模式之速率-失真分析來計算速率-失真值,且可在經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)量,以及用以產生經編碼區塊之位元速率(亦即,位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率而計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在任何狀況下,在選擇用於區塊之框內預測模式之後,框內預測處理單元46可將指示用於區塊之經選擇框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示經選擇框內預測模式之資訊。編碼器件1204可在經傳輸位元串流組態資料中包括用於各種區塊之編碼上下文之定義,以及待用於該等上下文中之每一者的最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。 在預測處理單元41經由框間預測或框內預測而產生用於當前視訊區塊之預測性區塊之後,編碼器件1204藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(discrete cosine transform;DCT)或概念上相似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域,諸如頻域。 變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化變換係數以進一步縮減位元速率。量化處理程序可縮減與一些或所有係數相關聯之位元深度。可藉由調整量化參數來修改量化程度。在一些實例中,量化單元54接著可執行包括經量化變換係數之矩陣的掃描。替代地,熵編碼單元56可執行該掃描。 在量化之後,熵編碼單元56熵編碼經量化變換係數。舉例而言,熵編碼單元56可執行上下文調適性可變長度寫碼(context adaptive variable length coding;CAVLC)、上下文調適性二進位算術寫碼(context adaptive binary arithmetic coding;CABAC)、基於語法之上下文調適性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding;SBAC)、機率區間分割熵(probability interval partitioning entropy;PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後,可將經編碼位元串流傳輸至解碼器件1312,或加以存檔以供稍後由解碼器件1312傳輸或擷取。熵編碼單元56亦可熵編碼用於正被寫碼之當前視訊截塊之運動向量及其他語法元素。 反量化單元58及反變換處理單元60分別應用反量化及反變換以重建像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建殘餘區塊,以計算次整數像素值以用於運動估計。求和器62將經重建殘餘區塊與由運動補償單元44產生之運動補償預測區塊相加以產生用於儲存於圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。 以此方式,圖12之編碼器件1204表示經組態以產生用於經編碼視訊位元串流之語法之視訊編碼器之實例。編碼器件1204可例如產生如上文所描述之VPS、SPS及PPS參數集。編碼器件1204可執行本文中所描述之技術中之任一者,包括上文關於圖12及圖13所描述之處理程序。本發明之技術已大體上關於編碼器件1204加以描述,但如上文所提及,本發明之技術中之一些亦可由後處理器件57實施。 圖13為繪示實例解碼器件1312之方塊圖。解碼器件1312包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中,解碼器件1312可執行與關於來自圖12之編碼器件1204所描述之編碼遍次大體上互逆的解碼遍次。 在解碼處理程序期間,解碼器件1312接收經編碼視訊位元串流,其表示經編碼視訊截塊之視訊區塊及由編碼器件1204發送之關聯語法元素。在一些實施例中,解碼器件1312可自編碼器件1204接收經編碼視訊位元串流。在一些實施例中,解碼器件1312可自諸如以下各者之網路實體79接收經編碼視訊位元串流:伺服器、媒體感知網路元件(media-aware network element;MANE)、視訊編輯器/剪接器,或經組態以實施上文所描述之技術中之一或多者的其他此類器件。網路實體79可能或可能不包括編碼器件1204。在網路實體79將經編碼視訊位元串流傳輸至解碼器件1312之前,可由網路實體79實施本發明中所描述之技術中之一些。在一些視訊解碼系統中,網路實體79及解碼器件1312可為單獨器件之部分,而在其他情況下,關於網路實體79所描述之功能性可由包含解碼器件1312之同一器件執行。 解碼器件1312之熵解碼單元80熵解碼位元串流以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測處理單元81。解碼器件1312可接收視訊截塊層級及/或視訊區塊層級處之語法元素。熵解碼單元80可處理及剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。 當視訊截塊被寫碼為經框內寫碼(I)截塊時,預測處理單元81之框內預測處理單元84可基於經傳信框內預測模式及來自當前圖框或圖像之經先前解碼區塊的資料而產生用於當前視訊截塊之視訊區塊的預測資料。當視訊圖框被寫碼為經框間寫碼(亦即,B、P或GPB)截塊時,預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生用於當前視訊截塊之視訊區塊的預測性區塊。可自參考圖像清單內之參考圖像中之一者產生預測性區塊。解碼器件1312可基於儲存於圖像記憶體92中之參考圖像而使用預設建構技術來建構參考圖框清單:清單0及清單1。 運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊截塊之視訊區塊的預測資訊,且使用預測資訊來產生用於正被解碼之當前視訊區塊的預測性區塊。舉例而言,運動補償單元82可使用參數集中之一或多個語法元素以判定用以寫碼視訊截塊之視訊區塊之預測模式(例如,框內預測或框間預測)、框間預測截塊類型(例如,B截塊、P截塊或GPB截塊)、用於截塊之一或多個參考圖像清單之建構資訊、用於截塊之每一經框間編碼視訊區塊之運動向量、用於截塊之每一經框間寫碼視訊區塊之框間預測狀態,及用以解碼當前視訊截塊中之視訊區塊的其他資訊。 運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在編碼視訊區塊期間由編碼器件1204所使用之內插濾波器來計算參考區塊之次整數像素的內插值。在此狀況下,運動補償單元82可自經接收語法元素判定由編碼器件1204使用之內插濾波器,且可使用內插濾波器來產生預測性區塊。 反量化單元86反量化或解量化位元串流中所提供且由熵解碼單元80解碼之經量化變換係數。反量化處理程序可包括使用由編碼器件1204針對視訊截塊中之每一視訊區塊所計算之量化參數來判定量化程度且同樣地判定應被應用之反量化程度。反變換處理單元88將反變換(例如,反DCT或其他適合反變換)、反整數變換或概念上相似反變換處理程序應用於變換係數,以便在像素域中產生殘餘區塊。 在運動補償單元82基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後,解碼器件1312藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。必要時,亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路之後)以使像素轉變平滑,或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器,諸如解區塊濾波器、調適性迴路濾波器(ALF)及樣本調適性偏移(SAO)濾波器。儘管濾波器單元91在圖13中被展示為迴路內濾波器,但在其他組態中,濾波器單元91可被實施為迴路後濾波器。接著將給定圖框或圖像中之經解碼視訊區塊儲存於圖像記憶體92中,圖像記憶體92儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以供稍後呈現於諸如圖1所展示之視訊目的地器件122的顯示器件上。 在前述描述中,參考本申請案之特定實施例而描述本申請案之態樣,但熟習此項技術者將認識到,本發明並不限於此情形。因此,雖然本文中已詳細地描述本申請案之說明性實施例,但應理解,可以其他方式不同地體現及使用本發明概念,且所附申請專利範圍意欲被認作包括惟由先前技術所限制者除外之此等變化。可單獨地或聯合地使用上文所描述之發明之各種特徵及態樣。另外,可在除了本文中所描述之環境及應用以外的任何數目個環境及應用中利用實施例,而不脫離本說明書之較廣精神及範疇。因此,本說明書及圖式被視為說明性的而非限定性的。出於說明之目的,以特定次序描述方法。應瞭解,在替代實施例中,可以與所描述之次序不同的次序執行方法。 在組件被描述為「經組態以」執行某些操作之情況下,可例如藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如,微處理器或其他適合電子電路)以執行操作或其任何組合來實現此組態。 結合本文中所揭示之實施例所描述的各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體,或兩者之組合。為了清楚地說明硬體與軟體之此可互換性,各種說明性組件、區塊、模組、電路及步驟已在上文大體上按其功能性加以描述。將此功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用而以不同方式實施所描述之功能性,但不應將此等實施決策解譯為造成脫離本發明之範疇。 本文中所描述之技術可以硬體、軟體、韌體或其任何組合予以實施。此等技術可實施於多種器件中之任一者中,諸如一般用途電腦、無線通信器件手機,或具有多種用途之積體電路器件,該等用途包括應用於無線通信器件手機及其他器件中。可將被描述為模組或組件之任何特徵一起實施於整合式邏輯器件中或單獨地實施為離散但可互操作之邏輯器件。若以軟體予以實施,則該等技術可至少部分地由包含程式碼之電腦可讀資料儲存媒體實現,該程式碼包括在執行時執行上文所描述之方法中之一或多者的指令。電腦可讀資料儲存媒體可形成電腦程式產品之部分,電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體,諸如隨機存取記憶體(random access memory;RAM),諸如同步動態隨機存取記憶體(synchronous dynamic random access memory;SDRAM)、唯讀記憶體(read-only memory;ROM)、非揮發性隨機存取記憶體(non-volatile random access memory;NVRAM)、電可抹除可程式化唯讀記憶體(electrically erasable programmable read-only memory;EEPROM)、快閃記憶體、磁性或光學資料儲存媒體,及其類似者。另外或替代地,該等技術可至少部分地由電腦可讀通信媒體實現,電腦可讀通信媒體攜載或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼,諸如傳播信號或波。 程式碼可由處理器執行,處理器可包括一或多個處理器,諸如一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路系統。此處理器可經組態以執行本發明中所描述之技術中之任一者。一般用途處理器可為微處理器;但在替代方案中,該處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可被實施為計算器件之組合,例如,DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器,或任何其他此類組態。因此,如本文中所使用之術語「處理器」可指以下各者中之任一者:前述結構、前述結構之任何組合,或適合於實施本文中所描述之技術之任何其他結構或裝置。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組內,或併入於組合式視訊編碼器-解碼器(encoder-decoder;CODEC)中。 本文中所論述之寫碼技術可體現於實例視訊編碼及解碼系統中。系統包括源器件,源器件提供稍後將由目的地器件解碼之經編碼視訊資料。詳言之,源器件經由電腦可讀媒體將視訊資料提供至目的地器件。源器件及目的地器件可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」平板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件或其類似者。在一些狀況下,源器件及目的地器件可經裝備以用於無線通信。 目的地器件可經由電腦可讀媒體接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源器件移動至目的地器件的任何類型之媒體或器件。在一項實例中,電腦可讀媒體可包含通信媒體以使源器件能夠即時地將經編碼視訊資料直接傳輸至目的地器件。可根據諸如無線通信協定之通信標準來調變經編碼視訊資料,且將經編碼視訊資料傳輸至目的地器件。通信媒體可包含任何無線或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成諸如區域網路、廣域網路或諸如網際網路之全域網路的基於封包之網路之部分。通信媒體可包括路由器、交換器、基地台,或可用於促進自源器件至目的地器件之通信的任何其他設備。 在一些實例中,可將經編碼資料自輸出介面輸出至儲存器件。相似地,可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本機存取資料儲存媒體中之任一者,諸如硬碟機、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他適合數位儲存媒體。在另外實例中,儲存器件可對應於可儲存由源器件產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件可經由串流或下載而自儲存器件存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附接儲存(network attached storage;NAS)器件或本機磁碟機。目的地器件可經由包括網際網路連接之任何標準資料連接來存取經編碼視訊資料。此標準資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線通道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等等)或兩者之組合。自儲存器件之經編碼視訊資料傳輸可為串流傳輸、下載傳輸或其組合。 本發明之技術未必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者 空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態調適性串流(DASH)之網際網路串流視訊傳輸、編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼,或其他應用。在一些實例中,系統可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在一項實例中,源器件包括視訊源、視訊編碼器及輸出介面。目的地器件可包括輸入介面、視訊解碼器及顯示器件。源器件之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中,源器件及目的地器件可包括其他組件或配置。舉例而言,源器件可自諸如外部攝影機之外部視訊源接收視訊資料。同樣地,目的地器件可與外部顯示器件介接,而非包括整合式顯示器件。 以上實例系統僅僅為一項實例。用於並行地處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術通常由視訊編碼器件執行,但該等技術亦可由視訊編碼器/解碼器——通常被稱作「CODEC」——執行。此外,本發明之技術亦可由視訊預處理器執行。源器件及目的地器件僅僅為源器件產生經寫碼視訊資料以供傳輸至目的地器件的此等寫碼器件之實例。在一些實例中,源器件及目的地器件可以實質上對稱方式而操作,使得該等器件中之每一者包括視訊編碼及解碼組件。因此,實例系統可支援視訊器件之間的單向或雙向視訊傳輸,例如,用於視訊串流、視訊播放、視訊廣播或視訊電話。 視訊源可包括視訊捕捉器件,諸如視訊攝影機、含有經先前捕捉視訊之視訊檔案庫,及/或用以自視訊內容提供者接收視訊之視訊饋送介面。作為另外替代方案,視訊源可產生作為源視訊的基於電腦圖形之資料,或實況視訊、存檔視訊及電腦產生視訊之組合。在一些狀況下,若視訊源為視訊攝影機,則源器件及目的地器件可形成所謂的攝影機電話或視訊電話。然而,如上文所提及,本發明中所描述之技術一般可適用於視訊寫碼,且可適用於無線及/或有線應用。在每一狀況下,可由視訊編碼器編碼經捕捉、經預捕捉或電腦產生視訊。接著可由輸出介面將經編碼視訊資訊輸出至電腦可讀媒體上。 如所提及,電腦可讀媒體可包括:暫時性媒體,諸如無線廣播或有線網路傳輸;或儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中,網路伺服器(未圖示)可例如經由網路傳輸而自源器件接收經編碼視訊資料且將經編碼視訊資料提供至目的地器件。相似地,諸如光碟衝壓設施之媒體生產設施之計算器件可自源器件接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,在各種實例中,電腦可讀媒體可被理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊,該語法資訊亦由視訊解碼器使用,該語法資訊包括描述區塊及其他經寫碼單元——例如,圖像群組(GOP)——之特性及/或處理的語法元素。顯示器件將經解碼視訊資料顯示給使用者,且可包含多種顯示器件中之任一者,諸如陰極射線管(cathode ray tube;CRT)、液晶顯示器(liquid crystal display;LCD)、電漿顯示器、有機發光二極體(organic light emitting diode;OLED)顯示器,或另一類型之顯示器件。已描述本發明之各種實施例。
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
57‧‧‧後處理器件
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧圖像記憶體
79‧‧‧網路實體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧圖像記憶體
100‧‧‧系統
102‧‧‧視訊源
104‧‧‧編碼器件
106‧‧‧編碼器引擎
108‧‧‧儲存體
110‧‧‧輸出
112‧‧‧解碼器件
114‧‧‧輸入
116‧‧‧解碼器引擎
118‧‧‧儲存體
120‧‧‧通信鏈路
122‧‧‧視訊目的地器件
200‧‧‧國際標準組織(ISO)基本媒體檔案
210‧‧‧檔案類型方框
220‧‧‧電影方框
222‧‧‧電影標頭方框
224‧‧‧播放軌方框
224a‧‧‧播放軌標頭方框
224b‧‧‧媒體方框
230a‧‧‧片段
230b‧‧‧片段
230c‧‧‧片段
230n‧‧‧片段
232‧‧‧電影片段方框
234‧‧‧電影片段標頭方框
236‧‧‧播放軌片段方框
238‧‧‧媒體資料方框
300‧‧‧國際標準組織(ISO)基本媒體檔案
310‧‧‧檔案類型方框
320‧‧‧電影方框
330a‧‧‧片段
330b‧‧‧片段
330c‧‧‧片段
330n‧‧‧片段
360‧‧‧新方框類型
400‧‧‧國際標準組織(ISO)基本媒體檔案
410‧‧‧檔案類型方框
420‧‧‧電影方框
422‧‧‧電影標頭方框
424‧‧‧播放軌方框
430a‧‧‧片段
430b‧‧‧片段
430c‧‧‧片段
430n‧‧‧片段
500‧‧‧國際標準組織(ISO)基本媒體檔案
510‧‧‧檔案類型方框
520‧‧‧電影方框
522‧‧‧電影標頭方框
524‧‧‧播放軌方框
524a‧‧‧播放軌標頭方框
524b‧‧‧媒體資料方框
530a‧‧‧片段
530b‧‧‧片段
530c‧‧‧片段
530n‧‧‧片段
600‧‧‧國際標準組織(ISO)基本媒體檔案
610‧‧‧檔案類型方框
620‧‧‧電影方框
622‧‧‧電影標頭方框
624‧‧‧播放軌方框
624a‧‧‧播放軌標頭方框
624b‧‧‧媒體資料方框
624c‧‧‧處理常式方框
630a‧‧‧片段
630b‧‧‧片段
630c‧‧‧片段
630n‧‧‧片段
700‧‧‧國際標準組織(ISO)基本媒體檔案
710‧‧‧檔案類型方框
720‧‧‧電影方框
722‧‧‧電影標頭方框
724‧‧‧播放軌方框
724a‧‧‧播放軌標頭方框
724b‧‧‧媒體資料方框
724d‧‧‧處理常式方框
730a‧‧‧片段
730b‧‧‧片段
730c‧‧‧片段
730n‧‧‧片段
840‧‧‧媒體方框
842‧‧‧媒體資訊方框
844‧‧‧樣本表邏輯方框
846‧‧‧樣本描述方框
848a‧‧‧樣本項目方框
848b‧‧‧樣本項目方框
848c‧‧‧樣本項目方框
860‧‧‧受限定方案資訊方框
862‧‧‧方案類型方框
864‧‧‧方案資訊方框
900‧‧‧處理程序
902‧‧‧步驟
904‧‧‧步驟
906‧‧‧步驟
1000‧‧‧處理程序
1002‧‧‧步驟
1004‧‧‧步驟
1006‧‧‧步驟
1100‧‧‧處理程序
1102‧‧‧步驟
1104‧‧‧步驟
1106‧‧‧步驟
1204‧‧‧編碼器件
1312‧‧‧解碼器件
下文參考以下圖式來詳細地描述本發明之說明性實施例: 圖1為繪示包括編碼器件及解碼器件之系統之實例的方塊圖。 圖2繪示含有根據ISOBMFF而格式化之用於視訊呈現之資料及後設資料的ISO基本媒體檔案之實例。 圖3A及圖3B繪示ISO基本媒體檔案中之頂部層級方框用以指示檔案包括虛擬實境內容的實例。 圖4繪示電影層級指示用於ISO基本媒體檔案400中以指示檔案包括虛擬實境內容的實例。 圖5繪示播放軌層級指示符用於ISO基本媒體檔案中以指示檔案包括虛擬實境內容的實例。 圖6繪示處理常式方框用以傳信播放軌之內容包括虛擬實境視訊的ISO基本媒體檔案之一項實例。 圖7繪示新處理常式方框已被定義以指示播放軌包括虛擬實境內容的ISO基本媒體檔案之實例。 圖8繪示可包括於ISO基本媒體檔案中之媒體方框之實例。 圖9繪示用於產生含有虛擬實境內容之檔案之處理程序之實例。 圖10繪示用於自檔案提取虛擬實境內容之處理程序之實例。 圖11繪示用於解碼及顯現虛擬實境環境之處理程序之實例。 圖12為繪示可實施本發明中所描述之技術中之一或多者之實例編碼器件的方塊圖。 圖13為繪示實例解碼器件之方塊圖。

Claims (30)

  1. 一種解碼及顯示虛擬實境資料之方法,其包含: 接收含有虛擬實境資料之一檔案,其中該虛擬實境資料表示一虛擬環境之一360度視圖; 自該檔案提取該虛擬實境資料,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內; 自該播放軌方框提取一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌;及 解碼及顯現該虛擬實境資料以供顯示給一使用者。
  2. 如請求項1之方法,其中關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。
  3. 如請求項1之方法,其中關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。
  4. 如請求項1之方法,其中該檢視最多檢視區與該虛擬實境資料至該使用者之一呈現時間相關聯。
  5. 如請求項4之方法,其中與該虛擬實境資料相關聯之該檢視最多檢視區係選自由以下各者組成之群組: 基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區; 用於顯示該虛擬實境資料之一推薦檢視區; 缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區; 該虛擬實境資料之一導演界定檢視區;及 該虛擬實境資料之一製作人界定檢視區。
  6. 如請求項1之方法,其中自該等檔案提取該虛擬實境資料包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。
  7. 如請求項1之方法,其中係使用關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊來顯現及顯示該虛擬實境資料。
  8. 如請求項1之方法,其中該檔案格式係基於一國際標準組織(ISO)基本媒體檔案格式。
  9. 一種用於解碼及顯示虛擬實境資料之裝置,其包含: 一接收器,其經組態以接收含有虛擬實境資料之一檔案,其中該虛擬實境資料表示一虛擬環境之一360度視圖;及 一處理器,其經組態以進行以下操作: 自該檔案提取該虛擬實境資料,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內; 自該播放軌方框提取一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌;及 解碼及顯現該虛擬實境資料以供顯示給一使用者。
  10. 如請求項9之裝置,其中關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。
  11. 如請求項9之裝置,其中關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。
  12. 如請求項9之裝置,其中該檢視最多檢視區與該虛擬實境資料至該使用者之一呈現時間相關聯。
  13. 如請求項12之裝置,其中與該虛擬實境資料相關聯之該檢視最多檢視區係選自由以下各者組成之群組: 基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區; 用於顯示該虛擬實境資料之一推薦檢視區; 缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區; 該虛擬實境資料之一導演界定檢視區;及 該虛擬實境資料之一製作人界定檢視區。
  14. 如請求項9之裝置,其中自該等檔案提取該虛擬實境資料包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。
  15. 如請求項9之裝置,其中係使用關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊來顯現及顯示該虛擬實境資料。
  16. 如請求項9之裝置,其中該檔案格式係基於一國際標準組織(ISO)基本媒體檔案格式。
  17. 一種儲存虛擬實境資料之方法,其包含: 獲得虛擬實境資料,其中該虛擬實境資料表示一虛擬環境之一360度視圖; 將該虛擬實境資料儲存至一檔案中,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;及 自該播放軌方框儲存一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌。
  18. 如請求項17之方法,其中關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。
  19. 如請求項17之方法,其中關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。
  20. 如請求項17之方法,其中該檢視最多檢視區與該虛擬實境資料至一使用者之一呈現時間相關聯。
  21. 如請求項20之方法,其中與該虛擬實境資料相關聯之該檢視最多檢視區係選自由以下各者組成之群組: 基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區; 用於顯示該虛擬實境資料之一推薦檢視區; 缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區; 該虛擬實境資料之一導演界定檢視區;及 該虛擬實境資料之一製作人界定檢視區。
  22. 如請求項17之方法,其中自該等檔案提取該虛擬實境資料包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。
  23. 如請求項17之方法,其中該檔案格式係基於一國際標準組織(ISO)基本媒體檔案格式。
  24. 一種用於儲存虛擬實境資料之裝置,其包含: 一接收器,其經組態以獲得虛擬實境資料,其中該虛擬實境資料表示一虛擬環境之一360度視圖;及 一處理器,其經組態以進行以下操作: 將該虛擬實境資料儲存至一檔案中,其中該虛擬實境資料根據一檔案格式儲存於該檔案中,其中該檔案格式指定該虛擬實境資料在該檔案內之置放且指定與該虛擬實境資料相關聯之資訊在該檔案內之置放,其中與該虛擬實境資料相關聯之該資訊儲存於一播放軌方框內;及 自該播放軌方框儲存一樣本項目,其中該樣本項目與一或多個樣本相關聯,其中該樣本項目指示播放軌為含有關於與該虛擬實境資料相關聯之一檢視最多檢視區之資訊的一時控後設資料播放軌。
  25. 如請求項24之裝置,其中關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊包含識別一形狀類型之資料及識別由四個大圓指定之一球面區檢視區之資料。
  26. 如請求項24之裝置,其中關於與該虛擬實境資料相關聯之該檢視最多檢視區之該資訊包含識別一形狀類型之資料及識別由兩個偏航圓及兩個俯仰圓指定之一球面矩形檢視區之資料。
  27. 如請求項24之裝置,其中該檢視最多檢視區與該虛擬實境資料至一使用者之一呈現時間相關聯。
  28. 如請求項27之裝置,其中與該虛擬實境資料相關聯之該檢視最多檢視區係選自由以下各者組成之群組: 基於在該呈現時間的該虛擬實境資料之檢視統計之量測由一組請求最多圖像區完全地覆蓋之一檢視區; 用於顯示該虛擬實境資料之一推薦檢視區; 缺乏對該虛擬實境資料之一檢視定向之使用者控制的一預設檢視區; 該虛擬實境資料之一導演界定檢視區;及 該虛擬實境資料之一製作人界定檢視區。
  29. 如請求項24之裝置,其中自該等檔案提取該虛擬實境資料包含自該檔案之一或多個媒體播放軌提取該虛擬實境資料。
  30. 如請求項24之裝置,其中該檔案格式係基於一國際標準組織(ISO)基本媒體檔案格式。
TW107109905A 2017-03-23 2018-03-22 全向式視覺媒體中之感興趣區之進階傳信 TW201840201A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762475714P 2017-03-23 2017-03-23
US62/475,714 2017-03-23
US15/927,799 2018-03-21
US15/927,799 US11532128B2 (en) 2017-03-23 2018-03-21 Advanced signaling of regions of interest in omnidirectional visual media

Publications (1)

Publication Number Publication Date
TW201840201A true TW201840201A (zh) 2018-11-01

Family

ID=63581186

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109905A TW201840201A (zh) 2017-03-23 2018-03-22 全向式視覺媒體中之感興趣區之進階傳信

Country Status (9)

Country Link
US (1) US11532128B2 (zh)
EP (1) EP3602261B1 (zh)
KR (1) KR102646968B1 (zh)
CN (1) CN110431522B (zh)
AU (1) AU2018237595A1 (zh)
BR (1) BR112019019287A2 (zh)
SG (1) SG11201907476XA (zh)
TW (1) TW201840201A (zh)
WO (1) WO2018175903A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI785458B (zh) * 2020-01-08 2022-12-01 新加坡商聯發科技(新加坡)私人有限公司 用於編碼/解碼沉浸式媒體的視訊資料的方法和裝置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US20190373245A1 (en) * 2017-03-29 2019-12-05 Lg Electronics Inc. 360 video transmission method, 360 video reception method, 360 video transmission device, and 360 video reception device
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
CN111837397B (zh) * 2018-04-03 2023-09-22 华为技术有限公司 基于子图像码流的视角相关视频编码中的错误消除的码流指示
WO2020065129A1 (en) * 2018-09-28 2020-04-02 Nokia Technologies Oy Method and apparatus for enabling multiple timeline support for omnidirectional content playback
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US11729243B2 (en) * 2019-09-20 2023-08-15 Intel Corporation Dash-based streaming of point cloud content based on recommended viewports
WO2021242036A1 (ko) * 2020-05-28 2021-12-02 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4327560A1 (en) * 2021-04-20 2024-02-28 QUALCOMM Incorporated Anchoring a scene description to a user environment for streaming immersive media content
GB2631724B (en) * 2023-07-10 2025-10-01 Canon Kk Method, device, and computer program for improving signaling of multiple transformations applying to encapsulated media data

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887548B1 (ko) 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9621919B2 (en) 2013-10-23 2017-04-11 Qualcomm Incorporated Multi-layer video file format designs
KR20150068299A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
US20150237351A1 (en) 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
US9838697B2 (en) 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
US20160373771A1 (en) 2015-06-18 2016-12-22 Qualcomm Incorporated Design of tracks and operation point signaling in layered hevc file format
US10771843B2 (en) * 2015-12-15 2020-09-08 Telefonaktiebolaget Lm Ericsson (Publ) Media distribution with sample variants for normalized encryption
CN105898254B (zh) 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
GB202108749D0 (en) 2016-05-23 2021-08-04 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content
CN109155861B (zh) * 2016-05-24 2021-05-25 诺基亚技术有限公司 用于编码媒体内容的方法和装置以及计算机可读存储介质
KR102358757B1 (ko) * 2016-08-25 2022-02-07 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
KR102264028B1 (ko) 2016-08-25 2021-06-11 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
CN112738530B (zh) * 2016-11-17 2024-02-23 英特尔公司 全景视频的建议视口指示
US20180176468A1 (en) * 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
WO2018120474A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种信息的处理方法及装置
CN109074678B (zh) 2016-12-30 2021-02-05 华为技术有限公司 一种信息的处理方法及装置
US10742999B2 (en) 2017-01-06 2020-08-11 Mediatek Inc. Methods and apparatus for signaling viewports and regions of interest
WO2018128071A1 (en) * 2017-01-08 2018-07-12 Sharp Kabushiki Kaisha Systems and methods for signaling of tiles in most-interested regions for virtual reality applications
WO2019229304A2 (en) * 2018-06-01 2019-12-05 Nokia Technologies Oy Method and apparatus for signaling user interactions on overlay and grouping overlays to background for omnidirectional content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI785458B (zh) * 2020-01-08 2022-12-01 新加坡商聯發科技(新加坡)私人有限公司 用於編碼/解碼沉浸式媒體的視訊資料的方法和裝置

Also Published As

Publication number Publication date
WO2018175903A1 (en) 2018-09-27
KR102646968B1 (ko) 2024-03-12
US20180276890A1 (en) 2018-09-27
BR112019019287A2 (pt) 2020-04-14
US11532128B2 (en) 2022-12-20
KR20190131062A (ko) 2019-11-25
SG11201907476XA (en) 2019-10-30
CN110431522A (zh) 2019-11-08
CN110431522B (zh) 2022-11-18
EP3602261C0 (en) 2023-09-06
EP3602261A1 (en) 2020-02-05
EP3602261B1 (en) 2023-09-06
AU2018237595A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
TWI712309B (zh) 容器檔案及視訊位元串流中關注區域之增強信令傳輸
EP3602261B1 (en) Advanced signalling of regions of interest in omnidirectional visual media
EP3417634B1 (en) Storage of virtual reality video in media files
CN110431849B (zh) 包含用于视频译码的子图片位流的视频内容的信令传输
TWI712313B (zh) 感興趣區之發信號之系統及方法
KR102503598B1 (ko) 가상 현실에서의 원형 어안 비디오
HK40009982A (zh) 全向视觉媒体中的感兴趣区的高级信号发送
HK40009761A (zh) 包含用於视频译码的子图片位流的视频内容的信令传输