TW201904297A

TW201904297A - 概述視頻補充資訊之信令傳輸

Info

Publication number: TW201904297A
Application number: TW107109723A
Authority: TW
Inventors: 益魁王; 湯瑪士史塔克漢莫
Original assignee: 美商高通公司
Priority date: 2017-03-21
Filing date: 2018-03-21
Publication date: 2019-01-16
Also published as: AU2018237153B2; US20180278964A1; KR102613593B1; AU2018237153A1; CN110419223A; CN110419223B; EP3603075A1; KR20190122867A; US10701400B2; JP2020511861A; BR112019019250A2; WO2018175609A1

Abstract

在各項實施方案中，提供針對區分「必需的」資訊與「非必需的」資訊之SEI訊息的技術以及實施此等技術之系統。在各項實施方案中，一編碼器可經組態以判定與視頻資料相關聯之資訊係必需的抑或不係必需的。在各項實施方案中，可定義不同類型之SEI訊息，其中此等類型之SEI訊息中之一或多者可指示與一特定視頻相關聯之資訊係必需的抑或不係必需的。必需的資訊需要用於呈現該視頻資料，且不需要用於解碼該視頻資料。

Description

概述視頻補充資訊之信令傳輸

本申請案大體上係關於視頻寫碼。舉例而言，描述用於補充增強資訊之編碼及解碼之系統及方法。

視頻寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264或ISO/IEC MPEG-4 AVC，包括其可調式視頻寫碼(SVC)及多視圖視頻寫碼(MVC)延伸，及高效率視頻寫碼(HEVC)，亦被稱為ITU-T H.265及ISO/IEC 23008-2，包括其可調式寫碼延伸(亦即，可調式高效率視頻寫碼，SHVC)及多視圖延伸(亦即，多視圖高效率視頻寫碼，MV-HEVC)。

在各項實施方案中，提供用於在SEI訊息中信令傳輸必需的資訊之技術。當一編碼器判定資訊需要用於顯示視頻資料時，該資訊係必需的。該資訊不需要用於解碼該視頻資料。可在SEI訊息中提供與顯示或呈現視頻資料相關之資訊，然而，該等SEI訊息可能不能夠指示每一訊息中攜載之資料對於該視頻資料之呈現係必需的抑或不係必需的。另外，使用SEI訊息之寫碼標準可能不會提供一種用於使解碼器件快速地識別及定位包括必需的資訊之SEI訊息的方式。在各項實施方案中，提供可指示必需的資訊與一經編碼視頻位元串流一起被包括之SEI訊息。此等SEI訊息使一解碼器件能夠判定必需的資訊被提供，且定位該必需的資訊。根據至少一項實例，提供一種編碼視頻資料之方法，其包括接收視頻資料。該方法進一步包括由一編碼器件判定是否需要與該視頻資料相關聯之資訊來呈現該視頻資料，其中該資訊不需要用於解碼該視頻資料。該方法進一步包括產生一補充增強資訊(SEI)訊息，其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位。該方法進一步包括編碼該視頻資料。該方法進一步包括將該SEI訊息與該經編碼視頻資料一起包括。在另一實例中，提供一種編碼，其包括：一記憶體，其經組態以儲存視頻資料；及一處理器。該處理器經組態以且可判定是否需要與該視頻資料相關聯之資訊來呈現該視頻資料，其中該資訊不需要用於解碼該視頻資料。該處理器經組態以且可產生一補充增強資訊(SEI)訊息，其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位。該處理器經組態以且可編碼該視頻資料。該處理器經組態以且可將該SEI訊息與該經編碼視頻資料一起包括。在另一實例中，提供一種非暫時性電腦可讀媒體，其包含在由一或多個處理器執行時致使該一或多個處理器接收視頻資料的指令。該等指令進一步致使該一或多個處理器判定是否需要與該視頻資料相關聯之資訊來呈現該視頻資料，其中該資訊不需要用於解碼該視頻資料。該等指令進一步致使該一或多個處理器產生一補充增強資訊(SEI)訊息，其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位。該等指令進一步致使該一或多個處理器編碼該視頻資料。該等指令進一步致使該一或多個處理器將該SEI訊息與該經編碼視頻資料一起包括。在另一實例中，提供一種裝置，其包括用於接收視頻資料的構件。該裝置進一步包含用於判定是否需要與該視頻資料相關聯之資訊來呈現該視頻資料的構件，其中該資訊不需要用於解碼該視頻資料。該裝置進一步包含用於產生一補充增強資訊(SEI)訊息的構件，其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位。該裝置進一步包含用於編碼該視頻資料的構件。該裝置進一步包含用於將該SEI訊息與該經編碼視頻資料一起包括的構件。在一些態樣中，該編碼器件經組態有可由該編碼器件使用以判定是否需要該資訊來呈現該視頻資料之一或多個參數。在一些態樣中，該編碼器件判定需要該資訊來呈現該視頻資料。在一些態樣中，該編碼器件判定不需要該資訊來呈現該視頻資料。在一些態樣中，該SEI訊息之一語法元素指示該SEI訊息之一類型。在一些態樣中，該資訊與該經編碼視頻資料一起被包括。在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含將該經編碼視頻資料及該SEI訊息寫入至一檔案，其中根據一檔案格式將該經編碼視頻資料及該SEI訊息寫入至該檔案。該等態樣進一步包含使用該檔案格式以將該SEI訊息置放於該檔案中的可在讀取該經編碼視頻資料之前讀取該SEI之處。在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含囊封該經編碼視頻資料以供串流，其中根據一串流格式囊封該經編碼視頻資料。此等態樣進一步包含根據該串流格式產生經編碼視頻資料之一描述，其中該描述包括該SEI訊息。在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含囊封該經編碼視頻資料以供經由一網路而傳輸，其中根據一容器格式囊封該經編碼視頻資料。此等態樣進一步包含根據該容器格式產生一第一封包，其中該第一封包之一酬載部分包括該SEI訊息作為一描述符。此等態樣進一步包含產生包括該經編碼視頻資料之一或多個封包，其中該一或多個封包按傳輸次序在該第一封包之後。在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含囊封該經編碼視頻資料以供經由一網路而傳輸，其中根據一即時傳送協定囊封該經編碼視頻資料。此等態樣進一步包含根據一作業階段描述協定產生一作業階段描述，其中該作業階段描述包括該SEI訊息。根據至少一項實例，提供一種解碼視頻資料之方法，其包括在一解碼器件處接收一經編碼視頻位元串流、一補充增強資訊(SEI)訊息及與該經編碼視頻位元串流相關聯之資訊。該方法進一步包括使用該SEI訊息判定是否需要該資訊來呈現該經編碼視頻位元串流中之視頻資料，其中該資訊不需要用於解碼該視頻資料，且其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位。該方法進一步包括解碼該經編碼視頻位元串流以產生視頻資料，其中根據判定是否需要該資訊來呈現該視頻資料之一結果解碼該經編碼視頻位元串流。在另一實例中，提供一種裝置，其包括：一記憶體，其經組態以儲存經編碼視頻資料、一補充增強資訊(SEI)訊息及與該經編碼視頻位元串流相關聯之資訊；及一處理器。該處理器經組態以且可使用該SEI訊息判定是否需要該資訊來呈現該經編碼視頻位元串流中之視頻資料，其中該資訊不需要用於解碼該視頻資料，且其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位。該處理器經組態以且可解碼該經編碼視頻位元串流以產生視頻資料，其中根據判定是否需要該資訊來呈現該視頻資料之一結果解碼該經編碼視頻位元串流。在另一實例中，提供一種非暫時性電腦可讀媒體，其包含在由一或多個處理器執行時致使該一或多個處理器接收一經編碼視頻位元串流、一補充增強資訊(SEI)訊息及與該經編碼視頻位元串流相關聯之資訊的指令。該等指令進一步致使該一或多個處理器使用該SEI訊息判定是否需要該資訊來呈現該經編碼視頻位元串流中之視頻資料，其中該資訊不需要用於解碼該視頻資料，且其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位。該等指令進一步致使該一或多個處理器解碼該經編碼視頻位元串流以產生視頻資料，其中根據判定是否需要該資訊來呈現該視頻資料之一結果解碼該經編碼視頻位元串流。在另一實例中，提供一種裝置，其包括用於接收一經編碼視頻位元串流、一補充增強資訊(SEI)訊息及與該經編碼視頻位元串流相關聯之資訊的構件。該裝置進一步包含用於使用該SEI訊息判定是否需要該資訊來呈現該經編碼視頻位元串流中之視頻資料的構件，其中該資訊不需要用於解碼該視頻資料，且其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位。該裝置進一步包含用於解碼該經編碼視頻位元串流以產生視頻資料的構件，其中根據判定是否需要該資訊來呈現該視頻資料之一結果解碼該經編碼視頻位元串流。在一些態樣中，該解碼器件判定需要該資訊來呈現該視頻資料，且其中該解碼器件根據該資訊組態該視頻資料。在一些態樣中，該解碼器件判定不需要該資訊來呈現該視頻資料，且其中該解碼器件在不使用該資訊之情況下解碼該經編碼視頻資料。在一些態樣中，該SEI訊息之一語法元素指示該SEI訊息之一類型。在一些態樣中，在一檔案中接收該經編碼視頻位元串流、該SEI訊息及與該經編碼視頻位元串流相關聯之該資訊，其中根據一檔案格式來格式化該檔案，且其中，根據該檔案格式，該SEI訊息在由該解碼器件讀取的該檔案之一部分中，該部分在包括該經編碼視頻位元串流的該檔案之一部分之前。在一些態樣中，在一資料串流中接收該經編碼視頻位元串流、該SEI訊息及與該經編碼視頻位元串流相關聯之該資訊，其中根據一串流格式來格式化該資料串流。此等態樣進一步包括自該資料串流讀取該經編碼視頻資料之一描述，其中該描述包括該SEI訊息。在一些態樣中，在複數個網路封包中接收該經編碼視頻位元串流、該SEI訊息及與該經編碼視頻位元串流相關聯之該資訊。此等態樣進一步包括自來自該複數個網路封包之一第一封包之一酬載部分讀取該SEI訊息。此等態樣進一步包括自來自該複數個網路封包之一或多個封包讀取該經編碼視頻資料，其中該一或多個封包按傳輸次序在該第一封包之後。在一些態樣中，經由一網路接收該經編碼視頻位元串流、該SEI訊息及與該經編碼視頻位元串流相關聯之該資訊，其中根據一即時傳送協定囊封該經編碼視頻位元串流，其中該SEI訊息包括於一作業階段描述中，其中根據一作業階段描述協定格式化該作業階段描述。

相關申請案之交叉參考 本申請案主張2017年3月21日申請之美國臨時申請案第62/474,540號之優先權，該美國臨時申請案之全文以引用之方式併入本文中。下文提供本發明之某些態樣及實例。此等態樣及實例中之一些可被獨立地應用且此等態樣及實例中之一些可被組合地應用，此對於熟習此項技術者而言將顯而易見。在以下描述中，出於闡釋之目的，按次序闡述特定細節以便提供對各項可能實施方案之透徹理解。然而，將顯而易見，可在無此等特定細節之情況下實踐各項實例。圖及描述並不意欲係限定性的。隨後的描述僅提供實例實施方案，且並不意欲限制本發明之範疇、適用性或組態。更確切地，實例實施方案之隨後的描述將向熟習此項技術者提供用於實施實例之令人能夠實現的描述。應理解，在不脫離如所附申請專利範圍中所闡述之本申請案之精神及範疇的情況下，可對元件之功能及配置作出各種改變。在以下描述中給出特定細節以提供對實例之透徹理解。然而，一般技術者應理解，可在無此等特定細節之情況下實踐實例。舉例而言，可以方塊圖形式將電路、系統、網路、處理程序及其他組件展示為組件，以免以不必要的細節混淆實例。在其他情況下，可在無不必要的細節之情況下展示熟知的電路、處理程序、演算法、結構及技術，以便避免混淆實例。又，應注意，可將個別實例描述為被描繪為流程圖、流圖、資料流圖、結構圖或方塊圖之處理程序。儘管流程圖可將操作描述為循序處理程序，但許多操作可並行地或同時地執行。另外，可重新配置操作之次序。處理程序在其操作完成時終止，但可具有未包括於圖中之額外步驟。處理程序可對應於方法、函式、程序、次常式、子程式等等。當處理程序對應於函式時，其終止可對應於函式返回至呼叫函式或主函式。術語「電腦可讀媒體」包括但不限於攜帶型或非攜帶型儲存器件、光學儲存器件，及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀媒體可包括非暫時性媒體，非暫時性媒體中可儲存資料，且非暫時性媒體不包括載波及/或以無線方式或經由有線連接而傳播之暫時性電子信號。非暫時性媒體之實例可包括但不限於磁碟或磁帶、諸如緊密光碟(CD)或數位多功能光碟(DVD)之光學儲存媒體、快閃記憶體、記憶體或記憶體器件。電腦可讀媒體可在其上儲存有程式碼及/或機器可執行指令，程式碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模組、套裝軟體、類別，或指令、資料結構或程式陳述式之任何組合。一程式碼區段可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容而耦接至另一程式碼區段或一硬體電路。資訊、引數、參數、資料等等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何合適方式而傳遞、轉發或傳輸。此外，本文中所論述之實例可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合實施。當以軟體、韌體、中間軟體或微碼予以實施時，用以執行必要的任務之程式碼或程式碼區段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要的任務。隨著更多的器件及系統向取用者提供取用數位視頻資料之能力，針對高效視頻寫碼技術之需要變得愈來愈重要。需要視頻寫碼來縮減為處置存在於數位視頻資料中之大量資料所必要的儲存及傳輸要求。各種視頻寫碼技術可用以將視頻資料壓縮成使用較低位元速率同時維持高視頻品質之形式。如本文中所使用，「寫碼」係指「編碼」及「解碼」。經編碼位元串流中之補充增強資訊(SEI)訊息可用以輔助經編碼位元串流之解碼及/或顯示，或用於另一目的。SEI訊息係「補充」，此在於SEI訊息中之資料在解碼處理程序期間不需要用於建構明度或色度樣本。另外，不需要符合支援SEI訊息之視頻寫碼標準的解碼器來處理SEI訊息以便為符合的。對於一些寫碼標準，可能需要一些SEI訊息資訊來檢查位元串流符合性，或用於輸出時序解碼器符合性。 SEI訊息可用以提供關於經編碼位元串流之額外資訊，該額外資訊可用以一旦解碼該位元串流就改變該位元串流之呈現，或用以將資訊提供至解碼器。舉例而言，SEI訊息已用以提供圖框封裝資訊(例如，描述視頻資料配置於視頻圖框中的方式)、內容描述(例如，用以指示經編碼位元串流為例如360度視頻)，及色彩資訊(例如，色域及/或色彩範圍)，以及其他者。儘管視頻寫碼標準規定SEI訊息不需要用於解碼經編碼位元串流，但在一些狀況下，SEI訊息中攜載之資訊對於解碼處理可能係必需的。舉例而言，SEI訊息可用以描述位元串流中編碼之視頻資料之格式，在沒有該格式之情況下，解碼器可能不能夠按照預期而呈現視頻。舉例而言，SEI訊息可用以向解碼器信令傳輸經編碼位元串流包括360度視頻。在此實例中，解碼器可使用此資訊以顯現視頻資料以供360度呈現。替代地，若解碼器不能夠顯現360度視頻，則解碼器可使用此資訊以不顯現視頻資料，而非嘗試顯現視頻資料且呈現嚴重失真之視頻序列。作為另一實例，內容產生器可能已指定經編碼視頻資料運用特定色域予以顯現。在此實例中，在SEI訊息中無資料之情況下，解碼器可運用不同色域顯現視頻，且因此以除了預期方式以外之方式呈現視頻資料。在各項實施方案中，提供針對區分「必需的」資訊與「非必需的」資訊之SEI訊息的技術以及實施此等技術之系統。在各項實施方案中，一編碼器可經組態以判定與視頻資料相關聯之資訊係必需的抑或不係必需的。舉例而言，該編碼器可經組態有識別必需的資訊之參數。對於一特定視頻，該等參數可指示諸如圖框封裝配置或色量之資訊或其他資訊對於該特定視頻係必需的。在各項實施方案中，可定義不同類型之SEI訊息，其中此等類型之SEI訊息中之一或多者可指示與一特定視頻相關聯之資訊對於呈現(例如，如由編碼器件所預期之呈現)視頻資料係必需的抑或不係必需的，例如，如由編碼器件所判定。如本文中所提供，術語「必需的」及「非必需的」用以區分已被認為(例如，由編碼器件及/或內容提供者/產生器)需要用於以特定方式呈現視頻(例如，預期呈現或顯現)之資訊與不需要用於以特定方式呈現視頻之資訊。可由內容產生器定義(例如，判定或設定)資訊係必需的抑或非必需的。舉例而言，對於一些視頻資料，圖框封裝資訊或色彩轉換資訊可被內容產生器認為係必需的，而層資訊可能係非必需的。作為另一實例，對於一些視頻資料，濾波資訊可能係必需的，而時序資訊係非必需的。必需的資訊及非必需的資訊兩者不需要用於自位元串流解碼視頻。在一項實例中，提供資訊清單SEI訊息及首碼SEI訊息。在此實例中，資訊清單SEI訊息包括存在或不存在於位元串流中之SEI訊息類型之清單，及位元串流中之SEI訊息中之任一者是否包括必需的資訊。又在此實例中，首碼SEI訊息可包括首碼指示，其可指示首碼SEI訊息中攜載之酬載之類型。酬載可包括可能或可能不係必需的資訊。在另一實例中，針對必需的資訊定義被稱作必需的補充資訊(ESI) SEI訊息之SEI訊息，且針對非必需的資訊定義被稱作非必需的補充資訊(NSI) SEI訊息之SEI訊息。在使用ESI SEI及NSI SEI之情況下，視頻寫碼標準可支援兩種不同種類之SEI訊息，其可由支援此等SEI訊息類型之解碼器設定優先權。在各種實例視頻寫碼標準中，SEI訊息可置放於經編碼位元串流之某些部分中，但無需置放於任何特定點處。舉例而言，SEI訊息不需要早先置放於經編碼位元串流中。在此等實例中，在解碼器開始在經編碼位元串流中顯現視頻資料之前，包括必需的資訊之SEI訊息可能不會被解碼器看見。在各項實施方案中，提供用於使用囊封格式使得SEI訊息可由解碼器早先看見的技術及實施此等技術之系統。囊封格式包括例如標準化組織(ISO)基本媒體檔案格式(ISOBMFF)、作業階段描述協定(SDP)、超文字傳送協定動態調適性串流(DASH)，及動畫專業團體輸送串流(MPEG-TS)，以及其他者。在各項實施方案中，由此等囊封格式定義之格式可用以將SEI訊息置放於解碼器可早先在解碼讀取視頻資料之處理程序中找到SEI訊息之處。因此，支援用於必需的資訊之SEI訊息的解碼器可在開始圖像之解碼之前獲得由此等訊息提供之資訊。可指示必需的或非必需的資訊之SEI訊息之使用者可改良解碼器之操作。舉例而言，在沒有可對必需的資訊加旗標之SEI訊息的情況下，一些解碼器可嘗試解碼及顯現位元串流，而不首先判定系統是否能夠顯示視頻。在此實例中，結果可為，視頻在顯示時嚴重失真，或在其他方面不以由內容產生器預期之方式呈現。在一些實例中，在已開始解碼視頻之後，解碼器可例如在包括於位元串流中之SEI訊息中遇到必需的資訊。在此等實例中，一些解碼器可能能夠校正輸出，且按照預期而開始顯示視頻。然而，一些解碼器可自SEI訊息判定系統並不支援視頻，且不能夠顯示視頻。在此等狀況下，系統可能必須決定是否停止解碼及顯現視頻，或尋找系統能夠顯示的視頻之版本。若系統可找到系統能夠顯示的視頻之版本，則系統可能進一步必須決定是否開始自最初起解碼視頻，或進行搜尋操作以在觀看者所看的最後時間點附近開始。在任一狀況下，解碼器耗費處理時間以重新開始。另外，浪費了解碼可能未適當顯示之視頻所花費的處理時間。一種針對獲得必需的資訊之問題的解決方案係使解碼器搜尋經編碼位元串流以得到必需的資訊。然而，此解決方案可能需要大量記憶體以使解碼器緩衝經編碼位元串流，且可能會在系統可開始播放視頻之前造成顯著延遲。在以上實例中之每一者中，藉由以使解碼器能夠快速地識別及找到必需的資訊之方式提供必需的資訊，解碼器可避免必須搜尋必需的資訊，可避免解碼系統不能夠顯示之位元串流，且可避免系統以除了預期方式以外之方式顯示經解碼位元串流。解碼器可進一步可能更高效地操作，其中會浪費較少的處理時間。圖1為繪示視頻寫碼系統100之實例的方塊圖，視頻寫碼系統100包括編碼器件104及解碼器件112。在一些實例中，視頻寫碼系統100之編碼器件100可產生ESI SEI訊息及/或NSI SEI訊息，且解碼器件112可解碼ESI SEI訊息及/或NSI SEI訊息，且使用包括於此等訊息中之資訊。編碼器件104可為源器件之部分，且解碼器件112可為接收器件之部分。源器件及/或接收器件可包括電子器件，諸如行動或靜止電話手機(例如，智慧型電話、蜂巢式電話或其類似者)、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、攝影機、顯示器件、數位媒體播放器、視頻遊戲主控台、視頻串流器件、網際網路協定(IP)攝影機，或任何其他合適電子器件。在一些實例中，源器件及接收器件可包括用於無線通信之一或多個無線收發器。本文中所描述之寫碼技術適用於各種多媒體應用中之視頻寫碼，包括串流視頻傳輸(例如，經由網際網路)、電視廣播或傳輸、編碼數位視頻以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視頻，或其他應用。在一些實例中，系統100可支援單向或雙向視頻傳輸以支援諸如視頻會議、視頻串流、視頻播放、視頻廣播、遊戲及/或視頻電話之應用。編碼器件104 (或編碼器)可用以使用視頻寫碼標準或協定編碼視頻資料以產生經編碼視頻位元串流。視頻寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264 (亦被稱為ISO/IEC MPEG-4 AVC)，包括其可調式視頻寫碼(SVC)及多視圖視頻寫碼(MVC)延伸，及高效率視頻寫碼(HEVC)或ITU-T H.265。存在涉及多層視頻寫碼的HEVC之各種延伸，包括範圍及螢幕內容寫碼延伸、3D視頻寫碼(3D-HEVC)，以及多視圖延伸(MV-HEVC)及可調式延伸(SHVC)。HEVC及其延伸已由ITU-T視頻寫碼專業團體(VCEG)及ISO/IEC動畫專業團體(MPEG)之視頻寫碼聯合協作小組(JCT-VC)以及3D視頻寫碼延伸開發聯合協作小組(JCT-3V)開發。MPEG及ITU-T VCEG亦已形成聯合探索視頻小組(JVET)，以探索用於下一代視頻寫碼標準之新寫碼工具。參考軟體被稱為聯合探索模型(JEM)。本文中所描述之許多實例提供使用JEM模型、HEVC標準及/或其延伸之實例。然而，本文中所描述之技術及系統亦可適用於其他寫碼標準，諸如AVC、MPEG、其延伸，或當前存在之其他合適寫碼標準，或未來寫碼標準。因此，雖然可參考特定視頻寫碼標準描述本文中所描述之技術及系統，但一般技術者應瞭解，該描述不應被解譯為僅適用於彼特定標準。參看圖1，視頻源102可將視頻資料提供至編碼器件104。視頻源102可為源器件之部分，或可為除了源器件以外之器件之部分。視頻源102可包括視頻捕捉器件(例如，視頻攝影機、攝影機電話、視頻電話或其類似者)、含有經儲存視頻之視頻檔案庫、提供視頻資料之視頻伺服器或內容提供者、自視頻伺服器或內容提供者接收視頻之視頻饋送介面、用於產生電腦圖形視頻資料之電腦圖形系統、此等源之組合，或任何其他合適視頻源。來自視頻源102之視頻資料可包括一或多個輸入圖像或圖框。視頻之圖像或圖框為場景之靜態影像。編碼器件104之編碼器引擎106 (或編碼器)編碼視頻資料以產生經編碼視頻位元串流。在一些實例中，經編碼視頻位元串流(或「視頻位元串流」或「位元串流」)為一系列一或多個經寫碼視頻序列。經寫碼視頻序列(CVS)包括一系列存取單元(AU)，其始於具有在基礎層中且具有某些性質之隨機存取點圖像的AU，直至且不包括具有在基礎層中且具有某些性質之隨機存取點圖像的下一AU。舉例而言，開始CVS之隨機存取點圖像的某些性質可包括等於1之RASL旗標(例如，NoRaslOutputFlag)。否則，隨機存取點圖像(具有等於0之RASL旗標)並不開始CVS。存取單元(AU)包括一或多個經寫碼圖像以及對應於共用相同輸出時間之經寫碼圖像的控制資訊。圖像之經寫碼截塊在位元串流層級中囊封成被稱為網路抽象層(NAL)單元之資料單元。舉例而言，HEVC視頻位元串流可包括一或多個CVS，該一或多個CVS包括NAL單元。該等NAL單元中之每一者具有一NAL單元標頭。在一項實例中，標頭對於H.264/AVC (惟多層延伸除外)為一位元組且對於HEVC為二位元組。NAL單元標頭中之語法元素採取指定位元，且因此對所有種類之系統及輸送層可見，諸如輸送串流、即時輸送(RTP)協定、檔案格式，以及其他者。兩種類別之NAL單元存在於HEVC標準中，包括視頻寫碼層(VCL) NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個截塊或截塊區段(下文所描述)，且非VCL NAL單元包括關於一或多個經寫碼圖像之控制資訊。在一些狀況下，NAL單元可被稱作封包。HEVC AU包括含有經寫碼圖像資料之VCL NAL單元，及對應於經寫碼圖像資料之非VCL NAL單元(若存在)。 NAL單元可含有形成視頻資料之經寫碼表示(例如，經編碼視頻位元串流、位元串流之CVS，或其類似者)的位元序列，諸如視頻中之圖像之經寫碼表示。編碼器引擎106藉由將每一圖像分割成多個截塊而產生圖像之經寫碼表示。一截塊獨立於其他截塊，使得在不取決於來自同一圖像內之其他截塊之資料的情況下寫碼該截塊中之資訊。一截塊包括一或多個截塊區段，該一或多個截塊區段包括一非相依截塊區段，及(若存在)取決於先前截塊區段之一或多個相依截塊區段。接著將截塊分割成明度樣本及色度樣本之寫碼樹區塊(CTB)。明度樣本之一CTB及色度樣本之一或多個CTB連同該等樣本之語法一起被稱作寫碼樹單元(CTU)。CTU為用於HEVC編碼之基本處理單元。CTU可分裂成不同大小之多個寫碼單元(CU)。CU含有被稱作寫碼區塊(CB)之明度及色度樣本陣列。明度及色度CB可進一步分裂成預測區塊(PB)。PB為針對框間預測或區塊內複製預測(在可用或經啟用以供使用時)使用相同運動參數的明度分量或色度分量之樣本區塊。明度PB及一或多個色度PB連同關聯語法一起形成預測單元(PU)。對於框間預測，運動參數集合(例如，一或多個運動向量、參考索引或其類似者)在位元串流中針對每一PU進行信令傳輸，且用於明度PB及一或多個色度PB之框間預測。運動參數亦可被稱作運動資訊。CB亦可分割成一或多個變換區塊(TB)。TB表示色彩分量之樣本之正方形區塊，對該正方形區塊應用相同二維變換以用於寫碼預測殘餘信號。變換單元(TU)表示明度及色度樣本之TB，以及對應語法元素。 CU之大小對應於寫碼模式之大小，且可為正方形形狀。舉例而言，CU之大小可為8×8樣本、16×16樣本、32×32樣本、64×64樣本，或高達對應CTU之大小的任何其他適當大小。片語「N×N」在本文中用以係指視頻區塊在垂直及水平維度方面的像素尺寸(例如，8像素×8像素)。區塊中之像素可按列及行而配置。在一些實例中，區塊在水平方向上與在垂直方向上可能不具有相同數目個像素。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式在CU被框內預測模式編碼抑或框間預測模式編碼之間可不同。PU可分割成非正方形形狀。與CU相關聯之語法資料亦可描述例如根據CTU將CU分割成一或多個TU。TU可為正方形或非正方形形狀。根據HEVC標準，可使用變換單元(TU)來執行變換。TU針對不同CU可變化。TU可基於給定CU內之PU的大小而定大小。TU可與PU大小相同或小於PU。在一些實例中，可使用被稱為殘餘四元樹(RQT)之四元樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。接著可由編碼器引擎106量化變換係數。一旦將視頻資料之圖像分割成CU，編碼器引擎106就使用預測模式來預測每一PU。接著自原始視頻資料減去預測單元或預測區塊以取到殘餘(下文所描述)。對於每一CU，可使用語法資料在位元串流內部信令傳輸預測模式。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。框內預測利用圖像內之空間相鄰樣本之間的相關性。舉例而言，在使用框內預測之情況下，使用例如DC預測以得知PU之平均值、使用平面預測以使平面表面擬合於PU、使用方向預測以自相鄰資料外插或使用任何其他合適類型之預測而自同一圖像中之相鄰影像資料預測每一PU。框間預測使用圖像之間的時間相關性以便導出用於影像樣本區塊之運動補償預測。舉例而言，在使用框間預測之情況下，使用運動補償預測而自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可例如在CU層級處作出使用圖像間預測抑或圖像內預測來寫碼圖像區域的決策。在一些實例中，圖像之一或多個截塊被指派截塊類型。截塊類型包括I截塊、P截塊及B截塊。I截塊(框內圖框，可獨立解碼)為僅藉由框內預測而寫碼的圖像之截塊，且因此可獨立解碼，此係因為I截塊僅需要圖框內之資料來預測截塊之任何預測單元或預測區塊。P截塊(單向預測圖框)為可運用框內預測及運用單向框間預測而寫碼的圖像之截塊。P截塊內之每一預測單元或預測區塊係運用框內預測或框間預測而寫碼。當框間預測適用時，僅由一個參考圖像預測該預測單元或預測區塊，且因此參考樣本僅來自一個圖框之一個參考區。B截塊(雙向預測性圖框)為可運用框內預測及運用框間預測(例如，雙向預測或單向預測)而寫碼的圖像之截塊。B截塊之預測單元或預測區塊可自兩個參考圖像進行雙向預測，其中每一圖像貢獻一個參考區，且兩個參考區之樣本集合被加權(例如，運用相等權重或運用不同權重)以產生雙向預測區塊之預測信號。如上文所闡釋，一個圖像之截塊被獨立地寫碼。在一些狀況下，圖像可被寫碼為僅僅一個截塊。 PU可包括與預測處理程序相關之資料(例如，運動參數或其他合適資料)。舉例而言，當使用框內預測來編碼PU時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當使用框間預測來編碼PU時，PU可包括定義用於PU之運動向量的資料。定義用於PU之運動向量的資料可描述例如運動向量之水平分量(∆x)、運動向量之垂直分量(∆y)、用於運動向量之解析度(例如，整數精確度、四分之一像素精確度，或八分之一像素精確度)、運動向量所指向之參考圖像、參考索引、用於運動向量之參考圖像清單(例如，清單0、清單1或清單C)，或其任何組合。編碼器件104接著可執行變換及量化。舉例而言，在預測之後，編碼器引擎106可計算對應於PU之殘餘值。殘餘值可包含正被寫碼之像素之當前區塊(PU)與用以預測當前區塊之預測區塊(例如，當前區塊之經預測版本)之間的像素差值。舉例而言，在產生預測區塊(例如，發出框間預測或框內預測)之後，編碼器引擎106可藉由自當前區塊減去由預測單元產生之預測區塊來產生殘餘區塊。殘餘區塊包括量化當前區塊之像素值與預測區塊之像素值之間的差的像素差值集合。在一些實例中，殘餘區塊可以二維區塊格式(例如，像素值之二維矩陣或陣列)而表示。在此等實例中，殘餘區塊為像素值之二維表示。使用區塊變換來變換可在執行預測之後剩餘的任何殘餘資料，此區塊變換可基於離散餘弦變換、離散正弦變換、整數變換、小波變換、其他合適變換函數，或其任何組合。在一些狀況下，可將一或多個區塊變換(例如，大小32×32、16×16、8×8、4×4或其類似者)應用於每一CU中之殘餘資料。在一些實例中，TU可用於由編碼器引擎106實施之變換及量化處理程序。具有一或多個PU之給定CU亦可包括一或多個TU。如下文進一步詳細地所描述，可使用區塊變換將殘餘值變換成變換係數，且接著可使用TU來量化及掃描殘餘值以產生用於熵寫碼之序列化變換係數。在一些實例中，在使用CU之PU的框內預測性或框間預測性寫碼之後，編碼器引擎106可計算用於CU之TU的殘餘資料。PU可包含空間域(或像素域)中之像素資料。在應用區塊變換之後，TU可包含變換域中之係數。如先前所提到，殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差值。編碼器引擎106可形成包括用於CU之殘餘資料的TU，且接著可變換TU以產生用於CU之變換係數。編碼器引擎106可執行變換係數之量化。量化藉由量化變換係數以縮減用以表示該等係數之資料的量而提供進一步壓縮。舉例而言，量化可縮減與係數中之一些或全部相關聯的位元深度。在一項實例中，可在量化期間將具有n 位元值之係數降值捨位至m 位元值，其中n 大於m 。一旦執行量化，經寫碼視頻位元串流就包括經量化變換係數、預測資訊(例如，預測模式、運動向量、區塊向量或其類似者)、分割資訊，及諸如其他語法資料之任何其他合適資料。接著可由編碼器引擎106熵編碼經寫碼視頻位元串流之不同元素。在一些實例中，編碼器引擎106可利用預定義掃描次序來掃描經量化變換係數以產生可被熵編碼之序列化向量。在一些實例中，編碼器引擎106可執行調適性掃描。在掃描經量化變換係數以形成向量(例如，一維向量)之後，編碼器引擎106可熵編碼向量。舉例而言，編碼器引擎106可使用上下文調適性可變長度寫碼、上下文調適性二進位算術寫碼、基於語法之上下文調適性二進位算術寫碼、機率區間分割熵寫碼或另一合適熵編碼技術。如先前所描述，HEVC位元串流包括NAL單元群組，包括VCL NAL單元及非VCL NAL單元。VCL NAL單元包括形成經寫碼視頻位元串流之經寫碼圖像資料。舉例而言，形成經寫碼視頻位元串流之位元序列在VCL NAL單元中被重新發送。非VCL NAL單元可含有具有與經編碼視頻位元串流相關之高層級資訊的參數集，外加其他資訊。舉例而言，參數集可包括視頻參數集(VPS)、序列參數集(SPS)及圖像參數集(PPS)。參數集之目標之實例包括位元速率效率、錯誤復原(error resiliency)，及提供系統層介面。每一截塊參考單一作用中PPS、SPS及VPS以存取可由解碼器件112使用以用於解碼該截塊之資訊。可針對每一參數集寫碼一識別符(ID)，包括VPS ID、SPS ID及PPS ID。SPS包括SPS ID及VPS ID。PPS包括PPS ID及SPS ID。每一截塊標頭包括一PPS ID。在使用ID之情況下，可針對給定截塊識別作用中參數集。 PPS包括適用於給定圖像中之所有截塊的資訊。由此，圖像中之所有截塊參考同一PPS。不同圖像中之截塊亦可參考同一PPS。SPS包括適用於同一經寫碼視頻序列(CVS)或位元串流中之所有圖像的資訊。如先前所描述，經寫碼視頻序列為一系列存取單元(AU)，其始於在基礎層中且具有某些性質(上文所描述)之隨機存取點圖像(例如，瞬時解碼參考(IDR)圖像或斷鏈存取(BLA)圖像，或其他適當隨機存取點圖像)，直至且不包括具有在基礎層中且具有某些性質之隨機存取點圖像的下一AU (或位元串流之結束)。SPS中之資訊可能不會在經寫碼視頻序列內在不同圖像之間改變。經寫碼視頻序列中之圖像可使用同一SPS。VPS包括適用於經寫碼視頻序列或位元串流內之所有層的資訊。VPS包括具有適用於全部經寫碼視頻序列之語法元素的語法結構。在一些實例中，可與經編碼位元串流一起頻帶內傳輸VPS、SPS或PPS。在一些實例中，相比於含有經寫碼視頻資料之NAL單元，可在單獨傳輸中頻帶外傳輸VPS、SPS或PPS。視頻位元串流亦可包括補充增強資訊(SEI)訊息。舉例而言，SEI NAL單元可為視頻位元串流之部分。在一些狀況下，SEI訊息可含有不為解碼處理程序所需要的資訊。舉例而言，SEI訊息中之資訊對於使解碼器解碼位元串流之視頻圖像可能不係必需的，但解碼器可使用該資訊以改良該等圖像之顯示或處理(例如，經解碼輸出)。SEI訊息中之資訊可為嵌入式後設資料。在一項說明性實例中，SEI訊息中之資訊可由解碼器側實體使用以改良內容之可觀看性。在一些情況下，某些應用標準可強制此等SEI訊息存在於位元串流中，使得符合應用標準之所有器件可達成品質改良(例如，用於圖框相容平面立體3DTV視頻格式之圖框封裝SEI訊息的攜載，其中針對視頻之每一圖框攜載SEI訊息；恢復點SEI訊息之處置；拉移式掃描矩形SEI訊息在DVB中之使用；外加許多其他實例)。編碼器件104之輸出110可經由通信鏈路120將構成經編碼視頻資料之NAL單元發送至接收器件之解碼器件112。解碼器件112之輸入114可接收NAL單元。通信鏈路120可包括由無線網路、有線網路或有線網路與無線網路之組合提供的頻道。無線網路可包括任何無線介面或無線介面組合，且可包括任何合適無線網路(例如，網際網路或其他廣域網路、基於封包之網路、WiFiTM、射頻(RF)、UWB、WiFi-Direct、蜂巢式、長期演進(LTE)、WiMaxTM或其類似者)。有線網路可包括任何有線介面(例如，光纖、乙太網路、電力線乙太網路、經由同軸纜線之乙太網路、數位信號線(DSL)或其類似者)。可使用諸如基地台、路由器、存取點、橋接器、閘道器、交換器或其類似者之各種設備來實施有線及/或無線網路。可根據諸如無線通信協定之通信標準來調變經編碼視頻資料，且將經編碼視頻資料傳輸至接收器件。在一些實例中，編碼器件104可將經編碼視頻資料儲存於儲存體108中。輸出110可自編碼器引擎106或自儲存體108擷取經編碼視頻資料。儲存體108可包括多種分散式或本機存取資料儲存媒體中之任一者。舉例而言，儲存體108可包括硬碟機、儲存光碟、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視頻資料之任何其他合適數位儲存媒體。解碼器件112之輸入114接收經編碼視頻位元串流資料，且可將視頻位元串流資料提供至解碼器引擎116，或提供至儲存體118以供稍後由解碼器引擎116使用。解碼器引擎116可藉由熵解碼(例如，使用熵解碼器)且提取構成經編碼視頻資料之一或多個經寫碼視頻序列之元素來解碼經編碼視頻位元串流資料。解碼器引擎116接著可重新按比例調整經編碼視頻位元串流資料且對其執行反變換。接著將殘餘資料傳遞至解碼器引擎116之預測級。解碼器引擎116接著預測像素區塊(例如，PU)。在一些實例中，將預測與反變換之輸出(殘餘資料)相加。解碼器件112可將經解碼視頻輸出至視頻目的地器件，視頻目的地器件可包括用於將經解碼視頻資料顯示給內容之取用者的顯示器或其他輸出器件。在一些態樣中，視頻目的地器件122可為包括解碼器件112之接收器件之部分。在一些態樣中，視頻目的地器件122可為除了接收器件以外之單獨器件之部分。在一些實例中，視頻編碼器件104及/或視頻解碼器件112可分別與音訊編碼器件及音訊解碼器件整合。視頻編碼器件104及/或視頻解碼器件112亦可包括為實施上文所描述之寫碼技術所必要的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視頻編碼器件104及視頻解碼器件112可被整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。下文參考圖9描述編碼器件104之特定細節之實例。下文參考圖10描述解碼器件112之特定細節之實例。 HEVC標準之延伸包括被稱作MV-HEVC之多視圖視頻寫碼延伸，及被稱作SHVC之可調式視頻寫碼延伸。MV-HEVC及SHVC延伸共用分層寫碼之概念，其中不同層包括於經編碼視頻位元串流中。經寫碼視頻序列中之每一層係由唯一層識別符(ID)定址。層ID可存在於NAL單元之標頭中以識別與NAL單元相關聯之層。在MV-HEVC中，不同層通常表示視頻位元串流中之同一場景之不同視圖。在SHVC中，提供以不同空間解析度(或圖像解析度)或不同重新建構保真度表示視頻位元串流的不同可調式層。可調式層可包括一基礎層(其中層ID = 0)及一或多個增強層(其中層ID = 1, 2, … n)。基礎層可符合HEVC之第一版本之設定檔，且表示位元串流中之最低可用層。與基礎層相比較，增強層具有增加之空間解析度、時間解析度或圖框速率及/或重新建構保真度(或品質)。增強層被階層式地組織，且可能(或可能不)取決於較低層。在一些實例中，可使用單一標準編解碼器來寫碼不同層(例如，使用HEVC、SHVC或其他寫碼標準來編碼所有層)。在一些實例中，可使用多標準編解碼器來寫碼不同層。舉例而言，可使用AVC來寫碼基礎層，而可使用對HEVC標準之SHVC及/或MV-HEVC延伸來寫碼一或多個增強層。如上文所提到，SEI訊息可提供不需要用以自經編碼視頻位元串流產生明度及色度值的資訊。然而，SEI訊息仍然可攜載可被視為對於顯現位元串流係必需的資訊，此為內容產生器所預期。圖2繪示可為位元串流之部分的存取單元200 (AU)之實例。位元串流可包括一系列存取單元，每一存取單元提供一經寫碼圖像及關於位元串流之可能一些資訊。解碼每一存取單元會產生一個經解碼圖像。諸如此處所繪示之實例存取單元200的存取單元包括於H.264/AVC及H.265/HEVC標準中。如圖2之實例中所繪示的存取單元200可包括NAL單元集合，該等NAL單元一起編製一主要經寫碼圖像。存取單元200可包括選用NAL單元，此處，該等選用NAL單元係以點線繪示。存取單元200可視情況以存取單元分隔符號202開始。存取單元分隔符號可幫助定位存取單元之開始。存取單元200亦可視情況包括先於主要經寫碼圖像206之補充增強資訊204 (例如，SEI訊息)。SEI可含有諸如圖像時序資訊之資料。主要經寫碼圖像206可包括視頻寫碼層(VCL) NAL單元。VCL NAL單元包括表示視頻圖像之樣本的截塊或截塊資料分割區。在主要經寫碼圖像206之後可為含有冗餘經寫碼圖像208之一些額外VCL NAL單元。冗餘經寫碼圖像208可包括同一視頻圖像之區域之冗餘表示，且可用於供解碼器用來自主要經寫碼圖像206中之資料的損耗或損毀中恢復。在存在冗餘經寫碼圖像之情況下，不需要解碼器來解碼冗餘經寫碼圖像。當主要經寫碼圖像206為經寫碼視頻序列之最後圖像時，存取單元200可包括序列結束210 NAL單元，以指示序列之結束。當主要經寫碼圖像206亦為位元串流中之最後經寫碼圖像時，存取單元200亦可包括串流結束212 NAL單元(亦被稱作位元串流結束NAL單元)。 SEI NAL單元可用以將各種資訊提供至解碼器。以下表1提供SEI訊息之一般語法之實例，如由國際電信聯盟(ITU-T) H.265「Series H: Audiovisual and Multimedia Systems Infrastructure of audiovisual services - Coding of moving video」(在下文中為Recommendation ITU-T H.265)所提供。在表1中，已針對可包括於SEI訊息中之不同資訊定義不同酬載類型。下文所提供之語法僅包括已在HEVC標準中定義及/或包括之SEI訊息類型子集。表1 在各種視頻寫碼規格中，只要資訊段不影響圖像樣本之解碼，彼資訊就可包括於SEI訊息中。SEI訊息中攜載之一些資訊可用於最佳化目的，且可在不顯現正以不可接受的方式呈現之視頻的情況下被解碼器忽略。然而，諸如圖框封裝資訊、全向投影指示資訊及副標題(subtitling)或輔助字幕(captioning)資訊的SEI訊息中攜載之一些其他資訊對於保證可接受的視頻系統效能或對於觀看體驗可能係必需的。舉例而言，在可顯示圖框封裝或360度全向投影視頻之前，必須應用諸如解封裝或解變形之某些解碼後操作。相似地，當伴隨視頻之音訊並非呈觀看者理解之語言時，副標題或輔助字幕可能係必要的。對於一些寫碼系統及應用，諸如圖框封裝資訊、全向投影指示資訊及副標題或輔助字幕資訊之資訊對於使視頻應用系統高效地及/或正確地執行(例如，由於視頻意圖被看見而呈現該視頻)係必需的。對於此等系統及應用，因此應與對於視頻解碼互操作性重要之資訊(例如，與系統操作中之編解碼器、設定檔及層級)相似地處理此資訊。舉例而言，當將經寫碼視頻位元串流例如根據ISO基本媒體檔案格式(ISOBMFF)囊封成媒體檔案或根據HTTP動態調適性串流(DASH)囊封成媒體呈現時，應考慮此必需的資訊。當將經寫碼視頻位元串流囊封成ISOBMFF檔案或DASH媒體呈現時，可在高層級處(諸如在檔案格式樣本項目中、在DASH媒體呈現描述(MPD)中及/或在MIME類型參數中)公開諸如上文所提及之必需的資訊。藉由在高層級處以囊封構造而置放必需的資訊，解碼器可避免必須掃描整個位元串流來判定何種資訊可包括於該位元串流中之SEI訊息中。另外，解碼器可避免必須基於必需性條件分類SEI訊息。代替地，使此資訊早先在位元串流中可易於存取(例如，其中信令傳輸設定檔及層級資訊)或對於現有標準共同地在一個SEI訊息中可易於存取可簡化解碼器之實施方案。能夠早先存取必需的資訊可使解碼器能夠對如何最佳地處置經解碼視頻作出先占式決策。另外，每當定義含有必需的資訊之SEI訊息時，就不需要修改視頻寫碼標準。在各項實施方案中，針對必需的資訊定義被稱作必需的補充資訊(ESI) SEI訊息之SEI訊息，且針對非必需的資訊定義被稱作非必需的補充資訊(NSI) SEI訊息之SEI訊息。如上文所提到，術語「必需的」及「非必需的」用以分類兩種不同類型之SEI訊息。ESI SEI及NSI SEI訊息中正傳達之資訊係由例如呈正編碼視頻呈現之編碼器之組態的內容產生器判定。ESI SEI及NSI SEI不需要傳達任何特定資訊，且可由解碼器用來識別解碼器在處理其他資料之前應處理的資訊。在各項實施方案中，編碼器可判定必需的資訊。舉例而言，編碼器可經組態以將某些資訊識別為必需的。在此等實例中，編碼器可針對必需的資訊使用ESI SEI。另外，編碼器可視情況針對非必需的資訊使用NSI ESI。在各項實施方案中，解碼器可經組態以識別ESI SEI及NSI ESI訊息，且使用包括於此等訊息中之資訊。當解碼器未找到此等訊息中之任一者時，解碼器可繼續根據適用標準解碼位元串流。未經組態成處理ESI SEI或NSI SEI訊息之解碼器可將此等訊息視為無法識別之SEI訊息。在一些實例中，當解碼器遇到無法識別之SEI訊息時，解碼器可經組態成停止處理位元串流。替代地，在一些實例中，解碼器可繼續解碼位元串流。在以下實例中，在HEVC之上下文中描述ESI SEI及NSI SEI訊息，且應理解，此等實例亦可應用於支援SEI訊息之其他視頻寫碼標準，諸如AVC。ESI SEI 訊息以下提供用於ESI SEI訊息之實例語法及語義。相似語法及語義可與各種視頻寫碼標準一起被使用。ESI SEI 訊息語法 ESI SEI訊息語法之實例如下：替代地，三個u(16)-經寫碼語法元素之寫碼運用ue(v)寫碼被替換(亦即，運用「ue(v)」替換以上「u(16)」之所有例項)。ESI SEI 訊息語義 必需的補充資訊(ESI) SEI訊息傳達關於存在於位元串流中之所有必需的SEI訊息的資訊。必需的SEI訊息為所攜載資訊被編碼器(亦即，內容產生器)視為對於使解碼器側適當地處理以實現合意使用者體驗係必需的此SEI訊息。由編碼器(亦即，內容產生器)酌情處理以判定哪些類型之SEI訊息為特定位元串流中之必需的SEI訊息。當ESI SEI訊息存在於CVS之任何存取單元(AU)中時，ESI SEI訊息應存在於CVS之第一存取單元中。ESI SEI訊息自當前存取單元直至CVS結束為止持續按解碼次序。含有ESI SEI訊息之SEI NAL單元不應含有不為非必需的補充資訊SEI訊息之任何其他SEI訊息。當多個ESI訊息存在於CVS中時，其應具有相同內容。num_essential_sei_msg_types 指定存在於CVS中的被視為必需的SEI訊息之SEI訊息類型的數目。essential_sei_payload_type [ i ]指示第i種類型之必需的SEI訊息的payloadType值。對於任何兩個不同值m及n，essential_sei_payload_type[ m ]及essential_sei_payload_type[ n ]之值不應相同。num_esei_init_payload_databits [ i ]指定提供關於存在於CVS中之第i種類型之必需的SEI訊息之額外資訊的後繼位元的數目。esei_payload_data_bit [ i ][ j ]指定提供關於存在於CVS中之第i種類型之必需的SEI訊息之額外資訊的位元中的第j個位元。 num_esei_init_payload_databits[ i ]位元在用於第i種類型之必需的SEI訊息之payloadType的SEI酬載語法之後，且含有自SEI酬載語法中之第一語法元素開始的數個語法元素，但可能或可能不含有SEI酬載語法中之所有語法元素。最後位元應為SEI酬載語法中之語法元素的最後位元。含於此等位元中之語法元素具有與其在具有payloadType之SEI訊息中之情況下相同的語義，例外狀況為：此處，資訊應用於整個CVS。此等位元應提供用於指示根據處理能力觀點在解碼器側處需要何些類型之處理的足夠資訊，基於該資訊，系統層實體可判定解碼器側是否可適當地處理位元串流以實現合意使用者體驗。舉例而言，若payloadType為45 (亦即，圖框封裝配置SEI訊息)，則此等位元應至少包括語法元素frame_packing_arrangement_type。對於另一實例，若payloadType為150 (亦即，如JCTVC-Z1005中所指定之全向投影指示SEI訊息)，則此等位元應至少包括語法元素projection_type。esei_alignment_bit_equal_to_zero 應等於0。NSI SEI 訊息以下提供用於NSI SEI訊息之實例語法及語義。相似語法及語義可與各種視頻寫碼標準一起被使用。[0001] NSI SEI 訊息語法 NSI SEI訊息語法之實例如下：替代地，三個u(16)-經寫碼語法元素之寫碼運用ue(v)寫碼被替換，亦即，運用「ue(v)」替換以上「u(16)」之所有例項。NSI SEI 訊息語義 非必需的補充資訊(NSI) SEI訊息傳達關於存在於位元串流中之所有非必需的SEI訊息的資訊。非必需的SEI訊息為使得未被編碼器(亦即，內容產生器)視為必需的SEI訊息之SEI訊息。由編碼器(亦即，內容產生器)酌情處理以判定哪些類型之SEI訊息為特定位元串流中之非必需的SEI訊息。當NSI SEI訊息存在於CVS之任何存取單元中時，NSI SEI訊息應存在於CVS之第一存取單元中。NSI SEI訊息自當前存取單元直至CVS結束為止持續按解碼次序。含有NSI SEI訊息之SEI NAL單元不應含有不為ESI SEI訊息之任何其他SEI訊息。當多個NSI訊息存在於CVS中時，其應具有相同內容。當特定類型之SEI訊息由CVS中之ESI SEI訊息識別為必需的SEI訊息時，相同類型之SEI訊息不應由CVS中之NSI SEI訊息識別為非必需的SEI訊息。num_nonessential_sei_msg_types 指定存在於CVS中的被視為非必需的SEI訊息之SEI訊息類型的數目。nonessential_sei_payload_type [ i ]指示第i種類型之非必需的SEI訊息的payloadType值。對於任何兩個不同值m及n，nonessential_sei_payload_type[ m ]及nonessential_sei_payload_type[ n ]之值不應相同。num_nesei_init_payload_databits [ i ]指定提供關於存在於CVS中之第i種類型之非必需的SEI訊息之額外資訊的後繼位元的數目。nesei_payload_data_bit [ i ][ j ]指定提供關於存在於CVS中之第i種類型之非必需的SEI訊息之額外資訊的位元的第j個位元。 num_nesei_init_payload_databits[ i ]位元在用於第i種類型之非必需的SEI訊息之payloadType的SEI酬載語法之後，且含有自SEI酬載語法中之第一語法元素開始的數個語法元素，但可能或可能不含有SEI酬載語法中之所有語法元素。最後位元應為SEI酬載語法中之語法元素的最後位元。含於此等位元中之語法元素具有與其在具有payloadType之SEI訊息中之情況下相同的語義，例外狀況為：此處，資訊應用於整個CVS。nesei_alignment_bit_equal_to_zero 應等於0。在各項實施方案中，提供用於指示SEI訊息之存在、不存在及/或必需性的語法及語義。在各項實施方案中，定義SEI資訊清單，以及包括SEI首碼指示之SEI訊息。SEI資訊清單可用以傳達關於包括於位元串流中之SEI訊息的資訊。SEI首碼指示可用以識別SEI訊息中之酬載，且可由解碼器用以判定位元串流中之內容所需要的處理程序類型。在各項實施方案中，編碼器可判定必需的資訊。舉例而言，編碼器可經組態以識別對於視頻之顯示係必需的某些資訊。在此等實例中，編碼器可使用SEI首碼指示SEI訊息來指示必需的資訊，且使用SEI資訊清單SEI訊息來描述包括於位元串流中之SEI訊息。在各項實施方案中，解碼器可經組態以識別SEI資訊清單SEI訊息及SEI首碼SEI訊息，且使用包括於此等訊息中之資訊。當解碼器未找到此等訊息中之任一者時，解碼器可繼續根據適用標準解碼位元串流。未經組態成處理SEI資訊清單及SEI首碼訊息之解碼器可將此等訊息視為無法識別之SEI訊息。在一些實例中，當解碼器遇到無法識別之SEI訊息時，解碼器可經組態成停止處理位元串流。替代地，在一些實例中，解碼器可繼續解碼位元串流。第一實例提供SEI資訊清單SEI訊息及SEI首碼指示SEI訊息。下文提供用於此等SEI訊息中之每一者的語法及語義。SEI 資訊清單 SEI 訊息 SEI 資訊清單 SEI 訊息語法 SEI 資訊清單 SEI 訊息語義 SEI資訊清單SEI訊息傳達關於可由位元串流之接收器假定為存在或不存在之SEI訊息的資訊。此資訊可包括： 1)位元串流之接收器可假定某些類型之SEI訊息存在於CVS中。註解1—在使用此「假定」措辭之情況下，當「承諾」被違背時，其並非錯誤，且不管「承諾」是否被違背，用戶端假定仍可被視為正確。 2)對於可被假定為存在於CVS中之每一類型之SEI訊息，此類型之SEI訊息的必需性。該必需性可被指示為必需的、非必需的或未定的。當所攜載資訊被視為對於使解碼器側適當地處理內容且實現合意使用者體驗係必需的時，SEI訊息被編碼器(亦即，內容產生器)視為必需的。由編碼器酌情處理以判定哪些SEI訊息被視為在特定位元串流中係必需的。然而，諸如圖框封裝配置、分段矩形圖框封裝配置、顯示定向及全向投影指示SEI訊息之一些SEI訊息應始終被視為必需的。 3)位元串流之接收器可假定某些類型之SEI訊息不存在於CVS中。註解2—舉例而言，基於經信令傳輸之SEI資訊清單SEI訊息，位元串流之接收器可假定位元串流中不存在圖框封裝配置SEI訊息、分段矩形圖框封裝配置SEI訊息、顯示定向SEI訊息或全向投影指示SEI訊息。因此，經解碼視頻圖像很可能被顯現以供觀看，而不需要通常在存在此等SEI訊息時所需要的任何額外後處理。當SEI資訊清單SEI訊息存在於CVS之任何存取單元中時，SEI資訊清單SEI訊息應存在於CVS之第一存取單元中。SEI資訊清單SEI訊息自當前存取單元直至CVS結束為止持續按解碼次序。當多個SEI資訊清單SEI訊息存在於CVS中時，其應具有相同內容。含有SEI資訊清單SEI訊息之SEI NAL單元不應含有除了SEI首碼指示SEI訊息以外之任何其他SEI訊息。當存在於SEI NAL單元中時，SEI資訊清單SEI訊息應為SEI NAL單元中之第一SEI訊息。manifest_num_sei_msg_types 指定資訊被提供於SEI資訊清單SEI訊息中之SEI訊息類型的數目。manifest_sei_payload_type [ i ]指示資訊被提供於SEI資訊清單SEI訊息中之第i種類型之SEI訊息的payloadType值。manifest_sei_payload_type[ m ]及manifest_sei_payload_type[ n ]之值在m不等於n時不應相同。manifest_sei_description [ i ]提供關於payloadType等於manifest_sei_payload_type[ i ]之SEI訊息的資訊，如表2中所指定。表2 — manifest_sei_description[i]值在符合本說明書之此版本的位元串流中，manifest_sei_description[ i ]之值應在0至3之範圍內，0及3包括在內。manifest_sei_description[ i ]之其他值保留以供ITU-T | ISO/IEC未來使用。解碼器應允許大於或等於4的manifest_sei_description[ i ]之值出現於語法中，且應忽略SEI資訊清單SEI訊息中信令傳輸的用於等於manifest_sei_payload_type[ i ]之payloadType之所有資訊，且應忽略prefix_sei_payload_type等於manifest_sei_payload_type[ i ]之所有SEI首碼指示SEI訊息。SEI 首碼指示 SEI 訊息 SEI 首碼指示 SEI 訊息語法 SEI 首碼指示 SEI 訊息語義 SEI首碼指示SEI訊息攜載用於特定payloadType之SEI訊息的一或多個SEI首碼指示。每一SEI首碼指示為在彼payloadType之SEI酬載語法之後且含有自SEI酬載中之第一語法元素開始之數個完整語法元素的位元字串。接收器可假定CVS中之此payloadType之一些或所有SEI訊息開始於此等位元字串。開始位元字串通常僅含有SEI訊息類型之SEI酬載之真實子集，可含有完全SEI酬載，但決不含有多於完全SEI酬載。註解—允許此payloadType之一些SEI訊息不以所指示之位元字串中之任一者開始。此等SEI首碼指示應提供用於指示需要何種處理類型或包括何種內容類型之足夠資訊。前者(處理類型)指示解碼器側處理能力，例如，是否需要某種類型之圖框解封裝。後者(內容類型)指示例如位元串流是否含有呈特定語言之副標題輔助字幕。基於資訊系統層，實體可判定解碼器側是否可適當地處理位元串流以實現合意使用者體驗，或位元串流是否滿足應用需要。在一項實例中，當payloadType指示圖框封裝配置SEI訊息時，SEI首碼指示應包括高達至少語法元素frame_packing_arrangement_type；當payloadType指示全向投影指示SEI訊息時，SEI首碼指示應包括高達至少語法元素projection_type。在另一實例中，對於用以攜載輔助字幕資訊之使用者資料註冊SEI訊息，SEI首碼指示應包括高達至少語言碼；且對於經延伸以供私人使用之使用者資料未註冊SEI訊息，SEI首碼指示應包括高達至少UUID。當SEI首碼指示SEI訊息存在於CVS之任何存取單元中時，SEI首碼指示SEI訊息應存在於CVS之第一存取單元中。SEI首碼指示SEI訊息自當前存取單元直至CVS結束為止持續按解碼次序。當多個SEI首碼指示SEI訊息存在於CVS中時，其應具有相同內容。含有SEI首碼指示SEI訊息之SEI NAL單元不應含有除了SEI資訊清單SEI訊息以外之任何其他SEI訊息。prefix_sei_payload_type 指示一或多個SEI首碼指示被提供於SEI首碼指示SEI訊息中之SEI訊息的payloadType值。prefix_sei_payload_type之值應等於manifest_sei_payload_type[ m ]值中之一者，對於該等manifest_sei_payload_type[ m ]值，manifest_sei_description[ m ]等於1至3，1及3包括在內，如由應用於CVS之SEI資訊清單SEI訊息所指示。num_sei_prefix_indications_minus1 加1指定SEI首碼指示之數目。num_bits_in_prefix_indication_minus1 [ i ]加1指定第i個SEI首碼指示中之位元之數目。 sei_prefix_databit [ i ][ j ]指定第i個SEI首碼指示之第j個位元。範圍在0至num_bits_in_prefix_indication_minus1[ i ] (包括在內)之j的位元sei_prefix_databit[ i ][ j ]在payloadType等於prefix_sei_payload_type之SEI酬載的語法之後，且含有自SEI酬載語法中之第一語法元素開始的數個完整語法元素，且可能或可能不含有SEI酬載語法中之所有語法元素。最後位元應為SEI酬載語法中之語法元素的最後位元。byte_alignment_bit_equal_to_zero 應等於0。在先前實例中，大小可小的SEI資訊清單描述可在單獨SEI訊息中。此SEI訊息之小的大小使SEI訊息能夠攜載於系統層級處，諸如作為MIME類型參數。先前實例亦允許針對首碼指示尚未被定義之SEI類型添加首碼指示。舉例而言，可在不修改現有SEI訊息之情況下添加新SEI訊息。另外，針對一種特定SEI類型之SEI首碼指示不需要多個SEI訊息。當針對首碼指示已經被定義之SEI類型增加首碼指示時，可能需要對現有SEI訊息之改變。在各項實例中，可使用替代語法。在第一實例中，代替定義兩個單獨SEI訊息，可在一個SEI訊息中攜載SEI資訊清單描述及SEI首碼。以下為用於此SEI訊息之實例語法：在以上實例中，不需要定義多個SEI訊息(例如，針對所有SEI類型之SEI資訊清單描述及SEI首碼指示)。然而，當需要額外資訊時，可能需要改變SEI訊息。在第二實例中，代替允許一個SEI首碼指示SEI訊息中之多個SEI首碼指示，一SEI首碼訊息可包括僅一個SEI首碼指示。以下為用於此SEI訊息之實例語法。在以上實例中，當針對首碼指示已經被定義之SEI類型添加首碼指示時，不需要改變現有SEI訊息。然而，可能需要用於信令傳輸針對一種特定SEI類型之SEI首碼指示的多個SEI訊息。在各項實例中，可使用替代技術以定義SEI訊息之持續性範疇。在第一實例中，SEI訊息之持續性範疇可與作用中SPS之持續性範疇相同。在此實例中，當作用中SPS應用於多個CVS時，SEI訊息之持續性範疇亦將為多個CVS。在第二實例中，可在位元串流中指定持續性範疇。在此實例中，當多個位元串流被拼接成一個位元串流時，可能需要改變SEI訊息。在各項實例中，可使用用於語義之替代措辭。在第一實例中，可例如在用於SEI資訊清單之語義中使用諸如「指示存在抑或不存在某些類型之SEI訊息」的確證性措辭。作為第二實例，可使用諸如「指示某些類型之SEI訊息是否可被假定為存在或不存在」的非確證性措辭(如自解碼器觀點所見)。作為第三實例，可使用諸如「指示某些類型之SEI訊息是否由編碼器陳述為存在或不存在」的非確證性措辭(如自編碼器觀點所見)。在此實例中，可進一步陳述解碼器可決定如何處理此資訊，但如何處理該資訊可留給解碼器。在以上第一實例之狀況下，可存在SEI資訊清單可指示特定類型之SEI訊息存在於位元串流中，但彼類型之SEI訊息可能已被移除的例項。在此等實例中，位元串流之語義可能不正確，且位元串流可能係非符合的。在以上第二及第三實例之情況下，移除位元串流中之SEI訊息不會造成位元串流係非符合的。當例如SEI資訊清單指示特定類型之SEI訊息存在於位元串流中，但該SEI訊息被移除(例如，在位元串流被編碼之後)時，第二及第三實例之非確證性措辭將不會變得不正確。在第三實例中，該非確證性措辭相比於第二實例之非確證性措辭較不嚴格。必需的及非必需的 SEI 訊息已例如在HEVC規格之附錄D中、在HEVC規格之草案修正(諸如JCTVC-Z1005中之草案修正文字)中以及在該規格之附錄F及後續附錄中定義各種SEI訊息。下文提供可被視為包括必需的資訊之SEI訊息之實例。此等SEI訊息在存在(例如，原生地存在或含於巢狀SEI訊息中)時可直接影響經解碼圖像之顯現。雖然此等SEI訊息可被視為必需的，但由編碼器考慮包括此資訊之SEI訊息是否被標記為必需的。- 圖框封裝配置SEI訊息- 顯示定向SEI訊息- 分段矩形圖框封裝配置SEI訊息- 全向投影指示SEI訊息以下SEI訊息在存在(例如，原生地存在或含於巢狀SEI訊息中)時可影響經解碼圖像之顯現。此等SEI訊息亦為可被視為必需的SEI訊息之實例。- 膠捲粒紋特性SEI訊息- 後置濾波器提示SEI訊息- 色調映射資訊SEI訊息- 無顯示SEI訊息- 無顯示SEI訊息- 主控顯示色量SEI訊息- 色度重新取樣濾波器提示SEI訊息- 拐點函數資訊SEI訊息- 色彩重新映射資訊SEI訊息- 去交錯圖像資訊SEI訊息- 內容光位準資訊SEI訊息- 替代傳送特性SEI訊息- 周圍觀測環境SEI訊息- 內容色量SEI訊息較不可能影響經解碼圖像之顯現的其他SEI訊息可能或可能不包括至必需的SEI訊息之清單中，此由編碼器酌情處理。舉例而言，編碼器可判定由Recommendation ITU-T T.35註冊之使用者資料SEI訊息或使用者資料未註冊SEI訊息攜載必需的資訊，且因此將彼SEI酬載類型包括至必需的SEI訊息之清單中，且提供一些額外資訊以充分地指示所需的處理能力。必需的補充資訊之系統層級曝光 在各項實施方案中，諸如上文所描述之SEI訊息的SEI訊息(例如，ESI SEI、NSI SEI、SEI資訊清單SEI及SEI首碼SEI，其在本文中將被共同地稱作必需的資訊攜載SEI)可以囊封格式被置放，使得解碼器可早先在解碼視頻區段之處理程序中能夠存取此等SEI。囊封格式包括例如檔案格式、串流格式、網路格式及其他格式。檔案格式標準可定義用於將視頻(及亦可能為音訊)資料封裝及解封裝成一或多個檔案之格式。檔案格式標準包括國際標準化組織(ISO)基本媒體檔案格式(ISOBMFF，定義於ISO/IEC 14496-12中)，及衍生於ISOBMFF之其他檔案格式，包括動畫專業團體(MPEG) MPEG-4檔案格式(定義於ISO/IEC 14496-15中)、第三代合作夥伴計劃(3GPP)檔案格式(定義於3GPP TS 26.244中)，以及進階視頻寫碼(AVC)檔案格式及高效率視頻寫碼(HEVC)檔案格式(皆定義於ISO/IEC 14496-15中)。用於ISO/IEC 14496-12及14496-15之最新版本的草案文字分別可得自http://phenix.int-evry.fr/mpeg/doc_end_user/documents/111_Geneva/wg11/w15177-v6-w15177.zip及http://phenix.int-evry.fr/mpeg/doc_end_user/ documents/112_Warsaw/wg11/w15479-v2-w15479.zip。 ISOBMFF用作用於許多編解碼器囊封格式(例如，AVC檔案格式或任何其他合適編解碼器囊封格式)以及用於許多多媒體容器格式(例如，MPEG-4檔案格式、3GPP檔案格式(3GPP)、數位視頻廣播(DVB)檔案格式或任何其他合適多媒體容器格式)之基礎。基於ISOBMFF之檔案格式可用於連續媒體，其亦被稱作串流媒體。除了連續媒體(例如，音訊及視頻)以外，靜態媒體(例如，影像)及後設資料亦可儲存於符合ISOBMFF之檔案中。根據ISOBMFF而結構化之檔案可用於許多目的，包括本機媒體檔案播放、遠端檔案之漸進式下載、用作HTTP動態調適性串流(DASH)之區段、用作待串流內容之容器(在此狀況下，該等容器包括封包化指令)、用於記錄所接收之即時媒體串流，或其他用途。 ISOBMFF及其衍生檔案格式(例如，AVC檔案格式或其他衍生檔案格式)在許多多媒體應用中廣泛地用於媒體內容(例如，包括視頻、音訊及計時文字)之儲存及囊封。在各項實施方案中，ISOBMFF檔案格式可用以在被應用資訊之視頻資料之前提供必需的資訊攜載SEI訊息。舉例而言，必需的資訊攜載SEI可包括於樣本項目中，如下文進一步所論述。圖3繪示含有根據ISOBMFF而格式化之用於視頻呈現之資料及後設資料的ISO基本媒體檔案300之實例。ISOBMFF經設計成以靈活且可延伸的格式含有計時媒體資訊，該格式促進媒體之互換、管理、編輯及呈現。媒體之呈現對於含有呈現之系統可為「本機的」，或呈現可經由網路或其他串流遞送機構。如由ISOBMFF規格所定義之「呈現」為常常由於已由視頻捕捉器件循序地捕捉而相關或由於某其他原因而相關的圖像序列。本文中，呈現亦可被稱作電影或視頻呈現。呈現可包括音訊。單一呈現可含於一或多個檔案中，其中一個檔案含有用於整個呈現之後設資料。後設資料包括諸如時序及成框資料、描述符、指標、參數及描述呈現之其他資訊的資訊。後設資料自身並不包括視頻及/或音訊資料。除了含有後設資料之檔案以外的檔案不需要根據ISOBMFF而格式化，且僅需要經格式化使得此等檔案可由後設資料參考。 ISO基本媒體檔案之檔案結構為物件導向式，且檔案中之個別物件之結構可直接自該物件之類型被推斷。ISOBMFF規格將ISO基本媒體檔案中之物件稱作「方框(box)」。ISO基本媒體檔案被結構化為可含有其他方框之方框序列。方框通常包括提供方框之大小及類型的標頭。大小描述方框之整個大小，包括標頭、欄位，及含於方框內之所有方框。通常忽略及跳過具有未被播放器器件辨識之類型的方框。如由圖3之實例所繪示，在檔案之頂部層級處，ISO基本媒體檔案300可包括檔案類型方框310、電影方框320，及一或多個電影片段330a、330n。可包括於此層級處但在此實例中未表示之其他方框包括自由空閒方框、後設資料方框及媒體資料方框，以及其他者。 ISO基本媒體檔案可包括由方框類型「ftyp」識別之檔案類型方框310。檔案類型方框310識別最適合於剖析檔案之ISOBMFF規格。在此情況下，「最」意謂ISO基本媒體檔案300可能已根據特定ISOBMFF規格而格式化，但很可能與該規格之其他反覆項目相容。此最合適規格被稱作主要品牌(major brand)。播放器器件可使用主要品牌來判定該器件是否能夠解碼及顯示檔案之內容。檔案類型方框310亦可包括版本號碼，該版本號碼可用以指示ISOBMFF規格之版本。檔案類型方框310亦可包括相容品牌之清單，該清單包括與檔案相容之其他品牌之清單。ISO基本媒體檔案可與多於一個主要品牌相容。當ISO基本媒體檔案300包括檔案類型方框310時，存在僅一個檔案類型方框。ISO基本媒體檔案300可省略檔案類型方框310以便與較舊播放器器件相容。當ISO基本媒體檔案300不包括檔案類型方框310時，播放器器件可採取預設主要品牌(例如「mp41」)、次要版本(例如，「0」)及相容品牌(例如，「mp41」)。檔案類型方框310通常儘可能早先置放於ISO基本媒體檔案300中。 ISO基本媒體檔案可進一步包括電影方框320，其可含有後設資料以供呈現。電影方框320由方框類型「moov」識別。ISO/IEC 14496-12規定含於一個檔案抑或多個檔案中之呈現可包括僅一個電影方框320。通常，電影方框320靠近ISO基本媒體檔案之開始。電影方框320包括電影標頭方框322，且可包括一或多個播放軌方框324以及其他方框。由方框類型「mvhd」識別之電影標頭方框322可包括媒體非相依且整體上與呈現相關的資訊。舉例而言，電影標頭方框322可包括諸如建立時間、修改時間、時間標度及/或呈現持續時間之資訊，以及其他者。電影標頭方框322亦可包括識別呈現中之下一播放軌的識別符。舉例而言，在所繪示實例中，識別符可指向由電影方框320含有之播放軌方框324。由方框類型「trak」識別之播放軌方框324可含有用於呈現之播放軌的資訊。呈現可包括一或多個播放軌，其中每一播放軌獨立於呈現中之其他播放軌。每一播放軌可包括特定於該播放軌中之內容的時間及空間資訊，且每一播放軌可與一媒體方框相關聯。播放軌中之資料可為媒體資料，在此狀況下，播放軌為媒體播放軌；或資料可為用於串流協定之封包化資訊，在此狀況下，播放軌為提示播放軌。舉例而言，媒體資料包括視頻及音訊資料。在所繪示實例中，實例播放軌方框324包括播放軌標頭方框324a及媒體方框324b。播放軌方框可包括其他方框，諸如播放軌參考方框、播放軌群組方框、編輯方框、使用者資料方框、後設方框及其他者。由方框類型「tkhd」識別之播放軌標頭方框324a可指定含於播放軌方框324中之播放軌之特性。舉例而言，播放軌標頭方框324a可包括建立時間、修改時間、持續時間、播放軌識別符、層識別符、群組識別符、播放軌之音量、寬度及/或高度，以及其他者。對於媒體播放軌，播放軌標頭方框324a可進一步識別播放軌是否被啟用，播放軌是否應作為呈現之部分而播放，或播放軌是否可用以預覽呈現，以及其他者。播放軌之呈現通常被假定為處於呈現之開始。播放軌方框324可包括此處未繪示之編輯清單方框，該編輯清單方框可包括明確時刻表映圖。時刻表映圖可指定播放軌之偏移時間以及其他者，其中偏移指示播放軌之在呈現開始之後的開始時間。在所繪示實例中，播放軌方框324亦包括由方框類型「mdia」識別之媒體方框324b。媒體方框324b可含有物件及關於播放軌中之媒體資料的資訊。舉例而言，媒體方框324b可含有處理常式參考方框，其可識別播放軌之媒體類型以及藉以呈現播放軌中之媒體的處理程序。作為另一實例，媒體方框324b可含有媒體資訊方框，其可指定播放軌中之媒體之特性。媒體資訊方框可進一步包括樣本表，其中每一樣本描述一大塊媒體資料(例如，視頻或音訊資料)，其包括例如用於該樣本之資料之位置。用於樣本之資料儲存於下文進一步所論述之媒體資料方框中。如同大多數其他方框，媒體方框324b亦可包括媒體標頭方框。在所繪示實例中，實例ISO基本媒體檔案300亦包括呈現之多個片段330a、330b、330c、330n。片段330a、330b、330c、330n並非ISOBMFF方框，而是描述電影片段方框332及由電影片段方框332參考之媒體資料方框338。電影片段方框332及媒體資料方框338為頂部層級方框，但此處分組在一起以指示電影片段方框332與媒體資料方框338之間的關係。由方框類型「moof」識別之電影片段方框332可藉由包括原本將儲存於電影方框320中之額外資訊而延伸呈現。在使用電影片段方框332之情況下，可遞增地建置呈現。電影片段方框332可包括電影片段標頭方框334及播放軌片段方框336，以及此處未繪示之其他方框。由方框類型「mfhd」識別之電影片段標頭方框334可包括序號。播放器器件可使用序號來驗證片段330a包括下一資料段以供呈現。在一些狀況下，檔案之內容或用於呈現之檔案可被無序地提供至播放器器件。舉例而言，網路封包可以除了最初傳輸封包之次序以外的次序頻繁地到達。在此等狀況下，序號可輔助播放器器件判定片段之正確次序。電影片段方框332亦可包括由方框類型「traf」識別之一或多個播放軌片段方框336。電影片段方框332可包括播放軌片段集合，每播放軌零或多個播放軌片段。播放軌片段可含有零或多個播放軌回合(track run)，該零或多個播放軌中之每一者描述用於播放軌之樣本之連續回合。除了將樣本添加至播放軌以外，播放軌片段亦可用以將空的時間添加至播放軌。由方框類型「mdat」識別之媒體資料方框338含有媒體資料。在視頻播放軌中，媒體資料方框338將含有視頻圖框。媒體資料方框可替代地或另外包括音訊資料。呈現可包括含於一或多個個別檔案中之零或多個媒體資料方框。媒體資料係由後設資料描述。在所繪示實例中，媒體資料方框338中之媒體資料可由包括於播放軌片段方框336中之後設資料描述。在其他實例中，媒體資料方框中之媒體資料可由電影方框320中之後設資料描述。後設資料可藉由檔案300內之絕對偏移而參考特定媒體資料，使得可跳過媒體資料方框338內之媒體資料標頭及/或自由空間。 ISO基本媒體檔案300中之其他片段330b、330c、330n可含有與針對第一片段330a所繪示之方框相似的方框，及/或可含有其他方框。[0002] 除了支援媒體之本機播放以外，ISOBMFF亦包括針對經由網路之串流媒體資料的支援。包括一個電影呈現之一或多個檔案可包括被稱為提示播放軌之額外播放軌，其含有可輔助串流伺服器形成及傳輸一或多個檔案作為封包之指令。舉例而言，此等指令可包括用於供伺服器發送之資料(例如，標頭資訊)或對媒體資料之區段的參考。檔案可包括用於不同串流協定之單獨提示播放軌。亦可在不需要重新格式化檔案之情況下將提示播放軌添加至檔案。在圖3所繪示之實例媒體檔案300中，必需的資訊攜載SEI可包括於例如樣本項目中。舉例而言，含有必需的資訊攜載SEI訊息之SEI NAL單元可直接包括於HEVC樣本項目之解碼器組態記錄中的SEI NAL單元陣列中。在一些狀況下，含有必需的資訊攜載SEI訊息之SEI NAL單元可被包括作為解碼器組態記錄中之SEI NAL單元陣列的第一SEI NAL單元。在各項實例中，必需的資訊攜載SEI訊息可替代地或另外攜載於諸如電影標頭方框322或播放軌標頭方框324a以及其他者之較高層級方框中。諸如DASH之串流囊封格式亦可用以向解碼器呈現必需的資訊攜載SEI訊息。ISO/IEC 23009-1中指定之DASH為用於HTTP (調適性)串流應用之標準。DASH指定被稱作媒體呈現描述(MPD)之格式(亦被稱為資訊清單)及媒體區段格式。MPD描述可用於伺服器上之媒體，且使DASH用戶端能夠在媒體中在特定時間自主地下載特定媒體版本。基於DASH之HTTP串流可包括以下步驟： 1)用戶端獲得串流內容(例如，電影)之MPD。MPD包括關於不同替代表示之資訊，諸如串流內容之位元速率、視頻解析度、圖框速率、音訊語言，以及HTTP資源之URL (例如，初始化區段及媒體區段)。 2)基於MPD中之資訊及用戶端之本機資訊(例如，網路頻寬、解碼/顯示能力及/或使用者偏好)，用戶端請求所要表示，一次請求一個區段(或其部分)。 3)當用戶端偵測到網路頻寬改變時，請求具有較佳匹配位元速率之不同表示之區段，理想地自以隨機存取點開始之區段開始。在HTTP串流作業階段期間，為了對向後搜尋至過去位置或向前搜尋至未來位置之使用者請求作出回應，用戶端請求自接近於所要位置之區段開始的過去或未來區段。自彼點起，用戶端可在隨機存取點處開始。使用者亦可請求快速轉發內容，此可藉由請求資料以用於充分地僅解碼經框內寫碼視頻圖像或僅解碼視頻串流之時間子集而實現。圖4繪示用於串流視頻內容之DASH呈現400之實例。視頻內容含於媒體呈現402中，媒體呈現402可描述連續視頻串流。媒體呈現402可包括媒體呈現描述(MPD)，其亦可被稱作資訊清單。MPD為使用例如可延伸標示語言(XML)而格式化之文件，其含有關於媒體呈現402中之媒體區段的資訊。此資訊可包括例如區段與可用以在區段之間選擇之資訊之間的關係。MPD亦可包括用戶端器件(例如，接收內容之器件)可使用的其他資料。媒體呈現402可劃分成時段404a至404c。如由DASH定義之時段為媒體呈現402內之時間間隔。該呈現因此由時段404a至404c之連續序列組成。時段404a至404c可由例如開始時間描述，其中開始時間指示時段中之時間間隔開始的時間。換言之，開始時間為自時間零之偏移。在時段404b (例如，在所繪示實例中為時段2)內，媒體內容可具有一致的編碼集合，其包括例如平均位元速率、語言、輔助字幕設定、副標題設定等等。時段404b亦可提供可供串流內容之源(例如，基本統一資源定位符(URL))。時段404b中之內容可配置成調適集424、426。調適集表示一或多個媒體內容組件之可互換式經編碼版本集合。舉例而言，時段可包括用於主要視頻分量之一個調適集424及用於主要音訊分量之單獨調適集426。當存在諸如輔助字幕或音訊描述之其他可用內容時，此等者中之每一者可具有單獨調適集。調適集(例如，視頻調適集424)可含有多個替代表示432。表示描述一或若干媒體內容分量之可遞送式經編碼版本。調適集內之任何單一表示可用以在時段中顯現媒體內容分量。所發送之一個調適中之不同表示可被視為感知上等效，此意謂用戶端器件可在調適集內自一個呈現動態地切換至另一呈現，以便調適於網路條件或其他因素。舉例而言，每一表示可具有特定頻寬及圖框高度與寬度，以及諸如圖框速率或編碼類型之其他資訊。表示432可進一步包括描述媒體呈現402中之區段的區段資訊442。區段資訊442可描述初始化區段444及一或多個媒體區段446a至446c。初始化區段444可包括先於媒體自身之一些內容。每一媒體區段446a至446c包括整個時段404b之部分。媒體區段446a至446c可由相對於時段404b之開始的開始時間以及源位置(例如，URL)描述。 ISOBMFF指定用於AVC及HEVC以及其延伸之MIME類型「編解碼器」參數的子參數。當使用DASH串流內容時，可提供MIME類型參數作為MPD中之屬性(例如，@mimeType)。含有必需的資訊攜載SEI訊息之SEI NAL單元可被包括作為「編解碼器」參數或不同MIME類型參數之部分，因此使此等SEI訊息能夠經由@mimeType屬性而可自MPD提取。 MPEG輸送串流(MPEG-TS)為可藉以經由網路傳輸經編碼位元串流之囊封格式。圖5繪示MPEG輸送串流500之實例。MPEG-TS為用以傳輸及儲存音訊、視頻及程式設計資料之容器格式。MPEG-TS指定囊封經封包化基本串流之容器格式，其具有用於在信號降級時維持傳輸完整性之錯誤校正及串流同步特徵。MPEG-TS意欲用於經由諸如地面及衛星廣播之不可靠傳輸媒體而流線化。 MPEG輸送串流500包括多個輸送封包502。封包為輸送串流中之資料的基本單位。輸送串流自身為封包序列，而無任何全域標頭。每一封包502包括標頭504及酬載506。標頭504提供關於封包502之資訊，包括例如描述酬載之內容、相對於其他封包之封包序列、錯誤資訊等等。標頭504可包括封包識別符508 (PID)，以及其他欄位。封包識別符508可描述包括於酬載506中之資料。舉例而言，PID = 2指示酬載506包括輸送串流描述符表(TSDT)中之一些或全部。輸送串流描述符表可含有與輸送串流500相關之描述符510。在一些實例中，可包括必需的資訊攜載SEI訊息作為含有視頻編解碼器設定檔及層級資訊之描述符之部分，作為相似描述符。藉由包括於此等描述符當中，解碼器可剖析必需的資訊攜載SEI訊息以及必需的解碼資訊。一些實例應用可使用即時傳送協定(RTP)進行媒體輸送，且使用作業階段描述協定(SDP)以信令傳輸關於媒體之資訊。SDP可用以描述多媒體通信作業階段。舉例而言，此等描述可用於作業階段宣告、作業階段邀請及參數協商。SDP並不用以遞送媒體自身，而是可用於針對媒體類型、格式及關聯性質之協商之端點之間。性質及參數集合常常被稱作作業階段設定檔。SDP最初為作業階段宣告協定(SAP)之分量，但另外結合即時傳送協定(RTP)、即時串流協定(RTSP)、作業階段起始協定(SIP)而使用，且用作用於描述多播作業階段之獨立式格式。SDP在RFC 4566中予以描述。圖6繪示用於網路通信之開放系統互連(OSI)模型600之實例。在此模型內，SDP實施於作業階段層610中，其中發生連接管理、錯誤恢復、安全性、遠端操作及其他功能。作業階段屬性620可在作業階段層610中進行交換。 OSI模型600標準化通信功能，且合規性實現不同通信系統之間的互操作性。模型600中之每一層伺服上方層，且由下方層伺服。實體層602定義經由實體媒體的原始位元串流之傳輸及接收。資料鏈路層604定義兩個節點之間的資料圖框之可靠傳輸。在資料鏈路層604中處置諸如實體定址之操作。網路層606定義多節點網路之結構及管理，包括定址、路由及訊務控制。諸如封包片段化及邏輯定址之操作發生於網路層606中。輸送層608定義網路上之點之間的資料區段之可靠傳輸，包括分段、應答及多工。諸如端對端連接管理、訊息分段、訊息定序、可靠性及流程控制之操作可發生於輸送層608中。作業階段層610定義作業階段之管理，作業階段為呈兩個節點之間的多個背對背傳輸之形式的資訊之連續交換。如先前所提到，諸如連接管理、錯誤恢復、安全性及遠端操作之操作可發生於作業階段層610中。呈現層612定義網路連接服務與應用程式之間的資料之轉譯，包括字元編碼、資料壓縮，及加密及/或解密。應用層614包括高層級應用程式設計介面(API)，包括資源共用、遠端檔案存取及其他操作。在一些實例中，必需的資訊攜載SEI訊息可包括於SDP檔案中作為SDP屬性。下文提供作業階段描述中之欄位之實例。運用「=*」指定選用欄位，且在以下實例中，可使用作業階段屬性線及/或媒體屬性線指定必需的資訊攜載SEI訊息。作業階段描述 v= (協定版本號碼，當前僅為0) o= (發起者及作業階段識別符：使用者名稱，識別符，版本號碼，網路位址) s= (作業階段名稱：強制具有至少一個UTF-8-經編碼字元) i=* (作業階段標題或短資訊) u=* (描述之URI) e=* (具有選用聯繫人姓名之零或多個電子郵件地址) p=* (具有選用聯繫人姓名之零或多個電話號碼) c=* (連接資訊—在包括於所有媒體中之情況下係不需要的) b=* (零或多個頻寬資訊線)一或多個時間描述 ( 「 t= 」及「 r= 」線； 參見下文 ) z=* (時區調整) k=* (加密金鑰) a=* (零或多個作業階段屬性線)零或多個媒體描述 ( 每一者始於「 m= 」線； 參加下文 ) 時間描述 t= (作業階段在作用中之時間) r=* (零或多個重複時間)媒體描述 m= (媒體名稱及輸送位址) i=* (媒體標題或資訊欄位) c=* (連接資訊—在包括於作業階段層級處之情況下係選用的) b=* (零或多個頻寬資訊線) k=* (加密金鑰) a=* (零或多個媒體屬性線—超覆作業階段屬性線) 圖7繪示用於編碼視頻資料之處理程序700之實例。方法可由諸如本文中所描述之視頻寫碼系統實施。在702處，處理程序700包括接收視頻資料。可例如針對視頻寫碼系統之視頻捕捉器件接收視頻資料。作為另一實例，可自諸如硬碟機或快閃記憶體元件之儲存器件及/或經由網路接收視頻資料。在704處，處理程序700包括由編碼器件判定是否需要與視頻資料相關聯之資訊來呈現視頻資料，其中資訊不需要用於解碼視頻資料。編碼器件可為視頻寫碼系統之部分。可在接收視頻資料的同時接收資訊。替代地，可在編碼器件接收視頻資料之前將資訊提供至編碼器件。舉例而言，編碼器件可經提前組態有資訊。替代地，資訊可為視頻資料之分量。在各項實例中，資訊在由解碼器件使用時可使解碼器件能夠以某一方式處理及/或顯示視頻資料。舉例而言，資訊可包括圖框封裝配置，其指示圖像在圖框被編碼之前已封裝成該圖框的方式。作為另一實例，資訊可包括顯示定向，其指示視頻資料將被呈現的顯示之所要定向(例如，旋轉)。作為另一實例，資訊可包括分段矩形圖框封裝配置，其可指示圖像在封裝成圖框之前分段，及區段在圖框被編碼之前封裝成圖框的方式。作為另一實例，資訊可包括全向投影指示，其可向解碼器件指示視頻資料為360度視頻資料。在此等及其他實例中，在一些狀況下，解碼器件可使用資訊以判定解碼器件是否能夠顯示視頻資料。在各項實例中，編碼器件經組態有可由編碼器件使用以判定是否需要資訊來呈現視頻資料之一或多個參數。此等參數可包括例如適用於視頻資料之膠捲粒紋特性或色調映射、用以產生視頻資料之色量或色彩映射，及/或圖框封裝組態，以及其他者。在706處，處理程序700包括產生補充增強資訊(SEI)訊息，其中SEI訊息包括指示是否需要資訊來呈現視頻資料之欄位。舉例而言，SEI訊息可為SEI資訊清單訊息，其可包括識別與視頻資料一起被包括之SEI訊息類型的欄位，及指示此等SEI訊息中之每一者之必需性的欄位。作為另一實例，SEI訊息可為可包括必需的資訊之首碼SEI訊息。作為另一實例，SEI訊息可為ESI SEI訊息。作為另一實例，SEI訊息可為NSI SEI訊息。在一些實例中，SEI訊息之語法元素指示SEI訊息之類型。在此等實例中，解碼器件可使用語法元素以將SEI訊息識別為不同於諸如表1中所定義之SEI訊息。在708處，處理程序700包括編碼視頻資料。可使用例如HEVC或AVC標準或另一視頻寫碼標準編碼視頻資料。在各項實例中，編碼視頻資料可產生經編碼視頻位元串流，其中經編碼視頻位元串流包括視頻資料之經壓縮版本。在710處，處理程序700包括將SEI訊息與經編碼視頻資料一起包括。在一些實例中，SEI訊息可包括於經編碼視頻資料中。在一些實例中，可以囊封格式將SEI訊息連同經編碼視頻資料一起包括。舉例而言，處理程序700可包括將經編碼視頻資料及SEI訊息寫入至檔案，其中根據檔案格式將經編碼視頻資料及SEI訊息寫入至檔案。在此等實例中，處理程序700可進一步包括使用檔案格式以將SEI訊息置放於檔案中的可在讀取經編碼視頻資料之前讀取SEI之處。作為另一實例，處理程序700可包括囊封經編碼視頻資料以供串流，其中根據串流格式囊封經編碼視頻資料。在此實例中，處理程序700可進一步包括根據串流格式產生經編碼視頻資料之描述，其中描述包括SEI訊息。作為另一實例，處理程序700可包括囊封經編碼視頻資料以供經由網路而傳輸，其中根據容器格式囊封經編碼視頻資料。在此實例中，處理程序700可進一步包括根據容器格式產生第一封包，其中第一封包之酬載部分包括SEI訊息作為描述符。處理程序700可進一步包括產生包括經編碼視頻資料之一或多個封包，其中一或多個封包按傳輸次序在第一封包之後。作為另一實例，處理程序700可進一步包括囊封經編碼視頻資料以供經由網路而傳輸，其中根據即時傳送協定囊封經編碼視頻資料。在此實例中，處理程序700可進一步包括根據作業階段描述協定產生作業階段描述，其中作業階段描述包括SEI訊息。在一些實例中，經編碼器件判定需要資訊來呈現視頻資料。在此等實例中，SEI訊息中之欄位可指示必需的資訊包括於經編碼視頻資料中或具備經編碼視頻資料。在此等實例中，解碼器件可使用SEI訊息以識別及定位必需的資訊。在一些實例中，編碼器件判定不需要資訊來呈現視頻資料。在此等實例中，SEI訊息中之欄位可指示無必需的資訊包括於經編碼視頻資料中或與經編碼視頻資料一起被包括。在一些實例中，資訊與經編碼視頻資料一起被包括。舉例而言，資訊可包括於SEI訊息中。替代地或另外，資訊可包括於一或多個額外SEI訊息中。在一些實例中，額外SEI訊息可識別每一SEI訊息所攜載之類型資訊。在一些實例中，額外SEI訊息中之每一者可指示由每一SEI訊息攜載之資訊之必需性。在一些實例中，在如上文所論述而產生之SEI訊息中指示每一SEI訊息之必需性。圖8繪示用於解碼視頻資料之處理程序800之實例。處理程序800可例如由諸如本文中所描述之視頻寫碼器件實施。在802處，處理程序800包括在解碼器件處接收經編碼視頻位元串流、補充增強資訊(SEI)訊息及與經編碼視頻位元串流相關聯之資訊。在一些實例中，解碼器件為視頻寫碼器件之部分。在一些實例中，解碼器件自儲存器件及/或經由網路接收經編碼視頻位元串流。在一些實例中，解碼器件自編碼器件接收經編碼視頻位元串流。在一些實例中，SEI訊息及/或與經編碼視頻位元串流相關聯之資訊包括於經編碼視頻位元串流中。在一些實例中，SEI訊息及/或資訊具備例如呈包括經編碼視頻位元串流之囊封格式的經編碼視頻位元串流。舉例而言，可在檔案中接收經編碼視頻位元串流、SEI訊息及與經編碼視頻位元串流相關聯之資訊，其中根據檔案格式來格式化檔案。在此實例中，檔案格式可規定SEI訊息可在由解碼器件讀取的檔案之部分中，該部分在包括經編碼視頻位元串流的檔案之部分之前。作為另一實例，可在資料串流中接收經編碼視頻位元串流、SEI訊息及與經編碼視頻位元串流相關聯之資訊，其中根據串流格式來格式化資料串流。在此實例中，解碼器件可自資料串流讀取經編碼視頻資料之描述，其中描述包括SEI訊息。作為另一實例，可在複數個網路封包中接收經編碼視頻位元串流、SEI訊息及與經編碼視頻位元串流相關聯之資訊。在此實例中，解碼器件可自來自複數個網路封包之第一封包之酬載部分讀取SEI訊息。SEI訊息可例如被提供為酬載中之描述符。在此實例中，解碼器件可進一步自來自複數個網路封包之一或多個封包讀取經編碼視頻資料，其中一或多個封包按傳輸次序在第一封包之後。作為另一實例，可經由網路接收經編碼視頻位元串流、SEI訊息及與經編碼視頻位元串流相關聯之資訊。在此實例中，可根據即時傳送協定囊封經編碼視頻位元串流，且可在作業階段描述中包括SEI訊息，其中根據作業階段描述協定格式化作業階段描述。在804處，處理程序800包括使用SEI訊息判定是否需要資訊來呈現經編碼視頻位元串流中之視頻資料，其中資訊不需要用於解碼視頻資料，且其中SEI訊息包括指示是否需要資訊來呈現視頻資料之欄位。在一些實例中，SEI訊息之語法元素指示SEI訊息之類型。在此等實例中，解碼器件可使用語法元素以判定SEI訊息可包括是否需要資訊來呈現視頻資料之指示。在一些實例中，資訊包括於SEI訊息中，及/或包括於與經編碼視頻資料一起被包括之一或多個額外SEI訊息中。舉例而言，SEI訊息可包括與經編碼視頻資料一起被包括之SEI訊息類型之清單。在此實例中，該清單可進一步指示包括於SEI訊息中之每一者中之資料的必需性。作為另一實例，SEI訊息類型可指示SEI訊息包括抑或不包括必需的資訊。在806處，處理程序800包括解碼經編碼視頻位元串流以產生視頻資料，其中根據判定是否需要資訊來呈現視頻資料之結果解碼經編碼視頻位元串流。在一些實例中，解碼器件判定需要資訊來呈現視頻資料。在此等實例中，解碼器件根據資訊組態視頻資料。舉例而言，在解碼經編碼視頻資料後，解碼器件就可根據圖框封裝格式重新配置視頻圖框之內容。作為另一實例，解碼器件可配置視頻圖框以用於使用360度顯示而顯示。作為另一實例，解碼器件可將色彩資訊提供至顯示器件，其中可使用色彩資訊顯示視頻資料。在一些實例中，解碼器件判定不需要資訊來呈現視頻資料。在此等實例中，解碼器件可在不使用資訊之情況下解碼經編碼視頻資料。在一些實例中，處理程序700、800可由諸如視頻寫碼系統100之計算器件或裝置執行。舉例而言，處理程序700、800可由圖1所展示之視頻寫碼系統100執行。在一些狀況下，計算器件或裝置可包括處理器、微處理器、微電腦，或經組態以實行處理程序700及800之步驟的器件之其他組件。在一些實例中，計算器件或裝置可包括經組態以捕捉包括視頻圖框之視頻資料(例如，視頻序列)的攝影機。舉例而言，計算器件可包括攝影機器件(例如，IP攝影機或其他類型之攝影機器件)，該攝影機器件可包括視頻編解碼器。在一些實例中，捕捉視頻資料之攝影機或其他捕捉器件與計算器件分離，在此狀況下，計算器件接收經捕捉視頻資料。計算器件可進一步包括經組態以傳達視頻資料之網路介面。網路介面可經組態以傳達基於網際網路協定(IP)之資料。處理程序700、800被繪示為邏輯流圖，其操作表示可以硬體、電腦指令或其組合而實施之操作序列。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上的在由一或多個處理器執行時執行所敍述操作之電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、物件、組件、資料結構及其類似者。操作被描述之次序並不意欲被認作限制，且任何數目個所描述操作可按任何次序及/或與實施處理程序並行地組合。另外，處理程序700、800可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可被實施為共同地執行於一或多個處理器上、由硬體執行或其組合之程式碼(例如，可執行指令、一或多個電腦程式，或一或多個應用程式)。如上文所提到，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。本文中所論述之方法及操作可使用經壓縮視頻予以實施，且可實施於實例視頻編碼及解碼系統(例如，系統100)中。在一些實例中，系統包括源器件，源器件提供稍後將由目的地器件解碼之經編碼視頻資料。詳言之，源器件經由電腦可讀媒體將視頻資料提供至目的地器件。源器件及目的地器件可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視頻遊戲主控台、視頻串流器件或其類似者。在一些狀況下，源器件及目的地器件可經裝備以用於無線通信。目的地器件可經由電腦可讀媒體接收待解碼之經編碼視頻資料。電腦可讀媒體可包含能夠將經編碼視頻資料自源器件移動至目的地器件的任何類型之媒體或器件。在一項實例中，電腦可讀媒體可包含通信媒體以使源器件能夠即時將經編碼視頻資料直接傳輸至目的地器件。可根據諸如無線通信協定之通信標準調變經編碼視頻資料，且將經編碼視頻資料傳輸至目的地器件。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成諸如區域網路、廣域網路或諸如網際網路之全域網路的基於封包之網路之部分。通信媒體可包括路由器、交換器、基地台，或可用於促進自源器件至目的地器件之通信的任何其他設備。在一些實例中，可將經編碼資料自輸出介面輸出至儲存器件。相似地，可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本機存取資料儲存媒體中之任一者，諸如硬碟機、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視頻資料之任何其他合適數位儲存媒體。在一另外實例中，儲存器件可對應於可儲存由源器件產生之經編碼視頻的檔案伺服器或另一中間儲存器件。目的地器件可經由串流或下載自儲存器件存取經儲存視頻資料。檔案伺服器可為能夠儲存經編碼視頻資料且將彼經編碼視頻資料傳輸至目的地器件的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本機磁碟機。目的地器件可經由包括網際網路連接之任何標準資料連接來存取經編碼視頻資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視頻資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等等)或此兩者之組合。自儲存器件的經編碼視頻資料之傳輸可為串流傳輸、下載傳輸或其組合。本發明之技術未必限於無線應用或設定。該等技術可應用於視頻寫碼以支援多種多媒體應用中之任一者，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視頻傳輸(諸如HTTP動態調適性串流(DASH))、編碼至資料儲存媒體上之數位視頻、儲存於資料儲存媒體上之數位視頻之解碼，或其他應用。在一些實例中，系統可經組態以支援單向或雙向視頻傳輸以支援諸如視頻串流、視頻播放、視頻廣播及/或視頻電話之應用。在一項實例中，源器件包括視頻源、視頻編碼器及輸出介面。目的地器件可包括輸入介面、視頻解碼器及顯示器件。源器件之視頻編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件可自諸如外部攝影機之外部視頻源接收視頻資料。同樣地，目的地器件可與外部顯示器件介接，而非包括整合式顯示器件。以上實例系統僅僅為一項實例。用於並行地處理視頻資料之技術可由任何數位視頻編碼及/或解碼器件執行。儘管本發明之技術通常由視頻編碼器件執行，但該等技術亦可由視頻編碼器/解碼器(通常被稱作「編解碼器」)執行。此外，本發明之技術亦可由視頻預處理器執行。源器件及目的地器件僅僅為源器件產生經寫碼視頻資料以供傳輸至目的地器件的此等寫碼器件之實例。在一些實例中，源器件及目的地器件可以實質上對稱方式操作，使得該等器件中之每一者包括視頻編碼及解碼組件。因此，實例系統可支援視頻器件之間的單向或雙向視頻傳輸，例如，用於視頻串流、視頻播放、視頻廣播或視頻電話。視頻源可包括視頻捕捉器件，諸如視頻攝影機、含有經先前捕捉視頻之視頻檔案庫，及/或用以自視頻內容提供者接收視頻之視頻饋送介面。作為一另外替代例，視頻源可產生基於電腦圖形之資料作為源視頻，或實況視頻、存檔視頻及電腦產生視頻之組合。在一些狀況下，若視頻源為視頻攝影機，則源器件及目的地器件可形成所謂的攝影機電話或視頻電話。然而，如上文所提及，本發明中所描述之技術一般可適用於視頻寫碼，且可適用於無線及/或有線應用。在每一狀況下，可由視頻編碼器編碼經捕捉、經預捕捉或電腦產生視頻。接著可由輸出介面將經編碼視頻資訊輸出至電腦可讀媒體上。如所提到，電腦可讀媒體可包括：暫時性媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視頻光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件接收經編碼視頻資料，且例如經由網路傳輸將經編碼視頻資料提供至目的地器件。相似地，媒體生產設施(諸如光碟衝壓設施)之計算器件可自源器件接收經編碼視頻資料且生產含有經編碼視頻資料之光碟。因此，在各項實例中，電腦可讀媒體可被理解為包括各種形式之一或多個電腦可讀媒體。目的地器件之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視頻編碼器定義之語法資訊，其亦由視頻解碼器使用，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示器件將經解碼視頻資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。已描述各項實例。圖9及圖10中分別展示編碼器件104及解碼器件112之特定細節。圖9為繪示可實施本發明中所描述之技術中之一或多者之實例編碼器件104的方塊圖。編碼器件104可例如產生本文中所描述之語法結構(例如，VPS、SPS、PPS或其他語法元素之語法結構)。編碼器件104可執行視頻截塊內之視頻區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以縮減或移除給定視頻圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以縮減或移除視頻序列之鄰近或周圍圖框內的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間之壓縮模式中之任一者。編碼器件104包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視頻區塊重新建構，編碼器件104亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如解區塊濾波器、調適性迴路濾波器(ALF)及樣本調適性偏移(SAO)濾波器。儘管濾波器單元63在圖9中被展示為迴路內濾波器，但在其他組態中，濾波器單元63可被實施為迴路後濾波器。後處理器件57可對由編碼器件104產生之經編碼視頻資料執行額外處理。在一些情況下，本發明之技術可由編碼器件104實施。然而，在其他情況下，本發明之技術中之一或多者可由後處理器件57實施。如圖9所展示，編碼器件104接收視頻資料，且分割單元35將資料分割成視頻區塊。分割亦可包括分割成截塊、截塊區段、影像塊或其他較大單元，以及例如根據LCU及CU之四元樹結構的視頻區塊分割。編碼器件104大體上繪示編碼待編碼視頻截塊內之視頻區塊的組件。可將截塊劃分成多個視頻區塊(且可能劃分成被稱作影像塊之視頻區塊集合)。預測處理單元41可針對當前視頻區塊基於誤差結果(例如，寫碼速率及失真程度，或其類似者)選擇複數個可能寫碼模式中之一者，諸如複數種框內預測寫碼模式中之一者或複數種框間預測寫碼模式中之一者。預測處理單元41可將所得的經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料，且將所得的經框內或框間寫碼區塊提供至求和器62以重新建構經編碼區塊以供用作參考圖像。預測處理單元41內之框內預測處理單元46可相對於與待寫碼之當前區塊在同一圖框或截塊中之一或多個相鄰區塊執行當前視頻區塊之框內預測寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44相對於一或多個參考圖像中之一或多個預測性區塊執行當前視頻區塊之框間預測性寫碼，以提供時間壓縮。運動估計單元42可經組態以根據用於視頻序列之預定圖案來判定用於視頻截塊之框間預測模式。預定圖案可將序列中之視頻截塊指定為P截塊、B截塊或GPB截塊。運動估計單元42及運動補償單元44可高度地整合，但出於概念目的而被單獨地繪示。由運動估計單元42執行之運動估計為產生運動向量之處理程序，該等運動向量估計視頻區塊之運動。舉例而言，運動向量可指示當前視頻圖框或圖像內之視頻區塊之預測單元(PU)相對於參考圖像內之預測性區塊的位移。預測性區塊為被發現在像素差方面接近地匹配於待寫碼視頻區塊之PU的區塊，該像素差可由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中，編碼器件104可計算儲存於圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言，編碼器件104可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋，且輸出具有分數像素精確度之運動向量。運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊之位置而計算用於經框間寫碼截塊中之視頻區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中之每一者識別儲存於圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算的運動向量發送至熵編碼單元56及運動補償單元44。由運動補償單元44執行之運動補償可涉及基於由運動估計判定之運動向量而提取或產生預測性區塊，可能執行子像素精確度之內插。在接收到用於當前視頻區塊之PU的運動向量後，運動補償單元44就可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼器件104藉由自正被寫碼之當前視頻區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視頻區塊。像素差值形成用於區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減去運算之一或多個組件。運動補償單元44亦可產生與視頻區塊及視頻截塊相關聯之語法元素，以供解碼器件112用來解碼視頻截塊之視頻區塊。作為如上文所描述的由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測處理單元46可框內預測當前區塊。詳言之，框內預測處理單元46可判定待使用之框內預測模式以編碼當前區塊。在一些實例中，框內預測處理單元46可例如在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測處理單元46可自經測試模式選擇待使用之適當框內預測模式。舉例而言，框內預測處理單元46可使用針對各種經測試框內預測模式之速率-失真分析來計算速率-失真值，且可在經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)量，以及用以產生經編碼區塊之位元速率(亦即，位元數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。在任何狀況下，在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之經選擇框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示經選擇框內預測模式之資訊。編碼器件104可在經傳輸位元串流組態資料中包括用於各種區塊之編碼上下文的定義，以及待用於該等上下文中之每一者之最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表的指示。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。在預測處理單元41經由框間預測或框內預測而產生用於當前視頻區塊之預測性區塊之後，編碼器件104藉由自當前視頻區塊減去預測性區塊而形成殘餘視頻區塊。殘餘區塊中之殘餘視頻資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上相似變換之變換將殘餘視頻資料變換成殘餘變換係數。變換處理單元52可將殘餘視頻資料自像素域轉換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步縮減位元速率。量化處理程序可縮減與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54接著可執行包括經量化變換係數之矩陣的掃描。替代地，熵編碼單元56可執行該掃描。在量化之後，熵編碼單元56熵編碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文調適性可變長度寫碼(CAVLC)、上下文調適性二進位算術寫碼(CABAC)、基於語法之上下文調適性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至解碼器件112，或加以存檔以供稍後由解碼器件112傳輸或擷取。熵編碼單元56亦可熵編碼用於正被寫碼之當前視頻截塊之運動向量及其他語法元素。反量化單元58及反變換處理單元60分別應用反量化及反變換以在像素域中重新建構殘餘區塊，以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊與參考圖像清單內之參考圖像中之一者的預測性區塊相加來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重新建構殘餘區塊，以計算次整數像素值以用於運動估計。求和器62將經重新建構殘餘區塊與由運動補償單元44產生之運動補償預測區塊相加以產生用於儲存於圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視頻圖框或圖像中之區塊。以此方式，圖9之編碼器件104表示經組態以產生用於經編碼視頻位元串流之語法的視頻編碼器之實例。編碼器件104可例如產生如上文所描述之VPS、SPS及PPS參數集。編碼器件104可執行本文中所描述之技術中之任一者，包括上文關於圖7及圖8所描述之處理程序。本發明之技術大體上已關於編碼器件104加以描述，但如上文所提及，本發明之技術中之一些亦可由後處理器件57實施。圖10為繪示實例解碼器件112之方塊圖。解碼器件112包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，解碼器件112可執行與關於來自圖9之編碼器件104所描述之編碼遍次大體上互逆的解碼遍次。在解碼處理程序期間，解碼器件112接收經編碼視頻位元串流，其表示經編碼視頻截塊之視頻區塊及由編碼器件104發送之關聯語法元素。在一些實例中，解碼器件112可自編碼器件104接收經編碼視頻位元串流。在一些實例中，解碼器件112可自網路實體79接收經編碼視頻位元串流，網路實體79係諸如伺服器、媒體感知網路元件(MANE)、視頻編輯器/拼接器，或經組態以實施上文所描述之技術中之一或多者的其他此類器件。網路實體79可能或可能不包括編碼器件104。本發明中所描述之技術中之一些可在網路實體79將經編碼視頻位元串流傳輸至解碼器件112之前由網路實體79實施。在一些視頻解碼系統中，網路實體79及解碼器件112可為單獨器件之部分，而在其他情況下，關於網路實體79所描述之功能性可由包含解碼器件112之同一器件執行。解碼器件112之熵解碼單元80熵解碼位元串流以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測處理單元81。解碼器件112可接收視頻截塊層級及/或視頻區塊層級處之語法元素。熵解碼單元80可處理及剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。當視頻截塊被寫碼為經框內寫碼(I)截塊時，預測處理單元81之框內預測處理單元84可基於經信令傳輸之框內預測模式及來自當前圖框或圖像之經先前解碼區塊的資料而產生用於當前視頻截塊之視頻區塊的預測資料。當視頻圖框被寫碼為經框間寫碼(亦即，B、P或GPB)截塊時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生用於當前視頻截塊之視頻區塊的預測性區塊。可自參考圖像清單內之參考圖像中之一者產生預測性區塊。解碼器件112可基於儲存於圖像記憶體92中之參考圖像而使用預設建構技術來建構參考圖框清單：清單0及清單1。運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視頻截塊之視頻區塊的預測資訊，且使用預測資訊來產生用於正被解碼之當前視頻區塊的預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素以判定用以寫碼視頻截塊之視頻區塊的預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、用於截塊之一或多個參考圖像清單的建構資訊、用於截塊之每一經框間編碼視頻區塊的運動向量、用於截塊之每一經框間寫碼視頻區塊的框間預測狀態，及用以解碼當前視頻截塊中之視頻區塊的其他資訊。運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在編碼視頻區塊期間由編碼器件104使用之內插濾波器來計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元82可自所接收之語法元素判定由編碼器件104使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。反量化單元86反量化或解量化位元串流中提供且由熵解碼單元80解碼之經量化變換係數。反量化處理程序可包括使用由編碼器件104針對視頻截塊中之每一視頻區塊計算之量化參數以判定應被應用之量化程度且同樣地判定應被應用之反量化程度。反變換處理單元88將反變換(例如，反DCT或其他合適反變換)、反整數變換或概念上相似反變換處理程序應用於變換係數以便在像素域中產生殘餘區塊。在運動補償單元82基於運動向量及其他語法元素而產生用於當前視頻區塊之預測性區塊之後，解碼器件112藉由求和來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊而形成經解碼視頻區塊。求和器90表示可執行此求和運算之一或多個組件。必要時，迴路濾波器(在寫碼迴路中或在寫碼迴路之後)亦可用以使像素轉變平滑，或以其他方式改良視頻品質。濾波器單元91意欲表示一或多個迴路濾波器，諸如解區塊濾波器、調適性迴路濾波器(ALF)及樣本調適性偏移(SAO)濾波器。儘管濾波器單元91在圖10中被展示為迴路內濾波器，但在其他組態中，濾波器單元91可被實施為迴路後濾波器。給定圖框或圖像中之經解碼視頻區塊接著儲存於圖像記憶體92中，圖像記憶體92儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視頻以供稍後呈現於諸如圖1所展示之視頻目的地器件122的顯示器件上。在前述描述中，本申請案之態樣參考其特定實例予以描述，但熟習此項技術者將認識到，本申請案並不限於此情形。因此，雖然本文中已詳細地描述本申請案之實例，但應理解，本發明之概念可以其他方式不同地體現及使用，且所附申請專利範圍意欲被認作包括此等變化，惟先前技術所限制者除外。上文所描述之實例之各種特徵及態樣可被個別地或聯合地使用。另外，描述實例可用於超出本文中所描述之環境及應用的任何數目個環境及應用，而不脫離本說明書之較廣精神及範疇。因此，本說明書及圖式應被視為說明性而不是限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實例中，可以與所描述之次序不同之次序來執行方法。在組件被描述為「經組態以」執行某些操作之情況下，可例如藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他合適電子電路)以執行操作或其任何組合來實現此組態。結合本文中所揭示之實例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體上按其功能性予以描述。此功能性被實施為硬體抑或軟體取決於特定應用及強加於整個系統上之設計約束。熟習此項技術者可針對每一特定應用而以不同之方式實施所描述功能性，但不應將此等實施決策解譯為造成脫離本申請案之範疇。本文中所描述之技術亦可以電子硬體、電腦軟體、韌體或其任何組合予以實施。此等技術可實施於諸如以下各者之多種器件中之任一者中：一般用途電腦；無線通信器件手機；或具有多種用途之積體電路器件，該等用途包括在無線通信器件手機及其他器件中之應用。可將被描述為模組或組件之任何特徵一起實施於整合式邏輯器件中或單獨地實施為離散但可互操作之邏輯器件。若以軟體予以實施，則該等技術可至少部分地由包含程式碼之電腦可讀資料儲存媒體實現，程式碼包括在執行時執行上文所描述之方法中之一或多者的指令。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如隨機存取記憶體(RAM)，諸如同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體，及其類似者。另外或替代地，該等技術可至少部分地由電腦可讀通信媒體實現，電腦可讀通信媒體攜載或傳達呈指令或資料結構形式且可由電腦存取、讀取及/或執行之程式碼，諸如經傳播信號或波。程式碼可由處理器執行，該處理器可包括一或多個處理器，諸如一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路系統。此處理器可經組態以執行本發明中所描述之技術中之任一者。一般用途處理器可為微處理器；但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可被實施為計算器件之組合，例如，DSP與微處理器之組合、複數個微處理器、一或多個微處理器結合DSP核心，或任何其他此類組態。因此，如本文中所使用之術語「處理器」可指以下各者中之任一者：前述結構、前述結構之任何組合，或適合於實施本文中所描述之技術的任何其他結構或裝置。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組內，或併入於組合式視頻編碼器-解碼器(編解碼器)中。

35‧‧‧分割單元

41‧‧‧預測處理單元

42‧‧‧運動估計單元

44‧‧‧運動補償單元

46‧‧‧框內預測處理單元

50‧‧‧求和器

52‧‧‧變換處理單元

54‧‧‧量化單元

56‧‧‧熵編碼單元

57‧‧‧後處理器件

58‧‧‧反量化單元

60‧‧‧反變換處理單元

62‧‧‧求和器

63‧‧‧濾波器單元

64‧‧‧圖像記憶體

79‧‧‧網路實體

80‧‧‧熵解碼單元

81‧‧‧預測處理單元

82‧‧‧運動補償單元

84‧‧‧框內預測處理單元

86‧‧‧反量化單元

88‧‧‧反變換處理單元

90‧‧‧求和器

91‧‧‧濾波器單元

92‧‧‧圖像記憶體

100‧‧‧視頻寫碼系統

102‧‧‧視頻源

104‧‧‧編碼器件

106‧‧‧編碼器引擎

108‧‧‧儲存體

110‧‧‧輸出

112‧‧‧解碼器件

114‧‧‧輸入

116‧‧‧解碼器引擎

118‧‧‧儲存體

120‧‧‧通信鏈路

122‧‧‧視頻目的地器件

200‧‧‧存取單元

202‧‧‧存取單元分隔符號

204‧‧‧補充增強資訊

206‧‧‧主要經寫碼圖像

208‧‧‧冗餘經寫碼圖像

210‧‧‧序列結束

212‧‧‧串流結束

300‧‧‧國際標準化組織(ISO)基本媒體檔案

310‧‧‧檔案類型方框

320‧‧‧電影方框

322‧‧‧電影標頭方框

324‧‧‧播放軌方框

324a‧‧‧播放軌標頭方框

324b‧‧‧媒體方框

330a‧‧‧電影片段

330b‧‧‧電影片段

330c‧‧‧電影片段

330n‧‧‧電影片段

332‧‧‧電影片段方框

334‧‧‧電影片段標頭方框

336‧‧‧播放軌片段方框

338‧‧‧媒體資料方框

400‧‧‧超文字傳送協定動態調適性串流(DASH)呈現

402‧‧‧媒體呈現

404a‧‧‧時段

404b‧‧‧時段

404c‧‧‧時段

424‧‧‧調適集

426‧‧‧調適集

432‧‧‧表示

442‧‧‧區段資訊

444‧‧‧初始化區段

446a‧‧‧媒體區段

446b‧‧‧媒體區段

446c‧‧‧媒體區段

500‧‧‧動畫專業團體(MPEG)輸送串流

502‧‧‧輸送封包

504‧‧‧標頭

506‧‧‧酬載

508‧‧‧封包識別符(PID)

510‧‧‧描述符

600‧‧‧開放系統互連(OSI)模型

602‧‧‧實體層

604‧‧‧資料鏈路層

606‧‧‧網路層

608‧‧‧輸送層

610‧‧‧作業階段層

612‧‧‧呈現層

614‧‧‧應用層

620‧‧‧作業階段屬性

700‧‧‧處理程序

702‧‧‧步驟

704‧‧‧步驟

706‧‧‧步驟

708‧‧‧步驟

800‧‧‧處理程序

802‧‧‧步驟

804‧‧‧步驟

806‧‧‧步驟

下文參考以下圖式詳細地描述本申請案之說明性實例：圖1為繪示視頻寫碼系統之實例的方塊圖。圖2繪示存取單元之實例。圖3繪示ISO基本媒體檔案之實例。圖4繪示用於串流視頻內容之DASH呈現之實例。圖5繪示MPEG輸送串流之實例。圖6繪示用於網路通信之開放系統互連(OSI)模型600之實例。圖7繪示用於編碼視頻資料之處理程序之實例。圖8繪示用於解碼視頻資料之處理程序之實例。圖9為繪示實例編碼器件之方塊圖。圖10為繪示實例解碼器件之方塊圖。

Claims

一種編碼視頻資料之方法，其包含：接收視頻資料；由一編碼器件判定是否需要與該視頻資料相關聯之資訊來呈現該視頻資料，其中該資訊不需要用於解碼該視頻資料；產生一補充增強資訊(SEI)訊息，其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位；編碼該視頻資料；及將該SEI訊息與該經編碼視頻資料一起包括。
如請求項1之方法，其中該編碼器件經組態有可由該編碼器件使用以判定是否需要該資訊來呈現該視頻資料之一或多個參數。
如請求項1之方法，其中該編碼器件判定需要該資訊來呈現該視頻資料。
如請求項1之方法，其中該編碼器件判定不需要該資訊來呈現該視頻資料。
如請求項1之方法，其中該SEI訊息之一語法元素指示該SEI訊息之一類型。
如請求項1之方法，其中該資訊與該經編碼視頻資料一起被包括。
如請求項1之方法，其進一步包含：將該經編碼視頻資料及該SEI訊息寫入至一檔案，其中根據一檔案格式將該經編碼視頻資料及該SEI訊息寫入至該檔案；及使用該檔案格式以將該SEI訊息置放於該檔案中的可在讀取該經編碼視頻資料之前讀取該SEI之處。
如請求項1之方法，其進一步包含：囊封該經編碼視頻資料以供串流，其中根據一串流格式囊封該經編碼視頻資料；及根據該串流格式產生經編碼視頻資料之一描述，其中該描述包括該SEI訊息。
如請求項1之方法，其進一步包含：囊封該經編碼視頻資料以供經由一網路而傳輸，其中根據一容器格式囊封該經編碼視頻資料；根據該容器格式產生一第一封包，其中該第一封包之一酬載部分包括該SEI訊息作為一描述符；及產生包括該經編碼視頻資料之一或多個封包，其中該一或多個封包按傳輸次序在該第一封包之後。
如請求項1之方法，其進一步包含：囊封該經編碼視頻資料以供經由一網路而傳輸，其中根據一即時傳送協定囊封該經編碼視頻資料；及根據一作業階段描述協定產生一作業階段描述，其中該作業階段描述包括該SEI訊息。
一種編碼器件，其包含：一記憶體，其經組態以儲存視頻資料；及一處理器，其經組態以進行以下操作：判定是否需要與該視頻資料相關聯之資訊來呈現該視頻資料，其中該資訊不需要用於解碼該視頻資料；產生一補充增強資訊(SEI)訊息，其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位；編碼該視頻資料；及將該SEI訊息與該經編碼視頻資料一起包括。
如請求項11之編碼器件，其中該編碼器件經組態有可由該編碼器件使用以判定是否需要該資訊來呈現該視頻資料之一或多個參數。
如請求項11之編碼器件，其中該處理器經進一步組態以進行以下操作：判定需要該資訊來呈現該視頻資料。
如請求項11之編碼器件，其中該處理器經進一步組態以進行以下操作：判定不需要該資訊來呈現該視頻資料。
如請求項11之編碼器件，其中該SEI訊息之一語法元素指示該SEI訊息之一類型。
如請求項11之編碼器件，其中該資訊與該經編碼視頻資料一起被包括。
一種非暫時性電腦可讀媒體，其包含在由一或多個處理器執行時致使該一或多個處理器進行以下操作的指令：接收視頻資料；判定是否需要與該視頻資料相關聯之資訊來呈現該視頻資料，其中該資訊不需要用於解碼該視頻資料；產生一補充增強資訊(SEI)訊息，其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位；編碼該視頻資料；及將該SEI訊息與該經編碼視頻資料一起包括。
一種裝置，其包含：用於接收視頻資料的構件；用於判定是否需要與該視頻資料相關聯之資訊來呈現該視頻資料的構件，其中該資訊不需要用於解碼該視頻資料；用於產生一補充增強資訊(SEI)訊息的構件，其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位；用於編碼該視頻資料的構件；及用於將該SEI訊息與該經編碼視頻資料一起包括的構件。
一種解碼視頻資料之方法，其包含：在一解碼器件處接收一經編碼視頻位元串流、一補充增強資訊(SEI)訊息及與該經編碼視頻位元串流相關聯之資訊；使用該SEI訊息判定是否需要該資訊來呈現該經編碼視頻位元串流中之視頻資料，其中該資訊不需要用於解碼該視頻資料，且其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位；及解碼該經編碼視頻位元串流以產生視頻資料，其中根據判定是否需要該資訊來呈現該視頻資料之一結果解碼該經編碼視頻位元串流。
如請求項19之方法，其中該解碼器件判定需要該資訊來呈現該視頻資料，且其中該解碼器件根據該資訊組態該視頻資料。
如請求項19之方法，其中該解碼器件判定不需要該資訊來呈現該視頻資料，且其中該解碼器件在不使用該資訊之情況下解碼該經編碼視頻資料。
如請求項19之方法，其中該SEI訊息之一語法元素指示該SEI訊息之一類型。
如請求項19之方法，其中在一檔案中接收該經編碼視頻位元串流、該SEI訊息及與該經編碼視頻位元串流相關聯之該資訊，其中根據一檔案格式來格式化該檔案，且其中，根據該檔案格式，該SEI訊息在由該解碼器件讀取的該檔案之一部分中，該部分在包括該經編碼視頻位元串流的該檔案之一部分之前。
如請求項19之方法，其中在一資料串流中接收該經編碼視頻位元串流、該SEI訊息及與該經編碼視頻位元串流相關聯之該資訊，其中根據一串流格式來格式化該資料串流；及自該資料串流讀取該經編碼視頻資料之一描述，其中該描述包括該SEI訊息。
如請求項19之方法，其中在複數個網路封包中接收該經編碼視頻位元串流、該SEI訊息及與該經編碼視頻位元串流相關聯之該資訊；自來自該複數個網路封包之一第一封包之一酬載部分讀取該SEI訊息；及自來自該複數個網路封包之一或多個封包讀取該經編碼視頻資料，其中該一或多個封包按傳輸次序在該第一封包之後。
如請求項19之方法，其中經由一網路接收該經編碼視頻位元串流、該SEI訊息及與該經編碼視頻位元串流相關聯之該資訊，其中根據一即時傳送協定囊封該經編碼視頻位元串流，其中該SEI訊息包括於一作業階段描述中，其中根據一作業階段描述協定格式化該作業階段描述。
一種解碼器件，其包含：一記憶體，其經組態以儲存一經編碼視頻位元串流、一補充增強資訊(SEI)訊息及與該經編碼視頻位元串流相關聯之資訊；及一處理器，其經組態以進行以下操作：使用該SEI訊息判定是否需要該資訊來呈現該經編碼視頻位元串流中之視頻資料，其中該資訊不需要用於解碼該視頻資料，且其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位；及解碼該經編碼視頻位元串流以產生視頻資料，其中根據判定是否需要該資訊來呈現該視頻資料之一結果解碼該經編碼視頻位元串流。
如請求項27之解碼器件，其中該解碼器件判定需要該資訊來呈現該視頻資料，且其中該解碼器件根據該資訊組態該視頻資料。
如請求項27之解碼器件，其中該解碼器件判定不需要該資訊來呈現該視頻資料，且其中該解碼器件在不使用該資訊之情況下解碼該經編碼視頻資料。
如請求項27之解碼器件，其中該SEI訊息之一語法元素指示該SEI訊息之一類型。
一種非暫時性電腦可讀媒體，其包含在由一或多個處理器執行時致使該一或多個處理器進行以下操作的指令：接收一經編碼視頻位元串流、一補充增強資訊(SEI)訊息及與該經編碼視頻位元串流相關聯之資訊；使用該SEI訊息判定是否需要該資訊來呈現該經編碼視頻位元串流中之視頻資料，其中該資訊不需要用於解碼該視頻資料，且其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位；及解碼該經編碼視頻位元串流以產生視頻資料，其中根據判定是否需要該資訊來呈現該視頻資料之一結果解碼該經編碼視頻位元串流。
一種裝置，其包含：用於接收一經編碼視頻位元串流、一補充增強資訊(SEI)訊息及與該經編碼視頻位元串流相關聯之資訊的構件；用於使用該SEI訊息判定是否需要該資訊來呈現該經編碼視頻位元串流中之視頻資料的構件，其中該資訊不需要用於解碼該視頻資料，且其中該SEI訊息包括指示是否需要該資訊來呈現該視頻資料之一欄位；及用於解碼該經編碼視頻位元串流以產生視頻資料的構件，其中根據判定是否需要該資訊來呈現該視頻資料之一結果解碼該經編碼視頻位元串流。