[go: up one dir, main page]

TW201906409A - 一種推導合成軌道的方法及裝置 - Google Patents

一種推導合成軌道的方法及裝置 Download PDF

Info

Publication number
TW201906409A
TW201906409A TW107121494A TW107121494A TW201906409A TW 201906409 A TW201906409 A TW 201906409A TW 107121494 A TW107121494 A TW 107121494A TW 107121494 A TW107121494 A TW 107121494A TW 201906409 A TW201906409 A TW 201906409A
Authority
TW
Taiwan
Prior art keywords
composition
canvas
image
tracks
dimensional sub
Prior art date
Application number
TW107121494A
Other languages
English (en)
Other versions
TWI688263B (zh
Inventor
新 王
魯林 陳
趙帥
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201906409A publication Critical patent/TW201906409A/zh
Application granted granted Critical
Publication of TWI688263B publication Critical patent/TWI688263B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明涉及一種方法、裝置及電腦可讀介質，其用於處理（包括編碼和解碼）合成佈局。視訊資料包括與視埠相關的已編碼的二維子圖像軌道以及將這些軌道進行合成的合成操作。合成操作包括表示如下的資料：對複數個二維子圖像軌道執行以將這些軌道合成與視埠相關的畫布；以及若畫布包括由畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上創建的合成佈局，則合成佈局操作調整該合成。根據合成，複數個二維軌道被合成畫布，包括確定兩個或兩個以上的已合成的二維子圖像軌道包括合成佈局，並基於合成佈局操作調整合成，以補償合成佈局。

Description

一種推導合成軌道的方法及裝置
此處描述的技術大體上涉及視訊編解碼，且具體而言，涉及推導合成軌道（composite track）。
存在不同類型的3D內容和多向內容（multi-directional content）。例如，全景視訊是一種類型的視訊，其是使用一組攝像機集合來捕捉的，而不像僅使用單個攝像機捕捉的傳統單向視訊那樣。例如，攝像機可以被放置在特定中心點周圍，使得每個攝像機捕捉場景的球面覆蓋上的視訊的一部分，以捕捉360度視訊。來自於複數個攝像機的視訊可以被縫合、可能地旋轉以及投影，以生成表示球面內容的已投影二維圖像。例如，等角投影可以被使用以將球面映射成二維圖像。這可以被進一步處理，例如，使用二維編碼和壓縮技術。最後，使用特定傳送機制（例如，拇指驅動器、數位視訊光碟（digital video disk，DVD）、檔下載、數位廣播和/或線上串流），已編碼且已壓縮內容被存儲並傳送。這種視訊可以用於虛擬實境（virtual reality，VR）和/或3D視訊。
在用戶端側，當用戶端處理內容時，視訊解碼器解碼已編碼且已壓縮視訊，並執行逆投影以將內容恢復到球面上。隨後，使用者可以觀看已渲染內容，例如，使用頭戴式觀看設備。根據表示使用者觀看內容所處的角度的用戶的視埠（viewport），內容通常被渲染。視埠也可以包括表示觀看區域的分量，其可以描述觀看者在特定角度處所觀看的區域的大小和形狀。
當視訊處理不以視埠依賴的方式進行，以使得視訊編碼器和/或視訊解碼器不瞭解使用者實際上將要觀看的內容時，整個編碼、傳送和解碼的流程將處理整個球面內容。例如，由於所有球面內容均被編碼、傳送且解碼，這可以允許用戶在任何特定視埠和/或區域處觀看內容。
然而，處理所有球面內容可能是計算密集的，且會消耗較大頻寬。例如，對於線上串流應用，處理所有球面內容會比必要時將更大的負擔施加在網路頻寬上。因此，當頻寬資源和/或計算資源有限時，很難保持用戶體驗。一些技術僅處理使用者正在觀看的內容。例如，如果使用者正在觀看頂端區域（例如，北極），則無需傳送內容的底端部分（例如，南極）。如果使用者改變視埠，則內容可以相應地被傳送以用於新的視埠。又例如，對於自由視點TV（free viewpoint TV，FTV）應用（例如，其使用複數個攝像機捕捉場景的視訊），內容可以基於使用者在哪個角度觀看該場景而被傳送。例如，如果用戶正在觀看來自於一個視埠（例如，攝像機和/或相鄰攝像機）的內容，則可能無需傳送其他視埠的內容。
根據所公開的主題，裝置、系統和方法被提供以用於推導合成軌道。
一些實施例涉及一種編碼方法，用於編碼複數個子圖像軌道的合成操作。本方法包括：編碼三維視訊資料，包括編碼成與視埠相關的複數個二維子圖像軌道；編碼用於將視埠的複數個二維子圖像軌道進行合成的合成操作，其中合成操作包括表示如下的資料：對複數個二維子圖像軌道執行以將複數個二維軌道合成與視埠相關的畫布的合成；以及在畫布包括由畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上創建的合成佈局時調整合成的合成佈局操作；以及提供已編碼的三維視訊資料和合成操作。
在一些示例中，合成佈局包括畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上之間的間隙和畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上的重疊中的至少一個。
在一些示例中，編碼合成操作的合成佈局操作包括：編碼待使用的背景顏色、背景圖像或背景視訊中的一個或複數個，以填充畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上之間的間隙。
在一些示例中，編碼合成操作的合成佈局操作包括：編碼待使用的混合資料，以將畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上的重疊進行混合。
在一些示例中，編碼合成操作的合成包括：自包括如下的組選擇合成：指定重疊操作和用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的順序的軌道重疊合成；指定用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的網格順序的軌道網格合成；以及指定用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的順序和矩陣的軌道矩陣合成。
一些實施例涉及一種解碼方法，用於解碼視訊資料。本方法包括：接收(a)與視埠相關的已編碼的複數個二維子圖像軌道以及(b)將視埠的複數個二維子圖像軌道進行合成的合成操作，其中合成操作包括表示如下的資料：對複數個二維子圖像軌道執行以將複數個二維軌道合成與視埠相關的畫布的合成；以及在畫布包括由畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上創建的合成佈局時調整合成的合成佈局操作。本方法包括：根據合成，將複數個二維軌道合成畫布，包括確定已合成的複數個二維子圖像軌道中的兩個或兩個以上包括合成佈局；以及基於合成佈局操作，調整合成，以補償合成佈局。
在一些示例中，合成佈局包括畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上之間的間隙和畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上的重疊中的至少一個。
在一些示例中，解碼合成操作的合成佈局操作包括：解碼背景顏色、背景圖像或背景視訊中的一個或複數個；以及將複數個二維軌道進行合成包括：填充畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上之間的間隙。
在一些示例中，解碼合成操作的合成佈局操作包括：解碼混合資料；以及將複數個二維軌道進行合成包括：將畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上的重疊進行混合。
在一些示例中，解碼合成操作的合成包括自包括如下的組選擇合成：指定重疊操作和用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的順序的軌道重疊合成；指定用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的網格順序的軌道網格合成；以及指定用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的順序和矩陣的軌道矩陣合成。
一些實施例涉及一種用於解碼視訊資料的裝置。本裝置包括與記憶體通訊的處理器，處理器被配置成執行存儲在記憶體中的複數個指令，使得處理器：接收(a)與視埠相關的已編碼的複數個二維子圖像軌道以及(b)將視埠的複數個二維子圖像軌道進行合成的合成操作，其中合成操作包括表示如下的資料：對複數個二維子圖像軌道執行以將複數個二維軌道合成與視埠相關的畫布的合成；以及在畫布包括由畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上創建的合成佈局時調整合成的合成佈局操作。複數個指令使得處理器：根據合成，將複數個二維軌道合成該畫布，包括確定已合成的複數個二維子圖像軌道中的兩個或兩個以上包括合成佈局；以及基於合成佈局操作，調整合成，以補償合成佈局。
在一些示例中，合成佈局包括畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上之間的間隙和畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上的重疊中的至少一個。
在一些示例中，解碼合成操作的合成佈局操作包括：解碼背景顏色、背景圖像或背景視訊中的一個或複數個；以及將複數個二維軌道進行合成包括：填充畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上之間的間隙。
在一些示例中，解碼合成操作的合成佈局操作包括：解碼混合資料；以及將複數個二維軌道進行合成包括：將畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上的重疊進行混合。
在一些示例中，解碼合成操作的合成包括自包括如下的組選擇合成：指定重疊操作和用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的順序的軌道重疊合成；指定用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的柵順序的軌道柵合成；以及指定用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的順序和矩陣的軌道矩陣合成。
一些實施例涉及一種編碼視訊資料的裝置。本裝置包括與記憶體通訊的處理器，處理器被配置成執行存儲在記憶體中的複數個指令，使得處理器：編碼三維視訊資料，包括編碼成與視埠相關的複數個二維子圖像軌道；編碼用於將視埠的複數個二維子圖像軌道進行合成的合成操作，其中合成操作包括表示如下的資料：對複數個二維子圖像軌道執行以將複數個二維軌道合成與視埠相關的畫布的合成；以及在畫布包括由畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上創建的合成佈局時調整合成的合成佈局操作；以及提供已編碼的三維視訊資料和合成操作。
在一些示例中，合成佈局包括畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上之間的間隙和畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上的重疊中的至少一個。
在一些示例中，編碼合成操作的合成佈局操作包括：編碼待使用的背景顏色、背景圖像或背景視訊中的一個或複數個，以填充畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上之間的間隙。
在一些示例中，編碼合成操作的合成佈局操作包括：編碼待使用的混合資料，以將畫布上合成的複數個二維子圖像軌道中的兩個或兩個以上的重疊進行混合。
在一些示例中，編碼合成操作的合成包括自包括如下的組選擇合成：指定重疊操作和用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的順序的軌道重疊合成；指定用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的網格順序的軌道網格合成；以及指定用於將畫布上的複數個二維子圖像軌道中的每個進行重疊的順序和矩陣的軌道矩陣合成。
因此，大致概述了所公開的主題的特徵，以便更好地理解下列具體實施方式，並且以便更好地理解對本領域的貢獻。當然，存在所公開主題的額外特徵，其將在下文中描述，並形成所附專利申請範圍的主題。可以理解的是，本文中所使用的用語和術語是用於描寫的目的，不應被視為限制。
不同技術可以被用於推導合成軌道，包括推導檔案格式的合成軌道，例如ISO基礎媒體檔案格式（ISO Base Media File Format，ISOBMFF）。
對於推導合成軌道的已有技術不提供魯棒軌道合成。例如，為了執行合成，複數個子圖像軌道可以被合成，以形成視埠。然而，在合成期間，畫布（canvas）（其也可以稱為合成佈局）可以包括不同的佈局，例如，來自於子圖像軌道的圖像之間的間隙和/或重疊來自於子圖像軌道的圖像的重疊。依據本發明的實施方式，已開發對用於推導合成軌道的已有檔案格式的技術改進。這些技術可以包括將元資料應用於子圖像軌道組。這些技術可以允許子圖像軌道組以允許元資料與軌道組的合成內容相關的方式被指定，而不是需要對每個子圖像軌道單獨指定。元資料可以指定合成內容的軌道推導如何被執行。在一些示例中，這些技術可以被使用，例如，以指定間隙情況和/或重疊情況的標準，包括確定背景以用於填充和/或合併。
在下文中，為了透徹理解所公開的主題，提供了關於所公開主題的系統和方法以及這些系統和方法可能操作的環境等的大量而具體的細節。另外，可以理解的是，下面提供的示例是示例性的，並且，可設想的是，存在落入所公開主題的其他系統和方法。
第1圖顯示了根據一些實施例的示例性視訊編解碼配置100。攝像機102A-102N是N個攝像機，並且可以是任何類型的攝像機（例如，包括音訊記錄能力的攝像機和/或單獨的攝像機與音訊記錄功能）。編碼設備104包括視訊處理器106和編碼器108。視訊處理器106處理自攝像機102A-102N接收到的視訊，例如，縫合（stitching）、投影和/或映射。編碼器108編碼和/或壓縮二維視訊資料。解碼設備110接收已編碼資料。透過廣播網路、透過移動網路（例如，蜂窩網路）和/或透過網際網路，解碼設備110可以接收視訊，作為視訊產品（例如，數位視訊光碟或其他電腦可讀介質）。解碼設備110可以是，例如，電腦、手持設備、頭戴式顯示的一部分或者具有解碼能力的任何裝置。解碼設備110包括解碼器112，其被配置成解碼已編碼視訊。解碼設備110也包括渲染器（renderer）114，以用於渲染二維內容回到球面。顯示116顯示來自於渲染器114的已渲染內容。
感興趣區域（region of interest，ROI）在概念上有點類似於視埠。例如，感興趣區域可以表示全景視訊的3D或2D編碼中的區域。感興趣區域可以具有不同的形狀（例如，方形或圓形），其可以被指定與3D或2D視訊相關（例如，基於位置、高度等）。例如，感興趣區域可以表示可被放大的圖像中的區域，並且相應的感興趣區域視訊可以被顯示以用於已放大視訊內容。在一些實施方式中，感興趣區域視訊已被單獨地準備。在這些實施方式中，感興趣區域通常具有單獨的視訊軌道，其承載感興趣區域內容。因此，已編碼視訊可以被用於指定感興趣區域，以及感興趣區域視訊如何與底層視訊相關。
感興趣區域軌道或視埠軌道，例如單獨編碼的感興趣區域軌道，可以與主視訊相關。例如，感興趣區域可以與主視訊相關以方便放大操作和縮小操作，其中感興趣區域用於提供放大區域的內容。例如，MPEG-B, 第 10部分, 標題為 “Carriage of Timed Metadata Metrics of Media in ISO Base Media File Format,” dated June 2, 2016 (w16191)的內容，描述了基於ISO的媒體檔案格式（ISO Base Media File Format，ISOBMFF）檔案格式，其使用有時鐘的元資料軌道（timed metadata track）以發信主2D視訊軌道具有2D 感興趣區域軌道。
通常，使用球面內容，3D內容可以被表示，以提供360度場景的視圖（例如，有時稱為全景媒體內容）。雖然複數個視圖可以支援使用3D球面，但是末端用戶通常僅觀看到3D球面上的內容的一部分。傳輸整個3D球面所需的頻寬會對網路施加沉重的負擔，並且可能不足夠支援球面內容。因此，需要使得3D內容傳送更有效。基於視埠的處理可以被執行以改進3D內容傳送。3D球面內容可以被分割成區域/片段（tile）/子圖像，並且僅與觀看螢幕（例如視埠）相關的區域/片段/子圖像可以被發送並傳送到末端用戶。
第2圖顯示了根據一些示例的用於虛擬實境內容的基於視埠的內容的流程200。如圖所示，在方框202中，球面視埠201（例如，其可以包括整個球面）經歷縫合、投影、映射（以生成已投影且已映射區域）；在方框204中，被編碼（以生成複數個品質的已編碼/轉碼片段）；在方框206中被傳送（以片段的形式）；在方框208中被解碼（以生成已解碼片段）；在方框210中，被構造（以構造球面渲染視埠）；以及在方框212中，被渲染。在方框214中，用戶交互可以選擇一視埠，其啟動透過虛線箭頭所示的複數個關於“及時”的流程步驟。
在流程200中，由於當前網路頻寬的限制和不同適應性要求（例如，關於不同品質、編碼器和保護方案的），使用3D球面或任何其他3D模型所呈現的虛擬實境內容先被處理（縫合、投影和映射）到2D平面（方框202），隨後，被封裝到複數個基於片段（或基於子圖像）且分段的檔中（在方框204中），以用於傳送和播放。在這種基於片段且分段的檔中，2D平面中的空間片段（例如，其表示空間部分，通常在2D平面內容的矩形形狀中）通常被封裝為其變體（variant）的集合，例如，以不同品質和位元速率，或者以不同編碼器和保護方案（例如，不同加密演算法和加密方式）。在一些示例中，這些變體對應於MPEG DASH中的適應集(adaptation set)內的表示（representation）。在一些示例中，基於用戶的關於視埠的選擇，不同片段的這些變體中的一些在被放在一起時提供所選視埠的覆蓋，不同片段的這些變體由接收器接收或被傳送給接收器（透過傳送方框206）、隨後被解碼（在方框208中）以構造並渲染所需視埠（在方框210和方框212中）。
如第2圖所示，視窗概念是末端用戶所觀看的東西，其涉及球面上的區域的角度和尺寸。視埠可以改變，並因此不是靜態的。例如，當使用者移動其頭部時，該系統需要獲得相鄰片段（或子圖像），以覆蓋使用者接下來想要觀看的東西。然而，在執行基於視埠的處理之後，例如，包括剪切（chopping）圖像和/或編碼不同品質，技術不允許指定或關聯元資料（例如，與背景和/或混合相關）到整個圖像，或者整個3D球面內容。
在一些實施例中，使用合成軌道，視埠或感興趣區域可以被發信。使用合成軌道提供單個軌道，其可以被用於表示片段的變體軌道的內容。又例如，使用合成軌道可以有助於建立軌道分層結構，以表示軌道以合成關係的形式如何相關，例如，當合成軌道是自變體軌道和（合成）片段軌道而被推導時。
已推導軌道可以由包含類型‘dtrk’的樣本條目的軌道標識。已推導樣本可以包含操作的已排序清單，其將順序執行來自於與輸入軌道的已排序清單中的相應圖像或樣本的已排序清單。每個操作可以由TransformProperty指定或表示。例如，TransformProperty操作的清單可以包括標識('idtt')；清除孔('clap')；旋轉('srot')；溶解('dslv')；和/或修剪('2dcc')等。
為了支援基於虛擬實境視埠的內容的流程，額外的TransformProperty條目可以被用於自已有軌道推導出合成軌道。不同類型的合成軌道可以被生成，例如，所有視訊軌道的合成(‘cmpa’)、僅一個軌道的合成（‘cmp1’，其可以允許樣本層和樣本組層處的切換）、任何軌道的合成（‘cmpn’，其可以允許樣本層和樣本組層處的切換）、僅一個軌道的選擇（‘sel1’，其可以為軌道層選擇，並且不包括樣本層處的切換）、任何軌道的選擇（‘seln’，其可以為軌道層選擇，並且不包括樣本層處的切換）、縮放(‘scal’)和/或重新調整(‘resz’)。
例如，‘cmpa’轉換屬性可以指定已推導樣本的參考寬度與高度，並且可以將每個輸入圖像放置（例如，合成）在已推導樣本上其相應特定x,y位置和特定尺寸處。‘cmp1’轉換屬性可以指定已推導樣本的參考寬度與高度，並且可以將輸入圖像中的一個、任何一個和僅一個放置在已推導樣本上其相應位置與相應尺寸處。‘cmpn’轉換屬性可以指定已推導樣本的參考寬度與高度，並且可以將一個或複數個輸入圖像放置在已推導樣本上其相應位置處且具有相應尺寸。‘sel1’轉換屬性可以指定已推導樣本的參考寬度與高度，並且可以將一個或複數個輸入圖像放置在已推導樣本上其相應位置與相應尺寸處。‘sel1’轉換屬性可以類似於自輸入軌道的列表選擇一個軌道。‘seln’轉換屬性可以指定已推導樣本的參考寬度與高度，並且可以將來自於整個轉換中所選擇的輸入軌道的同一子集中的一個或複數個輸入圖像放置在已推導樣本上其相應位置處且具有相應尺寸。‘seln’轉換屬性可以類似於自輸入軌道的列表選擇n (n ＞ 0)個軌道。
本質上，‘cmpa’操作、‘cmp1’操作、‘cmpn’操作、‘sel1’操作和‘seln’操作指定複數個‘2dcc’類資料欄，其提供2D空間資訊以用於根據其各自的定義和語義將輸入2D圖像樣本合成已推導2D圖像樣本。根據一些實施例，用這些額外的TransformProperty條目，“片段”軌道可以使用‘cmp1’或‘sel1’被指定為其變體軌道的已推導軌道或合成軌道。整個虛擬實境球面內容的軌道，當被投影到2D平面上時，可以使用‘cmpa’被指定為其“片段”軌道的已推導軌道或合成軌道。視埠或感興趣區域軌道可以使用‘cmpn’或‘seln’被指定為其“片段”軌道的已推導軌道或合成軌道。2017年1月提出且名稱為“Deriving Composite Tracks in ISOBMFF”的m33971（其整體以引用的方式併入本文）中所描述的技術，提供了用於將2D合成軌道映射回到球面3D內容。
第3圖顯示了根據一些實施例的使用合成軌道發信視埠/感興趣區域的示例性示意圖300。4個2D子圖像（或片段）軌道t1-t4（即302）被編碼以用於2個不同的品質（例如，HD的‘h’和SD的‘s’）和2個不同的加密模式（具有計算器（Counter，CTR）的加密模式‘a’和密文分組鏈（Cipher Block Chaining，CBC）的加密模式‘b’的通用加密方案（Common Encryption Scheme，CENC））。編碼和加密生成4個不同組的4個軌道304A-304D（通常稱為已編碼軌道304），以用於總共16個軌道。已編碼片段304A對應於使用第一加密模式（‘a’）編碼的高品質（‘h’）（從而，‘ha’）。已編碼片段304B對應於使用第二加密模式（‘b’）編碼的高品質（‘h’）（從而，‘hb’）。已編碼片段304C對應於使用第一加密模式（‘a’）編碼的低品質（‘l’）（從而，‘la’）。已編碼片段304D對應於使用第二加密模式（‘b’）編碼的低品質（‘l’）（從而，‘lb’）。
合成軌道基於已編碼軌道304被生成。片段是自已編碼軌道304選擇的。這些片段可以是基於一個或複數個轉換屬性（例如，如上所討論的TransformProperties列表）選擇的。例如，根據本示例的如下所示的操作，4個片段s1-s4被選擇： s1 = sel1{cmp1{t1ha, t1la}, cmp1{t1hb, t1lb}} s2 = sel1{cmp1{t2ha, t2la}, cmp1{t2hb, t2lb}} s3 = sel1{cmp1{t3ha, t3la}, cmp1{t3hb, t3lb}} s4 = sel1{cmp1{t4ha, t4la}, cmp1{t4hb, t4lb}}
參考上述示例性操作，合成（cmp1）和選擇（sel1）被使用，因為合成軌道來自於使用不同品質和加密模式而編碼的複數個不同軌道。使用‘cmp1’，品質變體先被合成，隨後使用‘sel1’，加密變體被合成。例如，假設m x n個網格的子圖像軌道，其中每個子圖像具有q個不同品質，並以2個模式被加密，則存在m x n x q x 2個軌道。當適應性地傳送內容時，僅底層連接頻寬的品質被動態地選擇，而加密模式被靜態地選擇。因此，如上所討論，‘cmp1’被用於在樣本層或樣本組層處選擇適當的品質片段，並且‘sel1’被用於在軌道層處選擇適當的已加密片段。
對所選擇的軌道306執行合成，以將子圖像合成到2D內容軌道上。合成流程生成合成軌道C 308和合成軌道r 310。合成軌道C 308可以包括來自於所有選擇的軌道306的資料，而合成軌道r 310可以包括來自於所選擇的軌道306的子集的資料。合成軌道C 308可以被生成，例如使用將所有片段進行合成的cmpa{s1, s2, s3, s4}。在一些實施例中，如果感興趣區域或視埠涉及片段t1、片段t2、片段t3和片段t4中任何一個或由片段t1、片段t2、片段t3和片段t4中任何一個覆蓋，則使用‘cmpn’（例如，和/或如果修剪（crop）、重新調整或旋轉被涉及時可能的其他轉換屬性），感興趣區域或視埠軌道可以被確定。例如，使用cmpn{s1, s2, s3, s4}，感興趣區域或視埠合成軌道r 310可以被確定。在一些實施例中，如果感興趣區域或視埠僅涉及片段t1和片段t2或僅由片段t1和片段t2覆蓋，則使用‘cmpa’（例如，如果修剪、重新調整或旋轉被涉及時可能的其他轉換屬性的組合），感興趣區域或視埠軌道可以被確定。例如，合成軌道r 310可以被生成為cmpa{s1, s2}。編碼器生成元資料軌道m 312，例如，有時鐘的元資料軌道。
如第2圖所示，視埠概念是末端用戶所觀看的東西，其可以基於3D球面上的觀看區域的角度和/或尺寸而被指定。注意的是，視埠不是靜態的。例如，當用戶移動其頭時，視埠改變，使得系統需要獲取其他片段（或子圖像），例如相鄰片段，以覆蓋用戶接下來想要觀看的內容。然而，在執行基於視埠的處理之後，例如，包括剪切圖像和/或編碼不同的品質，技術不允許將元資料指定或相關到整個圖像，或整個3D球面內容。例如，已有技術不提供指定合成佈局操作，包括補償合成佈局，例如間隙和重疊。
檔案格式，例如MPEG檔案格式，可以包括構造和/或推導出軌道的技術。例如，推導技術可以被用於將片段/子圖像組合成更大圖像，例如，以表示更大圖像具有特定區域。一些技術可以在時間域中進行操作，例如，以聚合或提取來自於其他軌道的時間段。影像處理操作也可以被用於構造和/或推導出軌道，並可以包括，例如標識、修剪、旋轉和/或溶解操作。軌道構造和/或推導可以被用於採用來自於一個軌道的一個副本並隨後將其與來自於另一軌道的另一特徵連接在一起，以形成程式。例如，其可以被用於播放廣告，並隨後切換到另一廣告，等。又例如其可以被用於將廣告插入到程式中（例如，作為具有來自於2個不同軌道的構造軌道的推導-一個來自於廣告軌道，且一個來自於TV軌道）。
檔案格式可以包括轉換，例如，轉換矩陣（例如，其可以在軌道頭中）。每個軌道頭可以具有轉換矩陣，以指定此軌道本身的像素如何被轉換成更大圖像，例如，當被放置到不同圖像/更大圖像中時。轉換矩陣可以被用於簡單操作（例如，像素加倍（doubling）、90º旋轉）和/或複雜操作（例如，剪切（shearing）、任意旋轉）。
檔案格式也可以包括混合元資料，例如，阿爾法（alpha）混合元資料，其可以被用於執行2個實體的阿爾法混合。當將軌道放在一起時，阿爾法混合元資料可以被用於間隙或重疊部分。這樣，混合元資料可以被用於預測（anticipate）重疊和/或間隙，並可以被用於指定重疊應如何被形成和/或間隙應如何被填充（例如，間隙可以用背景、視訊等進行填充）等。
在一些實施例中，阿爾法混合參數可以包括合成資訊、模式資訊和/或特定參數。例如，對於ISOBMFF，複數個資料欄可以被指定以用於阿爾法混合元資料。相對於參考座標原點，其可以由應用或包含元資料的基礎軌道和片段軌道的容器格式指定，compositing_top_left_x資料欄和compositing_top_left_y資料欄可以指定合成空間的左上角。compositing_width資料欄和compositing_height資料欄可以指定合成之後的輸出圖像的寬度和高度。資料欄alpha_blending_mode可以指定阿爾法混合模式。具有不同模式的表格及具有預設參數的相關演算法可以在單個檔中被指定，例如ISO/IEC 23001-8和/或W3C推薦。如第4A圖-第4B圖所示，描述了alpha_blending_mode的值的示例性表格400。每個軌道的TrackHeaderBox中‘layer’的參數值，其指定視覺軌道的前到後的順序，可以被設置並用作相對前與後層指示符，以用於合成2個軌道。在表格450中，術語‘源（Source）’和術語‘目標（Destination）’被交替使用，以分別用於前層/頂端層和后層/底端層或背景幕（backdrop）。資料欄blending_mode_specific_params可以指定具有特定混合模式的可選參數（例如，除了使用例如ISO/IEC 23001-8中所指定的預設值之外，其可以包括阿爾法通道資料）。
已有檔案格式技術（例如，合成和分組）不提供將關於整個3D內容（例如，表示虛擬實境內容的3D內容）的全域資訊與子圖像軌道進行相關。例如，已有技術可能不允許元資料與整個圖像相關，例如，不允許元資料標識整個圖像內的特定感興趣區域。例如，可能需要標識3D內容的一部分，以用於用戶觀看（例如，如果在一些角度或視點處，想要呼叫遠端使用者，則需要突出這部分的3D內容）。然而，由於基於視埠的處理技術可能破壞整個3D圖像，所以不可能將內容的一部分進行標識以指向使用者。因此，已有技術不提供將關於整個圖像的任何全域資訊與子圖像軌道進行相關而無推導。又例如，已有技術不提供指定具有重疊操作和/或背景操作的合成（例如，例如用顏色或圖像的間隙填充技術，和/或重疊技術）。
依據本發明的實施方式，對已有檔案格式的技術改進，以用於推導出合成軌道。這些技術可以包括將元資料應用於子圖像軌道組。這些技術可以允許子圖像軌道組以允許元資料與軌道組相關的方式被指定，而不是需要對每個子圖像軌道單獨進行指定。元資料可以指定軌道推導如何被執行。在一些示例中，這些技術可以被使用，例如，以指定佈局（包括間隙和重疊）情況的標準，包括確定背景以用於填充和/或合併。
在一些實施例中，使用如下一個或複數個機制，合成軌道推導可以被執行。在一些實施例中，圖像重疊機制在影像檔案格式中被使用。在一些實施例中，圖像網格機制在影像檔案格式中被使用。在一些實施例中，矩陣值（例如，在軌道的頭資訊中，例如，ISOBMFF）提供關於子圖像軌道的轉換資訊，例如空間合成資訊。使用這些技術，例如，整個2D幀軌道可以被指定為其片段或子圖像軌道的已推導合成軌道，並且任何感興趣區域軌道可以被指定為其相關覆蓋片段或子圖像軌道的已推導合成軌道。
在一些示例中，例如，根據MPEG ISOBMFF檔案格式，條目在其包括參考為推導的輸入的一個或複數個其他圖像條目的‘dimg’條目時，可以為已推導圖像條目。獲取已重構圖像所執行的準確操作由item_type的條目標識。用作已推導圖像條目的輸入的圖像條目為其他圖像條目的輸出圖像，其可以為已編解碼圖像條目或已推導圖像條目。
已推導圖像類型的一個示例為標識推導。已推導圖像條目的item_type值‘iden’（即標識轉換）可以被用於使用轉換屬性以推導出圖像條目。已推導圖像條目通常沒有條目體（例如，沒有內容），並且‘iden’已推導圖像條目的‘dimg’條目參考的reference_count可以等於1。
已推導圖像類型的另一示例為圖像重疊推導。透過在更大畫布內以特定分層順序重疊一個或複數個輸入圖像，item_type值為‘iovl’的條目可以指定已推導圖像條目。在ItemReferenceBox內類型‘dimg’的SingleItemTypeReferenceBox中，這些輸入圖像可以以其被分層的順序被列出，例如，先是最底端的輸入圖像，且最後為最頂端的輸入圖像。
第5圖顯示了根據一些實施例的用於包括可能的間隙和混合的示例性軌道重疊合成結構500。如結構500所示，類別TrackOverlayComposition 502拓展所有‘tocp’轉換屬性504的合成。當存在時，‘tocp’要求輸入條目數量num_inputs 534大於或等於1，並且這些輸入條目均為視覺軌道。通常，‘tocp’轉換屬性指定已推導軌道，其樣本中的每個為更大的畫布，其與以與其被列出的順序相同的分層順序（例如，最底端輸入圖像先被分層為基礎層，每個額外層被依次分層，直到最後被分層的最頂端輸入圖像）的一個或複數個輸入軌道的樣本圖像重疊。如下面進一步討論，這些技術包括在重疊合成結構500內集成背景和混合資訊，例如，畫布顏色、圖像和/或視訊背景。這些資訊可以被指定（使用），例如，當輸入樣本圖像不覆蓋整個球面表面時。這可以是有用的，例如，以用於虛擬實境視訊不覆蓋整個球面表面的360度虛擬實境內容。在一些實施例中，如果這些資訊被使用，背景視訊可以在視訊重疊情況中被處理為一個輸入視訊。在本非限制的示例中，背景視訊被處理為輸入視訊的附加內容。
進一步如第5圖所示，結構500可以包括不同參數。結構500可以包括版本506資料欄。在本示例中，雖然版本號可以隨著新版本被創建而增大，但是此版本等於0。版本號可以被使用，例如，使得讀者將不用未識別的版本號處理TrackOverlayComposition。
結構500可以包括標誌資料欄508。在本示例中，標誌資料欄可以被用於表示資料欄的位元數量。例如，(flags & 1)等於0可以指定資料欄output_width 510、資料欄output_height 512、資料欄horizontal_offset 514和資料欄vertical_offset 516的長度為16個位元。又例如，(flags & 1)等於1可以指定資料欄output_width 510、資料欄output_height 512、資料欄horizontal_offset 514和資料欄vertical_offset 516的長度為32個位元。大於1的標誌的值可以被保留。output_width 510資料欄和output_height 512資料欄可以分別指定輸入圖像所處的已重構圖像的寬度和高度。已重構圖像的圖像區域可以被推斷為畫布。num_input 534可以指定這個軌道推導操作的輸入條目數量。horizontal_offset 514和vertical_offset 516可以指定自畫布的左上角到輸入圖像所在之處的偏移。具有負偏移值的像素位置可以不被包括在已重構圖像中。大於或等於output_width 510的水平像素位置可以不被包括在已重構圖像中。大於或等於output_height 512的垂直像素位置可以不被包括在已重構圖像中。
方框518顯示了與背景和混合資訊相關的結構500的一部分，下面將進一步討論。background_flag 520可以被用於表示哪些種類的背景可以用於推導出合成軌道。在本示例中，0值表示沒有背景被指定。當(background_flag & 1)等於1時，背景為顏色背景，其中顏色值由canvas_fill_value 522指定。canvas_fill_value 522可以表示在沒有任何輸入圖像的像素位於特定像素位置時所使用的每通道的像素值。填充值可以被指定為RGBA（例如，紅、綠、藍以及對應於分別等於0、1、2和3的迴圈計數器j的A）。如IEC 61966-2-1所指定，RGB值可以在sRGB顏色空間中。A值可以為線性不透明值，例如，從0（全透明）到65535（完全不透明）變化。
當(background_flag & 2)等於2時，背景為由image_item_ID 524標識的圖像，被縮放（無論何時需要）以覆蓋由output_width 510和output_height 512所指定的尺寸的背景。image_item_ID 524可以指定圖像條目的ID。當(background_flag & 2)等於3時，背景為由video_track_ID 526標識的視訊樣本圖像，被縮放（無論何時需要）以覆蓋由output_width 510和output_height 512所指定的尺寸的背景。video_track_ID 526可以指定視訊軌道的ID。
blending_flag 528表示在推導出合成軌道中將輸入視覺軌道進行重疊時混合是否被涉及。alpha_blending_mode 530指定阿爾法混合模式（例如，具有圖4中的示例表格中的“合成模式”的可能值）。在一些實施例中，表格和/或具有預設參數的相關演算法可以在單個檔中被指定，例如ISO/IEC 23001-8和/或W3C推薦。每個軌道的中TrackHeaderBox的參數值‘layer’，其指定視覺軌道的前到後的順序，可以被設置並用作相對前與後層指示符，以用於合成2個軌道。在第4A圖-第4B圖中的表格中，術語‘源’和術語‘目標’可以被交替使用，以分別用於前層/頂端層和后層/底端層或背景幕。blending_mode_specific_params 532可以指定具有特定混合模式的可選參數，除了使用例如ISO/IEC 23001-8中所指定的預設值中的這些。例如，blending_mode_specific_params 532可以包括可以用於所選擇的阿爾法混合模式的阿爾法通道資料。
item_type值為‘grid’的條目指定已推導圖像條目，其已重構圖像是自更大畫布內特定網格順序的一個或複數個輸入圖像形成的。第6圖顯示了根據一些實施例的用於混合的示例性軌道網格合成結構600。相似於結合第5圖所討論的結構500，結構600可以被用於指定重疊參數，例如背景和混合資訊。結構600可以被用於組裝子圖像網格。例如，需要將2個相鄰子圖像組裝到一起。為了防止重疊的間隙效應，當指定圖像時，保護帶（guard band）也可以被指定（例如，1個以上保護帶可以被指定以覆蓋相鄰圖像）。例如，儘管當將這些子圖像放在一起時可能存在尺寸為m x n的子圖像網格，但仍然可能存在重疊，和/或其可能不覆蓋整個圖像。因此，結構600可以允許以大於柵尺寸的方式指定輸出寬度和/或高度。結構600也可以允許指定列和行-減去1，因為總是需要始於0。
如結構600所示，類別TrackGridComposition 602拓展所有‘tgcp’轉換屬性604的合成。當存在時，‘tocp’要求輸入條目數量num_input大於或等於1，並且這些輸入條目均為視覺軌道。這個轉換屬性指定已推導軌道，其樣本中的每個為更大畫布，與特定網格順序的一個或複數個輸入軌道的樣本圖像重疊。以列為主的順序，先頂端列，從左到右，以其被列出為輸入軌道的順序，輸入視覺軌道的樣本圖像被插入。num_input的值將等於列*行。每個樣本圖像可以被配置成具有相同的寬度與高度，即tile_width和tile_height。寬度和高度可以在每個輸入軌道內被指定。
平鋪的（tiled）輸入樣本圖像可以（或不可以）完全“覆蓋”已推導樣本圖像網格畫布。例如，tile_width*行可以（或不可以）大於或等於output_width 612，和/或tile_height*列可以（或不可以）大於或等於output_height 613，其在此處將進一步被討論。作為非限制的示例，透過將輸入樣本圖像平鋪到列寬度等於tile_width（本質上不包括最右側行）且列高度等於tile_height（本質上不包括最低端列）的柵中，而無間隙和重疊，隨後，將右側和底端裁剪成（trimming）所表示的output_width和output_height，已推導樣本圖像可以被形成。當平鋪的圖像不覆蓋整個畫布背景時，畫布、圖像和/或視訊背景可以被使用。如上所述，這可以是有用的，例如，以用於虛擬實境視訊不覆蓋整個球面表面的360度虛擬實境內容。
進一步如第6圖所示，結構600可以包括不同參數，下面將進一步解釋。結構600可以包括版本606資料欄。在本示例中，雖然版本號可以隨著新版本被創建而增大，但是此版本等於0。例如，版本號可以被使用，以使得讀者將不用未識別的版本號處理TrackGridComposition。
結構600可以包括標誌資料欄608。在本示例中，標誌資料欄可以被用於表示資料欄的位元數量。例如，如上所解釋，(flags & 1)等於0可以指定資料欄output_width 612、資料欄output_height 613、資料欄horizontal_offset 614和資料欄vertical_offset 615的長度為16個位元，和/或(flags & 1)等於1可以指定此長度為32個位元。
方框618顯示了與背景和混合資訊相關的結構600的一部分，下面將進一步討論。background_flag 620可以被用於表示哪些種類的背景可以用於推導出合成軌道。在本示例中，0值表示沒有背景被指定。當(background_flag & 1)等於1時，背景為顏色背景，其中顏色值由canvas_fill_value 622指定。此處應注意的是，canvas_fill_value 622可以表示在沒有任何輸入圖像的像素位於特定像素位置時所使用的每通道的像素值。如上所討論，填充值可以被指定為RGBA（例如，紅、綠、藍以及對應於分別等於0、1、2和3的迴圈計數器j的A）。
當(background_flag & 2)等於2時，背景為由image_item_ID 624標識的圖像，被縮放（例如，如果/無論何時需要）以覆蓋由output_width和output_height所指定的尺寸的背景。當(background_flag & 2)等於3時，背景為由video_track_ID標識的視訊樣本圖像，被縮放（無論何時需要）以覆蓋由output_width和output_height所指定的尺寸的背景。image_item_ID 624可以指定圖像條目的ID。video_track_ID 626可以指定視訊軌道的ID。
如上所討論，blending_flag 628表示在推導合成軌道中重疊輸入視覺軌道時混合是否被涉及。如上所討論，alpha_blending_mode 630指定阿爾法混合模式。blending_mode_specific_params 632可以指定具有特定混合模式的可選參數，除了使用例如ISO/IEC 23001-8中所指定的預設值中的這些，且其可以包括阿爾法通道資料。
參數rows_minus_one 610和參數columns_minus_one 611可以指定輸入視覺軌道的樣本圖像的行數(the number of rows)和每行輸入視覺軌道的樣本圖像數量。這個值可以分別為小於行數(rows or columns)。按照輸入視覺軌道的列出順序，輸入視覺軌道的樣本圖像可以先填充（populate）頂端行，然後再填充第二列等。如上所討論，output_width 612和output_height 614可以分別指定輸入圖像所處的已重構圖像的寬度和高度。已重構圖像的圖像區域被稱為畫布。
horizontal_offset 614和vertical_offset 615指定自畫布的左上角到第一輸入圖像所在之處的偏移。具有負偏移值的像素位置可以不被包括在已重構圖像中。大於或等於output_width 612的水平像素位置可以不被包括在已重構圖像中。大於或等於output_height 613的垂直像素位置可以不被包括在已重構圖像中。
在示例性實施例的結構600中，僅horizontal_offset 614和vertical_offset 615中的一個需要被指定（例如，不像結構500，其使用兩個偏移以執行迴圈）。對於結構600，這些技術不執行迴圈-僅一個偏移需要被指定，因為此偏移可以用於整個網格。例如，如果始于最左角，此偏移可以被指定以用於這個位置，並用於後續處理。
轉換矩陣，例如在ISOBMFF中，在MovieHeaderBox ‘mvhd’和TrackHeaderBox ‘trkd’中被指定，以用於處理用於呈現（presentation）的已解碼軌道媒體。用這個矩陣，整個電影和/或每個軌道可以以此矩陣的方式被轉換。這可以允許簡單操作（例如，像素加倍、90º旋轉的校正）以及更複雜的操作（例如，剪切、任意旋轉）。第7A圖顯示了根據一些實施例的用於混合的示例性轉換矩陣合成結構700。相似於分別結合第5圖和第6圖所討論的結構500和結構600，結構700可以被用於指定重疊參數，例如背景和混合資訊。結構700可以被用於指定合成的矩陣值。
如結構700所示，類別TrackGridComposition 702拓展所有‘tmcp’轉換屬性704的合成。當‘tmcp’存在時，其要求輸入條目數量num_input大於或等於1，並且這些輸入條目均為視覺軌道。這個‘tmcp’轉換屬性指定已推導軌道，其樣本圖像中的每個為更大畫布，與以與其被列出的順序相同的分層順序的一個或複數個輸入軌道的樣本圖像重疊，例如，最底端輸入圖像先被分層，隨後每個後續圖像被分層，直到最後被分層的最頂端輸入圖像。畫布的尺寸透過output_width 710 和output_height 711而被確定。如此處進一步討論，根據輸入軌道頭中的矩陣值的語法及語義，輸入軌道的時間並行樣本可以空間上被排列在畫布上。例如，輸入軌道的樣本圖像的尺寸和/或位置可以由TrackHeaderBox ‘trkd’內的寬度、高度和矩陣指定。如上面結合第5圖-第6圖所討論，當輸入樣本圖像不覆蓋整個畫布背景時，畫布/圖像/視訊背景可以被使用。
如圖7所示，結構700可以包括不同參數，下面將進一步解釋。結構700可以包括版本706資料欄和標誌資料欄708，例如，類似於第5圖-第6圖中所討論的版本資料欄和標誌資料欄。在結構700中，標誌資料欄708可以指定資料欄output_width 710、資料欄output_height 711、資料欄width 712和資料欄height 713的長度。
如結合第5圖-第6圖所討論，方框718顯示了與背景和混合資訊相關的結構700的一部分。透過重述的方式，background_flag 720可以被用於表示哪些種類的背景可以用於推導出合成軌道。在本示例中，0值表示沒有背景被指定。當(background_flag & 1)等於1時，背景為顏色背景，其中顏色值由canvas_fill_value 722指定（例如，如上所述，被指定為RGBA）。如上所述，當(background_flag & 2)等於2時，背景為由image_item_ID 724標識的圖像，被縮放（例如，如果/無論何時需要）以覆蓋背景。如上所述，當(background_flag & 2)等於3時，背景為由video_track_ID 726標識的視訊樣本圖像，被縮放（無論何時需要）以覆蓋背景。
也如上所討論，blending_flag 728表示在推導合成軌道中重疊輸入視覺軌道時混合是否被涉及。如上所討論，alpha_blending_mode 730指定阿爾法混合模式。blending_mode_specific_params 732可以指定具有特定混合模式的可選參數。
不同於分別結合第5圖-第6圖所討論的示例性結構500和結構600，結構700包括matrix_flag 734。matrix flag 734可以表示是否使用其他矩陣資訊，例如，軌道頭中的矩陣。例如，matrix flag 734可以表示此矩陣、輸入視覺軌道的軌道頭中的寬度值和高度值是否可用，和/或將不被使用（或將被覆蓋（overwritten））。當其他這類矩陣資訊不可用和/或將不被使用時（例如，matrix_flag == 1），這些值可以被提供給輸入視覺軌道。num_inputs資料欄736指定這個軌道推導操作的輸入條目數量。
矩陣738提供用於視訊的轉換矩陣。例如，根據一些實施例，使用第7B圖中所示的矩陣750，點(p, q)可以被轉換成(p’, q’)。矩陣750中的這些值以{a,b,u, c,d,v, x,y,w}順序被存儲。矩陣750乘以(p, q, 1)以計算(m, n, z)，其中m = ap + cq + x；n = bp + dq + y；以及z = up + vq + w。隨後，透過計算p’ = m/z；q’ = n/z，(m, n, z)可以被用於計算(p’, q’)。在第7A圖中的本示例中，矩陣738的(u,v,w)被限制為(0,0,1), hex (0,0,0x40000000)。在一些實施例中，矩陣750中的值被存儲為16.16固定點值，除了被存儲為2.30固定點值的u, v和w。
在一些實施例中，座標{p, q}位於已去壓縮幀上，且{p’, q’}位於渲染輸出處。因此，例如，矩陣{2,0,0, 0,2,0, 0,0,1}使得圖像的像素尺寸加倍。由矩陣所轉換的座標可以不以任何方式被歸一化，並且可以表示實際樣本位置。因此，{x, y}例如可以被考慮圖像的平移向量。
在一些實施例中，座標原點位於左上角，並向右側增加X個值，並向下增加Y個值。{p, q}和{p’, q’}通常分別被用作相對於原始圖像的左上角（例如，在縮放到由軌道頭的寬度與高度所確定的尺寸之後）的絕對像素位置和已轉換（例如，渲染）表面。每個軌道可以使用其矩陣被合成，如指定為整個圖像。隨後，根據位於MovieHeaderBox中的電影層處的矩陣，已合成軌道可以被轉換且合成。可以基於應用的是，得到的圖像是否被‘裁剪’以消除像素，其沒有顯示，例如，被‘裁剪’成視窗內的垂直矩形區域。例如，如果僅一個視訊軌道被顯示且其具有到{20, 30}的平移，且單位矩陣位於MovieHeaderBox中，則應用可以選擇不顯示圖像與原始之間的空的“L”型區域。
資料欄width 740和資料欄height 742可以為固定值，例如，固定點16.16值。這些資料欄可以指定軌道的視覺呈現尺寸。這些無需與圖像的像素尺寸相同，例如，其被記錄在樣本描述中。序列中的圖像可以基於寬度和高度被縮放成一個尺寸，例如，在由矩陣所表示的軌道的任何整個轉換之前。因此，圖像的像素尺寸可以用作預設值。
第8圖顯示了根據一些實施例的用於r個子圖像與k個品質軌道的示例性合成軌道 v 802。軌道v 402自其它片段或子圖像軌道v1 804到vr 806而被合成。因此，片段/子圖像軌道804-806為承載位元的檔案格式中的實際軌道。在本示例中，稱為“交替” 812和“交替” 814的軌道推導被用於自所包含的品質（例如，軌道804的品質808A-808N以及軌道806的品質810A-810N）選擇所需的品質子圖像，作為此子圖像的代表。交替流程被執行以用於具有不同品質的每個片段軌道/子圖像軌道，形成m x n個子圖像網格和m x n個軌道，其中r = m x n。
隨後，所選擇的軌道被放進合成軌道802中，其表示整個圖像。當執行合成816時，此處理可以利用本文所討論的技術以處理背景並執行混合。因此，使用具有背景和混合資訊的合成操作，合成軌道802可以被創建，如本文所討論（例如，結合第5圖-第7B圖所討論的合成）。例如，如果設備需要訪問來自於整個圖像的內容的一些部分，則合成軌道802可以被訪問，並被向下訓練，以便查看已推導的軌道，包括向下訓練成選擇的軌道，以獲得正確的品質。
回到第3圖所示，例如，如304A-304D所示，每個軌道302具有兩個品質/加密。當執行合成時，設備可以給每個軌道選擇一個品質和/或加密以創建合成軌道。在一些示例中，設備可以將所有4個選擇放在一起以獲取合成軌道（例如，合成軌道C 308）的整個圖像。或者，如果設備僅需要一些視埠區域，則設備可以選擇性地選取子圖像子集，以形成更小的合成軌道r 310。合成操作可以額外地利用與此操作相關的背景和/或混合資訊，以處理任何間隙和/或重疊。
第9圖顯示了根據一些實施例的合成複數個子圖像軌道的示例性方法900。在步驟902中，設備（例如，第1圖中的解碼設備110）接收與視埠相關的複數個已編碼二維子圖像軌道。在步驟904中，設備確定待使用的合成操作以合成用於視埠的複數個二維子圖像軌道。如本文所討論，在一些實施例中，合成操作包括對複數個二維子圖像軌道執行合成以將複數個二維子圖像軌道合成為畫布（例如，軌道重疊合成、軌道柵合成和/或轉換矩陣合成）。合成操作也包括合成佈局操作（例如，背景和/或混合資訊），以在畫布包括特定合成佈局（例如具有間隙和/或重疊的佈局）時，調整此合成。在步驟906中，根據此合成，設備將複數個二維軌道合成為畫布。在步驟908中，在此合成期間，設備確定2個以上的已合成二維子圖像軌道包括合成佈局。在步驟910中，設備基於合成佈局操作調整合成，以補償合成佈局。
如本文所討論，合成佈局操作可以包括確定如何處理合成佈局，例如，如何填充間隙。例如，合成資訊可以包括標誌，其用於確定是否用常量顏色填充間隙，是否使用背景的圖像或者是否使用視訊軌道內容作為背景。也如本文所討論，合成佈局操作可以包括用於確定是否執行混合的標誌。如果混合將被執行，則合成資訊可以包括指定如何執行混合的參數。
如本文所討論，這些技術也可以包括編碼合成資訊。設備（例如，編碼設備104）編碼三維視訊資料，包括編碼與視埠相關的複數個二維子圖像軌道（例如，如結合第2圖所討論）。設備可以編碼合成操作，以用於合成用於視埠的複數個二維子圖像軌道。合成操作可以包括表示如下的資料：對複數個二維子圖像軌道執行合成以將複數個二維軌道合成與視埠相關的畫布，以及在畫布包括由合成在畫布上的複數個二維子圖像軌道中的2個或以上所創建的合成佈局（例如，具有或不具有間隙和/或重疊）時調整合成的合成佈局操作。設備可以提供已編碼的三維視訊資料和合成操作，使得已編碼的三維視訊資料和合成操作可以透過接收設備（例如，透過有線或無線連接，或者透過任何電腦可讀存儲介質）來接收。
根據本文描述的原理的技術操作可以以任何適當的方式來實現。上面的流程圖的處理塊和決策塊表示被包含執行這些不同處理的演算法中的步驟和行為。自這些處理中推導出的演算法可以以集成有並指導一個或複數個單目的或多目的的處理器的操作的軟體來實現，可以以諸如數位信號處理（Digital Signal Processing，DSP）電路或應用專用積體電路（Application-Specific Integrated Circuit，ASIC）的功能等效電路來實現，或可以以任何其他適當的方式來實現。應該理解的是，此處所包含的流程圖不描述任何特定電路或任何特定程式設計語言或程式設計語言類型的語法或操作。相反，流程圖示出了本領域的通常知識者可以使用的功能資訊，以製造電路或實現電腦軟體演算法來執行進行本文所描述的技術類型的特定裝置的處理。還應該理解的是，除非在此另有說明，在每個流程圖中描述的步驟和/或行為的特定順序僅是對可以實現的演算法的說明，並且可以在本文所描述的原理的實施方式和實施例中被改變。
因此，在一些實施例中，本文所描述的技術可以在作為軟體而實現的電腦可執行指令中被實施，包括應用軟體、系統軟體、固件、中介軟體、嵌入式代碼或任何其他合適類型的電腦代碼。透過使用大量合適的程式設計語言和/或程式設計工具或腳本工具的任何一種，這種電腦可執行指令可以被編寫，也可以被編譯為可執行的機器語言代碼或在框架或虛擬機器上執行的中間代碼。
當本文所描述的技術被實施為電腦可執行指令時，根據這些技術，這些電腦可執行指令可以以任何合適的方式來實現，包括作為若干功能設施，每一個提供一個或複數個操作來完成演算法操作的執行。然而被產生實體，當由一個或複數個電腦來集成和執行時，一個“功能設施”，是一個電腦系統的結構元件，使一個或複數個電腦執行特定的操作角色。功能設施可以是整個軟體元素的一部分。例如，功能設施可以作為處理的功能來實現，或作為離散處理，或作為任何其他合適的處理單元來實現。如果此處描述的技術以複數個功能設施來實現，則每個功能設施可以以自己的方式來實現；所有這些功能設施不需要以相同的方式來實現。此外，可以並行地和/或串列地執行這些功能設施，並且透過使用消息傳遞協定或以任何其他合適的方式，這些功能設施可以透過使用正在執行的電腦上的共用記憶體來彼此傳遞資訊。
一般來說，功能設施包括執行特定任務或實施特定抽象資料類型的常式、程式、物件、元件、資料結構等。通常，功能設施的功能可以按其操作的系統的要求組合或分發。在一些實施方式中，執行本文中技術的一個或複數個功能設施可以一起形成一個完整的套裝軟體。在替代實施例中，這些功能設施可適於與其他無關功能設施和/或處理進行交互，以實現軟體程式應用。
本文已描述了一些示例性功能設施以用於執行一個或複數個任務。但是，應該理解的是，所描述的功能設施和任務劃分僅僅是說明實現本文所描述的示例性技術的功能設施類型，並且實施例不限於以任何特定數量、劃分或功能設施類型來實現。在一些實施方式中，所有功能可以在單個功能設施中實現。還應該理解的是，在一些實施方式中，此處所描述的一些功能設施可以與其他一起實現或與單獨實現（即作為單個單元或單獨單元），或者一些功能設施可以不實現。
在一些實施例中，實現本文所描述的技術電腦可執行指令（當作為一個或複數個功能設施或以任何其他方式來實現時）被編碼在一個或複數個電腦可讀介質上，以將功能提供給介質。電腦可讀介質包括如硬碟驅動器的磁介質，如光碟（Compact Disk，CD）或數位通用光碟（Digital Versatile Disk，DVD），持續或非持續的固態記憶體（如Flash記憶體，磁隨機存取記憶體等），或任何其他合適的存儲介質。這樣的電腦可讀介質可以以任何合適的方式來實現。如本文所使用，“電腦可讀介質”（也稱為“電腦可讀存儲介質”）指的是有形（tangible）存儲介質。有形存儲介質是非暫時的，並且具有至少一個物理的、結構的元件。在本文中所使用的“電腦可讀介質”中，至少一個物理結構構件具有至少一個物理屬性，在創建具有實施資訊的介質的過程中，在其上記錄資訊的過程中，或在編碼具有資訊的介質的任何其它過程中，其可以以某種方式被改變。例如，在記錄過程中，可以改變電腦可讀介質的物理結構的一部分的磁化狀態。
此外，上面描述的一些技術包括以某種方式存儲資訊（例如，資料和/或指令）以用於這些技術的行為。在這些技術的一些實施方式中—例如技術被實現為電腦可執行指令的實施方式—資訊可在電腦可讀存儲介質上編碼。如果本文描述的特定結構是用於存儲該資訊的有利格式，這些結構可用於傳授在存儲介質上編碼時的資訊的物理結構。然後，這些有利結構可以透過影響與該資訊交互的一個或複數個處理器的操作來將功能提供到存儲介質；例如，透過提高由處理器執行的電腦操作的效率。
在技術被實施為電腦可執行指令的一些但非所有實施方式中，這些指令可以在以任何合適的電腦系統而操作的一個或複數個合適的計算設備上執行，或一個或複數個計算設備（或一個或複數個計算設備的一個或複數個處理器）可以被程式設計以執行電腦可執行指令。當指令以訪問一個計算設備或者處理器的方式被存儲在計算設備或處理器時，一個計算設備或處理器可被程式設計以執行指令，例如在資料存儲中（例如，一個片上快取記憶體或指令寄存器、透過匯流排可以訪問的電腦可讀存儲介質、透過一個或複數個網路可訪問且由設備/處理器可訪問的電腦可讀存儲介質等）。包括這些電腦可執行指令的功能設施可集成有和指導單個的多目的可程式設計數位計算設備的操作，共用處理能力和共同執行本文所描述的技術的兩個或更多的多目的計算設備的協調系統，單個計算設備或專用于執行本文所描述的技術計算設備的協調系統（同一位置或地理分佈），實施本文所描述的技術的一個或複數個現場可程式設計閘陣列（Field-Programmable Gate Array，FPGA），或者任何其他合適的系統。
計算設備可以包括至少一個處理器、網路介面卡和電腦可讀存儲介質。例如，計算設備可以是桌上型電腦或筆記型電腦、個人數位助理（personal digital assistant，PDA）、智慧手機、伺服器或任何其他合適的計算設備。網路介面卡可以是任何合適的硬體和/或軟體，以使得計算設備能夠透過任何合適的計算網路與任何其他合適的計算設備進行有線和/或無線通訊。電腦網路可以包括無線接入點、交換機、路由器、閘道和/其他網路設備，以及任何合適的有線和/或無線通訊介質或者媒體以用於交換兩個或者複數個電腦之間的資料，包括網際網路。電腦可讀介質可適於存儲待處理的資料和/或由處理器待執行的指令。資料和指令可以被存儲在電腦可讀存儲介質上。
計算設備還可以具有一個或複數個元件和週邊設備，包括輸入裝置和輸出設備。除其他外，這些設備可用於呈現使用者介面。可用於提供使用者介面的輸出設備的示例包括用於直觀顯示輸出的印表機或顯示幕幕，和揚聲器或者聽覺顯示輸出的其它聲音產生設備。可用於使用者介面的輸入裝置的示例包括鍵盤和指向設備，例如滑鼠、觸摸盤和數位化平板。又例如，計算設備可以透過語音辨識或其他可聽覺格式接收輸入資訊。
實施例已經被描述了，其中以電路和/或電腦可執行指令來實現這些技術。應該理解的是，一些實施例可以是一種方法的形式，其中提供了至少一個示例。作為方法的一部分執行的行為可以以任何適當的方式進行排序。因此，這些實施例可以以不同於所示出的順序來執行行為的方式而被構造，即使如示出的實施例中作為順序的行為所示，其可以包括同時執行某些行為。
以上所描述的實施例的各個方面可以被單獨使用、組合、或在上述的實施例中沒有具體討論的各種排列，並且因此不限制其應用到上述說明或圖式中的元件的具體細節和排列。例如，在一個實施例中所描述的方面可以以任何方式與其他實施例中所描述的方面結合。
在專利申請範圍中以修改專利申請範圍元素的諸如“第一”“第二”“第三”等的順序術語的使用本身不意味著任何優先，先後性，或者以一個請求項元素在另一個之上的順序或者執行方法的時間順序，但僅用於作標記以將具有相同名稱的一個請求項元素與具有相同名稱的另一個元素進行區分（但是對於順序術語的使用），進而區分請求項元素。
此外，本文所使用的措辭和術語是為了描述的目的，而不應被視為限制性的。本文所使用“包括”、“包含”、“具有”、“包含”、“涉及”即其變形用於圍繞其後所列出的項目及其等效，以及額外的項目。
本文所使用的“示例性”一詞是指作為示例、實例或說明。因此，除非另有說明，本文中所描述的任何實施例、實施方式、處理、特徵等都應該被理解為一個說明性的示例，並且不應理解為優選的或有利的示例。
在已經描述了至少一個實施例的幾個方面之後，應將理解的是，對於本領域通常知識者來說，將容易發生各種改變、修改和改進。這種改變、修改和改進將是本發明的一部分，並且在本文所描述的原理的精神和範圍內。因此，上述描述和圖式僅以示例的方式進行。
100‧‧‧視訊編解碼配置
102A~102N‧‧‧攝像機
104‧‧‧編碼設備
106‧‧‧視訊處理器
108‧‧‧編碼器
110‧‧‧解碼設備
112‧‧‧解碼器
114‧‧‧渲染器
116‧‧‧顯示
200‧‧‧流程
201‧‧‧球面視埠
202~214、518、618‧‧‧方框
300‧‧‧示意圖
302、304A~304D、306‧‧‧軌道
308‧‧‧合成軌道C
310‧‧‧合成軌道r
312‧‧‧元資料軌道m
400‧‧‧表格
500、600、700‧‧‧結構
502‧‧‧類別TrackOverlayComposition
504‧‧‧‘tocp’轉換屬性
506、606、706‧‧‧版本資料欄
508、608、708‧‧‧標誌資料欄
510、612、710‧‧‧資料欄output_width
512、613、711‧‧‧資料欄output_height
514、614‧‧‧資料欄horizontal_offset
516、615‧‧‧資料欄vertical_offset
520、620、720‧‧‧background_flag
522、622、722‧‧‧canvas_fill_value
524、624、724‧‧‧image_item_ID
526、626、726‧‧‧video_track_ID
528、628、728‧‧‧blending_flag
530、630、730‧‧‧alpha_blending_mode
532、632、732‧‧‧blending_mode_specific_params
534‧‧‧輸入條目數量num_inputs
602‧‧‧類別TrackGridComposition
604‧‧‧‘tgcp’轉換屬性
610‧‧‧參數rows_minus_one
611‧‧‧參數columns_minus_one
702‧‧‧類別TrackGridComposition
704‧‧‧‘tmcp’轉換屬性
734‧‧‧matrix_flag
736‧‧‧num_inputs資料欄
738、750‧‧‧矩陣
740‧‧‧資料欄width
742‧‧‧資料欄height
802‧‧‧合成軌道
804、806‧‧‧片段或子圖像軌道v1808A~808N、810A~810N‧‧‧品質
812、814‧‧‧“交替”
816‧‧‧合成
900‧‧‧方法
902~910‧‧‧步驟
圖式中，不同圖式所示出的每個相同或幾乎相同的元件用相同的參考字元表示。為了清楚，並不是每個元件都在每個圖式中標記出來。圖式不一定是按比例繪製的，而是將重點放在此處所述的技術和設備的各個方面。 第1圖是根據一些實施例的示例性視訊編解碼配置。 第2圖是根據一些示例的用於虛擬實境內容的視埠依賴內容的流程。 第3圖是根據一些實施例的使用合成軌道以發信視埠/感興趣區域（region of interest，ROI）的示例性示意圖。 第4A圖-第4B圖是根據一些示例的混合模式的示例性表格。 第5圖是根據一些實施例的用於混合的示例性軌道重疊合成結構。 第6圖是根據一些實施例的用於混合的示例性軌道網格（track grid）合成結構。 第7A圖是根據一些實施例的用於混合的示例性轉換矩陣合成結構。 第7B圖是根據一些實施例的示例性轉換矩陣。 第8圖是根據一些實施例的不同子圖像與品質軌道的集合的示例性合成軌道。 第9圖是根據一些實施例的合成複數個子圖像軌道的示例性計算機方法。

Claims (20)

  1. 一種編碼方法，用於編碼複數個子圖像軌道的合成操作，該方法包括： 編碼三維視訊資料，包括編碼成與視埠相關的複數個二維子圖像軌道； 編碼用於將該視埠的該等二維子圖像軌道進行合成的合成操作，其中該合成操作包括表示如下的資料： 對該等二維子圖像軌道執行以將該等二維軌道合成與該視埠相關的畫布的合成；以及 在該畫布包括由該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上創建的合成佈局時調整該合成的合成佈局操作；以及 提供已編碼的該三維視訊資料和該合成操作。
  2. 如申請專利範圍第1項所述之編碼方法，其中，該合成佈局包括該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上之間的間隙和該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上的重疊中的至少一個。
  3. 如申請專利範圍第1項所述之編碼方法，其中，編碼該合成操作的該合成佈局操作包括： 編碼待使用的背景顏色、背景圖像或背景視訊中的一個或複數個，以填充該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上之間的間隙。
  4. 如申請專利範圍第1項所述之編碼方法，其中， 編碼該合成操作的該合成佈局操作包括： 編碼待使用的混合資料，以將該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上的重疊進行混合。
  5. 如申請專利範圍第1項所述之編碼方法，其中，編碼該合成操作的該合成包括： 自包括如下的組選擇該合成： 指定重疊操作和用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的順序的軌道重疊合成； 指定用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的網格順序的軌道網格合成；以及 指定用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的順序和矩陣的軌道矩陣合成。
  6. 一種解碼方法，用於解碼視訊資料，該方法包括： 接收(a)與視埠相關的已編碼的複數個二維子圖像軌道以及(b)將該視埠的該等二維子圖像軌道進行合成的合成操作，其中該合成操作包括表示如下的資料： 對該等二維子圖像軌道執行以將該等二維軌道合成與該視埠相關的畫布的合成；以及 在該畫布包括由該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上創建的合成佈局時調整該合成的合成佈局操作； 根據該合成，將該等二維軌道合成該畫布，包括： 確定已合成的該等二維子圖像軌道中的兩個或兩個以上包括該合成佈局；以及 基於該合成佈局操作，調整該合成，以補償該合成佈局。
  7. 如申請專利範圍第6項所述之解碼方法，其中，該合成佈局包括該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上之間的間隙和該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上的重疊中的至少一個。
  8. 如申請專利範圍第6項所述之解碼方法，其中，解碼該合成操作的該合成佈局操作包括： 解碼背景顏色、背景圖像或背景視訊中的一個或複數個；以及 將該等二維軌道進行合成包括： 填充該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上之間的間隙。
  9. 如申請專利範圍第6項所述之解碼方法，其中， 解碼該合成操作的該合成佈局操作包括： 解碼混合資料；以及 將該等二維軌道進行合成包括： 將該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上的重疊進行混合。
  10. 如申請專利範圍第6項所述之解碼方法，其中， 解碼該合成操作的該合成包括： 自包括如下的組選擇該合成： 指定重疊操作和用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的順序的軌道重疊合成； 指定用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的網格順序的軌道網格合成；以及 指定用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的順序和矩陣的軌道矩陣合成。
  11. 一種解碼視訊資料的裝置，該裝置包括與記憶體通訊的處理器，該處理器被配置成執行存儲在該記憶體中的複數個指令，使得該處理器： 接收(a)與視埠相關的已編碼的複數個二維子圖像軌道以及(b)將該視埠的該等二維子圖像軌道進行合成的合成操作，其中該合成操作包括表示如下的資料： 對該等二維子圖像軌道執行以將該等二維軌道合成與該視埠相關的畫布的合成；以及 在該畫布包括由該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上創建的合成佈局時調整該合成的合成佈局操作； 根據該合成，將該等二維軌道合成該畫布，包括： 確定已合成的該等二維子圖像軌道中的兩個或兩個以上包括該合成佈局；以及 基於該合成佈局操作，調整該合成，以補償該合成佈局。
  12. 如申請專利範圍第11項所述之解碼視訊資料的裝置，其中，該合成佈局包括該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上之間的間隙和該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上的重疊中的至少一個。
  13. 如申請專利範圍第11項所述之解碼視訊資料的裝置，其中， 解碼該合成操作的該合成佈局操作包括： 解碼背景顏色、背景圖像或背景視訊中的一個或複數個；以及 將該等二維軌道進行合成包括： 填充該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上之間的間隙。
  14. 如申請專利範圍第11項所述之解碼視訊資料的裝置，其中， 解碼該合成操作的該合成佈局操作包括： 解碼混合資料；以及 將該等二維軌道進行合成包括： 將該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上的重疊進行混合。
  15. 如申請專利範圍第11項所述之解碼視訊資料的裝置，其中， 解碼該合成操作的該合成包括： 自包括如下的組選擇該合成： 指定重疊操作和用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的順序的軌道重疊合成； 指定用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的網格順序的軌道網格合成；以及 指定用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的順序和矩陣的軌道矩陣合成。
  16. 一種編碼視訊資料的裝置，該裝置包括與記憶體通訊的處理器，該處理器被配置成執行存儲在該記憶體中的複數個指令，使得該處理器： 編碼三維視訊資料，包括編碼成與視埠相關的複數個二維子圖像軌道； 編碼用於將該視埠的該等二維子圖像軌道進行合成的合成操作，其中該合成操作包括表示如下的資料： 對該等二維子圖像軌道執行以將該等二維軌道合成與該視埠相關的畫布的合成；以及 在該畫布包括由該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上創建的合成佈局時調整該合成的合成佈局操作；以及 提供已編碼的該三維視訊資料和該合成操作。
  17. 如申請專利範圍第16項所述之編碼視訊資料的裝置，其中，該合成佈局包括該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上之間的間隙和該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上的重疊中的至少一個。
  18. 如申請專利範圍第16項所述之編碼視訊資料的裝置，其中，編碼該合成操作的該合成佈局操作包括： 編碼待使用的背景顏色、背景圖像或背景視訊中的一個或複數個，以填充該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上之間的間隙。
  19. 如申請專利範圍第16項所述之編碼視訊資料的裝置，其中，編碼該合成操作的該合成佈局操作包括： 編碼待使用的混合資料，以將該畫布上合成的該等二維子圖像軌道中的兩個或兩個以上的重疊進行混合。
  20. 如申請專利範圍第16項所述之編碼視訊資料的裝置，其中，編碼該合成操作的該合成包括： 自包括如下的組選擇該合成： 指定重疊操作和用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的順序的軌道重疊合成； 指定用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的網格順序的軌道網格合成；以及 指定用於將該畫布上的該等二維子圖像軌道中的每個進行重疊的順序和矩陣的軌道矩陣合成。
TW107121494A 2017-06-23 2018-06-22 一種推導合成軌道的方法及裝置 TWI688263B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762523873P 2017-06-23 2017-06-23
US62/523,873 2017-06-23
US16/014,817 US10873733B2 (en) 2017-06-23 2018-06-21 Methods and apparatus for deriving composite tracks
US16/014,817 2018-06-21

Publications (2)

Publication Number Publication Date
TW201906409A true TW201906409A (zh) 2019-02-01
TWI688263B TWI688263B (zh) 2020-03-11

Family

ID=64692993

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107121494A TWI688263B (zh) 2017-06-23 2018-06-22 一種推導合成軌道的方法及裝置

Country Status (4)

Country Link
US (1) US10873733B2 (zh)
CN (1) CN110786010B (zh)
TW (1) TWI688263B (zh)
WO (1) WO2018233693A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6946724B2 (ja) * 2017-05-09 2021-10-06 ソニーグループ株式会社 クライアント装置、クライアント装置の処理方法、サーバおよびサーバの処理方法
US10778993B2 (en) 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
US11044456B2 (en) * 2018-05-31 2021-06-22 Electronics And Telecommunications Research Institute Image processing method and image player using thereof
JP7310816B2 (ja) * 2018-07-06 2023-07-19 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
KR102201763B1 (ko) * 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN111263191B (zh) * 2018-11-30 2023-06-27 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
WO2020141995A1 (en) * 2019-01-03 2020-07-09 Telefonaktiebolaget Lm Ericsson (Publ) Augmented reality support in omnidirectional media format
CN112381907B (zh) * 2020-11-12 2023-04-18 上海哔哩哔哩科技有限公司 多媒体轨道绘制方法和系统
WO2022135507A1 (en) 2020-12-23 2022-06-30 Beijing Bytedance Network Technology Co., Ltd. Video decoder initialization information
CN112804256B (zh) * 2021-02-09 2022-05-24 腾讯科技（深圳）有限公司 多媒体文件中轨道数据的处理方法、装置、介质及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775871B1 (ko) * 2004-10-12 2007-11-13 한국전자통신연구원 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치
CN101616322A (zh) 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及系统
US9357231B2 (en) * 2008-07-31 2016-05-31 Mitsubishi Electric Corporation Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10311366B2 (en) * 2015-07-29 2019-06-04 Adobe Inc. Procedurally generating sets of probabilistically distributed styling attributes for a digital design
US10778993B2 (en) 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping

Also Published As

Publication number Publication date
US10873733B2 (en) 2020-12-22
WO2018233693A1 (en) 2018-12-27
CN110786010B (zh) 2021-12-28
US20180376125A1 (en) 2018-12-27
CN110786010A (zh) 2020-02-11
TWI688263B (zh) 2020-03-11

Similar Documents

Publication Publication Date Title
CN110771162B (zh) 用轨道分组获取合成轨道之方法及装置
TWI688263B (zh) 一種推導合成軌道的方法及裝置
US11509878B2 (en) Methods and apparatus for using track derivations for network based media processing
CN110049330B (zh) 用于编码和解码虚拟现实内容的方法和装置
US10742999B2 (en) Methods and apparatus for signaling viewports and regions of interest
TWI709325B (zh) 用於編解碼視訊資料的方法及裝置
TWI768372B (zh) 用於沉浸式媒體資料軌道的空間分組以及坐標信令的方法及裝置
TWI674797B (zh) 球面區域呈現之方法與裝置
US11146802B2 (en) Methods and apparatus for providing two-dimensional spatial relationships
TWI756534B (zh) 編碼和解碼虛擬實境內容的方法和裝置
US11589032B2 (en) Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
US11922561B2 (en) Methods and systems for implementing scene descriptions using derived visual tracks
US11743559B2 (en) Methods and systems for derived immersive tracks
US11743441B2 (en) Methods and apparatus for selecting and switching input video tracks using track derivations