[go: up one dir, main page]

TWI650994B - 提升品質遞送及合成處理 - Google Patents

提升品質遞送及合成處理 Download PDF

Info

Publication number
TWI650994B
TWI650994B TW106129945A TW106129945A TWI650994B TW I650994 B TWI650994 B TW I650994B TW 106129945 A TW106129945 A TW 106129945A TW 106129945 A TW106129945 A TW 106129945A TW I650994 B TWI650994 B TW I650994B
Authority
TW
Taiwan
Prior art keywords
spatial object
spatial
quality
quality layer
metadata
Prior art date
Application number
TW106129945A
Other languages
English (en)
Other versions
TW201813382A (zh
Inventor
魯林 陳
杉 劉
新 王
柏霖 賴
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201813382A publication Critical patent/TW201813382A/zh
Application granted granted Critical
Publication of TWI650994B publication Critical patent/TWI650994B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一種編碼媒體內容為複數個空間客體的媒體內容遞送裝置。該媒體內容遞送裝置根據一第一組參數編碼一第一空間客體，該媒體內容遞送裝置根據一第二組參數也編碼一第二空間客體，該第一空間客體與該第二空間客體獨立地被編碼。該媒體內容遞送裝置也基於該第一組參數、該第二組參數以及該第一空間客體與該第二空間客體之間的關係生成元資料。該媒體內容遞送裝置然後傳輸或存儲編碼的該第一空間客體、編碼的該第二空間客體以及生成的該元資料。

Description

提升品質遞送及合成處理 【交叉引用】
本發明是非臨時申請的一部分，非臨時申請要求分別提交於2016年9月2日，2016年9月9日，2016年12月19日，2017年1月11日，2017年1月11日的，號碼為62/382,807、62/385,297、62/436,010、62/444,884及62/444,889的美國臨時專利申請案的優先權。上述申請的內容在此透過參考納入其中。
本發明一般涉及媒體內容的遞送。特別地，本發明涉及可適性視訊與360°虛擬實境(360VR)媒體內容的準備、遞送與合成的方法。
除非另有說明，否則本節所描述的實現方法不是下文所列申請專利範圍的先前技術，並且不因為包含在本節中而被承認為先前技術。
視訊編碼被用於廣泛的應用中，從多媒體消息、視訊通話與透過移動電視、無線與網路視訊流的視訊會議、標準與高清電視廣播以及到虛擬實境。此外，視訊內容被遞送到各種各樣的具有異構顯示(heterogeneous display)與計算能力的解碼裝置中。
視訊位元流(bit-stream)可適性有助於編碼的視訊的傳輸的適度劣化(graceful degradation)。當相同的編碼視訊被遞送至不同的具有異構顯示與計算能力的解碼裝置中的時候，視訊可適性方案例如可適性視訊編碼(scalable video coding，簡稱SVC)允許一特定標準(例如H.264/AVC)的相同的編碼視訊去適應不同的位元速率(bit rates)、空間格式(spatial formats)與/或功耗(power consumption)的不同需求。為了有助於視訊位元流的可適性，編碼的視訊以各種各樣的空間或時間解析度或品質同時地傳送或存儲。
360°虛擬實境(360VR)是一改變的、增強的(augmented)或者代替的(substituted)環境的視聽模擬(audiovisual simulation)。虛擬實境視訊圍繞著用戶，允許用戶在任意方向或者以任意視角(view angle)遊覽，就像他或她可以在真實生活中看到的那樣。360VR視訊生成了用於各種應用的印刷與全景虛擬旅遊產品中的異常高品質與高解析度的全景(panoramic)視訊，如娛樂、飛行員訓練、外科手術以及太空或深水勘探。
下述說明僅是說明性的，並不旨在以任何方式進行限制，也就是說，下述說明被提供以介紹本文所描述的新穎的與非顯而易見技術的概念、亮點、效益與優勢。選擇性的而不是所有實施方式將在下面的詳細描述中進一步描述。因此，後續的說明並不旨在確定所要求保護主題的基本特徵，也不旨在決定所要求保護主題的範圍。
有鑑於此，本發明的一些實施例提供了一種提升品質遞 送與合成方案，其中媒體內容(例如視訊或圖像)被編碼成複數個不同的層或複數個空間客體以致可以被合成為具有各種各樣品質的展示當中。該等空間客體被獨立地編碼及被獨立地解碼，編碼的媒體內容與元資料有關，該元資料包括用於至少一些空間客體的參數以及表徵該等空間客體之間關係的參數。
在一些實施例中，一媒體內容遞送裝置將媒體內容編碼成複數個空間客體，該媒體內容遞送裝置根據一第一組參數編碼一第一空間客體，該媒體內容遞送裝置根據一第二組參數也編碼一第二空間客體，該第一空間客體與該第二空間客體被獨立地編碼。該媒體內容遞送裝置根據該第一組參數、該第二組參數以及該第一空間客體與第二空間客體之間的關係還生成一元資料，然後該媒體內容遞送裝置傳輸或存儲該編碼的第一空間客體、該編碼的第二空間客體以及生成的該元資料。
在一些實施例中，該第一空間客體由一第一視訊或圖像編碼標準進行編碼以及該第二空間客體由一第二、不同的視訊編碼或图像標準進行編碼。該第一空間客體可以由幀內編碼而不經過幀間預測編碼進行編碼。該第一空間客體是從一原始圖像中下變頻的基礎品質層客體，該第二空間客體是由以下步驟獲得的一提升品質層，(i)重構來自於一編碼基礎品質層客體的該基礎品質層客體；(ii)將重構的基礎品質層客體上變頻至一特定的解析度；以及(iii)以特定的解析度計算上變頻的該重構的基礎品質層客體與該原始圖像之間的差異。
在一些實施例中，該元資料可以包括來自於該原始圖像的該基礎品質層下變頻的下變頻的比率。該基礎品質層可以在一第一投 影模式中以及該提升品質層在一第二、不同的投影模式中。該元資料可以包括指示該第一投影模式、該第二投影模式以及以基礎品質層的一包裝模式的一參數。該元資料可以包括將空間域中的客體指定作為媒體內容的子資產的一參數。
該元資料可以包括識別該第一投影模式與基礎品質層的一包裝模式的一參數，該元資料也可以包括從該原始圖像該基礎品質層下變頻的下變頻的比率。該元資料可以包括用於指定該第二空間客體作為以資產的子資產的參數。該元資料可以包括指示該第一空間客體與該第二空間客體可以被處理用於同時展示的一參數。當合成解碼的該第一空間客體與該解碼的第二空間客體的時候，該元資料也可以包括指定一模式用於混合第一空間圖像與第二空間圖像的一參數。
在一些實施例中，一媒體內容合成裝置解碼複數個空間客體並合成解碼的該等空間客體至一合成展示中。該媒體內容合成裝置接收一編碼的第一空間客體、一編碼的第二空間客體以及與該編碼的第一空間客體與編碼的第二空間客體有關的一元資料。該媒體內容合成裝置根據從該元資料獲得的一第一組參數，解碼該第一空間客體；根據從該元資料獲得的一第二組參數，解碼該第二空間客體，該第一空間客體與該第二空間客體獨立地被解碼。該媒體內容合成裝置根據從該元資料獲得該第一空間客體與該第二空間客體之間的關係參數，將該解碼的第一空間客體與該解碼的第二空間客體合成至一合成展示中。在一些實施例中，根據一感興趣區域選擇，該第二空間客體可以部分地被取得與被解碼。該合成展示可以是基於全景圖像的虛擬實境視訊，以及其中該 ROI選擇基於由一VR裝置指定的一視埠。
透過本發明的方法可以實現在高品質VR內容有效遞送和合成的時候實現較低的延時，實現更好的VR體驗。
100‧‧‧媒體內容遞送裝置
105‧‧‧合成媒體源
120‧‧‧元資料生成器
130‧‧‧彙編器
190‧‧‧元資料
199‧‧‧IP網路/遞送
111~119‧‧‧媒體編碼器
171~179‧‧‧空間客體
181~189‧‧‧編碼的空間客體
200‧‧‧媒體內容合成裝置
205‧‧‧空間客體合成器
250‧‧‧關係資訊
260‧‧‧裝置性能
211~219‧‧‧媒體解碼器
220‧‧‧元資料解析器
241~249‧‧‧空間客體資訊
271~279‧‧‧解碼的空間客體
280‧‧‧顯示裝置
290‧‧‧合成展示
310~340‧‧‧步骤
410~450‧‧‧步驟
581-583‧‧‧下變頻的客體
540‧‧‧基礎品質層編碼器
511-513‧‧‧基礎品質層客體
520‧‧‧上變頻器
541-543‧‧‧編碼的基礎品質層客體
595‧‧‧元資料
590‧‧‧元資料生成器
551-553‧‧‧編碼的提升品質層客體
550‧‧‧提升品質層編碼器
530‧‧‧比較器
521-523‧‧‧上變頻的基礎品質層客體
510‧‧‧下變頻器
505‧‧‧原始媒體內容
501‧‧‧媒體內容提供器
500‧‧‧可適性視訊編碼器
600‧‧‧可適性視訊解碼器
640‧‧‧基礎品質層解碼器
650‧‧‧提升品質層解碼器
620‧‧‧上變頻器
625‧‧‧關係參數
645‧‧‧基礎品質層參數
655‧‧‧提升品質層參數
630‧‧‧合成器
631‧‧‧解碼的差分客體
660‧‧‧媒體內容渲染器
690‧‧‧合成展示
700‧‧‧VR內容遞送系統
710‧‧‧360VR內容提供器
720‧‧‧VR內容遞送裝置
730‧‧‧VR內容合成裝置
740‧‧‧內容渲染引擎
750‧‧‧VR裝置
800‧‧‧VR內容遞送系統
801‧‧‧VR內容
810-815‧‧‧投影映射模組
820‧‧‧下變頻器
825‧‧‧上變頻器
830‧‧‧包裝模組
821‧‧‧OHP內容821
831‧‧‧基礎品質層客體
826‧‧‧上變頻的ERP內容
829‧‧‧提升品質層
811‧‧‧全尺寸ERP內容
859‧‧‧解碼的提升品質層
841‧‧‧解包模組
842‧‧‧投影模組
843‧‧‧上變頻器
860‧‧‧VR展示
1800‧‧‧視訊編碼器
1805‧‧‧視訊源
1808‧‧‧減法器
1810‧‧‧轉換模組
1811‧‧‧量化模組
1815‧‧‧逆轉換模組
1816‧‧‧轉換係數
1820‧‧‧幀內圖像估計模組
1825‧‧‧幀內圖像預測模組
1830‧‧‧運動補償模組
1813‧‧‧預測的像素資料
1835‧‧‧運動估計模組
1865‧‧‧MV緩衝器
1875‧‧‧MV預測模組
1850‧‧‧重構圖像緩衝器
1845‧‧‧環路濾波器
1817‧‧‧重構的像素資料
1814‧‧‧逆量化模組
1812‧‧‧量化的係數
1890‧‧‧熵編碼器
1895‧‧‧位元流
1900‧‧‧視訊解碼器
1912‧‧‧量化的係數
1905‧‧‧逆量化模組
1916‧‧‧轉換係數
1915‧‧‧逆轉換模組
1913‧‧‧預測的像素資料
1917‧‧‧解碼的像素資料
1925‧‧‧幀內圖像預測模組
1945‧‧‧環路濾波器
1955‧‧‧顯示裝置
1950‧‧‧解碼圖像緩衝器
1935‧‧‧運動補償模組
1965‧‧‧MV緩衝器
1975‧‧‧MV預測模組
1990‧‧‧位元流解析器
1995‧‧‧位元流
2000‧‧‧電子系統
2005‧‧‧匯流排
2015‧‧‧影像處理單元
2010‧‧‧處理單元
2030‧‧‧唯讀記憶體
2035‧‧‧永久存放裝置
2040‧‧‧輸入裝置
2020‧‧‧系統記憶體
2025‧‧‧網路
2045‧‧‧輸出裝置
附圖被包括以提供本發明的更進一步的瞭解，並且被併入並構成本發明的一部分。附圖闡述了本發明的實施方式，並與說明書一起用於解釋本發明的原理。可以理解的是，為了清楚地說明本發明的概念，附圖不需要按比例繪製，如一些元件可以與實際實施方式中的尺寸不成比例地被示出。
第1圖示出了一媒體內容遞送裝置。
第2圖示出了一媒體內容合成裝置。
第3圖概念性地示出了用於對合成展示的空間客體進行編碼的一進程。
第4圖概念性地示出了用於對合成展示的空間客體進行解碼的一進程。
第5圖示出了對將要被合成的基礎品質層與提升品質層進行編碼的一可適性視訊編碼器。
第6圖示出了接收、解碼以及合成基礎品質層客體與提升品質層客體以得到一可適性視訊展示的可適性視訊解碼器。
第7圖示出了與以示例性實施例一致的VR內容遞送系統。
第8a-b圖示出了該VR內容遞送系統的一實施例。
第9a-b圖示出了標誌基礎與提升品質內容的存在與關係的示例性 的MPD。
第10圖示出了一示例性MPD。其中提升品質層被編碼為一HEVC塊。
第11圖是一示例性MPD，其中指示了用於VR投影的投影與包裝格式。
第12圖示出了示例性2D笛卡爾座標樣本的語法，該語法將混合資訊作為參數進行攜帶。
第13圖示出了一示例性MPD，該MPD使用攜帶混合資訊作為參數的2D笛卡爾座標樣本。
第14圖示出了2D笛卡爾座標樣本的語法，該語法用於存儲混合資訊。
第15圖示出了示例性MPD，其使用存儲為2D笛卡爾座標樣本的混合資訊。
第16圖示出了具有SRD方案的能夠同時展示的示例性的MPD。
第17a-b圖圖示出了示例性MPD，其使用子資產方案去標示空間客體或合成展示的空間部分。
第18圖示出了一示例性視訊編碼器。
第19圖示出了一示例性視訊解碼器。
第20圖概念性的示出了實施本發明一些實施例的電子系統。
在後續詳細的描述中，為了提供相關教導的一透徹的理解，許多具體的細節透過示例性的方式提出。基於本文該教導的任何變 化、衍生物與/或擴展都在本發明的保護範圍內。在一些實施例中，為了避免不必要地混淆本發明的教導的方面，公知的方法、程式、元件與/或與這裡公開的一或複數個示例性實施方式相關的電路可以在相對較高的級別上進行描述。
I.獨立地合成複數個解碼的空間客體
本發明的一些實施例提供了用於遞送或傳輸媒體內容的方案，該媒體內容將要被合成至合成展示中。該媒體內容被獨立地編碼為複數個空間客體以致於可以被獨立地解碼。編碼的媒體內容與元資料有關，該元資料包括用於至少一些空間客體的複數個參數以及表徵(characterizing)該等空間客體之間的關係的複數個參數。
第1圖示出了媒體內容遞送裝置100，其對媒體內容進行編碼以用於合成展示，並生成表徵編碼的空間客體的元資料，該空間客體被獨立地編碼。該元資料包括用於至少一些空間客體的參數以及表徵空間客體之間關係的參數。
如圖式所示，該媒體內容遞送裝置100包括合成媒體源105，複數個媒體編碼器111-119，元資料生成器120與彙編器130。在一些實施例當中，模組105-130是具有軟體指令的複數個模組，該軟體指令由計算裝置或者電子裝置的一或複數個處理單元(例如處理器)執行。在一些實施例中，模組105-130是具有硬體電路的複數個模組，該硬體電路由一電子裝置的一或複數個積體電路(integrated circuits，簡稱ICs)實施。雖然模組105-120被示為分離的模組，但是一些模組可以合併為一單個模組。
合成媒體源105提供了作為空間客體171-179各種各樣的媒體內容至複數個媒體編碼器111-119。每一媒體編碼器111-119分別地編碼它們分別收到的空間客體171-179到對應的複數個編碼的客體181-189中。元資料生成器120生成元資料190，該元資料包括關於該等空間客體181-189以及複數個空間客體之間關係的資訊。彙編器130將元資料190與該編碼的空間客體181-189彙編以用於透過IP網路199(例如互聯網)作為資料流或資料檔案傳輸或用於存儲。
合成媒體源105可以包括提供視訊(一或複數個圖像序列)、複數個靜止圖像、與/或其他媒體類型的一或複數個媒體源。由合成媒體源提供的該等空間客體可以包括不同類型的覆蓋客體(overlay objects)。在一些實施例中，合成媒體源105分解原始視訊源到可適性視訊的複數個分量層，每一分量層對應一空間客體。這樣的空間客體可以對應可適性視訊的一基礎品質層或一提升品質層。下面的部分Ⅱ描述了一合成媒體的遞送方案，其中對應於可適性視訊的基礎品質層與提升品質層的空間客體被遞送與合成。
複數個媒體編碼器111-119獨立於其他媒體編碼器(或者獨立於其他空間客體的編碼操作)執行它們各自的空間客體的編碼。在一些實施例中，該等媒體編碼器111-119包括執行空間與/或時間壓縮的視訊編碼器，這樣的視訊編碼器在沒有參考任何其他空間客體的情況下壓縮它們的空間客體。例如，媒體編碼器111可以透過空間客體171中的幀間預測或幀內預測對空間客體171的一像素區塊進行編碼，但是這種預測編碼將不會參考其他任何複數個空間客體172-179。
此外，複數個媒體編碼器111-119可以透過使用不同的複數個媒體編碼標準對它們各自的空間客體進行編碼。這就允許了靈活的編解碼器選擇(例如HEVC、AVC或者JPEG)，其在沒有SVC編解碼器的情況下提供SVC性能。例如，媒體編碼器111可以根據H.265/HEVC對空間客體171進行編碼，媒體編碼器112可以根據H.264/AVC對空間客體172進行編碼，媒體編碼器113可以根據VP9對空間客體173進行編碼，以及媒體編碼器114可以根據JEPG將空間客體174編碼為靜止圖像等等。參考下面的第18圖來描述根據H.265/HEVC執行視訊編碼的示例性媒體編碼器。
值得注意的是，雖然不同的空間客體可以是一相同原始視訊的派生物(derivatives)並且因此不獨立於彼此(例如，不同的空間客體可以對應於相同的可適性視訊的不同的基礎品質層與/或提升品質層)，然而不同的空間客體的複數個編碼操作是獨立於彼此的。
元資料生成器120生成了元資料190，其標示在空間客體171-179上的資訊。這種資訊可以包括由複數個媒體編碼器111-119使用以生成複數個編碼的客體181-189的編碼參數。這種資訊也可以包括每一空間客體的解析度、每一空間客體的尺寸、用於編碼每一空間客體的編碼標準、用於虛擬實境展示的資訊，與/或其他類型的資訊。元資料190也可以包括表徵不同空間客體171-179之間關係的資訊，例如複數個空間客體之間相對位置的資訊，複數個空間客體之間透明度(transparency)或不透明度(opaqueness)的資訊，複數個空間客體之間下變頻(down-conversion)與/或上變頻(up-conversion)關係的資 訊(例如用於時間或空間上/下取樣的因素)，複數個空間客體的外觀之間的延時(time delay)資訊，與/或其他類型的時間/空間關係資訊。
在一些實施例中，元資料190與複數個編碼的客體181-189作為一資料流程被傳輸，用於空間客體的合成處理的元資料的信令(signaling)將在下面的部分Ⅳ中進行描述。
第2圖示出了一媒體內容合成裝置200，其根據一相關的元資料獨立地對空間客體進行解碼並且合成空間客體至一合成展示中。具體地，媒體內容合成裝置200接收到編碼的客體181-189與元資料190，然後基於元資料190的內容，解碼及合成接收到的空間客體至一展示中。
如圖式所示，媒體內容合成裝置200包括一元資料解析器(metadata parser)220、複數個媒體解碼器211-219，以及一空間客體合成器205。在一些實施例中，模組205-220是具有軟體指令的複數個模組，該軟體指令由計算裝置或電子裝置的一或複數個處理單元(例如一處理器)執行。在一些實施例中，模組205-220是具有硬體電路的複數個模組，該硬體電路由電子裝置的一或複數個積體電路(ICs)實施。雖然模組205-220被示為分離的模組，但是一些模組可以合併為一單個模組。
媒體內容合成裝置200接收到複數個編碼的客體181-189與由媒體內容遞送裝置100生成的元資料190。複數個媒體解碼器211-219分別解碼該等編碼的客體181-189以生成複數個解碼的空間客體271-279(其是空間客體171-179解碼的版本)。空間客體合成器 205反過來合成解碼的該等空間客體271-279至一合成展示290(或者複數個合成展示)中，用於在顯示裝置280中顯示。
元資料解析器220解析元資料190以提取複數個空間客體資訊241-249，其分別由複數個媒體解碼器211-219使用以對複數個編碼的客體181-189進行解碼。空間客體資訊241-249從被用於編碼每一空間客體的資訊中獲取，例如每一空間客體的解析度、每一空間客體的尺寸、用於每一空間客體的編碼標準、用於虛擬實境展示的資訊與/或其他類型的資訊。
元資料解析器也解析元資料190以提取關係資訊250，其被空間客體合成器使用以決定如何合成各種各樣的複數個解碼的空間客體271-279至展示290之中。關係資訊250包括表徵(characterizes)不同空間客體171-179之間關係的資訊，例如複數個空間客體之間相對位置、複數個空間客體之間相對透明度或不透明度，複數個空間客體之間下變頻與/或上變頻關係(例如用於時間或空間上/下取樣的因素)，複數個空間客體的出現之間的延時，與/或其他類型的時間/空間關係。
複數個媒體解碼器211-219獨立於任何其他媒體解碼器執行它們各自的空間客體的編碼(或者獨立於其他空間客體的解碼操作)。在一些實施例中，媒體解碼器包括執行空間與/或時間壓縮的視訊解碼器並且每一視訊解碼器在沒有參考其他任何空間客體的情況下壓縮它的空間客體。例如，媒體解碼器211可以透過空間客體271中的幀間預測或者幀內預測對空間客體271(從編碼的空間客體181中解碼得 到)的一區塊進行解碼，但是這種預測編碼將不會參考任何複數個解碼的空間客體272-279(從編碼的空間客體182-189解碼得到)。
除了提取空間客體資訊241-249，至少一些解碼器211-219基於感興趣區域(region of interest，ROI)選擇的輸入，執行它們的解碼操作。在此情況下，一些由複數個媒體解碼器211-219生成的複數個解碼的空間客體271-279可以是足以覆蓋選擇的ROI的複數個空間客體171-179的部分解碼的版本。具體地，一些媒體解碼器211-219根據ROI選擇僅請求/取得以及解碼它們各自的來自於源(例如媒體內容遞送裝置100)的空間客體中的相關的或必要的部分，其中ROI不需要的部分不被請求/取得或者解碼。
下面的部分Ⅲ提供了一例子，其中合成展示是一基於全景圖像(omnidirectional images)的360°VR(360VR)，以及ROI選擇指示媒體解碼器全景圖像中的哪一部分是該感興趣區域(例如，基於當前使用者交互的VR裝置指定的視埠(viewport))。
此外，根據由元資料190提供的對應空間客體資訊指定的編碼標準、解析度、與/或尺寸，每一解碼器也用於解碼其分配的空間客體(例如，媒體解碼器211根據由空間客體資訊241指定的參數對編碼的客體181進行解碼)。參考下面的第19圖來描述根據H.265/HEVC執行視訊解碼的一示例性的媒體解碼器。
空間客體合成器205合成解碼的空間客體271-279至用於顯示或存儲的合成展示290之中，根據從元資料190中提取出來的關係資訊250執行合成操作。合成操作也基於一組裝置性能(device properties)260，其可能包括尺寸、維度(dimension)、與/或客體顯示裝置的解析度。空間客體合成器205可以基於由裝置性能260指定的參數對接收到的複數個空間客體或結果的合成展示290執行上變頻與/或下變頻。
第3圖概念性地示出了用於對合成展示的複數個空間客體進行編碼的一進程300。在一些實施例中，當媒體內容遞送裝置100獨立地對複數個空間客體進行編碼並生成表徵編碼空間客體的元資料的時候，媒體內容遞送裝置100執行進程300。在一些實施例中，計算裝置的一或複數個處理單元(例如處理器)透過執行存儲於電腦可讀介質中的指令，實施媒體內容遞送裝置100執行的進程300。
進程300開始於當媒體內容遞送裝置100從合成媒體源中接收到複數個空間客體的時候。該等空間客體可以包括視訊、複數個靜止圖像、與/或其他類型的媒體客體。空間客體可以對應於可適性視訊的基礎品質層或者提升品質層。下面的部分Ⅱ描述了一合成媒體方案，其中空間客體對應於可適性視訊的基礎品質層與提升品質層。
媒體內容遞送裝置根據一第一組參數對一第一空間客體進行編碼(在步驟310)，媒體內容遞送裝置根據第二組參數也對第二空間客體進行編碼(在步驟320)，該第一空間客體與該第二空間客體被獨立地編碼。在一些實施例中，第一空間客體透過第一視訊/圖像編碼標準進行編碼以及第二空間客體透過第二、不同的視訊/圖像編碼標準進行編碼。在一些實施例中，第一空間客體藉由不參考第二空間客體的預測進行編碼，以及第二空間客體藉由不參考第一空間客體的預測進行編 碼。在一些實施例中，第二空間客體沒有透過幀間預測而僅由幀內編碼進行編碼。
媒體內容遞送裝置還基於該第一組參數(該第一空間客體的)、該第二組參數(該第二空間客體的)以及該第一空間客體與該第二空間客體之間的一關係生成一元資料(在步驟330)。基於第一組參數與/或第二組參數的資訊可以包括每一空間客體的解析度、每一空間客體的尺寸、用於編碼每一空間客體的編碼標準、用於虛擬實境展示的資訊。空間客體之間的的關係資訊可以包括複數個空間客體之間相對位置、複數個空間客體之間透明度或不透明度，複數個空間客體之間下變頻與/或上變頻的關係(例如用於時間或空間上/下取樣的因素)，複數個空間客體的出現之間的延時，與/或其他類型的時間/空間關係。
媒體內容遞送裝置然後傳輸(在步驟340)或存儲編碼的第一空間客體、編碼的第二空間客體與生成的元資料，進程300然後結束。在一些實施例中，編碼的第一空間客體以及第二空間客體與生成的元資料一起被彙編到一資料流程中用於傳輸或存儲。下面的部分Ⅳ將描述用於合成空間客體過程的元資料的信令。
第4圖概念性地示出了用於對合成展示的空間客體進行解碼的進程400。在一些實施例中，當媒體內容合成裝置200根據相關的元資料對空間客體獨立地進行解碼以及合成解碼的空間客體至合成展示的時候，媒體內容合成裝置200執行進程400，該元資料包括用於至少一些空間客體的參數與表徵該空間客體之間關係的參數。在一些實施例中，實施媒體內容合成裝置200的計算裝置的一或複數個處理單元 (例如，處理器)透過執行存儲於電腦可讀介質中的指令執行進程400。
進程400開始於當媒體內容合成裝置200接收一編碼的第一空間客體與一編碼的第二空間客體的時候(在步驟410)。媒體內容合成裝置200還接收與該第一空間客體與該第二空間客體有關的一元資料(在步驟420)。第一與/或第二組參數可以包括每一空間客體的解析度、每一空間客體的尺寸、用於編碼每一空間客體的編碼標準、用於虛擬實境展示的資訊。空間客體之間的關係資訊可以包括複數個空間客體之間相對位置、複數個空間客體之間透明度或不透明度，複數個空間客體之間下變頻與/或上變頻關係(例如用於時間或空間上/下取樣的因素)，複數個空間客體的出現之間的延時，與/或其他類型的時間/空間關係。下面將在部分Ⅳ中描述用於合成空間客體進程的元資料的信令。
媒體內容合成裝置根據來源於該元資料中的一第一組參數對該第一空間客體進行解碼(在步驟430)，媒體內容合成裝置還根據來源於該元資料中的一第二組參數對該第二空間客體進行解碼(在步驟440)，第一空間客體與第二空間客體被獨立地解碼。
在一些實施例中，媒體內容合成裝置也接收一感興趣區域(ROI)選擇(步驟422)並標識該第二空間客體中對應於接收到的ROI選擇的一部分(步驟425)。在此情況下，媒體內容合成裝置對第二空間客體中所標識的與ROI有關的部分進行解碼而不是整個第二空間客體。下面的部分Ⅲ提供了一示例，其中合成展示是一基於全景圖像的360°VR(360VR)視訊，並且ROI選擇對應於由VR裝置指定的視埠。ROI所標識的部分對應於第二空間客體中對包括指定的ROI進行解碼 所需要的部分。在一些實施例中，第二空間客體是幀內編碼的而沒有透過幀間預測，因此它可以以有效的方式用於對所選擇的ROI進行隨機的編址(randomly addressed)與解碼。
媒體內容合成裝置根據來源於該元資料中的第一空間客體與第二空間客體之間的一關係參數，合成解碼的該第一空間客體與解碼的該第二空間客體至一合成展示中(在步驟450)，進程400然後結束。
Ⅱ.提升品質遞送
在一些實施例中，複數個編碼的空間客體是可適性視訊的不同的層，其可被合成為不同品質的展示檔中。具體地，該編碼的空間客體可以包括至少一基礎品質層空間客體與至少一提升品質層空間客體。一基礎品質層空間客體可以包括視訊(例如圖像序列)客體或者自原始視訊(或圖像)在時間與/或空間下變頻後的圖像客體。一提升品質層空間客體可以包括基礎品質層客體的上變頻版本與原始視訊之間的差異。
第5圖示出了對將要合成的基礎品質層與提升品質層進行編碼的可適性視訊編碼器500。可適性視訊編碼器生成各種各樣不同的基礎品質層與提升品質層。可適性視訊編碼器透過對原始視訊或者圖像下變頻(例如下取樣)來生成各種各樣的基礎品質層，每一生成的基礎品質層具有降低的空間解析度(或者維度)與/或降低的幀率。每一提升品質層透過將對應的基礎品質層與提升品質層合成，以包含從一對應的基礎品質層以特定解析度重建原始視訊或圖像所需要的資訊。這些各種 各樣的層基於傳輸媒介(transmission medium)的能力與客體裝置的品質需求，可以有選擇地被遞送至客體解碼/顯示裝置。
如圖式所示，可適性視訊編碼器500包括下變頻器510、上變頻器520、比較器(comparators)530、基礎品質層編碼器540、提升品質層編碼器550以及元資料生成器590。在一些實施例中，模組510、520、530、540、550以及590是具有軟體指令的複數個模組，該軟體指令由計算裝置或電子裝置的一或複數個處理單元(例如處理器)執行。在一些實施例中，模組510、520、530、540、550以及590是具有硬體電路的複數個模組，該硬體電路由電子裝置的一或複數個積體電路(IC)實施。雖然模組510、520、530、540、550以及590被示為分離的模組，但是一些模組可以被合併到一單個模組中。
可適性視訊編碼器500從媒體內容提供器501中接收原始媒體內容505(原始媒體內容505被示為具有圖像序列的視訊)。原始媒體內容505是由下變頻器510在空間與/或時間上下變頻成具有各種各樣空間與/或時間解析度的複數個下變頻的客體581-583。該等下變頻的客體581-583被示為相比於原始媒體內容505具有更低空間解析度的圖像的視訊。下變頻的客體583特別地被示為與原始媒體內容505相比具有更低幀率/時間解析度的視訊。
基礎品質層編碼器540將該等下變頻的客體581-583分別編碼成複數個編碼的基礎品質層客體541-543。基礎品質層編碼器540也將該等下變頻的客體重構為複數個基礎品質層客體511-513。該等基礎品質層客體511-513是由上變頻器520在空間與/或時間上上 變頻成複數個上變頻的基礎品質層客體521-523以匹配原始媒體內容505的解析度。比較器530比較該等上變頻的基礎品質層客體521-523與原始媒體內容505以生成複數個差分客體(differential objects)531-533作為提升品質層客體。提升品質層編碼器550將該等提升品質層(或差分)客體531-533編碼為複數個編碼的提升品質層客體551-553。
每一基礎品質層編碼器540與每一提升品質層編碼器550獨立於其他任何基礎品質層編碼器與提升品質層編碼器運行。在一些實施例中，當不參考其他任何基礎品質層或提升品質層客體對它的基礎品質客體進行編碼的時候，每一基礎品質層編碼器540執行它自己的幀內與/或幀間預測操作。(同樣地，當不參考其他任何基礎品質層或提升品質層客體對它的提升品質客體進行編碼的時候，每一提升品質編碼器550執行它自己的幀內與/或幀間預測操作)。在一些實施例中，不同的基礎品質層編碼器與提升品質層編碼器可以使用不同的視訊/圖像編碼標準。
在一些實施例中，可適性視訊編碼器500是一種媒體內容遞送裝置100，它的基礎品質層與提升品質層被編碼為複數個空間客體並且被遞送用於後續的合成進程。換句話說，下變頻器510、上變頻器520以及複數個比較器(comparators)530是合成媒體源105的組件。該等基礎品質層客體511-513與該等提升品質層(或差分)客體531-533是由該等媒體編碼器111-119(相當於基礎品質層解碼器540與提升品質層編碼器550)獨立地編碼的空間客體。
雖然沒有示出，但是可適性視訊編碼器500不僅生成提升品質層客體，其每一基於基礎品質層與原始圖像之間的差異的，還生成包括基於各種各樣基礎品質層之間的差異的提升品質層客體。這樣的提升品質層透過以第二、更低的解析度合成另一基礎品質層與對應的提升品質層來允許以第一解析度重構一基礎品質層。
可適性視訊編碼器500還生成了元資料595(透過元資料生成器590,)，該元資料表徵每一基礎品質層客體與每一提升品質層客體。對於每一基礎品質層或提升品質層客體，元資料可以包括空間與/或時間解析度、編碼標準、虛擬實境展示資訊與/或其他類型的資訊，根據該元資料，基礎品質層編碼器540生成該等編碼的基礎品質層客體541-543以及提升品質層編碼器550產生該等編碼的提升品質層客體551-553。元資料595也可以包括表徵複數個基礎品質層客體與複數個提升品質層客體之間關係的資訊，用於匹配每一基礎品質層的解析度與它對應的提升品質層的複數個變頻比率(conversion ratios)(例如由上變頻器520使用的以將該等基礎品質層客體511-513上變頻成該等上變頻的基礎品質層客體521-523)的資訊。
元資料595、該等編碼的基礎品質層客體541-543以及該等編碼的提升品質層客體551-553被提供至IP網路以遞送到客體裝置。可適性的視訊解碼器作為客體裝置，基於它的位元元速率與品質需求接收與解碼一些基礎品質層客體與提升品質層客體。可適性的視訊解碼器合成解碼的基礎品質層客體與一解碼的提升品質層客體至具有期望品質的一合成展示中。
第6圖示出了接收、解碼以及合成複數個基礎品質層客體與複數個提升品質層客體以得到可適性視訊展示的可適性視訊解碼器600。在示出的示例中，可適性視訊解碼器600接收編碼的基礎品質層客體541、編碼的提升品質層客體551與元資料595。可適性視訊解碼器600基於元資料595的內容解碼接收到的客體並基於裝置的性能合成複數個解碼的客體至具有一期望的品質水平的一合成展示690中。
可適性視訊解碼器600包括基礎品質層解碼器640、提升品質層解碼器650、上變頻器620、合成器(加法器)630以及媒體內容渲染器(media content renderer)660。在一些實施例中，模組620、630、640、650以及660是具有軟體指令的複數個模組，該軟體指令由計算裝置或電子裝置的一或複數個處理單元(例如處理器)執行。在一些實施例中，模組620、630、640、650以及660是具有硬體電路的複數個模組，該硬體電路由電子裝置的一或複數個積體電路(IC)實施。雖然模組620、630、640、650以及660被示為分離的模組，但是一些模組可以合併到單個模組。
如圖式所示，可適性視訊解碼器600接收到來自於IP網路199的編碼的基礎品質層客體541與編碼的提升品質層客體551。基礎品質層解碼器640解碼該基礎品質層客體541以再創建基礎品質層客體511，以及提升品質層解碼器650解碼提升品質層客體551以再創建解碼的差分客體631。上變頻器620上變頻解碼的基礎品質層客體511至上變頻的基礎品質層客體521中。合成器(或加法器)630然後合成基礎品質層客體521與解碼的差分客體631以創建合成展示 690。媒體內容渲染器660然後基於客體裝置的裝置性能渲染用於由客體裝置進行顯示的合成展示690。
在一些實施例中，可適性視訊解碼器600是一種媒體內容合成裝置200，其中複數個基礎品質層與複數個提升品質層被編碼為複數個空間客體並且合成至一合成展示中。換句話說，上變頻器620與合成器630是空間客體合成器205的元件。基礎品質層客體511與提升品質層客體531是由複數個媒體解碼器211-219獨立地解碼的複數個空間客體，該媒體解碼器211-219對應於基礎品質層解碼器640與提升品質層解碼器650。
由基礎品質層解碼器640執行的複數個解碼操作與由提升品質層解碼器650執行的複數個解碼操作是彼此獨立的。換句話說，基礎品質層客體551與提升品質層客體541是獨立地解碼的。基礎品質層解碼器640可以在不參考提升品質層客體的情況下，執行它自己的幀間與幀內預測操作，以及提升品質層解碼器650可以在不參考基礎品質層客體的情況下執行它自己的幀間與幀內預測操作。
元資料解析器620解析元資料590以提取基礎品質層參數645與提升品質層參數655。基礎品質層解碼器640使用該資訊以決定如何解碼基礎品質層客體541以及提升品質層解碼器650使用該資訊以決定如何解碼提升品質層客體551。基礎品質層參數645可以包括如基礎品質層客體541的解析度與尺寸的資訊、基礎品質層客體的VR展示資訊等等。提升品質層參數655可以包括如提升品質層客體551的解析度與尺寸的資訊、提升品質層客體的VR展示資訊等等。元 資料解析器620也解析元資料595以提取關係參數625，該關係參數表徵基礎品質層客體541與提升品質層客體551之間的關係，用於匹配基礎品質層與提升品質層的解析度的上變頻比率的資訊。
在一些實施例中，提升品質層客體551的解碼操作是基於ROI選擇的輸入，提升品質層客體解碼器650基於ROI選擇對應地僅解碼提升品質層客體中相關或必要的部分。因此，解碼的差分客體631可以是差分客體531部分解碼的版本。部分解碼的差分客體631被示為表示全尺寸差分客體的較大矩形區內較小的矩形區域。因為差分客體631具有僅用於對應於ROI的展示部分的差分數據，因此作為結果的合成展示690僅對ROI具有全解析度，而ROI外部的圖像內容保持在基礎品質。在一些實施例中，提升品質層客體是幀內編碼的而不經過幀間預測，因此它可以以有效的方式用於對所選擇的ROI進行隨機的定址與解碼。
Ⅲ.虛擬實境
在一些實施例中，可適性視訊編碼器500與可適性視訊解碼器600被用於遞送基於全景圖像的360°虛擬實境(360VR)媒體內容。第7圖示出了一與示例性實施例一致的VR內容遞送系統700。
如圖式所示，VR內容遞送系統700包括360VR內容提供器710。所提供的360VR可以是由相機提供的原始內容(raw content)，或者是任何一以3D至2D投影格式處理過的原始內容的(例如投影映射與/或拼接)的版本，例如等矩形投影(equirectangular projection，簡稱ERP)、立方體地圖投影(cube map projection，簡 稱CMP)、等面積投影(equal area projection，簡稱EAP)、八面體投影(octahedron projection，簡稱OHP)等等。
VR內容遞送裝置720使用複數個壓縮(compression)及串流(streaming)工具來將360VR內容與元資料壓縮成單個資料流並透過IP網路199來傳送。將在下面的部分Ⅳ中描述用於空間客體的合成進程的元資料的資訊。
VR內容合成裝置730接收到360VR內容與元資料並且生成360VR內容的合成的VR展示。內容渲染引擎740將合成VR展示渲染至VR裝置的球形環境中以用於用戶端側的VR體驗。VR裝置750指定360VR內容中的子區域作為視埠，以及視埠的規格(Specification)被提供給VR內容合成裝置730作為ROI選擇。這種VR裝置可以是VR眼鏡或有能力將360VR媒體內容呈現給使用者的計算裝置。在一些實施例中，VR內容合成裝置730與內容渲染引擎740是VR裝置750的硬體或軟體元件。
在一些實施例中，可適性視訊編碼器500實施VR內容遞送轉置720以及可適性視訊解碼器600實施VR內容合成裝置730。在此情況下，呈現在VR裝置中的VR內容是根據元資料中指定的參數單獨地編碼與解碼的基礎品質層客體與提升品質層客體的合成的VR展示。
來自於VR裝置750的ROI選擇/視埠規格允許提升品質層解碼器650僅對提升品質層客體551中覆蓋視埠所必要的一部分進行解碼，而對提升品質層客體551中不必要的用於顯示視埠的其他部 分不進行解碼(以及不從VR內容遞送裝置720中請求/取出)。提升品質層解碼器可以僅解碼一組特定的包含視埠的資料單元(例如，一組特定的塊(tiles)、多視點視訊的一組特定的視點、柏拉圖立體投影(platonic solid projection)中的特定的表面、一組特定的切片(slices)等等)，而不屬於特定的資料單元組的資料單元不被取出或者解碼。來自于合成基礎品質層與提升品質層的作為結果的合成的VR展示將有它的具有全解析度品質的視埠區域，而在視埠外的合成的VR展示的區域將只有基礎品質層資訊。
對於一些實施例，為了及時回應與覆蓋用戶端快速的視點切換，由VR內容遞送裝置提供的基礎品質層可以包括比用戶端視埠更大的面積(或整個投影的全景區域)。另一方面，由VR內容遞送裝置720提供的提升品質層可以僅覆蓋用戶端視埠區域與/或複數個周圍區域以獲得更好的與提升圖像品質，提供好的VR體驗。對於一些實施例，基礎品質層可以覆蓋大部分或所有視埠切換以及提升品質層可以以低延時與便於隨機存取的編碼技術產生，例如，提升品質層編碼器550僅執行幀內編碼而不執行幀間預測編碼，因为幀間預測編碼可能會參考在ROI/視埠外的像素。這樣，可以實現用於VR內容流的低延時與隨機存取。
在一些實施例中，基於可適性視訊編碼器500的VR內容遞送系統可以被認為是一閉環系統(closed-loop system)，因為重構的、上變頻的基礎品質層客體511被用於在可適性視訊編碼器500中生成提升品質層客體551-553以及在可適性視訊解碼器600中，在不 引入任何錯誤的情況下生成最終的合成的展示690。此外，基礎品質層客體與提升品質層客體必須要在相同的3D至2D的投影格式與/或包裝格式中。
本發明的一些實施例提供了VR內容遞送系統的實施方式，該VR內容遞送系統可以被認為是一開環系統(open-loop system)。在這種實施方式中，提升品質層客體的生成不是基於編碼基礎品質層客體的重構，且提升品質層客體可以從全景圖像中產生，該全景圖像是相比於基礎品質層客體，具有不同投影格式與/或不同包裝格式的。這就允許提升品質層客體以很小的延時生成與被編碼。這也允許提升品質層客體用一低延時、便於隨機存取的格式，而基礎品質層內容用一最緊湊的投影與/或包裝格式。
具體地，VR內容遞送系統的傳輸/遞送端以第一投影模式中接收到原始的VR內容，在沒有進一步的投影映射的情況下，將其下變頻與包裝為基礎品質層客體。為了創建提升品質層客體，原始VR內容被投影映射至第二投影模式。這就允許編碼基礎品質層客體與編碼的提升品質層客體以不同的VR投影格式遞送。在VR內容遞送系統的接收/合成端，在合成基礎品質層與提升品質層以生成合成的VR展示之前，基礎品質層是未包裝的並被投影映射到第二投影模式中。
第8a-b圖示出了VR內容遞送系統700的一實施方式800，該VR內容遞送系統可以被認為是一開環系統。VR內容遞送系統800包括VR內容遞送裝置720與VR內容合成裝置730。VR內容遞送裝置720從VR內容提供器710中接收VR內容801，在生成用於 在VR內容合成裝置730中遞送與合成的基礎品質層與提升品質層之前，對VR內容進行投影映射與拼接(或包裝)。
VR內容遞送裝置720包括基礎品質層編碼器540與提升品質層編碼器550，編碼器540與550可參考上面第5圖的描述。VR內容遞送裝置720也包括投影映射模組810與815，下變頻器820、上變頻器825、拼接(包裝)模組830。在一些實施例中，模組810、820、815、825、830、540、550是具有軟體指令的複數個模組，該軟體指令由計算裝置或電子裝置的一或複數個處理單元(例如處理器)來執行。在一些實施例中，模組810、820、815、825、830、540、550是具有硬體電路的複數個模組，該硬體電路由電子裝置的一或複數個積體電路(IC)實施。雖然模組810、820、815、825、830、540、550被示為分離的模組，但是一些模組可以被合併成一單個模組。
如圖式所示，VR內容801是用OHP模式。為了生成提升品質層829，VR內容遞送裝置720執行投影(在投影模組810中)以將VR內容801從OHP的變換至ERP以生成全尺寸的ERP內容811。VR內容遞送裝置720也下變頻(在下變頻器820中)視訊內容801以生成壓縮尺寸的OHP內容821。裝置投影將壓縮尺寸的OHP內容821從OHP映射(在投影模組815)至ERP中以產生尺寸壓縮的ERP內容816。尺寸減小的ERP內容816被上變頻(在上變頻器825中)以產生上變頻的ERP內容826。上變頻ERP內容826與全尺寸ERP內容811之間的差異就是提升品質層829。提升品質層編碼器 550對提升品質層829進行編碼以便透過IP網路199遞送到VR內容合成裝置730。
為了生成基礎品質層客體831，VR內容遞送轉置720包裝或拼接(在包裝模組830)減小的OHP內容821至包裝的OHP內容831以進一步減小它的尺寸。包裝的OHP內容831作為基礎品質層客體。基礎品質層編碼器540對基礎品質層831進行編碼以便透過IP網路199遞送到VR內容合成裝置730中。
在第8a-b圖的示例中，提升品質層是ERP格式，而基礎品質層是包裝的OHP格式。更一般的來說，基礎品質層可以用在位元速率與存儲尺寸方面更有效的投影/包裝格式或模式，而提升品質層可以是對於由於任意的ROI/視埠選擇的隨機存取定址是更友好的投影/包裝格式。這不像第5圖中的閉環實施方式，其中VR內容遞送裝置720用重構基礎品質層生成提升品質層，而且要遞送的編碼基礎品質層客體與編碼的提升品質層客體用相同的VR投影格式。
VR內容合成裝置730包括基礎品質層解碼器640與提升品質層解碼器650。解碼器640與650將參考上面的第6圖進行描述。VR內容合成裝置730也包括解包模組(unpack module)841，投影模組842與上變頻器843。在一些實施例中，模組841-843、640與650是具有軟體指令的複數個模組，該軟體指令由計算裝置或電子裝置的一或複數個處理單元(例如處理器)執行。在一些實施例中，模組841-843、640與650是具有硬體電路的複數個模組，該硬體電路由電子裝置的一或複數個積體電路實施。雖然模組841-843、640與650被 示為分離的模組，但是一些模組可以合併成單個模組。
VR內容合成裝置730接收與解碼(在提升品質層解碼器650中)編碼的提升品質層客體829以生成解碼的提升品質層859。在所示的示例中，提升品質層解碼器650接收ROI/視埠規格，以致于解碼的提升品質層859僅佔據全景展示中對應於ROI的一部分。
VR內容合成裝置730也接收與解碼(在提升品質層解碼器640中)編碼基礎品質層客體831，因為基礎品質層客體是包裝的OHP格式，VR內容合成裝置730解包(在解包模組841)、投影映射至ERP格式(在投影模組842中)以及上變頻(在上變頻器843中)解碼的基礎品質層以生成上變頻的基礎品質層861。
VR內容合成裝置730合成上變頻的基礎品質層861與解碼的提升品質層859以生成VR展示860。如圖式所示，當存在有ROI/視埠規格的時候，合成的VR展示在ROI內(在沒有散列的情況下示出，shown without hash)具有全品質以及在ROI外具有較低的基礎品質。
雖然沒有示出，但是編碼的提升品質層與編碼的基礎品質是隨著元資料一起被遞送，該元資料包括關於基礎品質層與提升品質層如何被解碼與合成的複數個參數(例如尺寸、解析度、編碼標準、變換率等等)。因為開環實施方式800在遞送側(VR內容遞送裝置720)執行投影映射，因此元資料也包括指定VR全景視訊/圖片格式化的資訊，例如關於投影格式(例如，它是否是ERP、OHP、CMP、EAP或者其他投影映射格式)與包裝格式(例如，重新排列柏拉圖立體投影的不 同表面以在360VR媒體內容中減小全景圖像的尺寸)的資訊。
Ⅳ.用於合成空間客體的元資料
如上所述，不考慮被傳輸的複數個空間客體的類型(覆蓋客體、基礎與提升品質層、360VR全方向媒體內容等等)，被編碼為空間客體以用於遞送與合成的編碼的媒體內容與元資料相關聯，該元資料包括用於至少一些空間客體的參數以及表徵空間客體之間關係的複數個參數。
在一些實施例中，編碼的複數個空間客體與元資料在與動態適應性調整流(Dynamic Adaptive Streaming)一致的資料串流中在HTTP上傳輸，又稱為MPEG-DASH。MPEG-DASH是用於從HTTP網路服務器將媒體內容遞送至互聯網的適應性調整位元串流技術。元資料的資訊可能被標誌為MPEG-DASH的媒體展示描述(Media Presentation Description，簡稱MPD)與/或空間關係描述(Spatial Relationship Description，簡稱SRD)的一部分。SRD方案透過描述視訊內容相關片段之間的關空間關係擴展MPD，這使得DASH用戶端能夠僅在與用戶體驗相關的那些解析度處選擇與取回那些視訊流。
為了表示基礎品質內容(基礎品質層的內容)、提升品質內容(提升品質層的內容)以及他們用於MPEG DASH應用的關係的存在，在一些實施例中的元資料使用MPD的必要性能描述符(essential property descriptor)或補充性能描述符(supplemental property descriptor)以指示基礎以及提升品質內容的存在與關係。在一些實施例中，MEPG-DASH可以被用於進一步在串流與呈現進程中指示複數 個相對角色(relative roles)。
第9a-b圖示出了表示基礎與提升品質內容的存在與關係的示例性的MPD900。在示例性MPD中，用於基礎品質內容的變數“轉換時間(Switching Interval)”可以被設置一較大的值以及用於提升品質內容的變數“轉換時間(Switching Interval)”設置一較小的值。下面的表1列出了在MPD的基本性能與/或補充性能中用於指示基礎與提升品質層客體存在與關係的參數。
在一些實施例中，基於塊的編碼技術可與被用於基礎品質內容與提升品質內容兩者。第10圖示出了示例性MPD1000，其中提升品質內容被編碼為複數個HEVC塊(tiles)。
在一些用基礎品質內容與提升品質內容用於合成360VR展示實施例中，元資料使用MPD的基本性能描述符或者補充性能描述符還可以指示特定於VR展示的資訊，例如投影格式與包裝格式(除了指示基礎與提升品質層的存在與關係之外)。
第11圖是一示例性的MPD1100，在其中指示了用於VR投影的投影與包裝格式。具體地，示例性MPD1100指示了CMP投影格式與2×3包裝格式中的基礎品質層以及在ERP格式中的提升品質層，在水平與垂直兩個方向上，用於基礎品質層的下變頻比率是2。
下面的表2列出了用於指示基礎品質內容與提升品質內容的存在與關係，以及在各種各樣基本性能與/或補充性能“值”中的投影與包裝格式。
本發明的一些實施例提供了動態SRD方案，該方案包括用於合成複數個空間客體的混合模式。混合資訊可以作為笛卡爾座標樣本的複數個參數而被攜帶。混合資訊也可以作為2D笛卡爾座標樣本而被攜帶。用於混合2D笛卡爾座標樣本的額外參數可以被設置為0或者從動態SRD方案中省略。
第12圖示出了示例性2D笛卡爾座標樣本的語法，該語法將混合資訊作為複數個參數進行攜帶。具體地，如果指示符“blend”為真，2D笛卡爾座標樣本包括緊隨著“blend”的參數“blending-mode”。指示符“blend”指示混合資訊是存在的。當其為真的時候，應用可以使用混合模式與下表3中列出的預留的對應參數值，在空間客體下面的合成處理期間，與混合資訊相關的空間客體將被作為頂層空間客體。
表3示出了用於各種可能的混合模式的示例性參數值。(在示例性表格中，所描述的空間客體被認為是頂層客體。)
下面的表4列出了當2D笛卡爾座標樣本攜帶混合資訊的時候，SRD方案的基本性能與/或補充性能的參數。
第13圖示出了一示例性MPD1300，該MPD1300使用攜帶混合資訊作為複數個參數的2D笛卡爾座標樣本。由於附加的參數被添加到現有的2D笛卡爾座標樣本中，這裡僅有一定時元資料軌道。在示例性MPD中，從“roi_coordinates_blending.mp4”中載入混合信息為2D笛卡爾座標樣本。
在一些實施例中，在應用於具體應用之前，複數個2D笛卡爾座標樣本與內容一起生成，隨後可用單獨生成用於具體應用的混 合資訊。在一些實施例中，這些混合資訊被存儲為複數個2D笛卡爾座標樣本。對於一些實施例，第14圖示出了2D笛卡爾座標樣本的語法，該語法用於存儲混合資訊。如果2D笛卡爾座標樣本存在於單獨的元資料軌道或檔中，語法元素“2dccsample”是可選的。第15圖示出了示例性MPD1500，其使用存儲為複數個2D笛卡爾座標樣本的混合資訊。在示例性的MPD中，從“blending_roi_coordinates.mp4”中載入混合信息為複數個2D笛卡爾座標樣本。
在一些實施例中，SRD的語法包括在DASH用戶端中支援同時特徵與平行計算(例如使在可適性視訊解碼器600或VR內容合成裝置730中的基礎品質層解碼器640與提升品質層解碼器650能夠同時處理)。能夠平行計算允許，例如，在一或複數個裝置上同時存在/顯示來自于幀或全景視圖中的平鋪視訊，使用的塊尺寸可以獨立於複數個用戶端裝置。可以允許與定義複數個空間客體之間的交互性如混淆或混合以提升整體內容編碼/遞送的效率。因此，能夠平行計算豐富了在一或複數個裝置上的各種各樣的VR展示。
在一些實施例中，如果SRD中的信令適應集存在，則指示該適應集可以由視點元素(viewpoint element)標識，或者它可以由擴展的子資產識別符方案將其標識為一資產的子資產。可選的是，根據對應的SRD資訊將適應集與相等的視點值或相等的子資產值可以或必須呈現在一起，取決於它是否被用於補充性能或基礎性能。
在一些實施例中，SRD包括能同時展示或平行計算的方案識別符。第16圖示出了具有SRD方案的能夠同時展示的示例性的 MPD1600。
根據接收到的示例性MPD1600，沒有SRD感知的用戶端可能主要呈現左全景或者右全景，或者兩種全景。在另一方面，具有SRD感知的用戶端根據接收到的示例性MPD160，將會在一單一裝置或複數個裝置上呈現縮放的視圖(zoomed view)、或者具有一全景視圖的縮放視圖、或者具有兩個全景視圖的縮放視圖。在一些實施例中，全景視圖被用作用於VR應用的基礎品質層，以及平鋪或縮放的視圖基於用戶端視埠/ROI切換被用作提升品質層。
MEPG-DASH將“資產”定義為“包括媒體與元資料的內容以及由內容提供器使用該內容的權利”，以及將“子資產”定義為“被標識為對應於資產部分的媒體內容分量(或它的部分)”。SRD的子資產識別符方案規定了時間特徵如關於播發的連續性。在一些實施例中，SRD的子資產的識別符方案也被延伸至指定空間特徵。例如，如果一塊基於全視訊(幀)內容被定義為資產，然後這些塊合成全視訊內容可以被子資產識別符方案的描述符所標識。這一擴展也可以被用於基於塊的編碼與用於VR應用的遞送，使得具有相同子資產值的塊可被重播在一起被呈現(具有SRD資訊)為全視訊內容。在一些實施例中，子資產識別符方案進一步延伸到去描述被合成的空間客體之間的空間關係。
在一些實施例中，在一內容時間段內的跨越複數個適應集的子資產可以用子資產方案識別符來標識。如果來自於一內容時間段的兩個不同的適應集或者子展示包括具有相同屬性“值”的子資產識別符描述符，那麼包含在這些適應集裡的展示中的內容表示了同一資產的空 間部分(或空間客體)。所表示的空間部分可以具有SRD描述符。DASH用戶端也可以使用子資產識別符描述符去選擇在一內容時間段內被同時處理的展示內容以用於合成全空間展示。
第17a-b圖示出了示例性MPD1700，其使用子資產方案去表示複數個空間客體或合成展示的複數個空間部分。在示例性MPD1700中，用SRD方案來表示的適應集，schemeIdUri="urn：mpeg：dash：srd：simul：2017"，可以是資產的子資產。它也可以由延伸的子資產識別符方案標識，schemeIdUri="urn：mpeg：dash：sai：spatial：2017"。如果它們具有相等的子資產值，根據對應的SRD方案，用戶端可以選擇一起呈現它們。
除了使用“urn：mpeg：dash：sai：2017”作為用於在時間域標識子資產的方案與使用“urn：mpeg：dash：sai：spatial：2017”作為用於在空間域標識子資產的方案之外，子資產識別符方案可以進一步延伸作為“urn：mpeg：dash：sai：signal：2017”以包括用於各種各樣應用優化的更廣的情況。例如，子資產可以是全顏色資產的一顏色分量，或者全信號範圍資產的部分信號等等，一豐富的混合方案可以與它一起被使用以獲得良好的整體體驗品質。
V.示例性視訊編碼器
第18圖示出了一示例性視訊編碼器1800，其在媒體內容遞送裝置100中的至少一些媒體編碼器111-119中實施。
如圖式所示，視訊編碼器1800從視訊源1805中接收輸 入視訊訊號並將信號編碼至位元流1895中。視訊編碼器1800具有諸多元件或模組用於編碼該視訊訊號，包括轉換模組1810、量化模組1811、逆量化模組1814、逆轉換模組1815、幀內圖像估計模組1820、幀內圖像預測模組1825、運動補償模組1830、運動估計模組1835、環路濾波器1845、重構圖像緩衝器1850、MV緩衝器1865、MV預測模組1875以及熵編碼器1890。
在一些實施例中，模組1810-1890是具有軟體指令的複數個模組，該軟體指令由計算裝置或電子裝置的一或複數個處理單元(例如處理器)執行。在一些實施例中，模組1810-1890是具有硬體電路的複數個模組，該硬體電路由電子裝置的一或複數個積體電路實施。雖然模組1810-1890被示為分離的模組，但是一些模組可以合併成一單個模組。
視訊源1805提供表示每一視訊幀的像素資料未經壓縮的原始視訊訊號，減法器1808計算視訊源1805的原始視訊的像素資料與來自於運動補償1830或幀內圖像預測1825的預測的像素資料1813的差異。轉換模組1810變換該差異(或殘差像素資料)成轉換係數1816(例如，透過執行離散余弦變換，或DCT)。量化模組1811將轉換係數量化成量化的資料(或量化的係數)1812，其由熵編碼器1890編碼至位元流1895中。
逆量化模組1814逆量化該量化的資料(或量化的係數)1812以獲得複數個轉換係數，以及逆轉換模組1815對轉換係數執行逆轉換以生成重構的像素資料1817(在增加預測的像素資料1813之 後)。在一些實施例中，用於幀內圖像預測與空間MV預測的重構的像素資料1817是暫時存儲於線緩衝器(line buffer，未示出)之中的。重構的像素資料由環路濾波器1845進行過濾並存儲於重構圖像緩衝器1850中。在一些實施例中，重構像素緩衝器1850是在視訊編碼器1800之外的記憶體。在一些實施例中，重構圖像緩衝器1850是在視訊編碼器1800之內的記憶體。
幀內圖像估計模組1820根據重構像素資料1817執行幀內預測以生成幀內預測資料，該幀內預測資料被提供給熵編碼器1890以被編碼至位元流1895。該幀內預測資料用於幀內圖像預測模組1825以生成預測的像素資料1813。
運動估計模組1835透過產生複數個MV以參考存儲於重構圖像緩衝器1850中先前解碼的幀的像素資料來執行幀間預測，該等MV被提供給複數個運動補償模組1830以生成預測的像素資料。該等MV對於在單通道解碼系統中重構視訊幀是必要的。視訊編碼器1800使用時間MV預測以生成複數個預測的MV而不是在位元流中編碼完整實際的複數個MV，以及用於運動補償的複數個MV與複數個預測的MV之間的差異被編碼為殘差運動資料並存儲於位元流1895中以用於單通道解碼系統。
視訊編碼器1800基於用於編碼先前視訊幀而生成的複數個參考MV，生成複數個預測的MV，也就是複數個運動補償MV將被用於執行運動補償。視訊編碼器1800從來自於MV緩衝器1865中的先前視訊幀中取回複數個參考MV。視訊編碼器1800將生成的用於 當前視訊幀的複數個MV存儲於MV緩衝器1865中作為用於生成複數個預測的MV的複數個參考MV。
MV預測模組1875使用預測的參考MV去創建複數個預測的MV，該等預測的MV可以由空間MV預測或時間MV預測計算。複數個預測的MV與當前視訊幀中的複數個運動補償MV(MC MV)之間的差異(殘差運動資料)由熵編碼器1890編碼至位元流1895中。
熵編碼器1890透過使用熵編碼技術(entropy-coding techniques)例如上下文適應性調整二進位算數編碼(context-adaptive binary arithmetic coding，簡稱CABAC)或霍夫曼編碼(Huffman encoding)，將各種各樣的參數與資料編碼至位元流1895中。熵編碼器1890將複數個參數編碼至位元流中，例如量化的轉換資料與殘差運動資料。
環路濾波器1845在重構的像素資料1817上執行濾波或平滑操作以減少編碼的複數個偽像(artifacts)，特別是在像素區塊的邊界位置。在一些實施例中，執行的濾波操作包括樣本適應性調整補償(sample adaptive offset，簡稱SAO)。在一些實施例中，濾波操作包括適應性調整環路濾波(adaptive loop filter，簡稱ALF)。
Ⅵ.示例性視訊解碼器
第19圖示出了示例性視訊解碼器1900，其在媒體內容合成裝置200中的至少一些媒體解碼器211-219中實施。
如圖式所示，視訊解碼器1900是一圖像解碼或視訊解 碼電路，其接收到位元流1995並解碼該位元流的內容至用於顯示的複數個視訊幀的像素資料中。視訊解碼器1900具有用於解碼位元流1995的複數個元件或分量，包括逆量化模組1905、逆轉換模組1915、幀內圖像預測模組1925、運動補償模組1935、環路濾波器1945、解碼圖像緩衝器1950、MV緩衝器1965、MV預測模組1975以及位元流解析器1990。
在一些實施例中，模組1910-1990是具有軟體指令的複數個模組，該軟體指令由計算裝置的一或複數個處理單元(例如處理器)執行。在一些實施例中，模組1910-1990是具有硬體電路的複數個模組，該硬體電路由電子裝置的一或複數個積體電路實施。雖然模組1910-1990被示為分離的模組，但是一些模組可以合併成單個模組。
位元流解析器1990(或熵解碼器)接收到位元流1995並根據由視訊編碼或圖像編碼標準定義的語法執行初步的解析。解析的語法元素包括各種各樣的頭元素(header elements)、標記以及量化的資料(或量化的參數)1912。位元流解析器1990透過使用如上下文適應性調整二進位算數編碼或霍夫曼編碼這樣的熵編碼技術，解析出各種各樣的語法元素。
逆量化模組1905逆量化量化的資料(或量化的係數)1912以獲得複數個轉換係數，以及逆轉換模組1915對複數個轉換係數1916執行逆轉換以生成解碼的像素資料1917(在從幀內預測模組1925或運動補償模組1935中添加預測的像素資料1913之後)。解碼的像素資料由環路濾波器1945進行濾波並存儲於解碼圖像緩衝器 1950中。在一些實施例中，解碼圖像緩衝器1950是在視訊解碼器1900之外的記憶體。在一些實施例中，解碼圖像緩衝器1950是視訊解碼器1900之內的記憶體。
幀內圖像預測模組1925從位元流1995中接收到幀內預測資料並根據幀內預測資料從解碼的像素資料1917生成預測的像素資料1913並存儲於解碼圖像緩衝器1950中。在一些實施中，編碼的像素資料1917也存儲於線緩衝器中(為示出)以用於幀內圖像預測與空間MV預測。
在一些實施例中，解碼圖像緩衝器1950的內容是用於顯示的。顯示裝置1955直接接收到用於顯示的解碼圖像緩衝器1950的內容或者將解碼圖像緩衝器的內容取回到顯示緩衝器中。在一些實施例中，顯示裝置透過像素傳輸從解碼圖像緩衝器1950中接收到像素值。
運動補償模組1935根據複數個運動補償MV(MC MV)，從存儲於解碼圖像緩衝器1950中的解碼的像素資料1917生成預測的像素資料1913。透過將從位元流1995中接收到的殘差運動資料與從MV預測模組1975接收到的複數個預測的MV相加來解碼這複數個運動補償MV。
視訊解碼器1900基於用於解碼在先視訊幀而生成的複數個參考MV生成複數個預測的MV，例如，複數個運動補償MV被用於執行運動補償。視訊解碼器1900從MV緩衝器1965中取回在先視訊幀的複數個參考MV。視訊解碼器1900也將用於解碼當前視訊幀而 生成的複數個運動補償MV存儲於MV緩衝器1965中以作為用於生成複數個預測的MV的複數個參考MV。
環路濾波器1945在解碼的像素資料1917上執行濾波/平滑操作以減少編碼的偽像(artifacts)，特別是在區塊的邊界處。在一些實施例中，執行的濾波操作包括樣點適應性調整補償(SAO)。在一些實施例中，濾波操作包括適應性調整環路濾波(ALF)。
Ⅶ.示例性電子裝置
上述特徵與應用的許多被實現為軟體進程，該軟體進程指定為記錄在電腦可讀存儲介質(也稱為電腦可讀介質)上的一組指令。當這些指令由一或複數個計算或處理單元(例如一或複數個處理器、處理器的核心或其他處理單元)執行的時候，它們導致處理單元執行該指令指示的動作。示例性的電腦可讀介質包括但不限於CD-ROMs、快閃記憶體盤(flash drives)、隨機存取記憶體(random-access memory，簡稱RAM)晶片、硬碟驅動器、可擦除可程式設計唯讀記憶體(erasable programmable read only memories，簡稱EPROMs)、電可擦除可程式設計唯讀記憶體(electrically erasable programmable read-only memories，簡稱EEPOMs)等等。該電腦可讀介質不包括透過無線傳輸或有線連接傳輸的載波(carrier waves)與電子信號。
在這個規格中，術語“軟體”表述屬於可讀記憶體的固件或在磁記憶體中的應用，其可被讀入記憶體已被記憶體處理。同樣，在一些實施例中，複數個軟體發明可以被實現為較大程式的子部分，而其餘的不同的軟體發明。在一些實施例中，複數個軟體發明也可以被實 施為單獨的程式。最後，在此描述的實現本發明的軟體發明的單獨程式的任何組合都在本發明的範圍內。在一些實施例中，當軟體程式被安裝以在一或複數個電子系統上運行的時候，定義一或複數個特定的機器實施方式，該實施方式執行與運行軟體程式的操作。
第20圖概念性的示出了實施本發明一些實施例的電子系統2000。電子系統2000可以是電腦(例如臺式電腦、個人電腦、平板電腦等等)、手機、PDA或其他任何種類的電子裝置。這樣的電子系統包括各種各樣的電腦可讀媒介的種類與用於各種各樣其他電腦可讀媒介種類的介面。電子系統2000包括匯流排2005、處理單元2010、影像處理單元(graphics-processing unit，簡稱GPU)2015、系統記憶體2020、網路2025、唯讀記憶體2030、永久存放裝置(permanent storage device)2035、輸入裝置2040以及輸出裝置2045。
匯流排2005概括地表示在所有系統、週邊裝置以及與該電子系統的複數個內部裝置通信連接的晶片組匯流排。例如，匯流排2005將處理單元2010與GPU2015、唯讀記憶體2030、系統記憶體2020以及永久存放裝置通信地連接。
為了執行本發明的進程，來自於這些各種各樣處理單元的處理單元2010的取回指令用於執行以及取回資料用於處理。在不同的實施例中，處理單元可以是一單個的處理器或多核處理器。一些指令被發送並由GPU2015執行，GPU2015可以分流由處理單元2010提供的各種各樣的計算指令或者影像處理的實施方式。
唯讀記憶體(ROM)2030存儲電子系統的處理單元與其 他模組所需要的靜態資料與指令。在另一方面，永久存放裝置2035是讀寫存放裝置(a read-and-write memory device)。這個裝置是非揮發性存儲單元，即甚至在電子系統2000關閉的時候也能存儲指令與資料的裝置。本發明的一些實施例使用大容量存儲裝置(mass-storage device)(例如磁碟或光碟以及它對應的磁碟機)作為永久存放裝置2035。
其他實施例使用移動存放裝置(例如軟碟、閃速記憶體等等及它對應的磁碟機)作為永久存放裝置。與永久存放裝置2035一樣，系統記憶體2020是讀寫存放裝置。然而，不像永久存放裝置2035，系統記憶體2020是揮發性讀寫記憶體，例如隨機存取記憶體。存儲記憶體2020存儲處理器在執行時間需要的一些指令與資料。在一些實施例中，與本發明一致的進程存儲於系統記憶體2020、永久存放裝置2035與/或唯讀記憶體2030。例如，各種各樣的存儲單元包括用於處理多媒體處理與一些實施例一致的多媒體剪輯的指令。為了執行一些實施例的進程，來自於這些各種各樣存儲單元的處理單元2010取回指令以執行以及取回資料以處理。
匯流排2005也連接輸入裝置2040與輸出裝置2045。輸入裝置2040使使用者可以向電子系統交流資訊與選擇命令。輸入裝置2040包括字母數位鍵盤(alphanumeric keyboards)與定位裝置(pointing devices)(也成為“指標控制裝置”)、攝像機(例如網路攝像機(webcams))、麥克風或用於接收語音命令的相似裝置等等。輸出裝置2045顯示有電子系統生成的圖像或其他輸出資料。輸出裝置2045包 括列印與顯示裝置，例如陰極射線管(cathode ray tubes，簡稱CRT)或液晶顯示幕(liquid crystal displays，簡稱LCD)以及揚聲器或其他相似的音訊輸出裝置。一些實施例包括同時作為輸入與輸出裝置功能的裝置，例如觸控式螢幕。
最後，如第20圖所示，匯流排2005透過網路介面卡(未示出)也將電子系統2000耦合至網路2005。以這種方式，電腦可以是電腦網路的一部分(例如本地局域網，LAN)、廣域網路(WAN)、內聯網、或如互聯網等網路的網路。任何或所有電子系統2000的元件可以與本發明結合使用。
一些實施例包括電子元件，例如微處理器(microprocessors)、存儲與記憶體，其存儲在機器可讀(machine-readable)或電腦可讀媒介中(可選地稱為電腦可讀存儲介質、機器可讀介質或機器可讀存儲介質)的電腦程式指令。電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟(read-only compact discs，簡寫為CD-ROM)、可記錄光碟(recordable compact discs，簡稱為CD-R)、可再寫性光碟(rewritable compact discs，簡稱CD-RW)、唯讀數位通用光碟(read-only digital versatile discs)(例如DVD-ROM、雙層DVD-ROM)、各種各樣的可記錄/可再寫性DVDs(例如DVD-RAM、DVD-RW、DVD+RW等等)、快閃記憶體(例如SD卡、mini-SD卡、micro-SD卡等等)、磁與/或固態硬碟驅動器、唯讀與可記錄的藍光光碟(Blu-Ray® discs)、超密度光碟(ultra density optical discs)、其他任何光或磁媒體、以及軟碟。電腦可讀媒體可以存儲由至少一處理單 元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括如由編譯器產生的機器代碼以及由電腦、電子元件或使用解譯器的微處理器執行的包括高級代碼的檔。
雖然上述討論首先引用了微處理器或多核處理器執行軟體，上述特徵與應用許多有一或複數個積體電路執行，例如應用程式專用積體電路(application specific integrated circuits，簡稱ASICs)或現場可程式設計閘陣列(field programmable gate arrays，簡稱FPGAs)。在一些實施例中，這種基礎電路執行存儲於它自己電路上的指令。此外，一些實施例執行存儲於可程式設計邏輯裝置(PLDs)、ROM或RAM裝置上的軟體。
如在本申請的說明書或任何申請專利範圍中所使用的，術語“電腦”、“伺服器”、“處理器”與“記憶體”都指電子或其他科技裝置，這些術語排除人或人群組。為了說明書的目的，術語“顯示”指顯示在電子裝置上。如在本申請的說明書或任何申請專利範圍中所使用的，術語“電腦可讀介質”、“電腦可讀媒體”以及“機器可讀介質”是完全局限於有形的物理客體，該物理客體存儲以電腦可讀的形式存儲資訊，這些術語排除任何無線信號、有線下載信號以及任何其他短暫的信號。
雖然已經參考了許多具體細節描述了本發明，本領域普通技術人員將認識到，本發明還可以以其他特定形式來體現，而步偏離本發明的精神。此外，許多圖(包括圖3-4)概念性地示出了進程，這些進程的具體的操作可用不以所示與該的精確次序來執行。具體的操作可能不在一系列連續的操作中執行，並且不同的實施例中可以執行不同的 具體的操作。此外，該過程可以使用幾個子進程或作為較大巨集進程的一部分來實現。因此，本領域普通技術人員可以理解的是，本發明不受前述說明性細節的限制，而是由所附申請專利範圍限定。
附加的注釋
這裡所描述的客體有時示出了包含在不同的其他元件內或與其連接的不同的元件。可以理解的是，這些描述的結構僅僅是示例，實際上許多其他結構可以實現相同的功能。概念性的意義上，實現相同的功能的組件的任何佈置是有效地“關聯”的，從而實現期望的功能。因此，這裡任何兩個元件合併去實現具體的功能可以視為與彼此“相關”，從而實現期望的功能而不考慮結構或中間元件。同樣地，任何相關聯的兩個元件也可以被視為“可操作地連接”或“可操作地耦合”，以實現期望的功能，以及能夠被彼此關聯的任何兩個元件也可以被視為“可操作地耦合”，以實現所需的功能。可操作地耦合的特定示例包括但不限於物理上可匹配與/或物理交互的元件與/或無線交互與/或無線交互元件與/或邏輯交互與/或邏輯交互的元件。
此外，關於本文中的基本的任何複數與/或單數術語的使用，本領域技術人員可以在適合於上下文與/或應用的情況下，從複數向單數與/或從單數向複數變換。為了清楚起見，在此可以明確地闡述各種單數/複數的置換。
而且，本領域技術人員可以理解的是，通常，這裡使用的術語，特別是所附申請專利範圍中使用的術語，例如所附申請專利範圍的主體中，通常是走作為“開放”的術語，例如，術語“包括”應當被解 釋為“包括但不限於”，術語“具有”應當被解釋為“至少具有”，術語“包括”應當被解釋為“包括但不限於”等等。本領域技術人員可以進一步理解的是，如果意在所引述的申請專利範圍中引入一具體的數字，這種意圖將會明確地表述在申請專利範圍中，如果沒有這樣的表述，那麼這種意圖是不存在的。例如，為了幫助理解，後續所附申請專利範圍可以包括介紹性短語“至少一”與“一或複數個”的使用以引入申請專利範圍中的表述。然而，這些介紹性短語的使用不應該被理解為暗示由不定冠詞引用的申請專利範圍“a”或“an”將包含在這樣引入的申請專利範圍陳述的任何特定申請專利範圍限制到僅包含一這一的表述的實施方式中，甚至當相同的申請專利範圍包含介紹性短語“至少一”與“一或複數個”以及不定冠詞“a”或“an”，例如“a”與/或“an”應該被解釋為“至少一”或“一或複數個”，這對用於引入申請專利範圍表述所使用的定冠詞同樣有效。此外，即使引入的申請專利範圍表述中列舉了具體的數量，本領域技術人員可以意識到，這種表述應該被解釋為至少所表述的數量，例如使用的“兩個表述”的表述在沒有其他修飾的情況下，指的是至少兩個表述或者兩個或兩個以上表述。此外，在使用“A、B與C中的至少一”公約慣例的這些句子中，通常這些慣例指的是本領域技術人員通常能夠理解的慣例，例如“系統具有A、B與C中的至少一”將包括但不限於系統單獨具有A、單獨具有B、單獨具有C、同時具有A與B、同時具有A與C、同時具有B與C與/或同時具有A、B與C等等。在使用“A、B或C中的至少一”這種慣例的句子中，通常這些慣例指的是本領域技術人員通常能夠理解的慣例，例如“系統具有A、B或C中的至少一”將包括 但不限於系統單獨具有A、單獨具有B、單獨具有C、同時具有A與B、同時具有A與C、同時具有B與C與/或同時具有A、B與C等等。本領域技術人員可以進一步理解的是，實際上，無論在說明書、申請專利範圍書或附圖中，任何轉折性詞與/或短語都呈現兩個或更多的備選項，應理解為預期包括術語中的一或兩個術語中的一可能性。例如，短語“A或B”將理解為包括“A”或“B”或“A與B”的可能性。
從上文中，應當理解，出於說明的目的，在此已經描述了本發明的各種實施方式，在不脫離本發明範圍與精神的前提下，可以進行各種修改。因此，本文公開的各種實施方式並不意味著限制，該真實範圍與精神由所附申請專利範圍確定。

Claims (20)

  1. 一種提升品質遞送方法，包括：根據一第一組參數編碼一第一空間客體；根據一第二組參數編碼一第二空間客體，其中該第一空間客體與該第二空間客體獨立地被編碼；其中，該第一空間客體包括一基礎品質層客體，該第二空間客體包括一提升品質層；基於該第一組參數、該第二組參數以及該第一空間客體與該第二空間客體之間的一關係生成一元資料；以及傳輸或存儲編碼的該第一空間客體、編碼的該第二空間客體與生成的該元資料。
  2. 如專利申請範圍第1項所述之提升品質遞送方法，其中該第一空間客體由一第一視訊/圖像編碼標準進行編碼，以及該第二空間客體由一第二、不同的視訊/圖像編碼標準進行編碼。
  3. 如專利申請範圍第1項所述之提升品質遞送方法，其中該第二空間客體由幀內編碼而不經過幀間預測編碼進行編碼。
  4. 如專利申請範圍第1項所述之提升品質遞送方法，其中該基礎品質層客體來自於原始圖像下變頻，該提升品質層透過以下步驟獲得：(i)重構來自於一編碼的基礎品質層客體的該基礎品質層客體；(ii)將重構的該基礎品質層客體上變頻至一特定的解析度；以及(iii)以該特定的解析度計算上變頻的該重構的基礎品質層客體與該原始圖像之間的差異。
  5. 如專利申請範圍第4項所述之提升品質遞送方法，其中該元資料包括從該原始圖像到該基礎品質層的該下變頻的下變頻的比率。
  6. 如專利申請範圍第1項所述之提升品質遞送方法，其中該第一空間客體與該第二空間客體是一合成全景圖像的一基礎品質層與一提升品質層，以及其中該基礎品嘗層在一第一投影模式中，並且該提升品質層在第二、不同的投影模式中。
  7. 如專利申請範圍第6項所述之提升品質遞送方法，其中該元資料包括標識基礎品質層的該第一投影模式、該第二投影模式以及包裝模式的一參數。
  8. 如專利申請範圍第1項所述之提升品質遞送方法，其中該元資料包括將空間域中的客體指定為媒體內容的子資產的一參數。
  9. 一種提升品質遞送電子裝置，包括：一第一視訊編碼電路，用於根據一第一組參數編碼一第一空間客體；一第二視訊編碼電路，用於根據一第二組參數編碼一第二空間客體，其中該第一空間客體與該第二空間客體獨立地被編碼；其中，其中該第一空間客體包括一基礎品質層客體，該第二空間客體包括一提升品質層；一元資料生成器，用於基於該第一組參數、該第二組參數以及該第一空間客體與該第二空間客體之間的關係生成一元資料；以及一彙編電路，用於對編碼的該第一空間客體、編碼的該第二空間客體以及生成的該元資料進行彙編以用於傳輸。
  10. 一種提升品質合成電子裝置，包括：一第一視訊解碼電路，用於根據一第一組參數解碼一第一空間客體；一第二視訊解碼電路，用於根據一第二組參數解碼一第二空間客體，其中該第一空間客體與該第二空間客體獨立地被解碼；其中該第一空間客體包括一基礎品質層以及該第二空間客體包括一提升品質層；一合成器電路，用於根據該第一空間客體與該第二空間客體之間的關係，合成解碼的該第一空間客體與解碼的該第二空間客體至一合成展示中；以及一元資料解析電路，用於解析與該第一空間客體與該第二空間客體有關的元資料以生成該第一組參數、該第二組參數以及關係參數。
  11. 一種提升品質合成方法，包括：接收編碼的一第一空間客體、編碼的一第二空間客體以及與編碼的該第一空間客體及編碼的該第二空間客體有關的元資料；其中該第一空間客體包括一基礎品質層以及該第二空間客體包括一提升品質層；根據從該元資料獲得的一第一組參數，解碼該第一空間客體；根據從該元資料獲得的一第二組參數，解碼該第二空間客體，其中該第一空間客體與該第二空間客體獨立地被解碼；以及根據從該元資料獲得該第一空間客體與該第二空間客體之間的關係，合成解碼的該第一空間客體與解碼的該第二空間客體至一合成 展示中。
  12. 如專利申請範圍第11項所述之提升品質合成方法，其中該第一空間客體根據一第一視訊/圖像編碼標準被解碼以及該第二空間客體根據一第二、不同的視訊/圖像編碼標準被解碼。
  13. 如專利申請範圍第11項所述之提升品質合成方法，其中合成解碼的該第一空間客體及解碼的該第二空間客體包括：基於從該元資料中獲得的該關係參數將該基礎品質層上變頻至一特定的解析度。
  14. 如專利申請範圍第13項所述之提升品質合成方法，其中該第一空間客體及該第二空間客體是合成全景圖像的一基礎品質層與一提升品質層，以及該基礎品質層在一第一投影模式中並且該提升品質層在一第二、不同的投影模式中。
  15. 如專利申請範圍第13項所述之提升品質合成方法，其中該元資料包括一變頻比率，且其中合成解碼的該第一空間客體與解碼的該第二空間客體進一步包括：根據該變頻比率上變頻該基礎品質層。
  16. 如專利申請範圍第11項所述之提升品質合成方法，進一步包括：當該元資料包括指示該第一空間客體與該第二空間客體可以被處理用於同時展示的一參數的時候，同時地處理及展示該第一空間客體與該第二空間客體。
  17. 如專利申請範圍第11項所述之提升品質合成方法，其中該元資料包括指定一模式用於混合第一空間圖像與第二空間圖像的一參數，其中合成解碼的該第一空間客體及解碼的該第二空間客體包括：根據在該元資料中指定的一混合模式，混合該第一空間圖像及該第 二空間圖像。
  18. 如專利申請範圍第11項所述之提升品質合成方法，其中該元資料包括用於在空間域中指定客體作為媒體內容的子資產的一參數。
  19. 如專利申請範圍第11項所述之提升品質合成方法，其中根據一感興趣區域選擇，該第二空間客體被部分地取來與解碼。
  20. 如專利申請範圍第19項所述之提升品質合成方法，其中該合成展示是基於全景圖像的一虛擬實境視訊，並且其中該感興趣區域選擇是基於由一VR裝置指定的一視埠。
TW106129945A 2016-09-02 2017-09-01 提升品質遞送及合成處理 TWI650994B (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201662382807P 2016-09-02 2016-09-02
US62/382,807 2016-09-02
US201662385297P 2016-09-09 2016-09-09
US62/385,297 2016-09-09
US201662436010P 2016-12-19 2016-12-19
US62/436,010 2016-12-19
US201762444889P 2017-01-11 2017-01-11
US201762444884P 2017-01-11 2017-01-11
US62/444,889 2017-01-11
US62/444,884 2017-01-11
PCT/CN2017/100150 WO2018041244A1 (en) 2016-09-02 2017-09-01 Incremental quality delivery and compositing processing
??PCT/CN2017/100150 2017-09-01

Publications (2)

Publication Number Publication Date
TW201813382A TW201813382A (zh) 2018-04-01
TWI650994B true TWI650994B (zh) 2019-02-11

Family

ID=61301396

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106129945A TWI650994B (zh) 2016-09-02 2017-09-01 提升品質遞送及合成處理

Country Status (4)

Country Link
US (1) US10951874B2 (zh)
CN (1) CN109716759B (zh)
TW (1) TWI650994B (zh)
WO (1) WO2018041244A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771163B2 (en) * 2017-10-24 2020-09-08 Mediatek Inc. Apparatus and method for decoding ROI regions in image
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
WO2019217264A1 (en) * 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated compression
WO2019217262A1 (en) * 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated rendering
CN112106366B (zh) 2018-05-07 2024-09-27 苹果公司 动态中央凹聚焦管线
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
EP3799433A1 (en) * 2019-09-24 2021-03-31 Koninklijke Philips N.V. Coding scheme for immersive video with asymmetric down-sampling and machine learning
WO2021258324A1 (en) * 2020-06-24 2021-12-30 Zte Corporation Volumetric media process methods and apparatus
CN114661386B (zh) 2020-12-22 2024-11-22 腾讯科技（深圳）有限公司 点云视窗的呈现方法、装置、计算机可读介质及电子设备
US20220221845A1 (en) * 2021-01-08 2022-07-14 B/E Aerospace, Inc. System and method for augmented reality (ar) assisted manufacture of composite structures and bonded assemblies
CN114969394B (zh) 2021-02-22 2025-10-28 腾讯科技（深圳）有限公司 非时序点云媒体的数据处理方法、装置以及设备
CN115150384B (zh) 2021-03-31 2023-08-18 腾讯科技（深圳）有限公司 点云编解码方法、装置、计算机可读介质及电子设备
WO2022211459A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 세그멘테이션을 이용하는 비디오 코딩방법 및 장치
US12373992B2 (en) * 2021-04-14 2025-07-29 Tencent America LLC Adaptive neural image compression with smooth quality control by meta-learning
CN115474053B (zh) 2021-06-11 2025-03-25 腾讯科技（深圳）有限公司 一种媒体数据的处理方法及相关设备
CN115474034B (zh) 2021-06-11 2024-04-26 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、相关设备及存储介质
CN113949829B (zh) 2021-10-15 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装及解封装方法、装置、设备及存储介质
CN113973210B (zh) 2021-10-25 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装方法、装置、设备及存储介质
US12309523B2 (en) 2022-04-26 2025-05-20 Zoom Communications, Inc. Video stream segmentation for quality retention during reduced-bandwidth video conferencing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200822759A (en) * 2006-07-12 2008-05-16 Nokia Corp Signaling of region-of-interest scalability information in media files
CN101960845A (zh) * 2008-03-12 2011-01-26 汤姆森特许公司 在无线网络中发送图像的方法和装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209590A (ja) * 1999-01-11 2000-07-28 Canon Inc 画像符号化装置及び方法、記憶媒体並びに撮像装置
MXPA02004015A (es) * 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.
WO2004090796A1 (en) * 2003-04-07 2004-10-21 Silverbrook Research Pty Ltd Laser scanning device for printed product identification codes
US9355681B2 (en) * 2007-01-12 2016-05-31 Activevideo Networks, Inc. MPEG objects and systems and methods for using MPEG objects
EP2137642A1 (en) * 2007-04-13 2009-12-30 Thomson Licensing Systems and methods for specifying frame-accurate images for media asset management
EP2001235B1 (en) * 2007-06-08 2013-05-22 Samsung Electronics Co., Ltd. MPEG-4 format extension for recording stereoscopic or synthetic 3D video data with related metadata
CN105791841B (zh) * 2010-01-06 2019-06-21 杜比实验室特许公司 用于网络上视频数据的自适应流处理的方法、装置和系统
JP2011228929A (ja) * 2010-04-20 2011-11-10 Panasonic Corp ３ｄ符号化装置、３ｄ符号化方法およびプログラム
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
CN105847781B (zh) * 2010-07-21 2018-03-20 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US20130141442A1 (en) * 2011-12-06 2013-06-06 John W. Brothers Method and apparatus for multi-chip processing
US9135678B2 (en) * 2012-03-19 2015-09-15 Adobe Systems Incorporated Methods and apparatus for interfacing panoramic image stitching with post-processors
EP2936445A2 (en) * 2012-12-20 2015-10-28 Accenture Global Services Limited Context based augmented reality
US9183609B2 (en) * 2012-12-20 2015-11-10 Nvidia Corporation Programmable blending in multi-threaded processing units
CN105580369B (zh) * 2013-03-11 2019-04-26 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
CN103179405B (zh) 2013-03-26 2016-02-24 天津大学 一种基于多级感兴趣区域的多视点视频编码方法
KR101733504B1 (ko) * 2013-09-09 2017-05-10 엘지전자 주식회사 디지털 방송 시스템에서 고화질 uhd 방송 컨텐츠 송수신 방법 및 장치
EP3110160A4 (en) * 2014-02-18 2017-10-11 LG Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US10291561B2 (en) * 2015-02-09 2019-05-14 Nokia Technologies Oy Apparatus, a method and a computer program for image coding and decoding
CN105095439A (zh) * 2015-07-23 2015-11-25 浙江立元通信技术股份有限公司 一种图片专属安全存储云系统
JP6675475B2 (ja) * 2015-08-20 2020-04-01 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ メディア・ストリームに基づくタイルド・ビデオの形成
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200822759A (en) * 2006-07-12 2008-05-16 Nokia Corp Signaling of region-of-interest scalability information in media files
CN101960845A (zh) * 2008-03-12 2011-01-26 汤姆森特许公司 在无线网络中发送图像的方法和装置

Also Published As

Publication number Publication date
US10951874B2 (en) 2021-03-16
CN109716759B (zh) 2021-10-01
CN109716759A (zh) 2019-05-03
US20190364259A1 (en) 2019-11-28
WO2018041244A1 (en) 2018-03-08
TW201813382A (zh) 2018-04-01

Similar Documents

Publication Publication Date Title
TWI650994B (zh) 提升品質遞送及合成處理
US12425571B2 (en) Apparatus, a method and a computer program for video coding and decoding
US12088847B2 (en) Apparatus, a method and a computer program for video encoding and decoding
JP6587025B2 (ja) 情報処理装置および方法
US11197040B2 (en) Deriving and signaling a region or viewport in streaming media
JP6676771B2 (ja) メディアファイルにおけるバーチャルリアリティビデオの記憶
TWI690201B (zh) 全方位視訊之解碼方法、編碼方法及電子設備
TWI581613B (zh) 用於編碼標準可縮放性之層間參考圖像處理技術
JP2020188517A (ja) ビデオ符号化及び復号化におけるタイリング
US11259049B2 (en) Area-based processing method and apparatus for 360-degree video
CN112262581B (zh) 视频码流中的约束标志指示
CN112153391A (zh) 视频编码的方法、装置、电子设备及存储介质
WO2019062613A1 (zh) 一种媒体信息的处理方法及装置
US12328440B2 (en) Method and apparatus for encoding/decoding image on basis of CPI SEI message, and recording medium having bitstream stored therein
KR20240050413A (ko) 비디오 처리를 위한 방법, 장치 및 매체
JP7701130B2 (ja) ビデオ処理の方法、装置及び媒体
EP4694117A2 (en) Image encoding/decoding method, method of transmitting bitstream, and recording medium storing bitstream
HK40035345A (zh) 视频编码的方法、装置、电子设备及存储介质
HK40035345B (zh) 视频编码的方法、装置、电子设备及存储介质
HK40061734B (zh) 用於视频编码和解码的装置、方法和计算机程序

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees