[go: up one dir, main page]

TW201401884A - 視訊寫碼之層間合併清單建立 - Google Patents

視訊寫碼之層間合併清單建立 Download PDF

Info

Publication number
TW201401884A
TW201401884A TW102116257A TW102116257A TW201401884A TW 201401884 A TW201401884 A TW 201401884A TW 102116257 A TW102116257 A TW 102116257A TW 102116257 A TW102116257 A TW 102116257A TW 201401884 A TW201401884 A TW 201401884A
Authority
TW
Taiwan
Prior art keywords
motion information
candidate
list
information candidate
block
Prior art date
Application number
TW102116257A
Other languages
English (en)
Inventor
Vadim Seregin
Xianglin Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201401884A publication Critical patent/TW201401884A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種解碼視訊資料之方法包括：接收自一經編碼視訊位元串流提取之語法元素，判定用於一增強層區塊之一候選者清單，及選擇性地剪除該候選者清單。該等語法元素包括與該視訊資料之一基層之一基層區塊相關聯的資訊。至少部分基於與該基層區塊相關聯之運動資訊而判定該候選者清單。該增強層區塊處於該視訊資料之一增強層中。該候選者清單包括至少一運動資訊候選者，該至少一運動資訊候選者包括與該基層區塊相關聯之該運動資訊。該候選者清單包括一合併清單或一AMVP清單。剪除包括比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者。

Description

視訊寫碼之層間合併清單建立
本發明係關於視訊寫碼及壓縮且，詳言之，係關於可調式視訊寫碼(SVC)。
可將數位視訊能力併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此類標準之擴展中所描述的視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術而更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖片內)預測及/或時間(圖片間)預測以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可將視訊切片(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相 對於同一圖片中之相鄰區塊中之參考樣本的空間預測來編碼圖片之經框內寫碼(I)切片中的視訊區塊。圖片之經框間寫碼(P或B)切片中之視訊區塊可使用相對於同一圖片中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖片中之參考樣本之時間預測。圖片可被稱作圖框，且參考圖片可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料而編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料而編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，產生殘餘變換係數，接著可將殘餘變換係數量化。可掃描最初以二維陣列配置之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成更多壓縮。
大體上，本發明描述關於合併/AMVP清單(合併清單及/或進階運動向量預測(AMVP)清單)建立之技術。在一些實施例中，使用一組合基層區塊之運動資訊來創建該合併/AMVP清單。該運動資訊可包括：(a)一或多個運動向量或(b)一或多個運動向量及參考索引。舉例而言，用於增強層中之一當前區塊之一合併/AMVP清單可具有一組合基層區塊，其用以導出可作為一運動資訊候選者添加至該合併/AMVP清單之運動資訊。可藉由使用自該組合基層區塊導出之該運動資訊候選者及一運動向量偏移產生該合併/AMVP清單之額外運動資訊候選者。當將運動資訊候選者添加至該合併/AMVP清單時，可有條件地應用(例如，可能適用或可能不適用)剪除操作。在另一實例中，一增強層處之該當前區塊可使用針對其組合基層區塊所創建之該同一合併/AMVP清單。此合併/AMVP清單係基於基層區塊之運動資訊而建 立。用於建立用於合併及/或AMVP模式之一候選者清單的此等技術在處理視訊資訊時有利地提供對寫碼效率及效能的額外控制。藉由使用本文所描述之技術及器件，寫碼效率可得以改良且效能可得以改良。
在一實施例中，一種解碼視訊資料之方法包括：接收自一經編碼視訊位元串流提取之語法元素，判定用於一增強層區塊之一候選者清單，及選擇性地剪除該候選者清單。該等語法元素包括與該視訊資料之一基層之一基層區塊相關聯的資訊。至少部分基於與該基層區塊相關聯之運動資訊而判定該候選者清單。該增強層區塊處於該視訊資料之一增強層中。該候選者清單包括至少一運動資訊候選者，其包括與該基層區塊相關聯之該運動資訊。該候選者清單包括一合併清單或一AMVP清單。剪除包括比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者。
在另一實施例中，一種編碼視訊資料之方法包括：接收與該視訊資料之一基層之一基層區塊相關聯的資訊，判定用於一增強層區塊之一候選者清單，選擇性地剪除該候選者清單，及產生與該候選者清單相關聯之至少一語法元素。至少部分基於與該基層區塊相關聯之運動資訊而判定該候選者清單。該增強層區塊處於該視訊資料之一增強層中。該候選者清單包括至少一運動資訊候選者，其包括與該基層區塊相關聯之該運動資訊。該候選者清單包括一合併清單或一AMVP清單。剪除包括比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者。
在另一實施例中，一種經組態以寫碼視訊資料之裝置包括一記憶體及一處理器。該記憶體經組態以儲存視訊資料，該視訊資料包含一基層之一基層區塊。該處理器與該記憶體通信，且經組態以至少部分基於與該基層區塊相關聯之運動資訊而判定用於一增強層區塊之一候選者清單，該增強層區塊在該視訊資料之一增強層中，該候選者清 單包括包含與該基層區塊相關聯之該運動資訊的至少一運動資訊候選者。該候選者清單可為一合併清單或一AMVP清單。該處理器經進一步組態以藉由比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而選擇性地剪除該候選者清單。
在另一實施例中，一種視訊寫碼裝置包括：用於處理與一視訊位元串流相關聯之一或多個語法元素的構件，其中該一或多個語法元素包括與該視訊資料之一基層之一基層區塊相關聯的資訊；用於至少部分基於與該基層區塊相關聯之運動資訊而判定用於一增強層區塊之一候選者清單的構件，該增強層區塊在該視訊資料之一增強層中，該候選者清單包括包含與該基層區塊相關聯之該運動資訊的至少一運動資訊候選者，其中該候選者清單包含一合併清單或一AMVP清單；及用於藉由比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而剪除該候選者清單的構件。
在又一實施例中，一種非暫時性電腦可讀媒體，其上儲存有程式碼，該程式碼在經執行時使得一裝置進行以下動作：至少部分基於與基層區塊相關聯之運動資訊而判定用於一增強層區塊之一候選者清單，該增強層區塊在該視訊資料之一增強層中，該候選者清單包括包含與該基層區塊相關聯之該運動資訊的至少一運動資訊候選者，其中該候選者清單包含一合併清單或一AMVP清單；及藉由比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而剪除該候選者清單。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及圖式以及自申請專利範圍顯而易見。
10‧‧‧系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體
400‧‧‧空間相鄰區塊
402‧‧‧時間相鄰區塊
404‧‧‧當前區塊
500‧‧‧B切片
502‧‧‧圖片j
504‧‧‧圖片1
506‧‧‧點線箭頭
508‧‧‧相鄰區塊
510‧‧‧點線箭頭
512‧‧‧已編號圓圈
514‧‧‧已編號圓圈
516‧‧‧實線箭頭
600‧‧‧可調性
602‧‧‧維度
604‧‧‧維度
606‧‧‧維度
608‧‧‧立方體
610‧‧‧最低空間層
612‧‧‧品質層
614‧‧‧最低時間層級
700‧‧‧SVC寫碼結構
702‧‧‧層0
704‧‧‧層1
706‧‧‧層2
708‧‧‧層3
710‧‧‧層4
800‧‧‧存取單元
900‧‧‧用於候選者清單建立之程序
圖1為說明可利用根據本發明中所描述之態樣之技術的實例視訊編碼及解碼系統的方塊圖。
圖2為說明可實施根據本發明中所描述之態樣之技術的視訊編碼器之實例的方塊圖。
圖3為說明可實施根據本發明中所描述之態樣之技術的視訊解碼器之實例的方塊圖。
圖4為展示實例空間及時間相鄰區塊之概念圖，其中在形成用於視訊寫碼之候選者清單中擷取運動資訊。
圖5為說明根據本發明之態樣的導出用於B切片之空間MVP候選者的實例的方塊圖。
圖6為說明根據本發明之態樣的三個不同維度之可調性的方塊圖。
圖7為說明根據本發明之態樣的SVC位元串流之實例結構的方塊圖。
圖8為說明根據本發明之態樣的位元串流中之實例SVC存取單元的方塊圖。
圖9為說明根據本發明之態樣的用於建立合併/AMVP候選者清單之方法的一實施例的流程圖。
本發明中所描述之技術大體上係關於可調式視訊寫碼(SVC)及3D視訊寫碼。舉例而言，該等技術可關於高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC)擴展，且供高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC)擴展使用或在高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC)擴展範圍內。在SVC擴展中，可存在多個視訊資訊層。處於最底層級之層可充當基層(BL)，且處於最頂部之層充當一增強型層(EL)。「增強型層」有時被稱作「增強層」，且此等術語可互換地使用。中間的所 有層可充當EL或BL中之任一者或兩者。舉例而言，中間的一層針對其下方之層(諸如，基層或任何介入增強層)而言可為EL，且同時充當針對其上方之增強層而言的BL。
僅為了說明目的，藉由僅包括兩層(例如，諸如基層之較低層級層，及諸如增強型層之較高層級層)之實例來描述本發明中所描述之技術。應理解，亦可將本發明中所描述之實例擴展至具有多個基層及增強層之實例。另外，為了便於解釋，以下揭示內容主要使用術語「圖框」或「區塊」。然而，此等術語並不意謂為限制性的。舉例而言，下文所描述之技術可供不同視訊單元使用，諸如區塊(例如，CU、PU、TU、巨集區塊等)、切片、圖框等。
視訊寫碼標準
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)擴展及多視角視訊寫碼(MVC)擴展。另外，已由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖片專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發了新的視訊寫碼標準，亦即，高效率視訊寫碼(HEVC)。自2012年6月7日起，可自http：//wg11.sc29.org/jct/doc_end_user/current_document.php？id=5885/JCTVC-I1003-v2得到HEVC之草案。自2012年6月7日起，可自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v3.zip下載HEVC標準之另一草案，稱作「HEVC工作草案7」。HEVC工作草案7之完整引文為Bross等人之題為「High Efficiency Video Coding(HEVC)Text Specification Draft 7」之文件HCTVC-I1003(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合 協作小組(JCT-VC)，第9次會議：Geneva、Switzerland，2012年4月27日至2012年5月7日)。最近，HEVC標準已由ITU-T VCEG及ISO/IEC MPEG之JCT-VC最終定稿。可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip得到最新HEVC草案規格(且在下文中稱作HEVC WD10)。亦正由JCT-3V開發HEVC之多視角擴展，亦即MV-HEVC。可自http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zip得到下文之MV-HEVC WD3之最近工作草案(WD)。亦正由JCT-VC開發HEVC之可調式擴展，亦即SHVC。可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1008-v1.zip得到SHVC之最新工作草案(WD)(且在下文中稱作SHVC WD1)。此等參考中之每一者以其全文引用的方式併入本文中。
可調式視訊寫碼(SVC)可用以提供品質(亦稱作信雜比(SNR))可調性、空間可調性及/或時間可調性。舉例而言，在一實施例中，參考層(例如，基層)包括足以以第一品質等級顯示視訊之視訊資訊，且增強層包括相對於參考層之額外視訊資訊，使得參考層與增強層一起包括足以以高於第一等級之第二品質等級(例如，較少雜訊、較大解析度、較佳圖框率等)顯示視訊之視訊資訊。增強型層可具有不同於基層之空間解析度。舉例而言，EL與BL之間的空間縱橫比可為1.0、1.5、2.0或其他不同比率。換言之，EL之空間態樣可等於BL之空間態樣的1.0、1.5或2.0倍。在一些實例中，EL之按比例調整因子可能大於BL之按比例調整因子。舉例而言，EL中之圖片之大小可大於BL中之圖片之大小。以此方式，EL之空間解析度大於BL之空間解析度可為可能的，但此並非限制。
在H.264之SVC擴展中，可使用針對SVC提供之不同層來執行當前區塊之預測。此預測可被稱作層間預測。可在SVC中利用層間預測方法以便減少層間冗餘。層間預測之一些實例可包括層間框內預測、層間運動預測、層間模式預測及層間殘餘預測。層間框內預測使用基層中之組合區塊(collocated block)之重建構來預測增強層中之當前區塊。層間運動預測使用基層之運動來預測增強層中之運動。層間模式預測基於基層中之模式而預測增強層中之模式。層間殘餘預測使用基層之殘餘物來預測增強層中之殘餘物。
在下文中參看隨附圖式更充分地描述新穎系統、裝置及方法之各種態樣。然而，本發明可以許多不同形式來體現，且不應將本發明解釋為限於貫穿本發明所呈現之任何特定結構或功能。實情為，提供此等態樣以使得本發明將為詳盡的且完整的，且將向熟習此項技術者充分傳達本發明之範疇。基於本文中之教示，熟習此項技術者應瞭解，本發明之範疇意欲涵蓋本文中所揭示之新穎系統、裝置及方法的任何態樣，而不管該態樣獨立於本發明之任何其他態樣實施抑或與本發明之任何其他態樣組合實施。舉例而言，可藉由使用本文所闡述之態樣中之任何數目者來實施一裝置或實踐一方法。另外，本發明之範疇意欲涵蓋使用除本文中所闡述的本發明之各種態樣之外的或不同於該等態樣的其他結構、功能性或結構與功能性來實踐的此裝置或方法。應理解，本文中所揭示之任何態樣可藉由一技術方案之一或多個元素來體現。
儘管本文中描述特定態樣，但此等態樣之許多變化及排列屬於本發明之範疇內。儘管提及較佳態樣之一些益處及優點，但本發明之範疇並不意欲限於特定益處、用途或目標。實情為，本發明之態樣意欲可廣泛地適用於不同無線技術、系統組態、網路及傳輸協定，其中之一些藉由實例說明於諸圖中及較佳態樣之以下描述中。詳細描述及 圖式僅說明本發明而非限制本發明，本發明之範疇由所附申請專利範圍及其等效物來界定。
圖1為說明可利用根據本發明中所描述之態樣之技術的實例視訊編碼及解碼系統的方塊圖。如圖1中所展示，系統10包括源器件12，其提供將在稍後時間由目的地器件14解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些狀況下，源器件12及目的地器件14可經配備用於無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之任何類型的媒體或器件。在一實例中，電腦可讀媒體16可包含使得源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中，可將經編碼資料自輸出介面22輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬 碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中，儲存器件可對應於可儲存由源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件存取所儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等應用諸如：空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態自適應性串流(DASH)之網際網路串流視訊傳輸、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用符合多個標準或標準擴展之用於寫碼包括視訊資料之位元串流的技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣 地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
圖1之所說明系統10僅為一實例。可由任何數位視訊編碼及/或解碼器件來執行用於判定用於當前區塊之運動向量預測子(predictor)之候選者清單的候選者的技術。儘管大體上由視訊編碼器件來執行本發明之技術，但亦可由視訊編碼器/解碼器(通常被稱作「編碼解碼器(CODEC)」)來執行該等技術。此外，亦可由視訊預處理器來執行本發明之技術。源器件12及目的地器件14僅為此等寫碼器件之實例，其中，源器件12產生用於傳輸至目的地器件14之經寫碼視訊資料。在一些實例中，器件12、14可以實質上對稱方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如，用於視訊串流傳輸、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊封存檔，及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、封存視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，可由視訊編碼器20來編碼經俘獲、經預先俘獲或電腦產生之視訊。接著可由輸出介面22將經編碼視訊資訊輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括：暫時性媒體，諸如，無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如，硬碟、隨身碟、緊密光碟、數位影音光碟、藍光光碟或其他電腦可讀媒體。在 一些實例中，網路伺服器(未展示)可自源器件12接收經編碼視訊資料且將該經編碼視訊資料提供至目的地器件14(例如，經由網路傳輸、直接有線通信等)。類似地，媒體製作設施(諸如，光碟壓製設施)之計算器件可自源器件12接收經編碼視訊資料且製作含有該經編碼視訊資料之光碟。因此，在各種實例中，可將電腦可讀媒體16理解成包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦由視訊解碼器30使用，該語法資訊包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理之語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如，目前在開發中之高效率視訊寫碼(HEVC)標準)操作，且可符合HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，ITU-T H.264標準，其或者被稱作MPEG-4第10部分(進階視訊寫碼(AVC)))或此等標準之擴展操作。然而，本發明之技術不限於任何特定寫碼標準，包括但不限於上文所列出之標準中之任一者。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器電 路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當部分地以軟體實施該等技術時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為各別器件中之組合編碼器/解碼器(CODEC)的部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，該模型被稱作HEVC測試模型(HM)。HM假定視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
大體而言，HM之工作模型描述可將視訊圖框或圖片劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)序列。位元串流內之語法資料可定義LCU之大小，就像素之數目而言，LCU為最大寫碼單元。切片包括按寫碼次序之若干連續樹型區塊。可將視訊圖框或圖片分割成一或多個切片。可根據四分樹將每一樹型區塊分裂成若干寫碼單元(CU)。大體而言，四分樹資料結構每一CU包括一節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於子CU中之一者。
該四分樹資料結構中之每一節點可提供用於該對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，其指示是否將對應於該節點之CU分裂成子CU。可遞歸地定義用於CU之語法元素，且 用於CU之語法元素可取決於CU是否分裂成子CU。若一CU未經進一步分裂，則將其稱作葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，一葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未經進一步分裂，則四個8×8子CU亦將被稱作葉CU(儘管該16×16 CU從未經分裂)。
除了CU不具有大小區別之外，CU具有類似於H.264標準之巨集區塊之用途。舉例而言，樹型區塊可經分裂成四個子代節點(亦被稱作子CU)，且每一子代節點又可為父代節點並經分裂成另外四個子代節點。被稱作四分樹之葉節點之最終的未分裂子代節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與一經寫碼位元串流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義一最小寫碼單元(SCU)。本發明使用術語「區塊」指代在HEVC之內容脈絡中之CU、PU或TU中的任一者，或在其他標準之內容脈絡中之類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)。
CU包括一寫碼節點及與該寫碼節點相關聯之若干預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可根據CU係經跳過或經直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU可在形狀上分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU之變換，該等變換對於不同CU可不同。通常基於針對經分割ICU定義之給定CU內之PU的大小而設定TU之大 小，但可能並非始終為此狀況。TU通常具有與PU相同的大小，或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分成更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生變換係數，變換係數可經量化。
葉CU可包括一或多個預測單元(PU)。大體而言，PU表示對應於對應CU之全部或一部分之空間區，且可包括用於擷取PU之參考樣本之資料。此外，PU包括關於預測之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，殘餘四分樹可包括描述對應於PU之TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖片，及/或用於運動向量之參考圖片清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使用RQT(亦被稱作TU四分樹結構)指定變換單元，如上文所論述。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可經進一步分裂成其他子TU。當TU未經進一步分裂時，其可被稱作葉TU。大體而言，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，大體應用相同框內預測模式來計算一葉CU的所有TU之預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘餘值計算為CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。對於框內寫碼，可將一PU與用於同一CU之一對應葉TU組合。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即，葉CU可包括指示如何將葉CU分割成TU之四分樹。TU四分樹之根節點大體上對應於葉CU，而CU四分樹之根節點大體上對應於樹型區塊(或LCU)。RQT之未經分裂的TU被稱作葉TU。大體而言，除非另有註釋，否則本發明使用術語CU及TU來分別指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖片。圖片群組(GOP)大體上包含一系列的視訊圖片中之一或多者。GOP可在GOP之標頭、圖片中之一或多者之標頭中或在別處包括描述包括於GOP中之圖片之數目的語法資料。圖片之每一切片可包括描述各別切片之編碼模式的切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準在大小方面不同。
作為一實例，HM支援以各種PU大小進行之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行之框間預測。HM亦支援不對稱分割以按2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測。在不對稱分割中，CU之一方向未經分割，而另一方向經分割成25%及75%。CU之對應於25%分割區之部分藉由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」指代在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。大體而言，16×16區塊將在垂直方向上具有16個像素(y=16)及在水平方向上具有16個像素(x=16)。同樣地，N×N區塊大體上在垂 直方向上具有N個像素及在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊可能未必在水平方向上具有與垂直方向上之像素數目相同的數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在將一變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)應用於殘餘視訊資料之後的變換域中之係數。殘餘資料可對應於未經編碼圖片之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在應用任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化為意欲具有其最廣泛普通含義之廣義術語。在一實施例中，量化指代如下程序：其中將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮。該量化程序可減少與該等係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間可將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化之變換係數之二維矩陣產生一維向量。掃描可經設計成將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數，以產生可經熵編碼的串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術 寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用於解碼視訊資料。
為了執行CABAC，視訊編碼器20可將內容脈絡模型內之內容脈絡指派給待傳輸之符號。該內容脈絡可能關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇一可變長度碼。可建構VLC中之碼字使得相對較短的碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用等長度碼字相比較)。機率判定可基於指派給符號之內容脈絡。
視訊編碼器20可進一步(例如)在圖框標頭、區塊標頭、切片標頭或GOP標頭中將語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料及基於GOP之語法資料)發送至視訊解碼器30。GOP語法資料可描述各別GOP中的圖框之數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
圖2為說明可實施根據本發明中所描述之態樣之技術的視訊編碼器之實例的方塊圖。視訊編碼器20可經組態以執行本發明之技術中之任一者或全部。作為一實例，模式選擇單元40可經組態以執行本發明中所描述之技術中之任一者或全部。然而，本發明之態樣不限於此。在一些實例中，本發明中所描述之技術可在視訊編碼器20之各種組件當中共用。在一些實例中，除此之外或代替此，一處理器(未展示)可經組態以執行本發明中所描述之技術中之任一者或全部。
視訊編碼器20可執行視訊切片內之視訊區塊之框內及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖片內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列中 之鄰近圖框或圖片內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中的任一者。
如圖2中所展示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖1之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以對區塊邊界進行濾波以自經重建構之視訊移除方塊效應假影。在需要時，解區塊濾波器通常將對求和器62之輸出進行濾波。除解區塊濾波器之外，亦可使用額外濾波器(迴路內或迴路後)。為簡潔起見，未展示此等濾波器，但在需要時，此等濾波器可對求和器50之輸出進行濾波(作為迴路內濾波器)。
在該編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或切片。可將該圖框或切片劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊執行所接收視訊區塊之框間預測性寫碼，以提供時間預測。框內預測單元46或者可相對於與待寫碼之區塊相同的圖框或切片中之一或多個相鄰區塊執行所接收視訊區塊的框內預測性寫碼，以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊之適當寫碼模式。
此外，分割單元48可基於先前寫碼遍次中對先前分割方案之評估而將視訊資料之區塊分割成若干子區塊。舉例而言，分割單元48最初可將圖框或切片分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)將該等LCU中之每一者分割成子CU。模式選擇單元40可進 一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於錯誤結果而選擇寫碼模式中之一者(框內或框間)，且將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念目的而分別加以說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖片內之一視訊區塊的一PU相對於參考圖框(或其他經寫碼單元)內的一預測性區塊(其相對於在該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊)之位移。預測性區塊為發現在像素差方面緊密地匹配待寫碼之區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度來判定。在一些實例中，視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖片的子整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖片之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋，且輸出具有分數像素精度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖片之預測性區塊之位置而計算經框間寫碼切片中的視訊區塊之PU的運動向量。該參考圖片可選自第一參考圖片清單(清單0)或第二參考圖片清單(清單1)，清單0或清單1中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖片。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量而提取或產生預測性區塊。此外，在一些實例中，運動估計單元42及運動補償單元44可為功能上整合的。在接收到當前視訊區塊之PU之運動向量後，運動補償單元44便可在參考圖片清單中之一者中找到運動向量所指向的預測性區塊之位置。求和器50藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊，如下文所論述。大體而言，運動估計單元42相對於明度分量執行運動估計，且運動補償單元44將基於該等明度分量而計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊切片相關聯的語法元素以供視訊解碼器30用於解碼視訊切片之視訊區塊。
作為由運動估計單元42及運動補償單元44執行之框間預測的替代，框內預測單元46可框內預測或計算一當前區塊，如上文所描述。詳言之，框內預測單元46可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨的編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式中選擇待使用之適當框內預測模式。
舉例而言，框內預測單元46可使用對各種所測試之框內預測模式之速率-失真分析計算速率-失真值，且在所測試之模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與經編碼以產生該經編碼區塊的原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可針對各種經編碼區塊自失真及速率計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在針對一區塊選擇框內預測模式之後，框內預測單元46可將指 示該區塊的選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示該選定框內預測模式之資訊。視訊編碼器20可在經傳輸之位元串流組態資料中包括：針對各種區塊之編碼內容脈絡之定義，及將用於該等內容脈絡中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示，該經傳輸之位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成一殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、次頻帶變換或其他類型之變換。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如，頻域)。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減小位元率。該量化程序可減少與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵寫碼經量化之變換係數。舉例而言，熵編碼單元56可執行內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於內容脈絡之熵寫碼之狀況下，內容脈絡可基於相鄰 區塊。在由熵編碼單元56熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或封存經編碼位元串流以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將該殘餘區塊加至參考圖框記憶體64之圖框中之一者的一預測性區塊來計算一參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於該經重建構之殘餘區塊以計算用於在運動估計中使用之子整數像素值。求和器62將該經重建構之殘餘區塊加至由運動補償單元44產生的經運動補償之預測區塊以產生一經重建構之視訊區塊，以用於儲存於參考圖框記憶體64中。該經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作一參考區塊以框間寫碼後續視訊圖框中之區塊。
圖3為說明可實施根據本發明中所描述之態樣之技術的視訊解碼器之實例的方塊圖。視訊解碼器30可經組態以執行本發明之技術中之任一者或全部。作為一實例，運動補償單元72及/或框內預測單元74可經組態以執行本發明中所描述之技術中之任一者或全部。然而，本發明之態樣不限於此。在一些實例中，本發明中所描述之技術可在視訊解碼器30之各種組件當中共用。在一些實例中，除此之外或代替此，一處理器(未展示)可經組態以執行本發明中所描述之技術中之任一者或全部。
在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖框記憶體82及求和器80。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20(圖2)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70所接收之運動向量而產生預測資料，而 框內預測單元74可基於自熵解碼單元70所接收之框內預測模式指示符而產生預測資料。
在解碼程序期間，視訊解碼器30接收經編碼視訊位元串流，該經編碼視訊位元串流表示來自視訊編碼器20的經編碼視訊切片之視訊區塊及相關聯語法元素。視訊解碼器30之熵解碼單元70熵解碼該位元串流以產生經量化之係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收視訊切片層級及/或視訊區塊層級之語法元素。
當視訊切片經寫碼為經框內寫碼(I)切片時，框內預測單元74可基於用信號發出之框內預測模式及來自當前圖框或圖片之先前經解碼區塊的資料而產生用於當前視訊切片之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(例如，B、P或GPB)切片時，運動補償單元72基於運動向量及自熵解碼單元70所接收之其他語法元素而產生用於當前視訊切片之視訊區塊的預測性區塊。可根據參考圖片清單中之一者內的參考圖片中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖框記憶體92中之參考圖片使用預設建立技術建立參考圖框清單(清單0及清單1)。運動補償單元72藉由剖析運動向量及其他語法元素而判定用於當前視訊切片之視訊區塊之預測資訊，且使用該預測資訊以產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用所接收語法元素中之一些語法元素來判定：用以寫碼視訊切片之視訊區塊之預測模式(例如，框內預測或框間預測)；框間預測切片類型(例如，B切片、P切片或GPB切片)；用於該切片之參考圖片清單中之一或多者的建立資訊；用於該切片之每一經框間編碼視訊區塊的運動向量；用於該切片之每一經框間寫碼視訊區塊之框間預測狀態；及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元72亦可基於內插濾波器而執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器來計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元72可根據所接收語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
反量化單元76反量化(例如，解量化)提供於位元串流中且由熵解碼單元80解碼之經量化之變換係數。反量化程序可包括使用由視訊解碼器30針對視訊切片中之每一視訊區塊計算的量化參數QPY來判定量化程度及(同樣地)應應用的反量化之程度。
反變換單元78將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊加總而形成一經解碼視訊區塊。求和器90表示執行此加總運算之一或多個組件。在需要時，亦可應用解區塊濾波器以對經解碼區塊進行濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中抑或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖片中之經解碼視訊區塊儲存於參考圖片記憶體92中，參考圖片記憶體92儲存用於後續運動補償之參考圖片。參考圖框記憶體82亦儲存經解碼視訊以用於稍後呈現於一顯示器件上，諸如圖1之顯示器件32。
HEVC中之運動補償
如上文所提及，HEVC為下一代視訊寫碼標準。大體而言，HEVC遵循先前視訊寫碼標準之架構。HEVC之運動補償迴路保持與H.264/AVC中之運動補償迴路相同，亦即，當前圖框之重建構等於經解量化係數r加上時間預測P：
其中P指示用於P圖框或切片之單向預測或用於B圖框或切片之雙向預測。
HEVC中之運動補償單元不同於先前視訊寫碼標準中之運動補償單元。實際上，先前視訊寫碼標準中之巨集區塊的概念在HEVC中並不存在。實情為，由基於一般四分樹方案的高度靈活之階層式結構替換巨集區塊概念。在此方案內，定義三種類型之區塊，亦即，寫碼單元(CU)、預測單元(PU)及變換單元(TU)。CU為區域分裂之基礎單元。CU類似於巨集區塊之概念，但其並不限制最大大小且其允許遞歸地分裂成四個相等大小之CU以改良內容自適應性。PU為框間/框內預測之基礎單元，且其可在單一PU中含有多個任意形狀之分割區以有效地寫碼不規則影像圖案。TU為變換之基礎單元。TU可獨立於PU來定義；然而，TU之大小限於TU所屬的CU。區塊結構至三個不同概念之此分離允許每一者根據其作用而得以最佳化，此導致改良之寫碼效率。
HEVC中之運動預測
在HEVC中，存在被稱為「合併」之框間預測模式。合併模式指代滿足以下情形之一或多個視訊寫碼模式：其中，對於正被寫碼之當前視訊區塊，繼承相鄰視訊區塊之運動資訊。一索引值可用以識別當前視訊區塊繼承運動資訊所自之候選者(例如，相對於當前區塊而言之頂部區塊、右頂部區塊、左邊區塊、左底部區塊，來自時間上鄰近之圖框之同置型區塊或假造的運動向量候選者)。跳過模式可包含一種類型之合併模式(或類似於合併模式之模式)。藉由跳過模式，運動資訊得以繼承，但無殘餘資訊經寫碼。殘餘資訊可大體上指代指示待寫碼之區塊與繼承運動資訊所自之區塊之間的像素差的像素差資訊。框間合併模式可為另一類型之合併模式(或類似於合併模式之模式)。 框間合併模式可類似於跳過模式(因為運動資訊得以繼承)，但在框間合併模式情況下，視訊區塊經寫碼以包括殘餘資訊。片語「合併模式」在本文中用以指代此等模式中之任一者，該等模式可被稱為跳過模式、框間合併模式或合併模式。
運動資訊可至少包括與區塊相關聯之運動向量、參考圖框索引及框間預測方向。更具體而言，為了寫碼當前區塊，可基於來自空間上及/或時間上相鄰之區塊及假造的運動向量候選者之運動資訊而形成合併候選者之清單。代替直接用信號發出一當前區塊之運動資訊，用信號將合併清單之索引自編碼器發出至解碼器。在解碼器側，可建立相同合併清單。基於所接收索引，解碼器可自合併清單查找運動資訊，且將該運動資訊用作當前區塊之運動資訊。
圖4為展示當前區塊404之實例空間相鄰區塊400及時間相鄰區塊402之概念圖，其中在形成用於視訊寫碼當前區塊404之合併清單中擷取運動資訊。在圖4之實例中，存在五個空間相鄰區塊400及一時間相鄰區塊402。該五個空間相鄰區塊400為左邊區塊(L)、上方區塊(A)、右上方區塊(AR)、左底部區塊(BL)及左上方區塊(AL)。一時間相鄰區塊402經表示為T。使用當前區塊406之位於其參考圖框中之一者中的組合區塊(未展示)來擷取運動資訊。
在某些情形下，空間相鄰區塊400或時間相鄰區塊402之運動資訊可能不可用。舉例而言，區塊400、402可能位於當前圖片或當前切片或當前影像塊之框線外部。或者，區塊400、402可經框內寫碼，且因此可能不具有與其相關聯之任何運動資訊。當一或多個空間相鄰區塊400或時間相鄰區塊402之運動資訊不可用時，在合併清單中可能不存在足夠的運動資訊候選者。在此狀況下，可基於已存在於清單中之現有運動資訊候選者經由「部分組合」而產生假造的運動資訊候選者。舉例而言，對於現有運動資訊候選者A及B，可將候選者A之 L0(亦即，清單0)運動向量與候選者B之L1(亦即，清單1)運動向量組合以創建新的且假造的運動資訊候選者。在一些其他實例中，零運動向量亦可用以產生新的運動資訊候選者。將此等假造的運動資訊候選者置於合併清單中直至清單滿為止。
在將運動資訊候選者置於合併清單中之前，有時對運動資訊候選者執行剪除操作。在剪除操作期間，將運動資訊候選者與清單中之一或多個現有運動資訊候選者比較，且在該運動資訊候選者等於合併清單中之一現有候選者的情況下，將該運動資訊候選者自該清單排除。
運動向量預測
在當前視訊區塊之寫碼中使用相鄰視訊區塊之運動向量的另一狀況為所謂的運動向量預測或進階運動向量預測(AMVP)。在此等狀況下，應用運動向量之預測性寫碼以減少傳達運動向量所需之資料之量。舉例而言，並非編碼及傳達運動向量本身，而是，視訊編碼器20編碼且傳達相對於一已知(或可知)運動向量之運動向量差(MVD)。在H.264/AVC中，已知運動向量(其可與MVD一起使用以定義當前運動向量)可藉由所謂的運動向量預測子(MVP)來定義，其經導出為與相鄰區塊相關聯之運動向量的中值。
然而，更進階MVP技術(諸如，AMVP)可允許視訊編碼器20選擇定義MVP所根據之相鄰者。亦即，視訊寫碼器可產生包括複數個運動資訊候選者之合併/AMVP清單。視訊寫碼器接著可選擇運動資訊候選者中之一者。可基於選定運動資訊候選者之運動向量而定義MVP。使用AMVP可指代使用來自另一區塊之運動向量資訊，其中使用MVD值以指示MVP與待寫碼之區塊之實際MV之間的差異及用信號發出之參考索引。或者，使用合併模式可指代使用來自另一區塊之運動資訊來寫碼當前區塊，具有或不具有指示待寫碼之區塊與另一區塊之間的像 素差的殘餘資訊。本發明之技術可適用於產生用於合併模式及/或AMVP之候選者清單。
圖5展示B切片500之實例，其中每一清單具有單一參考圖片(清單0之圖片j 502及清單1之圖片1 504)。在圖5中，假定：基於當前PU之已用信號發出之ref_idx，最終MVP之參考圖片為圖片j 502。當前清單為清單0，且當前PU之參考圖片為圖片j。點線箭頭506指示相鄰區塊508之清單0MV，且點線箭頭510指示相鄰區塊508之清單1MV。已編號圓圈512、514指示兩個MV之優先權。當清單0MV可用時，將其用作空間MVP候選者。否則，當清單1MV可用時，基於圖片次序計數(「POC」)距離如實線箭頭516所示將其按比例調整至當前參考圖片，且接著將其用作空間MVP候選者。
根據當前清單及當前參考圖片選擇一時間運動向量預測子(mvL0Col或mvL1Col)，且將其添加至MVP清單。基於以下各項而導出mvL0Col或mvL1Col：時間組合區塊之運動向量；及當前圖片與當前參考圖片之間的POC差異；及組合圖片與組合時間區塊所參考之參考圖片之間的POC差異。
當MVP清單中存在多個候選者時，用信號發出一索引以指示將使用哪一候選者。類似於合併清單，在HEVC之SVC及3D視訊寫碼中，可將基層或基礎視圖中之組合區塊之運動資訊置於MVP清單中。
可調式視訊寫碼
圖6中展示不同維度上之可調性600之實例。在該實例中，在三個維度602、604、606上實現可調性。在時間維度602上，時間可調性(T)可支援7.5Hz、15Hz或30Hz之圖框率。當支援空間可調性(S)604時，實現不同解析度，諸如QCIF、CIF及4CIF。對於每一特定空間解析度及圖框率，可添加SNR(Q)層606以改良圖片品質。可將來自每一層602、604、606之位元串流一起多工至單一位元串流中。一旦以此 可調式方式來編碼視訊內容，便可根據應用要求使用提取器工具來調適實際傳遞之內容，應用要求取決於(例如)用戶端或傳輸頻道。在圖6中所展示之實例中，每一立方體608含有具有相同圖框率(時間層級)、空間解析度及SNR層之圖片。可藉由在任一維度602、604、606上添加彼等立方體608(圖片)來達成較佳表示。當實現兩個、三個或甚至更多可調性時，支援組合之可調性。
根據SVC規格，具有最低空間層610及品質層612之圖片與H.264/AVC相容，且在最低時間層級614之圖片形成時間基層，該時間基層可藉由較高時間層級之圖片而增強。除H.264/AVC相容層之外，亦可添加若干空間及/或SNR增強層以提供空間及/或品質可調性。SNR可調性606亦被稱作品質可調性。每一空間增強層604或SNR增強層606本身可為時間上可調的，具有與H.264/AVC相容層相同之時間可調性結構。對於一空間或SNR增強層，其所依賴之下部層亦被稱作該特定空間或SNR增強層之基層。
圖7中展示SVC寫碼結構700之實例。具有最低空間及品質層之圖片(層0 702及層1 704中之圖片，具有QCIF解析度)與H.264/AVC相容。其中，最低時間層級之彼等圖片形成時間基層，如圖7之層0 702中所展示。此時間基層(層0)702可藉由較高時間層級(層1)704之圖片而增強。除H.264/AVC相容層704之外，亦可添加若干空間及/或SNR增強層706、708、710以提供空間及/或品質可調性。舉例而言，增強層可為具有與層2 706相同之解析度的CIF表示。在該實例中，層3 708為SNR增強層。如實例中所展示，每一空間或SNR增強層本身可為時間上可調的，具有與H.264/AVC相容層相同之時間可調性結構。又，增強層可增強空間解析度及圖框率兩者。舉例而言，層4 710提供一4CIF增強層，其進一步將圖框率自15Hz增加至30Hz。
如圖8中所展示，同一時間執行個體中之經寫碼切片按位元串流 次序連續，且在SVC之內容脈絡中形成一存取單元800。彼等SVC存取單元800接著遵循解碼次序，解碼次序可不同於顯示次序且(例如)由時間預測關係來決定。
H.264/AVC之可調式擴展之特徵
SVC之一些功能性繼承自H.264/AVC。下文審閱與先前可調式標準相比而言最重要的優點，亦即，層間預測及單一迴路解碼。
為保持低複雜性解碼器，在SVC中，單一迴路解碼為強制的。在單一迴路解碼情況下，每一所支援層可藉由單一運動補償迴路來解碼。為了達成此目的，僅允許針對增強層巨集區塊(MB)使用層間框內預測，用於增強層巨集區塊(MB)之組合參考層信號經框內寫碼。 進一步需要使用受約束之框內預測來寫碼用以層間預測較高層之所有層。
SVC基於紋理、殘餘物、模式及運動而引入層間預測以用於空間及SNR可調性。已將SVC中之空間可調性一般化至兩層之間的任何解析率(resolution ratio)。SNR可調性可藉由粗粒度可調性(CGS)或中等粒度可調性(MGS)來實現。在SVC中，兩個空間或CGS層屬於不同的相依層(在NAL單元標頭中藉由dependency_id指示)，而兩個MGS層可在同一相依層中。一相依層包括品質層，品質層具有自0至較高值(對應於品質增強層)之quality_id。在SVC中，利用層間預測方法來減少層間冗餘。在以下段落中簡要介紹該等內容。
在SVC中，將使用層間框內預測之寫碼模式稱為「IntraBL」模式。為了實現單一迴路解碼，僅MB(其在根據受約束框內模式寫碼之基層中具有組合MB)可使用層間框內預測模式。受約束框內模式MB經框內寫碼，而不參考來自相鄰經框間寫碼MB之任何樣本。
若指示MB使用殘餘預測，則用於層間預測之基層中之組合MB必須為框間MB，且其殘餘物可根據空間解析率而補強(upsample)。增強 層與基層之間的殘餘物差異經寫碼。亦即，增強層之當前圖框之重建構I e 等於以下各者之總和：增強層之經解量化之係數r e 、來自增強層之時間預測P e ，及基層之量化正規化殘餘係數r b 。
I e =r e +P e +r b
可按比例調整組合基層運動向量以產生用於增強層中之MB或MB分割區之運動向量的預測子。另外，存在一種名為基礎模式之MB類型，其針對每一MB發送一旗標。若此旗標為真且對應基層MB並非框內MB，則運動向量、分割模式及參考索引全部自基層導出。
層間合併清單建立
如上文所描述，在HEVC中，定義一合併模式，該合併模式中，當前區塊可使用自空間或時間相鄰區塊導出之運動資訊。儘管層間運動向量預測在H.264/SVC之先前標準中可用，但不存在此合併模式。因此，可能需要用於在形成增強層處之當前區塊之合併清單中有效率地利用組合基層區塊運動向量的技術。
圖9描繪描述用於候選者清單建立之程序900之一實施例的流程圖。程序900可由上文分別關於圖2及圖3所論述之編碼器20或解碼器30來執行。程序900可由編碼器20之運動估計單元42來實施或作為運動估計單元42之部分，或者作為解碼器30之運動補償單元72之部分。在另一實施例中，程序900由單獨候選者產生器(未展示)來實施。當由編碼器20實施時，將候選者產生器之輸出提供至編碼器20之運動估計單元42，及當由解碼器實施時，將候選者產生器之輸出提供至解碼器30之運動補償單元72。
候選者清單可為合併清單或AMVP清單。候選者清單建立程序900於區塊901處開始。在區塊905處，視情況創建用於增強層中之當前區塊之候選者清單。在區塊905處，可視情況使用時間及/或空間候選者來創建候選者清單。或者，該程序可自區塊901直接進行至區塊 910。在區塊910處，添加一或多個相關聯基層區塊(例如，組合基層區塊、組合基層區塊之相鄰者、自組合基層區塊偏移預定距離的區塊等)或其相關聯運動資訊作為該候選者清單之一或多個基層運動候選者。在區塊915處，產生用於候選者清單之潛在運動資訊候選者。視情況，在區塊920處，考慮潛在運動資訊候選者。在一些實施例中，在區塊915處，作為產生潛在運動資訊候選者之部分而考慮潛在運動資訊候選者。在一些實施例中，產生潛在運動資訊候選者包括判定運動資訊候選者是否可用(例如，歸因於區塊位置、其相關聯寫碼模式等)。可使用每一基層區塊來導出一或多個基層運動資訊候選者。
在區塊925處，判定是否需應用一剪除操作。舉例而言，可存在僅應用於某些候選者、區塊等之選擇性或有條件剪除操作。在一些實施例中，可將此稱作全域剪除操作條件。在一些實施例中，可將區塊925之全域剪除操作與區塊945之剪除決策組合。若不需要剪除操作，則程序900繼續至區塊930，在區塊930處，將潛在運動資訊候選者添加至候選者清單。可在候選者清單內之任何位置將運動資訊候選者添加至候選者清單，包括在該清單內之隨機位置處。舉例而言，可將運動資訊候選者添加為候選者清單中之第一項目，或可將其插入於已經存在於候選者清單中之候選者之間，或者可將其添加至候選者清單之末尾。舉例而言，可將自基層區塊導出之運動資訊候選者插入於已經添加至候選者清單的一或多個空間及/或時間候選者之間或鄰近於該一或多個空間及/或時間候選者而置放。
在區塊935處，判定是否存在任何剩餘運動資訊候選者。若存在任何剩餘運動資訊候選者，則在區塊925處，可將彼等候選者中之每一者添加至候選者清單(假定不需要剪除)。一旦已將運動資訊候選者添加至候選者清單，便在區塊940處，結束候選者清單建立常式。若存在額外運動資訊候選者，則程序繼續至區塊920，或在省略區塊920 的情況下繼續至區塊915。若在區塊925處判定應應用剪除，則程序900繼續至區塊945，如下文所論述。
在一實施例中，視訊寫碼器(亦即，視訊編碼器或視訊解碼器)可至少部分基於基層區塊之運動資訊而產生用於增強層區塊之候選者清單。基層區塊可在視訊資料之基層中，且增強層區塊可在視訊資料之增強層中。在一些實例中，基層區塊與增強層區塊組合。若視訊寫碼器為視訊編碼器，則視訊編碼器可輸出指示候選者清單中之運動資訊候選者的參考索引。若視訊寫碼器為視訊解碼器，則視訊解碼器可使用由參考索引指示之運動資訊候選者來產生用於增強層區塊之預測視訊區塊。
在一實施例中，來自基礎區塊之組合運動向量用以建立一合併/AMVP清單。來自基層組合區塊之運動資訊用作一運動資訊候選者，且經添加至合併/AMVP清單以用於增強層處之當前區塊。在一實施例中，視訊寫碼器可包括基層區塊之運動資訊作為用於增強層區塊之候選者清單中之運動資訊候選者。在一實施例中，此候選者為添加至候選者清單之第一運動資訊候選者。
層間合併清單建立：剪除
可在將運動資訊候選者添加至合併及/或AMVP候選者清單之前執行一剪除操作。舉例而言，可將運動資訊候選者與合併及/或AMVP清單中之一或多個現有運動資訊候選者比較，且在該運動資訊候選者等於現有候選者中之一者的情況下，將該運動資訊候選者自該清單排除。
圖9之程序900亦包括在存在用於候選者清單建立之剪除操作的情況下執行之區塊。若在區塊925處判定存在剪除操作，則程序900繼續至區塊945。在區塊945處，判定是否應執行對照基層運動資訊候選者之剪除。可基於區塊945處之判定而選擇性地執行剪除。基層運動 資訊候選者可為已添加至候選者清單之第一候選者(或可位於候選者清單內之任何其他位置)。然而，即使基層運動資訊候選者並非候選者清單中之第一候選者，亦可執行剪除。若存在待執行之剪除操作，則程序900繼續至區塊950。在區塊955處，判定是否應執行對照候選者清單中之其他運動資訊候選者(例如，其他空間、時間及/或基層運動資訊候選者)的剪除。亦可基於區塊955處之判定而選擇性地執行剪除。舉例而言，在區塊945及955處，可判定針對所有候選者、針對一些候選者、僅針對第一候選者及/或基於所要效能或寫碼效率而執行剪除。舉例而言，可基於是否需要改良壓縮效率或改良效能(例如，速度)而判定區塊945及955處之剪除決策。在一些實施例中，可實施剪除(例如，區塊945及/或955處之「是」決策)以改良壓縮效率，且可避免剪除(例如，區塊945及/或955處之「否」決策)以改良效能。
若在兩種情況下均存在剪除，則對照已添加至候選者清單之基層運動資訊候選者(例如，自基層區塊導出之運動資訊候選者)(區塊950處)及已添加至候選者清單之其他運動資訊候選者(區塊960處)而剪除潛在運動資訊候選者。舉例而言，若無已存在於候選者清單中之其他候選者(例如，無自基層區塊導出之運動資訊候選者或無其他運動資訊候選者)具有與該運動資訊候選者相同的值，則可將該運動資訊候選者添加至候選者清單。若運動資訊候選者具有已存在於候選者清單中之值，則丟棄該候選者或不將該候選者添加至候選者清單。
若在區塊945處判定不存在待對照基層運動資訊候選者執行之剪除，則程序900繼續至區塊955。若在區塊955處判定不存在待對照其他運動資訊候選者執行之剪除，則程序900繼續至區塊935。在一些實施例中，將區塊945及955之決策一起實施為一單一決策區塊，及/或將區塊950及960之剪除功能實施為一單一區塊。
一旦經剪除，便在區塊935處判定是否存在剩餘之較多運動資訊 候選者。若存在剩餘之較多運動資訊候選者，則程序返回至區塊920或區塊915，如上文所論述。一旦已考慮所有候選者，程序900便在區塊940處結束。
在一實施例中，在來自基層之組合運動向量與當前層運動向量之間不存在剪除。舉例而言，在將來自組合基層區塊之運動資訊候選者插入至用於增強層處之當前區塊的候選者清單中之後，將置於該清單中之下一候選者為來自空間相鄰區塊L之運動資訊候選者。在進行此操作中，可能不需要檢查來自L之運動資訊候選者是否與來自組合基層區塊之運動資訊候選者相同。因此，可忽略檢查，此可導致寫碼效率改良。此外，即使該兩者相同，亦仍將來自區塊L之候選者添加至清單中。
避免剪除操作可簡化系統而不會不利地影響寫碼效能。此情形由於以下原因而發生：即使另一運動資訊候選者等於來自組合基層區塊之運動資訊候選者，亦仍將高度可能選擇來自該組合基層區塊之該運動資訊候選者。因為來自組合基層區塊之運動資訊候選者為清單中之第一候選者，所以提供於其他候選者上之剪除操作將不會影響第一候選者之索引值。因此，在此狀況下，剪除可能不會有助於寫碼效能。
在另一實施例中，在來自基層之組合運動資訊候選者與當前層運動資訊候選者L之間存在剪除。在此狀況下，對照組合基層候選者而剪除候選者L可藉由比較L之運動資訊與候選者清單中的先前插入之運動資訊候選者的運動資訊來進行。來自當前增強層之其他運動資訊候選者(不同於候選者L)之剪除程序可保持與目前在HEVC標準中所定義之剪除程序相同。
舉例而言，當視訊寫碼器產生用於第一增強層區塊之候選者清單時，視訊寫碼器可基於已在候選者清單中之運動資訊候選者與第二 增強層區塊之運動資訊的比較而將第二增強層區塊之運動資訊自候選者清單剪除。
在另一實施例中，對於增強層處之每一運動資訊候選者，發生僅對照候選者清單之組合基層區塊運動資訊候選者之剪除，該組合基層區塊運動資訊候選者可為但並非必須為第一運動資訊候選者。在此狀況下，在將來自基層之組合區塊之運動資訊作為第一運動資訊候選者插入至候選者清單中之後，僅對照來自基層之此運動資訊候選者來比較來自當前增強層之每個運動資訊候選者以用於剪除。可能不需要執行對照來自增強層之運動資訊候選者的剪除。
舉例而言，當視訊寫碼器產生用於第一增強層區塊之候選者清單時，視訊寫碼器可對照候選者清單中之來自基層區塊之第一運動資訊候選者而非對照候選者清單中之其他運動資訊候選者來剪除第二增強層區塊之運動資訊。在其他實施例中，可在候選者清單中之任何位置插入或添加基層運動資訊候選者。在本文所描述之實施例中，無需將基層運動資訊候選者提供為候選者清單中之第一候選者。
層間合併清單建立：偏移運動資訊候選者
可創建具有運動向量偏移之用於候選者清單之額外運動資訊候選者。在一實施例中，針對已含有來自基層組合區塊之第一運動資訊候選者的候選者清單產生額外偏移運動資訊候選者。藉由將運動向量偏移加至基層組合區塊之運動向量而創建偏移運動資訊候選者。接著將所得偏移運動資訊候選者添加至用於增強層處之當前區塊的候選者清單。舉例而言，視訊寫碼器可基於基層區塊之運動向量偏移及運動向量而產生一運動資訊候選者。視訊寫碼器可將偏移運動資訊候選者添加至候選者清單。
在一實施例中，可定義偏移值d，例如1、2、3、4等。假定組合基層區塊處之運動向量為(MVL0x,MVL0y)，其係(例如)自清單0單向 預測，運動向量之偏移版本可為(但不限於)以下各項中之一者：(MVL0x+d,MVL0y)，(MVL0x-d,MVL0y)，(MVL0x,MVL0y+d)，(MVL0x,MVL0y-d)，(MVL0x+d,MVL0y-d)，(MVL0x-d,MVL0y+d)，(MVL0x+d,MVL0y+d)，(MVL0x-d,MVL0y-d)
若組合基層區塊處之運動向量為{(MVL0x,MVL0y),(MVL1x,MVL1y)}
其係雙向預測，則運動向量之偏移版本可為(但不限於)以下各項中之一者：{(MVL0x+d,MVL0y),(MVL1x-d,MVL1y)}，{(MVL0x-d,MVL0y),(MVL1x+d,MVL1y)}，{(MVL0x,MVL0y+d),(MVL1x,MVL1y-d)}，{(MVL0x,MVL0y-d),(MVL1x,MVL1y+d)}，{(MVL0x+d,MVL0y),(MVL1x,MVL1y)}，{(MVL0x-d,MVL0y),(MVL1x,MVL1y)}，{(MVL0x,MVL0y+d),(MVL1x,MVL1y)}，{(MVL0x,MVL0y-d),(MVL1x,MVL1y)}，{(MVL0x,MVL0y),(MVL1x+d,MVL1y)}，{(MVL0x,MVL0y),(MVL1x-d,MVL1y)}，{(MVL0x,MVL0y),(MVL1x,MVL1y+d)}，{(MVL0x,MVL0y),(MVL1x,MVL1y-d)}，{(MVL0x+d,MVL0y),(MVL1x+d,MVL1y)}， {(MVL0x-d,MVL0y),(MVL1x-d,MVL1y)}，{(MVL0x,MVL0y+d),(MVL1x,MVL1y+d)}，{(MVL0x,MVL0y-d),(MVL1x,MVL1y-d)}，{(MVL0x+d,MVL0y),(MVL1x-d,MVL1y)}，{(MVL0x-d,MVL0y),(MVL1x+d,MVL1y)}，{(MVL0x,MVL0y+d),(MVL1x,MVL1y-d)}，{(MVL0x,MVL0y-d),(MVL1x,MVL1y+d)}，{(MVL0x-d,MVL0y),(MVL1x+d,MVL1y)}，{(MVL0x+d,MVL0y),(MVL1x-d,MVL1y)}，{(MVL0x,MVL0y-d),(MVL1x,MVL1y+d)}，{(MVL0x,MVL0y+d),(MVL1x,MVL1y-d)}，{(MVL0x+d,MVL0y+d),(MVL1x+d,MVL1y+d)}，{(MVL0x+d,MVL0y+d),(MVL1x-d,MVL1y-d)}，{(MVL0x-d,MVL0y-d),(MVL1x+d,MVL1y+d)}，{(MVL0x-d,MVL0y-d),(MVL1x-d,MVL1y-d)}，{(MVL0x-d,MVL0y-d),(MVL1x+d,MVL1y+d)}，{(MVL0x+d,MVL0y+d),(MVL1x-d,MVL1y-d)}
或者，代替將偏移加至運動向量，可將偏移加至參考索引。運動向量之參考索引偏移版本可為(但不限於)以下各項中之一者：單向合併候選者：(MVL0,refIndexL0+d)，(MVL0,refIndexL0-d)
雙向合併候選者：{(MVL0,refIndexL0+d),(MVL1,refIndexL1)}，{(MVL0,refIndexL0-d),(MVL1,refIndexL1)}，{(MVL0,refIndexL0),(MVL1,refIndexL1+d)}， {(MVL0,refIndexL0),(MVL1,refIndexL1-d)}，{(MVL0,refIndexL0+d),(MVL1,refIndexL1+d)}，{(MVL0,refIndexL0-d),(MVL1,refIndexL1-d)}，{(MVL0,refIndexL0+d),(MVL1,refIndexL1-d)}，{(MVL0,refIndexL0-d),(MVL1,refIndexL1+d)}
在其他實施例中，可基於添加至候選者清單之任何運動資訊候選者而產生具有為位移d之運動向量偏移的偏移運動資訊候選者。
在一實施例中，可基於插入至清單之第一運動資訊候選者而產生具有為位移d之運動向量偏移的偏移運動資訊候選者，而不管偏移運動資訊候選者源(例如，基層或空間候選者)。對於空間候選者，可與其他(自第二運動資訊候選者開始)候選者並行地產生偏移運動資訊候選者。
可自加有運動向量偏移之運動資訊候選者借用偏移運動資訊候選者的參考索引。或者，參考索引對於偏移運動資訊候選者可為固定的。舉例而言，參考索引可始終經設定為零。
可取決於參考及當前圖框之POC值或取決於框間方向類型或取決於該兩條件而有條件地加上或減去上文所提及之位移d。
在一實施例中，不同條件指定是否應加上或減去位移d以產生一潛在偏移運動資訊候選者。舉例而言，對於單向運動資訊候選者，可在任何時間將偏移d加至運動資訊候選者之運動向量。然而，對於雙向偏移運動資訊候選者，在來自清單L0及L1之參考圖框之POC值均小於或大於當前圖框POC值的條件下，可加上偏移d。否則，可針對清單L0運動向量而減去偏移d，且可將偏移d加至來自清單L1之運動向量。在其他實施中，取決於上文所提及之條件，其他組合亦為可能的。
在另一實施例中，可設定添加至候選者清單之偏移運動資訊候 選者的量之上限。可將該量之上限設定為一預定義數目。該數目可為固定的(例如，1、2、3、4)或可變的。該上限可取決於空間候選者之可用性而變化。
為了產生一偏移運動資訊候選者，應已將至少一運動資訊候選者插入至候選者清單中。然而，該清單可能可為空的。在一實施例中，可跳過產生偏移運動資訊候選者。在另一實施例中，可產生其他運動資訊候選者且將其添加至候選者清單以准許產生偏移運動資訊候選者。
舉例而言，若候選者清單為空的，則可將預設的單一或複數個運動資訊候選者插入至空的候選者清單中作為零運動資訊候選者。零運動資訊候選者具有等於零之運動向量及等於零之參考索引，該等零運動資訊候選者在P切片中為單向且在B切片中為雙向。或者，零運動資訊候選者可為來自清單L0之單向候選者，以避免檢查切片類型。在上述實例中，若候選者清單為空的，則可將運動向量等於零且參考索引等於零之零運動資訊候選者插入至候選者清單中。接著可基於候選者清單中之零運動資訊候選者而產生偏移運動資訊候選者。
在一實施例中，若針對候選者清單正考慮零運動資訊候選者，且該候選者清單已具有與正被考慮之零運動資訊候選者相同的現有零運動資訊候選者，則可自候選者清單省略正被考慮之零運動資訊候選者。
在一實施例中，對於空的候選者清單，與零運動資訊候選者相對比，可針對運動資訊候選者使用不同值。代替等於零之運動向量及等於零之參考索引，可使用其他值。用於運動向量及參考索引之此等值可為固定的或預定義的。或者，運動向量及參考索引值可在PU/CU/LCU或切片、圖片或序列標頭層級用信號發出，或為標準設定檔/層級特定的。
在一實施例中，使用剪除操作，該操作比較運動資訊候選者與候選者清單中之現有運動資訊候選者。若運動資訊候選者等於現有運動資訊候選者，則自候選者清單省略該運動資訊候選者。然而，可將基於所省略運動資訊候選者之偏移運動候選者向量插入至候選者清單中。應用於現有運動資訊候選者之運動向量之偏移值位移d可為固定的或靈活的。
層間合併清單建立：採用基層區塊之合併清單
或者，可藉由使用組合基層區塊候選者清單來建立用於增強層中之當前區塊之候選者清單。在此實例中，增強層處之當前區塊可使用與針對其組合基層區塊所創建之候選者清單相同的候選者清單。在此狀況下，為了建立增強層處之區塊，一次候選者清單建立為足夠的，且基於基層區塊之運動資訊而建立此候選者清單。
舉例而言，視訊寫碼器可部分地基於第一運動資訊候選者基層區塊之運動資訊而產生用於增強層區塊之候選者清單。在此實例中，第二運動資訊候選者基層區塊為第一運動資訊候選者基層區塊之空間或時間相鄰者，且與增強層區塊組合。在此實例中，視訊寫碼器可使用第二運動資訊候選者基層區塊之候選者清單作為增強層區塊之候選者清單，第二運動資訊候選者基層區塊之候選者清單包括第一基層區塊之運動資訊。
本發明之技術可適用於合併清單或AMVP清單。本文所論述之候選者清單可指代合併清單及/或AMVP清單。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可進行增添、進行合併或完全省略(例如，並非所有所描述之動作或事件對於實踐該等技術而言為必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非順序地執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊 應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必需要由不同硬體單元來實現。實情為，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
900‧‧‧用於候選者清單建立之程序

Claims (71)

  1. 一種解碼視訊資料之方法，該方法包含：接收自一經編碼視訊位元串流提取之語法元素，其中該等語法元素包含與該視訊資料之一基層之一基層區塊相關聯的資訊；至少部分基於與該基層區塊相關聯之運動資訊而判定用於一增強層區塊之一候選者清單，該增強層區塊在該視訊資料之一增強層中，該候選者清單包括包含與該基層區塊相關聯之該運動資訊的至少一運動資訊候選者，其中該候選者清單包含一合併清單或一AMVP清單；及藉由比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而選擇性地剪除該候選者清單。
  2. 如請求項1之方法，其進一步包含：至少部分基於該候選者清單中之一運動資訊候選者及一運動資訊偏移而判定至少一額外運動資訊候選者；及將該至少一額外運動資訊候選者包括於該候選者清單中。
  3. 如請求項2之方法，其中基於該候選者清單中之該第一運動資訊候選者而判定該額外運動資訊候選者，而不管該第一運動資訊候選者係自一基層中之一組合區塊導出抑或自該增強層區塊之一空間或時間候選者導出。
  4. 如請求項2之方法，其中該額外運動資訊候選者為一單向候選者，且將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者。
  5. 如請求項2之方法，其中取決於以下各項而將該偏移加至該額外 運動資訊候選者所基於的該運動資訊候選者或將該偏移自該運動資訊候選者減去：(1)一參考圖框及一當前圖框之圖片次序計數(POC)值，(2)一框間方向類型，或(3)該參考圖框及該當前圖框之該等POC值與該框間方向類型兩者。
  6. 如請求項2之方法，其進一步包含，當該額外運動資訊候選者為一雙向候選者時：若來自清單L0及L1之參考圖框之圖片次序計數(POC)值均小於或大於一當前圖框POC，則將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者；及若來自清單L0及L1之參考圖框之圖片次序計數(POC)值均並非均小於或均大於一當前圖框POC，則將該偏移自該清單L0運動資訊候選者減去及將該偏移加至該清單L1運動資訊候選者。
  7. 如請求項2之方法，其中將來自該額外運動資訊候選者所基於之該運動資訊候選者的一參考索引用於該額外運動資訊候選者。
  8. 如請求項2之方法，其進一步包含產生多個額外運動資訊候選者及將多個額外運動資訊候選者之數目限於一所判定之量。
  9. 如請求項8之方法，其中該所判定之量為預定的。
  10. 如請求項8之方法，其中該所判定之量為1、2、3或4。
  11. 如請求項8之方法，其中基於空間候選者之一可用性而判定該所判定之量。
  12. 如請求項2之方法，其中該運動資訊候選者為包含等於零之一運動向量及等於零之一參考索引之一零候選者，其中基於該零候選者而產生該額外運動資訊候選者。
  13. 如請求項12之方法，其進一步包含：若該額外運動資訊候選者為與該運動資訊候選者相同之一零候選者，則自該候選者清單省略該額外運動資訊候選者。
  14. 如請求項1之方法，其中該基層區塊與該增強層區塊組合。
  15. 如請求項14之方法，其中用於當前區塊之該候選者清單與相關聯於該組合基層區塊之一候選者清單相同。
  16. 如請求項1之方法，其中該選擇性剪除包含基於比較一額外運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而將該額外運動資訊候選者添加至該候選者清單。
  17. 如請求項1之方法，其中該基層區塊鄰近於該基層中與該增強層區塊組合的一組合區塊或自該組合區塊偏移。
  18. 一種編碼視訊資料之方法，該方法包含：接收與該視訊資料之一基層之一基層區塊相關聯的資訊；及至少部分基於與該基層區塊相關聯之運動資訊而判定用於一增強層區塊之一候選者清單，該增強層區塊在該視訊資料之一增強層中，該候選者清單包括包含與該基層區塊相關聯之該運動資訊的至少一運動資訊候選者，其中該候選者清單包含一合併清單或一AMVP清單；藉由比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而選擇性地剪除該候選者清單；及產生與該候選者清單相關聯之至少一語法元素。
  19. 如請求項18之方法，其進一步包含：至少部分基於該候選者清單中之一運動資訊候選者及一運動資訊偏移而判定至少一額外運動資訊候選者；及將該至少一額外運動資訊候選者包括於該候選者清單中。
  20. 如請求項19之方法，其中基於該候選者清單中之該第一運動資訊候選者而判定該額外運動資訊候選者，不管該第一運動資訊 候選者係自一基層中之一組合區塊導出抑或自該增強層區塊之一空間或時間候選者導出。
  21. 如請求項19之方法，其中該額外運動資訊候選者為一單向候選者，且將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者。
  22. 如請求項19之方法，其中取決於以下各項而將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者或將該偏移自該運動資訊候選者減去：(1)一參考圖框及一當前圖框之圖片次序計數(POC)值，(2)一框間方向類型，或(3)該參考圖框及該當前圖框之該等POC值與該框間方向類型兩者。
  23. 如請求項19之方法，其進一步包含：當該額外運動資訊候選者為一雙向候選者時：若來自清單L0及L1之參考圖框之圖片次序計數(POC)值均小於或大於一當前圖框POC，則將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者；及若來自清單L0及L1之參考圖框之圖片次序計數(POC)值均並非均小於或均大於一當前圖框POC，則將該偏移自該清單L0運動資訊候選者減去及將該偏移加至該清單L1運動資訊候選者。
  24. 如請求項19之方法，其中將來自該額外運動資訊候選者所基於之該運動資訊候選者的一參考索引用於該額外運動資訊候選者。
  25. 如請求項19之方法，其進一步包含產生多個額外運動資訊候選者及將多個額外運動資訊候選者之數目限於一所判定之量。
  26. 如請求項25之方法，其中該所判定之量為預定的。
  27. 如請求項25之方法，其中該所判定之量為1、2、3或4。
  28. 如請求項25之方法，其中基於空間候選者之一可用性而判定該 所判定之量。
  29. 如請求項19之方法，其中該運動資訊候選者為包含等於零之一運動向量及等於零之一參考索引之一零候選者，其中基於該零候選者而產生該額外運動資訊候選者。
  30. 如請求項29之方法，其進一步包含，若該額外運動資訊候選者為與該運動資訊候選者相同之一零候選者，則自該候選者清單省略該額外運動資訊候選者。
  31. 如請求項18之方法，其中該基層區塊與該增強層區塊組合。
  32. 如請求項31之方法，其中用於當前區塊之該候選者清單與相關聯於該組合基層區塊之一候選者清單相同。
  33. 如請求項18之方法，其中該選擇性剪除包含基於比較一額外運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而將該額外運動資訊候選者添加至該候選者清單。
  34. 如請求項18之方法，其中該基層區塊鄰近於該基層中與該增強層區塊組合的一組合區塊或自該組合區塊偏移。
  35. 一種經組態以寫碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料，該視訊資料包含一基層之一基層區塊；及一處理器，其與該記憶體通信，該處理器經組態以：至少部分基於與該基層區塊相關聯之運動資訊而判定用於一增強層區塊之一候選者清單，該增強層區塊在該視訊資料之一增強層中，該候選者清單包括包含與該基層區塊相關聯之該運動資訊的至少一運動資訊候選者，其中該候選者清單包含一合併清單或一AMVP清單；及藉由比較一或多個運動資訊候選者與處於該候選者清單中 之與該基層區塊相關聯之至少一運動資訊候選者而選擇性地剪除該候選者清單。
  36. 如請求項35之裝置，其中該處理器經進一步組態以：至少部分基於該候選者清單中之一運動資訊候選者及一運動資訊偏移而判定至少一額外運動資訊候選者；及將該至少一額外運動資訊候選者包括於該候選者清單中。
  37. 如請求項36之裝置，其中該處理器經進一步組態以基於該候選者清單中之該第一運動資訊候選者而判定該額外運動資訊候選者，而不管該第一運動資訊候選者係自一基層中之一組合區塊導出抑或自該增強層區塊之一空間或時間候選者導出。
  38. 如請求項36之裝置，其中該額外運動資訊候選者為一單向候選者，且其中該處理器經進一步組態以將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者。
  39. 如請求項36之裝置，其中該處理器經進一步組態以取決於以下各項而將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者或將該偏移自該運動資訊候選者減去：(1)一參考圖框及一當前圖框之圖片次序計數(POC)值，(2)一框間方向類型，或(3)該參考圖框及該當前圖框之該等POC值與該框間方向類型兩者。
  40. 如請求項36之裝置，其中該處理器經進一步組態以當該額外運動資訊候選者為一雙向候選者時：若來自清單L0及L1之參考圖框之圖片次序計數(POC)值均小於或大於一當前圖框POC，則將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者；及若來自清單L0及L1之參考圖框之圖片次序計數(POC)值均並非均小於或均大於一當前圖框POC，則將該偏移自該清單L0運動資 訊候選者減去及將該偏移加至該清單L1運動資訊候選者。
  41. 如請求項36之裝置，其中該處理器經進一步組態以將來自該額外運動資訊候選者所基於之該運動資訊候選者的一參考索引用於該額外運動資訊候選者。
  42. 如請求項36之裝置，其中該處理器經進一步組態以產生多個額外運動資訊候選者及將多個額外運動資訊候選者之數目限於一所判定之量。
  43. 如請求項42之裝置，其中該所判定之量為預定的。
  44. 如請求項42之裝置，其中該所判定之量為1、2、3或4。
  45. 如請求項42之裝置，其中該所判定之量係由該處理器基於空間候選者之一可用性而判定。
  46. 如請求項36之裝置，其中該運動資訊候選者為包含等於零之一運動向量及等於零之一參考索引之一零候選者，其中該處理器經進一步組態以基於該零候選者而產生該額外運動資訊候選者。
  47. 如請求項46之裝置，其中該處理器經進一步組態以：若該額外運動資訊候選者為與該運動資訊候選者相同之一零候選者，則自該候選者清單省略該額外運動資訊候選者。
  48. 如請求項35之裝置，其中該基層區塊與該增強層區塊組合。
  49. 如請求項48之裝置，其中用於當前區塊之該候選者清單與相關聯於該組合基層區塊之一候選者清單相同。
  50. 如請求項35之裝置，其中該處理器經組態以藉由基於比較一額外運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而將該額外運動資訊候選者添加至該候選者清單來選擇性剪除。
  51. 如請求項35之裝置，其中該基層區塊鄰近於該基層中與該增強 層區塊組合的一組合區塊或自該組合區塊偏移。
  52. 如請求項35之裝置，其中該裝置經組態以編碼視訊資訊。
  53. 如請求項35之裝置，其中該裝置經組態以解碼該視訊資訊。
  54. 一種視訊寫碼裝置，其包含：用於處理與一視訊位元串流相關聯之一或多個語法元素的構件，其中該一或多個語法元素包含與該視訊資料之一基層之一基層區塊相關聯的資訊；用於至少部分基於與該基層區塊相關聯之運動資訊而判定用於一增強層區塊之一候選者清單的構件，該增強層區塊在該視訊資料之一增強層中，該候選者清單包括包含與該基層區塊相關聯之該運動資訊的至少一運動資訊候選者，其中該候選者清單包含一合併清單或一AMVP清單；及用於藉由比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而剪除該候選者清單的構件。
  55. 如請求項54之視訊寫碼裝置，其進一步包含：用於至少部分基於該候選者清單中之一運動資訊候選者及一運動資訊偏移而判定至少一額外運動資訊候選者的構件；及用於將該至少一額外運動資訊候選者包括於該候選者清單中的構件。
  56. 如請求項55之視訊寫碼裝置，其中用於判定該至少一額外運動資訊候選者之該構件包含用於基於該候選者清單中之該第一運動資訊候選者而判定該至少一額外運動資訊候選者的構件，而不管該第一運動資訊候選者係自一基層中之一組合區塊導出抑或自該增強層區塊之一空間或時間候選者導出。
  57. 如請求項55之視訊寫碼裝置，其中該額外運動資訊候選者為一 單向候選者，且該視訊寫碼裝置進一步包含用於將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者的構件。
  58. 如請求項55之視訊寫碼裝置，其進一步包含用於取決於以下各項而將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者或將該偏移自該運動資訊候選者減去的構件：(1)一參考圖框及一當前圖框之圖片次序計數(POC)值，(2)一框間方向類型，或(3)該參考圖框及該當前圖框之該等POC值與該框間方向類型兩者。
  59. 如請求項55之視訊寫碼裝置，其進一步包含：當該額外運動資訊候選者為一雙向候選者時：用於在來自清單L0及L1之參考圖框之圖片次序計數(POC)值均小於或大於一當前圖框POC的情況下，將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者的構件；及用於在來自清單L0及L1之參考圖框之圖片次序計數(POC)值均並非均小於或均大於一當前圖框POC的情況下，將該偏移自該清單L0運動資訊候選者減去及將該偏移加至該清單L1運動資訊候選者的構件。
  60. 如請求項55之視訊寫碼裝置，其中該運動資訊候選者為包含等於零之一運動向量及等於零之一參考索引之一零候選者，該視訊寫碼裝置進一步包含用於基於該零候選者而產生該額外運動資訊候選者的構件。
  61. 如請求項54之視訊寫碼裝置，其中用於選擇性剪除之該構件包含用於基於比較一額外運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而將該額外運動資訊候選者添加至該候選者清單的構件。
  62. 如請求項54之視訊寫碼裝置，其中該基層區塊與該增強層區塊 組合，鄰近於該基層中與該增強層區塊組合的一組合區塊或自該組合區塊偏移。
  63. 一種非暫時性電腦可讀媒體，其具有儲存於其上之程式碼，該程式碼在經執行時使得一裝置進行以下動作：至少部分基於與基層區塊相關聯之運動資訊而判定用於一增強層區塊之一候選者清單，該增強層區塊在視訊資料之一增強層中，該候選者清單包括包含與該基層區塊相關聯之該運動資訊的至少一運動資訊候選者，其中該候選者清單包含一合併清單或一AMVP清單；及藉由比較一或多個運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而剪除該候選者清單。
  64. 如請求項63之非暫時性電腦可讀媒體，其進一步包含在經執行時使得該裝置進行以下動作之程式碼：至少部分基於該候選者清單中之一運動資訊候選者及一運動資訊偏移而判定至少一額外運動資訊候選者；及將該至少一額外運動資訊候選者包括於該候選者清單中。
  65. 如請求項64之非暫時性電腦可讀媒體，其進一步包含在經執行時使得該裝置進行以下動作之程式碼：藉由基於該候選者清單中之該第一運動資訊候選者而判定該至少一額外運動資訊候選者來判定該至少一額外運動資訊候選者，而不管該第一運動資訊候選者係自一基層中之一組合區塊導出抑或自該增強層區塊之一空間或時間候選者導出。
  66. 如請求項64之非暫時性電腦可讀媒體，其進一步包含在經執行時使得該裝置進行以下動作之程式碼：當該額外運動資訊候選者為一單向候選者時，將該偏移加至該額外運動資訊候選者所 基於的該運動資訊候選者。
  67. 如請求項64之非暫時性電腦可讀媒體，其進一步包含在經執行時使得該裝置進行以下動作之程式碼：取決於以下各項而將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者或將該偏移自該運動資訊候選者減去：(1)一參考圖框及一當前圖框之圖片次序計數(POC)值，(2)一框間方向類型，或(3)該參考圖框及該當前圖框之該等POC值與該框間方向類型兩者。
  68. 如請求項64之非暫時性電腦可讀媒體，其進一步包含在經執行時使得該裝置進行以下動作之程式碼：當該額外運動資訊候選者為一雙向候選者時，若來自清單L0及L1之參考圖框之圖片次序計數(POC)值均小於或大於一當前圖框POC，則將該偏移加至該額外運動資訊候選者所基於的該運動資訊候選者；及若來自清單L0及L1之參考圖框之圖片次序計數(POC)值均並非均小於或均大於一當前圖框POC，則將該偏移自該清單L0運動資訊候選者減去及將該偏移加至該清單L1運動資訊候選者。
  69. 如請求項64之非暫時性電腦可讀媒體，其中該運動資訊候選者為包含等於零之一運動向量及等於零之一參考索引之一零候選者，該非暫時性電腦可讀媒體進一步包含在經執行時使得該裝置基於該零候選者而產生該額外運動資訊候選者的程式碼。
  70. 如請求項63之非暫時性電腦可讀媒體，其中導致該選擇性剪除之該程式碼包含使得該裝置進行以下動作之程式碼：基於比較一額外運動資訊候選者與處於該候選者清單中之與該基層區塊相關聯之至少一運動資訊候選者而將該額外運動資訊候選者添加至該候選者清單。
  71. 如請求項63之非暫時性電腦可讀媒體，其中該基層區塊與該增 強層區塊組合，鄰近於該基層中與該增強層區塊組合的一組合區塊或自該組合區塊偏移。
TW102116257A 2012-05-07 2013-05-07 視訊寫碼之層間合併清單建立 TW201401884A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261643791P 2012-05-07 2012-05-07
US201261681111P 2012-08-08 2012-08-08
US201261707754P 2012-09-28 2012-09-28
US13/888,173 US20130294513A1 (en) 2012-05-07 2013-05-06 Inter layer merge list construction for video coding

Publications (1)

Publication Number Publication Date
TW201401884A true TW201401884A (zh) 2014-01-01

Family

ID=49512508

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102116257A TW201401884A (zh) 2012-05-07 2013-05-07 視訊寫碼之層間合併清單建立

Country Status (3)

Country Link
US (1) US20130294513A1 (zh)
TW (1) TW201401884A (zh)
WO (1) WO2013169713A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150192A (zh) * 2022-08-03 2022-10-04 安徽大学 一种基于索引自编码的可撤销生物特征模板保护方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491459B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US20140092978A1 (en) * 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
EP2920966B1 (en) * 2012-11-15 2019-12-18 MediaTek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
US10616607B2 (en) * 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
US9860540B2 (en) * 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US10250895B2 (en) * 2014-03-14 2019-04-02 Sharp Kabushiki Kaisha DPB capacity limits
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
CN109672894B (zh) * 2017-10-13 2022-03-08 腾讯科技（深圳）有限公司 一种帧间预测方法、装置及存储介质
KR102570087B1 (ko) * 2018-03-27 2023-08-25 (주)휴맥스 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치
US10432970B1 (en) * 2018-06-14 2019-10-01 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10623736B2 (en) 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
GB2589487B (en) 2018-06-29 2023-02-08 Beijing Bytedance Network Tech Co Ltd Checking order of motion candidates in LUT
TWI719525B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 Lut與amvp之間的交互
JP7137008B2 (ja) 2018-06-29 2022-09-13 北京字節跳動網絡技術有限公司 １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念
US10715812B2 (en) * 2018-07-13 2020-07-14 Tencent America LLC Method and apparatus for video coding
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
WO2020024966A1 (en) * 2018-07-31 2020-02-06 Mediatek Inc. Method and apparatus of merge with motion vector difference for video coding
US10440416B1 (en) 2018-10-01 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing quality control in 360° immersive video during pause
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
EP3860123B1 (en) * 2018-11-08 2023-12-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for encoding/decoding image signal, and device for same
PL3873092T3 (pl) 2018-11-08 2024-09-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Sposób kodowania/dekodowania sygnału obrazu i urządzenie do tego
CN113170182B (zh) 2018-12-03 2024-01-26 北京字节跳动网络技术有限公司 不同预测模式下的修剪方法
WO2020141962A1 (ko) * 2019-01-04 2020-07-09 세종대학교산학협력단 영상 부호화/복호화 방법 및 장치
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
CN113302937B (zh) 2019-01-16 2024-08-02 北京字节跳动网络技术有限公司 运动候选推导
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
JP7446339B2 (ja) 2019-06-04 2024-03-08 北京字節跳動網絡技術有限公司 幾何学的分割モードコーディングを用いた動き候補リスト
CN117354507A (zh) 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
WO2020244658A1 (en) 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Sub-block based intra block copy
WO2020259426A1 (en) 2019-06-22 2020-12-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for intra block copy mode
CN114128258B (zh) 2019-07-14 2023-12-22 北京字节跳动网络技术有限公司 视频编解码中的变换块尺寸的限制
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
CN119277109B (zh) * 2019-12-31 2025-10-31 北京达佳互联信息技术有限公司 用于使用三角形分区的视频编解码的方法和装置
CN115362676B (zh) 2020-03-07 2025-10-28 抖音视界有限公司 视频编解码中变换跳过模式的处理
US12499501B2 (en) * 2021-01-29 2025-12-16 Techjutsu Properties Inc. System and method for caller verification

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134246A2 (ko) * 2011-04-01 2012-10-04 엘지전자 주식회사 엔트로피 디코딩 방법 및 이를 이용하는 디코딩 장치
EP2721825A4 (en) * 2011-06-15 2014-12-24 Mediatek Inc METHOD AND DEVICE FOR MOTION AND DISPARITY VECTOR PREDICTION AND COMPENSATION IN 3D VIDEO CODING
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
CN104205838B (zh) * 2012-03-22 2018-05-18 联发科技股份有限公司 可伸缩视频编码的方法以及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150192A (zh) * 2022-08-03 2022-10-04 安徽大学 一种基于索引自编码的可撤销生物特征模板保护方法

Also Published As

Publication number Publication date
US20130294513A1 (en) 2013-11-07
WO2013169713A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
CN104521237B (zh) 用于可缩放视频译码及3d视频译码的多假设运动补偿
TW201401884A (zh) 視訊寫碼之層間合併清單建立
US9491459B2 (en) Base layer merge and AMVP modes for video coding
US9756335B2 (en) Optimizations on inter-layer prediction signalling for multi-layer video coding
US9479778B2 (en) Device and method for coding video information using base layer motion vector candidate
US9584805B2 (en) Prediction mode information downsampling in enhanced layer coding
US10097825B2 (en) Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
US20130188719A1 (en) Motion prediction in svc using motion vector for intra-coded block
US9380307B2 (en) Method and system for intra base layer (BL) transform in video coding
US9854259B2 (en) Smoothing of difference reference picture
US20140064359A1 (en) Intra prediction most probable mode order improvement for scalable video coding
US9648353B2 (en) Multiple base layer reference pictures for SHVC
KR20140018967A (ko) 비디오 코딩에서의 모션 벡터 예측
CN108702516A (zh) 用于屏幕内容译码及多层译码的加权预测
US9532046B2 (en) Reference picture set prediction for video coding
US9426465B2 (en) Sub-PU level advanced residual prediction
US10129550B2 (en) Inter-layer syntax prediction control
US20130336394A1 (en) Inferred base layer block for texture_bl mode in hevc based single loop scalable video coding
US9338452B2 (en) Motion vector difference coding extension for enhancement layer
US9392268B2 (en) Using base layer motion information