TW200901774A - Directional transforms for intra-coding - Google Patents

Description

200901774 九、發明說明： 【發明所屬之技術領域】 本揭示案係關於數位視訊處理，且更特定言之，係關於 用於框架内部視訊編碼及解碼之技術。 本專利申請案係以2007年4月17曰所申請之美國專利申 請案第60/9 12,364號為基礎且主張該案之優先權，且該案 已讓與給本發明之受讓人，該案之内容在此以引用之方式 明確地併入本文中。 【先前技術】 在視訊編碼中，可將視訊序列之框架分割成矩形區域或 區塊。可以内部模式（1模式）或中間模式（p模式）來編碼視 訊區塊。

圖1展示用於I模式之先前技術視訊編碼器的圖。在圖工 中，空間預測器H)2藉由使用來自同一框架中之相鄰區塊 之像素而自視訊區塊100形成經預測區塊1〇3。用於預測之 相鄰區塊可藉由空間模式1〇1來指定。求和器1〇4計算預列 誤差1〇6’亦即，影像區塊1〇〇與經預測區塊ι〇3之 f。變換模組⑽將預測誤差⑽投影至基底或變換函數隼 -上。在典型實施例中’可自離散餘弦變換⑴、 “。eve變換（KLT)或任何其他變換導出變換; f。可將變換函數集合表達為厂““，.身其中每」 表示個別變換函數。 可 變換模組1 0 8輪出對應 之加權的變換係數丨丨〇集 於經指派給變換函數中之每— 合。舉例而言’可計算對應於 者 變 130709.doc 200901774 換函數集合{f0，f〗，f2，…，fN}之係數集合{c〇，C2，...

Cn}。隨後藉由量化器1 12來量化變換係數1丨〇以產生經量 化變換係數1 14。可將經量化係數丨14及空間模式1〇1傳輸 至解碼器。 圖1A描繪用於I模式之視訊解碼器。在圖1A中，經量化 係數1000由編碼器提供至解碼器，且供應至逆變換模組 1004。逆變換模組1004基於係數1〇〇〇及固定變換係數集合

(例如’ {f〇，f,，f2，···，fN})來重建預測誤差1〇〇3。將空間模 式】〇〇2供應至逆空間預測模組1〇〇6，逆空間預測模組π% 基於已經被解碼之相鄰區塊之像素值來產生經預測區塊 1007。將經預測區塊1〇〇7與預測誤差1〇〇3組合以產生經重 建區塊HHO。經重建區塊1〇1()與圖^之原始區塊刚之間 的差被稱為重建誤差。 本文中參彳由視訊編碼專家群（VCEG)之Ιτυ電信標準化 部門在2〇01年9月出版之文獻Vceg_n54來描述旧中之* 間預測器⑽的實例。在實施财，編碼ϋ提供被標記為〇 至8的用於4X4區塊之預測之9個空間模式，包括DC預測（模 2及8個方向性模式，如圖2所示。每一空間模式指定待 用於編碼相鄰像素之已經被編碼之像素集合，如圖3所說 二在旧中，自…之像素待編碼，且已經被編碼之像 素A至L用於預測像素&至p。若 將像素設定為等於像^選擇模式〇’則藉由 …藉由將像素b、二像=預測像素3、…及 Η★等等。_地；=像㈣預測像素 右選擇Hi，_由將像素 I30709.doc 200901774 a、b、c及d設定為等於像素〗來預測像素a、b、c及d，且藉 由將像素e、f、§及h設定為等於像素；來預測像素e、f、呂 及h，等等。因此，模式〇為垂直方向上之預測器；且模式 為水平方向上之預測器。編碼器經進一步描述於上述文 獻中，及由ISO/IEC MPEG及ITU-T VCEG之聯合視訊小組 在2002年2月出版的文獻JVT_B118r4中。 已注意到，當執行上文所描述之基於模式之空間預測

時，重建誤差可展現規則空間型樣。舉例而言，重建誤差 可在對應於用於預測之模式之方向上具有強相難。將需 要糟由減少重建誤差中之方向依賴性空間型樣來減少重建 誤差。 【發明内容】 本揭示案之一態樣提供一種用於編碼影像區塊之方法， 影像區塊包含像素值集合，該方法包含：基於相鄰像素來 選擇用於㈣影像區塊中之像素之空間模式；基於相鄰像 ，及選定空間模式來產生用於影像區塊之經預測區塊；計 算影像區塊與經預測區塊之間的預測誤差；基於選定空間 模式’選擇用於表示預測誤差之至少一變換函數；及使用 至少一變換函數來變換預測誤差以導出至少一變換係數。 本揭示案之另一態樣提供一種用於重建影像區塊之方 法，影像區塊包含像素值集合，該方法包含：基於相鄰像 素來接收用於制影像區塊中之像素之空間模式；基於空 間模式及相鄰像素來產生經預測區塊；基於空間模式，選 擇用於表示預測誤差之至少一變換函數；接收對應於至少 130709.doc 200901774 一變換函數之至少一變換係數；基於至少一變換函數及至 少一變換係數來產生預測誤差；及組合經預測區塊與預測 誤差以產生經重建區塊。 本揭不案之又一態樣提供一種用於編碼影像區塊之裝 置’影像區塊包含像素值集合，該裝置包含：空間預測 器，其用於基於相鄰像素來選擇用於預測影像區塊中之像 素之空間模式，空間預測器產生經預測區塊，經預測區塊 ，、景/像區塊之間的差包含預測誤差；及變換模組，其用於 使用至少-變換函數來變換預測誤差，變換模組產生對應 於至j -變換函數之至少一變換係數；變換模組基於空間 模式來選擇至少一變換函數。 本揭不案之又-態樣提供一種用於重建影像區塊之裝 f，影像區塊包含像素值集合，該裝置包含：逆空間_ 裔’其用於產生經預測區塊’逆空間預測器基於相鄰像素 來接收用於產生經預測區塊中之像素之空間模式；及逆變 換模組，其用於產生預測誤差，逆變換模組接收空間模式 及對應於至少-變換函數之至少一變換係數，逆變換模组 基^間模式來進_步選擇至少一變換函數；該裝置藉由 組合經預測區塊與預測誤差來重建影像區塊。 本揭示案之又一態樣提供-種用於編碼影像 置，影像區塊包含像素值集合，該裝置包含：用於基二 鄰像素來選擇用於產生經預測區塊之Μ 像區塊與經預測區塊之μ萁4人 飞之構件，衫 乂 間的差包含預測誤差；及用於你田 至少-變換函數而將預測誤差變換 夕 嫒換係數之構 130709.doc 200901774 件’至少一變換函數係基於空間模式來選擇。 [實施方式】 本文中所揭示的為用於描 勺用於k供用於表示預測誤差 賴性變換函數的技術。 偶&依 在實施例中’變換模組將來自空間預測器之 影至基於空間模式所撰摆夕找认 ^ 、飞所璉擇之變換函數上。變換 用於每一空間模式之唯一镂施τ私在 j ^擇 τ主+ 飞之唯變換函數集合。舉例而言，可如 下表所示來特徵化模式依賴性變換函數：

集合 ^20,..., fxrn} fNll

:表1中’fxy表示對應於第y個空間模式之第χ個變換函 =本揭示•，由空間預測器所選擇之模式唯一地指定 用於表示與彼模式相關聯之預 ^ 0 貝员“吳差的特定變換函數集 口因此，僅需要將模式自編碼 ^ - 。唬傳送至解碼器以允 泎解碼咨恢復適當變換函數。 ψ ^ ,si , u 匕與圖1及圖1A所示之 只軛例相比，在編碼器與解碼器 送。 間不需要額外信號傳 注意，雖然表!展示將(N+1)個 施例’但經指派給每—模式之 ：-母-模式之， 敌之數目不需要為相同 130709.doc 200901774 的。舉例而言，在實施例中，模式〇可具有（N+1)個經指派 變換函數，而模式1可具有N個經指派變換函數，模式2可 具有（N-1)個經指派變換函數，等等。

圖4#田缯根據本揭示案之編瑪器之實施例。圖*中之經編 號元件對應於圖1中經類似地編號之元件。除了將由空間 預測器102所選擇之空間模式1〇1提供至經修改變換模組 408以外，圖4中之編碼器之操作類似於圖丨中之編碼器之 操作。根據本揭示案，空間模式1〇1向變換模組4〇8指示將 使用哪一變換函數集合來變換預測誤差1〇6。 圖5描繪根據本揭示案之解碼器之實施例。經量化係數 500及空間模式502自編碼器經信號傳送至解碼器。在給定 係數500及空間模式5〇2之情況下，逆變換模组遍重建預 測誤差505。逆變換模組5〇4具有對對應於每一模式之變換 函數集合的先驗認識，且因此，在給定模式5〇4之情況 下，其可產生對應於係數500之適當變換函數。 模式5 0 2亦提供至逆空間預測器駕，逆空間預測器$ 〇 6 導出經預測區塊507。#由加法器5〇8來組合經預測區塊 5〇7與預測誤差505以產生經重建視訊區塊51〇。 注意’本揭示案之態樣不需要限於模式至變換函數之任 何特定映射。在實施例中’可根據經驗來導出用於每一模 式之變換函數集合以最小化彼模式中所編碼之區塊的重建 誤差。舉例而言’可藉由採用適當大數目之"鄉”視訊區 ^且尋找最小化用於每-模式之㈣誤差之變換函㈣合 來導出用於每-模式之變換函數集合。舉例而言，可藉由 130709.doc 200901774 尋找用於表7^將在模式0中編碼之1 ο,〇〇〇個訓練區塊之預 ::差的取佳變換函數集合來確定用於模式0之變換函數 本口蔓換函數可基於Karhunen-Loeve變換（KLT)、離散 餘弦菱換（DCT)或此項技術中已知之任何其他變換。 基於本文中所描述之教示，應顯而易見的是，本文中所 ' 卩不之態樣可獨立於任何其他態樣而被實施，且可以各種 式來'且σ此等態樣中之兩者或兩者以上。本文中所描述 η 《技術可Μ硬體、軟體、韌體或其任何組合來實施。若以 硬體來實施，則可使用數位硬體、類比硬體或其組合來實 :/等技術^•以权體來實施，則可至少部分地藉由包括 儲存有 < 夕個指令或程式碼之電腦可讀媒體之電觸程式 產品來實現該等技術。 以實例而非限制之方式，該等電腦可讀媒體可包含 諸如，同步動態隨機存取記憶體（sdram)、唯讀記 隱體（ROM)、非揮發性隨機存取記憶體（NvRAM)、r⑽、 U =擦可程式化唯讀記憶體卿職）、可擦可程式化唯 厂口己隐體（EPROM)、快閃記憶體、cd_r〇m或其他光碟儲 ==儲存器或其他磁性儲存器設備，或可用於以指 ^貝’、、、。構之形式來載運或儲存所要 存取的任何其他有形媒體。 由⑽ =腦程式產品之電腦可讀媒體相„之指 IS腦執行，例如，由-或多個處理器執行，諸如_ ^固數位信號處理器（Dsp)、通用微處理器、Awe、 ’或其他等效積體或離散邏輯電路。 130709.doc 200901774 已描述許多態樣及實例。然而，對此等實例之 係可能的，且本文中所呈現之原理亦可適料其他能= 此等及其他態樣係在以下中請專利範圍之㈣内，… 【圖式簡單說明】 圖丨展不用於I模式之先前技術視訊編碼器的圖。 圖1A描繪用於丨模式之先前技術視訊解碼器。 圖2展示由視訊編碼專家群（VCEG)之ιτυ電信標準化部

門在200 1年9月出版之文獻VCEG_N54中所描述的空間模 式。 、 圖3說明使用空間模式之像素預測。 圖4描繪根據本揭示案之編碼器之實施例。 圖5描繪根據本揭示案之解碼器之實施例。 【主要元件符號說明】 100 視區塊/影像區塊 101 空間模式 102 空間預測器 103 經預測區塊 104 求和器 106 預測誤差 108 變換模組 110 變換係數 112 量化器 114 '經量化變換係數/經量化係數 408 變換模組 130709.doc -12- 200901774 500 經量化係數 502 空間模式 504 逆變換模組/模式 505 預測誤差 506 逆空間預測器 507 經預測區塊 508 加法器 510 經重建視訊區塊 1000 經量化係數 1002 空間模式 1003 預測誤差 1004 逆變換模組 1006 逆空間預測模組 1007 經預測區塊 1010 經重建區塊 130709.doc -13 -

Claims (1)

1. 200901774 十、申請專利範圍： L :種用於鳊碼-影像區塊之方法，該影像區塊包含一像 素值集合，該方法包含： 基於相鄰像素來選擇-用於預測該影像區 之空間模式； 常 少基於該等相鄰像素及該選定空間模式來產生一用於該 影像區塊之經預測區塊； 計算該影像區塊與該經預測區塊之間的一預測誤差； 基於該選定空間模式，選擇用於表示該預測誤差之至 少一變換函數；及 使用該至少一變換函數來變換該預測誤差以導出至少 一變換係數。 2.如π求項1之方法，該至少一變換函數包含複數個變換 函數。 3如π求項1之方法，其中用於一第一空間模式之一變換 函數集合不同於用於一第二空間模式之一變換函數集 合〇 4. 一種用於重建一影像區塊之方法，該影像區塊包含—像 素值集合，該方法包含： 基於相鄰像素來接收一用於預測該影像區塊中之像素 之空間模式； 基於該空間模式及該等相鄰像素來產生一經預測區 塊； 基於該空間模式，選擇用於表示預測誤差之至少一變 130709.doc 200901774 換函數； 變換係數； 變換係數來產生該 接收對應於該至少一變換函數之至少— 基於該至少一變換函數及該至少_ 預測誤差；及 以產生一經重建區 組合該經預測區塊與該預測誤差 空間模式之一變換 間模式之一變換函數集 5.如請求項4之方法，其中用於—第 函數集合不同於用於一第二空 合0 6. 一種用於編碼一影像區塊之褒置， 素值集合，該裝置包含： —空間預測器，其用於基於相 該影像區塊包含一像 ，P，| ^ 鄰像素來選擇一用於預 測該衫像區塊中之像素之空間模 __ ^供式，该空間預測器產生 二、!預測區塊，該經預測區塊與該影像區塊 含—預測誤差；及 ^ 、|1換模組，其用於使用至少—變換函數來變換該預 測5吳差，該變換模組產生對應於該至少 少-變換係數； 數之至 5亥變換模組基於該空間模 < 來選擇該至少—變 數。 、幽 ::求項6之裝置’其中用於一第一空間模式 函數集支換 合。口不同於用於一第二空間模式之一變換函數集 該裝置為一積體電路 8. 如清求jg 員6之裴置，其中 130709.doc 200901774 9·=請求項6之裝置，其中該裝置為—無線手機。 10.種用於重建一影像區塊之裝置，該影像區塊包含〆像 素值集合’該裝置包含： 逆工間預測态，其用於產生-經預測區塊，該逆空 間預測器基於相鄰像素來接收1於產生該經預測區塊 中之像素之空間模式；及 Ο K..J 、处換杈組’其用於產生-預測誤差，該逆變換模 組接收該空間模式及對應於至少—變換函數之至少一變 換係數，該逆變換模組基於該空間模式來進一步選擇該 至少—變換函數； 置藉由合該經預測區塊與該預測誤差建該 影像區塊。 11.如請求項10之裝置，直 函數集合不同於用二：弟一空間模式之一變換 合。 用於—苐二空間模式之一變換函數集 :;· 項10之裝置，其中該裝置為-積體電路。 二、、項1G之I置，其中該裝置為-無線手機。 14. 一種用於編碼— 素值集合，該裝置包含裝置，該影像區塊包含一像 於相鄰像素來選擇-用於產生-經預測區塊之 包含―：,構件，該影像區塊與該經預測區塊之間的差 已3 —預測誤差；及 用於使用至少—變換函 一變換俜赵夕姐 竹過預測块差變換成至少 、'構件’該至少一變換函數係基於該空間模 I30709.doc 200901774 式來選擇。 15. 如仴求項14之裝置，其中該裴置為一積體電路。 16. 如請求項14之裝置，其中該裝置為一無線手機。 17. -種用於編碼一影像區塊之電腦程式產品，該影像區塊 - 包含一像素值集合，該產品包含： . 電腦可讀媒體，其包含： 用於使-電腦基於相鄰像素來選擇一用於預測該影像 區塊中之像素之空間模式的程式碼； 用於使一電腦基於該等相鄰像素及該選定空間模式來 產生一用於該影像區塊之經預測區塊的程式碼； 用於使-電腦計算該影像區塊與該經預測區塊之間的 一預測誤差之程式碼； 用於使-電腦基於該選定空間模式來選擇用於表示該 預測誤差之至少一變換函數的程式碼；及 用於使一電腦使用該至少一變換函數來變換該預測誤 (j 差以導出至少一變換係數之程式碼。 18. -種用於重建-影像區塊之電腦程式產品，該影像區塊 包含一像素值集合，該產品包含： 電腦可讀媒體，其包含： m電腦基於相鄰像素來接收_用於預測該影像 區塊中之像素之空間模式的程式碼； 用於使-電腦基於該空間模式及該等相鄰像素來產生 一經預測區塊之程式碼； 用於使-電腦基於該空間模式來選擇用於表示預測誤 130709.doc 200901774 差之至少一變換函數的程式碼； 用於使一電腦接收對應於該至 ^ 一變換函數之至少一 變換係數的程式碼； y 用於使一電腦基於該至少—轡 換函數及該至少一變換 係數來產生該預測誤差之程式碼；及 用於使一t腦組合該經預測區塊與該預測誤差以產生 一經重建區塊之程式碼。 (

   130709.doc