TW201127066A - Image-processing device and method - Google Patents

Description

201127066 六、發明說明： 【發明所屬之技術領域】 本發明係關於-種圖像處理裴置及方法，尤其係關於一 種可抑制伴隨二次預測之預測效率之下降的圖像處理裝置 及方法。 【先前技術】 近年來，將圖像資訊作為數位進行處理，此時，以高效 率之資訊之傳輸、儲存為目的，利用圖像資訊特有之冗餘 性，採用藉由離散餘弦變換等正交變換與移動補償進行壓 縮之編碼方式對圖像進行壓縮編碼之裝置得到不斷普及。 該編碼方式例如有MPEG(Moving Picture Experts Gr〇up， 動畫專家群）等。 尤其，MPEG2(刪IEC蘭8_2)被定義為通用圖像編碼 方式，其係包羅交錯掃描圖像及依序掃描圖像兩者、以及 標準解析度圖像及高精細圖像之標準。例如，MPEG]目前 正廣泛地適用於專業用途及消費型用途之廣泛用途。藉由 使用MPEG2壓縮方式，若為例如具有72〇χ48〇像素之標準 解析度之交錯掃描圖像，則分配4至8 Mbps之碼量（位元 率）。又’藉由使用MPEG2壓縮方式，若為例如具有 1920x1088像素之高解析度之交錯掃描圖像，則分配a至 22 Mbps之碼量（位元率）。藉此，可實現較高之壓縮率及 良好之晝質。 MPEG2主要係以適合於播放用之高畫質編碼為對象，作 其並不對應於較MPEG1更低之碼量（位元率），卽兩^_ 1尺尚麼縮 145450.doc 201127066 率之編碼方式。可想到隨著移動終端之普及’今後此種編 碼方式之需求將高涨，對應於此’已進行了 MPEG4編碼方 式之標準化。關於圖像編瑪方式’於19 9 8年12月’ s亥規格 作為ISO/IEC 14496-2被承認為國際標準。 進而，近年來，以當初電視會議用之圖像編碼為目的’ 正在推進H.26L(ITU-T Q6/16 VCEG)這一標準之規格化。 眾所周知，H.26L雖與MPEG2或MPEG4之類的先前之編碼 方式相比，其編碼、解碼要求更多之運算量’但可實現更 高之編碼效率。又，目前，作為MPEG4之移動之一環，以 該H.26L為基礎，亦導入H.26L中無法支持之功能以實現更 高之編碼效率的標準化作為Joint Model of Enhanced-Compression Video Coding(增強壓縮視頻編碼之聯合開發 模式）正在進行。作為標準化之排程，於2003年3月已變為 H.264 及 MPEG-4 PartlO(Advanced Video Coding(先進視頻 編碼），以下記作H.264/AVC)這一國際標準。 進而，作為其之擴展，亦包括RGB(Red/Green/Blue，紅/ 綠/藍）或4 : 2 : 2、4 : 4 : 4之類的商業用所必需之編碼工 具、或者由 MPEG-2 所規定之 8x8DCT(Discrete Cosine Transform，離散餘弦變換）或量化矩陣之FRExt(Fidelity Range Extension，保真度範圍擴展）的標準化已於2005年2 月完成。藉此，使用H.264/AVC，成為可使電影中所包含 之影片雜訊亦良好地表現之編碼方式，而逐步用於Blu-Ray Disc(商標）等廣泛之用途。 然而，最近，欲壓縮高畫質圖像之4倍之4000x2000像素 145450.doc 201127066 左右的圖像這一對於更高壓縮率編碼之需求高漲》或者， 欲於如網際網路之有限之傳輸容量的環境中傳送高晝質圖 像這一對於更高壓縮率編碼之需求高漲。因此，於上述之 ITU-T(International Telecommunications Union-Telecommunication Standards Sector，國際電訊聯盟電訊標準組）旗下之VCEG (=Video Coding Expert Group，視頻編碼專家群）中，繼續 研究關於編碼效率之改善。 例如，於MPEG2方式中’利用線性内插處理進行1/2像 素精度之移動預測·補償處理。另一方面，於H.264/AVC方 式中’進行使用6個分接頭之FIR濾、波器（Finite Impulse Response Filter，有限脈衝響應濾波器）之1/4像素精度的預 測·補償處理。 即，於H.264/AVC方式中’藉由6個分接頭之fir進行1/2 像素精度之内插處理，藉由線性内插進行1 /4像素精度之 内插處理。 針對該1/4像素精度之預測·補償處理，近年來，正研究 進一步提昇H.264/AVC方式之效率。作為以此為目的之編 碼方式之一’於非專利文獻1中，提出有1/8像素精度之移 動預測。 即，於非專利文獻1中，1 /2像素精度之内插處理係藉由 濾波器[-3，12，-39，158，158，-39，12，-3]/256 進行。又，1/4像 素精度之内插處理係藉由渡波器[-3,12，-37,229,71，-21，6, -1]/256進行，1/8像素精度之内插處理係藉由線性内插進 行0 145450.doc 201127066 如此’藉由進行利用更高像素精度之内插處理之移動預 測，尤其於具有解析度較高之紋理，且相對緩慢之移動之 序列中’可提昇預測精度，並可實現編碼效率之提昇。 然而’又’於非專利文獻2中，提出有—種於框間預測 中進-步提昇編碼效率之二次制方t其次，參考圖^ 對該二次預測方式進行說明。 於圖1之例中，表示有對象圖框與參考圖框，於對象圖 框中，表示有對象區塊A。 旦當於參考圖框與對象圖框中針對對象區塊A求出移動向 里mv(mv_x，mv_y)時，計算出對象區塊A與以移動向量⑽ 而對應於對象區塊A之區塊的差分資訊（殘差）。 於二次預測方式中，不僅計算出關於對象區塊A之差分 資訊’而且亦計算出鄰接於對象區塊八之鄰接像素群⑽ 以移動向量mv而對應於鄰接像素群R之鄰接像素群ri的差 分資訊。 即，根據對象區塊A之左上方之座標（x，y)求出鄰接像素 群R之各座標。又，根據以移動向量mv而對應於對象區塊 A之區塊之左上方的座標（x+mv_x，y+mv_y)求出鄰接像素 群R1之各座標。藉由該等座標值計算出鄰接像素群之差分 資訊。 於二次預測方式中，在以上述方式所計算出之關於對象 區塊之差分資訊與關於鄰接像素之差分資訊之間，進行 H.264/AVC方式中之框内預測，藉此生成二次差分資訊。 對所生成之二次差分資訊進行正交變換、量化，並將其血 145450.doc 201127066 壓縮圖像一併進行編碼，然後傳送至解碼側。 [先前技術文獻] [非專利文獻] [非專利文獻 1] 「Motion compensated prediction with l/8-peldisplacementvectorresolution」，VCEG-AD09，ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 23-27 Oct 2006 [非專利文獻 2]「Second Order Predi.ction (SOP) in P Slice」，Sijia Chen , JinpengWang，Shangwen Li and, Lu Yu ,VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 16-18 July 2008 【發明内容】 [發明所欲解決之問題] 然而，於參考圖1適用上述二次預測方法之情形時，若 移動向量資訊具有小數像素精度，則亦對鄰接像素群之像 素值實施線性内插。因此，關於二次預測之精度下降。 本發明係鑒於此種情況而完成者，其係抑制伴隨二次預 測之預測效率之下降者。 [解決問題之技術手段] 本發明之第1態樣之圖像處理裝置包括：二次預測機 構，其係於對象圖框中之對象區塊之移動向量資訊之精度 為整數像素精度之情形時，在下述2個差分資訊之間進行 145450.doc 201127066 4預測處理並生成二次差分資訊，該2個差分 上述對象區塊與參考圖框中藉由上述移動向量資訊而心 於上述對象區塊之參考區塊的差分fm、及鄰接於上 象區塊之對象鄰接像素與鄰接於上述參考區塊之參 像素的差分資訊，·以及編碼機構，其係對藉由上述二 測機構所生成之上述二次差分資訊進行編碼。 人預 該圖像處理裝置進而包括編碼效率判定機構 上述對象圖像差分資訊之編碼與藉由上述二次預測機^ 生成之上述二次差分資訊之編碼中何者之編碼效率較佳· 上述編碼機構係僅於藉由上述編碼效率判定機構判定為上 述二次差分資訊之編碼之編碼效率較佳之情形時， 由上述二次預測機構所生成之二次差分資訊、與表示進行 上述二次預測處理之二次預測旗標進行編碼。 上述二次預測機構可於上述對象區塊之移動向量資訊之 垂直方向之精度為小數像素精度之情形、且上述二次 處理中之框内預測模式為垂直預測模式之情形時，進行1 述二次預測處理。 上述二次預測機構可於上述對象區塊之移動向量資訊之 水平方向之精度為小數像㈣度之情形、且上述二次預測 處理中之框内預測模式為水平預測模式之情形時， 述二次預測處理。

上述二次預測機構可於上述對象區塊之移動向量資訊之 垂直方向及水平方向的至少一者之精度為小數像素精度之 情形、且上述二次預測處理中之樞内預測模式為DC 145450.doc 201127066 (Direct Current，直流）預測模式時，進行上述二次預測處 理。 上述二次預測機構可包括：鄰接像素預測機構，其係使 用上述對象鄰接像素與上述參考鄰接像素之差分資訊進行 預測，並生成相對於上述對象區塊之框内預測圖像；以及 二次差分生成機構，其係將上述對象區塊與上述參考區塊 之差分資訊、與藉由上述鄰接像素預測機構所生成之上述 框内預測圖像進行差分，生成上述二次差分資訊。 本發明之第1態樣之圖像處理方法係包括下述步驟：由 圖像處理裝置於對象圖框中之對象區塊之移動向量資訊之 精度為整數像素精度之情形時，在下述2個差分資訊之間 進行二次預測處理並生成二次差分資訊，該2個差分資二 係指上述對象區塊與參考圖框中藉由上述移動向量資訊而 對應於上述對象區塊之參考區塊的差分資訊、及鄰接於上 述對象區塊之對象鄰接像素與鄰接於上述參考區塊之參考 鄰接像素的分貧訊，且對藉由上述二次預測處理所生成 之上述二次差分資訊進行編碼。 本發明之第2態樣之圖像處理裝置包括：解碼機構，其 係對經編碼之對象圖框中之對象區塊的圖像、與參考圖框 中針對上述對象區塊所檢測出之移動向量資訊進行解碼； 人預測機構’其係於藉由上述解碼機構而解碼之上述移 動向量資。fl為整數像素精度之情料，使帛鄰接於上述 象區塊之對象鄰接像素、與鄰接於上述參考圖框中藉由上 述移動向量資訊而對應於上述對象區塊之參考區塊:參考 145450.doc 201127066 鄰接像素的差分資訊進行二次預測處理，並生成預測圖 像，以及運算機構，其係將上述對象區塊之圖像、藉由上 述二次預測機構所生成之上述預測圖像、及根據上述移動 向量資訊所求出之上述參考區塊之圖像相加，生成上述對 象區塊之解碼圖像。 上述二次預測機構可獲取藉由上述解碼機構予以解碼之 表不進仃上述二次預測處理之二次預測旗標，並根據上述 二次預測旗標進行上述二次預測處理。 上述二次預測機構可於上述對象區塊之 垂直方向之精度為小數像素精度之情形、且藉由 機構而解媽之上述二次預測處理中之框内預測模式為垂直 預測模式之情形時，根據上述二次預測旗標進行上述二次 預測處理。 上述二次預測機構可於上述對象區塊之移動向量資訊之 =方向之精度為小數像素精度之情形、且藉由上述解碼 機構而解碼之上述二次預測處理中之框内預測模式為水平 式之情形時，根據上述二次預測旗標進行上述 預測處理 上述二次預測機構可於上述對 <町豕h塊之移動向量資 垂直方向及水平方向的至少一者之 精度為小數像素精度 渭形、且精由上述解碼機構而解 .,Γ ^ 胛馬之上述二次預測處理 之框内預測模式為DC預測模式 ^ >β, ^ 〜h形時，根據上述二 預测旗標進行上述二次預測處理。 本發明之第2態樣之圖像處理方 万去係包括下述步驟： 145450.doc 201127066 圖像處理裝置對經編碼之對㈣框中之對象區塊之圖像、 與參考圖框巾針對上述對象區塊所檢測出之移動向量資訊 進行解碼，於經解碼之上述移動向量f訊為整數像素精度 之情形時，錢鄰接於上述對象區塊之對象鄰接像素、與 鄰接於上述參考圖框中藉由上述移動向量f訊而對應於上 述對象區塊之參考區塊之參考鄰接像素的差分資訊進行二 次預測處理’並生成預測圖像，且將上述對象區塊之圖 像、所生成之上述預測圖像、及根據上述移動向量資訊所 求出之上述參考區塊之圖像相加，生成上述對㈣塊之解 碼圖像。 於本發明之第W樣中，於對㈣框中之對象區塊之移 動向量資訊之精度為整數像素精度之情形時，在下述2個 差分資訊之間進行二次預測處理並生成二次差分資訊，該 2個差分資訊係指上述對象區塊與參考圖框中藉由上述移 動向量資訊而對應於上述對象區塊之參考區塊的差分資 訊、及鄰接於上述對象區塊之對象鄰接像素與鄰接於上述 參考區塊之參考鄰接像素的差分資訊。而且，對藉由上述 二次預測處理所生成之上述二次訊進行編碼p 於本發明之第2態樣中，對經編碼之對象圖框中之對象 區塊之圖像、與參考圖框中針對上述對象區塊所檢測出之 移動向量資訊進行解碼，於經解碼之上述移動向量資訊為 整數像素精度之情料，❹鄰接於上述對象區塊之對象 鄰接像素、與鄰接於上述參考圖檀中藉由上述移動向量資 訊而對應於上述對象區塊之參考區塊之參考鄰接像素的差 145450.doc 201127066 分資訊進行二次預測處理，生成預測圖像。而且，將上述 對象區塊之圖像、所生成之上述預測圖像、與根據上述移 動向量資訊所求出之上述參考區塊之圖像相加，生成上述 對象區塊之解碼圖像。 ' 再者，上述圖像處理裝置之各個可為獨立之裝置，亦可 為構成1個圖像編碼裝置或圖像解碼裝置之内部區塊。 [發明之效果] 根據本發明之第1態樣，可對圖像進行編碼。又，根據 本發明之第1態樣，可抑制伴隨二次預測之預測效率之下 降。 根據本發明之第2態樣，可對圖像進行解碼。又，根據 本發明之第2態樣，可抑制伴隨二次預測之預測效率之下 降。 【實施方式】 以下，參考圖對本發明之實施形態進行說明。 [圖像編碼裝置之構成例] 圖2表不作為適用本發明之圖像處理裝置之圖像編碼裝 置之一實施形態的構成。 該圖像編碼裝置51藉由例如以η.264及MPEG-4 PartlO (Advanced Video Coding)(以下記作H.264/AVC)方式對圖像 進行壓縮編碼。 於圖2之例中’圖像編碼裝置5丨包括：a/D (Analog/ Digital ’類比/數位）變換部61、晝面重排緩衝器62、運算 部63、正交變換部64、量化部65、可逆編碼部66、儲存緩 145450.doc 201127066 衝器67逆里化部68、逆正交變換部69、運算部70、解塊 濾波器71、圖框記憶體72、交換器”、框内預測部74、移 動預測，補償部75、二次預測部76、移動向量精度判定部 77、預測圖像選擇部78、以及碼率控制部乃。 A/D變換部61對所輸入之圖像進行A/D變換，並輸出至 旦面重排緩衝器62中加以儲存。晝面重排緩衝器以將所儲 子肩不之順序之圖框的圖像對應於G〇P(Group 〇f Picture ’晝面群)重排成用於編碼之圖框之順序。 算P 63使自畫面重排緩衝器62所讀出之圖像減去藉由 預測圓像轉部78所選擇之來自㈣㈣部74之預測圓像 H自移動預測/補償部75之預測圖像，並將所獲取之差 :貝。K輸出至正交變換部64中。正交變換部64對來自運算 I! 63 ^差分#訊實施離散餘弦變換、K-L(Kar>h_n-L〇eVe) 文換等正交變換，並輸出其變換係、數。量化部65將正交變 換部“所輪出之變換係數量化。 ^ 、,'、里化。p 65之輸出之經量化的變換係數被輸入至可这 ，於其中對其實施可變長度編碼、算術編碼筹 可逆編碼且進行壓縮。 可：編碼部66自框内預測部肩取表示框内預測之資 ;等自移動預測/補償部75獲取表示框間預測模式之資 Λ寺。再者，矣一 、、貝 义不匡内預測之資訊及表示框間預測之資訊 可^別稱為框内預測模式f訊及框間預測模式資訊: 、瑪部66對經量化之變換係數進行編 不框内預測之資訊、矣_ α I且對表 表不框間預測之資訊等進行編碼並 J45450.doc 201127066 作為壓縮圖像中之標頭資訊之一却八 7 貝凡之部分。可逆編碼部66將經 編碼之資料供給至儲存緩衝器67中加以儲存。 例如，於可逆編碼部66中進行可變長度編碼或者算術編 碼等可逆編碼處理。作為可變長度編碼，可列舉由 HWVC方式所規定之㈣敲 Μ"18 ’文絡適應性可變長度編碼）等。作為算術 編碼，可列舉 CABAC(C〇ntext_Adaptive 繞牆

Coding,文絡適應性二進位算數編碼）等。 儲存緩衝器67將自可逆编旗> ^ & μ 迚、，扁碼邛66所供給之資料作為以 Η· 264·/AVC方式編碼之壓编圖後 认| 一 堅縮圖像，輸出至例如後段之未圖 示之記錄裝置或傳輸路徑等。 又’自量化部65輸出之經量化 變換係數亦被輸入至逆 量化部68中，經逆量化德、隹 更進而於逆正交變換部69中予以 逆正交變換。經逆正交 ^父文換之輸出藉由運算部70而與自預 測圖像選擇部78所供給之預训_括 心預測圖像相加，成為局部經解碼 之圖像。解塊遽波器71去除經解满#国 解碼之圖像之區塊雜訊後， 將其供給至圖框記憶體72中力σ以紗+ ‘ 力以錯存。亦對圖框記憶體72 .供給藉由解塊濾波器71予以解 鮮*尾，慮波益處理之前之圖像， 並加以儲存。 父換器73將圖框記憶體72中所#六七办| 瓶ζ〒所儲存之參考圖像輸出至移 動預測/補償部75或框内預測部74。 於该圖像編碼裝置51中，例如將 J戈將耒自畫面重排緩衝器62 旦面以及Ρ畫面作為進行框内預測（亦稱為框内 處理）之圖像而供給至框内預測部又，將自畫面重排 145450.doc 14 201127066 緩衝器62所讀出晝面以及” 稱為框間處理）之圖像而供給至移動預 門預測（亦 框内預測部74根據自畫面重排緩衝㈣所讀出之所要進 行框内預測之圖像與自圖框記憶體”所二=要進 進行成為候補之所有框内預測模式二=圖像’ 成預測圖像》 員測處理，而生 此時，框内預測部74針對成為 計算出成本函數值，並選擇所計算==預測模式 值之框内預測模式作為最佳框内預測模式。1值為最小 框内預測部74將由最佳框内預測模 及其成本函數值供給至預測圖像選擇生2預測圖像

於藉由預_象選擇㈣而選取由:二=:部N 成之預測圖像之情形時 制模式所生 供給至可逆編妈邻66 佳框内預測模式之資訊 並將-作:=編喝部Μ對該資訊進行編媽， 將其作為壓縮圖像中之標頭資訊之一部分。 移動預測/補償部75進行成為候 之移動預測/補償處理。即，對移動^間預測模式 晝面重排㈣哭< ^多動預測/補償部75供給自 ==㈣㈣所讀出之所要進行框間處理之圖像，： 交換器73自圖框記憶體72供給參考 且 補償部75根據所要進行框間處理預测/ 成為候補之所有框間預測模式之移動：考圖像’檢测 對參考圖像實施補償處理，而生成預測圖像。向 移動預測/補償部75將所檢測 框間處理之圖像之資訊(位址等)、以二…、進行 ’以及進行框間處理之圖 145450.doc 15- 201127066 像與所生成之預測圖像之差分即一次殘差供給至二次預挪 部％。又’移動預測/補償部75亦將所檢測出之移動向量 貧訊供給至移動向量精度判定部77。 二次預測部7 6根據來自移動預測/補償部7 $之移動 ^與進行框間處理之圖像之資訊，自圖框記憶體72讀出 妾於進仃框間處理之對象之對象區塊的對象鄰接像素。 =二次預測部76自圖框記憶體72讀出鄰接於藉由移動向 里資说而對應於對象區塊之參考區塊之參考鄰接像素。 :二次預測部76根據參考鄰接判定部77之判定結果進行二 人預测處理。此處，所謂二次預測處理係指於-次殘差、 以及對象鄰接像素與參考鄰接 生成二次差分資訊(二次:差=差 由—-人預測處理所生成之二次殘差 曰 部75中。 突差輸出至移動預測/補償 ’—:人制部76亦於參考鄰㈣W77之判定 ::與：次預測之框内預測模式的種類為特定之組合之： 魅次預測處理而生成二次殘差，並將其輸出至 移動預測/補償部75中。 八 :動向量精度判定部77判定來自移動 移動向量資訊之精度是整數料75之 並將。亥判定結果供給至二次預測部76。 物員測/補償部75對來自二次預測部76 仃比較，旅、4> — L 人殘差進 又，移勒 ：人預測中之最佳之框内預測模式。 移動預測/補償部75對二次殘差與 較，藉此決宝a不V- _ 走進订比 、疋進仃二次預測處理（即，是對二次殘差 145450.doc 201127066 進行編碼還是對-次殘差進行編碼）。再者，該等處理係 針對成為候補之所有框間預測模式 進行。 而且，移動預測/補償部75針對成為候補之所有框間預 剩模式計算出成本函數值。此時，使用—次殘差及二次殘 差中的於每個框間預測模式中所決^之殘差計算出成本函 ，值。移動預測/補償部75將所計算出之成本函數值中之 提供取小值之預測模式決定為最佳框間預測模式。 移動預測/補償部75將由最佳框間預測模式所生成之預 測圖像（或進行框間處理之圖像與二次殘差之差分）、及其 成本函數值供給至預測圖像選擇部78。移動預測/補償部 75於藉由預測圖像選擇部”而選取由最佳框間預測模式所 生成之預測圖像之情形時，將表示最佳框間預測模式之資 訊輪出至可逆編碼部66中。 此時，亦將移動向量資訊、參考圖框資訊、表示進行二 -人預測之二次預測旗標、以及二次預測中之框内預測模式 之資訊等輸出至可逆編碼部66中。可逆編碼部66依然對來 自移動預測/補償部75之資訊進行可變長度編碼、算術編 碼之類的可逆編碼處理，並將其插入至壓縮圖像之標頭部 中。 。 預測圖像選擇部78根據自框内預測部74或移動預測/補 償邛75所輸出之各成本函數值，自最佳框内預測模式與最 佳=間預測模式中決定最佳預測模式。然後’預測圖像選 擇部78選擇所決定之最佳預測模式之預測圖像並將其供 給至運算部63、70 ^此時，預測圖像選擇部78將預測圖像 145450.doc 17 201127066 之選擇資訊供給至框内預測部74或移動預測/補償部75。 碼率控制部79根據儲存緩衝器67φ化μ丄 γ所儲存之壓縮圖像， 控制量化部65之量化動作之碼率，，、，„ ^ 从防止產生溢位或下 溢。 [H.264/AVC方式之說明] 圖3係表示Η.264/AVC方式中之敕說μ <移動預測.補償之區塊尺 寸之例的圖。於H.264/AVC方式中，社广 、γ ’使區塊尺寸可變而進 行移動預測.補償。 於圖3之上段中，自左侧起依庠矣_ 々斤表不有分割成16x16像 素、16x8像素、8x16像素、以及8χ8傻 1冢素之分區的由16x16 像素構成的巨集區塊。又，於圖3之 '固J之下段中，自左侧起依 序表示有分割成8x8像素、8x4像辛、4xs你主 Ώ 东4 X 8像素、以及4 X 4像 素之子分區的8x8像素的分區。 即，於H.264/AVC方式中，可將】袖仁在广 j將1個巨集區塊分割成 16χ16像素、16χ8像素、8x16像素、以及8χ8像素中之任一 分區，且具有分別獨立之移動向量資訊。又，可將8χ8像 素之分區分割成8x8像素、8χ4像素、4χ8像素、以及私4像 素之任一子分區，且具有分別獨立之移動向量資訊。 圖4係說明H.264/AVC方式中之1/4像素精度之預測·補償 處理之圖。於H.264/AVC方式中，進行使用6個分接頭之 FIR濾波器（Finite Impulse Response叫…^之以4像素精度 之預測.補償處理。 & 於圖4之例中，位置a表示整數精度像素之位置，位置 b、c、d表示1/2像素精度之位置，位置el、& “表示1/4 145450.doc 18· 201127066 像素精度之位置。首先，以下將Clip()如下式（1)般定義β [數1]

Clipl(a) = 0;if(a <0) a; otherwise "(1) max一pix;if(a > max一pix) max_pix 之值 再者，於輸入圖像為8位元精度之情形時 成為255。 位置b及d中之像素值係使用6個分接頭之FIR濾波器，如 下式（2)般生成。 [數2] F = Α_2 -5·Α_, +20·Αο +20·Α, -5·Α2+Α3 M = Clipl((F + 16)»5) …⑵ 位置c中之像素值係於水平方向及垂直方向上應用6個分 接頭之FIR濾波器，如下式（3)般生成。 [數3] = ^-2 ~ 5 · 6_, + 20 · 60 + 20 · - 5 · &2 + 或者 ^ = ^-2 - 5 · ^, + 20 · c?0 + 20 · c?, - 5 · c/2 + 〇?3 c = C/z>l((F + 512)»l〇) …(3) 再者，Clip處理係於進行水平方向之積和處理及垂直方 向之積和處理兩者後，最後僅執行一次。 位置e 1至e3係如下式（4)般藉由線性内插而生成。 [數4] ei = (A + b +1) »1 e2 =(b + d + l)»l e3 =(b + c + l)»l …⑷ 145450.doc •19· 201127066 圖5係說明H.264/AVC方式中之多參考圖框之預測.補償 處理的圖。於H.264/AVC方式中，規定多參考圖框（Muhi_ Reference Frame)之移動預測.補償方式。 於圖5之例中，表示有即將被編碼之對象圖框Fn與已完 成編碼之圖框Fn-5、…、Fn-Ι。圖框Fn-Ι係時間軸上對象 圖框Fn之1個之前之圖框，圖框Fn_2係時間軸上對象圖框 Fn之2個之前之圖框，圖框Fn-3係對象圖框Fn之3個之前之 圖框。又，圖框Fn-4係對象圖框ρη之4個之前之圖框，圖 框F η - 5係對象圖框F η之5個之前之圖框。一般而言，相對 於對象圖框Fn於時間軸上越接近之圖框，附加越小之參考 晝面編號（ref_id)。即，圖框Fn-丨之參考畫面編號最小，以 下’參考晝面編？虎以Fn-2、…、Fn-5之順序變大。 於對象圖框Fn中表示有區塊A1與區塊A2，區塊A1係與 對象圖框Fn之2個之前之圖框ρη_2之區塊ΑΓ相關，搜索移 動向量VI。又’區塊A2係與對象圖框Fn之4個之前之圖框 Fn-4之區塊ΑΓ相關，搜索移動向量v2。 如上述般，於H.264/AVC方式中，可先將複數之參考圖 框儲存於記憶體中，然後於1張圖框（畫面）中參考不同之參 考圖框。即’例如’如區塊A1參考圖框Fn-2，區塊A2參 考圖框Fn-4般’可於1張畫面中具有於每個區塊中分別獨 立之參考圖框資訊（參考畫面編號（ref_id))。 此處’區塊係參考圖3表示上述16><16像素、16x8像素、 8χ16像素、以及8x8像素之分區之任一者。8x8子區塊内之 參考圖框必需相同。 H5450.doc -20- 201127066 於H.264/AVC方式中，藉由i土阳 參考圖3至圖5進行上述移動 預測·補償處理而生成龐大之移叙 Θ ^ 、移動向量資訊，並直接對其 進行編碼會導致編碼效率之~ρ政 卜降。相對於此，於Η.264/ AV C方式中’藉由圖6所示之方、土二— 万法而貫現移動向量之編碼 資訊之減少。 圖6係對H.264/AVC方式之移動向量資訊之生成方法進行 說明的圖。 於圖6之例中，表示有即將祐絶 竹被編碼之對象區塊E(例如， 16x16像素）與已完成編碼且鄰拯 ’按於對象區塊E之區塊A至 D。 即’區塊D係鄰接於對象區塊E之左上方，區塊b係鄰接 於對象區塊E之上方，區塊C係鄰接於對象區塊e之右上 方，區塊A係鄰接於對象區塊E之左側。再者，區塊八至〇 未被區分係分別表示圖3中上述16x 16像素至4χ4像素中之 任一構成之區塊。 例如，以mvx表示相對於Χ(=Α、Β、c、D、幻之移動向 量資訊。首先，相對於對象區塊Ε之預測移動向量資訊 使用關於區塊a、b、C之移動向量資訊，藉由中值 預測而如下式（5)般生成。 pmvE=med(mvA,mvBsmvc) …(5) 關於區塊C之移動向量資訊，有由於為晝框之端部或尚 未被編碼等理由而無法利用（unavailable)之情形。於此情 形時，關於區塊C之移動向量資訊係由關於區塊D之移動 向量資訊代用。 145450.doc 21 201127066 作為相對於對象區塊E之移動向量資訊之附加於壓縮圖 像之仏頭部的資料mvdE係使用pmvE，如下式（6)般而生 成。 mvdE=mvE-pmvE ⑻ 再者，實際上，對移動向量資訊之水平方向、垂直方向 之各個成分獨立地進行處理。 如此，生成預測移動向量資訊，並將由與鄰接之區塊之 相關性所生成之預測移動向量資訊與移動向量資訊的差分 即資料mvd附加於壓縮圖像之標頭部，藉此可減少移動向 量資訊。 -次預測部之構成例] 圖係表示—··人預測部之詳細之構成例的方塊圖。 81 84 ;圖之例中，—次預測部76包括：—次殘差緩衝蒙 、二次殘差生成部82、鄰接像素預測部83、以及交換署 •人坟i緩衝器8 1儲存來自移動預測/補償部乃之全 框間處理之圖像與所生成之預測圖像之差分即—次殘差 二次殘差生成部82若自鄰接像素預測部83輪入差分^ 内預測圖像（即，殘差信號之預測圖像），則自—次2 : 衝器_出與其對應之__次殘差。：次殘差生成 一次殘差與殘差信號之預測圖像之差分即二次殘差，^ 所生成之二次殘差輸出至交換器84中。 、 於鄰接像素預測部83中，自移動預测/補償部75輸/ 檢測出之移動向量資訊、進行框間處理之圖像之資訊 145450.doc -22- 201127066 )。—鄰接像素預測部83根據來自移動預測/補償 動向量資訊與編媽對象之對象區塊之資訊（位址卜移 δ己憶體72讀出鄰接於對象區塊之對象鄰接像素。又"匡 像素預測部83自圖框記憶體72讀出鄰接於藉由：接 訊而對應”㈣塊之參相塊的參考里資 素預測部83使用對象鄰接像音| 、。鄰接像 文用對象鄰接像素與參考鄰接像素之 行關於對象區塊之㈣闕，生Μ分之框内圖/所2 I:框内圖像(殘差信號之預測圖像)被輪出至二次 殘差生成部82中。 交換n84於藉由移動向量精度敎部77判定 :測：㈣之移動向量資訊為整數像素精度之二 時’、_二次殘Μ成部82側之一端子’將來自二次殘差 生成部82之二次殘差輸出至移動預測/補償部75中。 另方面’交換器84於藉由移動向量精度判定部77判定 =來自移動預測/補償部75之移動向量資訊為小數像素精 度之情形時’選擇並非二次殘差生成部82側之另_端子， 且不進行任何輸出。 >如此’於圖7之二次預測部76中，於已判定移動向量資 。扎為小數像素精度之情形時，預測效率下降而不選擇二次 殘差’即’不進行二次預測。 再者’圖7之例之鄰接像素預測㈣中之進行框内預測 的電路可與框内預測部74之電路共用。 [由】數像素精度之移動向量所引起之預測效率之下降的 說明] 145450.doc •23· 201127066 其次，參考圖8及圖9，對二次預測之情形時之由小數像 素精度之移動向量所引起的預測效率之下降進行說明。 於圖8及圖9之例中’作為垂直預測（Verticai Predicti〇n) 之例，表示有由4x4像素所構成之對象區塊£與鄰接於對象 區塊E之上部之鄰接像素a、B、C、D。 針對對象區塊E選擇框内預測模式中之垂直預測模式係 為如下情形：鄰接像素A、B、C、d具有高頻成分，且亦 於對象區塊E中’纟箭頭Η所示之水平方向上包含高頻成 分。即，為保存該高頻成分而選擇垂直預測模式。其結 果’藉由垂直預測模式之框内預測，水平方向之高頻成分 得以保存，因此實現更高之預測效率。 热印，於移動向量 -V I个*研厌夂信形時，亦 可對鄰接像素収料值實施線性_。@，於進行非專 ::2中所記載之二次預測之情形時，於圖1所示之參考 圖框中，不僅對參考區塊實施丨/ 對其鄰接像素群亦實施1/4像辛精2 w插處理’ 去箭頭η所示之水平方ό之像^之内插處理，從而失 尺十方向之面頻成分。因此，產生失配， Ρ’於鄰接區塊中，在水平方 象區塊Ε中包含高頻成分，其結果，^頻成分’但於對 降。 導致預測效率之下 ^ ，於二次預 測部76中，僅於 整數像素精度之情形時進行二次/移動向量資訊為 差）。藉此，抑制伴隨二 及（即，選擇二次殘 又，於非專利文獻心=:起預測效率之下降。 載之方法之情形時’必需將 145450.doc -24- 201127066 關於在每個移動預測區塊中進行、不進行二次預測之旗標 與壓縮圖像-併傳送至解碼側。相對於此，根據圖2之圖 像編碼裝置，於移動向量資訊為小數像素精度之情形 時，無需將該旗標傳送至解碼側。因此，可達成更高之編 碼效率。 再者，於上述說明中，對根據移動向量資訊之精度進行 二次預測之例進行了說明，但如以下所說明般，亦可根據 移動向量資訊之精度與框内預測模式之種類之組合進行二 次預測。再者，關於4X4像素之框内預測模式之詳細情 況，藉由圖13及圖14而後述？ 如圖9所示，於水平方向之蒋叙 一 十门之移動向量資訊具有小數像素 2度之情形時’因箭頭Η所示之水平方向之内插處理而失 之水平方向的高頻成分。另—方面，於垂直方向之 1多^量資訊具有小數像《度之情料，於箭頭V所示 頻：向之内插處理中’不會失去像素之水平方向之高 mo:，由關於，預測模式（模式〇 :Pr—〇n 由於前頭Η所示之水平方向上需 水平方向上必需具有整數像素精度之移動旦刀因此 於此’即使箭頭v所示之垂直方向心：資訊。相對 移動向女^ 上，、為小數像素精度之 里貧汛，亦不會失去水平方向之 於垂直預測模式， ，成刀。即，關 動向量h ^方向上具有整數像素精度之移 度，亦可進」則即使垂直方向之移動向量為小數像素精 力J進仃二次預測。 145450.doc -25- 201127066 又，關於水平預測模式（模式1:hoΓizontaIpΓediction :=’ 由於箭❹ 所示之垂直方向上 需要高頻成分 ，因此 :向上必需具有整數像素精度之移動向量資訊。相對 動:旦即使前頭Η所示之水平方向具有小數像素精度之移 二里貢訊’亦不會失去垂直方向之高頻成分。即，關於 ^預測模式’只要垂直方向上具有整數像素精度之移動 :里育訊’料使水平方向之移動向量為小數像素精度， 亦可進行二次預測。 進而’關於DC預測模式（模式2: DC potion咖㈣， :測方法自身係求出鄰接像素值之平均值之預測方法，藉 :預測方法自身而失去鄰接像素所具有之高頻成分。因 _關於DC預測模式，即使箭頭H所 示之水平方向、及箭 頭v所示之垂宙太, * °至〉、一者的移動向量資訊為小數像 素精度，亦可進行二次預測。 [圖像編碼裝置之編碼處理之說明] ，考圖1 〇之流程圖，對圖2之圖像編碼裝置5丨之 編碼處理進行說明。 換；’、驟S 11巾A/D變換部61對所輸入之圖像進行A/D變 、於步驟⑴中，4面重排緩衝器62儲存自A/D變換部61 所供給之圖像，推） 订自各畫面自顯示順序向編碼順序之重 ^驟S13中’運算部63對步驟S12中所重排之圖像與預 ^圖像之差分進行運算。制圖像於進行框間㈣之情形 •係自移動預測’補償部75經由預測圖像選擇部78而供給 145450.doc -26- 201127066 至運算部63，於推各4 於進仃框内預測之情形時係自框 經由預測圖像選擇部78而供給至運算部心 差分資料與原來之圖像資料相比資料量變小。因此，與 對圖像直接進行編碼之情形時相比，可I縮資料量。” 於步驟S14中’正交變換部“對自運算部〇所供給之差 分資訊進行正交變換。具體而言，進行離散餘弦變換、κ_ L變換等正交變換，並輸出變換係數。於步驟十，量化 部_換係數加以量化。於該量化時，如後述之步驟 S25之處理中所說明般，碼率受到控制。 、述方式里化之差分資訊以如下方式被局部解碼。 即’於步驟S16中’逆量化部68以與量化部65之特性相對 應之特性將藉由量化部65而量化之變換係數逆量化。於步 驟S 1 7中，逆正交變換部69以與正交變換部64之特性相對 應之特性對藉由逆量化部6 8而逆量化之變換係數進行逆正 交變換。 於步驟S18中，運算部70於經局部解碼之差分資訊中加 上經由預測圖像選擇部78而輸入之預測圖像，生成經局部 解碼之圖像（與向運算部63之輸入相對應之圖像）。於步驟 S19中，解塊濾波器71對自運算部70所輸出之圖像進行濾 波°藉此去除區塊雜訊》於步驟S20中，圖框記憶體72儲 存經澹波之圖像。再者，對圖框記憶體72亦自運算部7〇供 給未藉由解塊濾波器71進行濾波處理之圖像，並加以儲 存。 於步驟S21中，框内預測部74及移動預測/補償部75分別 145450.doc -27· 201127066 =圖像之預測處理。即，於步驟S21中，框内預測部74 、：框内預測模式之框内預測處理。移動預測/補償部75 進仃框間預測模式之移動預測.補償處理。 此時，藉由移動向量精度判定部77判定對象區塊之移動 ^貢訊之精度是整數像素精度還是小數像素精度，並藉 ·:-次預測部76根據該判定結果進行二次預測，而生成二 次殘差、然後，於移動預測/補償部^中，決定—次殘差 與二次殘差中之編碼效率較佳之殘差。 再者’於進行二次㈣之情料，必需將表示進行二次 •:測：：次預測旗標或表示二次預測中之框内預測模二 傳送至解碼側。該等資訊於在後述之步驟S22中選取 最佳框間預測模式之預測圖像的情形時，與最佳框間預測 模式資訊等一併被供給至可逆編碼部66。 步驟S 21中之預測處理之詳細情況將參考圖11而後述， 藉由該處理，分別進行成為候補之所有框内預測模式下之 預測處理’並分別計算出成為候補之所有框内預測模式下 :成本函數值。然後，根據所計算出之成本函數值，選擇 最佳框内制模式，並將由最佳框内制模式之框内 所生成之預測圖像與其成本函數值供給至預測圖像選擇部 78° 又’藉由該處理’分別進行成為候補之所有框間預測模 = 理’並使用所決定之殘差’分別計算出成為 候補之所有框間預測模式下之成本函數值。根據所計算出 之成本函數值，自框間預測模式之中決定最佳框間預測模 145450.doc •28· 201127066 式，並將由最佳框間預測模式所生成之預測圖像與其成本 ”數值i、至預測圖像選擇部78。再者，關於最佳框間預 測模式’力進行二次預測之情料，冑進行框間處理之圖 像與二次殘差之差分作為預測圖像供給至預測圖像選擇部 78 ° 於步驟S22中，預測圖像選擇部78根據自框内預測部μ 及移動預測/補冑部75所輸出之各成本函數值，將最佳框 内預測模式與最佳框間預測模式中之一者決定為最佳預測 模式。然後，預測圖像選擇部78選擇所決定之最佳預測模 式之預測圖像’並將其供給至運算和、7Q。該預測圖像 (;進行一-人預測之情形時，係進行框間處理之圖像與二 差刀資訊之差分）如上述般，係用於步驟si3、之 算。 再者，將該預測时之選擇資訊供給至框内預測部74或 移動卿補償部75。於選取最佳框内預測模式之預測圖 凊形時，框内預測部74將表示最佳框内預測模式之資 訊（即，框内預測模式資訊）供給至可逆編碼部6 6。 、於選取最佳框間預測模式之預測圖像之情形時，移動預 :’補償部75將表示最佳框間預測模式之資訊與視需要而 應於最佳框間預測模式之資訊輪出至可逆編碼部66中。 作：對應於最佳框間預測模式之資訊，可列舉：表示進行 一次預測之二次預測旗標、主_ ' 表不一次預測中之框内預測模 式之資訊、以及參考圖框資訊等。 ;V驟S23中’可逆編瑪部66對自量化部65所輸出之經 14545〇.doc -29· 201127066 e化之變換係數進行編碼。即，對差分圖像（於二次預測 清料為—次差分圖像）進行可變長度編碼、算術編碼 可逆編碼’並加以遂縮。此時，對在上述步驟S22中輸 ，至可逆編碼部6 6之來自框内預測部7 4之框内預測模式； 二庙或與來自移動預測/補償部75之最佳框間預測模式相 心之資Λ等亦進行編碼，並附加至標頭資訊中。 於步驟S24中，儲存緩衝器67將差分圖像作為塵縮圖像 。以储存4 t地讀出儲存緩衝器Μ中所儲存之磨縮圖 ，、並將其經由傳輸路徑而傳輸至解碼側。 於步驟S25t ’碼率控制部79根據儲存緩衝器”中所儲 存之壓縮圓像，控制量化部65之量化動作之碼率 產生溢位或下溢。 ^ [預測處理之說明] 處’參考圖"之流程圓說明圖丨。之步驟s2i中之預測 ^自晝面重排緩衝器62所供給之處理對象之圖像為進行 备土 叼滑形時，自圖框記憶體72讀出所 芬考之已完成解碼之圖傻 ，目，加 ⑽，麵由交換H73供給至框内預 測。ρ 74中。根據該等圖像， 於步驟S3 1中，框内預測部74 成為候補之所有框内預測措* ^ 預剥模式對處理對象之區塊的像素 5订框内制。再者，料尋权已完絲碼之像辛， 使用未藉由解塊遽波器71進行解塊遽波之像素。 步驟S3 1中之框内預測處 之洋'，.田情況將參考圖24而後 藉由遠處理’以成為候補之所有框内預測模式進行框 H5450.doc • 3〇 - 201127066 :預測’並對成為候補之所有框内預測模式 數值。然後，根據所計算出之成本函數值，選擇最 預測模式，並將由最佳框内預選擇取佳框内 預測圖像與其成本函數值供、成之 只巧圖像選擇部78 〇 於自畫面重排緩衝器62所供給 框間處理之圖像的情形時，自圖框 圖像，並經由交換器73供給’〔，所參考之 ’主移動預測/補償邱 :該等圖像，於步_，移動預測/:;=框: 動預測處理。即’移動預測/補償部”參考自圖 體72所供給之圖像，進行成為候補之所有 ^ 移動預測處理。 員測模式之 再者，此時，移動向量精度判定部77 補償部75所求出之對象區塊 預'則/ 你主勁向1資訊的精度是整數 像素精度還是小數像素精度。二 并许夕幻^ ,丄 頂及10(5 76根據移動向量 精度之判疋結果或框内預测模式進行二次預測。即，二·大 =㈣使㈣象鄰接像素與參切接像素之差分， 塊=測圖像，並將由移動預測/補 求出之-:人殘差與框内預測圖像之差分即二次殘差 移動預測/補償部75令。對應於此 ， ^ ^ ^ ^ 移動預測/補償部75決 …殘差與二次殘差中之編碼效率 用於其後之處理。 坟差並將其 之框間移動預測處理之詳細情況將參考圖25 藉由該處理’以成為候補之所有框間預測模式進 灯移動預測處理，並使用-次差分或二次差分，對成為候 145450.doc -31. 201127066 補之所有_預_式計算出成本函數值。 於步驟S33中，移動預測/補償部75對步驟s32中 出之相對於_預_式之成本函數值進行比較。移動 須/補償部75將提供最小值之預測模式決定為最佳框間^ ’並將由最佳框間預測模式所生成之預測圖像及其 成本函數值供給至預測圖像選擇部78。 ^ [H.264/AVC方式中之框内預測處理之說明] 其次，對由H.264/AVC方式所規定之框内預測之 進行說明。 、& 首先，對針對亮度信號之框内預測模式進行說明。於； 度信號之框内預測模式中，規定有框内4x4預測模式、才 内8X8預測模式、以及框内16川預測模式之三種方式… 係規定區塊單位之於每純集區塊中。又 對於色差信號’可於每個E集區塊中設定獨立於亮度㈣ 之框内預測模式。 進而，於框内4X4預測模式之情形時，可於每個4x4像素 之對象區塊中’自九種預測模式中設^—種預測模式。於 框内Μ預測模式之情形時，可於每個8χδ像素之對象區塊 中’自九種預測模式中設定一種預測模式。又，於框内 16x16預測模式之情形時，可對16χ16像素之對象巨集區 塊，自四種預測模式中設定一種預測模式。 再者，以下，框内4x4預測模式、框内8χ8預測模式、以 及框内16 X16預測模式亦分別適當地稱作4 χ 4像素之框内預 測模式、8x8像素之框内預測模式、及16χ16像素之框内預 145450.doc -32- 201127066 測模式。 7/c m \ 各區線中之數字·β 區塊之位元流順序（解碼側之處理 各 信號，將巨集區塊分割成4 關於亮度 町。而且，僅於框⑽㈣進行4X4像素之 預'則槁式之情形時，如_〗之 區塊所示般，聚集各區塊之直产 對於此，進而實施正交變換“成分而生成4X4矩陣，相 夸另：方面’關於色差信號’將巨集區塊分割成4Μ像 素’並…4像素之DCT後，如之各區塊所示 般，聚集各區塊之直流成分而生成W矩陣，相對於此， 進而實施正父變換。 再者，關於框内8X8預測模式，上述處理僅可適用於以 南分佈或其以上之分佈在對象巨集區塊中實施㈣正交變 換之情形。 ▲圖13及圖14係表示九種亮度信號之4χ4像素之框内預測 模式（Intra_4x4_pred_mode)之圖。除表示平均值㈣預測 之模式2以外之人種之各模式分別對應於圖^ $之編號〇、 1、3至8所示之方向。 關於九種Intra—4x4_pred_m〇de，參考圖16進行說明。於 圖16之例中，像素3至p表示進行框内處理之對象區塊之像 素，像素值A至Μ表示屬於鄰接區塊之像素之像素值。 即，像素a至ρ係自畫面重排緩衝器62所讀出之處理對象之 圖像，像素值A至Μ係自圖框記憶體72讀出並被參考之已 元成解碼之圖像之像素值。 145450.doc •33· 201127066 於圖】3及圖】4所示之各框内 a 化Π預测模式之情形時，像素£ 至P之預測像素值係利用屬於鄰 ㈣接區塊之像素之像素值A至 Μ，以如下方式生成。再者， ^ 7 °月像素值為「available(可 用）」係表示不存在為畫框之端 <磲邠或尚未被編碼等理由而 *T利用。相對於此，所謂像音信灸「 ^ 月1豕京值為 unavailable(不可 用）」係表示由於為畫框之踹邱忐A 土 而邛或尚未被編碼等理由而盔 法利用。 … 模式〇為Vertical Prediction mode，其僅於像素值八至d為 「availabk」之情形時適用。於此情形時，像素&至口之預 測像素值如下式（7)般生成。 像素a、e、i、m之預測像素值=a 像素b、f、j、η之預測像素值=b 像素c、g、k、〇之預測像素值=c 像素d、h、1、p之預測像素值=D ..·(7) 模式 1 為 Horizontal Prediction mode，其僅於像素 I -*^ ϊ_/ 為「available」之情形時適用。於此情形時，像素&至 預測像素值如下式（8)般生成。 像素a、b、c、d之預測像素值=1 像素e、f、g、h之預測像素值=J 像素i、j、k、1之預測像素值=κ 像素m、η、ο、ρ之預測像素值=L ...(8) 模式 2為 DC Prediction mode，當像素值 a、b、Γ l、E)、 I、J、K、L全部為「available」時，預測像素值如式（9)铲 生成。 145450.doc -34- ...(9) 201127066 D全部為「unavaiiable」時，

(A+B + C+D+I+J+K+L+4)»3 又，當像素值A、B、C、E 預測像素值如式（10)般生成。 ..(10) K、L全部為「unavaiiabie (I+J+K+L+2)»2 時，預 •..(11) D、I、J、K、L全部為

又，當像素值I、J、K、L 測像素值如式（11)般生成。 (A+B + C+D+2)»2 再者，當像素值A、B、C、 unavailable」時，使用128作為預測像素值。 模式 3為 Diagonal—Down一Left Prediction mode(斜向左下 方預測模式）’其僅於像素值A、B、c、D、I、J、K、L、 M為「avaUab丨e」之情形時適用。於此情形時，像素3至口 之預測像素值如下式（12)般生成。 像素a之預測像素值=(a+2B+C+2)>>2 像素b、e之預測像素值=(b+2C+D+2)>>2 像素c、f、i之預測像素值=(c + 2d+e+2)>>2 像素d、g、j、m之預測像素值kd + se+F+S)»〗 像素h、k、η之預測像素值=(e+2F + G+2)>>2 像素1、〇之預測像素值=(F + 2G+H+2)>>2 像素p之預測像素值=(G+3H+2)>>2

下方預測模式），其僅於像素值A、B、C、D、I、j、κ、 L、Μ為「avaiiabie」之情形時適用。於此情形時，像素丑 145450.doc •35· 201127066 至P之預測像素值如下式（13)般生成。 像素m之預測像素值=(J+2K+L + 2)>>2 像素i、η之預測像素值=(I + 2J+K+2)>>2 像素e、j、〇之預測像素值=(M+2I+J+2)>>2 像素a、f、k、p之預測像素值=(A+2M+I + 2)>>2 像素b、g、1之預測像素值=(M+2A+B + 2)>>2 像素c、h之預測像素值=(A+2B + C + 2)>>2 像素d之預測像素值=(B + 2C+D+2)>>2 •••(13) 模式 5 為 Diagonal_Vertical_Right Prediction mode(垂直向 右預測模式），其僅於像素值A、B、C、D、I、J、K、L、 M為「available」之情形時適用。於此情形時，像素a至p 之預測像素值如下式（14)般生成。 像素a、j之預測像素值=(M+A+1 )>> 1 像素b、k之預測像素值=(A+B+1)>>1 像素c、1之預測像素值=(B + C + 1)>>1 像素d之預測像素值=(C+D+1 )>> 1 像素e、η之預測像素值=(I + 2M+A+2)>>2 像素f、〇之預測像素值=(M+2A+B + 2)>>2 像素g、p之預測像素值=(A + 2B + C + 2)>>2 像素h之預測像素值=(B + 2C+D+2)>>2 像素i之預測像素值=(M+2I+J+2)>>2 像素m之預測像素值=(I + 2J+K+2)>>2 145450.doc •36· •••(14) 201127066 模式 6為 Horizontal_Down Prediction mode(水平向下預測 模式）’其僅於像素值A、B、C、D、I、J、k、L、M^ 「available」之情形時適用。於此情形時’像素&至？之預 測像素值如下式（15)般生成。 像素a、g之預測像素值=(m+I+ 1 )>> 1 像素b、h之預測像素值=(i+2M+A+2)>>2 像素c之預測像素值=(m+2A+B+2)>>2 像素d之預測像素值=(a+2B+C+2)>>2 像素e、k之預測像素值=(I+J+1)>>1 像素f、1之預測像素值=(M+2I+J+2)>>2 像素i、〇之預測像素值=(j+K+1)>>1 像素j、p之預測像素值=(I+2J+K+2)>>2 像素m之預測像素值=(K+L+1 )>> 1 像素η之預測像素值=(j+2K+L+2)>>2 …（15) 模式7為Vertical_Left Prediction mode(垂直向左預測模 式）’其僅於像素值八'8、（：、0、1、】、1<：、1、]^為 「available」之情形時適用。於此情形時，像素a至P之預 測像素值如下式（16)般生成。 像素a之預測像素值=(A+B +1 )>> 1 像素b、i之預測像素值=(B + C+1)>>1 像素c、j之預測像素值=(C+D+1)>>1 像素d、k之預測像素值=(D+E+1)>>1 像素1之預測像素值=(E+F+1 )>> 1 K5450.doc -37· 201127066 像素e之預測像素值=(a+2B + C+2)>>2 像素f、m之預測像素值=(B+2C+D+2)>>2 像素g、η之預測像素值=(C+2D+E+2)>>2 像素h、〇之預測像素值=(d+2E+F+2)>>2 像素P之預測像素值=(E+2F+G+2)>>2 •*(16) 模式 8 為 Horizontal_Up Prediction mode(水平向上預·、則模 式），其僅於像素值八、：8、（：、0、1、：1、1(：、1^、1^為 「available」之情形時適用。於此情形時，像素&至卩之預 測像素值如下式（17)般生成。 像素a之預測像素值=(i+j+ 1 )>> 1 像素b之預測像素值=(i + 2J+K+2)>>2 像素c、e之預測像素值=(j+k+1)>>1 像素d、f之預測像素值=(j+2K+L+2)>>2 像素g、i之預測像素值=(K+L+1 )>> 1 像素h、j之預測像素值=(K+3l+2)>>2 像素k、1、m、η、〇、p之預測像素值 …（17) 其次’參考圖1 7對亮度信號之4x4像素之框内預測模式 (Inti:a_4x4一pred_mode)之編碼方式進行說明。於圖17之例 中’表示有包含4x4像素、並成為編碼對象之對象區塊C， 且表示有鄰接於對象區塊C之包含4x4像素之區塊A及區塊 B。 於此情形時，一般認為對象區塊C中之Intra_4x4_ 145450.doc •38· 201127066 pred—mode與區塊A及區塊b中之Intra_4x4_pred—mode具有 較咼之相關性。利用該相關性，以如下之方式進行編碼處 理，藉此可實現更高之編碼效率。 即’於圖17之例中，將區塊a及區塊B中之intra_4x4_ pred_mode 分別設為 jntra—4><4_pred_modeA 及 intra 4x4 pred_modeB ’並將MostProbableMode(最可能模式）定義為 下式（18)。

MostProbableMode=Min(Intra_4x4_pred_modeA,

Intra_4x4_pred_modeB) …（18) 即’將區塊A及區塊b之中，分配有更小imode^number (才吴式編说）者作為MostProbableMode。 於位元流中，作為相對於對象區塊C之參數，定義有prev_intra4x4_ pred_mode_flag[luma4x4BlkIdx]及 rem_intra4x4_pred_mode [luma4x4BlkIdx]之兩個值，藉由基於下式（19)所示之虛擬 碼之處理而進行解碼處理，可獲取相對於對象區塊C之 Intra_4x4_pred—mode、Intra4x4PredMode[luma4x4BlkIdx] 之值。 if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])

Intra4x4PredMode[luma4x4BlkIdx]=MostProbableMode else if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)

Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4 x4BlkIdx] 145450.doc •39- 201127066 else

Intra4x4PredMode[luma4x4Bllddx]=remJntra4x4jred_m〇^ 4BlkIdx]+l 其次，對8x8像素之框内預測模式進行說明。圖18及圖 19係表示九種亮度信號之8x8像素之框内預測模式 (Intra一8x8—pred_mode)的圖。 將對象之8x8區塊中之像素值設為p[x y](〇s 7 ; ，並將鄰接區塊之像素值設為以、.、 Ρ[-1’15]、p[-i，〇]、…、[ρ」，？]之方式表示者。 關於8x8像素之框内預測模式，於生成預測值之前，對 鄰接像素實施低通濾波處理。此處，將低通濾波處理前之 像素值表示為 p[-l，-l]、..·、ρ[_115]、ρ[1〇]、 [ρ· i，7]，將處理後之像素值表示為Piu]、…、P,卜、 P’l·1，0]、...ρ，[·1，7]。 首先’ ρ[0，-1]於ρ[-1，-1]為「availabie」之情形時，如下 ' ()^a十算出’於Ρ[Ά為「not available」之情形 時’如下式（21)般計算出。 p [0，]]=(p[-l，-l]+2*p[0，-i]+p[1，_1] + 2)>>2 ...(20) p [0，-1]=(3*p[0，-1]+p[1，-i]+2)>>2 Ρ'[χ’-1](χ=0、…、7)如下式（22)般計算出。 ρ [χ，-1] = (ρ[χ-1，-1] + 2*ρ[χ，_ι]+ρ[χ+ι，·ι]+2)>>2 145450.doc •••(21) 201127066 •..(22) P [x’_ 1 ](x_8、··.、15)於 ρ[χ，·ι](χ=8、…、15)為 「available」之情形時，如下式（23)般計算出。 P’[x，-l]=(P[x-l，-l]+2*p[x.，_i]+p[x+1，_1] + 2)>>2 p'[15，-l]=(p[14，-l]+3*p[15，-l] + 2)>>2 •..(23) p’[-l，-l]於p[-l，-l]為ravailable」之情形時，以如下方 式計算出。即’ pH，於及p[_1〇]兩者均為 available之情形時，如式（24)般計算出，於Μ·"]為 「unavailable」之情形時，如式（25)般計算出。又，pn -1]於ρ[0，-1]為「unavaUabu」之情形時，如式（26)般計算 出。 Ρ'[-1，-1]=(ρ[0，-1] + 2*ρ[_ι，-ΐ]+ρ[·ι，〇]+2)>>2 •••(24) Ρ’[-1，-1]=(3*ρ[-ΐ，_ι]+ρ[〇，_1]+2)>>2 …(25) ρ’卜1，-1] = (3*Ρ[-1，-1]+ρ[-1，0]+2)>>2 •••(26) P[**l’y](y〜〇、…、7)於 p[-l，y](y=0、…、7)為 「available」時，以如下方式計算出。即，首先，ρ^ο] 於卩[-1，-1]為「available」之情形時，如下式（27)般計算 出’於W-1，·1]為「unavailable」之情形時，如式（28)般計 算出。 P'[-l5〇] = (p[-ij.1]+2*p[-l,〇]+p[-l5l] + 2)»2 145450.doc -41 - ...(27) 201127066 •••(28) 又 ’ P’[-l，y](y=l、…、6)如下式（29)般計算出 ’ P，[-1，7] 如式（30)般計算出。 P[-15y]=(p[-l,y-l] + 2*p[-ljy]+p[-.1)y+1] + 2)>>2 ...(29) P’[-l，7]=(p[-l，6] + 3*p[-l，7] + 2)>>2 .(30) 使用以上述方式所計算出之pl，圖18及圖19所示之各框 内預測模式下之預測值係以如下方式生成。 模式 0 為 Vertical Prediction mode，其僅於 ρ[χ,-ΐ;ι (x=〇、…、7)為「available」時適用。預測值pred8x8L[x，y] 如下式（3 1)般生成。 pred8x8L[x,y]=p-[x5.i] χ?γ=〇 . ... . 7 •••(31) 模式 1 為 Horizontal Prediction mode，其僅於 p[-l,y] (y=0、…、7)為「avaiiabie」時適用。預測值pred8x8L[x，y] 如下式（32)般生成》

Pred8x8L[x，y]=p·卜l，y] x，y=〇、...、7 (32) 模式 2為 DC Prediction mode，預測值pred8><8L[x，y]如以 下般生成。即，於ρ[χ，_1](χ=〇、…、7)及 (y=0、…、7)兩者均為r avaiiabie」之情形時，預測值 145450.doc -42· 201127066 pred8x8L[x，y]如下式（33)般生成。 [數5] ΡΓεύ8χ8αχ>γ]^|：ρ[χνΐ]+|：ρμΐ5γ]+^>>4 …⑽ 於 Ρ[χ，-1](χ=ο、…、7)為「available」，而 p[i，y] (y-〇、...、7)為「un_lable」之情形時，預測值pred㈢办，y] 如下式（34)般生成。 [數6]

Pr ed 8 X 8L [X，y] =P' [X’，-1] + 4) » 3 ...(34)

Vx'=0 ) v J 於 p[x，-l](x-〇、…、7)為「unavailable」，但 p[_i，y] (y=〇、…、7)為「available」之情形時，預測mpred8x8L[x，y]如 下式（35)般生成。 [數7] (7 λ

Pred8x8L[x，y]= 2P，Ky] + 4 »3 ...(35) vy-° ) 於 P[x，-l](x=〇、...、7)及 p[-i，y](y=〇、…、7)兩者均為 「unavailable」之情形時，預測值pre(j8x8L[x，y]如下式 (36)般生成。 pred8x8L[x,y]=128 i •(36) 其中，式（36)表示輸入8位元之情形。 模式 3 為 Diagonal_Down_Left_prediction mode，預測值 pred8x8L[x,y]如以下般生成。即，Diagonal_D〇wn Left 145450.doc ·43· 201127066 prediction mode 僅於 p[x，-η，χ=〇、…、15為「avaiUble」 時適用’ x-7且y = 7之預測像素值如下式（37)般生成，其他 預測像素值如下式（3 8)般生成。 pred8x8L[x，y] = (p，[l4，-l] + 3*p[15，-l]+2)>>2 …(37) red8x8L[x，y]=(p’[x+y，-l] + 2*p'[X+y+l，-l]+p，[x+y+2，_ 1] + 2)»2 •••(38) 模式 4為 Diagonal_Down_Right_prediction mode，預測值 pred8x8L[x，y]如以下般生成。即，Diagonal_Down_Right prediction mode 僅於 p[x，-1 ]，χ=〇、...、7 及 p[-l,y]， y = 0、...、7為「available」時適用，x>y2預測像素值如 下式（39)般生成，x < y之預測像素值如下式（40)般生成。 又，x=y之預測像素值如下式（41)般生成。 pred8x8L[x,y]=(p'[x-y-2,-l]+2*p,[x-y.i5_i]+p'[x.yj-i]+2)»2 •••(39) pred8x8L[x,y]=(p'[-l5y-x-2]+2*p'[-l,y-x-l]+p'[-l,y-x]+2)»2 ••(40) pred8x8L[x5y]=(p'[05-l]+2*P'[-l»-l]+p'[-l,0]+2)»2 •••(41) 模式 5 為 Vertical_Right_prediction mode，預測值 pred8x8L[x,y]如以下般生成。即，Vertical_Right_prediction mode 僅於 p[x，-l]，x=〇、…、7及 p[-l，y]，、…、7為 「available」時適用。目前，如下式（42)般定義zVR。 145450.doc -44- 201127066 z VR=2 * x-y 此時’於zVR為〇、2、4、 時’像素預測值如下式（43)般 •••(42) 6' 8、10、12、14之情形 生成，於zVR為1、3、5、 7 ’ 9、11、13之情形時’像素預測值如下式（44)般生成。 Pred8X8L[x^^^tx-(y»l)-l,-l]+p-[x-(y»l),-l] + l)»l •••(43) pred8x8L[x,y]=(p'[x.(y>>1).25.1] + 2^p,[x_(y>>1)_1} -1]+p'[x-(y»l),-l]+2)>>2 …（44) 又，於zVR為-1之情形時，像素預測值如下式（45)般生 成’於除此以外之情形時，即，於ZVR為_2、_3、_4、· 5、-6、-7之情形時，像素預測值如下式（46)般生成。 pred8x8L[x，y]=(p’[-l，〇] + 2*p，[-l，-l]+p'[0，-l] + 2)>>2 "•(45) pred8x8L[x，y]=(p'[-l，y-2*x-l]+2*p'[-l，y-2*x-2]+p'[-l，y- 2*x-3] + 2)»2 •••(46) 模式 6 為 Horizontal—Down—prediction mode，預測值 pred8x8L[x，y]如以下般生成。即，Horiz〇ntal_Down_ prediction mode僅於p[x,-l] ’ x=〇、…、7及p[-l，y]，y=_i、…、 7為「available」時適用。目前，將zVR設為如下式（47)般 定義者。 zHD=2*y-x 145450.doc -45- ••(47) ••(47)201127066 此時，於 zHD 為 0、2、4、6、8、10、12、14之情形 時，預測像素值如下式（48)般生成，於zHD為1、3、5、 7、9、11、13之情形時，預測像素值如下式（49)般生成。 pred8x8L[x，y]=(p'[-l，y_(x>> 1)_ 1 ]+P'[ -1，y_(x>> 1)+1 ]>> 1 •••(48) pred8x8L[x,y] = (p,[-l3y-(x»l)-2] + 2*p'[-l,y-(x»l)-l]+p 丨[-l，y-(x»l)] + 2)>>2 …（49) 又’於zHD為-1之情形時，預測像素值如下式（50)般生 成’於zHD為除此以外之值之情形時，即為-2、-3、-4、 -5、-6、-7之情形時，預測像素值如下式（5 1)般生成。 pred8x8L[x，y]=(p’[-l，0] + 2*p[-l，-l]+p’[〇，-i] + 2)>>2 ••(50) pred8x8L[x，y]=(p’[x-2*y-l，-i]+2*p'[x_2*y-2，-l]+p'[x- 2*y-3,-l]+2)>>2 …(51) 模式 7 為 Vertical_Left一prediction mode，預測值 pred8x8L[x，y]如以下般生成。即，Verticai—Left_predicti〇n mode 僅於 p[x’-l] ’ x=0、 、15為「時適用’ 於y=0、2、4、6之情形時，預測像素值如下式（52)般生 成’於除此以外之情形時’即y=1、3、5、7之情形時，預 測像素值如下式（53)般生成。

pred8x8ax,y]=(p.[x+(y>>1).1]+pl[x+(y>>i)+i_i]+i)>M 145450.doc • 46 - 201127066 …(52) pred8 χ 8L [x,y] = (p'[x+(y>> 1),-1]+ 2 *p'[x+(y>> 1)+1, -l]+p'[x+(y»l ) + 2,-1] + 2)»2 …(53) 模式 8 為 Horizontal_Up_prediction mode，預測值 pred8x8L[x，y]如以下般生成。gp ，Horizontal_Up_ prediction mode僅於 p[-l，y]，y=〇、…、7 為「avanable」 時適用。以下，如下式（54)般定義zHU。 zHU=x+2*y •••(54) 於zHU之值為0、2、4、6、8、10、12之情形時，預測 像素值如下式（55)般生成，於ZHU之值為1、3、5、7、9、 11之情形時’預測像素值如下式（56)般生成。

Pred8x8L[x,y]=(p'[-i,y+(x»i)]+p,[-l,y+(x»i)+i]+i)»i ..•(55) pred8x8L[x,y]=(p'[-l)y+(x»1)] ..(56) 又，於zHU之值為13之情形時，預測像素值如下式（5 7) 般生成，於除此以外之情形時，即，zHU之值大於13之情 形時，預測像素值如下式（58)般生成。 pred8x8L[x，y]=(p’[-l，6] + 3*p'[-l，7] + 2)>>2 ...(57) pred8x8L[x,y]=p'[-l57] 145450.doc •••(58) • 47· 201127066 八·人，對16x16像素之框内預測模式進行說明。圖2〇及 圖2 1係表不四種壳度信號之16 X 1 6像素之框内預測模式 (Intra—16 X 1 6_pred _mode)的圖。 參考圖22對四種框内預測模式進行說明。於圖22之例 中，表示有進行框内處理之對象巨集區塊A，p(x，y); X、 、〇、…、15表示鄰接於對象巨集區塊A之像素之像素 值。 模式 0為 Vertical Prediction mode，其僅於Ph，」）；χ、 y 1、〇、…、15為「available」時適用。於此情形時，對 象巨集區塊Α之各像素之預測像素值pred(x，y)如下式（59) 般生成》

Pred(X，y) = P(X，-l) ; X、y = 〇、…、15 •(59) 模式 1為Horizontal Predicti〇n m〇de，其僅於卩㈠ ^; X、y--l、0、…、15為「avaUabie」時適用。於此情形 時，對象巨集區塊A之各像素之預測像素值pred(x，力如下 式（60)般生成。

Pred(x，y)=P(-i，y) ; X、y=〇、...、15 •••(6〇) 模式 2 為 DC Prediction mode，於 ^ ; X、 y 1 °…、15全部為「available」之情形時，對象巨集 區塊A之各像素之預測像素值pred(x，y)如下式⑹）般生 成。 [數8] 145450.doc •48- 201127066

Pred(x，y): 15 15 -£p(x'-l)+£p(-l5y')+l6 x'=0 y，=0 » 其中 x，y = 〇，...，15 ...(61) 又’於P(x，-1) ; x、y=-l、〇、…、15為「unavailaMe」 之情形時’對象巨集區塊A之各像素之預測像素值

Pred(x，y)如下式（62)般生成。 [數9] 15

Pred(x，y)= ZP(-l，y.)+8 »4 其中x，y = Q，...，15 ,..(62) _y.=0 」 、/ 於 P(-l，y) ; X、y=-l、〇、...、15 為「unavaUable」之情 形時，對象巨集區塊A之各像素之預測像素值Pred(x,y)w 下式（63)般生成。 [數 10]

Pred(x,y) = 艺P(x'，-l)+8 »4 其中x，y = 〇，...，15 ,y-〇 」 .-.(63) 於 P(x，-1)及 P(-l，y) ; χ、y=-l、0、·_·、15 全部為 「unavailable」之情形時’使用128作為預測像素值。 模式3為Plane Prediction mode(平面預測模式），其僅於 Ρ(χ，·1)及 P(-l，y) ; X、y=-l、0、…、15 全部為 「available」之情形時適用。於此情形時，對象巨集區塊 A之各像素之預測像素值Pred(x,y)如下式（64)般生成。 [數 11] 145450.doc -49· 201127066

Pr ed(x,y) = Clipl((a + b · (x - 7) + c · (y - 7) +16) » 5) a = 16«(p(-i3i5) + p(i5_i)) b = (5 · H + 32)» 6 c = (5.y + 32)»6 H = Σχ · (P(7 + x,-1)-P(7 - x-1)) x=l 8 V = Σ y · (P(-1，7 + y) - P(-1，7 - y)) ...(64) y=l v ’ 其次’對針對色差信號之框内預測模式進行說明。圖23 糸表示四種色差彳έ號之框内預測模式（Intra_chr〇ma_ pred—mode)之圖。色差信號之框内預測模式可獨立於亮度 仏唬之框内預測模式而設定。針對色差信號之框内預測模 式係以上述亮度信號之16x16像素之框内預測模式為準。 然而’亮度信號之16xl6像素之框内預測模式係以16χ16 像素之區塊作為對象，相對於此，針對色差信號之框内預 測模式係以8x8像素之區塊作為對象。進而，如上述圖2〇 與圖23所不，於兩者中模式編號並不對應。 此處，以參考圖22中上述亮度信號之16x16像素之框内 預測模式之對象巨集區塊八的像素值及鄰接之像素值之定 義為準。例如，將鄰接於進行框内處理之對象巨集區塊 Α(於色差信號之情形時為8x8像素）之像素的像素值設為 P(X’y) ; χ、产-1、0、…、7。 模式0為沉 Predicti〇n mode，於 Ρ(χ，-1)及 PGm; χ、 Υ 1 ° 7全部為「available」之情形時’對象巨集 品鬼八之各像素之預測像素值Pred(x，y)如下式（65)般生 成。 145450.doc 201127066 [數 12]

Pred(Xs y) = ((Σ(Ρ(-1^)+Ρ(η,-1)))+8) » 4 其中 x，y = 〇”.”7 ...(65) 又，於P(-l，y) ; x、y=-l、0、…、7為「unavailable」之 情形時，對象巨集區塊A之各像素之預測像素 如下式（66)般生成。 [數 13]

Pred(X，y)=[(亡 P(n,_ !)) + 4]>>3 其中 X，y = 〇,…，7 …㈣ n*0 又’於Ρ(χ，-1) ; X、y=-l、0、…、7為「unavailable」之 情形時，對象巨集區塊A之各像素之預測像素值pred(x，y) 如下式（67)般生成。 [數 14] 7

Pred(x，y)=[(艺p(-i，n))+4]»3 其中x，y = 〇”..，7 ...(57) n=0 模式 1 為 Horizontal Prediction mode，其僅於 p(_i y); X、y=-l、0、…、7為「available」之情形時適用。於此情 形時’對象巨集區塊A之各像素之預測像素值Pred(x,y)如 下式（68)般生成。

Pred(x，y)=P(_l，y) ; X、y = 0、…、7 145450.doc •51 · * * * (68) 201127066 模式 2為 Vertical Prediction mode，其僅於P(x,-1); χ、 y__1、〇、··.、7為「available」之情形時適用。於此情形 時’對象巨集區塊A之各像素之預測像素值pred(x，y)如下 式（69)般生成。

Pred(x，y)=p(x，-1) ; X、y=〇、...、7 ...(69) 模式 3 為 piane precjicti〇ri mode，其僅於 p(x，_i)及 (ly)，χ、y=_l、〇、…、7 為「avaiiabie」之情形時適 用。於此情形時，對象巨集區塊八之各像素之預測像素值 Pred(x，y)如下式（70)般生成。 [數 15] re^^) = C^l(a + 6.(x-3)+c(3；-3)+16)»5;x^ = 〇,...57 « = 16 .(^(-1,7) + ^(7-1)) ’ ’ 6 = (17·^ + 16)»5 c = (l7*F + 16)» 5 ^ = Σ ^ · [^(3 + ^-1)- Ρ(3 - jc -1)] Χ=\ y=\ Υ) ( ’ 少)] -(70) 如上述般，於亮度信號之框内預測模式中，存在九; 4X4像素以及8X8像素之區塊單位、以及四種16x16像素· 巨集區塊單位之預測模式。該區塊單位之模式係設定於 個巨集區塊單位中。於色差信號之框内預測模式中，存 =:象素之區塊單位之預測模式1色差信號之框 式可獨立於亮度信號之框内預測模式而設定。 又’關於亮度信號之4x4像素之框内預測模式（樞内4 145450.doc -52· 201127066 預測模式）及8><8像素之框内預測模式（框内8χ8預測模式）， 係於每個4x4像素及8x8像素之亮度信號之區塊中設定—種 框内預測模式。關於亮度信號之16xl6像素之框内預測模 式（框内l6x16預測模式）與色差信號之框内預測模式，係 針對1個巨集區塊設定一種預測模式。 再者’預測模式之種類對應於上述圖15之編號〇、i、3 至8所示之方向。預測模式2為平均值預測。 [框内預測處理之說明] 其次’參相24之流關說明對料預_式所進行之 處理’即圖U之步驟S31中之框内預測處理。再者，於圖 24之例中，以亮度信號之情形為例進行說明。 很門頂咧邵74於步驟S41中，對4χ4像素、像素以及 16x16像素之各框内預測模式進行框内預測。 具體而吕，框内預測部74自圖框記憶體72讀出處理對象 之區塊之像素，並參考經由交換器73所供給之已完成解碼 之圖像進行框内預測。該框内預測處理係於各框内預測槙 式下進打’藉此生成各框内預測模式下之預測圖像。再 者，作為所參考之已完絲碼之像素，可㈣未藉由 濾波器71進行解塊濾波之像素。 、 -丨兀叫可玎^4像素、8χ8 像素、以及16x16像素之各框内預測模式之成本函數值 此處，成本函數值係根據High CQmplexity(高複雜度）模式 或Low Complexity(低複雜度）模式中之任一 、" 可里万法而進， 計算。該等模式係由H.264/AVC方式φ夕灸本Α 八甲之參考軟體即 145450.doc -53· 201127066 JM(J〇int Model，聯合模型）規定。 即，於High CompIexity模式中，作為步驟州之處理， 對成為候補之所有預測模式暫時進行至編碼處理為止。缺 後’針對各預測模式計算出由下式⑺）所表示之成本函數 值，並選擇提供該最小值之預測模式作為最佳預測模式。

Cost(Mode)=D+X.R , …⑺） D為原圖像與解碼圖像之差分(變形量)，r為包含至正交 ㈣係數為止之發生碼量，4作為量化參數砂之函數而 提供之拉格朗日乘數（Lagrange multipIie〇。 另一方面，於Low CompIexity模式中，作為步驟之 處理’針對成為候補之所有預測模式生成預測圖像，叶算 出移動向量資訊或預測模式資訊、旗標資訊等之標頭位元 為止。然後，針對各預測模式計算出由下式（72)所表示之 成本函數值，並選擇提供該最小值之預測模式作為最佳預 測模式。

Cost(Mode)=D+QPt〇Quant(QP).Header__Bif-(72) D為原圖像與解碼圖像之差分（變形量），&▲_阶為針 對預測模式之標頭位元，QPtGQuant為作為量化參數之 函數而提供之函數。 於Low Complexity模式中，針對所有預測模式僅生成預 測圖像’而無需進行編碼處理及解碼處理，因此運算量可 較少。 框内預測部74於步驟S43中，針對4χ4像素、8χ8像素、 以及16x16像素之各框内預測模式分別決定最佳模式。 I45450.doc -54- 201127066 即，如上述般，於柏&1 ^ ^ y . 、内4X4預測模式及框内8x8預測模式之 情形時，預測模式之種類 强观虿九種’於框内16χ16預測模式 之情形時，預測模式之插#s 士 飞之種類有四種。因此，框内預測部74 根據步驟S42中所計算出 = ®之成本函數值，自該等之中決定 最佳框内4x4預測模式、啬 、叭敢佳框内預測模式、最佳框内 16x16預測模式。 框内預測# 74於步驟S44中，根據步驟s42中所計算出之 成本函數值4M像素，自針對4χ4像素、㈣像素、以及 16X16像素之各框内預測模式所決定之各最佳模式中選擇 最佳框内預測模式。gp，6 &如 P自針對4x4像素、8x8像素、以及 16x16像素所決定之各最佳模式中，選擇成本函數值為最 小值之模式作為最佳框内預測模式。然後，框内預測部74 將由最佳框内預測模式所生成之預測圖像及其成本函數值 供給至預測圖像選擇部7 8。 [框間移動預測處理之說明] 其次’參考圖25之流程圖對圖u之步驟如之框間移動 預測處理進行說明。 移動預測/補償部75於步驟S51中，針對參考圖3中上述 包含16x16像素至4X4像素之人種之各框間預測模式分別決 定移動向量與參考圖像1卩’針對各框間制模式之處理 對象之區塊分別決定移動向量與參考圖像。 移動預測/補償部75於步驟S52中，針對包含16χΐ6像素 至4M像素之八種之各框間預測模式，根據步驟“I中所決 定之移動向量，對參考圖像進行移動預測與補償處理。= 145450.doc -55· 201127066 移動預測與補償處理之詳細情況將參考圖26而後述。 藉由步驟S52之處理，判定移動向量之精度是否為小數 2素、或移動向量之精度及框内預測模式之組合是否為特 …、後，根據判定結果，於對象圖像與預測圖像 之差分即一次殘差、與對象鄰接像素與參考鄰接像素之差 分之間進行預測，藉此生成二次殘差。然後藉由比較__ 次殘差與二次殘差，最終決^是否進行二次預測處理。 於已決^進行二次預測之情形，二次❹代替__ =後述之步驟S54之成本函數值的計算。於此情形時， 不進仃—次預測之二次預測旗標與表示二次預測中之 框内預測模式之資訊亦輸出至移動預測/補償部75中。 移動預測/補償部75於步驟如中，對針對包含Μ川像 二像素之八種之各框間預測模式所決定之移動向 :二成移動向量資訊mvd£。此時，可使用 逑移動向量之生成方法β T上 所生成之移動向量資訊亦可於下一步驟…中之計算成 = 終藉由預測圖像選擇部㈣選擇出 =之預測圖像之情形時，將其與預測模式資訊及參考 圖框貝汛一併輸出至可逆編碼部66中。 ^判U⑽步驟S54中’針對包含16川像素至叫 (72)所之八種之各框間預測模式’計算出上述式⑺）或式 不之成本函數值。此處所計算出之成本函數值係於 返圖U之步驟S33中決定最佳框間預測模式時使用。 移動預測.補償處理之說明] I45450.doc •56· 201127066 其次，參考圖26之流程圖對圖25之步驟S52之移動預測· 補償處理進行說明。於圖26之例中，表示有使用4χ4像素 區塊之框内預測模式之例。 —將於圖25之步驟S51中對於對象區塊所求出之移動向量 貢訊係輸入至移動向量精度判定部77及鄰接像素預測部Μ 中。又，亦將對象區塊之資訊（位址等）與移動向量資訊一 併輸入至鄰接像素預測部83中。 > f動向量精度判定部77於步驟S71中，判定移動向量資 訊是否於水平及垂直方向上均為小數像素精度。當於步驟 S71中已判定移動向量資訊並非在水平及垂直方向上均為 小數像素精度之情形時，於步驟S72中，移動向量精度判 广判定移動向量資訊是否於水平及垂直方向上均為整 數像素精度。 ::步驟S72中已判定移動向量資訊在水平及垂直方向 =整^像素精度之情形時，將該判定結果輸出至交換 益84中，處理進入至步驟S73。 至=:3:種移動預測/補償部75針對 中所也6 、' 根據圖25之步驟S51 、疋之移動向量對參考圖像 理。# ώ 進仃移動預測與補償處 里精由该移動預測與補償處理，對於料务序心 考薛抽夕你主 、對象區塊，利用參 鬼之像素值生成各框間預测模 斟鱼π仏s u ^下之預測圖像，並將 對象區塊與其制圖像之差分即 * 1將 緩衝器81中。 差^刀輸出至一次殘差 於步驟S74中，鄰接像素預 選擇圖13及圖14中上 145450.doc •57· 201127066 述九種框内預測模式中之一種框内預測模式。然後，於其 後之步驟S75及S76中，對步驟S74中所選擇之框内預測模 式進行二次預測處理。 即於步驟S75中，鄰接像素預測部83以所選擇之框内 預測模式，進行使用差分之框内預測處理，於步驟 中’二次殘差生成部82生成二次殘差。 作為步驟S75之具體之處理，鄰接像素預測部83根據來 自移動預測/補償部75之移動向量資訊與對象區塊之資 況’自圖框記憶體72讀出鄰接於對象區塊之對象鄰接像素 及鄰接於參考區塊之參考鄰接像素。 鄰接像素預測㈣簡選擇之框内預_式，使用對象 鄰接像素與參考鄰接像素之差分針對對象區塊進行框内預 測’生成差分之框内預測圖像。所生成之差分之框内預測 圖像(殘差信號之預測圖像)被輸出至二次殘差生成部Μ 中。 作為步驟S76之具體之處理，若二次殘差生成部Μ自鄰 接像素預測部83輸入差分之框内預測圖像(殘差信號之預 及圖像），則自-次殘差緩衝器81讀出與其對應之一次殘 L二次殘差生成部82生成一次殘差與殘差信號之框内預 象之差分即二次殘差，並將所生成之二次殘差輸出至 ^換益84中。交換器84根據步驟奶中之判定結果，將來 ^次殘差生成部82之二次殘差輸出至移動預測/補償部 鄰接像素預測部83於步驟S77中，判定針對所有框内預 I45450.doc -5S· 201127066 測模式之處理是否已結束’於判定為尚 返回至步驟S74，重複其後之處理。g ， 、° 匱形時’ 擇其他框内預測模式，重複其後之處於步驟S74中’選 當於步驟S77中判.定為針對所有框 結束時，處理進入至步驟S84。 、、工处理已 二=直=:S72中’於判定為移動向量資訊並非 在^千及垂直方向上均為小數像素精度，即，任 =精二情形時，將該判定結果輪出至交:小 處理進入至步驟S78。 於步驟Μ中，移動預測/補償部75針對包含_6像素 像素之八種之各框間預測模式，根 ㈣、 ^所決定之_㈣參相料行㈣制與補= 理。藉由該移動預測與補償處理，針對 間預測模式下之預測圊像，並將 鬼生成各框 後夕兰八“ 將作為對象區塊與其預測圖 像之差刀之-次差分輸出至—次殘差緩衝器Μ中。 鄰接像素預測部83於步驟S79中，選擇_及圖Μ中上 述九種框内預測模式中之-種框内預測模式。鄰接像辛預 測部83於步驟训中，判㈣動向量資訊與所選擇之框内 預，則模式是否為特定之組合。 =於步驟S8〇中已判定移動向量資訊與所選擇之框内預 H式並非特定之組合時’處理返回至步驟S79,並選擇 其他框内預測模式，重複其後之處理。 又’當於步驟中已射移動向量資訊與所選擇之框 内預測模式為特定之組合之情形時，處理進入至步驟 I45450.doc -59- 201127066 S 8 1 〇 曰即’鄰接像素預測部83因水平方向或垂直方向之移動向 1之精度為小數像素精度，故基本上不進行步驟…及如 之處理即二次預測處理。然而，於鄰接像素預測部83中’ 作為例外，僅於移動向量之精度與框内預測模式之也 參考圖8及圖9中上诚牲―★，人 、’ 〇馬 處理。 攻特疋之組合的情形時，進行二次預測 产具=而言’即使垂直方向之移動向量資訊為小數像素精 二中亦I二預測模式為垂直預測模式之情形時，於步驟 忙內 ^特定之組合’處理進入至步雜卜即，於

式:垂直預測模式之情形時，只要水平二I =:::::像素精度，則進行二次預測處理。 框内預測模式為水平預測模式之情形時，:=中； 定係特定之組合，處理進八至步驟⑻。即 、“ 像料度，料行二幻貞測處理。 進而，即使水平方向或垂 像素精度，於框内預测模°之移動向量資訊為小數 步驟則中亦判定係特定之\為入D =測模式之情形時，於 即，於框内制模式為DC預;^ 方向或垂直方向之移動向量資訊均^情形時，即使水平 行二次預測處理。 =數像素精度，亦進 於步驟S81中，鄰接像素預 ’、3以所選擇之框内預測 I45450.doc • 6〇 - 201127066 杈式，進行使用差分之框内預測處理。所生成之差分之框 内圖像係作為殘差信號之預測圖像而輸出至二次殘差生成 部82中。 於步驟S82中，二次殘差生成部82生成二次殘差。所生 成之二次殘差被輸出至交換器84中。交換器84根據步驟 2中之判定結果，將來自二大殘差生成部82之二次殘差 輸出至移動預測/補償部75中。再者’步驟训及M2之處 理係與步驟S75及S76之處理相同之處理。 鄰接像素預測部83於步驟S83中，判定針對所有框内預 測模式之處理是否已結束’㈣定為尚未結束之情形時， 返回至步驟S79,重複其後之處理。 當於步驟S83中判定為針對所有框内預測模式之處理已 結束時，處理進入至步驟S84。 於步驟S84中，移動預測/補償部75比較來自二次預測部 =各㈣預測模式之二次殘差，將其中被認作編碼效; .則模ΐ—Γ殘差之框内預測模式決定為對象區塊的框内預 測模式。即，決玄_ Α β ν 识 對象£塊之u — 最小之框内預測模式作為 對冢塊之框内預測模式。 於步驟85中’移動預測/補償部75 框内預測模式之A 权所决疋之 Ί 人殘差與一次殘差，決定是否使 a 預測。即，於判定為二次殘差之編碼效率更 ^人 歧使用二次預測，且進行㈣處理^像與’ 差刀作為預測圖像成為框間預測的候補。&，於: 次殘差之編碼效率f】疋為一 文羊更佳之情形時，決定不使用二次預測， 145450.doc •61- 201127066 且步㈣3或S78中所求出之 補。 像成為框間預測之候 即，僅於二次殘差較—次殘差提 形時，對二次殘差進彳、阿之編碼效率之情 再去Μ 了編碼，並將其傳送至解碼側。 再者，於步驟S85中，比較殘差自 者判定為編碼效率較佳，亦可藉由計 述可㈣較小 ⑼所示Μ本函數值判定編碼效率較㈣Μ⑺）或式 平=二f於步驟Μ中已判定移動向量資訊係在水 千及垂直方向上均為小數像素精度之情形時， 果輸出至交換器84中，處理進 ’ Λ疋、、’。 於步⑽6中，移動預測/補償部7：r包含l6M6像素 像：之八種之各框間預測模式，根據圖25之步驟如 中所決定之移動向量對參考圖像谁 圆料仃移動預測與補償處 理。藉由該移動預測與補償處理’生成各框間預測模式下 之預測圖像，並成為框間預測之候補。 再者’於圖26之例中，對根據移動向量資訊之精度與框 内預測模式判定是否進行二次預測處理之例進行了說明， 當然，亦可僅根據移動向量資訊之精度判定是否進行二次 預測處理。 又，於圖26之例中，對在水平及垂直方向之移動向量資 訊均為小數像素精度之情形時不進行二次預測處理之例進 行了說明，但於該情形時，只要框内預測模式為dc預測 模式，亦可進行二次預測》 如上述般，於移動向量資訊之精度為小數像素精度之情 -62- 145450.doc 201127066 形時不進行二次預測，因此可抑制伴隨二次預測之編石馬效 率之下降。 又’於移動向量資訊之精度與二次預測之框内預測模式 為特定之組合之情形時，即使移動向量資訊之精度為小數 像素精度，亦根據該組合進行二次預測，因此可提昇編石馬 效率。 經編碼之壓縮圖像係經由特定之傳輸路進行傳輸，且藉 由圖像解碼裝置進行解碼。 [圖像解碼裝置之構成例] 圖27表示作為適用本發明之圖像處理裝置之圖像解碼裝 置之—實施形態的構成。 圖像解碼裝置101包括：儲存緩衝器i丨丨、可逆解碼部 U2、逆量化部113、逆正交變換部114、運算部ιΐ5、解塊 濾波器U6、晝面重排緩衝器117、〇/八變換部ιΐ8、圖框記 憶體119、交換器120、框内預測部121、移動預測/補償部 122、二次預測部丨23、以及交換器i24。 儲存緩衝器111儲存傳輸而來之壓縮圖像。可逆解碼部 IQ對自儲存緩衝器1U所供給之藉由圖2之可逆編碼部66 而編碼之資訊’以與可逆編碼部66之編碼方式相對應之方 - 式進行解碼。逆量化部1Π以與圖2之量化部65之量化方式 相對應之方式，將藉由可逆解碼部112而解碼之圖像逆量 化。逆正交變換部114以與圖2之正交變換部64之正交變換 方式相對應之方式’對逆量化部113之輪出進行逆正 換。 145450.doc •63- 201127066 經逆正交變換之輸出藉由運算部115而與自交換器124所 供給之預測圖像相加而得到解碼。解塊濾波器116於去除 經解碼之圖像之區塊雜訊後，將其供給至圖框記憶體119 加以儲存，並且將其輸出至畫面重排緩衝器u 7中。 畫面重排緩衝器11 7進行圖像之重排。即，將為了編碼 之順序而藉由圖2之畫面重排緩衝器62重排之圖框之順序 重排成原來之顯示之順序。D/A變換部11 8對自晝面重排緩 衝益117所供給之圖像進行D/A變換，並將其輸出至未圖示 之顯示器加以顯示。 父換器120自圖框記憶體119讀出進行框間處理之圖像與 所參考之圖像，並將該等輸出至移動預測/補償部丨22，並 且自圖框δ己憶體119讀出用於框内預測之圖像，並將其供 給至框内預測部121。 將對標頭資訊進行解碼而獲取之表示框内預測模式之資 Λ自可逆解碼部i i 2供給至框内預測部i 2】中。框内預測部 121根據3資afl生成預測圖像，並將所生成之預測圖像輸 出至交換器124中。 將對枯頭資Λ進行解碼而獲取之資訊中之預測模式 移動向ΠΚ、參考圖框資訊等自可逆解碼部11 2 給士移動預測/補償部122中。於供給有表示框間預測模 之資訊之it形時，移動預測/補償部m判定移動向量資 是否為整數像素精度。再去 丹者，於針對對象區塊適用二次 測處理之情形時，亦可胳矣- 了將表不進行二次預測之二次預测 標與二次預測中之框内 T貝別模式資訊自可逆解碼部122, 145450.doc -64 - 201127066 給至移動預測/補償部122中。 :移動向量資訊為整數像素精度之情形時移 補儐部m進而參考來自可逆解碼部a 、 立丨中θ太、电m 人預測旗標， ，否適用二次預測處理。移動預測/補償部 為❹二次預測處理之情形時，控制二次預測部123，= 一次預測中之框内預測模式資訊 二次預測。 彳不之框内預測模式進行 移動預測/補償部122根據移動向 料岡推— > 里貧5fl與參考圖框資訊 對圖像貫施移動預測與補償處理，生成預測圖像。即，董 象區塊之預測圖像係使用參考圖框中，藉由 應於對象區塊之來考區^ m ° 子 尾塊之像素值而生成。然 測/補償部122將所生成之預測圖像盘 夕拓、日丨¥、 豕/、果自一次預測部123 之制差“直相加，並將所得值輸出至交換器124中。

Jit面，於移動向量資訊為小數像素精度之情形或未 應用一矢預測處理之情形時，移動 次 夕勒預測/補償部122根據移 向里負訊與參考圖框資訊對圖像 . 像貫她移動預測與補償處 =制时。㈣㈣/補償部122將由框㈣測模 式所生成之預測圖像輸出至交換器124中。 像：=!123使用自圖框記憶體119所讀出之對象鄰接 部123稽敢鄰接像素之差分進行二次預測。即，二次預測 =_取自可逆解碼部112所供給之二次預測中之框内預 =式的資訊’並以該資訊所示之框内預測模式針對對象 行框内預測’生成框内預測圖像。所生成之框内預 ’、象係作為預測差分值而輸出至移動預測補償部122 I45450.doc -65- 201127066 中。 交換器124選擇由移動預測/補償部122或框内預測部I〗i 所生成之預測圖像（或預測圖像與預測差分值），並將其供 給至運算部11 5。 [二次預測部之構成例] 圖28係表示二次預測部之詳細之構成例的方塊圖。 於圖28之例中，二次預測部123包括：相對於對象區塊 之鄰接像素緩衝器丨41、相對於參考區塊之鄰接像素緩衝 器142、鄰接像素差分計算部丨43、以及預測差分值生成部 144 ° 移動預測/補償部122於移動向量資訊為整數像素精度之 隋形時，將對象區塊之資訊（位址）供給至相對於對象區塊 之鄰接像素緩㈣⑷中，並將參考區塊之資訊（位址）供給 至相對於參考區塊之鄰接像素緩衝器142中。再者，供給 至相對於參考區塊之鄰接像素緩衝器142中之資訊亦；： 對象區塊之資訊與移動向量資訊。 於相對於對象區塊之鄰接像素緩衝器141中，對應於 象區塊之位址，自圖框記憶體】】”讀出相對於對：區 之鄰接像素，並加以儲存。 ^相對於參考區塊之鄰接像素緩衝器】42中，對靡於 考區塊之位址，自圖框記憶體丨 鄰接像素，並加以儲存。 ㈣參考區塊:

鄰接像素差分計算部丨43自相 衝器1 41中讀出相對於對象區 對於對象區塊 塊之鄰接像素 之鄰接像素 。又，鄰接 145450.doc -66- 201127066 像素差刀。十算σρ 143自相對於參考區塊之鄰接像素緩衝器 142 U相對於藉由移動向量而對應於對象區塊之泉考 區塊的鄰接像素。鄰接像素差分計算部143將相對於對象 區塊之鄰接像素與相對於參考區塊之鄰接像素之差分即鄰 接像素差分值儲存於未㈣之内置緩衝器中。 預測差分值生成部144以自可逆解碼部u2所獲取之二次 預測中之框内制模式，❹鄰接像素差分計算部143之 内置緩衝H中所儲存之鄰接像素差分值進行作為二次預測 的框内預測，生述,、目,丨i八Afc 、 成預測差分值。預測差分值生成部144將 所生成之預測差分值輸出至移動預測/補償部⑵中。 一再者K 28之例之預測差分值生成部144令的進行作為 二次預測之框内預測之電路可與框内預測部i2i之電路共 用。 其次，對移動預測/補償部122及二次預測部123之動作 進行說明。 移動預測/補償部122獲取關於對象區塊之移動向量資 訊:於該值為小數像素精度之情形時，並未針對對象區塊 進仃二次預測，因此進行通常之框間預測處理。 另-方面，於移動向量資訊之值為整數像素精度之情形 b ’根據藉由可逆解碼部112而解碼之二次預測旗標判定 =否針對對象區塊進行了二次預測。於進行了二次預測之 形時’於圖像料裝置1()1中，進行基於二次預測之框 、彳處S &並未進行二次預測之情形時，於圖像解碼 置101中，進行通常之框間預測處理。 l45450.d〇c •67- 201127066 此處，將對象區塊之像素值設為[A]、將參考區塊之像 素值設為[A，]、將對象區塊之鄰接像素值設為[B]、將參考 區塊之鄰接像素值設為[B，]。又，若將m〇de設為九種框内 預測模式之中之任·者，並將由框内預測所生成之值設為 表示Ipred(X)[m〇de]，則於圖像編碼裝置51甲被編碼之二 次殘差[Res]係以下式（73)表示。 [Res]=(A-A')-Ipred(B-B')[mode] ...(73) 若將該式（73)變形，則變成式（74)β A=[Res]+A'+Ipred(B-B')[mode] ...(74) 即，於圖像解碼裝置ιοί中，預測差分值Ipred(B_ B')[mode]係於二次預測部123中生成’並被輸出至移動預 測/補償部122中。又，參考區塊之像素值[A，]係於移動預 測/補償部122中生成。而且，將該等輸出至運算部ιΐ5 中，並與二次殘差^以]相加，其結果，如式（7句所示般， 可求出對象區塊之像素值[A]。 [圖像解碼裝置之解碼處理之說明] 其次，參考圖29之流程圖對圖像解碼裝置1〇1所執行之 解碼處理進行說明。 於步驟S131中，儲存緩衝器U1儲存傳輸而來之圖像。 於步驟SU2中，可逆解碼部112對自儲存緩衝器ιη所供給 之壓縮圖像進行解碼。即，對藉由圖2之可逆編碼部66而 編碼之I畫面、P晝面以及B晝面進行解碼。 此時，只要對移動向量資訊、參考圖框資訊、預測模式 資。凡一 人預測旗標、以及表示一次預測中之框内預測模 145450.doc • 68· 201127066 式之資訊等進行編碼，财對該等進行解碼。 模式f訊為框内預職式資訊之情形時，預 訊被供給至框内預測部⑵t。於預測模式資訊 =!測模式資訊之情形時，與預測模式資訊相對應之 ° :資λ及參考圖框資訊被供給至移動預測/補償部 ▲中。此日夺’只要藉由圖2之可逆編碼部66而編碼，則二 广預測旗標被供給至移動預測/補償部122十，表示二次預 測中之框内預測模式之資訊被供給至二次預測部⑵中。 於步驟S133中，逆量化部113以與圖2之量化⑽之特性 =應之特性，將藉由可逆解碼部112而解碼之變換係數 里化。於步驟S134中，逆正交變換部114以與圖2之正交 ^換部Μ之特性相對應之特性’對藉由逆量化部⑴而逆 量化之變換係數進行逆正交變換。藉此，與圖2之正交變 換部Μ之輸人（運算部63之輸出）相對叙差分資訊得到解 碼。 於步驟S135中，運算部115將於後述之步驟训之處理 中所選擇之經由交換器124而輸入的預測圖像與差分" 相加。藉此，原來之圖像得到解碼。於步驟⑴艸，解塊 遽波器U6對自運算部115所輸出之圖像進行濾波。藉此去 除區塊雜訊。於步驟sm中，圖框記憶體119儲存2渡波 之圖像。 1 於步驟S138中，框内預測部121或移動預測/補償部122 對應於自可逆解碼部U2所供給之預測模式資訊，分別進 行圖像之預測處理。 145450.doc •69· 201127066 即 形時 理。 ，於自可逆解碼部112供給有框内 $ I円預測模式資訊之情 ，框内預測部121進行框内預測模 供忒之框内預測處 於自可逆解碼部112供給有框間預 识列模式資訊之情形 時’移動預測/補償部12 2進行框間預測磁々 了貝叫模式之移動預測.補 償處理。再者，此時，於移動預測/補償部122中，參考移 動向量資訊之精度或二次預測旗標，進行基於二次預測之 框間預測處理或通常之框間預測處理。 步驟S138中之預測處理之詳細情況將參考圖細後述。 藉由該處理，將藉由框内預測部121所生成之預測圖像、 或藉由移動預測/補償部122所生成之預測圖像（或預測圖像 與預測差分值）供給至交換器124中。 於步驟S139中，交換器124選擇預測圖像。即，供給藉 由框内預測部m所生成之預測圖像、或藉由移動預測/補 償部⑵所生成之預測圖像。因&，選擇所供給之預測圖 像並將其供給至運算部i丨5，然後如上述般，於步驟S 1 中使其與逆正交變換部114之輸出相加。 於步驟S1 40中，畫面重排緩衝器117進行重排。即，將 為了編碼而藉由圖像編碼裝置5 i之畫面重排緩衝器62重排 之圖框之順序重排成原來之顯示之順序。 於步驟S141令，D/A變換部118對來自畫面重排緩衝器 圖像進行D/A變換。將該圖像輸出至未圖示之顯示器 而顯示圖像。 [預測處理之說明] "_人’參考圖30之流程圖對圖29之步驟Sl；38之預測處理 145450.doc 201127066 進行說明。 框内預測部12 1於步驟S 1 71中，判定對象區塊是否被框 内編碼。若自可逆解碼部112將框内預測模式資訊供給至 框内預測部121中，則框内預測部121於步驟ι71中，判定 為對象區塊已被框内編碼，處理進入至步驟S 172。 框内預測部121於步驟S 17 2中獲取框内預測模式資訊， 並於步驟S 1 73中進行框内預測。 即，於處理對象之圖像為進行框内處理之圖像之情形 時，自圖框記憶體119讀出所需之圖像，並經由交換器12〇

供給至框内預測部121中。於步驟S173中，框内預測部IB 根據步驟S172中所獲#之框内預測模式f訊進行框内預 測’生成預測圖像。所生成之預測圖像被輸出至交換器 124中。 、。 另一方面，當於步驟S171中判定為未被框内編碼時 理進入至步驟S174 於步驟Sl74巾，移動„/補償部122獲取來 部112之預測模式資訊等。 解碼 於處理對象之圖像為所要進行框間處理之圖像的情形 自可逆解碼部112將框間預測模式資訊、參考圖框資 形時移=量資訊供給至移動預測/補償部122中。於此情 模^驟S174中’由移動_/補償部122獲取框間預 測模式-貝訊、參考圖框資訊、移動向量資訊。 驟補償部122參考所獲取之移動向量資訊，於步 中，判定針對對象區塊之移動向量資訊是否為整數 145450.doc -71 - 201127066 像素精度。再去，# @ / 者之移動向量資二:：時’只要水平及垂直方向之任- 針對對象區塊之移像素精度，則於步驟sm中判定 告 **量資讯為整數像素精度。 虽於步驟3175中判定 整數像素精度之情料，g _ 向量㈣並非 動向量資笊A丨* '疋水平及垂直方向兩者之移 動^貝4錢像㈣度時，處職 於步驟S1764^，你# ^ ^ 0 測。即，於虛移動預測/補償部122進行通常之框間預 像的象之圖料所要進行㈣ 1制處理之圖 像的情形時，白同4r· _x t 由n 169中讀出所需之W像，並經 : 0供給至移動預測/補償部122中。於步驟S176 曰’移動預測/補償部122根據步驟S174中所獲取之移動向 S ’進行框間預測招 “、 描式之移動預測，並生成預測圖像。所 成之預測圖像被輸出至交換器124。 ^當於步驟Sl75中判定針對對象區塊之移動向量資訊 為t數像素精度之情形時，處理進入至步驟S177。 再者，只要藉由圖像編碼裝置51予以編碼，則二次預測 旗標會被供給至移動預測/補償部122，且表示二次預測中 之框内預測模式之資訊會被供給至二次預測部⑴。 移動預測’補償部122於步驟sm中，獲取自可逆解碼部 12所仏，'。之—_欠預測旗標，於步驟S178中，判定是否針 對對象區塊適用二次預測處理。 田於步驟S178中判定並未針對對象區塊適用二次預測處 理時，處理進入至步驟S176，並進行通常之框間預測處 理。當於步驟S178中判定針對對象區塊適用二次預測處理 145450.doc •72- 201127066 時’處理進入至步驟S179。 移動預測/補償部122於步驟S179中，使二次預測部123 獲取自可逆解碼部112所供給之表示二次預測中之框内預 測模式的資訊。對應於此，二次預測部123於步驟S 1 8 0 中’進行二次框間預測處理作為基於二次預測之框間預測 處理。該二次框間預測處理將參考圖3丨而後述。 藉由步驟S 1 80之處理，進行框間預測而生成預測圖像， 並且進行二次預測而生成預測差分值，將該等相加後輸出 至交換器124。 其次’參考圖3 1之流程圖對圖3 〇之步驟s 1 8 〇中之二次框 間預測處理進行說明。 於步驟S 19 1中，移動預測/補償部122根據圖3 0之步驟 S 1 74中所獲取之移動向量，進行框間預測模式之移動預 測，生成預測圖像。 又，移動預測/補償部122將對象區塊之位址供給至相對 於對象區塊之鄰接像素緩衝器141中，將參考區塊之位址 供給至相對於參考區塊之鄰接像素緩衝器142中。於相對 於對象區塊之鄰接像素緩衝器141中，對應㈣象區塊之 位址，自圖框記憶體119中讀出相對於對象區塊之鄰接像 素並加以儲存。於相對於參考區塊之鄰接像素緩衝器 142中’對應於參考區塊之位址，自圖框記憶體119中讀出 相對於參考區塊之鄰接像素，並加以儲存。 鄰接像素差；7 a十算部143自相對於對象區塊之鄰接像素 緩衝器141中讀出相對於對象區塊之鄰接像素，並自相對 145450.doc -73- 201127066 於參考區塊之鄰接像素緩衝器142中讀出相對於與對象區 塊相對應之參考區塊的鄰接像素。於步驟5〗92中，鄰接像 素差分計算部14 3計算出相對於對象區塊之鄰接像素與相 對於參考區塊之鄰接像素之差分即鄰接像素差分值，並將 其儲存於内置之緩衝器中。 於步驟s193中，預測差分值生成部144生成預測差分 P預測差分值生成部144以圖30之步驟s 1 79中所獲 之人預測t的框内預測模式，使用鄰接像素差分計算 部143之緩衝器令所儲存之鄰接像素差分值進行框内預 測’生成制差分值1生成之制差分值被輸出至移動 預測/補償部〗22中。 :步驟S1 94中’移動預測/補償部i 22將步驟$⑼中所生 成之預測圖像與來自預測差分值生成部144之預測差分值 相加’並輸出至交換器124中。 ▲該制圖像與預測差分值係於圖29之步驟su9中，藉由 父換益124而作為預測圖像輪出至運算部⑴中。而且"亥 預測圖像與預測差分值於圖29之步驟sm中，藉由運算:; ⑴而與來自逆正交變換部114之差分資訊相 區塊之圖像被解碼。 猎此對象 如上述般’於圖像編碼裝置51及圖像料裝置⑼中， 於移動向量之精度為小數像素精度之情形時，Μ 預測，因此可抑制伴隨二次預測之編碼效率之下降。—人 又’於為小數料料之㈣時， 標，因此可提昇二次預測之情形時之編碼效率：： I45450.doc 201127066 為小數像素精度之情形時，無需前去觀察二次預測旗標， 因此可削減該處理，圖像解碼裝置101之處理效率提高。 再者，於上述說明中，以H.264/AVC方式之框内4χ4預 測模式為例進行了說明’但本發明並不限定於此，可適用 於進行以區塊為基礎之移動預測·補償之所有編碼裝置及 解碼裝置。又，本發明亦可適用於框内8χ8預測模式、框 内16x16預測模式、以及相對於色差信號之框内預測模 式。 進而，本發明不僅可如H 264/AVC方式般，適用於進行 像素精度之移動預測之情形，亦可如ΜρΕ〇般，適用於 進行1/2像素精度之移動預測之情形。或者，本發明亦可 如非專利讀1巾所記驗，適詩進行1/s像素精度之移 動預測之情形。 • 万式作為編碼 其他編碼方式/解碼方式 -再者，本發明例如可如MPEG、H26x等般，適用於經由 廣播有線電視、網際網路、或行動電話等網路媒體 f收藉由離散餘弦變換等正交變換與移動補償而壓縮之圖 =寅訊（位元流）時所使料®像編碼裝置及圖像解碼裝 。又：可適用於在如磁光碟及快閃記憶體之類的儲存媒 進订處理時所使用之圖像編碼裝置以及圖像解碼裝

進而，本發明亦可適用於該等圖像编w 3 A 碼裝置等中所勺人 ㈣裝置及圖像解 寺中所包3之移動預測補償裝置。 上述一系列處理可藉由硬體執行，亦可藉由軟體執行。 145450.doc -75- 201127066 於藉由軟體執行一系列處理之情形時，將構成該軟體之程 式安裝於電腦中。此處，電腦包括組裝入專用硬體中之電 腦、藉由安裝各種程式而可執行各種功能之通用之個人電 腦等。 圖32係表示利用程式執行上述一系列處理之電腦之硬體 之構成例的方塊圖。 於電腦中，CPU(Central Processing Unit，中央處理單 疋）301、R〇M(Read Only Memory，唯讀記憶體）3〇2、 RAM(Random Access Memory，隨機存取記憶體）3〇3係藉 由匯流排304而相互連接。 匯流排304上進而連接有輸入輸出介面3〇5。輸入輸出介 面305上連接有輸入部3〇6、輸出部3〇7、儲存部3〇8、通訊 部309、以及驅動器31〇。 輸入部306包含鍵盤、滑鼠、麥克風等。輸出部307包含 顯示器、揚聲器等。儲存部308包含硬碟或非揮發性之記 憶體等。通訊部309包含網路介面等。驅動器31〇驅動磁 碟、光碟、磁光碟或半導體記憶體等可移動媒體3ιι。 於以上述方式構成之電腦中，cpU3G1例如將儲存部 中所儲存之各式經由輸人輸出介面3()5及匯流排则載入至 RAM303中加以執行，藉此進行上述一系列之處理。 媒所執行之程式例如可記錄於作為套裝軟體 #之可移動媒體311中而加以提供。X，程式可經由 區域網路、網際網路、 媒體而加以提供。録廣播之類的有線或無線之傳輸 i45450.doc •76· 201127066 於電細中，程式可藉由將可 移動媒體311安裝於驅動器 310 ’並經由輸入輸出介面 . 而文裝於儲存部3 08中。 又，程式可經由有線或無線傳 1寻叛媒體，由通訊部309接 收而安裝於儲存部308中。除敁从 丨示此以外’程式可預先安裝於 ROM302或儲存部308中。 再者’電腦所執行之程式可A柢士 #。本丄 飞J马按本說明書中所說明之順 序以時間序列進行處理的程放 J往式亦可為並列地、或以已進 行調用時等之必要時序進行處理之程式。 本發明之實施形態並不限定於上 丨队足％上述貫施形態，可於不脫 離本發明之主旨之範圍内進行各種變更。 【圖式簡單說明】 圖1係說明框間預測中之二次預測方式之圖。 圖2係表示適用本發明之圖像編碼裝置之一實施形態之 構成的方塊圖。 圖3係說明可變區塊尺寸之移動預測補償處理之圖。 圖4係說明1/4像素精度之移動預測.補償處理之圖。 圖5係說明多參考圖框之移動預測，補償方式之圖。 圖6係說明移動向量資訊之生成方法之例的圖。 圖7係表示圖2之二次預測部之構成例的方塊圖。 圖8係說明二次預測之情形時之由小數像素精度之移動 向量所引起之預測效率之下降的圖。 圖9係說明二次預測之情形時之由小數像素精度之移動 向量所引起之預測效率之下降的圖。 圖10係5兒明圖2之圖像編瑪裝置之編碼處理的流程圖。 I45450.doc •77· 201127066 圖11係說明圖10之步驟S21之預測處理的流程圖。 圖12係說明16 X 16像素之框内預測模式之情形之處理順 序的圖。 圖13係表示亮度信號之4x4像素之框内預測模式之種類 的圖。 圖14係表示亮度信號之4x4像素之框内預測模式之種類 的圖。 圖15係說明4X4像素之框内預測之方向的圖。 圖16係說明4x4像素之框内預測之圖。 圖1 7係說明亮度信號之4x4像素之框内預測模式之編碼 的圖。 圖1 8係表示亮度信號之8 X 8像素之框内預測模式之種類 的圖。 圖19係表示亮度信號之8x8像素之框内預測模式之種類 的圖。 圖2〇係表示亮度信號之16x16像素之框内預測模式之種 類的圖。 圖21係表示亮度信號之16x16像素之框内預測模式之種 類的圖。 圖22係說明16><16像素之框内預測之圖。 圖2 3係表示色差信號之框内預測模式之種類的圖。 圖24係說明圖11之步驟S31之框内預測處理的流程圖。 圖25係說明圖11之步驟S32之框間移動預測處理的流程 圖0 145450.doc -78· 201127066 圖26係說明圖25之步驟S52之移動預測/補償處理的流程 圖。 圖27係表示適用本發明之圖像解碼裝置之一實施形態之 構成的方塊圖。 圖28係表示圖27之二次預測部之構成例的方塊圖。 圖29係說明圖27之圖像解碼裝置之解碼處理的流程圖。 圖30係說明圖29之步驟S138之預測處理的流程圖。 圖3 1係說明圖30之步驟S 1 80之二次框間預測處理的流程 圖。 圖32係表示電腦之硬體之構成例的方塊圖。 【主要元件符號說明】 51 圖像編碼裝置 66 可逆編碼部 72 圖框記憶體 74 框内預測部 75 移動預測/補償部 76 一次預測部 77 移動向量精度判定部 78 預測圖像選擇部 81 一次殘差緩衝器 82 二次殘差生成部 83 鄰接像素預測部 84 交換器 101 圖像解瑪裝置 145450.doc -79- 201127066 112 可逆解碼部 121 框内預測部 122 移動預測/補償部 123 二次預測部 124 交換器 141 相對於對象區塊之鄰接像素缓衝器 142 相對於參考區塊之鄰接像素緩衝器 143 鄰接像素差分計算部 144 預測差分值生成部 145450.doc -80-

Claims (1)

1. 201127066 七、申請專利範圍： 一種圖像處理裝置，其包括·· 一次預測機構，其係於對象圖框中之對象區塊之移動 向里資之精度為整數像素精度之情形時，在下述2個 差分資訊之間進行二次預測處理並生成二次差分資訊， 該2個差分資訊係指上述對象區塊與參考圖框中藉由上 述移動向量資訊而對應於上述對象區塊之參考區塊的差 資及鄰接於上述對象區塊之對象鄰接像素與鄰接 於上述參考區塊之參考鄰接像素的差分資訊；以及 編碼機構，其係對藉由上述二次預測機構所生成之上 述二次差分資訊進行編碼。 2. 3. 包括編碼效率判定機 訊之編碼與藉由上述 分資訊之編碼中何者 如請求項1之圖像處理裝置，其更 構，其係判定上述對象圖像差分資 二次預測機構所生成之上述二次差 之編碼效率較佳； 上述編碼機構係僅於藉由上述編竭效率判定機構判定 二Ϊ二次差分資訊之編碼之編碼效率較佳之情形時， 對藉由上述二次預測機構所生成之二次 示進行上述二次預測處理之二次預測旗標 : 如請求項2之圖像處理裝置，其中 .丁、為碼 上述二次預測機構係於上述對象 尾之移動向量資訊 之垂直方向之精度為小數像素精度之情形、 ，一" 預測處理中之框内預測模式為 槿且上述：次 進行上述二次預測處理。 之情形時’ 145450.doc 201127066 4’女-月求項2之圖像處理裝置，其中 之次預測機構係於上述對象區塊之移動向量資訊 向之精度為小數像素精度之情形、且上述二次 預測處理中夕拖免,n, t 、― 預測模式為水平預測模式之情形時， 進行上述二次預測處理。 5. 6. 如》月求項2之圖像處理裝置，其中 上述二次預測機構係於上述對象區塊之移動向量資訊 之垂直方向及, 向的至少一者之精度為小數像素精 又月形、且上述二次預測處理中之框内預測模式為DC 預測模式之情形時，進行上述二次預測處理。 如請求項1之圖像處理裝置，其中 上述二次預測機構包括： 鄰接像素預測機構’其係使用上述對象鄰接像素與上 述參考鄰接像素之差分資訊進行預測，並生成相對於上 述對象區塊之框内預測圖像；以及 二次差分生成機構，其係將上述對象區塊與上述參考 區塊之差分資訊、與藉由上述鄰接像素預測機構所生成 之上述框内預測圖像進行差分’生成上述二次差分資 訊0 一種圖像處理方法，其係包括下述步驟·· 由圖像處理裝置於對象圖框中之對象區塊之移動向量 資。fl之精度為整數像素精度之情形時，在下述2個差分 資訊之間進行二次預測處理並生成二次差分資訊，該2 個差分資訊係指上述對象區塊與參考圖框中藉由上述移 145450.doc 201127066 動向量資訊而對應於上述對象區塊之參考區塊的差分資 訊、及鄰接於上述對象區塊之對象鄰接像素與鄰接於上 述參考區塊之參考鄰接像素的差分資訊，且 對藉由上述二次預測處理所生成之上述二次差分資訊 進行編碼。 8. 一種圖像處理裝置，其包括： 解碼機構’其係對經編碼之對象圖框中之對象區塊的 圖像' 與參考圖框中針對上述對象區塊所檢測出之移動 向量資訊進行解碼； 一-欠預測機構’其係於藉由上述解碼機構而解碼之上 述移動向量資訊為整數像素精度之情形時，使用鄰接於 上述對象區塊之對象鄰接像素、與鄰接於上述參考圖框 中藉由上述移動向量資訊而對應於上述對象區塊之參考 區塊之參考鄰接像素的差分資訊進行二次預測處理，並 生成預測圖像；以及 運算機構，其係將上述對象區塊之圖像、藉由上述二 人預測機構所生成之上述預測圖像、與根據上述移動向 量資所求itj之上述參考區塊之圖像相加，生成上述對 象區塊之解碼圖像。 9. 如明求項8之圖像處理裝置，其中 上述二次預測機構係獲取藉由上述解碼機構予以解碼 之表不進仃上述二:欠預測處理之二次額旗標，並根據 上返一-人預測旗標進行上述二次預測處理。 10. 如請求項9之圖像處理裝置其中 I45450.doc 201127066 上述二次預測處理 上述二次預測機構係於上述對象區塊之移動向量資訊 之垂直方向之精度為小數像素精度之情形、且藉由上述 解碼機構而解碼之上述：次制處理t之框㈣測模式 為垂直預測模式之情形時，根據上述：次預測旗標進; 11.如請求項9之圖像處理裝置，其中 上述二次預測機構係於上述對象區塊之移動向量資訊 之水平方向之精度為小數像素精度之情形、且藉由上述 解碼機構而解碼之上述二次預測處理中之框内預測 為水平預測模式之情形時，根據上述：次預測旗標㈤ 上述二次預測處理。 I2.如請求項9之圖像處理裝置，其中 上述二次預測機構係於上述對象區塊之移動向量資1 之垂直方向及水平方向的至少—者之精度為小數像素精 度之情形、且藉由上述解碼機構而解碼之上述二次預測 處理中之框内預測模式SDC預測模式之情形時，根據上 述二次預測旗標進行上述二次預測處理。 13_ -種圖像處理方法，其包括下述步驟： 由圖像處理裝置對經編碼之對象圖框中之對象區塊之 圖像、與參考圖框中針對上述對象區塊所檢測出之移動 向量資訊進行解碼， 於左解石馬之上述移動向量資訊為整數像素精度之情形 時’使用鄰接於上述對象區塊之對象鄰接像素、與鄰接 於上述參考圖框中藉由上述移動向量資訊而對應於上述 145450.doc 201127066 對象區塊之參考區塊之參考鄰接像素的差分資訊進行 次預測處理，並生成預測圖像，且 將上述對象區塊之圖像、所生成之上述預測圖像與 Γ據：Γ移動向量資訊所求出之上述參考區塊之圖像相 上述對象區塊之解碼圖像。 I45450.doc