TWI616090B

TWI616090B - 使用運算資料共用的高效率視訊編碼畫面內預測方法及其架構

Info

Publication number: TWI616090B
Application number: TW106121282A
Authority: TW
Inventors: 李宇軒; 林奕齊; 蔡芳旭
Original assignee: 元智大學
Priority date: 2017-06-26
Filing date: 2017-06-26
Publication date: 2018-02-21
Also published as: TW201906407A

Abstract

本發明提出一種使用運算資料共用的高效率視訊編碼畫面內預測方法及其架構，包括以下步驟：控制器產生所要運算的位置、第一參數及第二參數；第一暫存器儲存一影像圖框的複數參考像素值；複數內插運算單元在Angular模式下，對於從控制器所要運算的位置、第一參數及第二參數與影像圖框的複數參考像素值進行內插運算，以輸出複數預測位置；第二暫存器儲存從複數內插運算單元傳遞過來的複數參考影像值；以及加法器在Planar模式下，對於第二暫存器所儲存之複數參考影像值進行運算，輸出複數Planar值，並且在DC模式下，輸出複數參考影像值之一DC值。

Description

使用運算資料共用的高效率視訊編碼畫面內預測方法及其架構

本發明係關於一種使用運算資料共用的高效率視訊編碼畫面內預測方法及其架構。

隨著科技進步，網路以及數位多媒體技術的蓬勃發展，人們對於影像解析度要求越來越高，高畫質的影音串流比例也越來越多。以致多媒體檔案以及影像的傳輸能力成為很重要的一部分，亦被視為主要發展的議題之一，而視訊壓縮編碼就是因此而生。

視訊壓縮標準至今日已經有一段時間的發展，例如，ITU-T組織的H.261、H.262、H.263；ISO/IEC組織的MPEG系列；Google的VPX；亦或是RealNetwork的rmvb等。目前市面上最常使用的H.264/AVC是由ITU-T的VCEG(Video Coding Experts Group)和ISO/IEC的MPEG(Motion Picture Experts Group) 所組成的JCT-VC(Joint Collaborative Team on Video Coding)所共同制定的一套視訊壓縮標準。

然而，面對最新的高解度UHD(4k×2k)影像或是已有的HD(720p和1080p)影像，H.264/AVC已經不敷使用，因此，JCT-VC從2010年開始開始著手研發新一代的視訊壓縮標準HEVC(High Efficiency Video Coding)，以H.264/AVC編碼架構為基礎，提供了更多的預測模式、可變編碼單位(quatree coding unit)、可調的轉換單位(quatree transform unit)等，目標是比H.264/AVC減少50%的位元率(bitrate)，提升壓縮效率，改善高解析度影像所帶來的網路傳輸頻寬需求和影片檔案大小的問題。

在HEVC標準中，比起上一代的H.264/AVC有更多的方法來減少位元率，其中，在畫面內預測(Intra Prediction)中，H.264/AVC使用8個預測方向共9個模式，HEVC則增加到了33個方向一共35個模式。在H.264/AVC中，畫面內預測使用的編碼單位只有4× 4和16 ×16兩種大小；但是在HEVC中所用的有4 ×4、8 ×8、16 ×16、32 ×32、64 ×64五種大小，每一種大小的編碼單位都還要再去做畫面內預測，接著還需要做轉換(transform)、量化(quantization)以及熵編碼(entropy coding)，所以，複雜度遠遠超過H.264/AVC，尤其在畫面內預測這塊，有必要降低其運算複雜度。

因此，如何針對畫面內預測所產生之上述缺點提出改良方法及硬體架構，以提升整體的效率及降低硬體成本，實為當前重要課題之一。

鑒於前述之習知技術的缺點，本發明之主要目的係提供一種圖框速率提升轉換方法及期架構，採用預測即補償的方式，大幅提升了預測精準度。

為達到前述之目的，本發明提出一種使用運算資料共用的高效率視訊編碼(high efficiency video coding, HEVC)畫面內預測(intra prediction)方法，包括以下步驟：藉由一控制器(controller)，產生所要運算的位置(x, y)、第一參數(d)及第二參數(mode)；藉由一第一暫存器(first buffer)，儲存一影像圖框的複數參考像素值；藉由複數內插運算單元(interpolation computing unit)，在一Angular模式下，對於從該控制器所要運算的該位置、該第一參數及該第二參數與該影像圖框的該複數參考像素值進行內插運算，以輸出複數預測位置；藉由一第二暫存器，儲存從該複數內插運算單元傳遞過來的複數參考影像值；以及藉由一加法器(adder)，在一Planar模式下，對於該第二暫存器所儲存之該複數參考影像值進行運算，以輸出複數Planar值，並且在一DC模式下，輸出該複數參考影像值之一DC平均值。

另外，本發明亦提出一種使用運算資料共用的高效率視訊編碼畫面內預測架構，其包括：一控制器(controller)，產生所要運算的位置(x,y)、第一參數(d)及第二參數(mode)；一第一暫存器(first buffer)，儲存一影像圖框的複數參考像素值；複數內插運算單元，在一Angular模式下，對於從該控制器所要運算的該位置、該第一參數及該第二參數與該影像圖框的該複數參考像素值進行內插運算，以輸出複數預測位置；一第二暫存器，儲存從該複數內插運算單元傳遞過來的複數參考影像值；以及一加法器(adder)，在一Planar模式下，對於該第二暫存器所儲存之該複數參考影像值進行運算，以輸出複數Planar值，並且在一DC模式下，輸出該複數參考影像值之一DC平均值。

以下係藉由特定的具體實施例說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。本發明亦可藉由其他不同的具體實例加以施行或應用，本發明說明書中的各項細節亦可基於不同觀點與應用在不悖離本發明之精神下進行各種修飾與變更。

須知，本說明書所附圖式繪示之結構、比例、大小等，均僅用以配合說明書所揭示之內容，以供熟悉此技術之人士瞭解與閱讀，並非用以限定本發明可實施之限定條件，故不具技術上之實質意義，任何結構之修飾、比例關係之改變或大小之調整，在不影響本發明所能產生之功效及所能達成之目的下，均應落在本發明所揭示之技術內容得能涵蓋之範圍內。

以下依據本發明之實施例，描述一種使用運算資料共用的高效率視訊編碼(high efficiency video coding, HEVC)畫面內預測(intra prediction)方法，該方法包括三個核心模式：Angular模式、Planar模式及DC模式，此方法在硬體架構上以及資料運算共用來做改良，以增加硬體效能以及提升影像品質。

以下針對Angular模式做詳細說明：

首先，以4×4的預測單元(prediction unit, PU)為基準，對每一像素位置做所有d值的參考像素以及wy 的分析，如圖1所示之水平方向預測及圖2所示之垂直方向預測。

經過整理後，如圖3所示，可以發現到，不管是在水平方向預測或是垂直方向預測，相鄰兩個位置所使用的參考像素R會重複，並且係數總和為32。

如果加入管線化(pipeline)的運算，就可以把4×4的PU分成4級，第2級開始可以使用第1級運算後的資料，經過調整後即可以做為一參考像素乘積，此後每一級以此類推，可以省去一個乘法運算。

所以，先把4×4 PU的每一位置(PE1,1~PE4,4)，都當作一運算單元(processing element, PE)，每個PE 中都是做畫面內的內插運算。再把這16個PE分成4級的管線化運算，如圖4。

以圖5為例，在垂直方向預測的d=2時，PE1,1運算如下：

) (1)

到了第2級後，PE2,1運算如下：

) (2)

將第1級的2．R2,0傳到第2級，再以位移的方式創造32．R2,0，最後只要用減法運算就可以取代掉原本的乘法運算。而第3級以及第4級也與第2級一樣，使用前一級的運算資料，補數處理後再做運算，結果如下所示：

(3)

(4)

當第4級運算完成後，就可以進行下一垂直方向d值的運算。當17個垂直方向的d值都運算過後，就可以執行水平方向d值運算。

水平方向運算和垂直方向一樣，只是劃分管線化運算的方式有些不同，如圖6。

以下針對Planar模式做詳細說明：

Angular模式的運算方式與Planar模式的運算方式很類似，都是由某倍數的參考像素Rx,0或是R0,y所組成。表1為4×4的PU內之Planar模式的運算都列出來分析：

由表1可知，除了Planar模式的運算與Angular模式的運算類似之外，還可以發現在4×4大小的PU，Planar模式所使用的參考像素R的係數只有0、1、2、3、4五種，除了係數3需要使用乘法運算才能得到之外，0、1、2及4均可以藉由數值的位移來取代乘法運算獲得。表1：4×4的PU進行Planar運算分析

也就是說，如果找到獲得係數3的參考像素R的方法，就可以使Planar模式的運算不用乘法即可完成。

因為Planar模式的運算與Angular模式的運算相似，所以可在Angular模式的運算去做尋找，在Angualr模式下，參考像素R的係數範圍為0~32。

經過分析Angular運算後，雖然發現無法直接獲得係數為3的參考像素R，但是不管水平方向預測或是垂直方向預測，當d=2時，則會產生係數為6的參考像素R，如圖7所示。

只要將係數6的參考像素R提取出後，經過位移做除2運算後就可以獲得係數為3的參考像素R。這樣4×4大小PU的Planar模式運算，就可以不使用任何乘法運算即可以獲得。

圖8為硬體在計算Angular模式時的時序圖，運作情形為一個週期會算出一筆預測資料，由於有加入管線化運作方式，所以會比同時進行的硬體多了3個週期的運行時間。

圖9為硬體在計算Planar模式和DC模式時的時序圖，主要就是在當Angular模式運算時候，要先收集係數為3倍的參考像素R。當收集完成後，就可以直接算出DC模式及Planar模式的值，也就是當Angular模式計算完後，Planar模式和DC模式也會計算完成。

關於本發明之使用運算資料共用的高效率視訊編碼(high efficiency video coding, HEVC)畫面內預測(intra prediction)方法的詳細運算流程，如圖10所示，該方法包括以下步驟S11~S19：步驟S11：藉由一控制器(controller)，產生所要運算的位置(x, y)、第一參數(d)及第二參數(mode)；步驟S13：藉由一第一暫存器(first buffer)，儲存一影像圖框的複數參考像素值；步驟S15：藉由複數內插運算單元(interpolation computing unit)，在一Angular模式下，對於從控制器所要運算的位置、第一參數及第二參數與影像圖框的複數參考像素值進行內插運算，以輸出複數預測位置；步驟S17：藉由一第二暫存器(second buffer)，儲存從複數內插運算單元傳遞過來的複數參考影像值；以及步驟S19：藉由一加法器(adder)，在一Planar模式下，對於第二暫存器所儲存之複數參考影像值進行運算，以輸出複數Planar值，並且在一DC模式下，輸出複數參考影像值之一DC平均值。

此外，本發明亦提出一種使用運算資料共用的高效率視訊編碼畫面內預測架構，其主要硬體架構區塊如圖11所示，該硬體架構包括：一控制器(controller)10，產生所要運算的位置(x, y)、第一參數(d)及第二參數(mode)；一第一暫存器(first buffer)12，儲存一影像圖框的複數參考像素值；複數內插運算單元14，在一Angular模式下，對於從控制器所要運算的位置、第一參數及第二參數與影像圖框的複數參考像素值進行內插運算，以輸出複數預測位置；一第二暫存器(second buffer)16，儲存從複數內插運算單元傳遞過來的複數參考影像值；以及一加法器(adder)18，在一Planar模式下，對於第二暫存器所儲存之複數參考影像值進行運算，以輸出複數Planar值，並且在一DC模式下，輸出複數參考影像值之一DC平均值。

具體而言，一開始在獲得訊號後，就會開始抓取輸入影像值，存入第一暫存器12中，當全部輸入都接收完成後，就會藉由複數內插運算單元進行Angular模式運算及輸出。當33個方向的Angular模式運算都完成後，就會開始進行Planar模式及DC模式運算並輸出Planar模式及DC模式的值。

本發明之使用運算資料共用的高效率視訊編碼畫面內預測架構以特殊應用積體電路(Application-Specific Integrated Circuit, ASIC)方式來實現，先以Verilog硬體描述語言實現本發明之高效率視訊編碼畫面內預測架構的硬體架構，並使用TSMC 0.18um製程實現硬體。

綜上所述，本發明採用管線化運算方式來加強硬體運算效率，並且利用管線化運算的特性，使運算資料能重複使用，不需要重新存取再做運算。因此，本發明之使用運算資料共用的高效率視訊編碼畫面內預測架構能有效地增進硬體效能。

儘管已參考本申請的許多說明性實施例描述了實施方式，但應瞭解的是，本領域技術人員能夠想到多種其他改變及實施例，這些改變及實施例將落入本公開原理的精神與範圍內。尤其是，在本公開、圖式以及所附申請專利的範圍之內，對主題結合設置的組成部分及/或設置可作出各種變化與修飾。除對組成部分及/或設置做出的變化與修飾之外，可替代的用途對本領域技術人員而言將是顯而易見的。

10‧‧‧控制器

12‧‧‧第一暫存器

14‧‧‧複數內插運算單元

16‧‧‧第二暫存器

18‧‧‧加法器

S11~S19‧‧‧步驟

圖1係顯示4×4的預測單元(prediction unit,PU)之水平方向預測之示意圖；圖2係顯示4×4的預測單元之垂直方向預測之示意圖；圖3(a)及圖3(b)係分別顯示4×4的預測單元之水平方向預測及垂直方向預測之示意圖；圖4係顯示4×4的預測單元管線化運作之示意圖；圖5係顯示4×4的預測單元管線化運作(垂直方向預測)之示意圖；圖6係顯示4×4的預測單元管線化運作(水平方向預測)之示意圖；圖7係顯示4×4的預測單元之分析示意圖；圖8係顯示本發明之Angular模式之時序圖；圖9係顯示本發明之Planar模式及DC模式之時序圖；圖10係顯示本發明之一種使用運算資料共用的高效率視訊編碼(high efficiency video coding, HEVC)畫面內預測(intra prediction)方法之流程圖；以及圖11係顯示本發明之一種使用運算資料共用的高效率視訊編碼畫面內預測硬體架構之方塊圖。

S11~S19‧‧‧步驟

Claims

一種使用運算資料共用的高效率視訊編碼(high efficiency video coding, HEVC)畫面內預測(intra prediction)方法，包括以下步驟：藉由一控制器(controller)，產生所要運算的位置(x, y)、第一參數(d)及第二參數(mode)；藉由一第一暫存器(first buffer)，儲存一影像圖框的複數參考像素值；藉由複數內插運算單元(interpolation computing unit)，在一Angular模式下，對於從該控制器所要運算的該位置、該第一參數及該第二參數與該影像圖框的該複數參考像素值進行內插運算，以輸出複數預測位置；藉由一第二暫存器，儲存從該複數內插運算單元傳遞過來的複數參考影像值；以及藉由一加法器(adder)，在一Planar模式下，對於該第二暫存器所儲存之該複數參考影像值進行運算，以輸出複數Planar值，並且在一DC模式下，輸出該複數參考影像值之一DC平均值。
如申請專利範圍第1項所述之使用運算資料共用的高效率視訊編碼畫面內預測方法，其中，在該Angular模式下，基於管線化(pipeline)運算級數來進行該內插運算。
如申請專利範圍第1項所述之使用運算資料共用的高效率視訊編碼畫面內預測方法，其中，該Angular模式包括33個方向預測。
一種使用運算資料共用的高效率視訊編碼畫面內預測架構，包括：一控制器(controller)，產生所要運算的位置(x, y)、第一參數(d)及第二參數(mode)；一第一暫存器(first buffer)，儲存一影像圖框的複數參考像素值；複數內插運算單元，在一Angular模式下，對於從該控制器所要運算的該位置、該第一參數及該第二參數與該影像圖框的該複數參考像素值進行內插運算，以輸出複數預測位置；一第二暫存器，儲存從該複數內插運算單元傳遞過來的複數參考影像值；以及一加法器(adder)，在一Planar模式下，對於該第二暫存器所儲存之該複數參考影像值進行運算，以輸出複數Planar值，並且在一DC模式下，輸出該複數參考影像值之一DC平均值。
如申請專利範圍第4項所述之使用運算資料共用的高效率視訊編碼畫面內預測架構，其中，在該Angular模式下，該複數內插運算單元是基於管線化運算級數來進行該內插運算。
如申請專利範圍第4項所述之使用運算資料共用的高效率視訊編碼畫面內預測架構，其中，每一該複數內插運算單元包括二乘法器或一乘法器搭配一減法器。