[go: up one dir, main page]

TWI577191B - 以脈衝碼調變模式編碼之區塊的濾波技術 - Google Patents

以脈衝碼調變模式編碼之區塊的濾波技術 Download PDF

Info

Publication number
TWI577191B
TWI577191B TW101140787A TW101140787A TWI577191B TW I577191 B TWI577191 B TW I577191B TW 101140787 A TW101140787 A TW 101140787A TW 101140787 A TW101140787 A TW 101140787A TW I577191 B TWI577191 B TW I577191B
Authority
TW
Taiwan
Prior art keywords
block
filtering
filter
indicator
sample
Prior art date
Application number
TW101140787A
Other languages
English (en)
Other versions
TW201325242A (zh
Inventor
梅瑟思 納羅史查克
湯瑪斯 韋迪
西彌 艾森力克
阿南德 柯圖
Original Assignee
太陽專利信託
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 太陽專利信託 filed Critical 太陽專利信託
Publication of TW201325242A publication Critical patent/TW201325242A/zh
Application granted granted Critical
Publication of TWI577191B publication Critical patent/TWI577191B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

以脈衝碼調變模式編碼之區塊的濾波技術 發明領域
本發明係有關於影像之濾波。更明確言之，本發明係有關於解區塊濾波及關於其應用在經PCM編碼樣本。
發明背景
目前大部分標準化視訊編碼演算法皆係植基於混成視訊編碼技術。混成視訊編碼方法典型地組合數種不同無損壓縮及有損壓縮方案以達成期望的壓縮增益。混成視訊編碼也是ITU-T標準(H.26x標準諸如H.261、H.263)以及ISP/IEC標準(MPEG-X標準諸如MPEG-1、MPEG-2、及MPEG-4)。最晚近且最高階的視訊編碼標準目前為標示以H.264/MPEG-4進階視訊編碼(AVC)標準，此乃由聯合視訊小組(JVT)亦即ITU-T群與ISO/IEC MPEG群的聯合小組的標準化努力結果。此種編解碼器係進一步由視訊編碼的聯合協作小組(JCT-VC)以高效視訊編碼(HEVC)的名稱發展，特別係針對改良有關高解像度視訊編碼的效率。
輸入一編碼器的視訊信號乃一串列稱作圖框的影像，各個圖框為一個二維像素矩陣。全部前述標準皆係基於混成視訊編碼，包括將各個個別視訊框細分成由多個像素組成的更小型區塊。區塊大小例如可隨影像內容而異。編碼方式典型地隨每個區塊基準而異。此種區塊的最大可能大小例如於HEVC為64x64像素。故稱作為最大編碼 單位(LCU)。於H.264/MPEG-4 AVC中，巨集區塊(通常標示16x16像素之一區塊)乃基本影像元素，對其執行編碼，可能進一步分割成更小型子區塊，對其施用若干編/解碼步驟。
典型地，混成視訊編碼的編碼步驟包括空間及/或時間預測。據此，欲編碼的各個區塊首先使用其空間鄰近的區塊或時間鄰近的區塊，亦即從先前編碼的視訊框作預測。然後計算欲編碼區塊與其預測間的一差區塊，又稱預測殘差區塊。另一個編碼步驟係將一殘差區塊從空間(像素)域變換成頻域。該變換係針對減少輸入區塊的相關性。進一步編碼步驟為變換係數的量化。於此步驟中，進行實際有損(不可逆)壓縮。通常，已壓縮的變換係數值進一步利用熵編碼而予精簡(無損壓縮)。此外，已編碼視訊信號重建需要的側邊資訊係經編碼且連同已編碼視訊信號提供。側邊資訊例如為有關空間及/或時間預測、量化量等的資訊。
圖1為典型H.264/MPEG-4 AVC及/或HEVC視訊編碼器100之實例。減法器105首先決定一輸入視訊影像(輸入信號s)的欲編碼之一目前區塊與一相對應預測區塊間之差e，其係用作為欲編碼的目前區塊的預測。該預測信號可藉時間預測或空間預測180獲得。預測型別可基於每圖框基礎或基於每區塊基礎而改變。使用時間預測所預測的區塊及/或圖框係稱作為「間」預測，而使用空間預測所預測的區塊及/或圖框係稱作為「內」預測。使用時間預測的預測信號係從儲存在記憶體的先前編碼影像推衍。使用空間 預測的預測信號係從在鄰近區塊的邊界像素值推衍，其先前已經經過編碼、解碼、與儲存在記憶體。輸入信號與預測信號間之差e，標示為預測誤差或殘差，係經變換110，導致係數其係經量化120。然後熵編碼器190施用至量化係數以進一步減少欲以無損方式儲存及/或傳輸的資料量。此點主要係藉施用具有可變長度的碼字組之一代碼而予達成，其中一碼字組的長度係基於其出現機率而選擇。
在視訊編碼器100內部，結合一解碼單元以獲得已解碼(已重建)的視訊信號s’。遵照編碼步驟，解碼步驟包括解量化及反變換130。如此所得預測誤差信號e’因量化誤差而與原始預測誤差信號不同，又稱量化雜訊。然後藉將預測誤差信號e’加140至預測信號獲得重建影像信號s’。為了維持編碼器端與解碼器端間的可相容性，預測信號係基於經編碼接著經解碼的視訊信號獲得，該信號在編碼器與解碼器兩端為已知。
由於量化，量化雜訊係疊置於重建視訊信號。由於逐區塊編碼，故疊置雜訊經常具有區塊特性，特別對強量化尤為如此，疊置雜訊經常導致在解碼影響的可見區塊邊界。此種區塊假影對人類視覺感官具有負面影像。為了減少此等假影，解區塊濾波150係施用至每個重建的影像區塊。解區塊濾波係施用至重建信號s’。舉例言之，H.264/MPEG-4 AVC的解區塊濾波具有本地適應性能力。於高度區塊雜訊之情況下，施用強(窄帶)低通濾波器，而於低度區塊雜訊之情況下，施用較弱的(寬帶)低通濾波器。低通 濾波器的強度係由預測信號及由量化預測誤差信號e’決定。解區塊濾波通常平滑化區塊邊緣，結果導致改良之解碼影像的主觀品質。此外，因影像的濾波部分係用於額外影像的移動補償預測，濾波也減少預測錯誤，因而許可改良編碼效率。
於解區塊濾波後，樣本適應性偏移155及/或適應性迴圈濾波160可施用至含已解區塊信號s”的該影像。解區塊濾波改良主觀品質、樣本適應性偏移(SAO)及適應性迴圈濾波(ALF)係針對改良逐一像素的保真度(「客觀」品質)。更明確言之，SAO依據一像素的緊鄰附近而加一偏移值。適應性迴圈濾波(ALF)係用以補償因壓縮所致的影像失真。典型地，典型地，適應性迴圈濾波為韋納(Wiener)濾波，濾波係數係決定使得重建s’與來源影像s間之均方差(MSE)為最小化。ALF係數可以逐一圖框基準計算及傳輸。ALF可施用至整個圖框(視訊序列的影像)或施用至本地區(區塊)。可傳輸(以區塊為基、以圖框為基、或以四叉樹為基)指示哪些區欲被濾波的一額外側邊資訊。
為了解碼，間-編碼區塊也要求儲存先前已編碼的及隨後解碼部分影像在參考圖框緩衝器170。一間-編碼區塊係藉採用移動補償預測而預測180。首先，藉一移動估計器而針對在先前已編碼及解碼視訊圖框內部的目前區塊找出一最佳匹配區塊。然後該最佳匹配區塊變成一預測信號，然後該目前區塊與其最佳匹配區塊間的相對位移(移動)係以三維移動向量形式，在連同編碼視訊資料提供的側邊 資訊內部發訊作為移動資料。三維係包含兩個空間維度及一個時間維度。為了最佳化預測準確度，可以空間次像素解析度，例如半像素或四分之一像素解析度決定移動向量。具有空間次像素解析度的一移動向量可指向在一解碼圖框內部的一空間位置，於該處無可用的實際像素值，亦即次像素位置。如此，需要此等像素值的空間內插以執行移動補償預測。此點可藉內插濾波達成(圖1中整合於預測方塊180內部)。
針對二者亦即內-編碼及間-編碼模式，目前輸入信號與預測信號間之差e係經變換110及量化120，結果導致量化係數。一般而言，採用正交變換，諸如二維離散餘弦變換(DCT)彧其整數版本，原因在於其有效地減低自然視訊影像的相關性。於變換後，低頻成分通常比高頻成分對影像品質更為要緊，故耗用在編碼低頻成分的位元比較高頻成分更多。於熵編碼器中，量化係數的二維矩陣係轉換成一維陣列。典型地，此種轉換係藉所謂的鋸齒狀掃描進行，其始於二維陣列的左上角的DC係數且以預定順序掃描該二維陣列，止於右下角的DC係數。因能量典型地係集中在係數的二維矩陣的左上部，相對應於較低頻率，鋸齒狀掃描導致一陣列其通常末值為零。如此許可在實際熵編碼作為一部分/之前使用運轉長度代碼有效地編碼。
H.264/MPEG-4 H.264/MPEG-4 AVC以及HEVC包括兩個功能層亦即視訊編碼層(VCL)及網路摘要層(NAL)。VCL提供如上簡述方編碼功能。NAL依據其進一步 應用諸如透過通道傳輸或儲存於儲存裝置，封裝資訊元素成為標準化單位稱作為NAL單位。資訊元素例如為編碼預測錯誤信號或視訊信號解碼所需其它資訊，諸如預測型別、量化參數、移動向量等。VCL NAL單位含有壓縮視訊資料及相關資訊，以及非VCL單位封裝額外資料，諸如與整個視訊序列相關的參數集，或提供額外資訊可用以改良解碼效能的補充增強資訊(SEI)。
圖2例示說明依據H.264/MPEG-4 AVC或HEVC視訊編碼標準的解碼器200之實例。編碼視訊信號(解碼器的輸入信號)首先輸入熵解碼器290，其解碼量化係數、解碼諸如移動資料需要的資料元素、預測模式等。量化係數係反向掃描以獲得二維矩陣，然後饋至反量化及反變換230。在反量化及反變換230後，獲得已解碼(量化)預測誤差信號e’，相對應於無導入量化雜訊且未發生錯誤的情況下，從輸入編碼器的信號中扣除預測信號所得的差。
預測信號係得自時間或空間預測280。解碼資訊元素通常進一步包含預測所需資訊，諸如於內-預測之情況下的預測型別，及於移動補償預測之情況下的移動資料。然後在空間域中的量化預測誤差信號使用加法器240加至從移動補償預測或內-圖框預測280所得的預測信號。重建的影像s’可通過解區塊濾波250、樣本適應性偏移處理255、及適應性迴圈濾波260，結果所得解碼信號係儲存在記憶體270欲施用於下列區塊/影像的時間或空間預測。
當壓縮與解壓縮一影像時，區塊假影典型地為對 使用者最惱人的假影。解區塊濾波藉平滑化重建影像中的各區塊間的邊緣而輔助改良使用者的感官經驗。解區塊濾波的困難中之一者係正確地判定因施用量化器而藉區塊化造成的邊緣與屬於編碼信號之一部分的邊緣。唯有當區塊邊界的邊緣係因壓縮假影所造成時才需施用解區塊濾波。其它情況下，藉施用解區塊濾波，重建信號可能令人失望、失真。另一項困難係選用解區塊濾波的適當濾波器。典型地係在數個低通濾波器間做決定，具有不同頻率響應導致強或弱低通濾波。為了決定是否施用解區塊濾波及選擇適當濾波器，考慮在兩個區塊邊界附近的影像資料。
舉例言之，H.264/MPEG-4 AVC評估在兩個鄰近區塊各自的第一推衍(導數)的絕對值，其邊界係將解區塊。此外，如所述例如於H.264/MPEG-4 AVC標準章節8.7.2.2.評估橫跨二區塊間之邊緣的第一導數。HEVC採用類似機制，但只使用第二導數。
解區塊濾波可針對在區塊邊界的各個樣本決定是否經濾波且使用哪個濾波器或濾波型別。當決定欲施加濾波時，則低通濾波器施用以平滑化橫跨區塊邊界。決定是否濾波的目的係只濾波該等樣本，如前文於發明背景章節所述，以逐一區塊處理施用量化結果導致區塊邊界的重大信號改變。解區塊濾波的結果係在區塊邊界的信號平滑化。對觀看者而言平滑化信號比區塊假影較不惱人。在區塊邊界有大型樣本改變屬於欲編碼的原始信號，該等樣本不應濾波以維持高頻且如此維持視覺鮮明。在錯誤決定之 情況下，影像乃不必要地平滑化或維持塊狀。解區塊濾波係橫跨區塊的垂直緣(水平濾波)及橫跨區塊的水平緣(垂直濾波)進行。
圖4A例示說明在垂直邊界上的決定(以使用水平解區塊濾波濾波或不濾波)，及圖4B例示說明在水平邊界上的決定(以使用垂直解區塊濾波濾波或不濾波)。更明確言之，圖4A顯示欲解碼的一目前區塊440及其已解碼的鄰近區塊410、420及430。針對一行裡的像素460，進行決定。同理，圖4B顯示相同目前區塊440及對一欄中的像素470進行決定。
判定是否施用解區塊濾波可執行如下。設取一行六個像素460，前三個像素p2、p1、p0屬於左鄰近區塊A 430，後三個像素q0、q1、及q2屬於目前區塊B 440，也如圖4之例示說明。
圖14行1410例示說明區塊A與B間之邊界。像素p0及q0為位置彼此直接相鄰的左鄰近區塊A與目前區塊B分別的像素。當滿足下列條件時，像素p0及q0係藉解區塊濾波濾波：|p 0-q 0|<α H264(QP New ),|p 1-p 0|<β H264(QP New )，及|q 1-q 0|<β H264(QP New )，其中通常β H264(QP New )<α H264(QP New )。此等狀況係針對檢測p0及q0間之差是否植基於區塊假影。其係相對應於在區塊A及B各自內部及其間的第一導數之評估。除了前述三個條件 外，若也滿足下述條件，則像素p1係經濾波：|p 2-p 0|<β H264(QP New ).除了前述頭三個條件外，若也滿足下述條件，則像素q1係經濾波：|q 2-q 0|<β H264(QP New ).
此等條件分別地相對應於第一區塊內部的第一推衍及第二區塊內部的第二推衍。如上條件中，QP表示指示施用的量化量之量化參數，及β、α為標度常數。更明確言之，QP New 乃基於量化參數QPA及QPB施用至個別第一及第二區塊A及B推衍的量化參數，如下：QP New =(QP A +QP B +1)>>1，其中「>>1」表示向右移位一個位元。
可只對一區塊的擇定行執行決定，而像素的濾波係對全部行460執行。涉及符合HEVC的決定之行530之實例520係例示說明於圖5。基於行530，決定是否進行濾波整個區塊。
於HEVC中解區塊濾波的另一個實例可參考JTC-VC、ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的JCTVC-E603文件章節8.6.1，免費得自http：//hpenix.int-evry.fr/jct/index.php/。
兩行1430係用以決定是否及如何施用解區塊濾波。實例1420假設為了水平區塊濾波評估第三(具有指數2)及第六(具有指數5)行。更明確言之，在各區塊內部的第二導數係經評估，導致獲得度量d2及d5如下： d 2=|p22-2．p12+p02|+|q22-2．q12+q02|,d 5=|p25-2．p15+p05|+|q25-2．q15+q05|.
像素p屬於區塊A及像素q屬於區塊B。p或q後方的第一數字表示欄指數及接著下標數字表示該區塊內部的列數。當滿足如下條件時，許可對實例520例示說明的全部八行解區塊：d=d 2+d 5<β(QP Frame ).
若不滿足如上條件，則不施用解區塊。於解區塊被致能之情況下，決定欲用於解區塊的濾波器。此項決定係基於區塊A與B間的第一導數之評估。更明確言之，針對各行i，其中i為0至7之整數，決定是否施用強或弱低通濾波器。若滿足如下條件則選用強濾波。
|p3 i -p0 i |+|q3 i -q0 i |<(β(QP Frame )>>3)^
d<(β(QP Frame )>>2)^
|p0 i -q0 i |<((t c (QP Frame )．5+1)>>1).
符合HEVC模型，「強濾波」使用p3 i ,p2 i ,p1 i ,p0 i ,q0 i ,q1 i ,q2 i ,q3 i 而濾波樣本p2 i ,p1 i ,p0 i ,q0 i ,q1 i ,q2 i ，而「弱濾波」使用p2 i ,p1 i ,p0 i ,q0 i ,q1 i ,q2 i 而濾波樣本p1 i ,p0 i ,q0 i ,q1 i 。如上情況下，參數β及tc皆為可針對影像截割片等設定的量化參數QP Frame 的函式。β及tc之值典型地係使用詢查表基於QP Frame 而推導。
注意強濾波只對極其平坦的信號有利。否則，相當弱的低通濾波為有利。
依據習知混成編碼，涉及強低通濾波的像素係例 示說明於圖6A。更明確言之，圖6A顯示用於濾波的樣本。此等樣本相對應於區塊A與B間之邊界左側與右側的個別四個相鄰像素。此等樣本用以濾波，表示其值輸入濾波處理。圖6A進一步顯示藉濾波修飾的樣本。此等為最接近區塊A與B間之邊界在其右及左的三個相鄰個別像素值。此等值係藉濾波器修飾，亦即經平滑化。更明確言之，後文中，列舉具有指數i的已修飾樣本p0’i、p1’i、p2’i、q0’i、q1’i及q2’i之值。
p0' i =Clip((p2 i +2．p1 i +2．p0 i +2．q0 i +q2 i +4)>>3)
p1' i =Clip((p2 i +p1 i +p0 i +q0 i +2)>>2)
p2' i =Clip((2．p3 i +3．p2 i +p1 i +p0 i +q0 i +4)>>3)
q0' i =Clip((q2 i +2．q1 i +2．q0 i +2．p0 i +p2 i +4)>>3)
q1' i =Clip((q2 i +q1 i +q0 i +p0 i +2)>>2)
q2' i =Clip((2．q3 i +3．q2 i +q1 i +q0 i +p0 i +4)>>3) 函式Clip(x)係定義如下： 藉此，max_allowed_value為x可具有的最大值。於具有k位元樣本的PCM編碼情況下，最大值將為max_allowed_value=2k-1。舉例言之，於具有8位元樣本的PCM編碼情況下，最大值將為max_allowed_value=255。於具有10位元樣本的PCM編碼情況下，最大值將為max_allowed_value=1023。
如此如上方程式描述欲施用的強濾波處理。從上式可知，列i的像素p3i及q3i係用在方程式，亦即用在濾波，但其未經修飾亦即未經濾波。
圖16B例示說明弱解區塊濾波之施用。更明確言之，用於濾波的樣本係顯示於左側，而藉濾波修飾的樣本係顯示於右側。用於弱濾波操作，只有在區塊A與B間之邊界上的兩個相鄰像素被濾波，而使用在其邊緣上在區塊A及B各自的三個相鄰像素。為了弱濾波做二決定。第一決定係關對一特定行是否施用一弱濾波。此項決定係基於△值，計算如下△=(9．(q0 i -p0 i )-3．(q1 i -p1 i )+8)>>4基於計算得的△，唯若|△|<10．t c 施用濾波。否則不施用濾波至位在區塊A與B間之邊界上的兩個像素p0’i及q0’i。
若欲施用濾波，則執行如下： p0' i =Clip(p0 i +△1)
q0' i =Clip(q0 i -△1)其中△1=Clip3(-t c ,t c ,△)。
函式Clip(x)係定義如上。函式Clip3(x)係定義如下：
當決定將施用濾波且像素p0’i及p0’i已經經過濾波時，進一步決定像素p1’i及p1’i是否將被濾波。
唯若d p <(β/6)像素p1’i係經濾波，及相對應地，唯若d p <(β/6)像素q1’i係經濾波。此等像素之濾波進行如下 p1' i =Clip(p1 i +△2p )
q1' i =Clip(q1 i +△2q ) 具有△2p =Clip3(-t c2,t c2,(((p2 i +p0 i +1)>>1)-p1 i +△1)>>1)及t c2=t c >>1及△2q =Clip3(-t c2,t c2,(((q2 i +q0 i +1)>>1)-q1 i -△1)>>1)。
除了預測編碼之外，區塊也可不施加任何預測而予編碼。相對應編碼模式係稱作「脈衝碼調變(PCM)模式」。以PCM模式編碼的樣本可含有但非必要含有量化雜訊。依據投件JCTVC-E192「於HEVC之增強式PCM編碼的提示」，採用一個開關在HEVC編碼器及解碼器用以在PCM編碼樣本的濾波之致能與去能間切換。據此，在迴路中的全部濾波器皆被切換為開或切換為關。切換機制為有利，原因在於其允許以不含量化雜訊的情況下關閉濾波。於此種情況下，濾波可使得無雜訊濾波影像的品質劣化。另一方面，若PCM樣本包括量化雜訊則可有利地作動濾波。
發明概要
當不含雜訊的PCM編碼區域係相鄰於非PCM編碼反而係藉時間或空間預測而預測的區域時，區塊假影干擾影像的感官品質。另一方面，於此種情況下，濾波可能減低不含雜訊的PCM編碼區域的品質。
在既有技術具有此等問題之情況下，優異地提出一種有效解區塊濾波辦法，該辦法也可應用至PCM樣本係由利用預測編碼所編碼的樣本所環繞的情況下。
本發明之特定辦法係許可解區塊濾波及針對 PCM編碼區塊的另一種濾波之分開的且可能個別的致能/去能。
依據本發明之一面向，提出一種用以使用脈衝碼調變(PCM)編碼於一視訊信號之影像中的一樣本區塊成為一位元串流之方法，該方法係包含：判定一解區塊濾波是否將施用至該樣本區塊；判定與該解區塊濾波不同的一第二濾波是否將施用至該樣本區塊；於該位元串流內含括一解區塊濾波指標，指示判定是否將施用一解區塊濾波的結果；及於該位元串流內含括與該解區塊濾波指標不同的一第二濾波指示，指示判定是否將施用一第二濾波的結果。
依據本發明之另一面向，提出一種從一位元串流解碼一視訊信號之影像的一樣本區塊之方法，該樣本區塊係以一脈衝碼調變(PCM)編碼，該方法係包含：從該位元串流提取一解區塊濾波指標，指示一解區塊濾波是否將施用至該樣本區塊；從該位元串流提取與該解區塊濾波指標分開的一第二濾波指標，指示一第二濾波是否將施用至該樣本區塊；依據所提取的解區塊濾波指標，施用或不施用解區塊濾波至該樣本區塊；及依據所提取的第二濾波指標，施用或不施用第二濾波至該樣本區塊。
依據本發明之又另一面向，提出一種用以使用脈衝碼調變(PCM)編碼於一視訊信號之影像中的一樣本區塊成為一位元串流之裝置，該裝置係包含：一解區塊判定單元用以判定一解區塊濾波是否將施用至該樣本區塊；一第二判定單元用以判定與該解區塊濾波不同的一第二濾波是 否將施用至該樣本區塊；及一嵌入單元用以於該位元串流內含括一解區塊濾波指標，指示判定是否將施用一解區塊濾波的結果；及於該位元串流內含括與該解區塊濾波指標不同的一第二濾波指示，指示判定是否將施用一第二濾波的結果。
依據本發明之又另一面向，提出一種從一位元串流解碼一視訊信號之影像的一樣本區塊之裝置，該樣本區塊係以一脈衝碼調變(PCM)編碼，該裝置係包含：一提取單元用以從該位元串流提取一解區塊濾波指標，指示一解區塊濾波是否將施用至該樣本區塊；及用以從該位元串流提取與該解區塊濾波指標分開的一第二濾波指標，指示一第二濾波是否將施用至該樣本區塊；一解區塊濾波單元，其係經組配來依據所提取的解區塊濾波指標，施用或不施用解區塊濾波至該樣本區塊；及一第二濾波單元，其係經組配來依據所提取的第二濾波指標，施用或不施用第二濾波至該樣本區塊。
100‧‧‧視訊編碼器
105‧‧‧減法器
110‧‧‧變換
120‧‧‧量化
130、230‧‧‧反變換
140、240‧‧‧加法器
150、250‧‧‧解區塊濾波
155、255‧‧‧樣本適應性偏移
160、260‧‧‧適應性迴路濾波
170‧‧‧參考圖框緩衝器
180、280‧‧‧預測
190‧‧‧熵編碼器
200‧‧‧解碼器
290‧‧‧熵解碼器
410、420、430‧‧‧已解碼鄰近區塊
440、1010‧‧‧目前區塊
460、470、p0-2、q0-2‧‧‧像素
500、600、700、900‧‧‧視訊編碼器
510、560、610、710、760‧‧‧位元深度擴延單元、位元深度增加單元
530、630、730、930‧‧‧緩衝器
550、750‧‧‧位元深度縮減單元
570、670、770、970、981-983‧‧‧開關
595、695、795、995‧‧‧多工器
740‧‧‧解區塊濾波單元
745‧‧‧適應性迴路濾波(ALF)、第二濾波單元
801、802、1010、1020‧‧‧區塊
1210-1290、1310-1360、1610-1680‧‧‧步驟
ex100‧‧‧內容提供系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex103‧‧‧串流化伺服器
ex104‧‧‧電話網路
ex106-110‧‧‧站台
ex111‧‧‧電腦
ex112‧‧‧個人數位助理器(PDA)
ex113、ex116‧‧‧相機
ex114‧‧‧小區式電話
ex115‧‧‧遊戲機
ex117‧‧‧麥克風
ex200‧‧‧數位廣播系統
ex201‧‧‧廣播站
ex202‧‧‧衛星
ex203‧‧‧纜線
ex204-5、ex350‧‧‧天線
ex210‧‧‧汽車
ex211‧‧‧汽車導航系統
ex215-6‧‧‧記錄媒體
ex217‧‧‧機上盒
ex218‧‧‧讀取器/記錄器
ex219‧‧‧監視器
ex220‧‧‧遙控器
ex230‧‧‧資訊軌
ex231‧‧‧記錄區塊
ex232‧‧‧內圓周區
ex233‧‧‧資料記錄區
ex234‧‧‧外圓周區
ex235‧‧‧視訊串流
ex236、ex239、ex242、ex245‧‧‧PES封包
ex237、ex240、ex243、ex246‧‧‧TS封包
ex238‧‧‧音訊串流
ex241‧‧‧表示型態圖形串流
ex244‧‧‧互動圖形串流
ex247‧‧‧多工化資料
ex300‧‧‧電視機
ex301‧‧‧調諧器
ex302、ex352‧‧‧調變/解調單元
ex303、ex353‧‧‧多工化/解多工化單元
ex304、ex354‧‧‧音訊信號處理單元
ex305、ex355‧‧‧視訊信號處理單元
ex306‧‧‧信號處理單元
ex307‧‧‧揚聲器
ex308、ex358‧‧‧顯示單元
ex309‧‧‧輸出單元
ex310‧‧‧控制單元
ex311‧‧‧電源供應電路單元
ex312‧‧‧操作輸入單元
ex313‧‧‧橋接器
ex314、ex364‧‧‧插槽單元
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧介面單元
ex318-321、ex404、ex508‧‧‧緩衝器
ex351‧‧‧發送與接收單元
ex356‧‧‧音訊輸入單元
ex357‧‧‧音訊輸出單元
ex359‧‧‧LCD控制單元
ex360‧‧‧主控制單元
ex361、ex505‧‧‧電源供應電路單元
ex362‧‧‧操作輸入控制單元
ex363‧‧‧相機介面單元
ex365‧‧‧相機單元
ex366‧‧‧操作鍵單元
ex367‧‧‧記憶體單元
ex370‧‧‧同步匯流排
ex400‧‧‧資訊再生/記錄單元
ex401‧‧‧光學頭
ex402‧‧‧調變記錄單元
ex403‧‧‧再生解調單元
ex405‧‧‧碟片馬達
ex406‧‧‧伺服控制單元
ex407‧‧‧系統控制單元
ex500‧‧‧大型積體電路(LSI)
ex501‧‧‧控制單元
ex502‧‧‧中央處理單元(CPU)
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex506‧‧‧串流IO
ex507‧‧‧信號處理單元
ex509‧‧‧AV IO
ex510‧‧‧匯流排
ex511‧‧‧記憶體
ex512‧‧‧驅動頻率控制單元
ex800、ex900‧‧‧組態
ex801-2‧‧‧解碼處理單元
ex803‧‧‧驅動頻率切換單元
ex901-2、ex1001-2‧‧‧專用解碼處理單元
ex1000‧‧‧處理部分共享實例
ex1003‧‧‧解碼處理單元
yy1-4‧‧‧箭頭
附圖係併入本說明書且形成其中一部分以例示說明本發明之若干實施例。此等圖式連同詳細說明部分用以解釋本發明之原理。附圖係僅用於舉例說明如何做成且使用本發明之較佳實施例及替代實施例之目的，而非解譯為限制本發明於只有例示說明及描述的實施例。進一步特徵及優點從後文如於附圖中例示說明，本發明之各個實施例之更特定詳細說明部分將更為彰顯，附圖中類似的元件 符號係指相似的元件及附圖中：圖1為方塊圖例示說明視訊編碼器之一實例。
圖2為方塊圖例示說明視訊解碼器之一實例。
圖3為方塊圖例示說明具有分開的垂直及水平濾波之視訊編碼器之一實例。
圖4A為示意圖例示說明水平解區塊濾波之施用。
圖4B為示意圖例示說明垂直解區塊濾波之施用。
圖5為方塊圖例示說明一編碼器包括有位元深度減低的PCM編碼模式；圖6為方塊圖例示說明一編碼器包括無位元深度減低的PCM編碼模式；圖7為方塊圖例示說明一編碼器包括有一開關以切換濾波的PCM編碼模式；圖8為示意圖例示說明致能/去能PCM編碼區塊及非PCM編碼區塊的濾波之一實例；圖9為方塊圖例示說明依據本發明之一實施例具有不同濾波器的個別切換開/關之一編碼器；圖10A為示意圖例示說明可藉解區塊濾波修飾的區域；圖10B為示意圖例示說明可藉及不可藉解區塊濾波修飾的區域之切換開/關樣本適應性偏移應用；圖10C為示意圖例示說明可藉及不可藉解區塊濾波修飾的區域之切換開/關適應性迴路濾波(ALF)應用；圖11為示意圖例示說明PCM編碼及非PCM編碼相鄰區塊及其特徵性量化參數之一實例； 圖12為流程圖例示說明依據本發明之一實施例，一種使用解區塊濾波編碼方法之一實例；圖13為流程圖例示說明依據本發明之一實施例，一種使用解區塊濾波解碼方法之一實例；圖14為示意圖例示說明依據先前技術的解區塊濾波；圖15A為示意圖例示說明由解區塊濾波所使用的樣本及藉解區塊濾波修飾的樣本；圖15B為示意圖例示說明由解區塊濾波所使用的樣本及藉解區塊濾波修飾的樣本；圖16A為流程圖例示說明PCM編碼樣本之解碼及濾波用之一種解碼方法之實例；圖16B為流程圖例示說明一區塊樣本的PCM編碼及濾波用之一種編碼方法之實例；圖17顯示用以體現內容分布服務的一種內容提供系統之總組態。
圖18顯示一種數位廣播系統的總組態。
圖19顯示一方塊圖例示說明電視之一組態實例。
圖20顯示一方塊圖例示說明讀及寫資訊自及至一記錄媒體其為一光碟上的一種資訊再生/記錄單元之一組態實例。
圖21顯示一記錄媒體其為一光碟之一組態實例。
圖22A顯示小區式電話之一實例。
圖22B為方塊圖顯示小區式電話的組態之一實例。
圖23例示說明多工化資料之一結構。
圖24示意顯示在多工化資料中各串流如何多工化。
圖25以進一步細節顯示一視訊串流儲存在一PES封包之串流。
圖26顯示在該多工化資料中TS封包及來源封包之一結構。
圖27顯示PMT之一資料結構。
圖28顯示多工化資料資訊之一內部結構。
圖29顯示串流屬性資訊之一內部結構。
圖30顯示識別視訊資料之步驟。
圖31顯示依據各個實施例用以體現移動圖像編碼方法及移動圖像解碼方法之積體電路的一組態實例。
圖32顯示用於驅動頻率間切換之一組態。
圖33顯示用以識別視訊資訊及驅動頻率間切換之步驟。
圖34顯示其中視訊資料標準係與驅動頻率相聯結的一詢查表之一實例。
圖35A為略圖顯示用以共享一信號處理單元之一模組的一組態實例。
圖35B為略圖顯示用以共享一信號處理單元之一模組的另一組態實例。
較佳實施例之詳細說明
本發明係基於下述觀察，於某些情況下，一次開啟或關閉全部濾波器可能使得主觀影像品質劣化。更明確 言之，解區塊濾波的施用可能有利的情況係與其中施用適應性迴路濾波及/或樣本適應性偏移可能為優異的情況不同。
尤其，當PCM編碼區塊係相鄰於以另一種方法編碼的區塊時，解區塊濾波可能有利。於此種情況下，解區塊濾波平滑化在兩個區塊的邊界區域的信號，如此改良主觀品質，即便有若干雜訊被導入PCM編碼區塊內時亦復如此。但在區塊未被施用解區塊濾波，反而被施用適應性迴路濾波及/或樣本適應性偏移的區域中，PCM編碼區塊的品質可能降低。適應性迴路濾波及樣本適應性偏移可導入額外雜訊及/或假影。
依據本發明，解區塊濾波的施用至PCM編碼樣本係與其它濾波施用的控制個別地且分開地控制。因此，本發明使得非期望的量化雜訊進一步減少，且可導致影像品質的進一步改良。
圖5例示說明之編碼器500基本上係相對應於圖1及3。此外，PCM編碼模式的導入例如係顯示於投件JCTVC-D0044「HEVC之脈衝碼調變模式」。更明確言之，位元深度延伸510可施用至原始視訊信號以編碼操作具有更高精度。若該視訊信號係將藉PCM編碼模式編碼，則位元深度再度縮減550，而信號係直接輸出至多工器595用以含括於位元串流。開關570係在從PCM編碼模式輸入或預測與變換編碼間切換。因此，PCM編碼樣本通過解區塊濾波器(圖5的「解區塊」)及其它迴路濾波器(圖5的「ALF」)將 緩衝530供進一步用作為參考樣本。
圖6例示說明依據JCTVC-E057「HEVC之脈衝碼調變模式」的PCM編碼模式之另一個體現。更明確言之，在位元深度增加610之後，PCM樣本係直接提供給多工器695用以含括於編碼位元串流。開關670係在PCM編碼模式樣本或預測/變換編碼模式樣本間切換。PCM編碼樣本或預測/變換編碼樣本進行解區塊濾波及適應性迴路濾波，也可進行樣本適應性偏移濾波。然後可能經濾波樣本係儲存於緩衝器630供進一步用作為參考樣本。
於PCM樣本不含任何量化誤差之情況下，施用濾波諸如解區塊濾波、適應性迴路濾波或樣本適應性偏移，可能造成將額外雜訊導入影像信號。因此，JCTVC-E192投件提示切換開關濾波。
圖7例示說明遵照HEVC之編碼器支援PCM編碼模式與切換濾波的開關之一種可能體現。更明確言之，原始視訊信號係輸入單元710以增加位元深度。若編碼模式為PCM編碼模式，則於位元深度減少單元750中，PCM樣本係減低至一預定位元深度。同時，該預定位元深度係在位元串流內發訊。參數PCM_sample_bit_depth_xxx_minus8，其中「xxx」可指示亮度或彩度樣本(「luma」、「chroma」)，控制所得PCM樣本的位元深度，然後提供給多工器795以含括(嵌入)於位元串流。為了用於緩衝樣本作為參考樣本供由預測編碼進一步使用，PCM編碼樣本的位元深度增加760。透過開關770，PCM樣本然後輸入解區塊濾波單元740及第 二濾波單元745(本例為適應性迴路濾波單元)，及最終儲存於緩衝器730。依據投件JCTVC-E192，設置切換開或切換關迴路濾波諸如解區塊濾波740及它型迴路濾波745的開關。開關值(開/關)然後含括於位元串流，及發訊給解碼器以許可解碼器與編碼器間的相似操作。切換(藉指示符控制，可為旗標)係例示說明於圖7。更明確言之，參數PCM_sample_loop_filter_disable_flag係在SPS NAL單元內部發訊以致能或去能適應性迴路濾波745及解區塊濾波740二者。
迴路內濾波亦即解區塊濾波及適應性迴路濾波的目的係校正與一有損壓縮相聯結的失真。但當原始未經壓縮的樣本係使用PCM編碼模式編碼時，樣本係無失真。因此，迴路內濾波須在構思上被去能，如圖7所示。另一方面，某些編碼器體現可編碼非原始(重建)樣本作為PCM樣本。於此種情況下，此等PCM樣本可確實包括量化雜訊。結果，執行迴路內濾波可能有用，原因在於可改良所得影像品質。因此，JCTVC-E192許可切換開關迴路內濾波。但此種開關可能不足以避免藉施用或不施用濾波造成的品質降低。
圖8例示說明801及802二區塊，其中區塊801係藉PCM編碼模式編碼，且含括原始視訊樣本，標示為I_PCM。區塊802包括使用內預測或間預測編碼的預測樣本，標示為non-I_PCM樣本。樣本p2、p1、p0、q0、q1及q2乃圖8中藉8x6網格指示的行中之一者的區塊801與區塊802間之邊界的邊 界像素。當提案JCTVC-E192應用於此種情況時，區塊801的適應性迴路濾波及解區塊濾波皆為去能。如此表示像素p0、p1及p2不被濾波。相反地，針對區塊802，適應性迴路濾波及解區塊濾波可皆被致能。於此種情況下，在解碼後區塊邊界可能變成可見且含區塊假影，原因在於在區塊801部分未被平滑化。如上實例中注意描述解區塊濾波及適應性迴路濾波。但相同狀況也適用於樣本適應性偏移，其可在適應性迴路濾波之前或之後進行，或甚至無適應性迴路濾波而進行。
為了克服品質減低的問題，本發明與致能或去能其它濾波諸如適應性迴路濾波或樣本適應性偏移個別地且分開地發訊而致能或去能解區塊濾波。
依據本發明之一優異實施例，各個雜訊減低濾波器的施用係針對PCM編碼區塊個別地控制。此點可藉針對各個個別雜訊減低濾波器編碼與發送的一個旗標體現，該旗標指示對PCM編碼區塊施用該濾波器。於三個濾波器之情況下，如圖1及3顯示的解區塊濾波、SAO、及適應性迴路濾波，可使用三個個別旗標。
但本發明並非囿限於此，一個旗標可用以控制解區塊濾波，另一個旗標可用以共通地控制其餘濾波，諸如適應性迴路濾波及樣本適應性偏移。
圖9例示說明視訊編碼器900之一實例，包括個別開關981、982、及983用以開或關個別適應性迴路濾波、樣本適應性偏移、及解區塊濾波。開關位置可編碼為個別旗 標，在位元串流內傳輸以使得控制解碼器來以編碼器的相同方式執行濾波。
更佳地係針對可藉解區塊濾波修飾的樣本及不可藉解區塊濾波修飾的樣本而分開地控制個別PCM編碼區塊濾波器的施用。此種控制可藉提供經編碼且在位元串流內部連同編碼影像資料傳輸的額外指示符(旗標)達成。藉分開地控制可藉解區塊濾波修飾的及不可修飾的樣本，達成濾波的更細緻調整。更明確言之，於解區塊濾波不施用至PCM編碼樣本之情況下，適應性迴路濾波或樣本適應性偏移可能對該等樣本導入額外雜訊。概略言之，解區塊濾波施用至影像信號以改良在區塊邊界的主觀品質。當施用解區塊濾波時，樣本適應性偏移及適應性迴路濾波可更為有利地改進客觀影像品質。
此外，針對PCM編碼區塊，適應性迴路濾波以及樣本適應性偏移也可基於解區塊濾波決定結果而切換開或關。更明確言之，若解區塊導入雜訊，則此雜訊可藉隨後施用適應性迴路濾波及/或樣本適應性偏移而予減低。若決定不施用解區塊濾波，則不導入雜訊，因而適應性迴路濾波及/或樣本適應性偏移將導入額外雜訊。於此種情況下，較佳關閉此等額外濾波。
圖10A、10B及10C例示說明依據本實施例之一實例。更明確言之，針對一目前區塊1010分開地判定解區塊濾波是否將施用至其像素，及是否將施用另一濾波至此區塊。針對藉解區塊濾波修飾的樣本及針對其它樣本(不藉解 區塊濾波修飾)個別地決定是否應施用隨後濾波。然後，分開旗標用以指示濾波之施用至已修飾及未修飾的區塊樣本。
圖10A顯示該目前區塊1010及相鄰該目前區塊左側的一區塊1020。於本實例中，假設最接近二區塊間的邊界之個別三個像素可藉解區塊濾波修飾。圖10A中的虛線矩形例示說明在鄰近區塊1010及1020中藉解區塊濾波修飾的樣本及不藉解區塊濾波修飾的樣本。設目前區塊1010為不含任何量化雜訊的PCM編碼區塊。另一方面，區塊區塊1020乃含有量化雜訊的PCM編碼區塊。於本實例中，區塊為具有16x16樣本的編碼單位。一個別旗標(「旗標1」)指示解區塊濾波施用至目前區塊1010與否。若施用解區塊濾波，則唯有在區塊邊界附近的樣本經修飾(可修飾樣本)。注意圖10中只顯示水平解區塊濾波區域。但本發明並非囿限於此，同樣適用於橫跨水平區塊邊界的垂直濾波。
圖10B例示說明相同區塊1010及1020，其中樣本適應性偏移係施用至相鄰區塊1020，例如施用至全部8x8樣本。於本實施例中施用樣本適應性偏移至目前區塊1010係針對藉解區塊濾波修飾的樣本及不藉解區塊濾波修飾的樣本個別地決定。相對應地，於位元串流中可含括二旗標(圖10B的「旗標2a」、「旗標2b」)以載明樣本適應性偏移是否將施用至可藉解區塊濾波修飾的地區及樣本適應性偏移是否將施用至不可藉解區塊濾波修飾的地區。
圖10C例示說明相同區塊1010及1020，及適應性 迴路濾波施用至藉解區塊濾波修飾的樣本及非藉解區塊濾波修飾的樣本。類似施用SAO的情況，二旗標(圖10B的「旗標3a」、「旗標3b」)可含括於位元串流以分開地且個別地指示適應性迴路濾波是否施用至藉解區塊濾波修飾的區域及非藉解區塊濾波修飾的區域。
依據本發明，PCM編碼區塊的濾波可針對不同的濾波型別諸如解區塊濾波、樣本適應性偏移、及適應性迴路濾波分開地控制。此等濾波的施用順序對本發明為無關緊要且可任意地選擇。指示符可為二進制旗標，可具有0或1之值，指示是否個別地施用濾波。此等旗標可插入位元串流的不同位置。優異地，旗標可插入截割片標頭，且施用至含括於截割片的全部區塊。但本發明並非囿限於此，指示符可透過含有SPS、PPS或APS的封包插入。針對濾波的特定微調，旗標可基於每個編碼單位基礎發訊。指示符(旗標)指示可能針對特定區塊子區域的用以切換開或關濾波的開關位置。例如，在以PCM模式編碼區塊的資訊編碼後，可直接編碼開關位置。
為了改良視訊信號的重建品質，若鄰近區塊的量化誤差被視為高，則PCM編碼區塊與鄰近區塊間的邊界可被解區塊。此點可藉採用預定臨界值測試。舉例言之，當鄰近區塊的量化參數值超過預定臨界值時，量化誤差可被為高。此種臨界值可為固定或適應性，例如連同編碼資料在位元串流內部編碼。
取而代之或除了用以致能或去能解區塊濾波的 指示符之外，量化參數值QPPCM可含括於編碼位元串流。此種PCM量化參數指示採用以調整PCM編碼區塊的解區塊濾波的量化量。PCM量化參數可決定為輸入PCM編碼的原始視訊信號特性。舉例言之，PCM量化參數可取決於PCM樣本的位元深度。
為了許可解區塊濾波或其它濾波的適應性選擇，QPPCM可藉量化而在編碼器決定(原因在於編碼器知曉原始視訊信號)。舉例言之，可測試QPPCM的不同值，及評估所得主觀視訊品質。然後取結果導致最高主觀品質的數值作為QPPCM。注意主觀品質可藉計算主觀視訊品質度量而測試。界定用以估計主觀視訊品質估計的大量不同度量。一般而言，本發明並非限於任何特定度量。
另外，可估計QPPCM。於編碼器，針對PCM編碼區塊測量均方差。然後估計等效量化參數，若使用變換編碼則將導致相同均方差。然後使用如此所得的等效QPPCM。
但如上獲得參數QPPCM的實例並非排它性，可採用指示於PCM編碼區塊存在有雜訊的任何參數。
圖11例示說明二鄰近區塊，其中一者係藉PCM編碼模式編碼，而另一者係藉非PCM編碼模式編碼，諸如如此發明背景章節描述的內-或間-預測模式。針對非PCM編碼區塊，量化參數典型地經發訊，施用至變換預測誤差以許可有損壓縮。
PCM編碼區塊係未經量化。反而樣本被分派預定位元數，稱作位元深度。但PCM編碼信號可源自於事前已 經量化的視訊序列，仍然含有量化雜訊或其它雜訊或假影。依據本發明之一面向，解區塊濾波之施用至PCM編碼樣本係執行為「PCM量化參數」QPPCM及非PCM區塊的量化參數的函數。舉例言之，平均量化參數QPAVE可計算如下：QP Ave =(QP PCM +QP)>>1其中運算「>>1」指示向右移位一個位元。移位相對應於被2所整除。依據計算得的平均量化參數QPAVE，可執行解區塊濾波的調整。例如，可決定解區塊濾波是否將施用至PCM編碼區塊。其執行方式可藉比較平均量化參數與預定臨界值。此一臨界值可為在視訊序列中發訊的固定臨界值或適應性臨界值。該臨界值可藉基於測試影像施加最佳化獲得，或藉基於已編碼影像信號的最佳化獲得。
另外或此外，解區塊濾波可基於PCM量化參數及相鄰區塊的量化參數的函數選用。更明確言之，可選擇所施用的解區塊濾波之強度(頻率響應、濾波係數)。至於替代之道或作為額外選擇標準，可決定在目前區塊的邊界之哪個樣本(多少樣本)欲被濾波。
PCM量化參數QPPCM可使用預測編碼而予編碼。預測例如可為截割片量化參數或先前編碼區塊的量化參數。QPPCM編碼也可基於PCM編碼區塊的位元深度進行，其中可編碼與傳輸位元深度(嵌入於位元串流)。編碼PCM量化參數可插入一截割片標頭、一圖像、一圖像序列等內。但也可插入另一個參數集合，諸如適應性參數集合(APS)或PPS或SPS內部。
PCM量化參數QPPCM也可基於PCM編碼區塊的位元深度而推衍。
圖12顯示依據本發明之一實施例將在一視訊信號的影像中的一區塊樣本編碼成一位元串流之編碼方法之實例。更明確言之，輸入區塊係使用PCM編碼1210。因此，各個樣本係以PCM符碼表示。PCM符碼乃具固定位元長度的二進制符碼，例如每個樣本8位元。但也可使用任何其它長度，諸如每樣本6、7、9、10等位元。PCM編碼可包括原始輸入影像信號的更長或更短的位元長度。若該輸入影像信號已在期望的位元深度，則無需進一步操作。然後樣本的PCM編碼區塊發送至決定是否施用濾波。
更明確言之，判定1220解區塊濾波是否將施用至樣本的PCM編碼區塊。若判定1220將施用解區塊濾波(步驟1230為「是」)，則PCM區塊係經解區塊1240。當判定1220將不施用解區塊濾波(步驟1230為「否」)，則該區塊不藉解區塊濾波濾波。須注意取決定垂直及水平鄰近區塊的特性，可對垂直及水平濾波施用分開決定。在決定及可能施用解區塊濾波後，判定1250是否施用與該解區塊濾波不同的一第二濾波是否施加至該目前區塊樣本。若判定將施用第二濾波(步驟1260為「是」)，則第二濾波器施加1270至目前區塊。一旦判定不施用第二濾波(步驟1260為「否」)，則將不施用第二型濾波。依據判定1220及1250，二指示符嵌入該位元串流。首先，一解區塊濾波指示符係含括1280於位元串流用以指示是否將施加解區塊濾波的判定結果。然 後，第二濾波指示符係含括1290於位元串流用以指示是否將施加第二濾波的判定結果。
是否將施用解區塊濾波至樣本的PCM編碼區塊的判定可進一步包括下述步驟：決定該樣本區塊的一相鄰區塊是否將使用脈衝碼調變或藉預測/變換編碼而予編碼。當該相鄰區塊係藉預測編碼而予編碼時，判定解區塊濾波將施用至至該區塊樣本。否則判定將不施用解區塊濾波。此處假設預測編碼係連結可減低相鄰區塊品質的量化，亦即將量化雜訊導入相鄰區塊。因此此一相鄰區塊的與原始PCM編碼區塊邊界變得更為可見，造成區塊假影，該假影較佳地係欲解區塊。
此外或另外，基於比較相鄰於該樣本區塊的該區塊之量化誤差與一預定臨界值，執行判定是否施用解區塊濾波至該樣本區塊。
判定第二濾波是否將施用至目前區塊樣本可包括下述步驟，決定在PCM編碼目前區塊的量化雜訊量，及基於所決定的量化雜訊量，判定第二濾波是否將施用至目前區塊。例如基於用在樣本之PCM編碼的位元深度，可估計PCM編碼區塊的量化雜訊。另外或此外，基於輸入影像信號的先前知識可估計量化雜訊。例如該輸入影像信號可為事先量化後重建的信號。於此先前量化量為已知的情況下，可用以決定是否施用第二濾波。但量化雜訊量也可使用任何可用的估計或最佳化方法估計。
第二濾波可為適應性迴路濾波或樣本適應性偏 移中之一者。但也可為另一型雜訊遏止濾波。於第二濾波為適應性迴路濾波之情況下，相對應的第二濾波可嵌入該位元串流。此外，可為樣本適應性偏移的第三濾波也可在判定後施用，相對應的第三濾波也可與有關解區塊濾波及適應性迴路濾波的施用相關的指示符獨立地且分開地含括於位元串流。
另外，第二濾波指示符可為二進制指示符，共通指示ALF及SAO是否將施用至該樣本區塊。若該指示符具有0之值，則既不施用ALF也不施用SAO。若該指示符具有1之值，則將施用SAO及ALF二者。
依據本發明之一實施例，判定第二濾波是否施用至該樣本區塊的步驟係進一步包含判定第二濾波是否施用至可藉解區塊濾波修飾的該等樣本區塊的步驟。更進一步包括判定第二濾波是否施用至不可藉解區塊濾波修飾的該等樣本區塊的步驟。相對應指示符係含括於位元串流。更明確言之，可修飾的樣本指示符係含括於位元串流用以指示判定第二濾波是否施用至已修飾樣本的結果。此外，不可修飾的樣本指示符係含括於位元串流用以指示判定第二濾波是否施用至不可修飾樣本的結果。此一實施例提供藉解區塊濾波修飾的樣本與不藉解區塊濾波修飾的樣本的空間分隔的優點。更明確言之，解區塊濾波針對改進主觀影像品質。但可能惡化客觀影像品質，亦即原始信號與濾波信號間的逐一像素差異。為了改善解區塊樣本的客觀品質，是否施用進一步濾波至該樣本的決定係與是否施用進 一步濾波至不藉解區塊濾波修飾的樣本的決定分開。
有關藉解區塊濾波「可修飾」及/或「已修飾」等詞於此處表示樣本接近可施用解區塊濾波的區塊間之邊界。典型地，解區塊濾波只施用至最接近邊界的1、2或3個樣本。與解區塊濾波是否實際上施用至「可修飾樣本」無關，可形成一個區域，其中如前述可分開地執行致能/去能另一濾波的決定。從先前技術已知解區塊濾波的決定及選擇的若干進一步細節將說明如後。注意本發明並非限於分開的可修飾及不可修飾區塊樣分的指示符。另外，真正已修飾或未修飾樣本可形成個別地執行決定的分開區域。
第二濾波是否將施用至該樣本區塊的判定可基於解區塊濾波是否將施用至該樣本區塊的判定結果而執行。同理，指示第二濾波是否將施用至該樣本區塊的指示符編碼可就指示是否欲施用解區塊濾波的指示符預測執行。
圖13例示說明依據本發明之一面向解碼在一視訊信號影像中的一樣本區塊之方法，其中從PCM編碼樣本的位元串流解碼包括下列步驟：從位元串流提取1310一解區塊濾波指示符用以指示解區塊濾波是否將施用至該樣本區塊，從位元串流提取1320與該解區塊濾波指示符分開的(不同的)第二濾波指示符用以指示第二濾波是否將施用至該樣本區塊。當解區塊濾波指示符指示欲施用解區塊濾波(步驟1330為「是」)時，施用解區塊1340。然後，當第二濾波指示符指示欲施用解區塊濾波(步驟1350為「是」)時， 施用第二濾波1360。若個別指示符指示不施用個別濾波，則不施用濾波。
與前述編碼器相對應地，第二濾波指示符指示適應性迴路濾波及樣本適應性偏移二者是否將施用至該樣本區塊，或有兩個不同指示符提取自該位元串流，一者指示適應性迴路濾波是否將施用至該樣本區塊，而另一者指示樣本適應性偏移是否將施用至該樣本區塊。另外或此外，可修飾的樣本指示符可經提取且採用以指示第二濾波將施用至已經藉解區塊濾波修飾的該等樣本區塊，及/或不可修飾的樣本指示符可指示第二濾波將施用至未曾藉解區塊濾波修飾的該等樣本區塊。
依據本發明之另一面向，提出一種在得自一流的一視訊信號影像中解碼一樣本區塊之方法，該樣本區塊係以脈衝碼調變(PCM)編碼，該方法係包含：從該位元串流提取1610一PCM量化參數指示該樣本區塊中的雜訊量；基於所提取的PCM量化參數選擇1620欲施用的解區塊濾波；及施用1640所選擇的解區塊濾波至該樣本區塊。
解碼方法之一實例係顯示於圖16A。更明確言之，「PCM量化參數」係提取1610自該位元串流。然後，依據所提取的PCM量化參數(QP_PCM)選擇1620欲執行的解區塊濾波，可包括決定是否欲施用解區塊濾波。因此，當欲施用解區塊濾波(步驟1630為「是」)時，該區塊係藉所選的解區塊濾波濾波1640，否則該區塊係未經解區塊。
同理，提出一種以脈衝碼調變(PCM)編碼一視訊 信號影像中的樣本區塊成為一位元串流之方法，該方法包含：決定1650一PCM量化參數指示該樣本區塊中的雜訊量；基於所提取的PCM量化參數選擇1660欲施用的解區塊濾波；及施用1670所選擇的解區塊濾波至該樣本區塊；及含括1680該PCM量化參數至該位元串流。此點係例示說明於圖16B之流程圖。
解區塊濾波之選擇步驟可基於比較施用至相鄰該樣本區塊之一區塊的PCM量化參數及量化量(或量化階大小)之函數與一預定臨界值。更明確言之，可基於比較與該相鄰區塊相聯結的的PCM量化參數及量化參數之一函數。
該函數可為平均。但也可為另一函數，諸如最小值、最大值、加權平均等。
選擇解區塊濾波之步驟可包括決定是否施用解區塊濾波至該樣本區塊之步驟，此一步驟可以濾波選擇的相同方式於編碼器湯解碼器二者上執行。
另外或此外，選擇解區塊濾波之步驟可包括濾波帶通寬度(頻率響應)的選擇及/或藉欲施用濾波的區塊中之樣本的選擇。
PCM量化參數可取決於區塊樣本之PCM編碼的位元深度。PCM量化參數可使用預測，及/或基於PCM編碼樣本的位元深度，及/或藉熵編碼而編碼。PCM量化參數可嵌入圖像標頭、影像截割片標頭、樣本區塊之相關資訊，及多個視訊圖像之相關額外資訊中之位元串流內部。
依據本發明之另一面向，提出一種從一位元串流解碼在一視訊信號的一影像中之一樣本區塊之裝置，該樣本區塊係以脈衝碼調變(PCM)編碼，該裝置係包含：一提取單元從該位元串流提取指示在樣本區塊中的雜訊量之一PCM量化參數；一濾波選擇單元基於所提取的PCM量化參數而選擇欲施用至該區塊的解區塊濾波；及一濾波單元施用該所選解區塊濾波至該樣本區塊。
依據本發明之一面向，提出一種以脈衝碼調變(PCM)將一視訊信號影像中的一樣本區塊編碼成一位元串流之裝置，該裝置係包含：一參數決定單元以決定一PCM量化參數指示在該樣本區塊中的雜訊量；一濾波選擇單元以基於所提取的PCM量化參數而選擇欲施用至該區塊的解區塊濾波；一濾波單元以施用所選解區塊濾波至該樣本區塊；及一嵌入單元以包括該PCM量化參數至該位元串流。
該濾波選擇單元可經組配以基於比較該PCM量化參數之一函數與相鄰區塊相聯結的量化參數而選擇解區塊濾波。該濾波選擇單元可經組配來決定是否施用解區塊濾波至該樣本區塊。另外或此外，該濾波選擇單元可經組配來選擇濾波之強度及/或選擇在該區塊中欲施用濾波器的樣本數目及樣本位置。
注意本發明之裝置可藉修飾特定濾波單元(於編碼器的解區塊濾波單元150及於解碼器的250)，及/或修飾ALF及/或SAO濾波單元體現以許可其如前文說明而判定、選擇與濾波。
該參數決定單元可經組配以決定PCM量化參數作為解區塊濾波後最大化主觀品質之值，或藉估計PCM量化參數值作為量化參數，將導致若施加變換編碼的相同雜訊。
如前述，解區塊濾波的決定及/或選擇可依據PCM量化參數執行。依據本發明之另一實施例，解區塊濾波的決定及選擇可類似涉及PCM編碼區塊的情況及只涉及非PCM編碼區塊的情況進行。更明確言之，參考圖15，基本上相鄰區塊A及B有三種可能，其中可能有利於解區塊濾波：
-區塊A為非PCM編碼區塊及區塊B也為非PCM編碼區塊。於此種情況下，區塊A係以其量化參數亦即施用以編碼區塊A的量化參數為其特徵(QPA=QP(A))。區塊B亦(QPB=QP(B))。
-區塊A為非PCM編碼區塊及區塊B為PCM編碼區塊(或反之亦然)。於此種情況下，區塊A係以其量化參數為其特徵(QPA=QP(A))。區塊B係以指示區塊B(QPB=QPPCM(B))的雜訊量之估計的「PCM量化參數」為其特徵。
-區塊A及區塊B皆為PCM編碼區塊。於此種情況下，區塊A及區塊B係以估計的「PCM量化參數」為其特徵，分別指示區塊A(QPA=QPPCM(A))及區塊B(QPB=QPPCM(B))中的雜訊量。
然後區塊A及B的量化參數之函式可用於解區塊濾波的決定及/或選擇。例如可體現下列QPA及QPB之函式： QP Ave =(QP A +QP B +1)>>1或或QP Ave =Max(QP A ,QP B ).
但此等僅為實例，也可施用任何其它函式。
類似圖14，首先可決定是否施用濾波器至整個區塊A及/或B。例如，若屬下述情況則可致能解區塊d=d q +d p <β(QP Ave ).
當對區塊A及/或B致能解區塊濾波時，可進一步逐行決定是否欲施用解區塊濾波至該區塊的特定行(列或欄)。當符合下述情況時決定施用強濾波 |p3 i -p0 i |+|q3 i -q0 i |<(β(QP Ave )>>3)^
d<(β(QP Ave )>>2)^
|p0 i -q0 i |<((t c (QP Ave )．5+1)>>1).
否則弱(或無)濾波將施用至該特定行i。
然後如上發明背景章節所示進行濾波。△值也可如上所示計算，亦即為：△=(9．(q0 i -p0 i )-3．(q1 i -p1 i )+8)>>4然後決定唯有當|△|<10．t c (QP Ave )時才濾波。否則，不執行解區塊濾波。當欲執行濾波(弱解區塊濾波)時，則計算如下值(△1)：△1=Clip3(-t c (QP Ave ),t c (QP Ave ),△)及在二區塊A及B的最接近邊界像素濾波如下：p0' i =Clip(p0 i -△1),q0' i =Clip(q0 i -△1).
更進一步決定是否欲濾波次接近邊界的像素。當d p <(β(QP Ave )/6)時濾波像素p1，否則不藉解區塊濾波濾波。當d q <(β(QP Ave )/6)時濾波像素q1，否則不藉解區塊濾波濾波。然後進行濾波如下：t c2(QP Ave )=t c (QP Ave )>>1
△2p =Clip3(-t c2(QP Ave ),t c2(QP Ave ),(((p2 i +p0 i +1)>>1)-p1 i +△1)>>1)
p1' i =Clip(p1 i +△2p )
△2q =Clip3(-t c2(QP Ave ),t c2(QP Ave ),(((q2 i +q0 i +1)>>1)-q1 i -△1)>>1)
q1' i =Clip(q1 i +△2q ).
前述辦法的優點為PCM編碼區塊及非PCM編碼區塊的濾波可以相同方式執行，其中PCM量化參數係被考慮為表示PCM編碼區塊的雜訊特性，因此可以相同方式用作為非PCM區塊的量化參數。
注意通常PCM量化參數也可視為指示解區塊濾波是否將施用至樣本區塊的一指示符，原因在於PCM量化參數也可用以決定針對區塊/區塊之樣本是否致能/去能解區塊濾波。
以上各實例皆係有關區塊或編碼單位。但如熟諳技藝人士顯然易知，本發明也可應用至用在HEVC的區塊或編碼單位以外的其它形式(形狀、大小)的影像區。
於各個實施例中描述的方法可藉在記錄媒體記錄用以體現於各個實施例中描述的移動圖像編碼方法(影像編碼方法)及移動圖像解碼方法(影像解碼方法)而單獨體現於一獨立電腦系統。記錄媒體可為任一種記錄媒體，只 要可記錄程式即可，諸如磁碟、光碟、磁光碟、IC卡、及半導體記憶體。
後文中，將描述於各個實施例中描述的移動圖像編碼方法(影像編碼方法)及移動圖像解碼方法(影像解碼方法)及其使用系統。該系統具有影像編解碼裝置特徵，包括使用影像編碼方法的影像編碼裝置及使用影像解碼方法的影像解碼裝置。取決於案例，也可視合宜而改變系統的其它組態。
(實施例A)
圖17例示說明用以體現內容分布服務的一種內容提供系統ex100之總組態。設有通訊服務之區係劃分成具有期望大小的小區，站台ex106、ex107、ex108、、ex109、及ex110為位在各小區內的固定無線站台。
內容提供系統ex100係分別地通過網際網路ex101、網際網路服務提供者ex102、電話網路ex104以及站台ex106至ex110而連結至裝置，諸如電腦ex111、個人數位助理器(PDA)ex112、相機ex113、小區式電話ex114及遊戲機ex115。
但內容提供系統ex100的組態並非限於圖17所示組態，及其中連結任一元件的組合為可接受。此外，各個裝置可直接地連結至電話網路ex104，而非透過屬於固定無線站台的站台ex106至ex110連結。此外，裝置可透過短距離無線通訊及其它而彼此互連。
相機ex113諸如數位視訊攝影機可拍攝視訊。相 機ex116諸如數位相機可拍攝靜相及視訊。又復，小區式電話ex114可為符合任一標準，諸如全球行動通訊系統(GSM)®、劃碼多向接取(CDMA)、寬帶劃碼多向接取(W-CDMA)、長期演進(LTE)、及高速封包存取(HSPA)另外，小區式電話ex114可為個人手持電話系統(PHS)。
於內容提供系統ex100中，串流化伺服器ex103係透過電話網路ex104及站台ex109而連結至相機ex113及其它，許可現場顯示及其它的影像分布。於此種分布中，由使用者運用相機ex113所拍攝的內容(例如音樂現場演奏會的視訊)係如前述編碼於各個實施例(例如依據本發明之一面向相機作為影像編碼裝置功能)，編碼內容傳輸給串流化伺服器ex103。另一方面，當請求時串流化伺服器ex103攜出所傳輸內容資料的串流分帶給客端裝置。該等客端裝置包括電腦ex111、個人數位助理器(PDA)ex112、相機ex113、小區式電話ex114及遊戲機ex115，其可解碼前述編碼資料。已經接收分布資料的各個裝置解碼且再現編碼資料(亦即作為依據本發明之一面向的影像解碼裝置之功能)。
拍攝的資料可藉相機ex113或傳輸該資料的串流化伺服器ex103編碼，或編碼過程可在相機ex113與串流化伺服器ex103間共享。同理，分布的資料可由客端裝置或串流化伺服器ex103解碼，或解碼過程可在客端裝置與串流化伺服器ex103間共享。此外，不僅由相機ex113同時由相機ex116拍攝的靜像及視訊資料可經由電腦ex111傳輸給串流化伺服器ex103。編碼程序可藉相機ex116、電腦ex111或串 流化伺服器ex103執行或於其間共享。
此外，編解碼過程可藉大致含括於電腦ex111及裝置各自的大型積體電路(LSI)ex500執行。LSI ex500可由單一晶片或多個晶片組配而成。編解碼視訊的軟體可整合入可藉電腦ex111及其它讀取的某個記錄媒體型別(諸如CD-ROM、可撓性碟及硬碟)，編解碼過程可使用軟體執行。此外，當小區式電話ex114裝配有相機時，可傳輸藉相機獲得的視訊資料。視訊資料為藉含括於小區式電話ex114的LSI ex500編碼的資料。
又復，串流化伺服器ex103可由伺服器及電腦組成，且可分散資料且處理分散的資料、記錄、或分配資料。
如前述，客端可接收與再現編碼資料於內容提供系統ex100。換言之，客端可接收且解碼由使用者發送的資訊，及在內容提供系統ex100實時再現已解碼資料，使得沒有任何特定權利及設備的使用者可體現個人廣播。
除了內容提供系統ex100之實例外，各個實施例描述的移動圖像編碼方法(影像編碼方法)及移動圖像解碼方法(影像解碼方法)中之至少一者可於圖18例示說明數位廣播系統ex200中體現。更明確言之，一廣播站ex201透過無線電波通訊或發射藉將音訊資料及其它多工化至視訊資料上所得的多工化資料給一廣播衛星ex202。視訊資料為於各個實施例所述藉移動圖像編碼方法編碼的資料(亦即依據本發明之一面向藉影像編碼裝置編碼的資料)。當接收到多工化資料時，廣播衛星ex202傳輸無線電波用以廣播。然 後，具有衛星廣播接收功能的家用天線ex204接收無線電波。其次，一裝置諸如電視機(接收器)ex300及一機上盒(STB)ex217解碼所接收的多工化資料，且再現該解碼資料(亦即依據本發明之一面向用作為影像解碼裝置之功能)。
此外，讀取器/記錄器ex218(i)讀取且解碼記錄在記錄媒體ex215諸如DVD及DB上的多工化資料，或(i)於記錄媒體ex215編碼視訊資料，且於於某些情況下，藉多工化一音訊信號所得的資料寫至該編碼資料上。如各個實施例所示，讀取器/記錄器ex218可包括移動圖像解碼裝置或移動圖像編碼裝置。於此種情況下，再現的視訊信號係顯示在監視器ex219上，且可使用其上記錄多工化資料的記錄媒體ex215，藉另一裝置或系統而再現視訊信號。也可在針對有線電視連結至纜線ex203，或針對衛星及/或地面廣播連結至天線ex204的機上盒ex217中的移動圖像編碼裝置體現，因而顯示視訊信號在電視機ex300的監視器ex219上。移動圖像解碼裝置可非在機上盒而在電視機ex300體現。
圖19例示說明電視機(接收器)ex300，其使用在各個實施例中描述的移動圖像編碼方法及移動圖像解碼方法。該電視機ex300包括：一調諧器ex301，其透過接收廣播的天線ex204或纜線ex203等而藉多工化音訊資料至視訊資料而獲得或提供所得多工化資料；一調變/解調單元ex302，其解調所接收的多工化資料或將資料調變成欲供應外界的多工化資料；及一多工化/解多工化單元ex303，其解調已調變的多工化資料成為視訊資料及音訊資料，或將由 由一信號處理單元ex306編碼的視訊資料及音訊資料多工化成為資料。
電視機ex300更進一步包括：一信號處理單元ex306包括一音訊信號處理單元ex304及一視訊信號處理單元ex305，其分別地解碼音訊資料及視訊資料與編碼音訊資料及視訊資料(其係作為依據本發明之面向的影像編碼裝置及影像解碼裝置)；及一輸出單元ex309包括提供解碼音訊信號的一揚聲器ex307，及一顯示解碼視訊信號的一顯示單元ex308，諸如顯示器。又復，電視機ex300包括一介面單元ex317包括接收一使用者操作輸入的一操作輸入單元ex312。又復，電視機ex300包括控制電視機ex300的各個組成元件總體的一控制單元ex310，及供電給各個元件的一電源供應電路單元ex311。除了操作輸入單元ex312外，介面單元ex317可包括：連結至外部裝置諸如讀取器/記錄器ex218的一橋接器ex313；用以許可記錄媒體ex216諸如SD卡附接的一插槽單元ex314；欲連結至一外部記錄媒體諸如硬碟的一驅動器ex315及欲連結至電話網路之一數據機ex316。此處，記錄媒體ex216可使用非依電性/依電性半導體記憶體元件用以儲存電氣記錄資訊。電視機ex300的組成元件係透過同步匯流排而彼此連結。
首先，將說明該組態，其中電視機ex300將透過天線ex204及其它得自外部的多工化資料解碼與再生解碼資料。於電視機ex300中，當透過遙控器ex220及其它而使用者操作時，多工化/解多工化單元ex303在控制單元ex310 的控制之下，解多工化藉調變/解調單元ex302所解調的多工化資料。此外，在電視機ex300中，使用各個實施例所述解碼方法，音訊信號處理單元ex304解碼已解調的音訊資料，及視訊信號處理單元ex305解碼已解調的視訊資料。輸出單元ex309分別地提供已解碼的視訊信號及音訊信號給外部。當輸出單元ex309提供視訊信號及音訊信號時，信號可暫時地儲存於緩衝器ex318及ex319及其它，使得該等信號可彼此同步再生。此外，電視機ex300可經由廣播及其它，反而從記錄媒體ex215及ex216，諸如磁碟、光碟、及SD卡讀取多工化資料。其次將說明一種組態，其中電視機ex300編碼一音訊信號及一視訊信號，且發送資料至外部，或將資料寫至記錄媒體上。於電視機ex300中，當透過遙控器ex220及其它而使用者操作時，在各個實施例中在控制單元ex310的控制之下，音訊信號處理單元ex304解碼已解調的音訊資料，及視訊信號處理單元ex305解碼已解調的視訊資料。多工化/解多工化單元ex303多工化編碼視訊信號及音訊信號，且提供所得信號給外部。當多工化/解多工化單元ex303多工化編碼視訊信號及音訊信號時，信號可暫時儲存在緩衝器ex320及ex321及其它，使得該等信號可彼此同步再生。此處，如所示，緩衝器ex318、ex319、ex320、及ex321可為多數，或至少一個緩衝器可於電視機ex300共用。此外，資料可儲存於緩衝器，使得例如在調變/解調單元ex302與多工化/解多工化單元ex303間可避免系統溢位及欠位。
此外，電視機ex300可包括一組態用以接收來自 麥克風或相機的一AV輸入，而非該組態用以從廣播或記錄媒體獲得音訊資料及視訊資料，且可編碼所得資料。雖然於說明中，電視機ex300可編碼、多工化、及提供外部資料，但也可能只能接收、解碼、及提供外部資料，而非編碼、多工化、及提供外部資料。
此外，當讀取器/記錄器ex218讀或寫多工化資料自或至一記錄媒體上時，電視機ex300及讀取器/記錄器ex218中之一者可解碼或編碼多工化資料，電視機ex300及讀取器/記錄器ex218可共享解碼或編碼。
舉個實例，圖20例示說明當資料係讀或寫自或至一光碟上時一資訊再生/記錄單元ex400的組態。資訊再生/記錄單元ex400包括組成元件ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學頭ex401照射一雷射點在記錄媒體ex215亦即光碟的一記錄表面上以寫入資訊，且檢測來自記錄媒體ex215的記錄主面的反射光以讀取資訊。調變記錄單元ex402電氣驅動含括在光學頭ex401的半導體雷射，且依據被記錄的資料而調變雷射光。再生解調單元ex403放大一再生信號，該再生信號係使用含括在光學頭ex401的一光檢測器，藉電氣檢測來自記錄表面的反射光所得，及藉分開記錄在記錄媒體ex215上的一信號成分以再生所需資訊。緩衝器ex404暫時地保有欲記錄在記錄媒體ex215上的資訊及從記錄媒體ex215再生的資訊。碟片馬達ex405旋轉該記錄媒體ex215。伺服控制單元ex406移動光學頭ex401至一預定資訊軌，同時控制碟片馬達ex405的旋轉 驅動以追蹤該雷射點。系統控制單元ex407控制總體資訊再生/記錄單元ex400。讀與寫過程可藉系統控制單元ex407，運用儲存在緩衝器ex404的各項資訊且視需要產生與添加新資訊而體現，及藉調變記錄單元ex402、再生解調單元ex403、及伺服控制單元ex406透過光學頭ex401記錄與再生資訊，同時以協調方式操作。系統控制單元ex407例如包括一微處理器，藉使得一電腦執行一讀與寫程式而執行處理。
雖然說明光學頭ex401照射一雷射點，但可使用近場光而執行高密度記錄。
圖21例示說明其為光碟的記錄媒體ex215。在該記錄媒體ex215的記錄表面上，形成螺旋狀導槽，及一資訊軌ex230事先依據導槽的形狀變化而記錄位址資訊，指示在碟片上的絕對位置。位址資訊包括決定記錄區塊ex231的位址之資訊，該記錄區塊ex231為用以記錄資料之一單元。再生資訊軌ex230及讀取在記錄與再生資料的一裝置內的位址資訊可導致記錄區塊之位置的決定。此外，記錄媒體ex215包括一資料記錄區ex233、一內圓周區ex232、及一外圓周區ex234。資料記錄區ex233乃用以記錄使用者資料的一區。內圓周區ex232及外圓周區ex234分別為資料記錄區ex233的內側及外側，係供特定用途，但記錄使用者資料除外。資訊再生/記錄單元ex400讀與寫編碼音訊資料、編碼視訊資料，或藉多工化編碼音訊及視訊資料所得的多工化資料自與至記錄媒體ex215的資料記錄區ex233。
雖然本文說明描述具有一層的光碟諸如DVD及 BD作為實例，但光碟並非囿限於此，且可為具有多層的光碟，能夠記錄在表面以外的部分上。此外，光碟可具有多維記錄/再生結構，諸如使用具有不同波長的有色光記錄資訊於光碟的相同部分，及從不同角度用以記錄具有不同層的資訊。
此外，有一根天線ex205的汽車ex210可從衛星ex202及其它接收資料，且在數位廣播系統ex200內在設定於汽車ex210內的顯示裝置諸如汽車導航系統ex211上再生視訊。此處，汽車導航系統ex211的組態將為例如得自包括圖14例示說明組態的一GPS接收單元。此點對電腦ex111、小區式電話ex114及其它的組態亦為真。
圖22A例示說明運用實施例描述的移動圖像編碼方法及移動圖像解碼方法的小區式電話ex114。小區式電話ex114包括：用以透過站台ex110發送與接收無線電波的一天線ex350；能拍攝動像及靜像的一相機單元ex365；及用以顯示資料，諸如由相機單元ex365所拍攝的或由天線ex350所接收的解碼視訊之一顯示單元ex358，諸如液晶顯示器。小區式電話ex114進一步包括：一主體單元包括一操作鍵單元ex366；一音訊輸出單元ex357，諸如用於音訊輸出的揚聲器；一音訊輸入單元ex356，諸如用於音訊輸入的麥克風；一記憶體單元ex367用以儲存所拍攝的動像或靜像、記錄的音訊、所接收的視訊之編碼資料及解碼資料、靜像、電子郵件、或其它；及一插槽單元ex364，其為以記憶體單元ex367的相同方式儲存資料的記錄媒體之一介面 單元。
其次，將參考圖22B說明小區式電話ex114的組態實例。於小區式電話ex114中，一主控制單元ex360設計以控制主體的各個單元總體，包括該顯示單元ex358及該操作鍵單元ex366彼此透過一同步匯流排ex370而連結至一電源供應電路單元ex361、一操作輸入控制單元ex362、一視訊信號處理單元ex355、一相機介面單元ex363、一液晶顯示器(LCD)控制單元ex359、一調變/解調單元ex352、一多工化/解多工化單元ex353、一音訊信號處理單元ex354、該插槽單元ex364及該記憶體單元ex367。
當一呼叫結束鍵或一電源鍵由使用者的操作所開啟時，電源供應電路單元ex361從電池組對個別單元供給電力，因而讓小區式電話ex114變成作用態。
於小區式電話ex114中，音訊信號處理單元ex354以語音轉換模式將由356所收集的音訊信號，在主控制單元ex360包括CPU、ROM、及RAM的控制之下，轉換成數位音訊信號。然後，調變/解調單元ex352對數位音訊信號執行展頻處理，及發送與接收單元ex351執行資料上數位對類比轉換及頻率轉換，因而透過天線ex350傳輸所得資料。又，於小區式電話ex114中，發送與接收單元ex351放大以語音轉換模式由天線ex350所接收的資料，且執行資料上的頻率轉換及類比至數位轉換。然後，調變/解調單元ex352執行資料上的反展頻處理，及音訊信號處理單元ex354將資料轉換成類比音訊信號，因而透過音訊輸出單元ex357輸出。
此外，當於資料通訊模式的電子郵件被發送時，電子郵件的文字資料係藉操作操作鍵單元ex366而輸入，主體的其它部分係透過操作輸入控制單元ex362而發送出至主控制單元ex360。主控制單元ex360使得調變/解調單元ex352在文字資料上執行展頻處理，及發送與接收單元ex351執行數位至類比轉換，結果所得資料的頻率轉換以透過天線ex350發送資料至站台ex110。當接收到電子郵件時，與發送電子郵件的處理約略顛倒的處理係在所接收的資料上執行，且結果所得資料提供給顯示單元ex358。
當於資料通訊模式的視訊、靜像、或視訊與音訊係被傳輸時，視訊信號處理單元ex355使用在各個實施例所示移動圖像編碼方法而壓縮與編碼從相機單元ex365供給的視訊信號(亦即依據本發明之一面向作為影像編碼裝置)，及發送該編碼視訊資料給多工化/解多工化單元ex353。相反地，當相機單元ex365拍攝視訊、靜像、及其它時，音訊信號處理單元ex354編碼藉音訊輸入單元ex356所收集的音訊信號，及發送該編碼音訊資料給多工化/解多工化單元ex353。
多工化/解多工化單元ex353使用預定方法多工化從視訊信號處理單元ex355供給的編碼視訊資料及從音訊信號處理單元ex354供給的編碼音訊資料。然後，調變/解調單元(調變/解調電路單元)ex352對多工化資料執行展頻處理，及發送與接收單元ex351對資料執行數位至類比轉換及頻率轉換，以透過天線ex350發送所得資料。
當接收一視訊檔案之資料，其係以資料通訊模式鏈接至一網頁及其它時，或當接收附接有視訊及/或音訊的電子郵件時，為了透過天線ex350解碼多工化資料，多工化/解多工化單元ex353將多工化資料解多工成為一視訊資料位元串流及一音訊資料位元串流，且透過同步匯流排ex370而供給編碼視訊資料給視訊信號處理單元ex355，及供給編碼音訊資料給音訊信號處理單元ex354。使用相對應於在各個實施例所示移動圖像編碼方法的一移動圖像解碼方法，視訊信號處理單元ex355解碼視訊信號(亦即依據本發明之一面向作為影像解碼裝置)，及然後，含括於該視訊檔案的視訊及靜像透過LCD控制單元ex359而鏈接至網頁。又復，音訊信號處理單元ex354解碼該音訊信號，及音訊輸出單元ex357提供該音訊。
此外，類似電視機ex300，一終端裝置諸如小區式電話ex114可能具有三型體現組態不僅只包括(i)發送與接收終端裝置含編碼裝置及解碼裝置二者，同時也包括(ii)只含一編碼裝置的發送終端裝置及(iii)只含一解碼裝置的接收終端裝置。雖然說明中描述數位廣播系統ex200接收與發送藉多工化音訊資料成為視訊資料所得的多工化資料，但該多工化資料可為藉將非音訊資料反而是視訊相關的符碼資料多工化成為視訊資料所得的資料，且可能並非多工化資料而是視訊資料本身。
如此，於各個實施例中移動圖像編碼方法及移動圖像解碼方法可用在所述的任何裝置及系統。如此，可獲 得在各個實施例中所述優點。
此外，本發明並非限於實施例，未悖離本發明之範圍，多項修飾與修訂皆屬可能。
(實施例B)
視需要，視訊資料可藉在(i)各個實施例顯示的移動圖像編碼方法或移動圖像編碼裝置與(ii)遵照不同標準的移動圖像編碼方法或移動圖像編碼裝置，諸如MPEG-2、MPEG-4 AVC、及VC-1間切換而產生。
此處，當產生符合不同標準的多個視訊資料及然後解碼時，解碼方法須選擇符合不同標準。但因欲解碼的多個視訊資料各自符合哪一個標準無法檢測，故有無法選擇適當解碼方法的問題。
為了解決該項問題，藉多工化音訊資料及其它至視訊資料上所得的多工化資料具有一種結構包括識別符資訊指示視訊資料符合哪個標準。於各個實施例中，於移動圖像編碼方法中且藉移動圖像編碼裝置產生的含視訊資料的多工化資料之特定結構，容後詳述。多工化資料乃於MPEG-2傳送串流格式的數位串流。
圖23例示說明多工化資料的結構。如圖23之例示說明，多工化資料可藉多工化視訊串流、音訊串流、表示型態圖形串流(PG)、及互動圖形串流中之至少一者獲得。視訊串流表示一影片的一次視訊及二次視訊，音訊串流(IG)表示一次音訊部分及欲與一次音訊部分混合的二次音訊部分，及表示型態圖形串流表示影片的對白字幕。此處，一 次視訊係欲顯示在螢幕上的正常視訊，及二次視訊係欲顯示在一次視訊中的較小型視窗的視訊。此外，互動圖形串流表示欲藉配置該GUI組件在螢幕上所產生的互動式畫面。視訊串流係於各個實施例中，於移動圖像編碼方法中且藉移動圖像編碼裝置編碼；或於符合習知標準諸如MPEG-2、MPEG-4 AVC、及VC-1，於移動圖像編碼方法中且藉移動圖像編碼裝置編碼。音訊串流係依據標準編碼，諸如杜比-AC-3、杜比數位增上(Dolby Digital Plus)、MLP、DTS、DTS-HD、及線性PCM。
含括於多工化資料的各個串流係藉PID識別。舉例言之，0x1011係配置給欲用於影片的視訊之視訊串流，0x1100至0x111F係配置給音訊串流，0x1200至0x121F係配置給表示型態圖形串流，0x1400至0x141F係配置給互動圖形串流，0x1B00至0x1B1F係配置給欲用於影片的二視訊之視訊串流，0x1A00至0x1A1F係配置給欲用於將混合一次音訊的二次音訊的音訊串流。
圖24示意顯示資料係如何加以多工化。首先，由視訊框組成的一視訊串流ex235及由音訊框組成的一音訊串流ex238係分別地變換成一串流PES封包ex236及一串流PES封包ex239，及進一步分別地變換成TS封包ex237及TS封包ex240。同理，表示型態圖形串流ex241之資料及互動圖形串流ex244之資料係變換成一串流PES封包ex242及一串流PES封包ex245，及進一步分別地變換成TS封包ex243及TS封包ex246。此等TS封包係多工化成為一串流以獲得多 工化資料ex247。
圖25例示說明一視訊串流如何以進一步細節儲存於一串流之PES封包。於圖25中第一列顯示在一視訊串流的視訊框串流。第二列顯示該串流的PES封包。如圖25以yy1、yy2、yy3、及yy4標示的箭頭指示，視訊串流劃分為I圖像、B圖像、及P圖像，其各自為視訊表示型態單元，圖像係儲存在各個PES封包的酬載。PES封包各自具有一PES標頭，該PES標頭儲存指示該圖像的顯示時間之一表示型態時間戳記(PTS)，及指示圖像的解碼時間之一解碼時間戳記(DTS)。
圖26例示說明最終欲寫至多工化資料上的TS封包格式。各個TS封包為188位元組固定長度封包，含具有資訊的4-位元組TS標頭，諸如用以識別串流的PID及用以儲存資料的184-位元組TS酬載。PES封包經分割且分別地儲存於TS酬載。當使用BD ROM時，各個TS封包被給定一4-位元組TP_Extra_Header，如此導致192-位元組來源封包。來源封包寫在多工化資料上。TP_Extra_Header儲存資訊諸如Arrival_Time_stamp(ATS)。ATS顯示各個TS封包欲傳輸至PID濾波器的傳輸起始時間。如圖26底所示，來源封包係排列於多工化資料內。從多工化資料頭端遞增的數目稱作來源封包數目(SPN)。
多工化資料內含括的TS封包各自不僅包括音訊、視訊、對白字幕及其它之串流，同時也包括程式聯結表(PAT)、程式對映表(PMT)、及程式時鐘參考(PCR)。PAT 顯示用於該多執行緒程式中的一PMT內的PID指示何者，及PAT本身的PID係登錄為零。PMT儲存含括於多工化資料的音訊、視訊、對白字幕及其它之串流的PID，及相對應於PID的串流之屬性資訊。PMT也具有與多工化資料相關的各個描述符。描述符具有資訊，諸如拷貝控制資訊顯示多工化資料是否被核可拷貝。PCR儲存與ATS相對應的STC時間資訊，顯示何時PCR封包被傳輸給解碼器，以達成ATS的時間軸的到達時間時鐘(ATC)與PTS及DTS的時間軸的系統時間時鐘(STC)間之同步。
圖27例示說明PMT之資料結構細節。PMT標頭係配置在PMT頂部。PMT標頭描述含括於PMT及其它的資料長度。多工化資料相關的多個描述符係設在PMT標頭後方。諸如拷貝控制資訊的資訊係描述於描述符。在該等描述符之後，設有含括在該多執行緒程式之多塊串流相關的串流資訊。各塊串流資訊包括串流描述符，各自描述資訊，諸如識別一串流的壓縮編解碼器之串流型別、串流PID、及串流屬性資訊(諸如框率或縱橫比)。串流描述符數目係等於多工化資料內的串流數目。
當多工化資料係記錄於一記錄媒體及其它上時，係連同多工化資料資訊檔案記錄。
多工化資料資訊檔案各自為如圖28所示的多工化資料之管理資訊。多工化資料資訊檔案對多工化資料係呈一對一對應關係，及該等檔案各自包括多工化資料資訊、串流屬性資訊、及一分錄對映表。
如圖28之例示說明，多工化資料資訊包括一系統速率、一再生起始時間、及一再生結束時間。系統速率指示一系統目標解碼器容後詳述傳輸該最大值資料給一PID濾波器的最大傳輸速率。含括於多工化資料的ATS的區間係設定為不高於系統速率。再生起始時間指示在多工化資料起頭的一視訊框的PTS。一個圖框間隔係加至在多工化資料結束的一視訊框的PTS，且該PTS係設定至該再生結束時間。
如圖29所示，針對含括於該多工化資料的各串流的各個PID，一塊屬性資訊係登錄於串流屬性資訊。各塊屬性資訊具有不同資訊，取決於相對應串流是否為一視訊串流、一音訊串流、一表示型態圖形串流、或一互動圖形串流而定。各塊視訊串流屬性資訊攜載資訊包括：哪種壓縮編解碼器係用以壓縮該視訊串流、及含括於該視訊串流的該等圖像資料塊的解析度、縱橫比及圖框率。各塊音訊串流屬性資訊攜載資訊包括：哪種壓縮編解碼器係用以壓縮該音訊串流、多少個聲道含括於該音訊串流、音訊串流支援哪個語言，及取樣頻率多高。視訊串流屬性資訊及音訊串流屬性資訊係用在播放器回放該資訊前初始化一解碼器。
於本實施例中，欲使用的多工化資料乃含括於PMT的串流型別。又復，當該多工化資料係記錄在一記錄媒體上時，使用含括於多工化資料資訊的視訊串流屬性資訊。更明確言之，各個實施例中描述的移動圖像編碼方法 及移動圖像編碼裝置包括用以配置獨特資訊之一步驟或一單元，該資訊指示藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置所產生的視訊資料給含括於PMT的串流型別或視訊串流屬性資訊。使用該組態，藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置所產生的視訊資料可與符合另一標準的視訊資料區別。
此外，圖30例示說明依據本實施例移動圖像解碼方法之各步驟。於步驟exS100，含括於PMT的串流型別或含括於多工化資料資訊的視訊串流屬性資訊係得自多工化資料。其次，於步驟exS101，決定該串流型別或視訊串流屬性資訊是否指示該多工化資料係藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置所產生。當決定該串流型別或視訊串流屬性資訊指示該多工化資料係藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置所產生時，於步驟exS102，藉各個實施例的移動圖像解碼方法進行解碼。又復，當該串流型別或視訊串流屬性資訊指示符合習知標準，諸如MPEG-2、MPEG-4 AVC、及VC-1時，於步驟exS103，係藉符合習知標準的移動圖像解碼方法進行解碼。
如此，配置一個獨特新值給該串流型別或視訊串流屬性資訊許可決定在各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置是否能進行解碼。即便輸入符合不同標準的多工化資料時，仍可選用適當解碼方法或裝置。如此可能變成無任何錯誤地解碼資訊。又復，於本實 施例中的移動圖像編碼方法或裝置、或移動圖像解碼方法或裝置可用於前述裝置及系統。
(實施例C)
於各個實施例中，移動圖像編碼方法、移動圖像編碼裝置、移動圖像解碼方法或移動圖像解碼裝置典型地係以積體電路或大型積體(LSI)電路形式達成。至於LSI之實例，圖31例示說明製作成一個晶片的LSI ex500之組態。LSI ex500包括元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508及ex509，容後詳述，該等元件係透過一匯流排ex510而彼此連結。電源供應電路單元ex505係在啟動時藉對各個元件供電而作動。
舉例言之，當執行編碼時，LSI ex500在一控制單元ex501的控制之下，透過AV IO ex509而從麥克風ex117、相機ex113及其它接收AV信號，該控制單元ex501係包括一CPU ex502、記憶體控制器ex503、串流控制器ex504及驅動頻率控制單元ex512。所接收的AV信號暫時儲存於一外部記憶體ex511，諸如SDRAM。於控制單元ex501的控制之下，所儲存的資料依據欲發送給信號處理單元ex507的處理量及處理速度而分段成多個資料部分。然後，信號處理單元ex507編碼一音訊信號及/或一視訊信號。此處，視訊信號的編碼為各個實施例描述的編碼。又復，信號處理單元ex507偶爾多工化編碼音訊資料及編碼視訊資料，及一串流IO ex506提供該多工化資料給外部。所提供的多工化資料係發送給站台ex107，或寫在記錄媒體ex215 上。當資料集被多工化時，資料須暫時儲存在緩衝器ex508，使得資料集彼此同步化。
雖然記憶體ex511乃LSI ex500外部的元件，但可含括於LSI ex500內部。緩衝器ex508並不限於一個緩衝器，反而可由多個緩衝器組成。此外，LSI ex500可製作成一個晶片或多個晶片。
此外，雖然控制單元ex501包括CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制單元ex512，但控制單元ex501的組態並非囿限於此。舉例言之，信號處理單元ex507可進一步包括一CPU。含括另一個CPU於信號處理單元ex507可改進處理速度。此外，至於另一個實例，CPU ex502可用作為信號處理單元ex507或作為其中一部分，例如可包括一音訊信號處理單元。於此種情況下，控制單元ex501包括信號處理單元ex507，或CPU ex502包括信號處理單元ex507的一部件。
此處使用的名稱是LSI，但取決於集積程度也稱作為IC、系統LSI、超級LSI、或超LSI。
此外，達成整合的技術非僅限於LSI，特用電路或通用處理器等可達成該項整合。製造LSI後可程式規劃的可現場程式規劃閘陣列(FPGA)或許可連結的重新組配或LSI組配的可重新組配處理器可用於相同目的。
未來隨著半導體技術的進展，嶄新技術可能置換LSI。功能方塊可能使用此種技術整合。本發明可能適用於生物技術。
(實施例D)
當藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置產生的視訊資料被解碼時，比較當符合習知標準諸如MPEG-2、MPEG-4 AVC、及VC-1的視訊資料被解碼時，處理量可能增加。如此，當符合習知標準的視訊資料被解碼時，LSI ex500須被設定至比較使用CPU ex502時更高的驅動頻率。但當驅動頻率設定為更高時，有功耗增加的問題。
為了解決該項問題，移動圖像解碼裝置諸如電視機ex300及LSI ex500係經組配來決定視訊資料符合哪個標準，且依據所決定的標準而在驅動頻率間切換。圖32例示說明本實施例中之一組態ex800。當視訊資料係藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置產生時，驅動頻率切換單元ex803設定驅動頻率為較高驅動頻率。然後，驅動頻率切換單元ex803指示執行在各個實施例中描述的移動圖像編碼方法之一解碼處理單元ex801解碼該視訊資料。當該視訊資料符合習知標準時，驅動頻率切換單元ex803設定一驅動頻率至比各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置所產生的該視訊資料的驅動頻率為更低的驅動頻率。然後，驅動頻率切換單元ex803指示符合習知標準的解碼處理單元ex802解碼該視訊資料。
更明確言之，驅動頻率切換單元ex803包括於圖26的CPU ex502及驅動頻率控制單元ex512。此處，執行於 各個實施例所述移動圖像解碼方法的解碼處理單元ex801及符合習知標準的解碼處理單元ex802各自係相對應於圖26的信號處理單元ex507。CPU ex502決定視訊資料哪合哪個標準。然後，驅動頻率控制單元ex512基於得自CPU ex502的一信號決定一驅動頻率。又復，信號處理單元ex507基於得自CPU ex502的信號而解碼視訊資料。舉例言之，實施例B中描述的識別資訊可能用以識別視訊資料。識別資訊並非限於實施例B所述者，反而可為任何資訊，只要該資訊指示該視訊資料符合哪個標準即可。舉例言之，當可基於用以決定視訊資料係用在電視或碟片等的一外部信號而能夠決定視訊資料符合哪個標準時，該項決定可基於此種外部信號做決定。又復，CPU ex502例如基於一詢查表而選擇一驅動頻率，該詢查表中視訊資料標準係與驅動頻率相聯結，如圖34所示。驅動頻率可藉儲存詢查表於緩衝器ex508及儲存於LSI的內部記憶體，且由CPU ex502參考該詢查表而予選擇。
圖33例示說明執行本實施例之方法的步驟。首先，於步驟exS200，信號處理單元ex507從多工化資料獲得識別資訊。其次，於步驟exS201，CPU ex502基於識別資訊，決定視訊資料是否由各個實施例中描述的解碼由編碼方法及編碼裝置所產生的視訊資料。當視訊資料係藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置產生時，於步驟exS202，CPU ex502發送一信號給驅動頻率控制單元ex512以設定驅動頻率至較高驅動頻率。然後，驅動頻 率控制單元ex512設定驅動頻率至較高驅動頻率。另一方面，當識別資訊指示視訊資料符合習知標準諸如MPEG-2、MPEG-4 AVC、及VC-1時，於步驟exS203，CPU ex502發送一信號給驅動頻率控制單元ex512以設定驅動頻率至較低驅動頻率。然後，驅動頻率控制單元ex512設定驅動頻率至比較視訊資料係藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置產生之情況的更低驅動頻率。
又復，連同驅動頻率的切換，藉改變欲施加至LSI ex500或含LSI ex500的裝置的電壓，可改良節電效應。舉例言之，當驅動頻率設定為低時，欲施加至LSI ex500或含LSI ex500的裝置的電壓可能設定為低於驅動頻率設定為較高之情況的電壓。
此外，當解碼的處理量更大時，驅動頻率可設定為更高，而當解碼的處理量更小時，驅動頻率可設定為更低作為設定驅動頻率的方法。如此，設定方法並非限於前述者。舉例言之，當解碼符合MPEG-4 AVC的視訊資料的處理量係大於各個實施例中描述的解碼由移動圖像編碼方法及移動圖像編碼裝置所產生的視訊資料的處理量，驅動頻率可能以前述設定的反向順序設定。
此外，設定驅動頻率之方法並不限制設定驅動頻率減低之方法。舉例言之，當識別資訊指示視訊資料係藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置產生時，欲施用至LSI ex500的電壓或含括LSI ex500的裝置可能設定更高。當識別資訊指示視訊資料符合習知標準 諸如MPEG-2、MPEG-4 AVC、及VC-1時，欲施用至LSI ex500的電壓或含括LSI ex500的裝置可能設定更低。至於另一個實例，當識別資訊指示視訊資料係藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置產生時，CPU ex502的驅動可能無需擱置。當識別資訊指示視訊資料符合習知標準諸如MPEG-2、MPEG-4 AVC、及VC-1時，CPU ex502的驅動可能在一給定時間擱置，原因在於CPU ex502具有額外處理容量。即便當識別資訊指示視訊資料係藉各個實施例中描述的移動圖像編碼方法及移動圖像編碼裝置產生時，於該種情況下，CPU ex502具有額外處理容量，CPU ex502的驅動可能在一給定時間擱置。於此種情況下，擱置時間可能設定為比較當識別資訊指示視訊資料符合習知標準諸如MPEG-2、MPEG-4 AVC、及VC-1的情況時更短。
據此，藉由依據視訊資料符合的標準，藉在驅動頻率間切換可改良節電效果。又復，當LSI ex500或含LSI ex500的裝置係使用電池驅動時，電池壽命可使用節電效果延長。
(實施例E)
有多個情況其中多個視訊資料符合不同標準係提供給裝置及系統，諸如電視及小區式電話。為了解碼符合不同標準的多個視訊資料，LSI ex500的信號處理單元ex507須符合不同標準。但個別使用符合個別標準的信號處理單元ex507，出現LSI ex500的電路規度增加及成本增高的問題。
為了解決該項問題，設想一種組態其中用以體現在各個實施例中描述的移動圖像解碼方法之解碼處理單元與符合習知標準的解碼處理單元MPEG-2、MPEG-4 AVC、及VC-1間部分共享。圖35A的ex900顯示組態的一個實例。舉例言之，各個實施例中描述的移動圖像解碼方法及符合MPEG-4 AVC的移動圖像解碼方法具有部分共通的處理細節，諸如熵編碼、反量化、解區塊濾波、及移動補償預測。欲共享的處理細節可能包括符合MPEG-4 AVC的解碼處理單元ex902。相反地，可能用於本發明之一面向獨特的其它處理。因本發明之一面向係以反量化為其特性，更明確言之，例如專用解碼處理單元ex901係用在反量化。否則，解碼處理單元可能為熵編碼、反量化、解區塊濾波、及移動補償預測或全部處理中之一者共享。用以體現於各個實施例中描述的移動圖像解碼方法之解可為欲共用的處理間共享，及專用解碼處理單元可用於MPEG-4 AVC獨特的處理。
此外，圖35B的ex1000顯示處理係部分共用的另一個實例。本實例使用一組態包括支援本發明之一面向獨特處理的一專用解碼處理單元ex1001，支援另一個習知標準獨特處理的一專用解碼處理單元ex1002，及支援依據本發明之一面向與習知移動圖像解碼方法間共用的處理的一解碼處理單元ex1003。此處專用解碼處理單元ex1001及ex1002分別地並非必要為依據本發明之一面向的處理及習知標準處理所特用，而可為能體現通用處理者。此外，本實施例之組態可藉LSI ex500體現。
如此，藉由在依據本發明之一面向的移動圖像解碼方法與符合習知標準的移動圖像解碼方法間共用的處理而共用解碼處理單元，可能縮小LSI的電路規度與減低成本。
要言之，本發明係有關於可應用在影像或視訊編碼與解碼中平滑化區塊邊界的解區塊濾波。更明確言之，本發明係有關於濾波樣本之脈衝碼調變(PCM)編碼區塊。因此，致能或去能PCM編碼區塊的解區塊濾波之一分開指標及致能或去能第二濾波之一分開指標係嵌入該編碼位元中流以個別地切換開或關解區塊濾波及另一種濾波諸如適應性迴圈濾波或樣本適應性偏移。
1610-1640‧‧‧步驟

Claims (18)

  1. 一種使用一脈衝碼調變(PCM)以編碼於一視訊信號之一影像中的一樣本區塊成為一位元串流之方法，該方法係包含：判定一解區塊濾波是否將施用至該樣本區塊；判定與該解區塊濾波不同的一第二濾波是否將施用至該樣本區塊；於該位元串流內含括一解區塊濾波指示符以指示判定是否將施用一解區塊濾波的結果；及於該位元串流內含括與該解區塊濾波指示符不同的一第二濾波指示符，以指示判定是否將施用一第二濾波的結果。
  2. 如申請專利範圍第1項之方法，其中該第二濾波為一適應性迴路濾波或一樣本適應性偏移(SAO)。
  3. 如申請專利範圍第1項之方法，其中該解區塊濾波指示符係含括於一序列參數集內部的該位元串流內。
  4. 如申請專利範圍第1項之方法，其中該第二指示符係含括於每個區塊的該位元串流中。
  5. 如申請專利範圍第1項之方法，其中該判定一第二濾波是否將施用係包括下列步驟：決定於該經PCM編碼的樣本區塊中的量化雜訊量；及基於該所決定的量化雜訊量，判定是否要施用一第 二濾波。
  6. 如申請專利範圍第1項之方法，其係包含下列步驟：判定一樣本適應性偏移(SAO)是否將施用至該樣本區塊；於該位元串流內含括一SAO指示符以指示判定是否要施用一SAO的結果。
  7. 如申請專利範圍第1項之方法，其中該判定一第二濾波是否將施用至該樣本區塊之步驟係進一步包括下列步驟：判定該第二濾波是否將施用至可藉該解區塊濾波修飾的該區塊之該等樣本；於該位元串流內含括一已修飾樣本指示符以指示判定該第二濾波是否將施用至該已修飾樣本的結果；判定該第二濾波是否將施用至不可藉該解區塊濾波修飾的該區塊之該等樣本；及於該位元串流內含括一未經修飾樣本指示符以指示判定該第二濾波是否將施用至該未經修飾樣本的結果。
  8. 如申請專利範圍第1項之方法，其中該判定一第二濾波是否將施用至該樣本區塊係基於判定該解區塊濾波是否將施用至該樣本區塊的結果而執行。
  9. 如申請專利範圍第1項之方法，其中該判定一解區塊濾波是否將施用至該經PCM編碼的樣本區塊係包括下列步驟： 決定該樣本區塊之一相鄰區塊是否係使用脈衝碼調變編碼或藉預測編碼而編碼；當該相鄰區塊係藉預測編碼而編碼時，判定一解區塊濾波係將施用至該樣本區塊。
  10. 如申請專利範圍第1項之方法，其中該判定一解區塊濾波是否將施用至該樣本區塊係基於比較相鄰該樣本區塊之一區塊的量化誤差與一預定臨界值而執行。
  11. 一種用以從一位元串流解碼於一視訊信號之一影像中的一樣本區塊之方法，該樣本區塊係使用一脈衝碼調變(PCM)編碼，該方法係包含：從該位元串流提取一解區塊濾波指示符以指示一解區塊濾波是否將施用至該樣本區塊；與該解區塊濾波指示符分開地，從該位元串流提取一第二濾波指示符以指示一第二濾波是否將施用至該樣本區塊；依據該所提取的解區塊濾波指示符而施用或不施用該解區塊濾波至該樣本區塊；及依據該所提取的第二濾波指示符而施用或不施用該第二濾波至該樣本區塊。
  12. 如申請專利範圍第11項之方法，其中該第二指示符指示一適應性迴路濾波及一樣本適應性偏移(SAO)二者是否將施用至該樣本區塊；或從該位元串流提取二分開的指示符，一者用以指示適應性迴路濾波是否將施用至該樣本區塊，而另一者指 示SAO是否將施用至該樣本區塊，及該適應性迴路濾波及SAO係依據所提取的指示符而施用或不施用至該樣本區塊。
  13. 如申請專利範圍第11項之方法，其中該第二指示符包括：一已修飾樣本指示符，用以指示該第二濾波是否將施用至可藉該解區塊濾波修飾的該區塊之該等樣本；及/或一未經修飾樣本指示符，用以指示該第二濾波是否將施用至不可藉該解區塊濾波修飾的該區塊之該等樣本，及依據所提取的已修飾樣本指示符及未經修飾樣本指示符，施用或不施用該第二濾波至該區塊的該等個別已修飾樣本及未經修飾樣本。
  14. 如申請專利範圍第1項之方法，其中該解區塊濾波指示符及/或該第二濾波指示符係插入於該影像截割片標頭或該區塊資訊內。
  15. 一種電腦程式產品，其包含具有一電腦可讀取程式代碼實施於其上的一電腦可讀取媒體，該程式代碼係適用以進行如申請專利範圍第1項之方法。
  16. 一種使用一脈衝碼調變(PCM)以編碼於一視訊信號之一影像中的一樣本區塊成為一位元串流之裝置，該裝置係包含：一解區塊判定單元，用以判定一解區塊濾波是否將 施用至該樣本區塊；一第二判定單元，用以判定與該解區塊濾波不同的一第二濾波是否將施用至該樣本區塊；以及一嵌入單元，用以於該位元串流內含括一解區塊濾波指示符以指示判定是否將施用一解區塊濾波的結果，及用以於該位元串流內含括與該解區塊濾波指示符不同的一第二濾波指示符，以指示判定是否將施用一第二濾波的結果。
  17. 一種用以從一位元串流解碼於一視訊信號之一影像中的一樣本區塊之裝置，該樣本區塊係使用一脈衝碼調變(PCM)編碼，該裝置係包含：一提取單元，其係從該位元串流提取一解區塊濾波指示符以指示一解區塊濾波是否將施用至該樣本區塊，及與該解區塊濾波指示符分開地，從該位元串流提取一第二濾波指示符以指示一第二濾波是否將施用至該樣本區塊；一解區塊濾波單元，其係經組配來依據該所提取的解區塊濾波指示符而施用或不施用該解區塊濾波至該樣本區塊；及一第二濾波單元，其係經組配來依據該所提取的第二濾波指示符而施用或不施用該第二濾波至該樣本區塊。
  18. 一種用以具體實施如申請專利範圍第16項之裝置之積體電路，其係進一步包含一記憶體，該記憶體係為用以 儲存將被濾波的像素之一垂直及/或水平線記憶體。
TW101140787A 2011-11-03 2012-11-02 以脈衝碼調變模式編碼之區塊的濾波技術 TWI577191B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161555193P 2011-11-03 2011-11-03

Publications (2)

Publication Number Publication Date
TW201325242A TW201325242A (zh) 2013-06-16
TWI577191B true TWI577191B (zh) 2017-04-01

Family

ID=47178630

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101140787A TWI577191B (zh) 2011-11-03 2012-11-02 以脈衝碼調變模式編碼之區塊的濾波技術

Country Status (3)

Country Link
KR (1) KR102007050B1 (zh)
TW (1) TWI577191B (zh)
WO (1) WO2013064661A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US20150181213A1 (en) * 2012-06-26 2015-06-25 Nec Corporation Video encoding device, video decoding device, video encoding method, video decoding method, and program
CN105409221B (zh) 2014-04-29 2020-03-06 微软技术许可有限责任公司 用于样本自适应偏移滤波的编码器侧决策
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
WO2016145240A1 (en) * 2015-03-10 2016-09-15 Apple Inc. Video encoding optimization of extended spaces including last stage processes
WO2016204531A1 (ko) * 2015-06-16 2016-12-22 엘지전자(주) 블록 경계에 따라 적응적으로 필터링을 수행하는 방법 및 장치
GB2582029A (en) * 2019-03-08 2020-09-09 Canon Kk An adaptive loop filter
CN114208182B (zh) * 2019-07-09 2023-09-26 Lg电子株式会社 用于基于去块滤波对图像进行编码的方法及其设备
CN120499386A (zh) * 2020-03-17 2025-08-15 北京三星通信技术研究有限公司 视频编解码的方法和装置
KR102863546B1 (ko) * 2024-05-16 2025-09-24 (주)클라모스 스트리밍 데이터의 수집과 필터링을 자동화하는 방법, 장치 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614939B1 (en) * 1997-08-05 2003-09-02 Matsushita Electric Industrial Co., Ltd Image compression apparatus and decoding apparatus suited to lossless image compression
US6798833B2 (en) * 2001-05-07 2004-09-28 Hynix Semiconductor Inc. Video frame compression/decompression hardware system
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US20110038421A1 (en) * 2004-10-15 2011-02-17 Heiko Schwarz Apparatus and Method for Generating a Coded Video Sequence by Using an Intermediate Layer Motion Data Prediction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2008112186A (ru) * 2005-08-29 2009-10-10 ПЭЙС ПиЭлСи (GB) Устройство для фильтрования изображения, полученного посредством основывающегося на блоках разуплотнения изображения
CN105407355A (zh) * 2006-11-08 2016-03-16 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
EP2151124A4 (en) 2007-04-26 2010-12-29 Polycom Inc ENTSPERRUNGSFILTERANORDNUNGEN
EP2375747B1 (en) * 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614939B1 (en) * 1997-08-05 2003-09-02 Matsushita Electric Industrial Co., Ltd Image compression apparatus and decoding apparatus suited to lossless image compression
US6798833B2 (en) * 2001-05-07 2004-09-28 Hynix Semiconductor Inc. Video frame compression/decompression hardware system
US20110038421A1 (en) * 2004-10-15 2011-02-17 Heiko Schwarz Apparatus and Method for Generating a Coded Video Sequence by Using an Intermediate Layer Motion Data Prediction
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Keiichi Chono et al, "Pulse code modulation mode for HEVC", JCTVC-E057, March 16-23, Year of 2011 *
Keiichi Chono et al., "Proposal of enhanced PCM coding in HEVC", JCTVC-E192, March 16, Year of 2011 *

Also Published As

Publication number Publication date
KR20140094496A (ko) 2014-07-30
WO2013064661A1 (en) 2013-05-10
TW201325242A (zh) 2013-06-16
KR102007050B1 (ko) 2019-10-01

Similar Documents

Publication Publication Date Title
JP7792603B2 (ja) 復号装置、符号化装置、復号方法、および符号化方法
JP7561354B2 (ja) 復号方法および復号装置
JP6422067B2 (ja) 符号化方法、プログラムおよび符号化装置
EP2774362B1 (en) Quantization parameter for blocks coded in the pcm mode
TWI577191B (zh) 以脈衝碼調變模式編碼之區塊的濾波技術
CN103385001B (zh) 用于去块的高效率决策
WO2012175196A1 (en) Deblocking control by individual quantization parameters