[go: up one dir, main page]

TW201813389A - 編碼裝置、解碼裝置、編碼方法及解碼方法 - Google Patents

編碼裝置、解碼裝置、編碼方法及解碼方法 Download PDF

Info

Publication number
TW201813389A
TW201813389A TW106126755A TW106126755A TW201813389A TW 201813389 A TW201813389 A TW 201813389A TW 106126755 A TW106126755 A TW 106126755A TW 106126755 A TW106126755 A TW 106126755A TW 201813389 A TW201813389 A TW 201813389A
Authority
TW
Taiwan
Prior art keywords
aforementioned
block
basic block
binarized
frequency conversion
Prior art date
Application number
TW106126755A
Other languages
English (en)
Inventor
安倍清史
橋本隆
西孝啓
遠間正真
Original Assignee
美商松下電器(美國)知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器(美國)知識產權公司 filed Critical 美商松下電器(美國)知識產權公司
Publication of TW201813389A publication Critical patent/TW201813389A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明的編碼裝置具備記憶體、及可存取記憶體的電路;可存取記憶體的前述電路按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含資料值的圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於資料值的二值化中,從包含第1表及第2表的複數個表中選擇轉換表,按照選擇出的轉換表,將資料值二值化,其中前述第1表包含表示0作為非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為非零係數的個數的資料值的對應關係。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法
本發明是關於一種編碼圖像資訊的編碼裝置等。
於習知的編碼方式H.265,編碼包含與圖像頻率成分有關的頻率轉換係數資訊的圖像資訊。 先行技術文獻
非專利文獻 [非專利文獻1]H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding))
發明概要 發明欲解決之課題 然而,頻率轉換係數資訊的碼量甚大,對圖像資訊的全體碼量造成巨大的影響。因此,若未適當處理頻率轉換係數資訊,圖像資訊的全體碼量可能增加。
因此,本發明提供一種可適當處理頻率轉換係數資訊的編碼裝置等。 用以解決課題之手段
本發明一態樣的編碼裝置,其編碼圖像資訊;且具備:記憶體;及電路,其可存取前述記憶體;可存取前述記憶體的前述電路按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述資料值的二值化中,從包含第1表及第2表的複數個表中選擇前述轉換表,按照選擇出的前述轉換表,將前述資料值二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
再者,該等全面或具體的態樣亦得以系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時性記錄媒體來實現,或以系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。 發明效果
本發明一態樣的編碼裝置可適當處理頻率轉換係數資訊。
用以實施發明之形態 (作為本發明基礎的知識) 習知的編碼方式H.265利用算術編碼,用以有效率地編碼圖像資訊。具體而言,採用稱為CABAC的上下文適應型二值算術編碼方式。
例如於上下文適應型二值算術編碼方式,藉由二值化,多值訊號被轉換為二值化資料串,其為值以0或1表現之資料串。然後,依據資料種類別等之上下文,從預定之複數個發生機率中選擇0或1的發生機率,按照選擇的發生機率,對於二值化資料串適用二值算術編碼。然後,按照二值化資料串所含0或1之值,來更新發生機率。
亦即,於上下文適應型二值算術編碼方式,按照可變的發生機率來進行二值算術編碼。又,於上下文適應型二值算術編碼方式,針對特定資料種類別等,按照固定的發生機率來進行二值算術編碼。
進而言之,於H.265,編碼包含頻率轉換係數資訊的圖像資訊。頻率轉換係數資訊是關於圖像頻率成分的資訊,適於圖像的編碼及解碼等處理。另,頻率轉換係數資訊的碼量會對圖像資訊的全體碼量造成巨大的影響。因此,若未適當編碼頻率轉換係數資訊,圖像資訊的全體碼量可能增加。
在此,本發明一態樣的編碼裝置是編碼圖像資訊,輸出前述圖像資訊已被編碼的位元串;具備記憶體、及可存取前述記憶體的電路;可存取前述記憶體的前述電路將前述圖像資訊二值化,切換對於前述圖像資訊已被二值化的二值化資料串是否適用算術編碼;對於前述二值化資料串要適用算術編碼時,對於前述二值化資料串適用算術編碼,輸出包含已適用算術編碼的前述二值化資料串的前述位元串;對於前述二值化資料串不要適用算術編碼時,不對於前述二值化資料串適用算術編碼,輸出包含未適用算術編碼的前述二值化資料串的前述位元串;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為不同的二值化形式,來將前述圖像資訊中有關圖像頻率成分的頻率轉換係數資訊二值化;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來將前述圖像資訊中有關圖像預測方法的預測參數資訊的一部分或全部二值化。
藉此,編碼裝置可跳過算術編碼。因此,編碼裝置可支援減少由於算術編碼所發生的處理延遲。又,編碼裝置可按照依有無適用算術編碼而不同的二值化形式,適當地將對全體碼量造成巨大影響的頻率轉換係數資訊二值化。因此,編碼裝置可適當編碼頻率轉換係數資訊,可抑制全體碼量的增加。
例如前述電路亦可對於前述預測參數資訊所含之關於編碼模式的資訊、關於畫面內預測的預測方向的資訊、關於畫面間預測的參考圖片的資訊、及關於畫面間預測的移動向量的資訊中至少一種資訊,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來施以二值化。
藉此,編碼裝置可按照共通的二值化形式,有效率地將預測參數資訊所含之至少一部分的資訊二值化。
例如前述電路亦可對於前述預測參數資訊所含之關於編碼模式的資訊、關於畫面內預測的預測方向的資訊、關於畫面間預測的參考圖片的資訊、及關於畫面間預測的移動向量的資訊,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來施以二值化。
藉此,編碼裝置可按照共通的二值化形式,有效率地將預測參數資訊所含各種資訊二值化。
又,例如於前述圖像資訊的二值化中,前述電路亦可按照前述不同的二值化形式,僅將前述圖像資訊中之前述頻率轉換係數資訊二值化,按照前述共通的二值化形式,將前述圖像資訊中,前述頻率轉換係數資訊除外的其他全部資訊二值化。
藉此,編碼裝置可按照共通的二值化形式,將頻率轉換係數資訊除外的其他全部資訊二值化。因此可簡化處理。
又,例如於前述圖像資訊的二值化中,前述電路亦可在對於前述二值化資料串不適用算術編碼時,以產生位元數少於對於前述二值化資料串適用算術編碼時的形式,將前述頻率轉換係數資訊二值化。
藉此,編碼裝置可於不適用算術編碼時,支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的解碼裝置是取得圖像資訊已被編碼的位元串,並解碼前述圖像資訊;具備記憶體、及可存取前述記憶體的電路;可存取前述記憶體的前述電路取得包含前述圖像資訊已被二值化的二值化資料串的前述位元串;切換對於前述位元串所含之前述二值化資料串,是否適用算術解碼;對於前述二值化資料串要適用算術解碼時,對於前述二值化資料串適用算術解碼,將包含已適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;對於前述二值化資料串不要適用算術解碼時,不對於前述二值化資料串適用算術解碼,將未適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為不同的反向二值化形式,來將前述二值化資料串中,有關圖像頻率成分的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來將前述二值化資料串中,有關圖像預測方法的預測參數資訊的一部分或全部已被二值化的第2部分,予以反向二值化。
藉此,解碼裝置可跳過算術解碼。因此,解碼裝置可支援減少由於算術解碼所發生的處理延遲。又,解碼裝置可按照有無適用算術解碼,適當地將對全體碼量造成巨大影響的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化。因此,解碼裝置可適當解碼頻率轉換係數資訊,可抑制全體碼量的增加。
例如前述電路亦可對於前述預測參數資訊所含關於編碼模式的資訊、關於畫面內預測的預測方向的資訊、關於畫面間預測的參考圖片的資訊、及關於畫面間預測的移動向量的資訊中至少一種資訊已被二值化的前述第2部分,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來施以反向二值化。
藉此,解碼裝置可按照共通的反向二值化形式,有效率地將預測參數資訊所含至少一部分的資訊已被二值化的部分,予以反向二值化。
又,例如前述電路亦可對於前述預測參數資訊所含關於編碼模式的資訊、關於畫面內預測的預測方向的資訊、關於畫面間預測的參考圖片的資訊、及關於畫面間預測的移動向量的資訊已被二值化的前述第2部分,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來施以反向二值化。
藉此,解碼裝置可按照共通的反向二值化形式,有效率地將預測參數資訊所含各種資訊已被二值化的部分,予以二值化。
又,例如於前述二值化資料串的反向二值化中,前述電路亦可按照前述不同的反向二值化形式,僅將前述二值化資料串中之前述第1部分,予以反向二值化,按照前述共通的反向二值化形式,將前述二值化資料串中,前述第1部分除外的其他全部部分,予以反向二值化。
藉此,解碼裝置可按照共通的反向二值化形式,將頻率轉換係數資訊已被二值化的第1部分除外的其他全部部分,予以反向二值化。因此可簡化處理。
又,例如於前述二值化資料串的反向二值化中,前述電路亦可在對於前述二值化資料串不適用算術解碼時,以產生位元數少於對於前述二值化資料串適用算術解碼時的形式,將前述頻率轉換係數資訊已被二值化的前述第1部分,予以反向二值化。
藉此,解碼裝置可於不適用算術編碼時,支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的編碼方法是編碼圖像資訊,並輸出前述圖像資訊已被編碼的位元串;將前述圖像資訊二值化,切換對於前述圖像資訊已被二值化的二值化資料串,是否適用算術編碼;對於前述二值化資料串要適用算術編碼時,對於前述二值化資料串適用算術編碼,輸出包含已適用算術編碼的前述二值化資料串的前述位元串;對於前述二值化資料串不要適用算術編碼時,不對於前述二值化資料串適用算術編碼,輸出包含未適用算術編碼的前述二值化資料串的前述位元串;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為不同的二值化形式,來將前述圖像資訊中有關圖像頻率成分的頻率轉換係數資訊二值化;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來將前述圖像資訊中有關圖像預測方法的預測參數資訊的一部分或全部二值化。
藉此,利用編碼方法的裝置等可跳過算術編碼。因此,利用編碼方法的裝置等可支援減少由於算術編碼所發生的處理延遲。又,利用編碼方法的裝置等可按照依有無適用算術編碼而不同的二值化形式,適當地將對全體碼量造成巨大影響的頻率轉換係數資訊二值化。因此,利用編碼方法的裝置等可適當編碼頻率轉換係數資訊,可抑制全體碼量的增加。
又,本發明一態樣的解碼方法是取得圖像資訊已被編碼的位元串,並解碼前述圖像資訊;取得包含前述圖像資訊已被二值化的二值化資料串的前述位元串;切換對於前述位元串所含之前述二值化資料串,是否適用算術解碼;對於前述二值化資料串要適用算術解碼時,對於前述二值化資料串適用算術解碼,將已適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;對於前述二值化資料串不要適用算術解碼時,不對於前述二值化資料串適用算術解碼,將未適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為不同的反向二值化形式,來將前述二值化資料串中,有關圖像頻率成分的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來將前述二值化資料串中,有關圖像預測方法的預測參數資訊的一部分或全部已被二值化的第2部分,予以反向二值化。
藉此,利用該解碼方法的裝置等可跳過算術解碼。因此,利用該解碼方法的裝置等可支援減少由於算術解碼所發生的處理延遲。又,利用該解碼方法的裝置等可按照有無適用算術解碼,適當地將對全體碼量造成巨大影響的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化。因此,利用該解碼方法的裝置等可適當解碼頻率轉換係數資訊,可抑制全體碼量的增加。
又,本發明一態樣的編碼裝置是編碼圖像資訊;具備記憶體、及可存取前述記憶體的電路;可存取前述記憶體的前述電路編碼表示特定基本區塊的位置的位置資訊,其中前述特定基本區塊是對於由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序中最初包含非零係數的基本區塊;僅針對前述1以上的基本區塊中,於前述預定掃描順序中為前述特定基本區塊以後的各基本區塊,編碼表示構成該基本區塊的複數個頻率轉換係數的區塊資訊。
藉此,編碼裝置可編碼位置資訊及區塊資訊,來作為頻率轉換係數資訊。然後,由於編碼裝置針對於預定掃描順序中為特定基本區塊以後的各基本區塊,編碼區塊資訊,因此可支援減少頻率轉換係數資訊的碼量。
例如前述電路亦可僅於前述1以上的基本區塊個數為2以上時,編碼前述位置資訊。
藉此,編碼裝置可在例如頻率轉換區塊的大小與各基本區塊的大小相同時,支援更減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可僅於前述頻率轉換區塊存在有前述特定基本區塊時,編碼前述位置資訊及前述區塊資訊。
藉此,編碼裝置可在例如頻率轉換區塊不包含非零係數時,支援更減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可編碼前述圖像資訊,輸出前述圖像資訊已被編碼的位元串,於前述圖像資訊的編碼及前述位元串的輸出中,將前述圖像資訊二值化,切換對於前述圖像資訊已被二值化的二值化資料串,是否適用算術編碼;對於前述二值化資料串要適用算術編碼時,對於前述二值化資料串適用算術編碼,輸出包含已適用算術編碼的前述二值化資料串的前述位元串;對於前述二值化資料串不要適用算術編碼時,不對於前述二值化資料串適用算術編碼,輸出包含未適用算術編碼的前述二值化資料串的前述位元串;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為不同的二值化形式,來將前述圖像資訊中有關圖像頻率成分的頻率轉換係數資訊二值化;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來將前述圖像資訊中有關圖像預測方法的預測參數資訊的一部分或全部二值化;對於前述二值化資料串不適用算術編碼時,於前述頻率轉換係數資訊的二值化中,藉由將包含前述位置資訊及前述區塊資訊的前述頻率轉換係數資訊二值化,來編碼前述位置資訊及前述區塊資訊。
藉此,編碼裝置可在不適用算術編碼時,支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的解碼裝置亦可解碼圖像資訊;具備記憶體、及可存取前述記憶體的電路;可存取前述記憶體的前述電路解碼表示特定基本區塊的位置的位置資訊,其中前述特定基本區塊是對於由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序中最初包含非零係數的基本區塊;僅針對前述1以上的基本區塊中,於前述預定掃描順序中為前述特定基本區塊以後的各基本區塊,解碼表示構成該基本區塊的複數個頻率轉換係數的區塊資訊。
藉此,解碼裝置可解碼位置資訊及區塊資訊,來作為頻率轉換係數資訊。然後,由於解碼裝置針對於預定掃描順序中為特定基本區塊以後的各基本區塊,解碼區塊資訊,因此可支援減少頻率轉換係數資訊的碼量。
例如前述電路亦可僅於前述1以上的基本區塊個數為2以上時,解碼前述位置資訊。
藉此,解碼裝置可在例如頻率轉換區塊的大小與各基本區塊的大小相同時,支援更減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可僅在於前述頻率轉換區塊,存在有前述特定基本區塊時,解碼前述位置資訊及前述區塊資訊。
藉此,解碼裝置可在例如頻率轉換區塊不包含非零係數時,支援更減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可取得前述圖像資訊已被編碼的位元串,解碼前述圖像資訊;於前述位元串的取得及前述圖像資訊的解碼中,取得包含前述圖像資訊已被二值化的二值化資料串的前述位元串;切換對於前述位元串所含之前述二值化資料串,是否適用算術解碼;對於前述二值化資料串要適用算術解碼時,對於前述二值化資料串適用算術解碼,將已適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;對於前述二值化資料串不要適用算術解碼時,不對於前述二值化資料串適用算術解碼,將未適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為不同的反向二值化形式,來將前述二值化資料串中,有關圖像頻率成分的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來將前述二值化資料串中,有關圖像預測方法的預測參數資訊的一部分或全部已被二值化的第2部分,予以反向二值化;對於前述二值化資料串不適用算術編碼時,於前述第1部分的反向二值化中,藉由將包含前述位置資訊及前述區塊資訊的前述頻率轉換係數資訊已被二值化的前述第1部分,予以反向二值化,來解碼前述位置資訊及前述區塊資訊。
藉此,編碼裝置可在不適用算術編碼時,支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的編碼方法亦可編碼圖像資訊;編碼表示特定基本區塊的位置的位置資訊,其中前述特定基本區塊是對於由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序中最初包含非零係數的基本區塊;僅針對前述1以上的基本區塊中,於前述預定掃描順序中為前述特定基本區塊以後的各基本區塊,編碼表示構成該基本區塊的複數個頻率轉換係數的區塊資訊。
藉此,利用該編碼方法的裝置等,可編碼位置資訊及區塊資訊,來作為頻率轉換係數資訊。然後,由於利用該編碼方法的裝置等是針對於預定掃描順序中為特定基本區塊以後的各基本區塊,編碼區塊資訊,因此可支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的解碼方法亦可解碼圖像資訊;解碼表示特定基本區塊的位置的位置資訊,其中前述特定基本區塊是對於由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序中最初包含非零係數的基本區塊;僅針對前述1以上的基本區塊中,於前述預定掃描順序中為前述特定基本區塊以後的各基本區塊,解碼表示構成該基本區塊的複數個頻率轉換係數的區塊資訊。
藉此,利用該解碼方法的裝置等可解碼位置資訊及區塊資訊,來作為頻率轉換係數資訊。然後,由於利用該解碼方法的裝置等是針對於預定掃描順序中為特定基本區塊以後的各基本區塊,解碼區塊資訊,因此可支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的編碼裝置編碼圖像資訊;具備記憶體、及可存取前述記憶體的電路;可存取前述記憶體的前述電路按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述資料值的二值化中,從包含第1表及第2表的複數個表中,選擇前述轉換表,按照選擇的前述轉換表,將前述資料值二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
藉此,編碼裝置可適當地編碼用以有效率地表示構成基本區塊的複數個頻率轉換係數的資訊。又,編碼裝置可利用資訊量經刪減的表,來作為二值化用的轉換表。因此,編碼裝置可支援減少頻率轉換係數資訊的碼量。
例如前述電路亦可於前述資料值的二值化中,僅針對特定基本區塊以後的各基本區塊,將表示該基本區塊所含非零係數的個數的資料值,作為表示前述目前基本區塊所含非零係數的個數的資料值而二值化,其中前述特定基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,前述1以上的基本區塊中最初包含非零係數的基本區塊。
藉此,編碼裝置可支援更減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可於前述資料值的二值化中,僅於前述1以上的基本區塊存在有前述特定基本區塊時,將前述資料值二值化,於前述轉換表的選擇中,前述頻率轉換區塊與前述目前基本區塊相同時,選擇前述第2表來作為前述轉換表。
藉此,編碼裝置可於例如頻率轉換區塊的大小與各基本區塊的大小相同時,利用不包含0個非零係數的對應關係的第2表,來支援減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可於前述轉換表的選擇中,前述目前基本區塊為前述特定基本區塊時,選擇前述第2表來作為前述轉換表。
藉此,編碼裝置可於例如目前基本區塊為特定基本區塊時,利用不包含0個非零係數的對應關係的第2表,來支援減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可編碼前述圖像資訊,輸出前述圖像資訊已被編碼的位元串,於前述圖像資訊的編碼及前述位元串的輸出中,將前述圖像資訊二值化,切換對於前述圖像資訊已被二值化的二值化資料串,是否適用算術編碼;對於前述二值化資料串要適用算術編碼時,對於前述二值化資料串適用算術編碼,輸出包含已適用算術編碼的前述二值化資料串的前述位元串;對於前述二值化資料串不要適用算術編碼時,不對於前述二值化資料串適用算術編碼,輸出包含未適用算術編碼的前述二值化資料串的前述位元串;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為不同的二值化形式,來將前述圖像資訊中有關圖像頻率成分的頻率轉換係數資訊二值化;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來將前述圖像資訊中有關圖像預測方法的預測參數資訊的一部分或全部二值化;對於前述二值化資料串不適用算術編碼時,於前述頻率轉換係數資訊的二值化中,按照從包含前述第1表及前述第2表的前述複數個表中選擇的前述轉換表,將前述頻率轉換係數資訊所含的前述資料值二值化。
藉此,編碼裝置可在不適用算術編碼時,利用從包含第2表的複數個表中選擇的轉換表,支援減少頻率轉換係數資訊的碼量,其中前述第2表不包含0個非零係數的對應關係。
又,本發明一態樣的解碼裝置亦可解碼圖像資訊;具備記憶體、及可存取前述記憶體的電路;可存取前述記憶體的前述電路按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,解碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述二值化值的反向二值化中,從包含第1表及第2表的複數個表中,選擇前述轉換表,按照選擇的前述轉換表,將前述二值化值予以反向二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
藉此,解碼裝置可適當地解碼用以有效率地表示構成基本區塊的複數個頻率轉換係數的資訊。又,解碼裝置可利用資訊量經刪減的表,來作為反向二值化用的轉換表。因此,解碼裝置可支援減少頻率轉換係數資訊的碼量。
例如前述電路亦可於前述二值化值的反向二值化中,僅針對特定基本區塊以後的各基本區塊,將表示該基本區塊所含非零係數的個數的資料值已被二值化的二值化值,作為表示前述目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,其中前述特定基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,前述1以上的基本區塊中最初包含非零係數的基本區塊。
藉此,解碼裝置可支援更減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可於前述二值化值的反向二值化中,僅於前述1以上的基本區塊存在有前述特定基本區塊時,將前述二值化值予以反向二值化,於前述轉換表的選擇中,前述頻率轉換區塊與前述目前基本區塊相同時,選擇前述第2表來作為前述轉換表。
藉此,解碼裝置可於例如頻率轉換區塊的大小與各基本區塊的大小相同時,利用不包含0個非零係數的對應關係的第2表,來支援減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可於前述轉換表的選擇中,前述目前基本區塊為前述特定基本區塊時,選擇前述第2表來作為前述轉換表。
藉此,解碼裝置可於例如目前基本區塊為特定基本區塊時,利用不包含0個非零係數的對應關係的第2表,來支援減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可取得前述圖像資訊已被編碼的位元串,解碼前述圖像資訊;於前述位元串的取得及前述圖像資訊的解碼中,取得包含前述圖像資訊已被二值化的二值化資料串的前述位元串,切換對於前述位元串所含之前述二值化資料串,是否適用算術解碼;對於前述二值化資料串要適用算術解碼時,對於前述二值化資料串適用算術解碼,將已適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;對於前述二值化資料串不要適用算術解碼時,不對於前述二值化資料串適用算術解碼,將未適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為不同的反向二值化形式,來將前述二值化資料串中,有關圖像頻率成分的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來將前述二值化資料串中,有關圖像預測方法的預測參數資訊的一部分或全部已被二值化的第2部分,予以反向二值化;對於前述二值化資料串不適用算術解碼時,於前述第1部分的反向二值化中,按照從包含前述第1表及前述第2表的前述複數個表中選擇的前述轉換表,將前述第1部分所含的前述二值化值予以反向二值化。
藉此,解碼裝置在不適用算術編碼時,可利用從包含第2表的複數個表中選擇的轉換表,支援減少頻率轉換係數資訊的碼量,其中前述第2表不包含0個非零係數的對應關係。
又,本發明一態樣的編碼方法亦可編碼圖像資訊;按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述資料值的二值化中,從包含第1表及第2表的複數個表中,選擇前述轉換表,按照選擇的前述轉換表,將前述資料值二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
藉此,利用該編碼方法的裝置等可適當地編碼用以有效率地表示構成基本區塊的複數個頻率轉換係數的資訊。又,利用該編碼方法的裝置等可利用資訊量經刪減的表,來作為二值化用的轉換表。因此,利用該編碼方法的裝置等可支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的解碼方法亦可解碼圖像資訊;按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,解碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述二值化值的反向二值化中,從包含第1表及第2表的複數個表中,選擇前述轉換表,按照選擇的前述轉換表,將前述二值化值予以反向二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
藉此,利用該解碼方法的裝置等可適當地解碼用以有效率地表示構成基本區塊的複數個頻率轉換係數的資訊。又,利用該解碼方法的裝置等可利用資訊量經刪減的表,來作為反向二值化用的轉換表。因此,利用該解碼方法的裝置等可支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的編碼裝置亦可編碼圖像資訊;具備記憶體、及可存取前述記憶體的電路;可存取前述記憶體的前述電路按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述資料值的二值化中,按照包含前述目前基本區塊的前述頻率轉換區塊,即目前頻率轉換區塊中之前述目前基本區塊的位置,從複數個表中選擇前述轉換表,按照選擇的前述轉換表,將前述資料值二值化,其中前述複數個表包含與複數個資料值相對應的複數個二值化值的最長位元長與最短位元長的差互異之2以上的表。
藉此,編碼裝置可適當地編碼用以有效率地表示構成基本區塊的複數個頻率轉換係數的資訊。又,編碼裝置可按照目前基本區塊的位置,來選擇用以將表示非零係數的個數的資料值二值化的轉換表。非零係數的個數特性會依目前基本區塊的位置而不同。因此,編碼裝置可利用目前基本區塊的位置,使非零係數的個數特性反映在轉換表的選擇。故,編碼裝置可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
例如前述電路亦可於前述轉換表的選擇中,先行基本區塊存在於與前述目前基本區塊的位置的頻率位準相同的位準時,按照前述先行基本區塊所含非零係數的個數,來選擇前述轉換表,其中先行基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊。
藉此,編碼裝置可按照非零係數的個數推定與目前基本區塊類似的先行基本區塊的非零係數的個數,來選擇轉換表。
又,例如前述電路亦可於前述轉換表的選擇中,在前述先行基本區塊存在於前述相同位準,且前述先行基本區塊所含非零係數的個數為第1個數時,從前述複數個表中,選擇第1表來作為前述轉換表;在前述先行基本區塊存在於前述相同位準,且前述先行基本區塊所含非零係數的個數為多於前述第1個數的第2個數時,從前述複數個表中,選擇前述差小於前述第1表的第2表來作為前述轉換表。
藉此,編碼裝置可於按照先行基本區塊的非零係數的個數,推定目前基本區塊的非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述電路亦可於前述轉換表的選擇中,先行基本區塊不存在於與前述目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊存在於比前述目前基本區塊的位置的頻率位準高的位準時,從前述複數個表中,選擇前述差小於預定差的表來作為前述轉換表,其中前述先行基本區塊是對於前述1以上的基本區塊於依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊,前述特定基本區塊是於前述預定掃描順序中最初包含非零係數的基本區塊。
藉此,編碼裝置可於按照目前基本區塊及特定基本區塊的關係,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述電路亦可於前述轉換表的選擇中,前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊存在於前述高位準時,從前述複數個表中,選擇前述差最小的表來作為前述轉換表。
藉此,編碼裝置可於按照目前基本區塊及特定基本區塊的關係,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援更抑制碼量的增加。
又,例如前述電路亦可於前述轉換表的選擇中,先行基本區塊不存在於與前述目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比前述目前基本區塊的位置的頻率位準高的位準時,按照從前述目前頻率轉換區塊周邊的頻率轉換區塊,即周邊頻率轉換區塊,作為前述目前基本區塊所含非零係數的個數所推定的個數,來選擇前述轉換表,其中前述先行基本區塊是對於前述1以上的基本區塊於依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊,前述特定基本區塊是於前述預定掃描順序中最初包含非零係數的基本區塊。
藉此,編碼裝置可利用非零係數的個數推定與目前基本區塊類似的周邊頻率轉換區塊,來選擇轉換表。
又,例如前述電路亦可於前述轉換表的選擇中,在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且從前述周邊頻率轉換區塊所推定的個數為第1個數時,從前述複數個表中,選擇第1表來作為前述轉換表;在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且從前述周邊頻率轉換區塊所推定的個數為多於前述第1個數的第2個數時,從前述複數個表中,選擇前述差小於前述第1表的第2表來作為前述轉換表。
藉此,編碼裝置可於按照周邊頻率轉換區塊,推定目前基本區塊的非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述周邊頻率轉換區塊亦可為如下頻率轉換區塊:(i)鄰接於前述目前頻率轉換區塊左或上之頻率轉換區塊;(ii)緊接於前述目前頻率轉換區塊之前編碼的頻率轉換區塊;或(iii)距離前述目前頻率轉換區塊位於預定範圍內,面間預測或面內預測的編碼模式與前述目前頻率轉換區塊相同的頻率轉換區塊。
藉此,編碼裝置可利用適當的周邊頻率轉換區塊來選擇轉換表。
又,例如從前述周邊頻率轉換區塊推定的個數亦可從如下個數推定:(i)前述周邊頻率轉換區塊之1以上的基本區塊中,對於前述周邊頻率轉換區塊的相對位置,等於對於前述目前頻率轉換區塊的前述目前基本區塊的相對位置的基本區塊所含非零係數的個數;或(ii)前述周邊頻率轉換區塊的全體所含非零係數的個數。
藉此,編碼裝置可按照從周邊頻率轉換區塊適當地推定的個數,來選擇轉換表。
又,例如前述電路亦可於前述轉換表的選擇中,先行基本區塊不存在於與前述目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比前述目前基本區塊的位置的頻率位準高的位準時,按照前述目前基本區塊的編碼模式為面間預測或面內預測,來選擇前述轉換表,其中前述先行基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊,前述特定基本區塊是於前述預定掃描順序中最初包含非零係數的基本區塊。
藉此,編碼裝置可按照編碼模式為面間預測或面內預測,來選擇轉換表。推定非零係數的個數特性會依編碼模式而不同。因此,編碼裝置可利用編碼模式,來使非零係數的個數特性反映在轉換表的選擇。故,編碼裝置可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可於前述轉換表的選擇中,在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且前述目前基本區塊的編碼模式為面間預測時,從前述複數個表中,選擇第1表來作為前述轉換表;在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且前述目前基本區塊的編碼模式為面內預測時,從前述複數個表中,選擇前述差小於前述第1表的第2表來作為前述轉換表。
藉此,編碼裝置可於編碼模式為面內預測,因此預測精度低,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述電路亦可於前述轉換表的選擇中,先行基本區塊不存在於與前述目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比前述目前基本區塊的位置的頻率位準高的位準時,按照前述目前基本區塊的編碼所用的量化參數,來選擇前述轉換表,其中前述先行基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊,前述特定基本區塊是於前述預定掃描順序中最初包含非零係數的基本區塊。
藉此,編碼裝置可按照目前基本區塊的編碼所用的量化參數,來選擇轉換表。推定非零係數的個數特性會依量化參數而不同。因此,編碼裝置可利用量化參數,使非零係數的個數特性反映在轉換表的選擇。故,編碼裝置可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可於前述轉換表的選擇中,在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且前述量化參數為第1值時,從前述複數個表中,選擇第1表來作為前述轉換表;在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且前述量化參數為小於第1值的第2值時,從前述複數個表中,選擇前述差小於前述第1表的第2表來作為前述轉換表。
藉此,編碼裝置可於藉由量化參數小,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述電路亦可編碼前述圖像資訊,輸出前述圖像資訊已被編碼的位元串,於前述圖像資訊的編碼及前述位元串的輸出中,將前述圖像資訊二值化,切換對於前述圖像資訊已被二值化的二值化資料串,是否適用算術編碼;對於前述二值化資料串要適用算術編碼時,對於前述二值化資料串適用算術編碼,輸出包含已適用算術編碼的前述二值化資料串的前述位元串;對於前述二值化資料串不要適用算術編碼時,不對於前述二值化資料串適用算術編碼,輸出包含未適用算術編碼的前述二值化資料串的前述位元串;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為不同的二值化形式,來將前述圖像資訊中有關圖像頻率成分的頻率轉換係數資訊二值化;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來將前述圖像資訊中有關圖像預測方法的預測參數資訊的一部分或全部二值化;對於前述二值化資料串不適用算術編碼時,於前述頻率轉換係數資訊的二值化中,按照從前述複數個表中,按照前述目前基本區塊的位置所選擇的前述轉換表,將前述頻率轉換係數資訊所含的前述資料值二值化。
藉此,編碼裝置可在不適用算術編碼時,利用從前述複數個表中,按照目前基本區塊的位置所選擇的轉換表,支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的解碼裝置亦可解碼圖像資訊;具備記憶體、及可存取前述記憶體的電路;可存取前述記憶體的前述電路按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,解碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述二值化值的反向二值化中,按照包含前述目前基本區塊的前述頻率轉換區塊,即目前頻率轉換區塊中之前述目前基本區塊的位置,從複數個表中選擇前述轉換表,按照選擇的前述轉換表,將前述二值化值予以反向二值化,其中前述複數個表包含與複數個資料值相對應的複數個二值化值的最長位元長與最短位元長的差互異之2以上的表。
藉此,解碼裝置可適當地解碼用以有效率地表示構成基本區塊的複數個頻率轉換係數的資訊。又,解碼裝置可按照目前基本區塊的位置,來選擇用以將表示非零係數的個數的資料值之二值化值,予以反向二值化的轉換表。非零係數的個數特性會依目前基本區塊的位置而不同。因此,解碼裝置可利用目前基本區塊的位置,使非零係數的個數特性反映在轉換表的選擇。故,解碼裝置可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
例如前述電路亦可於前述轉換表的選擇中,先行基本區塊存在於與前述目前基本區塊的位置的頻率位準相同的位準時,按照前述先行基本區塊所含非零係數的個數,來選擇前述轉換表,其中先行基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊。
藉此,解碼裝置可按照非零係數的個數推定與目前基本區塊類似的先行基本區塊的非零係數的個數,來選擇轉換表。
又,例如前述電路亦可於前述轉換表的選擇中,在前述先行基本區塊存在於前述相同位準,且前述先行基本區塊所含非零係數的個數為第1個數時,從前述複數個表中,選擇第1表來作為前述轉換表;在前述先行基本區塊存在於前述相同位準,且前述先行基本區塊所含非零係數的個數為多於前述第1個數的第2個數時,從前述複數個表中,選擇前述差小於前述第1表的第2表來作為前述轉換表。
藉此,解碼裝置可於按照先行基本區塊的非零係數的個數,推定目前基本區塊的非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述電路亦可於前述轉換表的選擇中,先行基本區塊不存在於與前述目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊存在於比前述目前基本區塊的位置的頻率位準高的位準時,從前述複數個表中,選擇前述差小於預定差的表來作為前述轉換表,其中前述先行基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊,前述特定基本區塊是於前述預定掃描順序中最初包含非零係數的基本區塊。
藉此,解碼裝置可於按照目前基本區塊及特定基本區塊的關係,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述電路亦可於前述轉換表的選擇中,前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊存在於前述高位準時,從前述複數個表中,選擇前述差最小的表來作為前述轉換表。
藉此,解碼裝置可於按照目前基本區塊及特定基本區塊的關係,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援更抑制碼量的增加。
又,例如前述電路亦可於前述轉換表的選擇中,先行基本區塊不存在於與前述目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比前述目前基本區塊的位置的頻率位準高的位準時,按照從前述目前頻率轉換區塊周邊的頻率轉換區塊,即周邊頻率轉換區塊,作為前述目前基本區塊所含非零係數的個數所推定的個數,來選擇前述轉換表,其中前述先行基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊,前述特定基本區塊是於前述預定掃描順序中最初包含非零係數的基本區塊。
藉此,解碼裝置可利用非零係數的個數推定與目前基本區塊類似的周邊頻率轉換區塊,來選擇轉換表。
又,例如前述電路亦可於前述轉換表的選擇中,在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且從前述周邊頻率轉換區塊所推定的個數為第1個數時,從前述複數個表中,選擇第1表來作為前述轉換表;在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且從前述周邊頻率轉換區塊所推定的個數為多於前述第1個數的第2個數時,從前述複數個表中,選擇前述差小於前述第1表的第2表來作為前述轉換表。
藉此,解碼裝置可於按照周邊頻率轉換區塊,推定目前基本區塊的非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述周邊頻率轉換區塊亦可為如下頻率轉換區塊:(i)鄰接於前述目前頻率轉換區塊左或上之頻率轉換區塊;(ii)緊接於前述目前頻率轉換區塊之前解碼的頻率轉換區塊;或(iii)距離前述目前頻率轉換區塊位於預定範圍內,面間預測或面內預測的編碼模式與前述目前頻率轉換區塊相同的頻率轉換區塊。
藉此,解碼裝置可利用適當的周邊頻率轉換區塊來選擇轉換表。
又,例如從前述周邊頻率轉換區塊推定的個數亦可從如下個數推定:(i)前述周邊頻率轉換區塊之1以上的基本區塊中,對於前述周邊頻率轉換區塊的相對位置,等於對於前述目前頻率轉換區塊的前述目前基本區塊的相對位置的基本區塊所含非零係數的個數;或(ii)前述周邊頻率轉換區塊的全體所含非零係數的個數。
藉此,解碼裝置可按照從周邊頻率轉換區塊適當地推定的個數,來選擇轉換表。
又,例如前述電路亦可於前述轉換表的選擇中,先行基本區塊不存在於與前述目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比前述目前基本區塊的位置的頻率位準高的位準時,按照前述目前基本區塊的編碼模式為面間預測或面內預測,來選擇前述轉換表,其中前述先行基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊,前述特定基本區塊是於前述預定掃描順序中最初包含非零係數的基本區塊。
藉此,解碼裝置可按照編碼模式為面間預測或面內預測,來選擇轉換表。推定非零係數的個數特性會依編碼模式而不同。因此,解碼裝置可利用編碼模式,使非零係數的個數特性反映在轉換表的選擇。故,解碼裝置可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可於前述轉換表的選擇中,在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且前述目前基本區塊的編碼模式為面間預測時,從前述複數個表中,選擇第1表來作為前述轉換表;在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且前述目前基本區塊的編碼模式為面內預測時,從前述複數個表中,選擇前述差小於前述第1表的第2表來作為前述轉換表。
藉此,解碼裝置可於編碼模式為面內預測,因此預測精度低,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述電路亦可於前述轉換表的選擇中,先行基本區塊不存在於與前述目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比前述目前基本區塊的位置的頻率位準高的位準時,按照前述目前基本區塊的解碼所用的量化參數,來選擇前述轉換表,其中前述先行基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序中,比前述目前基本區塊前面的基本區塊,前述特定基本區塊是於前述預定掃描順序中最初包含非零係數的基本區塊。
藉此,解碼裝置可按照目前基本區塊的解碼所用的量化參數,來選擇轉換表。推定非零係數的個數特性會依量化參數而不同。因此,解碼裝置可藉由量化參數,使非零係數的個數特性反映在轉換表的選擇。故,解碼裝置可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
又,例如前述電路亦可於前述轉換表的選擇中,在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且前述量化參數為第1值時,從前述複數個表中,選擇第1表來作為前述轉換表;在前述先行基本區塊不存在於前述相同位準,且前述特定基本區塊不存在於前述高位準,且前述量化參數為小於第1值的第2值時,從前述複數個表中,選擇前述差小於前述第1表的第2表來作為前述轉換表。
藉此,解碼裝置可於藉由量化參數小,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如前述電路亦可取得前述圖像資訊已被編碼的位元串,解碼前述圖像資訊,於前述位元串的取得及前述圖像資訊的解碼中,取得包含前述圖像資訊已被二值化的二值化資料串的前述位元串,切換對於前述位元串所含的前述二值化資料串,是否適用算術解碼;對於前述二值化資料串要適用算術解碼時,對於前述二值化資料串適用算術解碼,將已適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;對於前述二值化資料串不要適用算術解碼時,不對於前述二值化資料串適用算術解碼,將未適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為不同的反向二值化形式,來將前述二值化資料串中,有關圖像頻率成分的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來將前述二值化資料串中,有關圖像預測方法的預測參數資訊的一部分或全部已被二值化的第2部分,予以反向二值化;對於前述二值化資料串不適用算術解碼時,於前述第1部分的反向二值化中,按照從前述複數個表中,按照前述目前基本區塊的位置所選擇的前述轉換表,將前述第1部分所含的前述二值化值予以反向二值化。
藉此,解碼裝置可在不適用算術解碼時,利用從前述複數個表中,按照目前基本區塊的位置所選擇的轉換表,支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的編碼方法亦可編碼圖像資訊;按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述資料值的二值化中,按照包含前述目前基本區塊的前述頻率轉換區塊,即目前頻率轉換區塊中之前述目前基本區塊的位置,從複數個表中選擇前述轉換表,按照選擇的前述轉換表,將前述資料值予以二值化,其中前述複數個表包含與複數個資料值相對應的複數個二值化值的最長位元長與最短位元長的差互異之2以上的表。
藉此,利用該編碼方法的裝置等可適當地編碼用以有效率地表示構成基本區塊的複數個頻率轉換係數的資訊。又,利用該編碼方法的裝置等可按照目前基本區塊的位置,來選擇用以將表示非零係數的個數的資料值之二值化值,予以二值化的轉換表。非零係數的個數特性會依目前基本區塊的位置而不同。因此,利用該編碼方法的裝置等可利用目前基本區塊的位置,使非零係數的個數特性反映在轉換表的選擇。故,利用該編碼方法的裝置等可適當選擇轉換表,支援減少頻率轉換係數資訊的碼量。
又,本發明一態樣的解碼方法亦可解碼圖像資訊;按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,解碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述二值化值的反向二值化中,按照包含前述目前基本區塊的前述頻率轉換區塊,即目前頻率轉換區塊中之前述目前基本區塊的位置,從複數個表中選擇前述轉換表,按照選擇的前述轉換表,將前述二值化值予以反向二值化,其中前述複數個表包含與複數個資料值相對應的複數個二值化值的最長位元長與最短位元長的差互異之2以上的表。
藉此,利用該解碼方法的裝置等可適當地解碼用以有效率地表示構成基本區塊的複數個頻率轉換係數的資訊。又,利用該解碼方法的裝置等可按照目前基本區塊的位置,來選擇用以將表示非零係數的個數的資料值之二值化值,予以反向二值化的轉換表。非零係數的個數特性會依目前基本區塊的位置而不同。因此,利用該解碼方法的裝置等可利用目前基本區塊的位置,使非零係數的個數特性反映在轉換表的選擇。故,利用該解碼方法的裝置等可適當選擇轉換表,支援減少頻率轉換係數資訊的碼量。
進而言之,該等全面或具體的態樣亦得以系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時性記錄媒體來實現,或以系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
以下參考圖式來具體說明實施形態。
再者,以下所說明的實施形態均表示全面或具體的範例。以下實施形態所示數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等為一例,其主旨不在於限定申請專利範圍。又,關於以下實施形態的構成要素中,未記載於表示最高位概念的獨立請求項的構成要素,則作為任意的構成要素來說明。 (實施形態1) [編碼裝置的概要]
首先,說明實施形態1的編碼裝置的概要。圖1是表示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位編碼動態圖像/圖像的動態圖像/圖像編碼裝置。
如圖1所示,編碼裝置100是以區塊單位編碼圖像的裝置,具備分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反向量化部112、反向轉換部114、加算部116、區塊記憶體118、迴路濾波器120、幀記憶體122、幀內預測部124、幀間預測部126及預測控制部128。
編碼裝置100藉由例如通用處理器及記憶體來實現。此時,由處理器執行儲存於記憶體的軟體程式時,處理器是作為分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反向量化部112、反向轉換部114、加算部116、迴路濾波器120、幀內預測部124、幀間預測部126及預測控制部128發揮功能。又,編碼裝置100亦可作為對應於分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反向量化部112、反向轉換部114、加算部116、迴路濾波器120、幀內預測部124、幀間預測部126及預測控制部128的專用的1以上的電子電路來實現。
以下說明編碼裝置100所含的各構成要素。 [分割部]
分割部102將輸入動態圖像所含的各圖片,分割為複數個區塊,將各區塊輸出至減算部104。例如分割部102首先將圖片分割為固定大小(例如128´128)的區塊。該固定大小的區塊有時稱為編碼樹單元(CTU)。然後,分割部102根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割,將固定大小的區塊各個分割為可變大小(例如64´64以下)的區塊。該可變大小的區塊有時稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者,於本實施形態無須區分CU、PU及TU,圖片內的一部分或所有區塊為CU、PU、TU的處理單位亦可。
圖2是表示實施形態1之區塊分割一例之圖。於圖2,實線表示四元樹區塊分割的區塊界限,虛線表示二元樹區塊分割的區塊界限。
於此,區塊10為128´128像素的正方形區塊(128´128區塊)。該128´128區塊10首先分割為4個正方形的64´64區塊(四元樹區塊分割)。
左上的64´64區塊進一步垂直分割為2個矩形的32´64區塊,左32´64區塊進一步垂直分割為2個矩形的16´64區塊(二元樹區塊分割)。其結果,左上的64´64區塊分割為2個16´64區塊11、12及32´64區塊13。
右上的64´64區塊水平分割為2個矩形的64´32區塊14、15(二元樹區塊分割)。
左下的64´64區塊分割為4個正方形的32´32區塊(四元樹區塊分割)。4個32´32區塊中,左上區塊及右下區塊進一步分割。左上的32´32區塊垂直分割為2個矩形的16´32區塊,右16´32區塊進一步水平分割為2個16´16區塊(二元樹區塊分割)。右下的32´32區塊水平分割為2個32´16區塊(二元樹區塊分割)。其結果,左下的64´64區塊分割為16´32區塊16、2個16´16區塊17、18、2個32´32區塊19、20及2個32´16區塊21、22。
右下的64´64區塊23未分割。
如以上,於圖2,區塊10根據遞迴的四元樹及二元樹區塊分割,分割為13個可變大小的區塊11~23。像這樣的分割有時稱為QTBT(quad-tree plus binary tree(四元樹加二元樹))分割。
再者,於圖2,1個區塊分割為4個或2個區塊(四元樹或二元樹分割),但分割不限定於此。例如1個區塊亦可分割為3個區塊(三元樹分割)。像這樣的包含三元樹在內的分割有時稱為MBT(multi type tree(多型樹))分割。 [減算部]
減算部104是以分割部102所分割的區塊單位,從原訊號(原樣本)減算預測訊號(預測樣本)。總言之,減算部104算出編碼對象區塊(以下稱為目前區塊)的預測誤差(亦稱為殘差)。然後,減算部104將算出的預測誤差輸出至轉換部106。
原訊號為編碼裝置100的輸入訊號,其為表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。以下有時亦將表示圖像的訊號稱為樣本。 [轉換部]
轉換部106將空間域的預測誤差,轉換為頻率域的轉換係數,將轉換係數輸出至量化部108。具體而言,轉換部106對於例如空間域的預測誤差,進行預先決定的離散餘弦變換(DCT)或離散正弦變換(DST)。
再者,轉換部106亦可從複數種轉換類型中,適應性地選擇轉換類型,利用與選擇的轉換類型相對應的轉換基函數(transform basis function),將預測誤差轉換為轉換係數。像這樣的轉換有時稱為EMT(explicit multiple core transform(顯式多重核心轉換))或AMT(adaptive multiple transform(適應性多重轉換))。
複數種轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是表示對應於各轉換類型之轉換基函數之表。於圖3,N表示輸入像素數。從該等複數種轉換類型之中選擇轉換類型時,可取決於例如預測的種類(幀內預測及幀間預測),或取決於幀內預測模式。
像這樣的表示適用EMT或AMT與否的資訊(例如稱為AMT旗標)、及表示選擇的轉換類型的資訊是以CU層級來訊號化。再者,該等資訊的訊號化無須限定在CU層級,亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級或CTU層級)。
又,轉換部106亦可將轉換係數(轉換結果) 再轉換。像這樣的再轉換有時稱為AST(adaptive secondary transform(適應性第二轉換))或NSST(non-separable secondary transform(不可分第二轉換))。例如轉換部106就對應於幀內預測誤差的轉換係數的區塊所含子區塊(例如4´4子區塊),逐一進行再轉換。表示適用NSST與否的資訊、及用於NSST的轉換矩陣的相關資訊是以CU層級來訊號化。再者,該等資訊的訊號化無須限定在CU層級,亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級或CTU層級)。 [量化部]
量化部108量化從轉換部106輸出的轉換係數。具體而言,量化部108以預定的掃描順序掃描目前區塊的轉換係數,根據對應於經掃描的轉換係數的量化參數(QP),來量化該轉換係數。然後,量化部108將目前區塊的經量化的轉換係數(以下稱為量化係數),輸出至熵編碼部110及反向量化部112。
預定的順序是轉換係數的量化/反向量化用順序。例如預定的掃描順序是以頻率的升序(從低頻往高頻的順序)或降序(從高頻往低頻的順序)定義。
量化參數是定義量化間距(量化寬)的參數。例如若增加量化參數值,則量化間距亦增加。總言之,若量化參數值增加,則量化誤差增大。 [熵編碼部]
熵編碼部110藉由將從量化部108輸入的量化係數,予以可變長度編碼,來生成編碼訊號(編碼位元串流)。具體而言,熵編碼部110例如將量化係數二值化,將二值訊號予以算術編碼。 [反向量化部]
反向量化部112將來自量化部108的輸入即量化係數,予以反向量化。具體而言,反向量化部112以預定的掃描順序,將目前區塊的量化係數予以反向量化。然後,反向量化部112將目前區塊之已被反向量化的轉換係數,輸出至反向轉換部114。 [反向轉換部]
反向轉換部114藉由將來自反向量化部112的輸入即轉換係數,予以反向轉換,來復原預測誤差。具體而言,反向轉換部114藉由對於轉換係數,進行與轉換部106的轉換相對應的反向轉換,來復原目前區塊的預測誤差。然後,反向轉換部114將復原的預測誤差輸出至加算部116。
再者,由於復原的預測誤差因量化而喪失資訊,因此不會與減算部104所算出的預測誤差一致。亦即,於復原的預測誤差,包含有量化誤差。 [加算部]
加算部116藉由加算從反向轉換部114輸入的預測誤差與從預測控制部128輸入的預測樣本,來重構目前區塊。然後,加算部116將重構的區塊輸出至區塊記憶體118及迴路濾波器120。重構區塊有時亦稱為局部解碼區塊。 [區塊記憶體]
區塊記憶體118是用以儲存幀內預測所參考的區塊,且為編碼對象圖片(以下稱為目前圖片)內的區塊的記憶部。具體而言,區塊記憶體118儲存從加算部116輸出的重構區塊。 [迴路濾波器]
迴路濾波器120對於由加算部116重構的區塊,施以迴路濾波,將已濾波的重構區塊輸出至幀記憶體122。迴路濾波器是在編碼迴路內使用的濾波器(迴路內濾波器),包含例如去區塊濾波器(DF)、樣本適用性偏移(SAO)及適應性迴路濾波器(ALF)等。
ALF適用用以去除編碼失真的最小平方誤差濾波器,例如就目前區塊內的2´2子區塊,逐一適用根據局部梯度(gradient)的方向及活性度(activity)而從複數個濾波器中選擇的1個濾波器。
具體而言,首先子區塊(例如2´2子區塊)分類為複數個組別(例如15或25組)。子區塊的分類是根據梯度的方向及活性度來進行。例如利用梯度的方向值D(例如0~2或0~4)及梯度的活性值A(例如0~4),來算出分類值C(例如C=5D+A)。然後,根據分類值C,將子區塊分類為複數個組別(例如15或25組)。
梯度的方向值D是藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又,梯度的活性值A是藉由例如加算複數個方向的梯度,量化加算結果來導出。
根據像這樣的分類的結果,從複數個濾波器中決定子區塊用的濾波器。
ALF所用濾波器的形狀可利用例如圓對稱形狀。圖4A~圖4C是表示ALF所用濾波器的形狀的複數例之圖。圖4A表示5´5鑽石形狀濾波器,圖4B表示7´7鑽石形狀濾波器,圖4C表示9´9鑽石形狀濾波器。表示濾波器形狀的資訊是以圖片層級訊號化。再者,表示濾波器形狀的資訊的訊號化無須限定在圖片層級,亦可為其他層級(例如序列層級、切片層級、方塊層級、CTU層級或CU層級)。
ALF的開啟/關閉是以例如圖片層級或CU層級來決定。例如就亮度而言,以CU層級決定是否適用ALF,就色差而言,以圖片層級決定是否適用ALF。表示ALF的開啟/關閉的資訊是以圖片層級或CU層級來訊號化。再者,表示ALF的開啟/關閉的資訊的訊號化無須限定在圖片層級或CU層級,亦可為其他層級(例如序列層級、切片層級、方塊層級或CTU層級)。
可選擇的複數個濾波器(例如15或25為止的濾波器)的係數集合是以圖片層級訊號化。再者,係數集合的訊號化無須限定在圖片層級,亦可為其他層級(例如序列層級、切片層級、方塊層級、CTU層級、CU層級或子區塊層級)。 [幀記憶體]
幀記憶體122是用以儲存幀間預測所用的參考圖片的記憶部,有時亦稱為幀緩衝器。具體而言,幀記憶體122儲存由迴路濾波器120所濾波的重構區塊。 [幀內預測部]
幀內預測部124參考儲存於區塊記憶體118的目前圖片內的區塊,來進行目前區塊的幀內預測(亦稱為畫面內預測),藉此生成預測訊號(幀內預測訊號)。具體而言,幀內預測部124參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值),來進行幀內預測,藉此生成幀內預測訊號,將幀內預測訊號輸出至預測控制部128。
例如幀內預測部124利用預先規定的複數種幀內預測模式中之一種,進行幀內預測。複數種幀內預測模式包含1以上的非方向性預測模式及複數種方向性預測模式。
1以上的非方向性預測模式包含例如H.265/HEVC(High-Efficiency Video Coding(高效率視訊編碼))規格(非專利文獻1)所規定的平面(Planar)預測模式及DC預測模式。
複數種方向性預測模式包含例如H.265/HEVC規格所規定的33方向的預測模式。再者,複數種方向性預測模式除了33方向以外,亦可進一步包含32方向的預測模式(合計65個方向性預測模式)。圖5是表示幀內預測之67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭表示H.265/HEVC規格所規定的33方向,虛線箭頭表示追加的32方向。
再者,於色差區塊的幀內預測中,亦可參考亮度區塊。總言之,亦可根據目前區塊的亮度成分,來預測目前區塊的色差成分。像這樣的幀內預測有時稱為CCLM(cross-component linear model(跨組件線性模式))預測。像這樣的參考亮度區塊的色差區塊的幀內預測模式(例如稱為CCLM模式)亦可加入作為色差區塊的幀內預測模式之一。
幀內預測部124亦可根據水平/垂直方向的參考像素的梯度,來修正幀內預測後的像素值。伴隨有像這樣的修正的幀內預測有時稱為PDPC(position dependent intra prediction combination(獨立位置幀內預測組合))。表示PDPC有無適用的資訊(例如稱為PDPC旗標)是例如以CU層級來訊號化。再者,該資訊的訊號化無須限定在CU層級,亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級或CTU層級)。 [幀間預測部]
幀間預測部126參考儲存於幀記憶體122的參考圖片,且與目前圖片不同的參考圖片,來進行目前區塊的幀間預測(亦稱為畫面間預測),藉此生成預測訊號(幀間預測訊號)。幀間預測是以目前區塊或目前區塊內的子區塊(例如4´4區塊)的單位進行。例如幀間預測部126針對目前區塊或子區塊,進行參考圖片內移動估計(motion estimation)。然後,幀間預測部126利用藉由移動估計所獲得的移動資訊(例如移動向量),來進行移動補償,藉此生成目前區塊或子區塊的幀間預測訊號。然後,幀間預測部126將生成的幀間預測訊號輸出至預測控制部128。
用於移動補償的移動資訊被訊號化。移動向量的訊號化亦可利用預測移動向量(motion vector predictor)。總言之,亦可將移動向量與預測移動向量之間的差距訊號化。
再者,不僅可利用藉由移動估計所獲得的目前區塊的移動資訊,亦可利用鄰接區塊的移動資訊,來生成幀間預測訊號。具體而言,亦可將根據藉由移動估計所獲得的移動資訊的預測訊號、與根據鄰接區塊的移動資訊的預測訊號,予以加權加算,藉此以目前區塊內的子區塊單位來生成幀間預測訊號。像這樣的幀間預測(移動補償)有時稱為OBMC(overlapped block motion compensation(重疊區塊移動補償))。
於像這樣的OBMC模式中,表示OBMC用子區塊的大小的資訊(例如稱為OBMC區塊大小)是以序列層級訊號化。又,表示適用OBMC模式與否的資訊(例如稱為OBMC旗標)是以CU層級來訊號化。再者,該等資訊的訊號化層級無須限定在序列層級及CU層級,亦可為其他層級(例如圖片層級、切片層級、方塊層級、CTU層級或子區塊層級)。
再者,移動資訊未訊號化,而從解碼裝置側導出亦可。例如亦可利用H.265/HEVC規格所規定的合併模式。又,例如亦可藉由在解碼裝置側進行移動估計,來導出移動資訊。此時,不利用目前區塊的像素值而進行移動估計。
於此,說明有關在解碼裝置側進行移動估計的模式。該在解碼裝置側進行移動估計的模式有時稱為PMMVD(pattern matched motion vector derivation(型態匹配移動向量導出))模式或FRUC(frame rate up-conversion(幀率提升轉換))模式。
首先,參考在空間上或時間上鄰接於目前區塊的編碼完畢區塊的移動向量,生成各具有預測移動向量的複數個候補清單(亦可與合併清單共通)。然後,算出候補清單所含各候補的評估值,根據評估值來選擇1個候補。
然後,根據選擇的候補移動向量,導出目前區塊用的移動向量。具體而言,例如將選擇的候補移動向量直接作為目前區塊用的移動向量導出。又,例如藉由在與選擇的候補移動向量相對應的參考圖片內的位置的周邊區域,進行型態匹配,來導出目前區塊用的移動向量亦可。
再者,評估值是藉由對應於移動向量的參考圖片內的區域、與預定區域之間的型態匹配來算出。
可利用第1型態匹配或第2型態匹配作為型態匹配。第1型態匹配及第2型態匹配有時分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
於第1型態匹配,在不同的2個參考圖片內的2個區塊,且為沿著目前區塊的移動軌道(motion trajectory)的2個區塊之間,進行型態匹配。因此,於第1型態匹配,利用沿著目前區塊的移動軌道之其他參考圖片內的區域,來作為上述候補評估值算出用的預定區域。
圖6是用以說明沿著移動軌道的2個區塊間之型態匹配(雙向匹配)之圖。如圖6所示,於第1型態匹配,藉由估計沿著目前區塊(Cur block)的移動軌道的2個區塊,且為不同的2個參考圖片(Ref0,Ref1)內的2個區塊的配對中最匹配的配對,來導出2個移動向量(MV0,MV1)。
假定是連續的移動軌道,指示2個參考區塊的移動向量(MV0,MV1)會與目前圖片(Cur Pic)與2個參考圖片(Ref0,Ref1)之間的時間距離(TD0,TD1)成比例。例如目前圖片在時間上位於2個參考圖片之間,從目前圖片到2個參考圖片的時間距離相等時,於第1型態匹配,導出反射對稱的雙向移動向量。
於第2型態匹配,在目前圖片內的模板(在目前圖片內,鄰接於目前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間,進行型態匹配。因此,於第2型態匹配,利用目前圖片內鄰接於目前區塊的區塊,來作為上述候補評估值算出用的預定區域。
圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的型態匹配(模板匹配)之圖。如圖7所示,於第2型態匹配,藉由於參考圖片(Ref0)內,估計與目前圖片(Cur Pic)內鄰接於目前區塊(Cur block)的區塊最匹配的區塊,來導出目前區塊的移動向量。
表示適用像這樣的FRUC模式與否的資訊(例如稱為FRUC旗標)是以CU層級來訊號化。又,適用FRUC模式時(例如FRUC旗標為真時),表示型態匹配方法(第1型態匹配或第2型態匹配)的資訊(例如稱為FRUC模式旗標)是以CU層級來訊號化。再者,該等資訊的訊號化無須限定在CU層級,亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級、CTU層級或子區塊層級)。
再者,採用與移動估計不同的方法,在解碼裝置側導出移動資訊亦可。例如根據假定等速直線運動的模型,以像素單位利用周邊像素值,來算出移動向量的修正量亦可。
於此,說明根據假定等速直線運動的模型,來導出移動向量的模式。該模式有時稱為BIO(bi-directional optical flow(雙向光流))模式。
圖8是用以說明假定等速直線運動的模型之圖。於圖8,(vx ,vy )表示速度向量,t0 、t1 分別表示目前圖片(Cur Pic)與2個參考圖片(Ref0 ,Ref1 )之間的時間距離。(MVx0 ,MVy0 )表示對應於參考圖片Ref0 的移動向量,(MVx1 ,MVy1 )表示對應於參考圖片Ref1 的移動向量。
此時,在速度向量(vx ,vy )的等速直線運動的假定下,(MVx0 ,MVy0 )及(MVx1 ,MVy1 )分別表示為(vx τ0 ,vy τ0 )及(-vx τ1 ,-vy τ1 ),以下光流等式(1)成立。 [數1]
於此,I(k) 表示移動補償後的參考圖像k(k=0,1)的亮度值。該光流等式表示(i)、(ii)與(iii)的和等於零,其中(i)亮度值的時間微分,(ii)水平方向的速度及參考圖像的空間梯度的水平成分的積,(iii)垂直方向的速度及參考圖像的空間梯度的垂直成分的積。根據該光流等式與赫米特內插法(Hermite interpolation)的組合,以像素單位修正從合併清單等所獲得的區塊單位的移動向量。
再者,採用與根據假定等速直線運動的模型來導出移動向量不同的方法,在解碼裝置側導出移動向量亦可。例如根據複數個鄰接區塊的移動向量,以子區塊單位來導出移動向量亦可。
於此,說明根據複數個鄰接區塊的移動向量,以子區塊單位來導出移動向量的模式。該模式有時稱為仿射移動補償預測(affine motion compensation prediction)模式。
圖9是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量之圖。於圖9,目前區塊包含16個4´4子區塊。於此,根據鄰接區塊的移動向量,來導出目前區塊左上角控制點的移動向量v0 ,根據鄰接子區塊的移動向量,來導出目前區塊右上角控制點的移動向量v1 。然後,利用2個移動向量v0 及v1 ,藉由下式(2)來導出目前區塊內的各子區塊的移動向量(vx ,vy )。 [數2]
於此,x及y分別表示子區塊的水平位置及垂直位置,w表示預先決定的加權係數。
於像這樣的仿射移動補償預測模式,亦可包含左上及右上角控制點的移動向量導出方法不同的數種模式。表示像這樣的仿射移動補償預測模式的資訊(例如稱為仿射旗標)是以CU層級來訊號化。再者,表示該仿射移動補償預測模式的資訊的訊號化無須限定在CU層級,亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級、CTU層級或子區塊層級)。 [預測控制部]
預測控制部128選擇幀內預測訊號及幀間預測訊號的任一者,將選擇的訊號作為預測訊號而輸出至減算部104及加算部116。 [解碼裝置的概要]
接著,說明可解碼從上述編碼裝置100輸出的編碼訊號(編碼位元串流)的解碼裝置的概要。圖10是表示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位解碼動態圖像/圖像的動態圖像/圖像解碼裝置。
如圖10所示,解碼裝置200具備熵解碼部202、反向量化部204、反向轉換部206、加算部208、區塊記憶體210、迴路濾波器212、幀記憶體214、幀內預測部216、幀間預測部218及預測控制部220。
解碼裝置200藉由例如通用處理器及記憶體來實現。此時,由處理器執行儲存於記憶體的軟體程式時,處理器是作為熵解碼部202、反向量化部204、反向轉換部206、加算部208、迴路濾波器212、幀內預測部216、幀間預測部218及預測控制部220發揮功能。又,解碼裝置200亦可作為對應於熵解碼部202、反向量化部204、反向轉換部206、加算部208、迴路濾波器212、幀內預測部216、幀間預測部218及預測控制部220的專用的1以上的電子電路來實現。
以下說明解碼裝置200所含的各構成要素。 [熵解碼部]
熵解碼部202將編碼位元串流予以熵解碼。具體而言,熵解碼部202例如從編碼位元串流算數解碼為二值訊號。然後,熵解碼部202將二值訊號予以多值化(debinarize)。藉此,熵解碼部202以區塊單位,將量化係數輸出至反向量化部204。 [反向量化部]
反向量化部204將來自熵解碼部202的輸入,即解碼對象區塊(以下稱為目前區塊)的量化係數,予以反向量化。具體而言,反向量化部204針對目前區塊的各個量化係數,根據對應於該量化係數的量化參數,將該量化係數予以反向量化。然後,反向量化部204將目前區塊之已被反向量化的量化係數(亦即轉換係數),輸出至反向轉換部206。 [反向轉換部]
反向轉換部206藉由將來自反向量化部204的輸入即轉換係數,予以反向轉換,來復原預測誤差。
例如表示從編碼位元串流解讀的資訊適用EMT或AMT時(例如AMT旗標為真),反向轉換部206根據表示解讀的轉換類型的資訊,來將目前區塊的轉換係數予以反向轉換。
又,例如表示從編碼位元串流解讀的資訊適用NSST時,反向轉換部206對轉換係數適用反向再轉換。 [加算部]
加算部208藉由加算從反向轉換部206輸入的預測誤差與從預測控制部220輸入的預測樣本,來重構目前區塊。然後,加算部208將重構的區塊輸出至區塊記憶體210及迴路濾波器212。 [區塊記憶體]
區塊記憶體210是用以儲存幀內預測所參考的區塊,且為解碼對象圖片(以下稱為目前圖片)內的區塊的記憶部。具體而言,區塊記憶體210儲存從加算部208輸出的重構區塊。 [迴路濾波器]
迴路濾波器212對於由加算部208重構的區塊,施以迴路濾波,將已濾波的重構區塊輸出至幀記憶體214及顯示裝置等。
當表示從編碼位元串流解讀的ALF之開啟/關閉的資訊是表示ALF開啟時,根據局部梯度的方向及活性度而從複數個濾波器中選擇1個濾波器,選擇的濾波器被適用於重構區塊。 [幀記憶體]
幀記憶體214是用以儲存幀間預測所用的參考圖片的記憶部,有時亦稱為幀緩衝器。具體而言,幀記憶體214儲存由迴路濾波器212所濾波的重構區塊。 [幀內預測部]
幀內預測部216根據從編碼位元串流解讀的幀內預測模式,參考儲存於區塊記憶體210的目前圖片內的區塊,來進行幀內預測,藉此生成預測訊號(幀內預測訊號)。具體而言,幀內預測部216參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值),來進行幀內預測,藉此生成幀內預測訊號,將幀內預測訊號輸出至預測控制部220。
再者,於色差區塊的幀內預測中,選擇參考亮度區塊的幀內預測模式時,幀內預測部216根據目前區塊的亮度成分,來預測目前區塊的色差成分亦可。
又,從編碼位元串流解讀的資訊表示適用PDPC時,幀內預測部216根據水平/垂直方向的參考像素的梯度,來修正幀內預測後的像素值。 [幀間預測部]
幀間預測部218參考儲存於幀記憶體214的參考圖片,預測目前區塊。預測是以目前區塊或目前區塊內的子區塊(例如4´4區塊)的單位進行。例如幀間預測部218利用從編碼位元串流解讀的移動資訊(例如移動向量),來進行移動補償,藉此生成目前區塊或子區塊的幀間預測訊號,並將幀間預測訊號輸出至預測控制部220。
再者,從編碼位元串流解讀的資訊表示適用OBMC模式時,幀間預測部218不僅可利用藉由移動估計所獲得的目前區塊的移動資訊,亦可利用鄰接區塊的移動資訊,來生成幀間預測訊號。
又,從編碼位元串流解讀的資訊表示適用FRUC模式時,幀間預測部218按照從編碼串流解讀的型態匹配的方法(雙向匹配或模板匹配),來進行移動估計,藉此導出移動資訊。然後,幀間預測部218利用導出的移動資訊來進行移動補償。
又,幀間預測部218在適用BIO模式時,根據假定等速直線運動的模型,來導出移動向量。又,從編碼位元串流解讀的資訊表示適用仿射移動補償預測模式時,幀間預測部218根據複數個鄰接區塊的移動向量,以子區塊單位來導出移動向量。 [預測控制部]
預測控制部220選擇幀內預測訊號及幀間預測訊號的任一者,將選擇的訊號作為預測訊號而輸出至加算部208。 [編碼裝置的熵編碼部的詳細]
圖11是表示實施形態1之編碼裝置100的熵編碼部110的詳細功能構成之方塊圖。熵編碼部110藉由對於量化部108所輸出的量化係數,適用可變長度編碼,來生成位元串,並輸出生成的位元串。該位元串是對應於已被編碼的圖像資訊,亦可被稱為編碼訊號、編碼位元串流或編碼位元串。
於圖11之例,熵編碼部110具備二值化部132、切換部134、中間緩衝器136、算術編碼部138、切換部140及多工部142。然後,熵編碼部110藉由生成位元串,輸出生成的位元串,以將生成的位元串儲存於輸出緩衝器144。儲存於輸出緩衝器144的位元串適當地從輸出緩衝器144被輸出。熵編碼部110亦可包含輸出緩衝器144。 [熵編碼部的二值化部]
二值化部132將量化係數等二值化。具體而言,二值化部132將量化的頻率轉換係數等,轉換為以例如0或1表現之值的資料串,並輸出所獲得的資料串。以下將該資料串亦稱為二值化資料串。又,由二值化部132進行的二值化基本上是用於算術編碼的二值化,更具體而言是為了進行二值算術編碼的二值化。亦即,二值化部132基本上按照算術編碼用的二值化,來導出圖像資訊的二值化資料串。
再者,二值化的方式包括一元二值化、截斷式一元二值化、一元/k次指數哥倫布結合二值化、固定長度二值化及參考表等。
又,例如藉由二值化部132的二值化及算術編碼部138的算術編碼,來進行上下文適應型二值算術編碼方式的熵編碼。上下文適應型二值算術編碼方式亦稱為CABAC。由二值化部132進行的二值化亦可表現為上下文適應型二值算術編碼方式用的二值化。 [熵編碼部的切換部]
切換部134及140按照模式資訊而連動動作,切換是否對於二值化資料串,適用算術編碼。例如切換部134及140按照從編碼裝置100的外部提供的模式資訊,切換是否對於二值化資料串,適用算術編碼。亦可從使用者或高位系統等,提供模式資訊作為指示。
例如該模式資訊選擇性地表示第1模式及第2模式。亦即,模式資訊表示從第1模式及第2模式中選擇的一模式。然後,例如於第1模式,對於二值化資料串適用算術編碼,於第2模式,對於二值化資料串不適用算術編碼。
具體而言,模式資訊表示第1模式時,切換部134藉由將自二值化部132輸出的二值化資料串,輸出至中間緩衝器136,來將二值化資料串儲存於中間緩衝器136。然後,算術編碼部138對於儲存於中間緩衝器136的二值化資料串,適用算術編碼,並輸出已適用算術編碼的二值化資料串。切換部140將自算術編碼部138輸出的二值化資料串,輸出至多工部142。
另,模式資訊表示第2模式時,切換部134將自二值化部132輸出的二值化資料串,直接輸出至切換部140。然後,切換部140將自切換部134輸出的二值化資料串,輸出至多工部142。亦即,略過(bypass)算術編碼。再者,為了避免與算術編碼一態樣之旁路算術編碼混淆,有時將略過算術編碼表現為跳過(skip)算術編碼。
模式資訊及模式亦可表現為延遲模式資訊及延遲模式。具體而言,第1模式為一般模式,第2模式為低延遲模式。然後,於第2模式,比第1模式更減少處理延遲。 [熵編碼部的中間緩衝器]
中間緩衝器136是用以儲存二值化資料串的記憶部,亦稱為中間記憶體。由算術編碼部138所進行的算術編碼會發生延遲。又,延遲量是依二值化資料串的內容而變動。藉由中間緩衝器136來吸收延遲量的變動,使後續處理順利進行。再者,於中間緩衝器136等記憶部輸入資料,是對應於在記憶部儲存資料,從記憶部輸出資料,是對應於從記憶部讀出資料。 [熵編碼部的算術編碼部]
算術編碼部138進行算術編碼。具體而言,算術編碼部138讀出儲存於中間緩衝器136的二值化資料串,對於二值化資料串適用算術編碼。算術編碼部138亦可將對應於上下文適應型二值算術編碼方式的算術編碼,對於二值化資料串適用。
例如算術編碼部138按照資料類別等之上下文,對於值的發生機率進行選擇,按照選擇的發生機率來進行算術編碼,按照算術編碼的結果來更新發生機率。總言之,算術編碼部138按照可變的發生機率來進行算術編碼。按照可變的發生機率所進行的算術編碼,亦稱為上下文適應算術編碼。
又,算術編碼部138亦可針對特定的資料類別等,按照固定的發生機率來進行算術編碼。具體而言,算術編碼部138亦可按照作為0或1的發生機率之50%的發生機率,來進行算術編碼。按照固定的發生機率所進行的算術編碼,亦稱為旁路算術編碼。 [熵編碼部的多工部]
多工部142將模式資訊及二值化資料串進行多工,生成包含模式資訊及二值化資料串的位元串。然後,多工部142藉由將位元串輸出至輸出緩衝器144,來將位元串儲存於輸出緩衝器144。儲存於輸出緩衝器144的位元串適當地從輸出緩衝器144輸出。亦即,多工部142經由輸出緩衝器144來輸出位元串。
例如,模式資訊亦可作為高位參數而包含於位元串。具體而言,模式資訊包含於位元串的SPS(序列參數集合),或包含於位元串的PPS(圖片參數集合),或包含於位元串的切片標頭均可。位元串所含的模式資訊是以1以上的位元來表現。
然後,二值化資料串亦可包含於切片資料。於此,二值化資料串是適用算術編碼的二值化資料串,或未適用算術編碼的二值化資料串均可。
又,位元串所含的模式資訊亦可表現為適用資訊,其表示對於位元串所含的二值化資料串,是否適用算術編碼。換言之,模式資訊亦可作為表示對於二值化資料串,是否適用算術編碼的適用資訊而包含於位元串。該適用資訊可表示位元串包含適用算術編碼的二值化資料串,亦或位元串包含未適用算術編碼的二值化資料串。
再者,於高位系統交換模式資訊時,或預先已決定模式資訊時等,模式資訊不包含於位元串亦可。總言之,此時不進行多工亦可。 [輸出緩衝器]
輸出緩衝器144是用以儲存位元串的記憶部,亦稱為CPB(Coded Picture Buffer:編碼圖片緩衝器)或輸出記憶體。編碼裝置100藉由編碼圖像資訊所獲得的位元串,會儲存於輸出緩衝器144。然後,儲存於輸出緩衝器144的位元串適當地被輸出,例如與編碼音訊訊號等進行多工。 [解碼裝置的熵解碼部的詳細]
圖12是表示實施形態1之解碼裝置200的熵解碼部202的詳細功能構成之方塊圖。熵解碼部202藉由對於經由輸入緩衝器232所輸入的位元串,進行熵解碼,來導出量化係數等。該位元串是例如藉由編碼裝置100所生成的位元串,可具有上述資料構成。
於圖12之例,熵解碼部202具備分離部234、切換部236、算術解碼部238、中間緩衝器240、切換部242及反向二值化部244。熵解碼部202亦可包含輸入緩衝器232。 [輸入緩衝器]
輸入緩衝器232是用以儲存位元串的記憶部,亦稱為CPB或輸入記憶體。利用解碼裝置200進行解碼的位元串是例如從編碼音訊訊號等分離,並儲存於輸入緩衝器232。然後,解碼裝置200讀出儲存於輸入緩衝器232的位元串,並解碼位元串。 [熵解碼部的分離部]
分離部234從輸入緩衝器232取得位元串,從位元串分離模式資訊與二值化資料串,並輸出模式資訊及二值化資料串。總言之,分離部234經由輸入緩衝器232,來取得包含模式資訊及二值化資料串的位元串,並輸出位元串所含的模式資訊及二值化資料串。二值化資料串為適用算術編碼的二值化資料串,或未適用算術編碼的二值化資料串均可。
如上述,模式資訊亦可表現為適用資訊,其表示對於位元串所含的二值化資料串,是否適用算術編碼。然後,於高位系統交換模式資訊時,或預先已決定模式資訊時等,模式資訊不包含於位元串亦可。此時不進行模式資訊的分離及輸出亦可。又,亦可從解碼裝置200的外部,具體而言可從使用者或高位系統等,提供模式資訊作為指示。 [熵解碼部的切換部]
切換部236及242按照從分離部234等所獲得的模式資訊而連動動作,切換是否對於二值化資料串,適用算術解碼。例如模式資訊選擇性地表示之第1模式及第2模式中,於第1模式,對於二值化資料串適用算術解碼,於第2模式,對於二值化資料串不適用算術解碼。
具體而言,模式資訊表示第1模式時,切換部236將自分離部234輸出的二值化資料串,輸出至算術解碼部238。然後,算術解碼部238藉由對於二值化資料串,適用算術解碼,並輸出已適用算術解碼的二值化資料串,而將已適用算術解碼的二值化資料串儲存於中間緩衝器240。切換部242適當地取得儲存於中間緩衝器240的二值化資料串,並將從中間緩衝器240取得的二值化資料串輸出至反向二值化部244。
另一方面,模式資訊表示第2模式時,切換部236將自分離部234輸出的二值化資料串,直接輸出至切換部242。然後,切換部242將自切換部236輸出的二值化資料串,輸出至反向二值化部244。亦即,略過(bypass)算術解碼。再者,為了避免與算術解碼一態樣之旁路算術解碼混淆,有時將略過算術解碼表現為跳過(skip)算術解碼。 [熵解碼部的算術解碼部]
算術解碼部238進行算術解碼。具體而言,算術解碼部238藉由對於已適用算術編碼的二值化資料串,適用算術解碼,並輸出已適用算術解碼的二值化資料串,以將已適用算術解碼的二值化資料串儲存於中間緩衝器240。已適用算術解碼的二值化資料串,對應於未適用算術編碼的原本的二值化資料串。算術解碼部238亦可對於二值化資料串,適用對應於上下文適應型二值算術編碼方式的算術解碼。
例如算術解碼部238按照資料類別等之上下文,對於值的發生機率進行選擇,按照選擇的發生機率來進行算術解碼,按照算術解碼的結果來更新發生機率。總言之,算術解碼部238按照可變的發生機率來進行算術解碼。按照可變的發生機率所進行的算術解碼,亦稱為上下文適應算術解碼。
又,算術解碼部238亦可針對特定的資料類別等,按照固定的發生機率來進行算術解碼。具體而言,算術解碼部238亦可按照作為0或1的發生機率之50%的發生機率,來進行算術編碼。按照固定的發生機率所進行的算術解碼,亦稱為旁路算術解碼。 [熵解碼部的中間緩衝器]
中間緩衝器240是用以儲存已算術解碼的二值化資料串的記憶部,亦稱為中間記憶體。由算術解碼部238所進行的算術解碼會發生延遲。又,延遲量是依二值化資料串的內容而變動。藉由中間緩衝器240來吸收延遲量的變動,使後續處理順利進行。 [熵解碼部的反向二值化部]
反向二值化部244藉由對於二值化資料串進行反向二值化,來導出量化係數等。具體而言,反向二值化部244將例如以0或1表現之值的二值化資料串,轉換為已量化的頻率轉換係數等,並將已量化的頻率轉換係數等輸出至反向量化部204。又,由反向二值化部244進行的反向二值化,基本上是對應於算術編碼用的二值化的反向二值化,更具體而言是對應於用以進行二值算術編碼的二值化的反向二值化。
又,例如藉由算術解碼部238的算術解碼及反向二值化部244的反向二值化,來進行上下文適應型二值算術編碼方式的熵解碼。亦即,反向二值化部244亦可進行按照上下文適應型二值算術編碼方式的反向二值化。又,反向二值化亦稱為多值化。 [算術編碼及算術解碼的有無適用]
本實施形態的編碼裝置100及解碼裝置200特別對即時通訊系統等有用,該即時通訊系統要求在短時間進行編碼及解碼。具體而言,編碼裝置100及解碼裝置200對電視會議系統或電子鏡等有用。例如於該等系統環境中,採用不進行算術編碼及算術解碼的第2模式。
又,基本上,適用資訊是於包含1以上的圖片的單位總括地,表示對於位元串所含的二值化資料串,是否適用算術編碼。然後,於包含1以上的圖片的單位總括地,進行算術編碼有無適用的切換。
然而,以更細的單位,來進行算術編碼有無適用的切換亦可。例如於特定的資料類別,跳過算術編碼及算術解碼亦可。更具體而言,亦可跳過算術編碼及算術解碼,來取代旁路算術編碼及旁路算術解碼。
又,例如亦可進行上下文算術編碼、旁路算術編碼、與跳過算術編碼的切換。同樣地,亦可進行上下文算術解碼、旁路算術解碼、與跳過算術解碼的切換。
又,表示對於二值化資料串是否適用算術編碼的適用資訊,可藉由1位元的旗標來表現,或以其他形式來表現。例如將表示對於二值化資料串適用算術編碼的資訊,追加於位元串,藉此位元串可包含追加的資訊來作為適用資訊。或者,將表示對於二值化資料串不適用算術編碼的資訊,追加於位元串,藉此位元串可包含追加的資訊來作為適用資訊。
又,適用資訊亦可包含於位元串,作為與其他資訊共通的資訊。例如表示圖片類別的資訊包含於位元串,且依圖片類別切換有無適用算術編碼時,表示圖片類別的資訊亦可為適用資訊。 [語法構造的切換]
依是否適用算術編碼及算術解碼,碼量可能大為不同。特別是有關圖像頻率成分的頻率轉換係數資訊的資訊量甚大。因此,就頻率轉換係數資訊而言,未利用算術編碼及算術解碼時,碼量可能非常大。
因此,圖像資訊中關於頻率轉換係數資訊而言,編碼裝置100的二值化部132以在第1模式與第2模式不同的二值化形式進行二值化,其中第1模式適用算術編碼,第2模式不適用算術編碼。同樣地,圖像資訊中關於頻率轉換係數資訊而言,解碼裝置200的反向二值化部244使用在第1模式與第2模式不同的反向二值化形式進行反向二值化,其中第1模式適用算術解碼,第2模式不適用算術解碼。
對編碼裝置100的二值化部132,亦可與編碼裝置100的切換部134及140同樣地提供模式資訊。然後,編碼裝置100的二值化部132取得被提供的模式資訊,按照模式資訊來切換頻率轉換係數資訊的二值化形式亦可。
同樣地,對解碼裝置200的反向二值化部244,亦可與解碼裝置200的切換部236及242同樣地提供模式資訊。然後,解碼裝置200的反向二值化部244取得被提供的模式資訊,按照模式資訊來切換頻率轉換係數資訊的反向二值化形式亦可。
例如對於頻率轉換係數資訊,適用在第1模式與第2模式不同的語法構造。
圖13是表示實施形態1之語法構造的流程圖。語法構造對應於二值化形式及反向二值化形式。二值化部132按照圖13所示的語法構造,來將圖像資訊二值化,藉此將圖像資訊轉換為二值化資料串。
具體而言,二值化部132將圖片層的標頭資訊二值化(S101)。接著,二值化部132將切片層的標頭資訊二值化(S102)。接著,二值化部132將區塊層的編碼資訊二值化(S103)。
具體而言,二值化部132將頻率轉換係數資訊除外而將區塊層的編碼資訊二值化。例如,頻率轉換係數資訊表示已量化的頻率轉換係數。又,例如區塊層的編碼資訊包含預測參數資訊。預測參數資訊表示關於圖像預測方法的預測參數。
預測參數資訊亦可表示編碼模式為面內預測或面間預測。又,預測參數資訊亦可表示關於面間預測的移動向量及參考圖片。又,預測參數資訊亦可表示關於面內預測的預測方向的面內預測模式。
然後,二值化部132在第1模式(S104,第1模式),以第1模式用的語法構造,來將頻率轉換係數資訊二值化(S105)。然後,二值化部132在第2模式(S104,第2模式),以第2模式用的語法構造,來將頻率轉換係數資訊二值化(S106)。
然後,二值化部132針對切片所含的各區塊,重複(S107)對於區塊的處理(S103~S106)。然後,二值化部132針對圖片所含的各切片,重複(S108)對於切片的處理(S102~S107)。然後,二值化部132針對各圖片,重複(S109)對於圖片的處理(S101~S108)。
藉此,二值化部132以在第1模式與第2模式不同的語法構造,來將頻率轉換係數資訊二值化,以在第1模式與第2模式共通的語法構造,來將其他資訊二值化。
又,解碼裝置200的反向二值化部244按照圖13所示的語法構造,將二值化資料串予以反向二值化,藉此將二值化資料串轉換為圖像資訊。
具體而言,反向二值化部244將圖片層的標頭資訊的二值化資料串,予以反向二值化(S101)。接著,反向二值化部244將切片層的標頭資訊的二值化資料串,予以反向二值化(S102)。接著,反向二值化部244將區塊層的編碼資訊的二值化資料串,予以反向二值化(S103)。具體而言,反向二值化部244將頻率轉換係數資訊的二值化資料串除外而將區塊層的編碼資訊的二值化資料串,予以反向二值化。
然後,反向二值化部244在第1模式(S104,第1模式),以第1模式用的語法構造,來將頻率轉換係數資訊的二值化資料串予以反向二值化(S105)。然後,反向二值化部244在第2模式(S104,第2模式),以第2模式用的語法構造,來將頻率轉換係數資訊的二值化資料串予以反向二值化(S106)。
然後,反向二值化部244針對切片所含的各區塊,重複(S107)對於區塊的處理(S103~S106)。然後,反向二值化部244針對圖片所含的各切片,重複(S108)對於切片的處理(S102~S107)。然後,反向二值化部244針對各圖片,重複(S109)對於圖片的處理(S101~S108)。
藉此,反向二值化部244以在第1模式與第2模式不同的語法構造,來將頻率轉換係數資訊的二值化資料串予以反向二值化,以在第1模式與第2模式共通的語法構造,來將其他資訊的二值化資料串予以反向二值化。
於第1模式,適用算術編碼及算術解碼。因此,採用適於適用算術編碼及算術解碼的語法構造,來作為第1模式用的語法構造。例如,第1模式用的語法構造是用以在算術編碼減少碼量的一致的語法構造,或二值化處理負載小的簡單的語法構造均可。
於第2模式,不適用算術編碼及算術解碼。因此,採用用以減少二值化本身所產生的碼量的語法構造,來作為第2模式用的語法構造。
於圖13的例中,僅對於圖像資訊中,表示有關圖像頻率成分的頻率轉換係數的頻率轉換係數資訊,適用在第1模式與第2模式不同的語法構造。然後,對於圖像資訊中頻率轉換係數資訊除外的其他全部資訊,適用在第1模式與第2模式共通的語法構造。例如對於圖像資訊中,表示有關圖像預測方法的預測參數的預測參數資訊,適用在第1模式與第2模式共通的語法構造。
再者,於圖13的例中,僅對頻率轉換係數資訊,適用在第1模式與第2模式不同的語法構造,但對於其他資訊,適用在第1模式與第2模式不同的語法構造亦可。總言之,對於圖像資訊所含的一部分資訊,其包含頻率轉換係數資訊、及頻率轉換係數資訊以外的不同語法構造的適用對象的資訊,適用在第1模式與第2模式不同的語法構造亦可。此時,因應適用算術編碼及算術解碼的第1模式,或不適用算術編碼及算術解碼的第2模式,除了對於頻率轉換係數資訊,亦對於頻率轉換係數資訊以外的不同語法構造的適用對象的資訊,適用不同的語法構造,因此與適用在第1模式與第2模式共通的語法構造時相比較,於第1模式或第2模式之至少一方,針對頻率轉換係數資訊以外的不同語法構造的適用對象的資訊,亦可能減少碼量。
又,於圖13的例中,對於預測參數資訊,適用在第1模式與第2模式共通的語法構造,但針對預測參數資訊所含的一部分預測參數,適用在第1模式與第2模式不同的語法構造亦可。例如,針對預測參數資訊所含關於編碼模式的資訊、關於畫面內預測的預測方向的資訊、關於畫面間預測的參考圖片的資訊、及關於畫面間預測的移動向量的資訊中之任一者或全部,適用在第1模式與第2模式共通的語法構造,針對適用了在第1模式與第2模式共通的語法構造的預測參數以外的參數,適用在第1模式與第2模式不同的語法構造亦可。此時,與對於預測參數資訊全體,適用在第1模式與第2模式共通的語法構造時相比較,於第1模式或第2模式的至少一方,可能減少預測參數資訊的碼量。 [基本區塊]
編碼裝置100的二值化部132就每基本區塊,將頻率轉換區塊二值化。例如,二值化部132將頻率轉換區塊分割為複數個基本區塊,就每基本區塊進行二值化。頻率轉換區塊是包含以轉換單元的頻率轉換所獲得的複數個頻率轉換係數的區塊。總言之,頻率轉換區塊相當於被施以頻率轉換的轉換單元,亦可表現為頻率轉換係數區塊。
例如轉換單元是以16´16之複數個像素值所構成的區塊時,以16´16之複數個頻率轉換係數所構成的頻率轉換區塊,可藉由轉換單元的頻率轉換來獲得。然後,例如二值化部132將大小為16´16的頻率轉換區塊,分割成各大小為4´4之複數個基本區塊。然後,二值化部132將大小為16´16的頻率轉換區塊,就大小為4´4的基本區塊逐一二值化。
又,具體而言,二值化部132對於構成頻率轉換區塊之1以上的基本區塊,按照依頻率高到低的順序來規定的預定掃描順序,就每基本區塊,將頻率轉換區塊所含的複數個頻率轉換係數二值化。
又,二值化部132在第2模式,將表示頻率轉換區塊之特定基本區塊的位置的位置資訊,予以二值化。特定基本區塊是構成頻率轉換區塊之1以上的基本區塊中,於上述掃描順序中最初包含非零係數的基本區塊,亦可表現為last_sub_block。非零係數是絕對值非0的頻率轉換係數。
然後,二值化部132在第2模式,僅針對構成頻率轉換區塊之1以上的基本區塊中,於上述掃描順序中為特定基本區塊以後的各基本區塊,將表示構成基本區塊的複數個頻率轉換係數的區塊資訊,予以二值化。再者,於掃描順序中為特定基本區塊以後,是包含特定基本區塊、及掃描順序中接續於特定基本區塊之1以上的基本區塊。
藉此,編碼裝置100在第2模式,可將位置資訊及區塊資訊,作為頻率轉換係數資訊而二值化。然後,由於編碼裝置100針對掃描順序中為特定基本區塊以後的各基本區塊,將區塊資訊二值化,因此可支援縮短頻率轉換係數資訊的二值化資料串。然後,編碼裝置100可輸出包含頻率轉換係數資訊的二值化資料串的位元串。
又,例如於第1模式中,二值化部132不使特定基本區塊的位置資訊二值化,對於構成頻率轉換區塊之1以上的所有基本區塊,進行二值化亦可。藉此,二值化部132能以在第1模式與第2模式不同的形式,來將頻率轉換係數資訊二值化。
同樣地,解碼裝置200的反向二值化部244就每基本區塊,將頻率轉換區塊的二值化資料串予以反向二值化。具體而言,解碼裝置200的反向二值化部244以上述掃描順序,就每基本區塊,將頻率轉換區塊所含複數個頻率轉換係數的二值化資料串,予以反向二值化。
又,解碼裝置200的反向二值化部244在第2模式,將表示頻率轉換區塊之特定基本區塊的位置的位置資訊之二值化資料串,予以反向二值化。然後,反向二值化部244在第2模式,僅針對1以上的基本區塊中,於上述掃描順序中為特定基本區塊以後的各基本區塊,將表示構成基本區塊的複數個頻率轉換係數的區塊資訊的二值化資料串,予以反向二值化。
藉此,解碼裝置200在第2模式,可將位置資訊及區塊資訊的二值化資料串,作為頻率轉換係數資訊的二值化資料串而予以反向二值化。然後,由於解碼裝置200針對掃描順序中為特定基本區塊以後的各基本區塊,將區塊資訊的二值化資料串予以反向二值化,因此可支援縮短頻率轉換係數資訊的二值化資料串。
又,例如於第1模式中,反向二值化部244不使特定基本區塊的位置資訊的二值化資料串進行反向二值化,而將對於構成頻率轉換區塊之1以上的所有基本區塊的二值化資料串,進行反向二值化亦可。藉此,反向二值化部244能以在第1模式與第2模式不同的形式,來將頻率轉換係數資訊的二值化資料串予以反向二值化。
圖14A~圖14I分別表示實施形態1之頻率轉換區塊之1以上的基本區塊之概念圖。於此,頻率轉換區塊的大小在4´4到16´16之間,基本區塊的大小為4´4。頻率轉換區塊的大小及形狀取決於轉換單元的大小及形狀。頻率轉換區塊的形狀為縱長與橫長均等的正方形,或縱長與橫長不均等的長方形均可。
具體而言,圖14A表示4´4頻率轉換區塊的1個基本區塊。又,圖14B表示8´8頻率轉換區塊的4個基本區塊。圖14C表示8´4頻率轉換區塊的2個基本區塊。圖14D表示4´8頻率轉換區塊的2個基本區塊。圖14E表示16´16頻率轉換區塊的16個基本區塊。
又,圖14F表示16´8頻率轉換區塊的8個基本區塊。圖14G表示8´16頻率轉換區塊的8個基本區塊。圖14H表示16´12頻率轉換區塊的12個基本區塊。圖14I表示4´16頻率轉換區塊的4個基本區塊。
於圖14A~圖14I,1以上的基本區塊的各個中所記載的號碼,表示頻率轉換區塊的基本區塊的位置。於此例,表示頻率轉換區塊的基本區塊位置的號碼,是以頻率低到高的順序來規定。總言之,若該基本區塊的頻率越低,表示基本區塊位置的號碼則規定越小。
再者,於頻率轉換區塊,接近左上角的部分表示低頻率,接近右下角的部分表示高頻率。又,於頻率轉換區塊,接近左下角的部分表示在水平方向較低在垂直方向較高的頻率,接近右上角的部分表示在水平方向較高在垂直方向較低的頻率。
亦即,構成二維頻率轉換區塊的各頻率轉換係數越接近右端,在水平方向表示越高的頻率成分值。又,構成二維頻率轉換區塊的各頻率轉換係數越接近下端,在垂直方向表示越高的頻率成分值。
排列於往左下或右上傾斜方向的複數個基本區塊,頻率位準視為相同。於此,對於頻率位準相同的複數個基本區塊,表示基本區塊位置的號碼是以對於水平方向頻率的低到高的順序來規定。
掃描順序是以頻率高到低的順序來規定。例如掃描順序是以表示基本區塊位置的號碼從大到小的順序來規定。然後,表示基本區塊位置的號碼最大的基本區塊分派到掃描順序的開頭,表示基本區塊位置的號碼最小的基本區塊分派到掃描順序的最後。再者,於此例,對於頻率位準相同的複數個基本區塊的掃描順序,是以對於水平方向的頻率高到低的順序來規定。
於圖14A~圖14I,特定基本區塊是以斜線的影線表示。特定基本區塊是構成頻率轉換區塊之1以上的基本區塊中,於掃描順序中最初包含非零係數的基本區塊。
於第2模式,編碼裝置100的二值化部132將特定基本區塊的位置資訊二值化。於此例,二值化部132將表示特定基本區塊位置的號碼二值化。
然後,二值化部132僅針對構成頻率轉換區塊之1以上的基本區塊中,於掃描順序中特定基本區塊以後的各基本區塊,將區塊資訊二值化。於此例,二值化部132將特定基本區塊的區塊資訊二值化,將號碼小於特定基本區塊的基本區塊的區塊資訊二值化。
又,於第2模式,解碼裝置200的反向二值化部244將特定基本區塊的位置資訊的二值化資料串,予以反向二值化。於此例,反向二值化部244將表示特定基本區塊位置的號碼的二值化資料串,予以反向二值化。
然後,反向二值化部244僅針對構成頻率轉換區塊之1以上的基本區塊中,於掃描順序中特定基本區塊以後的各基本區塊,將區塊資訊的二值化資料串予以反向二值化。於此例,反向二值化部244將特定基本區塊的區塊資訊的二值化資料串,予以反向二值化,將號碼小於特定基本區塊的基本區塊的區塊資訊的二值化資料串,予以反向二值化。
藉此,編碼裝置100及解碼裝置200可於第2模式,縮短頻率轉換係數資訊的二值化資料串。因此,編碼裝置100及解碼裝置200可於未適用算術編碼及算術解碼的第2模式,抑制碼量增大。
再者,不限於第2模式,於第1模式,二值化部132亦可將特定基本區塊的位置資訊二值化。然後,於第1模式,二值化部132亦可僅針對構成頻率轉換區塊之1以上的基本區塊中,於掃描順序中特定基本區塊以後的各基本區塊,將區塊資訊予以二值化。
又,不限於第2模式,於第1模式,反向二值化部244亦可將特定基本區塊的位置資訊的二值化資料串,予以反向二值化。然後,反向二值化部244亦可於第1模式,僅針對構成頻率轉換區塊之1以上的基本區塊中,於掃描順序中特定基本區塊以後的各基本區塊,將區塊資訊的二值化資料串予以反向二值化。
藉此,編碼裝置100及解碼裝置200亦可於第1模式,縮短頻率轉換係數資訊的二值化資料串。因此,藉此於適用算術編碼及算術解碼的第1模式,具有更刪減碼量的可能性。再者,此時,亦可對於頻率轉換係數資訊,在第1模式與第2模式適用相同語法構造。或者,於別的方法,對於頻率轉換係數資訊,適用在第1模式與第2模式不同的語法構造亦可。
又,頻率轉換區塊的大小不限於圖14A~圖14I之例,亦可為其他大小。對於1個圖片的複數個頻率轉換區塊,採用複數種大小亦可。又,基本區塊的大小不限於4´4,亦可為其他大小。對於1個圖片的複數個基本區塊,採用1種大小,或採用複數種大小均可。
又,作為表示基本區塊位置的位置資訊,表示基本區塊位置的號碼表示於圖14A~圖14I。圖14A~圖14I所示號碼為一例,表示基本區塊位置的號碼亦可採用以其他基準所賦予的其他號碼。或者,表示基本區塊的位置的位置資訊亦可採用不同於號碼的其他資訊。
又,頻率轉換區塊的大小與基本區塊的大小相同時,頻率轉換係數資訊亦可不包含特定基本區塊的位置資訊。亦即,頻率轉換區塊所含基本區塊的個數為1時,頻率轉換係數資訊不包含特定基本區塊的位置資訊亦可。然後,頻率轉換區塊所含基本區塊的個數為2以上時,頻率轉換係數資訊包含特定基本區塊的位置資訊亦可。
又,頻率轉換區塊不包含非零係數時,頻率轉換係數資訊不包含該頻率轉換區塊的特定基本區塊的位置資訊亦可。然後,此時,頻率轉換係數資訊不包含表示構成特定基本區塊以後的各基本區塊的複數個頻率轉換係數的區塊資訊亦可。然後,對於不包含非零係數的頻率轉換區塊的頻率轉換係數資訊不被二值化,或不被編碼均可。
又,二值化部132在第1模式,亦可不就每基本區塊,將頻率轉換區塊二值化。總言之,二值化部132在第1模式,亦可不受基本區塊影響而將頻率轉換區塊所含的複數個頻率轉換係數二值化。
同樣地,反向二值化部244在第1模式,亦可不就每基本區塊,將頻率轉換區塊的二值化資料串,予以反向二值化。總言之,反向二值化部244在第1模式,亦可不受限於基本區塊而將頻率轉換區塊所含的複數個頻率轉換係數的二值化資料串,予以反向二值化。 [非零係數的個數不包含0的表的利用]
編碼裝置100的二值化部132在第2模式,將表示基本區塊所含非零係數的個數的資料值,作為頻率轉換係數資訊的一部分而二值化。又,解碼裝置200的反向二值化部244在第2模式,將表示基本區塊所含非零係數的個數的資料值,被作為頻率轉換係數資訊的一部分而二值化的二值化資料串,予以反向二值化。藉此,可有效率地表現構成基本區塊的複數個頻率轉換係數。
又,二值化部132在表示非零係數的個數的資料值之二值化中,利用使複數個資料值與複數個二值化值相對應的轉換表。同樣地,反向二值化部244在表示非零係數的個數的資料值之二值化值的反向二值化中,利用使複數個資料值與複數個二值化值相對應的轉換表。該轉換表亦可表現為可變長度編碼表。
例如轉換表可從複數個表中選擇,該複數個表包含:包含表示0作為非零係數的個數的資料值的對應關係之表,及不包含表示0作為非零係數的個數的資料值的對應關係之表。藉此,可刪減頻率轉換係數資訊的碼量。
圖15是表示實施形態1之2種表A1、A2的概念圖。於2種表A1、A2的各表,複數個資料值與複數個二值化值相對應。複數個資料值的各個對應於trailing_ones與total_coef的組合。
trailing_ones表示就基本區塊所含的複數個頻率轉換係數而言,絕對值為0的頻率轉換係數除外,於以頻率高到低的順序規定的掃描順序中,最初連續的絕對值為1的非零係數的個數。total_coef表示於基本區塊所含的複數個頻率轉換係數中非零係數的個數。trailing_ones與total_coef的組合是表示非零係數的個數的資料值之一例。
表A1包含表示0作為非零係數的個數的資料值與二值化值的對應關係。總言之,表A1包含trailing_ones為0且total_coef為0的資料值。表A2不包含表示0作為非零係數的個數的資料值與二值化值的對應關係。總言之,表A2不包含trailing_ones為0且total_coef為0的資料值。
藉此,以表A2被與資料值建立對應的二值化值,以短於以表A1被與相同的資料值建立對應的二值化值的位元長度之位元長度來規定。
於圖15之例,total_coef為3,trailing_ones為2。對於該資料值,於表A1,使其與7位元的二值化值「0000101」相對應,於表A2,使其與6位元的二值化值「000011」相對應。
例如二值化部132按照表A1,將表示非零係數的個數可能為0的基本區塊之非零係數的個數之資料值,予以二值化。然後,二值化部132按照表A2,將表示非零係數的個數不可能為0的基本區塊之非零係數的個數之資料值,予以二值化。
同樣地,例如反向二值化部244按照表A1,將表示非零係數的個數可能為0的基本區塊之非零係數的個數之資料值已被二值化的二值化值,予以反向二值化。然後,反向二值化部244按照表A2,將表示非零係數的個數不可能為0的基本區塊之非零係數的個數之資料值已被二值化的二值化值,予以反向二值化。
藉此,編碼裝置100及解碼裝置200可抑制碼量增大。
再者,於圖15之例,表示大小為4´4的基本區塊,但基本區塊的大小亦可為不同於4´4的大小。又,基本區塊的大小與頻率轉換區塊為相同大小,或小於頻率轉換區塊的大小均可。又,於此例,表示非零係數的個數的資料值採用trailing_ones與total_coef的組合,但表示非零係數的個數的資料值亦可為其他資訊。
圖16是表示實施形態1之表的選擇的流程圖。具體而言,圖16是用以從圖15所示之表A1及表A2中選擇轉換表的流程圖。
例如二值化部132就每基本區塊,從表A1及表A2中選擇轉換表,按照選擇的轉換區塊,將表示基本區塊所含非零係數的個數的資料值,予以二值化。又,反向二值化部244就每基本區塊,從表A1及表A2中選擇轉換表,按照選擇的轉換區塊,將表示基本區塊所含非零係數的個數的資料值之二值化值,予以反向二值化。
於此,就每基本區塊進行二值化或反向二值化時,處理對象的基本區塊稱為目前基本區塊。
又,作為前提,二值化部132僅於頻率轉換區塊包含特定基本區塊時,針對掃描順序中為特定基本區塊以後的各基本區塊,將表示非零係數的個數的資料值予以二值化。然後,反向二值化部244僅於頻率轉換區塊包含特定基本區塊時,針對掃描順序中為特定基本區塊以後的各基本區塊,將表示非零係數的個數的資料值之二值化值,予以反向二值化。特定基本區塊是掃描順序中最初包含非零係數的基本區塊。
總言之,編碼裝置100在頻率轉換區塊包含非零係數時,編碼頻率轉換區塊,在頻率轉換區塊不包含非零係數時,不編碼頻率轉換區塊。伴隨於此,解碼裝置200在頻率轉換區塊包含非零係數時,解碼頻率轉換區塊,在頻率轉換區塊不包含非零係數時,不解碼頻率轉換區塊。
於上述前提,目前基本區塊與頻率轉換區塊不同(S201,否),且目前基本區塊非特定基本區塊時(S202,否),選擇包含0個非零係數的對應關係的表A1(S203)。又,目前基本區塊與頻率轉換區塊相同(S201,是),或目前基本區塊為特定基本區塊時(S202,是),選擇不包含0個非零係數的對應關係的表A2(S204)。
目前基本區塊與頻率轉換區塊相同時,目前基本區塊的資料值是否二值化,是按照目前基本區塊是否包含非零係數來決定。此時,若目前基本區塊包含非零係數,則將目前基本區塊的資料值二值化,若目前基本區塊不包含非零係數,則不將目前基本區塊的資料值二值化。
因此,此時,若目前基本區塊的資料值被二值化,則目前基本區塊包含非零係數。因此,目前基本區塊與頻率轉換區塊相同時,選擇不包含0個非零係數的對應關係的表A2。
又,特定基本區塊包含非零係數。因此,目前基本區塊為特定基本區塊時,選擇不包含0個非零係數的對應關係的表A2。
再者,目前基本區塊是否與頻率轉換區塊相同,對應於頻率轉換區塊的大小是否與目前基本區塊的尺寸相同。例如各基本區塊的大小為4´4時,亦可判斷頻率轉換區塊的大小是否為4´4,來取代判斷目前基本區塊是否與頻率轉換區塊相同。
又,上述選擇方法為一例,亦可採用其他選擇方法。又,亦可僅採用上述選擇方法中2種狀況區分之一。又,於上述例,從2個表A1及表A2選擇轉換表,但從包含該等表A1及表A2之3個以上的表中,選擇轉換表亦可。
又,與第2模式相同,二值化部132亦可在第1模式,按照從不包含0個非零係數的對應關係的表A2等選擇的轉換表,將表示非零係數的個數的資料值二值化。或者,二值化部132亦可在第1模式,不採用不包含0個非零係數的對應關係的表A2等,採用包含0個非零係數的對應關係的表A1等,將表示非零係數的個數的資料值二值化。
或者,二值化部132在第1模式,不將表示非零係數的個數的資料值二值化亦可。例如二值化部132在第1模式,不受非零係數的個數影響,將複數個頻率轉換係數資訊各個予以二值化亦可。於第1模式不採用非零係數的個數,仍可藉由適用算術編碼來支援抑制碼量增加。
又,與第2模式相同,反向二值化部244亦可在第1模式,按照從不包含0個非零係數的對應關係的表A2等選擇的轉換表,將表示非零係數的個數的資料值之二值化值,予以反向二值化。或者,反向二值化部244亦可在第1模式,不採用不包含0個非零係數的對應關係的表A2等,採用包含0個非零係數的對應關係的表A1等,將表示非零係數的個數的資料值之二值化值,予以反向二值化。
或者,反向二值化部244在第1模式,不將表示非零係數的個數的資料值之二值化值,予以反向二值化亦可。例如反向二值化部244在第1模式,不受非零係數的個數影響,將複數個頻率轉換係數資訊各個的二值化值,予以反向二值化亦可。於第1模式不採用非零係數的個數,仍可藉由適用算術解碼來支援抑制碼量增加。 [根據基本區塊的位置選擇表]
二值化或反向二值化用的轉換表亦可從複數個表中選擇,該複數個表包含與複數個資料值相對應的複數個二值化值之最長位元長與最短位元長的差互異的2以上的表。藉此,可刪減頻率轉換係數資訊的碼量。
圖17是表示實施形態1之4種表B1~B4的概念圖。於4種表B1~B4的各表,複數個資料值與複數個二值化值相對應。複數個資料值分別對應於trailing_ones與total_coef的組合。再者,圖17的表B1與圖15的表A1相同。
具體而言,於圖17之例,total_coef為3,trailing_ones為2。對於該資料值,於表B1,7位元的二值化值「0000101」被賦予對應,於表B3,5位元的二值化值「01110」被賦予對應。
編碼裝置100的二值化部132從表B1~B4中選擇轉換表,二值化部132按照選擇的轉換表,將資料值二值化。同樣地,解碼裝置200的反向二值化部244從表B1~B4中選擇轉換表,按照選擇的轉換表,將表示非零係數的個數的資料值之二值化值,予以反向二值化。
再者,解碼裝置200的反向二值化部244採用與編碼裝置100的二值化部132相同的基準,從表B1~B4中,選擇與編碼裝置100的二值化部132所選擇的表相同的表,來作為轉換表。
又,於表B1~B3的各表,非零係數的個數越少,與表示非零係數的個數的資料值相對應的二值化值的位元長規定越短。於表B1~B3中,該傾向在表B1最強,該傾向在表B3最弱。亦即,於表B1~B3中,複數個二值化值的位元長變動在表B1最大,複數個二值化值的位元長變動在表B3最小。
於表B4,不受非零係數的個數影響,與表示非零係數的個數的資料值相對應的二值化值的位元長一定。總言之,於表B4,與複數個資料值相對應的複數個二值化值是以相同位元長來規定。因此,最長位元長與最短位元長的差在表B1最大,在表B2次大,在表B3次大,在表B4最小。
例如推定作為非零係數的個數之個數越少,選擇表B1~B4中最長位元長與最短位元長的差越大的表。藉此,對表示非零係數的個數的資料值,越可能分派位元長度短的二值化值。
反之,推定作為非零係數的個數之個數越多,選擇表B1~B4中最長位元長與最短位元長的差越小的表。藉此,對表示非零係數的個數的資料值,分派位元長度長的二值化值的可能性變小。
又,推定目前基本區塊的非零係數的個數,會受到頻率轉換區塊的目前基本區塊的位置影響。因此,例如編碼裝置100的二值化部132亦可按照頻率轉換區塊的目前基本區塊的位置,從表B1~B4中選擇轉換表。然後,二值化部132亦可按照選擇的轉換表,將表示非零係數的個數的資料值予以二值化。
同樣地,解碼裝置200的反向二值化部244亦可按照頻率轉換區塊的目前基本區塊的位置,從表B1~B4中選擇轉換表。然後,反向二值化部244亦可按照選擇的轉換表,將表示非零係數的個數的資料值之二值化值,予以反向二值化。藉此,編碼裝置100及解碼裝置200可抑制碼量增大。
再者,於表B1~B3之各表,trailing_ones越大,二值化值的位元長規定越短。於表B1~B3中,該傾向在表B1最強,在表B3最弱。在表B4無該傾向。
基本區塊的各頻率轉換係數的絕對值小、與trailing_ones大之間,推定具有相關。因此,推定作為頻率轉換係數的絕對值的值越小,選擇表B1~B4中該傾向越強的資料亦可。藉此,對trailing_ones與total_coef的組合,越可能分派位元長度短的二值化。
又,於圖17,表示4種表B1~B4,但採用最長位元長與最短位元長的差互異的2種表,或採用3種表,或採用5種以上的表均可。
又,用以選擇轉換表的複數個表,不僅限於最長位元長與最短位元長的差互異的2種以上的表,亦可包含最長位元長與最短位元長的差相等的2種以上的表。亦即,於用以選擇轉換表的複數個表,亦可包含最長位元長與最短位元長的差互異的2種以上表,且包含最長位元長與最短位元長的差相等的2種以上表。
又,亦可組合圖15所示之表A1及表A2、與圖17所示之表B1~B4。例如轉換表亦可從複數個表B1~B4及A2中選擇。進而言之,從表B2~B4除去0個非零係數的對應關係的新表,亦可包含於用以選擇轉換表的複數個表。
又,編碼裝置100及解碼裝置200亦可按照頻率轉換區塊的基本區塊的位置,從表B1~B4中選擇轉換表。屆時,編碼裝置100及解碼裝置200亦可利用基本區塊的階層。
圖18A~圖18I是分別表示實施形態1之頻率轉換區塊之1以上的基本區塊各個的階層之概念圖。
於圖18A~圖18I,1以上的基本區塊各個中所記載的號碼,表示頻率轉換區塊的基本區塊的階層。於此例,表示頻率轉換區塊的基本區塊之階層的號碼,是以頻率低到高的順序來規定。總言之,表示基本區塊的階層的號碼若該基本區塊所對應的頻率位準越低,則規定越小。總言之,階層對應於頻率位準。
排列於往左下或右上傾斜方向的複數個基本區塊,頻率位準視為相同。於此,對於頻率位準相同的複數個基本區塊,表示基本區塊之階層的號碼是以相同值來規定。
具體而言,圖18A表示4´4頻率轉換區塊的1個基本區塊的階層。又,圖18B表示8´8頻率轉換區塊的4個基本區塊各個的階層。圖18C表示8´4頻率轉換區塊的2個基本區塊各個的階層。圖18D表示4´8頻率轉換區塊的2個基本區塊各個的階層。圖18E表示16´16頻率轉換區塊的16個基本區塊各個的階層。
又,圖18F表示16´8頻率轉換區塊的8個基本區塊各個的階層。圖18G表示8´16頻率轉換區塊的8個基本區塊各個的階層。圖18H表示16´12頻率轉換區塊的12個基本區塊各個的階層。圖18I表示4´16頻率轉換區塊的4個基本區塊各個的階層。
又,於圖18A~圖18I所示之號碼為一例,亦可採用其他號碼來作為表示基本區塊的階層的號碼。或者,亦可以不同於號碼的形式,來採用表示基本區塊的階層的資訊。
圖19是表示實施形態1之型態判斷處理的流程圖。例如編碼裝置100的二值化部132按照頻率轉換區塊的目前基本區塊的位置,來決定型態,按照決定的型態來選擇轉換表。該型態對應於頻率轉換區塊的目前基本區塊的位置,且對應於用以選擇轉換表的選擇方法。
因此,編碼裝置100的二值化部132判斷先行基本區塊是否與目前基本區塊存在於相同階層(S301)。於此,先行基本區塊是於掃描順序中比目前基本區塊早的基本區塊。二值化部132判斷先行基本區塊存在於與目前基本區塊相同的階層時(S301,是),判斷型態為第1型態(S302)。
二值化部132判斷先行基本區塊不存在於與目前基本區塊相同的階層時(S301,否),判斷特定基本區塊是否存在於比目前基本區塊高的階層(S303)。於此,特定基本區塊是構成頻率轉換區塊之1以上的基本區塊中,於掃描順序中最初包含非零係數的基本區塊。
二值化部132判斷特定基本區塊存在於比目前基本區塊高的階層(S303,是),判斷型態為第2型態(S304)。二值化部132判斷特定基本區塊不存在於比目前基本區塊高的階層(S303,否),判斷型態為第3型態(S305)。
再者,第1型態、第2型態及第3型態分別為型態的一例。亦可僅利用第1型態、第2型態及第3型態中之一部分,或利用其他型態亦可。
又,解碼裝置200的反向二值化部244亦與編碼裝置100的二值化部132同樣地決定型態,選擇轉換表。因此,關於型態決定及轉換表選擇,編碼裝置100及二值化部132的動作,可置換為解碼裝置200及反向二值化部244的動作。以下說明亦同。
圖20A是表示實施形態1之第1型態的目前基本區塊之概念圖。先行基本區塊存在於與目前基本區塊相同的階層時,決定對應於目前基本區塊的位置的型態為第1型態。
換言之,目前基本區塊的位置是如,先行基本區塊存在於與目前基本區塊相同的階層的位置時,決定型態為第1型態。例如目前基本區塊位於圖20A的斜線的影線部分時,對應於目前基本區塊的位置的型態,決定為第1型態。
圖20B是表示實施形態1之第2型態的目前基本區塊之概念圖。先行基本區塊不存在於與目前基本區塊相同的階層,且特定基本區塊存在於比目前基本區塊高的階層時,決定對應於目前基本區塊的位置的型態為第2型態。
換言之,目前基本區塊的位置是如,先行基本區塊不存在於與目前基本區塊相同的階層,且特定基本區塊存在於比目前基本區塊高的階層的位置時,決定型態為第2型態。例如目前基本區塊位於圖20B的斜線的影線部分時,對應於目前基本區塊的位置的型態,決定為第2型態。
圖20C是表示實施形態1之第3型態的目前基本區塊之概念圖。先行基本區塊不存在於與目前基本區塊相同的階層,且特定基本區塊不存在於比目前基本區塊高的階層時,決定對應於目前基本區塊的位置的型態為第3型態。
換言之,目前基本區塊的位置是如,先行基本區塊不存在於與目前基本區塊相同的階層,且特定基本區塊不存在於比目前基本區塊高的階層的位置時,決定型態為第3型態。例如目前基本區塊位於圖20C的斜線的影線部分時,對應於目前基本區塊的位置的型態,決定為第3型態。
圖21是表示在實施形態1之第1型態所選擇的表的關係圖。例如編碼裝置100的二值化部132預測目前基本區塊所含非零係數的個數,按照目前基本區塊所含非零係數的個數的預測值,從表B1~B4中選擇轉換表。該預測值亦表現為nC。
於圖21之例,二值化部132在預測值為0~1時,選擇最長位元長與最短位元長的差最大的表B1,來作為轉換表。
又,二值化部132在預測值為2~3時,選擇最長位元長與最短位元長的差次大的表B2,來作為轉換表。又,二值化部132在預測值為4~7時,選擇最長位元長與最短位元長的差次大的表B3,來作為轉換表。又,二值化部132在預測值為8~16時,選擇最長位元長與最短位元長的差最小的表B4,來作為轉換表。
於第1型態,先行基本區塊存在於與目前基本區塊相同的階層。因此,二值化部132按照與目前基本區塊相同階層的先行基本區塊所含非零係數的個數,來預測目前基本區塊所含非零係數的個數。具體而言,二值化部132將與目前基本區塊相同階層的先行基本區塊所含非零係數的個數,預測作為目前基本區塊所含非零係數的個數。
於第1型態,目前基本區塊為掃描順序中最初包含非零係數的特定基本區塊時,先行基本區塊所含非零係數的個數為0。因此,二值化部132將0預測作為目前基本區塊所含非零係數的個數。
又,二值化部132在複數個先行基本區塊存在於與目前基本區塊相同的階層時,亦可按照掃描順序中緊接於前的先行基本區塊所含非零係數的個數,來預測目前基本區塊所含非零係數的個數。
然後,二值化部132按照先行基本區塊的非零係數的個數,來預測基本區塊的非零係數的個數,按照非零係數的個數的預測值,從表B1~B4中選擇轉換表。亦即,二值化部132按照先行基本區塊的非零係數的個數,從表B1~B4中選擇轉換表。
再者,圖21表示預測值的範圍及選擇的表之例。預測值的範圍及選擇的表不限於圖21所示例。又,二值化部132亦可不只是按照非零係數的個數的預測值,而是按照非零係數的個數與其他資訊的組合,來選擇轉換表。不限於第1型態,其他型態亦同。
圖22是表示在實施形態1之第2型態所選擇的表的關係圖。
於第2型態,先行基本區塊不存在於與目前基本區塊相同的階層。另,包含非零係數的基本區塊存在於比目前基本區塊高的階層,亦即存在於比目前基本區塊的位置的頻率位準高的位準。此時,二值化部132預測目前基本區塊所含非零係數的個數多,增大目前基本區塊所含非零係數的個數的預測值。然後,二值化部132按照增大的預測值來選擇轉換表。
例如二值化部132將目前基本區塊所含非零係數的個數的預測值,決定作為非零係數的個數的最大值。然後,二值化部132按照作為非零係數的個數的最大值所決定的預測值,來選擇轉換表。
具體而言,二值化部132將目前基本區塊所含非零係數的個數的預測值,決定作為非零係數的個數的最大值16。然後,二值化部132按照作為非零係數的個數的最大值16所決定預測值,來選擇轉換表。藉此,二值化部132選擇最長位元長與最短位元長的差最小的表B4,來作為轉換表。
再者,於第2型態,二值化部132不將預測值決定作為最大值亦可,將預測值決定為大於非零係數的個數的平均值的預定值亦可。然後,二值化部132從表B1~B4,選擇最長位元長與最短位元長的差小於平均差的表,來作為轉換表亦可。
圖23是表示在實施形態1之第3型態以周邊的頻率轉換區塊所選擇的表的關係圖。於此例,編碼裝置100的二值化部132在第3型態,按照周邊的頻率轉換區塊所含非零係數的個數,來選擇轉換表。
於第3型態,先行基本區塊不存在於與目前基本區塊相同的階層。又,特定基本區塊不存在於比目前基本區塊高的階層。因此,二值化部132按照周邊的頻率轉換區塊所含非零係數的個數,來預測目前基本區塊所含非零係數的個數。二值化部132亦可將周邊的頻率轉換區塊所含非零係數的個數,預測作為目前基本區塊所含非零係數的個數。
然後,二值化部132按照目前基本區塊所含非零係數的個數的預測值,從表B1~B4中選擇轉換表。亦即,二值化部132按照周邊的頻率轉換區塊可能包含的非零係數的個數的個數,從表B1~B4中選擇轉換表。
例如周邊的頻率轉換區塊為空間上接近包含目前基本區塊的頻率轉換區塊之頻率轉換區塊,且已完成編碼的頻率轉換區塊。以下將包含目前基本區塊的周邊轉換區塊,稱為目前頻率轉換區塊,將周邊的頻率轉換區塊稱為周邊頻率轉換區塊。周邊頻率轉換區塊亦可為空間上距離目前頻率轉換區塊預定範圍內的頻率轉換區塊。
又,周邊頻率轉換區塊亦可為鄰接目前頻率轉換區塊左或上的頻率轉換區塊。藉此,二值化部132可按照接近目前頻率轉換區塊的頻率轉換區塊所含非零係數的個數,高精度地預測非零係數的個數。
又,周邊頻率轉換區塊亦可為編碼順序中緊接於前的目前頻率轉換區塊。藉此,可刪減記憶體容量,其用以記憶有關非零係數的個數之簡單預測及非零係數的個數的資訊。
又,周邊頻率轉換區塊為距離目前頻率轉換區塊預定範圍內的頻率轉換區塊,亦可為編碼模式與目前頻率轉換區塊相同的頻率轉換區塊。藉此,二值化部132可按照推定非零係數的發生傾向與目前頻率轉換區塊類似的頻率轉換區塊,高精度地預測非零係數的個數。再者,預定範圍亦可為包含目前頻率轉換區塊的編碼樹單元的範圍。
作為周邊頻率轉換區塊所含非零係數的個數,亦可採用對於目前頻率轉換區塊之目前基本區塊的相對位置,與對於周邊頻率轉換區塊的相對位置相等的基本區塊所含非零係數的個數。藉此,二值化部132可針對非零係數的個數,按照對於目前基本區塊相關強的基本區塊,高精度地預測非零係數的個數。
作為周邊頻率轉換區塊所含非零係數的個數,亦可採用周邊頻率轉換區塊全體的非零係數的個數。藉此,可不受頻率轉換區塊的大小影響來整合資訊,因此可刪減記憶體容量,其用以記憶有關非零係數的個數之簡單預測及非零係數的個數的資訊。
又,二值化部132亦可按照周邊頻率轉換區塊全體的非零係數的個數,導出基本區塊附近的非零係數的個數,按照基本區塊附近的非零係數的個數,預測目前基本區塊所含非零係數的個數。藉此,二值化部132可不受頻率轉換區塊大小差異的影響,適當地預測非零係數的個數。然後,二值化部132可按照適當的預測值,來選擇轉換表。
圖24是表示在實施形態1之第3型態以編碼模式所選擇的表的關係圖。於此例,二值化部132在第3型態,取代按照周邊的頻率轉換區塊所含非零係數的個數,按照編碼模式為面間預測或面內預測,來選擇轉換表。該編碼模式是與目前基本區塊的編碼及解碼,採用面間預測或面內預測相對應。
例如目前區塊的編碼模式為面間預測時,預測精度比面內預測高,推定非零係數的個數少。因此,二值化部132選擇最長位元長與最短位元長的差較大的表B1。另,目前區塊的編碼模式為面內預測時,預測精度比面間預測低,推定非零係數的個數多。因此,二值化部132選擇最長位元長與最短位元長的差比表B1小的表B2。
再者,圖24表示選擇的表之例。選擇的表不限於圖24所示之例。又,二值化部132亦可不只是按照編碼模式,而是按照編碼模式與其他資訊的組合,來選擇轉換表。
圖25是表示在實施形態1之第3型態以量化參數所選擇的表的關係圖。於此例,二值化部132在第3型態,取代按照周邊的頻率轉換區塊所含非零係數的個數、及編碼模式為面間預測或面內預測,按照QP值來選擇轉換表。該QP值是目前基本區塊的編碼及解碼所用之量化參數值,QP值越大,量化寬越大。
例如QP越大,頻率轉換係數值越可能量化為0,推定因量化所產生的非零係數少。因此,二值化部132當QP值越大時,從表B1~B4中,選擇最長位元長與最短位元長的差越大的表。
另,QP值越小,頻率轉換係數值越不可能量化為0,推定因量化所產生的非零係數多。因此,二值化部132當QP值越小時,從表B1~B4中,選擇最長位元長與最短位元長的差越小的表。
於此例,二值化部132在QP值為0~21時,選擇最長位元長與最短位元長的差最小的表B4,來作為轉換表。
接著,二值化部132在QP值為22~31時,選擇最長位元長與最短位元長的差次小的表B3,來作為轉換表。又,二值化部132在QP值為32~41時,選擇最長位元長與最短位元長的差次小的表B2,來作為轉換表。又,二值化部132在QP值為42~51時,選擇最長位元長與最短位元長的差最大的表B1,來作為轉換表。
再者,圖25表示QP值的範圍及選擇表之例。QP值的範圍及選擇表不限於圖25所示之例。又,二值化部132亦可不只是按照QP值,而是按照QP值與其他資訊的組合來選擇轉換表。
又,於上述例,二值化部132按照目前基本區塊的位置,決定表選擇方法,按照決定的表選擇方法,選擇轉換表。藉此,二值化部132按照目前基本區塊的位置,來選擇轉換表。
另,目前基本區塊的位置越接近頻率轉換區塊的左上角,推定目前基本區塊所含非零係數越多。因此,二值化部132在目前基本區塊的位置越接近頻率轉換區塊的左上角時,從表B1~B4等之中,選擇最長位元長與最短位元長的差更小的表,來作為轉換表。藉此,二值化部132亦可按照目前基本區塊的位置,來選擇轉換表。
又,於上述說明,關於非零係數的個數,採用預測來表達,但為了與面內預測及面間預測等圖像的預測區別,亦可取代預測,採用推定來表達。 [頻率轉換係數資訊的語法構造]
圖26是表示實施形態1之語法構造的資料圖。編碼裝置100的二值化部132按照圖26所示之語法構造,將頻率轉換係數資訊二值化。解碼裝置200的反向二值化部244按照圖26所示之語法構造,將頻率轉換係數資訊的二值化資料串,予以反向二值化。
圖26之例為基本區塊大小4´4時的範例,基本區塊大小不限於4´4。基本區塊大小與頻率轉換區塊相同大小,或大小比頻率轉換區塊小均可。又,於圖26,以粗體字表示的參數是於二值化資料串描述的參數。
last_sub_block_pos是表示特定基本區塊的位置的資訊。特定基本區塊是對於構成頻率轉換區塊的1以上的基本區塊,於依頻率高到低的順序來規定的掃描順序中最初包含非零係數的基本區塊。last_sub_block_pos是例如圖14A~圖14I以號碼表示特定基本區塊的位置的資訊亦可。於二值化資料串,就每頻率轉換區塊最多包含1個last_sub_block_pos。
coef_token表示基本區塊所含非零係數的個數的資訊。具體而言,coef_token對應於total_coef及trailing_ones雙方。更具體而言,coef_token亦可如圖15及圖17而為對應於組合total_coef及trailing_ones的資料值的二值化值。於二值化資料串,就每基本區塊最多包含1個coef_token。
total_zeros表示對於基本區塊所含複數個頻率轉換係數,依頻率高到低的順序來規定的掃描順序中,比最初出現的非零係數更晚出現的零係數的總數的資訊。於此,零係數是值為0的頻率轉換係數。於二值化資料串,就每基本區塊最多包含1個total_zeros。
run_before是表示針對對於基本區塊所含複數個頻率轉換係數,依頻率高到低的順序來規定的掃描順序中出現的各非零係數,比非零係數更晚連續出現的零係數的個數的資訊。於二值化資料串,就每基本區塊最多包含從非零係數的個數減去1的數目的run_before。
coeff_sign_flag是表示基本區塊所含各非零係數值之正負的資訊。於二值化資料串,就每基本區塊最多包含與非零係數的個數相同數目的coeff_sign_flag。
coeff_abs_level_remaining是表示基本區塊所含各非零係數的絕對值的資訊。於二值化資料串,就每基本區塊最多包含與非零係數相同數目的coeff_abs_level_remaining。
圖26所示之語法構造為一例。亦可採用與圖26所示之語法構造不同,且表示與圖26之語法構造相同的資訊的語法構造。 [編碼裝置的實作例]
圖27是表示實施形態1之編碼裝置100的實作例之方塊圖。編碼裝置100具備電路160及記憶體162。例如圖1及圖11所示編碼裝置100的複數個構成要素,是藉由圖27所示之電路160及記憶體162來實作。
電路160是進行資訊處理的電路,可於記憶體162存取。例如電路160是編碼圖像資訊的專用或通用電子電路。電路160可為諸如CPU的處理器。又,電路160亦可為複數個電子電路的集合體。又,例如,電路160亦可發揮圖1及圖11所示編碼裝置100的複數個構成要素中,用以記憶資訊的構成要素除外的複數個構成要素的作用。
記憶體162是記憶電路160用以編碼圖像資訊的資訊之通用或專用記憶體。記憶體162為電路電路或連接於電路160均可。又,記憶體162亦可為複數個電子電路的集合體。又,記憶體162亦可為磁碟片或光碟片等,或表現為儲存器或記錄媒體等。又,記憶體162為非揮發性記憶體或揮發性記憶體均可。
例如於記憶體162,記憶編碼的圖像資訊,或記憶對應於已編碼的圖像資訊的位元串均可。又,於記憶體162,亦可記憶電路160用以編碼圖像資訊的程式。
又,例如電路160亦可發揮圖1及圖11所示編碼裝置100的複數個構成要素中,用以記憶資訊的構成要素的作用。具體而言,記憶體162發揮圖1所示的區塊記憶體118及幀記憶體122的作用,或發揮圖11所示中間緩衝器136的作用均可。
再者,於編碼裝置100,未實作圖1及圖11等所示的複數個構成要素的全部,或未進行上述複數種處理的全部均可。圖1及圖11等所示複數個構成要素的一部分,包含於其他裝置,或由其他裝置來執行上述複數種處理的一部分均可。
然後,於編碼裝置100,可實作圖1及圖11等所示複數個構成要素中的一部分,藉由進行上述複數種處理的一部分,來將頻率轉換係數資訊適當地編碼。 [編碼裝置的第1編碼動作例]
圖28是表示實施形態1之編碼裝置100的第1編碼動作例之流程圖。例如圖27所示之編碼裝置100的電路160藉由進行圖28所示的動作,來編碼圖像資訊,輸出圖像資訊已編碼的位元串。
具體而言,首先,電路160將圖像資訊二值化(S401)。例如圖像資訊包含關於圖像頻率成分的頻率轉換係數資訊及關於圖像預測方法的預測參數資訊等。然後,電路160切換是否對於圖像資訊已被二值化的二值化資料串適用算術編碼(S402)。
對於二值化資料串要適用算術編碼時(S402,是),電路160對於二值化資料串適用算術編碼,輸出包含已適用算術編碼的二值化資料串的位元串(S403)。
對於二值化資料串不要適用算術編碼時(S402,否),電路160不對於二值化資料串適用算術編碼,輸出包含未適用算術編碼的二值化資料串的位元串(S404)。
藉此,編碼裝置100可跳過算術編碼。因此,編碼裝置100可支援刪減因算術編碼所發生的處理延遲。
圖29是表示實施形態1之編碼裝置100的第1編碼動作例的二值化處理之流程圖。總言之,圖29是表示圖28的二值化處理(S401)的具體例。
電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為共通的二值化形式,來將圖像資訊中與頻率轉換係數資訊不同的其他資訊二值化(S411)。該其他資訊包含例如預測參數資訊的一部分或全部。
又,電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為不同的二值化形式,來將圖像資訊中的頻率轉換係數資訊二值化(S412)。更具體而言,電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為不同的二值化形式,來將圖像資訊中包含頻率轉換係數資訊的資訊二值化亦可。
藉此,編碼裝置100可按照有無適用算術編碼,適當地將對全體碼量造成劇烈影響的頻率轉換係數資訊二值化。因此,編碼裝置100可適當編碼頻率轉換係數資訊,可抑制全體碼量的增加。
再者,其他資訊的二值化(S411)與頻率轉換係數資訊的二值化(S412)的處理順序亦可相反。
又,例如預測參數資訊包含:關於預測參數資訊所含編碼模式的資訊、關於畫面內預測的預測方向的資訊、關於畫面間預測的參考圖片的資訊、及關於畫面間預測的移動向量的資訊。
電路160對於預測參數資訊所含該等資訊,按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為共通的二值化形式,來施以二值化。或者,電路160對於該等資訊中至少一種,按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為共通的二值化形式,來施以二值化亦可。
又,電路160亦可按照依有無適用算術編碼而不同的二值化形式,僅將圖像資訊中之頻率轉換係數資訊二值化。然後,電路160亦可不受有無適用算術編碼影響,按照共通的二值化形式,將圖像資訊中頻率轉換係數資訊除外的其他所有資訊,予以二值化。
藉此,編碼裝置100可按照共通的二值化形式,將頻率轉換係數資訊除外的其他所有資訊,予以二值化。因此,可簡化處理。
圖30是表示實施形態1之編碼裝置100的第1編碼動作例的頻率轉換係數資訊的二值化處理之流程圖。總言之,圖30表示圖29的頻率轉換係數資訊的二值化處理(S412)的具體例。
電路160在可對於二值化資料串適用算術編碼時(S421,是),以第1二值化形式,將頻率轉換係數資訊二值化(S422)。然後,電路160在不可對於二值化資料串適用算術編碼時(S421,否),以第2二值化形式,將頻率轉換係數資訊二值化(S423)。然後,電路160在不可對於二值化資料串適用算術編碼時,以產生位元數比對於二值化資料串適用算術編碼時少的形式,來將頻率轉換係數資訊二值化。
藉此,編碼裝置100在不適用算術編碼時,可支援減少頻率轉換係數資訊的碼量。 [編碼裝置的第2編碼動作例]
圖31是表示實施形態1之編碼裝置100的第2編碼動作例之流程圖。例如圖27所示之編碼裝置100的電路160藉由進行圖31所示的動作,來編碼圖像資訊。
具體而言,電路160編碼表示特定基本區塊的位置的位置資訊(S501)。特定基本區塊是對於構成具有複數個頻率轉換係數的頻率轉換區塊之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序中,最初具有非零係數作為頻率轉換係數的基本區塊。
然後,電路160僅針對構成頻率轉換區塊之1以上的基本區塊中,於預定掃描順序中為特定基本區塊以後的各基本區塊,編碼表示構成基本區塊的複數個頻率轉換係數的區塊資訊(S502)。
藉此,編碼裝置100可將位置資訊及區塊資訊,作為頻率轉換係數資訊來編碼。然後,由於編碼裝置100針對於預定掃描順序中為特定基本區塊以後的各基本區塊,編碼區塊資訊,因此可支援減少頻率轉換係數資訊的碼量。
再者,電路160亦可僅於構成頻率轉換區塊之1以上的基本區塊個數為2以上時,編碼位置資訊。藉此,編碼裝置100可在例如頻率轉換區塊的大小與各基本區塊的大小相同時,支援更減少頻率轉換係數資訊的碼量。
又,電路160亦可僅於特定基本區塊存在於頻率轉換區塊時,編碼位置資訊及區塊資訊。藉此,編碼裝置100可在例如頻率轉換區塊不包含非零係數時,支援更減少頻率轉換係數資訊的碼量。
又,電路160亦可與第1編碼動作例相同,編碼圖像資訊,輸出圖像資訊已編碼的位元串。例如如圖28,電路160將圖像資訊二值化(S401)。然後,電路160切換是否對於圖像資訊已被二值化的二值化資料串適用算術編碼(S402)。
然後,對於二值化資料串要適用算術編碼時(S402,是),電路160對於二值化資料串適用算術編碼,輸出包含已適用算術編碼的二值化資料串的位元串(S403)。另,對於二值化資料串不要適用算術編碼時(S402,否),電路160不對於二值化資料串適用算術編碼,輸出包含未適用算術編碼的二值化資料串的位元串(S404)。
又,如圖29,電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為共通的二值化形式,來將圖像資訊中的其他資訊二值化(S411)。該其他資訊包含例如預測參數資訊的一部分或全部。
然後,電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為不同的二值化形式,來將圖像資訊中的頻率轉換係數資訊二值化(S412)。
又,對於二值化資料串不適用算術編碼時,電路160藉由將包含位置資訊及區塊資訊的頻率轉換係數資訊二值化,來編碼位置資訊及區塊資訊。於此,編碼的區塊資訊是預定掃描順序中為特定基本區塊以後的區塊資訊。藉此,編碼裝置100在未適用算術編碼時,可支援減少頻率轉換係數資訊的碼量。 [編碼裝置的第3編碼動作例]
圖32是表示實施形態1之編碼裝置100的第3編碼動作例之流程圖。例如圖27所示之編碼裝置100的電路160藉由進行圖32所示的動作,來編碼圖像資訊。
具體而言,電路160按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含資料值的圖像資訊(S601)。於此,目前基本區塊是構成具有複數個頻率轉換係數的頻率轉換區塊之1以上的基本區塊之一。
藉此,編碼裝置100可適當地編碼有意義的資訊,該資訊用於有效率地表現構成基本區塊的複數個頻率轉換係數。
圖33是表示實施形態1之編碼裝置100的第3編碼動作例的二值化處理之流程圖。總言之,圖33表示圖32的二值化處理的具體例。
電路160從包含第1表及第2表的複數個表中,選擇轉換表,其中前述第1表包含表示0作為非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為非零係數的個數的資料值的對應關係(S611)。然後,電路160按照選擇的轉換表,將資料值二值化(S612)。
藉此,編碼裝置100可利用資訊量經刪減的表,來作為二值化用的轉換表。因此,編碼裝置100可支援減少頻率轉換係數資訊的碼量。
電路160亦可僅針對對於構成頻率轉換區塊之1以上的基本區塊中,於預定掃描順序中為特定基本區塊以後的各基本區塊,將表示基本區塊所含非零係數的個數的資料值,予以二值化。總言之,電路160亦可將表示預定掃描順序中為特定基本區塊以後的各基本區塊的非零係數的個數之資料值,作為表示目前基本區塊的非零係數的個數之資料值而二值化。
藉此,編碼裝置100可支援更減少頻率轉換係數資訊的碼量。再者,特定基本區塊是對於構成頻率轉換區塊之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序中,最初具有非零係數作為頻率轉換係數的基本區塊。
又,電路160亦可僅於構成頻率轉換區塊之1以上的基本區塊,存在有特定基本區塊時,將表示目前基本區塊的非零係數的個數之資料值,予以二值化。然後,電路160亦可在頻率轉換區塊與目前基本區塊相同時,選擇不包含表示0作為非零係數的個數的資料值之對應關係的第2表,來作為轉換表。
藉此,編碼裝置100可在例如頻率轉換區塊的大小與各基本區塊的大小相同時,利用不包含0個非零係數的對應關係的第2表,來支援減少頻率轉換係數資訊的碼量。
又,電路160亦可於目前基本區塊為特定基本區塊時,選擇不包含表示0作為非零係數的個數的資料值之對應關係的第2表,來作為轉換表。
藉此,編碼裝置100可於例如目前基本區塊為特定基本區塊時,利用不包含0個非零係數的對應關係的第2表,來支援減少頻率轉換係數資訊的碼量。
又,電路160亦可與第1編碼動作例相同,編碼圖像資訊,輸出圖像資訊已編碼的位元串。例如如圖28,電路160將圖像資訊二值化(S401)。然後,電路160切換是否對於圖像資訊已被二值化的二值化資料串適用算術編碼(S402)。
然後,對於二值化資料串要適用算術編碼時(S402,是),電路160對於二值化資料串適用算術編碼,輸出包含已適用算術編碼的二值化資料串的位元串(S403)。另,對於二值化資料串不要適用算術編碼時(S402,否),電路160不對於二值化資料串適用算術編碼,輸出包含未適用算術編碼的二值化資料串的位元串(S404)。
又,如圖29,電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為共通的二值化形式,來將圖像資訊中的其他資訊二值化(S411)。該其他資訊包含例如預測參數資訊的一部分或全部。
然後,電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為不同的二值化形式,來將圖像資訊中的頻率轉換係數資訊二值化(S412)。
又,對於二值化資料串不適用算術編碼時,電路160按照從包含第1表及第2表的複數個表中選擇的轉換表,來將頻率轉換係數資訊所含的資料值二值化。於此,第1表包含表示0作為非零係數的個數的資料值的對應關係,第2表不包含表示0作為非零係數的個數的資料值的對應關係。
藉此,編碼裝置100可於未適用算術編碼時,利用從包含第2表之複數個表選擇的轉換表,支援減少頻率轉換係數資訊的碼量,前述第2表是不包含0個非零係數的對應關係的表。 [編碼裝置的第4編碼動作例]
於第4編碼動作例,與圖32所示之第3編碼動作例相同,將表示非零係數的個數的資料值二值化。具體而言,電路160按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數之資料值,予以二值化,編碼包含資料值的圖像資訊(S601)。
圖34是表示實施形態1之編碼裝置100的第4編碼動作例的二值化處理之流程圖。總言之,圖34表示圖32之二值化處理的具體例。
電路160按照目前頻率轉換區塊的目前基本區塊的位置,從複數個表中選擇轉換表(S661)。目前頻率轉換區塊是包含目前基本區塊的頻率轉換區塊。複數個表包含與複數個資料值相對應的複數個二值化值的最長位元長與最短位元長的差互異之2以上的表。然後,電路160按照選擇的轉換表,將資料值二值化(S662)。
藉此,編碼裝置100可按照目前基本區塊的位置,來選擇用以將表示非零係數的個數的資料值二值化的轉換表。非零係數的個數特性會依目前基本區塊的位置而不同。因此,編碼裝置100可利用目前基本區塊的位置,使非零係數的個數特性反映在轉換表的選擇。
故,編碼裝置100可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
電路160亦可按照目前基本區塊的位置,先行基本區塊若存在於與目前基本區塊的位置的頻率位準相同位準時,按照先行基本區塊所含非零係數的個數,來選擇轉換表。
於此,先行基本區塊是對於構成目前頻率轉換區塊之1以上的基本區塊,依頻率高到低的順序來規定的預定掃描順序中,比目前基本區塊早的基本區塊。又,目前基本區塊的位置的頻率位準,是對應於目前基本區塊的位置的頻率位準。
藉此,編碼裝置100可按照非零係數的個數推定與目前基本區塊類似的先行基本區塊的非零係數的個數,來選擇轉換表。
又,電路160亦可在先行基本區塊存在於與目前基本區塊的位置的頻率位準相同的位準,且先行基本區塊所含非零係數的個數為第1個數時,選擇第1表來作為轉換表。然後,電路160亦可在先行基本區塊存在於與目前基本區塊的位置的頻率位準相同的位準,且先行基本區塊所含非零係數的個數為第2個數時,選擇第2表來作為轉換表。
於此,第2個數比第1個數多。又,第2表的複數個二值化值的最長位元長與最短位元長的差,小於第1表的複數個二值化值的最長位元長與最短位元長的差。總言之,電路160亦可於先行基本區塊所含非零係數的個數多時,選擇複數個二值化值的最長位元長與最短位元長的差小的表來作為轉換表。
藉此,編碼裝置100可於按照先行基本區塊的非零係數的個數,推定目前基本區塊的非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如會有先行基本區塊不存在於與目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊存在於比目前基本區塊的位置的頻率位準高的位準的情形。於此,特定基本區塊是預定掃描順序中最初包含非零係數的基本區塊。此時,電路160從複數個表中,選擇最長位元長與最短位元長的差小於預定差的表,來作為轉換表。
藉此,編碼裝置100可於按照目前基本區塊及特定基本區塊的關係,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。預定差不限於固定值,亦可相對地決定,例如於複數表中,位元長差距第2小的表的最長位元長與最短位元長的差。
具體而言,於上述情況,電路160亦可從複數個表中,選擇最長位元長與最短位元長的差最小的表,來作為轉換表。藉此,編碼裝置100可於按照目前基本區塊及特定基本區塊的關係,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援更抑制碼量的增加。
又,例如會有先行基本區塊不存在於與目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比目前基本區塊的位置的頻率位準高的位準的情形。此時,電路160按照從目前頻率轉換區塊周邊的頻率轉換區塊,即從周邊頻率轉換區塊,作為非零係數的個數所推定的個數,來選擇轉換表。
藉此,編碼裝置100可利用非零係數的個數推定與目前基本區塊類似的周邊頻率轉換區塊,來選擇轉換表。
又,上述情況,電路160亦可於從周邊頻率轉換區塊推定的個數為第1個數時,選擇第1表,從周邊頻率轉換區塊推定的個數為第2個數時,選擇第2表。於此,第2個數比第1個數多。又,第2表的複數個二值化值的最長位元長與最短位元長的差,小於第1表的複數個二值化值的最長位元長與最短位元長的差。
總言之,電路160亦可在從周邊頻率轉換區塊所推定的個數多時,選擇複數個二值化值的最長位元長與最短位元長的差小的表,來作為轉換表。藉此,編碼裝置100可於按照周邊頻率轉換區塊,推定目前基本區塊的非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,周邊頻率轉換區塊亦可為鄰接於目前頻率轉換區塊左或上之頻率轉換區塊。藉此,編碼裝置100可按照接近目前頻率轉換區塊的頻率轉換區塊所含非零係數的個數,高精度地預測非零係數的個數。
或者,周邊頻率轉換區塊亦可為緊接於目前頻率轉換區塊之前編碼的頻率轉換區塊。藉此,可刪減記憶體容量,其用以記憶有關非零係數的個數之簡單預測及非零係數的個數的資訊。
或者,周邊頻率轉換區塊亦可為距離目前頻率轉換區塊位於預定範圍內的頻率轉換區塊,且為面間預測或面內預測的編碼模式與目前頻率轉換區塊相同的頻率轉換區塊。藉此,編碼裝置100可按照推定非零係數的發生傾向與目前頻率轉換區塊類似的頻率轉換區塊,高精度地預測非零係數的個數。
又,目前基本區塊所含非零係數的個數,亦可從周邊頻率轉換區塊所含1以上之基本區塊中之1個基本區塊所含非零係數的個數來推定。該1個基本區塊是對於周邊頻率轉換區塊的相對位置,與對於目前頻率轉換區塊的目前基本區塊的相對位置相等的基本區塊。
藉此,編碼裝置100可按照周邊頻率轉換區塊之1以上的基本區塊中,推定非零係數的個數與目前基本區塊類似的基本區塊,來選擇轉換表。
或者,從周邊頻率轉換區塊所推定的個數,亦可從周邊頻率轉換區塊全體所含非零係數的個數來推定。藉此,可不受頻率轉換區塊的大小影響來整合資訊,因此可刪減記憶體容量,其用以記憶有關非零係數的個數之簡單預測及非零係數的個數的資訊。
又,例如如上述,會有先行基本區塊不存在於與目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比目前基本區塊的位置的頻率位準高的位準的情形。此時,電路160亦可按照從目前基本區塊的編碼模式為面間預測或面內預測,來選擇轉換表。
藉此,編碼裝置100可按照編碼模式為面間預測或面內預測,來選擇轉換表。推定非零係數的個數特性會依編碼模式而不同。因此,編碼裝置100可利用編碼模式,來使非零係數的個數特性反映在轉換表的選擇。故,編碼裝置100可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
又,上述情況,電路160亦可在編碼模式為面間預測時,選擇第1表,若編碼模式為面內預測時,選擇第2表。於此,第2表的複數個二值化值的最長位元長與最短位元長的差,小於第1表的複數個二值化值的最長位元長與最短位元長的差。
總言之,電路160亦可於編碼模式為面內預測時,選擇複數個二值化值的最長位元長與最短位元長的差小的表,來作為轉換表。藉此,編碼裝置100在由於編碼模式為面內預測,因此預測精度低,推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如如上述,會有先行基本區塊不存在於與目前基本區塊的位置的頻率位準相同的位準,且特定基本區塊不存在於比目前基本區塊的位置的頻率位準高的位準的情形。此時,電路160亦可按照目前基本區塊的編碼所用的量化參數,來選擇轉換表。
藉此,編碼裝置100可按照目前基本區塊的編碼所用的量化參數,來選擇轉換表。推定非零係數的個數特性會依量化參數而不同。因此,編碼裝置100可利用量化參數,使非零係數的個數特性反映在轉換表的選擇。故,編碼裝置100可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
又,上述情況,電路160亦可在量化參數為第1值時,選擇第1表,若量化參數為第2值時,選擇第2表。於此,第2值小於第1值。又,第2表的複數個二值化值的最長位元長與最短位元長的差,小於第1表的複數個二值化值的最長位元長與最短位元長的差。
總言之,電路160亦可在量化參數小時,選擇複數個二值化值的最長位元長與最短位元長的差小的表,來作為轉換表。藉此,編碼裝置100可於藉由量化參數為小,而推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,電路160亦可與第1編碼動作例相同,編碼圖像資訊,輸出圖像資訊已編碼的位元串。例如如圖28,電路160將圖像資訊二值化(S401)。然後,電路160切換是否對於圖像資訊已被二值化的二值化資料串適用算術編碼(S402)。
然後,對於二值化資料串要適用算術編碼時(S402,是),電路160對於二值化資料串適用算術編碼,輸出包含已適用算術編碼的二值化資料串的位元串(S403)。另,對於二值化資料串不要適用算術編碼時(S402,否),電路160不對於二值化資料串適用算術編碼,輸出包含未適用算術編碼的二值化資料串的位元串(S404)。
又,如圖29,電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為共通的二值化形式,來將圖像資訊中的其他資訊二值化(S411)。該其他資訊包含例如預測參數資訊的一部分或全部。
然後,電路160按照在對於二值化資料串適用算術編碼時、與對於二值化資料串不適用算術編碼時為不同的二值化形式,來將圖像資訊中的頻率轉換係數資訊二值化(S412)。
又,對於二值化資料串不適用算術編碼時,電路160按照從複數個表中,依目前基本區塊的位置所選擇的轉換表,來將頻率轉換係數資訊所含的資料值二值化。藉此,編碼裝置100可在不適用算術編碼時,利用從複數個表中,依目前基本區塊的位置所選擇的轉換表,來支援減少頻率轉換係數資訊的碼量。
再者,最長位元與最短位元的差在目前基本區塊的非零係數的個數越多時,會越對應於如下之二值化值的位元長變長的比率,該二值化值被賦予對應於表示目前基本區塊的非零係數的個數的資料值。因此,最長位元與最短位元的差在目前基本區塊的非零係數的個數越多時,亦可置換為如下之二值化值的位元長變長的比率,該二值化值被賦予對應於表示目前基本區塊的非零係數的個數的資料值。
例如該比率為0以上。於該比率為0的表,即使目前基本區塊的非零係數的個數變多,被與表示目前基本區塊的非零係數的個數的資料值賦予對應的二值化值的位元長不會增加。又,該比率在目前基本區塊的非零係數的個數越多時,亦可為如下之二值化值的位元長變長的平均比率,該二值化值被賦予對應於表示目前基本區塊的非零係數的個數的資料值。 [解碼裝置的實作例]
圖35是表示實施形態1之解碼裝置200的實作例之方塊圖。解碼裝置200具備電路260及記憶體262。例如圖10及圖12所示解碼裝置200的複數個構成要素,是藉由圖35所示之電路260及記憶體262來實作。
電路260是進行資訊處理的電路,為可於記憶體262進行存取的電路。例如電路260是解碼圖像資訊的通用或專用電子電路。電路260可為諸如CPU的處理器。又,電路260亦可為複數個電子電路的集合體。又,例如電路260亦可發揮圖10及圖12所示解碼裝置200的複數個構成要素中,除了用以記憶資訊的構成要素之外的複數個構成要素的作用。
記憶體262是記憶電路260用以解碼圖像資訊的資訊之通用或專用記憶體。記憶體262為電子電路或連接於電路260均可。又,記憶體262亦可為複數個電子電路的集合體。又,記憶體262亦可為磁碟片或光碟片等,或表現為儲存器或記錄媒體等。又,記憶體262為非揮發性記憶體或揮發性記憶體均可。
例如於記憶體262,記憶對應於已編碼之圖像資訊的位元串,或記憶對應於已解碼之位元串的圖像資訊均可。又,於記憶體262,亦可記憶電路260用以解碼圖像資訊的程式。
又,例如電路260亦可發揮圖10及圖12所示解碼裝置200的複數個構成要素中,用以記憶資訊的構成要素的作用。具體而言,記憶體262發揮圖10所示的區塊記憶體210及幀記憶體214的作用,或發揮圖12所示中間緩衝器240的作用均可。
再者,於解碼裝置200,未實作圖10及圖12等所示複數個構成要素的全部,或未進行上述複數種處理的全部均可。圖10及圖12等所示複數個構成要素的一部分,包含於其他裝置,或由其他裝置來執行上述複數種處理的一部分均可。
然後,於解碼裝置200,可實作圖10及圖12等所示複數個構成要素中的一部分,藉由進行上述複數種處理的一部分,可將頻率轉換係數資訊適當地解碼。 [解碼裝置的第1解碼動作例]
圖36是表示實施形態1之解碼裝置200的第1解碼動作例之流程圖。例如圖35所示之解碼裝置200的電路260藉由進行圖36所示的動作,來取得圖像資訊已編碼的位元串,解碼圖像資訊。
具體而言,首先,電路260取得包含二值化資料串的位元串,該二值化資料串為圖像資訊已被二值化的二值化資料串(S701)。例如圖像資訊包含關於圖像頻率成分的頻率轉換係數資訊,及關於圖像預測方法的預測參數資訊等。然後,電路260對於位元串所含的二值化資料串,切換是否適用算術解碼(S702)。
對於二值化資料串要適用算術解碼時(S702,是),電路260對於二值化資料串適用算術解碼,藉由將已適用算術解碼的二值化資料串予以反向二值化,來解碼圖像資訊(S703)。
對於二值化資料串不要適用算術解碼時(S702,否),電路260不對於二值化資料串適用算術解碼,將不適用算術編碼的二值化資料串,予以反向二值化,藉此解碼圖像資訊(S704)。
藉此,解碼裝置200可跳過算術解碼。因此,解碼裝置200可支援刪減因算術解碼而發生的處理延遲。
圖37是表示實施形態1之解碼裝置200的第1解碼動作例的反向二值化處理之流程圖。總言之,圖37是表示圖36的反向二值化處理(S703及S704)的具體例。
電路260按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為共通的反向二值化形式,來將與後述第1部分不同的第2部分,予以反向二值化(S711)。第2部分是二值化資料串中,與頻率轉換係數資訊不同的其他資訊已被二值化的部分。該其他資訊包含例如預測參數資訊的一部分或全部。
又,電路260按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為不同的反向二值化形式,來將第1部分予以反向二值化(S712)。第1部分是二值化資料串中,頻率轉換係數資訊已被二值化的部分。更具體而言,第1部分可為二值化資料串中,包含有頻率轉換係數資訊之資訊已被二值化的部分。
藉此,解碼裝置200可按照有無適用算術解碼,適當地將對應於會對全體碼量造成劇烈影響之頻率轉換係數資訊的第1部分,予以反向二值化。因此,解碼裝置200可適當解碼頻率轉換係數資訊,可抑制全體碼量的增加。
再者,其他資訊已被二值化的第2部分的反向二值化(S711)與頻率轉換係數資訊已被二值化的第1部分的反向二值化(S712)的處理順序亦可相反。
又,例如預測參數資訊包含:關於預測參數資訊所含編碼模式的資訊、關於畫面內預測的預測方向的資訊、關於畫面間預測的參考圖片的資訊、及關於畫面間預測的移動向量的資訊。
電路260對於預測參數資訊所含該等資訊已被二值化的第2部分,按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為共通的反向二值化形式,來施以反向二值化亦可。或者,電路260對於該等資訊中至少一個,按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為共通的反向二值化形式,來施以反向二值化亦可。
又,電路260亦可按照依有無適用算術解碼而不同的反向二值化形式,僅將二值化資料串中頻率轉換係數資訊已被二值化的第1部分,予以反向二值化。然後,電路260亦可不受有無適用算術解碼影響,按照共通的反向二值化形式,將二值化資料串中頻率轉換係數資訊已被二值化的第1部分除外的其他所有部分,予以反向二值化。
藉此,解碼裝置200可按照共通的反向二值化形式,將對應於頻率轉換係數資訊的第1部分除外的其他所有部分,予以反向二值化。因此,可簡化處理。
圖38是表示實施形態1之解碼裝置200的第1解碼動作例之對應於頻率轉換係數資訊的第1部分的反向二值化處理之流程圖。總言之,圖38表示圖37之對應於頻率轉換係數資訊的第1部分的反向二值化處理(S712)的具體例。
電路260在可對於二值化資料串適用算術解碼時(S721,是),以第1反向二值化形式,將頻率轉換係數資訊已被二值化的第1部分,予以反向二值化(S722)。然後,電路260在不可對於二值化資料串適用算術解碼時(S721,否),以第2反向二值化形式,將頻率轉換係數資訊已被二值化的第1部分,予以反向二值化(S723)。
然後,電路260在不可對於二值化資料串適用算術解碼時,相較於二值化資料串適用算術解碼時,以產生位元數較少的形式,來將頻率轉換係數資訊已被二值化的第1部分,予以反向二值化。藉此,解碼裝置200在不適用算術解碼時,可支援減少頻率轉換係數資訊的碼量。 [編碼裝置的第2編碼動作例]
圖39是表示實施形態1之解碼裝置200的第2解碼動作例之流程圖。例如圖35所示之解碼裝置200的電路260藉由進行圖39所示的動作,來解碼圖像資訊。
具體而言,電路260將表示特定基本區塊的位置的位置資訊予以解碼(S801)。特定基本區塊是對於構成具有複數個頻率轉換係數的頻率轉換區塊之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序下,最初具有非零係數作為頻率轉換係數的基本區塊。
然後,電路260僅針對構成頻率轉換區塊之1以上的基本區塊中,於預定掃描順序中為特定基本區塊以後的各基本區塊,將表示構成基本區塊的複數個頻率轉換係數的區塊資訊予以解碼(S802)。
藉此,解碼裝置200可解碼位置資訊及區塊資訊,來作為頻率轉換係數資訊。然後,由於解碼裝置200針對於預定掃描順序中為特定基本區塊以後的各基本區塊,來解碼區塊資訊,因此可支援減少頻率轉換係數資訊的碼量。
再者,電路260亦可僅於構成頻率轉換區塊之1以上的基本區塊個數為2以上時,解碼位置資訊。藉此,解碼裝置200可在例如頻率轉換區塊的大小與各基本區塊的大小相同時,支援進一步減少頻率轉換係數資訊的碼量。
又,電路260亦可僅於特定基本區塊存在於頻率轉換區塊時,編碼位置資訊及區塊資訊。藉此,解碼裝置200可在例如頻率轉換區塊不包含非零係數時,支援進一步減少頻率轉換係數資訊的碼量。
又,電路260亦可與第1解碼動作例相同,取得圖像資訊已被編碼的位元串,解碼圖像資訊。例如,如圖36,電路260取得包含圖像資訊已被二值化的二值化資料串的位元串(S701)。然後,電路260對於位元串所含的二值化資料串,切換是否適用算術解碼(S702)。
然後,對於二值化資料串要適用算術解碼時(S702,是),電路260對於二值化資料串適用算術解碼,將已適用算術解碼的二值化資料串,予以反向二值化,藉此解碼圖像資訊(S703)。另一方面,對於二值化資料串不要適用算術解碼時(S702,否),電路260不對於二值化資料串適用算術解碼,而藉由將不適用算術解碼的二值化資料串予以反向二值化,來解碼圖像資訊(S704)。
又,如圖37,電路260按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為共通的反向二值化形式,來將第2部分予以反向二值化(S711)。第2部分為二值化資料串中,其他資訊已被二值化的部分。該其他資訊包含例如預測參數資訊的一部分或全部。
然後,電路260按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為不同的反向二值化形式,來將第1部分予以反向二值化(S712)。第1部分為二值化資料串中,頻率轉換係數資訊已被二值化的部分。
又,對於二值化資料串不適用算術解碼時,電路260藉由將包含位置資訊及區塊資訊之頻率轉換係數資訊已被二值化的第1部分,予以反向二值化,來解碼位置資訊及區塊資訊。於此,被解碼的區塊資訊是預定掃描順序中為特定基本區塊以後的區塊資訊。藉此,解碼裝置200在未適用算術解碼時,可支援減少頻率轉換係數資訊的碼量。 [解碼裝置的第3解碼動作例]
圖40是表示實施形態1之解碼裝置200的第3解碼動作例之流程圖。例如圖35所示之解碼裝置200的電路260藉由進行圖40所示的動作,來解碼圖像資訊。
具體而言,電路260按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化。然後,電路260解碼包含資料值的圖像資訊(S901)。於此,目前基本區塊是構成具有複數個頻率轉換係數的頻率轉換區塊之1以上的基本區塊之一。
藉此,解碼裝置200可適當地解碼有意義的資訊,該資訊用於有效率地表現構成基本區塊的複數個頻率轉換係數。
圖41是表示實施形態1之解碼裝置200的第3解碼動作例的反向二值化處理之流程圖。總言之,圖41表示圖40的反向二值化處理的具體例。
電路260從包含第1表及第2表的複數個表中,選擇轉換表,其中前述第1表包含表示0作為非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為非零係數的個數的資料值的對應關係(S911)。然後,電路260按照選擇的轉換表,將資料值反向二值化(S912)。
藉此,解碼裝置200可利用資訊量經刪減的表,來作為反向二值化用的轉換表。因此,解碼裝置200可支援減少頻率轉換係數資訊的碼量。
電路260亦可僅針對構成頻率轉換區塊之1以上的基本區塊中,於預定掃描順序下為特定基本區塊以後的各基本區塊,將表示基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化。總言之,電路260亦可將表示預定掃描順序中為特定基本區塊以後的各基本區塊的非零係數的個數之資料值予以二值化而得的二值化值,作為表示目前基本區塊的非零係數的個數之資料值已被二值化的二值化值,來予以反向二值化。
藉此,解碼裝置200可支援進一步減少頻率轉換係數資訊的碼量。再者,特定基本區塊是對於構成頻率轉換區塊之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序中,最初具有非零係數作為頻率轉換係數的基本區塊。
又,電路260亦可僅於構成頻率轉換區塊之1以上的基本區塊,存在有特定基本區塊時,將表示目前基本區塊的非零係數的個數之資料值已被二值化的二值化值,予以反向二值化。然後,電路260在頻率轉換區塊與目前基本區塊相同時,選擇不包含表示0作為非零係數的個數的資料值之對應關係的第2表,來作為轉換表。
藉此,解碼裝置200可在例如頻率轉換區塊的大小與各基本區塊的大小相同時,利用不包含0個非零係數的對應關係的第2表,來支援減少頻率轉換係數資訊的碼量。
又,電路260亦可於目前基本區塊為特定基本區塊時,選擇不包含表示0作為非零係數的個數的資料值之對應關係的第2表,來作為轉換表。
藉此,解碼裝置200可於例如目前基本區塊為特定基本區塊時,利用不包含0個非零係數的對應關係的第2表,來支援減少頻率轉換係數資訊的碼量。
又,電路260亦可與第1解碼動作例相同,取得圖像資訊已被編碼的位元串,解碼圖像資訊。例如,如圖36,電路260取得包含圖像資訊已被二值化的二值化資料串的位元串(S701)。然後,電路260對於位元串所含的二值化資料串,切換是否適用算術解碼(S702)。
然後,對於二值化資料串要適用算術解碼時(S702,是),電路260對於二值化資料串適用算術解碼,將已適用算術解碼的二值化資料串的位元串,予以反向二值化,藉此解碼圖像資訊(S703)。另一方面,對於二值化資料串不要適用算術解碼時(S702,否),電路260不對於二值化資料串適用算術解碼,將不適用算術解碼的二值化資料串予以反向二值化,藉此解碼圖像資訊(S704)。
又,如圖37,電路260按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為共通的反向二值化形式,來將第2部分予以反向二值化(S711)。第2部分為二值化資料串中,其他資訊已被二值化的部分。該其他資訊包含例如預測參數資訊的一部分或全部。
然後,電路260按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為不同的反向二值化形式,來將第1部分予以反向二值化(S712)。第1部分為二值化資料串中,頻率轉換係數資訊已被二值化的部分。
又,對於二值化資料串不適用算術解碼時,電路260按照從包含第1表及第2表的複數個表中選擇的轉換表,來將頻率轉換係數資訊已被二值化的第1部分所含的二值化值,予以反向二值化。於此,第1表包含表示0作為非零係數的個數的資料值的對應關係,第2表不包含表示0作為非零係數的個數的資料值的對應關係。
藉此,解碼裝置200可於不適用算術解碼時,利用從包含第2表之複數個表中選擇出的轉換表,支援減少頻率轉換係數資訊的碼量,其中該第2表不包含0個非零係數的對應關係。 [解碼裝置的第4解碼動作例]
於第4解碼動作例,與圖40所示之第3解碼動作例相同,將表示非零係數的個數的資料值予以反向二值化。具體而言,電路260按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數之資料值已被二值化的二值化值,予以反向二值化,解碼包含資料值的圖像資訊(S901)。
圖42是表示實施形態1之解碼裝置200的第4解碼動作例的反向二值化處理之流程圖。總言之,圖42表示圖40之反向二值化處理的具體例。
電路260按照目前頻率轉換區塊的目前基本區塊的位置,從複數個表中選擇轉換表(S961)。目前頻率轉換區塊是包含目前基本區塊的頻率轉換區塊。複數個表包含與複數個資料值相對應的複數個二值化值的最長位元長與最短位元長的差互異之2以上的表。然後,電路260按照選擇出的轉換表,將二值化值予以反向二值化(S962)。
藉此,解碼裝置200可按照目前基本區塊的位置,來選擇用以將表示非零係數的個數的資料值的二值化值,予以反向二值化的轉換表。非零係數的個數特性會依目前基本區塊的位置而不同。因此,解碼裝置200可利用目前基本區塊的位置,使非零係數的個數特性反映在轉換表的選擇上。
故,解碼裝置200可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
電路260亦可按照目前基本區塊的位置,先行基本區塊若與目前基本區塊的位置的頻率位準,存在於相同位準時,按照先行基本區塊所含非零係數的個數,來選擇轉換表。
於此,先行基本區塊是對於構成目前頻率轉換區塊之1以上的基本區塊,依頻率高到低的順序來規定的預定掃描順序下,比目前基本區塊要前面的基本區塊。又,目前基本區塊的位置的頻率位準,是對應於目前基本區塊的位置的頻率位準。
藉此,解碼裝置200可按照非零係數的個數被推定與目前基本區塊類似的先行基本區塊的非零係數的個數,來選擇轉換表。
又,電路260亦可在先行基本區塊存在於與目前基本區塊的位置的頻率位準相同的位準,且先行基本區塊所含非零係數的個數為第1個數時,選擇第1表來作為轉換表。然後,電路260亦可在先行基本區塊存在於與目前基本區塊的位置的頻率位準相同的位準,且先行基本區塊所含非零係數的個數為第2個數時,選擇第2表來作為轉換表。
於此,第2個數比第1個數多。又,第2表的複數個二值化值的最長位元長與最短位元長的差,小於第1表的複數個二值化值的最長位元長與最短位元長的差。總言之,電路260亦可於先行基本區塊所含非零係數的個數多時,選擇複數個二值化值的最長位元長與最短位元長的差小的表來作為轉換表。
藉此,解碼裝置200可於按照先行基本區塊的非零係數的個數,而推定出目前基本區塊的非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,例如先行基本區塊可能與目前基本區塊的位置的頻率位準不存在於相同的位準,且特定基本區塊存在於比目前基本區塊的位置的頻率位準要高的位準。於此,特定基本區塊是預定掃描順序中最初包含非零係數的基本區塊。此時,電路260從複數個表中,選擇最長位元長與最短位元長的差小於預定差的表,來作為轉換表。
藉此,解碼裝置200可在按照目前基本區塊及特定基本區塊的關係而推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。預定差不限於固定值,亦可相對地決定,例如於複數表中,位元長差距第2小的表的最長位元長與最短位元長的差。
具體而言,於上述情況,電路260亦可從複數個表中,選擇最長位元長與最短位元長的差為最小的表,來作為轉換表。藉此,解碼裝置200可於按照目前基本區塊及特定基本區塊的關係而推定出非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援進一步抑制碼量的增加。
又,例如先行基本區塊可能與目前基本區塊的位置的頻率位準不存在於相同的位準,且特定基本區塊不存在於比目前基本區塊的位置的頻率位準要高的位準。此時,電路260亦可按照從周邊頻率轉換區塊推定作為非零係數個數的個數,來選擇轉換表,其中該周邊頻率轉換區塊為目前頻率轉換區塊周邊的頻率轉換區塊。
藉此,解碼裝置200可利用非零係數的個數被推定與目前基本區塊類似的周邊頻率轉換區塊,來選擇轉換表。
又,上述情況,電路260亦可從周邊頻率轉換區塊推定的個數若為第1個數時,則選擇第1表,從周邊頻率轉換區塊推定的個數若為第2個數時,則選擇第2表。於此,第2個數比第1個數多。又,第2表的複數個二值化值的最長位元長與最短位元長的差,小於第1表的複數個二值化值的最長位元長與最短位元長的差。
總言之,電路260亦可在從周邊頻率轉換區塊所推定的個數多時,選擇複數個二值化值的最長位元長與最短位元長的差小的表,來作為轉換表。藉此,解碼裝置200可於按照周邊頻率轉換區塊推定目前基本區塊的非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,周邊頻率轉換區塊亦可為鄰接於目前頻率轉換區塊左或上之頻率轉換區塊。藉此,解碼裝置200可按照接近目前頻率轉換區塊的頻率轉換區塊所含非零係數的個數,高精度地預測非零係數的個數。
或者,周邊頻率轉換區塊亦可為緊接於目前頻率轉換區塊之前之已解碼的頻率轉換區塊。藉此,可刪減用以記憶有關非零係數的個數之簡單預測、及非零係數的個數的資訊的記憶體容量。
或者,周邊頻率轉換區塊亦可為從目前頻率轉換區塊位於預定範圍內的頻率轉換區塊,且面間預測或面內預測的編碼模式與目前頻率轉換區塊相同的頻率轉換區塊。藉此,解碼裝置200可按照推定非零係數的發生傾向與目前頻率轉換區塊類似的頻率轉換區塊,高精度地預測非零係數的個數。
又,目前基本區塊所含非零係數的個數,亦可從周邊頻率轉換區塊所含1以上之基本區塊中之1個基本區塊所含非零係數的個數來推定。該1個基本區塊是對於周邊頻率轉換區塊的相對位置,與對於目前頻率轉換區塊的目前基本區塊的相對位置相等的基本區塊。
藉此,解碼裝置200可按照周邊頻率轉換區塊之1以上的基本區塊中,推定非零係數的個數與目前基本區塊類似的基本區塊,來選擇轉換表。
或者,從周邊頻率轉換區塊所推定的個數,亦可從周邊頻率轉換區塊全體所含非零係數的個數來推定。藉此,可不受頻率轉換區塊的大小影響來整合資訊,因此可刪減用以記憶有關非零係數的個數之簡單預測及非零係數的個數的資訊之記憶體容量。
又,例如如上述,先行基本區塊可能與目前基本區塊的位置的頻率位準不存在於相同的位準,且特定基本區塊不存在於比目前基本區塊的位置的頻率位準要高的位準。此時,電路260亦可按照從目前基本區塊的編碼模式為面間預測或面內預測,來選擇轉換表。
藉此,解碼裝置200可按照面間預測或面內預測的編碼模式,來選擇轉換表。非零係數的個數特性會依編碼模式而推定為不同。因此,解碼裝置200可利用編碼模式,來使非零係數的個數特性反映在轉換表的選擇上。故,解碼裝置200可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
又,上述情況,電路260亦可在若編碼模式為面間預測時,則選擇第1表,若編碼模式為面內預測時,則選擇第2表。於此,第2表的複數個二值化值的最長位元長與最短位元長的差,小於第1表的複數個二值化值的最長位元長與最短位元長的差。
總言之,電路260亦可於編碼模式為面內預測時,選擇複數個二值化值的最長位元長與最短位元長的差小的表,來作為轉換表。藉此,解碼裝置200由於編碼模式為面內預測,因此預測精度低,推定非零係數的個數為多時,選擇位元長差距小的表來作為轉換表,可支援抑制碼量的增加。
又,例如如上述,先行基本區塊可能與目前基本區塊的位置的頻率位準,不存在於相同的位準,且特定基本區塊不存在於比目前基本區塊的位置的頻率位準要高的位準。此時,電路260亦可按照目前基本區塊的解碼所用的量化參數,來選擇轉換表。
藉此,解碼裝置200可按照目前基本區塊的解碼所用的量化參數,來選擇轉換表。推定非零係數的個數特性會依量化參數而不同。因此,解碼裝置200可利用量化參數,使非零係數的個數特性反映在轉換表的選擇上。故,解碼裝置200可適當選擇轉換表,可支援減少頻率轉換係數資訊的碼量。
又,上述情況,電路260亦可在量化參數為第1值時,則選擇第1表,若量化參數為第2值時,則選擇第2表。於此,第2值小於第1值。又,第2表的複數個二值化值的最長位元長與最短位元長的差,小於第1表的複數個二值化值的最長位元長與最短位元長的差。
總言之,電路260亦可在量化參數小時,選擇複數個二值化值的最長位元長與最短位元長的差小的表,來作為轉換表。藉此,解碼裝置200可在因量化參數小而推定非零係數的個數多時,選擇位元長差距小的表來作為轉換表,支援抑制碼量的增加。
又,電路260亦可與第1解碼動作例相同,取得圖像資訊已被編碼的位元串,解碼圖像資訊。例如如圖36,電路260取得包含圖像資訊已被二值化的二值化資料串的位元串(S701)。然後,電路260對於位元串所含的二值化資料串,切換是否適用算術解碼(S702)。
然後,對於二值化資料串要適用算術解碼時(S702,是),電路260對於二值化資料串適用算術解碼,將已適用算術解碼的二值化資料串的位元串,予以反向二值化,藉此解碼圖像資訊(S703)。另一方面,對於二值化資料串不要適用算術解碼時(S702,否),電路260不對於二值化資料串適用算術解碼,而將不適用算術解碼的二值化資料串予以反向二值化,藉此解碼圖像資訊(S704)。
又,如圖37,電路260按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為共通的反向二值化形式,來將第2部分予以反向二值化(S711)。第2部分為二值化資料串中,其他資訊已被二值化的部分。該其他資訊包含例如預測參數資訊的一部分或全部。
然後,電路260按照在對於二值化資料串適用算術解碼時、與對於二值化資料串不適用算術解碼時為不同的反向二值化形式,來將第1部分予以反向二值化(S712)。第1部分為二值化資料串中,頻率轉換係數資訊已被二值化的部分。
又,對於二值化資料串不適用算術解碼時,電路260按照從複數個表中,依目前基本區塊的位置所選擇出的轉換表,來將頻率轉換係數資訊已被二值化的第1部分所含的二值化值,予以反向二值化。藉此,解碼裝置200可在不適用算術解碼時,利用從複數個表中,依目前基本區塊的位置所選擇出的轉換表,來支援減少頻率轉換係數資訊的碼量。
再者,最長位元與最短位元的差在目前基本區塊的非零係數的個數越多時,會越對應於如下之二值化值的位元長變長的比率,該二值化值被賦予對應於表示目前基本區塊的非零係數的個數的資料值。因此,最長位元與最短位元的差在目前基本區塊的非零係數的個數越多時,亦可置換為如下之二值化值的位元長變長的比率,該二值化值被賦予對應於表示目前基本區塊的非零係數的個數的資料值。
例如該比率為0以上。於該比率為0的表,即使目前基本區塊的非零係數的個數變多,被與表示目前基本區塊的非零係數的個數的資料值賦予對應的二值化值的位元長不會增加。又,該比率在目前基本區塊的非零係數的個數越多時,亦可為如下之二值化值的位元長變長的平均比率,該二值化值被賦予對應於表示目前基本區塊的非零係數的個數的資料值。 [補充]
本實施例的編碼裝置100及解碼裝置200可分別利用作為圖像編碼裝置及圖像解碼裝置。或者,編碼裝置100及解碼裝置200可分別利用作為熵編碼裝置及熵解碼裝置。亦即,編碼裝置100及解碼裝置200亦可分別僅對應於熵編碼部110及熵解碼部202。
又,於本實施例,各構成要素亦可由專用的硬體來構成,或藉由執行適於各構成要素的軟體程式來實現。各構成要素亦可由CPU或處理器等之程式執行部,讀出並執行記錄在硬碟或半導體記憶體等記錄媒體的軟體程式來實現。
具體而言,編碼裝置100及解碼裝置200亦可分別具備:處理電路(Processing Circuitry);及記憶裝置(Storage),其電連接於該處理電路,可從該處理電路進行存取。例如處理電路對應於電路160或260,記憶裝置對應於記憶體162或262。
處理電路包含專用的硬體及程式執行部的至少一方,利用記憶裝置來執行處理。又,在處理電路包含程式執行部時,記憶裝置記憶由該程式執行部所執行的軟體程式。
於此,實現本實施形態的編碼裝置100及解碼裝置200等之軟體是如下程式。
亦即,該程式令電腦執行一種編碼方法,其編碼圖像資訊,輸出前述圖像資訊已被編碼的位元串;將前述圖像資訊二值化,對於前述圖像資訊已被二值化的二值化資料串切換是否適用算術編碼;對於前述二值化資料串要適用算術編碼時,對於前述二值化資料串適用算術編碼,輸出包含已適用算術編碼的前述二值化資料串的前述位元串;對於前述二值化資料串不要適用算術編碼時,不對於前述二值化資料串適用算術編碼,而輸出包含不適用算術編碼的前述二值化資料串的前述位元串;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為不同的二值化形式,來將前述圖像資訊中有關圖像頻率成分的頻率轉換係數資訊二值化;於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來將前述圖像資訊中有關圖像預測方法的預測參數資訊的一部分或全部二值化。
或者,該程式令電腦執行一種解碼方法,其取得圖像資訊已被編碼的位元串,解碼前述圖像資訊;取得包含前述圖像資訊已被二值化的二值化資料串的前述位元串;對於前述位元串所含之前述二值化資料串切換是否適用算術解碼;對於前述二值化資料串要適用算術解碼時,對於前述二值化資料串適用算術解碼,將包含已適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;對於前述二值化資料串不要適用算術解碼時,不對於前述二值化資料串適用算術解碼,而將不適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為不同的反向二值化形式,來將前述二值化資料串中有關圖像頻率成分的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化;於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來將前述二值化資料串中有關圖像預測方法的預測參數資訊的一部分或全部已被二值化的第2部分,予以反向二值化。
或者,該程式令電腦執行一種編碼方法,其編碼圖像資訊,且將表示特定基本區塊之位置的位置資訊予以編碼,其中前述特定基本區塊是對於由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序下最初包含非零係數的基本區塊;僅針對前述1以上的基本區塊中,於前述預定掃描順序中為前述特定基本區塊以後的各基本區塊,將表示構成該基本區塊的複數個頻率轉換係數的區塊資訊予以編碼。
或者,該程式令電腦執行一種解碼方法,其解碼圖像資訊,且將表示特定基本區塊的位置的位置資訊予以解碼,其中前述特定基本區塊是對於由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊,於依頻率高到低的順序來規定的預定掃描順序下最初包含非零係數的基本區塊;僅針對前述1以上的基本區塊中,於前述預定掃描順序中為前述特定基本區塊以後的各基本區塊,將表示構成該基本區塊的複數個頻率轉換係數的區塊資訊予以解碼。
或者,該程式令電腦執行一種編碼方法,其編碼圖像資訊,且按照複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述資料值的二值化中,從包含第1表及第2表的複數個表中,選擇前述轉換表,按照選擇出的前述轉換表,將前述資料值二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
或者,該程式令電腦執行一種解碼方法,其解碼圖像資訊,且按照使複數個資料值與複數個二值化值相對應的轉換表,將資料值已被二值化的二值化值予以反向二值化,解碼包含前述資料值的前述圖像資訊,其中前述資料值表示目前基本區塊所含非零係數的個數,而該目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述二值化值的反向二值化中,從包含第1表及第2表的複數個表中,選擇前述轉換表,按照選擇出的前述轉換表,將前述二值化值予以反向二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
或者,該程式令電腦執行一種編碼方法,其編碼圖像資訊,且按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述資料值的二值化中,按照包含前述目前基本區塊的前述頻率轉換區塊,即目前頻率轉換區塊中之前述目前基本區塊的位置,從複數個表中選擇前述轉換表,按照選擇的前述轉換表,將前述資料值二值化,其中前述複數個表包含與複數個資料值相對應的複數個二值化值的最長位元長與最短位元長的差互異之2以上的表。
或者,該程式令電腦執行一種解碼方法,其解碼圖像資訊,且按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,解碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一;於前述二值化值的反向二值化中,按照包含前述目前基本區塊的前述頻率轉換區塊,即目前頻率轉換區塊中之前述目前基本區塊的位置,從複數個表中選擇前述轉換表,按照選擇的前述轉換表,將前述二值化值予以反向二值化,其中前述複數個表包含與複數個資料值相對應的複數個二值化值的最長位元長與最短位元長的差互異之2以上的表。
又,如上述,各構成要素亦可為電路。該等電路作為全體構成1個電路,或各自為不同電路均可。又,各構成要素以通用處理器來實現,或以專用處理器來實現均可。
又,其他構成要素來執行特定構成要素所執行的處理亦可。又,變更執行處理的順序,或複數種處理並行進行均可。又,編碼解碼裝置亦可具備編碼裝置100及解碼裝置200。
說明所採用的第1及第2等序數,亦可適當替換。又,對於構成要素等,重新賦予或刪除序數均可。
以上根據實施形態,說明了一種或複數種態樣之編碼裝置100及解碼裝置200,但本發明不限定於該實施形態。只要不脫離本發明之旨趣,熟悉該技藝人士所想到的各種變形施行於本實施形態、或組合不同實施形態之構成要素予以建構的形態,亦可包含於一種或複數種態樣的範圍內。 (實施形態2)
於以上各實施形態,各個功能方塊一般可藉由MPU及記憶體等來實現。又,各個功能方塊的處理一般藉由處理器等之程式執行部,讀出並執行記錄於ROM等記錄媒體的軟體(程式)來實現。該軟體藉由下載等來分發,或記錄於半導體記憶體等記錄媒體來分發均可。再者,當然亦可藉由硬體(專用電路)來實現各功能方塊。
又,於各實施形態所說明的處理藉由利用單一裝置(系統)集中處理,或利用複數個裝置分散處理來實現均可。又,執行上述程式的處理器為單一數目或複數個均可。亦即,集中處理或分散處理均可。
本發明不限定於以上實施形態,可予以各種變更,該等變更亦包含於本發明的範圍內。
進一步在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例、與利用其之系統。該系統的特徵在於具有利用圖像編碼方法的圖像編碼裝置、利用圖像解碼方法的圖像解碼裝置、及具備雙方的圖像編碼解碼裝置。關於系統的其他構成,可因應情況適當地變更。 [使用例]
圖43是表示實現內容遞送服務之內容供給系統ex100的全體構成圖。將通訊服務之提供區分割為所需大小,於各細胞(cell)內分別設置固定無線台即基地局ex106、ex107、ex108、ex109、ex110。
於該內容供給系統ex100,經由網際網路服務提供者ex102或通訊網ex104、及基地局ex106~ex110,將電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器,連接於網際網路ex101。該內容供給系統ex100亦可組合上述任一要素而連接。不經由固定無線台即基地局ex106~ex110,各機器經由電話網或近距離無線等而直接或間接地相互連接亦可。又,串流化伺服器ex103經由網際網路ex101等來與電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器連接。又,串流化伺服器ex103經由衛星ex116來與飛機ex117內的熱點內的終端裝置等連接。
再者,亦可利用無線存取點或熱點等,來取代基地局ex106~ex110。又,串流化伺服器ex103不經由網際網路ex101或網際網路服務提供者ex102而直接與通訊網ex104連接,或不經由衛星ex116而直接與飛機ex117連接均可。
攝影機ex113是數位攝影機等可拍攝靜止圖及動態圖的機器。又,智慧型手機ex115是一般支援2G、3G、3.9G、4G,以及今後稱為5G的移動通訊系統方式的智慧型機、行動電話或PHS(Personal Handyphone System(個人手持電話系統))等。
家電ex118為冰箱或家庭用燃料電池汽電共生系統所含的機器等。
於內容供給系統ex100,具有攝影功能的終端裝置藉由透過基地局ex106等,連接於串流化伺服器ex103,可實現實況遞送等。於實況遞送,終端裝置(電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端裝置等)對於使用者利用該終端裝置所拍攝的靜止圖或動態圖內容,進行上述各實施形態所說明的編碼處理,將藉由編碼所獲得的影像資料、及將對應於影像的聲音予以編碼的聲音資料,予以多工,將獲得的資料傳送至串流化伺服器ex103。亦即,各終端裝置作為本發明一態樣的圖像編碼裝置而發揮功能。
另,串流化伺服器ex103將對於有需求的客戶所傳送之內容資料,進行串流遞送。客戶是指可將上述經編碼處理的資料解碼的電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端裝置等。接收到遞送資料的各機器將接收到的資料予以解碼處理並重現。亦即,各機器作為本發明一態樣的圖像解碼裝置而發揮功能。 [分散處理]
又,串流化伺服器ex103亦可為複數台伺服器或複數台電腦,分散處理、記錄或遞送資料。例如串流化伺服器ex103亦可藉由CDN(Contents Delivery Network(內容遞送網路))來實現,藉由連結分散在全世界的許多邊緣伺服器與邊緣伺服器間的網路,來實現內容遞送。於CDN,因應客戶而動態地分派物理上接近的邊緣伺服器。然後,藉由對該邊緣伺服器快取及遞送內容,可減少延遲。又,由於在發生某種錯誤時,或通訊狀態因流量增加等而改變時,以複數台邊緣伺服器分散處理,或將遞送主體切換為其他邊緣伺服器,可繞過發生障礙的網路部分來繼續遞送,因此可實現高速且穩定的遞送。
又,不僅止於遞送本身的分散處理,拍攝資料的編碼處理在各終端裝置或於伺服器側進行均可,或亦可互相分擔進行。作為一例,編碼處理一般進行2次處理迴路。於第1次迴路,檢出幀或場景單位的畫面複雜度或碼量。又,於第2次迴路,進行維持畫質或使編碼效率提升的處理。例如終端裝置進行第1次的編碼裝置,收到內容的伺服器側進行第2次編碼處理,藉此可減少各終端裝置的處理負載,並可使內容的品質及效率提升。此時,若要求幾乎即時接收並解碼時,可將終端裝置進行的第1次編碼完成的資料,在其他終端裝置接收並重現,因此可實現更靈活的即時通訊。
作為其他例,攝影機ex113等從圖像進行特徵量擷取,將有關特徵量的資料作為元資料進行壓縮,傳送至伺服器。伺服器因應圖像的意義來進行壓縮,例如從特徵量,判斷物件的重要性而切換量化精度等。特徵量資料尤其對於在伺服器再度壓縮時,提升移動向量預測的精度及效率有效。又,於終端裝置進行VLC(可變長度編碼)等之簡易編碼,於伺服器進行CABAC(上下文適應型二值算術編碼方式)等處理負載大的編碼亦可。
進而言之,作為其他例,於體育館、購物中心或工廠等,有時存在藉由複數個終端裝置,拍攝大致同一場景的複數個影像資料。此時,利用進行攝影的複數個終端裝置、與因應需要未拍攝的其他終端裝置及伺服器,以例如GOP(Group of Picture(圖片群組))單位、圖片單位或圖片經分割的方塊單位等,分別分派編碼處理來分散處理。藉此可減少延遲,更實現即時性。
又,由於複數個影像資料大致為同一場景,因此以伺服器管理及/或指示互相參考各終端裝置拍攝的影像資料亦可。或者,伺服器接收來自各終端裝置的編碼完畢資料,於複數個資料間變更參考關係,或修正或更換圖片本身,再予以重新編碼亦可。藉此,可生成提高每一個資料的品質及效率的串流。
又,伺服器亦可進行變更影像資料編碼方式的轉碼後,再遞送影像資料。例如伺服器將MPEG系統的編碼方式,轉換為VP系統,或將H.264轉換為H.265均可。
如此,編碼處理可藉由終端裝置或1以上的伺服器來進行。故,以下作為進行處理的主體,雖採用「伺服器」或「終端」等記載,但由伺服器進行的處理的一部分或全部,亦可由終端裝置來進行,或由終端裝置進行的處理的一部分或全部,亦可由伺服器來進行。又,關於該等,就解碼處理而言亦同理。 [3D、多角度]
近年來,越來越多將由彼此大致同步的複數個攝影機ex113及/或智慧型手機ex115等終端裝置所拍攝的不同場景、或從不同角度拍攝同一場景的圖像或影像予以整合利用。各終端裝置所拍攝的影像根據另外取得的終端裝置間的相對位置關係、或影像所含特徵點一致的區域等來整合。
伺服器不僅編碼二維的動態圖像,亦可根據動態圖像的場景分析等,自動或於使用者所指定的時刻,編碼靜止圖,並傳送至接收終端裝置。伺服器進一步在可取得攝影終端裝置間的相對位置關係時,不僅根據二維的動態圖像,亦可根據從不同角度拍攝同一場景的影像,來生成該場景的三維形狀。再者,伺服器另外編碼點雲(point cloud)等所生成的三維資料,或利用三維資料來辨識人物或物件,或者根據追蹤的結果,從複數個終端裝置拍攝的影像,選擇或重構要傳送至接收終端裝置的影像均可。
如此,使用者可任意選擇對應於各攝影終端裝置的各影像,欣賞場景,亦可欣賞從利用複數個圖像或影像重構的三維資料,切出任意視點的影像的內容。進而言之,與影像相同,聲音亦可從複數個不同角度來收音,伺服器配合影像,將來自特定角度或空間的聲音,與影像進行多工並傳送。
又,近年來Virtual Reality(虛擬實境)(VR)及Augmented Reality(擴增實境)(AR)等使現實世界與虛擬世界相對應的內容亦日益普及。VR圖像時,伺服器分別製作右眼用及左眼用的視點圖像,藉由Multi-View Coding(多視角編碼)(MVC)等,進行各視點影像間容許參考的編碼,或互相不參考而作為不同的串流來編碼均可。於不同的串流解碼時,因應使用者的視點,使其互相同步重現,以再現虛擬的三維空間即可。
AR圖像時,伺服器對現實空間的攝影機資訊,根據三維位置或使用者的視點移動,來重疊虛擬空間上的虛擬物體資訊。解碼裝置亦可取得或保持虛擬物體資訊及三維資料,因應使用者的視點移動,來生成二維圖像,平滑地接合以製作重疊資料。或者,解碼裝置除了傳送虛擬物體資訊的請求以外,還將使用者的視點移動傳送至伺服器,伺服器配合從保持於伺服器的三維資料所接收的視點移動,製作重疊資料,編碼重疊資料並遞送至解碼裝置亦可。再者,重疊資料除了RGB以外,還具有表示穿透度的a值,伺服器亦可於從三維資料製作的物件以外部分的a值設定為0等,在該部分會穿透的狀態下編碼。又或者,伺服器亦可如色度鍵,於背景設定預定值的RGB值,物件以外的部分設為背景色而生成資料。
同樣地,遞送資料的解碼處理在作為客戶的各終端裝置或於伺服器側進行均可,或亦可互相分擔進行。作為一例,某終端裝置亦可一旦對伺服器傳送接收要求,於其他終端裝置接收因應該要求的內容,進行解碼處理,對具有顯示器的裝置傳送解碼完畢的訊號。不受可通訊的終端裝置本身的性能影響,將處理分散,選擇適當的內容,藉此可重現畫質良好的資料。又,作為其他例,亦可於TV等接收大尺寸的圖像資料,並於觀賞者的個人終端裝置,解碼圖片經分割的方塊等一部分區域而顯示。藉此,可共有全體圖像,並可在手邊確認自身的負責領域或欲更詳細確認的區域。
又,今後預料在不受屋內外的影響,可使用複數種近距離、中距離或長距離的無線通訊的狀況下,利用MPEG-DASH等遞送系統規格,對於連接中的通訊一面切換適當的資料,一面無縫地接收內容。藉此,使用者不侷限於自身的終端裝置,可自由地選擇設置於屋內外的顯示器等之解碼裝置或顯示裝置,一面即時地切換。又,可根據自身的位置資訊等,一面切換解碼的終端裝置及顯示的終端裝置,一面解碼。藉此,亦可於往目的地移動中,一面使嵌入可顯示器件的相鄰建築物的壁面或地面的一部分,顯示地圖資訊,一面移動。又,亦可根據在網路上對編碼資料的存取容易度,諸如編碼資料於可從接收終端裝置短時間存取的伺服器進行快取,或複製於內容遞送服務的邊緣伺服器等,來切換接收資料的位元率。 [可適性編碼]
關於內容切換,利用圖44所示,應用上述各實施形態所示動態圖像編碼方法所壓縮編碼的可適性串流的特徵來說明。伺服器具有複數種內容相同、質不同的串流作為個別串流亦無妨,但亦可如圖示,活用藉由分層進行編碼所實現的時間性/空間性可適性串流的特徵,來切換內容之構成亦可。總言之,解碼側因應性能之內在要因與通訊頻帶狀態等外在要因,來決定解碼所至之層,藉此解碼側可自由切換低解像度的內容與高解像度的內容而解碼。例如移動中以智慧型手機ex115視聽的影像的後續,回家後想在網際網路TV等機器視聽時,該機器只要將相同串流解碼至不同層即可,因此可減輕使用者側的負擔。
進而言之,除了如上述,實現就每層編碼圖片,於基礎層的高位存在有增強層的可適性的構成以外,增強層包含基於圖像統計資訊等之元資訊,解碼側根據原資訊,來將基礎層的圖片進行超解像,藉此生成高畫質的內容亦可。超解像亦可指同一解像度的SN比提升及解像度擴大的任一者。元資訊包含用以特定使用於超解像處理的線性或非線性濾波器係數的資訊,或特定使用於超解像處理的濾波器處理、機械學習或最小平方運算的參數值的資訊等。
或者,亦可構成如:因應圖像內的物件等的含意,將圖片分割為方塊等,解碼側選擇解碼的方塊,藉此僅解碼一部分區域。又,將物件屬性(人物、車、球等)及影像內位置(同一圖像內的座標位置等)作為元資訊儲存,藉此解碼側可根據元資訊,特定所需物件的位置,決定包含該物件的方塊。例如如圖45所示,元資訊利用HEVC的SEI訊息等,與像素資料不同的資料儲存構造來儲存。該元資訊表示例如主物件的位置、大小或色彩等。
又,以串流、序列、隨機存取單位等,以由複數個圖片所構成的單位,來儲存元資訊亦可。藉此,解碼側可取得特定人物出現在影像內的時刻等,藉由配合圖片單位的資訊,可特定物件所存在的圖片及圖片內物件的位置。 [網頁最佳化]
圖46是表示電腦ex111等之網頁之顯示畫面例之圖。圖47是表示智慧型手機ex115等之網頁之顯示畫面例之圖。如圖46及圖47所示,網頁有時包含複數個對圖像內容的連結的連結圖像,依瀏覽的器件,其觀看方式會不同。畫面上可看到複數個連結圖像時,顯示裝置(解碼裝置)顯示各內容所具有的靜止圖或I圖片作為連結圖像,或顯示複數個靜止圖或I圖像等諸如gif動畫的影像,亦或僅接收基礎層,解碼及顯示影像,直到使用者明確地選擇連結圖像,或連結圖像靠近圖像中央附近,或者連結圖像全體進入畫面內為止。
由使用者選擇了連結圖像時,顯示裝置將基礎層最優先解碼。再者,構成網頁的HTML具有表示可適性內容的資訊時,顯示裝置解碼至增強層亦可。又,為了保證即時性,在選擇前或通訊頻帶非常嚴苛時,顯示裝置僅解碼及顯示前方參考的圖片(I圖片、P圖片、僅前方參考的B圖片),藉此可減低開頭圖片的解碼時刻與顯示時刻之間的延遲(從內容開始解碼到開始顯示的延遲)。又,顯示裝置亦可特意忽視圖片的參考關係,將所有B圖片及P圖片進行前方參考而粗略地解碼,隨著時間經過,接收到的圖片增加再進行正常解碼。 [自動行駛]
又,為了車輛自動行駛或支援行駛而接收二維或三維地圖資訊等靜止圖或影像資料時,接收終端裝置亦可除了接收屬於1以上的層的圖像資料以外,亦接收天候或施工資訊等作為元資訊,使該等相對應而解碼。再者,元資訊屬於層,或單純與圖像資料進行多工均可。
此時,由於包含接收終端裝置的車輛、無人飛行載具或飛機等會進行移動,因此接收終端裝置在接收要求時,傳送該接收終端裝置的位置資訊,藉此可一面切換基地局ex106~ex110,一面實現無縫的接收及解碼。又,接收終端裝置可因應使用者的選擇、使用者的狀況或通訊頻帶的狀態,動態切換元資訊的接收程度或地圖資訊的更新程度。
如以上,於內容供給系統ex100,客戶可即時接收由使用者傳送的經編碼的資訊,予以解碼並重現。 [個人內容遞送]
又,於內容供給系統ex100,不僅可遞送來自影像遞送業者的高畫質、長時間的內容,亦可進行來自個人的低畫質、短時間的單播或組播遞送。又,像這樣的個人內容今後應會日益增加。為了使個人內容成為更優質的內容,伺服器進行編輯處理後再進行編碼處理亦可。此可由例如以下構成來實現。
攝影時,伺服器即時或積存而在攝影後,從原圖像或編碼完畢的資料,進行攝影錯誤、場景探索、意義分析及物件檢出等辨識處理。然後,伺服器根據辨識結果,進行如下編輯:採手動或自動修正失焦或手震等,刪除亮度比其他圖片低、焦點未對準的場景等重要性低的場景,強調物件的邊緣,或使色調變化等。伺服器根據編輯結果來編碼編輯後的資料。又,已知若攝影時間過長,收視率會下降,伺服器亦可根據圖像處理結果,不僅自動剪輯如上述重要性低的場景,亦剪輯移動少的場景等,以因應攝影時間使內容維持在特定時間範圍內。又,伺服器亦可根據場景的意義分析的結果,生成並編碼摘要。
再者,於個人內容亦出現直接拍到侵害著作權、著作者人權或肖像權等之內容的個案,亦出現共有的範圍超越了意圖的範圍等,對個人而言不便的情況。故,例如伺服器亦可將圖像變更為特意使畫面周邊部的人的臉部或家中等不對焦而編碼。又,伺服器亦可辨識編碼對象圖像內,是否拍到與預先已登錄的人物不同的人物的臉部,拍到時,亦可進行對臉部部分,加上馬賽克等之處理。又,作為編碼前的預處理或後處理,亦可基於著作權等的觀點,由使用者指定欲進行圖像加工的人物或背景區域,伺服器進行將被指定的區域置換為其他影像,或模糊焦點等處理。若是人物,亦可一面於動態圖像追蹤人物,一面置換臉部部分的影像。
又,資料量少的個人內容的視聽,強烈要求即時性,因此雖依頻寬而不同,解碼裝置首先最優先接收基礎層,進行解碼及重現。解碼裝置在此期間接收增強層,於重現循環時等重現2次以上時,包含增強層在內而重現高畫質影像亦可。如此,若是進行可適性編碼的串流,可提供如下體驗:在未選擇時或開始觀看的階段,雖為粗略的動態圖,但漸漸隨著串流智慧化圖像改善。除了可適性編碼以外,將第1次所重現的粗略串流、及參考第1次動態圖而編碼的第2次串流,作為1個串流而構成,亦可提供相同的體驗。 [其他使用例]
又,該等編碼或解碼處理一般在各終端裝置所具有的LSIex500處理。LSIex500為單晶片或由複數個晶片所組成的構成均可。再者,將動態圖像編碼或解碼用的軟體,組入電腦ex111等可讀取之某種記錄媒體(CD-ROM、軟碟、或硬碟等),利用該軟體進行編碼或解碼處理亦可。進而言之,智慧型手機ex115附有攝影機時,傳送由該攝影機所取得的動態圖資料亦可。此時的動態圖資料是經智慧型手機ex115所具有的LSIex500進行編碼處理的資料。
再者,LSIex500亦可為下載應用軟體並啟用的構成。此時,終端裝置首先判斷該終端裝置是否支援內容的編碼方式,或是否具有特定服務的執行能力。終端裝置不支援內容的編碼方式時,或不具有特定服務的執行能力時,終端裝置下載編解碼器(codec)或應用軟體,其後取得並重現內容。
又,不限於經由網際網路ex101的內容供給系統ex100,於數位播放用系統,亦可組入上述各實施形態的至少任一種動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)。由於利用衛星等使播放用電波承載影像及聲音已被多工的多工資料來進行收發,因此相對於內容供給系統ex100容易進行單播的構成,其差異在於適合組播,但關於編碼處理及解碼處理,可進行同樣的應用。 [硬體構成]
圖48是表示智慧型手機ex115一例之圖。圖49是表示智慧型手機ex115之構成例之圖。智慧型手機ex115具有:天線ex450,用以與基地局ex110之間收發電波;攝影機部ex465,可拍攝影像及靜止圖;及顯示部ex458,顯示由攝影機部ex465所拍攝的影像、及由天線ex450所接收的影像等經解碼的資料。智慧型手機ex115進一步具備:操作部ex466,其為觸控面板等;聲音輸出部ex457,用以輸出聲音或音響的揚聲器等;聲音輸入部ex456,用以進行聲音輸入的麥克風等;記憶體部ex467,用以保存拍攝的影像或靜止圖、錄音的聲音、接收的影像或靜止圖、郵件等經編碼的資料,或經解碼的資料;及插槽部ex464,其是與SIMex468的介面部,該SIMex468是用以特定使用者,進行對於以網路為首之存取各種資料的認證。再者,亦可使用外接記憶體,來取代記憶體部ex467。
又,統籌控制顯示部ex458及操作部ex466等的主控制部ex460,經由匯流排ex470而與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝影機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464及記憶體部ex467連接。
若由使用者操作而使電源鍵成為開啟狀態時,藉由電源電路部ex461從電池組對於各部供給電力,將智慧型手機ex115啟動為可動作的狀態。
智慧型手機ex115根據具有CPU、ROM及RAM等之主控制部ex460的控制,進行通話及資料通訊等處理。通話時,以聲音訊號處理部ex454,將由聲音輸入部ex456所收音的聲音訊號,轉換為數位聲音訊號,以調變/解調部ex452,將其進行頻譜擴散處理,以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後,經由天線ex450傳送。又,放大接收資料,施行頻率轉換處理及類比數位轉換處理,以調變/解調部ex452進行頻譜反擴散處理,以聲音訊號處理部ex454轉換為類比聲音資料後,從聲音輸出部ex457將其輸出。於資料通訊模式時,藉由主體部的操作部ex466等之操作,將文本、靜止圖或影像資料經由操作輸入控制部ex462送出至主控制部ex460,並同樣地進行收發處理。資料通訊模式時傳送影像、靜止圖或影像及聲音時,影像訊號處理部ex455將保存於記憶體部ex467的影像訊號、或從攝影機部ex465輸入的影像訊號,藉由上述各實施形態所示動態圖像編碼方法,予以壓縮編碼,將已被編碼的影像資料送出至多工/分離部ex453。又,聲音訊號處理部ex454將聲音訊號編碼,並將已被編碼的聲音資料送出至多工/分離部ex453,其中該聲音訊號是在以攝影機部ex465拍攝影像或靜止圖等時,以聲音輸入部ex456收音的聲音訊號。多工/分離部ex453以預定的方式,將編碼完畢影像資料及編碼完畢聲音資料予以多工,以調變/解調部(調變/解調電路部)ex452及傳送/接收部ex451,施以調變處理及轉換處理,經由天線ex450來傳送。
接收添附於電子郵件或聊天的影像、或連結於網頁等之影像時,為了解碼經由天線ex450所接收的多工資料,多工/分離部ex453藉由分離多工資料,來將多工資料區分為影像資料的位元串流與聲音資料的位元串流,經由同步匯流排ex470,將已被編碼的影像資料供給至影像訊號處理部ex455,並且將已被編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示動態圖像編碼方法的動態圖像解碼方法,解碼影像訊號,經由顯示器控制部ex459,從顯示部ex458顯示連結的動態圖像檔所含的影像或靜止圖。又,聲音訊號處理部ex454解碼聲音訊號,從聲音輸出部ex457輸出聲音。再者,由於即時串流化已普及,因此依使用者的狀況,亦可能發生聲音的重現就社會觀點而言不妥的情況。因此,作為初始值,宜採用不重現聲音訊號,僅重現影像訊號的構成。僅於使用者進行點擊影像資料等操作時,同步重現聲音亦可。
又,於此以智慧型手機ex115為例說明,但除了作為終端裝置具有編碼器及解碼器雙方的收發型終端裝置以外,亦可考慮僅具有編碼器的傳送終端裝置及僅具有解碼器的接收終端裝置等3種實作形式。進而言之,說明了於數位播放用系統,接收或傳送對影像資料多工有聲音資料的多工資料,但於多工資料,除了聲音資料以外,與影像相關連的文字資料等亦可受到多工,或不接收或傳送多工資料而接收或傳送影像資料本身亦可。
再者,說明了包含CPU的主控制部ex460控制編碼或解碼處理,但終端裝置亦經常具備GPU。故,亦可構成如:藉由在CPU與GPU被共通化的記憶體,或藉由位址受管理以便可共通使用的記憶體,來活用GPU的性能以統一處理大區域。藉此,可縮短編碼時間,確保即時性,實現低延遲。特別是不採用CPU而採用GPU,以圖片等為單位,統一進行移動估計、去區塊濾波、SAO(Sample Adaptive Offset(樣本適用性偏移))及轉換‧量化的處理甚有效率。 產業上之可利用性
本發明可利用於例如電視受像機、數位錄影機、車用導航器、行動電話、數位相機、數位攝影機、電視會議系統或電子鏡等。
10‧‧‧區塊
11、12‧‧‧16´64區塊
13‧‧‧32´64區塊
14、15‧‧‧64´32區塊
16‧‧‧16´32區塊
17、18‧‧‧16´16區塊
19、20‧‧‧32´32區塊
21、22‧‧‧32´16區塊
23‧‧‧64´64區塊
100‧‧‧編碼裝置
102‧‧‧分割部
104‧‧‧減算部
106‧‧‧轉換部
108‧‧‧量化部
110‧‧‧熵編碼部
112、204‧‧‧反向量化部
114、206‧‧‧反向轉換部
116、208‧‧‧加算部
118、210‧‧‧區塊記憶體
120、212‧‧‧迴路濾波器
122、214‧‧‧幀記憶體
124、216‧‧‧幀內預測部
126、218‧‧‧幀間預測部
128、220‧‧‧預測控制部
132‧‧‧二值化部
134、140、236、242‧‧‧切換部
136、240‧‧‧中間緩衝器
138‧‧‧算術編碼部
142‧‧‧多工部
144‧‧‧輸出緩衝器
160、260‧‧‧電路
162、262‧‧‧記憶體
200‧‧‧解碼裝置
202‧‧‧熵解碼部
232‧‧‧輸入緩衝器
234‧‧‧分離部
238‧‧‧算術解碼部
244‧‧‧反向二值化部
A1、A2、B1~B4‧‧‧表
Cur block‧‧‧目前區塊
Cur Pic‧‧‧目前圖片
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex103‧‧‧串流化伺服器
ex104‧‧‧通訊網
ex106~ex110‧‧‧基地局
ex111‧‧‧電腦
ex112‧‧‧遊戲機
ex113‧‧‧攝影機
ex114‧‧‧家電
ex115‧‧‧智慧型手機
ex116‧‧‧衛星
ex117‧‧‧飛機
ex450‧‧‧天線
ex451‧‧‧傳送/接收部
ex452‧‧‧調變/解調部
ex453‧‧‧多工/分離部
ex454‧‧‧聲音訊號處理部
ex455‧‧‧影像訊號處理部
ex456‧‧‧聲音輸入部
ex457‧‧‧聲音輸出部
ex458‧‧‧顯示部
ex459‧‧‧顯示器控制部
ex460‧‧‧主控制部
ex461‧‧‧電源電路部
ex462‧‧‧操作輸入控制部
ex463‧‧‧攝影機介面部
ex464‧‧‧插槽部
ex465‧‧‧攝影機部
ex466‧‧‧操作部
ex467‧‧‧記憶體部
ex468‧‧‧SIM
ex470‧‧‧匯流排、同步匯流排
ex500‧‧‧LSI
MV0、MV1、MVx0、MVx1、MVy1、MVy0、v0、v1、vx、vy‧‧‧移動向量
nC‧‧‧預測值
Ref0、Ref1、Ref0、Ref1‧‧‧參考圖片
S1~S9、S201~S204、S401~S404、S411、S412、S421~S423、S501、S502、S601、S611、S612、S661、S662、S701~S704、S711、S712、S721~S723、S801、S802、S901、S911、S912、S961、S962‧‧‧步驟
TD0、TD1、t0、t1‧‧‧時間距離
vx、vy‧‧‧速度向量
圖1是表示實施形態1之編碼裝置的功能構成之方塊圖。
圖2是表示實施形態1之區塊分割一例之圖。
圖3是表示對應於各轉換類型之基底函數之表。
圖4A是表示ALF所用之濾波器的形狀的一例之圖。
圖4B是表示ALF所用之濾波器的形狀的其他一例之圖。
圖4C是表示ALF所用之濾波器的形狀的其他一例之圖。
圖5是表示幀內預測之67個幀內預測模式之圖。
圖6是用以說明沿著移動軌道的2個區塊間之型態匹配(雙向匹配)之圖。
圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的型態匹配(模板匹配)之圖。
圖8是用以說明假定等速直線運動的模型之圖。
圖9是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量之圖。
圖10是表示實施形態1之解碼裝置的功能構成之方塊圖。
圖11是表示實施形態1之編碼裝置的熵編碼部的詳細功能構成之方塊圖。
圖12是表示實施形態1之解碼裝置的熵解碼部的詳細功能構成之方塊圖。
圖13是表示實施形態1之語法構造的流程圖。
圖14A是表示實施形態1之4´4頻率轉換區塊的基本區塊之概念圖。
圖14B是表示實施形態1之8´8頻率轉換區塊的基本區塊之概念圖。
圖14C是表示實施形態1之8´4頻率轉換區塊的基本區塊之概念圖。
圖14D是表示實施形態1之4´8頻率轉換區塊的基本區塊之概念圖。
圖14E是表示實施形態1之16´16頻率轉換區塊的基本區塊之概念圖。
圖14F是表示實施形態1之16´8頻率轉換區塊的基本區塊之概念圖。
圖14G是表示實施形態1之8´16頻率轉換區塊的基本區塊之概念圖。
圖14H是表示實施形態1之16´12頻率轉換區塊的基本區塊之概念圖。
圖14I是表示實施形態1之4´16頻率轉換區塊的基本區塊之概念圖。
圖15是表示實施形態1之2種表的概念圖。
圖16是表示實施形態1之表的選擇的流程圖。
圖17是表示實施形態1之4種表的概念圖。
圖18A是表示實施形態1之4´4頻率轉換區塊的基本區塊的階層之概念圖。
圖18B是表示實施形態1之8´8頻率轉換區塊的基本區塊的階層之概念圖。
圖18C是表示實施形態1之8´4頻率轉換區塊的基本區塊的階層之概念圖。
圖18D是表示實施形態1之4´8頻率轉換區塊的基本區塊的階層之概念圖。
圖18E是表示實施形態1之16´16頻率轉換區塊的基本區塊的階層之概念圖。
圖18F是表示實施形態1之16´8頻率轉換區塊的基本區塊的階層之概念圖。
圖18G是表示實施形態1之8´16頻率轉換區塊的基本區塊的階層之概念圖。
圖18H是表示實施形態1之16´12頻率轉換區塊的基本區塊的階層之概念圖。
圖18I是表示實施形態1之4´16頻率轉換區塊的基本區塊的階層之概念圖。
圖19是表示實施形態1之型態判斷處理的流程圖。
圖20A是表示實施形態1之第1型態的目前基本區塊之概念圖。
圖20B是表示實施形態1之第2型態的目前基本區塊之概念圖。
圖20C是表示實施形態1之第3型態的目前基本區塊之概念圖。
圖21是表示在實施形態1之第1型態所選擇的表的關係圖。
圖22是表示在實施形態1之第2型態所選擇的表的關係圖。
圖23是表示在實施形態1之第3型態以周邊的頻率轉換區塊所選擇的表的關係圖。
圖24是表示在實施形態1之第3型態以編碼模式所選擇的表的關係圖。
圖25是表示在實施形態1之第3型態以量化參數所選擇的表的關係圖。
圖26是表示實施形態1之語法構造的資料圖。
圖27是表示實施形態1之編碼裝置的實作例之方塊圖。
圖28是表示實施形態1之編碼裝置的第1編碼動作例之流程圖。
圖29是表示實施形態1之編碼裝置的第1編碼動作例的二值化處理之流程圖。
圖30是表示實施形態1之編碼裝置的第1編碼動作例的頻率轉換係數資訊的二值化處理之流程圖。
圖31是表示實施形態1之編碼裝置的第2編碼動作例之流程圖。
圖32是表示實施形態1之編碼裝置的第3編碼動作例之流程圖。
圖33是表示實施形態1之編碼裝置的第3編碼動作例的二值化處理之流程圖。
圖34是表示實施形態1之編碼裝置的第4編碼動作例的二值化處理之流程圖。
圖35是表示實施形態1之解碼裝置的實作例之方塊圖。
圖36是表示實施形態1之解碼裝置的第1解碼動作例之流程圖。
圖37是表示實施形態1之解碼裝置的第1解碼動作例的反向二值化處理之流程圖。
圖38是表示實施形態1之解碼裝置的第1解碼動作例的頻率轉換係數資訊的二值化資料串之反向二值化處理之流程圖。
圖39是表示實施形態1之解碼裝置的第2解碼動作例之流程圖。
圖40是表示實施形態1之解碼裝置的第3解碼動作例之流程圖。
圖41是表示實施形態1之解碼裝置的第3解碼動作例的反向二值化處理之流程圖。
圖42是表示實施形態1之解碼裝置的第4解碼動作例的反向二值化處理之流程圖。
圖43是表示實現內容遞送服務之內容供給系統的全體構成圖。
圖44是表示可適性編碼時之編碼構造一例之圖。
圖45是表示可適性編碼時之編碼構造一例之圖。
圖46是表示網頁之顯示畫面例之圖。
圖47是表示網頁之顯示畫面例之圖。
圖48是表示智慧型手機一例之圖。
圖49是表示智慧型手機之構成例的方塊圖。

Claims (12)

  1. 一種編碼裝置,其編碼圖像資訊; 具備:記憶體;及 電路,其可存取前述記憶體; 可存取前述記憶體的前述電路,其按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一; 於前述資料值的二值化中,從包含第1表及第2表的複數個表中選擇前述轉換表,按照選擇出的前述轉換表,將前述資料值二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
  2. 如請求項1之編碼裝置,其中 於前述資料值的二值化中,前述電路僅針對特定基本區塊以後的各基本區塊,將表示該基本區塊所含非零係數的個數的資料值,作為表示前述目前基本區塊所含非零係數的個數的資料值而二值化,其中前述特定基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序下,前述1以上的基本區塊中最初包含非零係數的基本區塊。
  3. 如請求項2之編碼裝置,其中 前述電路, 於前述資料值的二值化中,僅於前述1以上的基本區塊存在有前述特定基本區塊時,將前述資料值二值化; 於前述轉換表的選擇中,前述頻率轉換區塊與前述目前基本區塊相同時,選擇前述第2表來作為前述轉換表。
  4. 如請求項2之編碼裝置,其中 前述電路, 於前述轉換表的選擇中,前述目前基本區塊為前述特定基本區塊時,選擇前述第2表來作為前述轉換表。
  5. 如請求項1至4中任一項之編碼裝置,其中 前述電路編碼前述圖像資訊,輸出前述圖像資訊已被編碼的位元串; 於前述圖像資訊的編碼及前述位元串的輸出中, 將前述圖像資訊二值化, 切換是否對於前述圖像資訊已被二值化的二值化資料串,適用算術編碼; 對於前述二值化資料串要適用算術編碼時,對於前述二值化資料串適用算術編碼,輸出包含已適用算術編碼之前述二值化資料串的前述位元串; 對於前述二值化資料串不要適用算術編碼時,不對於前述二值化資料串適用算術編碼,輸出包含不適用算術編碼之前述二值化資料串的前述位元串; 於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為不同的二值化形式,來將前述圖像資訊中有關圖像頻率成分的頻率轉換係數資訊予以二值化; 於前述圖像資訊的二值化中,按照在對於前述二值化資料串適用算術編碼時、與對於前述二值化資料串不適用算術編碼時為共通的二值化形式,來將前述圖像資訊中有關圖像預測方法的預測參數資訊的一部分或全部予以二值化; 對於前述二值化資料串不適用算術編碼時,於前述頻率轉換係數資訊的二值化中,按照從包含前述第1表及前述第2表的前述複數個表中選擇出的前述轉換表,將前述頻率轉換係數資訊所含的前述資料值二值化。
  6. 一種解碼裝置,其解碼圖像資訊; 具備:記憶體;及 電路,其可存取前述記憶體; 可存取前述記憶體的前述電路,其按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,解碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一; 於前述二值化值的反向二值化中,從包含第1表及第2表的複數個表中選擇前述轉換表,按照選擇出的前述轉換表,將前述二值化值予以反向二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
  7. 如請求項6之解碼裝置,其中 於前述二值化值的反向二值化中,前述電路僅針對特定基本區塊以後的各基本區塊,將表示該基本區塊所含非零係數的個數的資料值已被二值化的二值化值,作為表示前述目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,其中前述特定基本區塊是對於前述1以上的基本區塊依頻率高到低的順序來規定的預定掃描順序下,前述1以上的基本區塊中最初包含非零係數的基本區塊。
  8. 如請求項7之解碼裝置,其中 前述電路, 於前述二值化值的反向二值化中,僅於前述1以上的基本區塊存在有前述特定基本區塊時,將前述二值化值予以反向二值化; 於前述轉換表的選擇中,前述頻率轉換區塊與前述目前基本區塊相同時,選擇前述第2表來作為前述轉換表。
  9. 如請求項7之解碼裝置,其中 於前述轉換表的選擇中,前述電路在前述目前基本區塊為前述特定基本區塊時,選擇前述第2表來作為前述轉換表。
  10. 如請求項6至9中任一項之解碼裝置,其中 前述電路,其取得前述圖像資訊已被編碼的位元串,解碼前述圖像資訊; 於前述位元串的取得及前述圖像資訊的解碼中, 取得包含前述圖像資訊已被二值化的二值化資料串的前述位元串, 切換是否對於前述位元串所含之前述二值化資料串,適用算術解碼; 對於前述二值化資料串要適用算術解碼時,對於前述二值化資料串適用算術解碼,將已適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊; 對於前述二值化資料串不要適用算術解碼時,不對於前述二值化資料串適用算術解碼,將不適用算術解碼的前述二值化資料串予以反向二值化,藉此解碼前述圖像資訊; 於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為不同的反向二值化形式,來將前述二值化資料串中,有關圖像頻率成分的頻率轉換係數資訊已被二值化的第1部分,予以反向二值化; 於前述二值化資料串的反向二值化中,按照在對於前述二值化資料串適用算術解碼時、與對於前述二值化資料串不適用算術解碼時為共通的反向二值化形式,來將前述二值化資料串中,有關圖像預測方法的預測參數資訊的一部分或全部已被二值化的第2部分,予以反向二值化; 對於前述二值化資料串不適用算術解碼時,於前述第1部分的反向二值化中,按照從包含前述第1表及前述第2表的前述複數個表中選擇出的前述轉換表,將前述第1部分所含的前述二值化值予以反向二值化。
  11. 一種編碼方法,其編碼圖像資訊; 按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值二值化,編碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一; 於前述資料值的二值化中,從包含第1表及第2表的複數個表中選擇前述轉換表,按照選擇出的前述轉換表,將前述資料值二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
  12. 一種解碼方法,其解碼圖像資訊; 按照使複數個資料值與複數個二值化值相對應的轉換表,將表示目前基本區塊所含非零係數的個數的資料值已被二值化的二值化值,予以反向二值化,解碼包含前述資料值的前述圖像資訊,其中前述目前基本區塊是由複數個頻率轉換係數所構成的頻率轉換區塊中之1以上的基本區塊之一; 於前述二值化值的反向二值化中,從包含第1表及第2表的複數個表中選擇前述轉換表,按照選擇出的前述轉換表,將前述二值化值予以反向二值化,其中前述第1表包含表示0作為前述非零係數的個數的資料值的對應關係,前述第2表不包含表示0作為前述非零係數的個數的資料值的對應關係。
TW106126755A 2016-08-10 2017-08-08 編碼裝置、解碼裝置、編碼方法及解碼方法 TW201813389A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662372917P 2016-08-10 2016-08-10
US62/372,917 2016-08-10

Publications (1)

Publication Number Publication Date
TW201813389A true TW201813389A (zh) 2018-04-01

Family

ID=61162217

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106126755A TW201813389A (zh) 2016-08-10 2017-08-08 編碼裝置、解碼裝置、編碼方法及解碼方法

Country Status (7)

Country Link
US (1) US20190174133A1 (zh)
EP (1) EP3499888A4 (zh)
JP (1) JPWO2018030292A1 (zh)
KR (1) KR20190031250A (zh)
CN (1) CN109479134A (zh)
TW (1) TW201813389A (zh)
WO (1) WO2018030292A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018030291A1 (ja) 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN112997488B (zh) * 2018-11-06 2024-04-12 北京字节跳动网络技术有限公司 依赖于位置的帧内预测
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
SG11202105759QA (en) 2018-12-07 2021-06-29 Beijing Bytedance Network Technology Co Ltd Context-based intra prediction
CN118521655A (zh) * 2018-12-21 2024-08-20 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
MY207950A (en) 2019-02-22 2025-03-31 Beijing Bytedance Network Tech Co Ltd Neighboring sample selection for intra prediction
MX392417B (es) 2019-02-24 2025-03-24 Beijing Bytedance Network Tech Co Ltd Derivación de parámetros para intrapredicción.
WO2020192642A1 (en) 2019-03-24 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
WO2020196655A1 (ja) * 2019-03-25 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN118555394A (zh) * 2019-04-26 2024-08-27 松下电器(美国)知识产权公司 解码装置和非暂时性计算机可读介质
US11989925B2 (en) * 2019-05-16 2024-05-21 Nec Corporation Image matching apparatus
CN111602396B (zh) * 2019-06-25 2022-04-29 北京大学 一种视频图像处理方法、设备及存储介质
CN111699681B (zh) * 2019-06-25 2023-11-14 北京大学 一种视频图像处理方法、设备及存储介质
JP2024086244A (ja) * 2022-12-16 2024-06-27 シャープ株式会社 3dデータ復号装置および3dデータ符号化装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237448A (ja) * 1993-02-12 1994-08-23 Toshiba Corp 可変長符号化及び復号化装置
JP2006054846A (ja) * 2004-07-12 2006-02-23 Sony Corp 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
US8467449B2 (en) * 2007-01-08 2013-06-18 Qualcomm Incorporated CAVLC enhancements for SVC CGS enhancement layer coding
US7885473B2 (en) * 2007-04-26 2011-02-08 Texas Instruments Incorporated Method of CABAC coefficient magnitude and sign decoding suitable for use on VLIW data processors
JP2012023611A (ja) * 2010-07-15 2012-02-02 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN102377996B (zh) * 2010-08-05 2014-04-30 华为技术有限公司 上下文自适应可变长编码方法及装置
CN102377994B (zh) * 2010-08-05 2014-05-07 富士通株式会社 上下文自适应可变长度编码方法和系统
CN102740066B (zh) * 2011-04-01 2015-06-17 富士通株式会社 Cavlc解码方法和系统
US9231616B2 (en) * 2011-08-05 2016-01-05 Broadcom Corporation Unified binarization for CABAC/CAVLC entropy coding
US20130215970A1 (en) * 2011-12-20 2013-08-22 General Instrument Corporation Method and apparatus for last coefficient group position coding
US9743116B2 (en) * 2012-01-19 2017-08-22 Huawei Technologies Co., Ltd. High throughput coding for CABAC in HEVC

Also Published As

Publication number Publication date
EP3499888A1 (en) 2019-06-19
US20190174133A1 (en) 2019-06-06
CN109479134A (zh) 2019-03-15
KR20190031250A (ko) 2019-03-25
JPWO2018030292A1 (ja) 2019-06-13
WO2018030292A1 (ja) 2018-02-15
EP3499888A4 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
JP6994868B2 (ja) 符号化装置、復号装置、符号化方法、および復号方法
CN109155863B (zh) 编码装置、解码装置、编码方法及解码方法
KR102772605B1 (ko) 부호화 장치, 복호 장치, 부호화 방법, 및 복호 방법
TW201813389A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
KR102781082B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
TW201918066A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI770045B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI794129B (zh) 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
TW202308393A (zh) 編碼方法及解碼方法
TW201811026A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201811027A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
JP7389282B2 (ja) 復号装置、及び、復号方法
TW201921935A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
JP7662882B2 (ja) 符号化装置、復号装置及びビットストリーム生成装置
TW202247651A (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體
KR102910399B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
TW202247662A (zh) 編碼裝置及解碼裝置
TW201921931A (zh) 編碼裝置、編碼方法、解碼裝置及解碼方法
JP2023126387A (ja) 符号化装置及び符号化方法
JP2025085677A (ja) 符号化装置、復号装置及びビットストリーム生成装置
KR20250137726A (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
TW201921937A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
KR20260017489A (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20260013256A (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법