TW202011740A

TW202011740A - 編碼裝置、解碼裝置、編碼方法及解碼方法

Info

Publication number: TW202011740A
Application number: TW108112912A
Authority: TW
Inventors: 加納龍一; 安倍清史; 西孝啓; 遠間正真
Original assignee: 美商松下電器（美國）知識產權公司
Priority date: 2018-04-17
Filing date: 2019-04-12
Publication date: 2020-03-16
Also published as: WO2019203068A1; US20210044800A1; US11259022B2

Abstract

編碼裝置編碼圖片所含的編碼對象區塊，且具備電路及記憶體；電路使用記憶體，從複數個轉換基底的候選之中選擇1個以上的轉換基底，而前述複數個轉換基底的候選除了包含DCT2的基底以外，還包含DCT4及DST4之至少一者的基底；使用所選擇的1個以上的轉換基底，轉換編碼對象區塊的預測誤差；於選擇中，當編碼對象區塊的尺寸大於閾值尺寸時，從複數個轉換基底的候選剔除DCT4及DST4之至少一者的基底之後，選擇1個以上的轉換基底；閾值尺寸為可使用DCT2的最大尺寸的一半以下。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法

發明領域本揭示是關於一種編碼裝置、解碼裝置、編碼方法及解碼方法。

發明背景稱為HEVC（High-Efficiency Video Coding(高效率視訊編碼)）的影像編碼標準規格是由JCT-VC(Joint Collaborative Team on Video Coding(視訊編碼聯合工作小組))標準化。先行技術文獻

非專利文獻非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding))

發明概要發明欲解決之課題該類編碼及解碼技術要求進一步的改善。因此，本揭示的目的在於提供一種可實現進一步改善的編碼裝置、解碼裝置、編碼方法及解碼方法。

用以解決課題之手段本揭示的一態樣的編碼裝置是編碼圖片所含的編碼對象區塊的編碼裝置，且具備電路及記憶體；前述電路使用前述記憶體，從複數個轉換基底的候選之中選擇1個以上的轉換基底，而前述複數個轉換基底的候選除了包含DCT2(Discrete Cosine Transform type-II(離散餘弦轉換type-II))的基底以外，還包含DCT4(Discrete Cosine Transform type-IV)及DST4(Discrete Sine Transform type-IV(離散正弦轉換type-IV))之至少一者的基底；使用所選擇的前述1個以上的轉換基底，轉換前述編碼對象區塊的預測誤差；於前述選擇中，當前述編碼對象區塊的尺寸大於閾值尺寸時，從前述複數個轉換基底的候選剔除DCT4及DST4之前述至少一者的基底之後，選擇前述1個以上的轉換基底；前述閾值尺寸為可使用DCT2的最大尺寸的一半以下。本揭示的一態樣的解碼裝置是解碼編碼圖片所含的解碼對象區塊的解碼裝置，且具備電路及記憶體；前述電路使用前述記憶體，從複數個反轉換基底的候選之中選擇1個以上的反轉換基底，而前述複數個反轉換基底的候選除了包含IDCT2(Inverse Discrete Cosine Transform type-II(反離散餘弦轉換type-II))的基底以外，還包含IDCT4(Inverse Discrete Cosine Transform type-IV)及IDST4(Inverse Discrete Sine Transform type-IV(反離散正弦轉換type-IV))之至少一者的基底；使用所選擇的前述1個以上的反轉換基底，反轉換前述解碼對象區塊的係數；於前述選擇中，當前述解碼對象區塊的尺寸大於閾值尺寸時，從前述複數個反轉換基底的候選剔除IDCT4及IDST4之前述至少一者的基底之後，選擇前述1個以上的反轉換基底；前述閾值尺寸為可使用IDCT2的最大尺寸的一半以下。

再者，該等全面的或具體的態樣亦得以系統、方法、積體電路、電腦程式、或電腦可讀取CD-ROM等記錄媒體來實現，或以系統、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。

發明效果本揭示能提供可實現進一步改善的編碼裝置、解碼裝置、編碼方法及解碼方法。

用以實施發明之形態以下，參考圖式來具體說明實施形態。

再者，以下所說明的實施形態均表示概括的或具體的範例。以下實施形態所示數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等為一例，其主旨不在於限定申請專利範圍。又，以下實施形態的構成要件中，未記載於表示最上位概念的獨立請求項的構成要件，則作為任意的構成要件來說明。 (實施形態1)

首先，說明實施形態1的概要，來作為可適用後述本揭示的各態樣中所說明的處理及/或構成的編碼裝置及解碼裝置的一例。但實施形態1僅為可適用本揭示的各態樣中所說明的處理及/或構成的編碼裝置及解碼裝置的一例，本揭示的各態樣中所說明的處理及/或構成亦可實施於與實施形態1不同的編碼裝置及解碼裝置。對實施形態1適用本揭示的各態樣中所說明的處理及/或構成時，亦可進行例如以下任一項。

(1)對實施形態1的編碼裝置或解碼裝置，將構成該編碼裝置或解碼裝置的複數個構成要件中之對應於本揭示的各態樣中所說明的構成要件之構成要件，置換成本揭示的各態樣中所說明的構成要件；

(2)對實施形態1的編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件，施以功能或實施處理的追加、置換、刪除等任意變更後，將對應於本揭示的各態樣中所說明的構成要件之構成要件，置換成本揭示的各態樣中所說明的構成要件；

(3)對實施形態1的編碼裝置或解碼裝置所實施的方法，針對處理的追加、及/或該方法所含的複數種處理中之一部分處理，施以置換、刪除等任意變更後，將對應於本揭示的各態樣中所說明的處理之處理，置換成本揭示的各態樣中所說明的處理；

(4)將構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件，與本揭示的各態樣中所說明的構成要件、具備本揭示的各態樣中所說明的構成要件所具備的一部分功能的構成要件、或實施本揭示的各態樣中所說明的構成要件所實施的一部分處理的構成要件組合並實施；

(5)將具備構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件所具備的一部分功能的構成要件、或實施構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件所實施的一部分處理的構成要件，與本揭示的各態樣中所說明的構成要件、具備本揭示的各態樣中所說明的構成要件所具備的一部分功能的構成要件、或實施本揭示的各態樣中所說明的構成要件所實施的一部分處理的構成要件組合並實施；

(6)對實施形態1的編碼裝置或解碼裝置所實施的方法，將該方法所含的複數種處理中之對應於本揭示的各態樣中所說明的處理之處理，置換成本揭示的各態樣中所說明的處理；

(7)將實施形態1的編碼裝置或解碼裝置所實施的方法所含之複數種處理中的一部分處理，與本揭示的各態樣中所說明的處理組合並實施。

再者，本揭示的各態樣中所說明的處理及/或構成的實施方式不限定於上述例子。例如，可在與實施形態1所揭示的動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置以不同目的利用的裝置中實施，亦可單獨實施各態樣中所說明的處理及/或構成。又，亦可組合在不同態樣中所說明的處理及/或構成並實施。 [編碼裝置的概要]

首先，說明實施形態1的編碼裝置的概要。圖1是表示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊為單位編碼動態圖像/圖像的動態圖像/圖像編碼裝置。

如圖1所示，編碼裝置100是以區塊為單位編碼圖像的裝置，具備分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、區塊記憶體118、迴路濾波部120、幀記憶體122、幀內預測部124、幀間預測部126及預測控制部128。

編碼裝置100藉由例如通用處理器及記憶體來實現。此時，由處理器執行儲存於記憶體的軟體程式時，處理器是作為分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、迴路濾波部120、幀內預測部124、幀間預測部126及預測控制部128發揮功能。又，亦可以對應於分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、迴路濾波部120、幀內預測部124、幀間預測部126及預測控制部128之專用的1個以上的電子電路來實現編碼裝置100。以下，說明編碼裝置100所含的各構成要件。 [分割部]

分割部102將輸入動態圖像所含的各圖片分割為複數個區塊，將各區塊輸出至減算部104。例如，分割部102首先將圖片分割為固定尺寸(例如128×128)的區塊。此固定尺寸的區塊有時稱為編碼樹單元(CTU)。然後，分割部102根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定尺寸的各個區塊分割為可變尺寸(例如64×64以下)的區塊。此可變尺寸的區塊有時稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，於本實施形態亦可無須區分CU、PU及TU，而使圖片內的一部分或所有區塊為CU、PU、TU的處理單位。

圖2是表示實施形態1的區塊分割的一例的圖。於圖2，實線表示四元樹區塊分割的區塊邊界，虛線表示二元樹區塊分割的區塊邊界。

於此，區塊10為128×128像素的正方形區塊(128×128區塊)。此128×128區塊10首先分割為4個正方形的64×64區塊(四元樹區塊分割)。

左上64×64區塊進一步垂直分割為2個矩形的32×64區塊，左32×64區塊進一步垂直分割為2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上64×64區塊分割為2個16×64區塊11、12及32×64區塊13。右上64×64區塊水平分割為2個矩形的64×32區塊14、15(二元樹區塊分割)。

左下64×64區塊分割為4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊中，左上區塊及右下區塊進一步分割。左上32×32區塊垂直分割為2個矩形的16×32區塊，右16×32區塊進一步水平分割為2個16×16區塊(二元樹區塊分割)。右下32×32區塊水平分割為2個32×16區塊(二元樹區塊分割)。其結果，左下64×64區塊分割為16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20及2個32×16區塊21、22。右下64×64區塊23未分割。

如以上，於圖2，區塊10根據遞迴的四元樹及二元樹區塊分割，分割為13個可變尺寸的區塊11～23。此類分割有時稱為QTBT(quad-tree plus binary tree(四元樹加二元樹))分割。

再者，於圖2，1個區塊雖分割為4個或2個區塊(四元樹或二元樹區塊分割)，但分割不限定於此。例如1個區塊亦可分割為3個區塊(三元樹區塊分割)。此類包含三元樹區塊分割在內的分割有時稱為MBT(multi type tree(多類型樹))分割。 [減算部]

減算部104是以由分割部102所分割的區塊為單位，從原訊號(原樣本)減算預測訊號(預測樣本)。總言之，減算部104算出編碼對象區塊(以下稱為目前區塊)的預測誤差(亦稱為殘差)。然後，減算部104將算出的預測誤差輸出至轉換部106。

原訊號為編碼裝置100的輸入訊號，其為表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。以下有時亦將表示圖像的訊號稱為樣本。 [轉換部]

轉換部106將空間域的預測誤差轉換成頻率域的轉換係數，將轉換係數輸出至量化部108。具體而言，轉換部106例如對空間域的預測誤差，進行預先決定的離散餘弦轉換(DCT)或離散正弦轉換(DST)。

再者，轉換部106亦可從複數種轉換類型中適應性地選擇轉換類型，使用與選擇的轉換類型相對應的轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。此類轉換有時稱為EMT(explicit multiple core transform(顯式多重核心轉換))或AMT(adaptive multiple transform(適應性多重轉換))。

複數種轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是表示對應於各轉換類型的基底函數的表。於圖3，N表示輸入像素數。從該等複數種轉換類型中選擇轉換類型時，例如可取決於預測的種類(幀內預測及幀間預測)，亦可取決於幀內預測模式。

該類表示適用EMT或AMT與否的資訊(例如稱為AMT旗標)、及表示選擇的轉換類型的資訊，是以CU級別來訊號化。再者，該等資訊的訊號化無須限定在CU級別，亦可為其他級別(例如序列級別(sequence level)、圖片級別(picture level)、切片級別(slice level)、圖塊級別(tile level)或CTU級別)。

又，轉換部106亦可將轉換係數(轉換結果)予以再轉換。此類再轉換有時稱為AST(adaptive secondary transform(適應性二次轉換))或NSST(non-separable secondary transform(不可分離二次轉換))。例如，轉換部106就對應於幀內預測誤差的轉換係數的區塊所含之子區塊(例如4×4子區塊)逐一進行再轉換。表示適用NSST與否的資訊、及用於NSST的轉換矩陣的相關資訊，是以CU級別來訊號化。再者，該等資訊的訊號化無須限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或CTU級別)。

於此，Separable(可分離)轉換是指就輸入的維度之數量而依各方向分離，來進行複數次轉換的方式，Non-Separable(不可分離)轉換是指在輸入為多維時，將2個以上的維度統整視為1維而一次進行轉換的方式。

例如可舉下例來作為Non-Separable轉換的一例：在輸入為4×4的區塊時，將其視為具有16個要件的一個陣列，對於該陣列，以16×16的轉換矩陣進行轉換處理。

又，同樣地將4×4的輸入區塊視為具有16個要件的一個陣列，對於該陣列進行複數次Givens旋轉(Hypercube Givens Transform(超立方體吉文斯轉換))的轉換，亦為Non-Separable的轉換例。 [量化部]

量化部108量化從轉換部106輸出的轉換係數。具體而言，量化部108以既定的掃描順序掃描目前區塊的轉換係數，根據對應於掃描出的轉換係數的量化參數(QP)，來量化該轉換係數。然後，量化部108將目前區塊的經量化的轉換係數(以下稱為量化係數)，輸出至熵編碼部110及反量化部112。

既定的順序是轉換係數的量化/反量化用的順序。例如，既定的掃描順序是以頻率的升序(從低頻往高頻的順序)或降序(從高頻往低頻的順序)來定義。

量化參數是定義量化步距(量化寬度)的參數。例如若增加量化參數值，則量化步距亦增加。總言之，若量化參數值增加，則量化誤差增大。 [熵編碼部]

熵編碼部110藉由將從量化部108輸入的量化係數予以可變長度編碼，來生成編碼訊號(編碼位元串流)。具體而言，熵編碼部110例如將量化係數二值化，將二值訊號予以算術編碼。 [反量化部]

反量化部112將從量化部108輸入的量化係數予以反量化。具體而言，反量化部112以既定的掃描順序，將目前區塊的量化係數予以反量化。然後，反量化部112將目前區塊之已被反量化的轉換係數，輸出至反轉換部114。 [反轉換部]

反轉換部114藉由將從反量化部112輸入的轉換係數予以反轉換，來復原預測誤差。具體而言，反轉換部114藉由對轉換係數進行與轉換部106的轉換相對應的反轉換，來復原目前區塊的預測誤差。然後，反轉換部114將復原的預測誤差輸出至加算部116。

再者，由於復原的預測誤差是因量化而喪失資訊，因此不會與減算部104所算出的預測誤差一致。亦即，於復原的預測誤差，包含有量化誤差。 [加算部]

加算部116藉由加算從反轉換部114輸入的預測誤差與從預測控制部128輸入的預測樣本，來重構目前區塊。然後，加算部116將重構的區塊輸出至區塊記憶體118及迴路濾波部120。重構區塊有時亦稱為局部解碼區塊。 [區塊記憶體]

區塊記憶體118是用以儲存幀內預測所參考的區塊且為編碼對象圖片(以下稱為目前圖片)內的區塊的記憶部。具體而言，區塊記憶體118儲存從加算部116輸出的重構區塊。 [迴路濾波部]

迴路濾波部120對由加算部116重構的區塊施以迴路濾波，將已濾波的重構區塊輸出至幀記憶體122。迴路濾波是指在編碼迴路內使用的濾波器(In-loop filter(迴路內濾波器))，包含例如去區塊濾波器(DF)、樣本適應性偏移(SAO)及適應性迴路濾波器(ALF)等。

在ALF中是適用用以去除編碼失真的最小平方誤差濾波器，例如就目前區塊內的2×2子區塊，逐一適用根據局部梯度(gradient)的方向及活性度(activity)而從複數個濾波器中選擇的1個濾波器。

具體而言，首先子區塊(例如2×2子區塊)分類為複數個組別(例如15或25組)。子區塊的分類是根據梯度的方向及活性度來進行。例如，使用梯度的方向值D(例如0～2或0～4)及梯度的活性值A(例如0～4)來算出分類值C(例如C=5D+A)。然後，根據分類值C，將子區塊分類為複數個組別(例如15或25組)。

梯度的方向值D例如是藉由比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A例如是藉由加算複數個方向的梯度並量化加算結果來導出。根據此類分類的結果，從複數個濾波器中決定子區塊用的濾波器。

ALF所用濾波器的形狀可利用例如圓對稱形狀。圖4A～圖4C是表示ALF所用濾波器的形狀的複數例之圖。圖4A表示5×5菱形形狀濾波器，圖4B表示7×7菱形形狀濾波器，圖4C表示9×9菱形形狀濾波器。表示濾波器形狀的資訊是以圖片級別訊號化。再者，表示濾波器形狀的資訊的訊號化無須限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別或CU級別)。

ALF的開啟/關閉是以例如圖片級別或CU級別來決定。例如就亮度而言，以CU級別決定是否適用ALF，就色差而言，以圖片級別決定是否適用ALF。表示ALF的開啟/關閉的資訊是以圖片級別或CU級別來訊號化。再者，表示ALF的開啟/關閉的資訊的訊號化無須限定在圖片級別或CU級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別或CTU級別)。

可選擇的複數個濾波器(例如到15或25的濾波器)的係數集是以圖片級別訊號化。再者，係數集的訊號化無須限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別、CU級別或子區塊級別)。 [幀記憶體]

幀記憶體122是用以儲存幀間預測所用的參考圖片的記憶部，有時亦稱為幀緩衝器。具體而言，幀記憶體122儲存由迴路濾波部120所濾波的重構區塊。 [幀內預測部]

幀內預測部124參考儲存於區塊記憶體118的目前圖片內的區塊，來進行目前區塊的幀內預測(亦稱為畫面內預測)，藉此生成預測訊號(幀內預測訊號)。具體而言，幀內預測部124參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值)，來進行幀內預測，藉此生成幀內預測訊號，將幀內預測訊號輸出至預測控制部128。

例如，幀內預測部124使用預先規定的複數個幀內預測模式中之1個進行幀內預測。複數個幀內預測模式包含1個以上的非方向性預測模式及複數個方向性預測模式。

1個以上的非方向性預測模式包含例如H.265/HEVC(High-Efficiency Video Coding(高效率視訊編碼))規格(非專利文獻1)所規定的Planar(平面)預測模式及DC(直流)預測模式。

複數個方向性預測模式包含例如H.265/HEVC規格所規定的33方向的預測模式。再者，複數個方向性預測模式除了33方向以外，亦可進一步包含32方向的預測模式(合計65個方向性預測模式)。圖5A是表示幀內預測之67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭表示H.265/HEVC規格所規定的33方向，虛線箭頭表示追加的32方向。

再者，於色差區塊的幀內預測中，亦可參考亮度區塊。總言之，亦可根據目前區塊的亮度成分，來預測目前區塊的色差成分。此類幀內預測有時稱為CCLM(cross-component linear model(跨成分線性模型))預測。此類參考亮度區塊之色差區塊的幀內預測模式(例如稱為CCLM模式)亦可加入作為色差區塊的幀內預測模式之一。

幀內預測部124亦可根據水平/垂直方向的參考像素的梯度，來修正幀內預測後的像素值。伴隨有此類修正的幀內預測有時稱為PDPC(position dependent intra prediction combination(位置相關幀內預測組合))。表示有無適用PDPC的資訊(例如稱為PDPC旗標)是以例如CU級別來訊號化。再者，該資訊的訊號化無須限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或CTU級別)。 [幀間預測部]

幀間預測部126參考儲存於幀記憶體122的參考圖片且為與目前圖片不同的參考圖片，來進行目前區塊的幀間預測(亦稱為畫面間預測)，藉此生成預測訊號(幀間預測訊號)。幀間預測是以目前區塊或目前區塊內的子區塊(例如4×4區塊)的單位進行。例如幀間預測部126針對目前區塊或子區塊，進行參考圖片內移動估計(motion estimation)。然後，幀間預測部126使用藉由移動估計所獲得的移動資訊(例如移動向量)，來進行移動補償，藉此生成目前區塊或子區塊的幀間預測訊號。然後，幀間預測部126將生成的幀間預測訊號輸出至預測控制部128。

移動補償用的移動資訊被訊號化。移動向量的訊號化亦可使用移動向量預測子(motion vector predictor)。總言之，亦可將移動向量與移動向量預測子之間的差分訊號化。

再者，不僅可使用藉由移動估計所獲得的目前區塊的移動資訊，亦可使用鄰接區塊的移動資訊來生成幀間預測訊號。具體而言，亦可將根據藉由移動估計所獲得的移動資訊的預測訊號、與根據鄰接區塊的移動資訊的預測訊號予以加權加算，藉此以目前區塊內的子區塊為單位來生成幀間預測訊號。此類幀間預測(移動補償)有時稱為OBMC(overlapped block motion compensation(重疊區塊移動補償))。

於此類OBMC模式，表示OBMC用子區塊的尺寸的資訊(例如稱為OBMC區塊尺寸)是以序列級別訊號化。又，表示適用OBMC模式與否的資訊(例如稱為OBMC旗標)是以CU級別來訊號化。再者，該等資訊的訊號化級別無須限定在序列級別及CU級別，亦可為其他級別(例如圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。

更具體說明OBMC模式。圖5B及圖5C是用以說明利用OBMC處理的預測圖像修正處理的概要的流程圖及概念圖。首先，使用分配給編碼對象區塊的移動向量(MV)，取得一般的移動補償的預測圖像(Pred)。

接著，將編碼完畢的左鄰接區塊的移動向量(MV_L)適用於編碼對象區塊，取得預測圖像(Pred_L)，將前述預測圖像與Pred_L加權重疊，藉此進行預測圖像的第1次修正。

同樣地，將編碼完畢的上鄰接區塊的移動向量(MV_U)適用於編碼對象區塊，取得預測圖像(Pred_U)，將已進行前述第1次修正的預測圖像與Pred_U加權重疊，藉此進行預測圖像的第2次修正，將其作為最終的預測圖像。

再者，於此說明的雖是使用左鄰接區塊及上鄰接區塊的2階段修正的方法，但亦可採用使用右鄰接區塊或下鄰接區塊進行次數多於2階段的修正的構成。再者，進行重疊的區域亦可不是區塊全體的像素區域，而僅是區塊邊界附近的一部分區域。

再者，於此雖說明了從1張參考圖片進行的預測圖像修正處理，但從複數張參考圖片修正預測圖像的情況，亦同樣是在取得從各個參考圖片進行修正的預測圖像後，進一步重疊獲得的預測圖像以作為最終的預測圖像。再者，前述處理對象區塊以預測區塊為單位，或以進一步分割預測區塊而成的子區塊為單位均可。

作為判定是否適用OBMC處理的方法，包括例如使用表示是否適用OBMC處理的訊號obmc_flag的方法。具體一例是於編碼裝置，判定編碼對象區塊是否屬於移動複雜的區域，若屬於移動複雜的區域時，obmc_flag設定值1，適用OBMC處理而進行編碼，不屬於移動複雜的區域時，obmc_flag設定值0，不適用OBMC處理而進行編碼。另一方面，於解碼裝置，藉由解碼串流所記述的obmc_flag，因應其值來切換是否適用OBMC處理而進行解碼。

再者，移動資訊亦可不訊號化而從解碼裝置側導出。例如，亦可使用H.265/HEVC規格所規定的合併模式。又，例如亦可藉由在解碼裝置側進行移動估計，來導出移動資訊。此時，不使用目前區塊的像素值而進行移動估計。

於此，說明有關在解碼裝置側進行移動估計的模式。此在解碼裝置側進行移動估計的模式有時稱為PMMVD(pattern matched motion vector derivation(樣式匹配移動向量導出))模式或FRUC(frame rate up-conversion(幀率提升轉換))模式。

於圖5D表示FRUC處理的一例。首先，參考與目前區塊在空間上或時間上鄰接的編碼完畢區塊的移動向量，生成各自具有移動向量預測子的複數個候選清單(亦可與合併清單共通)。接著，從登錄於候選清單的複數個候選MV之中，選擇最佳候選MV。例如，算出候選清單所含的各候選的評估值，並根據評估值選擇1個候選。

然後，根據選擇的候選移動向量，導出目前區塊用的移動向量。具體而言，例如選擇的候選移動向量(最佳候選MV)直接被導出作為目前區塊用的移動向量。又，例如亦可在對應於選擇的候選移動向量的參考圖片內的位置的周邊區域，進行樣式匹配，藉此導出目前區塊用的移動向量。亦即，亦可對最佳候選MV的周邊區域以同樣的方法進行估計，若有評估值為更佳之值的MV時，將最佳候選MV更新為前述MV，將其作為目前區塊的最終MV。再者，亦可採用不實施該處理的構成。以子區塊為單位進行處理時，亦可採用完全同樣的處理。

再者，評估值是藉由對應於移動向量的參考圖片內的區域與既定區域之間的樣式匹配，求出重構圖像的差分值來算出。再者，除了差分值以外，亦可使用其以外的資訊來算出評估值。

樣式匹配使用的是第1樣式匹配及第2樣式匹配。第1樣式匹配及第2樣式匹配有時分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。

於第1樣式匹配，是在不同的2個參考圖片內的2個區塊且為沿著目前區塊的移動軌道(motion trajectory)的2個區塊之間進行樣式匹配。因此，於第1樣式匹配，是使用沿著目前區塊的移動軌道之其他參考圖片內的區域，來作為上述候選評估值算出用的既定區域。

圖6是用以說明沿著移動軌道的2個區塊間之樣式匹配(雙向匹配)之一例的圖。如圖6所示，於第1樣式匹配，藉由估計沿著目前區塊(Cur block)的移動軌道的2個區塊且為不同的2個參考圖片(Ref0,Ref1)內的2個區塊之配對(pair)中最匹配的配對，來導出2個移動向量(MV0,MV1)。具體而言，對目前區塊，導出由候選MV指定的第1編碼完畢參考圖片(Ref0)內的指定位置的重構圖像、與由對稱MV指定的第2編碼完畢參考圖片(Ref1)內的指定位置的重構圖像之差分，使用獲得的差分值來算出評估值，其中前述對稱MV是以顯示時間間隔將前述候選MV加以縮放(scaling)的MV。選擇複數個候選MV之中評估值為最佳值的候選MV來作為最終MV即可。

假定是連續的移動軌道，指示2個參考區塊的移動向量(MV0,MV1)會與目前圖片(Cur Pic)和2個參考圖片(Ref0,Ref1)之間的時間距離(TD0,TD1)成比例。例如，目前圖片在時間上位於2個參考圖片之間，且從目前圖片到2個參考圖片的時間距離相等時，於第1樣式匹配，會導出反射對稱的雙向移動向量。

於第2樣式匹配，是在目前圖片內的模板(在目前圖片內鄰接於目前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間進行樣式匹配。因此，於第2樣式匹配，是使用目前圖片內鄰接於目前區塊的區塊，來作為上述候選評估值算出用的既定區域。

圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)的一例之圖。如圖7所示，於第2樣式匹配，是藉由於參考圖片(Ref0)內估計與目前圖片(Cur Pic)內鄰接於目前區塊(Cur block)的區塊最匹配的區塊，來導出目前區塊的移動向量。具體而言，對目前區塊，導出左鄰接及上鄰接之雙方或某一方的編碼完畢區域的重構圖像、與由候選MV指定的編碼完畢參考圖片(Ref0)內的同等位置的重構圖像之差分，使用獲得的差分值算出評估值，再選擇複數個MV候選之中評估值為最佳值的候選MV來作為最佳候選MV即可。

該類表示適用FRUC模式與否的資訊(例如稱為FRUC旗標)是以CU級別來訊號化。又，適用FRUC模式時(例如FRUC旗標為真時)，表示樣式匹配方法(第1樣式匹配或第2樣式匹配)的資訊(例如稱為FRUC模式旗標)是以CU級別來訊號化。再者，該等資訊的訊號化無須限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。

於此，說明根據假定為等速直線運動的模型，來導出移動向量的模式。此模式有時稱為BIO(bi-directional optical flow(雙向光流))模式。

圖8是用以說明假定為等速直線運動的模型之圖。於圖8，(v_x ,v_y )表示速度向量，τ₀ 、τ₁ 分別表示目前圖片(Cur Pic)與2個參考圖片(Ref₀ ,Ref₁ )之間的時間距離。(MVx₀ ,MVy₀ )表示對應於參考圖片Ref₀ 的移動向量，(MVx₁ ,MVy₁ )表示對應於參考圖片Ref₁ 的移動向量。

此時，在速度向量(v_x ,v_y )的等速直線運動的假定下，(MVx₀ ,MVy₀ )及(MVx₁ ,MVy₁ )分別表示為(v_x τ₀ ,v_y τ₀ )及(-v_x τ₁ ,-v_y τ₁ )，以下光流等式(1)成立。

[數1]

於此，I^(k) 表示移動補償後的參考圖像k(k=0,1)的亮度值。前述光流等式表示(i)、(ii)與(iii)的和等於零，其中(i)是亮度值的時間微分，(ii)是水平方向的速度及參考圖像的空間梯度的水平成分的積，(iii)是垂直方向的速度及參考圖像的空間梯度的垂直成分的積。根據前述光流等式與赫米特內插法(Hermite interpolation)的組合，以像素單位修正從合併清單等所獲得的區塊單位的移動向量。

再者，亦可採用與根據假定為等速直線運動的模型來導出移動向量的方法不同的方法，在解碼裝置側導出移動向量。例如亦可根據複數個鄰接區塊的移動向量，以子區塊為單位來導出移動向量。

於此，說明根據複數個鄰接區塊的移動向量，以子區塊為單位來導出移動向量的模式。此模式有時稱為仿射移動補償預測(affine motion compensation prediction)模式。

圖9A是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量之圖。於圖9A，目前區塊包含16個4×4子區塊。於此，根據鄰接區塊的移動向量，來導出目前區塊左上角控制點的移動向量v₀ ，根據鄰接子區塊的移動向量，來導出目前區塊右上角控制點的移動向量v₁ 。然後，使用2個移動向量v₀ 及v₁ ，藉由下式(2)來導出目前區塊內的各子區塊的移動向量(v_x ,v_y )。

[數2]

於此，x及y分別表示子區塊的水平位置及垂直位置，w表示預先決定的加權係數。

於該類仿射移動補償預測模式，亦可包含左上及右上角控制點的移動向量導出方法不同的數種模式。該類表示仿射移動補償預測模式的資訊(例如稱為仿射旗標)是以CU級別來訊號化。再者，表示該仿射移動補償預測模式的資訊之訊號化無須限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。 [預測控制部] 預測控制部128選擇幀內預測訊號及幀間預測訊號的任一者，將選擇的訊號作為預測訊號而輸出至減算部104及加算部116。

於此，說明藉由合併模式來導出編碼對象圖片的移動向量之例。圖9B是用以說明利用合併模式的移動向量導出處理的概要的圖。

首先，生成登錄有預測MV之候選的預測MV清單。預測MV的候選包括：空間鄰接預測MV，其為空間上位於編碼對象區塊周邊的複數個編碼完畢區塊所具有的MV；時間鄰接預測MV，其為編碼完畢參考圖片中之投影了編碼對象區塊的位置附近的區塊所具有的MV；結合預測MV，其為組合空間鄰接預測MV與時間鄰接預測MV的MV值而生成的MV；及零預測MV，即值為零的MV等。接著，藉由從登錄於預測MV清單的複數個預測MV之中選擇1個預測MV，來決定為編碼對象區塊的MV。進而於可變長度編碼部，將表示選擇的預測MV為何的訊號即merge_idx記述於串流而編碼。

再者，圖9B所說明的登錄於預測MV清單的預測MV為一例，其個數亦可與圖中的個數不同，或亦可為不包含圖中的預測MV的一部分種類的構成，或亦可為追加有圖中的預測MV的種類以外的預測MV的構成。再者，亦可使用藉由合併模式導出的編碼對象區塊的MV，進行後述的DMVR處理，藉此決定最終的MV。於此，說明使用DMVR處理來決定MV之例。圖9C是用以說明DMVR處理的概要的概念圖。

首先，將設定於處理對象區塊的最佳MVP作為候選MV，按照前述候選MV，從L0方向的處理完畢圖片即第1參考圖片、及L1方向的處理完畢圖片即第2參考圖片分別取得參考像素，並藉由取各參考像素的平均來生成模板。

接著，使用前述模板，分別估計第1參考圖片及第2參考圖片的候選MV的周邊區域，決定成本最小的MV來作為最終的MV。再者，成本值是使用模板的各像素值與估計區域的各像素值的差分值及MV值等來算出。再者，於編碼裝置及解碼裝置，於此說明的處理概要基本上是共通的。再者，亦可不使用於此說明的處理本身，而是使用其他處理，只要是可估計候選MV的周邊並導出最終的MV的處理均可。於此，說明使用LIC處理來生成預測圖像的模式。圖9D是用以說明使用利用LIC處理的亮度修正處理的預測圖像生成方法的概要的圖。首先，導出用以從編碼完畢圖片即參考圖片取得對應於編碼對象區塊的參考圖像的MV。

接著，對編碼對象區塊，使用左鄰接及上鄰接的編碼完畢周邊參考區域的亮度像素值、及由MV指定的參考圖片內的同等位置的亮度像素值，來擷取表示亮度值在參考圖片及編碼對象圖片中如何變化的資訊，算出亮度修正參數。

對由MV指定的參考圖片內的參考圖像使用前述亮度修正參數進行亮度修正處理，藉此生成對於編碼對象區塊的預測圖像。再者，圖9D的前述周邊參考區域的形狀為一例，亦可使用此形狀以外的形狀。

又，於此說明了從1張參考圖片生成預測圖像的處理，但從複數張參考圖片生成預測圖像的情況亦同樣是對從各個參考圖片取得的參考圖像以同樣方法進行亮度修正處理後，生成預測圖像。

作為判定是否適用LIC處理的方法，包括例如使用表示是否適用LIC處理的訊號lic_flag的方法。具體一例是於編碼裝置，判定編碼對象區塊是否屬於發生亮度變化的區域，屬於發生亮度變化的區域時，lic_flag設定值1，適用LIC處理而進行編碼，不屬於發生亮度變化的區域時，lic_flag設定值0，不適用LIC處理而進行編碼。另一方面，於解碼裝置，藉由解碼串流所記述的lic_flag，因應其值來切換是否適用LIC處理而進行解碼。

作為判定是否適用LIC處理的其他方法，亦包括例如按照周邊區塊是否適用了LIC處理來判定的方法。作為具體一例，當編碼對象區塊為合併模式時，判定在合併處理中MV導出時所選擇的周邊的編碼完畢區塊是否適用了LIC處理而編碼，並因應其結果來切換是否適用LIC處理而進行編碼。再者，在此例的情況下，解碼中的處理亦完全同樣。 [解碼裝置的概要]

接著，說明可解碼從上述編碼裝置100輸出的編碼訊號(編碼位元串流)的解碼裝置的概要。圖10是表示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊為單位解碼動態圖像/圖像的動態圖像/圖像解碼裝置。

如圖10所示，解碼裝置200具備熵解碼部202、反量化部204、反轉換部206、加算部208、區塊記憶體210、迴路濾波部212、幀記憶體214、幀內預測部216、幀間預測部218及預測控制部220。

解碼裝置200藉由例如通用處理器及記憶體來實現。此時，由處理器執行儲存於記憶體的軟體程式時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加算部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220發揮功能。又，亦可以對應於熵解碼部202、反量化部204、反轉換部206、加算部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220之專用的1個以上的電子電路來實現解碼裝置200。以下，說明解碼裝置200所含的各構成要件。 [熵解碼部]

熵解碼部202將編碼位元串流予以熵解碼。具體而言，熵解碼部202例如從編碼位元串流算數解碼為二值訊號。然後，熵解碼部202將二值訊號予以多值化(debinarize)。藉此，熵解碼部202以區塊為單位，將量化係數輸出至反量化部204。 [反量化部]

反量化部204將從熵解碼部202輸入的解碼對象區塊(以下稱為目前區塊)的量化係數予以反量化。具體而言，反量化部204針對目前區塊的各個量化係數，根據對應於該量化係數的量化參數，將該量化係數予以反量化。然後，反量化部204將目前區塊之已被反量化的量化係數(亦即轉換係數)輸出至反轉換部206。 [反轉換部] 反轉換部206藉由將從反量化部204輸入的轉換係數予以反轉換，來復原預測誤差。

例如從編碼位元串流解讀的資訊表示適用EMT或AMT時(例如AMT旗標為真)，反轉換部206根據已解讀的表示轉換類型的資訊，來將目前區塊的轉換係數予以反轉換。又，例如從編碼位元串流解讀的資訊表示適用NSST時，反轉換部206對轉換係數適用反再轉換。 [加算部]

加算部208藉由加算從反轉換部206輸入的預測誤差與從預測控制部220輸入的預測樣本，來重構目前區塊。然後，加算部208將重構的區塊輸出至區塊記憶體210及迴路濾波部212。 [區塊記憶體]

區塊記憶體210是用以儲存幀內預測所參考的區塊且為解碼對象圖片(以下稱為目前圖片)內的區塊的記憶部。具體而言，區塊記憶體210儲存從加算部208輸出的重構區塊。 [迴路濾波部]

迴路濾波部212對由加算部208重構的區塊施以迴路濾波，將已濾波的重構區塊輸出至幀記憶體214及顯示裝置等。

當從編碼位元串流解讀的表示ALF之開啟/關閉的資訊表示ALF開啟時，根據局部之梯度的方向及活性度而從複數個濾波器中選擇1個濾波器，將選擇的濾波器適用於重構區塊。 [幀記憶體]

幀記憶體214是用以儲存幀間預測所用的參考圖片的記憶部，有時亦稱為幀緩衝器。具體而言，幀記憶體214儲存由迴路濾波部212所濾波的重構區塊。 [幀內預測部]

幀內預測部216根據從編碼位元串流解讀的幀內預測模式，參考儲存於區塊記憶體210的目前圖片內的區塊來進行幀內預測，藉此生成預測訊號(幀內預測訊號)。具體而言，幀內預測部216參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值)來進行幀內預測，藉此生成幀內預測訊號，將幀內預測訊號輸出至預測控制部220。

再者，於色差區塊的幀內預測中選擇參考亮度區塊的幀內預測模式時，幀內預測部216亦可根據目前區塊的亮度成分來預測目前區塊的色差成分。

又，從編碼位元串流解讀的資訊表示適用PDPC時，幀內預測部216根據水平/垂直方向的參考像素的梯度來修正幀內預測後的像素值。 [幀間預測部]

幀間預測部218參考儲存於幀記憶體214的參考圖片來預測目前區塊。預測是以目前區塊或目前區塊內的子區塊(例如4×4區塊)的單位進行。例如，幀間預測部218使用從編碼位元串流解讀的移動資訊(例如移動向量)來進行移動補償，藉此生成目前區塊或子區塊的幀間預測訊號，並將幀間預測訊號輸出至預測控制部220。

再者，從編碼位元串流解讀的資訊表示適用OBMC模式時，幀間預測部218不僅可使用藉由移動估計所獲得的目前區塊的移動資訊，亦可使用鄰接區塊的移動資訊，來生成幀間預測訊號。

又，從編碼位元串流解讀的資訊表示適用FRUC模式時，幀間預測部218按照從編碼位元串流解讀的樣式匹配的方法(雙向匹配或模板匹配)來進行移動估計，藉此導出移動資訊。然後，幀間預測部218使用導出的移動資訊來進行移動補償。

又，在適用BIO模式時，幀間預測部218根據假定為等速直線運動的模型來導出移動向量。又，從編碼位元串流解讀的資訊表示適用仿射移動補償預測模式時，幀間預測部218根據複數個鄰接區塊的移動向量，以子區塊為單位來導出移動向量。 [預測控制部] 預測控制部220選擇幀內預測訊號及幀間預測訊號的任一者，將選擇的訊號作為預測訊號而輸出至加算部208。接著，一邊參考圖式，一邊具體說明如此的編碼裝置100及解碼裝置200的轉換及反轉換的各態樣。 (第1態樣)

首先，一邊參考圖11～圖12B，一邊說明類型II的離散餘弦轉換(以下稱為DCT2)、類型IV的離散餘弦轉換(以下稱為DCT4)與類型IV的離散正弦轉換(以下稱為DST4)的關係。首先，一邊參考圖11，一邊具體說明DCT2與DCT4的關係。圖11是表示DCT2與DCT4的關係的數式。於圖11，式(1)是尺寸N的DCT2的基底。若將該式(1)分解為偶數行和奇數行，能以式(2)及式(3)表示。

於此，圖11的式(2)是尺寸N/2的DCT2的基底。又，圖11的式(3)是尺寸N/2的DCT4的基底。總言之，尺寸N的DCT2的基底可分解為尺寸N/2的DCT2的基底和尺寸N/2的DCT4的基底。

接著，一邊參考圖12A及圖12B，一邊具體說明DCT4與DST4的關係。DCT4的基底與DST4的基底之差異，僅在於圖11的式(3)中的三角函數是餘弦還是正弦。總言之，DCT4的基底及DST4的基底是相位互相偏離的基底。

圖12A及圖12B是表示DCT4及DST4的基底的圖表。於圖12A及圖12B，橫軸表示與基準像素的距離，縱軸表示位移量。從圖12A及圖12B可知，DCT4和DST4由於具有對稱的性質，因此例如藉由將輸出輸入訊號所含的值重排順序及置換正負號，可使用DCT4的基底來實現DST4。又，亦可變更DCT4的基底的一部分，使用經變更的基底來實現DST4。例如亦可將圖12B所示的DST4的基底中之1次、3次、5次基底的符號(亦即正負號)反轉。又，例如亦可將DST4及DCT4的第偶數個次數的基底，或第奇數個次數的基底的符號反轉。 [編碼裝置的轉換部的處理]

接著，說明編碼裝置100的轉換部106的處理。於此，說明複數個轉換基底的候選僅包含DCT2、DCT4及DST4的基底的情況。

再者，複數個轉換基底的候選亦可包含其他轉換基底，例如亦可包含類型VII的離散正弦轉換及/或類型VIII的離散餘弦轉換的基底。又，複數個轉換基底的候選亦可不包含DCT4及DST4雙方的基底，亦可僅包含DCT4及DST4之中一者的基底。總言之，複數個轉換基底只要除了包含DCT2的基底以外，還包含DCT4及DST4之至少一者的基底即可。圖13是表示第1態樣的編碼裝置100的轉換部106的處理的流程圖。

首先，轉換部106判定區塊尺寸是否為閾值以下(S101)。閾值尺寸為可使用DCT2的最大尺寸的一半以下的尺寸。總言之，閾值尺寸為容許使用DCT2的最大尺寸的二分之一以下。

可使用DCT2的最大尺寸例如是預先定義於標準規格。再者，最大尺寸亦可寫入於位元串流。例如若可使用DCT2的最大尺寸為128，可使用例如64、32、16、8或4來作為閾值尺寸。閾值尺寸亦可預先定義於標準規格，亦可根據編碼參數(例如預測模式等)來決定。

若區塊尺寸為閾值尺寸以下(S101，Yes(是))，轉換部106從複數個轉換基底的候選中，選擇1個以上的轉換基底(S102)。具體而言，轉換部106根據例如RD(Rate Distortion(碼率失真))成本，來選擇編碼對象區塊用的1個以上的轉換基底。

再者，於本態樣，轉換部106的轉換是可就編碼對象區塊的水平方向及垂直方向分離的轉換。因此，轉換部106可就水平方向及垂直方向個別選擇轉換基底。例如轉換部106可根據編碼對象區塊的水平尺寸，選擇水平方向用的轉換基底，根據編碼對象區塊的垂直尺寸，選擇垂直方向用的轉換基底。

此時，表示所選擇的1個以上的轉換基底之選擇基底資訊寫入於位元串流。選擇基底資訊亦可包含例如第1～第3旗標資訊。第1旗標資訊表示是否於水平方向及垂直方向雙方使用DCT2。第2旗標資訊表示於水平方向使用DCT4及DST4之何者。第3旗標資訊表示於垂直方向使用DCT4及DST4之何者。再者，第1～第3旗標資訊為選擇基底資訊的一例，選擇基底資訊不限定於此。

選擇基底資訊在位元串流內的位置並未特別限定。例如以序列級別、圖片級別、切片級別、圖塊級別、CTU級別、CU級別或該等級別的任意組合，將選擇基底資訊訊號化。

若區塊尺寸大於閾值尺寸(S101，No(否))，轉換部106從複數個轉換基底的候選剔除DCT4及DST4的基底之後，選擇1個以上的轉換基底(S103)。於圖13，由於剔除DCT4及DST4的基底之後，僅殘留DCT2的基底，因此固定選擇DCT2的基底。此時，選擇基底資訊亦可不寫入於位元串流。總言之，於固定選擇DCT2的基底的情況下，亦可跳過選擇基底資訊之寫入。最後，轉換部106使用所選擇的1個以上的轉換基底，實施編碼對象區塊的預測誤差的轉換處理(S104)。 [解碼裝置的反轉換部的處理]

接著，說明解碼裝置200的反轉換部206的處理。於此，說明複數個反轉換基底的候選僅包含類型II的反離散餘弦轉換(以下稱為IDCT2)、類型IV的反離散餘弦轉換(以下稱為IDCT4)及類型IV的反離散正弦轉換(以下稱為IDST4)的基底的情況。

再者，複數個反轉換基底的候選對應於編碼裝置100的複數個轉換基底的候選。因此，當複數個轉換基底的候選包含DCT2、DCT4及DST4以外的其他轉換基底時，複數個反轉換基底的候選會包含其他反轉換基底。其他反轉換基底可能為例如類型VII的反離散正弦轉換及/或類型VIII的離散餘弦轉換等之基底。又，複數個反轉換基底的候選亦可不包含IDCT4及IDST4雙方的基底，亦可僅包含IDCT4及IDST4之中一者的基底。總言之，複數個反轉換基底的候選只要除了包含IDCT2的基底以外，還包含IDCT4及IDST4之至少一者的基底即可。

圖14是表示第1態樣的解碼裝置200的反轉換部206的處理的流程圖。具體而言，圖14是用以解碼按照圖13的流程圖編碼後的區塊的流程圖。

首先，與編碼裝置100的轉換部106同樣，反轉換部206判定區塊尺寸是否為閾值以下(S201)。閾值尺寸是與編碼裝置100所用的閾值尺寸為同一尺寸。因此，閾值尺寸為可使用IDCT2的最大尺寸的一半以下的尺寸。

於此，若區塊尺寸為閾值尺寸以下(S201，Yes)，反轉換部206參考位元串流之後設定反轉換基底(S202)。具體而言，反轉換部206根據從位元串流讀出的選擇基底資訊，從複數個反轉換基底的候選中，選擇1個以上的反轉換基底。

再者，反轉換部206的反轉換是可就解碼對象區塊的水平方向及垂直方向分離的轉換。因此，反轉換部206可就水平方向及垂直方向個別選擇反轉換基底。例如反轉換部206可根據解碼對象區塊的水平尺寸，選擇水平方向用的反轉換基底，根據解碼對象區塊的垂直尺寸，選擇垂直方向用的反轉換基底。

若區塊尺寸大於閾值尺寸(S201，No)，反轉換部206從複數個反轉換基底的候選剔除IDCT4及IDST4的基底之後，選擇1個以上的反轉換基底(S203)。於圖14，由於剔除IDCT4及IDST4的基底之後，僅殘留IDCT2的基底，因此反轉換部206固定選擇IDCT2的基底，來作為1個以上的反轉換基底。此時，選擇基底資訊亦可不從位元串流取得。總言之，於固定選擇IDCT2的基底的情況下，亦可跳過從位元串流讀出選擇基底資訊。最後，反轉換部206使用所選擇的1個以上的反轉換基底，實施解碼對象區塊的係數的反轉換處理(S204)。 [電路安裝例的說明]

於此，一邊參考圖15，一邊說明進行該類處理的轉換部106的電路安裝例。圖15是第1態樣的轉換部106的電路構成的示意圖。

如圖15所示，轉換部106具備DCT2(N)運算電路1061。DCT2(N)運算電路1061為第1轉換運算電路的一例，進行尺寸N(N為8以上的2的冪的整數)的DCT2的運算。DCT2(N)運算電路1061包含DCT2(N/2)運算電路1062及DCT4(N/2)運算電路1063。DCT2(N/2)運算電路1062為第2轉換運算電路的一例，進行尺寸N/2的DCT2的運算。DCT4(N/2)運算電路1063為第3轉換運算電路的一例，進行尺寸N/2的DCT4的運算。

對預測誤差訊號，使用尺寸N的DCT2的基底進行轉換時，預測誤差訊號分為2個並輸入於DCT2(N/2)運算電路1062及DCT4(N/2)運算電路1063。總言之，當編碼對象區塊的尺寸大於閾值尺寸時，若選擇DCT2的基底，轉換部106會將編碼對象區塊的預測誤差訊號的一部分輸入DCT2(N/2)運算電路1062，將編碼對象區塊的預測誤差訊號的其他部分輸入DCT4(N/2)運算電路1063。此時，編碼對象區塊的預測誤差訊號的一部分及其他部分分別為例如第偶數個預測誤差訊號及第奇數個預測誤差訊號。

又，對預測誤差訊號，使用尺寸N/2的DCT2的基底進行轉換時，預測誤差訊號輸入於DCT2(N/2)運算電路1062。總言之，當編碼對象區塊的尺寸為閾值尺寸以下時，若選擇DCT2的基底，轉換部106會將編碼對象區塊的預測誤差訊號輸入DCT2(N/2)運算電路1062。

又，對預測誤差訊號進行尺寸N/2的DCT4的轉換時，預測誤差訊號輸入於DCT4(N/2)運算電路1063。總言之，當編碼對象區塊的尺寸為閾值尺寸以下時，若選擇DCT4的基底，轉換部106會將編碼對象區塊的預測誤差訊號輸入DCT4(N/2)運算電路1063。

又，對預測誤差訊號使用尺寸N/2的DST4的基底進行轉換時，首先，預測誤差訊號輸入於反轉電路1064。反轉電路1064使預測誤差訊號所含的第奇數個預測誤差的符號反轉。然後，反轉電路1064輸出包含第偶數個預測誤差、及符號經反轉的第奇數個預測誤差的預測誤差訊號。從反轉電路1064輸出的預測誤差訊號輸入於DCT4(N/2)運算電路1063。DCT4(N/2)運算電路1063對輸入的預測誤差訊號，進行尺寸N/2的DCT4的運算，並將係數訊號輸出至反轉電路1065。反轉電路1065使係數訊號所含的係數的順序反轉並輸出。從反轉電路1065輸出的係數訊號是使用尺寸N/2的DST4的基底轉換後的訊號。

如此，當編碼對象區塊的尺寸為閾值尺寸以下時，若選擇DST4的基底，轉換部106會使編碼對象區塊的預測誤差訊號的一部分符號反轉之後，將其輸入DCT4(N/2)運算電路1063。

再者，於此所述的反轉電路1064及1065分別進行第奇數個預測誤差的符號反轉及預測誤差的順序反轉，但不限定於此。例如亦可反轉第偶數個預測誤差的符號，來取代反轉第奇數個預測誤差的符號。又，在不需要順序反轉時，轉換部106亦可不具備反轉電路1065。

再者，藉由進一步由DCT2(N/4)運算電路及DCT4(N/4)運算電路構成DCT2(N/2)運算電路1062，亦能以DCT2(N/2)運算電路1062進行尺寸N/4的DCT2、DCT4及DST4的運算。總言之，DCT2運算電路亦可採巢套構造，來包含尺寸比其更小的DCT2及DCT4的運算電路。

接著，說明反轉換部206的電路構成。再者，由於反轉換部206的電路構成與轉換部106類似，因此省略圖示。反轉換部206在圖15之轉換部106的電路構成中，DCT會變更為IDCT，反轉電路1064與反轉電路1065會對調。

總言之，反轉換部206具備IDCT2(N)運算電路。IDCT2(N)運算電路為第1反轉換運算電路的一例，進行尺寸N的DCT2的運算。IDCT2(N)運算電路包含IDCT2(N/2)運算電路及IDCT4(N/2)運算電路。IDCT2(N/2)運算電路為第2反轉換運算電路的一例，進行尺寸N/2的DCT2的運算。IDCT4(N/2)運算電路為第3反轉換運算電路的一例，進行尺寸N/2的DCT4的運算。

於此，當解碼對象區塊的尺寸大於閾值尺寸時，若選擇IDCT2的基底，反轉換部206會將解碼對象區塊的係數訊號的一部分輸入IDCT2(N/2)運算電路，將解碼對象區塊的係數訊號的其他部分輸入IDCT4(N/2)運算電路。

又，當解碼對象區塊的尺寸為閾值尺寸以下時，若選擇IDCT2的基底，反轉換部206會將解碼對象區塊的係數訊號輸入IDCT2(N/2)運算電路。進而言之，當解碼對象區塊的尺寸為閾值尺寸以下時，若選擇IDCT4的基底，反轉換部206會將解碼對象區塊的係數訊號輸入IDCT4(N/2)運算電路。

又，當解碼對象區塊的尺寸為閾值尺寸以下時，若選擇IDST4的基底，反轉換部206會使解碼對象區塊的係數反轉其順序，並輸入IDCT4(N/2)運算電路，使從IDCT4(N/2)運算電路輸出的預測誤差訊號的一部分的符號反轉。此時，從IDCT4(N/2)運算電路輸出的預測誤差訊號的其他部分的符號未被反轉。可使用例如預測誤差訊號所含的複數個預測誤差中之第奇數個或第偶數個預測誤差，來作為預測誤差訊號的一部分。 [第1態樣的效果]

若依據第1態樣之構成，編碼裝置100編碼圖片所含的編碼對象區塊，且具備電路及記憶體；電路可使用記憶體，從複數個轉換基底的候選之中選擇1個以上的轉換基底，而前述複數個轉換基底的候選除了包含DCT2的基底以外，還包含DCT4及DST4之至少一者的基底；使用所選擇的1個以上的轉換基底，轉換編碼對象區塊的預測誤差。於上述選擇中，當編碼對象區塊的尺寸大於閾值尺寸時，可從複數個轉換基底的候選剔除DCT4及DST4之至少一者的基底之後，選擇1個以上的轉換基底；閾值尺寸可設為可使用DCT2的最大尺寸的一半以下。

藉此，可防止於編碼對象區塊大於閾值尺寸時，選擇DCT4及DST4的基底。一般而言，DCT4及DST4的處理負載比DCT2高，因此編碼裝置100可達成減低處理負載及/或處理時間。進而言之，由於閾值尺寸為可使用DCT2的最大尺寸的一半以下，因此編碼裝置100僅能以可使用DCT2的最大尺寸的一半以下，選擇DCT4或DST4的基底。由於尺寸N的DCT2的運算包含尺寸N/2的DCT4的運算，因此可將DCT2用的電路轉用到DCT4或DST4的運算，可從複數個轉換基底的候選之中選擇轉換基底，藉此可抑制電路面積擴大。

又，於第1態樣的構成中，複數個轉換基底的候選包含DCT4及DST4雙方的基底；當選擇了DST4的基底時，可使編碼對象區塊的預測誤差的一部分的符號反轉，並對符號經反轉的預測誤差的一部分及預測誤差的其他部分，進行DCT4的運算。

藉此，藉由使預測誤差的一部分的符號反轉，能以DCT4的運算來實現使用了DST4的基底的轉換。因此，可將DCT4用的電路轉用到使用了DST4的基底的轉換。由於可將DCT2用的電路轉用到DCT4的運算，因此就結果而言，可僅使用DCT2用的電路，來實現使用了DCT2、DCT4及DST4各個基底的轉換，即使設成可選擇複數個轉換基底，仍可抑制電路面積擴大。又，於第1態樣的構成中，可將欲反轉符號的預測誤差的一部分設為編碼對象區塊的第偶數個或第奇數個預測誤差。藉此，藉由使第偶數個或第奇數個預測誤差的符號反轉，能以DCT4的運算來實現使用了DST4的基底的轉換。

又，於第1態樣的構成中，當編碼對象區塊的尺寸大於閾值尺寸時，可固定選擇DCT2的基底來作為1個以上的轉換基底。

藉此，當編碼對象區塊的尺寸大於閾值尺寸時，不需要用以選擇轉換基底的成本運算等，可達成減低處理負載及/或處理時間。

又，於第1態樣的構成中，當編碼對象區塊的尺寸為閾值尺寸以下時，可將表示所選擇的1個以上的轉換基底之選擇基底資訊寫入位元串流；當編碼對象區塊的尺寸大於閾值尺寸時，可不將選擇基底資訊寫入位元串流。

藉此，於固定選擇DCT2時，由於位元串流不包含選擇基底資訊，因此可刪減選擇基底資訊的碼量，可使編碼效率提升。

又，於第1態樣的構成中，電路可具有進行尺寸N的DCT2的運算的DCT2(N)運算電路1061，DCT2(N)運算電路1061可包含進行尺寸N/2的DCT2的運算的DCT2(N/2)運算電路1062、及進行尺寸N/2的DCT4的運算的DCT4(N/2)運算電路1063。又，當編碼對象區塊的尺寸大於閾值尺寸時，若選擇DCT2的基底，編碼對象區塊的預測誤差的一部分可輸入於DCT2(N/2)運算電路1062，編碼對象區塊的預測誤差的其他部分可輸入於DCT4(N/2)運算電路1063。又，當編碼對象區塊的尺寸為閾值尺寸以下時，若選擇DCT2的基底，編碼對象區塊的預測誤差可輸入於DCT2(N/2)運算電路1062。

藉此，可於尺寸N/2的DCT2的運算中，利用尺寸N的DCT2的運算電路的一部分，可於要求複數個尺寸的DCT2的運算的電路中抑制電路面積擴大。

又，於第1態樣的構成中，當編碼對象區塊的尺寸為閾值尺寸以下時，若選擇DCT4的基底，編碼對象區塊的預測誤差可輸入於DCT4(N/2)運算電路1063。

藉此，可於尺寸N/2的DCT4的運算中，利用尺寸N的DCT2的運算電路的一部分，可於要求尺寸N的DCT2及尺寸N/2的DCT4的運算的電路中抑制電路面積擴大。

又，於第1態樣的構成中，當編碼對象區塊的尺寸為閾值尺寸以下時，若選擇DST4的基底，可使編碼對象區塊的預測誤差的一部分的符號反轉並輸入於DCT4(N/2)運算電路1063，不使編碼對象區塊的預測誤差的其他部分的符號反轉而輸入於第3運算電路。

藉此，可於尺寸N/2的DST4的運算中，利用尺寸N的DCT2的運算電路的一部分，可於要求尺寸N的DCT2及尺寸N/2的DST4的運算的電路中抑制電路面積擴大。

再者，解碼裝置200的反轉換部206中的反轉換處理，亦可與上述所說明的編碼裝置100的轉換部106的轉換處理同樣地實施。此時，解碼裝置200可發揮與編碼裝置100同樣的效果。

又，編碼裝置100及解碼裝置200未必總是需要本態樣所記載的所有構成要件，亦可僅具備第1態樣的一部分構成要件。 [第1態樣的變形例]

再者，雖說明了上述第1態樣的編碼裝置100及解碼裝置200，但本揭示不限定於該態樣。只要不脫離本揭示之旨趣，所屬技術領域中具有通常知識者所想到的各種變形亦可施行於本態樣。

例如當區塊尺寸大於閾值尺寸時，若轉換基底的候選僅有DCT2的基底，編碼裝置100亦可不於位元串流寫入表示所選擇的1個以上的轉換基底之選擇基底資訊。又，解碼裝置200亦可判斷區塊尺寸是否為閾值尺寸以下，當區塊尺寸大於閾值尺寸時，跳過從位元串流讀出選擇基底資訊的步驟。

DCT2及DCT4的運算亦可採用矩陣運算或蝴蝶運算等任意形式。又，於DCT2及DCT4的運算中，亦可組合或切換矩陣運算及蝴蝶運算。

垂直尺寸及水平尺寸的任一者不在閾值尺寸以下時，就垂直方向及水平方向，均從複數個轉換基底的候選剔除DCT4及/或DST4，僅以DCT2作為轉換基底的候選。總言之，當編碼對象區塊的水平尺寸及垂直尺寸之至少一者大於閾值尺寸時，亦可就水平方向及垂直方向雙方，固定選擇DCT2的基底。又，當解碼對象區塊的水平尺寸及垂直尺寸之至少一者大於閾值尺寸時，亦可就水平方向及垂直方向雙方，固定選擇IDCT2的基底。若依據此，當水平尺寸及垂直尺寸不同時，可就水平方向及垂直方向雙方，固定選擇DCT2或IDCT2，可對減低處理負載及/或處理時間做出貢獻。

複數個轉換基底的候選亦可因應預測模式來變更。例如於幀內預測模式，亦可除了DCT2的基底以外，還追加DST4的基底來作為複數個轉換基底的候選，於幀間預測模式，亦可除了DCT2的基底以外，還追加DST4及DCT4的基底來作為複數個轉換基底的候選。

亦可因應預測模式來變更閾值尺寸。例如若DCT2的最大尺寸為128，於幀內預測模式，閾值尺寸可決定為32，於幀間預測模式，閾值尺寸可決定為64。

再者，於本態樣，說明了複數個轉換基底的候選使用了DCT2、DCT4及DST4的基底之情況，但轉換基底的組合不限於此。亦可使用處於轉換處理可互相共通化之關係的其他轉換基底的組合，來適用同樣的處理。 [與其他態樣的組合]

亦可將本態樣與本揭示的其他態樣的至少一部分組合並實施。又，亦可將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。 (其他態樣)

於以上各實施形態，功能方塊的各個一般可藉由MPU及記憶體等來實現。又，功能方塊的各個的處理一般藉由處理器等之程式執行部讀出並執行記錄於ROM等記錄媒體的軟體(程式)來實現。該軟體藉由下載等來分發，或記錄於半導體記憶體等記錄媒體來分發均可。再者，當然亦可藉由硬體(專用電路)來實現各功能方塊。

又，於各實施形態所說明的處理，可藉由使用單一裝置(系統)集中處理來實現，亦可藉由使用複數個裝置分散處理來實現。又，執行上述程式的處理器為單一數目或複數個均可。亦即，進行集中處理或進行分散處理均可。本揭示的態樣不限定於以上實施例，可予以各種變更，該等變更亦包含於本揭示的態樣的範圍內。

進一步在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例、與使用其之系統。該系統的特徵在於具有使用圖像編碼方法的圖像編碼裝置、使用圖像解碼方法的圖像解碼裝置、及具備雙方的圖像編碼解碼裝置。關於系統中的其他構成，可因應情況適當地變更。 [使用例]

圖16是表示實現內容(contents)發布服務之內容供給系統ex100的全體構成圖。將通訊服務之提供區域分割為所需大小，於各蜂巢(cell)內分別設置固定無線台即基地台ex106、ex107、ex108、ex109、ex110。

於前述內容供給系統ex100，經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106～ex110，將電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器連接於網際網路ex101。前述內容供給系統ex100亦可組合上述任一要件而連接。各機器亦可不經由固定無線台即基地台ex106～ex110，而是經由電話網或近距離無線等而直接或間接地相互連接。又，串流化伺服器ex103經由網際網路ex101等來與電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器連接。又，串流化伺服器ex103經由衛星ex116來與飛機ex117內的熱點內的終端等連接。

再者，亦可使用無線存取點或熱點等來取代基地台ex106～ex110。又，串流化伺服器ex103不經由網際網路ex101或網際網路服務提供者ex102而直接與通訊網ex104連接，或不經由衛星ex116而直接與飛機ex117連接均可。

攝影機ex113是數位攝影機等可拍攝靜止圖及拍攝動態圖的機器。又，智慧型手機ex115是一般支援2G、3G、3.9G、4G，以及今後稱為5G的移動通訊系統方式的智慧型機、行動電話或PHS(Personal Handyphone System(個人手持電話系統))等。家電ex118為冰箱或家庭用燃料電池汽電共生系統所含的機器等。

於內容供給系統ex100，具有攝影功能的終端藉由透過基地台ex106等連接於串流化伺服器ex103，可實現實況發布等。於實況發布，終端(電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端等)對於使用者使用該終端所拍攝的靜止圖或動態圖內容，進行上述各實施形態所說明的編碼處理，將藉由編碼所獲得的影像資料、及對應於影像的聲音經編碼後的聲音資料予以多工，再將獲得的資料發送至串流化伺服器ex103。亦即，各終端是作為本揭示的一態樣的圖像編碼裝置而發揮功能。

另，串流化伺服器ex103將對於有要求的客戶端所發送的內容資料進行串流發布。客戶端是可將上述經編碼處理的資料解碼的電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115或飛機ex117內的終端等。接收到發布資料的各機器將接收資料予以解碼處理並播放。亦即，各機器是作為本揭示的一態樣的圖像解碼裝置而發揮功能。 [分散處理]

又，串流化伺服器ex103亦可為複數台伺服器或複數台電腦，並分散處理、記錄或發布資料。例如串流化伺服器ex103亦可藉由CDN(Contents Delivery Network(內容發布網路))來實現，藉由連結分散在全世界的許多邊緣伺服器與邊緣伺服器間的網路，來實現內容發布。於CDN，因應客戶端而動態地分派物理上接近的邊緣伺服器。然後，藉由對該邊緣伺服器快取及發布內容，可減少延遲。又，由於在發生某種錯誤時，或通訊狀態因流量增加等而改變時，能以複數台邊緣伺服器分散處理，或將發布主體切換為其他邊緣伺服器，以繞過發生障礙的網路部分來持續發布，因此可實現高速且穩定的發布。

又，不僅止於發布本身的分散處理，已拍攝之資料的編碼處理亦可在各終端進行或在伺服器側進行，且亦可互相分擔進行。作為一例，編碼處理一般進行2次處理迴路。於第1次迴路，檢出幀或場景單位的圖像複雜度或碼量。又，於第2次迴路，進行維持畫質且使編碼效率提升的處理。例如，終端進行第1次的編碼處理，收到內容的伺服器側進行第2次的編碼處理，藉此可減少各終端的處理負載，並且可使內容的品質及效率提升。此時，若要求幾乎即時接收並解碼，亦可讓終端所進行的第一次的編碼完畢資料由其他終端接收並播放，因此亦可實現更靈活的即時發布。

作為其他例，攝影機ex113等從圖像進行特徵量擷取，將有關特徵量的資料壓縮，作為元資料(metadata)發送至伺服器。伺服器從例如特徵量來判斷物件(object)的重要性並切換量化精度等，因應圖像的意義來進行壓縮。特徵量資料對於在伺服器再度壓縮時提升移動向量預測的精度及效率尤其有效。又，亦可於終端進行VLC(可變長度編碼)等之簡易的編碼，於伺服器進行CABAC(上下文適應型二值算術編碼方式)等處理負載大的編碼。

進而言之，作為其他例，於體育館、購物中心或工廠等，有時會有藉由複數個終端拍攝大致同一場景而存在複數個影像資料的情況。此時，使用進行攝影的複數個終端、與因應需要未拍攝的其他終端及伺服器，以例如GOP(Group of Picture(圖片群組))單位、圖片單位或圖片經分割後的圖塊單位等，分別分配編碼處理來進行分散處理。藉此可減少延遲，更實現即時性。

又，由於複數個影像資料大致為同一場景，因此亦可由伺服器來管理及/或指示互相參考各終端拍攝的影像資料。又，伺服器亦可接收來自各終端的編碼完畢資料，於複數個資料間變更參考關係，或修正、更換圖片本身，再予以重新編碼。藉此，可生成提高一個個資料的品質及效率的串流。

又，伺服器亦可進行變更影像資料編碼方式之轉碼後，再發布影像資料。例如伺服器將MPEG系統的編碼方式轉換成VP系統，或將H.264轉換成H.265均可。

如此，可藉由終端或1個以上的伺服器來進行編碼處理。故，以下雖採用「伺服器」或「終端」等記載來作為進行處理的主體，但由伺服器進行的處理的一部分或全部亦可由終端來進行，由終端進行的處理的一部分或全部亦可由伺服器來進行。又，關於該等處理，就解碼處理而言亦相同。 [3D、多角度]

近年來，越來越多將由互相大致同步的複數個攝影機ex113及/或智慧型手機ex115等所拍攝的不同場景、或從不同角度拍攝同一場景的圖像或影像予以整合利用的情況。各終端所拍攝的影像是根據另外取得的終端間的相對位置關係、或影像所含之特徵點一致的區域等來整合。

伺服器不僅編碼2維的動態圖像，亦可根據動態圖像的場景分析等，而自動地或於使用者所指定的時刻編碼靜止圖，並發送至接收終端。伺服器進一步在可取得攝影終端間的相對位置關係時，不僅根據2維的動態圖像，亦可根據從不同角度拍攝同一場景的影像，來生成該場景的3維形狀。再者，伺服器可另外編碼藉由點雲等所生成的3維資料，亦可使用3維資料來辨識或追蹤人物或物件，並根據辨識或追蹤的結果，從複數個終端拍攝的影像中選擇或重構並生成要發送至接收終端的影像。

如此，使用者可任意選擇對應於各攝影終端的各影像來欣賞場景，亦可欣賞從使用複數個圖像或影像重構的3維資料切出任意視點的影像的內容。進而言之，與影像相同，聲音亦可從複數個不同角度來收音，伺服器配合影像，將來自特定角度或空間的聲音與影像進行多工並發送。

又，近年來Virtual Reality(VR)(虛擬實境)及Augmented Reality(AR)(擴增實境)等使現實世界與虛擬世界相對應的內容亦日益普及。VR圖像時，伺服器可分別製作右眼用及左眼用的視點圖像，藉由Multi-View Coding (MVC)(多視角編碼)等，進行各視點影像間容許參考的編碼，亦可互相不參考而作為不同的串流來編碼。於解碼不同的串流時，使其互相同步播放以因應使用者的視點重現虛擬的3維空間即可。

AR圖像時，伺服器根據3維位置或使用者的視點移動，來對現實空間的攝影機資訊重疊虛擬空間上的虛擬物體資訊。解碼裝置亦可取得或保持虛擬物體資訊及3維資料，因應使用者的視點移動來生成2維圖像，藉由平滑地接合以製作重疊資料。又，解碼裝置亦可除了虛擬物體資訊的請求以外，還將使用者的視點移動發送至伺服器，伺服器配合從保持於伺服器的3維資料所接收到的視點移動來製作重疊資料，編碼重疊資料並發布至解碼裝置。再者，重疊資料除了RGB以外，亦可還具有表示穿透度的α值，伺服器將從3維資料製作的物件以外的部分的α值設定為0等，在該部分為穿透的狀態下編碼。或者，伺服器亦可像色度鍵(chroma key)一樣，將背景設定成既定值的RGB值，並生成物件以外的部分皆設為背景色的資料。

同樣地，已發布之資料的解碼處理可在作為客戶端的各終端進行，亦可在伺服器側進行，亦可互相分擔進行。作為一例，亦可是某終端先對伺服器發送接收要求，再由其他終端接收因應該要求的內容並進行解碼處理，對具有顯示器的裝置發送解碼完畢的訊號。藉由不依賴可通訊的終端本身的性能而將處理分散並選擇適當的內容，可播放畫質良好的資料。又，作為其他例，亦可於TV等接收大尺寸的圖像資料，同時於觀賞者的個人終端解碼圖片經分割的圖塊等一部分區域而顯示。藉此，可共有全體圖像，同時在手邊確認自身的負責領域或欲更詳細確認的區域。

又，預料今後會在不受屋內外的影響，可使用複數種近距離、中距離或長距離的無線通訊的狀況下，利用MPEG-DASH等發布系統規格，一邊對連接中的通訊切換適當的資料，一邊無縫地(seamless)接收內容。藉此，使用者不侷限於自身的終端，可一邊自由地選擇設置於屋內外的顯示器等之解碼裝置或顯示裝置，一邊即時地切換。又，可根據自身的位置資訊等，一邊切換解碼的終端及顯示的終端一邊進行解碼。藉此，在往目的地之移動中，還可以一邊使內嵌有可顯示器件的一旁建築物的壁面或地面的一部分顯示地圖資訊一邊移動。又，亦可根據在網路上對編碼資料的存取容易性而切換接收資料的位元率(bit rate)，前述對編碼資料的存取容易性是指編碼資料被快取到可從接收終端短時間地存取的伺服器、或被複製到內容發布服務中的邊緣伺服器等。 [可適性編碼]

關於內容切換，使用圖17所示之應用上述各實施形態所示動態圖像編碼方法所壓縮編碼的可適性串流來說明。伺服器具有複數個內容相同、質不同的串流來作為個別串流雖無妨，但亦可如圖示，構成為活用藉由分層進行編碼所實現的時間性/空間性可適性串流的特徵來切換內容。總言之，解碼側因應性能之內在要因與通訊頻帶狀態等之外在要因，來決定解碼到哪一層，藉此，解碼側可自由切換低解析度的內容與高解析度的內容而解碼。例如移動中以智慧型手機ex115收看的影像的後續，回家後想在網際網路TV等機器收看時，該機器只要將相同串流解碼至不同層即可，因此可減輕伺服器側的負擔。

進而言之，除了如上述般就每層編碼圖片且於基礎層的上位存在有增強層之實現可適性的構成以外，亦可是增強層包含有根據圖像的統計資訊等之元資訊，且解碼側根據元資訊來將基礎層的圖片進行超解析，藉此生成高畫質的內容。超解析亦可指同一解析度的SN比提升及解析度擴大的任一者。元資訊包含用以特定出使用於超解析處理的線性或非線性濾波係數的資訊，或特定出使用於超解析處理的濾波處理、機械學習或最小平方運算的參數值的資訊等。

又，亦可構成為因應圖像內的物件等的意義將圖片分割為圖塊等，解碼側選擇欲解碼的圖塊，藉此僅解碼一部分區域。又，將物件屬性(人物、車、球等)及影像內位置(同一圖像內的座標位置等)作為元資訊儲存，藉此，解碼側可根據元資訊特定出所需物件的位置，決定包含該物件的圖塊。例如，如圖18所示，使用HEVC的SEI訊息等與像素資料不同的資料儲存構造來儲存元資訊。此元資訊表示例如主物件的位置、尺寸或色彩等。

又，以串流、序列、隨機存取單位等由複數個圖片所構成的單位來儲存元資訊亦可。藉此，解碼側可取得特定人物出現在影像內的時刻等，藉由配合圖片單位的資訊，可特定出物件所存在的圖片及物件在圖片內的位置。 [網頁最佳化]

圖19是表示電腦ex111等之網頁的顯示畫面例的圖。圖20是表示智慧型手機ex115等之網頁的顯示畫面例的圖。如圖19及圖20所示，網頁有時包含複數個連結至圖像內容的連結圖像，依瀏覽的器件，其觀看結果會不同。畫面上可看到複數個連結圖像時，顯示裝置(解碼裝置)顯示各內容所具有的靜止圖或I圖片來作為連結圖像，或以複數個靜止圖或I圖像等來顯示諸如gif動畫的影像，或僅接收基礎層來解碼及顯示影像，直到使用者明確地選擇連結圖像，或連結圖像靠近畫面中央附近，或者連結圖像全體進入畫面內為止。

由使用者選擇了連結圖像時，顯示裝置將基礎層最優先解碼。再者，構成網頁的HTML具有表示其為可適性內容的資訊時，顯示裝置亦可解碼至增強層。又，為了保證即時性，在選擇前或通訊頻帶非常嚴苛時，顯示裝置僅解碼及顯示參考前方的圖片(I圖片、P圖片、僅參考前方的B圖片)，藉此可減低開頭圖片的解碼時刻與顯示時刻之間的延遲(從開始解碼內容到開始顯示的延遲)。又，顯示裝置亦可特意忽視圖片的參考關係，令所有B圖片及P圖片參考前方而粗略地解碼，隨著時間經過且接收的圖片增加，再進行正常解碼。 [自動行駛]

又，為了車輛自動行駛或支援行駛而接收、發送2維或3維地圖資訊等靜止圖或影像資料時，接收終端亦可除了接收屬於1個以上的層的圖像資料以外，亦接收天候或施工資訊等作為元資訊，使該等相對應而解碼。再者，元資訊屬於層，或單純與圖像資料進行多工均可。

此時，由於包含接收終端的車輛、無人機或飛機等進行移動，因此接收終端藉由在接收要求時發送該接收終端的位置資訊，可一邊切換基地台ex106～ex110一邊實現無縫的接收及解碼。又，接收終端可因應使用者的選擇、使用者的狀況或通訊頻帶的狀態，動態地切換元資訊的接收程度或地圖資訊的更新程度。

如以上，於內容供給系統ex100，客戶端可即時接收由使用者發送的經編碼的資訊，予以解碼並播放。 [個人內容發布]

又，於內容供給系統ex100，不僅是來自影像發布業者的高畫質、長時間的內容，來自個人的低畫質、短時間的內容，亦可進行單播或多播發布。又，此類個人內容今後應會日益增加。為了使個人內容成為更優質的內容，伺服器亦可進行編輯處理後再進行編碼處理。此可由例如以下構成來實現。

伺服器在攝影時即時地或積存而在攝影後，從原圖像或編碼完畢資料進行攝影錯誤、場景估計、意義分析及物件檢出等辨識處理。然後，伺服器根據辨識結果，進行如下編輯：手動或自動地修正失焦或手震等；刪除亮度比其他圖片低、焦點未對準的場景等重要性低的場景；強調物件的邊緣；使色調變化等。伺服器根據編輯結果來編碼編輯後的資料。又，已知若攝影時間過長，收視率會下降，伺服器亦可根據圖像處理結果，因應攝影時間，如上述般不僅自動剪輯重要性低的場景，亦剪輯移動少的場景等，以使內容維持在特定時間範圍內。又，伺服器亦可根據場景的意義分析的結果，生成摘要並編碼。

再者，個人內容有直接播送會拍到侵害著作權、著作人格權或肖像權等物的個案，亦有共有的範圍超越了意圖的範圍等對個人來說不便的情況。故，例如伺服器亦可將畫面周邊部的人臉或家中等特意變更為焦點不對準的圖像再編碼。又，伺服器亦可辨識編碼對象圖像內是否拍到與預先登錄的人物不同的人物的臉，拍到時，亦可進行對臉的部分加上馬賽克等之處理。又，作為編碼的預處理或後處理，亦可基於著作權等的觀點，指定使用者欲進行圖像加工的人物或背景區域，伺服器進行將指定的區域置換為其他影像，或模糊焦點等處理。若是人物，可一邊於動態圖像追蹤人物，一邊置換臉的部分的影像。

又，資料量少的個人內容的收看強烈要求即時性，因此雖也會依頻帶寬而定，但解碼裝置首先最優先接收基礎層，進行解碼及播放。解碼裝置亦可在此期間接收增強層，於播放循環時等播放2次以上的情況下，包含增強層在內而播放高畫質的影像。若是此類進行可適性編碼的串流，可提供如下體驗：在未選擇時或開始觀看的階段，動態圖雖粗略，但串流逐漸智慧化，圖像改善。除了可適性編碼以外，將第1次所播放的粗略串流、及參考第1次動態圖而編碼的第2次串流構成為1個串流，亦可提供相同的體驗。 [其他使用例]

又，該等編碼或解碼處理一般在各終端所具有的LSIex500處理。LSIex500為單晶片或由複數個晶片所組成的構成均可。再者，亦可將動態圖像編碼或解碼用的軟體，組入電腦ex111等可讀取之某種記錄媒體(CD-ROM、軟碟、或硬碟等)，並使用該軟體進行編碼或解碼處理。進而言之，智慧型手機ex115附有攝影機時，亦可發送由該攝影機所取得的動態圖資料。此時的動態圖資料是經智慧型手機ex115所具有的LSIex500進行編碼處理的資料。

再者，LSIex500亦可為下載應用軟體並啟用的構成。此時，終端首先判斷該終端是否支援內容的編碼方式，或是否具有特定服務的執行能力。終端不支援內容的編碼方式時，或不具有特定服務的執行能力時，終端下載內容或應用軟體，其後取得並播放內容。

又，不限於經由網際網路ex101的內容供給系統ex100，於數位播放用系統，亦可組入上述各實施形態的動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之至少任一者。由於利用衛星等使播放用電波承載已將影像與聲音進行多工的多工資料來收發，因此相對於內容供給系統ex100為容易進行單播的構成，其差異在於適合多播，但關於編碼處理及解碼處理，可進行同樣的應用。 [硬體構成]

圖21是表示智慧型手機ex115的圖。又，圖22是表示智慧型手機ex115的構成例的圖。智慧型手機ex115具有：天線ex450，用以與基地台ex110之間收發電波；攝影機部ex465，可拍攝影像及靜止圖；及顯示部ex458，顯示由攝影機部ex465所拍攝的影像、及由天線ex450所接收的影像等經解碼的資料。智慧型手機ex115進一步具備：操作部ex466，其為觸控面板等；聲音輸出部ex457，其為用以輸出聲音或音響的揚聲器等；聲音輸入部ex456，其為用以輸入聲音的微音器等；記憶體部ex467，可用以保存拍攝的影像或靜止圖、錄音的聲音、接收的影像或靜止圖、郵件等經編碼的資料或經解碼的資料；及插槽部ex464，其是與SIMex468的介面部，該SIMex468是用以特定出使用者、對於以網路為首之各種資料的存取進行認證。再者，亦可使用外接記憶體來取代記憶體部ex467。

又，統籌地控制顯示部ex458及操作部ex466等的主控制部ex460，經由匯流排ex470而與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝影機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464及記憶體部ex467連接。

藉由使用者之操作而使電源鍵成為開啟狀態時，電源電路部ex461從電池組(battery pack)對各部供給電力，藉此將智慧型手機ex115啟動為可動作的狀態。

智慧型手機ex115根據具有CPU、ROM及RAM等的主控制部ex460的控制，進行通話及資料通訊等處理。通話時，以聲音訊號處理部ex454，將由聲音輸入部ex456所收音的聲音訊號轉換成數位聲音訊號，以調變/解調部ex452進行展頻處理，以發送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，經由天線ex450發送。又，放大接收資料，施行頻率轉換處理及類比數位轉換處理，以調變/解調部ex452進行解展頻處理，以聲音訊號處理部ex454轉換成類比聲音訊號後，從聲音輸出部ex457將其輸出。於資料通訊模式時，藉由主體部的操作部ex466等之操作，經由操作輸入控制部ex462，將文本(text)、靜止圖或影像資料送出至主控制部ex460，並同樣地進行收發處理。於資料通訊模式時發送影像、靜止圖或影像及聲音時，影像訊號處理部ex455將保存於記憶體部ex467的影像訊號、或從攝影機部ex465輸入的影像訊號，藉由上述各實施形態所示動態圖像編碼方法予以壓縮編碼，將已被編碼的影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454將聲音訊號編碼，將已被編碼的聲音資料送出至多工/分離部ex453，其中該聲音訊號是在以攝影機部ex465拍攝影像或靜止圖等之同時，以聲音輸入部ex456收音的聲音訊號。多工/分離部ex453以既定的方式將編碼完畢影像資料及編碼完畢聲音資料予以多工，以調變/解調部(調變/解調電路部)ex452及發送/接收部ex451施以調變處理及轉換處理，經由天線ex450來發送。

接收附加於電子郵件或聊天的影像、或連結至網頁等之影像時，為了解碼經由天線ex450所接收的多工資料，多工/分離部ex453藉由分離多工資料，來將多工資料區分為影像資料的位元串流與聲音資料的位元串流，經由同步匯流排ex470，將已被編碼的影像資料供給至影像訊號處理部ex455，並且將已被編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，經由顯示器控制部ex459，從顯示部ex458顯示被連結的動態圖像檔所含的影像或靜止圖。又，聲音訊號處理部ex454解碼聲音訊號，從聲音輸出部ex457輸出聲音。再者，由於即時串流已普及，因此依使用者的狀況，亦可能發生聲音的播放就社會觀點而言不妥的情況。因此，作為初始值，宜採用不播放聲音訊號僅播放影像訊號的構成。亦可僅於使用者進行點擊影像資料等操作時才同步播放聲音。

又，於此雖是以智慧型手機ex115為例說明，但作為終端，除了具有編碼器及解碼器雙方的收發型終端以外，亦可考慮僅具有編碼器的發送終端及僅具有解碼器的接收終端等3種安裝形式。進而言之，雖說明了於數位播放用系統接收或發送對影像資料多工有聲音資料的多工資料的情況，但於多工資料，除了聲音資料以外，與影像相關連的文字資料等亦可受到多工，且亦可接收或發送影像資料本身而不是多工資料。

再者，雖說明了包含CPU的主控制部ex460控制編碼或解碼處理的情況，但終端亦經常具備GPU。故，亦可構成如：藉由在CPU與GPU共通化的記憶體，或藉由位址受管理以便可共通使用的記憶體，來活用GPU的性能而統一處理大區域。藉此，可縮短編碼時間，確保即時性，實現低延遲。尤其是不採用CPU而採用GPU，以圖片等為單位統一進行移動估計、去區塊濾波、SAO(Sample Adaptive Offset(樣本適應性偏移))及轉換/量化的處理時甚有效率。

產業上之可利用性本揭示可利用於例如電視機、數位錄影機、車用導航器、行動電話、數位相機或數位攝影機等。

10～23:區塊 100:編碼裝置 102:分割部 104:減算部 106:轉換部 108:量化部 110:熵編碼部 112、204:反量化部 114、206:反轉換部 116、208:加算部 118、210:區塊記憶體 120、212:迴路濾波部 122、214:幀記憶體 124、216:幀內預測部 126、218:幀間預測部 128、220:預測控制部 160:電路 162:記憶體 200:解碼裝置 202:熵解碼部 1061:DCT2(N)運算電路 1062:DCT2(N/2)運算電路 1063:DCT4(N/2)運算電路 1064、1065:反轉電路 ALF:適應性迴路濾波器 AMT:適應性多重轉換 AR:擴增實境 AST:適應性二次轉換 BIO:雙向光流 CCLM:跨成分線性模型 CABAC:上下文適應型二值算術編碼方式 CDN:內容發布網路 CTU:編碼樹單元 CU:編碼單元 Cur block:目前區塊 DCT:離散餘弦轉換 DF:去區塊濾波器 DST:離散正弦轉換 EMT:顯式多重核心轉換 ex100:內容供給系統 ex101:網際網路 ex102:網際網路服務提供者 ex103:串流化伺服器 ex104:通訊網 ex106～ex110:基地台 ex111:電腦 ex112:遊戲機 ex113:攝影機 ex114:家電 ex115:智慧型手機 ex116:衛星 ex117:飛機 ex450:天線 ex451:發送/接收部 ex452:調變/解調部 ex453:多工/分離部 ex454:聲音訊號處理部 ex455:影像訊號處理部 ex456:聲音輸入部 ex457:聲音輸出部 ex458:顯示部 ex459:顯示器控制部 ex460:主控制部 ex461:電源電路部 ex462:操作輸入控制部 ex463:攝影機介面部 ex464:插槽部 ex465:攝影機部 ex466:操作部 ex467:記憶體部 ex468:SIM ex470:匯流排、同步匯流排 ex500:LSI FRUC:幀率提升轉換 GOP:圖片群組 HEVC:高效率視訊編碼 MBT:多類型樹 MV、MV0、MV1、MV_L、MV_U:移動向量 MVC:多視角編碼 NSST:不可分離二次轉換 OBMC:重疊區塊移動補償 PDPC:位置相關幀內預測組合 PMMVD:樣式匹配移動向量導出 Pred、Pred_L、Pred_U:預測圖像 PU:預測單元 QP:量化參數 QTBT:四元樹加二元樹 Ref0、Ref1:參考圖片 SAO:樣本適用性偏移 TU:轉換單元 v₀、v₁、v_x、v_y:移動向量 VLC:可變長度編碼 VR:虛擬實境 S101～S104、S201～S204:步驟

圖1是表示實施形態1的編碼裝置的功能構成的方塊圖。圖2是表示實施形態1的區塊分割的一例的圖。圖3是表示對應於各轉換類型的轉換基底函數的表。圖4A是表示ALF所用的濾波器的形狀的一例的圖。圖4B是表示ALF所用的濾波器的形狀的其他一例的圖。圖4C是表示ALF所用的濾波器的形狀的其他一例的圖。圖5A是表示幀內預測的67個幀內預測模式的圖。圖5B是用以說明利用OBMC處理的預測圖像修正處理的概要的流程圖。圖5C是用以說明利用OBMC處理的預測圖像修正處理的概要的概念圖。圖5D是表示FRUC的一例的圖。圖6是用以說明沿著移動軌道的2個區塊間的樣式(pattern)匹配(雙向匹配)的圖。圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)的圖。圖8是用以說明假定為等速直線運動的模型的圖。圖9A是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量的圖。圖9B是用以說明利用合併模式的移動向量導出處理的概要的圖。圖9C是用以說明DMVR處理的概要的概念圖。圖9D是用以說明使用了利用LIC處理的亮度修正處理的預測圖像生成方法的概要的圖。圖10是表示實施形態1的解碼裝置的功能構成的方塊圖。圖11是表示DCT2與DCT4的關係的DCT2的基底的數式。圖12A是表示DCT4的基底的圖表。圖12B是表示DST4的基底的圖表。圖13是表示第1態樣的編碼裝置的轉換部的處理的流程圖。圖14是表示第1態樣的解碼裝置的反轉換部的處理的流程圖。圖15是表示第1態樣的轉換部的電路構成的示意圖。圖16是實現內容發布服務的內容供給系統的全體構成圖。圖17是表示可適性編碼時的編碼構造的一例的圖。圖18是表示可適性編碼時的編碼構造的一例的圖。圖19是表示網頁的顯示畫面例的圖。圖20是表示網頁的顯示畫面例的圖。圖21是表示智慧型手機的一例的圖。圖22是表示智慧型手機的構成例的方塊圖。

S101~S104:步驟

Claims

一種編碼裝置，是編碼圖片所含的編碼對象區塊的編碼裝置，且具備：電路；及記憶體；前述電路使用前述記憶體，從複數個轉換基底的候選之中選擇1個以上的轉換基底，而前述複數個轉換基底的候選除了包含DCT2(Discrete Cosine Transform type-II(離散餘弦轉換type-II))的基底以外，還包含DCT4(Discrete Cosine Transform type-IV)及DST4(Discrete Sine Transform type-IV(離散正弦轉換type-IV))之至少一者的基底；使用所選擇的前述1個以上的轉換基底，轉換前述編碼對象區塊的預測誤差；於前述選擇中，當前述編碼對象區塊的尺寸大於閾值尺寸時，從前述複數個轉換基底的候選剔除DCT4及DST4之前述至少一者的基底之後，選擇前述1個以上的轉換基底；前述閾值尺寸為可使用DCT2的最大尺寸的一半以下。
如請求項1之編碼裝置，其中前述複數個轉換基底的候選包含DCT4及DST4雙方的基底；於前述轉換中，當選擇了DST4的基底時，使前述編碼對象區塊的預測誤差的一部分的符號反轉，對前述符號經反轉的預測誤差的一部分及前述預測誤差的其他部分，進行DCT4的運算。
如請求項2之編碼裝置，其中前述預測誤差的一部分為前述編碼對象區塊的第偶數個預測誤差。
如請求項2之編碼裝置，其中前述預測誤差的一部分為前述編碼對象區塊的第奇數個預測誤差。
如請求項1之編碼裝置，其中於前述選擇中，當前述編碼對象區塊的尺寸大於前述閾值尺寸時，固定選擇DCT2的基底來作為前述1個以上的轉換基底。
如請求項5之編碼裝置，其中當前述編碼對象區塊的尺寸為前述閾值尺寸以下時，將表示所選擇的前述1個以上的轉換基底之選擇基底資訊寫入位元串流；當前述編碼對象區塊的尺寸大於前述閾值尺寸時，不將前述選擇基底資訊寫入位元串流。
如請求項5之編碼裝置，其中於前述選擇中，可就前述編碼對象區塊的水平方向及垂直方向，個別選擇轉換基底；當前述編碼對象區塊的水平尺寸及垂直尺寸之至少一者大於前述閾值尺寸時，就前述水平方向及前述垂直方向雙方固定選擇DCT2的基底。
如請求項1至7中任一項之編碼裝置，其中前述電路具有第1轉換運算電路，其進行尺寸N的DCT2的運算；前述第1轉換運算電路包含：第2轉換運算電路，其進行尺寸N/2的DCT2的運算；及第3轉換運算電路，其進行尺寸N/2的DCT4的運算。
如請求項8之編碼裝置，其中當前述編碼對象區塊的尺寸大於前述閾值尺寸時，若選擇DCT2的基底，前述編碼對象區塊的預測誤差訊號的一部分會輸入於前述第2轉換運算電路，前述編碼對象區塊的預測誤差訊號的其他部分會輸入於前述第3轉換運算電路。
如請求項8之編碼裝置，其中當前述編碼對象區塊的尺寸為前述閾值尺寸以下時，若選擇DCT2的基底，前述編碼對象區塊的預測誤差訊號會輸入於前述第2轉換運算電路。
如請求項8之編碼裝置，其中當前述編碼對象區塊的尺寸為前述閾值尺寸以下時，若選擇DCT4的基底，前述編碼對象區塊的預測誤差訊號會輸入於前述第3轉換運算電路。
如請求項8之編碼裝置，其中當前述編碼對象區塊的尺寸為前述閾值尺寸以下時，若選擇DST4的基底，前述編碼對象區塊的預測誤差訊號會在該預測誤差訊號的一部分的符號反轉之後，輸入於前述第3轉換運算電路。
一種解碼裝置，是解碼編碼圖片所含的解碼對象區塊的解碼裝置，且具備：電路；及記憶體；前述電路使用前述記憶體，從複數個反轉換基底的候選之中選擇1個以上的反轉換基底，而前述複數個反轉換基底的候選除了包含IDCT2(Inverse Discrete Cosine Transform type-II(反離散餘弦轉換type-II))的基底以外，還包含IDCT4(Inverse Discrete Cosine Transform type-IV)及IDST4(Inverse Discrete Sine Transform type-IV(反離散正弦轉換type-IV))之至少一者的基底；使用所選擇的前述1個以上的反轉換基底，反轉換前述解碼對象區塊的係數；於前述選擇中，當前述解碼對象區塊的尺寸大於閾值尺寸時，從前述複數個反轉換基底的候選剔除IDCT4及IDST4之前述至少一者的基底之後，選擇前述1個以上的反轉換基底；前述閾值尺寸為可使用IDCT2的最大尺寸的一半以下。
如請求項13之解碼裝置，其中前述複數個反轉換基底的候選包含IDCT4及IDST4基底雙方；於前述反轉換中，當選擇了IDST4的基底時，對前述解碼對象區塊的係數進行IDCT4的運算，反轉IDCT4的運算結果的一部分的符號。
如請求項14之解碼裝置，其中前述運算結果的一部分為前述運算結果所含的第偶數個預測誤差。
如請求項15之解碼裝置，其中前述運算結果的一部分為前述運算結果所含的第奇數個預測誤差。
如請求項13之解碼裝置，其中於前述選擇中，當前述解碼對象區塊的尺寸大於前述閾值尺寸時，固定選擇DCT2的基底來作為前述1個以上的反轉換基底。
如請求項17之解碼裝置，其中當前述解碼對象區塊的尺寸為前述閾值尺寸以下時，從位元串流讀出表示前述1個以上的反轉換基底之選擇基底資訊；當前述解碼對象區塊的尺寸大於前述閾值尺寸時，跳過從前述位元串流讀出前述選擇基底資訊。
如請求項17之解碼裝置，其中於前述選擇中，可就前述解碼對象區塊的水平方向及垂直方向，個別選擇反轉換基底；當前述解碼對象區塊的水平尺寸及垂直尺寸之至少一者大於前述閾值尺寸時，就前述水平方向及前述垂直方向雙方固定選擇IDCT2的基底。
如請求項13至19中任一項之解碼裝置，其中前述電路具有第1反轉換運算電路，其進行尺寸N的IDCT2的運算；前述第1反轉換運算電路包含：第2反轉換運算電路，其進行尺寸N/2的IDCT2的運算；及第3反轉換運算電路，其進行尺寸N/2的IDCT4的運算。
如請求項20之解碼裝置，其中當前述解碼對象區塊的尺寸大於前述閾值尺寸時，若選擇IDCT2的基底，前述解碼對象區塊的係數訊號的一部分會輸入於前述第2反轉換運算電路，前述解碼對象區塊的係數訊號的其他部分會輸入於前述第3反轉換運算電路。
如請求項20之解碼裝置，其中當前述解碼對象區塊的尺寸為前述閾值尺寸以下時，若選擇IDCT2的基底，前述解碼對象區塊的係數訊號會輸入於前述第2反轉換運算電路。
如請求項20之解碼裝置，其中當前述解碼對象區塊的尺寸為前述閾值尺寸以下時，若選擇IDCT4的基底，前述解碼對象區塊的係數訊號會輸入於前述第3反轉換運算電路。
如請求項20之解碼裝置，其中當前述解碼對象區塊的尺寸為前述閾值尺寸以下時，若選擇DST4的基底，前述解碼對象區塊的係數訊號會輸入於前述第3反轉換運算電路，從前述第3反轉換運算電路輸出的預測誤差訊號的一部分的符號被反轉。
一種編碼方法，是編碼圖片所含的編碼對象區塊的編碼方法；從複數個轉換基底的候選之中選擇1個以上的轉換基底，而前述複數個轉換基底的候選除了包含DCT2(Discrete Cosine Transform type-II)的基底以外，還包含DCT4(Discrete Cosine Transform type-IV)及DST4(Discrete Sine Transform type-IV)之至少一者的基底；使用所選擇的前述1個以上的轉換基底，轉換前述編碼對象區塊的預測誤差；於前述選擇中，當前述編碼對象區塊的尺寸大於閾值尺寸時，從前述複數個轉換基底的候選剔除DCT4及DST4之前述至少一者的基底之後，選擇前述1個以上的轉換基底；前述閾值尺寸為可使用DCT2的最大尺寸的一半以下。
一種解碼方法，是解碼編碼圖片所含的解碼對象區塊的解碼方法；從複數個反轉換基底的候選之中選擇1個以上的反轉換基底，而前述複數個反轉換基底的候選除了包含IDCT2(Inverse Discrete Cosine Transform type-II)的基底以外，還包含IDCT4(Inverse Discrete Cosine Transform type-IV)及IDST4(Inverse Discrete Sine Transform type-IV)之至少一者的基底；使用所選擇的前述1個以上的反轉換基底，反轉換前述解碼對象區塊的係數；於前述選擇中，當前述解碼對象區塊的尺寸大於閾值尺寸時，從前述複數個反轉換基底的候選剔除IDCT4及IDST4之前述至少一者的基底之後，選擇前述1個以上的反轉換基底；前述閾值尺寸為可使用IDCT2的最大尺寸的一半以下。