TW201808004A

TW201808004A - 編碼裝置、解碼裝置、編碼方法及解碼方法

Info

Publication number: TW201808004A
Application number: TW106125561A
Authority: TW
Inventors: 大川真人; 齋藤秀雄; 西孝啓; 遠間正真
Original assignee: 美商松下電器（美國）知識產權公司
Priority date: 2016-07-29
Filing date: 2017-07-28
Publication date: 2018-03-01
Also published as: WO2018021373A1

Abstract

一種對圖像的編碼對象區塊進行編碼的編碼裝置，其具備框內/框間判定部及頻率轉換部，該框內/框間判定部是判定為了編碼對象區塊所使用的是框內預測及框間預測的哪一個，該頻率轉換部是選擇性地利用包含DCT-II及DCT-V的複數個頻率轉換的基底，來進行對編碼對象區塊的預測誤差之第1頻率轉換，在第1頻率轉換中，在為了編碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的基底，在為了編碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的基底。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法

發明領域本揭示是有關於一種編碼裝置、解碼裝置、編碼方法及解碼方法。

發明背景一種稱為HEVC(高效率視訊編碼，High-Efficiency Video Coding)的影像編碼標準規格，已藉由JCT-VC(視訊編碼聯合工作小組，Joint Collaborative Team on Video Coding)而標準化。先前技術文獻

非專利文獻非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(高效率視訊編碼，High Efficiency Video Coding)

發明概要發明欲解決之課題在這種編碼及解碼技術中，所要求的是更進一步的壓縮效率之提升。

於是，本揭示提供一種可以實現更進一步的壓縮效率的提升之編碼裝置、解碼裝置、編碼方法及解碼方法。用以解決課題之手段

本揭示之一態樣的編碼裝置，是對圖像的編碼對象區塊進行編碼的編碼裝置，並具備有處理器及記憶體，前述處理器是使用前述記憶體，並判定為了前述編碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的複數個頻率轉換的基底，來進行對前述編碼對象區塊的預測誤差之第1頻率轉換，在前述第1頻率轉換中，在為了前述編碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的基底，在為了前述編碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的基底。

本揭示之一態樣的解碼裝置，是對圖像的解碼對象區塊進行解碼的解碼裝置，並具備有處理器及記憶體，前述處理器是使用前述記憶體，並判定為了前述解碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的逆轉換之複數個逆頻率轉換的基底，來進行對前述解碼對象區塊的預測誤差之第1逆頻率轉換，在前述第1逆頻率轉換中，在為了前述解碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的逆轉換之基底，在為了前述解碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的逆轉換之基底。

再者，這些的全面或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式及記錄媒體之任意的組合來實現。發明效果

本揭示可以提供一種可實現更進一步的壓縮效率的提升之編碼裝置、解碼裝置、編碼方法及解碼方法。

用以實施發明之形態 (成為本揭示之基礎的知識見解) 在H.265/HEVC(高效率視訊編碼，High Efficiency Video Coding)等以往的動態圖像編碼中，作為框內預測的區塊中的頻率轉換基底，基本上是使用DCT-II的基底，但只有4×4尺寸的亮度區塊會使用DST-VII的基底。

另外，由於在框內預測中是使用空間上相鄰的區塊，因此大多會有作為輸入訊號與預測訊號的差分之殘差訊號在空間上偏移之情形。特別是，會有於左邊及上側相鄰的區塊之邊界附近的殘差變小的傾向。因此，若直流(0階)的轉換特性使用較平坦的DCT-II時，會有高階成分變得顯眼的情況，而成為壓縮效率惡化的原因。

於是，本揭示之一態樣的編碼裝置，是對圖像的編碼對象區塊進行編碼的編碼裝置，並具備有處理器及記憶體，前述處理器是使用前述記憶體，並判定為了前述編碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的複數個頻率轉換的基底，來進行對前述編碼對象區塊的預測誤差之第1頻率轉換，在前述第1頻率轉換中，在為了前述編碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的基底，在為了前述編碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的基底。

藉此，當為了編碼對象區塊所使用的是框內預測的情況下，可以利用DCT-V的基底來轉換編碼對象區塊。由於在DCT-V中是在直流成分中於接近於參照像素的位置上使振幅變小，因此DCT-V適合框內預測的預測誤差之轉換。因此，編碼裝置可以實現更進一步的壓縮效率之提升。

又，在本揭示之一態樣的編碼裝置中，亦可為例如，前述處理器進一步地判定前述編碼對象區塊的尺寸是否為閾值尺寸以下，且在前述第1頻率轉換中，在為了前述編碼對象區塊所使用的是框內預測的情況下，為：(i)若前述編碼對象區塊的尺寸為前述閾值尺寸以下時，使用DCT-V的基底；(ii)若前述編碼對象區塊的尺寸大於前述閾值尺寸時，使用DCT-II的基底。

藉此，可以因應於使用框內預測的編碼對象區塊之尺寸，來切換DCT-II及DCT-V的基底，以轉換編碼對象區塊。若區塊尺寸較大，會有預測誤差在區塊內整體性地變小的傾向，而使DCT-II適合編碼對象區塊的預測誤差之轉換。另一方面，若區塊尺寸較小，會有越接近參照像素的像素預測誤差變得越小的傾向，而使DCT-V適合編碼對象區塊的預測誤差之轉換。因此，若編碼對象區塊的尺寸為閾值尺寸以下時，是使用DCT-V的基底來轉換編碼對象區塊，若編碼對象區塊的尺寸大於閾值尺寸時，是使用DCT-II的基底來轉換編碼對象區塊，藉此可以實現更進一步的壓縮效率之提升。

又，在本揭示之一態樣的編碼裝置中，亦可為例如，前述處理器更進一步地將前述閾值尺寸的資訊寫入至位元流內。

藉此，可以將閾值尺寸的資訊寫入至位元流內。從而，變得可因應於輸入圖像而使用自適應地決定的閾值尺寸，而可以實現更進一步的壓縮效率之提升。

又，在本揭示之一態樣的編碼裝置中，亦可為例如，前述處理器更進一步地判定要將包含第1轉換模式及第2轉換模式的複數個轉換模式當中的哪一個轉換模式適用於前述編碼對象區塊，並在適用前述第1轉換模式的情況下，進行前述第1頻率轉換，在適用前述第2轉換模式的情況下，進行與前述第1頻率轉換不同的第2頻率轉換。

藉此，可以使用轉換模式來切換頻率轉換。從而，變得可實現更進一步的頻率轉換之效率化，且可以實現更進一步的壓縮效率之提升。

又，在本揭示之一態樣的編碼裝置中，亦可為例如，前述處理器更進一步地將可適用於前述編碼對象區塊的轉換模式之資訊寫入至位元流內。

藉此，可以將適用於編碼對象區塊的轉換模式之資訊寫入至位元流內。從而，變得可因應於輸入圖像而自適應地決定轉換模式，而可以實現更進一步的壓縮效率之提升。

本揭示之一態樣的編碼方法，是對圖像的編碼對象區塊進行編碼的編碼方法，其判定為了前述編碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的複數個頻率轉換的基底，來進行對前述編碼對象區塊的預測誤差之第1頻率轉換，在前述第1頻率轉換中，在為了前述編碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的基底，在為了前述編碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的基底。

藉此，可以發揮和上述編碼裝置同樣的效果。

藉此，在為了解碼對象區塊所使用的是框內預測的情況下，可以利用DCT-V的逆轉換之基底來對解碼對象區塊進行逆轉換。由於在DCT-V中是在直流成分中於接近於參照像素的位置上使振幅變小，因此DCT-V適合框內預測的預測誤差之轉換。從而，解碼裝置可以實現更進一步的壓縮效率之提升。

又，在本揭示之一態樣的解碼裝置中，亦可為例如，前述處理器更進一步地判定前述解碼對象區塊的尺寸是否為閾值尺寸以下，且在前述第1逆頻率轉換中，在為了前述解碼對象區塊所使用的是框內預測的情況下，為：(i)若前述解碼對象區塊的尺寸為前述閾值尺寸以下時，使用DCT-V的逆轉換之基底；(ii)若前述解碼對象區塊的尺寸大於前述閾值尺寸時，使用DCT-II的逆轉換之基底。

藉此，可以因應於使用框內預測的解碼對象區塊之尺寸，來切換DCT-II及DCT-V的逆轉換之基底，以對解碼對象區塊進行逆轉換。若區塊尺寸較大，會有預測誤差在區塊內整體性地變小的傾向，而使DCT-II適合解碼對象區塊的預測誤差之轉換。另一方面，若區塊尺寸較小，會有越接近參照像素的像素預測誤差變得越小的傾向，而使DCT-V適合解碼對象區塊的預測誤差之轉換。因此，若解碼對象區塊的尺寸為閾值尺寸以下，是使用DCT-V的逆轉換之基底來對解碼對象區塊進行逆轉換，若解碼對象區塊的尺寸大於閾值尺寸，是使用DCT-II的逆轉換之基底來對解碼對象區塊進行逆轉換，藉此可以實現更進一步的壓縮效率之提升。

又，在本揭示之一態樣的解碼裝置中，亦可為例如，前述處理器更進一步地從位元流中解讀前述閾值尺寸的資訊。

藉此，可以從位元流中解讀閾值尺寸的資訊。從而，變得可因應於輸入圖像而使用自適應地決定的閾值尺寸，而可以實現更進一步的壓縮效率之提升。

又，在本揭示之一態樣的解碼裝置中，亦可為例如，前述處理器更進一步地判定要將包含第1轉換模式及第2轉換模式的複數個轉換模式當中的哪一個轉換模式適用於前述解碼對象區塊，並在適用前述第1轉換模式的情況下，進行前述第1逆頻率轉換，在適用前述第2轉換模式的情況下，進行與前述第1逆頻率轉換不同的第2逆頻率轉換。

藉此，可以使用轉換模式來切換逆頻率轉換。從而，變得可實現更進一步的頻率轉換之效率化，且可以實現更進一步的壓縮效率之提升。

又，在本揭示之一態樣的解碼裝置中，亦可為例如，前述處理器更進一步地從位元流中解讀可適用於前述解碼對象區塊的轉換模式之資訊。

藉此，可以將適用於解碼對象區塊的轉換模式之資訊寫入至位元流內。從而，變得可因應於輸入圖像而自適應地決定轉換模式，而可以實現更進一步的壓縮效率之提升。

本揭示之一態樣的解碼方法，是對圖像的解碼對象區塊進行解碼的解碼方法，其判定為了前述解碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的逆轉換之複數個逆頻率轉換的基底，來進行對前述解碼對象區塊的預測誤差之第1逆頻率轉換，在前述第1逆頻率轉換中，在為了前述解碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的逆轉換之基底，在為了前述解碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的逆轉換之基底。

藉此，可以發揮和上述解碼裝置同樣的效果。

再者，這些的全面或具體的態樣，可利用系統、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、積體電路、電腦程式及記錄媒體之任意的組合來實現。

以下，將參照圖式來具體地說明實施形態。

再者，以下說明的實施形態都是表示概括性的或具體的例子。以下實施形態所示的數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等只是一個例子，並非用來限定請求範圍的主旨。又，以下的實施形態的構成要件之中，針對沒有記載在表示最上位概念之獨立請求項中的構成要件，是作為任意之構成要件來說明。 (實施形態1) [編碼裝置之概要]

首先，說明實施形態1之編碼裝置的概要。圖1是顯示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位對動態圖像/圖像進行編碼的動態圖像/圖像編碼裝置。

如圖1所示，編碼裝置100是以區塊單位對圖像進行編碼的裝置，並具備分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、區塊記憶體118、迴路濾波部120、框記憶體122、框內預測部124、框間預測部126、及預測控制部128。

編碼裝置100可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、迴路濾波部120、框內預測部124、框間預測部126及預測控制部128而發揮功能。又，編碼裝置100也可以作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、迴路濾波部120、框內預測部124、框間預測部126及預測控制部128的1個以上之專用的電子電路來實現。

以下，針對包含在編碼裝置100的各構成要件來進行說明。 [分割部]

分割部102是將包含在輸入動態圖像的各圖片分割成複數個區塊，且將各區塊輸出至減法部104。例如，分割部102首先可將圖片分割為固定尺寸(例如128×128)的區塊。此固定尺寸的區塊有時被稱為編碼樹單元(CTU)。而且，分割部102是根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，來將各個固定尺寸的區塊分割為可變尺寸(例如64×64以下)的區塊。此可變尺寸的區塊有時被稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，在本實施形態中，亦可不需要區別CU、PU及TU，而使圖片內的一部分或全部的區塊成為CU、PU、TU的處理單位。

圖2是顯示實施形態1之區塊分割的一例之圖。在圖2中，實線是表示藉由四元樹區塊分割的區塊邊界，而虛線是表示藉由二元樹區塊分割的區塊邊界。

在此，區塊10是128×128像素的正方形區塊(128×128區塊)。此128×128區塊10首先被分割成4個正方形的64×64區塊(四元樹區塊分割)。

左上的64×64區塊會進一步地被垂直地分割成2個矩形的32×64區塊，並將左邊的32×64區塊進一步垂直地分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果是左上的64×64區塊被分割成2個的16×64區塊11、12、以及32×64區塊13。

右上的64×64區塊被水平地分割為2個矩形的64×32區塊14、15(二元樹區塊分割)。

左下的64×64區塊被分割為4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊當中，將左上的區塊及右下的區塊進一步地分割。左上的32×32區塊被垂直地分割成2個矩形的16×32區塊，且將右邊的16×32區塊進一步水平地分割為2個16×16區塊(二元樹區塊分割)。右下的32×32區塊被水平地分割成2個32×16區塊(二元樹區塊分割)。結果，左下的64×64區塊被分割成：16×32區塊16；2個16×16區塊17、18；2個32×32區塊19、20；及2個32×16區塊21、22。

右下的64×64區塊23未被分割。

如以上，在圖2中，區塊10是根據遞迴的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11~23。這種分割有時被稱為QTBT(四元樹加二元樹區塊結構(quad-tree plus binary tree))分割。

再者，在圖2中，雖然是將1個區塊分割成4個或2個區塊(四元樹或二元樹區塊分割)，但分割並不限定於此。例如，亦可將1個區塊分割成3個區塊(三元樹區塊分割)。這種包含三元樹區塊分割的分割，有時被稱為MBT(多類型樹(multi type tree))分割。 [減法部]

減法部104是以由分割部102所分割的區塊單位來從原訊號(原樣本)中減去預測訊號(預測樣本)。也就是說，減法部104會算出編碼對象區塊(以下，稱為當前區塊)的預測誤差(也可稱為殘差)。而且，減法部104會將算出的預測誤差輸出至轉換部106。

原訊號是編碼裝置100的輸入訊號，且是表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在以下，有時也會將表示圖像的訊號稱為樣本。 [轉換部]

轉換部106會將空間區域的預測誤差轉換成頻率區域的轉換係數，並將轉換係數輸出至量化部108。具體來說，轉換部106會例如對空間區域的預測誤差進行預定之離散餘弦轉換(DCT)或離散正弦轉換(DST)。

再者，轉換部106亦可從複數個轉換類型之中自適應地選擇轉換類型，且使用與所選擇的轉換類型相對應之轉換基底函數(transform basis function)，來將預測誤差轉換成轉換係數。有時將這種轉換稱為EMT(外顯性多重核心轉換(explicit multiple core transform))或AMT(適應性多重轉換(adaptive multiple transform))。

複數個轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示對應於各轉換類型的轉換基底函數之表格。在圖3中N是表示輸入像素的數量。從這些複數個轉換類型之中的轉換類型之選擇，可依例如預測的種類(框內預測(intra-prediction)及框間預測(inter-prediction))而定，亦可依框內預測模式而定。

這種顯示是否適用EMT或AMT的資訊(可稱為例如AMT旗標(AMT flag))及顯示所選擇的轉換類型的資訊是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。

又，轉換部106也可以將轉換係數(轉換結果)再轉換。有時將這種再轉換稱為AST(適應性二次轉換(adaptive secondary transform))或NSST(不可分的二次轉換(non-separable secondary transform))。例如，轉換部106會按在對應於框內預測誤差的轉換係數之區塊中所包含的每個子區塊(例如4×4子區塊)進行再轉換。顯示是否適用NSST的資訊以及與在NSST中所用的轉換矩陣相關的資訊是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。 [量化部]

量化部108是對從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以預定的掃描順序掃描當前區塊的轉換係數，且根據與所掃描的轉換係數相對應之量化參數(QP)來對該轉換係數進行量化。並且，量化部108會將當前區塊之已量化的轉換係數(以下，稱為量化係數)輸出到熵編碼部110及逆量化部112。

預定的順序是用於轉換係數的量化/逆量化之順序。例如，預定的掃描順序是以頻率的遞升順序(從低頻到高頻的順序)或遞降順序(從高頻到低頻的順序)來定義。

所謂量化參數是定義量化步距(量化寬度)的參數。例如，量化參數的值增加的話，會使量化步距也增加。也就是說，量化參數的值增加的話，會使量化誤差增大。 [熵編碼部]

熵編碼部110是藉由對從量化部108輸入之量化係數進行可變長度編碼，來生成編碼訊號(編碼位元流(bit stream))。具體來說，熵編碼部110是例如將量化係數二值化，而對二值訊號進行算術編碼。 [逆量化部]

逆量化部112是對來自量化部108的輸入之量化係數進行逆量化。具體來說，逆量化部112是以預定的掃描順序對當前區塊的量化係數進行逆量化。並且，逆量化部112會將當前區塊之已逆量化的轉換係數輸出到逆轉換部114。 [逆轉換部]

逆轉換部114是藉由對自逆量化部112輸入的轉換係數進行逆轉換，以復原預測誤差。具體來說，逆轉換部114是藉由對轉換係數進行與由轉換部106進行的轉換對應之逆轉換，來復原當前區塊的預測誤差。並且，逆轉換部114會將復原的預測誤差輸出至加法部116。

再者，由於復原的預測誤差會因量化而失去資訊，因此和減法部104算出的預測誤差並不一致。亦即，復原的預測誤差中包含有量化誤差。 [加法部]

加法部116會對自逆轉換部114輸入的預測誤差、與自預測控制部128輸入的預測樣本進行加法運算，藉此再構成當前區塊。而且，加法部116會將再構成的區塊輸出到區塊記憶體118及迴路濾波部120。有時也將再構成區塊稱為局部解碼區塊(local decoding block)。 [區塊記憶體]

區塊記憶體118是用於保存在框內預測中所參照的區塊且也是編碼對象圖片(以下，稱為當前圖片)內的區塊的儲存部。具體來說，區塊記憶體118會保存從加法部116輸出的再構成區塊。 [迴路濾波部]

迴路濾波部120會對藉由加法部116再構成的區塊施行迴路濾波，且將已進行濾波的再構成區塊輸出到框記憶體122。所謂迴路濾波器是在編碼迴路內使用的濾波器(內嵌式迴路濾波器(In-loop filter))，且包含例如去區塊濾波器(Deblocking Filter，DF)、取樣自適應偏移(Sample Adaptive Offset，SAO)及自適應迴路濾波器(Adaptive Loop Filter，ALF)等。

在ALF中，可適用去除編碼失真用的最小平方誤差濾波器，例如可適用按當前區塊內的2×2子區塊的每一個，根據局部的梯度(gradient)的方向及活動性(activity)來從複數個濾波器之中選擇的1個濾波器。

具體來說，首先，可將子區塊(例如2×2子區塊)分類成複數個類別(class)(例如15個或25個類別)。子區塊的分類是根據梯度的方向及活動性來進行。例如，可利用梯度的方向值D(例如0~2或0~4)與梯度的活性值A(例如0~4)來算出分類值C(例如C=5D＋A)。而且，根據分類值C，來將子區塊分類成複數個類別(例如15個或25個類別)。

梯度的方向值D可藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A是藉由例如對複數個方向的梯度作加法運算，並將加法結果量化來導出。

根據這種分類的結果，即可從複數個濾波器之中決定子區塊用的濾波器。

作為在ALF中所用的濾波器之形狀，可利用的有例如圓對稱形狀。圖4A~圖4C是顯示在ALF中所用的濾波器之形狀的複數個例子之圖。圖4A是顯示5×5菱形(diamond)形狀濾波器，圖4B是顯示7×7菱形形狀濾波器，圖4C是顯示9×9菱形形狀濾波器。顯示濾波器的形狀之資訊是在圖片層級被訊號化。再者，顯示濾波器的形狀之資訊的訊號化並不需要限定於圖片層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級、CTU層級或CU層級)。

ALF的開啟/關閉(on/off)是在例如圖片層級或CU層級決定的。例如，針對亮度是在CU層級來決定是否適用ALF，而針對色差則是在圖片層級來決定是否適用ALF。顯示ALF的開啟/關閉之資訊是在圖片層級或CU層級被訊號化。再者，顯示ALF的開啟/關閉之資訊的訊號化並不需要限定於圖片層級或CU層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級或CTU層級)。

可選擇的複數個濾波器(例如到15個或25個為止的濾波器)之係數組是在圖片層級被訊號化。再者，係數組的訊號化並不需要限定於圖片層級，也可以是其他的層級(例如序列層級、片段層級、圖塊層級、CTU層級、CU層級或子區塊層級)。 [框記憶體]

框記憶體122是用於保存框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體122會保存已藉由迴路濾波部120而被濾波的再構成區塊。 [框內預測部]

框內預測部124是參照已保存於區塊記憶體118的當前圖片內之區塊來進行當前區塊的框內預測(也稱為畫面內預測)，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部124是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部128。

例如，框內預測部124會利用事先規定的複數個框內預測模式之中的1個來進行框內預測。複數個框內預測模式包含1個以上之非方向性預測模式、以及複數個方向性預測模式。

1個以上之非方向性預測模式包含例如H.265/HEVC(高效率視訊編碼，High-Efficiency Video Coding)規格(非專利文獻1)所規定的平面(Planar)預測模式及DC預測模式。

複數個方向性預測模式包含例如H.265/HEVC規格所規定的33個方向之預測模式。再者，複數個方向性預測模式亦可除了33個方向以外，更進一步地包含32個方向的預測模式(合計65個方向性預測模式)。圖5是顯示框內預測中的67個框內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭是表示H.265/HEVC規格所規定的33個方向，虛線箭頭是表示追加的32個方向。

再者，在色差區塊的框內預測中，亦可參照亮度區塊。也就是說，也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。有時可將這種框內預測稱為CCLM(交叉成分線性模型，cross-component linear model)預測。這種參照亮度區塊的色差區塊之框內預測模式(例如被稱為CCLM模式)，也可以作為色差區塊的框內預測模式之一來加入。

框內預測部124亦可根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。這種伴隨補正的框內預測有時被稱為PDPC(獨立位置框內預測組合，position dependent intra prediction combination)。顯示有無PDPC的適用之資訊(被稱為例如PDPC旗標)是在例如CU層級被訊號化。再者，此資訊的訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。 [框間預測部]

框間預測部126會參照為保存在框記憶體122的參照圖片且為與當前圖片不同的參照圖片，來進行當前區塊的框間預測(也稱為畫面間預測)，藉此生成預測訊號(框間預測訊號)。框間預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，框間預測部126是針對當前區塊或子區塊而在參照圖片內進行動態搜尋(動態估計(motion estimation))。而且，框間預測部126是利用以動態搜尋所得到的動態資訊(例如移動向量)來進行動態補償，藉此生成當前區塊或子區塊的框間預測訊號。並且，框間預測部126會將生成的框間預測訊號輸出至預測控制部128。

使用於動態補償的動態資訊會被訊號化。在移動向量的訊號化中，亦可使用移動向量預測子(motion vector predictor)。也就是說，亦可將移動向量與移動向量預測子之間的差分訊號化。

再者，不只是由動態搜尋得到的當前區塊之動態資訊，亦可連相鄰區塊的動態資訊也利用，來生成框間預測訊號。具體來說，亦可將由動態搜尋得到的動態資訊之預測訊號、以及根據相鄰區塊的動態資訊之預測訊號作加權相加，藉此以當前區塊內的子區塊單位來生成框間預測訊號。這種框間預測(動態補償)有時被稱為OBMC(重疊區塊動態補償，overlapped block motion compensation)。

在這種OBMC模式中，顯示OBMC用的子區塊之尺寸的資訊(例如稱為OBMC區塊尺寸)是在序列層級被訊號化。又，顯示是否適用OBMC模式的資訊(例如稱為OBMC旗標)是在CU層級被訊號化。再者，這些資訊的訊號化之層級並不需要限定於序列層級及CU層級，亦可為其他的層級(例如圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

再者，亦可不將動態資訊訊號化，而在解碼裝置側導出。例如，也可以使用H.265/HEVC規格所規定的合併模式(merge mode)。又，例如亦可藉由在解碼裝置側進行動態搜尋來導出動態資訊。在此情況下，可在不使用當前區塊的像素值的情形下進行動態搜尋。

在此，針對在解碼裝置側進行動態搜尋的模式進行說明。有時將該在解碼裝置側進行動態搜尋的模式稱為PMMVD(型樣匹配移動向量導出，pattern matched motion vector derivation)模式、或FRUC(提升框速轉換，flame rate up-conversion)模式。

首先，參照空間上或時間上與當前區塊相鄰的編碼完成之區塊的移動向量，而可生成各自具有移動向量預測子的複數個候補之清單(與合併清單共通亦可)。而且，算出候補清單所包含的各候補之評價值，並根據評價值來選擇1個候補。

而且，可根據所選擇的候補之移動向量，來導出當前區塊用的移動向量。具體來說，是例如，將所選擇的候補之移動向量原樣導出作為當前區塊用的移動向量。又，亦可例如，在與所選擇的候補之移動向量相對應的參照圖片內的位置之周邊區域中，藉由進行型樣匹配，來導出當前區塊用的移動向量。

再者，評價值是藉由與移動向量相對應的參照圖片內的區域、與預定的區域之間的型樣匹配來算出的。

作為型樣匹配，可使用第1型樣匹配或第2型樣匹配。有時將第1型樣匹配及第2型樣匹配分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。

在第1型樣匹配中，是在為不同的2個參照圖片內的2個區塊且為沿著當前區塊的移動軌跡(motion trajectory)的2個區塊之間進行型樣匹配。因此，在第1型樣匹配中，作為上述候補的評價值的算出用之預定的區域，所使用的是沿著當前區塊的移動軌跡之其他參照圖片內的區域。

圖6是用於說明沿著移動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。如圖6所示，在第1型樣匹配中，是在為沿著當前區塊(Cur block)的移動軌跡之2個區塊且為不同的2個參照圖片(Ref0、Ref1)內的2個區塊的配對中，搜尋最匹配的配對，藉此導出2個移動向量(MV0、MV1)。

在連續的移動軌跡之假設下，意指2個參照區塊的移動向量(MV0、MV1)會相對於當前圖片(Cur Pic)與2個參照圖片(Ref0、Ref1)之間的時間上的距離(TD0、TD1)成比例。例如，當前圖片在時間上位於2個參照圖片之間，且從當前圖片到2個參照圖片的時間上之距離為相等的情況下，在第1型樣匹配中，會導出鏡像對稱的雙向之移動向量。

在第2型樣匹配中，是在當前圖片內的模板(在當前圖片內與當前區塊相鄰的區塊(例如上及/或左相鄰區塊))與參照圖片內的區塊之間進行型樣匹配。因此，在第2型樣匹配中，作為上述候補的評價值的算出用之預定的區域，所使用的是當前圖片內之與當前區塊相鄰的區塊。

圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。如圖7所示，在第2型樣匹配中，是藉由在參照圖片(Ref0)內搜尋與在當前圖片(Cur Pic)內相鄰於當前區塊(Cur block)的區塊最匹配的區塊，以導出當前區塊的移動向量。

這種顯示是否適用FRUC模式的資訊(例如可稱為FRUC旗標)是在CU層級被訊號化。又，在適用FRUC模式的情況下(例如FRUC旗標為真的情況下)，顯示型樣匹配的方法(第1型樣匹配或第2型樣匹配)之資訊(例如可稱為FRUC模式旗標)在CU層級被訊號化。再者，這些資訊的訊號化並不需要限定於CU層級，亦可為其他的層級(例如，序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

再者，也可以藉由與動態搜尋不同的方法，在解碼裝置側導出動態資訊。例如，亦可根據假設了等速直線運動的模型，以像素單位使用周邊像素值來算出移動向量的補正量。

在此，針對根據假設了等速直線運動的模型來導出移動向量的模式進行說明。有時將此模式稱為BIO(雙向光流，bi-directional optical flow)模式。

圖8是用於說明假設了等速直線運動的模型之圖。在圖8中，(v_x ，v_y )是表示速度向量，τ₀ 、τ₁ 各自表示當前圖片(Cur Pic)與2個參照圖片(Ref₀ ，Ref₁ )之間的時間上之距離。(MVx₀ ，MVy₀ )是表示對應於參照圖片Ref₀ 的移動向量，(MVx₁ ，MVy₁ )是表示對應於參照圖片Ref₁ 的移動向量。

此時在速度向量(v_x ，v_y )的等速直線運動的假設之下，是將(MVx₀ ，MVy₀ )及(MVx₁ ，MVy₁ )各自表示為(v_x τ₀ ，v_y τ₀ )及(-v_x τ₁ ，-v_y τ₁ )，而使以下的光流等式(1)成立。 [數學式1]

在此，I^(k) 表示動態補償後的參照圖像k(k=0，1)之亮度值。此光流等式是表示下述的(i)、(ii)與(iii)之和等於零：(i)亮度值的時間微分、(ii)水平方向的速度及參照圖像的空間梯度之水平成分的積、及(iii)垂直方向的速度及參照圖像的空間梯度之垂直成分的積。根據此光流等式與赫米內插法公式(Hermite interpolation)的組合，可將從合併清單等得到的區塊單位之移動向量以像素單位進行補正。

再者，亦可藉由與根據假設了等速直線運動的模型之移動向量的導出不同之方法，在解碼裝置側導出移動向量。例如，亦可根據複數個相鄰區塊的移動向量而以子區塊單位來導出移動向量。

在此，針對根據複數個相鄰區塊的移動向量而以子區塊單位來導出移動向量的模式進行說明。有時將此模式稱為仿射動態補償預測(affine motion compensation prediction)模式。

圖9是用於說明根據複數個相鄰區塊的移動向量之子區塊單位的移動向量的導出之圖。在圖9中，當前區塊包含16個4×4子區塊。在此，是根據相鄰區塊的移動向量來導出當前區塊的左上角控制點之移動向量v₀ ，且根據相鄰子區塊的移動向量來導出當前區塊的右上角控制點之移動向量v₁ 。而且，使用2個移動向量v₀ 及v₁ ，藉由以下的式(2)，來導出當前區塊內的各子區塊之移動向量(v_x ，v_y )。 [數學式2]

在此，x及y各自表示子區塊的水平位置及垂直位置，且w是表示預定的加權係數。

在這種仿射動態補償預測模式中，左上及右上角控制點的移動向量之導出方法也可以包含幾個不同的模式。顯示這種仿射動態補償預測模式的資訊(例如可稱為仿射旗標)是在CU層級被訊號化。再者，顯示該仿射動態補償預測模式的資訊之訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。 [預測控制部]

預測控制部128會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至減法部104及加法部116。 [解碼裝置的概要]

接著，針對可對從上述編碼裝置100輸出的編碼訊號(編碼位元流)進行解碼之解碼裝置的概要進行說明。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位對動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。

如圖10所示，解碼裝置200具備熵解碼部202、逆量化部204、逆轉換部206、加法部208、區塊記憶體210、迴路濾波部212、框記憶體214、框內預測部216、框間預測部218、及預測控制部220。

解碼裝置200可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為熵解碼部202、逆量化部204、逆轉換部206、加法部208、迴路濾波部212、框內預測部216、框間預測部218及預測控制部220而發揮功能。又，解碼裝置200也可以作為對應於熵解碼部202、逆量化部204、逆轉換部206、加法部208、迴路濾波部212、框內預測部216、框間預測部218及預測控制部220的1個以上之專用的電子電路來實現。

以下，針對包含在解碼裝置200的各構成要件來進行說明。 [熵解碼部]

熵解碼部202是對編碼位元流進行熵解碼。具體來說，熵解碼部202是例如從編碼位元流算術解碼出二值訊號。而且，熵解碼部202會對二值訊號進行多值化(debinarize)。藉此，熵解碼部202會以區塊單位將量化係數輸出至逆量化部204。 [逆量化部]

逆量化部204是對自熵解碼部202輸入的解碼對象區塊(以下，稱為當前區塊)的量化係數進行逆量化。具體來說，逆量化部204是針對當前區塊的量化係數的每一個，根據對應於該量化係數的量化參數，來對該量化係數進行逆量化。並且，逆量化部204會將當前區塊之已進行逆量化的量化係數(也就是轉換係數)輸出至逆轉換部206。 [逆轉換部]

逆轉換部206是藉由對自逆量化部204輸入的轉換係數進行逆轉換，以復原預測誤差。

在例如顯示已從編碼位元流中解讀出的資訊適用EMT或AMT的情況下(例如AMT旗標為真)，逆轉換部206會根據顯示已解讀的轉換類型之資訊，來對當前區塊的轉換係數進行逆轉換。

又，在例如顯示已從編碼位元流中解讀出的資訊適用NSST的情況下，逆轉換部206會對轉換係數適用逆再轉換。 [加法部]

加法部208會對自逆轉換部206輸入的預測誤差、與自預測控制部220輸入的預測樣本進行加法運算，藉此再構成當前區塊。而且，加法部208會將再構成的區塊輸出到區塊記憶體210及迴路濾波部212。 [區塊記憶體]

區塊記憶體210是用於保存為在框內預測中參照的區塊且為解碼對象圖片(以下，稱為當前圖片)內的區塊的儲存部。具體來說，區塊記憶體210會保存從加法部208輸出的再構成區塊。 [迴路濾波部]

迴路濾波部212會對藉由加法部208再構成的區塊施行迴路濾波，且將已進行濾波的再構成區塊輸出到框記憶體214及顯示裝置等。

當顯示從編碼位元流中解讀出的ALF之開啟/關閉的資訊顯示的是ALF為開啟的情況下，可根據局部的梯度之方向及活動性而從複數個濾波器之中選擇1個濾波器，且將所選擇的濾波器適用於再構成區塊。 [框記憶體]

框記憶體214是用於保存框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體214會保存已藉由迴路濾波部212而被濾波的再構成區塊。 [框內預測部]

框內預測部216是根據已從編碼位元流中解讀出的框內預測模式，並參照保存於區塊記憶體210的當前圖片內之區塊來進行框內預測，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部216是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部220。

再者，在色差區塊的框內預測中選擇參照亮度區塊的框內預測模式之情況下，框內預測部216也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。

又，在已從編碼位元流中解讀出的資訊顯示的是適用PDPC的情況下，框內預測部216會根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。 [框間預測部]

框間預測部218是參照保存於框記憶體214的參照圖片，來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4x4區塊)之單位來進行。例如，框間預測部218會利用從編碼位元流中解讀出的動態資訊(例如移動向量)來進行動態補償，藉此生成當前區塊或子區塊的框間預測訊號，並將框間預測訊號輸出至預測控制部220。

再者，在顯示從編碼位元流中解讀出的資訊為適用OBMC模式的情況下，框間預測部218會使用的不只有藉由動態搜尋所得到的當前區塊之動態資訊，還有相鄰區塊的動態資訊，以生成框間預測訊號。

又，顯示從編碼位元流中解讀出的資訊適用FRUC模式的情況下，框間預測部218會依照從編碼流解讀出的型樣匹配之方法(雙向匹配或模板匹配)來進行動態搜尋，藉此導出動態資訊。並且，框間預測部218會使用已導出的動態資訊來進行動態補償。

又，在適用BIO模式的情況下，框間預測部218會根據假設了等速直線運動的模型來導出移動向量。又，在顯示從編碼位元流中解讀出的資訊適用仿射動態補償預測模式的情況下，框間預測部218會根據複數個相鄰區塊的移動向量，以子區塊單位來導出移動向量。 [預測控制部]

預測控制部220會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至加法部208。 [編碼裝置的轉換部之內部構成]

接著，參照圖11來說明編碼裝置100的轉換部106之內部構成的一例。

圖11是顯示實施形態1之編碼裝置100的轉換部106之內部構成的方塊圖。轉換部106具備有框內/框間判定部1061、基底選擇部1062、與頻率轉換部1063。

框內/框間判定部1061會判定為了編碼對象區塊所使用的是框內預測及框間預測的哪一個。例如，框內/框間判定部1061是根據與對輸入圖像訊號、壓縮圖像進行局部解碼所得到的圖像訊號之比較結果，來判定是使用框內預測及框間預測的哪一個。

基底選擇部1062是根據框內/框間判定部1061的判定結果，從包含DCT-II及DCT-V的複數個頻率轉換的基底之中，選擇1個基底。具體來說，當為了編碼對象區塊所使用的是框內預測的情形下，基底選擇部1062是選擇DCT-V的基底。另一方面，當為了編碼對象區塊所使用的是框間預測的情形下，基底選擇部1062是選擇DCT-II的基底。

頻率轉換部1063是使用以基底選擇部1062所選擇的基底，來進行對編碼對象區塊的預測誤差(殘差)之頻率轉換。也就是說，頻率轉換部1063是選擇性地使用包含DCT-II及DCT-V的複數個頻率轉換的基底，來進行對編碼對象區塊的預測誤差之頻率轉換。具體來說，當為了編碼對象區塊所使用的是框內預測的情形下，頻率轉換部1063是使用DCT-V的基底來進行頻率轉換。另一方面，當為了編碼對象區塊所使用的是框間預測的情形下，頻率轉換部1063是使用DCT-II的基底來進行頻率轉換。

再者，由頻率轉換部1063輸出的編碼對象區塊之係數，是藉由量化部108及逆量化部112而被量化及被逆量化。逆轉換部114是對已量化及逆量化的編碼對象區塊之係數進行逆頻率轉換。此時，逆轉換部114是根據基底選擇部1062的選擇結果之資訊，來選擇逆頻率轉換的基底。也就是說，在為了編碼對象區塊所使用的是框內預測的情況下是選擇DCT-V的逆轉換之基底，在為了編碼對象區塊所使用的是框間預測的情況下是選擇DCT-II的逆轉換之基底，且利用所選擇的基底來實施逆頻率轉換。 [編碼裝置的轉換部之動作]

接著，參照圖12來具體地說明如以上所構成之轉換部106的動作。圖12是顯示實施形態1之編碼裝置100的轉換部106之處理的流程圖。

首先，框內/框間判定部1061會判定為了編碼對象區塊所使用的是框內預測及框間預測的哪一個(S101)。在此，當為了編碼對象區塊所使用的是框內預測的情形下(S101的框內)，基底選擇部1062是選擇DCT-V的基底(S102)。另一方面，當為了編碼對象區塊所使用的是框間預測的情形下(S101的框間)，基底選擇部1062是選擇DCT-II的基底(S103)。最後，頻率轉換部1063是使用在步驟S102或步驟S103所選擇的基底，來進行對編碼對象區塊的預測誤差之頻率轉換(S104)。 [解碼裝置的逆轉換部之內部構成]

接著，說明解碼裝置200的逆轉換部206之內部構成。

圖13是顯示實施形態1之解碼裝置200的逆轉換部206之內部構成的方塊圖。逆轉換部206具備框內/框間判定部2061、基底選擇部2062、及逆頻率轉換部2063。

框內/框間判定部2061會判定為了解碼對象區塊所使用的是框內預測及框間預測的哪一個。例如，框內/框間判定部2061會根據從位元流得到的資訊來進行判定。

基底選擇部2062是根據框內/框間判定部1061的判定結果，從包含DCT-II及DCT-V的逆轉換之複數個逆頻率轉換的基底當中，選擇1個基底。具體來說，當為了解碼對象區塊所使用的是框內預測的情形下，基底選擇部2062是選擇DCT-V的逆轉換之基底。另一方面，當為了編碼對象區塊所使用的是框間預測的情形下，基底選擇部2062是選擇DCT-II的逆轉換之基底。

逆頻率轉換部2063是使用由基底選擇部2062所選擇的基底，來進行對解碼對象區塊的係數之逆頻率轉換。也就是說，逆頻率轉換部2063是選擇性地使用包含DCT-II及DCT-V的逆轉換之複數個逆頻率轉換的基底，來進行對解碼對象區塊的係數之逆頻率轉換。

更具體來說，當為了解碼對象區塊所使用的是框內預測的情形下，逆頻率轉換部2063是使用DCT-V的逆轉換之基底來進行逆頻率轉換。另一方面，當為了解碼對象區塊所使用的是框間預測的情形下，逆頻率轉換部2063是使用DCT-II的逆轉換之基底來進行逆頻率轉換。 [解碼裝置的逆轉換部之動作]

接著，參照圖14來具體地說明如以上所構成之逆轉換部206的動作。圖14是顯示實施形態1之解碼裝置200的逆轉換部206之處理的流程圖。

首先，框內/框間判定部2061會判定為了解碼對象區塊所使用的是框內預測及框間預測的哪一個(S201)。在此，當為了解碼對象區塊所使用的是框內預測的情形下(S201的框內)，基底選擇部2062是選擇DCT-V的逆轉換之基底(S202)。另一方面，當為了解碼對象區塊所使用的是框間預測的情形下(S201的框間)，基底選擇部2062是選擇DCT-II的逆轉換之基底(S203)。最後，逆頻率轉換部2063是使用在步驟S202或步驟S203所選擇的基底，來進行對解碼對象區塊的係數之逆頻率轉換(S204)。 [效果等]

如上所述，根據本實施形態之編碼裝置100的轉換部106及解碼裝置200的逆轉換部206，當為了當前區塊所使用的是框內預測的情況下，可以使用DCT-V的基底或DCT-V的逆轉換之基底來對當前區塊進行轉換或逆轉換。由於在DCT-V中是在直流成分中於接近參照像素的位置上使振幅變小，因此DCT-V適合框內預測的預測誤差之轉換/逆轉換。因此，編碼裝置100及解碼裝置200可以實現更進一步的壓縮效率之提升。

在此，參照圖15A~圖16B來具體地說明DCT-V。

圖15A是表示32×32尺寸的區塊中之DCT-II的轉換特性之圖表。圖15B是表示32×32尺寸的區塊中之DCT-V的轉換特性之圖表。圖16A是表示4×4尺寸的區塊中之DST-VII的轉換特性之圖表。圖16B是表示4×4尺寸的區塊中之DCT-V的轉換特性之圖表。在圖15A~圖16B中，橫軸是表示從參照像素起的距離，縱軸是表示振幅。

DCT-II是類型II的離散餘弦轉換。在DCT-II中，是使用圖3所示的基底(基底函數)。如圖15A所示，在直流(0階)中，無論距離如何，振幅值都是固定的。又，因此，對於在區塊內預測誤差較為一樣的框間預測之區塊，DCT-II是有效的。

DCT-V是類型V的離散餘弦轉換。在DCT-V中，是使用圖3所示的基底(基底函數)。如圖15B所示，在比較大的區塊中，DCT-V具有與DCT-II相近的轉換特性。又，如圖16B所示，在比較小的區塊中，在直流中於接近參照像素的位置上會使振幅變小，故DCT-V的轉換特性與DST-VII的轉換特性相似。

在框內預測的區塊中，在接近參照像素的像素(左側及上側的像素)中，會有預測誤差變小的傾向。但是，由於當預測誤差較小的情況下會有採用較大的區塊之傾向，因此在較大的區塊中，在接近參照像素的像素中會難以顯現預測誤差變小的傾向。

從而，可以將在較大的區塊中具有與DCT-II相似的轉換特性，且在較小的區塊中具有與DST-VII相似的轉換特性之DCT-V，適用於框內預測的區塊之頻率轉換，藉此從較小的尺寸到較大的尺寸都有效地對框內預測的區塊進行頻率轉換/逆頻率轉換。從而，可以將DCT-V的基底使用在框內預測的區塊之轉換，藉此實現更進一步的壓縮效率之提升。 (實施形態1的變形例1)

接著，針對實施形態1的變形例1進行說明。在本變形例中，使用在頻率轉換及逆頻率轉換的基底是取決於當前區塊的尺寸，這一點與上述實施形態1不同。以下，將參照圖17~圖20，以與實施形態1不同之點為中心來具體地說明本變形例。 [編碼裝置的轉換部之內部構成]

圖17是顯示實施形態1的變形例1之編碼裝置100的轉換部106A之內部構成的方塊圖。轉換部106A具備框內/框間判定部1061、基底選擇部1062A、頻率轉換部1063、及尺寸判定部1064A。

尺寸判定部1064A會判定編碼對象區塊的尺寸是否為閾值尺寸以下。

當為了編碼對象區塊所使用的是框內預測的情形下，只要編碼對象區塊的尺寸為閾值尺寸以下，基底選擇部1062A即選擇DCT-V的基底。另一方面，即使在為了編碼對象區塊所使用的是框內預測的情形下，只要編碼對象區塊的尺寸比閾值尺寸更大，基底選擇部1062A即選擇DCT-II的基底。又，當為了編碼對象區塊所使用的是框間預測的情形下，基底選擇部1062A是與上述實施形態1同樣地選擇DCT-II的基底。

作為表示用來切換基底的區塊尺寸之邊界的閾值尺寸，是使用例如已於標準規格中事先定義的固定尺寸(例如16×16像素)。又，閾值尺寸也可以根據位元流中所包含的訊號來決定，且也可以由外部裝置或使用者輸入。例如，閾值尺寸也可以根據框內預測模式、量化參數、或預測誤差等來決定。 [編碼裝置的轉換部之動作]

接著，參照圖18來具體地說明如以上所構成之本變形例的轉換部106A之動作。圖18是顯示實施形態1的變形例1之編碼裝置100的轉換部106A之處理的流程圖。

首先，框內/框間判定部1061會判定為了編碼對象區塊所使用的是框內預測及框間預測的哪一個(S101)。在此，當為了編碼對象區塊所使用的是框內預測的情形下(S101的框內)，尺寸判定部1064A會判定編碼對象區塊的尺寸是否為閾值尺寸以下(S111)。在此，當編碼對象區塊的尺寸為閾值尺寸以下的情況下(S111的是)，基底選擇部1062A會選擇DCT-V的基底(S102)。

當為了編碼對象區塊所使用的是框間預測的情況下(S101的框間)、或者，編碼對象區塊的尺寸比閾值尺寸更大的情況下(S111的否)，基底選擇部1062A會選擇DCT-II的基底(S103)。最後，頻率轉換部1063是使用在步驟S102或步驟S103所選擇的基底，來進行對編碼對象區塊的預測誤差之頻率轉換(S104)。 [解碼裝置的逆轉換部之內部構成]

接著，說明解碼裝置200的逆轉換部206A之內部構成。圖19是顯示實施形態1的變形例1之解碼裝置200的逆轉換部206A之內部構成的方塊圖。逆轉換部206A具備有框內/框間判定部2061、基底選擇部2062A、逆頻率轉換部2063、及尺寸判定部2064A。

尺寸判定部2064A會判定解碼對象區塊的尺寸是否為閾值尺寸以下。

當為了解碼對象區塊所使用的是框內預測的情形下，只要解碼對象區塊的尺寸為閾值尺寸以下，基底選擇部2062A即選擇DCT-V的基底。另一方面，即使在為了解碼對象區塊所使用的是框內預測的情形下，只要解碼對象區塊的尺寸比閾值尺寸更大，基底選擇部2062A即選擇DCT-II的基底。又，當為了解碼對象區塊所使用的是框間預測的情形下，基底選擇部2062A是與上述實施形態1同樣地選擇DCT-II的基底。

作為閾值尺寸，是使用與編碼裝置100的轉換部106A所用的閾值尺寸相同的尺寸。 [解碼裝置的逆轉換部之動作]

接著，參照圖20來具體地說明如以上所構成之本變形例的逆轉換部206A之動作。圖20是顯示實施形態1的變形例1之解碼裝置200的逆轉換部206A的處理之流程圖。

首先，框內/框間判定部2061會判定為了解碼對象區塊所使用的是框內預測及框間預測的哪一個(S201)。在此，當為了解碼對象區塊所使用的是框內預測的情形下(S201的框內)，尺寸判定部2064A會判定解碼對象區塊的尺寸是否為閾值尺寸以下(S211)。在此，當解碼對象區塊的尺寸為閾值尺寸以下的情況下(S211的是)，基底選擇部2062A會選擇DCT-V的逆轉換之基底(S202)。

當為了解碼對象區塊所使用的是框間預測的情況下(S201的框間)、或者，解碼對象區塊的尺寸比閾值尺寸更大的情況下(S211的否)，基底選擇部2062A會選擇DCT-II的逆轉換之基底(S203)。最後，逆頻率轉換部2063是使用在步驟S202或步驟S203所選擇的基底，來進行對解碼對象區塊的係數之逆頻率轉換(S204)。 [效果等]

如以上，根據本實施形態之編碼裝置100的轉換部106A及解碼裝置200的逆轉換部206A，可以因應於使用框內預測的當前區塊之尺寸，來切換DCT-II及DCT-V的基底，而對當前區塊進行轉換/逆轉換。若區塊尺寸較大，會有預測誤差在區塊內整體性地變小的傾向，而使DCT-II適合區塊的預測誤差之轉換。另一方面，若區塊尺寸較小，則會有預測誤差越接近參照像素的像素變得越小的傾向，而使DCT-V適合區塊的預測誤差之轉換。因此，若當前區塊的尺寸為閾值尺寸以下時，是藉由DCT-V來對當前區塊進行轉換/逆轉換，若編碼對象區塊的尺寸大於閾值尺寸時，是藉由DCT-II來對當前區塊進行轉換/逆轉換，藉此可以實現更進一步的壓縮效率之提升。 (實施形態1的變形例2)

接著，針對實施形態1的變形例2進行說明。在本變形例中，是在將閾值尺寸的資訊寫入位元流內之點上，與上述實施形態1的變形例1不同。以下，將參照圖21~圖25，以與實施形態1之變形例1不同之點為中心來具體地說明本變形例。 [編碼裝置的轉換部之內部構成]

圖21是顯示實施形態1的變形例2之編碼裝置100的轉換部106B之內部構成的方塊圖。轉換部106B具備框內/框間判定部1061、基底選擇部1062A、頻率轉換部1063、尺寸判定部1064A、及閾值尺寸決定部1065B。

閾值尺寸決定部1065B是因應於輸入圖像訊號等而自適應地決定閾值尺寸。所決定的閾值尺寸是用在尺寸判定部1064A中。

又，所決定的閾值尺寸之資訊是被輸出至熵編碼部110，且被寫入至位元流內。閾值尺寸的資訊是指顯示閾值尺寸的資訊，例如是顯示閾值尺寸其本身的值、或是顯示閾值尺寸的索引(index)。閾值尺寸的資訊是被寫入到例如圖22之(i)~(v)所示的複數個標頭之至少1個中。

圖22是顯示實施形態1之變形例2或3中的閾值尺寸或轉換模式的資訊之位元流內的位置的複數個例子之圖。圖22之(i)是顯示在視訊參數集內有閾值尺寸或轉換模式的資訊。圖22之(ii)是顯示在視訊流的序列參數集內有閾值尺寸或轉換模式的資訊。圖22之(iii)是顯示在圖片的圖片參數集內有閾值尺寸或轉換模式的資訊。圖22之(iv)是顯示在片段的片段標頭內有閾值尺寸或轉換模式的資訊。圖22的(v)是顯示用於進行動態圖系統或視訊解碼器的設置(set-up)或初始化之參數的群組內有閾值尺寸或轉換模式的資訊之情形。閾值尺寸或轉換模式的資訊存在於複數個階層(例如，圖片參數集及片段標頭)的情況下，存在於低階層(例如片段標頭)中的閾值尺寸或轉換模式的資訊，會覆寫存在於更高的階層(例如圖片參數集)中的閾值尺寸或轉換模式的資訊。

又，閾值尺寸的資訊只要在變更時寫入即可。也就是說，使用和之前剛使用的閾值尺寸相同的閾值尺寸時，亦可跳過閾值尺寸的資訊之寫入。 [編碼裝置的轉換部之動作]

接著，參照圖23來具體地說明如以上所構成之本變形例的轉換部106B之動作。圖23是顯示實施形態1的變形例2之編碼裝置100的轉換部106B之處理的流程圖。

首先，框內/框間判定部1061會判定為了編碼對象區塊所使用的是框內預測及框間預測的哪一個(S101)。在此，當為了編碼對象區塊所使用的是框內預測的情形下(S101的框內)，閾值尺寸決定部1065B會自適應地決定閾值尺寸，並將所決定的閾值尺寸的資訊輸出至熵編碼部110(S121)。之後，執行步驟S111以後的處理。 [解碼裝置的逆轉換部之內部構成]

接著，說明解碼裝置200的逆轉換部206B之內部構成。圖24是顯示實施形態1的變形例2之解碼裝置200的逆轉換部206B之內部構成的方塊圖。逆轉換部206B具備框內/框間判定部2061、基底選擇部2062A、逆頻率轉換部2063、尺寸判定部2064A、及閾值尺寸取得部2065B。

閾值尺寸取得部2065B是從位元流中取得閾值尺寸。例如，閾值尺寸取得部2065B是根據藉由熵解碼部202而從位元流中解讀出的閾值尺寸之資訊，來取得閾值尺寸。在此取得的閾值尺寸是用在尺寸判定部2064A中。 [解碼裝置的逆轉換部之動作]

接著，參照圖25來具體地說明如以上所構成之本變形例的逆轉換部206B之動作。圖25是顯示實施形態1的變形例2之解碼裝置200的逆轉換部206B之處理的流程圖。

首先，框內/框間判定部2061會判定為了解碼對象區塊所使用的是框內預測及框間預測的哪一個(S201)。在此，當為了解碼對象區塊所使用的是框內預測的情形下(S201的框內)，閾值尺寸取得部2065B是從位元流中取得閾值尺寸(S221)。之後，執行步驟S211以後的處理。 [效果等]

如以上，根據本實施形態之編碼裝置100的轉換部106A及解碼裝置200的逆轉換部206A，可以將閾值尺寸的資訊包含在位元流中。因此，可以因應於輸入圖像而適應性地決定閾值尺寸，而可以實現更進一步的壓縮效率之提升。 (實施形態1的變形例3)

接著，針對實施形態1的變形例3進行說明。在本變形例中，可以切換使用上述實施形態1的變形例2之轉換及逆轉換的第1轉換模式、以及使用其他轉換及逆轉換的第2轉換模式，這一點與上述實施形態1的變形例2不同。以下，將參照圖26~圖29，以與實施形態1之變形例2不同之點為中心來具體地說明本變形例。 [編碼裝置的轉換部之內部構成]

圖26是顯示實施形態1的變形例3之編碼裝置100的轉換部106C之內部構成的方塊圖。轉換部106C具備框內/框間判定部1061、基底選擇部1062C、頻率轉換部1063、尺寸判定部1064A、閾值尺寸決定部1065B、及轉換模式判定部1066C。

轉換模式判定部1066C會判定要將包含第1轉換模式及第2轉換模式的複數個轉換模式當中的哪一個轉換模式適用在編碼對象區塊。在複數個轉換模式中，例如亦可為使可選擇的基底彼此相異、或亦可為使可選擇的基底相同但選擇方法彼此相異。

適用於編碼對象區塊的轉換模式之資訊，可被輸出到熵編碼部110，且寫入至位元流內。轉換模式的資訊，是指用於識別轉換模式的資訊，可為例如顯示轉換模式的旗標或索引(index)。轉換模式的資訊是與閾值尺寸的資訊同樣地寫入到例如圖22之(i)~(v)所示的複數個標頭之至少1個中。再者，轉換模式的資訊與閾值尺寸的資訊不需要寫入至同一個標頭中，亦可寫入至不同的標頭中。

在適用第1轉換模式的情況下，基底選擇部1062C是與上述實施形態1的變形例2同樣地，從包含DCT-II及DCT-V的複數個頻率轉換之基底當中選擇1個基底。另一方面，在適用第2轉換模式的情況下，基底選擇部1062C是從和第1轉換模式不同的複數個頻率轉換的基底當中，選擇1個基底。

頻率轉換部1063是使用基底選擇部1062C所選擇的基底，來進行對編碼對象區塊的預測誤差之頻率轉換。也就是說，頻率轉換部1063會在適用第1轉換模式的情況下進行第1頻率轉換，並在適用第2轉換模式的情況下進行第2頻率轉換。

第1頻率轉換與上述實施形態1的變形例2之頻率轉換是相同的。第2頻率轉換是與第1頻率轉換相異。例如，在第2頻率轉換中，所使用的是與第1頻率轉換不同的基底。再者，在第1頻率轉換中所用的基底，與在第2頻率轉換中所用的基底，不需在所有的條件中都是相異的，亦可在特定的條件(例如區塊尺寸為閾值尺寸以下的情況)中為相同。 [編碼裝置的轉換部之動作]

接著，參照圖27來具體地說明如以上所構成之本變形例的轉換部106C之動作。圖27是顯示實施形態1的變形例3之編碼裝置100的轉換部106C之處理的流程圖。

首先，框內/框間判定部1061會判定為了編碼對象區塊所使用的是框內預測及框間預測的哪一個(S101)。在此，當為了編碼對象區塊所使用的是框內預測的情形下(S101的框內)，轉換模式判定部1066C會決定適用於編碼對象區塊的轉換模式，並輸出至熵編碼部110(S131)。

在此，若所決定的轉換模式為第1轉換模式(S132的第1轉換模式)，則執行步驟S121之後的處理。另一方面，若所決定的轉換模式為第2轉換模式(S132的第2轉換模式)，基底選擇部1062C會選擇第2轉換模式用的基底(S133)。

之後，頻率轉換部1063是使用在步驟S102、步驟S103或步驟S133所選擇的基底，來執行編碼對象區塊的頻率轉換(S104)。

作為第2轉換模式用的基底，亦可使用在DCT及DST的每一個中根據邊界條件及對稱性所定義的類型I到類型VIII的8種基底。在此情況下，亦可從合計16種的基底中，根據考慮了預測誤差、或有關於預測誤差及預測誤差的編碼之資訊的編碼量之評價值等，選擇用於編碼對象區塊的基底。例如，在根據預測誤差的選擇中，亦可選擇使殘差變得最小的基底。又，根據顯示框內預測的方向等之框內預測模式，來選擇用於編碼對象區塊的基底亦可。又，亦可在不從複數個頻率轉換的基底中選擇用於編碼對象區塊的基底的情形下，固定地選擇單一的基底。例如，亦可為在4×4的尺寸中固定地使用DST-VII的基底，在其他的尺寸中則是自適應地選擇基底。此外，在可以固定地選擇基底的情況下，亦可不將顯示所選擇的基底之訊號寫入至位元流中，只在自適應地選擇基底的情況下，才將顯示所選擇的基底之訊號寫入至位元流中。

在第1轉換模式與第2轉換模式中，可選擇的基底亦可相異、或可選擇的基底亦可是相同的但選擇方法相異。又，在第1轉換模式及第2轉換模式中，亦可取決於區塊尺寸來切換排他與重複，且亦可構成為在不同的區塊尺寸中可選擇相同的基底，而在相同的區塊尺寸中可選擇不同的基底。

作為更具體的例子，在第2轉換模式中，亦可於區塊尺寸為4×4的情況下，為可固定地選擇DST-VII的基底，於區塊尺寸超過4×4的情況下，為可自適應地選擇DST-I或DST-VII之基底的任一個。此時，在第1轉換模式中，亦可於區塊尺寸為16×16以下的情況下為可固定地選擇DCT-V的基底，於區塊尺寸超過16×16的情況下，為可固定地選擇DCT-II的基底。

作為其他具體的例子，在第2轉換模式中，亦可於區塊尺寸為4×4的情況下，可固定地選擇DST-VII的基底，於區塊尺寸超過4×4的情況下，從各自包含1個以上的基底之複數個基底組當中選擇1個基底組，並從所選擇的基底組之中選擇1個基底。複數個基底組亦可包含例如由DST-I的基底及DST-VII的基底所構成的第1基底組、以及由DCT-VIII的基底及DST-VII的基底所構成的第2基底組。再者，基底組的選擇亦可根據例如顯示框內預測的方向等之框內預測模式來進行。又，在第1轉換模式中，亦可於區塊尺寸為16×16以下的情況下，可固定地選擇DCT-V的基底，於區塊尺寸超過16×16的情況下，可固定地選擇DCT-II的基底。 [解碼裝置的逆轉換部之內部構成]

接著，說明解碼裝置200的逆轉換部206C之內部構成。圖28是顯示實施形態1的變形例3之解碼裝置200的逆轉換部206C之內部構成的方塊圖。逆轉換部206C具備框內/框間判定部2061、基底選擇部2062C、逆頻率轉換部2063、尺寸判定部2064A、閾值尺寸取得部2065B、及轉換模式判定部2066C。

轉換模式判定部2066C會判定要將包含第1轉換模式及第2轉換模式的複數個轉換模式當中的哪一個轉換模式適用在解碼對象區塊。例如，轉換模式判定部2066C是根據藉由熵解碼部202從位元流中解讀出的轉換模式之資訊，來判定轉換模式。

在適用第1轉換模式的情況下，基底選擇部2062C與上述實施形態1的變形例2同樣地，是從包含DCT-II及DCT-V的逆轉換之複數個逆頻率轉換的基底當中，選擇1個基底。另一方面，在適用第2轉換模式的情況下，基底選擇部2062C是從和第1轉換模式不同的複數個逆頻率轉換的基底當中，選擇1個基底。 [解碼裝置的逆轉換部之動作]

接著，參照圖29來具體地說明如以上所構成之本變形例的逆轉換部206C之動作。圖29是顯示實施形態1的變形例3之解碼裝置200的逆轉換部206C之處理的流程圖。

首先，框內/框間判定部2061會判定為了解碼對象區塊所使用的是框內預測及框間預測的哪一個(S201)。在此，當為了解碼對象區塊所使用的是框內預測的情形下(S201的框內)，轉換模式判定部2066C會判定要將複數個轉換模式當中的哪一個轉換模式適用於解碼對象區塊(S232)。在此，於適用第1轉換模式的情況下(S232的第1轉換模式)，則執行步驟S221以後的處理。另一方面，於適用第2轉換模式的情況下(S232的第2轉換模式)，基底選擇部2062C會選擇第2轉換模式用的基底(S233)。在此選擇的第2轉換模式用的基底，是與在編碼裝置100所選擇的第2轉換模式用的基底相對應的逆轉換之基底。

之後，逆頻率轉換部2063是使用在步驟S202、步驟S203或步驟S233所選擇的基底，來進行解碼對象區塊的逆頻率轉換(S204)。 [效果等]

如上所述，根據本變形例之編碼裝置100的轉換部106C及解碼裝置200的逆轉換部206C，可以使用轉換模式來切換頻率轉換。從而，變得可實現更進一步的頻率轉換之效率化，且可以實現更進一步的壓縮效率之提升。

此外，根據本變形例之編碼裝置100的轉換部106C及解碼裝置200的逆轉換部206C，可以將適用於當前區塊的轉換模式之資訊，包含在位元流內。從而，變得可因應於輸入圖像而適應性地決定轉換模式，而可以實現更進一步的壓縮效率之提升。

再者，在本變形例中，是以使用2個轉換模式(第1轉換模式及第2轉換模式)的情況為中心來說明，但轉換模式的數量並不限定於2個。例如，除了第1轉換模式及第2轉換模式之外，亦可使用第3轉換模式及/或第4轉換模式。 (實施形態1的其他變形例)

以上，雖然就本揭示的1個或複數個態樣的編碼裝置及解碼裝置，而根據實施形態及變形例來進行說明，但本揭示並不限定於該實施形態及變形例。在不脫離本揭示的主旨之前提下，將本發明所屬技術領域中具有通常知識者可思及的各種變形施行於本實施形態或本變形例而成的形態、或組合不同變形例中的構成要件所構建的形態，也可包含在本揭示的1個或複數個態樣的範圍內。

例如，在上述實施形態1及各變形例中，亦可與先前技術同樣地，對4×4尺寸的亮度區塊選擇DST-VII的基底。在此情況下，在對於所使用的是框內預測的區塊，且是4×4尺寸的亮度區塊以外的區塊之頻率轉換中，可選擇DCT-V的基底。又，針對使用框內預測的色差區塊，亦可與先前技術同樣地，選擇DCT-II的基底。在此情況下，針對使用框內預測的亮度區塊，可選擇DCT-V的基底。

再者，在上述實施形態1及各變形例中，框內/框間判定部1061是根據輸入圖像訊號、以及對壓縮圖像進行局部解碼而得到的圖像訊號之比較結果，來進行框內預測及框間預測的哪一個之判定，但根據其他訊號來進行判定亦可。

再者，在上述實施形態1及各變形例中，雖然所使用的是DCT-II及DCT-V的正交轉換之基底，但亦可使用具有類似的轉換特性之非正交轉換的基底，而取代DCT-II及DCT-V的基底。

再者，在上述實施形態1及各變形例中，雖然是根據預測的種類(框內/框間)或區塊尺寸來選擇基底，但並不限定於此。例如亦可對框內預測模式、量化參數、或編碼對象區塊的殘差進行評價，並根據評價結果來選擇基底。

再者，在上述實施形態1及各變形例中，雖然是在不論亮度及色差的情形下選擇基底，但並不限定於此。例如，對於色差區塊，亦可不論框內預測/框間預測，都固定地使用DCT-II的基底。

再者，在上述實施形態1及各變形例中，雖然在當前區塊使用框內預測的情況下，所使用的是DCT-II及DCT-V的基底，但並不限定於此。例如，除了DCT-II及DCT-V的基底之外，亦可使用DST-VII的基底。例如，於將框內預測適用於當前區塊的情況下，亦可為(i)當前區塊的尺寸為閾值尺寸以下時使用DST-VII的基底；(ii)當前區塊的尺寸比閾值尺寸更大時使用DCT-V的基底。

再者，在上述實施形態1及各變形例中，雖然轉換部或逆轉換部具備有基底選擇部，但亦可清楚地明示不具備有基底選擇部。在此情況下，只要將基底選擇部的功能整合到頻率轉換部或逆頻率轉換部即可。 (實施形態2)

在以上的實施形態及各變形例中，功能方塊的每一個通常可藉由MPU及記憶體等來實現。又，藉由功能方塊的每一個所進行之處理，通常是藉由處理器等程式執行部將已儲存於ROM等記錄媒體的軟體(程式)讀出並執行來實現。可將該軟體藉由下載等來發布，亦可儲存於半導體記憶體等之記錄媒體來發布。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。

又，在實施形態及各變形例中所說明之處理，可以藉由使用單一的裝置(系統)集中處理來實現、或者亦可藉由使用複數個裝置分散處理來實現。又，執行上述程式之處理器可為單個，亦可為複數個。亦即，可進行集中處理、或者亦可進行分散處理。

本發明不受以上之實施例所限定，可進行種種的變更，且該等亦包含於本發明之範圍內。

更進一步地，在此說明上述實施形態及各變形例所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例與使用其之系統。該系統之特徵在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具備兩者之圖像編碼解碼裝置。系統中的其他構成，可以視情況適當地變更。 [使用例]

圖30是顯示實現內容發送服務(content delivery service)的內容供給系統ex100的整體構成之圖。將通訊服務之提供區分割成期望的大小，且在各格區(cell)內分別設置有作為固定無線電台之基地台ex106、ex107、ex108、ex109、ex110。

在此內容供給系統ex100中，可透過網際網路服務提供者ex102或通訊網ex104、及基地台ex106~ex110，將電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等各機器連接到網際網路ex101。該內容供給系統ex100亦可構成為組合並連接上述任一要件。亦可在不透過作為固定無線電台之基地台ex106~ex110的情況下，將各機器透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器(streaming server)ex103，是透過網際網路ex101等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等各機器相連接。又，串流伺服器ex103是透過衛星ex116來與飛機ex117內之熱點(hot spot)內的終端等連接。

再者亦可使用無線存取點或熱點等，取代基地台ex106~ex110 。又，串流伺服器ex103可在不透過網際網路ex101或網際網路服務提供者ex102的情形下直接與通訊網ex104連接，亦可在不透過衛星ex116的情形下直接與飛機ex117連接。

相機ex113是數位相機等可進行靜態圖攝影、及動態圖攝影之機器。又，智慧型手機ex115為對應於一般稱作2G、3G、3.9G、4G、還有今後會被稱作5G的移動通訊系統之方式的智慧型電話機、行動電話機、或者PHS(個人手持電話系統，Personal Handyphone System)等。

家電ex118為冰箱、或包含於家庭用燃料電池汽電共生系統(cogeneration system)之機器等。

在內容供給系統ex100中，是藉由使具有攝影功能之終端通過基地台ex106等來連接到串流伺服器ex103，而使實況(live)即時發送等變得可行。在實況即時發送中，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等)會對使用者使用該終端所攝影之靜態圖或動態圖內容進行已在上述實施形態及各變形例中所說明之編碼處理，並將藉由編碼而得到的影像資料、與已將對應於影像之聲音編碼的聲音資料進行多工化，來將所獲得之資料傳送至串流伺服器ex103。亦即，各終端是作為本發明的一個態樣的圖像編碼裝置而發揮功能。

另一方面，串流伺服器ex103會對有要求之客戶端(client)所傳送之內容資料進行串流(stream)發送。客戶端是指可將已經過上述編碼處理之資料解碼的電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等。已接收到所發送之資料的各機器會將所接收到之資料解碼處理並播放。亦即，各機器是作為本發明之一個態樣的圖像解碼裝置而發揮功能。 [分散處理]

又，串流伺服器ex103可為複數個伺服器或複數台電腦，亦可為將資料分散並處理或記錄以進行發送者。例如，串流伺服器ex103可藉由CDN(內容傳遞網路，Contents Delivery Network)而實現，亦可藉由分散於全世界的多數個邊緣伺服器(edge server)與於邊緣伺服器之間進行連接的網路來實現內容發送。在CDN上，會因應客戶來動態地分配在物理上相近之邊緣伺服器。並且，可以藉由將內容快取(cache)及傳遞至該邊緣伺服器來減少延遲。又，由於可以在發生某種錯誤時或因流量之增加等而改變通訊狀態時，以複數個邊緣伺服器將處理分散、或將發送主體切換為其他的邊緣伺服器，來繞過已發生障礙的網路部分並持續發送，因此可以實現高速且穩定的發送。

又，不僅是發送本身之分散處理，亦可將已攝影之資料的編碼處理在各終端進行，也可在伺服器側進行，亦可互相分擔來進行。作為一例，一般在編碼處理中，會進行2次處理迴路。在第1次的迴路中可檢測在框或場景單位下之圖像的複雜度或編碼量。又，在第2次的迴路中可進行維持畫質並提升編碼效率的處理。例如，可以藉由使終端進行第1次的編碼處理，且使接收內容之伺服器側進行第2次的編碼處理，而減少在各終端的處理負荷並且提升內容的質與效率。此時，只要有以近乎即時的方式接收並解碼的要求，也可以將終端已進行之第一次的編碼完成資料以其他終端來接收並播放，因此也可做到更靈活的即時發送。

作為其他的例子，相機ex113等是由圖像中進行特徵量提取，並將與特徵量相關之資料作為元資料(meta data)來壓縮並傳送至伺服器。伺服器會進行例如從特徵量判斷目標(object)之重要性並切換量化精度等的因應圖像之意義的壓縮。特徵量資料對於在伺服器之再度的壓縮時的移動向量預測之精度及效率提升特別有效。又，亦可在終端進行VLC(可變長度編碼)等簡易的編碼，並在伺服器進行CABAC(全文適應性二進制算術編碼方式)等處理負荷較大的編碼。

此外，作為其他的例子，在運動場、購物商場、或工廠等中，會有藉由複數個終端拍攝幾乎相同的場景之複數個影像資料存在的情況。此時，可利用已進行攝影之複數個終端、與因應需要而沒有進行攝影之其他的終端及伺服器，以例如GOP(圖片群組，Group of Picture)單位、圖片單位、或已將圖片分割而成之圖塊(tile)單位等來各自分配編碼處理並進行分散處理。藉此，可以減少延遲，而更加能夠實現即時性(real-time)。

又，由於複數個影像資料幾乎為相同的場景，因此亦可在伺服器進行管理及/或指示為：可互相地參照在各終端所攝影之影像資料。或者，亦可使伺服器接收來自各終端之編碼完成資料，並在複數個資料間變更參照關係、或者補正或更換圖片本身並重新編碼。藉此，可以生成已提高一個個資料之質與效率的串流。

又，伺服器亦可在進行變更影像資料之編碼方式的轉碼(transcode)後再發送影像資料。例如，伺服器亦可將MPEG類之編碼方式轉換為VP類，且亦可將H.264轉換為H.265。

如此，編碼處理就可藉由終端或1個以上之伺服器來進行。因此，以下雖然使用「伺服器」或「終端」等記載來作為進行處理之主體，但亦可於終端進行在伺服器進行之處理的一部分或全部，也可於伺服器進行在終端進行之處理的一部分或全部。又，關於這些，針對解碼處理也是同樣的。 [3D、多角度]

近年來，將以彼此幾乎同步之複數台相機ex113及/或智慧型手機ex115等終端所攝影到之不同的場景、或者將相同的場景從不同的角度攝影之圖像或影像加以整合並利用的作法也在逐漸增加中。各終端所攝影到之影像會根據另外取得的終端間之相對的位置關係、或者包含於影像之特徵點為一致的區域等而被整合。

不僅二維動態圖像編碼，伺服器亦可根據動態圖像之場景解析等而自動地、或者在使用者所指定之時刻中，將靜態圖編碼並傳送至接收終端。更進一步地，伺服器在可以取得攝影終端間之相對位置關係的情況下，不僅是二維動態圖像，還可以根據相同場景從不同的角度所攝影之影像，來生成該場景之三維形狀。再者，伺服器亦可將藉由點雲(point cloud)等而生成之三維資料另外編碼，亦可根據使用三維資料來辨識或追蹤人物或目標的結果，從複數個終端所攝影之影像中選擇、或再構成並生成要傳送至接收終端的影像。

如此，使用者可以任意選擇對應於各攝影終端之各影像來享受場景，也可以享受從利用複數圖像或影像再構成之三維資料中切出任意視點的影像之內容。此外，與影像同樣地，聲音也可從複數個不同的角度進行收音，且伺服器亦可配合影像將來自特定角度或空間的聲音與影像進行多工化並傳送。

又，近年來，Virtual Reality(虛擬實境，VR)及Augmented Reality(擴增虛擬實境，AR)等將現實世界與虛擬世界建立對應之內容也逐漸普及。在VR圖像的情形下，伺服器亦可分別製作右眼用及左眼用之視點圖像，並藉由Multi-View Coding(多視圖編碼，MVC)等在各視點影像間進行容許參照之編碼，亦可不互相參照而作為不同的串流來進行編碼。在不同的串流之解碼時，可使其互相同步並播放成因應使用者之視點來重現虛擬的三維空間。

在AR圖像的情形下，伺服器會根據三維之位置或使用者之視點的活動將虛擬空間上之虛擬物體資訊重疊於現實空間之相機資訊。解碼裝置亦可藉由取得或保持虛擬物體資訊及三維資料，並因應使用者之視點的活動而生成二維圖像並順暢地連結，以製作重疊資料。或者，亦可為解碼裝置除了虛擬物體資訊之委託之外還將使用者的視點之活動也傳送至伺服器，且伺服器配合從保持於伺服器之三維資料中所接收到的視點的活動來製作重疊資料，而將重疊資料編碼並發送至解碼裝置。再者，亦可為重疊資料在RGB以外具有顯示穿透度的α值，伺服器將由三維資料所製作出之目標以外的部分之α值設定為0等，並在該部分為穿透狀態下進行編碼。或者，伺服器亦可如色度鍵(chroma key)的形式將預定之值的RGB值設定為背景，而生成將目標以外之部分設成為背景色之資料。

同樣地，被發送之資料的解碼處理可在客戶端之各終端進行，也可在伺服器側進行，亦可互相分擔而進行。作為一例，亦可使某個終端暫時將接收要求傳送至伺服器，並在其他終端接收因應該要求之內容且進行解碼處理，再將解碼完成之訊號傳送至具有顯示器的裝置。不依靠可通訊之終端本身的性能而分散處理並選擇適當之內容的作法，可以播放畫質良好的資料。又，作為其他之例，亦可以用TV等接收大尺寸之圖像資料，並將圖片分割後之圖塊等一部分的區域解碼並顯示於鑑賞者之個人終端。藉此，可以將整體圖片共有化，並且可以就近確認自己負責的領域或想要更詳細地確認之區域。

又，今後可預想到下述情形：不論屋內外，在近距離、中距離、或長距離之無線通訊為可複數使用的狀況下，利用MPEG-DASH等之發送系統規格，一邊對連接中之通訊切換適當之資料一邊無縫地接收內容。藉此，使用者不僅對本身之終端，連設置於屋內外之顯示器等的解碼裝置或顯示裝置都可自由地選擇並且即時切換。又，根據本身之位置資訊等，可以一邊切換要進行解碼之終端及要進行顯示之終端一邊進行解碼。藉此，可在往目的地之移動中，一邊在已埋入有可顯示之元件的鄰近之建築物的牆面或地面的一部分顯示地圖資訊，一邊移動。又，也可以令編碼資料快取到可以在短時間內從接收終端進行存取之伺服器、或者複製到內容傳遞伺服器(content delivery server)中的邊緣伺服器等，根據在網路上對編碼資料的存取容易性，來切換接收資料之位元率(bit-rate)。 [可調式編碼]

關於內容之切換，利用圖31所示之在上述實施形態及各變形例中所顯示之應用動態圖像編碼方法而被壓縮編碼之可調整的串流來進行說明。雖然伺服器具有複數個內容相同而質卻不同的串流來作為個別的流也無妨，但亦可構成為將如圖示般分層來進行編碼而實現的時間上/空間上可調整之串流的特徵加以活用，以切換內容。亦即，藉由使解碼側因應性能這種內在要因與通訊頻帶之狀態等的外在要因來決定要解碼至哪一層，解碼側即可以自由地切換低解析度之內容與高解析度之內容來解碼。例如，當想在回家後以網際網路TV等機器收看於移動中以智慧型手機ex115收看之影像的後續時，該機器只要將相同的串流解碼至不同的層即可，因此可以減輕伺服器側的負擔。

此外，如上述地，除了實現按每層將圖片都編碼，且在基本層之上位存在增強層(enhancement layer)之具可調整性(scalability)的構成以外，亦可使增強層包含根據圖像之統計資訊等的元資訊，且使解碼側根據元資訊將基本層之圖片進行超解析，藉此來生成已高畫質化之內容。所謂超解析可以是相同解析度中的SN比之提升、以及解析度之擴大之任一種。元資訊包含：用於特定超解析處理中使用之線形或非線形的濾波係數之資訊、或者特定超解析處理中使用之濾波處理、機械學習或最小平方運算中的參數值的資訊等。

或者，亦可構成為因應圖像內之目標等的含義而將圖片分割為圖塊等，且使解碼側選擇欲解碼之圖塊，而僅將一部分之區域解碼。又，藉由將目標之屬性(人物、車、球等)與影像內之位置(同一圖像中的座標位置等)作為元資訊加以儲存，解碼側即可根據元資訊特定所期望之目標的位置，並決定包含該目標之圖塊。例如，如圖32所示，元資訊可利用HEVC中的SEI訊息等與像素資料為不同之資料儲存構造而被儲存。此元資訊是表示例如主目標之位置、尺寸、或色彩等。

又，以串流、序列或隨機存取單位等，由複數個圖片構成之單位來保存元資訊亦可。藉此，解碼側可以取得特定人物出現在影像內之時刻等，且與圖片單位之資訊對照，藉此可以特定目標存在之圖片、以及在圖片內之目標的位置。 [網頁之最佳化]

圖33是顯示電腦ex111等中的網頁的顯示畫面例之圖。圖34是顯示智慧型手機ex115等中的網頁的顯示畫面例之圖。如圖33及圖34所示，當網頁包含複數個屬於對圖像內容之鏈接的鏈接圖像時，其外觀會依閱覽之元件而不同。當畫面上可看到複數個鏈接圖像時，直至使用者明確地選擇鏈接圖像、或者鏈接圖像接近畫面之中央附近或鏈接圖像之整體進入畫面內為止，顯示裝置(解碼裝置)都是顯示具有各內容之靜態圖或框內編碼畫面(Intra Picture，I-Picture)作為鏈接圖像、或者以複數個靜態圖或框內編碼畫面(I-Picture)等顯示如gif動畫的影像、或者僅接收基本層來將影像進行解碼及顯示。

當已由使用者選擇出鏈接圖像時，顯示裝置會將基本層設為最優先來解碼。再者，只要有在構成網頁之HTML中顯示屬於可調整之內容的資訊，亦可使顯示裝置解碼至增強層。又，為了擔保即時性，在選擇之前或通訊頻帶非常嚴格時，顯示裝置可以藉由僅解碼及顯示前向參照(forward reference)之圖片(框內編碼畫面(I-Picture)、預測畫面(Predictive Picture，P-Picture)、僅前向參照之雙向預估編碼畫面(Bidirectionally Predictive Picture，B-Picture))，以減低前頭圖片之解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始之間的延遲)。又，顯示裝置亦可特意無視圖片之參照關係而將所有的雙向預估編碼畫面(B-Picture)及預測畫面(P-Picture)設成前向參照來粗略地解碼，並隨著時間經過且接收之圖片增加來進行正常的解碼。 [自動行駛]

又，當為了汽車之自動行駛或行駛支援而傳送及接收二維或三維之地圖資訊等的靜態圖或影像資料時，接收終端除了屬於1個以上之層的圖像資料之外，亦可將天候或施工之資訊等也都接收作為元資訊，並對應於這些來解碼。再者，元資訊可以屬於層，亦可單純與圖像資料進行多工化。

此時，由於包含接收終端之車、無人機(drone)或飛機等會移動，因此接收終端會在接收要求時傳送該接收終端之位置資訊，藉此一邊切換基地台ex106~ex110一邊實現無縫的接收及解碼。又，接收終端會因應使用者之選擇、使用者之狀況或通訊頻帶的狀態，而變得可動態地切換要將元資訊接收到何種程度，或要將地圖資訊更新至何種程度。

如以上地進行，在內容供給系統ex100中，客戶端可即時地接收使用者所傳送之已編碼的資訊，並將其進行解碼、播放。 [個人內容之發送]

又，在內容供給系統ex100中，不僅是來自影像發送業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容的單播(unicast)、或多播(multicast)發送也是可做到的。又，這種個人的內容被認為今後也會持續增加下去。為了將個人內容做成更優良之內容，伺服器亦可在進行編輯處理之後進行編碼處理。這可藉由例如以下之構成來實現。

伺服器會在攝影時即時地或累積地進行，而於攝影後，從原圖或編碼完成資料中進行攝影錯誤、場景搜尋、意義解析、及目標檢測等之辨識處理。而且，伺服器會根據辨識結果以手動或自動方式進行下述編輯：補正失焦或手震等、刪除亮度較其他圖片低或未聚焦之場景等重要性低的場景、強調目標之邊緣、使色調變化等。伺服器會根據編輯結果來將編輯後之資料編碼。又，當攝影時刻太長時收視率會下降的情況也是眾所皆知的，伺服器會根據圖像處理結果而以自動的方式如上述地不僅對重要性低之場景，連對動態較少的場景等也進行剪輯，以使其因應攝影時間成為特定之時間範圍內的內容。或者，伺服器亦可根據場景之意義解析的結果來生成摘錄並進行編碼。

再者，在個人內容中，也有照原樣的話會有侵害著作權、著作人格權、或肖像權等之內容攝入的案例，也有當共享的範圍超過所欲共享之範圍等對個人來說不方便的情況。因此，例如，伺服器亦可將畫面周邊部的人臉、或房子內等特意變更為未聚焦之圖像並編碼。又，伺服器亦可辨識是否有與事先登錄之人物不同的人物的臉照在編碼對象圖像內，並在有照出的情況下，進行將臉的部分打上馬賽克等之處理。或者，作為編碼之前處理或後處理，而從著作權等之觀點來讓使用者於圖像中指定想要加工之人物或背景區域後，令伺服器進行將所指定之區域置換為別的影像、或者使焦點模糊等之處理的作法也是可做到的。如果是人物，可以在動態圖像中一邊追蹤人物一邊置換臉的部分的影像。

又，由於資料量較小之個人內容的視聽對即時性的要求較強，因此，雖然也會取決於頻帶寬，但解碼裝置首先會最優先地接收基本層再進行解碼及播放。解碼裝置亦可在這段期間接收增強層，且於迴路播放之情形等播放2次以上的情形下，將增強層也包含在內來播放高畫質的影像。只要是可進行像這樣可調整之編碼的串流，就可以提供一種雖然在未選擇時或初次看到的階段是粗略的動態圖，但串流會逐漸智能化(smart)而使圖像變好的體驗。除了可調式編碼以外，即使以第1次播放之粗略的串流、與參照第1次之動態圖而編碼之第2次的串流作為1個串流來構成也可以提供同樣的體驗。 [其他使用例]

又，這些編碼或解碼處理一般是在各終端所具有之LSIex500中處理。LSIex500可為單晶片(one chip)，亦可為由複數個晶片形成之構成。再者，亦可將動態圖像編碼或解碼用之軟體安裝到可以在電腦ex111等讀取之某種記錄媒體(CD-ROM、軟式磁碟(flexible disk)、或硬碟等)，並使用該軟體進行編碼或解碼處理。此外，當智慧型手機ex115為附有相機時，亦可傳送以該相機取得之動態圖資料。此時的動態圖資料是以智慧型手機ex115具有之LSIex500所編碼處理過的資料。

再者，LSIex500亦可為將應用軟體下載並啟動(activate)之構成。此時，終端首先會判定該終端是否對應於內容之編碼方式、或者是否具有特定服務之執行能力。當終端沒有對應於內容之編碼方式時、或者不具有特定服務之執行能力時，終端會下載編碼解碼器或應用軟體，然後，取得及播放內容。

又，不限於透過網際網路ex101之內容供給系統ex100，在數位播放用系統中也可以安裝上述實施形態及各變形例之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一個。由於是利用衛星等來將已使影像與聲音被多工化之多工資料乘載於播放用之電波來進行傳送接收，因此會有相對於內容供給系統ex100之容易形成單播的構成更適合多播的差別，但有關於編碼處理及解碼處理仍可為同樣之應用。 [硬體構成]

圖35是顯示智慧型手機ex115之圖。又，圖36是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115具備：用於在與基地台ex110之間傳送及接收電波的天線ex450、可拍攝影像及靜態圖之相機部ex465、顯示已將相機部ex465所拍攝到之影像以及在天線ex450所接收到之影像等解碼之資料的顯示部ex458。智慧型手機ex115更具備：觸控面板等之操作部ex466、用於輸出聲音或音響之揚聲器等的聲音輸出部ex457、用於輸入聲音之麥克風等之聲音輸入部ex456、可保存所攝影之影像或靜態圖、錄音之聲音、接收之影像或靜態圖、郵件等已編碼的資料、或已解碼的資料的記憶體部ex467、及作為與SIMex468之間的介面部之插槽部ex464，該SIMex468是用於特定使用者，且以網路為首進行對各種資料的存取之認證。再者，亦可使用外接記憶體取代記憶體部ex467。

又，統合地控制顯示部ex458及操作部ex466等的主控制部ex460是透過匯流排ex470而與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467相連接。

電源電路部ex461在藉由使用者之操作而將電源鍵設成開啟狀態時，會藉由從電池組(battery pack)對各部供給電力而將智慧型手機ex115起動為可動作之狀態。

智慧型手機ex115會根據具有CPU、ROM及RAM等的主控制部ex460的控制，進行通話及資料通訊等之處理。通話時，是將以聲音輸入部ex456所收音之聲音訊號在聲音訊號處理部ex454轉換為數位聲音訊號，並以調變/解調部ex452對其進行展頻處理，接著以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，透過天線ex450傳送。又，將接收資料放大且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行解展頻處理，接著以聲音訊號處理部ex454轉換為類比聲音訊號後，是由聲音輸出部ex457將其輸出。資料通訊模式時，是藉由本體部之操作部ex466等的操作而透過操作輸入控制部ex462將正文(text)、靜態圖、或影像資料送出至主控制部ex460，而同樣地進行傳送接收處理。當在資料通訊模式時傳送影像、靜態圖、或影像與聲音的情形下，影像訊號處理部ex455會藉由在上述實施形態及各變形例所示之動態圖像編碼方法而將保存於記憶體部ex467之影像訊號或從相機部ex465輸入之影像訊號壓縮編碼，並將已編碼之影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454會在以相機部ex465拍攝影像或靜態圖等時將以聲音輸入部ex456所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex453。多工/分離部ex453是以預定之方式將編碼完成之影像資料與編碼完成之聲音資料進行多工化，並以調變/解調部(調變/解調電路部)ex452、及傳送/接收部ex451施行調變處理及轉換處理並透過天線ex450傳送。

在已接收附加於電子郵件或網路聊天之影像、或鏈接至網頁等之影像的情形下，為了透過天線ex450將已接收之多工資料解碼，多工/分離部ex453會藉由分離多工資料，而將多工資料分成影像資料之位元流與聲音資料之位元流，再透過同步匯流排ex470將已編碼之影像資料供給至影像訊號處理部ex455，並且將已編碼之聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455會藉由對應於上述實施形態及各變形例所示之動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，並透過顯示器控制部ex459從顯示部ex458顯示被鏈接之動態圖像檔案中所含的影像或靜態圖。又，聲音訊號處理部ex454會將聲音訊號解碼，並從聲音輸出部ex457輸出聲音。再者，由於即時串流(real time streaming)已普及，因此依據使用者的狀況，也可能在社會上不適合發出聲音的場所發生聲音的播放。因此，作為初始值較理想的是，在不使聲音訊號播放的情形下僅播放影像資料之構成。亦可僅在使用者進行點選影像資料等操作的情形下才將聲音同步播放。

又，此處雖然以智慧型手機ex115為例進行了說明，但是作為終端，可考慮以下3種組裝形式：除了具有編碼器及解碼器兩者之傳送接收型終端，還有僅具有編碼器之傳送終端、以及僅具有解碼器之接收終端。此外，在數位播送用系統中，雖然是以接收或傳送已在影像資料中將聲音資料等多工化之多工資料來進行說明，但在多工資料中，除了聲音資料以外亦可將與影像有關聯之文字資料等多工化，且可接收或傳送影像資料本身而非多工資料。

再者，雖然說明了以包含CPU之主控制部ex460控制編碼或解碼處理的情形，但終端具備GPU的情況也很多。因此，亦可構成為藉由在CPU與GPU共通的記憶體、或以可共通地使用的方式管理位址的記憶體，來活用GPU之性能而一併處理較寬廣區域。藉此可以縮短編碼時間，確保即時性，而可以實現低延遲。特別是對動態搜尋、解塊濾波方法(deblock filter)、SAO(取樣自適應偏移，Sample Adaptive Offset)、及轉換、量化之處理，在不利用CPU的情形下，利用GPU並以圖片等單位來一併進行時是有效率的。産業上之可利用性

本揭示可在例如電視接收器、數位錄影機、汽車導航系統、行動電話、數位相機、或數位攝影機等上利用。

10~23‧‧‧區塊
100‧‧‧編碼裝置
102‧‧‧分割部
104‧‧‧減法部
106、106A、106B、106C‧‧‧轉換部
108‧‧‧量化部
110‧‧‧熵編碼部
112、204‧‧‧逆量化部
114、206、206A、206B、206C‧‧‧逆轉換部
116、208‧‧‧加法部
118、210‧‧‧區塊記憶體
120、212‧‧‧迴路濾波部
122、214‧‧‧框記憶體
124、216‧‧‧框內預測部
126、218‧‧‧框間預測部
128、220‧‧‧預測控制部
200‧‧‧解碼裝置
202‧‧‧熵解碼部
1061、1061A、2061‧‧‧框內/框間判定部
1062、1062A、1062C、2062、2062A、2062C‧‧‧基底選擇部
1063‧‧‧頻率轉換部
1064A、2064A‧‧‧尺寸判定部
1065B‧‧‧閾值尺寸決定部
1066C、2066C‧‧‧轉換模式判定部
2063‧‧‧逆頻率轉換部
2065B‧‧‧閾值尺寸取得部
MV0、MV1、MVx₀、MVy₀、MVx₁、MVy₁、v0、v1‧‧‧移動向量
Ref0、Ref1‧‧‧參照圖片
TD0、TD1、τ₀、τ₁‧‧‧距離
S101~S104、S201~S204、S111、S121、S131、S132、S133、S211、S221、S232、S233‧‧‧步驟
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex103‧‧‧串流伺服器
ex104‧‧‧通訊網
ex106、ex107、ex108、ex109、ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧遊戲機
ex113‧‧‧相機
ex114‧‧‧家電
ex115‧‧‧智慧型手機
ex116‧‧‧衛星
ex117‧‧‧飛機
ex450‧‧‧天線
ex451‧‧‧傳送/接收部
ex452‧‧‧調變/解調部(調變/解調電路部)
ex453‧‧‧多工/分離部
ex454‧‧‧聲音訊號處理部
ex455‧‧‧影像訊號處理部
ex456‧‧‧聲音輸入部
ex457‧‧‧聲音輸出部
ex458‧‧‧顯示部
ex459‧‧‧顯示器控制部
ex460‧‧‧主控制部
ex461‧‧‧電源電路部
ex462‧‧‧操作輸入控制部
ex463‧‧‧相機介面部
ex464‧‧‧插槽部
ex465‧‧‧相機部
ex466‧‧‧操作部
ex467‧‧‧記憶體部
ex468‧‧‧SIM
ex470‧‧‧匯流排
ex500‧‧‧LSI

圖1是顯示實施形態1之編碼裝置的功能構成之方塊圖。圖2是顯示實施形態1之區塊分割的一例之圖。圖3是顯示對應於各轉換類型的轉換基底函數之表格。圖4A是顯示在ALF所用的濾波器之形狀的一例之圖。圖4B是顯示在ALF所用的濾波器之形狀的其他的一例之圖。圖4C是顯示在ALF所用的濾波器之形狀的其他的一例之圖。圖5是顯示框內預測中的67個框內預測模式之圖。圖6是用於說明沿著移動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。圖8是用於說明假設了等速直線運動的模型之圖。圖9是用於說明根據複數個相鄰區塊的移動向量之子區塊單位的移動向量的導出之圖。圖10是顯示實施形態1之解碼裝置的功能構成之方塊圖。圖11是顯示實施形態1之編碼裝置的轉換部之內部構成的方塊圖。圖12是顯示實施形態1之編碼裝置的轉換部之處理的流程圖。圖13是顯示實施形態1之解碼裝置的逆轉換部之內部構成的方塊圖。圖14是顯示實施形態1之解碼裝置的逆轉換部之處理的流程圖。圖15A是表示32×32尺寸的區塊中之DCT-II的轉換特性之圖表。圖15B是表示32×32尺寸的區塊中之DCT-V的轉換特性之圖表。圖16A是表示4×4尺寸的區塊中之DCT-II的轉換特性之圖表。圖16B是表示4×4尺寸的區塊中之DCT-V的轉換特性之圖表。圖17是顯示實施形態1之變形例1的編碼裝置的轉換部之內部構成的方塊圖。圖18是顯示實施形態1之變形例1的編碼裝置的轉換部之處理的流程圖。圖19是顯示實施形態1之變形例1的解碼裝置的逆轉換部之內部構成的方塊圖。圖20是顯示實施形態1之變形例1的解碼裝置的逆轉換部之處理的流程圖。圖21是顯示實施形態1之變形例2的編碼裝置的轉換部之內部構成的方塊圖。圖22是顯示實施形態1之變形例2或3中的閾值尺寸或轉換模式的資訊之位元流內的位置的複數個例子之圖。圖23是顯示實施形態1之變形例2的編碼裝置的轉換部之處理的流程圖。圖24是顯示實施形態1之變形例2的解碼裝置的逆轉換部之內部構成的方塊圖。圖25是顯示實施形態1之變形例2的解碼裝置的逆轉換部之處理的流程圖。圖26是顯示實施形態1之變形例3的編碼裝置的轉換部之內部構成的方塊圖。圖27是顯示實施形態1之變形例3的編碼裝置的轉換部之處理的流程圖。圖28是顯示實施形態1之變形例3的解碼裝置的逆轉換部之內部構成的方塊圖。圖29是顯示實施形態1之變形例3的解碼裝置的逆轉換部之處理的流程圖。圖30是實現內容發送服務(content delivery service)的內容供給系統之整體構成圖。圖31是顯示可調式編碼時之編碼構造的一例之圖。圖32是顯示可調式編碼時之編碼構造的一例之圖。圖33是顯示網頁的顯示畫面例之圖。圖34是顯示網頁的顯示畫面例之圖。圖35是顯示智慧型手機的一例之圖。圖36是顯示智慧型手機的構成例之方塊圖。

104‧‧‧減法部

106‧‧‧轉換部

108‧‧‧量化部

114‧‧‧逆轉換部

1061‧‧‧框內/框間判定部

1062‧‧‧基底選擇部

1063‧‧‧頻率轉換部

Claims

一種編碼裝置，是對圖像的編碼對象區塊進行編碼的編碼裝置，並具備處理器、及記憶體，前述處理器是使用前述記憶體，並判定為了前述編碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的複數個頻率轉換的基底，來進行對前述編碼對象區塊的預測誤差之第1頻率轉換，在前述第1頻率轉換中，在為了前述編碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的基底，在為了前述編碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的基底。
如請求項1之編碼裝置，其中，前述處理器更進一步地判定前述編碼對象區塊的尺寸是否為閾值尺寸以下，且在前述第1頻率轉換中，在為了前述編碼對象區塊所使用的是框內預測的情況下，為：(i)若前述編碼對象區塊的尺寸為前述閾值尺寸以下時，使用DCT-V的基底；(ii)若前述編碼對象區塊的尺寸大於前述閾值尺寸時，使用DCT-II的基底。
如請求項2之編碼裝置，其中，前述處理器更進一步地將前述閾值尺寸的資訊寫入至位元流內。
如請求項1至3中任一項之編碼裝置，其中，前述處理器更進一步地判定要將包含第1轉換模式及第2轉換模式的複數個轉換模式當中的哪一個轉換模式適用於前述編碼對象區塊，並在適用前述第1轉換模式的情況下，進行前述第1頻率轉換，在適用前述第2轉換模式的情況下，進行與前述第1頻率轉換不同的第2頻率轉換。
如請求項4之編碼裝置，其中，前述處理器更進一步地將適用於前述編碼對象區塊的轉換模式之資訊寫入至位元流內。
一種編碼方法，是對圖像的編碼對象區塊進行編碼的編碼方法，該編碼方法是判定為了前述編碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的複數個頻率轉換的基底，來進行對前述編碼對象區塊的預測誤差之第1頻率轉換，在前述第1頻率轉換中，在為了前述編碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的基底，在為了前述編碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的基底。
一種解碼裝置，是對圖像的解碼對象區塊進行解碼的解碼裝置，並具備有處理器、及記憶體，前述處理器是使用前述記憶體，並判定為了前述解碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的逆轉換之複數個逆頻率轉換的基底，來進行對前述解碼對象區塊的預測誤差之第1逆頻率轉換，在前述第1逆頻率轉換中，在為了前述解碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的逆轉換之基底，在為了前述解碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的逆轉換之基底。
如請求項7之解碼裝置，其中，前述處理器更進一步地判定前述解碼對象區塊的尺寸是否為閾值尺寸以下，且在前述第1逆頻率轉換中，在為了前述解碼對象區塊所使用的是框內預測的情況下，為：(i)若前述解碼對象區塊的尺寸為前述閾值尺寸以下時，使用DCT-V的逆轉換之基底；(ii)若前述解碼對象區塊的尺寸大於前述閾值尺寸時，使用DCT-II的逆轉換之基底。
如請求項8之解碼裝置，其中，前述處理器更進一步地從位元流中解讀前述閾值尺寸的資訊。
如請求項7至9中任一項之解碼裝置，其中，前述處理器更進一步地判定要將包含第1轉換模式及第2轉換模式的複數個轉換模式當中的哪一個轉換模式適用於前述解碼對象區塊，並在適用前述第1轉換模式的情況下，進行前述第1逆頻率轉換，在適用前述第2轉換模式的情況下，進行與前述第1逆頻率轉換不同的第2逆頻率轉換。
如請求項10之解碼裝置，其中，前述處理器更進一步地從位元流中解讀適用於前述解碼對象區塊的轉換模式之資訊。
一種解碼方法，是對圖像的解碼對象區塊進行解碼的解碼方法，該解碼方法是判定為了前述解碼對象區塊所使用的是框內預測及框間預測的哪一個，並選擇性地利用包含DCT-II及DCT-V的逆轉換之複數個逆頻率轉換的基底，來進行對前述解碼對象區塊的預測誤差之第1逆頻率轉換，在前述第1逆頻率轉換中，在為了前述解碼對象區塊所使用的是框內預測的情況下，是使用DCT-V的逆轉換之基底，在為了前述解碼對象區塊所使用的是框間預測的情況下，是使用DCT-II的逆轉換之基底。