TW201733352A

TW201733352A - 圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置

Info

Publication number: TW201733352A
Application number: TW105134262A
Authority: TW
Inventors: Takahiro Nishi; Tadamasa Toma; Kengo Terada
Original assignee: Panasonic Ip Corp America
Priority date: 2015-12-04
Filing date: 2016-10-24
Publication date: 2017-09-16
Also published as: US20180352248A1; JP2017103744A

Abstract

[課題]本發明之課題為提升編碼效率。[解決手段]為一種圖像解碼方法，其包含：取得步驟，對於藉由分割對象框而獲得之複數個處理單位的每一個，取得被分配至該處理單位之複數個移動向量；選擇步驟，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，由前述複數個移動向量中選擇要使用的移動向量；生成步驟，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及解碼步驟，利用對該小區域所生成之前述預測圖來解碼前述複數個小區域的每一個。

Description

圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置

發明領域本發明是有關於一種圖像解碼方法及圖像編碼方法。

發明背景在作為最新的動態圖像編碼標準規格之HEVC(High Efficiency Video Coding(高效率視訊編碼))規格中，為了提升編碼效率而進行了各種的檢討(參照例如，非專利文獻1)。此方式是以H.26x顯示之ITU-T(國際電信聯盟電信標準化部門)規格、及以MPEG-x顯示之ISO/IEC規格，並且已作為以H.264/AVC、或MPEG-4 AVC顯示之規格的後續之影像編碼規格而被檢討。先前技術文獻

非專利文獻非專利文獻1：ITU-T Recommendation H.265「High efficiency video coding」，2015年4月

發明概要在如此之圖像編碼方法及圖像解碼方法中，所期望的是提升編碼效率。

本發明之目的在於提供一種可以提升編碼效率之圖像解碼方法或圖像編碼方法。用以解決課題之手段

為了達成上述目的，本發明的一個態樣的圖像解碼方法包含：取得步驟，對於藉由分割對象框而獲得之複數個處理單位的每一個，取得被分配至該處理單位之複數個移動向量；選擇步驟，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，由前述複數個移動向量中選擇要使用的移動向量；生成步驟，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及解碼步驟，利用對該小區域所生成之前述預測圖來解碼前述複數個小區域的每一個。

又，本發明之一個態樣的圖像編碼方法包含：檢測步驟，對於藉由分割對象框而獲得之複數個處理單位的每一個，檢測被分配至該處理單位之複數個移動向量；選擇步驟，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，由前述複數個移動向量中選擇要使用的移動向量；生成步驟，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及編碼步驟，利用對該小區域生成之前述預測圖將前述複數個小區域的每一個編碼。

再者，這些的全面或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式及記錄媒體之任意的組合來實現。發明效果

本發明可以提供一種能夠提升編碼效率之圖像解碼方法或圖像編碼方法。

用以實施發明之形態本發明之一個態樣的圖像解碼方法包含：取得步驟，對於藉由分割對象框而獲得之複數個處理單位的每一個，取得被分配至該處理單位之複數個移動向量；選擇步驟，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，由前述複數個移動向量中選擇要使用的移動向量；生成步驟，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及解碼步驟，利用對該小區域所生成之前述預測圖將前述複數個小區域的每一個解碼。

藉此，可以在圖像解碼裝置中從已對應於處理單位之複數個移動向量中選擇在小區域使用之移動向量。因此，變得可對包含在處理單位之複數個小區域使用相異的移動向量。又，由於不必將用於相對於各個小區域指定移動向量之資訊包含於編碼位元流(bit stream)，因此可以抑制編碼位元流之資料量的增加。如此，該圖像解碼方法就可以提升編碼效率。

亦可為：例如，前述複數個參考框包含第1框及第2框，在前述選擇步驟中，相對於前述複數個移動向量的每一個，求出相對於在前述對象框所包含之對象小區域而以該移動向量顯示之前述第1框上之區域與前述第2框上之區域的相關性，並根據該相關性選擇前述使用之移動向量。

亦可為：例如，前述複數個移動向量包含顯示背景之移動的背景向量、及顯示前景之移動的前景向量。

亦可為：例如，在前述選擇步驟中，當前述背景向量之前述相關性及前述前景向量之前述相關性都比事先決定之值更低時，選擇前述背景向量。

藉此，由於可以在參考框中將隱藏於前景之區域等判定為背景區域，因此可以選擇適當之移動向量。

亦可為：例如，在前述生成步驟中，當前述背景向量之前述相關性及前述前景向量之前述相關性都比前述事先決定之值更低時，在藉由前述背景向量而顯示之前述第1框上的第1區域與前述第2框上的第2區域中，利用屬於背景之區域來生成前述預測圖。

藉此，即使在參考框中隱藏於前景的區域等中也可以生成適當之預測圖。

亦可為：例如，在前述生成步驟中，當由前述第1區域或前述第2區域中以前述前景向量所顯示之作為前述對象框上的區域之對應點為屬於背景時，將前述第1區域或前述第2區域判定為屬於背景。

藉此，可以適當地判定以背景向量顯示之參考框上的區域為背景區域或前景區域。

亦可為：例如，在前述生成步驟中，當前述第1區域及前述第2區域之任一區域皆不屬於背景時，利用前述對象框內之前述對象小區域的附近之區域的預測圖來生成該對象小區域的預測圖。

藉此，即使在無法進行適當的參考的情形下也可以生成預測圖。

藉此，可以在圖像解碼裝置中從已對應於處理單位之複數個移動向量中選擇在小區域使用之移動向量。因此，變得可對包含在處理單位之複數個小區域使用相異的移動向量。又，由於不必將用於相對於各個小區域指定移動向量之資訊包含於編碼位元流，因此可以抑制編碼位元流之資料量的增加。如此，該圖像編碼方法可以提升編碼效率。

本發明之一個態樣的圖像解碼裝置包含處理電路、及可以由前述處理電路存取之記憶裝置，前述處理電路是使用前述記憶裝置來執行前述圖像解碼方法。

本發明之一個態樣的圖像解碼裝置具備：取得部，對於藉由分割對象框而獲得之複數個處理單位的每一個，取得被分配至該處理單位之複數個移動向量；選擇部，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，而由前述複數個移動向量中選擇要使用的移動向量；生成部，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及解碼部，利用對該小區域所生成之前述預測圖將前述複數個小區域的每一個解碼。

本發明之一個態樣的圖像編碼裝置包含處理電路、及可以由前述處理電路存取之記憶裝置，前述處理電路是使用前述記憶裝置來執行前述圖像編碼方法。

又，本發明之一個態樣的圖像編碼裝置包含：檢測部，對於藉由分割對象框而獲得之複數個處理單位的每一個，檢測分配至該處理單位之移動向量；選擇部，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，由前述複數個移動向量中選擇要使用的移動向量；生成部，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及編碼部，利用對該小區域生成之前述預測圖來將前述複數個小區域的每一個編碼。

本發明之一個態樣的圖像編碼解碼裝置具備前述圖像解碼裝置、及前述圖像編碼裝置。

再者，這些之總括的或具體的態樣，可利用系統、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式及記錄媒體之任意的組合來實現。

以下，將參照圖式來具體地說明實施形態。再者，以下所說明之實施形態不論那一個皆是顯示總括性的或具體性的例子之實施形態。以下之實施形態顯示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟順序等，僅為一例，並非限定本發明之主旨。

再者，對於已知之事項的詳細說明、及實質上相同構成之重複說明，有時會省略。這是因為要避免以下的說明不必要地變得冗長，且讓本領域之技術人員容易理解。

又，在本實施形態中，有時會將框(frame)改稱為圖形(picture)或圖像來記載。此外，編碼對象或解碼對象之框(圖形或圖像)或區塊有時也會改稱為對象圖形(當前圖形)或對象框(當前框)、或對象區塊(當前區塊)等。除了這些以外，對於編碼解碼器(codec)技術領域中一般使用之種種用語亦可改稱。 (實施形態1)

在本實施形態中，在動態圖像之畫面間預測編碼中，是根據分配給預定之處理單位的複數個移動向量、及時刻彼此相異之複數個參考框，而按每個比對象框之預定的處理單位小之小區域(第1子塊(subblock))來選擇在畫面間預測使用的移動向量與參考框。

又，複數個移動向量是在將預定之處理單位中的動物體或背景等的一個個的移動編碼時進行檢測而被決定。

又，根據時刻相異之至少2枚以上之參考框上的參考像素間之相關性以判斷移動向量與參考框之選擇。

又，在移動向量與參考框之選擇中，針對無法在時刻為相異之2枚以上的參考框上的參考像素間確認高度相關性的區域，是利用前景之移動向量來決定是否將各參考框利用於小區域之預測。

又，在移動向量與參考框之選擇中，針對無法選擇參考框的區域，是利用周邊之像素的預測值來決定該區域之像素的預測值。

首先，說明本實施形態之預測方法的概要。

在動態圖像之畫面間預測編碼中，對於一個碼區塊(預測處理之處理單位)將複數個移動向量從圖像編碼裝置(編碼器(encoder))通知到圖像解碼裝置(解碼器(decoder))。又，圖像編碼裝置及圖像解碼裝置是根據因應框間距離而定標(scaling)之各移動向量所指示的各參考框上之對應區域(第2子塊)之間的相關性，而以碼區塊內之小區域單位來選擇要使用之移動向量與參考框並進行預測。例如，小區域及對應區域之尺寸可為：4×4、3×3、2×2像素等。又，對應區域間之相關性，是藉由對應區域內之像素值之差分絕對值之和等而評價。

再者，作為所選擇之移動向量之單位的小區域、及用於相關性之判定的對應區域可為相同尺寸，亦可為彼此不同的尺寸。例如，對應區域亦可包含與小區域相同尺寸的區域、及其附近之區域。

藉此，即使在動物體與背景等碼區塊內有不同之移動存在時，圖像編碼裝置及圖像解碼裝置，也可以在不從圖像編碼裝置將動物體與背景之交界位置通知到圖像解碼裝置的情況下，變得可用小區域單位適當地切換並預測要使用之移動向量與參考框。藉此，即使不細分碼區塊也可以減少預測殘差。結果，由於減少預測殘差，並可以減少用於移動向量及碼區塊分割之通知的負擔(overhead)，因而使編碼效率提升。

圖1是顯示參考顯示時刻為過去及未來之總計2枚的參考框時之動作例的圖。再者，在圖1~圖3中，作為參考框或對象框而顯示之整體的矩形，是預測處理之處理單位(後述之碼區塊122)。又，背景像素C0、前景像素C1是對應於已將碼區塊分割之小區域，而參考像素P0(t-2d)、P0(t-d)、P0(t+d)、P1(t-2d)、P1(t-d)及P1(t+d)是對應於已將碼區塊分割之對應區域。

圖像編碼裝置會將2個移動向量MV0及MV1通知到圖像解碼裝置。圖像編碼裝置及圖像解碼裝置由於是相對於背景像素C0，使由移動向量MV0所形成之參考像素P0(t-d)與P0(t+d)的相關性變高，因此會選擇移動向量MV0、與參考像素P0(t-d)及P0(t+d)。

又，圖像編碼裝置及圖像解碼裝置由於是相對於前景像素C1，使由移動向量MV1所形成之參考像素P1(t-d)與P1(t+d)的相關性變高，因此會選擇移動向量MV1、與參考像素P1(t-d)及P1(t+d)。

圖2是顯示參考顯示時刻僅為過去之總計2枚的參考框時之動作例的圖。

圖像編碼裝置會將移動向量MV0及MV1通知到圖像解碼裝置。圖像編碼裝置及圖像解碼裝置由於是相對於背景像素C0，使由移動向量MV0所形成之參考像素P0(t-d)與P0(t-2d)的相關性變高，因此會選擇移動向量MV0、與參考像素P0(t-d)及P0(t-2d)。

又，圖像編碼裝置及圖像解碼裝置由於是相對於前景像素C1，使由移動向量MV1所形成之參考像素P1(t-d)與P1(t-2d)的相關性變高，因此會選擇移動向量MV1、與參考像素P1(t-d)及P1(t-2d)。

圖3是顯示參考顯示時刻為過去及未來之總計3枚的參考框時之動作例的圖。

圖像編碼裝置會將移動向量MV0及MV1通知到圖像解碼裝置。圖像編碼裝置及圖像解碼裝置由於是相對於背景像素C0，使由移動向量MV0所形成之參考像素P0(t-2d)與P0(t-d)及P0(t+d)的相關性變高，因此會選擇移動向量MV0、與參考像素P0(t-2d)、P0(t-d)及P0(t+d)。

圖像編碼裝置及圖像解碼裝置由於是相對於前景像素C1，使由移動向量MV1所形成之參考像素P1(t-2d)、P1(t-d)及P1(t+d)的相關性變高，因此會選擇移動向量MV1、與參考像素P1(t-2d)、P1(t-d)及P1(t+d)。

其次，說明本實施形態之圖像編碼裝置的構成。圖4是顯示本實施形態之圖像編碼裝置的構成之一例的方塊圖。圖4所示之圖像編碼裝置100是根據可使用圖像解碼裝置之解碼完成參考框與移動向量，並以小區域單位來選擇使用於預測之移動向量與參考框，以實施畫面間預測。此圖像編碼裝置100具備分塊部101、減法部102、轉換部103、量子化部104、熵編碼部105、逆量子化部106、逆轉換部107、加法部108、框記憶體109、及預測部110。

分塊部101會將輸入圖像121分割為編碼處理單位之複數個碼區塊122。減法部102會生成作為碼區塊122與預測區塊133之差分的差分區塊123。轉換部103會藉由對差分區塊123進行頻率轉換而生成係數區塊124。量子化部104會藉由對係數區塊124進行量子化而生成係數區塊125。

熵編碼部105會藉由對係數區塊125進行熵編碼而生成位元流126。又，逆量子化部106會藉由對係數區塊125進行逆量子化而生成係數區塊127，而逆轉換部107會藉由對係數區塊127進行逆頻率轉換來復原差分區塊128。加法部108會藉由將差分區塊128與預測區塊133相加而生成解碼區塊129(再構成圖像)。此解碼區塊129是儲存於框記憶體109中並利用於預測處理。

預測部110會使用解碼區塊129來生成預測區塊133。此預測部110具備移動檢測部111、移動補償部112、選擇器113及115、緩衝器114及118、控制部116、與預測圖生成部117。

移動檢測部111是使用碼區塊122及解碼區塊129來進行算出移動向量之移動檢測。在此，移動檢測部111是相對於一個碼區塊122算出複數個(N條：N為2以上之整數)移動向量。用於特定此N條移動向量的移動資訊134會被送到熵編碼部105而被編碼。亦即，編碼位元流126包含用於按每個碼區塊122 特定N條移動向量的移動資訊134。

移動補償部112是藉由使用已算出之N條移動向量進行移動補償而生成複數個參考區塊130。具體地來說，當使用M枚(M為2以上之整數)的參考框時，移動補償部112會相對於各移動向量生成M個參考區塊130。亦即，會生成N×M個參考區塊130。

複數個(N×M個)緩衝器114會被分類為N個緩衝器群。N個緩衝器群會與N個移動向量一對一地對應。各緩衝器群包含M個緩衝器，且M個緩衝器會與M個參考框一對一地對應。移動補償部112所生成之N×M個參考區塊130會透過選擇器113而暫時地保持於對應之緩衝器114。

控制部116，是以碼區塊122內之小區域單位來針對各移動向量評價M個參考框上之M個參考像素131之間的相關性，並選擇使用於預測之一個移動向量與複數個參考框。又，控制部116會將已針對各個小區域所選擇之以移動向量表示之複數個參考像素131透過選擇器115輸出至預測圖生成部117。在此，複數個參考像素131是與複數個參考框(參考區塊130)上之小區域相同尺寸的圖像(像素值)。

預測圖生成部117是使用已取得之複數個參考像素131來生成各個小區域的預測圖132。例如，預測圖生成部117是使用已取得之複數個參考像素131之加權平均而生成各個小區域的預測圖132。此預測圖132會被儲存於緩衝器118，並將對應於碼區塊122之複數個預測圖132作為預測區塊133而輸出。

再者，頻率轉換及量子化處理亦可作為各自分開的處理並逐次進行，亦可一併進行。同樣地，逆量子化及逆頻率轉換處理亦可以作為各自分開的處理並逐次進行，亦可一併進行。

又，所謂量子化，意指以事先決定之間隔將已取樣之值與已事先決定之等級(level)相關聯並進行數位化處理。所謂逆量子化，意指將已以量子化得到之值還原到原本的區間之值的處理。在資料壓縮領域中，量子化是指將值區分成比原始更粗之區間的處理，逆量子化是指將粗的區間重新分成原始之細的區間的處理。在編碼解碼器技術領域中，有時也會將量子化及逆量子化稱作取整數、捨入處理(rounding)、或定標(scaling)。

又，在圖4中，雖然主要僅記載本實施形態之特徵性的構成，但也可以更進一步地利用一般所使用的框間(inter)預測及框內(intra)預測等。在此種情況下，會按每個碼區塊122選擇上述之預測處理、框間預測及框內預測之中編碼效率最高的方法。

又，在此，雖然說明了按每個碼區塊122選擇N個移動向量的例子，但亦可按每個將碼區塊122分割之處理單位選擇N個移動向量。

其次，說明圖像編碼裝置100所進行之動作。圖5是顯示圖像編碼裝置100所進行之畫面間預測處理的動作例的流程圖。

首先，移動檢測部111會藉由移動檢測算出處理對象對象之碼區塊122的N條移動向量(S101)。具體來說，如圖6所示，移動檢測部111會對每個小區域求出移動向量，並由所求出的複數條移動向量之中選擇N條代表性的移動向量。例如，可選擇複數條移動向量之中出現頻率較高之(成為直方圖(histogram)之峰值(peak))的N條移動向量。例如，如圖6所示，可選擇顯示背景之移動的移動向量MV0、及顯示前景(移動物體)之移動的移動向量MV1。

又，將顯示作為編碼位元流126之一部分而被選擇之N條移動向量的資訊通知給圖像解碼裝置。再者，探索方法只要是可以檢測每個小區域之移動的方法，可以使用任意之方法。

其次，移動補償部112會利用複數個移動向量來取得參考區塊(S102)。具體地來說，如圖7所示，移動補償部112會將以步驟S101所取得之複數個移動向量定標，以取得各參考框上之對應的參考區塊。

在圖7之例中，有時刻t之對象框、與時刻t-2d、時刻t-d及時刻t+d之參考框1~3存在。此時，移動補償部112會藉由定標移動向量MV0而導出移動向量-MV0及-2MV0，而取得以移動向量MV0所示之參考框3上之參考區塊、以移動向量-MV0所示之參考框2上之參考區塊、及以移動向量-2MV0所示之參考框1上之參考區塊。同樣地，移動補償部112會藉由定標移動向量MV1而導出移動向量-MV1及-2MV1，而取得以移動向量MV1所示之參考框3上之參考區塊、以移動向量-MV1所示之參考框2上之參考區塊、及以移動向量-2MV1所示之參考框1上之參考區塊。所取得之這些參考區塊130會被保持於緩衝器114。

其次，控制部116會按每個小區域由複數個移動向量中選擇移動向量(S103)。具體地來說，控制部116是假定等速直線移動，並按每個小區域評價對應於各個移動向量之參考像素間的相關性。而且，控制部116會如圖8所示地對每個小區域選擇相關性較高的移動向量。

再者，小區域不僅可為4×4像素或2×2像素等之矩形區塊，亦可為1像素。經考慮，以1像素單位來選擇移動向量時，由於會有前方及後方之參考像素偶然一致的情況，因此會使判定變得不穩定。相對於此，控制部116會以3×3像素或包含上下左右像素之5個像素等較寬廣之範圍來評價相關性。例如，控制部116亦可採取下述對策：對參考像素啟動3×3像素等的低通濾波器(low pass filter)，或者，在使以周圍之像素所選擇之向量齊聚的情形下選擇相同之向量等。

其次，預測部110會生成各個小區域之預測圖132(S104)。例如，作為此方法，可以使用：將對於編碼對象框時間距離較近之參考框的像素設為預測圖132(預測值)的方法、或者將利用複數個參考像素而因應時間距離之加權平均值設為預測圖132的方法等。為了加權平均，而用序列(sequence)、圖形或片(slice)單位來顯式地通知權重亦可。又，有權重為0之參考框亦可。

又，在圖5之步驟S103中，會有將背景區域之參考像素隱藏於前景等在僅利用單純之參考像素間的相關性評價下使移動向量的選擇較困難之情況。因此，控制部116會更進一步地使用前景之移動向量來求取參考像素之編碼對象框上的對應點，並判定在對應點之像素中所選擇之移動向量是否為前景之移動向量。例如，由圖像編碼裝置對圖像解碼裝置通知移動向量之時，事先決定由背景之移動向量開始依序進行通知等的規則。藉此，可以知道圖像解碼裝置是哪個移動向量為背景之移動向量。又，圖像編碼裝置可以針對移動向量之選擇困難的區域，藉由評價參考像素與對象像素之相關性之作法等，而判斷伴隨任何一個移動向量之區域是否為背景。

具體地來說，當對應點之像素為前景之移動向量時，控制部116會判定為參考像素屬於伴隨前景之移動向量的區域，而在將該區域考慮為背景區域的預測中不使用該參考像素。另一方面，當在對應點之像素中所選擇之移動向量為背景之移動向量時，控制部116會判定為參考像素為屬於伴隨背景之移動向量的區域，而在將該區域考慮為背景區域的預測中使用該參考像素。又，由於在僅利用單純之參考像素間的相關性評價下會使對應點之像素的移動向量之選擇困難時，控制部116會考慮為對應點屬於參考框中隱藏於前景之背景區域，因此參考像素會判定為屬於伴隨背景之移動向量的區域，而在將該區域考慮為背景區域的預測中使用參考像素。

以下，說明參考顯示時刻為過去與未來之總計2枚之參考框時的例子。圖9是顯示此情況之動作例的圖。此處，移動向量MV0是背景之移動向量(背景向量)，移動向量MV1是前景之移動向量(前景移動向量)。

首先，藉由圖5之步驟S103，如圖9所示地將編碼對象框按每個小區域分類為前景區域151、背景區域152、或者其以外之不明區域153。前景區域151是選擇前景之移動向量之小區域，背景區域152是選擇背景之移動向量的小區域。不明區域153是前景區域151及背景區域152以外的區域。該不明區域153可考慮為在參考框中隱藏在前景之背景區域。又，不明區域153是參考像素間的相關性在任何一個移動向量均為較小的區域。再者，所謂相關性高或低是指例如，相關性比事先決定之基準值更高或更低的意思。

其次，控制部116會對於不明區域153，針對對應於背景向量MV0之參考像素，求出根據前景向量MV01之對象框上的對應點，而判定對象框上之對應點屬於前景區域151、背景區域152、及不明區域153之中的哪一個區域。而且，控制部116會將對應點屬於背景(背景區域152或不明區域153)之參考像素使用於預測。在圖9所示之小區域C01之例中，存在有對應於背景向量MV0之參考像素P01(t-d)及P01(t+d)。由於參考像素P01(t-d)之對應點X01A是屬於前景區域151，因此參考像素P01(t-d)不會被使用於預測。由於參考像素P01(t+d)之對應點X01B是屬於背景區域152，因此參考像素P01(t+d)會被使用於預測。又，在小區域C02之例中，存在有對應於背景向量MV0之參考像素P02(t-d)及P02(t+d)。由於參考像素P02(t-d)之對應點X02A是屬於背景區域152，因此參考像素P02(t-d)會被使用於預測。由於參考像素P02(t+d)之對應點X02B是屬於前景區域151，因此參考像素P02(t+d)不會被使用於預測。

又，在圖9之方法中，雖然較理想的是，在對應點之像素是所有對象區塊外之未編碼(或未解碼)的像素等，且無法利用於判斷的情形下，在該區域的預測中就不使用該參考像素，但只要是以圖像編碼裝置與圖像解碼裝置形成相同的結果之判定方法，則將該參考像素使用於該區域之預測亦可。再者，即使是對應點之像素已為對象區塊外之未編碼(或未解碼)的像素的情形下，亦可在已將其他之參考像素判斷為前景的情況下，將該參考像素判斷為背景並使用於預測。

又，在圖9之方法及上述方法中，當找不到使用於預測之像素時，控制部116會進行將對應於該像素之所有之參考框上的像素判斷為隱藏於前景，而將附近之背景區域的像素之預測值(預測圖)複製等以決定該像素之預測值。

其次，說明參考顯示時刻僅為過去之總計2枚之參考框時的例子。圖10是顯示此情況之動作例的圖。

與圖9之例同樣地，控制部116會將各個小區域分類為前景區域151、背景區域152、及不明區域153。此外，控制部116還將不明區域153分類為可利用一個參考像素之區域153A、及可利用之參考像素不存在的區域153B。

具體地來說，在屬於區域153A之小區域C03之例中，存在有對應於背景向量MV0之參考像素P03(t-2d)及P03(t-d)。由於參考像素P03(t-2d)之對應點X03A是屬於前景區域151，因此不將參考像素P03(t-2d)使用於預測。由於參考像素P03(t-d)之對應點X03B是屬於背景區域152，因此會將參考像素P03(t-d)使用於預測。

另一方面，在屬於區域153B之小區域C04之例中，存在有對應於背景向量MV0之參考像素P04(t-2d)及P04(t-d)。由於參考像素P04(t-2d)及P04(t-d)皆屬於前景區域151，因此不會將參考像素P04(t-2d)及P04(t-d)使用於預測。此時，由於沒有使用於參考之像素，因此控制部116會進行將附近之背景區域152的像素之預測值複製等以決定該像素之預測值。

其次，說明參考顯示時刻為過去與未來之總計3枚之參考框時的例子。圖11是顯示此情況之動作例的圖。

此時也與圖9及圖10之例同樣地，控制部116會將各個小區域分類為前景區域151、背景區域152(152A及152B)、及不明區域153。

具體地來說，在屬於區域153之小區域C05之例中，存在有對應於背景向量MV0之參考像素P05(t-2d)、P05(t-d)及P05(t+d)。由於參考像素P05(t-2d)及P05(t-d)之對應點X05A及X05B是屬於前景區域151，因此不會將參考像素P05(t-2d)及P05(t-d)使用於預測。由於參考像素P05(t+d)之對應點X05C是屬於背景區域152，因此會將參考像素P05(t+d)使用於預測。

又，屬於背景區域152A之小區域C06雖然在時刻t+d之參考框中是隱藏於前景之區域，但2個參考框上之參考像素P06(t-d)與參考像素P06(t-2d)之相關性是高的。因此，控制部116會將此小區域C06判斷為背景區域，而將參考像素P06(t-d)及P06(t-2d)使用於小區域C06之預測圖132的決定。同樣地，背景區域152B雖然在時刻(t-2d)之參考框中是隱藏於前景之區域，但時刻(t-d)及時刻(t+d)之框上的參考像素間的相關性是高的。因此，控制部116對背景區域152B會使用時刻(t-d)及時刻(t+d)之框上的參考像素。

圖12是本實施形態之移動向量及參考像素的選擇處理(圖5之步驟S103及S104)的流程圖。此處理會按每個小區域進行。

如圖12所示，在以前景向量(對應前景之移動向量)所示之複數個參考像素間的相關性高的情形下(在S111中為是)，控制部116會判斷為處理對象之小區域屬於前景區域，並選擇前景向量，而決定為將以前景向量所示之複數個參考像素使用於處理對象之小區域的預測(S114)。

又，在以背景向量(對應背景之移動向量)所示之複數個參考像素間的相關性高的情形下(在S112中為是)，控制部116會判斷為處理對象之小區域屬於背景區域，並選擇背景向量，而決定為將以背景向量所示之複數個參考像素使用於處理對象之小區域的預測(S115)。

再者，如上述地，在使用3個以上之參考框的情形下，控制部116在至少2個參考像素間之相關性高的情況下，會判斷為處理對象之小區域屬於背景區域。又，控制部116會決定為在以背景向量所示之複數個參考像素之中將相關性高的參考像素使用於處理對象之小區域的預測。

又，當於前景向量及背景向量的任一個中皆不存在相關性高之參考像素的情形下(在S111中為否且在S112中為否)，控制部116會判定為以背景向量所示之複數個參考像素之中是否有屬於背景區域之參考像素存在(S113)。具體地來說，如上述，當參考像素之對應點為屬於背景區域的情形下，控制部116會判定為該參考像素屬於背景區域。

在背景向量所示之複數個參考像素之中存在屬於背景區域之參考像素的情形下(在S113中為是)，控制部116會決定為將該參考像素使用於處理對象之小區域的預測(S116)。

另一方面，在以背景向量所示之複數個參考像素不包含屬於背景區域之參考像素的情形下(在S113中為否)，在例如所有的參考像素皆屬於前景區域、或存在於區塊外的情形下，控制部116會決定為將包含於附近之背景區域的小區域之預測圖使用於處理對象之小區域的預測圖(複製)(S117)。

其次，說明本實施形態之預測方法的適用例。圖13是顯示稱為HB3之分階層的畫面間預測編碼構造的圖。在圖13所示之顯示順序下，在第0個(隨機存取點(random access point))及第4個以外之框中，可利用2枚以上之參考框。因此，對這些框可以適用本實施形態之預測方法。

再者，作為將顯示使用本實施形態之預測方法的資訊由圖像編碼裝置通知到圖像解碼裝置的方法，可以使用以下的方法。

例如，作為通知至每個預測區塊之預測類型的1種，亦可在以往之預測類型中追加顯示上述預測方法的預測類型。或者，亦可在通知2條移動向量之以往的雙預測中，僅將預測圖之生成方法置換為本實施形態的預測方法。又，在序列參數集(sequence parameter set)(以下稱SPS)、圖形參數集(picture parameter set)(以下稱PPS)、或者片標頭(slice header)(以下稱SH)等中，埋入用於通知是否追加本實施形態之預測方法、或是否將以往之雙預測之預測方法置換為本實施形態之預測方法等以作為新的預測類型的資訊，並作成可藉序列、圖形或片單位切換預測方法亦可。

再者，在上述說明中，是設成以碼區塊內之小區域(4×4或2×2像素等)單位，來選擇使用之移動向量與參考框並進行預測。此小區域之尺寸，可固定為4×4或2×2像素等之已事先決定之尺寸，亦可作成在SPS、PPS、或SH等中埋入顯示尺寸的資訊，而可藉序列、圖形或片單位來切換。

又，小區域之尺寸，是以4×4像素等之複數個像素為基本，並僅在於4×4像素內包含物體邊界的事例等之用比4×4更小之尺寸的預測被考慮為有效的情形下，才使切換為2×2像素或1像素單位之分階層的切換也為可實施的。顯示是否進行分階層的切換的資訊，也可藉由將切換資訊埋入SPS、PPS或SH等中，而以序列、圖形或片單位來切換控制。

又，在上述說明中，雖然根據各參考框上的參考像素之間的相關性，以碼區塊內之小區域單位來選擇使用之移動向量與參考框並進行了預測，但藉由將成為相關性之高低的判斷基準的閥值等之參數埋入到SPS、PPS及SH等中，可使在編碼之時配合圖像之雜訊的多寡等的調整變得可行。

其次，說明本說明書實施形態之圖像解碼裝置的構成。圖14是顯示本實施形態之圖像解碼裝置200的構成例之方塊圖。圖14所示之圖像解碼裝置200，是藉由將上述之圖像編碼裝置100所生成之作為位元流126的位元流221解碼，以生成解碼圖像226。

此圖像解碼裝置200具備熵解碼部201、逆量子化部202、逆轉換部203、加法部204、框記憶體205、及預測部206。

熵解碼部201是從藉由將包含1個以上之圖形的靜態圖或動態圖編碼而生成之位元流221中，將係數區塊222及移動資訊231解碼。在此，移動資訊231是用於對應於上述之移動資訊134而按每個碼區塊特定複數個移動向量的資訊。

逆量子化部202是藉由對係數區塊222進行逆量子化來生成係數區塊223。逆轉換部203是藉由對係數區塊223進行逆轉換來生成差分區塊224。

加法部204是藉由將差分區塊224與預測區塊230相加來生成解碼區塊225。此解碼區塊225是儲存於框記憶體109中，以作為解碼圖像226而輸出，並且利用於預測處理。

再者，差分區塊224、解碼區塊225及預測區塊230之尺寸是例如，與作為預測處理單位之上述碼區塊的尺寸相同。

預測部206會使用解碼區塊225來生成預測區塊230。此預測部206具備移動補償部207、選擇器208及210、緩衝器209及213、控制部211、及預測圖生成部212。

再者，包含於預測部206之各處理部的動作，與包含於上述之圖像編碼裝置100所具備之預測部110的各處理部之動作相同。不過，在預測部110中，雖然藉由移動檢測部111檢測每個碼區塊之複數個移動向量，但在預測部206中是藉由包含於位元流221之移動資訊231來顯示每個碼區塊之複數個移動向量。

亦即，移動補償部207是藉由使用以移動資訊231顯示之N條移動向量進行移動補償而生成複數個參考區塊227。複數個(N×M個)緩衝器209會被分類為N個緩衝器群。N個緩衝器群會與N個移動向量一對一地對應。各緩衝器群包含M個緩衝器，且M個緩衝器會與M個參考框一對一地對應。移動補償部207所生成之N×M個參考區塊227會透過選擇器208而暫時地保持於對應之緩衝器209。

控制部211，是以碼區塊內之小區域單位來針對各移動向量評價M個參考框上之M個參考像素228之間的相關性，並選擇使用於預測之一個移動向量與複數個參考框。又，控制部211會將已針對各個小區域所選擇之以移動向量表示之複數個參考像素228透過選擇器210輸出至預測圖生成部212。

預測圖生成部212是使用已取得之複數個參考像素228來生成各個小區域的預測圖229。該預測圖229會被儲存於緩衝器213，並將對應於碼區塊之複數個預測圖229作為預測區塊230而輸出。

再者，逆量子化及逆頻率轉換處理亦可作為各自個別的處理而逐次進行，亦可一併進行。又，在HEVC等之現在主流的編碼規格中，是將逆量子化及逆頻率轉換處理一併進行。又，在解碼側中也是與編碼側同樣，會有在這些處理中使用定標等之表現的情況。

又，與編碼側同樣地，亦可進一步地利用一般所使用之框間(inter)預測及框內(intra)預測等。在此情況下，會使顯示使用上述之預測處理、框間預測及框內預測之中的哪一個的資訊包含於位元流221中，且圖像解碼裝置200會因應該資訊而按每個碼區塊選擇預測方法。

再者，在上述說明中，雖然對於碼區塊，敘述了分別使用1個前景向量及背景向量的例子，但使用前景向量及背景向量之至少其中一種的複數個向量亦可。例如，亦可使用2個前景向量與2個背景向量。此時，對於參考框1，會按每個小區域求出複數個移動向量，並由其中選擇出現頻率高的2個移動向量(前景向量1及背景向量2)。同樣地，對於參考框2，會求出每個小區域之複數個移動向量，並由其中選擇出現頻率高的2個移動向量(前景向量2及背景向量2)。

此時，作為前景向量與背景向量之組合，可考慮(前景向量1、背景向量1)、(前景向量1、背景向量2)、(前景向量2、背景向量1)、及(前景向量2、背景向量2)4種。因此，圖像編碼裝置100(或圖像解碼裝置200)，會算出這4種組合的成本值，並形成使用成本值最低之組合的前景向量及背景向量之組而進行選擇。

具體地來說，是將前景區域之預測殘差的總計、背景區域之預測殘差的總計、及其以外之區域的預測殘差的總計之總和作為碼區塊之殘差而算出。又，會算出移動向量之位元量。將此碼區塊之殘差與移動向量之位元量的相加值或加權相加值作為成本值而算出。

再者，當在移動向量之位元量中差值為沒有(或很少)的情形下，亦可僅以碼區塊之殘差算出成本值。

又，在上述說明中，雖然在無法使用參考框之參考像素的情形下，是作成將附近之背景區域的預測圖使用於對象小區域之預測圖(S117)，但亦可作為如框內預測的方式，將包含於對象框之對象小區域附近的背景區域之像素值作為對象小區域之預測圖來使用，且將該像素值作為對象小區域之像素值而複製。

如以上的方式，本實施形態之圖像編碼裝置100會進行圖15所示之圖像編碼處理。首先，移動檢測部111，會對藉由分割對象框而獲得之複數個處理單位(碼區塊122)的每一個檢測分配至該處理單位之複數個移動向量(S121)。

其次，控制部116會對藉由分割處理單位而獲得之複數個小區域的每一個，根據複數個移動向量、及彼此相異之時刻的複數個參考框，而由複數個移動向量中選擇要使用之移動向量(S122)。

例如，複數個參考框包含第1框及第2框，且控制部116會對複數個移動向量的每一個，針對包含於對象框之對象小區域求出以該移動向量所表示之第1框上之區域(參考像素131)與第2框上之區域(參考像素131)的相關性，並選擇該相關性高的移動向量。再者，在此所使用之移動向量是指移動向量本身、或因應對象框、參考框及時間距離來定標該移動向量之移動向量。

又，複數個移動向量包含顯示背景之移動的背景向量、及顯示前景之移動的前景向量。控制部116在背景向量之相關性及前景向量之相關性都比事先決定之值更低時，會選擇背景向量。

其次，預測圖生成部117會對複數個小區域的每一個，使用已選擇之移動向量而生成預測圖132(S123)。例如，預測圖生成部117在背景向量之相關性及前景向量之相關性都比事先決定的值更低的情形下，會在以背景向量所示之第1框上的第1區域與第2框上的第2區域之中，使用屬於背景之區域來生成預測圖132。例如，預測圖生成部117，在由第1區域(或第2區域)藉由前景向量所示之作為對象框上的區域之對應點為屬於背景的情形下，會判定為第1區域(或第2區域)屬於背景。又，預測圖生成部117，在第1區域及第2區域任一個都不屬於背景的情形下，會使用對象框內之對象小區域附近的區域之預測圖來生成該對象小區域的預測圖132。

其次，編碼部(減法部102、轉換部103、量子化部104及熵編碼部105等)，會利用針對該小區域所生成之預測圖132來將複數個小區域的每一個編碼(S124)。具體地來說，編碼部會算出小區域之像素值與預測圖132之差分，並藉由對該差分進行頻率轉換、量子化及熵編碼(可變長度編碼)而生成位元流126。

再者，以步驟S121所檢測出之顯示每個處理單位之複數個移動向量的資訊是藉由編碼而包含於位元流126中。另一方面，在步驟S122所選擇之顯示每個小區域之移動向量的資訊並未包含於位元流126中。亦即，不會將顯示每個小區域之移動向量的資訊傳送至圖像解碼裝置。

又，本實施形態之圖像解碼裝置200會進行圖16所示之圖像解碼處理。首先，熵解碼部201會對藉由分割對象框而獲得之複數個處理單位(碼區塊)的每一個，取得被分配至該處理單位之複數個移動向量(S131)。具體地來說，熵解碼部201是由位元流221中取得顯示複數個被分配至處理單位之移動向量的資訊231。

其次，控制部211會對藉由分割處理單位而獲得之複數個小區域的每一個，根據複數個移動向量、及彼此相異之時刻的複數個參考框，而由複數個移動向量中選擇要使用之移動向量(S132)。

例如，複數個參考框包含第1框及第2框，且控制部211會對複數個移動向量的每一個，針對包含於對象框之對象小區域求出以該移動向量所表示之第1框上之區域(參考像素228)與第2框上之區域(參考像素228)的相關性，並選擇該相關性高的移動向量。

又，複數個移動向量包含顯示背景之移動的背景向量、及顯示前景之移動的前景向量。控制部211在背景向量之相關性及前景向量之相關性都比事先決定之值更低時，會選擇背景向量。

其次，預測圖生成部212會對複數個小區域的每一個，使用已選擇之移動向量而生成預測圖229(S133)。例如，預測圖生成部212在背景向量之相關性及前景向量之相關性都比事先決定的值更低的情形下，會在以背景向量所示之第1框上的第1區域與第2框上的第2區域之中，使用屬於背景之區域來生成預測圖。例如，預測圖生成部212，在由第1區域(或第2區域)藉由前景向量所示之作為對象框上的區域之對應點為屬於背景的情形下，會判定為第1區域(或第2區域)屬於背景。又，預測圖生成部212，在第1區域及第2區域任一個都不屬於背景的情形下，會使用對象框內之對象小區域附近的區域之預測圖來生成該對象小區域的預測圖229。

其次，解碼部(熵解碼部201、逆量子化部202、逆轉換部203、及加法部204等)，會利用對該小區域所生成之預測圖229來將複數個小區域的每一個解碼(S134)。具體地來說，解碼部是藉由對小區域之編碼資料進行熵解碼(可變長度解碼)、逆量子化及逆頻率轉換來將小區域之差分值復原。解碼部是藉由將預測圖229與該差分值相加而將小區域之像素值復原。

再者，顯示每個小區域之移動向量的資訊並未包含於位元流221中。亦即，不會將顯示每個小區域之移動向量的資訊傳送至圖像解碼裝置。

根據以上，可以在圖像解碼裝置中從已對應於處理單位之複數個移動向量中選擇在小領域使用之移動向量。因此，變得可對包含在處理單位之複數個小區域使用相異的移動向量。又，由於不必將用於相對於各個小區域指定移動向量之資訊包含於編碼位元流中，因此可以抑制編碼位元流之資料量的增加。如此，本實施形態之圖像編碼裝置100及圖像解碼裝置200可以提升編碼效率。

以上，雖然說明了本實施形態之圖像編碼裝置及圖像解碼裝置，但本發明並不限定於此實施形態。

又，包含於上述實施形態之圖像編碼裝置及圖像解碼裝置的各處理部典型上是作為積體電路之LSI而實現。這些可以個別地集成為1個晶片，亦可以由包含一部分或全部的方式來集成1個晶片。

又，積體電路化並不限於LSI，亦可利用專用電路或通用處理器來實現。亦可利用在LSI製造後可程式設計的FPGA(Field Programmable Gate Array(現場可程式閘陣列))、或可再構成LSI內部之電路電池的連接與設定之可重組態處理器(reconfigurable processor)。

在上述各實施形態中，各構成要素可由專用之硬體構成，亦可藉由執行適合於各構成要素之軟體程式來實現。各構成要素亦可藉由CPU或處理器等之程式執行部將已記錄於硬碟或半導體記憶體等之記錄媒體的軟體程式讀取並執行來實現。

換言之，圖像編碼裝置及圖像解碼裝置包含處理電路(processing circuitry)、及電連接於該處理電路之(可由該處理電路存取之)記憶裝置(storage(儲存器))。處理電路包含專用硬體及程式執行部之至少其中一方。又，記憶裝置在處理電路包含程式執行部的情形下，會記憶以該程式執行部執行之軟體程式。處理電路是利用記憶裝置而於上述實施形態執行圖像編碼方法或圖像解碼方法。

此外，本發明亦可為上述軟體程式，亦可為已記錄有上述程式之非暫時的電腦可讀取的記錄媒體。又，上述程式當然可透過網際網路等之傳送媒體而流通。

又，上述所使用之數字，全部都是為了具體地說明本發明而例示的數字，本發明並不受例示之數字所限制。

又，方塊圖中之功能方塊的分割僅為一例，亦可將複數個功能方塊作為一個功能方塊來實現，或將一個功能方塊分割為複數個、或將一部分之功能移至其他的功能方塊。又，亦可將具有類似之功能之複數個功能方塊的功能以使單一的硬體或軟體並列或時間分割的方式來處理。

又，執行包含於上述圖像編碼方法或圖像解碼方法之步驟的順序，是為了具體地說明本發明而例示之順序，為上述以外的順序亦可。又，上述步驟之一部分亦可與其他的步驟同時(並列)執行。

以上，針對本發明的一個或複數個態樣之圖像編碼裝置、圖像解碼裝置、圖像編碼方法及圖像解碼方法，雖然根據實施形態進行了說明，但本發明並不限定於此實施形態。只要不脫離本發明之主旨，將本發明所屬技術領域中具有通常知識者可設想得到之各種變形施行於本實施形態者、或組合不同的實施形態中的構成要素而建構之形態，均可包含於本發明的一個或複數個態樣的範圍內。 (實施形態2)

在以上之各實施形態中，各個功能方塊通常可藉由MPU及記憶體等來實現。又，藉由各個功能方塊所進行之處理，通常是藉由使處理器等之程式執行部將已記錄於ROM等之記錄媒體的軟體(程式)讀出並執行來實現。可將該軟體藉由下載等來發布，亦可記錄於半導體記憶體等之記錄媒體來發布。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。

又，在各實施形態中所說明之處理，可以藉由使用單一的裝置(系統)集中處理來實現、或者藉由使用複數個裝置分散處理來實現亦可。又，執行上述程式之處理器，可為單個，亦可為複數個。亦即，可進行集中處理，或者進行分散處理亦可。

本發明可不受以上之實施例所限定，而進行種種的變更，且該等亦包含於本發明之範圍內。

更進一步地，在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例與使用其之系統。該系統之特徵在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具備兩者之圖像編碼解碼裝置。針對系統中的其他的構成，可以視情況適當地變更。 [使用例]

圖17是顯示實現內容傳遞服務(content delivery service)之內容供給系統ex100之整體構成的圖。將通訊服務之提供區分割成所希望的大小，且在各小區(cell)內分別設置有作為固定無線電台之基地台ex105、ex106、ex107、ex108、ex109、ex110、及ex110。

在此內容供給系統ex100中，透過網際網路服務提供者ex102或通訊網ex104、及基地台ex105~ex111，將電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器連接到網際網路ex101。該內容供給系統ex100亦可設成組合並連接上述之任一要素。亦可在不透過作為固定無線電台之基地台ex105~ex111的情況下，將各機器透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器(streaming server)ex103，是透過網際網路ex201等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器相連接。又，串流伺服器ex103是透過衛星ex116來與飛機ex117內之熱點(hot spot)內的終端等連接。

再者，取代基地台ex105~ex111 ，而使用無線存取點或熱點等亦可。又，串流伺服器ex103，亦可在不透過網際網路ex101或網際網路服務提供者ex102的情形下直接與通訊網ex104連接，亦可在不透過衛星ex116的情形下直接與飛機ex117連接。

相機ex113是數位相機等之可進行靜態圖攝影、及動態圖攝影之機器。又，智慧型手機ex115可為對應於一般稱作2G、3G、3.9G、4G、還有今後將被稱為5G的移動通訊系統之方式的智慧型電話機、攜帶電話機、或者PHS(Personal Handyphone System(個人手持電話系統))等。

家電ex118可為冰箱、或包含於家庭用燃料電池汽電共生系統(cogeneration system)之機器等。

在內容供給系統ex100中，是藉由使具有攝影功能之終端通過基地台ex105等來連接到串流伺服器ex103，而使實況即時發送等變得可行。在實況(live)即時發送中，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等)，會對於使用者使用該終端所攝影之靜態圖或動態圖內容進行已在上述各實施形態所說明之編碼處理，並與已藉由編碼而得到之影像資料、與已將對應於影像之聲音編碼的聲音資料形成多工化，來將所獲得之資料傳送至串流伺服器ex103。亦即，各終端是作為本發明的一個態樣的圖像編碼裝置而發揮功能。

另一方面，串流伺服器ex103會對針對有要求之客戶端(client)所傳送之內容資料進行流(stream)發送。客戶端是指可將已經過上述編碼處理之資料解碼的電腦ex111、遊戲機112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等。已接收到所發送之資料的各機器，會將所接收到之資料解碼處理並播放。亦即，各機器是作為本發明之一個態樣的圖像解碼裝置而發揮功能。 [分散處理]

又，串流伺服器ex103可為複數個伺服器或複數台電腦，亦可為將資料分散並處理或記錄以進行發送者。例如，串流伺服器ex103可藉由CDN(Contents Delivery Network(內容遞送網路))而實現，亦可藉由分散於世界中的多數個邊緣伺服器(edge server)與於邊緣伺服器之間進行連接的網路來實現內容發送。在CDN上，會因應客戶來動態地分配在物理上相近之邊緣伺服器。而且，藉由將內容快取(cache)及發送至該邊緣伺服器可以減少延遲。又，由於可以在無論發生什麼錯誤時或因流量之增加而改變通訊狀態時均以複數個邊緣伺服器將處理分散，或將發送主體切換為其他的邊緣伺服器，來繞過已發生障礙之網路部分並持續發送，因此可以實現高速且穩定的發送。

又，不僅是發送本身之分散處理，亦可將已攝影之資料的編碼處理在各終端進行，亦可在伺服器側進行，亦可互相分擔來進行。作為一例，一般在編碼處理中，會進行2次處理循環。在第1次循環中可檢測在框或場景單位下之圖像的複雜度或編碼量。又，在第2次循環中可進行維持畫質並提升編碼效率的處理。例如，可以藉由使終端進行第1次編碼處理，且使接收內容之伺服器側進行第2次編碼處理，而減少在各終端之處理負荷並且使其提升內容的質與效率。此時，由於只要有以近乎即時的方式接收並解碼的要求，也可以將終端已進行之第一次的編碼完成資料以其他終端接收並播放，因此也可變得更靈活且即時發送。

作為其他的例子，相機ex113等是由圖像中進行特徵量抽出，並將與特徵量相關之資料作為元資料(meta data)來壓縮並傳送至伺服器。伺服器會由例如特徵量中判斷目標(object)之重要性並切換量子化精度等，進行因應圖像之意義的壓縮。特徵量資料對於在伺服器之再度壓縮時的移動向量預測之精度及效率提升特別有效。又，亦可在終端進行VLC(可變長度編碼)等之簡易的編碼，並在伺服器進行CABAC(上下文參考之適應性二元算術編碼方式)等處理負荷較大的編碼。

此外，作為其他的例子，在運動場、購物商場、或工廠等中，會有藉由複數個終端拍攝幾乎相同的場景之複數個影像資料存在的情況。此時，可利用已進行攝影之複數個終端、因應需要而沒有進行攝影之其他的終端及伺服器，以例如GOP(Group of Picture(圖像群組))單位、圖形單位、或已將圖形分割而成之方塊(tile)單位等來將編碼處理各自分配並進行分散處理。藉此，可以減少延遲，而更能夠實現即時性(real-time)。

又，由於複數個影像資料幾乎為相同的場景，因此亦可在伺服器進行管理及/或指示成可互相地參考對照在各終端所攝影之影像資料。或者，亦可使伺服器接收來自各終端之編碼完成資料，並在複數個資料間變更參照關係，或者補正或更換圖形本身並重新編碼。藉此，可以生成已將一個個資料之質與效率變高的流(stream)。

又，伺服器亦可在進行變更影像資料之編碼方式的轉碼(transcode)後再發送影像資料。例如，伺服器亦可將MPEG類之編碼方式轉換為VP類，亦可將H.264轉換為H.265。

如此，編碼處理變得可藉由終端或1個以上之伺服器來進行。因此，以下，雖然作為進行處理之主體而使用「伺服器」或「終端」等之記載，但亦可在終端進行在伺服器進行之處理之一部分或全部，亦可在伺服器進行在終端進行之處理的一部分或全部。又，有關於這些，針對解碼處理也是同樣。 [3D、多角度]

近年，將以互相之間幾乎同步之複數台相機ex113及/或智慧型手機ex115等之終端所攝影到之不同的場景、或者由不同的角度所攝影到之相同的場景之圖像或影像統合並利用之作法也在逐漸增加中。在各終端所攝影到之影像，會根據另外取得的終端間之相對的位置關係、或者包含於影像之特徵點為一致之區域等而被統合。

伺服器不僅將2次元之動態圖像編碼，亦可根據動態圖像之場景解析等而自動地、或者在使用者所指定之時刻中，將靜態圖編碼並傳送至接收終端。伺服器，在可以進一步地取得攝影終端間之相對的位置關係的情形下，不僅根據2次元之動態圖像，還可以根據由不同的角度所攝影之相同場景之影像來生成該場景之3次元形狀。再者，伺服器亦可將藉由點雲(point cloud)而生成之3次元的資料另外編碼，亦可根據使用3次元資料來辨識或追蹤人物或目標的結果，由在複數個終端所攝影之影像中選擇、或再構成並生成傳送至接收終端的影像。

如此進行，使用者可以任意選擇對應於各攝影終端之各影像來享受場景，也可以享受由利用複數圖像或影像再構成之3次元資料中切出任意視點的影像之內容。此外，與影像同樣地，聲音也可由複數個不同的角度進行收音，且伺服器亦可配合影像將來自特定之角度或空間的聲音與影像形成多工化並傳送。

又，近年來，Virtual Reality(虛擬實境，VR)及Augmented Reality(擴增虛擬實境，AR)等將現實世界與虛擬世界做對應之內容也逐漸普及。在VR圖像的情形下，伺服器亦可分別製作右眼用及左眼用之視點圖像，並藉由Multi-View Coding(多視圖編碼，MVC)等在各視點影像間進行容許參考之編碼，亦可不互相參考而作為不同的流來編碼。在不同的流之解碼時，可使其互相同步並播放成因應使用者之視點來重現虛擬的3次元空間。

在AR圖像的情形下，伺服器會根據3次元之位置或使用者之視點的移動將虛擬空間上之虛擬物體資訊重疊於現實空間之相機資訊。解碼裝置亦可藉由取得或保持虛擬物體資訊及3次元資料，並因應使用者之視點的移動而生成並順暢地連結2次元圖像，以製作重疊資料。或者，亦可為解碼裝置除了虛擬物體資訊之委託之外還將使用者的視點之移動也傳送至伺服器，且伺服器配合從保持於伺服器之3次元資料中所接收到的視點的移動來製作重疊資料，並將重疊資料編碼並發送至解碼裝置。再者，亦可為重疊資料在RGB以外具有顯示穿透度的α值，伺服器將由3次元資料所製作出之目標以外的部分之α值設定為0等，並在該部分為穿透狀態下進行編碼。或者，伺服器亦可如色度鍵(chroma key)的形式將預定之值的RGB值設定為背景，且將目標以外之部分生成形成為背景色之資料。

同樣地，已發送之資料的解碼處理，亦可在客戶端之各終端進行，亦可在伺服器側進行，亦可互相分擔而進行。作為一例，亦可使某個終端暫時將接收要求傳送至伺服器，並在其他終端接收因應該要求之內容且進行解碼處理，而將解碼完成之訊號傳送至具有顯示器的裝置。不藉由可通訊之終端本身的性能而將處理分散並選擇適當之內容之作法，可以播放畫質良好的資料。又，作為其他之例，亦可以TV等接收大尺寸之圖像資料，並將分割圖形之方塊等一部分的區域解碼並顯示於鑑賞者之個人終端。藉此，可以將整體圖形成共有化，並且可以就近確認自己負責的領域或想要更詳細地確認之區域。

又，今後，可預想到下述情形：不論屋內外，在近距離、中距離、或長距離之無線通訊為可複數使用的狀況下，利用MPEG-DASH等之發送系統規格，以對連接中之通訊切換適當之資料並且無縫地接收內容。藉此，使用者不僅對本身之終端，連設置於屋內外之顯示器等的解碼裝置或顯示裝置都可自由地選擇並且以即時的方式切換。又，根據本身之位置資訊等，可以切換解碼之終端及顯示之終端並進行解碼。藉此，在往目的地之移動中，一邊使其在埋入有可顯示之元件的鄰近之建築物的牆面或地面的一部分顯示地圖資訊一邊移動之情形也變得可行。又，將編碼資料在短時間內由接收終端快取至可以存取之伺服器、或者複製到內容遞送伺服器(content delivery server)中的邊緣伺服器等之根據在網路上之對編碼資料的存取容易性，來切換接收資料之位元率的作法也是可能的。 [可調整編碼]

關於內容之切換，將使用圖18所示之以上述各實施形態顯示之應用動態圖像編碼方法來壓縮編碼之可調整的流進行說明。伺服器，雖然作為個別的流也可以具有複數個內容相同質卻不同的流，但亦可如圖示之形式將可藉由分層來進行編碼而實現的時間上/空間上可調整之流的特徵活用，而為可切換內容的構成。亦即，藉由使解碼側因應性能之內在要因與通訊頻帶之狀態等的外在要因來決定要解碼至哪一層，解碼側即可以自由地切換低解析度之內容與高解析度之內容來解碼。例如，當想在回家後以網際網路TV等機器視聽於移動中以智慧型手機ex115視聽之影像的後續時，由於該機器只要將相同的流解碼至不同的層即可，因此可以減輕伺服器側的負擔。

此外，如上述地，除了按每層將圖形編碼，而實現使增強層(enhancement layer)存在於基本層之上位之可調整性(scalability)的構成以外，亦可藉由使增強層包含根據圖像之統計資訊等的元資訊，且使解碼側根據元資訊將基本層之圖形超解析之作法，來生成已高畫質化之內容。所謂超解析，可以是相同的解析度中的SN比之提升、以及解析度之擴大之任一種。元資訊包含：用以特定出於超解析處理中使用之線形或非線形的濾波係數之資訊、或者特定出於超解析處理中使用之濾波處理、機械學習或最小平方演算中的參數值的資訊等。

或者，亦可為藉由因應圖像內之目標等的含義而將圖形分割為方塊等，且使解碼側選擇解碼之方塊，而僅將一部分之區域解碼的構成。又，藉由將目標之屬性(人物、車、球等)與影像內之位置(同一圖像中的座標位置等)設為元資訊儲存，解碼側即可以根據元資訊特定出所期望之目標的位置，並決定包含該目標之方塊。例如，如圖19所示，元資訊可使用HEVC中的SEI訊息等與像素資料為不同之資料儲存構造來被儲存。此元資訊是表示例如主目標之位置、尺寸、或色彩等。

又，流、序列或隨機存取單位等，亦可以由複數個圖形構成之單位來儲存元資訊。藉此，解碼側可以取得使特定人物出現在影像內之時刻等，且與圖形單位之資訊對照，藉此可以特定目標存在之圖形、以及在圖形內之目標的位置。 [網頁之最佳化]

圖20是顯示電腦ex111等中的網頁的顯示畫面例之圖。圖21是顯示智慧型手機ex115等中的網頁的顯示畫面例之圖。如圖20及圖21所示，當網頁包含複數個對圖像內容之連線的環狀圖像時，其外觀會依閱覽之裝置而不同。當畫面上可看到複數個連線圖像時，直至使用者明確地選擇連線圖像，或者連線圖像接近畫面之中央附近或連線圖像之整體進入畫面內以前，顯示裝置(解碼裝置)會顯示具有各內容之靜態圖或I圖形作為連線圖像、或者以複數個靜態圖或I圖形等顯示如gif動畫的影像、或者僅接收基本層來將影像解碼及顯示。

當已由使用者選擇出連線圖像時，顯示裝置會將基本層設為最優先來解碼。再者，只要有在構成網頁之HTML中顯示可調整之內容之情形的資訊，亦可使顯示裝置解碼至增強層。又，為了擔保即時性，在選擇之前或通訊頻帶非常嚴格時，顯示裝置可以藉由僅解碼及顯示前向參考之圖形(I圖形、P圖形、僅前向參考之B圖形)之作法，以減低前頭圖形之解碼時刻與顯示時刻之間的延遲(由內容之解碼開始到顯示開始的延遲)。又，顯示裝置亦可特意無視圖形之參考關係而將所有的B圖形及P圖形設成前向參考並粗略地解碼，並隨著時間經過使接收之圖形的增加來進行正常的解碼。 [自動行走]

又，當為了汽車之自動行走或行走支援而傳送接收2次元或3次元之地圖資訊等的靜態圖或影像資料時，接收終端亦可除了屬於1個以上之層的圖像資料之外，也將天候或工程之資訊等也都接收作為元資訊，並對應於這些來解碼。再者，元資訊可以屬於層，亦可單純與圖像資料形成多工化。

此時，由於使包含接收終端之車、遙控飛機(drone)或飛機等移動，因此接收終端是藉由在接收要求時傳送該接收終端之位置資訊，而切換基地台ex106~ex110並且可以實現無縫的接收及解碼。又，接收終端會因應使用者之選擇、使用者之狀況或通訊頻帶的狀態，而變得可動態地切換要將元資訊接收到何種程度、或要將地圖資訊更新至何種程度。

如以上地進行，在內容供給系統ex100中，客戶端可即時地接收並解碼、播放使用者已傳送之編碼的資訊。 [個人內容之發送]

又，在內容供給系統ex100中，不僅是由影像發送業者所產生之高畫質且長時間的內容，由個人所產生之低畫質且短時間之內容的單播(unicast)、或多播(multicast)發送也是可行的。又，這種個人的內容被認為今後也會持續增加下去。為了將個人內容做成更優良之內容，伺服器亦可在進行編輯處理之後進行編碼處理。這可藉由例如以下之構成來實現。

伺服器會在攝影時即時或累積進行而於攝影後，由原圖或編碼完成資料中進行攝影錯誤、場景探索、意義解析、及目標檢測等之辨識處理。而且，伺服器會根據辨識結果以手動或自動方式進行下述編輯：補正失焦或手震等、刪除亮度較其他圖形低或未聚焦之場景等重要性低的場景、強調目標之邊緣、使色調變化等之編輯。伺服器會根據編輯結果來將編輯後之資料編碼。又，當攝影時刻太長時收視率會下降的情況也是眾所皆知的，伺服器會根據圖像處理結果而以自動的方式如上述地不僅對重要性低之場景還有動態較少的場景等進行剪輯，以使其因應攝影時間成為特定之時間範圍內的內容。或者，伺服器亦可根據場景之意義解析的結果來生成摘錄並進行編碼。

再者，在個人內容中，也有照原樣的話會有造成侵害著作權、著作者人格權、或肖像權等之內容攝入的狀況，也有當共享的範圍超過所欲之範圍等對個人來說不方便的情況。因此，例如，伺服器亦可將畫面周邊部之人的臉、或房子之中等特意變更為未聚焦之圖像並編碼。又，伺服器亦可辨識是否有與事先登錄之人物不同的人物的臉照在編碼對象圖像內，並在有照出的情況下，進行將臉的部分打上馬賽克等之處理。或者，作為編碼之前處理或後處理，而由著作權等之觀點來讓使用者於圖像中指定想要加工之人物或背景區域，而伺服器即進行將所指定之區域置換為別的影像、或者使焦點模糊等之處理之作法也是可行的。如果是人物，可以在動態圖像中一邊追蹤人物一邊置換臉之部分的影像。

又，由於資料量較小之個人內容的視聽對即時性的要求較強，因此，雖然也可取決於頻帶寬，但解碼裝置首先會最優先地接收基本層再進行解碼及播放。解碼裝置亦可在這段期間接收增強層，且於將播放循環之情形等播放2次以上的情形下，將增強層也包含在內並播放高畫質的影像。如此，只要是進行可調整之編碼的流，就可以提供如下述之體驗：雖然在未選擇時或初次看到的階段是粗略的動態圖，但漸漸地使流變得靈巧(smart)而使圖像變好。除了可調整的編碼以外，即使以第1次播放之粗略的流、與參考第1次之動態圖而編碼之第2次的流作為1個流來構成也可以提供同樣的體驗。 [其他之使用例]

又，這些之編碼或解碼處理一般是在各終端所具有之LSIex500中處理。LSIex500可為單晶片(one chip)，亦可為由複數個晶片形成之構成。再者，將可以在電腦ex111等讀取動態圖像編碼或解碼用之軟體組入某種記錄媒體(CD-ROM、軟式磁碟(flexible disk)、或硬碟等)，並使用該軟體進行編碼或解碼處理亦可。此外，當智慧型手機ex115為附有相機時，亦可傳送以該相機取得之動態圖資料。此時之動態圖資料是以智慧型手機ex115具有之LSIex500來編碼處理之資料。

再者，LSIex500亦可為將應用軟體下載並啟動(activate)之構成。此時，終端首先會判定該終端是否對應於內容之編碼方式、或者具有特定服務之執行能力。當終端沒有對應於內容之編碼方式時、或者不具有特定服務之執行能力時，終端會下載編碼解碼器或應用軟體，然後，取得及播放內容。

又，不限於透過網際網路ex101之內容供給系統ex100，在數位播放用系統中也可以組入上述實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一個。由於是利用衛星等來將已使影像與聲音被多工化之多工化資料乘載於播放用之電波並進行傳送接收，因此雖然會有相對於內容供給系統ex100之容易形成單播的構成為適合多播的差別，但有關於編碼處理及解碼處理仍可為同樣之應用。 [硬體構成]

圖22是顯示智慧型手機ex115的圖。又，圖23是顯示智慧型手機ex115之構成例的圖。智慧型手機ex115具備：用於在與基地台ex110之間傳送接收電波的天線ex450、可拍攝影像及靜態圖之相機部ex465、與顯示以相機部ex465所拍攝到之影像以及在天線ex450所接收到之影像等已解碼之資料的顯示部ex458。智慧型手機ex115更具備：觸控面板等之操作部ex466、用於輸出聲音或音響之揚聲器等的聲音輸出部ex457、用於輸入聲音之麥克風等之聲音輸入部ex456、可保存所攝影之影像或靜態圖、錄音之聲音、接收之影像或靜態圖、郵件等之已編碼的資料、或已解碼之資料的記憶體部ex467、及用於特定使用者，且開始於網路進行對各種資料的存取之認證之SIMex468的作為介面部之插槽部ex464。再者，取代記憶體部ex467而使用外接記憶體亦可。

又，統合地控制顯示部ex458及操作部ex466等之主控制部ex460，是透過匯流排ex470而與下述各部連接：電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467。

電源電路部ex461在藉由使用者之操作而將電源鍵設成開啟狀態時，會藉由從電池組(battery pack)對各部供給電力而將智慧型手機ex115起動為可作動之狀態。

智慧型手機ex115會根據具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等之處理。通話時，是將以聲音輸入部ex456所收音之聲音訊號在聲音訊號處理部ex454轉換為數位聲音訊號，並於以調變/解調部ex452對其進行頻譜擴散處理，以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，透過天線ex450傳送。又，於將接收資料放大且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行頻譜逆擴散處理，以聲音訊號處理部ex454轉換為類比聲音訊號後，由聲音輸出部ex457將其輸出。資料通訊模式時，是藉由本體部之操作部ex466等的操作而透過操作輸入控制部ex462將正文(text)、靜態圖、或影像資料送出至主控制部ex460，而同樣地進行傳送接收處理。當在資料通訊模式時傳送影像、靜態圖、或影像與聲音的情形下，影像訊號處理部ex455會藉由在上述各實施形態所顯示之動態圖像編碼方法將保存於記憶體部ex467之影像訊號或由相機部ex465輸入之影像訊號壓縮編碼，並將已編碼之影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454，會在以相機部ex465攝影影像或靜態圖等中將以聲音輸入部ex456所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex453。多工/分離部ex453，是以預定之方式將編碼完成影像資料與編碼完成聲音資料進行多工化，並以調變/解調部(調變/解調電路部)ex452、及傳送/接收部ex451施行調變處理及轉換處理並透過天線ex450傳送。

在已接收附加於電子郵件或網路聊天之影像、或連線至網頁等之影像的情形下，為了透過天線ex450將已接收之多工化資料解碼，多工/分離部ex453會藉由分離多工化資料，而將多工化資料分成影像資料之位元流與聲音資料之位元流，再透過同步匯流排ex470將已編碼之影像資料供給至影像訊號處理部ex455，並將已編碼之聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455會藉由在上述各實施形態所示之對應於動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，並透過顯示器控制部ex459從顯示部ex458顯示包含於被連線之動態圖像檔案中的影像或靜態圖。又，聲音訊號處理部ex454會將聲音訊號解碼，並由聲音輸出部ex457輸出聲音。再者，由於即時串流(real time streaming)已普及，因此依照使用者的狀況也可能在社會上不適合發出聲音的場所發生聲音的播放。因此，作為初始值較理想的是，在不使聲音訊號播放的情形下僅播放影像資料之構成。僅在使用者進行點選影像資料等操作的情形下才將聲音同步播放亦可。

又，此處雖然以智慧型手機ex115為例進行了說明，但作為終端而被考慮的有下述3種組裝形式：除了具有編碼器及解碼器兩者之傳送接收型終端以外，還有僅具有編碼器之傳送終端、以及僅具有解碼器之接收終端。此外，在數位播送用系統中，雖然是作成接收或傳送已在影像資料中將音樂資料等多工化之多工化資料而進行說明，但在多工化資料中，亦可於聲音資料以外將與影像有關聯之文字資料等多工化，亦可接收或傳送影像資料本身而非多工化資料。

再者，雖然作成使包含CPU之主控制部ex460控制編碼或解碼處理並進行了說明，但終端具備GPU的情況也很多。因此，亦可為藉由已被CPU與GPU共享之記憶體、或將地址管理成以可以共通地使用的記憶體，而將GPU之性能活化並於較寬廣區域一併處理的構成。藉此可以縮短編碼時間，確保即時性，而可以實現低延遲。特別是當將移動探索、解塊濾波方法(deblock filter)、SAO(Sample Adaptive Offset(取樣自適應偏移))、及轉換、量子化之處理，在不利用CPU的情形下，利用GPU並以圖形等之單位一併進行時是有效率的。産業上之可利用性

本發明可適用於圖像解碼裝置及圖像編碼裝置。具體地來說，本發明可適用於電視、錄音機、個人電腦、數位相機(digital still camera)、數位視訊攝影機(digital video camera)、及智慧型手機等。

100‧‧‧圖像編碼裝置 101‧‧‧分塊部 102‧‧‧減法部 103‧‧‧轉換部 104‧‧‧量子化部 105‧‧‧熵編碼部 106、202‧‧‧逆量子化部 107、203‧‧‧逆轉換部 108、204‧‧‧加法部 109、205‧‧‧框記憶體 110、206‧‧‧預測部 111‧‧‧移動檢測部 112、207‧‧‧移動補償部 113、115、208、210‧‧‧選擇器 114、118、209、213‧‧‧緩衝器 116、211‧‧‧控制部 117、212‧‧‧預測圖生成部 121‧‧‧輸入圖像 122‧‧‧碼區塊 123、128、224‧‧‧差分區塊 124、125、127、222、223‧‧‧係數區塊 126、221‧‧‧位元流 129、225‧‧‧解碼區塊 130、227‧‧‧參考區塊 131、228、P0(t+d)、P0(t-d)、P0(t-2d)、P1(t+d)、P1(t-d)、P1(t-2d)、P01(t+d)、P01(t-d)、P02(t+d)、P02(t-d)、P03(t-d)、P03(t-2d)、P04(t-d)、P04(t-2d)、P05(t+d)、P05(t-d)、P05(t-2d)、P06(t-d)、P06(t-2d)‧‧‧參考像素 132、229‧‧‧預測圖 133、230‧‧‧預測區塊 134、231‧‧‧移動資訊 151‧‧‧前景區域 152、152A、152B‧‧‧背景區域 153‧‧‧不明區域 153A‧‧‧可利用一個參考像素之區域 153B‧‧‧無可利用之參考像素存在的區域 200‧‧‧圖像解碼裝置 201‧‧‧熵解碼部 226‧‧‧解碼圖像 C0‧‧‧背景像素 C01、C02、C03、C04、C05、C06‧‧‧小區域 C1‧‧‧前景像素 ex100‧‧‧內容供給系統 ex101‧‧‧網際網路 ex102‧‧‧網際網路服務提供者 ex103‧‧‧串流伺服器 ex104‧‧‧通訊網 ex105、ex106、ex107、ex108、ex109、ex110‧‧‧基地台 ex111‧‧‧電腦 ex112‧‧‧遊戲機 ex113‧‧‧相機 ex114‧‧‧家電 ex115‧‧‧智慧型手機 ex116‧‧‧衛星 ex117‧‧‧飛機 ex450‧‧‧天線 ex451‧‧‧傳送/接收部 ex452‧‧‧調變/解調部 ex453‧‧‧多工/分離部 ex454‧‧‧聲音訊號處理部 ex455‧‧‧影像訊號處理部 ex456‧‧‧聲音輸入部 ex457‧‧‧聲音輸出部 ex458‧‧‧顯示部 ex459‧‧‧顯示器控制部 ex460‧‧‧主控制部 ex461‧‧‧電源電路部 ex462‧‧‧操作輸入控制部 ex463‧‧‧相機介面部 ex464‧‧‧插槽部 ex465‧‧‧相機部 ex466‧‧‧操作部 ex467‧‧‧記憶體部 ex468‧‧‧SIM ex470‧‧‧匯流排 ex500‧‧‧LSI MV0、MV1、-MV0、-2MV0、-MV1、-2MV1‧‧‧移動向量 MV01‧‧‧前景向量 p0、p01、p02、p03、p04、p05、p06‧‧‧參考像素 X01A、X01B、X02A、X02B、X03A、X03B、X05A、X05B、X05C‧‧‧對應點 S101、S102、S103、S104、S111、S112、S113、S114、S115、S116、S117、S121、S122、S123、S124、S131、S132、S133、S134‧‧‧步驟

圖1是用於說明實施形態1之預測方法的圖。圖2是用於說明實施形態1之預測方法的圖。圖3是用於說明實施形態1之預測方法的圖。圖4是實施形態1之圖像編碼裝置的方塊圖。圖5是實施形態1之預測處理的流程圖。圖6是用於說明實施形態1之移動檢測處理的圖。圖7是用於說明實施形態1之參考區塊取得處理的圖。圖8是用於說明實施形態1之移動向量選擇處理的圖。圖9是用於說明實施形態1之對於不明區域之處理的圖。圖10是用於說明在實施形態1對於不明區域之處理的圖。圖11是用於說明實施形態1之對於不明區域之處理的圖。圖12是顯示實施形態1之移動向量及參考像素之選擇處理的流程圖。圖13是顯示實施形態1之編碼構造之一例的圖。圖14是實施形態1之圖像解碼裝置的方塊圖。圖15是實施形態1之圖像編碼處理的流程圖。圖16是實施形態1之圖像解碼處理的流程圖。圖17是實現內容傳遞服務(content delivery service)之內容供給系統的整體構成圖。圖18是顯示可調整(scalable)編碼時之編碼構造之一例的圖。圖19是顯示可調整編碼時之編碼構造之一例的圖。圖20是顯示網頁之顯示畫面例的圖。圖21是顯示網頁之顯示畫面例的圖。圖22是顯示智慧型手機之一例的圖。圖23是顯示智慧型手機之構成例的方塊圖。

S131、S132、S133、S134‧‧‧步驟

Claims

一種圖像解碼方法，包含：取得步驟，對於藉由分割對象框而獲得之複數個處理單位的每一個，取得被分配至該處理單位之複數個移動向量；選擇步驟，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，由前述複數個移動向量中選擇要使用的移動向量；生成步驟，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及解碼步驟，利用對該小區域所生成之前述預測圖來解碼前述複數個小區域的每一個。
如請求項1之圖像解碼方法，其中，前述複數個參考框包含第1框及第2框，在前述選擇步驟中，是相對於前述複數個移動向量的每一個，求出前述第1框上之區域與前述第2框上之區域間的相關性，並根據該相關性來選擇前述使用的移動向量，其中該第1框上之區域與該第2框上之區域是相對於在前述對象框所包含之對象小區域而以該等移動向量來表示。
如請求項2之圖像解碼方法，其中，前述複數個移動向量包含表示背景之移動的背景向量、及表示前景之移動的前景向量。
如請求項3之圖像解碼方法，其中，在前述選擇步驟中，當前述背景向量之前述相關性及前述前景向量之前述相關性都比事先決定之值更低時，選擇前述背景向量。
如請求項4之圖像解碼方法，其中，在前述生成步驟中，當前述背景向量之前述相關性及前述前景向量之前述相關性都比前述事先決定之值更低時，在以前述背景向量來表示之前述第1框上的第1區域與前述第2框上的第2區域之中利用屬於背景之區域來生成前述預測圖。
如請求項5之圖像解碼方法，其中，在前述生成步驟中，當來自前述第1區域或前述前述第2區域並以前述前景向量表示之作為前述對象框上之區域的對應點為屬於背景時，將前述第1區域或前述第2區域判定為屬於背景。
如請求項5或6之圖像解碼方法，其中，在前述生成步驟中，當前述第1區域及前述第2區域之任一區域皆不屬於背景時，利用前述對象框內之前述對象小區域的附近之區域的預測圖來生成該對象小區域的預測圖。
一種圖像編碼方法，包含：檢測步驟，對於藉由分割對象框而獲得之複數個處理單位的每一個，檢測被分配至該處理單位之複數個移動向量；選擇步驟，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，自前述複數個移動向量中選擇要使用的移動向量；生成步驟，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及編碼步驟，利用對該小區域生成之前述預測圖來編碼前述複數個小區域的每一個。
如請求項8之圖像編碼方法，其中，前述複數個參考框包含第1框及第2框，在前述選擇步驟中，相對於前述複數個移動向量的每一個，求出前述第1框上之區域與前述第2框上之區域間的相關性，並根據該相關性來選擇前述使用的移動向量，其中該第1框上之區域與該第2框上之區域是相對於在前述對象框所包含之對象小區域而以該等移動向量表示。
如請求項9之圖像編碼方法，其中，前述複數個移動向量包含表示背景之移動的背景向量、及表示前景之移動的前景向量。
如請求項10之圖像編碼方法，其中，在前述選擇步驟中，當前述背景向量之前述相關性及前述前景向量之前述相關性都比事先決定之值更低時，選擇前述背景向量。
如請求項11之圖像編碼方法，其中，在前述生成步驟中，當前述背景向量之前述相關性及前述前景向量之前述相關性都比事先決定之值更低時，在以前述背景向量來表示之前述第1框上的第1區域與前述第2框上的第2區域之中利用屬於背景之區域來生成前述預測圖。
如請求項12之圖像編碼方法，其中，在前述生成步驟中，當來自前述第1區域或前述第2區域並以前述前景向量表示之作為前述對象框上的區域的對應點為屬於背景時，將前述第1區域或前述第2區域判定為屬於背景。
如請求項12或13之圖像編碼方法，其中，在前述生成步驟中，當前述第1區域及前述第2區域之任一區域皆不屬於背景時，利用前述對象框內之前述對象小區域的附近之區域的預測圖來生成該對象小區域的預測圖。
一種圖像解碼裝置，具備：處理電路；及可由前述處理電路存取之記憶裝置，前述處理電路是使用前述記憶裝置來執行請求項1之圖像解碼方法。
一種圖像解碼裝置，具備：取得部，對於藉由分割對象框而獲得之複數個處理單位的每一個，取得被分配至該處理單位之複數個移動向量；選擇部，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，而由前述複數個移動向量中選擇要使用的移動向量；生成部，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及解碼部，利用對該小區域所生成之前述預測圖來解碼前述複數個小區域的每一個。
一種圖像編碼裝置，具備：處理電路；及可由前述處理電路存取之記憶裝置，前述處理電路是使用前述記憶裝置來執行請求項8之圖像編碼方法。
一種圖像編碼裝置，具備：檢測部，對於藉由分割對象框而獲得之複數個處理單位的每一個，檢測被分配至該處理單位之複數個移動向量；選擇部，對於藉由分割前述處理單位而獲得之複數個小區域的每一個，根據前述複數個移動向量、及彼此相異之時刻的複數個參考框，而由前述複數個移動向量中選擇要使用的移動向量；生成部，對於前述複數個小區域的每一個，利用所選擇之前述移動向量來生成預測圖；及編碼部，利用對該小區域所生成之前述預測圖來編碼前述複數個小區域的每一個。
一種圖像編碼解碼裝置，具備：請求項15或16之圖像解碼裝置；及請求項17或18之圖像編碼裝置。