TW201325248A

TW201325248A - 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置（一）

Info

Publication number: TW201325248A
Application number: TW101123023A
Authority: TW
Inventors: 杉尾敏康; 西孝啟; 柴原陽司; 谷川京子; 世井壽郎; 松延徹
Original assignee: 松下電器產業股份有限公司
Priority date: 2011-06-29
Filing date: 2012-06-27
Publication date: 2013-06-16
Also published as: WO2013001748A1; US9210402B2; JPWO2013001748A1; US20130003848A1; JP6112418B2

Abstract

本發明之圖像編碼方法，包含有：追加步驟，對於1個以上之對應區塊，各別判定是否將對應區塊之移動向量追加於列表，當判定為將對應區塊之移動向量追加於列表時，將對應區塊之移動向量追加於列表；選擇步驟，從列表選擇移動向量作為預測移動向量；及編碼步驟，使用現行區塊之移動向量，將現行區塊編碼，將現行區塊之移動向量與預測移動向量的差分進行編碼，並且，在追加步驟中，當對應圖片與對應參考圖片在時間上一致時、或者當現行圖片與現行參考圖片在時間上一致時，判定為不將對應區塊之移動向量追加於列表。

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置(一)

發明領域

本發明係有關於一種將構成圖像之複數圖片所含之複數區塊編碼的圖像編碼方法。

發明背景

迄今，關於將構成圖像之複數圖片所含之複數區塊編碼的圖像編碼方法之技術，有記載於非專利文獻1及非專利文獻2的技術。

先行技術文獻非專利文獻

非專利文獻1：ITU - T Recommendation H.264 「Advanced video coding for generic audiovisual services」，2010年3月

非專利文獻2：JCT-VC 「WD3: Working Draft 3 of High - Efficiency Video Coding」, JCTVC - E603, March 2011.

發明概要

然而，在記載於非專利文獻1及非專利文獻2的技術中，會有無法將圖像適當編碼的可能性。

因此，本發明係以提供一種可將圖像適當地編碼之圖像編碼方法為目的。

為了達成上述目的，本發明一態樣之圖像編碼方法，係將構成圖像之複數圖片所含的複數區塊編碼者，包含有：追加步驟，對於1個以上對應區塊各別判定是否將對應區塊之移動向量追加於列表，當判定為將前述對應區塊之移動向量追加於前述列表時，將前述對應區塊之移動向量追加於前述列表，又，前述1個以上對應區塊係前述複數區塊所含之1個以上區塊；選擇步驟，從前述列表選擇移動向量作為預測移動向量；及編碼步驟，使用現行區塊之移動向量，將前述現行區塊編碼，並將前述現行區塊之移動向量與前述選擇步驟所選擇之前述預測移動向量的差分編碼，又，前述現行區塊係前述複數區塊所含之區塊、且係與前述1個以上對應區塊不同之區塊，在前述追加步驟中，當包含前述對應區塊之對應圖片、與於前述對應區塊之編碼中使用前述對應區塊之移動向量而被參考的對應參考圖片在時間上一致時，或者，當包含前述現行區塊之現行圖片、與於前述現行區塊之編碼中使用前述現行區塊之移動向量而被參考的現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

另外，該等全體的或具體的態樣，可由裝置、系統、積體電路、電腦程式或電腦可讀取之CD-ROM等非暫時性記錄媒體來實現，亦可由裝置、系統、積體電路、電腦程式及記錄媒體的任意組合來實現。

藉由本發明，可將圖像適當地編碼。

圖式簡單說明

【圖1】圖1係顯示典型的參考圖片列表的圖。

【圖2】圖2係顯示典型的時間域直接模式的圖。

【圖3】圖3係顯示編碼對象區塊與鄰接區塊之關係的圖。

【圖4】圖4係顯示以預測移動向量之候補所構成之列表的圖。

【圖5】圖5係顯示典型的圖像編碼裝置動作的圖。

【圖6】圖6係顯示典型的圖像解碼裝置動作的圖。

【圖7】圖7係顯示實施形態1之圖像編碼裝置的構成圖。

【圖8】圖8係顯示實施形態1之圖像編碼裝置主要構成要素的構成圖。

【圖9】圖9係顯示實施形態1之鄰接區塊移動向量的圖。

【圖10】圖10係顯示實施形態1之co-located區塊之移動向量的圖。

【圖11】圖11係顯示實施形態1之伸縮處理之第1例的圖。

【圖12】圖12係顯示實施形態1之伸縮處理之第2例的圖。

【圖13】圖13係顯示實施形態1之參考關係之第1例的圖。

【圖14】圖14係顯示實施形態1之參考關係之第2例的圖。

【圖15】圖15係顯示實施形態1之參考關係之第3例的圖。

【圖16】圖16係顯示實施形態1之參考關係之第4例的圖。

【圖17】圖17係顯示實施形態1之圖像編碼裝置動作的流程圖。

【圖18】圖18係顯示實施形態1之圖像編碼裝置詳細動作的流程圖。

【圖19】圖19係顯示實施形態1之圖像編碼裝置動作之變形例的流程圖。

【圖20】圖20係顯示實施形態1之圖像解碼裝置的構成圖。

【圖21】圖21係顯示實施形態1之圖像解碼裝置之主要構成要素的構成圖。

【圖22】圖22係顯示實施形態1之圖像解碼裝置動作的流程圖。

【圖23】圖23係顯示實施形態1之圖像解碼裝置詳細動作的流程圖。

【圖24】圖24係顯示實施形態1之圖像解碼裝置動作之變形例的流程圖。

【圖25】圖25係顯示實施形態1之參考關係之第5例的圖。

【圖26】圖26係顯示實施形態1之參考關係之第6例的圖。

【圖27】圖27係實現內容傳送服務之內容供給系統的全體構成圖。

【圖28】圖28係數位放送用系統的全體構成圖。

【圖29】圖29係顯示電視之構成例的區塊圖。

【圖30】圖30係顯示於光碟此一記錄媒體進行資訊之讀取寫入的資訊再生/記錄部之構成例的區塊圖。

【圖31】圖31係顯示光碟此一記錄媒體之構造例的圖。

【圖32A】圖32A係顯示行動電話之一例的圖。

【圖32B】圖32B係顯示行動電話之構成例的區塊圖。

【圖33】圖33係顯示多工資料之構成的圖。

【圖34】圖34係顯示各串流在多工資料中如何被多工的示意圖。

【圖35】圖35係更詳細地顯示了視訊流如何被儲存於PES封包列的圖。

【圖36】圖36係顯示多工資料中之TS封包與資源封包之構造的圖。

【圖37】圖37係顯示PMT之資料構成的圖。

【圖38】圖38係顯示多工資料資訊之內部構成的圖。

【圖39】圖39係顯示串流屬性資訊之內部構成的圖。

【圖40】圖40係顯示識別影像資料之步驟的圖。

【圖41】圖41係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例的區塊圖。

【圖42】圖42係顯示切換驅動頻率之構成的圖。

【圖43】圖43係顯示識別影像資料、切換驅動頻率之步驟的圖。

【圖44】圖44係顯示使影像資料之規格與驅動頻率對應之查找表之一例的圖。

【圖45A】圖45A係顯示使訊號處理部之模組共有化之構成之一例的圖。

【圖45B】圖45B係顯示使訊號處理部之模組共有化之構成之其他例的圖。

較佳實施例之詳細說明 (作為本發明基礎之知識)

一般而言，圖像編碼裝置在將動態圖像編碼時，係藉由削減動態圖像所具有之空間方向及時間方向的冗餘性，來壓縮動態圖像之資訊量。此時，圖像編碼裝置係使用內預測(亦稱為畫面內預測、或圖片內預測)，作為削減空間方向冗餘性的方法。又，圖像編碼裝置係使用間預測(亦稱為畫面間預測、或圖片間預測)，作為削減時間方向冗餘性的方法。

例如，圖像編碼裝置在以間預測將編碼對象圖片編碼時，係使用在顯示順序上編碼對象圖片之前方或後方的已編碼圖片來作為參考圖片。然後，圖像編碼裝置藉由移動檢測來導出移動向量。並且，圖像編碼裝置藉由使用移動向量而執行移動補償，來生成預測圖像資料。然後，圖像編碼裝置藉由將所生成之預測圖像資料、與編碼對象圖片之圖像資料間的差分進行編碼，來除去時間方向之冗餘性。

又，圖像編碼裝置在進行移動檢測之際，將編碼對象圖片內之編碼對象區塊、與參考圖片內之區塊間的差分算出。此時，圖像編碼裝置在參考圖片內之複數區塊中，將差分最小的區塊決定為參考區塊。然後，圖像編碼裝置使用編碼對象區塊及參考區塊，檢測出移動向量。

既已標準化之動態圖像編碼方式的H.264(非專利文獻1)之圖像編碼裝置，為了壓縮資訊量，使用I圖片、P圖片、B圖片等3種圖片形式。

H.264之圖像編碼裝置，係以內預測將I圖片編碼。又，圖像編碼裝置係以間預測將P圖片編碼。圖像編碼裝置在將P圖片編碼時，係參考在顯示順序上位於該P圖片前方或後方之既已編碼完畢的1個圖片。亦即，圖像編碼裝置使用單方向預測，來將P圖片編碼。

又，圖像編碼裝置係以間預測來將B圖片編碼。圖像編碼裝置在將B圖片編碼時，係參考在顯示順序上位於該B圖片前方或後方之既已編碼完畢的2個圖片。亦即，圖像編碼裝置使用雙方向預測，來將B圖片編碼。

另外，雙方向預測這樣的表達方式，有時僅指從前方及後方的兩方，分別參考1個參考圖片而預測圖像資料。又，雙方向預測這樣的表達方式，有時也包含從前方及後方中任一方，參考2個參考圖片而預測圖像資料。後者的情況下，雙方向預測有時亦表示成雙預測。

圖像編碼裝置在進行間預測時，會生成用以特定參考圖片的參考圖片列表。圖像編碼裝置在參考圖片列表中，將參考圖片索引分配至在間預測所參考的參考圖片。另外，圖像編碼裝置在進行B圖片之編碼時，會參考2個圖片。因此，圖像編碼裝置會保持2個參考圖片列表L0、L1。

圖1顯示參考圖片列表之例。圖1所示之參考圖片列表L0、L1，係雙方向預測之2個參考圖片列表之例。

圖像編碼裝置在參考圖片列表L0中，將0之參考圖片索引分配至顯示順序為第2個的參考圖片。又，圖像編碼裝置將1之參考圖片索引分配至顯示順序為第1個的參考圖片。並且，圖像編碼裝置將2之參考圖片索引分配至顯示順序為第0個的參考圖片。即，圖像編碼裝置係依顯示順序上靠近編碼對象圖片的順序，來分配參考圖片索引。

另一方面，圖像編碼裝置在參考圖片列表L1中，將0之參考圖片索引分配至顯示順序為第2個的參考圖片。又，圖像編碼裝置將2之參考圖片索引分配至顯示順序為第1個的參考圖片。並且，圖像編碼裝置將1之參考圖片索引分配至顯示順序為第0個的參考圖片。

如此，圖像編碼裝置可對相同參考圖片，分配依各參考圖片列表而不同的參考圖片索引。又，圖像編碼裝置也可對於相同參考圖片，分配相同參考圖片索引。

又，參考圖片列表L0可對應於第1預測方向，而參考圖片列表L1可對應於第2預測方向。在此，第1預測方向及第2 預測方向分別係前方及後方中之任一方，彼此互異。典型來說，參考圖片列表L0係使用於用來特定在顯示順序上位於編碼對象圖片前方的參考圖片。並且，參考圖片列表L1係使用於用來特定在顯示順序上位於編碼對象圖片後方的參考圖片。

又，在間預測中，有用以預測編碼對象區塊之圖像資料的複數編碼模式。編碼模式不僅顯示間預測或內預測，有時也顯示間預測或內預測所含之詳細模式。圖像編碼裝置從複數之編碼模式，選擇適用於編碼對象區塊之圖像資料預測的編碼模式。

例如，圖像編碼裝置選擇雙方向預測作為編碼模式，該雙方向預測係參考顯示順序上位於編碼對象圖片前方或後方的2個圖片來生成預測圖像。又，例如，圖像編碼裝置選擇單方向預測作為編碼模式，該單方向預測係參考顯示順序上位於編碼對象圖片前方或後方的1個圖片來生成預測圖像。又，圖像編碼裝置選擇稱為時間域直接模式的編碼模式。

圖2係顯示時間域直接模式的圖。圖2係顯示了使用藉由時間域直接模式所得的移動向量，來將圖片B2之編碼對象區塊編碼的情形。

此時，圖像編碼裝置係利用co-located區塊編碼時所使用的移動向量vb。co-located區塊包含在顯示順序上為圖片B2後方之參考圖片的圖片P3內。又，co-located區塊的位置，與編碼對象區塊的位置一致。co-located區塊的移動向量vb，指示了圖片P1。

另外，co-located區塊的位置，亦可不與編碼對象區塊等之處理對象區塊的位置完全一致。例如，co-located區塊左上的位置，可與處理對象區塊右下的位置一致。亦即，co-located區塊在空間上，也可位於處理對象區塊的右下。

圖像編碼裝置使用對於移動向量vb平行的2個移動向量va1、va2，從前方之參考圖片的圖片P1、與後方之參考圖片的圖片P3雙方，來特定與編碼對象區塊對應的2個參考區塊。並且，圖像編碼裝置藉由雙方向預測，來將編碼對象區塊編碼。

亦即，圖像編碼裝置係對於圖片P1使用移動向量va1，對於圖片P3使用移動向量va2。而且，圖像編碼裝置係特定2個參考區塊，藉由雙方向預測來將編碼對象區塊編碼。

2個移動向量va1、va2係相對於移動向量vb為平行。圖像編碼裝置係因應3個圖片P1、B2、P3間之時間上距離的比率，使移動向量vb伸縮，藉此來取得2個移動向量va1、va2。

又，已探討了在將B圖片或P圖片中之編碼對象區塊的移動向量編碼時，使用預測移動向量指定模式一事(非專利文獻2)。使用預測移動向量指定模式的圖像編碼裝置，從鄰接於編碼對象區塊之鄰接區塊等，生成關於預測移動向量的複數候補。然後，圖像編碼裝置從複數之候補選擇預測移動向量。

而且，圖像編碼裝置使用所選擇之預測移動向量，將編碼對象區塊之移動向量編碼。又，圖像編碼裝置將所選擇之預測移動向量的索引(亦稱為預測移動向量索引)追加於位元串流。藉此，圖像解碼裝置可在解碼時選擇同一預測移動向量。

圖3係用以說明預測移動向量指定模式的圖，是顯示編碼對象區塊與鄰接區塊間之關係的圖。在圖3中，鄰接區塊A係鄰接於編碼對象區塊左邊的已編碼區塊。鄰接區塊B係鄰接於編碼對象區塊之上的已編碼區塊。鄰接區塊C係鄰接於編碼對象區塊右上方的已編碼區塊。鄰接區塊D係鄰接於編碼對象區塊左下方的已編碼區塊。

鄰接區塊A具有移動向量mvA。亦即，鄰接區塊A係使用移動向量mvA來進行編碼。又，鄰接區塊B具有移動向量mvB。亦即，鄰接區塊B係使用移動向量mvB來進行編碼。又，鄰接區塊C係以內預測來編碼。因此，鄰接區塊C不具有移動向量。又，鄰接區塊D具有移動向量mvD。亦即，鄰接區塊D係使用移動向量mvD來進行編碼。

圖像編碼裝置從複數之移動向量mvA、mvB、mvD等，選擇預測移動向量。又，圖像編碼裝置有時會選擇時間域直接模式之移動向量來作為預測移動向量。時間域直接模式之移動向量，係從關於編碼對象區塊之co-located區塊得到。

圖像編碼裝置從複數之候補中，選擇可最有效率地將編碼對象區塊之移動向量編碼的預測移動向量。例如，圖像編碼裝置選擇最接近編碼對象區塊之移動向量的候補來作為預測移動向量。並且，圖像編碼裝置將表示所選擇之預測移動向量的索引追加於位元串流。

更具體而言，例如，圖像編碼裝置在將編碼對象區塊之移動向量編碼時，選擇鄰接區塊A之移動向量mvA作為預測移動向量。然後，圖像編碼裝置在複數之索引值中，將表示使用了移動向量mvA的索引值追加於位元串流。藉此，圖像編碼裝置可削減編碼對象區塊之移動向量的資訊量。

圖4顯示由預測移動向量之候補所構成的列表之例。又，圖像編碼裝置將無法利用之候補(以下，記載為「不可利用候補」)從列表刪除。又，圖像編碼裝置將具有與其他候補相同值的候補(以下記載為「重複候補」)從列表刪除。藉由減少候補之數，減少索引的碼量。

例如，當鄰接區塊為以內預測來編碼的區塊時，該鄰接區塊不具有移動向量。此時，圖像編碼裝置從該鄰接區塊並無法得到預測移動向量。因此，此時，圖像編碼裝置將關於該鄰接區塊之候補從列表刪除。

又，鄰接區塊切片(slice)之外側、或圖片之外側時，圖像編碼裝置無法從該鄰接區塊取得預測移動向量。又，當鄰接區塊尚未被編碼時，圖像編碼裝置無法從該鄰接區塊取得預測移動向量。此時，圖像編碼裝置會將關於該鄰接區塊之候補從列表刪除。

在圖4之例中，由於鄰接區塊C係以內預測進行編碼，故以3之索引值所特定之候補為不可利用候補。因此，圖像編碼裝置從列表將該候補刪除。

又，鄰接區塊D之移動向量mvD與鄰接區塊A之移動向量mvA一致。因此，以4之索引值所特定的候補，會從列表被刪除。最後，候補之數會成為3。

圖5係顯示圖像編碼裝置動作的流程圖。首先，圖像編碼裝置對於複數之對應區塊，各別將對應區塊之移動向量追加於列表(S81)。對應區塊係鄰接區塊或co-located區塊等。

接著，圖像編碼裝置從列表，將重複候補及不可利用候補刪除(S82)。然後，圖像編碼裝置從列表選擇預測移動向量(S83)。接著，圖像編碼裝置將與所選擇之預測移動向量對應的索引編碼。又，圖像編碼裝置將所選擇之預測移動向量、與移動向量的差分編碼(S84)。

圖6係顯示圖像解碼裝置動作的流程圖。圖像解碼裝置對於複數之對應區塊，各別將對應區塊之移動向量追加於列表(S91)。

接著，圖像解碼裝置從列表將重複候補及不可利用候補刪除(S92)。接著，圖像解碼裝置將圖像編碼裝置所編碼之索引及差分解碼(S93)。圖像解碼裝置藉由所解碼之索引來選擇預測移動向量(S94)。然後，圖像解碼裝置藉由將預測移動向量與差分進行加算，來將移動向量復原。並且，圖像解碼裝置使用所復原之移動向量，將解碼對象區塊解碼。

然而，迄今之預測移動向量指定模式中，未考慮到區塊參考與該區塊在時間上一致的圖片而編碼之事。例如，MVC(Multiview Video Coding：多視點影像編碼)之圖像編碼裝置，有時會參考基本視野的圖片，將非基本視野的圖片編碼。此時，具有參考關係的2個圖片(基本視野的圖片、及非基本視野的圖片)在時間上會一致。

更具體而言，有時co-located區塊會使用參考圖片而進行編碼，並且，co-located區塊與參考圖片有時會屬於互異的視野。此時，co-located區塊會使用與co-located區塊在時間上一致的參考圖片而進行編碼。

此時，由於關於移動向量在時間上的距離為0，故圖像編碼裝置無法根據時間上的距離，來將移動向量伸縮。因此，圖像編碼裝置無法取得時間域直接模式之移動向量。所以，當有區塊參考與該區塊在時間上一致的圖片來進行編碼的可能性時，圖像編碼裝置須要藉由特殊的旗標等來切換動作。但是，藉由特殊的旗標等來切換動作，從編碼效率的觀點來看，也很沒效率。

因此，即使在有區塊參考與包含該區塊之圖片在時間上一致的圖片而進行編碼的可能性時，亦可將圖像適當地編碼的圖像編碼方法可提升編碼效率。

對此，本發明之一態樣之圖像編碼方法，係將構成圖像之複數圖片所含的複數區塊編碼者，包含有：追加步驟，對於1個以上對應區塊各別判定是否將對應區塊之移動向量追加於列表，當判定為將前述對應區塊之移動向量追加於前述列表時，將前述對應區塊之移動向量追加於前述列表，又，前述1個以上對應區塊係前述複數區塊所含之1個以上區塊；選擇步驟，從前述列表選擇移動向量作為預測移動向量；及編碼步驟，使用現行區塊之移動向量，將前述現行區塊編碼，並將前述現行區塊之移動向量與前述選擇步驟所選擇之前述預測移動向量的差分編碼，又，前述現行區塊係前述複數區塊所含之區塊、且係與前述1個以上對應區塊不同之區塊，在前述追加步驟中，當包含前述對應區塊之對應圖片、與於前述對應區塊之編碼中使用前述對應區塊之移動向量而被參考的對應參考圖片在時間上一致時，或者，當包含前述現行區塊之現行圖片、與於前述現行區塊之編碼中使用前述現行區塊之移動向量而被參考的現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

藉此，即使區塊有可能係參考與包含該區塊之圖片在時間上一致的圖片而被編碼時，亦可將圖像適當地編碼。

例如，前述追加步驟中，亦可當包含前述對應圖片之視野與包含前述對應參考圖片之視野不同時、或者當包含前述現行圖片之視野與包含前述現行參考圖片之視野不同時，判定為不將前述對應區塊之移動向量追加於前述列表，藉此，當前述對應圖片與前述對應參考圖片在時間上一致時、或者當前述現行圖片與前述現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

藉此，即使區塊有可能係參考與包含該區塊之視野不同的視野所含之圖片而被編碼時，亦可將圖像適當地編碼。

又，例如，前述追加步驟中，亦可當前述對應圖片之顯示順序與前述對應參考圖片之顯示順序一致時、或者當前述現行圖片之顯示順序與前述現行參考圖片之顯示順序一致時，判定為不將前述對應區塊之移動向量追加於前述列表，藉此，當前述對應圖片與前述對應參考圖片在時間上一致時、或者當前述現行圖片與前述現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

藉此，即使當包含區塊之圖片之顯示順序與該區塊之參考圖片之顯示順序有一致的可能性時，亦可將圖像適當地編碼。

又，例如，前述追加步驟中，亦可當前述對應圖片與前述對應參考圖片在時間上一致時、或者當前述現行圖片與前述現行參考圖片在時間上一致時，除了當前述對應圖片與前述對應參考圖片在時間上一致、且前述現行圖片與前述現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

藉此，可將不伸縮亦可的移動向量使用為預測移動向量之候補。因此，圖像可適當地進行編碼。

又，例如，前述追加步驟中，亦可當當包含前述對應圖片之視野與包含前述對應參考圖片之視野不同、以及包含前述現行圖片之視野與包含前述現行參考圖片之視野不同的兩者中，僅一者為真時，判定為不將前述對應區塊之移動向量追加於前述列表，藉此，當前述對應圖片與前述對應參考圖片在時間上一致時、或者當前述現行圖片與前述現行參考圖片在時間上一致時，除了當前述對應圖片與前述對應參考圖片在時間上一致、且前述現行圖片與前述現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

藉此，即使當現行區塊及對應區塊中可能僅一者使用視野間預測而進行編碼時，亦可將圖像適當地編碼。

又，例如，前述追加步驟中，亦可當前述現行圖片與前述現行參考圖片在時間上一致時，將預定之移動向量追加於前述列表。

藉此，預定之移動向量可作為預測移動向量之候補而使用。因此，可抑制候補數的減少。

又，例如，前述追加步驟中，亦可將附加於編碼串流之標頭的前述預定之移動向量追加於前述列表。

藉此，可在編碼處理及解碼處理兩方中，將相同的移動向量追加於列表。因此，圖像可適當地進行編碼。

又，例如，前述追加步驟中，亦可將顯示視差之方向及大小的視差向量作為前述預定之移動向量，追加於前述列表。

藉此，視差向量係作為預測移動向量之候補而使用。當現行圖片與現行參考圖片在時間上一致的時候，在現行區塊之編碼時，使用視野間預測的可能性很高。此時，藉由將視差向量使用為預測移動向量之候補，圖像可適當地進行編碼。

又，例如，前述編碼步驟中，亦可當於前述列表全無追加移動向量時，將前述現行區塊之移動向量編碼。

藉此，即使在無預測移動向量之候補時，亦可將移動向量編碼。因此，圖像可適當地進行編碼。

又，例如，前述追加步驟中，亦可使用前述對應圖片及前述對應參考圖片之間的時間上的距離、與前述現行圖片及前述現行參考圖片之間的時間上的距離的比，使前述對應區塊之移動向量伸縮，將經伸縮之前述移動向量追加於前述列表。

藉此，對應區塊之移動向量係使用時間上的距離而伸縮。並且，藉由將所伸縮之移動向量使用為預測移動向量之候補，圖像可適當地進行編碼。

又，本發明之一態樣之圖像解碼方法，係將構成圖像之複數圖片所含的複數區塊解碼者，包含有：追加步驟，對於1個以上對應區塊各別判定是否將對應區塊之移動向量追加於列表，當判定為將前述對應區塊之移動向量追加於前述列表時，將前述對應區塊之移動向量追加於前述列表，又，前述1個以上對應區塊係前述複數區塊所含之1個以上區塊；選擇步驟，從前述列表選擇移動向量作為預測移動向量；及解碼步驟，將現行區塊之移動向量、與前述選擇步驟所選擇之前述預測移動向量的差分進行解碼，將所解碼之前述差分、與前述選擇步驟所選擇之前述預測移動向量進行加算，藉此取得前述現行區塊之移動向量，使用所取得之前述移動向量，將前述現行區塊解碼，又，前述現行區塊係前述複數區塊所含之區塊、且係與前述1個以上對應區塊不同之區塊，在前述追加步驟中，當包含前述對應區塊之對應圖片、與於前述對應區塊之解碼中使用前述對應區塊之移動向量而被參考之對應參考圖片在時間上一致時，或者，當包含前述現行區塊之現行圖片、與於前述現行區塊之解碼中使用前述現行區塊之移動向量而被參考之現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

藉此，即使區塊有可能係參考與包含該區塊之圖片在時間上一致的圖片而進行解碼時，亦可將圖像適當地解碼。

藉此，即使當區塊可能係參考與包含該區塊之視野不同的視野所含之圖片而進行解碼時，亦可將圖像適當地解碼。

藉此，即使當包含區塊之圖片之顯示順序與該區塊之參考圖片之顯示順序有一致的可能性時，亦可將圖像適當地解碼。

藉此，可將不伸縮亦可的移動向量使用為預測移動向量之候補。因此，圖像可適當地進行解碼。

又，例如，前述追加步驟中，亦可當包含前述對應圖片之視野與包含前述對應參考圖片之視野不同、以及包含前述現行圖片之視野與包含前述現行參考圖片之視野不同的兩者中，僅一者為真時，判定為不將前述對應區塊之移動向量追加於前述列表，藉此，當前述對應圖片與前述對應參考圖片在時間上一致時、或者當前述現行圖片與前述現行參考圖片在時間上一致時，除了當前述對應圖片與前述對應參考圖片在時間上一致、且前述現行圖片與前述現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

藉此，即使當現行區塊及對應區塊中可能僅一者使用視野間預測而進行解碼時，亦可將圖像適當地解碼。

又，例如前述追加步驟中，亦可當前述現行圖片與前述現行參考圖片在時間上一致時，將預定之移動向量追加於前述列表。

藉此，預定之移動向量係使用為預測移動向量之候補。因此，可抑制候補數的減少。

藉此，可在編碼處理及解碼處理兩者中，將相同的移動向量追加於列表。因此，圖像可適當地進行解碼。

藉此，視差向量可使用為預測移動向量之候補。當現行圖片與現行參考圖片在時間上一致的時候，在現行區塊之解碼時，使用視野間預測的可能性很高。此時，藉由將視差向量使用為預測移動向量之候補，圖像可適當地進行解碼。

又，例如，前述解碼步驟中，亦可當於前述列表全無追加移動向量時，將前述現行區塊之移動向量解碼。

藉此，即使在無預測移動向量之候補時，亦可將移動向量解碼。因此，圖像可適當地進行解碼。

藉此，對應區塊之移動向量係使用時間上的距離而進行伸縮。並且，藉由將伸縮後之移動向量使用為預測移動向量之候補，圖像可適當地進行解碼。

此外，該等之全體的或具體的態樣，可以裝置、系統、積體電路、電腦程式或電腦可讀取的CD-ROM等非暫時性記錄媒體來實現，亦可以裝置、系統、積體電路、電腦程式或記錄媒體之任意組合來實現。

以下，對於本發明之一態樣的圖像編碼裝置及圖像解碼裝置，一面參考圖示一面進行具體的說明。

另外，以下所說明之實施形態，皆為顯示本發明之一具體例者。以下之實施形態所示的數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟順序等，係為一例，非限定本發明之旨趣。又，以下之實施形態的構成要素中，關於未記載於顯示最上位概念之獨立請求項的構成要素，係以任意之構成要素來進行說明。

並且，以下之實施形態的編碼對象區塊、解碼對象區塊及處理對象區塊，也稱為現行區塊(current block)。又，編碼對象圖片、解碼對象圖片及處理對象圖片，也稱為現行圖片(current picture)。

且，以下之實施形態的圖像，可為動態圖像，亦可為多視點影像，可由1個以上之圖片所構成，也可為圖片的一部份。

又，以下之實施形態的區塊，可為稱為編碼單元(Coding Unit：CU)的區塊，可為稱為預測單元(Prediction Unit：PU)的區塊，可為稱為巨集塊的區塊，也可為其他的區塊。

而且，間預測之移動向量具有方向及大小，與內預測之預測方向不同。

(實施形態1)

圖7係顯示本實施形態之圖像編碼裝置的構成圖。圖7所示之圖像編碼裝置，具有編碼部101、間預測控制部121及圖片形式決定部124。又，編碼部101具有減算部102、正交變換部103、量化部104、可變長度編碼部105、逆量化部106、逆正交變換部107、加算部108、區塊記憶體109、內預測部110、訊框記憶體111、間預測部112及開關113。

減算部102從輸入圖像資料將預測圖像資料減算，而將預測誤差資料輸出。正交變換部103對於預測誤差資料，進行從圖像域至頻率域的變換。量化部104則對於變換成頻率域之預測誤差資料，進行量化處理。

逆量化部106係藉由量化部104，對於經量化處理之預測誤差資料，進行逆量化處理。逆正交變換部107係對於經逆量化處理之預測誤差資料，進行從頻率域至圖像域的變換。加算部108將預測誤差資料與預測圖像資料進行加算，並將重組圖像資料輸出。區塊記憶體109係用以將重組圖像資料以區塊為單位進行保存的記憶體。訊框記憶體111係將重組圖像資料以訊框為單位進行保存的記憶體。

內預測部110係使用保存在區塊記憶體109之區塊單位的重組圖像資料，來執行內預測。藉此，內預測部110生成關於編碼對象區塊之預測圖像資料。間預測部112係使用保存於訊框記憶體111之訊框單位的重組圖像資料、以及藉由移動檢測而導出之移動向量，來執行間預測。藉此，間預測部112生成關於編碼對象區塊之預測圖像資料。開關113將編碼模式切換成內預測或間預測。

圖片形式決定部124決定以I圖片、B圖片、P圖片中任一圖片形式來將輸入圖像資料編碼，而生成圖片形式資訊。

間預測控制部121從1個以上的候補，選擇預測移動向量。關於以間預測控制部121所執行的處理，容後再詳述。

可變長度編碼部105對於經量化處理之預測誤差資料、顯示預測移動向量之索引、預測移動向量與移動向量的差分(亦稱為差分移動向量或差分向量)、及圖片形式資訊等，進行可變長度編碼處理。藉此，可變長度編碼部105生成位元串流。

另外，圖7係顯示本實施形態之圖像編碼裝置之一例的構成圖。具體的構成之態樣，並不限於圖7所示之構成。例如，當事先預定好圖片形式時，亦可無圖片形式決定部 124。又，編碼部101無須由複數之構成要素所構成。另，編碼部101亦可不執行頻率變換、量化、逆頻率變換、逆量化及內預測等，而將圖像編碼。

圖8係顯示圖7所示之圖像編碼裝置的主要構成要素的構成圖。圖8所示的圖像編碼裝置具有編碼部101及間預測控制部121。又，間預測控制部121具有追加部131及選擇部132。

追加部131對於1個以上之對應區塊，各別將對應區塊之移動向量選擇性地追加於列表。亦即，追加部131對於1個以上之對應區塊，各別選擇是否將對應區塊之移動向量追加於列表，並將選擇為追加之移動向量追加於列表。追加部131可將1個以上之對應區塊中之1個以上之移動向量全部追加於列表，亦可將1個以上之對應區塊中之1個以上之移動向量的一部分追加於列表。

又，對應區塊係已編碼之鄰接區塊或已編碼之co-located區塊等。具體而言，對應區塊可為包含在編碼對象圖片、且空間上鄰接於編碼對象區塊的區塊。又，對應區塊亦可係與編碼對象圖片不同的1個以上之圖片所含、且在空間上與編碼對象區塊一致或對應的區塊。

選擇部132從列表選擇預測移動向量。具體而言，選擇部132係選擇將編碼對象區塊之移動向量編碼時所使用的移動向量作為預測移動向量。

編碼對象區塊之移動向量，為了與預測移動向量有所區別，亦稱為現行移動向量(current motion vector)。又，對應區塊之移動向量、鄰接區塊之移動向量、及co-located區塊之移動向量，分別亦稱為對應移動向量、鄰接移動向量、及co-located移動向量。

編碼部101使用編碼對象區塊之移動向量來將編碼對象區塊編碼。又，編碼部101將編碼對象區塊之移動向量與選擇部132所選擇之預測移動向量間的差分進行編碼。

藉此，圖像編碼裝置可從列表選擇預測移動向量，並將預測移動向量使用於移動向量之編碼。圖8中，追加部131及選擇部132係包含於間預測控制部121，但追加部131及選擇部132亦可與間預測控制部121獨立存在。此時，間預測控制部121亦可不包含於圖像編碼裝置中。

圖9係顯示本實施形態的鄰接區塊之移動向量的圖。圖9中，係以顯示順序來顯示複數圖片B0~B4。

移動向量MvL0係使用於編碼對象區塊之編碼的移動向量。參考圖片索引RefL0係在編碼對象區塊之編碼時，以參考圖片列表L0所指定之參考圖片索引。

移動向量MvL0_N係使用於鄰接區塊之編碼的移動向量。參考圖片索引RefL0_N係在鄰接區塊之編碼時，以參考圖片列表L0所指定之參考圖片索引。

例如，追加部131將移動向量MvL0_N追加於列表。然後，選擇部132從列表選擇移動向量MvL0_N。並且，編碼部101將所選擇之移動向量MvL0_N、與編碼對象區塊之移動向量MvL0的差分進行編碼。又，編碼部101將顯示所選擇之移動向量MvL0_N的索引進行編碼。藉此，可提升移動向量MvL0的編碼效率。

圖10係顯示本實施形態之co-located區塊之移動向量的圖。圖10中，與圖9一樣，以顯示順序來顯示複數的圖片B0~B4。

移動向量MvL0與圖9同樣，係使用於編碼對象區塊之編碼的移動向量。參考圖片索引RefL0與圖9同樣，係在編碼對象區塊之編碼時，以參考圖片列表L0所指定之參考圖片索引。

移動向量MvL0_Col係使用於co-located區塊之編碼的移動向量。參考圖片索引RefL0_Col係在co-located區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

移動向量sMvL0_Col係以從編碼對象區塊至其參考圖片的時間上的距離、與從co-located區塊至其參考圖片的時間上的距離間的比率進行伸縮後的移動向量。又，移動向量sMvL0_Col與移動向量MvL0_Col，係平行。例如，sMvL0_Col係由式1所導出。

sMvL0_Col=MvL0_Col^＊(POC(RefL0)-curPOC)/(POC(RefL0_Col)-colPOC)………(式1)

在此，curPOC表示編碼對象圖片之顯示順序。colPOC表示包含co-located區塊的圖片之顯示順序。POC(r)係以參考圖片索引r所特定的參考圖片之顯示順序。藉此，可得到移動向量sMvL0_Col。

例如，追加部131藉由使移動向量MvL0_Col伸縮，來取得移動向量sMvL0_Col。並且，追加部131將移動向量 sMvL0_Col追加於列表。然後，選擇部132從列表選擇移動向量sMvL0_Col。

並且，編碼部101將所選擇之移動向量sMvL0_Col、與編碼對象區塊之移動向量MvL0間的差分進行編碼。又，編碼部101將顯示所選擇之移動向量sMvL0_Col的索引進行編碼。藉此，可提升移動向量MvL0的編碼效率。

圖11係顯示本實施形態之伸縮處理之第1例的圖。本實施形態之圖像編碼裝置亦可與時間域直接模式一樣，將鄰接區塊之移動向量伸縮，而作為預測移動向量來使用。圖11顯示鄰接區塊之移動向量的伸縮處理。圖11中，與圖9一樣，以顯示順序來顯示複數圖片B0~B4。

移動向量MvL0與圖9一樣，係使用於編碼對象區塊之編碼的移動向量。參考圖片索引RefL0與圖9一樣，係在編碼對象區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

移動向量MvL0_N與圖9一樣，係使用於鄰接區塊之編碼的移動向量。參考圖片索引RefL0_N與圖9一樣，係在鄰接區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

移動向量sMvL0_N係以從編碼對象區塊至其參考圖片的時間上的距離、與從鄰接區塊至其參考圖片的時間上的距離間的比率進行伸縮後的移動向量。又，移動向量sMvL0_N與移動向量MvL0_N係平行。例如，sMvL0_N可由式2導出。

sMvL0_N=MvL0_N^＊(POC(RefL0)-curPOC)/(POC(RefL0_N)-curPOC)………(式2)

在此，curPOC表示編碼對象圖片之顯示順序。POC(r)係以參考圖片索引r所特定的參考圖片之顯示順序。藉此，可得到移動向量sMvL0_N。

例如，追加部131藉由使移動向量MvL0_N伸縮，可取得移動向量sMvL0_N。並且，追加部131將移動向量sMvL0_N追加於列表。然後，選擇部132從列表選擇移動向量sMvL0_N。

並且，編碼部101將所選擇之移動向量sMvL0_N、與編碼對象區塊之移動向量MvL0間的差分進行編碼。又，編碼部101將顯示所選擇之移動向量sMvL0_N的索引進行編碼。藉此，可提升移動向量MvL0的編碼效率。

圖12係顯示本實施形態之伸縮處理之第2例的圖。圖9、圖10、圖11中，顯示了使用參考圖片列表L0之例。但是，本實施形態之圖像編碼裝置即使在使用參考圖片列表L1的情況，也同樣地可使用對應區塊之移動向量來做為預測移動向量。

此外，本實施形態之圖像編碼裝置亦可將參考圖片列表L1的間預測之移動向量，使用為參考圖片列表L0的間預測之預測移動向量。例如，圖像編碼裝置也可將後方向預測之移動向量使用為前方向預測之預測移動向量。圖12係顯示如此情況下之例。圖12中，與圖9一樣，以顯示順序來顯示複數圖片B0~B4。

移動向量MvL1_N係使用於鄰接區塊之編碼的移動向量。參考圖片索引RefL1_N係在鄰接區塊之編碼時，以參考圖片列表L1所指定的參考圖片索引。

移動向量sMvL0_N係以從編碼對象區塊至其參考圖片的時間上的距離、與從鄰接區塊至其參考圖片的時間上的距離間的比率而伸縮後之移動向量。又，移動向量sMvL0_N與移動向量MvL1_N係平行。例如，sMvL0_N可由式3導出。

sMvL0_N=MvL1_N^＊(POC(RefL0)-curPOC)/(POC(RefL1_N)-curPOC)………(式3)

在此，curPOC表示編碼對象圖片之顯示順序。POC(r)係以參考圖片索引r所特定之參考圖片之顯示順序。藉此，可得到移動向量sMvL0_N。

如此一來即使在預測方向相反的情況下，圖像編碼裝置亦可將移動向量伸縮，並將經伸縮之移動向量使用為預測移動向量。

圖13係顯示本實施形態之參考關係之第1例的圖。圖13中，係顯示基本視野與非基本視野的2個視野。2個視野分別由複數圖片構成。例如，2個視野係視點不同的2個影像。本實施形態之圖像編碼裝置亦可具有將多視點影像編碼之 MVC的機能。

具有MVC機能之圖像編碼裝置可參考基本視野之圖片，將非基本視野之圖片編碼。當圖像編碼裝置參考基本視野之圖片而將非基本視野之圖片編碼時，所參考之圖片之顯示順序、與所編碼之圖片之顯示順序為一致。

圖13中，係以顯示順序顯示基本視野中之複數圖片B00~B04、及非基本視野中之複數圖片B10~B14。

移動向量MvL0係使用於編碼對象區塊之編碼的移動向量。參考圖片索引RefL0係在編碼對象區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

移動向量MvL0_N係使用於鄰接區塊之編碼的移動向量。參考圖片索引RefL0_N係在鄰接區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

在圖13之例中，從編碼對象區塊至其參考圖片的時間上的距離、與從鄰接區塊至其參考圖片的時間上的距離不同。因此，必須依照式2，使移動向量MvL0_N伸縮。但是，在圖13之例中，從鄰接區塊至其參考圖片的時間上的距離為0。因此，由於式2之分母為0，故追加部131無法將移動向量MvL0_N伸縮。

對此，在如此之情況下，追加部131不將該鄰接區塊的移動向量追加於列表。藉此，追加部131無須從該鄰接區塊算出預測移動向量。又，藉此，該鄰接區塊的移動向量不由選擇部132進行選擇。因此，本實施形態之圖像編碼裝置可不產生問題地繼續動作。

圖14係顯示本實施形態之參考關係之第2例的圖。圖14中，與圖13同樣，顯示基本視野與非基本視野的2個視野。又，以顯示順序顯示基本視野中之複數圖片B00~B04、及非基本視野中之複數圖片B10~B14。

移動向量MvL0與圖13同樣，係使用於編碼對象區塊之編碼的移動向量。參考圖片索引RefL0與圖13同樣，係在編碼對象區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

移動向量MvL0_N與圖13同樣，係使用於鄰接區塊之編碼的移動向量。參考圖片索引RefL0_N與圖13同樣，係在鄰接區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

在圖14之例中，從編碼對象區塊至其參考圖片的時間上的距離、與從鄰接區塊至其參考圖片的時間上的距離不同。因此，必須依照式2，使移動向量MvL0_N伸縮。但是，圖14之例中，從編碼對象區塊至其參考圖片的時間上的距離為0。因此，式2的分子為0，故追加部131無法將移動向量MvL0_N適當地伸縮。

對此，在如此之情況下，追加部131不將該鄰接區塊的移動向量追加於列表。藉此，追加部131可不從該鄰接區塊算出預測移動向量。又，藉此，該鄰接區塊的移動向量，不由選擇部132進行選擇。因此，本實施形態之圖像編碼裝置可不產生問題地繼續動作。

圖15係顯示本實施形態之參考關係之第3例的圖。圖15 中，與圖13同樣，顯示了基本視野與非基本視野的2個視野。又，以顯示順序顯示基本視野中之複數圖片B00~B04、及非基本視野中之複數圖片B10~B14。

移動向量MvL0_Col係使用於co-located區塊之編碼的移動向量。參考圖片索引RefL0_Col係在鄰接區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

在圖15之例中，從編碼對象區塊至其參考圖片的時間上的距離、與從co-located區塊至其參考圖片的時間上的距離不同。因此，需依照式1，使移動向量MvL0_Col伸縮。但是，圖15之例中，從co-located區塊至其參考圖片的時間上的距離為0。因此，由於式1之分母為0，故追加部131無法將移動向量MvL0_Col伸縮。

對此，在如此之情況下，追加部131不將該co-located區塊的移動向量追加於列表。藉此，追加部131亦可不從該co-located區塊算出預測移動向量。又，藉此，該co-located區塊的移動向量不由選擇部132選擇。因此，本實施形態之圖像編碼裝置可不產生問題地繼續動作。

圖16係顯示本實施形態之參考關係之第4例的圖。圖16中，與圖15同樣，顯示了基本視野與非基本視野的2個視野。又，以顯示順序顯示基本視野中之複數圖片B00~ B04、及非基本視野中之複數圖片B10~B14。

移動向量MvL0與圖15同樣，係使用於編碼對象區塊之編碼的移動向量。參考圖片索引RefL0與圖15同樣，係在編碼對象區塊之編碼時，以參考圖片列表L0所指定的參考圖片索引。

移動向量MvL0_Col與圖15同樣，係使用於co-located區塊之編碼的移動向量。參考圖片索引RefL0_Col與圖15同樣，係在co-located區塊之編碼時，以參考圖片列表L0指定的參考圖片索引。

在圖16之例中，從編碼對象區塊至其參考圖片的時間上的距離、與從co-located區塊至其參考圖片的時間上的距離不同。因此，必須依照式1，使移動向量MvL0_Col伸縮。但是，在圖16之例中，從編碼對象區塊至其參考圖片的時間上的距離為0。因此，由於式1之分子為0，故追加部131無法適當地將移動向量MvL0_Col伸縮。

對此，在如此之情況下，追加部131不將該co-located區塊的移動向量追加於列表。藉此，追加部131可不從該co-located區塊算出預測移動向量。又，藉此，該co-located區塊的移動向量不由選擇部132進行選擇。因此，本實施形態之圖像編碼裝置可不產生問題地繼續動作。

另外，在圖13~圖16中，係顯示了使用參考圖片列表L0的情況。但是，在使用參考圖片列表L1的情況亦同。又，將參考圖片列表L1的間預測之移動向量，使用為參考圖片列表L0的間預測之預測移動向量時也相同。並且，在圖13 ~圖16之例中，係顯示了複數的視野，但圖像編碼裝置並不限於MVC的情況，在1個視野中亦可適用同樣的處理。

圖17係顯示圖8所示之圖像編碼裝置動作的流程圖。首先，追加部131對於1個以上之對應區塊，各別將對應區塊之移動向量追加於選擇性地列表(S11)。1個以上之對應區塊的各區塊，係包含在編碼對象圖片、且在空間上鄰接於編碼對象區塊的區塊、或包含在與編碼對象圖片不同的圖片、且在空間上與編碼對象區塊一致或對應的區塊。

(i)追加部131對於1個以上之對應區塊的各區塊，當對應區塊係使用對應區塊之移動向量、參考與對應區塊在時間上一致的圖片而進行編碼時，不將對應區塊之移動向量追加於列表。(ii)追加部131對於1個以上之對應區塊的各區塊，當編碼對象區塊係使用編碼對象區塊之移動向量、參考與編碼對象區塊在時間上一致的圖片而進行編碼時，不將對應區塊之移動向量追加於列表。追加部131在(i)及(ii)2個限制中，可僅使用一者。

接著，選擇部132從列表，選擇將編碼對象區塊之移動向量編碼時所使用的移動向量作為預測移動向量(S12)。接著，編碼部101使用編碼對象區塊之移動向量來將編碼對象區塊編碼。又，編碼部101將編碼對象區塊之移動向量、與所選擇之預測移動向量間的差分編碼(S13)。藉此，編碼對象區塊及移動向量被編碼。

圖18係顯示圖17所示之詳細動作的流程圖。圖18中，具體地顯示圖17所示之追加處理(S11)。

首先，追加部131判定編碼對象區塊與其參考區塊在時間上是否一致(S21)。然後，當編碼對象區塊與其參考區塊在時間上一致時(S21為是)，追加部131將視差向量追加於列表(S22)。視差向量係顯示視差之大小與方向的移動向量。例如，視差向量顯示基本視野中之圖片、與非基本視野中之圖片間的圖像的偏移。

追加部131亦可將過去所使用之視差向量追加於列表。亦即，追加部131可將過去在參考基本視野時所使用的移動向量追加於列表。又，追加部131亦可根據過去所使用的視差向量之平均等統計，來算出用以追加於列表之視差向量。

另一方面，當編碼對象區塊與其參考區塊在時間上不為一致時(S21為否)，追加部131對於1個以上之對應區塊，各別判定對應區塊與其參考圖片在時間上是否一致(S23)。然後，當對應區塊與其參考圖片在時間上不一致時(S23為否)，追加部131將對應區塊之移動向量追加於列表(S24)。此時，追加部131可將對應區塊之移動向量伸縮，而將所伸縮之移動向量追加於列表。

接著，追加部131從列表，將重複候補及不可利用候補刪除(S25)。藉此，生成適當的列表。

另外，編碼部101亦可將視差向量附加於標頭。例如，編碼部101可在編碼串流之全體的標頭，附加視差向量來做為序列參數組(SPS：Sequence Parameter Set)。

又，編碼部101可在編碼串流內之圖片的標頭，附加視差向量而作為圖片參數組(PPS：Picture Parameter Set)。編碼部101亦可在編碼串流內之切片的標頭，附加視差向量而作為切片標頭。

又，追加部131亦可不限定於視差向量，而將預定的向量追加於列表。並且，編碼部101可在編碼串流之標頭，附加預定之向量來做為序列參數組、圖片參數組或切片標頭。追加於列表的預定之向量之大小亦可為0。

圖19係顯示圖17所示之動作的變形例的流程圖。首先，追加部131對於1個以上之對應區塊，各別將對應區塊之移動向量選擇性地追加於列表(S31)。

在此，當至少1個移動向量追加於列表時場合(S31為是)，選擇部132決定是否從列表選擇預測移動向量(S32)。此時，選擇部132可選擇預測移動向量，亦可不進行選擇。例如，選擇部132在接近編碼對象區塊之移動向量的移動向量不存在於列表時，可不從列表選擇預測移動向量。

選擇了預測移動向量時(S32為是)，編碼部101使用編碼對象區塊之移動向量，將編碼對象區塊編碼。又，編碼部101將編碼對象區塊之移動向量、與所選擇之預測移動向量間的差分編碼(S33)。

當移動向量全無追加於列表時(S31為否)、或者未選擇預測移動向量時(S32為否)，視為預測移動向量之大小為0。亦即，視為編碼對象區塊之移動向量與預測移動向量的差分等於編碼對象區塊之移動向量。

此時，與選擇了預測移動向量時相同，編碼部101使用編碼對象區塊之移動向量，將編碼對象區塊編碼。另一方面，編碼部101將編碼對象區塊之移動向量作為差分來編碼(S34)。藉此，即使當移動向量全無追加於列表時(S31為否)、或者未選擇預測移動向量時(S32為否)，圖像編碼裝置亦可不產生問題地繼續動作。

另外，當移動向量全無追加於列表時(S31為否)、或者未選擇預測移動向量時(S32為否)，亦可視為預測移動向量係事先決定好的移動向量。

如以上，圖像編碼裝置在即使區塊可能係參考與該區塊在時間上一致的圖片而進行編碼時，亦可從列表適當地選擇預測移動向量。在上述中，係顯示了圖像編碼裝置，但圖像解碼裝置也可依同樣的順序，從列表適當地選擇預測移動向量。

圖20係顯示本實施形態之圖像解碼裝置的構成圖。圖20所示之圖像解碼裝置，具有解碼部201及間預測控制部221。解碼部201包含有：可變長度解碼部205、逆量化部206、逆正交變換部207、加算部208、區塊記憶體209、內預測部210、訊框記憶體211、間預測部212及開關213。

可變長度解碼部205對於所輸入之位元串流，進行可變長度解碼處理，將圖片形式資訊、預測移動向量索引、預測誤差資料等解碼。逆量化部206對於預測誤差資料，進行逆量化處理。逆正交變換部207將進行了逆量化處理的預測誤差資料，從頻率域變換至圖像域。加算部208藉由將預測圖像資料、與預測誤差資料進行加算，來生成解碼圖像資料。

區塊記憶體209係用以將解碼圖像資料以區塊為單位進行保存的記憶體。訊框記憶體211係用以將解碼圖像資料以訊框為單位保存的記憶體。

內預測部210係使用保存於區塊記憶體209之區塊單位的解碼圖像資料，而來執行內預測，藉此，生成解碼對象區塊之預測圖像資料。間預測部212係使用保存於訊框記憶體211之訊框單位的解碼圖像資料，而來執行間預測，藉此，生成解碼對象區塊之預測圖像資料。開關213將編碼模式切換成內預測或間預測。

間預測控制部221從列表選擇預測移動向量。在間預測控制部221所執行的處理，與編碼側之間預測控制部121所執行的處理相同。亦即，在上述之編碼處理中，藉由將編碼的部分變更為解碼，來實現間預測控制部221。另外，間預測控制部221係使用可變長度解碼部205所解碼的索引，而從列表選擇預測移動向量。

圖20中，係顯示本實施形態之圖像解碼裝置構成之一例，但具體的構成態樣並不限於圖20所示之構成。例如，解碼部201無須以複數之構成要素構成。又，解碼部201亦可不執行逆頻率變換、逆量化及內預測等而將圖像解碼。

圖21係顯示圖20所示之圖像解碼裝置主要構成要素的構成圖。圖21所示之圖像解碼裝置，具有解碼部201及間預測控制部221。又，間預測控制部221具有追加部231及選擇部232。

追加部231對於1個以上之對應區塊，各別將對應區塊之移動向量選擇性地追加於列表。亦即，追加部231對於1個以上之對應區塊，各別選擇是否將對應區塊之移動向量追加於列表，並將選擇作為追加之移動向量追加於列表。追加部231可將1個以上之對應區塊中1個以上之移動向量全部追加於列表，也可將1個以上之對應區塊中之1個以上之移動向量的一部份追加於列表。

又，對應區塊係已解碼之鄰接區塊或已解碼之co-located區塊等。具體而言，對應區塊可為包含在解碼對象圖片、且與解碼對象區塊在空間上鄰接的區塊。又，對應區塊可為包含在與解碼對象圖片不同之1個以上圖片、且與解碼對象區塊在空間上一致或對應的區塊。

選擇部232從列表選擇預測移動向量。具體而言，選擇部232選擇將解碼對象區塊之移動向量解碼時所使用的移動向量作為預測移動向量。解碼對象區塊之移動向量為了與預測移動向量有所區別，亦稱為現行移動向量(current motion vector)。

解碼部201將解碼對象區塊之移動向量、選擇部232所選擇之預測移動向量間的差分解碼。然後，解碼部201藉由將所解碼之差分、與選擇部23所選擇之移動向量進行加算，來取得解碼對象區塊之移動向量。並且，解碼部201使用解碼對象區塊之移動向量來將解碼對象區塊解碼。

藉此，圖像解碼裝置可從列表選擇預測移動向量，將預測移動向量使用於移動向量之解碼。圖21中，追加部231 及選擇部232係包含於間預測控制部221，但追加部231及選擇部232亦可獨立於間預測控制部221。此時，間預測控制部221不包含於圖像解碼裝置亦可。

圖22係顯示圖21所示之圖像解碼裝置動作的流程圖。首先，追加部231對於1個以上之對應區塊，各別將對應區塊之移動向量選擇性地追加於列表(S41)。1個以上之對應區塊的各區塊，係包含於解碼對象圖片、且與解碼對象區塊空間上為鄰接的區塊、或包含於與解碼對象圖片不同之圖片、且與解碼對象區塊在空間上一致或對應的區塊。

(i)追加部231對於1個以上之對應區塊的各區塊，當對應區塊係使用對應區塊之移動向量、參考與對應區塊在時間上一致的圖片而進行解碼時，不將對應區塊之移動向量追加於列表。(ii)追加部231對於1個以上之對應區塊的各區塊，在解碼對象區塊係使用解碼對象區塊之移動向量、參考與解碼對象區塊在時間上一致的圖片而進行解碼時，不將對應區塊之移動向量追加於列表。追加部231在(i)及(ii)2個限制中，可僅適用一者。

接著，選擇部232從列表選擇使用於將解碼對象區塊之移動向量解碼時之移動向量作為預測移動向量(S42)。

接著，解碼部201將解碼對象區塊之移動向量、與選擇部232所選擇之預測移動向量間的差分解碼。然後，解碼部201藉由將所解碼之差分、與選擇部232所選擇之移動向量進行加算，來取得解碼對象區塊之移動向量。並且，解碼部201使用解碼對象區塊之移動向量，將解碼對象區塊解碼 (S43)。藉此，解碼對象區塊被解碼。

圖23係顯示圖22所示之詳細動作的流程圖。圖23中，具體地顯示圖22所示之追加處理(S41)。

首先，追加部231判定解碼對象區塊與其參考區塊在時間上是否一致(S51)。然後，當解碼對象區塊與其參考區塊在時間上為一致時(S51為是)，追加部231將視差向量追加於列表(S52)。

追加部231亦可將過去所使用之視差向量追加於列表。亦即，追加部231可將過去參考基本視野時所使用之移動向量追加於列表。又，追加部231亦可藉由過去所使用之視差向量的平均等統計，來算出用以追加於列表的視差向量。

另一方面，當解碼對象區塊與其參考區塊在時間上不一致時(S51為否)，追加部231對於1個以上之對應區塊，各別判定對應區塊與其參考圖片在時間上是否一致(S53)。然後，當對應區塊與其參考圖片在時間上不一致時(S53為否)，追加部231將對應區塊之移動向量追加於列表(S54)。此時，追加部231可將對應區塊之移動向量伸縮，而將所伸縮之移動向量追加於列表。

接著，追加部231從列表刪除重複候補及不可利用候補(S55)。藉此，可生成適當的列表。

另外，解碼部201亦可取得附加在編碼串流所含標頭的視差向量。例如，解碼部201可從作為編碼串流全體標頭的序列參數組，取得視差向量。又，解碼部201亦可從作為編碼串流所含之圖片標頭的圖片參數組，取得視差向量。解碼部201也可從作為編碼串流所含之切片標頭的切片標頭，取得視差向量。

又，追加部231亦可不限於視差向量，而將預定之向量追加於列表。並且，解碼部201亦可從編碼串流之標頭(序列參數組、圖片參數組或切片標頭等)，取得預定之向量。

圖24係顯示圖22所示之動作的變形例的流程圖。首先，追加部231對於1個以上之對應區塊，各別將對應區塊之移動向量選擇性地追加於列表(S61)。

在此，當至少1個移動向量追加於列表時(S61為是)，選擇部232決定是否從列表選擇預測移動向量(S62)。例如，選擇部232當顯示預測移動向量之索引未被編碼時，亦即，於編碼串流不存在有索引時，選擇部232不從列表選擇預測移動向量。

當選擇了預測移動向量時(S62為是)，解碼部201將解碼對象區塊之移動向量、與選擇部232所選擇之預測移動向量間的差分進行解碼。然後，解碼部201將所解碼之差分、與選擇部232所選擇之移動向量進行加算，藉此，取得解碼對象區塊之移動向量。並且，解碼部201使用解碼對象區塊之移動向量，將解碼對象區塊解碼(S63)。

當移動向量全未追加於列表時(S61為否)、或者未選擇預測移動向量時(S62為否)，視為預測移動向量的大小為0。亦即，視為解碼對象區塊之移動向量、與預測移動向量間的差分，等於解碼對象區塊之移動向量。

此時，解碼部201將解碼對象區塊之移動向量作為差分而解碼。然後，解碼部201使用所解碼之移動向量，將解碼對象區塊解碼(S64)。藉此，即使當移動向量全未追加於列表時(S61為否)、或者未選擇預測移動向量時(S62為否)，圖像解碼裝置也可不產生問題地繼續動作。

另外，當移動向量全未追加於列表時(S61為否)、或者未選擇預測移動向量時(S62為否)，亦可視為預測移動向量是事先預定的移動向量。

如以上，圖像解碼裝置即使在區塊係參考與該區塊在時間上一致的圖片而進行解碼的情況，也可從列表適當地選擇預測移動向量。

另外，在上述中，對應區塊之移動向量係追加於列表。但是，亦可將複數之對應區塊中複數之移動向量的平均值及中值等追加於列表。此時，圖像編碼裝置之追加部131及圖像解碼裝置之追加部231將平均值及中值等算出，並追加於列表。又，2個追加部131、231亦可從除了對應區塊與其參考圖片在時間上一致的對應區塊外的複數對應區塊，算出複數之移動向量的平均值及中值等。

又，在上述中，當處理對象區塊(編碼對象區塊或解碼對象區塊)與處理對象區塊之參考圖片在時間上為一致時，限制了將對應區塊之移動向量追加到列表。或者，當對應區塊與對應區塊之參考圖片在時間上為一致時，限制了將對應區塊之移動向量追加到列表。

但是，當處理對象區塊與處理對象區塊之參考圖片在時間上為一致時，並且，對應區塊與對應區塊之參考圖片在時間上為一致時，無須將對應區塊之移動向量伸縮。因此，在如此之情況下，圖像編碼裝置之追加部131及圖像解碼裝置之追加部231，可直接將對應區塊之移動向量追加到列表。以下，具體顯示上述情形的例子。

圖25係顯示本實施形態之參考關係的第5例的圖。圖25中，與圖13~圖16一樣，顯示了基本視野與非基本視野的2個視野。又，基本視野中之複數圖片B00~B04、及非基本視野中之複數圖片B10~B14亦以顯示順序顯示。

圖25之例中，處理對象區塊之參考圖片索引RefL0與鄰接區塊之參考圖片索引RefL0_N一致。此時，從處理對象區塊至其參考圖片在時間上的距離、與從鄰接區塊至其參考圖片的時間上的距離一致。因此，無須將鄰接區塊之移動向量MvL0_N伸縮。因此，此時，圖像編碼裝置之追加部131及圖像解碼裝置之追加部231可直接將移動向量MvL0_N追加到列表。

圖26係顯示本實施形態之參考關係的第6例的圖。圖26中，與圖13~圖16同樣，顯示了基本視野與非基本視野的2個視野。又，基本視野中之複數圖片B00~B04、及非基本視野中之複數圖片B10~B14係以顯示順序顯示。

圖26之例中，從處理對象區塊至其參考圖片在時間上的距離、與從co-located區塊至其參考圖片在時間上的距離一致。因此，無須將co-located區塊之移動向量MvL0_Col伸縮。因此，此時，圖像編碼裝置之追加部131及圖像解碼裝置之追加部231可直接將移動向量MvL0_Col追加於列表。

圖25及圖26之例中，處理對象區塊與處理對象區塊之參考圖片在時間上一致，並且，對應區塊與對應區塊之參考圖片在時間上一致。如上所述，此時，圖像編碼裝置之追加部131及圖像解碼裝置之追加部231可直接將對應區塊之移動向量追加到列表。

又，如以上，本實施形態之圖像編碼裝置係將構成圖像之複數圖片中所含的複數區塊進行編碼的圖像編碼裝置，具有追加部131、選擇部132及編碼部101。以上所示之該等動作明確地表示如下。

追加部131對於作為複數區塊所含之1個以上區塊的1個以上之對應區塊，各別判定是否將對應區塊之移動向量追加於列表。然後，追加部131在判定為將對應區塊之移動向量追加於列表時，將對應區塊之移動向量追加於列表。

選擇部132從列表選擇移動向量作為預測移動向量。編碼部101使用現行區塊之移動向量來將現行區塊編碼。在此，現行區塊係複數區塊所含之區塊、且與1個以上之對應區塊不同的區塊。並且，編碼部101將現行區塊之移動向量與選擇部132所選擇之預測移動向量的差分進行編碼。

具體而言，追加部131當對應圖片與對應參考圖片在時間上一致時、或當現行圖片與現行參考圖片在時間上一致時，判定為不將對應區塊之移動向量追加於列表。

在此，對應圖片係包含對應區塊的圖片。對應參考圖片係在對應區塊之編碼中使用對應區塊之移動向量而被參考的圖片。現行圖片係包含現行區塊的圖片。現行參考圖片係在現行區塊之編碼中使用現行區塊之移動向量而被參考的圖片。

例如，追加部131亦可在包含對應圖片之視野與包含對應參考圖片之視野不同時、或者包含現行圖片之視野與包含現行參考圖片之視野不同時，判定為不將對應區塊之移動向量追加於列表。又，例如，追加部131亦可在對應圖片之顯示順序與對應參考圖片之顯示順序一致時、或者當現行圖片之顯示順序與現行參考圖片之顯示順序一致時，判定為不將對應區塊之移動向量追加於列表。

又，例如，追加部131亦可在除了對應圖片與對應參考圖片在時間上一致、且現行圖片與現行參考圖片在時間上一致時，判定為不將對應區塊之移動向量追加於列表。又，例如，追加部131亦可在包含對應圖片之視野與包含對應參考圖片之視野不同、以及包含現行圖片之視野與包含現行參考圖片之視野不同的兩者中僅一者為真時，判定為不將對應區塊之移動向量追加於列表。

又，例如，追加部131可在現行圖片與現行參考圖片在時間上一致時，將預定之移動向量追加於列表。又，例如，追加部131亦可將附加於編碼串流之標頭的預定之移動向量追加於列表。又，例如，追加部131亦可將顯示視差之方向及大小的視差向量作為預定之移動向量追加於列表。

又，例如，編碼部101亦可在列表中全無追加移動向量時，將現行區塊之移動向量編碼。

並且，例如，追加部131可使用對應圖片及對應參考圖片之間在時間上的距離、與現行圖片及現行參考圖片之間在時間上的距離的比，來將對應區塊之移動向量伸縮。而且，追加部131亦可將所伸縮之移動向量追加於列表。

又，如以上，本實施形態之圖像解碼裝置係將構成圖像之複數圖片所含的複數區塊解碼的圖像解碼裝置，具有追加部231、選擇部232及解碼部201。以上所示之該等動作明確地表示如下。

追加部231對於作為複數區塊所含之1個以上之區塊的1個以上之對應區塊，各別判定是否將對應區塊之移動向量追加於列表。然後，追加部231在判定為將對應區塊之移動向量追加於列表時，將對應區塊之移動向量追加於列表。

選擇部232從列表選擇移動向量作為預測移動向量。

解碼部201將現行區塊之移動向量與選擇部232所選擇之預測移動向量間的差分解碼。在此，現行區塊係複數區塊所含之區塊、且係與1個以上之對應區塊不同的區塊。並且，解碼部201將所解碼之差分與選擇部232所選擇之預測移動向量進行加算，藉此，取得現行區塊之移動向量。然後，解碼部201使用所取得之移動向量將現行區塊解碼。

具體而言，追加部231當對應圖片與對應參考圖片在時間上一致時、或者當現行圖片與現行參考圖片在時間上一致時，判定為不將對應區塊之移動向量追加於列表。

在此，對應圖片係包含對應區塊的圖片。對應參考圖片係在對應區塊之解碼中使用對應區塊之移動向量而被參考的圖片。現行圖片係包含現行區塊的圖片。現行參考圖片係在現行區塊之解碼中使用現行區塊之移動向量而被參考的圖片。

例如，追加部231可在包含對應圖片之視野與包含對應參考圖片之視野不同時、或者包含現行圖片之視野與包含現行參考圖片之視野不同時，判定為不將對應區塊之移動向量追加於列表。又，例如，追加部231亦可在對應圖片之顯示順序與對應參考圖片之顯示順序一致時、或者現行圖片之顯示順序與現行參考圖片之顯示順序一致時，判定為不將對應區塊之移動向量追加於列表。

又，例如，追加部231可在除了對應圖片與對應參考圖片在時間上一致、且現行圖片與現行參考圖片在時間上一致時，判定為不將對應區塊之移動向量追加於列表。又，例如，追加部231亦可在包含對應圖片之視野與包含對應參考圖片之視野不同、及包含現行圖片之視野與包含現行參考圖片之視野不同的兩者中僅其中一者為真時，判定為不將對應區塊之移動向量追加於列表。

並且，例如，追加部231可在現行圖片與現行參考圖片在時間上一致時，將預定之移動向量追加於列表。又，例如，追加部231亦可將附加於編碼串流之標頭的預定之移動向量追加於列表。又，例如，追加部231亦可將顯示視差之方向及大小的視差向量作為預定之移動向量而追加於列表。

又，例如，解碼部201亦可在列表中全無追加移動向量時，將現行區塊之移動向量解碼。

並且，例如，追加部231可使用對應圖片及對應參考圖片之間在時間上的距離、與現行圖片及現行參考圖片之間在時間上的距離的比，來將對應區塊之移動向量伸縮。而且，追加部231亦可將所伸縮之移動向量追加於列表。

又，亦可將上述圖像編碼裝置與上述圖像解碼裝置進行組合。例如，圖像編碼解碼裝置可具備上述圖像編碼裝置與上述圖像解碼裝置。

並且，在上述實施形態中，各構成要素可由專用的硬體所構成，或可藉由執行適於各構成要素的軟體程式來實現。各構成要素可藉由CPU或處理器等程式執行部讀取並執行紀錄於硬碟或半導體記憶體等記錄媒體的軟體程式而來實現。在此，實現上述實施形態之圖像編碼裝置或圖像解碼裝置等的軟體，係如以下的程式。

亦即，該程式係使電腦執行如下之圖像編碼方法：該圖像編碼方法係將構成圖像之複數圖片所含的複數區塊編碼者，包含有：追加步驟，對於是前述複數區塊所含之1個以上區塊的1個以上對應區塊，各別判定是否將對應區塊之移動向量追加於列表，當判定為將前述對應區塊之移動向量追加於前述列表時，將前述對應區塊之移動向量追加於前述列表；選擇步驟，從前述列表選擇移動向量作為預測移動向量；及編碼步驟，使用現行區塊之移動向量，將前述現行區塊編碼，並將前述現行區塊之移動向量與前述選擇步驟所選擇之前述預測移動向量的差分編碼，又，前述現行區塊係前述複數區塊所含之區塊、且係與前述1個以上對應區塊不同之區塊，在前述追加步驟中，當包含前述對應區塊之對應圖片、與前述對應區塊之編碼中使用前述對應區塊之移動向量而被參考的對應參考圖片在時間上一致時，或者，當包含前述現行區塊之現行圖片、與前述現行區塊之編碼中使用前述現行區塊之移動向量而被參考的現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

又，該程式亦可使電腦執行如下之圖像解碼方法，該圖像解碼方法係將構成圖像之複數圖片所含的複數區塊解碼者，包含有：追加步驟，對於是前述複數區塊所含之1個以上區塊的1個以上對應區塊，各別判定是否將對應區塊之移動向量追加於列表，當判定為將前述對應區塊之移動向量追加於前述列表時，將前述對應區塊之移動向量追加於前述列表；選擇步驟，從前述列表選擇移動向量作為預測移動向量；及解碼步驟，將現行區塊之移動向量、與前述選擇步驟所選擇之前述預測移動向量的差分進行解碼，將所解碼之前述差分、與前述選擇步驟所選擇之前述預測移動向量進行加算，藉此取得前述現行區塊之移動向量，使用所取得之前述移動向量，將前述現行區塊解碼，又，前述現行區塊係前述複數區塊所含之區塊、且係與前述1個以上對應區塊不同之區塊，在前述追加步驟中，當包含前述對應區塊之對應圖片、與前述對應區塊之解碼中使用前述對應區塊之移動向量而被參考之對應參考圖片在時間上一致時，或者，當包含前述現行區塊之現行圖片、與前述現行區塊之解碼中使用前述現行區塊之移動向量而被參考之現行參考圖片在時間上一致時，判定為不將前述對應區塊之移動向量追加於前述列表。

以上，根據實施形態說明了本發明之一個或複數態樣之圖像編碼裝置及圖像解碼裝置，但本發明並不限定於實施形態。只要不脫離本發明之旨趣，熟悉此項技藝者對於實施形態施予所思及之變形而得之形態、以及任意組合實施形態中之構成要素而構築的其他形態亦包含於本發明之一或複數態樣。

例如，特定之處理部所執行的處理可由別的處理部來執行。又，可改變執行處理的順序，並行複數之處理而來執行。

又，本技術的思想不僅可由圖像編碼裝置及圖像解碼裝置來實現，亦可實現為將構成圖像編碼裝置及圖像解碼裝置之處理手段作為步驟的方法。並且，本技術的思想可將該等方法所含的步驟，實現為使電腦執行的程式。此外，本技術的思想可實現為記錄有該程式之CD-ROM等電腦可讀取的記錄媒體。

又，圖像編碼裝置及圖像解碼裝置所含的複數構成要素，可作為積體電路之LSI(Large Scale Integration：大型積體電路)來實現。該等構成要素可個別地1晶片化，亦可包含一部分或全部地1晶片化。在此，係為LSI，但根據集積度的不同，有時也稱為IC(Integrated Circuit：積體電路)、系統LSI、超級LSI或超大型LSI。

又，積體電路化的方法不限於LSI，亦可由專用電路或泛用處理器來實現。也可利用可程式化的FPGA(Field Programmable Gate Array)、或可將LSI內部之電路單元(cell)連接及設定再構成的可重組態處理器。

更進一步，若藉由半導體技術之進歩或衍生的其他技術，可代替LSI的積體電路化技術登場，則當然可使用該技術，進行圖像編碼裝置及圖像解碼裝置所含之構成要素的積體電路化。

(實施形態2)

藉由將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記憶於記憶媒體，可在獨立的電腦系統中簡單地實施上述各實施形態所示之處理。記憶媒體為磁碟、光碟、光磁碟、IC卡、半導體記憶體等，可記錄程式者即可。

另外，在此，說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例、及使用其之系統。該系統之特徵在於：具有由使用了圖像編碼方法的圖像編碼裝置、及使用了圖像解碼方法的圖像解碼裝置所構成之圖像編碼解碼裝置。關於系統中的其他構成，可因應情況而適當變更。

圖27係顯示實現內容傳送服務之內容供給系統ex100 全體構成的圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內分別設置作為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101，透過網際網路服務提供者ex102、電話線路網ex104及基地台ex106至ex110，而連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話ex114、遊戲機ex115等各機器。

但是，內容供給系統ex100不限於如圖27之構成，亦可組合任何要素而連接。又，亦可不透過作為固定無線台之基地台ex106至ex110，將各機器直接連接於電話線路網ex104。又，各機器亦可經由近距離無線等而直接相互連接。

相機ex113係數位攝影機(digital video camera)等之可進行動態圖像攝影之機器，相機ex116係數位相機等之可進行靜態圖像攝影、動態圖像攝影之機器。又，行動電話ex114係指GSM(登錄商標：Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管是哪一種皆可。

在內容供給系統ex100中，相機ex113等通過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，可進行即時傳送等。在即時傳送上，對於用戶使用相機ex113攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態之說明，進行編碼處理(即，作為本發明一態樣之圖像編碼裝置而展現功能)，傳送至串流伺服器ex103。另一方面，串流伺服器ex103係對於有要求之客戶，串流傳送所傳送之內容資料。客戶係指可將業經上述編碼處理之資料解碼的電腦ex111、PDAex112、相機ex113、行動電話ex114、遊戲機ex115等。在接收了所傳送之資料的各機器上，將所接收之資料進行解碼處理而再生(即，作為本發明一態樣之圖像解碼裝置而展現功能)。

此外，所攝影之資料之編碼處理可以相機ex113進行，亦可以進行資料之傳送處理的串流伺服器ex103來進行，亦可相互分擔進行。同樣地傳送之資料之解碼處理可在客戶端進行，亦可在串流伺服器ex103進行，也可相互分擔進行。又，不限於相機ex113，亦可透過電腦ex111而將以相機ex116所攝影之靜態圖像及/或動態圖像資料傳送至串流伺服器ex103。此時之編碼處理可由相機ex116、電腦ex111、串流伺服器ex103之任一者進行，亦可相互分擔進行。

又，該等編碼、解碼處理一般是在電腦ex111或具有各機器之LSIex500進行處理。LSIex500可為單一晶片，亦可為由複數晶片構成之構成者。此外，動態圖像編碼、解碼用之軟體亦可內建於電腦ex111等可讀取之任一種記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體來進行編碼、解碼處理。進而，在行動電話ex114為附有相機時，亦可傳送以該相機所取得之動態圖像資料。此時之動態圖像資料為藉由行動電話ex114所具有之LSIex500進行編碼處理之資料。

又，串流伺服器ex103係複數之伺服器或複數之電腦，亦可為將資料分散處理或記錄而傳送者。

如以上，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可即時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人廣播。

又，不限於內容供給系統ex100之例，如圖28所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料係指藉由上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉由本發明一態樣之圖像編碼裝置編碼之資料)。接收該資料之廣播衛星ex202係發送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明一態樣之圖像解碼裝置而展現功能)。

又，將記錄在DVD、BD等之記錄媒體ex215之多工資料讀取並解碼，或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218中，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉由記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於電纜線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示。此時，亦可在電視機內安裝動態圖像解碼裝置，而非機上盒。

圖29係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出圖像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變者；及多工/解多工部ex303，係將具有已解調之多工資料解多工成影像資料、聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料多工者。

又，電視機ex300包含有：訊號處理部ex306，係具有各將聲音資料、影像資料解碼或將各資訊編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明一態樣之圖像編碼裝置或圖像解碼裝置而發揮功能)者；以及輸出部ex309，係具有將已解碼之聲音訊號輸出之揚聲器ex307、顯示已解碼之影像訊號之顯示器等之顯示部ex308者。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。此外，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。另外，記錄媒體ex216是可藉由所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。

首先，針對電視機ex300將藉由天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/解多工部ex303將調變/解調部ex302所解調之多工資料解多工。進而，電視機ex300係於聲音訊號處理部ex304將所解多工之聲音資料解碼，且將所解多工之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法予以解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309向外部輸出。在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將該等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，可不從廣播等，亦可從磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。接著，針對電視機ex300將聲音訊號或影像訊號編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220 等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法將影像訊號進行編碼。已編碼之聲音訊號、影像訊號係於多工/解多工部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將該等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有複數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/解多工部ex303之間等，亦可將資料儲存在緩衝器而作為避免系統的溢位(overflow)、下溢(underflow)之緩衝件。

又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但亦可為不能進行其等處理，而只能做上述接收、解碼處理、外部輸出之構成。

又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或寫入多工資料時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。

以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖30。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、 ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點而寫入資訊，檢測來自記錄媒體ex215之記錄面的反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將藉由內建在光學磁頭ex401之光學探測器對來自記錄面之反射光進行電檢測後的再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將用以記錄在記錄媒體ex215之資訊及由記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係使記錄媒體ex215旋轉。伺服器控制部ex406係一面控制光碟馬達ex405之旋轉驅動，一面將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的生成及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部所構成，執行讀出寫入之程式，而執行其等之處理。

在以上的說明中，光學磁頭ex401係以照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄的構成。

圖31顯示了為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以特定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以特定記錄區塊。又，記錄媒體ex215含有資料記錄區ex233、內周區ex232、及外周區ex234。為了記錄用戶資料所用之區域為資料記錄區ex233，配置在資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此之記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工的多工資料之讀寫。

在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。

又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車輛導航系統ex211等之顯示裝置將動畫再生。此外，車輛導航系統ex211之構成可考慮例如圖29所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話ex114等實現。

圖32A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話ex114之圖。行動電話ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影影像、靜態圖像之相機部ex365、及顯示使以相機部ex365所攝影之圖像、天線ex350所接收之影像解碼之資料的液晶顯示器等之顯示部ex358。行動電話ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之麥克風等的聲音輸入部ex356、及保存所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料的記憶體部ex367、或同樣地在與作為保存資料之記錄媒體間之介面部的插槽(slot)部ex364。

進而，針對行動電話ex114之構成例，使用圖32B予以說明。行動電話ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。

電源電路部ex361係當藉由用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對各部供給電力，藉此將行動電話ex114起動為可作動之狀態。

行動電話ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜逆擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，由聲音輸出部ex357予以輸出。

進而，在於資料通訊模式時傳送電子郵件之情況下，藉由操作本體部之操作鍵部ex366等所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。

在於資料通訊模式時傳送影像、靜態圖像或影像與聲音之情況下，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明一態樣之圖像編碼裝置而發揮功能)，將業經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號編碼，將業已編碼之聲音資料送出至多工/解多工部ex353。

多工/解多工部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料多工，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。

為了在資料通訊模式時在接收連到網頁等之動態圖像檔案之資料的情況下、或在接收附有影像及/或聲音之電子郵件的情況下，將經由天線ex350而所接收之多工資料解碼，多工/解多工部ex353將多工資料解多工，藉此分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法進行解碼，來將影像訊號解碼(即，作為本發明一態樣之圖像解碼裝置而發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網頁之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號解碼，且由聲音輸出部ex357輸出聲音。

又，上述行動電話ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器、系統，藉此，可得到在上述各實施形態所說明之效果。

又，本發明不限於上述實施形態者，可在不脫離本發明範圍下進行各種變形或修正。

(實施形態3)

亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與以MPEG-2、MPEG4-AVC、VC-1等相異之規格為準之動態圖像編碼方法或裝置，藉此生成影像資料。

在此，在生成有以各為不同之規格為準之複數影像資料的情況下，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是以哪一規格為準，因此產生了不能選擇適當的解碼方法之課題。

為了解決該課題，使將聲音資料等多工至影像資料之多工資料為含有顯示影像資料是以哪一規格為準者之識別資訊的構成。如下說明含有藉由以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料的多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。

圖33係顯示多工資料之構成的圖。如圖33所示，多工資料係將視訊流、聲訊流、表達圖形流(PG)、交互圖形流之中將1個以上多工而所得到者。視訊流表示電影之主影像及副影像、聲訊流(IG)表示電影之主聲道部分及與該主聲音混合之副聲道部分，表達圖形流表示電影之字幕。在此，主影像係指顯示在畫面之通常影像，副影像係指以小畫面顯示在主影像中之影像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或線性PCM等方式所編碼者。

多工資料所含之各串流係藉PID所識別。例如在於電影之影像所利用之視訊流劃分有0×1011，音訊流劃分有0×1100至0×111F，表達圖形流劃分有0×1200至0×121F，交互圖形流劃分有0×1400至0×141F，在利用於電影之副影像的視訊流劃分有0×1B00至0×1B1F，與主聲音混合之副聲音所利用的音訊流劃分有0×1A00至0×1A1F。

圖34係顯示多工資料是如何被多工的示意圖。首先，將由複數視訊框所構成之視訊流ex235、由複數聲訊框所構成之聲訊流ex238分別變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及交互圖形流ex244之資料分別變換成PES封包列ex242及ex245，更進行變換成TS封包ex243及ex246。多工資料ex247係構成為將該等TS封包多工成1條串流。

圖35係進一步詳細顯示在PES封包列中如何儲存視訊流。圖35中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖35之箭號yy1、yy2、yy3、yy4所示，視訊流中之複數視訊表達單元(Video Presentation Unit)的I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有作為圖片之顯示時刻的表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻的解碼時間戳記(DTS,Decoding Time-Stamp)。

圖36係顯示最終寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM的情況下，TS封包被賦予有4位元組之TP_Extra_Header，構成192位元組之原始封包，寫入至多工資料。TP_Extra_Header記載有ATS(Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包往解碼器之PID濾波器的轉送開始時間。多工資料中，如圖36下段所示，排列有原始封包，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN，source packet number)。

又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。 PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像、聲音、字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料複製之複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS‧DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至解碼器之ATS對應的STC時間之資訊。

圖37係詳細說明PMT之資料構造之圖。PMT之前頭配置了記有該PMT所含之資料的長度等之PMT標頭。在其後配置有複數與多工資料有關之描述符。上述複製控制資訊等係記載為描述符。描述符之後配置有複數與多工資料所含之各串流有關之串流資訊。串流資訊係為了識別串流之壓縮編解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符之數有存在於多工資料之串流數這麼多。

在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起被記錄。

多工資料資訊檔案，如圖38所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。

多工資料資訊如圖38所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統目標解碼器之PID濾波器的最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於多工資料之末端之視訊框之PTS加上一框量之再生間隔者。

串流屬性資訊如圖39所示，關於多工資料所含之各串流之屬性資訊係依每PID登錄。屬性資訊依每一視訊流、聲訊流、表達圖形流、交互圖形流各具有不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之各個圖片資料之圖像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數為何、是對應何種語言、抽樣頻率有多少等之資訊。其等資訊是利用於播放器再生前之解碼器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流型式或視訊流屬性資訊，顯示藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料者。藉由該構成，可識別藉由以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料與以其他規格為準之影像資料。

又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖40。在步驟exS100中，從多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，在串流型式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成者之時，在步驟exS102中，藉由上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準者時，在步驟exS103中，藉以習知之規格為準之動態圖像解碼方法進行解碼。

如此，藉由在串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼。因此，即使在輸入有以不同的規格為準之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置、或者是動態圖像解碼方法或裝置運用在上述任一機器、系統。

(實施形態4)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖41顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、 ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。

例如在進行編碼處理時，LSIex500係根據包含有CPLex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉由AV I/O ex509，從麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號暫時先儲存在SDRAM等外部之記憶體ex511。根據控制部ex501之控制，所儲存之資料係按處理量或處理速度，適當地分成數次等，而送至訊號處理部ex507，在訊號處理部ex507中，進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理是上述各實施形態所說明之編碼處理。在訊號處理部ex507中，更依情況進行將業已編碼之聲音資料及業已編碼之影像資料多工等之處理，從串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入至記錄媒體ex215。此外，在多工處理時，為了同步，可先將資料暫時儲存在緩衝器ex508。

此外，在上述說明中，說明了記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦可不限於一個，亦可為具有複數緩衝器者。又，LSIex500可為單一晶片，亦可複數晶片化。

又，在上述說明中，控制部ex501係構成為具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。在訊號處理部ex507之內部亦可設置CPU，來更加提昇處理速度。又，以另一例而言，CPUex502亦可為具有訊號處理部ex507或具有訊號處理部ex507之一部例如聲音處理部之構成。在如此形態下，控制部ex501成為具有訊號處理部ex507或具有該一部分之CPUex502之構成。

此外，在此是構成為LSI，但依積體度的不同，有時亦被稱為IC、系統LSI、SUPER LSI、ULTRA LSI。

又，實現積體電路之手法不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。

進而，在藉半導體技術之進步或衍生之其他技術來讓替換成LSI之積體電路化之技術上場時，當然亦可使用該技術來進行功能區塊之積體化。生技的運用等亦存在著可能性。

(實施形態5)

在將藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料進行解碼時，與對以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之影像資料解碼的時候相比，處理量應會增加。因此，在LSIex500，必須設定為比將以習知規格為準之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。但是，若提高驅動頻率，則會產生耗電提高之課題。

為了解決該課題，使電視機ex300、LSIex500等動態圖像解碼裝置為識別影像資料是以何種規格為準者、並因應規格而切換驅動頻率之構成。圖42係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，將驅動頻率設定為較高。並且，對於執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801發出指示，來對影像資料解碼。另一方面，在影像資料為以習知規格為準之影像資料時，與影像資料為藉由以上述各實施形態所示之動態圖像編碼方法或裝置所生成的時候相比，將驅動頻率設定為較低。接著，對於以習知規格為準之解碼處理部ex802發出指示，來將影像資料解碼。

更具體地說，驅動頻率切換部ex803係由圖41之CPUex502與驅動頻率控制部ex512所構成。又，執行上述各實施形態中所示之動態圖像解碼方法之解碼處理部ex801、以及以習知規格為準之解碼處理部ex802係相當於圖41之訊號處理部ex507。CPUex502可識別影像資料是以何種規格為準。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507進行影像資料之解碼。在此，關於影像資料之識別，例如可考慮利用實施形態3所記載之識別資訊。有關於識別資訊，不限於實施形態3所記載者，只要是可識別影像資料是以何種規格為準之資訊即可。例如，在根據識別影像資料是利用在電視者、或者是利用在光碟者等的外部訊號，可識別出影像資料是以何種規格為準者的時候，亦可根據如此之外部訊號進行識別。又，CPUex502中之驅動頻率選擇，可考慮例如根據具有如圖44般之影像資料的規格及驅動頻率之對應關係之查找表而進行。先將查找表儲存在緩衝器ex508或LSI之內部記憶體，CPUex502可藉由參考該查找表，而選擇驅動頻率。

圖43顯示了實施本實施形態之方法的步驟。首先，在步驟exS200中，於訊號處理部ex507，從多工資料取得識別資訊。接著，在步驟exS201中，於CPUex502，根據識別資訊，識別影像資料是否為藉由上述各實施形態所示之編碼方法或裝置所生成者。在影像資料為藉由上述各實施形態所示之編碼方法或裝置所生成者時，在步驟exS202中，CPUex502係將驅動頻率設定為較高之訊號送至驅動頻率控制部ex512。然後，在驅動頻率控制部ex512，設定為高驅動頻率。另一方面，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，在步驟exS203，CPUex502係將驅動頻率設定為較低之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512，和影像資料為藉由上述各實施形態所示之編碼方法或裝置所生成者之時相比，設定成較低的驅動頻率。

進而，與驅動頻率之切換連動而將提供給含有LSIex500或LSIex500之裝置的電壓變更，藉此可更加提高省電效果。例如，將驅動頻率設定為較低時，隨此，與將驅動頻率提高設定的時候相比，可將提供至含有LSIex500 或LSIex500之裝置的電壓設定為較低。

又，驅動頻率之設定方法係於欲解碼時之處理量大時，將驅動頻率設定為較高，而於欲解碼時之處理量小時，則將驅動頻率設定為較低即可，並不限於上述之設定方法。例如，將以MPEG4-AVC規格為準之影像資料進行解碼之處理量，比藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料進行解碼之處理量大時，可考慮與上述情形相反地執行驅動頻率之設定。

進而，驅動頻率的設定方法不限於將驅動頻率降低之構成。例如在識別資訊係顯示為藉由以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮將供應至含有LSIex500或LSIex500之裝置的電壓設定為較高，在顯示為以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，可考慮將提供至含有LSIex500或LSIex500之裝置的電壓設定為較低。又，以另一例來說，識別資訊係顯示藉由以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮不使CPUex502之驅動停止，在顯示以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，因為處理能充裕進行，因此可考慮暫時將CPUex502之驅動停止。即使在識別資訊顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，只要處理能充裕進行時，亦可考慮暫時停止CPUex502之驅動。此時，與顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料的時候相比，可考慮將停止時間設定為較短。

如此，因應影像資料所依據之規格來切換驅動頻率，可達到省電的效果。又，在使用電池以驅動含有LSIex500或LSIex500之裝置時，隨著達到省電效果，可延長電池的壽命。

(實施形態6)

在電視機或行動電話等上述之機器、系統中，有時會有輸入不同規格為準之複數影像資料之狀況。像這樣為了做到能在輸入以不同規格為準之複數影像資料時也能進行解碼，LSIex500之訊號處理部ex507必須能對應於複數規格。惟，如果分別使用對應於各規格之訊號處理部ex507時，將使LSIex500之電路規模變得龐大，又，會產生成本增加之課題。

為了解決該課題，採用將用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部及以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之解碼處理部的局部共有之構成。將該構成例顯示於圖45A之ex900。例如，以上述各實施形態所示之動態圖像解碼方法與以MPEG4-AVC規格為準之動畫解碼方法係於熵編碼、逆量化、解塊(deblocking)濾波器、移動補償等之處理上有處理內容部分共通者。可考慮採用一種針對共通之處理內容，共有對應於MPEG4-AVC規格之解碼處理部ex902，而針對不對應於MPEG4-AVC規格之本發明一態樣特有之其他處理內容，則可考慮使用專用的解碼處理部ex901之構成。特別是本發明之一態樣於移動補償具有特徵，例如，關於移動補償，使用專用的解碼處理部ex901，關於其以外之熵解碼、解塊濾波器、逆量化之任一者或全部的處理，可將解碼處理部共有。有關於解碼處理部之共有化，是針對共通的處理內容共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，對於MPEG4-AVC規格所特有之處理內容，亦可為使用專用的解碼處理部之構成。

又，將使部分處理共有之另一例顯示在圖45B之ex1000。在該例中，係構成為對應於本發明一態樣特有之處理內容之專用的解碼處理部ex1001、對應於其他習知規格特有之處理內容之專用的解碼處理部ex1002、對應於本發明一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通之處理內容之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為在本發明之一態樣、或者其他習知規格所特有之處理內容特殊化者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。

如此，關於本發明一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法共通的處理內容，藉由使解碼處理部為共有，可縮小LSI的電路規模，並且，可減低成本。

【產業上之可利用性】

本發明之圖像編碼方法及圖像解碼方法，例如，可利用於電視接收機、數位錄影機、汽車導航、行動電話、數位相機、或數位攝影機等。

101‧‧‧編碼部

121‧‧‧間預測控制部

124‧‧‧圖片形式決定部

102‧‧‧減算部

103‧‧‧正交變換部

104‧‧‧量化部

105‧‧‧可變長度編碼部

106‧‧‧逆量化部

107‧‧‧逆正交變換部

108‧‧‧加算部

109‧‧‧區塊記憶體

110‧‧‧內預測部

111‧‧‧訊框記憶體

112‧‧‧間預測部

113‧‧‧開關

121‧‧‧間預測控制部

131‧‧‧追加部

132‧‧‧選擇部

201‧‧‧解碼部

205‧‧‧可變長度解碼部

206‧‧‧逆量化部

207‧‧‧逆正交變換部

208‧‧‧加算部

209‧‧‧區塊記憶體

210‧‧‧內預測部

211‧‧‧訊框記憶體

212‧‧‧間預測部

213‧‧‧開關

221‧‧‧間預測控制部

231‧‧‧追加部

232‧‧‧選擇部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex104‧‧‧電話線路網

ex106~ex110‧‧‧基地台

ex107‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧相機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧電纜線

ex204‧‧‧天線

ex210‧‧‧車輛

ex211‧‧‧車輛導航系統

ex215、ex216‧‧‧記錄媒體

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遙控器

ex230‧‧‧資訊軌道

ex231‧‧‧記錄區塊

ex232‧‧‧內周區

ex233‧‧‧資料記錄區

ex234‧‧‧外周區

ex235‧‧‧視訊流

ex238‧‧‧聲訊流

ex236,ex239,ex242,ex245‧‧‧PES封包列

ex237,ex240,ex243,ex246‧‧‧TS封包

ex241‧‧‧表達圖形流

ex244‧‧‧交互圖形流

ex247‧‧‧多工資料

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/解多工部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/解多工部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機I/F部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧光碟馬達

ex406‧‧‧伺服器控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801,ex802‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex900‧‧‧構成

mvA、mvB、mvD、va1、va2、vb‧‧‧移動向量