[go: up one dir, main page]

TWI581621B - An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus - Google Patents

An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus Download PDF

Info

Publication number
TWI581621B
TWI581621B TW102106693A TW102106693A TWI581621B TW I581621 B TWI581621 B TW I581621B TW 102106693 A TW102106693 A TW 102106693A TW 102106693 A TW102106693 A TW 102106693A TW I581621 B TWI581621 B TW I581621B
Authority
TW
Taiwan
Prior art keywords
reference picture
picture
list
current
image
Prior art date
Application number
TW102106693A
Other languages
English (en)
Other versions
TW201347557A (zh
Inventor
Toshiyasu Sugio
Takahiro Nishi
Youji Shibahara
Kyoko Tanikawa
Hisao Sasai
Toru Matsunobu
Kengo Terada
Original Assignee
Sun Patent Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust filed Critical Sun Patent Trust
Publication of TW201347557A publication Critical patent/TW201347557A/zh
Application granted granted Critical
Publication of TWI581621B publication Critical patent/TWI581621B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 發明領域
本發明係一種有關於將圖片依每一區塊進行編碼的圖像編碼方法。
發明背景
關於將圖片依每一區塊進行編碼的圖像編碼方法之技術，有如非專利文獻1所記載之技術。
【先行技術文獻】 【非專利文獻】
非專利文獻1：ITU-T Recommendation H.264「Advanced video coding for generic audiovisual services」，2010年3月
發明概要
然而，近年來，高精細圖像(4K×2K)的放送及內容配信已在檢討中。因此，期待更高的編碼效率。
是故，本發明提供一種可提升圖像編碼時之編 碼效率的圖像編碼方法。
本發明之一態樣的圖像編碼方法，係將目前圖片依每區塊進行編碼的圖像編碼方法，包含有以下步驟：生成步驟，係將參考圖片索引分配至在前述目前圖片之編碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及編碼步驟，係從前述參考圖片列表，特定出在前述目前圖片所含的目前區塊之編碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊編碼者，又，在前述生成步驟中，當屬於與前述目前圖片所屬之目前視角(view)不同之參考視角的參考圖片，在前述目前圖片之編碼中有被參考的可能性時，將屬於前述參考視角的參考圖片追加於前述參考圖片列表。
另外，該等之包含的或具體的態樣可由系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM等非暫時性的記錄媒體來實現，亦可由系統、裝置、方法、積體電路、電腦程式及記錄媒體的任意組合來實現。
本發明一態樣之圖像編碼方法可提升圖像編碼時的編碼效率。
100‧‧‧圖像編碼裝置
101‧‧‧減算部
102‧‧‧正交變換部
103‧‧‧量化部
104‧‧‧可變長度編碼部
105‧‧‧逆量化部
106‧‧‧逆正交變換部
107‧‧‧加算部
108‧‧‧區塊記憶體
109‧‧‧訊框記憶體
110‧‧‧內預測部
111‧‧‧間預測部
112‧‧‧切換部
113‧‧‧圖片形式決定部
114‧‧‧間預測控制部
115‧‧‧參考圖片列表算出部
116‧‧‧預測動態向量候補算出部
200‧‧‧圖像解碼裝置
204‧‧‧可變長度解碼部
205‧‧‧逆量化部
206‧‧‧逆正交變換部
207‧‧‧加算部
208‧‧‧區塊記憶體
209‧‧‧訊框記憶體
210‧‧‧內預測部
211‧‧‧間預測部
212‧‧‧切換部
214‧‧‧間預測控制部
215‧‧‧參考圖片列表算出部
216‧‧‧預測動態向量候補算出部
300‧‧‧圖像編碼裝置
301‧‧‧生成部
302‧‧‧編碼部
400‧‧‧圖像解碼裝置
401‧‧‧生成部
402‧‧‧解碼部
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex103‧‧‧串流伺服器
ex104‧‧‧電話線路網
ex106~ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧相機
ex114‧‧‧行動電話
ex115‧‧‧遊戲機
ex116‧‧‧相機
ex117‧‧‧麥克風
ex200‧‧‧數位廣播用系統
ex201‧‧‧廣播台
ex202‧‧‧衛星
ex203‧‧‧電纜線
ex204、ex205‧‧‧天線
ex210‧‧‧車輛
ex211‧‧‧車輛導航系統
ex215、ex216‧‧‧記錄媒體
ex217‧‧‧機上盒(STB)
ex218‧‧‧讀取器/記錄器
ex219‧‧‧監視器
ex220‧‧‧遙控器
ex230‧‧‧資訊軌道
ex231‧‧‧記錄區塊
ex232‧‧‧內周區
ex233‧‧‧資料記錄區
ex234‧‧‧外周區
ex235‧‧‧視訊流
ex238‧‧‧聲訊流
ex236、ex239、ex242、ex245‧‧‧PES封包列
ex237、ex240、ex243、ex246‧‧‧TS封包
ex241‧‧‧表達圖形流
ex244‧‧‧交互圖形流
ex247‧‧‧多工資料
ex300‧‧‧電視機
ex301‧‧‧調諧器
ex302‧‧‧調變/解調部
ex303‧‧‧多工/解多工部
ex304‧‧‧聲音訊號處理部
ex305‧‧‧影像訊號處理部
ex306‧‧‧訊號處理部
ex307‧‧‧揚聲器
ex308‧‧‧顯示部
ex309‧‧‧輸出部
ex310‧‧‧控制部
ex311‧‧‧電源電路部
ex312‧‧‧操作輸入部
ex313‧‧‧橋接器
ex314‧‧‧插槽部
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧介面部
ex318、ex319、ex320、ex321‧‧‧緩衝器
ex350‧‧‧天線
ex351‧‧‧傳送/接收部
ex352‧‧‧調變/解調部
ex353‧‧‧多工/解多工部
ex354‧‧‧聲音訊號處理部
ex355‧‧‧影像訊號處理部
ex356‧‧‧聲音輸入部
ex357‧‧‧聲音輸出部
ex358‧‧‧顯示部
ex359‧‧‧LCD控制部
ex360‧‧‧主控制部
ex361‧‧‧電源電路部
ex362‧‧‧操作輸入控制部
ex363‧‧‧相機I/F部
ex364‧‧‧插槽部
ex365‧‧‧相機部
ex366‧‧‧操作鍵部
ex367‧‧‧記憶體部
ex370‧‧‧匯流排
ex400‧‧‧資訊再生/記錄部
ex401‧‧‧光學磁頭
ex402‧‧‧調變記錄部
ex403‧‧‧再生解調部
ex404‧‧‧緩衝器
ex405‧‧‧光碟馬達
ex406‧‧‧伺服器控制部
ex407‧‧‧系統控制部
ex500‧‧‧LSI
ex501‧‧‧控制部
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex505‧‧‧電源電路部
ex506‧‧‧串流I/O
ex507‧‧‧訊號處理部
ex508‧‧‧緩衝器
ex509‧‧‧AV I/O
ex510‧‧‧匯流排
ex511‧‧‧記憶體
ex512‧‧‧驅動頻率控制部
ex801、ex802‧‧‧解碼處理部
ex803‧‧‧驅動頻率切換部
ex900‧‧‧構成
ex901、ex902、ex1001~ex1003‧‧‧解碼處理部
S101-S105、S201-S207、S301-S306、S401-S406、S501-S506、S601-S608、S701-S708、S801-S808、S901-S905、S1001-S1002、S1101-S1102、exS100-exS103、exS200-exS203‧‧‧步驟
圖1係顯示參考圖片列表之例的圖。
圖2係顯示實施形態1之圖像編碼裝置之構成的方塊圖。
圖3係顯示實施形態1之圖像編碼裝置之動作的流程圖。
圖4係顯示實施形態1之鄰接區塊之例的圖。
圖5係顯示實施形態1之預測動態向量候補的圖。
圖6係顯示實施形態1之預測動態向量索引之決定處理的流程圖。
圖7係顯示實施形態1第1例之參考圖片列表之算出處理的流程圖。
圖8係顯示實施形態1第1例之第1預測方向之參考圖片列表之算出處理的流程圖。
圖9係顯示實施形態1第1例之第2預測方向之參考圖片列表之算出處理的流程圖。
圖10係顯示實施形態1第1例之參考圖片的概念圖。
圖11A係顯示實施形態1之序列參數組之語法的圖。
圖11B係顯示實施形態1之片段標頭之語法的圖。
圖11C係顯示實施形態1之用以指定短期圖片的語法的圖。
圖11D係顯示實施形態1之用以修正參考圖片列表的語法的圖。
圖12A係顯示實施形態1之對第1預測方向之暫時性的參考圖片列表之追加處理的圖。
圖12B係顯示實施形態1之對第1預測方向之最終的參考圖片列表之追加處理的圖。
圖12C係顯示實施形態1之對第2預測方向之暫時性的參考圖片列表之追加處理的圖。
圖12D係顯示實施形態1之對第2預測方向之最終的參考圖片列表之追加處理的圖。
圖13係顯示實施形態1第2例之參考圖片列表之算出處理的流程圖。
圖14係顯示實施形態1第2例之第1預測方向之參考圖片列表之算出處理的流程圖。
圖15係顯示實施形態1第2例之第2預測方向之參考圖片列表之算出處理的流程圖。
圖16係顯示實施形態1第2例之參考圖片的概念圖。
圖17係顯示實施形態2之圖像解碼裝置之構成的方塊圖。
圖18係顯示實施形態2之圖像解碼裝置之動作的流程圖。
圖19係顯示實施形態3之圖像編碼裝置之構成的方塊圖。
圖20係顯示實施形態3之圖像編碼裝置之動作的流程圖。
圖21係顯示實施形態3之圖像解碼裝置之構成的方塊圖。
圖22係顯示實施形態3之圖像解碼裝置之動作的流程圖。
圖23係實現內容配送服務之內容供給系統的全體構成圖。
圖24係數位放送用系統的全體構成圖。
圖25係顯示電視之構成例的方塊圖。
圖26係顯示對記錄媒體(光碟)寫入資訊之資訊再生/記錄部之構成例的方塊圖。
圖27係顯示記錄媒體(光碟)之構造例的圖。
圖28A係顯示行動電話之一例的圖。
圖28B係顯示行動電話之構成例的方塊圖。
圖29係顯示多工資料之構成的圖。
圖30係模式性地顯示各串流在多工資料中是如何被多工的圖。
圖31係更詳細地顯示視訊流是如何被儲存於PES封包列的圖。
圖32係顯示多工資料中之TS封包與資源封包之構造的圖。
圖33係顯示PMT之資料構成的圖。
圖34係顯示多工資料資訊之內部構成的圖。
圖35係顯示串流屬性資訊之內部構成的圖。
圖36係顯示識別影像資料之步驟的圖。
圖37係顯示可實現各實施形態之動態圖像編碼方法及動態圖像解碼方法的積體電路之構成例的方塊圖。
圖38係顯示切換驅動頻率之構成的圖。
圖39係顯示識別影像資料而切換驅動頻率之步驟的圖。
圖40係顯示影像資料之規格與驅動頻率相對應之查找表之一例的圖。
圖41A係顯示將信號處理部之模組共有化之構成之一例的圖。
圖41B係顯示將信號處理部之模組共有化之構成之其他例的圖。
用以實施發明之形態 (成為本發明基礎之知識)
本發明人發現了關於將圖片依每區塊進行編碼 的圖像編碼方法之課題。以下，進行具體說明。
在圖像編碼處理中，一般而言，利用圖像所具有之空間方向及時間方向的冗餘性來進行資訊量的壓縮。利用空間方向之冗餘性的方法，係使用往頻率區域的變換，而利用時間方向之冗餘性的方法，則使用圖片間預測(以下，稱為間預測)編碼處理。
圖像編碼裝置在以間預測編碼處理將編碼對象圖片(目前圖片)編碼時，將相對於編碼對象圖片在顯示時間順序上位於前方或後方的編碼完畢之圖片，使用為參考圖片。並且，圖像編碼裝置藉由對於該參考圖片的編碼對象圖片之動態檢測，導出動態向量。
並且，圖像編碼裝置取得根據動態向量進行動態補償而得到的預測圖像資料、與編碼對象圖片之圖像資料間的差分，藉此來去除時間方向的冗餘性。
又，圖像編碼裝置在動態檢測中，算出編碼對象圖片內之編碼對象區塊(目前區塊)、與參考圖片內之區塊間的差分值，將差分值最小的參考圖片內之區塊特定為參考區塊。然後，圖像編碼裝置使用編碼對象區塊、及參考區塊，檢測動態向量。
稱為H.264的圖像編碼方式已被標準化(非專利文獻1)。在該圖像編碼方式中，為了壓縮資訊量，使用I圖片、P圖片及B圖片等3種圖片形式。
I圖片係不進行間預測編碼處理的圖片，亦即，係進行圖片內預測(以下，稱為內預測)編碼處理的圖片。P 圖片係以顯示時間順序，參考位於編碼對象圖片之前方或後方已編碼完畢之1個圖片而進行間預測編碼的圖片。B圖片係以顯示時間順序，參考位於編碼對象圖片之前方或後方已編碼完畢之2個圖片而進行間預測編碼的圖片。
圖像編碼裝置在間預測編碼中，生成用以特定參考圖片的參考圖片列表。參考圖片列表係將參考圖片索引分配至在間預測被參考之編碼完畢參考圖片的列表。例如，圖像編碼裝置係參考2個圖片來將B圖片編碼，故保持2個參考圖片列表(L0、L1)。
圖1顯示B圖片中之參考圖片列表之例。圖1中之第1參考圖片列表(L0)，係雙方向預測中第1預測方向之參考圖片列表之例。於「0」之參考圖片索引，分配有顯示順序為2的參考圖片R3。於「1」之參考圖片索引，分配有顯示順序為1的參考圖片R2。於「2」之參考圖片索引，分配有顯示順序為0的參考圖片R1。
亦即，對於編碼對象圖片，依顯示順序，時間上離編碼對象圖片越近，分配有越小的參考圖片索引。
另一方面，第2參考圖片列表(L1)係雙方向預測中第2預測方向之參考圖片列表之例。於「0」之參考圖片索引，分配有顯示順序為1的參考圖片R2。於「1」之參考圖片索引，分配有顯示順序為2的參考圖片R3。於「2」之參考圖片索引，分配有顯示順序為0的參考圖片R1。
如此，在對應於2個預測方向的2個參考圖片列表中，亦可對於1個參考圖片分配不同的參考圖片索引(圖 1之參考圖片R2及R3)。又，在2個參考圖片列表中，亦可對於1個參考圖片分配相同的參考圖片索引(圖1之參考圖片R1)。關於該參考圖片列表，現在已檢討了新的算出方法。
然而，在現在已檢討之算出方法，並未考慮參考屬於其他視角或其他層(layer)的圖片來將編碼對象圖片編碼。例如，MVC(Multiview Video Coding：多視角影像編碼)之圖像編碼裝置有時會參考基礎視角的圖片，來將非基礎視角的圖片。在現在已檢討之算出方法中，並未考慮如上述之編碼。
因此，本發明一態樣之圖像編碼方法，係將目前圖片依每區塊進行編碼的圖像編碼方法，包含有以下步驟：生成步驟，係將參考圖片索引分配至在前述目前圖片之編碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及編碼步驟，係從前述參考圖片列表，特定出在前述目前圖片所含的目前區塊之編碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊編碼者，又，在前述生成步驟中，當屬於與前述目前圖片所屬之目前視角(view)不同之參考視角的參考圖片，在前述目前圖片之編碼中有被參考的可能性時，將屬於前述參考視角的參考圖片追加於前述參考圖片列表。
藉此，當視角間預測為可能時，於參考圖片列表追加用以進行視角間預測的參考圖片。因此，可從參考圖片列表，選擇更適當的參考圖片。所以，可提升編碼效率。
例如，亦可在前述生成步驟中，使用參數來生成前述參考圖片列表，而在前述編碼步驟中，更將使用於生成前述參考圖片列表的前述參數編碼。
藉此，在編碼處理與解碼處理兩方，可使用相同的參數，來生成相同的參考圖片列表。因此，參考圖片列表可進行柔軟的變更。所以，可進行適當的編碼。
又，例如，亦可在前述生成步驟中，更進一步，當屬於前述參考視角的參考圖片在前述目前圖片之編碼中有被參考的可能性時，於第1數、即屬於前述目前視角的可參考之參考圖片的數，加上第2數、即屬於前述參考視角的可參考之參考圖片的數，藉此，來算出第3數、即在前述目前圖片之編碼中可參考之參考圖片的數，根據前述第3數，決定修正列表之值的範圍，該修正列表係用以將已對前述參考圖片列表中所含之前述參考圖片分配好的前述參考圖片索引進行修正者。
藉此，可以在與可參考的參考圖片之數相對應的適當範圍內，進行參考圖片索引的修正。
又，例如，亦可在前述生成步驟中，更根據前述目前視角是否為非基礎視角，來判定屬於前述參考視角的參考圖片在前述目前圖片之編碼中是否具有被參考的可能性。
藉此，可適當地判定與包含編碼對象圖片之視角不同的視角中所含的參考圖片是否為可參考。
又，例如，亦可在前述生成步驟中，更根據依 編碼順序對前述目前視角所分配好之視角序索引(view order index)，來判定前述目前視角是否為非基礎視角。
藉此，可適當地判定包含編碼對象圖片的視角是否為非基礎視角。
又，本發明一態樣之圖像解碼方法，係將目前圖片依每區塊進行解碼的圖像解碼方法，包含有以下步驟：生成步驟，係將參考圖片索引分配至在前述目前圖片之解碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及解碼步驟，係從前述參考圖片列表，特定出在前述目前圖片所含的目前區塊之解碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊解碼者，又，在前述生成步驟中，當屬於與前述目前圖片所屬之目前視角不同之參考視角的參考圖片，在前述目前圖片之解碼中有被參考的可能性時，將屬於前述參考視角的參考圖片追加於前述參考圖片列表。
藉此，當視角間預測為可能時，於參考圖片列表追加用以進行視角間預測的參考圖片。因此，可從參考圖片列表，選擇更適當的參考圖片。因此，可進行與高效率之編碼對應的解碼。
例如，亦可在前述解碼步驟中，更將使用於生成前述參考圖片列表的參數解碼，而在前述生成步驟中，使用經解碼之前述參數，來生成前述參考圖片列表。
藉此，在編碼處理與解碼處理兩方，可使用相 同的參數，生成相同的參考圖片列表。因此，參考圖片列表可進行柔軟的變更。所以，可進行適當的解碼。
又，例如，亦可在前述生成步驟中，更進一步，當屬於前述參考視角的參考圖片在前述目前圖片之解碼中有被參考的可能性時，於第1數、即屬於前述目前視角的可參考之參考圖片的數，加上第2數、即屬於前述參考視角的可參考之參考圖片的數，藉此，來算出第3數、即在前述目前圖片之解碼中可參考之參考圖片的數，根據前述第3數，決定修正列表之值的範圍，該修正列表係用以將已對前述參考圖片列表中所含之前述參考圖片分配好的前述參考圖片索引進行修正者。
藉此，可以在與可參考的參考圖片之數相對應的適當的範圍內，進行參考圖片索引的修正。
又，例如，亦可在前述生成步驟中，更根據前述目前視角是否為非基礎視角，來判定屬於前述參考視角的參考圖片在前述目前圖片之解碼中是否具有被參考的可能性。
藉此，可適當地判定與包含解碼對象圖片之視角不同的視角中所含的參考圖片是否為可參考。
又，例如，亦可在前述生成步驟中，更根據依解碼順序對前述目前視角所分配好之視角序索引，來判定前述目前視角是否為非基礎視角。
藉此，可適當地判定包含解碼對象圖片的視角是否為非基礎視角。
另外，該等之包括性或具體的態樣可藉由系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可由系統、裝置、積體電路、電腦程式及記錄媒體之任意組合來實現。
以下，參考圖式說明本發明之實施形態。另外，以下所說明之實施形態，皆顯示包括性的或具體性之例。以下之實施形態所示之數值、形狀、材料、構成要素、構成要素之配置及接續形態、步驟、步驟之順序等，皆為一例，並非限定申請專利範圍之主旨。又，在以下之實施形態中的構成要素中，關於顯示最上位概念的獨立請求項中未記載的構成要素，係作為任意之構成要素來進行說明。
(實施形態1)
圖2係顯示本實施形態之圖像編碼裝置之構成的方塊圖。如圖2，圖像編碼裝置100具備有：減算部101、正交變換部102、量化部103、逆量化部105、逆正交變換部106、加算部107、區塊記憶體108、訊框記憶體109、內預測部110、間預測部111、切換部112、間預測控制部114、參考圖片列表算出部115、圖片形式決定部113、預測動態向量候補算出部116、及可變長度編碼部104。
正交變換部102對於輸入圖像，進行從像素區域至頻率區域的變換。量化部103對經變換成頻率區域的輸入圖像，進行量化處理。逆量化部105對於藉由量化部103進行了量化處理的輸入圖像，進行逆量化處理。逆正交變 換部106對於經逆量化處理之輸入圖像，進行從頻率區域至像素區域的變換。
區塊記憶體108將輸入圖像以區塊單位進行保存，訊框記憶體109則將輸入圖像以訊框單位進行保存。圖片形式決定部113決定將以I圖片、B圖片及P圖片中何者之圖片形式來將輸入圖像編碼，生成圖片形式資訊。
內預測部110使用保存在區塊記憶體108的區塊單位之輸入圖像，將編碼對象區塊藉由內預測進行編碼，生成預測圖像資料。間預測部111使用保存在訊框記憶體109的訊框單位之輸入圖像、及藉由動態檢測等所導出的動態向量，將編碼對象區塊藉由間預測進行編碼，生成預測圖像資料。
預測動態向量候補算出部116導出預測動態向量指定模式之預測動態向量候補。預測動態向量候補係使用編碼對象區塊之鄰接區塊、及既已編碼完畢之圖片中所含的co-located區塊之動態向量等colPic資訊而導出。預測動態向量指定模式之預測動態向量候補，係使用於動態向量編碼的預測動態向量之候補。並且，預測動態向量候補算出部116算出預測動態向量候補數。
又，預測動態向量候補算出部116對於所導出的預測動態向量候補，分配預測動態向量索引之值。然後，預測動態向量候補算出部116將預測動態向量候補、及預測動態向量索引，送至間預測控制部114。又，預測動態向量候補算出部116將已算出之預測動態向量候補數發送 至可變長度編碼部104。
間預測控制部114與間預測部111一起，使用藉由動態檢測而導出的動態向量，生成間預測圖像。然後，間預測控制部114與間預測部111一起，使用間預測圖像，進行間預測編碼。
又，間預測控制部114以後述的方法，選擇使用於間預測編碼的最適合進行動態向量編碼的預測動態向量候補。然後，間預測控制部114將所選擇的與預測動態向量候補對應之預測動態向量索引、及預測的誤差資訊，送至可變長度編碼部104。
參考圖片列表算出部115以後述的方法，算出用以將編碼對象圖片、或片段(slice)編碼的參考圖片列表，輸出至間預測控制部114、及預測動態向量候補算出部116。然後，參考圖片列表算出部115將用以將使用於編碼之參考圖片列表算出的參數，作為參考圖片列表資訊，輸入至可變長度編碼部104。
正交變換部102對於所生成之預測圖像資料、與輸入圖像間的預測誤差資料，進行從像素區域至頻率區域的變換。量化部103對於經變換至頻率區域的預測誤差資料，進行量化處理。
可變長度編碼部104對於經量化處理之預測誤差資料、預測方向旗標、圖片形式資訊、及參考圖片列表資訊，進行可變長度編碼處理，藉此，生成位元流。又，可變長度編碼部104將預測動態向量候補數設定為預測動態 向量候補列表的大小(size)。並且，可變長度編碼部104於已使用於動態向量編碼的預測動態向量索引，分配因應預測動態向量候補列表之大小而定好的位元列而進行可變長度編碼。
圖3係本實施形態之圖像編碼方法之處理流程的概要。首先，參考圖片列表算出部115以後述的方法，算出編碼對象圖片或片段的參考圖片列表(S101)。
可變長度編碼部104將參考圖片列表資訊進行編碼，並將經編碼之參考圖片列表資訊附加於標頭。亦即，可變長度編碼部104把使用於算出參考圖片列表的參數作為參考圖片列表資訊，附加於SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、或片段標頭(slice header)等(S102)。
間預測控制部114進行動態檢測，決定編碼對象區塊之預測方向、參考圖片索引及動態向量(S103)。間預測控制部114在動態檢測中，例如，算出編碼對象圖片內之編碼對象區塊、與參考圖片內之區塊間的差分值，將差分值最小的參考圖片內之區塊決定為參考區塊。並且，間預測控制部114使用從編碼對象區塊之位置、與參考區塊之位置，求出動態向量的方法等。
又，間預測控制部114對於第1預測方向之參考圖片、及第2預測方向之參考圖片，分別進行動態檢測。然後，間預測控制部114例如使用顯示R-D最佳化模型的式1等，選擇第1預測方向、第2預測方向、或雙方向預測。
(式1)Cost=D+λ×R
式1中，D表示編碼失真。例如，藉由使用以某動態向量所生成之預測圖像來對於編碼對象區塊進行編碼及解碼而得的像素值，將其與編碼對象區塊之原像素值間的差分絕對值和等使用於D。又，R表示產生碼量。例如，係使用在用於預測圖像生成之動態向量編碼時所產生的碼量等。又，λ係拉格朗日的未定乘數。
預測動態向量候補算出部116從如圖4所示的編碼對象區塊之鄰接區塊、及co-located區塊，生成如圖5所示之預測動態向量候補。並且，間預測控制部114藉由如圖6所示之流程，決定預測動態向量索引、也就是使用於動態向量編碼的預測動態向量之索引，並算出差分動態向量(S104)。在此，差分動態向量係指動態向量與預測動態向量間的差分。
可變長度編碼部104將預測方向、參考圖片索引、預測動態向量索引、及差分動態向量進行可變長度編碼(S105)。
在本實施形態中，首先，顯示如下方法：圖像編碼裝置100在不參考別的視角的圖片而將編碼對象圖片進行編碼時，算出參考圖片列表的方法。該方法係使用於例如：將僅包含基礎視角之序列進行編碼時等。
圖7係圖3之S101的詳細處理流程，表示未參考別的視角的圖片時之參考圖片列表的算出方法。以下，說明圖7。
參考圖片列表算出部115算出較編碼對象圖片的顯示順序(POC：Picture Order Count)在前、且間預測中可參考的短期圖片(Short Term Picture)的顯示順序，以及其張數(NumPocStCurrBefore)(S301)。
接著，參考圖片列表算出部115算出較編碼對象圖片的顯示順序為後、且間預測中可參考的短期圖片的顯示順序，以及其張數(NumPocStCurrAfter)(S302)。
然後，參考圖片列表算出部115算出間預測中可參考的長期圖片(Long Term Picture)之顯示順序、及其張數(NumPocLtCurr)(S303)。
接著，參考圖片列表算出部115藉由將NumPocStCurrBefore、NumPocStCurrAfter、及NumPocLtCurr進行加算，算出間預測中可參考的參考圖片之合計張數(NumPocTotalCurr)(S304)。
然後，參考圖片列表算出部115以後述的方法，算出第1預測方向的參考圖片列表RefPicList0(S305)。並且，參考圖片列表算出部115算出第2預測方向的參考圖片列表RefPicList1(S306)。
圖8係圖7之S305的詳細處理流程，表示將第1預測方向的參考圖片列表RefPicList0算出的方法。以下，說明圖8。
首先，參考圖片列表算出部115將適用於在圖7之S301算出之顯示順序的參考圖片，以所算出的NumPocStCurrBefore張數份，追加於參考圖片列表 RefPicListTemp0(S401)。接著，參考圖片列表算出部115將適用於在圖7之S302算出之顯示順序的參考圖片，以所算出的NumPocStCurrAfter張數份，追加於參考圖片列表RefPicListTemp0(S402)。
然後，參考圖片列表算出部115將適用於在圖7之S303算出之顯示順序的參考圖片，以所算出的NumPocLtCurr張數份，追加於參考圖片列表RefPicListTemp0(S403)。
接著，參考圖片列表算出部115使用從S401至S403所得出的參考圖片列表RefPicListTemp0，算出參考圖片列表RefPicList0。算出之參考圖片列表RefPicList0之參考圖片的張數，與從編碼對象圖片(或者片段)開始、至在第1預測方向中可參考的參考圖片的張數(num_ref_l0_active_minus1+1)相等。
參考圖片列表算出部115因應旗標之值來算出參考圖片列表RefPicList0。具體而言，參考圖片列表算出部115判定如下旗標是否為1：表示是否修正第1預測方向之參考圖片列表的旗標ref_pic_list_modification_flag_l0(S404)。
然後，若為真(S404為「是」)，參考圖片列表算出部115因應參考圖片列表RefPicListTemp0、與list_entry_l0〔cIdx〕(cIdx係從0開始、至num_ref_l0_active_minus1)之值，來算出參考圖片列表RefPicList0(S405)。
具體而言，參考圖片列表算出部115將 RefPicListTemp0〔list_entry_l0〔cIdx〕〕分配於RefPicList0〔cIdx〕，而算出參考圖片列表RefPicList0。
在此，list_entry_l0〔cIdx〕係使用於修正第1預測方向之參考圖片列表的參數(修正列表)。該參數係使用於將第cIdx個參考圖片索引，分配於第list_entry_l0〔cIdx〕個參考圖片索引，並係附加於片段標頭等。
另外，list_entry_l0〔cIdx〕之值的範圍，根據NumPocTotalCurr之值，限定為0以上、且(NumPocTotalCurr-1)以下。
當為偽時(S404為「否」)，參考圖片列表算出部115使用參考圖片列表RefPicListTemp0，算出參考圖片列表RefPicList0(S406)。具體而言，參考圖片列表算出部115將RefPicListTemp0〔cIdx〕分配於RefPicList0〔cIdx〕，算出參考圖片列表RefPicList0。
圖9係圖7之S306的詳細處理流程，表示將第2預測方向之參考圖片列表RefPicList1算出的方法。以下，說明圖9。
首先，參考圖片列表算出部115將適用於在圖7之S302所算出之顯示順序的參考圖片，以所算出之NumPocStCurrAfter張數份，追加於參考圖片列表RefPicListTemp1(S501)。接著，參考圖片列表算出部115將適用於在圖7之S301所算出之顯示順序的參考圖片，以所算出之NumPocStCurrBefore張數份，追加於參考圖片列表RefPicListTemp1(S502)。
然後，參考圖片列表算出部115將適用於在圖7之S303所算出之顯示順序的參考圖片，以所算出之NumPocLtCurr張數份，追加於參考圖片列表RefPicListTemp1(S503)。
接著，參考圖片列表算出部115使用從S501至S503所得出之參考圖片列表RefPicListTemp1，算出參考圖片列表RefPicList1。算出之參考圖片列表RefPicList1的參考圖片的張數，與從編碼對象圖片(或者片段)開始、至第2預測方向中可參考的參考圖片之張數(num_ref_l1_active_minus1+1)相等。
參考圖片列表算出部115因應旗標之值來算出參考圖片列表RefPicList1。具體而言，參考圖片列表算出部115判定如下之旗標是否為1：表示是否修正第2預測方向之參考圖片列表的旗標ref_pic_list_modification_flag_l1(S504)。
然後，若為真(S504為「是」)，參考圖片列表算出部115因應參考圖片列表RefPicListTemp1、及list_entry_l1〔cIdx〕(cIdx係從0開始、至num_ref_l1_active_minus1)之值，來算出參考圖片列表RefPicList1(S505)。
具體而言，參考圖片列表算出部115將RefPicListTemp1〔list_entry_l1〔cIdx〕〕，分配於RefPicList1〔cIdx〕，來算出參考圖片列表RefPicList1。
在此，list_entry_l1〔cIdx〕係使用於修正第2預測方向之參考圖片列表的參數(修正列表)。此參數係用 於將第cIdx個參考圖片索引分配於第list_entry_l1〔cIdx〕個參考圖片索引，並係追加於片段標頭等。
另外，list_entry_l1〔cIdx〕之值的範圍，係根據NumPocTotalCurr之值，限定為0以上、且(NumPocTotalCurr-1)以下。
當為偽時(S504為「否」)，參考圖片列表算出部115使用參考圖片列表RefPicListTemp1，算出參考圖片列表RefPicList1(S506)。具體而言，參考圖片列表算出部115將RefPicListTemp1〔cIdx〕分配於RefPicList1〔cIdx〕，來算出參考圖片列表RefPicList1。
圖10係顯示不使用別的視角的圖片作為參考圖片時之參考圖片之例的圖。
在圖10之例中，較編碼對象圖片的顯示順序為前、且間預測可參考的短期圖片，係短期圖片St1及St2，其張數NumPocStCurrBefore為2。又，較編碼對象圖片的顯示順序為後、且間預測可參考的短期圖片，係短期圖片St3及St4，其張數NumPocStCurrAfter為2。
又，間預測中可參考的長期圖片係長期圖片Lt，其張數NumPocLtCurr為1。此時，編碼對象圖片在間預測中可參考的張數NumPocTotalCurr為5(=2+2+1)。
在如圖10的情況下，例如，當(num_ref_l0_active_minus1+1)為5，並且，ref_pic_list_modification_flag_l0為0時，在第1預測方向之參考圖片列表RefPicList0，依St2、St1、St3、St4、Lt的順序，分配 參考圖片。
又，例如，當(num_ref_l1_active_minus1+1)為5，並且，ref_pic_list_modification_flag_l1為0時，在第2預測方向之參考圖片列表RefPicList1，依St3、St4、St2、St1、Lt的順序，分配參考圖片。
又，例如，當(num_ref_l0_active_minus1+1)為5，並且，ref_pic_list_modification_flag_l0為1，並且，list_entry_l0之值為{4、3、2、1、0}時，在第1預測方向之參考圖片列表RefPicList0，依Lt、St4、St3、St1、St2的順序，分配參考圖片。
又，例如，當(num_ref_l1_active_minus1+1)為5，並且，ref_pic_list_modification_flag_l1為1，list_entry_l1之值為{1、0、4、2、3}時，在第2預測方向之參考圖片列表RefPicList1，依St4、St3、Lt、St2、St1的順序，分配參考圖片。
圖11A至圖11D，顯示了將已使用於算出參考圖片列表的參數，作為參考圖片列表資訊，附加於SPS、PPS、或片段標頭等時之語法之例。
在圖11A中，lists_modification_present_flag係表示如下旗標是否存在的旗標：表示是否修正參考圖片列表的旗標。short_term_ref_pic_set(i)，係用以指定短期圖片的語法。long_term_ref_pics_present_flag，係表示是否存在有長期圖片的旗標。
在圖11B中，short_term_ref_pic_set(num_ short_term_ref_pic_sets)，係用以指定短期圖片的語法。num_long_term_pics，係長期圖片的張數。num_ref_idx_l0_active_minus1，係在第1預測方向可參考的參考圖片的張數。num_ref_idx_l1_active_minus1，係在第2預測方向可參考的參考圖片的張數。
在圖11C中，各要素係用以指定短期圖片的參數。
在圖11D中，ref_pic_list_modification_flag_l0，係顯示是否修正第1預測方向之參考圖片列表的旗標。ref_pic_list_modification_flag_l1，係顯示是否修正第2預測方向之參考圖片列表的旗標。
又，list_entry_l0〔i〕，係用以將分配於第1預測方向之參考圖片列表的參考圖片變更的參數。list_entry_l1〔i〕，係用以將分配於第2預測方向之參考圖片列表的參考圖片變更的參數。list_entry_l0〔i〕及list_entry_l1〔i〕，限定於0以上、NumPocTotalCurr-1。
當以X表示0或1時，藉由list_entry_lX〔i〕，來特定參考圖片列表LX中之參考圖片的索引。list_entry_lX〔i〕的長度，為Ceil(Log2(NumPocTotalCurr))位元。list_entry_lX〔i〕，係限定於0以上、NumPocTotalCurr-1。當不存在list_entry_lX〔i〕時，將list_entry_lX〔i〕作為0進行處理。
又，參考圖片列表，有：RefPicSetStCurrBefore、RefPicSetStCurrAfter、 RefPicSetStFoll、RefPicSetLtCurr、及RefPicSetLtFoll。NumPocTotalCurr，係與NumPocStCurrBefore+NumPocStCurrAfter+NumPocLtCurr相等。在P片段或B片段之編碼及解碼中，NumPocTotalCurr不為0。
圖12A及圖12B顯示參考圖片列表RefPicList0之算出例。參考圖片列表RefPicList0的算出，係在P片段或B片段之標頭的編碼及解碼中進行。NumRpsCurrTempList0，係num_ref_idx_l0_active_minus1+1及NumPocTotalCurr中之較大者。更具體而言，圖12A顯示RefPicListTemp0的算出例，圖12B顯示RefPicList0的算出例。
圖12C及圖12D顯示參考圖片列表RefPicList1的算出例。參考圖片列表RefPicList1之算出，係在B片段之標頭的編碼及解碼中進行。NumRpsCurrTempList1，係num_ref_idx_l1_active_minus1+1及NumPocTotalCurr中之較大者。更具體而言，圖12C顯示RefPicListTemp1的算出例，圖12D顯示RefPicList1的算出例。
在本實施形態中，當不參考別的視角時，例如，將基礎視角編碼時，於以間預測可參考的參考圖片之張數NumPocTotalCurr，設定NumPocStCurrBefore、NumPocStCurrAfter及NumPocLtCurr的總和。並且，使用可根據NumPocTotalCurr之值而可設定的值會變動的list_entry_l0及list_entry_l1等參數。
藉此，可柔軟彈性地變更分配於參考圖片列表 的參考圖片，而可提升編碼效率。
接著，顯示參考別的視角時之參考圖片列表的算出方法。例如，圖像編碼裝置100在將包含基礎視角及非基礎視角之多視角影像進行編碼等時，使用以下的算出方法。
圖13係圖3之S101的詳細處理流程，表示有從編碼對象圖片參考別的視角之圖片的可能性時之參考圖片列表的算出方法。以下，說明圖13。
參考圖片列表算出部115將較編碼對象圖片的顯示順序(POC：Picture Order Count)為前、且間預測中可參考的短期圖片(Short Term Picture)之顯示順序、以及其張數(NumPocStCurrBefore)算出(S601)。
接著，參考圖片列表算出部115將較編碼對象圖片的顯示順序為後、且間預測中可參考的短期圖片之顯示順序、以及其張數(NumPocStCurrAfter)算出(S602)。
然後，參考圖片列表算出部115將間預測中可參考的長期圖片(Long Term Picture)的顯示順序、及其張數(NumPocLtCurr)算出(S603)。
接著，參考圖片列表算出部115藉由將NumPocStCurrBefore、NumPocStCurrAfter、及NumPocLtCurr進行加算，來算出間預測中可參考的參考圖片的合計張數(NumPocTotalCurr)(S604)。
然後，參考圖片列表算出部115判定編碼對象圖片是否包含於非基礎視角(S605)。另外，此判定亦可根據 例如：依各視角之編碼(解碼)順序分配的VOIdx(View Order Index)、特定的nal_type、或被配至各視角的view_id等來進行判定。判定的方法以何種方法皆可。
在本實施形態之例中，係使用VOIdx。當VOIdx為0時，參考圖片列表算出部115判定為編碼對象圖片包含於基礎視角。另一方面，當VOIdx不為0時，參考圖片列表算出部115判定為編碼對象圖片包含於非基礎視角。
當判定結果為真時(S605為「是」)，也就是，當編碼對象圖片包含於非基礎視角時，參考圖片列表算出部115將num_inter-view_reference〔VOIdx〕，加算於NumPocTotalCurr(S606)。
在此，num_inter-view_reference〔VOIdx〕係從編碼對象圖片開始、至在視角間預測可參考的參考圖片之張數。又，視角間預測係表示參考與編碼對象圖片所屬之視角不同的視角的圖片來生成預測圖像。
接著，參考圖片列表算出部115以後述的方法，將第1預測方向之參考圖片列表RefPicList0、及第2預測方向之參考圖片列表RefPicList1算出(S607、S608)。
圖14係圖13之S607的詳細處理流程，表示將第1預測方向之參考圖片列表RefPicList0算出的方法。以下，說明圖14。
首先，參考圖片列表算出部115將適用於在圖13之S601所算出之顯示順序的參考圖片，依所算出之NumPocStCurrBefore張數份，追加於參考圖片列表 RefPicListTemp0(S701)。接著，參考圖片列表算出部115將適用於在圖13之S602所算出之顯示順序的參考圖片，依所算出之NumPocStCurrAfter張數份，追加於參考圖片列表RefPicListTemp0(S702)。
然後，參考圖片列表算出部115將適用於在圖13之S603所算出之顯示順序的參考圖片，依所算出之NumPocLtCurr張數份，追加於參考圖片列表RefPicListTemp0(S703)。
接著，參考圖片列表算出部115判定編碼對象圖片是否包含於非基礎視角(S704)。另外，此判定亦可根據例如：依各視角之編碼(解碼)順序所分配的VOIdx(View Order Index)、特定的nal_type、或配至各視角的view_id等來進行判定。判定的方法為何者皆可。
在本實施形態之例中，係使用VOIdx。當VOIdx為0時，參考圖片列表算出部115判定為編碼對象圖片包含於基礎視角。另一方面，當VOIdx不為0時，參考圖片列表算出部115判定為編碼對象圖片包含於非基礎視角。
當判定結果為真時(S704為「是」)，也就是，當編碼對象圖片包含於非基礎視角時，參考圖片列表算出部115將參考圖片追加於參考圖片列表RefPicListTemp0(S705)。具體而言，此時，參考圖片列表算出部115將從編碼對象圖片開始、使用視角間預測而為可參考的參考圖片，依num_inter-view_reference〔VOIdx〕張數份，追加於參考圖片列表RefPicListTemp0。
接著，參考圖片列表算出部115使用在S701至S705所得出之參考圖片列表RefPicListTemp0，算出參考圖片列表RefPicList0。算出之參考圖片列表RefPicList0的參考圖片的張數，與從編碼對象圖片(或者片段)開始、至第1預測方向中可參考的參考圖片的張數(num_ref_l0_active_minus1+1)相等。
參考圖片列表算出部115因應旗標之值而算出參考圖片列表RefPicList0。具體而言，參考圖片列表算出部115判定如下之旗標是否為1：表示是否修正第1預測方向之參考圖片列表的旗標ref_pic_list_modification_flag_l0(S706)。
然後，若為真(S706為「是」)，則參考圖片列表算出部115因應參考圖片列表RefPicListTemp0、與list_entry_l0〔cIdx〕(cIdx為從0開始、至num_ref_l0_active_minus1)之值，將參考圖片列表RefPicList0算出(S707)。
具體而言，參考圖片列表算出部115將RefPicListTemp0〔list_entry_l0〔cIdx〕〕分配於RefPicList0〔cIdx〕，來將參考圖片列表RefPicList0算出。
在此，list_entry_l0〔cIdx〕，係使用於將第1預測方向之參考圖片列表修正的參數(修正列表)。此參數係使用於將第cIdx個參考圖片索引，分配於第list_entry_l0〔cIdx〕個參考圖片索引，並且係附加於片段標頭等。
另外，list_entry_l0〔cIdx〕之值的範圍，係根 據NumPocTotalCurr之值，限定為0以上、且(NumPocTotalCurr-1)以下。
當為偽時(S706為「否」)，參考圖片列表算出部115使用參考圖片列表RefPicListTemp0，將參考圖片列表RefPicList0算出(S708)。具體而言，參考圖片列表算出部115將RefPicListTemp0〔cIdx〕分配於RefPicList0〔cIdx〕，來將參考圖片列表RefPicList0算出。
圖15係圖13之S608的詳細處理流程，表示將第2預測方向之參考圖片列表RefPicList1算出的方法。以下，說明圖15。
首先，參考圖片列表算出部115將適用於在圖13之S602所算出之顯示順序的參考圖片，依所算出之NumPocStCurrAfter張數份，追加於參考圖片列表RefPicListTemp1(S801)。接著，參考圖片列表算出部115將適用於在圖13之S601所算出之顯示順序的參考圖片，依所算出之NumPocStCurrBefore張數份，追加於參考圖片列表RefPicListTemp1(S802)。
然後，參考圖片列表算出部115將適用於在圖13之S603所算出之顯示順序的參考圖片，依所算出之NumPocLtCurr張數份，追加於參考圖片列表RefPicListTemp1(S803)。
接著，參考圖片列表算出部115判定編碼對象圖片是否包含於非基礎視角(S804)。另外，此判定亦可根據例如：依各視角之編碼(解碼)順序而分配的VOIdx(View Order Index)、特定的nal_type、或配至各視角的view_id等來進行。判定的方法為何方法皆可。
在本實施形態之例中，係使用VOIdx。當VOIdx為0時，參考圖片列表算出部115判定為編碼對象圖片包含於基礎視角。另一方面，當VOIdx不為0時，則參考圖片列表算出部115判定為編碼對象圖片包含於非基礎視角。
當判定結果為真時(S804為「是」)，也就是，當編碼對象圖片包含於非基礎視角時，參考圖片列表算出部115將參考圖片追加於參考圖片列表RefPicListTemp1(S805)。具體而言，此時，參考圖片列表算出部115將從編碼對象圖片開始、使用視角間預測而可參考的參考圖片，依num_inter-view_reference〔VOIdx〕張數份，追加於參考圖片列表RefPicListTemp1。
接著，參考圖片列表算出部115使用從S801至S805所得到的參考圖片列表RefPicListTemp1，將參考圖片列表RefPicList1算出。算出之參考圖片列表RefPicList1的參考圖片的張數，與從編碼對象圖片(或者片段)開始、至第2預測方向中可參考的參考圖片的張數(num_ref_l1_active_minus1+1)相等。
參考圖片列表算出部115因應旗標之值，來將參考圖片列表RefPicList1算出。具體而言，參考圖片列表算出部115判定如下之旗標是否為1：表示是否修正第2預測方向之參考圖片列表的旗標ref_pic_list_modification_flag_l1(S806)。
然後，若為真(S806為「是」)，參考圖片列表算出部115因應參考圖片列表RefPicListTemp1、及list_entry_l1〔cIdx〕(cIdx為從0開始、至num_ref_l1_active_minus1)之值，將參考圖片列表RefPicList1算出(S807)。
具體而言，參考圖片列表算出部115將RefPicListTemp1〔list_entry_l1〔cIdx〕〕分配於RefPicList1〔cIdx〕，來算出參考圖片列表RefPicList1。
在此，list_entry_l1〔cIdx〕，係用於將第2預測方向之參考圖片列表修正的參數(修正列表)。此參數係使用於將第cIdx個參考圖片索引，分配於第list_entry_l1〔cIdx〕個參考圖片索引，並且係附加於片段標頭等。
另外，list_entry_l1〔cIdx〕之值的範圍，係根據NumPocTotalCurr之值，限定為0以上、且(NumPocTotalCurr-1)以下。
當為偽時(S806為「否」)，參考圖片列表算出部115使用參考圖片列表RefPicListTemp1，將參考圖片列表RefPicList1算出(S808)。具體而言，參考圖片列表算出部115將RefPicListTemp1〔cIdx〕分配於RefPicList1〔cIdx〕，來將參考圖片列表RefPicList1算出。
圖16係顯示將別的視角之圖片使用為參考圖片時的參考圖片之例的圖。在圖16之例中，編碼對象圖片屬於非基礎視角，VOIdx為2。
又，較編碼對象圖片之顯示順序為前、且在間預測可參考的短期圖片，係短期圖片St1及St2，其張數 NumPocStCurrBefore為2。又，較編碼對象圖片之顯示順序為後、且在間預測可參考的短期圖片，為短期圖片St3及St4，其張數NumPocStCurrAfter為2。
又，間預測中可參考的長期圖片係長期圖片Lt，其張數NumPocLtCurr為1。又，視角間預測中可參考的參考圖片(inter-view參考圖片)，係inter-view參考圖片Iv1及Iv2，其張數num_inter-view_reference〔VOIdx〕為2。
此時，編碼對象圖片在間預測中可參考的張數NumPocTotalCurr係5(=2+2+1)。於其值加上視角間預測可參考的張數num_inter-view_reference〔VOIdx〕。因此，NumPocTotalCurr係設定為7。
如圖16之情況，當例如，(num_ref_l0_active_minus1+1)為5，並且，ref_pic_list_modification_flag_l0為0時，於第1預測方向之參考圖片列表RefPicList0，依St2、St1、St3、St4、Lt、Iv1、Iv2的順序，分配參考圖片。
又，例如，當(num_ref_l1_active_minus1+1)為5，並且，ref_pic_list_modification_flag_l1為0時，於第2預測方向之參考圖片列表RefPicList1，依St3、St4、St2、St1、Lt、Iv1、Iv2的順序，分配參考圖片。
又，例如，當(num_ref_l0_active_minus1+1)為5，並且，ref_pic_list_modification_flag_l0為1，並且，list_entry_l0之值為{6、5、4、3、2、1、0}時， 於第1預測方向之參考圖片列表RefPicList0，依Iv2、Iv1、Lt、St4、St3、St1、St2的順序，分配參考圖片。
又，例如，當(num_ref_l1_active_minus1+1)為5，並且，ref_pic_list_modification_flag_l1為1，並且，list_entry_l1之值為{1、0、4、2、3、6、5}時，於第2預測方向之參考圖片列表RefPicList1，依St4、St3、Lt、St2、St1、Iv2、Iv1的順序，分配參考圖片。
即使在參考別的視角時，亦可使用圖11A至圖11D所示的語法。
又，如上所述，參考圖片列表，有RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll、RefPicSetLtCurr、及RefPicSetLtFoll。NumPocTotalCurr，係與NumPocStCurrBefore+NumPocStCurrAfter+NumPocLtCurr相等。在P片段或B片段之編碼及解碼中，NumPocTotalCurr不為0。
除此之外，若編碼對象圖片包含於非基礎視角(VOIdx！=0)，則視角間預測中可參考的參考圖片的張數num_inter-view_reference〔VOIdx〕係加算於NumPocTotalCurr。另外，在MVC(多視角影像編碼)中，num_inter-view_reference，係與num_anchor_refs_lX〔i〕或num_anchor_refs_lX〔i〕相等。
又，即使在參考別的視角的情況下，於第1預測方向之參考圖片列表RefPicList0的算出時，亦可使用圖12A及圖12B所示之算出例。除此之外，若編碼對象圖片 包含於非基礎視角(VOIdx！=0)，則視角間預測中可參考的參考圖片係追加於參考圖片列表RefPicListTemp0。被追加之參考圖片的數，與num_inter-view_reference相等。
具體而言，關於從0至num_inter-view-reference〔VOIdx〕-1為止的參考視角索引j，與inter-view_reference〔VOIdx〕〔j〕對應的參考圖片會被追加於RefPicListTemp0及RefPicList0。
同樣地，即使在參考別的視角的情況下，於第2預測方向之參考圖片列表RefPicList1的算出時，亦可使用圖12C及圖12D所示之算出例。除此之外，若編碼對象圖片包含於非基礎視角(VOIdx！=0)，則視角間預測中可參考的參考圖片係追加於參考圖片列表RefPicListTemp1。被追加之參考圖片的數，與num_inter-view_reference相等。
具體而言，關於從0至num_inter-view_reference〔VOIdx〕-1為止的參考視角索引j，與inter-view_reference〔VOIdx〕〔j〕對應的參考圖片會追加於RefPicListTemp1及RefPicList1。
在本實施形態中，當從編碼對象圖片參考別的視角之圖片時，例如，當包含於非基礎視角的圖片被編碼時，別的視角之圖片，會作為參考圖片，而被追加於編碼對象圖片的參考圖片列表。藉此，別的視角之圖片，在參考圖片列表中被設定為可參考，而可提升編碼效率。
又，於在間預測可參考的參考圖片之張數NumPocTotalCurr，設定NumPocStCurrBefore、 NumPocStCurrAfter及NumPocLtCurr的總和。
此外，於NumPocTotalCurr，加上在視角間預測可參考的參考圖片之張數num_inter-view_reference〔VOIdx〕。藉此，來算出NumPocTotalCurr。然後，使用如下之參數：根據NumPocTotalCurr之值而可設定之值會變動的list_entry_l0及list_entry_l1等參數。
藉此，可將分配於參考圖片列表的參考圖片進行柔軟有彈性的變更，而可提升編碼效率。
另外，在本實施形態中，係舉例顯示如當從編碼對象圖片參考別的視角之圖片時，例如，當包含於非基礎視角的圖片被編碼的情況。但是，適用範圍並不限定於此。例如，當從編碼對象圖片參考別的層之圖片時，亦可適用本實施形態所示之方法。
例如，本實施形態所示之方法，亦可適用於SVC(Scalable Video Coding)等。此時，例如，於間預測可參考的張數NumPocTotalCurr，設定NumPocStCurrBefore、NumPocStCurrAfter及NumPocLtCurr的總和。此外，亦可於NumPocTotalCurr加上包含在別的層之可參考的參考圖片的張數。
然後，與上述同樣地，使用如下之參數：根據NumPocTotalCurr之值而可設定的值會變動的list_entry_l0及list_entry_l1等參數。藉此，可將分配於參考圖片列表的參考圖片柔軟地變更，而可提升編碼效率。
(實施形態2)
圖17係顯示本實施形態之圖像解碼裝置之構成的方塊圖。如圖17所示，圖像解碼裝置200具備有：可變長度解碼部204、逆量化部205、逆正交變換部206、加算部207、區塊記憶體208、訊框記憶體209、內預測部210、間預測部211、切換部212、間預測控制部214、參考圖片列表算出部215、及預測動態向量候補算出部216。
可變長度解碼部204對於所輸入之位元流，進行可變長度解碼處理，生成圖片形式資訊、預測方向旗標、量化係數、及參考圖片列表資訊。又，可變長度解碼部204使用從標頭等所解碼之預測動態向量候補數，進行預測動態向量索引之可變長度解碼處理。
逆量化部205對於藉由可變長度解碼處理所得到的量化係數，進行逆量化處理。逆正交變換部206將以逆量化處理所得到的正交變換係數，從頻率區域變換至像素區域，生成預測誤差圖像資料。區塊記憶體208將藉由預測誤差圖像資料、與預測圖像資料之加算而生成的圖像，以區塊單位進行保存。並且，訊框記憶體209將圖像以訊框單位進行保存。
內預測部210使用保存在區塊記憶體208的區塊單位之圖像，執行內預測，藉此，生成解碼對象區塊(目前區塊)的預測誤差圖像資料。間預測部211使用保存在訊框記憶體209的訊框單位之圖像，執行間預測，藉此，生成解碼對象區塊的預測誤差圖像資料。
參考圖片列表算出部215以後述的方法，算出用 以將解碼對象圖片(目前圖片)、或片段解碼的參考圖片列表，輸出至間預測控制部214、及預測動態向量候補算出部216。
預測動態向量候補算出部216使用解碼對象區塊的鄰接區塊之動態向量等資訊、及儲存於colPic記憶體的co-located區塊之動態向量等資訊，將預測動態向量候補導出。又，預測動態向量候補算出部216對於所導出之預測動態向量候補，分配預測動態向量索引之值，將預測動態向量候補送至間預測控制部214。
間預測控制部214從預測動態向量候補，根據經解碼之預測動態向量索引，算出使用於間預測的動態向量，並使用所算出之動態向量來生成間預測圖像。
最後，加算部207藉由將經解碼之預測圖像資料、與預測誤差圖像資料進行加算，來生成解碼圖像。
圖18係本實施形態之圖像解碼方法之處理流程的概要。首先，可變長度解碼部204從SPS、PPS或片段標頭等，將使用於算出參考圖片列表的參考圖片列表資訊進行解碼(S901)。參考圖片列表算出部215以與圖7或圖13同樣的方法，將參考圖片列表算出(S902)。可變長度解碼部204將預測方向旗標、參考圖片索引、及差分動態向量解碼(S903)。
預測動態向量候補算出部216根據解碼對象區塊之鄰接區塊及co-located區塊，生成預測動態向量候補。又，可變長度解碼部204使用以可變長度解碼所得到的預 測動態向量候補列表大小，將包含在位元流之預測動態向量索引進行可變長度解碼(S904)。
間預測控制部214於經解碼之預測動態向量索引所示的預測動態向量候補，加算經解碼之差分動態向量，藉此，將動態向量算出。然後，間預測部211生成間預測圖像(S905)。
另外，在圖18之S902中，當不參考別的視角之圖片而將解碼對象圖片解碼時，參考圖片列表算出部215以與圖7同樣的方法，將參考圖片列表算出。並且，當參考別的視角之圖片來將解碼對象圖片解碼時，參考圖片列表算出部215以與圖13同樣的方法，將參考圖片列表算出。
在本實施形態中，不參考別的視角時，例如，將基礎視角解碼時，於間預測可參考的參考圖片之張數NumPocTotalCurr，設定NumPocStCurrBefore、NumPocStCurrAfter及NumPocLtCurr的總和。並且，使用如下之參數：根據NumPocTotalCurr之值而可設定的值會變動的list_entry_l0及list_entry_l1等參數。
藉此，分配於參考圖片列表的參考圖片可柔軟地進行變更。因此，可進行對應於高效率編碼的解碼。
又，在本實施形態中，當從解碼對象圖片參考別的視角之圖片時，例如，當將包含在非基礎視角的圖片進行解碼時，將別的視角之圖片作為參考圖片，追加於解碼對象圖片的參考圖片列表。藉此，別的視角之圖片係在 參考圖片列表中設定為可參考。因此，可進行對應於高效率編碼的解碼。
又，於間預測可參考的參考圖片之張數NumPocTotalCurr，設定NumPocStCurrBefore、NumPocStCurrAfter及NumPocLtCurr的總和。
此外，於NumPocTotalCurr，加上視角間預測可參考的參考圖片之張數num_inter-view_reference〔VOIdx〕。並且，使用如下之參數：根據NumPocTotalCurr之值而可設定之值會變動的list_entry_l0及list_entry_l1等參數。
藉此，分配於參考圖片列表的參考圖片會柔軟地變更。因此，可進行對應於高效率編碼的解碼。
另外，在本實施形態中，係舉例顯示從解碼對象圖片參考別的視角之圖片時，例如，將包含在非基礎視角之圖片解碼時。但是，適用範圍並不限定於此。例如，當從解碼對象圖片參考別的層之圖片時，亦可適用本實施形態所示之方法。
例如，本實施形態所示之方法，亦可適用於SVC(Scalable Video Coding)等。此時，例如，於間預測可參考的張數NumPocTotalCurr，設定NumPocStCurrBefore、NumPocStCurrAfter及NumPocLtCurr的總和。此外，亦可於NumPocTotalCurr加上包含在別層之可參考的參考圖片之張數。
並且，與上述同樣地，使用如下之參數：根據 NumPocTotalCurr之值而可設定之值會變動的list_entry_l0及list_entry_l1等參數。藉此，分配於參考圖片列表的參考圖片可柔軟地變更，而可進行對應於高效率編碼的解碼。
(實施形態3)
在本實施形態中，確認性地顯示以上述複數實施形態所示之特徵性的構成及特徵性的順序。
圖19係顯示本實施形態之圖像編碼裝置之構成的方塊圖。如圖19所示，圖像編碼裝置300具備有生成部301及編碼部302。生成部301與實施形態1之參考圖片列表算出部115等相對應。編碼部302與實施形態1之間預測控制部114、間預測部111及可變長度編碼部104等相對應。
圖20係顯示圖19所示之圖像編碼裝置300之動作的流程圖。圖像編碼裝置300根據以下之動作，將目前圖片依每區塊進行編碼。
首先，生成部301將參考圖片索引分配於目前圖片之編碼中可參考的參考圖片。然後，生成部301生成包含有已分配了參考圖片索引之參考圖片的參考圖片列表(S1001)。此時，生成部301在屬於與目前圖片所屬之目前視角不同之參考視角的參考圖片在目前圖片之編碼中有被參考的可能性時，將屬於參考視角的參考圖片追加於參考圖片列表。
接著，編碼部302從參考圖片列表，將包含在目前圖片之目前區塊之編碼中被參考的參考圖片特定出來。 並且，編碼部302參考被特定出之參考圖片，將目前區塊編碼(S1002)。
藉此，當視角間預測可行時，於參考圖片列表，追加用於視角間預測的參考圖片。因此，從參考圖片列表，可進行更適當的參考圖片選擇。所以，可提升編碼效率。
另外，生成部301亦可使用預定的參數(修正列表等)，來生成參考圖片列表。而且，編碼部302亦可將用於生成參考圖片列表的參數進行編碼。
又，生成部301亦可在屬於參考視角的參考圖片在目前圖片之編碼中有被參考的可能性時，算出如以下之數：在目前圖片之編碼中可參考之參考圖片的數。例如，此時，生成部301於屬於目前視角的可參考的參考圖片之數，加上屬於參考視角的可參考的參考圖片之數，藉此，算出在目前圖片之編碼中可參考的參考圖片之數。
並且，此時，生成部301亦可根據所算出之數，來決定用以將對包含在參考圖片列表的參考圖片所分配之參考圖片索引進行修正的修正列表之值的範圍。
又，例如，生成部301亦可根據目前視角是否為非基礎視角，來判定屬於參考視角的參考圖片在目前圖片之編碼中是否具有被參考的可能性。又，例如，生成部301亦可根據依編碼順序對目前視角所分配之視角序索引，來判定目前視角是否為非基礎視角。
圖21係顯示本實施形態之圖像解碼裝置之構成 的方塊圖。如圖21所示，圖像解碼裝置400具備有生成部401及解碼部402。生成部401與實施形態2之參考圖片列表算出部215等相對應。解碼部402與實施形態2之間預測控制部214、間預測部211及可變長度解碼部204等相對應。
圖22係顯示如圖21所示之圖像解碼裝置400之動作的流程圖。圖像解碼裝置400根據以下之動作，將目前圖片依每區塊進行解碼。
首先，生成部401將參考圖片索引分配於在目前圖片之解碼中可參考的參考圖片。然後，生成部401生成包含已分配了參考圖片索引之參考圖片的參考圖片列表(S1101)。此時，生成部401在屬於與目前圖片所屬之目前視角不同的參考視角的參考圖片在目前圖片之解碼中有被參考的可能性時，將屬於參考視角的參考圖片追加於參考圖片列表。
接著，解碼部402從參考圖片列表，將包含在目前圖片的在目前區塊之解碼中被參考的參考圖片特定出來。並且，解碼部402參考所特定之參考圖片，將目前區塊解碼(S1102)。
藉此，當視角間預測為可行時，於參考圖片列表，追加用以視角間預測的參考圖片。因此，從參考圖片列表，可進行更適當的參考圖片選擇。因此，可進行與高效率編碼對應的解碼。
另外，解碼部402亦可將使用於生成參考圖片列表的預定之參數(修正列表等)進行解碼。並且，生成部401 亦可使用經解碼之參數，來生成參考圖片列表。
又，生成部401亦可在屬於參考視角的參考圖片在目前圖片之解碼中有被參考的可能性時，將目前圖片之解碼中可參考的參考圖片之數算出。例如，此時，生成部401於屬於目前視角之可參考的參考圖片之數，加上數於參考視角之可參考的參考圖片之數，藉此，來算出目前圖片之解碼中可參考的參考圖片之數。
並且，此時，生成部401亦可根據算出之數，來決定用以將對包含在參考圖片列表之參考圖片所分配的參考圖片索引進行修正的修正列表之值的範圍。
又，例如，生成部401亦可根據目前視角是否為非基礎視角，來判定屬於參考視角的參考圖片在目前圖片之解碼中是否有被參考的可能性。又，例如，生成部401亦可根據依解碼順序對目前視角所分配之視角序索引，來判定目前視角是否為非基礎視角。
如以上，本實施形態之圖像編碼裝置300及圖像解碼裝置400，於參考圖片列表追加別的視角之參考圖片。藉此，可進行更適當的參考圖片選擇。因此，可提升編碼效率。
另外，在上述各實施形態中，各構成要素可由專用的硬體構成，或者藉由執行適合各構成要素之軟體程式來實現。各構成要素亦可藉由CPU或處理器等程式執行部將紀錄於硬碟或半導體記憶體等記錄媒體的軟體程式讀出執行而來實現。在此，實現本實施形態之圖像解碼裝置 的軟體，係如下之程式。
亦即，此程式使電腦執行如下之圖像編碼方法：該圖像編碼方法，係將目前圖片依每區塊進行編碼的圖像編碼方法，包含有以下步驟：生成步驟，係將參考圖片索引分配至在前述目前圖片之編碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及編碼步驟，係從前述參考圖片列表，特定出在前述目前圖片所含的目前區塊之編碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊編碼者，又，在前述生成步驟中，當屬於與前述目前圖片所屬之目前視角(view)不同之參考視角的參考圖片，在前述目前圖片之編碼中有被參考的可能性時，將屬於前述參考視角的參考圖片追加於前述參考圖片列表。
又，此程式使電腦執行如下之圖像解碼方法：該圖像解碼方法，係將目前圖片依每區塊進行解碼的圖像解碼方法，包含有以下步驟：生成步驟，係將參考圖片索引分配至在前述目前圖片之解碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及解碼步驟，係從前述參考圖片列表，特定出在前述目前圖片所含的目前區塊之解碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊解碼者，又，在前述生成步驟中，當屬於與前述目前圖片所屬之目前視角不同之參考視角的參考圖片，在前述目前圖片之解碼中有被參考的可能性時，將屬於前述參考視角的 參考圖片追加於前述參考圖片列表。
又，各構成要素亦可為電路。該等電路可全體構成1個電路，亦可分別為各別的電路。又，各構成要素可由萬用處理器來實現，亦可由專用處理器來實現。
以上，已根據實施形態說明了一個或複數態樣之圖像編碼裝置等，但本發明並非限定於該等實施形態者。只要不脫離本發明之旨趣，將熟悉此項技藝者可想到的各種變形施行於本實施形態者，或者組合不同實施形態中之構成要素而構築成的形態，皆可包含在一個或複數態樣之範圍內。
例如，圖像編碼解碼裝置可具備圖像編碼裝置及圖像解碼裝置。又，可使特定之處理部所執行的處理，由別的處理部來執行。又，可變更執行處理的順序，亦可並行複數的處理。
(實施形態4)
藉由將用以實現為執行在上述各實施形態所示之動畫圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄在記憶媒體，可在將上述各實施形態所示之處理獨立存在之電腦系統中簡單地實施。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。
進而，在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該例之系統。該系統係以具有 由使用了圖像編碼方法之圖像編碼裝置、及使用了圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵。針對系統中之其他構成，可因應情況而適當地變更。
圖23係顯示實現內容傳送服務之內容供給系統ex100之整體構成之圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內分別設置作為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100係於網際網路ex101，經由網際網路服務提供者ex102、電話線路網ex104及基地台ex106至ex110，而連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話ex114、遊戲機ex115等各機器。
但是，內容供給系統ex100不限於如圖23之構成，亦可組合任何要素而連接。又，亦可不經由作為固定無線台之基地台ex106至ex110，將各機器直接連接於電話線路網ex104。又，各機器亦可經由近距離無線等而直接相互連接。
相機ex113係數位攝影機(digital video camera)等之可進行動態圖像攝影之機器，相機ex116係數位相機等之可進行靜態圖像攝影、動態圖像攝影之機器。又，行動A(Code Division Multiple Access)方式、W-CDMA(Wideband-Cod電話ex114係指GSM(登錄商標)(Global System for Mobile Communications)方式、CDMe Division Multiple Access)方式、或者是LTE(Long Term Evolution)方 式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管是哪一種皆可。
在內容供給系統ex100，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，就可做即時傳送者。在即時傳送上，對於用戶使用相機ex113攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態之說明，進行編碼處理(即，作為本發明之一態樣之圖像編碼裝置而展現功能)，傳送至串流伺服器ex103。另一方面，串流伺服器ex103係對於有請求之客戶，串流傳送所傳送之內容資料。客戶係指可將業經上述編碼處理之資料解碼的電腦ex111、PDAex112、相機ex113、行動電話ex114、遊戲機ex115等。在接收了所傳送之資料之各機器上，將所接收之資料進行解碼處理而再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。
此外，所攝影之資料之編碼處理亦可以相機ex113進行，亦可以進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，所傳送之資料之解碼處理亦可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於相機ex113，亦可經由電腦ex111而將以相機ex116所攝影之靜態圖像及/或動態圖像資料傳送至串流伺服器ex103。此時之編碼處理亦可由相機ex116、電腦ex111、串流伺服器ex103之任一者進行，亦可相互分擔進行。
又，其等編碼處理及解碼處理一般是在電腦 ex111或具有各機器之LSIex500予以處理。LSIex500可為單一晶片，亦可為由複數晶片構成之構成者。此外，動態圖像編碼、解碼用之軟體亦可內建於電腦ex111等可讀取之任一種記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體來進行編碼、解碼處理。進而，在行動電話ex114為附有相機時，亦可傳送以該相機所取得之動畫資料。此時之動態圖像資料為藉行動電話ex114所具有之LSIex500所編碼處理之資料。
又，串流伺服器ex103係複數之伺服器或複數之電腦，亦可為將資料分散處理或記錄而傳送者。
按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人廣播。
又，不限於內容供給系統ex100之例，如圖24所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在圖像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該圖像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之一態樣之圖像編碼裝置編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波， 讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。
又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在顯示器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於電纜線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之顯示器ex219顯示者。此時，亦可在電視機內安裝動態圖像解碼裝置，而非機上盒。
圖25係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出圖像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變；及多工/解多工部ex303，係將具有已解調之多工資料解多工成圖像資料與聲音資料，或將以訊號處理部ex306所編碼之圖像資料、聲音資料多工者。
又，電視機ex300包含有：具有各將聲音資料、圖像資料解碼或將各自的資訊編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之圖像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。
首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/解多工部ex303將調變/解調部ex302所解調之多工資料解多工。進而，電視機ex300係於聲音訊號處理部ex304將所解多工之聲音資料解碼，且將所解多工之圖像資料在影像訊號處理部ex305使 用在上述各實施形態所說明解碼方法予以解碼。已解碼之聲音訊號、圖像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與圖像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或圖像訊號編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法進行編碼。業經編碼之聲音訊號、圖像訊號係於多工/解多工部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與圖像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有複數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/解多工部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。
又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、圖像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工 處理及外部輸出之構成進行說明，但不能進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。
又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。
以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖26。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之 處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的生成及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。
在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。
圖27係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。
在以上說明中，是以一層的DVD、BD等之光碟 為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。
又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車輛導航系統ex211等之顯示裝置將動畫再生。此外，車輛導航系統ex211之構成可考慮如圖25所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話ex114等實現。
圖28A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話ex114之圖。行動電話ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影圖像、靜態圖像之相機部ex365、及顯示使以相機部ex365所攝影之圖像、天線ex350所接收之圖像解碼之資料之液晶顯示器等之顯示部ex358。行動電話ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。
進而，針對行動電話ex114之構成例，使用圖28B予以說明。行動電話ex114係相對於統籌地控制具有顯 示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。
電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話ex114起動為可作動之狀態。
行動電話ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜逆擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。
進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資 料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。
在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之一態樣之圖像編碼裝置發揮功能)，將業經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號編碼，將業已編碼之聲音資料送出至多工/解多工部ex353。
多工/解多工部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料多工，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。
為了在資料通訊模式時、在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料解碼，多工/解多工部ex353將多工資料解多工，分成影像資料之位 元流與聲音資料之位元流，經由同步匯流排ex370而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將圖像訊號解碼(即，作為本發明之一態樣之圖像解碼裝置發揮)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號解碼，且由聲音輸出部ex357輸出聲音。
又，上述行動電話ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。
如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。
又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。
(實施形態5)
亦可因應情況適當地切換上述各實施形態所示 之動態圖像編碼方法或裝置、與以MPEG-2、MPEG4-AVC、VC-1等相異之規格為準之動態圖像編碼方法或裝置，生成影像資料者。
在此，在生成有以各為不同之規格為準之複數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是已哪一規格為準，因此衍生有不能選擇適當的解碼方法之課題。
為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是以哪一規格為準者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。
圖29係顯示多工資料之構成圖。如圖29所示，多工資料係將視訊流、聲訊流、演示圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主圖像及副圖像、聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，演示圖形流表示電影之字幕。在此，主圖像係指顯示在畫面之通常圖像，副圖像係指以小畫面顯示在主圖像中之圖像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、 Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。
多工資料所含之各串流係藉PID所識別。例如在於電影之圖像所利用之視訊流劃分有0×1011，音訊流劃分有0×1100至0×111F，演示圖形流劃分有0×1200至0×121F，交互圖形流劃分有0×1400至0×141F，在於電影之副圖像所利用之視訊流劃分有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之音訊流劃分有0×1A00至0×1A1F。
圖30係模式地顯示多工資料是如何被多工之圖。首先，將由複數視訊框所構成之視訊流ex235、由複數聲訊流所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將演示圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進行變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。
圖31係進一步詳細顯示在PES封包列中如何儲存視訊流。圖31中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖31之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之複數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。
圖32係顯示最終寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP_Extra_Header，構成192位元組之原始封包，寫入至多工資料。TP_Extra_Header記載有ATS(Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如圖32下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。
又，多工資料所含之TS封包，除了圖像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像．聲音．字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製的複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至記錄器之ATS對應之STC時間之資訊。
圖33係詳細說明PMT之資料構造之圖。PMT之 前頭配置有記著該PMT所含之資料的長度等之PMT標頭。在其之後面配置有複數與多工資料有關之描述符。上述複製控制資訊等係記載為描述符。描述符之後配置有複數與多工資料所含之各串流有關之串流資訊。串流資訊係為於識別串流之壓縮編解碼器等，而由記載有串流形式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符之數有存在於多工資料之串流數這麼多。
在記錄於記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。
多工資料資訊檔案，如圖34所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。
多工資料資訊，如圖34所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於在多工資料之末端之視訊框之PTS加上一框量之再生間隔者。
串流屬性資訊，如圖35所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、演示圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼 器所壓縮、構成視訊流之每個圖片資料之圖像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數為何、是對應何種語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之記錄器之初始化等。
在本實施形態中，利用上述多工資料中PMT所含之串流形式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流形式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料與以其他規格為準之影像資料。
又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖36。在步驟exS100中，由多工資料取得PMT所含之串流形式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流形式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，在串流形式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法，從候補選擇參考圖片或動 態向量來進行解碼。又，在串流形式或視訊流屬性資訊被判斷為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格者之時，在步驟exS103中，藉以習知之規格為準之動態圖像解碼方法進行解碼。此係例如：若為顯示了屬性資訊係依據MPEG4-AVC規格為準者的情況下，則不從複數候補進行選擇，而是使用從空間上或時間上隣接的周邊區塊之動態向量而算出的動態向量來進行解碼。
如此，藉於串流形式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有以不同的規格為準之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。
(實施形態6)
上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖37顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。
例如在進行編碼處理時，LSIex500係根據包含 有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509，由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號暫時先儲存在SDRAM等外部之記憶體ex511。根據控制部ex501之控制，所儲存之資料係按處理量或處理速度，例如適當地分成數次等，而送至訊號處理部ex507，在訊號處理部ex507中，進行聲音訊號之編碼及/或圖像訊號之編碼。在此圖像訊號之編碼處理是上述各實施形態所說明之編碼處理。在訊號處理部ex507中，依情況進而進行業已編碼之聲音資料及業已編碼之影像資料多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入至記錄媒體ex215。此外，在多工處理時，為了同步，只要先將資料暫時儲存在緩衝器ex508即可。
此外，在上述說明中，說明了記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦可不限於一個，亦可為具有複數緩衝器者。又，LSIex500可為單一晶片，亦可複數晶片化。
又，在上述說明中，控制部ex501係構成為具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等者，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。在訊號處理部ex507之內部亦設置CPU，就可更加提昇處理速度。又，以另一例而言，CPUex502亦可為具有 訊號處理部ex507或具有訊號處理部ex507之一部例如聲音處理部之構成。在如此形態下，控制部ex501成為具有訊號處理部ex507或具有該一部分之CPUex502之構成。
此外，在此是構成為LSI，但依積體度的不同，亦可被稱為IC、系統LSI、SUPER LSI、ULTRA LSI。
又，實現積體電路之手法不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。如此之可程式性邏輯裝置，典型來說，可將構成軟體或韌體的程式，藉由負載或是從記憶體等讀入，而可執行上述各實施形態所示之動態圖像編碼方法、或動態圖像解碼方法。
進而，在藉半導體技術之進步或衍生之其他技術來讓替換成LSI之積體電路化之技術上場時，當然亦可使用該技術來進行功能區塊之積體化。生技的運用等亦存在著可能性。
(實施形態7)
在與對藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料進行解碼時，與對以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之圖像資料的時候相比，考慮將處理量增加者。為此，在LSIex500，必須設定在比將以習知規格為準之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，會產生一提高驅動頻率就使耗電高之課題。
為解決該課題，採用電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是以哪一規格為準者，因應規格而切換驅動頻率之構成。圖38係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成時，將驅動頻率提高設定。接著，對於執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801發出指示，來對影像資料解碼者。另一方面，在影像資料為以習知規格為準之圖像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之時候相比，將驅動頻率降低設定。接著對於以習知規格為準之解碼處理部ex802發出指示，來將影像資料解碼者。
更具體地說，驅動頻率切換部ex803係由圖37之CPUex502與驅動頻率控制部ex512所構成者。又，執行上述各實施形態中所示之動態圖像解碼方法之解碼處理部ex801及以習知規格為準之解碼處理部ex802係相當於圖37之訊號處理部ex507。CPUex502係識別影像資料是以哪一規格為準者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，影像資料之識別上，例如可考慮利用實施形態5所記述之識別資訊。有關於識別資訊，不限於實施形態5所記載者，只要是可識別影像資料是以哪一規格為準之資訊即可。例如，根據識別影像資料是利用在電視者或者是利用 在光碟者之外部訊號，在可識別出影像資料是以哪一規格為準者的時候，亦可根據如此之外部訊號進行識別。又，CPUex502中之驅動頻率選擇，可考慮根據具有圖40所示之影像資料的規格及驅動頻率之對應關係之查找表進行者。先將查找表儲存在緩衝器ex508或LSI之內部記憶體，CPUex502係參考該查找表，就可選擇驅動頻率。
圖39係顯示實施本實施形態之方法之步驟。首先，在步驟exS200中，於訊號處理部ex507上由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502上，根據識別資訊，識別影像資料是否為藉由上述各實施形態所示之編碼方法或裝置所生成者。在影像資料為藉由上述各實施形態所示之編碼方法或裝置所生成之時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定高驅動頻率。另一方面，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512上，和影像資料經由上述各實施形態所示之編碼方法或裝置所生成之時候相比，設定較低的驅動頻率。
進而，與驅動頻率之切換連動而變更提供給含有LSIex500或LSIex500之裝置之電壓，就更能提高省電效果。例如，將驅動頻率降低設定時，隨此，與將驅動頻率提高設定的時候相比，可考慮將提供至含有LSIex500或 LSIex500之裝置之電壓降低設定者。
又，驅動頻率之設定方法係於欲解碼時之處理量很大時，只要將驅動頻率提高設定，而於欲解碼時之處理量很小時，則將驅動頻率降低設定，即可採用，不限於上述之設定方法。例如，將以MPEG4-AVC規格為準之影像資料解碼之處理量比經由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼之處理量大時，可考慮與上述時候相反地執行驅動頻率之設定者。
進而，驅動頻率的設定方法不限於將驅動頻率降低之構成。例如在識別資訊係顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮提高設定供應至含有LSIex500或LSIex500之裝置之電壓，在顯示為以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，可考慮降低設定提供至含有LSIex500或LSIex500之裝置之電壓。又，以另一例來說，識別資訊係於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮不使CPUex502之驅動停止，在顯示以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，因為處理能充裕進行，因此可考慮暫時將CPUex502之驅動停止。即使在識別資訊於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，只要處理能充裕進行時，亦可考慮暫時停止CPUex502之驅動。此時，與顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之 規格為準之影像資料的時候相比，可考慮將停止時間縮短設定者。
如此，因應影像資料所依據之規格來切換驅動頻率，可謀求省電。又，在使用電池以驅動含有LSIex500或LSIex500之裝置時，隨著省電，可延長電池的壽命。
(實施形態8)
在電視機或行動電話等上述之機器及系統有以不同規格為準之複數影像資料輸入之狀況。像這樣為了做到能在輸入有以不同規格為準之複數影像資料時也能解碼者，LSIex500之訊號處理部ex507必須能對應於複數規格。惟，如果分別使用對應於各規格之訊號處理部ex507時，將使LSIex500之電路規模變得龐大，又會衍生有增加成本之課題。
為解決該課題，採用將用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部及以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之解碼處理部局部共有之構成。將該構成例顯示於圖41A之ex900。例如，以上述各實施形態所示之動態圖像解碼方法與以MPEG4-AVC規格為準之動畫解碼方法係於熵編碼、逆量化、解塊(deblocking)濾波器、動態補償等之處理上有處理內容部分共通者。可考慮採用一種針對共通之處理內容，共有對應於MPEG4-AVC規格之解碼處理部ex902，而針對不對應於MPEG4-AVC規格之本發明之一態樣特有之其他處理內容，則可考慮使用專用的解碼處理部ex901之構 成。特別是，本發明之一態樣由於在動態補償上具有特徵，故例如關於動態補償，使用專用的解碼處理部ex901，關於其外熵解碼、之解塊濾波器、逆量化等任一者、或全部的處理，可共用解碼處理部。有關於解碼處理部之共有化，是針對共通的處理內容共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，對於MPEG4-AVC規格所特有之處理內容，亦可為使用專用的解碼處理部之構成。
又，將使部分處理共有之另一例顯示在圖41B之ex1000。在該例中，係構成為對應於本發明之一態樣特有之處理內容之專用的解碼處理部ex1001、對應於其他習知規格特有之處理內容之專用的解碼處理部ex1002、對應於本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通之處理內容之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為本發明之一態樣、或其他特殊規格所特有之處理內容特殊化者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。
如此，本發明之一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法共通之處理內容係共有解碼處理部，因此可將LSI的電路規模縮小，且可降低成本。
產業上利用之可能性
本發明可利用於例如：電視接收機、數位影像錄影機、車輛導航系統、行動電話、數位照相機、或數位 影像攝影機等。
S1001、S1002‧‧‧步驟

Claims (9)

  1. 一種圖像編碼方法，係將目前圖片依每區塊進行編碼的圖像編碼方法，包含有以下步驟：生成步驟，係將參考圖片索引分配至在前述目前圖片之編碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及編碼步驟，係從前述參考圖片列表，特定出在前述目前圖片所含的目前區塊之編碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊編碼者，又，在前述生成步驟中，當屬於與前述目前圖片所屬之目前層不同之參考層的參考圖片，在前述目前圖片之編碼中有被參考的可能性時，將屬於前述參考層的參考圖片追加於前述參考圖片列表，針對包含於前述參考圖片列表中之全部的參考圖片的每一張圖片，依下述合計，於定好的範圍內修正前述參考圖片索引，該合計為屬於前述目前層的可參考之參考圖片的數與屬於前述參考層的可參考之參考圖片的數之合計。
  2. 如申請專利範圍第1項之圖像編碼方法，其中在前述生成步驟中，使用參數來生成前述參考圖片列表，在前述編碼步驟中，更將使用於生成前述參考圖片列表的前述參數編碼。
  3. 如申請專利範圍第1或2項之圖像編碼方法，其中在前述生成步驟中，更進一步，當屬於前述參考層的參考圖片在前述目前圖片之編碼中有被參考的可能性時，於第1數、即屬於前述目前層的可參考之參考圖片的數，加上第2數、即屬於前述參考層的可參考之參考圖片的數，藉此，來算出第3數、即在前述目前圖片之編碼中可參考之參考圖片的數，根據前述第3數，決定修正列表之值的範圍，該修正列表係用以將已對前述參考圖片列表中所含之前述參考圖片分配好的前述參考圖片索引進行修正者。
  4. 一種圖像解碼方法，係將目前圖片依每區塊進行解碼的圖像解碼方法，包含有以下步驟：生成步驟，係將參考圖片索引分配至在前述目前圖片之解碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及解碼步驟，係從前述參考圖片列表，特定出在前述目前圖片所含的目前區塊之解碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊解碼者，又，在前述生成步驟中，當屬於與前述目前圖片所屬之目前層不同之參考層的參考圖片，在前述目前圖片之解碼中有被參考的可能性時，將屬於前述參考層的參考圖片追加於前述參考圖片列表，針對包含於前述參考圖片列表中之全部的參考圖 片的每一張圖片，依下述合計，於定好的範圍內修正前述參考圖片索引，該合計為屬於前述目前層的可參考之參考圖片的數與屬於前述參考層的可參考之參考圖片的數之合計。
  5. 如申請專利範圍第4項之圖像解碼方法，其中在前述解碼步驟中，更將使用於生成前述參考圖片列表的參數解碼，在前述生成步驟中，使用經解碼之前述參數，來生成前述參考圖片列表。
  6. 如申請專利範圍第4或5項之圖像解碼方法，其中在前述生成步驟中，更進一步，當屬於前述參考層的參考圖片在前述目前圖片之解碼中有被參考的可能性時，於第1數、即屬於前述目前層的可參考之參考圖片的數，加上第2數、即屬於前述參考層的可參考之參考圖片的數，藉此，來算出第3數、即在前述目前圖片之解碼中可參考之參考圖片的數，根據前述第3數，決定修正列表之值的範圍，該修正列表係用以將已對前述參考圖片列表中所含之前述參考圖片分配好的前述參考圖片索引進行修正者。
  7. 一種圖像編碼裝置，係將目前圖片依每區塊進行編碼的圖像編碼裝置，包含有：生成部，係將參考圖片索引分配至在前述目前圖片之編碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及編碼部，係從前述參考圖片列表，特定出在前述目 前圖片所含的目前區塊之編碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊編碼者，又，當屬於與前述目前圖片所屬之目前層不同之參考層的參考圖片，在前述目前圖片之編碼中有被參考的可能性時，前述生成部將屬於前述參考層的參考圖片追加於前述參考圖片列表，並針對包含於前述參考圖片列表中之全部的參考圖片的每一張圖片，依下述合計，於定好的範圍內修正前述參考圖片索引，該合計為屬於前述目前層的可參考之參考圖片的數與屬於前述參考層的可參考之參考圖片的數之合計。
  8. 一種圖像解碼裝置，係將目前圖片依每區塊進行解碼的圖像解碼裝置，包含有：生成部，係將參考圖片索引分配至在前述目前圖片之解碼中可參考的參考圖片，生成包含有分配了前述參考圖片索引之前述參考圖片的參考圖片列表者；及解碼部，係從前述參考圖片列表，特定出在前述目前圖片所含的目前區塊之解碼中被參考的參考圖片，並參考已特定之前述參考圖片，將前述目前區塊解碼者，又，當屬於與前述目前圖片所屬之目前層不同之參考層的參考圖片，在前述目前圖片之解碼中有被參考的可能性時，前述生成部將屬於前述參考層的參考圖片追加於 前述參考圖片列表，並針對包含於前述參考圖片列表中之全部的參考圖片的每一張圖片，依下述合計，於定好的範圍內修正前述參考圖片索引，該合計為屬於前述目前層的可參考之參考圖片的數與屬於前述參考層的可參考之參考圖片的數之合計。
  9. 一種圖像編碼解碼裝置，具備有：如申請專利範圍第7項之圖像編碼裝置、及如申請專利範圍第8項之圖像解碼裝置。
TW102106693A 2012-03-02 2013-02-26 An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus TWI581621B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261605870P 2012-03-02 2012-03-02

Publications (2)

Publication Number Publication Date
TW201347557A TW201347557A (zh) 2013-11-16
TWI581621B true TWI581621B (zh) 2017-05-01

Family

ID=49082048

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102106693A TWI581621B (zh) 2012-03-02 2013-02-26 An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus

Country Status (7)

Country Link
US (3) US9621889B2 (zh)
EP (1) EP2822277A4 (zh)
JP (2) JPWO2013128832A1 (zh)
KR (1) KR102137149B1 (zh)
CN (2) CN107835428B (zh)
TW (1) TWI581621B (zh)
WO (1) WO2013128832A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056782A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치
CN112584140B (zh) 2014-11-27 2024-08-13 株式会社Kt 对视频信号进行解码或编码的方法
US10469864B2 (en) 2014-11-27 2019-11-05 Kt Corporation Method and apparatus for video signal coding using current picture reference flag
EP3298606B1 (en) * 2015-05-20 2019-05-01 Telefonaktiebolaget LM Ericsson (PUBL) Coding of multi-channel audio signals
KR101782155B1 (ko) * 2015-06-05 2017-09-26 인텔렉추얼디스커버리 주식회사 움직임 벡터 정밀성을 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
KR101782153B1 (ko) * 2015-06-05 2017-09-26 인텔렉추얼디스커버리 주식회사 움직임 벡터 후보 선택 방법 및 이를 이용하는 영상 부호화／복호화 방법
US10178403B2 (en) * 2015-06-23 2019-01-08 Qualcomm Incorporated Reference picture list construction in intra block copy mode
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
SG11202100230PA (en) * 2018-07-18 2021-02-25 Panasonic Ip Corp America Encoder, decoder, encoding method, and decoding method
US11196988B2 (en) * 2018-12-17 2021-12-07 Apple Inc. Reference picture management and list construction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262804A1 (en) * 2006-10-13 2009-10-22 Purvin Bibhas Pandit Reference picture list management syntax for multiple view video coding
TWI355648B (en) * 2006-10-18 2012-01-01 Fraunhofer Ges Forschung Encoder,decoder,computer-readable medium,method of
EP2424240A2 (en) * 2009-04-22 2012-02-29 LG Electronics Inc. Reference picture list changing method of multi-view video

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004006586A1 (ja) * 2002-07-02 2004-01-15 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像復号化方法
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
JP5192393B2 (ja) 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
KR100966568B1 (ko) 2006-03-30 2010-06-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
AU2007269576B2 (en) * 2006-07-06 2012-07-12 Interdigital Vc Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
EP2037828A2 (en) * 2006-07-12 2009-03-25 Les Hôpitaux Universitaires De Geneve Medical device for tissue ablation
TWI375469B (en) * 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US20100118933A1 (en) * 2007-04-04 2010-05-13 Thomson Licensing Reference picture list management
JP5578775B2 (ja) 2008-09-02 2014-08-27 富士通株式会社 符号化装置および復号装置
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
WO2010110255A1 (ja) * 2009-03-24 2010-09-30 国立大学法人北海道大学 放射線治療装置
CN103561273B (zh) * 2009-03-26 2016-10-05 松下电器（美国）知识产权公司 编码装置及方法、错误检测装置及方法、解码装置及方法
WO2010123198A2 (ko) * 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
JP2011082683A (ja) 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2012028960A (ja) * 2010-07-22 2012-02-09 Jvc Kenwood Corp 画像復号装置、画像復号方法および画像復号プログラム
EP2685722A4 (en) * 2011-03-11 2014-09-03 Samsung Electronics Co Ltd METHOD AND DEVICE FOR ENCRYPTION OF IMAGES AND METHOD AND DEVICE FOR DECOMPOSING IMAGES
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US10034018B2 (en) * 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
KR102090106B1 (ko) * 2011-11-11 2020-03-17 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
US9432665B2 (en) * 2011-12-02 2016-08-30 Qualcomm Incorporated Coding least significant bits of picture order count values identifying long-term reference pictures
US9258559B2 (en) * 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
WO2013107939A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
US9369710B2 (en) * 2012-02-06 2016-06-14 Qualcomm Incorporated Reference picture list modification for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262804A1 (en) * 2006-10-13 2009-10-22 Purvin Bibhas Pandit Reference picture list management syntax for multiple view video coding
TWI355648B (en) * 2006-10-18 2012-01-01 Fraunhofer Ges Forschung Encoder,decoder,computer-readable medium,method of
EP2424240A2 (en) * 2009-04-22 2012-02-29 LG Electronics Inc. Reference picture list changing method of multi-view video

Also Published As

Publication number Publication date
WO2013128832A1 (ja) 2013-09-06
JP2019126085A (ja) 2019-07-25
CN107835428A (zh) 2018-03-23
US10547866B2 (en) 2020-01-28
KR102137149B1 (ko) 2020-07-23
KR20140133803A (ko) 2014-11-20
TW201347557A (zh) 2013-11-16
CN103650497B (zh) 2018-01-05
CN103650497A (zh) 2014-03-19
EP2822277A4 (en) 2015-03-04
US9621889B2 (en) 2017-04-11
US20140211856A1 (en) 2014-07-31
US20200112744A1 (en) 2020-04-09
US11109063B2 (en) 2021-08-31
JPWO2013128832A1 (ja) 2015-07-30
JP6920670B2 (ja) 2021-08-18
EP2822277A1 (en) 2015-01-07
US20170171559A1 (en) 2017-06-15
CN107835428B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
TWI594620B (zh) A moving picture coding method, a moving picture decoding method, a moving picture coding apparatus, a moving picture decoding apparatus, and a moving picture coding / decoding apparatus
TWI547148B (zh) A moving picture coding method, a moving picture coding apparatus, a moving picture decoding method, a moving picture decoding apparatus, and a moving picture coding / decoding apparatus
AU2011353405B2 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
TWI593276B (zh) Image encoding method, image encoding device, image decoding method, and image decoding device
TWI554085B (zh) Dynamic image coding method
AU2012216026B2 (en) Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
TWI556631B (zh) An image coding method, an image decoding method, an image coding apparatus, and an image decoding apparatus
TWI538486B (zh) A moving picture coding method, a moving picture decoding method, a moving picture coding apparatus, a moving picture decoding apparatus, and a motion picture coding / decoding apparatus
TWI581621B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TWI559752B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TW201311007A (zh) 圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置及圖像編解碼裝置
CN104429075B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
TW201322775A (zh) 圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置、及圖像編碼解碼裝置
WO2012102045A1 (ja) 画像符号化方法および画像復号化方法
JP6551894B2 (ja) 動画像復号化方法および動画像復号化装置
TW201325248A (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置（一）
TW201320713A (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置（二）
EP2835971A1 (en) Image encoding method, image decoding method, image encoding device, and image decoding device
WO2012081225A1 (ja) 画像符号化方法、及び画像復号方法
WO2013076991A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置