[go: up one dir, main page]

TWI530161B - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
TWI530161B
TWI530161B TW101111523A TW101111523A TWI530161B TW I530161 B TWI530161 B TW I530161B TW 101111523 A TW101111523 A TW 101111523A TW 101111523 A TW101111523 A TW 101111523A TW I530161 B TWI530161 B TW I530161B
Authority
TW
Taiwan
Prior art keywords
image
index
referred
unit
reference image
Prior art date
Application number
TW101111523A
Other languages
English (en)
Other versions
TW201251469A (en
Inventor
Yoshitomo Takahashi
Shinobu Hattori
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201251469A publication Critical patent/TW201251469A/zh
Application granted granted Critical
Publication of TWI530161B publication Critical patent/TWI530161B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

圖像處理裝置及方法
本發明係關於一種圖像處理裝置及方法，尤其關於一種於多視點編碼中可改善編碼效率之圖像處理裝置及方法。
近年來，將圖像資訊作為數位進行處理，此時，以效率較高之資訊之傳送、儲存為目的，利用圖像資訊特有之冗餘性，採用藉由離散餘弦轉換等之正交轉換與動作補償而壓縮之編碼方式而將圖像壓縮編碼的裝置正在不斷普及。該編碼方式中例如存在MPEG(Moving Picture Experts Group，動畫專家群)等。
尤其，MPEG2(ISO(International Organization for Standardization，國際標準化組織)/IEC(International Electrotechnical Commission，國際電工委員會)13818-2)被定義為通用圖像編碼方式，為包羅交錯掃描圖像及依序掃描圖像雙方、以及標準解像度圖像及高精細圖像之標準。例如，MPEG2目前正廣泛地用於專業用途及消費用途之廣泛之應用。藉由使用MPEG2壓縮方式，例如若為具有720×480像素之標準解像度之交錯掃描圖像，則分配4至8Mbps之碼量(位元速率)。又，藉由使用MPEG2壓縮方式，例如若為具有1920×1088像素之高解像度之交錯掃描圖像，則分配18至22Mbps之碼量(位元速率)。藉此，可實現高壓縮率與良好之畫質。
MPEG2主要將適合於播放用之高畫質編碼作為對象，但 無法應對較MPEG1更低之碼量(位元速率)、即更高之壓縮率之編碼方式。可認為藉由行動終端之普及，今後此種編碼方式之需求會高漲，與此對應而進行MPEG4編碼方式之標準化。關於圖像編碼方式，於1998年12月該規格作為ISO/IEC 14496-2而被承認為國際標準。
作為標準化之排程，於2003年3月成為稱作H.264及MPEG-4 Part10(Advanced Video Coding(進階視訊編碼)，以下記作H.264/AVC)之國際標準。
進而，作為該H.264/AVC之擴展，亦包含RGB或4：2：2、4：4：4之類的、專業用所必要之編碼工具或由MPEG-2規定之8x8DCT或量化矩陣的FRExt(Fidelity Range Extension，高精度拓展)之標準化於2005年2月完成。藉此，使用H.264/AVC，成為電影中所包含之膜雜訊亦可良好地表現之編碼方式，用於Blu-Ray Disc(藍光碟)(商標)等廣泛之應用。
然而，最近，欲壓縮高畫質圖像之4倍之4000×2000像素左右之程度之圖像、或者欲於如網路般之受限制之傳送容量之環境中發佈高畫質圖像之類的對更高壓縮率編碼的需求高漲。因此，上述之ITU-T(International Telecommunication Union Telecommunication，國際電信聯盟遠程通訊標準化組)旗下之VCEG(=Video Coding Expert Group，視訊編碼專家組)中，有關編碼效率之改善之研究繼續進行(參照非專利文獻1)。
而且，當前，以較H.264/AVC進一步提高編碼效率為目 的，藉由作為ITU-T與ISO/IEC之共同之標準化團體之JCTVC(Joint Collaboration Team-Video Coding)，稱為HEVC(High Efficiency Video Coding，高效視訊編碼)之編碼方式之標準化正推進。於HEVC中，作為草案發行非專利文獻2。
然而，於H.264/AVC中，為了將B(Bi-Predictive)圖片解碼，分配參照圖像索引之情形時，對清單L0以分配作為表示圖片之輸出順序之資訊的POC(Picture Order Count，圖片序列號)之降序分配參照圖像索引。對清單L1以POC之升序分配參照圖像索引。
又，為了將P(Predicted)圖片解碼，分配參照圖像索引之情形時，以解碼順序分配參照圖像索引。
[先前技術文獻] [非專利文獻]
[非專利文獻1] 「ITU-T Recommendation H.264 Advanced video coding for generic audiovisual」, March 2010
[非專利文獻2] Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, 「WD3：Working Draft3 of High-Efficiency Video Coding」, JCTVc-E603, 2011年3月
然而，上述H.264/AVC中之參照圖像索引之分配方法以同一視點內之處理為主。因而，多視點編碼之情形時，參 照圖像索引對時間方向之參照圖像全部分配之後，對視圖方向之參照圖像進行分配。而且，所分配之參照圖像索引非效率，欲進行變更時，發送變更指令。
如此，多視點編碼之情形之參照圖像索引之分配方法並不有效。
本發明係鑒於此種狀況而完成者，於多視點編碼中可改善編碼效率。
本發明之一態樣之圖像處理裝置包括：解碼部，其將位元串流解碼而產生圖像；索引分配部，其對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測由上述解碼部產生之上述圖像時所參照之參照圖像的索引；及預測部，其參照藉由上述索引分配部分配之索引之參照圖像而預測由上述解碼部產生之上述圖像。
上述索引分配部可重複進行以在時間方向可參照之圖像、在視圖方向可參照之圖像的順序分配上述參照圖像之索引的處理。
上述索引分配部可於對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
上述索引分配部可重複進行以在視圖方向可參照之圖像、在時間方向可參照之圖像的順序分配上述參照圖像之索引的處理。
上述索引分配部可於對在視圖方向可參照之所有圖像分 配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
上述索引分配部可自時間方向優先型態與視圖方向優先型態中選擇一方，而分配上述參照圖像之索引，該時間方向優先型態係於對在時間方向可參照之圖像分配上述參照圖像之索引之後，對在視圖方向可參照之圖像進行分配者；該視圖方向優先型態係於對在視圖方向可參照之圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配者。
上述索引分配部可自時間方向優先型態與視圖方向優先型態中，選擇分配上述參照圖像之型態而分配上述參照圖像之索引，該時間方向優先型態係重複進行以自在時間方向可參照之圖像至在視圖方向可參照之圖像之順序分配上述參照圖像之索引的處理者；嘎視圖方向優先型態係重複進行以自在視圖方向可參照之圖像至在時間方向可參照之圖像之順序分配上述參照圖像之索引的處理者。
上述索引分配部可按照識別使用上述時間方向優先型態或使用上述視圖方向優先型態之型態識別資訊，而分配上述參照圖像之索引。
上述索引分配部可對在視圖方向可參照之圖像，根據序列參數組之視圖參照資訊而分配上述參照圖像之索引。
上述索引分配部可上述索引分配部對在時間方向可參照之圖像，於P圖片之情形時根據解碼順序分配上述參照圖像之索引，於B圖片之情形時根據POC(Picture Order Count)分配上述參照圖像之索引。
上述索引分配部可自時間方向優先之交替型態與視圖方向優先之交替型態中選擇分配上述參照圖像之索引之型態，而分配上述參照圖像之索引，該時間方向優先之交替型態係重複進行自在時間方向可參照之圖像開始分配上述參照圖像之索引，而以自在時間方向可參照之圖像起至在視圖方向可參照之圖像之順序進行分配的處理者；該視圖方向優先之交替型態係重複進行自在視圖方向可參照之圖像開始分配上述參照圖像之索引，而以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序進行分配的處理者。
上述索引分配部可按照識別使用上述時間方向優先之交替型態或使用上述視圖方向優先之交替型態之型態識別資訊，而分配上述參照圖像之索引。
本發明之一態樣之圖像處理方法中，由圖像處理裝置將位元串流解碼而產生圖像，對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測所產生之上述圖像時所參照之參照圖像之索引，且參照所分配的索引之參照圖像，而預測所產生之上述圖像。
之本發明其他態樣之圖像處理裝置包括：索引分配部，其對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測圖像時所參照之參照圖像之索引；預測部，其參照藉由上述索引分配部分配之索引之參照圖像而預測上述圖像；及編碼部，其使用由上述預測部預測之上 述圖像編碼而產生位元串流。
上述索引分配部可重複進行以在時間方向可參照之圖像、在視圖方向可參照之圖像之順序分配上述參照圖像之索引的處理。
上述索引分配部可對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
上述索引分配部可重複進行以在視圖方向可參照之圖像、在時間方向可參照之圖像之順序分配上述參照圖像之索引的處理。
上述索引分配部可對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
上述索引分配部可自時間方向優先型態與視圖方向優先型態中選擇一方，而分配上述參照圖像之索引，該時間方向優先型態係於對在時間方向可參照之圖像分配上述參照圖像之索引之後，對在視圖方向可參照之圖像進行分配者；該視圖方向優先型態係於對在視圖方向可參照之圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配者。
上述索引分配部可自時間方向優先型態與視圖方向優先型態中，選擇分配上述參照圖像之型態而分配上述參照圖像之索引，該時間方向優先型態係重複進行以自在時間方向可參照之圖像起至在視圖方向可參照之圖像的順序分配 上述參照圖像之索引的處理者；視圖方向優先型態係重複進行以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序分配上述參照圖像之索引的處理者。
可進而包含傳送部，該傳送部傳送識別使用上述時間方向優先型態或使用上述視圖方向優先型態之型態識別資訊、與由上述編碼部產生之位元串流。
上述索引分配部可對在視圖方向可參照之圖像，根據序列參數組之視圖參照資訊而分配上述參照圖像之索引。
上述索引分配部可對在時間方向可參照之圖像，於P圖片之情形時根據解碼順序分配上述參照圖像之索引，於B圖片之情形時根據POC(Picture Order Count)分配上述參照圖像之索引。
上述索引分配部可自時間方向優先之交替型態與視圖方向優先之交替型態中選擇分配上述參照圖像之索引之型態，而分配上述參照圖像之索引，該時間方向優先之交替型態係重複進行自在時間方向可參照之圖像開始分配上述參照圖像在索引，而以自在時間方向可參照之圖像起至在視圖方向可參照之圖像的順序進行分配的處理者；該視圖方向優先之交替型態係重複進行自在視圖方向可參照之圖像開始分配上述參照圖像之索引，而以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序進行分配的處理者。
可進而包含傳送部，該傳送部傳送識別使用上述時間方向優先之交替型態或使用上述視圖方向優先之交替型態之 型態識別資訊、與由上述編碼部產生之位元串流。
本發明之其他態樣之圖像處理方法，係由圖像處理裝置對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測圖像時所參照之參照圖像之索引，參照所分配之索引之參照圖像而預測上述圖像，且使用由上述預測部預測之上述圖像編碼而產生位元串流。
本發明之一態樣中將位元串流解碼而產生圖像。而且，對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測所產生之上述圖像時所參照之參照圖像之索引，參照所分配的索引的參照圖像而預測所產生之上述圖像。
本發明之其他態樣中，對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測圖像時所參照之參照圖像之索引。而且，參照所分配之索引之參照圖像預測上述圖像，使用所預測之上述圖像進行編碼而產生位元串流。
再者，上述圖像處理裝置既可為獨立之裝置，亦可為1個構成圖像編碼裝置或圖像解碼裝置之內部區塊。
根據本發明之一態樣，可將圖像解碼。尤其可改善編碼效率。
根據本發明之其他態樣，可將圖像編碼。尤其可改善編碼效率。
以下，對用以實施本發明之形態(以下稱為實施形態)進行說明。再者，說明以以下順序進行。
1.第1實施形態(圖像編碼裝置)
2.第2實施形態(圖像解碼裝置)
3.第3實施形態(4種預設之分配型態之例)
4.第4實施形態(圖像編碼裝置)
5.第5實施形態(圖像解碼裝置)
6.第6實施形態(電腦)
7.應用例
<1.第1實施形態> [圖像編碼裝置之構成例]
圖1表示應用作為本發明之圖像處理裝置之圖像編碼裝置之一實施形態之構成。
圖1中所示之圖像編碼裝置100使用預測處理將圖像資料編碼。此處，作為編碼方式，例如使用H.264及MPEG(Moving Picture Experts Group)4 Part10(AVC(Advanced Video Coding))(以下稱為H.264/AVC)方式或HEVC(High Efficiency Video Coding)方式等。
於圖1之例中，圖像編碼裝置100包含A/D(Analog/Digital，類比/數位)轉換部101、畫面重排緩衝器102、運算部103、正交轉換部104、量化部105、可逆編碼部106、及儲存緩衝器107。又，圖像編碼裝置100包含逆量化部108、逆正交轉換部109、運算部110、解塊濾波器111、解碼圖片緩衝器112、選擇部113、框內預測部114、運動視 差預測/補償部115、選擇部116、及速率控制部117。
圖像編碼裝置100進而包含語法處理部121及參照圖像索引分配部122。
A/D轉換部101對所輸入之圖像資料進行A/D轉換，向畫面重排緩衝器102輸出並記憶。
畫面重排緩衝器102根據GOP(Group of Picture)構造將所記憶之顯示順序之圖框之圖像按用以編碼之圖框之順序重排。畫面重排緩衝器102將對圖框之順序進行了重排之圖像供給至語法處理部121。
語法處理部121依序確認自畫面重排緩衝器102讀取之圖像之資料，向圖像之資料中插入標頭資訊。標頭資訊包含序列參數組(SPS，Sequence Parameter Set)及圖片參數組(PPS，Picture Parameter Set)等。又，語法處理部121於切片之前端附加切片標頭(SH，Slice Header)。
語法處理部121將插入有標頭資訊等之圖像供給至運算部103、框內預測部114及運動視差預測/補償部115。又，語法處理部121將各標頭資訊及切片標頭等資訊供給至參照圖像索引分配部122。
運算部103由自語法處理部121供給之圖像減去經由選擇部116而自框內預測部114或運動視差預測/補償部115供給之預測圖像，並將其差分資訊輸出至正交轉換部104。
例如、進行框內編碼之圖像之情形時，運算部103由自語法處理部121供給之圖像減去自框內預測部114供給之預測圖像。又，例如於進行框間編碼之圖像之情形時，運算 部103由之自語法處理部121供給之圖像減去自運動視差預測/補償部115供給之預測圖像。
正交轉換部104對自運算部103供給之差分資訊實施離散餘弦轉換、K-L(Karhunen-Loeve)轉換等之正交轉換，並將該轉換係數供給至量化部105。
量化部105將正交轉換部104所輸出之轉換係數量化。量化部105將經量化之轉換係數供給至可逆編碼部106。
可逆編碼部106對該經量化之轉換係數實施可變長度編碼、算數編碼等可逆編碼。
可逆編碼部106自框內預測部114取得表示框內預測模式之資訊等，自運動視差預測/補償部115取得表示框間預測模式之資訊或運動向量資訊等。
可逆編碼部106將經量化之轉換係數編碼，並且將框內預測模式資訊、框間預測模式資訊、運動向量資訊、及量化參數設為編碼資料之標頭資訊之一部分(多工化)。可逆編碼部106將編碼而獲得之編碼資料供給至儲存緩衝器107並儲存。
例如，於可逆編碼部106中，進行可變長度編碼或算數編碼等可逆編碼處理。作為可變長度編碼，可列舉CAVLC(Context-Adaptive Variable Length Coding，內容適應性變動長度編碼)等。作為算數編碼，可列舉CABAC(Context-Adaptive Binary Arithmetic Coding，內容適應性二元算術編碼)等。
儲存緩衝器107臨時保持自可逆編碼部106供給之編碼資 料，於特定之時序，作為經編碼之編碼圖像，例如輸出至後段之未圖示之記錄裝置或傳送路徑等。
又，於量化部105中量化之轉換係數亦供給至逆量化部108。逆量化部108將該經量化之轉換係數以與量化部105所進行之量化對應之方法逆量化。逆量化部108將所獲得之轉換係數供給至逆正交轉換部109。
逆正交轉換部109將所供給之轉換係數以與正交轉換部104進行之正交轉換處理對應之方法逆正交轉換。經逆正交轉換之輸出(經解碼之差分資訊)供給至運算部110。
運算部110對由逆正交轉換部109供給之逆正交轉換結果、即經解碼之差分資訊加上經由選擇部116而自框內預測部114或運動視差預測/補償部115供給之預測圖像，獲得局部解碼之圖像(解碼圖像)。
例如，差分資訊與進行框內編碼之圖像對應之情形時，運算部110對該差分資訊加上自框內預測部114供給之預測圖像。又，例如，差分資訊與進行框間編碼之圖像之對應情形時，運算部110對該差分資訊加上自運動視差預測/補償部115供給之預測圖像。
該加法結果供給至解塊濾波器111及解碼圖片緩衝器112。
解塊濾波器111藉由適當進行解塊濾波器處理而去除解碼圖像之區塊失真。解塊濾波器111將該濾波處理結果供給至解碼圖片緩衝器112。
解碼圖片緩衝器112於特定之時序，將儲存之參照圖像 經由選擇部113輸出至框內預測部114或運動視差預測/補償部115。
例如，於進行框內編碼之圖像之情形時，解碼圖片緩衝器112將參照圖像經由選擇部113供給至框內預測部114。又，例如於進行框間編碼之情形時，解碼圖片緩衝器112將參照圖像經由選擇部113供給至運動視差預測/補償部115。
選擇部113於自解碼圖片緩衝器112供給之參照圖像為進行框內編碼之圖像之情形時，將該參照圖像供給至框內預測部114。又，選擇部113於自解碼圖片緩衝器112供給之參照圖像為進行框間編碼之圖像之情形時，將該參照圖像供給至運動視差預測/補償部115。
框內預測部114進行使用自語法處理部121供給之輸入圖像之畫面內之像素值產生預測圖像之框內預測(畫面內預測)。框內預測部114藉由複數個模式(框內預測模式)進行框內預測。
框內預測部114以所有框內預測模式產生預測圖像，評估各預測圖像，從而選擇最適合之模式。框內預測部114如選擇最適合之框內預測模式，則將以該最適合之模式產生之預測圖像經由選擇部116供給至運算部103或運算部110。
又，如上所述，框內預測部114將表示所採用之框內預測模式之框內預測模式資訊等資訊適當供給至可逆編碼部106。
運動視差預測/補償部115對進行框間編碼之圖像使用自語法處理部121供給之輸入圖像與經由選擇部113自解碼圖片緩衝器112供給之參照圖像而進行運動視差預測。此時，運動視差預測/補償部115使用藉由參照圖像索引分配部122分配之參照圖像索引之參照圖像。運動視差預測/補償部115根據檢測出之運動及視差向量進行運動視差補償處理，從而產生預測圖像(框間預測圖像資訊)。
運動視差預測/補償部115進行成為候補之所有框間預測模式之框間預測處理，從而產生預測圖像。運動視差預測/補償部115將所產生之預測圖像經由選擇部116供給至運算部103或運算部110。
又，運動視差預測/補償部115將表示所採用之框間預測模式之框間預測模式資訊或表示所算出之運動向量之運動向量資訊供給至可逆編碼部106。
選擇部116於進行框內編碼之圖像之情形時，將框內預測部114之輸出供給至運算部103或運算部110，於進行框間編碼之圖像之情形時，將運動視差預測/補償部115之輸出供給至運算部103或運算部110。
速率控制部117根據儲存於儲存緩衝器107之壓縮圖像，以不產生溢位或欠位之方式控制量化部105之量化動作之速率。
參照圖像索引分配部122將運動視差預測/補償部115預測對象圖像時所參照之參照圖像之索引對在視圖方向可參照之圖像與在時間方向可參照之圖像交替分配。於分配 時，作為處理對象圖像之資訊，參照來自語法處理部121之序列參數組及切片標頭等標頭資訊。進而，作為參照圖像之資訊，亦參照由儲存於解碼圖片緩衝器112之參照圖像之標頭資訊等獲得之參照圖像之時刻資訊及視圖資訊。
參照圖像索引分配部122將所分配之參照圖像索引供給至運動視差預測/補償部115。
[參照圖像索引之分配方法]
於H.264/AVC方式及HEVC方式中，如以下般規定同一視圖內之參照圖像索引之分配方法。
將圖像解碼時，可對過去解碼之圖像分配參照圖像索引。
參照圖像之索引可對解碼圖片緩衝器112內之可參照之圖像進行分配。參照圖像索引之最大值可藉由作為標頭資訊傳送而變更。
解碼圖像為P圖片之情形時，對清單L0，以可參照之圖像中之解碼順序較近之順序分配較小之參照圖像索引。
於解碼圖像為B圖片之情形時，對清單L0，可參照之圖像中之向前方向以表示圖片之輸出順序之資訊即POC(Picture Order Count)之降序，其次向後方向以POC之升序分配較小之參照圖像索引。又，對清單L1，以可參照之圖像中之向後方向POC之升序，其次以向前方向POC之降序分配較小之參照圖像索引。
圖2係表示先前之參照圖像索引之分配方法之例之圖。於圖2之例中，PicNum表示解碼順序之索引，POC表示時 刻(圖片之輸出順序)之索引，四邊表示圖片。
再者，圖2之例為同一(view_id=0)視圖內之例。於圖2例中，表示自上起依序表示以POC順序排列之圖片、以解碼順序排列之圖片、以及分配以解碼順序排列之圖片之解碼時所利用之參照圖像索引之參照圖片。又，於圖2之例中，參照圖像索引對清單L0表示ref_idx_l0=0至2，對清單L1表示ref_idx_l1=0至2。
以下，自左邊起按解碼順序進行說明。POC(輸出順序)為第0個之I_vi0表示view_id=0之I圖片，PicNum(解碼順序)為第0個。I_vi0為I圖片，因此如標註0之箭頭所示般，圖像未參照。
POC(輸出順序)為第8個之P_vi0表示view_id=0之P圖片，PicNum(解碼順序)為第1個。P_vi0為P圖片，又，僅I_vi0未解碼。因而，如標註1之箭頭所示，作為對清單L0之參照圖像索引之ref_idx_l0=0分配為I_vi0。
POC(輸出順序)為第4個之B4_vi0表示view_id=0之B圖片，PicNum(解碼順序)為第2個。B4_vi0為B圖片，僅I_vi0與P_vi0未解碼。因而，如標註2之箭頭所示，作為對清單L0之參照圖像索引之ref_idx_l0=0分配為I_vi0，ref_idx_l0=1分配為P_vi0。又，作為對清單L1之參照圖像索引之ref_idx_l1=0分配為P_vi0，ref_idx_l1=1分配為I_vi0。
POC(輸出順序)為第2個之B2_vi0表示view_id=0之B圖片，PicNum(解碼順序)為第3個。B2_vi0為B圖片，解碼 I_vi0、P_vi0、及B4_vi0。因而，如標註3之箭頭所示，作為對清單L0之參照圖像索引之ref_idx_l0=0分配為I_vi0，ref_idx_l0=1分配為B4_vi0，ref_idx_l0=2分配為P_vi0。又，作為對清單L1之參照圖像索引之ref_idx_l1=0分配為P_vi0，ref_idx_l1=1分配為B4_vi0，ref_idx_l1=2分配為I_vi0。
POC(輸出順序)為第6個之B6_vi0表示view_id=0之B圖片，PicNum(解碼順序)為第4個。B6_vi0為B圖片，將I_vi0、P_vi0、B4_vi0、及B2_vi0解碼。因而，如標註4之箭頭所示，作為對清單L0之參照圖像索引之ref_idx_l0=0分配為B2_vi0，ref_idx_l0=1分配為B4_vi0，ref_idx_l0=2分配為I_vi0。又，作為對清單L1之參照圖像索引之ref_idx_l1=0分配為P_vi0，ref_idx_l1=1分配為B4_vi0，ref_idx_l1=2分配為B2_vi0。
POC(輸出順序)為第1個之B1_vi0表示view_id=0之B圖片，PicNum(解碼順序)為第5個。B1_vi0為B圖片，將I_vi0、P_vi0、B4_vi0、B2_vi0、及B6_vi0解碼。因而，如標註5之箭頭所示，作為對清單L0之參照圖像索引之ref_idx_l0=0分配為I_vi0，ref_idx_l0=1分配為B2_vi0，ref_idx_l0=2分配為B4_vi0。又，作為對清單L1之參照圖像索引之ref_idx_l1=0分配為B2_vi0，ref_idx_l1=1分配為B4_vi0，ref_idx_l1=2分配為B6_vi0。
POC(輸出順序)為第3個之B3_vi0表示view_id=0之B圖片，PicNum(解碼順序)為第6個。B3_vi0為B圖片，將 I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0、及B1_vi0解碼。因為，如標註6之箭頭所示，作為對清單L0之參照圖像索引之ref_idx_l0=0分配為B2_vi0，ref_idx_l0=1分配為B1_vi0，ref_idx_l0=2分配為I_vi0。又，作為對清單L1之參照圖像索引之ref_idx_l1=0分配為B4_vi0，ref_idx_l1=1分配為B6_vi0，ref_idx_l1=2分配為P_vi0。
POC(輸出順序)為第5個之B5_vi0表示view_id=0之B圖片，PicNum(解碼順序)為第7個。B5_vi0為B圖片，將I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0、B1_vi0、及B3_vi0解碼。因而，如標註7之箭頭所示，作為對清單L0之參照圖像索引之ref_idx_l0=0分配為B4_vi0，ref_idx_l0=1分配為B3_vi0，ref_idx_l0=2分配為B2_vi0。又，作為對清單L1之參照圖像索引之ref_idx_l1=0分配為B6_vi0，ref_idx_l1=1分配為P_vi0，ref_idx_l1=2分配為B4_vi0。
POC(輸出順序)為第7個之B7_vi0表示view_id=0之B圖片，PicNum(解碼順序)為第8個。B7_vi0為B圖片，將I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0、B1_vi0、B3_vi0、及B5_vi0解碼。因而，如標註8之箭頭所示，作為對清單L0之參照圖像索引之ref_idx_l0=0分配為B6_vi0，ref_idx_l0=1分配為B5_vi0，ref_idx_l0=2分配為B4_vi0。又，作為對清單L1之參照圖像索引之ref_idx_l1=0分配為P_vi0，ref_idx_l1=1分配為B6_vi0，ref_idx_l1=2分配為B5_vi0。
然而，上述分配參照圖像索引之方法為同一視點內之處理。對此，於多視點編碼之情形時，於H.264/AVC方式及HEVC方式中，參照圖像索引在對時間方向之參照圖像全部分配之後，對視圖方向之參照圖像進行分配。而且，所分配之參照圖像索引之編碼效率較低，欲進行變更時，每次發送變更指令，但該發送本身亦成為編碼效率降低之原因之一。
以該改善為目的，以下對多視點編碼之情形之參照圖像索引之預設之分配方法進行闡述。
圖3係表示3視點圖像之情形之視圖間之參照關係之例的圖。於圖3之例中，自左邊起，以POC之升序(即時刻資訊之升序)表示I圖片、B2圖片、B1圖片、B2圖片、B0圖片、B2圖片、B1圖片、B2圖片、P圖片。於POC之索引上方亦表示PicNum之索引。
又，自上方起依序表示具有同一時刻資訊、具有不同視差資訊之視圖0(View_id_0)、視圖1(View_id_1)、視圖2(View_id_2)之各圖片。
於圖3之例中，表示以視圖0、視圖2、視圖1之順序解碼之情形。
視圖0稱為基礎視圖，該圖像可使用時間預測進行編碼。視圖1與視圖2稱為非基本(non-base)視圖，該圖像可使用時間預測與視差預測進行編碼。
視圖1之圖像於視差預測時，如箭頭所示，可參照完成編碼之視圖0之圖像與視圖2之圖像。由此，視圖1之POC 為第8個之P圖片於時間預測時雖為P圖片，但於視差預測時則為B圖片。
視圖2之圖像於視差預測時，如箭頭所示，可參照完成編碼之視圖0之圖像。
而且，於圖3之3視點圖像中，以如下順序進行解碼：首先，將基礎視圖之圖像解碼，於相同時刻之其他視圖之圖像全部經解碼之後，開始下一時刻(PicNum)之基礎視圖之圖像之解碼。
此處，一般而言，參照比例較高者多為參照圖像中之時間上之距離距預測對象圖像最近之參照圖像、及與預測圖像相同時刻之不同視圖之圖像。
據此，於圖像編碼裝置100中，對上述3視點圖像以預設進行如下之參照圖像索引之分配。
參照圖像索引分配部122參照解碼圖像之時刻資訊與視圖資訊、及參照圖像之時刻資訊與視圖資訊，對可參照之圖像進行參照圖像索引之分配。此處，時刻資訊為POC或PicNum等。視圖資訊為視圖ID或後述之序列參數之視圖參照資訊等。
參照圖像索引分配部122以自同一視圖向不同之視圖之順序分配較小之參照圖像索引，且對距解碼圖像之時刻較近之參照圖像分配較小之參照圖像索引。
作為其一個方法，例如，參照圖像索引分配部122對同一視圖之時間不同之參照圖像、與不同視圖之時間相同之參照圖像交替分配參照圖像索引。再者，亦可對時間相同 之複數個視圖連續分配參照圖像索引。
參照圖像索引分配部122於將視圖1之圖像解碼時，將該時刻之視圖0之圖像與視圖2之圖像、以及過去之時刻之所有視圖之圖像作為可參照之圖像。
進而，參照圖像索引分配部122於將視圖1之圖像解碼時，對清單L0將該時刻之視圖1及視圖0之圖像設為參照圖像，對清單L1將該時刻之視圖1及視圖2之圖像設為參照圖像。而且，無論何者之情形下，均對同一視圖之時間不同之參照圖像與不同視圖之時間相同之參照圖像交替分配參照圖像索引。再者，視圖中之參照圖像之順序對清單L0為向前方向POC之升序，對清單L1為向後方向POC之降序。於P圖片之情形時，為解碼順序。
例如，對清單L0，參照圖像索引分配部122首先於同一視圖(視圖1)中，對在過去之時刻時間上的距離最近之參照圖像分配參照圖像索引=0。其次，參照圖像索引分配部122對視圖0之同一時刻之參照圖像分配參照圖像索引=1。進而，參照圖像索引分配部122於同一視圖(視圖1)其次對時間的距離較近之參照圖像分配參照圖像索引=2。其次，參照圖像索引分配部122於視圖0其次對時間的距離較近之參照圖像分配參照圖像索引=3。參照圖像索引4以後若有必要，則亦進行該重複。
又，例如對清單L1，參照圖像索引分配部122首先於同一視圖(視圖1)對在過去之時刻時間的距離最近之參照圖像分配參照圖像索引=0。其次，參照圖像索引分配部122對 視圖2之同一時刻之參照圖像分配參照圖像索引=1。進而，索引分配部122於同一視圖(視圖1)其次對時間的距離較近之參照圖像分配參照圖像索引=2。其次，參照圖像索引分配部122於視圖2其次對時間的距離較近之參照圖像分配參照圖像索引=3。以後，參照圖像索引4以後，若有必要則進行該重複。
再者，以下亦將同一視圖之時間不同之參照圖像稱為時間方向之可參照之圖像，亦將不同視圖之時間相同之參照圖像稱為視圖方向之可參照之圖像。
根據以上之3視點圖像之情形之參照圖像索引分配方法對圖4之例進行說明。
圖4係表示利用參照圖像索引分配部122之參照圖像索引之分配方法之例的圖。於圖4之例中，PicNum表示解碼順序之索引，POC表示時刻(圖片之輸出順序)之索引，四邊表示圖片。
再者，圖4之例為視圖0(View_id_0)、視圖1(View_id_1)、視圖2(View_id_2)之3視點之圖片之例，3視點間之解碼設為視圖0、視圖2、視圖1之順序。
於圖4之例中，自上方其依序表示以POC順序排列之3視點之圖片、以解碼順序排列之3視點之圖片、以及視圖1之圖片(解碼順序)之解碼時所利用之分配參照圖像索引之參照圖片。又，於圖4之例中，參照圖像索引對清單L0表示ref_idx_l0=0至3，對清單L1表示ref_idx_l1=0至3。
以下，自左邊起以解碼順序說明黑色四邊中以白文字表 示之視圖1之圖像被解碼之例。POC(輸出順序)為第0個之I_vi1表示view_id=1之I圖片，PicNum(解碼順序)為第0個。I_vi1為I圖片，因此如標註0之箭頭所示，圖像並未參照。
POC(輸出順序)為第8個之P_vi1表示view_id=1之P圖片，PicNum(解碼順序)為第1個。P_vi1為P圖片，將I_vi0、I_vi2、I_vi1、Pvi0、P_vi2解碼。再者，參照圖3如上所述，P_vi1於視圖間為B圖片。
因而，如標註1之箭頭所示，對清單L0之參照圖像索引即ref_idx_l0=0分配為同一視圖即I_vi1，ref_idx_l0=2分配為不同視圖即P_vi0。又，對清單L1之參照圖像索引即ref_idx_l0=0分配為同一視圖即I_vi1，ref_idx_l0=2分配為不同視圖即P_vi2。
POC(輸出順序)為第4個之B4_vi1表示view_id=1之B圖片，PicNum(解碼順序)為第2個。B4_vi1為B圖片，將I_vi0、I_vi2、I_vi1、P_vi0、P_vi2、P_vi1、B4_vi0、B4_vi2解碼。
因而，如標註2之箭頭所示，對清單L0之參照圖像索引即ref_idx_l0=0分配為同一視圖即I_vi1，ref_idx_l0=1分配為不同之視圖即B4_vi0。其次，ref_idx_l0=2分配為同一視圖即P_vi1，ref_idx_l0=3分配為不同視圖即I_vi0。
又，對清單L1之參照圖像索引即ref_idx_l1=0分配為同一視圖即P_vi1，ref_idx_l0=1分配為不同之視圖即B4_vi2。其次，ref_idx_l0=2分配為同一視圖即I_vi1， ref_idx_l0=3分配為不同之視圖即P_vi2。
POC(輸出順序)為第2個之B2_vi1表示view_id=1之B圖片，PicNum(解碼順序)為第3個。B2_vi1為B圖片，將I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2解碼。
因而，如標註3之箭頭所示，對清單L0之參照圖像索引即ref_idx_l0=0分配為同一視圖即I_vi1，ref_idx_l0=1分配為不同之視圖即B2_vi0。其次，ref_idx_l0=2分配為同一視圖即B4_vi1，ref_idx_l0=3分配為不同之視圖即I_vi0。
又，對清單L1之參照圖像索引即ref_idx_l1=0分配為同一視圖即B4_vi1，分配ref_idx_l0=1分配不同之視圖即B2_vi2。其次，ref_idx_l0=2分配同一視圖即P_vi1，ref_idx_l0=3分配不同之視圖即B4_vi2。
POC(輸出順序)為第6個之B6_vi1表示view_id=1之B圖片，PicNum(解碼順序)為第4個。B6_vi1為B圖片，將I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2解碼。
因而，如標註4之箭頭所示，對清單L0之參照圖像索引即ref_idx_l0=0分配為同一視圖即B4_vi1，ref_idx_l0=1分配為不同之視圖即B6_vi0。其次，ref_idx_l0=2分配為同一視圖即B2_vi1，ref_idx_l0=3分配為不同之視圖即B4_vi0。
又，對清單L1之參照圖像索引即ref_idx_l1=0分配為同 一視圖即P_vi1，ref_idx_l0=1分配為不同之視圖即B6_vi2。其次，ref_idx_l0=2分配為同一視圖即B4_vi1，ref_idx_l0=3分配為不同之視圖即P_vi2。
POC(輸出順序)為第1個之B1_vi1表示view_id=1之B圖片，PicNum(解碼順序)為第5個。B1_vi1為B圖片，將I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2解碼。
因而，如標註5之箭頭所示，對清單L0之參照圖像索引即ref_idx_l0=0分配為同一視圖即I_vi1，ref_idx_l0=1分配為不同之視圖即B1_vi0。其次，ref_idx_l0=2分配為同一視圖即B2_vi1，ref_idx_l0=3分配為不同之視圖即I_vi0。
又，對清單L1之參照圖像索引即ref_idx_l1=0分配為同一視圖即B2_vi1，ref_idx_l0=1分配為不同之視圖即B1_vi2。其次，ref_idx_l0=2分配為同一視圖即B4_vi1，ref_idx_l0=3分配為不同之視圖即B2_vi2。
POC(輸出順序)為第3個之B3_vi1表示view_id=1之B圖片，PicNum(解碼順序)為第6個。B1_vi1為B圖片，將I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0、B3_vi2解碼。
因而，如標註6之箭頭所示，對清單L0之參照圖像索引即ref_idx_l0=0分配為同一視圖即B2_vi1，ref_idx_l0=1分 配為不同之視圖即B3_vi0。其次，ref_idx_l0=2分配為同一視圖即B1_vi1，ref_idx_l0=3分配為不同之視圖即B2_vi0。
又，對清單L1之參照圖像索引即ref_idx_l1=0分配為同一視圖即B4_vi1，ref_idx_l0=1分配為不同之視圖即B3_vi2。其次，ref_idx_l0=2分配為同一視圖即B6_vi1，ref_idx_l0=3分配為不同之視圖即B4_vi2。
POC(輸出順序)為第5個之B5_vi1表示view_id=1之B圖片，PicNum(解碼順序)為第7個。B5_vi1為B圖片，將I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0、B3_vi2、B3_vi1、B5_vi0、B5_vi2解碼。
因而，如標註7之箭頭所示，對清單L0之參照圖像索引即ref_idx_l0=0分配為同一視圖即B4_vi1，ref_idx_l0=1分配為不同之視圖即B5_vi0。其次，ref_idx_l0=2分配為同一視圖即B3_vi1，ref_idx_l0=3分配為不同之視圖即B4_vi0。
又，對清單L1之參照圖像索引即ref_idx_l1=0分配為同一視圖即B6_vi1，ref_idx_l0=1分配為不同之視圖即B5_vi2。其次，ref_idx_l0=2分配為同一視圖即P_vi1，ref_idx_l0=3分配為不同之視圖即B6_vi2。
POC(輸出順序)為第7個之B7_vi1表示view_id=1之B圖片，PicNum(解碼順序)為第8個。B7_vi1為B圖片，將 I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0、B3_vi2、B3_vi1、B5_vi0、B5_vi2、B5_vi1、B7_vi0、B7_vi2解碼。
因而，如標註8之箭頭所示，對清單L0之參照圖像索引即ref_idx_l0=0分配為同一視圖即B6_vi1，ref_idx_l0=1分配為不同之視圖即B7_vi0。其次，ref_idx_l0=2分配為同一視圖即B5_vi1，ref_idx_l0=3分配為不同之視圖即B6_vi0。
又，對清單L1之參照圖像索引即ref_idx_l1=0分配為同一視圖即P_vi1，ref_idx_l0=1分配為不同之視圖即B7_vi2。其次，ref_idx_l0=2分配為同一視圖即B6_vi1，ref_idx_l0=3分配為不同之視圖即P_vi2。
如上所述，對在時間方向可參照之圖像與在視圖方向可參照之圖像交替分配參照圖像索引。藉此，對參照比例較高之參照圖像分配較小之參照圖像索引，其結果為，可改善編碼效率。
即，參照圖像索引越為較小之值碼量越少。因此，由於對參照比例較高之參照圖像分配較小之索引，故而可使整體之碼量減小。
又，參照圖像索引藉由傳送參照圖像索引之變更指令而可自由變更，但此時，必需將變更指令資訊編碼。
對此，藉由預設上述之參照圖像索引之分配方法而適當 地分配參照圖像索引之情形變多，傳送變更指令資訊之情形變少。藉此，可進一步改善編碼效率。
圖5係表示序列參數組之語法之例之圖。各列之左端之數字係為了說明而標註之列編號。
於圖5之例中，於第21列設定有max_num_ref_frames。該max_num_ref_frames為該流中之參照圖像之最大值(片數)。藉此，參照圖像索引分配部122識別可分配之參照圖像之片數。
於第31列至第38列記述有視圖參照資訊。例如，視圖參照資訊由視圖之合計數、視圖之識別碼、清單L0中之視差預測之片數、清單L0中之參照視圖之識別碼、清單L1中之視差預測之片數、及清單L1中之參照視圖之識別碼等構成。
具體而言，於第31列設定有num_views。該num_views為該流中所包含之視圖之合計數。
於第33列設定有view_id[i]。該view_id[i]為用以區別視圖之識別碼。
於第34列設定有num_ref_views_l0[i]。該num_ref_views_l0[i]為清單L0中之視差預測之片數。例如，於「num_ref_views_l0[i]」表示2之情形時，表示於清單L0中，僅可參照2片視圖。
於第35列設定有ref_view_id_l0[i][j]。該ref_view_id_l0[i][j]為清單L0中之由視差預測所參照之視圖之識別碼。例如，即便存在3個視圖，亦於「num_ref_ views_l0[i]」表示2之情形時，為了識別3個中之清單L0所參照之兩個視圖為哪個視圖而設定有「ref_view_id_l0[i][j]」。
於第36列設定有num_ref_views_l1[i]。該num_ref_views_l1[i]為清單L1中之視差預測之片數。例如，於「num_ref_views_l1[i]」表示2之情形時，表示於清單L1中，僅可參照兩篇視圖。
於第37列設定有ref_view_id_l1[i][j]。該ref_view_id_l1[i][j]為清單L1中之以視差預測參照之視圖之識別碼。例如，即便存在3個視圖，亦與「num_ref_views_l1[i]」表示2之情形時，為了識別3個中之清單L1所參照之兩個視圖為哪個視圖而設定有「ref_view_id_l1[i][j]」。
圖6表示切片標頭之語法之例之圖。各列之左端之數字係為了說明而標註之列編號。
於圖6之例中，於第5列設定有slice_type。該slice_type係表示該切片為I切片、P切片、及B切片中之哪個切片者。
於第8列設定有view_id。該view_id為用以識別視圖之ID(identification)。藉此，參照圖像索引分配部122可識別視圖。
於第12列設定有pic_order_cnt_lsb。該pic_order_cnt_lsb為時刻資訊(即POC，Picture Order Count)。
於第14列設定有num_ref_idx_active_override_flag。該 num_ref_idx_active_override_flag係表示是否由預設變更參照圖像索引之有效數之旗標。於該旗標為1之情形時，第16列及第17列之設定有效。再者，雖未圖示，但與圖片參數組設定有參照圖像索引之預設之有效數，於該旗標為0之情形時，預設之值有效。
於第16列設定有num_ref_idx_l0_active_minus1。該num_ref_idx_l0_active_minus1於第15列之旗標為1之情形時，表示清單L0中之參照圖像索引之有效數。
於第17列設定有num_ref_idx_l1_active_minus1。該num_ref_idx_l1_active_minus1中，第5列之切片類型為B切片，第15列之旗標為1之情形時表示清單L1中之參照圖像索引之有效數。
[編碼處理之流程]
其次，對藉由如上所述之圖像編碼裝置100執行之各處理之流程進行說明。最初，參照圖7之流程圖，說明編碼處理之流程之例。
於步驟S101中，A/D轉換部101對所輸入之圖像進行A/D轉換。於步驟S102中，畫面重排緩衝器102記憶經A/D轉換之圖像，根據各圖片之顯示順序對編碼之順序進行重排。
於步驟S103中，語法處理部121依序確認自畫面重排緩衝器102讀取之圖像之資料，對圖像之資料插入標頭資訊。將語法處理部121插入有標頭資訊等之圖像供給至運算部103、框內預測部114及運動視差預測/補償部115。又，語法處理部121將序列參數組及切片標頭等資訊供給 至參照圖像索引分配部122。
於步驟S104中，運算部103運算自語法處理部121供給之圖像與預測圖像之差分。預測圖像於進行框間預測之情形時自運動視差預測/補償部115經由選擇部116供給至運算部103，於進行框內預測之情形時自框內預測部114經由選擇部116供給至運算部103。
差分資料與原本之圖像資料相比資料量有所降低。因而，與將圖像直接編碼之情形相比，可壓縮資料量。
於步驟S105中，正交轉換部104對藉由步驟S104之處理而產生之差分資訊進行正交轉換。具體而言，進行離散餘弦轉換、K-L轉換等正交轉換，並輸出轉換係數。
於步驟S106中，量化部105對藉由步驟S105之處理而獲得之正交轉換係數進行量化。
藉由步驟S106之處理量化之差分資訊如下述般局部解碼。即，於步驟S107中，逆量化部108將藉由步驟S106之處理而產生之經量化之正交轉換係數(亦稱為量化係數)以與量化部105之特性對應之特性逆量化。
於步驟S108中，逆正交轉換部109將藉由步驟S107之處理而獲得之正交轉換係數以與正交轉換部104之特性對應之特性逆正交轉換。
於步驟S109中，運算部110對局部解碼之差分資訊加上預測圖像。產生局部解碼之圖像(與對運算部103之輸入對應之圖像)。
於步驟S110中，解塊濾波器111對藉由步驟S109之處理 而產生之圖像進行解塊濾波器處理。藉此去除區塊失真。
於步驟S111中，解碼圖片緩衝器112記憶藉由步驟S110之處理去除區塊失真後之圖像。再者，亦自運算部110向解碼圖片緩衝器112供給、記憶未藉由解塊濾波器111濾波處理之圖像。
於步驟S112中，框內預測部114進行框內預測模式之框內預測處理。
於步驟S113中，參照圖像索引分配部122進行參照圖像索引之分配處理。該參照圖像索引之分配處理之詳情參照圖8稍後闡述。參照圖像索引分配部122將所分配之參照圖像索引供給至運動視差預測/補償部115。
於步驟S114中，運動視差預測/補償部115使用藉由步驟S113之處理而分配之參照圖像索引之參照圖像，執行進行框間預測模式下之運動視差預測或運動視差補償之框間運動視差預測處理。
於步驟S115中，選擇部116根據自框內預測部114及運動視差預測/補償部115輸出之各價值函數值決定最適合預測模式。即，選擇部116選擇藉由框內預測部114產生之預測圖像與藉由運動視差預測/補償部115產生之預測圖像之任意一方。
又，該表示選擇哪一個預測圖像之選擇資訊供給至框內預測部114及運動視差預測/補償部115中之選擇有預測圖像之一方。於選擇最適合框內預測模式之預測圖像之情形時，框內預測部114將表示最適合框內預測模式之資訊(即 框內預測模式資訊)供給至可逆編碼部106。
於選擇最適合框間預測模式之預測圖像之情形時，運動視差預測/補償部115將表示最適合框間預測模式之資訊、視需要與對應於最適合框間預測模式之資訊輸出至可逆編碼部106。作為對應於最適合框間預測模式之資訊，可列舉運動向量資訊、視差向量資訊或旗標資訊、參照圖框資訊等。
於步驟S116中，可逆編碼部106將藉由步驟S106之處理量化之轉換係數編碼。即，對差分圖像(框間之情形時為2次差分圖像)進行可變長度編碼或算數編碼等可逆編碼。
又，可逆編碼部106將具有步驟S115之處理而選擇之預測圖像之預測模式所關聯之資訊附加於將差分圖像編碼而獲得之編碼資料中。即，可逆編碼部106將自框內預測部114供給之框內預測模式資訊、或自運動視差預測/補償部115供給之最適合框間預測模式所對應之資訊等附加於編碼資料中。
於步驟S117中，儲存緩衝器107儲存自可逆編碼部106輸出之編碼資料。適當讀取儲存於儲存緩衝器107之編碼資料，經由傳送路徑傳送至解碼側。
於步驟S118中，速率控制部117根據藉由步驟S117之處理而儲存於儲存緩衝器107之壓縮圖像，以不產生溢位或欠位之形式控制量化部105之量化動作之速率。
若步驟S118之處理結束，則編碼處理結束。
[參照圖像索引分配處理之流程]
其次，參照圖8之流程圖，對圖7之步驟S113中所執行之參照圖像索引之分配處理之流程的例進行說明。再者，關於該處理，解碼圖像(即，預測對象之圖像)僅對P圖片或B圖片執行。
於上述圖7之步驟S103中，根據語法處理部121，將解碼圖像之序列參數組及切片標頭等資訊供給至參照圖像索引分配部122。
於步驟S131中，參照圖像索引分配部122接收解碼圖像之視圖參照資訊。視圖參照資訊參照圖5如上所述，記述於來自語法處理部121之序列參數。參照圖像索引分配部122藉由取得視圖參照資訊而可識別應由清單L0及清單L1參照之視圖之數或視圖之識別碼。
於步驟S132中，參照圖像索引分配部122接收參照圖像之最大值。參照圖像之最大值參照圖5設定為上述序列參數之max_num_ref_frames。
於步驟S133中，參照圖像索引分配部122判定解碼圖像之圖片類型是否為P圖片。解碼圖像之圖片類型參照圖6記述為上述切片標頭之slice_type。於步驟S133中，若判定為解碼圖像之圖片類型為P圖片之情形時，處理進入至步驟S134。
再者，於其以後之處理中，亦參照來自解碼圖片緩衝器112之參照圖像之時刻資訊及視圖資訊。
於步驟S134中，參照圖像索引分配部122於同一視圖對未分配參照圖像索引之參照圖像、且解碼順序最近之參照 圖像分配一個清單L0之參照圖像索引。
於步驟S135中，參照圖像索引分配部122對未分配參照圖像索引之同一時刻之參照圖像、且較解碼圖像之視圖更小最近之視圖ID之參照圖像分配一個清單L0之參照圖像索引。
於步驟S136中，判定參照圖像索引分配部122對同一時刻之所有視圖之參照圖像參照圖像索引分配是否完成。於步驟S136中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配未完了之情形時，處理返回步驟S135，並重複其以後之處理。
於步驟S136中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配完成之情形時，處理進入至步驟S137。於步驟S137中，參照圖像索引分配部122判定參照圖像之索引是否小於步驟S132所接收之參照圖像之最大值(片數)。
於步驟S137中，判定為參照圖像之索引小於參照圖像之最大值之情形時，處理返回步驟S134，並重複其以後之處理。於步驟S137中，判定為參照圖像之索引為參照圖像之最大值以上之情形時，分配之參照圖像已不存在，因此參照圖像索引分配處理結束，處理返回圖7之步驟S113。
另一方面，於步驟S133中，判定為解碼圖像之圖片類型為B圖片之情形時，處理進入至步驟S138。
於步驟S138中，參照圖像索引分配部122於同一視圖對未分配參照圖像索引之參照圖像、且解碼順序最近之參照 圖像分配一個清單L0之參照圖像索引。
於步驟S139中，參照圖像索引分配部122對未分配參照圖像索引之同一時刻之參照圖像、且較解碼圖像之視圖更小最近之視圖ID之參照圖像分配一個清單L0之參照圖像索引。
於步驟S140中，判定參照圖像索引分配部122對同一時刻之所有視圖之參照圖像參照圖像索引分配是否完成。於步驟S140中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配未完成之情形時，處理返回到步驟S139，並重複其以後之處理。
於步驟S140中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配完成之情形時，處理進入至步驟S141。於步驟S141中，參照圖像索引分配部122於同一視圖對未分配參照圖像索引之參照圖像、且解碼順序最近之參照圖像分配一個清單L1之參照圖像索引。
於步驟S142中，參照圖像索引分配部122對未分配參照圖像索引之同一時刻之參照圖像、且較解碼圖像之視圖更小最近之視圖ID之參照圖像分配一個清單L1之參照圖像索引。
於步驟S143中，判定參照圖像索引分配部122對同一時刻之所有視圖之參照圖像參照圖像索引分配是否完成。於步驟S143中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配未完成之情形時，處理返回到步驟S142，並重複其以後之處理。
於步驟S143中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配完成之情形時，處理進入至步驟S144。於步驟S144中，參照圖像索引分配部122判定參照圖像之索引是否小於步驟S132所接收之參照圖像之最大值(片數)。
於步驟S144中，判定為參照圖像之索引小於參照圖像之最大值之情形時，處理返回到步驟S138，並重複其以後之處理。於步驟S144中，判定為參照圖像之索引為參照圖像之最大值以上之情形時，分配之參照圖像已不存在，因此參照圖像索引分配處理結束，處理返回到圖7之步驟S113。
再者，本處理於步驟S137及S144中，在參照圖像之索引成為參照圖像之最大值之前，成為設定為切片標頭或圖片參數組之參照圖像索引之預設之有效數之情形時亦結束。
如上所述，對時間方向之參照圖像與視圖方向之參照圖像交替分配參照圖像索引。藉此，對參照比例較高之參照圖像分配較小之參照圖像索引，因此可改善編碼效率。
再者，於圖8之例中，說明自對同一時刻之所有視圖之參照圖像分配索引之後、解碼順序接下而對較近之參照圖像分配索引之例。即，於上述說明中，說明了對同一時刻之所有視圖之參照圖像分配連續索引之情形，但並不限定於此。例如，亦可於時間方向及視圖方向均一個一個交替分配索引。
進而，例如，亦可僅對圖5之序列參數組之視圖參照資 訊所示之個數之視圖分配連續之索引。
即，序列參數組之視圖參照資訊之中，以「num_ref_views_l0」及「num_ref_views_l1」設定清單L0及清單L1中之視差預測之片數。又，於「ref_view_id_l1」及「num_ref_views_l0」中亦設定視差預測所參照之視圖之識別碼。因而，於對視圖方向之參照圖像分配索引之情形時，亦可根據視圖參照資訊，分配僅此處所設定之視圖連續之索引。
又，無論係時間方向還是視圖方向，即便逐一地交替分配索引時，亦可根據視圖參照資訊進行決定。
該視圖參照資訊所示之視圖可考慮圖像間之關聯相對較佳者，相反地，視圖參照資訊中未表示之視圖可考慮幾乎不存在關聯者。因而，視圖參照資訊中未表示之視圖不作為分配之對象，或視圖參照資訊所示之視圖優先分配等、對索引分配使用該資訊，藉此可進一步改善編碼效率。
又，於圖8之例中，對時間方向之參照圖像先分配索引，但亦可對視圖方向之參照圖像先分配索引之後，對時間方向之參照圖像分配索引。於此情形時，亦可於視圖方向之參照圖像全部分配參照圖像索引之後，對時間方向之參照圖像進行分配。而且，此時，視圖方向之參照圖像亦可限定為視圖參照資訊所示之視圖。
進而，如圖8般，以時間方向之參照圖像、視圖方向之參照圖像之順序交替分配索引之型態為時間方向優先型態。相對於此，以視圖方向之參照圖像、時間方向之參照 圖像之順序交替分配索引之型態為視圖方向優先型態。
設定該等兩個型態時，亦可以如下方式構成：將表示選擇其哪一個型態之1位元之型態旗標發送至解碼側，於解碼側，以對應於旗標之型態進行索引分配。該型態旗標例如亦可對每個切片發送。
例如，藉由靜止圖像或有動作之圖像等圖像，更佳之型態不同，因此藉由以此方式發送型態選擇之旗標，例如與藉由圖像發送變更指令之情形相比，可改善編碼效率。
<2.第2實施形態> [圖像解碼裝置]
圖9表示應用本發明之作為圖像處理裝置之圖像解碼裝置之一實施形態的構成。圖9所示之圖像解碼裝置200為對應於圖1之圖像編碼裝置100之解碼裝置。
由圖像編碼裝置100編碼之編碼資料經由特定之傳送路徑傳送至對應於該圖像編碼裝置100之圖像解碼裝置200並進行解碼。
如圖9所示，圖像解碼裝置200包含儲存緩衝器201、可逆解碼部202、逆量化部203、逆正交轉換部204、運算部205、解塊濾波器206、畫面重排緩衝器207、及D/A轉換部208。又，圖像解碼裝置200包含解碼圖片緩衝器209、選擇部210、框內預測部211、運動視差預測/補償部212、及選擇部213。
進而，圖像解碼裝置200包含語法處理部221及參照圖像索引分配部222。
儲存緩衝器201儲存傳送來之編碼資料。該編碼資料為藉由圖像編碼裝置100編碼而成者。語法處理部221根據自儲存緩衝器201以特定之時序讀取之編碼資料取得序列參數組、圖片參數組、及切片標頭等，將所取得之各標頭資訊與編碼資料一併供給至可逆解碼部202。又，語法處理部221將所取得之標頭資訊等供給至參照圖像索引分配部222。
可逆解碼部202將來自語法處理部221之編碼資料以對應於圖1之可逆編碼部106之編碼方式之方式解碼。逆量化部203將藉由可逆解碼部202解碼而獲得之係數資料(量化係數)以對應於圖1之量化部105之量化方式之方式逆量化。即，逆量化部203使用自圖像編碼裝置100供給之量化參數以與圖1之逆量化部108相同之方法進行量化係數之逆量化。
逆量化部203將經逆量化之係數資料、即正交轉換係數供給至逆正交轉換部204。逆正交轉換部204以與圖1之正交轉換部104之正交轉換方式對應之方式對該正交轉換係數進行逆正交轉換，獲得圖像編碼裝置100中正交轉換之前之殘差資料所對應之解碼殘差資料。
經逆正交轉換而獲得之解碼殘差資料供給至運算部205。又，於運算部205，經由選擇部213自框內預測部211或者運動視差預測/補償部212供給有預測圖像。
運算部205將該解碼殘差資料與預測圖像相加，獲得藉由圖像編碼裝置100之運算部103對預測圖像進行減算運算 前之圖像資料所對應的解碼圖像資料。運算部205將該解碼圖像資料供給至解塊濾波器206。
解塊濾波器206藉由適當進行解塊濾波器處理而去除解碼圖像之區塊失真。解塊濾波器206將該濾波處理結果供給至畫面重排緩衝器207。
畫面重排緩衝器207進行圖像之重排。即，將藉由圖1之畫面重排緩衝器102為了編碼之順序而重排之圖框之順序重排成原本顯示之順序。D/A轉換部208對自畫面重排緩衝器207供給之圖像進行D/A轉換，輸出並顯示於未圖示之顯示器。
解塊濾波器206之輸出進而供給至解碼圖片緩衝器209。
解碼圖片緩衝器209、選擇部210、框內預測部211、運動視差預測/補償部212、及選擇部213分別對應於圖像編碼裝置100之解碼圖片緩衝器112、選擇部113、框內預測部114、運動視差預測/補償部115、及選擇部116。
選擇部210自解碼圖片緩衝器209讀取框間處理之圖像與參照之圖像，並供給至運動視差預測/補償部212。又，選擇部210自解碼圖片緩衝器209讀取用於框內預測之圖像，並供給至框內預測部211。
對框內預測部211自可逆解碼部202適當供給由標頭資訊獲得之表示框內預測模式之資訊等。框內預測部211根據該資訊，由自解碼圖片緩衝器209取得之參照圖像產生預測圖像，並將所產生之預測圖像供給至選擇部213。
對運動視差預測/補償部212自可逆解碼部202供給由標 頭資訊獲得之資訊(預測模式資訊、運動向量資訊、視差向量資訊、及各種參數等)。又，對運動視差預測/補償部212攻擊藉由參照圖像索引分配部222分配之參照圖像索引。
運動視差預測/補償部212根據自可逆解碼部202供給之該等資訊與藉由參照圖像索引分配部222分配之參照圖像索引，由自解碼圖片緩衝器209取得之參照圖像產生預測圖像。運動視差預測/補償部212將所產生之預測圖像供給至選擇部213。
選擇部213選擇藉由運動視差預測/補償部212或框內預測部211產生之預測圖像，並供給至運算部205。
參照圖像索引分配部222與圖像編碼裝置100之參照圖像索引分配部122基本上同樣地構成。參照圖像索引分配部222對在視圖方向可參照之圖像與在時間方向可參照之圖像交替分配運動視差預測/補償部212預測對象圖像時所參照之參照圖像之索引。進行分配時，作為對象圖像之資訊，參照來自語法處理部221之序列參數組及切片標頭等之標頭資訊。進而，作為參照圖像之資訊，亦參照由儲存於解碼圖片緩衝器209之參照圖像之標頭資訊等獲得之參照圖像的時刻資訊及視圖資訊。
參照圖像索引分配部222將所分配之參照圖像索引供給至運動視差預測/補償部212。
[解碼處理之流程]
其次，對藉由如上所述之圖像解碼裝置200執行之各處 理之流程進行說明。最初，參照圖10之流程圖對解碼處理之流程之例進行說明。
若開始解碼處理，則於步驟S201中，儲存緩衝器201儲存傳送來之編碼資料。於步驟S202中，語法處理部221根據自儲存緩衝器201以特定時序讀取之編碼資料取得標頭資訊。語法處理部221將所取得之各標頭資訊與編碼資料一併供給至可逆解碼部202。又，語法處理部221將所取得之標頭資訊等供給至參照圖像索引分配部222。
於步驟S203中，可逆解碼部202將自語法處理部221供給之編碼資料解碼。即，將藉由圖1之可逆編碼部106編碼之I圖片、P圖片、以及B圖片解碼。
此時，由各標頭資訊取得運動向量資訊、視差向量資訊、參照圖框資訊、預測模式資訊(框內預測模式、或框間預測模式)、以及旗標或量化參數等資訊。
於預測模式資訊為框內預測模式資訊之情形時，預測模式資訊供給至框內預測部211。於預測模式資訊為框間預測模式資訊之情形時，與預測模式資訊對應之運動向量資訊供給至運動視差預測/補償部212。
於步驟S204中，逆量化部203對藉由可逆解碼部202解碼而獲得之經量化之正交轉換係數進行逆量化。於步驟S205中，逆正交轉換部204對藉由逆量化部203逆量化而獲得之正交轉換係數以對應於圖1之正交轉換部104之方法進行逆正交轉換。藉此，將與圖1之正交轉換部104之輸入(運算部103之輸出)對應之差分資訊解碼。
於步驟S206中，運算部205對藉由步驟S205之處理而獲得之差分資訊加上預測圖像。藉此將原本之圖像資料解碼。
於步驟S207中，解塊濾波器206對藉由步驟S206之處理獲得之解碼圖像進行適當濾波。藉此，自適當解碼圖像去除區塊失真。
於步驟S208中，解碼圖片緩衝器209記憶經濾波之解碼圖像。
於步驟S209中，參照圖像索引分配部222進行參照圖像索引之分配處理。該參照圖像索引之分配處理之詳情參照圖11稍後闡述。參照圖像索引分配部222將所分配之參照圖像索引供給至運動視差預測/補償部212。
於步驟S210中，框內預測部211或運動視差預測/補償部212對應於自可逆解碼部202供給之預測模式資訊分別進行圖像之預測處理。
即，於自可逆解碼部202供給框內預測模式資訊之情形時，框內預測部211進行框內預測模式之框內預測處理。又，於自可逆解碼部202供給框間預測模式資訊之情形時，運動視差預測/補償部212使用藉由步驟S209之處理而分配之參照圖像索引之參照圖像進行框間預測模式之運動視差預測補償處理。
於步驟S211中，選擇部213選擇預測圖像。即，對選擇部213供給藉由框內預測部211產生之預測圖像、或者藉由運動視差預測/補償部212產生之預測圖像。選擇部213選 擇供給有該預測圖像之側，並將該預測圖像供給至運算部205。該預測圖像藉由步驟S206之處理對差分資訊進行加法運算。
於步驟S212中，畫面重排緩衝器207進行解碼圖像資料之圖框之重排。即，將解碼圖像資料之藉由圖像編碼裝置100之畫面重排緩衝器102(圖1)為了編碼而重排之圖框的順序重排成原本顯示之順序。
於步驟S213中，D/A轉換部208對畫面重排緩衝器207中將圖框重排之解碼圖像資料進行D/A轉換。將該解碼圖像資料輸出至未圖示之顯示器，並顯示該圖像。若該步驟S213之處理結束，則解碼處理結束。
[參照圖像索引分配處理之流程]
其次，參照圖11之流程圖，對圖10之步驟S209中所執行之參照圖像索引之分配處理之流程的例進行說明。再者，關於該處理，解碼圖像僅執行P圖片或B圖片。又，圖11之參照圖像索引分配處理為與圖8之參照圖像索引分配處理基本上相同之處理，因此，對圖8之處理之效果或重寫由於重複而不記載，亦完全適合圖11之處理。
於圖10之步驟S202中，藉由語法處理部221將解碼圖像之序列參數組及切片標頭等資訊供給至參照圖像索引分配部222。
於步驟S231中，參照圖像索引分配部222接收視圖參照資訊。視圖參照資訊參照圖5如上所述，記述於來自語法處理部221之序列參數。參照圖像索引分配部222藉由取得 視圖參照資訊而可識別於清單L0及清單L1應參照之視圖之個數及視圖之識別碼。
於步驟S232中，參照圖像索引分配部222接收參照圖像之最大值。參照圖像之最大值參照圖5設定為上述序列參數之max_num_ref_frames。
於步驟S233中，參照圖像索引分配部222判定解碼圖像之圖片類型是否為P圖片。解碼圖像之圖片類型參照圖6記述為上述切片標頭之slice_type。於步驟S233中，判定為解碼圖像之圖片類型為P圖片之情形時，處理進入至步驟S234。
再者，於其以後之處理中，亦參照來自解碼圖片緩衝器209之參照圖像之時刻資訊及視圖資訊。
於步驟S234中，參照圖像索引分配部222於同一視圖對未分配參照圖像索引之參照圖像、且解碼順序最近之參照圖像分配一個清單L0之參照圖像索引。
於步驟S235中，參照圖像索引分配部222對未分配參照圖像索引之同一時刻之參照圖像、且較解碼圖像之視圖更小最近之視圖ID之參照圖像分配一個清單L0參照圖像索引。
於步驟S236中，判定參照圖像索引分配部222對同一時刻之所有視圖之參照圖像參照圖像索引分配是否完成。於步驟S236中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配未完成之情形時，處理返回到步驟S235，並重複其以後之處理。
於步驟S236中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配完成之情形時，處理進入至步驟S237。於步驟S237中，參照圖像索引分配部222判定參照圖像之索引是否小於步驟S232中所接收之參照圖像之最大值(片數)。
於步驟S237中，判定為參照圖像之索引小於參照圖像之最大值之情形時，處理返回到步驟S234，並重複其以後之處理。於步驟S237中，判定為參照圖像之索引為參照圖像之最大值以上之情形時，分配之參照圖像已不存在，因此參照圖像索引分配處理結束，處理返回到圖10之步驟S209。
另一方面，於步驟S233中，判定為解碼圖像之圖片類型為B圖片之情形時，處理進入至步驟S238。
於步驟S238中，參照圖像索引分配部222於同一視圖對未分配參照圖像索引之參照圖像、且解碼順序最近之參照圖像分配一個清單L0之參照圖像索引。
於步驟S239中，參照圖像索引分配部222對未分配參照圖像索引之同一時刻之參照圖像、且較解碼圖像之視圖更小最近之視圖ID之參照圖像分配一個清單L0之參照圖像索引。
於步驟S240中，判定參照圖像索引分配部222對同一時刻之所有視圖之參照圖像參照圖像索引分配是否完成。於步驟S240中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配未完成之情形時，處理返回到步驟S239， 並重複其以後之處理。
於步驟S240中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配完成之情形時，處理進入至步驟S241。於步驟S241中，參照圖像索引分配部222於同一視圖對未分配參照圖像索引之參照圖像、且解碼順序最近之參照圖像分配一個清單L1之參照圖像索引。
於步驟S242中，參照圖像索引分配部222對未分配參照圖像索引之同一時刻之參照圖像、且較解碼圖像之視圖更小最近之視圖ID之參照圖像分配一個清單L1之參照圖像索引。
於步驟S243中，判定參照圖像索引分配部222對同一時刻之所有視圖之參照圖像參照圖像索引分配是否完成。於步驟S243中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配未完成之情形時，處理返回到步驟S242，並重複其以後之處理。
於步驟S243中，判定為對同一時刻之所有視圖之參照圖像參照圖像索引分配完成之情形時，處理進入至步驟S244。於步驟S244中，參照圖像索引分配部222判定參照圖像之索引是否小於步驟S232中所接收之參照圖像之最大值(片數)。
於步驟S244中，判定為參照圖像之索引小於參照圖像之最大值之情形時，處理返回到步驟S238，並重複其以後之處理。於步驟S244中，判定為參照圖像之索引為參照圖像之最大值以上之情形時，分配之參照圖像已不存在，因此 參照圖像索引分配處理結束，處理返回到圖10之步驟S209。
如上所述，對時間方向之參照圖像與視圖方向之參照圖像交替分配參照圖像索引。藉此，對參照比例較高之參照圖像分配較小之參照圖像索引，因此可改善編碼效率。
再者，於上述說明中，對如下之例進行說明：即設定好時間方向優先型態與視圖方向優先型態兩種型態，將表示選擇其中哪一個型態之1位元之型態旗標發送至解碼側。然而，型態之種類並不限定於兩種。例如，亦可如下所說明般，準備好4種分配型態(方法)，於編碼側，自該4種之中指定1種作為預設。
<3.第3實施形態> [4種分配型態]
其次，參照圖12至圖15，對可指定為預設之4種分配型態進行說明。於圖12至圖15之例中，中央所示之B圖片表示編碼對象之圖片。相對於編碼對象之圖片於左右方向所示之圖片表示同一視圖之時間不同之參照圖片(時間方向之參照圖像)。POC表示時刻(圖片之輸出順序)之索引。表示時刻以A至E之順序經過。
又，相對於編碼對象之圖片於上下方向所示之圖片表示同一時刻之不同視圖之參照圖片(視圖方向之參照圖像)。以ViewID=V至Z之順序表示分配較小之ViewID。
進而，粗的實線箭頭表示對List0之索引之分配順序，粗的鏈線箭頭表示對List1之索引之分配順序。再者，於圖12 至圖15之例中，對於時間方向之參照圖像，對List0分配可參照之圖像中之向前方向以POC之降序較小之參照圖像索引。對List1分配可參照之圖像中之向後方向以POC之升序較小之參照圖像索引。
於圖12之例中，表示time first(時間方向優先)型態。time first型態如圖12之例所示，為如下型態：即對同一視圖之時間不同之參照(於時間方向可參照之)圖片分配索引之後，對同一時間之不同視圖之參照(於視圖方向可參照之)圖片分配索引。
例如，如粗的實線箭頭所示，對於List0，將refPicList0[0]之索引分配給ViewID為X、POC為B之B圖片，將refPicList0[1]之索引分配給ViewID為X、POC為A之B圖片。其後，將refPicList0[2]之索引分配給ViewID為W、POC為C之B圖片，將refPicList0[3]之索引分配給ViewID為V、POC為C之B圖片。
又，如粗的鏈線箭頭所示，對於List1，將refPicList1[0]之索引分配給ViewID為X、POC為D之B圖片，將refPicList1[1]之索引分配給ViewID為X、POC為E之B圖片。其後，將refPicList1[2]之索引分配給ViewID為Y、POC為C之B圖片，將refPicList1[3]之索引分配個ViewID為Z、POC為C之B圖片。
於圖13之例中，表示view fist(視圖方向優先)型態。View fist型態如圖13之例所示，為如下型態：對即同一時間之不同之視圖之參照(於視圖方向可參照之)圖片分配索 引之後，對同一視圖之時間不同之參照(於時間方向可參照之)圖片分配索引。
例如，如粗的實線箭頭所示，對於List0，將refPicList0[0]之索引分配給ViewID為W、POC為C之B圖片，將refPicList0[1]之索引分配給ViewID為V、POC為C之B圖片。其後，將refPicList0[2]之索引分配給ViewID為X、POC為B之B圖片，將refPicList0[3]之索引分配給ViewID為X、POC為A之B圖片。
又，如粗的鏈線箭頭所示，對於List1，將refPicList1[0]之索引分配給ViewID為Y、POC為C之B圖片，將refPicList1[1]之索引分配給ViewID為Z、POC為C之B圖片。其後，將refPicList1[2]之索引分配給ViewID為X、POC為D之B圖片，將refPicList1[3]之索引分配給ViewID為X、POC為E之B圖片。
於圖14之例中，表示time first zig-zag(時間方向優先之交替)型態。time first zig-zag型態如圖14之例所示，為如下型態：即對同一視圖之時間不同之參照(於時間方向可參照之)圖片與同一時間之不同之視圖之參照(於視圖方向可參照之)圖片交替分配索引。再者，於該time first zig-zag型態中，如稱為時間方向優先般，開自同一視圖之時間不同之參照圖片開始索引之分配。
例如，如粗的實線箭頭所示，對於List0，將refPicList0[0]之索引分配給ViewID為X、POC為B之B圖片，其後，將refPicList0[1]之索引分配給ViewID為W、 POC為C之B圖片。其次，將refPicList0[2]之索引分配給ViewID為X、POC為A之B圖片，其後，將refPicList0[3]之索引分配給ViewID為V、POC為C之B圖片。
又，如粗的鏈線箭頭所示，對於List1，將refPicList1[0]之索引分配給ViewID為X、POC為D之B圖片，其後，將refPicList1[1]之索引分配給ViewID為Y、POC為C之B圖片。其次，將refPicList1[2]之索引分配給ViewID為X、POC為E之B圖片，其後，將refPicList1[3]之索引分配給ViewID為Z、POC為C之B圖片。
於圖15之例中，表示view first zig-zag(視圖方向優先之交替)型態。view first zig-zag型態如圖15之例所示，為如下型態：即對同一時間之不同視圖之參照(於視圖方向可參照之)圖片與同一視圖之時間不同之參照(於時間方向可參照之)圖片交替分配索引。再者，於該view first zig-zag型態中，如稱為視圖方向優先般，自同一時間之不同視圖之參照圖片開始索引之分配。
例如，如粗的實線箭頭所示，對於List0，將refPicList0[0]之索引分配給ViewID為W、POC為C之B圖片，其後，將refPicList0[1]之索引分配給ViewID為X、POC為B之B圖片。其次，將refPicList0[2]之索引分配給ViewID為V、POC為C之B圖片，其後，將refPicList0[3]之索引分配給ViewID為X、POC為A之B圖片。
又，如粗的鏈線箭頭所示，對於List1，將refPicList1[0]之索引分配給ViewID為Y、POC為C之B圖片，其後，將 refPicList1[1]之索引分配給ViewID為X、POC為D之B圖片。其次，將refPicList1[2]之索引分配給ViewID為Z、POC為C之B圖片，其後，將refPicList1[3]之索引分配給ViewID為X、POC為E之B圖片。
以上4種分配型態於圖像編碼裝置100中，由如下所示之語法內指定。例如、藉由語法處理部121而指定(附加)。
[序列參數組之語法之例]
圖16係表示序列參數組(SPS，sequence parameter sets)之語法之例的圖。各列之左端之數字係為了說明而標註之列編號。
於圖16之例中，於第13行設定有default_reference_picture_index_pattern_idc。該default_reference_picture_index_pattern_idc為表示指定哪一個分配型態作為該序列中之參照圖片索引之預設的型態ID。
default_reference_picture_index_pattern_idc以如下方式選擇參照圖片索引之初期化製程。
例如，於default_reference_picture_index_pattern_idc=0之情形時，預設參照圖片索引在不同之視圖之圖片之前分配給同一視圖之圖片。即，於default_reference_picture_index_pattern_idc=0之情形時，參照圖13而上述之time first型態指定為該序列中之預設之分配型態。
於default_reference_picture_index_pattern_idc=1之情形時，預設參照圖片索引於同一視圖之圖片之前分配給不同 視圖之圖片。即，於default_reference_picture_index_pattern_idc=1之情形時，參照圖14而上述之view first型態指定為該序列中之預設之分配型態。
於default_reference_picture_index_pattern_idc=2之情形時，預設參照圖片索引交替分配給同一視圖之圖片與不同視圖之圖片，其順序自同一視圖之圖片開始。即，於default_reference_picture_index_pattern_idc=2之情形時，參照圖15將上述之time first zig-zag型態指定為該序列中之預設之分配型態。
於default_reference_picture_index_pattern_idc=3之情形時，預設參照圖片索引交替分配給同一視圖之圖片與不同視圖之圖片，其順序自不同之視圖之圖片開始。即，於default_reference_picture_index_pattern_idc=3之情形時，參照圖15將上述之view first zig-zag型態指定為該序列中之預設之分配型態。
於上述說明中，說明了於序列參數組中，對每個序列以定量指定預設之分配型態之例。對此，例如，於作為既存之NAL單元之圖片參數組(PPS)中設置上述型態ID，而如下所說明般，亦可根據每次場景變換或淡化之開始與結束而切換預設之分配型態。
[分配型態與設想之場景之例]
圖17表示於設想4種分配型態與哪種場景之情形時，各者是否設定為預設之表。
例如，於所設想之場景為時間關聯與視圖間關聯相比相 當高之場景之情形時，於編碼側，對圖片參數組之型態ID記述0，並設定time first型態作為預設之分配型態。
例如，於所設想之場景為視圖間關聯與時間關聯相比相當高之場景之情形時，於編碼側，對圖片參數組之型態ID記述1，並設定view first型態作為預設之分配型態。
例如，於所設想之場景為時間關聯與視圖間關聯大致相同、但一般而言時間關聯與視圖間關聯相比相對較高的場景之情形時，於編碼側如下設定。即。對圖片參數組之型態ID記述2，並設定time first zig-zag型態作為預設之分配型態。
例如，於所設想之場景為視圖間關聯與時間關聯大致相同、但一般而言視圖間關聯與時間關聯相比相對較高的場景之情形時，於編碼側如下設定。即，對圖片參數組之型態ID記述3，設定view first zig-zag型態作為預設之分配型態。
藉此，於圖像解碼裝置200中，當接收到重新設定該型態ID之圖片參數組時，切換預設之分配型態。藉此，可根據每次場景瞬間改變之場景變換或亮度逐漸改變之淡化之開始與結束而切換預設分配型態。其結果，由於對參照比例較高之參照圖像分配較小之參照圖像索引，因此可進而改善編碼效率。
再者，於上述說明中，以於作為既存之NAL單元之圖片參數組(PPS)設置上述型態ID之方式進行了說明，但並不限定於PPS，若可適應複數圖片，則亦可設置其他NAL單 元。例如，亦可設置為作為新的NAL單元之APS(Adaptation Parameter Set，適應參數組)等。
又，如此，可設想：以圖片參數組將型態ID發送給每個複數圖片，藉此與對上述每個序列參數之每一個發送相比位元量增加。因而，較理想為於位元量之增加不成為符負荷之情形時，以圖片參數組將型態ID發送給每個複數圖片。
再者，於上述說明中，對自4種型態選擇預設之分配型態之例進行了說明，但亦可將上述4種中之任意數種(2種等)型態設為候補而選擇預設之分配型態。又，候補之型態之個數並不限定於4種，亦可為複數種。
又，於上述說明中，對型態旗標之例與型態ID之例進行了說明，但型態旗標與型態ID均為作為識別型態者之型態識別資訊之一例，於型態識別資訊中包含型態旗標與型態ID。
再者，本發明亦可應用於使用如下所示之HEVC方式之圖像編碼裝置及圖像解碼裝置。
<4.第4實施形態> [圖像編碼裝置之構成例]
圖18表示應用本發明之作為圖像處理裝置之圖像編碼裝置之其他實施形態之構成。
圖18所示之圖像編碼裝置311藉由HEVC方式使用預測處理將圖像資料編碼。
於圖1之例中，圖像編碼裝置311包含A/D(Analog/ Digital)轉換部321、畫面重排緩衝器322、運算部323、正交轉換部324、量化部325、可逆編碼部326、及儲存緩衝器327。又，圖像編碼裝置311包含逆量化部328、逆正交轉換部329、運算部330、解塊濾波器331、圖框記憶體332、選擇部333、框內預測部334、運動預測/補償部335、預測圖像選擇部336、及速率控制部337。
進而，圖像編碼裝置311於解塊濾波器331與圖框記憶體332之間包含適應偏移濾波器341及適應環路濾波器342。
A/D轉換部321將所輸入之圖像資料進行A/D轉換。輸出並記憶於畫面重排緩衝器322。
畫面重排緩衝器322根據GOP(Group of Picture)構造，將所記憶之顯示之順序之圖框之圖像重排成用以編碼之圖框之順序。畫面重排緩衝器322將對圖框之順序進行重排之圖像供給至運算部323。又，畫面重排緩衝器322亦將對圖框之順序進行重排之圖像供給至框內預測部334及運動預測/補償部335。
運算部323由自畫面重排緩衝器322讀取之圖像減去經由預測圖像選擇部336而自框內預測部334或者運動預測/補償部335供給之預測圖像，並將該差分資訊輸出至正交轉換部324。
例如，於進行框內編碼之圖像之情形時，運算部323有自畫面重排緩衝器322讀取之圖像減去自框內預測部334供給之預測圖像。又，例如，於進行框間編碼之圖像之情形時，運算部323由自畫面重排緩衝器322讀取之圖像減去自 運動預測/補償部335供給之預測圖像。
正交轉換部324對自運算部323供給之差分資訊實施離散餘弦轉換、K-L轉換等正交轉換，並將其轉換係數供給至量化部325。
量化部325將正交轉換部324所輸出之轉換係數量化。量化部325將經量化之轉換係數供給至可逆編碼部326。
可逆編碼部326對於該量化之轉換係數實施可變長度編碼、算數編碼等可逆編碼。
可逆編碼部326自框內預測部334取得表示框內預測模式之資訊等參數，自運動預測/補償部335取得表示框間預測模式之資訊及運動向量資訊等參數。
可逆編碼部326將經量化之轉換係數編碼，並且將所取得之各參數(語法要素)編碼，設為編碼資料之標頭資訊之一部分(進行多工化)。可逆編碼部326將編碼而獲得之編碼資料供給至儲存緩衝器327並儲存。
例如，於可逆編碼部326中，進行可變長度編碼或算數編碼等可逆編碼處理。作為可變長度編碼，可列舉CAVLC(Context-Adaptive Variable Length Coding，內容適應性變動長度編碼法)等。作為算數編碼，可列舉CABAC(Context-Adaptive Binary Arithmetic Coding，前文參考之內容適應性二元算術編碼)等。
儲存緩衝器327臨時保持自可逆編碼部326供給之編碼串流(資料)，於特定之時序中，作為編碼之編碼圖像，例如輸出至後段之未圖示之記錄裝置或傳送路徑等。即，儲存 緩衝器327亦為傳送編碼串流之傳送部。
又，於量化部325中經量化之轉換係數亦供給至逆量化部328。逆量化部328以與利用量化部325之量化對應之方法將該量化之轉換係數逆量化。逆量化部328將所獲得之轉換係數供給至逆正交轉換部329。
逆正交轉換部329以與利用正交轉換部324之正交轉換處理對應之方法將所供給之轉換係數逆正交轉換。經逆正交轉換之輸出(經解碼之差分資訊)供給至運算部330。
運算部330對藉由逆正交轉換部329供給之逆正交轉換結果、即經解碼之差分資訊加上經由預測圖像選擇部336而自框內預測部334或者運動預測/補償部335供給之預測圖像，從而獲得局部解碼之圖像(解碼圖像)。
例如，差分資訊與進行框內編碼之圖像對應之情形時，運算部330對該差分資訊加上自框內預測部334供給之預測圖像。又，例如，差分資訊與進行框間編碼之圖像對應之情形時，運算部330對該差分資訊加上自運動預測/補償部335供給之預測圖像。
作為該加法結果之解碼圖像供給至解塊濾波器331及圖框記憶體332。
解塊濾波器331藉由進行適當解塊濾波器處理而去除解碼圖像之區塊失真。解塊濾波器331將該濾波處理結果供給至適應偏移濾波器341。
適應偏移濾波器341對利用解塊濾波器331濾波後之圖像進行主要去除振鈴之偏移濾波(SAO，Sample adaptive offset，適應樣點補償)處理。
偏移濾波器之種類存在帶偏移2種、邊緣偏移6種、無偏移之共計9種。適應偏移濾波器341使用對每個分割區域決定偏移濾波器之種類者即quad-tree構造與每個分割區域之偏移值，對利用解塊濾波器331之濾波後之圖像實施濾波處理。
再者，於圖像編碼裝置311中，quad-tree構造與每個分割區域之偏移值藉由適應偏移濾波器341算出而使用。所算出之quad-tree構造與每個分割區域之偏移值於可逆編碼部326被編碼，並發送之後述之圖19之圖像解碼裝置351。
適應偏移濾波器341將濾波處理後之圖像供給至適應環路濾波器342。
適應環路濾波器342中，作為ALF處理單位，以最大編碼單位即LCU單位進行適應環路濾波器(ALF，Adaptive Loop Filter)處理。濾波後之圖像供給至圖框記憶體332。於適應環路濾波器342中，作為濾波器，例如使用2次元之文納濾波器(Wiener Filter)。當然，亦可使用除了文納濾波器以外之濾波器。
適應環路濾波器342對利用適應偏移濾波器341之濾波後之圖像，使用濾波係數對每個LCU進行濾波處理，將濾波處理結果供給至圖框記憶體332。
再者，於圖像編碼裝置311中，濾波係數對每個LCU以使與來自畫面重排緩衝器312之原始圖形之殘差最小之方式藉由適應環路濾波器342算出而使用。所算出之濾波係 數於可逆編碼部326中被編碼，並發送至後述之圖19之圖像解碼裝置351。又，本說明書中，記載對每個LCU進行處理之例，但適應環路濾波器342之處理單位並不限定於此。
圖框記憶體332於特定之時序將所儲存之參照圖像經由選擇部333輸出至框內預測部334或運動預測/補償部335。
例如，於進行框內編碼之圖像之情形時，圖框記憶體332將參照圖像經由選擇部333供給至框內預測部334。又，例如，於進行框間編碼之情形時，圖框記憶體332將參照圖像經由選擇部333而供給至運動預測/補償部335。
選擇部333於自圖框記憶體332供給之參照圖像為進行框內編碼之圖像之情形時，將該參照圖像供給至框內預測部334。又，選擇部333於自圖框記憶體332供給之參照圖像為進行框間編碼之圖像之情形時，將該參照圖像供給至運動預測/補償部335。
框內預測部334使用畫面內之像素值進行產生預測圖像之框內預測(畫面內預測)。框內預測部334藉由複數個模式(框內預測模式)進行框內預測。
框內預測部334以所有框內預測模式產生預測圖像，評估各預測圖像，選擇最適合之模式。框內預測部334若選擇最適合之框內預測模式，則將以該最適合之模式產生之預測圖像經由預測圖像選擇部336供給至運算部323或運算部330。
又，如上所述，框內預測部334將表示所採用之框內預 測模式之框內預測模式資訊等參數適當供給至可逆編碼部326。
運動預測/補償部335對進行框間編碼之圖像，使用自畫面重排緩衝器322供給之輸入圖像與經由選擇部333而自圖框記憶體332供給之參照圖像進行運動預測。又，運動預測/補償部335根據藉由運動預測檢測出之運動向量進行動作補償處理，從而產生預測圖像(框間預測圖像資訊)。
運動預測/補償部335進行成為候補之所有框間預測模式之框間預測處理，從而產生預測圖像。運動預測/補償部335將所產生之預測圖像經由預測圖像選擇部336供給至運算部323或運算部330。
又，運動預測/補償部335將表示所採用之框間預測模式之框間預測模式資訊、或表示所算出之運動向量之運動向量資訊等參數供給至可逆編碼部326。
預測圖像選擇部336於為進行框內編碼之圖像之情形時，將框內預測部334之輸出供給至運算部323或運算部330，於為進行框間編碼之圖像之情形時，將運動預測/補償部335之輸出供給至運算部323或運算部330。
速率控制部337根據儲存於儲存緩衝器327之壓縮圖像，以不產生溢位或欠位之方式控制量化部325之量化動作之速率。
<5.第5實施形態> [圖像解碼裝置之構成例]
圖19表示應用本發明之作為圖像處理裝置之圖像解碼裝 置之一實施形態之構成。圖19所示之圖像解碼裝置351為與圖18之圖像編碼裝置311對應之解碼裝置，對來自圖像編碼裝置311之編碼資料藉由HEVC方式進行解碼。
由圖像編碼裝置311編碼之編碼資料設為經由特定之傳送路徑傳送至與該圖像編碼裝置311對應之圖像解碼裝置351並解碼者。
如圖19所示，圖像解碼裝置351包含儲存緩衝器361、可逆解碼部362、逆量化部363、逆正交轉換部364、運算部365、解塊濾波器366、畫面重排緩衝器367、及D/A轉換部368。又，圖像解碼裝置351包含圖框記憶體369、選擇部370、框內預測部371、運動預測/補償部372、及選擇部373。
進而，圖像解碼裝置351於解塊濾波器366與畫面重排緩衝器367及圖框記憶體369之間包含適應偏移濾波器381及適應環路濾波器382。
儲存緩衝器361亦為接收傳送來之編碼資料之接收部。儲存緩衝器361接收並儲存傳送來之編碼資料。該編碼資料為藉由圖像編碼裝置311編碼者。可逆解碼部362對自儲存緩衝器361以特定之時序讀取之編碼資料以與圖18之可逆編碼部326之編碼方式對應之方式進行解碼。
可逆解碼部362將表示經解碼之框內預測模式之資訊等參數供給至框內預測部371，將表示框間預測模式之資訊或運動向量資訊等參數供給至運動預測/補償部372。又，可逆解碼部362將經解碼之適應環路濾波器之參數(濾波係 數等)供給至適應環路濾波器382。可逆解碼部362將經解碼之適應偏移參數(quad-tree構造與每個分割區域之偏移值等)供給至適應偏移濾波器381。
逆量化部363對藉由可逆解碼部362解碼而獲得之係數資料(量化係數)以與圖18之量化部325之量化方式對應之方式進行逆量化。即，逆量化部363使用自圖像編碼裝置311供給之量化參數，以與圖18之逆量化部328相同之方法進行量化係數之送量化。
逆量化部363將經逆量化之係數資料、即正交轉換係數供給至逆正交轉換部364。逆正交轉換部364以與圖18之正交轉換部324之正交轉換方式對應之方式將該正交轉換係數逆正交轉換，從而獲得與圖像編碼裝置311中經正交轉換之前之殘差資料對應的解碼殘差資料。
經逆正交轉換而獲得之解碼殘差資料供給至運算部365。又，對運算部365，經由選擇部373而自框內預測部371或者運動預測/補償部372供給預測圖像。
運算部365將該解碼殘差資料與預測圖像相加，從而獲得藉由圖像編碼裝置311之運算部323對預測圖像進行減算之前之圖像資料所對應的解碼圖像資料。運算部365將該解碼圖像資料供給至解塊濾波器366。
解塊濾波器366藉由進行適當解塊濾波器處理而去除解碼圖像之區塊失真。解塊濾波器366將該濾波處理結果供給至適應偏移濾波器381。
適應偏移濾波器381對利用解塊濾波器366進行之濾波後 之圖像進行主要去除振鈴之偏移濾波器(SAO)處理。
適應偏移濾波器381使用作為對每個分割區域決定偏移濾波器之種類者的quad-tree構造與每個分割區域之偏移值，對利用解塊濾波器366進行之濾波後之圖像實施濾波處理。適應偏移濾波器381將濾波處理後之圖像供給至適應環路濾波器382。
再者，該quad-tree構造與每個分割區域之偏移值為藉由圖像編碼裝置311之適應偏移濾波器341算出並編碼而傳送來者。而且，藉由圖像編碼裝置311編碼之quad-tree構造與每個分割區域之偏移值於圖像解碼裝置351中被接收，藉由可逆解碼部362解碼，藉由適應偏移濾波器381而使用。
適應環路濾波器382與圖18之適應環路濾波器342基本上同樣地構成，作為ALF處理單位，以最大之編碼單位即LCU單位進行適應環路濾波器(ALF，Adaptive Loop Filter)處理。適應環路濾波器382對利用適應偏移濾波器381進行之濾波後之圖像使用濾波係數，對每個LCU進行濾波處理，並將濾波處理結果供給至圖框記憶體369及畫面重排緩衝器367。
再者，於圖像解碼裝置351中，濾波係數藉由圖像編碼裝置311之適應環路濾波器342而針對每個LCU算出，經編碼而傳送來著藉由可逆解碼部362解碼而使用。
畫面重排緩衝器367進行圖像之重排。即，將藉由圖18之畫面重排緩衝器322為了編碼之順序而重排之圖框之順 序重排成原本顯示之順序。D/A轉換部368對自畫面重排緩衝器367供給之圖像進行D/A轉換，輸出並顯示於未圖示之顯示器。
適應環路濾波器382之輸出進而供給至圖框記憶體369。
圖框記憶體369、選擇部370、框內預測部371、運動預測/補償部372、及選擇部373分別對應於圖像編碼裝置311之圖框記憶體332、選擇部333、框內預測部334、運動預測/補償部335、及預測圖像選擇部336。
選擇部370自圖框記憶體369讀取框間處理之圖像與參照之圖像，並供給至運動預測/補償部372。又，選擇部370自圖框記憶體369讀取用於框內預測之圖像，並供給至框內預測部371。
對框內預測部371適當自可逆解碼部供給表示將標頭資訊解碼而獲得之框內預測模式之資訊等。框內預測部371根據該資訊，由自圖框記憶體369取得之參照圖像產生預測圖像，並將所產生之預測圖像供給至選擇部373。
對運動預測/補償部372自可逆解碼部362供給將標頭資訊解碼而獲得之資訊(預測模式資訊、運動向量資訊、參照圖框資訊、旗標及各種參數等)。
運動預測/補償部372根據自可逆解碼部362供給之各者之資訊由自圖框記憶體369取得之參照圖像產生預測圖像，並將所產生之預測圖像供給至選擇部373。
選擇部373選擇藉由運動預測/補償部372或框內預測部371產生之預測圖像並供給至運算部365。
再者，於上述說明中，作為編碼方式基本使用H.264/AVC方式或HEVC方式，但本發明並不限定於此，可應用進行運動視差預測、補償之其他編碼方式/解碼方式。
再者，本發明例如如MPEG、H.26x等般，可將將藉由離散餘弦轉換等之正交轉換與動作補償而壓縮之圖像資訊(位元串流)應用於經由衛星廣播、有線電視、網路或行動電話機等網路媒體接收時所使用之圖像編碼裝置及圖像解碼裝置。又，本發明可應用於在如光、磁碟、及閃存記憶體般之記憶媒體上進行處理時所使用之圖像編碼裝置及圖像解碼裝置。進而，本發明亦可應用於該等圖像編碼裝置及圖像解碼裝置等中所包含之運動預測補償裝置。
<6.第6實施形態> [電腦]
上述一系列處理既可藉由硬體執行，亦可藉由軟體執行。於藉由軟體執行一系列處理之情形時，構成該軟體之程式安裝於電腦。此處，電腦中包含組入專用之硬體之電腦、或藉由安裝各種程式而可執行各種功能之通用個人電腦等。
於圖20中，電腦500之CPU(Central Processing Unit，中央處理單元)501按照記憶於ROM(Read Only Memory，唯讀記憶體)502之程式、或自記憶部513載入至RAM(Random Access Memory，隨機存取記憶體)503之程式進行各種處理。又，於RAM503在CPU501執行各種處理時亦適當記憶 必要之資料等。
CPU501、ROM502及RAM503經由匯流排504而相互連接。又，於該匯流排504以連接有輸入輸出介面510。
於輸入輸出介面510連接有包含鍵盤、鼠標等之輸入部511、包含CRT(Cathode Ray Tube，陰極射線管)或LCD(Liquid Crystal Display，液晶顯示器)等之顯示器、以及包含揚聲器等之輸出部512、藉由硬碟等構成之記憶部513、藉由調制解調器等構成之通訊部514。通訊部514進行經由包含網路之網路的通訊處理。
又，於輸入輸出介面510視需要連接有驅動器515，適當裝設磁碟、光碟、光磁碟或者半導體記憶體等可運動媒體521，自該等讀取之電腦程式視需要安裝於記憶部513。
於藉由軟體執行上述一系列處理之情形時，構成該軟體之程式自網路或記錄媒體安裝。
該記錄媒體例如如圖20所示，與裝置主體分開，並不僅僅由為了對使用者發佈程式而散發之記錄有程式之磁碟(包含軟磁碟)、光碟(包含CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc))、光磁碟(MD(Mini Disc))、或者包含半導體記憶體等之可運動媒體521構成，由在組入於預先裝置主體之態下向使用者發佈之記錄有程式之ROM502或記憶部513中所包含之硬碟等構成。
再者，電腦所執行之程式亦可為按照本說明書中所說明之順序以時間序列進行處理之程式，並列地，亦可為或者 於進行調用時等必要之時序進行處理之程式。
又，於本說明書中，記述記錄於記錄媒體之程式之步驟當然包含按照所記載之順序以時間序列進行之處理，且亦包含並非以時間序列處理，而是並列地或者個別地執行之處理。
又，於本說明書中，所謂系統，係表示藉由複數個裝置(device)構成之裝置整體者。
又，於以上內容中，亦可分割作為1個裝置(或處理部)而說明之構成，作為複數個裝置(或處理部)而構成。相反地，亦可彙總於以上內容中作為複數個裝置(或處理部)而說明之構成而作為1個裝置(或處理部)而構成。又，當然亦可對各裝置(或各處理部)之構成附加除了上述以外之構成。進而，若作為系統整體之構成或動作實質上相同，則亦可使某個裝置(或處理部)之構成之一部分包含於其他裝置(或其他處理部)之構成中。即，本技術並不限定於上述實施形態，在不脫離本技術之主旨之範圍內科進行各種變更。
上述實施形態之圖像編碼裝置及圖像解碼裝置可應用於衛星廣播、有線電視等有線播放、網路上之發佈、及利用行動通訊向終端之發佈等中之發送機或者接收機、光碟、磁碟及閃存記憶體等媒體中記錄圖像的記錄裝置、或自該等記憶媒體再生圖像之再生裝置等各種電子機器。以下，對4個應用例進行說明。
<7.應用例> [第1應用例：電視接收機]
圖21表示應用上述實施形態之電視裝置之概略構成之一例。電視裝置900包含天線901、調諧器902、解多工器903、解碼器904、影像信號處理部905、顯示部906、聲音信號處理部907、揚聲器908、外部介面909、控制部910、使用者介面911及匯流排912。
調諧器902自經由天線901接收之放送信號抽出所期望之頻道之信號，將所抽出之信號解調。而且，調諧器902將藉由解調而獲得之編碼位元串流輸出至解多工器903。即，調諧器902具有接收將圖像編碼之編碼串流的作為電視裝置900中之傳送機構的作用。
解多工器903自編碼位元串流將視聽對象之節目之影像流及聲音流分離，並將經分離之各流輸出至解碼器904。又，解多工器903自編碼位元串流抽出EPG(Electronic Program Guide，電子節目指南)等輔助性之資料，並將所抽出之資料供給至控制部910。再者，解多工器903亦可於編碼位元串流被擾碼(scramble)之情形時，進行解擾(descramble)。
解碼器904將自解多工器903輸入之影像流及聲音流解碼。而且，解碼器904將藉由解碼處理產生之影像資料輸出至影像信號處理部905。又，解碼器904將藉由解碼處理產生之聲音資料輸出至聲音信號處理部907。
影像信號處理部905再生自解碼器904輸入之影像資料，並於顯示部906顯示影像。又，影像信號處理部905亦可將 經由網路供給之應用畫面顯示於顯示部906。又，影像信號處理部905亦可對影像資料根據設定進行例如雜訊去除等追加處理。進而，影像信號處理部905亦可產生例如選單、按鈕或游標等GUI(Graphical User Interface，圖形使用者介面)之圖像，並將所產生之圖像重疊於輸出圖像。
顯示部906藉由自影像信號處理部905供給之驅動信號而驅動，於顯示裝置(例如液晶顯示器、電漿顯示器或OELD(Organic ElectroLuminescence Display)(有機EL(電致發光)顯示器)等)之影像面上顯示影像或圖像。
聲音信號處理部907對自解碼器904輸入之聲音資料進行D/A轉換及放大等再生處理，自揚聲器908輸出聲音。又，聲音信號處理部907亦可對聲音資料進行雜訊去除等追加處理。
外部介面909為用以連接電視裝置900與外部機器或網路之介面。例如，經由外部介面909接收之影像流或聲音流亦可藉由解碼器904解碼。即，又，外部介面909亦具有接收將圖像編碼之編碼串流的作為電視裝置900中之傳送機構之作用。
控制部910包含CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶藉由CPU執行之程式、程式資料、EPG資料、及經由網路而取得之資料等。藉由記憶體記憶之程式例如於電視裝置900啟動時藉由CPU讀取並執行。CPU藉由執行程式而根據例如自使用者介面911輸入之操作信號控制電視裝置900之動作。
使用者介面911與控制部910連接。使用者介面911包含例如使用者用而操作電視裝置900之按鈕及開關、以及遠距離控制信號之接收部等。使用者介面911經由該等構成要素檢測出使用者所進行之操作而產生操作信號，並將所產生之操作信號輸出至控制部910。
匯流排912將調諧器902、解多工器903、解碼器904、影像信號處理部905、聲音信號處理部907、外部介面909及控制部910相互連接。
於如此構成之電視裝置900中，解碼器904具有上述實施形態之圖像解碼裝置之功能。藉此，電視裝置900中之圖像之解碼時，可改善多視點編碼中之編碼效率。
[第2應用例：行動電話機]
圖22表示應用上述實施形態之行動電話機之概略構成之一例。行動電話機920包含天線921、通訊部922、聲音編解碼器923、揚聲器924、麥克風925、相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931、操作部932及匯流排933。
天線921連接於通訊部922。揚聲器924及麥克風925連接於聲音編解碼器923。操作部932連接於控制部931。匯流排933將通訊部922、聲音編解碼器923、相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930及控制部931相互連接。
行動電話機920以包含聲音通話模式、資料通訊模式、攝像模式及電視電話模式之各種動作模式進行聲音信號之 收發、電子郵件或圖像資料之收發、圖像之攝像、及資料之記錄等動作。
於聲音通話模式中，藉由麥克風925產生之類比聲音信號供給至聲音編解碼器923。聲音編解碼器923將類比聲音信號轉換為聲音資料，對經轉換之聲音資料進行A/D轉換並壓縮。而且，聲音編解碼器923將壓縮後之聲音資料輸出至通訊部922。通訊部922對聲音資料科進行編碼及調變，並產生發送信號。而且，通訊部922將所產生之發送信號經由天線921發送至基地台(未圖示)。又，通訊部922對經由天線921接收之無線信號進行放大及頻率轉換，從而取得接收信號。而且，通訊部922對接收信號進行解調及解碼而產生聲音資料，並將所產生之聲音資料輸出至聲音編解碼器923。聲音編解碼器923對聲音資料進行擴展及D/A轉換，從而產生類比聲音信號。而且，聲音編解碼器923將所產生之聲音信號供給至揚聲器924而輸出聲音。
又，於資料通訊模式中，例如控制部931根據經由操作部932而由使用者進行之操作產生構成電子郵件之文字資料。又，控制部931使文字顯示於顯示部930。又，控制部931根據經由操作部932之來自使用者之發送指示產生電子郵件資料，並將所產生之電子郵件資料輸出至通訊部922。通訊部922對電子郵件資料進行編碼及調變，從而產生發送信號。而且，通訊部922將所產生之發送信號經由天線921而發送至基地台(未圖示)。又，通訊部922對經由天線921接收之無線信號進行放大及頻率轉換，從而取得 接收信號。而且，通訊部922對接收信號進行解調及解碼而將電子郵件資料，並將經解碼之電子郵件資料輸出至控制部931。控制部931於顯示部930顯示電子郵件之內容，並且使電子郵件資料記憶於記錄再生部929之記憶媒體。
記錄再生部929包含可讀寫之任意記憶媒體。例如、記憶媒體既可為RAM或閃存記憶體等內置型之記憶媒體，亦可為硬碟、磁碟、光磁碟、光碟、USB(Unallocated Space Bitmap，未分配空間位圖)記憶體或記憶卡等外部裝設型之記憶媒體。
又，於攝像模式中，例如，相機部926拍攝被攝體而產生圖像資料，並將所產生之圖像資料輸出至圖像處理部927。圖像處理部927對自相機部926輸入之圖像資料進行編碼，並使編碼串流記憶於記憶再生部929之記憶媒體。
又，於電視電話模式中，例如，多工分離部928將藉由圖像處理部927編碼之影像流與自聲音編解碼器923輸入之聲音流多工化，並將經多工化之流輸出至通訊部922。通訊部922對流進行編碼及調變，從而產生發送信號。而且，通訊部922將所產生之發送信號經由天線921發送至基地台(未圖示)。又，通訊部922對經由天線921接收之無線信號進行放大及頻率轉換，從而取得接收信號。於該等發送信號及接收信號可包含編碼位元串流。而且，通訊部922對接收信號進行解調及解碼而將流解碼，並將經解碼之流輸出至多工分離部928。多工分離部928自所輸入之流將影像流及聲音流分離，並將影像流輸出至圖像處理部 927，將聲音流輸出至聲音編解碼器923。圖像處理部927將影像流解碼，從而產生影像資料。影像資料供給至顯示部930，藉由顯示部930顯示一系列圖像。聲音編解碼器923對聲音流進行擴展及D/A轉換，從而產生類比聲音信號。而且，聲音編解碼器923將所產生之聲音信號供給至揚聲器924而使聲音輸出。
於如此構成之行動電話機920中，圖像處理部927具有上述實施形態之圖像編碼裝置及圖像解碼裝置之功能。藉此，行動電話機920中之圖像之編碼及解碼時，可改善多視點編碼中之編碼效率。
[第3應用例：記錄再生裝置]
圖23表示應用上述實施形態之記錄再生裝置之概略構成的一例。記錄再生裝置940例如將所接收之播放節目之聲音資料及影像資料編碼並記錄於記錄媒體。又，記錄再生裝置940例如亦可將自其它裝置取得之聲音資料及影像資料編碼而記錄於記錄媒體。又，記錄再生裝置940例如根據使用者之指示，於監視器及揚聲器上再生記錄於記錄媒體之資料。此時，記錄再生裝置940將聲音資料及影像資料解碼。
記錄再生裝置940包含調諧器941、外部介面942、編碼器943、HDD(Hard Disk Drive，硬磁碟驅動機)944、磁碟驅動器945、選擇器946、解碼器947、OSD(On-Screen Display，屏幕顯示器)948、控制部949、及使用者介面950。
調諧器941自經由天線(未圖示)接收之放送信號抽出所期望之頻道之信號，並將所抽出之信號解調。而且，調諧器941將藉由解調獲得之編碼位元串流輸出至選擇器946。即，調諧器941具有作為記錄再生裝置940中之傳送機構之作用。
外部介面942為用以連接記錄再生裝置940與外部機器或網路之介面。外部介面942例如亦可為IEEE(Institute of Electrical and Electronic Engineers，電氣與電子工程師協會)1394介面、網路介面、USB介面、或閃存記憶體介面等。例如，經由外部介面942接收之影像資料及聲音資料輸入至編碼器943。即，外部介面942具有作為記錄再生裝置940中之傳送機構之作用。
編碼器943於自外部介面942輸入之影像資料及聲音資料未被編碼之情形時，將影像資料及聲音資料編碼。而且，編碼器943將編碼位元串流輸出至選擇器946。
HDD944將影像及聲音等內容資料經壓縮之編碼位元串流、各種程式及其他資料記錄於內部之硬碟。又，HDD944於再生影像及聲音時，自硬碟讀取該等資料。
磁碟驅動器945對所裝設之記錄媒體進行資料之記錄及讀取。裝設於磁碟驅動器945之記錄媒體例如可為DVD(Digital Versatile Disc，數位影音光碟)碟片(DVD-Video(DVD影碟)、DVD-RAM(DVD隨機存取記憶體)、DVD-R(DVD Recordable，可記錄式DVD)、DVD-RW(DVD ReWritable，可重寫式DVD等)或Blu-ray(藍光)(註冊商標) 碟片等。
選擇器946於記錄影像及聲音時，選擇自調諧器941或編碼器943輸入之編碼位元串流，將所選擇之編碼位元串流輸出至HDD944或磁碟驅動器945。又，選擇器946於再生影像及聲音時，將自HDD944或磁碟驅動器945輸入之編碼位元串流輸出至解碼器947。
解碼器947將編碼位元串流而產生影像資料及聲音資料。而且，解碼器947將所產生之影像資料輸出至OSD948。又，解碼器904將所產生之聲音資料輸出至外部之揚聲器。
OSD948將自解碼器947輸入之影像資料再生，並顯示影像。又，OSD948亦可於所顯示之影像中重疊例如選單、按鈕或游標等GUI之圖像。
控制部949包含CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶由CPU執行之程式、及程式資料等。由記憶體記憶之程式例如於記錄再生裝置940啟動時藉由CPU讀取、執行。CPU藉由執行程式而根據例如自使用者介面950輸入之操作信號控制記錄再生裝置940之動作。
使用者介面950與控制部949連接。使用者介面950例如包含使用者用以操作記錄再生裝置940之按鈕及開關、以及遠距離控制信號之接收部等。使用者介面950經由該等構成要素檢測使用者所進行之操作而產生操作信號，並將所產生之操作信號輸出至控制部949。
於如此構成之記錄再生裝置940中，編碼器943具有上述 實施形態之圖像編碼裝置之功能。又，解碼器947具有上述實施形態之圖像解碼裝置之功能。藉此，記錄再生裝置940中之圖像之編碼及解碼時，可改善多視點編碼中之編碼效率。
[第4應用例：攝像裝置]
圖24表示應用上述實施形態之攝像裝置之概略構成之一例。攝像裝置960拍攝被攝體而產生圖像，將圖像資料編碼並記錄於記錄媒體。
攝像裝置960包含光學區塊961、攝像部962、信號處理部963、圖像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動器968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961連接於攝像部962。攝像部962連接於信號處理部963。顯示部965連接於圖像處理部964。使用者介面971連接於控制部970。匯流排972將圖像處理部964、外部介面966、記憶體967、媒體驅動器968、OSD969、及控制部970相互連接。
光學區塊961包含聚焦透鏡及光圈機構等。光學區塊961使被攝體之光學影像於攝像部962之攝像面成像。攝像部962包含CCD(Charge Coupled Device，電荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)等影像感測器，藉由光電轉換將於攝像面成像之光學影像轉化成作為電氣信號之圖像信號。而且，攝像部962將圖像信號輸出至信號處理部963。
信號處理部963對自攝像部962輸入之圖像信號進行拐點修正(Knee Correction)、伽瑪修正(Gamma Correction)、顏色修正等各種相機信號處理。信號處理部963將相機信號處理後之圖像資料輸出至圖像處理部964。
圖像處理部964將自信號處理部963輸入之圖像資料編碼而產生編碼資料。而且，圖像處理部964將所產生之編碼資料輸出至外部介面966或媒體驅動器968。又，圖像處理部964將自外部介面966或媒體驅動器968輸入之編碼資料解碼，從而產生圖像資料。而且，圖像處理部964將所產生之圖像資料輸出至顯示部965。又，圖像處理部964亦可將自信號處理部963輸入之圖像資料輸出至顯示部965而顯示圖像。又，圖像處理部964亦可將自OSD969取得之顯示用資料重疊於輸出至顯示部965之圖像。
OSD969產生例如選單、按鈕或游標等GUI之圖像，並將所產生之圖像輸出至圖像處理部964。
外部介面966構成為例如USB輸入輸出端子。外部介面966例如於印刷圖像時，將攝像裝置960與印表機連接。又，於外部介面966視需要連接有驅動器。於驅動器裝設有例如磁碟或光碟等可運動媒體，自可運動媒體讀取之程式可安裝於攝像裝置960。進而，外部介面966亦可構成為連接於LAN(Local Area Network，區域網路)或網路等網路之網路介面。即，外部介面966具有作為攝像裝置960中之傳送機構之作用。
裝設於媒體驅動器968之記錄媒體例如可為磁碟、光磁 碟、光碟、或半導體記憶體等可讀寫之任意可運動媒體。又，亦可於媒體驅動器968固定地裝設有記錄媒體，構成例如如內置型硬碟驅動器或SSD(Solid State Drive，固態驅動器)般之非可攜性之記憶部。
控制部970包含CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶由CPU執行之程式、及程式資料等。由記憶體記憶之程式例如於攝像裝置960啟動時藉由CPU讀取、執行。CPU藉由執行程式而根據例如自使用者介面971輸入之操作信號控制攝像裝置960之動作。
使用者介面971與控制部970連接。使用者介面971包含例如使用者用以操作攝像裝置960之按鈕及開關等。使用者介面971經由該等構成要素檢測使用者所進行之操作而產生操作信號，並將所產生在操作信號輸出至控制部970。
於如此構成之攝像裝置960中，圖像處理部964具有上述實施形態之圖像編碼裝置及圖像解碼裝置之功能。藉此，攝像裝置960中之圖像之編碼及解碼時，可改善多視點編碼中之編碼效率。
再者，本說明書中，對框內預測相關之資訊及有關框間預測之資訊於編碼串流之標頭被多工化、並自編碼側向解碼側傳送之例進行了說明。然而，傳送該等資訊之方法並不限定於上述例。例如，該等資訊亦可不於編碼位元串流多工化、而作為與編碼位元串流建立關聯之個別之資料而傳送或記錄。此處，「建立關聯」之術語係指在解碼時可 聯動位元串流中所包含之圖像(亦可為切片或區塊等圖像之一部分)與對應於該圖像之資訊。即，資訊亦可於與圖像(或位元串流)不同之傳送路徑上傳送。又，資訊亦可記錄於與圖像(或位元串流)不同之記錄媒體(或同一記錄媒體之不同之記錄區域)。進而，資訊與圖像(或位元串流)例如能以複數個圖框、1個圖框、或圖框內之一部分等任意單位相互建立關聯。
以上，一邊參照隨附圖式一邊對本發明之較佳之實施形態進行了詳細說明，但本發明並不限定於上述例。若為具有本發明所屬之技術領域中之通常之知識者，則可明白於申請專利範圍中所記載之技術性思想之範疇內，可假設各種之變更例或修正例，瞭解關於該等當然亦屬於本發明之技術的範圍。
再者，本技術亦可採取如下構成。
(1)一種圖像處理裝置，其包括：解碼部，其將位元串流解碼而產生圖像；索引分配部，其對在視圖方向可參照之圖像與在時間方向可參照之圖像交替分配預測由上述解碼部產生之上述圖像時所參照之參照圖像的索引；及預測部，其參照藉由上述索引分配部分配之索引之參照圖像預測由上述解碼部產生之上述圖像。
(2)如上述(1)之圖像處理裝置，其中上述索引分配部重複以在時間方向可參照之圖像、在視圖方向可參照之圖像之順序分配上述參照圖像之索引的處理。
(3)如上述(2)之圖像處理裝置，其中上述索引分配部於對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，相對於在時間方向可參照之圖像進行分配。
(4)如上述(1)之圖像處理裝置，其中上述索引分配部重複以在視圖方向可參照之圖像、在時間方向可參照之圖像之順序分配上述參照圖像之索引的處理。
(5)如上述(4)之圖像處理裝置，其中上述索引分配部於對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，相對於在時間方向可參照之圖像進行分配。
(6)如上述(1)之圖像處理裝置，其中上述索引分配部自於對在時間方向可參照之圖像分配上述參照圖像之索引之後對在視圖方向可參照之圖像進行分配的時間方向優先型態、與於對在視圖方向可參照之圖像分配上述參照圖像之索引之後對在時間方向可參照之圖像進行分配的視圖方向優先型態中選擇一方，而分配上述參照圖像之索引。
(7)如上述(6)之圖像處理裝置，其中上述索引分配部自重複以自在時間方向可參照之圖像至在視圖方向可參照之圖像之順序分配上述參照圖像之索引的處理之時間方向優先型態、與重複以自在視圖方向可參照之圖像至在時間方向可參照之圖像之順序分配上述參照圖像之索引的處理之視圖方向優先型態中，選擇分配上述參照圖像之型態而分配上述參照圖像之索引。
(8)如上述(6)之圖像處理裝置，其中上述索引分配部按照識別使用上述時間方向優先型態或使用上述視圖方向優 先型態之型態識別資訊分配上述參照圖像之索引。
(9)如上述(1)至(8)中任一項之圖像處理裝置，其中上述索引分配部對在視圖方向可參照之圖像，根據序列參數組之視圖參照資訊分配上述參照圖像之索引。
(10)如上述(1)至(9)中任一項之圖像處理裝置，其中上述索引分配部對在時間方向可參照之圖像，於P圖片之情形時根據解碼順序分配上述參照圖像之索引，於B圖片之情形時根據POC(Picture Order Count)分配上述參照圖像之索引。
(11)如上述(1)之圖像處理裝置，其中上述索引分配部自時間方向優先之交替型態與視圖方向優先之交替型態中選擇分配上述參照圖像之索引之型態而分配上述參照圖像之索引，其中時間方向優先之交替型態重複自在時間方向可參照之圖像開始分配上述參照圖像之索引而以自在時間方向可參照之圖像起至在視圖方向可參照之圖像之順序進行分配的處理，視圖方向優先之交替型態重複自在視圖方向可參照之圖像開始分配上述參照圖像之索引而以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序進行分配的處理。
(12)如上述(11)之圖像處理裝置，其中上述索引分配部按照識別使用上述時間方向優先之交替型態或使用上述視圖方向優先之交替型態之型態識別資訊分配上述參照圖像之索引。
(13)一種圖像處理方法，其係使圖像處理裝置
將位元串流解碼而產生圖像；對在視圖方向可參照之圖像與在時間方向可參照之圖像交替分配預測所產生之上述圖像時所參照之參照圖像之索引；參照所分配的索引的參照圖像預測所產生之上述圖像。
(14)一種圖像處理裝置，其包括：索引分配部，其對在視圖方向可參照之圖像與在時間方向可參照之圖像交替分配預測圖像時所參照之參照圖像之索引；預測部，其參照藉由上述索引分配部分配之索引之參照圖像而預測上述圖像；及編碼部，其使用由上述預測部預測之上述圖像編碼而產生位元串流。
(15)如上述(14)之圖像處理裝置，其中上述索引分配部重複以在時間方向可參照之圖像、在視圖方向可參照之圖像之順序分配上述參照圖像之索引的處理。
(16)如上述(15)之圖像處理裝置，其中上述索引分配部對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
(17)如上述(14)之圖像處理裝置，其中上述索引分配部重複以在視圖方向可參照之圖像、在時間方向可參照之圖像之順序分配上述參照圖像之索引的處理。
(18)如上述(17)之圖像處理裝置，其中上述索引分配部對在視圖方向可參照之所有圖像分配上述參照圖像之索引 之後，對在時間方向可參照之圖像進行分配。
(19)如上述(14)之圖像處理裝置，其中上述索引分配部自於對在時間方向可參照之圖像分配上述參照圖像之索引之後對在視圖方向可參照之圖像進行分配的時間方向優先型態、與於對在視圖方向可參照之圖像分配上述參照圖像之索引之後對在時間方向可參照之圖像進行分配的視圖方向優先型態中選擇一方，而分配上述參照圖像之索引。
(20)如上述(19)之圖像處理裝置，其中上述索引分配部自時間方向優先型態與視圖方向優先型態中選擇分配上述參照圖像之型態而分配上述參照圖像之索引，其中時間方向優先型態重複以自在時間方向可參照之圖像起至在視圖方向可參照之圖像的順序分配上述參照圖像之索引的處理，視圖方向優先型態重複以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序分配上述參照圖像之索引的處理。
(21)如上述(19)之圖像處理裝置，其進而包含傳送部，該傳送部傳送識別使用上述時間方向優先型態或使用上述視圖方向優先型態之型態識別資訊、與由上述編碼部產生之位元串流。
(22)如上述(14)至(21)中任一項之圖像處理裝置，其中上述索引分配部對在視圖方向可參照之圖像，根據序列參數組之視圖參照資訊分配上述參照圖像之索引。
(23)如上述(14)至(22)中任一項之圖像處理裝置，其中上述索引分配部對在時間方向可參照之圖像，於P圖片之情 形時根據解碼順序分配上述參照圖像之索引，於B圖片之情形時根據POC(Picture Order Count)分配上述參照圖像之索引。
(24)如上述(14)之圖像處理裝置，其中上述索引分配部自時間方向優先之交替型態與視圖方向優先之交替型態中選擇分配上述參照圖像之索引之型態而分配上述參照圖像之索引，其中時間方向優先之交替型態重複自在時間方向可參照之圖像開始分配上述參照圖像在索引而以自在時間方向可參照之圖像起至在視圖方向可參照之圖像的順序進行分配的處理，視圖方向優先之交替型態重複自在視圖方向可參照之圖像開始分配上述參照圖像在索引而以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序進行分配的處理。
(25)如上述(24)之圖像處理裝置，其進而包含傳送部，該傳送部傳送識別使用上述時間方向優先之交替型態或使用上述視圖方向優先之交替型態的型態識別資訊、與由上述編碼部產生之位元串流。
(26)一種圖像處理方法，其係使圖像處理裝置
對在視圖方向可參照之圖像與在時間方向可參照之圖像交替分配預測圖像時所參照之參照圖像之索引；參照所分配之索引之參照圖像而預測上述圖像；使用由上述預測部預測之上述圖像編碼而產生位元串流。
100‧‧‧圖像編碼裝置
101‧‧‧A/D轉換部
102‧‧‧畫面重排緩衝器
103‧‧‧運算部
104‧‧‧正交轉換部
105‧‧‧量化部
106‧‧‧可逆編碼部
107‧‧‧儲存緩衝器
108‧‧‧逆量化部
109‧‧‧逆正交轉換部
110‧‧‧運算部
111‧‧‧解塊濾波器
112‧‧‧解碼圖片緩衝器
113‧‧‧選擇部
114‧‧‧框內預測部
115‧‧‧運動視差預測/補償部
116‧‧‧選擇部
117‧‧‧速率控制部
121‧‧‧語法處理部
122‧‧‧參照圖像索引分配部
200‧‧‧圖像解碼裝置
202‧‧‧可逆解碼部
212‧‧‧運動視差預測/補償部
221‧‧‧語法處理部
222‧‧‧參照圖像索引分配部
311‧‧‧圖像編碼裝置
351‧‧‧圖像解碼裝置
圖1係表示圖像編碼裝置之主要構成例之方塊圖。
圖2係對先前之參照圖像索引之分配方法之例進行說明之圖。
圖3係表示3視點圖像之情形之視圖間之參照關係之例的圖。
圖4係表示3視點圖像之情形之參照圖像索引之分配方法之例的圖。
圖5係表示序列參數組之語法之例之圖。
圖6係表示切片標頭之語法之例之圖。
圖7係對編碼處理之流程之例進行說明之流程圖。
圖8係對參照圖像索引分配處理之流程之例進行說明之流程圖。
圖9係表示圖像解碼裝置之主要構成例之方塊圖。
圖10係對解碼處理之流程之例進行說明之流程圖。
圖11係對參照圖像索引分配處理之流程之例進行說明之流程圖。
圖12係表示time first(時間方向優先)型態之例之圖。
圖13係表示view fist(視圖方向優先)型態之例之圖。
圖14係表示time first zig-zag(時間方向優先之交替)型態之例之圖。
圖15係表示view first zig-zag(視圖方向優先之交替)型態之例之圖。
圖16係表示序列參數組之語法之例之圖。
圖17係表示假設為分配型態之場景之例之圖。
圖18係表示圖像編碼裝置之主要之其他構成例之方塊圖。
圖19係表示圖像解碼裝置之主要之其他構成例之方塊圖。
圖20係表示電腦之主要構成例之方塊圖。
圖21係表示電視裝置之概略構成之一例之方塊圖。
圖22係表示行動電話機之概略構成之一例之方塊圖。
圖23係表示記錄再生裝置之概略構成之一例之方塊圖。
圖24係表示攝像裝置之概略構成之一例之方塊圖。
100‧‧‧圖像編碼裝置
101‧‧‧A/D轉換部
102‧‧‧畫面重排緩衝器
103‧‧‧運算部
104‧‧‧正交轉換部
105‧‧‧量化部
106‧‧‧可逆編碼部
107‧‧‧儲存緩衝器
108‧‧‧逆量化部
109‧‧‧逆正交轉換部
110‧‧‧運算部
111‧‧‧解塊濾波器
112‧‧‧解碼圖片緩衝器
113‧‧‧選擇部
114‧‧‧框內預測部
115‧‧‧運動視差預測/補償部
116‧‧‧選擇部
117‧‧‧速率控制部
121‧‧‧語法處理部
122‧‧‧參照圖像索引分配部

Claims (26)

  1. 一種圖像處理裝置，其包括：解碼部，其將位元串流解碼而產生圖像；索引分配部，其對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測由上述解碼部產生之上述圖像時所參照之參照圖像的索引；及預測部，其參照藉由上述索引分配部分配之索引之參照圖像而預測由上述解碼部產生之上述圖像。
  2. 如請求項1之圖像處理裝置，其中上述索引分配部重複進行以在時間方向可參照之圖像、在視圖方向可參照之圖像之順序分配上述參照圖像之索引的處理。
  3. 如請求項2之圖像處理裝置，其中上述索引分配部於對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
  4. 如請求項1之圖像處理裝置，其中上述索引分配部重複進行以在視圖方向可參照之圖像、在時間方向可參照之圖像之順序分配上述參照圖像之索引的處理。
  5. 如請求項4之圖像處理裝置，其中上述索引分配部於對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
  6. 如請求項1之圖像處理裝置，其中上述索引分配部自時間方向優先型態與視圖方向優先型態中選擇一方，而分配上述參照圖像之索引，該時間方向優先型態係於對在時間方向可參照之圖像分配上述參照圖像之索引之後， 對在視圖方向可參照之圖像進行分配者；該視圖方向優先型態係於對在視圖方向可參照之圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配者。
  7. 如請求項6之圖像處理裝置，其中上述索引分配部自時間方向優先型態與視圖方向優先型態中，選擇分配上述參照圖像之型態而分配上述參照圖像之索引，該時間方向優先型態係重複進行以自在時間方向可參照之圖像至在視圖方向可參照之圖像之順序分配上述參照圖像之索引的處理者；該視圖方向優先型態係重複進行以自在視圖方向可參照之圖像至在時間方向可參照之圖像之順序分配上述參照圖像之索引的處理者。
  8. 如請求項6之圖像處理裝置，其中上述索引分配部按照識別使用上述時間方向優先型態或使用上述視圖方向優先型態之型態識別資訊，而分配上述參照圖像之索引。
  9. 如請求項1之圖像處理裝置，其中上述索引分配部對在視圖方向可參照之圖像，根據序列參數組之視圖參照資訊而分配上述參照圖像之索引。
  10. 如請求項1之圖像處理裝置，其中上述索引分配部對在時間方向可參照之圖像，於P圖片之情形時根據解碼順序分配上述參照圖像之索引，於B圖片之情形時根據POC(Picture Order Count，圖片序列號)分配上述參照圖像之索引。
  11. 如請求項1之圖像處理裝置，其中上述索引分配部自時 間方向優先之交替型態與視圖方向優先之交替型態中選擇分配上述參照圖像之索引之型態，而分配上述參照圖像之索引，該時間方向優先之交替型態係重複進行自在時間方向可參照之圖像開始分配上述參照圖像之索引，而以自在時間方向可參照之圖像起至在視圖方向可參照之圖像之順序進行分配的處理者；該視圖方向優先之交替型態係重複進行自在視圖方向可參照之圖像開始分配上述參照圖像之索引，而以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序進行分配的處理者。
  12. 如請求項11之圖像處理裝置，其中上述索引分配部按照識別使用上述時間方向優先之交替型態或使用上述視圖方向優先之交替型態之型態識別資訊，而分配上述參照圖像之索引。
  13. 一種圖像處理方法，其係由圖像處理裝置，將位元串流解碼而產生圖像；對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測所產生之上述圖像時所參照之參照圖像之索引；且參照所分配的索引之參照圖像，而預測所產生之上述圖像。
  14. 一種圖像處理裝置，其包括：索引分配部，其對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測圖像時所參照之參照 圖像之索引；預測部，其參照藉由上述索引分配部分配之索引之參照圖像而預測上述圖像；及編碼部，其使用由上述預測部預測之上述圖像編碼而產生位元串流。
  15. 如請求項14之圖像處理裝置，其中上述索引分配部重複進行以在時間方向可參照之圖像、在視圖方向可參照之圖像之順序分配上述參照圖像之索引的處理。
  16. 如請求項15之圖像處理裝置，其中上述索引分配部對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
  17. 如請求項14之圖像處理裝置，其中上述索引分配部重複進行以在視圖方向可參照之圖像、在時間方向可參照之圖像之順序分配上述參照圖像之索引的處理。
  18. 如請求項17之圖像處理裝置，其中上述索引分配部對在視圖方向可參照之所有圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配。
  19. 如請求項14之圖像處理裝置，其中上述索引分配部自時間方向優先型態與視圖方向優先型態中選擇一方，而分配上述參照圖像之索引，該時間方向優先型態係於對在時間方向可參照之圖像分配上述參照圖像之索引之後，對在視圖方向可參照之圖像進行分配者；該視圖方向優先型態係於對在視圖方向可參照之圖像分配上述參照圖像之索引之後，對在時間方向可參照之圖像進行分配 者。
  20. 如請求項19之圖像處理裝置，其中上述索引分配部自時間方向優先型態與視圖方向優先型態中，選擇分配上述參照圖像之型態而分配上述參照圖像之索引，該時間方向優先型態係重複進行以自在時間方向可參照之圖像起至在視圖方向可參照之圖像的順序分配上述參照圖像之索引的處理者；視圖方向優先型態係重複進行以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序分配上述參照圖像之索引的處理者。
  21. 如請求項19之圖像處理裝置，其進而包含傳送部，該傳送部傳送識別使用上述時間方向優先型態或使用上述視圖方向優先型態之型態識別資訊、與由上述編碼部產生之位元串流。
  22. 如請求項14之圖像處理裝置，其中上述索引分配部對在視圖方向可參照之圖像，根據序列參數組之視圖參照資訊而分配上述參照圖像之索引。
  23. 如請求項14之圖像處理裝置，其中上述索引分配部對在時間方向可參照之圖像，於P圖片之情形時根據解碼順序分配上述參照圖像之索引，於B圖片之情形時根據POC(Picture Order Count)分配上述參照圖像之索引。
  24. 如請求項14之圖像處理裝置，其中上述索引分配部自時間方向優先之交替型態與視圖方向優先之交替型態中選擇分配上述參照圖像之索引之型態，而分配上述參照圖像之索引，該時間方向優先之交替型態係重複進行自在 時間方向可參照之圖像開始分配上述參照圖像之索引，而以自在時間方向可參照之圖像起至在視圖方向可參照之圖像的順序進行分配的處理者；該視圖方向優先之交替型態係重複進行自在視圖方向可參照之圖像開始分配上述參照圖像之索引，而以自在視圖方向可參照之圖像起至在時間方向可參照之圖像的順序進行分配的處理者。
  25. 如請求項24之圖像處理裝置，其進而包含傳送部，該傳送部傳送識別使用上述時間方向優先之交替型態或使用上述視圖方向優先之交替型態之型態識別資訊、與由上述編碼部產生之位元串流。
  26. 一種圖像處理方法，其由圖像處理裝置，對在視圖方向可參照之圖像與在時間方向可參照之圖像，交替分配預測圖像時所參照之參照圖像之索引；參照所分配之索引之參照圖像而預測上述圖像；且使用由上述預測部預測之上述圖像編碼而產生位元串流。
TW101111523A 2011-06-07 2012-03-30 Image processing apparatus and method TWI530161B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011127332 2011-06-07
JP2011252685 2011-11-18

Publications (2)

Publication Number Publication Date
TW201251469A TW201251469A (en) 2012-12-16
TWI530161B true TWI530161B (zh) 2016-04-11

Family

ID=47295969

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101111523A TWI530161B (zh) 2011-06-07 2012-03-30 Image processing apparatus and method

Country Status (5)

Country Link
US (1) US10021386B2 (zh)
JP (1) JP5954587B2 (zh)
CN (1) CN103563364B (zh)
TW (1) TWI530161B (zh)
WO (1) WO2012169403A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
EP2916546A1 (en) 2010-06-04 2015-09-09 Sony Corporation Coding of a qp and a delta qp for image blocks larger than a minimum size
EP4425923A3 (en) 2010-12-07 2024-11-20 Sony Group Corporation Image processing device and image processing method
KR101963097B1 (ko) 2010-12-07 2019-03-27 소니 주식회사 화상 처리 장치 및 화상 처리 방법
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR101874143B1 (ko) 2011-02-10 2018-07-03 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY202327A (en) 2011-03-11 2024-04-24 Sony Corp Image processing apparatus and method
HUE069925T2 (hu) 2011-06-28 2025-04-28 Sony Group Corp Képfeldolgozó eszköz, képfeldolgozási eljárás, program és tárolóeszköz
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN103765903B (zh) * 2012-01-18 2017-09-01 松下知识产权经营株式会社 图像解码装置、图像编码装置、图像解码方法及图像编码方法
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
WO2014097913A1 (ja) * 2012-12-21 2014-06-26 ソニー株式会社 画像処理装置および方法
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
GB201321851D0 (en) * 2013-12-10 2014-01-22 Canon Kk Run length parameters coding for palette mode
CN103957341B (zh) * 2014-04-30 2016-09-28 华为软件技术有限公司 图片传输的方法及其相关设备
JP6626319B2 (ja) * 2015-11-18 2019-12-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
CN105513101B (zh) * 2015-12-03 2018-08-07 小米科技有限责任公司 图片处理方法及装置
EP3466079B1 (en) * 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
CN106507106B (zh) * 2016-11-08 2018-03-06 中国科学技术大学 基于参考片的视频帧间预测编码方法
CN108600769A (zh) * 2018-04-16 2018-09-28 西安万像电子科技有限公司 图像传输方法、装置及系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
KR100693669B1 (ko) 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
ES2619522T3 (es) * 2006-03-30 2017-06-26 Lg Electronics, Inc. Un método y un aparato para descodificar/codificar una señal de video multivisión
WO2007148909A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
US20120106634A1 (en) * 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal
KR101620067B1 (ko) * 2009-05-14 2016-05-12 삼성전자주식회사 다시점 영상 압축 장치 및 방법
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011087270A (ja) * 2009-09-17 2011-04-28 Victor Co Of Japan Ltd 画像符号化装置及び画像符号化方法
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
EP2916546A1 (en) 2010-06-04 2015-09-09 Sony Corporation Coding of a qp and a delta qp for image blocks larger than a minimum size
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
JP4964355B2 (ja) * 2010-09-30 2012-06-27 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
US9635342B2 (en) * 2010-10-05 2017-04-25 Telefonaktiebolaget Lm Ericsson (Publ) Multi-view encoding and decoding technique based on single-view video codecs
US20120269275A1 (en) * 2010-10-20 2012-10-25 Nokia Corporation Method and device for video coding and decoding
KR101963097B1 (ko) 2010-12-07 2019-03-27 소니 주식회사 화상 처리 장치 및 화상 처리 방법
EP4425923A3 (en) 2010-12-07 2024-11-20 Sony Group Corporation Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR101874143B1 (ko) 2011-02-10 2018-07-03 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY202327A (en) 2011-03-11 2024-04-24 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
AU2013281946B2 (en) 2012-06-29 2017-03-02 Sony Group Corporation Decoding device, and decoding method

Also Published As

Publication number Publication date
JPWO2012169403A1 (ja) 2015-02-23
WO2012169403A1 (ja) 2012-12-13
US20140086322A1 (en) 2014-03-27
CN103563364B (zh) 2016-03-30
JP5954587B2 (ja) 2016-07-20
TW201251469A (en) 2012-12-16
US10021386B2 (en) 2018-07-10
CN103563364A (zh) 2014-02-05

Similar Documents

Publication Publication Date Title
TWI530161B (zh) Image processing apparatus and method
TWI535222B (zh) Image processing apparatus and method
JP6586979B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US9591329B2 (en) Image processing device and method for encoding and decoding image
CN103636214B (zh) 图像处理设备及图像处理方法
TW201735640A (zh) 圖像處理裝置、圖像處理方法及電腦程式
WO2015005367A1 (ja) 画像復号装置および方法
US20190246137A1 (en) Image processing apparatus and method
CN104041030B (zh) 图像处理设备和方法
JP6652126B2 (ja) 画像処理装置および方法
TW201315246A (zh) 圖像處理裝置及方法
JPWO2014050732A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
JP6508553B2 (ja) 画像処理装置および方法
WO2014156705A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
HK1229109A (zh) 圖像處理裝置和方法
HK1229109A1 (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees