[go: up one dir, main page]

TWI435610B - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
TWI435610B
TWI435610B TW99125172A TW99125172A TWI435610B TW I435610 B TWI435610 B TW I435610B TW 99125172 A TW99125172 A TW 99125172A TW 99125172 A TW99125172 A TW 99125172A TW I435610 B TWI435610 B TW I435610B
Authority
TW
Taiwan
Prior art keywords
image
filter
unit
orthogonal transform
processing
Prior art date
Application number
TW99125172A
Other languages
English (en)
Other versions
TW201112773A (en
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201112773A publication Critical patent/TW201112773A/zh
Application granted granted Critical
Publication of TWI435610B publication Critical patent/TWI435610B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

圖像處理裝置及方法
本發明係關於一種圖像處理裝置及方法，特別係關於一種可抑制由對圖像進行編碼、解碼所引起之畫質之劣化，並進一步提昇解碼圖像之畫質的圖像處理裝置及方法。
近年來，將圖像資訊作為數位進行處理，此時，以高效率之資訊之傳輸、儲存為目的，利用圖像資訊特有之冗餘性，且依照藉由離散餘弦變換等正交變換與移動補償進行壓縮之MPEG(Moving Picture Experts Group，動畫專家群)等方式之裝置，於廣播電視局等之資訊發送、及一般家庭中之資訊接收兩者間正不斷得到普及。
尤其，MPEG2(ISO(International Organization for Standardization，國際標準化組織)/IEC(International Electrotechnical Commission，國際電工技術委員會)13818-2)被定義為通用圖像編碼方式，其係包羅交錯掃描圖像及依序掃描圖像兩者、以及標準解析度圖像及高精細圖像之標準，目前正廣泛地應用於專業用途及消費型用途之廣泛用途。藉由使用MPEG2壓縮方式，例如若為具有720×480像素之標準解析度之交錯掃描圖像，則分配4~8 Mbps之碼量(位元率)，若為具有1920×1088像素之高解析度之交錯掃描圖像，則分配18~22 Mbps之碼量(位元率)，藉此可實現較高之壓縮率及良好之畫質。
MPEG2主要係以適合於播放用之高畫質編碼為對象，但並不對應於較MPEG1更低之碼量(位元率)，即更高壓縮率之編碼方式。可想到隨著移動終端之普及，今後此種編碼方式之需求將高漲，對應於此，已進行了MPEG4編碼方式之標準化。關於圖像編碼方式，於1998年12月，該規格作為ISO/IEC 14496-2被承認為國際標準。
進而，近年來，以當初電視會議用之圖像編碼為目的，正在推進H.26L(ITU-T(ITU Telecommunication Standardization Sector，國際電信聯盟電信標準化部門)Q6/16 VCEG(Video Coding Experts Group，視訊編碼專家群))這一標準之規格化。眾所周知，H.26L雖與MPEG2或MPEG4之類的先前之編碼方式相比，其編碼、解碼要求更多之運算量，但可實現更高之編碼效率。又，目前，作為MPEG4之活動之一環，以該H.26L為基礎，亦導入H.26L中無法支持之功能以實現更高之編碼效率的標準化，係作為Joint Model of Enhanced-Compression Video Coding(增強壓縮視訊編碼之聯合開發模式)正在進行。作為標準化之排程，於2003年3月以H.264及MPEG4 Part10(AVC(Advanced Video Coding，進階視訊編碼))之名義變成國際標準。
進而，作為其之擴展，已進行亦包括RGB(Red/Green/Blue，紅/綠/藍)或4:2:2、4:4:4之類的商業用所必需之編碼工具、或者由MPEG2所規定之8×8DCT(Discrete Cosine Transform，離散餘弦變換)或量化矩陣之FRExt(Fidelity Range Extension，保真度範圍擴展)的標準化，藉此，使用AVC，成為可使電影中所包含之影片雜訊亦良好地表現之編碼方式，而逐步用於Blu-Ray Disc(藍光光碟)等廣泛用途。
然而，最近，欲壓縮高畫質圖像之4倍之4000×2000像素左右的圖像、或者欲於如網際網路之有限之傳輸容量的環境中傳送高畫質圖像這一對於更高壓縮率編碼之需求高漲。因此，於上述之ITU-T(International Telecommunications Union-Telecommunication Standards Sector，國際電訊聯盟電訊標準組)旗下之VCEG(=Video Coding Expert Group，視訊編碼專家群)中，繼續研究關於編碼效率之改善。
又，最近，作為正受到研究之下一代之視訊編碼技術，有適應性環路濾波器(ALF(Adaptive Loop Filter))(例如，參照非專利文獻1及非專利文獻2)。藉由該環路濾波器對每個圖框進行最佳之濾波器處理，可減少未被解塊濾波器完全去除之區塊失真或由量化所引起之失真。
但是，將巨集區塊尺寸設定為16像素×16像素對於如成為下一代編碼方式之對象之UHD(Ultra High Definition，超高清晰度；4000像素×2000像素)之類的大畫框而言，並非最佳。於此種情形時，提出有將巨集區塊尺寸設定為例如32像素×32像素、64×64像素之大小(例如，參照非專利文獻3)。
[先前技術文獻] [非專利文獻]
[非專利文獻1] Yi-Jen Chiu and L. Xu,「Adaptive(Wiener) Filter for Video Compression,」ITU-T SG16 Contribution,C437,Geneva,April 2008。
[非專利文獻2] Takeshi. Chujoh,et al.,「Block-based Adaptive Loop Filter」ITU-T SG16 Q6 VCEG Contribution,AI18,Germany,July,2008。
[非專利文獻3] Qualcomm Inc,「Video Coding Using Extended Block Sizes」ITU-T SG16 Contribution,C123,English,January 2009。
通常，圖像於局部具有各種特徵，因此局部之最佳之濾波器係數不同。例如，於AVC編碼方式中，在正交變換之大小為4×4之情形與8×8之情形時，觀測到不同之畫質劣化。例如，於8×8正交變換區塊中，觀測到在4×4正交變換區塊中未觀測到之蚊式雜訊。又，存在如下之傾向，即針對平坦之區域，容易選擇8×8正交變換區塊，但針對包含精細之紋理之區域，容易選擇4×4正交變換區塊。
然而，於先前所提出之方法中，僅對圖像整體同樣地實施濾波，未必進行適合於圖像所具有之局部性質的雜訊去除，存在解碼圖像之畫質於局部下降之可能性。
本發明係鑒於此種狀況而提出者，其目的在於抑制由對圖像進行編碼、解碼所引起之畫質之劣化，並進一步提昇解碼圖像之畫質。
本發明之一態樣為一種圖像處理裝置，其包括：分類機構，其係藉由適用於對上述圖像所進行之正交變換處理之正交變換尺寸，按每個特定之圖像尺寸對圖像進行分類；以及濾波器機構，其係針對藉由上述分類機構予以分類之上述每個圖像尺寸之各部分圖像，使用根據與上述部分圖像之上述正交變換尺寸相對應之上述圖像的局部性質所設定之濾波器係數，進行用於雜訊去除之濾波器處理。
上述濾波器機構可為溫納濾波器(Wiener Filter)。
上述圖像尺寸為巨集區塊，上述分類機構藉由各巨集區塊之正交變換尺寸對各巨集區塊進行分類，上述濾波器機構針對藉由上述分類機構予以分類之各巨集區塊，使用根據與各巨集區塊之正交變換尺寸相對應之上述圖像的局部性質所設定之上述濾波器係數，進行上述濾波器處理。
本發明之圖像處理裝置可更包括對上述圖像進行編碼而生成編碼資料之編碼機構。
上述編碼機構可利用AVC(Advanced Video Coding，進階視訊編碼)方式對上述圖像進行編碼，上述分類機構可按上述每個圖像尺寸，對藉由上述編碼機構予以正交變換、量化、逆量化、逆正交變換之解碼圖像進行分類；上述濾波器機構可對上述解碼圖像之上述部分圖像進行上述濾波器處理，並將濾波器處理結果作為參照圖像儲存於圖框記憶體。
本發明之圖像處理裝置可更包括使用輸入至上述編碼機構之輸入圖像與上述解碼圖像，計算上述濾波器係數之濾波器係數計算機構，上述濾波器機構可使用由上述濾波器係數計算機構所計算出之上述濾波器係數，進行上述濾波器處理。
上述濾波器係數計算機構可藉由適用於由上述編碼機構所進行之正交變換處理之正交變換尺寸，按上述每個圖像尺寸分別對上述輸入圖像及上述解碼圖像進行分類，並針對每個正交變換尺寸，以使上述輸入圖像及上述解碼圖像之差分成為最小之方式計算上述濾波器係數。
上述濾波器係數計算機構可根據與適用於由上述編碼機構所進行之正交變換處理之正交變換尺寸相對應的上述圖像之局部性質，設定上述濾波器係數之值。
上述濾波器係數計算機構可根據與適用於由上述編碼機構所進行之正交變換處理之正交變換尺寸相對應的上述圖像之局部性質，進而設定上述濾波器係數之分接頭數。
上述濾波器係數計算機構可於上述正交變換尺寸越大時，將上述濾波器係數之分接頭數設定得越長，於上述正交變換尺寸越小時，將上述濾波器係數之分接頭數設定得越短。
本發明之圖像處理裝置可更包括將上述濾波器係數附加至由上述編碼機構所生成之上述編碼資料中的附加機構。
上述附加機構可進而將控制是否進行上述濾波器處理之旗標資訊附加至上述編碼資料。
本發明之圖像處理裝置可更包括：提取機構，其係自對圖像進行編碼所得之編碼資料中提取上述濾波器係數；以及解碼機構，其係對上述編碼資料進行解碼而生成解碼圖像；上述分類機構可藉由上述正交變換尺寸，按上述每個圖像尺寸對由上述解碼機構所生成之上述解碼圖像進行分類，上述濾波器機構可針對藉由上述分類機構分類之上述每個圖像尺寸之各部分圖像，使用由上述提取機構所提取之上述濾波器係數，進行用於雜訊去除之濾波器處理。
上述解碼機構可利用AVC(Advanced Video Coding，進階視訊編碼)方式對上述編碼資料進行解碼；上述分類機構可按上述每個圖像尺寸，對藉由上述解碼機構予以解碼、逆量化、逆正交變換之上述解碼圖像進行分類，上述濾波器機構可對上述解碼圖像之上述部分圖像進行上述濾波器處理。
本發明之另一態樣為圖像處理方法，其係：由圖像處理裝置之分類機構藉由適用於對圖像所進行之正交變換處理的正交變換尺寸，按每個特定之圖像尺寸對上述圖像進行分類；以及由上述圖像處理裝置之濾波器機構針對該經分類之上述每個圖像尺寸之各部分圖像，使用根據與上述部分圖像之上述正交變換尺寸相對應之上述圖像的局部性質所設定之濾波器係數，進行用於雜訊去除之濾波器處理。
於本發明之一態樣中，藉由適用於對圖像所進行之正交變換處理之正交變換尺寸，按每個特定之圖像尺寸對圖像進行分類，並針對該經分類之每個圖像尺寸之各部分圖像，使用根據與部分圖像之正交變換尺寸相對應之圖像的局部性質所設定之濾波器係數，進行用於雜訊去除之濾波器處理。
根據本發明，可對圖像進行編碼或解碼。尤其可抑制由對圖像進行編碼、解碼所引起之畫質之劣化，並進一步提昇解碼圖像之畫質。
以下，對用以實施發明之形態(以下稱為實施形態)進行說明。再者，說明係按以下之順序進行。
1.第1實施形態(圖像編碼裝置)
2.第2實施形態(圖像解碼裝置)
3.第3實施形態(ALF區塊控制)
4.第4實施形態(QALF)
5.第5實施形態(個人電腦)
6.第6實施形態(電視接收器)
7.第7實施形態(行動電話)
8.第8實施形態(硬碟記錄器)
9.第9實施形態(相機)
<1.第1實施形態> [設備之構成]
圖1表示作為適用本發明之圖像處理裝置之圖像編碼裝置之一實施形態的構成。
圖1所示之圖像編碼裝置100係藉由例如H.264及MPEG(Moving Picture Experts Group)4 Part10(AVC(Advanced Video Coding))(以下稱為H.264/AVC)方式對圖像進行壓縮編碼之編碼裝置，進而，其採用適應性環路濾波器。
於圖1之例中，圖像編碼裝置100包括：A/D(Analog/Digital，類比/數位)變換部101、畫面重排緩衝器102、運算部103、正交變換部104、量化部105、可逆編碼部106、以及儲存緩衝器107。又，圖像編碼裝置100包括：逆量化部108、逆正交變換部109、運算部110、以及解塊濾波器111。進而，圖像編碼裝置100包括：濾波器係數計算部112、環路濾波器113、以及圖框記憶體114。又，圖像編碼裝置100包括：選擇部115、框內預測部116、移動預測．補償部117、以及選擇部118。進而，圖像編碼裝置100包括碼率控制部119。
A/D變換部101對所輸入之圖像資料進行A/D變換，並輸出至畫面重排緩衝器102中加以儲存。畫面重排緩衝器102將所儲存之顯示之順序之圖框的圖像對應於GOP(Group of Picture，畫面群)構造重排成用於編碼之圖框之順序。畫面重排緩衝器102將已重排圖框之順序之圖像供給至運算部103、框內預測部116、移動預測．補償部117、以及濾波器係數計算部112。
運算部103使自畫面重排緩衝器102所讀出之圖像減去自選擇部118所供給之預測圖像，並將該差分資訊輸出至正交變換部104中。例如，於進行框內編碼之圖像之情形時，運算部103使自畫面重排緩衝器102所讀出之圖像與自框內預測部116所供給之預測圖像相減。又，例如，於進行框間編碼之圖像之情形時，運算部103使自畫面重排緩 衝器102所讀出之圖像與自移動預測．補償部117所供給之預測圖像相減。
正交變換部104對來自運算部103之差分資訊實施離散餘弦變換、K-L(Karhunen-Loeve)變換等正交變換，並將其變換係數供給至量化部105。又，正交變換部104將關於對各巨集區塊適用4×4正交變換與8×8正交變換之哪一者之資訊(正交變換尺寸)供給至濾波器係數計算部112及環路濾波器113。
量化部105將正交變換部104所輸出之變換係數量化。量化部105將經量化之變換係數供給至可逆編碼部106。
可逆編碼部106對該經量化之變換係數實施可變長度編碼、算術編碼等可逆編碼。
可逆編碼部106自框內預測部116獲取表示框內預測之資訊等，並自移動預測．補償部117獲取表示框間預測模式之資訊等。再者，表示框內預測之資訊以下亦稱為框內預測模式資訊。又，對表示框間預測之資訊模式加以表示之資訊以下亦稱為框間預測模式資訊。
可逆編碼部106進而自濾波器係數計算部112獲取環路濾波器113中所使用之濾波器係數。
可逆編碼部106對經量化之變換係數進行編碼，並且將濾波器係數、框內預測模式資訊、框間預測模式資訊、以及量化參數等作為編碼資料之標頭資訊之一部(進行多工化)。可逆編碼部106將經編碼而獲得之編碼資料供給至儲存緩衝器107中加以儲存。
例如，於可逆編碼部106中進行可變長度編碼或者算術編碼等可逆編碼處理。作為可變長度編碼，可列舉由H.264/AVC方式所規定之CAVLC(Context-Adaptive Variable Length Coding，文絡適應性可變長度編碼)等。作為算術編碼，可列舉CABAC(Context-Adaptive Binary Arithmetic Coding，內容適應性二進位算數編碼)等。
儲存緩衝器107暫時保持自可逆編碼部106所供給之編碼資料，並於特定之時間點將其作為以H.264/AVC方式進行編碼之編碼圖像，輸出至例如後段之未圖示之記錄裝置或傳輸路徑等。
又，於量化部105中經量化之變換係數亦被供給至逆量化部108中。逆量化部108以與由量化部105所進行之量化相對應之方法對該經量化的變換係數進行逆量化，並將所獲得之變換係數供給至逆正交變換部109。
逆正交變換部109以與由正交變換部104所進行之正交變換處理相對應之方法對所供給之變換係數進行逆正交變換。經逆正交變換之輸出被供給至運算部110。
運算部110使自逆正交變換部109所供給之逆正交變換結果，即經解碼之差分資訊與自選擇部118所供給之預測圖像相加，而獲得局部經解碼之圖像(解碼圖像)。例如，於差分資訊與進行框內編碼之圖像相對應之情形時，運算部110使該差分資訊與自框內預測部116所供給之預測圖像相加。又，例如，於差分資訊與進行框間編碼之圖像相對應之情形時，運算部110使該差分資訊與自移動預測‧補償部117所供給之預測圖像相加。
該相加結果被供給至解塊濾波器111。
解塊濾波器111去除解碼圖像之區塊失真。解塊濾波器111將該失真去除結果供給至環路濾波器113及圖框記憶體114。
自解塊濾波器111經由圖框記憶體114供給之解碼圖像被供給至濾波器係數計算部112。又，自畫面重排緩衝器102所讀出之輸入圖像被供給至濾波器係數計算部112。進而，自正交變換部104將正交變換尺寸(關於對各巨集區塊適用4×4正交變換與8×8正交變換之哪一者之資訊)供給至濾波器係數計算部112。
濾波器係數計算部112根據自正交變換部104所供給之正交變換尺寸，按每個正交變換之尺寸對解碼圖像及輸入圖像之各巨集區塊進行分組(分級)，並針對各組(級)生成環路濾波器113中所進行之濾波器處理之適當的濾波器係數。濾波器係數計算部112於各組(正交變換尺寸)中，以使殘差(解碼圖像與輸入圖像之差分)成為最小之方式計算出濾波器係數。
濾波器係數計算部112將所生成之各組之濾波器係數供給至環路濾波器113。又，濾波器係數計算部112亦將所生成之各組之濾波器係數供給至可逆編碼部106。如上所述，濾波器係數可藉由可逆編碼部106而包含於編碼資料中(多工化)。即，各組之濾波器係數與編碼資料一併被輸送至圖像解碼裝置。
自解塊濾波器111經由圖框記憶體114供給之解碼圖像被供給至環路濾波器113。又，自正交變換部104將正交變換尺寸(關於對各巨集區塊適用4×4正交變換與8×8正交變換之哪一者之資訊)供給至濾波器係數計算部112。
環路濾波器113根據自正交變換部104所供給之正交變換尺寸，按每個正交變換之尺寸對解碼圖像之各巨集區塊進行分組(分級)，使用自濾波器係數計算部112所供給之濾波器係數，於各組(級)中對解碼圖像進行濾波器處理。作為該濾波器，例如可使用溫納濾波器(Wiener Filter)。當然，亦可使用溫納濾波器以外之濾波器。環路濾波器113將濾波器處理結果供給至圖框記憶體114，作為參照圖像而加以儲存。
圖框記憶體114於特定之時間點，將所儲存之參照圖像經由選擇部115輸出至框內編碼部116或移動預測‧補償部117。例如，於進行框內編碼之圖像之情形時，圖框記憶體114將參照圖像經由選擇部115供給至框內預測部116。又，例如，於進行框間編碼之圖像之情形時，圖框記憶體114將參照圖像經由選擇部115供給至移動預測‧補償部117。
於圖像編碼裝置100中，例如將來自畫面重排緩衝器102之I畫面、B畫面以及P畫面作為進行框內預測(亦稱為框內處理)之圖像而供給至框內預測部116。又，將自畫面重排緩衝器102所讀出之B畫面以及P畫面作為進行框間預測(亦稱為框間處理)之圖像供給至移動預測‧補償部117。
選擇部115於進行框內編碼之圖像之情形時，將自圖框記憶體114所供給之參照圖像供給至框內預測部116，於進行框間編碼之圖像之情形時，將自圖框記憶體114所供給之參照圖像供給至移動預測‧補償部117。
框內預測部116根據自畫面重排緩衝器102所讀出之進行框內預測之圖像與自圖框記憶體114所供給之參照圖像，進行成為候補之所有框內預測模式之框內預測處理，而生成預測圖像。
於框內預測部116中，對該區塊/巨集區塊所適用之框內預測模式資訊被傳輸至可逆編碼部106，並作為編碼資料中之標頭資訊之一部分。對於亮度信號，定義有框內4×4預測模式、框內8×8預測模式及框內16×16預測模式，又，關於色差信號，可於每個巨集區塊中定義獨立於亮度信號之預測模式。關於框內4×4預測模式，變成針對各個4×4亮度區塊定義1個框內預測模式。關於框內8×8預測模式，變成針對各個8×8亮度區塊定義1個框內預測模式。對於框內16×16預測模式及色差信號，變成針對1個巨集區塊分別定義1個預測模式。
框內預測部116針對已生成預測圖像之框內預測模式計算出成本函數值，將所計算出之成本函數值提供最小值之框內預測模式選擇為最佳框內預測模式。框內預測部116將由最佳框內預測模式所生成之預測圖像經由選擇部118供給至運算部103。
移動預測‧補償部117針對進行框間編碼之圖像，使用自畫面重排緩衝器102所供給之輸入圖像與自圖框記憶體114所供給之成為參照圖框之解碼圖像，計算出移動向量。移動預測‧補償部117根據所計算出之移動向量進行移動補償處理，生成預測圖像(框間預測圖像資訊)。
移動預測‧補償部117進行成為候補之所有框間預測模式之框間預測處理，生成預測圖像。該框間預測模式與框內預測模式之情形相同。
移動預測‧補償部117針對已生成預測圖像之框間預測模式計算出成本函數值，將所計算出之成本函數值提供最小值之框內預測模式選擇為最佳框間預測模式。移動預測‧補償部117將由最佳框間預測模式所生成之預測圖像經由選擇部118供給至運算部103。
移動預測‧補償部117將表示所計算出之移動向量之移動向量資訊供給至可逆編碼部106。該移動向量資訊可藉由可逆編碼部106而包含於編碼資料中(被多工化)。即，移動向量資訊與編碼資料一併被輸送至圖像解碼裝置。
選擇部118於進行框內編碼之圖像之情形時，將框內預測部116之輸出供給至運算部103，於進行框間編碼之圖像之情形時，將移動預測‧補償部117之輸出供給至運算部103。
碼率控制部119根據儲存緩衝器107中所儲存之壓縮圖像，控制量化部105之量化動作之碼率，以防止產生溢位或下溢。
[正交變換之說明]
其次，對上述各處理之詳細情況進行說明。首先對正交變換進行說明。
於MPEG2編碼方式中，正交變換係以8×8像素為單位來進行處理。相對於此，與AVC編碼方式同樣地進行正交變換之圖像編碼裝置100於Baseline Profile、Main Profile、Extended Profile中，進行以4×4像素為單位之正交變換。又，圖像編碼裝置100於High Profile以上中，能夠以巨集區塊單位，切換使用圖2之A所示之4×4像素單位之正交變換與圖2之B所示之8×8像素單位之正交變換。
[4×4正交變換]
首先，對4×4正交變換方式進行說明。4×4像素單位之正交變換具有如下之特徵。
第一特徵係如下之特徵：於MPEG2編碼方式中，用於變換之運算精度有時在某一範圍內，針對各個編碼方式而自由地設定，因此必需實施逆變換中之失配對策，但於本方式中，變換、逆變換均於規格中被規定，無需實施此種失配對策。
第二特徵係如下之特徵：運算於如行動終端等中所使用之低消耗電力型之數位信號處理器(DSP(Digital Signal Processor))中亦可實現，且可利用16-bit暫存器進行安裝。
第三特徵係如下之特徵：於MPEG2等之利用8×8像素單位之正交變換的編碼方式中，因高通係數之量化誤差而觀測到蚊式雜訊，但於本方式中，難以觀測到此種蚊式雜訊。
圖3表示正交變換及量化處理之概要。即，1個巨集區塊中所包含之亮度信號16×16像素、色差信號8×8像素分別如圖3所示般被分割成4×4像素區塊，對各個4×4像素區塊實施整數變換處理及量化處理。進而，關於色差信號，如圖3所示般，生成僅聚集了直流成分之2×2矩陣，對其實施2次哈達碼變換及量化處理。
又，於該巨集區塊為框內16×16模式之情形時，如圖3所示般，生成僅聚集了直流成分之4×4矩陣，對其實施4次哈達碼變換及量化。
關於4次正交變換處理，可如以下之式(1)般記述。
其中，
該式(1)可如以下之式(2)般變形。
其中，
該式(2)進而可如以下之式(3)般變形。
因此，矩陣[Cf ]可如以下之式(4)般表示。
即，圖像編碼裝置100將式(4)之右邊所示之矩陣用作整數變換矩陣。
藉此，可利用add(加減法)及shift(位元移位)實現整數變換。
又，根據式(3)，矩陣[Ef ]可如以下之式(5)般表示。
關於該式(5)之右邊之項，藉由圖像編碼裝置100對各4×4之成分進行不同之量化處理而實現。換言之，圖像編 碼裝置100係藉由整數變換與量化處理之組合而實現正交變換。
又，關於逆整數變換，可如以下之式(6)般表示。
因此，式(6)之右邊可如以下之式(7)及式(8)般表示。
式(7)之右邊所示之矩陣係逆量化之結果所獲得的4×4矩陣，相對於此，藉由實施式(8)之右邊所示之逆整數矩陣而計算出針對解碼圖像之4×4矩陣。
關於逆整數變換，亦可僅藉由add(加減法)及shift(位元移位)而實現。
圖4之A及圖4之B表示藉由蝶式運算用以實現整數變換及逆整數變換之方法。
[8×8正交變換]
其次，對可於AVC High Profile以上使用之8×8正交變換進行說明。
於圖像編碼裝置100中，8×8正交變換與4×4之情形相同，係定義為僅於加減法與移位運算中實現之整數變換。
圖像編碼裝置100首先進行8點之水平方向之正交變換的計算，其次進行8點之垂直方向之變換。
以下，為使說明簡略化，以一維說明8次整數變換。
若將輸入信號設定為{d0、d1、d2、d3、d4、d5、d6、d7}，則首先進行以下之式(9)至式(16)之計算。
e0=d0+d7…(9)
e1=d1+d6…(10)
e2=d2+d5…(11)
e3=d3+d6…(12)
e4=d0-d7…(13)
e5=d1-d6…(14)
e6=d2-d5…(15)
e7=d3-d4…(16)
其次，針對{e0、e1、e2、e3、e4、e5、e6、e7}，進行以下之式(17)至式(24)之計算。
e'0=e0+e3…(17)
e'1=e1+e2…(18)
e'2=e0-e3…(19)
e'3=e1-e2…(20)
e'4=e5+e6+(e4>>1+e4)…(21)
e'5=e4-e7-(e6>>1+e6)…(22)
e'6=e4+e7-(e5>>1+e5)…(23)
e'7=e5-e6+(e7>>1+e7)…(24)
進而，針對{e'0、e'1、e'2、e'3、e'4、e'5、e'6、e'7}，進行以下之式(25)至式(32)之計算，而獲得經正交變換之係數{D0、D1、D2、D3、D4、D5、D6、D7}。
D0=e'0+e'1…(25)
D2=e'2+e'3>>1…(26)
D4=e'0-e'1…(27)
D6=e'2>>1-e'3…(28)
D1=e'4+e'7>>2…(29)
D3=e'5+e'6>>2…(30)
D5=e'6-e'5>>2…(31)
D7=-e'7+e'4>>2…(32)
自{D0、D1、D2、D3、D4、D5、D6、D7}向{d0、d1、d2、d3、d4、d5、d6、d7}之逆正交變換係以如下方式進行。
即，首先，自{D0、D1、D2、D3、D4、D5、D6、D7}，如以下之式(34)至式(40)般計算出{f0、f1、f2、f3、f4、f5、f6、f7}。
f0=D0+D4…(33)
f1=-D3+D5-(D7+D7>>1)…(34)
f2=D0-D4…(35)
f3=D1+D7-(D3+D3>>1)…(36)
f4=D2>>1-D6…(37)
f5=-D1+D7+(D5+D5>>1)…(38)
f6=D2+D6>>1…(39)
f7=D3+D5+(D1+D1>>1)…(40)
其次，自{f0、f1、f2、f3、f4、f5、f6、f7}，如以下之式(41)至式(48)般計算出{f'0、f'1、f'2、f'3、f'4、f'5、f'6、f'7}。
f'0=f0+f6…(41)
f'1=f1+f7>>2…(42)
f'2=f2+f4…(43)
f'3=f3+f5>>2…(44)
f'4=f2-f4…(45)
f'5=f3>>2-f5…(46)
f'6=f0-f6…(47)
f'7=f7-f1>>2…(48)
最後，自{f'0、f'1、f'2、f'3、f'4、f'5、f'6、f'7}，如以下之式(49)至式(56)般計算出{d0、d1、d2、d3、d4、d5、d6、d7}。
d0=f'0+f'7…(49)
d1=f'2+f'5…(50)
d2=f'4+f'3…(51)
d3=f'6+f'1…(52)
d4=f'6-f'1…(53)
d5=f'4-f'3…(54)
d6=f'2-f'5…(55)
d7=f'0-f'7…(56)
[解塊濾波器]
其次，對解塊濾波器進行說明。解塊濾波器111去除解碼圖像中之區塊失真。藉此，利用移動補償處理抑制區塊失真傳播至所參照之圖像。
作為解塊濾波器之處理，可利用編碼資料中所包括之包含於Picture Parameter Set RBSP(Raw Byte Sequence Payload，原始位元組序列載荷)之deblocking_filter_control_present_flag、以及包含於片層標頭(Slice Header)之disable_deblocking_filter_idc這兩種參數，選擇以下之(a)至(c)之三種方法。
(a)對區塊邊界及巨集區塊邊界實施
(b)僅對巨集區塊邊界實施
(c)不實施
關於量化參數QP，於對亮度信號適用以下之處理之情形時使用QPY，於對亮度信號適用以下之處理之情形時使用QPC。又，於移動向量編碼，框內預測，熵編碼(CAVLC/CABAC)中，屬於不同片層之像素值作為「not available」進行處理，但於解塊濾波器處理中，即使係屬於不同片層之像素值，於屬於相同之畫面之情形時亦作為「available」進行處理。
以下，如圖5所示，將解塊濾波器處理前之像素值設定為p0~p3、q0~q3，將處理後之像素值設定為p0'~p3'、q0'~q3'。
首先，於解塊濾波器處理之前，如圖6所示之表般，對圖5中之p及q定義Bs(Boundary Strength，邊界強度)。
圖5中之(p2、p1、p0、q0、q1、q2)係僅於由以下之式(57)及式(58)所示之條件成立的情形時，實施解塊濾波器處理。
Bs>0…(57)
|p0-q0|<α；|p1-p0|<β；|q1-10|<β…(58)
式(58)之α及β之值於預設時係如下般對應於QP而設定，但使用者可藉由編碼資料之包含於片層標頭之slice_alpha_c0_offset_div2及slice_beta_offset_div2這兩種參數，如圖7所示之圖表之箭頭般調整其強度。
如圖8所示之表般，α可根據indexA求出。同樣地，β可根據indexB求出。該indexA及indexB係如以下之式(59)至式(61)般定義。
qPav =(qPp +qPq +1)>>1…(59)
indexA=Clip3(0,51,qPav +FilterOffsetA)…(60)
indexB=Clip3(0,51,qPav +FilterOffsetB)…(61)
於式(60)及式(61)中，FilterOffsetA及FilterOffsetB相當於藉由使用者調整之部分。
解塊濾波器處理如以下所說明般，於Bs<4之情形與Bs=4之情形時，定義有彼此不同之方法。於Bs<4之情形時，解塊濾波器處理後之像素值p'0及q'0可如以下之式(62)至式(64)般求出。
Δ=Clip3(-tc ,tc ((((q0-p0)<<2)+(p1-q1)+4)>>3))…(62)
p'0=Clip1(p0+Δ)…(63)
q'0=Clip1(q0+Δ)…(64)
此處，tc 係如以下之式(65)或式(66)般計算出。即，於chromaEdgeFlag之值為「0」之情形時，tc 係如以下之式(65)般計算出。
tc =tc0 +((ap <β)？1：0)+((ap<β)？1：0)…(65)
又，於chromaEdgeFlag之值為「0」以外之情形時，tc 係如以下之式(66)般計算出。
tc =tc0 +1…(66)
tC0 之值係對應於Bs與indexA之值，如圖9之A及圖9之B所示之表般定義。
又，式(65)之ap 及aq 之值係如以下之式(67)及(68)般計算出。
ap =|p2-p0|…(67)
aq =|q2-q0|…(68)
解塊濾波器處理後之像素值p'1可如以下般求出。即，於chromaEdgeFlag之值為「0」，並且ap 之值為β以下之情形時，p'1可如以下之式(69)般求出。
p'1=p1+Clip3(-tc0 ,tc0 ,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)…(69)
又，於式(69)不成立之情形時，p'1可如以下之式(70)般求出。
p'1=p1…(70)
解塊濾波器處理後之像素值q'1可如以下般求出。即，於chromaEdgeFlag之值為「0」，並且aq 之值為β以下之情形時，q'1可如以下之式(71)般求出。
q'1=q1+Clip3(-tc0 ,tc0 ,(q2+((p0+q0+1)>>1)-(q1<<1))>>1)…(71)
又，於式(71)不成立之情形時，q'1可如以下之式(72)般求出。
q'1=q1…(72)
p'2及q'2之值等同於Filtering前之值p2及q2。即，p'2可如以下之式(73)般求出，q'2可如以下之式(74)般求出。
p'2=p2…(73)
q'2=q2…(74)
於Bs=4之情形時，解塊濾波器後之像素值p'I(i=0..2)可如以下般求出。於chromaEdgeFlag之值為「0」，且以下之式(75)所示之條件成立的情形時，p'0、p'1、及p'2可如以下之式(76)至式(78)般求出。
ap <β&&|p0-q0|<((α>>2)+2)…(75)
p'0=(p2+2×p1+2×p0+2×q0+q1+4)>>3…(76)
p'1=(p2+p1+p0+q0+2)>>2…(77)
p'2=(2×p3+3×p2+p1+p0+q0+4)>>3…(78)
又，於式(75)所示之條件不成立之情形時，p'0、p'1、及p'2可如以下之式(79)至(81)般求出。
p'0=(2×p1+p0+q1+2)>>2…(79)
p'1=p1…(80)
p'2=p2…(81)
解塊濾波器處理後之像素值q'i(I=0..2)可如以下般求出。即，於chromaEdgeFlag之值為「0」，且以下之式(82)所示之條件成立的情形時，q'0、q'1、及q'2可如以下之式(83)至(85)般求出。
aq<β&&|p0-q0|<((α>>2)+2)…(82)
q'0=(p1+2×p0+2×q0+2×q1+q2+4)>>3…(83)
q'1=(p0+q0+q1+q2+2)>>2…(84)
q'2=(2×q3+3×q2+q1+q0+p4+4)>>3…(85)
又，於式(82)所示之條件不成立之情形時，q'0、q'1、及q'2可如以下之式(86)至(88)般求出。
q'0=(2×q1+q0+p1+2)>>2…(86)
q'1=q1…(87)
q'2=q2…(88)
[環路濾波器]
然而，於傳輸4000×2000像素之類的更高之解析度的圖像、或者使現有之高畫質圖像在如網際網路之有限之頻帶寬度的線路中傳輸之情形時，藉由AVC所實現之壓縮率並不充分。
因此，作為編碼效率改善之一種方法，於圖像編碼裝置100中使用環路濾波器113。環路濾波器113例如適用Wiener Filter。當然，亦可使用Wiener Filter以外之濾波器作為環路濾波器113。環路濾波器113對經解塊濾波器處理之解碼圖像進行濾波器處理，藉此使解碼圖像與原圖像之殘差成為最小。濾波器係數計算部112以藉由濾波器處理而使解碼圖像與原圖像之殘差成為最小之方式，進行環路濾波器係數之計算。環路濾波器113使用該濾波器係數進行濾波器處理。再者，該濾波器係數被附加至編碼資料並被傳輸至圖像解碼裝置，且亦用於解碼時之濾波器處理。
圖像編碼裝置100藉由進行此種濾波器處理，可提昇解碼圖像之畫質，進而亦可提昇參照圖像之畫質。
[預測模式之選擇]
然而，將巨集區塊尺寸設定為16像素×16像素對於如成為下一代編碼方式之對象之UHD(Ultra High Definition；4000像素×2000像素)之類的大畫框而言，並非最佳。因此，提出有將巨集區塊尺寸設定為例如32像素×32像素、64×64像素之大小。
為達成更高之編碼效率，選擇適當之預測模式較重要。例如可考慮選擇High Complexity Mode(高複雜度模式)與Low Complexity Mode(低複雜度模式)之兩種模式判定方法之方法。於該方法之情形時，兩者均計算出關於各個預測模式Mode之成本函數值，並將使該成本函數值成為最小之預測模式選擇為針對該區塊或巨集區塊之最佳模式。
High Complexity Mode下之成本函數可如以下之式(89)般求出。
Cost(ModeΩ)=D+λ×R…(89)
式(89)中，Ω係用於對該區塊或巨集區塊進行編碼之候補模式之總集合。又，D係於該預測模式Mode下進行編碼之情形時之解碼圖像與輸入圖像的差分能量。進而，λ係作為量化參數之函數而被提供之Lagrange待定乘數。又，R係包含正交變換係數之於該模式Mode下進行編碼之情形時的總碼量。
即，於要進行High Complexity Mode下之編碼時，為計算出上述參數D及R，必需利用所有候補模式Mode進行一次臨時編碼處理，且需要更高之運算量。
相對於此，Low Complexity Mode下之成本函數可如以下之式(90)般求出。
Cost(ModeΩ)=D+QP2Quant(QP)×HeaderBit…(90)
於式(90)中，D與High Complexity Mode之情形不同，成為預測圖像與輸入圖像之差分能量。又，QP2Quant(QP)係作為量化參數QP之函數而被提供。進而，HeaderBit係不包含正交變換係數之關於移動向量或模式之類的屬於Header之資訊之碼量。
即，於Low Complexity Mode中，雖然需要針對各個候補模式Mode進行預測處理，但無需對解碼圖像進行預測處理，因此無需進行編碼處理。因此，能夠以較High Complexity Mode更低之運算量實現。
於High Profile中，如圖2所示之4×4正交變換與8×8正交變換之選擇亦係根據上述High Complexity Mode或Low Complexity Mode的任一者而進行。
然而，將巨集區塊尺寸設定為16像素×16像素對於如成為下一代編碼方式之對象之UHD之類的大畫框而言，並非最佳。已提出有將巨集區塊尺寸如圖10所示般，設定為例如32像素×32像素之大小。
藉由採用如圖10之階層構造，關於16×16像素區塊以下，一面與當前之AVC中之巨集區塊保持互換性，一面作為其母集而被定義有更大之區塊。
[詳細之構成例]
如上所述，圖像編碼裝置100將環路濾波器處理適用於圖像編碼處理。圖像編碼裝置100針對每個正交變換尺寸，求出該環路濾波器處理之適當之濾波器係數，並利用適合於各巨集區塊之正交變換尺寸之濾波器係數對各巨集區塊進行濾波器處理。
以下，對作為關於此種環路濾波器之構成之濾波器係數計算部112及環路濾波器113之構成的詳細情況進行說明。
圖11係表示濾波器係數計算部112及環路濾波器113之主要構成例之方塊圖。
如圖11所示，濾波器係數計算部112包括：正交變換尺寸緩衝器151、解碼像素分類部152、輸入像素分類部153、4×4區塊係數計算部154、以及8×8區塊係數計算部155。
又，環路濾波器113包括：像素分類部161、濾波器部(4×4)162、以及濾波器部(8×8)163。
首先，自解塊濾波器111將解碼圖像供給至圖框記憶體114。又，自正交變換部104將關於針對各巨集區塊之正交變換尺寸(4×4或8×8)之資訊供給至濾波器係數計算部112之正交變換尺寸緩衝器151。
進而，自圖框記憶體114將解碼圖像供給至濾波器係數計算部112之解碼像素分類部152。又，自畫面重排緩衝器102將輸入圖像供給至輸入像素分類部153。
解碼像素分類部152自正交變換尺寸緩衝器151讀出並獲取關於正交變換尺寸之資訊。解碼像素分類部152根據所獲取之正交變換尺寸，將解碼圖像之各巨集區塊分級(分組)為適用有4×4正交變換之巨集區塊(4×4正交變換區塊)與適用有8×8正交變換之巨集區塊(8×8正交變換區塊)。然後，解碼像素分類部152將解碼圖像之中關於4×4正交變換區塊之資訊供給至4×4區塊係數計算部154，將關於8×8正交變換區塊之資訊供給至8×8區塊係數計算部155。
同樣地，輸入像素分類部153自正交變換尺寸緩衝器151讀出並獲取關於正交變換尺寸之資訊。輸入像素分類部153根據所獲取之正交變換尺寸，將輸入圖像之各巨集區塊分級(分組)為適用有4×4正交變換之巨集區塊(4×4正交變換區塊)與適用有8×8正交變換之巨集區塊(8×8正交變換區塊)。然後，輸入像素分類部153將輸入圖像之中關於4×4正交變換區塊之資訊供給至4×4區塊係數計算部154，將關於8×8正交變換區塊之資訊供給至8×8區塊係數計算部155。
4×4區塊係數計算部154使用所供給之4×4正交變換區塊之解碼圖像及輸入圖像，以使殘差成為最小之方式計算出濾波器係數(例如，Wiener Filter係數)。4×4區塊係數計算部154將所計算出之濾波器係數供給至可逆編碼部106，並且供給至環路濾波器113之濾波器部(4×4)162。
同樣地，8×8區塊係數計算部155使用所供給之8×8正交變換區塊之解碼圖像及輸入圖像，以使殘差成為最小之方式計算出濾波器係數(例如，Wiener Filter係數)。8×8區塊係數計算部155將所計算出之濾波器係數供給至可逆編碼部106，並且供給至環路濾波器113之濾波器部(8×8)163。
可逆編碼部106將所供給之各濾波器係數附加至編碼資料中。
此外，自正交變換部104將關於針對各巨集區塊之正交變換尺寸(4×4或8×8)之資訊供給至環路濾波器113之像素分類部161。而且，自解塊濾波器111將解碼圖像供給至該像素分類部161。
像素分類部161根據自正交變換部104所供給之關於正交變換尺寸之資訊，將解碼圖像之各巨集區塊分級(分組)為適用有4×4正交變換之巨集區塊(4×4正交變換區塊)與適用有8×8正交變換之巨集區塊(8×8正交變換區塊)。然後，像素分類部161將解碼圖像之中關於4×4正交變換區塊之資訊供給至濾波器部(4×4)162，將關於8×8正交變換區塊之資訊供給至濾波器部(8×8)163。
濾波器部(4×4)162適用自4×4區塊係數計算部154所供給之適合於4×4正交變換區塊之濾波器係數，對解碼圖像之4×4正交變換區塊進行濾波器處理。
濾波器部(8×8)163適用自8×8區塊係數計算部155所供給之適合於8×8正交變換區塊之濾波器係數，對解碼圖像之8×8正交變換區塊進行濾波器處理。
濾波器部(4×4)162及濾波器部(8×8)163將已實施濾波器處理之解碼圖像儲存於圖框記憶體114中，並於特定之時間點將其輸出至移動預測.補償部117。
濾波器係數計算部112及環路濾波器113如上述般進行處理，針對每個正交變換尺寸生成濾波器係數，並進行濾波器處理。
圖像內之局部性質可以說被正交變換尺寸所反映。例如，對於平坦之區域(頻率較疏之部分)，易於選擇8×8正交變換，對於包含精細之紋理之區域(頻率較密之部分)，易於選擇4×4正交變換。
進而，於8×8正交變換與4×4正交變換中，觀測到不同之畫質劣化之傾向。例如，於8×8正交變換中，易於觀測到蚊式雜訊，但於4×4正交變換中，難以觀測到蚊式雜訊。
因此，濾波器係數計算部112如上所述針對每個正交變換尺寸生成濾波器係數，藉此使濾波器係數反映圖像內之局部性質。例如，濾波器係數計算部112可藉由調整濾波器係數之值，而以如下方式進行控制，即，使環路濾波器113對頻率較疏之部分減弱濾波器，對頻率較密之部分增強濾波器。
再者，濾波器係數計算部112不僅可變更濾波器係數之值，亦可增減濾波器之分接頭數。例如，濾波器係數計算部112可針對頻率較疏之部分減少分接頭數，針對頻率較密之部分增加分接頭數。當然，濾波器係數計算部112亦可進行濾波器係數之值之調整與分接頭數之增減兩者。
如此，由於使用反映有圖像內之局所之性質的濾波器係數進行濾波器處理，因此環路濾波器113可進行適合於圖像所具有之局部性質的雜訊去除，並可進一步提昇解碼圖像之畫質。
再者，圖像編碼裝置100如上所述，進行根據正交變換尺寸這一已作為語法要素而存在之值之切換，因此無需重新將關於輸送哪一個濾波器係數之圖資訊附加至編碼資料中，故可不增加編碼資料中之附加項(降低編碼效率)，而實現高畫質處理。
[處理之流程]
其次，對使用以上述方式構成之各部分之處理的流程進行說明。首先，參照圖12之流程圖說明藉由圖像編碼裝置100所進行之編碼處理之流程的例。
於步驟S101中，A/D變換部101對所輸入之圖像進行A/D變換。於步驟S102中，畫面重排緩衝器102儲存經A/D變換之圖像，進行各畫面之自顯示順序向編碼順序之重排。
於步驟S103中，框內預測部116或移動預測‧補償部117等決定預測模式，進行生成預測圖像之預測處理。該預測處理之詳細情況將後述。
於步驟S104中，運算部103對藉由步驟S102之處理而重排之與藉由步驟S103之預測處理而生成之預測圖像的差分進行運算。預測圖像於進行框間預測之情形時係自移動預測.補償部117經由選擇部118供給至運算部103，於進行框內預測之情形時係自框內預測部116經由選擇部118供給至運算部103。
差分資料與原來之圖像資料相比資料量變小。因此，與對圖像直接進行編碼之情形時相比，可壓縮資料量。
於步驟S105中，正交變換部104對藉由步驟S104之處理所生成之差分資訊進行正交變換。具體而言，進行離散餘弦變換、K-L變換等正交變換，並輸出變換係數。於步驟S106中，量化部105將變換係數加以量化。於該量化時，如後述之步驟S115之處理中所說明般，碼率受到控制。
於步驟S107中，可逆編碼部106對自量化部105所輸出之經量化之變換係數進行編碼。
又，經量化之差分資訊以如下方式被局部解碼。即，於步驟S108中，逆量化部108以與量化部105之特性相對應之特性將藉由量化部105而量化之變換係數逆量化。於步驟S109中，逆正交變換部109以與正交變換部104之特性相對應之特性對藉由逆量化部108而逆量化之變換係數進行逆正交變換。
於步驟S110中，運算部110使經由選擇部118供給之預測圖像與經局部解碼之差分資訊相加，生成經局部解碼之圖像(與向運算部103之輸入相對應之圖像)。於步驟S111中，解塊濾波器111對自運算部110所供給之解碼圖像進行解塊濾波。藉此去除區塊失真。
若對1個畫面進行以上之處理，則濾波器係數計算部112及環路濾波器113於步驟S112中，進行環路濾波器處理。環路濾波器處理之詳細情況將後述。
於步驟S113中，可逆編碼部106將框內預測模式資訊、框間預測模式資訊、以及各正交變換區塊用之濾波器係數等之中繼資料嵌入(記述)至片層標頭中。該中繼資料係於圖像解碼時被讀出、利用。
於步驟S114中，儲存緩衝器107儲存編碼資料。適當地讀出儲存緩衝器107中所儲存之編碼資料，並將其經由傳輸路徑而傳輸至解碼側。
於步驟S115中，碼率控制部119根據儲存緩衝器107中所儲存之編碼資料，控制量化部105之量化動作之碼率，以防止產生溢位或下溢。
其次，參照圖13之流程圖說明圖12之步驟S103中所執行之預測處理之流程的例。
若開始預測處理，則於步驟S131中，框內預測部116使用經由選擇部115自圖框記憶體114所獲取之參照圖像、以及自畫面重排緩衝器102所供給之輸入圖像，計算出針對框內4×4、框內8×8、及框內16×16之各個模式(預先準備之各框內模式)之成本函數值。
於步驟S132中，框內預測部116根據步驟S131中所計算出之各模式之成本函數值，決定針對框內4×4、框內8×8、及框內16×16之各個之最佳模式。
於步驟S133中，框內預測部116自框內4×4、框內8×8、及框內16×16之中選擇最佳框內模式。
與進行上述步驟S131至步驟S133之各處理之同時，移動預測‧補償部117執行步驟S134至步驟S137之各處理。
於步驟S134中，移動預測‧補償部117進行移動搜索。於步驟S135中，移動預測‧補償部117針對框間16×16至4×4之各個模式，決定移動向量‧參照圖框。
於步驟S136中，移動預測‧補償部117針對框間16×16至4×4之各個模式，計算出成本函數值。
於步驟S137中，移動預測‧補償部117根據該成本函數值，決定最佳框間模式。
於步驟S138中，選擇部118將步驟S133中所選擇之最佳框內模式與步驟S137中所決定之最佳框間模式的任一者決定為最佳模式。
於步驟S139中，與被決定為最佳模式之模式相對應之框內預測部116或移動預測‧補償部117生成預測圖像。該預測圖像經由選擇部118而被供給至運算部103及運算部110。又，此時之最佳模式之預測模式資訊(框內預測模式資訊或框間預測模式資訊)被供給至可逆編碼部106。
若生成預測圖像，則預測處理結束，返回至圖12之步驟S103，執行步驟S104以後之處理。
其次，參照圖14之流程圖，說明圖12之步驟S112中所執行之環路濾波器處理之流程的例。
若開始環路濾波器處理，則於步驟S151中，解碼像素分類部152、輸入像素分類部153、及像素分類部161按每個適用於圖12之步驟S105中所執行之正交變換處理的正交變換尺寸，分別對所供給之解碼圖像或輸入圖像之各巨集區塊進行分組(進行分級)。
於步驟S152中，4×4區塊係數計算部154及8×8區塊係數計算部155針對各組計算出濾波器係數。
於步驟S153中，濾波器部(4×4)162及濾波器部(8×8)163針對各組，使用步驟S152中所計算出之各濾波器係數進行濾波器處理。
於步驟S154中，圖框記憶體114儲存步驟S153中所進行之濾波器處理之結果(經濾波器處理之解碼圖像)。該圖像係於特定之時間點作為參照圖像而被供給至移動預測‧補償部117。
若步驟S154之處理結束，則環路濾波器處理結束，返回至圖12之步驟S112，執行步驟S113以後之處理。
藉由如上述般進行各處理，濾波器係數計算部112可針對正交變換尺寸生成適當之濾波器係數。又，環路濾波器113可使用對應於各巨集區塊之正交變換尺寸之濾波器係數，對各巨集區塊進行濾波器處理。
作為結果，圖像編碼裝置100可進行適合於圖像內之局部性質的雜訊去除，並可獲得更高畫質之參照圖像。
進而，可逆編碼部106將該濾波器係數附加至編碼資料中，因此可使用該濾波器係數對圖像解碼裝置將該編碼資料解碼而獲得之解碼圖像適當地進行濾波器處理。即，圖像編碼裝置100可使對圖像編碼裝置100所生成之編碼資料進行解碼而獲得之解碼圖像高畫質化。
再者，上述中之「附加」係指以任意之形態使控制資訊與編碼資料產生關聯。例如，可作為編碼資料之語法而記述，亦可作為使用者資料而記述。又，亦可使濾波器係數等資訊作為中繼資料而變成與編碼資料鏈接之狀態。即，「附加」包含「嵌入」、「記述」、「多工化」、以及「連結」等。以下亦相同。
又，以上，作為正交變換尺寸，說明了4×4與8×8，但正交變換尺寸為任意。又，所適用之正交變換尺寸之個數亦任意。
作為所適用之正交變換尺寸為3個以上之情形時的分組(分級)，例如可對所有正交變換尺寸中之任意2個進行分組(分級)，而忽視(不選擇)其他正交變換尺寸。於此情形時，被忽視之組不進行濾波器處理。於此情形時，例如可藉由旗標資訊等控制是否進行濾波器處理。
又，例如亦可將各正交變換尺寸分成2組。即，於此情形時，有可能於1組中混合複數個正交變換尺寸。進而，例如亦可將各正交變換尺寸分成彼此不同之組。於此情形時，組數變成3組以上。於此情形時，係數計算部或濾波器部(圖11)僅準備組數。
又，濾波器之處理單位可為圖框，亦可為片層，亦可為除該等以外者。又，進行分級之單位(成為處理單位之部分圖像之圖像尺寸)亦可為巨集區塊以外者。
<2.第2實施形態> [設備之構成]
其次，對與第1實施形態中所說明之圖像編碼裝置100相對應之圖像解碼裝置進行說明。圖15表示作為適用本發明之圖像處理裝置之圖像解碼裝置之一實施形態之構成例的方塊圖。
圖像解碼裝置200對自圖像編碼裝置100所輸出之編碼資料進行解碼，生成解碼圖像。
圖像解碼裝置200包括：儲存緩衝器201、可逆解碼部202、逆量化部203、逆正交變換部204、運算部205、以及解塊濾波器206。又，圖像解碼裝置200包括環路濾波器207。進而，圖像解碼裝置200包括：畫面重排緩衝器208以及D/A(Digital/Analog)變換部209。又，圖像解碼裝置200包括：圖框記憶體210、選擇部211、框內預測部212、移動預測‧補償部213、以及選擇部214。
儲存緩衝器201儲存傳輸而來之編碼資料。可逆解碼部202對自儲存緩衝器201所供給之藉由圖1之可逆編碼部106而編碼之資訊，以與可逆編碼部106之編碼方式相對應之方式進行解碼。
於該巨集區塊為經框內編碼者之情形時，可逆解碼部202提取編碼資料之標頭部中所儲存之框內預測模式資訊，並將其供給至框內預測部212。又，於該巨集區塊為經框間編碼者之情形時，可逆解碼部202提取編碼資料之標頭部中所儲存之移動向量資訊或框間預測模式資訊等，並將其供給至移動預測‧補償部213。
又，可逆解碼部202自編碼資料中提取各正交變換尺寸用之濾波器係數，並將該等供給至環路濾波器207。
逆量化部203以與圖1之量化部105之量化方式相對應之方式，將藉由可逆解碼部202而解碼之圖像逆量化。
逆正交變換部204以與圖1之正交變換部104之正交變換方式相對應之方式，對逆量化部203之輸出進行逆正交變換。逆正交變換部204將經逆正交變換之差分資訊供給至運算部205。又，逆正交變換部204將於該逆正交變換處理中，適用於各巨集區塊之正交變換尺寸供給至環路濾波器207。
運算部205使經逆正交變換之差分資訊與自選擇部214所供給之預測圖像相加，而生成解碼圖像。解塊濾波器206去除該相加處理後所生成之解碼圖像之區塊失真。
環路濾波器207根據自逆正交變換部204所供給之資訊，按每個適用於由逆正交變換部204所進行之逆正交變換處理之逆正交變換尺寸，對自解塊濾波器206所供給之解碼圖像之各巨集區塊進行分組(分級)，並使用自可逆解碼部202所供給之濾波器係數對各組(級)進行濾波器處理。
該濾波器係數係於圖像編碼裝置100之濾波器係數計算部112中所生成之係數，如第1實施形態中所說明般，其係針對每個正交變換尺寸，以使殘差成為最小之方式所計算出者。即，該各正交變換尺寸用之濾波器係數分別被設定為相對於所對應之正交變換尺寸較適當的值。
藉此，環路濾波器207可減少未被解塊濾波器206完全去除之區塊失真或由量化所引起之失真。此時，環路濾波器207進行適合於圖像內之局部性質的雜訊去除，因此可輸出更高畫質之解碼圖像。
環路濾波器207將濾波器處理後之圖像供給至圖框記憶體210，使其作為參照圖像而加以儲存，並且將其輸出至畫面重排緩衝器208。
畫面重排緩衝器208進行圖像之重排。即，將為了編碼之順序而藉由圖1之畫面重排緩衝器102重排之圖框之順序重排成原來之顯示之順序。D/A變換部209對自畫面重排緩衝器208所供給之圖像進行D/A變換，並將其輸出。例如，D/A變換部209將進行D/A變換後所獲得之輸出信號輸出至未圖示之顯示器，而使圖像顯示。
框內預測部212於該圖框為經框內編碼者之情形時，經由選擇部211自圖框記憶體210獲取參照圖像，根據自可逆解碼部202所供給之資訊，生成預測圖像，並將所生成之預測圖像經由選擇部214供給至運算部205。
移動預測‧補償部213於該圖框為經框間編碼者之情形時，經由選擇部211自圖框記憶體210獲取參照圖像，根據自可逆解碼部202所供給之移動向量資訊，對參照圖像進行移動補償處理，生成預測圖像。移動預測‧補償部213將所生成之預測圖像經由選擇部214供給至運算部205。
選擇部214於該巨集區塊為經框內編碼者之情形時，連接於框內預測部212，將自框內預測部212所供給之圖像作為預測圖像供給至運算部205。又，於該巨集區塊為經框間編碼者之情形時，選擇部214連接於移動預測‧補償部213，將自移動預測‧補償部213所供給之圖像作為預測圖像供給至運算部205。
圖16係表示圖15之環路濾波器207之詳細之構成例的方塊圖。
環路濾波器207具有基本上與圖像編碼裝置100之環路濾波器113相同之構成，並執行相同之處理。如圖16所示，環路濾波器207包括：像素分類部251、濾波器部(4×4)252、以及濾波器部(8×8)253。
像素分類部251根據自逆正交變換部204所供給之關於正交變換尺寸之資訊，將自解塊濾波器206所供給之解碼圖像之各巨集區塊分級(分組)為適用有4×4正交變換之巨集區塊(4×4正交變換區塊)與適用有8×8正交變換之巨集區塊(8×8正交變換區塊)。然後，像素分類部251將解碼圖像之中關於4×4正交變換區塊之資訊供給至濾波器部(4×4)252，將關於8×8正交變換區塊之資訊供給至濾波器部(8×8)253。
濾波器部(4×4)252適用自可逆解碼部202所供給之適合於4×4正交變換區塊之濾波器係數，對解碼圖像之4×4正交變換區塊進行濾波器處理。
濾波器部(8×8)253適用自可逆解碼部202所供給之適合於8×8正交變換區塊之濾波器係數，對解碼圖像之8×8正交變換區塊進行濾波器處理。
濾波器部(4×4)252及濾波器部(8×8)253將已實施濾波器處理之解碼圖像供給至畫面重排緩衝器208或圖框記憶體210。
如此，環路濾波器207按解碼圖像之各巨集區塊之每個正交變換尺寸對各巨集區塊進行分類，並使用該等之正交變換尺寸用之濾波器係數進行濾波器處理。該濾波器係數係藉由可逆解碼部202自編碼資料中所提取者，如第1實施形態中所說明般，其係以適合於各正交變換尺寸區塊之圖像之方式生成者。因此，環路濾波器207與第1實施形態中所說明之環路濾波器113之情形同樣地，可進行適合於圖像所具有之局部性質的雜訊去除，作為結果，可獲得更高畫質之解碼圖像。
[處理之流程]
參照圖17之流程圖，說明該圖像解碼裝置200所執行之解碼處理之流程之例。
於步驟S201中，儲存緩衝器201儲存傳輸而來之圖像(編碼資料)。於步驟S202中，可逆解碼部202自編碼資料中提取濾波器係數。又，可逆解碼部202亦進行移動向量資訊、參照圖框資訊、預測模式資訊(框內預測模式資訊或框間預測模式資訊)等之提取。
於步驟S203中，可逆解碼部202對編碼資料進行可逆解碼。於步驟S204中，逆量化部203以與圖1之量化部105之特性相對應之特性，將於步驟S203中對編碼資料進行解碼而獲得之變換係數逆量化。於步驟S205中，逆正交變換部204以與圖1之正交變換部104之特性相對應之特性，對藉由步驟S204之處理而逆量化之變換係數進行逆正交變換。藉此，與圖1之正交變換部104之輸入(運算部103之輸出)相對應之差分資訊得到解碼。
於步驟S206中，框內預測部212及移動預測‧補償部213等進行預測圖像生成處理，對應於預測模式而生成預測圖像。該預測圖像生成處理之詳細情況將後述。於步驟S207中，運算部205使於步驟S206中所生成之預測圖像與藉由至步驟S205為止之處理而解碼之差分資訊相加。藉此對原來之圖像進行解碼。
於步驟S208中，解塊濾波器206對自運算部205所輸出之圖像進行濾波。藉此去除區塊失真。
於步驟S209中，環路濾波器207等進行環路濾波器處理，並進而對經解塊濾波器處理之圖像實施適應性濾波器處理。該環路濾波器處理之詳細情況將後述，但基本上與圖1之環路濾波器113所進行之處理相同。
藉由該適應性濾波器處理，可減少利用解塊濾波器處理未完全去除之區塊失真或由量化所引起之失真。
於步驟S210中，畫面重排緩衝器208進行重排。即，將為了編碼而藉由圖1之圖像編碼裝置100之畫面重排緩衝器102重排之圖框之順序，重排成原來之顯示之順序。
於步驟S211中，D/A變換部209對步驟S210中經重排之圖像進行D/A變換。將該圖像輸出至未圖示之顯示器而顯示圖像。若步驟S211之處理結束，則解碼處理結束。
其次，參照圖18之流程圖，說明圖17之步驟S206中所執行之預測圖像生成處理之流程的例。
若開始預測圖像生成處理，則於步驟S231中，可逆解碼部202根據於步驟S202中所提取之預測模式等之資訊，判定該區塊是否已進行框內編碼。若為經框內編碼之區塊，則可逆解碼部202將自編碼資料中所提取之框內預測模式資訊供給至框內預測部212，然後進入至步驟S232。
於步驟S232中，框內預測部212獲取自可逆解碼部202所供給之框內預測模式資訊。若獲取框內預測模式資訊，則框內預測部212於步驟S233中，根據該框內預測模式資訊，經由選擇部211自圖框記憶體210獲取參照圖像，而生成框內預測圖像。若生成框內預測圖像，則框內預測部212將該框內預測圖像作為預測圖像，經由選擇部214供給至運算部205。
又，當於步驟S231中判定為該區塊已經過框間編碼之情形時，可逆解碼部202將自編碼資料中提取之移動預測模式、參照圖框、以及移動向量資訊等供給至移動預測‧補償部213，然後進入至步驟S234。
於步驟S234中，移動預測‧補償部213獲取自可逆解碼部202所供給之移動預測模式、參照圖框、以及移動向量資訊等。若獲取該等資訊，則移動預測‧補償部213於步驟S235中，選擇對應於移動向量資訊之內插濾波器，於步驟S236中，經由選擇部211自圖框記憶體210獲取參照圖像，而生成框間預測圖像。若生成框間預測圖像，則移動預測．補償部213將該框間預測圖像作為預測圖像，經由選擇部214供給至運算部205。
若步驟S233或步驟S236之處理結束，則預測圖像生成處理結束，返回至圖17之步驟S206，執行步驟S207以後之處理。
其次，參照圖19之流程圖，說明圖17之步驟S209中所執行之環路濾波器處理之流程的例。
若開始環路濾波器處理，則於步驟S251中，環路濾波器207之濾波器部(4×4)252及濾波器部(8×8)253自可逆解碼部202獲取各組之濾波器係數。
於步驟S252中，像素分類部251自逆正交變換部204獲取該巨集區塊之正交變換尺寸。像素分類部251根據所獲取之正交變換尺寸，對該巨集區塊進行分級。
於步驟S253中，與該巨集區塊之正交變換尺寸相對應之濾波器部(濾波器部(4×4)252或濾波器部(8×8)253之任一者)使用於步驟S251中所獲取的濾波器係數，對該巨集區塊進行對應於正交變換尺寸之濾波器處理。
於步驟S254中，圖框記憶體210儲存步驟S253之濾波器處理結果。
若步驟S254之處理結束，則環路濾波器處理結束，返回至圖17之步驟S209，進行步驟S210以後之處理。
藉由如上述般進行各處理，環路濾波器207可進行濾波器處理，並可減少利用解塊濾波器未完全去除之區塊失真 或由量化所引起之失真。
又，此時，環路濾波器207使用自編碼資料中所提取之濾波器係數進行濾波器處理。該濾波器係數係針對每個巨集區塊之正交變換尺寸，以使殘差成為最小之方式生成者。環路濾波器207使用作為處理對象之該巨集區塊之正交變換尺寸用的濾波器係數對該巨集區塊進行濾波器處理。藉此，環路濾波器207可進行適合於圖像內之局部性質的雜訊去除。作為結果，圖像解碼裝置200可獲得更高畫質之解碼圖像。
再者，與第1實施形態之情形同樣地，正交變換尺寸為任意。又，所適用之正交變換尺寸之個數亦任意。
巨集區塊之分組(分級)之方法只要與已生成編碼資料之圖像編碼裝置100之方法相對應，則可為任意方法。又，濾波器之處理單位可為圖框，亦可為片層，亦可為該等以外者。
<3.第3實施形態> [ALF區塊控制之說明]
再者，除如上之濾波器係數之控制以外，進而，亦可適用BALF(Block based Adaptive Loop Filter，基於區塊之適應性環路濾波器)，該BALF於因環路濾波器而導致畫質局部惡化之區域，不進行環路濾波器處理。以下，對BALF進行說明。
圖20之A之圖框301表示解塊濾波器處理後之解碼圖像。如圖20之B所示，將分別作為變成局部所進行之適應性濾波器處理之控制單位之控制區塊的複數個ALF(Adaptive Loop Filter)區塊302以鋪滿該圖框301之整個區域之方式無間隙地配置。配置該ALF區塊302之區域可與圖框301之區域不同，但至少包含圖框301之整個區域。作為結果，圖框301之區域被分割成各ALF區塊302之區域(複數個區域)。
ALF區塊302之水平方向之尺寸(雙箭頭303)與垂直方向之尺寸(雙箭頭304)可設定為例如8×8、16×16、24×24、32×32、48×48、64×64、96×96或者128×128等。再者，將指定該ALF區塊之尺寸之資訊稱為區塊尺寸指數。
若已決定區塊尺寸，則圖框尺寸固定，因此每個圖框之ALF區塊數亦被決定。
然後，如圖20之C所示，針對每個ALF區塊302，設定控制是否進行濾波器處理之濾波器區塊旗標305。例如，關於藉由適應性濾波器而改善畫質之區域，設定值為「1」之濾波器區塊旗標305，關於因適應性濾波器而導致畫質惡化之區域，設定值為「0」之濾波器區塊旗標305。於濾波器區塊旗標305中，值「1」為表示進行濾波器處理之值，值「0」為表示不進行濾波器處理之值。
然後，根據該濾波器區塊旗標305之值，控制是否對每個ALF區塊302之區域進行環路濾波器處理。例如，環路濾波器113僅對濾波器區塊旗標305之值為「1」之ALF區塊302之區域進行濾波器處理，而不對濾波器區塊旗標305之值為「0」之ALF區塊302之區域進行濾波器處理。
例如，於濾波器係數計算部112中，設定此種ALF區塊302或濾波器區塊旗標305，環路濾波器113根據該資訊，如上述般進行濾波器處理。
藉此，環路濾波器113可不對因濾波器處理而導致畫質局部惡化之區域進行濾波器處理，可進一步提昇參照圖像之畫質。
再者，關於該ALF區塊302或濾波器區塊旗標305之資訊被附加至編碼資料中，並被供給至圖像解碼裝置200。藉此，圖像解碼裝置200之環路濾波器207亦可與環路濾波器113同樣地進行濾波器處理，可不對因濾波器處理而導致畫質局部惡化之區域進行濾波器處理。作為結果，可進一步提昇解碼圖像之畫質。
<4.第4實施形態> [QALF之說明]
又，亦可將第3實施形態中所說明之ALF控制區塊設定為四元樹構造。該技術稱為QALF(Quad tree-based Adaptive Loop Filter，基於四元樹之適應性環路濾波器)。所謂四元樹構造，係指於下位階層中將上一位階層之1個ALF區塊之區域一分為四的階層構造。
圖21表示藉由最大層數為3之四元樹構造來表現ALF區塊分割，並對各ALF區塊指定濾波器區塊旗標之例。
圖21之A表示成為四元樹構造之基本之ALF區塊即層0。於四元樹構造中，各ALF區塊具有表示是否於下位之階層中被一分為四之區塊分割旗標。圖21之A所示之ALF區塊之區塊分割旗標的值為「1」。即，該ALF區塊於下位之階層(層1)中被一分為四。圖21之B表示該層1。即，於層1中形成4個ALF區塊。
於區塊分割旗標為「0」之情形時，於較層1更下位之階層中不被一分為四。即，不再進行分割，而針對該ALF區塊生成濾波器區塊旗標。即，區塊分割旗標為「0」之ALF區塊亦具有濾波器區塊旗標。圖21之B所示之「0-1」之左邊的「0」表示該ALF區塊之區塊分割旗標，右邊之「1」表示該ALF區塊之濾波器區塊旗標。
層1之區塊分割旗標為「1」之2個ALF區塊於更下位之階層(層2)中被一分為四。圖21之C表示該層2。即，於層2中形成10個ALF區塊。
同樣地，於層2中，亦將濾波器區塊旗標分配至區塊分割旗標為「0」之ALF區塊中。於圖21之C中，1個ALF區塊之區塊分割旗標為「1」。即，該ALF區塊於更下位之階層(層3)中被一分為四。圖21D表示該層3。即，於層3中形成13個ALF區塊。
如此，於四元樹構造中，ALF區塊之尺寸於每個階層中不同。即，ALF區塊採用四元樹構造，藉此可於圖框內使其大小彼此不同。
各ALF區塊中之濾波器區塊旗標之控制與第3實施形態之情形相同。即，濾波器區塊旗標之值為「0」之ALF區塊之區域係不進行濾波器處理。
因此，藉此環路濾波器113與第3實施形態之情形同樣地，可不對因濾波器處理而導致畫質局部惡化之區域進行濾波器處理，可進一步提昇參照圖像之畫質。
再者，與第3實施形態之情形同樣地，關於該控制區塊或濾波器區塊旗標之資訊被附加至編碼資料中並被供給至圖像解碼裝置200。藉此，圖像解碼裝置200之環路濾波器207亦可與環路濾波器113同樣地進行濾波器處理，可不對因濾波器處理而導致畫質局部惡化之區域進行濾波器處理。作為結果，可進一步提昇解碼圖像之畫質。
<5.第5實施形態> [個人電腦]
上述一系列處理可藉由硬體執行，亦可藉由軟體執行。於此情形時，例如亦可構成為如圖22所示之個人電腦。
於圖22中，個人電腦500之CPU(Central Processing Unit，中央處理單元)501根據ROM(Read Only Memory，唯讀記憶體)502中所儲存之程式、或者自儲存部513載入至RAM(Random Access Memory，隨機存取記憶體)503中之程式執行各種處理。又，RAM503中亦適當儲存CPU501執行各種處理時所需之資料等。
CPU501、ROM502、以及RAM503係經由匯流排504而相互連接。又，該匯流排504上亦連接有輸入輸出介面510。
輸入輸出介面510上連接有包含鍵盤、滑鼠等之輸入部511，包含由CRT(Cathode Ray Tube，陰極射線管)或LCD(Liquid Crystal Display，液晶顯示器)等所構成之顯示器及揚聲器等之輸出部512，由硬碟等所構成之儲存部513，由調制解調器等所構成之通信部514。通信部514經由包含網際網路之網路進行通信處理。
又，視需要於輸入輸出介面510上連接驅動器515，並適當地安裝磁碟、光碟、磁光碟、或者半導體記憶體等可移動媒體521，且視需要將自該等所讀出之電腦程式安裝於儲存部513中。
於藉由軟體執行上述一系列處理之情形時，自網路或記錄媒體安裝構成該軟體之程式。
該記錄媒體例如圖22所示，與裝置本體不同，不僅由為了對使用者發送程式而配置之包含記錄有程式之磁碟(包含軟碟)、光碟(包含CD-ROM(Compact Disc-Read Only Memory，緊密光碟-唯讀記憶體)、DVD(Digital Versatile Disc，數位多功能光碟))、磁光碟(包含MD(Mini Disc，迷你磁碟))或半導體記憶體等的可移動媒體521構成，而且由以預先組裝入裝置本體之狀態對使用者進行發送之記錄有程式的ROM502、或者儲存部513中所包含之硬碟等構成。
再者，電腦所執行之程式可為按本說明書中所說明之順序以時間序列進行處理的程式，亦可為並列地、或按已進行調用時等之必要時序進行處理之程式。
又，於本說明書中，記述記錄媒體中所記錄之程式之步驟當然包括按所記載之順序以時間序列所進行之處理，亦包括即便不必以時間序列進行處理，亦並列地或個別地執行之處理。
又，於本說明畫中，所謂系統，係指由複數個設備(裝置)所構成之整個裝置。
又，亦可將以上作為1個裝置(或處理部)所說明之構成加以分割而構成為複數個裝置(或處理部)。相反地，亦可將以上作為複數個裝置(或處理部)所說明之構成加以組合而構成為1個裝置(或處理部)。又，當然亦可對各裝置(或各處理部)之構成附加除上述以外之構成。進而，若系統整體之構成或動作實質上相同，則可於其他裝置(或其他處理部)之構成中包含某裝置(或處理部)之構成之一部分。即，本發明之實施形態並不限定於上述實施形態，於不脫離本發明之主旨之範圍內可進行各種變更。
例如，上述圖像編碼裝置100或圖像解碼裝置200可適用於任意之電子機器。以下，對其例進行說明。
<6.第6實施形態> [電視接收器]
圖23係表示使用適用了本發明之圖像解碼裝置200之電視接收器之主要構成例的方塊圖。
圖23所示之電視接收器1000包括：地面波調諧器1013、視訊解碼器1015、影像信號處理電路1018、圖形生成電路1019、面板驅動電路1020、以及顯示面板1021。
地面波調諧器1013經由天線而接收地面類比廣播之廣播波信號，進行解調後獲取影像信號，並將其供給至視訊解碼器1015。視訊解碼器1015對自地面波調諧器1013所供給之影像信號實施解碼處理，並將所獲得之數位之成分信號供給至影像信號處理電路1018。
影像信號處理電路1018對自視訊解碼器1015所供給之影像資料實施雜訊去除等特定之處理，並將所獲得之影像資料供給至圖形生成電路1019。
圖形生成電路1019生成顯示於顯示面板1021之節目之影像資料、或由基於經由網絡所供給之應用程式之處理所產生之圖像資料等，並將所生成之影像資料或圖像資料供給至面板驅動電路1020。又，圖形生成電路1019亦適當地進行如下處理，即生成用於顯示由使用者於選擇項目等時所利用之畫面的影像資料(圖形)，並將其與節目之影像資料重疊，將藉此所獲得之影像資料供給至面板驅動電路1020。
面板驅動電路1020根據自圖形生成電路1019所供給之資料而驅動顯示面板1021，並使節目之影像或上述各種畫面顯示於顯示面板1021。
顯示面板1021包含LCD(Liquid Crystal Display)等，其根據面板驅動電路1020之控制而顯示節目之影像等。
又，電視接收器1000亦包括：聲音A/D(Analog/Digital)變換電路1014、聲音信號處理電路1022、回音消除/聲音合成電路1023、聲音放大電路1024、以及揚聲器1025。
地面波調諧器1013對所接收之廣播波信號進行解調，藉此不僅獲取影像信號，亦獲取聲音信號。地面波調諧器1013將所獲取之聲音信號供給至聲音A/D變換電路1014。
聲音A/D變換電路1014對自地面波調諧器1013所供給之聲音信號實施A/D變換處理，並將所獲得之數位之聲音信號供給至聲音信號處理電路1022。
聲音信號處理電路1022對自聲音A/D變換電路1014所供給之聲音資料實施雜訊去除等特定之處理，並將所獲得之聲音資料供給至回音消除/聲音合成電路1023。
回音消除/聲音合成電路1023將自聲音信號處理電路1022所供給之聲音資料供給至聲音放大電路1024。
聲音放大電路1024對自回音消除/聲音合成電路1023所供給之聲音資料實施D/A變換處理、放大處理，並於調整為特定之音量之後，使聲音自揚聲器1025輸出。
進而，電視接收器1000亦包括數位調諧器1016及MPEG解碼器1017。
數位調諧器1016經由天線接收數位廣播(地面數位廣播、BS(Broadcasting Satellite，廣播衛星)/CS(Communications Satellite，通信衛星)數位廣播)之廣播波信號，進行解調後獲取MPEG-TS(Moving Picture Experts Group-Transport Stream，動畫專家群-傳輸串流)，並將其供給至MPEG解碼器1017。
MPEG解碼器1017解除對自數位調諧器1016所供給之MPEG-TS所實施之鎖碼，並提取包含成為再生對象(視聽對象)之節目之資料的串流。MPEG解碼器1017對構成所提取之串流之聲音封包進行解碼，將所獲得之聲音資料供給至聲音信號處理電路1022，並且對構成串流之影像封包進行解碼，將所獲得之影像資料供給至影像信號處理電路1018。又，MPEG解碼器1017將自MPEG-TS所提取之EPG(Electronic Program Guide，電子節目表)資料經由未圖示之路徑供給至CPU1032。
電視接收器1000使用上述圖像解碼裝置200作為如上述般對影像封包進行解碼之MPEG解碼器1017。再者，自廣播電視局等所發送之MPEG-TS係藉由圖像編碼裝置100而編碼。
MPEG解碼器1017與圖像解碼裝置200之情形同樣地，使用自由圖像編碼裝置100所供給之編碼資料中所提取之濾波器係數，對解碼圖像之各巨集區塊進行對應於該等區塊之正交變換尺寸之濾波器處理。因此，MPEG解碼器1017可進行適合於圖像內之局部性質的雜訊去除。
自MPEG解碼器1017所供給之影像資料與自視訊解碼器1015所供給之影像資料之情形同樣地，於影像信號處理電路1018中被實施特定之處理，然後於圖形生成電路1019中，適當地與所生成之影像資料等重疊，並經由面板驅動電路1020而被供給至顯示面板1021後顯示其圖像。
自MPEG解碼器1017所供給之聲音資料與自聲音A/D變換電路1014所供給之聲音資料之情形同樣地，於聲音信號處理電路1022中被實施特定之處理，然後經由回音消除/聲音合成電路1023而被供給至聲音放大電路1024，並被實施D/A變換處理或放大處理。其結果，調整為特定之音量之聲音自揚聲器1025輸出。
又，電視接收器1000亦包括麥克風1026及A/D變換電路1027。
A/D變換電路1027接收作為聲音會話用者而由設置於電視接收器1000中之麥克風1026所導入之使用者之聲音的信號，對所接收之聲音信號實施A/D變換處理，並將所獲得之數位之聲音資料供給至回音消除/聲音合成電路1023。
回音消除/聲音合成電路1023於自A/D變換電路1027供給有電視接收器1000之使用者(使用者A)之聲音之資料的情形時，將使用者A之聲音資料作為對象進行回音消除，然後將與其他聲音資料進行合成等而獲得之聲音之資料經由聲音放大電路1024自揚聲器1025輸出。
進而，電視接收器1000亦包括：聲音編解碼器1028、內部匯流排1029、SDRAM(Synchronous Dynamic Random Access Memory，同步動態隨機存取記憶體)1030、快閃記憶體1031、CPU1032、USB(Universal Serial Bus，通用串列匯流排)I/F1033、及網路I/F1034。
A/D變換電路1027接收作為聲音會話用者而由設置於電視接收器1000中之麥克風1026所導入之使用者之聲音的信號，然後對所接收之聲音信號實施A/D變換處理，並將所獲得之數位之聲音資料供給至聲音編解碼器1028。
聲音編解碼器1028將自A/D變換電路1027所供給之聲音資料變換為用以經由網路發送之特定格式之資料，並經由內部匯流排1029供給至網路I/F1034。
網路I/F1034經由安裝於網路端子1035之電纜而連接於網路。網路I/F1034例如對連接於該網路之其他裝置發送自聲音編解碼器1028所供給之聲音資料。又，網路I/F1034例如經由網路端子1035接收自經由網路而連接之其他裝置所發送的聲音資料，並將其經由內部匯流排1029供給至聲音編解碼器1028。
聲音編解碼器1028將自網路I/F1034所供給之聲音資料變換為特定格式之資料，並將其供給至回音消除/聲音合成電路1023。
回音消除/聲音合成電路1023將自聲音編解碼器1028所供給之聲音資料作為對象進行回音消除，然後將與其他聲音資料進行合成等而獲得之聲音之資料經由聲音放大電路1024自揚聲器1025輸出。
SDRAM1030儲存CPU1032進行處理時所需之各種資料。
快閃記憶體1031儲存由CPU1032所執行之程式。快閃記憶體1031中所儲存之程式係於電視接收器1000之啟動時等特定之時間點，藉由CPU1032而讀出。於快閃記憶體1031中亦儲存經由數位廣播所獲取之EPG資料，經由網路而自特定之伺服器所獲取之資料等。
例如，於快閃記憶體1031中儲存MPEG-TS，該MPEG-TS包含藉由CPU1032之控制而經由網路自特定之伺服器所獲取之內容資料。快閃記憶體1031例如藉由CPU1032之控制，將該MPEG-TS經由內部匯流排1029供給至MPEG解碼器1017。
MPEG解碼器1017與自數位調諧器1016所供給之MPEG-TS之情形同樣地對該MPEG-TS進行處理。如此，電視接收器1000可經由網路接收包含影像或聲音等之內容資料，並使用MPEG解碼器1017進行解碼，從而顯示該影像或輸出聲音。
又，電視接收器1000亦包括接收自遙控器1051所發送之紅外線信號之受光部1037。
受光部1037接收來自遙控器1051之紅外線，將進行解調而獲得之表示使用者操作之內容的控制碼輸出至CPU1032。
CPU1032執行快閃記憶體1031中所儲存之程式，並對應於自受光部1037所供給之控制碼等而控制電視接收器1000整體之動作。CPU1032與電視接收器1000之各部分係經由未圖示之路徑連接。
USB I/F1033在與經由安裝於USB端子1036之USB電纜而連接之電視接收器1000的外部機器之間進行資料之發送接收。網路I/F1034亦經由安裝於網路端子1035之電纜而連接於網路，且與連接於網路之各種裝置進行聲音資料以外之資料之發送接收。
電視接收器1000使用圖像解碼裝置200作為MPEG解碼器1017，藉此可進行適合於圖像內之局部性質的雜訊去除。作為其結果，電視接收器1000可自經由天線而接收之廣播波信號、或經由網路而獲取之內容資料獲得更高畫質之解碼圖像。
<7.第7實施形態> [行動電話]
圖24係表示使用適用了本發明之圖像編碼裝置及圖像解碼裝置之行動電話之主要構成例的方塊圖。
圖24所示之行動電話1100包括：以統一控制各部分之方式所形成之主控制部1150、電源電路部1151、操作輸入控制部1152、圖像編碼器1153、相機I/F部1154、LCD控制部1155、圖像解碼器1156、多工分離部1157、記錄再生部1162、調變解調電路部1158、以及聲音編解碼器1159。該等係經由匯流排1160而相互連接。
又，行動電話1100包括：操作鍵1119、CCD(Charge Coupled Devices，電荷耦合元件)相機1116、液晶顯示器1118、儲存部1123、發送接收電路部1163、天線1114、麥克風(話筒)1121、以及揚聲器1117。
電源電路部1151於藉由使用者之操作而結束通話及使電源鍵成為接通狀態時，自電池組對各部分供給電力，藉此使行動電話1100啟動為可動作之狀態。
行動電話1100基於包括CPU、ROM及RAM等之主控制部1150之控制，以聲音通話模式或資料通信模式等各種模式進行聲音信號之發送接收、電子郵件或圖像資料之發送接收、圖像攝影、或資料記錄等各種動作。
例如於聲音通話模式中，行動電話1100藉由聲音編解碼器1159而將由麥克風(話筒)1121所收集之聲音信號變換為數位聲音資料，並利用調變解調電路部1158對該數位聲音資料進行展頻處理，且利用發送接收電路部1163進行數位類比變換處理及頻率變換處理。行動電話1100經由天線1114將藉由上述變換處理而獲得之發送用信號發送至未圖示之基地台。向基地台傳輸之發送用信號(聲音信號)係經由公眾電話網路供給至通話對象之行動電話。
又，例如於聲音通話模式中，行動電話1100利用發送接收電路部1163將由天線1114所接收之接收信號放大，進而進行頻率變換處理及類比數位變換處理，並利用調變解調電路部1158進行解展頻處理，且藉由聲音編解碼器1159而將其變換為類比聲音信號。行動電話1100將經該變換而獲得之類比聲音信號自揚聲器1117輸出。
進而，例如當於資料通信模式中發送電子郵件時，行動電話1100係於操作輸入控制部1152接收藉由操作鍵1119之操作而輸入之電子郵件之文本資料。行動電話1100係於主控制部1150中對該文本資料進行處理，並經由LCD控制部1155使其作為圖像而顯示於液晶顯示器1118。
又，行動電話1100係於主控制部1150中，根據操作輸入控制部1152所接收之文本資料或使用者指示等而生成電子郵件資料。行動電話1100利用調變解調電路部1158對該電子郵件資料進行展頻處理，並利用發送接收電路部1163進行數位類比變換處理及頻率變換處理。行動電話1100將經該變換處理而獲得之發送用信號經由天線1114而發送至未圖示之基地台。向基地台傳輸之發送用信號(電子郵件)係經由網路及郵件伺服器等供給至特定之目的地。
又，例如當於資料通信模式中接收電子郵件時，行動電話1100係經由天線1114而以發送接收電路部1163接收自基地台所發送之信號，將該信號放大後，進而進行頻率變換處理及類比數位變換處理。行動電話1100利用調變解調電路部1158對該接收信號進行解展頻處理而復原原來之電子郵件資料。行動電話1100將經復原之電子郵件資料經由LCD控制部1155而顯示於液晶顯示器1118。
再者，行動電話1100亦可經由記錄再生部1162而將所接收之電子郵件資料記錄(儲存)於儲存部1123。
該儲存部1123為可覆寫之任意之儲存媒體。儲存部1123例如可為RAM或內置型快閃記憶體等半導體記憶體，亦可為硬碟，亦可為磁碟、磁光碟、光碟、USB記憶體、或記憶卡等可移動媒體。當然，亦可為除該等以外者。
進而，例如當於資料通信模式中發送圖像資料時，行動電話1100藉由攝像而利用CCD相機1116生成圖像資料。CCD相機1116包括透鏡或光圈等光學設備與作為光電變換元件之CCD，其對被攝體進行攝像，並將所接收之光之強度變換為電信號，生成被攝體之圖像之圖像資料。CCD相機1116藉由圖像編碼器1153，並經由相機I/F部1154對該圖像資料進行編碼，而將其變換為編碼圖像資料。
行動電話1100使用上述圖像編碼裝置100作為進行此種處理之圖像編碼器1153。因此，圖像編碼器1053與圖像編碼裝置100之情形同樣地，可進行適合於圖像內之局部性質的雜訊去除。
再者，與此同時，行動電話1100將藉由CCD相機1116進行攝像之過程中由麥克風(話筒)1121所收集之聲音於聲音編解碼器1159中進行類比數位變換，進而進行編碼。
行動電話1100係於多工分離部1157中，以特定之方式將自圖像編碼器1153所供給之編碼圖像資料與自聲音編解碼器1159所供給之數位聲音資料多工化。行動電話1100利用調變解調電路部1158對上述所獲得之多工化資料進行展頻處理，並利用發送接收電路部1163進行數位類比變換處理及頻率變換處理。行動電話1100將藉由該變換處理而獲得之發送用信號經由天線1114發送至未圖示之基地台。向基地台傳輸之發送用信號(圖像資料)係經由網路等供給至通信對象。
再者，於不發送圖像資料之情形時，行動電話1100亦可不經由圖像編碼器1153，而經由LCD控制部1155將由CCD相機1116所生成之圖像資料顯示於液晶顯示器1118。
又，例如當於資料通信模式中接收與簡易主頁等鏈接之動態圖像檔案之資料等，行動電話1100經由天線1114而以發送接收電路部1163接收自基地台所發送之信號，將該信號放大後，進而進行頻率變換處理及類比數位變換處理。行動電話1100利用調變解調電路部1158對該接收信號進行解展頻處理而復原原來之多工化資料。行動電話1100係於多工分離部1157中分離該多工化資料，並將其分為編碼圖像資料與聲音資料。
行動電話1100係於圖像解碼器1156中對編碼圖像資料進行解碼，藉此生成再生動態圖像資料，並經由LCD控制部1155使其顯示於液晶顯示器1118。藉此，使例如與簡易主頁鏈接之動態圖像檔案中所包含之動畫資料顯示於液晶顯示器1118。
行動電話1100使用上述圖像解碼裝置200作為進行此種處理之圖像解碼器1156。因此，圖像解碼器1156與圖像解碼裝置200之情形同樣地，可進行適合於圖像內之局部性質的雜訊去除。
此時，行動電話1100係同時於聲音編解碼器1159中，將數位之聲音資料變換為類比聲音信號，並使其自揚聲器1117輸出。藉此，使例如與簡易主頁鏈接之動態圖像檔案中所包含之聲音資料再生。
再者，與電子郵件之情形同樣地，行動電話1100亦可將所接收之與簡易主頁等鏈接之資料經由記錄再生部1162而記錄(儲存)於儲存部1123。
又，行動電話1100可於主控制部1150中，對由CCD相機1116進行攝像而獲得之二維碼進行解析，從而獲取記錄成二維碼之資訊。
進而，行動電話1100可藉由紅外線通信部1181而以紅外線與外部之機器進行通信。
行動電話1100使用圖像編碼裝置100作為圖像編碼器1153，藉此可進行適合於圖像內之局部性質的雜訊去除。作為其結果，行動電話1100獲得更高畫質之解碼圖像。因此，行動電話1100可使對如下之編碼資料進行解碼而獲得之解碼圖像高畫質化，該編碼資料例如係對CCD相機1116中所生成之圖像資料進行編碼而生成者。
又，行動電話1100使用圖像解碼裝置200作為圖像解碼器1156，藉此可進行適合於圖像內之局部性質的雜訊去除。作為其結果，行動電話1100可自例如與簡易主頁等鏈接之動態圖像檔案之資料(編碼資料)獲得更高畫質之解碼圖像。
再者，以上對行動電話1100使用CCD相機1116之情形進行了說明，但亦可使用應用了CMOS(Complementary Metal Oxide Semiconductor，互補金氧半導體)之影像感測器(CMOS影像感測器)代替該CCD相機1116。於此情形時，行動電話1100亦可與使用CCD相機1116之情形同樣地對被攝體進行攝像，並生成被攝體之圖像之圖像資料。
又，以上對行動電話1100進行了說明，但只要為例如PDA(Personal Digital Assistants，個人數位助理)、智慧型手機、UMPC(Ultra Mobile Personal Computer，超行動個人計算機)、迷你筆記型個人計算機、筆記型個人電腦等具有與該行動電話1100相同之攝像功能或通信功能之裝置，則無論為何種裝置，均可與行動電話1100之情形同樣地適用圖像編碼裝置100及圖像解碼裝置200。
<8.第8實施形態> [硬碟記錄器]
圖25係表示使用適用了本發明之圖像編碼裝置及圖像解碼裝置之硬碟記錄器之主要構成例的方塊圖。
圖25所示之硬碟記錄器(HDD記錄器)1200為如下之裝置，即，將由調諧器所接收之自衛星或地面之天線等發送的廣播波信號(電視信號)中所包含之廣播節目之音訊資料與視訊資料保存於內置之硬碟中，並將所保存之資料於對應於使用者之指示之時間點提供給使用者。
硬碟記錄器1200例如可自廣播波信號中提取音訊資料與視訊資料，並適當地對該等資料進行解碼，然後將該等儲存於內置之硬碟中。又，硬碟記錄器1200例如亦可經由網路而自其他裝置獲取音訊資料或視訊資料，並適當地對該等資料進行解碼，然後將該等儲存於內置之硬碟中。
進而，硬碟記錄器1200例如可對記錄於內置之硬碟中之音訊資料或視訊資料進行解碼並供給至監視器1260，使該圖像顯示於監視器1260之畫面上，並將該聲音自監視器1260之揚聲器輸出。又，硬碟記錄器1200例如亦可對自經由調諧器而獲取之廣播波信號中所提取之音訊資料與視訊資料、或者經由網路而自其他裝置所獲取之音訊資料或視訊資料進行解碼並供給至監視器1260，使該圖像顯示於監視器1260之畫面上，並將該聲音自監視器1260之揚聲器輸出。
當然，亦可進行其他動作。
如圖25所示，硬碟記錄器1200包括：接收部1221、解調部1222、解多工器1223、音訊解碼器1224、視訊解碼器1225、以及記錄器控制部1226。硬碟記錄器1200更包括：EPG資料記憶體1227、程式記憶體1228、工作記憶體1229、顯示變換器1230、OSD(On Screen Display，螢幕顯示)控制部1231、顯示控制部1232、記錄再生部1233、D/A變換器1234、以及通信部1235。
又，顯示變換器1230具有視訊編碼器1241。記錄再生部1233具有編碼器1251及解碼器1252。
接收部1221接收來自遙控器(未圖示)之紅外線信號，將該紅外線信號變換為電信號並輸出至記錄器控制部1226。記錄器控制部1226例如由微處理器等構成，且根據儲存於程式記憶體1228之程式而執行各種處理。此時，記錄器控制部1226根據需要而使用工作記憶體1229。
通信部1235連接於網路，經由網路而與其他裝置進行通信處理。例如，通信部1235由記錄器控制部1226控制，與調諧器(未圖示)進行通信，並主要對調諧器輸出選台控制信號。
解調部1222對自調諧器所供給之信號進行解調，並將其輸出至解多工器1223。解多工器1223將自解調部1222所供給之資料分離為音訊資料、視訊資料、以及EPG資料，並分別輸出至音訊解碼器1224、視訊解碼器1225或記錄器控制部1226。
音訊解碼器1224對所輸入之音訊資料進行解碼，並將其輸出至記錄再生部1233。視訊解碼器1225對所輸入之視訊資料進行解碼，並將其輸出至顯示變換器1230。記錄器控制部1226將所輸入之EPG資料供給至EPG資料記憶體1227中加以儲存。
顯示變換器1230將自視訊解碼器1225或記錄器控制部1226所供給之視訊資料，藉由視訊編碼器1241而編碼為例如NTSC(National Television Standards Committee，國家電視標準委員會)方式之視訊資料，並輸出至記錄再生部1233。又，顯示變換器1230將自視訊解碼器1225或記錄器控制部1226所供給之視訊資料之畫面的尺寸變換為與監視器1260之尺寸相對應之尺寸，並藉由視訊編碼器1241而變換為NTSC方式之視訊資料，繼而變換為類比信號後輸出至顯示控制部1232。
顯示控制部1232於記錄器控制部1226之控制下，將OSD(On Screen Display)控制部1231所輸出之OSD信號與自顯示變換器1230所輸入之視訊信號重疊，並輸出至監視器1260之顯示器而加以顯示。
又，藉由D/A變換器1234而將音訊解碼器1224所輸出之音訊資料變換為類比信號，並供給至監視器1260。監視器1260將該音訊信號自內置之揚聲器輸出。
記錄再生部1233具有硬碟作為記錄視訊資料或音訊資料等之儲存媒體。
記錄再生部1233例如藉由編碼器1251對自音訊解碼器1224所供給之音訊資料進行編碼。又，記錄再生部1233藉由編碼器1251對自顯示變換器1230之視訊編碼器1241所供給之視訊資料進行編碼。記錄再生部1233藉由多工器而對該音訊資料之編碼資料與視訊資料之編碼資料進行合成。記錄再生部1233對該合成資料進行通道編碼並將其放大，然後經由記錄頭而將該資料寫入至硬碟。
記錄再生部1233經由再生磁頭而將記錄於硬碟之資料予以再生、放大，並藉由解多工器而將該資料分離為音訊資料與視訊資料。記錄再生部1233藉由解碼器1252對音訊資料及視訊資料進行解碼。記錄再生部1233對經解碼之音訊資料進行D/A變換，並將其輸出至監視器1260之揚聲器。又，記錄再生部1233對經解碼之視訊資料進行D/A變換，並將其輸出至監視器1260之顯示器。
記錄器控制部1226根據經由接收部1221而接收之由來自遙控器之紅外線信號所表示之使用者指示，自EPG資料記憶體1227讀出最新之EPG資料，並將其供給至OSD控制部1231。OSD控制部1231生成與所輸入之EPG資料相對應之圖像資料，並將其輸出至顯示控制部1232。顯示控制部1232將自OSD控制部1231所輸入之視訊資料輸出至監視器1260之顯示器而加以顯示。藉此，於監視器1260之顯示器中顯示EPG(電子節目表)。
又，硬碟記錄器1200可經由網際網路等網路而獲取自其他裝置所供給之視訊資料、音訊資料或EPG資料等各種資料。
通信部1235由記錄器控制部1226控制，經由網路而獲取自其他裝置所發送之視訊資料、音訊資料及EPG資料等之編碼資料，並將其供給至記錄器控制部1226。記錄器控制部1226例如將所獲取之視訊資料或音訊資料之編碼資料供給至記錄再生部1233，並儲存於硬碟。此時，記錄器控制部1226及記錄再生部1233亦可根據需要而進行再編碼等處理。
又，記錄器控制部1226對所獲取之視訊資料或音訊資料之編碼資料進行解碼，將所獲得之視訊資料供給至顯示變換器1230。顯示變換器1230與自視訊解碼器1225所供給之視訊資料同樣地，對自記錄器控制部1226所供給之視訊資料進行處理，經由顯示控制部1232而將其供給至監視器1260，並顯示該圖像。
又，配合該圖像顯示，記錄器控制部1226亦可將經解碼之音訊資料經由D/A變換器1234供給至監視器1260，並使該聲音自揚聲器輸出。
進而，記錄器控制部1226對所獲取之EPG資料之編碼資料進行解碼，將經解碼之EPG資料供給至EPG資料記憶體1227。
如上所述之硬碟記錄器1200使用圖像解碼裝置200作為視訊解碼器1225、解碼器1252、以及內置於記錄器控制部1226之解碼器。因此，視訊解碼器1225、解碼器1252、以及內置於記錄器控制部1226之解碼器與圖像解碼裝置200之情形同樣地，可進行適合於圖像內之局部性質的雜訊去除。
因此，硬碟記錄器1200可進行適合於圖像內之局部性質的雜訊去除。作為其結果，硬碟記錄器1200可自例如經由調諧器或通信部1235而接收之視訊資料(編碼資料)、或者記錄再生部1233之硬碟中所記錄之視訊資料(編碼資料)獲得更高畫質的解碼圖像。
又，硬碟記錄器1200使用圖像編碼裝置100作為編碼器1251。因此，編碼器1251與圖像編碼裝置100之情形同樣地，可進行適合於圖像內之局部性質的雜訊去除。
因此，硬碟記錄器1200可進行適合於圖像內之局部性質的雜訊去除。作為其結果，硬碟記錄器1200可獲得更高畫質之參照圖像。因此，硬碟記錄器1200可使例如硬碟中所記錄之編碼資料之解碼圖像高畫質化。
再者，以上對將視訊資料或音訊資料記錄於硬碟之硬碟記錄器1200進行了說明，當然，記錄媒體亦可為任意者。例如即便為適用快閃記憶體、光碟、或錄影帶等硬碟以外之記錄媒體之記錄器，亦可與上述硬碟記錄器1200之情形同樣地適用圖像編碼裝置100及圖像解碼裝置200。
<9.第9實施形態> [相機]
圖26係表示使用適用了本發明之圖像編碼裝置及圖像解碼裝置機之相機之主要構成例的方塊圖。
圖26所示之相機1300對被攝體進行攝像，並使被攝體之圖像顯示於LCD1316、或將其作為圖像資料而記錄於記錄媒體1333
透鏡塊1311使光(即被攝體之影像)入射至CCD/CMOS1312。CCD/CMOS1312係使用有CCD或CMOS之影像感測器，其將所接收之光之強度變換為電信號，並供給至相機信號處理部1313。
相機信號處理部1313將自CCD/CMOS1312所供給之電信號變換為Y、Cr、Cb之色差信號，並供給至圖像信號處理部1314。圖像信號處理部1314於控制器1321之控制下，對自相機信號處理部1313所供給之圖像信號實施特定之圖像處理、或由編碼器1341對該圖像信號進行編碼。圖像信號處理部1314將對圖像信號進行編碼所生成之編碼資料供給至解碼器1315。進而，圖像信號處理部1314獲取於螢幕顯示器(OSD)1320中所生成之顯示用資料，並將其供給至解碼器1315。
於以上之處理中，相機信號處理部1313適當地使用經由匯流排1317而連接之DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)1318，並根據需要而將圖像資料、或對該圖像資料進行編碼所得之編碼資料等保持於該DRAM1318。
解碼器1315對自圖像信號處理部1314所供給之編碼資料進行解碼，將所獲得之圖像資料(解碼圖像資料)供給至LCD1316。又，解碼器1315將自圖像信號處理部1314所供給之顯示用資料供給至LCD1316。LCD1316適當地將自解碼器1315所供給之解碼圖像資料之圖像與顯示用資料之圖像加以合成，並顯示該合成圖像。
螢幕顯示器1320於控制器1321之控制下，將包含符號、文字、或圖形之選單畫面或圖符等顯示用資料經由匯流排1317輸出至圖像信號處理部1314。
控制器1321根據表示使用者使用操作部1322而指示之內容之信號，執行各種處理，並且經由匯流排1317而控制圖像信號處理部1314、DRAM1318、外部介面1319、螢幕顯示器1320、以及媒體驅動器1323等。於FLASH ROM1324中儲存控制器1321執行各種處理時所需之程式或資料等。
例如，控制器1321可代替圖像信號處理部1314或解碼器1315而對儲存於DRAM1318之圖像資料進行編碼、或對儲存於DRAM1318之編碼資料進行解碼。此時，控制器1321可藉由與圖像信號處理部1314或解碼器1315之編碼‧解碼方式相同之方式進行編碼‧解碼處理，亦可藉由與圖像信號處理部1314或解碼器1315不對應之方式進行編碼‧解碼處理。
又，例如，於自操作部1322指示有開始印刷圖像之情形時，控制器1321自DRAM1318讀出圖像資料，將其經由匯流排1317供給至連接於外部介面1319之印表機1334並進行印刷。
進而，例如，於自操作部1322指示有記錄圖像之情形時，控制器1321自DRAM1318讀出編碼資料，將其經由匯流排1317供給至安裝於媒體驅動器1323之記錄媒體1333並加以儲存。
記錄媒體1333例如為磁碟、磁光碟、光碟、或半導體記憶體等可讀寫之任意之可移動媒體。對於記錄媒體1333而言，當然作為可移動媒體之種類亦為任意，亦可為磁帶設備，亦可為碟片，亦可為記憶卡。當然，亦可為非接觸IC(Integrated Circuit，積體電路)卡等。
又，亦可將媒體驅動器1323與記錄媒體1333一體化，例如，如內置型硬碟驅動器或SSD(Solid State Drive，固態驅動器)等般由非可攜性之儲存媒體構成。
外部介面1319例如由USB輸入輸出端子等構成，於進行圖像之印刷之情形時，其連接於印表機1334。又，外部介面1319上根據需要而連接驅動器1331，且適當地安裝磁碟、光碟、或磁光碟等可移動媒體1332，自該等所讀出之電腦程式根據需要而安裝於FLASH ROM1324。
進而，外部介面1319具有連接於LAN(local area network，局域網路)或網際網路等特定之網路之網路介面。控制器1321例如可根據來自操作部1322之指示，自DRAM1318讀出編碼資料，並將其自外部介面1319供給至經由網路而連接之其他裝置。又，控制器1321可經由外部介面1319而獲取經由網路自其他裝置所供給之編碼資料或圖像資料，並將其保持於DRAM1318或供給至圖像信號處理部1314。
如上所述之相機1300使用圖像解碼裝置200作為解碼器1315。因此，解碼器1315與圖像解碼裝置200之情形同樣地，可進行適合於圖像內之局部性質的雜訊去除。
因此，相機1300可進行適合於圖像內之局部性質的雜訊去除。作為其結果，相機1300可自例如CCD/CMOS1312中所生成之圖像資料、或者自DRAM1318或記錄媒體1333所讀出之視訊資料之編碼資料、或者經由網路而獲取之視訊資料之編碼資料獲得更高畫質之解碼圖像。。
又，相機1300使用圖像編碼裝置100作為編碼器1341。因此，編碼器1341與圖像編碼裝置100之情形同樣地，可進行適合於圖像內之局部性質的雜訊去除。
因此，相機1300可進行適合於圖像內之局部性質的雜訊去除。作為其結果，相機1300可使例如DRAM1318或記錄媒體1333中所記錄之編碼資料、或者提供至其他裝置之編碼資料的解碼圖像高畫質化。
再者，亦可於控制器1321所進行之解碼處理中適用圖像解碼裝置200之解碼方法。同樣地，亦可於控制器1321所進行之編碼處理中適用圖像編碼裝置100之編碼方法。
又，相機1300所攝像之圖像資料可為動態圖像，亦可為靜態圖像。
當然，圖像編碼裝置100及圖像解碼裝置200亦可適用於上述裝置以外之裝置或系統。
又，巨集區塊之大小亦不限定於16×16像素。可適用於例如圖10所示之32×32像素之任何大小之巨集區塊。
以上，對將濾波器係數等多工化(記述)成位元流之情形進行了說明，但除進行多工化以外，例如亦可傳輸(記錄)濾波器係數與圖像資料(或位元流)。亦可為將濾波器係數與圖像資料(或位元流)加以連結(附加)之形態。
所謂連結(附加)，係指圖像資料(或位元流)與濾波器係數相互鏈接之狀態(取得對應之狀態)，物理性之位置關係為任意。例如，亦可藉由其他傳輸路徑傳輸圖像資料(或位元流)與濾波器係數。又，亦可將圖像資料(或位元流)與濾波器係數記錄於彼此不同之記錄媒體(或同一個記錄媒體內之不同之記錄區域)。再者，使圖像資料(或位元流)與濾波器係數鏈接之單位任意，例如可藉由編碼處理單位(1個圖框、複數個圖框等)來設定。
100．．．圖像編碼裝置
101．．．A/D變換部
102．．．畫面重排緩衝器
103．．．運算部
104．．．正交變換部
105．．．量化部
106．．．可逆編碼部
107．．．儲存緩衝器
108．．．逆量化部
109．．．逆正交變換部
110．．．運算部
111．．．解塊濾波器
112．．．濾波器係數計算部
113．．．環路濾波器
114．．．圖框記憶體
115．．．選擇部
116．．．框內預測部
117．．．移動預測‧補償部
118．．．選擇部
119．．．碼率控制部
151．．．正交變換尺寸緩衝器
152．．．解碼像素分類部
153．．．輸入像素分類部
154．．．4×4區塊係數計算部
155．．．8×8區塊係數計算部
161．．．像素分類部
162．．．濾波器部(4×4)
163．．．濾波器部(8×8)
200．．．圖像解碼裝置
201．．．儲存緩衝器
202．．．可逆解碼部
203．．．逆量化部
204．．．逆正交變換部
205．．．運算部
206．．．解塊濾波器
207．．．環路濾波器
208．．．畫面重排緩衝器
209．．．D/A變換部
210．．．圖框記憶體
211．．．選擇部
212．．．框內預測部
213．．．移動預測‧補償部
214．．．選擇部
251．．．像素分類部
252．．．濾波器部(4×4)
253．．．濾波器部(8×8)
301．．．圖框
302．．．ALF區塊
303、304．．．雙箭頭
305．．．濾波器區塊旗標
500．．．個人電腦
501．．．CPU
502．．．ROM
503．．．RAM
504．．．匯流排
510．．．輸入輸出介面
511．．．輸入部
512．．．輸出部
513．．．儲存部
514．．．通信部
515．．．驅動器
521．．．可移動媒體
1000．．．電視接收器
1013．．．地面波調諧器
1014．．．聲音A/D變換電路
1015．．．視訊解碼器
1016．．．數位調諧器
1017．．．MPEG解碼器
1018．．．影像信號處理電路
1019．．．圖形生成電路
1020．．．面板驅動電路
1021．．．顯示面板
1022．．．聲音信號處理電路
1023．．．回音消除/聲音合成電路
1024．．．聲音放大電路
1025．．．揚聲器
1026．．．麥克風
1027．．．A/D變換電路
1028．．．聲音編解碼器
1029．．．內部匯流排
1030．．．SDRAM
1031．．．快閃記憶體
1032．．．CPU
1033．．．USB I/F
1034．．．網路I/F
1035．．．網路端子
1036．．．USB端子
1037．．．受光部
1051．．．遙控器
1100．．．行動電話
1114．．．天線
1116．．．CCD相機
1117．．．揚聲器
1118．．．液晶顯示器
1119．．．操作鍵
1121．．．麥克風(話筒)
1123．．．儲存部
1150．．．主控制部
1151．．．電源電路部
1152．．．操作輸入控制部
1153．．．圖像編碼器
1154．．．相機I/F部
1155．．．LCD控制部
1156．．．圖像解碼器
1157．．．多工分離部
1158．．．調變解調電路部
1159．．．聲音編解碼器
1160．．．匯流排
1162．．．記錄再生部
1163．．．發送接收電路部
1181．．．紅外線通信部
1200．．．硬碟記錄器(HDD記錄器)
1221．．．接收部
1222．．．解調部
1223．．．解多工器
1224．．．音訊解碼器
1225．．．視訊解碼器
1226．．．記錄器控制部
1227．．．EPG資料記憶體
1228．．．程式記憶體
1229．．．工作記憶體
1230．．．顯示變換器
1231．．．OSD控制部
1232．．．顯示控制部
1233．．．記錄再生部
1234．．．D/A變換器
1235．．．通信部
1241．．．視訊編碼器
1251．．．編碼器
1252．．．解碼器
1260．．．監視器
1300．．．相機
1311．．．透鏡塊
1312．．．CCD/CMOS
1313．．．相機信號處理部
1314．．．圖像信號處理部
1315．．．解碼器
1316．．．LCD
1317．．．匯流排
1318．．．DRAM
1319．．．外部介面
1320．．．螢幕顯示器(OSD)
1321．．．控制器
1322．．．操作部
1323．．．媒體驅動器
1324．．．FLASH ROM
1331．．．驅動器
1332．．．可移動媒體
1333．．．記錄媒體
1334．．．印表機
1341．．．編碼器
圖1係表示適用本發明之圖像編碼裝置之主要構成例的方塊圖。
圖2(A)、(B)係用於說明正交變換之單位之例的圖。
圖3係說明進行4×4正交變換之巨集區塊中之處理的圖。
圖4(A)、(B)係表示藉由蝶式運算實現整數變換、逆整數變換之方法之圖。
圖5係說明解塊濾波器之動作原理之圖。
圖6係說明Bs之定義之方法之圖。
圖7係說明解塊濾波器之動作原理之圖。
圖8(A)、(B)係表示indexA及indexB與α及β之值之對應關係之例的圖。
圖9(A)、(B)係表示Bs及indexA與tC0 之對應關係之例的圖。
圖10係表示巨集區塊之例之圖。
圖11係表示環路濾波器及濾波器係數計算部之主要構成例的方塊圖。
圖12係說明編碼處理之流程之例的流程圖。
圖13係說明預測處理之流程之例的流程圖。
圖14係說明環路濾波器處理之流程之例的流程圖。
圖15係表示適用本發明之圖像解碼裝置之主要構成例的方塊圖。
圖16係表示環路濾波器之主要構成例之方塊圖。
圖17係說明解碼處理之流程之例的流程圖。
圖18係說明預測圖像生成處理之流程之例的流程圖。
圖19係說明環路濾波器處理之流程之例的流程圖。
圖20(A)-(C)係說明ALF區塊及濾波器區塊旗標之圖。
圖21(A)-(D)係說明ALF區塊及濾波器區塊旗標之其他例之圖。
圖22係表示適用本發明之個人電腦之主要構成例的方塊圖。
圖23係表示適用本發明之電視接收器之主要構成例的方塊圖。
圖24係表示適用本發明之行動電話之主要構成例的方塊圖。
圖25係表示適用本發明之硬碟記錄器之主要構成例的方塊圖。
圖26係表示適用本發明之相機之主要構成例的方塊圖。
102．．．畫面重排緩衝器
104．．．正交變換部
111．．．解塊濾波器
112．．．濾波器係數計算部
113．．．環路濾波器
114．．．圖框記憶體
151．．．正交變換尺寸緩衝器
152．．．解碼像素分類部
153．．．輸入像素分類部
154．．．4×4區塊係數計算部
155．．．8×8區塊係數計算部
161．．．像素分類部
163．．．濾波器部(8×8)

Claims (15)

  1. 一種圖像處理裝置，其包括：分類機構，其係藉由適用於對上述圖像所進行之正交變換處理之正交變換尺寸，按每個特定之圖像尺寸對圖像進行分類；以及濾波器機構，其係針對藉由上述分類機構予以分類之上述每個圖像尺寸之各部分圖像，使用根據與上述部分圖像之上述正交變換尺寸相對應之上述圖像的局部性質所設定的濾波器係數，進行用於雜訊去除之濾波器處理。
  2. 如請求項1之圖像處理裝置，其中上述濾波器機構為溫納濾波器。
  3. 如請求項1之圖像處理裝置，其中上述圖像尺寸為巨集區塊；上述分類機構藉由各巨集區塊之正交變換尺寸對各巨集區塊進行分類；上述濾波器機構針對藉由上述分類機構予以分類之各巨集區塊，使用根據與各巨集區塊之正交變換尺寸相對應之上述圖像的局部性質所設定之上述濾波器係數，進行上述濾波器處理。
  4. 如請求項1之圖像處理裝置，其更包括對上述圖像進行編碼而生成編碼資料之編碼機構。
  5. 如請求項4之圖像處理裝置，其中上述編碼機構利用AVC(Advanced Video Coding，進階 視訊編碼)方式對上述圖像進行編碼；上述分類機構按上述每個圖像尺寸，對藉由上述編碼機構予以正交變換、量化、逆量化、逆正交變換之解碼圖像進行分類；上述濾波器機構對上述解碼圖像之上述部分圖像進行上述濾波器處理，並將濾波器處理結果作為參照圖像而儲存於圖框記憶體。
  6. 如請求項5之圖像處理裝置，其更包括使用輸入至上述編碼機構之輸入圖像與上述解碼圖像，計算上述濾波器係數之濾波器係數計算機構；上述濾波器機構使用由上述濾波器係數計算機構所計算出之上述濾波器係數，進行上述濾波器處理。
  7. 如請求項6之圖像處理裝置，其中上述濾波器係數計算機構藉由適用於由上述編碼機構所進行之正交變換處理之正交變換尺寸，按上述每個圖像尺寸分別對上述輸入圖像及上述解碼圖像進行分類，並針對每個正交變換尺寸，以使上述輸入圖像及上述解碼圖像之差分成為最小之方式計算上述濾波器係數。
  8. 如請求項6之圖像處理裝置，其中上述濾波器係數計算機構根據與適用於由上述編碼機構所進行之正交變換處理之正交變換尺寸相對應的上述圖像之局部性質，設定上述濾波器係數之值。
  9. 如請求項8之圖像處理裝置，其中上述濾波器係數計算機構根據與適用於由上述編碼機 構所進行之正交變換處理之正交變換尺寸相對應的上述圖像之局部性質，進而設定上述濾波器係數之分接頭數。
  10. 如請求項9之圖像處理裝置，其中上述濾波器係數計算機構於上述正交變換尺寸越大時，將上述濾波器係數之分接頭數設定得越短，於上述正交變換尺寸越小時，將上述濾波器係數之分接頭數設定得越長。
  11. 如請求項4之圖像處理裝置，其更包括將上述濾波器係數附加至由上述編碼機構所生成之上述編碼資料中的附加機構。
  12. 如請求項11之圖像處理裝置，其中上述附加機構進而將控制是否進行上述濾波器處理之旗標資訊附加至上述編碼資料。
  13. 如請求項1之圖像處理裝置，其更包括：提取機構，其係自圖像經編碼後之編碼資料中提取上述濾波器係數；以及解碼機構，其係對上述編碼資料進行解碼而生成解碼圖像；上述分類機構藉由上述正交變換尺寸，按上述每個圖像尺寸對由上述解碼機構所生成之上述解碼圖像進行分類；上述濾波器機構針對藉由上述分類機構分類之上述每個圖像尺寸之各部分圖像，使用由上述提取機構所提取 之上述濾波器係數，進行用於雜訊去除之濾波器處理。
  14. 如請求項13之圖像處理裝置，其中上述解碼機構利用AVC(Advanced Video Coding，進階視訊編碼)方式對上述編碼資料進行解碼；上述分類機構按上述每個圖像尺寸，對藉由上述解碼機構予以解碼、逆量化、逆正交變換之上述解碼圖像進行分類；上述濾波器機構對上述解碼圖像之上述部分圖像進行上述濾波器處理。
  15. 一種圖像處理方法，其係：由圖像處理裝置之分類機構藉由適用於對圖像所進行之正交變換處理的正交變換尺寸，按每個特定之圖像尺寸對上述圖像進行分類；以及由上述圖像處理裝置之濾波器機構針對該經分類之上述每個圖像尺寸之各部分圖像，使用根據與上述部分圖像之上述正交變換尺寸相對應之上述圖像的局部性質所設定之濾波器係數，進行用於雜訊去除之濾波器處理。
TW99125172A 2009-08-26 2010-07-29 Image processing apparatus and method TWI435610B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009195317A JP2011049740A (ja) 2009-08-26 2009-08-26 画像処理装置および方法

Publications (2)

Publication Number Publication Date
TW201112773A TW201112773A (en) 2011-04-01
TWI435610B true TWI435610B (zh) 2014-04-21

Family

ID=43627789

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99125172A TWI435610B (zh) 2009-08-26 2010-07-29 Image processing apparatus and method

Country Status (12)

Country Link
US (3) US9992516B2 (zh)
EP (1) EP2472870A4 (zh)
JP (1) JP2011049740A (zh)
KR (2) KR101901087B1 (zh)
CN (5) CN104602002B (zh)
AU (1) AU2010287688B2 (zh)
BR (1) BR112012003855B1 (zh)
CA (2) CA2769733C (zh)
MX (1) MX2012002070A (zh)
RU (1) RU2533444C2 (zh)
TW (1) TWI435610B (zh)
WO (1) WO2011024684A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011151431A (ja) 2009-12-25 2011-08-04 Sony Corp 画像処理装置および方法
US8964853B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
JPWO2012131895A1 (ja) * 2011-03-29 2014-07-24 株式会社東芝 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
TWI543116B (zh) * 2011-04-26 2016-07-21 國立成功大學 影像區塊合併方法
WO2012153538A1 (en) * 2011-05-11 2012-11-15 Panasonic Corporation Methods for encoding and decoding video using an adaptive filtering process
WO2012169054A1 (ja) * 2011-06-09 2012-12-13 株式会社東芝 動画像符号化方法、及び装置、動画像復号方法、及び装置
CN102831132B (zh) * 2011-06-13 2016-05-25 英华达（南京）科技有限公司 可快速在电子装置上显示数字图文件的储存方法及其电子装置
KR102010160B1 (ko) * 2011-06-28 2019-08-12 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 기록 매체
WO2013001727A1 (ja) 2011-06-30 2013-01-03 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101549914B1 (ko) * 2011-10-17 2015-09-03 주식회사 케이티 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
KR101462052B1 (ko) * 2011-11-09 2014-11-20 에스케이 텔레콤주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
US8872981B1 (en) * 2011-12-15 2014-10-28 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
KR20200023499A (ko) * 2011-12-19 2020-03-04 소니 주식회사 화상 처리 장치 및 방법
US9426498B2 (en) * 2012-07-10 2016-08-23 Broadcom Corporation Real-time encoding system of multiple spatially scaled video based on shared video coding information
US9438911B2 (en) 2012-08-03 2016-09-06 Mediatek Inc. Video processing system with shared/configurable in-loop filter data buffer architecture and related video processing method thereof
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
KR101957944B1 (ko) * 2014-11-13 2019-03-13 삼성전자주식회사 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
CN106303540B (zh) * 2015-05-20 2019-02-12 浙江大华技术股份有限公司 一种图像压缩方法及其装置
CN105138963A (zh) * 2015-07-31 2015-12-09 小米科技有限责任公司 图片场景判定方法、装置以及服务器
KR102143908B1 (ko) * 2015-12-23 2020-08-28 후아웨이 테크놀러지 컴퍼니 리미티드 계층적 분할 내에서 블록 레벨 변환 선택 및 암시적 시그널링을 이용한 변환 코딩을 위한 방법 및 장치
US12081743B2 (en) 2019-02-27 2024-09-03 Sony Group Corporation Image processing device and image processing method
CN118540480A (zh) * 2019-04-26 2024-08-23 松下电器（美国）知识产权公司 编码装置、解码装置和非暂时性计算机可读介质
CN118235392A (zh) * 2021-12-31 2024-06-21 Oppo广东移动通信有限公司 滤波系数生成及滤波方法、视频编解码方法、装置和系统
WO2025105869A1 (ko) * 2023-11-15 2025-05-22 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4152772A (en) * 1974-08-29 1979-05-01 The United States Of America As Represented By The Secretary Of The Navy Apparatus for performing a discrete cosine transform of an input signal
JP2879298B2 (ja) * 1993-11-15 1999-04-05 日本電気エンジニアリング株式会社 適応後処理フィルタ
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
KR100999221B1 (ko) * 2003-02-21 2010-12-07 파나소닉 주식회사 픽처 코딩 방법 및 디코딩 방법
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP4457346B2 (ja) * 2004-11-12 2010-04-28 ノーリツ鋼機株式会社 画像ノイズ除去方法
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
JP4784188B2 (ja) * 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2007110568A (ja) * 2005-10-14 2007-04-26 Matsushita Electric Ind Co Ltd 画像符号化装置
US7657113B2 (en) * 2005-12-21 2010-02-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Auto-regressive method and filter for denoising images and videos
JP4449915B2 (ja) * 2006-02-08 2010-04-14 ソニー株式会社 符号化装置、符号化方法およびプログラム、並びに、記録媒体
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
KR101353689B1 (ko) * 2006-03-27 2014-01-21 파나소닉 주식회사 화상 부호화 장치 및 화상 복호화 장치
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
CN101502119B (zh) * 2006-08-02 2012-05-23 汤姆逊许可公司 用于视频编码的自适应几何分割方法和设备
US8582666B2 (en) * 2006-12-18 2013-11-12 Koninklijke Philips N.V. Image compression and decompression
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
JP2009110559A (ja) * 2007-10-26 2009-05-21 Pioneer Electronic Corp 光ディスク装置
CN101170701B (zh) * 2007-11-16 2010-10-27 四川虹微技术有限公司 视频编解码系统中去块滤波方法及装置
US7924941B2 (en) * 2007-11-27 2011-04-12 Motorola Mobility, Inc. Digital pre-distortion for orthogonal frequency division multiplexing (OFDM) signals
WO2009105559A2 (en) 2008-02-20 2009-08-27 Aos Holding Company Organic polymer coatings for water containers
AU2009220567A1 (en) 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding device
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

Also Published As

Publication number Publication date
US20180249185A1 (en) 2018-08-30
CA2769733A1 (en) 2011-03-03
EP2472870A4 (en) 2015-08-12
BR112012003855B1 (pt) 2021-08-03
EP2472870A1 (en) 2012-07-04
CA2769733C (en) 2017-07-18
RU2533444C2 (ru) 2014-11-20
MX2012002070A (es) 2012-03-19
WO2011024684A1 (ja) 2011-03-03
CA2970080C (en) 2020-07-28
KR101901087B1 (ko) 2018-09-20
CN102484714B (zh) 2015-02-25
US20190208227A1 (en) 2019-07-04
KR101786130B1 (ko) 2017-10-17
CN104601994B (zh) 2018-04-27
KR20170117219A (ko) 2017-10-20
US20120141037A1 (en) 2012-06-07
US9992516B2 (en) 2018-06-05
CN104618716A (zh) 2015-05-13
CN104601995B (zh) 2018-04-27
CN104601994A (zh) 2015-05-06
AU2010287688B2 (en) 2014-09-11
CN104602002A (zh) 2015-05-06
CA2970080A1 (en) 2011-03-03
US11051044B2 (en) 2021-06-29
TW201112773A (en) 2011-04-01
US10250911B2 (en) 2019-04-02
CN104618716B (zh) 2019-04-23
JP2011049740A (ja) 2011-03-10
CN104602002B (zh) 2019-04-16
RU2012106134A (ru) 2013-08-27
KR20120051020A (ko) 2012-05-21
CN104601995A (zh) 2015-05-06
CN102484714A (zh) 2012-05-30
AU2010287688A1 (en) 2012-03-01
BR112012003855A2 (pt) 2016-03-22

Similar Documents

Publication Publication Date Title
TWI435610B (zh) Image processing apparatus and method
CN103716625B (zh) 图像处理设备和方法
TW201728170A (zh) 圖像解碼裝置、方法及電腦可讀取記錄媒體
KR20120096519A (ko) 화상 처리 장치 및 방법, 및 프로그램
JP2011223337A (ja) 画像処理装置および方法
JP5556996B2 (ja) 画像処理装置および方法
KR101858166B1 (ko) 부호화 장치 및 방법
WO2012005195A1 (ja) 画像処理装置および方法
JP5573995B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP2016197906A (ja) 画像処理装置および方法、記録媒体、並びにプログラム