JP2013141094A

JP2013141094A - 画像復号装置、画像符号化装置、画像フィルタ装置、および符号化データのデータ構造

Info

Publication number: JP2013141094A
Application number: JP2011289937A
Authority: JP
Inventors: Masanobu Yasugi; 将伸八杉; Tomohiro Igai; 知宏猪飼; Tomoyuki Yamamoto; 智幸山本; Kenji Tsukuba; 健史筑波
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2011-12-28
Filing date: 2011-12-28
Publication date: 2013-07-18

Abstract

【課題】スライス単位で、適応フィルタ、適応オフセットフィルタを適用可能にする。
【解決手段】共通のフィルタパラメータを用いる単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施す適応フィルタ５０、適応オフセットフィルタ６０を備え、１つのパラメータセットには、複数のフィルタ適用領域それぞれで用いられるフィルタパラメータが格納されている。
【選択図】図１

Description

本発明は、符号化データを復号する画像復号装置、符号化データを生成する画像符号化装置、および該画像符号化装置によって生成され、上記画像復号装置によって復号される符号化データのデータ構造に関するものである。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置（画像符号化装置）、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置（画像復号装置）が用いられている。具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、およびその後継コーデックであるWorking Draft 4 of High-Efficiency Video Coding（非特許文献１、以下、ＨＥＶＣＷＤ４とも呼ぶ）に採用されている方式などが挙げられる。

このような符号化方式において、動画像を構成する画像（ピクチャ）は、所定の大きさの符号化単位（マクロブロック、コーディングユニット（Coding Unit：ＣＵ）、またはツリーブロック（tree block：ＴＢ）と呼ばれることもある）から構成されるスライス、上記符号化単位、上記符号化単位を四分木分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化される。

また、このような符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。より詳細には、予測残差をＤＣＴ（Discrete Cosine Transform）変換し、得られた変換係数を量子化したものを符号化する。
また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

また、非特許文献２には、復号画像に対し符号化単位毎にフィルタ処理を行う適応的ループフィルタ（ALF: Adaptive Loop Filter）（以下、単に「適応フィルタ」とも呼ぶ）が開示されている。この適応フィルタは、復号画像上のスライス毎に、フィルタ済復号画像と原画像との誤差が最小となるフィルタ係数を定め、当該スライスに含まれる各符号化単位に対して、当該フィルタ係数に基づいたフィルタリングを施すものである。このような適応フィルタを備えた符号化装置および復号装置は、フィルタリングにより符号化／復号画像の画質が向上することで、フィルタ済画像を参照して生成される予測画像の精度を上げることができるため、符号化効率の向上を図ることができる。

また、非特許文献３には、復号画像のブロック歪みを低減させるデブロッキングフィルタの後段であって、適応的に決定されたフィルタ係数を用いたフィルタ処理を行う適応的ループフィルタ（「適応フィルタ」とも呼ぶ）の前段に導入された適応的オフセットフィルタ（「適応オフセットフィルタ」とも呼ぶ）が開示されている。この適応オフセットフィルタは、デブロッキングフィルタから出力される画像の各画素値に対して、適応的に設定されたオフセットを加算するというものである。このような適応オフセットフィルタを備えることによって、ブロック歪みをより効果的に抑制することができる。

そして、符号化データは、ピクチャ、スライス、ツリーブロックというようなレイヤ的に構成されており、同一レイヤで共通に用いられ、再利用可能なパラメータはパラメータセット（ＰＳ）に格納される。例えば、ピクチャで共通に用いられるパラメータはピクチャパラメータセット（ＰＰＳ）に格納される。非特許文献４には、上記フィルタ係数をＰＰＳに格納することが記載されている。また、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣでは、上記の変換係数の量子化に用いる量子化マトリクスをシーケンスパラメータセット（ＳＰＳ）、およびＰＰＳに格納している。

また、ＰＰＳに格納されていたパラメータのうち、更新頻度の高いパラメータ、例えば上記適応フィルタのパラメータや適応オフセットフィルタのパラメータを分離してＡＰＳ（Adaptation Parameter Set）として格納する構成が非特許文献５、６に記載されている。

「JCTVC-F803」,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011 「Test Model under Consideration JCTVC-B205 draft007」,Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2nd Meeting:Geneva,CH,07/2010 「JCTVC-G831」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21-30 November, 2011 「JCTVC-E045」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011 「JCTVC-F747」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011 「JCTVC-G1016」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21-30 November, 2011

上記従来の構成では、適応フィルタおよび適応オフセットフィルタのパラメータは、ピクチャを領域に分割し、領域単位で符号化している。例えば、適応オフセットフィルタでは、図３１に示すように、ピクチャをルートとした四分木分割により領域を分割し、領域単位でパラメータを符号化している。

図３１の（ａ）はリーフでないＱＡＯＵに関するＱＡＯＵ情報の構成を示す図であり、（ｂ）はリーフのＱＡＯＵに関するＱＡＯＵ情報の構成を示す図である。また、（ｃ）はピクチャが四分木分割される例を示す図である。なお、ＱＡＯＵ（Quad Adaptive Offset Unit）とは、ピクチャから四分木分割によって分割されたオフセット処理の処理単位である。

そして、図３１（ｃ）に示すように、ピクチャ（太い実線）を四分木分割（細い実線および破線）することにより、ＱＡＯＵが決定される。よって、適応オフセットフィルタでは、ピクチャ単位のパラメータ構成となっている。

また、適応フィルタでは、ピクチャを４×４に１６分割することにより領域を分割し、領域単位でパラメータを符号化している。よって、適応フィルタもピクチャ単位のパラメータ構成となっている。

このように、適応フィルタ、適応オフセットフィルタでは、ピクチャに対してそれぞれ１つのパラメータでよいため、ＡＰＳには、それぞれ１つのパラメータが格納されている構成となっている。

しかしながら、上記の構成によれば、ピクチャ単位でしか、適応フィルタ、適応オフセットフィルタのパラメータを適用することしかできず、ピクチャよりも小さい単位、例えばスライス単位ごとに適応フィルタ、適応オフセットフィルタのパラメータを適用する場合に対応することができない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、スライス単位で、適応フィルタ、適応オフセットフィルタを適用可能な画像復号装置等を実現することにある。

上記課題を解決するために、本発明に係る画像復号装置は、復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する画像復号装置であって、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されていることを特徴としている。

上記の構成によれば、複数のフィルタ適用領域それぞれで用いられるフィルタパラメータが１つのパラメータセットに格納されているので、１つのパラメータセットで複数のフィルタ適用領域に対応することができる。よって、フィルタ適用領域がスライス単位の場合に、スライス単位でフィルタ（適応フィルタ、適応オフセットフィルタ）を適用することに対応できる。

また、フィルタ適用領域それぞれで用いられるフィルタパラメータについて、逐一パラメータセットを生成する必要がなくなる。

本発明に係る画像復号装置では、上記パラメータセットには、上記フィルタ適用領域が復号される順に、それぞれのフィルタ適用領域で用いられるフィルタパラメータが格納されているものであってもよい。

上記の構成によれば、フィルタ適用領域が復号される順に、それぞれのフィルタ適用領域で用いられるフィルタパラメータが格納されているので、用いられるフィルタパラメータとフィルタ適用領域とを明確に対応付けることができる。

本発明に係る画像復号装置では、上記フィルタ手段は、上記フィルタ適用領域に含まれる画素に対して用いるフィルタパラメータを特定する特定情報を用いて上記パラメータセットに格納されているフィルタパラメータを特定し、フィルタ処理を行うものであってもよい。

上記の構成によれば、フィルタ適用領域に含まれる画素に対して用いるフィルタパラメータを特定する特定情報を用いてパラメータセットに格納されているフィルタパラメータを特定してフィルタ処理を行うので、フィルタ適用領域とフィルタパラメータとの対応付けたを明確にすることができる。

本発明に係る画像復号装置では、復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する画像復号装置であって、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、上記パラメータセットには、上記フィルタ適用領域の位置または大きさを示す情報が格納されているものであってもよい。

上記の構成によれば、パラメータセットにフィルタ適用領域の位置または大きさを示す情報が格納される。これにより、フィルタ適用領域を全て復号する前に、フィルタ適用領域の位置または大きさを復号することができるので、フィルタ適用領域の位置または大きさが必要な処理を行う場合に、速やかに当該処理を行うことができる。

本発明に係る画像復号装置では、上記パラメータセットには、上記フィルタ適用領域の位置を示す情報として、上記復号画像における上記フィルタ適用領域の開始位置が格納されているものであってもよい。

上記の構成によれば、パラメータセットに復号画像におけるフィルタ適用領域の開始位置が格納される。これにより、フィルタ適用領域を復号する前に、フィルタ適用領域の開始位置を復号することができるので、フィルタ適用領域の開始位置が必要な処理を行う場合に、速やかに当該処理を行うことができる。

本発明に係る画像復号装置では、上記パラメータセットには、上記フィルタ適用領域の大きさを示す情報として、上記フィルタ適用領域に含まれる上記単位領域の数が格納されているものであってもよい。

上記の構成によれば、パラメータセットにフィルタ適用領域のサイズが格納される。これにより、フィルタ適用領域を全て復号する前に、フィルタ適用領域のサイズを復号することができるので、フィルタ適用領域のサイズが必要な処理を行う場合に、速やかに当該処理を行うことができる。

本発明に係る画像復号装置では、上記パラメータセットには、上記フィルタ適用領域の大きさを示す情報として、上記単位領域それぞれについて、自単位領域を含むフィルタ適用領域における最後の単位領域であるか否かを示す終端情報が格納されているものであってもよい。

上記の構成によれば、パラメータセットにフィルタ適用領域の最後の単位領域であるか否かを示す終端情報が格納される。これにより、フィルタ適用領域を全て復号する前に、フィルタ適用領域の最後の単位領域を認識することができるので、フィルタ適用領域の終端が必要な処理を行う場合に、速やかに当該処理を行うことができる。

本発明に係る画像復号装置では、復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する画像復号装置であって、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、上記フィルタ適用領域の境界が含まれる上記単位領域である境界単位領域が存在する場合、上記パラメータセットには、上記境界単位領域に対し、フィルタ処理を施すか否かを示すフィルタ処理情報が格納されているものであってもよい。

上記の構成によれば、フィルタ適用領域の境界となる単位領域について、フィルタの適用をしないこととすることができる。これにより、フィルタ適用領域の境界となる単位領域に対する煩雑な処理を回避することができ、処理量を削減することができる。

本発明に係る画像復号装置では、復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する画像復号装置であって、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、上記フィルタ適用領域の境界が含まれる上記単位領域である境界単位領域が存在する場合、上記パラメータセットには、境界単位領域を含むフィルタ適用領域の大きさを、該境界単位領域を含まないように変更するフィルタ適用領域サイズ変更情報が格納されているものであってもよい。

上記パラメータセットは、ＡＰＳ（Adaptation Parameter Set）であっても、上述した効果を奏することができる。

上記課題を解決するために本発明に係る画像フィルタ装置では、復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施す画像フィルタ装置であって、上記単位領域に対しフィルタ処理を施すために用いるフィルタパラメータを、該単位領域を復号した直後に復号する復号手段と、上記復号手段が復号したフィルタパラメータを用いて上記単位領域に対するフィルタ処理を施すフィルタ手段と、を備えていることを特徴としている。

上記の構成によれば、単位領域を復号した直後に、該単位領域に対しフィルタ処理を施すために用いるフィルタパラメータを復号するので、フィルタパラメータを一時的に記憶しておくためのメモリを削減することができる。

上記の単位領域は、復号画像が復号される前に符号化されたときの単位である最大符号化単位ＬＣＵ（Largest coding unit）であっても上述した効果を奏することができる。

上記課題を解決するために、本発明に係る画像符号化装置は、生成した予測画像と原画像との差分である予測残差を符号化することによって符号化データを生成する画像符号化装置であって、原画像を符号化し、復号した復号画像における、共通のフィルタパラメータを用いる単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段と、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、用いられる単位領域よりも先行して出力する符号化データ出力手段と、を備え、１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されていることを特徴としている。

上記の構成によれば、パラメータセットに、複数のフィルタ適用領域それぞれで用いられるフィルタパラメータが格納されるので、１つのパラメータセットで複数のフィルタ適用領域に対応することができる。

本発明に係る符号化データのデータ構造は、画像復号装置において、復号された復号画像に対し施されるフィルタのフィルタパラメータが格納された符号化データのデータ構造であって、上記画像復号装置は、復号した復号画像の単位領域ごとに、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すものであり、上記符号化データには、複数の上記単位領域で共通して用いられるフィルタパラメータがパラメータセットとして含まれているとともに、１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されていることを特徴としている。

なお、上記の画像復号装置、画像フィルタ装置、および画像符号化装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記の画像復号装置、画像フィルタ装置、および画像符号化装置をコンピュータにて実現させる画像復号装置、画像フィルタ装置、および画像符号化装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る画像復号装置は、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されている構成である。

これにより１つのパラメータセットで複数のフィルタ適用領域に対応することができるという効果を奏する。また、フィルタ適用領域それぞれで用いられるフィルタパラメータについて、逐一パラメータセットを生成する必要がなくなるという効果を奏する。

また、本発明に係る画像符号化装置は、生成した予測画像と原画像との差分である予測残差を符号化することによって符号化データを生成する画像符号化装置であって、原画像を符号化し、復号した復号画像における、共通のフィルタパラメータを用いる単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段と、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、用いられる単位領域よりも先行して出力する符号化データ出力手段と、を備え、１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されている構成である。

また、本発明に係る符号化データのデータ構造は、画像復号装置において、復号された復号画像に対し施されるフィルタのフィルタパラメータが格納された符号化データのデータ構造であって、上記画像復号装置は、復号した復号画像の単位領域ごとに、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すものであり、上記符号化データには、複数の上記単位領域で共通して用いられるフィルタパラメータがパラメータセットとして含まれているとともに、１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されている構成である。

本発明の実施の形態を示すものであり、動画像復号装置の要部構成を示すブロック図である。動画像符号化装置によって生成され、上記動画像復号装置によって参照される符号化データのデータ構造を示すものであって、（ａ）はシーケンスレイヤの構造を示す図であり、（ｂ）はシーケンスレイヤに含まれるスライスレイヤの構成を示す図であり、（ｃ）はスライスレイヤに含まれるＴＢレイヤの構成を示す図であり、（ｄ）はＴＢレイヤに含まれるＣＵの構成を示す図である。ＡＰＳを含むパラメータセットＰＳと符号化データのレイヤ構造との関係を示す図である。ＬＣＵにスライス境界が含まれる場合の復号処理を説明するための図であり、（ａ）はＬＣＵとＴＢとの関係を示す図であり、（ｂ）はＬＣＵとスライス境界との関係を示す図である。ＡＰＳのシンタクス例を示す図である。ＡＰＳのデータ構造を説明するための図であり、（ａ）は従来技術を示す図であり、（ｂ）はＡＰＳに複数のパラメータが含まれている構造を示す図であり、（ｃ）はスライスがＡＰＳを参照する様子を示す図である。ＡＰＳのデータ構造を説明するための図であり、スライスがＡＰＳを参照する様子を示す図である。従来技術におけるＡＰＳとスライスとの関係を示す図である。従来技術におけるＡＰＳのシンタクス例を示す図であり、（ａ）はＡＰＳのシンタクスを示す図であり、（ｂ）は（ａ）のシンタクスにより呼び出されるシンタクスを示す図である。従来技術におけるＡＰＳのシンタクス例を示す図であり、（ａ）（ｂ）は図９（ａ）のシンタクスにより呼び出されるシンタクスを示す図である。スライスヘッダにパラメータが格納されている例を示す図である。ＬＣＵ単位でパラメータを符号化する例を説明するための図であり、（ａ）は各ＬＣＵ直後にフィルタパラメータを符号化する場合のデータ構造の例を示す図であり、（ｂ）はシンタクス例を示す図である。スライス分割と適応オフセットフィルタのパラメータの適用範囲とを示す図であり、（ａ）はスライス分割を示す図であり、（ｂ）は適応オフセットフィルタのパラメータの適用範囲を示す図である。パラメータが符号化される位置と必要な情報との対応関係を示す図である。適応オフセットフィルタにおいて、ユニット数、終端フラグをＡＰＳで符号化する場合のデータ構造について説明するための図であり、（ａ）はユニット数を符号化する場合のデータ構造を示す図であり、（ｂ）はピクチャにおける概要を示す図であり、（ｃ）は終端フラグを符号化する場合のデータ構造を示す図である。適応オフセットフィルタにおける適用範囲のユニット数を符号化する場合のシンタクスを示す図であり、（ａ）はユニット数を符号化するシンタクスを示す図であり、（ｂ）は（ａ）に示すシンタクスにより呼び出されるシンタクスを示す図である。ユニット数に加え、ユニットサイズを符号化する場合のシンタクスを示す図である。適応フィルタにおける適用範囲のユニット数を符号化する場合のシンタクスを示す図である。従来技術におけるパラメータの符号化のシンタクスを示す図である。従来技術におけるパラメータの符号化のシンタクスを示す図である。スライス開始位置を明示的に符号化する場合のシンタクスを示す図であり、（ａ）はスライス開始位置を示すシンタクスを示す図であり、（ｂ）は（ａ）に示すシンタクスにより呼び出されるシンタクスを示す図である。ユニットサイズがＬＣＵよりも大きい場合を示す図である。各ユニットの先頭部分に終端フラグを設ける場合のシンタクス例を示す図であり、（ａ）は終端フラグを示すシンタクスを呼び出すためのシンタクスを示す図であり、（ｂ）は終端フラグを示すシンタクスを示す図である。ＬＣＵよりも細かいＴＢによりスライスが形成されている場合を示す図である。フィルタ適用領域の大きさを変更する場合を説明するための図であり、（ａ）は変更前のフィルタ適用領域を示す図であり、（ｂ）は始点を変更した場合のフィルタ領域を示す図であり、（ｃ）は変更前のフィルタ適用領域を示す図であり、（ｄ）は終点を変更した場合のフィルタ適用領域を示す図である。マージを用いる場合を説明するための図であり、（ａ）はマージを用いる場合のシンタクスを示す図であり、（ｂ）はデータ構造を示す図である。予測を用いる場合のシンタクスを示す図である。本実施の形態に係る動画像符号化装置の要部構成を示すブロック図である。動画像復号装置および動画像符号化装置が、動画像の送受信に利用できることを説明するための図であり、（ａ）は、動画像符号化装置を搭載した送信装置の構成を示したブロック図であり、（ｂ）は、動画像復号装置を搭載した受信装置の構成を示したブロック図である。動画像復号装置および動画像符号化装置が、動画像の記録および再生に利用できることを説明するための図であり、（ａ）は、動画像符号化装置２を搭載した記録装置の構成を示したブロック図であり、（ｂ）は、動画像復号装置を搭載した再生装置の構成を示したブロックである。従来技術における適応オフセットフィルタについて説明するための図であり、（ａ）、（ｂ）は適応オフセットフィルタパラメータのデータ構造を示す図であり、（ｃ）は適用範囲の設定方法を説明するための図である。適応オフセットフィルタのパラメータのシンタクスを示す図であり、（ａ）はスライスの開始位置、スライスの横幅を明示的に示す場合のシンタクスを示す図であり、（ｂ）は（ａ）に示すシンタクスによって呼び出されるシンタクスを示す図である。図３２（ａ）に示すシンタクスによって呼び出されるシンタクスを示す図である。

本発明に係る実施の形態１について、図１〜２８を参照して説明する。まず、本実施の形態に係る動画像復号装置（画像復号装置）１の説明に先立ち、本実施の形態に係る動画像符号化装置（画像符号化装置）２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成について説明する。

なお、本実施の形態において、単に「フィルタ処理」と言う場合、適応オフセットフィルタおよび適応フィルタの少なくとも何れかの処理を言う。また、適応オフセットフィルタ処理および適応フィルタ処理の何れか一方を例として説明した場合であっても、当該例は、他方のフィルタ処理においても適用可能である。

（符号化データ＃１の構成）
符号化データ＃１の構成について図２を参照して説明する。図２は、符号化データ＃１のデータ構造を示す図である。符号化データ＃１は、シーケンス、およびシーケンスを構成する複数のピクチャ、ピクチャを構成する複数のスライスを含むものであり、図２は、符号化データ＃１におけるシーケンスレイヤ以下の階層の構造を示している。

図２（ａ）は、シーケンスＳｅｑｕｅｎｃｅを規定するシーケンスレイヤの構造を示す図である。図２（ｂ）は、スライスＳを規定するスライスレイヤの構造を示す図である。図２（ｃ）は、ツリーブロック（Tree block）ＴＢを規定するツリーブロックレイヤの構造を示す図である。図２（ｄ）は、ツリーブロックＴＢに含まれる符号化単位（ＣＵ：Coding Unit）を規定するＣＵレイヤの構造を示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスを復号するために、動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳｅｑｕｅｎｃｅは、図２（ａ）に示すように、シーケンスパラメータセットＳＰＳ（以下、単にＳＰＳとも言う）、ピクチャパラメータセットＰＰＳ（以下、単にＰＰＳとも言う）、アダプテーションパラメータセットＡＰＳ（以下、単にＡＰＳとも言う）、スライスＳを含んでいる。

ＰＰＳおよびＡＰＳには、ピクチャレイヤまたはスライスレイヤで共通し、再利用可能なパラメータが格納されている。例えば、ＰＰＳには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報や量子化マトリクス等が格納されている。

また、ＡＰＳには、適応ループフィルタ（ＡＬＦ）のフィルタ係数、サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offset）のオフセット値等が格納されている。なお、適応ループフィルタ（ＡＬＦ）のフィルタ係数、サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offset）のオフセット値等、ＡＰＳに格納されている情報をそれぞれのパラメータとも呼ぶ。

また、ＰＰＳおよびＡＰＳの符号化データにおける位置は限定されず、当該ＰＰＳおよびＡＰＳを参照するスライスデータよりも前に存在さえすればよい。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図２（ｂ）に示すように、スライスヘッダＳＨ、および、ツリーブロックＴＢ_１〜ＴＢ_ＮＣ（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。

スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。

（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。

ツリーブロックＴＢは、ツリーブロックヘッダＴＢＨと、符号化単位情報ＣＵ_１〜ＣＵ_ＮＬ（ＮＬはツリーブロックＴＢに含まれる符号化単位情報の総数）とを含む。まず、ツリーブロックＴＢと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。

ツリーブロックＴＢは、イントラ予測またはインター予測、および、変換の各処理のためのブロックサイズを特定するためのユニットに分割される。

ツリーブロックＴＢの上記ユニットは、再帰的な四分木分割により分割されている。この再帰的な四分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するユニットを、符号化ノード（coding node）と呼ぶ。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。

つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ_１〜ＣＵ_ＮＬは、ツリーブロックＴＢを再帰的に四分木分割して得られる各ツリーブロックＴＢである、符号化ノード（符号化単位）に対応する情報である。

また、符号化ツリーのルート（root）は、最上位のツリーブロックＴＢに対応付けられる。換言すれば、最上位のツリーブロックＴＢは、複数の符号化ノードを再帰的に含む四分木分割の木構造の最上位ノードに対応付けられる。符号化単位として使用可能な最大の最上位のツリーブロックＴＢを、最大符号化単位（最大コーディングユニット、Largest Coding Unit、ＬＣＵと呼ばれることもある）と呼ぶ。ＬＣＵにおける階層深度は、ツリーブロックＴＢの最上位であることから、０である。上述したスライスＳの復号処理は、ＬＣＵを単位として行われる。

なお、各符号化ノードに対応する画像領域のサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのユニット）のサイズの縦横とも半分である。

また、各符号化ノードのとり得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報および最大階層深度（maximum hierarchical depth）に依存する。例えば、ツリーブロックＴＢのサイズが６４×６４画素であって、最大階層深度が３である場合には、当該ツリーブロックＴＢ以下の階層における符号化ノードは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および８×８画素の何れかをとり得る。

また、復号処理の単位であるＬＣＵとは別に、スライスＳがＬＣＵ未満のツリーブロックＴＢを単位として構成されている場合、スライス境界を含むＬＣＵにおいては、当該ＬＣＵの全ての領域を復号処理するのではなく、処理対象スライスに含まれる領域の復号処理を行い、次に、当該ＬＣＵを含む他方のスライスについて、当該ＬＣＵに含まれる領域のうち、当該他方のスライスに含まれる領域から復号処理を行う。

図４を参照して説明する。図４は、ＬＣＵにスライス境界が含まれる場合の復号処理を説明するための図である。図４（ａ）に示すように、ＬＣＵ４５１には、４個のツリーブロックＴＢ４５２が含まれているとする。そして、一方のスライスに、ＬＣＵ４５１に含まれるツリーブロックＴＢのうち、左上、右上、左下のＴＢが含まれ、他方のスライスに右下のＴＢが含まれるとする。この場合、左上、右上、左下のＴＢは、当該ＴＢが含まれるスライスに対する復号処理が行われるときに復号処理が行われ、右下のＴＢは、次のスライスに対する復号処理が行われるときに、当該ＴＢから復号処理が行われる。

なお、図４（ｂ）に示すend_of_slice_flagは、当該ＴＢがスライスの終わりであるか否かを示すシンタクスである。

（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図２（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。

ツリーブロック分割情報ＳＰ＿ＴＢは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。

なお、ツリーブロック分割情報ＳＰ＿ＴＢは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグの集合であってもよい。この場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。

また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。

ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリーＰＴおよび変換ツリーＴＴのルートとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（ＰＵ：prediction unit）とも称する。

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（ＴＵ：transform unit）とも称する。

（ＣＵ情報ＣＵのデータ構造）
続いて、ＣＵ情報ＣＵに含まれるデータの具体的な内容について、図２（ｄ）を参照して説明する。図２（ｄ）に示すように、ＣＵ情報ＣＵは、スキップフラグＳＫＩＰ、対象ＣＵの各予測単位への分割パターンを指定するＰＵ分割情報ＳＰ＿ＰＵ、予測タイプ情報ＰＴｙｐｅ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含んでいる。

スキップフラグＳＫＩＰは、対象のＣＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、スキップの対象となる各種情報は省略され、復号される際には、既定値または推定値が用いられる。また、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

ＰＵ分割情報ＳＰ＿ＰＵは、対象ＣＵに含まれる各ＰＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＰＵ分割情報ＳＰ＿ＰＵは、対象ＣＵから、イントラ分割を指定するイントラ分割フラグ、および、対象ＣＵから、インター分割を指定するインター分割フラグの少なくとも何れか一方から実現することができる。

イントラ分割フラグは、対象ＣＵに含まれる各イントラＰＵ（イントラ予測が用いられるＰＵ）の形状、サイズ、および、対象ＣＵ内での位置を指定する情報である。

インター分割フラグは、対象ＣＵに含まれる各インターＰＵ（インター予測が用いられるＰＵ）の形状、サイズ、および、対象ＣＵ内での位置を指定する情報である。

予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。

ＰＴ情報ＰＴＩは、対象ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、インター予測情報、または、イントラ予測情報より構成される。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。

ＴＴ情報ＴＴＩは、対象ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。

（ＴＴ情報ＴＴＩ）
ＴＴ情報ＴＴＩは、変換サイズ、変換タイプ、変換係数、空間領域の変換係数の存在の有無、周波数領域の変換係数の存在の有無、量子化予測残差を、対象ＣＵに含まれるＴＵの総数分含んでいる。

ＴＵは、対象ＣＵを階層的に四分木分割することにより形成されており、対象ＣＵまたは対象ＣＵの部分領域の分割を行うのか否かを示すＴＵ分割情報により、サイズが決定する。ＴＵ分割情報は基本的には四分木の各ノードに対して符号化されるが、変換サイズに関する制約（最大変換サイズ、最小変換サイズ、四分木の最大階層深度）に応じて省略されて推定される場合もある。

量子化予測残差ＱＤは、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。

処理１：符号化対象画像から予測画像を減算した予測残差を周波数領域に直交変換（ＤＣＴ変換（Discrete Cosine Transform）またはＤＳＴ変換（Discrete sine Transform））する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

（パラメータセット）
次に、図３を参照して、パラメータセットと符号化データのレイヤ構造との関係を説明する。上述したように、符号化データはシーケンスレイヤ、スライスレイヤというように階層的な構造となっており、シーケンスレイヤで共通するパラメータについては、ＳＰＳ４０１、４０２に格納され、ピクチャレイヤで共通するパラメータについては、ＰＰＳ４０３、４０４に格納されている。

また、スライスレイヤで共通するパラメータについては、ＡＰＳ２９０１、２９０２に格納されている。そして、各スライス４０６、４０８、４１０のスライスヘッダＳＨ４０５、４０７、４０９が、ｉｄにより指定されたＰＰＳを参照する。図３では、ｉｄにより参照するＰＰＳ、ＡＰＳ、およびＳＰＳを破線で示している。すなわち、スライスヘッダＳＨ４０５は、ＰＰＳ４０３、ＡＰＳ２９０１を参照し、スライスヘッダ４０７はＰＰＳ４０３、ＡＰＳ２９０２を参照している。

なお、詳細は後述するが、スライスヘッダＳＨそれぞれは、必ずしも異なるＡＰＳを参照する必要はない。異なるスライスヘッダＳＨが同じＡＰＳを参照する構成であってもよい。

（動画像復号装置１）
次に、本実施形態に係る動画像復号装置１について、図１を参照して説明する。動画像復号装置１は、その一部に、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、および、ＨＭ（HEVC TestModel）ソフトウェアに採用されている技術を含んでいる。

図１は、動画像復号装置１の構成を示すブロック図である。図１に示すように、動画像復号装置１は、可変長符号復号部１３、動きベクトル復元部１４、バッファメモリ１５、インター予測画像生成部１６、イントラ予測画像生成部１７、予測方式決定部１８、逆量子化・逆変換部１９、加算器２０、デブロッキングフィルタ４１、適応フィルタ５０、および適応オフセットフィルタ６０を含む構成である。動画像復号装置１は、符号化データ＃１を復号することによって動画像＃４を生成するための装置である。

可変長符号復号部１３は、ＰＳ情報復号部５１を含む構成であり、各パーティションに関する予測パラメータＰＰを、符号化データ＃１から復号する。すなわち、インター予測パーティションに関しては、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、および、動きベクトル残差ＭＶＤを符号化データ＃１から復号し、これらを動きベクトル復元部１４に供給する。

また、イントラ予測パーティションに関しては、（１）パーティションのサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を符号化データ＃１から復号し、これをイントラ予測画像生成部１７に供給する。

また、可変長符号復号部１３は、ＣＵ情報を符号化データから復号し、これを予測方式決定部１８に供給する（不図示）。更に、可変長符号復号部１３は、各ブロックに関する量子化予測残差ＱＤ、および、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐを符号化データ＃１から復号し、これらを逆量子化・逆変換部１９に供給する。

ＰＳ情報復号部５１は、符号化データ＃１に含まれているＳＰＳ、ＰＰＳ、ＡＰＳといったパラメータセットＰＳ情報を復号し、パラメータを用いて処理を行う各ブロックに供給する。例えば、ＡＰＳに含まれている適応オフセットフィルタのオフセット値を含むパラメータであるＳＡＯＰを適応オフセットフィルタ６０に供給する。また、ＡＰＳに含まれている適応フィルタのＦＰ（フィルタパラメータ）を抽出し、抽出したＦＰを適応フィルタ５０に供給する。

動きベクトル復元部１４は、各インター予測パーティションに関する動きベクトルｍｖを、そのパーティションに関する動きベクトル残差ＭＶＤと、他のパーティションに関する復元済みの動きベクトルｍｖ’とから復元する。具体的には、（１）推定動きベクトルインデックスＰＭＶＩにより指定される推定方法に従って、復元済みの動きベクトルｍｖ’から推定動きベクトルｐｍｖを導出し、（２）導出した推定動きベクトルｐｍｖと動きベクトル残差ＭＶＤとを加算することによって動きベクトルｍｖを得る。なお、他のパーティションに関する復元済みの動きベクトルｍｖ’は、バッファメモリ１５から読み出すことができる。動きベクトル復元部１４は、復元した動きベクトルｍｖを、対応する参照画像インデックスＲＩと共に、インター予測画像生成部１６に供給する。なお、双方向予測（重み付き予測）を行うインター予測パーティションについては、復元した２つの動きベクトルｍｖ１およびｍｖ２を、対応する参照画像インデックスＲＩ１およびＲＩ２と共に、インター予測画像生成部１６に供給する。

インター予測画像生成部１６は、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル復元部１４から供給された動きベクトルｍｖを用いて、同じく動きベクトル復元部１４から供給された参照画像インデックスＲＩによって指定されるフィルタ済復号画像Ｐ＿ＦＬ’から動き補償画像ｍｃを生成する。ここで、フィルタ済復号画像Ｐ＿ＦＬ’は、局所復号画像Ｐに対して、デブロッキングフィルタ４１によるデブロック処理、適応オフセットフィルタ６０によるオフセットフィルタ処理、および適応フィルタ５０による適応的フィルタ処理を施すことによって得られる画像であり、インター予測画像生成部１６は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ１５から読み出すことができる。インター予測画像生成部１６によって生成された動き補償画像ｍｃは、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒとして予測方式決定部１８に供給される。なお、双方向予測（重み付き予測）を行うインター予測パーティションについては、（１）動きベクトルｍｖ１を用いて、参照画像インデックスＲＩ１によって指定されたフィルタ済復号画像Ｐ＿ＦＬ１’から動き補償画像ｍｃ１を生成し、（２）動きベクトルｍｖ２を用いて、参照画像インデックスＲＩ２によって指定されたフィルタ済復号画像Ｐ＿ＦＬ２’から動き補償画像ｍｃ２を生成し、（３）動き補償画像ｍｃ１と動き補償画像ｍｃ２との加重平均にオフセット値を加えることによってインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成する。

イントラ予測画像生成部１７は、各イントラ予測パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、まず、符号化データ＃１から復号された予測インデックス指定情報およびサイズ指定情報を参照して予測モードを導出し、該予測モードを対象パーティションに対して、例えば、ラスタスキャン順に割り付ける。続いて、当該予測モードの示す予測方法に従って、バッファメモリから読み出した（不図示）局所復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部１７によって生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａは、予測方式決定部１８に供給される。

また、イントラ予測画像生成部１７は、対象パーティションのサイズ、および、対象パーティションに割り付けられた予測モードを示す情報であるイントラ符号化モード情報ＩＥＭを適応フィルタ５０に供給する（不図示）。

予測方式決定部１８は、ＣＵ情報に基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部１６にて生成されたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器２０に供給し、後者の場合には、イントラ予測画像生成部１７にて生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器２０に供給する。

逆量子化・逆変換部１９は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ（Discrete Cosine Transform）係数またはＤＳＴ（Discrete Sine Transform）係数を逆ＤＣＴ変換または逆ＤＳＴ変換し、（３）逆ＤＣＴ変換または逆ＤＳＴ変換によって得られた予測残差Ｄを加算器２０に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆量子化・逆変換部１９は、可変長符号復号部１３から供給された量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆ＤＣＴ（またはＤＳＴ）変換したツリーブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化ステップｑｐからＱＰ＝２ｐｑ／６によって導出できる。また、逆量子化・逆変換部１９による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。

加算器２０は、予測方式決定部１８から供給された予測画像Ｐｒｅｄと、逆量子化・逆変換部１９から供給された予測残差Ｄとを加算することによって局所復号画像Ｐ（復号画像）を生成する。

デブロッキングフィルタ４１は、局所復号画像Ｐにおけるブロック境界、またはＣＵ境界を介して互いに隣接する画素の画素値の差が予め定められた範囲内である場合にはブロック歪みが存在すると判定し、局所復号画像Ｐにおける当該ブロック境界、または当該ＣＵ境界に対してデブロッキング処理を施すことによって、当該ブロック境界、または当該ＣＵ境界付近の画像の平滑化を行う。デブロッキングフィルタ４１によりデブロッキング処理が施された画像は、デブロック済復号画像Ｐ＿ＤＢとして、適応オフセットフィルタ６０に出力される。

適応オフセットフィルタ６０は、デブロッキングフィルタ４１から供給されるデブロック済復号画像Ｐ＿ＤＢに対して、符号化データ＃１から復号されたオフセットを用いたオフセットフィルタ処理を施すことによってオフセットフィルタ済復号画像Ｐ＿ＯＦを生成する。生成されたオフセットフィルタ済復号画像Ｐ＿ＯＦは、適応オフセットフィルタ６０に供給される。

適応フィルタ５０は、適応オフセットフィルタ６０から供給されるオフセットフィルタ済復号画像Ｐ＿ＯＦに対して、符号化データ＃１から復号されたフィルタパラメータＦＰ（フィルタセット番号、フィルタ係数群、領域指定情報、並びにオンオフ情報）を用いたフィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。フィルタ済復号画像Ｐ＿ＦＬは、動画像＃４として外部に出力されると共に、可変長符号復号部１３によって符号化データから復号されたＰＯＣ指定情報と関連付けてバッファメモリ１５に格納される。

本実施の形態では、上述した構成において、さらに下記に示す構成例とすることにより、スライス単位での適応オフセットフィルタ、適応フィルタの適用を可能とするものである。

（構成例１：ＡＰＳの構成）
まず、ＡＰＳの構成を工夫することにより、スライス単位（フィルタ適用領域）での適応オフセットフィルタ、適応フィルタの適用を可能とする例について、図５〜７を参照して説明する。まず、本実施の形態に係るＡＰＳの構成を説明する前に、従来技術におけるＡＰＳの構成について図８〜１０を参照して説明する。

図８は、従来技術におけるＡＰＳとスライスＳとの関係を示す図である。また、図９、１０は、ＡＰＳのシンタクスを示す図である。

図９のシンタクス９０１に示すように、従来技術では、ＡＰＳのそれぞれのパラメータが１つずつ含まれている。そして、例えば、適応オフセットフィルタのパラメータであれば、図９のシンタクス９０２、図１０のシンタクス１００１、１００２を呼び出すことによりパラメータを復号している。

よって、従来技術では、図８に示すように、ＡＰＳには１つのパラメータしか格納できないため、１つのスライスデータのスライスヘッダＳＨが１つのＡＰＳを参照している。したがって、スライス単位で適応オフセットフィルタや適応フィルタのパラメータを符号化する場合、スライスデータの数だけ、ＡＰＳが必要ということになる。例えば、スライスデータが１０個あれば、ＡＰＳも１０個必要ということになる。ＡＰＳには、適応オフセットフィルタや適応フィルタ以外のパラメータも含まれており、スライスデータごとにＡＰＳを作成することになると、管理が非常に煩雑になってしまう。

そこで、本実施の形態では、ＡＰＳに複数のパラメータを格納可能にしている。まず、図５に本実施の形態に係るＡＰＳのシンタクス５０１を示す。シンタクス５０１に示すように、シンタクス“aps_num_パラメータ”により、各パラメータの前に個数を符号化し、
個数分だけループしている。また、各パラメータのシンタクスの引数ｉは、ｉ組目のパラメータであることを示し、パラメータのＩＤとしても用いられる。なお、パラメータの個数が必要な場合には、その個数は必ず１個以上となるため、個数から１を引いた値を符号化すれば符号量を削減できる。この場合、シンタクス上は“_minus1”を伴う名前にするなどして識別可能にすることが好ましい。

次に、ＡＰＳに複数のパラメータが格納される場合のデータ構造例について図６、７を参照して説明する。図６（ａ）に示すように、従来はＡＰＳに１つのパラメータ（図６に示す例ではＳＡＯｐａｒａｍ）が格納されていた。本実施の形態では、図６（ｂ）に示すように１つのＡＰＳに複数のパラメータ（ＳＡＯｐａｒａｍ）が格納されている。

なお、１つのＡＰＳに複数のパラメータが格納されている場合、パラメータとスライスデータとの対応関係が不明確になる。そこで、例えば、図６（ｃ）に示すように、ＡＰＳそのものはaps_idで参照し、個々のパラメータとスライスデータとの対応付けは、符号化データでの格納順とすることが考えられる。

また、図７に示すように、スライスヘッダにaps_idに加え、当該ＡＰＳに含まれているパラメータの何れかを特定するためのsaoparam_id（特定情報）を格納し、対応関係を明示的に示してもよい。なお、saoparam_idは、ＳＡＯｐａｒａｍの格納順に付与すればよい。

上記の構成よれば、１つのＡＰＳに複数のパラメータを格納することができるので、スライス単位で適応オフセットフィルタや適応フィルタを適用する場合であっても、スライスの数と同じ数のＡＰＳを作成する必要がない。これにより、容易に、スライス単位で適応フィルタ、適応オフセットフィルタを適用可能な画像復号装置を実現することができる。

なお、ＡＰＳに格納されるパラメータは、適応オフセットフィルタ、適応フィルタに限られるものではなく量子化パラメータも含まれてもよい。この場合、scaling_list_paramを複数格納することになる。

（構成例２：スライスヘッダＳＨの構成）
次に、スライスヘッダＳＨの構成を工夫することにより、スライス単位での適応オフセットフィルタ、適応フィルタの適用を可能とする例について、図１１を参照して説明する。

図１１は、スライスヘッダＳＨに適応オフセットフィルタのパラメータであるＳＡＯｐａｒａｍが格納されている例を示す。スライスヘッダＳＨにＳＡＯｐａｒａｍを格納することにより、スライス単位で、適応オフセットフィルタ、適応フィルタの適用を可能とすることができる。

（構成例３：ＬＣＵ単位でのパラメータの符号化）
次に、ＬＣＵ単位（単位領域）でパラメータを符号化することにより、スライス単位での適応オフセットフィルタ、適応フィルタの適用を可能とする例について、図１２を参照して説明する。図１２（ａ）は、各ＬＣＵの符号化データの直後に適応オフセットフィルタおよび適応フィルタのパラメータを符号化する場合のデータ構造の例を示す図であり、（ｂ）はシンタクス例を示す図である。

図１２（ａ）、（ｂ）に示すように、ＡＰＳには、パラメータがＡＰＳと各ＬＣＵの符号化データの直後の何れに存在しているかを示すaps_sao_param_in_slice_data_flagが含まれている。そして、各ＬＣＵの符号化データの直後にパラメータを格納する場合、aps_sao_param_in_slice_data_flagをtrueとする。

各ＬＣＵの符号化データの直後にパラメータを格納することにより、ＬＣＵを復号した時点で、次に使われる適応オフセットフィルタおよび適応フィルタのパラメータの復号を行うことになるため、適応オフセットフィルタおよび適応フィルタのパラメータを保持するメモリ量を削減することができる。

なお、本実施形態の復号装置に対応する符号化装置では、適応オフセットフィルタおよび適応フィルタのパラメータを生成した時点で、他の符号化データと同時に書き出すことができるため、適応オフセットフィルタおよび適応フィルタのパラメータを１ピクチャ分（あるいは１スライス分）保持する必要がなく、一時メモリを削減することができる。また、適応オフセットフィルタおよび適応フィルタのパラメータのデータ量が大きくなった場合にも、ＡＰＳのサイズが大きくなってしまうことを防止することができる。

また、切り換えフラグを設け、適応オフセットフィルタおよび適応フィルタを符号化する場合と、ＬＣＵ単位で符号化する場合とをピクチャ単位で切り換える構成であってもよい。

（符号化の処理単位）
上述したように、スライス単位で適応オフセットフィルタおよび適応フィルタを適用する場合、フィルタ処理を所定サイズの単位領域（ユニット）毎に処理し、ユニット単位でオフセットおよびフィルタ係数等のパラメータを符号化することが考えられる。この場合、ユニットの個数分、符号化を行う必要がある。なお、ユニットのサイズがＬＣＵの整数倍になるようにすれば、ＬＣＵ単位の符号化処理との親和性が高くなり好ましい。

スライス単位で、適応オフセットフィルタおよび適応フィルタを適用する場合の概要について、図１３を参照して説明する。図１３はスライス分割と適応オフセットフィルタのパラメータの適用範囲とを示す図であり、（ａ）はスライス分割を示す図であり、（ｂ）は適応オフセットフィルタのパラメータの適用範囲を示す図である。

図１３（ａ）に示すように、ピクチャがスライス０〜２（領域１３０１〜１３０３）に分割されている場合、適応オフセットフィルタのパラメータの適用範囲もスライス分割に準じて領域１３１１〜１３１３となる。ここでは適応オフセットフィルタのパラメータの適用範囲を例に説明しているが、適応フィルタのパラメータの適用範囲についても同様である。

そして、適応オフセットフィルタおよび適応フィルタの適用範囲を、スライス単位とする場合、ユニット数は、スライスのサイズ（スライスに含まれるＬＣＵの個数）に依存する。しかしながら、従来技術では、スライスのサイズは、スライスの復号を終了する時点でしかわからない。

従来技術について、図１９、２０を参照して説明する。図１９、２０は、従来技術におけるパラメータの符号化のシンタクスを示す図である。従来技術では、パラメータをＬＣＵ単位で符号化しても、符号化する個数をＡＰＳにおいて符号化していない。図１９に示すシンタクス１９０１では、スライス上における開始位置（first_tb_in_slice）、スライスの左端位置（left_most_tb_in_pic）、およびスライスの上端位置（top_tb_in_pic）を参照しているが明示的に符号化しておらず、スライスを復号しなければ参照できない。

また、図２０に示すシンタクス２００１では、ユニットサイズ（alf_unit_width_minus1、alf_unit_height_minus1）を符号化しているのみであり、ユニット数は符号化されていない。

そして、従来技術のようにＡＰＳにおいて、ユニット数を明示的に符号化しない場合、スライスの復号終了時点まで、ＡＰＳ中の適応オフセットフィルタおよび適応フィルタのパラメータを復号することができない。

また、適応オフセットフィルタおよび適応フィルタのパラメータの符号化に、スライスの開始位置を用いる場合であれば、スライスの復号開始時点まで、ＡＰＳ中の適応オフセットフィルタおよび適応フィルタのパラメータを復号することができない。

そこで、本実施の形態では、ＡＰＳにおいて、フィルタ適用領域の開始位置となるスライスの開始位置を明示的に符号化するとともに、ＡＰＳにおいて、適応オフセットフィルタおよび適応フィルタのユニット数、または、各ユニットの最後において終端フラグを符号化する。

まず、パラメータが符号化される位置と必要な情報との関係について、図１４を参照して説明する。図１４は、パラメータが符号化される位置と必要な情報との対応関係を示す表である。図１４に示すように、ＡＰＳにおいてパラメータを符号化する場合、ユニット数を符号化する必要がある。具体的には、後述する図１６のシンタクスのようにユニット数としてsao_num_unit_minus1を符号化する。また、後述する図２１のシンタクスのようにユニットとＬＣＵサイズとが一致していない場合に明示的に対応する場合には、スライスの開始位置（Ｘ座標もしくはＸ軸上のずれ量）を符号化する必要がある。また、後述する図３２、図３３のシンタクスのようにスライス内のユニット位置に応じて、ユニットのパラメータの予測を行う場合には、スライスの開始位置（Ｘ座標）、スライスの横幅をさらに符号化する必要がある。ＡＰＳにおいてパラメータを符号化する場合、ＡＰＳを復号する時点では、スライスヘッダＳＨの情報はなく、スライスの横幅とピクチャの横幅とは必ずしも一致しないため、スライスの横幅も符号化する必要がある。ただし、後述するように、タイル符号化の場合にのみ、スライスの横幅を符号化し、それ以外ではスライスの横幅を符号化しないシンタクス構成も可能である。

また、スライスヘッダＳＨにおいてパラメータを符号化する場合、ユニット数も符号化する必要がある。スライスヘッダＳＨを復号した時点では、スライスの開始位置およびスライスの横幅は分かるが、スライスがどこまで続いているかは不明なためである。

また、各ＬＣＵの直後にパラメータを符号化する場合であれば、ＬＣＵごとにパラメータが対応付けられており、ユニット数、スライス開始位置、およびスライスの横幅を符号化する必要はない。なお、スライスの開始位置とフィルタの開始位置が一致していない場合には、スライスヘッダＳＨにおいて、スライスの開始位置（Ｘ座標）とフィルタ開始位置のずれを示すオフセットを符号化しても構わない。また、スライスの開始位置がユニットサイズの整数倍の場合にはスライスの開始位置をフィルタ適用領域の開始位置とし、スライスの開始位置がユニットサイズの整数倍にない場合には、フィルタ適用領域の開始位置をユニットサイズの整数倍となるように切り上げた座標としてもよい。

次に、適応オフセットフィルタにおいて、ユニット数、終端フラグをＡＰＳで符号化する場合のデータ構造について、図１５を参照して説明する。図１５（ａ）は、ユニット数を符号化する場合のデータ構造を示す図であり、（ｂ）はピクチャにおける概要を示す図であり、（ｃ）は終端フラグを符号化する場合のデータ構造を示す図である。

図１５（ａ）に示すように、ユニット数を符号化する場合、適応オフセットフィルタのパラメータ（ＳＡＯｐａｒａｍ）の先頭部分に、スライスの開始位置（sao_unit_pos）とユニット数（sao_num_unit）とを符号化する。なお、図１５（ａ）ＳＡＯＵはＳＡＯｕｎｉｔ、すなわち適応オフセットフィルタの処理単位（ユニット）を示している。

また、図１５（ａ）に示すＳＡＯｐａｒａｍが適用される範囲が図１５（ｂ）に示す領域１５０１とすると、スライスの開始位置（sao_unit_pos）はユニット１５０２を示し、ユニット数（sao_num_unit）は領域１５０１に含まれるユニット（ここではＬＣＵ）の数を示す。なお、図１５（ｂ）における矢印は、ＳＡＯｐａｒａｍ内でのＳＡＯＵの格納順を示している。

また、図１５（ｃ）に示すように、終端フラグを符号化する場合、各ユニットの先頭部分に終端フラグ（sao_last_flag）を設ける。

（ユニット数を符号化する場合）
適応オフセットフィルタにおける適用範囲のユニット数を符号化する場合のシンタクスを図１６に示す。図１６（ａ）に示すシンタクス１６０１では、従来技術（図９のシンタクス９０２）において適応オフセットフィルタの適用範囲の分割の方法を示していたsao_split_param()が含まれていない。そして、sao_num_unit_miuns1でユニット数を符号化するとともに、sao_offset_param()の引数が従来技術とは異なっている。なお、図１６（ｂ）に示すシンタクス１６０２は、シンタクス１６０１によって呼び出される、パラメータ（オフセット）を復号するためのシンタクスである。

次に、ユニット数に加え、ユニットサイズを符号化する場合のシンタクスを図１７に示す。図１７に示すシンタクス１７０１では、sao_unit_width_miuns1およびsao_unit_height_minus1でユニットのサイズを符号化している。

次に、適応フィルタの場合のシンタクスを図１８に示す。図１８のシンタクス１８０１に示すように、適応フィルタの場合であれば、alf_num_unit_minus1においてユニット数を符号化している。

（スライスの開始位置を符号化する場合）
スライスの開始位置が必要となるのは、ユニットとＬＣＵサイズとが一致していない場合やパラメータを上のユニットから予測する場合である。スライスの開始位置を明示的に符号化する場合、スライスの開始位置をsao_unit_posで符号化する。この場合のシンタクス例を図２１に示す。図２１（ａ）のシンタクス２１０１は、スライスの開始位置を明示的に示す場合の、適応オフセットフィルタのパラメータのシンタクスであり、（ｂ）のシンタクス２１０２は、シンタクス２１０１によって呼び出される、パラメータのシンタクスである。

（ユニットとＬＣＵサイズとが一致していない場合）
ユニットとＬＣＵサイズとが一致していない場合、スライスの先頭からフィルタ処理を行うよりも、ＬＣＵのＸ，Ｙ座標が、ユニットサイズの定数倍になった時点でフィルタ処理を行う方が、処理量を削減することができ適当である。この場合、スライス開始位置、または、スライス開始位置と適応オフセットフィルタまたは適応フィルタの適用範囲の開始位置とのずれを符号化すればよい。また、スライスの開始位置を明示的に符号化せず、復号装置において、スライスの開始位置をＬＣＵの整数倍となるように切り上げることによって導出しても構わない。具体的には、スライスの開始アドレスをslice_addr、スライスの横幅をslice_width、ＬＣＵの幅をLCU_widthとする場合には、まず、スライスの開始Ｘ座標slice_addr_xを、スライス開始アドレスとスライスの横幅の剰余により、
slice_addr_x = slice_addr % slice_width
から求める。次に、フィルタ開始位置のＸ座標filter_addr_xを、スライスＸ座標slice_addr_xにＬＣＵの幅−１を加え、ＬＣＵの幅で割ることによって、すなわち
filter_addr_x = (slice_addr_x + LCU_width- 1) / LCU_width
で算出する。

（ユニットサイズがＬＣＵよりも大きい場合）
図２２に、ユニットサイズがＬＣＵよりも大きい場合を示す。図２２では、実線の細線でＬＣＵを、実線の太線でスライスの境界を、破線でユニットを示している。このような場合、スライスの先頭のＬＣＵ（スライス境界をまたぐユニット２２０５に含まれるＬＣＵ２２０４）からフィルタ処理を行わず、ＬＣＵのＸ，Ｙ座標がユニットサイズの定数倍になったユニットの先頭のＬＣＵ（ここでは、ユニット２２０６に含まれるＬＣＵ２２０７）を始点としてフィルタ処理を行うとよい。すなわち、ユニット２２０６をフィルタ対象領域の開始位置とし、スライス境界をまたぐユニット２２０５にはフィルタ処理を行わない。より具体的には、ユニットサイズの横幅をUNIT_widthとすると、フィルタ開始位置のＸ座標filter_addr_xを、スライスＸ座標slice_addr_xにユニットサイズ−１を加え、ユニットサイズで割ることによって、すなわち
filter_addr_x = (slice_addr_x + UNIT_width- 1) / UNIT_width
で算出する。また、ユニットサイズの縦幅をUNIT_heightとすると、フィルタ開始位置のＹ座標 filter_addr_yを、スライスＹ座標slice_addr_yにユニットサイズ−１を加え、ユニットサイズで割ることによって算出する。すなわち
filter_addr_y = (slice_addr_y + UNIT_height- 1) / UNIT_heightで算出する。
なお、スライスＹ座標slice_addr_yは、スライス開始アドレスとスライスの横幅の除算により、
slice_addr_y = slice_addr / slice_width
から求めることができる。

これにより、スライス境界にまたがるユニットの処理を回避することができ、処理量を低減することができる。

（スライス領域とフィルタ適用領域とが１対１に対応しない場合）
スライス領域とフィルタ適用領域とが１対１に対応しない場合、フィルタ適用領域の始点をスライス開始位置やスライスのサイズから導出できない場合がある。例えば、ＡＰＳに、スライス途中から開始するフィルタ適用領域に対するパラメータを１組だけ入れる場合が考えられる。フィルタ適用領域の始点位置を符号化することで、スライス途中の任意の位置から開始するフィルタ適用領域を設定することができる。

これにより、スライス領域とフィルタ適用領域とが１対１に対応しない場合にも対応可能となる。

（パラメータを上のユニットから予測する場合）
フィルタパラメータやオフセットを上のユニットや左のユニットから予測する場合、ユニットのＸ座標やスライスの横幅が必要になる。なお、スライスの横幅は、必ずしもピクチャの横幅と同一ではない。例えば、タイル符号化と呼ばれる符号化手法を用いてピクチャを矩形（タイル）に分割した上で各タイルにスライス分割を適用した場合には、スライスの横幅は各タイルの横幅に依存する。

例えば、スライスの開始位置（Ｘ座標）を符号化することにより、左からの予測ができるかどうかを判定することができる。画面左端のユニットか否かが判定できるためである。

また、スライスの横幅を符号化することにより、上からの予測ができるかどうかを判定することができる。フィルタ適用領域の上端のユニットか否かが判定できるためである。なお、上からの予測であれば、Ｘ座標は関係なく、横幅分の数のユニットが復号済みで上にあるか否かが分かればよい。

この場合のシンタクス例を図３２、図３３に示す。図３２（ａ）のシンタクス３２０１は、スライスの開始位置、スライスの横幅、を明示的に示す場合の、適応オフセットフィルタのパラメータのシンタクスであり、（ｂ）のシンタクス３２０２は、シンタクス３２０１によって呼び出される、パラメータのシンタクスである。図３３に示すシンタクス３２０３は、シンタクス３２０１によって呼び出される。

以下、本シンタクス例の特徴を説明する。パラメータの符号化位置がＡＰＳである場合にはスライスの開始位置（sao_unit_pos）とスライスの横幅（sao_slice_width_in_unit_minus1）をパラメータの符号化データに含める。ＡＰＳでない場合にはパラメータの符号化データに含めない。復号装置では、パラメータの符号化位置がＡＰＳであるか否かの判定を行う。パラメータの符号化位置がＡＰＳである場合には、スライスの開始位置とスライスの横幅を復号する。パラメータの符号化位置がＡＰＳでない場合には、スライスの開始位置とスライスの横幅は、スライスヘッダを復号して得られる値を用いる（ＳＹＮ３２１）。なお、タイル符号化がなされている場合には、符号化データはスライスの横幅を含み、復号装置は、スライスの横幅を復号する（ＳＹＮ３２１Ａ）。タイル符号化がなされていない場合（!in_tile）には、スライスの横幅は符号化データに含めず、スライスの横幅としてピクチャの幅を用いる。

スライスの開始位置を用いてスライス内のユニットアドレスCurrTbAddrを初期化する（ＳＹＮ３２２）。以下、ＳＹＮ３２９のループにより、ユニット数の分だけ、スライス内のユニットのパラメータが符号化データに含まれるため、復号装置ではこれらを復号する。ユニットアドレスCurrTbAddrと、スライスの横幅からユニットのスライス内のＸ座標xCUを算出する。xCUはスライスの横幅を用いてユニットアドレスの剰余を計算することで得られる（ＳＹＮ３２３）。同様に、ユニットアドレスをスライスの横幅で除算することにより、スライス内のユニットのスライス内のＹ座標yCUを計算する（ＳＹＮ３２４）。ユニットのＸ座標が０であるか否かによって分岐する（ＳＹＮ３２５）。これは、ユニットのがスライス左端に位置する場合には、水平方向のユニット間のパラメータのコピーを示すラン（sao_run_num）の初期化を行う必要があるためである。さらにユニットのＹ座標が０であるか否かによって分岐する（ＳＹＮ３２６）。これはユニットの上下方向のリピートを示す（sao_repeat_row_flag）を復号するか否かを制御するために用いられる。さらに、ユニットのＹ座標が０であるか否かによって分岐する（ＳＹＮ３２７）。ユニットのＹ座標が０でない場合には、上方向にパラメータのコピーや予測に用いることができる参照ユニットが存在するため、上とのマージを行うか否かのフラグ（上の参照ユニットからパラメータのコピーを行うか否かのフラグ）sao_merge_above_flag（ＳＹＮ３２８）をさらに復号する。このように、上からパラメータを予測する場合において、予測されるパラメータを復号するためには、ユニットのＹ座標が復号時点で算出可能である必要がある。sao_run_num_diffは、ラン（sao_run_num）の値の、上の列のユニットにおける値からの差分である。

ループ末尾においては、ユニットアドレスを１つ進め、ユニット数を１だけ減算する。減算後のユニット数が０より大きい場合には、まだ未復号ユニットがあることから、ループ先頭に戻り、各ユニットのパラメータの復号を繰り返す（ＳＹＮ３２９）。このように、各ユニットのパラメータを復号するためには、復号時点で、ユニット数が得られている必要がある。図３３は、各ユニットにおけるパラメータを示すシンタクスである。必ずしも全てのユニットに対して図３３のシンタクスで示されるパラメータが符号化データに含まれるわけではない。リピートやマージによってユニットが既に復号されたユニットにマージされる場合には、該当するユニットのパラメータは符号化データに含まれない。逆に、マージされない場合には、該当するユニットのパラメータが復号化データに含まれる。復号装置では、各ユニットの座標およびリピートフラグやマージフラグに応じて、パラメータが含まれるか否かの判定を行い、パラメータが含まれる場合に復号を行う。

上記説明のように、ＡＰＳで符号化されているか否かに応じて、スライスの開始位置とスライスの横幅を符号化データに含めるか否かを変更する場合には、ＡＰＳ以外で符号化される場合においてスライスの開始位置とスライスの横幅の符号化を省略し符号量を低減することができる。但し、符号化位置に応じて符号化データの構成を変更することなく、常にスライスの横幅を符号化するようにしてもよい。

上記説明のように、タイル符号化であるか否かに応じて、スライスの横幅を符号化データに含めるか否かを変更する場合には、タイル符号化以外の場合においてスライスの横幅の符号化を省略し符号量を低減することができる。ただし、タイル符号化に応じて符号化データの構成を変更することなく、常にスライスの横幅を符号化するようにしてもよい。

以上のように、パラメータの符号化位置によって、ユニット数、スライス開始Ｘ座標、スライスの横幅を符号化することにより、スライスの符号化データを最後まで復号あるいは先読みしなくても必要なパラメータを復号することができる。

なお、図１４に示すようにパラメータの符号化位置、例えばＡＰＳ、スライスヘッダ、ＬＣＵによって必要な情報（ユニット数、スライス開始Ｘ座標、スライスの横幅）のみを符号化するように切り換える構成であってもよい。

また、ユニット数、スライスの開始位置、スライスの横幅は符号量が大きくなる可能性がある。例えば、１９２０×１０８０の画像のＬＣＵ（６４×６４画素とする）数は、３０×１７＝５１０個となる。そして、スライスの構成単位であるＴＢが３２×３２であれば、スライス開始位置を表すスライスアドレスslice_addressの範囲は、５１０×４＝２０４０であることから、０〜２０３９となる。さらに、スライスの横幅は０に近くなる可能性はほとんどなく、可変長符号のメリットは小さい。そこで、ゴロム符号などの値が小さいほど短い符号を割り当てる可変長符号化では符号量が増大するため、固定長符号化を用いることが好ましい。

そして、固定長符号の好ましいビット数は、以下のとおりである。

まず、ユニット数に対しては、ユニットサイズがＬＣＵサイズの場合には、であれば、画面内のＬＣＵ数（NumLCUsInPicture）の２を底とする対数をとることによって、該ＬＣＵ数を表現するために必要なビット数である最大ビット長を導出する。これは、スライスアドレスslice_addressの必要ビット数の計算と同様である。

log2_max_num_units = (Ceil(Log2(NumLCUsInPicture))
ここで、Ceilとは、引数以上で最小の整数を返す関数を意味する。なお、ピクチャサイズはＡＰＳ復号時点でも参照可能である。また、ユニットサイズとＬＣＵサイズとが異なる場合には、下記のように必要ビット長を計算する。まず、画面内のユニット数NumUnitsInPictureを、画面幅picture_widthと、画面高さpicture_heightとから下記の式で導出する。

((picture_width+ UNIT_width - 1) / UNIT_width) *((picture_height + UNIT_height- 1) / UNIT_height)
続いて、次の式により必要ビット数を計算する。

log2_max_num_units = (Ceil(Log2(NumUnitsInPicture))
このように、ユニットとＬＣＵのサイズが異なる場合でも、サイズの比率を用いれば同様に計算可能である。なお、ユニットサイズが得られない場合には可能なユニットサイズの最小値、例えばＬＣＵサイズをユニットサイズとして必要ビット数を得る。なお、図１７のシンタクスで示すように、ユニットサイズ（図１７ではsao_unit_width_minus1）とユニット数（図１７ではsao_num_unit_minus1）を符号化する場合には、ユニットサイズを先に符号化する。ユニットサイズを先に符号化することによって必要ビット数をより正確に計算することができる。これにより、最小ユニットサイズを元に必要ビット数を計算する場合に比べ少ないビット量でピクチャサイズを符号化することができる。

以上より、ユニット数については、log2_max_num_unitsビットの固定長符号化をすればよい。

同様に、フィルタ適用領域の横幅の固定長符号化に好ましいビット数は、スライスの横幅の固定長符号化に好ましいビット数から導出できる。スライスの横幅の固定長符号化に好ましいビット数はピクチャあるいはタイルの横幅からLog2をとって導出すればよい。また、スライスの開始位置の固定長符号化に好ましいビット数は、座標で表現されている場合は、ピクチャあるいはタイルの縦横サイズのLog2をとって導出し、ブロックアドレスにより表現されている場合は、ピクチャあるいはタイルが含みうる最大ユニット数のLog2をとって導出すればよい。

（終端フラグを符号化する場合）
各ユニットの先頭部分に終端フラグを設ける場合のシンタクス例を図２３に示す。図２３は、適応オフセットフィルタのパラメータの場合を示している。図２３のシンタクス２３０２に示すように、終端フラグ（終端情報）を符号化する場合、ブロック数の指定によるforループではなく、ループ中で都度sao_last_flagを評価することにより、フィルタ適用領域の終端を検出して終了する。

（ＬＣＵ未満のスライス境界への対応）
ＬＣＵとフィルタ処理のユニットが同サイズであり、フィルタ適用領域とスライスが１対１に対応している場合を例に考える。ＬＣＵよりも細かいＴＢによりスライスが形成されている場合（ＦＧＳ：Fine Granularity Slice）、図２４に示すように、ＬＣＵの内部にスライス境界が生じる場合がある。この場合、スライス境界を含むＬＣＵは、フィルタ適用領域を２つ含むことになる。すなわち、当該ＬＣＵは、フィルタ適用領域の最後のブロック、かつ最初のブロックということになる。以下、当該ＬＣＵに対応するフィルタ処理のユニットを、境界単位領域と呼称する。

このような境界単位領域に対し、以下の２つの方法で対応することが考えられる。

（フィルタの適用の有無を示すフラグの符号化）
まず、境界単位領域に対しフィルタを適用するか否かを示すフラグをＡＰＳで符号化することが考えられる。例えば、aps_sao_skip_boundary_LCU_flagを符号化し、フラグが真なら境界単位領域に対し、フィルタ処理を行わず、偽の場合にフィルタ処理を行うようにする。そして、フィルタ処理を行う場合は、境界単位領域のオフセット情報（適応オフセットフィルタの場合）を送信する。

境界単位領域に対し、フィルタ処理を行う方法としては、画素や小ブロック毎にフィルタ適用領域内かどうかを判定したうえで、領域内であればフィルタ処理を行い、領域外であればフィルタ処理を行わないとすればよい。

（フィルタの適用領域の大きさを変更する）
次に、フィルタの適用領域の大きさを変更して、境界単位領域に対する処理を決定することが考えられる。例えば、次の３つが考えられる。（１）フィルタ適用領域の始点(sao_unit_pos)に該当するユニットが境界単位領域である場合、当該ユニットがフィルタ適用領域に入らないように始点をずらす。（２）フィルタ適用領域の終端となるユニットが境界単位領域の場合、フィルタ適用領域のサイズ（sao_num_unit）におけるユニットの個数を１個少なくする。（３）フィルタ適用領域の終端となるユニットが境界単位領域の場合、終端フラグ（sao_last_flag）を、１ユニット早く真にする。

このような構成とすることにより、境界単位領域をフィルタ適用領域から外すことができる。境界単位領域をフィルタ適用領域から外す場合は、当該ユニットのオフセット情報（適応オフセットフィルタの場合）は符号化しない。

（フィルタ適用領域の大きさを変更する具体例）
次に、フィルタ適用領域の大きさを変更する場合の具体例について、図２５を参照して説明する。図２５（ａ）は変更前のフィルタ適用領域を示す図であり、（ｂ）は始点を変更した場合のフィルタ領域を示す図であり、（ｃ）は変更前のフィルタ適用領域を示す図であり、（ｄ）は終点を変更した場合のフィルタ適用領域を示す図である。

図２５（ａ）に示すように、フィルタ適用領域２５０１（sao_num_unit=Len_n）の始点のユニット２５０２（sao_unit_pos_=Pos_n）が境界単位領域の場合、図２５（ｂ）に示すように、フィルタ適用領域を、始点となるユニットをユニット２５０２から１つ右にずらしてユニット２５０４（sao_unit_pos=Pos_n+1）としたフィルタ適用領域２５０３（sao_num_unit=Len_n-1）とする。

また、図２５（ｃ）に示すように、フィルタ適用領域２５０５（sao_num_unit=Len_n）の終点のユニット２５０６が境界単位領域の場合、図２５（ｄ）に示すように、フィルタ適用領域を、終点となるユニットをユニット２５０６から１つ左にずらしてユニット２５０８としたフィルタ適用領域２５０７（sao_num_unit=Len_n-1）とする。

（ユニット単位でパラメータを符号化する場合）
ユニット単位でフィルタパラメータを符号化する場合、全てのオフセット情報を逐一符号化すると、符号化効率が低くなる。そこで、複数のユニットでオフセット情報を共用できるように、マージ指定子sao_merge_idx を用いてオフセット情報を省略することが好ましい。sao_merge_idxは、例えば、オフセット情報ＯＩの前に符号化することが考えられる（図２６（ｂ））。

sao_merge_idxの値の例としては、例えば、
０：マージなし。新たなオフセット情報が符号化／復号される。

１：左隣接ユニットとマージ（オフセット情報を共用）する。

２：上隣接ユニットとマージする。
ということが考えられる。なお、３以上の値を設けて、左隣接ユニットおよび上隣接ユニット以外のブロックとマージする構成であってもよい。また、オフセット情報は、一意なＩＤで区別および参照できるように格納している。図２６（ａ）のシンタクス２６０１では、変数blkで参照している。

例えば、左隣接ユニットとマージする場合、処理対象ＬＣＵのオフセット情報には、左隣接ユニットのオフセット情報のＩＤを用いる。

また、マージではなくオフセット値の予測(予測元指定子sao_pred_idx)を用いる構成であってもよい。予測を用いる場合、sao_pred_idx!=0では、オフセット値そのものではなくオフセット値の差分が符号化される。

図２６に、マージを用いる場合のシンタクス例を、図２７に予測を用いる場合のシンタクス例を示す。図２６（ａ）のシンタクス２６０１では、各ＬＣＵについて、sao_merge_idx !=0の場合に、左／上隣接ユニットからオフセット情報をコピー（マージ）する。なお、sao_merge_idxは、左／上隣接が無いことが明らかな場合は省略するようにすることが望ましい。例えば、ユニットの位置を、sao_unit_posと同様にラスタスキャン順のアドレスuposで表せば、適用領域の最初のユニット(upos==sao_unit_pos)の場合や、適用領域の最上段のユニット(upos/SAORegionWidth==sao_unit_pos/SAORegionWidth)の場合は、sao_merge_idxは省略することが好ましい。

また、シンタクス２６０１において、SAORegionWidthは、ＳＡＯＵ数で表したフィルタ適用領域の横幅を表す数である。すなわち、upos-SAORegionWidthは、上隣接ユニットのインデクスを表している。

SAORegionWidthの値の具体的な値は、前述のように、タイル符号化を用いないスライスの場合であれば、ピクチャの横幅をＳＡＯＵの数で表した値であり、タイル符号化を使用している場合であれば、処理対象タイルの横幅をＳＡＯＵの数で表した値である。

（付記事項）
また、適応オフセットフィルタの処理単位（ユニット、ＳＡＯＵ）の大きさを変える構成であってもよい。高解像度の画像では、ユニットをＬＣＵ単位とすると、ＳＡＯＵの数が多くなりすぎる。そこで、ＬＣＵよりも大きな単位をユニットとする。例えば、ＬＣＵ２×２個（Ｗ×Ｈ）分や、４×１個分を、ユニットとする。

また、輝度と色差とでユニットの大きさを変える構成であってもよい。輝度と色差とは、解像度が異なることが多く、同じＬＣＵ単位でも、輝度と比較して色差の画素数が少ない場合がある。そこで、たとえば、輝度についてはＬＣＵ１個をユニットとし、色差については、ＬＣＵ２×１個をユニットとしてもよい。

適応オフセットフィルタの処理単位のサイズの符号化方法としては、ＡＰＳの冒頭で符号化する、個別のパラメータに含めるということが考えられる。

ＡＰＳの冒頭で符号化する場合は、適応オフセットフィルタおよび適応フィルタの共通設定とすることができる。また、シンタクス上では、例えばaps_idの後付近に位置することになる。

個別のパラメータに含める場合は、適応オフセットフィルタおよび適応フィルタそれぞれの個別での設定とすることができる。シンタクス上では、aps_rbsp()内の各パラメータのif文内か、各パラメータの冒頭（例えばsao_param()冒頭のsample_adaptive_offset_flag直後）に位置することになる。

ユニットのサイズの符号化データは、サイズそのもの（Ｗ×Ｈ）を指定するものであってもよいし、規定のサイズから選択するものであってもよい。例えば、サイズそのものを指定する場合であれば、縦横のサイズをそれぞれsao_unit_size_widthとsao_unit_size_heightとして符号化し、規定のサイズから選択する場合であれば、sao_unit_size_idx(規定サイズからの選択指示子)を符号化すればよい。

以上のように、本実施の形態に係る動画像復号装置１は、復号した復号画像の単位領域（ＬＣＵ）ごとに、フィルタパラメータ（オフセット、フィルタ係数）を用いてフィルタ処理（適応オフセットフィルタ、適応フィルタ）を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセット（ＡＰＳ）として、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する動画像復号装置１であって、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域（スライス）に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段（適応フィルタ５０、適応オフセットフィルタ６０）を備え、１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されていることを特徴としている。

また、別の言い方をすれば、本実施の形態に係る動画像復号装置１は、復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する動画像復号装置１であって、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段と、１つの上記パラメータセットから、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータを復号する復号手段（ＰＳ情報復号部５１）を備え、上記フィルタ手段は、上記復号手段が復号したフィルタパラメータを用いてフィルタ処理を施すことを特徴としている。

（動画像符号化装置２）
次に、符号化対象画像を符号化することによって符号化データ＃１を生成する動画像符号化装置２について、図２８を参照して説明する。動画像符号化装置２は、その一部に、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、および、ＨＭ（HEVC TestModel）ソフトウェアに採用されている技術を含んでいる。

図２８は、本実施形態に係る動画像符号化装置２の構成を示すブロック図である。図２８に示すように、動画像符号化装置２は、変換・量子化部２１、可変長符号符号化部２２、逆量子化・逆変換部２３、バッファメモリ２４、イントラ予測画像生成部２５、インター予測画像生成部２６、動きベクトル検出部２７、予測方式制御部２８、動きベクトル冗長性削除部２９、加算器３１、減算器３２、デブロッキングフィルタ３３、適応フィルタ７０、および適応オフセットフィルタ８０を含む構成である。動画像符号化装置２は、動画像＃１０（符号化対象画像）を符号化することによって、符号化データ＃１を生成する装置である。

変換・量子化部２１は、（１）符号化対象画像から予測画像Ｐｒｅｄを減算した予測残差Ｄをブロック毎にＤＣＴ変換（Discrete Cosine Transform）またはＤＳＴ変換（Discrete Sine Transform）し、（２）ＤＣＴ変換により得られたＤＣＴ係数またはＤＳＴ変換により得られたＤＳＴ係数を量子化し、（３）量子化により得られた量子化予測残差ＱＤを可変長符号符号化部２２および逆量子化・逆変換部２３に供給する。なお、変換・量子化部２１は、（１）量子化の際に用いる量子化ステップＱＰを、ツリーブロック毎に選択し、（２）選択した量子化ステップＱＰの大きさを示す量子化パラメータ差分Δｑｐを可変長符号符号化部２２に供給し、（３）選択した量子化ステップＱＰを逆量子化・逆変換部２３に供給する。ここで、量子化パラメータ差分Δｑｐとは、ＤＣＴ（またはＤＳＴ）変換／量子化するツリーブロックに関する量子化パラメータｑｐ（ＱＰ＝２ｐｑ／６）の値から、直前にＤＣＴ（またはＤＳＴ）変換／量子化したツリーブロックに関する量子化パラメータｑｐ’の値を減算して得られる差分値のことを指す。

可変長符号符号化部２２は、ＰＳ情報符号化部５５を含む構成であり、変換・量子化部２１から供給された量子化予測残差ＱＤ並びにΔｑｐ、後述する予測方式制御部２８から供給された予測パラメータＰＰ、およびＰＳ情報符号化部５５によって符号化されたパラメータセットＰＳ情報を、可変長符号化することによって、符号化データ＃１を生成する。

また、ＰＳ情報符号化部５５は、後述する適応フィルタ７０から供給されたフィルタパラメータＦＰ（フィルタセット番号、フィルタ係数群、領域指定情報、並びにオンオフ情報）、適応オフセットフィルタ８０から供給されるＳＡＯＰから、ＳＰＳ、ＰＰＳ、ＡＰＳといったパラメータセットＰＳ情報を生成し符号化する。

逆量子化・逆変換部２３は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数あるいはＤＳＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換あるいは逆ＤＳＴ（Discrete Sine Transform）変換し、（３）逆ＤＣＴ変換あるいは逆ＤＳＴ変換によって得られた予測残差Ｄを加算器３１に供給する。量子化予測残差ＱＤを逆量子化する際には、変換・量子化部２１から供給された量子化ステップＱＰを利用する。なお、逆量子化・逆変換部２３から出力される予測残差Ｄは、変換・量子化部２１に入力される予測残差Ｄに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。

イントラ予測画像生成部２５は、各パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、（１）各パーティションついてイントラ予測に用いる予測モードを選択し、（２）選択した予測モードを用いて、局所復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部２５は、生成したイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを、予測方式制御部２８に供給する。

また、イントラ予測画像生成部２５は、各パーティションについて選択された予測モードと、各パーティションのサイズから各パーティションについての予測インデックスＰＩを特定し、当該予測インデックスＰＩを予測方式制御部２８に供給する。

また、イントラ予測画像生成部２５は、対象パーティションのサイズ、および、対象パーティションに割り付けられた予測モードを示す情報であるイントラ符号化モード情報ＩＥＭを適応フィルタ７０に供給する（不図示）。

動きベクトル検出部２７は、各パーティションに関する動きベクトルｍｖを検出する。具体的には、（１）参照画像として利用するフィルタ済復号画像Ｐ＿ＦＬ’を選択し、（２）選択したフィルタ済復号画像Ｐ＿ＦＬ’において対象パーティションを最良近似する領域を探索することによって、対象パーティションに関する動きベクトルｍｖを検出する。ここで、フィルタ済復号画像Ｐ＿ＦＬ’は、復号済みの復号画像に対して、デブロッキングフィルタ３３によるデブロック処理、適応オフセットフィルタ８０による適応的オフセット処理、および、適応フィルタ７０による適応的フィルタ処理を施すことによって得られる画像であり、動きベクトル検出部２７は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ２４から読み出すことができる。動きベクトル検出部２７は、検出した動きベクトルｍｖを、参照画像として利用したフィルタ済復号画像Ｐ＿ＦＬ’を指定する参照画像インデックスＲＩと共に、インター予測画像生成部２６および動きベクトル冗長性削除部２９に供給する。なお、双方向予測（重み付き予測）を行うパーティションについては、参照画像として２枚のフィルタ済復号画像Ｐ＿ＦＬ１’およびＰ＿ＦＬ２’を選択し、２枚のフィルタ済復号画像Ｐ＿ＦＬ１’およびＰ＿ＦＬ２’の各々に対応する動きベクトルｍｖ１およびｍｖ２、並びに、参照画像インデックスＲＩ１およびＲＩ２をインター予測画像生成部２６および動きベクトル冗長性削除部２９に供給する。

インター予測画像生成部２６は、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル検出部２７から供給された動きベクトルｍｖを用いて、動きベクトル検出部２７から供給された参照画像インデックスＲＩによって指定されるフィルタ済復号画像Ｐ＿ＦＬ’から動き補償画像ｍｃを生成する。動きベクトル検出部２７と同様、インター予測画像生成部２６は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ２４から読み出すことができる。インター予測画像生成部２６は、生成した動き補償画像ｍｃ（インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒ）を、動きベクトル検出部２７から供給された参照画像インデックスＲＩと共に、予測方式制御部２８に供給する。なお、双方向予測（重み付き予測）をパーティションについては、（１）動きベクトルｍｖ１を用いて、参照画像インデックスＲＩ１によって指定されたフィルタ済復号画像Ｐ＿ＦＬ１’から動き補償画像ｍｃ１を生成し、（２）動きベクトルｍｖ２を用いて、参照画像インデックスＲＩ２によって指定されたフィルタ済参照画像Ｐ＿ＦＬ２’から動き補償画像ｍｃ２を生成し、（３）動き補償画像ｍｃ１と動き補償画像ｍｃ２との加重平均にオフセット値を加えることによってインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成する。

予測方式制御部２８は、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａおよびインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを符号化対象画像と比較し、イントラ予測を行うかインター予測を行うかを選択する。イントラ予測を選択した場合、予測方式制御部２８は、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器３１および減算器３２に供給すると共に、イントラ予測画像生成部２５から供給された予測インデックスＰＩを予測パラメータＰＰとして可変長符号符号化部２２に供給する。一方、インター予測を選択した場合、予測方式制御部２８は、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器３１および減算器３２に供給すると共に、インター予測画像生成部２６から供給された参照画像インデックスＲＩ、並びに、動きベクトル冗長性削除部２９（後述）から供給された推定動きベクトルインデックスＰＭＶＩおよび動きベクトル残差ＭＶＤを予測パラメータＰＰとして可変長符号符号化部２２に供給する。

予測方式制御部２８にて選択された予測画像Ｐｒｅｄを、符号化対象画像から減算することによって、減算器３２にて予測残差Ｄが生成される。減算器３２にて生成された予測残差Ｄは、上述したとおり、変換・量子化部２１によってＤＣＴ（またはＤＳＴ）変換／量子化される。一方、予測方式制御部２８にて選択された予測画像Ｐｒｅｄを、逆量子化・逆変換部２３にて生成された予測残差Ｄに加算することによって、加算器３１にて局所復号画像Ｐが生成される。加算器３１にて生成された局所復号画像Ｐは、デブロッキングフィルタ３３、適応オフセットフィルタ８０および適応フィルタ７０を経由したのち、フィルタ済復号画像Ｐ＿ＦＬとしてバッファメモリ２４に格納され、インター予測における参照画像として利用される。

なお、動きベクトル冗長性削除部２９は、動きベクトル検出部２７によって検出された動きベクトルｍｖにおける冗長性を削除する。具体的には、（１）動きベクトルｍｖの推定に用いる推定方法を選択し、（２）選択した推定方法に従って推定動きベクトルｐｍｖを導出し、（３）動きベクトルｍｖから推定動きベクトルｐｍｖを減算することにより動きベクトル残差ＭＶＤを生成する。動きベクトル冗長性削除部２９は、生成した動きベクトル残差ＭＶＤを、選択した推定方法を示す推定動きベクトルインデックスＰＭＶＩと共に、予測方式制御部２８に供給する。

デブロッキングフィルタ３３は、局所復号画像Ｐにおけるブロック境界、またはＣＵ境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、局所復号画像Ｐにおける当該ブロック境界、または当該ＣＵ境界に対してデブロッキング処理を施すことによって、当該ブロック境界、または当該ＣＵ境界付近の画像の平滑化を行う。デブロッキングフィルタ３３によりデブロッキング処理が施された画像は、デブロック済復号画像Ｐ＿ＤＢとして、適応オフセットフィルタ８０に出力される。

適応オフセットフィルタ８０は、デブロッキングフィルタ３３から供給されるデブロック済復号画像Ｐ＿ＤＢに対して、適応的オフセットフィルタ処理を施すことによってオフセットフィルタ済復号画像Ｐ＿ＯＦを生成する。生成されたオフセットフィルタ済復号画像Ｐ＿ＯＦは、適応フィルタ７０に供給される。

適応フィルタ７０は、適応オフセットフィルタ８０から供給されるオフセットフィルタ済復号画像Ｐ＿ＯＦに対して、適応的なフィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。適応フィルタ７０によりフィルタ処理が施されたフィルタ済復号画像Ｐ＿ＦＬは、バッファメモリ２４に格納される。適応フィルタ７０によって用いられるフィルタ係数は、フィルタ済復号画像Ｐ＿ＦＬと符号化対象画像＃１０との誤差がより小さくなるように定められたものであり、このようにして定められたフィルタ係数がフィルタパラメータＦＰとして符号化され、動画像復号装置１に伝送される。

〔応用例〕
上述した動画像復号装置１および動画像符号化装置２は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい）。

まず、上述した動画像復号装置１および動画像符号化装置２を、動画像の送信及び受信に利用できることを、図２９を参照して説明する。

図２９（ａ）は、動画像符号化装置２を搭載した送信装置Ａの構成を示したブロック図である。図２９（ａ）に示すように、送信装置Ａは、動画像を符号化することによって符号化データを得る符号化部Ａ１と、符号化部Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部Ａ２と、変調部Ａ２が得た変調信号を送信する送信部Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部Ａ１として利用される。

送信装置Ａは、符号化部Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＡ４、動画像を記録した記録媒体Ａ５、動画像を外部から入力するための入力端子Ａ６、および画像を生成または加工する画像処理装置Ａ７を更に備えていてもよい。図２９（ａ）においては、これら全てを送信装置Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体Ａ５と符号化部Ａ１との間に、記録媒体Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図２９（ｂ）は、動画像復号装置１を搭載した受信装置Ｂの構成を示したブロック図である。図２９（ｂ）に示すように、受信装置Ｂは、変調信号を受信する受信部Ｂ１と、受信部Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部Ｂ２と、復調部Ｂ２が得た符号化データを復号することによって動画像を得る復号部Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部Ｂ３として利用される。

受信装置Ｂは、復号部Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＢ４、動画像を記録するための記録媒体Ｂ５、及び、動画像を外部に出力するための出力端子Ｂ６を更に備えていてもよい。図２９（ｂ）においては、これら全てを受信装置Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部Ｂ３と記録媒体Ｂ５との間に、復号部Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置Ａ／受信装置Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置Ａ／受信装置Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置Ａ／受信装置Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置Ａ及び受信装置Ｂの双方として機能する。

次に、上述した動画像復号装置１および動画像符号化装置２を、動画像の記録及び再生に利用できることを、図３０を参照して説明する。

図３０（ａ）は、上述した動画像復号装置１を搭載した記録装置Ｃの構成を示したブロック図である。図３０（ａ）に示すように、記録装置Ｃは、動画像を符号化することによって符号化データを得る符号化部Ｃ１と、符号化部Ｃ１が得た符号化データを記録媒体Ｍに書き込む書込部Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部Ｃ１として利用される。

なお、記録媒体Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置Ｃは、符号化部Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＣ３、動画像を外部から入力するための入力端子Ｃ４、動画像を受信するための受信部Ｃ５、および、画像を生成または加工する画像処理装置Ｃ６を更に備えていてもよい。図３０（ａ）においては、これら全てを記録装置Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部Ｃ５と符号化部Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤ（Hard Disk）レコーダなどが挙げられる（この場合、入力端子Ｃ４又は受信部Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＣ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部Ｃ５または画像処理装置Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＣ３又は受信部Ｃ５が動画像の主な供給源となる）なども、このような記録装置Ｃの一例である。

図３０（ｂ）は、上述した動画像復号装置１を搭載した再生装置Ｄの構成を示したブロックである。図３０（ｂ）に示すように、再生装置Ｄは、記録媒体Ｍに書き込まれた符号化データを読み出す読出部Ｄ１と、読出部Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部Ｄ２として利用される。

なお、記録媒体Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置Ｄは、復号部Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＤ３、動画像を外部に出力するための出力端子Ｄ４、及び、動画像を送信する送信部Ｄ５を更に備えていてもよい。図３０（ｂ）においては、これら全てを再生装置Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部Ｄ２と送信部Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＤ３が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子Ｄ４又は送信部Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＤ３又は送信部Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＤ３又は送信部Ｄ５が動画像の主な供給先となる）、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイＤ３又は送信部Ｄ５が動画像の主な供給先となる)なども、このような再生装置Ｄの一例である。

（ソフトウェアによる構成）
最後に、動画像復号装置１および動画像符号化装置２の各ブロック、特に可変長符号復号部１３（ＰＳ情報復号部５１）、動きベクトル復元部１４、インター予測画像生成部１６、イントラ予測画像生成部１７、予測方式決定部１８、逆量子化・逆変換部１９、デブロッキングフィルタ４１、適応フィルタ５０、適応オフセットフィルタ６０、変換・量子化部２１、可変長符号符号化部２２（ＰＳ情報符号化部５５）、逆量子化・逆変換部２３、イントラ予測画像生成部２５、インター予測画像生成部２６、動きベクトル検出部２７、予測方式制御部２８、動きベクトル冗長性削除部２９、デブロッキングフィルタ３３、適応フィルタ７０、適応オフセットフィルタ８０は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現していてもよいし、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現してもよい。

後者の場合、動画像復号装置１および動画像符号化装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置１および動画像符号化装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記の動画像復号装置１および動画像符号化装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（micro processing unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯディスク（magneto-optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disc）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、動画像復号装置１および動画像符号化装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television/cable television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asymmetric digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、符号化データを復号する画像復号装置、および、符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

１動画像復号装置（画像復号装置、画像フィルタ装置）
２動画像符号化装置（画像符号化装置、画像フィルタ装置）
２２可変長符号符号化部（符号化データ出力手段）
５０適応フィルタ（フィルタ手段）
５１ＰＳ情報復号部（復号手段）
５５ＰＳ情報符号化部（符号化データ出力手段）
６０適応オフセットフィルタ（フィルタ手段）
７０適応フィルタ（フィルタ手段）
８０適応オフセットフィルタ（フィルタ手段）

Claims

復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する画像復号装置であって、
共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、
１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されていることを特徴とする画像復号装置。
上記パラメータセットには、上記フィルタ適用領域が復号される順に、それぞれのフィルタ適用領域で用いられるフィルタパラメータが格納されていることを特徴とする請求項１に記載の画像復号装置。
上記フィルタ手段は、上記フィルタ適用領域に含まれる画素に対して用いるフィルタパラメータを特定する特定情報を用いて上記パラメータセットに格納されているフィルタパラメータを特定し、フィルタ処理を行うこと特徴とする請求項１に記載の画像復号装置。
復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する画像復号装置であって、
共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、
上記パラメータセットには、上記フィルタ適用領域の位置または大きさを示す情報が格納されていることを特徴とする画像復号装置。
上記パラメータセットには、上記フィルタ適用領域の位置を示す情報として、上記復号画像における上記フィルタ適用領域の開始位置が格納されていることを特徴とする請求項４に記載の画像復号装置。
上記パラメータセットには、上記フィルタ適用領域の大きさを示す情報として、上記フィルタ適用領域に含まれる上記単位領域の数が格納されていることを特徴とする請求項４または５に記載の画像復号装置。
上記パラメータセットには、上記フィルタ適用領域の大きさを示す情報として、上記単位領域それぞれについて、自単位領域を含むフィルタ適用領域における最後の単位領域であるか否かを示す終端情報が格納されていることを特徴とする請求項４または５に記載の画像復号装置。
復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する画像復号装置であって、
共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、
上記フィルタ適用領域の境界が含まれる上記単位領域である境界単位領域が存在する場合、上記パラメータセットには、上記境界単位領域に対し、フィルタ処理を施すか否かを示すフィルタ処理情報が格納されていることを特徴とする画像復号装置。
復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施すとともに、複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、該パラメータセットに含まれるフィルタパラメータを用いてフィルタ処理が施される上記単位領域よりも先に復号する画像復号装置であって、
共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段を備え、
上記フィルタ適用領域の境界が含まれる上記単位領域である境界単位領域が存在する場合、上記パラメータセットには、境界単位領域を含むフィルタ適用領域の大きさを、該境界単位領域を含まないように変更するフィルタ適用領域サイズ変更情報が格納されていることを特徴とする画像復号装置。
上記パラメータセットは、ＡＰＳ（Adaptation Parameter Set）であることを特徴とする請求項１〜９のいずれか１項に記載の画像復号装置。
復号した復号画像の単位領域ごとに、フィルタパラメータを用いてフィルタ処理を施す画像フィルタ装置であって、
上記単位領域に対しフィルタ処理を施すために用いるフィルタパラメータを、該単位領域を復号した直後に復号する復号手段と、
上記復号手段が復号したフィルタパラメータを用いて上記単位領域に対するフィルタ処理を施すフィルタ手段と、を備えていることを特徴とする画像フィルタ装置。
上記単位領域は、上記復号画像が復号される前に符号化されたときの単位である最大符号化単位ＬＣＵ（Largest coding unit）であることを特徴とする請求項１１に記載の画像フィルタ装置。
生成した予測画像と原画像との差分である予測残差を符号化することによって符号化データを生成する画像符号化装置であって、
原画像を符号化し、復号した復号画像における、共通のフィルタパラメータを用いる単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すフィルタ手段と、
複数の上記単位領域で共通して用いられるフィルタパラメータをパラメータセットとして、用いられる単位領域よりも先行して出力する符号化データ出力手段と、を備え、
１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されていることを特徴とする画像符号化装置。
画像復号装置において、復号された復号画像に対し施されるフィルタのフィルタパラメータが格納された符号化データのデータ構造であって、
上記画像復号装置は、復号した復号画像の単位領域ごとに、共通のフィルタパラメータを用いる上記単位領域群から成るフィルタ適用領域に含まれる画素に対し、当該フィルタパラメータを用いてフィルタ処理を施すものであり、
上記符号化データには、複数の上記単位領域で共通して用いられるフィルタパラメータがパラメータセットとして含まれているとともに、１つの上記パラメータセットには、複数の上記フィルタ適用領域それぞれで用いられるフィルタパラメータが格納されていることを特徴とする符号化データのデータ構造。