JP2012518940A - ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体 - Google Patents

Abstract

本発明は、ビデオ符号化で分割ブロック符号化方法及びビデオ復号化で分割ブロック復号化方法に関し、入力画面を符号化単位ブロックに分割し、前記符号化単位ブロックを下位ブロックに分割し、前記下位ブロックを画面内の予測符号化または画面間の予測符号化のうち１つ以上を選択的に使用して符号化する。また、前記符号化方法の逆過程を通じて復号化過程を行うことができる。本発明は、ビデオ符号化で符号化単位ブロック画素値を符号化するに際して、符号化モード選択の柔軟性が増大し、符号化効率が増加する効果がある。
【選択図】図２

Description

本発明は、ビデオ符号化及び復号化で入力画面をブロック単位に分け、分割されたブロックを画面内及び画面間の予測符号化を同時に使用して符号化することができる方法と復号化することができる方法に関し、特に符号化効率を向上させることができ、分割ブロックのサイズによって正方形（squared）変換または非正方形（non-squared）変換を利用してブロック映像信号を符号化することによって、符号化効率をさらに向上させることができるビデオ符号化で画面間及び画面内の予測を用いた分割ブロック符号化及び復号化方法に関する。

ＩＳＯ／ＩＥＣとＩＴＵ−Ｔで共同に標準化したビデオ圧縮／符号化技術であるＩＳＯ／ＩＥＣ １４４９６−１０（ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）またはＨ．２６４及びＩＳＯ／ＩＥＣ １４４９６−１０アメンドメント（Ａｍｅｎｄｍｅｎｔ）３（ＭＰＥＧ−４ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格、ＳＭＰＴＥ標準であるＶＣ−１、その他、オーディオビデオコーディング標準（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄｒａｄ、ＡＶＳ）規格などは、ビデオデータ圧縮効率において多くの前進があった。

このようにビデオ圧縮効率の向上要因は、様々なものがあり得るが、特に既存のビデオ符号化標準（ＭＰＥＧ−１ Ｖｉｄｅｏ、ＭＰＥＧ−２ Ｖｉｄｅｏ、ＭＰＥＧ−４ Ｐａｒｔ ２ Ｖｉｓｕａｌ、Ｈ．２６１、Ｈ．２６３など）が符号化しようとする画面のサイズをマクロブロック（１６×１６ピクセル）単位に分割した後、これを予測符号化することとは異なって、マクロブロックを１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４単位にさらに細分化して分割し、これらの下位ブロックに対して予測符号化を行い、レート歪コストの観点からコスト最小化を発生させるブロックを最適のブロックモードにして符号化する。

かくして、微細な動きや複雑な映像の動き予測をさらに効果的に行い、発生する残差信号を大きく低減することによって、圧縮効率を大きく向上させることができる。

図１は、従来、Ｈ．２６４／ＡＶＣ符号化器において符号化のための１６×１６マクロブロック単位ブロックの分割ブロックタイプを示す図であって、Ｈ．２６４で使用される７個の動き予測ブロック分割タイプが示されている。

図１に示されたように、通常、ブロック基盤の予測符号化方式は、入力映像を１６×１６サイズのマクロブロック単位に分割して符号化する。特に、ＩＳＯ／ＩＥＣ１４４９６−１０（ＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）またはＨ．２６４規格では、図１のように、マクロブロックを７個の下位ブロックに分割し、レート歪コストを最小化するブロックを最終選択し、予測符号化を行う。

符号化しようとする１６×１６マクロブロックに対して分割されたサブブロックは、画面内の符号化を行う場合、マクロブロックは、１つの１６×１６ピクセル単位のサイズで画面内の予測符号化が行われるか、またはサブブロックに分割され、４個の８×８ブロックの画面内の予測符号化を行うか、または１６個の４×４ブロックの画面内の予測符号化を行う。

一般的に、低解像度のビデオ符号化では、このような画面内の予測符号化技法が様々なブロックモードの場合の数を減らす側面で符号化効率があるが、高解像度（ＨＤ：High Definition）や超高解像度（ＵＨＤ：Ultra High Definition）ビデオ符号化においては、問題がある。すなわち、符号化単位ブロックである１６×１６マクロブロックを拡張した３２×３２またはそれ以上のサイズを有するスーパーマクロブロックの場合には、既存の方法のように、スーパーマクロブロック内の分割されたすべてのブロックのモードを１６×１６、８×８、または４×４ブロック基盤の同じ画面内の予測を適用すれば、符号化効率を低下させる結果をもたらす。

言い換えれば、従来、分割ブロック基盤の予測符号化方法で注目すべきことは、分割されたブロックがすべて画面内または画面間の予測符号化を通じて符号化されることである。すなわち、分割ブロック画面内の予測符号化及び画面間の予測符号化を共に適用せず、いずれか１つの方式だけを選択して適用していることである。これは、画面内または画面間の符号化のうち１つだけを適用することによって、ブロック符号化モードを表現するシンタックスの単純化によってＨＤ解像度以下のイメージまたはビデオ圧縮においては、符号化効率の利得があり得るが、符号化単位がマクロブロック以上のスーパーマクロブロックである場合には、符号化効率を低下させる要因として作用することができる。

本発明は、前述のような問題点を解決するためになされたものであって、その目的は、ビデオ符号化時に分割されたブロックのサブ分割ブロックに対して画面内または画面間の予測符号化選択方式を拡張して、画面内及び画面間の予測符号化モードを共に選択可能に拡張し、分割されたブロックの動き補償後の残差信号に対してブロックサイズによる正方形または非正方形変換カーネルを選択的に適用して符号化を行うことによって、さらに効果的な予測符号化方法を提供することにある。

また、本発明の他の目的は、前記方法が実現されたコンピュータで読み取り可能な記録媒体を提供することにある。

上記目的を達成するために、本発明の一態様によるビデオ符号化での分割ブロック符号化方法は、入力画面を符号化単位ブロックに分割する段階と、前記符号化単位ブロックを下位ブロックに分割する段階と、前記下位ブロックを画面内の予測符号化または画面間の予測符号化のうち１つ以上を選択的に使用して符号化する段階とを含む。

ビデオ符号化での分割ブロック符号化方法は、前記符号化単位ブロック及び下位ブロックを通じた残差信号に対してブロックサイズによって可変変換カーネル（Variable block-size transform kernel）を選択的に適用して変換する段階と、変換された残差信号を量子化する段階と、その結果をエントロピー符号化する段階とをさらに含むことができる。

前記下位ブロックを通じた残差信号に対してブロックサイズと符号化タイプによって１つ以上のブロック境界緩和フィルタ（de-blocking filter）を選択的に適用して符号化を行うことができる。

前記符号化単位ブロックのサイズは、Ｎ＊Ｎサイズの正方形にし、前記符号化単位ブロックを分割し、任意サイズの１つ以上の正方形（squared）または非正方形（non-squared）の下位ブロックに分割することができる。

前記正方形または非正方形の下位ブロックに対して画面内の予測符号化を使用して符号化する場合、１つ以上の画面内の予測符号化方法のうち１つの画面内の予測符号化方法を選択して符号化を行うことができる。

前記正方形または非正方形の下位ブロックに対して画面内の予測符号化または画面間の予測符号化を行う場合、ブロックサイズによって選択された量子化した変換係数をスキャンしてエントロピー符号化を行うことができる。

前記正方形の下位ブロックに対して正方形変換カーネルを適用して変換することができる。

前記正方形の下位ブロックに対して正方形変換カーネルを適用して変換する時、前記正方形の下位ブロックの横画素数と縦画素数とを比較し、小さいかまたは同一の画素数に対応する正方形変換カーネルを適用することができる。

前記非正方形の下位ブロックに対して非正方形変換カーネルを適用して変換することができる。

前記非正方形の下位ブロックに対して非正方形変換カーネルを適用して変換する時、前記非正方形の下位ブロックの横画素数と縦画素数とを比較し、小さいかまたは同一の画素数に対応する非正方形変換カーネルを適用することができる。

また、本発明の他の態様によるビデオ符号化での分割ブロック符号化方法は、（ａ）符号化しようとする画面を入力する段階と、（ｂ）入力された画面を符号化単位ブロックに分割する段階と、（ｃ）入力された各符号化単位ブロックを下位ブロックに分割する段階と、（ｄ）前記符号化単位ブロック及びその下位ブロックに対して画面内の予測符号化及び画面間の予測符号化を行い、それらのうち１つのブロックタイプを選定する段階と、（ｅ）前記ブロックタイプの予測結果を利用して符号化単位ブロックを含んでその下位ブロックに対して画面内の予測符号化及び／または画面間の予測符号化を行う段階と、を含むことができる。

また、本発明のさらに他の態様によるビデオ符号化での分割ブロック符号化方法は、（ａ’）符号化しようとする画面を入力する段階と、（ｂ’）入力された画面を符号化単位ブロックに分割する段階と、（ｃ’）現在の入力画面が画面間の予測符号化を行うか否かを判別する段階と、（ｄ’）現在の入力画面が画面間の予測である場合には、入力画面で符号化される符号化単位ブロックの下位ブロックの順序を初期化する段階と、（ｅ’）符号化しようとする符号化単位ブロックのブロックモードを選択する段階と、（ｆ’）選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行うか否かを判定する段階と、（ｇ’）選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行う場合、選択されたブロックモードに対して画面内及び画面間の予測符号化を行う段階と、（ｈ’）前記（ｇ’）段階での予測符号化結果及びレート歪コスト値を保存する段階と、（ｉ’）選択されたブロックモードが最終モードなら、各ブロックモードに対するレート歪コストを比較し、符号化単位ブロックに対して最終ブロックモードを選択して符号化を決定する段階と、（ｊ’）現在符号化単位ブロックが現在入力画面で最終ブロックであるか否かを判別する段階と、（ｋ’）現在符号化単位ブロックが現在入力画面で最終ブロックなら、現在入力画面が最終画面であるか否かを判別し、現在入力画面が最終画面となるまで（ａ’）〜（ｊ’）段階を繰り返し行う段階と、を含む。

前記（ｃ’）段階後に、現在の入力画面が画面間の予測ではない場合、画面内の予測符号化を行う段階をさらに含むことができる。

前記（ｆ’）段階後に、選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行わない場合、選択されたブロックモードに対して画面間の予測符号化を行う段階をさらに含むことができる。

前記（ｇ’）段階後に、選択されたブロックモードに対して画面間の予測符号化を行う場合、動き予測と補償実行を通じて残差信号を求め、この残差信号を利用して選択されたブロックを変換し、これを量子化した後、その結果をエントロピー符号化する段階をさらに含むことができる。

前記（ｇ’）段階後に、選択されたブロックモードに対して画面内の予測符号化を行う場合、画面内の予測符号化を通じて残差信号を求め、この残差信号を利用して選択されたブロックを変換し、これを量子化した後、その結果をエントロピー符号化する段階をさらに含むことができる。

前記残差信号を利用して選択されたブロックを変換する時、ブロックのサイズによって選択的に変換カーネルを適用して変換を行う段階をさらに含むことができる。

また、本発明のさらに他の実施例による分割ブロック符号化方法によるビデオ復号方法は、（Ａ）復号化しようとするビートストリームを入力する段階と、（Ｂ）入力されたビットストリームが画面間の予測であるか否かを判断する段階と、（Ｃ）入力ビットストリームが画面内の予測符号化である場合、画面内の予測符号化を行う段階と、（Ｄ）入力ビットストリームが画面間の予測である場合、スライスを解釈する段階、（Ｅ）スライス内の単位符号化ブロックを解釈する段階、（Ｆ）単位符号化サブ分割ブロックの符号化モードを復号化する段階と、（Ｇ）サブ分割符号化ブロックが画面間の予測符号化ブロックであるか否かを解釈する段階と、（Ｈ）前記サブ分割符号化ブロックが画面間の予測である場合、画面間の予測復号化を行う段階と、（Ｉ）前記サブ分割符号化ブロックが画面内の予測である場合、画面内の予測復号化を行う段階と、（Ｊ）前記サブ分割ブロック復号化結果を単位復号化ブロック画素で構成する段階と、（Ｋ）前記復号化単位ブロック結果をスライス画素で構成する段階と、（Ｋ）前記スライス画素構成結果を画面で構成する段階とを含むことができる分割ブロック画面内の予測及び／または画面間の予測復号化を行うことができる。

前記（Ｃ）段階で、単位符号化ブロックが１６ｘ１６マクロブロックサイズ以上のスーパーマクロブロックである場合、当該サイズに対応するサブ分割ブロック符号化モードを復号化し、画面内の予測復号化を行う段階をさらに含むことができる。

前記（Ｃ）段階で、サブ分割ブロックのサイズに対応する境界緩和フィルタ（de-blocking filter）を適用して画面内の予測復号化を行う段階をさらに含むことができる。

前記（Ｃ）段階で、サブ分割ブロックのサイズによって境界緩和フィルタ（de-blocking filter）を適用して画面内の予測復号化を行う段階をさらに含むことができる。

前記（Ｆ）段階で、単位符号化ブロックが１６ｘ１６マクロブロックサイズ以上のスーパーマクロブロックである場合、当該サイズに対応するサブ分割ブロック符号化モードを復号化する段階をさらに含むことができる。

前記（Ｈ）段階で、サブ分割ブロックのサイズに対応する正方形または非正方形変換をカーネルを適用して符号化された量子化変換係数を復号化し、画面内の予測復号化を行う段階をさらに含むことができる。

前記（Ｈ）段階で、サブ分割ブロックのサイズ及び周辺復号化ブロックの復号化モード条件によって逆量子化方法を適用して符号化された量子化変換係数を復号化し、画面内の予測復号化を行う段階をさらに含むことができる。

前記（Ｈ）段階で、サブ分割ブロックのサイズに対応する境界緩和フィルタ（de-blocking filter）を適用して画面間の予測復号化を行う段階をさらに含むことができる。

本発明の他の実施例において、前記方法をコンピュータで実行させることができるプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明は、ビデオ符号化で符号化単位ブロック画素値を符号化するに際して、分割されたサブブロックまたはその下位分割ブロックに対して画面内の予測符号化と画面間の予測符号化を１つ以上適用して符号化することによって、分割されたブロックが画面内または画面間の予測符号化モードで符号化されることができるようにして、符号化単位ブロックまたはそのサブ分割ブロックが画面内及び画面間の予測が共に使用され、予測符号化されるようにして、符号化モード選択の柔軟性が増大し、符号化効率が増加する効果がある。

また、本発明では、分割ブロック基盤の予測符号化において、各分割ブロックが下部の細分割ブロックに対して画面内の予測及び画面間の予測を共に適用することができるようにし、分割されたブロックのサイズによって選択的に可変変換カーネル（variable block-size transform kernel）サイズを適用して符号化を行うことによって、符号化効率を大きく向上させることができる効果がある。

従来のＨ．２６４／ＡＶＣ符号化器において符号化のための１６×１６マクロブロック単位ブロックの分割ブロックタイプを示す図である。 本発明の一実施例による符号化器において画面内または画面間の予測符号化のためのスーパーマクロブロック単位ブロック及び分割ブロックタイプを例示した図である。 本発明の一実施例によるビデオ符号化での分割ブロック符号化方法を示す流れ図である。 本発明の一実施例によるビデオの分割ブロック方法で符号化されたビットストリームを復号化する方法を示す流れ図である。

以下、添付の図面を参照して本発明の実施例を詳しく説明する。まず、各図面の構成要素に参照符号を付加するにあたって、同一の構成要素に限っては、たとえ他の図面上に表示されても、できるだけ同一の符号を有するようにしていることに留意しなければならない。なお、本発明を説明するにあたって、関連された公知機能あるいは構成に対する具体的な説明が本発明の要旨を不明瞭にすることができると判断される場合、その詳細な説明を省略する。

図２は、本発明の一実施例による符号化器において画面内または画面間の予測符号化のためのスーパーマクロブロック単位ブロック及び分割ブロックタイプを例示した図である。図２は、本発明の一実施例で適用された１６×１６ピクセル単位マクロブロックサイズ以上のスーパーマクロブロック及びブロック分割タイプの一例を示す図である。

図２から分かるように、スーパーマクロブロックをサブブロックに分割し、各分割されたブロックに画面内または画面間の予測符号化過程が行われ、スーパーマクロブロックは、最終符号化モードが画面内または画面間の予測符号化モードが混用されることができるように符号化が行われるようにして、映像の符号化効率を非常に効果的に増加させることができる。実際、符号化時に、数式１のように、レート歪コストを最小化するブロックモード（Ｍｏｄｅ）を選択して符号化することができる。

ここで、Ｊ_ＭＯＤＥは、ブロック符号化モードに対するレート歪関数であり、ｓは、符号化しようとする元ブロックのピクセル入力であり、ｒは、参照映像ピクセル入力であり、ＱＰは、量子化パラメータであり、λは、モードに依存的なラグランジュ乗数であり、ＭＯＤＥは、分割ブロックモードタイプを示す。

また、サイズが増加したスーパーマクロブロックの残差信号に対して変換符号化（transform coding）を適用する場合、既存の４ｘ４と８ｘ８より大きい１６ｘ１６またはそれ以上のサイズの正方形変換カーネル、または非正方形変換のための１６ｘ８、または８ｘ１６、またはそれ以上のサイズの非正方形変換カーネルを分割ブロックのサイズによって選択的に適用して符号化効率を増加させることができる。

スーパーマクロブロックに１６ｘ１６またはそれ以上のサイズの正方形変換カーネルを適用する場合、数式２のように計算することができる。

ここで、Ｘは、ＮｘＮ入力映像信号マトリックスを示し、Ａは、ＮｘＮ正方形変換カーネルマトリックスを示し、Ｙは、変換係数マトリックスを示す。もし分割されたサブブロックが非正方形ブロックである場合、数式３のように変換を行う。

ここで、入力映像信号ＸがＭｘ（Ｍ／２）マトリックスである場合、Ａ_１は、ＭｘＭ正方形変換カーネルマトリックスを示し、Ａ_２は、（Ｍ／２）ｘ（Ｍ／２）正方形変換カーネルマトリックスを示し、Ｙは、変換係数マトリックスを示す。

本発明の一実施例において、正方形または非正方形カーネル変換を適用する場合、分割ブロックの横または縦画素数の両者のうち小さい画素数と比較し、サイズが同一または小さいカーネルを適用して変換符号化を行うことが好ましい。

図３は、本発明の一実施例によるビデオ符号化での分割ブロック符号化方法を示す流れ図である。

図３を参照して説明すれば、まず、符号化のための画面ｉの順序を初期化（ｉ＝０）する（Ｓ１０１）。そして、符号化のために、順序に応じて画面ｉを入力する（Ｓ１０２）。

次に、入力された画面ｉを符号化単位ブロックに分割する（Ｓ１０３）。本発明の一実施例において、符号化単位ブロックは、マクロブロックまたはスーパーマクロブロックになることができる。

次に、現在の画面ｉが画面間の予測符号化を行うか否かを確認する（Ｓ１０４）。現在の画面ｉが画面間の予測ではない場合、画面内の予測符号化を行い（Ｓ１０５）、そうではなく、現在の画面ｉが画面間の予測である場合には、１つの画面ｉ内で符号化される符号化単位ブロックｊの順序を初期化（ｊ＝０）する（Ｓ１０６）。

その後、符号化しようとする単位ブロックｊに対して下位ブロックに分割する（Ｓ１０７）。そして下位ブロックモードｋの順序を初期化（ｋ＝０）する（Ｓ１０８）。下位ブロックモードｋのうち１つのブロックモードを選択する（Ｓ１０９）。

符号化単位ブロックで符号化される下位ブロックモードについて画面内及び画面間の予測実行可否を確認する（Ｓ１１０）。画面間及び画面内の予測を行う場合、画面内及び画面間の符号化を行い（Ｓ１１１）、そうではない場合には、画面間の予測符号化だけを行う（Ｓ１１２）。そして、符号化実行結果である予測符号化結果及びレート歪コスト値を保存する（Ｓ１１３）。

下位ブロックモードｋが最終ブロックモードであるか否かを確認する（Ｓ１１４）。下位ブロックモードｋが最終ブロックモードではなければ、次のブロックモードに対してＳ１０９〜Ｓ１１３段階を繰り返す。一方、下位ブロックモードｋが最終ブロックモードなら、最適の分割ブロックモードを決定し、当該符号化結果を最終選択する（Ｓ１１５）。

そして、現在の符号化単位ブロックｊが現在の画面ｉで最終ブロックであるか否かを判別する（Ｓ１１６）。現在の符号化単位ブロックｊが最終ブロックではなければ、次の符号化単位ブロックを入力し、Ｓ１０７〜Ｓ１１５段階を繰り返す。

Ｓ１１６段階で、符号化単位ブロックｊが現在の画面ｉで最終ブロックなら、現在の画面ｉが最終画面であるか否かを確認する（Ｓ１１７）。現在の画面ｉが最終画面なら、アルゴリズムを終了し、そうではなければ、Ｓ１０２段階に戻って、次の画面を入力し、Ｓ１０２〜Ｓ１１６段階を繰り返す。

図４は、本発明の本発明の一実施例によるビデオの分割ブロック方法で符号化されたビットストリームを復号化する方法を示す流れ図である。

図４を参照して説明すれば、まず、復号化のための画面ｉの順序を初期化（ｉ＝０）する（Ｓ２０１）。そして、復号化のために、順序に応じて画面符号化ビットストリームｉを入力する（Ｓ２０２）。

次に、入力された画面ビットストリームｉが画面間の予測符号化であるか否かを確認する（Ｓ２０３）。現在の画面ビットストリームｉが画面間の予測符号化ではない場合、画面内の予測復号化を行い（Ｓ２０７）、そうではなく、現在の入力画面ビットストリームｉが画面間の予測符号化である場合には、１つの画面ｉ内で復号化されるスライスｊの順序を初期化（ｊ＝０）する（Ｓ２０４）。

次に、入力画面ビットストリームに対してスライス情報を解釈する（Ｓ２０５）。１つの画面ｉ内で各スライス内で復号化される単位復号化ブロックｊの順序を初期化（ｋ＝０）する（Ｓ２０６）。本発明の一実施例において、復号化単位ブロックは、マクロブロックまたはスーパーマクロブロックになることができる。

次に、各単位符号化ブロック情報を解釈した後（Ｓ２０８）、単位符号化ブロック内の分割サブブロックの順序を初期化（ｍ＝０）する（Ｓ２０９）。その後、単位符号化ブロック内の分割サブブロックの符号化モードを復号化する（Ｓ２１０）。分割サブブロックが画面間の予測符号化ブロックであるか否かを確認した後（Ｓ２１１）、画面間の予測符号化ブロックなら、画面間の予測復号化を行い（Ｓ２１３）、画面内の予測符号化ブロックなら、画面内の予測符号化を行う（Ｓ２１２）。

その後、サブ分割ブロック復号化結果を利用してサブ分割ブロック画素値を復元する（Ｓ２１４）。その後、現在サブ分割ブロックｍが最終ブロックであるか否かを確認した後（Ｓ２１５）、最終サブ分割ブロックなら、単位復号化ブロック画素値を構成し（Ｓ２１６）、そうではなければ、次の分割サブブロックに対する復号化のために、Ｓ２１０段階に戻って、Ｓ２１０段階〜Ｓ２１４段階を行う。

その後、現在の単位符号化ブロックｋが最終単位符号化ブロックであるか否かを確認した後（Ｓ２１７）、最終単位符号化ブロックなら、スライス画素を構成し（Ｓ２１８）、そうではなければ、Ｓ２０８段階に戻って、Ｓ２０８段階〜Ｓ２１６段階を行う。その後、現在のスライスｊが最終スライスであるか否かを確認した後（Ｓ２１９）、最終スライスなら画面画素を構成し（Ｓ２２０）、そうではなければ、Ｓ２０５〜Ｓ２１８段階を行う。その後、現在の画面ｉが最終画面であるか否かを判定した後（Ｓ２２１）、最終画面なら終了し、そうではなければ、Ｓ２０２段階に戻って、次の画面ビットストリームを入力し、Ｓ２０２段階〜Ｓ２２０段階を行う。

本発明の実施例によるビデオ符号化において入力映像を符号化単位ブロックに分割し、符号化単位ブロックをさらに下位ブロックに分割した後、各サブ分割ブロックを符号化するに際して、画面内の予測及び画面間の予測のうち１つ以上を選択的に使用して符号化を行う。

かくして、符号化単位ブロックの符号化モードが画面間の予測及び画面内の予測サブブロックモードを混用して符号化することができ、同時に、分割ブロックによって可変カーネル変換を選択的に適用することによって、符号化効率を向上させることができる。

また、本発明の実施例によるビデオ復号化は、符号化過程の逆過程を行うことによって、向上した符号化効率を有する圧縮ビットストリームの復号化を行うことができる。

本発明の他の実施例として、以上で説明したビデオ符号化での分割ブロック符号化方法をコンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして具現されることが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み出されることができるデータが保存されるすべての種類の記録装置を含む。

例えば、コンピュータが読み取り可能な記録媒体としては、ＲＯＭ（Read Only Memory）、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピーディスク、移動式保存装置、非揮発性メモリ（Flash Memory）、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものをも含まれる。

また、コンピュータで読み取り可能な記録媒体は、コンピュータ通信網で連結されたコンピュータシステムに分散され、分散方式で読み取り可能なコードとして保存されて実行されることができる。

前述のような本発明によるビデオ符号化において画面内の予測符号化方法及び／または画面間の予測符号化方法の好ましい実施例に関する説明とその逆過程である復号化方法について説明したが、これらの実施例は、例示的なものであって、限定的なものではない。本発明の属する技術分野における通常の知識を有する者なら本発明の思想と添付の特許請求の範囲に提示された権利範囲を逸脱しない範囲内で多様な変化と修正を加えることができることを理解することができる。

配列目録 Ｆｒｅｅ Ｔｅｘｔ
符号化、復号化、画面間の予測、画面内の予測、変換カーネル、正方形変換カーネル、非正方形変換カーネル、量子化、ＭＰＥＧ、レート歪コスト、 Ｈ．２６４／ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ

Claims (28)

1. 入力画面を符号化単位ブロックに分割する段階と、
   前記符号化単位ブロックを下位ブロックに分割する段階と、
   前記下位ブロックを画面内の予測符号化または画面間の予測符号化のうち１つ以上を選択的に使用して符号化する段階と、を含むことを特徴とするビデオ符号化での分割ブロック符号化方法。
2. 前記符号化単位ブロック及び下位ブロックを通じた残差信号に対してブロックサイズによって可変変換カーネル（Variable block-size transform kernel）を選択的に適用して変換する段階、
   変換された残差信号を量子化する段階、および、
   その結果をエントロピー符号化する過程をさらに含むことを特徴とする請求項１に記載のビデオ符号化での分割ブロック符号化方法。
3. 前記下位ブロックを通じた残差信号に対してブロックサイズによって１つ以上のブロック境界緩和フィルタ（de-blocking filter）を選択的に適用して符号化を行うことを特徴とする請求項２に記載のビデオ符号化での分割ブロック符号化方法。
4. 前記符号化単位ブロックのサイズは、Ｎ＊Ｎサイズの正方形にし、前記符号化単位ブロックを分割し、任意サイズの１つ以上の正方形（squared）または非正方形（non-squared）の下位ブロックに分割することを特徴とする請求項１に記載のビデオ符号化での分割ブロック符号化方法。
5. 前記正方形または非正方形の下位ブロックに対して画面内の予測符号化を使用して符号化する場合、１つ以上の画面内の予測符号化方法のうち１つの画面内の予測符号化方法を選択して符号化を行うことを特徴とする請求項４に記載のビデオ符号化での分割ブロック符号化方法。
6. 前記正方形または非正方形の下位ブロックに対して画面内の予測符号化または画面間の予測符号化を行う場合、量子化された変換係数を当該ブロックサイズによって１つ以上のスキャン方法を選択的に適用してエントロピー符号化を行うことを特徴とする請求項４に記載のビデオ符号化での分割ブロック符号化方法。
7. 前記正方形の下位ブロックに対して正方形変換カーネルを適用して変換することを特徴とする請求項４に記載のビデオ符号化での分割ブロック符号化方法。
8. 前記正方形の下位ブロックに対して正方形変換カーネルを適用して変換する時、前記正方形の下位ブロックの横画素数と縦画素数とを比較し、小さいかまたは同一の画素数のサイズに対応する正方形変換カーネルを適用することを特徴とする請求項７に記載のビデオ符号化での分割ブロック符号化方法。
9. 前記非正方形の下位ブロックに対して非正方形変換カーネルを適用して変換することを特徴とする請求項４に記載のビデオ符号化での分割ブロック符号化方法。
10. 前記非正方形の下位ブロックに対して非正方形変換カーネルを適用して変換する時、前記非正方形の下位ブロックの横画素数と縦画素数とを比較し、大きい画素数のサイズに対応する正方形カーネルと、前記非正方形の下位ブロックの横画素数と縦画素数とを比較し、小さい画素数のサイズに対応する正方形変換カーネルを入力信号に対して順次に適用して非正方形変換を行うことを特徴とする請求項９に記載のビデオ符号化での分割ブロック符号化方法。
11. （ａ）符号化しようとする画面を入力する段階と、
    （ｂ）入力された画面を符号化単位ブロックに分割する段階と、
    （ｃ）入力された各符号化単位ブロックを下位ブロックに分割する段階と、
    （ｄ）前記符号化単位ブロック及びその下位ブロックに対して画面内の予測符号化及び画面間の予測符号化を行い、それらのうち１つのブロックタイプを選定する段階と、
    （ｅ）前記ブロックタイプの予測結果を利用して符号化単位ブロックを含んでその下位ブロックに対して画面内の予測符号化及び／または画面間の予測符号化を行う段階と、を含むことを特徴とするビデオ符号化での分割ブロック符号化方法。
12. （ａ’）符号化しようとする画面を入力する段階と、
    （ｂ’）入力された画面を符号化単位ブロックに分割する段階と、
    （ｃ’）現在の入力画面が画面間の予測符号化を行うか否かを判別する段階と、
    （ｄ’）現在の入力画面が画面間の予測である場合には、入力画面で符号化される符号化単位ブロックの下位ブロックの順序を初期化する段階と、
    （ｅ’）符号化しようとする符号化単位ブロックのブロックモードを選択する段階と、
    （ｆ’）選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行うか否かを判定する段階と、
    （ｇ’）選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行う場合、選択されたブロックモードに対して画面内及び画面間の予測符号化を行う段階と、
    （ｈ’）前記（ｇ’）段階での予測符号化結果及びレート歪コスト値を保存する段階と、
    （ｉ’）選択されたブロックモードが最終モードなら、各ブロックモードに対するレート歪コストを比較し、符号化単位ブロックに対して最終ブロックモードを選択して符号化を決定する段階と、
    （ｊ’）現在の符号化単位ブロックが現在の入力画面で最終ブロックであるか否かを判別する段階と、
    （ｋ’）現在の符号化単位ブロックが現在の入力画面で最終ブロックなら、現在の入力画面が最終画面であるか否かを判別し、現在の入力画面が最終画面になるまで（ａ’）〜（ｊ’）段階を繰り返し行う段階と、を含むことを特徴とするビデオ符号化での分割ブロック符号化方法。
13. 前記（ｃ’）段階後に、現在の入力画面が画面間の予測ではない場合、画面内の予測符号化を行う段階をさらに含むことを特徴とする請求項１２に記載のビデオ符号化での分割ブロック符号化方法。
14. 前記（ｆ’）段階後に、選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行わない場合、選択されたブロックモードに対して画面間の予測符号化を行う段階をさらに含むことを特徴とする請求項１２に記載のビデオ符号化での分割ブロック符号化方法。
15. 前記（ｇ’）段階後に、選択されたブロックモードに対して画面間の予測符号化を行う場合、動き予測と補償実行を通じて残差信号を求め、この残差信号を利用して選択されたブロックを変換し、これを量子化した後、その結果をエントロピー符号化する段階をさらに含むことを特徴とする請求項１２に記載のビデオ符号化での分割ブロック符号化方法。
16. 前記（ｇ’）段階後に、選択されたブロックモードに対して画面内の予測符号化を行う場合、画面内の予測符号化を通じて残差信号を求め、この残差信号を利用して選択されたブロックを変換し、これを量子化した後、その結果をエントロピー符号化する段階をさらに含むことを特徴とする請求項１２に記載のビデオ符号化での分割ブロック符号化方法。
17. 前記残差信号を利用して選択されたブロックを変換する時、ブロックのサイズによって選択的に変換カーネルを適用して変換を行う段階をさらに含むことを特徴とする請求項１５または１６に記載のビデオ符号化での分割ブロック符号化方法。
18. 請求項１〜１７のいずれか１項に記載の方法をコンピュータで実行させることができるプログラムを記録したコンピュータで読み取り可能な記録媒体。
19. 入力されるビデオビットストリームが単位符号化ブロックで符号化されていて、前記単位符号化ブロックの下位ブロックが画面内の予測符号化と画面間の予測符号化のうち１つ以上を選択的に使用して符号化されたビデオビットストリームを復号化する段階を含むことを特徴とするビデオ復号化での分割ブロック復号化方法。
20. （ａ）復号化しようとする画面ビットストリームを入力する段階と、
    （ｂ）入力された画面ビットストリームをスライス単位で解釈する段階と、
    （ｃ）前記スライスの復号化単位ブロックを解釈する段階と、
    （ｄ）前記単位復号化ブロックのサブ分割ブロック符号化モードを復号化する段階と、
    （ｅ）前記分割サブブロックタイプ結果を利用して復号化単位ブロックを含んでその下位ブロックに対して画面内の予測復号化及び／または画面間の予測復号化を行う段階と、を含むことを特徴とするビデオ復号化での分割ブロック復号化方法。
21. （ａ’）復号化しようとする画面ビットストリームを入力する段階と、
    （ｂ’）現在の入力画面ビットストリームが画面間の予測符号化されたものであるか否かを判別する段階と、
    （ｃ’）現在の入力画面ビットストリームが画面内の予測符号化の場合には、画面内の予測復号化を行う段階と、
    （ｄ’）現在の入力画面ビットストリームが画面間の予測符号化の場合には、入力画面ビットストリームで復号化される復号化スライスを初期化する段階と、
    （ｅ’）前記スライス内の単位符号化ブロックを解釈する段階と、
    （ｆ’）前記単位符号化ブロック内の分割サブブロック復号化のためのサブブロックを初期化する段階と、
    （ｇ’）前記単位符号化ブロック内のサブ分割ブロック符号化モードを復号化する段階と、
    （ｈ’）現在の分割サブブロックが画面間の予測符号化ブロックであるか否かを確認する段階と、
    （ｉ’）現在の分割サブブロックが画面間の予測である場合には、画面間の予測復号化を行う段階と、
    （ｊ’）現在の分割サブブロックが画面内の予測である場合には、画面内の予測復号化を行う段階と、
    （ｋ’）前記行われた分割サブブロックの画面内または画面間の予測復号化結果を利用して分割サブブロック画素値を復元する段階と、
    （ｌ’）前記サブブロックが最終分割サブブロックであるか否かを確認する段階と、
    （ｍ’）前記サブブロックが最終分割サブブロックなら、前記単位符号化ブロックが最終符号化ブロックであるか否かを確認する段階と、
    （ｎ’）前記単位符号化ブロックが最終符号化ブロックなら、前記スライスが最終スライスであるか否かを確認する段階と、
    （ｏ’）前記スライスが最終スライスなら、前記画面ビットストリームが最終画面ビットストリームであるか否かを確認し、前記画面ビットストリームが最終画面ビットストリームとなるまで前記（ａ’）〜（ｎ’）段階を繰り返す段階と、を含むことを特徴とするビデオ復号化での分割ブロック復号化方法。
22. 前記（ｉ’）段階で、現在の分割サブブロックが画面間の予測である場合、前記分割サブブロックのサイズによって１つ以上の正方形逆変換カーネルを順次に適用して非正方形逆変換を行うことによって符号化された画面間の予測量子化変換係数を復号化することを特徴とする請求項２１に記載のビデオ復号化での分割ブロック復号化方法。
23. 前記（ｊ’）段階で、現在の分割サブブロックが画面内の予測である場合、前記分割サブブロックのサイズによる正方形逆変換カーネルを適用して符号化された画面内の量子化変換係数を復号化することを特徴とする請求項２１に記載のビデオ復号化での分割ブロック復号化方法。
24. 前記（ｊ’）段階で、現在の分割サブブロックが画面内の予測である場合、前記分割サブブロックのサイズによる正方形逆変換カーネルを適用して符号化された画面内の予測量子化変換係数を復号化することを特徴とする請求項２１に記載のビデオ復号化での分割ブロック復号化方法。
25. 前記（ｃ’）段階で、現在の入力画面ビットストリームが画面内の予測符号化である場合、前記分割サブブロックのサイズ及び周辺符号化ブロックのタイプによる境界緩和フィルタを適用して復号化することを特徴とする請求項２１に記載のビデオ復号化での分割ブロック復号化方法。
26. 前記（ｉ’）段階で、現在の分割サブブロックが画面間の予測である場合、前記分割サブブロックのサイズ及び周辺符号化ブロックのタイプによる境界緩和フィルタを適用して復号化することを特徴とする請求項２１に記載のビデオ復号化での分割ブロック復号化方法。
27. 前記（ｊ’）段階で、現在の分割サブブロックが画面内の予測である場合、前記分割サブブロックのサイズ及び周辺符号化ブロックのタイプによる境界緩和フィルタを適用して復号化することを特徴とする請求項２１に記載のビデオ復号化での分割ブロック復号化方法。
28. 請求項１９〜２７のいずれか１項に記載の方法をコンピュータで実行させることができるプログラムを記録したコンピュータで読み取り可能な記録媒体。