JP2004503964A - カラービデオ符号化及び復号方法 - Google Patents

Abstract

本カラービデオ圧縮方法は、３つのカラー面ＹＵＶにおいてＳＰＩＨＴ処理を用い、ピクセルを３つの配列されたリストＬＩＳ、ＬＩＰ及びＬＳＰにより並べられた係数に変換する。自然系列に関しては、クロミナンス係数は殆どの場合ルートサブバンドにおける輝度の係数よりも小さな振幅を有している。輝度係数が所与のビット面レベルにおいて重要でない子孫（子）を持つ場合、同一位置におけるクロミナンス係数も高い確率で重要でない子を持つ。このＹ、Ｕ及びＶ面間の冗長性を利用するため、３つの空間時間的零ツリーの非重要性は、３つの面における同一の位置に対応する３つの係数が重要でないシンボルのリストＬＩＳ内で近隣の位置にある場合に、ユニークシンボルにより符号化することができる。

Description

【０００１】
【技術分野】
本発明は、フレームの群に編成された連続したフレームを含むようなビデオ系列を圧縮する符号化方法に係り、各フレームが所与の数の連続した解像度レベルに繋がるような三次元（３Ｄ）ウェーブレット変換により分解され、上記方法は“階層ツリーへの集合分割（ＳＰＩＨＴ）”と呼ばれる階層的サブバンド符号化処理に基づくもので、各群のフレームの画素（ピクセル）の原集合から、二進フォーマットで符号化されると共に階層ピラミッドを構成するウェーブレット変換係数に導き、これら係数は上記３Ｄウェーブレット変換から生じる最低周波数（又は近似サブバンド）に根を下ろすと共に高い周波数サブバンドにおける子により完成される空間時間的オリエンテーションツリーに編成され、該ツリーの係数は前記ピクセルを含むと共に重要度の各レベルに対応する分割集合に並べられ、これら集合は重要度情報の重要でない集合のリスト（ＬＩＳ）、重要でないピクセルのリスト（ＬＩＰ）及び重要なピクセルのリスト（ＬＳＰ）と呼ばれる３つの順序づけられたリストへの分類に繋がる振幅テストにより定義され、上記テストは各重要係数が前記二進表現内で符号化されるまで継続するような分割処理により前記ピクセルの原集合を前記分割集合へ分割するために実行され、上記空間時間的オリエンテーションツリーは前記階層ピラミッド内の空間時間的関係を規定し、前記ＳＰＩＨＴアルゴリズムが下記のステップ、即ち初期化、分類パス（又は複数のパス）、改良（ｒｅｆｉｎｅｍｅｎｔ）パス及び量子化ステップ更新なる各ステップを有しているような符号化方法に関する。
【０００２】
また、本発明は対応する復号方法にも関する。
【０００３】
【背景技術】
マルチメディアアプリケーションの最近の拡大により、ビデオ符号化システムは高度にスケーラブルになることが期待される。マルチメディアアプリケーションにおいては、圧縮されたビデオ系列が、マルチキャスト態様で、異なる要件及び能力の一団の受信者に向けストリーム伝送される。この場合、複数ネットワーク接続の間で複数レベルの品質を配信する１つの方法は、当該ビデオ信号を、各々が異なる出力レートを生成する一群の独立したエンコーダを用いて符号化することである。この“同時放送”解決策の大きな欠点は、主に、その準最適な圧縮性能及び大きな記憶である。
【０００４】
ビデオ符号化システムは、目下、一層柔軟になることが期待されている。特に、斯かるシステムは、単一のビデオビットストリームを多様な伝送条件（帯域幅、エラー率、…）並びに多様な受信器能力及び要件（ＣＰＵ、表示寸法、アプリケーション、…）に適応させることができなければならない。このような枠組み内で、“スケーラビリティ”は、これらの問題に対処するための期待される機能である。“スケーラブル”なる用語は、圧縮されたビットストリームの部分的な復号を可能にする方法を指す。即ち、条件（ビットレート、エラー、資源）に応じて、デコーダは当該ストリームの一部を読み取り、画像を異なる品質レベルで復号することができるというものである。
【０００５】
Ｈ．２６３、ＭＰＥＧ−２又はＭＰＥＧ−４のような現在の規格は表示されるフレーム差分（ＤＦＤ）のブロックＤＣＴ符号化に基づいており、スケーラビリティは単一スケール予測ループの追加のレベルを介して実施されている。しかしながら、それらの解像度及びレートのスケーラビリティに関するものの効率は限られたものであり、サブバンド分解に基づくプログレッシブ符号化技術の動向を調査することにより改善することができる。確かに、ウェーブレットは静止画像及びビデオの自然な複数スケール表現を提供し、それらの画像をプログレッシブに符号化する高効率は、スケーラブルな表現をもたらす。上記の複数スケール表現は、分解内に時間的次元を含む三次元（３Ｄ）、又は空間時間（２Ｄ＋ｔ）的ウェーブレット解析によりビデオに拡張することができる。斯様な３Ｄサブバンド分解方法への動き補償ステップの導入は、ビデオ信号の空間時間的複数解像度（階層）表現に繋がり、これは低ビットレートのハイブリッドコーダより著しく性能が勝る。
【０００６】
サブバンド分解は、当然、スケーラブル構成に繋がり、階層空間時間的ツリーに沿って存在する依存性を利用する符号化アルゴリズムは、最良の圧縮性能、及びビットストリーム埋め込みのような所望の特性をもたらす。これらのアルゴリズムは、最近、３Ｄビデオ符号化システムに拡張され、最も有効なスケーラブルビデオコーダの幾つか、即ち三重零ツリーに基づく３Ｄ階層ツリー集合分割（ＳＰＩＨＴ）エンコーダ及び該エンコーダの変形、を得ている。既存の符号化方法の殆どは、固有の符号化戦略を考慮し、各カラー面を独立に符号化するために該戦略を適用する。発生されたビットストリームは、各カラー面に対応する３つの明確に分離されたビットストリームを連結している。しかしながら、この戦略はスケーラブル方法には適合しない。何故なら、低ビットレートに対しては、クロミナンス情報に対応するビットが復号されないからである。
【０００７】
【発明の開示】
本発明の目的は、上記欠点を除去するため、クロミナンス係数を符号化する方法を提供することにある。
【０００８】
この目的のため、本発明は、発明の詳細な説明の導入部分に記載したような符号化方法であって、
付録Ｂに示されるアルゴリズムにしたがい、
（ａ）初期化ステップにおいて、
−　３つのカラー面Ｙ、Ｕ及びＶにおける同一の位置に対応する３つの前記係数は前記ＬＩＳに順番に投入されて、隣接する位置を占めると共に、各重要度レベルにおいて次から次へと解析される際に全てが重要でない子を持つ場合に後続する分類パスに対して該ＬＩＳ内に一緒に留まるようにし、
−　輝度における重要でない子がクロミナンスにおける重要でない子を意味するような最終ビット面ｎ_ｉが、ルートサブバンドにおける係数の集合重要度レベルに基づいて計算されると共に、ビットストリームに出力され、
（ｂ）ｎ_ｍａｘからｎ_ｉへ進む前記分類パス（又は複数のパス）において、輝度係数が重要でない子を有し、且つ、前記ＬＩＳにおいて該係数に後続する２つの係数により下記３つの条件：
−　前記２つの係数は、各々、Ｕ及びＶ係数であり、
−　前記２つの係数は、前記輝度係数と同一の空間時間的座標を有し、
−　前記２つの係数は、重要でない子を持つ、
が満たされる場合に、この状況がユニークシンボルのみにより符号化され、全ての他の場合には前記出力ビットストリームは元の前記ＳＰＩＨＴアルゴリズムに対して変更されない、
ことを特徴とする。
【０００９】
提案された該方法は、有利にも、輝度及びクロミナンスの空間時間的オリエンテーションツリーの間に存在する冗長性を利用している。更に、該方法は結果としてのビットストリームへの原ＳＰＩＨＴアルゴリズムよりも一層強いカラーの埋め込みを提供し、これに関して、該方法は増加された符号化効率、及び関係する圧縮ビデオ系列のプログレッシブな復号に対する改善された知覚的品質に繋がる。
【００１０】
また、本発明は斯様な符号化方法により処理されたビデオ系列の伸張のための復号方法にも関するものであるが、上記符号化アルゴリズムにおける“出力（ｏｕｔｐｕｔ）”処理は、対応する復号アルゴリズムにおいては“入力（ｉｎｐｕｔ）”処理に置換される。
【００１１】
以下、本発明を例示として添付図面を参照して説明する。
【００１２】
【発明を実施するための最良の形態】
ビデオ系列の時間的サブバンド分解が図１に示されている。動き補償を伴う図示の３Ｄウェーブレット分解は、Ｆ１ないしＦ８で示す一群のフレーム（ＧＯＦ）に適用される。この３Ｄサブバンド分解方法において、入力ビデオの各ＧＯＦは先ず動き補償（ＭＣ）され（このステップは、大きな動きを伴う系列を処理するのを可能にする）、次いでハールウェーブレットを用いて時間的にフィルタ処理（ＴＦ）される（破線矢印はハイパス時間的フィルタ処理に対応し、他のものはローパス時間的フィルタ処理に対応する）。図１には３つの分解段階が示されている（Ｌ及びＨは第１段、ＬＬ及びＬＨは第２段、ＬＬＬ及びＬＬＨは第３段である）。この３Ｄウェーブレット分解方法の、予測方法に対する主な利点は：
−　時間的スケーラビリティを達成する能力であり、これは、当然、種々の時間的解像度での再生により得ることができる；
−　古典的予測方法におけるよりも高いエネルギ圧縮；
−　非反復的デコーダ構造であり、これは伝送エラーの広がりを防止する；
−　伝送エラーに対する情報データの効率的な保護を導入する能力；
である。
【００１３】
動きの方向に時間的フィルタ処理を実行するような、ＭＣＴＦ（動き補償された時間的フィルタ処理）処理が、幾つかの時間的解像度レベルに対して階層的に適用され、結果として、葉（時間的サブバンド）が幾つかのフレームを含むような時間的分解ツリーが得られる。これらのフレームは更に空間的に分解されて、ウェーブレット係数の空間時間的ツリーとなる。この場合、空間的複数解像度解析の実施のために非常に柔軟性のある解決策、即ち所謂持ち上げ（ｌｉｆｔｉｎｇ）又は昇降演算子（ｌａｄｄｅｒ）法の分解、が選択された。ＳＮＲ（又は品質）スケーラビリティは、変形されたＳＰＩＨＴアルゴリズムにより提供される。例えば、１９９６年６月のビデオ技術に関する回路及びシステムについてのＩＥＥＥ論文集第６巻、第３号の第２４３〜２５０頁における、Ａ． Ｓａｉｄ及びＷ．Ａ． Ｐｅａｒｌｍａｎによる論文“階層ツリーへの集合分割に基づく新たな高速且つ有効な画像符号化”に記載されたようなＡＰＩＨＴ技術によれば、空間時間的ツリーのウェーブレット変換係数は、それらの振幅（ｍａｇｎｉｔｕｄｅ）のビット面表現における最も重要なビットのレベルにより規定されるような集合に分割される。この分割アルゴリズムは、重要でない係数の大きな部分集合を作成するために、空間時間的オリエンテーションツリーにおけるエネルギ再分割を利用している。該アルゴリズムにおいては、３つの係数集合が操作される。即ち、重要でない集合のリスト（ＬＩＳ）、重要でないピクセルのリスト（ＬＩＰ）及び重要なピクセルのリスト（ＬＳＰ）である。近似サブバンドからの係数が上記ＬＩＰを初期化するために使用され、これらのうちの、子孫を持つものが上記ＬＩＳを初期化するために使用される。固定の閾との比較が部分集合に対して実現され、それらは、単一の重要な係数が分離されて更に改良（ｒｅｆｉｎｅ）されるべきＬＳＰに転送されるまで、更に分割される。
【００１４】
本発明による符号化方法を説明する前に、当該ビデオ系列はＱＣＩＦフォーマット（１７６ｘ１４４ピクセル）であり、３つのレベルの時間的且つ空間的ウェーブレット分解が実行されると仮定する。該原理は、ｎレベルの分解が実行されるような２^ｎ＋１の倍数の画像寸法を持つ系列にも当てはまる。
【００１５】
ビデオ系列の表現にしばしば使用される４：２：０フォーマットは空間時間的分解ツリーの深さに関して問題を生じさせ、該問題は実際にＳＰＩＨＴアルゴリズムの性能を変化させることに言及する必要がある。一方において、この技術は偶数寸法のサブバンドの場合のみ良好に動作する。他方において、輝度及びクロミナンスの間の寸法の差は上記３つのツリーに対して同一の分解を適用することを妨害する。この問題を解決して、クロミナンス面に関し適切な数の分解レベルを選択するために、２つの戦略が規定された：
１）輝度及びクロミナンス複数解像度解析に対して同数の解像度レベルが考慮され、これはクロミナンス面の最低解像度レベルにおいて奇数寸法のサブバンドに繋がり、原ＳＰＩＨＴアルゴリズムは適応化なしでは対処することができない（例えば、１７６ｘ１４４ピクセルのＱＣＩＦフレーム及び３つのレベルの分解の場合、輝度ルートサブバンドは２２ｘ１８ピクセルを有する一方、クロミナンス近似サブバンドは１１ｘ９ピクセルを有する）；
２）各カラー面に対して適宜の数（Ｙ面に対してｎ、Ｕ及びＶ面に対してｎ−１）の分解レベルが、ＳＰＩＨＴアルゴリズムを直接適用することができるように選択される。これは、ＣＱＩＦフレームの場合、輝度に関しては３つのレベル、クロミナンス面に対しては２つのレベルを意味する。
【００１６】
上記第１の戦略は、１９９８年２月のＩＥＥＥ画像処理に関する会報、第８巻、第２号の第１５５〜１６７頁におけるＳ．Ｊ． Ｃｈｏｉ及びＪ．Ｗ． Ｗｏｏｄｓによる文献“ビデオの動き補償された３Ｄサブバンド符号化”に記載されている。３つのカラー面のウェーブレット分解が図２に図示されており、原ＳＰＩＨＴアルゴリズムにおける依存性（及び矢印により示された親子関係）を示している。ＬＩＰ及びＬＩＳは、３つの全ての面において、最上レベルの適切な係数で初期化される。奇数寸法サブバンドの問題を解決するために、最低の空間時間的サブバンドフレームに対して空間的補外が実行される。結果的に、該補外は原画像に対して適用される。この画像を分解する場合、人工的に作成された係数を符合化しなければならず、従って該アルゴリズムの効率は低下する。同様の種類のアーチファクトが動き補償の間に入り込む。これらの補外は、不可避的に、最終的ビットレートを増加させる。更に、この解決策はＹ、Ｕ及びＶ面の間の冗長性を利用していない。
【００１７】
本発明は、前記第２の戦略を利用し、４：２：０フォーマットにおけるＵ及びＶ面は輝度面に関しては既にサブサンプルされたフォーマットに存在するという事実を使用する。従って、全解像度クロミナンス面は、全解像度輝度面の近似として見ることができる。幾つかの解像度レベルにわたりウェーブレット分解を実行する場合、輝度のｎ番目の解像度レベルは、クロミナンスの（ｎ−１）番目のレベルと同一の寸法を有する。これが図３に示され、提案された該方法により導入されるカラー面分解の間の付加的依存性を示している（実線矢印は親子関係を示す一方、破線矢印は輝度及びクロミナンス面間の依存関係に対応している）。３つの成分面の埋め込みは、３つのカラー空間時間的ツリーから到来するルートサブバンドの係数を同時に処理することにより達成され、それらはＬＩＰ及びＬＩＳの両者を設定するために使用される。
【００１８】
なすことができ、且つ、幾つかの系列に対して検証された第１の観察点は、クロミナンス係数が自然系列に対して高い確率でルートサブバンドにおける輝度のものより小さな振幅を有するという点である。この場合、本発明によれば、輝度係数が所与のビット面で重要でない子を有するならば、同じ位置におけるクロミナンス係数も重要でない子を持つ確率が高いと仮定される。従って、３つの空間時間的零ツリーの非重要性をユニークシンボルにより符号化することができる。これは、３つのカラー面における同一の位置に対応する３つの係数がＬＩＳにおける隣接位置内にある場合に可能である。このリストの特別な初期化が、係数を正しく配列する。
【００１９】
この初期化が図４及び５に図示され、ここで、図４は元の初期化に対応し、図５は提案された特別な初期化に対応する。元の初期化においては、ルートサブバンドからの全ての輝度係数が先ずＬＩＳに投入され、次いで、クロミナンスの係数が含められる。提案した初期化においては、ルートサブバンドＹ、Ｕ及びＶからの同一の空間時間的座標を持つ３つの係数はＬＩＳに順番に投入される。提案されたようにカラー面を混合する他の利点は、クロミナンスの最終的ビットストリームへの良好な埋め込みにある。
【００２０】
上記初期化の後、各重要レベルにおいて当該アルゴリズムはＹ、Ｕ、Ｖ成分を次から次へと解析する。これらが全て重要でない子を持つなら、該ＳＰＩＨＴアルゴリズムの後続の分類パス（ｓｏｒｔｉｎｇ ｐａｓｓｅｓ）のために、一緒にＬＩＳ中に留まる。上記アルゴリズムは該分類パスを、重要でない子を持つ各輝度係数に関し、ＬＩＳにおいて該係数に続く２つの係数がＵ及びＶであり、且つ、これら係数が全て同じ空間時間的座標を有するかが調査されるように、変更する。この場合、これら係数が重要でない子を持つことも検証され、斯かる場合は０ビットにより符号化される。全ての他の場合には、出力ビットストリームは原アルゴリズムに対して変更されない。
【００２１】
しかしながら、元々なされた仮説（基本的仮定）は全ての重要性レベルに関しては満足されない（ｎ_ｍａｘが最大の重要性レベルである）。典型的には、常に最初のレベルで検証され、最低の重要性レベルは検証を行わない。この振る舞いの変化が現れる精密なビット面レベルは、当該系列に依存し、符号化を開始する前に決定されねばならない。このレベルを見付ける作業は初期化ステップの間に実行され、重要性レベルの最大数と一緒に出力される。更に、この作業は、各係数に関連する集合重要度レベルＳＳＬが当該アルゴリズムの初期に算出される事実により容易化される。インターレースレベルｎ_ｉは下記の関係（１）により得られる：
ｎ_ｉ＝ｍｉｎ_{ｘ，ｙ，ｚ}｛ＳＳＬ_ｙ（ｘ，ｙ，ｚ）＞ＳＳＬ_Ｕ（ｘ，ｙ，ｚ）及びＳＳＬ_ｙ（ｘ，ｙ，ｚ）＞ＳＳＬ_Ｖ（ｘ，ｙ，ｚ）のようなＳＳＬ_ｙ（ｘ，ｙ，ｚ）｝　　　　　　　　　　　　　（１）
【００２２】
実際には、このレベルｎ_ｉは次のように算出される。各ビット面に対して、及びルートサブバンドにおける各ピクセルに対して、集合重要性レベルＳＳＬは既に利用可能である。従って、重要でない子を持つ輝度係数が同じ位置でクロミナンス係数により後続されるなら、輝度の非重要性のみが符号化される。この条件が満たされない最初のビット面がｎ_ｉである。
【００２３】
このステップを１回実行することは、繰り返してツリーの重要性を計算し、それを連続する分類パスの間に減少する閾と比較することを避けることにもなる。原及び提案されたアルゴリズムは（原英文明細書の）第９ないし第１１頁の付録Ａ及びＢに示される。実験的結果は、クロミナンス面に関してのコーダの圧縮性能に対する、改善されたＳＰＩＨＴカラー符号化アルゴリズムの影響を際だたせている。
【００２４】
より有効な圧縮を得るために輝度及びクロミナンス成分の間の依存性を利用する上述した符号化方法は、下記のような主たる利点を有している：
−　Ｕ及びＶ面は低減された数の解像度レベルにわたり分解され、これは当該アルゴリズムの計算上の複雑さを減少させる；
−　輝度及びクロミナンス成分の間の依存性が空間時間的ツリーを介して利用される。もっと正確には、輝度係数が重要でない子を有するなら、対応するクロミナンス係数も重要でない子をもつ傾向が非常に強く、これが、３つの子ツリーを効率的に符号化するために利用される；
−　補外は必要とされず、従って人工的な係数は導入されない。即ち、実際のピクセルのみが分解及び符号化され、斯かる人工的ピクセルに関して動きベクトルは計算されないので、当該アルゴリズムに追加の単純化度が導入される；
−　結果としてのビットストリームの完全な埋め込みが保証される。何故なら、ピクセルの輝度及びクロミナンス成分が、ここでは３つのリストにおいて非常に近いからである（原アルゴリズムにおいては、ＬＩＰ及びＬＩＳの初期化はＹ、Ｕ及びＶ係数を分離することにより実行され、これは、それらの各解像度レベルにおける順次の処理を意味することが思い出されるべきである）。
【００２５】
次に、可能な実施化についての幾つかの細部を説明する。ＧＯＦを構成するフレームの数の選択は、好ましくは、多過ぎるフレームの処理により生じる遅延と、十分な数の解像度レベルにわたり実行される時間的ウェーブレット解析により達成されるエネルギ圧縮との間の取り引きでなければならない。実行された実験においては、１６フレームのＧＯＦが最良の圧縮結果を生ずることが分かった。全サーチブロック整合アルゴリズムが、半ピクセル精度で実施された。時間的分解のためにハールフィルタが使用される場合、２による時間的下降サンプリングにより、動き推定及び動き補償（ＭＥ／ＭＣ）は入力系列の２フレーム毎にしか実行されないことに注意することができる。近似サブバンドにおける幾つかの分解レベルにわたり該手順を反復することによって、ＭＥ／ＭＣ処理の合計数は予測方法におけるものと大凡同じになる。動きベクトルは差分的に符号化され、ＧＯＦの最初でビットストリームに投入される。
【００２６】
しかしながら、ビットストリームのこの部分で発生する如何なるエラーも、再生される系列に重大な損傷を生じ得る。チャンネルエラーに対する強さを保証するために、ビットストリームの２つの部分の異なるエラー保護が導入される。空間的分解の持ち上げ構成は、使用される演算子の型式に関するものにおけるライン又は列レベルで大きな柔軟性を可能にする。
【００２７】
原ＳＰＩＨＴアルゴリズムと比較した場合、提案された方法は、改善された符号化効率及び圧縮されたビデオ系列のプログレッシブな復号に関する改善された知覚上の品質に繋がる。この方法が、例えば１７６ｘ１４４ピクセルのフレーム寸法、４：２：０のサブサンプルされたフォーマット及び１０ｆ／ｓなるフレームレートを持つカラービデオＱＣＩＦ系列に適用される場合、低ビットレートで得られた実験的結果は、該方法のクロミナンス面に関する圧縮性能に対する影響を示す。輝度及びクロミナンス面の間における上記の自動的なビット割り付けにより、クロミナンスドメインにおける本方法により得られるビット節約は、輝度及びクロミナンス面に分散され、これらの３つのドメインにおける改善に繋がる。
【００２８】
かくして、本方法は特に低ビットレートにおいてＭＰＥＧ−４規格の競争相手として考えることができる。何故なら、提案された方法は、原理的に、高いビット予算ではＬＳＰに割り当てられた予算に関する影響があまり重要でないようなＬＩＳ符号化を変更するからである。ＭＰＥＧ−４でのイントラフレームの符号化が非常に変動する品質となってしまう（特に、各イントラ符号化されたフレームに続くインター符号化されたフレームに関してはバッファ制御戦略によりＰＳＮＲピークが生じる）ことにも注意すべきである。提案された方法によれば、ＧＯＦを形成するフレームは一緒に処理され、これが全系列にわたる一層一様なＰＳＮＲ変化となる。
【００２９】
付録Ａ
関数Ｓｎ（）は所与のレベルｎに対するピクセル又はピクセルの集合の重要度を示し、ウェーブレット変換の係数はｃ_{ｘ，ｙ，ｚ，ｃｈｒｏｍａ}により示され、原アルゴリズムは以下のように実行する：
【表１】

ｓｅｔ ｔｈｅ ＬＳＰ ａｓ ａｎ ｅｍｐｔｙ ｌｉｓｔ， ａｎｄ ａｄｄ ｔｈｅ ｃｏｏｒｄｉｎａｔｅｓ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ∈ Ｈ ｔｏ ｔｈｅ ＬＩＰ， ａｎｄ ｏｎｌｙ ｔｈｏｓｅ ｗｉｔｈ ｄｅｓｃｅｎｄａｎｔｓ ａｌｓｏ ｔｏ ｔｈｅ ＬＩＳ， ａｓ ｔｙｐｅ Ａ ｅｎｔｒｉｅｓ， ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｏｒｄｅｒ ： （ｘ，ｙ，ｚ， ｃｈｒｏｍａ ＝ Ｙ） ｆｏｒ ａｌｌ （ｘ，ｙ，ｚ） ∈ Ｈ， ｔｈｅｎ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ ＝ Ｕ） ｆｏｒ ａｌｌ （ｘ，ｙ，ｚ） ∈ Ｈ， ｔｈｅｎ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ ＝ Ｖ） ｆｏｒ ａｌｌ （ｘ，ｙ，ｚ） ∈ Ｈ．
２． Ｓｏｒｔｉｎｇ ｐａｓｓ：
２．１ Ｆｏｒ ｅａｃｈ ｅｎｔｒｙ （ｘ，ｙ，ｚ，ｃｈｒｏｍａ） ｉｎ ｔｈｅ ＬＩＰ， ｄｏ：
２．１．１ ｏｕｔｐｕｔ ｂｉｔ ＝ Ｓ_ｎ（ｘ，ｙ，ｚ，ｃｈｒｏｍａ）；
２．１．２ ｉｆ （ｂｉｔ ＝ １）， ｔｈｅｎ ：
ｍｏｖｅ （ｘ，ｙ，ｚ，ｃｈｒｏｍａ） ｔｏ ｔｈｅ ＬＳＰ ａｎｄ ｏｕｔｐｕｔ ｂｉｔ ＝ ｓｉｇｎ（ｘ，ｙ，ｚ，ｃｈｒｏｍａ）；
２．２ Ｆｏｒ ｅａｃｈ ｅｎｔｒｙ （ｘ，ｙ，ｚ，ｃｈｒｏｍａ） ｉｎ ｔｈｅ ＬＩＳ， ｄｏ：
２．２．１ ｉｆ ｔｈｅ ｅｎｔｒｙ ｉｓ ｏｆ ｔｙｐｅ Ａ， ｔｈｅｎ：
． ｏｕｔｐｕｔ ｂｉｔ ＝ Ｓ_ｎ（Ｄ（ｘ，ｙ，ｚ，ｃｈｒｏｍａ））；
． ｉｆ （ｂｉｔ ＝ １）， ｔｈｅｎ：
ａ） ｆｏｒ ｅａｃｈ （ｘ’， ｙ’， ｚ’， ｃｈｒｏｍａ） ∈ ０（ｘ，ｙ，ｚ， ｃｈｒｏｍａ）， ｄｏ：
． ｏｕｔｐｕｔ ｂｉｔ ＝ Ｓ_ｎ（ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ）；
． ｉｆ （ｂｉｔ＝１）， ｔｈｅｎ：
ｍｏｖｅ （ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ） ｔｏ ｔｈｅ ｅｎｄ ｏｆ ＬＳＰ ａｎｄ ｏｕｔｐｕｔ ｂｉｔ ＝ ｓｉｇｎ（ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ）；
． ｅｌｓｅ ｍｏｖｅ （ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ） ｔｏ ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ＬＩＰ；
ｂ） ｉｆ Ｌ（ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ≠ ０， ｔｈｅｎ ｍｏｖｅ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ｔｏ ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ＬＩＳ ａｓ ａｎ ｅｎｔｒｙ ｏｆ ｔｙｐｅ Ｂ， ａｎｄ ｇｏ ｔｏ ｓｔｅｐ ２．２．２， ｅｌｓｅ ｒｅｍｏｖｅ ｅｎｔｒｙ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ｆｒｏｍ ｔｈｅ ＬＩＳ；
２．２．２ ｉｆ ｔｈｅ ｅｎｔｒｙ ｉｓ ｏｆ ｔｙｐｅ Ｂ， ｔｈｅｎ：
． ｏｕｔｐｕｔ ｂｉｔ ＝ Ｓ_ｎ（Ｌ（ｘ，ｙ，ｚ， ｃｈｒｏｍａ））；
． ｉｆ （ｂｉｔ ＝ １）， ｔｈｅｎ：
ａ） ａｄｄ ｅａｃｈ （ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ） ∈ ０ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ｔｏ ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ＬＩＳ ａｓ ａｎ ｅｎｔｒｙ ｏｆ ｔｙｐｅ Ａ；
ｂ） ｒｅｍｏｖｅ （ｘ，ｙ，ｚ ｃｈｒｏｍａ） ｆｒｏｍ ｔｈｅ ＬＩＳ．
３． Ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ ：
Ｆｏｒ ｅａｃｈ ｅｎｔｒｙ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ｉｎ ｔｈｅ ＬＳＰ， ｅｘｃｅｐｔ ｔｈｏｓｅ ｉｎｃｌｕｄｅｄ ｉｎ ｔｈｅ ｌａｓｔ ｓｏｒｔｉｎｇ ｐａｓｓ （ｉ．ｅ．， ｗｉｔｈ ｓａｍｅ ｎ）， ｏｕｔｐｕｔ ｔｈｅ ｎ^ｔｈ ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ ｏｆ ｃ_{（ｘ，ｙ，ｚ，ｃｈｒｏｍａ）}；
４． Ｑｕａｎｔｉｚａｔｉｏｎ−ｓｔｅｐ ｕｐｄａｔｅ ： ｄｅｃｒｅｍｅｎｔ ｎ ｂｙ １ ａｎｄ ｇｏ ｔｏ ｓｔｅｐ ２．
【００３０】
付録Ｂ
関数Ｓｎ及びウェーブレット変換の係数は同様に示される。ＬＩＳにおける現在のものの後の次の係数は“ｎｅｘｔ”により示され、この係数“ｎｅｘｔ”の後の係数は“ｎｅｘｔ２”により示され、それらの座標及びクロミナンスは各々（ｘ，ｙ，ｚ）＿ｎｅｘｔ，ｃｈｒｏｍａ＿ｎｅｘｔ，（ｘ，ｙ，ｚ）＿ｎｅｘｔ２及びｃｈｒｏｍａ＿ｎｅｘｔ２と指標される。この場合、提案されたアルゴリズムは以下のように実行する（太字の文は修正された処理ステップである）：
【表２】

ｏｕｔｐｕｔ ｎ＿ｃｏｌｏｒ， ｔｈｅ ｌａｓｔ ｂｉｔｐｌａｎｅ ｌｅｖｅｌ ｆｏｒ ｗｈｉｃｈ ｉｎｓｉｇｎｉｆｉｃａｎｔ ｏｆｆｓｐｒｉｎｇ ｉｎ ｌｕｍｉｎａｎｃｅ ｉｍｐｌｉｅｓ ｉｎｓｉｇｎｉｆｉｃａｎｔ ｏｆｆｓｐｒｉｎｇ ｉｎ ｃｈｒｏｍｉｎａｎｃｅ， ｓｅｔ ｔｈｅ ＬＳＰ ａｓ ａｎ ｅｍｐｔｙ ｌｉｓｔ， ａｎｄ ａｄｄ ｔｈｅ ｃｏｏｒｄｉｎａｔｅｓ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ∈Ｈ ｔｏ ｔｈｅ ＬＩＰ， ａｎｄ ｏｎｌｙ ｔｈｏｓｅ ｗｉｔｈ ｄｅｓｃｅｎｄａｎｔｓ ａｌｓｏ ｔｏ ｔｈｅ ＬＩＳ， ａｓ ｔｙｐｅ Ａ ｅｎｔｒｉｅｓ， ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｓａｍｅ ｏｒｄｅｒ ｆｏｒ ｅａｃｈ ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｃｏｏｒｄｉｎａｔｅ （ｘ，ｙ，ｚ） ∈Ｈ．
２． Ｓｏｒｔｉｎｇ ｐａｓｓ：
２．１ Ｆｏｒ ｅａｃｈ ｅｎｔｒｙ （ｘ，ｙ，ｚ，ｃｈｒｏｍａ） ｉｎ ｔｈｅ ＬＩＰ， ｄｏ：
２．１．１ ｏｕｔｐｕｔ ｂｉｔ ＝ Ｓ_ｎ（ｘ，ｙ，ｚ，ｃｈｒｏｍａ） ；
２．１．２ ｉｆ （ｂｉｔ ＝ １）， ｔｈｅｎ：
ｍｏｖｅ （ｘ，ｙ，ｚ，ｃｈｒｏｍａ） ｔｏ ｔｈｅ ＬＳＰ ａｎｄ ｏｕｔｐｕｔ ｂｉｔ ＝ ｓｉｇｎ（ｘ，ｙ，ｚ，ｃｈｒｏｍａ）；
２．２ Ｆｏｒ ｅａｃｈ ｅｎｔｒｙ （ｘ，ｙ，ｚ，ｃｈｒｏｍａ） ｉｎ ｔｈｅ ＬＩＳ， ｄｏ：
２．２．１ ｉｆ ｔｈｅ ｅｎｔｒｙ ｉｓ ｏｆ ｔｙｐｅ Ａ， ｔｈｅｎ：
． ｂｉｔ ＝ Ｓ_ｎ（Ｄ（ｘ，ｙ，ｚ，ｃｈｒｏｍａ））；
− ｉｆ ｎ ＞ ｎ＿ｃｏｌｏｒ：
− ｉｆ （ｂｉｔ ＝ ０ ａｎｄ ｃｈｒｏｍａ ＝ Ｙ）， ｔｈｅｎ：
−ｉｆ （ｃｈｒｏｍａ＿ｎｅｘｔ＝Ｕ ａｎｄ ｃｈｒｏｍａ＿ｎｅｘｔ２ ＝ Ｖ）， ｔｈｅｎ：
− ｉｆ（（ｘ，ｙ，ｚ） ＝ （ｘ，ｙ，ｚ）＿ｎｅｘｔ ＝（ｘ，ｙ，ｚ）＿ｎｅｘｔ２）， ｔｈｅｎ：
ｍｏｖｅ ｆｏｒｗａｒｄ ｏｆ ｔｗｏ ｃｏｅｆｆｉｃｉｅｎｔｓ ｉｎ ｔｈｅ ＬＩＳ
− ｅｌｓｅ ： ｏｕｔｐｕｔ ｂｉｔ， ａｎｄ ｂｒｅａｋ．
． ｉｆ （ｂｉｔ ＝ １）， ｔｈｅｎ：
ａ） ｆｏｒ ｅａｃｈ （ｘ’， ｙ’， ｚ’， ｃｈｒｏｍａ） ∈０（ｘ，ｙ，ｚ， ｃｈｒｏｍａ）， ｄｏ：
． ｏｕｔｐｕｔ ｂｉｔ ＝ Ｓ_ｎ（ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ） ；
． ｉｆ （ｂｉｔ＝１）， ｔｈｅｎ ：
ｍｏｖｅ （ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ） ｔｏ ｔｈｅ ｅｎｄ ｏｆ ＬＳＰ ａｎｄ ｏｕｔｐｕｔ ｂｉｔ ＝ ｓｉｇｎ（ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ）；
． ｅｌｓｅ ｍｏｖｅ （ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ） ｔｏ ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ＬＩＰ；
ｂ） ｉｆ Ｌ（ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ≠ ０， ｔｈｅｎ ｍｏｖｅ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ｔｏ ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ＬＩＳ ａｓ ａｎ ｅｎｔｒｙ ｏｆ ｔｙｐｅ Ｂ， ａｎｄ ｇｏ ｔｏ ｓｔｅｐ ２．２．２， ｅｌｓｅ ｒｅｍｏｖｅ ｅｎｔｒｙ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ｆｒｏｍ ｔｈｅ ＬＩＳ；
２．２．２ ｉｆ ｔｈｅ ｅｎｔｒｙ ｉｓ ｏｆ ｔｙｐｅ Ｂ， ｔｈｅｎ ：
． ｏｕｔｐｕｔ ｂｉｔ ＝ Ｓ_ｎ（Ｌ（ｘ，ｙ，ｚ， ｃｈｒｏｍａ））；
． ｉｆ （ｂｉｔ ＝ １）， ｔｈｅｎ：
ａ） ａｄｄ ｅａｃｈ （ｘ’，ｙ’，ｚ’，ｃｈｒｏｍａ） ∈０ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ｔｏ ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ＬＩＳ ａｓ ａｎ ｅｎｔｒｙ ｏｆ ｔｙｐｅ Ａ；
ｂ） ｒｅｍｏｖｅ （ｘ，ｙ，ｚ ｃｈｒｏｍａ） ｆｒｏｍ ｔｈｅ ＬＩＳ．
３． Ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ：
Ｆｏｒ ｅａｃｈ ｅｎｔｒｙ （ｘ，ｙ，ｚ， ｃｈｒｏｍａ） ｉｎ ｔｈｅ ＬＳＰ， ｅｘｃｅｐｔ ｔｈｏｓｅ ｉｎｃｌｕｄｅｄ ｉｎ ｔｈｅ ｌａｓｔ ｓｏｒｔｉｎｇ ｐａｓｓ （ｉ．ｅ．， ｗｉｔｈ ｓａｍｅ ｎ）， ｏｕｔｐｕｔ ｔｈｅ ｎ^ｔｈ ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ ｏｆ ｃ_{（ｘ，ｙ，ｚ，ｃｈｒｏｍａ）} ；
４． Ｑｕａｎｔｉｚａｔｉｏｎ−ｓｔｅｐ ｕｐｄａｔｅ： ｄｅｃｒｅｍｅｎｔ ｎ ｂｙ １ ａｎｄ ｇｏ ｔｏ ｓｔｅｐ ２．

【図面の簡単な説明】
【図１】図１は、動き補償を伴う、ビデオ情報の時間的サブバンド分解を示す。
【図２】図２は、原ＳＰＩＨＴアルゴリズムにおける空間的依存性を示し、矢印はＹ面、Ｕ面及びＶ面における親子関係を示している。
【図３】図３は、図２に対して、本発明による符号化方法の実施により導入された、カラー面分解の間の付加的依存性を示す。
【図４】図４は、原ＳＰＩＨＴアルゴリズムにおけるＬＩＳ及びＬＩＰリストの初期構造を示す。
【図５】図５は、本発明による方法の場合の上記初期構造を示す。

Claims (3)

1. フレームの群に編成された連続したフレームを含むようなビデオ系列を圧縮する符号化方法であって、各フレームが所与の数の連続した解像度レベルに繋がるような三次元（３Ｄ）ウェーブレット変換により分解され、前記方法は“階層ツリーへの集合分割（ＳＰＩＨＴ）”と呼ばれる階層的サブバンド符号化処理に基づくもので、各群のフレームの画素（ピクセル）の原集合から、二進フォーマットで符号化されると共に階層ピラミッドを構成するようなウェーブレット変換係数に導き、これら係数は上記３Ｄウェーブレット変換から生じる最低周波数（又は近似サブバンド）に根を下ろすと共に高い周波数サブバンドにおける子により完成される空間時間的オリエンテーションツリーに編成され、該ツリーの係数は前記ピクセルを含むと共に重要度の各レベルに対応する分割集合に並べられ、これら集合は重要度情報の重要でない集合のリスト（ＬＩＳ）、重要でないピクセルのリスト（ＬＩＰ）及び重要なピクセルのリスト（ＬＳＰ）と呼ばれる３つの順序づけられたリストへの分類に繋がる振幅テストにより定義され、前記テストは各重要係数が前記二進表現内で符号化されるまで継続するような分割処理により前記ピクセルの原集合を前記分割集合へ分割するために実行され、前記空間時間的オリエンテーションツリーは前記階層ピラミッド内の空間時間関係を規定し、前記ＳＰＩＨＴのアルゴリズムが下記のステップ、即ち初期化、分類パス（又は複数のパス）、改良パス及び量子化ステップ更新なる各ステップを有しているような符号化方法において、該方法が付録Ｂに示されるアルゴリズムにしたがい、
   （ａ）前記初期化ステップにおいて、
   −　３つのカラー面Ｙ、Ｕ及びＶにおける同一の位置に対応する３つの前記係数は前記ＬＩＳに順番に投入されて、隣接する位置を占めると共に、各重要度レベルにおいて次から次へと解析される際に全てが重要でない子を持つ場合に後続する前記分類パスに対して該ＬＩＳ内に一緒に留まるようにし、
   −　輝度における重要でない子がクロミナンスにおける重要でない子を暗示するような最終ビット面ｎ_ｉが、ルートサブバンドにおける係数の集合重要度レベルに基づいて計算されると共に、ビットストリームに出力され、
   （ｂ）ｎ_ｍａｘからｎ_ｉへ進む前記分類パス（又は複数のパス）において、輝度係数が重要でない子を有し、且つ、前記ＬＩＳにおいて該係数に後続する２つの係数により下記３つの条件：
   −　前記２つの係数は、各々、Ｕ及びＶ係数であり、
   −　前記２つの係数は、前記輝度係数と同一の空間時間的座標を有し、
   −　前記２つの係数は、重要でない子を持つ、
   が満たされる場合に、この状況がユニークシンボルのみにより符号化され、全ての他の場合には前記出力ビットストリームは元の前記ＳＰＩＨＴアルゴリズムに対して変更されない、
   ことを特徴とする符号化方法。
2. 請求項１に記載の符号化方法において、処理される前記ビデオ系列に応じて、前記ユニークシンボルによる符号化サブステップが最初の重要度レベルに限定されて最低の重要度レベルには適用されず、限界と考えられる正確な前記ビット面レベルｎ_ｉは前記初期化ステップの間において、
   ｎ_ｉ＝ｍｉｎ_{ｘ，ｙ，ｚ}｛ＳＳＬ_ｙ（ｘ，ｙ，ｚ）＞ＳＳＬ_Ｕ（ｘ，ｙ，ｚ）及びＳＳＬ_ｙ（ｘ，ｙ，ｚ）＞ＳＳＬ_Ｖ（ｘ，ｙ，ｚ）のようなＳＳＬ_ｙ（ｘ，ｙ，ｚ）｝　　　　　　　　　　　　　（１）
   なる関係により定義され、ここで、ＳＳＬは各係数に関連する集合重要度レベルであり、ｎ_ｍａｘは最大重要度レベルであることを特徴とする符号化方法。
3. 請求項１又は請求項２に記載の符号化方法により処理されたビデオ系列を伸張する復号方法において、該方法が、付録Ｂに示された前記アルゴリズムと同一のステップに従うが、“ｏｕｔｐｕｔ”処理が“ｉｎｐｕｔ”処理に置換されることを特徴とする復号方法。