JP4654244B2 - ビデオシーケンスのフレームを形成する方法 - Google Patents

Description

本発明は（「スケーリビティー」（ｓｃａｌｉｂｉｔｙ）として知られる）時間的な細分性を得るための、ビデオシーケンスのフレームを形成する方法に関する。

後に続く説明において、「細分性」（「ｇｒａｎｕｌａｒｉｔｙ／ｇｒａｎｕｌａｒｉｔｅ」）と言う用語はより大きい、又はより小さい粒子サイズを伴う選択によって解読されるビデオストリームの容量を示すであろう。単語の「フレーム」（「ｆｒａｍｅ／ｔｒａｍｅ」）又は「画像」（「ｉｍａｇｅ」）は、一つの同じオブジェクトを示すために同様に用いられるであろう。

本発明は例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ規格の背景において適用される。

ビデオ規格における細分性
「スケーラブル圧縮ビットストリーム」（「ａ ｓｃａｌａｂｌｅ ｃｏｍｐｒｅｓｓｅｄ ｂｉｔ−ｓｔｒｅａｍ」）と呼ばれる細分性を確実にする手順により圧縮されたデータストリームは、幾つかの密接に絡み合った部分集合を含む。これらの各部分集合は（画像サイズに変化をもたらす）特定の空間分解能のための初期のビデオ・コンテンツ、（ビデオフレーム・ビットレートの変化をもたらす）時間分解能、又は（量子化パラメータの変化をもたらす）表示品位に関する解像度を表わす。これらの各部分集合は、それが含む情報の効果的な圧縮に対応すると想定される。図１は時間的細分性の一例を図式的に示す。

細分性の利点は多種多様である。細分性により各瞬間における伝送条件の再評価を必要とせずに、様々な要件又は容量を満足させることが可能である。特にエンコーダの視点から、利点は後で様々なビットレートで使用されるように一度圧縮できることであり、サービスの提供者の視点から、利点はリンクの帯域幅の容量に従って様々なビットレートに切り替え得る可能性にあり、そしてユーザーの視点から、利点はユーザーが現在の要件に適応させるために彼の要件と要求をリアルタイムで容易に変更できるという事実にある。現状の伝送ネットワークの、そして有り得る他のユーザー及び干渉の存在におけるチャンネル伝送条件のために、帯域幅及び利用できる有用なビットレートが急速に変化し得る無線通信の状況において、「細分性を提供する能力」は現在重要な特性になりつつある。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ
ＩＴＵ−Ｔのビデオコード化の専門家グループ（ＶＣＥＧ）のレベルでの研究は、特定の無線ネットワークとインターネットにおいて、その実施のために妥当な複雑さのレベルを提示し、そして究極的にネットワーク適用のために容易に使用できる一方で現存の解決法と比較してより効果的な圧縮を提供する能力がある、新たなビデオ規格を確立するために１９９９年に始められた。ＭＰＥＧコンソーシアムはＶＣＥＧの専門家グループに、Ｈ．２６４又はＭＰＥＧ−４ ＡＶＣ（高度なビデオコード化）の名のもとに指定された共通の規格確立のためにパートナーシップの創設を提案した。ＩＴＵ ＪＶＴ−Ｇ０５０の文書の最終版はビデオコード化の局面のみを規定する。

現時点で、Ｈ．２６４規格の主な適用は以下の通りである。
・１Ｍｂ／ｓ未満のビットレート及び少しの時間遅れを伴う（ＵＭＴＳユニバーサル移動体通信システムのような）、例えば有線又は無線ネットワーク上のテレビ会議のようなリアルタイムの二重の音声サービスと、
・ビットレートが１〜８Ｍｂ／ｓの間にあり、時間遅れが大幅になることがある、衛星、ｘＤＬＳ、又はＤＶＤ放送の伝送（「ストリーミング」（「ｓｔｒｅａｍｉｎｇ」））用の良質及び高品質のビデオサービスと、
・（ビットレートが２Ｍｂ／ｓ未満で、時間遅れが大幅になることがある）インターネット・アプリケーションのような低いビットレートを有するビデオサービス用の、低品質のストリーム。

図２はＨ．２６４規格により定義される三つのプロファイル及び、各プロファイル用に設定された主要なツールを表わす。：
・特にテレビ会議、ＩＰ上のビデオ、及び可動性の用途に適する基本プロファイル又はベースライン（Ｂａｓｅｌｉｎｅ）。それは単にＩ（イントラ）及びＰ（予測）フレーム又はセグメントと、少しのエラー保護ツールによるコード化を統合するだけである。
・テレビ放送とビデオ放送、及び大幅な時間遅れを伴う用途に適する「主要な」（「ｐｒｉｎｃｉｐａｌ」）又はメインのプロファイル。それは特に（テレビ用途の）インターレースモード、Ｂフレーム、算術エントロピー・コード化を統合する。
・様々なチャンネル、特に無線チャンネル上の「ストリーミング」に合った「拡張」プロファイル又は「Ｘ」プロファイル。それは特にビットレートの適応解とエラー保護ツールを統合する。

Ｈ．２６４規格は有益で、他の良く知られた規格に置き換わることが出来るように見えるが、それは可変チャンネルの用途に使用されるとき、若干の主要な欠点を示す。それは時間的な細分性のためのメインプロファイル又は拡張プロファイルにおけるＢフレームの可能な使用は別として、実際何ら「細分性」の能力を備えていない。

フレームのナンバリング及び復号化の順序
現在、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格におけるビデオフレームをナンバリングするために二つの解決法が存在する。

「フレームナンバー」（「ｆｒａｍｅ ｎｕｍｂｅｒ」／「ｎｕｍｅｒｏ ｄｅ ｆｒａｍｅ」）又は「ｆｒａｍｅ＿ｎｕｍ」に依存する第一の解決法は、ストリームにおけるアクセスユニットの復号化の順序に対応する。このパラメータは画像セグメントの各ヘッダに基づき復号化され、該アクセスユニットの復号化の順に増加する。それは必ずしもデコーダが用いるであろう表示の最終順序を示さない。

第二の解決法は、デコーダにより使用されるであろう復号化されたフレーム（又はフィールド）の表示順序に対応する、画像出現番号又は「ピクチャ・オーダー・カウント」（「Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ」）に対する用語「ＰＯＣ」で慣習的に呼ばれている。それは次のようにして得られる。
− 各々のコード化されたフレームは、それぞれ「トップフィールド・オーダーカウント」（「ｔｏｐｆｉｅｌｄｏｒｄｅｒｃｎｔ」）及び「ボトムフィールド・オーダーカウント」（「ｂｏｔｔｏｍｆｉｅｌｄｏｒｄｅｒｃｎｔ」）と呼ばれる、トップフィールドの出現番号及びボトムフィールドの出現番号に相当する二つのＰＯＣパラメータと関連付けられる。
− 各々のコード化されたフィールドは、トップフィールドに関して「ｔｏｐｆｉｅｌｄｏｒｄｅｒｃｎｔ」、及びボトムフィールドに関して「ｂｏｔｔｏｍｆｉｅｌｄｏｒｄｅｒｃｎｔ」と称される「ＰＯＣ」パラメータと関連付けられる。

二つのパラメータであるトップの出現番号「トップオーダーカウント」（「ｔｏｐ ｏｒｄｅｒ ｃｏｕｎｔ」）と、ボトムの出現番号「ボトムオーダーカウント」（「ｂｏｔｔｏｍ ｏｒｄｅｒ ｃｏｕｎｔ」）との間の差は、デフォルトではゼロに等しいパラメータ「ｄｅｌｔａ＿ＰＯＣ ｂｏｔｔｏｍ」により与えられる。実際上、ノンインターレースモードによって、差のＤｅｌｔａ＿Ｐｏｃ＿ｂｏｔｔｏｍはゼロに等しい。

現在のＨ．２６４規格は三つのタイプに関してＰＯＣの値を得ることを可能にする。
− タイプ０：ＰＯＣパラメータは各ヘッダ部へ明確に送られる。
− タイプ１：ＰＯＣパラメータは復号化（ｆｒａｍｅ＿ｎｕｍ）の順序及び、調整パラメータのシーケンスに表示された増分に依存し、差異は順序において予期された変化がない場合にのみ送られる。
− タイプ２：表示順序は復号化の順序と同じである。

本発明による方法は特にＰＯＣパラメータの値を修正し、従ってタイプ０を用いる。

その他の二つのタイプ（１及び２）に関して、表示順序はフレーム番号又は「ｆｒａｍｅ＿ｎｕｍ」によって直接的又は間接的に得られる。

標準の場合、タイプ０のパラメータＴｏｐＦｉｅｌｄＯｒｄｅｒＣｎｔ（ＴｏｐＦＯＣ）は次のように得られる。
ＴｏｐＦｉｅｌｄＯｒｄｅｒＣｏｕｎｔ＝ＰＯＣＭｓｂ＋ＰＯＣＬｓｂ
ここで、文字Ｍｓｂは最上位のビットに、文字Ｌｓｂは最下位のビットに相当し、ＰＯＣＬｓｂは画像のサブ部分又はセグメントの各ヘッダに送られ、そしてパラメータＰＯＣＭｓｂはＰＯＣＬｓｂがその最大値に達した時に増やされる。

ＰＯＣの再配置により得られる表示順序の例示的配置結果は表１にて与えられる。

複数参照及び離れた参照
単純な参照モードで使用された、すなわち出現の予測が与えられた前の画像を用いてのみ実施される、これ迄のビデオコード化規格と対照的に、Ｈ．２６４規格は各Ｐセグメント（又はＰスライス）に対して最大３２までの異なるフレームを参照として使用すること、及び各Ｂセグメント（又はＢスライス）に対して最大６４までの異なるフレームを使用することを可能にする。コード化及び復号化され、参照として利用できる画像は、復号化された画像（復号化されたピクチャ・バッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）の略であるＤＰＢ）を含むメモリ内に格納される。それらはＰｉｃＯｒｄｅｒＣｏｕｎｔの関数として指標付けされた「短期画像参照」の表現としてより良く知られる、近い参照を有する画像として参照されるか、又は離れた参照画像カウンターであるＬｏｎｇＴｅｒｍＰｉｃＮｕｍの関数として指標付けされた「長期画像参照」としてより良く知られる、離れた参照を有する画像として参照される。ＤＰＢメモリが一杯のとき、近い参照を有する最も古い期間のみがメモリから除去される。「長期」参照はビットストリームにおける明確なコマンドは別として、除去されない。

本発明は少なくとも、
− 最も重要なフレームを規則正しく配置し、一方でそれらの間に間隔を置くステップと、
− 該間隔をより低い重要度のフレームで充たすステップと、
− こうして得られた新たなシーケンスをコード化するステップと
に適合したミキシングテーブルを利用するステップを含むことを特徴とする、ビデオシーケンスのフレーム又はピクチャ・グループＧＯＰを形作る手順に関する。

本発明はとりわけＨ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に完全に適合しているという利点を与える。Ｈ．２６４規格は現在標準化されている機能性を適応させる必要なしに、提案された時間的細分性モードを用いることができ、定義された全てのプロファイル、特に基本プロファイルのためにそうすることができる。本発明を用いることにより、Ｈ．２６４エンコーダは「拡張性のないコードストリーム」（「ｎｏｎ−ｓｃａｌａｂｌｅ ｃｏｄｅｓｔｒｅａｍ」）の表現でより良く知られている、細分性を提供出来ないデータストリームと比較して、時間的細分性の性能を冗長性に関して低コスト又はコストなしで提供するであろう。

本発明の他の特徴及び利点は、図面と共に全く制限されない例証のために与えられた例に従う説明を読むことにより、より明らかになるであろう。

本発明はとりわけＨ．２６４規格により提案されているフレームのナンバリングにおいて、第一にデータを効率的にコード化し、第二にビデオシーケンスの洗練レベルに従ってデータを伝送する、二つのシステムの使用に依存する。本原理は特に、最も重要なフレーム（最も低いビットレートに関して復号化されるであろうフレーム）を規則正しい方法で再配置することによりフレームをミックスし、該最重要フレーム間の間隔をより低い重要度のフレーム（最も高いビットレートでのみ復号化されるであろうフレーム）で充たし、そしてこの新たなシーケンスをあたかもそれが従来のシーケンスであるかのようにコード化することから成る。このミックスモードは第一に時間的細分性及び、Ｂフレームを用いる必要なしに再帰的な予測を得ること、そして第二にシーケンスにおいて規則正しい方法で（最初のイントラフレームを含む）参照フレームを位置付けることを可能にする。フレーム同士はそれらの参照よりもシステム的に近いため、これは圧縮におけるゲイン及び、マスキング（又は「隠すこと」（「ｃｏｎｃｅａｌｍｅｎｔ」））の場合の視覚的復元（又は「レンダリング」（「ｒｅｎｄｅｒｉｎｇ」））におけるゲインをもたらすことが可能である。

フレームの再配置を通じた時間的細分性
上述のように、時間的細分性を有するビデオコード化・アルゴリズムは、初期のバイナリストリームに基づく様々な時間分解能を有するシーケンスのビデオデコーダによる抽出を可能にする。そのような「細分性」を可能にするため、図１でピクチャ・グループ又はＧＯＰに例示されるように、各々がビデオシーケンスの残りと無関係なグループとして復号化されることのできる、連続的なフレームの番号に対応する幾つかの重要度レベルが定義される。

図１において、低いビットレートのデータストリームを有する基本レベル、三つの中間的ビットレートのフレーム又は画像を有する第一の洗練レベル、及び高いビットレートのフレームに対する第二の洗練レベルの三段階の重要度レベルが表わされている。

時間的細分性は、このようにＧＯＰの部分集合のより大きいか又はより小さい番号を復号化することにより得られる。実際に、可変の重要度レベルが時間にわたって等しいか又は実質的に等しい方法で分布している場合、自然な時間的細分性は画像のビットレートが、復号化された部分集合の数と関連付けられることをもたらす。

本発明による方法は、特に出来る限り規則正しく分布するような方法でピクチャ・グループＧＯＰ内のフレームを再配置することにより、先験的に細分性を得ることが出来ない手順に従ってコード化されたデータストリーム（「先験的ノンスケーラブル・コードストリーム」（「ａ ｐｒｉｏｒｉ ｎｏｎｓｃａｌａｂｌｅ ｃｏｄｅｓｔｒｅａｍ」））のために時間的細分性の特性を導入することにある。（最も低いビットレートの復号化されたフレームに相当するであろう）最も重要なフレームは、（時間的な意味で）規則正しくフレーム内に分配される。従ってこれらのフレームの間に形成されるスペースはより低い重要度のフレームを受ける。より低い重要度と呼ばれるフレームは様々な洗練レベルにあるフレームに対応する。「重要度レベル」（「ｉｍｐｏｒｔａｎｃｅ ｌｅｖｅｌ」）の表現は、ここで例えば（特により高い量子化パラメータに相当する）、より低いレベルの精度でコード化されることができるフレームを意味するために指定される。

このように再編成されたシーケンスは後で、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣタイプのエンコーダにより従来の方法でコード化され、その後同じ規格のデコーダにより復号化されることが可能である。

可能な規則正しい分布は、ピクチャ・グループの中央でのイントラフレーム又はＩフレームの位置決め、及びその他の予測されるフレーム又はＰフレームの規則正しい分布に相当し得る。

全体的又は準全体的な互換性は、エンコーダが復号化の初期オーダーをＰＯＣ値として用いるように強制することによりデコーダ側で得られる。

本発明による手順の様々な実施用変形の実行が可能であり、その中の三つが全く無制限の例示によって与えられている。それらは図式的に図３、４及び５において示される。

図３はフレームを再配置する操作が、Ｈ．２６４エンコーダ２の前にあるインターレース手段Π又は１の助けにより、直接ビデオシーケンスに適用される変形を示す。例えば、この図においてグループは１、２、３、４、５、６、及び７（シーケンスＳ１）と番号を付けられた７つの画像を含み、それらはインターレースの第一ステップの後で、図中の再ナンバリングＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇに対応する、シーケンスＳ２＝４、２、６、１、３、５、及び７へと再編成されている。Ｈ．２６４エンコーダはこのシーケンスＳ２を例えばイントラフレームＡとして捉え、そしてその他の六つをＢ、．．．、Ｇに対応するＰフレームを用いて予測することによりコード化する。該エンコーダはまたＰＯＣフィールド内への正しい復号化順序の挿入を可能にするため、該再配置又は使用されるインターレース・テーブルから情報を受け取る。伝送チャンネル４を経由して伝送されるＨ．２６４コードストリームは規格に完全に適合し、Ｈ．２６４／ＭＰＥＧ−４−ＡＶＣ規格に適合したあらゆるデコーダ３により直接復号化される。このバージョンはエンコーダの軽微な変更により、Ｈ．２６４デコーダを用いて直接実施される利点を有する。

図４はフレームを再配置する操作が、シーケンスＳ２＝４、２、６、１、３、５、及び７を生じさせるために、インターレース手段５を用いてビデオシーケンスＳ１＝１、２、３、４、５、６、及び７に直接適用される、別の変形の実施形態を表わす。該シーケンスＳ２は通常の動作中には変更されない、例えばＨ．２６４タイプのビデオエンコーダ６によりコード化される。コード化されたストリームＳ’２はその後にチャンネル４により伝送され、標準のあらゆるビデオデコーダ７によって復号化される。復号化の後、該シーケンスは初期シーケンスＳ１を検索するためにインターレース解除手段８を通過する。この実施用の変形は如何なるビデオエンコーダにも適用できる利点を有するが、しかしインターレース装置及びインターレース解除装置の挿入による送信者側及び受信者側の変更を必要とする欠点を有する。

図５はフレームを再配置する操作が、インターレース作業を実施するために適応し、そして利用されるミキシングテーブルを知っている、変更されたエンコーダ９の中でコード化されるビデオシーケンスに対して行なわれる、別の変形の実施形態を図式的に表わす。このように変更されたＨ．２６４エンコーダは、ビデオシーケンスＳ１のコード化を行なう。コード化作業の間、ミキシングテーブルにより定められた順序に従って、復号化の初期順序がＰＯＣフィールド内へと挿入される。コード化されたシーケンスは、データを初期の順序に戻すために伝送されたビデオシーケンスのＰＯＣフィールド内に含まれる情報を使用するであろう、Ｈ．２６４／ＭＰＥＧ−４−ＡＶＣ規格に適合したあらゆるデコーダ１０により復号化される前に、伝送チャンネルによる伝送の後で受信される。この変形はビデオソース及びビデオデコーダに関して透過性が高く、ピクチャ・グループのレベルにおいてインターレース作業を行なうために適応可能な、あらゆるＨ．２６４タイプのエンコーダに適用可能であるという利点を提供する。

図６は初期の時間的参照｛１、２、３、４、５、６、７｝により指定された七つのフレームを含むピクチャ・グループ又はＧＯＰに関する例示的実施を表わす。ミキシング操作の原理は採用されたコード化方法が有効であるように、適切な方法で該フレームを分布させることである。実際的に、与えられたフレームＴｄに先行する全てのフレームＴｉが、この考慮されたフレームのための参照として使用できると考えることにより、例えばＧＯＰの中央で（イントラ・コード化される必要がある）最初の参照画像を用いて、規則正しい方法でフレームを再配置するためのチャートを作ることは利点である。第二の参照レベルはその後に、イントラフレームのいずれかの側で二つのサブフレームの中央に置かれ、以下同様である。

このように、最初にコード化されたフレームは必然的にＩ又はイントラフレームに対応するが、ピクチャ・グループの最初のフレームは必ずしもそうではない。

最も重要なフレーム（第一重要度レベル）について、ＧＯＰの初期順序における予測フレームと参照フレームの間の分離は、より大きいことがあるため、コード化の有効性は最適ではない。これは最も遅れたフレーム同士はイントラフレームにより近いため（参照フレームと予測されたフレームを隔てている距離の減少）、それらはより良い圧縮のレベルを提供すべきであるという事実によって補償されることが可能である。イントラフレームを最初の復号化された画像として絶対的に使用したい場合、図７によるフレームの再配置は容易に採用されることができる。

図８は七つのフレーム・グループに対して、従来技術による方法（点線のカーブ）、及び本発明による方法の実施（実線のカーブ）により得られた全体の視覚効率に関する性能の例を表わす。これらの結果は七つのフレームのピクチャ・グループに関する、視覚効率又はＰＳＮＲ（ピーク信号対雑音比）の客観的な測定結果の変遷についての検討に相当する。考慮された画像は、６４ｋｂｉｔｓ／ｓの目標総合ビットレートを有する１５フレーム／ｓのリフレッシュ速度を伴う、ＩＴＵ−Ｔにより提供された「フォアマン」（‘Ｆｏｒｅｍａｎ’）参照シーケンスである。第一の場合に（点線のカーブ）我々は七つのフレームに対し、イントラフレームに関して３１に等しく、予測されたフレームに関して３４に等しく、それによって６３．９８ｋｂｉｔｓ／ｓの最終ビットレートを与える、量子化パラメータＱＰを有するＩＰＰＰＰＰＰの順序に相当する、従来のＨ．２６４コード化／復号化により得られたＰＳＮＲの発展を見出した。第二の曲線（実線）は七つのフレームに対し、図６に与えられるミキシングテーブルに従って本発明の適用により得られたＰＳＮＲの発展を示す。三つのレベルがそれぞれ次の量子化パラメータ：第一レベル（Ｉフレーム）に対するＱＰ＝３１、洗練レベル１（Ｐフレーム）に対するＱＰ＝３３、及び６３．０３ｋｂｉｔｓ／ｓの最終ビットレートを得ることを可能にした洗練レベル２に対するＱＰ＝３８を用いてコード化されている。想定されるように、この第二の曲線に対して、三つの最も重要なフレームが（第二洗練レベルに相当する）その他四つのフレームよりも良好なＰＳＮＲの値を有し、しかしまた、一方で僅かにより大きなビットレートを有する、従来シーケンスのＰＳＮＲ３３．４２ｄＢに対して、この第二のシーケンスは３３．５４ｄＢの平均ＰＳＮＲを与えるため、これはシーケンスの平均ＰＳＮＲの低均化なしに得られるということが観察される。本発明に説明されているこの方法は、従ってビットレートに関しても、あるいは表示品位の低下に関しても、費用なしに（又はそのうえ利益を伴って）時間的な細分性を提供する。

図９は様々なサイズのピクチャ・グループ又はＧＯＰのための手順の一般化を表わす。実際には、該手順を以下の方法で実施することが可能である。
− 第一の参照イントラフレームをピクチャ・グループ又はＧＯＰの中央として選び、そして幾つかのフレームを含む残り部分をサブのピクチャ・グループ又はサブＧＯＰとして選ぶ方法と、
− 各サブＧＯＰに関して、次のステップを繰り返す方法：
サブのピクチャ・グループＧＯＰの中央を参照フレームとして取り、そして残った二つのサブピクチャ・グループを残り部分として定義する。ピクチャ・グループの中央は、例えば（ＧＯＰのサイズ＋１）／２の値の整数部分に基づいて定義され、すなわち（ＧＯＰのサイズ＋１）／２に等しいか、又は最も近いそれ未満の整数として定義される。

図９は１５フレームのピクチャ・グループに対する例を与え、図１０は１２フレームのピクチャ・グループに対する例を与える。

本発明の範囲から逸脱することなく、このアプローチを一般化させ、そして２とは異なるｎの値によって、各洗練レベルの間の効率の分割に対応するミキシングチャートを定義することができる。これは第一のイントラフレームをピクチャ・グループの中央以外の位置に置くことをもたらす。この場合、我々はこれらｎ−１の画像の一つのＩフレーム（例えば第一）、及び予測された画像に相当する残りを持つ、規則正しく分配されたｎ−１の画像を伴うであろう第一レベルを有する。第一の拡張性レベルにおいて現れるこれらｎ−２の予測された画像は、Ｉフレームと同じ重要度レベルを有する（それらは「最も重要なフレーム」（「ｆｒａｍｅｓ ｏｆ ｔｈｅ ｈｉｇｈｅｓｔ ｉｍｐｏｒｔａｎｃｅ」／「ｔｒａｍｅｓ ｄ’ｉｍｐｏｒｔａｎｃｅ ｌａ ｐｌｕｓ ｅｌｅｖｅｅ」）の部分を形成する）。我々はこのように各レベルにおけるフレームの参照フレーム数がｎ−１に等しく選ばれ、平均値ｍｉ＝Ｅ〔ｉ（ＧＯＰのサイズ＋１）／ｎ〕（ここでｉ＝１、．．．、ｎ−１）の整数部分に導くレベルのために進める。

図１０は各レベル間の目標効率の分割ｎ＝３のための例を表わす。

例において、第一のフレーム（７−Ａ）はイントラフレームであり、その他の１９フレームはＰ型の予測されたフレームである。

本発明による手順は、例えば次の用途において使用できる。
− ビデオデコーダが、それが受け取り、より低いビットレートを伴う低下したバージョンのみを与えるように選択する、コードストリームを十分なビットレートで復号化することが出来ない場合。
− エンコーダが、初期に利用できるその帯域幅が減少し、本発明による構造のおかげで最も重要度が低いことが判明した最後の画像の幾つかを犠牲にするか、又はこれらの最後の画像の表示品位を低くすることによって、それが相応に作用しなければならないという情報を与えられる場合。

時間的な細分性の例証である。 Ｈ．２６４規格の現行の構成である。 本方法の実施における変形である。 本方法の実施における変形である。 本方法の実施における変形である。 七つのフレームを含むピクチャ・グループの場合の例である。 七つのフレームを含むピクチャ・グループの場合の例である。 従来技術又は本発明による方法で得られる視覚効率の比較である。 異なるサイズのピクチャ・グループに対する手順の適用例である。 異なるサイズのピクチャ・グループに対する手順の適用例である。 異なるサイズのピクチャ・グループに対する手順の適用例である。

Claims (12)

1. ビデオシーケンスのピクチャ・グループおよびフレームをその伝送及び復号化の前に形成する手順であって、
   前記手順は、
   ミキシングステップと、
   エンコードステップとからなり、
   前記ミキシングステップは、さらに、
   一つのイントラフレーム（Ｉフレーム）とＩフレームに基づいて予測されるＮ−１個の参照フレームとが、その再生時の時間的細分が等間隔となる位置に配置されるように構成される総フレーム数がＮのピクチャ・ループ（ＧＯＰ） の各フレームに、重要度の高いフレームほどより低いビットレートで復号化されるべく所定数ｍ段階（ｍは、１、２、３・・・）の洗練レベルのいずれかをフレームの重要度に応じて設定する際、
   当該ＧＯＰの先頭から、
   ＰＬｍｉ＝平均値Ｅ〔ｎ（ＧＯＰに属する総フレーム数＋１）／Ｄ〕（Ｄは２以上の任意の整数、ｎは１から．．．Ｄ−１迄の各自然数の値をそれぞれ取る）の整数部分の値Ｆ（ＰＬｍｉ）番目の位置に対応する（Ｄ−１）個のフレームを、
   最も高いレベルの洗練レベルＬｍのフレームとして設定するとともに、Ｄが３以上であることにより同一洗練レベルのフレームが複数設定される場合は、同一の洗練レベルにおいてその再生時の出現順序がより早い位置にあるフレームを他のフレームよりも優先順位が高いフレームであると設定する洗練レベル決定ステップと、
   前記洗練レベル決定ステップにおいて前記Ｆ（ＰＬｍｉ）番目の位置に対応するフレームで前記ＧＯＰがＤ分割されることにより、洗練レベルが未設定のＤ個にグループ化されたフレーム郡それぞれをサブＧＯＰとして新たに再設定し、該再設定されたサブＧＯＰそれぞれに対して、その出現が早い位置にあるサブＧＯＰから順に、上記洗練レベル決定ステップにて示した前記ＧＯＰを当該サブＧＯＰに置き換えて、前記洗練レベルＬｍの次に重要な第（ｍ＋１）番目の洗練レベルＬ（ｍ＋１）となるＤ−１個のフレームの設定、および、その優先順位を前記洗練レベル決定ステップと同様に、順次設定するサブＧＯＰ設定ステップと、
   前記サブＧＯＰ設定ステップにおいて新たに設定されたサブＧＯＰに属するフレームの数が、Ｄ−１個以下になるまでは、前記サブＧＯＰ設定ステップによるさらなる新たなサブＧＯＰへの細分化および当該細分化されるサブＧＯＰにおいて次なる洗練レベルのフレームの設定および該次なる洗練レベルが設定されたフレームの優先順位の設定を繰り返して実行するサブＧＯＰ細分化ステップと、
   前記各フレームに設定された重要度レベルおよび前記優先順位をミキシングテーブルに記録する重要度レベル登録ステップと、
   前記ミキシングテーブルに記録された前記重要度の高いフレームから低いフレームの順で、かつ、前記優先順位が高い順で、前記ピクチャ・グループ内の各フレームの並びを前記ピクチャ・グループ内にて再配置した再配置ビデオシーケンスでのフレームの復号化順序を前記ミキシングテーブルに記録する再配置ステップと、
   前記エンコードステップは、
   前記再配置ビデオシーケンスを所定のビデオエンコード規格にてエンコードするエンコードステップと
   からなる手順。
2. 前記ミキシングステップは、前記エンコードステップの前にて行なわれ、
   前記ミキシングテーブルを参照して前記ピクチャ・グループ内における前記フレーム毎の復号化の順序を示す情報を前記フレーム内に挿入する
   ことを特徴とする請求項１に記載の手順。
3. 前記ミキシングステップは、
   前記エンコードステップの前にて行なわれ
   前記エンコードステップにより、前記再配置ビデオシーケンスがエンコードされたデータストリームがビデオデコーダに伝送される伝送ステップと、
   前記伝送ステップにて伝送された前記データストリームが前記ビデオデコーダにてデコードされるデコードステップと、
   前記デコードステップにてデコードされた前記デコードデータをインターレース解除装置に伝送し、再生時における前記フレームの出現順にて再配置された初期のビデオシーケンスを取得する初期シーケンス取得ステップと
   からなる請求項１に記載の手順。
4. 前記ミキシングステップおよび前記エンコードステップが同時に行なわれる
   ことを特徴とする請求項１に記載の手順。
5. 前記ミキシングステップは、
   再生順における時間的細分が等間隔となる位置に各フレームが配置された前記ピクチャ・グループにおいて、
   （前記ピクチャ・グループに属するフレームの総数＋１）／２の値の整数部分の値の位置にある中央のフレームを重要度が最も高いフレームであるイントラフレームとし、前記ピクチャ・グループの残りのフレームを前記イントラフレームに対する参照フレームとして選択するとともに、前記ピクチャ・グループの残りのフレームを前記中央のフレームを境に分割された残りの新たなサブグループのピクチャ・グループとしてそれぞれ新たに定義する選択ステップと、
   前記各サブグループのピクチャ・グループそれぞれに対し、
   （前記サブグループに属するフレームの総数＋１）／２の値の整数部分の値の位置にあるフレームを、前記中央フレームよりも重要度が低い新たな中央フレームとして決定し、前記各サブグループを前記決定した新たな中央フレームを境に分割される残りの新たな２つのサブグループのピクチャ・グループとして新たに再定義するサブグループ再定義ステップを、
   前記サブグループ再定義ステップにて新たに再定義されたサブグループがさらに分割できなくなるまで繰り返す繰り返しステップと
   を含む
   ことを特徴とする請求項１に記載の手順。
6. 前記エンコードステップ、又は、前記デコードステップによる復号化は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に対応する
   請求項１に記載の手順。
7. 一つのイントラフレーム（Ｉフレーム）とＩフレームに基づいて予測されるＮ−１個の参照フレームとが、その再生時の時間的細分が等間隔となる位置に配置されるように構成される総フレーム数がＮのピクチャ・ループ（ＧＯＰ） の各フレームに、重要度の高いフレームほどより低いビットレートで復号化されるべくｍ段階（ｍは、１、２、３・・・）の洗練レベルのいずれかをフレームの重要度に応じて設定する際、
   当該ＧＯＰの先頭から、
   ＰＬｍｉ＝平均値Ｅ〔ｎ（ＧＯＰに属する総フレーム数＋１）／Ｄ〕（Ｄは２以上の任意の整数、ｎは１から．．．Ｄ−１迄の各自然数の値をそれぞれ取る）の整数部分の値Ｆ（ＰＬｍｉ）番目の位置に対応する（Ｄ−１）個のフレームを、
   最も高いレベルの洗練レベルＬｍのフレームとして設定するとともに、Ｄが３以上であることにより同一洗練レベルのフレームが複数設定される場合は、同一の洗練レベルにおいてその再生時の出現順序がより早い位置にあるフレームを他のフレームよりも優先順位が高いフレームであると設定し、
   前記Ｆ（ＰＬｍｉ）番目の位置に対応するフレームで前記ＧＯＰがＤ分割されることにより、洗練レベルが未設定のＤ個にグループ化されたフレーム郡それぞれをサブＧＯＰとして新たに再設定し、該再設定されたサブＧＯＰそれぞれに対して、その出現位置が早いサブＧＯＰから順に、前記ＧＯＰを当該サブＧＯＰに置き換えて、前記洗練レベルＬｍの次に重要な第（ｍ＋１）番目の洗練レベルＬ（ｍ＋１）のＤ−１個のフレームの設定、および、その優先順位を同様に順次設定し、
   前記新たに設定されたサブＧＯＰに属するフレームの数が、Ｄ−１個以下になるまでは、前記サブＧＯＰ設定ステップによるさらなる新たなサブＧＯＰへの細分化および当該細分化されるサブＧＯＰにおいて次なる洗練レベルのフレームの設定および該次なる洗練レベルが設定されたフレームの優先順位の設定を繰り返して実行し、
   前記各フレームに設定された重要度レベルおよび前記優先順位をミキシングテーブルに記録し、
   前記ミキシングテーブルに記録された前記重要度の高いフレームから低いフレームの順で、かつ、前記優先順位が高い順で、前記ピクチャ・グループ内の各フレームの並びを前記ピクチャ・グループ内にて再配置した再配置ビデオシーケンスでのフレームの復号化順序を前記ミキシングテーブルに記録するインターレーサ（５）
   と、
   前記インターレーサ（５）にて作成された前記再配置ビデオシーケンスをエンコードするビデオエンコーダ（６）と
   を少なくとも具備する
   ビデオシーケンスのピクチャ・グループおよびフレームをその伝送及び復号化の前に形成する装置。
8. 一つのイントラフレーム（Ｉフレーム）とＩフレームに基づいて予測されるＮ−１個の参照フレームとが、その再生時の時間的細分が等間隔となる位置に配置されるように構成される総フレーム数がＮのピクチャ・ループ（ＧＯＰ） の各フレームに、重要度の高いフレームほどより低いビットレートで復号化されるべくｍ段階（ｍは、１、２、３・・・）の洗練レベルのいずれかをフレームの重要度に応じて設定する際、
   当該ＧＯＰの先頭から、
   ＰＬｍｉ＝平均値Ｅ〔ｎ（ＧＯＰに属する総フレーム数＋１）／Ｄ〕（Ｄは２以上の任意の整数、ｎは１から．．．Ｄ−１迄の各自然数の値をそれぞれ取る）の整数部分の値Ｆ（ＰＬｍｉ）番目の位置に対応する（Ｄ−１）個のフレームを、
   最も高いレベルの洗練レベルＬｍのフレームとして設定するとともに、Ｄが３以上であることにより同一洗練レベルのフレームが複数設定される場合は、同一の洗練レベルにおいてその再生時の出現順序がより早い位置にあるフレームを他のフレームよりも優先順位が高いフレームであると設定し、
   前記Ｆ（ＰＬｍｉ）番目の位置に対応するフレームで前記ＧＯＰがＤ分割されることにより、洗練レベルが未設定のＤ個にグループ化されたフレーム郡それぞれをサブＧＯＰとして新たに再設定し、該再設定されたサブＧＯＰそれぞれに対して、その出現位置が早いサブＧＯＰから順に、上記前記ＧＯＰを当該サブＧＯＰに置き換えて、前記洗練レベルＬｍの次に重要な第（ｍ＋１）番目の洗練レベルＬ（ｍ＋１）のＤ−１個のフレームの設定、および、その優先順位を同様に、順次設定し、
   前記新たに設定されたサブＧＯＰに属するフレームの数が、Ｄ個以上である限りは、前記サブＧＯＰ設定ステップによるさらなる新たなサブＧＯＰへの細分化および当該細分化されるサブＧＯＰにおいて次なる洗練レベルのフレームの設定および該次なる洗練レベルが設定されたフレームの優先順位の設定を繰り返して実行し、
   前記各フレームに設定された重要度レベルおよび前記優先順位をミキシングテーブルに記録し、
   前記ミキシングテーブルに記録された前記重要度の高いフレームから低いフレームの順で、かつ、前記優先順位が高い順で、前記ピクチャ・グループ内の各フレームの並びを前記ピクチャ・グループ内にて再配置した再配置ビデオシーケンスでのフレームの復号化順序を前記ミキシングテーブルに記録するインターレーサ（１）と、
   前記インターレーサにて配置された各フレームの復号化時のビットレートの低い順におよびフレームの再生順にて復号化されるよう前記各フレーム内に復号化の順序を挿入してエンコードするエンコーダ（２）と
   を少なくとも具備する
   ビデオシーケンスのピクチャ・グループおよびフレームをその伝送及び復号化の前に形成する装置。
9. 前記請求項８のビデオシーケンスのピクチャ・グループおよびフレームをその伝送及び復号化の前に形成する装置と、
   前記フレーム内に挿入されたピクチャ・グループにおける復号化の順序にて前記フレームを復号化するビデオデコーダ（３）とを
   具備する
   ことを特徴とするコード化／復号化装置。
10. 請求項８のビデオシーケンスのピクチャ・グループおよびフレームをその伝送及び復号化の前に形成する装置と、
    前記装置からチャンネルを介して伝送されたデータストリームを復号化するビデオデコーダ（７）と、
    前記ビデオデコーダ（７）にて復号化されたデコードデータにおけるフレームの配置をフレームの再生順序に再配置するインターレース解除装置（８）と
    をさらに具備する
    ことを特徴とする請求項９記載のコード化／復号化装置。
11. 前記ビデオシーケンスのピクチャ・グループおよびフレームをその伝送及び復号化の前に形成する装置は、
    前記復号化の順序を各フレームに挿入する
    前記請求項７に記載のビデオシーケンスのピクチャ・グループおよびフレームをその伝送及び復号化の前に形成する装置。
12. 前記エンコーダあるいは前記デコーダは、
    Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に対応する
    ことを特徴とする請求項７及至１１のいずれか一項に記載の装置。

Images