JP2005110267A - ワイヤレスで映像を伝送するための方法 - Google Patents

Abstract

【課題】映像に適した伝送システムを提供する。
【解決手段】映像を伝送する際に、映像に関する所定のフレームレートでの受信機における提示のために、前記映像の第一の複数のパケットを伝送する第一の平均レートを決定し、複数の前記第一の複数のパケットを含む前記映像の第二の複数のパケットを伝送する第二の平均レートを決定する際に、前記第二の複数のパケットが前記第一の複数のパケットより少なく、前記第二の平均レートが前記第一の平均レートより大きくなるように決定し、前記第二のセットのパケットを、送信機から前記受信機にワイヤレス相互接続により伝送する。
【選択図】図１１

Description

本発明は、ワイヤレス伝送処理に関し、特に、ワイヤレスで映像を伝送するための処理に関する。

高度なテレビジョンシステムを実施する有効な方法を開発することは、現代のテレビ設計者及び製造者にとって重要な考慮事項である。従来のテレビシステムにおいて、ディスプレイデバイスは、番組ソースから受信した番組情報を表示するのに利用し得る。従来のディスプレイデバイスは、ディスプレイデバイスを入力デバイス、出力デバイス、及び動作電力と電気的に結合させる様々な物理的接続による制約のため、通常、静止位置で配置される。ディスプレイサイズ及びディスプレイ重量といったその他の考慮事項も、従来のテレビシステムにおいて、視聴者の移動性を大幅に制約する。

ポータブルテレビのディスプレイは、最適な視聴場所を選択する際に、有利なことに、視聴者に更なる柔軟性を提供し得る。例えば、家庭環境において、ポータブルテレビは、家屋全体の様々な遠隔位置で番組を視聴するために、容易に移動させ得る。したがって、ユーザは、静止ディスプレイデバイスから離れた位置で別の用事を行う間でも、テレビ番組を柔軟に視聴し得る。

しかしながら、ポータブルテレビシステムは、通常、現代のテレビシステムにおける使用の有効性を減少させる、特定の不利な動作特性を有する。例えば、制約的な物理的接続を排除するために、ポータブルテレビは、通常、遠隔地上テレビ放送機からポータブルテレビと一体化されたアンテナへ伝搬されたテレビ信号を受信する。ポータブルアンテナに関連するサイズ及び配置の制約から、こうしたポータブルテレビは、通常、比較的低い受信特性を示し、そのため、伝送テレビ信号の結果的な表示は、不適切な品質となる場合が多い。

その他の要素及び考慮事項も、高度なワイヤレステレビシステムを効果的に実施することに関連する。例えば、デジタルデータネットワーク技術とワイヤレスデジタル伝送手法との発展は、ポータブルテレビシステムに更なる柔軟性と品質の向上とを提供し得る。しかしながら、現在のワイヤレスデータネットワークは、通常、映像情報の柔軟な送信及び受信に最適化されていない。

更に、（アナログ及びデジタルの両方での）潜在的な番組ソースの数の大幅な増加は、選択して視聴できる豊富な番組データを提供することで、システムユーザの利益となる。特に、柔軟に使用される家庭用の経済的なワイヤレステレビシステムによって、テレビ視聴者は、ポータビリティを促進すると同時に、番組ソースの選択肢の数を増加させることで、テレビ視聴体験を大幅に改善することが可能となり得る。

しかしながら、システムの複雑性の大幅な増加により、こうした高度なワイヤレステレビシステムは、様々なシステム構成要素と機能性の制御及び相互作用を効果的に管理する追加的なリソースを必要とする場合がある。そのため、上記の全ての理由から、高度なテレビシステムを実施する有効な方法の発展は、現代のテレビシステムの設計者及び製造者にとって、依然として重要な考慮事項となっている。

多数のメディア再生システムは、映像画像ストリームのような連続的メディアストリームを使用してメディアコンテンツを出力している。しかしながら、一部の連続的メディアストリームは、その未加工形態において、効果的及び／又はタイムリな伝送のために、高い伝送レート、又は帯域幅を要する場合が多い。多くの場合において、必要な伝送レートを提供するコスト及び／又は作業は、法外なものとなる。この伝送レートの問題は、高度にパックされたデータを形成するためにコンテンツの連続性を利用する圧縮方式によって解消される場合が多い。映像用のＭｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）方式及びその変種等の圧縮方法は、広く知られている。ＭＰＥＧ及び類似する変種は、フレーム間での画像ブロックの動作推定を使用して、こうした圧縮を実行する。高品位テレビ（ＨＤＴＶ）において使用される１０８０ｉの解像度のような、極めて高い解像度において、こうした映像画像ストリームのデータ伝送レートは、圧縮後でも非常に高くなる。
米国特許出願公開第２００２／０１４０８５１Ａ１号明細書 ワン、ビンセント，「多重映像プログラムの共同コーディングに関するビット割り当て及び限定」、映像技術の回路及びシステムに関するＩＥＥＥトランザクション、Ｖｏｌ.９、Ｎｏ.６、１９９９年９月

こうした高データ伝送レートによって生じる問題の一つは、データストレージである。任意の適当な時間に渡って高解像度な映像画像ストリームを記録又は保存するには、法外に高価となる可能性のある膨大なストレージが必要になる。また、高データ伝送レートによって生じる別の問題は、多くの出力デバイスがこうした伝送を扱う能力を有していないことである。例えば、低解像度の映像画像ストリームを視聴するのに使用可能なディスプレイシステムは、こうした高解像度を表示できない場合がある。更に別の問題は、帯域幅又は容量が限られたネットワークにおける連続的メディアの伝送である。例えば、多数の受信／出力デバイスを伴うローカルエリアネットワークでは、こうしたネットワークは限られた帯域幅又は容量を有する場合が多いため、多数の受信／出力デバイスを同時にサポートすることが物理的及び／又はロジスティック的に不可能である。

例えば、２００２年１０月３日に公開されたラクソノの特許文献１には、帯域幅が限られたネットワークにおける多重圧縮映像ストリームのための適応的な帯域幅範囲の一致について開示されている。

また、非特許文献１において、いくつかの映像プログラムが圧縮され、多重化され、単一チャネルで伝送される、多重プログラム伝送システムについて説明されている。プログラムの総ビットレートは、帯域幅（例えば、チャネルレート）と等しく（或いは、それ未満に）なる必要がある。これは、個別の各プログラムビットレート（独立コーディング）又は総ビットレート（共同コーディング）のいずれかを制御することで達成できる。したがって、こうしたビットレート割り当てを達成するためには、１５０メガビット／秒の帯域幅を有するチャネルでは、伝送されるビットレートを測定することで分配されるチャネル帯域幅により、第一のプログラムは７５メガビット／秒、第二のプログラムは２５メガビット／秒、第三のプログラムは５０メガビット／秒を使用してよい。

本発明は、上述のごとき課題を解決するために、以下の技術手段により構成される。
本発明の第１の技術手段は、映像を伝送する方法であって、
（ａ）前記映像に関する所定のフレームレートでの受信機における提示のために、前記映像の第一の複数のパケットを伝送する第一の平均レートを決定する工程と、
（ｂ）複数の前記第一の複数のパケットを含む前記映像の第二の複数のパケットを伝送する第二の平均レートを決定する際に、前記第二の複数のパケットが前記第一の複数のパケットより少なく、前記第二の平均レートが前記第一の平均レートより大きくなるように決定する工程と、
（ｃ）前記第二のセットのパケットを、送信機から前記受信機にワイヤレス相互接続により伝送する工程と、
を含んでなることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記第二のセットのパケットが、前記送信機に最大許容レートで提供されることを特徴としたものである。

第３の技術手段は、第１の技術手段において、前記第二のセットのパケットが、パケットのバーストとして提供されることを特徴としたものである。

第４の技術手段は、第１の技術手段において、前記ワイヤレス相互接続が、８０２.１１準拠であることを特徴としたものである。

第５の技術手段は、第１の技術手段において、前記第二のセットのパケットが、前記映像を含まないパケットを含むことがないことを特徴としたものである。

第６の技術手段は、第１の技術手段において、前記第二のセットのパケットが、一秒未満の継続時間で伝送されることを特徴としたものである。

第７の技術手段は、第１の技術手段において、前記伝送が、アプリケーション層によるものであることを特徴としたものである。

第８の技術手段は、映像を伝送する方法であって、
（ａ）前記映像の複数のパケットを伝送する伝送レートを決定する際に、前記伝送レートが、前記映像に関する所定のフレームレートでの受信機における提示のために前記映像を伝送する平均パケットレートよりも高くなるように決定する工程と、
（ｂ）前記映像の前記複数のパケットを、ワイヤレス相互接続により、前記映像を含まないパケットを含むことがないように、送信機から前記受信機に伝送する工程と、
を含んでなることを特徴としたものである。

第９の技術手段は、第８の技術手段において、前記複数のパケットが、前記送信機に最大許容レートで提供されることを特徴としたものである。

第１０の技術手段は、第８の技術手段において、前記複数のパケットが、パケットのバーストとして提供されることを特徴としたものである。

第１１の技術手段は、第８の技術手段において、前記ワイヤレス相互接続が、８０２.１１準拠であることを特徴としたものである。

第１２の技術手段は、第８の技術手段において、前記複数のパケットが、一秒未満の継続時間で伝送されることを特徴としたものである。

第１３の技術手段は、第８の技術手段において、前記伝送が、アプリケーション層によるものであることを特徴としたものである。

第１４の技術手段は、映像を伝送する方法であって、
（ａ）前記映像に関する所定のフレームレートでの受信機における提示のために、前記映像を伝送する平均パケットレートよりも高いレートで、前記映像の複数のパケットを送信機から伝送する工程と、
（ｂ）前記送信機とワイヤレス接続により相互接続された受信機で前記複数のパケットを受信する工程と、
（ｃ）前記複数のパケットを受信する工程に基づいて、前記送信機と前記受信機との間の前記相互接続の帯域幅を推定する工程と、
（ｄ）前記推定に基づいて、前記レートを修正する工程と、
を含んでなることを特徴としたものである。

第１５の技術手段は、第１４の技術手段において、多数の前記複数のパケットが、前記送信機から前記受信機へ伝送されることを特徴としたものである。

第１６の技術手段は、第１４の技術手段において、前記相互接続の帯域幅の推定が、多数の前記複数のパケットに基づくものであることを特徴としたものである。

第１７の技術手段は、第１４の技術手段において、前記推定が、伝送中の前記複数のパケットの損失の測定に基づいていないことを特徴としたものである。

第１８の技術手段は、映像を伝送する方法であって、
（ａ）前記映像に関する所定のフレームレートでの受信機における提示のために、前記映像を伝送する平均パケットレートよりも高いレートで、前記映像の複数のパケットを送信機から送信機アプリケーション層により伝送する工程と、
（ｂ）前記送信機とワイヤレス接続によって相互接続された受信機において受信機アプリケーション層で前記複数のパケットを受信する工程と、
（ｃ）前記複数のパケットを前記受信機アプリケーション層で受信する工程に基づいて、前記送信機と前記受信機との間の前記相互接続の帯域幅を推定する工程と、
を含んでなることを特徴としたものである。

第１９の技術手段は、第１８の技術手段において、前記推定に基づいて、前記レートを修正する工程を更に含むことを特徴としたものである。

第２０の技術手段は、第１８の技術手段において、前記相互接続の帯域幅の推定が、多数の前記複数のパケットに基づくものであることを特徴としたものである。

第２１の技術手段は、第１８の技術手段において、前記推定が、伝送中の前記複数のパケットの損失の測定に基づいていないことを特徴としたものである。

第２２の技術手段は、映像を伝送する方法であって、
（ａ）前記映像の複数のパケットを送信機から伝送する工程と、
（ｂ）前記送信機とワイヤレス接続により相互接続された受信機で前記複数のパケットを受信する工程と、
（ｃ）前記複数のパケットの多数を受信する工程に基づいて、前記送信機と前記受信機との間の前記相互接続の帯域幅を推定する工程と、
（ｄ）前記推定に基づいて、前記レートを修正する工程と、
（ｅ）前記複数のパケットの多数が異なる時間的順序で受信された場合に、前記推定が異なるようにする工程と、
を含んでなることを特徴としたものである。

図１は、限られた帯域幅を有し得るネットワークにおいて多重データストリームを伝送するシステムを例示している。このシステムは、中央ゲートウェイメディアサーバ２１０と、複数のクライアント受信機ユニット（ラップトップ２３０、コンピュータ２４０、ビューイングユニット２５０）とを含む。中央ゲートウェイメディアサーバ２１０は、多重データストリームを送信可能な任意のデバイスにしてもよい。入力データストリームは、ゲートウェイメディアサーバ２１０に格納してもよく、或いは、衛星テレビ（衛星テレビ放送）２６０、デジタル映像ディスクプレイヤ、映像カセットレコーダ、又はケーブル（ケーブルヘッドエンド）２６５のような外部ソースから取得してもよく、圧縮形式でクライアント受信機ユニット２３０、２４０、２５０に伝送される。データストリームは、ディスプレイデータと、グラフィックデータと、デジタルデータと、アナログデータと、マルチメディアデータと、オーディオデータと、その他とを含むことができる。ゲートウェイメディアサーバ２１０の適応的帯域幅システムは、ネットワーク帯域幅特性を決定し、帯域幅特性に従って出力データストリームの帯域幅を調節する。

既存の一システムにおいて、各ストリームに関するメディアの各ユニットの開始時間は、そのユニットの推定伝送時間に対して一致させる。任意の実際の伝送時間が所定の閾値だけ推定伝送時間を上回る時、ネットワークは、飽和状態に近い、或いは既に飽和状態であると考えられ、システムは、少なくとも一つのストリームを、合計帯域幅使用量を低減するための対象として選択してよい。クライアント受信機ユニットに関連する対象ストリームが選択されると、対象ストリームは、より少ないデータを伝送するように修正され、結果として低いデータ伝送レートが生じ得る。例えば、伝送されるデータの減少は、対象ストリームで実行されるデータ圧縮の度合いの漸進的増大によって達成可能であり、これにより、対象ストリームの解像度は低減される。データ圧縮の度合いの増大のみでは、帯域幅の飽和を防止するために、伝送されるデータが十分に低減されない場合、対象ストリームの解像度を低減することもできる。例えば、対象ストリームが映像ストリームである場合、フレームサイズを縮小し、フレーム毎のデータ量を減らし、これによりデータ伝送レートを低減できる。

背景として、様々なタイプのコンテンツでの許容可能な品質のための帯域幅要件は、大幅に異なる。例えば、ＣＤオーディオは、一般に、約１Ｍｂｐｓで伝送され、標準品位映像（ＭＰＥＧ−２）は、一般に、約６Ｍｂｐｓで伝送され、高品位映像（ＭＰＥＧ−２）は、一般に、約２０Ｍｂｐｓで伝送され、多重オーディオ／映像ストリームは、一般に、約５０乃至１５０Ｍｂｐｓ以上で伝送される。

全体的な品質は、例えば、ピーク信号対雑音比率、遅延（有効なリアルタイム双方向通信では１００ｍｓ未満）、オーディオと映像との同期（通常１０ｍｓ未満）、及びジッタ（時間の異なる遅延）のような、多くの異なる方法で表現できる。多くの場合において、オーディオ／映像ストリームは単方向だが、通信用のバックチャネルを含んでもよい。

本発明者が確認した多くの特性は、オーディオ／ビジュアル伝送システムにおいて上記の手法で改良された結果を達成するために考慮し得る。

（１）デバイスは、様々な物理的位置に配置される場合があり、ユーザは、時間と共に、ゲートウェイに対するこうしたデバイスの位置を変化させ得る。例えば、ユーザは、ゲートウェイの近く又はゲートウェイから遠くにデバイスを移動させる場合があり、或いは、物理的環境が時間と共に大幅に変化する場合があり、これらは両方とも、デバイスのワイヤレスネットワークの性能に影響を与え、したがって、他のデバイスの利用可能な帯域幅に影響を与える。この結果、予想外の動的に変化する帯域幅が生じる。

（２）ネットワークに相互接続された様々なデバイスは、異なるリソースと異なる使用パラダイムとを有する。例えば、様々なデバイスは、異なるマイクロプロセッサと、異なるメモリ要件と、異なるディスプレイ特性と、異なる接続帯域幅能力と、異なるバッテリリソースとを有し得る。加えて、異なる使用パラダイムは、例えば、モバイルハンドヘルドデバイス対テレビ対パーソナル映像レコーダを含んでもよい。この結果、予想外の動的に変化するネットワーク最大スループットが生じる。

（３）多数のユーザは、異なるタイプのデバイスを使用して、同時にシステムからのデータへのアクセスを望む場合がある。ユーザがデータにアクセスし、データへのアクセスを停止するに従って、ネットワーク条件は、動的に変化しやすくなる。この結果、予想外の動的に変化するネットワーク最大スループットが生じる。

（４）クライアントデバイスに応じて、伝送データは、例えば、ＭＰＥＧ−２、ＭＰＥＧ−１、Ｈ.２６３、Ｈ.２６１、Ｈ.２６４、ＭＰＥＧ−４、アナログ、及びデジタルといった異なる形式にする必要があり得る。こうした異なる形式は、帯域幅に異なる影響を与える場合がある。この結果、予想外の動的に変化するネットワーク最大スループットが生じる。

（５）ゲートウェイに提供されるデータは、固定ビットレート（ＣＢＲ）又は可変ビットレート（ＶＢＲ）を含み得る圧縮ビットストリームの形態にしてもよい。この結果、予想外の動的に変化するネットワーク最大スループットが生じる。

ゲートウェイでの送受信には、例えば、ＩＥＥＥ８０２.１１、イーサネット（登録商標）、及び電力線ネットワーク（例えば、ＨｏｍｅＰｌｕｇＰｏｗｅｒｌｉｎｅＡｌｌｉａｎｃｅ）といった様々なネットワーク技術を使用してもよい。こうしたネットワークはデータ伝送に適しているが、オーディオ／映像データ伝送の性質による厳しい要件のため、オーディオ／映像コンテンツに特に適する傾向にはない。更に、提供されるネットワーク能力、特にデータ最大スループットは、本質的に予測不可能であり、上記の可変条件により動的に変化し得る。データスループットは、送信機から受信機への伝送が成功する実際の（アプリケーション）ペイロードビット（毎秒）量の観点から定義してもよい。なお、このシステムはオーディオ／映像について参照し得るが、この概念は、映像のみ及び／又はオーディオのみについても同様に使用される。

ワイヤレスネットワークの特定の一タイプ、即ち、ＩＥＥＥ ８０２.１１ａ及びＩＥＥＥ ８０２.１１ｂのような、ＩＥＥＥ ８０２.１１を参照すると、これらは、数種類のデータリンクレートで動作できる。
ＩＥＥＥ ８０２.１１ａについては、６、９、１２、１８、２４、３６、４８、又は５４Ｍｂｐｓであり、ＩＥＥＥ ８０２.１１ｂについては、１、２、５.５、１１Ｍｂｐｓである。

しかしながら、アプリケーション層によって確認される実際の最大スループットは、プロトコルオーバヘッドにより低下し、クライアントデバイスとアクセスポイント（ＡＰ）との間の距離、及びクライアントデバイスの方向性に応じて変化する。したがって、セル（例えば、一般にはＡＰを中心とする円形範囲）内のデバイスの潜在的な最大スループットは、デバイスがＡＰの近くに配置された時に最も高くなり、離れた時には低下する。距離に加えて、壁その他の建造物の存在、コードレス電話及び電子レンジの使用による無線周波妨害等、その他の要素も、実際のデータ最大スループットを低下させるのに寄与する。更に、同じＡＰと通信する同一セル内の多数のデバイスは、利用可能なセル最大スループットを共有する必要がある。

チェン及びギルバートによるケーススタディである「５ＧＨｚ ８０２.１１ａワイヤレスＬＡＮシステムの測定性能」（Ａｔｈｅｒｏｓ Ｃｏｍｍｕｎｉｃａｔｔｉｏｎｓ、２００１年８月２７日）は、オフィス環境にあるＩＥＥＥ ８０２.１１ａシステムの実際の最大スループットが、２４フィートで僅か約２３Ｍｂｐｓとなり、７０フィートを超える範囲では、２０Ｍｂｐｓ未満（ほぼ単一の高品位映像信号のレート）に落ち込むことを示している。８０２.１１（ｂ）システムの最大スループットは、僅か６Ｍｂｐｓであり、２５フィートを超える範囲で６Ｍｂｐｓ未満（ほぼ単一のＤＶＤ品質の標準品位映像信号のレート）に落ち込む。この報告では、半径６５フィートの円形セル（米国の大型の家屋において一般的なもの）の内部での平均スループットを、８０２.１１ａ及び８０２.１１ｂに関して、それぞれ２２.６Ｍｂｐｓ及び５.１Ｍｂｐｓとしている。したがって、映像レートが大幅に減少されない限り、８０２.１１ａシステムを使用して、標準品位及び高品位映像信号を二つのクライアントデバイスに同時にストリームすることは実現できないことが観察され得る。更に、その他の状況でも、同様に、数種類のオーディオヴィジュアル信号からの競合トラフィックが関与する。更に、ワイヤレス通信は、以前に説明したように、コードレス電話及び電子レンジといった、ネットワークを認知しないデバイスによる無線周波数干渉を受ける。こうした干渉は、ネットワーク性能の予測できない動的な変化、即ち、データ最大スループット／帯域幅の損失につながる。

８０２.１１システムのようなワイヤレスローカルエリアネットワーク（ＷＬＡＮ）は、物理（ＰＨＹ）及びメディアアクセス制御（ＭＡＣ）層での効率的なエラー検出及び補正手法を含む。これは、通知フレーム（パケット）の送信と、失われたと考えられるフレームの再送信とを含む。こうしたソースによるフレーム再送信は、実効最大スループットの低下という代償により、メディアの本質的なエラーレートを効果的に低減する。更に、高いエラーレートによって、ネットワーク内の送信局は低い未加工データリンクレートへと切り替わる場合があり、ここでも、エラーレートを低減する一方で、アプリケーションが利用可能なデータレートを減少させる。

電力線通信に基づくネットワークは、基盤となるチャネルメディアの予測不可能で過酷な性質から、同様の課題に対処している。ＨｏｍｅＰｌｕｇ規格に基づくシステムは、データリンクレートをチャネル条件に適応させる技術を含む。８０２.１１ワイヤレスネットワークと同様に、ＨｏｍｅＰｌｕｇ技術は、エラー検出、エラー補正、及びフレームの再送信といった手法を含み、チャネルエラーレートを減らす一方で、実効最大スループットを低下させる。こうした条件の動的な性質から、ネットワークが提供する最大スループットは、（例えば、一時的に）ＡＶデータストリームの伝送に必要なデータレートを下回る。これにより、ＡＶデータの損失が発生し、知覚されるＡＶ品質の許容できない低下につながる。

こうした限定を減らすためには、（１）ネットワーク技術を改良し、オーディオ／ビジュアルデータにより適したネットワークを形成すること、及び／又は（２）オーディオ／ビジュアルデータを修正し、こうした伝送ネットワークにより適したオーディオ／ビジュアルデータを形成することが可能である。したがって、システムは、
（１）ＡＶデータの品質を連続的にリアルタイムで最適化すること、及び
（２）ネットワークの予想不可能な動的に変化する条件に適応させること、
によって、（ワイヤレス）ネットワーク上でオーディオ／ビジュアルデータを確実にストリームし得る。

したがって、動的レート適応化を含むシステムは、性能の大きな動的変化に影響されるネットワーク上での高品質なオーディオ／映像ストリームの分配を調整するのに適している。こうした変化は、送信機、干渉、又はその他の要素からの受信デバイスの距離の変化によって発生し得る。

以下の説明には、単一ストリーム動的レート適応化と、その後の多重ストリーム動的レート適応化と、その他の様々な実施形態とが含まれる。

（単一ストリーム動的レート適応化）
ネットワーク上での映像の確実なストリーミングに関する動的レート適応化を使用するシステムは、エクステンダと呼んでもよい。単一映像ストリームを処理するエクステンダの基本形態は、図２及び３に図示される。図２及び３は、システムの送信部分を表しており、第一のもの（図２）はアナログ映像入力を有し、第二のもの（図３）はデジタル（圧縮）映像入力を有する。エクステンダは、入力映像をアナログ形式かデジタル（圧縮）形式かに応じて、映像エンコーディング又はトランスコーディングモジュールを含む。入力がアナログである場合、処理ステップは、Ａ／Ｄ変換と、ＭＰＥＧ−２エンコーダ等によるデジタル圧縮及びネットワーク上での最終的な送信とを含んでよい。入力が既にＭＰＥＧ−２ビットストリーム等のデジタル形式である場合、処理は、通常のエンコーダとは異なり、着信映像を異なるビットレートの出力ストリームに圧縮するための、着信ビットストリームのトランスコーディングを含む。トランスコーディングモジュールでは、通常、ＭＰＥＧ−２ビットストリーム又はその他の適切な形式である、デジタル圧縮された入力映像ストリームのビットレートを低減する。

コーディング／トランスコーディングモジュールは、望ましい出力ビットレート（又はその他の同様の情報）を備え、このビットレートを達成するためにレート制御メカニズムを使用する。望ましい出力ビットレートの値は、ネットワークモニタモジュールによってエクステンダに提供される伝送チャネルに関する情報の一部である。ネットワークモニタは、ネットワークをモニタし、映像ストリームに利用可能な帯域幅をリアルタイムで推定する。ネットワークモニタからの情報は、エクステンダから受信機に送信される映像ストリームが利用可能帯域幅（例えばチャネルレート）に何らかの形で一致させたビットレートを有する状態を確保するために使用される。固定映像ビットレートでは、通常、品質は、フレーム毎に変化する。最適な出力ビットレートを達成するために、コーダ／トランスコーダは、映像データに適用する圧縮のレベルを増加させ、これにより、画質をゆっくりと低下させ得る。

トランスコーダの場合、これは、トランスレーティングと呼んでよい。なお、ビットストリームを修正することにより生じた画質の低下は、映像ストリームがネットワークでサポートできないビットレートで伝送された場合に被る画質の損失と比較して、最低限のものである。ネットワークでサポートできないビットレートにより被る映像データ損失は、フレームの欠落等の映像フレームの深刻なエラーと、その後のエラーの伝搬とにつながる恐れがある（ＭＰＥＧ等の映像コーディングアルゴリズムの性質による）。ネットワークモニタから得られるフィードバックは、出力ビットレートが最適なレベルに向かい、トランスレーティングによって被る品質の任意の損失が最低限のものとなる状態を確保する。

システムの受信機部分は、ＭＰＥＧ−２デコーダ等の通常の映像デコーダモジュールを含んでもよい。このデコーダは、ネットワークインタフェースと統合していてもよい（例えば、ネットワークインタフェースカードのハードウェアに組み込まれる）。代替として、受信デバイスは、ソフトウェアデコーダに依存してもよい（例えば、ＰＣである場合）。システムの受信機部分は、更に、送信機のネットワークモニタモジュールの対応部を含んでいてもよい。その場合、送信機及び受信機のネットワークモニタモジュールは、ネットワークリソースの望ましい推定をエクステンダシステムに提供するために協調する。一部の場合において、ネットワークモニタは、受信機のみに存在してもよい。

例えば、エクステンダを含むシステムが以前に説明したように映像信号を消費するクライアントデバイスにとって利用可能となるリソースに関する情報を有する場合、エクステンダは、帯域幅使用量を相応に調節することで、デバイスリソースに従って出力映像品質を更に向上又は低下させ得る。例えば、３０ｆｐｓで６４０×４８０の空間解像度を伴う４ＭｂｐｓのＭＰＥＧ−１ソースストリームについて考える。例えば、１５ｆｐｓで３２０×２４０画像解像度の再生機能を有するハンドヘルドのような、リソースが限定されるデバイスに対して伝送される場合、トランスコーダは、量子化レベルを増加させることなく、映像を単純にサブサンプリングすることで、レートを０.５Ｍｂｐｓに低減させてもよい。

別の方法では、トランスコーダは、サブサンプリングを行わずに、量子化のレベルを増大させる必要があり得る。加えて、デバイスリソースに関する情報は、共有ネットワークリソースの浪費を防止するのにも役立つ。トランスコーダは、更に、着信デジタル映像ストリームの圧縮形式を、例えば、ＭＰＥＧ−２形式からＭＰＥＧ−４形式に、変換してもよい。そのため、トランスコーダは、例えば、ビットレートを変更し、フレームレートを変更し、空間解像度を変更し、圧縮形式を変更し得る。

エクステンダも、例えば、漸進型誤審号訂正及びインタリービング等、様々なエラー制御手法を使用して、映像を処理し得る。

（動的レート適応化）
利用可能な帯域幅を管理するのに使用し得る別の手法は、一般にフィードバックを使用してビットレートを制御する動的レート適応化である。出力映像のレートは、現在利用可能な送信機から受信機へのネットワーク帯域幅より小さくなるように修正され、最も好ましくは、常に小さくなるように修正される。これにより、システムは、ワイヤレスネットワークに特に適した、固定ビットレートを有していないネットワークに適応できる。

ＭＰＥＧ映像ストリームのレート制御に関する一手法は、ＭＰＥＧグループが公開した基準ＭＰＥＧ−２コーデックアルゴリズム、いわゆるＭＰＥＧ−２テストモデル５（ＴＭ５）のものである（図１０参照）。図４を参照すると、ＴＭ５におけるレート制御は、多数のＩ、Ｐ、及びＢタイプの映像フレームで構成されるグループ・オブ・ピクチャーズ（ＧＯＰ）のレベルで開始される。ピクチャの数によるＧＯＰの長さは、Ｎ_ＧＯＰにより表される。固定ビットレート（ＣＢＲ）チャネルのレート制御は、固定数のビットＧ_ＧＯＰを、提供される（固定）帯域幅に正比例するＧＯＰに割り当てることで開始される。その後、対象数のビットが、ＧＯＰ内の特定のフレームに割り当てられる。ＧＯＰ内の各後続フレームは、コーディングされる直前に、ビットを割り当てられる。ＧＯＰ内の全フレームのコーディング後、次のＧＯＰにビットが割り当てられる。これは図４に例示されており、ここでは例示の目的からＮ_ＧＯＰ＝９としている。

時間的に変化するチャネルのための拡張は、利用可能な帯域幅がＧＯＰの持続期間に対して低速でのみ変化すると仮定可能な場合に適応できる。これは、何らかの理由で、実際のチャネル条件が低速でのみ、或いは比較的まれにのみ、変化する時に該当し得る。代替として、変化するチャネル状態を粗い時間粒度で測定することのみが可能な場合がある。いずれの場合においても、帯域幅は、区分的に一定な信号としてモデル化可能であり、変化は、（スーパー）ＧＯＰの境界でのみ認められ、したがって、Ｇ_ＧＯＰは、ＧＯＰ毎に変化することが可能となる。

しかしながら、これは、帯域幅がＧＯＰの持続時間に対して素早く変化する時、即ち、対象ビットレート及びビット割り当てに対する調節をフレーム毎、或いは、他の方法において更に頻繁に行うべきである場合に、問題を解消しない。フレーム毎の対象ビットレートの調節を可能にするためには、図５に示すような、仮想ＧＯＰの概念を導入してもよい（図１１参照）。

各仮想ＧＯＰは、実際のＭＰＥＧ ＧＯＰと同じ長さ、又は他の任意の長さにしてよく、或いは、実際のＭＰＥＧ ＧＯＰの長さの整数倍の長さを有してもよい。仮想ＧＯＰは、通常、単一のピクチャシーケンス内と同じ数のＩ、Ｐ、及びＢタイプのピクチャを含む。しかしながら、仮想ＧＯＰｓは、互いに重複してよく、次の仮想ＧＯＰは現在の仮想ＧＯＰに対して一つ（以上）のフレームだけシフトされる。Ｉ、Ｐ、及びＢタイプのピクチャの順序は、ある仮想ＧＯＰと次の仮想ＧＯＰとでは変化するが、これは各仮想ＧＯＰに対する全体的なビット割り当てには影響しない。したがって、例えば、ＴＭ５において使用させるものと同様の方法を使用して、（通常のＧＯＰではなく）仮想ＧＯＰにビットを割り当てられるが、ＧＯＰレベルのビット割り当ては、ある意味において、フレーム毎に「リスタート」される（或いは、他の方法では、異なる間隔で「リスタート」される）。

Ｒ_ｔは、フレームｔにおいてＧＯＰの残存フレームをコーディングするために利用可能なビットの残数を示すものとする。Ｓ_ｔは、時間ｔにおいてフレームをコーディングするのに実際に使用されるビット数を示すものとする。Ｎ_ｔは、フレームｔから開始し、現在のＧＯＰにおいてコーディングするための残存フレーム数を示すものとする。

ＴＭ５において、Ｒ_ｔは、シーケンスの開始時に０に設定され、ＧＯＰの開始毎にＧ_ＧＯＰだけ増分される。また、Ｓ_ｔは、ピクチャのコーディング終了時にＲ_ｔから減算される。Ｒ_ｔは、閉形式において、次のように書くことが可能であり、

ここで、Ｇ_ｐは次のように求められる定数であり、

単一のフレームをコーディングするのに利用可能なビットの平均数を示すことが明らかにできる。

時間的に変化する帯域幅を扱うためには、定数Ｇ_ｐは、ｔにより変化し得るＧ_ｔに置き換えてもよい。更に、システムは、フレームｔ毎に、即ち、仮想ＧＯＰ毎に、（１）を再計算してもよい。仮想ＧＯＰ内のフレーム残存数はＮ_ＧＯＰであるため、システムは、Ｎ_ｔをＮ_ＧＯＰで置き換え、以下のようにしてもよい。

Ｒ_ｔが与えられた後、次のステップは、タイプＩ、Ｐ、又はＢと成り得る時間ｔでの現行フレームにビットを割り当てることである。このステップでは、Ｃ_Ｉによって表される、特定のフレームのコーディングの複雑性を考慮に入れる。例えば、シーン内での複雑なオブジェクトの運動のように、コーディングが複雑になるフレームでは、特定の品質を達成するために、多くのビットをコーディングする必要がある。ＴＭ５において、エンコーダは、各タイプのフレーム（Ｉ、Ｐ、又はＢ）の複雑性の推定を維持し、複雑性は各フレームをコーディングした後で更新される。Ｃ_Ｉ、Ｃ_Ｐ、及びＣ_Ｂは、Ｉ、Ｐ、及びＢフレームの複雑性の現在の推定を表すものとする。Ｎ_Ｉ、Ｎ_Ｐ、及びＮ_Ｂは、仮想ＧＯＰにおいてエンコードされる残されたタイプＩ、Ｐ、及びＢのフレーム数を表すものとする（なお、仮想ＧＯＰｓの場合、これらは定数となる）。

ＴＭ５では、上記のパラメータに基づいて、エンコードされるＩ、Ｂ、又はＰピクチャの対象ビット数であるＴ_Ｉ、Ｔ_Ｐ、及びＴ_Ｂを計算する方法を規定している。ＴＭ５の数式は、仮想ＧＯＰｓを扱うために、次のように僅かに修正してもよい。

ここで、Ｋ_Ｉ、Ｋ_Ｐ、及びＫ_Ｂは、定数である。Ｉ、Ｂ、及びＰは、Ｉフレーム、Ｂフレーム、及びＰフレームを指し、Ｃは、複雑性の尺度である。一般的な意味で定義された任意のタイプの圧縮レート歪みモデルを同様に使用してもよい。

観察されるように、この方式により、仮想ＧＯＰに基づいてフレーム毎に（或いは仮想ＧＯＰの間隔に一致するその他の基準で）ビットの再割り当てが可能となる。一つの仮想ＧＯＰに関する使用量及びビット割り当ては、追跡してもよく、ある仮想ＧＯＰに関する未使用のビット割り当ては、次の仮想ＧＯＰに割り当ててもよい。

（多重ストリーム動的レート適応化）
上記の単一ＡＶストリームに関する基本的なエクステンダは、帯域幅の限定の原因について、或いは、存在する場合には、その他の競合ストリームについて考慮することなく、アナログ入力ストリームをエンコードし、或いは入力デジタルビットストリームのビットレートを適応化し、利用可能な帯域幅にする。以下においては、システムは、多重映像ストリームを処理する異なるエクステンダシステムを含んでよく、エクステンダシステムは、競合トラフィックの場合に多重ストリームのビットレートを制御又は調節することに責任を負う。

図６に示す多重ストリームエクステンダは、多数の映像エンコーダ／トランスコーダの最上部で「（トランス）コーダマネージャ」を利用する。図６に示すように、システムは、ｎ本の映像ストリームに関して動作し、各ソースは、アナログ（例えば、コンポジット）又はデジタル（例えば、ＭＰＥＧ−２圧縮ビットストリーム）にしてよい。ここで、Ｖ_ｎは、入力ストリームｎを表し、Ｖ’_ｎは、出力ストリームｎを表す。Ｒ_ｎは、入力ストリーム_ｎのビットレートを表し（これは入力ストリームｎが既に圧縮されたデジタル形態である場合のみ存在する）、Ｒ’_ｎは、出力ストリームｎのビットレートを表す。

各入力ストリームは、別個にエンコード又はトランスコードされるが、そのビットレートは、（トランス）コーダマネージャによって制御される。（トランス）コーダマネージャは、帯域幅に関する競合する要求を動的に処理する。（トランス）コーダマネージャは、出力映像ストリームのビットレートの合計が望ましい合計チャネルビットレートと一致するように、多重ビットストリームにビットレートを割り当てる。望ましい合計ビットレートは、ここでも、ネットワークモニタモジュールから取得され、多重映像ストリームの合計レートが利用可能な帯域幅を上回らない状態を確保する。各コーダ／トランスコーダは、ここでも何らかの形態のレート制御を使用し、ストリームに割り当てられたビットレートを達成する。

この場合、システムは、多数の受信機（図示せず）を含んでいてもよい。このシステムの各受信機は、単一ストリームの場合の受信機と同様の機能を有する。

単一ストリームの場合と同様に、多重ストリームのビットレートは、何らかの形態のビット割り当てと、こうした制約を満たすためのレート制御とによって制御されるべきである。しかしながら、多重ストリームシステムの場合、動的ビットレート適応化には、より一般的で柔軟な枠組みが有用である。これには、次のような、いくつかの理由がある。
（１）システムは、異なる特性を有し得る多数のＡＶストリームに対処するべきであり、利用可能なビットを、チャネルでサポートされるものにしたがって割り当てるべきである。
（２）システムは、部分的に予測不可能なネットワーク特性に対処するべきであり、後で説明するように、多数の受信機の場合には特別な注意が必要となる。
（３）システムは、スクリーンサイズ、サポートするフレームレート、及びその他における相違のような、受信デバイス自体の間の任意の相違を取り扱うべきである。
（４）様々な映像ソースが、コンテンツにより、重要性が異なると考えられる場合がある。更に、様々な映像ストリームが様々な場所（例えば、家屋内の異なる部屋）にいる可能性のある様々な人間（ユーザ）によって視聴されるため、システムは、様々なユーザの嗜好を考慮する必要があり得る。

結果として生じる環境の異質性は、システムの最適化中に考慮してもよい。
この目的のため、多重ストリームエクステンダシステムは、図６に示すように、随意的に、更なる情報を（伝送チャネルに関する情報に加え）トランスコーダマネージャへの入力として受信してもよい。これに含まれるのは、例えば、
各受信デバイスに関する情報と、
各映像ソースに関する情報と、
各ユーザの嗜好に関する情報と、である。

以下の小節では、最初に、このシステム内の多重ストリームのビットレートが受ける制約のタイプについて列記する。次に、上で説明したようなネットワークの特定の異質的特性を組み込むために使用される、ストリーム優先付けの考え方を説明する。その後、多重ストリーム（又は共同）動的レート適応化を達成するための様々な手法について説明する。

（多重ストリームに関するビットレート制約）
ネットワーク上の個別のオーディオ／映像ストリームのビットレートは、様々な制約を受ける。第一に、個別ストリームの合計レートは、送信機から受信機への全体的なチャネル容量又はネットワーク帯域幅より小さくしてよく、或いは同じにしてもよい。この帯域幅は、ストリーム数の増減、ネットワークの混雑、干渉、その他により、劇的に変化し得る。

更に、各個別ストリームのレートは、最小と最大との両方により区切ってもよい。最大に関する制約は、以下の理由により課せられ得る
（１）ストリームは、使用されるチャネル又はネットワークの限定による最大レートを有し得る。例えば、ワイヤレスネットワークが使用される場合、単一のデバイスに対する最大スループットは、アクセスポイントとクライアントデバイスとの間の距離に応じて変化する。なお、この最大値は、時間的に変化する。例えば、ワイヤレスネットワークのクライアントデバイスがポータブル式であり、アクセスポイントとの距離が（例えば、持ち運び中に）増加する場合、最大スループットは、低下することが予想される。
（２）ストリームは、クライアントデバイスの限定による最大レートを有し得る。クライアントデバイスは、例えば、限られたバッファサイズ又は限られた処理能力等、限られた能力又はリソースを有する場合があり、結果として、着信オーディオ／映像ストリームのレートの上限を発生させる。
（３）ストリームは、最低限の品質を保証するために、システム又は（複数の）ユーザによって課せられた最小レートを有し得る。この最低レートをシステムが提供できない場合には、デバイスへの伝送は、実行されないことがある。これは、何らかの最低品質を達成するのに役立つ。ストリームは、バッファのアンダフローを防止する目的で、最低レートを有する場合もある。

（ストリームの優先付け又は加重）
上記の（トランス）コーダマネージャは、いくつかの戦略を利用し得る。等しい量の利用可能なビットを各ストリームに割り当てることを試みてもよいが、しかしながら、この場合、ストリームの品質は、あるストリームと別のものとで、或いは時間と共に、大きく変化し得る。各ストリームの品質がほぼ等しくなるように、利用可能なビットを割り当てることを試みてもよく、この場合、非常に活発なコンテンツを伴うストリームには、活発ではないコンテンツを伴うストリームより多くのビットが割り当てられる。別のアプローチは、ユーザが様々な優先度を様々なストリームに割り当てるのを可能にし、様々なストリームの品質が（複数の）ユーザの嗜好に基づいて変化できるようにすることである。このアプローチは、一般には、（トランス）コーダマネージャが全体的な歪みを最小化する時に、各ストリームの個別の歪みに加重するのと等しい。

オーディオ／映像ストリームの優先度又は加重は、様々な形で達成してよいが、一般には、クライアントデバイスのユーザの嗜好に関連させる。なお、ここで説明する加重（優先度）は、文献においてよく見られる、マクロブック、映像フレーム、フレームのグループ、又は映像シーケンス（映像内の動作量又はテクスチャのバリエーションに関する）のエンコーディングの複雑性に対応し、映像のこうした部分で均一な品質を達成するために使用し得るタイプの加重又は係数とは異なる。ここでは、一つ（以上）のオーディオ／映像ストリームが他のものより重要であるとみなされる場合に、加重によって、いくつかのオーディオ／映像ストリームにおいて不均一な品質分布を故意に発生させる。例えば、様々な例としては、以下と、以下の組み合わせとが含まれる。

（ケースＡ）
ストリームの加重は、クライアントデバイスに関する嗜好の結果にしてもよい（図１５参照）。即ち、競合するストリームがチャネルから帯域幅を要求する場合、一方のデバイスには、このデバイスによって受信されたストリームの歪みが他方のデバイスによって受信されたストリームの等量の歪みより深刻であると判断されるように、優先度が割り当てられる。例えば、（複数の）ユーザは、一方のテレビ受信機に、その位置によって、他方に対する優先度を割り当てることを決定してもよい。（複数の）ユーザは、寝室又は書斎のテレビと比較して、（多数の視聴者によって使用される可能性が高いため）居間のテレビに大きな加重を割り当てるようにしてもよい。この場合、居間のテレビに受信されたコンテンツでは、トランスコーディングによる歪みが、他のテレビに受信されたコンテンツよりも少なくなる。別の例として、相対的な画面サイズによって、様々なテレビ受信機に優先度を割り当ててもよく、即ち、テレビセットの画面サイズが十分に小さければ、より大きなレートの低減（及び高い歪み）が許容され得る。その他のデバイスリソースも、加重又は優先度に変換してもよい。

こうした加重は、デフォルトで固定値に、或いは固定パターンを使用して、設定できる。こうした加重では、望ましい場合、ユーザからの入力がなくてもよい。こうした加重は、（セットアップ及び設置中に）一度設定してもよい。例えば、この設定は、ユーザがどのクライアントデバイスをネットワークの一部とし、どこに配置するかを決めた後、そのユーザが入力できる。このセットアップ手順は、（複数の）ユーザが新しいクライアントデバイスをネットワークに接続した時、周期的に反復できる。こうした加重は、ゲートウェイとクライアントデバイスとの相互作用の結果にしてもよい。例えば、クライアントデバイスは、それ自体について、特定のタイプのデバイスとしての通知及び説明を、ゲートウェイに対して行ってよい。この結果として、ゲートウェイは、特定の加重又は優先度の値を、このデバイスに割り当ててもよい。

（ケースＢ）
ストリームの加重は、特定の時点で特定のストリームによって搬送される（テレビ番組のような）コンテンツ項目に関連する嗜好の結果にしてよい（図１６参照）。即ち、ストリーム上で伝送される特定のタイプのコンテンツの継続時間に渡って、このストリームには、このストリームの歪みが同じ又は他のデバイスによって受信される異なるタイプのコンテンツを伴う他のストリームにおける等量の歪みより深刻であると判断されるように、優先度が割り当てられる。例えば、（複数の）ユーザは、ジャンル又はその他のコンテンツに関連する属性に基づいて、テレビ番組に優先度を割り当てることを決定してもよい。プログラムに関するこうした属性、例えば、ジャンル情報は、電子プログラムガイドから取得できる。こうしたコンテンツ属性は、コンテンツのチャネルの知識に基づいてもよい（例えば、ムービチャネル、スポーツチャネル）。（複数の）ユーザは、例えば、ゲーム番組等の他のテレビ番組と比較して、映画に対して高い加重を割り当ててもよい。この場合、多重ストリームが限られたチャネル帯域幅を争っており、あるテレビ受信機に対して一本のストリームが映画を搬送し、別のテレビに対して別のストリームが同時にゲーム番組を搬送する時、第一のストリームには、第二のストリームよりもトランスコーディングによる歪みが小さくなるような優先度が割り当てられる。

こうした加重は、デフォルトで固定値に、或いは固定パターンを使用して、設定できる。こうした加重では、望ましい場合、ユーザからの入力がなくてもよい。こうした加重は、（セットアップ及び設置中に）一度設定してもよい。例えば、この設定は、ユーザがどの（複数の）タイプのコンテンツが自分にとって重要かを決めた後、そのユーザが入力できる。その後、動作中に、ゲートウェイは、ユーザの嗜好の説明（一つ以上のユーザ嗜好）を伝送される番組の説明と一致させてもよい。実際の加重は、この一致手順の結果として設定できる。ユーザ嗜好を設定する手順は、周期的に反復できる。ユーザ嗜好は、ＭＰＥＧ−７又はＴＶ Ａｎｙｔｉｍｅのもの等、任意のタイプの嗜好にしてよい。システムは、同様に、対象ビットレートを少なくとも部分的に選択するユーザの存在（任意のユーザ又は特定のユーザ）を含んでもよい。ユーザは、リモートコントロール等の直接入力を含んでもよい。更に、システムは、対象ビットレートを選択するためにユーザ嗜好の間での優先度を含んでもよい。

また、こうした加重は、ユーザの行動を追跡するゲートウェイの結果にしてもよい。例えば、ゲートウェイは、（複数の）ユーザが頻繁に消費するコンテンツのタイプを追跡できてもよい。ゲートウェイは、（複数の）ユーザの行動からユーザ嗜好を推論できてもよい。この結果として、ゲートウェイは、特定の加重又は優先度の値を、特定のタイプのコンテンツに割り当ててもよい。

（ケースＣ）
ストリームの想定的な加重は、任意の時期に、又はユーザの要求によって、設定又は変更されてもよい（図１７参照）。こうした加重は、家族の特定の人物に限定されてもよい。例えば、家族の一人は、使用するデバイスに関係なく、可能な限り最高の品質のコンテンツを受信することを希望してよい。この場合、加重は、任意の特定の瞬間に、その人物がどのデバイスを使用しているかに応じて変化させることができる。こうした加重は、例えば、リモートコントロールデバイスを使用して、任意の時期に、設定すること、或いは影響を与えることが可能である。こうした加重は、ユーザがコンテンツの視聴ではなく録画を行っているかどうかに基づいてもよい。加重は、ストリームが（視聴ではなく）録画されている場合、そのストリームが高い優先度とみなされる（したがって、歪みが少なくなる）ようにできる。

（ケースＤ）
ストリームの相対的な加重は、その様式に基づいて設定されてもよい。特に、オーディオビジュアルストリームのオーディオ及び映像ストリームは、分離してよく、伝送中に異なる形で扱ってよい。例えば、オーディオビジュアルストリームのオーディオ部分には、映像部分より高い優先度を割り当ててよい。このケースは、テレビ番組を視聴する時、多くの場合において、テレビ信号からのオーディオ情報の損失が映像情報の損失より深刻であるとユーザが判断するという事実によって動機付けられる。このケースは、例えば、視聴者がスポーツ番組を観ており、コメンテータが決定的な情報を提供する場合である。別の例として、ユーザが高品質の音楽を含むオーディオストリームの品質を劣化させたくない場合がある。更に、オーディオ品質は、様々なスピーカの間で変化する可能性、或いは様々なスピーカに送られる可能性がある。

（ネットワーク特性）
上記ネットワークの物理及びデータリンク層は、チャネルメディアの悪条件を緩和するように設計される。こうしたネットワークの特性の一つは、ここで説明する多重ストリームエクステンダシステムにおけるような、多重ストリーム間でのビット割り当てに、本質的に影響する。特に、ＩＥＥＥ ８０２.１１に基づくネットワークにおいて、ゲートウェイシステムは、様々なデータリンクレートで、様々なクライアントデバイスと通信してもよい。ＩＥＥＥ ８０２.１１に基づくＷＬＡＮは、いくつかのデータリンクレートで動作可能であり、干渉の影響、或いはアクセスポイントとクライアントデバイスとの間の距離の影響を低減するために、データリンクレートを適応的に切り替え又は選択してよい。距離が長く、干渉が大きければ、ネットワーク内のステーションは、低い未加工データリンクレートへの切り替えを行う。これは、マルチレートのサポートと呼んでよい。ゲートウェイが単一のワイヤレスチャネルにおいて様々なデータレートで様々なクライアントデバイスと通信し得るという事実は、多重ストリームの共同コーディングに関するビット割り当てにおいて使用されるようなチャネルのモデルに影響を与える。

レート制御及びビット割り当てにおける従来の作業では、従来型のチャネルモデルが使用され、これには、個別のＡＶストリームに関する要求レートに正比例して、ＡＶストリーム間で単純に分割可能な、単一の帯域幅が存在する。本発明者は、８０２.１１ＷＬＡＮ等のＬＡＮにおいては、そのマルチレート能力のため、これが当てはまらないと判断した。こうしたワイヤレスシステムは、様々なリンク間での割り当てに関して、各リンクのレートの合計が必ずしもシステムから利用可能な合計帯域幅と同じにならないことを特徴とする。これにより、１０Ｍｂｐｓの映像信号と、２０Ｍｂｐｓの映像信号とは、３０Ｍｂｐｓの最大帯域幅を有するシステムによって転送できない場合がある。８０２.１１ワイヤレスシステムにおいて特定のワイヤレスリンクによって使用される帯域幅は、性質として一時的なものであり、特定のワイヤレスリンクの最大帯域幅に関連する。例えば、リンク１が３６Ｍｂｐｓの容量を有し、１８Ｍｂｐｓのレートでデータが伝送される場合、そのリンクの使用率は５０％となる。これにより、システムの全帯域幅の５０％が使用されることになる。例えば、リンク２が２４Ｍｂｐｓの容量を有し、２４Ｍｂｐｓのレートでデータが伝送される場合、リンク２の使用率は１００％となる。リンク２を使用すると、システムの全帯域幅の１００％が使用され、他のリンクには帯域幅が残されないため、一本のストリームのみが伝送可能となる。

（多重ストリームの共同コーディングにおけるビット割り当て）
多重ストリームのレート適応化に対する更に適切なアプローチは、共同ビット割り当て／レート制御を適用することである。このアプローチは、多重ストリームエクステンダシステムへの入力ストリームがアナログである場合と、入力ストリームが既に圧縮デジタル形態である場合とに適用される。

以下のパラメータを次のように定義する。
Ｎ_Ｌ ストリーム数を表す
Ｐ_ｎ ストリームｎに割り当てた加重又は優先度をＰ_ｎ≧０で表す
ａ_ｎ ストリームｎの最小出力レートをａ_ｎ≧０で表す
ｂ_ｎ ストリームｎの最大出力レートをｂ_ｎ≧ａ_ｎで表す
Ｄ_ｎ（ｒ） 出力ストリームｎの歪みを、その出力レートｒの関数として表す（即ち、エンコーダ又はトランスコーダの入力に関する出力の歪み）
Ｒ_Ｃ チャネルの利用可能な帯域幅又は最大ネットワーク最大スループットを表す
Ｒ_ｎ 入力ストリームｎのビットレートを表す
Ｒ’_ｎ 出力ストリームｎのビットレートを表す
なお、Ｒ_ｎ、Ｒ’_ｎ、及びＲ_Ｃは、一般に時間的に変化してよく、そのため、時間ｔの関数が存在する。

多重ストリームエクステンダの問題は、一般に、以下のように定式化できる。
目的は、全ての出力ストリームの全体的な品質を最大化し、或いは、同等に、全体的な歪み基準Ｄを最小化すると同時に、全ストリームの合計レートをチャネルの容量内に収める出力レートのセットＲ’_ｎ、ｎ＝１，…，Ｎ_Ｌを求めることである。
全体的な歪み基準Ｄの一形態は、個別のストリームの歪みの加重平均である。

別の形態は、個別のストリームの加重歪みの最大値である。

この節では、ケーブルテレビに類似する従来的なチャネルモデルが使用されており、ストリームに提供される等量のビットレートは等量のチャネル利用率に対応し、これは上記のワイヤレスタイプの利用率に拡張してもよい。そのため、目的は、以下の制約を受ける（４）又は（５）のような基準を最小化することである。

及び、全てのｎについて、任意の時間ｔにおいて、

トランスコーディングの場合、各出力ストリームＶ’_ｎの歪みは、入力ストリームＶ_ｎに関して測定され、オリジナルの圧縮のため、入力ストリームＶ_ｎは既にオリジナルデータに対する大きな歪みを有し得る。しかしながら、このオリジナルデータに対する歪みは、未知である。したがって、（入力ではなく）オリジナルストリームに対する出力ストリームの最終的な歪みも未知となるが、対応する入力ストリームＶ_ｎに既に存在する歪みによって下方に限定される。なお、トランスコーディングの場合、この問題に対する平凡な解決策は、結合入力レートが利用可能なチャネル帯域幅を上回らない時、即ち、以下の時に求められる。

この場合には、全てのｎについてＲ’_ｎ＝Ｒ_ｎ及びＤ_ｎ（Ｒ’_ｎ）＝Ｄ_ｎ（Ｒ_ｎ）であり、トランスコーディングを適用する必要はない。

なお、以下の時には問題の解決策は存在しない。

これは、利用可能なチャネル帯域幅／ネットワーク最大スループットが、混雑、干渉、又はその他の問題により（劇的に）下降した時に起こり得る。この状況において、制約の一つ（７）は、緩和する必要があり、或いは、システムは、ストリームが要求する帯域幅へのアクセスを拒絶する必要がある。

なお、（５）のような歪み基準を最小化する最適な解決策は、個別のストリームの（加重）歪み値が全て等しい場合のものである。
また、（６）は、従来のチャネルモデルにおいてチャネルによって課せられる制約を具現化している。この制約は、特定のネットワークの特性によって決定される。様々なタイプの制約が、多重レートをサポートするＬＡＮに適用されるものとして使用されることになる。

ラグランジュ最適化及び動的プログラミングのように、上記の最小化の問題に対する解決策を求めるために使用可能な、いくつかの既存の最適化アルゴリズムが存在する。こうした最適化アルゴリズムを上記の問題に適用するには、大きなソリューションスペースの検索と、映像データの圧縮の多数の反復とが必要に成り得る。これは、計算的に、法外にコストが大きくなる。多数の映像プログラムの共同コーディングに関するビット割り当ての問題に対する実際的なアプローチでは、いわゆるＭＰＥＧ−２テストモデル５（ＴＭ５）において使用されるアプローチを拡張する。

既存のアプローチは、スーパＧＯＰ及びスーパフレームの考え方に基づいている。単一ストリームの通常のＭＰＥＧ−２ ＧＯＰ（グループ・オブ・ピクチャーズ）は、多数のＩ、Ｐ、及びＢタイプフレームを含む。スーパＧＯＰは、多数のＭＰＥＧ−２ストリームに渡って形成され、Ｎ_ＧＯＰスーパフレームによって構成される。これにおいて、スーパフレームは各フレームから一フレームを含むフレームのセットであり、スーパフレームの全フレームは時間的に一致する。スーパＧＯＰは、個別ストリームのＧＯＰｓが同じ長さではなく、アライメントされていない時でも、常に整数個のストリームレベルＭＰＥＧ−２ ＧＯＰｓを含む。

ビット割り当て方法には、スーパＧＯＰに割り当てられた対象数のビットが含まれる。この対象数Ｔ_ｓは、全てのスーパＧＯＰについて同じであり、一定であると仮定されたチャネルビットレートに由来する。Ｔ_ｓが与えられると、ビット割り当てが、スーパＧＯＰ内の各スーパフレームに関して実行される。結果として生じたスーパフレームＴ_ｔに関する対象数のビットは、一定のストリーム内のＩ、Ｐ、及びＢフレームの数によって変化する。次に、Ｔ_ｔを与えられると、ビット割り当てが、スーパフレーム内の各フレームに関して実行される。結果として生じた時間ｔのスーパフレーム内のフレームに関する対象数のビットは、Ｔ_ｔ，ｎによって表される。

既存の手法は、フレームをエンコードする際の「複雑性」を表す、映像フレームの複雑性尺度Ｃの使用に基づいている。その結果、ストリームには、各ストリーム内のフレームの推定される複雑性に比例して、ビットが割り当てられる。即ち、より「複雑」なフレームを伴うコーディング対象のストリームは、「複雑」ではないフレームを伴うコーディング対象のストリームと比較して、ビット割り当て中に多くのビットを受領し、結果として、各ストリームで等量の歪みが生じる。

映像フレームの歪み尺度Ｃは、その映像フレームのＤＣＴ係数を圧縮するのに使用される量子化値と、（その量子化値を使用して）その映像フレームをコーディングするために生成されたビットの結果的な数との積として定義される。したがって、スーパフレーム内の特定のフレームに関する対象数のビットＴ_ｔ，ｎは、そのフレームの複雑性Ｃ_ｔ，ｎの推定と、そのフレームに関して使用される量子化するものＱ_ｔ，ｎとに基づいて計算できる。

Ｃ_ｔ，ｎの値は、エンコードされる将来の同じタイプ（Ｉ、Ｐ、又はＢ）の全フレームに関するストリーム内において一定であると仮定される。そのため、Ｃ_ｔ，ｎは、フレームタイプに応じて、Ｃ_Ｉ，ｎ、Ｃ_Ｐ，ｎ、又はＣ_Ｂ，ｎのいずれかと等しくなる。

スーパフレーム内の全フレームに割り当てられるビット数の合計は、そのスーパフレームに割り当てられるビット数と等しくなるべきであり、即ち、以下のようになる。

この手法では、均一な画質を達成するために、全ストリームの全フレームに関して等しい量子化値Ｑを使用する。しかしながら、異なるピクチャタイプ（Ｉ、Ｐ、又はＢ）を考慮すると、各フレームの量子化値は、以下の一定の加重係数により、固定されたＱに関連し、

これにおいて、Ｋ_ｔ，ｎは、フレームタイプのみに応じて、単純にＫ_Ｉ、Ｋ_Ｐ、又はＫ_Ｂのいずれかとなる。

（１０）、（１１）、及び（１２）を結合すると、スーパフレーム内のフレームに関する以下のビット割り当て式が生じる。

この式は、異なるストリームからのフレームに対して、推定される複雑性に比例してビットが割り当てられることを表している。

上で説明したストリームの優先度に対応させるために、既存の手法は、以下のように拡張してもよい。
ストリームの優先度Ｐ_ｎを含めることで、（１２）は以下のように一般化してよく、

これにおいて、Ｐ_ｎは、以下のように選択される。

例えば、全ストリームが同じ優先度を有する場合には、全てのｎについてＰ_ｎ＝１となり、（１５）が成り立つ。優先度の高いストリームには、１より大きな値Ｐ_ｎが割り当てられ、優先度の低いストリームには、１より小さな値Ｐ_ｎが割り当てられる。
（１０）、（１１）、及び（１４）を結合することで、以下が得られ、

これは、（１３）の代わりにビット割り当てに使用できる。（１６）からは、優先度の高いストリームからのフレームに多くのビットを割り当て、優先度の低いストリームからのフレームに少ないビットを割り当てるために、優先度を使用可能であることが確認できる。この戦略は、歪み基準（５）を最小化することを黙示的に試みている。なお、この拡張は、エンコーディングとトランスコーディングとの両方に適用される。

上記のアプローチでは、エンコーディングを目的とする際には、フレームのエンコーディングの複雑性Ｃは、過去にエンコードされたフレームから推定される。こうした推定は、全てのフレームで更新され、その後のフレームにビットを割り当てるのに使用される。即ち、現在のフレームｔ及び将来のフレームに関する複雑性の推定は、以前のフレームにおいて使用された量子化の値と、その（同じストリームｎ内の）以前のフレームにおいて費やされたビットの実際の量との測定に基づいている。したがって、推定値は、以下のようになり、

これにおいて、Ｓは映像フレームに関して実際に費やされたビット数を示し、ｔは現在のフレームを示し、ｔ−τは同じタイプ（Ｉ、Ｐ、又はＢ）の直前のフレームを示し、プライム記号は、推定値がエンコーダの出力から計算されたことを示している。なお、ここでも実際には、単一のストリームに関して、こうした推定値として三種類の値のみが、各ピクチャタイプに一つずつ維持される。

このアプローチはトランスコーディングにおいても使用可能だが、本発明者は、こうした推定を改良できると判断した。その理由は、トランスコーディングの場合には、トランスコーダの入力の段階において、エンコードされた形態で現在のフレームを利用可能であることから、そのフレームの複雑性に関する情報を有しているためである。しかしながら、トランスコーダがビットストリームのレートを変更するため、出力フレームの複雑性は、トランスコーダの入力フレームの複雑性と同じではないことが観察された。入力複雑性に対する出力複雑性の比率は、長期に渡って相対的に一定状態を維持することが観察された。したがって、以前のフレームでの入力及び出力の両方の複雑性の推定に基づいたこの比率の推定は、現在のフレームの一定の入力複雑性の値を増減し、現在のフレームの出力複雑性の優れた推定を達成するのに使用できる。

ここで、プライム記号のないＳ及びＱは、入力ビットストリームから計算される。

多重ストリームエンコーディングに関する上記のアプローチでは、全ての一定の対象ビットレート、即ち、一定のビットレートチャネルを仮定している。この仮定は、特定のネットワーク、特にワイヤレスチャネルに関しては、以前に説明したように、当てはまらない。したがって、チャンネルの時間的に変化する性質を考慮に入れた修正アプローチが有用となる。

（スーパ）ＧＯＰの持続期間に対して、対象ビットレートが低速でのみ変化することを仮定できる場合には、拡張を適用できる。これは、何らかの理由で、実際のチャネル条件が低速でのみ、或いは比較的まれにのみ、変化する時に該当し得る。代替として、変化するチャネルを粗い時間粒度で測定することのみが可能な場合がある。いずれの場合においても、対象ビットレートは、物理的限定によって決定される特定の値より素早く変化させることは不可能である。そのため、対象ビットレートは、区分的に一定の信号としてモデル化可能であり、変化は、（スーパ）ＧＯＰの境界でのみ認められる。

このアプローチは、全ての（スーパ）ＧＯＰの開始時に、ビット割り当てアルゴリズムに対して（可能であれば、上記の他の拡張と共に）新しい値Ｔ_ｓを提供することで、上記のアプローチと結合できる。言い換えると、Ｔ_ｓは、（スーパ）ＧＯＰ毎に変化することが可能である。

別の拡張は、対象ビットレートが（スーパ）ＧＯＰの持続期間に対して素早く変化する場合、即ち、対象ビットレート及びビット割り当てに対する調節を、（スーパ）フレーム毎に行う必要がある場合に、仮想ＧＯＰｓの概念を使用することである。仮想ＧＯＰｓの使用については、上記の単一ストリーム動的レート適応化に関して説明した。マルチストリームの場合、仮想ＧＯＰｓの概念は、仮想スーパＧＯＰｓの概念に拡張される。

ＩＥＥＥ ８０２.１１に基づくもの等、ＬＡＮ環境での多重ストリームの共同コーディングにおける別のビット割り当てアプローチは、マルチレートのサポートを有するネットワークに適している。この場合、ゲートウェイのアクセスポイントは、様々なデータリンクレートで、様々なクライアントデバイスと通信してよい。この理由及びその他の理由から、ゲートウェイから一デバイスへの最大データスループットは、ゲートウェイから別のデバイスへの最大データスループットとは異なってよいが、各デバイスへの伝送は、単一の共有チャネルの全体的な利用率に寄与する。

以前と同様に、利用可能なチャネル容量を共有するネットワーク上にＮ_Ｌ台のデバイスが存在する。こうしたＮ_Ｌ台のデバイスに対して伝送されるＮ_Ｌ本のストリームが存在すると仮定し得る（一デバイスに一ストリーム）。システムは、こうしたデバイスに対して可能な限り最高の品質の映像が伝送される状態を確保することに責任を負う多重ストリームマネージャ（即ち、多重ストリームトランスコーダ又はエンコーダマネージャ）を利用する。

各デバイスｎ＝１、２、…、Ｎ_Ｌに対する帯域幅又は最大データスループットＨ_ｎを測定するために利用可能なメカニズムが存在すると仮定し得る。一般に、このスループットは、デバイス毎に変化し、ネットワーク内での変動により、時間と共に変化し、Ｈ_ｎ（ｔ）となる。データ最大スループットは、十分に細かい時間の粒度で測定可能であると仮定できる。最大データスループットＨ_ｎは、一秒あたりのビット数で測定される。なお、最大スループットＨ_ｎは、実際には、特定の時間間隔での平均であり、例えば、映像フレーム又はフレームのグループの持続期間での平均である。

８０２.１１ネットワークの場合、例えば、デバイスｎに関する帯域幅又は最大データスループットは、アクセスポイントとデバイスｎとの間の通信で使用される未加工データレートに関する知識と、パケット長（ビット数）と、パケットエラーレートの測定値とによって推定し得る。最大スループットを測定するその他の方法を利用してもよい。

（共有）チャネルの特定の一モデルでは、ゲートウェイは、時間の部分ｆ_ｎ毎に各クライアントデバイスと通信するようになる。例えば、時間の部分ｆ_１の間、ホームゲートウェイは映像ストリーム１をデバイス１に伝送し、時間の部分ｆ_２の間、ゲートウェイは映像ストリーム２をデバイス２に伝送し、以降も同様となる。そのため、実効スループットは、ゲートウェイからクライアントｎについて、以下と等しいものが得られる。
ｆ_ｎＨ_ｎ
以下のチャネルの制約は、任意の時間間隔で継続し、

即ち、チャネル利用部分の合計は、１.０より小さくなる（或いは、等しくなる）必要がある。これらの部分の合計が１.０となる場合、チャネルは、その全容量が利用されることになる。

トランスコーディングの場合において、Ｒ_ｎが、オリジナル（ソース）映像ストリームｎのレートを示すものとする。全てのデバイスに対して同時に映像ストリームを伝送可能にするには、（１９）の制約下で、全てのｎについて以下が成り立つような、ｎ＝１、２、…、Ｎ_Ｌであるｆ_ｎのセットが存在し得る。

こうしたｆ_ｎのセットが存在しない場合には、一つ以上の映像ソースのレートが低減される。Ｒ’_ｎが、変換済み（出力）映像ストリームｎのレートを示すものとする。可能な最高の映像品質を保持するには、（１９）の制約下で、全てのｎについて以下が成り立つようなｆ_ｎのセットを存在させるために、最低限の量のレート低減を適用するべきである。

（共同トランスコーディングではなく）共同エンコーディングの場合、目的は、Ｒ’_ｎがエンコーダ出力ストリームｎのレートを示す時、単純に、（１９）の制約下で、（２１）の解を求めることになる。

一般に、部分ｆ_ｎのセットを決定する問題は、制約下の問題である。上記の関係は、唯一の解を提供しない。必然的に、目的は、結合された全ての映像ストリームの全体的な品質の何らかの尺度を最大化するような、この問題に対する解決策を求めることである。

実施形態は、全体として均一な画質を達成するために、様々なストリームのビットレートが相対的なコーディングの複雑性に基づいて変化できる場合に、共同コーディングの原理に基づく。このアプローチは、共同コーディングされる任意の映像ストリームの最低限の品質を最大化するものであり、即ち、このアプローチでは、歪み基準（５）を最小化することを試みる。

各ストリームが等しいサイズＮ_ＧのＧＯＰによりエンコードされたＭＰＥＧ−２である場合に、Ｎ_Ｌの映像ストリームについて考察してよい。更に、時間的に同時で、それぞれが各ストリームに由来する、Ｎ_ＬのＧＯＰのセットについて考察してよい。このセットは、スーパＧＯＰと呼ぶことも可能であり、Ｎ_Ｌ×Ｎ_Ｇの映像フレームを含む。一部のビット割り当て手法での第一のステップは、対象数のビットをスーパＧＯＰ内の各ＧＯＰに割り当てることであり、ここで各ＧＯＰは異なるストリームｎに属する。割り当ては、スーパＧＯＰ内の各ＧＯＰの相対的な複雑性に比例して行われる。ビット割り当て手順の第二のステップは、対象数のビットを各映像ストリームのＧＯＰの各フレームに割り当てることである。

Ｔ_ｎは、（スーパＧＯＰ内の）ストリームｎのＧＯＰに割り当てられた対象数のビットを示すものとする。Ｓ_ｎ，ｔは、映像ストリームｎのフレームｔに関して、エンコーダ／トランスコーダによって生成されたビット数を示すものとする。ＧＯＰの間にストリームｎに関して生成されたビットの合計数は、Ｔ_ｎと等しく（又は近く）なるべきであり、即ち、以下のようになる。

ＭＰＥＧ−２ ＴＭ５と同様に、使用される量子化値とフレームに関して生成されたビット数との積であるフレームのコーディング複雑性尺度、即ち、以下のものが使用される。

したがって、（２２）は、以下のように書き換えることができる。

式（１４）と同様に、全般的に一定の品質であるアプローチを使用してよい。全ての量子化値は、ピクチャタイプ（Ｉ、Ｐ、及びＢ）とストリーム優先度Ｐ_ｎとを明らかにする一定の係数Ｋ_ｎ，ｔまで、等しくてもよい。したがって、（２４）は、以下のように書き換えることができる。

（２１）を達成するために、以下を適用してよい。

式（２５）及び（２６）を、（１９）と共に結合することで、ｎが未知であるｆ_ｎのセットに関して以下の解が提供される（Ｑを分解する）。

チャネルは最大容量まで利用されると考えられ、即ち、チャネル利用部分の合計は、正確に１.０になると考えられる。なお、このアプローチは、利用部分の合計が１.０より低い値になる必要があっても有効となる。これを可能にするために、式（２７）は、追加の係数により単純に修正されることになる。例えば、ネットワーク内には、チャネル容量の一部を消費する非ＡＶストリームが存在してもよい。非ＡＶストリームの場合、一部の容量は、こうしたストリームのために除外する必要があり、ＡＶストリームのレートの最適化では、上記の合計を１.０より小さくすることで、これを考慮に入れるべきである。

ｆ_ｎが与えられると、各ＧＯＰの実際の対象レートは、（２６）により計算できる。
上記のように、ビット割り当て手順の第二のステップは、対象数のビットを各映像ストリームのＧＯＰの各フレームに割り当てることである。これは、ＴＭ５において提供されるもの等、既存のビット割り当て方法を使用して達成できる。その後のコーディング又はトランスコーディングは、任意の標準的方法により実行可能であり、この場合、ＭＰＥＧ−２に対応した任意のエンコーダ／トランスコーダとなる（図１２参照）。

上記の方法はワイヤレスＬＡＮのケースに関して具体的に導かれたものであるが、上記のモデル及び式は、中央ゲートウェイ、サーバ、又はアクセスポイントが、異なる最大レートで多数のクライアントデバイスと通信し得る他の任意のタイプのＬＡＮ又はネットワークに関して成り立つことになる。

動的レート適応化の場合、最大スループットレートＨ_ｎは、時間と共に変化する。この場合、上記の方法は、仮想ＧＯＰの考え方、或いは、多重ＡＶストリームの仮想ＧＯＰで構成され、時間的に重複する、仮想スーパＧＯＰの考え方と組み合わせることができる（図１３参照）。式（２７）は、全てのフレーム時間に実行され、特定のストリームｎの仮想ＧＯＰに対して対象数のビットが割り当てられることになる。その後、例えば、式（３）を使用して、各仮想ＧＯＰ内の各フレームに関する対象数のビットが割り当てられる必要がある。

更に、上記の方法は、ＧＯＰが使用されないケースに適用することも可能であり、即ち、上記の方法は、ＧＯＰ毎ではなく、フレーム毎に適用することができる（図１４参照）。例えば、Ｐタイプのピクチャのみが考慮され、レート制御がフレーム毎に適用されるケースが存在してもよい。この場合、異なる映像ストリームから同時発生するＮ_Ｌのフレームのセットから、個別のフレームにビットを割り当てる必要がある。上記の方法は、全てのストリームからのフレームのセットに含まれる各フレームの相対的なコーディング複雑性に従って、各フレームに対象数のビットを割り当てるために使用することもできる。

一実施形態は、図７に例示するように、単一ストリームシステムを使用する。この単一ストリームシステムは、単一のアナログＡＶソースを有する。アナログＡＶソースは、デジタル圧縮されたビットストリーム、例えば、ＭＰＥＧ−２又はＭＰＥＧ−４ビットストリームを生成するＡＶエンコーダを含む処理モジュールに入力される。このビットストリームのビットレートは、チャネルの条件に動的に適応化される。このＡＶビットストリームは、チャネルを通じて伝送される。送信機と受信機との間の接続は、厳密にポイント・ツー・ポイントとなる。受信機は、デジタル圧縮ビットストリームをデコードするＡＶデコーダを含む。

別の実施形態は、図８に例示するように、単一ストリームシステムである。この単一ストリームシステムは、単一のデジタルＡＶソース、例えば、ＭＰＥＧ−２又はＭＰＥＧ−４ビットストリームを有する。デジタルソースは、第二のデジタルビットストリームを出力するトランスコーダ／トランスレータを含む。このビットストリームのビットレートは、チャネルの条件に動的に適応化される。このＡＶビットストリームは、チャネルを通じて伝送される。送信機と受信機との間の接続は、厳密にポイント・ツー・ポイントとなる。受信機は、デジタル圧縮ビットストリームをデコードするＡＶデコーダを含む。

別の実施形態は、図９に例示するように、多重ストリームシステムである。この多重ストリームシステムは、多数のＡＶソースを有し、一部のソースはアナログ形態であってもよく、他のソースはデジタル形態（例えば、ＭＰＥＧ−２又はＭＰＥＧ−４ビットストリーム）であってもよい。これらのＡＶソースは、ゼロ以上のエンコーダ（アナログ入力）とゼロ以上のトランスコーダ（デジタル入力）とを含む処理モジュールに入力される。各エンコーダ及び又はトランスコーダは、対応する出力ビットストリームを生成する。これらのビットストリームのビットレートは、全ストリームの全体的な品質を最適化できるように、チャネルの条件に動的に適応化される。システムは、更に、受信機デバイスの能力に関する情報に基づいて、これらのストリームを適応化してもよい。システムは、更に、各ユーザの嗜好に関する情報に基づいて、ストリームを適応化してもよい。全てのエンコード／トランスコード済みストリームは、対応する受信機に各ビットストリームを伝送するネットワークアクセスポイントに送信される。各受信機は、デジタル圧縮ビットストリームをデコードするＡＶデコーダを含む。

（チャネル帯域幅の推定）
システムの実施では、何らかの方法で帯域幅を推定してよい。既存の帯域幅推定モデルは、インターネットのような相互接続ノードの分散ネットワーク上でのネットワーク容量の推定に基づいていた。通常は、多数の相互接続ノードが存在し、そのそれぞれが、異なる帯域幅容量を有し得る。相対的に高速なノードを通じて伝送されるデータパケットは、相対的に低速なノードを通じた転送のために、待ち行列に追加される場合がある。通信ネットワーク上のボトルネックの帯域幅の推定を試みるためには、一連のパケットを、サーバから、ボトルネックリンクを通じて、クライアントに送信してよい。受信されたパケット間の時間的間隔を計算することで、クライアントは、ボトルネックノードの帯域幅を推定し得る。

したがって、パケットの時間的間隔は、データパケットが伝送される多くのネットワーク接続内の、相対的に低速なネットワーク接続の結果として発生する。この時間的間隔は、一秒未満のような比較的短い時間枠に関しては、ネットワーク帯域幅の変化率を評価しないが、数分毎のように周期的に測定される時には、むしろ、一体どのリンクがネットワークボトルネックであるかの尺度となる。更に、物理的ボトルネックノードは、インターネット等の分散ネットワーク上のトラフィックが変化するにつれ、時間と共に変化する傾向を有する。

分散ネットワークの帯域幅を推定するその他の手法には、ネットワークの帯域幅を推定するという限定的な目的で、有意の量のテストデータを生成することが含まれる。残念なことに、こうしたテストデータは、テスト期間中に他のデータが利用可能な帯域幅を大幅に減らす点において、大きなオーバヘッドを与える。多くの場合、テストデータは、オフラインの形式で分析され、推定値は全てのテストトラフィックが送受信された後で計算される。こうしたテストデータの使用は、時間に敏感ではないネットワークの応用に関しては有用となり得るが、ネットワーク帯域幅の一時的な障害が望ましくない環境、及びリンク帯域幅に関する情報が十分に継続的にリアルタイムで必要となる環境においては、不適切となる傾向にある。

更に、インターネット上でのオーディオ及び映像のストリーミングは、比較的低いビットレート（６４乃至５１２Ｋｂｐｓの範囲）と、比較的高いパケット損失（通常１０％までの損失レートは許容範囲とみなされる）と、比較的大きいパケットジッタ（パケット取得時間の変動）とを特徴とする。こうしたビットレートでは、帯域幅の通常の測定は、受信機でパケット損失及び又はパケットジッタの量を測定するステップと、その後、測定データを送信機に送り返すステップとによって構成される。この手法は、大きなパーセンテージのパケット損失が許容されることが前提となっており、パケット損失を最小化すること、或いはその他の場合には、パケット損失を排除することを試みるのではなく、パケット損失の量を管理することを試みる。更に、こうした手法は、標準品位映像に関して６Ｍｂｐｓで、或いは高品位映像に関して２０Ｍｂｐｓで、高品質映像をストリーミングするといった、より高いビットレートの応用に、必ずしも直接的に適用できるものではない。

システムの実施は、システムが送信機乃至受信機の追加的なプローブ「トラフィック」から開放されるような形で実行し得る。この形では、送信機によってネットワーク帯域幅に追加的な負担が加わることはない。受信機から送信機への限られた量のネットワークトラフィックは、ネットワークトラフィックをモニタするメカニズムとして使用し得るフィードバックを含んでもよい。通常のワイヤレスの実施では、プロトコルのＭＡＣ層におけるデータの送信、フィードバック、及び再送信が存在する。帯域幅の利用率に関するネットワークのモニタリングはＭＡＣ層で実行し得るが、ここで説明するシステムの一実施は、好ましくは、ネットワークのモニタリングをアプリケーション層で実行する。アプリケーション層を使用することで、この実施は、特定のネットワークの実施に依存する度合いが少なくなり、広範なネットワークにおいて使用し得る。背景として、多くのワイヤレスプロトコルシステムは、物理層と、ＭＡＣ層と、トランスポート／ネットワーク層と、アプリケーション層とを含む。

最適な解決策を考慮する時には、（１）どのパラメータを測定するかと、（２）そのパラメータを測定すべき場所は送信機か、受信機かと、（３）使用するのはモデルに基づくアプローチ（システムがどのように動作するかのモデルを有する）か、プローブに基づくアプローチ（より多くのデータの送信を試み、システムが機能停止する時期を確認し、その後、少ないデータの送信を試み、システムが機能停止するまで再びデータを増加させる）かと、を考慮するべきである。モデルに基づくアプローチでは、より正確な伝送ストリームの調節が実行できるため、より最適な形で利用可能帯域幅を利用できる確率が高い。

パラメータは、受信機で測定し、その後、チャネル上で送信機に返送してよい。パラメータの受信機での測定は、システムに過度な影響を与えずに実施し得るが、チャネル使用量を増加させ、受信機での測定と送信機での情報の取得との間の遅延が関与することになる。

（ＭＡＣ層）
代替として、パラメータは、送信機で測定してもよい。送信機のＭＡＣ層は、何がいつ送信されたかの知識を有している。送信機ＭＡＣは、更に、通知を通じて、何が受信されたか、及びいつ受信されたかの知識を有する。例えば、システムは、ＭＡＣ層から、データリンクレート及び又はパケットエラーレート（再試行の数）を使用してよい。データリンクレート及び又はパケットエラーレートは、ＭＡＣ層から直接、或いは８０２.１１管理情報のベースパラメータから、或いはその他の場合に何らかの形で、取得してよい。例えば、図１８は、ワイヤレス伝送（又は通信）システムの送信機及び受信機間での喪失パケットの再送信と、低いデータリンクレートへのフォールバックとを例示している。

ワイヤレス伝送システムにおいて、パケットは、Ｐのペイロードビットを搬送する。Ｐのビットを伴うパケットを伝送するのに要する時間Ｔは、与えられたデータリンクレートと、再試行数と、ＭＡＣ及びＰＨＹオーバヘッドの事前の知識（例えば、ヘッダのコンテンションウィンドウ長の継続時間、通知を送信するのに要する時間など）とにより、計算し得る。したがって、最大スループットは、Ｐ／Ｔ（ビット／秒）として計算し得る。

（アプリケーション層）
図１９に例示するように、パケットは、送信機に提出され、一部のケースでは再送信が必要になる場合がある。受信機は、送信機からパケットを受信し、その後の何らかの時点で、パケットが受信されたことをアプリケーション層に対して示す。パケットの受信は、適切に受信されたレート、或いは他の場合には、増加又は減少の傾向を示すために使用してもよい。この情報は、利用可能な帯域幅又は最大スループットを決定するために使用してよい。

図２０は、送信機でパケットのバーストを形成し、こうしたバーストを可能な限り高速で周期的にチャネルに読み込んで、システムの最大スループットを測定するアプローチを例示している。このプロセスを周期的に反復することで、特定のリンクの最大スループットは推定可能となり、一方、データの実効スループットは最大より低くなり得る。

図２１を参照すると、利用可能な帯域幅の推定に関する手法は、送信機から受信機に存在している単一トラフィックストリームに基づいてよい。これにより、送信機は、他の送信局とメディアアクセスを争う必要はなくなる。この単一トラフィックストリームは、例えば、オーディオ及び映像データを含むパケットで構成される。図２１に例示するように、理想的な条件のネットワークリンクにおいて、時間と共に伝送が成功した五個のパケットのセットが表示されており、ここでＴｘは送信機であり、Ｒｘは受信機である。なお、図２１は抽象モデルを表しており、実際の伝送は、受信機から送信機に伝送される通知と、データのフレーム内間隔（８０２.１１規格で規定されるようなもの）とを含んでもよい。一定のビットレートを有する実際の映像データストリームにおいて、パケットは時間的に等しい間隔を有し、データパケット間の時間間隔は、一定で、映像ストリームのビットレートと、選択されたパケットサイズとによって決定される。

図２２を参照すると、理想的ではない条件下での五個のパケットのシーケンスが表示されている。アプリケーションがパケットの一部を送信した後、送信機は、受信機によって適切に受信されなかった、或いは不正確だった、或いは通知が送信機によって受信されなかったことから、パケットの一部を再送信する。パケットの再送信は、ワイヤレス伝送システムの他のプロトコル層により自動的に行われるため、アプリケーション層は、このイベントを認知しない。図２２に例示するように、最初の二個のパケットが、受信機によって適切に受信される前に、一度再送信された。パケットを再送信する必要性の結果として、システムは、更に、各パケットがより低いビットレートを使用して送信される低速のデータレートへ、自動的に戻ってもよい。８０２.１１ａ規格は、６、９、１２、１８、２４、３６、４８、又は５４Ｍｂｐｓで、８０２.１１ｂ規格は、１、２、５.５、１１Ｍｂｐｓで動作できる。これにより、パケットを再送信する必要性は緩和され、或いは他の場合には排除される。

図２３を参照すると、本発明者は、矢印によって例示するようにアプリケーションから伝送されるパケットの提出について考慮した。観察されるように、アプリケーションにとって未知である一回の再送信と、同じくアプリケーションにとって未知である二回のビットレートの変更とが存在する。アプリケーションは、送信されるパケットの提出時間のみを認知している。受信機のアプリケーション層でのパケットの取得は、矢印によって例示される。パケットは間隔の空いた状態で取得するが、受信機のアプリケーションは、発生した可能性のある再送信について認知していない。しかしながら、観察されるように、図２３に示すパケットの送受信が、どの最大実効帯域幅に基づいているかを見分けることは困難である。

この困難を考慮した後、本発明者は、利用可能な帯域幅を効果的に測定するには、映像の平均ビットレートに関して、送信機に提供される通常のスピードと比較して、送信機が可能な限り高速でパケットを受け入れるような形で、或いは他の場合には、パケット間の大きなスペースを伴わない形で、送信機にパケットのグループを提供するべきであると判断した。図２４を参照すると、パケットのバーストは、好ましくは複数であり、更に好ましくは三つ以上である。その後、パケットは、ワイヤレスネットワークを通じて、送信機により、受信機に提供される。受信機では、各バーストにおける個別のパケットの取得について、時間を測定する。

多くの場合、ワイヤレスネットワークでのパケットの送信は、最大データレートより小さい、平均データレートで行われる。したがって、送信機は、送信のために受信された複数のパケットを共に一時的にバッファしてよい。データパケットは、例えば、一定のビットレートで動作する映像エンコーダ又はトランスコーダに由来する場合、システムの送信機部分に、規則的な間隔で取得し得る。バッファ後、送信機は、バッファされたパケットをバーストとして、即ち、最大送信レートで、送信することを試みてよい。送信機は、必要に応じて、追加的なパケットグループのバッファを継続し、追加的なバーストを形成してもよい。

こうしたバーストにおけるパケット送信による望ましい結果の一つは、システムの全体的なスループットが、ストリーミング映像の対象ビットレートとほぼ等しくなることである。実効スループットＥは、以下の三つのパラメータを制御することで修正できる。
（１）パケットサイズ（例えばバイト数）、或いは各パケットのデータペイロードのサイズ、及び／又は
（２）各パケットバーストにおけるパケット数、及び／又は
（３）後続のパケットバーストとの時間間隔

一例として、ペイロードサイズが１４７２バイトであり、バーストにおけるパケット数が１０で、バースト間の時間間隔が４０ミリ秒である場合、実効スループットは、１０（バーストあたりのパケット）×１４７２（パケットあたりのバイト）×８（バイトあたりのビット）／０.０４０（バーストあたりの秒）＝毎秒２，９４４，０００ビット、或いは約２.９Ｍｂｐｓとなる。したがって、ビットレートが２.９Ｍｂｐｓのオーディオビジュアルストリームは、そのレートで、そのワイヤレス接続を使用して、ストリームできる。パケットが実際の映像信号であり、ネットワーク上で強制された追加的なテストトラフィックのみではないことが観察されてもよい。加えて、システムは、平均データレートが映像ビットレートと（１０％以内で）一致するような形で、パケットバーストを連続的に送信してよい。これにより、システムは、利用可能な映像帯域幅の継続的な測定値を有し、同時に、平均映像レートを変更せずに維持することができる。

システムの実効スループットは、常に、チャネルがサポート可能な帯域幅又は最大スループットよりも低い（或いは、等しい）。帯域幅又は最大スループットは、Ｔとして表してよい。例えば、理想的な条件において、ＤＣＦモードの８０２.１１ｂリンクは、ペイロードサイズがパケットあたり１４７２バイトで、基盤となるリンクレートが１１Ｍｂｐｓである場合、約６.２Ｍｂｐｓの最大スループット（帯域幅）をサポートできることが知られている。理想的ではない条件において、この最大スループット又は帯域幅は、再送信とリンクレートの低下とにより、低下することになる。必然的に、実効スループットは、最大スループットを決して上回れない。

理想的な状況は、図２４に例示されており、理想的ではない状況は、図２５に例示されている。図２４に示すケースにおいて、チャネルは、実際に、Ｔ＝Ｔ_Ａ Ｍｂｐｓという、最大スループットまでの、より高いスループットをサポートし得る。したがって、Ｅ_Ｓ＜Ｔ_Ａとなり、追加トラフィックのスペースが存在する。図２５に示すケースにおいて、最大スループットは、基礎となるＭＡＣがより多くのチャネル容量を使用してデータストリーム内のパケットを送信するために、最大スループットは低下し、追加トラフィックの余地が少なくなる。この場合の最大スループット、例えばＴ＝Ｔ_Ｂは、図２４に示すケースより低くなり、Ｔ_Ｂ＜Ｔ_Ａとなる。実効スループットは、以前としてサポート可能であり、Ｅ_Ｓ＜Ｔ_Ｂが同様に成り立つ。

（必要な場合に）オーディオ／映像ストリームの帯域幅を適応化する適切な情報を送信機に提供するために推定されるのは、最大スループット又は帯域幅Ｔである。最大スループットは、一時的であっても、パケットバーストの送信中に達成される。そのため、最大スループットは、バースト中に送信されるビット数の比率を計算することと、そのバーストの継続時間とによって推定される。更に正確には、Ｎ個のパケット（Ｎ≧２）のバーストが受信機に取得し、バースト内のｌ≦ｉ≦Ｎであるパケットｉが、時間ｔ_ｉ（秒単位）に取得したとする。なお、受信機では、送信機が第一のパケットを伝送のためにネットワークに提出した時間は未知であり得る。

図２４及び図２５に示すように、バーストの第一のパケットと最後のパケットの取得との時間間隔Δｔ＝ｔ_Ｎ−ｔ_ｌの間、ネットワークは、パケット２乃至Ｎ（第一のものを除くバーストの全パケット）を伝送するために使用中となる。バーストの各パケットが同じペイロードＰビットを搬送すると仮定した場合、間隔Δｔの間に伝送されるビットの量は、Ｐ＊（Ｎ−１）ビットに等しくなる。したがって、このバーストの時の最大スループット又は帯域幅は、次のようになる。

更に一般的には、バーストｊに関する最大スループット又は帯域幅は、Ｔ_ｊによって表し得る。バーストｊの間のパケットのペイロードは、Ｐ_ｊとなる（バースト中の全パケットは同じペイロードを有する）。バーストｊにおけるパケット数は、Ｎ_ｊとなる。バーストｊにおけるパケットの取得時間は、Ｔ_ｊ，ｉとなり、バーストｊに関して測定された時間間隔は、Δｔ_ｊ＝ｔ_ｊ，Ｎ−ｔ_ｊ，ｌとなる。

なお、受信機は、送信機がパケットペイロードにタイムスタンプを組み込む場合には、送信機側で測定されたタイムスタンプを利用してもよい。パケットペイロードは、更に、パケットシーケンス番号を含んでもよい。パケットペイロードは、更に、バーストシーケンス番号を含んでもよい。こうしたシーケンス番号は、パケット損失を検出するために受信機が使用してもよい。パケットペイロードは、更に、パケットがバーストの最初のパケットであることを示すフィールド、及び又はパケットがバーストの最後のパケットであることを示すフィールド、及び又はパケットがバーストの最初のパケットでも最後のパケットでもないことを示すフィールドを含んでもよい。

タイムスタンプ、或いは時間及び時間間隔の測定値は、ハードウェア／ソフトウェアプラットフォーム内部のクロックによって提供できる。なお、様々なハードウェア／ソフトウェアプラットフォームが、異なるＡＰＩを提供してもよく、クロックの分解能（又は粒度）に関して、異なる性能を備えたクロックをサポートしてもよい。例えば、Ｌｉｎｕｘプラットフォームでは、マイクロ秒の分解能で時間値を提供するｇｅｔｔｉｍｅｏｆｄａｙ（）ＡＰＩが利用できる。別の例として、Ｗｉｎｄｏｗｓ（登録商標） ２０００／Ｗｉｎｄｏｗｓ（登録商標） ＸＰプラットフォーム（Ｗｉｎ３２ ＡＰＩ）では、ＧｅｔＴｉｃｋＣｏｕｎｔ（）及びＱｕｅｒｙＰｅｒｆｏｒｍａｎｃｅＣｏｕｎｔｅｒ（）ＡＰＩｓが利用できる。後者のＡＰＩは、ミリ秒未満の分解能で時間値を取り込むために使用できる。ＱｕｅｒｙＰｅｒｆｏｒｍａｎｃｅＣｏｕｎｔｅｒ（）ＡＰＩが提供可能な時間値の実際の分解能は、ハードウェアによって変化する。例えば、この分解能は、二台の異なるＷｉｎｄｏｗｓ（登録商標） ２０００ラップトップＰＣではマイクロ秒より優れた分解能となり、Ｗｉｎｄｏｗｓ（登録商標） ＸＰデスクトップＰＣではナノ秒より優れた分解能となった。

帯域幅測定は、継続的に、即ち一度より多く行ってよい。オーディオ／映像データのストリーミング中におけるデータパケットの全てのバーストを使用して、そのバーストの伝送中に利用可能な帯域幅を推定してよい。受信機で実行されたこうした測定は、送信機へ戻される。

テストのセットアップは、共にＩＥＥＥ ８０２.１１ｂ ＷＬＡＮクライアントカードを装備した二台のＷｉｎｄｏｗｓ（登録商標） ２０００ラップトップ上で動作するソフトウェアを使用して実施した。これらのラップトップのＷＬＡＮカードは、８０２.１１アドホックモードで通信するように構成し、ＩＰプロトコル設定は、二台のラップトップのプライベートネットワークを形成するように構成した。一台のＰＣで動作するソフトウェアは、サーバの役割を果たし、ＵＤＰ、ＩＰ、及び８０２.１１ｂプロトコルを使用して、ネットワーク上で受信機にパケットを送信する。なお、ＵＤＰは、ＴＣＰの代わりに使用してよく、ＵＤＰの方がリアルタイムトラフィックに適している。また、システムは、その他のプロトコル、例えば、パワーラインコミュニケーションネットワークその他のＬＡＮ等を使用してもよい。

第一の例は、一般的に理想的なケースでの８０２.１１ｂのスループット性能を例示しており、ここでは、ラップトップＰＣを互いに接近して配置し、外部ソースからの干渉は最小化した。８０２.１１ｂカードは、最大の１１Ｍｂｐｓのリンクレートで通信するように構成した。パケットペイロードは、１４７２バイトで一定にした（追加の２８バイトがＵＤＰ及びＩＰによって使用されるため、８０２.１１のＭＡＣは１５００バイトのパケットを配信した）。各実験は、１００バーストの伝送によって構成した。この例において、各バーストは、１０パケットで構成され、後続のバースト間の時間は、４０ｍｓにスケジュールした。したがって、この場合の実効スループットは、約２.９Ｍｂｐｓとなる。

理想的な条件での結果は、図２６に図示される。その他の測定値から、この場合の最大スループット／帯域幅は、平均で６.２Ｍｂｐｓとなることが分かる。なお、帯域幅の値は、６.２Ｍｂｐｓの値を中心に多少変化し、１００バーストの平均値は６.２４Ｍｂｐｓとなり、標準偏差は０.２２Ｍｂｐｓとなる。１００バーストの平均値は、期待値に非常に近く、標準偏差は十分に小さい。変動に対処する方法は、次節で説明する。

第二の例は、全般的に理想的ではない条件における８０２.１１ｂのスループット性能を例示しており、ここでラップトップＰＣは、多くの小部屋を含む屋内環境において、４３ｍの距離で互いに大きく離れて配置され、送信機と受信機との間にはいくつかの壁が存在した。他の全てのパラメータは、第一の例と同じにした。

理想的ではないケースの結果は、図２７に図示される。この場合の最大スループットは、遙かに低く、１００バーストの平均で３.３Ｍｂｐｓである。１００バーストの標準偏差は、遙かに高く、１.２０Ｍｂｐｓである。この図面は、減少したスループット性能と、増加した性能の変動とを示している（図２６と図２７とにおいて、縦軸線は異なるスケールを有する）。

この第二の例から、測定された帯域幅の値の変動は、オーディオ／映像ストリーミングシステムにおけるフィードバックとして――帯域幅を直接的に推定することの代替として使用する上で、それ自体が有用なパラメータと成り得る。

（堅牢性）
帯域幅の測定値は、図２６及び２７に例示するように、殆どの条件下で一時的な変動の影響を受けやすい。こうした変動の一部は、一般にノイズと呼ばれ、ワイヤレス放送のコンテクストにおいて意味を有しない。エラーの原因の一つは、パケット取得時間を測定するのに使用されるクロックの（限られた）分解能によって発生すると判断される。こうしたエラーの存在から、送信機のオーディオ／映像エンコーダにおけるレート適応化メカニズムに対する入力として使用可能な（瞬間）帯域幅の堅牢な推定を提供することが望ましくなる。

バーストにおけるパケット数と帯域幅の推定の堅牢性との間には、トレードオフが存在する。帯域幅の推定の堅牢性は、バーストあたり多数のパケットを使用することで増大できる。例えば、二つより多くのパケットを伴うバーストを使用することで、測定クロックの限られた分解能の影響は低減される。しかしながら、バーストあたりのパケット数を増加させることは、送信機のバッファサイズを増加させる必要があることを意味し、結果として、実施のコストは高くなり、伝送遅延が大きくなる。

図２６及び図２７に示す例では、１０パケットのバーストサイズを想定しているが、しかしながら、任意の適切な数のパケットを使用してよい。帯域幅の推定における一部の一時的な変動は、パケット数を現実的な最大値まで増加させた際に残存する。帯域幅推定値又は測定された時間間隔の処理は、こうした変動を低減するために使用してよい。処理手法は、帯域幅の最終的な推定を計算するために適用してよい。

インターネットのボトルネック帯域幅を測定するのに応用可能な従来の手法は、一組の帯域幅推定値の度数分布（ヒストグラム）を使用し、その分布の平均値、中央値、又は（複数の）最頻値のいずれかを、最終的な帯域幅推定値として取り出す。このアプローチは、部分的には、収集され、その後処理されるデータのセットとしてデータを捉えることに基づいている。しかしながら、本発明者は、こうした手法は、ＷＬＡＮにおけるリアルタイム帯域幅推定には適切でないと判断した。こうした手法が不適切であると本発明者が判断した主要な理由の一つは、意味のある度数分布を形成するために十分な帯域幅サンプルを収集できるまでに数秒を要するためである。

しかしながら、ワイヤレスネットワーク上の映像の場合、チャネルは、大幅に小さな（秒未満）時間的尺度での変動の影響を受けやすく、システムは、更に迅速な形で、こうした変化に反応できるべきである。こうしたセットに基づく前提の限定を克服するために、本発明者は、収集され、その後処理されるデータのセットとしてデータを捉えるのではなく、測定サンプルの連続的なセットとしてデータを分析するべきであると判断した。この方法においては、データの一時的な性質が重要となる。データは、時間系列とした測定サンプルのセットとして、即ち、個別の時間信号として、取り扱ってよい。したがって、サンプルが異なる順序で受領された場合、結果として生じる出力は、異なるものとなる。

測定サンプルが時間的に等距離の間隔を有すると仮定すると、「ノイズ」変動を排除するために、一部として以下を含む、様々な信号処理手法を適用できる。
（１）ＦＩＲフィルタリング。有限数のフィルタタブによる非再帰的フィルタリング。一例は、移動平均フィルタである。図２６及び図２７は、１０タブの移動平均フィルタが帯域幅測定サンプルのシーケンスに与える影響を例示している。
（２）ＩＩＲフィルタリング。有限数のフィルタタブによる再帰的フィルタリング。一例は、以前の推定値を現在の測定サンプルと共に加重し、新しい推定値を計算する一次再帰フィルタである。図２６及び図２７は、一次ＩＩＲフィルタが帯域幅測定サンプルのシーケンスに与える影響を例示している。
（３）統計的処理。平均二乗誤差（ＭＳＥ）推定、機能的最大（ＭＡＰ）推定、ウィーナフィルタリング、カルマンフィルタリング。統計的処理は、サンプルのフィルタリングと将来値の予測とを同時に行うことが可能となるため、特に都合の良い枠組みを提供する。測定の結果は（近い）将来において伝送されるオーディオ／映像データのレートを制御するのに使用されるため、予測の形成は重要である。
（４）曲線の当てはめ。直線、スプライン、及びその他といった、曲線を当てはめることで、ノイズのあるデータサンプルからの補間、概算、及び外挿が可能となる。曲線の当てはめは、測定サンプルが時間的に正確に等距離の間隔を有していない場合に、特に有用である。

こうした方法のそれぞれにおいて、バーストｊにおける帯域幅に関する最終的な推定値を計算する追加的な処理は、ｊ−Ｍ_１≦ｍ≦ｊである過去のＴ_ｍからの限られた数の帯域幅サンプルを利用してよく、更に、ｊ−Ｍ_２≦ｍ≦ｊ−１である過去のＴ^＊ _ｍからの限られた数の最終的な帯域幅推定値を利用してよい。一実施形態は、例えば、以下のような一次ＩＩＲタイプのフィルタを利用してもよい。

ここでｗは、０と１との間のパラメータである。例えば、ｗ＝０.５である場合、バーストｊにおける帯域幅の最終的な推定値は、バーストｊ−１における帯域幅の以前の最終的な推定値と、バーストｊに関する現在の帯域幅サンプルとを等しく加重することで計算される。パラメータｗは、帯域幅サンプルに適用する平滑化又は平均化の量を制御し、これにおいて、ｗが低い時には平滑化の量が大きくなり、ｗが高い時には平滑化の量が小さくなる。このパラメータは、一定に維持してよく、代替として、このパラメータは、適応的に変更してよい。この手法は、図２６及び図２７の例において使用されており、この例におけるｗの値は０.１である。

なお、帯域幅サンプルＴ_ｊをフィルタリング又は処理する代わりに、

を使用して帯域幅の値を計算する前に、測定時間間隔Δｔ_ｊをフィルタリング又は処理してもよい。この場合には、ｊ−Ｍ_１≦ｍ≦ｊである過去のΔｔ_ｍからの測定済み時間間隔のサンプルを、ｊ−Ｍ_２≦ｍ≦ｊ−１である過去のΔｔ^＊ _ｍからの限られた数の処理済み時間間隔推定値と共に利用し、バーストｊに関する代表時間間隔の最終的な推定値Δｔ^＊ _ｊを計算してよい。その後、この時間間隔の最終推定値を使用して、

を適用し、バーストｊにおける帯域幅の最終的な推定値Ｔ^＊ _ｊを計算してもよい。

一例では、以下のように、測定時間間隔にＩＩＲフィルタリングを使用し、

続いて以下を使用する。

こうしたフィルタリング、推定、及び予測手法により、適切な量のノイズ変動を除去し、更に同時に、最終的な推定値を素早く提供することができる。

受信機での測定結果は、送信機へ再び伝送される。送信機では、このフィードバック情報を使用して、伝送されるオーディオ／映像を、特にそのレートに関して適応化する。受信機から送信機へ伝送されるフィードバック情報は、受信機で計算された（瞬間）帯域幅／最大スループットの推定で構成されてよい。更に、送信機が最終的な推定値を計算するのに使用し得る、未加工の測定結果、又は部分的な推定値を含んでもよい。更に、推定値が計算された時間を示すタイムスタンプと、パケット番号又はパケットバースト番号を示すシーケンス番号とを含んでもよい。フィードバック情報は、受信機が何らかのパケット損失を検出したかどうかの表示を含んでもよい。

フィードバック情報は、オーディオ／映像データを搬送するものと同じネットワークを使用して送信機に返送できる。特に、フィードバック情報を伴うパケットは、送信機から受信機へのオーディオ／映像データを伴うパケットバーストの伝送の合間に伝送できる。こうしたフィードバックパケットは、例えば、オーディオ／映像パケットの全てのバースト後、又はＫ回のバースト毎等、周期的に送信してよく、或いは、例えば、帯域幅性能に大きな変化があった時のみ等、望ましい任意の時点で送信してもよい。フィードバックパケットは、利用可能な伝送用帯域幅の小さな部分のみを使用する。このオーバヘッドは、最小化するべきであり、即ち、小さな状態を維持すると同時に、送信機がタイムリな形で反応できるようにするべきである。

こうしたフィードバックパケットの情報量は、オーディオ／映像データと比較して非常に小さいため、帯域幅のオーバヘッドは非常に小さくなる。それでも、送信機は、帯域幅の割り当て及び適応化の戦略において、この小さなオーバヘッドを考慮に入れてよい。

図２８を参照すると、例示的な受信機のフロー図が図示されている。受信機は、パケットバーストｊを受領し、パケット損失を判定し、パケットの取得を測定する。次に、受信機は、バーストｊに関する帯域幅サンプルを計算する。その後、受信機は、以前のパケットの帯域幅を組み込むことで、バーストｊに関する最終的な帯域幅推定値を計算してよい。最終的な帯域幅を推定した後、受信機は、帯域幅情報を送信機に返送する。送信機は、受信機からの情報に基づいて、帯域幅情報及び帯域幅推定値を計算してよいと理解される。

図２９を参照すると、別の例示的な受信機のフロー図が図示されている。受信機は、パケットバーストｊを受領し、パケット損失を判定し、パケットの取得を測定する。次に、受信機は、バーストｊに関する時間間隔を計算する。その後、受信機は、以前のパケットの時間間隔を組み込むことで、バーストｊに関する最終的な帯域幅推定値を計算してよい。最終的な帯域幅を推定した後、受信機は、帯域幅情報を送信機に返送する。送信機は、受信機からの情報に基づいて、帯域幅情報及び帯域幅推定値を計算してよいと理解される。

図３０を参照すると、例示的な送信機のフロー図が図示されている。送信機は、パケットバーストを受信機に送信する。次に、送信機は、受信機からのフィードバックを受信するために、所定の時間間隔に渡って待機する。フィードバック情報を受信した時、送信機は、レートを適応化し、受信機に対してパケットをスケジューリングしてもよい。送信機は、受信機からの情報に基づいて、帯域幅情報及び帯域幅推定値を計算してよいと理解される。

本明細書で引用した全ての参考文献は、出典を明記することにより本明細書に組み込まれるものとする。

上記明細書において使用された用語及び表現は、限定ではなく説明のために使用されており、こうした用語及び表現の使用においては、図示及び説明される特徴の等価物或いはその一部を除外する意図は存在せず、本発明の範囲は、添付特許請求の範囲によってのみ画定され且つ限定されることは理解されたい。

ゲートウェイ、メディアソース、受信ユニット、及びネットワークを示す図である。 アナログエクステンダを示す図である。 デジタルエクステンダを示す図である。 ＧＯＰsを示す図である。 仮想ＧＯＰsを示す図である。 エクステンダの更に詳細に示す図である。 アナログソース単一ストリームを示す図である。 デジタルソース単一ストリームを示す図である。 多重ストリームを示す図である。 ＭＰＥＧ−２ ＴＭ５を示す図である。 仮想ＧＯＰsによる動的レート適応化を示す図である。 ＧＯＰビット割り当てによるスーパＧＯＰSの低速で変化するチャネル条件を示す図である。 仮想スーパＧＯＰによる仮想スーパＧＯＰの動的チャネル条件を示す図である。 スーパフレームビット割り当てによるスーパフレームの動的チャネル条件を示す図である。 ストリームに関するユーザの嗜好及び優先度決定を示す図である。 特定の時点でのプリファレンスから生じるストリームの加重を示す図である。 任意の時間又はユーザの要求によって設定又は変化したストリームの相対的加重を示す図である。 ＭＡＣ層モデルを示す図である。 アプリケーション層モデルに基づくアプローチを示す図である。 アプリケーション層パケットバーストアプローチを示す図である。 理想的な送信及び受信を示す図である。 再送信及び低データレートへのフォールバックを示す図である。 パック発信及びパケット取得を示す図である。 パックバースト発信及び取得を示す図である。 パケットバースト発信及びエラーを伴う取得を示す図である。 理想的条件下でのパケットバーストを使用した測定最大帯域幅を示す図である。 理想的ではない条件下でパケットバーストを使用した測定最大帯域幅を示す図である。 受信パケットを示す図である。 受信パケットを示す図である。 送信パケットを示す図である。

符号の説明

２１０…中央ゲートウェイメディアサーバ、２３０…ラップトップ、２４０…コンピュータ、２５０…ビューイングユニット、２６０…衛星テレビ、２６５…ケーブル。

Claims (22)

1. 映像を伝送する方法であって、
   （ａ）前記映像に関する所定のフレームレートでの受信機における提示のために、前記映像の第一の複数のパケットを伝送する第一の平均レートを決定する工程と、
   （ｂ）複数の前記第一の複数のパケットを含む前記映像の第二の複数のパケットを伝送する第二の平均レートを決定する際に、前記第二の複数のパケットが前記第一の複数のパケットより少なく、前記第二の平均レートが前記第一の平均レートより大きくなるように決定する工程と、
   （ｃ）前記第二のセットのパケットを、送信機から前記受信機にワイヤレス相互接続により伝送する工程と、
   を含んでなることを特徴とする方法。
2. 前記第二のセットのパケットが、前記送信機に最大許容レートで提供されることを特徴とする請求項１記載の方法。
3. 前記第二のセットのパケットが、パケットのバーストとして提供されることを特徴とする請求項１記載の方法。
4. 前記ワイヤレス相互接続が、８０２．１１準拠であることを特徴とする請求項１記載の方法。
5. 前記第二のセットのパケットが、前記映像を含まないパケットを含むことがないことを特徴とする請求項１記載の方法。
6. 前記第二のセットのパケットが、一秒未満の継続時間で伝送されることを特徴とする請求項１記載の方法。
7. 前記伝送が、アプリケーション層によるものであることを特徴とする請求項１記載の方法。
8. 映像を伝送する方法であって、
   （ａ）前記映像の複数のパケットを伝送する伝送レートを決定する際に、前記伝送レートが、前記映像に関する所定のフレームレートでの受信機における提示のために前記映像を伝送する平均パケットレートよりも高くなるように決定する工程と、
   （ｂ）前記映像の前記複数のパケットを、ワイヤレス相互接続により、前記映像を含まないパケットを含むことがないように、送信機から前記受信機に伝送する工程と、
   を含んでなることを特徴とする方法。
9. 前記複数のパケットが、前記送信機に最大許容レートで提供されることを特徴とする請求項８記載の方法。
10. 前記複数のパケットが、パケットのバーストとして提供されることを特徴とする請求項８記載の方法。
11. 前記ワイヤレス相互接続が、８０２．１１準拠であることを特徴とする請求項８記載の方法。
12. 前記複数のパケットが、一秒未満の継続時間で伝送されることを特徴とする請求項８記載の方法。
13. 前記伝送が、アプリケーション層によるものであることを特徴とする請求項８記載の方法。
14. 映像を伝送する方法であって、
    （ａ）前記映像に関する所定のフレームレートでの受信機における提示のために、前記映像を伝送する平均パケットレートよりも高いレートで、前記映像の複数のパケットを送信機から伝送する工程と、
    （ｂ）前記送信機とワイヤレス接続により相互接続された受信機で前記複数のパケットを受信する工程と、
    （ｃ）前記複数のパケットを受信する工程に基づいて、前記送信機と前記受信機との間の前記相互接続の帯域幅を推定する工程と、
    （ｄ）前記推定に基づいて、前記レートを修正する工程と、
    を含んでなることを特徴とする方法。
15. 多数の前記複数のパケットが、前記送信機から前記受信機へ伝送されることを特徴とする請求項１４記載の方法。
16. 前記相互接続の帯域幅の推定が、多数の前記複数のパケットに基づくものであることを特徴とする請求項１４記載の方法。
17. 前記推定が、伝送中の前記複数のパケットの損失の測定に基づいていないことを特徴とする請求項１４記載の方法。
18. 映像を伝送する方法であって、
    （ａ）前記映像に関する所定のフレームレートでの受信機における提示のために、前記映像を伝送する平均パケットレートよりも高いレートで、前記映像の複数のパケットを送信機から送信機アプリケーション層により伝送する工程と、
    （ｂ）前記送信機とワイヤレス接続によって相互接続された受信機において受信機アプリケーション層で前記複数のパケットを受信する工程と、
    （ｃ）前記複数のパケットを前記受信機アプリケーション層で受信する工程に基づいて、前記送信機と前記受信機との間の前記相互接続の帯域幅を推定する工程と、
    を含んでなることを特徴とする方法。
19. 前記推定に基づいて、前記レートを修正する工程を更に含むことを特徴とする請求項１８記載の方法。
20. 前記相互接続の帯域幅の推定が、多数の前記複数のパケットに基づくものであることを特徴とする請求項１８記載の方法。
21. 前記推定が、伝送中の前記複数のパケットの損失の測定に基づいていないことを特徴とする請求項１８記載の方法。
22. 映像を伝送する方法であって、
    （ａ）前記映像の複数のパケットを送信機から伝送する工程と、
    （ｂ）前記送信機とワイヤレス接続により相互接続された受信機で前記複数のパケットを受信する工程と、
    （ｃ）前記複数のパケットの多数を受信する工程に基づいて、前記送信機と前記受信機との間の前記相互接続の帯域幅を推定する工程と、
    （ｄ）前記推定に基づいて、前記レートを修正する工程と、
    （ｅ）前記複数のパケットの多数が異なる時間的順序で受信された場合に、前記推定が異なるようにする工程と、
    を含んでなることを特徴とする方法。

Images