JP2003188731A - 可変レート符号化方法、符号化装置および復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 インターネットやイーサーネットなどのパケ
ット網で動画や音声を用いた通信を行う際、ネットワー
クの輻輳に応じてパケット送出速度を制御する。 【解決手段】 符号化手段１１により情報源を符号化
し、バッファ１２により符号化手段１１により符号化さ
れた符号語を一時蓄積し与えられたサービス速度μで符
号語を出力する。サービス速度決定手段１６によりサー
ビス速度の目標値λまたはバッファ１２に蓄積されてい
る符号語量ｋの少なくともいずれか一つを用いてサービ
ス速度μを決定し、符号化パラメータ決定手段１５によ
りサービス速度の目標値λまたはバッファに蓄積されて
いる符号語量ｋまたはサービス速度μの少なくともいず
れか一つを用いて符号化手段１１が情報源を符号化する
際の符号化速度を決めるために必要となる符号化パラメ
ータｖを決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、可変レート符号化
方法、符号化装置および復号装置に関する。

【０００２】

【従来の技術】画像や音声などを符号化する場合に情報
源に応じて符号化速度を変化させる可変レート符号化方
法が知られている。例えば、ＭＰＥＧ２やＭＰＥＧ４な
どで用いられている従来の符号化方法は、あらかじめ決
められた固定レート、または情報源に応じて符号化速度
が変化する可変レートの符号化を行っている。インター
ネットなどのパケット網におけるベストエフォート通信
は安価に利用できる反面、帯域やパケット廃棄率が保証
されていない。また、ネットワークの輻輳を避けるた
め、パケット送出速度を調整する輻輳制御機能が必要と
なる。

【０００３】

【発明が解決しようとする課題】インターネットやイー
サーネットなどのパケット網で動画や音声を用いた通信
を行う際、ネットワークの輻輳に応じてパケット送出速
度を制御する必要がある。しかし、ＭＰＥＧ２やＭＰＥ
Ｇ４などの従来の符号化方法では、パケット網の輻輳に
対応して動的に符号化速度を変更することできない。そ
のため、これらの符号化方法を用いた場合、パケット網
が輻輳し、情報の転送に支障をきたすという問題点があ
った。

【０００４】本発明は、上記事情を考慮してなされたも
のであり、インターネットやイーサーネットなどのパケ
ット網で動画や音声を用いた通信を行なう場合に、ネッ
トワークの輻輳に応じてパケット送出速度を制御するこ
とを可能とする可変レート符号化方法および符号化装置
および復号装置を提供することを目的としている。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の可変レート符号化方法は、情報源からの情
報を符号化する符号化ステップと、該符号化ステップに
より符号化された符号語をバッファに一時蓄積し、与え
られたサービス速度で出力する出力ステップと、サービ
ス速度の目標値または前記バッファに蓄積されている符
号語量の少なくともいずれか一つを用いて前記サービス
速度を決定するサービス速度決定ステップと、前記サー
ビス速度の目標値、前記バッファに蓄積されている符号
語量及び前記サービス速度のうちの少なくともいずれか
一つを用いて、前記符号化ステップにおいて情報源から
の情報を符号化する際の符号化速度を決めるために必要
とされる符号化パラメータを決定する符号化パラメータ
決定ステップとを含むものである。また、前記符号化ス
テップは、前記情報源からの情報を異なる複数の符号化
速度で符号化し、最も高い符号化速度で符号化された符
号語である主符号語と、該主符号語より低い符号化速度
で符号化して得られた符号語である補助符号語とを出力
するようになされているものである。さらに、前記情報
源からの情報はオーディオ情報または画像情報の少なく
ともいずれか一つであり、前記符号化パラメータは、入
力画像をダウンサンプリングすることにより得られる画
像の画像サイズ、画像フレームレート、情報の量子化幅
を決める情報量子化ビット数、フレーム間予測符号化を
行うフレーム数とフレーム内符号化を行うフレーム数の
比である差分フレーム率、オーディオ情報の符号化速
度、補助符号語の速度と主符号語の速度の比である補助
符号語率、主符号語と補助符号語の送信時刻の差である
補助符号語送信遅延時間および送信パケット長のうちの
少なくともいずれか一つとされているものである。

【０００６】さらにまた、前記符号化パラメータ決定ス
テップは、前記符号化パラメータの一部または全てと、
前記サービス速度の目標値、前記バッファに蓄積されて
いる符号語量および前記サービス速度のうちの少なくと
もいずれか一つとの関係を示すテーブルを参照すること
により、前記符号化パラメータの一部または全てを決定
するものとされている。さらにまた、前記テーブルに記
載された、前記符号化パラメータと、前記サービス速度
の目標値、前記バッファに蓄積されている符号語量およ
び前記サービス速度のうちの少なくともいずれか一つと
の関係を変更するためのテーブル量子化スケール値を更
新することができるようになされているものである。さ
らにまた、前記符号化パラメータのうちの少なくともい
ずれか一つ、あるいは、前記テーブル量子化スケール値
を受信側から変更することができるようになされている
ものである。さらにまた、受信側におけるパケット到着
状況を送信側に伝えるためのＡＣＫパケットを返信する
際の遅延時間とパケット到着状況の少なくともいずれか
一つを変更することにより、前記サービス速度決定ステ
ップにおける前記サービス速度の目標値を決定する動作
を調整することができるようになされているものであ
る。

【０００７】さらにまた、本発明の符号化装置は、情報
源からの情報を符号化する符号化手段と、該符号化手段
により符号化された符号語を一時蓄積し与えられたサー
ビス速度で出力するバッファと、サービス速度の目標値
またはバッファに蓄積されている符号語量の少なくとも
いずれか一つを用いて前記サービス速度を決定するサー
ビス速度決定手段と、前記サービス速度の目標値、前記
バッファに蓄積されている符号語量および前記サービス
速度のうちの少なくともいずれか一つを用いて、前記符
号化手段が情報源からの情報を符号化する際の符号化速
度を決めるために必要とされる符号化パラメータを決定
する符号化パラメータ決定手段とを有するものである。
さらにまた、本発明の復号装置は、通信ネットワーク上
に送信された、情報源からの情報を最も高い符号化速度
で符号化された符号語である主符号語と該主符号語より
低い符号化速度で符号化した符号語である補助符号語と
を受信して復号する復号装置であって、前記主符号語を
用いて情報を再生できなかった場合、対応する補助符号
語を用いて当該情報を再生する手段を有するものであ
る。

【０００８】

【発明の実施の形態】本発明の可変レート符号化方法、
該符号化方法が適用される符号化装置、および、これに
より符号化されネットワークに送信された符号語を復号
する復号装置は、例えば、ビデオカメラやマイクから入
力された信号を圧縮符号化し、これをインターネットな
どのパケット網のベストエフォート通信を用いて伝送す
る通信システムに適用される。

【０００９】図１は、本発明の可変レート符号化方法が
適用される符号化装置および復号装置の一実施の形態を
用いて構成された通信システムの全体構成を示すブロッ
ク図である。ここで、送信端末１０が本発明の符号化装
置として動作し、受信端末２０が本発明の復号装置とし
て動作する。この図において、ビデオカメラ１やマイク
２などの情報源から送信端末１０に入力された信号は、
符号化手段１１において符号化パラメータｖに基づき圧
縮符号化される。符号化手段１１の出力である符号語は
バッファ１２に一時蓄積され、サービス速度μでバッフ
ァ１２から出力される。輻輳制御手段１４はネットワー
クの状況を受信側から送信されるＡＣＫパケットを受信
することなどにより把握し、符号化速度の目標値（サー
ビス速度の目標値）λを決定する。符号化速度は符号化
パラメータｖだけでなく入力画像にも依存するため、符
号化パラメータｖのみから一意に定まらない。そこで、
所望の符号化速度が得られるような符号化パラメータｖ
を符号化速度の目標値λ、キュー長（バッファ１２に蓄
積されている符号語量）ｋ、サービス速度μ等から符号
化パラメータ決定手段１５により計算する。また、バッ
ファ１２から符号語を出力するサービス速度μを符号化
速度の目標値λとキュー長ｋからサービス速度決定手段
１６により決めることにより、バッファ１２での符号語
溢れを防止する。バッファ１２からサービス速度μで出
力された符号語はパケット化手段１３によりパケット化
され、インターネットなどのネットワーク３に送信され
る。

【００１０】受信端末２０は、パケット受信手段２１で
パケットを受信し、復号化手段２２によりパケット内の
符号語を復号する。復号された信号は、遅延ゆらぎ吸収
手段２３により遅延時間のゆらぎを吸収した後にディス
プレイ４とスピーカー５に出力される。また、パケット
廃棄がパケット廃棄検出手段２４により検出されると、
廃棄されたパケットに対応する信号は、パケット補間手
段２５により補間され、ディスプレイ４とスピーカー５
に出力される。

【００１１】ここで、前記符号化手段１１において、情
報源からの情報を異なる複数の符号化速度で符号化し、
最も高い符号化速度で符号化して得られた符号語（「主
符号語」という。）と、主符号語より低い符号化速度で
符号化して得られた符号語（「補助符号語」という。）
を生成して、前記バッファ１２に蓄積し、前記パケット
化手段１３から主符号語を先に送信し、所定の遅延時間
をもって前記補助符号語を送信するようにしてもよい。
この場合には、前記受信端末２０（復号装置）におい
て、主符号語のパケットが到達しなかったなどの理由に
より主符号語を用いて情報を再生することができなかっ
たときに、対応する補助符号語を用いて当該情報を再生
することが可能となる。

【００１２】図２は、前記送信端末１０において実行さ
れる本発明の可変レート符号化方法の一実施の形態の処
理手順を示す図である。この図に示されるように、本実
施の形態に係わる符号化方法は、ステップＳ１〜ステッ
プＳ８を備えている。ステップＳ１では、サービス速度
μ、サービス速度の目標値（符号化速度の目標値）λ、
及び符号化パラメータｖの初期値を設定する。ステップ
Ｓ２では情報源（ビデオカメラ１，マイク２）から情報
を入力する。ステップＳ３は、前記符号化手段１１によ
り実行されるステップであり、与えられた符号化パラメ
ータｖに従って情報源を符号化し符号語を出力する。ス
テップＳ４では符号語をバッファ１２に蓄積する。ステ
ップＳ５は、前記サービス速度決定手段１６により実行
されるステップであり、サービス速度の目標値λまたは
バッファ１２に蓄積されている符号語量ｋの少なくとも
いずれか一つに基づいてバッファ１２から符号語を出力
するサービス速度μを決定する。なお、最初は、前記ス
テップＳ１で設定された初期値を用いる。ステップＳ６
は、前記輻輳制御手段１４により実行されるステップで
あり、ＡＣＫパケットの受信状況などによりネットワー
クの状況に基づいて前記サービス速度の目標値λを決定
する。ステップＳ７は、前記符号化パラメータ決定手段
１５により実行されるステップであり、前記サービス速
度の目標値λ、前記サービス速度μあるいは前記バッフ
ァ１２に蓄積されている符号語量ｋに基づいて符号化パ
ラメータｖを決定する。ステップＳ８ではサービス速度
μに従って符号語をバッファ１２から出力する。そし
て、前記ステップＳ２に戻り、情報の送信が終了するま
で前記ステップＳ２〜Ｓ８を繰返し実行する。

【００１３】以下に上記各ステップの処理を詳細に説明
する。前記ステップＳ３では、与えられた符号化パラメ
ータｖに従って情報源を符号化し符号語を出力する。な
お、ここでは、前記情報源からの情報を異なる複数の符
号化速度で符号化し、最も高い符号化速度で符号化して
得られた符号語（主符号語）と主符号語よりも低い符号
化速度で符号化して得られた符号語（補助符号語）を出
力するものとして説明する。前記符号化パラメータｖ
は、入力画像をダウンサンプリングすることにより得ら
れる画像の画像サイズｗ、画像フレームレートｆ、情報
の量子化幅を決める情報量子化ビット数ｑ、フレーム間
予測符号化を行うフレーム数とフレーム内符号化を行う
フレーム数の比である差分フレーム率ｒ、オーディオ情
報の符号化速度ｃ、補助符号語の速度と主符号語の速度
の比である補助符号語率ａ、主符号語と補助符号語の送
信時刻の差である補助符号語送信遅延時間τ、送信パケ
ット長νおよびテーブル量子化スケールｓの少なくとも
いずれか一つで記述される。なお、前記テーブル量子化
スケールｓについては後述する。

【００１４】まず、情報源が動画像である場合の動画像
符号化について、図４に示す画像符号化手段の機能ブロ
ック図を参照して説明する。動画像符号化の方式は、動
画像の空間的相関関係および時間的相関関係の高さを利
用した符号化方式であり、フレームレートｆ、差分フレ
ーム率ｒ、画像サイズｗおよび情報量子化ビット数ｑな
どを符号化パラメータｖとして変更できる方式とされて
いる。

【００１５】前記ステップＳ２で入力した情報に対し、
画像フレームレートｆ（単位時間当たりに送信するフレ
ームの数）に相当するタイミングのフレームのみに対し
符号化をおこない、それ以外のフレームについては符号
化対象としないことで画像フレームレートｆを制御す
る。ここで、画像フレームレートｆの適用（変更）はフ
レーム内符号化フレームを符号化する前とし、次のフレ
ーム内符号化フレームまでは一定とする。また、１フレ
ームの符号化およびバッファに入力する時間の長さは、
画像フレームレートｆに応じたフレーム間隔の長さとす
る。そして、１フレームのフレーム内符号化フレームと
差分フレーム率ｒに基づく個数のフレーム間予測符号化
フレームの繰り返しとする。ここで、画像サイズｗ、補
助符号語率ａおよび差分フレーム率ｒの適用はフレーム
内符号化フレームを符号化する前とし、次のフレーム内
符号化フレームまでは一定とする。

【００１６】フレーム内符号化フレームについては以下
の処理で主符号語を決定する。まず、符号化対象画像を
画像サイズｗにダウンサンプリング（３１）し、それを
さらに１６×１６の画像領域に分割する。各画像領域に
対して離散コサイン変換（３３）により離散コサイン変
換係数を決定し、さらに、この係数を情報量子化ビット
数ｑで量子化（３４）する。最後に、量子化結果に対し
て可変長符号化（３５）により主符号語を決める。ま
た、補助符号語については、以下のようにして決定す
る。まず、符号化対象画像を画像サイズｗ’にダウンサ
ンプリング（３１）し、１６×１６の画像領域に分割す
る。各画像領域に対して離散コサイン変換（３３）によ
り離散コサイン変換係数を決定し、さらに、この係数を
情報量子化ビット数ｑ’で量子化（３４）する。量子化
結果に対し、可変長符号化（３５）により補助符号語を
決める。画像サイズｗ’と情報量子化ビット数ｑ’は補
助符号語率ａ、画像サイズｗおよび情報量子化ビット数
ｑから決定される。上記主符号語および補助符号語を決
定する際の、情報量子化ビット数ｑおよびｑ’は１６×
１６の画像領域を一定個数符号化する毎に適用する。

【００１７】フレーム内符号化フレームの符号化後に、
後に続くフレーム間予測符号化フレームで参照するため
の画像を以下の処理で決定し、フレームメモリ４０に格
納する。まず、主符号語を決定する時に得られた各画像
領域に対する離散コサイン変換係数の量子化結果に対し
情報量子化ビット数ｑで逆量子化（３６）をおこない、
さらに逆離散コサイン変換（３７）をおこなう。全画像
領域にこの処理をおこなった後で、符号化対象画像サイ
ズにアップサンプリング（３９）をおこない、フレーム
メモリ４０に格納する。

【００１８】フレーム間予測符号化フレームについて
は、以下の処理で主符号語を決定する。まず、符号化対
象画像およびフレームメモリ４０に格納されている参照
画像を画像サイズｗにダウンサンプリング（４１）し、
１６×１６の画像領域に分割する。各画像領域に対し符
号化対象画像と参照画像の誤差を求め（３２）、この誤
差に対して離散コサイン変換（３３）により離散コサイ
ン変換係数を決定する。さらに、この係数を情報量子化
ビット数ｑで量子化（３４）した結果に対し、可変長符
号化（３５）により主符号語を決める。また、補助符号
語については次のように決定する。まず、符号化対象画
像およびフレームメモリに格納されている参照画像を画
像サイズｗ’にダウンサンプリング（３１，４１）し、
１６×１６の画像領域に分割する。各画像領域に対し符
号化対象画像と参照画像の誤差を求め（３２）、この誤
差に対して離散コサイン変換（３３）により離散コサイ
ン変換係数を決定する。さらに、この係数を情報量子化
ビット数ｑ’で量子化（３４）した結果に対し、可変長
符号化（３５）により補助符号語を決める。上記主符号
語および補助符号語を決定する際の、情報量子化ビット
数ｑおよびｑ’は１６×１６の画像領域を一定個数符号
化する毎に適用する。

【００１９】フレーム間予測符号化フレームの符号化後
に、後に続くフレーム間予測符号化フレームで参照する
ための画像を以下の処理で決定しフレームメモリ４０に
格納する。まず、符号語を決定する時に得られた各画像
領域に対する離散コサイン変換係数の量子化結果（３
４）に対し情報量子化ビット数ｑで逆量子化（３６）を
おこない、さらに逆離散コサイン変換（３７）をおこな
う。全画像領域にこの処理をおこなった後で、符号化対
象画像サイズにアップサンプリング（３９）をおこな
い、フレームメモリ（４０）に格納されている画像との
和を計算（３８）しフレームメモリ４０に格納する。

【００２０】次にオーディオ情報の符号化について、図
４のオーディオ符号化手段の機能ブロック図を参照して
説明する。前記ステップＳ２で入力されるオーディオ情
報は、例えば、２チャンネル、８kHzサンプリングの１
６bitＰＣＭであるとする。オーディオ符号化では、オ
ーディオ符号化速度ｃに応じて以下の２種類の符号化方
法を切り替える。また、オーディオ符号化速度ｃの適用
（変更）は、一定時間毎とする。オーディオ符号化速度
ｃが特定の値よりも大きい場合には、オーディオ符号化
速度ｃに対応する量子化（５１，５２）をおこない、量
子化に応じた固定長の符号で符号語を出力する。このと
きの符号語の量は段階的に制御できる。オーディオ符号
化速度ｃが特定の値以下の場合には、ITU G.729などの
ＣＥＬＰ（Code Exited Linear Prediction）方式によ
り符号化（５１，５３）をおこなう。このときの符号語
の量は方式に応じたものとなる。以上が、図２における
ステップＳ３の符号化処理である。

【００２１】次に、ステップＳ４ではこのようにして符
号化された符号語（主符号語および補助符号語）をバッ
ファ１２に蓄積する。

【００２２】ステップＳ５ではバッファのサービス速度
μを決定する。その際、バッファ１２での符号語の廃棄
を防止するため、μを逐次更新する必要がある。しか
し、バッファへの符号語の到着レートは変動し、かつ予
測困難であるため、キュー長ｋとサービス速度μの関係
は一意に定まらない。そこで、本発明では、以下に示す
非線形システム制御方式を適用する。この制御方式は、
ｉ_maxとｍ_i;maxを定数、ｉ∈{１,２,…,ｉ_max}、ｍ∈
{１,２,…,ｍ_i;max}、ｘ_i;mをシステムの入力、ｙ_i;mを
システムの出力、ｚ_i;m＝ｇ_{zi; m}(ｘ_i;m,ｙ_i;m)を状態変
数、及びｚ_i;m ^*をｚ_i;mの目標値としたとき、ｘ_i;m、ｙ
_i;m、及びｇ_zi;m(ｘ_i;m,ｙ_i;m)を、各々dｙ_i;m／dｘ_i;m
≧０、∂ｇ_zi;m(ｘ_i;m,ｙ_i;m)／∂ｘ_i;m≧０、及び∂ｇ
_zi;m(ｘ_i;m,ｙ_i;m)／∂ｙ_i;m≧０となるように選び、ｚ
_i;mとｚ_i;m ^*の距離ができるだけ小さくなるようにｘ_i;m
を決める。また、ｃ_i;mをシステムの特徴を表す変数、
σ_ci;mをｃ_i;mの変動を表す変数、ａ_i;mをｘ_i;mの変化
速度を決めるパラメータ、Ｄ_i;m(ｘ,ｙ)をｘ＝ｙのとき
Ｄ_i;m(ｘ,ｙ)＝１、ｘ≠ｙのときＤ_i;m(ｘ,ｙ)＞１なる
関数としたとき、ｘ_i;m+1＝ａ_i;m及びｙ_i;m+1＝σ_ci;m
／Ｄ_i;m(ｚ_i;m ^*,ｚ_i;m)とすることにより、システムの
変化速度を決めるパラメータを調整する。

【００２３】以下のようにｘ_i;mを計算する。離散時間
システムにおいて、ｚ_i;m(t)を次式で定義する。

【数１】 ここで、ｔは離散時刻、ｄは遅延時間を表す。これを、

【数２】 で近似すると、未知係数ζ_i;mの推定値ζ^_i;mは次式に
より得られる。

【数３】 ここで、ω₀、ω₁は、ω₀＋ω₁＝１、ω₀、ω₁＞０なる
実数、Ｗ[・]は移動平均、ε_i;m(t）は平均０の確率変
数である。

【００２４】式(2)に最小分散制御（K. J. Astrom, "In
troduction to stochastic controltheory," Academic
Press, Inc., London, 1970）を適用すると、ｚ_i;m(t)
は、次式で得られる。

【数４】 ここで、ｑ_i;mが十分大きくｘ_i;m(t)の変化が十分小さ
いと仮定すると、

【数５】 が成り立つ。 ｘ_i;m+1(t-1)を

【数６】 として、式(6)と式(7)を式(5)に代入すると、

【数７】 が得られる。この式(8)によりｘ_i;m(t)を計算する。

【００２５】ｘ_i;m(t)をシステムの制御入力、ｙ_i;m(t)
をシステムの制御出力とすると、式(8)においてｘ_i;m+1
(t)はｘ_i;m(t)の変化速度を決めるパラメータとなる。
例えば、Ｄ_i;m(ｘ,ｙ)を｜ｘ−ｙ｜＋１とすると、

【数８】 となる。式(8)のｍをｍ＋１に置き換えることにより、
ｘ_i;m(t)の変動に関する所望の特性を与えるｘ_i;m+1(t)
（ｘ_i;m(t)の変化速度を決めるパラメータ）を決めるこ
とができる。

【００２６】本実施の形態では、Ｒ_μ＝（λ−ｃ）／μ
とする。そして、上記非線形システム制御方法をＲ_μの
制御に適用する。ｉ_max＝１、ｍ_i;max＝２として、式
(8)の各変数を、ｘ_i;m(t)＝Ｒ_μ(t)，ｙ_i;m(t)＝ｋ
(t)，ｘ_i;m+1(t)＝ｐ_R（定数），Ｒ_μCをＲ_μの目標
値、ｚ^*＝ｚ_R ^*＝Ｒ_μC ^bRｋ_C，ｚ_R(t)＝Ｒ_μ(t-d)^bRｋ
(t)と置き換えることにより、次式が得られる。

【数９】 ここで、ｄは制御遅延である。従って、

【数１０】 より、適切なサービス速度μ(t)を決定することができ
る。上記制御の結果得られるｋの平均値ｋbarとＲ_μの
平均値Ｒbar_μは、図５に示すように、特性曲線と制御
曲線の交点となる。

【００２７】また、他の方法を採用することもできる。
この場合には、次式によりサービス速度μを決定する。

【数１１】 図６に、上の式(12)によるキュー長ｋとサービス速度μ
の関係を示す。ここで、Ｋはバッファ１２に蓄積できる
符号語の総量、ｋはバッファ内の符号語量（キュー
長）、α、β、γは与えられた定数である。上式により
サービス速度μを決めたときに、バッファ１２での符号
語の廃棄が起きないような定数αを以下により決定す
る。まず、

【数１２】 を式(12)に代入すると、

【数１３】 が得られる。ここで、０≦γ≦１である。

【００２８】パラメータα、β、γ、λ、及び符号語量
の目標値ｋ_Cの関係は、

【数１４】 で得られる。これを変形し、

【数１５】 とすると、αは次式で得られる。

【数１６】 従って、式(14)を式(13)に代入し、

【数１７】 により、サービス速度μを決定する。以上のいずれの方
法により、サービス速度μを決定してもよい。

【００２９】ステップＳ６では、例えばＭＡＱＳ（H. S
atoh, "TCP flow control for maximum throughput and
QoS guarantee," Internet Workshop '99, Japan, pp.
280-285, Feb. 1999、H. Satoh, M. Ishiba, T. Kobay
ashi, T. Enomoto, H. Morikawa, and K. Shimamura, "
Experimental Evaluation of Maximum Throughput and
QoS guaranteed Flow Control over Japan Gigabit Net
work," IEICE Tech. Rep. IN200-211, pp. 217-223, Ma
y, 2001.）のような輻輳制御方式により決められたパケ
ット送出速度をサービス速度の目標値λとする。例え
ば、前述したシステム制御方法を、ｉ_max＝１，ｍ_i;max
＝２として、ＴＣＰまたはＲＴＰの輻輳制御に適用す
る。ここで、λ(n)をパケットｎの送出速度、ｒ(n)をパ
ケット廃棄が起こる確率（パケット廃棄率）、ｎ_ACKを
ＡＣＫを受け取った最新のパケット番号とする。

【００３０】まず、ｍ＝１の場合について説明する。λ
(n)をシステム入力ｘ₁、ｒ(n)をシステム出力ｙ₁、φ_1*
を制御の目標値ｚ₁ ^*、φ₁(n)を状態変数ｚ₁として、φ₁
^*とφ₁(n)を次式で定義する。

【数１８】 ここで、νはパケット長、ＲＴＴはラウンドトリップ遅
延である。また、

【数１９】 としてもよい。

【００３１】前記(8)式のｚ_i;m ^*、ｚ_i;m(t)、ｘ
_i;m(t)、ｘ_i;m(t-d)及びｘ_i;m+1(t-1)を、φ₁ ^*、φ₁(n
_ACK)、λ(n)、λ(n_ACK)及びａ₂(n)に置き換えると、

【数２０】 が得られる。

【００３２】次に、ｍ＝２として、ａ₂(n)を導く。σ_λ
(n)をシステムの変動量σ_c1として、次式で定義する。

【数２１】 状態変数φ₂(n)を次式で定義する。

【数２２】

【００３３】前記(8)式のｚ_i;m ^*、ｚ_i;m(t)、ｘ
_i;m(t)、ｘ_i;m(t-d)、及びｘ_i;m+1(t-1)を、φ₂ ^*、φ
₂(n_ACK)、ａ₂(n)、ａ₂(n_ACK)、及び定数ａ₃に置き換え
ると、

【数２３】 が得られる。

【００３４】なお、上述のように、輻輳制御手段１４に
よるパケット送出速度の算出は受信側から送信されるＡ
ＣＫパケットの受信状況に基づいているため、受信側か
ら送信側に送信するＡＣＫパケットの送出タイミング
（送出遅延時間）や受信状況を変更することにより、前
記輻輳制御手段１４によるパケット送出速度（サービス
速度の目標値λ）を算出するアルゴリズムを制御するこ
とが可能となる。例えば、受信端末２０におけるＡＣＫ
パケットの受信状況、あるいは到着パケットに対応する
ＡＣＫパケットを送信する時刻を所定時間遅延させるこ
と（ＡＣＫパケット遅延）を受信パラメータとし、この
受信パラメータを制御することにより、輻輳制御アルゴ
リズムを制御することができる。これは、受信端末２０
が独自に受信パラメータを設定するようにしてもよい
し、あるいは、送信端末１０から受信端末２０に対し受
信パラメータを送信し、受信端末２０の動作を制御する
ようにしてもよい。また、１つのＡＣＫパケットに対応
する送信パケット数を逐時変更するようにしてもよい。

【００３５】次に、ステップＳ７では前記ステップＳ６
で決定されたサービス速度の目標値λに基づいて符号化
パラメータｖを決定する。この例では、ｖ＝(ｗ,ｆ,ｒ,
ａ,ｑ，ｃ)、すなわち、画像サイズｗ、画像フレームレ
ートｆ、差分フレーム率ｒ、補助符号語率ａ、情報量子
化ビット数ｑおよびオーディオ情報の符号化速度ｃが変
更できる符号化パラメータｖとして選択されているもの
とする。まず、サービス速度の目標値λに応じてオーデ
ィオ情報の符号化速度ｃを決定する。次に、図７記載の
テーブルによりこの符号化パラメータｖのうちｗ，ｆ，
ｒ，ａをサービス速度の目標値λから決定するようにし
ている。ここで、λ₀、λ₁、…は定数、ｉはテーブルの
インデックス、ｓはテーブル量子化スケールである。こ
のテーブル量子化スケールｓを変更することにより、図
７に示したテーブルの各行の（λ−ｃ）の値の範囲が変
更され、ｓが大きいほど符号化レートが高くなる。符号
化速度と情報量子化ビット数ｑの関係は入力画像により
変動するので、与えられたサービス速度の目標値λに対
する最適な符号化パラメータｖは同様に変動する。そこ
で、テーブル量子化スケールｓを逐次更新することによ
り、サービス速度の目標値λと最適な符号化パラメータ
ｖの関係を維持する。

【００３６】前記テーブル量子化スケールｓとキュー長
ｋはｄｋ／ｄｓ＞０という関係があるため、図８の特性
曲線が得られるが、この特性曲線は未知の時変非線形関
数である。そこで、上述した非線形システムの制御方法
をテーブル量子化スケールｓの制御に適用する。すなわ
ち、ｉ_max＝１、ｍ_i;max＝２として、式(8)の各変数
を、ｘ_i;m(t)＝ｓ(t)、ｙ_i;m(t)＝ｋ(t)、ｘ_i;m+1(t)＝
ｐ_s（定数）、ｓ_Cをテーブル量子化スケールｓの目標
値、ｋ_Cをキュー長ｋの目標値、ｚ^*＝ｚ_s ^*＝ｓ_C ^bsｋ_C、
ｚ_s(t)＝ｓ(t-d)^bsｋ(t)と置き換えることにより次式が
得られる。ここで、ｄは制御遅延である。

【数２４】 これにより、適切なテーブル量子化スケールｓを決定す
ることができる。上記制御の結果得られるｋの平均値ｋ
barとｓの平均値ｓbarは、図８に示すように、特性曲線
と制御曲線の交点となる。

【００３７】また、テーブル量子化スケールｓの場合と
同様に、情報量子化ビット数ｑとキュー長ｋには図９に
示すような関係がある。しかし、符号化速度と情報量子
化ビット数ｑの関係は入力画像により変動するため、与
えられたサービス速度の目標値λに対する情報量子化ビ
ット数ｑは一意に求まらない。そこで、式(24)と同様に
式(8)を適用すると、

【数２５】 により情報量子化ビット数ｑを決定できる。ここで、ｑ
_Cを情報量子化ビット数ｑの目標値、ｚ_q(t)＝ｑ(t-d)^bq
ｋ(t)、ｚ_q ^*＝ｑ_C ^bqｋ_C、ｐ_qとｂ_qは定数、ｄは制御遅
延である。上記制御の結果得られるｋの平均値ｋbarと
ｑの平均値ｑbarは、図９の特性曲線と制御曲線の交点
となる。これにより、与えられたサービス速度の目標値
λに対応する情報量子化ビット数ｑを適応的に制御する
ことが可能となる。

【００３８】なお、上述した実施の形態においては、前
記符号化パラメータｖあるいは情報量子化ビット数ｓを
送信端末１０において変更するようにしていたが、受信
端末２０から制御情報を送信端末１０に送信して、前記
符号化パラメータｖあるいは情報量子化ビット数ｓを調
整するようにすることもできる。この場合には、例え
ば、遠隔監視システムなどにおいて、受信側で必要とす
る情報の特性に応じた符号化方式を選択することが可能
となる。

【００３９】また、上記においては、サービス速度の目
標値λの値を基準としてそれに対応する符号化パラメー
タｖを決定するようにしていたが、前記サービス速度μ
あるいは前記バッファに蓄積されている符号語量ｋの値
を基準としてそれに対応する対応する符号化パラメータ
ｖを決定するようにしてもよい。あるいは、サービス速
度の目標値λ、前記サービス速度μまたは前記バッファ
に蓄積されている符号語量ｋのうちの複数を基準として
もよい。さらに、上記テーブルにおいては、符号化パラ
メータｖとして、画像サイズｗ、画像フレームレート
ｆ、差分フレーム率ｒおよび補助符号語率ａが選択され
ている例を示したが、これに限られることはなく、主符
号語と補助符号語の送信時刻の差である補助符号語送信
遅延時間τや送信パケット長νなどを決定するようにし
てもよい。

【００４０】

【発明の効果】以上説明したように、本発明の可変レー
ト符号化方法、符号化装置および復号装置によれば、イ
ンターネットやイーサーネットなどのパケット網で動画
や音声を用いた通信を行う際、ネットワークの輻輳に応
じてパケット送出速度を制御することが可能となる。ま
た、これにより、従来のＭＰＥＧ２やＭＰＥＧ４などの
従来の可変レート符号方法を用いた際に生じるパケット
網の輻輳を回避できるため、他のトラヒックを圧迫する
ことなく音声や画像の通信が可能となる。

【図面の簡単な説明】

【図１】 本発明の可変レート符号化方法が適用された
符号化装置および復号装置を有する通信システムの構成
を示すブロック図である。

【図２】 本発明の可変レート符号化方法の一実施の形
態における処理手順のを示すフローチャートである。

【図３】 画像符号化手段を説明するための機能ブロッ
ク図である。

【図４】 音声符号化手段を説明するための機能ブロッ
ク図である。

【図５】 Ｒμとキュー長ｋの特性曲線と制御曲線を示
す図である。

【図６】 サービス速度μを算出する他の方法における
サービス速度μの制御曲線を示す図である。

【図７】 量子化テーブルの一例を示す図である。

【図８】 テーブル量子化スケールｓとキュー長ｋの特
性曲線と制御曲線を示す図である。

【図９】 情報量子化ビット数ｑとキュー長ｋの特性曲
線と制御曲線を示す図である。

【符号の説明】

１ ビデオカメラ ２ マイク ３ ネットワーク ４ ディスプレイ ５ スピーカー １０ 送信端末 １１ 符号化手段 １２ バッファ １３ パケット化手段 １４ 輻輳制御手段 １５ 符号化パラメータ決定手段 １６ サービス速度決定手段 ２０ 受信端末 ２１ パケット受信手段 ２２ 復号化手段 ２３ 遅延ゆらぎ吸収手段 ２４ パケット廃棄検出手段 ２５ パケット廃棄補間手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 仁樹 神奈川県横須賀市光の丘３番４号 株式会 社ワイ・アール・ピー移動通信基盤技術研 究所内 (72)発明者 笠間 俊夫 東京都千代田区神田錦町二丁目３番地 株 式会社富士総合研究所内 (72)発明者 安川 祥正 東京都千代田区神田錦町二丁目３番地 株 式会社富士総合研究所内 (72)発明者 有馬 太公 東京都千代田区神田錦町二丁目３番地 株 式会社富士総合研究所内 Ｆターム(参考） 5C059 KK34 LB01 LB05 MA00 MA04 MA05 MA23 MA31 MC14 MC38 ME01 ME17 PP04 RA08 RB03 RB16 RC32 SS08 TA47 TA71 TC20 TC25 TC27 TC37 TC45 TD16 TD17 UA02 UA05 UA32 UA33 5C064 AA06 AB04 AC04 AC06 AC12 AC16 AD02 AD06 AD14 AD16 5D045 DA20 5J064 AA00 BA16 BB03 BB10 BC01 BC15 BC16 BC29 BD02

Claims (9)

【特許請求の範囲】
1. 【請求項１】 情報源からの情報を符号化する符号化ス
   テップと、 該符号化ステップにより符号化された符号語をバッファ
   に一時蓄積し、与えられたサービス速度で出力する出力
   ステップと、 サービス速度の目標値または前記バッファに蓄積されて
   いる符号語量の少なくともいずれか一つを用いて前記サ
   ービス速度を決定するサービス速度決定ステップと、 前記サービス速度の目標値、前記バッファに蓄積されて
   いる符号語量及び前記サービス速度のうちの少なくとも
   いずれか一つを用いて、前記符号化ステップにおいて情
   報源からの情報を符号化する際の符号化速度を決めるた
   めに必要とされる符号化パラメータを決定する符号化パ
   ラメータ決定ステップとを含むことを特徴とする可変レ
   ート符号化方法。
2. 【請求項２】 前記符号化ステップは、前記情報源から
   の情報を異なる複数の符号化速度で符号化し、最も高い
   符号化速度で符号化された符号語である主符号語と、該
   主符号語より低い符号化速度で符号化して得られた符号
   語である補助符号語とを出力することを特徴とする請求
   項１記載の可変レート符号化方法。
3. 【請求項３】 前記情報源からの情報はオーディオ情報
   または画像情報の少なくともいずれか一つであり、 前記符号化パラメータは、入力画像をダウンサンプリン
   グすることにより得られる画像の画像サイズ、画像フレ
   ームレート、情報の量子化幅を決める情報量子化ビット
   数、フレーム間予測符号化を行うフレーム数とフレーム
   内符号化を行うフレーム数の比である差分フレーム率、
   オーディオ情報の符号化速度、補助符号語の速度と主符
   号語の速度の比である補助符号語率、主符号語と補助符
   号語の送信時刻の差である補助符号語送信遅延時間およ
   び送信パケット長のうちの少なくともいずれか一つであ
   ることを特徴とする請求項１または請求項２記載の可変
   レート符号化方法。
4. 【請求項４】 前記符号化パラメータ決定ステップは、
   前記符号化パラメータの一部または全てと、前記サービ
   ス速度の目標値、前記バッファに蓄積されている符号語
   量および前記サービス速度のうちの少なくともいずれか
   一つとの関係を示すテーブルを参照することにより、前
   記符号化パラメータの一部または全てを決定するもので
   あることを特徴とする請求項３記載の可変レート符号化
   方法。
5. 【請求項５】 前記テーブルに記載された、前記符号化
   パラメータと、前記サービス速度の目標値、前記バッフ
   ァに蓄積されている符号語量および前記サービス速度の
   うちの少なくともいずれか一つとの関係を変更するため
   のテーブル量子化スケール値を更新することができるよ
   うになされていることを特徴とする請求項４記載の可変
   レート符号化方法。
6. 【請求項６】 前記符号化パラメータのうちの少なくと
   もいずれか一つ、あるいは、前記テーブル量子化スケー
   ル値を受信側から変更することができるようになされて
   いることを特徴とする請求項１乃至請求項５のいずれか
   に記載の可変レート符号化方法。
7. 【請求項７】 受信側におけるパケット到着状況を送信
   側に伝えるためのＡＣＫパケットを返信する際の遅延時
   間とパケット到着状況の少なくともいずれか一つを変更
   することにより、前記サービス速度決定ステップにおけ
   る前記サービス速度の目標値を決定する動作を調整する
   ことができるようになされていることを特徴とする請求
   項１乃至請求項６のいずれかに記載の可変レート符号化
   方法。
8. 【請求項８】 情報源からの情報を符号化する符号化手
   段と、該符号化手段により符号化された符号語を一時蓄
   積し与えられたサービス速度で出力するバッファと、 サービス速度の目標値またはバッファに蓄積されている
   符号語量の少なくともいずれか一つを用いて前記サービ
   ス速度を決定するサービス速度決定手段と、 前記サービス速度の目標値、前記バッファに蓄積されて
   いる符号語量および前記サービス速度のうちの少なくと
   もいずれか一つを用いて、前記符号化手段が情報源から
   の情報を符号化する際の符号化速度を決めるために必要
   とされる符号化パラメータを決定する符号化パラメータ
   決定手段とを有することを特徴とする符号化装置。
9. 【請求項９】 通信ネットワーク上に送信された、情報
   源からの情報を最も高い符号化速度で符号化された符号
   語である主符号語と該主符号語より低い符号化速度で符
   号化した符号語である補助符号語とを受信して復号する
   復号装置であって、 前記主符号語を用いて情報を再生できなかった場合、対
   応する補助符号語を用いて当該情報を再生する手段を有
   することを特徴とする復号装置。