JP3301375B2 - 画像信号符号化装置及び方法、画像信号復号装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号を例え
ば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイ装置などに表示した
り、テレビ会議システム、テレビ電話システム、放送用
機器、マルチメディアデータベース検索システムなど、
動画像信号を伝送路を介して送信側から受信側に伝送
し、受信側において、これを受信し、表示する場合や、
動画像信号を編集し記録する場合などに用いて好適な画
像信号符号化装置及び画像信号符号化方法、画像信号復
号装置および画像信号復号方法に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。

【０００３】動画像の高能率符号化方式として代表的な
ものとしていわゆるＭＰＥＧ（蓄積用動画像符号化）方
式がある。これはＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／
ＷＧ１１にて議論され標準案として提案されたものであ
り、動き補償予測符号化とＤＣＴ（Discrete Cosine Tr
ansform）符号化を組み合わせたハイブリッド方式が採
用されている。ＭＰＥＧでは様々なアプリケーションや
機能に対応するために、いくつかのプロファイルおよび
レベルが定義されている。最も基本となるのが、メイン
プロファイルメインレベル（ＭＰ＠ＭＬ)である。

【０００４】図２１を参照して、ＭＰＥＧ方式のＭＰ＠
ＭＬのエンコーダの構成例について説明する。

【０００５】入力画像信号は、先ずフレームメモリ２０
１に入力され、その後このフレームメモリ２０１から読
み出されて、後段の回路に送られて所定の順番で符号化
されることになる。

【０００６】すなわち、符号化されるべき画像信号は、
マクロブロック単位で上記フレームメモリ２０１から読
み出され、動きベクトル検出（ＭＥ）回路２０２に入力
される。動きベクトル検出回路２０２は、予め設定され
ている所定のシーケンスに従って、各フレームの画像信
号を、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとし
て処理する。シーケンシャルに入力される各フレームの
画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理する
かは、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，
Ｐ，・・・Ｂ，Ｐの順番にて処理される）。

【０００７】ここで、動きベクトル検出回路２０２は、
予め定められた所定の参照フレームを参照し、動き補償
を行うことにより、その動きベクトルを検出する。動き
補償（フレーム間予測）には前方予測、後方予測、両方
向予測の３種類の予測モードがある。Ｐピクチャの予測
モードは前方予測のみであり、Ｂピクチャの予測モード
は前方予測、後方予測、両方向予測の３種類である。動
きベクトル検出回路２０２は、予測誤差を最小にする予
測モードを選択しその際の動きベクトルを発生する。

【０００８】このとき、予測誤差は例えば符号化するマ
クロブロックの分散値と比較され、マクロブロックの分
散値の方が小さい場合には、そのマクロブロックでは予
測は行わず、フレーム内符号化が行われる。この場合、
予測モードは画像内符号化（イントラ）となる。動きベ
クトルおよび上記予測モードの情報は、可変長符号化
（ＶＬＣ）回路２０６および動き補償（ＭＣ）回路２１
２に入力される。

【０００９】動き補償回路２１２では所定の動きベクト
ルに基づいて予測参照画像信号を生成し、この予測参照
画像信号を演算回路２０３に入力する。演算回路２０３
では、マクロブロック単位で上記フレームメモリ２０１
からの符号化する画像信号の値と、上記動き補償回路２
１２からの予測参照画像信号の値との差分信号を求め、
その差分信号をＤＣＴ回路２０４に出力する。イントラ
マクロブロック（画像内符号化されるマクロブロック）
の場合、演算回路２０３は上記符号化する画像信号のマ
クロブロックをそのままＤＣＴ回路２０４に出力する。

【００１０】ＤＣＴ回路２０４では、上記演算回路２０
３からの差分信号若しくは、画像信号そのものがＤＣＴ
（離散コサイン変換）処理され、ＤＣＴ係数に変換され
る。このＤＣＴ係数は、量子化回路２０５に入力され、
ここで送信バッファ２０７のデータ蓄積量（バッファに
蓄積可能なデータ残量）に対応した量子化ステップで量
子化された後、量子化データとして可変長符号化回路２
０６に入力される。

【００１１】可変長符号化回路２０６は、量子化（Ｑ）
回路２０５より供給される量子化ステップ（量子化スケ
ール）に対応して、量子化回路２０５より供給される量
子化データを、例えばハフマン符号などの可変長符号に
変換し、この符号化データを送信バッファ２０７に出力
する。

【００１２】可変長符号化回路２０６にはまた、量子化
回路２０５からの量子化ステップ（スケール）と、さら
に動きベクトル検出回路２０２からの予測モード（画像
内予測、前方予測、後方予測、または両方向予測のいず
れが設定されたかを示す予測モード）および動きベクト
ルとが入力されており、これらも可変長符号化される。

【００１３】送信バッファ２０７は、入力されたデータ
を一時蓄積し、またその蓄積量に対応するデータを量子
化制御信号として量子化回路２０５に出力（バッファフ
ィードバック）する。すなわち、送信バッファ２０７
は、そのデータ蓄積量（蓄積可能なデータ残量）が許容
上限値まで増量すると、上記量子化制御信号によって量
子化回路２０５の量子化スケールを大きくさせることに
より、量子化回路２０５から出力される量子化データの
データ量を低下させる。また、これとは逆に、データ蓄
積量（蓄積可能なデータ残量）が許容下限値まで減少す
ると、送信バッファ２０７は、量子化制御信号によって
量子化回路２０５の量子化スケールを小さくすることに
より、量子化回路２０５から出力される量子化データの
データ量を増大させる。このようにして、送信バッファ
２０７のオーバフローまたはアンダフローが防止され
る。

【００１４】そして、送信バッファ２０７に蓄積された
符号化データは、所定のタイミングで読み出され、伝送
路にビットストリームとして出力される。

【００１５】一方、量子化回路２０５より出力された量
子化データは、逆量子化（ＩＱ）回路２０８にも入力さ
れる。この逆量子化回路２０８では、上記量子化回路２
０５より供給された量子化データを、同じく量子化回路
２０５より供給される量子化ステップに対応して逆量子
化する。この逆量子化回路２０８の出力信号（逆量子化
することにより得られたＤＣＴ係数）は、ＩＤＣＴ（逆
ＤＣＴ）回路２０９に入力され、ここで逆ＤＣＴ処理さ
れた後、その出力信号（画像信号若しくは差分信号）が
演算回路２１０に送られる。この演算回路２１０では、
ＩＤＣＴ回路２０９からの出力信号がＰピクチャの差分
信号である場合、ＩＤＣＴ回路２０９からの差分信号と
動き補償回路２１２からの画像信号とを加算して画像信
号を復元する。なお、ＩＤＣＴ回路２０９からの出力信
号がイントラマクロブロックの場合は、ＩＤＣＴ回路２
０９からの画像信号がそのまま出力される。この画像信
号は、フレームメモリ２１１に記憶される。動き補償回
路２１２は、フレームメモリ２１１の画像と動きベクト
ルと予測モードとを用いて、予測参照画像信号を生成す
る。

【００１６】次に、図２２を用いて、ＭＰＥＧのＭＰ＠
ＭＬのデコーダの構成例を説明する。

【００１７】伝送路を介して伝送されてきた符号化され
た画像データ（ビットストリーム）は、図示せぬ受信回
路で受信されたり、再生装置で再生され、受信バッファ
２２１に一時記憶された後、符号化データとして可変長
復号（ＩＶＬＣ）回路２２２に供給される。可変長復号
回路２２２は、受信バッファ２２１より供給された符号
化データを可変長復号化し、得られた動きベクトルと予
測モードを動き補償回路２２７に、また、量子化ステッ
プを逆量子化回路２２３に、それぞれ出力すると共に、
可変長復号されたデータ（量子化データ）を逆量子化
（ＩＱ）回路２２３に出力する。

【００１８】逆量子化回路２２３は、可変長復号回路２
２２より供給されたデータ（量子化データ）を、同じく
可変長復号化回路２２２より供給された量子化ステップ
に従って逆量子化し、逆量子化することにより得られた
ＤＣＴ係数をＩＤＣＴ回路２２４に出力する。逆量子化
回路２２３より出力されたＤＣＴ係数は、ＩＤＣＴ回路
２２４により逆ＤＣＴ処理され、その出力信号（画像信
号若しくは差分信号）が演算回路２２５に供給される。

【００１９】ここでＩＤＣＴ回路２２４からの出力デー
タが、Ｉピクチャ（画像信号）である場合、その画像信
号は演算回路２２５よりそのまま出力され、この演算回
路２２５に対して後に入力される差分信号（ＰまたはＢ
ピクチャのデータ）の予測参照画像信号を生成するため
に、フレームメモリ２２６に供給されて記憶される。ま
た、この演算回路２２５からの画像信号は、そのまま再
生画像として外部に出力される。

【００２０】一方、入力ビットストリームがＰまたはＢ
ピクチャの場合、動き補償回路２２７は、可変長復号回
路２２２より供給される動きベクトルおよび予測モード
に従って、予測参照画像信号を生成し、その予測参照画
像信号を演算回路２２５に出力する。演算回路２２５で
は、ＩＤＣＴ回路２２４より入力される差分画像信号
と、動き補償回路２２７より供給される予測参照画像信
号とを加算して再生画像として出力する。またＰピクチ
ャの場合、演算回路２２５からの画像信号はまた、フレ
ームメモリ２２６に入力され記憶され、次に復号する画
像信号の参照画像とされる。

【００２１】ＭＰＥＧでは、ＭＰ＠ＭＬの他に様々なプ
ロファイルおよびレベルが定義され、また各種ツールが
用意されている。以下に述べるスケーラビリティもＭＰ
ＥＧのこうしたツールの１つである。

【００２２】ＭＰＥＧでは、異なる画像サイズやフレー
ムレートに対応するスケーラビリティを実現するスケー
ラブル符号化方式が導入されている。例えば空間スケー
ラビリティの場合、下位レイヤのビットストリームのみ
を復号する場合は、画像サイズの小さい画像信号を復号
し、下位レイヤおよび上位レイヤのビットストリームを
復号する場合は、画像サイズの大きい画像信号を復号す
る。

【００２３】図２３を用いて空間スケーラビリティのエ
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号、また上位レイ
ヤは画像サイズの大きい画像信号に対応する。

【００２４】下位レイヤの画像信号は、先ずフレームメ
モリ２６１に入力され、後段の回路により、前述したＭ
Ｐ＠ＭＬと同様に符号化される。

【００２５】すなわち、マクロブロック単位で上記フレ
ームメモリ２６１から読み出されたデータは、動きベク
トル検出回路２６２に入力される。動きベクトル検出回
路２６２は、予め設定されている所定のシーケンスに従
って、各フレームの画像データを、Ｉピクチャ、Ｐピク
チャ、またはＢピクチャとして処理する。

【００２６】動きベクトル検出回路２６２は、予め定め
られた所定の参照フレーム（すなわち前方原画像、後方
原画像、原画像）を参照し、動き補償を行うことによ
り、その動きベクトルを検出する。動き補償（フレーム
間予測）には前方予測、後方予測、両方向予測の３種類
の予測モードがある。動きベクトル検出回路２６２は、
予測誤差を最小にする予測モードを選択しその際の動き
ベクトルを発生する。上記動きベクトルおよび上記予測
モードの情報は、可変長符号化回路２６６および動き補
償回路２７２に入力される。

【００２７】動き補償回路２７２では所定の動きベクト
ルに基づいて予測参照画像信号を生成し、この予測参照
画像信号を演算回路２６３に入力する。演算回路２６３
では、マクロブロック単位で上記フレームメモリ２６１
からの符号化する画像信号の値と、上記動き補償回路２
７２からの予測参照画像信号の値との差分信号を求め、
その差分信号をＤＣＴ回路２６４に出力する。なお、イ
ントラマクロブロック（画像内符号化されるマクロブロ
ック）の場合、演算回路２６３は符号化するマクロブロ
ックの信号をそのままＤＣＴ回路２６４に出力する。

【００２８】ＤＣＴ回路２６４では、上記演算回路２６
３からの差分信号がＤＣＴ処理され、ＤＣＴ係数に変換
される。このＤＣＴ係数は、量子化回路２６５に入力さ
れ、ここで送信バッファ２６７のデータ蓄積量（バッフ
ァに蓄積可能なデータ残量）に対応した量子化ステップ
で量子化された後、量子化データとして可変長符号化回
路２６６に入力される。

【００２９】可変長符号化回路２６６は、量子化回路２
６５より供給される量子化ステップ（量子化スケール）
に対応して、量子化回路２６５より供給される量子化デ
ータを、例えばハフマン符号などの可変長符号に変換
し、この符号化データを送信バッファ２６７に出力す
る。

【００３０】可変長符号化回路２６６にはまた、量子化
回路２６５からの量子化ステップ（スケール）と、さら
に動きベクトル検出回路２６２からの予測モード（画像
内予測、前方予測、後方予測、または両方向予測のいず
れが設定されたかを示す予測モード）および動きベクト
ルとが入力されており、これらも可変長符号化される。

【００３１】送信バッファ２６７は、入力された符号化
データを一時蓄積し、またその蓄積量に対応するデータ
を量子化制御信号として量子化回路２６５に出力（バッ
ファフィードバック）する。これにより、当該送信バッ
ファ２６７のオーバフローまたはアンダフローが防止さ
れる。

【００３２】そして、送信バッファ２６７に蓄積された
符号化データは、所定のタイミングで読み出され、伝送
路にビットストリームとして出力される。

【００３３】一方、量子化回路２６５より出力された量
子化データは、逆量子化回路２６８にも入力される。こ
の逆量子化回路２６８では、上記量子化回路２６５より
供給された量子化データを、同じく量子化回路２６５よ
り供給される量子化ステップに対応して逆量子化する。
この逆量子化回路２６８の出力信号（ＤＣＴ係数）は、
ＩＤＣＴ回路２６９に入力され、ここで逆ＤＣＴ処理さ
れた後、その出力信号（画像信号若しくは差分信号）が
演算回路２７０に送られる。この演算回路２７０では、
ＩＤＣＴ回路２０９からの出力信号がＰピクチャの差分
信号である場合、ＩＤＣＴ回路２６９からの差分信号と
動き補償回路２７２からの画像信号とを加算して画像信
号を復元する。なお、ＩＤＣＴ回路２０９からの出力信
号がイントラマクロブロックである場合、ＩＤＣＴ回路
２０９からの画像信号がそのまま出力される。この画像
信号は、フレームメモリ２７１に記憶される。動き補償
回路２７２は、フレームメモリ２７１の画像信号と動き
ベクトルと予測モードとを用いて、予測参照画像信号を
生成する。

【００３４】ただし、この下位レイヤの構成例におい
て、演算回路２７０の出力画像信号は、上記フレームメ
モリ２７１に供給されて下位レイヤの参照画像として用
いられるだけでなく、アップサンプリングにより画像拡
大を行う画像拡大回路２４３によって上位レイヤの画像
サイズと同一の画像サイズに拡大された後、上位レイヤ
の参照画像にも用いられる。

【００３５】すなわち演算回路２７０からの画像信号
は、上記の通りフレームメモリ２７１および画像拡大回
路２４３に入力される。画像拡大回路２４３では演算回
路２７０によって生成された画像信号を拡大して上位レ
イヤの画像サイズと同一の大きさにして重み付加回路２
４４に出力する。

【００３６】重み付加回路２４４では、画像拡大回路２
４３からの出力信号に重み（１−Ｗ）を乗算し、演算回
路２５８に出力する。

【００３７】一方、上位レイヤの画像信号は、先ずフレ
ームメモリ２４５に入力される。動きベクトル検出回路
２４６は、前述したＭＰ＠ＭＬと同様に、動きベクトル
および予測モードを決定する。

【００３８】ここで、この上位レイヤの構成において、
動き補償回路２５６は、動きベクトル検出回路２４６に
よって決定された動きベクトルおよび予測モードに従っ
て予測参照画像信号を生成するが、この予測参照画像信
号は、重み付加回路２５７に供給される。この重み付加
回路２５７では、上記予測参照画像信号に対して重みＷ
（重み計数Ｗ）を乗算し演算回路２５８に出力する。

【００３９】演算回路２５８は、重み付加回路２４４お
よび２５７からの画像信号を加算し、得られた画像信号
を予測参照画像信号として演算回路２４７に出力する。
演算回路２５８からの画像信号はまた、演算回路２５４
にも入力されＩＤＣＴ回路２５３からの画像信号と加算
された後、フレームメモリ２５５に入力されこの後に符
号化される画像信号の参照画像信号として用いられる。

【００４０】演算回路２４７は、フレームメモリ２４５
からの符号する画像信号と上記演算回路２５８からの予
測参照画像信号との差分を計算して出力する。ただし、
フレーム内符号化マクロブロックの場合、演算回路２４
７は上記符号する画像信号をそのままＤＣＴ回路２４８
に出力する。

【００４１】ＤＣＴ回路２４８は演算回路２４７の出力
信号をＤＣＴ（離散コサイン変換）処理し、ＤＣＴ係数
を生成し、量子化回路２４９に出力する。量子化回路２
４９ではＭＰ＠ＭＬの場合と同様に送信バッファ２５１
のデータ蓄積量などに基づいて決定された量子化スケー
ルにしたがってＤＣＴ係数を量子化し、量子化データと
して可変長符号化回路２５０に出力する。可変長符号化
回路２５０は、量子化データを可変長符号化した後、符
号化データを送信バッファ２５１を介して上位レイヤの
ビットストリームとして出力する。

【００４２】量子化回路２４９からの量子化データはま
た、逆量子化回路２５２にて上記量子化回路２４９で用
いた量子化スケールによって逆量子化され、出力データ
（ＤＣＴ係数）をＩＤＣＴ回路２５３に出力する。さら
にＩＤＣＴ回路２５３はＤＣＴ係数を逆ＤＣＴ処理した
後、出力信号（画像信号若しくは差分信号）が演算回路
２５４に入力される。演算回路２５４では、ＩＤＣＴ回
路２５３からの出力信号がＰピクチャの差分画像である
場合、演算回路２５８からの画像信号とＩＤＣＴ回路２
５３からの差分信号を加算し、画像信号を復元する。な
お、ＩＤＣＴ回路２５３からの出力信号がイントラマク
ロブロックである場合、ＩＤＣＴ回路２５３からの画像
信号がそのまま出力される。この画像信号は、フレーム
メモリ２５５に記憶される。動き補償回路２５６はフレ
ームメモリ２５５の画像信号と動きベクトルと予測モー
ドとを用いて、予測参照画像信号を生成する。

【００４３】可変長符号化回路２５０ではまた、動きベ
クトル検出回路２４６で検出された動きベクトルおよび
予測モードと、量子化回路２４９で用いた量子化スケー
ルと、重み付加回路２４４および２５７で用いた重みＷ
が入力され、それぞれ符号化され伝送される。

【００４４】次に、図２４を用いて空間スケーラビリテ
ィのデコーダの一例を説明する。

【００４５】下位レイヤのビットストリームは、受信バ
ッファ３０１に入力された後、ＭＰ＠ＭＬと同様に復号
される。すなわち、受信バッファ３０１から読み出され
た符号化データは、可変長復号回路３０２に送られる。
可変長復号回路３０２は、受信バッファ３０１より供給
された符号化データを可変長復号化し、動きベクトルと
予測モードを動き補償回路３０７に、また、量子化ステ
ップを逆量子化回路３０３に、それぞれ出力すると共
に、可変長復号されたデータ（量子化データ）をマクロ
ブロック単位で逆量子化回路３０３に出力する。

【００４６】逆量子化回路３０３は、可変長復号回路３
０２より供給されたデータ（量子化データ）を、同じく
可変長復号化回路３０２より供給された量子化ステップ
に従って逆量子化し、逆量子化することにより得られた
ＤＣＴ係数をＩＤＣＴ回路３０４に出力する。逆量子化
回路３０３より出力されたＤＣＴ係数は、ＩＤＣＴ回路
３０４で逆ＤＣＴ処理され、出力信号（画像信号若しく
は差分信号）が演算回路３０５に供給される。

【００４７】ここでＩＤＣＴ回路３０４からの出力信号
が、Ｉピクチャのデータである場合、その画像信号は演
算回路３０５よりそのまま出力され、演算回路３０５に
後に入力される差分信号（ＰまたはＢピクチャのデー
タ）の予測参照画像信号を生成するために、フレームメ
モリ３０６に供給されて記憶される。また、この画像信
号は、そのまま再生画像として外部に出力される。

【００４８】一方、入力ビットストリームがＰまたはＢ
ピクチャの場合、動き補償回路３０７は、可変長復号回
路３０２より供給される動きベクトルおよび予測モード
に従って、予測参照画像信号を生成し、その予測参照画
像信号を演算回路３０５に出力する。演算回路３０５で
は、ＩＤＣＴ回路３０４より入力される差分信号と、動
き補償回路３０７より供給される予測参照画像信号とを
加算して、画像信号として出力する。また、Ｐピクチャ
の場合、演算回路３０５からの画像信号はまた、フレー
ムメモリ３０６に入力され記憶され、次に復号する画像
信号の予測参照画像信号として使用される。

【００４９】ただし、この図２４の構成では、上述のよ
うに演算回路３０５からの画像信号は外部に出力され、
またフレームメモリ３０６に蓄えられて、これ以後復号
する画像信号の予測参照画像信号として用いられるだけ
でなく、画像拡大回路３２７により上位レイヤの画像信
号と同一の画像サイズに拡大された後、上位レイヤの予
測参照画像信号としても用いられる。

【００５０】すなわち、演算回路３０５の画像信号は、
上述のように下位レイヤの再生画像信号として出力さ
れ、またフレームメモリ３０６に出力されると同時に、
画像拡大回路３２７に供給され、上位レイヤの画像サイ
ズと同一の画像サイズに拡大された後、重み付加回路３
２８に出力される。

【００５１】重み付加回路３２８では、画像拡大回路３
２７の画像信号に対して上記復号された重みＷを用いて
計算した（１−Ｗ）を乗算し、この値を演算回路３１７
に出力する。

【００５２】一方、上位レイヤのビットストリームは、
受信バッファ３０９を介して可変長復号回路３１０に供
給され、ここで符号化データが可変長復号され、量子化
データとともに量子化スケール、動きベクトル、予測モ
ードおよび重み係数が復号される。可変長復号回路３１
０により可変長復号された量子化データは、同じく復号
された量子化スケールを用いて逆量子化回路３１１にお
いて逆量子化された後、ＤＣＴ係数としてＩＤＣＴ回路
３１２に出力される。ＩＤＣＴ回路３１２はＤＣＴ係数
を逆ＤＣＴ処理し、出力信号（画像信号若しくは差分信
号）が演算回路３１３に供給される。

【００５３】動き補償回路３１５は、上記復号された動
きベクトルおよび予測モードにしたがって予測参照画像
信号を生成し、この予測参照画像信号を重み付加回路３
１６に入力する。重み付加回路３１６では、上記復号さ
れた重みＷを動き補償回路３１５からの予測参照画像信
号に乗算し、この乗算結果から得られる画像信号を演算
回路３１７に出力する。

【００５４】演算回路３１７は、重み付加回路３２８お
よび３１６の画像信号を加算し、得られた画像信号を演
算回路３１３に出力する。演算回路３１３では、ＩＤＣ
Ｔ回路３１２からの出力信号が差分信号である場合に、
ＩＤＣＴ回路３１２からの差分信号と演算回路３１７か
らの画像信号を加算して上位レイヤの画像信号を復元す
る。なお、ＩＤＣＴ回路３１２からの出力信号が、イン
トラマクロブロックである場合、ＩＤＣＴ回路３１２か
らの画像信号がそのまま出力される。この画像信号はフ
レームメモリ３１４に記憶され、この後、復号する画像
信号の予測参照画像信号とされる。

【００５５】なお、以上の説明は、輝度信号の処理につ
いての説明であるが、色差信号の処理も同様に行われ
る。但し、この場合、動きベクトルは、輝度信号用のも
のを垂直方向および水平方向に１／２にしたものが用い
られる。

【００５６】以上、ＭＰＥＧ方式について説明したが、
この他にも様々な動画像の高能率符号化方式が標準化さ
れている。例えば、いわゆるＩＴＵ−Ｔ（Internationa
l Telecommunication Union−Telecommunication secto
r:国際電気通信連合の電気通信標準化部門）では、主に
通信用の符号化方式として、Ｈ．２６１やＨ．２６３と
いう方式を規定している。このＨ．２６１やＨ．２６３
も基本的にはＭＰＥＧ方式と同様に動き補償予測符号化
とＤＣＴ変換符号化を組み合わせたものであり、ヘッダ
情報などの詳細は異なるが、符号化装置や復号装置は同
様となる。

【００５７】

【発明が解決しようとする課題】ＭＰＥＧ２においては
空間スケーラビリティが既に標準化されているが、その
符号化効率は十分であるとは言い難い。したがって、Ｍ
ＰＥＧ４方式やその他の新規符号化方式においては空間
スケーラビリティの符号化効率を向上することが課題と
なっている。

【００５８】ＭＰＥＧ２方式における空間スケーラビリ
ティについて、ここで少し詳しく説明する。同スケーラ
ブル符号化方式においては、下位レイヤは通常の符号化
方式、すなわちＭＰＥＧ２の場合はＭＰ＠ＭＬと同様に
符号化する。上位レイヤは、同じ時刻の下位レイヤの画
像、および同じレイヤの直前に復号された画像を、参照
画像として用いる。この時、下位レイヤと上位レイヤの
予測モードはまったく独立に決定される。したがって、
下位レイヤにおいて情報を伝送したにもかかわらず、上
位レイヤでそれがまったく使われずに、上位レイヤの復
号画像から予測を行って符号化してしまうことがある。
これは、上位レイヤと下位レイヤで共有可能な情報をま
ったく独立に伝送していることに等しい。

【００５９】したがって、上記のような情報伝送の重複
をできるだけ少なくし、符号化効率を向上させることが
課題となっている。

【００６０】また、ＭＰＥＧ２方式ではマクロブロック
単位でしか符号化モードを指定することができない。こ
れは比較的均一な領域の画像を扱う場合は問題無いが、
複雑な動きをするシーケンスや、異なる性質の画像（例
えば、静止領域と動領域）が一つのマクロブロックに含
まれる場合には符号化効率の低下の原因となっている。

【００６１】そこで、本発明は、このような実情に鑑み
てなされたものであり、空間スケーラブル符号化方法に
おいて、予測効率を改善し、符号化効率を向上すること
を可能にする、画像信号符号化装置及び方法、画像信号
復号装置及び方法を提供することを目的とするものであ
る。

【００６２】

【課題を解決するための手段】本発明の画像信号符号化
装置は、上述した課題を解決するために提案されたもの
であり、所定の画像信号をそれぞれ表す下位階層の画像
信号と上位階層の画像信号を符号化する画像信号符号化
装置において、上記下位階層の画像信号を参照画像信号
を用いて符号化して、第１の符号化データを出力する第
１の符号化手段と、上記上位階層の画像信号を参照画像
信号を用いて符号化して、第２の符号化データを出力す
る第２の符号化手段と、上記第１の符号化データを復号
して、第１の参照画像信号を生成する第１の復号手段
と、上記第２の符号化データを復号して、第２の参照画
像信号を生成する第２の復号手段と、上記第１の参照画
像信号と上記第２の参照画像信号とを各画素毎に適応的
に切り替えることにより第３の参照画像信号を生成する
生成手段とを有し、上記第２の符号化手段は、上記第
１、第２若しくは第３の参照画像信号を選択して上記上
位階層の画像信号を符号化することを特徴としている。

【００６３】また、本発明の画像信号符号化方法は、上
述した課題を解決するために提案されたものであり、所
定の画像信号をそれぞれ表す下位階層の画像信号と上位
階層の画像信号を符号化する画像信号符号化方法におい
て、上記下位階層の画像信号を参照画像信号を用いて符
号化して、第１の符号化データを出力する第１の符号化
ステップと、上記上位階層の画像信号を参照画像信号を
用いて符号化して、第２の符号化データを出力する第２
の符号化ステップと、上記第１の符号化データを復号し
て、第１の参照画像信号を生成する第１の復号ステップ
と、上記第２の符号化データを復号して、第２の参照画
像信号を生成する第２の復号ステップと、上記第１の参
照画像信号と上記第２の参照画像信号とを各画素毎に適
応的に切り替えることにより第３の参照画像信号を生成
する生成ステップとを有し、上記第２の符号化ステップ
は、上記第１、第２若しくは第３の参照画像信号を選択
して上記上位階層の画像信号を符号化することを特徴と
している。

【００６４】次に、本発明の画像信号復号装置は、上述
した課題を解決するために提案されたものであり、符号
化された下位階層の画像信号と符号化された上位階層の
画像信号からなる符号化データを受信し、その符号化デ
ータを復号する画像信号復号装置において、符号化され
た下位階層の画像信号と符号化された上位階層の画像信
号はそれぞれ参照画像信号を用いて符号化されており、
上記符号化データを受信する受信手段と、上記符号化さ
れた下位階層の画像信号を参照画像信号を用いて復号し
て、当該復号された下位階層の画像信号を第１の参照画
像信号として出力する第１の復号手段と、上記符号化さ
れた上位階層の画像信号を参照画像信号を用いて復号し
て、当該復号された上位階層の画像信号を第２の参照画
像信号として出力する第２の復号手段と、上記第１の参
照画像信号と上記第２の参照画像信号とを各画素毎に適
応的に切り替えることにより第３の参照画像信号を生成
する生成手段とを有し、上記第２の復号手段は、上記第
１、第２若しくは第３の参照画像信号を選択して上記上
位階層の画像信号を復号することを特徴としている。

【００６５】また、本発明の画像信号復号方法は、上述
した課題を解決するために提案されたものであり、符号
化された下位階層の画像信号と符号化された上位階層の
画像信号からなる符号化データを受信し、その符号化デ
ータを復号する画像信号復号方法において、符号化され
た下位階層の画像信号と符号化された上位階層の画像信
号はそれぞれ参照画像信号を用いて符号化されており、
上記符号化データを受信する受信ステップと、上記符号
化された下位階層の画像信号を参照画像信号を用いて復
号して、当該復号された下位階層の画像信号を第１の参
照画像信号として出力する第１の復号ステップと、上記
符号化された上位階層の画像信号を参照画像信号を用い
て復号して、当該復号された上位階層の画像信号を第２
の参照画像信号として出力する第２の復号ステップと、
上記第１の参照画像信号と上記第２の参照画像信号とを
各画素毎に適応的に切り替えることにより第３の参照画
像信号を生成する生成ステップとを有し、上記第２の復
号ステップは、上記第１、第２若しくは第３の参照画像
信号を選択して上記上位階層の画像信号を復号すること
を特徴としている。

【００６６】したがって、本発明の画像信号符号化装置
及び方法により符号化された信号を記録してなる記録媒
体、すなわち、本発明の画像信号復号装置によって復号
可能な記録媒体は、符号化された下位階層の画像信号と
符号化された上位階層の画像信号とからなる符号化信号
を含んで記録してなり、符号化データは、下位階層の画
像信号を参照画像信号を用いて符号化して第１の符号化
データを出力し、上位階層の画像信号を参照画像信号を
用いて符号化して第２の符号化データを出力し、第１の
符号化データを復号して、第１の参照画像信号を生成
し、第２の符号化データを復号して、第２の参照画像信
号を生成し、第１の参照画像信号と第２の参照画像信号
とを各画素毎に適応的に切り替えることにより第３の参
照画像信号を生成し、上記第１、第２若しくは第３の参
照画像信号を選択して上位階層の画像信号を符号化して
生成される。

【００６７】

【発明の実施の形態】以下に、本発明を実現する実施の
形態について、図面を参照しながら説明する。

【００６８】先ず、本発明の実施の形態についての具体
的内容説明を行う前に、本発明の基本的な考え方につい
て、ＭＰＥＧにおける各参照画像の性質と絡めて説明す
る。通常、上位レイヤの画像信号は下位レイヤの画像信
号と比較して画質が良い。したがって、フレーム間の変
化が少ない場合は、上位レイヤの画像を用いて動き補償
を行った方が、予測誤差が少なくなることが多い。しか
し、フレーム間の変化が大きい場合は、動き補償の効率
が下がるため、同時刻の画像を参照画像とした方が効率
が良い。このようなことから、フレーム間差分が大きい
領域では同時刻の下位レイヤからの画像信号を、また、
フレーム間差分が小さい場合には同じ階層（上位レイ
ヤ）の画像を、参照画像に用いれば良い。

【００６９】次に、ＭＰＥＧ方式の空間スケーラブル符
号化の情報の重複について説明する。

【００７０】上位レイヤのあるマクロブロックを符号化
する場合を考える。この時、当該上位レイヤのマクロブ
ロックに対応する下位レイヤのマクロブロックにおいて
情報（ＤＣＴ係数）を伝送した場合に、上位レイヤの同
じ画像を参照して予測を行うと、下位レイヤと上位レイ
ヤとで独立に情報が伝送されることになる。即ち、下位
レイヤで伝送した情報が上位レイヤの符号化に生かされ
ないことになり、効率低下の原因となる。したがって、
上記対応する下位レイヤのマクロブロックでＤＣＴ係数
を伝送した場合は、下位レイヤの画像を予測参照画像に
用いた方が、データ伝送の重複が少なくなり、効率が良
い。

【００７１】以上より、（１）上位レイヤのあるマクロ
ブロックを符号化する場合において、フレーム間差分が
大きい領域では、同時刻の画像（下位レイヤの画像）を
参照画像に用いた方が良く、（２）上位レイヤのあるマ
クロブロックを符号化する場合において、上記対応する
下位レイヤのマクロブロックのＤＣＴ係数が伝送された
場合は、下位レイヤの画像を参照画像に用いた方が良
い、ということが言える。

【００７２】また、ＭＰＥＧ２などの従来の画像信号符
号化方式においては、予測モードはマクロブロック単位
で切り替えられる。均一な画像領域の場合は、このよう
なマクロブロック単位の予測モード切り替えで十分であ
る。しかし、複雑な動きをする画像であったり、また画
像の大きさが小さい場合は、マクロブロック中に時間的
に画像が変化する領域と、しない領域とが混在すること
になり、効率が落ちる原因となっている。

【００７３】したがって、上記予測モードを画素単位で
切り替えることを可能にすれば、符号化効率を改善する
ことができる。

【００７４】このようなことから本発明においては、Ｉ
ＤＣＴ後の差分画像を参照し、差分値があるしきい値以
下である画素は上位レイヤの画素を、また差分値がある
しきい値を越える画素は下位レイヤの画素を用いて、予
測参照画像を生成するために用いる参照画像を生成する
ようにする。このとき、生成された参照画像は、画素単
位で上位レイヤおよび下位レイヤの画像が切り替えられ
て用いられている。また、本発明においては、ＩＤＣＴ
後の差分画像を用いて画素単位の切り替えを行うことに
より、平行移動に対応することを可能にしている。

【００７５】すなわち本発明においては、上記画素単位
で適応的に切り替えを行って生成した参照画像、および
解像度変換後（本実施の形態では画像拡大後）の下位レ
イヤの画像、上位レイヤの直前に復号した画像を、参照
画像として用いる。また、このとき予測誤差を最小にす
る画像をマクロブロック単位で切り替えて予測参照画像
を決定して、動き補償を行い、符号化することにより、
空間スケーラブル符号化の符号化効率を向上させ、画質
を改善することを可能にしている。

【００７６】図１には本発明の実施の形態としての画像
信号符号化装置の一例を示す。

【００７７】この図１において、入力画像信号及びキー
（ｋｅｙ）信号は、まず画像信号階層化回路１に入力さ
れる。

【００７８】なお、この入力画像信号は、ある画像信号
を複数の画像（背景画像及び動き物体画像）信号に分離
して、それぞれの画像毎に符号化する際の１つの画像を
表している画像信号である。また、キー（ｋｅｙ）信号
は、分離された動き物体画像の輪郭情報を表す信号であ
り、例えば、このキー（ｋｅｙ）信号は、２値からなる
ハードキーや多値からなるソフトキーである。さらに、
分離された動き物体画像の背景画像の絶対座標における
位置を示すフラグ（ＶＯＰオフセット）及び分離された
動き物体画像の大きさを示すフラグ（ＶＯＰサイズ）が
画像信号階層化回路１に供給される。

【００７９】この画像信号階層化回路１は入力画像信号
及びキー（ｋｅｙ）信号を複数の階層に分離する。な
お、図１には２階層（１つの下位レイヤと１つの上位レ
イヤ）の場合の構成を示してあるが、同様に複数の階層
に分離することも可能である。簡単のため、ここでは２
つの階層に分離する場合についてこれ以後説明する。

【００８０】例えば、空間スケーラビリティの場合、上
記画像信号階層化回路１は、入力画像信号及びキー信号
を解像度変換して、下位レイヤ及び上位レイヤの画像信
号及びキー信号を生成する。

【００８１】また、例えばテンポラルスケーラビリティ
（時間軸方向のスケーラビリティ）の場合、画像信号階
層化回路１は、時刻に応じて画像信号及びキー信号の出
力を下位レイヤおよび上位レイヤに切り替えて出力す
る。例えば、図２の場合、順次供給される画像（ピクチ
ャ）ＶＯＰ０〜ＶＯＰ６は、画像ＶＯＰ０，ＶＯＰ２，
ＶＯＰ４，ＶＯＰ６が下位レイヤに、また画像ＶＯＰ
１，ＶＯＰ３，ＶＯＰ５が上位レイヤに出力される。こ
のテンポラルスケーラビリティの場合は、上記空間スケ
ーラビリティのように画像信号の拡大や縮小のような解
像度変換は行わない。

【００８２】さらに例えばいわゆるＳＮＲ（Signal to
Noise Retio）スケーラビリティの場合、画像信号階層
化回路１は、入力画像信号とキー信号をそのまま各レイ
ヤに出力する。すなわち、下位レイヤと上位レイヤに同
一の画像信号およびキー信号を出力する。

【００８３】本実施の形態では、上記空間スケーラビリ
ティの場合を例に挙げている。

【００８４】画像信号階層化回路１は、例えば空間スケ
ーラビリティの場合、入力画像信号およびキー信号を縮
小（解像度変換）した画像信号及びキー信号を、下位レ
イヤとして出力し、一方、上位レイヤには入力画像信号
及びキー信号をそのまま出力する。ここでの解像度変換
とは、例えば間引きフィルタによる縮小フィルタリング
処理などである。なお、画像信号階層化回路１では、入
力画像信号を拡大（解像度変換）した画像信号及びキー
信号を上位レイヤとして出力し、入力画像信号及びキー
信号をそのまま下位レイヤに出力するようにしてもよ
い。この場合の解像度変換は、拡大フィルタなどによる
拡大フィルタリング処理となる。さらに画像信号階層化
回路１では、独立に生成された２つの画像信号及びキー
信号（解像度は異なる場合と、同一の場合どちらでもよ
い。）を、それぞれ上位レイヤおよび下位レイヤに出力
するようにしてもよい。この場合、どの画像信号及びキ
ー信号を上位レイヤおよび下位レイヤに出力するかは、
予め決められている。上位レイヤの画像信号及びキー信
号は、遅延回路２を介して上位レイヤ符号化回路３に送
られ、下位レイヤの画像信号は下位レイヤ符号化回路５
に送られる。

【００８５】上述のように入力画像信号及びキー信号を
解像度変換して下位レイヤと上位レイヤに出力する画像
信号階層化回路１はまた、上記下位レイヤの画像に対す
る上位レイヤの画像の解像度の倍率を示すフラグＦＲを
も出力する。このフラグＦＲは、遅延回路２を介して解
像度変換回路４および上位レイヤ符号化回路３に送られ
る。なお、上記解像度変換回路４は、上記画像信号階層
化回路１内に設けられる解像度変換手段とは異なるもの
である。さらに、この画像信号階層化回路１は、下位レ
イヤの画像（ＶＯＰ）の大きさを示すフラグ（下位レイ
ヤＶＯＰサイズ）と、絶対座標における位置を示すフラ
グ（下位レイヤＶＯＰオフセット）、及び上位レイヤの
画像（ＶＯＰ）の大きさを示すフラグ（上位レイヤＶＯ
Ｐサイズ）と、絶対座標における位置を示すフラグ（上
位レイヤＶＯＰオフセット）を、下位レイヤ符号化回路
３及び上位レイヤ符号化回路５にそれぞれに供給するた
めに出力する。なお、これらフラグは、上位レイヤ符号
化回路３及び下位レイヤ符号化回路５にて符号化され、
さらには、ビットストリームとして符号化され、スケー
ラブル復号装置に供給され、スケーラブル復号装置のお
いて利用される。

【００８６】なお、以下に、順次、各レイヤにおける符
号化処理及び復号処理について説明するが、上位レイヤ
の入力画像信号及び下位レイヤの入力画像信号と上位レ
イヤの入力キー信号及び下位レイヤの入力キー信号の符
号化処理及び復号処理は同様であるため、以下では、上
位レイヤの入力画像信号及び下位レイヤの入力画像信号
の符号化処理及び復号処理についてのみ説明し、上位レ
イヤのキー信号及び下位レイヤのキー信号の符号化処理
及び復号処理の詳細については、その説明を省略する。

【００８７】ここで、下位レイヤ符号化回路５の具体的
構成を図３を用いて説明する。

【００８８】図３において、下位レイヤ符号化回路５に
供給さらた下位レイヤの入力画像信号は、まずフレーム
メモリ２１に入力され、所定の順番で読み出されて、後
段の構成により符号化される。この符号化されるべき画
像データは、マクロブロック単位でフレームメモリ２１
から読み出され、動きベクトル検出回路２２に入力され
る。動きベクトル検出回路２２は、予め設定されている
所定のシーケンスに従って、各フレームの画像データを
Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理
する。シーケンシャルに入力される各フレームの画像
を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するか
は、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，
Ｐ，・・・Ｂ，Ｐの順番で処理される）。

【００８９】ここで、動きベクトル検出回路２２は、予
め定められた所定の参照フレーム（前方原画像、後方原
画像、原フレームの画像）を参照し、動き補償を行うこ
とにより、その動きベクトルを検出する。動き補償（フ
レーム間予測）には、前方予測、後方予測、両方向予測
の３種類の予測モードがある。Ｐピクチャの予測モード
は前方予測のみであり、Ｂピクチャの予測モードは前方
予測、後方予測、両方向予測の３種類である。この動き
ベクトル検出回路２２は、予測誤差を最小にする予測モ
ードを選択し、その際の予測ベクトルを発生する。

【００９０】このとき、予測誤差は、例えば符号化する
マクロブロックの分散値と比較され、マクロブロックの
分散値の方が小さい場合には、そのマクロブロックでは
予測は行わず、フレーム内符号化が行われる。この場
合、予測モードは画像内符号化（イントラ）となる。動
きベクトルおよび上記予測モードの情報は、可変長符号
化回路２６および動き補償回路３２に入力される。

【００９１】動きベクトルはまた、上位レイヤの画像信
号符号化回路すなわち図１の上位レイヤ符号化回路３に
も供給される。

【００９２】動き補償回路３２では、所定の動きベクト
ルに基づいて予測参照画像信号を生成し、この予測参照
画像信号を演算回路２３に供給する。演算回路２３で
は、マクロブロック単位で上記フレームメモリ２１から
の符号化する画像信号の値と、上記動き補償回路３２か
らの予測参照画像信号の値との差分を求め、この差分信
号をＤＣＴ回路２４に出力する。イントラマクロブロッ
クの場合、演算回路２３は、上記符号化する画像信号を
そのままＤＣＴ回路２４に出力する。なお、動きベクト
ル検出回路２２及び動き補償回路３２には、下位レイヤ
ＶＯＰサイズ及び下位レイヤＶＯＰオフセットが供給さ
れて、それぞれの回路で利用される。ただし、図面の煩
雑化を防ぐため、図示はしない。

【００９３】ＤＣＴ回路２４では、上記差分信号をＤＣ
Ｔ（離散コサイン変換）処理してＤＣＴ係数に変換す
る。このＤＣＴ係数は、量子化回路２５に入力され、送
信バッファ２７のデータ蓄積量（バッファに蓄積可能な
データ残量）に対応した量子化ステップで量子化された
後、量子化データが可変長符号化回路２６に入力され
る。

【００９４】可変長符号化回路２６は、量子化回路２５
より供給される量子化ステップ（量子化スケール）に対
応して、上記量子化回路２５より供給される量子化デー
タを、例えばハフマン符号などの可変長符号に変換し、
この符号化データを送信バッファ２７に出力する。

【００９５】可変長符号化回路２６にはまた、量子化回
路２５からの量子化ステップ（量子化スケール）と、動
きベクトル検出回路２２からの予測モード（画像内予
測、前方予測、後方予測、または両方向予測のいずれが
設定されたかを示すモード）および動きベクトルと、さ
らに、下位レイヤの画像（ＶＯＰ）の大きさを示すフラ
グ（下位レイヤＶＯＰサイズ）及び絶対座標における位
置を示すフラグ（下位レイヤＶＯＰオフセット）が入力
されており、これらも可変長符号化される。

【００９６】なお、詳細は後述するが、マクロブロック
のデータが存在しない場合、そのマクロブロックはスキ
ップマクロブロックとして扱われる。つまり、動きベク
トルの値が０で且つ量子化されたＤＣＴ係数が０である
ときである。そして、マクロブロックのデータが存在す
るかどうかを示すフラグＣＯＤが伝送される。マクロブ
ロックのデータが存在する場合、ＣＯＤ＝０、マクロブ
ロックのデータが存在しない場合（スキップマクロブロ
ック）、ＣＯＤ＝１として示される。このフラグはま
た、上位レイヤ符号化回路３にも供給される。

【００９７】送信バッファ２７は、入力された符号化デ
ータを一時蓄積し、その蓄積量に対応する符号化データ
を、量子化制御信号として量子化回路２５にフィードバ
ックする。すなわち、送信バッファ２７は、そのデータ
蓄積量（蓄積可能なデータ残量）が許容上限値まで増量
すると、上記量子化制御信号によって量子化回路２５の
量子化スケールを大きくさせることにより、量子化回路
２５から出力される量子化データのデータ量を低下させ
る。また、これとは逆に、データ蓄積量（蓄積可能なデ
ータ残量）が許容下限値まで減少すると、送信バッファ
２７は、量子化制御信号によって量子化回路２５の量子
化スケールを小さくさせることにより、量子化回路２５
から出力される量子化データのデータ量を増大させる。
このようにして、送信バッファ２７のオーバフローまた
はアンダフローが防止される。

【００９８】そして、送信バッファ２７に蓄積された符
号化データは、所定のタイミングで読み出され、下位レ
イヤビットストリームとして伝送路に出力される。

【００９９】一方、量子化回路２５より出力された量子
化データは、逆量子化回路２８にも入力される。この逆
量子化回路２８では、上記量子化回路２５より供給され
た量子化データを、同じく量子化回路２５より供給され
る量子化ステップに対応して逆量子化する。この逆量子
化回路２８の出力信号（逆量子化することにより得られ
たＤＣＴ係数）は、ＩＤＣＴ（逆ＤＣＴ）回路２９に入
力され、ここで逆ＤＣＴ処理された後、出力信号（画像
信号若しくは差分信号）が演算回路３０に送られる。こ
の演算回路３０では、ＩＤＣＴ回路２９の出力信号が差
分信号である場合、動き補償回路３２からの画像信号と
ＩＤＣＴ回路２９からの差分信号とを加算して画像信号
を復元する。なお、ＩＤＣＴ回路２９の出力信号がイン
トラマクロブロックである場合は、ＩＤＣＴ回路２９か
らの画像信号がそのまま出力される。この画像信号は、
フレームメモリ３１に供給され記憶される。動き補償回
路３２は、フレームメモリ３１の画像と動きベクトルと
予測モードとを用いて予測参照画像信号を生成する。

【０１００】ＩＤＣＴ回路２９の出力信号すなわち局所
復号された差分信号はまた、図１の上位レイヤ符号化回
路３に供給される。

【０１０１】またフレームメモリ３１は、図１の上位レ
イヤ符号化回路３での符号化に従い、所定の局所復号画
像を読み出して図１の解像度変換回路４に出力する。

【０１０２】図１に戻って、解像度変換回路４は、下位
レイヤの画像に対する上位レイヤの画像の解像度の倍率
を示すフラグＦＲに従い、下位レイヤ符号化回路５から
供給された画像信号の解像度を前述のようにフィルタリ
ング処理（この場合は拡大処理）により変換し、上位レ
イヤ符号化回路３に供給する。なお倍率が１の場合、す
なわち上位レイヤと下位レイヤの大きさが等しい場合
は、解像度変換回路４は何もせずにそのまま画像信号を
出力する。

【０１０３】また、前記画像信号階層化回路１によって
生成された上位レイヤの画像信号は、遅延回路２を介し
て上位レイヤ符号化回路３に供給される。遅延回路２で
は、下位レイヤ符号化回路５において所定の下位レイヤ
の画像信号を符号化に要する時間だけ、上記上位レイヤ
の画像信号を遅延する。

【０１０４】次に、上位レイヤ符号化回路３の具体的な
構成を図４を用いて説明する。

【０１０５】図４において、この上位レイヤ符号化３に
供給された上位レイヤの入力画像信号は、まずフレーム
メモリ４１に入力されて記憶され、所定の順番で読み出
されて、後段の構成により符号化される。この符号化さ
れるべき画像データは、マクロブロック単位で当該フレ
ームメモリ４１から読み出され、動きベクトル検出回路
４２に入力される。動きベクトル検出回路４２は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとし
て処理するかは、予め定められている（例えば、Ｉ，
Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐの順番にて処理され
る）。

【０１０６】ここで、空間スケーラビリティの場合、上
位レイヤと下位レイヤの画像信号は、例えば図５のよう
に符号化されることになる。図５において、下位レイヤ
の最初の画像ＶＯＰ２１_Lは、Ｉピクチャとして符号化
される。また、２番目以後の下位レイヤの画像ＶＯＰ２
１_L〜ＶＯＰ２４_Lは、Ｐピクチャとして符号化される。
この時の参照画像は、それぞれ直前の下位レイヤの画像
を参照画像として用いて符号化する。また、上位レイヤ
R>の最初の画像ＶＯＰ２１_MはＰピクチャとして符号化
される。この時の参照画像は下位レイヤの同時刻の画像
ＶＯＰ２１_Lとなる。２番目以後の上位レイヤの画像Ｖ
ＯＰ２２_M〜ＶＯＰ２４_MはＢピクチャとして符号化され
る。この場合、これらの画像ＶＯＰ２２_M〜ＶＯＰ２４_M
は、それぞれ直前の上位レイヤの画像および、それぞれ
同時刻の下位レイヤの画像ＶＯＰ２２_L，ＶＯＰ２３_L，
ＶＯＰ２４_Lを参照画像として用いて符号化する。また
この場合、上位レイヤのＢピクチャは下位レイヤのＰピ
クチャと同様に他の画像ＶＯＰを符号化する場合の参照
画像となる。なお、ＳＮＲスケーラビリティは、空間ス
ケーラビリティの特例であり、上位レイヤと下位レイヤ
の大きさが等しい場合であって、符号化の手順は同じで
ある。

【０１０７】また、テンポラルスケーラビリティの場合
は、例えば前記図２のようにして符号化されることにな
る。図２において、下位レイヤの最初の画像ＶＯＰ０
は、Ｉピクチャとして符号化される。また、２番目以後
の下位レイヤの画像ＶＯＰ２〜ＶＯＰ６は、Ｐピクチャ
として符号化される。この時の参照画像は、それぞれ直
前の下位レイヤの画像を参照画像として用いて符号化す
る。また、上位レイヤの画像ＶＯＰ１はＢピクチャとし
て符号化され、この画像ＶＯＰ１は下位レイヤの画像Ｖ
ＯＰ０および画像ＶＯＰ２を参照画像とする。また、上
位レイヤの画像ＶＯＰ３の場合は、Ｂピクチャとして符
号化され、直前の上位レイヤの画像ＶＯＰ１および下位
レイヤの画像ＶＯＰ４を参照画像とする。また、上位レ
イヤの画像ＶＯＰ５の場合は、Ｐピクチャとして符号化
され、直前の上位レイヤの画像ＶＯＰ３を参照画像とし
て用いる。

【０１０８】以下に、上位レイヤのＰおよびＢピクチャ
の参照画像について説明する。

【０１０９】上位レイヤの予測の際には、同じレイヤの
画像だけでなく他の階層（スケーラブルレイヤ）の画像
も参照画像として用いることができる。例えば本実施の
形態のように２階層のスケーラビリティの場合、上位レ
イヤは下位レイヤの画像も参照画像として用いることが
できる。

【０１１０】Ｐピクチャは前方予測を行うが、その参照
画像として、同じ階層の画像または他の階層の画像を用
いることができる。Ｂピクチャでは、前方予測および後
方予測の参照画像としてそれぞれ同じ階層の画像または
他の階層の画像を用いることができる。また、Ｂピクチ
ャの場合、上記前方と後方の２枚の参照画像に加えて、
これら２枚の参照画像から生成される第３の画像を予測
参照画像生成に用いられる参照画像として用いることも
可能である。

【０１１１】これを図６を用いて説明する。画像ＶＯＰ
１１，ＶＯＰ１２は下位レイヤの画像を示し、画像Ｖ０
Ｐ１３，ＶＯＰ１４は上位レイヤの画像を示す。下位レ
イヤの画像ＶＯＰ１１はＩまたはＰピクチャ、画像ＶＯ
Ｐ１２はＰピクチャである。また上位レイヤの画像ＶＯ
Ｐ１３はＰまたはＢピクチャ、画像ＶＯＰ１４はＢピク
チャである。拡大画像ＶＭ５及びＶＭ６は下位レイヤの
画像を解像度変換（拡大）した画像である。図６の場
合、上位レイヤの画像ＶＯＰ１４は、前方予測の参照画
像として画像ＶＯＰ１３が用いられ、また後方予測の参
照画像として拡大画像ＶＭ６が用いられる。

【０１１２】本発明の実施の形態における上位レイヤの
Ｂピクチャでは、これら２枚の予測参照画像から生成さ
れる画像も参照画像として用いられる。例えば図６の場
合、上位レイヤの画像ＶＯＰ１３および拡大画像ＶＭ６
より生成される予測画像ＰＶが上位レイヤのＢピクチャ
（ＶＯＰ１４）の参照画像として用いられる。すなわ
ち、上位レイヤの画像ＶＯＰ１４を符号化する場合、上
記画像ＶＯＰ１３と拡大画像ＶＭ６、予測画像ＰＶの３
枚の画像が参照画像として用いられる。このように予測
画像ＰＶは従来のＭＰＥＧ方式に加えて、本実施の形態
による新しい予測モードにおける参照画像に用いられ
る。

【０１１３】より具体的に説明すると、前述したよう
に、ＭＰＥＧにおける各参照画像の性質として、フレー
ム間の変化（差分）が大きい場合には、動き補償の効率
が下がり、同時刻の画像を参照画像とした方が効率が良
いという性質があるので、本実施の形態では、このよう
にフレーム間差分が大きい領域では同時刻の下位レイヤ
の画像から生成した拡大画像ＶＭ６を、上位レイヤの画
像ＶＯＰ１４の参照画像に用いるようにしている。ま
た、上位レイヤの画像信号は下位レイヤの画像信号と比
較して画質が良く、従って例えばフレーム間の変化（差
分）が少ない場合は上位レイヤの画像を用いた方が予測
誤差が少なくなるので、本実施の形態では、このように
フレーム間差分が小さい領域では同じ階層（上位レイ
ヤ）の直前の画像（ＶＯＰ１３）を、画像ＶＯＰ１４の
参照画像に用いるようにしている。

【０１１４】さらに、前述したように、ＭＰＥＧ方式の
空間スケーラブル符号化の情報が重複する場合、すなわ
ち上位レイヤのあるマクロブロックを符号化すると共に
それに対応する下位レイヤのマクロブロックの情報（Ｄ
ＣＴ係数）を伝送した場合には、同じ上位レイヤの直前
の画像を参照して予測を行うと、下位レイヤと上位レイ
ヤとで独立に情報が伝送されることになり、下位レイヤ
で伝送した情報が上位レイヤの符号化に生かされずに効
率低下の原因となるので、本実施の形態では、上記対応
する下位レイヤのマクロブロックのＤＣＴ係数を伝送し
た場合に、下位レイヤの画像を予測参照画像に用いるよ
うにして、データ伝送の重複を少なくし、符号化効率を
改善している。

【０１１５】またさらに、ＭＰＥＧ２などの従来の画像
信号符号化方式においては予測モードはマクロブロック
単位で切り替えられるため、均一な画像領域の場合に当
該マクロブロック単位の予測モード切り替えを行えば十
分であるが、例えば複雑な動きをする画像であったり、
また画像の大きさが小さい場合には、マクロブロック中
に時間的に変化する領域としない領域が混在することに
なり、効率が落ちる原因となっているので、本実施の形
態では、この予測モードを画素単位で切り替えることを
可能とし、符号化効率を改善している。

【０１１６】このような画素単位の予測モード切り替え
は、ＭＰＥＧ２方式の参照画像に加えて、新たな参照画
像を生成することによって実現可能である。この新たな
参照画像は、下位レイヤおよび上位レイヤの参照画像を
画素単位で切り替えてコピーすることにより生成され
る。

【０１１７】例えば図６においては、予測画像ＰＶが上
記画素単位の予測モード切り替えを実現する参照画像で
ある。すなわち予測画像ＰＶは画素単位で、画像ＶＯＰ
１３または拡大画像ＶＭ６からコピーすることによって
生成される画像である。したがって、予測画像ＰＶを参
照画像とする場合、実質的に画素単位で予測モードを切
り替えることと等価である。

【０１１８】以下、この予測画像ＰＶを生成する手順
を、図６を参考にして説明する。

【０１１９】上記上位レイヤの画像ＶＯＰ１４に対する
予測画像ＰＶを生成する際には、各画素毎に画像ＶＯＰ
１３または拡大画像ＶＭ６のどちらの画像の画素を用い
るかの判定を行う。最も単純な場合、画素単位で下位レ
イヤの画像ＶＯＰ１２およびＶＯＰ１１のそれぞれ対応
する位置の画素の差分をとり、その差分値があるしきい
値ＳＬより大きい場合には下位レイヤの画像すなわち拡
大画像ＶＭ６から画素をコピーし、逆に、差分値がしき
い値ＳＬ以下である場合には上位レイヤの画像すなわち
画像ＶＯＰ１３から画素をコピーするようにすればよ
い。ただし、この判別方法では、下位レイヤと上位レイ
ヤの情報の重複を抑制することはできない。また、画像
中の物体が平行移動した場合には、動き補償が正確にあ
たるため、上位レイヤの画像を予測参照画像とすべきで
あるが、この方法では常に差分が大きくなり、下位レイ
ヤから予測されてしまう。したがって、この単純に同一
位置の画素値の変化を調べるだけでは平行移動に対応で
きていない。また、このような平行移動を含む画像シー
ケンスは多く存在するため、平行移動に対応できるよう
にしなければならない。

【０１２０】そこで、本実施の形態ではＩＤＣＴ後の各
画素の値（すなわち、動き補償を行う前の値）を調べ、
その絶対値があるしきい値ＳＬより大きい場合には下位
レイヤの画像すなわち拡大画像ＶＭ６から画素をコピー
し、しきい値ＳＬ以下である場合には上位レイヤの画像
すなわち画像ＶＯＰ１３から画素をコピーして、予測画
像ＰＶを生成するようにすればよい。この判別方法によ
り、下位レイヤでＤＣＴ係数が伝送された場合（この場
合、ＩＤＣＴ後の画素値は大きな値を持つ）、下位レイ
ヤの画像が参照画像として選ばれやすくなり、上位レイ
ヤと下位レイヤの情報の重複を抑制することが可能とな
る。

【０１２１】このようなことを実現するためには、まず
下位レイヤの画像のフレーム間差分を示す差分画像ＤＶ
７を用いる。この差分画像ＤＶ７は 各マクロブロック
のＩＤＣＴ後の出力である。

【０１２２】すなわち前述の装置構成に戻って説明する
と、図３におけるＩＤＣＴ回路２９の出力信号（下位レ
イヤの局部復号された差分信号）は、演算回路３０に出
力されるとともに、図１及び図４に示す上位レイヤ符号
化回路３に伝送され、図４におけるフレームメモリ６０
に記録される。フレームメモリ６０に記録された差分画
像が、即ち図６における差分画像ＤＶ７である。したが
って、この差分画像ＤＶ７は、下位レイヤの画像ＶＯＰ
１２の符号化に用いられた動きベクトルを用いて動き補
償を行った際の差分画像である。画像ＶＯＰ１２におい
てフレーム内符号化（イントラ）されたマクロブロック
は、画像ＶＯＰ１２の復号画像信号そのものとなる。

【０１２３】図４のしきい値回路６２では、上記のしき
い値ＳＬを設定しており、差分画像ＤＶ７の各画素の値
（差分値）の絶対値がそのしきい値ＳＬを越えた場合、
各画素の値をそのまま出力し、また差分画像ＤＶ７の各
画素の値がしきい値ＳＬ以下である場合、その画素の値
を０として出力する。

【０１２４】予測画像ＰＶは、しきい値回路６２の出力
信号を参照し、画像ＶＯＰ１３および拡大画像ＶＭ６よ
り生成される。予測画像ＰＶの各画素と差分画像ＤＶ７
の各画素の対応の一例を図７に示す。図７は上位レイヤ
の解像度が下位レイヤの解像度の２倍の場合を示してい
る。この場合、差分画像ＤＶ７の１画素に対して、予測
画像ＰＶの４画素が対応することになる。即ち、予測画
像ＰＶの４画素は、差分画像ＤＶ７中の１画素を参照し
て、切り替えを行う。

【０１２５】予測画像ＰＶの各画素について、差分画像
ＤＶ７の対応する位置の画素値がしきい値ＳＬより大き
い値である場合、拡大画像ＶＭ６の画素に対する予測画
像ＰＶの同一位置の画素の値を、この予測画像ＰＶの画
素値とする。

【０１２６】また、差分画像ＤＶ７の対応する位置の画
素値がしきい値ＳＬ以下の値である場合、すなわちしき
い値回路６２の出力が０である場合、画像ＶＯＰ１２の
対応する位置のマクロブロックの動きベクトルを用いて
動き補償した画像ＶＯＰ１３の画素を、予測画像ＰＶの
画素値とする。

【０１２７】この時、画像ＶＯＰ１２の対応する位置の
マクロブロックの動きベクトルは、上位レイヤの下位レ
イヤに対する解像度の倍率を示すフラグに従い、動きベ
クトルを変換する。たとえば、上位レイヤの解像度が下
位レイヤの解像度の２倍である場合、動きベクトルの値
を２倍する。予測画像ＰＶの当該画素と同一位置から、
上記変換後の動きベクトル分だけ異なる位置の画像ＶＯ
Ｐ１３の画素値を、予測画像ＰＶの画素値とする。

【０１２８】このようなことを行うため前記図４におい
ては、下位レイヤから供給される動きベクトルはスケー
ル変換回路６３に入力され、それぞれ２倍される。また
動きベクトルの無いマクロブロック（イントラ）では動
きベクトルは０とされる。２倍された動きベクトルは動
き補償回路６４に供給される。動き補償回路６４ではス
ケール変換された下位レイヤの動きベクトルに従い、フ
レームメモリ５１の画像を動き補償してフレームメモリ
６１に供給する。

【０１２９】上述のように図６における差分信号ＤＶ７
は、図４の画像信号符号化の構成ではフレームメモリ６
０に記録されている。また図６における予測画像ＰＶは
図４におけるフレームメモリ６１に記録される。

【０１３０】なお、図８には予測画像ＰＶの一例を示
す。図８に示すように、差分画像ＤＶ７の画素の絶対値
がしきい値ＳＬ以下の領域では、上位レイヤの画像が用
いられ、また、しきい値ＳＬより大きい場合は、下位レ
イヤの画像が用いられる。

【０１３１】以上のような予測画像ＰＶを生成する方法
の流れを示したのが図９である。

【０１３２】この図９において、先ずステップＳＴ１で
は、下位レイヤのＩＤＣＴ後の値から差分画像を構成す
る。次のステップＳＴ２では、対応する位置の差分画像
の値がしきい値ＳＬ以下であるか否かの判断を行う。こ
のステップＳＴ２において、対応する位置の差分画像の
値がしきい値ＳＬより大きいときには、ステップＳＴ５
に進む。このステップＳＴ５では、下位レイヤの拡大画
像ＶＭ６の同一位置の画素値をコピーする。

【０１３３】一方、ステップＳＴ２において、逆にしき
い値ＳＬ以下であるときには、ステップＳＴ３に進む。
このステップＳＴ３では、下位レイヤの動きベクトルを
２倍に拡大する。そして、次のステップＳＴ４では、そ
の動きベクトルを用いて動き補償を行い、上位レイヤの
参照画像からコピーすることにより、予測画像ＰＶを構
成する。

【０１３４】本実施の形態における上位レイヤのＢピク
チャでは上記の通り、３枚の参照画像が予測参照画像を
生成するために用いられる。この予測モードはマクロブ
ロック単位で決定される。

【０１３５】ここで、上位レイヤの符号化における予測
モードについて説明する。

【０１３６】予測モードは、下位レイヤの符号化と同様
に、マクロブロック単位で決定される。上位レイヤのマ
クロブロックの予測モードには以下の種類がある。

【０１３７】 （１） フレーム内予測（イントラ）マクロブロック （２） 前方予測（フォワード）マクロブロック （３） 後方予測（バックワード）マクロブロック （４） 両方向予測（バイディレクショナル）マクロブ
ロック （５） 画素単位予測マクロブロック 上記予測モードのうち、（１）〜（４）に示した予測モ
ードは、下位レイヤのマクロブロックの予測モードと同
様である。（５）に示した予測モードにおける画素単位
予測マクロブロックでは、予測画像ＰＶを参照する。こ
のように予測画像ＰＶを参照することにより、予測モー
ドを実質的に画素単位で切り替えることが可能となる。
当該画素単位予測マクロブロックでは、予測画像ＰＶの
同一位置の画素を参照する。すなわち、動きベクトルは
０であるとし、動きベクトルは符号化されない。

【０１３８】上記の５つのマクロブロックの予測モード
では、予測誤差を最小とするモードが選択される。予測
モードを示すフラグは可変長符号化回路によって符号
化、伝送される。

【０１３９】上記の通り、上位レイヤにおける予測で
は、予測参照画像を生成するための参照画像として、符
号化する画像と異なるスケーラブルレイヤの画像、例え
ば解像度の低い下位レイヤの画像を用いることが可能で
ある。したがって、上位レイヤでは、どのレイヤの画像
を予測参照画像を生成するための参照画像として用いた
かを示すフラグを伝送する必要がある。そこで、ここで
は、各スケーラブルレイヤについて同じレイヤ以外のど
のレイヤの画像を予測参照画像を生成するために用いた
のかを示すフラグ（後述するシンタクスの識別子（ref_
layer_id））を設定し符号化し、伝送する。また、各画
像（前記ＶＯＰ）について、上記フラグ（ref_layer_i
d）に基づいて、前方（フォワード）予測および後方
（バックワード）予測をどのレイヤから予測するかを示
すフラグ（後述するシンタクスの識別子（ref_select_c
ode））を設定し符号化、伝送する。Ｐピクチャにおけ
るフラグ（ref_select_code）を図１０の表に示す。ま
た、Ｂピクチャにおけるフラグ（ref_select_code）を
図１１の表に示す。シンタクスについては詳細を後述す
る。

【０１４０】上位レイヤと下位レイヤの参照画像は、前
記図５および図２以外にも図１０に示す表および図１１
に示す表の許す範囲内で自由に設定して良い。また、図
１０の表および図１１の表のシンタクスにおいては、空
間スケーラビリティやテンポラスケーラビリティについ
て明示的な区別は無い。

【０１４１】ここで、Ｐピクチャの場合は、フラグ（re
f_select_code）が”１１”の場合、フラグ（ref_layer
_id）が示すレイヤの同時刻の画像（ＶＯＰ）を予測参
照画像を生成するための参照画像として用いる。これは
空間スケーラビリティやＳＮＲスケーラビリティに用い
られる。その他のモードはテンポラルスケーラビリティ
に用いられる。

【０１４２】Ｂピクチャの場合は、フラグ（ref_select
_code）が”００”の場合、フラグ（ref_layer_id）が
示すレイヤの同時刻の画像（ＶＯＰ）と同じレイヤの直
前に復号した画像（ＶＯＰ）を予測参照画像を生成する
ための参照画像として用いる。これは空間スケーラビリ
ティやＳＮＲスケーラビリティに用いられる。その他の
モードはテンポラルスケーラビリティに用いられる。

【０１４３】ここで、図４に戻り、上位レイヤ符号化回
路３の構成について説明する。

【０１４４】各レイヤの各画像（ＶＯＰ）は、Ｉ、Ｐ、
Ｂピクチャのどのタイプで符号化するかは予め決められ
る。前記図４の動きベクトル検出回路４２は予め設定さ
れたピクチャタイプに基づき、フラグ（ref_layer_i
d）、（ref_select_code）を設定し、動き補償回路５２
および可変長符号化回路４６に出力する。

【０１４５】下位レイヤの画像（ＶＯＰ）の局所復号画
像信号は、図１の解像度変換回路４を介して上位レイヤ
符号化回路３に供給され、図４のフレームメモリ５４に
供給される。

【０１４６】動きベクトル検出回路４２はまた、予め定
められた所定の参照フレームをフラグ（ref_layer_id）
およびフラグ（ref_select_code）に基づいてフレーム
メモリ４１またはフレームメモリ５１より参照し、動き
補償を行い、その動きベクトルを検出する。本発明にお
ける動き補償（フレーム間予測）には、前方予測，後方
予測，両方向予測、画素単位予測の４種類のモードがあ
る。Ｐピクチャの予測モードは前方予測のみであり、Ｂ
ピクチャの予測モードは前方予測，後方予測，両方向予
測，画素単位予測の４種類である。動きベクトル検出回
路４２は、予測誤差を最小にする予測モードを選択しそ
の際の予測モードを発生する。

【０１４７】ただし、画素単位予測モードではフレーム
メモリ６１に記録されている画像信号を参照する。ま
た、このモードでは動きベクトルを０とする。

【０１４８】この際、予測誤差は、例えば符号化するマ
クロブロックの分散と比較され、マクロブロックの分散
の方が小さい場合、そのマクロブロックでは予測は行わ
ず、フレーム内符号化が行われる。この場合予測モード
は画像内符号化（イントラ）となる。動きベクトルおよ
び上記予測モードは可変長符号化回路４６および動き補
償回路５２に入力される。

【０１４９】動きベクトル検出回路４２にはまた、下位
レイヤに対して上位レイヤの大きさ（解像度）が何倍で
あるかを示すフラグＦＲが供給される。図１１に示した
表より、Ｂピクチャ（画像ＶＯＰ）の場合は、フラグ
（ref_select_code=="00"）の時空間スケーラビリティ
であり、この時、後方（バックワード）予測は下位レイ
ヤからの予測、前方（フォワード）予測は同じレイヤの
直前に後方予測を用いて復号した画像（ＶＯＰ）からの
予測となる。倍率を示すフラグが１であり（下位レイヤ
と上位レイヤの解像度が等しい）、かつフラグ（ref_se
lect_code=="00"）である場合は、空間スケーラビリテ
ィの特殊な場合であり、ＳＮＲスケーラビリティである
ことを示す。この場合、上位レイヤの前方予測には、下
位レイヤの同時刻のＶＯＰが用いた動きベクトルと予測
モードとをそのまま用いる。したがって、この場合、動
きベクトル検出回路４２は下位レイヤから供給される動
きベクトルおよび予測モードを、動き補償回路５２に供
給する。この場合、可変長符号化回路４６は動きベクト
ルを符号化しない。

【０１５０】Ｂピクチャ（ＶＯＰ）においては、フラグ
（ref_select_code=="00"）の場合にのみ画素単位予測
モードが用いられる。すなわち、Ｂピクチャにおいて
は、上位レイヤと同時刻の下位レイヤの画像を参照画像
として用いるときのみ、画素単位予測モードが用いられ
る。

【０１５１】なお、動きベクトル検出回路４２には、下
位レイヤ符号化回路５からのフラグ（下位レイヤＣＯ
Ｄ）が供給され、動きベクトルを検出する際に利用され
る。

【０１５２】動き補償回路５２では、所定の動きベクト
ルに基づいてフレームメモリ５１およびフレームメモリ
５４に記憶された参照画像から予測参照画像を生成し、
予測参照画像信号として演算回路４３に入力する。

【０１５３】なお、動きベクトル検出回路４３及び動き
補償回路５２で、上位レイヤＶＯＰサイズ及び上位レイ
ヤＶＯＰオフセット、下位レイヤＶＯＰサイズ及び下位
レイヤＶＯＰオフセットが利用される。ただし、図面に
おいて、煩雑化を防ぐため、図示は省略する。

【０１５４】演算回路４３では、マクロブロック単位で
符号化する画像信号の値と予測参照画像信号の値の差分
信号をＤＣＴ回路２４に出力する。イントラマクロブロ
ックの場合、演算回路４３は符号するマクロブロックの
信号をそのままＤＣＴ回路４４に出力する。

【０１５５】ＤＣＴ回路４４では、ＤＣＴ（離散コサイ
ン変換）処理され、ＤＣＴ係数に変換される。このＤＣ
Ｔ係数は、量子化回路４５に入力され、送信バッファ４
７のデータ蓄積量（バッファ蓄積量）に対応した量子化
ステップで量子化された後、量子化データが可変長符号
化回路４６に入力される。

【０１５６】可変長符号化回路４６は、量子化回路４５
より供給される量子化ステップ（スケール）に対応し
て、量子化回路４５より供給される量子化データ（いま
の場合、Ｉピクチャのデータ）を、例えばハフマン符号
などの可変長符号に変換し、符号化データを送信バッフ
ァ４７に出力する。なお、可変長符号化回路４６には、
下位レイヤ符号化回路５からのフラグＣＯＤが供給さ
れ、可変長符号化する際に利用される。

【０１５７】可変長符号化回路４６にはまた、量子化回
路４５より量子化ステップ（スケール）、動きベクトル
検出回路４２より予測モード（画像内予測、前方予測、
後方予測、両方向予測または画素単位予測のいずれが設
定されたかを示すモード）および動きベクトルが入力さ
れており、これらも可変長符号化される。

【０１５８】可変長符号化回路４６はまた、上位レイヤ
の画像（ＶＯＰ）の大きさを示すフラグ（上位レイヤＶ
ＯＰサイズ）および絶対座標における位置を示すフラグ
（上位レイヤＶＯＰオフセット）が入力されており、こ
れらも符号化される。

【０１５９】可変長符号化回路４６はまた、下位レイヤ
の解像度に対して上位レイヤの解像度が何倍であるかを
示すフラグＦＲが入力されており、これも符号化され
る。

【０１６０】送信バッファ４７は、入力された符号化デ
ータを一時蓄積し、その蓄積量に対応するデータを量子
化回路４５に出力する。

【０１６１】送信バッファ４７は、その蓄積量（蓄積可
能なデータ残量）が許容上限値まで増量すると、量子化
制御信号によって量子化回路４５の量子化スケールを大
きくすることにより、量子化データのデータ量を低下さ
せる。また、これとは逆に、蓄積量（蓄積可能なデータ
残量）が許容下限値まで減少すると、送信バッファ４７
は、量子化制御信号によって量子化回路４５の量子化ス
ケールを小さくすることにより、量子化データのデータ
量を増大させる。このようにして、送信バッファ４７の
オーバフローまたはアンダフローが防止される。

【０１６２】そして、送信バッファ４７に蓄積されたデ
ータは、所定のタイミングで読み出され、伝送路に出力
される。

【０１６３】一方、量子化回路４５より出力された量子
化データは、逆量子化回路４８にも入力され、ここで量
子化回路４５より供給される量子化ステップに対応して
逆量子化される。逆量子化回路４８の出力信号（逆量子
化により得られたＤＣＴ係数）は、ＩＤＣＴ（逆ＤＣ
Ｔ）回路４９に入力され、ここで逆ＤＣＴ処理された
後、出力信号（画像信号若しくは差分信号）が演算回路
５０に送られる。

【０１６４】この演算回路５０では、ＩＤＣＴ回路４９
の出力信号が差分信号である場合、動き補償回路５２の
画像信号とＩＤＣＴ回路４９の差分信号とを加算して画
像信号を復元する。なお、ＩＤＣＴ回路４９の出力信号
がイントラマクロブロックである場合は、ＩＤＣＴ回路
５０からの画像信号がそのまま出力される。この画像信
号はフレームメモリ５１に記憶される。

【０１６５】図１に戻って上位レイヤ符号化回路３およ
び下位レイヤ符号化回路５のそれぞれ出力ビットストリ
ームである上位レイヤのビットストリームと下位レイヤ
のビットストリームは、多重化回路６に入力される。多
重化回路６は下位レイヤおよび上位レイヤのビットスト
リームを多重化し、ビットストリームとして出力する。
そして、このビットストリームは、伝送路７を介して受
信装置に伝送されるか、若しくは図示しない記録装置に
供給され、記録媒体８に記録される。なお、この際、他
に分離された画像信号がある場合には、さらに多重化さ
れて記録される。

【０１６６】次ぎに図１２には、図１に示した画像信号
符号化装置に対応する実施の形態における画像信号復号
装置の一例を示す。

【０１６７】この図１２において、伝送路８６を介して
供給されたビットストリームを図示しない受信装置で受
信するか、記録媒体８７に記録されているビットストリ
ームを図示しない再生装置で再生する。そして、このビ
ットストリームはまず逆多重化回路８１に入力される。
逆多重化回路８１では、上記ビットストリームを逆多重
化、すなわち上位レイヤのビットストリームと下位レイ
ヤのビットストリームに分離して出力する。

【０１６８】下位レイヤのビットストリームはそのまま
下位レイヤ復号回路８５に供給される。また上位レイヤ
のビットストリームは遅延回路８２を介して上位レイヤ
復号回路８３に供給される。

【０１６９】遅延回路８２では下位レイヤ復号回路８５
で１画像（１ＶＯＰ分）を復号するのに要する時間だけ
遅延した後、上位レイヤ復号回路８３に上位レイヤのビ
ットストリームを供給する。

【０１７０】下位レイヤ復号回路８５の具体的な構成を
図１３を用いて説明する。

【０１７１】下位レイヤビットストリームは、受信バッ
ファ９１に一時記憶された後、符号化データとして可変
長復号回路９２に供給される。可変長復号回路９２は、
受信バッファ９１より供給された符号化データを可変長
復号化し、動きベクトルと予測モードとを動き補償回路
９７に、また、量子化ステップを逆量子化回路９３にそ
れぞれ出力すると共に、可変長復号された量子化データ
を逆量子化回路９３に出力する。

【０１７２】可変長復号回路９２はまた、下位レイヤの
画像（ＶＯＰ）の大きさを示すフラグ（下位レイヤＶＯ
Ｐサイズ）及び絶対座標における位置を示すフラグ（下
位レイヤＶＯＰオフセット）を復号し、動き補償回路９
７とフレームメモリ９６で利用されるために出力する。
これらのフラグ及び動きベクトルと予測モードはまた図
１２の上位レイヤ復号回路８３に供給される。さらに、
可変長復号回路９２は、スキップマクロブロックである
かどうかを示すフラグＣＯＤを復号し、下位レイヤＣＯ
Ｄとして動き補償回路９７及び図１２の上位レイヤ復号
回路８３に供給する。

【０１７３】逆量子化回路９３は、可変長復号回路９２
より供給された量子化データを、同じく可変長復号化回
路９２より供給された量子化ステップに従って逆量子化
し、出力信号ＩＤＣＴ回路９４に出力する。逆量子化回
路９３より出力された出力信号（ＤＣＴ係数）は、ＩＤ
ＣＴ回路９４で逆ＤＣＴ処理された後、その出力信号
（画像信号若しくは差分画像信号）が演算回路９５に供
給される。

【０１７４】ＩＤＣＴ回路９４の出力信号（差分画像信
号）はまた、図１２の上位レイヤの復号回路８５に供給
され記憶される。

【０１７５】ＩＤＣＴ回路９４より供給された画像信号
が、Ｉピクチャのデータである場合、その画像信号は演
算回路９５よりそのまま出力され、演算回路９５に対し
て後に入力される差分画像信号（ＰまたはＢピクチャの
データ）の予測参照画像信号の生成のために、フレーム
メモリ９６に供給されて記憶される。また、この画像信
号は、そのまま、再生画像として外部に出力される。

【０１７６】入力ビットストリームがＰまたはＢピクチ
ャの場合、動き補償回路９７は可変長復号回路９２より
供給される動きベクトルおよび予測モードに従って、予
測参照画像を生成し、予測参照画像信号を演算回路９５
に出力する。演算回路９５ではＩＤＣＴ回路９４より入
力される差分画像信号と動き補償回路９７より供給され
る予測参照画像信号を加算して、出力再生画像として出
力する。またＰピクチャの場合、演算回路９５からの画
像信号はまた、フレームメモリ９６に入力され記憶さ
れ、次に復号する画像信号の参照画像とされる。

【０１７７】図１２に戻って、逆多重化回路８１におい
て逆多重化された上位レイヤのビットストリームは、遅
延回路８２を介して上位レイヤ復号回路８３に供給され
る。図１４を用いて上位レイヤ復号回路８３の具体的構
成を説明する。

【０１７８】上位レイヤのビットストリームは、受信バ
ッファ１０１に一時記憶された後、符号化データとして
可変長復号回路１０２に供給される。可変長復号回路１
０２は、受信バッファ１０１より供給された符号化デー
タを可変長復号化し、動きベクトルと予測モードを動き
補償回路１０７に、また、量子化ステップを逆量子化回
路１０３にそれぞれ出力するとともに、可変長復号され
た量子化データを逆量子化回路１０３に出力する。

【０１７９】可変長復号回路１０２はまた、上位レイヤ
の画像（ＶＯＰ）の大きさを示すフラグ（上位レイヤＶ
ＯＰサイズ）及び絶対座標における位置を示すフラグ
（上位レイヤＶＯＰオフセット）を復号し、動き補償回
路１０７とフレームメモリ１０６で利用するために出力
する。

【０１８０】可変長復号回路１０２はまた、下位レイヤ
の画像（ＶＯＰ）に対する上位レイヤの画像（ＶＯＰ）
の大きさ（解像度）の倍率を示すフラグＦＲを復号し、
動き補償回路１０７及び、図１２における解像度変換回
路８４に出力する。

【０１８１】図１２における解像度変換回路８４は、復
号された下位レイヤの画像（ＶＯＰ）の画像信号及びキ
ー（key）信号を、倍率を示すフラグＦＲに従ってフィ
ルタリングにより解像度変換し、上位レイヤ復号回路８
３中のフレームメモリ１１９に供給する。

【０１８２】可変長復号回路１０２はまた、予測の参照
に用いるレイヤを示すフラグ(ref_layer_id)及び(ref_s
elect_code)を復号し、動き補償回路１０７に出力す
る。

【０１８３】逆量子化回路１０３は、可変長復号回路１
０２より供給された量子化データを、同じく可変長復号
化回路１０２より供給された量子化ステップに従って逆
量子化し、出力信号ＩＤＣＴ回路１０４に出力する。逆
量子化回路１０３より出力された出力信号（ＤＣＴ係
数）は、ＩＤＣＴ回路１０４で逆ＤＣＴ処理され、その
出力信号（画像信号若しくは差分画像信号）が演算回路
１０５に供給される。

【０１８４】ＩＤＣＴ回路１０４より供給された画像信
号が、Ｉピクチャである場合、その画像信号は演算回路
１０５よりそのまま出力され、演算回路１０５に後に入
力される差分画像信号（ＰまたはＢピクチャのデータ）
の予測参照画像の生成のために、フレームメモリ１０６
に供給されて記憶される。また、この画像信号は、その
まま再生画像として外部に出力される。

【０１８５】入力ビットストリームがＰまたはＢピクチ
ャの場合、動き補償回路１０７は可変長復号回路１０２
より供給される動きベクトルおよび予測モード及び下位
レイヤＣＯＤ及び参照するレイヤを示すフラグ（ref_la
yer_id），（ref_select_code）に従って、予測参照画
像をフレームメモリ１０６からの画像信号とフレームメ
モリ１１９からの画像信号より生成し、予測参照画像信
号を演算回路１０５に出力する。また、この時、上位レ
イヤＶＯＰサイズ及び上位レイヤＶＯＰオフセット、下
位レイヤＶＯＰサイズ及び下位レイヤＶＯＰオフセット
が利用される。演算回路１０５ではＩＤＣＴ回路１０４
より入力される差分画像信号と動き補償回路１０７より
供給される予測参照画像信号を加算して、出力再生画像
として出力する。またＰピクチャの場合、演算回路１０
５からの画像信号はまた、フレームメモリ１０６に入力
され記憶され、次に復号する画像信号の予測参照画像と
される。

【０１８６】図１２の上位レイヤ復号回路８３では、符
号化回路において前記図６の予測画像ＰＶを生成した方
法と同様に予測参照画像を生成し、図１４におけるフレ
ームメモリ１１２に記憶する。

【０１８７】図１３の下位レイヤ復号回路８５における
ＩＤＣＴ回路９４の出力信号（画像信号若しくは差分画
像信号）は上位レイヤ復号回路８３に供給され、図１４
におけるフレームメモリ１１０に供給される。しきい値
回路１１１は、図４の符号化回路におけるしきい値回路
６２と同様に、フレームメモリ１１０に記録された信号
の絶対値があるしきい値ＳＬを越えるどうかを調べ、し
きい値ＳＬ以下の場合に０を出力し、しきい値ＳＬより
大きい場合にフレームメモリ１１０の信号をそのまま出
力する。

【０１８８】フレームメモリ１１２に記録される予測参
照画像信号は、フレームメモリ１１０に記録されている
対応する位置の差分画像信号の値がしきい値ＳＬより大
きいかどうかに応じてフレームメモリ１０６またはフレ
ームメモリ１１９からコピーして生成される。しきい値
回路１１１の対応する位置の出力が０である場合、即ち
フレーム間差分が少ない場合、上位レイヤの画像信号即
ちフレームメモリ１０６からコピーされる。この時、図
１２の下位レイヤ復号回路８５から供給される動きベク
トルを用い、動き補償を行う。

【０１８９】また、下位レイヤ復号回路８３から供給さ
れる動きベクトルは、スケール回路１１４によって２倍
される。２倍された動きベクトルは動き補償回路１１３
に供給される。動き補償回路１１３では、フレームメモ
リ１０６から画素をコピーする場合、スケール回路１１
４より供給される動きベクトルにしたがって、動き補償
を行い、画素をコピーする。

【０１９０】フレームメモリ１１２に記録する予測参照
画像信号を生成する際に、しきい値回路１１１の対応す
る出力が０以外である場合、下位レイヤの画像即ちフレ
ームメモリ１１９に記録されている画像信号の同一位置
の画素をコピーする（動き補償は行わない）。

【０１９１】このようにして生成された予測参照画像信
号はフレームメモリ１１２に記録され、フレームメモリ
１０６、１１９の画像とともに予測に用いられる。

【０１９２】動き補償回路１０７は倍率を示すフラグが
１でありかつフラグ（ref_select_code=="00"）である
場合、下位レイヤの同時刻の画像（ＶＯＰ）から供給さ
れる動きベクトルおよび予測モードを用いて予測参照画
像信号を生成し、演算回路１０５に出力する。

【０１９３】次に、スケーラブル符号化のシンタクスの
一例について説明する。なお、以下、シンタクスの説明
に関して、本発明に関係する部分のみ説明して、それ以
外はここでは省略する。

【０１９４】図１５には、ビットストリームの構成を示
す。ＶＳ(Video Session Class)は一つ又は複数のＶＯ
(Video Object Class)から構成される、ビットストリー
ムの集合である。

【０１９５】ＶＳのシンタクスを以下に示す。なお、こ
のシンタクスはいわゆるＣ＋＋に準拠している。

【０１９６】 Syntax No.of bits Mnemonic VideoSession(){ video_session_start_code sc+8=32 do*{ Videoobject() }while (nextbits_bytealigned()== video_object_start_code) next_start_code() video_session_end_code sc+8=32 } 次ぎに、ＶＯ(Video Object Class) のシンタクスを以
下に示す。

【０１９７】 Syntax No.of bits Mnemonic Videoobject(){ video_object_start_code sc+3=27 video_object_id 5 do{ VideoObjectLayer() } while(nextbits_bytealigned()== video_object_layer_start_code) next_start_code() } ＶＯは画像全体または画像中の一部の物体のビットスト
リームである。ＶＯＬ(Video Object Layer Class)はス
ケーラビリティのためのクラスである。

【０１９８】ＶＯＬのシンタクスを以下に示す。

【０１９９】 Syntax No.of bits Mnemonic VideoObjectLayer(){ video_object_layer_start_code sc+4=28 video_object_layer_id 4 video_object_layer_shape 2 if (video_object_layer_shape=="00"){ video_object_layer_width 10 video_object_layer_height 10 } video_object_layer_shape_effects 4 if((video_object_layer_shape_effects=="0001") ||(video_object_layer_shape_effects=="0011") ||(video_object_layer_shape_effects=="0100") ||(video_object_layer_shape_effects=="0101") video_object_layer_feather_dist 3 if((video_Object_layer_shape_effects=="0100") ||(video_object_layer_shape_effects=="0101"){ for(i=0;i<video_object_layer_feather_dist;i++) feathering_filter(); 8*15 } video_object_layer_sprite_usage 2 if(video_object_layer_sprite_usage!= SPRITE_NOT_USED){ if(video_object_layer_sprite_usage== ON-LINE_SPRITE){ sprite_hdim 13 sprite_vdim 13 } no_of_sprite_points 6 for(i=0;i<no_of_sprite_points;i++){ sprite_point [i]_x_coordinate 13 sprite_point [i]_y_coordinate 13 } lighting_change_in_sprite 1 } video_object_layer_quant_type 1 if(video_object_layer_quant_type){ load_intra_quant_mat 1 if(load_intra_quant_mat intra_quant_mat[64] 8*64 load_nonintra_quant_mat 1 if(load_nonintra_quant_mat nonintra_quant_mat[64] 8*64 } Error_resilient_disable 1 Intra_acdc_pred_disable 1 video_object_layer_fcode_forward 2 video_object_layer_fcode_backward 2 Separate_motion_shape_texture 1 if(video_object_layer_sprire_usage== STATIC_SPRITE) sprite_shape_texture() Scalability 1 if(scalability){ ref_layer_id 4 ref_layer_sampling_direc 1 hor_sampling_factor_n 5 hor_sampling_factor_m 5 vert_sampling_factor_n 5 vert_sampling_factor_m 5 enhancement_type 1 } do{ VideoObjectPlane() }while(nextbits_bytealigned()== video_object_plane_start_code) next_start_code() } ＶＯＬは識別子（video_object_layer_id）に示される
番号によって識別される。例えば、（video_object_lay
er_id＝０）である ＶＯＬ０は下位レイヤであり、例え
ば（video_object_layer_id＝１）であるＶＯＬ１は上
位レイヤである。スケーラブルのレイヤの数は任意で良
い。

【０２００】スケーラビリティ（scalability）は１ビ
ットのフラグでそのＶＯＬが下位レイヤであるか上位レ
イヤであるかを示す。（scalability＝１）である場
合、そのＶＯＬは下位レイヤであり、それ以外の場合上
位レイヤである。

【０２０１】識別子（ref_layer_id）はそのＶＯＬ自身
以外のＶＯＬを参照画像として用いる場合の参照画像Ｖ
ＯＬの番号を示すフラグである。これは上位レイヤにの
み伝送される。

【０２０２】識別子（hor_sampling_factor_n），（hor
_sampling_factor_m）は下位レイヤの水平方向の長さに
対して上位レイヤの水平方向の長さが何倍であるかを示
す（水平方向の解像度の倍率を示す）。下位レイヤに対
する上位レイヤの水平方向の大きさは以下の式で与えら
れる。

【０２０３】 hor_sampling_factor_n / hor_sampling_factor_m 識別子（ver_sampling_factor_n），（ver_sampling_fa
ctor_m）は下位レイヤの垂直方向の長さに対して上位レ
イヤの垂直方向の長さが何倍であるかを示す（垂直方向
の解像度の倍率を示す）。下位レイヤに対する上位レイ
ヤの垂直方向の大きさは以下の式で与えられる。

【０２０４】ver_sampling_factor_n / ver_sampling_f
actor_m ＶＯＰ(Video Object Plane Class)のシンタクスを以下
に示す。

【０２０５】 Syntax No.of bits Mnemonic VideoObjectPlane(){ VOP_start_code sc+8=32 do{ modulo_time_base 1 }while(modulo_time_base!="0") VOP_time_increment 10 VOP_prediction_type 2 if ( ( video_object_layer_sprite_usege != SPRITE_NOT_USED ) && (VOP_prediction_type == SPRITE) ) { if (no_of_sprite_points > 0) { encode VOP_points () } if (lighting_change_in_sprite) { lighting_change_factor_encode () } if (video_object_layer_sprite_useage == STATIC_SPRITE ) { return() } else if ( video_object_layer_sprite_usage == ON- LINE_SPRITE) { blending_factor 8 } } if(video_object_layer_shape !="00") { VOP_width 10 VOP_heigth 10 VOP_horizontal_mc_spatial_ref 10 marker_bit 1 VOP_vertical_mc_spatial_ref 10 if (scalability && enhancement_type) background_composition 1 } disable_sadct 1 if (VOP_prediction_type=="10") VOP_dbquant 2 else VOP_quant 5 if ((video_object_layer_shape_effects == "0010")|| (video_object_layer_shape_effects == "0011")|| (video_object_layer_shape_effects == "0101")){ VOP_constant_alpha 1 if (VOP_constant_alpha) VOP_constant_alpha_value 8 } if (!scalability){ if (!separate_motion_shape_texture) if(error_resilience_disable) combined_motion_shape_texture_coding() else do{ do{ combined_motion_shape_texture_coding() } while (nextbits_bytealigned() != 0000 0000 0000 0000) if (nextbits_bytealigned() != 000 0000 0000 0000 0000 0000) { next_resync_marker() resync_marker 17 macroblock_number 1-12 quant_scale 5 } } while (nextbits_bytealigned() != 000 0000 0000 0000 0000 0000) else{ if(video_object_layer_shape !="00"){ do{ first_shape_code 1-3 } while (count of macroblocks != total number of macroblocks) } if(error_resilience_disable) { motion_coding() if (video_object_layer_shape != "00") shape_coding() texture_coding() } else do{ do{ motion_coding() }while (next_bits()!="1010 0000 0000 0000 1") motion_marker 17 if (video_object_layer_shape !="00") shape_coding() do{ texture_coding() }while (nextbits_bytealigned()!= "0000 0000 0000 0000") if (nextbits_bytealigned()!= "000 0000 0000 0000 0000 0000){ next_resync_marker() resync_marker 17 macroblock_number 1-12 quant_scale 5 } }while (nextbits_bytealigned() != 000 0000 0000 0000 0000 0000) } } else{ if(background_composition){ load_backward_shape 1 if(load_backward_shape){ backward_shape_coding() load_foward_shape 1 if(load_foward_shape) foward_shape_coding() } } ref_select_code 2 if(VOP_prediction_type=="01"||VOP_prediction_type== "10"){ forward_temporal_ref 10 if(VOP_prediction_type=="10"){ marker_bit 1 backwaed_temporal_ref 10 } } combined_motion_shape_texture_coding() } next_state_code() } 識別子（VOP_width）および（VOP_height）はそのＶＯ
Ｐの大きさを示すフラグ（ＶＯＰサイズ）である。

【０２０６】識別子（ref_select_code）は前方（フォ
ワード）および後方（バックワード）予測において識別
子（ref_layer_id）に基づき、どのレイヤの画像を参照
画像として用いるかを示すフラグである。図１０に示し
た表および図１１に示した表にその詳細が示されてい
る。

【０２０７】図１６はＩおよびＰピクチャ（画像ＶＯ
Ｐ）におけるマクロブロックのシンタクスを示す。(CO
D)はこれ以後そのマクロブロックのデータが存在するか
どうかを示すフラグである。(COD=1)の場合、これ以
後、そのマクロブロックのデータが存在しないことを示
す（即ちスキップマクロブロック）。(COD=0)の場合、
さらにフラグが伝送される。(MCBCP)はそのマクロブロ
ックのタイプを示すフラグで、これに従って所定のフラ
グおよびデータが伝送される。

【０２０８】図１７はＢピクチャ（ＶＯＰ）におけるマ
クロブロックのシンタクスを示す。もし、最も最近に復
号されたＩまたはＰピクチャ（画像ＶＯＰ）の対応する
マクロブロックがスキップマクロブロックであった場合
（COD=1）、Ｂピクチャ（画像ＶＯＰ）におけるそのマ
クロブロックもスキップマクロブロックとなる。

【０２０９】(MODB)はＢピクチャ（ＶＯＰ）においてマ
クロブロックのタイプを示すフラグである。(MODB)の可
変長符号を図１８に示す。(MODB=0)の場合、それ以上マ
クロブロックのデータが存在しないことを示す。(MODB=
10)の場合、(CBPB)は伝送されず、(MBTYPE)が伝送され
る。(MODB=11)の場合、(CBPB)および(MBTYPE)が伝送さ
れる。なお、図中のｘは、現在のマクロブロックを示
す。

【０２１０】(CBPB)は６ビットのフラグでマクロブロッ
ク中の各ブロックにＤＣＴ係数が存在するかどうかを示
すフラグである。(CBPB)が伝送されない場合、(CBPB)は
０であると解釈され、そのマクロブロックではＤＣＴ係
数は伝送されない。

【０２１１】(MBTYPE)はＢピクチャにおける各マクロブ
ロックの予測モードを示すフラグである。下位レイヤの
(MBTYPE)を図１９に示す。(MBTYPE)に応じて図１９に示
す通り、そのマクロブロックで伝送されるフラグが決定
される。なお、図中のｘは、現在のマクロブロックを示
す。

【０２１２】上位レイヤにおける(MBTYPE)を図２０に示
す。(MBTYPE="1")の時、画素単位予測モードとなる。こ
の場合、動きベクトルは伝送されない。

【０２１３】下位レイヤにおけるスキップマクロブロッ
クの条件は以下の通りである。

【０２１４】（Ａ）Ｐピクチャ（ＶＯＰ） （１）COD=="1"である場合 この場合、マクロブロックはスキップマクロブロックと
して扱われる。ＤＣＴ係数は全て０であり、動きベクト
ルも０として扱われる。

【０２１５】Ｐピクチャ（ＶＯＰ）の場合、スキップマ
クロブロックの条件は下位レイヤと同様である。

【０２１６】（Ｂ）Ｂピクチャ（ＶＯＰ） （１）最も最近に復号されたＩまたはＰピクチャ（ＶＯ
Ｐ）の対応するマクロブロックがスキップマクロブロッ
クである（COD=1）である場合。

【０２１７】この場合、スキップマクロブロックとされ
る。予測はＰピクチャ（ＶＯＰ）と同様に行われ動きベ
クトルは０として扱われる。

【０２１８】（２）（１）以外の場合でかつMODB=="0"
の場合 この場合、スキップマクロブロックとして扱われ、この
マクロブロックの(MBTYPE)はダイレクト(Direct(Ｈ．２
６３))となり、Ｈ．２６３のＰＢピクチャと同様に符号
化される。このとき動きベクトルは直前に復号されたＰ
ピクチャ（ＶＯＰ）において同じ位置のマクロブロック
の動きベクトルが用いられる。

【０２１９】上位レイヤ (scalability = 1)におけるス
キップマクロブロックの条件は以下の通りである。

【０２２０】（Ａ）Ｐピクチャ（VOP） （１）COD=="1"である場合 この場合、マクロブロックはスキップマクロブロックと
して扱われる。ＤＣＴ係数は全て０であり、動きベクト
ルも０として扱われる。

【０２２１】Ｐピクチャ（ＶＯＰ）の場合、スキップマ
クロブロックの条件は下位レイヤと同様である。

【０２２２】（Ｂ）ピクチャ（ＶＯＰ） スキップマクロブロックにおいては、その予測モードや
参照画像を最も一般的に効率が良いモードに設定してお
くべきである。したがって、空間スケーラビリティの場
合の上位レイヤのマクロブロックにおいては画素単位予
測モードとするのが効率が良い。

【０２２３】本実施の形態においては、上位レイヤのＢ
ピクチャ（ＶＯＰ）のスキップマクロブロックの条件は
以下の通りである。

【０２２４】（１）ref_select_code =="00"であり、か
つＭＯＢＤ=="0"である場合。

【０２２５】識別子（ref_select_code =="00")の場
合、最も最近に復号されたＩまたはＰピクチャ（ＶＯ
Ｐ）の対応するマクロブロックがスキップマクロブロッ
クであるかどうか（CODの値）によらず、常にそれ以後
のデータを伝送する。このとき次に符号化される(MODB)
が０の場合スキップマクロブロックとなり、それ以上の
データは伝送されない。この時予測は 画素単位予測モ
ードとなり、動きベクトルは０として扱われる。

【０２２６】（２）ref_select_code !="00"であり、か
つ最も最近に復号されたＩまたはＰピクチャ（ＶＯＰ）
の対応するマクロブロックがスキップマクロブロックで
ある（COD=1）である場合。

【０２２７】この場合、スキップマクロブロックとされ
る。予測はＰピクチャ（ＶＯＰ）と同様に行われ動きベ
クトルは０として扱われる。

【０２２８】（３）ref_select_code !="00"でありか
つ、MODB=="0"の場合 この場合、スキップマクロブロックとして扱われ、この
マクロブロックの(MBTYPE)はダイレクト（Ｈ．２６３)
となり、Ｈ．２６３のＰＢピクチャと同様に符号化され
る。このとき動きベクトルは（ref_select_code）によ
って示されるＶＯＬの直前に復号されたＰピクチャ（Ｖ
ＯＰ）において同じ位置のマクロブロックの動きベクト
ルが用いられる。

【０２２９】

【発明の効果】本発明の画像信号符号化装置及び方法に
おいては、下位階層の画像信号を参照画像信号を用いて
符号化して第１の符号化データを出力し、上位階層の画
像信号を参照画像信号を用いて符号化して第２の符号化
データを出力し、第１の符号化データを復号して第１の
参照画像信号を生成し、第２の符号化データを復号して
第２の参照画像信号を生成し、第１の参照画像信号と第
２の参照画像信号とを各画素毎に適応的に切り替えるこ
とにより第３の参照画像信号を生成する生成し、第１、
第２若しくは第３の参照画像信号を選択して上位階層の
画像信号を符号化することにより、予測効率を改善し、
符号化効率を向上することが可能である。

【０２３０】また、本発明の画像信号復号装置及び方法
においては、それぞれ参照画像信号を用いて符号化され
た下位階層の画像信号と上位階層の画像信号とからなる
符号化データを受信し、その符号化された下位階層の画
像信号を参照画像信号を用いて復号して第１の参照画像
信号として出力し、符号化された上位階層の画像信号を
参照画像信号を用いて復号して第２の参照画像信号とし
て出力し、第１の参照画像信号と第２の参照画像信号と
を各画素毎に適応的に切り替えることにより第３の参照
画像信号を生成し、第１、第２若しくは第３の参照画像
信号を選択して上位階層の画像信号を復号することによ
り、良好な復号画像信号を得ることが可能である。

【０２３１】したがって、本発明の画像信号復号装置及
び方法によれば、本発明の画像信号符号化装置及び方法
により符号化された信号を記録してなる記録媒体を再生
復号すること、すなわち、符号化された下位階層の画像
信号と符号化された上位階層の画像信号とからなる符号
化データを含んで記録してなり、符号化データは、下位
階層の画像信号を参照画像信号を用いて符号化して第１
の符号化データを出力し、上位階層の画像信号を参照画
像信号を用いて符号化して第２の符号化データを出力
し、第１の符号化データを復号して、第１の参照画像信
号を生成し、第２の符号化データを復号して、第２の参
照画像信号を生成し、第１の参照画像信号と第２の参照
画像信号とを各画素毎に適応的に切り替えることにより
第３の参照画像信号を生成し、上記第１、第２若しくは
第３の参照画像信号を選択して上位階層の画像信号を符
号化してなる記録媒体を再生復号することで、良好な画
像信号を得ることが可能となる。

【０２３２】すなわち本発明は、各層の画像信号を予測
参照画像を用いて符号化する装置及び方法において、各
層の画像信号を符号化した信号を復号して各層毎の参照
画像を生成し、各種の参照画像の各画素を適応的に切り
替えた予測参照画像をも生成し、この予測参照画像を利
用して上位階層の画像信号を符号化することにより、空
間スケーラブル符号化方法において、予測効率を改善
し、符号化効率を向上することが可能となる。

【０２３３】なお、上述したように、入力画像信号が分
離された動き物体画像の場合には、キー（ｋｅｙ）信号
が入力されるが、入力画像信号が分離された背景画像の
場合は、キー（ｋｅｙ）信号は入力されない。

【０２３４】また、入力画像信号は分離された背景画像
の場合は、キー（ｋｅｙ）信号の符号化及び復号処理は
省略されることになる。

【０２３５】さらに、本発明は、ある画像信号を複数の
画像（背景画像及び動き物体画像）信号に分離して、そ
れぞれの画像毎に符号化するような場合の他に、通常の
動画像信号が入力画像信号として供給されてもよい。こ
の場合、キー（ｋｅｙ）信号の符号化及び復号処理は、
省略されることになる。

【０２３６】なお、本発明の主旨を逸脱しない範囲にお
いて、様々な変形や応用例が考えられる。したがって、
本発明の要旨は、実施の形態に限定されるものではな
い。

【図面の簡単な説明】

【図１】本発明の画像信号符号化装置及び方法を実現す
る実施の形態の画像信号符号化装置の概略構成を示すブ
ロック回路図である。

【図２】下位レイヤの画像と上位レイヤの画像の配置例
を示す図である。

【図３】画像信号符号化装置の下位レイヤ符号化回路の
具体的構成を示すブロック回路図である。

【図４】画像信号符号化装置の上位レイヤ符号化回路の
具体的構成を示すブロック回路図である。

【図５】空間スケーラビリティの場合の符号化の説明に
用いる図である。

【図６】上位レイヤのＰおよびＢピクチャの参照画像の
説明に用いる図である。

【図７】予測参照画像の各画素と差分画像の各画素の対
応の一例を示す図である。

【図８】予測参照画像の一例を示す図である。

【図９】予測参照画像を生成する方法の流れを示すフロ
ーチャートである。

【図１０】Ｐピクチャにおけるフラグ（ref_select_cod
e）の表を示す図である。

【図１１】Ｂピクチャにおけるフラグ（ref_select_cod
e）の表を示す図である。

【図１２】本発明の画像信号復号装置及び方法を実現す
る実施の形態の画像信号復号装置の概略構成を示すブロ
ック回路図である。

【図１３】画像信号復号装置の下位レイヤ復号回路の具
体的構成を示すブロック回路図である。

【図１４】画像信号復号装置の上位レイヤ復号回路の具
体的構成を示すブロック回路図である。

【図１５】ビデオシンタクスの階層構造の説明に用いる
図である。

【図１６】ＩおよびＰピクチャにおけるマクロブロック
のシンタクスを示す図である。

【図１７】Ｂピクチャにおけるマクロブロックのシンタ
クスを示す図である。

【図１８】Ｂピクチャにおいてマクロブロックのタイプ
を示すフラグであるMODBの可変長符号を示す図である。

【図１９】下位レイヤのＢピクチャにおける各マクロブ
ロックの予測モードを示すフラグであるMBTYPEを示す図
である。

【図２０】上位レイヤにおけるMBTYPEを示す図である。

【図２１】ＭＰＥＧ方式のＭＰ＠ＭＬの従来のエンコー
ダの概略構成例を示すブロック回路図である。

【図２２】ＭＰＥＧのＭＰ＠ＭＬの従来のデコーダの概
略構成例を示すブロック回路図である。

【図２３】空間スケーラビリティの従来のエンコーダの
構成例を示すブロック回路図である。

【図２４】空間スケーラビリティの従来のデコーダの構
成例を示すブロック回路である。

【符号の説明】

１ 画像階層化回路、 ２ 遅延回路、 ３ 上位レイ
ヤ符号化回路、 ４解像度変換回路、 ５ 下位レイヤ
符号化回路、 ６ 多重化回路、 ８１ 逆多重化回
路、 ８２ 遅延回路、 ８３ 上位レイヤ復号回路、
９４ 解像度変換回路、 ９５ 下位レイヤ復号回路

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−60293（ＪＰ，Ａ) 特開 平７−170514（ＪＰ，Ａ) 特開 平７−107096（ＪＰ，Ａ) 特開 平７−162870（ＪＰ，Ａ) 特開 平５−56414（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 所定の画像信号をそれぞれ表す下位階層
   の画像信号と上位階層の画像信号を符号化する画像信号
   符号化装置において、 上記下位階層の画像信号を参照画像信号を用いて符号化
   して、第１の符号化データを出力する第１の符号化手段
   と、 上記上位階層の画像信号を参照画像信号を用いて符号化
   して、第２の符号化データを出力する第２の符号化手段
   と、 上記第１の符号化データを復号して、第１の参照画像信
   号を生成する第１の復号手段と、 上記第２の符号化データを復号して、第２の参照画像信
   号を生成する第２の復号手段と、 上記第１の参照画像信号と上記第２の参照画像信号とを
   各画素毎に適応的に切り替えることにより第３の参照画
   像信号を生成する生成手段とを有し、 上記第２の符号化手段は、上記第１、第２若しくは第３
   の参照画像信号を選択して上記上位階層の画像信号を符
   号化することを特徴とする画像信号符号化装置。
2. 【請求項２】 所定の画像信号をそれぞれ表す下位階層
   の画像信号と上位階層の画像信号を符号化する画像信号
   符号化方法において、 上記下位階層の画像信号を参照画像信号を用いて符号化
   して、第１の符号化データを出力する第１の符号化ステ
   ップと、 上記上位階層の画像信号を参照画像信号を用いて符号化
   して、第２の符号化データを出力する第２の符号化ステ
   ップと、 上記第１の符号化データを復号して、第１の参照画像信
   号を生成する第１の復号ステップと、 上記第２の符号化データを復号して、第２の参照画像信
   号を生成する第２の復号ステップと、 上記第１の参照画像信号と上記第２の参照画像信号とを
   各画素毎に適応的に切り替えることにより第３の参照画
   像信号を生成する生成ステップとを有し、 上記第２の符号化ステップは、上記第１、第２若しくは
   第３の参照画像信号を 選択して上記上位階層の画像信号
   を符号化することを特徴とする画像信号符号化方法。
3. 【請求項３】 符号化された下位階層の画像信号と符号
   化された上位階層の画像信号からなる符号化データを受
   信し、その符号化データを復号する画像信号復号装置に
   おいて、 符号化された下位階層の画像信号と符号化された上位階
   層の画像信号はそれぞれ参照画像信号を用いて符号化さ
   れており、 上記符号化データを受信する受信手段と、 上記符号化された下位階層の画像信号を参照画像信号を
   用いて復号して、当該復号された下位階層の画像信号を
   第１の参照画像信号として出力する第１の復号手段と、 上記符号化された上位階層の画像信号を参照画像信号を
   用いて復号して、当該復号された上位階層の画像信号を
   第２の参照画像信号として出力する第２の復号手段と、 上記第１の参照画像信号と上記第２の参照画像信号とを
   各画素毎に適応的に切り替えることにより第３の参照画
   像信号を生成する生成手段とを有し、 上記第２の復号手段は、上記第１、第２若しくは第３の
   参照画像信号を選択して上記上位階層の画像信号を復号
   することを特徴とする画像信号復号装置。
4. 【請求項４】 符号化された下位階層の画像信号と符号
   化された上位階層の画像信号からなる符号化データを受
   信し、その符号化データを復号する画像信号復号方法に
   おいて、 符号化された下位階層の画像信号と符号化された上位階
   層の画像信号はそれぞれ参照画像信号を用いて符号化さ
   れており、 上記符号化データを受信する受信ステップと、 上記符号化された下位階層の画像信号を参照画像信号を
   用いて復号して、当該復号された下位階層の画像信号を
   第１の参照画像信号として出力する第１の復号ステップ
   と、 上記符号化された上位階層の画像信号を参照画像信号を
   用いて復号して、当該復号された上位階層の画像信号を
   第２の参照画像信号として出力する第２の復号ステップ
   と、 上記第１の参照画像信号と上記第２の参照画像信号とを
   各画素毎に適応的に切り替えることにより第３の参照画
   像信号を生成する生成ステップとを有し、 上記第２の復号ステップは、上記第１、第２若しくは第
   ３の参照画像信号を選択して上記上位階層の画像信号を
   復号することを特徴とする画像信号復号方法。