JPH0998427A

JPH0998427A - 動画像符号化装置

Info

Publication number: JPH0998427A
Application number: JP7276988A
Authority: JP
Inventors: Shinichiro Koto; 晋一郎古藤; Tomoo Yamakage; 朋夫山影
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-29
Filing date: 1995-09-29
Publication date: 1997-04-08

Abstract

(57)【要約】【課題】量子化ステップ幅と発生符号量の関係を高精度
に推定できるように発生符号量を収集することを可能と
した動画像符号化装置を提供する。【解決手段】入力画像信号１０について動き補償予測を
行って得られた予測残差信号を直交変換し、得られた直
交変換係数を量子化した後、可変長符号化し、得られた
可変長符号２２と動き補償予測において検出された動き
ベクトル情報および符号化モード情報を含む付加情報２
３とを出力符号３１とする動画像符号化装置において、
出力符号３１の発生符号量を可変長符号２２の少なくと
も一部の符号量を含む第１の発生符号量と少なくとも付
加情報２３の符号量を含む第２の発生符号量とに分離し
て収集する発生符号量収集回路２３を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き補償予測と直
交変換を用いた動画像符号化装置に係り、特に発生符号
量に基づいた符号量制御を行う動画像符号化装置に関す
る。

【０００２】

【従来の技術】動画像の圧縮符号化方式の国際規格とし
て、比較的低ビットレートの蓄積メディアをターゲット
としたＭＰＥＧ−１(ISO/IEC11172)や、次世代のディジ
タル放送、ＶＯＤ(Video On Demand）、あるいはＤＶＤ
(Digital Video Disk)などへの応用が期待されているＭ
ＰＥＧ−２(ISO/IEC13818)などが知られている。

【０００３】ＭＰＥＧ符号化方式では、動き補償予測と
ＤＣＴ（離散コサイン変換）をベースにしたエントロピ
ー符号化が用いられているため、均一な画質での符号化
を行う場合、入力画像の予測効率や解像度といった性質
に応じて、発生符号量が大幅に変動する。しかし、伝送
路やメディアの制約から、発生符号量の時間変動は規定
された範囲の中に制限される必要がある。従来では、発
生符号量の目標符号量からのずれから、ＤＣＴ係数の量
子化ステップ幅を制御するフィードバック制御のレート
制御回路により、これらの条件を満たすように発生符号
量の制御を行っている。

【０００４】すなわち、図１３は従来の動画像符号化装
置におけるレート制御回路の構成例を示した図であり、
目標符号量１１０と実際の発生符号量１１７との誤差を
積分器１１２で累積加算し、その積分値１１３に応じて
量子化ステップ幅の修正を順次行うフィードバック制御
系を構成している。この場合、フィードバックされる発
生符号量は、マクロブロック単位あるいはフレーム単位
での発生符号量の総和が用いられる。

【０００５】このようなレート制御を行った場合、入力
画像の動きが激しく予測効率が低い場合や、解像度が高
くフレーム内の情報量が大きい場合、量子化による符号
化歪みが大きくなり、画質劣化が顕著となる。

【０００６】伝送方式として固定レート伝送方式を用い
た場合は、発生符号量の時間変動は平滑化バッファによ
って吸収される範囲で変動することが許される。伝送レ
ートを時間的に変動させる可変レート伝送方式では、伝
送路の最大レートと平滑化バッファサイズにより制限さ
れる範囲で、固定レート伝送に比べて大幅な発生符号量
の時間変動が許容される。固定レート伝送方式および可
変レート伝送のいずれにおいても、入力画像の性質に応
じた最適な符号量配分と安定したレート制御を行うこと
で、より高能率な符号化を実現することが可能となる。

【０００７】

【発明が解決しようとする課題】量子化ステップ幅の動
的な制御による符号量制御において、より安定で高能率
な符号量制御を実現するためには、量子化ステップ幅と
発生符号量の関係を精度よく推定できることが重要とな
る。

【０００８】また、特に蓄積系への応用では実時間での
符号化は必ずしも要求されず、できるだけ効率的な符号
化による記録時間の拡大や高画質化が重要となる。この
ような応用では、事前に一連の入力画像シーケンス全体
の性質を分析して、量子化ステップ幅と発生符号量の関
係を精度よく推定し、その結果に基づいて最適な符号量
制御を行うことが有効であると考えられる。

【０００９】しかし、量子化ステップ幅と発生符号量と
の関係は、入力画像の性質や符号化方式に大きく依存し
ており、高精度にその関係を推定することは一般に困難
である。

【００１０】本発明は、高能率で安定した符号量制御に
よる高画質化を実現するため、量子化ステップ幅と発生
符号量の関係を高精度に推定できるように発生符号量を
収集することを可能とした動画像符号化装置を提供する
ことを目的とする。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
め、本発明は入力される動画像信号について動き補償予
測を行って得られた予測残差信号を直交変換し、得られ
た直交変換係数を量子化した後、可変長符号化を行い、
その可変長符号と動き補償予測において検出された動き
ベクトル情報および符号化モード情報を含む付加情報と
を出力符号とする動画像符号化装置において、出力符号
の発生符号量を可変長符号の少なくとも一部の符号量を
含む第１の発生符号量と少なくとも付加情報の符号量を
含む第２の発生符号量とに分離して収集する発生符号量
収集手段を備えたことを基本的な特徴とする。

【００１２】また、本発明は上記の基本構成に加えて、
発生符号量収集手段により収集された発生符号量に基づ
いて少なくとも直交変換係数の量子化手段における量子
化ステップ幅を制御することにより出力符号の発生符号
量を制御する符号量制御手段を備えたことを特徴とす
る。この符号量制御手段は、例えば第１の発生符号量と
その目標符号量との誤差および第２の発生符号量とその
目標符号量との誤差の重み付け加算値を用いて量子化ス
テップ幅を制御するように構成される。

【００１３】また、本発明は上記の基本構成に加えて、
発生符号量収集手段により収集された発生符号量に基づ
いて入力画像信号のシーケンス全体にわたる発生符号量
の配分をフレーム単位または所定の領域単位に行う符号
量配分手段を有し、この符号量配分手段により配分され
た符号量に基づいて入力画像信号のシーケンス全体の再
符号化を行うことを特徴とする。入力画像信号のシーケ
ンス全体とは、例えば１本の映画などの入力画像信号の
データをいう。

【００１４】また、本発明は発生符号量収集手段におい
て直交変換係数の交流成分に対応する発生符号量を第１
の発生符号量として収集し、直交変換係数の直流成分に
対応する発生符号量を第２の発生符号量に含めて収集す
ることを特徴とする。

【００１５】また、本発明は発生符号量収集手段におい
て、フレーム内符号化ブロックの直交変換係数に対応す
る発生符号量と、フレーム間符号化ブロックの直交変換
係数に対応する発生符号量とをそれぞれ独立に収集する
ことを特徴とする。

【００１６】前述したように、動画像信号を動き補償予
測と直交変換により符号化する方式では、発生符号量と
量子化ステップ幅の関係は符号化方式と入力画像の性質
に依存するために、一般的な定式化が困難であるが、与
えられたある量子化ステップ幅に対する発生符号量を例
えば１つまたは複数のマクロブロックあるいはフレーム
単位に実測し、この実測結果から他の量子化ステップ幅
で量子化した場合の発生符号量を推定することが可能で
ある。

【００１７】この点に着目し、本発明では発生符号量の
計測の際に、量子化ステップ幅と一般に単調な関係にあ
る直交変換係数に対応した発生符号量と、量子化ステッ
プ幅との相関が低い動きベクトル情報や符号化モード情
報などの付加情報の発生符号量を独立に収集することに
よって、量子化ステップ幅に対する発生符号量の関係を
高精度に推定することが可能となる。

【００１８】ＭＰＥＧの符号化方式においては、フレー
ム内符号化マクロブロックの直交変換係数は、通常は符
号量制御のための量子化ステップ幅制御の影響を受け
ず、固定の量子化幅で量子化されて符号化される。これ
は人間の視覚特性を考慮したものであり、視覚的に目立
ちやすい空間周波数の低周波成分の歪みを抑えるためで
ある。そこで、本発明では直交変換係数の交流成分と直
流成分に対応した発生符号量を独立に収集し、量子ステ
ップ幅との相関が低いフレーム内符号化マクロブロック
の直流成分に対応した発生符号量を切り離すことで、さ
らに高精度な発生符号量と量子化ステップ幅との関係の
推定が可能となる。また、発生符号量の収集の際に、フ
レーム内符号化マクロブロックの直流成分の符号量を付
加情報の符号量と同等に扱うことにより、発生符号量収
集回路を簡素化することが可能となる。

【００１９】ブロックあるいはマクロブロック単位にフ
レーム内符号化とフレーム間符号化とを切り替えて符号
化する符号化方式においては、フレーム内符号化とフレ
ーム間符号化の符号化特性の違いを考慮し、それぞれの
場合の発生符号量を独立に集計することで、より高精度
に量子化ステップ幅に対する発生符号量の関係を推定す
ることが可能となる。

【００２０】実時間符号化においては、次に符号化すべ
き画像に対する符号量の割り当てや量子化ステップ幅の
決定に、それまでに符号化された画像の発生符号量と量
子化ステップ幅の関係を用いることで、より安定した符
号化制御を実現することが可能となる。発生符号量をフ
ィードバックさせて目標符号量との誤差の累積値から次
の量子化ステップ幅を決定するフィードバックレート制
御系においても、発生符号量のうち量子化ステップ幅の
相関のある部分と相関のない部分を分離して処理するこ
とで、フィードバック系をより安定化させることも可能
となる。

【００２１】実時間符号化が要求されないＤＶＤ(Digit
al Vidoe Disc)等のメディアを用いた蓄積系への応用で
は、入力画像信号のシーケンス全体にわたってマクロブ
ロック単位あるいはフレーム単位の発生符号量を収集
し、この収集された発生符号量に基づいて入力画像信号
のシーケンス全体にわたる最適な発生符号量の配分をフ
レーム単位またはマクロブロック単位などの領域単位に
施した後、予め蓄積しておいた同じ入力画像信号のシー
ケンス全体または一部について再符号化を行うことによ
り、より高能率で高画質な符号化を実現することが可能
となる。

【００２２】

【発明の実施の形態】

（第１の実施形態）図１は、本発明の第１の実施形態に
係る動画像符号化装置の構成を示すブロック図である。
動画像信号である入力画像信号１０は、まずフレームメ
モリからなるリオーダリングバッファ１１により入力順
と符号化順の入れ替えが行われる。この入れ替え後の画
像信号１２は動き検出回路１３に入力され、ここでマク
ロブロック単位の動きベクトル検出と符号化モードの決
定が行われる。符号化モードとしては、フレーム予測／
フィールド予測符号化と、前方予測／後方予測／両方向
予測／イントラ符号化等の組み合わせでマクロブロック
単位に決定される。

【００２３】イントラ符号化（フレーム内符号化）マク
ロブロックでは、スイッチ１４で入力画像信号が選択さ
れ、この選択された入力画像信号１５そのものがＤＣＴ
回路１７により離散コサイン変換される。予測符号化
（フレーム間符号化）マクロブロックでは、参照画像メ
モリ３８に参照画像信号として格納されている前フレー
ムの局部復号画像信号３９から動き補償回路４０により
作成された参照マクロブロック４２と入力画像信号のマ
クロブロックとの差である予測残差信号１６がスイッチ
１４で選択され、この予測残差信号１６がＤＣＴ回路１
７により離散コサイン変換される。離散コサイン変換に
より得られた直交変換係数すなわちＤＣＴ係数１８は、
量子化回路１９により量子化される。

【００２４】量子化回路１９により量子化されたＤＣＴ
係数２０は、逆量子化回路３２で逆量子化されて量子化
前のＤＣＴ係数３３が生成され、このＤＣＴ係数３３は
逆ＤＣＴ回路３４により逆離散コサイン変換されて予測
残差信号３５が生成される。この予測残差信号３５は加
算器３６で動き補償回路４０からの参照画像信号４１と
加算されて局部復号画像信号３７が生成され、この局部
復号信号３７が参照画像メモリ３８に参照画像信号とし
て格納される。

【００２５】また、量子化回路１９により量子化された
ＤＣＴ係数２０は、可変長符号化回路２１にも入力され
て可変長符号符号２２に変換され、動きベクトル情報お
よび符号化モード情報からなる付加情報２３とともに文
法生成／データ多重化回路２８により符号化データ２９
に変換される。この符号化データ２９は、送信バッファ
３０を経て伝送路に最終的な出力符号化データ３１とし
て送出される。

【００２６】ここで、可変長符号化回路２１から出力さ
れる量子化されたＤＣＴ係数の可変長符号２２と動きベ
クトル情報および符号化モード情報を含む付加情報２３
は、発生符号量収集回路２４にも入力され、これら可変
長符号２２および付加情報２３の各々の発生符号量がフ
レーム単位またはマクロブロック単位に収集される。Ｄ
ＣＴ係数の可変長符号２２の符号量の収集については、
イントラ符号化／予測符号化のマクロブロック符号化モ
ード毎に独立に累積加算してフレーム単位の発生符号量
を求めたり、イントラ符号化マクロブロックでは、ＤＣ
Ｔ係数の直流成分の符号量と交流成分の符号量を独立に
収集することも可能となっている。

【００２７】次に、発生符号量収集回路２４について詳
細に説明する。図２は、発生符号量収集回路２４の一構
成例を示した図である。量子化されたＤＣＴ係数の可変
長符号２２の符号量を示すＤＣＴ係数符号量データ１５
０と、動きベクトル情報および符号化モード情報等を含
む付加情報２３の符号量を示す付加情報符号量データ１
５１が図示しない符号量計算部によって生成され、セレ
クタ１５２に入力される。

【００２８】セレクタ１５２では、ＤＣＴ係数符号量デ
ータ１５０の交流成分と直流成分が分離して取り出さ
れ、交流成分は積分器１５３によって、また直流成分と
付加情報符号量データ１５１は積分器１５４によって、
それぞれマクロブロック単位に累積加算され、マクロブ
ロック単位の発生符号量データ１５５，１５６が生成さ
れる。これらマクロブロック単位の発生符号量データ１
５５，１５６は、さらに積分器１５７，１５８によりそ
れぞれフレーム単位に累積加算され、フレーム単位の発
生符号量データ１５９，１６０が生成される。これらの
発生符号量データ１５５，１５７，１５９，１６０は、
まとめて図１のレート制御部２６へ発生符号量データ２
５として送られる。

【００２９】図３は、発生符号量収集回路２４の他の構
成例を示す図である。図２と同様に量子化されたＤＣＴ
係数の可変長符号２２の符号量を示すＤＣＴ係数符号量
データ１９０と、動きベクトル情報および符号化モード
情報を含む付加情報の符号量を示す付加情報符号量デー
タ１９１が生成される。セレクタ１８２によりＤＣＴ係
数符号量データ１９０のうち交流成分の符号量データ１
９３と直流成分の符号量データ１９４とが分離され、交
流成分の符号量データ１９３はさらにセレクタ１９５で
イントラ符号化マクロブロックの符号量データと予測符
号化マクロブロックの符号量データに分離される。

【００３０】一方、付加情報符号量データ１９１はセレ
クタ１９２で分離されたＤＣＴ係数符号量データ１９０
の交流成分の符号量データ１９４とともにセレクタ１９
６に入力され、イントラ符号化マクロブロックの符号量
データと予測符号化マクロブロックの符号量データとに
分離される。

【００３１】ＤＣＴ係数符号量データ１９０の交流成分
の符号量データ１９３のうちのイントラ符号化マクロブ
ロックの符号量データは積分器１９７によって、予測符
号化マクロブロックの符号量データは積分器１９８によ
ってそれぞれマクロブロック単位に累積加算される。同
様に、付加情報符号量データ１９１およびＤＣＴ係数符
号量データ１９０の交流成分の符号量データ１９４のイ
ントラ符号化マクロブロックの符号量データは積分器１
９９によって、予測符号化マクロブロックの符号量デー
タは積分器２００によってそれぞれマクロブロック単位
に累積加算される。このようにして生成されたマクロブ
ロック単位の発生符号量データ２０１，２０２，２０
３，２０４は、さらに積分器２０５，２０６，２０７，
２０８によってそれぞれフレーム単位に累積加算される
ことにより、フレーム単位の発生符号量データ２０９，
２１０，２１１，２１２が生成される。そして、これら
の発生符号量データ２０１〜２０４，２０９〜２１２
は、まとめて図１のレート制御部２６へ発生符号量デー
タ２５として送られる。

【００３２】レート制御回路２６では、発生符号量収集
回路２４で得られた発生符号量データ２５に基づいて、
量子化器１９での量子化ステップ幅の制御を動的に行
い、規定された伝送レートおよび送受信バッファサイズ
（送信バッファ３０の容量）を破綻させないための発生
符号量制御を行う。

【００３３】図４は、レート制御回路２６の具体的な構
成例を示したものである。レート制御回路２６には、フ
レーム単位の目標符号量データ１７０が与えられ、この
目標符号量データ１７０は乗算器１７１，１７２によっ
てＡ／Ａ＋Ｂ，Ｂ／Ａ＋Ｂがそれぞれ乗じられ、量子化
制御の直接の影響を受けるＤＣＴ係数の交流成分の目標
符号量データと、その他の目標符号量データ、すなわち
ＤＣＴ係数の直流成分と付加情報の目標符号量データと
に分離される。このように目標符号量データを分離する
ために乗算器１７１，１７２に与えられる係数Ａ，Ｂ
は、それぞれそれ以前に符号化されたフレームにおける
ＤＣＴ係数の交流成分の符号量とその他の符号量との比
率とする。乗算器１７１，１７２で分離された各目標符
号量データは、乗算器１７３，１７４においてフレーム
単位のマクロブロックの数ＭＢで除算され、１マクロブ
ロック当たりの目標符号量データとなる。

【００３４】そして、符号化装置１７９から図２または
図３に示した発生符号量収集回路２４によってそれぞれ
独立に求められたＤＣＴ係数の交流部分のマクロブロッ
ク単位の発生符号量データ１８２とその他の符号量デー
タ１８１と、それぞれの目標符号量データとの誤差が積
分器１７５，１７６で累積加算される。これらの累積加
算結果は乗算器１７７，１７８をそれぞれ介して重み付
き加算され、次マクロブロックの量子化ステップ幅の決
定に用いられる。マクロブロック毎の量子化ステップ幅
の初期値１８４は、目標符号量データ１７０から初期量
子化ステップ幅決定回路１８３により、後述する方法で
決定される。各マクロブロック量子化ステップ幅は、積
分器１７５，１７６の累積加算結果を乗算器１７７，１
７８を介して重み付き加算した値と、量子化ステップ幅
の初期値１８４から動的に決定される。

【００３５】図５は、１フレーム当たりの発生符号量と
量子化ステップ幅の関係の例を示した図である。図中の
実線で示す曲線１０１および１０２は、それぞれ異なる
フレームに対する発生符号量と量子化ステップ幅との関
係を示している。通常、発生符号量と量子化ステップ幅
との間には負の相関があり、図５に示されるように量子
化ステップ幅に対して発生符号量は単調に減少する。た
だし、両者の関係は入力画像の空間解像度や予測効率等
に応じて、また符号化方式に応じても大きく異なる。

【００３６】また、フレームの発生符号量の中には、量
子化の影響を直接受けるＤＣＴ係数の符号量と、入力画
像の性質に依存するが量子化の影響を直接受けない動き
ベクトルや符号化モード情報等の付加情報の符号量とが
含まれており、これらは分離して考えることが可能であ
る。図５では、破線１０３および１０４で示される符号
量がそれぞれ実線１０１および１０２に対応するフレー
ムの量子化の影響を直接受けない符号量部分に相当して
いる。通常は、レート制御が量子化ステップ幅の制御
で、発生符号量の制御を行っているため、フレーム単位
あるいはマクロブロック単位に図５で示される発生符号
量と量子化ステップ幅の関係を高精度に推定することが
レート制御の安定化と高能率化につながると考えられ
る。

【００３７】そこで、本実施形態で説明したように、Ｄ
ＣＴ係数の符号量と動きベクトルや符号化モード等の付
加情報の符号量とを分離して実測することで、量子化ス
テップ幅に対する発生符号量の高精度な推定が可能とな
り、レート制御の改善による高能率・高画質符号化を実
現することができる。

【００３８】図６は、ＭＰＥＧビデオ符号化における階
層構造を示した図である。入力ビデオシーケンスは、通
常１０〜２０程度のピクチャ（符号化されたフレーム）
で構成されるＧＯＰ(Group Of Pictures）に区切られ、
各ピクチャはイントラ符号化画像（Ｉ−picture)、前方
予測符号化画像（Ｐ−picture)および両方向符号化画像
（Ｂ−picture)の組み合わせとして符号化される。各ピ
クチャは１６×１６画素のマクロブロックに分割され、
各マクロブロック毎に動き補償予測符号化、あるいはイ
ントラ符号化等のモードが選択される。各マクロブロッ
クは、さらに８×８画素のブロックに分割され、それぞ
れのブロック毎に動き補償予測符号化マクロブロックで
は残差信号、イントラ符号化マクロブロックでは入力画
像信号に対してそれぞれＤＣＴが施される。マクロブロ
ック以上の各階層では、それぞれヘッダ情報が符号化さ
れる。また、動きベクトルの情報は、可変長符号化され
て、符号化モード情報とともにマクロブロックのヘッダ
部分に多重される。動きベクトルや符号化モード情報の
符号量は、個々の入力画像の性質に応じて変動するもの
となるが、量子化の影響は直接的に大きく受けないの
で、各ヘッダ情報とあわせて図５における１０３および
１０４のような各ピクチャにおける固定符号量として近
似することが可能である。

【００３９】図７は、ＭＰＥＧビデオ符号化における各
ブロックの２次元ＤＣＴ係数のジグザクスキャン順を示
したものである。８×８画素ブロックの信号は、２次元
ＤＣＴが施されて８×８の２次元の係数となる。この２
次元の変換係数は、量子化された後に、図７に示すよう
に、空間周波数の低域成分から高域成分に向かうジグザ
グスキャン順に従って１次元への並べ替えを行い、可変
長のランレングス符号化が行われる。ただし、ＭＰＥＧ
ビデオ符号化では、イントラ符号化マクロブロックの各
ブロックでは、ＤＣＴ係数のうち直流成分だけは、ブロ
ック歪み低減のために固定ステップ幅の量子化を行い、
その隣接ブロックとの差分値が可変長符号化される。つ
まり、イントラマクロブロックのＤＣＴ係数の直流成分
については、レート制御の量子化制御の影響を受けず
に、入力画像の性質にのみ依存してそのマクロブロック
に固有な符号量が決まることになる。従って、ＤＣＴ係
数の符号量を集計する際に、イントラマクロブロックに
ついては、その直流成分の符号量を交流成分の符号量と
は独立に集計し、動きベクトルの符号量と同様に、量子
化制御の影響を受けない固定符号量として扱うことによ
り、前述の発生符号量と量子化ステップ幅の関係を精度
よく求めることが可能となる。

【００４０】本実施形態では、フレーム単位の符号量を
Ｒ、量子化ステップ幅をＱとし、その関係を以下のよう
にモデル化する。

【００４１】Ｒ（Ｑ）＝ｆ（Ｑ）＋Ａ（１）ここで、Ａは量子化ステップ幅によらず固定の符号量、
ｆは量子化ステップ幅に依存する発生符号量を示す。固
定の符号量Ａは、計測された発生符号量のうちＤＣＴ係
数の交流成分以外の符号量から求めることが可能であ
り、また関数ｆの近似係数は、計測されたＤＣＴ係数の
交流成分と量子化ステップ幅から、回帰分析等を用いて
推定される。

【００４２】図４で説明した初期量子化ステップ幅決定
回路１８３は、直前に符号化された１つあるいは複数の
フレームの発生符号量と量子化ステップ幅との関係から
上式の係数を求め、その逆関数Ｒ（Ｑ）^-1より初期量子
化ステップ幅を決定する。

【００４３】（第２の実施形態）図８は、本発明の第２
の実施形態に係る動画像符号化装置の構成を示すブロッ
ク図である。図８において図１と同一の記号が内部に記
載されたブロックは、第１の実施形態と基本的に同一機
能を有するものとして詳細な説明を省略し、第１の実施
形態との相違点を中心に説明すると、本実施形態は第１
の実施形態の構成に加えて、データメモリ９０とハード
ディスク装置９２が新たに追加された構成となってい
る。

【００４４】本実施形態では、入力画像信号５０はＤＶ
Ｄ、ディジタルＶＴＲあるいは画像メモリ装置等の蓄積
メディアに蓄積されていることを前提としている。従っ
て、入力画像信号５０全体あるいはその一部を蓄積メデ
ィアから読み出して再符号化することが可能である。

【００４５】統計データ収集回路６４は、マクロブロッ
ク単位あるいはフレーム単位のＤＣＴ係数の発生符号量
および符号化モード等の付加情報の符号量を第１の実施
形態と同様に収集し、その発生符号量データを入力画像
信号５０全体に渡ってデータメモリ９０を介してハード
ディスク装置９２に記録することが可能に構成されてい
る。

【００４６】レート制御回路６６は、第１の実施形態と
同様にして実時間で求められた発生符号量データ６５に
基づいたフィードバックレート制御に加えて、事前に同
じ入力画像信号のシーケンスを符号化して、その際にハ
ードディスク装置９２に記録した発生符号量データ９１
を利用してビット配分およびレート制御を行う再符号化
も可能となっている。

【００４７】図９は、図８の動画像符号化装置を用いて
同じ入力画像信号のシーケンスを２回符号化する２パス
符号化の手順を示した図である。ここでは、総符号量が
規定されたＤＶＤ等の蓄積メディアに対して、一定時間
の動画像データを符号化して記録する場合を想定してい
る。

【００４８】第１の符号化においては、入力画像信号５
０のシーケンス全体（例えば、映画１本分）にわたり符
号化を行い、少なくとも量子化ステップ幅および発生符
号量を含むフレーム単位の統計量の収集を行う（ステッ
プＳ１）。次に、式（１）に示した発生符号量と量子化
ステップ幅の関係をモデル化し、その近似係数を求める
ことを含む符号化特性の分析を入力画像信号５０のシー
ケンス全体にわたって行う（ステップＳ２）。さらに、
各フレーム単位に得られた近似係数を用いて、以下の条
件を満たすフレーム単位のビット割り当て（ビット配
分）を全シーケンスに渡って行う（ステップＳ３）。

【００４９】 ΣＲ_i（ｑ_i）≦総記録容量（２）

【００５０】

【数１】０≦Ｂ（ｉ）≦Ｂ_max，０≦Ｂ^*（ｉ）≦Ｂ_max （４）ここで、Ｒ_i（ｑ_i）は第１の符号化での符号化結果か
ら得られた近似係数に基づいた、ｉ番目のフレームを量
子化ステップ幅ｑ_iで符号化した場合の発生符号量の推
定値、ｑ′は各フレームの初期量子化ステップ幅の全画
像シーケンスに渡る平均値、Ｂ（ｉ），Ｂ^*（ｉ）はそ
れぞれフレームｉに対する、仮想デコーダにおけるｉ番
目のフレームを復号化デコードする直前および直後のバ
ッファ占有量、Ｂ_maxは仮想デコーダバッファサイズを
それぞれ示す。式（２）を満たすようにすることで、総
記録容量を満たす符号化を行い、また式（３）により量
子化ステップ幅の分散が最小化され、その時間変動を抑
えて安定した画質を実現することが可能となる。さら
に、式（４）はＭＰＥＧで規定されるＶＢＶ(ISO/IEC1.
3818-1 Annex C参照）に相当し、発生符号量のバースト
性を制限するための仮想バッファである。

【００５１】図１０は、本実施形態によりシーケンス全
体に渡ってフレーム単位に求めた量子化ステップ幅の初
期値と符号量割当を示している。このように量子化ステ
ップ幅の変動を小さくすることにより、限られた総符号
量の下での安定した画質の符号化を実現するための最適
ビット割当が可能となる。

【００５２】ここで得られたフレーム単位の量子化ステ
ップ幅の初期値および割当符号量を用いて、シーケンス
全体に渡って第２の符号化を行う（ステップ４）。第２
の符号化では、第１の実施形態と同様にマクロブロック
単位のフィードバック制御をかけながら、割当符号量に
対する発生符号量の誤差を動的に吸収し、最終的な高画
質符号化を行う。これにより、高能率かつ高画質な画像
符号化を行うことが可能となる。

【００５３】（第３の実施形態）図１１は、本発明の第
３の実施形態に係る動画像符号化装置の構成を示すブロ
ック図である。図１１において図１および図８と同一の
記号が記載されたブロックは第１および第２の実施形態
と基本的に同一機能を有するものとして詳細な説明を省
略し、第２の実施形態との相違点のみを説明すると、本
実施形態では図８に示した第２の実施形態の構成に加え
て、さらにアクティビティ検出回路１３０が付加された
構成となっている。

【００５４】このアクティビティ検出回路１３０で検出
された入力画像信号５２のアクティビティを示すデータ
１３１と、残差信号成分の大きさを示すデータ１３２が
統計データ収集回路６４に入力される。統計データ収集
回路６４は、第１および第２の実施形態における発生符
号量収集回路の機能を拡張したもので、入力されるデー
タ１３１，１３２は、レート制御回路６６での視覚補正
処理に用いられるとともに、発生符号量や符号化モード
等の情報と同様にデータメモリ９０を介してハードディ
スク装置９２に記録することが可能となっている。

【００５５】本実施形態においても、第２の実施形態と
同様に、事前に符号化して得られた発生符号量データに
基づく入力画像シーケンス全体に渡るビット配分が可能
である。また、本実施形態ではさらにアクティビティデ
ータ１３１や、残差信号成分の大きさデータ１３２から
求まる予測効率等のパラメータに応じて、人間の視覚特
性を考慮した視覚補正を加えることも可能である。

【００５６】図１２は、入力画像シーケンス全体に渡る
視覚補正パラメータとこれに基づく量子化ステップ幅お
よび符号量配分の例を示したものである。ここでも、事
前の符号化による統計データから、量子化ステップ幅と
発生符号量の関係を推定することにより、適切な符号量
配分が可能となる。

【００５７】

【発明の効果】以上説明したように、本発明によれば動
画像信号を動き補償予測と直交変換を組み合わせて符号
化する動画像符号化装置において、量子化された直交変
換係数に対応する発生符号量の少なくとも一部、具体的
には量子化ステップ幅と相関のある直交変換係数の交流
成分に対応した符号量を含む第１の発生符号量と、量子
化ステップ幅との相関が小さい動きベクトル情報や符号
化モード情報などの付加情報と直交変換係数の直流成分
に対応した符号量を含む第２の発生符号量とをそれぞれ
独立して分離収集し、さらにはフレーム内符号化マクロ
ブロックとフレーム間マクロブロックの発生符号量を独
立に収集することで、量子化ステップ幅と発生符号量の
関係を高精度に推定することが可能となる。

【００５８】従って、この発生符号量収集結果を用いる
ことにより、実時間符号化においては、次に符号化すべ
き画像に対する符号量の割り当てや量子化ステップ幅の
決定に先に符号化した時の発生符号量と量子化ステップ
幅の関係を用いることで、より高能率・高画質かつ安定
した符号化制御を実現することが可能となり、またフィ
ードバックレート制御を行う場合は、発生符号量のうち
量子化ステップ幅の相関のある部分と相関のない部分を
分離して処理すれば、フィードバック系をより安定化さ
せる効果も得られる。

【００５９】また、蓄積系への応用に際しては、まず１
回目の符号化において入力画像信号のシーケンス全体に
わたってはフレーム単位あるいは領域単位の発生符号量
を収集し、この発生符号量に基づいて入力画像信号のシ
ーケンス全体にわたる最適な発生符号量の配分をフレー
ム単位またはマクロブロック単位などの領域単位に施し
た後、予め蓄積メディアに蓄積しておいた同じ入力画像
信号のシーケンス全体または一部について２回目の符号
化を行うことによって、高能率かつ高画質な動画像符号
化を実現することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像符号化装
置の構成を示す図

【図２】本発明で用いる発生符号量収集回路の一構成例
を示すブロック図

【図３】本発明で用いる発生符号量収集回路の他の構成
例を示すブロック図

【図４】本発明で用いるレート制御回路の構成例を示す
ブロック図

【図５】発生符号量と量子化ステップ幅の関係の例を示
す図

【図６】ＭＰＥＧビデオ符号化の階層構造を示す図

【図７】２次元ＤＣＴ係数のジグザグスキャン順を示す
図

【図８】本発明の第２の実施形態に係る動画像符号化装
置の構成を示すブロック図

【図９】同実施形態における蓄積系用２パス符号化手順
の例を示す図

【図１０】同実施形態における符号量配分の例を示す図

【図１１】本発明の第３の実施形態に係る動画像符号化
装置の構成を示すブロック図

【図１２】同実施形態における符号量配分の例を示す図

【図１３】従来の動が画像符号化装置で用いられるフィ
ードバックレート制御回路の例を示すブロック図

【符号の説明】

１０，５０…入力動画像信号１１，５１…リオーダリングバッファ１３，５３…動き検出回路１７，５７…ＤＣＴ（離散コサイン変換）回路１９，５９…量子化回路２１，６１…可変長符号化回路２２，６２…直交変換係数可変長符号化データ２３，６３…動きベクトル及び動き補償モード情報２４，６４…発生符号量収集回路（統計データ収集回
路）２６，６６…レート制御回路２８，６８…文法生成及びデータ多重化回路３０，７０…送信バッファ３１，７１…符号化データ３２，７２…逆量子化回路３４，７４…逆ＤＣＴ回路３８，７８…参照画像メモリ４０，８０…動き補償回路９０…データメモリ９２…ハードディスク装置１１２…積分器１１４…量子化ステップ幅修正回路１１６…符号化器１１８…量子化ステップ幅初期値計算回路１３０…アクティビティ検出回路１５０，１９０…ＤＣＴ係数の可変長符号発生符号量１５０，１９１…動きベクトル及びモード情報を含むデ
ータの発生符号量１５２，１９２，１９５，１９６…セレクタ１５３，１５４，１９７〜２００…マクロブロック単位
の符号量累積加算用の積分器１５７，１５８，２０５〜２０８…フレーム単位の符号
量累積加算積分器１７０…フレーム目標符号量１７１〜１７４，１７７，１７８…乗算器１７５，１７６…積分器１８３…初期量子化ステップ幅算出器１７９…符号化装置

Claims

【特許請求の範囲】

【請求項１】入力される動画像信号について動き補償予
測を行って予測残差信号を生成する動き補償予測手段
と、前記予測残差信号を直交変換して直交変換係数を得る直
交変換手段と、前記直交変換係数を量子化する量子化手段と、この量子化手段により量子化された直交変換係数を可変
長符号に変換する可変長符号化手段と、前記可変長符号と前記動き補償予測手段により検出され
た動きベクトル情報および符号化モード情報を含む付加
情報とを出力符号とする符号出力手段と、前記出力符号の発生符号量を前記可変長符号の少なくと
も一部の符号量を含む第１の発生符号量と少なくとも前
記付加情報の符号量を含む第２の発生符号量とに分離し
て収集する発生符号量収集手段とを有することを特徴と
する動画像符号化装置。
【請求項２】入力される動画像信号について動き補償予
測を行って予測残差信号を生成する動き補償予測手段
と、前記予測残差信号を直交変換して直交変換係数を得る直
交変換手段と、前記直交変換係数を量子化する量子化手段と、この量子化手段により量子化された直交変換係数を可変
長符号に変換する可変長符号化手段と、前記可変長符号と前記動き補償予測手段により検出され
た動きベクトル情報および符号化モード情報を含む付加
情報とを出力符号とする符号出力手段と、前記出力符号の発生符号量を前記可変長符号の少なくと
も一部の符号量を含む第１の発生符号量と少なくとも前
記付加情報の符号量を含む第２の発生符号量とに分離し
て収集する発生符号量収集手段と、この発生符号量収集手段により収集された発生符号量に
基づいて少なくとも前記量子化手段における量子化ステ
ップ幅を制御することにより前記出力符号の発生符号量
を制御する符号量制御手段とを有することを特徴とする
動画像符号化装置。
【請求項３】前記符号量制御手段は、前記第１の発生符
号量とその目標符号量との誤差および前記第２の発生符
号量とその目標符号量との誤差の重み付け加算値を用い
て前記量子化ステップ幅を制御することを特徴とする請
求項３に記載の動画像符号化装置。
【請求項４】入力される動画像信号について動き補償予
測を行って予測残差信号を生成する動き補償予測手段
と、前記予測残差信号を直交変換して直交変換係数を得る直
交変換手段と、前記直交変換係数を量子化する量子化手段と、この量子化手段により量子化された直交変換係数を可変
長符号に変換する可変長符号化手段と、前記可変長符号と前記動き補償予測手段により検出され
た動きベクトル情報および符号化モード情報を含む付加
情報とを出力符号とする符号出力手段と、前記出力符号の発生符号量を前記可変長符号の少なくと
も一部の符号量を含む第１の発生符号量と少なくとも前
記付加情報の符号量を含む第２の発生符号量とに分離し
て収集する発生符号量収集手段と、この発生符号量収集手段により収集された発生符号量に
基づいて前記入力画像信号のシーケンス全体にわたる発
生符号量の配分をフレーム単位または所定の領域単位に
行う符号量配分手段とを有し、前記符号量配分手段により配分された符号量に基づいて
前記入力画像信号のシーケンス全体の再符号化を行うこ
とを特徴とする動画像符号化装置。
【請求項５】前記発生符号量収集手段は、前記直交変換
係数の交流成分に対応する発生符号量を第１の発生符号
量として収集し、前記直交変換係数の直流成分に対応す
る発生符号量を第２の発生符号量に含めて収集すること
を特徴とする請求項１、２または４に記載の動画像符号
化装置。
【請求項６】前記発生符号量収集手段は、フレーム内符
号化ブロックの前記直交変換係数に対応する発生符号量
と、フレーム間符号化ブロックの前記直交変換係数に対
応する発生符号量とをそれぞれ独立に収集することを特
徴とする請求項１、２、４または５に記載の動画像符号
化装置。