JPH0888854A

JPH0888854A - 動画像符号化方式

Info

Publication number: JPH0888854A
Application number: JP6224545A
Authority: JP
Inventors: Kazuhiro Nakamura; 和弘中村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-09-20
Filing date: 1994-09-20
Publication date: 1996-04-02

Abstract

(57)【要約】【目的】信号を乱すことなく圧縮符号の入れ換え等の編
集操作が容易にできるようになる。【構成】複数の画像から構成される画像信号において過
去及び未来の画像より参照画像を得、その動きベクトル
を検出し、動き補償を施すことにより所要信号レートを
圧縮する符号化方式において、過去画像からの参照をお
およそ定期的（＝ａ）に禁止するもので、ＧＯＰ計測器
２５０がモード制御器２３０を制御することにより実現
している。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、動画像信号を圧縮／
符号化する装置に関し、特に圧縮符号化された信号の編
集を可能とする動画像符号化方式に関する。

【０００２】

【従来の技術】近年、情報源のもつ冗長度を取り除くこ
とにより、所要信号レートを低くする高効率圧縮／符号
化方式が実用化されつつある。この代表例として動画像
信号に対し、ＤＣＴ等の直交変換により空間的冗長度を
取り除き、さらに、動き検出／動き補償を施し、時間的
冗長度を削減する、いわゆるハイブリット符号化方式が
ある。

【０００３】図８にハイブリット符号化装置の構成例を
示す。入力端子１００には、動画像信号が入力される。
前処理回路１１０において、フィルタリングやノイズリ
デュース等の処理を受けた原画像信号は、減算器１２０
及び動き検出器２２０に入力される。また前処理回路１
１０では、後述する量子化器１４０における量子化ステ
ップを決めるための原画像の複雑さを検出するアクティ
ビティ検出を行なう。さらに前処理回路１１０では、原
画像信号の走査線順序を例えば水平８画素、垂直８画素
（８×８画素）ブロック単位（ＤＣＴ処理ブロック単位
でもある）の走査（ブロック走査）に変換して出力す
る。

【０００４】ここでハイブリット符号化装置における符
号化モードについて簡単に述べる。まずスイッチ２１０
及び２００が開状態にあるモードであり、このモードで
は、減算器１２０の出力信号は、入力信号と等しくなり
ＤＣＴ器１３０に入力される。ＤＣＴ器１３０では、前
記ブロックに対し、ＤＣＴ処理（ＤｉｓｃｒｅｔＣｏ
ｓｉｎｅＴｒａｎｓｆｏｒｍ）を行なう。ＤＣＴ処理
により、ブロックを形成する水平８サンプル／垂直８ラ
インから成る空間的な領域が周波数領域へ変換される。
ここで画像信号の一般的性質として、ブロック内にラン
ダムに配置されていたサンプル値信号は、ＤＣＴ処理に
よりある特定の周波数領域に集中することが知られてい
る。量子化器１４０ではこの性質を利用し、ＤＣＴ器１
３０の出力信号の内で微少な成分を切り捨て、また、切
り捨ての行なわれない信号成分についても、離散的数値
へ変換する（ここで離散化の度合は、前記アクティビテ
ィ信号と後述する発生符号量の制約から適応的に決定さ
れている）。

【０００５】従ってＤＣＴ処理と量子化処理によりこの
ブロック領域を表現するのに必要となる信号数を削減で
きることになる。この様に、入力原画像の信号に対し、
その画像内の空間的性質のみを利用して、圧縮を行なう
モードをイントラ（ｉｎｔｒａ）符号化モードと言う。

【０００６】次に、スイッチ２２０及び２３０を閉じた
符号化モードの動作について説明する。これらのスイッ
チ２２０及び２３０はモード制御器２３０により制御さ
れ閉じられたとする。すると量子化器１４０の出力であ
る、例えばイントラ符号化された原画像信号は、逆量子
化器１５０及びＤＣＴ^-1器１６０（逆ＤＣＴ処理）によ
り空間領域の信号に復号化される。（もちろん、復号化
された画像は量子化器１４０において非可逆な処理を施
されているので、原画像には等しくない）。遅延器１８
０において、おおよそ１画面を構成する時間に相当する
信号遅延が行なわれ、その出力信号は動き補償器１９０
及び動き検出器２２０に供給される。

【０００７】動き検出器２２０では、前記遅延器１８０
からの復号化画像信号と、前処理回路１１０からの原画
像信号を比較し、例えばブロックごとに動きベクトル値
を検出する。すなわち、静止領域に配置されているブロ
ックに対する動きベクトル値は零となり、動きのある領
域に配置されたブロックについては、動きの方向とその
距離に相当する動きベクトル値が検出される。動き検出
器２２０の出力信号である動きベクトル値は、モード制
御器２３０を介して、動き補償器１９０に入力される。
動き補償器１９０では、動きベクトル値に応じて、その
ブロック領域を移動させる。

【０００８】この動き補償された信号は、スイッチ２１
０を経て減算器１２０に入力され、またスイッチ２００
を経て加算器１７０に入力される。減算器１２０におい
ては、原画像信号と動き補償された復号画像信号の減算
が行なわれる。従ってこの減算器１２０の出力信号は、
動き補償が不十分であったブロックに相当する領域のみ
について、その差分信号が得られることになり、大部分
の領域については零の出力となる。一方、加算器１７０
においてはこの逆の処理が行なわれており、動き補償信
号に対し、その差分信号が加算されているので、加算器
１７０の出力は、原画像に近い復号画像信号が得られる
ことになる。また、減算器１２０の差分信号自体にも空
間的冗長度が含まれていると予想されるので、イントラ
符号化モードと同様のＤＣＴ処理と量子化が行なわれ
る。

【０００９】この様に、スイッチ２００及び２１０が閉
じた状態では過去の画像信号との相関性を利用し、時間
的冗長度も削減できる符号化モードでありこれをインタ
ー（ｉｎｔｅｒ）符号化モードと言う。

【００１０】以上述べたハイブリット符号化方式を基に
した動画像符号化方式として、ＭＰＥＧ（Moving Pictu
re Image Coding Experts Group ）方式が提案されてお
り、このＭＰＥＧ方式につき説明する。

【００１１】図８におけるハイブリット符号化方式にお
いては、インター符号化モードは過去の画像との相関性
を利用した符号化が行なわれている。つまり一度圧縮符
号化した情報を復号して、復号画像と入力画像との間で
動きベクトルを検出し、この動きベクトルに基づいて復
号画像の動き補償を行い予測画像信号を作成している。
そして、入力画像信号と予測画像信号との差分を得て圧
縮を行っている。これに対して、ＭＰＥＧにおいては未
来の画像との相関性も利用される。従って、ＭＰＥＧで
は画像内の空間的冗長度のみを利用するイントラ符号化
モード（これをＩ−Ｐｉｃｔｕｒｅ）と、過去の画像と
の時間的冗長度も合わせて利用するインター符号化モー
ド（これをＰ−ＰｉｃｔｕｒｅＰｒｅｄｉｃｔｉｖｅ
−Ｐｉｃｔｕｒｅと言う）と、過去及び未来の画像との
時間的冗長度も合わせて利用するモード（これをＢ−Ｐ
ｉｃｔｕｒｅＢｉｄｉｒｅｃｔｉｏｎａｌｌｙ−Ｐｒ
ｅｄｉｃｔｉｖｅ）がある。

【００１２】図９（Ａ）にはＭＰＥＧ方式で行なわれて
いる各Ｐｉｃｔｕｒｅの配列順の一例を示す。Ｉｘｘは
Ｉ−Ｐｉｃｔｕｒｅ、ＰｘｘはＰ−Ｐｉｃｔｕｒｅ、Ｂ
ｘｘはＢ−Ｐｉｃｔｕｒｅを示しており、この例では、
ＩあるいはＰピクチャ間に２枚のＢが挿入され、１０枚
（フレーム）ごとにＩピクチャを挿入している。

【００１３】Ｂピクチャでは、未来の画像との時間的冗
長度の削減に利用されるために、原画像の入力順と、符
号化される画像の順とは異なってくる。すなわち、図９
（Ｂ）に示す様に、Ｂ2 やＢ3 についてはＩ1 とＰ4 と
を用いた時間的冗長度の探索が行なわれる。（Ｂ2 やＢ
3 に対し、Ｉ1 とＰ4 は過去及び未来の参照画像と呼ば
れる）。従って、Ｂ2 やＢ3 の符号化に先だってＰ4 の
符号化が行なわれる必要があり、図９（Ａ）に示す様
に、符号化順は、原画像順とは異なり、Ｉ1 、Ｐ4 の符
号化がＢ2 やＢ3 の符号化に先だって行われる。

【００１４】図９（Ａ）及び図９（Ｂ）においては、Ｐ
あるいはＢ−ピクチャにおいては画像全領域について、
動き補償が施されている様に記述されているが、実際に
は、前記ブロックをライン方向２個、垂直方向２個、合
計４個から成るマクロブロックを定義し、このマクロブ
ロックごとにイントラ符号化モード（Ｉ−マクロブロッ
ク）、過去の画像を参照とするＰ−マクロブロック、過
去及び未来の画像を参照とするＢ−マクロブロックを決
定している。

【００１５】ここでＩピクチャについてはＰ及びＢマク
ロブロックの使用は禁止されており、従ってすべてＩマ
クロブロックから構成されている。また、Ｐピクチャに
おいては、Ｉ及びＰマクロブロックが使用され、Ｂピク
チャにおいては、Ｉ，Ｐ，Ｂのマクロブロックが使用可
能となっている。例えば、Ｂピクチャにおいて、画像内
で動体が移動している場合を想定すると、移動物体によ
って隠されていた領域は、未来の画像からの参照が行な
われＢマクロブロックとなり、移動物体自体は過去から
の参照が可能となりＰマクロブロックとなる。

【００１６】また、移動物体と背景の双方が含まれるマ
クロブロックについては、動き補償が十分に行なえない
ので、Ｉマクロブロックが選択されることになる。この
様なマクロブロックの選択は、次の様な装置構成により
達成される。

【００１７】図８において、動き検出器２２０は、注目
するマクロブロックにつき過去の画像からの動きベクト
ル（以降順方向動きベクトルと称す）、未来の画像から
の動きベクトル（以降逆方向動きベクトルと称す）の２
つの動きベクトルを検出する。次に、順方向動きベクト
ルによる動き補償を行なった時の原画像と復号化画像の
差分値を検出する。同様に、逆方向動きベクトルのみに
よる動き補償を行なった時の原画像と復号化画像との差
分値、及び順逆双方向の動きベクトルによる動き補償を
行ったときの原画像と復号化画像との差分値を検出す
る。また、動きベクトルを使用しない、すなわち、原画
像のみを使用したときの原画像と復号化画像との差分値
に相当する信号も作成する。これら、２種の動きベクト
ル値（順方向、逆方向）と４種の差分値がモード制御器
２３０に入力される。

【００１８】モード制御器２３０では、Ｉピクチャにつ
いては、動きベクトル値等は使用できないので、動き補
償値＝０として、スイッチ２００及び２１０をオフする
信号を出力する。またＰピクチャについては、個々のマ
クロブロックについて、順方向動きベクトルによる差分
値と、動きベクトルを使用しない場合の差分値信号を比
較し、小さい方を選択し、この選択された方の動きベク
トル値を動き補償器１９０に出力する。同様に、Ｂピク
チャについては、４種の差分値すべてが比較され最も小
さい差分値となる方の動きベクトル値を出力する。

【００１９】以上の構成により、各ピクチャ単位で使用
可能なマクロブロックを組み合わせて、最も差分値が小
さくなる様なマクロブロックを選択できる。すなわち最
も圧縮効率が高くなることが期待されるマクロブロック
を適応的に選択したことになる。

【００２０】さて、上記ＭＰＥＧ方式に沿った動画像信
号の圧縮／符号化では、圧縮符号化された信号の単位と
して、ＧＯＰ（Ｇｒｏｕｐｏｆｐｉｃｔｕｒｅ）と
いう階層がある。ＧＯＰの内には必ず１個以上のＩピク
チャがある。Ｉピクチャは他の画像からの参照を必要と
しない符号化ピクチャであり、一方、ＰあるいはＢピク
チャは参照画像を必要とする。言い換えると、復号化の
開始をＩピクチャから行なう必要がある。（Ｐあるいは
Ｂピクチャから復号化を開始しても、差分画像信号なの
で十分な再生画像を得られない）。

【００２１】この様にＧＯＰという階層を設けることに
より、復号化を開始することが可能なシーケンスを復号
器において発見しやすいメリットがある。符号化装置に
おいて、符号信号の編集を行なう単位としてもＧＯＰは
必要である。すくなくともＧＯＰ単位で符号信号を切り
出したり、付加したり消去することにより、その一群の
符号内にはＩピクチャが１個以上あり他の画像はこのＩ
ピクチャをもとに作成されているからである。

【００２２】しかしながら、実際に符号信号において編
集を行なうには複数のＧＯＰを単位として行なう必要が
ある場合がある。例えば、ＧＯＰ１の最初のＢピクチャ
Ｂ8とＢ9 については前のＧＯＰの最後のＰピクチャＰ7
も参照画像として使用されている可能性がある（図９
（Ｂ）参照）。この様にＧＯＰの境目をまたぐかたちで
参照画像を作成するＧＯＰをＯＰＥＮＧＯＰと呼ぶ。
これに対して、Ｂ8 ，Ｂ9 についてＰ7 を参照しないよ
うな場合をＣＬＯＳＥＤＧＯＰと呼ぶ。一般的に、Ｏ
ＰＥＮＧＯＰは参照画像の選択枝が多いので高い圧縮
効率が期待できる。

【００２３】しかしながら、ＯＰＥＮＧＯＰによる符
号化を行なった場合、例えばＢ8 とＢ9 の処理において
Ｐ7 の参照を許し、ＧＯＰ２のＢ17，Ｂ18もＰ16の参照
を許す様に符号化を行なったとする。この符号信号に対
しＧＯＰ１について、再符号化を行ない、この再符号化
信号を元のＧＯＰ１と入れ換える様な操作を考えると、
次の様な手順が必要となる。

【００２４】まず、ＧＯＰ０から符号化を開始し、Ｉ1
からＰ7 については、もとの符号化とまったく同一の状
態で符号化を行なう（これはＧＯＰ０については符号信
号の入れ換えを行なわないので必須の動作となる）。こ
れによりＧＯＰ０の最後のＰ7 を再生することができ
る。このＰ7 を使用して、ＧＯＰ１の符号化を開始し、
ＧＯＰ１の符号化を行なう。最後にＧＯＰ２については
Ｐ16より参照されるＢ17及びＢ18についてのみ変更を許
すように符号化を行なう。

【００２５】以上の操作によりＧＯＰ１の再符号化が行
なわれ、符号化信号の入れ換えが可能になる（正確には
ＧＯＰ１に含まれるＢ8 からＧＯＰ２のＢ18までの入れ
換えを行なう必要がある）。ここでＧＯＰ０の符号化に
ついて考察すると、Ｉ1 からＰ7 については、もとの符
号化信号とまったく同一の信号を再び作成しなければな
らない。符号化装置に限定して、この実現性を検討した
場合、符号化に使用された量子化器における量子化パラ
メータ及び、各マクロブロックにおいて使用された動き
ベクトル値などを、前の符号化の時に使用されたものと
同一のものにする必要がある。これは、前の符号化にお
いてこれらの信号をすべて記憶しておくことにより可能
となる。一般にハイブリット符号化装置はディジタル回
路により実現されているので、前の符号化を再現するに
必要なる信号をすべて記憶し、再符号化時には、それら
の信号により符号化すればよいのである。これは装置の
故障がない限り、原理的には可能な操作である。しかし
ながら、この仮定で入力される原画像信号が前の符号化
時における画像信号と同一であるという条件がさらに必
要となる。符号化に必要となるパラメータ等の信号を同
一としても、２回の符号化で原画像信号が異なればＰ7
の再現は不可能となるからである。

【００２６】一般に、圧縮／符号化される以前の原画像
信号の情報量は膨大である。例えば、現行のテレビジョ
ン信号等で使用している画像信号は水平７２０サンプル
垂直４８０ラインで１フレームを構成し、フレームレー
トは１／３０秒である。１画素のサンプル値を８ｂｉｔ
で表現した場合の１秒間の情報量は、約８３Ｍビットと
なる。これは、一種の信号についてのみであり、カラー
画像の場合、３種の信号が必要となり、その形式によっ
て情報量は異なるが、例えば、色信号成分の信号帯域幅
を輝度信号のそれの半分にする、いわゆる４：２：２フ
ォーマットのカラー画像信号での情報量はおおよそ１６
０ＭＢ／Ｓとなる。この様に膨大な情報を長時間記録蓄
積できる装置として現在実現されているものとしては、
磁気テープを使用したディジタルＶＴＲ（ＶＣＲ）があ
る。しかしながら、これら磁気記録された信号の再生は
通常誤りが混在している。（もちろん、半導体メモリ等
のノイズフリーの記録／蓄積装置も可能であるが長時間
の原動画信号を取扱うのは現時点では非現実的であ
る）。

【００２７】従って前記仮定である２回の符号化で原画
像がまったく同一であるという仮定が成り立たなくな
る。すなわちＯＰＥＮ−ＧＯＰで符号化された信号に対
し、再符号化し、その一部を入れ換える様な編集操作が
実現できなくなる。

【００２８】ここで、上記の様な一部を入れ換える編集
操作の必要性について触れておく。ハイブリット符号化
方式では符号化した信号の情報量（発生符号量）につい
て制約がある。これはそれら圧縮符号が伝送あるいは蓄
積されるチャネルの信号帯域幅が決められており、従っ
て、発生符号量もこれに合致する帯域にする必要があ
る。

【００２９】一方、原画像信号の複雑さは刻々と変化す
るものでありこの変化に対し、発生符号量を制御する方
法としては、量子化器１４０における離散化ステップサ
イズ（量子化サイズ）や、モード制御器２３０における
符号化モードの選択アルゴリズムの変更等がある。

【００３０】これらのパラメータの制御方法について
は、一般化されたアルゴリズムがある訳ではなく、ま
た、この制御方法により復号画像信号の品質が大きく左
右される（これは例えば量子化の処理を考えた場合、こ
の非可逆な処理により、原画像と復号画像の距離の度合
が決定されることより理解できる）。従って、現時点で
は原画像信号に対し、上記パラメータを変更して、複数
回の符号化を行ない、もっとも復号画像品質のよいもの
を選ぶ必要がある。

【００３１】

【発明が解決しようとする課題】従来例に見られるハイ
ブリット符号化方式では、圧縮符号に対しその一部を再
符号化したものと取り替える様な編集操作ができなかっ
た。もちろん、すべてのＧＯＰをＣＬＯＳＥＤ−ＧＯＰ
にすることにより可能であるが、このモードでは十分な
圧縮効率が期待できない。そこでこの発明の目的は、圧
縮効率を比較的高く保ちつつ上記編集操作を可能とする
動画像符号化方式を提供するところにある。

【００３２】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、定期的にＣＬＯＳＥＤ−ＧＯＰを発生
するハイブリット符号化装置を実現しており、符号化の
モード制御部において、外部あるいは内部より指示され
たＧＯＰ選択信号により、そのＧＯＰをＣＬＯＳＥＤ−
ＧＯＰとする様に符号化モードを選択するものである。

【００３３】

【作用】上記の手段により、ＧＯＰ単位での一部入れ替
えが容易となり編集に好都合な信号を得ることができ
る。

【００３４】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図１には本発明の第１の実施例を示す。従来構成
におけるハイブリット符号化装置と同一の機能を有する
ユニットについては同一の番号を付し、その機能説明を
割愛する。

【００３５】図１においては、従来構成に対し、ＧＯＰ
計測器２５０が追加されている。ＧＯＰ計測器２５０
は、モード制御器２３０よりＧＯＰの境界を示す信号を
信号線２５ｂを介して受けとる。この信号によりＧＯＰ
計測器２５０内部においてある初期値（＝ａ）からＧＯ
Ｐの境界がカウントダウンされ、境界数がａ回入力され
るとカウント値は零となり、信号線２５０ａを介してモ
ード制御器２３０にＣＬＯＳＥＤ−ＧＯＰ指示信号が入
力されることになる。

【００３６】モード制御器２３０においては、ＣＬＯＳ
ＥＤ−ＧＯＰ指示信号を受けると、ＧＯＰ先頭の２枚の
Ｂピクチャに対し、その参照画像が次に来るＩピクチャ
に限定される様に逆方向動ベクトルの選択を禁止する。
この動作により、前ＧＯＰからの参照がないＣＬＯＳＥ
Ｄ−ＧＯＰが形成されることになる。

【００３７】図７にはＧＯＰ１をＣＬＯＳＥＤ−ＧＯＰ
にした参照画像の関係図を示してある。従来例でも述べ
た様に、ＣＬＯＳＥＤ−ＧＯＰの選択により、圧縮効率
の低下が予想される。従って、ＧＯＰ計測器２５０に与
える初期値ａは比較的大きく設定されている。通常１Ｇ
ＯＰを構成するピクチャ数は１０〜３０フレーム程度に
設定されている。これは従来例で示したＧＯＰの復号化
装置での役割により決定されたものである。すなわち、
復号化装置では電源投入やチャンネルの変更等により復
号化する信号を切り換えた場合に、正常な画像を再生す
る単位としてＧＯＰを基準にする。従って１ＧＯＰを構
成するピクチャ数を多くすると、正常画像を得るまでに
長い時間を要することになる。一方１ＧＯＰ構成ピクチ
ャ数を少なくすると正常画像を得るまでの時間は短くな
るが、他の参照画像を必要としないＩピクチャの発生頻
度が増すことになる。

【００３８】ハイブリット符号化装置は、動画像信号の
もつ時間的冗長性を利用して、圧縮効率を上げているの
でこのＩピクチャ頻度の増大は効率の低下を意味するこ
とになる。

【００３９】上記の観点から、１ＧＯＰを構成するピク
チャ数としては１０〜３０フレームすなわちある程度Ｉ
ピクチャの頻度を減らしかつ再生画像が違和感なく得ら
れる時間として設定されている。

【００４０】上記ピクチャ数による１ＧＯＰの再生時間
は１／３秒〜１秒程度になる。また、原動画像を作成す
る単位としては、シーンという考え方で作成されてい
る。すなわち、一連の関連ある画像により、１つのシー
ンを構成し、これらのシーンを組み合わせて１つのプロ
グラムが作成されている。ここで１シーンの長さはプロ
グラム作成者により決められるものであるが、経験的に
は３０秒程度が一般的である。またシーンにより画像の
複雑さが変化することが予想され、従って、再符号化に
よる圧縮符号信号のつけかえ等の編集操作もこのシーン
を単位とするのが妥当である。

【００４１】以上のことよりＧＯＰ計測器２５０におけ
る初期値ａの設定値は３０秒程度に１回ＣＬＯＳＥＤ−
ＧＯＰが発生する様な値になっている。１ＧＯＰ＝３０
ピクチャ＝１秒とすればａ＝３０にすることにより３０
秒に１回の割においてＣＬＯＳＥＤ−ＧＯＰが発生す
る。

【００４２】さてＣＬＯＳＥＤ−ＧＯＰにより区切られ
た一連のＧＯＰは前ＧＯＰからの参照も、後述するＧＯ
Ｐからの参照も受けていないため従来例に見られる２回
の符号化においてまったく同一の原画像信号が供給され
なければならないという制約が無くなり従って上記編集
操作が可能になる。なお上述の動作では、ＣＬＯＳＥＤ
−ＧＯＰの設定は正確にａ毎に行われるが、これをほぼ
定期的な期間（略ａ）毎に設定するようにしてもかまわ
ない。

【００４３】図２には、本発明の第２の実施例を示す。
図１に示した第１の実施例に対し、参照マクロブロック
計測器２６０が追加されている。

【００４４】ここでモード制御器２３０について再度説
明することにする。まず、動き検出器２２０は、注目す
るマクロブロックにつき過去の画像からの動きベクトル
（以降順方向動きベクトルと称す）、未来の画像からの
動きベクトル（以降逆方向動きベクトルと称す）の２つ
の動きベクトルを検出する。次に、順方向動きベクトル
による動き補償を行なった時の原画像と復号化画像の差
分値を検出する。同様に、逆方向動きベクトルのみによ
る動き補償を行なった時の原画像と復号化画像との差分
値、及び順逆双方向の動きベクトルによる動き補償を行
ったときの原画像と復号化画像との差分値を検出する。
また、動きベクトルを使用しない、すなわち、原画像の
みを使用したときの原画像と復号化画像との差分値に相
当する信号も作成する。これら、２種の動きベクトル値
（順方向、逆方向）と４種の差分値がモード制御器２３
０に入力される。

【００４５】モード制御器２３０では、Ｉピクチャにつ
いては、動きベクトル値等は使用できないので、動き補
償値＝０として、スイッチ２００及び２１０をオフする
信号を出力する。またＰピクチャについては、個々のマ
クロブロックについて、順方向動きベクトルによる差分
値と、動きベクトルを使用しない場合の差分値信号を比
較し、小さい方を選択し、この選択された方の動きベク
トル値を動き補償器１９０に出力する。同様に、Ｂピク
チャについては、４種の差分値すべてが比較され最も小
さい差分値となる方の動きベクトル値を出力する。

【００４６】これにより、各ピクチャ単位で使用可能な
マクロブロックを組み合わせて、最も差分値が小さくな
る様なマクロブロックを選択できる。すなわち最も圧縮
効率が高くなることが期待されるマクロブロックを適応
的に選択できることになる。

【００４７】ここで参照マクロブロック計測器２６０に
対しては、モード制御器２３０よりＧＯＰ境界を示す信
号と、各マクロブロックに対し、上記した動き補償後の
差分値及びそれに使用された動きベクトルが信号線２６
０ａにより供給されている。参照マクロブロック計測器
２６０では、ＧＯＰ先頭の２つのＢピクチャに対し、順
方向動きベクトルを採用したマクロブロック数を計測す
る。１画像単位で計測が行われる。順方向動きベクトル
を使用するマクロブロック数が少ないということは、前
のＧＯＰの最後の画像との相関性が低いということであ
る。

【００４８】よって、このマクロブロック数がある設定
値（＝ｂ）より小なる場合には順方向動きベクトルの選
択を禁止する信号を信号線２６０ｂを通してモード制御
器２３０に供給する。つまり、過去の参照画像と復号画
像との間で検出した動きベクトルの採用に関しては止め
るということである。言い換えると過去の参照画像の参
照を止めて、他の参照画像による動き補償を行うという
ことである。

【００４９】上記のマクロブロック計測を行うことによ
り方式は、ある程度順方向動きベクトルの選択が少ない
ＧＯＰ境界に対しＣＬＯＳＥＤ−ＧＯＰを選択する機能
があるので、図１に示した定期的なＣＬＯＳＥＤ−ＧＯ
Ｐの挿入よりも圧縮効率低下の度合が少ないと期待でき
る。もちろん順方向動きベクトル禁止信号は、信号線２
６０ｂを介してＧＯＰ計測器２５０にも同時に入力され
ており、ＧＯＰ計測器２５０ではこの信号の入力によ
り、カウンタを初期値ａにもどす。

【００５０】従って、参照マクロブロック計測器２６０
による順方向動きベクトル禁止信号が得られ、次の順方
向動きベクトル禁止信号が得られるまでの時間が初期設
定値ａに相当する時間より長い場合には、自動的にＣＬ
ＯＳＥＤ−ＧＯＰが挿入されることになる。

【００５１】図３には、さらに本発明の第３の実施例が
示されている。図１の実施例に対し、シーンチェンジ検
出器２７０が付加されている。上記の様に、１シーンの
長さは経験的に３０秒程度であるが、この長さは原画像
信号によりばらつくものである。通常、シーンが変わる
と画像内容が大幅に変化する。従って、シーンチェンジ
検出器２７０では入力画像とそれを遅延器２７１で１フ
レーム（あるいは１フィールド）遅延した信号とを減算
器２７２に入力して減算処理を行うことによりシーンチ
ェンジを検出することができる。減算器２７２の出力
は、平均化器２７３に入力され、この平均化器２７３で
は、検出されたシーンチェンジの長さを計測しその平均
値を出力するものである。シーンチェンジ検出器２７０
により検出された入力画像の平均的シーン長（＝ｃ）が
ＧＯＰ計測器２５０に入力されており、このｃを初期設
定値ａにおきかえることにより、画像信号に応じて最適
な初期値を設定することができる。

【００５２】図４は、本発明の第４の実施例を示す。図
１の実施例に対し、アクティビティ適応初期値器２８０
が追加されている。従来例で述べた様に、前処理回路１
１０には、量子化器１４０での量子化ステップ・サイズ
を決定するパラメータとして、画像信号の複雑さを検出
するアクティビティ検出器１１２がある。この検出され
たアクティビティはおおきいほど画像信号の複雑さの度
合が大きいことを示している。もともと発生符号量には
制約があるので量子化器１４０ではアクティビティが大
きいほど量子化ステップサイズを大きくし、すなわち離
散化の度合を大きくし、発生符号量を少なくする操作を
行なっている。

【００５３】さて、アクティビティ適応初期値器２８０
では、まず画面ごとに検出されたアクティビティの平均
化を平均化器２８１で行ないその平均値を非線形変換器
２８２により非線形変換し、ＧＯＰ計測器２５０の初期
値ａをｄに変更する。非線形変換器２８２の変換特性の
一例を図６（Ａ）に示している。これにより平均化アク
ティビティが小さい、すなわち画像の複雑さの度合が小
さいときにはＧＯＰ計測初期値を大きく設定する機能が
得られる。これはもともとアクティビティが小さい時に
は、符号化が比較的容易であり従って、再符号化の要求
が少ないと予想されるからである。アクティビティの増
加によりＧＯＰ計測初期値は小さくなる。これはアクテ
ィビティの増大により再符号化し、圧縮符号の入れ換え
要求の頻度が増加することが予想されるからである。さ
らにアクティビティが増大すると、初期値設定値は逆に
大きくなる。これはアクティビティの増大により、符号
化の難易度が高く、ＣＬＯＳＥＤ−ＧＯＰによる圧縮効
率の低下を極力さけるためである。この領域では最も再
符号化の要求が高いと予想されるが、もともと符号化難
易度が高いので圧縮効率を優先するようにＣＬＯＳＥＤ
−ＧＯＰを挿入するようなアルゴリズムを採用してい
る。これは再符号化の単位が長くなることを意味する
が、符号化難易度の高い領域では再符号化単位を長くす
ることにより、変更可能な符号量を多くしパラメータ変
更の自由度を高くすることができる。

【００５４】図５に本発明の第５の実施例を示す。図１
の実施例に対しアクティビティ変換器２９０が追加され
ている。前述の様にＣＬＯＳＥＤ−ＧＯＰにより圧縮効
率の低下が予想される。本実施例ではＧＯＰ計測器２５
０よりＧＯＰ計測カウンタの値がアクティビティ計測器
２９０に入力されており、例えば図６（Ｂ）に特性で示
す様に、ＧＯＰの計測値によりアクティビティ値を変更
して量子化器１４０に入力するようにしている。

【００５５】例えば図６（Ｂ）の（ａ）に示す様に、Ｇ
ＯＰ計測値の大きい時すなわち、ＣＬＯＳＥＤ−ＧＯＰ
を発生してからの経過時間が短い時には、入力アクティ
ビティに対する出力アクティビティへ変換が小さく行な
われ、すなわち量子化器１４０における量子化ステップ
サイズを小さくし、発生符号量を大きくしカウント値の
減少にともない、入力対出力アクティビティの変換を大
きくすることにより発生符号量が小さくなる様な制御を
行なう。

【００５６】この様な操作によると、ＣＬＯＳＥＤ−Ｇ
ＯＰによって発生することが予想される極小的な圧縮効
率の低下を補うためＣＬＯＳＥＤ−ＧＯＰの発生以来よ
りあらかじめ発生符号量を抑え、その抑えられた符号量
をＣＬＯＳＥＤ−ＧＯＰに相当な領域に振り分けること
により、圧縮効率の低下による画像品質の劣化を軽減す
ることができる。すなわちＣＬＯＳＥＤ−ＧＯＰによる
圧縮効率の低下分をあらかじめ発生符号量を抑えること
により補うものである。

【００５７】また変換特性として、図６（Ｂ）の（ｂ）
の様に、ＣＬＯＳＥＤ−ＧＯＰが近づくと発生符号量を
抑える操作を開始するようにしても効果が期待できる。
以上のように、ＣＬＯＳＥＤ−ＧＯＰをすくなくとも定
期的に挿入することにより圧縮符号の編集が可能になる
という本発明の主旨を逸脱しない範囲であれば種々の応
用例がある。

【００５８】なおＧＯＰの先頭には、ヘッダー情報が付
加されるもので、このヘッダー情報内にＣＬＯＳＥＤ−
ＧＯＰ、ＯＰＥＮ−ＧＯＰの識別情報が挿入されてい
る。したがって編集処理においてはこの識別情報を参照
してＧＯＰの抽出等を行うようにすれば良い。

【００５９】

【発明の効果】本発明では、複数回の符号化において入
力画像信号が異なるものであっても、圧縮符号の入れ換
え等の編集操作を容易にすることが可能になった。

【図面の簡単な説明】

【図１】この発明の第１の実施例を示す図。

【図２】この発明の第２の実施例を示す図。

【図３】この発明の第３の実施例を示す図。

【図４】この発明の第４の実施例を示す図。

【図５】この発明の第５の実施例を示す図。

【図６】この発明の実施例で用いられたアクティビティ
変換特性の例を示す図。

【図７】この発明の装置の動作例を説明するために示し
た図。

【図８】ハイブリット符号化装置の基本構成を示す図。

【図９】ＭＰＥＧ方式における画像処理手順の例を示す
図。

【符号の説明】１１０…前処理回路、１２０…減算器、１３０…ＤＣＴ
器、１４０…量子化器、１５０…逆量子化器、１６０…
ＤＣＴ^-1器、１７０…加算器、１８０…遅延器、１９０
…動き補償器、２００、２１０…スイッチ、２２０…動
き検出器、２３０…モード制御器、２４０…符号化器、
２５０…ＧＯＰ計測器、２６０…参照マクロブロック計
測器、２７０…シーンチェンジ検出器、２８０…アクテ
ィビティ適応初期値器、２９０…アクティビティ変換
器。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/133 Ｚ

Claims

【特許請求の範囲】

【請求項１】原画像の配列では時間的に順次配列されて
る画像信号を、符号化圧縮処理時には、一定の割合で入
れ替えて入力画像信号を作成し、過去及び未来の参照画
像信号を用いて、画像動きベクトルを検出し、検出した
動きベクトルに基づいて、一度圧縮処理を施した画像の
復号画像信号から予測画像信号を作成し、前記入力画像
信号と予測画像信号との差分信号を得ることにより圧縮
処理を行う画像符号化方式において、前記した過去の参照画像信号を用いることをほぼ定期的
な期間（略ａ）毎に一時禁止することを特徴とする動画
像符号化方式。
【請求項２】前記入力画像信号と予測画像信号との差分
信号を得ることにより圧縮処理を行う方式は、１枚の画
像を複数の小領域に分割し、この領域毎に圧縮処理を行
う動画像符号化方式であり、前記小領域の参照画像として前記過去の画像信号からの
参照画像を用いる領域の個数を検出する手段をもち、検
出結果がある自然数ｘより小なる場合には、過去の参照
画像信号による予測画像信号を用いるのを禁止する手段
を合わせ持つことを特徴とする請求項１記載の動画像符
号化方式。
【請求項３】原画像信号と過去画像信号の差分演算等に
よりシーンチェンジを計測し、このシーンチェンジの時
間間隔の平均値を算出する手段をもち、この算出結果
を、前記定期的な期間（略ａ）として設定する設定手段
をもつことを特徴とする第１項記載の動画像符号化方
式。
【請求項４】前記定期的な期間（略ａ）を設定する設定
手段は、画像成分等により画像の複雑さを検出するアク
ティビティ検出手段と、この検出手段の出力のアクティ
ビティ平均化手段をもち、平均化されたアクテイビティ
の度合により上記定期的な期間（略ａ）を算出して設定
することを特徴とする請求項１記載の動画像符号化方
式。
【請求項５】前記平均化されたアクティビティより前記
定期的な期間（略ａ）を算出する手段は、前記平均化さ
れたアクティビティの小なる領域ではａを大きく算出
し、前記平均化されたアクティビティの増加に伴ないａ
を小さく算出し、さらに前記平均化されたアクティビテ
ィが増加すれば、ａの値が再び増加させる算出であるこ
とを特徴とする請求項４項記載の動画像符号化方式。
【請求項６】前記アクティビティ検出手段の検出結果に
応じて、圧縮後の情報に応じて発生する発生符号量を制
御する経路を有し、前記定期的な期間毎の禁止に先だっ
て、前記経路は、前記発生符号量をあらかじめ小さくす
る様に、前記アクティビティ検出結果を変換する手段を
もつことを特徴とする請求項４記載の動画像符号化方
式。