JPH07203456A

JPH07203456A - 符号化装置と復号化装置と映像記録装置

Info

Publication number: JPH07203456A
Application number: JP33777793A
Authority: JP
Inventors: Yasuhiko Yamane; 靖彦山根
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-12-28
Filing date: 1993-12-28
Publication date: 1995-08-04

Abstract

(57)【要約】【目的】符号化による著しい画質劣化を抑えることが
できる、符号化装置を提供する。【構成】量子化ステップの上限値を設定する量子化ス
テップ上限値設定部109と、前記設定された量子化ステ
ップ上限値と、送信バッファ中の未送信符号量により量
子化ステップを算出する量子化部106とを有し、送信バ
ッファがオーバーフローする場合、次の処理フレームを
間引くように制御する。【効果】設定された量子化ステップの上限値以下に、
量子化ステップを抑えることで、空間上の画質劣化を抑
えることができるとともに、送信バッファがオーバーフ
ローする場合は、次の処理フレームを間引くことでバッ
ファのオーバーフローを回避することができ、視覚特性
上劣化の目だつ空間上の劣化を抑えた符号化装置を実現
できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像符号化記録再生
装置に好適な動画像符号化を行なう符号化装置と復号化
装置、およびその符号化方式を適用した映像記録装置に
関する。

【０００２】

【従来の技術】動画像の符号化方式として、時間軸方向
の相関を利用して圧縮する方法が知られている。符号化
方法としては、フレーム内、およびフレーム間の相関を
利用する方法である。フレーム間相関を利用する符号化
はフレーム内符号化に比べ、一般に圧縮率を高めること
ができるが、エラー等が発生した場合、時間軸方向に伝
搬するため、所定周期でフレーム内符号化を行うリフレ
ッシュが必要となる。

【０００３】図２に時間軸方向の相関を利用して動画を
圧縮する方式における、予測フレームと処理対象フレー
ムの関係を示す。図２において、Ｉはフレーム内符号化
処理フレーム、Ｐは以前のフレームを予測フレームとす
るフレーム間符号化処理フレーム、Ｂは前後のフレーム
および前後のフレームから生成される補間フレームを予
測フレームとするフレーム補間符号化処理フレームを表
す。Ｉはフレーム内の相関のみを利用して圧縮するフレ
ームであり以降のＰ、Ｂフレーム処理の際、予測フレー
ムとして用いられる。

【０００４】Ｐフレームは以前のＩフレーム、もしくは
以前のＰフレームを予測フレームとして参照する。Ｂフ
レームは前後のＩ、Ｐフレームと前記Ｉ、Ｐフレームか
ら生成した補間画像を予測フレームとして参照する。ま
た、数字は同シーケンスにおける表示順を表しており、
例えば、Ｐ−３はフレーム間符号化処理フレームであ
り、表示順は３番目であることを示す。

【０００５】図３は、図２の各フレームを処理順に並び
替えた様子である。符号化処理としてはまず、Ｉ−０フ
レームをフレーム内符号化する。次に既処理されたＩ−
０フレームを予測フレームとしてＰ−３フレームをフレ
ーム間符号化する。次に既処理されたＩ−０フレーム、
Ｐ−３フレームおよびＩ−０とＰ−３フレームより生成
される補間画像を予測フレームとしてＢ−１フレーム、
Ｂ−２フレームをフレーム補間符号化する。次に、既処
理されたＰ−３フレームを予測フレームとしてＰ−６フ
レームをフレーム間符号化する。次に、既処理されたＰ
−３フレーム、Ｐ−６フレームおよびＰ−３とＰ−６フ
レームより生成される補間画像を予測フレームとしてＢ
−４フレーム、Ｂ−５フレームをフレーム補間符号化す
る。このように処理される符号化の種類によって各フレ
ームの処理順が決まる。

【０００６】図４は、図３の順に各フレームを符号化し
た際の、各フレームの発生符号量の概要を示す。図４の
ように一般に、各フレームで同等の画質を得る場合、各
フレームの符号量は、Ｂフレーム、Ｐフレーム、Ｉフレ
ームの順に多くなる。

【０００７】また、動画を扱うシステムの場合、記録媒
体のデータ転送レート以下に符号化データの圧縮率（レ
ート）を抑えなければならない。この場合、出力段にバ
ッファを設け、前記バッファ内の未送信符号量によって
量子化ステップを制御し、符号量を制御することが行わ
れる。また、各フレームにおける符号化方法の種類によ
って、容量の異なる仮想的なバッファを想定し、前記仮
想バッファにより符号量を制御する。これは、図４に示
すように、一般的に同等の画質を得る場合、Ｂフレー
ム、Ｐフレーム、Ｉフレームの順に発生符号量が多くな
るので、このことを利用し、各フレームの処理の種類毎
に仮想バッファ容量を変化させ、全体として、バッファ
がオーバーフローもしくはアンダーフローしないように
制御する方法である。

【０００８】図２０に従来の動画符号化装置のブロック
図を示す。図２０において、２０００は画像入力部、２
００１は、フレーム内処理で符号化するフレーム内符号
化処理フレームと、以前のフレームを予測フレームとす
るフレーム間符号化処理フレームと、前後のフレームお
よび前後のフレームから生成される補間フレームを予測
フレームとするフレーム補間符号化処理フレームの配置
を設定するフレーム配置設定部、２００２はフレーム配
置設定部２００１で設定した、フレーム配置情報に従っ
て、処理するフレーム順を変更するフレーム処理順変更
部、２００３は処理対象フレームと、前記処理対象フレ
ームが予測フレームとする、既処理されたフレームとの
動きベクトルをブロック単位で検出する動きベクトル検
出部、２００４は処理対象フレームと予測フレームとの
ブロック毎の差分値を求める減算部、２００５は前記差
分値に対し直交変換の１つであるＤＣＴを施すＤＣＴ
部、２００６はＤＣＴ部２００５で得られた変換係数を
量子化する量子化部、２００７は量子化部２００６で量
子化された係数を符号化する（例えばハフマン符号化）
符号化部、２００８はフレーム配置設定部２００１に設
定されている各フレームの符号化方法と、符号化部２０
０７からの発生符号量により量子化ステップを制御する
符号量制御部、２００９は逆量子化部、２０１０は逆Ｄ
ＣＴ部、２０１１は既処理されたフレームを一時記憶す
るフレームメモリ部、２０１２は符号化データ出力部で
ある。

【０００９】以下、図２に示すフレーム配置で符号化す
る際の、図２０の詳細な動作について説明する。まず、
フレーム処理順変更部２００２は、Ｉ−０フレームをＤ
ＣＴ部２００５に送る。ここで、Ｉ−０フレームはフレ
ーム内符号化であるので、動きベクトル検出部２００
３、減算部２００４は処理を行なわなく、ＤＣＴ部２０
０５で、ブロック毎（例えば８×８）にＤＣＴ処理を行
い周波数領域に変換する。量子化部２００６では、図２
１に示すような、周波数帯域毎に重み付けをした量子化
テーブルを用い、量子化を行う。一般に、画像は隣接す
る画素間の相関が強いので、エネルギーは低周波成分に
集中する。

【００１０】従って、図２１に示すように、低周波成分
は量子化ステップを小さく、高周波成分は量子化ステッ
プを大きくするような重み付けがされる。量子化された
係数は、符号化部２００７でエントロピー符号化され、
符号データ出力部２０１２より出力される。また、符号
量制御部２００８では、フレーム内符号化であるという
情報と、符号化部２００７の発生符号量により、量子化
ステップを制御し、量子化部２００６に与える。量子化
部２００６では、図２１の量子化テーブルと、符号量制
御部２００８より与えられる量子化ステップにより、新
たな量子化ステップを算出し、ブロック毎に量子化を行
う。図２２に、符号量制御部２００８から出力される量
子化ステップが”２”の場合、量子化部２００６で新た
に算出される量子化テーブルを示す。

【００１１】また、量子化部２００６で量子化された、
各ブロックの係数は、逆量子化部２００９で逆量子化、
逆ＤＣＴ部２０１０で逆ＤＣＴ処理され、フレームメモ
リ部２０１１に一時記憶される。前記フレームは、以降
の処理において、予測フレームとして参照される。

【００１２】次に、フレーム処理順変更部２００２によ
って、Ｐ−３フレームが読みだされる。Ｐ−３フレーム
は、Ｉ−０フレームを予測フレームとするフレーム間符
号化フレームであるので、フレームメモリ部２０１１よ
り、Ｉ−０フレームを読みだし、Ｐ−３フレームとの間
で、ブロック単位（例えば１６×１６）に動きベクトル
を検出する。減算部２００４では、ブロック毎に算出さ
れた動きベクトルを用い、前記ブロック間の差分値を算
出する。ＤＣＴ部２００５では、各ブロック毎にＤＣＴ
を施し、符号化部２００７でエントロピー符号化をおこ
なう。符号量制御部２００８では、フレーム間符号化で
あるという情報と、符号化部２００７の発生符号量によ
り量子化ステップを制御し、量子化部２００６に与え
る。

【００１３】また、量子化部２００６で量子化された、
各ブロックの係数は、逆量子化部２００９で逆量子化、
逆ＤＣＴ部２０１０で逆ＤＣＴ処理され、前Ｉ−０フレ
ームとの動きベクトル情報を参照し、ブロック単位に加
算され、フレームメモリ部２０１１に一時記憶される。
前記フレームは、以降の処理において、予測フレームと
して参照される。このように、フレーム配置設定部２０
０１の情報に従って符号化する。

【００１４】また、映像は複数のシーンから構成されて
いるが、各シーンにおいて、映像の有する情報量はさま
ざまである。一般に、動きが少なく、全体的にフラット
な映像程、低いレートで圧縮できる。図５、図６、図
７、図８に動きが少なく、かつ低周波成分の多いシーン
から、動きが激しくかつ高周波成分の多いシーンへ変わ
る際の各フレームの平均量子化ステップおよび転送バッ
ファ中のデータの変動を示す。図５に処理フレームのア
ロケーションを示す。

【００１５】図５において、第０フレームから第８フレ
ーム目までが、動きが少なく、かつ低周波成分の多いシ
ーンであり、第９フレーム以降が動きが激しくかつ高周
波成分の多いシーンである。図６に図５の各フレームを
処理順に並べた様子を示す。図７に図６の処理順に各フ
レームを処理した際の平均量子化ステップを示す。図７
のように、動きの少なくかつ低周波成分の多いシーンで
は平均量子化ステップは低く抑えられているが、動きが
激しくかつ高周波成分も多いシーンでは各フレームの平
均量子化ステップは大きくなる。

【００１６】Ｂ−７、Ｂ−８フレームの平均量子化ステ
ップが動きの少なくかつ低周波成分の多いシーンである
にもかかわらず大きいのは、Ｉ−９フレームの処理にお
いて送信バッファ中の未送信データ量増加したため、量
子化ステップが大きくなっている。図８に図６の処理順
に各フレームを処理した際の、送信バッファ中の未転送
データ量を示す。図８に示すように送信バッファがオー
バーフローおよびアンダーフローしないように、量子化
ステップを制御することで固定レートの符号化を行う。

【００１７】

【発明が解決しようとする課題】しかしながら、上記従
来の符号化装置では、以下に示す問題点を有していた。（１）符号量の上限は、記録媒体のデータ転送レートに
依存するので、動きが激しいシーンでは、符号化データ
の圧縮率（レート）を抑える（発生符号量の増大を防
ぐ）ために、符号量制御部２００８では量子化ステップ
幅を大きくする制御がおこなわれる。しかし、量子化ス
テップ幅を大きくしすぎると、画質の低下を招いてしま
う。（２）記録媒体に映像を記録する際、記録可能容量に対
して記録可能時間が一意に決められていたので、記録可
能時間に対して、記録対象映像の時間が少しでも大きい
場合、記録不可能とされるか、もしくは記録しても記録
対象映像の一部が記録されない。

【００１８】本発明はかかる点に鑑み、（１）映像の種
類により圧縮後の映像が視覚上著しく劣化すると思われ
る場合、画質劣化を抑えることができ、（２）記録可能
容量内に記録対象映像を記録することができる動画記録
装置を提供することを目的としている。

【００１９】

【課題を解決するための手段】上記目的を達するため、
本発明の符号化装置は、視覚上許容できる画質を得るこ
とができる量子化ステップの上限値を設定する手段と、
前記設定された量子化ステップ上限値と、送信バッファ
中の未送信符号量により量子化ステップを算出する手段
と、前記送信バッファがオーバーフローする場合、次の
処理フレームを間引くよう制御する手段とを有する構成
である。

【００２０】また、間引きフレームの直前の処理フレー
ムに、間引きフレームがあることを示す情報を付加する
とともに、間引きフレームのヘッダ情報として前記フレ
ーム群内における表示順を示す情報と、前記フレームが
間引きフレームであることを示す情報を付加する構成で
ある。

【００２１】本発明の復号化装置は、再生時に次の処理
フレームが間引きフレームであることを示す付加情報を
検出すれば、受信バッファからの符号データの読みだし
速度を落とすように制御するとともに、間引きフレーム
の前記フレーム群内における表示順を示す情報と、前記
フレームが間引きフレームであることを示す情報によ
り、再生表示時には、表示順において間引いたフレーム
の直前のフレームを再表示するよう制御する、もしくは
前後の表示フレームから補間再生するよう制御する構成
である。

【００２２】本発明の第１の映像記録装置は、記録媒体
の記録可能容量情報と、記憶する映像の総時間情報によ
り前記映像の記録レートを算出する手段と、前記算出し
た記録レート以下に前記映像を圧縮する符号化手段とを
有し、前記記録媒体の記録可能容量以下に、指定した時
間分の映像を記録する構成である。

【００２３】また、本発明の第２の映像記録装置は、記
録媒体の記録可能容量情報と、記録する映像の総時間情
報とにより前記映像の記録レートを算出する記録レート
算出手段と、入力映像に対し、フレーム間引きを行い、
被符号化映像を出力するフレームレート変換手段と、前
記記録レート算出手段より算出された記録レートに基づ
いて、前記被符号化映像のフレームレートを決定するフ
レームレート算出手段と、前記算出された記録レートで
前記被符号化映像を符号化する符号化手段とを有し、前
記算出された記録レートが入力映像のピクセルレートに
比較して一定値より小さい場合、前記フレームレート変
換手段は、前記フレームレート算出手段により算出され
たフレームレートに基づいてフレーム間引き処理を行う
構成である。

【００２４】また、本発明の第３の映像記録装置は、記
録媒体の記録可能容量情報と、記録する映像の総時間情
報とにより前記映像の記録レートを算出する記録レート
算出手段と、入力映像に対し、フレーム内画素間引きを
行い、被符号化映像を出力するピクセルレート変換手段
と、前記記録レート算出手段より算出された記録レート
に基づいて、前記被符号化映像のフレーム内ピクセルレ
ートを決定するフレーム内ピクセルレート算出手段と、
前記算出された記録レートで前記被符号化映像を符号化
する符号化手段とを有し、前記算出された記録レートが
入力映像のピクセルレートに比較して一定値より小さい
場合、前記ピクセルレート変換手段は、前記フレーム内
ピクセルレート算出手段により算出されたフレーム内ピ
クセルレートに基づいてフレーム内画素の間引き処理を
行う構成である。

【００２５】また、本発明の第４の映像記録装置は、記
録媒体の記録可能容量情報と、記録する映像の総時間情
報とにより前記映像の記録レートを算出する記録レート
算出手段と、入力映像に対し、フレーム間引きおよびフ
レーム内画素間引きを行い、被符号化映像を出力するフ
レームおよびピクセルレート変換手段と、前記記録レー
ト算出手段より算出された記録レートに基づいて、前記
被符号化映像のフレームレートおよびフレーム内ピクセ
ルレートを決定するフレームおよびピクセルレート算出
手段と、前記算出された記録レートで前記被符号化映像
を符号化する符号化手段とを有し、前記算出された記録
レートが入力映像のピクセルレートに比較して一定値よ
り小さい場合、前記フレームおよびピクセルレート変換
手段は、前記フレームおよびピクセルレート算出手段に
より算出されたフレームレートおよびフレーム内ピクセ
ルレートに基づいてフレーム間引きおよびフレーム内画
素の間引き処理を行う構成である。

【００２６】

【作用】上記した構成により、本発明の符号化装置は、
視覚上許容できる画質を得ることができる量子化ステッ
プの上限値を設定し、前記上限値以下に、量子化ステッ
プを抑えることで、空間上の画質劣化を抑え、送信バッ
ファがオーバーフローする場合は、次の処理フレームを
間引くことでバッファのオーバーフローを回避する。

【００２７】本発明の第１、第２の映像記録装置は、再
生時に次の処理フレームが間引きフレームであることを
示す付加情報を検出すれば、受信バッファからの符号デ
ータの読みだし速度を落とすように制御するとともに、
間引きフレームの前記フレーム群内における表示順を示
す情報と、前記フレームが間引きフレームであることを
示す情報により、再生表示時には、表示順において間引
いたフレームの直前のフレームを再表示するよう制御す
ることで、受信バッファのアンダーフローを回避できる
とともに、容易に間引きフレームの補間再生を実現す
る。

【００２８】本発明の第１の映像記録装置は、記録媒体
の記録可能容量内に、指定した時間分の映像を記録する
ことができ、時間による管理が行える。

【００２９】本発明の第２の映像記録装置は、符号化に
より記録映像が著しく劣化する場合、入力映像のフレー
ムレートを落とすことで、視覚上の劣化を抑えた映像を
指定時間分、記録媒体の記録可能容量内に、記録するこ
とができる。

【００３０】本発明の第３の映像記録装置は、符号化に
より記録映像が著しく劣化する場合、入力映像のフレー
ム内のピクセルレートを落とすことで、視覚上の劣化を
抑えた映像を指定時間分、記録媒体の記録可能容量内
に、記録することができる。

【００３１】本発明の第４の映像記録装置は、符号化に
より記録映像が著しく劣化する場合、入力映像のフレー
ムレートおよびフレーム内のピクセルレートを落とすこ
とで、視覚上の劣化を抑えた映像を指定時間分、記録媒
体の記録可能容量内に、記録することができる。

【００３２】

【実施例】以下本発明の一実施例の符号化装置につい
て、図面を参照しながら説明する。図１は本発明の一実
施例における符号化装置のブロック図を示すものであ
る。

【００３３】図１において、１００は画像入力部、１０
１はフレーム内処理で符号化するフレーム内符号化処理
フレームと、以前のフレームを予測フレームとするフレ
ーム間符号化処理フレームと、前後のフレームおよび前
後のフレームから生成される補間フレームを予測フレー
ムとするフレーム補間符号化処理フレームの配置を設定
するフレーム配置設定部、１０２はフレーム配置設定部
１０１のフレーム配置情報に従って、処理するフレーム
順を変更するフレーム処理順変更部、１０３は処理対象
フレームと、前記処理対象フレームが予測フレームとす
る、既処理されたフレームとの動きベクトルをブロック
単位で検出する動きベクトル検出部である。

【００３４】１０４は処理対象フレームと予測フレーム
とのブロック毎の差分値を求める減算部、１０５は前記
差分値に対し直交変換の１つであるＤＣＴを施すＤＣＴ
部、１０６はＤＣＴ部１０５で得られた変換係数を量子
化する量子化部、１０７は量子化部１０６で量子化され
た係数を符号化する（例えばハフマン符号化）符号化
部、１０９は量子化ステップの上限値を設定する量子化
ステップ上限値設定部である。

【００３５】１０８はフレーム配置設定部１０１に設定
されている各フレームの符号化方法と、符号化部１０７
からの発生符号量により、量子化ステップ上限値設定部
１０９に設定された量子化ステップを上限値として、量
子化ステップを制御する符号量制御部、１１０は逆量子
化部、１１１は逆ＤＣＴ部、１１２は既処理されたフレ
ームを一時記憶するフレームメモリ部、１１３は符号化
データ出力部である。

【００３６】以下、図５、図７、図９、図１１、図１２
を用いて図１のブロックの動作を詳細に説明する。ま
ず、フレーム配置設定部１０１に、図５に示す各フレー
ムの符号化処理タイプを、量子化により視覚上許容でき
る画質を得ることができる量子化ステップの上限値を量
子化ステップ上限値設定部１０９に設定する。この設定
値は、ある程度の経験値から設定されるものである。

【００３７】映像入力部１００よりまず、第０フレーム
が入力される。第０フレームはフレーム内符号化処理フ
レームであるので、フレーム処理順変更部１０２は、Ｉ
−０フレームをＤＣＴ部１０５に送る。ここで、Ｉ−０
フレームはフレーム内符号化であるので、動きベクトル
検出部１０３、減算部１０４は処理を行なわなく、ＤＣ
Ｔ部１０５で、ブロック毎（例えば８×８）にＤＣＴ処
理を行い周波数領域に変換する。

【００３８】量子化部１０６では、図２１に示すよう
な、周波数帯域毎に重み付けをした量子化テーブルを用
い、量子化を行う。一般に、画像は隣接する画素間の相
関が強いので、エネルギーは低周波成分に集中する。従
って、図２１に示すように、低周波成分は量子化ステッ
プを小さく、高周波成分は量子化ステップを大きくする
ような重み付けがされる。

【００３９】量子化された係数は、符号化部１０７でエ
ントロピー符号化され、符号データ出力部１１３より出
力される。また、符号量制御部１０８では、フレーム内
符号化であるという情報と、符号化部１０７の発生符号
量と量子化ステップ上限値設定部１０９に設定された、
量子化ステップ上限値により、量子化ステップを制御
し、量子化部１０６に与える。

【００４０】符号化部１０７の発生符号量により算出さ
れる量子化ステップが量子化ステップ上限値を越える場
合は、量子化ステップ上限値１０９に設定してある量子
化ステップとする。量子化部１０６では、図２１の量子
化テーブルと、符号量制御部１０８より与えられる量子
化ステップにより、新たな量子化ステップを算出し、ブ
ロック毎に量子化を行う。

【００４１】図２２に、符号量制御部１０８から出力さ
れる量子化ステップが”２”の場合、量子化部１０６で
新たに算出される量子化テーブルを示す。また、図１１
に各フレームの平均量子化ステップを、図１２に送信バ
ッファ内の未送信データ量を示す。図１１、図１２に示
すように、Ｉ−０フレームの場合、平均量子化ステップ
が量子化ステップ上限値設定部１０９に設定された上限
値以下でかつ、送信バッファがオーバーフローおよびア
ンダーフローしないように制御される。

【００４２】また、量子化部１０６で量子化された、各
ブロックの係数は、逆量子化部１１０で逆量子化、逆Ｄ
ＣＴ部１１１で逆ＤＣＴ処理され、フレームメモリ部１
１２に一時記憶される。記憶されたフレームは、以降の
処理において、予測フレームとして参照される。

【００４３】次に、フレーム処理順変更部１０２によ
り、Ｐ−３フレームが読みだされる。Ｐ−３フレーム
は、Ｉ−０フレームを予測フレームとするフレーム間符
号化フレームであるので、フレームメモリ部１１２よ
り、Ｉ−０フレームを読みだし、Ｐ−３フレームとの間
で、ブロック単位（例えば１６×１６）に動きベクトル
を検出する。減算部１０４では、ブロック毎に算出され
た動きベクトルを用い、前記ブロック間の差分値を算出
する。ＤＣＴ部１０５では、各ブロック毎にＤＣＴを施
す。

【００４４】符号量制御部１０８では、フレーム間符号
化であるという情報と、符号化部１０７の発生符号量お
よび量子化ステップ上限値設定部１０９に設定された、
量子化ステップ上限値により、量子化ステップを制御
し、量子化部１０６に与える。符号化部１０７の発生符
号量により算出される量子化ステップが量子化ステップ
上限値を越える場合は、量子化ステップ上限値１０９に
設定してある量子化ステップとする。

【００４５】また、図１１の各フレームの平均量子化ス
テップと、図１２の送信バッファ内の未送信データ量に
示すように、Ｐ−３フレームの場合、平均量子化ステッ
プが量子化ステップ上限値設定部１０９に設定された上
限値以下でかつ、送信バッファがオーバーフローおよび
アンダーフローしないように制御される。

【００４６】このように、符号化され、量子化部１０６
で量子化された、各ブロックの係数は、逆量子化部１１
０で逆量子化、逆ＤＣＴ部１１１で逆ＤＣＴ処理され、
前Ｉ−０フレームとの動きベクトル情報を参照し、ブロ
ック単位に加算され、フレームメモリ部１１２に一時記
憶される。記憶されたフレームは、以降の処理におい
て、予測フレームとして参照される。このように、フレ
ーム配置設定部１０１の情報に従って符号化する。

【００４７】図５のような映像においては、図７に示す
ようにＩ−９フレームまでの処理では平均量子化ステッ
プは量子化ステップ上限値設定部１０９に設定した上限
値を越えないため、前述同様の処理が行われる。Ｉ−９
フレームにおいては、前述同様に処理すれば送信バッフ
ァのオーバーフローが発生する。そのためＩ−９フレー
ムの次に処理されるＢ−７フレームを間引く処理を行
う。同処理は符号量制御部１０８において、送信バッフ
ァがオーバーフローすることが検出されると、符号化部
１０７からの符号データの読みだしレートを１／２に
し、かつフレーム処理順変更部１０２に対し、Ｂ−７フ
レームをスキップするように指示する。

【００４８】このように、量子化ステップを上限値以下
に抑えることで、送信バッファがオーバーフローする場
合は、次の処理フレームを間引くことで、図１２に示す
ように、送信バッファのオーバーフローを回避する。以
降同様に処理を行い、各フレームにおいて量子化ステッ
プ上限値以下の量子化ステップで量子化を行う。図９に
間引いた様子を示す。

【００４９】図１３に図１の符号化装置で符号化した際
のデータの様子を示す。図１３に示すように各フレーム
の付加情報として、次のフレームの間引き処理の有無情
報およびフレームは間引きフレームであるかどうかの情
報、フレーム群内の表示順を示す情報を付加する。図１
３は、図９に示すように、間引きフレームが発生する場
合の符号化データの様子を示す図であり、Ｉ−９フレー
ムにおいては、次の処理フレーム（Ｂ−７）は間引きフ
レームであるので、次のフレーム間引き情報は”Ｏ
Ｎ”、当フレームの間引きは行われていないので、当フ
レームの間引き情報は”ＯＦＦ”、フレーム群内の表示
順は”９”を付加する。付加情報以降には、実際のＩ−
９フレームのコードデータを格納する。

【００５０】次のＢ−７フレームにおいては、次の処理
フレーム（Ｂ−８）は間引きフレームでないので”ＯＦ
Ｆ”、当フレームの間引きは行われているので”Ｏ
Ｎ”、フレーム群内の表示順は”７”を付加する。Ｂ−
７フレームは間引きフレームであるので、実際のコード
データは存在しない。

【００５１】次に、本発明の一実施例の復号化装置につ
いて、図面を参照しながら説明する。図１４は本発明の
実施例における動画再生を行なう復号化装置のブロック
図を示すものである。

【００５２】図１４において、１４００は符号化データ
入力部、１４０１は符号化データを一時記憶する入力バ
ッファ、１４０２は符号化データを復号化する復号化
部、１４０３は復号化部１４０２で得られた変換係数を
逆量子化する逆量子化部、１４０４は変換係数を逆ＤＣ
Ｔする逆ＤＣＴ部、１４０５は再生した映像を一時記憶
するフレームメモリ部、１４０６は加算部、１４０７は
表示順に出力するためのフレーム順変更部である。

【００５３】次に、図１３に示す符号化データを再生す
る場合の図１４の動作を説明する。符号化データは一定
のレートで、１４００から入力され、入力バッファ１４
０１に一時記憶される。図１３の場合、まず、Ｉ−９デ
ータが入力される。復号化部１４０２ではまず、ヘッダ
情報を解析する。前記フレームにおいては、次のフレー
ム間引き情報が”ＯＮ”であるので復号化部１４０２
は、入力バッファ１４０１からのデータの読みだしレー
トを１／２に制御する。また、当フレームの間引き情
報”ＯＦＦ”、フレーム群内表示順情報”＃９”をフレ
ーム順変更部１４０７に与える。以降Ｉ−９のコードデ
ータを順次、入力バッファ１４０１より読みだし、復号
化部１４０２で復号化し、得られた変換係数を逆量子化
部１４０３に与える。

【００５４】逆量子化部１４０３では逆量子化を行い、
逆ＤＣＴ部１４０４で逆ＤＣＴを行い、フレームメモリ
部１４０５に書き込む。次に、Ｂ−７データが入力され
る。復号化部１４０２では、ヘッダ情報を解析する。前
記フレームにおいては、当フレームの間引き情報”Ｏ
Ｎ”、フレーム群内表示順情報”＃７”をフレーム順変
更部１４０７に与える。次に、Ｂ−８のヘッダ情報を読
みだす。前記フレームにおいては、次および当フレーム
の間引き情報”ＯＦＦ”、フレーム群内表示順情報”＃
８”をフレーム順変更部１４０７に与える。

【００５５】以降Ｂ−８のコードデータを順次、入力バ
ッファ１４０１より読みだし、復号化部１４０２で復号
化し、得られた変換係数を逆量子化部１４０３に与え
る。逆量子化部１４０３では逆量子化を行い、逆ＤＣＴ
部１４０４で逆ＤＣＴを行い、参照フレームとの加算を
加算部１４０６で行い、結果をフレームメモリ部１４０
５に書き込む。

【００５６】フレーム順変更部１４０７においては、図
１０に示すように、順次表示する。第７フレームにおい
ては、間引きフレームであるため、前記間引きフレーム
情報に従い、前フレームを再表示するよう制御する。こ
の場合、Ｐ−６フレームを再表示する。次に、Ｂ−８、
Ｉ−９の順に、前記フレーム群内表示順情報に従い表示
する。この際、間引かれた第７フレームの表示には、Ｐ
−６フレームと、Ｂ−８フレームより補間フレームを生
成して表示してもよい。

【００５７】次に、本発明の一実施例の映像記録装置に
ついて、図面を参照しながら説明する。図１５は本発明
の第１の実施例における映像記録装置のブロック図を示
すものである。

【００５８】図１５において、１５００は記録媒体の記
録可能容量情報、１５０１は記録対象とする映像の時間
情報、１５０２は記録可能容量情報１５００と記録映像
時間情報１５０１より、記録レートを算出する記録レー
ト算出部、１５０３は映像入力部、１５０４は、記録レ
ート算出部１５０２において、算出された記録レート以
下で符号化する符号化部、１５０５は符号化部１５０４
で符号化されたコードデータを記録する記録媒体であ
る。以下、記録レート算出部１５０２の動作を説明す
る。記録可能容量がＮビット、記録映像時間がＳ秒であ
れば、記録レート（Ｒ）は、以下の（１）式で求める。

【００５９】Ｒ＝Ｎ／Ｓ・・・（１）例えば、記憶可能容量が１００メガバイト、記録映像時
間が４００秒であれば、（１）式により、記録レート
（Ｒ）は、２メガビット／秒となる。従って、符号化部
１５０４では、記録レートを、２メガビット／秒以下に
制御しながら符号化処理を行う。

【００６０】以上のように本実施例の映像記録装置は、
記録媒体の記録可能容量内に、指定した時間分の映像を
記録することができ、時間による管理が行える。

【００６１】しかし、入力映像のピクセルレートが高い
映像においては、上記記録レートでは符号化処理で十分
な画質が得られない。例えば、通常のテレビ映像におい
ては、約１６０メガビット／秒のレートである。従っ
て、約８０分の１に圧縮しなければならない。ところ
が、通常２０〜４０分の１が、劣化の許容できる限界で
ある。従って、上記入力映像に対して、２メガビット／
秒で符号化すれば、各フレームの画質劣化が著しく、使
用に耐えないことになる。

【００６２】次に上述した画質劣化を防止する本発明の
第２の実施例の映像記録装置について、図面を参照しな
がら説明する。図１６は本発明の第２の実施例における
映像記録装置のブロック図を示すものである。

【００６３】図１６において、１６００は記録媒体の記
録可能容量情報、１６０１は記録対象とする映像の時間
情報、１６０２は記録可能容量情報１６００と記録映像
時間情報１６０１より、記録レートを算出するする記録
レート算出部、１６０３は入力映像レート情報、１６０
４は入力映像レート情報１６０３と、記録レート算出部
１６０２において算出された記録レートより、入力映像
のフレームレートを算出するフレームレート算出部、１
６０６は、フレームレート算出部１６０４で算出された
フレームレートに従って、入力映像のフレームレートを
変換するフレームレート変換部、１６０７は、フレーム
レート変換部１６０６で得られた映像を、記録レート算
出部１６０２において算出された記録レート以下で符号
化する符号化部、１６０８は符号化部１６０７で符号化
されたコードデータを記録する記録媒体である。

【００６４】以下、フレームレート算出部１６０４とフ
レームレート変換部１６０６の動作について、図１９を
参照して説明する。図１９は、記録レートと入力映像の
ピクセルレートの関係を示す図である。図１９におい
て、斜線部が、視覚上許容できる画質を得ることが可能
な領域である。

【００６５】例えば、図１９において、記録レートが”
Ａ”であれば、ピクセルレートは、”Ｂ”以下に抑える
必要があることを示している。図１９において、記録レ
ート（Ａ）が、２メガビット／秒、ピクセルレート
（Ｂ）が、８０メガビット／秒であり、図１６において
入力映像レートが、１６０メガビット／秒（フレームレ
ートは３０フレーム／秒）であれば、フレームレート算
出部１６０４では、フレームレートを１５フレーム／秒
とし、奇数、偶数どちらのフレームを間引くか決定し、
フレームレート変換部１６０６に与える。フレームレー
ト変換部１６０６では、フレームレート算出部１６０４
の情報に従って、フレーム間引きを行い、符号化部１６
０７に与え、この場合、２メガビット／秒のレート以下
に制御しながら圧縮する。

【００６６】以上のように本実施例によれば、符号化に
より記録映像が著しく劣化する場合であっても、入力映
像のフレームレートを落とすことで、視覚上の劣化を抑
えた映像を指定時間分、記録媒体の記録可能容量内に、
記録することができる。

【００６７】以下、第３の実施例について、図面を参照
しながら説明する。図１７に示す第３の実施例の映像記
録装置おいては、フレーム内のピクセルレートを算出す
るフレーム内ピクセルレート算出部１７０４とピクセル
レートを変換するピクセルレート変換部１７０６を備え
た構成により、入力映像のレート変換として、フレーム
内のピクセルを間引くことで実現する。

【００６８】このように本実施例によれば、符号化によ
り記録映像が著しく劣化する場合であっても、入力映像
のフレーム内のピクセルレートを落とすことで、視覚上
の劣化を抑えた映像を指定時間分、記録媒体の記録可能
容量内に、記録することができる。

【００６９】以下、第４の実施例について、図面を参照
しながら説明する。図１８に示す第４の実施例の映像記
録装置おいては、フレームおよびピクセルレートを算出
するフレームおよびピクセルレート算出部１８０４とフ
レームおよびピクセルレートを変換するフレームおよび
ピクセルレート変換部１８０６を備えた構成により、入
力映像のレート変換として、フレームレート変換および
フレーム内のピクセル間引きを併用することで実現す
る。

【００７０】このように本実施例によれば、符号化によ
り記録映像が著しく劣化する場合であっても、入力映像
のフレームレートおよびフレーム内のピクセルレートを
落とすことで、視覚上の劣化を抑えた映像を指定時間
分、記録媒体の記録可能容量内に、記録することができ
る。

【００７１】尚、図１７、図１８において、図１６と同
一部には同一番号を付している。また、記録媒体への記
録手段については説明は省略しているが、媒体の種類に
応じて適切な記録手段を用いればよいことはいうまでも
ない。

【００７２】

【発明の効果】以上のように本発明によれば以下の優れ
た効果を発揮できる。

【００７３】（１）設定された量子化ステップの上限値
以下に、量子化ステップを抑えることで、空間上の画質
劣化を抑えることができるとともに、送信バッファがオ
ーバーフローする場合は、次の処理フレームを間引くこ
とでバッファのオーバーフローを回避することができ、
視覚特性上劣化の目だつ空間上の劣化を抑えた符号化装
置を実現できる。

【００７４】（２）再生時に次の処理フレームが間引き
フレームであることを示す付加情報を検出すれば、受信
バッファからの符号データの読みだし速度を落とすよう
に制御するとともに、間引きフレームにおけるフレーム
群における表示順を示す情報と、前記フレームが間引き
フレームであることを示す情報により、再生表示時に
は、表示順において間引いたフレームの直前のフレーム
を再表示するよう制御することで、受信バッファのアン
ダーフローを回避できるとともに、容易に間引きフレー
ムの補間再生を実現できる復号化装置を実現できる。

【００７５】（３）記憶媒体の記憶可能容量内に、指定
した時間分の映像を記録することができる。

【００７６】（４）符号化により記録映像が著しく劣化
する場合、入力映像のフレームレートを落とすことで、
視覚上の劣化を抑えた映像を指定時間分、記憶媒体の記
憶可能容量内に記録可能な映像記録装置が実現できる。

【００７７】（５）符号化により記録映像が著しく劣化
する場合、入力映像のフレーム内のピクセルレートを落
とすことで、視覚上の劣化を抑えた映像を指定時間分、
記憶媒体の記憶可能容量内に記録可能な映像記録装置が
実現できる。

【００７８】（６）符号化により記録映像が著しく劣化
する場合、入力映像のフレームレートおよびフレーム内
のピクセルレートを落とすことで、視覚上の劣化を抑え
た映像を指定時間分、記憶媒体の記憶可能容量内に記録
可能な映像記録装置が実現できる。

【図面の簡単な説明】

【図１】本発明の一実施例における符号化装置のブロッ
ク図

【図２】フレーム間予測を用いた符号化における予測フ
レームの関係を示す図

【図３】符号化順にフレームを配置した状態を示す図

【図４】図３の順に各フレームを符号化した際の、各フ
レームの発生符号量を示す図

【図５】フレーム間予測を用いた符号化における予測フ
レームの関係を示す図

【図６】符号化順にフレームを配置した状態を示す図

【図７】各フレームの平均量子化ステップを示す図

【図８】各フレームのバッファ内のデータ量を示す図

【図９】フレームを間引いた状態を示す図

【図１０】間引いたフレームを補間表示する状態を示す
図

【図１１】各フレームの平均量子化ステップを示す図

【図１２】各フレームのバッファ内のデータ量を示す図

【図１３】符号データを示す図

【図１４】本発明の一実施例における復号化装置のブロ
ック図

【図１５】本発明の第１の実施例における映像記録装置
のブロック図

【図１６】本発明の第２の実施例における映像記録装置
のブロック図

【図１７】本発明の第３の実施例における映像記録装置
のブロック図

【図１８】本発明の第４の実施例における映像記録装置
のブロック図

【図１９】本実施例の記録レートと入力ピクセルレート
の関係を示す図

【図２０】従来例の符号化装置のブロック図

【図２１】本実施例における量子化テーブルの一例を示
す図

【図２２】本実施例における量子化テーブルの他の例を
示す図

【符号の説明】

１００画像入力部１０１フレーム配置設定部１０２フレーム処理順変更部１０３動きベクトル検出部１０４減算部１０５ＤＣＴ部１０６量子化部１０７符号化部１０８符号量制御部１０９量子化ステップ上限値設定部１１０逆量子化部１１１逆ＤＣＴ部１１２フレームメモリ部１１３符号データ出力部

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/13 Ｚ

Claims

【特許請求の範囲】

【請求項１】動画像を、フレーム内処理で符号化するフ
レーム内符号化と、以前のフレームを予測フレームとす
るフレーム間符号化と、前後のフレームおよび前後のフ
レームから生成する補間フレームを予測フレームとする
フレーム補間符号化を組み合わせる符号化方式におい
て、前記各フレームを少なくとも１つ以上の複数の処理
ブロックに分割し、前記各処理ブロック毎の動画像デー
タに対し、送信バッファ中の未送信符号量により量子化
ステップを制御する符号化装置であって、量子化ステップの上限値を設定する手段と、前記設定さ
れた量子化ステップ上限値と、送信バッファ中の未送信
符号量により量子化ステップを算出する手段と、前記送
信バッファがオーバーフローする場合、次の処理フレー
ムを間引くよう制御する手段を有することを特徴とする
符号化装置。
【請求項２】間引きフレームの直前の処理フレームに、
間引きフレームがあることを示す情報を付加するととも
に、間引きフレームのヘッダ情報として前記フレーム群
内における表示順を示す情報と、前記フレームが間引き
フレームであることを示す情報を付加することを特徴と
する請求項１記載の符号化装置。
【請求項３】再生時に次の処理フレームが間引きフレー
ムであることを示す付加情報を検出すれば、受信バッフ
ァからの符号データの読みだし速度を落とすように制御
するとともに、間引きフレームにおけるフレーム群にお
ける表示順を示す情報と、前記フレームが間引きフレー
ムであることを示す情報により、再生表示時には、表示
順において間引いたフレームの直前のフレームを再表示
するよう制御する、もしくは前後の表示フレームから補
間表示するよう制御することを特徴とする復号化装置。
【請求項４】記録媒体の記録可能容量情報と、記憶する
映像の総時間情報により前記映像の記録レートを算出す
る手段と、前記算出した記録レート以下に前記映像を圧
縮する符号化手段とを有し、前記記録媒体の記録可能容
量以下に、指定した時間分の映像を記録することを特徴
とする映像記録装置。
【請求項５】記録媒体の記録可能容量情報と、記録する
映像の総時間情報とにより前記映像の記録レートを算出
する記録レート算出手段と、入力映像に対し、フレーム
間引きを行い、被符号化映像を出力するフレームレート
変換手段と、前記記録レート算出手段より算出された記
録レートに基づいて、前記被符号化映像のフレームレー
トを決定するフレームレート算出手段と、前記算出され
た記録レートで前記被符号化映像を符号化する符号化手
段とを有し、前記算出された記録レートが入力映像のピクセルレート
に比較して一定値より小さい場合、前記フレームレート
変換手段は、前記フレームレート算出手段により算出さ
れたフレームレートに基づいてフレーム間引き処理を行
うことを特徴とする映像記録装置。
【請求項６】記録媒体の記録可能容量情報と、記録する
映像の総時間情報とにより前記映像の記録レートを算出
する記録レート算出手段と、入力映像に対し、フレーム
内画素間引きを行い、被符号化映像を出力するピクセル
レート変換手段と、前記記録レート算出手段より算出さ
れた記録レートに基づいて、前記被符号化映像のフレー
ム内ピクセルレートを決定するフレーム内ピクセルレー
ト算出手段と、前記算出された記録レートで前記被符号
化映像を符号化する符号化手段とを有し、前記算出された記録レートが入力映像のピクセルレート
に比較して一定値より小さい場合、前記ピクセルレート
変換手段は、前記フレーム内ピクセルレート算出手段に
より算出されたフレーム内ピクセルレートに基づいてフ
レーム内画素の間引き処理を行うことを特徴とする映像
記録装置。
【請求項７】記録媒体の記録可能容量情報と、記録する
映像の総時間情報とにより前記映像の記録レートを算出
する記録レート算出手段と、入力映像に対し、フレーム
間引きおよびフレーム内画素間引きを行い、被符号化映
像を出力するフレームおよびピクセルレート変換手段
と、前記記録レート算出手段より算出された記録レート
に基づいて、前記被符号化映像のフレームレートおよび
フレーム内ピクセルレートを決定するフレームおよびピ
クセルレート算出手段と、前記算出された記録レートで
前記被符号化映像を符号化する符号化手段とを有し、前記算出された記録レートが入力映像のピクセルレート
に比較して一定値より小さい場合、前記フレームおよび
ピクセルレート変換手段は、前記フレームおよびピクセ
ルレート算出手段により算出されたフレームレートおよ
びフレーム内ピクセルレートに基づいてフレーム間引き
およびフレーム内画素の間引き処理を行うことを特徴と
する映像記録装置。