JP2004007475A - 画像圧縮符号化装置及び方法、プログラム - Google Patents
画像圧縮符号化装置及び方法、プログラム Download PDFInfo
- Publication number
- JP2004007475A JP2004007475A JP2003070729A JP2003070729A JP2004007475A JP 2004007475 A JP2004007475 A JP 2004007475A JP 2003070729 A JP2003070729 A JP 2003070729A JP 2003070729 A JP2003070729 A JP 2003070729A JP 2004007475 A JP2004007475 A JP 2004007475A
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- compression
- compression method
- total
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】ＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く選択することにより、目標符号量を満たしつつフレーム全体の総符号量を制御する。
【解決手段】入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式とより低圧縮率でありロスの小さい第２の圧縮方式、のうちいずれか一方をブロック毎に選択し、選択した圧縮方式についてセレクト信号を発信し、発信されたセレクト信号に応じて、第１の圧縮方式による符号量、或いは第２の圧縮方式よる符号量を取り込み、切替手段を介して取り込まれた符号量をブロック毎に加算することにより等長化単位の総符号量を演算し、量子化ステップ毎に演算された総符号量を線形補間することにより、等長化単位の目標符号量に近づくように制御し、当該制御された総符号量に応じて第１の圧縮方式、或いは第２の圧縮方式をブロック単位で選択して符号化する。
【選択図】 図１
【解決手段】入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式とより低圧縮率でありロスの小さい第２の圧縮方式、のうちいずれか一方をブロック毎に選択し、選択した圧縮方式についてセレクト信号を発信し、発信されたセレクト信号に応じて、第１の圧縮方式による符号量、或いは第２の圧縮方式よる符号量を取り込み、切替手段を介して取り込まれた符号量をブロック毎に加算することにより等長化単位の総符号量を演算し、量子化ステップ毎に演算された総符号量を線形補間することにより、等長化単位の目標符号量に近づくように制御し、当該制御された総符号量に応じて第１の圧縮方式、或いは第２の圧縮方式をブロック単位で選択して符号化する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｉｍａｇｅ ｃｏｄｉｎｇ ＥｘｐｅｒｔｓＧｒｏｕｐ）等に適用され、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や、例えばＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）を用いた符号化による発生情報量を制御可能な画像圧縮符号化装置及び方法に関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいて、動画像信号をそのままディジタル化すると情報量が極めて多くなる。しかし、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化することによって情報量を減らすことができ、一度に多くの動画像を伝送することが可能となり、ひいては、記録媒体に対して長時間の動画像を記録することが可能となる。動画像の高能率符号化方式として代表的なものとしてＭＰＥＧ方式がある。このＭＰＥＧ方式では、伝送路に送出されるビットストリームが所望のレートになるように、符号量制御を行う。
【０００３】
図１０は、ＭＰＥＧ方式に代表される従来の画像圧縮符号化装置７の構成を示している。この従来の画像圧縮符号化装置７は、入力された画像信号をＤＣＴ変換した上で量子化するＤＣＴ符号化方式に基づき、非可逆的な画像圧縮を実現する。この画像圧縮符号化装置７は、端子７１と、ブロック分割部７２と、ＤＣＴ部７３と、量子化部７４と、可変長符号化部７５と、バッファ７９とを備える。
【０００４】
この図１０において、端子７１には、輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。
【０００５】
ブロック分割部７２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、ＤＣＴ部７３へ出力する。
【０００６】
ＤＣＴ部７３は、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、量子化部７４へ出力する。量子化部７４は、ＤＣＴ部７３から入力されたＤＣＴ係数を、ブロック単位で決められた量子化ステップにより量子化する。量子化部７４は、この量子化されたデータ（以下、量子化レベルと称する）を可変長符号化部７５へ供給する。可変長符号化部７５は、量子化部７４から供給された量子化レベルを、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。
【０００７】
ちなみに、この画像圧縮符号化装置７における符号量制御は、量子化ステップを制御することにより行なう。この符号量制御は、例えば仮想バッファの残量と、以前エンコーダした際の量子化ステップと発生符号量の関係を用いてフィードバック制御することにより行なう場合もある。
【０００８】
なお、この画像圧縮符号化装置７では、１フレーム（等長化単位）において発生する総符号量が、常に設定された目標符号量を越えないように符号量制御を行なう必要がある。しかしながら、目標符号量を満たすために、総符号量を多量に残してしまうと、却って画像品質の悪化を招くことになる。このため、従来において、目標符号量を満たしつつ総符号量を使い切るための符号量制御方法が提案されている。この符号量制御方法では、等長化単位において発生する符号量を、複数の量子化ステップについて予め計算し、発生符号量が目標符号量を越えない範囲で適切な量子化ステップを決定するものであり、例えばフィードフォワード方式として提案されている（例えば、特許文献１参照。）。
【０００９】
この従来のフィードフォワード方式等の符号量制御方法において、量子化ステップを大きくすると量子化が粗くなり総符号量が小さくなり、一方量子化ステップを小さくすると、量子化は細かくなり総符号量も多くなる。また量子化では離散値のみ取得することしかできないため、総符号量も離散的になる。すなわち、この量子化ステップをブロック単位で制御することにより、総符号量を制御することが可能となる。目標符号量を満たしつつ総符号量を使い切るためには、目標符号量以下であり、かつ一番小さな量子化ステップをブロック毎に選択する必要がある。
【００１０】
ちなみにこのＤＣＴ係数を、ブロック単位で決められた量子化ステップにより量子化するフィードフォワード方式は、画像の圧縮・伸張の過程において何らかの歪みが付加されるため、完全にもとの画像品質を保つことはできない。このため、理想的には、例えばＤＰＣＭのように、圧縮・伸張の過程を経てもとの情報を保存可能な可逆符号化（Ｌｏｓｓｌｅｓｓ）方式を採用することにより、画質の劣化を防止する必要があった。
【００１１】
【特許文献１】
国際公開公報ＷＯ９６／２８９３７
【００１２】
【発明が解決しようとする課題】
ところで、上述した可逆符号化方式を採用した場合に、設定された目標符号量を越えないような符号量制御を実現することができない場合があるため、フィードフォワード方式と可逆符号化方式を組み合わせ、目標符号量を越えないようにフレーム総符号量を使い切る必要がある。
【００１３】
しかしながら、ブロック毎に各方式を効率良く選択することができず、目標符号量を参照しつつ、フレーム全体の総符号量を制御することができないという問題点があった。
【００１４】
そこで本発明は上述した実情に鑑みて提案されたものであり、各ブロック毎にフィードフォワード方式、或いは可逆符号化方式を効率よく選択することにより、フレーム全体の総符号量を効率良く制御可能な画像圧縮符号化装置及び方法、プログラムを提案することを目的とする。
【００１５】
【課題を解決するための手段】
本発明を適用した画像圧縮符号化装置は、上述した問題点を解決するために、入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて上記符号化方式選択単位で選択し、これを符号化する画像圧縮符号化装置において、上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を発信する選択手段と、上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込む切替手段と、上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより符号化方式選択単位の総符号量を演算する演算手段と、上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御する制御手段とを備える。
【００１６】
また、本発明を適用した画像圧縮符号化方法は、上述した問題点を解決するために、入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて符号化方式選択単位で選択し、これを符号化する画像圧縮符号化方法において、上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮についてセレクト信号を発信し、上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込み、上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御する。
【００１７】
また、本発明を適用したプログラムは、上述した問題点を解決するために、入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて符号化方式選択単位で選択し、これを符号化することをコンピュータに実行させるためのプログラムにおいて、上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮についてセレクト信号を発信し、上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込み、上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御することをコンピュータに実行させる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００１９】
本実施の形態に係る画像圧縮符号化装置は、入力された画像信号を、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換した上で量子化することにより非可逆的な画像圧縮を実現し、或いは入力された画像信号を、例えばＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）等に基づき可逆的な符号化を実現する。
【００２０】
画像圧縮符号化装置１には、図１に示すように端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を、符号化方式選択単位で選択し、本線系２及び予測系４へ送信する。この符号化方式選択単位とは、例えば８×８のブロック単位、１６×１６のマクロブロック単位、スライス単位、又は複数の画素からなる画像領域に分割する場合を示すが、以下では、８×８のブロック単位で分割した場合を例にとり説明する。
【００２１】
本線系２は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ２１，ＤＣＴ部２２，ＦＩＦＯメモリ２３，二分探索部２４，量子化部２５，第１の可変長符号化部２６からなるＤＣＴパスと、ＦＩＦＯメモリ２７，ＤＰＣＭ部２８，第２の可変長符号化部２９からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００２２】
先ずＤＣＴパスについて説明する。本線系２に供給されたデータは、予測系４から後述するセレクト信号と符号量が供給されるまでのインターバルを調整するためにＦＩＦＯメモリ２１に一時格納される。このＦＩＦＯメモリ２１に格納されたデータは、ＤＣＴ部２２及びＦＩＦＯメモリ２７へ供給される。
【００２３】
ＤＣＴ部２２は、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、ＦＩＦＯメモリ２３及び二分探索部２４へ送信する。ＦＩＦＯメモリ２３に一時格納されたＤＣＴ係数は量子化部２５へ出力される。量子化部２５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で二分探索部２４により決められた量子化ステップにより量子化する。量子化部２５は、この量子化されたデータ（以下、量子化レベルと称する）を第１の可変長符号化部２６へ供給する。第１の可変長符号化部２６は、量子化部２５から供給された量子化レベルを、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。ちなみに本実施の形態に係る画像圧縮符号化装置１では、この第１の可変長符号化部２６を省略した構成を適用してもよい。
【００２４】
すなわち、このＤＣＴパスを経ることにより、二分探索部２４を介して各ブロック毎に供給される量子化ステップに基づき、画像信号を符号化することができるため、１フレームの総符号量が目標符号量を越えないように制御することが可能となる。この二分探索部２４を用いる方法は、一例に過ぎず、他の方式を用いてもよい。
【００２５】
次にＤＰＣＭパスについて説明をする。ＤＰＣＭ部２８は、上述したＤＣＴパスにおける遅延素子的な役割を担うＦＩＦＯメモリ２７上に格納されたデータが供給され、当該データに対してブロック毎にＤＰＣＭを施して第２の可変長符号化部２９へ供給する。第２の可変長符号化部２９は、ＤＰＣＭが施されたデータに対して、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。なお、この第２の可変長符号化部２９における可変長符号化の方法は、上述の第１の可変長符号化部２６における方法と同様である必要はない。また、本実施の形態に係る画像圧縮符号化装置１では、この第２の可変長符号化部２９を省略した構成を適用してもよい。
【００２６】
セレクタ３０は、第１の可変長符号化部２６、又は第２の可変長符号化部２９により可変長符号化された各種データを適宜切り替え、当該切替情報とともにバッファ３１へ出力する。ちなみに、このセレクタ３０は、予測系４から供給されるセレクト信号に基づき切り替えられる。
【００２７】
すなわち、このＤＰＣＭパスを経ることにより、何らかの歪みが付加されることなく、完全にもとの画像品質を保つことができるように可逆符号化することができる。
【００２８】
予測系４は、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ＤＰＣＭ部４５，符号量変換器４６からなるＤＰＣＭパスと、演算部４４とを備える。この予測系４は、等長化単位で発生する総符号量を計算し、本線系２が目標符号量を越えない範囲で適切なＤＣＴパス或いはＤＰＣＭパスを選択できるように設けられたものである。この等長化単位とは、本実施の形態では１フレームを意味するが、係る場合に限定されるものではなく、例えば８×８のブロック、１６×１６のマクロブロック、それらの組み合わせたスライス単位としてもよい。またこの等長化単位は、複数の画素からなるいかなる画像領域であってもよく、さらにフレームを組み合わせたＧＯＰ単位としてもよい。
【００２９】
先ずＤＣＴパスについて説明をする。このＤＣＴパスは、例えば入力された画像信号をＤＣＴ変換した上で量子化するＤＣＴ符号化方式に基づき、非可逆的な画像圧縮を実現するものであり、ＤＰＣＭパスと比較して高圧縮率でロスが大きい。またこのＤＣＴパスにおける変換符号化は、ＤＣＴに限定されるものではなく、他の変換符号化方式を用いてもよい。またこのＤＣＴパスでは、８×８のブロック単位で変換符号化を行うが、かかる場合に限定されるものではなく、上述のマクロブロック単位でもよいし、また複数の画素からなる画像領域を一単位とするものであってもよい。
【００３０】
ＤＣＴ部４１は、ＤＣＴ部２２と同様に、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、各量子化器４２−１〜４２−ｎへ送信する。量子化器４２−１〜４２−ｎは、ＤＣＴ部４１から供給されたＤＣＴ係数を夫々異なる量子化ステップで量子化する。これにより、生成したＤＣＴ係数をｎ個の量子化ステップにより試すことが可能となる。また、各量子化器４２−１〜４２−ｎは、生成した量子化レベルを夫々符号量変換器４３−１〜４３−ｎへ供給する。符号量変換器４３−１〜４３−ｎは、供給される量子化レベルを夫々ブロック毎の符号量に変換し、演算部４４へ送信する。即ち、この符号量変換器４３−１〜４３−ｎにおける符号量の変換では、量子化器４２−１〜４２−ｎにより生成された量子化レベルを可変長符号化して、その符号長を出力するようにしてもよい。
【００３１】
次にＤＰＣＭパスについて説明をする。このＤＰＣＭパスは、例えばＤＰＣＭのように、圧縮、伸張の過程を経てもとの情報を保存可能な可逆符号化（Ｌｏｓｓｌｅｓｓ）方式に基づき、可逆的な画像圧縮を実現するものであり、ＤＣＴパスと比較して低圧縮率でロスが小さい。またこのＤＰＣＭパスでは、８×８のブロック単位で変換符号化を行うが、かかる場合に限定されるものではなく、上述のマクロブロック単位でもよいし、また複数の画素からなる画像領域を一単位とするものであってもよい。
【００３２】
ＤＰＣＭ部４５は、ブロック分割部１２からデータを受給し、これらについてブロック毎にＤＰＣＭを施し、符号量変換器４６へ送信する。符号量変換器４６は、これらＤＰＣＭ化された信号についてブロック毎に符号化して演算部４４へ送信する。即ち、この符号量変換器４６においても、ＤＰＣＭ化された信号を可変長符号化して、その符号長を出力するようにしてもよい。
【００３３】
演算部４４には、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量が入力され、また符号量変換器４６からＤＰＣＭ処理された符号量が入力される。演算部４４は、入力される各ブロック毎の符号量に基づき、各ブロック毎の割当符号量とセレクト信号とを求めて本線系２へ出力する。ちなみにこの演算部４４において等長化単位の総符号量を求める場合には、ブロック毎の符号量の累積値を求める必要があるため、１フレーム分の計算時間を要することになる。
【００３４】
次に、この演算部４４による割当符号量の算出について説明をする。図２は、演算部４４の構成例を示している。演算部４４は、ｎ個の比較部１０１−１〜１０１−ｎと、ｎ個のセレクタ１０２−１〜１０２−ｎと、ｎ個のメモリ１０３−１〜１０３−ｎと、ｎ個の加算器１０４−１〜１０４−ｎと、ｎ個の累積回路１０５−１〜１０５−ｎと、演算処理部１０６とを備える。
【００３５】
比較部１０１−１〜１０１−ｎは、ｋ番目のブロックに関して、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）が入力され、またＤＰＣＭパスを介して符号量変換器４６からＤＰＣＭ処理された符号量ｄｐｃｍ（ｋ）が入力される。例えば、比較部１０１−１には、符号量変換部４３−１からの符号量ｌｅｎｇｔｈ（１，ｋ）と、ＤＰＣＭ処理された符号量ｄｐｃｍ（ｋ）が入力される。この比較部１０１−１〜１０１−ｎは、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）、とＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）との間で、それぞれ小さい方を選択する。そして、この比較部１０１−１〜１０１−ｎは、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）、及びＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）のうち、いずれを選択したかを示すセレクト信号を出力する。
【００３６】
セレクタ１０２−１〜１０２−ｎは、比較部１０１−１〜１０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ１０２−１〜１０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ１０２−１〜１０２−ｎにより選択された符号量は、そのままメモリ１０３−１〜１０３−ｎ、加算器１０４−１〜１０４−ｎへ供給される。
【００３７】
メモリ１０３−１〜１０３−ｎは、各ブロック毎に、何れの符号量を選択したかを識別するためのセレクト信号と、セレクタ１０２−１〜１０２−ｎにおいて選択された符号量を格納する。すなわち等長化単位、例えば１フレーム分の処理が終了した段階で、各メモリ１０３−１〜１０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、１フレーム分格納されている状態となっている。換言すれば、各メモリ１０３−１〜１０３−ｎには、ブロック単位で選択した符号量として、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）、又はＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）のうち、いずれかが格納されている状態となる。従って、各メモリ１０３−１〜１０３−ｎを合わせると、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００３８】
加算器１０４−１〜１０４−ｎ及び累積回路１０５−１〜１０５−ｎは、セレクタ１０２−１〜１０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）とする。累積回路１０５−１〜１０５−ｎは、得られた総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を順次演算処理部１０６へ送信する。
【００３９】
演算処理部１０６は、各累積回路１０５−１〜１０５−ｎから夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を受信した場合に、以下の図３に示す手順を実行する。先ずステップＳ１において、演算処理部１０６は、等長化単位の目標符号量とこれらの総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を比較する。そして、この演算処理部１０６は、目標符号量を超える総符号量のうち、目標符号量に最も近い総符号量ｔｏｔａｌ（ｊ−１）を特定する。即ち、この総符号量ｔｏｔａｌ（ｊ−１）は、目標符号量の直上の符号量であり、換言すれば、目標符号量を超える総符号量のうち最小の符号量からなる。また、この演算処理部１０６は、目標符号量以下の総符号量のうち、目標符号量に最も近い総符号量ｔｏｔａｌ（ｊ）を特定する。即ち、この総符号量ｔｏｔａｌ（ｊ−１）は、目標符号量の直下の符号量であり、換言すれば、目標符号量以下の総符号量のうち最大の符号量からなる。
【００４０】
次にステップＳ２へ移行し、演算処理部１０６は、この識別したｔｏｔａｌ（ｊ−１）と、ｔｏｔａｌ（ｊ）に基づき、メモリ１０３−ｊ−１、メモリ１０３−ｊに格納されている各ブロック毎の符号量とセレクト信号を読み出す。なお、メモリ１０３−ｊ−１には、ｋ番目のブロックの符号量として、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（ｊ−１，ｋ）、又はＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）が格納されている。このため、このステップＳ２において、メモリ１０３−ｊ−１から読み出される符号量は、ｌｅｎｇｔｈ（ｊ−１，ｋ）又はｄｐｃｍ（ｋ）となる。またメモリ１０３−ｊには、ｋ番目のブロックの符号量として、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（ｊ，ｋ）、又はＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）が格納されている。このため、このステップＳ２におてメモリ１０３−ｊから読み出される符号量は、ｌｅｎｇｔｈ（ｊ，ｋ）又はｄｐｃｍ（ｋ）となる。ちなみに、以後のステップでは、メモリ１０３−ｊ−１、メモリ１０３−ｊから読み出した各ブロック毎の符号量とセレクト信号を用いる。
【００４１】
次にステップＳ３へ移行し、この演算処理部１０６は、線形補間を用いることにより、各ブロックに対する割当符号量ａｓｓｉｇｎ（ｋ）を算出する。
【００４２】
ここで、等長化単位の目標符号量をＭとし、またメモリ１０３−ｊ−１から読み出された符号量がｌｅｎｇｔｈ（ｊ−１，ｋ）であり、メモリ１０３−ｊから読み出された符号量がｌｅｎｇｔｈ（ｊ，ｋ）である場合において、割当符号量ａｓｓｉｇｎ（ｋ）は、以下の式（１）により求められる。
ａｓｓｉｇｎ（ｋ）＝｛（ｔｏｔａｌ（ｊ−１）−Ｍ）＊ｌｅｎｇｔｈ（ｊ，ｋ）＋（Ｍ−ｔｏｔａｌ（ｊ））＊ｌｅｎｇｔｈ（ｊ−１，ｋ）｝／｛ｔｏｔａｌ（ｊ−１）−ｔｏｔａｌ（ｊ）｝・・・・・・（１）
またメモリ１０３−ｊ−１から読み出された符号量がｄｐｃｍ（ｋ）であり、メモリ１０３−ｊから読み出された符号量がｌｅｎｇｔｈ（ｊ，ｋ）である場合において、割当符号量ａｓｓｉｇｎ（ｋ）は、以下の式（２）により求められる。
ａｓｓｉｇｎ（ｋ）＝｛（ｔｏｔａｌ（ｊ−１）−Ｍ）＊ｌｅｎｇｔｈ（ｊ，ｋ）＋（Ｍ−ｔｏｔａｌ（ｊ））＊ｄｐｃｍ（ｋ）｝／｛ｔｏｔａｌ（ｊ−１）−ｔｏｔａｌ（ｊ）｝・・・・・・・・・（２）
またメモリ１０３−ｊ−１から読み出された符号量がｄｐｃｍ（ｋ）であり、メモリ１０３−ｊから読み出された符号量がｄｐｃｍ（ｋ）である場合において、割当符号量ａｓｓｉｇｎ（ｋ）は、以下の式（３）により求められる。
ａｓｓｉｇｎ（ｋ）＝｛（ｔｏｔａｌ（ｊ−１）−Ｍ）＊ｄｐｃｍ（ｋ）＋（Ｍ−ｔｏｔａｌ（ｊ））＊ｄｐｃｍ（ｋ）｝／｛ｔｏｔａｌ（ｊ−１）−ｔｏｔａｌ（ｊ）｝・・・・・・・・・・・（３）
上述のように各ブロック毎に割り当てる割当符号量ａｓｓｉｇｎ（ｋ）を求めることにより目標符号量に対して符号量のロスが少ない、高効率の符号量制御を実現することができる。
【００４３】
次にステップＳ４へ移行し、演算処理部１０６は、各ブロック毎に求めたａｓｓｉｇｎ（ｋ）を、最後に各ブロック毎のｄｐｃｍ（ｋ）と比較する。その結果、ａｓｓｉｇｎ（ｋ）がｄｐｃｍ（ｋ）以上であれば、ステップＳ５へ移行し、またａｓｓｉｇｎ（ｋ）がｄｐｃｍ（ｋ）を下回る場合には、ステップＳ６へ移行する。
【００４４】
ステップＳ５へ移行した場合には、ステップ当該ブロックｋについて、画像品質の高いＤＰＣＭパスを介して符号化しても、総符号量を目標符号量以下に抑えることができることを意味する。かかる場合において、演算処理部１０６は、セレクト信号をＤＰＣＭ側に切り替え、ａｓｓｉｇｎ（ｋ）をｄｐｃｍ（ｋ）に置き換えて出力する。
【００４５】
ステップＳ６へ移行した場合には、当該ブロックｋについては上述の如くａｓｓｉｇｎ（ｋ）を求めることにより見積もった符号量よりも、ＤＰＣＭパスによる符号量の方が多いため、ＤＣＴ側を選択した方が、総符号量を目標符号量に対して低く抑えることができる。このため演算処理部１０６は、セレクト信号をＤＣＴ側にして、求めたａｓｓｉｇｎ（ｋ）をそのまま出力する。
【００４６】
この演算処理部１０６において、このａｓｓｉｇｎ（ｋ）と、ｄｐｃｍ（ｋ）を、ＤＣＴパス又はＤＰＣＭパスの何れを選択するかについての優先度と考えることができる。この優先度に基づいて、ＤＣＴパス或いはＤＰＣＭパスの何れかを選択するものであれば、いかなる選択方法を適用してもよい。例えば、この優先度が等しい場合には、ＤＣＴパス或いはＤＰＣＭパスの何れかを選択するようにしてもよいし、ＤＰＣＭパスを選択するようにしてもよい。
【００４７】
またステップＳ４における優先度は、ａｓｓｉｇｎ（ｋ）、ｄｐｃｍ（ｋ）に基づく場合に限定されるものではない。即ち、ステップＳ４における比較において、所定の優先度に基づくものであれば、例えば、ａｓｓｉｇｎ（ｋ）がｄｐｃｍ（ｋ）以上であっても、ステップＳ６へ移行する場合もある。
【００４８】
予測系４からは、この演算処理部から出力される割当符号量ａｓｓｉｇｎ（ｋ）と、セレクト信号が出力される。この出力された割当符号量ａｓｓｉｇｎ（ｋ）は、二分探索部２４へ供給される。
【００４９】
二分探索部２４は、セレクト信号がＤＣＴ側になっている場合において、ブロックの発生符号量が目標符号量に収まるように量子化ステップを決定する。二分探索部２４は、この量子化ステップを決定する際に、特願平４−１１０８５８号公報に提案した方法を採用しても良い。発生符号量が量子化ステップの増大に対して単調減少することを利用して二分探索法によって量子化ステップを決定する。この決定された量子化ステップにより、量子化器２５により量子化される。なお二分探索法は一例に過ぎず、ブロックの発生符号量が目標符号量に収まるように量子化ステップが決定されるのであればどのような方式であってもよい。
【００５０】
一方、セレクト信号がＤＰＣＭ側に切り替わっている場合には、セレクタ３０がＤＰＣＭパスに切り替えられ、当該ブロックについては、ＤＰＣＭを介した符号化が行なわれることになる。
【００５１】
なお、演算処理部１０６は、それぞれ目標符号量の直上、直下にあるｔｏｔａｌ（ｊ−１）と、ｔｏｔａｌ（ｊ）を識別することができない場合には、ｔｏｔａｌ（ｊ−１）と、ｔｏｔａｌ（ｊ）の間に目標符号量を挟み込むいわゆる内挿により割当符号量ａｓｓｉｇｎ（ｋ）を求めることができない。かかる場合には、目標符号量を挟まず、かつ目標符号量に最も近い、二つのｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）を用いるいわゆる外挿により、ａｓｓｉｇｎ（ｋ）を求める。かかる外挿においても、割当符号量ａｓｓｉｇｎ（ｋ）は、上式（１）〜（３）を用いて計算する。しかしながら、この場合においてＤＰＣＭパスの符号量が小さいという理由で、ＤＰＣＭパスを介して符号化しても、却って符号量が余る場合がある。かかる場合には、図４に示すフローチャートの如くａｓｓｉｇｎ（ｋ）と総符号量ｔｏｔａｌ＿ｔｍｐ（ａｓｓｉｇｎ（ｋ）の１フレーム分の総数）を、ｔｏｔａｌ（ｊ−１）及びｔｏｔａｌ（ｊ）の２つのうち、目標符号量からより遠い方と置き換えてａｓｓｉｇｎ（ｋ）を計算するようにしてもよい。
【００５２】
この図４に示すフローチャートにおいて、先ずステップＳ１１で処理ループｌｌを初期値に設定し、ステップＳ１２へ移行する。ステップＳ１２では、目標符号量に最も近いｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）を用いてａｓｓｉｇｎ（ｋ）を上式により計算し、ステップＳ１３へ移行する。ステップＳ１３において全てのブロックにつきａｓｓｉｇｎ（ｋ）を求めることにより、１フレーム分の総符号量ｔｏｔａｌ＿ｔｍｐを求めることができたか判定する。総符号量ｔｏｔａｌ＿ｔｍｐを求められている場合のみステップＳ１４へ移行し、それ以外はステップＳ１２の処理を繰り返す。
【００５３】
次にステップＳ１４へ移行し、現在のループｌｌが処理ループの総数に達したか判断する。ここで現在のループｌｌが処理ループの総数に達した場合は、繰り返し処理の末、所望のａｓｓｉｇｎ（ｋ）が求められたことが示され、ループから抜ける。一方、現在のループｌｌが処理ループの総数に達していない場合には、ステップＳ１５へ移行する。なお、この処理ループの総数は、例えば５回等任意に設定することができる。
【００５４】
ステップＳ１５において、抽出したｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）において、いずれが目標符号量に近いかを判定する。具体的には、ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ））とａｂｓ（Ｍ−ｔｏｔａｌ（ｊ−１））とを比較し、いずれが大きいか判定する。その結果、ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ））＞ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ−１））の場合には、変数ｊｊをｊに置き換える。一方、ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ））≦ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ−１））の場合には、変数ｊｊをｊ−１に置き換える（なおこのａｂｓ（）は絶対値を意味する）。すなわち、抽出したｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）のうち、総符号量Ｍと遠い方の値が選択され、変数ｊｊにそれぞれ代入されることとなる。
【００５５】
次にステップＳ１６において、１フレーム分の総符号量ｔｏｔａｌ＿ｔｍｐを、ｔｏｔａｌ（ｊｊ）とする。これにより、１フレーム分の総符号量ｔｏｔａｌ＿ｔｍｐを、総符号量Ｍと遠い方のｔｏｔａｌ（ｊ−１）或いはｔｏｔａｌ（ｊ）に置き換えることができる。
【００５６】
次に、ステップＳ１７へ移行し、各ブロックについて求めたａｓｓｉｇｎ（ｋ）を、各ブロック毎にｌｅｎｇｔｈ（ｊｊ，ｋ）へ割り振る。これにより、次のループｌｌへ移行して再度ａｓｓｉｇｎ（ｋ）を求める場合には、値の割り振られたｌｅｎｇｔｈ（ｊｊ，ｋ）を参酌することが可能となる。
【００５７】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置１は、ブロック毎に、ＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、目標符号量を満たすように選択することができる。また、ＤＰＣＭパスからの符号量を優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、更には画像の圧縮過程における歪みを低減させることが可能となる。また、二分探索法を用いて量子化ステップを決定することができるため、予測部４における量子化ステップの数を抑えることができ、回路構成を簡単にできる分においてハード的に有利となる。
【００５８】
なお、本実施の形態は、上記記載に限定されるものではない。例えば図５に示す画像圧縮符号化装置５のように、二分探索部等の探索部を用いない構成にも適用可能である。以下、画像圧縮符号化装置５の詳細を説明する。なお、上述した画像圧縮符号化装置１と同一の回路構成要素は、画像圧縮符号化装置１の説明を引用し、説明を省略する。
【００５９】
この画像圧縮符号化装置５は、端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、本線系２及び予測系４へ送信する。
【００６０】
本線系２は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ２１，ＤＣＴ部，量子化部３５，第１の可変長符号化部２６からなるＤＣＴパスと、ＤＰＣＭ部２８，第２の可変長符号化部２９からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００６１】
量子化部３５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で決定された量子化ステップに基づき量子化する。この量子化部３５は、この量子化されたデータ（以下、量子化レベルと称する）を可変長符号化部２６へ供給する。
【００６２】
セレクタ３０は、第１の可変長符号化部２６、及び／又は第２の可変長符号化部２９により可変長符号化された各種データを適宜切り替え、当該切替情報とともにバッファ３１へ出力する。ちなみに、このセレクタ３０は、予測系４から供給されるセレクト信号に基づき切り替えられる場合もある。
【００６３】
予測系４は、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ＤＰＣＭ部４５，符号量変換器４６からなるＤＰＣＭパスと、演算部４８とを備える。ちなみに、この予測系４におけるＤＣＴパスの処理段数ｎは、量子化ステップの総数に相当する。これは二分探索法を採用する画像圧縮符号化装置１と比較して多くの量子化ステップにより予測を試みることができるため、精度の高い量子化コントロールを実現するためである。
【００６４】
演算部４８は、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量が入力され、また符号量変換器４６からＤＰＣＭ処理された符号量が入力される。演算部４８は、これらの入力される各ブロック毎の符号量に基づき、各ブロック毎の割当符号量とセレクト信号とを求めて、本線系２へ出力する。本線系２に出力された割当符号量は量子化部３５へ送られ、またセレクト信号はセレクタ３０へ送られる。ちなみにこの演算部４８において、例えば１フレーム分の総符号量を求める場合にブロック毎の符号量の累積値を求める必要があるため、１フレーム分の計算時間を要することになる。
【００６５】
次に、この演算部４８による割当符号量の算出について説明をする。図６は、演算部４８の構成例を示している。演算部４８は、ｎ個の比較部２０１−１〜２０１−ｎと、ｎ個のセレクタ２０２−１〜２０２−ｎと、ｎ個のメモリ２０３−１〜２０３−ｎと、ｎ個の加算器２０４−１〜２０４−ｎと、ｎ個の累積回路２０５−１〜２０５−ｎと、演算処理部２０６とを備える。
【００６６】
比較部２０１−１〜２０１−ｎは、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）が入力され、またＤＰＣＭパスを介して符号量変換器４６からＤＰＣＭ処理された符号量ｄｐｃｍ（ｋ）が入力される。例えば、比較部２０１−１には、符号量変換部４３−１からの符号量ｌｅｎｇｔｈ（１，ｋ）と、ＤＰＣＭ処理された符号量ｄｐｃｍ（ｋ）が入力される。この比較部２０１−１〜２０１−ｎは、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）、及びＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）について小さい方を選択し、選択した情報を含むセレクト信号を出力する。
【００６７】
セレクタ２０２−１〜２０２−ｎは、比較部２０１−１〜２０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ２０２−１〜２０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ２０２−１〜２０２−ｎにより選択された符号量は、そのままメモリ２０３−１〜２０３−ｎ、加算器２０４−１〜２０４−ｎへ供給される。
【００６８】
メモリ２０３−１〜２０３−ｎは、各ブロック毎に、セレクト信号と符号量を格納する。すなわち１フレーム分の処理が終了した段階で、このメモリ２０３−１〜２０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００６９】
加算器２０４−１〜２０４−ｎ及び累積回路２０５−１〜２０５−ｎは、セレクタ２０２−１〜２０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）とする。累積回路２０５−１〜２０５−ｎは、得られた総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を順次演算処理部２０６へ送信する。
【００７０】
演算処理部２０６は、各累積回路２０５−１〜２０５−ｎから夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を受信する。この演算処理部２０６は、１フレーム分の目標符号量とこれらの総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を比較し、目標符号量以上である総符号量ｔｏｔａｌ（ｊ−１）と、目標符号量以下である総符号量ｔｏｔａｌ（ｊ）とを特定する。すなわち、このｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）は、目標符号量を挟むように存在するものを指し、ｊは、ｔｏｔａｌ（ｊ−１）＞目標符号量を満たすｊのうち、最大のものを示す。
【００７１】
演算処理部２０６は、演算した総符号量に基づき、ｎ個の量子化ステップを参照しつつ、ブロック毎に最適な符号量を見積もる。そして当該ブロック毎に見積もった符号量に基づき、ａｓｓｉｇｎ（ｋ）を決定して上述した量子化部３５へ送信する。
【００７２】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置５は、ブロック毎に、複数の量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良くまた目標符号量を満たすように選択することができる。また、この演算処理部１０６において、ａｓｓｉｇｎ（ｋ）、ｄｐｃｍ（ｋ）をいわゆる優先度とし、この優先度が同レベルの場合には、ＤＰＣＭパスを優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となり、更にＤＣＴパスにより符号化する際に、精度の良い量子化コントロールを期待することができる。なお、本実施の形態では、優先度に基づいて選択する場合に限定されるものではない。
【００７３】
なお、本実施の形態は、更に図７に示す画像圧縮符号化装置６のように、ＤＰＣＭについて量子化を伴う構成にも適用可能である。以下、画像圧縮符号化装置６の詳細を説明する。なお、上述した画像圧縮符号化装置１と同一の回路構成要素は、画像圧縮符号化装置１の説明を引用し、説明を省略する。
【００７４】
この画像圧縮符号化装置６は、端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、本線系２及び予測系４へ送信する。
【００７５】
本線系２は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ２１，ＤＣＴ部２２，ＦＩＦＯメモリ２３，二分探索部２４，量子化部２５，第１の可変長符号化部２６からなるＤＣＴパスと、ＦＩＦＯメモリ２７，量子化部３５，ＤＰＣＭ部２８，第２の可変長符号化部２９，二分探索部３６からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００７６】
量子化部３５は、ＦＩＦＯメモリ２７に格納されたデータを受給し、ブロック単位で二分探索部３６により決められた量子化ステップにより量子化する。量子化部３５は、この量子化されたデータをＤＰＣＭ部２８へ供給する。
【００７７】
すなわち、この量子化を伴うＤＰＣＭパスを経ることにより、画像の圧縮の過程において何らかの歪みが付加されることになる。このためＤＣＴパスとＤＰＣＭパスのいずれかを選択する場合には、画像圧縮符号化装置１と同様に、符号量の小さい方を優先することに加え、圧縮の過程における歪みが小さい方をも優先的に選択する必要がある。具体的には、圧縮による歪みは、量子化により左右されるものであり、ＤＣＴとＤＰＣＭそれぞれに対して量子化ステップに応じて生じる。このため予測系４は、量子化を伴うＤＣＴパスからの符号量と、同じく量子化を伴うＤＰＣＭパスからの符号量に加え、画像の歪みを比較して、本線系２にセレクト信号を送る必要がある。
【００７８】
かかる予測系４の実現例について以下説明する。この予測系４は、図７に示すように、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ｍ個の量子化器５１−１〜５１−ｍ，ｍ個のＤＰＣＭ部５２−１〜５２−ｍ，ｍ個の符号量変換部５３−１〜５３−ｍからなるＤＰＣＭパスと、演算部５４とを備える。
【００７９】
ｍ個の量子化器５１−１〜５１−ｍは、ブロック単位で画像信号を受給し、夫々異なる量子化ステップで量子化する。すなわち、ＤＰＣＭパスにおいてもｍ個の量子化ステップによりサンプリングすることが可能となる。
【００８０】
ＤＰＣＭ部５２−１〜５２−ｍは、量子化された画像信号についてブロック毎にＤＰＣＭを施し、符号量変換部５３−１〜５３−ｍへ供給する。符号量変換部５３−１〜５３−ｍは、これらのＤＰＣＭ化された信号についてブロック毎に符号化して演算部５４へ出力する。
【００８１】
演算部５４は、ＤＣＴパス側からは、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量等が入力され、ＤＰＣＭパス側からは、異なる量子化ステップにより量子化されＤＰＣＭ処理された符号量等が入力される。演算部５４は、これらの入力される各ブロック毎の符号量や画像の歪みを比較して、各ブロック毎の割当符号量とセレクト信号とを求め、本線系２へ出力する。なお、この予測系４においてＤＰＣＭ部５２−１〜５２−ｍと、量子化器５１−１〜５１−ｍとを入れ換えて構成してもよい。これにより、先ずＤＰＣＭ部５２−１〜５２−ｍにおいて、ＤＰＣＭ化された信号を夫々異なる量子化ステップで量子化することができる。
【００８２】
次に、この演算部５４による割当符号量の算出について説明をする。図８は、演算部５４の構成例を示している。演算部５４は、ｎ個の比較部３０１−１〜３０１−ｎと、ｎ個のセレクタ３０２−１〜３０２−ｎと、ｎ個のメモリ３０３−１〜３０３−ｎと、ｎ個の加算器３０４−１〜３０４−ｎと、ｎ個の累積回路３０５−１〜３０５−ｎと、演算処理部３０６とを備える。
【００８３】
比較部３０１−１〜３０１−ｎは、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）が入力され、またＤＰＣＭパスを介して符号量変換器５３−１〜５３−ｍからＤＰＣＭ処理された符号量ｄｐｃｍ（１，ｋ）〜ｄｐｃｍ（ｍ，ｋ）が入力される。なお、この比較部３０１−１〜３０１−ｎは、ＤＣＴパスにおける符号量と、当該ＤＣＴパスにおける符号量よりも歪みが小さくなるＤＰＣＭパスにおける符号量とを比較するようにする。ちなみに図８に示す例において、比較部３０１−１や比較部３０１−２に入力されるｄｐｃｍ（１，ｋ）は、ｌｅｎｇｔｈ（１，ｋ）やｌｅｎｇｔｈ（２，ｋ）よりも歪みが小さく、また比較部３０１−３に入力されるｄｐｃｍ（３，ｋ）は、ｌｅｎｇｔｈ（３，ｋ）よりも歪みが小さい。
【００８４】
比較部３０１−１〜３０１−ｎは、この入力されたＤＣＴパスからの符号量と、ＤＰＣＭパスからの符号量について小さい方を選択し、選択した情報を含むセレクト信号を出力する。これにより、画像の圧縮による歪みを抑えつつ、目標符号量を満たすように、セレクト信号を出力することが可能となる。
【００８５】
セレクタ３０２−１〜３０２−ｎは、比較部３０１−１〜３０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ３０２−１〜３０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ３０２−１〜３０２−ｎにより選択された符号量は、そのままメモリ３０３−１〜３０３−ｎ、加算器３０４−１〜３０４−ｎへ供給される。
【００８６】
メモリ３０３−１〜３０３−ｎは、各ブロック毎に、セレクト信号と符号量を格納する。すなわち１フレーム分の処理が終了した段階で、このメモリ３０３−１〜３０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００８７】
加算器３０４−１〜３０４−ｎ及び累積回路３０５−１〜３０５−ｎは、セレクタ３０２−１〜３０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）とする。累積回路３０５−１〜３０５−ｎは、得られた総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を順次演算処理部３０６へ送信する。
【００８８】
演算処理部３０６は、各累積回路３０５−１〜３０５−ｎから夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を受信する。この演算処理部３０６は、１フレーム分の目標符号量とこれらの総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を比較し、目標符号量以上である総符号量ｔｏｔａｌ（ｊ−１）と、目標符号量以下である総符号量ｔｏｔａｌ（ｊ）とを特定する。これらの特定した符号量に基づく割当符号量ａｓｓｉｇｎ（ｋ）の計算については、画像圧縮符号化装置１における演算部４４の説明を引用し、説明を省略する。
【００８９】
このようにして予測系４からは、この演算処理部から出力される割当符号量ａｓｓｉｇｎ（ｋ）と、セレクト信号が出力される。この出力された割当符号量ａｓｓｉｇｎ（ｋ）は、二分探索部２４，３６へ供給される。
【００９０】
二分探索部２４，３６は、セレクト信号がＤＣＴ側になっている場合において、ブロックの発生符号量が目標符号量に収まるように量子化ステップを決定する。決定された量子化ステップに基づき、本線系２における量子化部２５，３５はブロック単位で量子化を施す。
【００９１】
なおこの画像圧縮符号化装置６は、図７に示す構成に限定されるものではなく、例えば図９に示すように、二分探索法を用いない構成にも適用可能である。
【００９２】
この図９に示す画像圧縮符号化装置６の例では、量子化部３５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で決定された量子化ステップに基づき量子化する。この量子化部３５は、この量子化されたデータを可変長符号化部２６へ供給する。
【００９３】
演算処理部３０６は、演算した総符号量に基づき、ｎ個の量子化ステップを参照しつつ、ブロック毎に最適な符号量を見積もる。そして当該ブロック毎に見積もった符号量に基づき、量子化ステップを決定して上述した量子化部３５へ送信する。これにより、二分探索法を採用する図７に示す画像圧縮符号化装置６と比較して多くの量子化ステップにより予測を試みることができるため、精度の高い量子化コントロールを実現することが可能となる。
【００９４】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置６は、ブロック毎に、複数の量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良くまた目標符号量を満たすように選択することができる。また、ＤＰＣＭパスからの符号量を優先的に選択した場合には、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【００９５】
なお、本実施の形態は、画像圧縮符号化装置１，５，６に適用される場合に限定されるものではない。例えば、この画像圧縮符号化装置１，５，６の各構成要素を伝送路上に配設することにより、伝送路上においても、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【００９６】
なお、本実施の形態ではブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成することにより可逆的な画像圧縮を行うが、かかる場合に限定されるものではない。また、非可逆的な画像圧縮方式についてもＤＰＣＭに限定されるものではない。即ち、第１の圧縮方式と、第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いるものであればよい。
【００９７】
またこの第１の圧縮方式と第２の圧縮方式とを切り替えることができる画像圧縮符号化装置及び方法、プログラムに対しても適用可能である。
【００９８】
この画像圧縮符号化装置は、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を符号化方式選択単位で選択して画像信号を圧縮符号化する画像圧縮符号化装置において、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算する演算手段と、上記演算手段により演算された総符号量と、等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択する選択手段と、上記選択手段によって選択された圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化する圧縮符号化手段とを備える。
【００９９】
このような画像圧縮符号化装置において、上記第１の圧縮方式及び／又は上記第２の圧縮方式は、上記画像信号を夫々複数の異なる量子化ステップにより量子化する方式としてもよい。また、上記演算手段により演算された総符号量と、上記等長化単位における目標符号量とを比較し、当該比較結果に応じて上記第１の圧縮方式における量子化ステップを決定する決定手段をさらに備え、上記選択手段は、上記決定手段により決定された量子化ステップにより上記量子化する第１の圧縮方式、或いは上記第２の圧縮方式の一方を符号化方式選択単位毎に選択するようにしてもよい。上記選択手段は、上記第１の圧縮方式、或いは上記第２の圧縮方式を所定の優先度に基づいて選択するようにしてもよい。また上記選択手段は、上記第１の圧縮方式、或いは上記第２の圧縮方式の優先度が等しい場合には、上記第１の圧縮方式、或いは上記第２の圧縮方式のうちいずれか一方を選択するようにしてもよい。また、上記選択手段は、上記第２の圧縮方式を優先的に選択するようにしてもよい。また、上記第１の圧縮方式は、上記画像信号をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換し、上記ＤＣＴ変換された画像信号を量子化する方式としてもよい。また上記第２の圧縮方式は、可逆符号化（Ｌｏｓｓｌｅｓｓ）方式としてもよい。また、上記第２の圧縮方式は、上記画像信号をＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）によって符号化する方式としてもよい。また、上記演算手段は、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のうち小さい方の符号量を上記符号化方式選択単位毎に加算することにより、等長化単位の総符号量を演算してもよい。
【０１００】
この画像圧縮符号化方法は、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を上記符号化方式選択単位で選択して画像信号を圧縮符号化する画像圧縮符号化方法において、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを上記符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算する演算工程と、上記演算工程において演算された総符号量と、上記等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択する選択工程と、上記選択工程において選択された圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化する圧縮符号化工程とを有する。
【０１０１】
このような画像圧縮符号化方法において、上記第１の圧縮方式及び／又は上記第２の圧縮方式は、上記画像信号を夫々複数の異なる量子化ステップにより量子化する方式であり、上記演算した総符号量と、上記等長化単位における目標符号量とを比較し、当該比較結果に応じて上記第１の圧縮方式における量子化ステップを決定する決定工程をさらに備え、上記選択工程では、上記決定工程で決定された量子化ステップにより上記第１の圧縮方式、或いは上記第２の圧縮方式が、上記符号化方式選択単位毎に選択されるようにしてもよい。また、上記選択工程では、上記第１の圧縮方式、或いは上記第２の圧縮方式が所定の優先度に基づいて選択されるようにしてもよい。また、上記選択工程では、上記第１の圧縮方式、或いは上記第２の圧縮方式の優先度が等しい場合には、第１の圧縮方式或いは上記第２の圧縮方式のうちいずれか一方が選択されるようにしてもよい。また上記選択工程では、上記第２の圧縮方式が優先的に選択されるようにしてもよい。また、上記第１の圧縮方式は、上記画像信号をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換し、上記ＤＣＴ変換された画像信号を量子化する方式としてもよい。また上記第２の圧縮方式は、可逆符号化（Ｌｏｓｓｌｅｓｓ）方式により符号化する方式としてもよい。また、上記第２の圧縮方式は、入力画像信号をＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）によって符号化する方式としてもよい。また、上記演算工程では、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のうち小さい方の符号量が上記符号化方式選択単位毎に加算されることにより、等長化単位の総符号量が演算されるようにしてもよい。
【０１０２】
また、このプログラムでは、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を上記符号化方式選択単位単位で選択して画像信号を圧縮符号化することをコンピュータに実行させるプログラムにおいて、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを上記符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算し、演算した総符号量と、上記等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択し、上記選択した圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化することをコンピュータに実行させる。
【０１０３】
このような構成からなる画像圧縮符号化装置及び方法、プログラムでは、ブロック毎に、複数の量子化ステップにより量子化された第１の圧縮方式、或いは第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式からの符号量を効率よく、また目標符号量を満たすように選択することができる。また、第２の圧縮方式からの符号量を優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【０１０４】
【発明の効果】
以上詳細に説明したように、本発明に係る画像圧縮符号化装置及び方法は、ブロック毎に、多くの量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、また目標符号量を満たすように選択することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像圧縮符号化装置の内部構成例を示した図である。
【図２】演算部の内部構成について説明するための図である。
【図３】演算処理部の処理手順を示すフローチャートである。
【図４】ｔｏｔａｌ（ｊ−１）及びｔｏｔａｌ（ｊ）のうち、目標符号量から離れたものと置き換えてａｓｓｉｇｎ（ｋ）を計算する場合について説明するためのフローチャートである。
【図５】二分探索法を用いない画像圧縮符号化装置の構成を示した図である。
【図６】二分探索法を用いない画像圧縮符号化装置における演算部について説明するための図である。
【図７】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置の構成について示した図である。
【図８】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置における演算部について説明するための図である。
【図９】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置において、二分探索法を用いない場合について説明するための図である。
【図１０】ＭＰＥＧ方式を利用した従来の画像圧縮符号化装置の構成を示した図である。
【符号の説明】
１，５，６ 画像圧縮符号化装置、２ 本線系、４ 予測系、１１ 端子、１２ブロック分割部、２１，２３，２７ ＦＩＦＯメモリ、２２ ＤＣＴ部、２４ 二分探索部、２５ 量子化部、２６ 第１の可変長符号化部、２８ ＤＰＣＭ部、２９ 第２の可変長符号化部、３０ セレクタ、３１ バッファ
【発明の属する技術分野】
本発明は、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｉｍａｇｅ ｃｏｄｉｎｇ ＥｘｐｅｒｔｓＧｒｏｕｐ）等に適用され、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や、例えばＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）を用いた符号化による発生情報量を制御可能な画像圧縮符号化装置及び方法に関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいて、動画像信号をそのままディジタル化すると情報量が極めて多くなる。しかし、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化することによって情報量を減らすことができ、一度に多くの動画像を伝送することが可能となり、ひいては、記録媒体に対して長時間の動画像を記録することが可能となる。動画像の高能率符号化方式として代表的なものとしてＭＰＥＧ方式がある。このＭＰＥＧ方式では、伝送路に送出されるビットストリームが所望のレートになるように、符号量制御を行う。
【０００３】
図１０は、ＭＰＥＧ方式に代表される従来の画像圧縮符号化装置７の構成を示している。この従来の画像圧縮符号化装置７は、入力された画像信号をＤＣＴ変換した上で量子化するＤＣＴ符号化方式に基づき、非可逆的な画像圧縮を実現する。この画像圧縮符号化装置７は、端子７１と、ブロック分割部７２と、ＤＣＴ部７３と、量子化部７４と、可変長符号化部７５と、バッファ７９とを備える。
【０００４】
この図１０において、端子７１には、輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。
【０００５】
ブロック分割部７２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、ＤＣＴ部７３へ出力する。
【０００６】
ＤＣＴ部７３は、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、量子化部７４へ出力する。量子化部７４は、ＤＣＴ部７３から入力されたＤＣＴ係数を、ブロック単位で決められた量子化ステップにより量子化する。量子化部７４は、この量子化されたデータ（以下、量子化レベルと称する）を可変長符号化部７５へ供給する。可変長符号化部７５は、量子化部７４から供給された量子化レベルを、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。
【０００７】
ちなみに、この画像圧縮符号化装置７における符号量制御は、量子化ステップを制御することにより行なう。この符号量制御は、例えば仮想バッファの残量と、以前エンコーダした際の量子化ステップと発生符号量の関係を用いてフィードバック制御することにより行なう場合もある。
【０００８】
なお、この画像圧縮符号化装置７では、１フレーム（等長化単位）において発生する総符号量が、常に設定された目標符号量を越えないように符号量制御を行なう必要がある。しかしながら、目標符号量を満たすために、総符号量を多量に残してしまうと、却って画像品質の悪化を招くことになる。このため、従来において、目標符号量を満たしつつ総符号量を使い切るための符号量制御方法が提案されている。この符号量制御方法では、等長化単位において発生する符号量を、複数の量子化ステップについて予め計算し、発生符号量が目標符号量を越えない範囲で適切な量子化ステップを決定するものであり、例えばフィードフォワード方式として提案されている（例えば、特許文献１参照。）。
【０００９】
この従来のフィードフォワード方式等の符号量制御方法において、量子化ステップを大きくすると量子化が粗くなり総符号量が小さくなり、一方量子化ステップを小さくすると、量子化は細かくなり総符号量も多くなる。また量子化では離散値のみ取得することしかできないため、総符号量も離散的になる。すなわち、この量子化ステップをブロック単位で制御することにより、総符号量を制御することが可能となる。目標符号量を満たしつつ総符号量を使い切るためには、目標符号量以下であり、かつ一番小さな量子化ステップをブロック毎に選択する必要がある。
【００１０】
ちなみにこのＤＣＴ係数を、ブロック単位で決められた量子化ステップにより量子化するフィードフォワード方式は、画像の圧縮・伸張の過程において何らかの歪みが付加されるため、完全にもとの画像品質を保つことはできない。このため、理想的には、例えばＤＰＣＭのように、圧縮・伸張の過程を経てもとの情報を保存可能な可逆符号化（Ｌｏｓｓｌｅｓｓ）方式を採用することにより、画質の劣化を防止する必要があった。
【００１１】
【特許文献１】
国際公開公報ＷＯ９６／２８９３７
【００１２】
【発明が解決しようとする課題】
ところで、上述した可逆符号化方式を採用した場合に、設定された目標符号量を越えないような符号量制御を実現することができない場合があるため、フィードフォワード方式と可逆符号化方式を組み合わせ、目標符号量を越えないようにフレーム総符号量を使い切る必要がある。
【００１３】
しかしながら、ブロック毎に各方式を効率良く選択することができず、目標符号量を参照しつつ、フレーム全体の総符号量を制御することができないという問題点があった。
【００１４】
そこで本発明は上述した実情に鑑みて提案されたものであり、各ブロック毎にフィードフォワード方式、或いは可逆符号化方式を効率よく選択することにより、フレーム全体の総符号量を効率良く制御可能な画像圧縮符号化装置及び方法、プログラムを提案することを目的とする。
【００１５】
【課題を解決するための手段】
本発明を適用した画像圧縮符号化装置は、上述した問題点を解決するために、入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて上記符号化方式選択単位で選択し、これを符号化する画像圧縮符号化装置において、上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を発信する選択手段と、上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込む切替手段と、上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより符号化方式選択単位の総符号量を演算する演算手段と、上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御する制御手段とを備える。
【００１６】
また、本発明を適用した画像圧縮符号化方法は、上述した問題点を解決するために、入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて符号化方式選択単位で選択し、これを符号化する画像圧縮符号化方法において、上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮についてセレクト信号を発信し、上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込み、上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御する。
【００１７】
また、本発明を適用したプログラムは、上述した問題点を解決するために、入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて符号化方式選択単位で選択し、これを符号化することをコンピュータに実行させるためのプログラムにおいて、上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮についてセレクト信号を発信し、上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込み、上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御することをコンピュータに実行させる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００１９】
本実施の形態に係る画像圧縮符号化装置は、入力された画像信号を、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換した上で量子化することにより非可逆的な画像圧縮を実現し、或いは入力された画像信号を、例えばＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）等に基づき可逆的な符号化を実現する。
【００２０】
画像圧縮符号化装置１には、図１に示すように端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を、符号化方式選択単位で選択し、本線系２及び予測系４へ送信する。この符号化方式選択単位とは、例えば８×８のブロック単位、１６×１６のマクロブロック単位、スライス単位、又は複数の画素からなる画像領域に分割する場合を示すが、以下では、８×８のブロック単位で分割した場合を例にとり説明する。
【００２１】
本線系２は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ２１，ＤＣＴ部２２，ＦＩＦＯメモリ２３，二分探索部２４，量子化部２５，第１の可変長符号化部２６からなるＤＣＴパスと、ＦＩＦＯメモリ２７，ＤＰＣＭ部２８，第２の可変長符号化部２９からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００２２】
先ずＤＣＴパスについて説明する。本線系２に供給されたデータは、予測系４から後述するセレクト信号と符号量が供給されるまでのインターバルを調整するためにＦＩＦＯメモリ２１に一時格納される。このＦＩＦＯメモリ２１に格納されたデータは、ＤＣＴ部２２及びＦＩＦＯメモリ２７へ供給される。
【００２３】
ＤＣＴ部２２は、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、ＦＩＦＯメモリ２３及び二分探索部２４へ送信する。ＦＩＦＯメモリ２３に一時格納されたＤＣＴ係数は量子化部２５へ出力される。量子化部２５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で二分探索部２４により決められた量子化ステップにより量子化する。量子化部２５は、この量子化されたデータ（以下、量子化レベルと称する）を第１の可変長符号化部２６へ供給する。第１の可変長符号化部２６は、量子化部２５から供給された量子化レベルを、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。ちなみに本実施の形態に係る画像圧縮符号化装置１では、この第１の可変長符号化部２６を省略した構成を適用してもよい。
【００２４】
すなわち、このＤＣＴパスを経ることにより、二分探索部２４を介して各ブロック毎に供給される量子化ステップに基づき、画像信号を符号化することができるため、１フレームの総符号量が目標符号量を越えないように制御することが可能となる。この二分探索部２４を用いる方法は、一例に過ぎず、他の方式を用いてもよい。
【００２５】
次にＤＰＣＭパスについて説明をする。ＤＰＣＭ部２８は、上述したＤＣＴパスにおける遅延素子的な役割を担うＦＩＦＯメモリ２７上に格納されたデータが供給され、当該データに対してブロック毎にＤＰＣＭを施して第２の可変長符号化部２９へ供給する。第２の可変長符号化部２９は、ＤＰＣＭが施されたデータに対して、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。なお、この第２の可変長符号化部２９における可変長符号化の方法は、上述の第１の可変長符号化部２６における方法と同様である必要はない。また、本実施の形態に係る画像圧縮符号化装置１では、この第２の可変長符号化部２９を省略した構成を適用してもよい。
【００２６】
セレクタ３０は、第１の可変長符号化部２６、又は第２の可変長符号化部２９により可変長符号化された各種データを適宜切り替え、当該切替情報とともにバッファ３１へ出力する。ちなみに、このセレクタ３０は、予測系４から供給されるセレクト信号に基づき切り替えられる。
【００２７】
すなわち、このＤＰＣＭパスを経ることにより、何らかの歪みが付加されることなく、完全にもとの画像品質を保つことができるように可逆符号化することができる。
【００２８】
予測系４は、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ＤＰＣＭ部４５，符号量変換器４６からなるＤＰＣＭパスと、演算部４４とを備える。この予測系４は、等長化単位で発生する総符号量を計算し、本線系２が目標符号量を越えない範囲で適切なＤＣＴパス或いはＤＰＣＭパスを選択できるように設けられたものである。この等長化単位とは、本実施の形態では１フレームを意味するが、係る場合に限定されるものではなく、例えば８×８のブロック、１６×１６のマクロブロック、それらの組み合わせたスライス単位としてもよい。またこの等長化単位は、複数の画素からなるいかなる画像領域であってもよく、さらにフレームを組み合わせたＧＯＰ単位としてもよい。
【００２９】
先ずＤＣＴパスについて説明をする。このＤＣＴパスは、例えば入力された画像信号をＤＣＴ変換した上で量子化するＤＣＴ符号化方式に基づき、非可逆的な画像圧縮を実現するものであり、ＤＰＣＭパスと比較して高圧縮率でロスが大きい。またこのＤＣＴパスにおける変換符号化は、ＤＣＴに限定されるものではなく、他の変換符号化方式を用いてもよい。またこのＤＣＴパスでは、８×８のブロック単位で変換符号化を行うが、かかる場合に限定されるものではなく、上述のマクロブロック単位でもよいし、また複数の画素からなる画像領域を一単位とするものであってもよい。
【００３０】
ＤＣＴ部４１は、ＤＣＴ部２２と同様に、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、各量子化器４２−１〜４２−ｎへ送信する。量子化器４２−１〜４２−ｎは、ＤＣＴ部４１から供給されたＤＣＴ係数を夫々異なる量子化ステップで量子化する。これにより、生成したＤＣＴ係数をｎ個の量子化ステップにより試すことが可能となる。また、各量子化器４２−１〜４２−ｎは、生成した量子化レベルを夫々符号量変換器４３−１〜４３−ｎへ供給する。符号量変換器４３−１〜４３−ｎは、供給される量子化レベルを夫々ブロック毎の符号量に変換し、演算部４４へ送信する。即ち、この符号量変換器４３−１〜４３−ｎにおける符号量の変換では、量子化器４２−１〜４２−ｎにより生成された量子化レベルを可変長符号化して、その符号長を出力するようにしてもよい。
【００３１】
次にＤＰＣＭパスについて説明をする。このＤＰＣＭパスは、例えばＤＰＣＭのように、圧縮、伸張の過程を経てもとの情報を保存可能な可逆符号化（Ｌｏｓｓｌｅｓｓ）方式に基づき、可逆的な画像圧縮を実現するものであり、ＤＣＴパスと比較して低圧縮率でロスが小さい。またこのＤＰＣＭパスでは、８×８のブロック単位で変換符号化を行うが、かかる場合に限定されるものではなく、上述のマクロブロック単位でもよいし、また複数の画素からなる画像領域を一単位とするものであってもよい。
【００３２】
ＤＰＣＭ部４５は、ブロック分割部１２からデータを受給し、これらについてブロック毎にＤＰＣＭを施し、符号量変換器４６へ送信する。符号量変換器４６は、これらＤＰＣＭ化された信号についてブロック毎に符号化して演算部４４へ送信する。即ち、この符号量変換器４６においても、ＤＰＣＭ化された信号を可変長符号化して、その符号長を出力するようにしてもよい。
【００３３】
演算部４４には、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量が入力され、また符号量変換器４６からＤＰＣＭ処理された符号量が入力される。演算部４４は、入力される各ブロック毎の符号量に基づき、各ブロック毎の割当符号量とセレクト信号とを求めて本線系２へ出力する。ちなみにこの演算部４４において等長化単位の総符号量を求める場合には、ブロック毎の符号量の累積値を求める必要があるため、１フレーム分の計算時間を要することになる。
【００３４】
次に、この演算部４４による割当符号量の算出について説明をする。図２は、演算部４４の構成例を示している。演算部４４は、ｎ個の比較部１０１−１〜１０１−ｎと、ｎ個のセレクタ１０２−１〜１０２−ｎと、ｎ個のメモリ１０３−１〜１０３−ｎと、ｎ個の加算器１０４−１〜１０４−ｎと、ｎ個の累積回路１０５−１〜１０５−ｎと、演算処理部１０６とを備える。
【００３５】
比較部１０１−１〜１０１−ｎは、ｋ番目のブロックに関して、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）が入力され、またＤＰＣＭパスを介して符号量変換器４６からＤＰＣＭ処理された符号量ｄｐｃｍ（ｋ）が入力される。例えば、比較部１０１−１には、符号量変換部４３−１からの符号量ｌｅｎｇｔｈ（１，ｋ）と、ＤＰＣＭ処理された符号量ｄｐｃｍ（ｋ）が入力される。この比較部１０１−１〜１０１−ｎは、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）、とＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）との間で、それぞれ小さい方を選択する。そして、この比較部１０１−１〜１０１−ｎは、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）、及びＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）のうち、いずれを選択したかを示すセレクト信号を出力する。
【００３６】
セレクタ１０２−１〜１０２−ｎは、比較部１０１−１〜１０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ１０２−１〜１０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ１０２−１〜１０２−ｎにより選択された符号量は、そのままメモリ１０３−１〜１０３−ｎ、加算器１０４−１〜１０４−ｎへ供給される。
【００３７】
メモリ１０３−１〜１０３−ｎは、各ブロック毎に、何れの符号量を選択したかを識別するためのセレクト信号と、セレクタ１０２−１〜１０２−ｎにおいて選択された符号量を格納する。すなわち等長化単位、例えば１フレーム分の処理が終了した段階で、各メモリ１０３−１〜１０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、１フレーム分格納されている状態となっている。換言すれば、各メモリ１０３−１〜１０３−ｎには、ブロック単位で選択した符号量として、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）、又はＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）のうち、いずれかが格納されている状態となる。従って、各メモリ１０３−１〜１０３−ｎを合わせると、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００３８】
加算器１０４−１〜１０４−ｎ及び累積回路１０５−１〜１０５−ｎは、セレクタ１０２−１〜１０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）とする。累積回路１０５−１〜１０５−ｎは、得られた総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を順次演算処理部１０６へ送信する。
【００３９】
演算処理部１０６は、各累積回路１０５−１〜１０５−ｎから夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を受信した場合に、以下の図３に示す手順を実行する。先ずステップＳ１において、演算処理部１０６は、等長化単位の目標符号量とこれらの総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を比較する。そして、この演算処理部１０６は、目標符号量を超える総符号量のうち、目標符号量に最も近い総符号量ｔｏｔａｌ（ｊ−１）を特定する。即ち、この総符号量ｔｏｔａｌ（ｊ−１）は、目標符号量の直上の符号量であり、換言すれば、目標符号量を超える総符号量のうち最小の符号量からなる。また、この演算処理部１０６は、目標符号量以下の総符号量のうち、目標符号量に最も近い総符号量ｔｏｔａｌ（ｊ）を特定する。即ち、この総符号量ｔｏｔａｌ（ｊ−１）は、目標符号量の直下の符号量であり、換言すれば、目標符号量以下の総符号量のうち最大の符号量からなる。
【００４０】
次にステップＳ２へ移行し、演算処理部１０６は、この識別したｔｏｔａｌ（ｊ−１）と、ｔｏｔａｌ（ｊ）に基づき、メモリ１０３−ｊ−１、メモリ１０３−ｊに格納されている各ブロック毎の符号量とセレクト信号を読み出す。なお、メモリ１０３−ｊ−１には、ｋ番目のブロックの符号量として、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（ｊ−１，ｋ）、又はＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）が格納されている。このため、このステップＳ２において、メモリ１０３−ｊ−１から読み出される符号量は、ｌｅｎｇｔｈ（ｊ−１，ｋ）又はｄｐｃｍ（ｋ）となる。またメモリ１０３−ｊには、ｋ番目のブロックの符号量として、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（ｊ，ｋ）、又はＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）が格納されている。このため、このステップＳ２におてメモリ１０３−ｊから読み出される符号量は、ｌｅｎｇｔｈ（ｊ，ｋ）又はｄｐｃｍ（ｋ）となる。ちなみに、以後のステップでは、メモリ１０３−ｊ−１、メモリ１０３−ｊから読み出した各ブロック毎の符号量とセレクト信号を用いる。
【００４１】
次にステップＳ３へ移行し、この演算処理部１０６は、線形補間を用いることにより、各ブロックに対する割当符号量ａｓｓｉｇｎ（ｋ）を算出する。
【００４２】
ここで、等長化単位の目標符号量をＭとし、またメモリ１０３−ｊ−１から読み出された符号量がｌｅｎｇｔｈ（ｊ−１，ｋ）であり、メモリ１０３−ｊから読み出された符号量がｌｅｎｇｔｈ（ｊ，ｋ）である場合において、割当符号量ａｓｓｉｇｎ（ｋ）は、以下の式（１）により求められる。
ａｓｓｉｇｎ（ｋ）＝｛（ｔｏｔａｌ（ｊ−１）−Ｍ）＊ｌｅｎｇｔｈ（ｊ，ｋ）＋（Ｍ−ｔｏｔａｌ（ｊ））＊ｌｅｎｇｔｈ（ｊ−１，ｋ）｝／｛ｔｏｔａｌ（ｊ−１）−ｔｏｔａｌ（ｊ）｝・・・・・・（１）
またメモリ１０３−ｊ−１から読み出された符号量がｄｐｃｍ（ｋ）であり、メモリ１０３−ｊから読み出された符号量がｌｅｎｇｔｈ（ｊ，ｋ）である場合において、割当符号量ａｓｓｉｇｎ（ｋ）は、以下の式（２）により求められる。
ａｓｓｉｇｎ（ｋ）＝｛（ｔｏｔａｌ（ｊ−１）−Ｍ）＊ｌｅｎｇｔｈ（ｊ，ｋ）＋（Ｍ−ｔｏｔａｌ（ｊ））＊ｄｐｃｍ（ｋ）｝／｛ｔｏｔａｌ（ｊ−１）−ｔｏｔａｌ（ｊ）｝・・・・・・・・・（２）
またメモリ１０３−ｊ−１から読み出された符号量がｄｐｃｍ（ｋ）であり、メモリ１０３−ｊから読み出された符号量がｄｐｃｍ（ｋ）である場合において、割当符号量ａｓｓｉｇｎ（ｋ）は、以下の式（３）により求められる。
ａｓｓｉｇｎ（ｋ）＝｛（ｔｏｔａｌ（ｊ−１）−Ｍ）＊ｄｐｃｍ（ｋ）＋（Ｍ−ｔｏｔａｌ（ｊ））＊ｄｐｃｍ（ｋ）｝／｛ｔｏｔａｌ（ｊ−１）−ｔｏｔａｌ（ｊ）｝・・・・・・・・・・・（３）
上述のように各ブロック毎に割り当てる割当符号量ａｓｓｉｇｎ（ｋ）を求めることにより目標符号量に対して符号量のロスが少ない、高効率の符号量制御を実現することができる。
【００４３】
次にステップＳ４へ移行し、演算処理部１０６は、各ブロック毎に求めたａｓｓｉｇｎ（ｋ）を、最後に各ブロック毎のｄｐｃｍ（ｋ）と比較する。その結果、ａｓｓｉｇｎ（ｋ）がｄｐｃｍ（ｋ）以上であれば、ステップＳ５へ移行し、またａｓｓｉｇｎ（ｋ）がｄｐｃｍ（ｋ）を下回る場合には、ステップＳ６へ移行する。
【００４４】
ステップＳ５へ移行した場合には、ステップ当該ブロックｋについて、画像品質の高いＤＰＣＭパスを介して符号化しても、総符号量を目標符号量以下に抑えることができることを意味する。かかる場合において、演算処理部１０６は、セレクト信号をＤＰＣＭ側に切り替え、ａｓｓｉｇｎ（ｋ）をｄｐｃｍ（ｋ）に置き換えて出力する。
【００４５】
ステップＳ６へ移行した場合には、当該ブロックｋについては上述の如くａｓｓｉｇｎ（ｋ）を求めることにより見積もった符号量よりも、ＤＰＣＭパスによる符号量の方が多いため、ＤＣＴ側を選択した方が、総符号量を目標符号量に対して低く抑えることができる。このため演算処理部１０６は、セレクト信号をＤＣＴ側にして、求めたａｓｓｉｇｎ（ｋ）をそのまま出力する。
【００４６】
この演算処理部１０６において、このａｓｓｉｇｎ（ｋ）と、ｄｐｃｍ（ｋ）を、ＤＣＴパス又はＤＰＣＭパスの何れを選択するかについての優先度と考えることができる。この優先度に基づいて、ＤＣＴパス或いはＤＰＣＭパスの何れかを選択するものであれば、いかなる選択方法を適用してもよい。例えば、この優先度が等しい場合には、ＤＣＴパス或いはＤＰＣＭパスの何れかを選択するようにしてもよいし、ＤＰＣＭパスを選択するようにしてもよい。
【００４７】
またステップＳ４における優先度は、ａｓｓｉｇｎ（ｋ）、ｄｐｃｍ（ｋ）に基づく場合に限定されるものではない。即ち、ステップＳ４における比較において、所定の優先度に基づくものであれば、例えば、ａｓｓｉｇｎ（ｋ）がｄｐｃｍ（ｋ）以上であっても、ステップＳ６へ移行する場合もある。
【００４８】
予測系４からは、この演算処理部から出力される割当符号量ａｓｓｉｇｎ（ｋ）と、セレクト信号が出力される。この出力された割当符号量ａｓｓｉｇｎ（ｋ）は、二分探索部２４へ供給される。
【００４９】
二分探索部２４は、セレクト信号がＤＣＴ側になっている場合において、ブロックの発生符号量が目標符号量に収まるように量子化ステップを決定する。二分探索部２４は、この量子化ステップを決定する際に、特願平４−１１０８５８号公報に提案した方法を採用しても良い。発生符号量が量子化ステップの増大に対して単調減少することを利用して二分探索法によって量子化ステップを決定する。この決定された量子化ステップにより、量子化器２５により量子化される。なお二分探索法は一例に過ぎず、ブロックの発生符号量が目標符号量に収まるように量子化ステップが決定されるのであればどのような方式であってもよい。
【００５０】
一方、セレクト信号がＤＰＣＭ側に切り替わっている場合には、セレクタ３０がＤＰＣＭパスに切り替えられ、当該ブロックについては、ＤＰＣＭを介した符号化が行なわれることになる。
【００５１】
なお、演算処理部１０６は、それぞれ目標符号量の直上、直下にあるｔｏｔａｌ（ｊ−１）と、ｔｏｔａｌ（ｊ）を識別することができない場合には、ｔｏｔａｌ（ｊ−１）と、ｔｏｔａｌ（ｊ）の間に目標符号量を挟み込むいわゆる内挿により割当符号量ａｓｓｉｇｎ（ｋ）を求めることができない。かかる場合には、目標符号量を挟まず、かつ目標符号量に最も近い、二つのｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）を用いるいわゆる外挿により、ａｓｓｉｇｎ（ｋ）を求める。かかる外挿においても、割当符号量ａｓｓｉｇｎ（ｋ）は、上式（１）〜（３）を用いて計算する。しかしながら、この場合においてＤＰＣＭパスの符号量が小さいという理由で、ＤＰＣＭパスを介して符号化しても、却って符号量が余る場合がある。かかる場合には、図４に示すフローチャートの如くａｓｓｉｇｎ（ｋ）と総符号量ｔｏｔａｌ＿ｔｍｐ（ａｓｓｉｇｎ（ｋ）の１フレーム分の総数）を、ｔｏｔａｌ（ｊ−１）及びｔｏｔａｌ（ｊ）の２つのうち、目標符号量からより遠い方と置き換えてａｓｓｉｇｎ（ｋ）を計算するようにしてもよい。
【００５２】
この図４に示すフローチャートにおいて、先ずステップＳ１１で処理ループｌｌを初期値に設定し、ステップＳ１２へ移行する。ステップＳ１２では、目標符号量に最も近いｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）を用いてａｓｓｉｇｎ（ｋ）を上式により計算し、ステップＳ１３へ移行する。ステップＳ１３において全てのブロックにつきａｓｓｉｇｎ（ｋ）を求めることにより、１フレーム分の総符号量ｔｏｔａｌ＿ｔｍｐを求めることができたか判定する。総符号量ｔｏｔａｌ＿ｔｍｐを求められている場合のみステップＳ１４へ移行し、それ以外はステップＳ１２の処理を繰り返す。
【００５３】
次にステップＳ１４へ移行し、現在のループｌｌが処理ループの総数に達したか判断する。ここで現在のループｌｌが処理ループの総数に達した場合は、繰り返し処理の末、所望のａｓｓｉｇｎ（ｋ）が求められたことが示され、ループから抜ける。一方、現在のループｌｌが処理ループの総数に達していない場合には、ステップＳ１５へ移行する。なお、この処理ループの総数は、例えば５回等任意に設定することができる。
【００５４】
ステップＳ１５において、抽出したｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）において、いずれが目標符号量に近いかを判定する。具体的には、ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ））とａｂｓ（Ｍ−ｔｏｔａｌ（ｊ−１））とを比較し、いずれが大きいか判定する。その結果、ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ））＞ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ−１））の場合には、変数ｊｊをｊに置き換える。一方、ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ））≦ａｂｓ（Ｍ−ｔｏｔａｌ（ｊ−１））の場合には、変数ｊｊをｊ−１に置き換える（なおこのａｂｓ（）は絶対値を意味する）。すなわち、抽出したｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）のうち、総符号量Ｍと遠い方の値が選択され、変数ｊｊにそれぞれ代入されることとなる。
【００５５】
次にステップＳ１６において、１フレーム分の総符号量ｔｏｔａｌ＿ｔｍｐを、ｔｏｔａｌ（ｊｊ）とする。これにより、１フレーム分の総符号量ｔｏｔａｌ＿ｔｍｐを、総符号量Ｍと遠い方のｔｏｔａｌ（ｊ−１）或いはｔｏｔａｌ（ｊ）に置き換えることができる。
【００５６】
次に、ステップＳ１７へ移行し、各ブロックについて求めたａｓｓｉｇｎ（ｋ）を、各ブロック毎にｌｅｎｇｔｈ（ｊｊ，ｋ）へ割り振る。これにより、次のループｌｌへ移行して再度ａｓｓｉｇｎ（ｋ）を求める場合には、値の割り振られたｌｅｎｇｔｈ（ｊｊ，ｋ）を参酌することが可能となる。
【００５７】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置１は、ブロック毎に、ＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、目標符号量を満たすように選択することができる。また、ＤＰＣＭパスからの符号量を優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、更には画像の圧縮過程における歪みを低減させることが可能となる。また、二分探索法を用いて量子化ステップを決定することができるため、予測部４における量子化ステップの数を抑えることができ、回路構成を簡単にできる分においてハード的に有利となる。
【００５８】
なお、本実施の形態は、上記記載に限定されるものではない。例えば図５に示す画像圧縮符号化装置５のように、二分探索部等の探索部を用いない構成にも適用可能である。以下、画像圧縮符号化装置５の詳細を説明する。なお、上述した画像圧縮符号化装置１と同一の回路構成要素は、画像圧縮符号化装置１の説明を引用し、説明を省略する。
【００５９】
この画像圧縮符号化装置５は、端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、本線系２及び予測系４へ送信する。
【００６０】
本線系２は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ２１，ＤＣＴ部，量子化部３５，第１の可変長符号化部２６からなるＤＣＴパスと、ＤＰＣＭ部２８，第２の可変長符号化部２９からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００６１】
量子化部３５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で決定された量子化ステップに基づき量子化する。この量子化部３５は、この量子化されたデータ（以下、量子化レベルと称する）を可変長符号化部２６へ供給する。
【００６２】
セレクタ３０は、第１の可変長符号化部２６、及び／又は第２の可変長符号化部２９により可変長符号化された各種データを適宜切り替え、当該切替情報とともにバッファ３１へ出力する。ちなみに、このセレクタ３０は、予測系４から供給されるセレクト信号に基づき切り替えられる場合もある。
【００６３】
予測系４は、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ＤＰＣＭ部４５，符号量変換器４６からなるＤＰＣＭパスと、演算部４８とを備える。ちなみに、この予測系４におけるＤＣＴパスの処理段数ｎは、量子化ステップの総数に相当する。これは二分探索法を採用する画像圧縮符号化装置１と比較して多くの量子化ステップにより予測を試みることができるため、精度の高い量子化コントロールを実現するためである。
【００６４】
演算部４８は、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量が入力され、また符号量変換器４６からＤＰＣＭ処理された符号量が入力される。演算部４８は、これらの入力される各ブロック毎の符号量に基づき、各ブロック毎の割当符号量とセレクト信号とを求めて、本線系２へ出力する。本線系２に出力された割当符号量は量子化部３５へ送られ、またセレクト信号はセレクタ３０へ送られる。ちなみにこの演算部４８において、例えば１フレーム分の総符号量を求める場合にブロック毎の符号量の累積値を求める必要があるため、１フレーム分の計算時間を要することになる。
【００６５】
次に、この演算部４８による割当符号量の算出について説明をする。図６は、演算部４８の構成例を示している。演算部４８は、ｎ個の比較部２０１−１〜２０１−ｎと、ｎ個のセレクタ２０２−１〜２０２−ｎと、ｎ個のメモリ２０３−１〜２０３−ｎと、ｎ個の加算器２０４−１〜２０４−ｎと、ｎ個の累積回路２０５−１〜２０５−ｎと、演算処理部２０６とを備える。
【００６６】
比較部２０１−１〜２０１−ｎは、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）が入力され、またＤＰＣＭパスを介して符号量変換器４６からＤＰＣＭ処理された符号量ｄｐｃｍ（ｋ）が入力される。例えば、比較部２０１−１には、符号量変換部４３−１からの符号量ｌｅｎｇｔｈ（１，ｋ）と、ＤＰＣＭ処理された符号量ｄｐｃｍ（ｋ）が入力される。この比較部２０１−１〜２０１−ｎは、ＤＣＴパスを介して入力された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）、及びＤＰＣＭパスを介して入力された符号量ｄｐｃｍ（ｋ）について小さい方を選択し、選択した情報を含むセレクト信号を出力する。
【００６７】
セレクタ２０２−１〜２０２−ｎは、比較部２０１−１〜２０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ２０２−１〜２０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ２０２−１〜２０２−ｎにより選択された符号量は、そのままメモリ２０３−１〜２０３−ｎ、加算器２０４−１〜２０４−ｎへ供給される。
【００６８】
メモリ２０３−１〜２０３−ｎは、各ブロック毎に、セレクト信号と符号量を格納する。すなわち１フレーム分の処理が終了した段階で、このメモリ２０３−１〜２０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００６９】
加算器２０４−１〜２０４−ｎ及び累積回路２０５−１〜２０５−ｎは、セレクタ２０２−１〜２０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）とする。累積回路２０５−１〜２０５−ｎは、得られた総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を順次演算処理部２０６へ送信する。
【００７０】
演算処理部２０６は、各累積回路２０５−１〜２０５−ｎから夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を受信する。この演算処理部２０６は、１フレーム分の目標符号量とこれらの総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を比較し、目標符号量以上である総符号量ｔｏｔａｌ（ｊ−１）と、目標符号量以下である総符号量ｔｏｔａｌ（ｊ）とを特定する。すなわち、このｔｏｔａｌ（ｊ−１）とｔｏｔａｌ（ｊ）は、目標符号量を挟むように存在するものを指し、ｊは、ｔｏｔａｌ（ｊ−１）＞目標符号量を満たすｊのうち、最大のものを示す。
【００７１】
演算処理部２０６は、演算した総符号量に基づき、ｎ個の量子化ステップを参照しつつ、ブロック毎に最適な符号量を見積もる。そして当該ブロック毎に見積もった符号量に基づき、ａｓｓｉｇｎ（ｋ）を決定して上述した量子化部３５へ送信する。
【００７２】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置５は、ブロック毎に、複数の量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良くまた目標符号量を満たすように選択することができる。また、この演算処理部１０６において、ａｓｓｉｇｎ（ｋ）、ｄｐｃｍ（ｋ）をいわゆる優先度とし、この優先度が同レベルの場合には、ＤＰＣＭパスを優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となり、更にＤＣＴパスにより符号化する際に、精度の良い量子化コントロールを期待することができる。なお、本実施の形態では、優先度に基づいて選択する場合に限定されるものではない。
【００７３】
なお、本実施の形態は、更に図７に示す画像圧縮符号化装置６のように、ＤＰＣＭについて量子化を伴う構成にも適用可能である。以下、画像圧縮符号化装置６の詳細を説明する。なお、上述した画像圧縮符号化装置１と同一の回路構成要素は、画像圧縮符号化装置１の説明を引用し、説明を省略する。
【００７４】
この画像圧縮符号化装置６は、端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、本線系２及び予測系４へ送信する。
【００７５】
本線系２は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ２１，ＤＣＴ部２２，ＦＩＦＯメモリ２３，二分探索部２４，量子化部２５，第１の可変長符号化部２６からなるＤＣＴパスと、ＦＩＦＯメモリ２７，量子化部３５，ＤＰＣＭ部２８，第２の可変長符号化部２９，二分探索部３６からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００７６】
量子化部３５は、ＦＩＦＯメモリ２７に格納されたデータを受給し、ブロック単位で二分探索部３６により決められた量子化ステップにより量子化する。量子化部３５は、この量子化されたデータをＤＰＣＭ部２８へ供給する。
【００７７】
すなわち、この量子化を伴うＤＰＣＭパスを経ることにより、画像の圧縮の過程において何らかの歪みが付加されることになる。このためＤＣＴパスとＤＰＣＭパスのいずれかを選択する場合には、画像圧縮符号化装置１と同様に、符号量の小さい方を優先することに加え、圧縮の過程における歪みが小さい方をも優先的に選択する必要がある。具体的には、圧縮による歪みは、量子化により左右されるものであり、ＤＣＴとＤＰＣＭそれぞれに対して量子化ステップに応じて生じる。このため予測系４は、量子化を伴うＤＣＴパスからの符号量と、同じく量子化を伴うＤＰＣＭパスからの符号量に加え、画像の歪みを比較して、本線系２にセレクト信号を送る必要がある。
【００７８】
かかる予測系４の実現例について以下説明する。この予測系４は、図７に示すように、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ｍ個の量子化器５１−１〜５１−ｍ，ｍ個のＤＰＣＭ部５２−１〜５２−ｍ，ｍ個の符号量変換部５３−１〜５３−ｍからなるＤＰＣＭパスと、演算部５４とを備える。
【００７９】
ｍ個の量子化器５１−１〜５１−ｍは、ブロック単位で画像信号を受給し、夫々異なる量子化ステップで量子化する。すなわち、ＤＰＣＭパスにおいてもｍ個の量子化ステップによりサンプリングすることが可能となる。
【００８０】
ＤＰＣＭ部５２−１〜５２−ｍは、量子化された画像信号についてブロック毎にＤＰＣＭを施し、符号量変換部５３−１〜５３−ｍへ供給する。符号量変換部５３−１〜５３−ｍは、これらのＤＰＣＭ化された信号についてブロック毎に符号化して演算部５４へ出力する。
【００８１】
演算部５４は、ＤＣＴパス側からは、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量等が入力され、ＤＰＣＭパス側からは、異なる量子化ステップにより量子化されＤＰＣＭ処理された符号量等が入力される。演算部５４は、これらの入力される各ブロック毎の符号量や画像の歪みを比較して、各ブロック毎の割当符号量とセレクト信号とを求め、本線系２へ出力する。なお、この予測系４においてＤＰＣＭ部５２−１〜５２−ｍと、量子化器５１−１〜５１−ｍとを入れ換えて構成してもよい。これにより、先ずＤＰＣＭ部５２−１〜５２−ｍにおいて、ＤＰＣＭ化された信号を夫々異なる量子化ステップで量子化することができる。
【００８２】
次に、この演算部５４による割当符号量の算出について説明をする。図８は、演算部５４の構成例を示している。演算部５４は、ｎ個の比較部３０１−１〜３０１−ｎと、ｎ個のセレクタ３０２−１〜３０２−ｎと、ｎ個のメモリ３０３−１〜３０３−ｎと、ｎ個の加算器３０４−１〜３０４−ｎと、ｎ個の累積回路３０５−１〜３０５−ｎと、演算処理部３０６とを備える。
【００８３】
比較部３０１−１〜３０１−ｎは、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量ｌｅｎｇｔｈ（１，ｋ）〜ｌｅｎｇｔｈ（ｎ，ｋ）が入力され、またＤＰＣＭパスを介して符号量変換器５３−１〜５３−ｍからＤＰＣＭ処理された符号量ｄｐｃｍ（１，ｋ）〜ｄｐｃｍ（ｍ，ｋ）が入力される。なお、この比較部３０１−１〜３０１−ｎは、ＤＣＴパスにおける符号量と、当該ＤＣＴパスにおける符号量よりも歪みが小さくなるＤＰＣＭパスにおける符号量とを比較するようにする。ちなみに図８に示す例において、比較部３０１−１や比較部３０１−２に入力されるｄｐｃｍ（１，ｋ）は、ｌｅｎｇｔｈ（１，ｋ）やｌｅｎｇｔｈ（２，ｋ）よりも歪みが小さく、また比較部３０１−３に入力されるｄｐｃｍ（３，ｋ）は、ｌｅｎｇｔｈ（３，ｋ）よりも歪みが小さい。
【００８４】
比較部３０１−１〜３０１−ｎは、この入力されたＤＣＴパスからの符号量と、ＤＰＣＭパスからの符号量について小さい方を選択し、選択した情報を含むセレクト信号を出力する。これにより、画像の圧縮による歪みを抑えつつ、目標符号量を満たすように、セレクト信号を出力することが可能となる。
【００８５】
セレクタ３０２−１〜３０２−ｎは、比較部３０１−１〜３０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ３０２−１〜３０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ３０２−１〜３０２−ｎにより選択された符号量は、そのままメモリ３０３−１〜３０３−ｎ、加算器３０４−１〜３０４−ｎへ供給される。
【００８６】
メモリ３０３−１〜３０３−ｎは、各ブロック毎に、セレクト信号と符号量を格納する。すなわち１フレーム分の処理が終了した段階で、このメモリ３０３−１〜３０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００８７】
加算器３０４−１〜３０４−ｎ及び累積回路３０５−１〜３０５−ｎは、セレクタ３０２−１〜３０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）とする。累積回路３０５−１〜３０５−ｎは、得られた総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を順次演算処理部３０６へ送信する。
【００８８】
演算処理部３０６は、各累積回路３０５−１〜３０５−ｎから夫々総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を受信する。この演算処理部３０６は、１フレーム分の目標符号量とこれらの総符号量ｔｏｔａｌ（１）〜ｔｏｔａｌ（ｎ）を比較し、目標符号量以上である総符号量ｔｏｔａｌ（ｊ−１）と、目標符号量以下である総符号量ｔｏｔａｌ（ｊ）とを特定する。これらの特定した符号量に基づく割当符号量ａｓｓｉｇｎ（ｋ）の計算については、画像圧縮符号化装置１における演算部４４の説明を引用し、説明を省略する。
【００８９】
このようにして予測系４からは、この演算処理部から出力される割当符号量ａｓｓｉｇｎ（ｋ）と、セレクト信号が出力される。この出力された割当符号量ａｓｓｉｇｎ（ｋ）は、二分探索部２４，３６へ供給される。
【００９０】
二分探索部２４，３６は、セレクト信号がＤＣＴ側になっている場合において、ブロックの発生符号量が目標符号量に収まるように量子化ステップを決定する。決定された量子化ステップに基づき、本線系２における量子化部２５，３５はブロック単位で量子化を施す。
【００９１】
なおこの画像圧縮符号化装置６は、図７に示す構成に限定されるものではなく、例えば図９に示すように、二分探索法を用いない構成にも適用可能である。
【００９２】
この図９に示す画像圧縮符号化装置６の例では、量子化部３５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で決定された量子化ステップに基づき量子化する。この量子化部３５は、この量子化されたデータを可変長符号化部２６へ供給する。
【００９３】
演算処理部３０６は、演算した総符号量に基づき、ｎ個の量子化ステップを参照しつつ、ブロック毎に最適な符号量を見積もる。そして当該ブロック毎に見積もった符号量に基づき、量子化ステップを決定して上述した量子化部３５へ送信する。これにより、二分探索法を採用する図７に示す画像圧縮符号化装置６と比較して多くの量子化ステップにより予測を試みることができるため、精度の高い量子化コントロールを実現することが可能となる。
【００９４】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置６は、ブロック毎に、複数の量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良くまた目標符号量を満たすように選択することができる。また、ＤＰＣＭパスからの符号量を優先的に選択した場合には、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【００９５】
なお、本実施の形態は、画像圧縮符号化装置１，５，６に適用される場合に限定されるものではない。例えば、この画像圧縮符号化装置１，５，６の各構成要素を伝送路上に配設することにより、伝送路上においても、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【００９６】
なお、本実施の形態ではブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成することにより可逆的な画像圧縮を行うが、かかる場合に限定されるものではない。また、非可逆的な画像圧縮方式についてもＤＰＣＭに限定されるものではない。即ち、第１の圧縮方式と、第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いるものであればよい。
【００９７】
またこの第１の圧縮方式と第２の圧縮方式とを切り替えることができる画像圧縮符号化装置及び方法、プログラムに対しても適用可能である。
【００９８】
この画像圧縮符号化装置は、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を符号化方式選択単位で選択して画像信号を圧縮符号化する画像圧縮符号化装置において、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算する演算手段と、上記演算手段により演算された総符号量と、等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択する選択手段と、上記選択手段によって選択された圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化する圧縮符号化手段とを備える。
【００９９】
このような画像圧縮符号化装置において、上記第１の圧縮方式及び／又は上記第２の圧縮方式は、上記画像信号を夫々複数の異なる量子化ステップにより量子化する方式としてもよい。また、上記演算手段により演算された総符号量と、上記等長化単位における目標符号量とを比較し、当該比較結果に応じて上記第１の圧縮方式における量子化ステップを決定する決定手段をさらに備え、上記選択手段は、上記決定手段により決定された量子化ステップにより上記量子化する第１の圧縮方式、或いは上記第２の圧縮方式の一方を符号化方式選択単位毎に選択するようにしてもよい。上記選択手段は、上記第１の圧縮方式、或いは上記第２の圧縮方式を所定の優先度に基づいて選択するようにしてもよい。また上記選択手段は、上記第１の圧縮方式、或いは上記第２の圧縮方式の優先度が等しい場合には、上記第１の圧縮方式、或いは上記第２の圧縮方式のうちいずれか一方を選択するようにしてもよい。また、上記選択手段は、上記第２の圧縮方式を優先的に選択するようにしてもよい。また、上記第１の圧縮方式は、上記画像信号をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換し、上記ＤＣＴ変換された画像信号を量子化する方式としてもよい。また上記第２の圧縮方式は、可逆符号化（Ｌｏｓｓｌｅｓｓ）方式としてもよい。また、上記第２の圧縮方式は、上記画像信号をＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）によって符号化する方式としてもよい。また、上記演算手段は、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のうち小さい方の符号量を上記符号化方式選択単位毎に加算することにより、等長化単位の総符号量を演算してもよい。
【０１００】
この画像圧縮符号化方法は、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を上記符号化方式選択単位で選択して画像信号を圧縮符号化する画像圧縮符号化方法において、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを上記符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算する演算工程と、上記演算工程において演算された総符号量と、上記等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択する選択工程と、上記選択工程において選択された圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化する圧縮符号化工程とを有する。
【０１０１】
このような画像圧縮符号化方法において、上記第１の圧縮方式及び／又は上記第２の圧縮方式は、上記画像信号を夫々複数の異なる量子化ステップにより量子化する方式であり、上記演算した総符号量と、上記等長化単位における目標符号量とを比較し、当該比較結果に応じて上記第１の圧縮方式における量子化ステップを決定する決定工程をさらに備え、上記選択工程では、上記決定工程で決定された量子化ステップにより上記第１の圧縮方式、或いは上記第２の圧縮方式が、上記符号化方式選択単位毎に選択されるようにしてもよい。また、上記選択工程では、上記第１の圧縮方式、或いは上記第２の圧縮方式が所定の優先度に基づいて選択されるようにしてもよい。また、上記選択工程では、上記第１の圧縮方式、或いは上記第２の圧縮方式の優先度が等しい場合には、第１の圧縮方式或いは上記第２の圧縮方式のうちいずれか一方が選択されるようにしてもよい。また上記選択工程では、上記第２の圧縮方式が優先的に選択されるようにしてもよい。また、上記第１の圧縮方式は、上記画像信号をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換し、上記ＤＣＴ変換された画像信号を量子化する方式としてもよい。また上記第２の圧縮方式は、可逆符号化（Ｌｏｓｓｌｅｓｓ）方式により符号化する方式としてもよい。また、上記第２の圧縮方式は、入力画像信号をＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）によって符号化する方式としてもよい。また、上記演算工程では、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のうち小さい方の符号量が上記符号化方式選択単位毎に加算されることにより、等長化単位の総符号量が演算されるようにしてもよい。
【０１０２】
また、このプログラムでは、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を上記符号化方式選択単位単位で選択して画像信号を圧縮符号化することをコンピュータに実行させるプログラムにおいて、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを上記符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算し、演算した総符号量と、上記等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択し、上記選択した圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化することをコンピュータに実行させる。
【０１０３】
このような構成からなる画像圧縮符号化装置及び方法、プログラムでは、ブロック毎に、複数の量子化ステップにより量子化された第１の圧縮方式、或いは第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式からの符号量を効率よく、また目標符号量を満たすように選択することができる。また、第２の圧縮方式からの符号量を優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【０１０４】
【発明の効果】
以上詳細に説明したように、本発明に係る画像圧縮符号化装置及び方法は、ブロック毎に、多くの量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、また目標符号量を満たすように選択することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像圧縮符号化装置の内部構成例を示した図である。
【図２】演算部の内部構成について説明するための図である。
【図３】演算処理部の処理手順を示すフローチャートである。
【図４】ｔｏｔａｌ（ｊ−１）及びｔｏｔａｌ（ｊ）のうち、目標符号量から離れたものと置き換えてａｓｓｉｇｎ（ｋ）を計算する場合について説明するためのフローチャートである。
【図５】二分探索法を用いない画像圧縮符号化装置の構成を示した図である。
【図６】二分探索法を用いない画像圧縮符号化装置における演算部について説明するための図である。
【図７】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置の構成について示した図である。
【図８】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置における演算部について説明するための図である。
【図９】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置において、二分探索法を用いない場合について説明するための図である。
【図１０】ＭＰＥＧ方式を利用した従来の画像圧縮符号化装置の構成を示した図である。
【符号の説明】
１，５，６ 画像圧縮符号化装置、２ 本線系、４ 予測系、１１ 端子、１２ブロック分割部、２１，２３，２７ ＦＩＦＯメモリ、２２ ＤＣＴ部、２４ 二分探索部、２５ 量子化部、２６ 第１の可変長符号化部、２８ ＤＰＣＭ部、２９ 第２の可変長符号化部、３０ セレクタ、３１ バッファ
Claims (15)
- 入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて上記符号化方式選択単位で選択し、これを符号化する画像圧縮符号化装置において、
上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を発信する選択手段と、
上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込む切替手段と、
上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより符号化方式選択単位の総符号量を演算する演算手段と、
上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御する制御手段とを備えること
を特徴とする画像圧縮符号化装置。 - 上記制御手段は、上記量子化ステップ毎に演算された総符号量を線形補間することにより、等長化単位の目標符号量に近づくように制御すること
を特徴とする請求項１記載の画像圧縮符号化装置。 - 上記選択手段は、上記第１の圧縮方式又は上記第２の圧縮方式のうち、符号量の小さい方を選択すること
を特徴とする請求項１記載の画像圧縮符号化装置。 - 上記第１の圧縮方式は、入力画像信号をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換し、上記ＤＣＴ変換された画像信号を量子化すること
を特徴とする請求項１記載の画像圧縮符号化装置。 - 上記第２の圧縮方式は、可逆符号化（Ｌｏｓｓｌｅｓｓ）方式により符号化すること
を特徴とする請求項１記載の画像圧縮符号化装置。 - 上記第２の圧縮方式は、入力画像信号をＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）によって符号化すること
を特徴とする請求項５記載の画像圧縮符号化装置。 - 上記制御手段は、上記総符号量につき、上記目標符号量を越えないように制御すること
を特徴とする請求項１記載の画像圧縮符号化装置。 - 入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて符号化方式選択単位で選択し、これを符号化する画像圧縮符号化方法において、
上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮についてセレクト信号を発信し、
上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込み、
上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、
上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御すること
を特徴とする画像圧縮符号化方法。 - 上記量子化ステップ毎に演算された総符号量を線形補間することにより、等長化単位の目標符号量に近づくように制御すること
を特徴とする請求項８記載の画像圧縮符号化方法。 - 上記選択において、上記第１の圧縮方式又は上記第２の圧縮方式のうち、符号量の小さい方を選択すること
を特徴とする請求項８記載の画像圧縮符号化方法。 - 上記第１の圧縮方式は、入力画像信号をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換し、上記ＤＣＴ変換された画像信号を量子化すること
を特徴とする請求項８記載の画像圧縮符号化方法。 - 上記第２の圧縮方式は、可逆符号化（Ｌｏｓｓｌｅｓｓ）方式により符号化すること
を特徴とする請求項８記載の画像圧縮符号化方法。 - 上記第２の圧縮方式は、入力画像信号をＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）によって符号化すること
を特徴とする請求項１２記載の画像圧縮符号化方法。 - 上記総符号量につき、上記目標符号量を越えないように制御すること
を特徴とする請求項８記載の画像圧縮符号化方法。 - 入力画像信号を夫々異なる量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を等長化単位の総符号量に応じて符号化方式選択単位で選択し、これを符号化することをコンピュータに実行させるためのプログラムにおいて、
上記第１の圧縮方式又は上記第２の圧縮方式のうちいずれか一方を符号化方式選択単位毎に選択し、当該選択した圧縮についてセレクト信号を発信し、
上記発信されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を取り込み、
上記切替手段を介して取り込まれた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、
上記量子化ステップ毎に演算された総符号量を、等長化単位の目標符号量に近づくように制御すること
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003070729A JP4042597B2 (ja) | 2002-03-28 | 2003-03-14 | 画像符号化装置及び方法、プログラム、記録媒体 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092885 | 2002-03-28 | ||
| JP2003070729A JP4042597B2 (ja) | 2002-03-28 | 2003-03-14 | 画像符号化装置及び方法、プログラム、記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007242128A Division JP4089753B2 (ja) | 2002-03-28 | 2007-09-19 | 画像圧縮符号化装置及び方法、プログラム、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004007475A true JP2004007475A (ja) | 2004-01-08 |
| JP2004007475A5 JP2004007475A5 (ja) | 2005-04-07 |
| JP4042597B2 JP4042597B2 (ja) | 2008-02-06 |
Family
ID=30446284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003070729A Expired - Fee Related JP4042597B2 (ja) | 2002-03-28 | 2003-03-14 | 画像符号化装置及び方法、プログラム、記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4042597B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007043609A1 (ja) * | 2005-10-14 | 2007-04-19 | Nec Corporation | 画像符号化方法及び、これを用いた装置とコンピュータプログラム |
| JP2007181101A (ja) * | 2005-12-28 | 2007-07-12 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像符号化方法 |
| WO2009157581A1 (ja) * | 2008-06-27 | 2009-12-30 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| JP2011130410A (ja) * | 2009-12-21 | 2011-06-30 | Mtekvision Co Ltd | 符号化方法、復号化方法及び装置 |
| JP2011238086A (ja) * | 2010-05-12 | 2011-11-24 | Fujifilm Corp | ドキュメント配信装置及びシステム |
| US8229235B2 (en) | 2005-10-06 | 2012-07-24 | Samsung Electronics Co., Ltd. | Hybrid image data processing system and method |
| US8270744B2 (en) | 2008-06-27 | 2012-09-18 | Sony Corporation | Image processing apparatus and image processing method |
| US8270745B2 (en) | 2008-06-27 | 2012-09-18 | Sony Corporation | Image processing device and image processing method |
| RU2471306C2 (ru) * | 2008-06-27 | 2012-12-27 | Сони Корпорейшн | Устройство обработки изображений и способ обработки изображений |
| US8509556B2 (en) | 2007-09-12 | 2013-08-13 | Sony Corporation | Image coding apparatus and image coding method to generate a targeted amount of code |
| JP2016213528A (ja) * | 2015-04-28 | 2016-12-15 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| JP2017055267A (ja) * | 2015-09-09 | 2017-03-16 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
-
2003
- 2003-03-14 JP JP2003070729A patent/JP4042597B2/ja not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8229235B2 (en) | 2005-10-06 | 2012-07-24 | Samsung Electronics Co., Ltd. | Hybrid image data processing system and method |
| WO2007043609A1 (ja) * | 2005-10-14 | 2007-04-19 | Nec Corporation | 画像符号化方法及び、これを用いた装置とコンピュータプログラム |
| US8416850B2 (en) | 2005-10-14 | 2013-04-09 | Nec Corporation | Image encoding method, device using the same, and computer program |
| JP4973871B2 (ja) * | 2005-10-14 | 2012-07-11 | 日本電気株式会社 | 画像符号化方法及び、これを用いた装置とコンピュータプログラム |
| JP2007181101A (ja) * | 2005-12-28 | 2007-07-12 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像符号化方法 |
| US8509556B2 (en) | 2007-09-12 | 2013-08-13 | Sony Corporation | Image coding apparatus and image coding method to generate a targeted amount of code |
| RU2479935C2 (ru) * | 2008-06-27 | 2013-04-20 | Сони Корпорейшн | Устройство для обработки изображения и способ обработки изображения |
| US8270744B2 (en) | 2008-06-27 | 2012-09-18 | Sony Corporation | Image processing apparatus and image processing method |
| US8270745B2 (en) | 2008-06-27 | 2012-09-18 | Sony Corporation | Image processing device and image processing method |
| RU2471306C2 (ru) * | 2008-06-27 | 2012-12-27 | Сони Корпорейшн | Устройство обработки изображений и способ обработки изображений |
| US8374451B2 (en) | 2008-06-27 | 2013-02-12 | Sony Corporation | Image processing device and image processing method for reducing the circuit scale |
| WO2009157581A1 (ja) * | 2008-06-27 | 2009-12-30 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US8731052B2 (en) | 2008-06-27 | 2014-05-20 | Sony Corporation | Image processing device and image processing method with feedback control |
| JP2011130410A (ja) * | 2009-12-21 | 2011-06-30 | Mtekvision Co Ltd | 符号化方法、復号化方法及び装置 |
| JP2011238086A (ja) * | 2010-05-12 | 2011-11-24 | Fujifilm Corp | ドキュメント配信装置及びシステム |
| JP2016213528A (ja) * | 2015-04-28 | 2016-12-15 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| JP2017055267A (ja) * | 2015-09-09 | 2017-03-16 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4042597B2 (ja) | 2008-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8345744B2 (en) | Image compression system with coding quantity control | |
| AU2006320064B2 (en) | Image encoding/image decoding method and image encoding/image decoding apparatus | |
| US5870146A (en) | Device and method for digital video transcoding | |
| EP1497990B1 (en) | Method and device for indicating quantizer parameters in a video coding system | |
| RU2414093C2 (ru) | Способ и устройство, и программа кодирования/декодирования видео | |
| KR100596706B1 (ko) | 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치 | |
| US7653129B2 (en) | Method and apparatus for providing intra coding frame bit budget | |
| EP1551186B1 (en) | Video coding apparatus with resolution converter | |
| KR101263813B1 (ko) | 듀얼 패스 인코딩에서 주사 모드의 선택을 위한 방법 및 장치 | |
| CN101867811A (zh) | 图像编码装置和图像编码方法 | |
| JPWO2009157577A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP7015183B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| KR100601615B1 (ko) | 네트워크 대역폭에 적응적인 영상 압축 장치 | |
| JP4042597B2 (ja) | 画像符号化装置及び方法、プログラム、記録媒体 | |
| JPH09200758A (ja) | 画像符号化装置 | |
| EP1833256B1 (en) | Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device | |
| US7428339B2 (en) | Pseudo-frames for MPEG-2 encoding | |
| JP4089753B2 (ja) | 画像圧縮符号化装置及び方法、プログラム、並びに記録媒体 | |
| JP2009081830A (ja) | 動画像圧縮符号化における符号化処理方法及び符号化処理装置 | |
| JP5136470B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4901450B2 (ja) | 動画像符号化装置 | |
| JP2008271213A (ja) | 画像符号化装置 | |
| US20090290636A1 (en) | Video encoding apparatuses and methods with decoupled data dependency | |
| JP4281667B2 (ja) | 画像符号化装置 | |
| JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040427 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071105 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |