JP4624321B2 - トランスコーダおよび符号化画像変換方法 - Google Patents

Description

本発明は、ＭＰＥＧ２やＨ．２６４などの規格に基づいて符号化画像を変換する技術に関する。

デジタル放送で配信される画像や、ＤＶＤ、ハードディスクなどに格納される画像などは、各種の符号化方式に従い、圧縮される。これは、伝送帯域を圧迫しないため、伝送速度を上げるため、あるいは、記憶サイズを小さくするなどの目的のためである。

従来から採用されてきた符号化方式にＭＰＥＧ２方式がある。ＭＰＥＧ２は、記録媒体への記録だけでなく、通信メディア、放送メディアでも利用できる符号化方式である。そして、デジタル放送やテレビ会議、テレビ電話システムなどにおいて、ＭＰＥＧ２が画像符号化方式として広く利用されている。

さらに、画像符号化方式の新しい規格としてＨ．２６４（あるいは、ＭＰＥＧ４−ＡＶＣ）が開発されている。Ｈ．２６４は、ＭＰＥＧ２と比較しても、約２倍から４倍の圧縮率の向上が図られている。

特開２００６−７４６３５号公報

上記のように、画像の符号化方式には異なる規格が存在する。そして、入力した符号化画像の符号量を削減するなどの目的で符号化方式の変換が行われる場合がある。トランスコーダは、入力した符号化画像を一旦デコードする。そして、トランスコーダは、デコードした画像を、再び異なる符号化方式（あるいは同じ符号化方式）で符号化するのである。

上記特許文献１は、第１の圧縮符号化方式で圧縮された画像を第２の圧縮符号化方式で圧縮された画像に変換するトランスコーダに関するものである。このトランスコーダは、第１の圧縮符号化方式で圧縮された画像を復号する際に発生する中間情報を用いて、第２の圧縮符号化方式で画像を圧縮するようにしている。

トランスコーダを用い、供給された符号化画像の符号量を削減することで、記録媒体へ記録する画像のサイズを小さくすることができる。また、他のコンピュータ、装置などに画像を転送する場合であっても、帯域の負荷を削減させ、処理を高速化させることもできる。このように、トランスコーダを利用することで生じるメリットは多い。このようなトランスコーダについての開発は始まっているが、上記特許文献１で開示された技術を含め、未だ具体的な処理方法、最適な処理技術については提案されていない。

そこで、本発明は前記問題点に鑑み、符号化画像の効率的な変換技術についての具体的手法を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、第１符号化画像をデコードするデコード手段と、前記デコード手段においてデコードされた画像のマクロブロック内の画素値のばらつき度合いを示すマクロブロック評価値を算出する手段と、前記マクロブロック評価値をフレーム内で平均してマクロブロック評価平均値を算出する手段と、前記デコード手段でデコードされた画像をエンコードし第２符号化画像を生成するエンコード手段と、を備え、前記エンコード手段は、前記第１符号化画像のフレーム内の量子化ステップ値を平均した量子化ステップ平均値を取得する手段と、前記マクロブロック評価値と前記マクロブロック評価平均値との差に基づいてマクロブロックごとの重み付け値を算出する重み付け値算出手段と、前記量子化ステップ平均値に前記重み付け値を加算した値に基づいて、前記第２符号化画像のマクロブロックごとの変換用量子化ステップ値を算出するステップ値算出手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載のトランスコーダにおいて、前記マクロブロック評価値は、マクロブロック内の画素平均値とマクロブロック内の各画素との差分絶対値和であることを特徴とする。

請求項３記載の発明は、請求項１または請求項２に記載のトランスコーダにおいて、前記ステップ値算出手段は、前記量子化ステップ平均値に前記重み付け値を加算した値に、１より大きいステップ値調整係数を乗算する手段、を含むことを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載のトランスコーダにおいて、前記重み付け値算出手段は、前記マクロブロック評価値と前記マクロブロック評価平均値との差に、１より小さい重み付け値調整係数を乗算する手段、を含むことを特徴とする。

請求項５記載の発明は、請求項４に記載のトランスコーダにおいて、前記重み付け値算出手段は、前記重み付け値調整係数が乗算された値に上限を与えるリミッタ、を含むことを特徴とする。

請求項６記載の発明は、請求項４に記載のトランスコーダにおいて、前記重み付け値算出手段は、前記重み付け値調整係数が乗算された値に下限を与えるリミッタ、を含むことを特徴とする。

請求項７記載の発明は、請求項５に記載のトランスコーダにおいて、前記重み付け値算出手段は、前記量子化ステップ平均値に、所定の係数を乗算することで前記リミッタの上限値を算出する手段、を含むことを特徴とする。

請求項８記載の発明は、請求項６に記載のトランスコーダにおいて、前記重み付け値算出手段は、前記量子化ステップ平均値に、所定の係数を乗算することで前記リミッタの下限値を算出する手段、を含むことを特徴とする。

請求項９記載の発明は、請求項７に記載のトランスコーダにおいて、前記重み付け値算出手段は、前記リミッタに設定する固定上限値を格納する手段と、前記所定の係数を乗算することにより得られた上限値と前記固定上限値のうち、小さい値を前記リミッタの上限値として選択する手段と、を含むことを特徴とする。

請求項１０記載の発明は、請求項８に記載のトランスコーダにおいて、前記重み付け値算出手段は、前記リミッタに設定する固定下限値を格納する手段と、前記所定の係数を乗算することにより得られた下限値と前記固定下限値のうち、大きい値を前記リミッタの下限値として選択する手段と、を含むことを特徴とする。

請求項１１記載の発明は、請求項３に記載のトランスコーダにおいて、前記ステップ値算出手段は、ピクチャフレーム種別に応じたピクチャ対応調整係数を格納する手段と、処理対象マクロブロックのピクチャフレーム種別に応じて前記ピクチャ対応調整係数を選択し、選択された前記ピクチャ対応調整係数を前記ステップ値調整係数として利用する手段と、を含むことを特徴とする。

請求項１２記載の発明は、請求項１ないし請求項１１のいずれかに記載のトランスコーダにおいて、さらに、前記デコード手段においてデコードされた画像のマクロブロックの時間方向の変化度合いを示すマクロブロック動き評価値を入力する手段、を備え、前記ステップ値算出手段は、前記量子化ステップ平均値に、前記マクロブロック動き評価値に基づいて算出された動き調整値を乗算する手段、を含むことを特徴とする。

請求項１３記載の発明は、請求項１２に記載のトランスコーダにおいて、前記マクロブロック動き評価値は、マクロブロックと参照画像マクロブロックとのフレーム間差分絶対値和であることを特徴とする。

請求項１４記載の発明は、請求項１３に記載のトランスコーダにおいて、前記マクロブロック動き評価値を演算できないＩフレームについては、直前のＰフレームで演算された前記マクロブロック動き評価値で代用することを特徴とする。

請求項１５記載の発明は、請求項１３に記載のトランスコーダにおいて、ＰフレームまたはＢフレームであっても、前記マクロブロック動き評価値を演算できないイントラマクロブロックについては、直前のマクロブロックで演算された前記マクロブロック動き評価値で代用することを特徴とする。

請求項１６記載の発明は、請求項１３に記載のトランスコーダにおいて、ＰフレームまたはＢフレームであっても、前記マクロブロック動き評価値を演算できないイントラマクロブロックについては、近傍のマクロブロックで演算された前記マクロブロック動き評価値で代用することを特徴とする。

請求項１７記載の発明は、請求項１２ないし請求項１６のいずれかに記載のトランスコーダにおいて、前記ステップ値算出手段は、前記マクロブロック動き評価値と前記マクロブロック評価値との割合に応じて前記動き調整値を算出する手段、を含むことを特徴とする。

請求項１８記載の発明は、請求項３に記載のトランスコーダにおいて、前記ステップ値算出手段は、前記第１符号化画像のソースビットレートと前記第２符号化画像の目標ビットレートに基づいてピクチャフレーム種別に応じたピクチャ対応調整係数を算出する手段と、処理対象マクロブロックのピクチャフレーム種別に応じて前記ピクチャ対応調整係数を選択し、選択された前記ピクチャ対応調整係数を前記ステップ値調整係数として利用する手段と、を含むことを特徴とする。

請求項１９記載の発明は、請求項１８に記載のトランスコーダにおいて、前記ソースビットレートが変化する場合には、それに応じて前記ピクチャ対応調整係数を再計算することを特徴とする。

請求項２０記載の発明は、請求項１８に記載のトランスコーダにおいて、前記第２符号化画像を格納する記憶媒体の容量に応じて前記目標ビットレートを変化させ、その変化に応じて前記ピクチャ対応調整係数を再計算することを特徴とする。

請求項２１記載の発明は、請求項１８に記載のトランスコーダにおいて、前記第２符号化画像を格納する記憶媒体の空き容量に応じて前記目標ビットレートを変化させ、その変化に応じて前記ピクチャ対応調整係数を再計算することを特徴とする。

請求項２２記載の発明は、請求項３に記載のトランスコーダにおいて、前記ステップ値算出手段は、前記第２符号化画像の目標ビットレートと、変換された前記第２符号化画像のカレントビットレートに基づいてレート制御係数を算出するレート制御係数算出手段と、前記ステップ値調整係数が乗算された値に、前記レート制御係数を乗算する手段と、を含むことを特徴とする。

請求項２３記載の発明は、請求項２２に記載のトランスコーダにおいて、前記レート制御係数算出手段は、前記目標ビットレートと前記カレントビットレートとの差分値に基づいて前記レート制御係数を算出する手段、を含むことを特徴とする。

請求項２４記載の発明は、請求項２２に記載のトランスコーダにおいて、前記レート制御係数算出手段は、前記目標ビットレートの対数値と前記カレントビットレートの対数値との差分値に基づいて前記レート制御係数を算出する手段、を含むことを特徴とする。

請求項２５記載の発明は、請求項２２に記載のトランスコーダにおいて、前記レート制御係数算出手段は、前記目標ビットレートと前記カレントビットレートを入力し、レート制御特性値を出力するルックアップテーブル、を含み、前記レート制御係数算出手段は、前記レート制御特性値に基づいて前記レート制御係数を算出することを特徴とする。

請求項２６記載の発明は、請求項２３ないし請求項２５のいずれかに記載のトランスコーダにおいて、前記レート制御係数算出手段は、前記レート制御係数に上限を与えるリミッタ、を含むことを特徴とする。

請求項２７記載の発明は、請求項２３ないし請求項２５のいずれかに記載のトランスコーダにおいて、前記レート制御係数算出手段は、前記レート制御係数に下限を与えるリミッタ、を含むことを特徴とする。

請求項２８記載の発明は、請求項２２ないし請求項２７のいずれかに記載のトランスコーダにおいて、前記第２符号化画像を格納する記憶媒体の容量に応じて前記目標ビットレートを変化させ、その変化に応じて前記レート制御係数を再計算することを特徴とする。

請求項２９記載の発明は、請求項２２ないし請求項２７のいずれかに記載のトランスコーダにおいて、前記第２符号化画像を格納する記憶媒体の空き容量に応じて前記目標ビットレートを変化させ、その変化に応じて前記レート制御係数を再計算することを特徴とする。

請求項３０記載の発明は、請求項１８ないし請求項２１のいずれかに記載のトランスコーダにおいて、前記ピクチャ対応調整係数を算出する手段がソフトウェア処理であることを特徴とする。

請求項３１記載の発明は、請求項２２ないし請求項２９のいずれかに記載のトランスコーダにおいて、前記レート制御係数算出段がソフトウェア処理であることを特徴とする。

請求項３２記載の発明は、第１符号化画像をデコードするデコード工程と、前記デコード工程においてデコードされた画像のマクロブロック内の画素値のばらつき度合いを示すマクロブロック評価値を算出する工程と、前記マクロブロック評価値をフレーム内で平均してマクロブロック評価平均値を算出する工程と、前記デコード工程でデコードされた画像をエンコードし第２符号化画像を生成するエンコード工程と、を備え、前記エンコード工程は、前記第１符号化画像のフレーム内の量子化ステップを平均した量子化ステップ平均値を取得する工程と、前記マクロブロック評価値と前記マクロブロック評価平均値との差に基づいてマクロブロックごとの重み付け値を算出する工程と、前記量子化ステップ平均値に前記重み付け値を加算した値に基づいて前記第２符号化画像のマクロブロックごとの変換用量子化ステップ値を算出する工程と、を備えることを特徴とする。

請求項３３記載の発明は、プログラムであって、コンピュータにインストールされることにより、前記コンピュータを請求項１ないし請求項３１のいずれかに記載のトランスコーダとして機能させることを特徴とする。

本発明のトランスコーダは、マクロブロック内の画素のばらつき度合いを示す評価値に基づいて、マクロブロックごとに割当てる量子化ステップ値を決定する。これにより、変換後のビット配分の最適化が図られ、画質が向上する。

また、本発明のトランスコーダは、時間方向の動き評価値に基づいて、マクロブロックごとに割当てる量子化ステップ値を調整する。これにより、さらなる画質の向上が図られる。

また、本発明のトランスコーダは、目標ビットレートに応じて量子化ステップ値を調整する。これにより、目標レートまで符号量を削減することができ、符号化画像のデータサイズを小さくして、画像転送速度の向上や、格納記憶容量の削減を図ることができる。

以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本実施の形態に係るトランスコーダ１のブロック図である。本実施の形態のトランスコーダ１は、ＭＰＥＧ２で符号化された画像データを入力し、Ｈ．２６４で符号化された画像データを出力する装置である。トランスコーダ１は、図に示すように、ＭＰＥＧ２デコーダ２と、Ｈ．２６４エンコーダ３と、評価値算出部５とを備えている。

ＭＰＥＧ２デコーダ２は、ＭＰＥＧ２のストリームデータを入力し、圧縮されている符号化画像を復号する処理部である。したがって、ＭＰＥＧ２デコーダ２は、非圧縮の画像データを出力する。この非圧縮の画像データは、Ｈ．２６４エンコーダ３に入力される。Ｈ．２６４エンコーダ３は、ＭＰＥＧ２デコーダ２において復号された画像データを、再びＨ．２６４形式で符号化する処理部である。

Ｈ．２６４エンコーダ３は、図に示すように、量子化ステップ決定部４を備えている。Ｈ．２６４エンコーダ３は、画像データを直交変換する。そして、直交変換された各周波数成分の画像の係数を量子化し、量子化された係数を符号化することで、画像データを圧縮する。そして、Ｈ．２６４エンコーダ３が、直交変換された各周波数成分の画像の係数を量子化するときに、量子化ステップ決定部４で算出された量子化ステップ値を利用するのである。

評価値算出部５は、マクロブロック評価値ＡＣＴ＿ＭＢと、マクロブロック評価平均値ＡＣＴ＿ＰＩＣを算出する処理部である。評価値算出部５は、ＭＰＥＧ２デコーダ２から、復号化された画像データを入力し、この画像データに基づいてマクロブロック評価値ＡＣＴ＿ＭＢとマクロブロック評価平均値ＡＣＴ＿ＰＩＣを算出する。

マクロブロック評価値ＡＣＴ＿ＭＢは、マクロブロックごとのＡｃｔｉｖｉｔｙ（ＡＣＴ）値を示している。これは、マクロブロック内の画素平均値とマクロブロック内の各画素の画素値との差分絶対値和をマクロブロックごとに計算したものである。つまり、マクロブロック評価値ＡＣＴ＿ＭＢは、マクロブロック内の画素のばらつき度合いを示す評価値である。この評価値は、ＭＰＥＧ２の符号量制御モデルＴＭ５などで用いられるＡｃｔｉｖｉｔｙ値と同様である。

マクロブロック内の画像が平坦な画像であれば、各画素の画素値と画素平均値との差分絶対値和は小さくなる。一方、マクロブロック内の画像が変化の大きい画像であれば、差分絶対値和は大きくなる。つまり、マクロブロック評価値ＡＣＴ＿ＭＢが大きいマクロブロックは、画像の変化の大きいマクロブロックであり、マクロブロック評価値ＡＣＴ＿ＭＢが小さいマクロブロックは、平坦な画像からなるマクロブロックであると言える。

なお、マクロブロック評価値ＡＣＴ＿ＭＢを算出する際には、マクロブロック内の画素の輝度値を用いて演算すればよい。つまり、マクロブロック内の画素の輝度値平均値とマクロブロック内の各画素の輝度値との差分絶対値和を計算してマクロブロック評価値ＡＣＴ＿ＭＢを算出すればよい。たとえば、ＭＰＥＧ２デコーダ２から入力する画像データが、ＹＣｂＣｒ空間の画像データであれば、各画素のＹ成分の画素値を用いてマクロブロック評価値ＡＣＴ＿ＭＢを算出すればよい。ただし、輝度成分以外の画素値を用いても良い。たとえば、ＲＧＢ空間の画像データに変換されているのであれば、Ｇ成分の画素値を用いても計算してもよいし、その他の色成分の画素値を利用することも可能である。

評価値算出部５は、ＭＰＥＧ２デコーダ２が復号化した画像データを入力し、マクロブロックごとにマクロブロック評価値ＡＣＴ＿ＭＢを算出した後、さらに、１フレーム分のマクロブロック評価値ＡＣＴ＿ＭＢを平均したマクロブロック評価平均値ＡＣＴ＿ＰＩＣを算出する。マクロブロック評価平均値ＡＣＴ＿ＰＩＣは、１フレーム内の全マクロブロックについて算出されたマクロブロック評価値ＡＣＴ＿ＭＢを平均したものであるから、１フレーム内の画像の変化の度合いを示す評価値となる。つまり、マクロブロック評価平均値ＡＣＴ＿ＰＩＣが小さいフレームは、平坦な画像のマクロブロックが多いフレームであり、マクロブロック評価平均値ＡＣＴ＿ＰＩＣが大きいフレームは、画像変化の大きいマクロブロックが多いフレームであると言える。

このようにして、評価値算出部５において、マクロブロック評価値ＡＣＴ＿ＭＢとマクロブロック評価平均値ＡＣＴ＿ＰＩＣが算出されると、これら評価値は、量子化ステップ決定部４に出力される。

また、ＭＰＥＧ２デコーダ２においては、ＭＰＥＧ２ストリームをデコードする過程において、マクロブロック動き評価値ＳＡＤ＿ＭＢが算出される。マクロブロック動き評価値ＳＡＤ＿ＭＢは、マクロブロックごとに参照画像マクロブロック内の画素とのフレーム間差分絶対値和を計算したものである。つまり、マクロブロックの各画素と、参照画像マクロブロックの各画素とを比較し、同じ座標位置にある画素同士の画素値差分の絶対値和を算出したものである。したがって、マクロブロック動き評価値ＳＡＤ＿ＭＢは、マクロブロックごとの時間方向に関する変化度合いを示す評価値となる。マクロブロック動き評価値ＳＡＤ＿ＭＢが大きければ、そのマクロブロックは動きの多い画像であり、マクロブロック動き評価値ＳＡＤ＿ＭＢが小さければ、そのマクロブロックは動きの少ない画像であると言える。

マクロブロック動き評価値ＳＡＤ＿ＭＢを算出する際も、マクロブロック評価値ＡＣＴ＿ＭＢの場合と同様に、各画素の輝度値を利用すればよい。あるいは、その他の成分を利用してもよい。

ＭＰＥＧ２デコーダ２において、デコード処理過程でマクロブロック動き評価値ＳＡＤ＿ＭＢが算出されると、マクロブロック動き評価値ＳＡＤ＿ＭＢは、量子化ステップ決定部４に対して出力される。

また、ＭＰＥＧ２デコーダ２は、入力するＭＰＥＧ２ストリームから量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２を算出する。量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２は、ＭＰＥＧ２画像データの１フレーム内の全マクロブロックの量子化ステップ値を平均したものである。そして、算出した量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２を量子化ステップ決定部４に対して出力する。

このようにして、量子化ステップ決定部４は、マクロブロック評価値ＡＣＴ＿ＭＢ、マクロブロック評価平均値ＡＣＴ＿ＰＩＣ、マクロブロック動き評価値ＳＡＤ＿ＭＢ、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２を入力する。そして、これら情報を用いてＨ．２６４エンコードを行うための量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを算出するのである。そして、Ｈ．２６４エンコーダ３は、ＭＰＥＧ２デコーダ２から出力された非圧縮の画像データを入力し、この画像データを直交変換して、各周波数成分の画像に分解した後、量子化ステップ決定部４において決定された量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを利用して、各周波数成分の画像に付与する係数を量子化するのである。

なお、本実施の形態においては、マクロブロック評価値ＡＣＴ＿ＭＢ、マクロブロック評価平均値ＡＣＴ＿ＰＩＣを算出する評価値算出部５を独立した処理部（ブロック）として説明しているが、これら評価値を算出する処理部は、ＭＰＥＧ２デコーダ２内に設けられても良い。あるいは、Ｈ．２６４エンコーダ３内に設けられても良い。以下、各実施の形態に係る量子化ステップ決定部４の構成について説明する。

｛第１の実施の形態｝
図２は、第１の実施の形態に係る量子化ステップ決定部４のブロック図である。この量子化ステップ決定部４は、２つのシフト演算器４０１、４０２と減算器４０３と乗算器４０４と加算器４０５と乗算器４０６とを備えている。

この量子化ステップ決定部４には、マクロブロック評価値ＡＣＴ＿ＭＢ、マクロブロック評価平均値ＡＣＴ＿ＰＩＣ、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２が入力される。

マクロブロック評価値ＡＣＴ＿ＭＢは、シフト演算器４０１に入力され、マクロブロック評価平均値ＡＣＴ＿ＰＩＣは、シフト演算器４０２に入力され、それぞれシフト演算が行われて桁合わせが行われる。

シフト演算を経たマクロブロック評価値ＡＣＴ＿ＭＢ、マクロブロック評価平均値ＡＣＴ＿ＰＩＣは、減算器４０３に入力される。ここで、マクロブロック評価値ＡＣＴ＿ＭＢからマクロブロック評価平均値ＡＣＴ＿ＰＩＣを減算する処理が行われる。この減算処理結果は、各マクロブロックのマクロブロック評価値ＡＣＴ＿ＭＢが、そのフレーム内のマクロブロック評価平均値ＡＣＴ＿ＰＩＣに対して、どの程度ばらついているかを示す値であり、このばらつき度合いにより最終的なステップ値が算出される。したがって、この減算処理結果を重み付け基礎値７１とする。

重み付け基礎値７１は、次に、乗算器４０４に入力され、重み付け値調整係数ｒ_ａｑとの間で乗算が行われる。重み付け値調整係数ｒ_ａｑは、量子化ステップ決定部４内の図示せぬ記憶部に格納された１より小さい値である。つまり、重み付け値調整係数ｒ_ａｑは、重み付け基礎値７１の振れ幅を小さくするために用いられる。上述したように、減算器４０３における減算処理結果は、各マクロブロックのマクロブロック評価値ＡＣＴ＿ＭＢが、そのフレーム内のマクロブロック評価平均値ＡＣＴ＿ＰＩＣに対して、どの程度ばらついているかを示す値であり、この振れ度合いにより最終的なステップ値を決定することになるが、このばらつき度合いがステップ値の決定に強く影響しすぎることを避けるために、重み付け値調整係数ｒ_ａｑを乗算するようにしている。

重み付け基礎値７１に重み付け値調整係数ｒ_ａｑが乗算されることで、重み付け値７２が算出される。この重み付け値７２は、次に、加算器４０５に入力され、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２との間で加算処理が行われる。

上述したように、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２は、トランスコーダ１が入力したＭＰＥＧ２データの１フレーム内の量子化ステップの平均値である。さらに、具体的には、現在、量子化ステップ決定部４において処理対象となっているフレームのＭＰＥＧ２における量子化ステップの平均値である。したがって、重み付け値７２を、この量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２に加算するということは、ＭＰＥＧ２において設定されていた量子化ステップを基準として、マクロブロック評価値ＡＣＴ＿ＭＢ、マクロブロック評価平均値ＡＣＴ＿ＰＩＣに基づいて算出された重み付け値７２だけ、ステップ値を調整しようとするものである。つまり、画像変化の多いマクロブロックには、大きいステップ値を割り当て、平坦な画像のマクロブロックには、小さいステップ値を割当てるのである。

このように、加算器４０５において、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２に重み付け値７２が加算されることで、量子化ステップ基礎値７３が算出される。次に、量子化ステップ基礎値７３は、乗算器４０６に入力され、ステップ値調整係数αとの間で乗算処理が行われる。これにより、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが算出されるのである。数１式は、以上説明した第１の実施の形態に係るエンコード処理の計算式を示している。

数１式中、＞＞ｍｂｉｔは、シフト演算器４０１におけるｍビットのシフト演算を示し、＞＞ｎｂｉｔは、シフト演算器４０２におけるｎビットのシフト演算を表している。このシフト量を調整することによっても、最終的な量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣの値を調整することができる。

ここで、ステップ値調整係数αは、１より大きい値であり、量子化ステップ決定部４が備える図示せぬ記憶部内に格納されている。ステップ値調整係数αは、１より大きい値であるので、量子化ステップ基礎値７３を少し大きい値に変化させる作用を持つ（加算器４０５の出力は０以上となるように、シフト量や乗算係数などが調整されている。）。上記のように、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２に重み付け値７２が加算されることで、量子化ステップ基礎値７３が算出される。量子化ステップ基礎値７３は、マクロブロックごとの画像の状態に応じて、マクロブロックごとに割当てるステップ値を調整する作用を持つ。つまり、変化の大きい画像部分のマクロブロックのステップ値を大きくし、平坦な画像部分のマクロブロックのステップ値を小さくする作用があり、符号をどのようにマクロブロックに割り振るかを最適化する作用がある。これに対して、ステップ値調整係数αは、ステップ値を全体的に大きくする作用があり、符号量を少なくする作用を持っているのである。

このようにして、あるマクロブロックについて量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが算出されると、量子化ステップ決定部４は、次のマクロブロックについても同様の処理を行い、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを算出する。１フレーム内のマクロブロックについて処理を繰り返している間は、マクロブロック評価平均値ＡＣＴ＿ＰＩＣおよび量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２は同じ値が用いられる。そして、マクロブロックごとに対応するマクロブロック評価値ＡＣＴ＿ＭＢを入力して、フレーム内の全マクロブロックについて量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを算出するのである。あるフレームについて処理が終了すると、次のフレームについても同様に処理が繰り返される。

以上説明したように、本実施の形態のトランスコーダ１を利用することで、変化の多い画像に対応したマクロブロックには大きいステップ値を割り当て、平坦な画像に対応したマクロブロックには小さいステップ値を割当てることができる。これにより、平坦な画像部分に多くの符号を割当てることができ、小さな画像の変化も再現性を高めることができる。その一方で、多少の丸め込みは影響しない変化の大きい画像部分には少ない符号量を割当てることができ、符号量をバランスよく調整することができ、画質を向上させることが可能である。さらに、ステップ値調整係数αを乗算するとで、ステップ値を全体的に大きくしているので、符号量を少なくすることができ、Ｈ．２６４データのデータ量を小さくすることができる。

｛第２の実施の形態｝
次に、本発明の第２の実施の形態について説明する。図３は、第２の実施の形態に係る量子化ステップ決定部４のブロック図である。図３において、第１の実施の形態と同様の構成については、同じ符号を付している。以下、第１の実施の形態と異なる構成について説明し、同様の説明については省略する。

図に示すように、第２の実施の形態においては、乗算器４０４と加算器４０５との間に、リミッタ４１０が設けられている。リミッタ４１０は、乗算器４０４から出力された重み付け値７２の振幅に制限を加える処理部である。リミッタ４１０は、２つの入力端子を備えており、その１つから入力された上限閾値（Ｔｈｒｅｓ＿Ｈ）を重み付け値７２の上限に設定する。また、他方の端子から入力された下限閾値（Ｔｈｒｅｓ＿Ｌ）を重み付け値７２の下限に設定する。なお、重み付け値７２は、必ず正負の値をとるので、下限閾値（Ｔｈｒｅｓ＿Ｌ）は負の値である。

量子化ステップ決定部４が備える図示せぬ記憶部には、上限固定閾値（ＬＩＭＩＴ＿ＴＨＲＥＳ＿Ｈ）と下限固定閾値（ＬＩＭＩＴ＿ＴＨＲＥＳ＿Ｌ）が格納されており、この実施の形態においては、リミッタ４１０は、記憶部から入力した上限固定閾値（ＬＩＭＩＴ＿ＴＨＲＥＳ＿Ｈ）を上限閾値（Ｔｈｒｅｓ＿Ｈ）として、重み付け値７２の振幅の上限をクリップする。また、記憶部から入力した下限固定閾値（ＬＩＭＩＴ＿ＴＨＲＥＳ＿Ｌ）を下限閾値（Ｔｈｒｅｓ＿Ｌ）として、重み付け値７２の振幅の下限をクリップする。

リミッタ４１０は、乗算器４０４から入力した重み付け値７２の上限および下限をクリップし、制限重み付け値７２ａを出力する。この後の処理は、第１の実施の形態と同様である。制限重み付け値７２ａに量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２が加算され、ステップ値調整係数αが乗算されて量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが算出される。

この実施の形態によれば、重み付け値７２の上限、下限を制限することで、マクロブロックの状態に応じて極端に量子化ステップＱｓｔｅｐ＿ＡＶＣが変化することを防止することができる。

｛第３の実施の形態｝
次に、本発明の第３の実施の形態について説明する。図４は、第３の実施の形態に係る量子化ステップ決定部４のブロック図である。図４において、第１、第２の実施の形態と同様の構成については、同じ符号を付している。以下、第１、第２の実施の形態と異なる構成について説明し、同様の説明については省略する。

第３の実施の形態の量子化ステップ決定部４は、さらに、２つの乗算器４１１、４１２を備えている。乗算器４１１の出力側は、リミッタ４１０の下限閾値（Ｔｈｒｅｓ＿Ｌ）の入力端子に接続され、乗算器４１２の出力側は、リミッタ４１０の上限閾値（Ｔｈｒｅｓ＿Ｈ）の入力端子に接続されている。また、乗算器４１１には、図示せぬ記憶部に格納されている下限制限率（ＬＩＭＩＴ＿ＲＡＴＩＯ＿Ｌ）と量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２が入力され、乗算器４１２には、図示せぬ記憶部に格納されている上限制限率（ＬＩＭＩＴ＿ＲＡＴＩＯ＿Ｈ）と量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２が入力される。

そして、乗算器４１１は、下限制限率（ＬＩＭＩＴ＿ＲＡＴＩＯ＿Ｌ）と量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２とを乗算し、その結果を下限閾値（Ｔｈｒｅｓ＿Ｌ）としてリミッタ４１０に出力し、乗算器４１２は、上限制限率（ＬＩＭＩＴ＿ＲＡＴＩＯ＿Ｈ）と量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２とを乗算し、その結果を上限閾値（Ｔｈｒｅｓ＿Ｈ）としてリミッタ４１０に出力する。

リミッタ４１０は、乗算器４０４から入力した重み付け値７２の上限および下限をクリップし、制限重み付け値７２ｂを出力する。この後の処理は、第１の実施の形態と同様である。制限重み付け値７２ｂに量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２が加算され、ステップ値調整係数αが乗算されて量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが算出される。

この実施の形態によっても、重み付け値７２の上限、下限を制限することで、マクロブロックの状態に応じて極端に量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが変化することを防止することができる。また、第１および第２の実施の形態においては、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２の値が非常に小さい場合、つまり、元のＭＰＥＧ２の量子化ステップが非常に小さい場合に、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが０に張り付く可能性がある（この場合、実際には、後の処理でステップ値を１に補正する。）。しかし、この第３の実施の形態においては、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２に応じて、下限閾値（Ｔｈｒｅｓ＿Ｌ）を決定することができるので、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが０に張り付くことを回避することができる。つまり、下限閾値（Ｔｈｒｅｓ＿Ｌ）は負の値であるが、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２が非常に小さい場合には、その下限閾値（Ｔｈｒｅｓ＿Ｌ）は大きくなるように調整されるので、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが０に張り付くことを回避することができる。

｛第４の実施の形態｝
次に、本発明の第４の実施の形態について説明する。図５は、第４の実施の形態に係る量子化ステップ決定部４のブロック図である。図５において、第１〜第３の実施の形態と同様の構成については、同じ符号を付している。以下、第１〜第３の実施の形態と異なる構成について説明し、同様の説明については省略する。

第４の実施の形態の量子化ステップ決定部４は、第２の実施の形態と第３の実施の形態とを合わせたような実施の形態である。図に示すように、量子化ステップ決定部４は、さらに、セレクタ４１３、４１４を備えている。

セレクタ４１３は、２つの入力を持つ。１つは、第２の実施の形態で説明した下限固定閾値（ＬＩＭＩＴ＿ＴＨＲＥＳ＿Ｌ）であり、他方は、第３の実施の形態で説明した乗算器４１１の出力である。同様に、セレクタ４１４も、２つの入力を持つ。１つは、第２の実施の形態で説明した上限固定閾値（ＬＩＭＩＴ＿ＴＨＲＥＳ＿Ｈ）であり、他方は、第３の実施の形態で説明した乗算器４１２の出力である。

つまり、第２の実施の形態では、固定的な制限値を利用し、第３の実施の形態においては、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２に応じて算出される制限値を利用した。この第４の実施の形態では、これら２つの制限値のうち、重み付け値７２の振れ幅を小さくする制限値を選択するのである。したがって、セレクタ４１３は、２つの入力のうち、大きい方の値を下限閾値（Ｔｈｒｅｓ＿Ｌ）としてリミッタ４１０に出力し、セレクタ４１４は、２つの入力のうち、小さい方の値を上限閾値（Ｔｈｒｅｓ＿Ｈ）としてリミッタ４１０に出力するのである。

このような構成とすることで、第２、第３の実施の形態と同様、重み付け値７２の上限、下限を制限することができ、マクロブロックの状態に応じて極端に量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが変化することを防止することができる。さらに、固定的な制限値と量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２に応じて算出される制限値のうち、重み付け値７２の振れ幅が小さくなるような制限値が選択されるので、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが０に張り付くことを回避できるとともに、重み付け値７２の振れ幅を抑制することができる。

｛第５の実施の形態｝
次に、本発明の第５の実施の形態について説明する。図６は、第５の実施の形態に係る量子化ステップ決定部４のブロック図である。図６において、第１〜第４の実施の形態と同様の構成については、同じ符号を付している。以下、第１〜第４の実施の形態と異なる構成について説明し、同様の説明については省略する。

第５の実施の形態の量子化ステップ決定部４は、さらに、セレクタ４２０を備えている。セレクタ４２０は、３種類のピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂを入力し、ステップ値調整係数αを出力する。また、セレクタ４２０は、いずれのピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂを選択するかを判定するために、ピクチャ種別情報Ｐ＿ｔｙｐｅ＿ＭＢを入力する。ピクチャ種別情報Ｐ＿ｔｙｐｅ＿ＭＢは、現在処理対象のマクロブロックが、Ｉピクチャであるのか、Ｐピクチャであるのか、Ｂピクチャであるのかを指定する情報である。図示せぬ記憶部に格納されている３種類のピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャに対応して予め設定されたステップ値の調整係数である。

セレクタ４２０が、現在のピクチャ種別情報Ｐ＿ｔｙｐｅ＿ＭＢを入力し、その情報に応じて、対応するピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂを選択し、その値をステップ値調整係数αとして乗算器４０６に対して出力する。この後の処理は第１の実施の形態と同様である。

第５の実施の形態によれば、ピクチャの種別に応じてステップ値調整係数αを変化させることができる。これにより、ピクチャ種別に応じて最適な符号量を割当てることが可能である。たとえば、ＭＰＥＧ２では、Ｉピクチャに対して多くの符号量を割当てるといった符号化処理が行われているが、Ｈ．２６４では、そのような割り当ては必要ないので、ピクチャ対応調整係数α_Ｉを他のピクチャ対応調整係数α_Ｐ、α_Ｂより大きくするなどの調整が可能である。

｛第６の実施の形態｝
次に、本発明の第６の実施の形態について説明する。図７は、第６の実施の形態に係る量子化ステップ決定部４のブロック図である。図７において、第１〜第５の実施の形態と同様の構成については、同じ符号を付している。以下、第１〜第５の実施の形態と異なる構成について説明し、同様の説明については省略する。

第６の実施の形態の量子化ステップ決定部４は、ＳＡＤ値を利用して、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを算出する基準となる量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２の値を調整する。

図に示すように、量子化ステップ決定部４は、さらに、シフト演算器４３１、４３２、加算器４３３、除算器４３４、ルックアップテーブル４３５、乗算器４３６、４３７を備えている。

そして、マクロブロック評価値ＡＣＴ＿ＭＢが、シフト演算器４３１に入力され、マクロブロック動き評価値ＳＡＤ＿ＭＢが、シフト演算器４３２に入力され、それぞれシフト演算が行われて桁合わせが行われる。さらに、シフト演算が行われたマクロブロック動き評価値ＳＡＤ＿ＭＢには、加算器４３３においてオフセット値が加算される。オフセット値は、マクロブロック評価値ＡＣＴ＿ＭＢとマクロブロック動き評価値ＳＡＤ＿ＭＢとの比を調整するための調整値である。

シフト演算を経たマクロブロック評価値ＡＣＴ＿ＭＢと、シフト演算およびオフセット演算を経たマクロブロック動き評価値ＳＡＤ＿ＭＢは、除算器４３４に入力される。ここで、マクロブロック評価値ＡＣＴ＿ＭＢをマクロブロック動き評価値ＳＡＤ＿ＭＢで除算する処理が行われる。この除算処理結果ｘは、数２式で表される。

数２式中、＞＞ｐｂｉｔは、シフト演算器４３１におけるｐビットのシフト演算を示し、＞＞ｑｂｉｔは、シフト演算器４３２におけるｑビットのシフト演算を示している。また、＋ＯＦＦＳＥＴは、オフセット値が加算されることを示している。このｘは、マクロブロック動き評価値ＳＡＤ＿ＭＢに対するマクロブロック評価値ＡＣＴ＿ＭＢの割合である。つまり、時間方向の動きが小さく、平面方向に変化の大きい画像に対応するマクロブロックについては、ｘの値が大きくなり、その逆に、時間方向の動きが大きい場合や、平坦な画像に対応するマクロブロックについては、ｘの値が小さくなる。なお、シフト演算器４３１、４３２におけるシフト量や、加算器４３３において加算するオフセット値を調整することで、ｘの値を調整することができる。

次に、この値ｘが、ルックアップテーブル４３５に入力され、対応する出力値ｙを得る。ｙとｘの関係を数３式に示す。

ルックアップテーブル４３５の変換テーブルＬＵＴ[]の特性は、単調増加関数である。つまり、ｘが大きくなるほど、ｙの値も大きくなる特性を持つ。さらに、ｘの値が所定の値より小さい場合には、ｙの値が１より小さく、ｘの値が所定の値よりも大きい場合には、ｙの値が１より大きくなるような特性を持つ。

出力値ｙは、乗算器４３６に入力され、調整係数Ｃ_ａｑが乗算される。そして、乗算器４３６の出力値が、乗算器４３７に入力され、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２と乗算されるのである。これにより、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２の調整値ｚが算出される。数４式は、乗算器４３７の出力値ｚの計算式を示す。

時間方向の動きが小さく、平面方向に変化の大きい画像に対応するマクロブロックについてはｘの値が大きくなる。そして、ｘの値が所定の値より大きく、ｙの値が１より大きくなれば、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２が元の値より大きく調整される。結果的に、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣも大きくなる方向に調整される。

これに対して、時間方向の動きが大きい場合や、平坦な画像に対応するマクロブロックについてはｘの値が小さくなる。そして、ｘの値が所定の値より小さく、ｙの値が１より小さくなれば、量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２が元の値より小さく調整される。これにより、結果的に、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣも小さくなる方向に調整される。

なお、調整係数Ｃ_ａｑは量子化ステップ平均値Ｑｓｔｅｐ＿ａｖｅ＿ＭＰ２を調整するための微調整を行う係数である。ルックアップテーブル４３５のテーブルに変更を加えることなく、調整係数Ｃ_ａｑを調整することで、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを微調整することができる。

このように、第６の実施の形態によれば、ＳＡＤ値が大きく、Ａｃｔｉｖｉｔｙ値が小さいマクロブロックは、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣをより小さくして画質改善を図り、ＳＡＤ値が小さく、Ａｃｔｉｖｉｔｙ値が大きいマクロブロックは、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを現状維持とするか大きく調整し、符号量を削減することができる。

なお、Ａｃｔｉｖｉｔｙ値は、フレーム内の画像を用いて演算されるのでフレーム内の全てのマクロブロックについて演算可能であるが、ＳＡＤ値は、処理対象のフレームがＩピクチャである場合には、参照画像マクロブロックが存在しないので、算出することができない。このため、本実施の形態においては、処理対象のフレームがＩピクチャである場合には、直前のＰピクチャのＳＡＤ値を代用するようにしている。

また、処理対象のフレームが、ＢピクチャあるいはＰピクチャである場合であっても、それらピクチャフレームの中にイントラマクロブロックが存在する場合がある。このイントラマクロブロックには、参照画像マクロブロックがないので、ＳＡＤ値を演算することができない。そこで、本実施の形態においては、イントラブロックが出現した場合は、周りのブロックのＳＡＤ値で代用するようにする。たとえば、図８に示すように、イントラマクロブロックＭＢの直前のマクロブロックＡ４のＳＡＤ値を代用する。あるいは、過去複数のマクロブロック（Ａ１、Ａ２、Ａ３、Ａ４）のＳＡＤ値の平均値で代用してもよい。あるいは、周辺８ブロック（Ａ１〜Ａ８）のＳＡＤ値の平均値で代用してもよい。

｛第７の実施の形態｝
次に、本発明の第７の実施の形態について説明する。図９は、第７の実施の形態に係る量子化ステップ決定部４のブロック図である。図９において、第１〜第６の実施の形態と同様の構成については、同じ符号を付している。以下、第１〜第６の実施の形態と異なる構成について説明し、同様の説明については省略する。

第７の実施の形態の量子化ステップ決定部４は、図９に示すように、さらに、係数演算部４４０を備えている。係数演算部４４０は、ピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂと、レート制御係数Ｃ_αを出力する演算部である。つまり、第５の実施の形態では、ピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂとして、記憶部に格納されている固定値を利用したが、この実施の形態においては、ピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂを演算により求める。

図１０は、係数演算部４４０のブロック図である。係数演算部４４０は、Ｑｓｔｅｐ比決定部４４１とレート制御係数演算部４４２を備えている。図に示すように、係数演算部４４０は、３つのビットレートを入力し、係数を演算する。

このうち、ソースビットレート（Ｓｏｕｒｃｅ＿ｂｉｔｒａｔｅ：ｂｓ）は、デコードしたＭＰＥＧ２データのビットレートである。つまり、符号化変換する前の画像データのビットレートである。ソースビットレート（ｂｓ）の値は、トランスコーダ１に入力されたソースストリームのシーケンスヘッダに記録されている値を利用すればよい。あるいは、直前のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）内の発生符号量から算出してもよい。あるいは、過去の複数のＧＯＰにおける発生符号量から算出してもよいし、過去の複数フレームの発生符号量から算出してもよい。

目標ビットレート（Ｔａｒｇｅｔ＿ｂｉｔｒａｔｅ：ｂｔ）は、設定されている変換後のＨ．２６４データのビットレートである。

また、カレントビットレート（Ｃｕｒｒｅｎｔ＿ｂｉｔｒａｔｅ：ｂｃ）は、現在の符号化ビットレートを示す。現在Ｈ．２６４エンコーダ３でエンコード処理を実行しているが、既に、エンコードが完了している過去所定時間分のＨ．２６４データのビットレートである。これは、直前のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）内の発生符号量から算出してもよい。あるいは、過去の複数のＧＯＰにおける発生符号量から算出してもよいし、過去の複数フレームの発生符号量から算出してもよい。

つまり、ｂｓ（ＭＰＥＧ２）、ｂｃ（Ｈ．２６４）共に、過去の複数Ｎ個のＧＯＰ内あるいは複数Ｍ枚のフレームの発生符号量から計算するようにしている。そして、このＮ，Ｍの初期値はユーザが自由に設定できるようにすればよい。また、この値は、処理の途中であっても、必要があれば、（ＣＰＵなどの介在により）変更してもよい。

図１１は、Ｑｓｔｅｐ比決定部４４１のブロック図である。Ｑｓｔｅｐ比決定部４４１は、除算器４４１１、ルックアップテーブル４４１２、４４１３、４４１４を備えている。除算器４４１１は、入力した目標ビットレート（ｂｔ）をソースビットレート（ｂｓ）で除算する。この値は、圧縮率（ｂｔ／ｂｓ）を示している。そして、演算された圧縮率が各ルックアップテーブル４４１２、４４１３、４４１４に出力される。

図１２は、ルックアップテーブル４４１２、４４１３、４４１４における入力値（圧縮率：ｂｔ／ｂｓ）と出力値（α値）との関係を示す図である。数５式は、圧縮率（ｂｔ／ｂｓ）とα値との関係を示す式である。

図１２および数５式におけるα値は、具体的には、ルックアップテーブル４４１２については、ピクチャ対応調整係数α_Ｉであり、ルックアップテーブル４４１３については、ピクチャ対応調整係数α_Ｐであり、ルックアップテーブル４４１４については、ピクチャ対応調整係数α_Ｂである。このように、ルックアップテーブルを利用して、各ピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂを求めるようにしている。たとえば、圧縮率が０．５を超えるような範囲では、ピクチャ対応調整係数α_Ｉがピクチャ対応調整係数α_Ｂより大きくなっており、前述したように、ＭＰＥＧ２では多くの符号量が与えられていたＩピクチャに対する符号量を抑制している。

再び、図９を参照する。係数演算部４４０より３つのピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂが出力され、これらの係数値がセレクタ４２０に入力される。セレクタ４２０は、ピクチャ種別情報Ｐ＿ｔｙｐｅ＿ＭＢを入力し、現在の処理対象のフレームのピクチャ種別を特定すると、そのピクチャ種別に対応するピクチャ対応調整係数α_Ｉ、α_Ｐ、α_Ｂを、ステップ値調整係数αとして出力する。出力されたステップ値調整係数αは、乗算器４０６において、量子化ステップ基礎値７３と乗算される。これにより、量子化ステップ調整値７４が算出される。

図１３は、レート制御係数演算部４４２のブロック図である。レート制御係数演算部４４２は、カレントビットレート（ｂｃ）と目標ビットレート（ｂｔ）を入力して、レート制御係数Ｃ_αを出力する。レート制御係数演算部４４２は、図に示すように、減算器４４２１と、乗算器４４２２と、加算器４４２３と、リミッタ４４２４を備えている。

まず、減算器４４２１において、目標ビットレート（ｂｔ）からカレントビットレート（ｂｃ）が減算される。次に、この減算値が乗算器４４２２に入力され、係数ｋが乗算される。これにより、レート制御変位量ΔＣ_αが算出される。次に、レート制御変位量ΔＣ_αが加算器４４２３に入力され、レート制御初期値Ｃ_αｉｎｉｔが加算される。レート制御初期値Ｃ_αｉｎｉｔとしては、通常は、１．０の値が利用される。最後に、加算器４４２３の出力値がリミッタ４４２４に入力され、その値に制限が加えられる。リミッタ４４２４は、加算器４４２３の出力を、設定されている上限値（ＬＩＭ＿Ｈ）および下限値（ＬＩＭ＿Ｌ）の範囲に制限し、レート制御係数Ｃ_αを出力する。このように、リミッタ４４２４によりレート制御係数Ｃ_αの値をクリップすることにより、発生符号量の極端な振れを防止するようにしている。数６式は、レート制御係数Ｃ_αの計算式を示している。なお、数６式においては、リミッタ４４２４による処理の作用は含まれていない。

再び、図９を参照する。係数演算部４４０から出力されたレート制御係数Ｃ_αは、乗算器４０７に入力される。これにより、乗算器４０６から出力された量子化ステップ調整値７４にレート制御係数Ｃ_αが乗算され、量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣが算出されるのである。

このようにレート制御係数演算部４４２では、目標ビットレート（ｂｔ）とカレントビットレート（ｂｃ）の差に基づいてレート制御変位量ΔＣ_αを算出し、予め設定されているレート制御初期値Ｃ_αｉｎｉｔにレート制御変位量ΔＣ_αを加算することで、レート制御係数Ｃ_αを算出するのである。このレート制御係数Ｃ_αが、量子化ステップ調整値７４に乗算されるので、算出される量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを、目標ビットレート（ｂｔ）に近づけるように調整できるのである。

｛第８の実施の形態｝
第８の実施の形態のトランスコーダ１は、第７の実施の形態と比べてレート制御係数演算部の構成のみが異なる。図１４は、第８の実施の形態に係るレート制御係数演算部４４２Ａを示す図である。

まず、カレントビットレート（ｂｃ）は、対数演算器４４２５に入力され、目標ビットレート（ｂｔ）は、対数演算器４４２６に入力される。そして、それぞれの対数値が計算された後、減算器４４２７において差分が演算される。この後の処理は、図１３で説明したレート制御係数演算部４４２と同様である。数７式は、レート制御係数Ｃ_αの計算式を示している。また、数７式においては、リミッタ４４２４による処理の作用は含まれていない。

この実施の形態においても、目標ビットレート（ｂｔ）とカレントビットレート（ｂｃ）との差に基づいてレート制御を行うことができる。特に、目標ビットレート（ｂｔ）とカレントビットレート（ｂｃ）に対する対数値を利用しているので、ビットレートが高い場合には、あまり大きなレート制御を行わないように抑制している。

｛第９の実施の形態｝
第９の実施の形態のトランスコーダ１は、第７の実施の形態と比べてレート制御係数演算部の構成のみが異なる。図１５は、第９の実施の形態に係るレート制御係数演算部４４２Ｂを示す図である。

まず、カレントビットレート（ｂｃ）と目標ビットレート（ｂｔ）がルックアップテーブル４４２８に入力される。ルックアップテーブル４４２８は、２つの入力値（カレントビットレートおよび目標ビットレート）に対して、レート制御変位量ΔＣ_αを出力値として対応づけているテーブルである。

この後の処理は、図１３で説明したレート制御係数演算部４４２と同様である。数８式は、レート制御係数Ｃ_αの計算式を示している。また、数８式においては、リミッタ４４２４による処理の作用は含まれていない。

この実施の形態においても、目標ビットレート（ｂｔ）とカレントビットレート（ｂｃ）との差に基づいてレート制御を行うことができる。特に、ルックアップテーブル４４２８を利用しているので、目標ビットレート（ｂｔ）とカレントビットレート（ｂｃ）に対して、より詳細な特性をもってレート制御係数Ｃ_αを決定することができる。

｛応用例｝
第７〜第９の実施の形態においては、ソースビットレート（ｂｓ）と目標ビットレート（ｂｔ）に基づいて、ステップ値調整係数αを算出した。ここで、トランスコード処理の途中で、ｂｓ、ｂｔともに変化しない場合は、最初に与えられたステップ値調整係数αを継続して利用すればよい。

これに対して、ｂｓあるいはｂｔが変化する場合がある。たとえば、入力ソースストリーム（ＭＰＥＧ２ストリーム）のビットレートが変わると、ｂｓが変化する。もしくは、トランスコード処理後のＨ．２６４データをハードディスクなどの記憶媒体に格納している場合、記憶媒体の容量が不足する場合がある。このような場合、ハードディスク容量の残量（空き容量）を検知し、ｂｔを適応的に変化させるのである。たとえば、最初４Ｍｂｐｓをｂｔとしてエンコードしていたが、ハードディスク容量が足りなくなってきたので、３Ｍｂｐｓや２Ｍｐｂｓなどに目標ビットレート（ｂｔ）を下げるのである。

このように、トランスコード処理の途中で、ソースビットレート（ｂｓ）や目標ビットレート（ｂｔ）が変化した場合には、新しいｂｓ、ｂｔを用いてステップ値調整係数αを再計算することで、より適切な量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを算出可能である。

同様に、目標ビットレート（ｂｔ）が変化した場合には、それに応じて、レート制御係数Ｃ_αを再計算するようにしてもよい。これにより、たとえば、ハードディスク容量の残量に合わせて量子化ステップ値Ｑｓｔｅｐ＿ＡＶＣを適応的に変化させることが可能である。

以上、本発明の実施の形態に係るトランスコーダ１について説明したが、各実施の形態におけるトランスコーダ１の各処理手段は、それら全てがハードウェアで構成されていてもよいし、それら全てがソフトウェア処理で実現されていてもよい。ここで、ソフトウェア処理で実現されるとは、ＣＰＵ、ＲＡＭなどのハードウェアと、それらハードウェア資源を利用して実行されるプログラムとで処理部が構成されることである。あるいは、各処理手段の一部がハードウェアで構成され、一部がソフトウェア処理で実現されていてもよい。

図９ないし図１５を用いて説明した第７〜第９の実施の形態においては、係数演算部４４０をソフトウェア処理により実現し、その他の処理部についてはハードウェアで構成すると利便性がよい。具体的には、ｂｓ、ｂｔを入力とし、α_Ｉ、α_Ｐ、α_Ｂ、を出力する関数や、ｂｃ、ｂｔを入力とし、Ｃ_αを出力とする関数をソフトウェア処理で実行するのである。つまり、Ｑｓｔｅｐ比決定部４４１とレート制御係数演算部４４２をソフトウェア処理により実現するのである。あるいは、処理部４４１と４４２の一方だけをソフトウェア処理で実現してもよい。これにより、ユーザ（セットメーカ）が製品（セット、ロット）毎に符号化特性を書き換えることができ、より柔軟なシステムが実現される。

上記の実施の形態においては、ＭＰＥＧ２符号化画像をＨ．２６４符号化画像にトランスコードする場合を例に説明したが、本発明のトランスコーダ１あるいは符号化変換方法は、その他各種の符号化画像の変換処理に適用可能である。たとえば、ＭＰＥＧ２からＭＰＥＧ２のトランスコード処理、Ｈ．２６４からＨ．２６４へのトランスコード処理などに適用可能である。つまり、画像を周波数成分の画像に分解し、各周波数成分の画像に割当てられる係数を量子化、符号化するタイプの画像符号化方式であれば、いずれのタイプの符号化方式であっても、本発明を適用可能である。

本実施の形態に係るトランスコーダのブロック図である。 第１の実施の形態に係る量子化ステップ決定部のブロック図である。 第２の実施の形態に係る量子化ステップ決定部のブロック図である。 第３の実施の形態に係る量子化ステップ決定部のブロック図である。 第４の実施の形態に係る量子化ステップ決定部のブロック図である。 第５の実施の形態に係る量子化ステップ決定部のブロック図である。 第６の実施の形態に係る量子化ステップ決定部のブロック図である。 イントラマクロブロックが出現した場合のＳＡＤ値の算出方法を示す図である。 第７の実施の形態に係る量子化ステップ決定部のブロック図である。 係数演算部のブロック図である。 Ｑｓｔｅｐ比決定部のブロック図である。 圧縮率とα値（ステップ値調整係数）の関係を示す図である。 レート制御係数算出部のブロック図である。 第８の実施の形態に係るレート制御係数演算部のブロック図である。 第９の実施の形態に係るレート制御係数演算部のブロック図である。

符号の説明

１ トランスコーダ
２ ＭＰＥＧデコーダ
３ Ｈ．２６４エンコーダ
４ 量子化ステップ決定部

Claims (33)

1. 第１符号化画像をデコードするデコード手段と、
   前記デコード手段においてデコードされた画像のマクロブロック内の画素値のばらつき度合いを示すマクロブロック評価値を算出する手段と、
   前記マクロブロック評価値をフレーム内で平均してマクロブロック評価平均値を算出する手段と、
   前記デコード手段でデコードされた画像をエンコードし第２符号化画像を生成するエンコード手段と、
   を備え、
   前記エンコード手段は、
   前記第１符号化画像のフレーム内の量子化ステップ値を平均した量子化ステップ平均値を取得する手段と、
   前記マクロブロック評価値と前記マクロブロック評価平均値との差に基づいてマクロブロックごとの重み付け値を算出する重み付け値算出手段と、
   前記量子化ステップ平均値に前記重み付け値を加算した値に基づいて、前記第２符号化画像のマクロブロックごとの変換用量子化ステップ値を算出するステップ値算出手段と、
   を備えることを特徴とするトランスコーダ。
2. 請求項１に記載のトランスコーダにおいて、
   前記マクロブロック評価値は、マクロブロック内の画素平均値とマクロブロック内の各画素との差分絶対値和であることを特徴とするトランスコーダ。
3. 請求項１または請求項２に記載のトランスコーダにおいて、
   前記ステップ値算出手段は、
   前記量子化ステップ平均値に前記重み付け値を加算した値に、１より大きいステップ値調整係数を乗算する手段、
   を含むことを特徴とするトランスコーダ。
4. 請求項１ないし請求項３のいずれかに記載のトランスコーダにおいて、
   前記重み付け値算出手段は、
   前記マクロブロック評価値と前記マクロブロック評価平均値との差に、１より小さい重み付け値調整係数を乗算する手段、
   を含むことを特徴とするトランスコーダ。
5. 請求項４に記載のトランスコーダにおいて、
   前記重み付け値算出手段は、
   前記重み付け値調整係数が乗算された値に上限を与えるリミッタ、
   を含むことを特徴とするトランスコーダ。
6. 請求項４に記載のトランスコーダにおいて、
   前記重み付け値算出手段は、
   前記重み付け値調整係数が乗算された値に下限を与えるリミッタ、
   を含むことを特徴とするトランスコーダ。
7. 請求項５に記載のトランスコーダにおいて、
   前記重み付け値算出手段は、
   前記量子化ステップ平均値に、所定の係数を乗算することで前記リミッタの上限値を算出する手段、
   を含むことを特徴とするトランスコーダ。
8. 請求項６に記載のトランスコーダにおいて、
   前記重み付け値算出手段は、
   前記量子化ステップ平均値に、所定の係数を乗算することで前記リミッタの下限値を算出する手段、
   を含むことを特徴とするトランスコーダ。
9. 請求項７に記載のトランスコーダにおいて、
   前記重み付け値算出手段は、
   前記リミッタに設定する固定上限値を格納する手段と、
   前記所定の係数を乗算することにより得られた上限値と前記固定上限値のうち、小さい値を前記リミッタの上限値として選択する手段と、
   を含むことを特徴とするトランスコーダ。
10. 請求項８に記載のトランスコーダにおいて、
    前記重み付け値算出手段は、
    前記リミッタに設定する固定下限値を格納する手段と、
    前記所定の係数を乗算することにより得られた下限値と前記固定下限値のうち、大きい値を前記リミッタの下限値として選択する手段と、
    を含むことを特徴とするトランスコーダ。
11. 請求項３に記載のトランスコーダにおいて、
    前記ステップ値算出手段は、
    ピクチャフレーム種別に応じたピクチャ対応調整係数を格納する手段と、
    処理対象マクロブロックのピクチャフレーム種別に応じて前記ピクチャ対応調整係数を選択し、選択された前記ピクチャ対応調整係数を前記ステップ値調整係数として利用する手段と、
    を含むことを特徴とするトランスコーダ。
12. 請求項１ないし請求項１１のいずれかに記載のトランスコーダにおいて、さらに、
    前記デコード手段においてデコードされた画像のマクロブロックの時間方向の変化度合いを示すマクロブロック動き評価値を入力する手段、
    を備え、
    前記ステップ値算出手段は、
    前記量子化ステップ平均値に、前記マクロブロック動き評価値に基づいて算出された動き調整値を乗算する手段、
    を含むことを特徴とするトランスコーダ。
13. 請求項１２に記載のトランスコーダにおいて、
    前記マクロブロック動き評価値は、マクロブロックと参照画像マクロブロックとのフレーム間差分絶対値和であることを特徴とするトランスコーダ。
14. 請求項１３に記載のトランスコーダにおいて、
    前記マクロブロック動き評価値を演算できないＩフレームについては、直前のＰフレームで演算された前記マクロブロック動き評価値で代用することを特徴とするトランスコーダ。
15. 請求項１３に記載のトランスコーダにおいて、
    ＰフレームまたはＢフレームであっても、前記マクロブロック動き評価値を演算できないイントラマクロブロックについては、直前のマクロブロックで演算された前記マクロブロック動き評価値で代用することを特徴とするトランスコーダ。
16. 請求項１３に記載のトランスコーダにおいて、
    ＰフレームまたはＢフレームであっても、前記マクロブロック動き評価値を演算できないイントラマクロブロックについては、近傍のマクロブロックで演算された前記マクロブロック動き評価値で代用することを特徴とするトランスコーダ。
17. 請求項１２ないし請求項１６のいずれかに記載のトランスコーダにおいて、
    前記ステップ値算出手段は、
    前記マクロブロック動き評価値と前記マクロブロック評価値との割合に応じて前記動き調整値を算出する手段、
    を含むことを特徴とするトランスコーダ。
18. 請求項３に記載のトランスコーダにおいて、
    前記ステップ値算出手段は、
    前記第１符号化画像のソースビットレートと前記第２符号化画像の目標ビットレートに基づいてピクチャフレーム種別に応じたピクチャ対応調整係数を算出する手段と、
    処理対象マクロブロックのピクチャフレーム種別に応じて前記ピクチャ対応調整係数を選択し、選択された前記ピクチャ対応調整係数を前記ステップ値調整係数として利用する手段と、
    を含むことを特徴とするトランスコーダ。
19. 請求項１８に記載のトランスコーダにおいて、
    前記ソースビットレートが変化する場合には、それに応じて前記ピクチャ対応調整係数を再計算することを特徴とするトランスコーダ。
20. 請求項１８に記載のトランスコーダにおいて、
    前記第２符号化画像を格納する記憶媒体の容量に応じて前記目標ビットレートを変化させ、その変化に応じて前記ピクチャ対応調整係数を再計算することを特徴とするトランスコーダ。
21. 請求項１８に記載のトランスコーダにおいて、
    前記第２符号化画像を格納する記憶媒体の空き容量に応じて前記目標ビットレートを変化させ、その変化に応じて前記ピクチャ対応調整係数を再計算することを特徴とするトランスコーダ。
22. 請求項３に記載のトランスコーダにおいて、
    前記ステップ値算出手段は、
    前記第２符号化画像の目標ビットレートと、変換された前記第２符号化画像のカレントビットレートに基づいてレート制御係数を算出するレート制御係数算出手段と、
    前記ステップ値調整係数が乗算された値に、前記レート制御係数を乗算する手段と、
    を含むことを特徴とするトランスコーダ。
23. 請求項２２に記載のトランスコーダにおいて、
    前記レート制御係数算出手段は、
    前記目標ビットレートと前記カレントビットレートとの差分値に基づいて前記レート制御係数を算出する手段、
    を含むことを特徴とするトランスコーダ。
24. 請求項２２に記載のトランスコーダにおいて、
    前記レート制御係数算出手段は、
    前記目標ビットレートの対数値と前記カレントビットレートの対数値との差分値に基づいて前記レート制御係数を算出する手段、
    を含むことを特徴とするトランスコーダ。
25. 請求項２２に記載のトランスコーダにおいて、
    前記レート制御係数算出手段は、
    前記目標ビットレートと前記カレントビットレートを入力し、レート制御特性値を出力するルックアップテーブル、
    を含み、
    前記レート制御係数算出手段は、前記レート制御特性値に基づいて前記レート制御係数を算出することを特徴とするトランスコーダ。
26. 請求項２３ないし請求項２５のいずれかに記載のトランスコーダにおいて、
    前記レート制御係数算出手段は、
    前記レート制御係数に上限を与えるリミッタ、
    を含むことを特徴とするトランスコーダ。
27. 請求項２３ないし請求項２５のいずれかに記載のトランスコーダにおいて、
    前記レート制御係数算出手段は、
    前記レート制御係数に下限を与えるリミッタ、
    を含むことを特徴とするトランスコーダ。
28. 請求項２２ないし請求項２７のいずれかに記載のトランスコーダにおいて、
    前記第２符号化画像を格納する記憶媒体の容量に応じて前記目標ビットレートを変化させ、その変化に応じて前記レート制御係数を再計算することを特徴とするトランスコーダ。
29. 請求項２２ないし請求項２７のいずれかに記載のトランスコーダにおいて、
    前記第２符号化画像を格納する記憶媒体の空き容量に応じて前記目標ビットレートを変化させ、その変化に応じて前記レート制御係数を再計算することを特徴とするトランスコーダ。
30. 請求項１８ないし請求項２１のいずれかに記載のトランスコーダにおいて、
    前記ピクチャ対応調整係数を算出する手段がソフトウェア処理であることを特徴とするトランスコーダ。
31. 請求項２２ないし請求項２９のいずれかに記載のトランスコーダにおいて、
    前記レート制御係数算出段がソフトウェア処理であることを特徴とするトランスコーダ。
32. 第１符号化画像をデコードするデコード工程と、
    前記デコード工程においてデコードされた画像のマクロブロック内の画素値のばらつき度合いを示すマクロブロック評価値を算出する工程と、
    前記マクロブロック評価値をフレーム内で平均してマクロブロック評価平均値を算出する工程と、
    前記デコード工程でデコードされた画像をエンコードし第２符号化画像を生成するエンコード工程と、
    を備え、
    前記エンコード工程は、
    前記第１符号化画像のフレーム内の量子化ステップを平均した量子化ステップ平均値を取得する工程と、
    前記マクロブロック評価値と前記マクロブロック評価平均値との差に基づいてマクロブロックごとの重み付け値を算出する工程と、
    前記量子化ステップ平均値に前記重み付け値を加算した値に基づいて前記第２符号化画像のマクロブロックごとの変換用量子化ステップ値を算出する工程と、
    を備えることを特徴とする符号化画像変換方法。
33. コンピュータにインストールされることにより、前記コンピュータを請求項１ないし請求項３１のいずれかに記載のトランスコーダとして機能させることを特徴とするプログラム。
    
    

Images