JP2008011211A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】デジタル動画像圧縮ストリームの復号画をフレームメモリに格納する際に、隣接する画素間の画素値の差分を用いずに、各画素の画素値を隣接する画素から独立して圧縮すること。その圧縮されたデータを隣接する画素から独立して伸長すること。
【解決手段】書き込み部２１により、ブロックごとに、そのブロック内に含まれる画素の画素値の平均値を求める。情報圧縮部２２により、その平均値と画素値の差分を求め、その差分値の下位複数ビットを切り出して、元の画素値よりも少ないビット数の圧縮データとし、それをフレームメモリ２４ａ〜２４ｄに格納する。情報伸長部２５により、フレームメモリ２４ａ〜２４ｄから読み出された圧縮データに、その圧縮データを生成する際に用いた平均値を加算して、各画素の画素値を再生する。
【選択図】図１

Description

この発明は、画像処理装置および画像処理方法に関し、特に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２等のデジタル動画像圧縮方式に従って動画像データの符号化や復号化を行う画像処理装置および画像処理方法に関する。

一般に、ＭＰＥＧ２等のデジタル動画像圧縮方式を採用した動画像符号化装置や動画像復号化装置等の画像処理装置には、フレームの情報を保持するためのフレームメモリが設けられている。近年、表示装置の画面サイズの拡大化に伴って、フレームメモリの容量や、単位時間当たりのフレームメモリの情報の流量（バンド幅）が増大化してきており、これらが開発におけるボトルネックとなっている。

このボトルネックを解消するため、フレームメモリに格納される情報の量を圧縮する提案がなされている。例えば、隣接する画素間の画素値の差分をハフマン符号化することによって、情報量を圧縮する技術が公知である（例えば、特許文献１参照。）。また、隣接する画素間の画素値の差分を量子化係数により量子化することによって、情報量を圧縮する技術が公知である（例えば、特許文献２参照。）。

図５は、上述した従来の情報量の圧縮および伸長を行う画像処理装置の構成を示すブロック図である。図５に示すように、従来の画像処理装置では、書き込み部１により、デジタル動画像圧縮ストリームが各画素の画素値に復号化される。そして、情報圧縮部２により、隣接する画素間の画素値の差分が求められ、上述したように、その差分値をハフマン符号化または量子化することによって、データが圧縮される。圧縮されたデータは、メモリバス３を介してメモリ４中の各フレームメモリ４ａ，４ｂ，４ｃ，４ｄに書き込まれる。

一方、フレームメモリ４ａ，４ｂ，４ｃ，４ｄからは、圧縮されたデータが読み出される。その読み出されたデータは、情報伸長部５により、隣接する画素間の画素値の差分を用いて伸長することによって、各画素の画素値に再生される。その再生された画素値は、読み出し部６により、図示しない表示装置へ出力される。なお、図５において、第１〜第４の各フレームメモリ４ａ，４ｂ，４ｃ，４ｄの情報量（ハッチングを付した部分）が異なるのは、フレームメモリごとに絵柄の繁雑さが異なるからである。

図６は、従来のデータ圧縮処理の概念を示す説明図である。図６に示すように、従来のデータ圧縮処理では、隣接する画素の画素値７ａ，７ｂ，７ｃ，７ｄの差分値８ａ，８ｂ，８ｃを用いて、ラスタスキャン順、すなわちフレームイメージで左端の画素から水平に右端の画素まで走査すると、一段下の画素列に対して同様に左から右に向かって走査するようにして、順次、圧縮データ９ａ，９ｂ，９ｃが生成される。

図７は、従来のデータ伸長処理の概念を示す説明図である。図７に示すように、従来のデータ伸長処理では、ラスタスキャン順に、差分値８ａ，８ｂ，８ｃ，８ｄを用いて圧縮データ９ａ，９ｂ，９ｃ，９ｄを伸長することによって、各画素値７ａ，７ｂ，７ｃ，７ｄが再生される。

特開平１１−１３６６８６号公報 特開平１０−２４３４０２号公報

しかしながら、上述したように、従来の技術では、隣接する画素間の画素値の差分を用いてデータの圧縮を行うため、フレームイメージで水平方向の左から右に向かって１画素単位で順次、データ圧縮処理を行う必要がある。データ伸長処理についても、同様である。

図８は、従来のデータ圧縮、伸長処理によって一部の領域を読み出す様子を示す説明図である。特に、隣接する画素間の画素値の差分をハフマン符号化すると、フレームメモリ中の任意の差分値を取り出すことができない。従って、図８に示すように、従来の技術では、フレームメモリ４ｃ中の小さな矩形領域１０の画素を読み出して拡大表示するような場合に、フレームイメージでその矩形領域１０よりも左側の領域１１の画素（表示の対象ではない）を含めて、フレームの先頭から順次、読み出しを行う必要があるため、読み出しの効率が悪いという問題点がある。

この発明は、上述した従来技術による問題点を解消するため、隣接する画素間の画素値の差分を用いずに、各画素の画素値を隣接する画素から独立して圧縮し、また、その圧縮されたデータを隣接する画素から独立して伸長することができる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる画像処理装置および画像処理方法は、デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、その処理単位内に含まれる画素の画素値の代表値を求め、処理単位ごとに、代表値を用いて処理単位内の各画素の画素値のビット数を圧縮し、その圧縮された各画素の圧縮値をフレームメモリに格納することを特徴とする。そして、フレームメモリから読み出された各画素の圧縮値を、その画素を含む処理単位の代表値を用いて伸長し、その伸長された伸長値を各画素の画素値として出力することを特徴とする。

この発明において、各画素の画素値と代表値との差分を求め、その差分の下位複数ビットの値を切り出すことにより、各画素の圧縮値を得るようにしてもよい。また、この発明において、代表値として、処理単位内に含まれる画素の画素値の平均値を用いてもよい。さらに、この発明において、各処理単位の代表値を代表値メモリに格納するようにしてもよい。この場合、代表値メモリは、フレームメモリに格納可能な最大処理単位数分の代表値を格納できる容量を有するとよい。

この発明によれば、処理単位ごとに、各画素の画素値を、その画素を含む処理単位の代表値を用いて圧縮するので、隣接する画素間の画素値の差分を用いずに圧縮することができる。また、各画素の圧縮値を、その画素を含む処理単位の代表値を用いて伸長するので、隣接する画素間の画素値の差分を用いずに伸長することができる。

本発明にかかる画像処理装置および画像処理方法によれば、隣接する画素間の画素値の差分を用いずに、各画素の画素値を隣接する画素から独立して圧縮し、また、その圧縮されたデータを隣接する画素から独立して伸長することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置および画像処理方法の好適な実施の形態を詳細に説明する。

（画像処理装置の構成）
図１は、この発明の実施の形態にかかる画像処理装置の構成を示すブロック図である。図２は、図１に示す画像処理装置を構成するフレームメモリと代表値メモリの構成を示す説明図である。図１に示すように、画像処理装置は、書き込み部２１、情報圧縮部２２、メモリバス２３、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）等のメモリ２４、情報伸長部２５、読み出し部２６および代表値メモリ２７を備えている。メモリ２４には、複数のフレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄが設けられている。

書き込み部２１は、ＭＰＥＧ２等のデジタル動画像圧縮ストリームを復号して、各画素の画素値を得る。また、書き込み部２１は、複数の処理単位からなる１フレームの各処理単位ごとに、その処理単位内に含まれるすべての画素の画素値の代表値を求める。各処理単位の代表値は、代表値メモリ２７に格納される。例えば、代表値として、特に限定しないが、処理単位内に含まれるすべての画素の画素値の平均値を用いることができる。

ここで、図２に示すように、ＭＰＥＧ２等のデジタル動画像圧縮方式では、１フレームは、複数のブロック３１と呼ばれる小さい単位で構成されている。そこで、本実施の形態では、特に限定しないが、前記処理単位としてブロック３１を用いることができる。各ブロック３１に含まれる画素３２の数は、例えば６４個（＝８画素×８画素）である。

従って、ブロック３１を処理単位とし、代表値として平均値を用いる場合には、書き込み部２１は、各ブロック３１に含まれる６４画素の画素値の平均を算出し、その値をそのブロック３１の代表値とする。従来より、ブロック単位でデジタル動画像圧縮ストリームの復号処理を行っているので、ブロック内の画素値の平均を容易に算出することができる。以下、処理単位としてブロック３１を用い、主にブロック３１の代表値として平均値を用いる場合について説明する。

情報圧縮部２２は、ブロックごとに、そのブロックの代表値を用いて、そのブロック内の各画素の画素値のビット数を圧縮、すなわちビット数を減らす。代表値として平均値を用いる場合には、次の（１）式のように、Ｋ（例えば、８）ビットの平均値とＫビットの画素値の差分を算出する。
ブロック内の平均値（Ｋビット）−ブロック内の各々の画素値（Ｋビット） ・・・（１）

このように、ブロック内の６４個の画素値の平均値とそのブロック内の各画素値との平均値との差分をとるのは、各画素値と平均値との差がそれほど大きくないと考えられるからである。また、情報圧縮部２２は、上記（１）式の演算により得られた［Ｋ＋１］ビット（１ビットは、正負の符号を表す）の差分値から、下位Ｍ（１＜Ｍ＜Ｋ、例えば、Ｍは６）ビット分を切り出し、Ｍビットの圧縮データとして、メモリバス２３を介して、フレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄに書き込む。

情報伸長部２５は、読み出し対象の画素に相当する圧縮データ（Ｍビット）を、メモリバス２３を介して、フレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄから読み出す。また、情報伸長部２５は、代表値メモリ２７から、その読み出し対象の画素が属するブロックの代表値を読み出す。そして、情報伸長部２５は、代表値を用いて圧縮データに対して、情報圧縮部２２におけるデータ圧縮時の演算と逆の演算を行って、Ｋビットの画素値を再生し、それを読み出し部２６へ転送する。

情報圧縮部２２において、前記（１）式の演算を行ってデータを圧縮した場合には、情報伸長部２５では、Ｍビットの圧縮データとＫビットの平均値を加算する。読み出し部２６は、情報伸長部２５から送られてきた画素値を図示しない表示装置へ転送する。代表値メモリ２７は、フレーム中の各ブロックの平均値をすべて格納できる分の容量を有する。

（画像処理手順）
次に、フレームメモリへの画像データの書き込みから読み出しまでの処理の流れについて説明する。図３は、この発明の実施の形態にかかる画像処理手順を示すフローチャートである。図３に示すように、まず、書き込み部２１により、ＭＰＥＧ２等のデジタル動画像圧縮ストリームから各画素の画素値（Ｋビット）が復号される。また、書き込み部２１により、各ブロックごとに画素値の代表値（Ｋビット）が求められる（ステップＳ１）。

各ブロックの平均値は、代表値メモリ２７に格納される。次いで、情報圧縮部２２により、ブロックごとに前記（１）式の演算が行われ、その演算結果の下位Ｍビットが切り出されて圧縮データが得られる（ステップＳ２）。そして、その圧縮データは、フレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄに書き込まれる（ステップＳ３）。

次いで、情報伸長部２５により、フレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄから読み出し対象の画素に相当する圧縮データ（Ｍビット）が読み出される（ステップＳ４）。また、情報伸長部２５により、代表値メモリ２７から読み出し対象の画素が属するブロックの平均値（Ｋビット）が読み出され、その代表値を用いて圧縮データが伸長される（ステップＳ５）。それによって再生された画素値は、情報伸長部２５から読み出し部２６へ転送され、さらに図示しない表示装置へ転送される（ステップＳ６）。

以上のようにデータを圧縮することにより、Ｋ（例えば、８）ビットの画素データをＭ（例えば、６）ビットに圧縮してフレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄに格納することができる。また、隣接する画素間の画素値の差分を使用しない方式で圧縮するので、フレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄ中の任意の画素に直接、アクセスすることができる。従って、例えば、フレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄ中の一部の矩形領域を拡大表示するような場合でも、フレームメモリ２４ａ，２４ｂ，２４ｃ，２４ｄから、表示対象の矩形領域の画素だけを効率的に読み出すことができる。

なお、本発明は、輝度（Ｙ）および色差（Ｃｂ／Ｃｒ）のそれぞれに適用できる。また、本発明は、処理単位として、ブロック以外にも、マクロブロックや、複数のマクロブロックが連なるスライスなどの単位にも適用できる。処理単位が大きくなれば、代表値メモリ２７の容量が少なくて済む。さらに、ブロックの代表値として、平均値以外にも、ブロック内の各画素の画素値と近い値を用いることができる。

また、情報圧縮部２２におけるデータの圧縮率を、絵柄に応じて適応的に変えるようにしてもよい。この場合、予めユーザが、繁雑な絵柄を処理の対象とする場合に圧縮率を低く設定し、繁雑でない絵柄を処理の対象とする場合に圧縮率を高く設定するようにしてもよい。あるいは、書き込み部２１または情報圧縮部２２が、処理の対象の絵柄の繁雑さを検知し、繁雑さに応じて圧縮率を適宜、調整するようにしてもよい。

さらに、ＫビットのデータとＭビットのデータとの対応関係を予めテーブル化しておき、このテーブルを参照することによって、ＫビットのデータをＭビットのデータに量子化するようにしてもよい。また、本発明は、ＭＰＥＧ２に限らず、ＭＰＥＧ４、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）、ＩＴＵ−Ｔによって策定されたＨ２６４、またはその他のデジタル動画像圧縮方式に適用できる。

（ＭＰＥＧ２ ＨＬデコーダに適用した例の構成）
次に、この発明をＭＰＥＧ２ ＨＬデコーダに適用した例について説明する。図４は、この発明を適用したＭＰＥＧ２ ＨＬデコーダの構成を示すブロック図である。図４には、外部から入力されるストリーム（ＰＳ／ＴＳ形式）を、映像信号として外部へ出力するまでの処理を行うシステムが示されている。

図４に示すように、ＨＬデコーダは、ＨＬデコーダ部４１、情報圧縮部４２、メモリバス４３、複数のフレームメモリ４４ａ，４４ｂ，４４ｃ，４４ｄを有するＳＤＲＡＭ等のメモリ４４、情報伸長部４５、表示部４６、平均値メモリ４７、システム分離部４８および制御部４９を備えている。ＨＬデコーダ部４１、表示部４６および平均値メモリ４７は、それぞれ図１に示す画像処理装置の書き込み部２１、読み出し部２６および代表値メモリ２７に相当する。

システム分離部４８は、外部から入力されるストリーム（ＰＳ／ＴＳ形式）をＶＥＳ／ＡＥＳ等のストリームに分離し、それをメモリバス４３を介してメモリ４４に格納する。ＨＬデコーダ部４１は、メモリ４４に格納されているＶＥＳストリームを復号し、その復号画をメモリ４４に書き込む。ＨＬデコーダ部４１は、復号中、動き補償を行うために、Ｉピクチャ復号画およびＰピクチャ復号画より画素データを参照する。

また、ＨＬデコーダ部４１は、Ｂピクチャ復号画の画素値（８ビット)を情報圧縮部４２へ転送する。ＨＬデコーダ部４１は、Ｂピクチャを復号する過程において、ブロックごとに、画素値の平均値（８ビット）を算出し、それを情報圧縮部４２と平均値メモリ４７へ転送する。

情報圧縮部４２は、前記（１）式に従って、ブロックの平均値（８ビット）とＢピクチャ復号画の画素値（８ビット）の差分を求め、その符号付き９ビットの値の例えば下位６ビットを切り出す。切り出された６ビットのＢピクチャ圧縮データは、メモリバス４３を介して、第３のフレームメモリ４４ｃまたは第４のフレームメモリ４４ｄに書き込まれる。

平均値メモリ４７には、第３のフレームメモリ４４ｃと第４のフレームメモリ４４ｄを構成する全ブロックの平均値をすべて格納できる分の容量を有する。情報伸長部４５は、制御部４９により指示されたＢピクチャの圧縮データ（６ビット）を、メモリバス４３を介して、第３のフレームメモリ４４ｃまたは第４のフレームメモリ４４ｄから読み出す。

また、情報伸長部４５は、制御部４９により指示されたＢピクチャの画素が属するブロックの平均値（８ビット）を、平均値メモリ４７から読み出す。そして、情報伸長部４５は、得られた圧縮データ（６ビット）と平均値（８ビット）を加算することにより、Ｂピクチャ復号画の画素値（８ビット）を算出し、それを表示部４６へ転送する。

表示部４６は、制御部４９により指示されたフレームのＩピクチャ復号画およびＰピクチャ復号画の各画素値（８ビット）を第１のフレームメモリ４４ａまたは第２のフレームメモリ４４ｂから読み出す。そして、表示部４６は、Ｉピクチャ復号画の画素値（８ビット）、Ｐピクチャ復号画の画素値（８ビット）およびＢピクチャ復号画の画素値（８ビット）を映像信号に変換して、図示しない表示装置へ出力する。

制御部４９は、上述した各ブロックの動作を制御する。なお、Ｂピクチャと同様に、情報圧縮部４２により、ＩピクチャまたはＰピクチャの各画素値を圧縮をしてフレームメモリ４４ａ，４４ｂに書き込み、情報伸長部４５によりＩピクチャまたはＰピクチャの圧縮データを伸長するようにしてもよい。

（付記１）デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、該処理単位内に含まれる画素の画素値の代表値を求める書き込み手段と、処理単位ごとに、前記書き込み手段により得られた前記代表値を用いて該処理単位内の各画素の画素値のビット数を圧縮する情報圧縮手段と、前記情報圧縮手段により圧縮された各画素の圧縮値を格納するフレームメモリと、前記フレームメモリから読み出された各画素の圧縮値を、当該画素を含む処理単位の前記代表値を用いて伸長する情報伸長手段と、前記情報伸長手段により伸長された伸長値を各画素の画素値として出力する読み出し手段と、を備えることを特徴とする画像処理装置。

（付記２）前記情報圧縮手段は、各画素の画素値と前記代表値との差分を求め、該差分の下位複数ビットの値を、各画素の画素値を圧縮した値とすることを特徴とする付記１に記載の画像処理装置。

（付記３）前記代表値は、処理単位内に含まれる画素の画素値の平均値であることを特徴とする付記１または２に記載の画像処理装置。

（付記４）前記フレームメモリに格納可能な最大処理単位数分の前記代表値を格納する代表値メモリ、をさらに備えることを特徴とする付記１〜３のいずれか一つに記載の画像処理装置。

（付記５）デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、該処理単位内に含まれる画素の画素値の代表値を求める代表値算出工程と、処理単位ごとに、前記代表値算出工程で得られた前記代表値を用いて該処理単位内の各画素の画素値のビット数を圧縮する情報圧縮工程と、前記情報圧縮工程で圧縮された各画素の圧縮値をフレームメモリに格納する圧縮値格納工程と、前記フレームメモリから各画素の圧縮値を読み出し、該圧縮値を、当該画素を含む処理単位の前記代表値を用いて伸長する情報伸長工程と、前記情報伸長工程で伸長された伸長値を各画素の画素値として出力する読み出し工程と、を含むことを特徴とする画像処理方法。

（付記６）前記情報圧縮工程では、各画素の画素値と前記代表値との差分を求め、該差分の下位複数ビットの値を、各画素の画素値を圧縮した値とすることを特徴とする付記５に記載の画像処理方法。

（付記７）前記代表値は、処理単位内に含まれる画素の画素値の平均値であることを特徴とする付記５または６に記載の画像処理方法。

以上のように、本発明にかかる画像処理装置および画像処理方法は、デジタル動画像圧縮方式に従って動画像データの符号化や復号化を行う装置や方法に有用であり、特に、ＭＰＥＧ２、ＭＰＥＧ４、ＤＶまたはＨ２６４等のデジタル動画像圧縮方式に従って動画像データの符号化や復号化を行う装置や方法に適している。

この発明の実施の形態にかかる画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置を構成するフレームメモリと代表値メモリの構成を示す説明図である。 この発明の実施の形態にかかる画像処理手順を示すフローチャートである。 この発明を適用したＭＰＥＧ２ ＨＬデコーダの構成を示すブロック図である。 従来の画像処理装置の構成を示すブロック図である。 従来のデータ圧縮処理の概念を示す説明図である。 従来のデータ伸長処理の概念を示す説明図である。 従来のデータ圧縮、伸長処理によって一部の領域を読み出す様子を示す説明図である。

符号の説明

２１ 書き込み部
２２ 情報圧縮部
２４ａ，２４ｂ，２４ｃ，２４ｄ フレームメモリ
２５ 情報伸長部
２６ 読み出し部
２７ 代表値メモリ

Claims (5)

1. デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、該処理単位内に含まれる画素の画素値の代表値を求める書き込み手段と、
   処理単位ごとに、前記書き込み手段により得られた前記代表値を用いて該処理単位内の各画素の画素値のビット数を圧縮する情報圧縮手段と、
   前記情報圧縮手段により圧縮された各画素の圧縮値を格納するフレームメモリと、
   前記フレームメモリから読み出された各画素の圧縮値を、当該画素を含む処理単位の前記代表値を用いて伸長する情報伸長手段と、
   前記情報伸長手段により伸長された伸長値を各画素の画素値として出力する読み出し手段と、
   を備えることを特徴とする画像処理装置。
2. 前記情報圧縮手段は、各画素の画素値と前記代表値との差分を求め、該差分の下位複数ビットの値を、各画素の画素値を圧縮した値とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記代表値は、処理単位内に含まれる画素の画素値の平均値であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記フレームメモリに格納可能な最大処理単位数分の前記代表値を格納する代表値メモリ、をさらに備えることを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、該処理単位内に含まれる画素の画素値の代表値を求める代表値算出工程と、
   処理単位ごとに、前記代表値算出工程で得られた前記代表値を用いて該処理単位内の各画素の画素値のビット数を圧縮する情報圧縮工程と、
   前記情報圧縮工程で圧縮された各画素の圧縮値をフレームメモリに格納する圧縮値格納工程と、
   前記フレームメモリから各画素の圧縮値を読み出し、該圧縮値を、当該画素を含む処理単位の前記代表値を用いて伸長する情報伸長工程と、
   前記情報伸長工程で伸長された伸長値を各画素の画素値として出力する読み出し工程と、
   を含むことを特徴とする画像処理方法。

Images