JP3976920B2

JP3976920B2 - 画像符号化装置

Info

Publication number: JP3976920B2
Application number: JP37772298A
Authority: JP
Inventors: 高弘柳下; 由希子山崎; 熱河松浦
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-12-28
Filing date: 1998-12-28
Publication date: 2007-09-19
Anticipated expiration: 2018-12-28
Also published as: JP2000196894A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー画像データの符号化装置に関する。
【０００２】
【従来の技術】
従来のカラー画像データ符号化方式には、カラー画像データを、輝度情報と色差情報とに分解して、それぞれを符号化するものがあった。この符号化方式では、色が急峻に変化する領域では、色差の情報比率を増やし、明るさが急峻に変化する領域では、輝度の情報比率を増やすことで高い符号化効率を達成することができた。また、符号化データ量が所定画像単位毎に同じである方が、データアクセスが容易であり、固定された容量のメモリに符号を格納する場合都合がいい等のメリットがある。
【０００３】
このような従来例として特許番号第２６０８２８４号や特許番号第２６０８２８５号の特許公報に記載された技術がある。第２６０８２８４号公報記載の技術では、まず画像をブロックに分割し輝度については、平均と分散と各画素の勾配を表す情報への変換を行い、色差については平均値への変換を行う。輝度の分散値が所定値を上回っているブロックは輝度エッジ領域として、輝度の各画素勾配情報を増やし、その分色差の平均値情報を減らしている。逆に、輝度の分散値が所定値を下回っているブロックは輝度非エッジ領域として、輝度の各画素勾配情報を減らし、その分色差の平均値情報を増やしている。
【０００４】
また、第２６０８２８５号公報記載の技術では、輝度色差ともほぼ同様の変換を行っている。ただしブロック中で色差のばらつきが大きいときは、各画素をその色差値によって２つに分類し、それぞれの色差平均値を求める。このように色差のばらつきが大きいブロックは、色差エッジ領域として、色差の平均値情報を２つに増やし、その分輝度の平均値や分散値情報を減らす。逆に、色差のばらつきが小さいブロックは、色差非エッジ領域として、色差の平均値情報を１つに減らし、その分輝度の平均値や分散値情報を増やしている。両技術とも、領域に応じビット配分を変えつつも、輝度色差合計のビット数は固定なので、高効率でデータアクセスも容易な符号化方法となっている。
【０００５】
【発明が解決しようとする課題】
上述の特許第２６０８２８４号では、輝度について２領域（エッジ領域、非エッジ領域）に分離しており、特許第２６０８２８５号では、色差について２領域（エッジ領域、非エッジ領域）に分離している。しかし実際のカラー画像では、輝度の２領域と色差の２領域は全く独立に出現する。すなわち輝度と色差について、４領域が存在することになる（図３に示すように以後この４領域を［１、０、０］領域、［１、０、１］領域、［１、１、０］領域、［１、１、１］領域とする）。この４領域について上述の従来方式をそのまま当てはめることは、必ずしもよい結果が生じるとは限らない。
【０００６】
例えば、［１、０、０］領域と［１、０、１］領域は、輝度についていえば、同じ非エッジ領域だが、色差については非エッジ領域とエッジ領域で異なっている。ここに上記特許第２６０８２８５号を適用した場合、［１、０、１］領域は輝度のビット配分を減らし、色差のビット配分を増やすこととなる。これは色差にとっては好ましいことだが、輝度にとっては、好ましくなく、階調不足による画質劣化を招く。すなわち色差の２領域について、変えるべきことは、輝度／色差のビット配分ではなく、色差の変換方法なのである。
色差のエッジ領域は、非エッジ領域に対し、輝度と色差のビット配分はたとえ同じであっても、色差の平均値を１つでなく２つ作る等、変換方法を変えた方が望ましい。
【０００７】
また、特許第２６０８２８４号では、輝度データを平均、分散、各画素勾配に変換しているが、これも後述する本発明の変換方式に比べれば、符号化効率の点で劣ったものである。
そこで、本発明の目的は、カラー画像データについて、高い符号化効率を有し、符号データへのアクセスが容易な画像符号化装置を提供することである。
【００１０】
【課題を解決するための手段】
請求項１記載の発明は、輝度データと色差データとからなるカラー画像データを、ブロック単位に処理する画像符号化装置であって、前記ブロック毎に、前記カラー画像データを、低周波係数、縦方向の高周波係数、横方向の高周波係数、斜め方向の高周波係数の４種類の周波数係数に変換する周波数係数変換手段と、前記ブロック毎に、有彩色領域であるか無彩色領域であるかの判定、輝度エッジ領域であるか否かの判定、及び、色差エッジ領域であるか否かの判定を行い、領域分離結果を得る領域分離手段と、前記領域分離手段により、有彩色領域と判定されたブロックについては、輝度エッジ領域であるか否か又は色差エッジ領域であるか否かに応じて、低周波係数、縦方向の高周波係数、横方向の高周波係数、斜め方向の高周波係数、のそれぞれに割り当てるビット数を変化させ、前記周波数係数を量子化し、無彩色領域と判定されたブロックについては、該ブロックの前記輝度データを量子化して、いずれの領域と判定された場合でも、前記ブロック毎に同一のビット数の量子化出力を得る量子化手段と、前記量子化出力を符号化する符号化手段と、を有することにより、前記目的を達成する。
【００１１】
請求項２記載の発明では、輝度データと色差データとからなるカラー画像データを、ブロック単位に処理する画像符号化装置であって、前記ブロック毎に、前記カラー画像データを、低周波係数、縦方向の高周波係数、横方向の高周波係数、斜め方向の高周波係数の４種類の周波数係数に変換する周波数係数変換手段と、前記ブロック毎に、有彩色領域であるか無彩色領域であるかの判定、輝度エッジ領域であるか否かの判定、及び、色差エッジ領域であるか否かの判定を行い、領域分離結果を得る領域分離手段と、前記領域分離手段により、有彩色領域と判定されたブロックであって、輝度エッジ領域でなく、かつ、色差エッジ領域でない、と判定されたブロックでは、前記低周波係数のみを量子化して量子化出力を得て、輝度エッジ領域でなく、かつ、色差エッジ領域でない、と判定されたブロック以外のブロックでは、輝度エッジ領域であるか否か及び色差エッジ領域であるか否か、に応じて、低周波係数、縦方向の高周波係数、横方向の高周波係数、斜め方向の高周波係数、のそれぞれに割り当てるビット数を変化させ、前記周波数係数を量子化して量子化出力を得て、無彩色領域と判定されたブロックについては、該ブロックの前記輝度データを量子化して量子化出力を得て、（有彩色、輝度エッジなし、色差エッジなし）、（有彩色、輝度エッジなし、色差エッジあり）、（有彩色、輝度エッジあり、色差エッジなし）、（有彩色、輝度エッジあり、色差エッジあり）及び（無彩色）いずれの領域の場合でも、ブロック毎に同一のビット数で量子化出力を得る量子化手段と、前記量子化出力を符号化する符号化手段と、を有することにより、前記目的を達成する。
【００１２】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図ないし図５を参照して詳細に説明する。
図１は、本実施の形態に係る符号化部（送信側）のブロック図である。この図において、ＲＧＢカラー画像データは、まずＹＣｂＣｒカラーデータに変換される。変換式を以下に示す。
【００１３】
【数１】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝１／（２（１−０．２９９））（Ｒ−Ｙ）
Ｃｂ＝１／（２（１−０．１１４））（Ｂ−Ｙ）
【００１４】
ちなみに逆変換式は以下の通りである。
【００１５】
【数２】
Ｒ＝Ｙ＋２（１−０．２９９）Ｃｒ
Ｂ＝Ｙ＋２（１−０．１１４）Ｃｂ
Ｇ＝（Ｙ−０．２９９Ｒ−０．１１４Ｂ）／０．５８７
【００１６】
上記式において、Ｙは輝度を表す情報であり、Ｃｂ、Ｃｒは色差を表す情報である。一般にＲＧＢからＹＣｂＣｒに変換することで、信号のエントロピーを低減させることができ、符号化効率を高めることができる。
【００１７】
次にＹ、Ｃｂ、Ｃｒ信号はそれぞれ、２×２画素のブロック毎にサブバンド変換部へと送られる。図２は画像データに対するサブバンド変換の例を表している。元画像のまず水平方向にローパスフィルタＳ（ｎ）、ハイパスフィルタＤ（ｎ）をかけ、続いて垂直方向にも同様の処理をそれぞれ施し、水平高域ＨＬ、垂直高域ＬＨ、対角高域ＨＨ、低域ＬＬの４つの周波数帯域信号が生成される。サブバンド変換式の例として最も簡単な変換式を以下に示す。
【００１８】
【数３】
ＬＰＦＳ（ｎ）＝｜（ｘ（２ｎ）＋ｘ（２ｎ＋１））／２｜
ＨＰＦＤ（ｎ）＝ｘ（２ｎ）−ｘ（２ｎ＋１）
【００１９】
低域係数は４画素の平均値と同じである。各高域係数はそれぞれの方向のエッジ度合いを表しており、その絶対値が大きいほど、該当ブロックに急峻なエッジが含まれていることを示している。斜め方向のエッジは、水平、垂直方向のエッジに比べ感知しにくいという視覚特性が知られている。このため対角高域係数は水平、垂直高域係数に比べ、画質上の重要度が低いと言える。
この特性を利用して、後述する量子化の過程では、対角高域係数で、より多くの情報を削減することが可能となる。このような視覚的冗長性が削減可能な分、本実施の形態のサブバンド変換は、従来の変換方法（平均、分散、各画素の勾配への変換）より効果的な変換方法である。
【００２０】
高域係数はエッジ度合いを表しているので、例えば次式のような条件を満たしているブロックをエッジ領域、満たしていないブロックを非エッジ領域と分別することができる。
【００２１】
【数４】
輝度エッジ：｛｜ＬＨｙ｜＞１６ｏｒ｜ＨＬｙ｜＞１６ｏｒ｜ＨＨｙ｜＞３２｝
色差エッジ：｛｜ＬＨ_cb｜＞１６ｏｒ｜ＨＬ_cb｜＞１６ｏｒ｜ＨＨ_cb｜＞３２ｏｒ｜ＬＨ_cr｜＞１６ｏｒ｜ＨＬ_cr｜＞１６ｏｒ｜ＨＨ_cr｜＞３２｝
【００２２】
輝度についてエッジ、非エッジ２領域、色差についても同様に２領域に分離するので、組み合わせとして４通りの領域分離が可能となる。また、色差を表すＣｂ、Ｃｒが共に０の場合、無彩色領域、そうでなければ有彩色領域と判断し、さらに２領域の分離が行える。
図３に示す例では、これらの組み合わせで、合計５通りの領域分離を行っている。図１における領域分離部は、この分離を行う部分である。分離結果（３ｂｉｔ／ｂｌｏｃｋ）は、各量子化部へ伝達されると共に、最終的に生成される符号の一部となる。
【００２３】
低域係数は線形または非線形粒子化されることで所定数にまでビット数が削減される。ＹＣｂＣｒ色空間は、均等色空間ではないので、色差については、非線形の量子化を行う。
図４は、低域係数の量子化特性を示した図である。像域分離部の出力に基づき、予め用意された複数の量子化特性の中から１つが選択される。それに応じ量子化出力のビット数が変化する。例えば輝度の低域係数は、［１、０、０］領域、［１、０、１］領域で８ビットだが、［１、１、０］領域、［１、１、１］領域では４ビットとなる。入力８ビットで出力も８ビットということは、実は量子化処理を全く行っていないことである。
【００２４】
高域係数はベクトル量子化される。水平高域、垂直高域、対角高域で３次元のベクトル量子化を行う。
図５は、ベクトル量子化の例を示した図である。ここでは説明の便宜のため、水平高域と垂直高域の２次元のベクトル量子化を示してある。図５中のプロットは量子化代表点を表している。図示はしないが、対角高域方向の量子化代表点は、他の方向に比べ少なくなっている。高域係数も同様に領域分離部の出力に基づき、量子化特性が選択され、量子化出力のビット数が変化する。例えば輝度の高域係数は、［１、１、０］領域、［１、１、１］領域では６ビットだが、［１、０、０］領域、［１、０、１］領域では０ビットとなる。ここで、出力０ビットとは、生成された高域係数を破棄することである。
【００２５】
無彩色［０、０、０］領域では輝度の情報のみが必要とされる。本実施の形態では、輝度のサブバンド変換係数は用いず、ブロック内４画素の輝度値そのものを、それぞれ線形量子化している。
このようにして得られた量子化出力と、領域分離結果はブロック単位に合体され、圧縮符号となる。合体された圧縮符号長は、５領域どれでも常に同一となっている。ブロックあたりの符号長が固定なので、画像の全圧縮符号の中から、任意のブロックの符号を取り出す場合、そのアドレス計算が容易となる。また圧縮前から該当画像の全符号長を知ることができる。
この例によると、符号化前にはブロックあたりの情報量は９６ビットであったが、これを符号化して２７ビットとし、圧縮率２８％を達成している。
【００２６】
上述の例では、ＲＧＢカラーデータをＹＣｂＣｒに変換していたが、テレビジョンで用いられるＹＩＱ空間でも、Ｌ＊、ａ＊、ｂ＊空間であってももちろんよい。また、領域分離をサブバンド変換による高域係数に基づいて行っていたが、他にもサブバンド変換前の輝度値、色差値のばらつき度合い（例えばブロック内の最大値と最小値の差など）で行なうこともできる。画素ブロックの大きさも、本例では２×２であったが、２×２以上であっても差し支えない。
【００２７】
【発明の効果】
本願に係る発明は、ブロック単位で固定長の符号化を行うため、画像メモリに格納する際には画素の画像内の位置関係を維持でき、従って画像の大きさによって必要な画像メモリの量が一意に決定することが可能である。また、このカラー画像に対して画像処理を施す際にも周辺近傍画素の情報を容易に得ることが可能になり、かつブロック単位で処理が可能なので画像処理の高速化が行える。さらに、この発明では、輝度と色差それぞれの領域特性に基づき、それぞれ最適なビット配分を行うことができるので、人間の視覚特性を生かした視覚的劣化の少ない高能率な符号化が可能となる。
【００２８】
また、サブバンド変換により生成した、水平、垂直、対角の各高域係数について、それぞれ異なる比重で量子化を行うことができるので、さらに高能率な符号化が可能となる。
【００２９】
また、分離手段がブロック内データの値のばらつきの大小を判定し、この判定結果に応じて該当ブロックを複数の領域に分離するので、カラー画像データについて、高い符号化効率を達成することができる。カラー画像中の無彩色領域を分離することができるので、出現頻度の高い黒文字などの領域について、高画質な符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の構成例を示した図である。
【図２】画像信号に対するサブバンド変換の例を示した図である。
【図３】領域別のビット配分の例を示した図である。
【図４】低域係数の量子化の具体例を示した図である。
【図５】高域係数の量子化の具体例を示した図である。

Claims

輝度データと色差データとからなるカラー画像データを、ブロック単位に処理する画像符号化装置であって、
前記ブロック毎に、前記カラー画像データを、低周波係数、縦方向の高周波係数、横方向の高周波係数、斜め方向の高周波係数の４種類の周波数係数に変換する周波数係数変換手段と、
前記ブロック毎に、有彩色領域であるか又は無彩色領域であるかの判定、輝度エッジ領域であるか否かの判定、及び、色差エッジ領域であるか否かの判定を行い、領域分離結果を得る領域分離手段と、
前記領域分離手段により、有彩色領域と判定されたブロックについては、輝度エッジ領域であるか否か又は色差エッジ領域であるか否かに応じて、低周波係数、縦方向の高周波係数、横方向の高周波係数、斜め方向の高周波係数、のそれぞれに割り当てるビット数を変化させ、前記周波数係数を量子化し、
無彩色領域と判定されたブロックについては、該ブロックの前記輝度データを量子化して、
いずれの領域と判定された場合でも、前記ブロック毎に同一のビット数の量子化出力を得る量子化手段と、
前記量子化出力を符号化する符号化手段と、
を有することを特徴とする画像符号化装置。
輝度データと色差データとからなるカラー画像データを、ブロック単位に処理する画像符号化装置であって、
前記ブロック毎に、前記カラー画像データを、低周波係数、縦方向の高周波係数、横方向の高周波係数、斜め方向の高周波係数の４種類の周波数係数に変換する周波数係数変換手段と、
前記ブロック毎に、有彩色領域であるか又は無彩色領域であるかの判定、輝度エッジ領域であるか否かの判定、及び、色差エッジ領域であるか否かの判定を行い、領域分離結果を得る領域分離手段と、
前記領域分離手段により、有彩色領域と判定されたブロックであって、
輝度エッジ領域でなく、かつ、色差エッジ領域でない、と判定されたブロックでは、前記低周波係数のみを量子化して量子化出力を得て、
輝度エッジ領域でなく、かつ、色差エッジ領域でない、と判定されたブロック以外のブロックでは、
輝度エッジ領域であるか否か及び色差エッジ領域であるか否か、に応じて、低周波係数、縦方向の高周波係数、横方向の高周波係数、斜め方向の高周波係数、のそれぞれに割り当てるビット数を変化させ、前記周波数係数を量子化して量子化出力を得て、
無彩色領域と判定されたブロックについては、該ブロックの前記輝度データを量子化して量子化出力を得て、
（有彩色、輝度エッジなし、色差エッジなし）、（有彩色、輝度エッジなし、色差エッジあり）、（有彩色、輝度エッジあり、色差エッジなし）、（有彩色、輝度エッジあり、色差エッジあり）及び（無彩色）いずれの領域の場合でも、ブロック毎に同一のビット数で量子化出力を得る量子化手段と、
前記量子化出力を符号化する符号化手段と、
を有することを特徴とする画像符号化装置。