JP2011029809A - 画像処理装置、画像処理方法および撮像装置 - Google Patents

Abstract

【課題】カラー画像を構成する複数種類の色成分が一定の規則に従って画素配列上に繰り返し配列されるデータ形式のＲＡＷデータを圧縮処理する画像処理装置において、回路規模の増大やＣＰＵの処理能力の増強を招くことなく、複数の色別プレーンデータの圧縮効率をさらに高いものにする。
【解決手段】ＲＡＷデータ再構成手段３は、Ａ／Ｄ変換された後に信号処理が加えられていないＲＡＷデータ２を入力し、色成分毎に分解し、再集合して複数の色別プレーンデータ４１〜４４を生成し、さらに配置して圧縮処理単位である１つのファイルとしてまとめる。圧縮処理単位である１つのファイルは、色成分毎に区画された複数の配置領域をもつ。ＲＡＷデータ再構成手段３は、複数の配置領域に、複数の色別プレーンデータを振り分けて再配置して、再構成ＲＡＷデータ４を生成し、圧縮処理手段５に渡す。圧縮処理手段５は、再構成ＲＡＷデータ４を圧縮処理する。
【選択図】図１

Description

本発明は、カラー画像を構成する複数種類の色成分が一定の規則に従って画素配列上に繰り返し配列されるデータ形式のＲＡＷデータを圧縮処理する画像処理装置、画像処理方法にかかわり、特には、複数の色別プレーンデータの圧縮効率を向上させるための技術に関する。また、本発明は、上記のような画像処理装置を実装し、色分解して撮像するタイプのイメージセンサを搭載した撮像装置に関する。対象とする画像処理装置、撮像装置としては、デジタルスチルカメラ、デジタルビデオカメラ、独立したイメージスキャナ、複写機などに組み込まれたイメージスキャナなどが含まれる。「プレーンデータ」というのは、データを画像メモリ上で展開する場合に、２次元的に展開される配列形態をもつデータのことである。

カラー画像を取得するためのＣＣＤ型またはＭＯＳ型のイメージセンサは、撮像素子における２次元配列の画素に対応して複数種類の色成分の色フィルタが一定の規則に従って繰り返し配列された色フィルタアレイ（色分解フィルタ）を有している。例えば、撮像素子の画素に対応してＲＧＢの原色フィルタが市松模様状に配置されているベイヤー（Bayer）配列の色分解フィルタでは、水平方向および垂直方向の両方向に沿ってＲＧＢの各色成分のフィルタがそれぞれ１画素おきに並んでいる（ＢＧｇＲ）。各画素で得られる情報は１つの色成分の情報のみである。そこで表現力を高めるために、各画素それぞれにおいて周辺画素の色情報を用いて補間し、各画素でそれぞれ複数の色成分の情報を得る。つまり、すべての画素それぞれにおいて、すべての色成分の情報を得る。これを同時化色補間処理という。これで、イメージセンサの画素数と同じ画素数をもつ各色成分のカラー画像データが得られる。

さらに、ホワイトバランス（ＷＢ）調整、ガンマ補正処理、エッジ強調などのためのエンハンス処理などの信号処理が行われ、輝度信号（Ｙ）と２種類の色差信号（Ｃｒ、Ｃｂ）のコンポーネント信号に変換し、ＪＰＥＧ（Joint Photographic Experts Group）などの圧縮符号化アルゴリズムで圧縮し小さいファイルサイズの状態とし、記録媒体に記録する。

近年では一眼デジタルカメラの機能として、撮影後に行う高画質な現像処理やレタッチ処理のために、撮像アナログ信号をＡ／Ｄ変換した直後の、画像処理は加えていない生（ＲＡＷ）のデジタルデータ（ＲＡＷデータ）を可逆圧縮して記録媒体に記録するモードが普及してきている。パソコン等の外部装置によって画像の再現（現像）処理を行うことにより、高品質のプリントやユーザの目的に合致した画像編集を実現する。画像処理を加えないＲＡＷデータを用いるのは、もし、画像処理を加えた画像データを記録した場合に、現像処理やレタッチ処理のために復号化してさらなる画像処理を施すと、画質が劣化するからである。

特許文献１には、同時化色補間処理を行ってから記録するモードと、同時化色補間処理を行わずにＲＡＷデータの状態で記録するモードとの２モードについて、共通の圧縮処理工程でそれぞれ独立に圧縮する方法が記載されている（図１３（ａ），（ｂ）参照）。

また特許文献２には、ＲＡＷデータから色成分毎に分離されたコンポーネントデータについて、同時化色補間処理を経ることなく、コンポーネントデータ毎に圧縮する方法が記載されている（図１４、図１５参照）。

これらの従来技術ではいずれも、ＲＡＷデータを隣接画素間の相関性の高い色別のプレーンデータに分割し、そのプレーンデータを圧縮するので、色別に分離しないＲＡＷデータをそのまま圧縮する場合に比べ高い圧縮効率が得られるとしている。

特許第３８６４７４８号公報 特許第３９５６３６０号公報

従来の技術においては、ＲＡＷデータを分割した複数の色別のプレーンデータを個別に圧縮処理している。つまり、同じような圧縮処理を４回に分けて繰り返し実行している。この繰り返しの際のプレーンデータ切り換えに時間がかかる。具体的には、第１のプレーンデータの圧縮処理から第２のプレーンデータの圧縮処理への切り替わり、第２のプレーンデータの圧縮処理から第３のプレーンデータの圧縮処理への切り替わり、第３のプレーンデータの圧縮処理から第４のプレーンデータの圧縮処理への切り替わりというように、切り替わりが３回もある。このように、複数の色別のプレーンデータを個別に時間的に相前後して順次に圧縮処理すると、トータルで多大な時間がかかる。それで、圧縮効率が低いものとなっている。

特許文献２においては並列動作可能な圧縮処理工程を複数用いるという記載もある（段落［００３２］参照）。しかし、その場合は、ＣＰＵ（Central Processing Unit）としてきわめて高い処理能力のものが必要となる。また、ハードウェア構成とする場合には、回路規模の著しい増大を招く。圧縮効率が低いと、近年のイメージセンサの高画素化に対しての圧縮ＲＡＷデータ記録モードでの高速処理に不利となる。

なお、連写撮影機能をもつ撮像装置では、圧縮ＲＡＷデータ記録モードでの高速連写に支障をきたす可能性もでてくる。また、ブロックノイズ発生の可能性も高くなる。

本発明は、このような事情に鑑みて創作したものであり、複数の色別プレーンデータの圧縮効率を高いものにするとともに、回路規模の増大やＣＰＵの処理能力の増強を招かないですむようにすることを目的としている。より望ましくは、ブロックノイズの発生を抑制したい。

本発明は、次のような手段を講じることにより上記の課題を解決する。

本発明による画像処理装置は、カラー画像を構成する複数種類の色成分が一定の規則に従って画素配列上に繰り返し配列されるデータ形式のＲＡＷデータ（Ａ／Ｄ変換直後の画像データであって信号処理が加えられていないもの）を圧縮処理する装置であって、次のように構成されたＲＡＷデータ再構成手段と圧縮処理手段とを備える。

ＲＡＷデータ再構成手段は、画像のアナログ信号がＡ／Ｄ変換された後の、信号処理が加えられていないＲＡＷデータを入力し、次のように処理する。入力したＲＡＷデータを前記の色成分毎に分解し、再集合して複数の色別プレーンデータを生成する。例えば、ＲＡＷデータが第１ないし第４の色成分を一定の規則に従って画素配列上に繰り返し配列したものであるとする。このＲＡＷデータを第１色成分、第２色成分、第３色成分、第４の色成分に分解し、第１色成分だけを集めた第１の色別プレーンデータと、第２色成分だけを集めた第２の色別プレーンデータと、第３色成分だけを集めた第３の色別プレーンデータと、第４色成分だけを集めた第４の色別プレーンデータとを生成する。プレーンデータは、画像メモリ上で展開する場合に、２次元的に展開される配列形態をもつデータである。なお、例えばベイヤー配列（ＢＧｇＲ）のように、２つの色別プレーンデータが同一色である場合も含むものとする。

ＲＡＷデータ再構成手段は、前記の複数の色別プレーンデータを配置して圧縮処理単位である１つのファイルとしてまとめる。ここで、圧縮処理単位である１つのファイルは、色成分毎に区画された複数の配置領域をもっているものとする。ＲＡＷデータ再構成手段は、色成分毎に区画された複数の配置領域に、前記複数の色別プレーンデータを振り分けて配置し、再構成ＲＡＷデータを生成する。例えば、上記の例を引くと、第１の配置領域に第１の色別プレーンデータを配置し、第２の配置領域に第２の色別プレーンデータを配置し、第３の配置領域に第３の色別プレーンデータを配置し、第４の配置領域に第４の色別プレーンデータを配置して、圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータを生成する。そして、生成した再構成ＲＡＷデータを圧縮処理手段に渡す。

圧縮処理手段は、ＲＡＷデータ再構成手段によって生成された圧縮処理単位の再構成ＲＡＷデータを入力し、圧縮処理を行う。なお、第１ないし第４の配置領域の相対的位置関係は任意である。

（１）以上を要するに、本発明の画像処理装置は、カラー画像を構成する複数種類の色成分が一定の規則に従って画素配列上に繰り返し配列されるデータ形式のＲＡＷデータを圧縮処理する装置であって、
前記ＲＡＷデータを入力し、前記ＲＡＷデータを前記色成分毎に分解し再集合して複数の色別プレーンデータを生成し、さらに色成分毎に区画された複数の配置領域に前記複数の色別プレーンデータを配置して圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータを生成するＲＡＷデータ再構成手段と、
前記ＲＡＷデータ再構成手段によって生成された前記圧縮処理単位の再構成ＲＡＷデータを入力し圧縮処理する圧縮処理手段とを備えたものとして構成されている。

また、本発明の画像処理方法は、カラー画像を構成する複数種類の色成分が一定の規則に従って画素配列上に繰り返し配列されるデータ形式のＲＡＷデータを圧縮処理する方法であって、
前記ＲＡＷデータを入力し、前記ＲＡＷデータを前記色成分毎に分解し再集合して複数の色別プレーンデータを生成し、さらに色成分毎に区画された複数の配置領域に前記複数の色別プレーンデータを配置して圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータを生成する工程と、
前記再構成ＲＡＷデータを生成する工程によって生成された前記圧縮処理単位の再構成ＲＡＷデータを入力し圧縮処理する工程とを備えたものとして構成されている。

上記のように構成された本発明の画像処理装置・画像処理方法によれば、次のような作用効果が発揮される。

ＲＡＷデータ再構成手段を備えることにより、圧縮処理手段の圧縮処理の対象を、「複数の色別プレーンデータを配置して圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータ」としている。色別プレーンデータは隣接画素間の相関性が高く、その圧縮処理では、異なる色成分が隣接しているＲＡＷデータをそのまま圧縮する場合に比べ高い圧縮効率が得られる。これは前述したとおり従来技術でも認められる。本発明では、単にそれだけでなく、複数種類の色別プレーンデータを圧縮処理単位である１つのファイル上に配置して構成した再構成ＲＡＷデータを圧縮処理の対象としている。したがって、再構成ＲＡＷデータ上の複数の色別プレーンデータを一括して一度に圧縮処理することが可能となり、さらに高い圧縮効率が得られることになる。詳しくは、すべての色成分の色別プレーンデータの圧縮処理を、圧縮処理単位である１つのファイル（再構成ＲＡＷデータ）における１回の圧縮処理で実現するので、従来技術の場合のように複数の色別プレーンデータを個別に順次切り替えながら繰り返して圧縮処理する場合に比べて、圧縮効率が大幅に向上する。

また、圧縮効率を高める上で、圧縮処理手段としては並列動作する複数の圧縮処理手段を用いる必要がなく、単一の圧縮処理手段ですむため、回路規模の増大を招かないですむ。あるいは、ＣＰＵの処理能力を特別に増強する必要もない。

また、本発明による撮像装置は、色分解して撮像するタイプのイメージセンサで入力した光学像をアナログの電気信号に変換しさらにデジタルのＲＡＷデータに変換する撮像部と、前記の画像処理装置とを備えたものである。

本発明によれば、ＲＡＷデータ再構成手段を備え、色成分を異にする複数種類の色別プレーンデータを圧縮処理単位である１つのファイル上に配置して構成した再構成ＲＡＷデータを圧縮処理の対象とし、すべての色成分の色別プレーンデータの圧縮処理を、圧縮処理単位である１つのファイルに対する１回の圧縮処理で実現することにより、複数の色別プレーンデータを個別に順次切り替えながら繰り返して圧縮処理する場合に比べて、圧縮効率を大幅に向上することができる。

加えて、圧縮効率を高める上で、並列動作する複数の圧縮処理手段を用いる必要がなく、単一の圧縮処理手段ですむため、回路規模の増大を招かないですみ、ＣＰＵの処理能力を特別に増強する必要もない。

本発明の実施の形態にかかわり、ＲＡＷデータから生成した再構成ＲＡＷデータを圧縮処理する画像処理装置の概略構成を示すブロック図 本発明の実施の形態にかかわり、圧縮対象であるＲＡＷデータの例示図（ａ）、４つの色別プレーンデータを隣接させて２次元方向に配置した例示図（ｂ）および４つの色別プレーンデータを互いに適当間隔あけて配置した例示図 本発明の実施の形態にかかわり、ベイヤー配列の４つの色別プレーンデータを２次元的に配置して１フレーム分の画像データとして再構成した再構成ＲＡＷデータを示す説明図（その１） 本発明の実施の形態にかかわり、図３の圧縮ＲＡＷデータを伸張処理した場合の画像データにおけるブロックノイズ発生位置の説明図 本発明の実施の形態にかかわり、ベイヤー配列の４つの色別プレーンデータを２次元的に配置して１フレーム分の画像データとして再構成した再構成ＲＡＷデータを示す説明図（その２） 本発明の実施の形態にかかわり、図５の圧縮ＲＡＷデータを伸張処理した場合の画像データにおけるブロックノイズ発生位置の説明図 本発明の実施の形態にかかわり、図５、図６に対応したブロックノイズの様子を示す図（ａ）と図３、図４に対応したブロックノイズの様子を示す図（ｂ） 本発明の実施の形態にかかわり、図７（ａ）に対応する図６のブロックノイズ発生位置を表す説明図（ａ）と、図７（ｂ）に対応する図４のブロックノイズ発生位置を表す説明図（ｂ） 本発明の実施の形態にかかわり、４つの色別プレーンデータに対応した４つの独立の配置領域の他の形態を示す説明図 本発明の実施例にかかわり、ＲＡＷデータから生成した再構成ＲＡＷデータを圧縮処理する画像処理装置を搭載した撮像装置の概略構成を示すブロック図 本発明の実施例にかかわり、原色タイプのカラーフィルタ配列の例を示す説明図 本発明の実施例にかかわり、コンポーネントデータの入力端子として輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）の入力端子を備えた一般的な圧縮処理手段を用いて資源を有効活用することの説明図 従来技術の特許文献１に示す画像処理装置の特徴を示す説明図 従来技術の特許文献２に示す画像処理方法の特徴を示す説明図 従来技術の特許文献２に示す画像処理工程の特徴を示す説明図

上記した（１）の構成の本発明の画像処理装置ならびに画像処理方法は、次のような実施の形態においてさらに有利に展開することが可能である。

（２）上記（１）の構成の画像処理装置において、前記ＲＡＷデータ再構成手段は、前記複数の色別プレーンデータを前記１つのファイルに配置するに際して、前記圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、各色別プレーンデータの基準位置を縦方向と横方向の両方向に所定画素分ずらして配置するように構成されているという態様がある。この画像処理装置に対応する画像処理方法としては、上記（１）の構成の画像処理方法において、前記再構成ＲＡＷデータを生成する工程は、前記複数の色別プレーンデータを前記１つのファイルに配置するに際して、前記圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、各色別プレーンデータの基準位置を縦方向と横方向の両方向に所定画素分ずらして配置するという態様がある。

（３）また上記（１）の構成の画像処理装置において、前記ＲＡＷデータ再構成手段は、前記複数の色別プレーンデータを前記１つのファイルに配置するに際して、前記圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、各色別プレーンデータの基準位置を縦方向または横方向のいずれか１方向に所定画素分ずらして配置するように構成されているという態様がある。この画像処理装置に対応する画像処理方法としては、上記（１）の構成の画像処理方法において、前記再構成ＲＡＷデータを生成する工程は、前記複数の色別プレーンデータを前記１つのファイルに配置するに際して、前記圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、各色別プレーンデータの基準位置を縦方向または横方向のいずれか１方向に所定画素分ずらして配置するという態様がある。

複数の色別プレーンデータを配置するに際して、圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、もし各色別プレーンデータの基準位置を相対的に同一位置とすると、圧縮処理が圧縮率の高い非可逆圧縮である場合に、再生のために伸張処理を施すと、得られる１フレーム分の再構成ＲＡＷデータにおいて圧縮処理単位ブロックの境界位置に対応する各色のブロックノイズの発生位置が重なり合う特有の画質劣化が生じ、ブロックノイズが亢進する可能性がある。

これに対して、上記の（２），（３）のように構成し、圧縮処理単位ブロックの周期的な境界位置に対して各色別プレーンデータを相対的にずらすようにすれば、各色のブロックノイズの発生位置が重なり合う特有の画質劣化が抑制され、画像品質を向上することが可能となる。

（４）上記（１）の構成の画像処理装置において、前記ＲＡＷデータ再構成手段は、前記複数の色別プレーンデータの配置領域どうし間の無画部領域に対して固定データを配置して前記再構成ＲＡＷデータを生成するように構成されているという態様がある。この画像処理装置に対応する画像処理方法としては、上記（１）の構成の画像処理方法において、前記再構成ＲＡＷデータを生成する工程は、前記複数の色別プレーンデータの配置領域どうし間の無画部領域に対して固定データを配置して前記再構成ＲＡＷデータを生成するという態様がある。固定データは、輝度変化のない画素データである。

このように構成すれば、複数の色別プレーンデータを配置する際に、色別プレーンデータの配置領域どうし間に固定データからなる無画部領域を形成することが可能となる。もしこの無画部領域の存在がなく色別プレーンデータどうしが互いに接した状態で配置されているとすると、圧縮処理単位ブロックごとに圧縮処理が繰り返される場合に、同じ１つの圧縮処理単位ブロックに、色別プレーンデータの水平方向または垂直方向でのある色別プレーンデータの終端部分の色成分と隣接する色別プレーンデータの先頭部分の色成分が混入する場合が生じる。無画部領域の存在により、圧縮処理単位ブロックごとに圧縮処理が繰り返される場合に、ある色別プレーンデータの終端部分の色成分と隣接する色別プレーンデータの先頭部分の色成分が混入することを免れる。その結果、再構成ＲＡＷデータに対する圧縮処理において、複数の色別プレーンデータを互いに混同しない状態で圧縮処理することが可能となる。介在させるデータは、輝度変化のない固定データゆえに隣接の差分がゼロであり、これによって圧縮効率が高くなることも有利に作用する。

（５）上記（１）の構成の画像処理装置において、前記圧縮処理手段は、複数のコンポーネント入力端子を有し、１つの前記コンポーネント入力端子から入力した前記再構成ＲＡＷデータと、他の前記コンポーネント入力端子から入力した固定データとを同時的に圧縮処理するように構成されているという態様がある。この画像処理装置に対応する画像処理方法としては、上記（１）の構成の画像処理方法において、前記圧縮処理する工程は、前記再構成ＲＡＷデータと固定データとを互いに別系統で入力し、前記再構成ＲＡＷデータと前記固定データとを同時的に圧縮処理するという態様がある。

このように構成すれば、再構成ＲＡＷデータと固定データとを同時的に圧縮処理することで、圧縮効率をさらに高めることが可能となる。ＪＰＥＧなどではコンポーネント入力端子として輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）の入力端子を備えた圧縮処理手段が用いられるが、その一般的な形態の圧縮処理手段の資源が有効活用できる。

（６）上記（１）の構成の画像処理装置において、前記圧縮処理手段は、複数のコンポーネント入力端子を有し、１つの前記コンポーネント入力端子から入力した前記再構成ＲＡＷデータと、他の前記コンポーネント入力端子から入力した別の画像データとを同時的に圧縮処理するように構成されているという態様がある。この画像処理装置に対応する画像処理方法としては、上記（１）の構成の画像処理方法において、前記圧縮処理する工程は、前記再構成ＲＡＷデータと別の画像データとを互いに別系統で入力し、前記再構成ＲＡＷデータと前記別の画像データとを同時的に圧縮処理するという態様がある。

このように構成すれば、再構成ＲＡＷデータと別の画像データ（例えば表示用に縮小リサイズされたスモールＹＣｒＣｂデータやスモールＲＧＢデータなど）とを同時的に圧縮処理することで、表示用の縮小リサイズ画像など別の画像を含めて圧縮効率をさらに高めることが可能となる。この場合も、ＪＰＥＧなどの輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）のコンポーネント入力端子を備えた一般的な形態の圧縮処理手段の資源が有効活用できる。

（７）上記（１）の構成の画像処理装置において、前記圧縮処理手段は、前記再構成ＲＡＷデータを非可逆圧縮するものとして構成されているという態様がある。この画像処理装置に対応する画像処理方法としては、上記（１）の構成の画像処理方法において、前記圧縮処理する工程は、前記再構成ＲＡＷデータを非可逆圧縮するという態様がある。ＪＰＥＧ、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６４などの非可逆圧縮は、可逆圧縮に比べて圧縮率の高い圧縮処理である。したがって、よりファイルサイズの小さい圧縮ＲＡＷデータを得ることが可能となる。

なお、上記の（１）の構成の画像処理装置または画像処理方法に対して、上記（２）〜（７）のうちの任意複数個の事項を矛盾しない条件のもとで任意に組み合わせてもよい。

また、本発明の画像処理方法は、単独のアプリケーションソフトウエアとして構成されてもよいし、画像加工ソフトやファイル管理用ソフトウエアなどのアプリケーションの一部として組み込まれてもよい。

また、本発明の画像処理方法に準じた画像処理プログラムは、パソコンなどのコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機などの情報機器に組み込まれる中央処理装置（ＣＰＵ）の動作プログラムとしても適用することが可能である。

以上で、本発明の概要を説明した。

次に、ベイヤー配列の場合を例に挙げて、より分かりやすく説明する。

図１はベイヤー配列のカラーフィルタをもつ撮像部で取得されたＲＡＷデータから再構成ＲＡＷデータを生成し、再構成ＲＡＷデータを圧縮処理する画像処理装置の概略構成を示すブロック図である。

図１において、１はカラー画像を構成する複数種類の色成分が一定の規則に従って画素配列上に繰り返し配列されるカラーフィルタをもつ撮像部（イメージセンサ）である。ここでは、カラーフィルタは、４種類の色成分であるＢ（青成分），Ｇ（第１の緑成分），ｇ（第２の緑成分），Ｒ（赤成分）がベイヤー配列をもつものであるとする。２は撮像部１で取得された４つの色成分Ｂ，Ｇ，ｇ，Ｒをもつベイヤー配列によるデータ形式のＲＡＷデータである。３はＲＡＷデータ２を入力し、ＲＡＷデータ２を色成分Ｂ，Ｇ，ｇ，Ｒ毎に分解し２次元的に再集合して４つの色別プレーンデータ４１，４２，４３，４４を生成し、さらに色成分毎に区画された４つの独立の配置領域ａ１，ａ２，ａ３，ａ４に前記４つの色別プレーンデータ４１，４２，４３，４４を配置して圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータ４を生成するＲＡＷデータ再構成手段でる。５はＲＡＷデータ再構成手段３によって生成された圧縮処理単位の再構成ＲＡＷデータ４を輝度データとして入力し非可逆圧縮処理する圧縮処理手段である。

撮像部１から出力されＲＡＷデータ再構成手段３に入力されるＲＡＷデータ２は、撮像部１における撮像アナログ信号のＡ／Ｄ変換直後の画像データであって、同時化色補間処理、ガンマ補正処理、ホワイトバランス調整などの信号処理が行われていない画像データである。ＲＡＷデータ２は、カラーフィルタの配列パターンに対応して画素毎に異なる色情報を１つだけ保持しているモザイク状の画像データである。

ＲＡＷデータ再構成手段３は、信号処理が加えられていないＲＡＷデータ２を入力し、入力したＲＡＷデータ２を前記の色成分毎に分解し、再集合して４つの色別プレーンデータ４１，４２，４３，４４を生成する。すなわち、ＲＡＷデータ２は第１ないし第４の色成分を一定の規則に従って画素配列上に繰り返し配列したものであるが、このＲＡＷデータ２を第１色成分（Ｂ）、第２色成分（Ｇ）、第３色成分（ｇ）、第４の色成分（Ｒ）に分解し、第１色成分（Ｂ）だけを集めた第１の色別プレーンデータ４１と、第２色成分（Ｇ）だけを集めた第２の色別プレーンデータ４２と、第３色成分（ｇ）だけを集めた第３の色別プレーンデータ４３と、第４色成分（Ｒ）だけを集めた第４の色別プレーンデータ４４とを生成する。なお、ベイヤー配列における４つの色成分は、第１色成分（Ｂ）、第２色成分（Ｇ）、第３色成分（ｇ）、第４の色成分（Ｒ）であり、第２色成分（Ｇ）と第３色成分（ｇ）とはともに緑であるが、これら２つは互いに独立した色別プレーンデータとして扱うものとする。

ＲＡＷデータ再構成手段３は、さらに、前記の４つの色別プレーンデータ４１，４２，４３，４４を２次元的に配置して圧縮処理単位である１つのファイルとしてまとめる。ここで、圧縮処理単位である１つのファイルは、色成分毎に区画された４つの配置領域ａ１，ａ２，ａ３，ａ４をもっている。ＲＡＷデータ再構成手段３は、色成分毎に区画された４つの配置領域ａ１，ａ２，ａ３，ａ４に、前記４つの色別プレーンデータ４１，４２，４３，４４を振り分けて配置し、再構成ＲＡＷデータ４を生成する。すなわち、色成分Ｂ（青）に対応する第１の配置領域ａ１に第１の色別プレーンデータ４１を配置し、色成分Ｇ（第１の緑）に対応する第２の配置領域ａ２に第２の色別プレーンデータ４２を配置し、色成分ｇ（第２の緑）に対応する第３の配置領域ａ３に第３の色別プレーンデータ４３を配置し、色成分Ｒ（赤）に対応する第４の配置領域ａ４に第４の色別プレーンデータ４４を配置して、圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータ４を生成する。そして、生成した再構成ＲＡＷデータ４を圧縮処理手段５に渡す。

圧縮処理手段５は、ＲＡＷデータ再構成手段３によって生成された圧縮処理単位の再構成ＲＡＷデータ４を入力し、圧縮処理を行う。圧縮処理については、非可逆圧縮（非可逆符号化）、可逆圧縮（可逆符号化）のいずれでもよい。

なお、第１ないし第４の配置領域ａ１〜ａ４の相対的位置関係は任意である。ここでは水平垂直２方向の２次元的に配置しているが、後述するように、水平方向に沿って１次元的に配置してもよいし、垂直方向に沿って１次元的に配置してもよい（図９参照）。

上記のように構成された本実施の形態の画像処理装置によれば、次のような作用効果が発揮される。

ＲＡＷデータ２では、第１色成分（Ｂ）の右横に隣接して第２色成分（Ｇ）があり、第２色成分（Ｇ）の右横に隣接して第１色成分（Ｂ）があり、第３色成分（ｇ）の右横に隣接して第４の色成分（Ｒ）があり、第４の色成分（Ｒ）の右横に隣接して第３色成分（ｇ）があり、また、第１色成分（Ｂ）の下方に隣接して第３色成分（ｇ）があり、第３色成分（ｇ）の下方に隣接して第１色成分（Ｂ）があり、第２色成分（Ｇ）の下方に隣接して第４の色成分（Ｒ）があり、第４の色成分（Ｒ）の下方に隣接して第２色成分（Ｇ）がある。しかし、これら互いに隣接する画素の画素値は、相関性があまり高いものではない。したがって、ＲＡＷデータ２をそのまま圧縮する場合は、圧縮効率が低いものとなる（従来技術相当）。

本発明の実施の形態では、ＲＡＷデータ再構成手段３を備えることにより、圧縮処理手段５の圧縮処理の対象を、「４つの色別プレーンデータ４１，４２，４３，４４を配置して圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータ４」としている。前述したとおり、色別プレーンデータは隣接画素間の相関性が高く、その圧縮処理では、ＲＡＷデータ２をそのまま圧縮する場合に比べ高い圧縮効率を得られる。

さらに、本実施の形態では、色成分を異にする４つの色別プレーンデータ４１，４２，４３，４４を圧縮処理単位である１つのファイル上に配置して構成した再構成ＲＡＷデータ４を圧縮処理の対象としているので、一層高い圧縮効率が得られる。詳しくは、すべての色成分の色別プレーンデータ４１，４２，４３，４４の圧縮処理を、圧縮処理単位である１つのファイル（再構成ＲＡＷデータ４）における１回の圧縮処理で実現するので、従来技術の場合のように４つの色別プレーンデータ４１，４２，４３，４４を個別に順次切り替えながら繰り返して圧縮処理する場合に比べて、圧縮効率が大幅に向上する。

また、圧縮処理手段５としては、デジタルカメラに標準的に実装されている、１フレーム分の画像データに対する圧縮処理を１回の処理で完了するように作成された従来方式の圧縮制御ソフト資産を有効活用することも可能である。あるいは、既存のＪＰＥＧハード処理でも対応することが可能である。すなわち、４つの色別プレーンデータ４１，４２，４３，４４を含む１フレーム分の画像データの圧縮処理を１回の処理で完了させるに当たり、並列動作する圧縮処理手段を４つ用いる必要がなく、圧縮処理手段５は単一ですむため、回路規模の増大を招かないですむ。あるいは、ＣＰＵの処理能力を特別に増強する必要もない。

次に、ブロックノイズの発生について説明する。

図２（ａ）は圧縮対象であるＲＡＷデータ２を例示する。図２（ｂ）は４つの色別プレーンデータ４１，４２，４３，４４を隣接させて２次元方向に配置したものである。図２（ｃ）は４つの色別プレーンデータ４１，４２，４３，４４を互いに適当間隔あけて配置したものである。本発明の実施の形態の場合は、図２（ｂ）ではなく、図２（ｃ）が該当する。図２（ｃ）の場合、間の部分と周辺部分には輝度レベル不変の固定データ（灰色で示す）が配置され、無画部領域を形成している。

ｍ、ｎ、ｘ、ｙを任意の（２以上の）自然数とする。圧縮対象のＲＡＷデータ２のサイズを、水平方向で２ｍ画素、垂直方向で２ｎ画素とする。

１つの被圧縮ファイルである再構成ＲＡＷデータ４のサイズはＲＡＷデータ２よりも大きい。それは、水平方向で２（ｍ＋ｘ）画素であり、垂直方向で２（ｎ＋ｙ）画素である。色成分毎に区画された４つの配置領域ａ１，ａ２，ａ３，ａ４は互いに同じサイズであり、それぞれ水平方向で（ｍ＋ｘ）画素であり、垂直方向で（ｎ＋ｙ）画素である。４つの色別プレーンデータ４１，４２，４３，４４のサイズは共通で、水平方向でｍ画素、垂直方向ｎ画素である。

図３は図１のＲＡＷデータ再構成手段３によってベイヤー配列の４つの色別プレーンデータ４１，４２，４３，４４を２次元的に配置して１フレーム分の画像データとして再構成した再構成ＲＡＷデータ４を示す。

図３において、４１は画像の左上部に配置された第１色成分（Ｂ）だけを集めた第１の色別プレーンデータ、４２は画像の右上部に配置された第２色成分（Ｇ）だけを集めた第２の色別プレーンデータ、４３は画像の左下部に配置された第３色成分（ｇ）だけを集めた第３の色別プレーンデータ、４４は画像の右下部に配置された第４色成分（Ｒ）だけを集めた第４の色別プレーンデータである。

４５は圧縮処理手段５で処理を実施する際の圧縮処理単位ブロックの水平方向での周期的な境界位置（垂直方向に延びる）、４６は圧縮処理手段５で処理を実施する際の圧縮処理単位ブロックの垂直方向での周期的な境界位置（水平方向に延びる）を示す。図面上、灰色で示す４７は４つの色別プレーンデータ４１，４２，４３，４４の隣接境界部分の間を埋める固定データである。固定データ４７は、色信号成分はもたず、輝度信号成分のみをもち、しかも輝度信号成分が一定不変となっている画素データである。圧縮処理単位ブロックの大きさは、ここでは簡略化のため４画素×４画素（Ｈ．２６４相当）としているが、ＪＰＥＧの場合は８画素×８画素である。

１つの被圧縮ファイルである再構成ＲＡＷデータ４上において４つの色別プレーンデータ４１，４２，４３，４４が互いに一定間隔をおいて２次元的に配置されている。色別プレーンデータどうしを互いに間隔をあけて配置するのは次の理由による。圧縮処理は、４画素×４画素や８画素×８画素のブロック単位に対して繰り返し行われる。もし、４つの色別プレーンデータが隣接状態で配置されていると、色別プレーンデータのデータサイズによっては、あるブロック行において第１の色別プレーンデータ４１の最終のブロックのいくつかの画素データと第２の色別プレーンデータ４２の先頭のブロックのいくつかの画素データとが１つの圧縮処理単位ブロックに共通に入ることがあり、また、第３の色別プレーンデータ４３と第４の色別プレーンデータ４４との間でも同様で、そのような状態で圧縮処理を行うと、同じ圧縮処理単位ブロックに色成分が相違する画素データが混在することから、圧縮後のデータが劣化してしまう。さらに、垂直方向でも、あるブロック列において第１の色別プレーンデータ４１の最終のブロックのいくつかの画素データと第３の色別プレーンデータ４３の先頭のブロックのいくつかの画素データとが１つの圧縮処理単位ブロックに共通に入ることがあり、また、第２の色別プレーンデータ４２と第４の色別プレーンデータ４４との間でも同様で、その状態で圧縮処理を行うと、同じ圧縮処理単位ブロックに色成分が相違する画素データが混在することから、圧縮後のデータが劣化してしまう。

この不都合を回避するために、１つの圧縮処理単位ブロックに入るのは必ず同じ色成分の画素データだけであるようにするために、色別プレーンデータどうしを互いに間隔をあけて配置し、隣り合う色別プレーンデータどうし間に輝度信号成分一定不変の固定データ４７を適当個数配置するようにしている。こうすることにより、圧縮後のデータの劣化を防止することができる。

圧縮処理単位ブロックの圧縮処理においては、フォトレタッチ処理等のために圧縮ＲＡＷデータを伸張処理したときに、境界位置４５，４６にブロックノイズが発生しやすい。ブロックノイズは、ＪＰＥＧでのＤＣＴにおいて発生しやすい。圧縮率を上げるほど発生しやすい。比較的濃度値の変化が少ない部分で目立つ。これを図４に示す。図４は図３の圧縮ＲＡＷデータを伸張処理した場合の画像データにおけるブロックノイズ発生位置の説明図である。

図３の場合、第１の色別プレーンデータ４１が第１の配置領域ａ１において配置されている相対的位置関係と、第２の色別プレーンデータ４２が第２の配置領域ａ２において配置されている相対的位置関係と、第３の色別プレーンデータ４３が第３の配置領域ａ３において配置されている相対的位置関係と、第４の色別プレーンデータ４４が第４の配置領域ａ４において配置されている相対的位置関係とは、互いに等価となっている。各配置領域の基準位置を各配置領域の左上隅とし、各色別プレーンデータの基準位置を各色別プレーンデータの左上隅とする。第１の色別プレーンデータ４１の基準位置の第１の配置領域ａ１の基準位置に対する変位ベクトルＶ１と、第２の色別プレーンデータ４２の基準位置の第２の配置領域ａ２の基準位置に対する変位ベクトルＶ２と、第３の色別プレーンデータ４３の基準位置の第３の配置領域ａ３の基準位置に対する変位ベクトルＶ３と、第４の色別プレーンデータ４４の基準位置の第４の配置領域ａ４の基準位置に対する変位ベクトルＶ４とは、互いに等価であり、水平方向または垂直方向に沿った平行移動により互いにぴったりと重なり合うようになっている。

しかし、このような等価的な配置形態がブロックノイズ発生の原因となりやすいことが分かってきた。次にその理由を説明する。簡単に概念説明するために、基本処理ブロックの大きさを４画素×４画素とする。

４つの色別プレーンデータ４１，４２，４３，４４のそれぞれは、その内部に、圧縮処理単位ブロックの垂直方向に延びる水平方向周期の境界位置４５と水平方向に延びる垂直方向周期の境界位置４６とが繰り返し現れてくる。

図３において、第１の色別プレーンデータ４１で左側から境界位置４５に臨むＢ（青）の画素データは２列目、６列目、１０列目などであり、右側から境界位置４５に臨むＢ（青）の画素データは３列目、７列目、１１列目などであり、これらの画素データは伸張処理されると、図４に示すように、元の２ｍ×２ｎの大きなサイズの画像データにおいて展開され、３列目、１１列目、１９列目などと、５列目、１３列目、２１列目などとなっている。

図３において、第１の色別プレーンデータ４１で上側から境界位置４６に臨むＢ（青）の画素データは２行目、６行目、１０行目目などであり、下側から境界位置４６に臨むＢ（青）の画素データは３行目、７行目、１１行目などであり、これらが図４において展開され、３行目、１１行目、１９行目などと、５行目、１３行目、２１行目などとなっている。

図３において、第２の色別プレーンデータ４２で左側から境界位置４５に臨むＧ（第１の緑）の画素データも上記同様に２列目、６列目、１０列目などであり、右側から境界位置４５に臨むＧ（第１の緑）の画素データも上記同様に３列目、７列目、１１列目などであり、これらが図４において展開され、４列目、１２列目、２０列目などと、６列目、１４列目、２２列目などとなっている。

図３において、第１の色別プレーンデータ４１で上側から境界位置４６に臨むＧ（第１の緑）の画素データも上記同様に２行目、６行目、１０行目目などであり、下側から境界位置４６に臨むＧ（第１の緑）の画素データも上記同様に３行目、７行目、１１行目などであり、これらが図４において展開され、上記同様に、３行目、１１行目、１９行目などと、５行目、１３行目、２１行目などとなっている。

さらに、図３において、第３の色別プレーンデータ４３でのｇ（第２の緑）の画素データの境界位置４５，４６に対する関係も同様であり、図４において上記同様に、３列目、１１列目、１９列目などと、５列目、１３列目、２１列目などとなっており、また、４行目、１２行目、２０行目などと、６行目、１４行目、２２行目などとなっている。

さらに、図３において、第４の色別プレーンデータ４４でのＲ（赤）の画素データの境界位置４５，４６に対する関係も同様であり、図４において上記同様に、４行目、１２行目、２０行目などと、６行目、１４行目、２２行目などとなっており、また、４行目、１２行目、２０行目などと、６行目、１４行目、２２行目などとなっている。

以上のように、ブロックノイズが発生しやすい境界位置が４つの色別プレーンデータ４１，４２，４３，４４で等価的であり、伸張処理後の画像データにおいて垂直方向および水平方向に連続することになる。すなわち、伸張処理後の元の大きなサイズの画像データにおいて、４列目毎と４行目毎に規則的に境界位置に対応する画素が現れることになる。その結果として、ブロックノイズが顕著に現れやすく、画像品質の劣化を招く可能性が残る（図７（ｂ）参照）。

以上で説明したブロックノイズ発生の問題は、圧縮効率を高めるために、色成分を異にする複数種類の色別プレーンデータを圧縮処理単位である１つのファイル上に整然と（それぞれの基準位置に対する変位ベクトルＶ１〜Ｖ４を互いに等価的に）配置して構成した再構成ＲＡＷデータを圧縮処理の対象とし、１フレーム分の画像データに対する圧縮処理を１回の処理で完了するようにしたことに由来する。

そこで、本実施の形態では、より好ましい態様として次のような対策を講じる。ここでのデータ圧縮は、圧縮率の高い非可逆圧縮とする。

図５に示すように、第１の色別プレーンデータ４１が第１の配置領域ａ１において配置されている相対的位置関係と、第２の色別プレーンデータ４２が第２の配置領域ａ２において配置されている相対的位置関係と、第３の色別プレーンデータ４３が第３の配置領域ａ３において配置されている相対的位置関係と、第４の色別プレーンデータ４４が第４の配置領域ａ４において配置されている相対的位置関係とは、互いに非等価となっている。つまり、これら４つの相対的位置関係において、相互にずれを生じさせている。そのずれは、右方向１画素分かつ下方向１画素分である（圧縮処理単位ブロックが４画素×４画素の場合）。

第１の色別プレーンデータ４１の基準位置の第１の配置領域ａ１の基準位置に対する変位ベクトルＶ１と、第２の色別プレーンデータ４２の基準位置の第２の配置領域ａ２の基準位置に対する変位ベクトルＶ２と、第３の色別プレーンデータ４３の基準位置の第３の配置領域ａ３の基準位置に対する変位ベクトルＶ３と、第４の色別プレーンデータ４４の基準位置の第４の配置領域ａ４の基準位置に対する変位ベクトルＶ４とは、互いに非等価である。Ｖ２＝Ｖ１×２、Ｖ３＝Ｖ１×３、Ｖ４＝Ｖ１×４となっている。

第２の色別プレーンデータ４２は第１の色別プレーンデータ４１に対して右下方向に１画素分ずらしてあり、第３の色別プレーンデータ４３は第２の色別プレーンデータ４２に対して右下方向に１画素分ずらしてあり、第４の色別プレーンデータ４４は第３の色別プレーンデータ４３に対して右下方向に１画素分ずらしてある。

図６は図５に対応して伸張処理後の元の大きなサイズの画像データを示したものである。図４の図３に対する関係と図６の図５に対する関係とは同じ次元の対応関係となっている。

図５において、第１の色別プレーンデータ４１で左側から境界位置４５に臨むＢ（青）の画素データは３列目、７列目、１１列目などであり、右側から境界位置４５に臨むＢ（青）の画素データは４列目、８列目、１２列目などであり、これらが図６において展開され、５列目、１３列目、２１列目などと、７列目、１５列目、２３列目などとなっている。

図５において、第１の色別プレーンデータ４１で上側から境界位置４６に臨むＢ（青）の画素データは３行目、７行目、１１行目目などであり、下側から境界位置４６に臨むＢ（青）の画素データは４行目、８行目、１２行目などであり、これらが図６において展開され、５行目、１３行目、２１行目などと、７行目、１５行目、２３行目などとなっている。

図５において、第２の色別プレーンデータ４２で左側から境界位置４５に臨むＧ（第１の緑）の画素データは２列目、６列目、１０列目などであり、右側から境界位置４５に臨むＧ（第１の緑）の画素データは３列目、７列目、１１列目などであり、これらが図６において展開され、４列目、１２列目、２０列目などと、６列目、１４列目、２２列目などとなっている。

図５において、第２の色別プレーンデータ４２で上側から境界位置４６に臨むＧ（第１の緑）の画素データは２行目、６行目、１０行目目などであり、下側から境界位置４６に臨むＧ（第１の緑）の画素データは３行目、７行目、１１行目などであり、これらが図６において展開され、３行目、１２行目、２０行目などと、５行目、１３行目、２１行目などとなっている。

図５において、第３の色別プレーンデータ４３で左側から境界位置４５に臨むｇ（第２の緑）の画素データは１列目、５列目、９列目などであり、右側から境界位置４５に臨むｇ（第２の緑）の画素データは２列目、６列目、１０列目などであり、これらが図６において展開され、１列目、９列目、１７列目などと、３列目、１１列目、１９列目などとなっている。

図５において、第３の色別プレーンデータ４３で上側から境界位置４６に臨むｇ（第２の緑）の画素データは１行目、５行目、９行目目などであり、下側から境界位置４６に臨むｇ（第２の緑）の画素データは２行目、６行目、１０行目などであり、これらが図６において展開され、２行目、１０行目、１８行目などと、４行目、１２行目、２０行目などとなっている。

図５において、第４の色別プレーンデータ４４で左側から境界位置４５に臨むＲ（赤）の画素データは４列目、８列目、１２列目などであり、右側から境界位置４５に臨むＲ（赤）の画素データは１列目、５列目、９列目などであり、これらが図６において展開され、８列目、１６列目、２４列目などと、２列目、１０列目、１８列目などとなっている。

図５において、第４の色別プレーンデータ４４で上側から境界位置４６に臨むＲ（赤）の画素データは４行目、８行目、１２行目目などであり、下側から境界位置４６に臨むＲ（赤）の画素データは１行目、５行目、９行目などであり、これらが図６において展開され、８行目、１６行目、２４行目などと、２行目、１０行目、１８行目などとなっている。

圧縮処理単位ブロックの周期的な境界位置において画像が不連続となる画質劣化により、伸張処理を施したデコード後の１フレーム分の再構成ＲＡＷデータにブロックノイズが発生する場合がある。

図６において以上のような８画素×８画素のパターンが２次元方向に沿って繰り返し現れる。図４と図６とを比較すると、図４では境界位置に臨む画素群が水平方向と垂直方向とのいずれにおいても１直線状に整列しているのに対して、図６では境界位置に臨む画素群が水平方向と垂直方向とのいずれにおいても分散配置の状態となっている。すなわち、図４の展開ではブロックノイズが発生しやすい位置が集中配置の状態になっているのに対して、図６の展開ではブロックノイズが発生しやすい位置が分散配置の状態になっている。

ブロックノイズの発生位置が水平方向および垂直方向に連続する図３、図４の方式の場合、その圧縮ＲＡＷデータを伸張処理すると、図７（ｂ）のようにブロックノイズが目立つ。これに対して、ブロックノイズの発生位置が水平方向および垂直方向で分散された図５、図６の方式の場合、その圧縮ＲＡＷデータを伸張処理すると、図７（ａ）のようにブロックノイズはあまり目立たない。

図７（ｂ）に対応する図４のブロックノイズ発生位置を図７（ｂ）に適用したのが図８（ｂ）であり、図７（ａ）に対応する図６のブロックノイズ発生位置を図７（ａ）に適用したのが図８（ａ）である。図７（ａ）と図７（ｂ）の違いを鮮明にするため、参考として図８（ａ），（ｂ）を示す。図８（ａ），（ｂ）では、ブロックノイズ発生位置（白い部分）を鮮明にするため、背景を黒くしてある。図８（ｂ）の場合、ブロックノイズ発生位置が１直線状に集中し、その集中度がきわめて高いものとなっている。その結果として、図７（ｂ）に示すように、圧縮処理単位ブロックの周期的な境界位置において画像が不連続となる画質劣化が生じ、目立った画質劣化が生じている。これに対して、図８（ａ）の場合、ブロックノイズ発生位置が２次元的に大きく分散し、その集中度がきわめて低いものとなっている。その結果として、図７（ａ）に示すように、画質劣化は生じているもののあまり目立たないものとなっている。

圧縮処理単位ブロックの大きさが４画素×４画素の上記の場合、４つの色別プレーンデータ４１，４２，４３，４４を順次に水平方向１画素かつ垂直方向１画素のずらしを行ったが、圧縮処理単位ブロックの大きさが８画素×８画素のＪＰＥＧの場合、４つの色別プレーンデータ４１，４２，４３，４４を順次に水平方向２画素かつ垂直方向２画素のずらしを行えばよい。

図５を見ると、これは圧縮処理単位ブロックの大きさが４画素×４画素で、４つの色別プレーンデータ４１，４２，４３，４４を順次に水平方向１画素かつ垂直方向１画素ずらしている。圧縮処理単位ブロックの大きさが８画素×８画素のＪＰＥＧであれば、垂直方向に延びる水平方向周期の境界位置４５が８列置きに現れ、水平方向に延びる垂直方向周期の境界位置４６が８行置きに現れることになる。ブロックノイズが発生しやすい位置をうまくずらすには、４つの色別プレーンデータ４１，４２，４３，４４を順次に水平方向２画素かつ垂直方向２画素ずつずらせばよい。こうすることにより、伸張処理後の元の大きなサイズの画像データ（ベイヤー配列）において、各色のブロックノイズの発生位置が重なり合いを防ぎ、ブロックノイズを発生しやすい位置を大きく分散配置できるので、視覚的な画像品質の劣化を抑えることができる。

一般的に、圧縮処理単位ブロックの大きさがａ画素×ａ画素の場合、４つの色別プレーンデータを順次に水平方向ａ／４画素かつ垂直方向ａ／４画素ずらせばよい。ここで、ａは４の倍数であり、ａ＝４，８，１２，１６…である。

ＲＡＷデータ再構成手段３について、１フレーム分の画像データにおける４つの色別プレーンデータ４１，４２，４３，４４の配置関係は、上記のように、水平方向と垂直方向の両方向に並べる２次元配列のほか、図９に示すように、垂直方向に１列に並べる垂直１次元配列や水平方向に１列に並べる水平１次元配列でもよい。

４つの色別プレーンデータ４１，４２，４３，４４を並べる順番は特に規定する必要はなく、配置情報の履歴をデータの圧縮後のデータ付加情報とすることにより、任意の場所に配置することができる。［左上、右上、左下、右下］の配列で、図１のように［Ｂ，Ｇ，ｇ，Ｒ］とするほか、［Ｇ，Ｂ，Ｒ，ｇ］としてもよいし、［Ｒ，Ｇ，ｇ，Ｂ］としてもよい。

垂直方向に１列に並べる垂直１次元配列の場合に、ブロックノイズ発生位置の重なりを軽減するには、４つの色別プレーンデータ４１，４２，４３，４４の上下の隣接間に固定データ４７を挿入し、かつ、圧縮処理単位ブロックの周期的な境界位置に対して各色別プレーンデータを垂直方向で相対的にずらせばよい。なお、２次元的な展開になるが、水平方向にも画素ずらしを行うとなおよい。２次元的展開とはいっても、配置領域ａ１，ａ２，ａ３，ａ４の並びとしてはあくまで垂直方向に沿って１次元的である。

また、水平方向に１列に並べる水平１次元配列の場合に、ブロックノイズ発生位置の重なりを軽減するには、４つの色別プレーンデータ４１，４２，４３，４４の左右の隣接間に固定データ４７を挿入し、かつ、圧縮処理単位ブロックの周期的な境界位置に対して各色別プレーンデータを水平方向で相対的にずらせばよい。なお、２次元的な展開になるが、垂直方向にも画素ずらしを行うとなおよい。２次元的展開とはいっても、配置領域ａ１，ａ２，ａ３，ａ４の並びとしてはあくまで水平方向に沿って１次元的である。

［実施例］
以下、本発明における画像処理装置および画像処理方法の好ましい実施例について詳説する。

図１０は本発明の実施例にかかわるＲＡＷデータから生成した再構成ＲＡＷデータを圧縮処理する画像処理装置を搭載した撮像装置の概略構成を示すブロック図である。この撮像装置５０は、色分解して撮像するタイプのイメージセンサを用いた撮像装置であって、ＪＰＥＧ形式による画像記録が可能であるとともに、Ａ／Ｄ変換した直後のＲＡＷデータの記録が可能であるように構成されている。

図１０において、５０は撮像装置、６０は単板式の撮像部、７０は画像処理装置である。撮像装置５０は、撮像部６０と画像処理装置７０を備えている。撮像部６０は、光学レンズ６１、光学ローパスフィルタ６２、カラーフィルタ６３、撮像素子６４およびアナログフロントエンド部６５を含んで構成されている。画像処理装置７０は、ＣＰＵ（Central Processing Unit）７１、ＲＯＭ（Read Only Memory）７２、ＲＡＭ（Random Access Memory）７３、前処理部７４、メモリ制御部７５、画像メモリ７６、画像信号処理部７７、圧縮伸張処理部（エンコーダ／デコーダ）７８、記録メディアインターフェース部７９、表示処理部８０およびモニタインターフェース部８１を含んで構成されている。９１は操作パネル、９２は記録メディアである。以下、各部の構成を説明する。

撮像素子６４は、ＣＣＤ型、ＣＭＯＳ型などのイメージセンサであり、その受光面に多数のフォトダイオード（感光画素）が２次元的に配列されている。フォトダイオードは、光学レンズ６１および光学ローパスフィルタ６２を通過した被写体情報を光電変換する。光学ローパスフィルタ６２は、撮像素子６４の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現（信号処理）後の最終画像におけるエリアシング（aliasing）の発生を防止するようになっている。エリアシングとは、標本化周波数の１／２を超える周波数成分をもつ波形を無理に標本化しようとすると、本来存在しないはずの周波数成分が現れ、白地に黒い文字や線で描かれたようなコントラストのはっきりした画像では、文字や線がつぶれて本来の画像とは異なった模様が現れる現象である。カラーフィルタ６３は、撮像素子６４の１画素に対応する位置にＲ，Ｇ，Ｂの何れかの色が存在するような所定の色配列を有し、受光素子であるフォトダイオードに入射する光の色選択を行うものである。

図１１に原色タイプのカラーフィルタ配列の例を示す。図１１（ａ）に示したベイヤー配列は、受光素子が行方向および列方向にそれぞれ一定ピッチで正方行列的に配列されている。図１１（ｂ）に示したハニカム配列は、受光素子（フォトダイオード）の幾何学的な形状の中心が行方向および列方向に１／２ピッチずつずらして配置されている。実際の撮像素子６４の結像面では、画素配列の構造が水平方向および垂直方向に周期的に繰り返される。図１１（ｃ）はベイヤー配列の場合の周波数特性である。

光学レンズ６１、光学ローパスフィルタ６２、カラーフィルタ６３を通過して撮像素子６４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示しないドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出されるようになっている。撮像素子６４は、シャッタゲートパルス（図示せず）のタイミングによって各フォトダイオードの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。撮像素子６４の動作（露光、読み出し等）はＣＰＵ７１により制御される。

アナログフロントエンド部６５は、撮像素子６４から出力された画像信号に対して、アナログゲイン調整、ＣＤＳ（相関二重サンプリング）などの処理を行った後、内蔵するＡ／Ｄ変換部によりデジタル信号に変換する機能を有している。アナログフロントエンド部６５は、Ａ／Ｄ変換直後のＲＡＷデータを画像処理装置７０の前処理部７４に出力するようになっている。

画像処理装置７０における前処理部７４は、ＡＦおよびＡＥ制御に必要な演算を行うオート演算部を含んでいる。前処理部７４は、アナログフロントエンド部６５からＲＡＷデータを受け取り、オート演算部において、焦点評価値演算やＡＥ演算などを行い、その演算結果をＣＰＵ７１に伝える。前処理部７４は、圧縮ＲＡＷデータを記録するモードの場合、アナログフロントエンド部６５のＡ／Ｄ変換によってデジタル化された４つの色成分Ｂ，Ｇ，ｇ，Ｒをもつベイヤー配列のＲＡＷデータにつき、データの基準となる黒のＤＣレベルを調整する。

画像処理装置７０におけるメモリ制御部７５は、画像メモリ７６と、前処理部７４、画像信号処理部７７、圧縮伸張処理部７８、記録メディアインターフェース部７９および表示処理部８０との間でデータ、信号のやりとりを中継制御するものとして構成されている。メモリ制御部７５にはＲＡＷデータ再構成手段が組み込まれている。そのＲＡＷデータ再構成手段は、４つの色別プレーンデータ４１，４２，４３，４４を生成した上で、１フレーム分の画像データとなるよう並びかえて画像メモリ７６のメモリ空間上に書き込むように構成されている。メモリ制御部７５におけるＲＡＷデータ再構成手段は、再構成ＲＡＷデータを生成するに当たり、圧縮伸張処理部７８における圧縮処理単位ブロックの周期的な境界位置に対して、４つの色別プレーンデータ４１，４２，４３，４４の基準位置を相対的にずらすように構成されている。

画像処理装置７０におけるＣＰＵ７１は、所定のプログラムに従って撮像装置５０を統括制御する制御部であり、ＲＯＭ７２とＲＡＭ７３との協働のもと、前処理部７４、画像信号処理部７７、記録メディアインターフェース部７９および操作パネル９１を制御するように構成されている。ＲＯＭ７２にはＣＰＵ７１が実行するプログラムおよび制御に必要な各種データ等が格納され、ＲＡＭ７３はＣＰＵ７１の作業用領域として利用される。ＣＰＵ７１は、操作パネル９１からの指示信号に基づいて撮像装置５０内の各回路の動作を制御するようになっている。ＣＰＵ７１は、操作パネル９１から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像素子６４などの撮像部６０を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア９２の読み書き制御などを行う。

ＣＰＵ７１は、操作パネル９１にあるレリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると記録用の画像を取り込むための露光および読み出し制御を開始する。また、ＣＰＵ７１は、取り込まれた画像データを記録モードに従って記録メディア９２に記録するように記録メディアインターフェース部７９を制御する。また、ＣＰＵ７１は、必要に応じてストロボ制御回路（図示せず）にコマンドを送り、キセノン管などの閃光発光管（発光部）の発光を制御する。

画像信号処理部７７は、メモリ制御部７５を介して画像メモリ７６をワークメモリとして利用しつつ、同時化色補間処理、ホワイトバランス調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理などの各種処理を実施する手段として構成され、ＣＰＵ７１からのコマンドに従って画像信号を処理するように構成されている。

圧縮伸張処理部７８は、メモリ制御部７５を介して画像メモリ７６から画像データを読み出し、指定された圧縮形式に対応した圧縮符号化アルゴリズムに従って圧縮処理を行い、圧縮ＲＡＷデータをメモリ制御部７５を介して画像メモリ７３に格納するようになっている。また、圧縮伸張処理部７８は、記録メディア９２から読み出された圧縮ＲＡＷデータに対して伸張処理を行い、伸張によって元に戻されたＲＡＷデータをメモリ制御部７５を介して画像メモリ７３に格納するようになっている。圧縮伸張処理に用いるアルゴリズムとしては、ＪＰＥＧ以外に、ＭＰＥＧその他がある。

記録メディアインターフェース部７９は、メモリ制御部７５を介して画像メモリ７６から画像データを読み出し、記録のために記録メディア９２へ転送するものとして構成されている。また、記録メディア９２から画像データを読み出し、復号のためにメモリ制御部７５へ転送するように構成されている。

操作パネル９１は、撮像装置５０に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置５０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなど各種の操作手段を含む。

画像データを保存する記録メディア９２は、メモリカードで代表される半導体メモリのほか、磁気ディスク、光ディスク、光磁気ディスクなど種々の記録媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置５０に内蔵された記録媒体（内部メモリ）であってもよい。

次に、上記構成の本実施例の撮像装置５０の動作を説明する。

撮像部６０における光学レンズ６１、光学ローパスフィルタ６２、カラーフィルタ６３を通過して撮像素子６４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示しないドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、４つの色成分Ｂ，Ｇ，ｇ，Ｒのベイヤー配列の画像アナログ信号がアナログフロントエンド部６５に送られる。アナログフロントエンド部６５におけるＡ／Ｄ変換部によって、撮像素子６４からの画像アナログ信号がデジタル化され、ベイヤー配列の画像データが前処理部７４に送られる。

圧縮ＲＡＷデータを記録するモードの場合、前処理部７４に入力されたベイヤー配列の画像データはデータ基準となる黒のＤＣレベルが調整された後、ＲＡＷデータとしてメモリ制御部７５に送られる。メモリ制御部７５では、組み込まれているＲＡＷデータ再構成手段のデータ並び替え書き込み制御により４つの色別プレーンデータ４１，４２，４３，４４を生成し、さらに、１フレーム分の画像データとなるよう配置して画像メモリ７６のメモリ空間上に書き込む。これが圧縮処理単位の再構成ＲＡＷデータである。この再構成ＲＡＷデータを生成するに当たり、圧縮伸張処理部７８における圧縮処理単位ブロックの周期的な境界位置に対して、４つの色別プレーンデータ４１，４２，４３，４４の基準位置を相対的にずらすようにしている。それは、以降において、記録メディア９２から圧縮ＲＡＷデータを読み出し、伸張処理した上でモニタに表示したときに、各色のブロックノイズの発生位置が重なり合うのを未然に回避するためである。

次に、画像メモリ７６に書き込まれた再構成ＲＡＷデータは、メモリ制御部７５を介して圧縮伸張処理部７８に１つのコンポーネントデータとして入力される。並行して、圧縮伸張処理部７８の他のコンポーネントデータの入力端子に輝度成分不変の固定データが入力され、圧縮処理が行われる。処理後の圧縮ＲＡＷデータは再度メモリ制御部７５を介して画像メモリ７６に書き込まれる。圧縮処理単位である１つのファイルには４つの色別プレーンデータ４１，４２，４３，４４が存在しており、それらを一括して一度に圧縮処理する。

次に、画像メモリ７６内に１つの圧縮ＲＡＷデータとして書き込まれたデータに対して、ＣＰＵ７１は、ＪＰＥＧのファイル形式の画像ファイルとしてヘッダファイルを付加した後、圧縮ＲＡＷデータのフォーマット情報、撮影時の状況など画像の検索、認識などに役立つ情報を取得して画像ファイルヘッダに付加し、メモリ制御部７５と記録メディアインターフェース部７９を介して記録メディア９２に記録する。

撮影し記録メディア９２に記録した画像を撮像装置５０で再生確認する際、圧縮された上記ファイルを記録メディア９２から読み出す。すなわち、伸張操作パネル９１において再生の指示を与えると、ＣＰＵ７１は圧縮伸張処理部７８と記録メディアインターフェース部７９を制御する。記録メディア９２から読み出された圧縮ＲＡＷデータは記録メディアインターフェース部７９およびメモリ制御部７５を介して画像メモリ７３に書き込まれる。画像メモリ７３に書き込まれた圧縮ＲＡＷデータはメモリ制御部７５を介して圧縮伸張処理部７８に転送される。圧縮伸張処理部７８における伸張処理部は、圧縮ＲＡＷデータを伸張処理する。

本実施例によれば、４つの色別プレーンデータ４１，４２，４３，４４を圧縮処理単位である１つのファイル上に配置して構成した再構成ＲＡＷデータを圧縮処理の対象としているので、４つの色別プレーンデータ４１，４２，４３，４４を一括して一度に圧縮処理することができ、従来技術の場合のように４つの色別プレーンデータ４１，４２，４３，４４を個別に順次切り替えながら繰り返して圧縮処理する場合に比べて、圧縮効率が大幅に向上する。

この圧縮効率の大幅な向上は、撮像装置５０が連写撮影機能を有している場合に有利に作用し、近年のイメージセンサの高画素化に対しての圧縮ＲＡＷデータ記録モードでの高速連写に支障をきたす（連写記録の動作中に一旦停止）という従来技術での問題をクリアすることができる。

また、圧縮処理手段５（圧縮伸張処理部７８）としては並列動作する複数の圧縮処理手段を用いる必要がなく、単一の圧縮処理手段ですむため、回路規模の増大を招かないですみ、あるいは、ＣＰＵの処理能力を特別に増強する必要もない。図１２（ａ）に示すように、コンポーネントデータの入力端子として輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）の入力端子を備えた一般的な圧縮処理手段を用いることが可能であるので、資源の有効活用ができる。

資源の有効利用について補足する。一般的なＪＰＥＧ方式の圧縮処理手段５（圧縮処理プロセッサ、圧縮伸張処理プロセッサ）は、図１２（ａ）に示すように、コンポーネントデータの入力端子として輝度信号（Ｙ）の入力端子と色差信号（Ｃｒ、Ｃｂ）の入力端子をもっている。このうち輝度信号（Ｙ）の入力端子にＲＡＷデータ再構成手段４（メモリ制御部７５）で生成された再構成ＲＡＷデータを入力し、輝度変化のない固定データを色差信号（Ｃｒ、Ｃｂ）の入力端子から入力するように構成すれば、一般的なＪＰＥＧ方式の圧縮処理手段（プロセッサ）を援用することが可能となる。

本実施例によれば、記録メディア９２に記録するのは圧縮ＲＡＷデータの形態であるので、前処理部７４や画像信号処理部７７の信号処理の影響がなく、画像品質を高く保つことができる。また、ＪＰＥＧによる効率的な非可逆圧縮であるので、生成される圧縮ＲＡＷデータはファイルサイズが小さく、記録メディア９２の利用効率が改善される。この記録メディア９２の利用効率が高いことと、前述の色別プレーンデータを圧縮処理単位である１つのファイル上に配置した再構成ＲＡＷデータを圧縮処理対象とするがゆえに圧縮効率が大幅に向上していることとが相乗すると、高速連写がさらに有利になる。

メモリ制御部７５におけるＲＡＷデータ再構成手段は、４つの色別プレーンデータ４１，４２，４３，４４を配置して圧縮処理単位の再構成ＲＡＷデータを生成するに際して、圧縮伸張処理部７８における圧縮処理単位ブロックの周期的な境界位置に対し色別プレーンデータの基準位置を相対的にずらすようにしている。したがって、記録メディア９２から圧縮ＲＡＷデータを読み出し、圧縮伸張処理部７８で伸張処理した上で表示処理部８０およびモニタインターフェース部８１を介してモニタに表示したときに、各色のブロックノイズの発生位置の重なり合いを大幅に緩和することができる。したがって、ブロックノイズの発生を抑制でき、圧縮処理単位ブロックの境界位置で各色のブロックノイズの発生位置が重なり合う特有の画質劣化を低減することができる。

上記説明では、画像メモリ７６内に１フレーム分の画像データとして再配置して書き込まれたＲＡＷデータはメモリ制御部７５を介して圧縮伸張処理部７８に１つのコンポーネントデータとして入力し、他のコンポーネント入力データは輝度変化のない固定データとして圧縮処理を行うとしている。しかし、これに代えて、１回の圧縮処理を有効活用して新規な画像圧縮ファイルを生成する目的で、他のコンポーネント入力には別の画像データを入力して処理を実施することも可能である。別の画像データとしては、例えば表示用に縮小リサイズされたスモールＹＣｒＣｂデータやスモールＲＧＢデータなどがある。

例えば図１２（ｂ）に示すように、圧縮処理手段５における輝度信号（Ｙ）の入力端子に１フレーム分の再構成ＲＡＷデータ４を入力するとともに、色差信号（Ｃｒ／Ｃｂ）の入力端子に表示用に縮小リサイズされたＹ，Ｃｒ，Ｃｂで構成される画像のスモールＹＣｒＣｂデータ６やＲ，Ｇ，Ｂで構成される画像のスモールＲＧＢデータ７などを入力する。そして、圧縮処理手段５によって、これら再構成ＲＡＷデータ４やスモールＹＣｒＣｂデータ６やスモールＲＧＢデータ７などを同時的に圧縮処理する。

撮影した画像を撮像装置５０で再生確認する際、圧縮された上記ファイルを記録メディア９２から読み出すが、このとき、圧縮伸張処理部７５では画像信号処理は行わすに、スモールＹＣｒＣｂ６またはスモールＲＧＢ７を表示処理部８０に直接転送して、再生プレビューすることも可能である。

なお、上記の実施の形態においては、静止画像の圧縮符号化アルゴリズムとしてＪＰＥＧを例に説明したが、入力データのビット数を８ビット超の１２ビットまで対応できるＪＰＥＧ２０００やＪＰＥＧ ＸＲを用いてもよい。これらの圧縮符号化アルゴリズムでは、ＪＰＥＧなどに比べ圧縮に伴う画質劣化が少なく、特に高圧縮率での画質劣化が少ない。また、同じアルゴリズムで可逆圧縮と非可逆圧縮が可能である。符号化データの符号列削除処理（ポスト量子化）により、ＪＰＥＧなどと違い再圧縮を行うことなく、圧縮率を調整できる等々の長所を有する。

なお、４つの色別プレーンデータで再構成された１フレーム分の再構成ＲＡＷデータが作成されてあらかじめ画像メモリ７６に蓄積されている場合には、再構成ＲＡＷデータを画像メモリ７６より読み出して圧縮伸張処理部７８に入力するが、再構成ＲＡＷデータがあらかじめ作成されていない場合には、メモリ制御の読み出し工程で１フレーム分の再構成ＲＡＷデータの作成処理を行うことになる。いずれの態様も本発明に包含される。詳細には、１フレーム分の再構成ＲＡＷデータの作成処理は、ＲＡＷデータを画像メモリ７６に書き込むときの並び替え処理として説明したが、画像メモリ７３への書き込み処理については、オリジナルのベイヤー配列のまま画像メモリ７３に取り込み、圧縮処理の際にメモリ制御部７５を介して読み出すときに同時に行うようにしてもよく、そのいずれの態様も本発明に包含される。

以上に述べたように、ＲＡＷデータを４つの色別プレーンデータに分割して１フレーム分の再構成ＲＡＷデータに再配置して圧縮するため、可逆圧縮であっても非可逆圧縮であっても、撮像装置内部の信号処理の影響のないＲＡＷデータを１回の処理で効率良く圧縮して記録することができる。可逆圧縮の場合は、記録された符号化データを圧縮伸張処理部７８または外部のデコーダで復号伸長することにより、元のＲＡＷデータを完全に再生することができる。

なお、上記の実施の形態では、色分解フィルタを持つイメージセンサを例に説明したが、同様の色分解をカラーフィルタ以外の手段によって行うタイプのイメージセンサを用いる場合にも、本発明を適用できることは当然である。

なお、撮像装置５０によって記録された圧縮ＲＡＷデータは、撮像装置本体以外に、専用の画像処理装置あるいはパソコンなどによって再現（現像）処理され得る。具体的には、圧縮ＲＡＷデータに付加された各色テンプレートの配置情報も用いて、伸張後の複数の色領域に再配置されたＲＡＷデータからオリジナルのＲＡＷデータ配列に再度並び替えてもよいし、再現（現像）処理の際にメモリ制御部７５を介して読み出すときにオリジナル配列となるように読み出すことも可能である。

また本発明を実施する際の処理の手順、それにかかわる手段の機能をパソコンやマイクロコンピュータなどのコンピュータ上でプログラムにより実現することも可能である。また、画像処理はその処理の一部または全部を専用のハードウェア（信号処理回路）態様に限らず、一部分をプログラムで実現してもよい。そのためのプログラムと、それが記録された各種の記録（記憶）媒体も本発明に包含される。また、そのような手順による処理の方法も本発明に包含されることは当然である。

なお、カラーフィルタ６３の配列構造は、図１１に示した例に限定されず、ＲＧＢストライプなど様々な配列構造が可能である。また、本例では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、グリーン（Ｇ）からなる補色フィルタを用いたり、原色と補色の任意の組み合わせやホワイト（Ｗ）を用いることも可能である。

また、ＣＭＯＳ型に代表される撮像素子６４においては、高速読み出しを実現する手段として、撮像素子６４内にノイズ処理部とＡ／Ｄ変換部を実装し、撮像素子から直接デジタル信号として出力する形態もある。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ、独立したイメージスキャナ、複写機などに組み込まれたイメージスキャナなど、色分解して撮像するタイプのイメージセンサを搭載した撮像装置において、レタッチ処理などユーザによるデータ加工性の高いＲＡＷデータを圧縮状態で取得するに際し、複数種類の色別プレーンデータを圧縮処理単位である１つのファイル上に配置して構成した再構成ＲＡＷデータを圧縮処理の対象とし、１回の圧縮処理で再構成ＲＡＷデータを取得するので、回路規模の増大やＣＰＵ処理能力の増強を招くことなく圧縮効率を大幅に向上するための技術として有用である。

１：ベイヤー配列のカラーフィルタをもつ撮像部（イメージセンサ）
２：ベイヤー配列のＲＡＷデータ
３：ＲＡＷデータ再構成手段
４：４つの色別プレーンデータで構成される１フレーム分の再構成ＲＡＷデータ
５：圧縮処理手段
６：スモールＹＣｒＣｂデータ
７：スモールＲＧＢデータ
ａ１：色成分Ｂ（青）に対応する第１の配置領域
ａ２：色成分Ｇ（第１の緑）に対応する第２の配置領域
ａ３：色成分ｇ（第２の緑）に対応する第３の配置領域
ａ４：色成分Ｒ（赤）に対応する第４の配置領域
４１：色成分Ｂ（青）に対応する第１の配置領域に第１の色別プレーンデータ
４２：色成分Ｇ（第１の緑）に対応する第２の配置領域に第２の色別プレーンデータ
４３：色成分ｇ（第２の緑）に対応する第３の配置領域に第３の色別プレーンデータ
４４：色成分Ｒ（赤）に対応する第４の配置領域に第４の色別プレーンデータ
４５：圧縮処理単位ブロックの水平方向での周期的な境界位置
４６：圧縮処理単位ブロックの垂直方向での周期的な境界位置
４７：輝度変化のない固定データ
５０：撮像装置
６１：光学レンズ
６２：光学ローパスフィルタ
６３：カラーフィルタ
６４：撮像素子
６５：アナログフロントエンド部
７０：画像処理装置
７１：ＣＰＵ
７２：ＲＯＭ
７３：ＲＡＭ
７４：前処理部
７５：メモリ制御部（ＲＡＷデータ再構成手段）
７６：画像メモリ
７７：画像信号処理部
７８：圧縮伸張処理部（圧縮処理手段）
７９：記録メディアインターフェース部
８０：表示処理部
８１：モニタインターフェース部
９１：操作パネル
９２：記録メディア

Claims (15)

1. カラー画像を構成する複数種類の色成分が一定の規則に従って画素配列上に繰り返し配列されるデータ形式のＲＡＷデータを圧縮処理する画像処理装置であって、
   前記ＲＡＷデータを入力し、前記ＲＡＷデータを前記色成分毎に分解し再集合して複数の色別プレーンデータを生成し、さらに色成分毎に区画された複数の配置領域に前記複数の色別プレーンデータを配置して圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータを生成するＲＡＷデータ再構成手段と、
   前記ＲＡＷデータ再構成手段によって生成された前記圧縮処理単位の再構成ＲＡＷデータを入力し圧縮処理する圧縮処理手段とを備えた画像処理装置。
2. 前記ＲＡＷデータ再構成手段は、前記複数の色別プレーンデータを前記１つのファイルに配置するに際して、前記圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、各色別プレーンデータの基準位置を縦方向と横方向の両方向に所定画素分ずらして配置するように構成されている請求項１に記載の画像処理装置。
3. 前記ＲＡＷデータ再構成手段は、前記複数の色別プレーンデータを前記１つのファイルに配置するに際して、前記圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、各色別プレーンデータの基準位置を縦方向または横方向のいずれか１方向に所定画素分ずらして配置するように構成されている請求項１に記載の画像処理装置。
4. 前記ＲＡＷデータ再構成手段は、前記複数の色別プレーンデータの配置領域どうし間の無画部領域に対して固定データを配置して前記再構成ＲＡＷデータを生成するように構成されている請求項１に記載の画像処理装置。
5. 前記圧縮処理手段は、複数のコンポーネント入力端子を有し、１つの前記コンポーネント入力端子から入力した前記再構成ＲＡＷデータと、他の前記コンポーネント入力端子から入力した固定データとを同時的に圧縮処理するように構成されている請求項１に記載の画像処理装置。
6. 前記圧縮処理手段は、複数のコンポーネント入力端子を有し、１つの前記コンポーネント入力端子から入力した前記再構成ＲＡＷデータと、他の前記コンポーネント入力端子から入力した別の画像データとを同時的に圧縮処理するように構成されている請求項１に記載の画像処理装置。
7. 前記圧縮処理手段は、前記再構成ＲＡＷデータを非可逆圧縮するものとして構成されている請求項１に記載の画像処理装置。
8. カラー画像を構成する複数種類の色成分が一定の規則に従って画素配列上に繰り返し配列されるデータ形式のＲＡＷデータを圧縮処理する画像処理方法であって、
   前記ＲＡＷデータを入力し、前記ＲＡＷデータを前記色成分毎に分解し再集合して複数の色別プレーンデータを生成し、さらに色成分毎に区画された複数の配置領域に前記複数の色別プレーンデータを配置して圧縮処理単位である１つのファイルとしてまとめた再構成ＲＡＷデータを生成する工程と、
   前記再構成ＲＡＷデータを生成する工程によって生成された前記圧縮処理単位の再構成ＲＡＷデータを入力し圧縮処理する工程とを備えた画像処理方法。
9. 前記再構成ＲＡＷデータを生成する工程は、前記複数の色別プレーンデータを前記１つのファイルに配置するに際して、前記圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、各色別プレーンデータの基準位置を縦方向と横方向の両方向に所定画素分ずらして配置する請求項８に記載の画像処理方法。
10. 前記再構成ＲＡＷデータを生成する工程は、前記複数の色別プレーンデータを前記１つのファイルに配置するに際して、前記圧縮処理手段における圧縮処理単位ブロックの周期的な境界位置に対して、各色別プレーンデータの基準位置を縦方向または横方向のいずれか１方向に所定画素分ずらして配置する請求項８に記載の画像処理方法。
11. 前記再構成ＲＡＷデータを生成する工程は、前記複数の色別プレーンデータの配置領域どうし間の無画部領域に対して固定データを配置して前記再構成ＲＡＷデータを生成する請求項８に記載の画像処理方法。
12. 前記圧縮処理する工程は、前記再構成ＲＡＷデータと固定データとを互いに別系統で入力し、前記再構成ＲＡＷデータと前記固定データとを同時的に圧縮処理する請求項８に記載の画像処理方法。
13. 前記圧縮処理する工程は、前記再構成ＲＡＷデータと別の画像データとを互いに別系統で入力し、前記再構成ＲＡＷデータと前記別の画像データとを同時的に圧縮処理する請求項８に記載の画像処理方法。
14. 前記圧縮処理する工程は、前記再構成ＲＡＷデータを非可逆圧縮する請求項８に記載の画像処理方法。
15. 色分解して撮像するタイプのイメージセンサで入力した光学像をアナログの電気信号に変換しさらにデジタルのＲＡＷデータに変換する撮像部と、請求項１から請求項７までのいずれかに記載の画像処理装置とを備えた撮像装置。

Images