JP2008124530A - Ｒａｗデータ圧縮方法 - Google Patents

Abstract

【課題】ＣＦＡを有する単板式固体撮像素子により取得されたＲＡＷデータを高圧縮かつ低歪みで圧縮するとともに、圧縮されたＲＡＷデータをＪＰＥＧ復号器で簡便に画像として確認するプレビュー機能をも実現できるＲＡＷデータ圧縮方法を提供する。
【解決手段】ＣＦＡを有する単板式固体撮像素子により観測されたＲＡＷデータを、「ＲＡＷデータを復号可能なＪＰＥＧデータ」として直接圧縮し、ＪＰＥＧ復号器の復号過程及びダウンサンプリングを定式化し、復号されるＲＡＷデータと観測されたＲＡＷデータの誤差が小さくなるような量子化ＤＣＴ係数に対応するＪＰＥＧデータを、「ＲＡＷデータを復号可能なＪＰＥＧデータ」として生成し、量子化ＤＣＴ係数を求めるために繰り返し演算を行い、ＤＣＴ係数のパラメータ数削減を行い、ＤＣＴ係数の量子化テーブルを再設計することにより、「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成する。
【選択図】図１４

Description

本発明は、カラーフィルタアレイ（ＣＦＡ）を有する単板式カラー撮像素子から取得されたＲＡＷデータを圧縮するためのＲＡＷデータ圧縮方法に関する。

近年、ディジタルカメラの普及が著しい。その中で、多くの低コストなカラーディジタルカメラには、カラーフィルタアレイ（color filter array:ＣＦＡ）を有する単板式カラー撮像素子が利用されている。また、ベイヤーパターンは、カラーフィルタアレイ(ＣＦＡ)として、最も広く利用されている（特許文献１を参照）。

ベイヤーパターンのカラーフィルタアレイを有する単板式カラー撮像素子では、１つの画素はＲ、Ｇ、またはＢの一つの色しか観測することができない。

つまり、このようなＣＦＡを有する単板式カラー撮像素子の出力は、色チャネルは異なるものの、１つの画素に対して１つの画素値であり、１枚のグレイ画像であると考えることもできる。

このようなＣＦＡを有する単板式カラー撮像素子から出力（観測）された、生のデジタル画像データは、「ＲＡＷデータ（raw data）」と呼ばれており、また、「カラーフィルタアレイデータ（color filter array data）」、即ち、「ＣＦＡデータ」とも呼ばれる。

ここでは、「ＲＡＷデータ」と「ＣＦＡデータ」の言葉を同じ意味で使用しており、つまり、「ＲＡＷデータ」又は「ＣＦＡデータ」とは、ＣＦＡを備えた単板式カラー撮像素子から出力（取得）された生のデジタル画像データを意味する。

ＲＡＷデータからフルカラー画像を生成する、即ち、ＲＡＷデータをフルカラー画像に変換するための画像処理は、「デモザイキング処理」と呼ばれ、従来、デモザイキング処理に関して数多くの方法が既に提案されている（非特許文献１を参照）。

ここで、ＣＦＡを備えた単板式カラー撮像素子を用いたディジタルカメラを利用して、画像を撮影し、撮影した画像を表示するまでの標準的な手順を説明する。

一般的に、ＣＦＡを備えた単板式カラー撮像素子により観測（出力）された「ＲＡＷデータ」は、まず、デモザイキング処理により「フルカラー画像データ」に変換される（フルカラー化される）。次に、変換された「フルカラー画像データ」は、例えば、ＪＰＥＧ（非特許文献２を参照）、ＪＰＥＧ−ＬＳ（非特許文献３を参照）又はＪＰＥＧ−２０００（非特許文献４を参照）などの画像圧縮方法により、データ圧縮が行われ、「画像データ」として保存される。

そして、最後に、保存された「画像データ」は、データ圧縮を行った圧縮符号器に対応する復号器によって、フルカラー画像に復元され、例えば、液晶ディスプレイのような表示器に表示される。

上述したように、ＣＦＡを備えた単板式カラー撮像素子を用いたディジタルカメラにおいて、ＲＡＷデータからフルカラー画像を表示するまでは、ＲＡＷデータを圧縮したが、ＲＡＷデータを直接圧縮する方法とはなっていない。

また、近年、ＲＡＷデータからフルカラー画像を生成するための画像処理では、まず、ＣＦＡを備えた単板式カラー撮像素子から取得（出力）されたＲＡＷデータを保存しておき、必要となった場合に、保存されたＲＡＷデータに対し、デモザイキング処理等の画像処理をパソコン等の情報処理装置にて行うことにより、フルカラー画像を生成する、「ＲＡＷ現像」とも呼ばれる手法も利用されつつある。

更に、複数の低解像度画像から１つのカラー高解像度画像を生成する画像処理である「カラー超解像処理」においても、再構成にＲＡＷデータを利用することにより、効果的に超解像処理を行うことができる（非特許文献５を参照）。
米国特許第3971065号 ビー. ケイ. ガントルコ（B.K. Gunturk）、ジェー. グロズバッチ（J. Glotzbach）、ワイ. アルトンバサク（Y. Altunbasak）、アール. ダブリュー. スチャファ（R.W. Schafer）、アール. エム. マサアル（R.M. Mersereau）共著,「デモザイキング： カラー フィルタ アレイ インターポレイション（Demosaicking: color filter array interpolation）」,ＩＥＥＥ シグナル プロセシング マガジン（IEEE Signal Processing Magazine）,第22巻,第1号,p.44-54,2005年 ジィー. ケイ. ウォリス（G．K. Wallace）著,「ザ ＪＰＥＧ スチル ピクチャー コンプレッション スタンダード（The JPEG still picture compression standard）」,コミュニケーションズ オフ ザ ＡＣＭ（Communications of the ACM）,第34巻,第4号,p.30-40,1991年 エム. ジェー. ワインバーガー（M.J. Weinberger）、ジィー. セロウシ（G. Seroussi）、ジィー. サピロ（G. Sapiro）共著,「ザ ＬＯＣＯ−Ｉ ロスレス イメージ コンプレッション アルゴリズム： プリンシプル アンド スタンダーダゼッション イントゥー ＪＰＥＧ−ＬＳ（The LOCO-I lossless image compression algorithm: principles and standardization into JPEG-LS）」,ＩＥＥＥ トランス. イメージ プロセシング（IEEE Trans. Image Processing）,第9巻,第8号,p.1309-1324,2000年 エイ. スコドラス（A. Skodras）、シー. クリストポロス（C. Christopoulos）、ティー.エブラヒミ（T. Ebrahimi）共著,「ザ ＪＰＥＧ ２０００ スチール イメージ コンプレッション スタンダード（The JPEG 2000 still image compression standard）」,ＩＥＥＥ シグナル プロセシング マガジン（IEEE Signal Processing Magazine）,第18巻,第5号,p.36-58,2001年 ティー. ゴト（T. Goto）、エム. オクトキ（M. Okutomi）共著,「ダイレクト スーパー・レゾルーション アンド レジストレイション ユシング ロー ＣＦＡ イメージズ（Direct Super-Resolution and Registration Using Raw CFA Images）」,プロック. ＩＥＥＥ コンピュータ ソサイエティ カンファレンス オン コンピュータ ビジョン アンド パターン レコグニション（Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition）,第II巻,p.600-607,2004年 エヌ. チャン（N.Zhang）、エクス. ウー（X. Wu）共著,「ロスレス コンプレッション オフ カラー モザイク イメージ（Lossless Compression of Color Mosaice Images）」,ＩＥＥＥ トランス. イメージ プロセシング（IEEE Trans. Image Processing）,第15巻,第6号,p.1379-1388,2006年 エス. ワイ. リー（S.-Y. Lee）、エイ. オルテガ（A. Ortega）共著,「ア ノブル アプローチ オフ イメージ コンプレッション イン デジタル カメラ ウィズ ア ベイヤー カラー フィルタ アレイ（A Novel Approach of Image Compression in Digital Cameras with a Bayer Color Filter Array）」,プロック. インターナショナル カンファレンス オフ イメージ プロセシング（Proc. International Conference of Image Processing）,第3巻,p.482-485,2001年 シー. シー. コウ（C.C. Koh）、ジェー. ムクハジ（J. Mukherjee）、エス. ケイ. ミトラ（S.K. Mitra）共著,「ニュー エフィシェント メソッド オフ イメージ コンプレッション イン デジタル カメラ ウィズ カラー フィルタ アレイ（New Efficient Methods of Image Compression in Digital Cameras with Color Filter Array）」,トランス. コンシューマー エレクトロニクス（Trans. Consumer Electronics）,第49巻,第4号,p.1488-1456,2003年 エクス. シェ（X. Xie）、ジィー. エル. リー（G.L. Li）、ゼッド. エイチ. ワン（Z.H. Wang）、シー. チャン（C. Zhang）、ディー. エム. リー（D.M. Li）、エクス. ダブリュー. リー（X.W. Li）共著,「ア ノブル メソッド オフ ロッシー イメージ コンプレッション フォー デジタル イメージ センサ ウィズ ベイヤー カラー フィルタ アレイ（A Novel Method of Lossy Image Compression for Digital Image Sensors with Bayer Color Filter Arrays）」,プロック. インターナショナル シンポジウム オン サーキット アンド システムズ（Proc. International Symposium on Circuits and Systems）,第5巻,p.4995-4998,2005年 ジェー. イー. アダムス（J.E. Adams）、ジェー. エフ. ハミルトン（J.F. Hamilton）共著,「デザイン オフ プラクティカル カラー フィルタ アレイ インターポレイション アルゴリズム フォー デジタル カメラ（Design of practical color filter array interpolation algorithms for digital cameras）」,プロック. ＳＰＩＥ（Proc. SPIE）,第3028巻,p.117-125,1997年 ケイ. ヒラカワ（K. Hirakawa）、ティー. ダブリュー. パークス（T.W. Parks）共著,「アダプティブ ホモジェネイティ・ダイレクティド デモザイキング アルゴリズム（Adaptive homogeneity-directed demosaicing algorithm）」,ＩＥＥＥ トランス. イメージ プロセシング（IEEE Trans. Image Processing）,第14巻,第3号,p.360-369,2005年

ところが、ＣＦＡを備えた単板式カラー撮像素子から得られたＲＡＷデータを効率的に保存する方法や、ＲＡＷデータの適切な保存形式は確立されておらず、多くの場合、ＲＡＷデータが非圧縮のまま保存されているのが現状である。

ＲＡＷデータを非圧縮のままで保存する場合は、その保存形式が統一されていないとの問題がある。また、非圧縮方式のため、データ容量が非常に大きいという問題もある。

さらに、非圧縮で保存されたＲＡＷデータを画像として確認するためにも、各非圧縮保存方式に対応した復号器とデモザイキング処理が必要である。よって、既存の復号器を利用して、非圧縮で保存されたＲＡＷデータを簡便に画像として確認することはできないという問題が存在する。

一方、フルカラー画像を圧縮保存するのに、例えば、ＪＰＥＧ、ＪＰＥＧ−ＬＳ及びＪＰＥＧ−２０００のような圧縮保存形式を利用することができる。特に、ＪＰＥＧは普及が非常に進んでおり、画像圧縮形式のデファクトスタンダードの１つとも言われている。

そこで、ＪＰＥＧ、ＪＰＥＧ−ＬＳ及びＪＰＥＧ−２０００のような圧縮保存形式を利用して、近年、ＲＡＷデータの圧縮方法としていくつかの方法が提案されている（非特許文献６、７、８及び９を参照）。

これらのＲＡＷデータ圧縮方法は、いずれも、ＲＡＷデータを色チャネルごとに分離し、その後、分離された色チャネルの画像をグレイ画像として、既存のＪＰＥＧ、ＪＰＥＧ−ＬＳ又はＪＰＥＧ−２０００などの画像圧縮方法を適用するという共通点がある。これらのＲＡＷデータ圧縮方法を利用することにより、高圧縮かつ低歪みでＲＡＷデータを圧縮し、保存することが可能である。

しかし、これらのＲＡＷデータ圧縮方法では、圧縮されたＲＡＷデータを画像として確認するためには、ＪＰＥＧ、ＪＰＥＧ−ＬＳまたはＪＰＥＧ−２０００などにより各色チャネル画像を復号し、復号した各色チャネルを合成することによりカラーモザイク画像を再構成し、さらに、再構成したカラーモザイク画像をデモザイキング処理によりフルカラー画像に変換する必要がある。従って、既存の復号器を利用して簡便に圧縮されたＲＡＷデータを画像として確認することはできない問題がある。

ところが、ＲＡＷデータを効率よく保存するためには、高圧縮かつ低歪みでＲＡＷデータを圧縮できることは勿論のことで、また、圧縮されたＲＡＷデータを簡便に画像として確認できることも大変重要である。

ここで、圧縮されたＲＡＷデータを既存の復号器を利用して簡便に画像として確認することを「プレビュー」或いは「プレビュー機能」と呼ぶことにし、また、プレビューのために生成される画像を「プレビュー画像」と呼ぶことにする。

上述したように、非特許文献６、７、８及び９に記載されたような既存のＲＡＷデータ圧縮方法では、プレビュー機能は提供されておらず、圧縮されたＲＡＷデータを画像として確認するだけの場合においても、煩雑な画像復号処理、カラーモザイク画像再構成やデモザイキング処理を行う必要がある。

さらに、ＺＩＰ形式やＲＡＲ形式も、電子データの圧縮方式として知られているが、ＲＡＷデータをＺＩＰ形式やＲＡＲ形式で圧縮した場合にも、既存の復号器を利用して簡便に圧縮されたＲＡＷデータを画像として確認できない問題が存在する。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、画像圧縮方法として最も広く普及しているＪＰＥＧに基づいてＲＡＷデータを直接圧縮するＲＡＷデータ圧縮方法を提供し、具体的に、カラーフィルタアレイ(ＣＦＡ)を有する単板式固体撮像素子により取得されたＲＡＷデータを高圧縮かつ低歪みで圧縮するとともに、圧縮されたＲＡＷデータをＪＰＥＧ復号器で簡便に画像として確認するプレビュー機能をも実現できるＲＡＷデータ圧縮方法を提供することにある。

本発明は、カラーフィルタアレイ（ＣＦＡ）を有する単板式固体撮像素子により観測されたＲＡＷデータを、「ＲＡＷデータを復号可能なＪＰＥＧデータ」として直接圧縮するＲＡＷデータ圧縮方法に関し、本発明の上記目的は、ＪＰＥＧ復号器の復号過程及びダウンサンプリングを定式化し、復号されるＲＡＷデータと前記観測されたＲＡＷデータの誤差が小さくなるような量子化ＤＣＴ係数に対応するＪＰＥＧデータを、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」として生成することにより、或いは、ＤＣＴ係数の量子化の影響を考慮して、前記量子化ＤＣＴ係数を求めるために繰り返し演算を行うことにより、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成することにより、或いは、パラメータ数の冗長さを利用してＤＣＴ係数のパラメータ数を削減することにより、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成することにより、或いは、ＤＣＴ係数の量子化誤差がＲＡＷデータへ与える影響が、要素によらず等しくなるように量子化テーブルを再設計することにより、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成することによって効果的に達成される。

また、本発明の上記目的は、ＤＣＴ係数の量子化の影響を考慮して、前記量子化ＤＣＴ係数を求めるために繰り返し演算を行い、パラメータ数の冗長さを利用してＤＣＴ係数のパラメータ数削減を行い、前記ＤＣＴ係数の量子化誤差がＲＡＷデータへ与える影響が、要素によらず等しくなるように量子化テーブルを再設計することにより、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成することによってより効果的に達成される。

本発明に係るＲＡＷデータ圧縮方法は、ＣＦＡを有する単板式固体撮像素子により観測（取得）されたＲＡＷデータを、ＪＰＥＧに基づいて「ＲＡＷデータを復号可能なＪＰＥＧデータ」として直接圧縮する方法であり、つまり、観測されたＲＡＷデータから「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成する方法である。

すなわち、本発明では、ＪＰＥＧ復号器の復号過程およびダウンサンプリングを定式化し、復号されるＲＡＷデータと実際に観測されたＲＡＷデータとの誤差が小さくなるように、「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成するようにしている。

本発明によれば、実際に観測されたＲＡＷデータから「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成し、ＲＡＷデータ（実際に観測されたＲＡＷデータ）を高圧縮かつ低歪みで圧縮することができ、プレビューも簡単にできるという優れた効果を奏する。

また、本発明では、実際に観測されたＲＡＷデータを「ＪＰＥＧ復号器で復号可能なデータ」、すなわち、「ＲＡＷデータを復号可能なＪＰＥＧデータ」として、直接圧縮しているため、本発明によれば、プレビューする際に、デモザイキング処理によりフルカラー化する必要もないというメリットがある。

以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。

＜１＞本発明の概説
本発明は、カラーフィルタアレイ（ＣＦＡ）を有する単板式固体撮像素子により取得されたＲＡＷデータを高圧縮かつ低歪みで圧縮するとともに、圧縮されたＲＡＷデータをＪＰＥＧ復号器で簡便に画像として確認するプレビュー機能をも実現できるＲＡＷデータ圧縮方法に関する。

即ち、本発明のＲＡＷデータ圧縮方法は、ＣＦＡを有する単板式固体撮像素子により観測（取得）されたＲＡＷデータを、ＪＰＥＧに基づいて「ＲＡＷデータを復号可能なＪＰＥＧデータ」として直接圧縮する方法であり、つまり、観測されたＲＡＷデータから「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成する方法である。

＜２＞ＪＰＥＧ圧縮概要
ここで、ＪＰＥＧ圧縮について簡単に説明する。
＜２−１＞ＪＰＥＧ符号化
ＪＰＥＧ圧縮は、フルカラー画像に対する圧縮方法として広く知られている。図１にＪＰＥＧ符号化の概要を示す。

図１に示されるように、まず、カラーフィルタアレイ(ＣＦＡ)を有する単板式カラー撮像素子により観測された「ＲＡＷデータ」は、デモザイキング処理され、フルカラー画像（ＲＧＢカラー画像）に変換される。

次に、このフルカラー画像（ＲＧＢカラー画像）は、ＹＣｒＣｂ色空間に変換され、離散コサイン変換（ＤＣＴ）された後に、量子化処理が行われる。このように量子化された離散コサイン変換済みのデータを「量子化ＤＣＴ係数」と呼ぶことにする。

最後に、この量子化ＤＣＴ係数は、ランレングスおよびハフマン符号化され、ＪＰＥＧデータが生成される。色差（Ｃｒ、Ｃｂ）は空間方向に間引きされることが多い。本発明では色差間引きにも対応しているが、説明を簡単にするため、以下の説明は色差間引きを考慮しないことにする。最小符号化ユニット（ＭＣＵ）ごとに符号化される。色差間引きをしない場合、ＭＣＵは８×８の大きさになる。

＜２−２＞ＪＰＥＧ復号の定式化
ＪＰＥＧデータを復号する方法の概要を図２に示す。復号も最小符号化ユニット（ＭＣＵ）ごとに行われるため、ここでは１つのＭＣＵを復号することのみを考える。

図２に示されるように、まず、ＪＰＥＧデータは、ランレングス復号及びハフマン復号され、量子化ＤＣＴ係数

に変換される。ＪＰＥＧデータは、量子化ＤＣＴ係数

と一対一に対応している。

次に、量子化ＤＣＴ係数

は、逆量子化処理、逆離散コサイン変換、および色変換が施され、フルカラー画像（ＲＧＢカラー画像）が復号される。それぞれの処理は、行列演算で表現することができ、すなわち、量子化ＤＣＴ係数

の復号過程は、数１のように表される。

ここで、ベクトル

はフルカラー画像（ＲＧＢカラー画像）のベクトル表現を表す。また、行列

は逆量子化を、行列

は逆離散コサイン変換を、行列

は色変換を、それぞれ表す行列である。

今、ＭＣＵを８×８と考えているので、量子化ＤＣＴ係数

及びフルカラー画像

は１９２次元のベクトルであり、行列

は１９２×１９２次元の行列である。

また、ダウンサンプリングなどの簡単な操作により、復号されたフルカラー画像（ＲＧＢカラー画像）からＲＡＷデータを抽出（復号）することができる。

＜３＞ＲＡＷデータを復号可能なＪＰＥＧデータ
ここでは、まず、ＲＡＷデータ圧縮に求められている特徴を述べる。そして、本発明の特徴である「ＲＡＷデータを復号可能なＪＰＥＧデータ」といった概念を提案し、その特徴を述べる。

＜３−１＞ＲＡＷデータ圧縮に求められる特徴
ＲＡＷデータを非可逆圧縮することを考える。このとき、ＲＡＷデータ圧縮に求められる特徴としては、まず、第一に、できるだけ少ない情報量で、ＣＦＡを有する単板式カラー撮像素子により観測されたＲＡＷデータを小さな誤差で復号できることである。このような性質（特徴）を満足していれば、圧縮効率が高いと言うことにする。

また、ＲＡＷデータを、画像として簡便に確認できることも重要である。このように圧縮されたＲＡＷデータを画像として確認する機能のことをプレビューと呼ぶことにする。プレビュー用の画像には、高い画質は必要がないものの、既に普及している復号器で簡便に画像化できることが必要である。ディジタルカメラ上での画像の確認や画像の検索などを考えた場合、このプレビュー機能は非常に重要な必須の機能であると考えられる。

ところで、現在、ＣＦＡを有する単板式カラー撮像素子により観測されたＲＡＷデータは、一般的に図３に示す流れで処理される。図３から分かるように、単板式カラー撮像素子の出力であるＲＡＷデータを高い圧縮効率で保存すると言うことは考慮されておらず、あくまで圧縮は、デモザイキング処理されたカラー画像を圧縮・保存することのみが考慮されている。

また、現在利用されているＲＡＷデータ用の保存形式は、非圧縮であり、既存の復号器でプレビュー用の画像を生成することはできない。さらに、既存のＲＡＷデータの圧縮方法においても、プレビューのことは考慮されていない。既存のＲＡＷデータ圧縮方法は、図４の処理の流れに示されるように、いずれもＲＡＷデータを各色チャネルに空間的に分離することを基本としている（非特許文献６、７、８及び９を参照）。このため、プレビュー画像を簡便に生成することはできない。

圧縮効率のみを考慮した場合、可逆圧縮であるＺＩＰ形式やＲＡＲ形式を利用して、ＲＡＷデータを圧縮する方法は、圧縮効率の高い圧縮方法の１つであると言える。圧縮効率を高めるように非可逆的な前処理をした後に、ＺＩＰ形式やＲＡＲ形式を利用することにより、非可逆圧縮も可能であると考えられる。しかし、このような圧縮方法は、当然、プレビュー画像を簡便に生成することはできない。

また、圧縮形式の普及を考えた場合、現在広く普及されている復号器で復号できることは、実用的に極めて重要なことである。そこで、本発明では、「ＲＡＷデータを復号可能なＪＰＥＧデータ」を以下のように提案する。

＜３−２＞「ＲＡＷデータを復号可能なＪＰＥＧデータ」の特徴
あるＪＰＥＧデータを復号することにより、フルカラー画像が得られる。得られたフルカラー画像を、ダウンサンプリングすることによりＲＡＷデータを抽出する。フルカラー画像からＲＡＷデータを抽出する操作は、任意に設計可能であるが、ここでは簡単のためダウンサンプリングを考えることにする。

このように抽出されたＲＡＷデータが、観測されたＲＡＷデータに対して誤差が小さいとき、元々のＪＰＥＧデータを「ＲＡＷデータを復号可能なＪＰＥＧデータ」と呼ぶことにする。

このような「ＲＡＷデータを復元可能なＪＰＥＧデータ」は、ＪＰＥＧ復号器で単純に復号することにより、プレビュー画像が生成されるという特徴を有する。また、プレビュー画像をダウンサンプリングすることにより、ＲＡＷデータが復号される。

次に、「ＲＡＷデータを復号可能なＪＰＥＧデータ」の特徴を定式化する。

まず、あるＪＰＥＧデータを復号し、復号して得られたフルカラー画像をダウンサンプリングにより、ＲＡＷデータを生成（復号）することを考える。もし、生成（復号）されたＲＡＷデータが観測されたＲＡＷデータと一致していれば、ＲＡＷデータを生成（復号）するために利用したＪＰＥＧデータは、ＲＡＷデータを復元可能なＪＰＥＧデータであると言える。この条件は、数１の行列

を利用して、数２のように表される。

ここで、ベクトル

は観測されたＲＡＷデータを表すベクトルを、行列

はフルカラー画像からＲＡＷデータを生成（復号）するためのダウンサンプリングを表す行列を、行列

は量子化ＤＣＴ係数

からＲＡＷデータを復号するための復号行列を、それぞれ表す。

数２を満足していれば、ＪＰＥＧデータから誤差無しで観測されたＲＡＷデータを復号することができる。もし、このようなＪＰＥＧデータを符号化することができれば、ＲＡＷデータを可逆圧縮していると考えることもできる。

このＲＡＷデータの可逆圧縮の考え方は、ＲＡＷデータの非可逆圧縮に拡張することができる。ＲＡＷデータの非可逆圧縮とは、数３で表した、観測されたＲＡＷデータと復号されるＲＡＷデータの誤差が十分小さくなるように、ＪＰＥＧデータを符号化することである。

ここで、‖・‖_２はＬ２ノルムを表す。

本発明では、数３で表す誤差Ｅ（即ち、観測されたＲＡＷデータと復号されるＲＡＷデータの誤差）が小さくなるような量子化ＤＣＴ係数

に対応するＪＰＥＧデータを、「ＲＡＷデータ復号可能なＪＰＥＧデータ」と定義する。

このように定義された「ＲＡＷデータ復号可能なＪＰＥＧデータ」は、ＲＡＷデータを復号できるばかりではなく、通常のＪＰＥＧ復号器によりフルカラー画像が得られる。

従って、本発明のＲＡＷデータ圧縮方法では、復号されるＲＡＷデータと観測されたＲＡＷデータとの誤差が小さくなるような量子化ＤＣＴ係数

を生成すれば、「ＲＡＷデータ復号可能なＪＰＥＧデータ」が得られる訳である。

＜４＞「ＲＡＷデータを復号可能なＪＰＥＧデータ」の生成方法
＜３−２＞では、「ＲＡＷデータを復号可能なＪＰＥＧデータ」の特徴を述べた。

ここでは、観測されたＲＡＷデータから、「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成する方法を具体的に述べる。即ち、復号されるＲＡＷデータと観測されたＲＡＷデータとの誤差が小さくなるような量子化ＤＣＴ係数

を求める方法を具体的に述べる。

まず、ＤＣＴ係数が連続の場合について説明する。次に、量子化ＤＣＴ係数を求めるための繰り返し計算方法を説明する。さらに、ＤＣＴ係数のパラメータ数削減方法および量子化テーブルの再設計方法を説明する。

つまり、本発明のＲＡＷデータ圧縮方法では、観測されたＲＡＷデータから「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成するためには、ＪＰＥＧ復号器の復号過程およびダウンサンプリングを定式化し、復号されるＲＡＷデータと観測されたＲＡＷデータの誤差を小さくなるように、「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成するという考え方に基づいており、ＤＣＴ係数の量子化の影響を考慮して量子化ＤＣＴ係数を求めるために繰り返し演算を行い、パラメータ数の冗長さを利用したパラメータ数削減および量子化テーブルの再設計を行うことにより、高圧縮かつ低歪みでＲＡＷデータを圧縮することを実現している。

なお、量子化ＤＣＴ係数とＪＰＥＧデータは、ランレングスおよびハフマン符号化で一対一に対応しているため、ここでは離散ＤＣＴ係数を生成する方法について述べる。

＜４−１＞連続ＤＣＴ係数の場合
大きさ８×８のＭＣＵごとに数３で表す誤差Ｅを、それぞれ最小にすることを考える。ここでは、まず、ＤＣＴ係数の量子化は考慮せず、連続ＤＣＴ係数について考える。

まず、主要な行列とベクトルの次元を確認する。観測されたＲＡＷデータであるベクトル

は６４次元で、求めるべきフルカラー画像のＤＣＴ係数であるベクトル

は１９２次元で、復号化行列（復号行列）

は１９２×６４次元である。

つまり、求めるべき未知数の数（１９２）が拘束式の数（６４）よりも多いため、数３で表す誤差Ｅをゼロにする連続ＤＣＴ係数

は無数にある。

ＤＣＴ係数の量子化を考慮しなければ、数３で表す誤差ＥをゼロにするＤＣＴ係数の１つは、数２の最小二乗最小ノルム解として与えられる。

この最小二乗最小ノルム解は、Moore-Penroseの一般化逆行列を利用して、数４のように一意に求められる。

ここで、行列

は復号行列

のMoore-Penroseの一般化逆行列を表す。

しかしながら、「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成するためには、連続ＤＣＴ係数

を量子化する必要がある。連続ＤＣＴ係数

の量子化に伴い、量子化誤差も同時に発生してしまう。

＜４−２＞量子化ＤＣＴ係数を求めるための繰り返し計算
＜４−１＞で述べたように、一般化逆行列を利用して、ＤＣＴ係数を求めることができる。しかしながら、「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成するためには、ＤＣＴ係数の量子化を行わなければならず、よって量子化誤差が発生する。

この量子化誤差を低減させるため、ここでは繰り返し計算により、量子化ＤＣＴ係数を求める方法を提案する。

図５に、量子化ＤＣＴ係数を求めるための繰り返し計算の手順を示す。図５に示されたように、量子化誤差を相殺するように、量子化ＤＣＴ係数を更新する方法である。このように、繰り返し計算を行うことにより、量子化誤差を低減することができる。

＜４−３＞ＤＣＴ係数のパラメータ数の削減
求めるべきＤＣＴ係数の数（未知数）が１９２であり、観測されたＲＡＷデータのデータ数（拘束式の数）が６４であるので、ＤＣＴ係数の量子化を考慮しなければ、数３で表す誤差Ｅをゼロにできることは、上記のように既に述べた。

つまり、全てのＤＣＴ係数を利用する必要はない。そこで、数５のような復号過程を考える。

ここで、行列

は対角要素が

である対角行列を、ベクトル

は要素が０又は１のベクトルをそれぞれ表す。なお、ベクトル

の次元は、ベクトル

の次元と同じ１９２である。

数５の最小二乗最小ノルム

は、数６に表される。

さて、ベクトル

のある要素が０であれば、最小二乗最小ノルム解

の対応する要素は０になる。また、行列

のランクがベクトル

と等しければ、数３で表す誤差Ｅをゼロにする連続ＤＣＴ係数を求めることができる。

ところで、量子化ＤＣＴ係数をランレングスおよびハフマン符号化することにより、ＪＰＥＧデータが得られる。そのため、高い圧縮効率を実現するためには、連続した０が多数含まれるようにベクトル

を設計すればよい。

ＪＰＥＧでは、ＤＣＴ係数を保存するときにジグザグ走査が採用されていること、色差の高周波成分は人の視覚はあまり知覚しないことから、図６に対応するベクトル

を利用した。このようなベクトル

を利用することにより、図６中で１に対応する周波数のＤＣＴ係数のみが利用されることになる。このような方法により、実質的に利用するパラメータ数を１９６から６７へ削減した。また、このとき、行列

のランクがベクトル

と等しい。

＜４−４＞ＤＣＴ係数の量子化テーブルの再設計
国際電気通信連合（ＩＴＵ）は、人の視覚に基づいたＤＣＴ係数のための量子化テーブルを勧告している。この量子化テーブルは広く利用されており、この量子化テーブルを定数倍することによって、圧縮率が変更されている。

ところで、量子化はＤＣＴ係数に対して行われ、ＤＣＴ係数の量子化誤差がＲＡＷデータの量子化誤差へと伝搬する。また、量子化誤差は、ＤＣＴ係数の要素に依存せずに、同じように発生する。

従って、本発明では、ＤＣＴ係数の量子化誤差がＲＡＷデータへ与える影響が、要素によらず等しくなるように量子化テーブルを再設計することにする。

まず、連続値のＤＣＴ係数からＲＡＷデータへの復号過程から、ＲＡＷデータにおける量子化誤差を求める。連続値のＤＣＴ係数からＲＡＷデータへの復号過程は、数７のように変形できる。

ここで、下記数８が成立する。

また、ベクトル

は行列

のｉ番目の列ベクトルを、ｆ_ｉはベクトル

のｉ番目の要素を、行列

は逆量子化を表す行列を、ｑ_ｉはｉ番目の要素の量子化間隔を、ｅ_ｉはｉ番目のＤＣＴ係数の量子化誤差を、ｎはベクトル

の要素数を、それぞれ表す。

なお、＜４−３＞で述べたＤＣＴ係数のパラメータ数の削減方法を利用した場合、行列

はパラメータ削減を考慮した形式になる。このとき、ＲＡＷデータにおける量子化誤差

は、数９のように表される。

各ＤＣＴ係数の要素の量子化誤差ｅ_ｉが、ＲＡＷデータに与える影響を等しくするために、各要素の量子化間隔ｑ_ｉを数１０のように設計する。

ここで、ｚは圧縮率を調節するための定数である。

なお、本発明では、＜４−２＞で述べた「量子化ＤＣＴ係数を求めるための繰り返し計算方法」、＜４−３＞で述べた「ＤＣＴ係数のパラメータ数の削減方法」、＜４−４＞で述べた「ＤＣＴ係数の量子化テーブルの再設計方法」をそれぞれ組合せが可能であり、最も効果がある方法は、３種類の方法全てを組み合わせたものである。

また、上述した本発明の実施形態では、「ＲＡＷデータを復号可能なＪＰＥＧデータ」の生成方法について説明したが、本発明はそれに限らず、例えば、ＪＰＥＧのみならず、ＪＰＥＧ−ＬＳやＪＰＥＧ−２０００やほかの画像圧縮フォーマットについても、本発明の技術的な思想を適用することができる。

そして、上述した本発明の実施形態では、「ＲＡＷデータを復元可能なＪＰＥＧデータ」は、ＪＰＥＧ復号器で単純に復号することにより、プレビュー画像が生成され、そのプレビュー画像をダウンサンプリングすることにより、ＲＡＷデータが復号されるといった説明をしているが、本発明はダウンサンプリングに限らず、他の簡単な操作であれば、例えば、周辺画素の平均を利用する方法を利用することもできる。

＜５＞実験
ここで、標準画像及び実画像に対して、本発明のＲＡＷデータ圧縮方法を適用し、従来の方法と比較し、本発明の有効性を確認する。

すなわち、＜４−２＞で述べた「量子化ＤＣＴ係数を求めるための繰り返し計算」、＜４−３＞で述べた「ＤＣＴ係数のパラメータ数の削減」及び＜４−４＞で述べた「ＤＣＴ係数の量子化テーブルの再設計」の効果を確認する。

具体的に、繰り返し計算の繰り返し回数を３回に固定して、パラメータ数削減および量子化テーブルの再設計を、それぞれ利用する場合と利用しない場合で、本発明に係る４種類のＲＡＷデータ圧縮方法を検討した。

図７に示す原画像（標準画像）をダウンサンプリングし、Bayerカラーフィルターアレイに対応するＲＡＷデータを生成した。このＲＡＷデータ（原画像のＲＡＷデータ）に対して、上述した本発明に係る４種類のＲＡＷデータ圧縮方法を用いて、「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成した。量子化間隔を変化させながら、圧縮率とＲＡＷデータに対するＣＰＳＮＲを求めた結果が図８である。

図８において、横軸の圧縮率とは、本発明によって生成された「ＲＡＷデータを復号可能なＪＰＥＧデータ」のサイズとＲＡＷデータ（原画像のＲＡＷデータ）のデータサイズの比であり、値が大きいほど、高圧縮であることを示す。また、縦軸のＲＡＷデータのＣＰＳＮＲとは、復号されたＲＡＷデータと原画像のＲＡＷデータとの平均二乗誤差をデシベルで表したものであり、値が大きいほど、原画像に近いことを表している。

すなわち、図８のグラフにおいて、右上にデータが存在しているほど、高圧縮率かつ低歪みでＲＡＷデータが圧縮されていることを示す。図８から、パラメータ数の削減及び量子化テーブルの再設計を同時に行うＲＡＷデータ圧縮方法が、最も効率的にＲＡＷデータを圧縮していることが確認された。

また、図９に圧縮率がおよそ４付近における上述した本発明に係る４種類のＲＡＷデータ圧縮方法により生成された「ＲＡＷデータを復号可能なＪＰＥＧデータ」のプレビュー画像を示す。図９に示すプレビュー画像から十分、データを画像として確認することができる。さらに、図９から、４種類のＲＡＷデータ圧縮方法に係るプレビュー画像の中では、パラメータ数の削減及び量子化テーブルの再設計を同時に利用した図９（Ｄ）の画質が最も良いことが分かる。

次に、上述したパラメータ数の削減及び量子化テーブルの再設計を同時に利用した本発明のＲＡＷデータ圧縮方法を、一般的に利用されているＪＰＥＧ、ＪＰＥＧ−ＬＳおよびＪＰＥＧ−２０００を利用した既存のＲＡＷデータ圧縮方法と比較する。

まず、図７に示す原画像をダウンサンプリングすることにより得られたＲＡＷデータを、非特許文献１０に記載されたアダムスらの手法によりデモザイキング処理をし、フルカラー画像を得る。得られたフルカラー画像に対して、ＪＰＥＧデータ、ＪＰＥＧ−ＬＳデータおよびＪＰＥＧ−２０００データを、量子化間隔を変化させながら、それぞれ生成した。それぞれの画像データを復号し、ダウンサンプリングすることにより、ＲＡＷデータが得られる。

図１０に本発明のＲＡＷデータ圧縮方法と、ＪＰＥＧ、ＪＰＥＧ−ＬＳおよびＪＰＥＧ−２０００を利用した既存のＲＡＷデータ圧縮方法の比較を示す。図１０から、どの圧縮率においても、本発明のＲＡＷデータ圧縮方法のＣＰＳＮＲが最も高い値であることが確認された。

同様の比較を図１１に示す実際に撮影された画像（実画像）に対して行った。なお、図１１の実画像の撮影には、単板式カラー撮像素子を有するカメラを利用している。そのため、図１１はフルカラー化された画像を示している。

従来の方法で圧縮する際には、非特許文献１０に記載されたアダムスらの手法によりデモザイキング処理により得られたフルカラー画像に対して各種圧縮手法を適用した。図１１に示す実画像対する、本発明のＲＡＷデータ圧縮方法と既存のＲＡＷデータ圧縮方法の比較を図１２に示す。

図１０及び図１２から分かるように、対象画像によって、傾向は多少異なるものの、図１２においても、本発明のＲＡＷデータ圧縮方法がいずれの圧縮率においても最も高いＣＰＳＮＲを示している。

上述した実験結果から分かるように、本発明のＲＡＷデータ圧縮方法は、ＲＡＷデータを効率的に圧縮でき、かつプレビュー画像を簡便に生成可能であることが確認された。

ここで、本発明の適用方法として、ＣＦＡを有する単板式カラー撮像素子を用いたディジタルカメラ上で、まず、その単板式カラー撮像素子が出力するＲＡＷデータ（つまり、観測されたＲＡＷデータ）を本発明のＲＡＷデータ圧縮方法により圧縮・保存する。その後、ディジタルカメラ上に保存された圧縮されたＲＡＷデータをパソコン等の情報処理装置に転送した後に、パソコン等の情報処理装置において転送されたデータに対し、計算時間がかかるが高精度なデモザイキング処理を行うという応用が考えられる。

また、本発明により生成された「ＲＡＷデータを復号可能なＪＰＥＧデータ」を、超解像処理を利用することもできる。

図１３に図１１の実画像に対する各種圧縮結果を示す。図１３（Ａ）は、非特許文献１０に記載されたアダムスらの手法によりデモザイキング処理した結果をＪＰＥＧ−２０００で圧縮した結果を、図１３（Ｂ）は、ＲＡＷデータを本発明により圧縮した結果のプレビュー画像を、図１３（Ｃ）は、本発明で圧縮されたＲＡＷデータに基づき、非特許文献１１に記載されたヒラカワらの方法によりデモザイキング処理した結果を、それぞれ示す。

非特許文献１１に記載されたヒラカワらのデモザイキング処理は、従来の方法より高精細にデモザイキングできる方法として知られているものの、非特許文献１０に記載されたアダムスらの方法に比べて計算コストが大きい。

つまり、図１３（Ｂ）は本発明を適用して得られたディジタルカメラ上での確認のための画像を、図１３（Ｃ）は本発明を応用して最終的に得られる画像であると考えられる。図１３（Ａ）と図１３（Ｃ）を比較することにより、本発明を応用した図１３（Ｃ）の画像が細部まで再現されていることが確認された。

上述したように、本発明では、ＣＦＡを有する単板式固体撮像素子により観測（取得）されたＲＡＷデータを、ＪＰＥＧに基づいて「ＲＡＷデータを復号可能なＪＰＥＧデータ」として直接圧縮する、ＲＡＷデータ圧縮方法を開発した。

本発明に係るＲＡＷデータ圧縮方法を、ＣＦＡを有する単板式カラー撮像素子を用いたディジタルカメラに適用した際の画像処理の流れを図１４に示す。なお、本発明のＲＡＷデータ圧縮方法を「ＲＡＷデータの符号化方法」として考えることもできるので、図１４において、本発明を本発明のエンコーダと表現している。

図１４に示されるように、まず、観測されたＲＡＷデータを本発明のエンコーダで符号化して保存し、即ち、観測されたＲＡＷデータを本発明のＲＡＷデータ圧縮方法で「ＲＡＷデータを復号可能なＪＰＥＧデータ」として圧縮保存し、圧縮保存された「ＲＡＷデータを復号可能なＪＰＥＧデータ」を、既存のＪＰＥＧ復号器で復号し、復号したフルカラー画像をプレビュー画像として利用可能である。また、復号したフルカラー画像をダウンサンプリングし、更にデモザイキング処理を行うことにより、高精度のフルカラー画像が得られる。

ＪＰＥＧ符号化の概要を示す模式図である。 ＪＰＥＧデータを復号する方法の概要を示す模式図である。 現在、一般的に行われる、ＣＦＡを有する単板式カラー撮像素子により観測されたＲＡＷデータの処理を示す模式図である。 既存のＲＡＷデータ圧縮方法の処理の流れを示す模式図である。 本発明に係るＲＡＷデータ圧縮方法を、ＣＦＡを有する単板式カラー撮像素子を用いたディジタルカメラに適用した際の画像処理の流れを示す模式図である。 本発明において、量子化ＤＣＴ係数を求めるための繰り返し計算の手順を説明するための模式図である。 ＪＰＥＧで利用されたＤＣＴ係数を説明するための模式図である。 本発明の有効性を確認するために行う実験で使用された原画像を示す図である。 本発明に係る４種類のＲＡＷデータ圧縮方法を適用した際に、圧縮率とＲＡＷデータに対するＣＰＳＮＲとの関係を示すグラフである。 本発明に係る４種類のＲＡＷデータ圧縮方法により生成された「ＲＡＷデータを復号可能なＪＰＥＧデータ」のプレビュー画像を示す図である。 本発明のＲＡＷデータ圧縮方法と、ＪＰＥＧ、ＪＰＥＧ−ＬＳおよびＪＰＥＧ−２０００を利用した既存のＲＡＷデータ圧縮方法の比較を示す図である。 本発明の有効性を確認するために行う実験で使用された実画像を示す図である。 図１１の実画像に対し、本発明のＲＡＷデータ圧縮方法と、既存のＲＡＷデータ圧縮方法の比較を示す図である。 図１１の実画像に対する各種圧縮結果を示す図である。

Claims (5)

1. カラーフィルタアレイ（ＣＦＡ）を有する単板式固体撮像素子により観測されたＲＡＷデータを、「ＲＡＷデータを復号可能なＪＰＥＧデータ」として直接圧縮するＲＡＷデータ圧縮方法であって、
   ＪＰＥＧ復号器の復号過程及びダウンサンプリングを定式化し、復号されるＲＡＷデータと前記観測されたＲＡＷデータの誤差が小さくなるような量子化ＤＣＴ係数に対応するＪＰＥＧデータを、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」として生成することを特徴とするＲＡＷデータ圧縮方法。
2. ＤＣＴ係数の量子化の影響を考慮して、前記量子化ＤＣＴ係数を求めるために繰り返し演算を行うことにより、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成する請求項１に記載のＲＡＷデータ圧縮方法。
3. パラメータ数の冗長さを利用してＤＣＴ係数のパラメータ数を削減することにより、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成する請求項１に記載のＲＡＷデータ圧縮方法。
4. ＤＣＴ係数の量子化誤差がＲＡＷデータへ与える影響が、要素によらず等しくなるように量子化テーブルを再設計することにより、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成する請求項１に記載のＲＡＷデータ圧縮方法。
5. ＤＣＴ係数の量子化の影響を考慮して、前記量子化ＤＣＴ係数を求めるために繰り返し演算を行い、パラメータ数の冗長さを利用してＤＣＴ係数のパラメータ数削減を行い、前記ＤＣＴ係数の量子化誤差がＲＡＷデータへ与える影響が、要素によらず等しくなるように量子化テーブルを再設計することにより、前記「ＲＡＷデータを復号可能なＪＰＥＧデータ」を生成する請求項１に記載のＲＡＷデータ圧縮方法。

Images