JP4769039B2

JP4769039B2 - デジタル信号符号化および復号化装置ならびにその方法

Info

Publication number: JP4769039B2
Application number: JP2005215785A
Authority: JP
Inventors: 和雄岡本; 裕二永石; 達郎重里
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-07-26
Filing date: 2005-07-26
Publication date: 2011-09-07
Anticipated expiration: 2025-07-26
Also published as: US8275207B2; KR20080038137A; CN101233765B; JP2007036566A; WO2007013335A1; EP1912445A4; EP1912445A1; US20100142811A1; CN101233765A

Description

本発明は、デジタルデータの圧縮符号化および復号化に関する。具体的には、本発明は、撮像素子が出力する画素信号の圧縮符号化、および、圧縮符号化した画素信号の復号化のための装置および方法に関する。

デジタルカメラや、カメラ付携帯電話等のデジタル撮像装置に実装される撮像素子には電荷結合型撮像素子（ＣＣＤ型撮像素子）、金属酸化膜半導体型撮像素子（ＭＯＳ型撮像素子）等がある。さらに、ＭＯＳ型撮像素子には、相補型金属酸化膜半導体型撮像素子（ＣＭＯＳ型撮像素子）、Ｎチャンネル型金属酸化膜半導体型撮像素子（ＮＭＯＳ型撮像素子）等がある。近年、これら撮像素子の画素数は増加する傾向にあり、それぞれ高精細撮像素子として進歩している。ＣＣＤ型撮像素子には、ダイナミックレンジが広く、ノイズが少ないという特徴があり、ＭＯＳ型撮像素子には、ＭＯＳプロセスが使用できるため構造が簡単でしかも単一電源であり、高解像度化に適しているという特徴がある。

次にデジタル撮像装置を用いた撮像に係る信号処理について概説する。

デジタル撮像装置での１フレームの静止画撮像、所謂、単写撮像に係る信号処理の一例を示す。被写体からの光は、撮像素子の受光部において結像し、受光部に多数配置される画素は、それぞれ、光量に応じた量の電荷を蓄積する。これら蓄積電荷は、撮像素子駆動部によりアナログ信号として撮像素子の出力部から１画素毎に、受光部の１ライン分読み出され、アナログ／デジタル変換部においてデジタル画素信号（ＲＡＷデータ）に変換され、シンクロナスＤＲＡＭ（Synchronous DRAM (SDRAM)）等のバッファメモリに一時記憶される。１ライン分の読み出し、Ａ／Ｄ変換、ＳＤＲＡＭ等への書き込みが終了すれば、２番目のライン、３番目のライン、・・・、最終のラインについて同様に読み出しから書き込みまでの処理が繰り返され、画像１フレーム分（１回の撮像分）のデータがＳＤＲＡＭに一時記憶される。次に、一時記憶されたデータ即ちＲＡＷデータをデジタル・シグナル・プロセッサ（ＤＳＰ）等のプロセッサを用いて拡大・縮小等のズーム処理等の信号処理演算を行い、演算後のデータを再度ＳＤＲＡＭに一時記憶する。次に、プロセッサを用いてデータを適切に処理することにより、データを記録に適したＪＰＥＧ等の圧縮データ形式のデータ（圧縮データ）に変換し、その後に再度ＳＤＲＡＭに一時記憶する。そして、ダイレクト・メモリ・アクセス（ＤＭＡ）制御等により、高速にＳＤＲＡＭからデータを読み出し、データを外部の半永久保存メモリに記憶する。ここで半永久保存メモリとは、ＳＤカード等、一般にデジタルカメラの画像記憶媒体として用いられる記憶媒体であればよい。

上記の単写撮像に係る信号処理を連続的に実行することで連続撮像、所謂、連写撮像が実現される。しかしながら、ＲＡＷデータから圧縮データ形式のデータ（圧縮データ）へ変換する処理は、画素の蓄積電荷を読み出してＲＡＷデータとして一時記憶する処理に比して時間のかかる処理である。そのため、連写の場合には、ＲＡＷデータのＳＤＲＡＭへの記憶と、ＲＡＷデータを圧縮データへ変換する処理は平行して行われ、読み出されたＲＡＷデータは、ＳＤＲＡＭの記憶容量の許すかぎりにおいて、追加的にＳＤＲＡＭに一時記憶される。従い、連写可能なフレーム数を増やすには、ＳＤＲＡＭの記憶容量を増やす必要がある。

また、昨今の撮像素子の画素数の増加に伴い、画像１フレーム分のＲＡＷデータのデータサイズも増加する。そのため、ＳＤＲＡＭの記憶容量を従来品と同程度に留めるならば、撮像素子の画素数の増加に伴って連写可能フレーム数が減少する。そのため、撮像素子の画素数を増やすことにより、撮像装置を高精細化するならば、同時に、ＳＤＲＡＭの記憶容量を大容量化し、連写可能フレーム数を確保することが要求される。また、ＲＡＷデータのデータサイズが大きくなれば、従来よりも高速にアクセス可能なＳＤＲＡＭが望まれる。しかしながら、ＳＤＲＡＭの記憶容量の大容量化やアクセス速度の高速化は、コスト面において不利である。

従来、上記問題を解決するための手法が提案されている。

図１１は、特許文献１の開示するフレームメモリの使用量を削減する方法を、デジタルスチルカメラを例に説明する構成図である。

まず、特許文献１に記載のデジタルスチルカメラの構成を説明する。デジタルスチルカメラ１００は、映像処理部（ＣＰＵ）１１０、フラッシュメモリ１２０、ＪＰＥＧ−ＬＳＩ１３０、表示／キャプチャコントローラ１４１、バッファメモリ１４２、メモリ転送コントローラ１４３、アドレスバス切り替え部１４４、リートデータラッチ１４５、出力レベルラッチ１４６、差分伸張／加算器１４７、差分圧縮／伸張変換テーブル１４８、減算／差分圧縮部１４９、ライトデータラッチ１５０、入力レベルラッチ１５１、フレームメモリ１６０、映像出力部１７０、映像入力部１８０、圧縮伸張部１４０、を有する。

次に、特許文献１に記載のデジタルスチルカメラ１００の動作を説明する。図１１の映像入力部１８０より入力された圧縮前データは減算／差分圧縮部１４９に送られる。そこで減算と差分圧縮が行われるが、その際、差分圧縮／伸張変換テーブル１４８を参考にして圧縮が行われる。この結果の圧縮後のデータはデータバスを経由し、フレームメモリ１６０に一時記憶される。フレームメモリ１６０にある圧縮された伸張前データは差分伸張／加算部１４７において、差分圧縮／伸張変換テーブル１４８を参考にしながら伸張後データに変換され、映像出力部１７０から出力される。

この方法ではデータの差分値の圧縮を行うために、ＲＯＭなどに差分圧縮／伸張変換テーブル１４８を持つ必要がある。従来の方法に比べると回路規模は小さくなるとのことである。それでも、ＲＯＭを使用することは免れないので回路構成が大きくなり、処理負担は依然として大きい。

図１２、図１３は、特許文献２の開示する、デジタル信号の非可逆圧縮符号化の方法を概説する図である。図１２は、単板ＣＣＤの構成図であり、図１３は、非可逆圧縮符号化にかかるフローチャートである。図１２を参照すれば、注目画素ｘ、画素ｘよりも先に処理される同色画素ｆ、ｅ、ｄ、および、画素ｘに隣接した異色隣接画素ｃ、ａ、ｂが示されている。

次に図１３を参照し、特許文献２の開示する圧縮符号化法の処理を説明する。この方法は、カラーフィルタＲ、Ｇ、Ｂが配置された単板ＣＣＤにおいて注目画素ｘの最適予測式による予測値ｙとの予測誤差Δがエントロピー符号化され、画像データの圧縮が行われる方法であって、近傍画素の画素値、および、注目画素と異なる色成分のカラーフィルタが配置された隣接画素の画素値を用いて予測値を算出するとともに、近傍画素の画素値、および、注目画素と同色の色成分のカラーフィルタが配置された同色画素の画素値を用いて予測値を算出し、注目画素ｘがいずれの予測値に近似しているかを判別し、この判別結果に基づいて次の注目画素の予測値を隣接画素と同色画素のいずれの画素値を用いて予測値を算出するかを決定する。

この方法では、量子化は非線形テーブルによって行われ、一様に定数を乗算し、実際の演算に用いるテーブル値を算出している。これにより非可逆変換で圧縮率を変化させることができる。量子化されたデータは、さらにエントロピー符号化される。

特許文献２の開示する方法においても、画素値によって算出された予測誤差Δを所定の量子化テーブルによって量子化する点で、ＲＯＭなどのメモリが必要であり、回路構成が大きくなり、処理負担が大きい。

図１４は、特許文献３の開示する画像符号化装置のブロック図である。図１４を参照すれば、この画像符号化装置は、画素値入力部１０１よりダイナミックレンジがｄビットである入力画素値を入力し、量子化部１０４において、入力画素値を、符号化によりｎビットの量子化値に変換し、これを、出力部１０５より出力する画像符号化装置である。

この画像符号化装置はさらに、入力画素の周辺の画素から、入力画素値に対する予測値を生成する予測値生成手段１０６と、ｄビット精度において、量子化幅が２のｄ−ｎ乗であり、２のｎ乗からあらかじめ設定された追加上限数を減じて得られる個数の、線形量子化代表点を有する、線形量子化器を生成する線形量子化器生成手段１０２と、線形量子化器に対して、予測値の周辺付近に、追加上限数以下の個数の量子化代表点を追加して、予測値付近の量子化幅を線形量子化器より小さくした非線形量子化器を生成する非線形量子化器生成手段１０３とを有し、量子化部１０４において、非線形量子化器生成手段１０３で生成した非線形量子化器を用いて入力画素値を量子化し、量子化値を出力する画像符号化装置である。

この、特許文献３に開示する画像符号化装置は、量子化のためのＲＯＭテーブルを持たない。この点において、この画像符号化装置は、特許文献１および特許文献２の開示する発明による装置よりも小規模な装置として実現されることが期待される。
特開平１１−３４１２８８号公報特開２０００−２４４９３５号公報特開平１０−０５６６３８号公報

特許文献１に記載の方法は、符号化及び復号化のためのテーブルをあらかじめ準備する必要があり、テーブルを記憶するために符号化及び復号化テーブルバッファ、又は、ＲＯＭ等のメモリが必要である。また、特許文献１に記載の方法を実施するための装置は、回路構成が大きく、かかる処理の負担も大きい。

また、特許文献２に記載の方法は、同色と異色の両方の予測を行った後、予測誤差の小さい方を選択する。そのため、符号化のみならず復号化まで実施しなければどの予測式を使用すべきかを判断することができない。そのため、処理量の増大を避けることができない。また、テーブルを用いた非線形処理のため、この方法を実施するための装置は、回路構成が大きくなり、かかる処理の負担も大きい。

特許文献３に記載の方法を実施するための装置においては、予測値を算出するための回路を構成し、予測値算出の処理を実行する必要がある。

上記問題点を鑑み、本発明は、小規模な回路構成で実装可能であって、符号化のための処理が単純な演算で構成され、もって、低い演算処理負荷で高圧縮率を実現するデジタル信号圧縮符号化および復号化装置、ならびに、デジタル信号圧縮符号化および復号化のための方法を提供することを目的とする。

本発明は、その一態様においては、少なくとも、第１色にセンスする画素と第２色にセンスする画素を周期的に配置した受光部からの信号をデジタル形式にて示した画素値データを受けて処理する、デジタルデータ符号化装置において、第１色にセンスする第１画素の第１画素値データと、第１画素の近傍に位置し、第１色にセンスする第２画素の第２画素値データとの差分値を第１画素差分値として出力すると共に、第２色にセンスする第３画素の第３画素値データと、第３画素の近傍に位置し、第２色にセンスする第４画素の第４画素値データとの差分値を第２画素差分値として出力する、差分生成部と、第１画素差分値の絶対値と第２画素差分値の絶対値のうちの最大値を最大画素値差として求め、求めた最大画素値差以上の値を量子化参照値として決定する量子化参照値決定部と、第１画素値データと量子化参照値との差を第１オフセット値として設定すると共に、第３画素値データと量子化参照値との差を第２オフセット値として設定するオフセット値設定部と、第２画素値データと第１オフセット値との差を、第１被量子化処理値として設定すると共に、第４画素値データと第２オフセット値との差を、第２被量子化処理値として設定する被量子化処理値設定部と、第１被量子化処理値および第２被量子化処理値を、それぞれ量子化して第１圧縮符号化画素値データおよび第２圧縮符号化画素値データを求める量子化部と、を有するデジタルデータ符号化装置である。

本発明の一態様においては、第１色と、第２色は相異なる、ことが好ましい。

本発明の一態様においては、さらに、オフセット値設定部の定めたオフセット値が、ゼロ以下である場合、オフセット値をゼロに設定しなおすオフセット値ゼロ設定部を有する、ことが好ましい。

本発明の一態様においては、さらに、量子化における量子化幅を決定する量子化幅決定部を有する、ことが好ましい。

本発明の一態様においては、量子化幅は、最大画素値差が大きくなるに従って増加する、ことが好ましい。

本発明の一態様においては、さらに、決定された量子化幅をｍビット長（ｍは自然数）の符号に符号化する量子化幅情報データ生成部を有する、ことが好ましい。

本発明の一態様においては、量子化幅決定部は、予め決められた複数の量子化幅のいずれか１つに決定する、ことが好ましい。

本発明の一態様においては、複数の量子化幅の数は、２のｍ乗個以下である、ことが好ましい。

本発明の一態様においては、ｍは、２である、ことが好ましい。

本発明の一態様においては、さらに、圧縮符号化画像データ生成部を有し、圧縮符号化画像データ生成部は、少なくとも、量子化幅情報データ、第１圧縮符号化画素値データ、および、第２圧縮符号化画素値データのいずれかを含む、ｓビット長（ｓは自然数）の圧縮符号化画像データを生成し、ここでｓは、８の倍数である、ことが好ましい。

本発明の一態様においては、圧縮符号化画像データ生成部は、第１画素値データをそのまま、初期画素値データとして、圧縮符号化画像データに記録する、ことが好ましい。

本発明の一態様においては、量子化幅決定部は、第１画素差分値および第２画素差分値のそれぞれに関する符号なし整数バイナリ値表現に要する桁数のうちの最大桁数値を求めることにより、複数の量子化幅のいずれか１つに決定する、ことが好ましい。

本発明の一態様においては、さらに、第２画素値データを補正し誤差補正画素値データを生成する誤差補正部と、圧縮符号化画素値データを復号化して復号化画素値データを出力するデジタルデータ復号化部とを有し、オフセット値設定部は、第１画素値データの代りに復号化画素値データを用いて第１オフセット値を設定し、被量子化処理値設定部は、第２画素値データの代りに誤差補正画素値データを用いて第１被量子化処理値を設定することが好ましい。

本発明の一態様においては、誤差補正部における第２画素値データの補正は、第２画素値から、第１画素値データと復号化画素値データとの差に関連する補正値を引き算することによりなされることが好ましい。

本発明は、別の一態様においては、第１色にセンスする第１画素の第１画素値データがそのまま第１初期画素値データとして記録されている初期画素値データ部と、第１画素の近傍に位置し第１色にセンスする第２画素の第２画素値データを示す第１圧縮符号化画素値データが記録されている圧縮符号化画素値データ部と、を備えるｓビット長（ｓは自然数）の圧縮符号化画像データを入力する圧縮符号化画像データ入力部と、第１初期画素値データと設定された第１量子化参照値との差を第１オフセット値として求めるオフセット値設定部と、設定された第１量子化幅を用いて第１圧縮符号化画素値データを逆量子化して第１逆量子化画素値データを求める逆量子化部と、第１逆量子化画素値データと第１オフセット値との和を求めることにより第１復号化画素値データを生成する復号化画素値生成部と、を有するデジタルデータ復号化装置である。

本発明の一態様においては、初期画素値データ部にはさらに、第１画素に近接し第２色にセンスする第３画素の第３画素値データがそのまま第２初期値画素値データとして記録され、圧縮符号化画素値データ部にはさらに、第３画素の近傍に位置し、第２色にセンスする第４画素の第４画素値データを示す第２圧縮符号化画素値データが記録され、オフセット値設定部はさらに、第２初期値データと第１量子化参照値との差を第２オフセット値として求め、逆量子化部はさらに、第１量子化幅を用いて第２圧縮符号化画素値データを逆量子化して第２逆量子化画素値データを求め、復号化画素値生成部はさらに、第２逆量子化画素値データと第２オフセット値との和を求めることにより第２復号化画素値データを生成する、ことが好ましい。

本発明の一態様においては、圧縮符号化画素値データ部にはさらに、第２画素の近傍に位置し、第４画素に近接し、第１色にセンスする第５画素の第５画素値データを示す第３圧縮符号化画素値データが記録され、オフセット値設定部はさらに、第１復号化画素値データと設定された第２量子化参照値との差を第３オフセット値として求め、逆量子化部はさらに、設定された第２量子化幅を用いて第３圧縮符号化画素値データを逆量子化して第３逆量子化画素値データを求め、復号化画素値生成部はさらに、第３逆量子化画素値データと第３オフセット値との和を求めて第３復号化画素値データを生成する、ことが好ましい。

本発明の一態様においては、圧縮符号化画像データは、少なくとも、第１量子化幅に関する情報を備える第１量子化幅情報データおよび第２量子化幅に関する情報を備える第２量子化幅情報データのいずれか、が記録されている量子化幅情報データ部を備える、ことが好ましい。

本発明の一態様においては、さらに、逆量子化における量子化幅を、予め決められた複数の量子化幅のいずれか１つに設定する量子化幅設定部を有し、量子化幅設定部は、第１量子化幅情報データおよび第２量子化幅情報データから、第１量子化幅および第２量子化幅をそれぞれ、複数の量子化幅の１つに設定する、ことが好ましい。

本発明の一態様においては、さらに、逆量子化における量子化参照値を、予め決められた複数の量子化参照値のいずれか１つに設定する量子化参照値設定部を有し、量子化参照値設定部は、第１量子化幅情報データおよび第２量子化幅情報データから、第１量子化参照値および第２量子化参照値をそれぞれ、複数の量子化参照値の１つに設定する、ことが好ましい。

本発明の一態様においては、第１量子化幅情報データおよび第２量子化幅情報データは、それぞれｍビット長（ｍは自然数）のデータである、ことが好ましい。

本発明の一態様においては、複数の量子化幅および複数の量子化参照値の個数は、それぞれ２のｍ乗個以下である、ことが好ましい。

本発明は、別の一態様においては、少なくとも、第１色にセンスする画素と第２色にセンスする画素を周期的に配置した受光部からの信号をデジタル形式にて示した画素値データを受けて処理する、デジタルデータ符号化方法において、第１色にセンスする第１画素の第１画素値データと、第１画素の近傍に位置し、第１色にセンスする第２画素の第２画素値データとの差分値を第１画素差分値として出力すると共に、第２色にセンスする第３画素の第３画素値データと、第３画素の近傍に位置し、第２色にセンスする第４画素の第４画素値データとの差分値を第２画素差分値として出力する、差分生成ステップと、第１画素差分値の絶対値と第２画素差分値の絶対値のうちの最大値を最大画素値差として求め、求めた最大画素値差以上の値を量子化参照値として決定する量子化参照値決定ステップと、第１画素値データと量子化参照値との差を第１オフセット値として設定すると共に、第３画素値データと量子化参照値との差を第２オフセット値として設定するオフセット値設定ステップと、第２画素値データと第１オフセット値との差を、第１被量子化処理値として設定すると共に、第４画素値データと第２オフセット値との差を、第２被量子化処理値として設定する被量子化処理値設定ステップと、第１被量子化処理値および第２被量子化処理値を、それぞれ量子化して第１圧縮符号化画素値データおよび第２圧縮符号化画素値データを求める量子化ステップと、を有するデジタルデータ符号化方法である。

本発明は、別の一態様においては、第１色にセンスする第１画素の第１画素値データがそのまま第１初期画素値データとして記録されている初期画素値データ部と、第１画素の近傍に位置し第１色にセンスする第２画素の第２画素値データを示す第１圧縮符号化画素値データが記録されている圧縮符号化画素値データ部と、を備えるｓビット長（ｓは自然数）の圧縮符号化画像データを入力する圧縮符号化画像データ入力ステップと、第１初期画素値データと設定された第１量子化参照値との差を第１オフセット値として求めるオフセット値設定ステップと、設定された第１量子化幅を用いて第１圧縮符号化画素値データを逆量子化して第１逆量子化画素値データを求める逆量子化ステップと、第１逆量子化画素値データと第１オフセット値との和を求めることにより第１復号化画素値データを生成する復号化画素値生成ステップと、を有するデジタルデータ復号化方法である。

本発明によるデジタル信号圧縮符号化および復号化装置ならびに方法は、符号化および復号化のためのテーブルを備える必要がなく、もって小規模な回路構成からなり、比較的単純な演算処理を用い高いデータ圧縮率を実現する。

＜実施の形態１＞
＜デジタルスチルカメラの構成＞
図１は、本実施の形態によるデジタル信号圧縮符号化・復号化装置（コーデック（ＣＯＤＥＣ））１３を実装したデジタルスチルカメラ（ＤＳＣ）１のブロック図である。図示しない被写体よりレンズ３に入射した光は、レンズ３によって集光され、撮像素子５の図示しない受光部において結像する。撮像素子５は、ＣＣＤ型撮像素子である。撮像素子５の図示しない画素は、入力される光の量に応じて電荷を蓄積する。蓄積された電荷は撮像素子駆動部７により所定のタイミングでアナログ画素信号として出力され、前信号処理部９に送られる。前信号処理部９は、アナログ画素信号に前処理を施し、アナログ／デジタル変換部１１にアナログ画素信号を送る。アナログ／デジタル変換部（ＡＤＣ）１１は、アナログ画素信号を、デジタル画素信号に変換し、デジタル形式で画素値データを出力する。

撮像装置であるデジタルスチルカメラ１においては、ＡＤＣ１１より出力された、デジタル形式の画素値データであるデジタル画素信号は、デジタル信号圧縮符号化・復号化装置（ＣＯＤＥＣ）１３に入力される。ＣＯＤＥＣ１３は、入力されたデジタル画素信号を解析しデジタル画素信号を圧縮符号化した圧縮符号化画素値データ、圧縮符号化に係る情報等、をバッファメモリであるＳＤＲＡＭ１５に送る。これらＳＤＲＡＭ１５に送られるデータ群は、圧縮符号化画像データを構成する。ＣＯＤＥＣ１３における圧縮符号化および復号化は、以下で詳細に説明する。出力される圧縮符号化画素値データ等は、ＳＤＲＡＭ１５に記憶される。ＳＤＲＡＭ１５に記憶された圧縮符号化画素値データ等は、ＣＯＤＥＣ１３に再び送られ、復号化され、復号化画素値データが生成される。復号化画素値データは、ＹＣ処理部１７に送られ、輝度および色差データに変換され、再びＳＤＲＡＭ１５に送られ、記憶される。ＳＤＲＡＭ１５に記憶された輝度および色差データは、ＪＰＥＧ処理部１９に送られ、ＪＰＥＧ圧縮処理され、ＪＰＥＧデータ化された画像データ（ＪＰＥＧ画像データ）がＳＤＲＡＭ１５に記憶される。ＪＰＥＧ画像データは、ＤＭＡ制御等によって高速に外部記憶媒体であるＳＤカード２５に送られ、記憶される。制御部２１に含まれる図示しないＣＰＵは、制御部２１に含まれる図示しないメモリに記憶されたプログラムを実行し、上記の処理を制御する。また、制御部２１は、ＳＤＲＡＭ１５に記憶された情報を、外部インターフェース２３を介して表示部２７およびＳＤカード２５に送ることもできる。また、ＳＤカード２５に記憶された情報を読み出すことも可能である。

なお、撮像素子５は、ＭＯＳ型撮像素子でもよい。撮像素子５は、赤色にセンスする画素、緑色にセンスする画素、および、青色にセンスする画素の３色にセンスする画素を備える撮像素子に限定されない。補色系の画素を備えた撮像素子であってもよい。また、互いに異なる２色にセンスする２種類の画素のみを備えた撮像素子であってもよい。さらには、１色にのみセンスする画素を備える撮像素子であってもよいし、特定の波長帯域の光にのみセンスする画素ではなく、広く光にセンスする単一の特性の画素を複数備える撮像素子であってもよい。外部記憶媒体は、ＳＤカード２５に限定されず、一般的にデジタルカメラの画像記憶媒体として用いられているものであればよい。

図２は、ＳＤＲＡＭ１５の記憶領域の使用状況を模式的に表した図である。上述のようにＳＤＲＡＭ１５には、３種類のデータ、即ち圧縮符号化画像データ、輝度および色差データ、ＪＰＥＧ画像データ、が記憶されることになる。本明細書においては、圧縮符号化画像データが記憶される領域を記憶領域１５ａ、輝度および色差データが記憶される領域を記憶領域１５ｂ、そして、ＪＰＥＧ画像データが記憶される領域を記憶領域１５ｃと称する。本図に示した記憶領域の境界（破線）は、形式的なものであって実際の使用比率を表すものではない。

本発明にかかる撮像装置１では、撮像において、先ず、撮像素子５から出力された信号値に基づくデジタル画素信号（ＲＡＷデータ）は、ＣＯＤＥＣ１３で圧縮符号化されて圧縮符号化画素値データ（圧縮符号化画像データを構成するデータ群の一部）として記憶領域１５ａに記憶される。次に、ＣＯＤＥＣ１３で復号化処理された後、ＹＣ処理部１７に送られ、データ処理を受けて輝度および色差データとして記憶領域１５ｂに記憶される。そして、輝度および色差データは、ＪＰＥＧ処理部１９でＪＰＥＧ圧縮処理され、ＪＰＥＧ画像データとして記憶領域１５ｃに記憶される。その後でＪＰＥＧ画像データは、ＳＤカード２５に転送される。ＪＰＥＧ画像データの生成は、他の処理に比して時間のかかる処理であるため、連写のような、連続的撮像を実行すると、ＪＰＥＧ処理を待つデータが増加し、ＳＤＲＡＭ１５の記憶領域を圧迫する。そのため、少しでもＳＤＲＡＭ１５の記憶領域を有効に使用し、連写可能枚数を多くするためには、記憶領域１５ａの使用量を小さくすることが有効である。本発明によるデジタル信号圧縮符号化は、デジタル画素信号（ＲＡＷデータ）を圧縮符号化してＳＤＲＡＭ１５に送ることで領域１５ａの使用量を小さくするという効果を有する。これにより、領域１５ｂおよび領域１５ｃに使用できる記憶領域を大きくとることができ、ひいては、デジタルスチルカメラ１の連写可能枚数を増加させる。また、ＣＯＤＥＣ１３とＳＤＲＡＭ１５間を往来するデータ量は減少するため、処理時間の短縮、および、消費電力の低減という効果も得られる。

次に、本実施形態にかかるデジタルスチルカメラ１即ち撮像装置のデジタルデータ符号化および復号化装置である、ＣＯＤＥＣ１３における処理について詳述する。

ＣＯＤＥＣ１３の構成の説明の前に先ず、図３を参照し、ＣＯＤＥＣ１３に入力されるデジタル画素信号（ＲＡＷデータ）について説明する。図３は、撮像素子５の受光部における画素２９の配列を示す図である。受光部には、複数の画素２９が配され、画素２９はそれぞれ、赤色（Ｒ）、緑色（Ｇ）、または青色（Ｂ）のいずれかのカラーフィルタを有する。カラーフィルタにより、画素２９のそれぞれがセンスする波長帯域（可視光領域においては、色）は、限定される。異なる色（波長帯域）にセンスする画素は、受光部において周期的に配置されている。３色のカラーフィルタの配列の様式は、所謂ベイヤ配列である。画素２９に蓄積された電荷は、撮像素子駆動部７（図１参照。）によって、１ラインごとに、左側の画素から順に出力される。例えば、先ず第１ラインＬ１の左端の画素Ｇ１から順に、Ｇ１、Ｒ１、Ｇ２、Ｒ２、．．．の順に蓄積電荷が読み出され、次に、第２ラインＬ２の左端の画素Ｂ１から順に、Ｂ１、Ｇ１、Ｂ２、Ｇ２、．．．の順に蓄積電荷が読み出される。読み出された電荷は、前信号処理部９で前処理が施され、ＡＤＣ１１においてデジタル画素信号に変換される。ＡＤＣ１１においては、各画素からの信号を１２ビットのデジタル画素信号に変換する。よって、ＣＯＤＥＣ１３には、それぞれ１２ビット長を有するデジタル画素信号（画素値データ）が、第１ラインＬ１の左端の画素、Ｇ１、からのデジタル画素信号から順に、画素Ｇ１、画素Ｒ１、画素Ｇ２、画素Ｒ２、．．．の順に入力される。第１ラインＬ１に含まれる画素からのデジタル画素信号の入力が終了すると、次に第２ラインＬ２に含まれる画素からのデジタル画素信号が同様にＣＯＤＥＣ１３に入力される。

＜コーデック１３の構成＞
図４は、本実施形態におけるＣＯＤＥＣ１３のブロック図である。これよりＣＯＤＥＣ１３の構成について、符号化および復号化される信号の流れに沿って概説する。ＣＯＤＥＣ１３の詳細な動作説明は、後文にてデジタル画素信号の値、即ち画素値に具体的な値を例示目的で用いて示す。

図４を参照すれば、ＣＯＤＥＣ１３は符号化部３１と復号化部３３に大別される。デジタルデータ符号化装置を構成する、符号化部３１は、ＡＤＣ１１からの出力を入力し、ＳＤＲＡＭ１５および復号化部３３にデータを出力することができる。デジタルデータ復号化装置を構成する、復号化部３３は、符号化部３１およびＳＤＲＡＭ１５からの出力を入力し、符号化部３１およびＹＣ処理部１７にデータを出力することができる。

＜符号化部３１における圧縮符号化処理＞
これより、図４および図５Ａを参照し、ＣＯＤＥＣ１３の符号化部３１における、画素値データ（デジタル画素信号値）の圧縮符号化にかかる処理について説明する。図５Ａは、圧縮符号化処理のフローチャートである。

ＡＤＣ１１の出力である各画素の画素値は、所定のタイミングで処理対象画素値入力部３５に入力される。本実施形態においては、各デジタル画素信号値（画素値データ）は１２ビット長のデジタルデータである。即ち、入力画素値データビット長ｄは、本実施形態においては１２である。

図４を参照すれば、入力部３５に入った画素値データは処理対象画素値として、初期画素値生成部４５と、差分生成部３７と、量子化処理部４７と、画素値記憶部３９とに送られる。

初期画素値生成部４５は、送られてきた処理対象画素値をｄ（＝１２）ビット長の初期画素値データとしてパッキング部５１に送る。パッキング部５１は、圧縮符号化画像データの生成を行う圧縮符号化画像データ生成部５１ａ、および、出力を行う圧縮符号化画像データ出力部５１ｂを有する。パッキング部５１の生成部５１ａは、送られてきた初期画素値データを圧縮符号化画像データに記録する必要があると判断すれば、圧縮符号化画像データに含めるように処理し、その画素値データを初期画素値データとして記録する必要がない場合には、送られてきた初期画素値を無視する。初期画素値は、画素の各色（Ｒ、Ｇ、Ｂ）について、１フレーム分の画像データ内に少なくとも１つあればよい。だが、本実施形態においては、後述するｓビット長のパッキングデータ毎に、各色の画素値について初期画素値データを少なくとも１つ記録する。あるパッキングデータについて、一切記録されない色の画素値については、初期画素値データを記録する必要はない。ここでは、初期画素値生成部４５は、実質的には何ら特別な処理をするものではなく、入力したデータをそのまま出力する。処理対象画素値を初期画素値データとしてパッキング部５１に入力する処理を明確化することを目的として初期画素値生成部４５は、図示されている。（図５Ａ、ステップＳ１０１およびＳ１０２。）

画素値記憶部３９は、複数の画素値データを一時記憶し、適切なタイミングで差分生成部３７、量子化処理部４７に出力する。これら記憶される画素値は、現在の処理対象画素値よりも先に画素値データとしてＣＯＤＥＣ１３に入力された、以前の処理対象画素値、および、先に圧縮符号化され、復号化部３３に送られ、復号化にかかる処理を受けて復号化された画素値、即ち復号化画素値データ、のいずれかである。記憶部３９は、記憶している複数の画素値データのうちから、現在の処理対象画素値と同色であって撮像素子の受光部において現在の処理対象画素値の出所である画素の近傍に位置する画素２９（図３参照。）の画素値データ、または、圧縮符号化処理を受け、さらに復号化された復号化画素値データを、所定のタイミングで近傍左方同色画素値として差分生成部３７に送る。この、近傍左方同色画素値は、通例、受光部において、現在の処理対象画素値の示す画素よりも左方にある。同一ラインで左方に同色の画素が存在しない場合には、上方のラインで近傍に存在する同色画素の画素値を近傍左方同色画素値として使用すればよい。記憶された画素値が存在しない場合には、所定の値を近傍左方同色画素値として出力するなどしてもよい。なお、本実施形態においては、処理対象画素に最近接した同色画素を、近傍に位置する同色画素として用いているが、最近接せずとも、近傍に位置する画素であれば、差分生成に用いてよい。

差分生成部３７は、入力部３５から送られてきた処理対象画素値と、記憶部３９から送られてきた近傍左方同色画素値との差分（＝処理対象画素値−近傍左方同色画素値）を生成する。（図５Ａ、ステップＳ１０３。）ただし、現在の処理対象画素値が、初期画素値として記録された場合、差分生成部３７における現在の処理対象画素値に対する処理は不要である。生成された差分の値は、画素差分値として差分量子化範囲決定部４１に送られる。

差分量子化範囲決定部４１は、差分生成部３７から送られる、各処理対象画素値に関する差分値の絶対値、即ち差分絶対値に基づき、各処理対象画素値の差分絶対値の「量子化範囲」を求める。この「量子化範囲」とは、差分絶対値を２進数で表現した数、差分絶対値（２進表記）、の桁数を指す。つまり、差分絶対値の符号つきもしくはなし整数バイナリ表現、即ち、差分値の符号なし整数バイナリ表現、に必要な桁数（ビット数）を意味する。量子化範囲は、ゾーン量子化幅決定部４３に送られる。（図５Ａ、ステップＳ１０４。）

ゾーン量子化幅決定部４３においては、後述する同一の「ゾーン」に含まれる別の画素、即ち第２画素、第３画素、第４画素等、の量子化範囲が、差分量子化範囲決定部４１より送られてくるのを待って、以下の処理を開始する。（図５Ａ、ステップＳ１０５。）ここで、「ゾーン」とは、近接する複数の所定数の画素で構成された画素の集合、（および、それら画素の画素値の集合、）を指す。「近接」する画素とは、ある画素に対し隣接するかまたは最も近い画素を指す。ゾーンに含まれる全ての画素は、同一のゾーンに含まれる他の画素のいずれかと隣接している。本発明によるＣＯＤＥＣ１３は、同一のゾーンに含まれる画素値を、後述する同一の「ゾーン量子化幅」、即ち量子化幅、に基づいて同一の量子化精度（量子化代表値間隔）で量子化する。１つのゾーンに含まれる画素の数は、本実施形態においては、４（ｐ＝４）である。ただし、ゾーンに含まれる画素の数、ｐ、は、４に限定されず、１以上受光素子総画素数以下の整数であればよい。また、画像１フレーム分の画素値に対する圧縮符号化において、ゾーンに含まれる画素の数ｐが可変であってもよい。初期画素値として使用される画素値データを出力した画素については、ゾーンに含まなくてよい。

量子化幅を決定するブロックである、ゾーン量子化幅決定部４３では、処理対象画素値の量子化の際の量子化係数もしくは量子化幅に関する情報、である、ゾーン量子化幅を決定する。（図５Ａ、ステップＳ１０６。）

「ゾーン量子化幅」は、同一のゾーンに含まれる画素値を量子化するときの量子化代表値の幅（間隔）についての情報を量子化処理部４７に伝えるためのデータと言うこともできる。このゾーン量子化幅は、０以上の整数値である。ゾーン量子化幅は、ゾーンに含まれる画素値の近傍左方同色画素値との差分値の最大値である最大画素値差に対応する量子化範囲に１を加えた値と、画素値データを圧縮符号化したデータのビット数ｎ、即ち「圧縮符号化画素値データビット数（ｎ）」との差に等しい。この「圧縮符号化画素値データビット数（ｎ）」は、所定の値であり、本実施の形態においては、この値、ｎ＝８である。これは、入力された処理対象画素値が１２ビット長のデータであるのに対し、その画素値に対応する圧縮符号化画素値データは、８ビット長を有するデータとして記録されることを意味する。ただし、この圧縮符号化画素値データのビット数ｎは、８に限定されない。また、画像１フレーム分の画素値に対する一連の圧縮符号化において、この値が可変であってもよい。また、上記演算の結果、ゾーン量子化幅が負の数になった場合、ゾーン量子化幅は、０とする。

ここで、「量子化代表値間隔」とは、整数値の量子化において同一の量子化値に含まれる元の整数値の個数と言うこともできる。例えば、ある整数値を表すデジタルデータの量子化に際し一切の丸めを行わない場合、量子化代表値間隔は、２の０乗＝１である。この場合、この整数値とその量子化値とは１対１の対応を保って量子化される。また量子化代表値間隔＝２の１乗＝２であるとは、整数値を表しているデジタルデータの量子化に際し、最下位１ビットが丸められることを意味する。この結果、２種類の整数値を表していた２種類のデジタルデータが、同一の量子化値に量子化される。また、量子化代表値間隔が、２の２乗＝４であるとは、整数値を表すデジタルデータの量子化に際し、整数値を表すデジタルデータの下位２ビットが丸められることを意味する。この結果、異なる４種類の整数値を表していた４種類のデジタルデータが、同一の量子化値に量子化される。下位３ビット以上を丸める場合も、同様である。

決定されたゾーン量子化幅は、量子化処理部４７と、クラス値符号生成部４９に送られる。

量子化幅情報データを生成するクラス値符号生成部４９は、送られてきたゾーン量子化幅に対応するｍビットの「クラス値」、即ち、量子化幅情報データ、をパッキング部５１に送る。本実施形態においては、ｍ＝２である。この「クラス値」は、各ゾーンに含まれる画素値データの量子化における量子化係数（量子化によって丸められるビット数）を示すデータであって、圧縮された画素値データである圧縮符号化画素値データと共にパッキング部５１で処理され、記録される。（図５Ａ、ステップＳ１０７。）

図４に戻り、量子化処理部４７は、送られた処理対象画素値、近傍左方同色画素値、ゾーン量子化幅、に基づいて量子化を行い、結果を処理対象画素値の圧縮値である圧縮符号化画素値データとしてパッキング部５１に送る。（図５Ａ、ステップＳ１０８。）

量子化処理部４７は、
量子化参照値を決定する量子化参照値決定部４７ａと、
画素値データと量子化参照値からオフセット候補値またはオフセット候補値を設定するオフセット値設定部４７ｂと、
ゼロ以下のオフセット（候補）値から、ゼロ値を有するオフセット値を設定するオフセットゼロ設定部４７ｅと、
実際に量子化する値である被量子化処理値を設定する被量子化処理値設定部４７ｃと、
被量子化処理値を量子化する量子化部４７ｄと、を含んでいる。量子化処理部４７における処理は、以下に記す処理例を用いて詳述する。

パッキング部５１は、入力された各種データ、即ち、圧縮符号化データ群、を複数集めて適当なサイズにパッキングする機能（生成部５１ａ）を有し、また、パッキングされたデータをＳＤＲＡＭ１５と、アンパッキング部５３に出力する機能（出力部５１ｂ）を有する。また、パッキングせずに、各データをそのまま出力することも可能である。本実施形態では、圧縮符号化画像データであるパッキングデータの大きさは、ｓビットである。ｓ（ｓ：自然数）は、例えば８の整数倍（８、１６、・・・、６４、・・・、９６等）である。パッキングデータの後部において、有意なデータを記録することに使用することができない程度の小さな未使用ビットが残存する場合、所定のダミーデータを記録すればよい。

＜復号化部３３における復号化処理＞
圧縮符号化画像データを入力するブロックであるアンパッキング部５３は、パッキング部５１から送られた、パッキングデータもしくはパッキングされていないデータ、および、ＳＤＲＡＭ１５から送られたパッキングデータを解析し、パッキングデータは、初期画素値データを含む初期画素値データ部、クラス値を含む量子化幅情報データ部、圧縮符号化画素値データを含む圧縮符号化画素値データ部に分離され、さらに各データ部は、１つまたは複数のデータに分離され、各データは逆量子化処理部５５へ送られる。

逆量子化処理部５５は、
初期画素値データまたは復号化された画素値データと、量子化参照値とを用いてオフセット値を設定するオフセット値設定部５５ａと、
圧縮符号化画素値データを逆量子化して逆量子化画素値データを求める逆量子化部５５ｂと、
画素値データまたは復号化された画素値データと、逆量子化画素値データとを用いて復号化画素値データを生成する復号化画素値生成部５５ｃと、
ゼロ以下のオフセット値またはオフセット候補値を、ゼロに設定するオフセット値ゼロ設定部５５ｄと、
量子化幅を設定する量子化幅設定部５５ｅと、
量子化参照値を設定する量子化参照値設定部５５ｆと、を含んでいる。

逆量子化処理部５５は、送られてきた各種データを用いて、圧縮符号化画素値データを、量子化処理部４７と逆の処理を行って逆量子化して逆量子化画素値データを求め、逆量子化画素値データをさらに処理することで復号化された復号化画素値データを得る。復号化画素値データ（本実施形態においては１２ビット長データ）は、出力部５７に送られる。初期画素値データは、１２ビット長の実データとして送られてくるため、そのまま、出力部５７に送られる。

出力部５７は、送られてきた初期画素値データ、復号化画素値データ、をＹＣ処理部１７や、画素値記憶部３９に送る。画素値記憶部３９では、送られてきた復号化画素値データを、別の処理対象画素値の差分生成処理および量子化に用いることができる。

＜圧縮符号化処理例＞
これより、処理対象画素値等に具体的数値を与え、図５Ｂ、図６、および、図７を参照し、本実施形態のＣＯＤＥＣ１３における圧縮符号化処理、および、復号化処理を詳細に説明する。図５Ｂは、図５ＡのステップＳ１０８にかかる処理の詳細を示すフローチャートである。

ＡＤＣ１１より所定のタイミングで、処理対象画素値入力部３５に、１２ビットデータが入力される。画素Ｇ１の画素値ｇ１が先ず入力され、次に、画素Ｒ１の画素値ｒ１が入力され、同様に、ｇ２、ｒ２、ｇ３、ｒ３、・・・と入力される。１回の撮像において、各色について最初に入力される画素値（本例においては、ｇ１、ｒ１）は、初期画素値生成部４５に送られ、初期画素値データとして処理され、パッキング部５１に送られることが望ましい。初期画素値は、実データのまま記録され、差分生成処理、量子化処理は行われない。ただし、次の同色画素の画素値データを圧縮符号化処理する際に必要なため、量子化処理部４７および画素値記憶部３９に送られ一時的に記憶される。また、所定の画素数間隔で処理対象画素値のデータを初期画素値データとして処理すれば、量子化による誤差の蓄積をリセットする効果が期待され、入力画像に対する再生画像のＳＮ比の改善が期待される。

本実施形態は、１つのゾーンに、４つの画素を含むように構成されている（すなわちｐ＝４）。初期画素値データとして取り扱われる画素値ｇ１、ｒ１は、そのままパッキング部５１に送られ、パッキングデータに、それぞれ１２ビット幅のデータとして記録される。次に、画素Ｇ２、Ｒ２、Ｇ３、Ｒ３が第１のゾーンに含まれる画素として取り扱われる。第２、第３のゾーンについても同様である。

次に第１ゾーンに含まれる画素の画素値ｇ２、ｒ２、ｇ３、ｒ３に関する処理を説明する。画素値ｇ１、ｒ１、ｇ２、ｒ２、ｇ３、ｒ３には、下表（表１）に記す値を具体値例として用いる。
表１

画素値ｇ２を処理対象画素値とし、ｇ２を、量子化処理部４７、差分生成部３７、画素値記憶部３９に送る。このとき、画素値記憶部３９からは画素値ｇ１が近傍左方同色画素値として差分生成部３７に送られ、両画素値から差分値が求められる。つまり、このときの差分値をΔｇ２とすれば、
Δｇ２＝ｇ２−ｇ１
である。この差分値Δｇ２は、差分量子化幅決定部４１に送られる。
この差分生成処理を一般化すれば、
Δｃｉ＝ｃｉ−ｃ（ｉ−１）、（ｃは、画素の色を示し、ｃ：ｒ、ｇ、または、ｂであり、ｉは、画素の順番を示す整数である。）となる。ｃｉは、処理対象画素値であり、ｃ（ｉ−１）は、近傍左方同色画素値であって、画素値記憶部に記憶された、以前に入力された処理対象画素値、または、一旦圧縮符号化処理され、復号化された、復号化画素値データである。ｉ＝１の場合のように、添え字「ｉ−１」の示す画素値データが存在しない場合、撮像素子の受光部において、処理対象の画素の上方近傍に位置する画素の画素値データを用いるなどしてもよい。本例では、以前に入力された処理対象画素値を近傍左方同色画素値として用いる。第２ゾーン以降のゾーンに含まれる画素値の差分生成において、復号化画素値データを近傍左方同色画素値として用いることも可能である。

同様にして、処理対象画素値ｒ２に関する差分値Δｒ２、処理対象画素値ｇ３に関する差分値Δｇ３、処理対象画素値ｒ３に関する差分値Δｒ３が求められる。処理対象画素値ｇ３については、画素値記憶部３９に記憶された画素値ｇ２との差分値がΔｇ３となる。

差分量子化幅決定部４１は、送られてきた各差分値の絶対値、即ち差分絶対値、を求め、差分絶対値を２進数表記した場合の桁数、即ち量子化範囲（必要ビット数、ｂｉｔ（））、を求める。

Δｇ２については、差分値が＋１００であるため、差分絶対値はそのまま、１００となり、１０進数１００は、２進数では、１１００１００となる。そのため、必要ビット数ｂｉｔ（｜Δｇ２｜）は、７となる。本明細書において、これ以降、１０進数Ｘは、＆Ｄ（Ｘ）と表記し、２進数Ｙは、＆Ｂ（Ｙ）と表記する。同様に得られた４つの量子化範囲（ｂｉｔ（｜Δｇ２｜）、ｂｉｔ（｜Δｒ２｜）、ｂｉｔ（｜Δｇ３｜）、ｂｉｔ（｜Δｒ３｜））は、ゾーン量子化幅決定部４３に送られる。

差分量子化幅決定部４１における処理を一般化すれば、差分値の絶対値、即ち差分絶対値、を求め、２進数で表記された差分絶対値の桁数を量子化範囲としてゾーン量子化幅決定部４３に出力する、となる。

ゾーン量子化幅決定部４３は、第１のゾーンに含まれる画素の画素値に関するそれぞれの量子化範囲の入力を待って、ゾーン量子化幅を求める。

ゾーン量子化幅は、そのゾーンに含まれる画素の量子化範囲の最大値に１をプラスした値と、圧縮符号化画素データビット数との差に等しい。但し、負の数になった場合は、ゼロとする。すなわち、ゾーン量子化幅は、そのゾーンに含まれる画素と近傍左方同色画素値との差分絶対値中の最大値である最大画素値差に基づいて決定される。

本実施形態においては、画素値データは、８ビット長の圧縮符号化画素値データに圧縮符号化されるので、圧縮符号化画素値データビット数ｎ＝８である。よって、ゾーン量子化幅は、２（＝９＋１−８）となる。

ゾーン量子化幅決定部４３は、ゾーン量子化幅を決定すると、ゾーン量子化幅を量子化処理部４７、クラス値符号生成部４９に送る。

量子化処理部４７においては、送られた処理対象画素値と近傍左方同色画素値との差分値に基づく値である「被量子化処理値」を、ゾーン量子化幅に基づいて量子化する。

第１のゾーンのゾーン量子化幅は、２である。ゾーン量子化幅と、量子化処理部において実行される量子化の精度および量子化代表値の間隔との間には相関関係が存在し、ゾーン量子化幅が増大するにつれ、量子化代表値の間隔も増大する関係にある。本発明は、同一のゾーンに含まれる画素値から量子化処理すべき値を求めている。量子化の精度は高いことが望まれる（量子化代表値の間隔は狭いことが望まれる）が、量子化すべき値が大きな値の場合、量子化の精度を下げて、量子化すべき値を所与のビット長を有する符号に変換する必要が生じる。その場合には、量子化の精度を下げ、すなわち量子化代表値の間隔を拡大する。ゾーン量子化幅は、可能な量子化精度に関する指標となる。ゾーン量子化幅と量子化の精度（または、量子化代表値の間隔）との関係は、所望の符号のビット長との関係を考慮し、決定すればよい。

本例においては、量子化代表値間隔を４として、つまり、被量子化処理値の下位２ビットを丸め、８ビット長の圧縮符号化画素値データを求める。

本発明のＣＯＤＥＣ１３においては、差分値をそのまま量子化するのではなく、処理対象画素値と、その近傍左方同色画素値を基に、先ず「被量子化処理値」を算出し、その被量子化処理値を量子化し、その値を圧縮符号化画素値データとして出力する。

本例における処理対象画素値、差分値、圧縮符号化画素値データと、処理過程において使用する値とを共に表２に示す。
表２

先ず、画素Ｇ２の画素値データの圧縮符号化画素値データの算出を例に量子化処理を説明する。第１のゾーンの量子化幅は、４である。（データの下位２ビットを丸めることにより、１０ビット長データから８ビット長データを得る。よって、１２ビット長の画素値に関するデータは、２ビット分丸められて１０ビット精度で量子化される。）この場合、「量子化参照値」（＝２の（量子化精度−１）乗）は、５１２となる（図５Ｂ、ステップＳ１０８ａ）。すなわち、「量子化参照値」は、最大画素値差に基づいて決定されるゾーン量子化幅により定まる量子化精度から一意に求まる。つまり、量子化参照値は、最大画素値差に基づいて決定される。なお、量子化参照値は、最大画素値差以上の値であればよい。次に、画素値ｇ２の近傍左方同色画素値である画素値ｇ１から、この量子化参照値を差し引き、「オフセット候補値」を得る（図５Ｂ、ステップＳ１０８ｂ）。オフセット候補値の符号を調査し、符号が非負である場合、オフセット候補値をそのまま「オフセット値」とする。オフセット候補値が負であれば、オフセット値は、０とする（図５Ｂ、ステップＳ１０８ｃ、Ｓ１０８ｄ、Ｓ１０８ｅ）。次に、処理対象画素値ｇ２からオフセット値を差し引いて「被量子化処理値」とする（図５Ｂ、ステップＳ１０８ｆ）。この処理は、差分値Δｇ２と量子化参照値の和を、「被量子化処理値」とする、と換言することもできる。この値は、画素Ｇ２では、＆Ｂ（００１１１００１００）である。この被量子化処理値の下位２ビットを丸め、量子化値（圧縮符号化画素値データ）、＆Ｂ（００１１１００１）を得る（図５Ｂ、ステップＳ１０８ｇ）。丸められるビット中の最上位のビットが「１」であれば、丸められないビット中の最下位ビットに「１」を加算した値を圧縮符号化画素値データとする。「１」の加算により繰り上がりが生じる場合には、当然、その他のビットも変化する。なお、オフセット候補値が負となった場合、オフセット候補値を、オフセット候補値の下位ｒビットを除き、その他のビットをゼロにして得られる値としてもよい。ここで、ｒは、量子化で丸められるビット数に等しい。例えば、ゾーン量子化幅が４の場合、量子化において２ビットの丸めが行われるので、下位２ビットを除いてゼロにした値、＆Ｂ（００００００００１０）、をオフセット値として以降の処理を行ってもよい。その場合、画素Ｒ２の被量子化処理値は、＆Ｄ（４８）となる。

次に、画素Ｒ２の画素値ｒ２の量子化を例に説明する。ｒ２の近傍左方同色画素値は、ｒ１である。よって、オフセット候補値は、−２６２となる。オフセット候補値が負になった場合、オフセット値は、０である。そのため、被量子化処理値は、画素値ｒ２の上位２ビットを取った１０ビット長の画素値ｒ２そのものとなり、その値は、＆Ｂ（００００１１００１０）である。この被量子化処理値の下位２ビットを丸め、量子化値（圧縮符号化画素値データ）＆Ｂ（００００１１０１）を得る。同様にして、画素Ｇ３の画素値ｇ３の圧縮符号化画素値データ＆Ｂ（０００１１１００）および画素Ｒ３の画素値ｒ３の圧縮符号化画素値データ＆Ｂ（０００１１００１）を得る。

図６および図７を参照し、量子化処理部４７の処理で使用した各量、処理過程を示す。図６は、本例で用いた画素値、ｇ１、ｒ１、ｇ２、ｒ２、ｇ３、ｒ３と諸量の関係をプロットしたグラフである。画素値は、１２ビットデータとして与えられる、０以上４０９５以下の整数値である。画素値ｇ２の量子化においては、画素値ｇ１と量子化参照値に基づいて、ｇ２のオフセット値を求め、画素値ｇ２からｇ２のオフセット値を差し引いた値を、ｇ２の被量子化処理値とする。また、ｇ２の被量子化処理値は、量子化参照値と差分値Δｇ２の和に等しい。よって、画素値ｇ１および画素値ｇ２を用いずとも、ｇ２の被量子化処理値を求めることは可能である。画素値ｒ２およびｒ３の量子化においては、オフセット値は０となる。そのため、ｒ２およびｒ３の被量子化処理値は、画素値ｒ２に等しい。画素値ｇ３の量子化においては、画素値ｇ２と量子化参照値に基づいて、ｇ３のオフセット値を求め、画素値ｇ３からｇ３のオフセット値を差し引いた値をｇ３の被量子化とする。このｇ３の被量子化値も、量子化参照値と差分値Δｇ３の和に等しい。そのため、画素値ｇ２および画素値ｇ３を用いずとも、ｇ３の被量子化処理値を求めることは可能である。

図７は、画素値ｇ２を例に、量子化処理の詳細について例示するグラフである。全ての画素値の被量子化処理値は、０以上、量子化参照値の２倍（本例においては、＆Ｄ（１０２４））以下の値である。量子化において、ｇ２の被量子化処理値は、量子化幅４で丸められる。そのため、ｇ２の量子化値は、＆Ｄ（１５３）となる。この値を、２進数８ビットで表した値、＆Ｂ（００１１１００１）が、画素Ｇ２に関する、圧縮符号化画素値データとなる。参考までに、被量子化処理値の丸めにかかる切り上げと切り捨ての例を図７に示している。例えば、被量子化処理値が、＆Ｄ（６０２）から＆Ｄ（６０５）であれば、量子化値は＆Ｄ（１５１）となり、また、被量子化処理値が、＆Ｄ（５９８）から＆Ｄ（６０１）であれば、量子化値は＆Ｄ（１５０）となる。このように、丸められるビット中の最上位ビットが「１」であれば、切り上げられ、「０」であれば、切り捨てて丸められる。なお、量子化処理部４７における量子化に際し、単純なビットシフト（丸められるビットは全て切り捨て）を行ってもよい。

上記のように求めた、各画素値の量子化値は、８ビット長の圧縮符号化画素値データとしてパッキング部５１に送られ、パッキングデータの生成（図５Ｂ、ステップＳ１０８ｈ）およびパッキングデータの出力（図５Ｂ、ステップＳ１０８ｉ）に供される。第２のゾーン以降に含まれる画素値は、パッキング部５１から復号化部３３に送られて復号化された復号化画素値データを画素値記憶部３９に送って記憶すること、および、量子化処理部４７に同データを送ること、により近傍左方同色画素値として量子化処理に使用することができる。

＜クラス値符号生成部４９におけるクラス値符号の生成＞
クラス値符号生成部４９においては、送られたゾーン量子化幅に基づき、クラス値を、ｍビット長のデータとして、パッキング部５１に送る。本実施形態においては、ｍ＝２である。ゾーン量子化幅が２であれば、それに対応する２ビット長のクラス値データがパッキング部５１に送られる。クラス値データのビット長さｍは、２に限定されない。本実施形態においては、４種類のクラス値を使用するため、ｍ＝２としているに過ぎない。より多くの種類のクラス値を必要とする場合には、ｍをより大きな整数値とすればよい。このクラス値は、量子化の精度（または量子化代表値の間隔）に関するインデックスである。

＜パッキング部５１におけるデータのパッキング＞
パッキング部５１に送られた初期画素値データ、圧縮符号化画素値データ、および、量子化幅情報データであるクラス値データは、即座にアンパッキング部５３に送られ、復号化部３３において復号化され、後続の処理対象画素値の圧縮符号化に用いることができる。また、ＳＤＲＡＭ１５に対しては、ＳＤＲＡＭ１５とのアクセス単位（例えば３２ビット）の整数倍である、ｓビットにデータ幅を調整し、ｓビット長のパッキングデータとしてＳＤＲＡＭ１５にデータを送ることができる。

ここでは、主にＳＤＲＡＭ１５とのアクセスを考慮したデータのパッキングに関し、説明する。

１つのパッキングデータは、ｓビット長である。このビット長ｓは、８の整数倍であることが好ましい。

本実施形態では、各パッキングデータに、各色画素について少なくとも１つの画素値を、初期画素値データとして記録する。本例では、画素値ｇ１およびｒ１について、初期画素値データとして、ｄ（ｄ＝１２）ビット長のＣＯＤＥＣ１３に入力された画素値データがそのまま記録される。パッキングデータには、ゾーン量子化幅を示す、ｍ（ｍ＝２）ビット長のクラス値も記録され、さらに、そのゾーンに含まれる画素の圧縮符号化画素値データが、ｎ（ｎ＝８）ビット長のデータとして記録される。１つのゾーンに含まれる画素数ｐは、ｐ＝４としているので、画素Ｇ２、Ｒ２、Ｇ３、Ｒ３の圧縮符号化画素値データが、それぞれ８ビット長データとして記録される。さらに、次のゾーンのクラス値およびそのゾーンに含まれる画素の圧縮符号化画素値データを記録することもできる。

上記各種データは、トータルのデータ長が、ｓビットを超えないように１つのパッキングデータにまとめられる。パッキング処理でトータルデータ長がｓビットにならない場合、余ったビットには、所定のダミーデータを追加し、ｓビットのパッキングデータを作成すればよい。パッキングデータは、ＳＤＲＡＭ１５に送られ、記憶される。

本実施形態において、各パッキングデータで、各色画素について最初に記録される画素値データを、初期画素値データとして記録するのは、圧縮符号化データを読み出す際の利便性の向上を図るためである。ＳＤＲＡＭ１５に記録された画像１フレーム分の圧縮符号化画像データからデータを読み出す場合であって、読み出したいデータが、画像１フレームを構成する画素値のデータの一部分のみである場合、上記のように記録しておけば、読み出したい画素のデータが含まれる近傍のデータを、ｓビット分読み出すことで、必要とする画素値の復号化が可能である。よって、画像１フレームを構成する画素データを全て読み出す必要がなくなり、処理の高速化および省電力化が期待できる。

前段に記載の効果よりも、圧縮符号化画像データの圧縮率を優先する場合には、初期画素値データとして記録する画素値データの頻度を低くすればよい。この場合、１つのパッキングデータに必ずしも初期画素値データが記録されることを必要としない。また、圧縮率の向上のためには、１つのゾーンに含まれる画素の数ｐを、より大きく設定することも有効な場合がある。そうすることで、クラス値データの出現頻度を低下させることができる。また、圧縮符号化画素値データのビット長ｎを、より小さく設定することも有効である。

なお、量子化幅を一定として処理することも可能である。この場合、量子化幅を示すクラス値データは、記録されずともよい。

＜復号化部３３における復号化＞
図８Ａおよび図８Ｂは、復号化にかかる処理のフローチャートである。図８Ｂは、図８ＡにおけるステップＳ２０６にかかる処理の詳細を示すフローチャートである。これより、図８ＡおよびＢを参照し、復号化部３３における圧縮符号化されたデータの復号化処理について説明する。アンパッキング部５３は、パッキング部５１から個別に送られる、各種データ即ち初期画素値データ、圧縮符号化画素値データ、および、クラス値、ならびに、ＳＤＲＡＭ１５から、入力されるパッキングデータ、即ち圧縮符号化画像データ、を入力し、パッキングデータについては、パッキングデータを個々のデータに分離する（図８Ａ、ステップＳ２０１。）。分離した、各種データは、所定のタイミングでアンパッキング部５３から逆量子化処理部５５に送られる。

逆量子化処理部５５に送られたデータは、量子化処理部４７における処理とは逆の処理を行い、圧縮符号化画素値データから、復号化画素値データを算出し、出力部５７に送る。具体的には、初期画素値データは、そのまま、ｄ（＝１２）ビットのデータとして出力部５７に送られる（図８Ａ、ステップＳ２０２およびＳ２０３。）。また、このデータは、後の処理で用いられるため、一時記憶される。量子化幅情報データであるクラス値のデータは、後続の圧縮符号化画素値データの復号化処理で用いるために一時記憶される（図８Ａ、ステップＳ２０４およびＳ２０５。）。ステップＳ２０６においては、復号化処理が行われ、復号化画素値データが生成される。クラス値データより量子化幅および量子化参照値を求め（図８Ｂ、ステップＳ２０６ａおよびＳ２０６ｂ）る。そして、先に処理された初期画素値データ、または、復号化画素値データと、量子化参照値との差であるオフセット候補値を求め（図８Ｂ、ステップＳ２０６ｃ）、オフセット候補値がゼロ以下の場合には、オフセット値をゼロに設定する（図８Ｂ、ステップＳ２０６ｄ、Ｓ２０６ｅ、Ｓ２０６ｆ）。圧縮符号化画素値データは、クラス値の示すゾーン量子化幅に基づいて、ビットシフト（逆量子化）されて逆量子化画素値データになり（図８Ｂ、ステップＳ２０６ｇ）、先に処理された初期画素値データ、または、復号化画素値データと、クラス値より求める量子化参照値との差であるオフセット値と逆量子化画素値データとの和を求めることにより、ｄ＝１２ビットの画素値に復号し（図８Ｂ、ステップＳ２０６ｈ）、復号化画素値データとして出力部５７に送られる（以上、図８ＡステップＳ２０６）。但し、量子化処理部４７においては、量子化の際に、切り上げ、または、切り捨てを行ったが、逆量子化処理部５５では、単純なビットシフトのみを行うようにしてもよい。

得られた復号化画素データは、それぞれ所定のタイミングで、符号化部３１、および、ＹＣ処理部１７に送られる。

量子化幅を一定に保って、量子化処理を行う場合、クラス値データは不要であり、この場合、復号化処理も所与の量子化幅で一様に復号化処理を行えばよい。

なお、本実施形態は、ベイヤ配列を有する撮像素子を用いているが、他の配列を有する撮像素子、例えば、原色縦ストライプ配列、ＲＧＢＲＧＢＲＧＢ・・・、を有する撮像素子と組み合わせて本発明によるＣＯＤＥＣを使用することもできる。また、撮像素子のセンサ（画素）配列が、補色市松配列、例えば、ＣｙＹｅＣｙＹｅＣｙＹｅ・・・、を有する場合にも、本発明によるＣＯＤＥＣを適用することができる。撮像素子の受光部における画素の配列様式に関わらず、本発明によるＣＯＤＥＣを使用することができる。画素配列が正方格子配列である場合は言うに及ばず、画素の配列様式がハニカム状配列である場合であっても、本発明によるＣＯＤＥＣを使用することができる。

＜実施の形態２＞
＜量子化による誤差のフィードバック処理を追加したＣＯＤＥＣ＞
本実施形態は、ＣＯＤＥＣにおける画素値データの量子化においてしばしば生じる誤差（画素値データと、その画素値データを圧縮符号化処理しさらに復号化処理を行うことで得られる復号化画素値データとの差）を、低減する誤差フィードバック処理を有するＣＯＤＥＣ１１３を備えたデジタルスチルカメラ（ＤＳＣ）である。

本実施形態のＤＳＣは、ＣＯＤＥＣ１１３における処理を除き、第１の実施形態によるＤＳＣ１と同一である。図１を参照すれば、本実施形態によるＤＳＣには、ＣＯＤＥＣ１３の代りにこれより説明するＣＯＤＥＣ１１３が実装されていると考えてよい。よって、ここでは、ＣＯＤＥＣ１１３の構成および処理について説明する。特に記載の無い部分については、第１の実施形態と同一と考えてよい。

図９に、本実施形態にかかるＣＯＤＥＣ１１３のブロック図を示す。第１の実施形態にかかるＣＯＤＥＣ１３との違いは、符号化部３１において、誤差検出部５９、係数乗算部６１、整数化部６３、および、誤差補正部６５が追加された点、ならびに、復号化部３３の出力部５７の出力が、誤差検出部５９、および、量子化処理部４７に入力される点である。

これより、ＣＯＤＥＣ１１３における誤差フィードバック処理について説明する。ここでは、具体例として画素Ｒ３の画素値ｒ３の量子化における誤差フィードバック処理を扱う。

第１の実施形態と共通する処理だが、ＡＤＣ１１から処理対象画素値入力部３５へ、画素値ｒ３が入力される。画素値ｒ３は、圧縮符号化処理を受けて圧縮符号化画素値データとして記録される画素値データであるため、差分生成部３７へ送られる。同時に記憶部３９からは、処理対象画素値ｒ３の近傍左方同色画素値である画素値ｒ２が差分生成部３７に送られ、差分値Δｒ３＝ｒ３−ｒ２が求められ、画素Ｒ３の差分量子化範囲が求められ、ゾーン量子化幅決定部４３において画素Ｒ３と同一のゾーンに含まれる画素の差分量子化範囲に基づいてゾーン量子化幅が決定され、量子化処理部４７に送られる。

量子化処理部４７における画素値ｒ３の量子化には、上記ゾーン量子化幅の他に、処理対象画素値ｒ３、および、近傍左方同色画素値ｒ２、が必要である。本実施形態においては、処理対象画素値ｒ３は、誤差補正部６５において処理された、誤差補正処理対象画素値Ｃｒ３として、量子化処理部４７に入力される。また、画素値ｒ３の量子化で使用される近傍左方同色画素値には、復号化画素値が用いられる。

ここで表２を参照すれば、画素値ｒ２は＆Ｄ（５０）である。それに対し復号化画素値は＆Ｄ（５２）となっている。量子化に際し近傍左方同色画素値として復号化画素値を用いる本実施形態のＣＯＤＥＣ１１３では、先行する画素の画素値の量子化において生じた誤差が、後続の同色画素の画素値の量子化に影響を及ぼす。この影響を軽減することを目的として、以下に記す、ＣＯＤＥＣ１１３の誤差フィードバック処理は、実施される。

復号化部３３の出力部５７から出力された復号化画素値は、符号化部３１の誤差検出部５９に送られる。誤差検出部５９には、記憶部３９に記録されている画素値ｒ２もタイミングを合わせて入力され、誤差が算出される。ここで、画素値ｒ２（真値）と、復号化画素値の誤差Ｅｒ２は、真の画素値と復号化画素値との差分により求められる。つまり、Ｅｒ２＝（真の画素値）−（復号化画素値）＝（−２）である。

画素値ｒ２に対する誤差Ｅｒ２は、係数乗算部６１に送られ、誤差に係数αを乗じた値、α×Ｅｒ２（＝αＥｒ２）が求められる。係数αは、実験により得られた値を用いることができる。

本例では、αは、簡単のため０．５０とする。よって、本例では、αＥｒ２は、（−１．００）である。一般に、αは実験により求める実数値であるため、αが乗じられた誤差αＥｒ２には、小数部が現われる。そこで、整数化部６３は、実数値αＥｒ２を整数化し、その整数値を誤差補正値とする。整数化部６３における整数化処理は、一般的な処理であってよい。例えば、小数部の切り捨て、小数部第１位の四捨五入、小数部の切り上げ、等が用いられる。本例では、誤差補正値は、（−１）となる。

次に誤差補正部６５における処理について説明する。誤差補正部６５には、処理対象画素値ｒ３と、画素値ｒ３のための誤差補正値、（−１）、が入力される。ここで、誤差補正値は、処理対象画素値に負帰還として与えられる。つまり、誤差補正処理対象画素値Ｃｒ３は、処理対象画素値から誤差補正値を差し引いた値に等しい。つまり、Ｃｒ３＝ｒ３−（−１）＝ｒ３＋１、となる。誤差補正処理対象画素値Ｃｒ３は、量子化処理部４７に入力され、復号化画素値Ｄｒ２、ゾーン量子化幅に基づいて、量子化され、圧縮符号化画素値データとしてパッキング部５１に出力される。

量子化処理部４７における処理は、第１の実施形態と同様でよい。ゾーン量子化幅は、処理対象画素値と記憶部３９に記憶された、誤差を含まない近傍左方同色画素値との差分値に基づいて決定された値を用い、処理対象画素値には、誤差補正部６５で補正された誤差補正処理対象画画素値が用いられ、量子化処理部４７における近傍左方同色画素値には、圧縮符号化処理されさらに複合化処理を受けた復号化画素値データが用いられる。

＜実施の形態３＞
＜分布比率に基づき変動する可変圧縮符号化画素値データビット長の利用＞
本実施形態は、ＣＯＤＥＣにおいて、画素値データの圧縮符号化値である圧縮符号化画素値データのビット長（圧縮符号化画素値データビット数）を実際に撮像される被写体の特性に応じて変更・最適化し、それによりさらに圧縮効率を高めたＣＯＤＥＣ２１３を備えたデジタルスチルカメラ（ＤＳＣ）である。本実施形態のＤＳＣは、ＣＯＤＥＣ２１３における処理を除き、第１および第２の実施形態によるＤＳＣ１と同一である。図１を参照すれば、本実施形態によるＤＳＣには、ＣＯＤＥＣ１３の代りにこれより説明するＣＯＤＥＣ２１３が実装されていると考えてよい。よって、ここでは、ＣＯＤＥＣ２１３の構成および処理について説明する。特に記載の無い部分については、第１および第２の実施形態と同一と考えてよい。本実施形態のＣＯＤＥＣ２１３は、撮像指示が出た瞬間（操作者によってシャッターボタンが押された瞬間）までに撮像素子に入射した被写体に関する光学的情報に基づき、最適化圧縮符号化画素値データビット数、および、量子化幅、等を決定する最適化圧縮符号化画素値データ数等決定処理を行う。以下に、ＣＯＤＥＣ２１３の構成、および、処理について説明する。

＜ＣＯＤＥＣ２１３の構成＞
図１０に、本実施形態にかかるＣＯＤＥＣ２１３のブロック図を示す。第１および第２の実施形態にかかるＣＯＤＥＣ１３および１１３との違いは、符号化部３１においては、差分量子化範囲抽出部６７、および、分布比率解析部６９が追加された点である。その他の構成は、ＣＯＤＥＣ１３またはＣＯＤＥＣ１１３の構成と同一であってよい。つまり、図９においては、上記相違点を除いてＣＯＤＥＣ１３と同様の構成をＣＯＤＥＣ２１３は有するように示されているが、上記相違点を除いてＣＯＤＥＣ１１３と同様の構成を有してもよい。

差分量子化範囲抽出部６７は、差分量子化範囲決定部４１からの出力、即ち、各画素差分値の量子化範囲を入力し、一時記憶する。抽出部６７に記憶された複数の量子化範囲は、所定のタイミングで、分布比率解析部６９に出力される。

分布比率解析部６９は、入力した、画像１フレーム分に相当する間引かれた画素の量子化範囲を解析し、最適化圧縮符号化画素値データビット数を決定する。決定された最適化圧縮符号化画素値データビット数（ｔ［ビット］）は、量子化処理部４７およびクラス値符号生成部４９に送られる。

量子化処理部４７においては、ｔビット長の圧縮符号化画素値データを生成する。クラス値符号生成部４９においては、ゾーン量子化幅決定部４３より入力するゾーン量子化幅と最適化圧縮符号化画素値データビット数とを表すｍビットのクラス値符号を生成し、パッキング部５１に出力する。本実施形態におけるクラス値は、最適化圧縮符号化画素値データビット数も含むようにして予め定められる変換規則に基づいて生成されればよい。

＜ＣＯＤＥＣ２１３における最適化圧縮符号化画素値データビット数等決定処理＞
ＤＳＣ１は、「モニタ」モードなる動作モードを有する。この、モニタモードとは、操作者が、被写体を決定し、シャッターチャンスを待つために、撮像素子５に入射する光情報（即ち被写体像）を、例えば、表示部２７に表示するモードである。ＤＳＣ１は、モニタモードにおいては、撮像素子５の全画素の蓄積電荷を引き出し、引き出された全ての蓄積電荷について信号処理を行う代りに、所定比率の画素についてのみ処理を行う。この撮像素子駆動モードを、ドラフトモード、または、間引きモードと呼んでいる。即ち、ＤＳＣ１は、モニタモードにおいては、撮像素子５をドラフトモードで駆動する。ＤＳＣ１は、操作者によるシャッターボタン操作に呼応して、撮像素子駆動モードをドラフトモードから全画素駆動モードに切替えて撮像を行う。

モニタモードにおいては、ＣＯＤＥＣ２１３には、ドラフトモードで、つまり、間引かれた数の画素値が入力される。画素の間引きは、所定のパターンで行われるため、ドラフトモードにおける、処理対象画素値に対する近傍左方同色画素値も、撮像時とは異なるが、所定の規則に従って定めることができる。差分生成部３７においては、このようにして定められる、処理対象画素値に対する近傍左方同色画素値を用いて各処理対象画素値に対し差分値を算出し、差分量子化範囲決定部４１は、各処理対象画素値に対する差分量子化範囲を決定する。決定された差分量子化範囲は、差分量子化範囲抽出部６７に送られる。

差分量子化範囲抽出部６７は、一時記憶する各処理対象画素値に対する差分量子化範囲から、最近の画像１フレーム分の差分量子化範囲を分布比率解析部６９に送る。

＜分布比率解析部６９における処理＞
分布比率解析部６９は、送られてきた差分量子化範囲を解析し、最適化圧縮符号化画素値データビット数を決定する。

最適化圧縮符号化画素値データビット数とは、撮像された画像を圧縮符号化データとしてＳＤＲＡＭ１５に記録するためにＣＯＤＥＣ２１３で生成される圧縮符号化画素値データのビット長である。第１および第２の実施形態においては、このビット長ｎは、８ビットに固定されている。しかしながら、被写体像によっては、８ビット長よりも短いビット長で十分な画像品質を得ることができる場合がある。そのため、本実施形態においては、モニタモード中に取り込まれる被写体情報に基づいて、最適なビット長を決定する。

先ず、分布比率解析部６９は、最近の被写体の画像１フレーム分の差分量子化範囲を解析し、差分量子化範囲の出現分布を求める。そして、例えば、差分量子化範囲の分布比率が、（ｎ−１（＝８−１＝７））未満の自然数ｖ、ｖ−１、ｖ−２、・・・以下の値に含まれる比率を求める。これら分布比率のうち、分布比率が、所定の閾値以上となる差分量子化範囲のうち、最大の差分量子化範囲ｗを求める。最大差分量子化範囲ｗに１を足した数を、最適化圧縮符号化画素値データビット数として、量子化処理部４７およびクラス値生成部４９に送る。

例えば、４以下の値を有する差分量子化範囲の比率が、全量子化範囲に対し、所定比率（例えば、９０％）であれば、実際に撮像される被写体画像においても、９０％程度の画素値データは量子化処理部４７において、４＋１＝５ビット長データで、丸めなしに記録可能であると推測される。このような被写体に対しては、各圧縮符号化画素値データのビット数に、８ビット長を与えることは、圧縮率の面で不利である。ＣＯＤＥＣ２１３は、このようなケースにおいて品質劣化の起こさずに圧縮率を向上する。このようなケースでは、量子化処理部４７は、各処理対象画素値に対し５ビット長のデータの圧縮符号化画素値データを与える。クラス値は、最適化圧縮符号化画素値データビット数に関する情報を併せ持つクラス値を生成する。よって、復号化部３３における復号化では、クラス値に基づいて、各圧縮符号化画素値データビット数を決定し、先の実施形態と同様に復号化が可能である。

なお、分布比率解析部６９においては、最近の画像１フレーム分の差分量子化範囲を解析する代りに、画像の一部、例えば重要な部分、画像における中央部領域、のみを解析して最適圧縮符号化画素値データビット数を決定してもよい。

また、先の例では、所定比率を、９０％としたが、それ以外の、１〜１００％の比率を閾値として用いてもよい。また、被写体像の特性を調査し、その調査結果に基づいて閾値を撮像処理ごとにフレキシブルに決定してもよい。

また、画像１フレーム分に含まれる差分量子化範囲を、複数のブロックに区分し、各ブロック内で、最適圧縮符号化画素値データビット数を決定してもよい。この場合、画像１フレーム分の圧縮符号化画素値データには、ビット長のことなるデータが混在することになるが、クラス値は、この圧縮符号化画素値データビット数の変化をも記録することができるので、復号化部３３においても、正しく復号化することが可能である。

なお、モニタモードにおいても、全画素駆動モードで撮像素子５を駆動してよい。

なお、本発明の全ての実施形態において、データを記憶または一時記憶する機能は、記憶素子のみならず、周知の遅延回路を用いて実現されてもよい。

本発明は今後ますます応用が広まるＣＣＤセンサ及びＭＯＳセンサを有する電子機器全般、又は映像機器全般に採用されるものであって、簡単な構成であるにもかかわらず、画質をほとんど損なうことなく、符号化により情報量を圧縮できる。

記録されるデータのビット数を削減することにより、メモリの使用量と、メモリのアクセス量とを削減でき、コストと消費電力も削減することができる。

今後デジタルスチルカメラ及び動画撮影のカメラにおいてもますます多くの用途で使用されることが期待される。

本発明によるデジタルスチルカメラのブロック図。ＳＤＲＡＭの記憶領域使用状況を示す模式図。撮像素子受光部における画素の配置を示す模式図。実施の形態１にかかるＣＯＤＥＣ１３のブロック図。符号化処理のフローチャート。符号化処理のフローチャート。量子化における諸量の関係を示すグラフ。画素値ｇ２を例として表す、量子化処理の詳細を説明するためのグラフ。復号化処理のフローチャート。復号化処理のフローチャート。実施の形態２にかかるＣＯＤＥＣ１１３のブロック図。実施の形態３にかかるＣＯＤＥＣ２１３のブロック図。特許文献１の開示するデジタルスチルカメラの構成を示すブロック図。単板ＣＣＤの部分概略図。特許文献２の開示するデジタル信号圧縮符号化法のフローチャート。特許文献３の開示する画像符号化装置のブロック図。

符号の説明

１・・・デジタルスチルカメラ（ＤＳＣ）３・レンズ
５・・・撮像素子７・・・撮像素子駆動部
９・・・前信号処理部１１・・・アナログ／デジタル変換部（ＡＤＣ）
１３・・・コーデック（ＣＯＤＥＣ）１５・・・ＳＤＲＡＭ
１７・・・ＹＣ処理部１９・・・ＪＰＥＧ処理部
２１・・・制御部２３・・・外部インターフェース
２５・・・ＳＤカード２７・・・表示部
２９・・・画素３１・・・符号化部
３３・・・復号化部３５・・・処理対象画素値入力部
３７・・・差分生成部３９・・・画素値記憶部
４１・・・差分量子化範囲決定部４３・・・ゾーン量子化幅決定部
４５・・・初期画素値生成部４７・・・量子化処理部
４７ａ・・・量子化参照値決定部４７ｂ・・・オフセット値設定部
４７ｃ・・・被量子化処理値設定部４７ｄ・・・量子化部
４７ｅ・・・オフセット値ゼロ設定部４９・・・クラス値符号生成部
５１・・・パッキング部５１ａ・・・圧縮符号化画像データ生成部
５１ｂ・・・圧縮符号化画像データ出力部５３・・・アンパッキング部
５５・・・逆量子化処理部５５ａ・・・オフセット値設定部
５５ｂ・・・逆量子化部５５ｃ・・・復号化画素値生成部
５５ｄ・・・オフセット値ゼロ設定部５５ｅ・・・量子化幅設定部
５５ｆ・・・量子化参照値設定部５７・・・出力部
５９・・・誤差検出部６１・・・係数乗算部
６３・・・整数化部６５・・・誤差補正部
６７・・・差分量子化範囲抽出部６９・・・分布比率解析部

Claims

少なくとも、第１色にセンスする画素と第２色にセンスする画素を周期的に配置した受光部からの信号をデジタル形式にて示した画素値データを受けて処理する、デジタルデータ符号化装置において、
第１色にセンスする第１画素の第１画素値データと、前記第１画素の近傍に位置し、第１色にセンスする第２画素の第２画素値データとの差分値を第１画素差分値として出力すると共に、第２色にセンスする第３画素の第３画素値データと、前記第３画素の近傍に位置し、第２色にセンスする第４画素の第４画素値データとの差分値を第２画素差分値として出力する、差分生成部と、
前記第１画素差分値の絶対値と前記第２画素差分値の絶対値のうちの最大値を最大画素値差として求め、求めた最大画素値差以上の値を量子化参照値として決定する量子化参照値決定部と、
前記第１画素値データと前記量子化参照値との差を第１オフセット値として設定すると共に、前記第３画素値データと前記量子化参照値との差を第２オフセット値として設定するオフセット値設定部と、
前記第２画素値データと第１オフセット値との差を、第１被量子化処理値として設定すると共に、前記第４画素値データと第２オフセット値との差を、第２被量子化処理値として設定する被量子化処理値設定部と、
前記第１被量子化処理値および第２被量子化処理値を、それぞれ量子化して第１圧縮符号化画素値データおよび第２圧縮符号化画素値データを求める量子化部と、を有することを特徴とするデジタルデータ符号化装置。
前記第１色と、前記第２色は相異なる、ことを特徴とする請求項１に記載のデジタルデータ符号化装置。
さらに、前記オフセット値設定部の定めたオフセット値が、ゼロ以下である場合、前記オフセット値をゼロに設定しなおすオフセット値ゼロ設定部を有する、ことを特徴とする請求項１に記載のデジタルデータ符号化装置。
さらに、前記量子化における量子化幅を決定する量子化幅決定部を有する、ことを特徴とする請求項１に記載のデジタルデータ符号化装置。
前記量子化幅は、前記最大画素値差が大きくなるに従って増加する、ことを特徴とする請求項４に記載のデジタルデータ符号化装置。
さらに、前記決定された量子化幅をｍビット長（ｍは自然数）の符号に符号化する量子化幅情報データ生成部を有する、ことを特徴とする請求項４に記載のデジタルデータ符号化装置。
前記量子化幅決定部は、予め決められた複数の量子化幅のいずれか１つに決定する、ことを特徴とする請求項４に記載のデジタルデータ符号化装置。
前記複数の量子化幅の数は、２のｍ乗個以下である、ことを特徴とする請求項７に記載のデジタルデータ符号化装置。
前記ｍは、２である、ことを特徴とする請求項６に記載のデジタルデータ符号化装置。
さらに、圧縮符号化画像データ生成部を有し、
前記圧縮符号化画像データ生成部は、少なくとも、前記量子化幅情報データ、前記第１圧縮符号化画素値データ、および、前記第２圧縮符号化画素値データのいずれかを含む、ｓビット長（ｓは自然数）の圧縮符号化画像データを生成し、ここで前記ｓは、８の倍数である、ことを特徴とする請求項６に記載のデジタルデータ符号化装置。
前記圧縮符号化画像データ生成部は、前記第１画素値データをそのまま、初期画素値データとして、前記圧縮符号化画像データに記録する、ことを特徴とする請求項１０に記載のデジタルデータ符号化装置。
前記量子化幅決定部は、前記第１画素差分値および第２画素差分値のそれぞれに関する符号なし整数バイナリ値表現に要する桁数のうちの最大桁数値を求めることにより、前記複数の量子化幅のいずれか１つに決定する、ことを特徴とする請求項７に記載のデジタルデータ符号化装置。
さらに、前記第２画素値データを補正し誤差補正画素値データを生成する誤差補正部と、
圧縮符号化画素値データを復号化して復号化画素値データを出力するデジタルデータ復号化部とを有し、
前記オフセット値設定部は、前記第１画素値データの代りに前記復号化画素値データを用いて前記第１オフセット値を設定し、
前記被量子化処理値設定部は、前記第２画素値データの代りに前記誤差補正画素値データを用いて前記第１被量子化処理値を設定することを特徴とする請求項１に記載のデジタルデータ符号化装置。
前記誤差補正部における前記第２画素値データの補正は、前記第２画素値から、前記第１画素値データと前記復号化画素値データとの差に関連する補正値を引き算することによりなされることを特徴とする請求項１３に記載のデジタルデータ符号化装置。
第１色にセンスする第１画素の第１画素値データがそのまま第１初期画素値データとして記録されている初期画素値データ部と、前記第１画素の近傍に位置し第１色にセンスする第２画素の第２画素値データを示す第１圧縮符号化画素値データが記録されている圧縮符号化画素値データ部と、を備えるｓビット長（ｓは自然数）の圧縮符号化画像データを入力する圧縮符号化画像データ入力部と、
前記第１初期画素値データと、第１量子化参照値との差を第１オフセット値として求めるオフセット値設定部と、
設定された第１量子化幅を用いて第１圧縮符号化画素値データを逆量子化して第１逆量子化画素値データを求める逆量子化部と、
前記第１逆量子化画素値データと前記第１オフセット値との和を求めることにより第１復号化画素値データを生成する復号化画素値生成部と、を有し、
前記第１量子化参照値は、前記第１画素値データと前記第２画素値データとの差分値の絶対値以上の値を有し、該値は、前記第２画素値データから前記第１圧縮符号化画素値データを生成する際に用いられた参照値の値に等しい、ことを特徴とするデジタルデータ復号化装置。
前記初期画素値データ部にはさらに、前記第１画素に近接し第２色にセンスする第３画素の第３画素値データがそのまま第２初期値画素値データとして記録され、
前記圧縮符号化画素値データ部にはさらに、前記第３画素の近傍に位置し、第２色にセンスする第４画素の第４画素値データを示す第２圧縮符号化画素値データが記録され、
前記オフセット値設定部はさらに、前記第２初期値データと前記第１量子化参照値との差を第２オフセット値として求め、
前記逆量子化部はさらに、前記第１量子化幅を用いて前記第２圧縮符号化画素値データを逆量子化して第２逆量子化画素値データを求め、
前記復号化画素値生成部はさらに、前記第２逆量子化画素値データと前記第２オフセット値との和を求めることにより第２復号化画素値データを生成し、
前記第１量子化参照値は、前記第１画素値データと前記第２画素値データとの差分値の絶対値および前記第３画素値データと前記第４画素値データとの差分値の絶対値の最大値以上の値を有し、該値は、前記第４画素値データから前記第２圧縮符号化画素値データを生成する際に用いられた参照値の値に等しい、ことを特徴とする請求項１５に記載のデジタルデータ復号化装置。
前記第１色と、前記第２色は相異なる、ことを特徴とする請求項１６に記載のデジタルデータ復号化装置。
前記圧縮符号化画素値データ部にはさらに、前記第２画素の近傍に位置し、前記第４画素に近接し、第１色にセンスする第５画素の第５画素値データを示す第３圧縮符号化画素値データが記録され、
前記オフセット値設定部はさらに、前記第１復号化画素値データと、第２量子化参照値との差を第３オフセット値として求め、
前記逆量子化部はさらに、設定された第２量子化幅を用いて第３圧縮符号化画素値データを逆量子化して第３逆量子化画素値データを求め、
前記復号化画素値生成部はさらに、前記第３逆量子化画素値データと前記第３オフセット値との和を求めて第３復号化画素値データを生成し、
前記第２量子化参照値は、前記第２画素値データと前記第５画素値データとの差分値の絶対値以上の値を有し、該値は、前記第５画素値データから前記第３圧縮符号化画素値データを生成する際に用いられた参照値の値に等しい、ことを特徴とする請求項１６に記載のデジタルデータ復号化装置。
さらに、前記オフセット値設定部の定めたオフセット値が、ゼロ以下である場合、前記オフセット値をゼロに設定しなおすオフセット値ゼロ設定部を有する、ことを特徴とする請求項１５に記載のデジタルデータ復号化装置。
前記圧縮符号化画像データは、少なくとも、前記第１量子化幅に関する情報を備える第１量子化幅情報データおよび前記第２量子化幅に関する情報を備える第２量子化幅情報データのいずれか、が記録されている量子化幅情報データ部を備える、ことを特徴とする請求項１８に記載のデジタルデータ復号化装置。
さらに、前記逆量子化における量子化幅を、予め決められた複数の量子化幅のいずれか１つに設定する量子化幅設定部を有し、
前記量子化幅設定部は、前記第１量子化幅情報データおよび前記第２量子化幅情報データから、前記第１量子化幅および前記第２量子化幅をそれぞれ、前記複数の量子化幅の１つに設定する、ことを特徴とする請求項２０に記載のデジタルデータ復号化装置。
さらに、前記逆量子化における量子化参照値を、予め決められた複数の量子化参照値のいずれか１つに設定する量子化参照値設定部を有し、
前記量子化参照値設定部は、前記第１量子化幅情報データおよび前記第２量子化幅情報データから、前記第１量子化参照値および前記第２量子化参照値をそれぞれ、前記複数の量子化参照値の１つに設定する、ことを特徴とする請求項２１に記載のデジタルデータ復号化装置。
前記第１量子化幅情報データおよび第２量子化幅情報データは、それぞれｍビット長（ｍは自然数）のデータである、ことを特徴とする請求項２２に記載のデジタルデータ復号化装置。
前記複数の量子化幅および複数の量子化参照値の個数は、それぞれ２のｍ乗個以下である、ことを特徴とする請求項２３に記載のデジタルデータ復号化装置。
前記ｍは、２である、ことを特徴とする請求項２３に記載のデジタルデータ復号化装置。
少なくとも、第１色にセンスする画素と第２色にセンスする画素を周期的に配置した受光部からの信号をデジタル形式にて示した画素値データを受けて処理する、デジタルデータ符号化方法において、
第１色にセンスする第１画素の第１画素値データと、前記第１画素の近傍に位置し、第１色にセンスする第２画素の第２画素値データとの差分値を第１画素差分値として出力すると共に、第２色にセンスする第３画素の第３画素値データと、前記第３画素の近傍に位置し、第２色にセンスする第４画素の第４画素値データとの差分値を第２画素差分値として出力する、差分生成ステップと、
前記第１画素差分値の絶対値と前記第２画素差分値の絶対値のうちの最大値を最大画素値差として求め、求めた最大画素値差以上の値を量子化参照値として決定する量子化参照値決定ステップと、
前記第１画素値データと前記量子化参照値との差を第１オフセット値として設定すると共に、前記第３画素値データと前記量子化参照値との差を第２オフセット値として設定するオフセット値設定ステップと、
前記第２画素値データと第１オフセット値との差を、第１被量子化処理値として設定すると共に、前記第４画素値データと第２オフセット値との差を、第２被量子化処理値として設定する被量子化処理値設定ステップと、
前記第１被量子化処理値および第２被量子化処理値を、それぞれ量子化して第１圧縮符号化画素値データおよび第２圧縮符号化画素値データを求める量子化ステップと、を有することを特徴とするデジタルデータ符号化方法。
第１色にセンスする第１画素の第１画素値データがそのまま第１初期画素値データとして記録されている初期画素値データ部と、前記第１画素の近傍に位置し第１色にセンスする第２画素の第２画素値データを示す第１圧縮符号化画素値データが記録されている圧縮符号化画素値データ部と、を備えるｓビット長（ｓは自然数）の圧縮符号化画像データを入力する圧縮符号化画像データ入力ステップと、
前記第１初期画素値データと、第１量子化参照値との差を第１オフセット値として求めるオフセット値設定ステップと、
設定された第１量子化幅を用いて第１圧縮符号化画素値データを逆量子化して第１逆量子化画素値データを求める逆量子化ステップと、
前記第１逆量子化画素値データと前記第１オフセット値との和を求めることにより第１復号化画素値データを生成する復号化画素値生成ステップと、を有し、
前記第１量子化参照値は、前記第１画素値データと前記第２画素値データとの差分値の絶対値以上の値を有し、該値は、前記第２画素値データから前記第１圧縮符号化画素値データを生成する際に用いられた参照値の値に等しい、ことを特徴とするデジタルデータ復号化方法。