JP3968121B2

JP3968121B2 - 画像圧縮方法

Info

Publication number: JP3968121B2
Application number: JP2001330235A
Authority: JP
Inventors: シーギャラガーアンドリュー; ラバニマジッド; ビージンデルエドワード; ティーグレイロバート
Original assignee: イーストマンコダックカンパニー
Priority date: 2000-11-21
Filing date: 2001-10-29
Publication date: 2007-08-29
Anticipated expiration: 2021-10-29
Also published as: JP2002204399A; EP1209919A3; DE60113949T2; EP1209919A2; DE60113949D1; EP1209919B1; US6765611B1

Description

【０００１】
【発明の属する技術分野】
この発明は一般に撮像分野に関し、より詳細にはダイナミックレンジを拡張した撮像素子からの画像を圧縮する方法に関する。
【０００２】
【従来の技術】
電荷結合素子（ＣＣＤ）等の撮像素子は一般に、デジタルカメラ、スキャナ、およびビデオカメラ等の製品内に見られる。これらの撮像素子は、既存の写真フィルム製品に比べてダイナミックレンジが制限されている。典型的な電子撮像素子は、約７ストップのダイナミックレンジを有する。これは、典型的な情景の照射が、結果的な信号のクリッピングを避けるために、かなりの量の精度で決定されなければならない。一方、自然の情景は、９ストップ以上のダイナミックレンジを示すことが多い。これは主に複数の光源の結果であり、その情景の対象を照射する強度は大きく変化している。さらに、鏡面のハイライトが、自然の情景のダイナミックレンジに寄与している。
【０００３】
写真フィルムを走査するために用いられる電子センサはさらに、信号強度の高ダイナミックレンジに対処しなければならない。ミルチの（Ｍｉｌｃｈ）米国特許第５，２２１，８４８号、公告日１９９３年６月２２日では、電子イメージセンサのダイナミックレンジを拡張するために設計された方法および装置が開示されている。写真フィルムを走査することを主目的とし、ミルチはその上に複数の直線状アレイを備えた電荷結合素子スキャナを用いるワンパス・フィルム・スキャナの方法を開示している。そのアレイの一つは高強度の光に対応し、他のアレイは低強度の光に対応している。次に、二つのアレイからの情報を組み合わせ、デジタル化してダイナミックレンジを拡張したデジタル画像を形成する。ミルチが開示した方法および装置は、光強度に対して同じスペクトル感度であるが、異なる性質を備えたフォトサイトを有する電子イメージセンサであり、非常に高いダイナミックレンジを備えたデジタル画像を生成することができる。
【０００４】
デジタル電子カメラは、カラーフィルタアレイ（ＣＦＡ）を備えた単一のイメージセンサを用いて、疎にサンプルしたデジタル画像を生成する。赤、緑、および青のフォトサイトを用いて赤、緑、および青のピクセル値を生成する典型的なカラーフィルタアレイ・パターンは、バイエル（Ｂａｙｅｒ）の米国特許第３，９７１，０６５号、公告日１９７６年７月２０日に開示されている。補間アルゴリズムは、疎にサンプルした画像から完全な解像度のカラー画像を生成するために用いられる。デジタルカメラはさらに、高ダイナミックレンジを有する情景を記録する必要がある。デジタルカメラから高ダイナミックレンジの画像を得る一つの方法は、カメラ内で高ビット深度のアナログ・デジタル変換器を用いることである。別の方法は、ここに援用するギャラガ（Ｇａｌｌａｇｈｅｒ）などの米国係属出願番号第０９／６１５，３９８号、出願日２０００年７月１３日に開示されているように、散在させた高速および低速フォトサイトを備えたイメージセンサを用いることである。さらに、デジタルカメラの重要な特徴は、管理可能な大きさのデジタル画像を生成する必要があることである。これは主に、デジタルカメラの制限された搭載メモリと、デジタル画像を他の素子に転送するための帯域幅の制限による。
【０００５】
ロバート・グレイ（ＲｏｂｅｒｔＧｒａｙ）とボビー・ハント（ＢｏｂｂｙＨｕｎｔ）は、Ｐｒｏｃ．ＳＰＩＥ，Ｖｏｌｕｍｅ４３２、サンディエゴ、１９８３年８月の記事「Ｍｕｌｔｉｓｐｅｃｔｒａｌｄａｔａｃｏｍｐｒｅｓｓｉｏｎｕｓｉｎｇｓｔａｇｇｅｒｅｄｄｅｔｅｃｔｏｒａｒｒａｙｓ」に、ＣＦＡを備えたイメージセンサで捕捉した画像の赤、緑、および青のピクセル値に対して、別個に画像圧縮を行うことに関する利点を定量化している。しかし、グレイとハントの方法は、ある照射に対して所定の応答を備えた高速フォトサイトから生成された高速ピクセル値と、同じ照射に対して低速の応答を備えた低速フォトサイトから生成された低速ピクセル値を有するイメージセンサを考慮してはいなかった。
【０００６】
ツァイ（Ｔｓａｉ）などの同一出願人による米国特許第５，０６５，２２９号、公告日１９９１年１１月１２日と、第５，０５３，８６１号、公告日１９９１年１０月１日は、色を補間する前にデジタル画像を圧縮する方法を記載している。しかし、彼らの方法は、ある照射に対して所定の応答を備えた高速フォトサイトから生成された高速ピクセル値と、同じ照射に対して低速の応答を備えた低速フォトサイトから生成された低速ピクセル値を有するイメージセンサを考慮してはいなかった。
【０００７】
【発明が解決しようとする課題】
従って、ある照射に対して所定の応答を備えた高速フォトサイトから生成された高速ピクセル値と、同じ照射に対して低速の応答を備えた低速フォトサイトから生成された低速ピクセル値を有する電子イメージセンサから得られるデジタル画像を効率的かつ効果的に圧縮する必要がある。さらに、光強度に対して同じスペクトル感度であるが、異なる性質を備えたフォトサイトを有し、非常に高いダイナミックレンジを備えたデジタル画像を生成することができる電子イメージセンサで生成した画像を効果的に圧縮する必要がある。
【０００８】
【課題を解決するための手段】
その必要性は、この発明に従って、ある照射に対して所定の応答を備え高速ピクセル値を生成する高速フォトサイトと、同じ照射に対して低速応答を備え低速ピクセル値を生成する低速フォトサイトを有し、疎にサンプルしてダイナミックレンジを拡張した撮像素子によって生成され、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像から、圧縮した画像を生成する方法を提供することによって実現される。その方法は、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像を提供し、完全な解像度から疎にサンプルした画像を高速ピクセル値だけを有する高速画像と低速ピクセル値だけを有する低速画像に分け、前記高速画像と低速画像を別個に圧縮するステップを有する。
【０００９】
この発明の利点は、ここで説明した圧縮技術が明らかに、このようなセンサからのデジタル画像をより効率的に圧縮するために、ある照射に対して所定の応答を備えた高速フォトサイトと、同じ照射に対して低速の応答を備えた低速フォトサイトからの低速ピクセル値を有するイメージセンサ上のフォトサイトの独自の配置を利用していることである。
【００１０】
【発明の実施の形態】
デジタル画像は、一つ以上のデジタル画像のチャネルからなる。各デジタル画像のチャネルは、二次元アレイのピクセルから構成されている。各ピクセル値は、そのピクセルの幾何学的領域に応じて撮像素子が受け取った光の量に関係している。カラー撮像用途の場合、デジタル画像は一般に、赤、緑、青のデジタル画像のチャネルからなる。例えばシアン、マゼンタ、イエローのデジタル画像のチャネルといった他の構成も実現されている。単色の用途の場合、そのデジタル画像は一つのデジタル画像のチャネルからなる。動画用途は、デジタル画像の時系列として考えられる。当業者には明らかなように、この発明は上記の用途のいずれにも適用できるが、それらに限定されない。
【００１１】
この発明は、行と列に配置したピクセル値の二次元アレイとしてデジタル画像チャネルを説明しているが、当業者には明らかなように、同様の効果を備えたモザイク（非直線の）アレイ、つまり六角形のアレイに適用することもできる。
【００１２】
電子センサを用いる撮像素子は既知であり、従ってこの発明は特に、この発明による装置の一部を構成するか、またはより直接的に協力している要素に適用される。ここで特に示していないか、または説明していない要素を当業者が選択することもできる。なお、ここで用いられているように、画像という用語は二次元アレイの値のことである。画像は、別の画像の二次元の一部であってもよい。この発明は、プログラム式デジタル・コンピュータまたはカスタム集積デジタル画像処理回路を用いて実現できる。下記の開示内容に基づくコンピュータ・プログラム等を作成することは、プログラミング技術の範囲内で可能である。コンピュータは、パーソナル・コンピュータ等の汎用デジタル・コンピュータであっても、デジタル画像処理用に特に設計した専用デジタル・コンピュータであってもよい。この発明は、デジタルカメラ内に全部であれ一部であれ実装できる。
【００１３】
この発明の基本要素は、図１の機能ブロック図として示されている。対象または情景からの光はレンズ２に入射し、電荷結合素子（ＣＣＤ）等の撮像素子１０上に写真画像を形成する。なお、ＣＭＯＳ素子等の他の素子を撮像素子１０として用いることもできる。レンズ２と撮像素子１０の間に配置した光学的ローパス・フィルタ６は、結像した光をややぼやかして擬似ラインの発生を低減する。Ａ／Ｄ変換器１４は、結像した光に応じた電圧信号を撮像素子１０から受け取り、その電圧信号に応じた画像信号を生成する。Ａ／Ｄ変換器の出力は、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像である。疎にサンプルした画像は、複数の種類のフォトサイトを備えた単一のイメージセンサを有する撮像素子で捕捉した画像として定義される。この発明によると、疎にサンプルしたという用語もまた、カラーフィルタアレイを有するイメージセンサを含む、散在した高速および低速フォトサイトを有するイメージセンサが生成した画像を指すことを意図している。
【００１４】
完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像は、この発明に従って圧縮し、下記に説明する圧縮器３１２によって圧縮したデジタル画像を生成する。圧縮したデジタル画像は、コンピュータメモリ（図示せず）内に格納するか、または通信ネットワーク（図示せず）上に送信して、後で復元器２１４で復元して再構成したデジタル画像を生成できる。
【００１５】
図１に示したＡ／Ｄ変換器１４は、撮像素子１０のフォトサイトで生成した電圧信号に応じた画像信号、つまりデジタル・ピクセル値のストリームに、撮像素子１０で生成した電圧信号を変換する。より詳細には、Ａ／Ｄ変換器１４は、線形にコード化した値が０〜１０２３の範囲である例えば１０ビットの信号といった離散的なデジタル画像信号に、入射光の強度に対してほぼ線形の撮像素子１０からの電圧信号を変換する。Ａ／Ｄ変換器１４はさらに線形のコード値の領域画像信号を、その技術で一般に行われているように、８ビットの対数信号のような非線形のコード値の領域画像信号に変換する処理を行うこともできる。例えば、次に式を用いて、１０ビットの線形の画像信号ａ（ｘ，ｙ）を８ビットの対数画像信号ｂ（ｘ，ｙ）に変換できる。ここで、（ｘ，ｙ）は撮像素子１０に関する信号位置の行列インデックスを指定する。
【００１６】
【数１】

なお、照射の（撮像素子の線形な応答領域における）各ストップの結果、線形な画像信号ａ（ｘ，ｙ）は倍増し、対数コード化した画像信号ｂ（ｘ，ｙ）は５１倍に増大する。この場合、５１という値は照射のストップ（ｃｖｓ）ごとのコード値の数を表す。
【００１７】
好ましい実施例では、撮像素子１０は、フォトサイトと呼ばれる光電性の要素のアレイからなる。各フォトサイトは一般に、ここに援用するバイエルの同一出願人による米国特許第３，９７１，０６５号に記載されているように、赤、緑、または青のフィルタで被覆されている。バイエルのアレイは、緑のフィルタをフォトサイト上に市松模様に配置し、赤と青のフィルタはラインごとに交互に配置して、市松模様の間隙部を充填したカラーフィルタアレイである。これは、赤または青のフィルタサイトの二倍の数だけ緑のフィルタサイトを形成する。なお、ここに記載した方法は、異なる構成の主原色、異なる数の主原色、または異なる組の主原色を備えたカラーフィルタアレイに容易に拡張できる。従って、好ましい実施例では、各フォトサイトは、赤、緑、または青い光のいずれかに対する感度を有する。従って、撮影された画像は赤、緑および青に疎にサンプルされる。しかし、各フォトサイトの位置で、赤、緑、および青の各々を露光する照射に応じたピクセル値を得ることが望ましい。この説明では、「赤」、「緑」、および「青」は、画像処理技術で既知なように、撮像素子１０の主なスペクトル感度を表す。
【００１８】
一般に、フォトサイト上のカラーフィルタ要素のカラー値ではなくカラーピクセル値が、補間によって隣接するフォトサイトからのカラーピクセル値から構成される。一般に知られている補間器のいずれも使用することができるが、好ましいＣＦＡ補間器の説明は、ここに援用するアダムズ（Ａｄａｍｓ）などの米国特許第５，６５２，６２１号、公告日１９９７年７月２９日の開示内容に含まれている。アダムズなどは、行列に配置したカラーフォトサイトを有するイメージセンサから得たデジタル化した画像信号を処理する装置を説明しており、その装置は少なくとも三つの別個の明度を生成するが、各フォトサイト位置には明度は一つだけであり、各フォトサイト位置用の明度を補間する構造を有し、三つの異なる明度を有する。その装置は、隣接するフォトサイト位置の欠けている明度ではなく、異なる色の明度からこのようなフォトサイト位置の別の明度を補間することで、あるフォトサイト位置の欠けている適切な明度を生成する。その装置はさらに、同じ行列の隣接するフォトサイトに応じて、ピクセル値から少なくとも二つの画像方向におけるラプラシアン二次値、階調値および色差バイアス値を得て、これらの値から展開した分類器に基づいて欠けている明度を補間する好ましい方向を選択する。最後に、隣接する複数のカラーピクセル値から欠けているカラーピクセル値を選択し、好ましい方向に一致させる。撮像素子１０に対する所定のフォトサイトの配置は、下記にさらに詳しく説明する。好ましい実施例では、所定のフォトサイトの応答は、ここでは低速フォトサイトと呼ばれる所定のフォトサイトの利得を変更することで低速し遅延する。フォトサイトの利得の変更は、一般的にデジタルカメラの設計および製造技術において実現される。
【００１９】
図２を参照すると、各フォトサイト上に樹脂小型レンズ５１を配置するイメージセンサの製造技術における一般的な実施例が示されている。例えば、特に撮像素子１０がインタライン型固体撮像素子である場合、一つの小型レンズ技術は、ここに援用する石原（Ｉｓｈｉｈａｒａ）などの米国特許第４，６６７，０９２号、公告日１９８７年５月１９日に記載されている。石原は、ブロック面を備えた画像記憶ブロックを有する固体撮像素子を開示しており、複数の記憶要素はブロック面に沿って組み込まれ、電荷の形で画像を記憶する。被覆層は、記憶要素に対応して光学的レンズアレイを構成するように形成する。中間層は、ブロック面と被覆層の間に配置する。入射光は、記憶要素上のレンズと中間層を介して集束する。中間層は、焦点距離を調整する調整層として機能する。
【００２０】
図２は、インタライン型固体撮像素子の断面図を示している。小型レンズ５１がない場合、フォトサイトの各光電性領域５５に対応する信号読み出し領域は、光電変換領域として半導体基板の全領域を用いることができない。既存の固体撮像素子は、それに入射する全ての光線を効率的には利用せず、低感度となる。フォトサイト上に樹脂小型レンズ５１を追加すると、フォトサイトの光活性領域に入射光線を集束させ、入射光線をより効率的に利用してフォトサイトの感度を向上できる。従って、小型レンズ５１の大きさや効率を変更することによって、フォトサイトの感度（利得）を容易に変更できる。さらに、インタライン型素子やＣＭＯＳセンサの場合、フォトサイトの利得を変更する好ましい方法は、フォトサイト上に配置した小型レンズ５１を変更することによる。図２に示したように、位置５２は小型レンズを有しておらず、光電性領域にはより少ない入射光線しか入射しない。また、小型レンズは、小型レンズ５１に比べて異なる半径、形状、大きさまたは材料で位置５２に製造して、光電性領域５５に入射する光線を小型レンズ５５より低い効率になるように構成できる。当業者には明らかなように、小型レンズ５１が入射光線の８０％を光電性領域５５上に集束し、小型レンズを有さない（または低速の小型レンズを有する）位置５２が入射光線の２０％を光電性領域５５に到達させる場合、小型レンズ５１によって被覆されたフォトサイトは位置５２より２ストップだけ高速になる。この場合、小型レンズ５１は高速フォトサイトに用いられ、位置５２で表されるように小型レンズがない場合は低速フォトサイトに用いられる。
【００２１】
全フレーム撮像素子１０の断面図を示す図３を参照すると、撮像素子１０が全フレーム素子である場合、フォトサイトの光電性領域５５に入射する光線は、一般に金属からなる遮光開口部を介して通過する。この遮光開口部は遮光マスク部５４と、遮光部の間に散在させた大開口部５６、小開口部５７を有するように図３の断面図に示されている。好ましい実施例では、フォトサイトの利得は、遮光マスク部５４を修正することで変更できる。そして、フォトサイトの感度は遮光マスク部５４の開口部に直接関係する。例えば、第二フォトサイトの開口部の大きさの５０％の開口部を備えたフォトサイトは、第二フォトサイトに対して５０％の応答を有する。例えば、遮光マスク部５４の大開口部５６は、フォトサイト上への入射光線の８０％を通過させ、小開口部５７は入射光線の２０％しか通過させることができない。当業者には明らかなように、大開口部５６を備えたフォトサイトは、小開口部５７を備えたフォトサイトより２ストップ高速である。この場合、大開口部５６は高速フォトサイトに用いられ、小開口部５７は低速フォトサイトに用いられる。従って、遮光マスクの開口部は、所定のフォトサイトの応答を調整するために修正することができる。ＥａｓｔｍａｎＫｏｄａｋＣｏｍｐａｎｙは、全てのピクセルのピクセル活性領域を約８０〜約２０％まで（センサを水平および垂直に１／２ピクセルの間隔だけ動かし、四つの画像を取り込むディザを行ったスキャナ用途の場合）低減する金属マスク遮光部を備えた全フレーム撮像素子を製造している。従って、この発明は、このようなマスク技術を用いるが異なる大きさの開口部を備え、イメージセンサに画像光の反応差を提供する。
【００２２】
好ましい実施例では、所定の低速フォトサイトの応答は、図４にグラフ的に示したように同じ照射に対する高速フォトサイトのＸ％（Ｘ≦１００）になる。この好ましい実施例では、所定のフォトサイトは高速フォトサイトに対して２ストップ（−ｌｏｇＸ／１００）だけ遅らされた応答を有し、Ｘ＝２５になる。従って、撮像素子１０は、高速フォトサイトと低速フォトサイトという複数組のフォトサイトからなる。高速フォトサイトの出力応答の集まりは、高速画像、つまり高速フォトサイトで検出した情景の疎にサンプルした形態を構成する。同様に、低速フォトサイトの出力応答の集まりは、低速画像、つまり低速フォトサイトで検出した情景の疎にサンプルした形態を構成する。
【００２３】
別の方法のように、所定の低速フォトサイトの応答は、そのフォトサイトを被覆するニュートラル・デンシティ・フィルタも用いることで低速にできる。図５は、カラーフィルタアレイ５３を備えた撮像素子の断面図を示している。なお、カラーフィルタアレイ５３ａは赤、５３ｂは緑、５３ｃは赤、５３ｄは緑である。ニュートラル・フィルタ５８の層は、カラーフィルタアレイ５３上に配置されるが、ニュートラル・フィルタ５８の層とカラーフィルタアレイ５３の位置は重要ではない。なお、ニュートラル・フィルタ５８の層だけが、ニュートラル・フィルタ５９で示すように所定のフォトサイトの位置にニュートラル・フィルタを有する。この場合、ニュートラル・フィルタ５８の層は、高速フォトサイトに対しては透明またはほぼ透明であり、低速フォトサイトに対してはニュートラル・フィルタ５９を有する。例えば、ニュートラル・フィルタ５９が光をＸ％透過できる材料からなる場合、低速フォトサイトの応答は高速フォトサイトの応答に対して−ｌｏｇ2（Ｘ／１００）ストップだけ低速になる。
【００２４】
好ましい実施例では、撮像素子１０のフォトサイトの５０％が、低速応答を有するように選択される。当業者には明らかなように、低速応答を有するフォトサイトの割合を変更してもこの発明の利点を得ることができる。全てのフォトサイトがほぼ等しいスペクトル感度を有する撮像素子１０（つまり全整色撮像素子）の場合、図６は低速フォトサイトの配置を示しており、撮像素子１０の全フォトサイトの約５０％が低速応答となる。低速応答を有するフォトサイト２８にはアスタリスク（＊）が付けられており、高速応答を有するフォトサイト３０は空白である。疎にサンプルした画像は既に、カラーフィルタアレイを有する撮像素子で捕捉した画像として定義していた。この発明によると、疎にサンプルしたという用語は、高速および低速フォトサイトを散在させている図６に示したようなイメージセンサが生成した画像を指すことも意図している。
【００２５】
図７は、フォトサイトの各種類（赤、緑、または青の感度を有する）の５０％が低速応答を有するカラーイメージセンサの構成を示している。例えば、フォトサイト３２、３４、および３６が各々低速応答を有する赤、緑および青のフォトサイトであり、フォトサイト３８、４０および４２が各々高速応答を有する赤、緑および青のフォトサイトである。
【００２６】
なお、図６、７は低速フォトサイトの位置に対して規則的な模様を意味している。低速フォトサイトは規則的な模様で配置することが望ましいが、決して必須ではない。低速フォトサイトは、撮像素子１０の表面上にランダムまたはややランダムに配置することができる。
【００２７】
図４を参照すると、所定の照射に対する高速フォトサイトの応答と、同じ照射に対する低速フォトサイトの応答が示されている。なお、あるレベルの雑音ｎをその応答に重ね合わせると、高速フォトサイトは、低い照射に対して、低速フォトサイト（有効な信号は１００Ｅ／Ｘから始まる）より有効な信号を出力できることが容易にわかる。また、低速フォトサイトからのデータは、高い照射レベル（１００Ｅ２＾S／Ｘのレベルの信号まで、ここでＳは単一のフォトサイトの固有のダイナミックレンジであり、一般にＳは約５ストップである）に対しては、高速フォトサイト（Ｅ２＾Sの照射まで有効な応答を生成する）より有効である。なお、高速フォトサイトと低速フォトサイトはどちらも、複数のストップの照射において同じ応答レンジ（Ｓ）を有するが、低速フォトサイトの応答は好ましくは、図４に示すように高速フォトサイトより−ｌｏｇ2（Ｘ／１００）ストップ遅い。好ましくは、高速および低速フォトサイトの応答は、照射に対して重なり合っている。つまり、好ましくは、−ｌｏｇ2（Ｘ／１００）＜Ｓである。高速および低速フォトサイトを両方とも考慮すると、撮像素子１０の全ダイナミックレンジは、Ｓ−ｌｏｇ2（Ｘ／１００）となる。好ましい実施例では、Ｓ＝５、Ｘ＝２５であり、撮像素子１０の全有効ダイナミックレンジは７ストップの照射となる。
【００２８】
完全な解像度のダイナミックレンジを拡張したデジタル画像は、高速および低速画像のピクセル値を等しくし、同じ光照射に対する応答の違いを明らかにして、必要ないずれかの色の補間を行うことで生成される。
【００２９】
Ａ／Ｄ変換器１４から出力し、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像は、メモリの必要量を低減し画像の可搬性を助けるためにこの発明に従って圧縮する。好ましい実施例では、Ａ／Ｄ変換器１４から出力した画像信号は圧縮器３１２に入力する。圧縮器３１２の出力は、圧縮したデジタル画像であり、例えばコンピュータのハードディスク・ドライブ、フロッピ・ディスク、ＣＤ−ＲＯＭ、またはコンピュータのＲＡＭ等のコンピュータメモリ内に保存できる。圧縮したデジタル画像はさらに、通信ネットワークを介してある場所から別の場所にデジタル画像を送るとき送信時間を低減する。例えば、圧縮したデジタル画像は、通信ネットワークを介してリモート位置に送信でき、圧縮した画像をそこで復元器３１４に入力して再構成したデジタル画像を生成する。圧縮器３１２からの圧縮したデジタル画像は、電子メールまたはインターネットを介して、ホストコンピュータまたはリモート・コンピュータに送って復元することもできる。復元したデジタル画像は、さらに処理して再構築したデジタル画像のダイナミックレンジを拡張し、高解像度でダイナミックレンジを拡張した画像を生成できる。Ａ／Ｄ変換器１４から出力し、疎にサンプルしてダイナミックレンジを拡張した画像を圧縮することで、再構築したデジタル画像のダイナミックレンジを拡張する計算上複雑な処理は、より便利な時間まで遅延できる（例えばカメラではなくデスクトップ・コンピュータ上）。圧縮器３１２は、ファイルの大きさを低減するために、不可逆的圧縮または可逆的圧縮のいずれかを行うことができる。圧縮器３１２の出力は、ほとんどの消費者に有用なＪＰＥＧ等のファイル・フォーマットであってもよい。
【００３０】
この発明の場合、フォトサイトは図６に示したように高速または低速の二種類からなる。さらに、図７に示したようなカラーイメージセンサ１０の場合、各種類内でフォトサイトはさらに、赤、緑または青であることができる。（当業者には明らかなように、多くの他の組み合わせも可能である。）従って、全部で六種類のフォトサイトがある。フォトサイトの各種類は、同じ種類の隣接するフォトサイトと高い相関を有するので、フォトサイトの各種類の出力は、この発明による圧縮器３１２によって別個に圧縮される。圧縮器３１２については、下記にさらに詳しく説明する。
【００３１】
圧縮器３１２は、いくつかのモードのいずれか一つで動作してもよい。一つのモードは、イメージセンサ１０が図６に示したような単色センサのときである。イメージセンサ１０の大部分が図８に示されているが、ここでは印＊を有する位置が前述のように低速応答を有するフォトサイトを表す。単色センサの出力を圧縮する異なる方法は下記に説明する。
【００３２】
圧縮器３１２の動作の可能なモードの一つは、低速ピクセルとは独立に高速ピクセルを圧縮することである。図１７によると、低速ピクセルとは独立に高速ピクセルを圧縮することは、ピクセル種類分離器３１６によって可能になる。ピクセル種類分離器３１６の目的は、各種類のピクセルに別個にアクセスできるようにすることである。この実施例では、ピクセル種類分離器３１６は、全ての高速ピクセル値と全ての低速ピクセル値を別個に出力する。次に、ピクセル種類分離器３１６からの出力として、特定の種類のフォトサイトに対応させたピクセルをピクセル種類圧縮器３２２に入力する。この方法の利点は、同じ種類のフォトサイトから得られる隣接するピクセル値が同じようになりやすいことであり、圧縮器３１２の効率を改善できる。この動作モードでは、圧縮器３１２は、高速ピクセルからなる圧縮した画像と、低速ピクセルからなる圧縮した画像を出力する。さらに、いくつかの高速ピクセル値が飽和しているか、またはいくつかの低速ピクセル値がほぼクリッピングされている（信号が低い）場合、復元した画像のダイナミックレンジを拡張する以降の処理ステップが、ほぼクリッピングされているピクセルをどうしても無視するので、これらの領域は高い誤りで圧縮される。従って、より高い度合いの圧縮が実現される。これら二つの圧縮したデジタル画像は、単一のファイルにまとめても別個のファイルにしてもよい。この方法は、各種類のフォトサイトの圧縮の設定を別個に設定できるという別の利点を有する。例えば、低速ピクセルは以降の処理の間に増幅される可能性があるので、高速ピクセルと比べて歪みを少なく圧縮することが望ましい。
【００３３】
別の実施例として図１８を参照すると、ピクセル種類分離器３１６から出力した低速ピクセル値は、ピクセル種類圧縮器３２２で圧縮できる。さらに、高速ピクセル値は、低速ピクセル値から高速ピクセル値をまず予測し、次に予測値と実際の値の間の違いを圧縮することで圧縮できる。この方法では、高速ピクセル値を圧縮する前に、低速ピクセル値を用いて高速ピクセル値を予測する。位置Ｐ（ｘ，ｙ）における高速ピクセル値用の一般的な予測器３２０は、周囲の四つの低速ピクセル値Ｐ（ｘ＋１，ｙ＋１）、Ｐ（ｘ−１，ｙ＋１）、Ｐ（ｘ＋１，ｙ−１）、Ｐ（ｘ−１，ｙ−１）の一つ以上を用いて、それらにまず非線形利得を加え、次に得られた値の一次結合を構成する。次に、予測器３２０から出力した予測を、ピクセル種類分離器３１６から出力した高速ピクセルの実際の値から差し引き差分画像を構成して、次に別のピクセル種類圧縮器３２２で圧縮する。再び、異なる圧縮設定（例えば圧縮が低く画像品質が高くなる設定）で差分画像ではなく低速ピクセル値を圧縮できる。
【００３４】
上記の実施例の制限は、復元器３１４において、低速ピクセルの実際の値の代わりに復元後のそれらの再構成値だけが利用可能なことである。従って、高速ピクセルを再構成するとき、復元した差分画像はピクセル種類圧縮器３２２で用いた元の値ではなく、再構成した低速ピクセル値に基づく予測に加えられる。その結果、再構成した高速ピクセルの全圧縮歪みは、再構成した低速ピクセルの圧縮歪みと、復元した差分画像の圧縮歪みの和による。
【００３５】
この制限は、図１９に示したこの発明の実施例によって克服される。まず、前のように、ピクセル種類分離器３２２から出力した低速ピクセル値を好ましい設定の圧縮パラメータで圧縮し、圧縮した画像を画像メモリに記憶する。次に、高速ピクセル値を圧縮する前に、まず低速ピクセル値をピクセル種類復元器３２４で復元し、復元した値を用いて前のように予測器３２０で高速ピクセルの値を予測する。なお、ピクセル種類復元器３２４が動作すると、所定のピクセル種類の圧縮した値を再構成する。さらに、ピクセル種類復元器３２４の正確な動作は、ピクセル種類圧縮器３２２の動作を反転させたものに基づく。当業者には、圧縮器と復元器の間の関係は明らかであった。次に、予測器３２０から出力した予測を高速ピクセルの実際の値から差し引きし残像を構成して、別のピクセル種類圧縮器３２２で圧縮するが、低速ピクセルとは異なる圧縮設定が可能である。
【００３６】
この方法は特に、圧縮ハードウェアをカメラ内で用いる場合に魅力的である。ほとんどの圧縮および復元技術（例えばＪＰＥＧ圧縮規格）は高い度合いで類似性を有するので、圧縮に用いる同じハードウェアを復元にも用いることができ、圧縮性能を改善しながら回路を追加する必要性を節約できる。
【００３７】
図８に見られるように、高速ピクセルまたは低速ピクセルの各組は五点形の模様を構成する（市松模様上の赤い正方形を考える）。この模様は、前述のように高速ピクセル値を低速ピクセル値とは別個に圧縮する場合、いくつかの圧縮アルゴリズムに対して問題を引き起こす。例えば、技術的に通常用いられるＪＰＥＧ圧縮は、８×８ピクセルのブロックを構成することを基にしている。五点形のデータにＪＰＥＧ圧縮を適用するには、他の各行（または列）は左（または上）に移動させなければならない。これは、擬似垂直（または水平）周波数を引き起こし、圧縮効率に著しく影響する。図９、１０は、ＪＰＥＧ等のアルゴリズムで、五点形模様に配置したピクセル値を圧縮する好ましい方法を示している。まず、そのアレイの長方形の模様を構成する偶数位置（指数ｘ、ｙが偶数である位置）の低速ピクセル値をＪＰＥＧ圧縮で圧縮する。奇数位置の低速ピクセル値から偶数位置の低速ピクセル値を分離することは、偶数位置の低速ピクセル値を第一種のフォトサイト、奇数位置の低速ピクセル値を第二種のフォトサイトと考えることで実現される。次に、ピクセル種類分離器３１６が、奇数位置の低速ピクセル値から偶数位置の低速ピクセル値を処理する。なお、最初の８×８ＪＰＥＧブロックは、Ａ／Ｄ変換器１４から出力したように、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像上で、１６×１６ブロックに効率的に広がる。同様に、図１０に示したように奇数位置（ｘ、ｙが奇数である位置）の低速ピクセル値も、圧縮器３１２によってＪＰＥＧ圧縮で圧縮される。当業者には明らかなように、同様の処理を高速ピクセル値に対して行うこともできる。従って、低速または高速ピクセル値の各組に対する圧縮器３１２の出力は二つの圧縮ファイルである。
【００３８】
偶数および奇数位置の低速（または高速）ピクセル値を圧縮する方法は、五点形サンプルの再要求から得られる擬似空間周波数を取り除く利点を別個に有する。しかし、この方法の欠点は、偶数および奇数位置のサンプルの間の空間的相関が用いられていないことである。図１８について説明した別の実施例では、偶数位置の低速ピクセル値をピクセル種類圧縮器３２２で圧縮し、まず偶数位置の低速ピクセル値を入力した予測器３２０で奇数位置の低速ピクセル値を予測し、その結果の差分画像をピクセル種類圧縮器３２２で圧縮する。さらに、予測に用いられるピクセルと予測したピクセルはどちらも同じ種類であるので、予測器３２０では簡単な線形予測を用いることができる。位置Ｐ（ｘ，ｙ）でのあるピクセルに対する線形予測器のいくつかの簡単な例には、一行左上の位置のピクセル（Ｐ（ｘ−１，ｙ−１））、一行左上と右上のピクセルの平均（Ｐ（ｘ−１，ｙ−１）＋Ｐ（ｘ−１，ｙ＋１））／２、一行左上と左下のピクセルの平均（Ｐ（ｘ−１，ｙ−１）＋Ｐ（ｘ＋１，ｙ−１））／２、または周囲四つのピクセルの平均（Ｐ（ｘ−１，ｙ−１）＋Ｐ（ｘ＋１，ｙ−１）＋Ｐ（ｘ＋１，ｙ＋１）＋Ｐ（ｘ−１，ｙ＋１））／４が含まれる。
【００３９】
同様の動作は、高速ピクセル値の圧縮のためにも行うことができる。当業者には明らかなように、高速ピクセル値を圧縮し、高速ピクセル値を用いて低速ピクセル値を予測し、差分画像を生成して圧縮する等の説明の変形態様は、上記の説明の観点から明らかであり、この発明の範囲内から著しく逸脱するものではない。
【００４０】
単色センサで動作する圧縮器３１２の動作の好ましいモードは、図１９を参照しながら次のようになる。偶数位置の低速ピクセル値は、ピクセル種類圧縮器３２２でのＪＰＥＧ等の標準圧縮技術で圧縮する。次に、ピクセル種類復元器３２４で復元アルゴリズムを加えることで、復元（再構成）した低速偶数ピクセル値を計算する。復元（再構成）した低速偶数ピクセル値はさらに、予測器３２０で奇数位置の低速ピクセル値の値を予測するために用いることもできる。低速奇数ピクセル値と予測の間の残差はさらに、ＪＰＥＧ等の標準圧縮技術で圧縮する。同様の動作は、高速ピクセル値についても行うことができる。最後に、低速偶数ピクセル値、低速奇数差分画像、高速偶数ピクセル、および高速奇数ピクセル差分画像に対する圧縮パラメータの設定は、以降の処理に基づいて最善の画質を得るために異なるように選択できる。
【００４１】
イメージセンサ１０が図７に示したようなカラーセンサである場合、イメージセンサ１０の大部分が図１１に示されており、そこでは印＊を含む位置が低速応答を有するフォトサイトを表し、ｒｇおよびｂが前述のように赤、緑および青の光に感度を有することを表す。
【００４２】
圧縮器３１２の動作の一モードが、図１１に示したようなカラーイメージセンサで動作する場合が下記に説明されている。赤、緑、および青に感度を有するフォトサイトは、高速および低速フォトサイトの各々に対して存在し、好ましい実施例のフォトサイトは全部で六種類ある。高速フォトサイトでもある赤のフォトサイトからのピクセル値は、ここでは赤の高速ピクセル値と呼ぶ。同様の命名法は、他の色および高速フォトサイトの値に対しても当てはまる。当業者には明らかなように、カラーアレイ上にフィルタを配置するために別の設計を用いることもできる。さらに、カラーフィルタアレイは、赤、緑、および青以外の色から構成することもできる。例えば、その色は緑、黄色、シアン、マゼンタであってもよい。当業者には明らかなように、ここで説明したようなカラーイメージセンサ上の、高速および低速フォトサイトを有するセンサからの画像を圧縮するための、ここで説明した原理は技術的に知られている方法を用いることで、いずれの選択、数、および配置の色に対しても適用できる。
【００４３】
圧縮器３１２の動作モードでは、各種類のフォトサイトに関するピクセル値を別個に圧縮することを行い、基本的な概念は図１７に示されている。ピクセル種類分離器３１６は、六種類のピクセル値の各々を別個に出力する。ピクセル種類分離器３１６から出力されるような特定の種類のフォトサイトに関するピクセルは次に、ピクセル種類圧縮器３２２に入力される。この動作モードでは、圧縮器３１２は、赤、緑、および青のフォトサイトの三色の各々に対して、高速ピクセル値からなる圧縮した画像と低速ピクセル値からなる圧縮した画像を出力し、全部で六つの圧縮した画像となる。これらの圧縮したデジタル画像はまとめて、単一ファイルの圧縮したデジタル画像を構成しても別個のファイルであってもよい。この方法の利点は、同じ種類のフォトサイトから得られる隣接するピクセル値が同じようになりやすいことであり、圧縮器３１２の性能を向上できる。この動作モードでは、圧縮器３１２は六つの圧縮した画像を出力する。これらの画像は、単一のファイルに格納することも複数のファイルに格納することもできる。さらに、圧縮パラメータを各ピクセルの種類ごとに別個に設定して、以降の処理で必要とされる精度に適応させたり、各色ごとに異なるように設定して、人の視覚系のスペクトル感度を利用することもできる。
【００４４】
別の実施例のように、ピクセル種類分離器３１６は、各色に対して二種類のピクセル値を各々別個に出力する。次に、ピクセル種類分離器３１６からの出力として、特定の種類のフォトサイトに対応させたピクセルをピクセル型圧縮器３２２に入力する。その色に対して第一種のフォトサイトに対応させたピクセル値（例えば低速ピクセル値）は、図１８に見られるようなピクセル種類圧縮器３２２で圧縮することもできる。次に、残りの種類のフォトサイトに対応させたピクセル値（例えば高速ピクセル値）は、まず予測器３２０を用いて第一種のフォトサイト（低速ピクセル値）から、残りの種類のフォトサイトに対応させたピクセル値（高速ピクセル値）を予測し、残りの種類のフォトサイトの実際のピクセル値（高速ピクセル値）と予測器３２０からの予測の間の差分画像を生成し、次にピクセル種類圧縮器３２２で差分画像を圧縮することで圧縮できる。以前のように、予測には、予測されるピクセルの近傍（撮像素子１０上）にあるピクセル値に数式を加えることが含まれる。
【００４５】
図１９に示した別の実施例のように信号の歪みを最小にするために、差分画像は、ピクセル種類圧縮器３２２で第一種のフォトサイトに対応させたピクセル値を圧縮し、ピクセル種類復元器３２４で復元して復元したピクセル値を得て、これらの復元したピクセル値を用いて予測器３２０で残りの種類のピクセル値を予測することで決定される。
【００４６】
ＪＰＥＧ圧縮等の所定の圧縮アルゴリズムは、データを五点形格子ではなく、通常の長方形の格子に配置するときに最もよく動作する。図１２に示されているように、緑の低速ピクセルは、ＪＰＥＧ圧縮で理想的な長方形の格子を構成する。図１３は、緑の高速ピクセルも、ＪＰＥＧ圧縮に理想的な長方形の格子を構成することを示している。図１４は、赤の低速ピクセルが五点形の模様の構成することを示している。この模様は、前述のように、高速ピクセル値を低速ピクセル値とは別個に圧縮する場合は、いくつかの圧縮アルゴリズムで問題を引き起こすことがある。例えば、技術的に一般に用いられるＪＰＥＧ圧縮は８×８ピクセル・ブロックを基にしている。
【００４７】
説明した問題の可能な解決策の一つは、赤の低速ピクセル値の一つおきの行（列）を選び、それらを左（上）に２ピクセル移動させることである。これは、ＪＰＥＧ圧縮に適した長方形の格子上に赤の低速ピクセル値を配置する。この方法は直接的であるが、圧縮効率を低下させる擬似空間周波数を生成するかもしれない。
【００４８】
この問題に対処する好ましい配置は、図１５、１６に示されている。その手順は、図１７について説明している。第一位置（図１５に示したようにｘが４の整数倍より２大きく、ｙが４の整数倍より１大きい赤のフォトサイトの位置）の赤の低速ピクセル値は、アレイ上に長方形の模様を形成し、ピクセル種類分離器３１６が他のピクセルの種類から別個に出力するものは別のピクセルの種類と考える。第一位置にあるこれらの赤の低速ピクセル値は、ピクセル種類圧縮器３２２内で例えばＪＰＥＧの圧縮ルーチンに基づくブロックで圧縮する。なお、最初の８×８ピクセルのＪＰＥＧブロックは、Ａ／Ｄ変換器１４から出力されるように、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像上の３２×３２ブロックに広がる。同様に、第二位置（図１６に示したようにｘが４の整数倍で、ｙが４の整数倍より３大きい位置）の赤の低速ピクセル値も、ピクセル種類分離器３１６が他のピクセルの種類から別個に出力する別のピクセル種類と考える。第二位置のこれらの赤の低速ピクセル値は、ピクセル種類圧縮器３２２でＪＰＥＧ圧縮のような圧縮アルゴリズムに基づくブロックで圧縮する。当業者には明らかなように、青の低速ピクセル値、赤の高速ピクセル値および赤の低速ピクセル値に対して同様の処理を行うことができる。次に、圧縮器３１２の出力をサブイメージに圧縮し、サブイメージは緑の低速ピクセルから一つ、緑の高速ピクセルから一つ、赤の低速ピクセルから二つ、赤の高速ピクセルから二つ、青の高速ピクセルから二つ、青の低速ピクセルから二つ得られる。
【００４９】
カラーセンサ上で動作する圧縮器３１２の好ましい動作モードは、色の差分値の圧縮に基づいて図２０に示した最善の画質の再構成を実現し、次にように説明される。まず、ピクセル種類分離器３１６から出力した緑の低速ピクセル値を、ピクセル種類圧縮器３２２で所定の圧縮設定（例えば以降の処理で必要とされるピクセルの精度で決定したもの）を用いて圧縮する。次に、ピクセル種類分離器３１６から出力した緑の高速ピクセル値を、ピクセル種類圧縮器３２２で同じかまたは異なる圧縮設定（例えば、より小さなファイルサイズを実現する高い割合の圧縮）で圧縮する。次に、ピクセル種類分離器３１６から出力した赤の低速ピクセル値の各々に対して、ピクセル種類補間器３２６で隣接する緑の低速ピクセル値を用いて、対応する緑の低速ピクセル値を補間する。なお、ピクセル種類補間器３２６は、ピクセル種類分離器３１６から出力するような所定のピクセル種類の元のピクセル値を入力しても、より高精度の場合はピクセル種類補間器３２６は、圧縮したピクセル種類をピクセル種類復元器３２４で復元することで生成した、復元したピクセル種類値を入力してもよい。次に、赤の低速ピクセル値と、補間した緑の低速ピクセル値の間の差分画像を形成して、得られる差分画像をピクセル種類圧縮器３２２で圧縮する。同様に、あらゆる赤の高速ピクセル位置で、隣接する緑の高速ピクセル値を用いて、対応する緑の高速ピクセル値をピクセル種類補間器３２６で補間し、赤の高速ピクセル値と、補間した緑の高速ピクセル値の間の差分画像を形成してピクセル種類圧縮器３２２で圧縮する。最後に、同じ処理を低速および青の高速ピクセル値に対して繰り返し、対応する緑の低速または高速の隣接値を用いて、緑の低速および高速ピクセル値を補間し、対応する青の低速または高速ピクセル値から差し引き、得られる差分画像を圧縮する。
【００５０】
この時点で、カラー画像は圧縮した六つのサブイメージに分解され、六つの圧縮したデジタル画像を形成する。図１１に示したＣＦＡ模様に基づいて、これら六つのサブイメージは画像の１／４ピクセルを構成する緑の低速サブイメージ、画像の１／４ピクセルを構成する緑の高速サブイメージ、あらゆるピクセルが赤の低速値と隣接する緑の低速値に基づく、対応する補間した緑の低速値の差であり画像の１／８ピクセルを構成する赤の低速差分サブイメージ、あらゆるピクセル値が赤の高速値と隣接する緑の高速値に基づく、対応する補間した緑の高速値の差であり画像の１／８ピクセルを構成する赤の高速差分サブイメージ、あらゆるピクセルが青の低速値と隣接する緑の低速値に基づく、対応する補間した緑の低速値の差であり画像の１／８ピクセルを構成する青の低速差分サブイメージ、および最後にあらゆるピクセルが青の高速値と隣接する緑の高速値に基づく、対応する補間した緑の高速値の差であり画像の１／８ピクセルを構成する青の高速差分サブイメージである。
【００５１】
補間した緑のピクセル値と、赤または青のピクセル値の間の違いを圧縮するこの方法は、赤、緑、および青の値が結果的に各ピクセルの位置で必要とされることが期待されるので好ましい。差分画像のピクセルの差分値は、例えば、コーク（Ｃｏｋ）の同一出願人による米国特許第４，６４２，６７８号、公告日１９８７年２月１０日に記載されているように、これらの別のピクセル値の計算で直接用いることができる。
【００５２】
当業者には明らかなように、この基本的な主題における変形態様は、ここに開示されているものに基づいて可能である。例えば、緑の低速ピクセルからなる第一サブイメージを圧縮した後で、緑の低速ピクセル値の実際の値、または復元（再構成）した緑の低速ピクセル値のいずれかを用いて、緑の高速ピクセル値を予測することができる。従って、緑の高速ピクセル値を圧縮するする代わりに、緑の高速ピクセル値と、それらの予測した値の間の差である差分画像が圧縮される。同様に、サブイメージ３〜６の構成で用いられる、補間した緑の低速および高速ピクセル値を実際の値の代わりに、復元（再構成）した緑の低速または高速ピクセル値に基づかせることができる。最後に、赤の低速および高速サブイメージ（サブイメージ３、４）は、単一のファイルまたは二つの別個のファイルとして圧縮できる。同様に、青の低速および高速差分サブイメージ（サブイメージ５、６）も、単一のファイルまたは二つの別個のファイルとして圧縮できる。
【図面の簡単な説明】
【図１】この発明によるレンジを拡張した撮像素子とデジタル画像処理器を用いるデジタル撮像システムのブロック図である。
【図２】小型レンズのアレイを用いて所定のフォトサイトの応答を変更するインタライン型撮像素子の断面図である。
【図３】金属マスクを用いて所定のフォトサイトの応答を変更する全フレーム撮像素子の断面図である。
【図４】高速フォトサイトと低速フォトサイトの応答を示すグラフである。
【図５】ニュートラル・デンシティ・フィルタのアレイを用いて所定のフォトサイトの応答を変更する撮像素子の断面図である。
【図６】全整色撮像素子上の低速フォトサイトと高速フォトサイトの配置を示す図である。
【図７】カラー撮像素子上の低速フォトサイトと高速フォトサイトの配置を示す図である。
【図８】全整色撮像素子上の低速フォトサイトと高速フォトサイトの配置を示す図である。
【図９】低速偶数フォトサイトの配置を示す図である。
【図１０】低速奇数フォトサイトの配置を示す図である。
【図１１】カラー撮像素子上の低速フォトサイトと高速フォトサイトの配置を示す図である。
【図１２】緑の低速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図１３】緑の高速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図１４】赤の低速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図１５】第一組の赤の低速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図１６】第二組の赤の低速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図１７】この発明による第二の圧縮器のブロック図である。
【図１８】この発明による第三の圧縮器のブロック図である。
【図１９】この発明による第四の圧縮器のブロック図である。
【図２０】この発明による好ましい圧縮器のブロック図である。
【符号の説明】
２レンズ、６光学的ローパス・フィルタ、１０撮像素子、１４Ａ／Ｄ変換器、２８低速フォトサイト、３０高速フォトサイト、３２赤の低速フォトサイト、３４緑の低速フォトサイト、３６青の低速フォトサイト、３８赤の高速フォトサイト、４０緑の高速フォトサイト、４２青の高速フォトサイト、５１高速小型レンズ、５２位置、５３カラーフィルタアレイ、５４遮光マスク部、５５光電性領域、５６大開口部、５７小開口部、５８ニュートラル・デンシティ・フィルタ層、５９低速ニュートラル・デンシティ・フィルタ、３１２圧縮器、３１４復元器、３１６ピクセル種類分離器、３２０予測器、３２２ピクセル種類圧縮器、３２４ピクセル種類復元器、３２６ピクセル種類補間器。

Claims

ある照射に対して所定の応答を備え高速ピクセル値を生成する高速フォトサイトと、同じ照射に対して低速応答を備え低速ピクセル値を生成する低速フォトサイトを有し、疎にサンプルしてダイナミックレンジを拡張した撮像素子によって生成され、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像から圧縮した画像を生成する方法であって、
ａ）完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像を提供し、
ｂ）前記完全な解像度から疎にサンプルした画像を、高速ピクセル値だけを有する高速画像と低速ピクセル値だけを有する低速画像に分け、
ｃ）前記高速画像と低速画像を別個に圧縮する、
各ステップを有する方法。