JP2010534430A - 画像センサの複数の構成要素の読み出し - Google Patents

Abstract

画像センサアレイから画像データを取得する方法であって、電荷を積分するパンクロ画素の第１の構成要素のサブセットと、電荷を積分するカラー画素の第２の構成要素のサブセットとを提供するステップと、カラー画素の第２の構成要素のサブセットを露光する間に、パンクロ画素の第１の構成要素のサブセットから、画素信号を作り出すために画素電荷を読み込み、そして、第１の構成要素のサブセット信号をデジタル化し記憶するステップと、パンクロ画素の第１の構成要素のサブセットからの画素信号の読み込みの間の少なくとも一部の時間で露光されたカラー画素の第２の構成要素のサブセットから、画素信号を作り出すために画素電荷を読み出し、そして、第２の構成要素のサブセット信号をデジタル化し記憶するステップとを含む方法である。
【選択図】図７

Description

本発明は、電子画像捕捉システムに関する。より詳細には、カラー画素とパンクロ画素の双方を含む画像センサを有し、かつ画像センサの複数の構成要素の読み出しを使用するシステムに関する。

電子画像形成システムは、観視画像の電子表示を創出する電子画像センサに依存する。この電子画像センサの例には、電荷結合素子（ＣＣＤ）画像センサとアクティブピクセルセンサ（ＡＰＳ）デバイスとを含む。ＡＰＳデバイスは、相補型金属酸化膜半導体プロセスで製造できるために、しばしばＣＭＯＳセンサと称される。通常、これらの画像センサは、均一の２次元パターンすなわち行と列とのアレイに、配置されるいくつかの感光性の画素（すなわち、画像素子）を含む。画素はそれぞれ、レンズによって画素に投射される場面（scene）の画像の部分における光のレベルに基づいて信号を提供する。

大きさ及び必要とされるコンパクト性のため、通常は、信号をデジタル化するＡ／Ｄコンバータ（ＡＤＣ）よりも非常に大きな画素を有する。スペースを省くために、単一の行の画素を同時に読み込めるだけの記憶デバイスを提供することは、一般的な方法である。その結果として、画素信号を同時に測定すること、又は同時に読み込むことができず、画素信号はシリアル形式で順番待ちする必要がある。単一のＡＤＣを有するＣＣＤなどでは、画素信号は、ラスタ形式で読み出される。行内で画素ごとに読み出し、次いで画素アレイ内で列の画素ごとに読み込む。画像センサの読み出しの順次性によって、読み出し機構の処理能力に対する全体的なセンサが読み込むことができる割合が直接支配される。画像センサの読み出し機構が毎秒５０００万画素測定できる場合は、０．１秒の間に、５メガ画素の画像センサを読み出さなければならない。画像センサ全体の読み込みに必要な時間を削減するためには、一般的には、速く読み出すために消費電力が増加し、又は読み出しチャネルを付加するために画像センサの大きさを増加する必要がある。消費電力も大きさも増加しないことが望まれる。

機械的な構成要素を除去し、コストを削減し、必要なスペースを削減するために、遮光シャッタを有しない画像捕捉システムを構築することは、一般的な方法である。このようなシステムでは、遮光シャッタの代わりに電子シャッタによるが、電子シャッタは、それぞれの光検出器をリセットし、光電子を積分し、次いで光検出器信号を読み出すことによって動作する。リセットステップは、フォトダイオードと接続されたフローティング拡散（floating diffusion）回路に残留電荷を転送し、次いで残留電荷を放電することによって実行できる。そして、光電子は、規定された積分時間にフォトダイオードおけるに蓄積を開始する。この時点で、電荷は、フローティング拡散部に転送され、ＣＭＯＳデバイスにおいて、電圧に変換される。次いで、この電圧は、コンデンサなどのメモリデバイスに記憶される。

十分に低い暗電流と、フローティング拡散部のために十分に良好な遮光とをセンサが有する場合、転送された光電子を直ちに読み出す必要はない。この条件の下では、全ての画素からそれぞれのフローティング拡散部に電荷を一度に転送でき、次いで行ごとに信号が処理されるローリング読み出し（rolling read out）の短い時間待機するだけである。このようなグローバル転送（global transfer）動作のためには、それぞれの画素が遮光されたフローティング拡散部を有することが必要であることは当然である。

特にＡＰＳ画像センサによって提供される画像センサ読み出しの別の配置によれば、画像センサの露光及び読み出しを画像センサの行に亘って行ごとに順次に行うことが可能である。この「ローリングシャッタ」のシーケンスにおいて、同じ時間の長さぞれぞれの行を露光することによってＣＣＤのインタレースフィールドを示す差異露光の問題（differential exposure problem）が回避される。

さらなる有利な点として、ローリングシャッタシーケンスは、画素ごとにシフトする記憶装置を必要としないように、センサの構成要素の配置が単純化される。しかしながら、行ごとの露光は、他の行の露光とは無関係に行われ、他の行の露光に対して順次する（又はローリングする）形式で生じるため、それぞれの行は、少し異なった時間で場面の画像の一部を捕捉する。

この結果として、場面（又は場面の要素）と画像センサとの間の相対的な動きによって、画像センサが捕捉する画像の場面において被写体の表示に歪みが生じる。この効果は、画像「せん断」（image "shear"）と称され、ローリングシャッタ配置に典型的である。いわゆるローリングシャッタを使用して、すなわち電子的な焦点面のシャッタを使用して、水平に移動する車の画像を捕捉する場合などでは、捕捉画像のそれぞれの行として画像センサに対応する車の動きを露光し、読み出す。そのため、捕捉画像のそれぞれの行は、異なる位置における車を示す。このため、回転している車のタイヤは卵型のように見え、長方形状の車の窓は平行四辺形のように見える可能性がある。この歪みは、まさに画像センサの行を読み出すために必要な時間に因るものである。より速い速度で行を読み込むことができる場合は、この歪みを削減できる。しかしながら、先に説明したように、一般的には読み出し速度を速くするためには、画像センサコストの上昇、及び消費電力の増加が要求される。

シリコンベースの画像センサでは、画素自体が可視光で広範な感受性を有し、フィルタなしに画素による白黒画像の捕捉に適合できる。カラー画像を捕捉するためには、フィルタの２次元パターンを画素のパターン上に作成し、種々のフィルタ材料を使用して可視光線のスペクトルの一部のみに感受性を有するそれぞれの画素を作成する。米国特許第３９７１０６５号で説明される周知のベイヤー・カラーフィルタアレイ（ＣＦＡ）パターンは、このようなフィルタパターンの一例である。ベイヤーＣＦＡは、標準的な状態の下でフルカラーを取得するという有利な点を有する。しかしながら、この解決法は、欠点を有することが明らかになっている。狭帯域スペクトル応答を提供するフィルタリングでは、それぞれの画素に到達する光の量が減少しがちであるため、それぞれの画素の感光性が減少し、画素の応答速度が遅くなる。

照明状態の変動の下での画像捕捉を改良し、画像センサの全体的な感受性を改良する解決法に関しては、周知のベイヤーパターンを修正することが開示されている。例えばHamilton他による名称を「照明状態の変動の下での画像捕捉（Capturing Images Under Varying Lighting Conditions）」という米国特許出願第２００７／００４６８０７号と、Compton他による名称を「感光性を改良した画像センサ（Image Sensor with Improved Light Sensitivity）」という米国特許出願第２００７／００２４９３１号との双方において、いくつかの方法で交互配置したカラーフィルタ素子と、パンクロ（panchromatic）フィルタ素子とを組み合わせる代替的なセンサ配置が説明される。この種の解決法では、一部の画像センサが色を検出し、改良されたダイナミックレンジ及び感受性の可視帯に亘る光を検出するように他のパンクロ部が最適化される。このように、これらの解決法は、一部の画素がカラーフィルタを有し（狭帯域スペクトル応答を提供する）、他の画素がカラーフィルタを有しない（フィルタされない画素、又は広帯域スペクトル応答を提供するフィルタを有する画素）、画素のパターンを提供する。

狭帯域スペクトル画素応答と広帯域スペクトル画素応答との双方の組み合わせを使用して、低レベルの光で画像センサを使用でき、又は露光時間が短い画像センサを提供することができる。Sato他による米国特許第４３９０８９５号、Yamagami他による米国特許第５３２３２３３号、及びGindele他による米国特許第６４７６８６５号を参照のこと。

狭帯域カラーフィルタと広狭帯域カラーフィルタとを使用する画像センサは、感光性と写真感度（photographic speed）とを改良できるが、いくつかの問題及び制限が残る。デジタルスチルカメラで使用されるインタラインＣＣＤは、読み出しの間機械的な遮光シャッタを使用して、場面の明るい領域を電荷が被覆することを回避する。すなわち垂直型インタレースＣＣＤ（interlaced vertical CCD）を提供する。この結果として、シャッタの開閉時間は、一連の画像を捕捉するときに、露光時間と一連の画像を捕捉する速度を制限する必要があると考えなければならない。ＣＭＯＳのＡＰＳデバイスに関しては、ローリングシャッタアーチファクト（rolling shutter artifacts）は、従来のタイミング方法を超えて読み出し速度が増加する場合でも現れる。

このように、より速い画素応答を生じるようにし、これにより全体的な色検出の性能を下げることなく動作に関連する異常を抑制する改良された読み出し方法に対する要求があることが理解できるであろう。

本発明に従うと、画像センサアレイから画像データを取得する方法であって、電荷を積分するパンクロ画素の第１の構成要素のサブセットと、電荷を積分するカラー画素の第２の構成要素のサブセットとを提供するステップと、カラー画素の第２の構成要素のサブセットを露光する間に、パンクロ画素の第１の構成要素のサブセットから、画素信号を作り出すために画素電荷を読み込み、そして、第１の構成要素のサブセット信号をデジタル化し、記憶するステップと、パンクロ画素の第１の構成要素のサブセットからの画素信号の読み込みの間の少なくとも一部の時間で露光されたカラー画素の第２の構成要素のサブセットから、画素信号を作り出すために画素電荷を読み出し、そして、第２の構成要素のサブセット信号をデジタル化し記憶するステップとを含む方法が提供される。

本発明に係る画像捕捉システムは、静止画像及びビデオ画像を捕捉する画像捕捉デバイスに特に適する。本発明は、広く応用され、多くの種類の画像捕捉デバイスにおいて、本画像捕捉システムを効果的に使用することができる。

本発明のこれら又は他の態様、目的、特徴、及び有利な点は、好適な実施形態の以下の詳細な説明、及び特許請求の範囲を精査し、添付図面を参照することによって、より明確に理解し、評価することができるであろう。

従来のセンサ及び処理方法、並びに本発明に係るセンサ及び処理方法に使用できる従来のデジタルスチルカメラのシステムのブロックを概略的に示す図である。 最小限繰り返し部と、最小限でない繰り返し部とを表す従来のベイヤー・カラーフィルタアレイパターンである先行技術を示す図である。 照明状態の変動の下でのローリングシャッタの概略的なタイミングチャートの先行技術を示す図である。 照明状態の変動の下でのローリングシャッタの概略的なタイミングチャートの先行技術を示す図である。 赤外線カットフィルタの伝達特性を乗じた赤色画素、緑色画素、及び青色画素の典型的なスペクトル量子効率と、パンクロの広帯域なスペクトル量子効率とを提供する図である。 カラー画素とパンクロ画素の双方を使用するいくつかの画素配置のパターンを示す平面図である。 画素アレイの一部を形成する構成要素の一例を示す平面図である。 １つの実施形態におけるカラー画素及びパンクロ画素のローリングシャッタ操作を表すタイミングチャートを概略的に示す図である。 他の画素アレイの一部を形成する４つの構成要素である一例を示す平面図である。 図８に示す４つの構成要素に対応する４つの構成要素を読み込むローリングシャッタ操作を表すタイミングチャートを概略的に示す図である。 カラー画素が露光時間を拡げられた、４つの構成要素を読み込むローリングシャッタ操作を表すタイミングチャートを概略的に示す図である。 カラー画素が露光時間を拡げられ、パンクロ画素が異なる短い露光時間を与えられる、４つの構成要素を読み込むローリングシャッタ操作を表すタイミングチャートを概略的に示す図である。 画像センサを使用して従来実行されたグローバルな捕捉を表すタイミングチャートの先行技術を概略的に示す図である。 ４つの構成要素を使用する露光及び読み出しの並列操作を有するグローバルな捕捉操作を表すタイミングチャートを概略的に示す図である。 共有の又は共通の電荷記憶素子を有する画素配置を示す平面図である。 共有の又は共通の記憶素子を使用してパンクロ構成要素を読み出す読み出し配置を示す図である。 共有の又は共通の記憶素子を使用して電荷を有するカラー構成要素をビニングされた一対のカラー画素から読み出す読み出し配置を示す図である。 共有の又は共通の記憶素子を使用して別のパンクロ構成要素を読み出す読み出し配置を示す図である。 共有の又は共通の記憶素子を使用して電荷を有するパンクロ構成要素をビニングされた一対のパンクロ画素から読み出す読み出し配置を示す図である。 パンクロ画素とカラー画素とがともにビニングされた共有の又は共通の記憶素子を使用して画素アレイを読み出す読み出し配置を示す図である。 構成要素の１つがビニングされた画素を含む３つの構成要素を読み込むローリングシャッタ操作を表すタイミングチャートを概略的に示す図である。 構成要素の双方がビニングされた画素を含む２つの構成要素を読み込むローリングシャッタ操作を表すタイミングチャートを概略的に示す図である。

画像形成デバイスと、信号捕捉用、信号補正用、及び露光制御用の関係する回路とを使用するデジタルカメラは周知である。したがって、本明細書では、本発明に係る方法及び装置の一部を形成する要素、又はより直接的に協働する要素に特に向けられることになる。本明細書において特に図示され、又は説明されない要素は、先行技術から選択される。説明される実施形態の特定の態様は、ソフトウェアで提供される。本発明に従って図示され、又は説明されるシステムが以下の記載で与えられるが、本明細書で特に図示され、説明され、又は提案されないが本発明を実施するために有用なソフトウェアは、標準的なものであり、先行技術の範囲内である。

本開示との関係で、用語「類（partition）」は、数学的集合論（mathematical set theory）において使用する意味を有する。集合Ｓの類は、互いに素である真であり空集合でない一群のサブセット（subset）であり、その結合は、完全な集合Ｓである。この定義は、この用語の通常通りの使用法とは含有する意味においていくらか異なることに気付くかもしれない。しかしながら、数学的集合論において指定されるこの定義は、以下で詳細に説明するように、本発明に係る方法及び装置を使用してアレイ内の画素を組織化する方法を規定するのに特に適する。

用語「サブセット（subset、部分集合）」は、本明細書で別の変更がないときは、空集合ではないサブセットを称するために使用し、集合Ｓのために完全な集合Ｓを具備することができる。しかしながら、集合Ｓの「真のサブセット（proper subset）」は、集合Ｓに完全に包含され、集合Ｓの少なくとも１つの元（member）を除外する。２つのサブセットは、共通部分（intersection）が空集合である場合、すなわち共通する要素（element）を有しない場合、互いに素である。

ここで図１を参照すると、本発明を具体化するデジタルカメラとして表される画像捕捉デバイスのブロックが概略的に示される。ここではデジタルカメラが説明されることになるが、本発明は、携帯電話、及び自動車車両などのようなカメラでないデバイスに含まれる画像形成サブシステムなどにおける他の種類の画像捕捉デバイスに応用できることは明らかである。被写体の場面からの光１０は、画像形成段（imaging stage）１１に入力される。ここで、光はレンズ１２によって焦点合わせされて、半導体の画像センサ２０に画像を形成する。画像センサ２０は、それぞれの画像素子（画素）において電荷を積分することによって、入射する光を電気信号に変換する。好適な実施形態の画像センサ２０は、電荷結合素子（ＣＣＤ）型、又はアクティブピクセルセンサ（ＡＰＳ）型である。（ＡＰＳデバイスは、相補型金属酸化膜半導体のプロセスで製造できるために、しばしばＣＭＯＳセンサと称される。）センサは、以下で詳細に説明するように、カラーフィルタの配置を含む。

センサ２０に到達する光の量は、開口部を変化させるアイリス（iris）ブロック１４と、光路に割り込まれる１つ又は複数の減光（ＮＤ）フィルタを有するＮＤフィルタブロック１３によって調整される。また、全体的な光のレベルは、シャッタブロック１８が開く時間で調整される。露光制御ブロック４０は、明るさセンサ（brightness sensor）ブロック１６によって測定される、場面で利用可能な光の量に反応し、この調整機能の３つの全てを制御する。

画像センサ２０からのアナログ信号は、アナログ信号プロセッサ２２で処理され、センサ信号をデジタル化するために、アナログデジタル（Ａ／Ｄ）コンバータ２４に印加される。タイミング生成器２６は、行と画素とを選択するために様々なクロック信号を作り出し、アナログ信号プロセッサ２２及びＡ／Ｄコンバータ２４の操作を同期化する。画像センサ段２８は、画像センサ２０と、アナログ信号プロセッサ２２と、Ａ／Ｄコンバータ２４と、タイミング生成器２６とを有する。画像センサ段２８の機能素子は、別々に組み立てられた集積回路で組み立てられ、又は一般にＣＭＯＳ画像センサで行われるように単一の集積回路として組み立てられる。Ａ／Ｄコンバータ２４から生じるデジタル画素値のストリームは、デジタル信号プロセッサ（ＤＳＰ）３６に関連付けられるメモリ３２に記憶される。

デジタル信号プロセッサ３６は、システム制御器５０と露光制御器４０とを加えた本実施形態の３つのプロセッサ又は制御器の１つである。複数の制御器にカメラの機能制御を割り振ることは標準的であるが、本発明に係るカメラの機能的な操作と、応用とに影響を及ぼすことなしに様々な方法で組み合わされる。この制御器又はプロセッサは、１つ又は複数のデジタル信号プロセッサデバイス、マイクロコントローラ、プログラム可能な論理デバイス、又は他のデジタル論理回路を有することができる。このような制御器又はプロセッサの組み合わせを説明してきたが、必要な機能の全てを実行するために１つの制御器又はプロセッサが指定されることは明らかである。この変形は、全て同一の機能を実行でき、本発明の範囲に含むことができる。そして用語「処理段（processing stage）」は、図１における処理段３８のように必要に応じて、１つの語句の中にこの機能の全てを包含して使用されることになる。

説明される実施形態において、プログラムメモリ５４に恒久的に記憶され、画像捕捉の間に実行するためにメモリ３２にコピーされるソフトウェアプログラムに従って、ＤＳＰ３６は、メモリ３２内のデジタル画像データを操作する。ＤＳＰ３６は、図１８に示す画像処理を実行するために必要なソフトウェアを実行する。メモリ３２は、ＳＤＲＡＭなどのようないずれの種類のランダムアクセスメモリを含む。アドレス信号及びデータ信号用の経路を有するバス３０は、関係するメモリ３２と、Ａ／Ｄコンバータ２４と、他の関連するデバイスとをＤＳＰ３６に接続される。

システム制御器５０は、プログラムメモリ５４に記憶されるソフトウェアプログラムに基づいてカメラの全体的な操作を制御する。プログラムメモリ５４は、フラッシュＥＥＰＲＯＭ、又は他の不揮発性メモリを含むことができる。また、このメモリを使用して画像センサ較正データと、ユーザ設定選択と、カメラがオフのときに維持しなければならない他のデータとを記憶することができる。システム制御器５０は、露光制御器４０を指示することによって画像捕捉のシーケンスを制御して、レンズ１２と、ＮＤフィルタ１３と、アイリス１４と、シャッタ１８とを上述のように操作し、タイミング生成器２６を指示することによって、画像センサ２０と、関連する素子とを操作し、ＤＳＰ３６を指示することによって、捕捉した画像データを処理する。画像を捕捉し、処理した後に、メモリ３２に記憶される最終的な画像ファイルは、インタフェース５７を介してホストコンピュータに転送され、リムーバルメモリカード６４、又は他の記憶デバイスに記憶され、画像表示装置８８上にユーザのために表示される。

バス５２は、アドレス信号、データ信号、及び制御信号のための経路を含み、ＤＳＰ３６と、プログラムメモリ５４と、システムメモリ５６と、ホストインタフェース５７と、メモリカードインタフェース６０と、関係する他のデバイスとをシステム制御器５０に接続する。ホストインタフェース５７は、表示、記憶、操作、及び印刷用に画像データを転送するためにパーソナルコンピュータ（ＰＣ）又は他のホストコンピュータへの高速接続を提供する。このインタフェースは、ＩＥＥＥ１３９４又はＵＳＢ２．０のシリアルインタフェース、若しくは他の適当なデジタルインタフェースである。メモリカード６４は、一般的にはソケット６２に挿入されるコンパクトフラッシュ（登録商標、ＣＦ）カードであり、メモリカードインタフェース６０を介してシステム制御器５０と接続される。利用する他の種類の記憶装置は、ＰＣカード、マルチメディアカード、又はソースデジタル（ＳＤ）カードを含むが、これに限定されない。

処理された画像は、システムメモリ５６の表示バッファにコピーされ、ビデオエンコーダ８０を介して連続的に読み出されて、ビデオ信号を作り出す。この信号は、外部モニタに表示するためにカメラから直接出力されるか、又は表示制御器８２によって処理され、画像表示装置８８上に提示される。この表示装置は、一般的にはアクティブマトリクスカラー液晶ディスプレイ（ＬＣＤ）であるが、他の種類の表示装置も同様に使用される。

ファインダ表示装置７０と、露光表示装置７２と、状態表示装置（status display）と、画像表示装置８８と、ユーザ入力７４との全て又は一部の組み合わせを含むユーザインタフェース６８は、露光制御器４０とシステム制御器５０とで実行されるソフトウェアプログラムの組み合わせによって制御される。一般的には、ユーザ入力７４は、ボタン、ロッカスイッチ（rocker switches）、ジョイスティック、回転ダイアル（rotary dials）、又はタッチスクリーンのいくつかの組み合わせを含む。露光制御器４０は、光測定と、露光モードと、オートフォーカスと、他の露光機能とを操作する。システム制御器５０は、画像表示装置８８などの１つ又は複数の表示装置上に提示されるグラフィカルユーザインタフェース（ＧＵＩ）を扱う。一般的には、ＧＵＩは、様々なオプション選択を形成するメニューと、捕捉した画像を分析するレビューモードとを含む。

露光制御器４０は、露光モードと、レンズの絞りと、露光時間（シャッタスピード）と、露光インデックス、すなわちＩＳＯ感度（ISO speed rating）とを選択するユーザ入力を受け、次の捕捉のためにレンズとシャッタとを適宜指示する。明るさセンサ１６を使用して、場面の明るさを測定し、ＩＳＯ感度と、絞りと、シャッタ速度とを手動で設定するときに参照するためにユーザに露光計機能を提供する。この場合、ユーザが１つ又は複数の設定を変更すると、ファインダ表示装置７０上に提示される露光計の指示器は、画像が露光オーバし、又は露光アンダすると思われる程度をユーザに知らせる。自動露光モードでは、ユーザは、１つの設定を変更し、露光制御器４０は、他の設定を自動的に変更して、的確な露光を維持する。例えば、所与のＩＳＯ感度に対してレンズの絞りをユーザが小さくするときに、露光制御器４０は、自動的に露光時間を増やして、全体的に同一の露光を維持する。

ＩＳＯ感度は、デジタルスチルカメラの重要な特性である。露光時間と、レンズの絞りと、レンズの透過率と、場面の照明のレベル及びスペクトル分布と、場面の反射率とは、デジタルスチルカメラの露光レベルを決定する。不十分な露光を使用してデジタルスチルカメラからの画像を取得するときは、電子的な利得又はデジタル的な利得を増加することによって、適当な中間調再現（tone reproduction）を維持できるが、画像は、許容できない量のノイズを包含することになるであろう。露光が増加すると、利得は減少する。したがって通常、画像のノイズは、許容できるレベルまで減少することができる。過度に露光が増加する場合は、画像の明るい領域に生じる信号は、画像センサ又はカメラの信号処理の最大信号レベル量を超える可能性がある。これによって、画像のハイライトが切り取られて不均一な明るさの領域を形成することになるか、又は画像の周りの領域がブルーミング（bloom）する。適当な露光設定にユーザを導くことは重要である。ＩＳＯ感度は、指針などとしての役割を果たすことを目的とする。写真撮影者の理解を容易にするために、デジタルスチルカメラ用のＩＳＯ感度は、写真用フィルムカメラ用のＩＳＯ感度と直接的に関係するべきである。ＩＳＯ２００のＩＳＯ感度をデジタルスチルカメラが有する場合などは、同一の露光時間及び絞りは、ＩＳＯ２００と見なされたフィルム／処理システムに適合するべきである。

ＩＳＯ感度は、フィルムＩＳＯ感度と調和することを目的とする。しかしながら、電子的な画像形成システムと、フィルムに基づく画像形成システムとの間に厳密な等価性を妨げる相違点がある。デジタルスチルカメラは、可変性の利得を含むことができ、画像データが捕捉された後にカメラの露光範囲に亘り中間調再現を成すことができるデジタル処理を提供できる。この柔軟性のために、デジタルスチルカメラは、様々な範囲の感度を有することができる。この範囲は、ＩＳＯ感度ラチチュード（ISO speed latitude）として規定される。混乱を防ぐために、速度範囲を示すＩＳＯ感度ラチチュードの上限及び下限を有する固有のＩＳＯ感度として単一の値が指定される。すなわち、この範囲は、固有のＩＳＯ感度とは異なる効果的な感度を含む。この点を考慮すると、固有のＩＳＯ感度は、特定のカメラ出力信号特性を作り出すためにデジタルスチルカメラの焦点面に提供される露光から計算される数値である。固有の速度は通常、標準的な場面用の所与のカメラシステムのために最大の画質を作り出す露光インデックス値（exposure index value）である。ここで、露光インデックスは、画像センサに提供される露光に反比例する数値である。

デジタルカメラの先の説明は、当業者には良く知られているであろう。コストを削減し、特徴を追加し、又はカメラの性能を改良するために選択できるこの実施形態の多くの変形があることは明らかであろう。例えば、オートフォーカスシステムを追加し、又はレンズは取り外し可能であり、互換性を有する。本発明は、任意の種類のデジタルカメラに適用され、より広範には、代替的なモジュールが類似する機能を提供するデジタル画像捕捉装置に適用されることが理解されるであろう。

図１の実例となる実施例を考慮して、以下の説明は、本発明に従い画像を捕捉するこのデジタルカメラの操作を詳細に説明する。以下の説明において一般的な参照が画像センサについてなされるときはいつでも、図１の画像センサ２０を代表すると理解される。図１に示す画像センサ２０は、シリコン基板上に組み立てられる感光性の画素の２次元のアレイを含む。感光性の画素は、それぞれの画素に入射する光を測定する電気信号に変換する。画像センサの関係で、画素（「画像素子」の縮約）は、分離された感光性領域と、電荷シフト（charge shifting）回路、すなわち感光性領域に関連付けられる電荷測定回路とを称する。デジタルカラー画像の関係で、画素という用語は、関連するカラー値（color values）を有する画像の特定の位置を一般に称する。カラー画素という用語は、比較的狭いスペクトル帯に亘るカラー光感応（color photoresponse）を有する画素を称することになる。

センサ２０を光に露光すると、自由電子が生成され、それぞれの画素の電子的な構造内で捕捉される。いくらかの期間これら自由電子を捕捉して次いで捕捉した電子の数を測定し、又は自由電子が生成される割合を測定することによって、それぞれの画素における光のレベルを測定することができる。前者の場合、蓄積する電荷は、画素のアレイから電荷結合素子（ＣＣＤ）内などの電荷電圧測定回路にシフトし、又はアクティブ画素センサ（ＡＰＳ又はＣＭＯＳセンサ）内などの電荷電圧測定回路の素子に包含できるそれぞれの画素に近接する領域にシフトする。

カラー画素を形成するために、画像センサ内の画素のアレイは、アレイを覆うカラーフィルタのパターンを有する。図２において、一般に使用される赤色（Ｒ）カラーフィルタ、緑色（Ｇ）カラーフィルタ、及び青色（Ｂ）カラーフィルタのパターンを示す。この特定のパターンは、この発明者Bryce Bayerが米国特許第３９７１０６５号において開示した後は、ベイヤー・カラーフィルタアレイ（ＣＦＡ）として一般に知られる。このパターンは、カラー画素の２次元アレイを有する画像センサにおいて効果的に使用される。その結果として、それぞれの画素は、特定のカラー光感応を有し、この場合は、特定のカラー光感応は、赤色光、緑色光、又は青色光に対する顕著な感受性がある。有用な様々な他のカラー光感応には、マゼンタ光、黄色光、又はシアン光に対して顕著な感受性がある。それぞれの場合において、特定のカラー光感応は、可視スペクトルのある部分に対して高い感受性を有するが、同時に可視スペクトルの他の部分に対しては低い感受性を有する。

最小限繰り返し部は、他の繰り返し部がより少ない画素を有しない繰り返し部である。例えば、図２のＣＦＡは、図２において画素ブロック１００として現される２画素×２画素の最小限繰り返し部を含む。これは、
Ｇ Ｒ
Ｂ Ｇ
と表現される。

この最小限繰り返し部の複数のコピーは、画像センサ内の全てのアレイをタイル状に覆う。最小限繰り返し部は、上部右角に緑色画素を有して示されるが、太線で囲まれた領域を１画素右に移動し、１画素下に移動し、又は対角線上に１画素右下に移動することによって、３つの別の最小限繰り返し部を簡単に理解することができる。画素ブロック１００は繰り返し部であり、ブロック１００はブロック１０２よりも少ない画素を有するので、画素ブロック１０２は、繰り返し部であるが最小限繰り返し部ではない。

図２のＣＦＡを含む２次元アレイを有する画像センサを使用して捕捉した画像は、それぞれの画素に１つのカラー値のみを有する。フルカラー画像を作成するためにそれぞれの画素において欠落した色を推測し、又は補間するいくつかの技術がある。このＣＦＡ補間技術は、周知の技術であり、米国特許第５５０６６１９号、米国特許５６２９７３４号、及び米国特許第５６５２６２１号で参照される。

画像センサ２０の画素はそれぞれ、画素信号の読み出し用に光検出器と能動トランジスタ回路との双方を有する。画像センサアレイ内のそれぞれの画素用の光検出器は、光電効果によって画素に衝突する光子を電荷に変換する。電荷は、検出可能な量を収集するのに十分長く、かつ記憶素子の飽和を回避するのに十分短い期間に亘り積分される。この積分時間は、フィルムの露光時間（すなわち、シャッタ速度）に類似する。

画像を捕捉するタイミングは、２つの基本的なパターンの１つに従うことができる。グローバルな捕捉シーケンスにおいて、全ての画像の画素は、簡単に同時に読み込まれる。しかしながら、感光性センサチップ上の場所に制約があるため、この種のシーケンスは、デバイスをかなり複雑にする必要があり、不利になる可能性がある。この代わりに、行ごとに読み込む方法が採用されており、多くの場合、ＣＭＯＳ ＡＰＳの画素を読み込む好適なモードである。

ＣＭＯＳ ＡＰＳデバイスの画像センサアレイにおいて、積分時間は、所与の行のリセットと、次の行の読み込みとの間の時間である。１つの行のみ同時に選択できるので、リセット／読み込みルーチンは、続いて行われる（すなわち、行ごとである）。この読み込み技術は、「電子ローリングシャッタ（rolling electronic shutter）」、又はより簡単に「ローリングシャッタ」モードと称され、周知な画像形成技術である。ローリングシャッタ時間配列のいくつかの変形実施例は、Yadid-Pecht他による名称を「それぞれの感知画素のために少なくとも２つの積分時間を作り出す画像センサ（Image Sensor Producing at Least Two Integration Times from Each Sensing Pixel）」という米国特許第６１１５０６５号と、Krymski他による名称を「ＣＭＯＳセンサにおける先読みローリングシャッタシステム（Look-Ahead Rolling Shutter System in CMOS Sensors）」という米国特許第６８０９７６６号とにおいて開示される。読み込みシーケンスのためのシャッタ幅は、積分可能な時と読み出し時との間の時間である。これは、同一の積分時間を有し、かつ隣接する画素の数によって大きさを変えることができる。また、同時に１つ又は複数の行を読み込むときに、シャッタ幅を固定値に調整して、センサアレイの露光領域の利得を制御することができる。ローリングシャッタの１つの方法を配列すると、リセットのポインタは、シャッタ幅に等しい量だけ読み込みポインタより前にインデックスされる。２つのポインタの間の時間差は、画素の積分時間に対応する。上述のように、シャッタ幅は、機械的な焦点面シャッタの２つの仕切りの間の物理的な空隙の幅と非常に類似する。

図３Ａにおいて、比較的良好な照明状態の下で従来から使用されるローリングシャッタモードのタイミングシーケンスを示す。横座標（Ｘ軸）は、時間を示す。縦座標（Ｙ軸）は、読み出される画像センサの行を示す。傾斜した実線３０２はそれぞれ、画像センサの全ての行を順に読み出すことを示し、最も大きい番号が付された行から開始し、最も小さい番号が付された行に進む。（代替的には、読み出しを示す線は、左から右に上方向に傾斜して、最も小さい番号が付された行から最も大きい番号は付された行へ行を読み出す。）破線３００はそれぞれ、画像センサの全ての行を順にリセットすることを示し、同様に最も大きい番号が付された行から開始し、最も小さい番号が付された行に進む。全てのリセット処理は、読み出し処理と全く同一の時間が必要である。リセット処理３００と、直後に続く読み出し処理３０２との間の遅延は、画素の積分時間であり、実線矢印３１９で示される。なお、積分時間は、全ての行の読み出しで一定だが、それぞれの行の積分期間は、先行する行と続く行とに対してシフトした時間である。

図３Ａのタイミングチャートから理解できるように、この単純なローリングシャッタシーケンスは、光子が取得されない期間がある。具体的は、読み込み３０２とその直後のリセット３００との間である。良好な照明条件の下では、これは許容されるが、この配置では、微光状態の下ではうまく実行されない可能性がある。これは、光密度が減少すると、画素の積分時間をより長くする必要がある可能性があるためである。図３Ｂのタイミングチャートにおいて、微光状態でのタイミングを示す。ここでは、リセット３００は、読み込み３０２の直前に実行されるか、又は読み込み３０２と同時に実行される。その結果として、画素の積分時間は、増加しており、連続する読み込みの間の時間は埋められ、利用されない光子は、ほとんどない。

しかしながら、ローリングシャッタ技術を導入した場合さえも、効率的な画像センサの読み込みという課題では、未だ欠点を有する。前述のように、せん断動作アーチファクト（Shear motion artifacts）は、問題の一種である。微光性能は、まだ改良が可能である。そして、画像のダイナミックレンジは、所望のものよりもまだ小さい可能性がある。

提案されている解決法の一種は、センサアレイ画素の一部をパンクロ画素として使用することである。Compton他による名称を「感光性を改良した画像センサ（Image Sensor with Improved Light Sensitivity）」という同一出願人の米国特許出願第２００７／００２４９３１号は、カラー画素とパンクロ画素の双方を有する画像センサを開示する。この開示において、パンクロ画素（panchromatic pixel）という用語は、通常のパンクロ光感応を有し、選択したカラー感応の組で示される狭スペクトル感受性よりも広いスペクトル感受性を有する画素を称する。すなわち、パンクロ画素は、可視スペクトル全体に亘って高い感光性を有することができる。パンクロ画素は、カラー感応の組より広いスペクトル感受性を有するが、パンクロ画素はそれぞれ、関連するフィルタを有することもできる。このフィルタは、減光フィルタにでき、若しくはカラーフィルタ又は帯域幅フィルタ（bandwidth filter）にできる。

図４のグラフを参照すると、標準的なカメラの応用における赤色フィルタ、緑色フィルタ、及び青色フィルタを有する画素の相対的なスペクトル感受性が示される。図４のＸ軸は、光の波長をナノメートルで表し、ほぼ近紫外線の波長から近赤外線の波長に及ぶ。図４のＹ軸は、（標準化した）効率を示す。図４において、曲線１１０は、画像センサに到達する光から赤外線と紫外線とを遮断するために使用する標準的な帯域幅フィルタのスペクトル透過特性を示す。標準的に画像センサに使用されるカラーフィルタは赤外線を遮断しないため、画素は、関連付けられるカラーフィルタの通過帯域内の光と、赤外線光とを区別できない可能性があるので、帯域幅フィルタが必要となる。このように、曲線１１０で示される赤外線遮断特性によって、赤外線が可視光信号に悪影響を与えないようになる。赤色フィルタ、緑色フィルタ、及び青色フィルタが付された標準的なシリコンセンサのスペクトルの量子効率、すなわち、捕捉され測定可能な電気信号に変換される入射光子の割合は、曲線１１０で示される赤外線遮断フィルタのスペクトル透過特性が乗じられて、赤色は曲線１１４で表され、緑色は曲線１１６で表され、青色は曲線１１８で表される積分システムの量子効率を作り出す。カラー感応は、可視スペクトルの一部のみに感受性があることがこの曲線から理解できる。一方、（赤外線遮断フィルタ特性を含むが）カラーフィルタが付されない同一のシリコンセンサの光感応が曲線１１２で示される。これは、パンクロ感応の一例である。カラー光感応曲線１１４、１１６、及び１１８とパンクロの感応曲線１１２とを比較すると、パンクロ感応は、いずれのカラー感応の３倍から４倍の広さのスペクトル光を感受できることは、明らかである。

図４において示される、より広いパンクロの感受性を使用すると、カラーフィルタを有する画素と、カラーフィルタを有しない画素とを混在することによって、画像センサの全体的な感受性を改良できることが分かっている。しかしながら、図４から分かるように、カラーフィルタ画素は、パンクロ画素よりも感受性がかなり低い。この状況では、パンクロ画素が適当な光に露光された結果、場面からの光強度の範囲がパンクロ画素の全ての測定範囲に亘る場合は、カラー画素は、ほとんど露光されないことになる。したがって、カラーフィルタ画素がパンクロ画素とほぼ同一の感受性を有するようにカラーフィルタ画素を調整することは、有利である。カラー画素の感受性は、パンクロ画素と比較してカラー画素の大きさを大きくすることなどによって、空間画素（spatial pixels）の減少を伴い、増加する。

次の図５、６、及び８において、画像センサに使用できる様々な画素配置又は画素パターンを示す。なお、これらの図のアレイ全体、又はそのサブセットのいずれかに示されるパターンは、単一のセンサアレイ内部で何百もの回数繰り返すことが可能な画素配置又は画素パターンを示すことは当然である。

図５において、３１０、３１２、３１４、３１６とラベルが付された様々なパターンにおいてＲ画素、Ｇ画素、Ｂ画素と、アレイパターンにＰで示されるパンクロ画素との組み合わせの使用を示す。３１６の最小限繰り返し部の代表例が太線の外形３０８で示される。図２を参照して既に説明したように、繰り返し部を使用するこれらを含む多数のパターンが可能であることが直ちに理解できる。例えば、パターン３１０は、ベイヤーパターンの拡張において、交互に配置されるパンクロ画素Ｐの行とともに、カラーＲＧＢ画素の行を交互に入れ替える。図６において、この交互配置は、カラーＲＧＢ画素とパンクロ画素とをそれぞれ表す３１０Ｂと３１０Ａとしてより明確に示される。

図６において、空集合でない２つの構成要素のサブセット３１０Ａと３１０Ｂとから図５のパターンの１つ３１０をどのように形成できるかを示す。構成要素のサブセットは、適当な空集合でないサブセットであり、互いに素であることは重要である。すなわち、これらの共通部分は空集合である。構成要素のサブセット３１０Ａは、パンクロ画素のみを包含し、構成要素のサブセット３１０Ｂは、カラー画素（ベイヤー配置）のみを包含する。さらに、構成要素のサブセット３１０Ａ及び３１０Ｂの結合は、パターン３１０で示される画素の完全な集合を形成する。数学的集合論の当業者に周知の用語では、構成要素のサブセット３１０Ａ及び３１０Ｂは、パターン３１０で示される集合の類を形成するということができる。画像処理の当業者に周知な用語では、構成要素への効果的なこの分割は、画像センサの画素の行及び列のスパースサンプリング（sparse sampling）を提供する。それぞれの構成要素のサブセットは、縦又は横の少なくとも１つの方向に疎に（sparsely）サンプリングされた結果、構成要素のサブセットはそれぞれ、場面の異なる部分を捕捉する。このパターンの最小限繰り返し部は、２列×４行である。

本発明において、図６を参照して最初に規定された用語「構成要素のサブセット」は、「構成要素」と簡単に短縮し、またより一般的には便宜的に「サブセット」と簡単に短縮する。すなわち、３１０Ａと３１０Ｂとは、パターン３１０で示されるアレイの構成要素と考えることができる。説明のために図６において、全体の画像アレイの８×８の小さな部分のみを示すが、実際にはそれぞれの方向に数百の画素を広げることができることは当然である。構成要素３１０Ａと３１０Ｂとは、センサ画素の全体の領域に亘って同様に広がるだろう。

図５及び６に示すような画素アレイのパターンを考えると、２種類の画素の別々に読み込みを実行すること、すなわち、パンクロＰ構成要素とカラーＲＧＢ構成要素との読み込みを別々に実行することが最も有利な点になる可能性がある。１つの実施形態では、ローリングシャッタのシーケンスは、カラー構成要素３１０Ｂと、パンクロ構成要素３１０Ａとの構成要素に分離された２種類の画素をそれぞれ相互に配列されたタイミングで読み込む。図７のタイミングチャートは、１つの実施形態において適用できる相互に配列されるローリングシャッタモードのタイミングを示す。ここで、パンクロ構成要素３１０Ａのパンクロ画素は、太線矢印３２０の上部線によって表されるローリングシャッタのタイミング（パン）で読み込まれ、リセットされる。カラー構成要素３１０Ｂのカラー画素は、輪郭的な矢印３２２で示されたローリングシャッタのタイミング（カラー）で読み込まれ、リセットされる。ここで、パンクロ画素とカラー画素との積分時間及びリセット／読み込み時間がオーバラップする結果として、一方の構成要素の画素は、他方の構成要素の画素が読み込まれるタイミングの少なくとも一部で露光される。

図７に示される相互に配列されたタイミング配置は、それぞれの画素の種類からの画像処理を単純化するという有利な点を有することができる。露光サイクルと読み込み／リセットサイクルとが同時に起こり、オーバラップすることを提供することにより、このタイミングのシーケンスは、パンクロ画素とカラー画素の双方をより効果的に有する画像センサを利用することに役に立つ。データアクセス時間は、減少することができる。また、パンクロ画素を使用して迅速に動きを検出することにより、動きをより早いサンプリングレートで検出できるので、画像せん断効果を削減することにつながる可能性がある。

具体的にいうと、図７において、時間間隔３２２の間、カラー画素３１０Ｂの第２のサブセットを露光する間に、パンクロ画素３１０Ａの第１のサブセットから画素信号を形成するために画素電荷を読み込む。そして、第１のサブセット信号をデジタル化し記憶する。そしてパンクロ画素３１０Ａの第１のサブセットからの画素信号を読み込む間の時間３２２の少なくとも一部で露光されたカラー画素３１０Ｂの第２のサブセットから画素信号を形成するために画素電荷を読み込む。そして、第２のサブセット信号をデジタル化し記憶する。

センサアレイの画素をさらにセグメント化して、更なる利点を生ずることができる。図８を参照すると、構成要素のサブセット３１６Ａ、３１６Ｂ、３１６Ｃ、及び３１６Ｄとを有するパターン３１６の類が示される。図８の「チェッカーボード」配列において、構成要素のサブセット３１６Ａと３１６Ｃとは、パンクロ画素Ｐを提供し、構成要素のサブセット３１６Ｂと３１６Ｄとは、カラー画素Ｒ、Ｇ、Ｂを提供する。図９のタイミングチャートは、ローリングシャッタのシーケンスを使用して、構成要素のサブセット３１６Ａ、３１６Ｂ、３１６Ｃ、及び３１６Ｄとして読み出す図８の完全なパターン３１６を有する完全な画像を取得できる方法を示す。

図８の実施例では、図９のタイミングチャートとの対応において示すように、パンクロ画素読み込み３１６Ａと３１６Ｃとは、カラー読み込み３１６Ｂと３１６Ｄとの間にこの順番で交互に行われる。４つの読み込み／リセット操作のサイクルは、パターン３１６で表される完全な画像を取得するために必要とされる。図３Ｂを参照して先に説明した従来のローリングシャッタ読み込みモードと比較すると、図９に示す配置は、同一の露光時間と同一の画素の組とを提供するが、別の方法での読み出しを提供する。

パンクロ構成要素は、画像を取得するために使用される１つ又は複数の従来のカラーを含むことができる。さらに、カラー構成要素は、単一のカラー又は２つのカラーのみから形成することができる。例えば、１つの実施形態では、カラー走査の１つは、緑色（Ｇ）光のみ取得する。他のカラー走査は、赤色のデータと青色のデータとを取得する。

図４のグラフを再び参照すると、パンクロ画素に提供されるモノクロフィルタは、ＲＧＢカラーフィルタを超える十分に改良された画素の効率を提供することに注目すべきである。このため、パンクロ画素は、カラー画素に対して短い露光時間を与えて、同一の光エネルギー量を取得することができる。この関係を考慮すると、図１０の相互に配置されるタイミング配置は、破線矢印３２２で示されるカラー画素露光時間が、実線矢印３２０で示されるパンクロ画素が提供される時間の２倍の時間であるシーケンスを提供する。全てのカラー画素の読み込みの間の間隔（すなわち、図１０の構成要素のサブセット３１６Ｂと３１６Ｄとの読み出しの間）において、パンクロ構成要素のサブセット３１６Ａ及び３１６Ｃの双方が読み出される。それぞれのカラー画素に割り当てる露光時間は、６読み込み間隔であるが、パンクロ画素の露光時間は、３読み込み間隔のみである。このタイミングシーケンスは、パンクロ画素とカラー画素とのスピードの平衡を保つことにも有益である可能性があることを理解できる。さらに、パンクロ画素をより頻繁に読み込むことができるために、動作検出及び動作補償は、パンクロ画像のデータを使用することによって、より効率的に実行することができる。

さらに、他の実施形態では、画素速度を変化させる利点を有することができる。例えば、図１１のタイミングチャートにおいて、パンクロ画素の一方の構成要素のサブセット３１６Ａは、２読み込み間隔に亘る読み込み／リセット／露光サイクルを有し、実線矢印３２４で示される短い積分時間を有する実施形態を示す。パンクロ画素の他方の構成要素のサブセット３１６Ｃは、長いより４読み込み間隔に亘る読み込み／リセット／露光サイクルを有し、実線矢印３２０で示される積分時間を有する。カラー画素の構成要素のサブセット３１６Ｂと３１６Ｄとは、さらに長い８読み込み間隔に亘る読み込み／リセット／露光サイクルを有し、破線矢印３２２で示される積分時間を有する。

図７、９、１０、及び１１に示すそれぞれのタイミング実施例において、図３Ａ及び３Ｂに示すように、全ての画素を順に読み込むのに必要な時間に応じてそれぞれの構成要素を読み出すことは、明らかである。具体的には、これは、ローリングシャッタの操作と捕捉した場面との間の相対的な動きのために生じるアーチファクトに関連する特定の動作を減らす有利な点を有する。

図７〜１１を参照して説明したように、ローリングシャッタ読み出しモードを使用したときに著しく有利な点を提示するが、センサ画素の構成要素への配置は、いくつかの種類のＣＭＯＳセンサデバイス及びＣＣＤセンサデバイスで使用されるグローバル転送読み出しモードを交互に行うモードにおける有利な点も有する。前述のように、グローバル転送に使用するデバイス回路は、いくつかの種類の遮光された記憶装置とともに提供しなければならない。

図１２を参照すると、センサから読み出すグローバル転送に使用される従来のタイミングシーケンスが示される。電荷は、破線３１８の間の幅広矢印３１７で示される時に、センサの感光性領域で蓄積される。露光間隔のそれぞれの終端部において、蓄積された電荷は、画素の感光性領域から遮光記憶領域にグローバルに転送される。グローバル転送は、破線３１８で示される。転送された電荷の読み出しは、斜線３０２で示されるように、行ごとに行われる。図示されるように、露光時間は、全ての行を読み出すのに必要な時間によって制限される。当業者に理解されるように、露光時間は、グローバル転送３１８の間のグローバルなリセットステップを加えることによって、図１２に示す時間よりも短くすることが可能である。

図１３において、グローバル転送に使用する本発明の実施形態を説明する。図１３と、図９で説明されたローリングシャッタの実施形態とを比較すると、４つの構成要素のサブセットの読み出しは同一であるが、それぞれの構成要素積分時間は、垂直の破線３１８で全体的に開始し終了する。４つの構成要素の露光時間は、オーバラップする。グローバル転送の実施形態の有利な点は、ローリングシャッタの実施形態と同一の有利な点を有し、前述のようにそれぞれの構成要素に動きせん断が存在しないという、さらなる有利な点を有する。さらに、グローバル転送を使用する構成要素の読み出しは、垂直型インタレースＣＣＤ、又はＡＰＳセンサの共有フローティング拡散部などの共有読み出し構造を有する画像センサにおいて実施できる。

また、ローリングシャッタのタイミングシーケンスを使用する実施形態において先に説明したように、グローバル転送は、異なる構成要素に使用することができる異なる期間を許容できる。図９、１０、及び１１と、図１３とを比較することにより、本発明に係るグローバル転送の実施形態は、（図１０と同様に）パンクロ構成要素とカラー構成要素との間で異なる露光時間を有し、又は（図１１と同様に）それぞれのパンクロ構成要素の間で異なる露光時間を有することが直に理解される。

複数の構成要素を有する類へのセンサ２０の画素の組織化は、いくつかの方法で達成される。本明細書で説明されるように、構成要素は、別々に読み出され、オーバラップする露光時間及び読み込み時間を有する。いくつかの実施形態を最適化するために、センサ段２８のセンサ２０（図１）における適当な読み出し回路が必要とされる。例えば、センサ２０の適当な読み出し回路は、図８に示す類のそれぞれの構成要素のサブセットの画素が前述のローリングシャッタ方法又はグローバル転送方法の何れかを使用して別々に読み出すことを可能とするために必要になる。

センサ２０に特に有用な読み出し回路配置は、電荷ビニングに関係する。すなわち、読み出し処理の間に２つ以上の感光性領域から電荷を組み合わせて、単一の読み出し信号を提供する。ＣＭＯＳセンサアレイのビニングをサポートする回路配置は、同一出願人によるGuidashの名称を「画素内の機能を共有するアクティブ画素センサ（Active Pixel Sensor with Inter-Pixel Function Sharing）」という米国特許第６１６０２８１号などで説明されるが、この特許は、フローティング拡散部が２つ以上の画素の間の共通の電荷記憶素子として共有される回路構成を開示する。ＣＣＤ画像センサにおいて、複数の画素からの電荷は、垂直型ＣＣＤ又は水平型ＣＣＤにおいてビニングされ、若しくは、電荷信号を感知するために使用するフローティング拡散部においてビニングされる。

図１４を参照すると、図８を参照して説明したチェックボードバターン３１６を表す単純化された図が示される。拡大された部分３３２は、読み出し回路によって提供されるビニング配置と、有利にはビニング配置とともに調整されるパターン３１６の最小限繰り返し部とを示す。ここで、４つの画素の群に配置され、４つのそれぞれの群は、共通のフローティング拡散部、又は他の一時的な電荷記憶素子３３０を共有する。それぞれのフローティング拡散部の周りに配置される４つの画素の２つ以上からの信号電荷は、画素から共通のフローティング拡散部に電荷を転送することによって、選択的にビニングされ、次いでビニングされた電荷が読み出される。それぞれのフローティング拡散部、又は他の電荷記憶素子３３０Ａ、３３０Ｂ、及びより一般的には素子３３０は、２つのパンクロ画素（Ｐ）、及び双方が同一の２つのカラー画素（Ｒ、Ｇ、又はＢ）によって共有されることは重要である。説明されていくように、共有されるフローティング拡散部を有する画素のこの配置は、いくつかの有利な点を提示し、いくつかの異なる読み出しスキームにおいて柔軟に使用される。

図１５Ａにおいて、共通のフローティング拡散部３３０（図１４）を共有するそれぞれ２×２の４つの画素の群から左上にパンクロ画素Ｐを有する構成要素３１６Ａを提供する図１４の共通のフローティング拡散部配置のための読み出しスキームを示す。図１５Ｂにおいて、共通のフローティング拡散部を共有するそれぞれ２×２の４つの画素の群からの組み合わせた同一色の対のカラー画素Ｒ、Ｇ、又はＢを有する構成要素３１６Ｅを提供する別の読み出しスキームを示す。図１５Ｃは、共通のフローティング拡散部を共有するそれぞれ２×２の４つの画素の群から右下にパンクロ画素Ｐを有する構成要素３１６Ｃを提供する別の読み出しスキームを示す。図１５Ａ、１５Ｂ、及び１５Ｃのそれぞれの構成要素のサブセット３１６Ａ、３１６Ｅ、及び３１６Ｃは、２つのパンクロ構成要素のサブセットと、カラー構成要素のサブセットとを有する３つの構成要素のサブセットのパターン３１６の類を示す。図１５Ｄは、共通のフローティング拡散部を共有するそれぞれ２×２の４つの画素の群からパングロマチック画素Ｐを組み合わせた対を有する構成要素３１６ＧＦを提供する別の読み出しスキームを示す。図１５Ｂと１５Ｄとそれぞれ示される構成要素のサブセット３１６Ｅと３１６Ｆとは、１つのパンクロ構成要素のサブセットと、１つのカラー構成要素のサブセットとを有する２つの構成要素のサブセットのパターン３１６の類を示す。図１５Ｅは、共通のフローティング拡散部を共有する２×２の４つの画素の群の４つの全ての画素から電荷を組み合わせる別の読み出しスキームを示す。

図１６に示される３つの構成要素の捕捉シーケンスは、ビニングを使用することによる有利な点を有するタイミングスキームである。このタイミングスキームは、図１５Ａ、１５Ｂ、及び１５Ｃにそれぞれ示される構成要素のサブセット３１６Ａ、３１６Ｅ、及び３１６Ｃを使用する。図１６において、水平矢印３２０は、それぞれの構成要素の画素の積分時間を示す。実線矢印の２つの行は、パンクロ画素からなる構成要素のサブセット３１６Ａと３１６Ｃとの積分時間を示し、破線矢印の行は、図１５Ｂに示すビニングされたカラー画素の対を有する構成要素のサブセットの積分時間を示す。カラー画素は、対でビニングされ、パンクロ画素は、別々に読み出されるので、パンクロ画素と比較したカラー画素の感受性における欠点のいくつかは、克服され、写真感度の相対的なバランスは、カラー構成要素のサブセットとパンクロ構成要素のサブセットの間で成し遂げられる。さらに、３つの構成要素のサブセットのみが読み出されるので、（図９の４つの構成要素と比較して）同一の構成要素のサブセットの２つの読み込みの間の遅延時間が減少し、動きの詳細を検出する条件が改良される。

図１７に示される２つの構成要素の捕捉シーケンスは、ビニングを使用することによる有利な点を有する他のタイミングスキームである。このタイミングスキームは、図１５Ｂ及び１５Ｄにそれぞれ示される構成要素のサブセット３１６Ｅ及び３１６Ｆを使用する。図１７において、実線矢印の行は、図１５Ｄに示すように対でビニングされるパンクロ画素からなる構成要素のサブセット３１６Ｅの積分時間を示し、破線矢印の行は、図１５Ｂに示すように対でビニングされるカラー画素を有する構成要素のサブセットの積分時間を示す。なお、このタイミングスキームの出力解像度は、画素アレイの最大解像度の１／４である。図１７のタイミングスキームは、カラー画素とパンクロ画素との間で図１６の写真感度バランスを有しないが、同一の構成要素のサブセットの２つの読み込みの間の遅延時間はさらに減少し、動きの詳細の検出条件がさらに改良される。

図１６及び図１７は、ビニングされた構成要素を有する構成要素読み出し配置を示すが、図９のビニングされない構成要素の読み出しと同様に、構成要素の積分時間が等しい。ビニングされた構成要素との関係で図１０及び図１１を考えると、本発明は、構成要素の積分時間が等しくなくビニングされる構成要素、又はいくつかの構成要素が他の構成要素よりも頻繁に読み出されてビニングされる構成要素を有する構成要素の読み出し配置を含むことは明らかである。

センサ２０の構成要素の構造又は数をダイナミックに変化できる構成要素の適応構造から、さらなる有利な点が取得される。したがって例えば、微光静止画像形成のために最適された第１の類の配置において、センサ２０は２つの構成要素を有し、一方の構成要素は、図１５Ｄに示されるように対でビニングされるパンクロ画素の全てを有し、他方の構成要素は、図１５Ｂに示されるように対でビニングされるカラー画素の全てを有する。操作者が選択可能な、又は動き感知に基づいて自動的に選択される第２の類の配置は、動画形成のために最適化される。第２の類の配置において、センサ２０は、図８及び９に説明されたような４つの構成要素を有する。

さらに他の実施形態において、モードシフトが使用される。グローバル転送モードは、ある種類の画像形成に使用され、ローリングシャッタモードは、同一のデジタルカメラの他の画像形成に使用されるか、又は本発明の構成要素配置を使用する他の画像処理装置に使用される。変形可能な、又はダイナミックに変化する構成要素構造又は読み出しモードを使用して、種々の画像形成状態に適応するセンサ２０のために、多くの変形が可能である。本発明に係る異なる構成要素構造、又は読み出しモードの間の遷移判定は、場面の状態の変化に従い、アルゴリズムによって自動的に行われるか、又はユーザが選択することによって行われる。

さらに、他の代替的な実施形態では、１つ又は複数の構成要素をセグメント化し、リセットタイミングと読み込みタイミングとを適宜調整する。本発明に係る方法は、パンクロ画素とカラー画素の双方を含むセンサのいくつかの画素配置とともに使用できることが理解できる。

本発明は、センサの一部のみを読み込むこと（ウィンドウイング又は関心領域（region of interest）として周知である）を含むが、本明細書で説明した構成要素のサブセットを使用してその部分を分類し、読み込む。

本発明に係る方法及び装置は、パンクロ画素とカラー画素とを組み合わせるセンサにおける固有の問題をいくつか軽減し、又は克服することに役立つことが可能であることが理解できる。画像センサを複数の個々の構成要素にセグメント化し、１つの構成要素から画像データを同時に取得することによって、本発明は、パンクロ構成要素をカラー構成要素よりも頻繁に読み出すことを可能にしながら、カラー画素とパンクロ画素との間の写真感度の相対的なバランスを維持する。

動画においては、本発明は、動きせん断を減少するのに役立ち、デブラ画像（de-blur images）に使用できるより正確な動き検出を提供する。先の開示よりも頻繁な間隔で取得されている全体の場面から画像データを提供するので、本発明は、動き推定のためにより正確なデータを提供する。デューティサイクルを減らすことによって、構成要素間の移動が減少し、動き推定と補償タスクは簡素化される。

パンクロ画素をより頻繁に読み出しできるので、短い積分時間で本質的に高い感受性を利用することができる。また、パンクロ画素からの信号は、カラーデータよりも迅速に処理することができる。

センサアレイの一部の画素は、本発明を使用するときに構成要素に割り当てることができない。これらは、画像形成画素、不使用画素、又はフラッシュの照明などの状態を感知するのに使用する非画像形成画素とすることができる。

１０ 光
１１ 画像段
１２ レンズ
１３ フィルタブロック
１４ アイリス
１６ センサブロック
１８ シャッタブロック
２０ センサ
２２ アナログ信号プロセッサ
２４ Ａ／Ｄ変換器
２６ タイミング生成器
２８ センサ段
３０ バス
３２ ＤＳＰメモリ
３６ デジタル信号プロセッサ
３８ 処理段
４０ 露光制御器
５０ システム制御器
５２ バス
５４ プログラムメモリ
５６ システムメモリ
５７ ホストインタフェース
６０ メモリカードインタフェース
６２ ソケット
６４ メモリカード
６８ ユーザインタフェース
７０ ファインダ表示装置
７２ 露光表示装置
７４ ユーザ入力
７６ 状態表示装置
８０ ビデオエンコーダ
８２ 表示制御器
８８ 画像表示装置
１００ ブロック
１０２ ブロック
１１０ フィルタ透過曲線
１１２ パンクロ量子効率曲線
１１４ 赤色量子効率曲線
１１６ 緑色量子効率曲線
１１８ 青色量子効率曲線
３００ リセット操作
３０２ 読み込み操作
３０８ 最小限繰り返し部
３１０ 画素パターン
３１０Ａ 構成要素のサブセット
３１０Ｂ 構成要素のサブセット
３１２ 画素パターン
３１４ 画素パターン
３１６ 画素パターン
３１６Ａ 構成要素のサブセット
３１６Ｂ 構成要素のサブセット
３１６Ｃ 構成要素のサブセット
３１６Ｄ 構成要素のサブセット
３１６Ｅ 構成要素のサブセット
３１６Ｆ 構成要素のサブセット
３１６Ｇ 構成要素のサブセット
３１７ グローバル転送の積分時間
３１８ グローバル転送
３２０ パンクロ積分時間
３２２ カラー積分時間
３２４ パンクロ積分時間
３３０ 共有の記憶素子
３３０Ａ 共有の記憶素子
３３０Ｂ 共有の記憶素子
３３２ 画素アレイの拡大部

Claims (13)

1. 画像センサアレイから画像データを取得する方法であって、
   ａ）電荷を積分するパンクロ画素の第１の構成要素のサブセットと、電荷を積分するカラー画素の第２の構成要素のサブセットとを提供するステップと、
   ｂ）カラー画素の前記第２の構成要素のサブセットを露光する間に、前記パンクロ画素の前記第１の構成要素のサブセットから、画素信号を作り出すために画素電荷を読み込み、そして、前記第１の構成要素のサブセット信号をデジタル化し記憶するステップと、
   ｃ）前記パンクロ画素の前記第１の構成要素のサブセットからの画素信号の前記読み込みの間の少なくとも一部の時間で露光されたカラー画素の前記第２の構成要素のサブセットから、画素信号を作り出すために画素電荷を読み出し、そして、前記第２の構成要素のサブセット信号をデジタル化し記憶するステップと、
   を含むことを特徴とする方法。
2. 前記第１の構成要素のサブセットは、前記第２の構成要素のサブセットを読み出す前に完全に読み出される請求項１に記載の方法。
3. パンクロ画素とカラー画素とのどちらかの少なくとも１つの追加の構成要素のサブセットがある請求項１に記載の方法。
4. 前記画像センサによって場面の複数の画像が捕捉され、そして、画素の構成要素のサブセットを読み出す間に、画素の残りの構成要素のサブセットは、電荷を積分している請求項１に記載の方法。
5. 前記画像センサアレイは、パンクロＰ画素と、第１のカラーＲ画素と、第２のカラーＧ画素と、第３のカラーＢ画素とを有し、前記画素は、
   Ｐ Ｇ Ｐ Ｒ
   Ｇ Ｐ Ｒ Ｐ
   Ｐ Ｂ Ｐ Ｇ
   Ｂ Ｐ Ｇ Ｐ
   という最小限繰り返し部を有して配置される請求項１に記載の方法。
6. ステップｂ）及びステップｃ）の双方における画素電荷の前記読み出しは、画素の所与の構成要素のサブセットからそれぞれの画素の個々のフローティング拡散部内の電荷を同時に送り、記憶し、前記第１の構成要素のサブセット信号と前記第２の構成要素のサブセット信号とをそれぞれ作り出すために、前記フローティング拡散部から対応する画素信号をシリアルに読み出すステップを含む請求項１に記載の方法。
7. ステップｂ）及びステップｃ）の双方における画素電荷の前記読み出しは、画素の所与の構成要素のサブセットからそれぞれの画素の個々の電荷結合素子内の電荷を同時に送り、記憶し、前記第１の構成要素のサブセット信号と前記第２の構成要素のサブセット信号とをそれぞれ作り出すために、前記電荷結合素子から対応する画素信号をシリアルに読み出すステップを含む請求項１に記載の方法。
8. ステップｂ）及びステップｃ）における画素電荷の前記読み出しは、電子ローリングシャッタシーケンスを使用して実行される請求項１に記載の方法。
9. 画素の前記第１の構成要素のサブセットは、画素の前記第２の構成要素のサブセットと異なる時間、場面からの光に露光される請求項１に記載の方法。
10. 画素の前記第１の構成要素のサブセットを前記第２の構成要素のサブセットより頻繁に読み出すように、画素の前記第１の構成要素のサブセットは、画素の前記第２の構成要素のサブセットと異なる時間、場面からの光に露光される請求項１に記載の方法。
11. 画像センサアレイから画像データを取得する方法であって、
    ａ）画像センサアレイを提供し、電荷を積分するパンクロ画素の第１の構成要素のサブセットと、電荷を積分するカラー画素の第２の構成要素のサブセットとの第１の組織と、パンクロ画素の第１の異なる構成要素のサブセットと、カラー画素の第２の異なる構成要素とのサブセットを有する第２の組織とに前記画像の画素を選択的に組織化するステップと、
    ｂ）カラー画素の前記第２の構成要素のサブセットを露光する間に、前記パンクロ画素の前記第１の構成要素のサブセットから、画素信号を作り出すために画素電荷を読み込み、そして、前記第１の構成要素のサブセット信号をデジタル化し記憶するステップと、
    ｃ）前記パンクロ画素の前記第１の構成要素のサブセットからの画素信号の前記読み込みの間の少なくとも一部の時間で露光されたカラー画素の前記第２の構成要素のサブセットから、画素信号を作り出すために画素電荷を読み出し、そして、前記第２の構成要素のサブセット信号をデジタル化し記憶するステップと、
    ｄ）写真条件に応じて前記画像の画素の前記組織を変更するステップと、
    を含むことを特徴とする方法。
12. 写真条件は、照明レベル、動きの度合い、及び焦点の設定の１つ又は複数を含む請求項１１に記載の方法。
13. ステップｂ）及びステップｃ）に関連するタイミングは、写真条件に従って変更される請求項１１に記載の方法。

Images