JP2018516013A - セミグローバルシャッタイメージャ - Google Patents

Abstract

本開示は、画像センサを対象とする。画像センサは、複数のブロックに分割された２次元ピクセルアレイであって、複数のブロックのそれぞれは、少なくとも２つの異なる行および２つの異なる列において配列されるピクセルを備える、２次元ピクセルアレイと、複数のブロックを連続的に露出するシャッタ機構であって、各ブロック内の全てのピクセルは、同期して露出される、シャッタ機構とを含む。２次元ピクセルアレイは、Ｍ個の行のピクセルを含み、Ｍは、１００以上であり、２次元ピクセルアレイは、Ｎ個の列を含み、Ｎは、１００以上である。

Description

（関連出願への相互参照）
本出願は、２０１５年５月１９日に出願された「ＳＥＭＩ−ＧＬＯＢＡＬ ＳＨＵＴＴＥＲ ＩＭＡＧＥＲ」という題名の米国仮特許出願第６２／１６３，７３０号に対して優先権を主張する。上記文献は、その全体として参照することによって本明細書において援用される。

（発明の分野）
本開示は、デジタル撮像の分野に監視、特に、複数のピクセルブロックを連続的に捕捉するが、各ブロック内のピクセルは同期して捕捉され得る、セミグローバルシャッタイメージャに関する。

（発明の背景）
画像センサ（またはイメージャ）は、概して、画像を形成するために要求される情報を検出および伝達し得る画像捕捉デバイス（例えば、カメラ）の一部を指す。デジタルカメラでは、画像センサは、典型的には、その上で画像が捕捉されるシリコン半導体であり得る。構造的に、センサは、光子を捕捉し、それらを電子に変換する感光性ダイオード（すなわち、フォトサイト）のアレイから成ることができる。各フォトサイト内の電子の蓄積は、電子信号（例えば、電圧）に変換されることができ、これは、順に、画素またはピクセルを表すデジタルデータに変換されることができる。これらの要素またはピクセルは、次いで、最終画像を組み立てるために使用されることができる。最終画像は、カメラのメモリ内に記憶され、ディスプレイ上で閲覧される、および／またはさらに操作されるように読み出されることができる。

理想的には、良好に設計された画像センサは、カメラが比較的に高速のフレームレートを有することを可能にし、これは、カメラが短い時間周期以内により多数の画像を捕捉すると同時に、結果画像におけるモーションアーチファクト等の望ましくない効果の量を最小限にすることによって画像品質を維持することを可能にする。

（発明の簡単な要約）
本開示は、概して、複数のピクセルブロックを連続的に捕捉および処理し、各ブロック内のピクセルが同期して捕捉され得る、セミグローバルシャッタイメージャおよび機構に関する。画像センサのセンサ要素（またはピクセル）は、複数のピクセルブロックに分割されることができる。同一のブロック内の全てのピクセルは、同時に光に露出されることができる。その後、露出されたピクセルのブロックからのデータが依然として読み出されている間、別のピクセルのブロックが、露出されることができる。本プロセスは、全てのピクセルが露出され、読み出されるまで繰り返されることができる。これは、ピクセルの露出とピクセル内に捕捉される情報が分析されるときとの間の遅延を有意に低減させ、それによって、カメラのフレームレート（または速度）を増加させることができる。加えて、所与のセミグローバルシャッタ画像センサに対する最適な数のピクセルブロックを設定し、同時に各ピクセルブロック内の全てのピクセルを露出することによって、セミグローバルイメージャはまた、ピクセルブロックの連続的露出によって引き起こされ得る、結果画像へのある形態の望ましくない歪み（例えば、モーションアーチファクト）を低減させることができる。

概して、画像センサが、複数のブロックに分割され、複数のブロックのそれぞれは、少なくとも２つの異なる行および２つの異なる列において配列されるピクセルを備える、２次元ピクセルアレイと、複数のブロックを連続的に露出し、各ブロック内の全てのピクセルは、同期して露出される、シャッタとを含み得る。シャッタは、例えば、電子的に制御され得る。ピクセルアレイは、種々の構成を有し得る。例えば、ピクセルアレイは、Ｍ個の行のピクセルを伴う長方形アレイを含み得、Ｍは、１００以上であり、各ブロックの高さは、Ｍ個の行の組み合わせられた高さの少なくとも２０分の１であるが、Ｍ個の行の組み合わせられた高さの５分の１未満である。別の実施例として、ピクセルアレイは、Ｎ個の列を伴う長方形アレイを含み得、Ｎは、１００以上であり、各ブロックの幅は、Ｎ個の列のピクセルの組み合わせられた幅の少なくとも２０分の１であるが、Ｎ個の列の組み合わせられた幅の５分の１未満である。ブロックのいくつかは、他の好適な配列および幾何学的形状における異なる数のピクセルを含み得る一方、ブロックのいくつかは、同数のピクセルを含み得る。

いくつかの変形例では、画像センサは、タイミング信号をブロックのそれぞれに伝送する、タイミング制御モジュールを含む、またはそれと併用するために構成され得、タイミング信号は、ブロックの露出のシーケンスを開始する。さらに、画像センサは、複数のブロック毎の別個の読出電子機器を含む、またはそれと併用するために構成され得、読出電子機器は、対応するブロック内のピクセルからの電子信号を受信および処理することが可能であり得る。そのような別個の読出電子機器は、例えば、電子信号を増幅する増幅器と、電子信号をデジタルデータに変換するアナログ／デジタルコンバータとを含み得る。さらに、画像センサの一変形例では、読出電子機器は、第１のブロックの露出が完了した直後にピクセルの第１のブロックから電子信号を読み出し得、第２のブロックの露出が、第１のブロックからの電子信号の読出が完了する前に開始する。別の変形例では、第２のブロックの露出と第１のブロックの露出との間に遅延が存在し得、遅延は、第２のブロックがその露出を完了する前に第１のブロックの読出を可能にするために十分に長い。

概して、画像センサを用いて画像を捕捉する方法が、画像センサの２次元ピクセルアレイ画像面積を複数のブロックに分割することであって、複数のブロックのそれぞれは、少なくとも２つの異なる行および２つの異なる列において配列されるピクセルを備える、ことと、複数のブロックを連続的に露出することであって、各ブロック内の全てのピクセルは、同期して露出される、こととを含み得る。本方法は、Ｍ個の行のピクセルを含む２次元ピクセルアレイを伴う画像センサ等の種々の構成の画像センサを用いて使用され得、Ｍは、１００以上であり、各ブロックの高さは、Ｍ個の行のピクセルの組み合わせられた高さの少なくとも２０分の１であるが、Ｍ個の行の組み合わせられた高さの５分の１未満である。別の実施例として、本方法は、Ｎ個の列を含む２次元ピクセルアレイを伴う画像センサを用いて使用され得、Ｎは、１００以上であり、各ブロックの幅は、Ｎ個の列のピクセルの組み合わせられた幅の少なくとも２０分の１であるが、Ｎ個の列の組み合わせられた幅の５分の１未満である。

本方法は、タイミング信号をブロックのそれぞれに伝送することを含み得、タイミング信号は、ブロックの露出のシーケンスを開始する。本方法はまた、複数のブロックの少なくとも第１のブロックおよび第２のブロック内に配列される電子信号を連続的に読み出すことを含み得る。一変形例では、ピクセルの第１のブロックからの電子信号は、第１のブロックの露出が完了した直後に読み出され得、第２のブロックの露出が、第１のブロックからの電子信号の読出が完了する前に開始し得る。さらに、第２のブロックの露出と第１のブロックの露出との間に遅延が存在し得、遅延は、第２のブロックの露出が完了する前に第１のブロックの読出を可能にするために十分に長い。

概して、デジタルカメラが、複数のブロックに分割される２次元ピクセルアレイを含み、複数のブロックのそれぞれは、少なくとも２つの異なる行および少なくとも２つの異なる列において配列されるピクセルを含む、画像センサと、光を画像センサに指向させる、レンズと、複数のブロックを連続的に露出し、各ブロック内の全てのピクセルは、同期して露出される、シャッタと、ブロックの露出のシーケンスのタイミングを制御する、タイミング制御モジュールと、複数のブロック毎の読出電子機器であって、対応するブロック内のピクセルからの電子信号を受信および／または処理することが可能である、読出電子機器と、読出電子機器の出力から画像を組み立てる、カメラ特定用途向け集積回路（ＡＳＩＣ）とを含み得る。

図１は、本開示のある実施形態による、デジタルカメラ１００の例示的構成要素を図示する、ブロック図である。 図２ａは、グローバルシャッタを伴うＣＣＤ画像センサ２００の例示的構成要素を図示する、ブロック図である。図２ｂは、ローリングシャッタを伴うＣＭＯＳ画像センサ２１０の例示的構成要素を図示する、ブロック図である。 図３は、本開示のある実施形態による、セミグローバルシャッタを伴う画像センサ３００の例示的構成要素を図示する、ブロック図である。 図４は、本開示のある実施形態による、図３のセミグローバルシャッタイメージャにおけるブロックのうちの３つの露出および読出の例示的タイムラインを図示する。 図５ａ−５ｃは、本開示のある実施形態による、種々のセミグローバルシャッタイメージャに対して好適な種々のピクセルブロック構成を図示する。

（発明の詳細な説明）
以下の好ましい実施形態の説明では、本明細書の一部を形成し、実践され得る具体的実施形態が例証として示される、付随の図面を参照する。他の実施形態も、使用され得、構造的変更が、本開示の実施形態の範囲から逸脱することなく成され得ることを理解されたい。

本明細書に使用されるように、用語「デジタルカメラ」は、画像センサを伴う任意のデジタル画像／ビデオ捕捉デバイスを指し得る。用語「画像センサ」および「イメージャ」は、１つ以上の画像を形成する情報を検出および伝達し得る、デジタルカメラにおける１つ以上の構成要素を説明するために同義的に使用されることができる。画像センサは、フォトサイト等のセンサ要素のアレイから成る画像面積を含むことができる。用語「フォトサイト」、「感光性ダイオード」、および「フォトダイオード」は、本文書において同義的に使用される。各センサ要素はまた、画像センサの「ピクセル」とも称され得る。用語「ブロック」および「ピクセルブロック」は、画像センサの複数のピクセルを含む画像面積内のある領域を指し得る。ピクセルの各ブロックは、本開示の実施形態による、任意のサイズおよび幾何学的形状であり得ることに留意されたい。好ましい実施形態では、ブロックは、連続的である、および／または面積と境界との最大実践比率を有することができる。用語「画像」、「結果画像」、および「最終画像」は、デジタルカメラの画像センサによって捕捉されるデジタル画像を指すように同義的に使用されることができる。画像は、独立画像またはビデオのフレームであり得る。

本開示は、概して、複数のピクセルブロックを連続的に捕捉および処理し、各ブロック内のピクセルが同期して捕捉され得る、セミグローバルシャッタイメージャおよび機構に関する。画像センサのセンサ要素（またはピクセル）は、複数のピクセルブロックに分割（または群化）されることができる。同一のブロック内の全てのピクセルは、同時に光に露出されることができる。露出は、集積要素に対する任意の好適な電気制御によって達成されることができる。例えば、これは、電荷表面を接地に結び付けることと、要素から読出ラッチへのＣＭＯＳトランジスタを閉にすることとの組み合わせを伴うことができる。その後、露出されたピクセルのブロックからのデータが依然として読み出されている間、別のピクセルのブロックが、露出されることができる。本プロセスは、全てのピクセルが露出され、読み出されるまで繰り返されることができる。これは、ピクセルの露出とピクセル内に捕捉される情報が分析されるときとの間の遅延を有意に低減させることができる。加えて、所与の画像センサに対する最適な数のピクセルブロックを設定し、同時に各ピクセルブロック内の全てのピクセルを露出することによって、セミグローバルイメージャはまた、ピクセルブロックの連続的露出によって引き起こされ得る、結果画像へのある形態の望ましくない歪み（例えば、モーションアーチファクト）を低減させることができる。

図１は、本開示のある実施形態による、デジタルカメラ１００の例示的構成要素を図示する、ブロック図である。デジタルカメラ１００は、レンズ１０２と、画像センサ１０４と、アナログ／デジタル（Ａ／Ｄ）コンバータ１０６と、カメラ特定用途向け集積回路（ＡＳＩＣ）１０８と、記憶デバイス１１０と、１つ以上の入力／出力（Ｉ／Ｏ）デバイス１１２とを含むことができる。カメラ１００上のシャッタボタン（図１に図示せず）が押されると、光が、レンズ１０２を通過し、画像センサ１０４に到達することができる。画像センサ１０４は、光を捕捉することが可能なセンサ要素（例えば、フォトサイト）１１４の２次元アレイを含むことができる。あるタイプの画像センサ（例えば、ＣＣＤセンサ）では、電荷が、捕捉された光の量に基づいて、各フォトサイト内に蓄積することができる。蓄積された電荷は、次いで、Ａ／Ｄコンバータ１０６によってデジタル信号（例えば、デジタル数字）に変換されることができる。他のタイプの画像センサ（例えば、ＣＭＯＳセンサ）では、各フォトサイトは、どの程度光が露出の瞬間にピクセルに衝突しているかを読み取り、いずれの電荷も貯蔵することなくそれを電子信号に変換することができる。電子信号は、次いで、アナログ／デジタル（Ａ／Ｄ）コンバータ１０６によってデジタル化され、次いで、カメラ特定用途向け集積回路（ＡＳＩＣ）１０８によって処理され、画像要素を形成することができる。

カメラＡＳＩＣ１０８が、画像センサ１０４のあらゆるフォトサイト１１４によって捕捉されるデータを具現化するデジタル信号の処理を終了すると、最終画像が、組み立てられることができる。画像を形成するプロセスは、結果画像から背景雑音を除去する随意のステップを含むことができる。画像は、記憶装置１１０内に記憶される、および／またはＩ／Ｏデバイス１１２を介して出力されることができる。記憶デバイス１１０は、限定ではないが、メモリカード、ハードドライブ、内部メモリ、およびクラウド記憶サービス等の外部記憶空間を含む、任意の好適な記憶デバイスであり得る。Ｉ／Ｏデバイス１１２は、画像をデジタルカメラ１００のディスプレイ（図１に図示せず）に出力する、またはこれをネットワークを経由して別のデバイスに伝送することができる。

図１は、図１に示されない他の構成要素を含み得る、デジタルカメラ１００の例示的構成要素のいくつかのみを図示することを理解されたい。例えば、デジタルカメラ１００はまた、フラッシュ、ズームおよび焦点モジュール、アンチエイリアシングフィルタ、バッテリ、ならびにデジタルカメラにおいて一般的に見出される他の構成要素を含むことができる。カメラＡＳＩＣ１０８は、カメラＡＳＩＣ１０８によって処理されないデジタルカメラの動作を実施するように設計される中央処理ユニット（ＣＰＵ）に接続されることができる。

本開示の実施形態は、概して、図１に図示される画像センサ１０４および画像センサ１０４と関連付けられるシャッタ機構を対象とする。デジタルカメラ１００におけるシャッタ機構は、画像がカメラ１００によって取得されるとき、画像センサ１０４のセンサアレイの露出を制御することができる。シャッタ機構は、電子的、機械的、またはその両方の組み合わせであり得る。タイミング機構が、カメラに内蔵され、画像センサのピクセルに対する光露出時間を制御し、シャッタ機構に応じて、ピクセルが露出される順序を制御することができる。現在、殆どのデジタルカメラは、２つのタイプのシャッタ機構のうちの１つ、すなわち、グローバルシャッタまたはローリングシャッタのいずれかを採用している。以下の段落に説明されるように、これらの２つのタイプのシャッタ機構は、その個別の利点および欠点を有する。

グローバルシャッタは、典型的には、電荷結合素子（ＣＣＤ）画像センサを伴うカメラにおいて見出されることができる。図２ａは、グローバルシャッタを伴うＣＣＤ画像センサ２００の例示的構成要素を図示する、簡略化されたブロック図である。例証を目的として、ＣＣＤ画像センサ２００は、４×４の２次元ピクセルアレイ２０２を含むように示されるが、画像センサは、任意の構成において整合されるピクセル、または任意の好適な構成において配列されるピクセルの任意の数の列および行を含み得ることを理解されたい。実際に、ＣＣＤ画像センサが数百またはさらには数千のピクセルの行および／または列を有することは、珍しくはない。各ピクセルは、画像センサ２００のフォトサイトに対応し、光子を捕捉することが可能であり得る。ピクセル２０２は、電子転送レジスタ２０４に接続されることができ、これは、順に、限定ではないが、増幅器およびＡ／Ｄコンバータを含み得る、読出電子機器２０６に接続されることができる。また、ＣＣＤ画像センサ２００は、明確化を目的として図２ａから省略される他の構成要素を含み得ることを理解されたい。

図２ａのイメージャ２００のグローバルシャッタは、シャッタが「開」であるとき、光が事前判定された時間周期（シャッタ時間または露出時間）にわたってイメージャ２００の全センサアレイに到達し得るように動作することができる。その時間中、画像センサ２００の全てのピクセル２０２は、並行して光を捕捉する（例えば、電荷を蓄積する）ことができる。シャッタが遮断されると、光は、もはやセンサに到達することはできず、ピクセルは、非アクティブな状態になり得る。ＣＣＤデジタルカメラにおけるグローバルシャッタは、露出を制御するために、電子的に制御されることができる。

捕捉が完了した後、ピクセル内に収集された信号は、例えば、一度に１ピクセルずつ、電子転送レジスタ２０４に転送されることができ、そこから、それらは、読出電子機器２０６によって読み出され、処理されることができる。本プロセスは、信号を増幅することおよび／またはそれらをデジタルフォーマット（例えば、デジタル数字）に変換することを含むことができ、これは、結果画像を形成することができる。

デジタル撮像では、結果画像は、いくつかのキーポイントを含むことができ、これらは、画像の１つ以上の高度に位置特定可能かつ認識可能な特徴を含む、画像の小区分（例えば、５×５または１０×１０ピクセルブロック）によって定義されることができる。キーポイントは、未加工ピクセルのうちの１つ以上を処理することによって生産されることができる。各キーポイントは、これが連続的に取得される一連の画像の異なるフレームにおいて認識され得るようにキーポイントを記述する、記述子を含むことができる。カメラの移動およびこれが向いている方向は、異なるフレームからの種々のキーポイントを合致させることによって判定されることができる。本アプローチは、多くの場合、ＳＬＡＭ（同時位置特定およびマッピング）アルゴリズムを実装するときに使用される。

グローバルシャッタイメージャによって採用される電子転送レジスタ２０４および読出電子機器２０６に対する本連続的電荷転送アプローチは、特に、画像センサが多数のピクセルを含む場合、イメージャの各ピクセルからのデータが連続的に読み出される必要があるため、時間がかかり得る。それは、最後のピクセル（グローバルシャッタイメージャ内の全ての他のピクセルとともに）の露出と、これらのピクセルが分析され得るとき（すなわち、全ての他のピクセルが分析された後）との間の遅延が有意であり得ることを意味し得る。言い換えると、これらの最後のピクセルから読み出された情報が最終的に処理されるとき、カメラと風景との間に相対的移動が存在した場合、これは、必ずしも、風景に対するカメラの現在の位置を正確に反映するわけではない。例えば、典型的なグローバルシャッタＣＣＤイメージャが、全てのピクセル値を読み出し、画像のキーポイントを計算するために、露出間で約１５ミリ秒かかる場合、最後のピクセルからの情報が分析されるまでに１５ミリ秒の遅延が存在し得、これは、例えば、カメラの移動（または捕捉されている風景における移動）の判定に影響を及ぼし得る。これは、グローバルシャッタイメージャの主要な欠点のうちの１つである。

グローバルシャッタは、全てのピクセルを同時に露出することによって、ＣＣＤ画像センサが画像全体を全く同一の瞬間に捕捉することを可能にするため、グローバルシャッタの利点のうちの１つは、結果画像が、通常、比較的に高い品質を有し得、モーションアーチファクト等の有意な望ましくない効果がないことである。全てのキーポイント（例えば、小ピクセルブロック）は、完全に保たれ、一連の連続的画像において容易に識別可能であり得る。

第２のタイプのシャッタ機構であるローリングシャッタは、典型的には、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを伴うデジタルカメラにおいて見出されることができる。グローバルシャッタとは対照的に、ローリングシャッタは、個々のピクセルまたは個々のピクセルの列／行が連続的に露出されることを可能にすることができ、したがって、第１のピクセル（または第１のピクセルの列／行）における情報は、次のピクセル（または次のピクセルの列／行）が光に露出されている間に読み出されることができる。ＣＭＯＳ画像センサは、ピクセル（またはピクセルの列／行）を体系的に事前判定された順序でオン／オフにすることによって、本ローリング効果を達成することができる。

図２ｂは、ローリングシャッタを伴うＣＭＯＳ画像センサ２１０の例示的構成要素を図示する、ブロック図である。例証を目的として、ＣＭＯＳ画像センサ２１０は、４×４の２次元ピクセルアレイを含むように示されるが、画像センサは、任意の構成において整合される、または任意の好適な構成において配列されるピクセルの任意の数の列および行を有し得ることを理解されたい。図２ｂの２次元ピクセルアレイの各ピクセル２１１、２１２、２１３は、光を電子信号に変換することが可能なフォトダイオードであり得る。画像センサ２１０にオーバーレイする導電性相互接続２１４、２１８のグリッドが、タイミングおよび読出信号を印加するために、ピクセルを行および列で接続することができる。特に、相互接続は、クロックおよびタイミング制御モジュール２１６から各ピクセル（または各ピクセルの行／列）にタイミング信号を伝送するために、行信号ライン（集合的に２１４）を含むことができる。タイミング信号は、いつ各個々のピクセルまたはピクセルの行が光に露出されるか、また、いつ各ピクセルからの電子信号が読み出されるかを制御することができる。相互接続はまた、ピクセルからの信号を読み出し、さらなる処理のためにそれらを読出電子機器（集合的に２２０）に伝送するために、垂直出力ライン（集合的に２１８）を含むことができる。図２ｂに図示されるように、各出力ラインは、別個の読出電子機器２２０に接続されることができる。出力ライン毎の読出電子機器２２０は、例えば、増幅器およびＡ／Ｄコンバータを含むことができ、これらは、信号を増幅し、デジタルフォーマット（例えば、デジタル数字）に変換することができる。デジタル情報は、最終画像を組み立てるために使用されることができる。いくつかのＣＭＯＳセンサでは、読出電子機器２２０の少なくともいくつかが、画像センサの個々のピクセル内に内蔵されることができる。また、図２ｂのＣＭＯＳ画像センサ２１０は、明確化を目的として図から省略される他の構成要素を含み得ることを理解されたい。

ＣＭＯＳセンサ２１０の本アーキテクチャは、そのピクセル２１２のそれぞれ（または各ピクセルの行／列）が独立してオン／オフにされ、ピクセル（またはピクセルの行／列）からの信号が連続的に読み出されることを可能にする。動作時、クロックおよびタイミング制御モジュール２１６は、タイミング信号を個々のピクセル（または個々のピクセルの行／列）に送信し、その露出のタイミングを制御することができる。１つのピクセルが露出されるとすぐに、その値が、読み出されることができる。事実上、露出と読出との間にいかなる遅延も存在しない。加えて、各ピクセル（またはピクセルの行／列）に関するシャッタリング効果は、全てのピクセルを横断してローリングベースで起こるようにプログラムされることができる。例えば、第１のピクセル２１１のピクセル値が読み出されているとき、第２のピクセル２１２は、その捕捉プロセスを終了することができる。同様に、第２のピクセル２１２のピクセル値が読み出されているとき、第３のピクセル２１３は、光を捕捉することができる。同様に、ある行のピクセルがともに露出され、読み出されているとき、次の行は、前の行がその読出を終了する前に光を捕捉し始めることができる。本質的に、全てのピクセル（またはピクセルの行）は、全ての他のピクセル（または次のピクセルの行）よりも少し後で読み出される。全てのピクセル（または行）読出は、例えば、１マイクロ秒分の１だけその近傍に対して非対称にされることができる。したがって、殆どの場合、少なくとも１つのピクセルが、露出され、任意の個々のピクセルに対する露出と読出との間には、殆ど遅延が存在しない。これは、ローリングシャッタイメージャを伴うカメラが、ピクセルの少なくともいくつかに関して、ピクセルの露出とピクセルから読み出される情報の分析との間の遅延を低減させることを可能にする。低減は、特に、それらがグローバルシャッタイメージャによって処理される場合と比較して、最後に露出され、読み出されるピクセルに関して有意であり得る。

しかしながら、ローリングシャッタは、個々のピクセル（または個々のピクセルの行／列）に対する露出時間をずらすため、異なるピクセルによって捕捉される情報は、時間内の異なる瞬間に捕捉されるであろう。捕捉されている風景内の物体とカメラとの間に相対的移動が存在する場合、結果画像は、異なるピクセルのずらされた露出に起因して、ウォブル、スキュー、スミア等の顕著なモーションアーチファクトを有し得る。これは、ローリングシャッタイメージャの欠点のうちの１つである。加えて、キーポイント内の全てのピクセルが同時に露出されるわけではないことの結果として、１つ以上のキーポイントが、認識できない程度に歪曲され得る。歪曲されたキーポイントは、もはや一連の連続的フレーム内の対応する特徴を識別することが可能ではなく、したがって、カメラのその独自の移動または捕捉されている物体の移動を追跡する能力に影響を及ぼし得る。

要するに、上記に議論されるシャッタ機構の両方が、有意な欠点を有し、すなわち、グローバルシャッタイメージャは、ピクセル露出と分析との間に遅延を引き起こし得、ローリングシャッタイメージャは、結果として生じる画像に望ましくない効果（例えば、歪み）を引き起こし得る。これらの短所を最小限にするために、以下の実施形態は、本明細書では「セミグローバルシャッタ」と称される、第３のタイプのシャッタ機構を伴う画像センサを開示する。セミグローバルシャッタは、ピクセル露出と分析との間の遅延を低減させる一方、ある形態の望ましくない歪みを低減させることができる。

具体的には、セミグローバルシャッタを伴う画像センサは、その２次元ピクセルアレイを複数のピクセルブロックに分割（または群化）し、各ブロックは、画像面積のある領域内に複数のピクセルを含むことができる。セミグローバルシャッタは、同一のブロック内の全てのピクセルが同時に露出され、群として読み出されることを可能にすることができる。したがって、セミグローバルシャッタは、少なくとも各ピクセルブロック内でモーションアーチファクトのない画像を捕捉することが可能であり得る。ブロックは、ローリングベースで露出され、読み出されることができる。つまり、１つのピクセルのブロックからのデータが読み出され、処理されている間、次のピクセルのブロックが、露出されることができる。これは、ブロックが重複または連続的様式で露出されることを可能にすることができ、これは、グローバルシャッタイメージャが典型的に悩まされる連続的露出間の遅延を有意に低減または排除することができる。これは、速度の利点を提供することができる。

加えて、セミグローバルシャッタは、多くの場合、ローリングシャッタイメージャを用いて取得される画像と関連付けられ得るモーションアーチファクトの量を低減させることができる。種々の実施形態では、これは、ピクセルを、カメラの要件および／または意図される使用によるピクセルブロックの最適な数に分割することによって達成されることができる。上記に議論されるように、ローリングシャッタは、典型的には、１つのピクセルまたは１つのピクセルの行／列を一度に露出し、読み出すようにプログラムされる。多数のピクセル（またはピクセルの行）を伴う画像センサに関して、ローリング露出によって引き起こされる各ピクセルまたはピクセルの行の露出時間における差異は、実質的であり、最終画像において容易に気付くモーションアーチファクトをもたらし得る。セミグローバルシャッタは、複数のピクセルの行／列のブロックを通して一度にロールすることができる。実施例として、各ブロックが１０行を有する場合、潜在的モーションアーチファクトの量は、一度に１行ずつピクセルを通してロールするローリングシャッタと比較して、約１０分の１に効果的に低減され得る。理想的には、ピクセルブロックは、セミグローバルシャッタイメージャを伴う任意の特定のカメラに関するフレームレートと画像品質との間のバランスを達成するように定義されることができる。

図３は、セミグローバルシャッタを伴う画像センサ３００の例示的構成要素を図示する、ブロック図である。センサ３００の画像面積は、３×３レイアウトにおける９つのピクセルブロックに分割されることができる。例えば、上部の行は、ピクセルブロック３０１、３０２、３０３を含むことができる。各ブロックは、複数のピクセルを含むことができる。ブロック３０３の拡大図が、ブロック３０３が４×４アレイのピクセルを含むことを示す。本実施形態では、各ブロックは、同一の構成で配列される同数のピクセルを含むことができる。しかしながら、本開示は、そのように限定されず、他の実施形態では、ブロックは、異なる数および／または配列のピクセルを含むことができる。ブロック内の全てのピクセル３１２は、光を電子信号に変換することが可能なセンサ要素（すなわち、フォトサイト）であり得る。

いくつかのブロック信号ライン（集合的に３０４）が、タイミング信号をクロックおよびタイミング制御モジュール３０８から９つのピクセルブロックのそれぞれに伝送することができる。タイミング信号は、いつ各ピクセルブロックが光に露出されるか、また、いつピクセルブロックからの電子信号が読み出されるかを制御することができる。３つのブロック信号ラインのみが図３に示されているが、全てのピクセルブロックが、クロックおよびタイミング制御モジュール３０８に別個に接続され得、独立してトリガされ得ることを理解されたい。いくつかの出力ライン３０６が、処理のために電子信号を各ピクセルブロック内のピクセルから読出電子機器３１６に伝送することができる。３つの垂直ラインのみが、明確化を目的として図３に出力ライン３０６としてマーキングされる。しかしながら、全てのピクセルブロックが、読出電子機器３１６に別個に接続され得、各ピクセルブロックからの信号が、並行して読み出され得ることを理解されたい。本実施形態における読出電子機器３１６は、９つのピクセルブロックのそれぞれから受信された信号を並行して処理するように設計されることができる。図示されるように、読出電子機器３１６は、それぞれが９つのピクセルブロックのうちの１つからの信号の処理に関与する、９つの別個のサブモジュールを含むことができる。例えば、サブモジュール３２１、３２２、３２３は、それぞれ、ピクセルブロック３０１、３０２、３０３から信号を読み出すことができる。各サブモジュールは、例えば、それぞれ、信号を増幅し、デジタルフォーマット（例えば、デジタル数字）に変換するための増幅器およびＡ／Ｄコンバータを含むことができる。デジタル情報は、最終画像を組み立てるために処理されることができる。また、図３のセミグローバルシャッタイメージャ３００は、明確化を目的として図から省略される他の構成要素を含み得ることを理解されたい。図３に図式的に示される例示的配列は、任意の好適な数のピクセルブロックおよびその個別のサブモジュールに拡張され得る。

動作時、セミグローバルシャッタは、ピクセルブロックをローリングベースで露出するようにプログラムされることができる。例えば、同一のピクセルブロック内で、全てのピクセルは、同時に露出されることができ、ピクセルブロック内の各ピクセルからの信号は、一度に１つのピクセルずつ読み出され、出力ラインのうちの１つを経由して読出電子機器３１６内の対応するサブモジュールに転送されることができる。各ピクセルブロックは、読出が完了するまで再び露出され得ない。しかしながら、第１のピクセルブロック３０１が読み出されている間、第２のピクセルブロック３０２が、露出されることができる。同様に、第２のピクセルブロック３０２内のピクセルからの信号が読み出されている間、第３のピクセルブロック３０３が、露出されることができる。異なるブロックの露出および読出における本重複は、典型的には、グローバルシャッタイメージャにおける露出間で起こる遅延を最小限にする、または排除することができる。

図４は、図３のセミグローバルシャッタイメージャ３００におけるピクセルブロック３０１、３０２、３０３の３つの露出（上部）および読出（底部）の例示的タイムラインを図示する。図示されるように、各ブロック３０１、３０２、３０３の露出および読出は、連続的であり得るが、連続的ブロックのトリガは、重複することができる。各ピクセルブロックは、その前のもののわずかに後に露出され、露出遅延が、現在のピクセルブロックがその露出を完了する前に１つ以上の先に露出されたピクセルブロックの読出を可能にすることができる。実施例として、シーケンス内のピクセルブロック３０２の露出は、前のピクセルブロック（例えば、ピクセルブロック３０１）に関する読出時間が完了し得る前にトリガされ得る。同様に、ブロックピクセル３０３の露出は、ブロック３０２に関する読出時間が完了し得る前にトリガされ得る。これは、イメージャからの出力デジタル転送帯域幅の使用を増加させることができる。全てのピクセルブロック（図４のタイムラインに示されない６つを含む）が露出および読出のサイクルを完了すると、第１のブロック（すなわち、ブロック３０１）は、いずれの遅延も伴わずに再び露出されることができる。

代替として、ピクセルブロックは、連続的にトリガされることができ、各ブロックは、事前のピクセルブロックがその露出を完了した後のみその露出を開始することができる。例えば、これは、モーションからの不明瞭化効果が積分時間の同じサブウィンドウを含まない場合があるため、コンピュータビジョン用途に対して好適であり得る。重複または連続的トリガが実装されるかにかかわらず、ピクセルブロックは、その露出時間が完了した直後に読み出されることができる。

ピクセルブロックの露出とピクセルブロック内のピクセルによって捕捉される情報の分析との間の遅延があまり存在しないため、セミグローバルシャッタイメージャによって生成される情報は、ピクセルからの情報が分析され得る前に画像全体が読み出されることを要求するであろう、同一ピクセル分解能のグローバルシャッタイメージャよりも、カメラおよび／または捕捉されている風景の場所および／または移動を反映する際に正確であり得る。セミグローバルシャッタイメージャにおける１つの潜在的遅延が、同一のブロック内の個々のピクセルからの信号が読み出されるときに起こり得る。しかしながら、本遅延は、匹敵するグローバルシャッタイメージャにおける遅延よりも有意に短くあり得る。例えば、グローバルシャッタイメージャ上の遅延が最後に読み出されるピクセルに関して１５ミリ秒である場合、同一のピクセル（または各ブロック内の最後のピクセルのいずれか）に関するセミグローバルシャッタイメージャ上の遅延は、セミグローバルシャッタイメージャが同一サイズの１０個のピクセルブロックに分割される場合、わずか１．５ミリ秒である。故に、セミグローバルシャッタイメージャを用いて捕捉される画像は、画像内のキーポイントを追跡するために使用されるもの等の機械可読画像に関して優り得る。

セミグローバルシャッタおよびローリングシャッタの両方が、風景全体のスナップショットを取得するのではなく、風景を横断して走査することによって画像を取得し得るが、セミグローバルシャッタは、いくつかの用途に関して、カメラと風景との間に相対的移動が存在しないとき、ローリングシャッタよりも良好な画像品質を達成することができる。これは、セミグローバルシャッタイメージャにおけるピクセルブロックの数が、ローリングシャッタイメージャにおけるピクセルまたは行の数よりもはるかに少なくあり得るためである。ピクセルをより少ないピクセルブロックに分割することによって、最終画像におけるモーションアーチファクトは、限定されることができる。ピクセルブロックの連続的露出によって影響を受け得る画像内の唯一の領域は、ブロック間の境界である。対照的に、ローリングシャッタは一度に１行ずつピクセルを通してロールするため、モーションアーチファクトは、ローリングシャッタイメージャを伴うカメラによって取得される画像上の任意の場所に出現し得る。しかしながら、これらの画像は、画像内のキーポイントを追跡するために使用されるもの等の機械可読画像に対して好適であり得る。

実施例として、セミグローバルシャッタイメージャの９×９ピクセルアレイは、それぞれが３つのピクセルの行を含む３つのピクセルブロックに分割され、３つのピクセルブロック間に２つの境界をもたらすことができる。同一の９×９ピクセルアレイがローリングシャッタを使用して行毎に読み出される場合、９つの行間に８つの境界が存在する。それは、セミグローバルシャッタイメージャを用いて取得されるものよりも、ローリングシャッタイメージャを用いて取得される画像内のモーションアーチファクトによって影響を受け得る有意により多くの面積に対応する。加えて、セミグローバルシャッタにおけるより少ない境界はまた、シャッタがピクセルブロックを通してロールするとき、より少ないキーポイントが認識できない程度に歪曲されるであろうことを意味し得る。

セミグローバルシャッタは、画像アレイを任意の好適な数のピクセルブロックに分割することができ、各ピクセルブロックは、任意の好適な数のピクセルを有することができる。種々の実施形態では、不等サイズ、非コンパクト、または非連続的構成のものを含む、任意の配列のピクセルブロックが、可能である。好ましくは、ピクセルブロックの数は、匹敵するグローバルシャッタイメージャよりも短いピクセル露出と分析との間の遅延を達成すること、および匹敵するローリングシャッタイメージャよりも結果画像においてある形態の歪みを起こしにくいことの両方のために設定されることができる。例えば、セミグローバルシャッタイメージャの１０００×１０００ピクセル画像面積を１０個のブロック（例えば、それぞれ、１００×１０００ブロック）に分割することを所望し得る。これは、同一の１０００×１０００ピクセル画像面積を伴うグローバルシャッタイメージャと比較して、少なくともピクセルのいくつかに関して、ピクセル露出と分析との間の遅延を１０分の１に低減させることができる。加えて、ローリングシャッタ効果（例えば、モーションアーチファクト）は、ローリングシャッタイメージャの場合であろうような画像面積全体を通してではなく、ピクセルブロック間の境界においてのみ問題となり得る。

ピクセル露出と分析との間の短い遅延を要求するカメラに関して、画像面積を、それぞれがより少ないピクセルを含む多数のピクセルブロックに分割させるセミグローバルシャッタイメージャを有することが、理想的であろう。対照的に、より短い遅延周期にわたって画像品質に有利である（例えば、ある形態の歪みを最小限にする）カメラに関して、少数のピクセルブロックを伴うセミグローバルシャッタイメージャが、より望ましくあり得る。

セミグローバルイメージャは、任意の好適な幾何学的形状および配列のピクセルブロックを含み得る。図３は、例示的ブロックが同一サイズの正方形である一実施形態を図示するが、図５ａ−５ｃは、種々のセミグローバルシャッタイメージャに対して好適なピクセルブロックの他の例示的分割を図示する。特に、図５ａは、それぞれが同数のピクセルの行を含む、５つの（またはＮ個の数の）長方形ピクセルブロック５１０に水平に分割される画像面積を図示する。図５ｂは、それぞれが同数のピクセルの列を有する、５つの（またはＭ個の数の）ピクセルブロック５２０に垂直に分割される画像面積を図示する。図５ｃは、異なる形状および／またはサイズである５つのピクセルブロック５３０の構成を図示する。上記に議論されるように、ピクセルブロックの数および／または幾何学的形状は、ピクセルブロック間の面積が最小に保たれるように最適化されることができる。これは、ローリングシャッタイメージャよりもセミグローバルシャッタイメージャに対して有意な画像品質における利点を提供することができる。

一実施形態では、（例えば、図３に示されるように）比較的に高い分解能画像センサの画像面積を複数のピクセルブロックに分割する代わりに、セミグローバルシャッタは、複数の比較的に低い分解能イメージャを同一の構成において組み立てることによって実装されることができる（例えば、図３の各ブロックが、スタンドアロン低分解能イメージャによって代用される）。これらの比較的に低い分解能イメージャは、そのトリガを時間内でずらさせ、中央コントローラによって制御させることができる。各イメージャは、ピクセルブロックあたりの伝送がイメージャのサイズの逆関数であるようなピクセルクロックレートで個別に動作することができる。一実施形態では、低分解能イメージャのためのウエハを切断するとき、個々のイメージャのためのダイは、切断によって分離されない場合がある。

本開示の用途は、上記に言及される実施形態に限定されないことを理解されたい。当業者が、上記の説明に従って修正または置換を成すことが可能であり、それらの修正ならびに置換は全て、本開示の添付される請求項の範囲内に全て該当するものとする。

Claims (20)

1. 画像センサであって、
   複数のブロックに分割された２次元ピクセルアレイであって、前記複数のブロックのそれぞれは、少なくとも２つの異なる行および２つの異なる列において配列されたピクセルを備える、２次元ピクセルアレイと、
   前記複数のブロックを連続的に露出するシャッタであって、各ブロック内の全てのピクセルは、同期して露出される、シャッタと
   を備える、画像センサ。
2. 前記２次元ピクセルアレイは、Ｍ個の行のピクセルを含み、Ｍは、１００以上であり、
   各ブロックの高さは、Ｍ個の行の組み合わせられた高さの少なくとも２０分の１であるが、Ｍ個の行の前記組み合わせられた高さの５分の１未満である、請求項１に記載の画像センサ。
3. 前記２次元ピクセルアレイは、Ｎ個の列を含み、Ｎは、１００以上であり、
   各ブロックの幅は、Ｎ個の列のピクセルの組み合わせられた幅の少なくとも２０分の１であるが、Ｎ個の列の前記組み合わせられた幅の５分の１未満である、請求項１に記載の画像センサ。
4. 前記ブロックのうちの少なくとも２つは、異なる数のピクセルを含む、請求項１に記載の画像センサ。
5. 前記ブロックのうちの少なくとも２つは、異なる幾何学的形状を有する、請求項１に記載の画像センサ。
6. 前記複数のブロックのそれぞれは、同数のピクセルを含む、請求項１に記載の画像センサ。
7. タイミング信号を前記ブロックのそれぞれに伝送するタイミング制御モジュールを備え、前記タイミング信号は、前記ブロックの露出のシーケンスを開始する、請求項１に記載の画像センサ。
8. 前記複数のブロックのそれぞれのための別個の読出電子機器を備え、前記読出電子機器は、対応するブロック内のピクセルからの信号を受信および処理することが可能である、請求項１に記載の画像センサ。
9. 前記読出電子機器は、前記信号を増幅する増幅器と、前記信号をデジタルデータに変換するアナログ／デジタルコンバータとを備える、請求項８に記載の画像センサ。
10. 前記複数のブロックは、第１のブロックと、第２のブロックとを含み、
    前記読出電子機器は、前記第１のブロックの露出が完了した直後にピクセルの前記第１のブロックから信号を読み出し、
    前記第２のブロックの露出は、前記第１のブロックからの信号の読出が完了する前に開始する、請求項８に記載の画像センサ。
11. 前記複数のブロックは、第１のブロックと、第２のブロックとを含み、
    前記第２のブロックの露出と前記第１のブロックの露出との間に遅延が存在し、前記遅延は、前記第２のブロックがその露出を完了する前に前記第１のブロックの読出を可能にするために十分に長い、請求項８に記載の画像センサ。
12. 前記シャッタは、電子的に制御される、請求項１に記載の画像センサ。
13. 画像センサを用いて画像を捕捉する方法であって、
    前記画像センサの２次元ピクセルアレイ画像面積を複数のブロックに分割することであって、前記複数のブロックのそれぞれは、少なくとも２つの異なる行および２つの異なる列において配列されたピクセルを備える、ことと、
    前記複数のブロックを連続的に露出することであって、各ブロック内の全てのピクセルは、同期して露出される、ことと
    を含む、方法。
14. 前記２次元ピクセルアレイは、Ｍ個の行のピクセルを含み、Ｍは、１００以上であり、
    各ブロックの高さは、Ｍ個の行のピクセルの組み合わせられた高さの少なくとも２０分の１であるが、Ｍ個の行の前記組み合わせられた高さの５分の１未満である、請求項１３に記載の方法。
15. 前記２次元ピクセルアレイは、Ｎ個の列を含み、Ｎは、１００以上であり、
    各ブロックの幅は、Ｎ個の列のピクセルの組み合わせられた幅の少なくとも２０分の１であるが、Ｎ個の列の前記組み合わせられた幅の５分の１未満である、請求項１３に記載の方法。
16. タイミング信号を前記ブロックのそれぞれに伝送することを含み、前記タイミング信号は、前記ブロックの露出のシーケンスを開始する、請求項１３に記載の方法。
17. 前記複数のブロックの少なくとも第１のブロックおよび第２のブロックから信号を連続的に読み出すことを含む、請求項１３に記載の方法。
18. ピクセルの前記第１のブロックからの信号は、前記第１のブロックの露出が完了した直後に読み出され、
    前記第２のブロックの露出は、前記第１のブロックからの信号の読出が完了する前に開始する、請求項１７に記載の方法。
19. 前記第２のブロックの露出と前記第１のブロックの露出との間に遅延が存在し、前記遅延は、前記第２のブロックがその露出を完了する前に前記第１のブロックの読出を可能にするだけ長い、請求項１７に記載の方法。
20. デジタルカメラであって、
    複数のブロックに分割される２次元ピクセルアレイを備える画像センサであって、前記複数のブロックのそれぞれは、少なくとも２つの異なる行および２つの異なる列において配列されたピクセルを備える、画像センサと、
    光を前記画像センサに指向させるレンズと、
    前記複数のブロックを連続的に露出する、シャッタであって、各ブロック内の全てのピクセルは、同期して露出される、シャッタと、
    前記ブロックの露出のシーケンスのタイミングを制御するタイミング制御モジュールと、
    前記複数のブロックのそれぞれのための別個の読出電子機器であって、前記読出電子機器は、対応するブロック内のピクセルからの信号を受信および処理することが可能である、読出電子機器と、
    前記読出電子機器の出力から画像を組み立てるカメラＡＳＩＣと
    を備える、デジタルカメラ。