JP5645505B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子を有する撮像装置、その制御方法、及び制御プログラム、並びに記録媒体に関し、特に、当該固体撮像素子にＡＤ変換器が搭載された撮像装置及びその制御方法に関する。

一般に、固体撮像素子（以下単に撮像素子と呼ぶ）の１つであるＣＭＯＳイメージセンサにおいて、ＣＭＯＳロジックプロセスとイメージセンサプロセスとの融合によって、センサチップ上に複雑なアナログ回路、デジタル回路、及び信号処理部等を搭載することが可能となっている。その１つとして、２次元状に画素が配列されたイメージセンサチップ上にアナログ・デジタル変換器（ＡＤ変換器）を搭載したＣＭＯＳイメージセンサが既に実用化されている。

ＣＭＯＳイメージセンサ等の撮像素子（以下ＣＭＯＳセンサともいう）にＡＤ変換器を搭載する場合、２次元状に配列された（つまり、２次元配列状の）画素の列毎にＡＤ変換器を設ける所謂列並列ＡＤ変換アーキテクチャが用いられている。この列並列ＡＤ変換アーキテクチャにおいては、ＡＤ変換器１つ当りの変換レートを、１画素の読み出しレートから一行の読み出しレートまで低下させることができる。このため、ＡＤ変換器自体の変換レートを低下させて全体的な消費電力を下げることができるばかりでなく、結果的にＣＭＯＳセンサの読み出しレートの高速化も図り易いという利点がある。

列並列ＡＤ変換アーキテクチャを用いたＣＭＯＳセンサとして、三角波を掃印する所謂ランプ型のＡＤ変換器を用いたＣＭＯＳセンサが知られている（例えば、特許文献１参照）。

ここでは、アナログ値入力端子毎に加えた異なるアナログ値を、アナログ値蓄積部に蓄えるととともにカウンタの動作に伴い漸次増加するＤ／Ａ変換器の参照出力値ととともに比較器に入力している。そして、参照出力値の方が入力した個々のアナログ値を上回る際のカウンタのデータを個別にデジタル値蓄積部に蓄えた後、デジタル値蓄積部のデータを走査回路により順次デジタル値として読み出すようにしている。

ところで、特許文献１においては、比較器の入力端の一方にはアナログ値が入力され、入力端の他方にはＤＡ変換器を介して三角波が印加される。上記の三角波はカウンタに同期して電圧を変化させるため、例えば、ＡＤ変換器が８ビットＡＤ変換器である場合には、三角波の掃印に２の８乗ステップ、つまり、２５６ステップ分の処理時間が必要となる。

ランプ型ＡＤ変換器を用いたＣＭＯＳセンサにおいては、１ステップ当りにおける単位時間の短縮が難しいため、多ビット化の際に高速化が困難という問題点がある。三角波はアナログ電圧として供給されるため、１ステップの期間は、チップ全体で三角波の出力が安定するために必要なＲＣ時定数で決定される一定の時間以上に縮めることが原理的に困難である。この結果、１ステップ当りの時間を縮めて高速化を図ることが難しくなる。

また、多ビット化を図ろうとすると、ステップ数が増えてしまい、高速化がさらに阻害される傾向にある。このようにランプ型ＡＤ変換器は、多ビット化と高速化という互いに相容れない要素を有している。

さらに、列並列ＡＤ変換アーキテクチャを用いたＣＭＯＳセンサにおいて、ランプ型ＡＤ変換器について、ビット数を高める場合にはｎビットカウンタを２のｎ乗ステップだけカウントし、速度を高める場合にはビット数をｎより落としてより少ないステップ数でカウントを打ち切るようにしたものがある（例えば、特許文献２参照）。そして、特許文献２においては、上記の２つの動作モードを撮影被写体の性質に応じて使い分けることによって、被写体の高速な動きや滑らかなグラデーションに選択的に対応するようにしている。

特開平５−４８４６０号公報 特開２００５−３３３３１６号公報

上述のように、列並列ＡＤ変換器としてＣＭＯＳセンサに搭載されるランプ型ＡＤ変換器は、多ビット化の要請と高速化の要請とをともに達成することが難しい。

このため、列並列ＡＤ変換器を搭載するＣＭＯＳセンサにおいては、高速化を実現しようとすればビット数を減らして階調表現を粗くせざるを得ない。つまり、特許文献２のように、多ビット化を重視する動作モードと高速化を重視する動作モードとを備えて、必要に応じていずれかの動作モードを選択するようにしても、撮像信号の階調表現が粗くなることなく、高速化を達成することができない。言い換えると、引用文献２においても多ビット化の要請と高速化の要請とをともに達成することは困難である。

従って、本発明の目的は、撮像信号の階調表現が粗くなることなく、実質的に変換速度を向上させることのできる撮像装置及びその制御方法を提供することにある。

上記目的を達成するために、本発明に係わる撮像装置は、複数の異なる色フィルタが設けられた複数の画素が予め規定された配列で２次元状に配列された画素配列と、第１の変換ビット数において第１の変換速度で動作する第１の動作モードと、前記第１の変換ビット数よりも小さい第２の変換ビット数において第１の変換速度よりも速い第２の変換速度で動作する第２の動作モードのいずれかの動作モードで動作し、前記画素配列から出力される画像信号をＡＤ変換するＡＤ変換手段と、前記ＡＤ変換手段から出力される画像データを色毎に補間処理する補間処理手段と、前記ＡＤ変換手段を前記第２の動作モードで動作させる場合に、前記補間処理手段により色毎に補間処理された画像データを縮小変倍処理することで階調ビット数を拡張する変倍処理手段と、を有することを特徴とする。

本発明に係わる制御方法は、複数の異なる色フィルタが設けられた複数の画素が予め規定された配列で２次元状に配列された画素配列と、第１の変換ビット数において第１の変換速度で動作する第１の動作モードと、前記第１の変換ビット数よりも小さい第２の変換ビット数において第１の変換速度よりも速い第２の変換速度で動作する第２の動作モードのいずれかの動作モードで動作し、前記画素配列から出力される画像信号をＡＤ変換するＡＤ変換手段とを有する撮像装置を制御するための制御方法であって、前記ＡＤ変換手段から出力される画像データを色毎に補間処理する補間処理ステップと、前記ＡＤ変換手段を前記第２の動作モードで動作させる場合に、前記補間処理ステップにより色毎に補間処理された画像データを縮小変倍処理することで階調ビット数を拡張する変倍処理ステップと、を有することを特徴とする。

本発明によれば、画素配列から出力される画像信号を小さい変換ビット数かつ速い変換速度でＡＤ変換する場合であっても、色毎に補間処理された画像データを縮小変倍処理することで階調ビット数を拡張する。これによって、撮像により得られる画像データの階調表現が粗くなることなくＡＤ変換速度を向上させることができるという効果がある。

本発明の実施形態による撮像装置の一例を示すブロック図である。 図１に示すＣＭＯＳセンサの画素配列を模式的に示す図である。 図１に示す撮像装置において静止画撮影の際における列オフセットの検出及び補正を行う場合のタイミング信号及びタイミング信号に同期して出力されるセンサ出力を説明するための図である。 図１に示す撮像装置において動画撮影の際における列オフセットの検出及び補正を行う場合のタイミング信号及びタイミング信号に同期して出力されるセンサ出力を説明するための図である。 図１に示すＣＭＯＳセンサの構成の一例を詳細に示す回路図である。 図５に示すＣＭＯＳセンサの動作を説明するためのタイミングチャートである。 図５に示すランプ型ＡＤ変換器の動作について具体例を示す図である。 図１に示す信号処理回路における信号処理の過程を模式的に示す図であり、（ａ）は単独の画素データのデータ形式であって１０ビットの整数部と２ビットの少数部とからなる２進数の１２ビット長のデータ配列を示す図、（ｂ）は２画素分の画素データを加算して２で割り戻した際の様子を示す図、（ｃ）は４画素分の画素データを加算して４で割り戻した際の様子を示す図である。 図１に示す信号処理回路において静止画撮影時の色補間処理を行う際の静止画読出し時の画素配列の一例を示す図である。 図１に示す信号処理回路において赤（Ｒ）、青（Ｂ）、緑（Ｇ）毎に色補間処理を行った後の画素配列の様子を示す図である。 図９Ｂに示す補間画素を含む画素データ毎の演算処理の内容と当該演算処理によって拡張される画素データの階調ビット数を示す図である。 静止画撮影時のＩＳＯ感度（撮像感度）に対応してゲイン配分を示すゲイン切り換えテーブルと階調ビット数との関係を示す図である。 図１に示す信号処理回路において仕様となる動画サイズまでサイズ変換を行う縮小変倍処理について説明するための図あり、（ａ）は縮小変倍後における赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）画素の画素配列を示す図、（ｂ）は縮小変倍を行う際に用いられる補間演算式を示す図である。 動画撮影時のＩＳＯ感度（撮像感度）に対応してゲイン配分を示すゲイン切り換えテーブルと階調ビット数との関係を示す図である。 図１に示すＣＭＯセンサの読出し手法とＥＦ（ストロボ測光）との関係を説明するための図であり、（ａ）はＥＦ評価ブロック領域のプリストロボ発光による光電荷の蓄積タイミングの一例を示す図、（ｂ）は光強度を示す図である。 図１３で説明したＥＦ評価ブロック領域の蓄積時間のタイミングを示す図であり、（ａ）はＣＭＯＳセンサにおける読み出し時間が蓄積時間よりも大きい場合を示す図、（ｂ）はＣＭＯＳセンサにおける読み出し時間が蓄積時間よりも小さい場合を示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置の一例を示すブロック図である。

図１を参照して、図示の撮像装置は、固体撮像素子の一つであるＣＭＯＳイメージセンサ（ＣＭＯＳセンサ）１０３を有している。このＣＭＯＳセンサ１０３にはレンズ１０１から入射した光（光信号）がシャッタ兼用絞り１０２を介して結像される。そして、ＣＭＯＳセンサ１０３は光信号を電気信号に変換して出力する。

図２は、図１に示すＣＭＯＳセンサ１０３の画素配列を模式的に示す図である。図２に示すように、ＣＭＯＳセンサ１０３は、有効画素領域２０３を有しており、この有効画素領域２０３において、光電変換素子の１つであるフォトダイオード（図示せず）に光が照射される。さらに、ＣＭＯＳセンサ１０３は水平オプティカルブラック（以下ＨＯＢと呼ぶ）領域２０１と垂直オプティカルブラック（以下ＶＯＢと呼ぶ）領域２０２とを有している。ＨＯＢ領域２０１においては、アルミ薄膜等によって光の照射が画素の数列から数十列に渡って遮られる。また、ＶＯＢ領域２０２においては、アルミ薄膜等によって光の照射が画素の数ラインから数十ラインに渡って遮られる。

再び図１を参照して、図示の撮像装置は、同期信号発生器（以下ＳＳＧと呼ぶ）１０４、タイミングジェネレータ（以下ＴＧと呼ぶ）１０５、ウィンドウ回路１０６、列オフセット除去回路１０７、乗算器（乗算手段）１０８、信号処理回路１０９、及びシステムコントローラ１１０を有している。そして、ＴＧ１０５、ウィンドウ回路１０６、乗算器１０８、及び信号処理回路１０９はシステムコントローラ１１０の制御下で動作する。

ＳＳＧ１０４は水平同期信号（以下ＨＤ信号と呼ぶ）及び垂直同期信号（以下ＶＤ信号と呼ぶ）を生成して、ＴＧ１０５及びウィンドウ回路１０６に与える。ＴＧ１０５はＣＭＯＳセンサ１０３及びシャッタ兼用絞り１０２を駆動させる各種制御信号をＨＤ信号及びＶＤ信号に同期して発生する。ウィンドウ回路１０６は、システムコントローラ１１０の制御下でＨＤ信号及びＶＤ信号に同期して、列オフセット除去回路１０７を駆動する制御信号を生成する。

列オフセット除去回路１０７はＣＭＯＳセンサ１０３から出力された画像データ中に含まれる列オフセット成分を検出して、当該列オフセットを有効画素領域における画像データから減算する（つまり、除去する）。乗算器１０８は、その乗算係数が可変であり、撮像信号（つまり、画像データ）の感度（入射光量対出力比）を切り換えるために用いられる。信号処理回路１０９は画像データについて補間処理及び色変換処理等の処理を行う。そして、信号処理回路１０９は縮小又は拡大等の変倍処理を行って、画像データを表示デバイスに表示可能な画像データに変換する。さらに、信号処理回路１０９は記録デバイス（図示せず）に合わせて画像データをＪＰＥＧ画像データ等に変換する。なお、システムコントローラ１１０は、後述するようにして、動作モード及びパラメータを決定する。

続いて、図１に示す撮像装置の動作について説明する。

ＴＧ１０５は、ＳＳＧ１０４において生成されるＨＤ信号及びＶＤ信号に応じてＣＭＯＳセンサ１０３を駆動する各種制御信号を生成する。ＣＭＯＳセンサ１０３は、ＴＧ１０５から入力される制御信号の入力タイミングにおいて、レンズ１０１及びシャッタ兼用絞り１０２を通過した光信号を電気信号に変換する。そして、ＣＭＯＳセンサ１０３から読み出されたデジタル画像信号（画像データ）は、列オフセット除去回路１０７に与えられる。

図３は、図１に示す撮像装置において静止画撮影の際における列オフセットの検出及び補正を行う場合のタイミング信号及びタイミング信号に同期して出力されるセンサ出力を説明するための図である。

図１及び図３を参照して、静止画撮影の際における列オフセットの検出過程について説明する。システムコントローラ１１０からの指令に応じて、ＴＧ１０５はシャッタ兼用絞り１０２を制御してシャッタを閉じる。そして、シャッタが閉じられた状態において、ＣＭＯＳセンサ１０３から、遮光された画像データ（以下遮光画像データと呼ぶ）が読み出される。

ウィンドウ回路１０６は、ＨＤ信号及びＶＤ信号を参照して、列オフセット除去回路１０７に、シャッタによって遮光された有効画素領域において列オフセットにおける垂直の検出期間を指示する垂直検出許可信号（ＶＷＤＥＴ）と水平の検出期間を指示する水平検出許可信号（ＨＷＩＮ）を与える。そして、列オフセット除去回路１０７は、ＶＷＤＥＴ及びＨＷＩＮに応じて列オフセットデータを算出する。

続いて、静止画撮影の際における列オフセットの除去過程について説明する。システムコントローラ１１０からの指令に応じて、ＴＧ１０５はシャッタ兼用絞り１０２を制御してシャッタを開く。そして、所定の絞り状態においてＣＭＯＳセンサ１０３において被写体像が受光され、ＣＭＯＳセンサ１０３から画像データが読み出される。

ウィンドウ回路１０６は、列オフセット除去回路１０７に有効画素領域における垂直の列オフセット除去期間を指示する垂直除去許可信号（ＶＷＣＯＬ）と水平の列オフセット除去期間を指示する垂直除去許可信号（ＨＷＩＮ）を与える。そして、列オフセット除去回路１０７は、ＶＷＣＯＬに従って、画像データから列毎に算出された列オフセットデータを有効画素信号（有効画素データ）から減算して列オフセットを除去する。

ＣＭＯＳセンサ１０３は、Ｘ−Ｙアドレス型の読み出し構造に起因して、読み出しの際列毎に異なる素子特性のばらつきによって列毎に異なるオフセットが付加される所謂列オフセットが発生しやすい。このため、列オフセットは、図２に示すＶＯＢ領域２０２、ＨＯＢ領域２０２、及び有効画素領域２０３の各領域の読み出し経路を共通に有する同一の列上に等しく発生するという性質がある。

図３に示す例では、垂直の検出期間を９６０ラインとし、９６０ラインの加算平均によって列オフセットデータを算出している。列オフセット検出ラインには列オフセットだけでなくランダムノイズも含まれている。ランダムノイズを抑圧して精度のよい列オフセット成分を抽出するためには、十分な数の検出ライン数を確保することが望ましい。そして、列オフセット除去回路１０７から出力された画像データは、感度切り換え手段である乗算器１０８を介して信号処理回路１０９に与えられる。そして、画像データは信号処理回路１０９おいて信号処理されて、表示デバイス及び記録デバイスに適合する画像データに変換され、出力される。

図４は、図１に示す撮像装置において動画撮影の際における列オフセットの検出及び補正を行う場合のタイミング信号及びタイミング信号に同期して出力されるセンサ出力を説明するための図である。

図１及び図４を参照して、動画撮影の際における列オフセットの検出及び除去は、静止画の場合とは異なって同一の読出しフレーム（垂直期間）において行われる。システムコントローラ１１０からの指令によって、ＴＧ１０５はシャッタ兼用絞り１０２を制御してシャッタを開く。そして、所定の絞り状態において、ＣＭＯＳセンサ１０３で被写体像が受光され、ＣＭＯＳセンサ１０３から画像データが読み出される。

ウィンドウ回路１０６は、ＨＤ信号及びＶＤ信号を参照して、列オフセット除去回路１０７にＶＯＢ領域２０２（図２）における列オフセットの垂直の検出期間を指示する垂直検出許可信号（ＶＷＤＥＴ）と水平の検出期間を指示する水平検出許可信号（ＨＷＩＮ）を与える。列オフセット除去回路１０７は、ＶＷＤＥＴ及びＨＷＩＮに従って列オフセットデータを算出する。

ウィンドウ回路１０６は、列オフセット除去回路１０７に、有効画素領域２０３（図２）における垂直の列オフセット除去期間を指示する垂直除去許可信号（ＶＷＣＯＬ）と水平の列オフセット除去期間を指示する水平除去許可信号（ＨＷＩＮ）を与える。そして、列オフセット除去回路１０７は、ＶＷＣＯＬに従って、画像データから列毎に算出された列オフセットデータを、有効画素信号から減算して列オフセットを除去する。

前述のように、ＣＭＯＳセンサ１０３においては、列オフセットは、図２に示すＶＯＢ領域２０２、ＨＯＢ２０１、及び有効画素領域２０３の各領域の読み出し経路を共通に有する同一の列上に等しく発生する性質がある。よって、静止画の場合と同様に、動画においても列オフセット検出及び除去が極めて有効である。

図４に示す例では、垂直の検出期間（ＶＯＢ）を４０ラインとし、４０ラインの加算平均によって列オフセットデータを算出している。動画においても、列オフセット検出ラインには列オフセットばかりでなくランダムノイズが含まれており、ランダムノイズを抑圧して精度のよい列オフセット成分を抽出するためには、十分な数の検出ライン数を確保することが望ましい。

ところが、動画撮影の場合には、読出しフレーム内（垂直期間）の検出ライン数を増やすと１フレームあたりの読出し時間が増加するため、動画のフレームレートが低下してしまい、十分な数の検出ライン数を確保できない。

このため、動画撮影の場合には、少ない検出ライン数から得られる列オフセットデータをフレーム間で引き継いで平均化して、複数フレームの読出し時間を用いて列オフセットの精度を上げる手法が用いられる。そして、列オフセット除去回路１０７から出力された画像データは、乗算器１０８を介して信号処理回路１０９において信号処理されて、表示デバイス及び記録デバイスに適合する画像データに変換され出力される。

続いて、図１に示すＣＭＯＳセンサ１０３の構成及び動作について説明する。図５は、図１に示すＣＭＯＳセンサ１０３の構成の一例を詳細に示す回路図である。

図５を参照すると、ＣＭＯＳセンサ１０３は、垂直走査回路５００、ランプ信号発生回路５２９、グレイコードカウンタ５３０、水平走査回路５３１、及びグレイ／バイナリコード変換器５４２を有している。

図示のように、ＣＭＯＳセンサ１０３は、２次元状（マトリックス状）に配列された複数の画素を有している（つまり、画素は２次元配列状に配置されている）。図示の例では、画素５０９ａ〜５０９ｆのみが示されているが、ＣＭＯＳセンサ１０３は実際には多数の画素を有している。そして、これら画素５０９ａ〜５０９ｆは垂直走査回路５００に接続され、垂直走査回路５００は、マトリックス状に配列された画素５０９ａ〜５０９ｆから順次行方向に配列された画素を読み出し行として選択する。

画素５０９ｄ〜画素５０９ｆに注目すると、画素５０９ｄ〜５０９ｆはそれぞれ光電変換素子の１つであるフォトダイオード（以下ＰＤと呼ぶ）５０３ａ〜５０３ｃを有している。さらに、画素５０９ｄ〜５０９ｆはそれぞれリセットトランジスタ（以下リセットＴｒと呼ぶ）５０１ａ〜５０１ｃを有している。これらリセットＴｒ５０１ａ〜５０１ｃはそれぞれ垂直走査回路５００によってオンオフ制御されてＰＤ５０３ａ〜５０３ｃに蓄積された光信号電荷をリセットする。転送トランジスタ（以下転送Ｔｒと呼ぶ）５０２ａ〜５０２ｃはそれぞれ垂直走査回路５００によってオンオフ制御されてＰＤ５０３ａ〜５０３ｃに蓄積された光信号電荷をフローティングディフフュージョン（以下ＦＤと呼ぶ）５０４ａ〜５０４ｃに転送する。

ＦＤ５０４ａ〜５０４ｃはそれぞれ転送された光信号電荷をＦＤ電位に転換して蓄積する。そして、選択トランジスタ（以下選択Ｔｒと呼ぶ）５０５ａ〜５０５ｃは、後述するように、垂直走査回路５００によってオンオフ制御されて、画素ソースフォロア（以下画素ＳＦと呼ぶ）５０６ａ〜５０６ｃを介してＦＤ電位を垂直出力線５０８ａ〜５０８ｃに出力する。なお、画素ＳＦ５０６ａ〜５０６ｃはバッファアンプである。

図示のように、ＣＭＯＳセンサ１０３は、列読み出し回路５１５ａ〜５１５ｃを有している。そして、この列読み出し回路５１５ａ〜５１５ｃはそれぞれ垂直出力線５０８ａ〜５０８ｃに接続されている。

列読み出し回路５１５ａ〜５１５ｃはそれぞれスイッチトランジスタ５１６ａ〜５１６ｃ及びコンデンサ５１８ａ〜５１８ｃを有している。そして、スイッチトランジスタ５１６ａ〜５１６ｃ及びコンデンサ５１８ａ〜５１８ｃによってそれぞれＳ信号（信号電荷）を記憶するサンプルホールド回路（以下、Ｓ／Ｈ（Ｓ））が構成される。なお、選択Ｔｒ５２０ａ〜５２０ｃはＳ／Ｈ（Ｓ）信号を選択するためのトランジスタである。

さらに、列読み出し回路５１５ａ〜５１５ｃはそれぞれスイッチトランジスタ５１７ａ〜５１７ｃ及びコンデンサ５１９ａ〜５１９ｃを有している。そして、スイッチトランジスタ５１７ａ〜５１７ｃ及びコンデンサ５１９ａ〜５１９ｃによってそれぞれＮ信号（雑音電荷）を記憶するサンプルホールド回路（以下、Ｓ／Ｈ（Ｎ））が構成される。なお、選択Ｔｒ５２１ａ〜５２１ｃはＳ／Ｈ（Ｎ）信号を選択するためのトランジスタである。

また、列読み出し回路５１５ａ〜５１５ｃは列アンプ５２３ａ〜５２３ｃを備えている。そして、コンデンサ５２２ａ〜５２２ｃ、５２４ａ〜５２４ｃ、及び５２５ａ〜５２５ｃの容量比に応じて列アンプ５２３ａ〜５２３ｃのゲインが決定される。さらに、スイッチトランジスタ５２６ａ〜５２６ｃによってそれぞれ列アンプ５２３ａ〜５２３ｃのゲインが切り換えられる。

加えて、列読み出し回路５１５ａ〜５１５ｃはそれぞれコンパレータ５２７ａ〜５２７ｃ及び一時データ記憶用のメモリ５２８ａ〜５２８ｃを有している。コンパレータ５２７ａ〜５２７ｃには、それぞれ列アンプ５２３ａ〜５２３ｃの出力とランプ信号発生器５２９の出力とが与えられる。そして、コンパレータ５２７ａ〜５２７ｃの出力信号の切り換わりタイミング（例えば、ロウ（Ｌ）レベルからハイ（Ｈ）レベルへの切り換わりタイミング）において、グレイコードカウンタ５３０からの出力コードがメモリ５２８ａ〜５２８ｃにラッチされる。

このようにして、コンパレータ５２７ａ〜５２７ｃ、メモリ５２８ａ〜５２８ｃ、ランプ信号発生器５２９、及びグレイコードカウンタ５３０によってランプ型ＡＤ変換器が構成される。なお、符号５３８は列アンプ５２３ａ〜５２３ｃにおいて信号増幅用の基準として用いる基準電圧ＶＲＥＦを示す。また、図示のように、ランプ型ＡＤ変換器は列アンプの出力側に配置される。

図示の例において、ｍ（ｍは２以上の整数）行目の画素５０９ｄ〜５０９ｆに注目すると、垂直走査回路５００は、ｍ行目の行選択線（以下ＰＳＥＬ＿ｍと呼ぶ）５１０、ｍ行目のリセット信号線（以下ＰＲＥＳ＿ｍと呼ぶ）５１１、及びｍ行目の信号転送線（以下ＰＴＸ＿ｍと呼ぶ）５１２によって画素５０９ｄ〜５０９ｆと接続されている。

同様に、垂直走査回路５００は、（ｍ−１）行目の行選択線（以下ＰＳＥＬ＿ｍ−１と呼ぶ）、（ｍ−１）行目のリセット信号線（以下ＰＲＥＳ＿ｍ−１と呼ぶ）、及び（ｍ−１）行目の信号転送線（以下ＰＴＸ＿ｍ−１と呼ぶ）によって画素５０９ａ〜５０９ｃと接続されている。

さらに、図１に示すシステムコントローラ１１０の制御下で、ＴＧ１０５（図１）からＳ／Ｈ（Ｎ）に読み出し期間を決定する信号（以下ＰＴＮと呼ぶ）５３２が与えられるとともに、Ｓ／Ｈ（Ｓ）に読み出し期間を決定する信号（以下ＰＴＳと呼ぶ）５３３が与えられる。また、ＴＧ１０５はＳ／Ｈ（Ｎ）を選択してコンパレータ５２７ａ〜５２７ｃへの読出し期間を決定する信号（以下ＡＤＮと呼ぶ）５３４とＳ／Ｈ（Ｎ）を選択してコンパレータ５２７ａ〜５２７ｃへの読出し期間を決定する信号（以下ＡＤＮと呼ぶ）５３５を出力する。

なお、前述の水平走査回路５３１は各列のメモリ５２８ａ〜５２８ｃの出力から読み出し列を選択する。また、グレイ／バイナリコード変換器５４２はグレイコードをバイナリコードに変換するためのコード変換器である。つまり、メモリ５２８ａ〜５２８ｃの出力は、水平走査回路５３１により順次選択されて水平出力線５４１に読み出されて、グレイ／バイナリコード変換器５４２を介して撮像信号（ＶＯＵＴ）として出力される。

図６は図５に示すＣＭＯＳセンサ１０３の動作を説明するためのタイミングチャートである。なお、図６においては、各信号の添え字（サフィックス）は省略されている。

図５及び図６を参照して、ここでは、画素５０９ｄに注目してその動作を説明するが、他の画素５０９ａ〜５０９ｃと５０９ｅ及び５０９ｆにおいても同様の動作が実行される。いま、撮影動作を開始してＰＤ５０３ａに光が入射すると、ＰＤ５０３ａに光信号電荷が発生して、ＦＤ５０４ａに光信号電荷の蓄積が開始される。そして、垂直走査回路５００により順次に各行の走査が行われ、ｍ行目の走査に至る。

まず、ＰＳＥＬ＿ｍ５１１がＨレベルとなり、続いてＰＲＥＳ＿ｍ ５１２がＨレベルになって、ＦＤ５０４ａがリセットされる。これによって、リセットノイズを含むリセットレベルが画素ＳＦ５０６を介して垂直出力線５０８に読み出される。そして、垂直出力線５０８に読み出されたリセットレベルＶｎは、Ｎ信号としてＰＴＮ＿ｍ５３２がＨレベルの期間（以下Ｎ読み期間と呼ぶ）においてＳ／Ｈ（Ｎ）に記憶される。

その後、ＰＴＸ＿ｍ５１２がＨレベルとなり、ＰＤ５０３ａにおいて発生した電荷を、ＦＤ５０４に読み出す。Ｎ信号の場合と同様にして、画素ＳＦ５０６から垂直出力線５０８へ読み出されたＳ信号Ｖｓは、ＰＴＳ＿ｍがＨレベルの期間（以下Ｓ読み期間と呼ぶ）においてＳ／Ｈ（Ｓ）に記憶される。

Ｓ／Ｈ（Ｎ）に記憶されたＮ信号は、ＡＤＮ５３５がＨレベルの期間（以下Ｎ−ＡＤ期間と呼ぶ）において列アンプ５２３ａに読み出される。同様にして、Ｓ／Ｈ（Ｓ）に記憶されたＳ信号はＡＤＳ５３６がＨレベルの期間において（以下Ｓ−ＡＤ期間と呼ぶ）列アンプ５２３ａに読み出される。

列アンプ５２３ａはＮ信号及びＳ信号と基準電圧ＶＲＥＦ５３８との差分を増幅して出力する。列アンプ５２３ａのゲインは、ＧＮＳＥＬ５３７のオンオフに応じて選択されたコンデンサ５２４ａ及び５２５ａの負荷容量値で決定される。この場合には、２段階の切り換え設定が可能である。

なお、列アンプ５２３ａのゲインを切り換えるためのスイッチトランジスタ５２６ａとコンデンサ５２５ａを追加して、ＧＮＳＥＬ５３７によってスイッチトランジスタ５２６ａをオンオフするゲイン切り換え回路を追加すれば、２段階からさらに切り換えステップ数を増やすことができる。但し、回路素子とりわけコンデンサの追加は、ＣＭＯＳセンサを構成するチップサイズの増大と列アンプ動作のスリューレート低下につながるので、現在の半導体プロセス技術においては１〜８倍の間の４ステップ程度の機能が妥当である。

列アンプ５２３ａから増幅されて出力されたＮ信号は、Ｎ−ＡＤ期間において、コンパレータ５２７ａによって、ランプ信号発生器５２９から与えられるランプ信号と比較される。

ランプ信号は、グレイコードカウンタ５３０のゼロに同期して初期電圧値から電圧を序々に変化させてゆき、Ｎ信号と同じレベルに到達したところでコンパレータ５２３ａの出力がＬレベルからＨレベルに転ずる。このタイミングでラッチされたグレイコードカウンタ５３０の出力値が、Ｎ信号に対応するデジタルコードとしてメモリ５２８ａに記憶される。

同様にして、列アンプ５２３ａから増幅されて出力されたＳ信号は、Ｓ−ＡＤ期間において、コンパレータ５２７ａによって、ランプ信号発生器５２９から与えられるランプ信号と比較される。

ランプ信号発生回路５２９は、ランプ信号を、再び、グレイコードカウンタ５３０のゼロに同期して初期電圧値から電圧を変化させてゆき、Ｓ信号と同じレベルに到達したところでコンパレータ５２３の出力がＬレベルからＨレベルに転ずる。このタイミングでラッチされたグレイコードカウンタの出力値が、Ｓ信号に対応するデジタルコードとしてメモリ５２８ａに記憶される。

メモリ５２８ａでは、記憶されたＮ信号及びＳ信号とから差分演算（Ｓ信号−Ｎ信号）が行われる（以下Ｓ−Ｎ信号と呼ぶ）。列毎に並列に読み出されたｍ行目のＳ−Ｎ信号は、水平走査回路５３１によって水平出力線５４１に列毎に順次読み出される。水平出力線５４１に読み出されたＳ−Ｎ信号は、グレイ／バイナリコード変換器５４２に与えられる。グレイ／バイナリコード変換器５４２はＳ−Ｎ信号をグレイコードからバイナリコードにコード変換する。そして、変換後のＳ−Ｎ信号はＣＭＯＳセンサ１０３のセンサ出力ＶＯＵＴとしてデジタル出力される。

なお、Ｓ信号は、Ｎ信号にＰＤ５０３ａで発生した光信号電荷による信号が加わったものである。これによってＳ信号とＮ信号との差動動作を為すことでＣＤＳ動作が行われる。そして、ＣＭＯＳセンサ１０３のセンサ出力ＶＯＵＴからは、撮像素子（ここでは、ＣＭＯＳセンサ）に起因するリセットノイズ及び１／ｆノイズが除去されて、撮像信号（画像データ）は列回路毎の特性差に起因する列オフセットが加わった状態で出力される。

次に、コンパレータ５２７ａ、メモリ５２８ａ、ランプ信号発生器５２９、及びグレイコードカウンタ５３０によって構成されるランプ型ＡＤ変換器の動作に関して、フルスケールレンジのビット数と変換時間の関係について説明する。

図示のランプ型ＡＤ変換器は、フルスケールレンジを可変できる複数の動作モードを有するという特徴がある。つまり、ランプ型ＡＤ変換器は、少なくとも第１の変換ビット数において第１の変換速度で動作する第１の動作モードと、第１の変換ビット数よりも小さい第２の変換ビット数において第１の変換速度よりも速い第２の変換速度で動作する第２の動作モードを有する。

図７は図５に示すランプ型ＡＤ変換器の動作について具体例を示す図である。図７において、横軸はグレイコードカウンタ５３０の出力値であり、縦軸はコンパレータ５２７ａに入力されるランプ信号及び撮像信号の電圧レベルである。

フルスケールレンジの階調ビット数は、動作モード（以下単にモードともいう）１の場合には１０ビット（２^１０）であり、動作モード２の場合には１１ビット（２^１１）である。また、動作モード３の場合には１２ビット（２^１２）である。

動作モード１〜３において、ランプ信号のフルレベルＶＦが常に一定値となるように、フルスケールレンジに連動して発生させるランプ信号の傾きが変更する。これによって、任意の撮像信号レベルＶＳに対してランプ信号が交差するポイントで、カウンタゼロにおける初期電圧を起点にしてコンパレータ出力がＬレベルからＨレベルに転ずる期間は、動作モード１〜３においてそれぞれ異なる。

つまり、ＡＤ変換に要する時間はカウント数によって決定され、動作モード１の場合のカウント数（つまり、変換ビット数）がＭとして１カウント期間が１０［ｎｓ］であれば、時間に換算すると１０Ｍ［ｎｓ］となる。動作モード２のカウント数はその２倍で２Ｍ、動作モード３のカウント数はその４倍で４Ｍとなる。そして、信号レベルがフルレベルＶＦのときが最大で、動作モード１の場合のカウント数が（２^１０）で時間に換算すると約１０［μｓ］、動作モード２の場合はその２倍で約２０［μｓ］、動作モード３の場合がその４倍で約４０［μｓ］となる。

そして、１行時間単位において列毎に並列にＡＤ変換が行われる。１フレーム１０００行（有効９６０行＋ＶＯＢ４０行）当りの変換所要時間は、動作モード１で約１０［ｍｓ］である。また、動作モード２の場合はその２倍で約２０［ｍｓ］、動作モード３の場合はその４倍で約４０［ｍｓ］となる。

これを動画に適用した場合のフレームレート（１秒間に読み出せるフレーム数）は、その逆数で求まり、実現可能なレートの上限が、動作モード１において１００ｆｐｓ、動作モード２において５０ｆｐｓ、動作モード３において２５ｆｐｓと計算される。

このように、ランプ型ＡＤ変換器においては、ＡＤ変換に要する時間はフルスケールレンジの階調ビット数が１ビット増す毎に２倍に延びて、ＡＤ分解能に比例する結果となる。従って、上記のランプ型ＡＤ変換器を用いた場合、例えば、動画において６０ｆｐｓのフレームレートを実現するためには、動作モード１を選択する以外になく、ＡＤ変換時の階調ビット数は１０ビットに決定されることになる。

ところで、ＡＤ変換時における画素データは、ＡＤ変換器の後段において、複数の画素データを用いた信号処理によって、その階調ビット数を拡張することが可能である。

図８は、図１に示す信号処理回路１０９における信号処理の過程を模式的に示す図である。そして、図８（ａ）は単独の画素データのデータ形式であって１０ビットの整数部と２ビットの少数部とからなる２進数の１２ビット長のデータ配列を示す図である。図８（ｂ）は２画素分の画素データＡ及びＢを加算して２で割り戻した際の様子を示す図である。また、図８（ｃ）は４画素分の画素データＡ〜Ｄを加算して４で割り戻した際の様子を示す図である。

図８（ａ）に示すように、動作モード１によってＡＤ変換器から出力された１０ビットデータによって構成された整数部とゼロが設定された少数部とからなり、階調ビット数は実質的に１０ビットである。図８（ｂ）に示すように、２画素分の画素データＡ及びＢを加算して２で割り戻した際には、演算後の階調ビット数は１ビット拡張されて実質的に１１ビットとなる。また、図８（ｃ）に示すように、４画素分の画素データＡ〜Ｄを加算して４で割り戻した際には、演算後の階調ビット数は２ビット拡張されて実質的に１２ビットとなる。

このように、複数の画素データによる加算平均処理により少数部のゼロを割戻しのデータで満たして階調ビット数を拡張することが可能となる。また、加算する画素データが多ければその分割戻しの際に拡張される階調ビット数の数も増やすことができる。つまり、２のＮ乗分の画素データの加算平均処理によって拡張される階調ビット数の数はＮといえる（Ｎは自然数）。

次に、静止画撮影時の信号処理に関して、図１に示す信号処理回路１０９における処理の具体例を上げて説明する。

図９Ａは、図１に示す信号処理回路において静止画撮影時の色補間処理を行う際の静止画読出し時の画素配列の一例を示す図である。また、図９Ｂは、図１に示す信号処理回路において赤（Ｒ）、青（Ｂ）、緑（Ｇ）毎に色補間処理を行った後の画素配列の様子を示す図である。そして、図９Ｃは、図９Ｂに示す補間画素を含む画素データ毎の演算処理の内容と当該演算処理によって拡張される画素データの階調ビット数を示す図である。

図５に示すＣＭＯＳセンサ１０３において、ＰＤには（つまり、光電変換素子の受光部には）、互いに異なる複数の色フィルタが予め規定された配列で設けられている。ここでは、赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）の３種類の色フィルタが受光部に設けられているものとする。

図９Ａでは、赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）の３種類の色フィルタにより分離された水平２画素、垂直２画素の４画素分Ｒ、ＧとＧ、Ｂを色配列の最小構成とする繰り返し配列（所謂ベイヤー配列）が示されている。赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）の個々の色に対応する画素データは空間的に飛び飛びの位置に存在する。同じ色の画素データについて見れば、他の色画素データの位置にある画素データは欠落しており存在しない。

そこで、図９Ａに示すベイヤー配列の画素データからカラー画像を生成するためには、まず、赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）毎に、欠落する画素データをその周辺画素から補間演算により生成する色補間処理が必要となる。

図９Ｂでは上記の赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）毎に色補間処理を行った後の画素配列の様子が示されている。この色補間処理により、赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）毎に独立して、元の画像サイズと同一サイズの画素データが生成される。そして、図９Ｃでは、図９Ｂに示した補間画素を含む画素データ毎の演算処理の内容と当該演算処理によって拡張される画素データの階調ビット数が示されている。ここでは、補間演算を必要としない画素データ（ビット拡張なし）、２画素補間（１ビット拡張）、４画素補間（２ビット拡張）の３種類の画素データに分かれる。

各画素データの階調ビット数は、ＡＤ変換器の動作モードによって異なる。静止画撮影の場合には動作モード３で動作し、上記の補間演算によって階調ビット数は１２〜１４ビットの値を有する（最小１２ビット）。

メカニカルシャッタを用いた静止画撮影においてはシャッタ制御が連写（連続撮影）を行う際の動作速度の制約となっており、センサの読出し速度は動作モード３の２５ｆｐｓが実現できれば十分といえる。

図１０は、静止画撮影時のＩＳＯ感度（撮像感度）に対応してゲイン配分を示すゲイン切り換えテーブルと階調ビット数との関係を示す図である。

静止画撮影時においては、静止画撮影の動作を始動する度に、図３で説明したように列オフセットを除去するために９６０ラインの加算平均によって列オフセットデータを算出している。これによって、ＣＭＯＳセンサ１０３の読出し速度はさらに半減して１２．５ｆｐｓとなるが、連写（連続撮影）を行う上での障害とはならない。従って、ＣＭＯＳセンサ１０３の列アンプのゲイン設定の切り換え機構を用いて、撮影の都度、１倍、２倍、４倍、及び８倍の４ステップでゲインを切り換えて、ＩＳＯ１００〜ＩＳＯ８００までの感度の設定を行う。この感度領域において、階調ビット数は最小１２ビットを確保することができる。

さらに、列アンプのゲインの上限値を超える（８倍超）感度域に対しては、乗算器１０８（図１）の乗算係数を切り換えて２倍〜８倍と可変することでトータルゲイン１６倍〜３２倍を設定して、ＩＳＯ１６００〜ＩＳＯ６４００の感度を実現することもできる。

但し、この場合には、乗算器１０８で２倍ゲインを増すごとに上位方向に１ビット分のビットシフトの演算処理を行うことになるため、階調ビット数は１ビットずつ減少し、量子化ノイズが倍増していくことになる。その結果、画素データが有するランダムノイズとの兼ね合いにも依るが、経験的に階調ビット数として９ビットが実用可能な下限レベルと考えられている。

次に、動画撮影時の信号処理に関して、信号処理回路１０９における処理について具体例を上げて説明する。図９Ａ〜図９Ｃに関連して説明した色補間処理の手法は動画撮影時においても同様である。

動画時においては、６０ｆｐｓの動画フレームレートを実現するためにＡＤ変換器は動作モード１で動作し、前述した補間演算によって階調ビット数は静止画の場合よりも２ビット少ない１０〜１２ビットの値を有する（最小１０ビット）。また、動画時においては、色補間処理後にさらに仕様となる動画サイズまでサイズ変換を行う必要がある。

図１１は、図１に示す信号処理回路１０９において仕様となる動画サイズまでサイズ変換を行う縮小変倍処理について説明するための図である。そして、図１１（ａ）は縮小変倍後における赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）画素の画素配列を示す図であり、図１１（ｂ）は縮小変倍を行う際に用いられる補間演算式を示す図である。

ここでは、静止画及び動画の各々の画像サイズの仕様として、静止画の画像サイズが横１２８０、縦９６０（所謂ＳＶＧＡサイズ）に対して、動画の画像サイズが横６４０、縦４８０（所謂ＶＧＡサイズ）であるとする。

図９Ｂに示す赤（Ｒ）、青（Ｂ）、及び緑（Ｇ）毎に生成された色補間処理後の各画像データに対して、図１１（ａ）に示す例では、横（１／２）、縦（１／２）のサイズ変換を行っている。サイズ変換を行うための手法として、縦、横２画素ずつの４画素から加算平均処理によって１画素のデータを生成する手法を用いる。

従来、動画撮影の際には、ＣＭＯＳセンサ１０３に静止画の場合と異なる加算及び間引きを行う手段を設けて、読み出す画素データの数を減らしてフレームレートを向上させる手法が一般的である。ここでは、静止画の場合と同様に、動画の場合においてもＣＭＯＳセンサにおいて加算及び間引きを行うことなく動画読み出しの後に色補間処理を行う。そして、分離された色毎の画像に対して画像のサイズ変換（配列サイズの変換）を行って重心ずれをなくして、情報量の豊富な高精細な動画画質を得ることができる。

また、図８（ｃ）で説明した手法と同様の手法によって、階調ビット数を２ビット拡張することができ、この時点で、階調ビット数は静止画と同じ１２〜１４ビットの値を有することができる（最小１２ビット）。

図１２は、動画撮影時のＩＳＯ感度（撮像感度）に対応してゲイン配分を示すゲイン切り換えテーブルと階調ビット数との関係を示す図である。

動画において、静止画と同様に９６０ラインの列オフセットデータから列オフセットを検出した場合には、ＣＭＯＳセンサの読出し速度が半減して５０ｆｐｓとなって、６０ｆｐｓの動画フレームレートを実現することができなくなる。

動画撮影の場合には、図４に関連して説明したように、列オフセットを除去するために少ない検出ライン数から得られる列オフセットデータをフレーム間で引き継いで平均化する。これによって、複数のフレームの読出し時間を費やして列オフセットの精度を上げる。

動画撮影の途中で静止画と同様に、列アンプのゲインの設定を切り換えてＩＳＯ感度の切り換えを行うと、列アンプのゲインに依存して列オフセットのレベルが変動する。このため、列オフセット補正の精度が一時的に劣化する。その結果、画像が乱れて列オフセットによる縦スジが見えてしまうという弊害が発生する。そこで、動画撮影の途中におけるＩＳＯ感度の切り換えは、静止画の場合とは異なり、列アンプのゲインの設定は変えずに、乗算器１０８の係数の切り換えのみで行うことにする。

図１に示すように、乗算器１０８は列オフセット除去回路１０７の後段に配置されており、列オフセット除去後の画像データに対してゲインを切り換えるため、感度切り換えによる列オフセット補正の弊害は何ら発生しない。但し、静止画の場合と同様に、乗算器１０８で２倍ゲインを増すごとに上位方向に１ビット分のビットシフトの演算処理を行うことになるため、階調ビット数は１ビットずつ減少し、量子化ノイズが倍増していく。

列アンプのゲインの設定を動画の最初に１倍で固定して、乗算器１０８の乗算係数を切り換えて１倍〜８倍と可変することでトータルゲイン１倍〜８倍を設定して、ＩＳＯ１００〜ＩＳＯ８００の感度を実現することができる。

（第２の実施形態）
ところで、高速なＡＤ変換の動作モードが要求されるケースは動画に限定されない。ストロボ発光部（図示せず）との組み合わせでストロボ撮影を行う場合においても、その必要度は高い。そこで、次のように、ストロボ発光量を調整するための測光時に、高速にＡＤ変換を行う動作モードと、この動作モードによって得られる画像データから測光データの精度を得るようにする。

以下、ストロボ測光時の信号処理に関して信号処理回路１０９における処理の具体例を上げて説明する。ここでは、ＣＭＯＳセンサにおいて、所謂ローリング電子シャッタ方式を用いた場合のタイミングずれについて説明することにする。

図１３は、図１に示すＣＭＯセンサの読出し手法とＥＦ（ストロボ測光）との関係を説明するための図である。そして、図１３（ａ）はＥＦ評価ブロック領域のプリストロボ発光による光電荷の蓄積タイミングの一例を示す図であり、図１３（ｂ）は光強度を示す図である。

通常、ストロボ撮影時には、撮影に先立ちプリストロボ発光を行い、これによってＣＭＯＳセンサから得られたセンサ出力に応じて撮影に必要なストロボ発光量を決定するようにしている。つまり、所謂ＥＦ（ストロボ測光）動作が行われる。

ＣＭＯＳセンサ１０３で受けた光電荷を蓄積する場合、各ラインｎ、（ｎ＋１）、（ｎ＋２）の蓄積開始がそれぞれ一定の読出し時間分だけ遅延しつつずれる。また、ＥＦ動作において、ある時間にストロボをプリ発光する場合の光強度は、時間を横軸として図１３（ｂ）に示すように変化する。この光量変化をＣＭＯＳセンサ１０３が受けて、全エリア内から抽出された一部のブロック領域を評価する。この際、ＥＦ評価ブロック領域のラインｎ〜（ｎ＋ｍ）の全てがプリ発光期間内に電荷の蓄積を行わなければならない（ｍは２以上の整数）。

つまり、ＥＦ評価ブロック領域の全てがプリ発光による光を受光しなくてはフラッシュを正しく検出することができないため精度が落ちてしまう。図１３に示す例では、ＥＦ評価ブロック領域の全てにおいてプリ発光による光を受光している。

それでは、どのような場合に、ＥＦ評価ブロック領域の全てにプリ発光が照射されなくなってしまうのかについて、日中シンクロ時（シャッタ速度１／５００）の場合を例を挙げて説明する。

図１４は、図１３で説明したＥＦ評価ブロック領域の蓄積時間のタイミングを示す図である。そして、図１４（ａ）はＣＭＯＳセンサにおける読み出し時間が蓄積時間よりも大きい場合を示す図であり、図１４（ｂ）はＣＭＯＳセンサにおける読み出し時間が蓄積時間よりも小さい場合を示す図である。

いま、シャッタ速度は１／５００であるので蓄積時間は２ｍｓとなる。このとき、１ライン読み出すのに必要な時間及び垂直方向ライン数を動画撮影時と同じ動作モード１にした場合でも、最初に読み出すラインと最後に読み出すラインとの間に約１０ｍｓの時間差が生じる。

図１４（ａ）から明らかなように、ＥＦ評価ブロック領域の全ラインに時間的に重なる期間が存在せず、ＥＦ評価ブロック領域の全ラインについてプリ発光を照射することができない。このように、全１０００ライン読み出すのに最初に読み出すラインと最後に読み出すラインとの間に生じた時間差に比べて蓄積時間が短くなった場合、ＥＦ評価ブロック領域全てにプリ発光を照射することができない。

上述の点を考慮すると、同調シャッタ速度、ＥＦ評価ブロック領域からの読み出し時間、及びプリ発光時間が、次の式（１）を満足したときに初めてＥＦ評価ブロック領域の全てにプリ発光を照射することができる。

同調シャッタ速度≧読み出し時間＋プリ発光時間 （１）
式（１）を満たすために有効な手法の１つが読み出し時間の短縮化であり、ＡＤ変換の動作モードのさらなる高速化である。読出し時間の短縮化によって図１４（ａ）に示す平行四辺形の傾きを変えることができる。

図１４（ｂ）に示すように、読出し時間を（１／８）に短縮して、１．２５ｍｓとすることができれば、式（１）を満足することができる。そこで読出し時間を（１／８）に短縮して１．２５ｍｓとするために、ＡＤ変換の動作モード１よりもさらに８倍高速な動作モード４を新たに設ける。動作モード４のフルスケールレンジの階調ビット数は、動作モード１の８倍の高速性を実現するためには、動作モード１の１０ビットよりも３ビット少ない７ビットが必要である。このことは、図７に関連して説明した動作モードと階調ビット数との関係から明らかである。

ＥＦ動作時に、動作モード４で読み出した画素データは、図１３に示すＥＦ評価ブロック内の複数の画素データを用いて加算平均処理を行い、ＥＦ評価値を算出する。そして、算出されたＥＦ評価値に基づいて撮影時のストロボ発光量を決定する。ＥＦ動作時に、動作モード４で読み出した画素データの階調ビット数は７ビットと階調数が非常に粗くて、量子化ノイズの大きい状態にある。

しかしながら、複数の画素データを束ねて加算平均処理を行うことで階調ビット数を拡張できることは図８に関連して説明したとおりである。例えば、６４画素分（２の６乗）の画素データがあれば、これらを加算平均することで６ビットの階調ビット数の拡張がなされる。これによって算出されるＥＦ評価値は、ランダムノイズの改善と併せて１３ビット（７＋６）という十分な階調ビット精度を得ることができる。

ＥＦ評価ブロックは、小ブロック単位（横ｉ、横ｊ）でさらに分割されており、この小ブロック単位でブロック評価値Ｗｉｊを算出する。そして、ブロック評価値Ｗｉｊ毎に所定の重み付け係数Ｋｉｊを掛けた値の総和の積分処理によりＥＦ評価ブロック全体の評価値を算出する。従って、この小ブロックの画素データ数を上記の例のように、６４画素以上に設定する。そうすることで、動作モード４で読み出した画素データの階調ビット数７の粗さは精度的に問題となることがない。

なお、上述の説明から明らかなように、図１に示す信号処理回路１０９及びシステムコントローラ１１０が拡張処理手段として機能することになる。また、ＴＧ１０５及びシステムコントローラ１１０が第１の感度切り換え手段として機能する。さらに、システムコントローラ１１０が第２の感度切り換え手段として機能する。そして、信号処理回路１０９及びシステムコントローラ１１０が処理手段として機能し、システムコントローラ１１０が生成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を、撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。この際、制御方法及び制御プログラムは、少なくとも第１のステップ、第２のステップ、及び第３のステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ レンズ
１０２ シャッタ兼用絞り
１０３ ＣＭＯＳセンサ
１０４ ＳＳＧ
１０５ ＴＧ
１０６ ウィンドウ回路
１０７ 列オフセット除去回路
１０８ 乗算器
１０９ 信号処理回路
１１０ システムコントローラ

Claims (7)

1. 複数の異なる色フィルタが設けられた複数の画素が予め規定された配列で２次元状に配列された画素配列と、
   第１の変換ビット数において第１の変換速度で動作する第１の動作モードと、前記第１の変換ビット数よりも小さい第２の変換ビット数において第１の変換速度よりも速い第２の変換速度で動作する第２の動作モードのいずれかの動作モードで動作し、前記画素配列から出力される画像信号をＡＤ変換するＡＤ変換手段と、
   前記ＡＤ変換手段から出力される画像データを色毎に補間処理する補間処理手段と、
   前記ＡＤ変換手段を前記第２の動作モードで動作させる場合に、前記補間処理手段により色毎に補間処理された画像データを縮小変倍処理することで階調ビット数を拡張する変倍処理手段と、
   を有することを特徴とする撮像装置。
2. 前記変倍処理手段は、前記ＡＤ変換手段から出力される画像データに含まれる複数の画素データを加算することで階調ビット数を拡張することを特徴とする請求項１記載の撮像装置。
3. 前記ＡＤ変換手段は、前記画素配列の列毎に設けられることを特徴とする請求項１または２記載の撮像装置。
4. さらに、前記画素配列の列毎に設けられた増幅手段を有し、前記ＡＤ変換手段は、前記増幅手段の出力側に設けられることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記ＡＤ変換手段の後段に設けられた乗算手段と、
   前記乗算手段の乗算係数により撮像感度を切り替える感度切り換え手段とを有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記ＡＤ変換手段から出力された２次元配列状の画像データを積分処理してストロボ撮影の際のストロボ発光量を調整するための測光データを生成する生成手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 複数の異なる色フィルタが設けられた複数の画素が予め規定された配列で２次元状に配列された画素配列と、
   第１の変換ビット数において第１の変換速度で動作する第１の動作モードと、前記第１の変換ビット数よりも小さい第２の変換ビット数において第１の変換速度よりも速い第２の変換速度で動作する第２の動作モードのいずれかの動作モードで動作し、前記画素配列から出力される画像信号をＡＤ変換するＡＤ変換手段とを有する撮像装置を制御するための制御方法であって、
   前記ＡＤ変換手段から出力される画像データを色毎に補間処理する補間処理ステップと、
   前記ＡＤ変換手段を前記第２の動作モードで動作させる場合に、前記補間処理ステップにより色毎に補間処理された画像データを縮小変倍処理することで階調ビット数を拡張する変倍処理ステップと、
   を有することを特徴とする制御方法。

Images