JP2017098790A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】画面内で信号を読み出さなければならない画素数が行毎に異なる場合に、出力画像の品位の低下を抑制する。
【解決手段】各々が複数の光電変換素子を備えた単位画素が複数配列された撮像素子と、撮像素子に露光開始のためのシャッター走査と、露光終了のための読み出し走査とを実行させる駆動部と、撮像素子から読み出された画像信号にゲインをかけるゲイン部と、複数の単位画素の各々から画像信号を読み出す光電変換素子の数をフレームごとに変更する場合に、前フレームの読み出し走査と現フレームのシャッター走査がオーバーラップしないように駆動部を制御するとともに、駆動部の制御により設定された現フレームの露光時間に応じて前後のフレームと信号レベルを合わせるようにゲイン部のゲインを制御する制御部とを備える。
【選択図】 図４

Description

本発明は、撮像装置及びその制御方法に関する。

近年、レンズからの光を取り込んで画像信号に変換する画素部に位相差を検出するための画素を配置した撮像素子を搭載し、撮像面位相差検出方式と呼ばれる方式の焦点検出が可能な撮像装置が各社から商品化されている。

例えば、特許文献１では、撮像面位相差検出方式の焦点検出が可能な撮像素子の制御方法について提案されている。特許文献１では、撮像素子は、撮影レンズ(撮影光学系)の射出瞳における一対の瞳領域(例えば左側・右側の領域)を通過した被写体光束をそれぞれ受光する一対の画素を複数対備えており、位相差検出用の信号を生成可能である。

ところで、瞳分割を行う画素を持つ撮像素子では、全画素から信号を読み出すと消費電力が大きくなる。そのため、特許文献１では、オートフォーカスを行う領域のみ各単位画素から複数のフォトダイオードの出力信号を合成した信号とともに合成しない信号を読み出し、その他の領域は各単位画素から複数のフォトダイオードの出力信号を合成した信号のみを読み出すことで消費電力を削減する方法が提案されている。

このような読み出し方法においては、撮像素子の各単位画素から読み出される出力信号数が各行で異なることにより、次のような問題が起きる。すなわち、水平のブランキング期間（水平走査期間のうち、画素信号を読み出していない期間）が充分に長ければ、出力信号数が変わっても水平走査期間を変えずに全画素の出力信号を読み出すことができる。しかし、水平のブランキング期間が短い場合、水平走査期間を各行で変える必要がある。

特開２０１４−２３９３１６号公報

撮像素子の駆動においては、画素のリセットを行うシャッター走査から、画素から信号を読み出す読み出し走査までの時間がその画素の露光時間となる。そのため、同じフレームの画素はシャッター走査から読み出し走査までの時間を同一にする必要がある。

しかしながら、オートフォーカスに使用する領域が画面内で変更された場合などには、各単位画素から複数のフォトダイオードの出力信号を合成した信号とともに合成しない信号を読み出さなければならない画素行が画面内で変化する。つまり、オートフォーカスに使用する領域が画面内で変更されるごとに、水平走査期間を長くしなければいけない画素行が変化する。そして、読み出し走査のタイミングが変化し、各行で露光時間が変わり、シャッター走査が読み出し走査を追い越してしまう可能性もある。そのような場合、読み出し走査のタイミングを変更した次のフレームでは正常な画像が出力されない可能性があるが、オートフォーカス用として画素信号を使用する場合には、次のフレームの映像を正常に出力させる必要がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画面内で信号を読み出さなければならない画素数が行毎に異なる場合に、出力画像の品位の低下を抑制することである。

本発明に係わる撮像装置は、各々が複数の光電変換素子を備えた単位画素が複数配列された撮像素子と、前記撮像素子に露光開始のためのシャッター走査と、露光終了のための読み出し走査とを実行させる駆動手段と、前記撮像素子から読み出された画像信号にゲインをかけるゲイン手段と、前記複数の単位画素の各々から画像信号を読み出す光電変換素子の数をフレームごとに変更する場合に、前フレームの読み出し走査と現フレームのシャッター走査がオーバーラップしないように前記駆動手段を制御するとともに、該駆動手段の制御により設定された現フレームの露光時間に応じて前後のフレームと信号レベルを合わせるように前記ゲイン手段のゲインを制御する制御手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置は、各々が複数の光電変換素子を備えた単位画素が複数配列された撮像素子と、前記撮像素子に露光開始のためのシャッター走査と、露光終了のための読み出し走査とを実行させる駆動手段と、前記撮像素子から読み出されたラインごとの画像信号にゲインをかけるゲイン手段と、前記複数の単位画素の各々から画像信号を読み出す光電変換素子の数をフレームごとに変更する場合に、現フレームのシャッター走査を前フレームの読み出し走査に合わせるように前記駆動手段を制御するとともに、該駆動手段の制御により設定された現フレームにおけるラインごとの露光時間に応じて前後のフレームと信号レベルを合わせるように前記ゲイン手段のゲインを制御する制御手段と、を備えることを特徴とする。

本発明によれば、フレーム内で複数の単位画素の各々から画像信号を読み出す光電変換素子の数が行毎に異なる場合に、出力画像の品位の低下を抑制することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態における撮像素子の構成を示す図。 撮像素子のシャッター走査及び読み出し走査のタイミングを示す図。 撮像素子のシャッター走査及び読み出し走査のタイミングを示す図。 撮像素子のシャッター走査及び読み出し走査のタイミングを示す図。 第１の実施形態の撮像装置の動作を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、光学レンズ１０１は、被写体の光を取り込み、被写体像を撮像素子１０２の撮像面上に結像させる。そして、ピントを合わせるためのフォーカス機構、光量や被写界深度を調節する絞り機構、焦点距離を変化させるためのズーム機構等を備える。ただし、レンズの種類により、これらの構成をすべて有するとは限らない。例えば、単焦点レンズであれば、ズーム機構は持たず、パンフォーカスレンズであれば、フォーカスは無限遠の１点のみで、フォーカス機構は持たない。レンズのコストダウンのために、絞り位置を１点にし、光量の調整を、絞りの代わりにＮＤフィルタで代用したものもある。本実施形態では、光学レンズ１０１は、構成が違っていても、撮像素子に光を結像させる機能を有する全てのレンズの種類を包含する。

撮像素子１０２は、光学レンズ１０１からの入射光を受光し、それを電気信号へ変換して出力する。代表的なものとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーなどが挙げられる。これらの撮像素子１０２には、出力する画像信号が、アナログの画像信号であるものと、デジタルの画像データであるものとがある。デジタルの画像データを出力するものは、撮像素子の内部でＡＤ（アナログデジタル）変換処理を行い、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）をはじめとするインタフェースを用いてデジタルデータを出力する。

図２（ａ）は、本実施形態における撮像素子の構成を示すブロック図である。図２（ａ）において、タイミングジェネレータ（以下、ＴＧ）２０１は、撮像素子１０２全体の駆動を制御する。画素部２０２は、各々が光を電気信号に変換するためのフォトダイオードやフローティングディフュージョンアンプを有する複数の単位画素からなり、各画素の信号を列単位で後段の列ＡＤコンバータ（以下、列ＡＤＣ）２０３へ出力する。列ＡＤＣ２０３は、画素部２０２から出力された各画素のアナログの画像信号をデジタル信号に変換する。水平シフトレジスタ（以下、ＨＳＲ）２０４は、列ＡＤＣ２０３により変換された各画素のデジタル信号を１行ごとにパラレル・シリアル変換部（以下、Ｐ／Ｓ）２０５へ転送する。Ｐ／Ｓ２０５は、デジタル信号を出力する方式として近年よく用いられているＬＶＤＳに対応したシリアル信号に変換する。ＬＶＤＳ部２０６は、Ｐ／Ｓ２０５で変換されたシリアル信号を出力するためのドライブ回路である。

これらの構成のうち、画素部２０２の各単位画素の構成について、図２（ｂ）を参照して説明する。図２（ｂ）は、撮像素子１０２の画素部２０２に複数配列された単位画素の断面を模式的に表した図である。マイクロレンズ３０１は、撮像素子に入射した光を効率的にフォトダイオードに集光させるためのレンズであり、集光率を向上させることにより撮像素子の感度を上げる。カラーフィルタ３０２は、入射光をＲ，Ｇ，Ｂをはじめとする３組、または４組の色に分光する。代表的な構造として、ベイヤー配列と呼ばれる配列構造が挙げられる。インナーレンズ３０３は層内レンズとも呼ばれ、マイクロレンズとフォトダイオードの間に設けられる。通常、インナーレンズを配置することで、画素縮小化の点で有効であり、絞りのＦ値が小さく傾きが大きい入射光線に対しても感度を向上させることができる。

フォトダイオード（光電変換素子）３０４Ａ，３０４Ｂは、入射光を電荷に変換する光電変換を行う。通常は、１つのマイクロレンズやカラーフィルタに対して１つのフォトダイオードが配置される。しかし、本実施形態の撮像装置では、複数のフォトダイオード（本実施形態では２つのフォトダイオード３０４Ａ，３０４Ｂ）を有する。これらの複数のフォトダイオードは、光学レンズ１０１の射出瞳のうちのそれぞれ異なる領域を通過した光を受光し、瞳分割を行う。すなわち、１つのマイクロレンズに対して、フォトダイオードの信号を読み出す回路が２つ以上必要となる。これは、撮像面位相差検出方式を実現するための一つの手法であって、この２つのフォトダイオード３０４Ａ，３０４Ｂから読み出した画像信号の比較を行うことでデフォーカス量を算出するための位相差を検出する。

本実施形態では、撮像素子１０２は、２つのフォトダイオード３０４Ａ，３０４Ｂから位相差を検出できるように信号を読み出す方法と、２つのフォトダイオードの信号を混合させて位相差を検出せずに読み出す方法を、各行（各ライン）で変更することができる。また、位相差を検出できるように読み出す方法を独立読み出しと呼ぶ。独立読み出しには、２つのフォトダイオードの信号を別々にＡ信号，Ｂ信号として出力する。または、一方のフォトダイオードの出力であるＡ信号（またはＢ信号）と、Ａ信号とＢ信号を混合したＡ＋Ｂ信号の２つを出力する。一方、位相差を検出せず、２つのフォトダイオードの片方の出力であるＡ信号（Ｂ信号）のみ、もしくはＡ信号とＢ信号を混合したＡ＋Ｂ信号のみを読み出す読み出し方法を混合読み出しと呼ぶ。このとき、独立読み出しを行うラインは、混合読み出しを行うラインに対して画素信号の読み出しにかかる時間が２倍になるため、水平走査期間も２倍の長さになる。

図１の説明に戻り、ＬＳＩからなる画像処理部１０３は、アナログフロントエンド部とデジタル処理部から構成される。アナログフロントエンド部は、撮像素子１０２から出力されたアナログ画像信号をデジタル信号へ変換する。デジタル処理部は、デジタル化された画像信号に各処理を行う。なお、撮像素子１０２の内部でＡＤ変換が行われ、ＬＶＤＳなどのデジタル信号が出力される場合は、アナログフロントエンド部は省略される。たとえば撮像素子１０２がＣＭＯＳイメージセンサーである場合、画像処理部１０３では、ＣＭＯＳイメージセンサー特有の固定パターンノイズの除去や、黒レベルクランプ処理などを行なう。また、撮像装置における代表的な画像処理である画素混合処理、ノイズリダクション処理、ガンマ補正処理、ニー補正処理、デジタルゲイン処理、キズ補正処理など各種画像処理を行なう。画像処理部１０３には、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も含まれる。

また、入力された被写体の画像を表示する表示部１０４の代表的なものとしては、外部のモニター、撮像装置に付属する液晶モニター、ビューファインダーなどが挙げられる。撮像装置の使用者は、この表示部１０４を通じて、画角や露出などを確認する。近年では、表示部１０４にタッチパネルを搭載した撮像装置も多い。

信号記録部１０５は、画像処理部１０３から受けた各画像処理が反映された画像信号を記憶装置もしくは記憶媒体へ記録する。露出制御部１０８は、画像処理部１０３から受けた画像信号情報から適正な露光量を算出する。また、撮像素子１０２から出力された信号から位相差に基づくデフォーカス量を計算し、適切なフォーカス位置を割り出す。そして、撮像素子１０２の制御を司る撮像素子制御部１０７及び光学レンズ１０１の制御を司るレンズ制御部１０６にその情報を伝達する。

次に図３を参照して、撮像素子の画面内の領域毎に信号読み出し画素数を変更した場合の、シャッター走査と読み出し走査で生じる課題について説明する。撮像素子では、シャッター走査は露光開始のために行われ、読み出し走査は露光終了のために行われる。図３（ａ）は、横軸に時間、縦軸に垂直方向ライン数をとり、画像出力の様子を示した図である。横軸において、所定時間毎に垂直同期信号（ＶＤ）が出力され、１ＶＤごとに１フレームの画像データが出力される。撮像素子１０２には、独立読み出しを行う領域と混合読み出しを行う領域が混在し、図３は独立読み出しを行う領域を変更したときのシャッター走査と読み出し走査のタイミングを示している。

撮像素子がＣＭＯＳイメージセンサーであれば、各画素の信号がラインごとに順次読み出されるため、ローリングシャッター方式が一般的である。すなわち、垂直ラインの上方向から下方向へ向かって画像信号をラインごとに読み出す。撮像素子１０２は、ＶＤの立ち下がりで露光の終了である読み出し走査を行い、続いて露光の開始であるシャッター走査を行い、各画素をリセットする。フレーム１は、全ラインでシャッター走査から読み出し走査までの露光期間は時間ｔである。独立読み出しの領域では、２つのフォトダイオードの信号を別々にＡ信号，Ｂ信号として出力するために読み出す画素信号の数が多くなり、読み出し走査に時間がかかる。つまり、図３では、この独立読み出しの領域は、シャッター走査と読み出し走査の傾きが、混合読み出しの領域よりも小さくなっている部分で表わされている。

独立読み出しの領域の変更指示により、フレーム２から読み出し走査を変更する。この場合、フレーム１の読み出し走査に沿ってシャッター走査を行うと、画面内で露光時間ｔの関係が崩れてしまう露光変化領域１が発生する。さらに次のフレーム３でも独立読み出し領域を変更すると、同様に露光変化領域２が発生する。露光変化領域が発生すると、そのラインだけ露光時間が変わってしまい、品位の低い映像となってしまう。

図３（ｂ）は、読み出し領域変更後の読み出し走査に合わせ、事前にシャッター走査も変更した場合を示した図である。この場合、フレーム１の読み出し領域の直後のシャッター走査を、フレーム２での独立読み出し領域に合わせることになる。この場合、フレーム１の読み出し走査とフレーム２でのシャッター走査がオーバーラップしてしまい、オーバーラップした領域のフレーム１のラインの露光時間が大きく変わり、これも品位の低い映像となってしまう。

次に、図４（ａ）及び図６を参照して、本実施形態における撮像装置の動作について説明する。図４（ａ）は、図３と同様に横軸に時間、縦軸に垂直方向ライン数をとり、画像出力の様子を示している。横軸において、所定時間毎に垂直同期期間（ＶＤ）が出力され、１ＶＤごとに１フレームの画像データが出力される。撮像素子１０２には、独立読み出し領域と混合読み出しを行う領域が混在し、図４（ａ）は独立読み出しを行う領域を変更したときのシャッター走査と読み出し走査のタイミングを示している。また、図６における各ステップの行われるタイミングを図４（ａ）にステップ番号で示している。

撮像装置は、フレーム２から独立読み出し領域を変更した画像を出力させる場合、フレーム１までの露光時間ｔが時間ｔ２よりも長いか否かを判断する。ここでｔ２は例えば下記の数式で表される。

ｔ２＝ｔ１―ｎα
ここで、時間ｔ１［ｍｓ］は、シャッター走査が前フレームの信号を読み出す読み出し走査を追い越さない場合の最大の露光時間、時間α［ｍｓ］は、独立読み出し時の１水平走査期間（ＨＤ）を、ライン数ｎ［ライン］は、独立読み出しを行うライン数である。

時間ｔが時間ｔ２よりも長い場合、独立読み出し領域を変更すると、シャッター走査がフレーム１の読み出し走査を追い越してしまうことがある。そのため、読み出し走査を変更するフレーム２において、シャッター走査を行うタイミングを露光時間が時間ｔ２となるように変更し、さらにシャッター走査はフレーム２の読み出し走査に合わせるよう変更する。読み出す領域が変更されないフレームでは、露光時間ｔを変更する必要はない。このようなタイミングで撮像素子の露光時間及びシャッター走査を制御することで、読み出し走査を追い越すことなく、画面全体で露光時間の変化しない画像を出力することができる。

次に、本実施形態の撮像装置の動作について、図６のフローチャートを参照して説明する。まず、ステップＳ１で独立読み出し領域を変更する読み出し領域変更指示を受けた後、ステップＳ２においてフレーム１の露光期間ｔと上記の時間ｔ２を比較する。比較の結果、露光時間ｔが時間ｔ２よりも長い場合、ステップＳ３において、フレーム２の露光時間を時間ｔ２へ変更するよう撮像素子１０２を駆動制御する。露光時間ｔが時間ｔ２以下であった場合は、露光時間を変更する必要はない。

次にステップＳ４において、フレーム２のシャッター走査をフレーム２の読み出し走査に合うよう変更すべく撮像素子１０２を駆動制御し、ステップＳ５においてフレーム２のシャッター走査が変更される。その後、ステップＳ６において、フレーム２の読み出し走査を変更するよう撮像素子１０２を駆動制御することで、ステップＳ７において、フレーム２の読み出し走査を変更する。

露光時間ｔを時間ｔ２に変更した場合、そのフレームは他のフレームと露光時間が異なってしまうため、画像処理部１０３においてフレーム画像全体にデジタルゲインをかけて信号レベルを調整する。デジタルゲイン部では、ｔ／ｔ２倍のゲインをかけることで、他のフレームとの画像の明るさの連続性を保つことができる。

上記で説明したような手法により、撮像素子の水平走査期間の変更を伴いながら、読み出し領域の変更を行っても、画像の品位を損なうことなく、読み出し領域をシームレスに変更することができる。

なお、本実施形態では、単位画素が瞳分割された２つの光電変換素子を持つ撮像素子で、２つの光電変換素子の信号をそれぞれ読み出す独立読み出しと、２つの光電変換素子の信号を混合して読み出す混合読み出しとで水平走査期間を変更する例を挙げた。しかし、例えば画素を間引いて信号を読み出す駆動方法などを用いて水平走査期間が変更される場合に本実施形態の方法を適用してもよい。すなわち、撮像素子の水平走査期間が各ラインで異なる駆動を行う場合であれば、本実施形態が成り立つ。

（第２の実施形態）
第１の実施形態では、どのフレームについても、シャッター走査と読み出し走査を合わせることにより露光時間を調整する手法を示した。しかし、前フレームの読み出し走査と現フレームのシャッター走査を合わせることで、画像の品位を保つようにしてもよい。

本実施形態について、図４（ｂ）を参照して説明する。図４（ｂ）は、フレーム２及びフレーム３において読み出し領域を変更する場合を示す図である。フレーム２のシャッター走査をフレーム１の読み出し領域に対応する読み出し走査と合わせることで、シャッター走査が読み出し走査を追い越すことはない。しかしながら、フレーム２のシャッター走査と読み出し走査が合っていないため、フレーム２では、前後のフレームで独立読み出しを行っているラインの部分で露光時間が異なってしまう。

そのため、画像処理部１０３のデジタルゲイン部では、フレーム画像全体ではなく、各ラインごとにデジタルゲインの値を変えてゲインをかける必要がある。この場合、各ラインのデジタルゲイン値は、
ｔ／（フレームの読み出し走査タイミング−シャッター走査タイミング）
となる。そのため、各ラインの水平走査期間から走査タイミングを計算することで、デジタルゲイン値を割り出すことができる。

図５は、前後のフレームとの関係で網掛け部が露光変化領域となる場合の各ラインのデジタルゲイン値の変化の例を示した図である。フレームの上部は露光時間が時間ｔであり、露光変化領域になってから、露光時間が次第に短くなり、シャッター走査と読み出し走査の期間が最も短くなるとその期間はｔ３となる。その後、また露光時間は時間ｔに戻る。図に示すように、デジタルゲイン値は画面上部の１倍から、最も露光時間が短いラインでｔ／ｔ３倍になり、また画面下部になるにしたがって１倍へ戻るように変化させる。

上記で説明した手法を用いるにより、撮像素子の水平走査期間の変更を伴いながら、読み出し領域の位置を変更して画像を読み出す場合でも、画像の品位を損なうことなく、読み出し領域の位置をシームレスに変更することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：光学レンズ、１０２：撮像素子、１０３：画像処理部、１０４：表示部、１０５：信号記録部、１０６：レンズ制御部、１０７：撮像素子制御部、１０８：露出制御部

Claims (16)

1. 各々が複数の光電変換素子を備えた単位画素が複数配列された撮像素子と、
   前記撮像素子に露光開始のためのシャッター走査と、露光終了のための読み出し走査とを実行させる駆動手段と、
   前記撮像素子から読み出された画像信号にゲインをかけるゲイン手段と、
   前記複数の単位画素の各々から画像信号を読み出す光電変換素子の数をフレームごとに変更する場合に、前フレームの読み出し走査と現フレームのシャッター走査がオーバーラップしないように前記駆動手段を制御するとともに、該駆動手段の制御により設定された現フレームの露光時間に応じて前後のフレームと信号レベルを合わせるように前記ゲイン手段のゲインを制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、現フレームの読み出し走査に合わせるように現フレームのシャッター走査を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記前フレームの読み出し走査に対して、現フレームのシャッター走査のタイミングを遅らせることにより、前記前フレームの読み出し走査と現フレームのシャッター走査がオーバーラップしないように制御することを特徴とする請求項２に記載の撮像装置。
4. 前記現フレームの露光時間は、前記前フレームの露光時間よりも短く設定されることを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、
   現フレームのゲイン＝前フレームのゲイン
   ×（前フレームの露光時間）／（現フレームの露光時間）
   となるように、前記ゲイン手段のゲインを制御することを特徴とする請求項４に記載の撮像装置。
6. 前記ゲイン手段は、画像信号にデジタルゲインをかけることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記単位画素の各々は、１つのマイクロレンズに対して複数の光電変換素子が配置されていることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像素子は、前記１つのマイクロレンズに対して配置された複数の光電変換素子の出力信号を用いてデフォーカス量を算出する場合と、前記デフォーカス量を算出しない場合とで、水平走査期間が異なることを特徴とする請求項７に記載の撮像装置。
9. 各々が複数の光電変換素子を備えた単位画素が複数配列された撮像素子と、
   前記撮像素子に露光開始のためのシャッター走査と、露光終了のための読み出し走査とを実行させる駆動手段と、
   前記撮像素子から読み出されたラインごとの画像信号にゲインをかけるゲイン手段と、
   前記複数の単位画素の各々から画像信号を読み出す光電変換素子の数をフレームごとに変更する場合に、現フレームのシャッター走査を前フレームの読み出し走査に合わせるように前記駆動手段を制御するとともに、該駆動手段の制御により設定された現フレームにおけるラインごとの露光時間に応じて前後のフレームと信号レベルを合わせるように前記ゲイン手段のゲインを制御する制御手段と、
   を備えることを特徴とする撮像装置。
10. 前記ゲイン手段は、画像信号にデジタルゲインをかけることを特徴とする請求項９に記載の撮像装置。
11. 前記単位画素の各々は、１つのマイクロレンズに対して複数の光電変換素子が配置されていることを特徴とする請求項９または１０に記載の撮像装置。
12. 前記撮像素子は、前記１つのマイクロレンズに対して配置された複数の光電変換素子の出力信号を用いてデフォーカス量を算出する場合と、前記デフォーカス量を算出しない場合とで、水平走査期間が異なることを特徴とする請求項１１に記載の撮像装置。
13. 各々が複数の光電変換素子を備えた単位画素が複数配列された撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子に露光開始のためのシャッター走査と、露光終了のための読み出し走査とを実行させる駆動工程と、
    前記撮像素子から読み出された画像信号にゲインをかけるゲイン工程と、
    前記複数の単位画素の各々から画像信号を読み出す光電変換素子の数をフレームごとに変更する場合に、前フレームの読み出し走査と現フレームのシャッター走査がオーバーラップしないように前記駆動工程を制御するとともに、該駆動工程の制御により設定された現フレームの露光時間に応じて前後のフレームと信号レベルを合わせるように前記ゲイン工程のゲインを制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
14. 各々が複数の光電変換素子を備えた単位画素が複数配列された撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子に露光開始のためのシャッター走査と、露光終了のための読み出し走査とを実行させる駆動工程と、
    前記撮像素子から読み出されたラインごとの画像信号にゲインをかけるゲイン工程と、
    前記複数の単位画素の各々から画像信号を読み出す光電変換素子の数をフレームごとに変更する場合に、現フレームのシャッター走査を前フレームの読み出し走査に合わせるように前記駆動工程を制御するとともに、該駆動工程の制御により設定された現フレームにおけるラインごとの露光時間に応じて前後のフレームと信号レベルを合わせるように前記ゲイン工程のゲインを制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
15. 請求項１３または１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
16. 請求項１３または１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images