JP2018182459A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】適切な露光量での撮影を維持しつつ、焦点検出の精度を向上することができる撮像装置を提供する。
【解決手段】複数の画素と、前記複数の画素のうちの第１画素から撮像光学系の射出瞳の第１領域を通過した光束に基づく第１信号を出力させる第１走査と、前記複数の画素のうちの第２画素から前記第１領域の一部である第２領域を通過した光束に基づく第２信号を出力させる第２走査と、を行う走査手段と、前記第２画素の第２露光時間を前記第１画素の第１露光時間よりも短く設定するか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記第１露光時間及び前記第２露光時間を設定する露光時間設定手段と、を有する。
【選択図】図１

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

撮像装置の焦点検出に用いられる方式の１つとして位相差検出方式が知られている。位相差検出方式では、例えば、撮像光学系の射出瞳のうちの異なる領域を通過した一対の光束による像のずれ量を検出し、当該ずれ量に基づいてデフォーカス量を取得することができる。

焦点検出の精度を向上するため、種々の検討が行われている。特許文献１は、焦点検出用の信号の飽和を抑制するため、画像の記録に適した露光量よりも小さい露光量で信号を取得して焦点検出を行う手法を開示している。また、特許文献２は、焦点検出用の信号の飽和を検出した場合に、蓄積時間を短縮する手法を開示している。

特開２０１５−１４８８１９号公報 特開平９−２３０２２５号公報

しかしながら、特許文献１及び特許文献２に記載された手法では、適切な露光量よりも低い露光量で撮像が行われる場合がある。そこで、本発明は、適切な露光量での撮影を維持しつつ、焦点検出の精度を向上することができる撮像装置及び撮像装置の制御方法を提供することを目的とする。

本発明の１つの観点によれば、複数の画素と、前記複数の画素のうちの第１画素から撮像光学系の射出瞳の第１領域を通過した光束に基づく第１信号を出力させる第１走査と、前記複数の画素のうちの第２画素から前記第１領域の一部である第２領域を通過した光束に基づく第２信号を出力させる第２走査と、を行う走査手段と、前記第２画素の第２露光時間を前記第１画素の第１露光時間よりも短く設定するか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記第１露光時間及び前記第２露光時間を設定する露光時間設定手段と、を有することを特徴とする撮像装置が提供される。

本発明の他の１つの観点によれば、複数の画素のうちの第１画素から撮像光学系の射出瞳の第１領域を通過した光束に基づく第１信号を出力させる第１走査と、前記複数の画素のうちの第２画素から前記第１領域の一部である第２領域を通過した光束に基づく第２信号を出力させる第２走査と、を行うステップと、前記第２画素の第２露光時間を前記第１画素の第１露光時間よりも短く設定するか否かを判定するステップと、前記判定するステップにおける判定結果に基づいて、前記第１露光時間及び前記第２露光時間を設定するステップと、を有することを特徴とする撮像装置の制御方法が提供される。

本発明によれば、適切な露光量での撮影を維持しつつ、焦点検出の精度を向上することができる撮像装置及び撮像装置の制御方法が提供される。

第１実施形態に係る撮像装置のブロック図である。 第１実施形態に係る撮像素子のブロック図である。 第１実施形態に係る画素の回路図である。 第１実施形態に係る画素の平面模式図である。 第１実施形態に係る画素の配置を示す模式図である。 第１実施形態に係る撮像素子の駆動方法を示す模式図である。 第１実施形態に係る撮像素子の駆動における時間経過を示す模式図である。 第１実施形態に係る撮像素子の露光時間を示す模式図である。 第１実施形態に係る撮像装置による動画撮影処理のフローチャートである。 焦点検出信号に付されるインデックスを示す模式図である。 第１実施形態に係る撮像装置による飽和判定処理のフローチャートである。 第１実施形態に係る撮像装置による飽和画素検出のフローチャートである。 第１実施形態に係る露光時間補正判定のフローチャートである。 第１実施形態に係る信号Ａと信号Ｂの予測ピーク値の算出を示す模式図である。 露光時間の差に対応するピーク値の倍率を示す表である。 第２実施形態に係る撮像装置による動画撮影処理のフローチャートである。 第２実施形態に係る露光時間補正判定のフローチャートである。 第２実施形態に係る信号Ａと信号Ｂの予測ピーク値の算出を示す模式図である。

［第１実施形態］
以下に、本発明の好ましい実施形態を、添付の図面に基づいて説明する。複数の図面にわたって対応する要素には共通の符号を付し、その説明を省略又は簡略化することがある。

図１は、本発明の第１実施形態に係るレンズユニット及びレンズ交換型のカメラ本体を含む撮像装置の構成を示すブロック図である。なお、レンズユニットが取り外された状態のレンズ交換型のカメラ本体自体も撮像装置と呼称され得る。また、本実施形態ではレンズ交換型のカメラである撮像装置の例を説明するが、本発明は、レンズユニットがカメラ本体に一体化されているレンズ一体型のカメラにも適用可能であり、この場合レンズ一体型のカメラ全体が撮像装置と呼称され得る。

図１に示されるように、本実施形態に係る撮像装置は、レンズユニット２０及びカメラ２１を含む。まず、レンズユニット２０の構成について説明する。レンズユニット２０は、固定レンズ２０１、絞り２０２、フォーカスレンズ２０３、絞り制御部２０４、フォーカス制御部２０５、レンズ制御部２０６及びレンズ操作部２０７を有する。

固定レンズ２０１、絞り２０２及びフォーカスレンズ２０３は入射光を後述する撮像素子２１２に導く撮像光学系を構成する。固定レンズ２０１は、レンズユニット２０内の最も被写体側に配置された固定のレンズ群である。絞り２０２は、絞り制御部２０４によって駆動され、撮像素子２１２への入射光量を制御する。

フォーカスレンズ２０３は、レンズユニット２０内の最も像面側（撮像素子２１２側）に配置される。フォーカスレンズ２０３は、フォーカス制御部２０５によって光軸方向に駆動され、撮像素子２１２に結像する入射光の焦点の調節を行う。レンズ制御部２０６は、レンズ全体の動作を統括制御する。レンズ制御部２０６は、絞り制御部２０４に対し、絞り２０２の開口量を制御させる。また、レンズ制御部２０６は、フォーカス制御部２０５に対しフォーカスレンズ２０３を駆動させ、フォーカスレンズ２０３の光軸方向の位置を決定させるよう制御する。

レンズ操作部２０７はレンズユニット２０に対するユーザからの操作を受け付けるスイッチなどのユーザインターフェースである。レンズ操作部２０７へのユーザ操作があった場合には、レンズ制御部２０６はユーザ操作に応じた制御を行う。また、レンズ制御部２０６は、後述するカメラ制御部２２４から受信した制御命令又は制御情報に応じて絞り制御部２０４及びフォーカス制御部２０５の制御を行う。また、レンズ制御部２０６は、レンズ制御情報（光学情報）をカメラ制御部２２４に送信する。

次に、カメラ２１の構成について説明する。カメラ２１は、撮像光学系を通過した光束に基づき撮像信号（第１信号）及び焦点検出信号（第２信号）を取得する。カメラ２１は、シャッター２１１、撮像素子２１２、アナログフロントエンド（ＡＦＥ）２１３、デジタルシグナルプロセッサ（ＤＳＰ）２１４、カメラ制御部２２４、タイミングジェネレータ２２５、シャッター制御部２２６を有する。また、カメラ２１は、焦点検出信号処理部２１５、バス２１６、表示制御部２１７、表示部２１８、記録媒体制御部２１９、記録媒体２２０を有する。また、カメラ２１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２２、フラッシュＲＯＭ２２３、カメラ操作部２２７を有する。

カメラ制御部２２４は、カメラ２１全体の動作を統括制御する。カメラ制御部２２４とレンズ制御部２０６とは、いずれも通信に必要なインターフェースを備えており、互いに制御信号、制御情報等を送受信することができる。例えば、カメラ制御部２２４は、当該インターフェースを介してレンズ制御部２０６に対し制御信号の送信を行い、また、レンズ制御部２０６からレンズ制御情報（光学情報）を取得する。

なお、本実施形態の構成がレンズ一体型のカメラに適用される場合は、レンズ制御部２０６の機能はすべてカメラ制御部２２４に含まれるように構成してもよい。この場合は、カメラ制御部２２４はレンズ一体型の撮像装置全体の動作を統括制御する。

シャッター２１１は、シャッター制御部２２６により制御され、撮像素子２１２に光を入射させるか否かを制御する。シャッター２１１は、例えば、静止画撮影における露光時間の設定に用いられる。撮像素子２１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等であり得る。撮像素子２１２の構成の詳細については後述する。

レンズユニット２０の撮像光学系を通過した光束（被写体像）は撮像素子２１２の受光面上に結像され、入射光に応じた信号電荷に変換される。生成された信号電荷は、カメラ制御部２２４からの制御信号に従ってタイミングジェネレータ２２５から与えられる駆動パルスに基づいて、信号電荷に応じた電圧信号（撮像信号、焦点検出信号）として撮像素子２１２から順次読み出される。

撮像素子２１２から読み出された撮像信号及び焦点検出信号はＡＦＥ２１３に入力される。ＡＦＥ２１３は、リセットノイズを除去するための相関二重サンプリング（ＣＤＳ）、自動利得制御（ＡＧＣ）、アナログデジタル変換（ＡＤＣ）、ダークオフセットレベルのクランプ等の処理を行う。

ＤＳＰ２１４は、ＡＦＥ２１３から出力された撮像信号及び焦点検出信号に対して、各種の補正処理、現像処理、圧縮処理を行う。より具体的には、ＤＳＰ２１４は、撮像素子２１２で発生する各種ノイズの補正処理、欠陥画素の検出、欠陥画素の補正処理、焦点検出信号の補正処理、飽和画素の検出、飽和画素の補正処理等の処理を行う。

その後、ＤＳＰ２１４で処理された撮像信号は、バス２１６を介してＲＡＭ２２１に格納される。ＲＡＭ２２１に格納された撮像信号は、バス２１６を介して、表示制御部２１７により制御される表示部２１８に表示される。表示部２１８は、例えば、液晶ディスプレイであり得る。また、撮像信号の記録を行うモードの場合には、撮像信号は、記録媒体制御部２１９によって制御される記録媒体２２０に記録される。記録媒体２２０は、例えば、フラッシュＲＯＭ、ハードディスク等の不揮発性の記録媒体であり得る。

また、ＤＳＰ２１４で処理された焦点検出信号は、焦点検出信号処理部２１５に出力される。焦点検出信号処理部２１５は、ＤＳＰ２１４から出力された焦点検出用の２つの（一対の）像信号の相関演算を行い、像ずれ量を算出する。焦点検出信号処理部２１５は、算出した像ずれ量をカメラ制御部２２４に出力する。カメラ制御部２２４は、取得した像ずれ量に基づいて、これらを算出する際の条件等の設定変更を焦点検出信号処理部２１５に通知することができる。この設定変更は、例えば、像ずれ量が大きすぎる場合に、相関演算を行う領域を広く設定するというものであり得る。また、コントラスト情報に応じてバンドパスフィルタの種類を変更するという設定変更であってもよい。なお、本実施形態の撮像装置は、少なくとも焦点検出信号処理部２１５とカメラ制御部２２４とを信号処理の機能を有する装置として含み得る。

また、バス２１６に接続されたＲＯＭ２２２には、カメラ制御部２２４が実行する制御プログラム、制御に必要な各種データ等が格納されている。バス２１６に接続されたフラッシュＲＯＭ２２３には、ユーザ設定情報等のカメラ２１の動作に関する各種設定情報が格納されている。

カメラ操作部２２７はユーザからの操作を受け付けるユーザインターフェースである。カメラ操作部２２７は、レリーズボタン、電源スイッチ、動画記録スイッチ等を含み得る。カメラ制御部２２４は、カメラ操作部２２７から入力されたユーザ操作に応じて、電源のオン／オフ、設定の変更、動画の記録の開始、記録映像の確認等の、ユーザ操作に応じたさまざまなカメラ機能を実行する。カメラ操作部２２７に含まれるレリーズボタンには、第１ストローク操作（半押し操作）によりオンになるレリーズスイッチＳＷ１と、第２ストローク操作（全押し操作）によりオンになるレリーズスイッチＳＷ２とが接続されている。

図２は、第１実施形態に係る撮像素子２１２のブロック図である。撮像素子２１２は、画素アレイ２３１、垂直走査回路２３２、インターフェース部２３３、読み出し回路２３４及び水平走査回路２３５を有する。画素アレイ２３１は、複数の行及び複数の列をなすように配列された複数の画素２３６を含む。各画素２３６には、信号を出力するための配線として、列ごとに設けられた垂直出力線２３７が接続される。

インターフェース部２３３は、タイミングジェネレータ２２５からの駆動パルスを受け、撮像素子２１２の各部に駆動パルスに基づく駆動タイミングを示す信号を供給するインターフェースである。なお、インターフェース部２３３は、撮像素子２１２の各部を制御する制御機能を有していてもよい。垂直走査回路２３２は、インターフェース部２３３からの制御信号に応じて画素アレイ２３１の画素２３６の行を垂直方向（図面の上下方向）に順次選択し、各画素２３６から垂直出力線２３７を介して読み出し回路２３４に信号を出力させる。読み出し回路２３４は、画素２３６の各列に対応するゲインアンプ、ＡＤ変換器等を含んで構成され、垂直走査回路２３２によって選択された行の画素２３６から出力された信号を列ごとにサンプリングする。水平走査回路２３５は、読み出し回路２３４にサンプリングされた各画素２３６からの信号を、水平方向（図面の左右方向）に順次選択することによって、信号をＡＦＥ２１３に出力させる。

図３は、第１実施形態に係る画素２３６の回路図である。図３には、図２に示した複数の画素２３６のうちの１つを抜き出したものと、画素２３６に垂直走査回路２３２からの制御信号を供給する複数の制御信号線と、垂直出力線２３７とが図示されている。画素２３６は、光電変換部ＰＤＡ、ＰＤＢ、転送トランジスタＭ１、Ｍ２、リセットトランジスタＭ３、増幅トランジスタＭ４、選択トランジスタＭ５及びフローティングディフュージョンＦＤを有する。

光電変換部ＰＤＡ、ＰＤＢは、入射光に応じた電荷を生成して蓄積するフォトダイオード等の光電変換素子である。転送トランジスタＭ１は、制御信号φＴＸＡに基づき、光電変換部ＰＤＡに蓄積された電荷を増幅トランジスタＭ４の入力ノードであるフローティングディフュージョンＦＤに転送する。転送トランジスタＭ２は、制御信号φＴＸＢに基づき、光電変換部ＰＤＢに蓄積された電荷を増幅トランジスタＭ４の入力ノードであるフローティングディフュージョンＦＤに転送する。転送トランジスタＭ１がオフになり光電変換部ＰＤＡ、ＰＤＢのリセット状態が解除されることによって光電変換部ＰＤＡ、ＰＤＢが電荷の蓄積を開始する時刻から、電荷が転送される時刻までの期間が光電変換部ＰＤＡ、ＰＤＢの露光時間に相当する。言い換えると、電荷の蓄積開始が電子シャッターの先幕に相当し、電荷の転送が電子シャッターの後幕に相当する。このように、本実施形態の撮像素子２１２はローリングシャッター等の走査手法による電子シャッターの駆動が可能な画素構成となっている。

フローティングディフュージョンＦＤは、転送トランジスタＭ１、Ｍ２を介して転送された電荷を保持する。リセットトランジスタＭ３は、制御信号φＲＥＳに基づき、フローティングディフュージョンＦＤの電位を所定の電位にリセットする。選択トランジスタＭ５は、制御信号φＳＥＬに基づき、当該画素２３６から信号を出力させるか否かを制御する。選択トランジスタＭ５がオン状態である場合、増幅トランジスタＭ４は、転送された電荷に応じて変動するフローティングディフュージョンＦＤの電位に基づく信号を、選択トランジスタＭ５を介して垂直出力線２３７に出力する。リセットトランジスタＭ３及び増幅トランジスタＭ４のドレインは、電源電圧ノードＶＤＤに接続される。増幅トランジスタＭ４のソースは、選択トランジスタＭ５、垂直出力線２３７を介して不図示の電流源に電気的に接続されており、増幅トランジスタＭ４はソースフォロワ回路として動作する。すなわち、増幅トランジスタＭ４は、ゲート端子に接続されたフローティングディフュージョンＦＤの電位に応じた信号を出力することができる。これにより、フローティングディフュージョンＦＤに転送された電荷に応じた信号を垂直出力線２３７から読み出すことができる。なお、各トランジスタは、Ｎチャネルトランジスタにより構成され得るが、Ｐチャネルトランジスタにより構成されてもよい。

図４は、第１実施形態に係る画素２３６の平面模式図である。図４には、光電変換部ＰＤＡ、ＰＤＢ、転送トランジスタＭ１、Ｍ２及びフローティングディフュージョンＦＤの平面構造と、これらの上方に配されるマイクロレンズＭＬが図示されている。なお、画素２３６に含まれるこれら以外の構成要素は簡略化のため図示を省略している。マイクロレンズＭＬは入射光を光電変換部ＰＤＡ、ＰＤＢに導くレンズであり、１つのマイクロレンズＭＬが２つの光電変換部ＰＤＡ、ＰＤＢに共有されている。なお、マイクロレンズＭＬと光電変換部ＰＤＡ、ＰＤＢの間には特定の色の光を選択的に通過させるカラーフィルタ（不図示）が設けられている。

図５（ａ）及び図５（ｂ）は、第１実施形態に係る画素２３６の配置を示す模式図である。図５（ａ）は、第１実施形態に係る画素アレイ２３１における画素２３６に設けられるカラーフィルタの色の配列の一構成単位を示す図である。図５（ａ）に示されるような２行×２列の４画素を一構成単位とし、これが繰り返し配列されている。図５（ａ）にＲで示されている画素は、赤色のカラーフィルタが設けられたＲ画素である。Ｇｒ及びＧｂで示されている２つの画素は、いずれも緑色のカラーフィルタが設けられたＧｒ画素及びＧｂ画素である。Ｂで示されている画素は、青色のカラーフィルタが設けられたＢ画素である。本実施形態の画素２３６の配列は、原色ベイヤー配列と呼ばれる。上述のようにカラーフィルタが配列されていることにより、本実施形態の撮像素子２１２は、２次元単板ＣＭＯＳカラーイメージセンサを構成している。なお、本実施形態で用いられ得るカラーフィルタの色は、上述のものには限定されず、例えば、補色フィルタを用いたものであってもよい。

図５（ｂ）は、図５（ａ）に示すＲ画素に光が入射する様子を示す模式図である。図５（ｂ）の下方には、Ｒ画素及びＧｒ画素の断面が示されている。上述のように、Ｒ画素は、２つの光電変換部ＰＤＡ、ＰＤＢを含む。光電変換部ＰＤＡ、ＰＤＢの上方には、これらに共有されるマイクロレンズＭＬが設けられている。本実施形態の撮像素子２１２に含まれる画素２３６は、画像を生成するための撮像信号と、位相差検出方式による焦点検出に用いられる焦点検出信号とを出力可能な構成となっている。

焦点検出信号の取得について説明する。撮像光学系ＴＬの射出瞳ＥＰを通過した光束は、マイクロレンズＭＬを通過する際に分離し、２つの光電変換部ＰＤＡ、ＰＤＢに入射する。ここで、光電変換部ＰＤＡと光電変換部ＰＤＢは、射出瞳ＥＰのうち少なくとも一部が異なる領域を通過した光束をそれぞれ受光する。図５（ｂ）に示す例では、射出瞳ＥＰの右側を通過した光束が光電変換部ＰＤＡに入射され、左側を通過した光束が光電変換部ＰＤＢに入射される。

光電変換部ＰＤＡで生成された電荷に基づく信号を信号Ａとし、光電変換部ＰＤＢで生成された電荷に基づく信号を信号Ｂとする。このとき、信号Ａにより形成される像と信号Ｂにより形成される像とは、互いにずれた像となる。この像ずれ量を求めることにより焦点検出が可能であるため、信号Ａ及び信号Ｂの一対の信号が焦点検出信号として用いられる。より具体的には、焦点検出信号処理部２１５が、焦点検出信号に含まれる一対の信号に対して相関演算を行い、像ずれ量及び各種信頼性情報を算出する処理を行う。

また、信号Ａと信号Ｂを加算して得られた信号を信号Ａ＋Ｂとすると、信号Ａ＋Ｂは、撮像光学系ＴＬの射出瞳ＥＰのほぼ全域を通過した光束に基づく信号であるため、撮像信号として用いられる。信号Ａ＋Ｂに対応する射出瞳ＥＰのほぼ全域は、第１領域と呼ばれることもある。また、信号Ａに対応する射出瞳ＥＰの一部の領域又は信号Ｂに対応する射出瞳ＥＰの一部の領域は、第１領域の一部であり、これらは第２領域と呼ばれることもある。

図６（ａ）、図６（ｂ）及び図６（ｃ）は、第１実施形態に係る撮像素子２１２の駆動方法を示す模式図である。図６（ａ）は、撮像素子２１２の画素アレイ２３１の構成を示す模式図である。図６（ａ）の画素アレイ２３１内の左側及び上側の灰色の領域は、光電変換部ＰＤＡ、ＰＤＢが遮光されているオプティカルブラック画素が配置されている領域を示している。オプティカルブラック画素からの出力信号は、入射光がない状態を示す基準信号として用いられる。また、図６（ａ）の左方に示されるように行番号は上から順に昇順で付されており、最上部の行の行番号を０としている。

図６（ｂ）は、撮像素子２１２の駆動方法における第１走査及び第２走査において読み出される行を示す模式図である。本実施形態では、画素アレイ２３１に含まれる行のうち、一部の行の画素２３６（第１画素）から撮像信号を読み出す第１走査と、第１走査では読み出されなかった行の画素２３６（第２画素）から焦点検出信号を読み出す第２走査とが行われる。これらの走査は、カメラ制御部２２４からの命令により動作するタイミングジェネレータ２２５が、垂直走査回路２３２に駆動タイミングを供給し、これに応じて垂直走査回路２３２が各画素２３６に対し行ごとに制御信号を出力することにより行われる。言い換えると、これらの各部は第１走査と第２走査とを行う走査手段として機能する。

図６（ｂ）に示す例では、第１走査では３行ごとに１行の周期で読み出しが行われる。このような読み出し方法を間引き読み出しと呼ぶ。第２走査では、画素アレイ２３１の所定の範囲の行のうち、第１走査で読み出されなかった行の読み出しが行われる。図６（ｂ）に示されているＶ０行、Ｖ１行、Ｖ２行、Ｖ３行、Ｖ４行、Ｖ５行、Ｖ６行及びＶ７行は、第１走査における読み出し対象行である。図６（ｂ）に示されているＶ８行、Ｖ９行、Ｖ１０行、Ｖ１１行、Ｖ１２行及びＶ１３行は、第２走査における読み出し対象行である。

第１走査では撮像信号として信号Ａ＋Ｂの読み出しが行われる。図６（ｂ）に示す例では、まずＶ０行において信号Ａ＋Ｂの読み出しが行われ、次にＶ０行の後の２行を間引いて、Ｖ０行から３行分下方の行であるＶ１行において信号Ａ＋Ｂの読み出しが行われる。以下同様にして、３行周期でＶ１行からＶ７行までの読み出しが行われる。なお、第１走査において、読み出しを行う行の周期は３行ごとでなくてもよく、間引きの方式は適宜設定可能であるが、生成される画像の歪みを抑制するため、間引きの周期は画素アレイ２３１の全体にわたって一定であることが好ましい。

本実施形態では、垂直方向に間引きを行っているため、水平方向に間引きを行わない場合には、画像の縦横比が実際の被写体の縦横比と異なるものとなることがある。そのため、読み出し後にＡＦＥ２１３、ＤＳＰ２１４等の信号処理部において縦横比の変換を行う等の手法により縦横比を調整することが好ましい。また、水平方向にも垂直方向と同じ比率で間引き読み出しを行ってもよく、複数の画素の画像信号を加算等することにより、信号の個数を減少させる処理（加算間引き読み出し）を行ってもよい。

第１走査の後に行われる第２走査では行ごとに信号Ａ及び信号Ｂの読み出しが行われる。図６（ｂ）に示す例では、まずＶ８行において、信号Ａの読み出しが行われる。その後、同一のＶ８行において、信号Ｂの読み出しが行われる。次に、Ｖ９行において、同様に信号Ａ及び信号Ｂの読み出しが行われる。その後、第１走査で読み出されているＶ４行を間引いてＶ１０行、Ｖ１１行の読み出しが行われる。以下同様にＶ１３行までの読み出しが行われる。このように、第２走査では各行について２つの信号の読み出しが行われる。

なお、第２走査の範囲の設定は焦点検出を行う領域（焦点検出領域）の設定に応じて適宜設定可能である。第２走査の範囲は、例えば、第１走査が行われる行を除き、焦点検出領域に含まれる行が包含されるように選択することで設定可能である。焦点検出領域は、カメラ操作部２２７等のユーザインターフェースを介した操作によりユーザが指定したものであってもよく、画像認識技術により被写体を検出することで自動的に設定されたものであってもよく、あらかじめ設定された固定の領域であってもよい。

第２走査においても所定の周期による間引き読み出しを行ってもよい。第２走査による間引きの周期を大きくすることにより読み出し時間が短縮されるので、高速なフレームレートへの対応が可能となる。しかしながら、焦点検出の精度を重視する場合には、間引きの周期を小さくする、あるいは第１走査が行われる行を除き焦点検出領域内のすべての行を読み出すことにより、精度を向上させることができる。

図６（ｃ）は、信号が読み出される時系列順に対応させて、行を並べ替えた場合の信号の配置を示す模式図である。最初に第１走査により、Ｖ０行からＶ７行が読み出される。第１走査においては、撮像信号（信号Ａ＋Ｂ）が読み出されているため、これらを用いて画像の生成を行うことができる。次に、第２走査によりＶ８行からＶ１３行が読み出される。第２走査においては、同一行から信号Ａ及び信号Ｂが読み出されるため、図６（ｃ）においては、行番号の後にａ又はｂを付して、例えばＶ８ａ等と表記することにより、信号Ａと信号Ｂの区別を表記している。同一行の信号Ａと信号Ｂに基づいて像ずれ量を取得することにより焦点検出を行うことができる。

図７（ａ）及び図７（ｂ）は、第１実施形態に係る撮像素子２１２の駆動における時間経過を示す模式図である。図７（ａ）及び図７（ｂ）において横軸は時刻を示している。また、各行ごとに読み出し動作が行われている時間が長方形の枠で示されている。図７（ａ）の縦軸は、図６（ｂ）と同様に画素アレイ２３１の行番号を示している。図７（ｂ）の縦軸は、図６（ｃ）と同様に時系列順に並び替えた行番号を示している。

図８は、第１実施形態に係る撮像素子２１２の露光時間を示す模式図である。図８の縦軸は行番号を示しており、縦軸は時刻を示している。図８に示される「ローリング読み出し（第１走査）」と「ローリング読み出し（第２走査）」は、図７（ａ）に示す読み出し走査に対応する。図８に示される「ローリングリセット解除（第１走査）」と「ローリングリセット解除（第２走査）」は、読み出しに先立って実行される光電変換部ＰＤＡ、ＰＤＢのリセット動作を示している。「ローリングリセット解除（第１走査）」から「ローリング読み出し（第１走査）」までの期間が第１走査で読み出される行の画素２３６の露光時間である。「ローリングリセット解除（第２走査）」から「ローリング読み出し（第２走査）」までの期間が第２走査で読み出される行の画素２３６の露光時間である。

本実施形態の撮像素子２１２は、第１走査で読み出される行と第２走査で読み出される行が異なっているため、図８に示されるように、独立してローリングリセット解除を行うことが可能である。したがって、第１走査で読み出される行と第２走査で読み出される行とでローリングリセット解除のタイミングを異ならせることにより、それぞれの露光時間を異ならせることができる。

なお、第２走査のローリング読み出しの傾きが第１走査のローリング読み出しの傾きよりも小さい理由は、第２走査では一つの行に対して信号Ａ及び信号Ｂの読み出しを行うため、読み出しに要する時間が長いためである。

次に、本実施形態に係る撮像装置を用いた動画撮影の動作を説明する。図９は、第１実施形態に係る撮像装置による動画撮影処理のフローチャートである。本実施形態の動画撮影では、動画撮影を連続的に行うとともに、レンズユニット２０内のフォーカスレンズ２０３を駆動させることによる焦点位置の調節が行われる。

ステップＳ１０１において、カメラ制御部２２４は、カメラ操作部２２７に含まれる動画記録スイッチ（ＳＷ）がオン状態であるか否か（押下されているか否か）を判断する。動画記録スイッチがオン状態である場合、処理はステップＳ１０２に移行する（ステップＳ１０１においてＹＥＳ）。ステップＳ１０２において、カメラ制御部２２４は、撮像装置の各部に対し、動画の記録を開始させる制御を行う。その後、処理はステップＳ１０４に移行する。動画記録スイッチがオフ状態である場合、処理はステップＳ１０３に移行する（ステップＳ１０１においてＮＯ）。ステップＳ１０３において、カメラ制御部２２４は、撮像装置の各部に対し、動画の記録を停止させる制御を行う。その後、処理はステップＳ１０４に移行する。

ステップＳ１０１に関し、本実施形態では、一例として動画記録スイッチの押下の有無を判断基準としているが、これに限定されるものではない。例えば、切り替えスイッチ、タッチパネル等のような他の構造のユーザインターフェースの入力に基づくものであってもよく、その他の方法により動画記録の開始又は停止を判断してもよい。

ステップＳ１０４において、露光時間設定手段として機能するカメラ制御部２２４は、第１走査と第２走査のそれぞれの露光時間を設定する。タイミングジェネレータ２２５は、この設定に応じた露光時間となるようなタイミングで撮像素子２１２に制御信号を送信する。通常時は第１走査と第２走査の露光時間は同一に設定される。また、この露光時間は撮像信号の強度が最適になるように設定される。なお、後述するステップＳ１０８で露光時間補正要求があった場合には、カメラ制御部２２４は、第２走査の露光時間を第１走査の露光時間よりも短く設定する。

ステップＳ１０５において、飽和判定手段として機能するＤＳＰ２１４及び焦点検出信号処理部２１５は、第２走査で読み出された焦点検出信号が飽和しているか否かを判定する飽和判定処理を行う。飽和判定処理の詳細は後述する。

ステップＳ１０６において、焦点検出信号処理部２１５は、焦点検出信号である信号Ａ及び信号Ｂに基づいて、像ずれ量を取得することにより、焦点検出処理を行う。また、焦点検出信号処理部２１５は、信号Ａ及び信号Ｂのピーク値を取得する。

ステップＳ１０７において、カメラ制御部２２４は、ステップＳ１０５における飽和判定結果と、ステップＳ１０６で取得された信号Ａ及び信号Ｂのピーク値とを取得する。判定手段として機能するカメラ制御部２２４は、飽和判定結果と当該ピーク値とに基づき第２走査の露光時間（第２露光時間）を第１走査の露光時間（第１露光時間）よりも短く補正すべきか否かを判定する。露光時間補正判定の処理の詳細は後述する。以下、第２走査の露光時間を第１走査の露光時間よりも短く補正すべきとする判断がなされることを露光時間補正要求と呼ぶ。

ステップＳ１０８において、カメラ制御部２２４は、露光時間補正要求があった場合（ステップＳ１０８においてＹＥＳ）、処理はステップＳ１０９に移行する。露光時間補正要求がなかった場合（ステップＳ１０８においてＮＯ）、処理はステップＳ１１０に移行する。ステップＳ１０９において、カメラ制御部２２４は、第２走査の露光時間を第１走査の露光時間よりも短くするように、適切な露光時間の補正値を算出する。なお、露光時間補正要求があり、ステップＳ１０９において露光時間補正値が算出された場合、その後のフレームのステップＳ１０４において露光時間補正値に基づいて補正された露光時間が設定される。

ステップＳ１１０において、カメラ制御部２２４は、ステップＳ１０６で取得した像ずれ量をフォーカスレンズ２０３の駆動量に変換し、当該駆動量でフォーカスレンズ２０３を駆動させる命令をレンズ制御部２０６に送信する。レンズ制御部２０６は、当該命令に基づき、フォーカス制御部２０５を制御して、フォーカスレンズ２０３を駆動させる。

ステップＳ１１１において、カメラ制御部２２４は、ユーザ操作等に基づき、動画撮影処理が停止されたかどうかを判定する。動画撮影処理が停止されていない場合（ステップＳ１１１においてＮＯ）、処理はステップＳ１０１に移行する。動画撮影処理が停止されている場合（ステップＳ１１１においてＹＥＳ）、本フローチャートによる処理を終了する。

次に、図９におけるステップＳ１０５の飽和判定処理について図１０乃至図１２を用いてより詳細に説明する。図１０は第２走査で読み出される焦点検出信号に付されるインデックスを示す模式図である。図１０は、取得された焦点検出信号を取得順に行を並び替えることにより、行列状とした模式図である。ｉは焦点検出信号に付される列番号のインデックスを表しており、ｊは焦点検出信号に付される行番号のインデックスを表している。Ｒ、Ｇｒ、Ｇｂ、Ｂは、それぞれ、各画素のカラーフィルタの色に対応するインデックス（カラーインデックス）である。なお、図１０の例では取得された焦点検出信号が、ベイヤー配列状となっているがこれに限られるものではない。また、以下の処理では、Ｒ、Ｇｒ、Ｇｂ、Ｂの４つの画素にカラーインデックスを付すことにより一群のものとして処理しているが、これは必須ではなく、１画素単位で処理を行ってもよい。

具体的な処理の説明に先立って、飽和判定処理の概略を説明する。本処理において、ＤＳＰ２１４は、焦点検出信号ごとに所定の閾値を超えているか否かを判定し、所定値を超えている場合には飽和している信号であると判定してその値を所定のクリップ値にクリップする。この飽和した焦点検出信号に対応する画素を「飽和画素」と呼称する。焦点検出信号処理部２１５は、行ごとにＤＳＰ２１４で検出された飽和画素の個数を計数し、飽和画素数が所定の個数を超えているか否かを判定し、所定の個数を超えている場合には飽和している行であると判定する。この飽和している行を以下「飽和行」と呼称する。

図１１及びそのサブルーチンである図１２を相互に参照しつつ飽和判定処理を説明する。図１１は、第１実施形態に係る撮像装置による飽和判定処理のフローチャートである。図１２は、第１実施形態に係る撮像装置による飽和画素検出のフローチャートである。行番号ｊについてのステップＳ２０１からステップＳ２０８のループは、０行目からｊｍａｘ行（焦点検出信号の最終行）までの各行について順次飽和行の判定を行うループである。列番号ｉについてのステップＳ２０２からステップＳ２０４のループは、０列目からｉｍａ列（焦点検出信号の最終行）までの各列について順次画素検出を行うループである。ステップＳ２０３は、飽和画素検出のサブルーチンである。

以下、図１２を参照して、ステップＳ２０３に対応する飽和画素検出の処理を説明するが、これに先立って図１２のフローチャートに記載された表記について説明する。焦点検出信号を構成する信号Ａは、Ｒ、Ｇｒ、Ｇｂ、ＢからなるカラーインデックスＣを有する４つの信号ＡＲ、ＡＧｒ、ＡＧｂ、ＡＢを含んで構成される。以下、ｊ行ｉ列の４つの信号ＡＲ、ＡＧｒ、ＡＧｂ、ＡＢをまとめて信号ＡＣ（ｊ，ｉ）と表現する。また、信号Ｂについても同様に、ｊ行ｉ列の４つの信号ＢＲ、ＢＧｒ、ＢＧｂ、ＢＢをまとめてＢＣ（ｊ，ｉ）と表現する。

ステップＳ３０１からステップＳ３０６のループでは、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色について信号Ａの飽和判定を行う。ステップＳ３０２において、ＤＳＰ２１４は、信号ＡＣ（ｊ，ｉ）を取得する。Ｓ３０３において、ＤＳＰ２１４は、信号ＡＣ（ｊ，ｉ）が信号Ａの飽和判定閾値Ａｔｈよりも大きいか否かを判定する。信号ＡＣ（ｊ，ｉ）が信号Ａの飽和判定閾値Ａｔｈよりも大きい場合（ステップＳ３０３においてＹＥＳ）、処理はステップＳ３０４に移行する。信号ＡＣ（ｊ，ｉ）が信号Ａの飽和判定閾値Ａｔｈ以下である場合（ステップＳ３０３においてＮＯ）、ステップＳ３０４、Ｓ３０５の処理は行われない。

ステップＳ３０４において、ＤＳＰ２１４は、信号ＡＣ（ｊ，ｉ）に信号Ａの飽和クリップ値Ａｍａｘを代入することにより、信号ＡＣ（ｊ，ｉ）を飽和クリップ値Ａｍａｘにクリップする。ステップＳ３０５において、ＤＳＰ２１４は、飽和画素判定値Ｓ（ｊ，ｉ）に１を代入する。なお、飽和画素判定値Ｓ（ｊ，ｉ）に１が代入されなかった場合、飽和画素判定値Ｓ（ｊ，ｉ）は初期値である０が維持される。

ステップＳ３０７からステップＳ３１２のループでは、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色について信号Ｂの飽和判定を行う。ステップＳ３０８において、ＤＳＰ２１４は、信号ＢＣ（ｊ，ｉ）を取得する。Ｓ３０９において、ＤＳＰ２１４は、信号ＢＣ（ｊ，ｉ）が信号Ｂの飽和判定閾値Ｂｔｈよりも大きいか否かを判定する。信号ＢＣ（ｊ，ｉ）が信号Ｂの飽和判定閾値Ｂｔｈよりも大きい場合（ステップＳ３０９においてＹＥＳ）、処理はステップＳ３１０に移行する。信号ＢＣ（ｊ，ｉ）が信号Ｂの飽和判定閾値Ｂｔｈ以下である場合（ステップＳ３０９においてＮＯ）、ステップＳ３１０、Ｓ３１１の処理は行われない。

ステップＳ３１０において、ＤＳＰ２１４は、信号ＢＣ（ｊ，ｉ）に信号Ｂの飽和クリップ値Ｂｍａｘを代入することにより、信号ＢＣ（ｊ，ｉ）を飽和クリップ値Ｂｍａｘにクリップする。ステップＳ３１１において、ＤＳＰ２１４は、飽和画素判定値Ｓ（ｊ，ｉ）に１を代入する。

以上の処理により、ｊ行ｉ列の４つの信号ＡＲ、ＡＧｒ、ＡＧｂ、ＡＢと、４つの信号ＢＲ、ＢＧｒ、ＢＧｂ、ＢＢとの少なくとも１つが飽和しており閾値を超えている場合に、飽和画素判定値Ｓ（ｊ，ｉ）の値が１となる。また、飽和した信号については所定の飽和クリップ値にクリップされる。

図１１に戻り、飽和判定処理の続きを説明する。ステップＳ２０５において、焦点検出信号処理部２１５は、ｊ行目の飽和画素の個数を算出し、閾値Ｓｔｈよりも多いか否かを判定する。飽和画素数が閾値Ｓｔｈよりも多い場合（ステップＳ２０５においてＹＥＳ）、処理はステップＳ２０６に移行し、焦点検出信号処理部２１５は、飽和行判定値Ｌ（ｊ）に１を代入する。飽和画素数が閾値Ｓｔｈ以下である場合（ステップＳ２０５においてＮＯ）、処理はステップＳ２０７に移行し、焦点検出信号処理部２１５は、飽和行判定値Ｌ（ｊ）に０を代入する。

以上の処理により、飽和画素数が所定の閾値よりも多い場合、すなわち、飽和行については飽和行判定値Ｌ（ｊ）の値が１となり、飽和行でない行については飽和行判定値Ｌ（ｊ）の値が０となる。このようにして、各行について飽和行であるか否かの判定が行われる。

次に、図９におけるステップＳ１０７の露光時間補正判定について図１３乃至図１５を用いてより詳細に説明する。図１３は、第１実施形態に係る露光時間補正判定のフローチャートである。ステップＳ４０１において、カメラ制御部２２４は、上述の飽和判定処理で得られた飽和行判定値Ｌ（ｊ）について、Ｌ（ｊ）＝１である飽和行が少なくとも１つあるか否かを判定する。飽和行が少なくとも１つある場合（ステップＳ４０１においてＹＥＳ）、処理はステップＳ４０２に移行する。飽和行が１つもない場合（ステップＳ４０１においてＮＯ）、処理はステップＳ４０３に移行する。

ステップＳ４０２において、カメラ制御部２２４は、第２走査の露光時間を第１走査の露光時間よりも短くするように露光時間補正要求をセットして、露光時間補正判定を終了する。なお、一度セットされた露光時間補正要求は、後述する処理によってクリアされるか、あるいは動画撮影処理が終了されるまで保持される。

ステップＳ４０３において、カメラ制御部２２４は、露光時間補正要求が前のフレームでセットされていたか否かを判定する。露光時間補正要求がセットされていた場合（ステップＳ４０３においてＹＥＳ）、処理はステップＳ４０４に移行する。露光時間補正要求がセットされていなかった場合（ステップＳ４０３においてＮＯ）、カメラ制御部２２４は、そのまま露光時間補正要求をセットせずに露光時間補正判定を終了する。

ステップＳ４０４において、予測手段として機能するカメラ制御部２２４は、予測ピーク値の算出を行う。この処理について、図１４（ａ）、図１４（ｂ）及び図１５を参照して詳細に説明する。図１４（ａ）及び図１４（ｂ）は、第１実施形態に係る信号Ａと信号Ｂの予測ピーク値の算出を示す模式図である。図１５は、露光時間の差に対応するピーク値の倍率βを示す表である。

図１４（ａ）及び図１４（ｂ）の縦軸は光量に相当する信号の強度を示しており、横軸は撮像面における位置を示している。第１走査の露光時間をＴＶとし、第２走査の露光時間をＡＦＴＶとすると、図１４（ａ）の実線は、ＡＦＴＶ＝ＴＶの場合における信号Ａと信号Ｂを示している。信号Ａ及び信号Ｂの破線で示されている部分は、飽和判定閾値を超えたことにより、飽和クリップ値Ａｍａｘ、Ｂｍａｘでクリップされた部分を示している。すなわち、図１４（ａ）は飽和している状態の信号Ａ及び信号Ｂを示している。一方、図１４（ｂ）はＡＦＴＶ＜ＴＶとなるように露光時間が補正されている状態の信号Ａ及び信号Ｂを示している。なお、図１４（ａ）では飽和クリップ値と飽和判定閾値とが同じ値であることを前提として図示しているが、飽和クリップ値と飽和判定閾値は異なる値であってもよい。

ステップＳ４０４に至る条件は、現在より前のいずれかのフレームにおいて図１４（ａ）に示すように信号Ａ及び信号Ｂが飽和したことがあり、かつ、現在のフレームでは図１４（ｂ）に示すように信号Ａ及び信号Ｂが飽和していないことである。この条件のときに、ステップＳ４０４の予測ピーク値の算出が行われる。

信号Ａのピーク値をＰｅａｋ＿Ａとし、信号Ｂのピーク値をＰｅａｋ＿Ｂとする。予測ピーク値とは、信号Ａ及び信号Ｂのピーク値の最大値（Ｐｅａｋ＝Ｍａｘ（Ｐｅａｋ＿Ａ，Ｐｅａｋ＿Ｂ））から、露光時間補正要求をクリアしてＴＶ＝ＡＦＴＶにした場合のピーク値の最大値（Ｐｒｅｄ＿Ｐｅａｋ）を予測する演算である。予測ピーク値Ｐｒｅｄ＿Ｐｅａｋは、図１５に例示されるような第１走査の露光時間と第２走査の露光時間との差（ＡＦＴＶ−ＴＶ）に対応する倍率βをＰｅａｋに乗算することで得ることができる。すなわち、Ｐｒｅｄ＿Ｐｅａｋ＝Ｍａｘ（Ｐｅａｋ＿Ａ，Ｐｅａｋ＿Ｂ）＊βである。図１５において、（ＡＦＴＶ−ＴＶ）の値は、露出値の８分の１段に相当する露光時間が１となるように規格化した値で示されている。倍率βは、露光時間を変えたときの信号Ａ又は信号Ｂのピーク値の変化をあらかじめ測定してテーブルを作成してＲＯＭ２２２に記憶させておき、演算の際に読み出すことで得ることができる。また、テーブルではなく、（ＡＦＴＶ−ＴＶ）と倍率βの変換式をあらかじめＲＯＭ２２２に記憶させておき、演算の際にカメラ制御部２２４が当該変換式を用いて倍率βを求めてもよい。

ステップＳ４０５において、カメラ制御部２２４は、ステップＳ４０４で算出された予測ピーク値Ｐｒｅｄ＿Ｐｅａｋが閾値を超えているか否かを判定する。予測ピーク値Ｐｒｅｄ＿Ｐｅａｋが閾値を超えている場合（ステップＳ４０５においてＹＥＳ）、露光時間補正要求をセットしたままに維持して露光時間補正判定の処理を終了する。これは、予測ピーク値Ｐｒｅｄ＿Ｐｅａｋが閾値を超えている場合には、露光時間ＡＦＴＶを長くすると飽和する可能性があるため、露光時間補正要求をセットしたまますべきであるためである。一方、予測ピーク値Ｐｒｅｄ＿Ｐｅａｋが閾値以下である場合（ステップＳ４０５においてＮＯ）、処理はステップＳ４０６に移行する。これは、露光時間ＡＦＴＶを長くしても飽和しないと判断されるためである。ステップＳ４０６において、カメラ制御部２２４は、露光時間補正要求をクリアして露光時間補正判定の処理を終了する。

なお、ステップＳ４０５で用いられる閾値は、例えば、飽和クリップ値Ａｍａｘ、Ｂｍａｘ又は飽和判定閾値Ａｔｈ、Ｂｔｈとすることができる。また、当該閾値は、マージンを考慮して飽和クリップ値Ａｍａｘ、Ｂｍａｘ又は飽和判定閾値Ａｔｈ、Ｂｔｈよりも小さな値にしてもよく、（ＡＦＴＶ−ＴＶ）に応じて変化する閾値としてもよい。

本実施形態の効果を説明する。高輝度の被写体に対して焦点検出信号を取得する場合、焦点検出信号が飽和することがある。焦点検出信号が飽和した場合には上述の実施形態で述べたように、所定の値にクリップすることで焦点検出の処理を行うことは可能であるが、クリップ処理された信号とされていない信号の間に実際の被写体には存在しないエッジが生じ得る。そのため、クリップ処理された焦点検出信号に基づいて像ずれ量を算出すると、正しいデフォーカス値が取得できず、真の合焦位置とは異なる位置を焦点と判断する場合がある。このように、焦点検出信号の飽和は焦点検出精度の劣化要因となり得る。これに対し、蓄積時間の短縮、絞りの調整等の方法により露光量を小さくして飽和を抑制すると、焦点検出の精度は向上し得るが、撮像信号の露光量も小さくなるため、撮影用の露光量が適切な値からずれることがある。

これに対し本実施形態では、撮像信号の取得を行う第１走査と焦点検出信号の取得を行う第２走査の露光時間を個別に設定することが可能である。焦点検出信号の飽和を検出した場合に第２走査の露光時間を第１走査の露光時間よりも短くするよう制御することにより、適切な露光量での撮影を維持しつつ、焦点検出信号の飽和を抑制することができ、これにより、焦点検出の精度を向上させることができる。

また、本実施形態では、焦点検出画素の露光時間を撮像画素の露光時間と同じに設定したときに予測されるピーク値に基づいて露光時間補正要求をクリアするか否かを判定している。これにより、被写体の輝度に対応した適切な露光時間での焦点検出信号の取得が可能となる。

本実施形態では、ステップＳ４０４で予測ピーク値Ｐｒｅｄ＿Ｐｅａｋを算出し、ステップＳ４０５で予測ピーク値Ｐｒｅｄ＿Ｐｅａｋと閾値とを比較するという２段階の処理で露光時間補正要求のクリアの判定を行っているがこれに限られるものではない。この処理を更に多段階とすることで、より適切な露光時間を取得することも可能である。具体的な例としては、ＡＦＴＶを現行値からＴＶに所定量だけ近づけた場合の予測ピーク値Ｐｒｅｄ＿Ｐｅａｋと閾値とを比較する処理を何度か繰り返すことにより、閾値を超えない範囲で最もＴＶに近いＡＦＴＶを求める処理を行ってもよい。

本実施形態の走査方法では、撮像信号である信号Ａ＋Ｂ、並びに焦点検出用の信号Ａ及び信号Ｂの合計３つの信号を取得しているが、このような走査方法に限定されるものではない。処理負荷の低減のため、例えば、信号Ａ＋Ｂと信号Ａの２つを読み出し、信号Ａ＋Ｂと信号Ａの差分を演算することで信号Ｂを生成するという手法により撮像信号と焦点検出信号を取得してもよい。

［第２実施形態］
以下に、本発明の第２実施形態を説明する。本実施形態の説明において、第１実施形態と共通する部分については説明を省略又は簡略化することがある。第２実施形態は、被写体振れの検出に応じて第２走査の露光時間を第１走査の露光時間よりも短く設定する点が第１実施形態との相違点である。本実施形態の撮像装置の構成は第１実施形態とほぼ同様であるため説明を省略するが、本実施形態のカメラ制御部２２４は被写体振れを判定する被写体振れ判定手段としての機能を備える。また、撮像装置は、被写体振れを検出するための加速度センサ、角速度センサ等の振れ検出装置を更に備えてもよい。

図１６は、第２実施形態に係る撮像装置による動画撮影処理のフローチャートである。図９との相違点は、飽和判定に代えて被写体振れ判定（ステップＳ５０５）が行われる点と、露光時間補正判定（ステップＳ５０７）の内容が異なる点である。その他の動作は図９と同様であるため説明を省略する。

ステップＳ５０５において、被写体振れ判定手段として機能するカメラ制御部２２４は、第２走査で読み出された焦点検出信号に被写体振れがあるか否かを判定する。被写体振れの判定は、焦点検出信号を解析するものでなくてもよい。例えば、被写体振れの判定は、撮像装置の設定又は撮影条件が被写体振れの発生しやすい状態であるか否かに基づいて行うことができる。また、被写体振れの判定を撮像装置の振れを検出することにより行ってもよい。

例えば、撮像装置の設定が被写体振れの発生しやすい状態である場合の例としては、撮影モードが動体の撮影を目的としたモードである場合が挙げられる。動体の撮影を目的としたモードとは、被写体に対して連続して焦点検出を実施するサーボモード、流し撮り用の撮影モード、スポーツ用の撮影モード等が例示される。撮影条件が被写体振れの発生しやすい状態である場合の例としては、手ぶれ補正機能がオフである場合、撮影環境が低輝度である場合等が挙げられる。撮像装置の振れを検出する場合の例としては、２０又はカメラ２１に設けられた加速度センサ、角速度センサ等の振れ検出センサが振れを検出し、その出力信号をカメラ制御部２２４が受信した場合である。

ステップＳ５０７において、判定手段として機能するカメラ制御部２２４は、ステップＳ５０５での被写体振れ判定の結果と、ステップＳ１０６で取得された信号Ａ及び信号Ｂのピーク値とに基づき、第２走査の露光時間を第１走査の露光時間よりも短く補正すべきか否かを判定する。図１７、図１８（ａ）及び図１８（ｂ）を参照して露光時間補正判定についてより詳細に説明する。図１７は、第２実施形態に係る露光時間補正判定のフローチャートである。図１８（ａ）及び図１８（ｂ）は、第２実施形態に係る信号Ａと信号Ｂの予測ピーク値の算出を示す模式図である。

ステップＳ６０１において、カメラ制御部２２４は、上述の被写体振れ判定において被写体振れがあると判定されたか否かを判定する。被写体振れの判定があった場合（ステップＳ６０１においてＹＥＳ）、処理はステップＳ６０２に移行する。被写体振れの判定がなかった場合（ステップＳ６０１においてＮＯ）、処理は終了する。

ステップＳ６０２において、カメラ制御部２２４は、露光時間補正要求が前のフレームでセットされていたか否かを判定する。露光時間補正要求がセットされていた場合（ステップＳ６０２においてＹＥＳ）、処理はステップＳ６０３に移行する。露光時間補正要求がセットされていなかった場合（ステップＳ６０２においてＮＯ）、処理はステップＳ６０４に移行する。

ステップＳ６０４において、カメラ制御部２２４は、信号Ａ及び信号Ｂのピーク値の最大値（Ｐｅａｋ）が、所定の閾値を越えているか否かを判定する。ピーク値が閾値を超えている場合（ステップＳ６０４においてＹＥＳ）、処理はステップＳ６０５に移行する。ピーク値が閾値以下である場合（ステップＳ６０４においてＮＯ）、露光時間補正判定の処理を終了する。ステップＳ６０５において、カメラ制御部２２４は、第２走査の露光時間を第１走査の露光時間よりも短くするように露光時間補正要求をセットして、露光時間補正判定を終了する。なお、一度セットされた露光時間補正要求は、後述する処理によってクリアされるか、あるいは動画撮影処理が終了されるまで保持される。

ステップＳ６０３において、カメラ制御部２２４は、予測ピーク値の算出を行う。この処理について、図１８（ａ）及び図１８（ｂ）を参照して詳細に説明する。図１８（ａ）はＡＦＴＶ＝ＴＶの場合における信号Ａと信号Ｂを示している。一方、図１８（ｂ）はＡＦＴＶ＜ＴＶとなるように露光時間が補正されている状態の信号Ａ及び信号Ｂを示している。第１実施形態の図１４（ａ）、図１４（ｂ）との違いは、図１８（ａ）において信号Ａ及び信号Ｂが飽和していない点である。

予測ピーク値とは、第１実施形態での説明と同様に、信号Ａ及び信号Ｂのピーク値の最大値（Ｐｅａｋ）から、露光時間補正要求をクリアしてＴＶ＝ＡＦＴＶにした場合のピーク値の最大値（Ｐｒｅｄ＿Ｐｅａｋ）を予測する演算である。Ｐｅａｋに倍率βを乗算することでＰｒｅｄ＿Ｐｅａｋが得られる点については、第１実施形態で述べたものと同様であるため詳細な説明を省略する。

ステップＳ６０６において、カメラ制御部２２４は、ステップＳ６０３で算出された予測ピーク値Ｐｒｅｄ＿Ｐｅａｋが閾値を超えているか否かを判定する。予測ピーク値Ｐｒｅｄ＿Ｐｅａｋが閾値を超えている場合（ステップＳ６０６においてＹＥＳ）、露光時間補正要求をセットしたままに維持して露光時間補正判定の処理を終了する。これは、予測ピーク値Ｐｒｅｄ＿Ｐｅａｋが閾値を超えている場合には、露光時間ＡＦＴＶを長くすると被写体振れにより焦点検出の精度が劣化する可能性があるため、露光時間補正要求をセットしたまますべきであるためである。一方、予測ピーク値Ｐｒｅｄ＿Ｐｅａｋが閾値以下である場合（ステップＳ６０６においてＮＯ）、処理はステップＳ６０７に移行する。これは、露光時間ＡＦＴＶを長くしても被写体振れによる焦点検出の精度劣化は問題にならないと判断されるためである。ステップＳ６０７において、カメラ制御部２２４は、露光時間補正要求をクリアして露光時間補正判定の処理を終了する。

本実施形態の効果を説明する。被写体が動体である場合、あるいは手振れ等の要因により撮像装置に振れが生じていると、被写体振れが生じ得る。この状態で位相差検出方式による焦点検出を行うと、被写体振れが像ずれに重畳することにより焦点検出の精度が十分に得られない場合がある。これに対し、蓄積時間を短縮すると被写体振れを小さくすることができるため、焦点検出の精度は向上し得るが、撮像信号の露光量も小さくなるため、撮影用の露光量が適切な値からずれることがある。

これに対し本実施形態では、撮像信号の取得を行う第１走査と焦点検出信号の取得を行う第２走査の露光時間を個別に設定することが可能である。被写体振れを検出した場合に第２走査の露光時間を第１走査の露光時間よりも短くするよう制御することにより、適切な露光量での撮影を維持しつつ、焦点検出信号の飽和を抑制することができ、これにより焦点検出の精度を向上させることができる。

また、本実施形態では、焦点検出画素の露光時間を撮像画素の露光時間と同じに設定したときに予測されるピーク値に基づいて露光時間補正要求をクリアするか否かを判定している。これにより、被写体の輝度に対応した適切な露光時間での焦点検出信号の取得が可能となる。

［その他の実施形態］
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０ レンズユニット
２１ カメラ
２１２ 撮像素子
２１４ ＤＳＰ
２１５ 焦点検出信号処理部
２２４ カメラ制御部
２２５ タイミングジェネレータ
２３１ 画素アレイ
２３６ 画素

Claims (12)

1. 複数の画素と、
   前記複数の画素のうちの第１画素から撮像光学系の射出瞳の第１領域を通過した光束に基づく第１信号を出力させる第１走査と、前記複数の画素のうちの第２画素から前記第１領域の一部である第２領域を通過した光束に基づく第２信号を出力させる第２走査と、を行う走査手段と、
   前記第２画素の第２露光時間を前記第１画素の第１露光時間よりも短く設定するか否かを判定する判定手段と、
   前記判定手段による判定結果に基づいて、前記第１露光時間及び前記第２露光時間を設定する露光時間設定手段と、
   を有することを特徴とする撮像装置。
2. 前記第２信号の飽和を判定する飽和判定手段を更に有し、
   前記判定手段は、前記飽和判定手段が前記第２信号が飽和していると判定した場合に、前記第２露光時間を前記第１露光時間よりも短く設定すると判定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１露光時間と、前記第２露光時間とが同一である場合における前記第２信号の値を予測する予測手段を更に有し、
   前記判定手段は、前記予測手段が予測した値が所定の閾値を超えている場合に、前記第２露光時間を前記第１露光時間よりも短く設定すると判定する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１露光時間と、前記第２露光時間とが同一である場合における前記第２信号の値を予測する予測手段を更に有し、
   前記判定手段は、前記予測手段が予測した値が所定の閾値以下である場合に、前記第１露光時間と前記第２露光時間とを同一に設定すると判定する
   ことを特徴とする請求項１又は２に記載の撮像装置。
5. 前記所定の閾値は、前記第２信号が飽和するときの値であることを特徴とする請求項３又は４に記載の撮像装置。
6. 前記複数の画素は、複数の行をなすように配され、
   前記第１画素と前記第２画素とは互いに異なる行に配されている
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第２信号の被写体振れを判定する被写体振れ判定手段を更に有し、
   前記判定手段は、前記被写体振れ判定手段が前記被写体振れがあると判定した場合に、前記第２露光時間を前記第１露光時間よりも短く設定すると判定する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記被写体振れ判定手段は、撮影モードに基づいて前記被写体振れの判定を行うことを特徴とする請求項７に記載の撮像装置。
9. 撮像装置の振れを検出する振れ検出センサを更に有し、
   前記被写体振れ判定手段は、振れ検出センサからの出力に基づいて前記被写体振れの判定を行うことを特徴とする請求項７に記載の撮像装置。
10. 前記第１信号は、画像を生成するための信号であることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記第２信号は、位相差検出方式による焦点検出に用いられる信号であることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 複数の画素のうちの第１画素から撮像光学系の射出瞳の第１領域を通過した光束に基づく第１信号を出力させる第１走査と、前記複数の画素のうちの第２画素から前記第１領域の一部である第２領域を通過した光束に基づく第２信号を出力させる第２走査と、を行うステップと、
    前記第２画素の第２露光時間を前記第１画素の第１露光時間よりも短く設定するか否かを判定するステップと、
    前記判定するステップにおける判定結果に基づいて、前記第１露光時間及び前記第２露光時間を設定するステップと、
    を有することを特徴とする撮像装置の制御方法。

Images