JP2012037550A - 焦点検出装置および撮像装置 - Google Patents

Abstract

【課題】被写体のコントラストに応じた像修復を行い、焦点検出精度を向上させる。
【解決手段】焦点検出装置は、結像光学系の第１および第２の瞳領域を通過した光束によりそれぞれ形成された第１および第２の像を光電変換して第１および第２の像信号を生成する第１および第２の画素群を有する撮像手段１０７と、第１および第２の像信号に対して互いに異なるフィルタを用いて該像信号を滑らかにする第１の処理および該像信号を鮮鋭化する第２の処理を行う第１および第２の信号処理手段と、結像光学系のデフォーカス量を演算する演算手段とを有する。演算手段は、コントラスト値が所定値より高い場合は第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、コントラスト値が該所定値より低い場合は第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算する。
【選択図】図１

Description

本発明は、結像光学系により形成された光学像を光電変換する撮像素子からの出力信号を用いて、該結像光学系の焦点状態を検出する焦点検出装置およびこれを備えたデジタルカメラ等の撮像装置に関する。

結像光学系の焦点状態を検出する焦点検出装置として、各画素にマイクロレンズが形成された２次元イメージセンサ（撮像素子）を用いて、いわゆる瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。特許文献１にて開示された焦点検出装置では、イメージセンサを構成する各画素の光電変換部が複数に分割され、該分割された光電変換部がマイクロレンズを介して結像光学系の瞳における互いに異なる領域を通過した光束を受光する。

また、特許文献２では、撮像素子の一種であるＣＭＯＳセンサを用いて、瞳分割方式の焦点検出を行う撮像装置が開示されている。特許文献２にて開示された撮像装置では、ＣＭＯＳセンサを構成する多数の画素のうち一部の画素が、撮影光学系（結像光学系）の焦点状態を検出するために光電変換部が２つに分割された構造を有する。光電変換部は、マイクロレンズを介して撮影レンズの瞳における互いに異なる領域を通過した光束を受光する。

瞳分割方式の焦点検出においては、結像光学系の瞳における互いに異なる領域（Ａ瞳領域とＢ瞳領域）を通過した光束により形成されたＡ像とＢ像の光電変換信号に対して相関演算を行うことでＡ像とＢ像の位相差を求める。そして、該位相差に基づいて結像光学系のデフォーカス量を演算する。

Ａ像とＢ像の光電変換信号の相関演算に関して、特許文献３には、特定のフィルタを結像光学系の口径比、射出瞳位置または位相差量に応じて変形し、該変形フィルタを用いて光電変換信号にフィルタ処理を施す方法が開示されている。

ところで、結像光学系の焦点状態を検出する場合、像面（撮影画面）の中央部に位置する被写体のみならず、周辺部に位置する被写体に対しても焦点検出が可能である。しかし、周辺部では結像光学系においてレンズ等の光学素子を保持する部材による光束のケラレによって、Ａ瞳領域とＢ瞳領域とに非対称性が生じる場合がある。この場合、Ａ瞳領域とＢ瞳領域を通過した光束により形成されるＡ像とＢ像の一致度が低くなり、焦点検出精度が低下する。

このようなＡ，Ｂ像の一致度の低下を軽減するため、特許文献４には、Ａ像に対してＢ瞳領域に対応した線像を畳み込み積分し、Ｂ像に対してＡ瞳領域に対応した線像を畳み込み積分することで、ケラレ状態に応じた像修正を行う方法が開示されている。

特開昭５８−２４１０５号公報 特開２００５−１０６９９４号公報 特開平５−１２７０７４号公報 特開２０１０−１１７６７９号公報

しかしながら、特許文献４にて開示された像修正方法では、各瞳領域の線像の畳み込み積分によって、修正後のＡ，Ｂ像を修正前のＡ，Ｂ像に比べてぼかすことになる。このため、コントラストの低い被写体を撮影する場合や、デフォーカス量が大きい場合や、結像光学系の絞り値が小さい（明るい）場合に、焦点検出精度が低下する可能性がある。

本発明は、コントラスト、デフォーカス量および絞り値に応じて適切な像修復を行い、焦点検出精度を向上させることができるようにした焦点検出装置およびこれを備えた撮像装置を提供する。

本発明の一側面としての焦点検出装置は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行う第１の信号処理手段と、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行う第２の信号処理手段と、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算手段とを有する。演算手段は、前記撮像手段の出力信号から得られたコントラスト値が所定値より高い場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、コントラスト値が該所定値より低い場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。

また、本発明の他の一側面としての焦点検出装置は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行う第１の信号処理手段と、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行う第２の信号処理手段と、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算手段とを有する。演算手段は、第１および第２の処理を受けていない第１および第２の像信号を用いてデフォーカス量の暫定値を演算し、該暫定値の絶対値が所定値より小さい場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、暫定値が該所定値より大きい場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。

さらに、本発明の他の一側面としての焦点検出装置は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行う第１の信号処理手段と、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行う第２の信号処理手段と、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算手段とを有する。結像光学系は、絞り値が可変である絞りを有する。演算手段は、絞り値が所定値より大きい場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、絞り値が該所定値より小さい場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。

なお、上記焦点検出装置を備えた撮像装置も本発明の他の一側面を構成する。

また、本発明の他の一側面である焦点検出方法は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法である。該焦点検出方法は、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行うステップと、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行うステップと、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算ステップとを有する。そして、演算ステップにおいて、撮像手段の出力信号から得られたコントラスト値が所定値より高い場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、コントラスト値が該所定値より低い場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。

また、本発明の他の一側面である焦点検出方法は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法である。該焦点検出方法は、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行うステップと、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行うステップと、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算ステップとを有する。そして、演算ステップにおいて、第１および第２の処理を受けていない第１および第２の像信号を用いてデフォーカス量の暫定値を演算し、該暫定値の絶対値が所定値より小さい場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、暫定値が該所定値より大きい場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。

また、本発明の他の一側面である焦点検出方法は、結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法である。該焦点検出方法は、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行うステップと、第１の像信号および第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行うステップと、第１または第２の処理を受けた第１および第２の像信号を用いて結像光学系のデフォーカス量を演算する演算ステップとを有する。結像光学系は、絞り値が可変である絞りを有する。そして、演算ステップにおいて、絞り値が所定値より大きい場合は、第１の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算し、絞り値が該所定値より小さい場合は、第２の処理を受けた第１および第２の像信号を用いてデフォーカス量を演算することを特徴とする。

本発明によれば、第１および第２の画素群により形成された２像に対して、コントラスト、デフォーカス量および絞り値に応じた適切な像修復を行うことができ、この結果、焦点検出精度を向上させることができる。そして、このような精度の高い焦点検出の結果を用いてフォーカシングを行い、さらに撮像を行うことにより、ピントが合った良好な画像を取得することができる。

本発明の実施例１であるカメラの構成を示すブロック図。 実施例１のカメラに設けられた撮像素子の構成を示す回路図。 上記撮像素子の画素部の断面図。 上記撮像素子の駆動タイミングチャート。 上記撮像素子の撮像用画素の平面図と断面図。 実施例１における水平瞳分割を行う焦点検出用画素の平面図と断面図。 実施例１における垂直瞳分割を行う焦点検出用画素の平面図と断面図。 上記撮像素子による瞳分割を説明する図。 実施例１のカメラにおいて焦点検出時の取得画像と焦点検出領域を説明する図。 実施例１における撮像素子の中央部の焦点検出用画素の入射角度特性を表す模式図。 上記焦点検出用画素の入射角度特性を２次元で表す図。 実施例１における光束のケラレを説明する図。 実施例１における瞳面上での瞳領域を示す図。 実施例１における焦点検出用画素の瞳強度分布を示す図。 実施例１における撮像素子の中央部の焦点検出用画素の瞳面上でのケラレを示す図。 実施例１における撮像素子の中央部の焦点検出用画素の瞳面上での入射光束の瞳強度分布を２次元で表す図。 実施例１における撮像素子の中央から像高を持った位置の画素の瞳面上でのケラレを示す図。 実施例１における撮像素子の中央から像高を持った位置の画素の瞳面上での入射光束の瞳強度分布を２次元で表す図。 実施例１におけるデフォーカス状態にて撮像素子に入射する光線を示す図。 実施例１における焦点検出処理を示すフローチャート。 実施例１における被写体像の非対称性を説明する図。 実施例１における修正像の線幅を広くするフィルタ処理を説明する図。 実施例１における第１の処理を示すフローチャート。 実施例１における修正像の線幅を狭くするフィルタ処理を説明する図。 実施例１における第２の処理を示すフローチャート。 本発明の実施例２における焦点検出処理を示すフローチャート。 実施例２における第１の処理を示すフローチャート。 実施例２における修正像の線幅を狭くするフィルタ処理を説明する図。 実施例２における第２の処理を示すフローチャート。 本発明の実施例３における焦点検出処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例である焦点検出装置を有するデジタルカメラ（撮像装置）の構成を示している。同図において、１０１は結像光学系としての撮影光学系のうち最も物体側に配置され、光軸方向に移動可能な第１レンズ群である。１０２は絞りシャッタであり、その開口径を変化させて（絞り値を可変として）光量調節を行う絞り機能と、静止画撮影時に開閉動作することで露光秒時を制御するシャッタ機能とを備える。

１０３は第２レンズ群である。絞りシャッタ１０２は、第２レンズ群１０３と一体となって光軸方向に移動する。第１レンズ群１０１と第２レンズ群１０２とが光軸方向に移動することで、変倍（ズーム）が行われる。

１０５は第３レンズ群であり、光軸方向に移動して焦点調節を行う。１０６は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣＭＯＳセンサとその周辺回路で構成された撮像素子（撮像手段）である。該撮像素子１０７は、水平方向にｍ個、垂直方向にｎ個の画素（受光素子）を有し、これらの画素に対してベイヤー配列の原色カラーモザイクフィルタが配置されて２次元単板カラーセンサが構成される。

１１１はズームアクチュエータであり、不図示のカム筒を光軸周りで回転させることで、第１レンズ群１０１および第２レンズ群１０２を光軸方向に移動させ、変倍を行わせる。

１１２は絞りシャッタアクチュエータであり、光量調節のために絞りシャッタ１０２の開口径を変化させるよう駆動するとともに、静止画撮影時のシャッタ駆動を行う。１１４はフォーカスアクチュエータで、あり第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

１１５は電子フラッシュであり、キセノン管やＬＥＤを光源として有する。１１６はＡＦ補助光発光部であり、所定の開口パターンを有したマスクの像を、投光レンズを介して被写体に投影する。これにより、暗い被写体あるいは低コントラストの被写体に対するＡＦ性能を向上させることができる。

１２１はコントローラとしてのカメラＣＰＵであり、カメラの種々の動作の制御を司る。カメラＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータおよび通信インターフェイス回路等を有する。カメラＣＰＵ１２１は、ＲＯＭに記憶されたコンピュータプログラムに従ってカメラ内の各部の動作を制御し、撮影光学系の焦点状態の検出（焦点検出）を含むＡＦ、撮像、画像処理および記録等の一連の撮影動作を実行させる。カメラＣＰＵ１２１は、演算手段に相当する。

１２２は電子フラッシュ制御回路であり、電子フラッシュ１１５の点灯制御を行う。１２３は補助光駆動回路であり、ＡＦ補助光発光部１１６の点灯制御を行う。１２４は撮像素子駆動回路であり、撮像素子１０７の動作を制御するとともに、該撮像素子１０７から出力された画素信号（撮像信号）をＡ／Ｄ変換してカメラＣＰＵ１２１に送信する。１２５は画像処理回路であり、Ａ／Ｄ変換された撮像信号に対してγ変換やカラー補間等の画像処理を行って画像信号を生成し、さらに画像信号に対してＪＰＥＧ圧縮等の処理を行う。

１２６はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。１２８はシャッタ駆動回路であり、絞りシャッタアクチュエータ１１２を駆動して絞りシャッタ１０２を動作させる。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器であり、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像および焦点検出時の合焦状態等を表示する。１３２は操作スイッチ群であり、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。

図２には、本実施例における撮像素子１０７の回路構成を示している。なお、同図は２次元ＣＭＯＳセンサのうち２列×４行画素の範囲を示したものである。ＣＭＯＳセンサの画素ピッチは５μｍ、有効画素数は１２００万画素（＝水平４０００画素×垂直３０００画素）であり、これらの画素が配列された有効撮像エリアのサイズは、水平２０ｍｍ×垂直１５ｍｍである。

図２において、１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２はフォトゲート、３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタ、５はソースフォロワアンプＭＯＳトランジスタである。６は水平選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタ、８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタ、１０は暗出力蓄積容量ＣＴＮ、１１は明出力蓄積容量ＣＴＳである。１２は水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。

図３には、撮像素子１０７の画素部の断面構造を示す。同図において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリＳｉ、２０は二層目ポリＳｉ、２１はｎ+ フローティングディフュージョン部（ＦＤ）である。２１のＦＤは別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。２つの転送ＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ部２１を接続してもよい。

次に、図４のタイミングチャートを用いて撮像素子１０７の動作について説明する。このタイミングチャートは、撮像素子１０７を全画素独立読み出し方式で動作させる場合を示す。

垂直走査回路１６からのタイミング出力によって、制御パルスφＬをＨｉｇｈとして垂直出力線をリセットする。また、制御パルスφＲ０，φＰＧ００，φＰＧｅ０をＨｉｇｈとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリＳｉ１９をＨｉｇｈとしておく。

時刻Ｔ０において、制御パルスφＳ０をＨｉｇｈとし、選択スイッチＭＯＳトランジスタ６をオンさせ、第１，第２ラインの画素部を選択する。

次に、制御パルスφＲ０をＬｏｗとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとする。その後、時刻Ｔ１において制御パルスφＴＮをＨｉｇｈとし、ＦＤ部２１の暗電圧をソースフォロワ動作で蓄積容量ＣＴＮ１０に出力させる。

次に、第１ラインの画素の光電変換出力を行うため、第１ラインの制御パルスφＴＸ００をＨｉｇｈとして、転送スイッチＭＯＳトランジスタ３を導通した後、時刻Ｔ２において制御パルスφＰＧ００をローとする。このとき、フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。したがって、完全転送が可能であれば、制御パルスφＴＸはパルスではなく、ある固定電位でもかまわない。

時刻Ｔ２でフォトダイオードの光電変換部１からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。このとき、ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、時刻Ｔ３において制御パルスφＴｓをＨｉｇｈとしてＦＤ部２１の電位を蓄積容量ＣＴＳ１１に出力する。この時点で第１ラインの画素の暗出力と明出力はそれぞれ蓄積容量ＣＴＮ１０とＣＴＳ１１に蓄積されている。

時刻Ｔ４で、制御パルスφＨＣを一時Ｈｉｇｈとして、水平出力線リセットＭＯＳトランジスタ１３を導通させ、水平出力線をリセットする。これにより、水平転送期間において、水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と明出力とが出力される。このとき、蓄積容量ＣＴＮ１０とＣＴＳ１１の差動増幅器１４によって、差動出力ＶＯＵＴをとれば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。また、画素３０−１２，３０−２２の光電荷は、画素３０−１１，３０−２１と同時にそれぞれの蓄積容量ＣＴＮ１０とＣＴＳ１１に蓄積される。その読み出しは、水平走査回路１５からのタイミングパルスを１画素分遅らせて水平出力線に読み出し、差動増幅器１４から出力される。

本実施例では、差動出力ＶＯＵＴをチップ内で行う構成を示しているが、チップ内に含めず、外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いても同様の効果が得られる。

蓄積容量ＣＴＳ１１に明出力を出力した後、制御パルスφＲ０をＨｉｇｈとして、リセット用ＭＯＳトランジスタ４を導通させ、ＦＤ部２１を電源ＶＤＤにリセットする。第１ラインの水平転送が終了した後、第２ラインの読み出しを行う。第２ラインの読み出しは、制御パルスφＴＸｅ０，制御パルスφＰＧｅ０を同様に駆動し、制御パルスφＴＮ，φＴＳにそれぞれＨｉｇｈパルスを供給して、蓄積容量ＣＴＮ１０とＣＴＳ１１にそれぞれ電荷を蓄積して、暗出力と明出力を取り出す。

以上の駆動により、第１および第２ラインの読み出しをそれぞれ独立に行える。この後、垂直走査回路を走査させ、同様に第２ｎ＋１，第２ｎ＋２（ｎ＝１，２，…）の読み出しを行えば、全画素独立読み出しが行える。すなわち、ｎ＝１の場合は、まず制御パルスφＳ１をＨｉｇｈとし、次にφＲ１をＬｏｗとする。続いて、制御パルスφＴＮ，φＴＸ０１をＨｉｇｈとし、制御パルスφＰＧ０１をＬｏｗとし、制御パルスφＴＳをＨｉｇｈとし、制御パルスφＨＣを一時Ｈｉｇｈとして、画素３０−３１，３０−３２の画素信号を読み出す。

続いて、制御パルスφＴＸｅ１，φＰＧｅ１を上記と同様に印加して、画素３０−４１，３０−４２の画素信号を読み出す。

次に、図５、図６および図７を用いて、撮像素子１０７上に配置された撮像用画素と焦点検出用画素の構造について説明する。本実施例の撮像素子１０７は、２行×２列の４画素における対角２箇所にＧ（緑色）の分光感度を有する画素を配置し、他の２箇所にＲ（赤色）とＢ（青色）の分光感度を有する画素をそれぞれ１個ずつ配置したベイヤー配列を採用する。そして、このようなベイヤー配列により配置された撮像用画素の中に、焦点検出用画素が分散配置されている。

図５には、撮像用画素の平面図と断面図を示す。同図（ａ）は撮像素子１０７の中央に位置する２行×２列の撮像用画素の平面図である。前述したように、対角２箇所に２つのＧ画素が配置され、他の２箇所にＲ画素とＢ画素が配置されている。

図５（ａ）の断面Ａ−Ａを同図（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズであり、ＣＦ_ＲはＲ（Ｒｅｄ）のカラーフィルタである。ＣＦ_ＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは図３で説明したＣＭＯＳセンサの光電変換部を模式的に示したものである。ＣＬはＣＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤとがマイクロレンズＭＬによって共役関係に配置され、さらに光電変換部ＰＤの有効面積が大きく設定されている。なお、図５（ｂ）では、Ｒ画素の構造を示しているが、Ｇ画素およびＢ（Ｂｌｕｅ）画素も同一の構造を有する。したがって、撮像用のＲＧＢ画素に対応した射出瞳ＥＰは大きな径を有し、被写体からの光束を効率良く取り込んで、画像信号のＳ／Ｎを向上させる。

図６には、撮影光学系の瞳をｘ方向に分割するための焦点検出用画素の平面図と断面図を示す。同図（ａ）は、撮像素子１０７の中央に位置する焦点検出用画素を含む２行×２列の４画素の平面図である。

撮像信号を得る場合に、Ｇ画素からの出力は輝度情報の主成分をなす。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると、画質劣化が認められやすい。一方、Ｒ画素もしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで、本実施例では、２行×２列の４画素のうち、２つのＧ画素は撮像用画素として残し、Ｒ画素とＢ画素の位置に、ある割合で焦点検出用画素を配置している。同図（ａ）において、焦点検出用画素をＳ_ＨＡ，Ｓ_ＨＢで示す。

このように撮像素子１０７に分散配置された複数の焦点検出用画素Ｓ_ＨＡが第１の画素群に相当し、複数の焦点検出用画素Ｓ_ＨＢが第２の画素群に相当する。

図６（ａ）の断面Ｂ−Ｂを同図（ｂ）に示す。マイクロレンズＭＬと光電変換部ＰＤは、図５（ｂ）に示した撮像用画素と同一の構造を有する。

本実施例においては、焦点検出用画素の信号は画像生成には用いられないため、色分離用カラーフィルタの代わりに透明膜（白色膜）ＣＦ_Ｗが配置される。

また、ｘ方向の瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｘ方向に偏っている。具体的には、焦点検出用画素Ｓ_ＨＡの開口部ＯＰ_ＨＡは−ｘ方向に偏っているため、焦点検出用画素Ｓ_ＨＡの光電変換部ＰＤは、撮影光学系ＴＬの左側（＋ｘ側）の射出瞳領域（第１の瞳領域）ＥＰ_ＨＡを通過した光束を受光する。また、焦点検出用画素Ｓ_ＨＢの開口部ＯＰ_ＨＢは＋ｘ方向に偏っているため、焦点検出用画素Ｓ_ＨＢの光電変換部ＰＤは、撮影光学系ＴＬの右側（−ｘ側）の射出瞳領域（第２の瞳領域）ＥＰ_ＨＢを通過した光束を受光する。

ｘ方向に規則的に配列された複数の焦点検出用画素Ｓ_ＨＡ（第１の画素群）で取得した被写体像をＡ像（第１の像）とする。また、ｘ方向に規則的に配列された複数の焦点検出用画素Ｓ_ＨＢ（第２の画素群）で取得した被写体像をＢ像（第２の像）とする。そして、Ａ像とＢ像の相対位置関係（位相差）を検出することで、該位相差に基づいて被写体に対する撮影光学系ＴＬのデフォーカス量を演算することができる。

なお、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢによって撮影画面のｘ方向に輝度分布を有した被写体、例えばｙ方向の伸びる線に対しては焦点検出が可能であるが、ｙ方向に輝度分布を有する被写体、例えばｘ方向に伸びる線に対しては焦点検出不能である。本実施例では、後者についても焦点検出できるように、撮影光学系ＴＬのｙ方向にも瞳分割を行う焦点検出用画素も備えている。

図７は、撮影光学系の瞳をｙ方向に分割するための焦点検出用画素の平面図と断面図を示す。同図（ａ）は、撮像素子１０７の中央に位置する焦点検出用画素を含む２行×２列の４画素の平面図であり、図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素の位置に、ある割合で焦点検出用画素を配置している。同図（ａ）において、焦点検出用画素をＳ_ＶＣ，Ｓ_ＶＤで示す。このように撮像素子１０７に分散配置された複数の焦点検出用画素Ｓ_ＶＣが第１の画素群に相当し、複数の焦点検出用画素Ｓ_ＶＤが第２の画素群に相当する。

図６（ａ）の断面Ｃ−Ｃを同図（ｂ）に示す。同図（ｂ）に示した画素はｙ方向に瞳分割を行うが、画素の構造としては図６（ｂ）に示したｘ方向に瞳分割する画素と同じである。

ｙ方向の瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｙ方向に偏っている。具体的には、焦点検出用画素Ｓ_ＶＣの開口部ＯＰ_ＶＣは−ｙ方向に偏っているため、焦点検出用画素Ｓ_ＶＣの光電変換部ＰＤは、撮影光学系ＴＬの上側（＋ｙ側）の射出瞳領域（第１の瞳領域）ＥＰ_ＶＣを通過した光束を受光する。また、焦点検出用画素Ｓ_ＶＤの開口部ＯＰ_ＶＤは＋ｙ方向に偏っているため、焦点検出用画素Ｓ_ＶＤの光電変換部ＰＤは、撮影光学系ＴＬの下側（−ｙ側）の射出瞳領域（第２の瞳領域）ＥＰ_ＶＤを通過した光束を受光する。

ｙ方向に規則的に配列された複数の焦点検出用画素Ｓ_ＶＣ（第１の画素群）で取得した被写体像をＣ像（第１の像）とする。また、ｙ方向に規則的に配列された複数の焦点検出用画素Ｓ_ＶＤ（第２の画素群）で取得した被写体像をＤ像（第２の像）とする。そして、Ｃ像とＤ像の相対位置関係（位相差）を検出することで、該位相差に基づいて被写体に対する撮影光学系ＴＬのデフォーカス量を演算することができる。

図８は、本実施例における撮像素子１０７の瞳分割の様子を示す。ＴＬは撮影光学系、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。

撮像用画素は、撮影光学系ＴＬの射出瞳ＥＰの全域を通過した光束を受光する。一方、焦点検出用画素のうち図６に示した焦点検出用画素Ｓ_ＨＡは、射出瞳ＥＰのうち＋ｘ側の瞳領域ＥＰ_ＨＡを通過した光束を受光する。同様に、焦点検出用画素Ｓ_ＨＢ，Ｓ_ＶＣ，Ｓ_ＶＤはそれぞれ射出瞳領域ＥＰ_ＨＢ，ＥＰ_ＶＣ，ＥＰ_ＶＤを通過した光束を受光する。そして、焦点検出用画素を、撮像素子１０７の全領域にわたって分布させることで、有効撮像エリアの全域で焦点検出が可能となる。

図９は、焦点検出時に取得した画像と焦点検出領域との関係を示している。図９において、撮像素子１０７の有効撮像エリア（撮影画面）上に形成された被写体像には、中央の人物の像と、左側の近距離の樹木の像と、右側の遠距離の山の像とが含まれる。

そして、本実施例においては、焦点検出用画素は、ｘ方向にて瞳分割を行う焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢと、ｙ方向にて瞳分割を行う焦点検出用画素Ｓ_ＶＣ，Ｓ_ＶＤが有効撮像エリアの全域にわたって均等な密度で配置されている。そして、ｘ方向でのＡ像とＢ像の位相差を検出する際には、焦点検出用画素Ｓ_ＨＡから得られる画素信号と焦点検出用画素Ｓ_ＨＢから得られる画素信号とを使用する。また、ｙ方向でのＣ像とＤ像の位相差を検出する際には、焦点検出用画素Ｓ_ＶＣから得られる画素信号と焦点検出用画素Ｓ_ＶＤから得られる画素信号とを使用する。このため、有効撮像エリアにおける任意の位置において、ｘ方向での位相差検出とｙ方向での位相差検出のための焦点検出領域を設定することができる。

図９においては、画面中央に人物の顔が存在している。そこで、公知の顔認識技術によって顔の存在が検出されると、顔領域を中心にｘ方向での位相差検出のための焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）と、ｙ方向での位相差検出のための焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）とが設定される。添え字のｈはｘ方向に対応し、（ｘ１，ｙ１）と（ｘ３，ｙ３）は焦点検出領域の左上隅の座標を表す。

焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）は３０個のセクションを有し、各セクションに含まれる焦点検出画素Ｓ_ＨＡからの画素信号を３０セクションにわたって連結することで、位相差検出用のＡ像信号（第１の像信号）ＡＦＳＩＧｈ（Ａ１）が得られる。同様に、各セクションに含まれる焦点検出画素Ｓ_ＨＢからの画素信号を３０セクションにわたって連結することで、位相差検出用のＢ像信号（第２の像信号）ＡＦＳＩＧｈ（Ｂ１）が得られる。

そして、Ａ像信号ＡＦＳＩＧｈ（Ａ１）とＢ像信号ＡＦＳＩＧｈ（Ｂ１）のｘ方向での相対的なずれ量である位相差を相関演算によって求めることにより、該位相差に基づいて撮影光学系のデフォーカス量を求めることができる。

また、焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）においても、同様にして、位相差検出用のＣ像信号（第１の像信号）ＡＦＳＩＧｖ（Ｃ３）とＤ像信号（第２の像信号）ＡＦＳＩＧｖ（Ｄ３）が得られる。そして、Ｃ像信号ＡＦＳＩＧｖ（Ｃ３）とＢ像信号ＡＦＳＩＧｖ（Ｄ３）のｙ方向での相対的なずれ量である位相差を相関演算によって求めることにより、該位相差に基づいて撮影光学系のデフォーカス量を求めることができる。

こうして得られたｘ方向での位相差に基づくデフォーカス量とｙ方向での位相差に基づくデフォーカス量とを比較して、信頼性の高い方のデフォーカス量を用いてＡＦを行う。

一方、画面左側に存在する樹木の幹部は、ｙ方向に伸びており、ｘ方向に輝度分布を有しているため、ｘ方向での位相差検出に適した被写体と判断される。この場合、ｘ方向での位相差検出のための焦点検出領域ＡＦＡＲｈ（ｘ２，ｙ２）が設定される。

また、画面右側の山の稜線部は、ｘ方向に伸びており、ｙ方向に輝度分布を有しているため、ｙ方向での位相差検出に適した被写体と判断される。この場合、ｙ方向での位相差検出のための焦点検出領域ＡＦＡＲｖ（ｘ４，ｙ４）が設定される。

以上のように、本実施例では、ｘ方向とｙ方向での位相差検出のための焦点検出領域が撮影画面の任意の位置に設定可能であるため、被写体像の位置や輝度分布の方向性が様々であっても焦点検出を行うことができる。

焦点検出の原理は、ｘ方向とｙ方向とで方向が異なること以外は同じであるため、以下では、ｘ方向での焦点検出について説明し、ｙ方向での焦点検出についての説明は省略する。

図１０には、撮像素子１０７の中央の焦点検出用画素の入射角度特性を示している。図１０（ａ）は焦点検出用画素Ｓ_ＨＡの特性を、図１０（ｂ）は焦点検出用画素Ｓ_ＨＢの特性を示している。図１０中のｘ軸とｙ軸はそれぞれ、各画素のｘ方向とｙ方向の入射角度を表している。図１０では、色が濃いほど受光強度が高いことを示す。図６では、焦点検出用画素Ｓ_ＨＡが受光する光束が通過する射出瞳領域ＥＰ_ＨＡと、焦点検出用画素Ｓ_ＨＢが受光する光束が通過する射出瞳領域ＥＰ_ＨＢとを分離して示した。しかし、実際には、図１０に示すように、開口部ＯＰ_ＨＡと開口部ＯＰ_ＨＢによる回折の影響やＳ／Ｎ比の向上のために、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢが受光する光束がそれぞれ通過する射出瞳領域は一部が重なっている。

図１１では、焦点検出用画素の入射角度特性を１次元で示している。横軸は入射角度を、縦軸は図１０におけるθｙ方向での受光感度を加算した特性を示している。原点は光軸位置である。図１１に示すように、撮像素子１０７の中央では、焦点検出用画素では、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢの入射角度特性は光軸に対してほぼ対称となる。

図１２を用いて光束のケラレについて説明する。図１２（ａ）は、撮像素子１０７の中央の画素に入射する光束を示し、図１２（ｂ）は撮像素子１０７の中央に対してある像高を持った位置の画素に入射する光束を示している。撮像素子１０７には撮影光学系を構成するレンズ群を保持する保持枠や絞り１０２等の部材によって制限された光束が入射する。ここでは、全ての像高において光束を制限する部材が２つ存在するものとして説明する。

Ｉｗ１，Ｉｗ２は光束を制限する部材の開口（窓）であり、光束はこれらの窓Ｉｗ１，Ｉｗ２の内側を通過する。ＭｅはマイクロレンズＭＬの構成によって設定された瞳面を表している。

図１２（ａ）において、Ｌ１ｒｃ，Ｌ１ｌｃは窓Ｉｗ１から射出した光束の外周を表しており、Ｌ１ｒｃは該光束の図中の右端を、Ｌ１ｌｃは該光束の図中の左端を示している。Ｌ２ｒｃ，Ｌ２ｌｃは窓Ｉｗ２から射出した光束であって、マイクロレンズＭＬの瞳面Ｍｅに投影された光束の外周を表しており、Ｌ２ｒｃは該光束の図中の右端を、Ｌ２ｌｃは該光束の図中の左端を示している。

図１２（ａ）に示すように、撮像素子１０７の中央の焦点検出用画素に入射する光束の瞳面Ｍｅでの瞳領域は、Ｌ２ｌｃとＬ２ｒｃを外周とする光束、つまり矢印Ａｒｅａ１で示される。

次に、図１２（ｂ）を用いて、撮像素子１０７の中央に対してある像高を持った位置の画素に入射する光束のケラレを説明する。Ｌ１ｒｈ，Ｌ１ｌｈは窓Ｉｗ１から射出した光束の外周を表しており、Ｌ１ｒｈは該光束の図中の右端を、Ｌ１ｌｈは該光束の図中の左端を示している。Ｌ２ｒｈ，Ｌ２ｌｈは窓Ｉｗ２から射出した光束であって、マイクロレンズＭＬの瞳位置Ｍｅに投影された光束の外周を表しており、Ｌ２ｒｈは該光束の図中の右端を、Ｌ２ｌｈは該光束の図中の左端を示している。

図１２（ｂ）に示すように、撮像素子１０７の中央に対してある像高を持った位置の画素に入射する光束の瞳面Ｍｅ上での瞳領域は、Ｌ１ｌｈとＬ２ｒｈを外周とする光束、つまり矢印Ａｒｅａ２で示される。

図１３には、瞳面Ｍｅ上での瞳領域を示している。図１３（ａ）は撮像素子１０７の中央の画素の瞳領域を示し、図１３（ｂ）は撮像素子１０７の中央に対してある像高を持った位置の画素の瞳領域を示している。図１２で説明したように、撮像素子１０７の中央の画素には同一の窓Ｉｗ２のみによって制限された光束が入射するため、図１３（ａ）に示すように、瞳領域Ａｒｅａ１は窓Ｉｗ２の形状がそのまま投影される。光束を制限する窓は、円形状であるため、瞳領域Ａｒｅａ１の形状も円形状となる。一方、撮像素子の中央に対してある像高を持った位置の画素には窓Ｉｗ１，Ｉｗ２によって制限された光束が入射するため、瞳領域Ａｒｅａ２は、図１３（ｂ）に示したような形状となる。

図１４には、焦点検出用画素の瞳強度分布を示す。これは、図１０に示した撮像素子１０７の中央の焦点検出用画素の入射角度特性をマイクロレンズＭＬの瞳面Ｍｅ上に投影したものに等しく、図１４の縦軸および横軸は、瞳面上の座標に展開したものである。この瞳強度分布は、撮像素子１０７の中央に対してある像高を持った位置の画素についても同じである。これは、撮像素子１０７の中央に対してある像高を持った位置の画素のマイクロレンズＭＬは、光軸中心がマイクロレンズＭＬの瞳面Ｍｅの中心を通過するように偏心して作製されているためである。

図１５には、撮像素子１０７の中央の焦点検出用画素に対するマイクロレンズＭＬの瞳面Ｍｅ上でのケラレを示している。図１５（ａ）は焦点検出用画素Ｓ_ＨＡに対するケラレを、図１５（ｂ）は焦点検出用画素Ｓ_ＨＢに対するケラレを示している。図１５は、図１３（ａ）と図１４とを重ね合わせたものに相当し、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢには、Ａｒｅａ１で示した形状の内側を透過した光束が図示した瞳強度分布で入射する。

図１６には、撮像素子１０７の中央の焦点検出用画素に対するマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布であって、ｘ軸に射影した後の１次元瞳強度分布を示している。横軸は瞳面Ｍｅ上のｘ方向の座標を表し、縦軸は各座標の強度を表している。各座標の強度は、図１５のｙ方向の瞳強度を積分したものである。焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢに対するマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布をそれぞれ、ＥｓｄＡｃ，ＥｓｄＢｃで示している。

図１５に示すように、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢに対するマイクロレンズＭＬの瞳面Ｍｅ上でのケラレの形状およびその内側の瞳強度分布は左右対称である。このため、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢに対するマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布も左右対称である。

図１７には、撮像素子１０７の中央に対してある像高を持った位置の画素のマイクロレンズＭＬの瞳面Ｍｅ上でのケラレを示している。図１７（ａ）は焦点検出用画素Ｓ_ＨＡに対するケラレを、図１７（ｂ）は焦点検出用画素Ｓ_ＨＢに対するケラレを示している。図１７は図１３（ｂ）と図１４とを重ね合わせたものに相当し、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢには、Ａｒｅａ２で示した形状の内側を透過した光束が図示した瞳強度分布で入射する。

図１８には、撮像素子１０７の中央に対してある像高を持った位置の画素のマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布であって、瞳分離方向の座標軸に射影した後の１次元瞳強度分布を示している。横軸は瞳面Ｍｅ上での瞳分離方向の座標を示し、縦軸は各座標の強度を示している。各座標の強度は、図１７の瞳強度を瞳分離方向と直交する方向に積分したものである。図１８中、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢの瞳面Ｍｅ上での入射光束の瞳強度分布は、ＥｓｄＡｈ，ＥｓｄＢｈで示している。焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢのマイクロレンズＭＬの瞳面Ｍｅ上での瞳強度分布は左右対称である。しかし、ケラレの形状が左右非対称形状であることから、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢのマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布ＥｓｄＡｈ，ＥｓｄＢｈは左右非対称となる。

次に、前述したＡ像とＢ像（Ａ像信号とＢ像信号）の位相差および撮影光学系のデフォーカス量を検出する方法について説明する。

被写体の光量分布をｆ_２（ｘ，ｙ）とし、その光学像である被写体像の光量分布をｇ_２（ｘ，ｙ）とするとき、

で示される畳み込み積分（convolution）を用いた関係が成立する。ここで、ｈ_２（ｘ，ｙ；ｄ）は、デフォーカス量ｄに応じて、被写体の像が撮像系（撮影光学系および画像生成系）において劣化する状態を表す伝達関数であり、点像分布関数（point spread function）と呼ばれる。焦点検出に用いる一対の被写体像（像信号）の状態を知るには、点像分布関数を知る必要がある。

ここで、本実施例の焦点検出は、位相差検出方式と呼ばれる方式で行われる。位相差検出方式においては、一対の像信号の１次元方向に注目し、その位相差を検出するため、点像分布関数の代わりに１次元関数である線像分布関数（line spread function）を用いて焦点検出に関する撮像系を評価することができる。

そこで、被写体の光量分布をｆ（ｘ）とし、被写体像であるＡ像の光量分布をｇＡ（ｘ）とし、もう１つの被写体像であるＢ像の光量分布をｇＢ（ｘ）とする。この場合、焦点検出用画素ＳＨＡの線像分布関数ｈＡ（ｘ；ｄ）と、焦点検出用画素ＳＨＢの線像分布関数ｈＢ（ｘ；ｄ）とを用いると、以下の関係が成り立つ。

このとき、光量分布ｇ_Ａ（ｘ）とｇ_Ｂ（ｘ）のずれ量（位相差）ｐが、相関演算の式（３）を最小とする値として算出される。

また、線像分布関数ｈ_Ａとｈ_Ｂの重心間隔である基線長ｃは、以下の式（４）で定義される。

ずれ量ｐは、線像分布関数ｈ_Ａとｈ_Ｂが平行移動により一致し、ノイズなどの影響が無い場合には、線像分布関数ｈ_Ａとｈ_Ｂの基線長ｃと一致する。すなわち、

となる。

ある点光源からの光束が結像光学系の射出瞳を通過して結像面上に形成する点像の強度分布、いわゆる点像分布関数は、射出瞳形状を有する瞳強度分布が結像面上に縮小投影されたものと考えられる。同様に、線像分布関数は１次元方向における射出瞳形状、つまりは該射出瞳形状を有する瞳強度分布を瞳分離方向と直交する方向に積分した１次元の瞳強度分布がマイクロレンズＭＬにより結像面上に縮小したものと考えることができる。したがって、線像分布関数は、図１６または図１８に示した１次元瞳強度分布をスケール変換したものに相当し、デフォーカス量に応じて、それぞれ１次元瞳強度分布を横軸方向に縮小し、縦軸方向に拡大したものと考えることができる。

マイクロレンズＭＬの瞳面Ｍｅの座標をＸとして、焦点検出用画素Ｓ_ＨＡの１次元瞳強度分布関数をｐ_Ａ（Ｘ）とする。また、焦点検出用画素Ｓ_ＨＢの１次元瞳強度分布関数をｐ_Ｂ（Ｘ）とする。さらに、図１９に示すように、撮像素子１０７から瞳面Ｍｅまでの距離（瞳距離）をＤとする。任意のデフォーカス量ｄに対して、焦点検出用画素Ｓ_ＨＡの線像分布関数ｈ_Ａ（ｘ；ｄ）と焦点検出用画素Ｓ_ＨＢの線像分布関数ｈ_Ｂ（ｘ；ｄ）は、以下のスケール変換から求めることができる。

デフォーカス量ｄは、撮像素子１０７の位置を０として、前ピン（図１９（ａ））で負の値を、後ピン（図１９（ｂ））で正の値をとる。

ここで、１次元瞳強度分布関数ｐ_Ａ，ｐ_Ｂの基線長Ｃを、以下の式（８）で定義する。

式（６）のスケール変換の関係式は、線像分布関数ｈ_Ａ，ｈ_Ｂの基線長ｃと１次元瞳強度分布関数ｐ_Ａ，ｐ_Ｂの基線長Ｃとの間でも成り立つ。すなわち、

となる。

さらに、線像分布関数ｈ_Ａ，ｈ_Ｂの一致度が良い場合には、式（５）が成り立つことから、ずれ量ｐとデフォーカス量ｄとの関係が以下の式（１０）のように求まる。

したがって、異なる瞳領域を通過した光束により生成される一対の像の光量分布ｇ_Ａ（ｘ），ｇ_Ｂ（ｘ）を知ることができれば、ずれ量ｐと式（１０）とから、結像光学系のデフォーカス量を算出することができる。

このとき、図１６や図１８に示したように、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢのマイクロレンズＭＬの瞳面Ｍｅ上での入射光束の瞳強度分布が、レンズ保持枠等の部材でケラレると、線像分布関数ｈ_Ａ，ｈ_Ｂの一致度が低下する。その結果、式（５）および式（１０）が成立しなくなり、デフォーカス量の検出精度が低下する。このため、デフォーカス量の検出精度を向上させるために、Ａ像とＢ像（Ａ像信号とＢ像信号）を修正して、これらの像の一致度（線像分布関数ｈ_Ａ，ｈ_Ｂの一致度）を高めることが有効である。

次に、Ａ像とＢ像の修正方法について説明する。焦点検出用画素の配置間隔（ピッチ）に対して被写体像の線幅が広いほど、被写体像データの離散化に伴う像形状の劣化は少ない。このため、被写体像のコントラストが十分に高い場合には、修正後の像を修正前の像よりもぼかして滑らかにすることで被写体像の線幅を広げる処理（以下、第１の処理という）を行うことで、デフォーカス量の検出精度をより向上させる。また、第１の処理では、像を滑らかにするため、像の修正と同時に被写体像に含まれる高周波ノイズ成分を除去することができる。

一方、被写体像の線幅が広くコントラストが低い場合には、修正後の像を修正前の像より鮮鋭化して被写体像の線幅を狭める処理（以下、第２の処理という）を行うとよい。これにより、修正後の被写体像のコントラストを高めて、デフォーカス量の検出精度をより向上させる。

本実施例では、撮像素子の出力信号から得られた被写体像のコントラスト評価値（コントラスト値）を算出する。ここにいう「撮像素子の出力信号」は、焦点検出用画素からの画素信号、Ａ像信号およびＢ像信号のうち少なくとも一方、および撮像用画素からの画素信号のいずれでもよい。そして、コントラスト評価値が所定値より高い場合は、Ａ像およびＢ像信号を修正前よりも滑らかにする第１の処理を行う。一方、コントラスト評価値が所定値より低い場合（以下である場合）は、Ａ像およびＢ像信号を修正前よりも鮮鋭化する第２の処理を行う。これにより、被写体像のコントラストに応じた適切な像修正を行い、撮影光学系の焦点状態の検出精度を向上させることができる。第１の処理および第２の処理は、第１の信号処理手段および第２の信号処理手段として機能するカメラＣＰＵ１２１により行われる。

以下、カメラＣＰＵ１２１により行われる焦点検出処理（焦点検出方法）について、図２０のフローチャートを用いて説明する。この処理は、カメラＣＰＵ１２１内のＲＯＭに格納されたコンピュータプログラムに従って実行される。このことは、後述する他の実施例でも同じである。

ステップＳ００１では、カメラＣＰＵ１２１は、ケラレ状態を知るためのレンズ情報を読み出し、ステップＳ００２へと進む。

ステップＳ００２では、カメラＣＰＵ１２１は、ユーザによって選択された又はカメラＣＰＵ１２１が自動的に設定した焦点検出領域を読み出す。この後、ステップＳ００３へと進む。

ステップＳ００３では、カメラＣＰＵ１２１は、ステップＳ００２で読み出した焦点検出領域に含まれる各焦点検出用画素においてカメラＣＰＵ１２１内のＲＯＭに格納されている瞳強度分布の情報を読み出す。そして、瞳強度分布情報とステップＳ００１で得られたケラレ情報とを合わせ用いて瞳強度を瞳分離方向と直交する方向に積分し、Ａ像とＢ像に対応する１次元瞳強度分布関数を算出する。さらに、カメラＣＰＵ１２１は、式（８）を用いて、これら１次元瞳強度分布関数の基線長Ｃを求める。この後、ステップＳ００４へと進む。

ステップＳ００４では、カメラＣＰＵ１２１は、ステップＳ００２で読み出した焦点検出領域に含まれる焦点検出用画素から画素信号を読み出し、Ａ像信号およびＢ像信号を生成する。なお、以下の説明では、Ａ像信号およびＢ像信号をそれぞれ、Ａ像およびＢ像という。この後、ステップＳ００５へと進む。

ステップＳ００５では、カメラＣＰＵ１２１は、ステップＳ００３で得た１次元瞳強度分布関数から、ステップＳ００４で生成したＡ像とＢ像のシェーディングを予測し、シェーディング補正を行う。シェーディング補正後、ステップＳ００６へと進む。

ステップＳ００６では、カメラＣＰＵ１２１は、ステップＳ００５で得たシェーディング補正後のＡ像とＢ像（第１および第２の処理を受けていないＡ像とＢ像）を用いて、公知の相関演算によりこれら像のずれ量（位相差）を求める。そして、式（１０）の関係を用いて、デフォーカス量の暫定値（以下、暫定デフォーカス量という）を求める。暫定デフォーカス量の算出後、ステップＳ００７へと進む。

ステップＳ００７では、カメラＣＰＵ１２１は、ステップＳ００５で得たシェーディング補正後のＡ像とＢ像のうち少なくとも一方を用いて、公知のコントラスト評価方法によってコントラスト評価値を求め、ステップＳ０１０へと進む。Ａ像とＢ像のうちコントラスト評価対象像が高コントラストであればコントラスト評価値は高くなり、コントラスト評価対象像が低コントラストであればコントラスト評価値は低くなる。コントラスト評価値としては、例えば、（像強度の最大値）−（像強度の最小値）から求めたり、隣接画素間の強度差の絶対値で最大のものを用いたりすることができる。もちろん、他の方法でコントラスト評価値を求めてもよい。

ステップＳ０１０では、カメラＣＰＵ１２１は、ステップＳ００７で算出したコントラスト評価値が所定値より高いか否かを判定する。コントラスト評価値が所定値より高い場合にはステップＳ１００へと進み、第１の処理を行う。一方、コントラスト評価値が所定値より低い（以下）である場合にはステップＳ２００へと進み、第２の処理を行う。第１および第２の処理の詳細については、後述する。

前述したように、Ａ像とＢ像の非対称性は、焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢに非対称な線像分布が畳み込み積分されることによって生じる。図２１は、被写体像の非対称性を示す概念的に示している。

図２１において、横軸は焦点検出領域内でのｘ方向の座標を、縦軸は被写体像の輝度を示す。図２１（ａ）は、被写体像の光量分布Ｏｂｊ（ｆ）を表しており、図２１（ｂ）の実線と破線はそれぞれ、あるデフォーカス量ｄにおける焦点検出用画素Ｓ_ＨＡの線像ＬＳＦＡ（ｈ_Ａ）と焦点検出用画素Ｓ_ＨＢの線像ＬＳＦＢ（ｈ_Ｂ）を表している。また、図２１（ｃ）の実線と破線はそれぞれ、あるデフォーカス量ｄにおける被写体像に対応したＡ像ＩｍｇＡ（ｇ_Ａ）とＢ像ＩｍｇＢ（ｇ_Ｂ）を表しており、これらは非対称であり、像の一致度は良くない。

ステップＳ１００では、カメラＣＰＵ１２１は、Ａ像とＢ像の非対称性を修正し、修正後のＡ像とＢ像を修正前よりも滑らかにする第１の処理を行う。
ここで、第１の処理について説明する。Ａ像ｇ_Ａは、前述した式（２Ａ）により得られる。

焦点検出用画素Ｓ_ＨＡからの画素信号により生成されたＡ像ｇ_Ａに、焦点検出用画素Ｓ_ＨＢの線像ｈ_Ｂを畳み込み積分して得られる修正像ｇ_Ａ，Ｂは以下のように表される。

同様に、焦点検出用画素Ｓ_ＨＢからの画素信号により生成されたＢ像ｇ_Ｂに、焦点検出用画素Ｓ_ＨＡの線像ｈ_Ａを畳み込み積分して得られる修正像ｇ_Ｂ，Ａは以下のように表される。

式（１１Ａ），（１１Ｂ）より、修正像ｇ_Ａ，Ｂと修正像ｇ_Ｂ，Ａは互いに等しくなる（互いに同じ形状を有する）ことがわかる。

また、Ａ像とＢ像の重心間隔を保ってこれらの非対称性を解消するには、線像ｈ_Ｂの重心を原点に移動した線像ｈ０_ＢをＡ像ｇ_Ａに畳み込み積分し、線像ｈ_Ａの重心を原点に移動した線像ｈ０_ＡをＢ像ｇ_Ｂに畳み込み積分すればよい。

図２２には、Ａ像とＢ像の非対称性を解消するためのフィルタ処理を示す。図２２（ａ）の実線と破線はそれぞれ、あるデフォーカス量におけるＡ像用像修正フィルタＦｉｌｔｅｒＡ（線像ｈ０_Ｂ）およびＢ像用像修正フィルタＦｉｌｔｅｒＢ（線像ｈ０_Ａ）を示す。図２２（ｂ）の実線と破線はそれぞれ、Ａ像ＩｍｇＡにＡ像用像修正フィルタＦｉｌｔｅｒＡを畳み込み積分して得られた修正像ＲｅＩｍｇＡおよびＢ像ＩｍｇＢにＢ像用像修正フィルタＦｉｌｔｅｒＢを畳み込み積分して得られた修正像ＲｅＩｍｇＢを示す。図２２（ｂ）に示すように、修正像ＲｅＩｍｇＡおよび修正像ＲｅＩｍｇＢは互いに同じ形状を有する。

第１の処理では、図２２（ｂ）に実線で示す修正像ＲｅＩｍｇＡは、Ａ像用像修正フィルタＦｉｌｔｅｒＡ（線像ｈ０_Ｂ）を畳み込み積分して得られたものであるため、図２１（ｃ）に実線で示す修正前のＡ像ＩｍｇＡよりもぼけて滑らかになり、像の線幅が広がる。同様に、図２２（ｂ）に破線で示す修正像ＲｅＩｍｇＢは、Ｂ像用像修正フィルタＦｉｌｔｅｒＢ（線像ｈ０_Ａ）を畳み込み積分して得られたものであるため、図２１（ｃ）に破線で示す修正前のＢ像ＩｍｇＢよりもぼけて滑らかになり、像の線幅が広がる。本実施例では、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの一致度をより高めるために、Ａ像ＩｍｇＡとＢ像ＩｍｇＢに対して、互いに異なる線像を畳み込み積分する像修正フィルタ（つまりは互いに異なる像修正フィルタ）を適用している。

図２３のフローチャートには、ステップＳ１００で行われる第１の処理を示している。

ステップＳ１０１では、カメラＣＰＵ１２１は、ステップＳ００６で算出された暫定デフォーカス量を入力値として設定し、ステップＳ１０２へと進む。

ステップＳ１０２では、カメラＣＰＵ１２１は、像修正フィルタを作成する。具体的には、ステップＳ１０１で設定した暫定デフォーカス量に基づいて、式（６）、（７Ａ）および（７Ｂ）に従い、ステップＳ００３で得られた１次元瞳強度分布関数をスケール変換し、Ａ像に対応する線像ＡとＢ像に対応する線像Ｂを求める。次に、線像Ａの重心が原点となるように平行移動させたものを線像Ａ０とし、線像Ｂの重心が原点となるように平行移動させたものを線像Ｂ０とする。

その後、「線像Ｂ０」をＡ像に対応したＡ像用像修正フィルタとし、「線像Ａ０」を被写体像Ｂ像に対応したＢ像用像修正フィルタとする。つまり、式（１１Ａ）と式（１１Ｂ）で説明したように、線像Ａ０と線像Ｂ０を入れ替えたものを、像修正フィルタとして用いる。この後、ステップＳ１０３へと進む。

ステップＳ１０３では、カメラＣＰＵ１２１は、ステップＳ１０２で得たＡ像用像修正フィルタ（線像Ｂ０）を用いてＡ像の畳み込み積分を行い、修正像Ａ（ＲｅＩｍｇＡ）を得る。同様に、カメラＣＰＵ１２１は、ステップＳ１０２で得られたＢ像用像修正フィルタ（線像Ａ０）を用いてＢ像の畳み込み積分を行い、修正像Ｂ（ＲｅＩｍｇＢ）を得る。この後、ステップＳ１０４へと進む。

ステップＳ１０４では、カメラＣＰＵ１２１は、公知の相関演算方法により、ステップＳ１０３で得た修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの位相差を求め、ステップＳ１０５へと進む。

ステップＳ１０５では、カメラＣＰＵ１２１は、ステップＳ１０４で得られた位相差から、式（１０）を用いてデフォーカス量を演算し、ステップＳ１０６へと進む。

ステップＳ１０６では、カメラＣＰＵ１２１は、ステップＳ１０１で設定した暫定デフォーカス量とステップＳ１０５で演算したデフォーカス量との差の絶対値を求める。そして、差が所定の許容値より小さければ（以下であれば）、図２０のステップＳ００８へと進み、ステップＳ１０５で演算したデフォーカス量を、第１の処理によるデフォーカス量として確定する。差が許容値より大きければ、ステップＳ１０１に戻る。

次に、第２の処理について説明する。第２の処理では、式（２Ａ）および式（２Ｂ）における焦点検出用画素Ｓ_ＨＡの線像分布関数ｈ_Ａ（ｘ；ｄ）と、焦点検出用画素Ｓ_ＨＢの線像分布関数ｈ_Ｂ（ｘ；ｄ）とを、同一の線像分布関数ｈ_Ｃ（ｘ；ｄ）で置き換えて、Ａ像とＢ像を同じ形状に修正する。

まず、各分布関数をフーリエ変換する。波数をｋとし、被写体の光量分布ｆ（ｘ）のフーリエ成分をＦ（ｋ）とし、Ａ像の光量分布ｇ_Ａ（ｘ）のフーリエ成分をＧ_Ａ（ｋ）とする。また、Ｂ像の光量分布ｇ_Ｂ（ｘ）のフーリエ成分をＧ_Ｂ（ｋ）とする。さらに、Ａ像の線像分布関数ｈ_Ａ（ｘ；ｄ）のフーリエ成分をＨ_Ａ（ｋ；ｄ）とし、Ｂ像の線像分布関数ｈ_Ｂ（ｘ；ｄ）のフーリエ成分をＨ_Ｂ（ｋ；ｄ）とし、置換後の線像分布関数ｈ_Ｃ（ｘ；ｄ）のフーリエ成分をＨ_Ｃ（ｋ；ｄ）とする。

式（２Ａ）をフーリエ変換すると、

が得られる。ここで、式（１２Ａ）の両辺に、Ｈ_Ｃ／Ｈ_Ａを乗じると、

が得られる。したがって、Ｈ_Ｃ／Ｈ_Ａを逆フーリエ変換したものをＡ像の置換フィルタｒ_Ａ（ｘ；ｄ）として、式（１３Ａ）を逆フーリエ変換すると、修正像ｇ_Ａ，Ａは以下のように求められる。

同様に、Ｈ_Ｃ／Ｈ_Ｂを逆フーリエ変換したものをＢ像の置換フィルタｒ_Ｂ（ｘ；ｄ）とすると、修正像ｇ_Ｂ，Ｂは以下のように求められる。

式（１４Ａ），（１４Ｂ）より、修正像ｇ_Ａ，Ａと修正像ｇ_Ｂ，Ｂはそれぞれ、線像ｈ_Ａ，ｈ_Ｂが線像ｈ_Ｃに置換され、互いに等しくなることがわかる。

ここで、置換後の線像分布関数ｈ_Ｃの線幅を、Ａ像の線像分布関数ｈ_Ａの線幅およびＢ像の線像分布関数ｈ_Ｂの線幅より狭くすれば、修正後の像を鮮鋭化することができる。ただし、線像分布関数ｈ_Ｃの線幅を狭くし過ぎると高周波ノイズ成分が増幅され、修正像の一致度が低下する。したがって、線像分布関数ｈ_Ｃの線幅は、Ａ像の線像分布関数ｈ_Ａの線幅およびＢ像の線像分布関数ｈ_Ｂの線幅の０．２５倍から１．０倍程度が望ましい。

Ａ像とＢ像の重心間隔を保って非対称性を修正するには、フーリエ成分Ｈ_Ａの代わりに線像ｈ_Ａの重心を原点に移動した線像ｈ０_Ａのフーリエ成分Ｈ０_Ａを用い、フーリエ成分Ｈ_Ｂの代わりに線像ｈ_Ｂの重心を原点に移動した線像ｈ０_Ｂのフーリエ成分Ｈ０_Ｂを用いればよい。

さらに、デフォーカス量ｄの変化に合わせて効率良くＡ像の置換フィルタｒ_Ａ（ｘ；ｄ）を生成するために、焦点検出用画素Ｓ_ＨＡの１次元瞳強度分布関数ｐ_Ａ（Ｘ）に基づいて、Ａ像の親フィルタｍ_Ａ（Ｘ）を生成しておくことが望ましい。波数をＫとして、焦点検出用画素Ｓ_ＨＡの１次元瞳強度分布関数ｐ_Ａ（Ｘ）の重心を原点に移動したｐ０_Ａ（Ｘ）のフーリエ成分をＰ０_Ａ（Ｋ）とし、置換後の１次元瞳強度分布関数ｐ_Ｃ（Ｘ）のフーリエ成分をＰ_Ｃ（Ｋ）とする。また、Ｐ_Ｃ／Ｐ０_Ａを逆フーリエ変換したものをＡ像の親フィルタｍ_Ａ（Ｘ）とする。

このとき、式（６）および式（７Ａ）のスケール変換の関係に対応して、デフォーカス量ｄのＡ像の線像分布関数ｈ_Ａ（ｘ；ｄ）はＡ像の親フィルタｍ_Ａ（Ｘ）から、以下のスケール変換から求めることができる。

同様に、デフォーカス量ｄのＢ像の線像分布関数ｈ_Ｂ（ｘ；ｄ）は、Ｂ像の親フィルタｍ_Ｂ（Ｘ）から、以下のスケール変換から求めることができる。

ここで、Ｂ像の親フィルタｍ_Ｂ（Ｘ）は、焦点検出用画素Ｓ_ＨＡの１次元瞳強度分布関数ｐ_Ｂ（Ｘ）の重心を原点に移動したｐ０_Ｂ（Ｘ）のフーリエ成分をＰ０_Ｂ（Ｋ）として、Ｐ_Ｃ／Ｐ０_Ｂを逆フーリエ変換したものである。

図２４には、Ａ像とＢ像の非対称性を解消するための置換フィルタ処理を示している。図２４（ａ）の実線と破線はそれぞれ、あるデフォーカス量における線像ＬＳＦＡ（ｈ_Ａ）の重心を原点に移動した線像ＬＳＦＡ０（ｈ０_Ａ）と、線像ＬＳＦＢ（ｈ_Ｂ）の重心を原点に移動した線像ＬＳＦＢ０（ｈ０_Ｂ）を表す。図２４（ｂ）は、置換後の線像ＬＳＦＣ（ｈ_Ｃ）を表す。置換後の線像ＬＳＦＣの線幅は、線像ＬＳＦＡ０と線像ＬＳＦＢの線幅よりも狭い。図２４（ｃ）の実線と破線はそれぞれ、あるデフォーカス量におけるＡ像用置換フィルタＦｉｌｔｅｒＡ（ｒ_Ａ）とＢ像用置換フィルタＦｉｌｔｅｒＢ（ｒ_Ｂ）を示す。

さらに、図２４（ｄ）の実線は、Ａ像ＩｍｇＡにＡ像用置換フィルタＦｉｌｔｅｒＡ（ｒ_Ａ）を畳み込み積分することで得られた修正像ＲｅＩｍｇＡを示す。また、破線は、Ｂ像ＩｍｇＢにＢ像用置換フィルタＦｉｌｔｅｒＢ（ｒ_Ｂ）を畳み込み積分することで得られた修正像ＲｅＩｍｇＢを示す。図２４（ｄ）に示すように、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢは、互いに同じ形状を有する。

第２の処理では、図２４（ｄ）に実線で示す修正像ＲｅＩｍｇＡは、Ａ像用置換フィルタＦｉｌｔｅｒＡ（ｒ_Ａ）によって線幅の狭い線像ＬＳＦＣに置換されるため、図２１（ｃ）に実線で示す修正前のＡ像ＩｍｇＡよりも鮮鋭化され、像の線幅が狭まる。同様に、図２４（ｄ）に破線で示す修正像ＲｅＩｍｇＢは、Ｂ像用置換フィルタＦｉｌｔｅｒＢ（ｒ_Ｂ）によって線幅の狭い線像ＬＳＦＣに置換されるため、図２１（ｃ）に破線で示す修正前のＢ像ＩｍｇＢよりも鮮鋭化され、像の線幅が狭まる。本実施例では、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの一致度をより高めるために、Ａ像ＩｍｇＡとＢ像ＩｍｇＢに対して、互いに異なる線像を畳み込み積分する置換フィルタ（つまりは互いに異なる置換フィルタ）を適用している。

図２５のフローチャートには、ステップＳ２００で行われる第２の処理を示している。

ステップＳ２０１では、カメラＣＰＵ１２１は、図２０のステップＳ００３で得た焦点検出用画素Ｓ_ＨＡ，Ｓ_ＨＢの１次元瞳強度分布関数ｐ_Ａ，ｐ_Ｂの線幅に基づいて、線幅をより狭く設定したガウシアン型の置換後の１次元瞳強度分布関数ｐ_Ｃを算出する。次に、カメラＣＰＵ１２１は、上述した方法でＡ像の親フィルタｍ_ＡとＢ像の親フィルタｍ_Ｂを算出し、ステップＳ２０２へと進む。

ステップＳ２０２では、カメラＣＰＵ１２１は、図２０のステップＳ００６で算出した暫定デフォーカス量を入力値として設定し、ステップＳ２０３へと進む。

ステップＳ２０３では、カメラＣＰＵ１２１は、置換フィルタを作成する。具体的には、ステップＳ１０１で設定された暫定デフォーカス量に基づいて、式（６）、（１５Ａ），（１５Ｂ）に従い、Ａ像とＢ像の親フィルタｍ_Ａ，ｍ_Ｂをスケール変換してＡ像用およびＢ像用置換フィルタＦｉｌｔｅｒＡ（ｒ_Ａ），ＦｉｌｔｅｒＢ（ｒ_Ｂ）を算出する。この後、ステップＳ２０４へと進む。

ステップＳ２０４では、カメラＣＰＵ１２１は、ステップＳＳ２０３で得たＡ像用置換フィルタＦｉｌｔｅｒＡ（ｒ_Ａ）を用いてＡ像の畳み込み積分を行い、修正像ＲｅＩｍｇＡを得る。同様に、カメラＣＰＵ１２１は、Ｂ像用置換フィルタＦｉｌｔｅｒＢ（ｒ_Ｂ）を用いてＢ像の畳み込み積分を行い、修正像ＲｅＩｍｇＢを得る。この後、ステップＳ２０５へと進む。

ステップＳ２０５では、カメラＣＰＵ１２１は、公知の相関演算方法により、ステップＳ２０４で得た修正像ＲｅＩｍｇＡ，ＲｅＩｍｇＢの位相差を求め、ステップＳ２０６へと進む。

ステップＳ２０６では、カメラＣＰＵ１２１は、ステップＳ２０５で得た位相差から、式（１０）を用いてデフォーカス量を演算し、ステップＳ２０７へと進む。

ステップＳ２０７では、カメラＣＰＵ１２１は、ステップＳ２０２で設定した暫定デフォーカス量とステップＳ２０６で演算したデフォーカス量との差の絶対値を求める。そして、差が所定の許容値より小さければ（以下であれば）、図２０のステップＳ００８へと進み、ステップＳ２０６で演算したデフォーカス量を、第２の処理によるデフォーカス量として確定する。差が許容値より大きければ、ステップＳ２０２に戻る。

図２０において、ステップＳ００８では、カメラＣＰＵ１２１は、ステップＳ１００もしくはステップＳ２００で算出したデフォーカス量を、ＡＦ用のデフォーカス量として設定し、ステップＳ００９へと進む。

ステップＳ００９では、カメラＣＰＵ１２１は、ＡＦ用のデフォーカス量に基づいて、合焦状態を得るための第３レンズ群１０５の移動方向と移動量を算出し、該算出結果に応じて第３レンズ群１０５を移動させる。すなわち、ＡＦを行う。こうして、一連の焦点検出処理を終了する。

本実施例によれば、光束のケラレ状態と被写体像とに応じて適切な像の修復が可能となり、撮影光学系の焦点検出精度を向上させることができる。なお、第１の処理と第２の処理としては、上述した処理以外の処理を用いてもよい。

次に、本発明の実施例２について説明する。実施例１でも説明したように、焦点検出用画素の配置間隔（ピッチ）に対して被写体像の線幅が広いほど、被写体像データの離散化に伴う像形状の劣化が少ない。このため、デフォーカス量が小さく、被写体像の高周波成分が多い場合には、修正後の像を修正前の像よりぼかして滑らかにして被写体像の線幅を広げる処理（以下、第１の処理という）を行うことで、デフォーカス量の検出精度をより向上させる。また、第１の処理では、像を滑らかにするため、像の修正と同時に被写体像に含まれる高周波ノイズ成分を除去することができる。

一方、デフォーカス量が大きく被写体像が大きくぼけている場合には、修正後の像を修正前の像より鮮鋭化し、被写体像の線幅を狭める処理（以下、第２の処理という）を行うことで、デフォーカス量の検出精度と検出限界をより向上させる。

本実施例では、撮影光学系の暫定デフォーカス量を算出し、該暫定デフォーカス量が所定値より小さい場合は、修正後の像を修正前の像より滑らかにする第１の処理を行う。一方、暫定デフォーカス量が所定値より大きい（以上である）場合は、修正後の像を修正前の像よりも鮮鋭化する第２の処理を行う。これにより、デフォーカス量に応じた適切な像修正を行い、撮影光学系の焦点検出精度を向上させることができる。

図２６のフローチャートには、本実施例における焦点検出処理（焦点検出方法）を示している。なお、図２６において、実施例１の図２０にて説明したステップと同じステップについては同符号を付して説明に代える。

ステップＳ００６で式（１０）を用いて暫定デフォーカス量を求めたカメラＣＰＵ１２１は、ステップＳ０２０において、該暫定デフォーカス量が所定値より小さいか否かを判定する。暫定デフォーカス量が所定値より小さい場合にはステップＳ３００へと進み、第１の処理を行う。一方、暫定デフォーカス量が所定値より大きい（以上である）場合はステップＳ４００に進み、第２の処理を行う。

ここで、第１の処理について説明する。焦点検出用画素Ｓ_ＨＡからの画素信号により形成されたＡ像信号（以下、Ａ像という）ｇ_Ａに、焦点検出用画素Ｓ_ＨＢからの画素信号により形成されたＢ像信号（以下、Ｂ像という）ｇ_Ｂを畳み込み積分すると、修正像ｇ_Ａ，Ｂが得られる。また、Ｂ像ｇ_ＢにＡ像ｇ_Ａを畳み込み積分すると、修正像ｇ_Ｂ，Ａが得られる。これら、修正像ｇ_Ａ，Ｂと修正像ｇ_Ｂ，Ａは、式（２０）に示すように、互い等しい（互いに同じ形状を有する）。

線像ｈ_Ａの重心をｘ_Ａとし、線像ｈ_Ｂの重心をｘ_Ｂとする。Ａ像とＢ像の重心間隔を保ってこれらの非対称性を解消するには、まず、Ｂ像ｇ_Ｂを−ｘ_Ｂだけ平行移動した像ｇ０_ＢをＡ像用像修正フィルタＦｉｌｔｅｒＡとして用いて、Ａ像ｇ_Ａに畳み込み積分を行う。同様に、Ａ像ｇ_Ａを−ｘ_Ａだけ平行移動した像ｇ０_ＡをＢ像用像修正フィルタＦｉｌｔｅｒＢとして用いて、Ｂ像ｇ_Ｂに畳み込み積分を行う。

第１の処理では、修正像ＲｅＩｍｇＡは、Ａ像用像修正フィルタＦｉｌｔｅｒＡ（ｇ０_Ｂ）を畳み込み積分することで得られるため、修正前のＡ像ＩｍｇＡよりもぼけて滑らかになり、像の線幅が広がる。同様に、修正像ＲｅＩｍｇＢは、Ｂ像用像修正フィルタＦｉｌｔｅｒＢ（ｇ０_Ａ）を畳み込み積分することで得られるため、修正前のＢ像ＩｍｇＢよりもぼけて滑らかになり、像の線幅が広がる。本実施例では、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの一致度を向上させるために、Ａ像とＢ像に対して互いに異なる線像を畳み込む像修正フィルタを適用している。

図２７のフローチャートには、ステップＳ３００で行われる第１の処理を示している。

ステップＳ３０１では、カメラＣＰＵ１２１は、ステップＳ００６で算出された暫定デフォーカス量を入力値として設定し、ステップＳ３０２へと進む。

ステップＳ３０２では、カメラＣＰＵ１２１は、像修正フィルタを作成する。具体的には、ステップＳ３０１で設定した暫定デフォーカス量に基づいて、式（６）、（７Ａ）および（７Ｂ）に従い、ステップＳ００３で得られた１次元瞳強度分布関数をスケール変換し、Ａ像に対応する線像ＡとＢ像に対応する線像Ｂを求める。次に、線像Ａの重心ｘ_Ａと線像Ｂの重心ｘ_Ｂを算出する。続いて、Ｂ像を−ｘ_Ｂだけ平行移動させた像ｇ０_Ｂを、Ａ像用像修正フィルタＦｉｌｔｅｒＡ（ｇ０_Ｂ）とする。同様に、Ａ像を−ｘ_Ａだけ平行移動させた像ｇ０_ＡをＢ像用像修正フィルタＦｉｌｔｅｒＢ（ｇ０_Ａ）とする。この後、ステップＳ３０３へと進む。

ステップＳ３０３では、カメラＣＰＵ１２１は、ステップＳ３０２で得られたＡ像用像修正フィルタＦｉｌｔｅｒＡ（ｇ０_Ｂ）を用いてＡ像の畳み込み積分を行い、修正像ＲｅＩｍｇＡを得る。同様に、Ｂ像用像修正フィルタＦｉｌｔｅｒＢ（ｇ０_Ａ）を用いてＢ像の畳み込み積分を行い、修正像ＲｅＩｍｇＢを得る。この後、ステップＳ３０４へと進む。

ステップＳ３０４では、カメラＣＰＵ１２１は、公知の相関演算方法により、ステップＳ３０３で得た修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの位相差を求め、ステップＳ３０５へと進む。

ステップＳ３０５では、カメラＣＰＵ１２１は、ステップＳ３０４で得られた位相差から、式（１０）を用いてデフォーカス量を演算し、ステップＳ３０６へと進む。

ステップＳ３０６では、カメラＣＰＵ１２１は、ステップＳ３０１で設定した暫定デフォーカス量とステップＳ３０５で演算したデフォーカス量との差の絶対値を求める。そして、差が所定の許容値より小さければ（以下であれば）、図２０のステップＳ００８へと進み、ステップＳ３０５で演算したデフォーカス量を、第１の処理によるデフォーカス量として確定する。差が許容値より大きければ、ステップＳ３０１に戻る。

次に、第２の処理について説明する。Ａ像ｇ_ＡおよびＢ像ｇ_Ｂは、前述した式（２Ａ）および式（２Ｂ）により得られる。

式（２Ａ）および（２Ｂ）の関係が成り立つときに、以下のような繰り返し計算により漸化的にデコンボリューション処理して、被写体ｆ（ｘ）を推定する。
自然数をｉとして、被写体ｆ（ｘ）に収束させる関数列ｆ_Ａ，ｉ（ｘ）と関数列ｆ_Ｂ，ｉ（ｘ）を考える。まず、ｉ＝０として、Ａ像ｇ_ＡおよびＢ像ｇ_Ｂを初期関数として以下のように設定する。

次に、ｉ番目の関数ｆ_Ａ，ｉと関数ｆ_Ｂ，ｉから、以下の漸化式に基づいてｉ＋１番目の関数ｆ_{Ａ，ｉ＋１}と関数ｆ_{Ｂ，ｉ＋１}を求める。αは、０以上で１以下の実数である。

ここで、ｆ’_{Ａ，ｉ＋１}とｆ’_{Ｂ，ｉ＋１}は、繰り返し計算で使用する補助的な関数列である。式（１８Ａ）は、Ａ像ｇ_Ａと線像ｈ_Ａから被写体ｆを推定するための漸化式であり、式（１８Ｂ）は、Ｂ像ｇ_Ｂと線像ｈ_Ｂから被写体ｆを推定するための漸化式である。

式（１９Ａ）と式（１９Ｂ）は、式（１８Ａ）と式（１８Ｂ）の収束関数を同一にするための漸化式である。

式（１７Ａ）、式（１７Ｂ）、式（１８Ａ）、（１８Ｂ）、（１９Ａ）および式（１９Ｂ）により、関数列ｆ_Ａ，ｉ（ｘ）と関数列ｆ_Ｂ，ｉ（ｘ）が収束するまで繰り返し計算を行う。収束した関数は、ｆ（ｘ）に一致する。

関数列ｆ_Ａ，ｉ（ｘ）が収束した関数ｆ_Ａと関数列ｆ_Ｂ，ｉ（ｘ）が収束した関数ｆ_Ｂの重心間隔が、Ａ像ｇ_ＡとＢ像ｇ_Ｂの重心間隔と一致するためには、線像ｈ_Ａの重心をｘ_Ａとし、線像ｈ_Ｂの重心をｘ_Ｂとして、以下のような漸化式に従って繰り返し計算を行えばよい。

線像ｈ０_Ａは、線像ｈ_Ａの重心を原点に移動したものであり、線像ｈ０_Ｂは線像ｈ_Ｂの重心を原点に移動したものである。

図２８には、Ａ像とＢ像の非対称性を解消するための繰り返し計算によるデコンボリューション処理の結果を概念的に示している。図２８中の実線と破線はそれぞれ、図２１（ｃ）のＡ像ＩｍｇＡおよびＢ像ＩｍｇＢに、式（２０Ａ）、（２０Ｂ）、（２１Ａ）および（２１Ｂ）によってデコンボリューション処理を行うことで得られた修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢを示す。

第２の処理では、図２８に実線で示す修正像ＲｅＩｍｇＡは、デコンボリューション処理により、図２１（ｃ）に実線で示す修正前のＡ像ＩｍｇＡよりも鮮鋭化され、像の線幅が狭まる。同様に、図２８に破線で示す修正像ＲｅＩｍｇＢは、デコンボリューション処理により、図２１（ｃ）に破線で示す修正前のＢ像ＩｍｇＢよりも鮮鋭化され、像の線幅が狭まる。本実施例では、修正像ＲｅＩｍｇＡと修正像ＲｅＩｍｇＢの一致度を向上させるために、互いに異なる線像ｈ０_Ａと線像ｈ０_Ｂをフィルタとして、繰り返し計算によるデコンボリューション処理を行う。

図２９のフローチャートには、ステップＳ４００で行われる第２の処理を示している。

ステップＳ４０１では、カメラＣＰＵ１２１は、ステップＳ００６で算出された暫定デフォーカス量を入力値として設定し、ステップＳ４０２へと進む。

ステップＳ４０２では、カメラＣＰＵ１２１は、線像フィルタを作成する。具体的には、ステップＳ４０１で設定した暫定デフォーカス量に基づいて、式（６）、（７Ａ）および（７Ｂ）に従い、ステップＳ００３で得られた１次元瞳強度分布関数をスケール変換し、Ａ像に対応する線像ＡとＢ像に対応する線像Ｂを求める。次に、線像Ａの重心が原点となるように平行移動させたものを線像Ａ０とし、Ａ像用線像フィルタとする。同様に、線像Ｂの重心が原点となるように平行移動させたものを線像Ｂ０とし、Ｂ像用線像フィルタとする。この後、ステップＳ４０３へと進む。

ステップＳ４０３では、カメラＣＰＵ１２１は、Ａ像用線像フィルタとＢ像用線像フィルタを用いて、Ａ像とＢ像に対して、式（１７Ａ）、（１７Ｂ）、（２０Ａ）、（２０Ｂ）、（２１Ａ）および（２１Ｂ）に従ってデコンボリューション処理を行う。これにより、修正像ＲｅＩｍｇＡ，ＲｅＩｍｇＢを得る。この後、ステップＳ４０４へと進む。

ステップＳ４０４では、カメラＣＰＵ１２１は、公知の相関演算方法により、ステップＳ４０３で得た修正像ＲｅＩｍｇＡ，ＲｅＩｍｇＢの位相差を求め、ステップＳ４０５へと進む。

ステップＳ４０５では、カメラＣＰＵ１２１は、ステップＳ４０４で得た位相差から、式（１０）を用いてデフォーカス量を演算し、ステップＳ４０６へと進む。

ステップＳ４０６では、カメラＣＰＵ１２１は、ステップＳ４０１で設定した暫定デフォーカス量とステップＳ４０５で演算したデフォーカス量との差の絶対値を求める。そして、差が所定の許容値より小さければ（以下であれば）、図２０のステップＳ００８へと進み、ステップＳ４０５で演算したデフォーカス量を、第２の処理によるデフォーカス量として確定する。差が許容値より大きければ、ステップＳ４０１に戻る。

本実施例によれば、光束のケラレ状態と被写体像とに応じて適切な像の修復が可能となり、撮影光学系の焦点検出精度を向上させることができる。なお、第１の処理と第２の処理としては、上述した処理以外の処理を用いてもよい。

次に、本発明の実施例３について説明する。実施例１でも説明したように、焦点検出用画素の配置間隔（ピッチ）に対して被写体像の線幅が広いほど、被写体像データの離散化に伴う像形状の劣化が少ない。このため、絞り値が大きく（絞り開口径が小さく）て線像が狭く、ぼけにくい場合には、修正後の像を修正前の像よりぼかして滑らかにし、被写体像の線幅を広げる処理（以下、第１の処理という）を行うことで、デフォーカス量の検出精度をより向上させる。また、第１の処理では、像を滑らかにするため、像の修正と同時に被写体像に含まれる高周波ノイズ成分を除去することができる。

一方、絞り値が小さく（絞り開口径が大きく）て線像が広く、ぼけやすい場合には、修正後の像を修正前の像より鮮鋭化し、被写体像の線幅を狭める処理（以下、第２の処理）を行うことで、デフォーカス量の検出精度と検出限界をより向上させる。

本実施例では、撮影光学系の絞り値（以下、Ｆ値という）が所定値より大きい場合は、修正後の像を修正前の像より滑らかにする第１の処理を行う。一方、Ｆ値が所定値より小さければ（以下であれば）修正後の像を修正前の像よりも鮮鋭化する第２の処理を行う。これにより、Ｆ値に応じた適切な像修正を行い、撮影光学系の焦点検出精度を向上させることができる。

図３０のフローチャートには、本実施例における焦点検出処理（焦点検出方法）を示している。なお、図３０において、実施例１の図２０にて説明したステップと同じステップについては同符号を付して説明に代える。

ステップＳ００６の後、カメラＣＰＵ１２１は、ステップＳ０３０において、結像光学系のＦ値が所定値より大きいか否かを判定する。Ｆ値が所定値より大きい場合にはステップＳ１００へと進み、第１の処理を行う。一方、Ｆ値が所定値より小さい（以下である）場合にはステップＳ２００へと進み、第２の処理を行う。ステップＳ１００およびステップＳ２００での第１の処理および第２の処理は、実施例１と同じである。

本実施例によれば、光束のケラレ状態と被写体像とに応じた適切な像の修復が可能となり、撮影光学系の焦点検出精度を向上させることができる。なお、第１の処理と第２の処理としては、上述した処理以外の処理を用いてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

良好な焦点検出精度を有する焦点検出装置およびこれを備えた撮像装置を提供できる。

１０７ 撮像素子
１２１ カメラＣＰＵ
ＴＬ 撮影光学系
ＥＰ 射出瞳
Ｓ_ＨＡ，Ｓ_ＨＢ，Ｓ_ＶＣ，Ｓ_ＶＤ 焦点検出用画素
ＦｉｌｔｅｒＡ Ａ像用像修復フィルタ
ＦｉｌｔｅｒＢ Ｂ像用像修復フィルタ

Claims (7)

1. 結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行う第１の信号処理手段と、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行う第２の信号処理手段と、
   前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算手段とを有し、
   前記演算手段は、
   前記撮像手段の出力信号から得られたコントラスト値が所定値より高い場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
   前記コントラスト値が前記所定値より低い場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出装置。
2. 結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行う第１の信号処理手段と、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行う第２の信号処理手段と、
   前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算手段とを有し、
   前記演算手段は、
   前記第１および第２の処理を受けていない前記第１および第２の像信号を用いて前記デフォーカス量の暫定値を演算し、
   該暫定値の絶対値が所定値より小さい場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
   前記暫定値が前記所定値より大きい場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出装置。
3. 結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段と、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行う第１の信号処理手段と、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行う第２の信号処理手段と、
   前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算手段とを有し、
   前記結像光学系は、絞り値が可変である絞りを有しており、
   前記演算手段は、
   前記絞り値が所定値より大きい場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
   前記絞り値が前記所定値より小さい場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出装置。
4. 請求項１から３のいずれか一項に記載の焦点検出装置を有し、
   前記結像光学系により形成された被写体像を前記撮像手段により光電変換し、該撮像手段からの撮像信号に基づいて画像を生成することを特徴とする撮像装置。
5. 結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法であって、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行うステップと、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行うステップと、
   前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算ステップとを有し、
   前記演算ステップにおいて、
   前記撮像手段の出力信号から得られたコントラスト値が所定値より高い場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
   前記コントラスト値が前記所定値より低い場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出方法。
6. 結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法であって、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行うステップと、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行うステップと、
   前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算ステップとを有し、
   前記演算ステップにおいて、
   前記第１および第２の処理を受けていない前記第１および第２の像信号を用いて前記デフォーカス量の暫定値を演算し、
   該暫定値の絶対値が所定値より小さい場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
   前記暫定値が前記所定値より大きい場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出方法。
7. 結像光学系の第１の瞳領域を通過した光束により形成された第１の像を光電変換して第１の像信号を生成する第１の画素群、および前記結像光学系の第２の瞳領域を通過した光束により形成された第２の像を光電変換して第２の像信号を生成する第２の画素群を有する撮像手段を用いた焦点検出方法であって、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を滑らかにする第１の処理を行うステップと、
   前記第１の像信号および前記第２の像信号に対して互いに異なるフィルタを用いて、該第１の像信号および該第２の像信号を鮮鋭化する第２の処理を行うステップと、
   前記第１または第２の処理を受けた前記第１および第２の像信号を用いて前記結像光学系のデフォーカス量を演算する演算ステップとを有し、
   前記結像光学系は、絞り値が可変である絞りを有しており、
   前記演算ステップにおいて、
   前記絞り値が所定値より大きい場合は、前記第１の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算し、
   前記絞り値が前記所定値より小さい場合は、前記第２の処理を受けた前記第１および第２の像信号を用いて前記デフォーカス量を演算することを特徴とする焦点検出方法。