JP7007871B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像素子による焦点検出機能と、像ブレ補正機能とを有する撮像装置に関するものである。

現在のデジタルカメラは、位相差検出方式や、コントラスト検出方式の自動焦点調節機能を備えるものがほとんどである。これらの自動焦点調節機能のうち、撮影用の撮像素子の信号を用いて位相差検出方式の焦点検出を行う技術が特許文献１に開示されている。特許文献１には、撮像素子の撮像面に焦点検出を行うための焦点検出用画素が配置され、撮影光学系の射出瞳の異なる領域から得られる２つの撮像信号の位相差に基づいて焦点検出を行う技術が開示されている。

また、近年のデジタルカメラでは、手振れなどによる像ブレを補正する像ブレ補正機能を備えるものが増えている。特許文献２には、撮像素子や撮影光学系の一部を駆動して像ブレ補正を行う技術が開示されている。

特許文献１のように撮影用の撮像素子を用いて焦点検出を行う際、特許文献２のように像ブレ補正がなされることで、撮影者が焦点を合わせたい被写体が撮影画面内の所望の位置、すなわち焦点検出枠内にとどまる。そのため、撮影者のフレーミングを的確にアシストすることが可能となる。

一方で、特許文献２に開示されているように、像ブレ補正のために撮像素子や撮影光学系の一部を駆動することは、実質的に撮影光学系の光軸と撮像素子中心の位置関係を変更することに相当し、焦点検出枠の像高が変更されるのと等価である。特許文献１に開示されているような、撮像素子での焦点検出においては、像高の変動は、焦点検出結果の信頼性に影響を与える。このような問題に対し、特許文献３には、像ブレ補正量に応じて、位相差情報（焦点検出結果）の信頼性を判定する技術が開示されている。

特開２０１６－５７４７４号公報 特許第４５６７３１３号公報 特許第５９００２５７号公報

しかしながら、特許文献３に開示されている技術のように、像ブレ補正量に応じて位相差情報の信頼性を判定することには、以下の課題がある。すなわち、像ブレ補正量が大きい場合であっても、焦点検出枠の位置によっては、撮影光学系を保持する保持枠等による光束のケラレが焦点検出に与える影響の程度が小さいことがある。つまり、単純に像ブレ補正量に応じて位相差情報の信頼性を判定することは、不必要に位相差情報の信頼性が低いと判定してしまう可能性を含んでいる。

本発明は、上述した課題に鑑みてなされたものであって、その目的は、焦点検出結果の信頼性をより適切に判定可能な、像ブレ補正機能を有する撮像装置を提供することである。

本発明に係わる撮像装置は、撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定手段と、を備え、前記駆動履歴の情報は、前記像ブレ補正用の光学部材が駆動された位置の軌跡の重心位置の情報であることを特徴とする。
また、本発明に係わる撮像装置は、撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定手段と、を備え、前記ケラレに関する情報は、前記撮影光学系を通過する光束に生じるケラレの状態に応じた前記撮影光学系の射出瞳面上の光束の形状の情報を含むことを特徴とする。
また、本発明に係わる撮像装置は、撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定手段と、を備え、前記ケラレに関する情報は、前記複数の像信号の強度比の情報、または前記複数の像信号の位相差をデフォーカス量へと換算する換算係数の情報を含むことを特徴とする。

本発明によれば、焦点検出結果の信頼性をより適切に判定可能な、像ブレ補正機能を有する撮像装置を提供することが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。 撮像素子の画素配列の概略図。 画素の概略平面図と概略断面図。 画素と瞳分割の概略説明図。 撮像素子と瞳分割の概略説明図。 デフォーカス量と第１焦点検出信号と第２焦点検出信号の像ずれ量との関係図。 焦点検出処理の概略的な流れを示すフローチャート。 第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングの概略説明図。 フィルタの周波数帯域例を示す図。 第１の像ブレ補正部の駆動と焦点検出の関係を説明する模式図。 第２の像ブレ補正部の駆動と焦点検出の関係を説明する模式図。 信頼性判定部および焦点検出予測部の動作を説明するフローチャート。 ２つの像ブレ補正部が実施する駆動振幅中心変更駆動を説明する模式図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の一実施形態に係わる撮像装置１０００の概略構成を示すブロック図である。

図１において、撮像装置１０００は、レンズ交換式のデジタルカメラである。撮像装置１０００は、取り付けられた交換レンズ１１内に、撮影光学系１０１が配置され、撮影光束のための光路が形成される。この光路を透過した光束が、カメラ本体１２に配置された撮像素子１０２へと到達し、被写体像が結像される。撮像素子１０２は、光軸と垂直な平面内に複数の画素が配置されており、結像された被写体像が画素内のフォトダイオードによって光電変換される。

光電変換により得られた画像信号は、画像処理部１２０によりガンマ処理、ノイズ処理等が行われ、画像データとして不揮発性メモリ１２２に書き込まれる。これにより、１枚の撮影処理が行われる。撮像装置１０００は、撮影者の指示によって、焦点検出を行い、所望の被写体に合焦した画像を撮影できるようにする必要がある。この際には、撮像素子１０２に配置された画素が焦点検出用画素を兼ねており、この出力に基づいて、焦点検出部１０３が被写体の焦点状態を検出する。

焦点検出部１０３の検出結果を受け、信頼性判定部１１１が焦点検出結果の信頼性を判定する。さらに焦点検出部１０３は、フォーカスレンズ１０８が焦点合わせのために光軸方向に移動されるべき駆動量を算出し、制御部１３０は、フォーカスレンズ１０８を光軸方向にこの駆動量だけ駆動する。なお、焦点検出の詳細については後述する。

また、撮像装置１０００は、撮影の際に撮影者の手振れなどの不要な振動に起因して発生する像ブレを補正する２種類の補正手段を備える。その１つは、交換レンズ１１内に配置され、撮影光学系１０１の一部を構成する像ブレ補正レンズ１０９を光軸と垂直な平面内で駆動することにより像ブレを補正する第１の像ブレ補正部１０４である。像ブレ補正レンズ１０９（像ブレ補正用の光学部材）は、例えば、絞りよりも像面側に配置された１枚の凹レンズにより構成される。

なお、ここではレンズのシフトにより像ブレ補正を行っているが、本発明はこの方法に限定されるものではない。例えば、撮影光学系１０１全体を揺動させて像ブレ補正を行ってもよいし、撮影光学系１０１の一部に可変プリズムを配置し、プリズムの角度変化によって像ブレ補正を行ってもよい。

もう１つの像ブレ補正手段は、撮像素子１０２（像ブレ補正用の光学部材）を光軸と垂直な面内でシフト駆動することにより像ブレ補正を行う第２の像ブレ補正部１０５である。これらの第１及び第２の像ブレ補正部１０４，１０５を用いることにより、像ブレ補正可能な領域が拡大され、撮影される画像の安定化を図ることができる。

交換レンズ１１における保持枠１１０は、撮影光学系１０１の最終群を保持する鏡筒の機械的構造部分である。保持枠１１０に限らず、撮像素子の光軸から離れた、高像高領域などでは、このような機械的な構造によって撮影光束が遮られる、所謂「ケラレ」が生じる。この「ケラレ」は、焦点検出に影響を与えることが知られている。「ケラレ」については後述する。

撮像装置１０００は、ライブビュー連写機能を有している。撮影準備状態では、撮像素子１０２から読み出され、画像処理部１２０により生成された画像データ（いわゆるライブビュー画像）が不図示の背面液晶に表示される。不図示のレリーズボタンが半押し（スイッチＳＷ１がＯＮ）されると、ライブビュー画像における、撮像装置１０００によって、または撮影者によって設定された焦点検出領域について焦点検出動作が開始される。このスイッチＳＷ１がＯＮの期間中にも、ライブビュー画像が順次生成され、一部または全てのフレームが背面液晶に表示され、焦点検出領域について焦点検出動作が実行される。その後レリーズボタンが全押し（スイッチＳＷ２がＯＮ）の状態になると、焦点検出動作が完了されて、不図示のシャッタが動作して撮像素子１０２で設定秒時の本露光が実施される。この本露光が行われている期間を本露光期間と呼び、これ以外の期間を非本露光期間と呼ぶ。スイッチＳＷ２がＯＮの状態が継続すると、連写撮影が開始され、本露光と非本露光がスイッチＳＷ２がＯＦＦされるまで繰り返し実行される。

焦点検出部１０３は、非本露光期間に得られる画像データ（いわゆるライブビュー画像）と、本露光期間に得られる本露光画像の両方に対して焦点検出を実施する。第１及び第２の像ブレ補正部１０４，１０５は、前述の「ケラレ」による焦点検出精度の低下を防止するために、スイッチＳＷ１がＯＮされている期間と非本露光期間には、本露光期間に比べて、像ブレ補正のための駆動量を制限する。

撮像装置１０００は、焦点検出予測部１１２を有している。焦点検出予測部１１２は、記憶部１０６に記憶された、焦点検出部１０３が検出した焦点検出結果の履歴を学習の対象として、次フレーム以降の焦点検出結果を予測する。より具体的には焦点検出部１０３の検出結果の履歴から、撮影している主被写体と撮像装置１０００との距離関係を線形的に補外（外挿）することにより、次回撮影時のフォーカスレンズ１０８が存在すべき位置を特定する。この焦点検出予測の際、前述の信頼性判定結果を加味し、信頼性の低い焦点検出結果を学習対象から除外する処理なども実施するが、この詳細については後述する。

（撮像面位相差焦点検出系）
次に、本実施形態の撮像装置１０００が実施する焦点検出について説明する。図２は、撮像装置１０００の撮像素子１０２の画素配列を４列×４行の範囲で、焦点検出画素の配列を８列×４行の範囲で示した図である。

図２に示した２列×２行の画素群２００では、左上の位置にＲ（赤）の分光感度を有する画素２００Ｒが、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。

図２に示した４列×４行の画素（８列×４行の焦点検出画素）を撮像面上に複数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子を用いるものとして説明を行う。

図２に示した撮像素子１０２の画素２００Ｇの一方について、撮像素子１０２の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ－ａ断面を－ｙ側から見た断面図を図３（ｂ）に示す。なお、図３（ｂ）に記載の「光軸」は、マイクロレンズ３０５の光軸を示す。

図３に示すように、画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成されている。光電変換部３０１と光電変換部３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。

各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が形成される。また、必要に応じて、副画素毎にカラーフィルタの分光透過率を変えてもよいし、カラーフィルタを省略してもよい。図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。

光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図３に示した画素構造と瞳分割との対応関係を示した概略説明図を図４に示す。図４は、図３（ａ）に示した画素構造のａ－ａ断面を＋ｙ側から見た断面図と撮影光学系１０１の射出瞳面を示した図である。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

図４において、第１焦点検出画素２０１に対応する第１瞳部分領域５０１は、重心が－ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５によって、概ね共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１に対応する第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。

図４において、第２焦点検出画素２０２に対応する第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５によって、概ね共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２に対応する第２瞳部分領域５０２は、瞳面上で－Ｘ側に重心が偏心している。射出瞳４００は、撮影光学系１０１の絞り開口によって形成され、この領域の内側の光束が、撮像素子１０２上に到達することとなる。また、図４において、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

撮像素子１０２と瞳分割との対応関係を示した概略図を図５に示す。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子１０２の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行ってもよい。

別の言い方をすれば、撮像素子１０２には、撮影光学系１０１の第１瞳部分領域５０１を通過する光束を受光する第１焦点検出画素２０１と、撮影光学系１０１の第１瞳部分領域とは異なる第２瞳部分領域５０２を通過する光束を受光する第２焦点検出画素２０２が複数配列されている。また、撮像素子１０２には、撮影光学系１０１の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域を通過する光束を受光する撮像画素が複数配列されている。本実施形態の撮像素子１０２では、それぞれの撮像画素が第１焦点検出画素と第２焦点検出画素から構成されている。

本実施形態では、撮像素子１０２の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点信号を生成して焦点検出を行う。また、撮像素子１０２の画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号を生成する。

以下、デフォーカス量と、撮像素子１０２から取得される第１焦点検出信号と第２焦点検出信号の像ずれ量との関係について説明する。

図６は、デフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の概略関係を示す図である。撮像面８００に撮像素子１０２が配置され、図４、図５と同様に、撮影光学系１０１の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜として定義する。そして、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として表現する。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図６で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１を通過した光束は、一度、集光された後、光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０２に配列された各画素を構成する第１焦点検出画素２０１により受光され、第１焦点検出信号が生成される。よって、第１焦点検出信号は、撮像面８００上の重心位置Ｇ１に、被写体８０２が幅Γ１にボケた像として記録される。

同様に、被写体８０２からの光束のうち、第２瞳部分領域５０２を通過した光束は、一度、集光された後、光束の重心位置Ｇ２を中心として幅Γ２に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０２に配列された各画素を構成する第２焦点検出画素２０２により受光され、第２焦点検出信号が生成される。よって、第２焦点検出信号は、撮像面８００上の重心位置Ｇ２に、被写体８０２が幅Γ２にボケた被写体像として記録される。

被写体像のボケ幅Γ１，Γ２は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

したがって、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。本実施形態では、デフォーカス量と、第１焦点検出信号と第２焦点検出信号間の像ずれ量との関係性を用いて、位相差方式の焦点検出を行う。

以下、位相差方式の焦点検出について説明する。位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量を検出デフォーカス量に変換して焦点検出を行う。

図７は、本実施形態における焦点検出処理の流れを示すフローチャートである。なお、図７の動作は、焦点検出部１０３によって実行される。

ステップＳ１１０では、撮像素子１０２から読み出された第１焦点検出信号と第２焦点検出信号に対して、それぞれ、信号データ量を抑制するために水平方向の３画素加算処理を行い、さらにＲＧＢ信号を輝度Ｙ信号にするためにベイヤ（ＲＧＢ）加算処理を行う。また、３行ごとに１行の読み出しを行う、垂直間引き処理を実施する。なお、本実施形態では、水平加算処理および垂直間引き処理を撮像素子１０２から読み出した信号に対して実施するが、これに限定されず、撮像素子１０２内で予め水平加算、垂直間引きの処理が行われてもよい。

ステップＳ１２０では、撮像素子１０２の有効画素領域の中から焦点調節を行う焦点検出領域を設定する。焦点検出領域の第１焦点検出画素の受光信号から第１焦点検出信号を生成し、焦点検出領域の第２焦点検出画素の受光信号から第２焦点検出信号を生成する。

ステップＳ１３０では、第１焦点検出信号と第２焦点検出信号に、それぞれ、シェーディング補正処理を行う。

以下、第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図８は、撮像素子１０２の周辺像高における第１焦点検出画素２０１に対応する第１瞳部分領域５０１、第２焦点検出画素２０２に対応する第２瞳部分領域５０２、および撮影光学系１０１の射出瞳４００の関係を示す図である。

図８（ａ）は、撮影光学系１０１の射出瞳距離Ｄｌと撮像素子１０２の設定瞳距離Ｄｓが同じ場合を示す図である。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、撮影光学系１０１の射出瞳４００が、概ね、均等に瞳分割される。

これに対して、図８（ｂ）に示したように撮影光学系１０１の射出瞳距離Ｄｌが撮像素子１０２の設定瞳距離Ｄｓより短い場合、撮像素子１０２の周辺像高では、射出瞳４００と撮像素子１０２の入射瞳のずれを生じ、射出瞳４００が不均一に瞳分割されてしまう。同様に、図８（ｃ）に示したように撮影光学系１０１の射出瞳距離Ｄｌが撮像素子１０２の設定瞳距離Ｄｓより長い場合、撮像素子１０２の周辺像高では、射出瞳４００と撮像素子１０２の入射瞳のずれを生じ、射出瞳４００が不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１焦点検出信号と第２焦点検出信号の強度も不均一になり、第１焦点検出信号と第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。

図７のステップＳ１３０では、焦点検出領域の像高、撮影光学系１０１のＦ値（絞り値）、射出瞳距離および射出瞳光束のケラレ状態に応じて、第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数を、それぞれ生成する。第１シェーディング補正係数を第１焦点検出信号に乗算し、第２シェーディング補正係数を第２焦点検出信号に乗算して、第１焦点検出信号と第２焦点検出信号のシェーディング補正処理を行う。

位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号の相関に基づいて、検出デフォーカス量の検出を行う。瞳ずれによるシェーディングが生じると第１焦点検出信号と第２焦点検出信号の相関が低下する場合がある。よって、位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）を改善し、焦点検出性能を良好とするために、シェーディング補正処理（光学補正処理）を行うことが望ましい。

図８中では不図示であるが、射出瞳４００を構成する開口以外にも、各光学系を保持する機械的部材や、交換レンズ１１の最後群から撮像素子１０２までのカメラ本体内の機械的部材が存在する。絞り値や像高などによっては、これらの機械的部材によって光束が遮られることがあり、一般にこれを光束の「ケラレ」と称する。第１焦点検出信号と第２焦点検出信号のシェーディングは、このケラレによっても発生し、ケラレが既知である条件においては、ケラレについても加味したシェーディング補正を行うことで、焦点検出精度の低下を防ぐことができる。本実施形態では、シェーディング補正係数ＳＨＤが、焦点検出領域の情報（像高）、撮影光学系１０１のＦ値（絞り値）、射出瞳距離、ケラレ状態、に対応したテーブルとして記憶部１０６に格納されている。射出瞳距離は交換レンズ毎（ズームレンズであればズーム状態毎）に異なる値であるため、それぞれに応じたテーブルが設けられている。また、ケラレ状態は、像ブレ補正レンズ１０９の位置によって変化するため、像ブレ補正レンズ１０９のストローク量毎にシェーディング補正係数ＳＨＤが用意されている。このように第１の像ブレ補正部１０４のストローク量毎に異なるシェーディング補正係数ＳＨＤのテーブルを持つことで、ケラレ情報を保有する。

一方、第２の像ブレ補正部１０５が駆動する撮像素子１０２の位置については、単純な焦点検出領域の像高変化ととらえることができる。そのため、撮像素子１０２の位置毎のシェーディング補正係数テーブルは保持せず、第１の像ブレ補正部１０４と第２の像ブレ補正部１０５の駆動で取りうる相対位置関係を、像ブレ補正レンズ１０９のストローク量として保持すればよい。なお、焦点検出のための露光期間中であっても、像ブレ補正部を駆動するため、露光期間中の移動軌跡の重心位置が、シェーディング補正係数ＳＨＤの選定の際に利用される。

図７のステップＳ１４０では、第１焦点検出信号と第２焦点検出信号に、フィルタ処理を行う。本実施形態のフィルタ処理の通過帯域例を、図９の実線で示す。本実施形態では、位相差方式の焦点検出により、大デフォーカス状態での焦点検出を行うため、フィルタ処理の通過帯域は低周波帯域を含むように構成される。大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、焦点検出時のフィルタ処理の通過帯域を、図９の１点鎖線のように、より高周波帯域に調整してもよい。

次に、図７のステップＳ１５０では、フィルタ処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。

フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１として、相関量ＣＯＲは、式（１）により算出される。

シフト量ｓ１の第１シフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－ｓ１番目の第２焦点検出信号Ｂ（ｋ－ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に渡って加算してもよい。

ステップＳ１６０では、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。像ずれ量ｐ１に、焦点検出領域の像高、撮影光学系１０１のＦ値、射出瞳距離、ケラレ情報に応じた換算係数Ｋをかけて、検出デフォーカス量（Ｄｅｆ）を検出する。換算係数Ｋは、撮像装置１０００が有する記憶部１０６に格納されたテーブルデータとして保持する。このテーブルは前述のシェーディング補正と同様に、交換レンズ毎の射出瞳距離に応じた値として設けられている。また、ケラレ状態についても同様に、換算係数Ｋが、像ブレ補正レンズ１０９のストローク量毎に記述される。撮像装置１０００においては、この像ブレ補正レンズ１０９のストローク量毎に異なる換算係数Ｋのテーブルを持つことにより、ケラレ情報を保有する。検出された検出デフォーカス量に対し、フォーカス敏感度を掛けることにより、フォーカスレンズ１０８の駆動量が決定される。

最後にステップＳ１７０において、信頼性判定部１１１によって、検出された検出デフォーカス量の信頼性が判定される。この信頼性判定は、ステップＳ１３０のシェーディング補正処理で考慮した、以下の情報を改めて用いることで実施される。すなわち、第１及び第２の像ブレ補正部１０４，１０５の駆動履歴情報と、焦点検出領域の情報と、ケラレに関する情報とが用いられる。より具体的には、テーブルデータから採用されたシェーディング補正係数ＳＨＤについて、前述した第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数との間に大きな乖離があるか否かに基づいて判定を行う。乖離が大きければ、一方の焦点検出信号には極端に大きな係数が掛けられること、すなわち瞳分割によって取得された光量がきわめて少なく、誤焦点検出の可能性も否定できないことを意味するため、信頼性が低いと判定する。

なお、ここでは単純な２つのシェーディング補正係数の差を用いて判定を行っているが、これには限定されず、採用した係数の近傍で大きな係数変化が想定される場合などに安全を見越して信頼性を低く判定することも可能である。また、第１及び第２の像ブレ補正部１０４，１０５の駆動履歴情報で、きわめて駆動量が大きく、重心位置だけから適切なシェーディング補正係数ＳＨＤが選定困難である場合に信頼性が低いと判断することも可能である。また、ここではケラレの影響により信頼性を判定することのみについて記載した。しかし、従来から実施されている、被写体輝度の振幅（輝度の最大値－輝度の最小値、強度比）や、シェーディング補正後の２像の一致度や、像の鮮鋭度などを指標とした信頼性判定も併せて実施可能である。

本実施形態では、信頼性判定処理は、検出デフォーカス量に、例えば信頼性が低い「１」から、信頼性が高い「４」までの信頼性判定値を付与する。そして、この値に応じて、図７の動作の後で実施される焦点調節駆動にステップＳ１６０で得られた検出デフォーカス量を利用する方法を変更する。より具体的には、信頼性判定値が低い場合には検出デフォーカス量を小さくする係数をかけて利用する、あるいは、この焦点検出領域の検出デフォーカス量は利用しない、などの利用方法がある。ここでは４段階の信頼性判定値を採用しているが、これは一例であって、他の信頼性判定結果との総合的な信頼性判定値として、より多段階の信頼性判定値を用いてもよい。

図７の動作は、静止画撮影モードであれば、不図示のシャッターボタンの半押し動作（スイッチＳＷ１のＯＮ）による指示から、合焦確認のための焦点検出が完了するまで、毎フレーム実施される。また、図７の動作は、動画撮影モードであれば、毎フレーム実施される。焦点検出領域の像高については、過去の複数のフレームでの、追尾（焦点検出枠の自動選択）の履歴や、２つの像ブレ補正部の駆動位置の履歴から予測して決定される。

なお、本実施形態では、シェーディング補正係数ＳＨＤおよび換算係数Ｋをテーブルの形で記憶部１０６に格納している。しかし、本発明はこれに限定されることなく、ケラレ情報を瞳面上の２次元的な枠形状として保有し、これに基づいて係数計算をカメラ内で行って求めるようにしてもよい。また、本実施形態では、記憶部１０６の場所について特段の記載をしていないが、カメラ本体１２側に配置しても、交換レンズ１１とカメラ本体１２とに分割して配置しても構わない。

本実施形態では、図７の焦点検出処理が、ライブビューを行いながら連写機能を実行する際にも適用され、ライブビュー画像、本画像のそれぞれに信頼性判定が実施されるが、これについては後述する。

次に、本実施形態における第１の像ブレ補正部１０４および第２の像ブレ補正部１０５の駆動と焦点検出の関係について図１０および図１１を用いて説明する。

（レンズシフト補正と瞳分割）
図１０（ａ）、１０（ｃ）、１０（ｅ）は、中央像高の、また図１０（ｂ）、１０（ｄ）、１０（ｆ）は周辺像高（＋Ｘ方向）の焦点検出領域の画素群が観察する射出瞳面上での瞳分割の様子を示した模式図である。図１０では、撮影光学系１０１の射出瞳距離Ｄｌと撮像素子１０２の設定瞳距離Ｄｓとがほぼ等価な系として表されている。

図１０（ａ）を用いて、第１の像ブレ補正部１０４の像ブレ補正レンズ１０９が駆動範囲中央に位置する際の中央像高での瞳分割の様子について説明する。図１０（ａ）上段の瞳面中央に示された円形形状は、撮影光学系１０１の絞りの開口により形成される射出瞳４００を示している。中央像高では、撮像素子１０２の設定瞳距離とほぼ等距離にある撮影光学系１０１の射出瞳面の光束を略均等に左右分割することがわかる。射出瞳４００と撮像素子１０２の表面の間に配置された太線は、撮影光学系１０１の最終群の保持枠１１０を模式的に表しており、中央像高においては、この保持枠１１０によるケラレは発生していない。

一方、図１０（ｂ）の周辺像高においても、撮像素子１０２の設定瞳距離Ｄｓが、撮影光学系１０１の射出瞳距離Ｄｌとほぼ等価であり、最終群の保持枠１１０がなければ、撮影光学系１０１の射出瞳面の光束を略均等に左右分割可能である。しかし、実際には最終群の保持枠１１０によって光束の片側にケラレが生じ、瞳分割は左右不均等なものとなってしまう。前述の通り、このようなケラレを生じる場合には、焦点検出信号のそれぞれに対して、ケラレ状態を類推可能なケラレ情報に基づいてシェーディング補正を施し、より正確な焦点検出演算を実施する。

図１０（ｃ）、１０（ｄ）、１０（ｅ）、１０（ｆ）は、第１の像ブレ補正部１０４の像ブレ補正レンズ１０９がＸ方向に駆動された際の、射出瞳面上での瞳分割の様子を示した模式図である。前述の通り、本実施形態では、撮像素子１０２の第１焦点検出画素２０１と第２焦点検出画素２０２は、Ｘ軸方向に並んで配置されている。そのため、第１の像ブレ補正部１０４の像ブレ補正レンズ１０９がＸ方向に駆動される場合、焦点検出のための瞳分割に与える影響度が大きくなる。

本実施形態では、第１の像ブレ補正部１０４は、絞りよりも像面側に配置された１枚の凹レンズ（像ブレ補正レンズ１０９）をＸＹ平面内にシフトすることで像ブレ補正を行う。すなわち、像ブレ補正レンズ１０９が＋Ｘ方向に駆動されれば、撮像素子１０２は瞳面上で－Ｘ方向にシフトした射出瞳４００を観察することとなる。ここで、図１０（ｃ）および図１０（ｄ）は、像ブレ補正レンズ１０９が＋Ｘ方向に駆動された場合を、図１０（ｅ）および図１０（ｆ）は像ブレ補正レンズ１０９が－Ｘ方向に駆動された場合を示している。

図１０（ｃ）および図１０（ｄ）を用いて、第１の像ブレ補正部１０４の像ブレ補正レンズ１０９が＋Ｘ方向に変位した際の中央像高での瞳分割の様子について説明する。前述の通り、第１の像ブレ補正部１０４の像ブレ補正レンズ１０９が＋Ｘ方向に変位すると、射出瞳４００が－Ｘ方向に移動する。厳密にはコサイン四乗則に則り楕円形状になるが、ここでは説明を分かりやすくするため、円形のまま表現している。図１０（ｃ）では、射出瞳４００が－Ｘ方向に移動するものの、太線で示した撮影光学系１０１の最終群の保持枠１１０によるケラレは生じていない。しかしながら、絞り開口形状が－Ｘ方向に移動したために、瞳分割は左右不均等となり、中央像高でありながら、ケラレによるシェーディングが発生する。図１０（ｄ）でも図１０（ｃ）と同様に射出瞳４００が－Ｘ方向に移動するとともに、撮影光学系１０１の最終群の保持枠１１０によるケラレが発生する。この場合、図１０（ｃ）と異なり、ケラレ量は増大するものの、瞳分割は図１０（ｃ）よりも左右均等に近い形となる。

図１０（ｅ）および図１０（ｆ）を用いて、第１の像ブレ補正部１０４の像ブレ補正レンズ１０９が－Ｘ方向に変位した際の中央像高および周辺像高（＋Ｘ方向）での瞳分割の様子について説明する。図１０（ｃ）および図１０（ｄ）とは逆に、第１の像ブレ補正部１０４の像ブレ補正レンズ１０９が－Ｘ方向に変位すると、射出瞳４００が＋Ｘ方向に移動する。ここでも説明を分かりやすくするため、射出瞳４００は円形として示している。

図１０（ｅ）では、射出瞳４００が＋Ｘ方向に移動するものの、太線で示した撮影光学系１０１の最終群の保持枠１１０によるケラレは生じていない。しかしながら、射出瞳４００が＋Ｘ方向に移動したために、瞳分割は左右不均等となり、中央像高でありながら、ケラレによるシェーディングが発生する。図１０（ｆ）でも図１０（ｄ）と同様に、撮影光学系１０１の最終群の保持枠１１０によるケラレが発生し、射出瞳４００が＋Ｘ方向に移動する。この場合、図１０（ｂ）と異なり、ケラレ量が減少するものの、瞳分割の不均等性は増し、焦点検出信号のうち－Ｘ側の成分比率が著しく低下する。図１０（ｃ）～図１０（ｆ）のような条件下で、図１０（ａ）および図１０（ｂ）の条件と同様なシェーディング補正や換算係数Ｋを用いたデフォーカス演算を行ってしまうと、正確な焦点検出ができなくなり、合焦状態に到達できない。

たとえば、周辺像高（＋Ｘ方向）の様子を示す図１０（ｄ）および図１０（ｆ）を見た場合、保持枠１１０によって発生するケラレ量は、図１０（ｆ）のほうが少ない。一方、図１０（ｄ）の状態では、ケラレによる瞳分割のバランスは等分割に近くなるものの、透過光量が少なく、焦点検出に用いる信号のＳ／Ｎが低下してしまう。すなわち、このような＋Ｘ方向の像高に焦点検出枠が設定された場合には、図１０（ｄ）のように像ブレ補正レンズ１０９が－Ｘ方向に変位した方が、保持枠１１０によるケラレの影響を受けにくいことが分かる。前述のシェーディング補正係数ＳＨＤおよび換算係数Ｋのテーブルから、焦点検出枠の設定像高と、保持枠１１０によるケラレを生じ始める像ブレ補正レンズ１０９の位置とが特定され、焦点検出へのケラレの影響の度合いが明らかになる。以上のことからもわかる通り、焦点検出へのケラレの影響の度合いは、必ずしも焦点検出領域の像高だけで決定されるものではない。たとえ高像高であっても、ケラレの影響の小さい焦点検出領域も存在する。ケラレの影響の適切な判断によって、信頼性判定部１１１による焦点検出結果の信頼性判定がより適切に実施可能となる。

（センサシフトと瞳分割）
図１１（ａ）、１１（ｃ）、１１（ｅ）は、中央像高の、また図１１（ｂ）、１１（ｄ）、１１（ｆ）は周辺像高（＋Ｘ方向）の焦点検出領域の画素群が観察する射出瞳面上での瞳分割の様子を示した模式図である。図１１では撮影光学系１０１の射出瞳距離Ｄｌと撮像素子１０２の設定瞳距離Ｄｓとがほぼ等価な系として表されている。

図１１（ａ）を用いて第２の像ブレ補正部１０５が駆動範囲中央に位置する場合の中央像高での瞳分割の様子について説明する。図１１（ａ）上段の射出瞳面中央に示された円形形状は、撮影光学系１０１の絞りの開口により形成される射出瞳４００を示す。中央像高では、撮像素子１０２の設定瞳距離とほぼ等距離にある撮影光学系１０１の射出瞳面の光束が略均等に左右に分割されることがわかる。射出瞳面と撮像素子１０２の表面の間に配置された太線は、撮影光学系１０１の最終群の保持枠１１０を模式的に表しており、中央像高においては、この保持枠１１０によるケラレは発生していない。

一方、図１１（ｂ）の周辺像高においても、撮像素子１０２の設定瞳距離が、撮影光学系１０１の射出瞳距離とほぼ等価であり、最終群の保持枠１１０がなければ、撮影光学系１０１の射出瞳面の光束を略均等に左右分割可能である。しかし、実際には最終群の保持枠１１０によって光束の片側がケラレを生じ、瞳分割は左右不均等なものとなってしまう。前述の通り、このようなケラレを生じる場合には、焦点検出信号のそれぞれに対して、ケラレ状態を類推可能なケラレ情報に基づいてシェーディング補正を施し、より正確な焦点検出演算を実施する。

図１１（ｃ）、１１（ｄ）、１１（ｅ）、１１（ｆ）は、第２の像ブレ補正部１０５がＸ方向に駆動された際の、射出瞳面上での瞳分割の様子を示した模式図である。本実施形態における第２の像ブレ補正部１０５は、撮像素子１０２をＸＹ平面内で駆動可能である。前述の通り、本実施形態では、撮像素子１０２の第１焦点検出画素２０１と第２焦点検出画素２０２はＸ軸方向に並んで配置されている。そのため、第２の像ブレ補正部１０５の撮像素子１０２がＸ方向に駆動される場合、焦点検出のための瞳分離に与える影響度が大きい。撮像素子１０２が＋Ｘ方向に駆動されれば、撮像素子１０２は瞳面上で＋Ｘ方向にシフトした射出瞳４００を観察することとなる。

ここで、図１１（ｃ）および図１１（ｄ）は撮像素子１０２が－Ｘ方向に駆動された場合を示し、図１１（ｅ）および図１１（ｆ）は撮像素子１０２が＋Ｘ方向に駆動された場合を示している。図１１（ｃ）および図１１（ｄ）を用いて、第２の像ブレ補正部１０５が－Ｘ方向に変位した際の中央像高での瞳分割の様子について説明する。

前述の通り、撮像素子１０２が－Ｘ方向に変位すると、瞳面上では射出瞳４００も－Ｘ方向に移動する。これは、撮像素子１０２が－Ｘ方向に変位することで、撮像素子１０２の中心を通る撮像面に垂直な軸（中央画素から伸びた上下方向矢印に相当）が撮影光学系１０１の光軸からずれるために発生する。そのため、射出瞳面上では、図１１（ｃ）、１１（ｄ）の上段に示すように、第１部分瞳領域５０１および第２部分瞳領域５０２全体が、射出瞳面内を（図では左方に）移動した形で表現されている。射出瞳４００は、厳密にはコサイン四乗則に則り楕円形状になるが、ここでは説明を分かりやすくするために、円形のまま表現している。図１１（ｃ）では、射出瞳４００が－Ｘ方向に移動するものの、太線で示した撮影光学系１０１の最終群の保持枠１１０によるケラレは生じていない。しかしながら、射出瞳４００が－Ｘ方向に移動したために、瞳分割は左右不均等となり、中央像高でありながら、ケラレによるシェーディングが発生する。図１１（ｄ）でも図１１（ｃ）と同様に、射出瞳４００が－Ｘ方向に移動するとともに、撮影光学系１０１の最終群の保持枠１１０によるケラレが発生する。この場合、相対的に撮影光学系１０１の光軸が、図１１（ｄ）で着目する撮像素子１０２の周辺像高位置に近づくために、ケラレ量は図１１（ｂ）よりも小さくなり、瞳分割は図１１（ｃ）に近い形となる。

図１１（ｅ）および図１１（ｆ）を用いて第２の像ブレ補正部１０５が＋Ｘ方向に変位した際の中央像高および周辺像高（＋Ｘ方向）での瞳分割の様子について説明する。図１１（ｃ）および図１１（ｄ）とは逆に、撮像素子１０２が＋Ｘ方向に変位すると、瞳面上では射出瞳４００も＋Ｘ方向に移動する。これは、撮像素子１０２が＋Ｘ方向に変位することで、撮像素子１０２の中心を通る撮像面に垂直な軸（中央画素から伸びた上下方向矢印に相当）が撮影光学系１０１の光軸からずれるために発生する。そのため、射出瞳面上では、図１１（ｅ）、１１（ｆ）の上段に示すように、第１部分瞳領域５０１および第２部分瞳領域５０２全体が、射出瞳面内を（図では右方に）移動した形で表現されている。ここでも説明を分かりやすくするために、射出瞳４００は円形としている。図１１（ｅ）では、射出瞳４００が＋Ｘ方向に移動するものの、太線で示した撮影光学系１０１の最終群の保持枠１１０によるケラレは生じていない。しかしながら、射出瞳４００が＋Ｘ方向に移動したために、瞳分割は左右不均等となり、中央像高でありながら、ケラレによるシェーディングが発生する。図１１（ｆ）では、相対的に撮影光学系１０１の光軸が、図１１（ｆ）で着目する撮像素子１０２の周辺像高位置から遠ざかるため、撮影光学系１０１の最終群の保持枠１１０によるケラレが大きく発生するとともに、射出瞳４００が＋Ｘ方向に移動する。この場合、図１１（ｂ）と異なり、ケラレ量が減少するものの、瞳分割の不均等性は増し、焦点検出信号のうち－Ｘ側の成分比率がほぼゼロとなる。図１１（ｃ）～図１１（ｆ）のような条件下で、図１１（ａ）および図１１（ｂ）の条件と同様なシェーディング補正や換算係数Ｋを用いたデフォーカス演算を行ってしまうと、正確な焦点検出が不能となり、合焦状態に到達できない。

たとえば、周辺像高（＋Ｘ方向）の様子を示す図１１（ｂ）および図１１（ｄ）を見た場合、保持枠１１０によって発生するケラレ量は、図１１（ｄ）の方が少ない。一方、図１１（ｂ）の状態では、保持枠１１０によるケラレ量が図１１（ｄ）よりも多くなる。すなわち、このような＋Ｘ方向の像高に焦点検出枠が設定された場合には図１１（ｄ）のように、像撮像素子１０２が－Ｘ方向に変位した方が、保持枠１１０によるケラレの影響を受けにくいことが分かる。前述のシェーディング補正係数ＳＨＤおよび換算係数Ｋのテーブルから、焦点検出枠の設定像高と、保持枠１１０によるケラレを生じ始める像ブレ補正レンズ１０９の位置とが特定され、焦点検出へのケラレの影響の度合いが明らかになる。

以上からもわかる通り、焦点検出へのケラレの影響の度合いは、必ずしも焦点検出領域の像高だけで決定されるものではない。たとえ高像高であっても、ケラレの影響の小さい焦点検出領域も存在する。ケラレの影響の適切な判断によって、信頼性判定部１１１による焦点検出結果の信頼性判定がより適切に実施可能となる。

図１０、図１１ともに撮影光学系１０１の射出瞳距離Ｄｌと、撮像素子１０２の設定瞳距離Ｄｓがほぼ等価である系を例に説明を行った。撮像装置１０００はレンズ交換式であるため、実際にはＤｌ＞ＤｓまたはＤｌ＜Ｄｓという組み合わせも発生する。この場合、図８のような状況で、第１の像ブレ補正部１０４や第２の像ブレ補正部１０５が動作するために、ケラレの状況は図１０、図１１とは異なるものとなってしまう。記憶部１０６には、この撮影光学系１０１の射出瞳距離Ｄｌの情報も網羅するケラレ情報が記憶されており、信頼性判定部１１１が信頼性判定を行うための情報が適切に保有されている。

（ＬＶ＋本露光での信頼性判定＋焦点検出予測のフロー）
図１２を用いて、撮像装置１０００が、本画像の撮影前後の非本露光期間と本露光期間において実施する、信頼性判定や焦点検出予測の処理について説明する。図１２は、撮像装置１０００が、前述のライブビューを行いながら連写を実施する際の流れを示す図であり、撮影者のレリーズボタン（不図示）が半押し状態（スイッチＳＷ１がＯＮ）となった時点からスタートする。本フローチャートがスタートすると、ステップＳ２０１において、撮像素子１０２がライブビュー画像のための露光を行う（この露光を以下「ＬＶ露光」と表記する）。

ステップＳ２０１のＬＶ露光期間中は、第１及び第２の像ブレ補正部１０４，１０５によってステップＳ２０２の像ブレ補正駆動が同時に実施される。ＬＶ露光中の像ブレ補正駆動は、後述のスイッチＳＷ２のＯＮで開始される本露光中の像ブレ補正のために十分なストロークを確保しておく必要があるため、制御ストロークを本露光中に比べて小さく設定している。これは焦点検出中の像ブレ補正による瞳の移動が小さいことを意味しており、前述したようなケラレの焦点検出への影響は比較的限定的である。

ＬＶ露光終了と同時にステップＳ２０３の読み出し動作が撮像素子１０２によって実行される。続いてステップＳ２０４において、ＬＶ露光で得られたライブビュー画像に対して、焦点検出部１０３が焦点検出処理を実施する。この際、前述の信頼性判定も実施され、焦点検出結果が信用できるものであるか否かが、信頼性判定値を付与することによってなされる。ステップＳ２０４では、さらに焦点検出部１０３が焦点検出結果の履歴を記憶部１０６に書き込む処理を実行する。焦点検出結果の信頼性判定値が所定値を超えている場合には、焦点検出結果の書き込みを実施し、そうでない場合には書込みを行わない。より詳細には、焦点検出結果を書き込まずに、信頼性判定値が低かったことを示す値を書き込む。これらの焦点検出予測履歴情報を学習対象として、焦点検出予測部１１２によって、次フレームで主被写体が合焦することが期待される焦点調整位置を予測する。これは、ここまでの信頼性判定値を加味して書き込まれた焦点検出結果の履歴点を近似関数によって補外（外挿）処理して得られるものである。

補外処理について詳細は省略するが、従来から実施されている焦点検出の予測手法を用いればよい。なお、ステップＳ２０４において、信頼性判定値が低い場合には、この学習対象である焦点検出予測履歴から除外する意味で、記憶部１０６への書き込みを実施しないこととした。しかし、このステップＳ２０４での焦点検出予測処理結果と、次のフレームでの焦点検出結果（ステップＳ２０４の焦点検出処理）に所定値以上の差異がない場合（所定値未満である場合）には、学習対象である焦点検出予測履歴として書き込むよう見直しを行ってもよい。

ステップＳ２０５では、制御部１３０によって、ステップＳ２０４で予測された焦点調整位置へとフォーカスレンズ１０８を移動する。この移動によって、次のフレームの露光の際には、合焦画像が得られるようなフォーカスレンズ１０８の状態が得られる。以降これをＡＦ予測駆動と呼ぶ。

次にステップＳ２０６では、レリーズボタンが全押し（スイッチＳＷ２がＯＮ）の状態、すなわち撮影者が連写を含む本画像の撮影開始を指示したか否かが判定される。ここまでのステップＳ２０１からステップＳ２０６のシーケンスについては、連写が開始される前のＳＷ１シーケンスと呼ぶ。スイッチＳＷ２がＯＮとなるまで続く、このＳＷ１シーケンスの間には、本撮影のための露光は実施されず、背面液晶に表示するためのライブビュー画像の露光、読み出しが繰り返し行われる。そして、読み出された画像に基づいて、毎フレーム焦点検出処理、ＡＦ予測駆動が実施される。

本実施形態では、ステップＳ２０４において、信頼性判定部１１１によって信頼性判定を実施するものとしたが、本発明はこれに限定されず、ＬＶ露光のための像ブレ補正駆動の場合には、信頼性判定を実施しないものであってもよい。また、信頼性判定を行う場合であっても、その結果である信頼性判定値の利用の際に、その結果に対する重みを減じて採用するものであってもよい。また、信頼性判定の際に、従来方式の信頼性判定のみ行って、２つの像ブレ補正部の駆動履歴情報、焦点検出領域の情報、ケラレに関する情報は用いないものであってもよい。

ステップＳ２０６において、スイッチＳＷ２がＯＮされたと判定されると、ステップＳ２０７へ進み、ＡＦ予測駆動が実施される。ＡＦ予測駆動により、次回の露光の際に合焦が期待される位置にフォーカスレンズ１０８が移動される。

ステップＳ２０８において、撮像素子１０２によって本撮影のための露光（本露光）が実施される。この間、ステップＳ２０９において、本露光のための像ブレ補正駆動が第１及び第２の像ブレ補正部１０４，１０５によって実施される。前述のとおり、本露光のための像ブレ補正は、像ブレが記録されないよう、最大ストロークで駆動を行うため、ＬＶ露光時の制御ストロークよりも大きなストロークでの駆動がなされる。

ステップＳ２０８での本露光が完了すると同時に、ステップＳ２１０において、撮像素子１０２の画素信号の読み出し動作が行われる。ステップＳ２１１において、ステップＳ２０４と同様に、焦点検出処理および焦点検出予測処理が行われる。本露光における焦点検出処理は、ＬＶ露光の際よりも大きな画像データが対象である点以外は同様である。図７のステップＳ１１０で説明した水平加算処理、垂直間引き処理を読み出された画像データに施し、ライブビュー画像と同等のサイズに変更することで、ライブビュー画像に対する焦点検出と精度をそろえて焦点検出処理を行う。本露光における焦点検出予測処理は、ＬＶ露光の場合と同様である。ステップＳ２０７からステップＳ２１１までの本露光に関わるシーケンスを本露光シーケンスと呼ぶ。

ステップＳ２１２からステップＳ２１６の動作を、本実施形態では、コマ間ＬＶシーケンスと呼ぶ。コマ間ＬＶシーケンスは、ＳＷ１シーケンスのようにＬＶ露光を実施し、ＬＶ露光のための像ブレ補正駆動が実施されるシーケンスである。取得される画像がライブビュー画像である点、像ブレ補正駆動がＬＶ露光のための駆動である点以外は本露光シーケンスと同様であるため、説明を省略する。なお、本実施形態では、本露光シーケンスとコマ間ＬＶシーケンスを１回ずつ実施することを、スイッチＳＷ２がＯＮされた後の１セットとしているが、これには限定されず、連写速度等に応じてコマ間ＬＶシーケンスを増やしてもよい。また、コマ間ＬＶシーケンスで取得されたライブビュー画像については、背面液晶に表示してもよいし、撮像装置１０００内部での処理に利用するのみであってもよい。

ステップＳ２１７は、スイッチＳＷ２がＯＮの状態になってから複数回の本露光シーケンスとコマ間ＬＶシーケンスが実行され、ライブビュー画像、本露光画像について、それぞれ複数の信頼性判定値が付与された後に実施する処理である。ステップＳ２１７では、本露光シーケンスで得られた信頼性判定値が低く、コマ間ＬＶシーケンスで得られた信頼性判定値が高いという結果が連続して発生した場合（これを信頼性連続ＮＧ状態と称する）にカウント処理を実行する。より具体的には、信頼性連続ＮＧ状態が続いた回数をカウントし、記憶部１０６に記録する。これは信頼性判定部１１１によって実施されるものである。

続いて、ステップＳ２１８において、ステップＳ２１７でカウントされている信頼性連続ＮＧの回数が３回以上であるか否かが判定される。前述のとおり、コマ間ＬＶシーケンスでは、ＳＷ１シーケンスと同様にＬＶ露光のためのストローク量の小さい像ブレ補正駆動を実施（ステップＳ２１４）するため、ケラレによる焦点検出への悪影響が発生しにくい。一方、本露光シーケンスではストローク量の大きい像ブレ補正駆動を行うため、ケラレによる焦点検出への悪影響が、コマ間ＬＶシーケンスに比較して発生しやすい。ステップＳ２１７における信頼性連続ＮＧ状態のカウントおよびステップＳ２１８での判定では、現在の像ブレ補正部の位置が、焦点検出に悪影響を及ぼすケラレ状態であるか否かを判断している。なお、ここでは判定閾値を３回としたがこれには限定されず、たとえば低輝度の条件においては回数を増やしたり、被写体の画面内移動が小さい場合に回数を減らしたりしてもよい。また、ケラレ状態は信頼性判定の際にすでに想定されるので、このステップでの判定を待たずにステップＳ２１９へと進んでもよい。

ステップＳ２１８で信頼性連続ＮＧの回数のカウントが３以上と判定されると、ステップＳ２１９において、振幅中心変更駆動が実施される。これについての詳細は後述する。また、ステップＳ２１８で信頼性連続ＮＧの回数のカウントが３未満と判定されると、ステップＳ２１９はスキップされる。

ステップＳ２２０において、スイッチＳＷ２のＯＮ状態が解除されたか否かが判定される。解除されていないと判定された場合には、撮影者に連写の意図があると判断されるため、本露光シーケンスへと戻る。解除が判定された場合には、ステップＳ２２１へ進む。ステップＳ２２１では、スイッチＳＷ１のＯＮ状態が解除、すなわちレリーズボタン押し下げが完全に解除されたか否かが判定される。解除されていないと判定された場合は、また次なる連写シーケンスの開始指示があり得るため、ＳＷ１シーケンスへと戻る。解除が判定された場合には、撮影継続の意図がないと判断され、本フローは終了する。

図１３を用いて、像ブレ補正制御部１０７が実施する、第１の像ブレ補正部１０４と第２の像ブレ補正部１０５の駆動振幅中心の設定について説明する。これは、図１２のフローチャートにおけるステップＳ２１９の振幅中心変更駆動に相当する。

図１３は、像ブレ補正制御部１０７が実施する駆動振幅中心の設定を説明するための模式図である。図中のＰａｆは、設定されている焦点検出領域の位置を表す。また、Ｐｌは第１の像ブレ補正部１０４の像ブレ補正レンズ１０９の中心位置を表し、Ｐｓは第２の像ブレ補正部１０５の撮像素子１０２の中心位置を表している。

図１３（ａ）は、最後の本露光シーケンスで設定された焦点検出領域が位置Ｐａｆに、第１の像ブレ補正部１０４の像ブレ補正レンズ１０９が振幅中心位置Ｐｌ１に、第２の像ブレ補正部１０５の撮像素子１０２が振幅中心位置Ｐｓに、それぞれ位置する状態を表している。図１３（ａ）では、像ブレ補正レンズ１０９と撮像素子１０２がそれぞれシフトして、称呼中心線を基準とした位置からＰｌ１，Ｐｓだけずれた位置に存在する。ここでは特に、称呼中心線から像ブレ補正レンズ１０９の位置Ｐｌまでを黒塗り矢印で表現している。位置Ｐａｆ、Ｐｌ１およびＰｓの位置関係から、保持枠１１０によってケラレが生じ、切り取られる瞳領域４００は左右のバランスを失い、適用されるシェーディング補正係数に差が生じることがわかる。このケラレ状態での焦点検出結果の信頼性が低いと判定され、これが所定回数繰り返されたために、図１２のステップＳ２１８で振幅中心変更駆動が必要と判断されることになる。

図１３（ｂ）は、図１２のステップＳ２１９で振幅中心変更駆動がなされた後に、焦点検出領域が本露光シーケンスで設定された位置Ｐａｆに、像ブレ補正レンズ１０９と撮像素子１０２がそれぞれの振幅中心位置Ｐｌ２，Ｐｓに位置する状態を表している。具体的には、図１３（ａ）でＰｌ１であった像ブレ補正レンズ１０９の位置がＰｌ２へと変化している。この変化分を左向きの白抜き矢印で表している。このような位置関係で焦点検出を行えば、切り取られる瞳領域４００での左右バランスは、図１３（ａ）の状態よりも良好なものとなり（アンバランスが軽減され）、信頼性判定部１１１による信頼性判定でも信頼性があると判定される。

図１２のステップＳ２１９における振幅中心変更駆動は、ケラレの影響が大きい図１３（ａ）での２つの像ブレ補正部の中心位置の関係を、ケラレの影響が少ない図１３（ｂ）の位置関係へと徐々に変化させる駆動である。図１３（ｂ）の場合、像ブレ補正レンズ１０９の駆動振幅の中心が白抜き矢印分だけオフセットしたことに相当する。像ブレ補正レンズ１０９の位置を徐々に変化させることで、急激な画角の変化が発生せず、撮影者のフレーミングに悪影響を与えることを抑制できる。なお、ここでは像ブレ補正レンズ１０９の位置のみを変化させているが、本発明はこれに限定されず、２つの像ブレ補正部が有するストロークのバランスや、撮影光学系１０１の焦点距離等に応じて、適切な比率で両方の像ブレ補正部を駆動させてもよい。

以上説明したように、上記の実施形態によれば、像ブレ補正部の駆動によって発生するケラレ状態に応じて、焦点調節結果の信頼性をより適切に判定することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１１：交換レンズ、１２：カメラ本体、１０２：撮像素子、１０３：焦点検出部、１０４：第１の像ブレ補正部、１０５：第２の像ブレ補正部、１０６：記憶部、１０７：像ブレ補正制御部、１０８：フォーカスレンズ、１１１：信頼性判定部、１１２：焦点検出予測部

Claims (20)

1. 撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、
   像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、
   前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定手段と、を備え、
   前記駆動履歴の情報は、前記像ブレ補正用の光学部材が駆動された位置の軌跡の重心位置の情報であることを特徴とする撮像装置。
2. 前記ケラレに関する情報は、前記撮影光学系を通過する光束に生じるケラレの状態に応じた前記撮影光学系の射出瞳面上の光束の形状の情報を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記ケラレに関する情報は、前記複数の像信号の強度比の情報、または前記複数の像信号の位相差をデフォーカス量へと換算する換算係数の情報を含むことを特徴とする請求項１または２に記載の撮像装置。
4. 撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、
   像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、
   前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定手段と、を備え、
   前記ケラレに関する情報は、前記撮影光学系を通過する光束に生じるケラレの状態に応じた前記撮影光学系の射出瞳面上の光束の形状の情報を含むことを特徴とする撮像装置。
5. 前記ケラレに関する情報は、前記複数の像信号の強度比の情報、または前記複数の像信号の位相差をデフォーカス量へと換算する換算係数の情報を含むことを特徴とする請求項４に記載の撮像装置。
6. 撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、
   像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、
   前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定手段と、を備え、
   前記ケラレに関する情報は、前記複数の像信号の強度比の情報、または前記複数の像信号の位相差をデフォーカス量へと換算する換算係数の情報を含むことを特徴とする撮像装置。
7. 前記焦点検出手段が検出する焦点検出結果を学習対象とし、次回の撮影の焦点検出結果を予測する焦点検出予測手段をさらに備え、該焦点検出予測手段は、前記判定手段により信頼性が低いと判定された焦点検出結果を、前記学習対象から除外することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記焦点検出予測手段は、前記学習対象となった前記焦点検出結果に基づいて予測した焦点検出予測の結果と、前記判定手段によって信頼性が低いと判定された焦点検出結果の差が所定値未満である場合には、前記信頼性が低いと判定された焦点検出結果を前記学習対象から除外しないことを特徴とする請求項７に記載の撮像装置。
9. 前記像ブレ補正手段は、本画像の撮影前後のライブビュー画像の取得を行う非本露光期間においては、前記像ブレ補正用の光学部材の駆動量を、前記本画像の撮影のための本露光期間における前記像ブレ補正用の光学部材の駆動量よりも小さくすることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記判定手段は、前記非本露光期間においては、前記焦点検出結果の信頼性を判定しないことを特徴とする請求項９に記載の撮像装置。
11. 前記判定手段は、前記非本露光期間において行った前記焦点検出結果の信頼性の重みを減じて、信頼性の確認に利用することを特徴とする請求項９に記載の撮像装置。
12. 前記判定手段により、前記本露光期間の信頼性が低く、前記非本露光期間の信頼性が高いと判定される履歴が所定の回数を超えた場合には、前記像ブレ補正手段は、前記像ブレ補正用の光学部材の駆動振幅中心を、前記ケラレの焦点検出への影響が軽減される位置に移動することを特徴とする請求項９に記載の撮像装置。
13. 前記像ブレ補正手段は、方式の異なる第１の像ブレ補正手段と第２の像ブレ補正手段の２種類の像ブレ補正手段を有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記第１の像ブレ補正手段は、前記像ブレ補正用の光学部材としての像ブレ補正レンズを移動させることにより像ブレを補正し、前記第２の像ブレ補正手段は、前記像ブレ補正用の光学部材としての被写体像を撮像する撮像素子を移動させることにより像ブレを補正することを特徴とする請求項１３に記載の撮像装置。
15. 前記焦点検出手段は、被写体像を撮像する撮像素子の１つの画素について複数配置された光電変換部により得られた信号を用いて焦点検出を行うことを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、を備える撮像装置を制御する方法であって、
    前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定工程を有し、
    前記駆動履歴の情報は、前記像ブレ補正用の光学部材が駆動された位置の軌跡の重心位置の情報であることを特徴とする撮像装置の制御方法。
17. 撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、を備える撮像装置を制御する方法であって、
    前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定工程を有し、
    前記ケラレに関する情報は、前記撮影光学系を通過する光束に生じるケラレの状態に応じた前記撮影光学系の射出瞳面上の光束の形状の情報を含むことを特徴とする撮像装置の制御方法。
18. 撮影光学系の異なる瞳部分領域をそれぞれ通過する光束を光電変換することによって得られる複数の像信号の位相差に基づいて、焦点検出を行う焦点検出手段と、像ブレ補正用の光学部材を駆動することにより被写体像の像ブレを補正する像ブレ補正手段と、を備える撮像装置を制御する方法であって、
    前記焦点検出手段によって焦点検出が行われる期間中の、前記像ブレ補正手段の駆動履歴の情報と、前記焦点検出手段が焦点検出を行う焦点検出領域の情報と、前記撮影光学系を通過する光束に生じるケラレに関する情報とに基づいて、前記焦点検出手段により検出された焦点検出結果の信頼性を判定する判定工程を有し、
    前記ケラレに関する情報は、前記複数の像信号の強度比の情報、または前記複数の像信号の位相差をデフォーカス量へと換算する換算係数の情報を含むことを特徴とする撮像装置の制御方法。
19. 請求項１６乃至１８のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラム。
20. 請求項１６乃至１８のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images