JP2018026768A - 撮像装置とその制御方法及びプログラム - Google Patents

Abstract

【課題】撮像面位相差方式によるＡＦ制御を行う撮像装置において、システム負荷の軽減とＡＦ性能の向上を両立させる。【解決手段】第１の分割画素２０１Ａと第２の分割画素２０１Ｂを有する単位画素２０２からなる撮像素子１１０と、単位画素２０２に対する加算画素信号と分割画素信号の読み出しを制御するカメラ制御部１２４と、加算画素信号に基づき被写体を検出する被写体検出部１１５とを備える撮像装置１００において、被写体の検出結果に基づいて瞳分割読み出しを行う際の単位画素２０２の読み出し位置と読み出し間隔の少なくとも一方を変更するＡＦ領域設定部１２７を備える構成とする。【選択図】図１

Description

本発明は、撮像装置とその制御方法及びプログラムに関し、特に、撮像面位相差オートフォーカスによる焦点検出機構を備える撮像装置に関する。

撮像装置のオートフォーカス（ＡＦ）方式として、１つのマイクロレンズに対して配置された複数の光電変換部を備える画素から構成される撮像素子により瞳分割像を取得し、得られた２つの瞳分割像の位相差を求めて焦点検出を行う技術が知られている。例えば、特許文献１には、２つの瞳分割像により位相差を求めて焦点検出を行うと共に、同一のマイクロレンズに対応するすべての画素の信号を加算して読み出すことにより観賞用画像（撮影画像）を生成する技術が記載されている。

また、特許文献２には、瞳分割された画素信号を取得する方法が記載されている。特許文献２に記載された技術では、第１の動作で瞳分割された２画素のうちの第１画素の画素信号を読み出し、続いて、第２の動作でリセットせずに第１画素と第２画素の画素信号を加算して読み出す。こうして読み出した加算画素信号から第１画素の画素信号を減算することで、第２画素の画素信号を求めている。また、特許文献２には、設定された焦点検出領域では第１画素と第２画素の両方の画素信号を読み出し、それ以外の領域では第２画素の画素信号のみを読み出すことで、高解像度、高速連写、動画フレームレートの向上等の性能向上を図る技術が記載されている。

特許第４３２１５７９号公報 特許第５７５５１１１号公報

しかしながら、撮像面位相差方式によるＡＦ制御を高精度に行いながら高画質な撮像画像を生成するために多くの焦点検出用の画素信号と撮像用の画素信号を読み出そうとした場合、画素信号の読み出し負荷が増大し、読み出した画素の処理負荷も増大する。一方、焦点検出用の画素信号を多く読み出すことで、Ｓ／Ｎの向上によりＡＦ精度を向上させ、また、ＡＦ制御の自由度を向上させることができる。つまり、撮像素子の駆動や画像処理に係るシステム負荷を軽減させようとするとＡＦ精度が低下し、ＡＦ精度を向上させようとするとシステム負荷が増大してしまい、これらはトレードオフの関係にある。

この問題に対して、焦点検出用の画素信号の読み出しを撮影範囲内の特定の領域（ＡＦ領域）に制限することにより、システム負荷を軽減することができる。しかし、設定されたＡＦ領域であるか否かで画素信号の読み出し方法を変える場合、設定されたＡＦ領域の大きさによっては、焦点検出用の画素信号を不要に多く読み出してしまうことでシステム負荷が増大するおそれがある。これに対して、ＡＦ領域内からの焦点検出用の画素信号の読み出しを間引くことで、システム負荷を軽減させることができる。しかし、この場合には、被写体によっては低コントラストの部分のみを読み出してしまい、ＡＦ性能が不十分になるおそれがあるため、被写体の高コントラストの部分を適切に読み出すようにする必要がある。

本発明は、撮像面位相差方式によるＡＦ制御を行う撮像装置において、システム負荷の軽減とＡＦ性能の向上を両立させることができる技術を提供することを目的とする。

本発明に係る撮像装置は、それぞれが光電変換部を有し、瞳分割された光束を受光する複数の分割画素からなる複数の単位画素が互いに直交する第１の方向と第２の方向を含む平面に二次元状に配置された撮像素子と、前記複数の単位画素ごとに前記複数の分割画素の信号を加算して読み出す加算読み出しと、所定の方向に並べられた複数の前記単位画素からそれぞれの単位画素が有する前記複数の分割画素の一部の信号を読み出す瞳分割読み出しとを行う制御手段と、前記加算読み出しによる信号に基づき被写体を検出する検出手段と、前記検出手段による被写体の検出結果に基づいて、前記制御手段が前記瞳分割読み出しを行う際の前記複数の単位画素の読み出し位置と読み出し間隔の少なくとも一方を変更する変更手段と、前記瞳分割読み出しにより取得した信号に基づいて前記被写体にフォーカスを合わせる合焦手段と、を備えることを特徴とする。

本発明によれば、撮像面位相差方式によるＡＦ制御を行う撮像装置において、システム負荷の軽減とＡＦ性能の向上を両立させることができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。 撮像装置が備える撮像素子の概略構成を示す正面図である。 撮像素子の単位画素に対する光束の結像の様子を模式的に説明する図である。 撮像素子からの信号の読み出し形態を説明する図である。 ９点の測距領域でのＡ像信号の間引き読み出し説明する図である。 撮像装置での撮影処理の手順を示すフローチャートである。 ステップＳ６０４の静止画撮影処理を説明するフローチャートである。 ステップＳ７０１の焦点状態の検出処理を説明するフローチャートである。 ステップＳ８０２で設定される測距領域の一例を模式的に示す図である。 測距領域から取得した二像信号の例を示す図である。 二像信号のシフト量と相関量との関係例を示す図である。 二像信号のシフト量と相関変化量との関係例を示す図である。 撮像素子についてＡ＋Ｂ像信号を読み出す領域とＡ像信号を読み出す領域を説明する図である。 顔情報を用いて撮像素子に図１３（ｂ）の構成を適用した場合のＡ像信号の間引き読み出し説明する図である。 撮像素子の画素回路及び列回路を説明する図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、具体的には、レンズ交換式の撮像装置であるデジタル一眼レフカメラであるが、本発明に係る撮像装置はこれに限定されるものではない。例えば、本発明に係る撮像装置は、レンズユニットとカメラ本体とが一体的な構造を有するデジタルカメラや、撮像素子による撮像機能を有する電子機器であってもよい。そのような電子機器としては、携帯電話やスマートフォン等の携帯型の通信端末や、タブレット端末等のモバイルコンピュータ、カメラ付き携帯ゲーム機等を挙げることができる。

撮像装置１００は、大略的に、レンズユニット１０１とカメラ本体１０２から構成されている。レンズユニット１０１は、固定レンズ１０３、絞り１０４、フォーカスレンズ１０５、絞り駆動部１０６、フォーカスレンズ駆動部１０７、レンズ制御部１０８及びレンズ操作部１０９を備える。固定レンズ１０３、絞り１０４、フォーカスレンズ１０５は撮影光学系を構成する。絞り１０４は、絞り駆動部１０６によって駆動され、後述する撮像素子１１０への入射光量を調節する。フォーカスレンズ１０５は、フォーカスレンズ駆動部１０７によって駆動され、フォーカスレンズ１０５の位置に応じて撮影光学系の焦点距離が変化する。絞り駆動部１０６とフォーカスレンズ駆動部１０７は、レンズ制御部１０８によって制御され、絞り１０４の開口量やフォーカスレンズ１０５の位置を決定する。レンズ制御部１０８は、後述するカメラ制御部１２４と相互に通信可能であり、カメラ制御部１２４からの指令に基づいて絞り駆動部１０６やフォーカスレンズ駆動部１０７を制御することで、レンズユニット１０１の全体的な動作を統括制御する。また、レンズ制御部１０８は、レンズユニット１０１の制御情報をカメラ制御部１２４に送信する。レンズ操作部１０９は、ユーザがレンズユニット１０１の動作に関する設定を行うための操作手段である。レンズ操作部１０９の操作により、ＡＦ／ＭＦモードの切り替え、撮影距離範囲の設定、手ブレ補正モードの設定等を行うことができる。レンズ制御部１０８は、レンズ操作部１０９の操作に応じた制御を行う。

カメラ本体１０２は、撮像素子１１０を有する。レンズユニット１０１の撮影光学系を通過した光束は、撮像素子１１０に結像する。撮像素子１１０は、例えば、ＣＣＤセンサ又はＣＭＯＳセンサであり、撮像面に結像した光学像を撮像面に入射光量に応じた信号電荷に変換する光電変換部（フォトダイオード）を有する。ここで、撮像素子１１０の構成と基本的な動作について説明する。

図２は、撮像素子１１０の概略構成を示す正面図である。説明の便宜上、図２に示すように、撮像素子１１０に対して長辺方向（第１の方向）を軸方向とするＸ軸と、短辺方向（第２の方向）を軸方向とするＹ軸を規定する。光軸、Ｘ軸及びＹ軸は互いに直交しており、例えば、光軸が水平方向と平行であるとしたときに、Ｘ軸も水平方向と平行であり、Ｙ軸は鉛直方向と平行である。

撮像素子１１０はマイクロレンズアレイを有し、マイクロレンズアレイを形成する個々のマイクロレンズ２０１に対応する光電変換領域を１つの画素と定義し、単位画素２０２と定義する。よって、複数の単位画素２０２が、Ｘ軸とＹ軸を含むＸＹ面において二次元状に配置される。そして、単位画素２０２は複数（ここでは２つ）に分割されており、それぞれを分割画素と定義する。ここでは、単位画素２０２はＸ軸方向に２分割され、第１の分割画素２０１Ａと第２の分割画素２０１ＢがＸ軸方向に配置された構成となっている。第１の分割画素２０１Ａと第２の分割画素２０１Ｂはそれぞれ、フォトダイオードを有しており、第１の分割画素２０１Ａと第２の分割画素２０１Ｂのそれぞれから画素信号（分割画素信号）を読み出すことが可能となっている。なお、図２に示す（０，０）〜（３，３）は、単位画素２０２のＸＹ座標（ｘ，ｙ）を示している。

図３は、単位画素２０２に対する光束の結像の様子を模式的に説明する図である。図３に示すように、光軸と平行なＺ軸を規定する。図３において、絞り１０４、マイクロレンズ２０１及び第１の分割画素２０１Ａと第２の分割画素２０１ＢはＺＸ面で平面的に表されているが、固定レンズ１０３からマイクロレンズ２０１への光束の入射は斜視図的に表されている。レンズユニット１０１に入射し、固定レンズ１０３の射出瞳３０１，３０２を通過した光は、光軸を中心として単位画素２０２に入射する。射出瞳３０１の瞳領域を通過する光束はマイクロレンズ２０１を通して第１の分割画素２０１Ａで受光され、射出瞳３０２の瞳領域を通過する光束はマイクロレンズ２０１を通して第２の分割画素２０１Ｂで受光される。したがって、第１の分割画素２０１Ａと第２の分割画素２０１Ｂはそれぞれ、瞳分割された光束を受光する。

第１の分割画素２０１Ａと第２の分割画素２０１Ｂはそれぞれ、受光量に応じて電荷を発生させ、蓄積する。第１の分割画素２０１Ａ第２の分割画素２０１Ｂがそれぞれ蓄積した電荷は、カメラ制御部１２４の指令に応じて後述するタイミングジェネレータ１２６が出力する駆動パルスより電荷に応じた電圧信号である画素信号として撮像素子１１０から順次読み出される。以下の説明では、第１の分割画素２０１Ａの画素信号をＸ軸方向に並ぶ複数の単位画素２０２から取得し、取得した画素信号群で構成した被写体像を「Ａ像」とする。同様に、第２の分割画素２０１Ｂの画素信号をＸ軸方向に並ぶ複数の単位画素２０２から取得し、取得した画素信号群で構成した被写体像を「Ｂ像」とする。

Ａ像信号とＢ像信号に対して相関演算を実施することで、像のずれ量（瞳分割位相差）を検出することができる。また、算出した像のずれ量に対して焦点位置と撮影光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。撮像面位相差ＡＦでは、こうして算出された焦点位置情報に基づいてフォーカスレンズ１０５を制御し、被写体に対する合焦（ピント合わせ）を行う。また、Ａ像信号とＢ像信号との加算画素信号であるＡ＋Ｂ像信号は、撮像信号として撮影画像の形成に用いることができる。

図１の説明に戻る。カメラ本体１０２は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１１１、加算信号分離部１１２、画像処理部１１３、ＡＦ信号処理部１１４、被写体検出部１１５、バス１１６、表示制御部１１７、表示部１１８、記憶媒体制御部１１９及び記憶媒体１２０を備える。また、カメラ本体１０２は、ＳＤＲＡＭ１２１、ＲＯＭ１２２、フラッシュＲＯＭ１２３、カメラ制御部１２４、カメラ操作部１２５、タイミングジェネレータ１２６及びＡＦ領域設定部１２７を有する。

ＣＤＳ／ＡＧＣ／ＡＤコンバータ１１１は、撮像素子１１０から読み出されたＡ＋Ｂ像信号（撮像信号）及びＡ像信号（焦点検出用の画素信号）に対し、リセットノイズを除去するための相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ／ＡＤコンバータ１１１で処理された信号は、加算信号分離部１１２に入力される。加算信号分離部１１２は、Ａ＋Ｂ像信号からＡ像信号を減算することでＢ像信号を生成し、Ａ＋Ｂ像信号を画像処理部１１３に出力すると共に、Ａ像信号とＢ像信号をＡＦ信号処理部１１４に出力する。

画像処理部１１３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１１１から取得したＡ＋Ｂ像信号に対し、色変換、ホワイトバランス、ガンマ補正等の既知の画像処理や、解像度変換処理、画像圧縮処理等を行う。また、画像処理部１１３は、これらの処理が行われた画像信号を、バス１１６を介してＳＤＲＡＭ１２１に格納する。ＳＤＲＡＭ１２１に格納された画像信号は、バス１１６を介して表示制御部１１７によって読み出され、液晶ディスプレイ等の表示部１１８に表示される。なお、撮像装置１００が撮像信号の記憶を行うモードで動作している場合、ＳＤＲＡＭ１２１に格納された画像信号は、記憶媒体制御部１１９によって記憶媒体１２０に記憶される。

ＡＦ信号処理部１１４は、加算信号分離部１１２から出力されたＡ像信号とＢ像信号に対して相関演算を行うことで、像ずれ量や信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を求める。この演算処理は、カメラ制御部１２４からの測距領域を指定する信号に基づいて、複数の測距領域のすべてに対して行われる。ＡＦ信号処理部１１４は、測距領域ごとに算出した像ずれ量と信頼性情報をカメラ制御部１２４へ出力する。被写体検出部１１５は、画像処理部１１３から取得したＡ＋Ｂ像信号（撮像信号）から顔情報を算出し、算出した顔情報をバス１１６を介してカメラ制御部１２４へ出力する。顔情報としては、顔領域の左上座標、顔領域の右下座標、顔領域の傾き角度、横向き角度、顔の確からしさ度（スコア）、右目座標、左目座標等が挙げられる。このような顔情報の算出方法には、例えば、特開２００６−２０３７８２号公報等に提案されている周知の技術を用いることができるため、ここでの詳細な説明を省略する。

ＲＯＭ１２２には、カメラ制御部１２４が実行する制御プログラム及び制御に必要な各種データ（パラメータ）等が格納されている。フラッシュＲＯＭ１２３には、カメラ本体１０２の動作に関するユーザ設定情報をはじめとした各種の設定情報が格納されている。カメラ制御部１２４は、ＡＦ信号処理部１１４が求めた像ずれ量や信頼性情報、被写体検出部１１５が求めた顔情報及びレンズユニット１０１やカメラ本体１０２の状態情報に基づき、必要に応じてＡＦ信号処理部１１４とＡＦ領域設定部１２７の設定を変更する。例えば、カメラ制御部１２４は、ＡＦ信号処理部１１４で用いるバンドパスフィルタの種類をコントラスト情報に応じて変更し、ＡＦ領域設定部１２７によるＡ像信号の読み出し領域を変更する。

カメラ制御部１２４は、ユーザのカメラ操作部１２５の操作に応じた入力（指示）にしたがって、電源のオン／オフ、設定変更、ＡＥ制御やＡＦ制御の開始、記憶画像（映像）の確認等の様々な機能を実行する。また、カメラ制御部１２４は、レンズユニット１０１の制御命令や制御情報をレンズ制御部１０８に送り、レンズユニット１０１の情報をレンズ制御部１０８から取得する。更に、カメラ制御部１２４は、ＡＦ信号処理部１１４から取得した複数の測距領域ごとの相関演算の結果のうち、特定の測距領域での結果に基づき、レンズ制御部１０８を介してフォーカスレンズ１０５を駆動する。その際の特定の測距領域は、被写体検出部１１５で検出した顔情報を基にして設定した位置を中央として配置された測距領域とする。

このように、カメラ制御部１２４は、ＲＯＭ１２２に格納された所定のプログラムをＳＤＲＡＭ１２１又は自信が有するＲＡＭに展開してカメラ本体１０２内の各機能ブロック及びレンズユニット１０１を制御することで、撮像装置１００の全体的な制御を行う。なお、カメラ制御部１２４は、撮像装置１００を構成する各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサであってもよい。また、画像処理部１１３やＡＦ信号処理部１１４等の処理部についても同様で、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装されていてもよい。

ＡＦ領域設定部１２７は、カメラ本体１０２やレンズユニット１０１の状態に応じて、ＡＦ精度を十分に確保することができるように、状況に応じて最適な読み出し制御を行う。ＡＦ領域設定部１２７は、具体的には、カメラ制御部１２４から取得したカメラ本体１０２の制御情報やレンズユニット１０１の状態の情報、被写体検出部１１５の顔情報に基づき、撮像素子１１０からＡ像信号を読み出す領域を設定する。つまり、ＡＦ領域設定部１２７により、撮像素子１１０においてＡ像信号を読み出す領域と、Ａ＋Ｂ像信号のみを読み出す範囲との棲み分けを行う。

図４は、撮像素子１１０からの信号の読み出し方法を説明する図である。図４（ａ）は従来方法による読み出し方法を説明する図であり、図４（ｂ）は本実施形態で使用される読み出し方法を説明する図である。従来方法では、撮像素子１１０全体から常にＡ＋Ｂ像信号を読み出す加算読み出しと、Ａ像信号のみを読み出す瞳分割読み出しを行う。この場合、図４（ａ）に示すように、ユーザが設定したＡＦ位置以外の領域でもＡ像信号が読み出される。この場合、実際には使用しないＡ像とＢ像の情報を多く読み出していることになり、信号の読み出しに係る各種デバイスの処理負荷の増加や発熱量の増大等が懸念される。

これに対して図４（ｂ）の読み出し方法では、ＡＦ領域設定部１２７により、最低限必要な範囲（ＡＦ位置）でだけ瞳分割読み出しを行い、Ａ像信号を取得する共に、Ａ＋Ｂ像信号を取得する加算読み出しは従来通りに（図４（ａ）の場合と同様に）行う。この場合、図４（ａ），（ｂ）を比較すると明らかなように、読み出されるＡ像信号の信号量を低減することができるため、信号の読み出しに係る各種デバイスの処理負荷を軽減し、発熱量を低減させることができる。

しかしながら、被写体検出部１１５で顔情報を検出し、得られた顔情報に基づいて測距領域（測距枠（ＡＦ位置））を設定した場合、顔情報を検出してから焦点検出結果を得るまでにタイムラグが発生してしまう。このタイムラグの影響により、焦点検出結果が得られたときには被写体が動いてしまっており、設定された測距領域に被写体が存在していない状況が生じ得る。この問題に対処するため、得られた顔情報に基づいて１つの測距領域を設定し、その測距領域を中心とした周辺に同一サイズの８つの測距領域を設定し、計９つの測距領域で測距を行うことで前述のタイムラグによる被写体移動の影響を受けないようにする。

図５は、設定された９つの測距領域と、９つの測距領域内でのＡ像信号の間引き読み出しを説明する図である。Ａ像信号の読み出し範囲を単純に９つの測距領域分とした場合には、中央の１つの測距領域に対してＡ像信号を読み出す場合よりも、Ａ像信号の読み出し量は略３倍となり、信号読み出しに係る処理負荷が増えてしまう。そこで、図５に示したように、測距領域内のＡ像信号をすべて読み出すのではなく、測距領域内のＡ像信号の読み出しを間引くことにより、Ａ像信号の読み出し量を減らす。これにより、Ａ像信号の読み出しに係る各種デバイスの処理負荷を軽減することができる。なお、図５において、「ＡＦ駆動画素」で示された領域からはＡ像信号とＡ＋Ｂ像信号が読み出され、測距領域内であっても「ＡＦ駆動画素」で示された領域でない領域からはＡ＋Ｂ像信号のみが読み出される。図５に示したＡＦ駆動画素と通常駆動画素の設定例は一例であって、ＡＦ駆動画素と通常駆動画素の設定方法については、図１３等を参照して後述する。

次に、撮像装置１００での各種の制御方法について説明する。図６は、撮像装置１００での撮影処理の手順を示すフローチャートである。図６のフローチャートに示す各処理は、カメラ制御部１２４がＲＯＭ１２２に格納された所定のプログラムをＳＤＲＡＭ１２１に展開し、撮像装置１００を構成する各部の動作と処理を制御することにより実現される。ステップＳ６０１においてカメラ制御部１２４は、カメラ設定等の初期化処理を行う。ステップＳ６０２においてカメラ制御部１２４は、カメラ本体１０２の撮影モードが動画撮影モードに設定されているか否かを判定する。カメラ制御部１２４は、動画撮影モードであると判定した場合（Ｓ６０２でＹＥＳ）、処理をステップＳ６０３へ進め、動画撮影モードではないと判定した場合（Ｓ６０２でＮＯ）、処理をステップＳ６０４へ進める。なお、本実施形態では、撮影モードが動画撮影モードに設定されていない場合には、撮影モードは静止画撮影モードに設定されているものとする。

ステップＳ６０３においてカメラ制御部１２４は、動画撮影処理を行う。ステップＳ６０４においてカメラ制御部１２４は、静止画撮影処理を行う。動画撮影又は静止画撮影の開始後のステップＳ６０５においてカメラ制御部１２４は、撮影処理の停止が指示されたか否かを判定する。カメラ制御部１２４は、撮影処理の停止が指示されていないと判定した場合（Ｓ６０５でＮＯ）、処理をステップＳ６０６へ進め、撮影処理の停止が指示されたと判定した場合（Ｓ６０５でＹＥＳ）、本処理を終了させる。なお、撮影処理の停止が指示された場合とは、撮影以外の動作が指示された場合であり、例えば、カメラ本体１０２の電源が切断されたとき、撮像装置１００のユーザ設定処理が行われたとき、撮影画像又は撮影映像の再生処理等が行われたとき等である。

ステップＳ６０６においてカメラ制御部１２４は、撮影モードが変更されたか否かを判定する。カメラ制御部１２４は、撮影モードが変更されていないと判定した場合（Ｓ６０６でＮＯ）、処理をステップＳ６０２へ戻し、撮影モードが変更されたと判定した場合（Ｓ６０６でＹＥＳ）、処理をステップＳ６０１へ戻す。つまり、カメラ制御部１２４は、撮影モードが変更されていない場合には、現在の撮影モードの処理を継続して行う。またカメラ制御部１２４は、撮影モードが変更された場合には、初期化処理を行った上で変更後の撮影モードで撮影を開始する。

次に、ステップＳ６０４の静止画撮影処理について説明する。図７は、ステップＳ６０４の静止画撮影処理を説明するフローチャートである。なお、図７に示すフローチャートで実行される処理は、動画撮影処理にも適用することができるが、その説明は省略する。ステップＳ７０１においてカメラ制御部１２４は、焦点状態の検出処理を行う。焦点状態の検出処理は、撮像面位相差ＡＦを行うためのデフォーカス情報及び信頼性情報をカメラ制御部１２４、ＡＦ信号処理部１１４及びＡＦ領域設定部１２７によって取得する処理であり、詳細は図８のフローチャートを参照して後述する。ステップＳ７０２においてカメラ制御部１２４は、カメラ操作部１２５によりＡＦが指示されているか否かを判定する。カメラ制御部１２４は、ＡＦが指示されていると判定した場合（Ｓ７０２でＹＥＳ）、処理をステップＳ７０３へ進め、ＡＦが指示されていないと判定した場合（Ｓ７０２でＮＯ）、処理をステップＳ７０４へ進める。なお、ＡＦの指示は、シャッタボタンが半押しされ或いはＡＦを実行するＡＦスイッチがオンにされることで行われるが、その他の手段や方法が用いられていてもよい。

ステップＳ７０３においてカメラ制御部１２４は、ＡＦ処理を行って静止画を撮影し、これにより本処理は終了となる。一方、ステップＳ７０４においてカメラ制御部１２４は、カメラ操作部１２５により撮影指示が行われているか否かを判定する。カメラ制御部１２４は、撮影指示が行われていると判定した場合（Ｓ７０４でＹＥＳ）、処理をステップＳ７０５へ進め、撮影指示が行われていないと判定した場合（Ｓ７０４でＮＯ）、処理をステップＳ７０７へ進める。なお、撮影指示が行われていると判定される場合とは、シャッタボタンが全押しされた場合であるが、その他の手段や方法が用いられていてもよい。

ステップＳ７０５においてカメラ制御部１２４は、ステップＳ７０３のＡＦ処理によって、現在、合焦停止状態にあるか否かを判定する。カメラ制御部１２４は、被写体にまだピントが合っていないと判断した場合に合焦停止状態にないと判定し（Ｓ７０５でＮＯ）、ＡＦ処理を開始又は継続することで被写体にピントを合わせるために処理をステップＳ７０３へ進める。一方、カメラ制御部１２４は、被写体にピントが合っており、合焦停止状態にあると判定した場合（Ｓ７０５でＹＥＳ）、処理をステップＳ７０６へ進める。ステップＳ７０６においてカメラ制御部１２４は、撮影処理を行い、記憶媒体制御部１１９を介して記憶媒体１２０に撮影画像を保存し、その後、処理をステップＳ７０７へ進める。ステップＳ７０７においてカメラ制御部１２４は、合焦停止状態を解除し、その後、本処理は終了となる。これは、撮影が完了した場合やＡＦ指示／撮影指示が行われていない場合には、合焦停止状態でない状態に初期化するためである。

次に、ステップＳ７０１の焦点状態の検出処理について説明する。図８は、ステップＳ７０１の焦点状態の検出処理を説明するフローチャートである。ステップＳ８０１においてカメラ制御部１２４は、ＡＦに使用するためにレンズユニット１０１又はカメラ本体１０２が保有するパラメータ情報を取得する。撮影パラメータとは、絞り１０４の絞り情報、カメラ本体１０２内の撮像素子１１０に掛けられているセンサゲイン等の情報を含み、撮像装置１００の構成に応じて必要な情報が取得される。カメラ制御部１２４は、取得した撮影パラメータを、適宜、ＡＦ信号処理部１１４やＡＦ領域設定部１２７での処理のために、これら各部に提供する。

ステップＳ８０２においてカメラ制御部１２４は、焦点状態を検出するための測距領域の位置設定を行う。測距領域の位置を設定する方法は、例えば、顔検出が可能であれば、顔が検出された位置に測距領域を設定することができる。ステップＳ８０３では、カメラ制御部１２４の制御下でＡＦ領域設定部１２７が、カメラ制御部１２４が持つ情報に基づいて、撮像面位相差検出方式によるＡＦに用いる二像信号（Ａ像信号、Ｂ像信号）の生成領域を決定する。この処理は、本実施形態における特徴的な処理である。ＡＦ領域設定部１２７は、ステップＳ８０１で取得した制御パラメータやステップＳ８０２で設定した測距領域の位置、その他のＡＦ制御情報等に基づいて、適宜、適切な位置に二像信号の生成領域を変更する。二像信号の生成領域を変更するとは、図２に示した撮像素子１１０においてＡ像信号を生成する走査ラインを撮像面内のどの位置に変更するのかを決定するということである。二像信号を生成しない走査ラインでは、Ａ＋Ｂ像信号（撮像信号）として１つの信号のみが読み出される。こうして、二像信号の生成領域を必要な範囲に限定して、読み出す信号量を低減することにより、信号の読み出しを早く行うことができる。また、信号の読み出しに係る各種デバイスの処理負荷を軽減し、各種デバイスの発熱量を低減させることができる。

ステップＳ８０４では、カメラ制御部１２４の制御下でＡＦ信号処理部１１４が、ステップＳ８０３で設定した二像信号の生成領域に含まれる画素から１対のＡＦ用像信号であるＡ像信号とＢ像信号を取得する。なお、Ｂ像信号は、Ａ＋Ｂ像信号からＡ像信号を減算することにより求めることができる。ステップＳ８０５ではＡＦ信号処理部１１４が、取得した二像信号間の相関量を算出する。相関量の算出は測距領域に対して行われ、ステップＳ８０３で設定した二像信号の生成領域内の複数の走査ラインのそれぞれについて行われる。なお、これより後段のステップＳ８０５〜Ｓ８０９の処理も同様に、測距領域内の各走査ラインに対して行われる。

ステップＳ８０６ではＡＦ信号処理部１１４が、ステップＳ８０５より算出した相関量から相関変化量を算出する。ステップＳ８０７ではＡＦ信号処理部１１４が、相関変化量から像ずれ量を算出する。ステップＳ８０８ではＡＦ信号処理部１１４が、像ずれ量がどれだけ信頼できるのかを表す信頼性を算出する。ステップＳ８０９ではＡＦ信号処理部１１４が、ステップＳ８０８で算出した像ずれ量に換算係数を掛けることによりデフォーカス量を算出し、これにより本処理は終了となる。

以下では、上述した焦点状態の検出処理で実行される各種の演算処理の内容について、より具体的に説明を加える。図９は、ステップＳ８０２において設定される測距領域の一例を模式的に示す図である。撮像素子１１０の画素アレイ９０１に対して、測距領域９０２が設定され、このとき、相関演算に必要な領域であるシフト領域９０３も設定される。したがって、測距領域９０２とシフト領域９０３とを合わせた画素領域９０４が相関演算に必要な画素領域となる。図９中のｐ，ｑ，ｓ，ｔはそれぞれ、ｘ軸方向の座標を表している。ｐとｑはそれぞれ、画素領域９０４の始点と終点のｘ座標を表しており、ｓとｔはそれぞれ、測距領域９０２の始点と終点のｘ座標を表している。

図１０は、測距領域９０２に含まれる画素から取得され、ステップＳ８０４で撮像面位相差検出方式のＡＦに用いる二像信号（Ａ像信号、Ｂ像信号）の例を示す図である。図１０（ａ）は、シフト前のＡ像信号１００１とＢ像信号１００２のそれぞれの波形を示している。図１０（ｂ），（ｃ）はそれぞれ、図１０（ａ）のＡ像信号１００１とＢ像信号１００２の各波形がそれぞれプラス方向とマイナス方向にシフトした状態を示している。ステップＳ８０５で相関量ＣＯＲを算出する際には、まず、Ａ像信号１００１とＢ像信号１００２の両方を図１０（ｂ），（ｃ）のそれぞれに示す矢印ｕ，ｖの方向に１ビットずつシフトさせる。そして、このときのＡ像信号１００１とＢ像信号１００２の差の絶対値の和を算出する。シフト量をｉで表すと、最小シフト量は図１０中のｐ−ｓ、最大シフト量は図１０中のｑ−ｔであり、下記式１の通りの関係が得られる。また、ｘを測距領域９０２の開始座標、ｙを測距領域９０２の終了座標として、測距領域９０２における相関量ＣＯＲは、下記式２によって算出することができる。

図１１（ａ）は、二像信号のシフト量ｉと相関量ＣＯＲとの関係例を示した図であり、横軸にはシフト量が取られており、縦軸には相関量ＣＯＲが取られている。相関量波形１１０１における極値近傍領域１１０２，１１０３のうちで相関量ＣＯＲが小さい方で、Ａ像信号１００１とＢ像信号１００２の一致度が高い。ステップＳ８０６で相関変化量ΔＣＯＲの算出する際には、図１１（ａ）の相関量波形１１０１に基づき、１シフト飛ばしの相関量ＣＯＲの差から相関変化量ΔＣＯＲを算出する。シフト量ｉ、最小シフト量ｐ−ｓ、最大シフト量ｑ−ｔを用いて、相関変化量ΔＣＯＲは下記式３，４によって算出することができる。なお、図１１（ｂ）は、ステップＳ８０８での像ずれ量の信頼性の算出方法を後述する際に参照する。

図１２（ａ）は、シフト量ｉと相関変化量ΔＣＯＲの関係例を示す図であり、横軸にはシフト量ｉが取られ、縦軸には相関変化量ΔＣＯＲが取られている。相関変化量波形１２０１は、領域１２０２，１２０３において、相関変化量ΔＣＯＲがプラス（＋）からマイナス（−）に変化する。相関変化量がゼロ（０）となる状態をゼロクロスと称呼し、二像信号間の一致度が最も高く、ゼロクロス時のシフト量ｉが像ずれ量となる。

図１２（ｂ）は、図１２（ａ）に示す領域１２０２を拡大した図である。線１２０４は、相関変化量波形１２０１の一部であり、直線で近似することができる。ステップＳ８０７で像ずれ量ＰＲＤを算出する際には、まず、ゼロクロス時のシフト量（ｋ−１＋α）を整数部分β（＝ｋ−１）と小数部分αに分ける。小数部分αは、図１２（ｂ）中の三角形ＡＢＣと三角形ＡＤＥの相似の関係から、下記式５，６，７の順に変形させることにより算出することができる。そして、整数部分βは、図１２（ｂ）に示す各値から、下記式（８）によって算出することができる。こうして求めたαとβを下記式９に示す通りに加算することにより、像ずれ量ＰＲＤを算出することができる。

図１２（ａ）に示されるようにゼロクロスとなるシフト量ｉが複数存在する場合には、ゼロクロスでの相関量変化の急峻性が大きいところを第１のゼロクロスとする。この急峻性は、ＡＦのし易さを示す指標で、その値が大きいほど精度の高いＡＦを行い易いことを示す。急峻性ｍａｘ ｄｅｒの値は、下記式１０によって算出することができる。

続いて、ステップＳ８０８での像ずれ量の信頼性の算出法について説明する。信頼性は、上述した急峻性やＡ像信号とＢ像信号の一致度ｆｎｃｌｖｌ（以下「二像一致度」と称呼する）によって定義することができる。二像一致度ｆｎｃｌｖｌは、像ずれ量の精度を表す指標であり、本実施形態における相関演算手法では、その値が小さいほど像ずれ量の精度は高くなる。図１１（ｂ）は、図１１（ａ）中の極値近傍領域１１０２の拡大図であり、曲線１１０４は、相関量波形１１０１の一部である。二像一致度ｆｎｃｌｖｌは、急峻性ｍａｘ ｄｅｒ、相関量ＣＯＲ、相関変化量ΔＣＯＲを用いて、下記式１１，１２で算出される。

次に、ＡＦ領域設定部１２７が実行する処理について説明する。図１３は、撮像素子１１０について、Ａ＋Ｂ像信号のみを読み出す領域と、Ａ＋Ｂ像信号のみならずＡ像信号も読み出す領域を説明する図である。ここでは、全体で９６ライン分のＡ＋Ｂ像信号を読み出すことに加えて、Ａ像信号を読み出すライン（以下「Ａ像ライン」と称呼する）の数が２４ラインに設定された例を示している。なお、Ａ像ラインは、撮像素子１１０の長辺と平行に設定される。したがって、全体に対して約２５％の分割画素でＡ像信号を読み出しているが、この割合は一例であって、例えば、動画撮影の際のフレームレートやシステムに掛かる負荷を考慮して、適宜、適切な割合に設定される。

図１３（ａ）では、８ラインに対して２ラインでＡ像信号を読み出す（Ａ＋Ｂ像信号のみの読み出しは６ライン）構成である。この場合、撮影画面全体に対してＡＦ情報の検出領域を広く取ることができるという利点がある。これに対して、１３（ｂ）は、２４ラインに対して６ラインでＡ信号を読み出す（Ａ＋Ｂ像信号のみの読み出しは１８ライン）構成である。この場合、Ｓ／Ｎの向上により、ＡＦ精度向上を図ることができる。なお、図１３（ａ），（ｂ）のいずれの構成であっても、トータルでのＡ像ラインの数は変わらないため、システム負荷は同じである。

ここで、先に示した図５を参照して説明を加える。図５の例では、顔枠を中心として９つの測距領域が設けられており、このとき、図１３（ａ）に示す構成（Ａ像信号の読み出し間隔を狭めた構成）が適用されて、１つの測距領域について計６ラインでＡ像信号を読み出している。このとき、顔枠（中心枠）に関して、Ａ像信号は、髪の毛と肌等のコントラストの低い部位のみから読み出されているのがわかる。このように低コントラストの部位のみからＡ像信号を読み出した場合、相関量の急峻性が低下し、信頼性が低下するおそれがある。その結果、顔枠（中心枠）ではなく、その周辺の８つの測距領域のいずれかで相関量の急峻性や信頼性が高いと判断されてしまい、本来、ピントを合わせたい顔枠（中心枠）にピントが合わないことが懸念される。

そこで、ＡＦ領域設定部１２７は、被写体検出部１１５が検出した顔情報に基づき、右目座標と、左目座標と、システム負荷が一定となるトータルのＡ像信号の読み出し量をカメラ制御部１２４から受信し、撮像素子１１０に対してＡ像ラインを設定する。その際、目は、髪の毛や肌と比較してコントラストが高いことが期待でき、相関量の急峻性や信頼性を向上させることができると考えられる。よって、右目座標（ｘ，ｙ）又は左目座標（ｘ，ｙ）のｙ座標を中心とした複数ラインを読み出すようにする。例えば、右目座標のｙ座標が１０であった場合、８，９，１０，１１，１２，１３ライン目を読み出すように、Ａ像信号の読み出し位置とＡ像信号の読み出し間隔の少なくとも一方を変更（調節）する。つまり、被写体検出部１１５が検出した顔情報に基づいて、撮像素子１１０に図１３（ｂ）に示した構成を適用する。図１４は、撮像素子１１０に図１３（ｂ）の構成を適用した場合のＡ像信号の間引き読み出し説明する図である。

なお、Ａ像ラインの設定にｙ座標を中心とするのは、次のフレーム等で被写体移動又は被写体ぶれ等の影響を軽減するためである。また右目のｙ座標、左目のｙ座標のどちらを用いるかは、例えば顔情報の横向き角度等から決定すればよい。例えば、被写体が右方向を向いている場合、右目は左目よりも小さいことが想定されるため、左目のｙ座標を用いると判断するようにしてもよい。

また、ＡＦ領域設定部１２７は、撮像素子１１０に対して、例えばＡ像ラインであれば“１”を、Ａ像ラインでないラインであれば“０”の信号を送信することで、撮像素子１１０の出力を制御するようにする。図１５は、撮像素子１１０の単位画素２０２を示す回路及び列回路の一例を示す図である。以下の説明では、フォトダイオードを“ＰＤ”と、フローティングディフュージョンを“ＦＤ”と記す。

単位画素２０２は、第１のＰＤ１５０２Ａと第２のＰＤ１５０２Ｂを有し、第１のＰＤ１５０２Ａには第１の転送スイッチ１５０３Ａが接続され、第２のＰＤ１５０２Ｂには第２の転送スイッチ１５０３Ｂが接続されている。なお、図１５では、第１のＰＤ１５０２Ａと第２のＰＤ１５０２Ｂを１つのＰＤで示しており、第１の転送スイッチ１５０３Ａと第２の転送スイッチ１５０３Ｂを１つのスイッチで示している。第１の転送スイッチ１５０３Ａと第２の転送スイッチ１５０３Ｂはそれぞれ、第１のＰＤ１５０２Ａと第２のＰＤ１５０２Ｂで発生した電荷を共通のＦＤ１５０５に転送する。第１のＰＤ１５０２Ａと第２のＰＤ１５０２Ｂから転送された電荷は、ＦＤ１５０５で一時的に保持されると共に、電圧に変換されてＳＦ（ソースフォロワアンプ）１５０６から出力される。単位画素２０２は選択スイッチ１５０７を有し、選択スイッチ１５０７は、一行分の画素信号を一括して垂直出力線１５０８へ出力する。

単位画素２０２は、リセットスイッチ１５０４を有する。リセットスイッチ１５０４は、ＦＤ１５０５の電位をＶＤＤにリセットし、また、第１の転送スイッチ１５０３Ａと第２の転送スイッチ１５０３Ｂを介して第１のＰＤ１５０２Ａと第２のＰＤ１５０２Ｂの電位をＶＤＤにリセットする。なお、第１の転送スイッチ１５０３Ａと第２の転送スイッチ１５０３Ｂはそれぞれ、転送パルス信号によって制御される。また、リセットスイッチ１５０４と選択スイッチ１５０７はそれぞれ、垂直走査回路（不図示）に接続されている信号線によって制御される。

垂直出力線１５０８には、定電流源１５０９と列回路１５１０が接続されている。列回路１５１０は、アンプ１５１１、スイッチ１５１２、比較器１５１４及びカウンタ１５１５を備える。アンプ１５１１は、画素信号を増幅する。スイッチ１５１２は、信号線ＰＳＨの制御によりオン／オフされ、信号電圧を保持するための容量１５１３への書き込みを制御する。比較器１５１４へは、スロープ電圧発生回路（不図示）から供給された参照電圧Ｖｓｌｏｐｅとアンプ１５１１からの出力が入力される。比較器１５１４は、アンプ１５１１の出力（画素信号）と参照電圧Ｖｓｌｏｐｅを比較し、その大小関係に応じてＬｏ／Ｈｉｇｈのいずれかの値を取る。具体的には、参照電圧Ｖｓｌｏｐｅがアンプ１５１１の出力よりも小さいときにはＬｏを取り、参照電圧Ｖｓｌｏｐｅがアンプ１５１１の出力よりも大きいときにはＨｉｇｈを取る。カウンタ１５１５は、ＣＬＫに対応してアップカウントを行う。ＣＬＫは、参照電圧Ｖｓｌｏｐｅの遷移開始と同時に動き出し、カウンタ１５１５は比較器１５１４の出力がＨｉｇｈのときに動き、比較器１５１４の出力がＬｏのときに反転すると同時にカウントの信号を停止する。

撮像面位相差ＡＦを行う場合、撮像素子１１０からはＡ像信号とＡ＋Ｂ像信号を別々に読み出すため、列回路１５１０は、ＡＤ変換されたデジタル信号を保持する２つのメモリ１５１６，１５１７を備える。メモリ１５１６は第１のＰＤ１５０２Ａからの信号をＡ／Ｄ変換した後のデジタル信号Ｓ（Ａ）を保持する。メモリ１５１７は、第１のＰＤ１５０２Ａ及び第２のＰＤ１５０２Ｂからの信号をＡ／Ｄ変換した後のデジタル信号Ｓ（Ａ＋Ｂ）を保持する。メモリ１５１６，１５１７に保持されたデジタル信号は、水平走査回路からの信号にしたがって水平出力線１５１８を介してデジタル出力処理回路１５１９へ出力される。具体的には、列回路１５１０は、水平走査回路からＡＦ領域設定部１２７から読み出し信号を受信すると、Ａ像ラインである場合には、メモリ１５１６からデジタル信号（Ｓ（Ａ））を出力し、更にメモリ１５１７からデジタル信号Ｓ（Ａ＋Ｂ）を出力する。一方、Ａ像ラインではないラインの場合には、メモリ１５１７のみからＡ＋Ｂ像信号を出力する。

以上の説明の通り、本実施形態に係る撮像装置１００では、撮像面位相差ＡＦを行うための二像信号を生成する走査ラインの読み出し位置又は読み出し間隔を、被写体の検出結果（特に被写体の目の座標位置）に応じて変更する。その際、二像信号の読み出し数を常に一定にすることで、撮影条件や撮像面位相差ＡＦのＡＦ方式が変更されても、システム負荷を一定に保った状態でＡＦ精度を向上させることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１１０ 撮像素子
１１４ ＡＦ信号処理部
１１５ 被写体検出部
１２４ カメラ制御部
１２７ ＡＦ領域設定部
２０１Ａ 第１の分割画素
２０１Ｂ 第２の分割画素
２０２ 単位画素

Claims (8)

1. それぞれが光電変換部を有し、瞳分割された光束を受光する複数の分割画素からなる複数の単位画素が互いに直交する第１の方向と第２の方向を含む平面に二次元状に配置された撮像素子と、
   前記複数の単位画素ごとに前記複数の分割画素の信号を加算して読み出す加算読み出しと、所定の方向に並べられた複数の前記単位画素からそれぞれの単位画素が有する前記複数の分割画素の一部の信号を読み出す瞳分割読み出しとを行う制御手段と、
   前記加算読み出しによる信号に基づき被写体を検出する検出手段と、
   前記検出手段による被写体の検出結果に基づいて、前記制御手段が前記瞳分割読み出しを行う際の前記複数の単位画素の読み出し位置と読み出し間隔の少なくとも一方を変更する変更手段と、
   前記瞳分割読み出しにより取得した信号に基づいて前記被写体にフォーカスを合わせる合焦手段と、を備えることを特徴とする撮像装置。
2. 前記変更手段は、前記瞳分割読み出しを行う領域の前記加算読み出しを行う領域に対する割合を一定とすることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の方向は前記撮像素子の長辺と平行な方向であり、前記所定の方向は前記第１の方向であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記分割画素は、前記第１の方向に２つに分割された第１の分割画素と第２の分割画素を有し、
   前記制御手段は、前記加算読み出しにより読み出した信号から前記瞳分割読み出しにより前記第１の分割画素から読み出した信号を減算することにより前記第２の分割画素の信号を求め、
   前記合焦手段は、前記第１の分割画素の信号からなる像と前記第２の分割画素の信号からなる像とのずれ量に基づいて前記被写体の焦点位置を算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記検出手段は、前記被写体のうちコントラストの高い部分を検出し、
   前記変更手段は、前記瞳分割読み出しを行う領域を前記コントラストの高い部分を含む位置に設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記検出手段は、顔検出により前記被写体の目の座標を検出し、
   前記制御手段は、前記瞳分割読み出しを行う領域を前記目の座標を含む位置に設定することを特徴とする請求項５項に記載の撮像装置。
7. それぞれが光電変換部を有し、瞳分割された光束を受光する複数の分割画素からなる複数の単位画素が互いに直交する第１の方向と第２の方向を含む平面に二次元状に配置された撮像素子を備える撮像装置の制御方法であって、
   前記複数の単位画素ごとに前記複数の分割画素の信号を加算して読み出す加算読み出しを行うステップと、
   前記加算読み出しにより得られた加算画素信号からなる像に基づいて被写体を検出するステップと、
   前記被写体の検出結果に基づいて、所定の方向に並べられた複数の前記単位画素からそれぞれの単位画素が有する前記複数の分割画素の一部の信号を読み出す瞳分割読み出しを行うための読み出し位置と読み出し間隔を設定する設定ステップと、
   前記設定ステップで設定された読み出し位置と読み出し間隔にしたがって前記瞳分割読み出しを行うステップと、
   前記加算画素信号から前記瞳分割読み出しにより得られた第１の分割画素信号を減算することにより第２の分割画素信号を求めるステップと、
   前記第１の分割画素信号からなる像と前記第２の分割画素信号からなる像とのずれ量に基づいて前記被写体の焦点位置を算出するステップと、を有することを特徴とする撮像装置の制御方法。
8. 請求項７に記載の撮像装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。