JP2018191184A - 撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】傷データのデータ量の増大を抑制しつつ、傷補正を行う技術を提供する。【解決手段】撮影光学系の射出瞳の異なる瞳部分領域を通過する光束を受光する複数の分割画素を含む単位画素を複数配列した撮像素子と、前記撮像素子の所定領域に含まれる単位画素のうちの傷画素の位置を、傷画素間の相対位置の形式で表す傷データを記憶する記憶部と、動的に設定される前記撮像素子の可変領域に対応し、前記射出瞳の第１の部分に対応する第１の画像を取得する第１の取得手段と、前記撮像素子の前記所定領域に対応し、前記射出瞳の全体に対応する第２の画像を取得する第２の取得手段と、前記第１の画像に含まれる傷画素を、前記傷データを用いずに前記第１の画像の画素の値に基づいて検出し、当該検出した傷画素を補正する第１の補正手段と、前記第２の画像に含まれる傷画素を、前記傷データに基づいて検出し、当該検出した傷画素を補正する第２の補正手段と、を備えることを特徴とする撮像装置を提供する。【選択図】図１

Description

本発明は、撮像装置、制御方法、及びプログラムに関する。

従来より、撮像装置のＡＦ（オートフォーカス）方式として、１つのマイクロレンズに対して複数の光電変換部を持った撮像素子により瞳分割像を取得し、得られた２つの瞳分割像の位相差を求めて焦点検出を行う技術が知られている。

特許文献１は、瞳分割像により位相差を求めて焦点検出を行うと共に、同一マイクロレンズに対応した画素を全て加算して１つの画素として取り扱うことで従来の撮像素子配列に対応する画像を生成することを開示している。これにより、焦点検出用の瞳分割像に加えて、観賞用の画像を生成することができる。

また、特許文献２は、このような撮像素子の信号読み出し方法として、第１の動作及び第２の動作を含む読み出し方法を開示している。第１の動作では、瞳分割されたフォトダイオード２画素のうちの第１画素から第１画素信号が読み出される。第２の動作では、リセットせずに第２画素を加算して読み出す動作が行われ、加算信号から第１画素信号を減算することにより第２画素信号が取得される。更に、撮像素子の全画素ではなく、設定された焦点検出領域に対応する画素についてのみ、第１画素信号及び第２画素信号を取得し、それ以外の画素については加算信号のみを取得することができる。

また、特許文献３では、撮像素子の欠陥画素位置の記憶方法として、画素配列における欠陥画素の各々について、欠陥情報を欠陥画素間の相対位置として記憶することで、欠陥情報の容量を削減する技術が開示されている。

特開２００８−１３４３８９号公報 特開２０１６−０１５６９５号公報 特開２０１１−０８２６３４号公報

特許文献２の焦点検出領域に対応する画素についてのみ第１画素信号及び第２画素信号を取得する構成と、特許文献３の相対位置に基づく欠陥情報を使用する構成とを単純に組み合わせた場合を考える。この場合、焦点検出領域が変化すると欠陥画素間の相対位置も変化するため、設定可能な全ての焦点検出領域に対応する欠陥情報を記憶する必要が生じ、欠陥情報のデータ量が大きく増えてしまう。

本発明はこのような状況に鑑みてなされたものであり、傷データのデータ量の増大を抑制しつつ、傷補正を行う技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮影光学系の射出瞳の異なる瞳部分領域を通過する光束を受光する複数の分割画素を含む単位画素を複数配列した撮像素子と、前記撮像素子の所定領域に含まれる単位画素のうちの傷画素の位置を、傷画素間の相対位置の形式で表す傷データを記憶する記憶部と、動的に設定される前記撮像素子の可変領域に対応し、前記射出瞳の第１の部分に対応する第１の画像を取得する第１の取得手段と、前記撮像素子の前記所定領域に対応し、前記射出瞳の全体に対応する第２の画像を取得する第２の取得手段と、前記第１の画像に含まれる傷画素を、前記傷データを用いずに前記第１の画像の画素の値に基づいて検出し、当該検出した傷画素を補正する第１の補正手段と、前記第２の画像に含まれる傷画素を、前記傷データに基づいて検出し、当該検出した傷画素を補正する第２の補正手段と、を備えることを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、傷データのデータ量の増大を抑制しつつ、傷補正を行うことが可能となる。

撮像装置１００の機能構成例を示すブロック図。 撮像素子１１０について説明する図。 固定レンズ１０３から射出された光が１つのマイクロレンズ２０１を通過して撮像素子１１０で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図。 カメラ本体１０２の撮影処理の手順を示すフローチャート。 静止画撮影処理（Ｓ４０４）の詳細を示すフローチャート。 焦点状態検出処理（Ｓ５０１）の詳細を示すフローチャート。 傷データのフォーマットの例について説明する図。 （Ａ）ＡＦ駆動画素の設定例を示す図、（Ｂ）記録用画素を示す図、（Ｃ）ＡＦ画素を示す図。 （Ａ）ＡＦ駆動画素の設定例を示す図、（Ｂ）記録用画素を示す図、（Ｃ）ＡＦ画素を示す図。 撮像装置１０００の機能構成例を示すブロック図。 （Ａ）ＡＦ駆動画素の設定例を示す図、（Ｂ）記録用画素を示す図、（Ｃ）ＡＦ画素を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

［第１の実施形態］
図１は、撮像装置１００の機能構成例を示すブロック図である。この例では、撮像装置１００はレンズ交換式カメラであるものとするが、本実施形態はレンズ交換式カメラに限定されない。

撮像装置１００は、交換可能なレンズユニット１０１及びカメラ本体１０２から構成されている。レンズ全体の動作を統括制御するレンズ制御部１０８と、レンズユニット１０１を含めたカメラシステム全体の動作を統括するカメラ制御部１２４とは、レンズマウントに設けられた端子を通じて相互に通信可能である。

まず、レンズユニット１０１の構成について説明する。固定レンズ１０３、絞り１０４、フォーカスレンズ１０５は撮影光学系を構成する。絞り１０４は、絞り駆動部１０６によって駆動され、後述する撮像素子１１０への入射光量を制御する。フォーカスレンズ１０５はフォーカスレンズ駆動部１０７によって駆動され、フォーカスレンズ１０５の位置に応じて撮像光学系の合焦距離が変化する。絞り駆動部１０６、フォーカスレンズ駆動部１０７はレンズ制御部１０８によって制御され、絞り１０４の開口量や、フォーカスレンズ１０５の位置を決定する。

レンズ操作部１０９は、ＡＦ／ＭＦモードの切り替え、撮影距離範囲の設定、手ブレ補正モードの設定など、ユーザがレンズユニット１０１の動作に関する設定を行うための入力デバイス群である。レンズ操作部１０９が操作された場合、レンズ制御部１０８が操作に応じた制御を行う。

レンズ制御部１０８は、後述するカメラ制御部１２４から受信した制御命令や制御情報に応じて絞り駆動部１０６やフォーカスレンズ駆動部１０７を制御し、また、レンズ制御情報をカメラ制御部１２４に送信する。

次に、カメラ本体１０２の構成について説明する。カメラ本体１０２は、レンズユニット１０１の撮影光学系を通過した光束から撮像信号を取得できるように構成されている。撮像素子１１０は、ＣＣＤやＣＭＯＳセンサにより構成される。レンズユニット１０１の撮影光学系から入射した光束は、撮像素子１１０の受光面上に結像し、撮像素子１１０に配列された画素に設けられたフォトダイオードにより、入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部１２４の指令に従ってタイミングジェネレータ１２６が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子１１０から順次読み出される。

ここで、図２を参照して、本実施形態の撮像素子１１０について説明する。本実施形態では、マイクロレンズアレイを形成する個々のマイクロレンズ２０１を１つの画素と定義し、これを単位画素２０２として示す。撮像素子１１０には、単位画素２０２が複数配列されている。また、１つのマイクロレンズ２０１に対して複数の分割画素が対応するように配置されている。なお、本実施形態では、単位画素２０２には分割画素がＸ軸方向に２個あり、それぞれ分割画素２０１Ａ、２０１Ｂとして示す。

図３は、固定レンズ１０３から射出された光が１つのマイクロレンズ２０１を通過して撮像素子１１０で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。符号３０１、３０２は、撮影レンズの射出瞳を表す。射出瞳を通過した光は、光軸Ｚを中心として単位画素２０２に入射する。図３に示すように、射出瞳３０１を通過する光束はマイクロレンズ２０１を通して分割画素２０１Ａで受光され、射出瞳３０２を通過する光束はマイクロレンズ２０１を通して分割画素２０１Ｂで受光される。従って、分割画素２０１Ａ、２０１Ｂは、それぞれ固定レンズ１０３の射出瞳の異なる領域（瞳部分領域）の光を受光している。

撮像装置１００は、このように瞳分割された分割画素２０１Ａの信号をＸ軸方向に並ぶ複数の単位画素２０２から取得する。分割画素２０１Ａの出力信号群で構成された被写体像を、「Ａ像」と呼ぶ。同様に、撮像装置１００は、瞳分割された分割画素２０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素２０２から取得する。分割画素２０１Ｂの出力信号群で構成された被写体像を、「Ｂ像」と呼ぶ。

撮像装置１００は、Ａ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。また、撮像装置１００は、像のずれ量に対して焦点位置と光学系とから決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報を基にフォーカスレンズ１０５を制御することで、撮像面位相差ＡＦが可能となる。

また、Ａ像信号とＢ像信号とを足し合わせた信号を「Ａ＋Ｂ像」信号と呼ぶ。このＡ＋Ｂ像を、撮像画素（観賞用の画素）として用いることができる。後述するＡＦ信号生成範囲設定部１２７は、撮像素子１１０においてＡ像を読み出す範囲を設定し、撮像画素（Ａ＋Ｂ像）のみを読み出す範囲と区別する。後述する加算信号分離部１１２は、Ａ像及びＡ＋Ｂ像からＢ像を生成し、ＡＦ信号処理部１１４は、Ａ像及びＢ像に対して相関演算を行い、像ずれ量や各種の信頼性情報を算出する。

なお、撮像素子１１０の画素の分割数は２に限定されず、例えば、単位画素２０２は、Ｘ軸方向及びＹ軸方向それぞれについて２個、合計で４個の分割画素を含んでもよい。この場合、撮像装置１００は、射出瞳の第１の部分に対応する画素信号（例えば、左上及び左下の画素の信号）をＡ像信号として扱うことができる。また、撮像装置１００は、射出瞳の第１の部分と異なる第２の部分に対応する画素信号（例えば、右上及び右下の画素の信号）をＢ像信号として扱うことができる。

再び図１を参照すると、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１１１は、撮像素子１１０から読み出された撮像画素（Ａ＋Ｂ像）及び焦点検出用画素（Ａ像）に対し、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ／ＡＤコンバータ１１１で処理された信号は、加算信号分離部１１２に入力される。加算信号分離部１１２は、Ａ＋Ｂ像からＡ像を減算することによりＢ像を生成し、Ａ＋Ｂ像を工程傷補正部１２８に出力し、Ａ像及びＢ像をリアルタイム傷補正部１２９に出力する。

なお、ここではＡ像及びＡ＋Ｂ像からＢ像を生成するものとして説明を行ったが、各像の生成方法はこれに限定されない。例えば、撮像装置１００は、撮像素子１１０からＡ像及びＢ像を読み出し、Ａ像に対してＢ像を加算することによりＡ＋Ｂ像を生成してもよい。

工程傷補正部１２８は、後述するＲＯＭ１２２に格納されている、Ａ＋Ｂ像の傷位置を相対位置で示している傷データに基づいてＡ＋Ｂ像の工程傷（撮像素子の製造工程で既に発生している初期的欠陥）の補正を行う。工程傷補正部１２８は、補正されたＡ＋Ｂ像をリアルタイム傷補正部１３０に出力する。

ここで、図７を参照して、傷データのフォーマットの例について説明する。図７に示すフォーマットは、工程傷画素ごとに、Ａ＋Ｂ像の傷のオフセットアドレス７０１と傷情報７０２との組を持つ。Ａ＋Ｂ像の傷のオフセットアドレス７０１は、Ａ＋Ｂ像の注目工程傷画素に対する、直前に検出された工程傷画素からの相対位置を示す。即ち、図７の傷データは、撮像素子１１０に含まれる単位画素のうちの傷画素の位置を、傷画素間の相対位置の形式で表している。オフセットアドレス７０１は、例えば、１６ｂｉｔのデータ長を有する。傷情報７０２は、傷の欠損状態や傷の種類を示す。傷情報７０２は、ＩＳＯ感度やシャッター秒時、温度等のパラメータによって、傷補正時に傷として処理をするかどうかの判断基準として用いるものである。傷情報７０２は、例えば、１６ｂｉｔのデータ長を有する。

リアルタイム傷補正部１３０は、Ａ＋Ｂ像の各画素に対して、傷データを用いずに孤立点検出などによりリアルタイムに傷を検出して補正する。リアルタイム傷補正部１３０は、補正されたＡ＋Ｂ像を画像処理部１１３に出力する。

なお、図１の例では、カメラ本体１０２は、加算信号分離部１１２と画像処理部１１３との間に、工程傷補正部１２８及びリアルタイム傷補正部１３０を備える。しかし、カメラ本体１０２は、Ａ＋Ｂ像に対して、工程傷補正及びリアルタイム傷補正の両方ではなく、いずれか一方のみを適用してもよい。

画像処理部１１３は、工程傷補正部１２８から出力された画像信号（Ａ＋Ｂ像）に対し、例えば、色変換、ホワイトバランス、ガンマ補正等の既知の画像処理や、解像度変換処理、画像圧縮処理等を行う。画像処理部１１３は、各処理を施された画像信号を、バス１１６を介してＳＤＲＡＭ１２１に格納する。ＳＤＲＡＭ１２１に格納された画像信号は、バス１１６を介して表示制御部１１７によって読み出され、表示部１１８に表示される。また、画像信号の記録を行う動作モードでは、ＳＤＲＡＭ１２１に格納された画像信号は、記録媒体制御部１１９によって記録媒体１２０に記録される。

ＲＯＭ１２２（記憶部）は、カメラ制御部１２４が実行する制御プログラム、及び制御に必要な各種データを格納する。制御に必要な各種データには、Ａ＋Ｂ像の傷位置を傷画素間の相対距離（相対位置）で示している傷データが含まれる。フラッシュＲＯＭ１２３は、ユーザ設定情報等の、カメラ本体１０２の動作に関する各種設定情報等を格納する。

リアルタイム傷補正部１２９は、加算信号分離部１１２から出力されたＡ像及びＢ像の各画素に対して、傷データを用いずに孤立点検出などによりリアルタイムに傷を検出して補正する。リアルタイム傷補正部１２９は、補正されたＡ像及びＢ像をＡＦ信号処理部１１４に出力する。

ＡＦ信号処理部１１４は、リアルタイム傷補正部１２９から出力されたＡＦ用の２つの像信号（Ａ像及びＢ像）に対して相関演算を行い、像ずれ量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、傷情報等）を算出する。これらの各処理は、カメラ制御部１２４からの測距領域指定信号に基づいて、各測距領域に対して行われる。また、ＡＦ信号処理部１１４は、各測距領域ごとに算出した像ずれ量及び信頼性情報をカメラ制御部１２４へ出力する。

被写体検出処理部１１５は、加算信号分離部１１２から出力された撮像信号（Ａ＋Ｂ像）に基づいて画像処理部１１３により生成された輝度Ｙを用いた処理を行う。被写体検出処理部１１５は、撮影者が手動で指定した追尾対象位置、又は撮像装置１００が自動で設定した追尾対象位置に対応する画像を、テンプレート画像として、バス１１６を介してＳＤＲＡＭ１２１に格納する。また、被写体検出処理部１１５は、算出された顔領域や、その傾き角度、横向き角度等の顔情報を、バス１１６を介してカメラ制御部１２４へ出力する。

カメラ制御部１２４は、必要に応じて、ＡＦ信号処理部１１４、及びＡＦ信号生成範囲設定部１２７の設定を変更する。この変更は、ＡＦ信号処理部１１４が求めた像ずれ量や信頼性情報や、被写体検出処理部１１５が求めた顔領域、傾き角度、横向き角度等の顔情報や、レンズユニット１０１やカメラ本体１０２の状態情報などに基づいて行われる。例えば、カメラ制御部１２４は、ＡＦ信号処理部１１４に対して、コントラスト情報に応じてバンドパスフィルタの種類を変更するなどの処理を行う。また、カメラ制御部１２４は、ＡＦ信号生成範囲設定部１２７に対しては、Ａ像の読み出し位置を設定する。

カメラ制御部１２４は、カメラ本体１０２内の各機能ブロックと情報をやり取りして制御を行う。カメラ制御部１２４は、カメラ本体１０２内の処理だけでなく、カメラ操作部１２５からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録の開始、ＡＦ制御の開始、記録映像の確認等の、ユーザが操作したさまざまなカメラ機能を実行する。また、カメラ制御部１２４は、レンズユニット１０１の制御命令・制御情報をレンズ制御部１０８に送ったり、レンズユニット１０１の情報をレンズ制御部１０８から取得したりする。

カメラ制御部１２４は、例えば１つ以上のプログラマブルプロセッサであり、例えばＲＯＭ１２２に記憶された制御プログラムを実行することで、レンズユニット１０１を含めたカメラシステム全体の動作を実現する。

カメラ制御部１２４は、ＡＦ信号処理部１１４から複数の測距領域ごとに取得した相関演算結果のうち、特定の１つの測距領域の結果を基に、レンズ制御部１０８を介してフォーカスレンズ１０５を駆動する。このとき選択する測距領域は、例えば、被写体検出処理部１１５の顔情報を基にして設定した位置を中央として配置された測距領域である。

ＡＦ信号生成範囲設定部１２７は、カメラ制御部１２４から取得したカメラ本体１０２の制御情報や、レンズユニット１０１の状態情報、被写体検出処理部１１５の例えば顔情報等を基に、撮像素子１１０に対してＡ像信号を読み出す範囲の設定を行う。

図８（Ａ）、図９（Ａ）に示すように、ＡＦ信号生成範囲設定部１２７は、顔情報を基にして、Ａ像信号の読み出し範囲に関して顔を多く含むように設定を行う。例えば、図８（Ａ）では、顔情報として認識した領域が図９（Ａ）に比べて多いので、Ａ像信号を読み出す範囲（ＡＦ駆動画素）として、顔付近の１５ラインが設定されている。また、図９（Ａ）では、顔情報として認識した領域が図８（Ａ）に比べて少ないので、Ａ像信号を読み出す範囲（ＡＦ駆動画素）として、顔付近の６ラインが設定されている。このような制御を行うＡＦ信号生成範囲設定部１２７の動作に関する詳細は、カメラ本体１０２の制御を説明するフローチャートを用いて後述する。

次に、図４から図６を参照して、カメラ本体１０２の動作について説明する。図４は、カメラ本体１０２の撮影処理の手順を示すフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、カメラ制御部１２４がＲＯＭ１２２に格納された制御プログラムを実行することにより実現される。

Ｓ４０１で、カメラ制御部１２４は、カメラ設定等の初期化処理を行う。Ｓ４０２で、カメラ制御部１２４は、カメラ本体１０２の撮影モードが動画撮影モードであるか静止画撮影モードであるかを判定する。動画撮影モードの場合、処理はＳ４０３へ進み、静止画撮影モードの場合、処理はＳ４０４へ進む。

Ｓ４０３で、カメラ制御部１２４は、動画撮影処理を行う。Ｓ４０４で、カメラ制御部１２４は、静止画撮影処理を行う。静止画撮影処理の詳細は、図５を参照して後述する。本実施形態の傷補正処理は、動画撮影処理及び静止画撮影処理の両方に対して適用可能であるが、動画撮影処理の場合の傷補正処理は、静止画撮影処理の場合と同様であるため、以下では静止画撮影処理の場合についてのみ説明する。

Ｓ４０５で、カメラ制御部１２４は、撮影処理が停止されたかどうかを判定する。撮影処理が停止された場合とは、カメラ操作部１２５を通じてカメラ本体１０２の電源が切断された場合や、撮影以外の動作（撮像装置１００のユーザ設定処理、撮影画像・動画の確認のための再生処理等）が行われた場合などに対応する。撮影処理が停止された場合、本フローチャートの処理は終了する。撮影処理が停止されていない場合、処理はＳ４０６へ進む。

Ｓ４０６で、カメラ制御部１２４は、撮影モードが変更されたかどうかを判定する。撮影モードが変更された場合は、処理はＳ４０１へ戻り、撮影モードが変更されていない場合、処理はＳ４０２へ戻る。即ち、撮影モードが変更されていなければ、カメラ制御部１２４は現在の撮影モードの処理を継続して行い、撮影モードが変更された場合は、カメラ制御部１２４はＳ４０１で初期化処理を行った上で変更された撮影モードの処理を行う。

次に、図５を参照して、静止画撮影処理（Ｓ４０４）の詳細について説明する。本フローチャートの各ステップの処理は、特に断らない限り、カメラ制御部１２４がＲＯＭ１２２に格納された制御プログラムを実行することにより実現される。

Ｓ５０１で、カメラ制御部１２４は、焦点状態検出処理を行う。焦点状態検出処理は、カメラ制御部１２４、ＡＦ信号処理部１１４、及びＡＦ信号生成範囲設定部１２７による、撮像面位相差ＡＦを行うためのデフォーカス情報及び信頼性情報を取得する処理である。焦点状態検出処理の詳細は、図６を用いて後述する。

Ｓ５０２で、カメラ制御部１２４は、カメラ操作部１２５によってＡＦ指示が行われているかどうかを判定する。ＡＦ指示が行われている場合、処理はＳ５０３へ進み、ＡＦ指示が行われていない場合、処理はＳ５０４へ進む。本実施形態において、ＡＦ指示は、シャッターボタンを半押しした場合や、ＡＦを実行するＡＦ ＯＮボタンが押された場合を表す。もちろん、その他の機構によってＡＦ指示を行う構成でも構わない。

Ｓ５０３で、カメラ制御部１２４は、Ｓ５０１において取得されたデフォーカス情報等に基づいてＡＦ処理（合焦制御）を行う。その後、処理は図４のＳ４０５に戻る。

Ｓ５０４で、カメラ制御部１２４は、カメラ操作部１２５によって撮影指示が行われているかどうかを判定する。撮影指示が行われている場合、処理はＳ５０５へ進み、撮影指示が行われていない場合、処理はＳ５０７へ進む。本実施形態において、撮影指示は、シャッターボタンを全押しした場合を表す。もちろん、その他の機構によって撮影指示を行う構成でも構わない。

Ｓ５０５で、カメラ制御部１２４は、Ｓ５０３のＡＦ処理の結果として現在合焦停止状態にあるかどうかを判定する。合焦停止状態である場合、処理はＳ５０６へ進み。合焦停止状態でない場合、処理はＳ５０３へ進む。Ｓ５０５で合焦停止状態でない場合は、まだ被写体にピントが合っていないと考えられる。そのため、カメラ制御部１２４は、ＡＦ処理を開始又は継続することで、被写体にピントを合わせる。

Ｓ５０６で、カメラ制御部１２４は、撮影処理を行い、撮影画像（Ａ＋Ｂ像）に対して、工程傷補正部１２８及びリアルタイム傷補正部１３０を用いた傷補正処理を行う。その後、カメラ制御部１２４は、記録媒体制御部１１９を介して記録媒体１２０に撮影画像を保存する。

Ｓ５０４で撮影指示が行われていない場合、又はＳ５０６で撮影処理が行われた場合、Ｓ５０７の処理が実行される。Ｓ５０７で、カメラ制御部１２４は、合焦停止状態を解除する。即ち、撮影が完了した場合や、ＡＦ指示及び撮影指示が行われていない場合は、カメラ制御部１２４は、合焦停止状態でない状態に初期化しておく。その後、処理は図４のＳ４０５に戻る。

次に、図６を参照して、焦点状態検出処理（Ｓ５０１）の詳細について説明する。本フローチャートの各ステップの処理は、特に断らない限り、カメラ制御部１２４がＲＯＭ１２２に格納された制御プログラムを実行することにより実現される。

Ｓ６０１で、カメラ制御部１２４は、カメラ本体１０２又はレンズユニット１０１が持つ、ＡＦに使用する撮影パラメータを取得する。撮影パラメータとは、レンズユニット１０１内の絞り１０４の絞り情報や、カメラ本体１０２内の撮像素子１１０にかかっているセンサゲインなどをはじめとした情報である。カメラ制御部１２４は、ここで例示した情報に限らず、撮像装置１００の構成に応じて必要な情報を適宜取得してよい。カメラ制御部１２４は、ＡＦ信号処理部１１４でのＡＦ信号生成に係る処理や、ＡＦ信号生成範囲設定部１２７での処理を実行できるように、必要な撮影パラメータを取得する。

Ｓ６０２で、カメラ制御部１２４は、撮像画面において、測距領域（焦点状態検出を行う領域）の設定（配置）を行う。例えば、被写体検出が可能な場合、カメラ制御部１２４は、顔を検出した領域を、測距領域として設定する。

Ｓ６０３で、ＡＦ信号生成範囲設定部１２７は、カメラ制御部１２４が持つ情報に基づいて、撮像画面において、撮像面位相差検出方式のＡＦに用いる二像信号（Ａ像信号及びＢ像信号）を生成する範囲を設定する。この設定に際して、ＡＦ信号生成範囲設定部１２７は、Ｓ６０１で取得した撮影パラメータや、Ｓ６０２で設定した測距領域や、その他のＡＦ制御情報などに基づいて、二像信号を生成する範囲が適切になるように、適宜範囲の変更を行う。また、二像信号を生成する範囲を設定するとは、図２のような撮像素子において、Ａ像信号を生成する走査ラインをどの範囲にするかを設定するということである。二像信号を生成しないラインについては、Ａ＋Ｂ像信号のみが生成される。二像信号を生成する範囲を必要な範囲のみに限定することで、信号の読み出しを高速化することができ、読み出し負荷や熱の発生を軽減することができる。

Ｓ６０４で、加算信号分離部１１２は、Ｓ６０３で設定したＡＦ信号生成範囲に含まれる画素について、ＡＦ用の１対の像信号（Ａ像信号及びＢ像信号）を取得する（図８（Ｃ）及び図９（Ｃ）参照）。また、加算信号分離部１１２は、例えばライブビュー表示に用いるために、Ａ＋Ｂ像も取得する（図８（Ｂ）及び図９（Ｂ）参照）。

なお、Ａ像、Ｂ像、及びＡ＋Ｂ像の生成手順は特に限定されない。例えば、撮像素子１１０からＡ像及びＡ＋Ｂ像が読み出され、Ａ＋Ｂ像からＡ像を減算することによりＢ像が生成されてもよいし、撮像素子１１０からＡ像及びＢ像が読み出され、Ａ像に対してＢ像を加算することによりＡ＋Ｂ像が生成されてもよい。

Ｓ６０５で、リアルタイム傷補正部１２９は、Ｓ６０４で取得されたＡＦ用の像信号に対し、リアルタイム傷補正を行う。即ち、リアルタイム傷補正部１２９は、ＡＦ信号生成範囲に対応するＡ像及びＢ像の各画素に対して、傷データを用いずに孤立点検出などによりリアルタイムに傷を検出して補正する。また、工程傷補正部１２８及びリアルタイム傷補正部１３０は、Ｓ６０４で取得されたＡ＋Ｂ像に対し、工程傷補正及びリアルタイム傷補正を行う。

Ｓ６０６で、ＡＦ信号処理部１１４は、補正されたＡ像及びＢ像に基づき、Ｓ６０２で設定された測距領域における像ずれ量を算出する。Ｓ６０７で、ＡＦ信号処理部１１４は、像ずれ量がどれだけ信頼できるのかを表す信頼性情報を算出する。Ｓ６０８で、ＡＦ信号処理部１１４は、Ｓ６０６で算出した像ずれ量を、換算係数を掛けることでデフォーカス量に変換する。

次に、図８及び図９を参照して、工程傷補正部１２８及びリアルタイム傷補正部１２９の処理について更に詳細に説明する。図８及び図９には、図７を参照して説明したＡ＋Ｂ像の傷のオフセットアドレス７０１により示される、Ａ＋Ｂ像の工程傷画素が示されている。また、図８（Ａ）及び図９（Ａ）には、ＡＦ信号生成範囲設定部１２７により設定された、被写体の顔情報に応じたＡＦ信号生成範囲（ＡＦ駆動画素）が示されている。更に、図８（Ａ）及び図９（Ａ）には、通常駆動用画素（Ａ＋Ｂ像のみが取得される画素）も示されている。

図８（Ｂ）及び図９（Ｂ）は、実際にユーザが記録する記録用画素（Ａ＋Ｂ像）を示している。工程傷補正部１２８は、ＡＦ駆動画素の位置や行数によらず、傷データのオフセットアドレス７０１に基づいてＡ＋Ｂ像の工程傷画素を検出して補正する。なお、傷データが傷画素の位置を示す領域は、撮像素子１１０の全領域でなくても構わない。傷データが撮像素子１１０の所定領域について傷画素の位置を示す情報を保持している場合、記録用画素がこの所定領域に対応する画素であれば、工程傷補正部１２８は、傷データをそのまま用いて工程傷画素を検出して補正することができる。

図８（Ｃ）及び図９（Ｃ）は、ＡＦ信号生成範囲設定部１２７により設定されたＡＦ駆動画素に対応するＡＦ画素（Ａ像及びＢ像）を示している。リアルタイム傷補正部１２９は、Ａ像及びＢ像の各画素に対して、傷データを用いずに孤立点検出などによりリアルタイムに傷を検出して補正する。ＡＦ画素は、撮像素子１１０において動的に設定する可変領域であるため、傷データをそのまま用いて工程傷を検出できるとは限らない。そのため、ＡＦ画素に対応するＡ像及びＢ像に対しては、傷データを用いた工程傷補正は行われず、リアルタイム傷補正部１２９による補正が行われる。

以上説明したように、第１の実施形態によれば、撮像装置１００は、傷データが傷画素の位置を示す撮像素子１１０の所定領域に対応する画像に対し、傷データに基づいて傷画素を検出して補正する処理を行う。また、撮像装置１００は、動的に設定される撮像素子１１０の可変領域に対応する画像に対し、傷データを用いずに孤立点検出などによりリアルタイムに傷画素を検出して補正する処理を行う。これにより、傷データのデータ量の増大を抑制しつつ、傷補正を行うことが可能になる。

なお、本実施形態においては、Ａ像信号を読み出す範囲を顔付近のみとして説明を行ったが、画角内に一定の周期で、Ａ像信号を読み出す行を設定してもよい。

［第２の実施形態］
第１の実施形態では、傷データが撮像素子１１０の所定領域について傷画素の位置を示す情報を保持している状況において、動的に設定される撮像素子１１０の可変領域に対応する画像については、傷データを用いずに傷補正を行う構成について説明した。第２の実施形態では、可変領域が所定領域に一致する場合に、可変領域に対応する画像についても傷データに基づく傷画素の検出及び補正を行う構成について説明する。以下、主に第１の実施形態と異なる点について説明する。

図１０は、第２の実施形態に係る撮像装置１０００の機能構成例を示すブロック図である。図１０において、図１と同一又は同様の構成要素には図１と同一の符号を付す。図１０の撮像装置１０００においては、図１の撮像装置１００と異なり、加算信号分離部１１２とリアルタイム傷補正部１２９との間に、工程傷補正部１３１が配置されている。工程傷補正部１３１は、加算信号分離部１１２から入力されたＡ像及びＢ像に対し、ＲＯＭ１２２に格納されている傷データに基づいて傷の検出及び補正を実行可能なように構成されている。但し、工程傷補正部１３１が傷データに基づく傷補正を実行するのは、ＡＦ信号生成範囲設定部１２７により設定されたＡＦ信号生成範囲（ＡＦ駆動画素）が、傷データが傷画素の位置を示す領域と一致している場合である。

図１１を参照して、工程傷補正部１３１が傷データに基づく傷補正を実行する場合について詳細に説明する。図１１には、図７を参照して説明したＡ＋Ｂ像の傷のオフセットアドレス７０１により示される、Ａ＋Ｂ像の工程傷画素が示されている。また、図１１（Ａ）には、ＡＦ信号生成範囲設定部１２７により設定された、被写体の顔情報に応じたＡＦ信号生成範囲（ＡＦ駆動画素）が示されている。図１１（Ａ）においては、ＡＦ駆動画素が撮像素子１１０の全ラインに設定されている。

図１１（Ｂ）は、実際にユーザが記録する記録用画素（Ａ＋Ｂ像）を示している。工程傷補正部１２８は、傷データのオフセットアドレス７０１に基づいてＡ＋Ｂ像の工程傷画素を検出して補正する。

図１１（Ｃ）は、ＡＦ信号生成範囲設定部１２７により設定されたＡＦ駆動画素に対応するＡＦ画素（Ａ像及びＢ像）を示している。カメラ制御部１２４は、ＡＦ駆動画素が記録用画素に一致するか否かを判定し、一致する場合、傷データに基づく傷補正を実行するように工程傷補正部１３１を制御する。この場合、リアルタイム傷補正部１２９による傷補正は省略してもよい。

以上説明したように、第２の実施形態によれば、傷データが撮像素子１１０の所定領域について傷画素の位置を示す情報を保持している。この状況において、撮像装置１０００は、動的に設定される撮像素子１１０の可変領域が所定領域に一致する場合に、可変領域に対応する画像についても傷データに基づく傷画素の検出及び補正を行う。これにより、傷データを一層有効に活用することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１１０…撮像素子、１１２…加算信号分離部、１１４…ＡＦ信号処理部、１２４…カメラ制御部、１２７…ＡＦ信号生成範囲設定部、１２８…工程傷補正部、１２９…リアルタイム傷補正部、１３０…リアルタイム傷補正部

Claims (7)

1. 撮影光学系の射出瞳の異なる瞳部分領域を通過する光束を受光する複数の分割画素を含む単位画素を複数配列した撮像素子と、
   前記撮像素子の所定領域に含まれる単位画素のうちの傷画素の位置を、傷画素間の相対位置の形式で表す傷データを記憶する記憶部と、
   動的に設定される前記撮像素子の可変領域に対応し、前記射出瞳の第１の部分に対応する第１の画像を取得する第１の取得手段と、
   前記撮像素子の前記所定領域に対応し、前記射出瞳の全体に対応する第２の画像を取得する第２の取得手段と、
   前記第１の画像に含まれる傷画素を、前記傷データを用いずに前記第１の画像の画素の値に基づいて検出し、当該検出した傷画素を補正する第１の補正手段と、
   前記第２の画像に含まれる傷画素を、前記傷データに基づいて検出し、当該検出した傷画素を補正する第２の補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記可変領域が前記所定領域に一致する場合、前記第１の補正手段は、前記第１の画像に含まれる傷画素を、前記傷データに基づいて検出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の取得手段は、前記撮像素子の前記可変領域に対応し、前記射出瞳の前記第１の部分と異なる第２の部分に対応する第３の画像を更に取得し、
   前記第１の補正手段は、前記第３の画像に含まれる傷画素を、前記傷データを用いずに前記第３の画像の画素の値に基づいて検出し、当該検出した傷画素を補正する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１の取得手段は、前記第２の画像のうち前記可変領域に対応する部分から前記第１の画像を減算することにより、前記第３の画像を取得する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記第１の画像と前記第３の画像との間での被写体像のずれ量に基づいて前記撮影光学系の合焦制御を行う制御手段を更に備える
   ことを特徴とする請求項３又は４に記載の撮像装置。
6. 撮影光学系の射出瞳の異なる瞳部分領域を通過する光束を受光する複数の分割画素を含む単位画素を複数配列した撮像素子と、
   前記撮像素子の所定領域に含まれる単位画素のうちの傷画素の位置を、傷画素間の相対位置の形式で表す傷データを記憶する記憶部と、
   を備える撮像装置が実行する制御方法であって、
   動的に設定される前記撮像素子の可変領域に対応し、前記射出瞳の第１の部分に対応する第１の画像を取得する第１の取得工程と、
   前記撮像素子の前記所定領域に対応し、前記射出瞳の全体に対応する第２の画像を取得する第２の取得工程と、
   前記第１の画像に含まれる傷画素を、前記傷データを用いずに前記第１の画像の画素の値に基づいて検出し、当該検出した傷画素を補正する第１の補正工程と、
   前記第２の画像に含まれる傷画素を、前記傷データに基づいて検出し、当該検出した傷画素を補正する第２の補正工程と、
   を備えることを特徴とする制御方法。
7. コンピュータを、請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。