JP2018019296A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】１回の撮影で露出量の異なる画像を得るとともに、得られた画像から精度の良い位相差検出が可能な撮像装置およびその制御方法を提供すること。【解決手段】撮像素子には複数の副画素を有する画素が行列状に配置される。第１の露出条件が設定された副画素から得られる信号と、第２の露出条件が設定された副画素から得られる信号とから、ダイナミックレンジを拡大した信号を生成する。また、複数の副画素で得られる信号から生成される、結像光学系の射出瞳の第１の領域を出射する光束による第１の像信号と、射出瞳の第２の領域を出射する光束による第２の像信号との位相差を検出する。【選択図】図１

Description

本発明は、撮像装置およびその制御方法に関する。

露出の異なる画像を合成することにより、撮像素子のダイナミックレンジを超えるダイナミックレンジを有する画像（ＨＤＲ画像）を生成する技術が知られている。異なるタイミングで撮影した画像からＨＤＲ画像を生成すると、動きのある被写体はＨＤＲ画像においてブレた状態になる。そのため、１回の撮影で露出の異なる画像を得るための構成が提案されている（特許文献１）。

特許文献１には、１つのマイクロレンズに複数の画素が割り当てられた撮像素子を用いてＨＤＲ画像を生成することが開示されている。１つのマイクロレンズに複数の画素が割り当てられた撮像素子では、マイクロレンズに対する画素の相対位置は視点に相当し、１つのマイクロレンズに割り当てられた画素の数に等しい視差画像を１回の露光によって得ることができる。特許文献１では、このような視差画像のうち、マイクロレンズのケラレが大きな視点位置の画像を低露出の画像、ケラレが小さな視点位置の画像を高露出の画像として用いてＨＤＲ画像を生成している。

特開２０１５−１４４４１６号公報（段落００３７〜００３８、００４７〜００５２、図４）

１対の視差画像の像ずれ量は位相差検出方式の焦点検出に用いることができるが、１対の視差画像のケラレの差が大きい場合、焦点検出領域で得られる画素信号波形の相関が低下し、位相差の検出精度が低下するという問題が生じる。従って、特許文献１の構成では、ＨＤＲ画像の生成と精度の良い位相差検出の両立が容易でないという課題が生じる。

本発明はこのような従来技術の課題に鑑みてなされたものであり、１回の撮影で露出量の異なる画像を得るとともに、得られた画像から精度の良い位相差検出が可能な撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、複数の副画素を有する画素が行列状に配置された撮像素子と、複数の副画素に異なる露出条件を設定する設定手段と、異なる露出条件のうち、第１の露出条件が設定された副画素から得られる信号と、第２の露出条件が設定された副画素から得られる信号とから、ダイナミックレンジを拡大した信号を生成する処理手段と、複数の副画素で得られる信号から生成される、結像光学系の射出瞳の第１の領域を出射する光束による第１の像信号と、射出瞳の第２の領域を出射する光束による第２の像信号との位相差を検出する検出手段と、位相差に基づいて結像光学系のデフォーカス量を求める算出手段と、を有することを特徴とする撮像装置によって達成される。

本発明によれば、１回の撮影で露出量の異なる画像を得るとともに、得られた画像から精度の良い位相差検出が可能な撮像装置およびその制御方法を提供することができる。

第１実施形態に係る撮像装置としてのデジタルカメラの機能構成例を示すブロック図 第１実施形態における撮像素子の構成例を示す図 第１実施形態における画素の構成例と画素配列例を示す図 射出瞳と図３に示した画素との関係を示す模式図 第１実施形態における露出条件の設定例を示す模式図 第１実施形態における画素の回路構成例を示す図 実施形態におけるＨＤＲ処理部の動作に関する図 第１実施形態における撮影処理に関するフローチャート 第２実施形態に係るデジタルカメラの機能構成例を示すブロック図 第２実施形態における露出条件の設定例と、ＨＤＲ処理および加算処理前後の信号の関係を示す模式図 第２実施形態における撮影処理に関するフローチャート 第３実施形態に係る撮像素子の画素構成 第３実施形態における露出条件の設定例と、ＨＤＲ処理前後の信号の関係を示す模式図 第４実施形態における露出条件の設定例と、ＨＤＲ処理および加算処理前後の信号の関係を示す模式図

以下、本発明の例示的な実施形態について添付図面に基づいて詳細に説明する。なお、以下の実施形態においては、本発明に係る撮像装置の一例としてのデジタルカメラに関して説明する。しかしながら、本発明は固体撮像素子を用いる任意の電子機器に適用可能である。このような電子機器にはデジタルカメラをはじめ、パーソナルコンピュータ、タブレットコンピュータ、携帯電話機、スマートフォン、ＰＤＡ、ゲーム機、ドライブレコーダ、ロボットなどが含まれるが、これらに限定されない。

●（第１実施形態）
図１（ａ）は、本実施形態に係るデジタルカメラの機能構成例を示すブロック図である。デジタルカメラは、鏡筒１０１、撮像素子１０２、ＨＤＲ処理部１０３、画像処理部１０４、圧縮伸長部１０５、信号処理部１０６、制御部１０７、発光部１０８、操作部１０９、表示部１１０、記録部１１１を備える。なお、図において点線矢印は被写体光、実線矢印は制御信号や画像信号以外の信号、一点鎖線矢印は画像信号を表している。

鏡筒１０１はレンズユニット（結像光学系）であり、着脱可能であっても、固定されていてもよい。フォーカス機構部１０１１は、フォーカスレンズとその駆動機構を有する。ズーム機構部１０１２は、レンズの焦点距離（画角）を変更するズームレンズとその駆動機構を有する。絞り機構部１０３は、撮像素子１０２に入射する光量を調整する絞り羽根とその駆動機構を有する。シャッタ機構部１０１４はシャッターとその駆動機構を有する。なお、絞りがシャッターを兼ねる場合、絞り機構部１０１３とシャッタ機構部１０１４は統合される。フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４の動作は制御部１０７によって制御される。

撮像素子１０２は、マイクロレンズごとに複数の光電変換部またはフォトダイオードが割り当てられた画素部や、アナログ・デジタル（ＡＤ）コンバータなどを有し、画像信号を出力する。なお、撮像素子１０２は、光電変換部を単位とした読み出しや、マイクロレンズを単位とした読み出しなど、複数の読み出しモードを有する。撮像素子１０２の電荷蓄積やリセット動作のタイミングは制御部１０７によって制御される。

ＨＤＲ処理部１０３は、撮像素子１０２が出力する画像信号に基づいてダイナミックレンジを拡張するための合成処理を行う。ＨＤＲ処理部１０３の処理の詳細は後述する。

画像処理部１０４は図１（ｂ）に示すように信号生成部１０４１、色補正処理部１０４２、ＡＥ（Auto Exposure）処理部１０４３、およびホワイトバランス調整処理部１０４４を有する。
画像処理部１０４は、ＨＤＲ処理部１０３から、ＨＤＲ処理後の視差画像信号（Ａ像信号群およびＢ像信号群（後述））を信号生成部１０４１で受信する。信号生成部１０４１はＡ像信号群にＢ像信号群を加算して１フレームの画像信号として、もしくは加算せずに１対の視差画像信号として出力する。色補正処理部１０４２は、信号生成部１０４１が出力する画像信号に色補正処理を適用して制御部１０７、ＡＥ処理部１０４３、およびホワイトバランス調整処理部１０４４に出力する。

制御部１０７は、色補正処理部１０４２から受信した画像信号を内部のＲＡＭ（Random Access Memory）に格納する。

ＡＥ処理部１０４３は色補正処理部１０４２から受信した画像信号から例えば輝度情報を生成し、絞り値、シャッタースピード、感度などの露出条件を決定し、制御部１０７に出力する。ＡＥ処理部１０４３はまた、輝度情報に基づいて発光部１０８の発光要否を判定し、制御部１０７に出力する。
ホワイトバランス調整処理部１０４４は色補正処理部１０４２から受信した画像信号にオートホワイトバランス調整処理を適用して制御部１０７に出力する。

圧縮伸長部１０５は、制御部１０７内のＲＡＭに格納された画像信号を読み出し、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットに準拠した符号化処理を適用して符号化画像データを生成する。また、圧縮伸長部１０５は、制御部１０７から供給された符号化画像データに復号処理を適用する。なお、圧縮伸長部１０５は、ＭＰＥＧ（Moving Picture Experts Group）方式などに準拠した動画の符号化や復号を実行してもよい。

信号処理部１０６は、ＨＤＲ処理部１０３から受信する、ＨＤＲ処理されたＡ像信号とＢ像信号（後述）から、Ａ像とＢ像の位相差（像ずれ量）を検出し、制御部１０７に送信する。算出手段としての制御部１０７は位相差を撮像光学系の焦点状態を示すデフォーカス量に変換し、デフォーカス量からフォーカスレンズの駆動量および駆動方向を決定する。制御部１０７は決定した駆動方向および駆動量を表す制御信号をフォーカス機構部１０１１に送信する。フォーカス機構部１０１１は制御部１０７から受信した制御信号に従ってフォーカスレンズの駆動機構を動作させる。

制御部１０７は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭなどから構成されるプログラマブルコントローラである。制御部１０７は、ＲＯＭに記憶されたプログラムをＲＡＭにロードしてＣＰＵで実行することにより、デジタルカメラの各部の動作を制御し、デジタルカメラの各機能を実現する。

発光部１０８は、画像処理部１０４でのＡＥ処理によって被写体輝度が低いと判断された場合、撮影時に発光させる補助光源であり、キセノン管やＬＥＤなどを光源として用いることができる。
操作部１０９は、例えばボタン、キー、レバー、ダイヤル、タッチパネルなどを有し、ユーザ操作に応じた制御信号を制御部１０７に出力する。操作部１０９には例えばシャッタレリーズボタン、メニューボタン、撮影モードダイヤル、再生／撮影モード切替ボタン、ズームレバー、方向キー、決定ボタンなどが含まれる。

表示部１１０は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスとそのインタフェース回路などを有する。表示部１１０は、制御部１０７から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。

記録部１１１は、例えば、着脱可能な半導体メモリ、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどを記録媒体とする記憶装置である。記録部１１１は例えば圧縮伸長部１０５が生成する符号化画像データを制御部１０７を通じて受け取り、記録する。記録部１１１はまた、制御部１０７から要求されたデータを記録媒体から読み出し、制御部１０７に出力する。

図２は撮像素子１０２の構成例を示す模式図である。撮像素子１０２は、例えばシリコン(Si)を用いた半導体基板に、複数の画素２０１が行列状に配列された画素アレイ部２０２と、周辺回路部とを有する。周辺回路部には、垂直駆動回路２０３、カラム信号処理回路２０４、水平駆動回路２０５、タイミング制御回路２０６などが含まれる。

画素２０１は、光電変換部としてのフォトダイオードを複数有する。また、画素２０１は、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタなどを含む、複数の画素トランジスタを有する。画素２０１については図３、図６を用いて後で詳細に説明する。

垂直駆動回路２０３は、例えばシフトレジスタを有し、画素駆動線２０８を選択し、選択された画素駆動線２０８に画素２０１を駆動するためのパルスを供給し、行単位で画素２０１を駆動する。すなわち、垂直駆動回路２０３は、画素アレイ部２０２の画素２０１を行単位で垂直方向に順次選択し、選択した行の画素２０１で生成された信号電荷に基づく画素信号を、垂直信号線２０７を通してカラム信号処理回路２０４に供給する。

カラム信号処理回路２０４は、画素２０１の列ごとに配置され、垂直駆動回路２０３で選択された行の画素２０１から出力される画素信号に対してノイズ除去などの信号処理を行う。例えば、カラム信号処理回路２０４が行う信号処理は、画素固有の固定パターンノイズを除去するための相関２重サンプリング(Correlated Double Sampling)や、増幅、ＡＤ変換などであってよい。

水平駆動回路２０５は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路２０４を順番に選択し、カラム信号処理回路２０４の各々から画素信号を水平信号線２０９に出力させる。

タイミング制御回路２０６は、垂直同期信号、水平同期信号、およびマスタクロックに基づいて、垂直駆動回路２０３、カラム信号処理回路２０４、および水平駆動回路２０５などの動作の基準となるクロック信号や制御信号を生成する。マスタクロックは例えば制御部１０７からタイミング制御回路２０６に供給される。また、タイミング制御回路２０６は、制御部１０７から受信するデータに基づく動作モードで動作する。

図３は、撮像素子１０２の画素２０１の構成例と画素アレイ部２０２とを模式的に示す平面図である。
画素２０１は、図３（ａ）に示すように、１つのマイクロレンズ２１０と、同様の構成を有する２つの副画素２０１Ｌ、２０１Ｒとを有する。副画素２０１Ｌにはフォトダイオード（ＰＤ）２１１と、ＰＤ２１１が発生する電荷を読み出す転送トランジスタ２１３と、転送トランジスタ２１３で読み出した電荷を一時的に蓄積するフローティングディフュージョン（ＦＤ）２１５が設けられている。副画素２０１Ｒにも同様に、ＰＤ２１２、転送トランジスタ２１４、ＦＤ２１６が設けられている。このように、副画素２０１Ｌ、２０１Ｒは、独立した信号を生成および出力することができる。

ＰＤ２１１とＰＤ２１２には結像光学系（鏡筒１０１）の射出瞳のうち、互いに異なる部分領域から光が入射する。そのため、画素アレイ部２０２に含まれる複数の画素２０１について、副画素２０１Ｌから得られる画素信号で形成される画像と、副画素２０１Ｒから得られる画素信号で形成される画像とは、視点が異なる画像（視差画像）となる。
なお、画素２０１ごとに、ＰＤ２１１とＰＤ２１２から得られる画素信号を加算すると、画素またはマイクロレンズ単位の画素信号が得られる。

図３（ｂ）は、図２の画素アレイ部２０２における画素の配列を模式的に示している。画素３０１、３０２、３０３、３０４を例にとって説明すると、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは図３（ａ）のＰＤ２１１に対応し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは図３（ａ）のＰＤ２１２に対応している。

図３（ｂ）のような画素配列を有する撮像素子１０２における、ＰＤ２１１、２１２と結像光学系の射出瞳との関係を図４を用いて説明する。
図４において、４０１は図３（ａ）における画素２０１が３つ並んだ状態の断面構成を模式的に示している。画素２０１の各々は、マイクロレンズ２１０、ＰＤ２１１、ＰＤ２１２の他に、所定の色パターンのカラーフィルタ４０３を有する。また、中央のマイクロレンズ２１０を有する画素に対して、射出瞳４０６から出射する光束の中心を光軸４０９とする。射出瞳４０６から出射した光束は、光軸４０９を中心として撮像素子１０２に入射する。４０７、４０８は射出瞳４０６の部分領域（瞳領域）を表す。瞳領域４０７（第１の領域）を出射する光束の最外周の光線を４１０、４１１で示し、瞳領域４０８（第２の領域）を出射する光束の最外周の光線を４１２、４１３で示す。図４からわかるように、射出瞳４０６を出射する光束のうち、光軸４０９を境にして、瞳領域４０７を出射する光束はＰＤ２１２に入射し、瞳領域４０８を出射する光束はＰＤ２１１に入射する。つまり、ＰＤ２１１とＰＤ２１２は、各々、射出瞳４０６の瞳領域４０７、４０８を出射した光束を受光する。

以下では、ＰＤ２１１で得られる信号をＡ像信号、ＰＤ２１２で得られる信号をＢ像信号と呼ぶ。また、Ａ像信号列で形成される像をＡ像、Ｂ像信号列で形成される像をＢ像と呼ぶ。図３（ｂ）の行３０５に含まれる画素３０１、３０２、３０３、３０４から得られる信号の場合、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌから得られるＡ像信号で形成される像（信号列）がＡ像（第１の像信号）である。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒから得られるＢ像信号で形成される像（信号列）がＢ像（第２の像信号）である。Ａ像およびＢ像は、信号処理部１０６で位相差を検出する対象であり、まとめて焦点検出用信号と呼ぶ。また、Ａ像信号を出力するＰＤもしくは副画素をＡ像用副画素、Ｂ像信号を出力するＰＤもしくは副画素をＢ像用副画素と呼ぶ。

図５は、図３（ｂ）に示した画素配列の一部について、原色ベイヤー配列のカラーフィルタが設けられている状態を示している。本実施形態においては、１度の撮影でＨＤＲ画像を生成するため、異なる露出条件（第１および第２の露出条件）を副画素に設定する。

図５において、ｎ，ｎ＋２，ｎ＋４行目は、赤（Ｒ）と緑（Ｇｒ）のカラーフィルタが交互に配置され、ｎ＋１，ｎ＋３，ｎ＋５行目は緑（Ｇｂ）と青（ＢＬ）のカラーフィルタが交互に配置されている。そして、ｎ行目でＡ像信号を読み出す光電変換部（例えばＰＤ３０１Ｌ）と、Ｂ像信号を読み出す光電変換部（例えばＰＤ３０１Ｒ）との電荷蓄積時間を異ならせる（例えばＰＤ３０１Ｌの電荷蓄積時間をＰＤ３０１Ｒの電荷蓄積時間より短くする。逆でもよい）。また、ｎ行目とカラーフィルタの配列が同じで、ｎ行目とは電荷蓄積時間の関係を逆転させた行を設ける。図５の例では、ｎ＋２行目のＰＤ３０１Ｒ’の電荷蓄積時間はＰＤ３０１Ｌの電荷蓄積時間と等しく、ＰＤ３０１Ｌ’の電荷蓄積時間はＰＤ３０１Ｒの電荷蓄積時間と等しい。

同様に、ｎ＋３行目においては、ＰＤ３１０Ｌの電荷蓄積時間をＰＤ３１０Ｒの電荷蓄積時間より短く（または長く）する。また、ｎ＋５行目のＰＤ３１０Ｒ’の電荷蓄積時間はＰＤ３１０Ｌの電荷蓄積時間と等しく、ＰＤ３１０Ｌ’の電荷蓄積時間はＰＤ３１０Ｒの電荷蓄積時間と等しい。
なお、後述するように、異なる露出条件は、実質的に露出量が異なる信号が得られれば電荷蓄積時間の長さを異ならせることに限らない。
また、ＨＤＲ画像を生成する場合、ｎ＋１行目とｎ＋４行目については画素信号の読み出しを行わない。

このように、ＨＤＲ画像を生成する場合に読み出す画素行（読み出し行）において、行内で露出の異なるＡ像信号とＢ像信号を読み出す。また、Ａ像信号とＢ像信号の露出量の大小関係を隣接す読み出し行で逆転させる。そのため、高露出の副画素が飽和するなどして画素信号が使用できない場合においても、行間が間引かれたり、Ａ像用副画素とＢ像用副画素の一方だけ画素信号が用いられたりされないようにしている。

読み出し行のＡ像信号とＢ像信号ついて露出差が出るように撮影を実施し、露出差の関係が逆転している異なる読み出し行の同種の像信号と組み合わせて用いることでＨＤＲ処理を実施する。つまり、ＨＤＲ処理部１０３は、高露出のＡ像信号と低露出のＡ像信号との組み合わせ、高露出のＢ像信号と低露出のＢ像信号との組み合わせを用いてＨＤＲ処理を実施する。

副画素間で露出差を生じさせる手法に制限は無いが、例えば、電荷蓄積時間を異ならせてもよいし、電荷蓄積時間は共通とし、画素信号に対してカラム信号処理回路２０４で適用する信号増幅率（ゲイン）を異ならせてもよい。なお、以下では電荷蓄積時間を異ならせるものとし、図５で斜線を付したＰＤ（例えばＰＤ３０１Ｌ）には低露出の露出条件、縦線を付したＰＤ（例えばＰＤ３０１Ｒ）が高露出の露出条件にそれぞれ設定されるものとして説明する。

図５の例では、カラーフィルタの配列が等しい隣接する２行を１組として、垂直方向に隣接する組のカラーフィルタの配列が異なるようにＨＤＲモードにおける読み出し行を設定している。
なお、読み出し行内の副画素の露出量は共通として、行単位で露出量を異ならせてもよい。例えば図５のｎ行目の副画素は全て高露出に設定し、ｎ＋２行目の副画素を全て低露出に設定してもよい。

また、ここではＡ像とＢ像の水平方向の位相差を検出するため、位相差検出方向である水平方向に並んだ同種の副画素に対しては同一の露出条件を設定し、位相差検出方向に直交する垂直方向に並んだ同種の副画素に対しては異なる露出条件を設定した。しかし、位相差検出方向が垂直方向の場合には、上下に分割された副画素について、位相差検出方向とそれに直交する方向とで露出条件の設定を異ならせればよい。

このような露出設定および読み出し行の設定によって読み出された１画面分の画素信号は、ＨＤＲ処理部１０３で後述するＨＤＲ処理が行われた後、画像処理部１０４と、信号処理部１０６へそれぞれ供給される。

次に図６を用いて、画素２０１の回路構成と動作について説明する。図６は画素２０１が有する副画素２０１Ｌ、２０１Ｒのうち、副画素２０１Ｌに関する回路構成を示す図である。副画素２０１Ｒも同様の回路構成を有する。

図６に示すように、副画素２０１Ｌには、フォトダイオードＰＤ２１１、転送トランジスタ２１３、増幅トランジスタ６１０、選択トランジスタ６１１、およびリセットトランジスタ６１２が設けられている。なおここでは、各トランジスタはｎチャネルＭＯＳＦＥＴ（MOS Field-Effect Transistor）である。

また、転送トランジスタ２１３、選択トランジスタ６１１およびリセットトランジスタ６１２の各ゲートには、画素駆動線２０８に含まれる転送信号線６１３、行選択信号線６１４、リセット信号線６１５が接続されている。これらの信号線は同一行に含まれる副画素に共通であり、行順次動作型のローリングシャッタや、全行同時動作型のグローバルリセット動作を制御することが可能である。また、転送信号線６１３を副画素２０１Ｌ、２０１Ｒで別個とすることにより、副画素２０１Ｌ、２０１Ｒに別個の露出時間（露出量）を設定することが可能になる。さらに、選択トランジスタ６１１のソースには垂直信号線２０７が接続され、垂直信号線２０７の一方の端部は、定電流源６１６を介して接地されている。

ＰＤ２１１は、光電変換により電荷を生成する。ＰＤ２１１のＰ側は接地され、Ｎ側が転送トランジスタ２１３のソースに接続されている。転送トランジスタ２１３がＯＮすると、ＰＤ２１１で生成および蓄積された電荷がＦＤ２１５に転送され、ＦＤ２１５の寄生容量Ｃ６１に電荷が蓄積される。

増幅トランジスタ６１０のドレインは電源電圧Ｖｄｄとされ、ゲートはＦＤ２１５に接続されている。この増幅トランジスタ６１０は、ＦＤ２１５の電圧を電気信号に変換する。選択トランジスタ６１１は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタ６１０のソースに、ソースは垂直信号線２０７に接続されている。この選択トランジスタ６１１がＯＮしたときには、増幅トランジスタ６１０と定電流源６１６とがソースフォロアを構成するので、ＦＤ２１５の電圧に対応する電圧が垂直信号線２０７に出力される。リセットトランジスタ６１２のドレインは電源電圧Ｖｄｄとされ、ソースはＦＤ２１５に接続されている。このリセットトランジスタ６１２は、ＦＤ２１５の電圧を電源電圧Ｖｄｄにリセットする。

図７は、ＨＤＲ処理部１０３が実行するＨＤＲ処理に関する模式図であり、入射光量と信号量の関係を示している。
高露出量が設定される副画素（高露出副画素）では、入射光量がP2となった時点で飽和信号量Q2に到達し、低露出量が設定される副画素（低露出副画素）では、入射光量がP3となった時点で飽和信号量Q2に到達するものとする。一方、ノイズレベルQ1以下の信号量の画素信号は利用することができない。この場合、高露出副画素のダイナミックレンジは入射光量P0からP2までの範囲となり、低露出副画素のダイナミックレンジは入射光量P1からP3までの範囲となる。

低露出副画素と高露出副画素の露出量の比が１：３（低露出副画素の露出量：高露出副画素の露出量＝１：３）であるとする。この場合、ＨＤＲ処理部１０３は、低露出副画素と高露出副画素を１つずつ有する画素について、Ｐ０＜入射光量≦Ｐ１の範囲の入射光量Ａについて、以下の式（１）により、ＨＤＲ処理後の画素信号HDL_Aを求める。
画素信号HDL_A＝高露出副画素信号×１＋低露出副画素信号×０・・・（１）

また、ＨＤＲ処理部１０３は、Ｐ１＜入射光量≦Ｐ２の範囲の入射光量Ｂについて、以下の式（２）により、ＨＤＲ処理後の画素信号HDL_Bを求める。
画素信号HDL_B＝高露出副画素信号×（１-α）＋低露出副画素信号×α×３・・・（２）
さらに、ＨＤＲ処理部１０３は、Ｐ２＜入射光量の範囲の入射光量Ｃについて、以下の式（３）により、ＨＤＲ処理後の画素信号HDL_Cを求める。
画素信号HDL_C＝高露出副画素信号×０＋低露出副画素信号×３・・・（３）

ＨＤＲ処理部１０３は、読み出し行に含まれる各画素２０１について、画素の信号量を、低レベル（入射光量Ａに対応）、中レベル（入射光量Ｂに対応）、高レベル（入射光量Ｃに対応）に分類する。分類は、同一画素が有する低露出副画素（例えば３０１Ｌ）の信号量と高露出副画素（例えば３０１Ｒ）の信号量の関係に基づいて行うことができる。

そして、ＨＤＲ処理部１０３は、信号量が低レベルの画素２０１については、高露出副画素の画素信号のみを用いた式（１）により、ＨＤＲ処理後の画素信号を求める。また、ＨＤＲ処理部１０３は、信号量が中レベルの画素２０１については、高露出副画素の画素信号と低露出の画素信号を（１−α）：αの比率で合成した式（２）により、ＨＤＲ処理後の画素信号を求める。ここで、α（αは０以上１以下）は合成比率を表す。さらに、ＨＤＲ処理部１０３は、信号量が高レベルの画素２０１については、低露出の光電変換部信号のみを用いた式（３）により、ＨＤＲ処理後の画素信号を求める。

このようなＨＤＲ処理により、図７に示されるように、各画素のダイナミックレンジが入射光量Ｐ０〜Ｐ３に対応する信号量Ｑ１からＱ３に拡張されら高ダイナミックレンジの画像（ＨＤＲ画像）が得られる。
なお、信号量レベルの低レベル、中レベル、及び高レベルの区分（図７における入射光量Ｐ０、Ｐ１、Ｐ２に相当する信号量）については予め定めておくことができる。

なお、式（１）〜式（３）で用いる高露出副画素、低露出副画素は、隣接する読み出し行内の、水平位置が同一の画素に含まれる同種の副画素である。例えば、画素の信号量を低露出副画素３０１Ｌと高露出副画素３０１Ｒの出力に基づいて分類したとする。この場合、式（１）〜式（３）を用いて低露出副画素３０１Ｌの出力と合成されるのは、高露出副画素３０１Ｌ’の出力である。同様に、高露出副画素３０１Ｒの出力と合成されるのは低露出副画素３０１Ｒ’の出力である。

従って、ｍ行目のＣフィルタ（ＣはＲ、Ｇｒ、Ｇｂ、ＢＬのいずれか）が設けられたｎ像信号（ｎはＡまたはＢ）用の副画素の出力をＣ(m)nと表すと、例えば図５のｎ行目とｎ＋２行目の読み出し行からは、
R(n)A+R(n+2)A, Gr(n)A+Gr(n+2)A, R(n)A+R(n+2)A,...というＡ像信号と、
R(n)B+R(n+2)B, Gr(n)B+Gr(n+2)B, R(n)B+R(n+2)B,...というＢ像信号とがＨＤＲ処理後の画素信号として得られる。

ＨＤＲ処理後の１画面分のＡ像信号とＢ像信号はそれぞれ異なる視点で撮影したＨＤＲ画像である。また、焦点検出領域内で得られるＡ像信号から生成したＡ像と、焦点検出領域内で得られるＢ像信号から生成したＢ像との位相差を信号処理部１０６で検出し、デフォーカス量に変換することで、自動焦点検出を行うことができる。なお、１画面分のＡ像信号とＢ像信号は、加算して記録してもよいし、別々に記録してもよい。

図８は本実施形態のデジタルカメラのＨＤＲ撮影時の動作に関するフローチャートである。このフローチャートに示す動作は、例えばＨＤＲ撮影モードが設定されている際に操作部１０９から撮影指示が入力されたことによって実行されてよい。なお、撮影準備動作中にＡＥ処理部１０４３によって適性な露出条件が決定されているものとする。また、ＨＤＲモードでの露光時間は電子シャッター（電荷蓄積時間の設定）によって制御するものとする。

Ｓ８０１で制御部１０７は、ＡＥ処理部１０４３が決定した撮影条件に応じて、高露出条件と低露出条件を決定し、所定の撮影条件に設定する。例えば、ＡＥ処理部１０４３が決定した撮影条件を基準として、＋ｎ段と−ｎ段の撮影条件を高露出条件と低露出条件として決定することができる。

Ｓ８０２で制御部１０７は、Ｓ８０１で決定した撮影条件と、ＨＤＲモードでの読み出し行に関する設定を撮像素子１０２のタイミング制御回路２０６に行い、撮影を実行する。これにより、例えば図５に示したような副画素単位の露出量制御と読み出しが実行される。

Ｓ８０３でＨＤＲ処理部１０３は、図５および図７を用いて説明したように、各画素の信号量を複数のレベルに分類する。そしてＨＤＲ処理部１０３は、分類に応じた式（１）〜（３）によって、低露出量の副画素と高露出量の副画素の出力を加算することにより、ＨＤＲ処理されたＡ像信号とＢ像信号とを生成し、画像処理部１０４および信号処理部１０６に出力する。

Ｓ８０４では画像処理部１０４内の信号生成部１０４１で、受信したＨＤＲ処理後のＡ像信号群およびＢ像信号群のそれぞれについて、色補間やホワイトバランス調整処理などを行い、１対のＨＤＲ画像を生成する。なお、信号生成部１０４１は、Ａ像信号群とＢ像信号群を加算して１フレーム分のＨＤＲ画像としてから色補間やホワイトバランス調整処理などを行ってもよい。また、画像処理部１０４は、１対のＨＤＲ画像を加算してもよい。画像処理部１０４は、処理をＳ８０６へ移行する。

一方、Ｓ８０５では信号処理部１０６が、焦点検出領域内のＨＤＲ処理後のＡ像信号およびＢ像信号からＡ像とＢ像を生成し、Ａ像とＢ像との位相差（像ずれ量）を例えば相関量に基づいて検出し、処理をＳ８０６へ移行する。

Ｓ８０６で制御部１０７は撮影処理を終了するか否かを判断し、終了する場合は待機状態へと遷移する。一方、終了しない場合は、処理をＳ８０１へ戻して次の撮影処理を実行する。

本実施形態によれば、１つのマイクロレンズに複数の副画素が割り当てられた撮像素子を用い、副画素間で露出量の大小関係を異ならせるとともに、副画素間の露出量の大小関係を逆転させた画素行を設ける。そして、マイクロレンズに対する相対位置が同じで、露出量の設定が異なる副画素の出力を用いてダイナミックレンジを拡大した像信号を生成し、この像信号を用いてＨＤＲ画像を生成したり、位相差を検出したりする。そのため、１回の撮影で得られる１フレームの画像信号から、ＨＤＲ画像の生成と、焦点検出用の位相差検出とを行うことができる。そして、位相差検出を行う１対の像信号の相関にケラレの差が与える影響は少ないため、ケラレの差を露出量の差として用いる構成に対して良好な位相差検出精度を得ることができる。

●（第２実施形態）
図９は第２実施形態に係るデジタルカメラの機能構成例を示すブロック図である。図９において、第１実施形態のデジタルカメラと同様の構成には同様の参照数字を付してある。以下、第１実施形態と同一の構成や動作に関する説明は省略し、第１実施形態と異なる点を重点的に説明する。

第１実施形態と異なる点は、撮像素子１０２で得られた撮像信号をＨＤＲ処理部１０３と信号処理部１０６のそれぞれへ入力することである。すなわち、信号処理部１０６で位相差検出を行う焦点検出用信号が、第１実施形態ではＨＤＲ処理後の信号であったのに対し、本実施形態ではＨＤＲ処理されていない点で異なる。

図９（ｂ）は信号処理部１０６の機能構成例を示すブロック図である。信号処理部１０６は、加算処理部１０６１と位相差検出部１０６２とを有する。加算処理部１０６１は、撮像素子１０２の異なる読み出し行のＡ像用副画素間およびＢ像用副画素間で露出量を異ならせた撮影によって得られた撮像信号に対し、同色のカラーフィルタに対応する同種の副画素の出力を加算して加算信号を生成する。具体的には加算処理部１０６１は図５におけるｎ行目とｎ＋２行目の同じ水平位置のＡ像用副画素の出力を加算し、またＢ像用副画素の出力を加算する。加算処理部１０６１は、ｎ＋３行目とｎ＋５行目、ｎ＋６行目とｎ＋７行目、・・・についても同様に加算する。なお、加算処理部１０６１が加算処理するのは、Ａ像およびＢ像の生成に用いる画素についてだけでよい。

ＨＤＲ処理では画素の入射光量のレベルによって低露出副画素と高露出副画素の一方の出力しか用いられない場合があった。しかし、本実施形態では低露出副画素と高露出副画素の出力の両方を常に用いてＡ像信号およびＢ像信号を生成する。そのため、位相差検出に用いるＡ像およびＢ像において空間周波数帯域の欠損を防ぐことができ、位相差検出の精度を落とさないようにすることができる。

なお、加算処理については同色画素同士に限らず、異色画素同士で加算してもよい。この場合には、加算後の信号を輝度信号として取り扱う。

加算処理部１０６１で加算処理して得られた複数のＡ像信号からＡ像を、複数のＢ像信号からＢ像を生成したのち、位相差検出部１０６２でＡ像とＢ像の位相差を検出し、制御部１０７に出力する。

図１０は図５と同様のカラーフィルタ配列および露出量の設定を行った場合のＨＤＲ処理後の信号と、加算処理後の信号を模式的に示している。斜線が付された副画素は低露出副画素、縦線が付された副画素は高露出副画素である。

図示の通り、異なる読み出し行の同色フィルタに対応する同種の副画素（露出量が異なる同種の副画素）の出力を用いてＨＤＲ処理と加算処理をそれぞれ実施する。具体的にはＨＤＲ処理部１０３は、ｎ行目とｎ＋２行目、ｎ＋３行目とｎ＋５行目、ｎ＋６行目とｎ＋８行目、ｎ＋９行目とｎ＋１１行目、・・・の組み合わせでＨＤＲ処理を行う。

一方、位相差処理部１０６の加算処理部１０６１は、位相差検出に用いる１対の像信号（Ａ像およびＢ像）を生成するため、ｎ行目とｎ＋２行目、ｎ＋３行目とｎ＋５行目、ｎ＋６行目とｎ＋８行目、ｎ＋９行目とｎ＋１１行目・・の組み合わせで加算処理を行う。このように、ＨＤＲ処理と加算処理とで用いる読み出し行の組み合わせは同じだが、ＨＤＲ処理では画素の入射光量によって高露出副画素と低露出副画素の一方が用いられない場合がある点で異なる。

図１１は本実施形態のデジタルカメラのＨＤＲ撮影時の動作に関するフローチャートであり、第１実施形態と同じ処理ステップについては図８と同じ参照数字を付してある。図８との比較から明らかなように、本実施形態ではＳ８０５の位相差検出処理の前にＳ８０３のＨＤＲ処理はなくＳ１２０５の加算処理を実行することが第１実施形態と異なる。Ｓ１２０５では加算処理部１０６１が上述した加算処理を実行する。

以上説明したように本実施形態によれば、位相差検出に用いる像信号についてはＨＤＲ処理前の画素信号に基づいて生成することにより、第１実施形態の効果に加え、第１実施形態よりも位相差検出精度を向上させることができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。第１および第２実施形態では、１つのマイクロレンズに対して２つの光電変換部もしくは副画素が割り当てられた構成を有する撮像素子を用いていた。しかし、第１および第２実施形態の手法は、１つのマイクロレンズに３つ以上の光電変換部もしくは副画素が割り当てられた構成の撮像素子を用いる場合にも適用可能である。本実施形態では一例として、第１実施形態の手法を１つのマイクロレンズに水平垂直方向に２つずつの光電変換部もしくは副画素が割り当てられた撮像素子に適用する場合について説明する。

図１２は第３実施形態における撮像素子１０２の画素アレイ部２０２に配列される画素２０１’の構成例を図３（ａ）と同様に模式的に示した平面図である。画素アレイ部２０２に配列されるすべての画素２０１’が、同一のマイクロレンズ２１０に割り当てられた４つの副画素１３０１ａ〜１３０１ｄを有する。

副画素１３０１ａ〜１３０１ｄは、第１実施形態の副画素２０１Ｌや２０１Ｒと同様、ＰＤ１３１０ａ〜１３１０ｄ、転送トランジスタ１３１１ａ〜１３１１ｄ、およびＦＤ１３１２ａ〜１３１２ｄをそれぞれ有する。
ＦＤ１３１２ａ〜１３１２ｄに蓄積された電荷が表す信号は、それぞれ独立して垂直信号線２０７、カラム信号処理回路２０４を通り、水平駆動回路２０５によって行単位で水平信号線２０９へ読みだされる。

図１３（ａ）は図３（ｂ）と同様に、本実施形態における撮像素子１０２の画素アレイ部２０２における画素の配列を模式的に示す図である。また、図１３（ｂ）は図１３（ａ）で示す画素配列に設けられるカラーフィルタのパターンおよび副画素に設定する露出量と、ＨＤＲ処理によって得られる信号列とを模式的示す図である。図１３（ｂ）においては上述の実施形態と同様に、低露出副画素には斜線を、高露出副画素には縦線を付している。

本実施形態では同一画素内にＡ像用副画素とＢ像用副画素がそれぞれ複数存在するため、同一画素内に高露出副画素のＡ像用副画素と低露出副画素のＡ像用副画素、高露出副画素のＢ像用副画素と低露出副画素のＢ像用副画素を設定可能である。そのため、同一画素で得られる副画素の信号を用いてＨＤＲ処理が可能であり、全ての画素行から信号を読み出すことができる。

本実施形態では、同一画素内において同じ露出量が設定される同種の副画素の水平方向の位置が異なるように、副画素の露出量を設定している。すなわち、図１３（ｂ）に示すように、Ａ像用副画素１３０１ａを低露出副画素、１３０１ｂを高露出副画素と設定した場合、Ａ像用副画素１３０１ａと水平方向で隣接するＢ像用副画素１３０１ｃは高露出副画素（従って１３０１ｄは低露出副画素）に設定する。これは、白飛びを起こした場合など、高露出副画素の信号が使用できない場合においても、Ａ像、Ｂ像それぞれ同一の位相を持った信号が失われることを防止するためである。これにより、ＨＤＲ処理後の信号の欠落や解像度の低下などの影響を減らすことができる。

本実施形態において、ＨＤＲ処理部１０３は、各画素において、副画素１３０１ａと副画素１３０１ｂの組み合わせと、副画素１３０１ｃと副画素１３０１ｄの組み合わせそれぞれでＨＤＲ処理を行い、Ａ像信号とＢ像信号のダイナミックレンジの拡大を実現する。これにより、図１３（ｂ）の右側に示すように、各行でダイナミックレンジが拡大されたＡ像信号とＢ像信号が得られる。以後の処理は第１実施形態と同様でよい。

また、第２実施形態の構成の場合、信号処理部１０６は、各画素において、副画素１３０１ａと副画素１３０１ｂの出力を加算し、副画素１３０１ｃと副画素１３０１ｄの出力を加算して、Ａ像信号およびＢ像信号を生成する（図１４）。そして、信号処理部１０６は、複数のＡ像信号からＡ像を、複数のＢ像信号からＢ像を生成し、Ａ像とＢ像の位相差を検出する。

なお、本実施形態では水平方向の位相差検出を行う構成について説明したが、縦方向もしくは斜め方向の位相差を検出する構成にも同様の考え方を適用できる。例えば垂直方向の位相差を検出する場合には低露出副画素と高露出副画素の配置と組み合わせを９０度帰ればよい。

本実施形態によれば、第１または第２実施形態の効果に加え、１つの画素内に同種の副画素が複数存在するので、全ての行の信号を用いることができる。また、垂直および水平方向の両方に複数の副画素を設けた場合、位相差検出方向を変更することも容易であるという効果がある。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…鏡筒、１０２…撮像素子、１０３…ＨＤＲ処理部、１０４…画像処理部、１０５…圧縮伸長部、１０６…処理部、１０７…制御部、１０８…発光部、１０９…操作部、１１０…表示部、１１１…記録部

Claims (12)

1. 複数の副画素を有する画素が行列状に配置された撮像素子と、
   前記複数の副画素に異なる露出条件を設定する設定手段と、
   前記異なる露出条件のうち、第１の露出条件が設定された副画素から得られる信号と、第２の露出条件が設定された副画素から得られる信号とから、ダイナミックレンジを拡大した信号を生成する処理手段と、
   前記複数の副画素で得られる信号から生成される、結像光学系の射出瞳の第１の領域を出射する光束による第１の像信号と、前記射出瞳の第２の領域を出射する光束による第２の像信号との位相差を検出する検出手段と、
   前記位相差に基づいて前記結像光学系のデフォーカス量を求める算出手段と、を有することを特徴とする撮像装置。
2. 前記設定手段は、画素内の相対位置が等しい副画素について、前記位相差の検出方向に並んだ副画素に対しては同一の露出条件を設定し、前記位相差の検出方向と直交する方向に並んだ副画素に対しては前記第１の露出条件と前記第２の露出条件とを交互に設定することを特徴とする請求項１に記載の撮像装置。
3. 前記処理手段は、同一画素が有する副画素のうち、前記第１の露出条件が設定された副画素から得られる信号と、前記第２の露出条件が設定された副画素から得られる信号とから、ダイナミックレンジを拡大した信号を生成することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記処理手段は、互いに異なる読み出し行に含まれる画素が有する、前記第１の露出条件が設定された副画素と、前記第２の露出条件が設定された副画素とから得られる信号から、前記ダイナミックレンジを拡大した信号を生成することを特徴とする請求項１または請求項２に記載の撮像装置。
5. 前記撮像素子は所定の色パターンのカラーフィルタを有し、
   前記処理手段は、同色のフィルタが設けられた画素が有する副画素のうち、前記第１の露出条件が設定された副画素と、前記第２の露出条件が設定された副画素とから得られる信号から前記ダイナミックレンジを拡大した信号を生成することを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記設定手段は、前記色パターンが同じ行または列ごとに前記露出条件の設定を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記設定手段は、電荷蓄積時間もしくは信号増幅率を異ならせることによって、前記第１の露出条件および前記第２の露出条件を設定することを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
8. 前記処理手段は、前記第１の露出条件が設定された副画素から得られる信号と、前記第２の露出条件が設定された副画素から得られる信号とを、該第１の露出条件が設定された副画素と該第２の露出条件が設定された副画素の少なくとも一方を有する画素の入射光量のレベルに応じた比率で合成することにより前記ダイナミックレンジを拡大した信号を生成することを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
9. 前記検出手段は、前記処理手段が生成した信号から前記第１の像信号および前記第２の像信号を生成し、前記位相差を検出することを特徴とする請求項１から請求項８のいずれか１項に記載の撮像装置。
10. 前記検出手段は、
    前記第１の露出条件が設定された副画素から得られる信号と、前記第２の露出条件が設定された副画素から得られる信号との加算信号を生成する加算手段を有し、
    前記加算信号から前記第１の像信号と前記第２の像信号を生成し、前記位相差を検出することを特徴とする請求項１から請求項８のいずれか１項に記載の撮像装置。
11. 前記ダイナミックレンジを拡大した信号から１画面分の画像を生成する生成手段をさらに有することを特徴とする請求項１から請求項１０のいずれか１項に記載の撮像装置。
12. 複数の副画素を有する画素が行列状に配置された撮像素子を有する撮像装置の制御方法であって、
    設定手段が、前記複数の副画素に異なる露出条件を設定する設定工程と、
    処理手段が、前記異なる露出条件のうち、第１の露出条件が設定された副画素から得られる信号と、第２の露出条件が設定された副画素から得られる信号とから、ダイナミックレンジを拡大した信号を生成する処理工程と、
    検出手段が、前記複数の副画素で得られる信号から生成される、結像光学系の射出瞳の第１の領域を出射する光束による第１の像信号と、前記射出瞳の第２の領域を出射する光束による第２の像信号との位相差を検出する検出工程と、
    算出手段が、前記位相差に基づいて前記結像光学系のデフォーカス量を求める算出工程と、を有することを特徴とする撮像装置の制御方法。

Images