JP2008176152A - 撮像装置 - Google Patents

Abstract

【課題】 顔検出結果に応じた自動焦点制御を行う撮像装置において、動画撮影中でも高画質な静止画撮影を可能にする。
【解決手段】 動画撮影中、顔が検出されている場合には、検出された顔に焦点検出領域を設定する。一方、顔検出手段により顔が検出されている状態から顔が検出されなくなった状態に変化した場合には、合焦位置の変動を抑制するように焦点検出領域の設定を行う。動画撮影中に静止画撮影指示があった場合には、静止画撮影用の焦点検出領域を設定するとともに、静止画撮影用の焦点検出領域を用いて合焦位置を決定する。
【選択図】 図５

Description

本発明は、撮像装置に関し、特に顔検出結果に応じた自動焦点制御を行う撮像装置に関する。

撮像素子を備え、画像を信号として記録する電子カメラ（ビデオカメラやデジタルカメラ）が普及している。従来の電子カメラでは、動画撮影時と静止画撮影時で撮影モードを切り換える必要があった。しかし、撮像素子の高画素化や、処理能力の向上などを背景に、静止画撮影と動画撮影のモード切換えが不要な電子カメラや、動画撮影中に高解像度の静止画撮影が可能な電子カメラも増えている。

動画撮影時には主被写体が画面中央に位置するように撮影されることが多い。従って、電子カメラが備える自動焦点制御機能（オートフォーカス機能）では、動画撮影時の焦点制御を画面中央の領域に対して行うことが多い。以下、本明細書においては、撮影画像中で自動焦点制御に用いる領域を、焦点検出領域と呼ぶ。

一方、静止画撮影時には、動画撮影時と比較して主被写体が画面中央に位置する確率は低くなる。そのため、静止画撮影モードと動画撮影モードとで、異なる焦点検出領域を用いることが提案されている（特許文献１）。

また、主被写体にピントが合うように、顔検出機能を代表とする被写体検出機能を搭載し、被写体検出結果を利用して自動焦点制御を行うことも知られている。例えば、顔検出機能により検出された被写体の顔にピントが合うように自動焦点制御を行う場合、検出された顔の領域を焦点検出領域として自動焦点制御を行う。

特開平５−４１８４３号公報

顔検出機能結果を用いて焦点検出領域を設定する場合、顔が検出できなくなった場合に焦点検出領域をどこかに設定する必要がある。この際、例えば画面中央に焦点検出領域を設定したとすると、画面中央以外に存在する被写体にはピントが合わないことになる。

現在実用化されている顔検出機能は、画像中から目と思われる領域を検出して顔領域を検出するものが多い。そして、片目だけの検出では正しく顔検出できない場合が多い。例えば、主被写体である人物が正面を向いている場合に正しく顔検出できていても、その人物が横を向くと、顔検出不能になってしまう。このような顔検出機能に基づいて上述の自動焦点制御を行ったとすると、主被写体が画面中央に位置していない場合には、顔検出不能時の画面中央への焦点検出領域再設定により、大幅なピントずれが発生する。

従って、顔検出領域に焦点検出領域を設定する自動焦点制御を動画撮影中に行う場合には、顔検出できている状態から検出不能になった場合に、ピントが急変しないような焦点検出領域の設定やフォーカスレンズ駆動を行う必要がある。

しかしながら、ピントの急変を抑制した自動焦点制御は、一方で合焦速度の低下を招く場合がある。そのため、動画撮影中の合焦精度が常に高い状態であるとは言えない。しかしながら、通常、動画をフレーム単位で静止させて鑑賞することはないため、多少ピントの甘いフレームが続いたとしても特段問題とならない。これに対し、静止画撮影時のピントの甘さは大きな問題である。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、顔検出結果に応じた自動焦点制御を行う撮像装置において、動画撮影中でも高画質な静止画撮影を可能にすることを目的とする。

上述の目的は、レンズによって結像された被写体像を画像信号に変換する撮像素子と、被写体像中の焦点検出領域に含まれる画像信号から焦点評価値を算出する算出手段と、レンズに含まれるフォーカスレンズを駆動する駆動手段と、フォーカスレンズの異なる位置における焦点評価値から合焦位置を決定し、駆動手段により合焦位置へフォーカスレンズを移動させる決定手段と、画像信号に基づいて被写体像中の顔を検出する顔検出手段と、顔検出手段による顔検出結果に応じて焦点検出領域を設定する設定手段とを有し、設定手段が、動画撮影中、顔検出手段により顔が検出されている場合には、検出された顔に焦点検出領域を設定するとともに、顔検出手段により顔が検出されている状態から顔が検出されなくなった状態に変化した場合には、焦点検出領域を複数設定し、さらに、動画撮影中に静止画撮影指示があった場合には、静止画撮影用の焦点検出領域を設定するとともに、決定手段が静止画撮影用の焦点検出領域を用いて静止画撮影用の合焦位置を決定することを特徴とする本発明の撮像装置によって達成される。

このような構成により、本発明の撮像装置によれば、顔検出結果に応じた自動焦点制御を行う撮像装置において、動画撮影中でも高画質な静止画撮影が可能となる。

以下、図面を参照しながら本発明の実施形態を説明する。
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの概略構成例を示すブロック図である。

撮像素子１０３は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの光電変換素子である。撮像素子１０３は、光学系１０１およびフォーカスレンズ１０２を含むレンズ１００が結像した被写体像を画素単位で電気信号（画像信号）に変換する。撮像素子１０３の出力する画像信号は、ノイズを除去するＣＤＳ回路や非線形増幅回路を備えた前置処理部１０４と、Ａ／Ｄ変換器１０５を通じてデジタル画像信号に変換される。

デジタル画像信号は、メモリコントローラ１０６を介してメモリ１０７に格納される。そして、画像処理部１０８によってホワイトバランス処理や色補間処理、さらに必要に応じて圧縮符号化処理などが適用され、最終的に画像データファイルとして記録媒体１０９に記録される。画像処理部１０８が生成する画像データは、操作表示部１１０やメモリ１０７に供給され、所謂ライブ表示や、後述する顔検出処理、自動焦点制御処理等に用いられる。

操作表示部１１０は撮影された画像（記録媒体１０９に記録済の画像や、電子ビューファインダー用の画像など）を表示する。また、カメラ状態情報や、撮影時には電子ビューファインダ−としても機能する。さらに、撮影画像中における焦点検出領域を表す焦点検出枠を、合焦領域表示部１１９の制御に従って撮影画像に重畳表示する。スタンバイスイッチ１１１は撮影スタンバイ動作の実施をユーザが指示するためのスイッチ、撮影スイッチ１１２は、スタンバイスイッチ１１１の操作後、ユーザが本撮影の指示を入力するためのスイッチである。

スタンバイスイッチ１１１と撮影スイッチ１１２は静止画撮影ボタンの半押し状態と全押し状態でそれぞれＯＮするように設けることができる。動画スイッチ１２０はユーザが動画撮影の開始および終了を指示するためのスイッチである。

本実施形態のデジタルカメラの動作は、システム制御部１１３によって制御される。システム制御部１１３は例えばマイクロコンピュータであり、ＲＯＭなどの不揮発性メモリ（図示せず）に記憶された制御プログラムを実行して、各部を制御することにより、後述する自動焦点制御動作を始めとした様々な動作を制御する。なお、後述する処理において用いられる各種のフラグについても、システム制御部１１３の内蔵メモリに格納されているものとする。

顔検出部１１５は、画像処理部１０８が生成した画像データに対して公知の顔検出技術を適用し、画像中に含まれる顔（と判断される）領域と位置を検出する。本実施形態において、顔検出部１１５は、検出された顔の数と、それぞれの顔の位置およびサイズについての情報を出力するものとする。この顔検出処理は、画像処理部１０８が生成する各画像フレームに対して実施しても良いし、予め定めたフレーム数毎に行っても良い。

公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

焦点検出領域設定部１１６は、被写体像中（画像中）に１つ以上の焦点検出領域を設定し、フォーカスレンズ駆動部１１４を介してフォーカスレンズ１０２を駆動する。ＡＦ評価値演算部１１７は、フォーカスレンズ１０２の移動中の撮影により得られる焦点検出領域の画像について、合焦度の評価値（焦点評価値）、例えばコントラストの大きさを表す値を算出する。

具体的な評価値の算出は以下のように行うことができる。まず、焦点検出領域内の画像データの各ラインに水平方向のバンドパスフィルタを適用する。次に、ライン毎にバンドパス出力信号の絶対値の最も大きいものを選択する。選択した信号を垂直方向に積分する。上記構成により、水平方向のコントラストの大きいものが検出され、垂直方向に積分することで信号のＳ／Ｎの向上した信号（評価値）が得られる。この評価値は合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる。

従って、合焦位置決定部１１８は、フォーカスレンズ１０２の異なる位置においてＡＦ評価値演算部１１７の算出する合焦度評価値を監視し、例えば最高値が得られた位置を合焦位置として決定する。そして、合焦位置決定部１１８は、フォーカスレンズ駆動部１１４を介して、フォーカスレンズ１０２を合焦位置に移動させる。

フォーカスレンズ１０２の合焦位置への移動が終わると、合焦領域表示部１１９は操作表示部１１０に、合焦位置の決定を行った領域（合焦領域）を示す画像、例えば領域を囲む枠を撮影画像に重畳表示させる。この表示を、合焦領域表示と呼ぶ。

なお、合焦領域表示は、焦点検出領域に対応する領域を表すものである。しかし、合焦度の評価値が予め定めた値に満たなかった焦点検出領域や、最終的に決定された合焦位置の被写界深度に入らない距離を合焦位置とする焦点検出領域については、合焦領域表示がなされない。

換言すれば、合焦領域表示は、焦点検出領域のうち、最終的な合焦位置の決定に用いられた１つか、最終的な合焦位置の被写界深度内に合焦位置を有する１つ以上を視覚的に表す表示である。

このような自動焦点制御動作は、静止画撮影時には、スタンバイスイッチ１１１がＯＮとなった際に行われる。合焦位置決定の後、引き続き撮影スイッチ１１２がＯＮとなると、本撮影及び画像データファイルの記録が行われる。

以下、本実施形態のデジタルカメラの全体的な動作の流れを、図２に示すフローチャートを参照して説明する。
まずＳ２０１において、システム制御部１１３は、図示しない電源スイッチの状態を検出し、ＯＮであればＳ２０２へ進む。Ｓ２０２でシステム制御部１１３は記録媒体１０９の残容量を調べ、残容量が０であればＳ２０３へ進み、そうでなければＳ２０４へ進む。なお、本明細書において、「記録媒体の残容量が０」とは、動画や静止画を記録することができない残容量であることを意味し、厳密に残容量が０であることに限定されない。

Ｓ２０３でシステム制御部１１３は、記録媒体１０９の残容量が０であることを警告してＳ２０１に戻る。警告は操作表示部１１０にメッセージ表示させるか、図示しない音声出力部から警告音を出すか、又はその両方によって実行可能である。
Ｓ２０４では顔検出部１１５において顔検出処理を実行し、システム制御部１１３は顔の位置と大きさに関する情報（顔情報）を取得する。

Ｓ２０５でシステム制御部１１３は自動焦点制御の動作モード（ＡＦモード）がContinuousAFモードであるかSingleAFモードであるかを調べ、ContinuousAFモードならＳ２０６へ、SingleAFモードならＳ２０７へ進む。ここで、ContinuousAFモードでは合焦位置の検出処理を連続的に行なうモードである。また、SingleAFモードは、ある一時点、例えばスタンバイスイッチ１１１がＯＮになった時点で合焦位置を検出する。そして、スタンバイスイッチ１１１の状態がそのままの間は検出した合焦位置を継続使用し、新たな合焦位置検出を行わないモードである。

なお、ＡＦモードは図示しないモード選択スイッチにより、ContinuousAFモードかSingleAFモードのどちらかが選択されるものとする。Ｓ２０６では後述する図３のフローチャートに従ってContinuousAF動作を行う。

Ｓ２０７でシステム制御部１１３は動画スイッチ１２０の状態を調べ、ＯＮであればＳ２０８へ進み、そうでなければＳ２０９へ進む。Ｓ２０８では後述する図５のフローチャートに従って動画撮影動作を行う。Ｓ２０９でシステム制御部１１３はスタンバイスイッチ１１１の状態を調べ、ＯＮであればＳ２１０へ進み、そうでなければＳ２０１へ進む。Ｓ２１０でシステム制御部１１３は、画像処理部１０８の出力する画像データに基づいて自動露出制御（ＡＥ）処理を行う。

Ｓ２１１でシステム制御部１１３は、後述する図６のフローチャートに従って静止画ＡＦ動作を行う。Ｓ２１２でシステム制御部１１３は撮影スイッチ１１２の状態を調べ、ＯＮであればＳ２１４へ、そうでなければＳ２１３へ進む。Ｓ２１３でシステム制御部１１３はスタンバイスイッチ１１１の状態を調べ、ＯＮでなければＳ２０４へ戻る。スタンバイスイッチ１１１がＯＮであれば、システム制御部１１３はＳ２１２へ戻り、撮影スイッチ１１２がＯＮされるかスタンバイスイッチ１１１がＯＦＦされるまでフォーカスをロックする。Ｓ２１４でシステム制御部１１３は、後述する図７のフローチャートに従って撮影動作を行う。

以下、図２のフローチャートにおけるＳ２０５で行うContinuousAF動作について、図３に示すフローチャートを参照しながら説明する。
Ｓ３０１では、焦点検出領域設定部１１６において、顔検出結果などを反映した焦点検出領域設定を行う。焦点検出領域設定の詳細は後述する。Ｓ３０２で、システム制御部１１３は、ＡＦ評価値演算部１１７により焦点評価値を取得する。Ｓ３０３で、システム制御部１１３は、顔検出部１１５よって顔が検出されている場合、もしくは焦点検出領域設定処理に使用するための基準評価値の取得要否を表す基準取得フラグがＴＲＵＥ（取得要）である場合には、Ｓ３０４へ進む。それ以外の場合、システム制御部１１３はＳ３０５へ進む。

Ｓ３０４でシステム制御部１１３は基準評価値を取得し、基準取得フラグをＦＡＬＳＥとする。Ｓ３０５でシステム制御部１１３は、ピーク検出フラグがTRUEであるかどうかを調べ、TRUEであればＳ３２２へ進み、FALSEであればＳ３０６へ進む。Ｓ３０６でシステム制御部１１３は、フォーカスレンズ１０２の現在位置を取得する。

Ｓ３０７でシステム制御部１１３は、焦点評価値の取得及びフォーカスレンズ１０２の現在位置の取得をカウントするための取得カウンタに１を加える。この取得カウンタは、初期化動作（図示略）において予め０に設定されているものとする。Ｓ３０８でシステム制御部１１３は、取得カウンタの値が１かどうかを調べ、取得カウンタの値が１ならば、Ｓ３１１へ進み、取得カウンタの値が１でなければＳ３０９へ進む。

Ｓ３０９でシステム制御部１１３は、「今回の焦点評価値」が「前回の焦点評価値」よりも大きいかどうかを調べる。「今回の焦点評価値」が「前回の焦点評価値」よりも大きければＳ３１０へ進み、そうでなければＳ３１７へ進む。

Ｓ３１０でシステム制御部１１３は、「今回の焦点評価値」が「前回の焦点評価値」よりも増加したことをカウントする増加カウンタに１を加える。この増加カウンタは、初期化動作（図示略）において予め０に設定されているものとする。

Ｓ３１１でシステム制御部１１３は、「今回の焦点評価値」を焦点評価値の最大値として、図示しない内蔵メモリに記憶する。
Ｓ３１２でシステム制御部１１３は、フォーカスレンズ１０２の現在の位置を焦点評価値のピーク位置として、内蔵メモリに記憶する。さらに、Ｓ３１３でシステム制御部１１３は、「今回の焦点評価値」を「前回の焦点評価値」として、内蔵メモリに記憶する。

Ｓ３１４でシステム制御部１１３は、フォーカスレンズ１０２が測距範囲（フォーカスレンズ１０２の駆動範囲）の端に位置するかどうかを調べる。フォーカスレンズ１０２が測距範囲の端にあれば、Ｓ３１５へ進み、システム制御部１１３はフォーカスレンズ１０２の移動方向を反転させる。そうでなければＳ３１６へ進み、システム制御部１１３はフォーカスレンズ駆動部１１４によりフォーカスレンズ１０２を所定量移動させる。

Ｓ３１７でシステム制御部１１３は、「焦点評価値の最大値（ピーク評価値）−今回の焦点評価値」が所定量より大きいかどうかを調べ、「焦点評価値の最大値−今回の焦点評価値」が所定量より大きければＳ３１８へ進み、そうでなければＳ３１３へ進む。Ｓ３１８でシステム制御部１１３は増加カウンタが０より大きいかどうか調べ、０より大きければＳ３１９へ進み、そうでなければＳ３１３へ進む。

ここで、Ｓ３１７の「焦点評価値の最大値−今回の焦点評価値」が所定量より大きいことと、Ｓ３１８の増加カウンタが０より大きいことの２点は、焦点評価値が１度最大値を示した後に所定量減少していることを示す。そのため、本実施形態では、この２点が満たされた際の「焦点評価値の最大値」をピントのピーク位置での値とみなす。

Ｓ３１９でシステム制御部１１３は、フォーカスレンズ駆動部１１４により、フォーカスレンズ１０２をＳ３１２で記憶した焦点評価値が最大値となったピーク位置へ移動させる。Ｓ３２０でシステム制御部１１３は、ピーク検出フラグをTRUEとする。Ｓ３２１でシステム制御部１１３は取得カウンタを０とする。

Ｓ３２２でシステム制御部１１３は、今回の焦点評価値が、焦点評価値の最大値に対して大きく変動しているかどうか調べる。具体的には、システム制御部１１３は、変化の割合や変化量が所定値以上であれば大きく変動したと判断してＳ３２４へ進み、所定値未満であれば小さな変動と見なしてＳ３２３へ進む。

Ｓ３２３でシステム制御部１１３は、フォーカスレンズ駆動部１１４により、フォーカスレンズ１０２の位置を保持させる。そして、システム制御部１１３は、フォーカス停止フラグをTUREとする。

Ｓ３２４でシステム制御部１１３は、焦点評価値が最大となるフォーカスレンズ位置を再び求め直すため、ピーク検出フラグとフォーカス停止フラグをFALSEとし、さらに焦点評価値の最大値、ピーク位置、および増加カウンタをリセットする。
以上のようにして、ContinuousAF動作では常に合焦状態となるようにフォーカスレンズを駆動する。

以下、図４のフローチャートを参照しながら、図３のフローチャートのＳ３０１で行う焦点検出領域設定処理について説明する。
Ｓ４０１で、焦点検出領域設定部１１６は、顔検出部１１５よって顔が検出されているか調べ、顔検出されていればＳ４０２へ進み、そうでなければＳ４０４へ進む。Ｓ４０２で焦点検出領域設定部１１６は、顔検出部１１５から顔情報を取得し、この顔情報に基づいて、検出された顔の位置に、ほぼ顔の大きさを有する焦点検出領域を設定する。例えば、焦点検出領域は、検出された顔の外接矩形領域として設定することができる。

なお、ここでは、説明及び理解を容易にするため、複数の顔が検出された場合には、各顔についての顔情報をもとに優先順位をつけ、最優先の顔に対して焦点検出領域を設定する。Ｓ４０３で焦点検出領域設定部１１６は、顔検出フラグをＴＲＵＥ、顔追尾フラグをＦＡＬＳＥとし、顔ＮＧカウンタをクリアする。

Ｓ４０４で焦点検出領域設定部１１６は顔検出フラグを調べ、顔検出フラグがＴＲＵＥであればＳ４０６へ進み、そうでなければＳ４０５へ進む。Ｓ４０５では、顔が検出できていない状態であるため、焦点検出領域設定部１１６は画面中央に焦点検出領域を設定し、顔検出フラグをＦＡＬＳＥとする。ここで設定する焦点検出領域は、例えば予め定めた大きさの矩形領域である。

Ｓ４０６で焦点検出領域設定部１１６は、フォーカス停止フラグを調べ、フォーカス停止フラグがＴＲＵＥであればＳ４０７へ進み、そうでなければＳ４１０へ進む。Ｓ４０７で焦点検出領域設定部１１６は、現在の焦点検出領域の設定をそのまま維持する。Ｓ４０８で焦点検出領域設定部１１６は、顔の検出ができない状態となってからの焦点評価値の取得回数をカウントする顔ＮＧカウンタに１を加える。

Ｓ４０９で焦点検出領域設定部１１６は顔ＮＧカウンタが所定値以上であるか調べ、所定値以上であれば被写体が画面内にいなくなったと判断し、Ｓ４０５へ進んで画像の中央部分に焦点検出領域を設定する。このように、本実施形態の焦点検出領域設定部１１６は、顔検出部１１５において顔の検出ができなくなってからの焦点評価値の取得回数に基づいて、被写体（人物）の有無を判定する。換言すれば、予め定められた期間継続して顔の検出がされない場合に、被写体（人物）がいないと判断する。

以下、Ｓ４１０からＳ４２４の処理は、顔の移動検出と、顔の追尾に関する処理である。
Ｓ４１０で焦点検出領域設定部１１６は、顔追尾フラグがＴＲＵＥであるか調べ、顔追尾フラグがＴＲＵＥであればＳ４１３へ進み、そうでなければＳ４１１へ進む。Ｓ４１１で焦点検出領域設定部１１６は、顔検出部１１５における顔検出結果をもとに、前回設定した焦点検出領域位置を基準として複数の焦点検出領域を設定する。

例えば、前回設定した焦点検出領域が中心に位置する縦３つ×横３つの９つの焦点検出領域を設定する。なお、後述するＳ４１４における焦点評価値の変化判定対象となる焦点検出領域は、前回設定した焦点検出領域とする。Ｓ４１２で焦点検出領域設定部１１６は、顔追尾フラグをＴＲＵＥとする。

Ｓ４１３で焦点検出領域設定部１１６は、後述するＳ４１５でカウントされる焦点評価値の変化カウンタが所定値であるか調べ、変化カウンタが所定値であればＳ４１７へ進み、そうでなければＳ４１４へ進む。

Ｓ４１４で焦点検出領域設定部１１６は、焦点評価値が基準評価値に対し、評価値変化閾値として設定される所定割合以上変化しているか調べ、所定割合以上変化していればＳ４１５へ進み、そうでなければＳ４１６へ進む。

Ｓ４１５で焦点検出領域設定部１１６は、焦点評価値が基準評価値に対して所定割合以上連続して何回変化したかをカウントする変化カウンタに１を加える。Ｓ４１６では、所定割合以上の変化がないため、焦点検出領域設定部１１６は変化カウンタをクリアする。

以下Ｓ４１７からＳ４２４の処理は、Ｓ４１３とＳ４１４による基準評価値に対する焦点評価値の変化とその連続変化回数が所定値に達し、顔が移動したと判断された場合の処理である。

Ｓ４１７で焦点検出領域設定部１１６は、フォーカスレンズ駆動部１１４によりフォーカスレンズ１０２を現在位置を中心に微小な範囲駆動させる。そして、この駆動の間にＡＦ評価値演算部１１７によって、Ｓ４１１で設定された複数の焦点検出領域毎に焦点評価値を取得する。このような、フォーカスレンズ１０２を所定範囲駆動しながら、フォーカスレンズ１０２の異なる位置に対応する合焦評価値を取得する処理を「スキャン」と呼ぶ。

合焦位置決定部１１８は、Ｓ４１７においてＡＦ評価値演算部１１７が算出したする合焦度評価値を監視し、複数の焦点検出領域毎に、所定値以上の評価値が得られた否かによって合焦判定を行う（Ｓ４１８）。

Ｓ４１９で焦点検出領域設定部１１６は、合焦位置決定部１１８の判定結果において、合焦と判定された焦点検出領域があるか調べ、合焦した焦点検出領域があればＳ４２０へ進み、そうでなければＳ４０５へ進む。

Ｓ４２０で焦点検出領域設定部１１６は、合焦と判定された焦点検出領域の中から、スキャンで得られた焦点評価値の最大値のうち基準評価値に対する変化割合が最も小さい最大値に対応する焦点検出領域を選択する。

Ｓ４２１で焦点検出領域設定部１１６は、選択された焦点検出領域が、顔らしいかどうかを判定する。具体的には、焦点検出領域設定部１１６は、選択された焦点検出領域の焦点評価値の、基準評価値に対する変化量が、顔評価値判定閾値として設定される所定割合以内であるか調べ、所定割合以内の変化量であればＳ４２２へ進み、そうでなければＳ４０５へ進む。

Ｓ４２２で焦点検出領域設定部１１６は、選択された焦点検出領域を基準として複数の焦点検出領域を再設定する。例えば選択された焦点検出領域を中心として３×３の９つの焦点検出領域を配置する。
焦点検出領域設定部１１６はＳ４２３で基準取得フラグをＴＲＵＥとし、Ｓ４２４で変化カウンタをクリアする。

このように、本実施形態では、設定した焦点検出領域において顔が検出されなくなっても、その近傍で基準評価値に近い焦点評価値を有する領域を顔の移動先と判定し、少なくともその領域を焦点検出領域に設定する。そのため、例えば被写体である人物が正面を向いた状態から横を向いたことによって顔が検出されなくなって、また正面を向いたようなた場合でも、その過程において焦点が大きく変化することがない。

（動画撮影処理）
次に、図５のフローチャートを参照しながら、図２のフローチャートにおけるＳ２０８で行う動画撮影処理について説明する。
例えば動画スイッチ１２０がＯＮとなると、システム制御部１１３は動画撮影を開始する（Ｓ５０１）。Ｓ５０２でシステム制御部１１３は記録媒体１０９の残容量を調べ、残容量が０であればＳ５０３へ進み、残容量が０でなければＳ５０４へ進む。

Ｓ５０３でシステム制御部１１３は、記録媒体１０９の残容量が０であることを例えば操作表示部１１０にメッセージを表示したり、音声出力したりして警告し、動画撮影処理を終了する。

Ｓ５０４でシステム制御部１１３は画像処理部１０８の出力に基づいてＡＥ処理を行い、例えばレンズ１００が有する絞りを調整する。Ｓ５０５では図３のフローチャートに従ってContinuousAF動作を行う。Ｓ５０６でシステム制御部１１３は、動画撮影中の静止画撮影指示の有無を、スタンバイスイッチ１１１の状態に基づいて判定する。システム制御部１１３は、スタンバイスイッチ１１１がＯＮであれば静止画撮影指示ありと判定してＳ５０７へ、そうでなければ静止画撮影指示無しと判定してＳ５０２へ進む。

Ｓ５０７でシステム制御部１１３は、静止画撮影用のＡＥ処理を行い、Ｓ５０８では後述する図６のフローチャートに従って静止画ＡＦ動作を行う。Ｓ５０９でシステム制御部１１３は撮影スイッチ１１２の状態を調べ、ＯＮであればＳ５１１へ、そうでなければＳ５１０へ進む。

Ｓ５１０でシステム制御部１１３はスタンバイスイッチ１１１の状態を調べ、依然としてＯＮであればＳ５０９へ戻り、ＯＮでなくなればＳ５１３へ進む。Ｓ５１１でシステム制御部１１３は後述する図７のフローチャートに従って静止画の撮影動作を行う。本実施形態においては静止画と動画を同時撮影できないため、静止画撮影処理の間、記録中の動画は例えば黒画像となり、静止画撮影処理が終了すると、正常な動画記録が再開される。なお、動画記録において、静止画撮影中の映像はとぎれるが、音声はとぎれることなく記録される。

Ｓ５１２でシステム制御部１１３は記録媒体１０９の残容量を調べ、残容量が０であればＳ５０３へ進み、そうでなければＳ５１０へ進む。Ｓ５１３では動画スイッチ１２０の状態を調べ、再びＯＮとなった場合にはＳ５１４へ進み動画撮影を終了し、ＯＮでなければＳ５０２へ進む。

（静止画ＡＦ）
以下、図６に示すフローチャートを参照して、図２のフローチャートにおけるＳ２１１の静止画ＡＦ処理および図５のフローチャートにおけるＳ５０８静止画ＡＦ処理を実現するための処理についてを説明する。

まず、Ｓ６０１においてシステム制御部１１３は、現在の自動焦点制御がContinuousAFであるか調べ、ContinuousAF動作中であればＳ６０２へ進み、そうでなければＳ６０４へ進む。

Ｓ６０２でシステム制御部１１３は、図３で説明したContinuousAFにおいてピーク検出フラグがＴＲＵＥであるか調べ、ＴＲＵＥであればＳ６０３へ進み、そうでなければＳ６０５へ進む。Ｓ６０３でシステム制御部１１３は、ContinuousAF動作によって既に合焦に近い状態にあると考えられるため、フォーカスレンズ駆動部１１４を用いてフォーカスレンズ１０２を測距範囲全域よりも狭い範囲をスキャンする。ここでは、図４のフローチャートを参照して説明した焦点検出領域設定処理によって設定された焦点検出領域設定についてスキャン（焦点評価値を順次取得）する。

Ｓ６０４で焦点検出領域設定部１１６は、図２のフローチャートにおけるＳ２０４で得られた顔検出情報をもとに、単一あるいは複数の焦点検出領域を設定する。システム制御部１１３は、この焦点検出領域に対し、フォーカスレンズ駆動部１１４を制御して焦点検出範囲全域のスキャンを行う。

Ｓ６０６で合焦位置決定部１１８は、Ｓ６０３又はＳ６０５におけるスキャン処理においてＡＦ評価値演算部１１７によって得られた焦点評価値のうち、所定値以上のピーク値を有する焦点検出領域を、合焦していると判定する。

Ｓ６０７でシステム制御部１１３は、Ｓ６０６において合焦と判定された焦点検出領域があるか調べ、合焦した焦点検出領域があればＳ６０８へ進み、そうでなければＳ６０９へ進む。

Ｓ６０８でシステム制御部１１３は、合焦位置決定部１１８により合焦と判定された焦点検出領域ごとに、所定値以上のピーク値を示したときのフォーカスレンズ１０２の位置、すなわち合焦位置を抽出する。そして、フォーカスレンズ駆動部１１４を制御し、合焦位置にフォーカスレンズ１０２を移動させる。なお、合焦位置が複数存在した場合には、最至近の合焦位置にフォーカスレンズ１０２を移動させる。
さらに、システム制御部１１３は、合焦領域表示部１１９を制御し、操作表示部１１０に合焦した焦点検出領域を示す表示を行う。

Ｓ６０９で、システム制御部１１３は、Ｓ６０３における狭い範囲のスキャンによっては合焦する焦点検出領域が見出せなかった場合に、焦点検出範囲全域のスキャンを行うため、焦点検出範囲全域をスキャン済であるか調べる。全域スキャン済であればＳ６１０へ進み、そうでなければＳ６０５へ進む。Ｓ６１０では、所定値以上のピーク値が求まらなかった場合、すなわち非合焦であるため、定点と呼ばれるあらかじめ設定された位置へフォーカスレンズ１０２を移動する。

（静止画撮影処理）
以下、図７のフローチャートを参照して、図２のＳ２１４及び図５のＳ５１１における静止画撮影処理について説明する。
まず、Ｓ７０１でシステム制御部１１３は画像処理部１０８の出力から被写体輝度を測定する。Ｓ７０２でシステム制御部１１３はＳ７０１で測定した被写体輝度に応じたＡＥ処理を行ない、絞り値及び／又はシャッタースピードを設定して撮像素子１０３への露光を行う。レンズ１００により撮像素子１０３に結像された被写体光学像は光電変換されてアナログ信号となり、Ｓ７０３にて前置処理部１０４へと送られ、撮像素子１０３の出力ノイズ除去や非線形処理などの前処理が適用される。その後、Ａ／Ｄ変換器１０５でデジタル信号に変換される。

そしてＳ７０４で画像処理部１０８により、Ａ／Ｄ変換器１０５からの出力信号を適正な出力画像信号とし、Ｓ７０５で出力画像信号を画像処理部１０８によってＪＰＥＧフォーマット等の画像ファイルへ変換する。Ｓ７０６で画像処理部１０８が画像ファイルを記録媒体１０９へ転送し記憶する。

図８は、本実施形態のデジタルカメラにおける焦点検出領域の設定と、動画撮影中の静止画撮影時の焦点検出動作について模式的に示す図である。
図８（ａ）に示すような、被写体の顔が正常に検出される状態では、図４のフローチャートのＳ４０２にて、検出された顔の位置と大きさ情報をもとに焦点検出領域が設定される。図８（ａ）において、枠８０１は設定された焦点検出領域を示している。

このまま被写体の位置や明るさなどが変化しない場合、すなわち焦点評価値が変化しない場合、図３で説明したContinuousAF動作は、Ｓ３２３でフォーカスレンズの位置を固定する。この状態で顔が正しく検出されている限りは、検出された顔の位置に焦点検出領域が設定され続ける（図４、Ｓ４０２）。

次に、図８（ｂ）に示すように被写体が横を向き、顔検出ができなくなったとする。この場合も、焦点評価値の変動が大きくなければフォーカスレンズの位置は固定されたままとなる。そして、顔ＮＧカウンタの値が所定値に達するまで、焦点検出領域は変更されない（図４、Ｓ４０７）。

顔が検出されない期間が続き、顔ＮＧカウンタの値が所定値に達する前に焦点評価値の変動が大きくなると、図８（ａ）で設定された焦点検出領域位置を中心に、枠８０２で示すような複数の焦点検出領域を設定する（図４、Ｓ４１１）。そして、顔ＮＧカウンタが所定に達するまでの間、焦点評価値に基づいて顔の移動先と思われる焦点検出領域を判定し、焦点検出領域の顔追尾動作を行う。

さらに顔が検出されない期間が続き、顔ＮＧカウンタが所定値に達した場合には、図８（ｃ）に枠８０３で示すように、画面中央に焦点検出領域を設定する（図４、Ｓ４０５）。

なお、本実施形態では、動画撮影中は顔検出状態により焦点検出領域設定を変更しながらContinuousAF動作を行っているが、これは、顔検出不能時にピントが急変しないような制御を実現するための構成である。従って、動画撮影中に静止画撮影指示があった場合、静止画撮影に求められる合焦精度が得られているとは限らない。

そのため、本実施形態では動画撮影中に静止画撮影指示がなされた場合、より高い合焦精度を実現するため、図６を参照して説明したような静止画撮影用の自動焦点制御処理を別途実施する。

本実施形態における静止画撮影用の自動焦点制御処理では、複数の焦点検出領域が合焦していると判定された場合、最至近の合焦位置を有する焦点検出領域に合焦させる。これにより、被写体の動きやパン動作で一時的に顔検出が不能となった直後に静止画撮影指示があった場合など、焦点検出領域の顔追尾動作が被写体の動きに追いついていない際の静止画撮影時でも、高い合焦精度での静止画撮影が可能となる。

なお、本実施形態において複数の焦点検出領域を設定する場合、前回設定された焦点検出領域を中心とした３×３の９領域としたが、数及び配置のいずれもこれに限るものではない。

以上説明したように、本実施形態によれば、顔検出機能を用いて焦点検出領域を設定する撮像装置において、動画撮影中にはピントが大幅に変動することを抑制しながら、動画撮影中に高い合焦精度での静止画撮影が可能となる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの概略構成例を示すブロック図である。 本発明の実施形態に係るデジタルカメラの全体的な動作の流れを示すフローチャートである。 本発明の実施形態に係るデジタルカメラのContinuousAF動作を説明するフローチャートである。 本発明の実施形態に係るデジタルカメラにおける焦点検出領域設定処理を説明するフローチャートである。 本発明の実施形態に係るデジタルカメラにおける動画撮影処理を説明するフローチャートである。 本発明の実施形態に係るデジタルカメラにおける静止画撮影用自動焦点制御処理を説明するフローチャートである。 本発明の実施形態に係るデジタルカメラにおける静止画撮影処理を説明するフローチャートである。 本実施形態のデジタルカメラにおける焦点検出領域の設定と、動画撮影中の静止画撮影時の焦点検出動作について模式的に示す図である。

Claims (6)

1. レンズによって結像された被写体像を画像信号に変換する撮像素子と、
   前記被写体像中の焦点検出領域に含まれる前記画像信号から焦点評価値を算出する算出手段と、
   前記レンズに含まれるフォーカスレンズを駆動する駆動手段と、
   前記フォーカスレンズの異なる位置における前記焦点評価値から合焦位置を決定し、前記駆動手段により前記合焦位置へ前記フォーカスレンズを移動させる決定手段と、
   前記画像信号に基づいて前記被写体像中の顔を検出する顔検出手段と、
   前記顔検出手段による顔検出結果に応じて前記焦点検出領域を設定する設定手段とを有し、
   前記設定手段が、動画撮影中、前記顔検出手段により顔が検出されている場合には、検出された顔に前記焦点検出領域を設定するとともに、前記顔検出手段により顔が検出されている状態から顔が検出されなくなった状態に変化した場合には、前記焦点検出領域を複数設定し、さらに、動画撮影中に静止画撮影指示があった場合には、静止画撮影用の焦点検出領域を設定するとともに、
   前記決定手段が前記静止画撮影用の焦点検出領域を用いて静止画撮影用の合焦位置を決定することを特徴とする撮像装置。
2. 前記動画撮影中、前記決定手段が、連続的に合焦位置を決定する第１の制御モードと、ある一時点で決定した合焦位置を継続使用する第２の制御モードのいずれかによって自動焦点制御を行うとともに、
   前記設定手段が、前記動画撮影中に静止画撮影指示があった場合、その時点における自動焦点制御の制御モードが前記第１の制御モードであれば、前記動画撮影中に設定されていた焦点検出領域を前記静止画撮影用の焦点検出領域として設定し、前記第２の制御モードであれば、予め定められた位置に前記静止画撮影用の焦点検出領域を設定することを特徴とする請求項１記載の撮像装置。
3. 前記動画撮影中に設定されていた焦点検出領域が複数存在する場合、前記決定手段は焦点検出領域毎に合焦位置を決定し、最も近い合焦位置に前記フォーカスレンズを移動させることを特徴とする請求項２記載の撮像装置。
4. 前記設定手段が、動画撮影中、前記顔検出手段により顔が検出されている状態から顔が検出されなくなった状態に変化した場合には、前記顔が検出されていた際に設定されていた焦点検出領域に加え、その近傍に複数の焦点検出領域を設定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記設定手段が、動画撮影中、前記顔検出手段により顔が検出されている状態から顔が検出されなくなり、予め定められた期間継続して顔が検出されない場合には、前記被写体像の中央部分に前記焦点検出領域を設定することを特徴とする請求項４記載の撮像装置。
6. 前記決定手段は、前記顔が検出されていた際に設定されていた焦点検出領域及びその近傍に設定された前記複数の焦点検出領域の各々について合焦位置を求め、合焦位置の変動が最も少ない焦点検出領域についての合焦位置に前記フォーカスレンズを移動させることを特徴とする請求項４又は請求項５に記載の撮像装置。

Images