JP4518157B2 - 撮像装置及びそのプログラム - Google Patents

Description

本発明は、撮像装置及びそのプログラムに関する。

撮像装置、たとえば、カメラにおいて、顔の向きを検出するという技術がある。
（特許文献１）

公開特許公報 特開２００７−２８０３７４

しかしながら、上記特許文献１の技術によれば、顔の向きを検出しても、撮影する際に、顔の向きを考慮した撮影制御を行なうということはされていなかった。

そこで本発明は、被写体の向きを考慮した撮像制御を行なうことができる撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、被写体を撮像する撮像手段と、前記撮像手段により撮像された画像データ内にある被写体を検出する被写体検出手段と、前記被写体検出手段により検出された被写体の向きを識別する識別手段と、前記識別手段により識別された被写体の向きに基づいて、前記被写体が移動すると予測される予測領域を特定する特定手段と、前記特定手段によって特定された前記予測領域に基づいて、当該装置の所定の制御を行う制御手段と、を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記予測領域は、前記被写体検出手段によって被写体が検出された領域から前記被写体を前記識別手段により識別された被写体の向きにずらした領域であるようにしてもよい。

また、例えば、請求項３に記載されているように、前記予測領域は、前記識別手段により識別された被写体の向きに応じた量だけずらした領域であるようにしてもよい。

また、例えば、請求項４に記載されているように、被写体の移動量を検出する移動量検出手段を更に備え、前記予測領域は、前記移動量検出手段により検出された移動量に応じた量だけずらした領域であるようにしてもよい。

また、例えば、請求項５に記載されているように、前記予測領域は、前記識別手段により検出された被写体の向きに応じて大きさが変わるようにしてもよい。

また、例えば、請求項６に記載されているように、被写体の移動量を検出する移動量検出手段を更に備え、前記予測領域は、前記移動量検出手段により検出された移動量に応じて大きさが変わるようにしてもよい。

また、例えば、請求項７に記載されているように、前記所定の制御は、露出制御及び前記被写体検出手段の制御のうち、少なくとも一方を含むようにしてもよい。

また、例えば、請求項８に記載されているように、前記制御手段は、前記予測領域を測光領域として露出条件を算出し、該算出した露出条件に基づいて露出制御するようにしてもよい。

また、例えば、請求項９に記載されているように、前記制御手段は、前記撮像手段により撮像された画像データの全領域を測光領域として露出条件を算出するとともに、前記予測領域を重みづけして露出制御を行うようにしてもよい。

また、例えば、請求項１０に記載されているように、前記制御手段は、前記被写体が前記予測領域内に存在する場合に、前記算出した露出条件に基づいて露出制御するようにしてもよい。

また、例えば、請求項１１に記載されているように、前記制御手段は、前記予測領域を重視して、前記被写体検出手段による次回の所定の被写体の検出を制御するようにしてもよい。

また、例えば、請求項１２に記載されているように前記制御手段は、前記予測領域から該所定の被写体を検出するように、前記被写体検出手段を制御するようにしてもよい。

また、例えば、請求項１３に記載されているように、前記被写体検出手段は、所定の被写体の特徴データと所定値以上で一致する領域を所定の被写体として検出し、前記制御手段は、前記識別手段によって識別された被写体の向きの方向に基づいて、前記被写体検出手段における次回の検出の際の、前記予測領域外の領域における被写体検出の所定値が該予測領域における被写体検出の所定値よりも高い値となるように制御するようにしてもよい。

また、例えば、請求項１４に記載されているように、前記検出手段は、前記撮像手段により撮像された画像データ内にある顔を検出し、前記識別手段は、前記検出手段によって検出された顔の向きを識別するようにしてもよい。

上記目的達成のため請求項１５記載の発明によるプログラムは、被写体を撮像する撮像手段を備えたコンピュータを、前記撮像手段により撮像された画像データ内にある被写体を検出する被写体検出手段と、前記被写体検出手段により検出された被写体の向きを識別する識別手段と、前記識別手段により識別された被写体の向きに基づいて、前記被写体が移動すると予測される予測領域を特定する特定手段と、前記特定手段によって特定された前記予測領域に基づいて、当該装置の所定の制御を行う制御手段として機能させることを特徴とする。

本発明によれば、検出された顔の向きに基づいた撮像のための所定の制御を行うことができる。

以下、本第１の実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
［第１の実施の形態］
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮像レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、垂直ドライバ６、ＴＧ（timing generator）７、ユニット回路８、ＤＭＡコントローラ（以下、ＤＭＡという）９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、ＤＭＡ１４、画像生成部１５、ＤＭＡ１６、ＤＭＡ１７、表示部１８、ＤＭＡ１９、圧縮伸張部２０、ＤＭＡ２１、フラッシュメモリ２２、顔検出部２３、バス２４を備えている。

撮像レンズ２は、図示しない複数のレンズ群から構成され、フォーカスレンズ２Ａを少なくとも有する。そして、フォーカスレンズ２Ａにはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ２Ａを光軸方向に沿って駆動させるフォーカスモータ、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータを駆動させるフォーカスモータドライバから構成されている（図示略）。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞りとは、ＣＣＤ５に入射される光の量を制御する機構のことをいう。
露出量は、この絞り値（絞りの度合い）とシャッタ速度によって定められる。

ＣＣＤ５は、垂直ドライバ６によって走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。この垂直ドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０によって制御される。また、ＣＣＤ５は電子シャッタとしての機能を有し、この電子シャッタは、垂直ドライバ６、ＴＧ７を介してＣＰＵ１０を介して制御される。

ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５によって得られた撮像信号はユニット回路８を経た後、ＤＭＡ９によってベイヤーデータの状態でバッファメモリ（ＤＲＡＭ１３）に記憶される。

ＣＰＵ１０は、ＡＦ処理、記録処理、表示処理などを行う機能を有すると共に、デジタルカメラ１の各部を制御するワンチップマイコンである。
特に、ＣＰＵ１０は、顔検出部２３によって検出された顔の向きに基づいて、顔検出部２３により顔検出される領域を制限する制御部１０１、画像データに基づいてＡＥ処理を行うＡＥ処理部１０２を有する。

キー入力部１１は、半押し操作、全押し操作可能なシャッタボタン、モード切替キー、録画ボタン、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０がデジタルカメラ1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。

ＤＲＡＭ１３は、ＣＣＤ５によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとしても使用される。

ＤＭＡ１４は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部１５に出力するものである。
画像生成部１５は、ＤＭＡ１４から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を施す部分である。
ＤＭＡ１６は、画像生成部１５で画像処理が施された輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。

ＤＭＡ１７は、バッファメモリに記憶されているＹＵＶデータの画像データを表示部１８に出力するものである。
表示部１８は、カラーＬＣＤとその駆動回路を含み、ＤＭＡ１７から出力された画像データの画像を表示させる。

ＤＭＡ１９は、バッファメモリに記憶されているＹＵＶデータの画像データや圧縮された画像データを圧縮伸張部２０に出力したり、圧縮伸張部２０により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部２０は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ２１は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ２２に記録させたり、フラッシュメモリ２２に記録された圧縮画像データをバッファメモリに記憶させるものである。

顔検出部２３は、撮像された画像データ内にある顔を検出する顔検出処理を行うものである。この顔検出処理は、顔を検出するとともに顔の向きも検出する。この顔検出処理は周知技術なので詳しくは説明しないが、例えば、予め記憶されている一般的な人の顔をあらゆる向きから見たときの特徴データ（あらゆる向きから見たときの目、眉毛、鼻、口、耳、顔全体の輪郭等の特徴データ）と画像データとを比較照合することにより、所定値以上で顔特徴データと一致する領域を顔であると検出するとともに、該所定値以上で一致した顔特徴データの向きを該検出した顔の向きであると検出する。
なお、目、鼻、口の特徴データを有し、目、鼻、口を検出し、検出された目、鼻、口の位置関係から顔の向きを検出するようにしてもよい。

Ｂ．デジタルカメラ１の動作について
以下、本第１の実施の形態におけるデジタルカメラ１の動作を図２のフローチャートにしたがって説明する。

撮像モードのスルー画像表示中において、ユーザによってキー入力部１１の録画ボタンが全押しされると（録画ボタンの押下操作に対応する操作信号がキー入力部１１から送られてくると）、動画撮像記録処理が開始されたと判断し、ＣＰＵ１０は、撮像タイミングが到来したか否かを判断する（ステップＳ１）。ここでは、３０ｆｐｓのフレームレートで被写体を撮像するので、１／３０ｓ（秒）間隔で、撮像タイミングが到来することになる。

ステップＳ１で、撮像タイミングが到来していないと判断すると、撮像タイミングが到来するまでステップＳ１に留まり、撮像タイミングが到来すると、ＣＰＵ１０は、撮像処理を行う。この撮像処理は、後述するステップＳ６のＡＥ処理により設定されたシャッタ速度、絞り値、ゲイン値に基づいて行う。つまり、設定されたシャッタ速度、絞り値でＣＣＤ５に露光させ、ＣＣＤ５に蓄積された画像データを読み出し、ユニット回路８のＡＧＣは該読みだされたフレーム画像データを該設定されたゲイン値に従って自動利得調整し、画像生成部１５によって生成された自動利得調整後の輝度色差信号のフレーム画像データをバッファメモリに記憶させる。

なお、動画撮像記録処理が開始してから最初の撮像は、後述するステップＳ６でＡＥ処理が行われていないので、動画撮像記録処理前のスルー画像表示用として直近に撮像されたフレーム画像データに基づいて行われたＡＥ処理によって設定されたシャッタ速度、絞り値、ゲイン値等で撮像処理を行う。

次いで、ＣＰＵ１０は、バッファメモリに記憶されている直近にステップＳ２で撮像されたフレーム画像データを顔検出部２３に出力し、顔検出部２３に該直近に撮像されたフレーム画像データに対して顔検出処理を行わせる（ステップＳ３）。この顔検出処理により検出された顔の領域を示す情報、及び、該顔の向きを示す情報はＣＰＵ１０に送られる。このとき、顔検出処理は、後述するステップＳ４のＣＰＵ１０の制御部１０１による制御に従って顔検出処理を行う。なお、動画撮像処理が開始してから最初の顔検出は、後述するステップＳ４で顔検出の制御が行われていないので、フレーム画像データの全領域、若しくは、所定又は任意の領域に対して顔検出が行われる。

次いで、ＣＰＵ１０の制御部１０１は、該検出された顔の向きの方向を重視した顔検出処理を行うように顔検出部２３を制御する（ステップＳ４）。この顔の向きの方向を重視した顔検出処理とは、顔が向いている方向に基づく所定領域のみに対して行う顔検出処理のことである。通常、顔が向いている方向に人は移動していくと考えられるからであり、顔が向いている方向を長くした所定領域に対して顔検出を行うことにより、顔検出処理の処理負担を軽減させるとともに、迅速に顔を検出することができる。つまり、この制御により迅速に検出された顔に追従することができ、追従の処理負担を軽減させることができる。

次いで、ＣＰＵ１０のＡＥ処理部１０２は、該検出された顔の向きに基づいて予測領域を特定する（ステップＳ５）。この顔の向きに基づいた予測領域とは、予測領域を、該検出された顔領域から該顔の向きの方向にずらした所定領域のことをいう。通常、顔が向いている方向に人は移動していくと考えられるからである。この特定された予測領域を重視してＡＥ処理が行われる。
図３（Ａ）は、検出されたフレーム画像データ内にある顔と、該検出された顔の向きに基づく顔検出処理の対象となる所定領域、及び、該検出された顔の向きに基づいて特定された予測領域の様子の一例を示すものである。

図３（Ａ）を見ると、フレーム画像データには、顔３１があり、該顔３１の向きは右方向なので、顔検出処理の対象となる所定領域３２は、顔３１が向いている方向に長くとった領域であることがわかる。この顔検出処理の対象となる領域を所定領域３２にすることで、次回の顔検出、追従の処理負担を軽減させることができる。
また、図３（Ａ）を見ると、予測領域３３は、顔３１がある領域から該顔３１が向いている方向にずらした所定領域であることがわかる。この予測領域３３の大きさは、検出された顔の大きさと同じ大きさであってもよいし、所定の大きさであってもよい。

図２のフローチャートに戻り、ステップＳ５の動作を経ると、ＣＰＵ１０のＡＥ処理部１０２は、該特定された予測領域３３を重視したＡＥ処理を行う（ステップＳ６）。
つまり、バッファメモリに記憶されている直近にステップＳ２で撮像されたフレーム画像データのうち、該特定された予測領域３３を測光領域とし、該測光領域の画像データの輝度信号に基づいてＡＥ処理を行う。このＡＥ処理により、シャッタ速度、絞り値、ゲイン値が設定される。

次いで、ＣＰＵ１０は、該検出された顔の向きに基づいて、該顔に対してＡＦ処理を行う（ステップＳ７）。この検出された顔に基づくＡＦ処理とは、検出された顔の向きに基づいてフォーカスレンズ２Ａのサーチ移動方向を変えるという意味である。

ここで、図４（Ａ）は、フォーカスレンズ２Ａの移動の様子を示すものである。
図４（Ａ）に示すように、フォーカスレンズ２Ａは、レンズ端からレンズ端まで移動可能になっており、ＡＦ処理は、合焦レンズ位置を検出するためにフォーカスレンズをサーチ移動させ、各レンズ位置における画像データの高周波成分に基づいて合焦レンズ位置を検出し、該検出した合焦レンズ位置にフォーカスレンズ２Ａを移動させる。ここで、一方のレンズ端側は近い被写体にピントが合うレンズ位置であり、他方のレンズ端側は遠い被写体にピントが合うレンズ位置である。

このとき、検出された顔の向きに応じてフォーカスレンズ２Ａのサーチ移動方向を変える。
ここで、図４（Ｂ）は検出された顔の向きの様子の一例を示す図である。
図４（Ｂ）に示すように、検出された顔の向きが右手前を向いている場合は、該顔は、デジタルカメラ１に向かって近づいていくことが予想されるので、フォーカスレンズ２Ａを、近い被写体にピントが合うレンズ端側へサーチ移動させて、合焦レンズ位置を検出する。

また、図４（Ｃ）に示すように、検出された顔の向きが右奥を向いている場合は、該顔は、デジタルカメラ１から遠ざかっていくことが予想されるので、フォーカスレンズ２Ａを、遠い被写体にピントが合うレンズ端側へサーチ移動させて、合焦レンズを検出する。

つまり、検出された顔の向きがデジタルカメラ１に近づく向きの場合は、フォーカスレンズ２Ａを現在のレンズ位置から近い被写体にピントが合うレンズ端側から先にサーチ移動させ、検出された顔の向きがデジタルカメラ１から遠ざかる向きの場合は、フォーカスレンズ２Ａを現在のレンズ位置から遠い被写体にピントが合うレンズ端側から先にサーチ移動させる。

また、検出された顔の向きがデジタルカメラ１から遠ざかる向きでも、デジタルカメラ１に近づく向きでない場合（例えば顔が真横向きの場合）は、フォーカスレンズ２Ａを移動させないようにしてもよいし（ＡＦ処理を行わないようにしてもよいし）、フォーカスレンズ２Ａを、現在のレンズ位置から前後（近い被写体にピントが合うレンズ端側の方向と遠い被写体にピントが合うレンズ端側の方向）に狭い範囲で移動させて合焦レンズ位置を検出するようにしてもよい。デジタルカメラ１から被写体までの距離が変わらない場合は、ピントがズレていないか、ズレていたとしても微小であるからである。
このように、検出された顔の向きに応じてフォーカスレンズ２Ａのサーチ移動方向を変えることにより、迅速にＡＦ処理を行うことができる。

図２のフローチャートの説明に戻り、該検出された顔の向きに基づいて、該顔に対してＡＦ処理を行うと、ＣＰＵ１０は、バッファメモリに記録されている直近にステップＳ２で撮像されたフレーム画像データを、圧縮伸張部２０に圧縮させ、該圧縮されたフレーム画像データをＤＭＡ２１を介してフラッシュメモリ２２に記録させる（ステップＳ８）。

次いで、ＣＰＵ１０は、動画撮像記録処理を終了するか否かを判断する（ステップＳ９）。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から再び送られてきたか否かにより判断する。

ステップＳ９で、動画撮像記録処理を終了すると判断すると、該記録したフレーム画像データに基づいて動画ファイルを生成し（ステップＳ１０）、ステップＳ９で、動画撮像記録処理を終了しないと判断するとステップＳ１に戻り、上記した動作を繰り返す。つまり、ステップＳ１で撮像タイミングが到来したと判断すると、ステップＳ２で、ステップＳ６のＡＥ処理によって設定されたシャッタ速度、絞り値でＣＣＤ５に露光させ、ＣＣＤ５に蓄積されたフレーム画像データを読み出し、ユニット回路８のＡＧＣは、該ＣＣＤ５から読みだされたフレーム画像データを該設定されたゲイン値に従って自動利得調整し、該画像生成部１５によって生成された自動利得調整後の輝度色差信号のフレーム画像をバッファメモリに記憶させる。

図３（Ｂ）は、ステップＳ６のＡＥ処理後にステップＳ２で撮像されたフレーム画像の様子、及び、ステップＳ６のＡＥ処理の測光領域の対象となった予測領域３３の様子の一例を示すものである。

図３（Ｂ）を見ると、フレーム画像データ上にある顔３１は、ＡＥ処理の対象となった予測領域３３上にあることがわかる。つまり、図３（Ａ）に示すように、顔が検出された領域を測光領域とせずに、顔が向いている方向に測光領域をずらしているので、次の撮像タイミング時に顔が位置すると思われる領域を測光領域として前もってＡＥ処理することにより、適切に撮像時に位置する顔が適正露出量となる画像データを撮像することができる。つまり、従来は、図３（Ａ）に示すように検出された顔領域を測光領域としてＡＥ処理を行って撮像処理を行っていたので、実際に撮像される顔とＡＥ処理の対象となった領域が異なってしまい、実際に撮像された顔が適正露出とならないという不具合を是正することができる。

以上のように、第１の実施の形態においては、検出された顔の向きに基づいて、撮像のための所定の制御を適切に行うことができる。たとえば、検出された顔の向きの方向を重視した顔検出処理を行わせるので、追従の処理負担を軽減させることができ、迅速に顔に追従することができる。また、検出された顔の向きを重視した測光領域を特定してＡＥ処理を行うので、被写体が移動していても、顔領域が適性露出量となる画像データを撮像することができる。また、検出された顔の向きを重視したフォーカスレンズのサーチ移動を行なうので、迅速に顔を追従したＡＦ処理を行うことができる。

［第２の実施の形態］
次に第２の実施の形態について説明する。
Ｄ．デジタルカメラ１の動作
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
以下、第２の実施の形態におけるデジタルカメラ１の動作を図５のフローチャートに従って説明する。

撮像モードのスルー画像表示中において、ユーザによってキー入力部１１の録画ボタンが全押しされると（録画ボタンの押下操作に対応する操作信号がキー入力部１１から送られてくると）、動画撮像記録処理が開始されたと判断し、ＣＰＵ１０は、撮像タイミングが到来したか否かを判断する（ステップＳ２１）。ここでは、３０ｆｐｓのフレームレートで被写体を撮像するので、１／３０ｓ（秒）間隔で、撮像タイミングが到来することになる。

ステップＳ２１で、撮像タイミングが到来していないと判断すると、撮像タイミングが到来するまでステップＳ２１に留まり、撮像タイミングが到来すると、ＣＰＵ１０は、撮像処理を行う（ステップＳ２２）。この撮像処理は、後述するステップＳ２８、又は、ステップＳ３０で直近に設定された露出条件（シャッタ速度、絞り値、ゲイン値）に基づいて行う。つまり、設定されたシャッタ速度、絞り値でＣＣＤ５に露光させ、ＣＣＤ５に蓄積された画像データを読み出し、ユニット回路８のＡＧＣは該読みだされたフレーム画像データを該設定されたゲイン値に従って自動利得調整し、画像生成部１５によって生成された自動利得調整後の輝度色差信号のフレーム画像データをバッファメモリに記憶させる。

なお、動画撮像記録処理が開始してから最初の撮像は、後述するステップＳ２８、又は、ステップＳ３０で露出条件が設定されていないので、動画撮像記録処理前のスルー画像表示用として直近に撮像されたフレーム画像データに基づいて行われたＡＥ処理によって設定されたシャッタ速度、絞り値、ゲイン値等で撮像処理を行う。

次いで、ＣＰＵ１０は、バッファメモリに記憶されている直近にステップＳ２２で撮像されたフレーム画像データを顔検出部２３に出力し、顔検出部２３に該直近に撮像されたフレーム画像データに対して顔検出処理を行わせる（ステップＳ２３）。この顔検出処理により検出された顔の領域を示す情報、及び、該顔の向きを示す情報はＣＰＵ１０に送られる。このとき、顔検出処理は、後述するステップＳ２４のＣＰＵ１０の制御部１０１による制御に従って顔検出処理を行う。なお、動画撮像記録処理が開始してから最初の顔検出は、後述するステップＳ２４で顔検出の制御が行われていないので、フレーム画像データの全領域、若しくは、所定又は任意の領域に対して顔検出が行われる。

次いで、ＣＰＵ１０の制御部１０１は、該検出された顔の向きの方向を重視した顔検出処理を行うように顔検出部２３を制御する（ステップＳ２４）。この制御は、上記第１の実施の形態で説明した図２のステップＳ４と同様である。

次いで、ＣＰＵ１０は、該検出された顔の向きに基づいて、該顔に対してＡＦ処理を行う（ステップＳ２５）。この検出された顔に基づくＡＦ処理とは、上記第１の実施の形態の図２のステップＳ７と同様に、検出された顔の向きに基づいてフォーカスレンズ２Ａのサーチ移動方向を変えるという意味である。

次いで、ＣＰＵ１０は、バッファメモリに記録されている直近にステップＳ２２で撮像されたフレーム画像データを、圧縮伸張部２０に圧縮させ、該圧縮されたフレーム画像データをＤＭＡ２１を介してフラッシュメモリ２２に記録させる（ステップＳ２６）。

次いで、ＣＰＵ１０は、該検出された顔が、後述するステップＳ３１で直近に特定された予測領域３３に入ったか否かを判断する（ステップＳ２７）。ここで、特定された予測領域３３に顔が入ったとは、予測領域３３に該検出された顔が１／２以上入っている場合を指すとするが、予測領域３３に該検出された顔が少しでも入った場合は、特定された予測領域３３に顔が入ったと判断するようにしてもよいし、予測領域３３に該検出された顔が全部入った場合のみ、特定された予測領域３３に顔が入ったと判断するようにしてもよい。

なお、後述するステップＳ３２の予測領域の特定が行われていない場合は、ステップＳ２７でＮに分岐する。例えば、動画撮像記録処理が開始してから最初のステップＳ２２での撮像後は、未だ予測領域３３が特定されていないのでステップＳ２７でＮに分岐する。

ステップＳ２７で、直近に特定した予測領域３３に、該検出された顔が入ったと判断すると、ＣＰＵ１０のＡＥ処理部１０２は、後述するステップＳ３３で直近に算出した予測領域を測光領域とした露出条件に設定して（ステップＳ２８）、ステップＳ３２に進む。これにより、次のステップＳ２２の動作で、該設定された予測領域３３に基づく露出条件で撮像されることになる。

一方、ステップＳ２７で、直近に特定した予測領域３３に、該検出された顔が入っていないと判断すると、ＣＰＵ１０は、前回のステップＳ３０の動作が終わっているか否かを判断する（ステップＳ２９）。
ステップＳ２９で、前回のステップＳ３０の動作が終わっていないと判断するとステップＳ３１に進み、前回のステップＳ３０の動作が終わっていると判断すると、ＣＰＵ１０のＡＥ処理部１０２は、該検出した顔領域を測光領域として露出条件を算出して設定して（ステップＳ３０）、ステップＳ３１に進む。つまり、直近に撮像されたフレーム画像データの該検出された顔領域の画像データの輝度信号に基づいて露出条件（絞り値、シャッタ速度、ゲイン値）を算出して設定する。これにより、次のステップＳ２２の動作で、該設定された顔領域に基づく露出条件で撮像されることになる。

ステップＳ３１に進むと、ＣＰＵ１０は、検出された顔の向きが変わったか否かを判断する。この判断は、直近に検出された顔の向きと、その前に検出された顔の向きが所定値以上で一致するか否かにより判断し、所定値以上で一致する場合は顔の向きが変わっていないと判断する。
なお、たとえば、初めて顔の向きが検出された場合等のように、直近に行われた顔の向きの検出の前に、顔の向きが検出されていない場合は、検出された顔の向きが変わったと判断する。

ステップＳ３１で、顔の向きが変わっていないと判断するとそのままステップＳ３４に進み、ステップＳ３１で、顔の向きが変わっていると判断すると、既に特定されている予測領域３３を維持できない、つまり、設定した予測領域３３の方向に顔が移動することはないと考えられるので、ステップＳ３２に進む。なお、直近に行われた顔の向きの検出の前に、顔の向きが検出されていなくて顔の向きに変化があると判断された場合も、予測領域が特定されていないのでステップＳ３２に進むことになる。

ステップＳ３２に進むと、ＣＰＵ１０のＡＥ処理部１０２は、ステップＳ２３で直近に検出された顔の向きに基づいて予測領域を特定する。この顔の向きに基づいた予測領域とは、予測領域を、該検出された顔領域から該顔の向きの方向にずらした所定領域のことをいう。通常、顔が向いている方向に人は移動していくと考えられるからである。この特定された予測領域を重視して露出条件が算出される。

次いで、ＣＰＵ１０のＡＥ処理部１０２は、該特定した予測領域３３を重視して露出条件を算出して（ステップＳ３３）、ステップＳ３４に進む。つまり、直近に撮像されたフレーム画像データの該特定された予測領域３３を測光領域とし、該測光領域の画像データの輝度信号に基づいて露出条件（絞り値、シャッタ速度、ゲイン値）を算出する。

ステップＳ３４に進むと、ＣＰＵ１０は、動画撮像記録処理を終了するか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から再び送られてきたか否かにより判断する。

ステップＳ３４で、動画撮像記録処理を終了すると判断すると、該記録したフレーム画像データに基づいて動画ファイルを生成し（ステップＳ３５）、ステップＳ３４で、動画撮像記録処理を終了しないと判断するとステップＳ１に戻り、上記した動作を繰り返す。つまり、ステップＳ２１で撮像タイミングが到来したと判断すると、ステップＳ２２で、ステップＳ２８、又は、ステップＳ３０で設定されたシャッタ速度、絞り値でＣＣＤ５に露光させ、ＣＣＤ５に蓄積されたフレーム画像データを読み出し、ユニット回路８のＡＧＣは、該ＣＣＤ５から読みだされたフレーム画像データを該設定されたゲイン値に従って自動利得調整し、該画像生成部１５によって生成された自動利得調整後の輝度色差信号のフレーム画像をバッファメモリに記憶させる。

図６は、第２の実施の形態における露出制御を説明するための図である。
図６（Ａ）は、動画撮像記録処理開始後、初めて撮像されたフレーム画像データであるとする。
図６（Ａ）の顔３１は、顔検出された顔を示し、領域３４は、検出された顔の領域、領域３３は該検出された顔の向きに基づいて特定される予測領域を示している。

まず、動画撮像記録処理開始後、初めてフレーム画像データが撮像されると、ステップＳ２７でＮに分岐して、該検出した顔領域３４（図６（Ａ）に示す顔領域３４）に基づく露出条件が算出され、設定される（ステップＳ３０）。そして、ステップＳ３１で顔の向きが変わったと判断され、該検出された顔３１の向きに基づいて図６（Ａ）に示すような予測領域３３が特定され（ステップＳ３２）、該特定した予測領域を測光領域とした露出条件が算出される（ステップＳ３３）。
そして、ステップＳ３４で、動画撮像記録処理を終了しないと判断すると、ステップＳ２２で、図６（Ａ）の顔領域に基づいて算出された露出条件で撮像される。

図６（Ｂ）は、このとき撮像されたフレーム画像データの様子の一例を示す図である。図６（Ｂ）の予測領域３３は、直近に特定された予測領域３３、つまり、図６（Ａ）に示す予測領域３３と同じ領域である。
図６（Ｂ）を見ると、検出された顔３１は予測領域３３に半分以上入っているので、ステップＳ２７で、予測領域３３に顔が入ったと判断され、既に算出されている予測領域３３に基づく露出条件、つまり、図６（Ａ）の予測領域３３の画像データに基づいて算出された露出条件に設定される（ステップＳ２８）。
該設定された予測領域３１に基づく露出条件で次のフレーム画像データが撮像されることになる。

図６（Ｃ）は、このときに、撮像されたフレーム画像データの様子の一例を示す図である。
図６（Ｃ）を見ると、フレーム画像データ上にある顔３１は、予測領域３３上にあることがわかる。つまり、予測領域３３に顔３１が入ったと判断すると、予め算出しておいた予測領域３３に基づく露出条件で撮像するので、適切に撮像時に位置する顔が適正露出量となる画像データを撮像することができる。

また、顔の向きに基づく予測領域３３を特定し、該特定した予測領域３３を常に測光領域とする上記第１の実施の形態と違い、特定した予測領域３３に顔３１が入ると、該特定した予測領域３３に基づいて予め算出しておいた露出条件で撮像するので、迅速に適切な露出追従を行なうことができる。つまり、従来は、図６（Ａ）に示すように検出された顔領域を測光領域としてＡＥ処理を行って撮像処理を行っていたため、ＡＥ処理に時間がかかってしまい、次の撮影の際には、既に顔が移動しているため実際に撮像された顔が適正露出とならないという不具合を是正することができる。
また、予測領域３３に被写体が入ってから予め算出してある露出条件で撮影するため、被写体の顔が横を向いているが動いていない場合であっても適切な撮像処理を行なうことができる。加えて、被写体が止まっている上体から動き出した場合であっても、被写体の顔の向きから動き出す方向を予測することができるため、該被写体の顔に対して迅速に適切な露出追従を行うことができる。

以上のように、第２の実施の形態においては、検出された顔の向きに基づいて、撮像のための所定の制御を適切に行うことができる。たとえば、検出された顔の向きに基づいて予測領域３３を特定し、該特定した予測領域３３を測光領域として露出条件を算出しておき、該特定した予測領域３３に顔が入るまでは、検出された顔領域に基づいて露出制御を行い、該特定した予測領域に顔が入ると、算出されている予測領域３３に基づく露出条件で撮像するので、顔領域が適性露出量となる画像データを撮像することができ、被写体が止まっていても、動いていても、常に適切な撮像処理を行なうことができる。また、被写体が止まっている状態から動き出した場合、迅速に被写体を追従しながら適切な撮像処理を行なうことができるという効果がある。
また、検出された顔の向きを重視したフォーカスレンズのサーチ移動を行なうので、迅速に顔を追従したＡＦ処理を行うことができる。

［変形例１］
上記第１及び第２の実施の形態は、以下のような変形例も可能である。

（１）上記第１、第２の実施の形態においては、検出された顔の向きに基づく予測領域３３を特定し、該特定した予測領域３３を測光領域としてＡＥ処理や露出条件の算出を行うようにしたが、検出された顔の向きにかかわらず測光領域を画像データの全領域とし、検出された顔の向きの方向に基づく予測領域３３を重点にしてＡＥ処理や露出条件の算出を行うようにしてもよい。つまり、検出された顔の向きの方向にずらした領域の画像データの輝度成分を重みづけしてＡＥ処理や露出条件の算出を行うようにしてもよい。
図３（Ａ）を用いて説明すると、画像データの全領域を測光領域とするとともに、所定領域３３を重みづけしてＡＥ処理を行うことになる。また、図６（Ａ）を用いて説明すると、画像データの全領域を測光領域とするとともに、所定領域３３を重みづけして露出条件を算出することになる。
要は、検出された顔の向きに基づく所定領域を重視したＡＥ処理や露出条件の算出を行うものであればよい。

（２）上記第１、第２の実施の形態において、検出された顔の動き量を検出するようにし、該検出された動き量に基づいて、顔検出処理の対象となる所定領域３２の顔が向いている方向の長さや所定領域３２の大きさを変えるようにしてもよい。
図３（Ａ）を用いて説明すると、検出された顔３１の動き量に応じて、該所定領域３２の検出された顔の向きの方向の長さを変えることになる。
顔３１の動き量が小さい場合に、顔検出処理の対象となる所定領域３２の検出された顔の向きの方向を長め、又は所定領域３２を大きめにとっても無駄な処理が増えるだけであり、逆に、顔３１の動き量が大きい場合に、顔検出処理の対象となる領域３２の検出された顔の向きの方向を短め、又は、所定領域３２を小さめにとると、顔３１が検出されない場合があるからである。これにより、迅速に顔が検出することができるとともに、顔検出処理の負担を小さくすることができる。
この顔の動き量の検出は、顔検出により検出された顔の位置に基づいて動き量を検出するようにしてもよいし、ブロックマッチング法などを用いて顔の動きベクトルを検出することにより動き量を検出するようにしてもよい。
また、検出された顔３１の向きと動き量の両方を考慮して、該所定領域３２の検出された顔の向きの方向の長さ所定領域の大きさを変えるようにしてもよい。
なお、予測領域３３のように、所定領域３２を該検出された顔の向きの方向に、顔領域からずらすようにしてもよい。この場合、該検出された動き量に基づいて、所定領域３２の該検出された顔領域から該顔の向きの方向にずらす量を変える。

（３）上記第１、第２の実施の形態において、検出された顔の動き量を検出するようにし、該検出された動き量に基づいて、特定する予測領域３３の、該検出された顔領域から該顔の向きの方向にずらす量を変えるようにしてもよい。
図３（Ａ）を用いて説明すると、検出された顔３１の動き量に応じて、特定する測光領域３３のずらす量を変えることになる。つまり、動き量が大きい場合にはそれに応じてずらす量を大きくし、動き量が小さい場合はそれに応じてずらす量を小さくする。
これにより、検出された顔３１の動き量に基づいて、撮像タイミング時に顔３１が位置すると思われる領域に予測領域３３として特定することが可能となり、適切に撮像時に位置する顔領域が適正露出量となる画像データを撮像することができる。
この顔の動き量の検出は、顔検出により過去に検出された顔の位置に基づいて動き量を検出するようにしてもよいし、ブロックマッチング法などを用いて顔の動きベクトルを検出することにより動き量を検出するようにしてもよい。
なお、該検出された動き量に基づいて、特定する予測領域３３の大きさを変ええるようにしてもよい。これによっても、検出された顔３１の動き量に基づいて、撮像タイミング時に顔３１が位置すると思われる領域に予測領域３３として特定することが可能となり、適切に撮像時に位置する顔領域が適正露出量となる画像データを撮像することができる。

（４）上記第１、第２の実施の形態において、検出された顔の向きを重視した顔検出処理を行うようにした顔検出部２３の制御は、検出された顔の向きの方向を長くとった所定領域３２に対して所定の被写体の特徴データと所定値以上で一致する領域を被写体として検出するように顔検出処理を行わせるようにしたが、すべての領域に対して顔検出を行わせるとともに、検出された顔の向きの方向を長くとった所定領域３２以外の領域における顔検出の所定値を所定領域における所定値よりも上げるようにしてもよいし、若しくは、検出された顔の向きの方向を長くとった所定領域３２における顔検出の所定値を所定領域以外の領域における所定値よりも下げるようにしてもよい。
また、所定領域において検索する所定の被写体の特徴データの数を所定領域以外の領域における数よりも多くしてもよい。
また、先に所定領域において特徴データの検索を行い、所定領域において特徴データと所定値以上で一致する領域が検出されなかった場合に、所定領域以外の領域で特徴データの検索を行なうようにしてもよい。
これにより、検出された顔の向きの方向を長くとった所定範囲の領域内にある顔が検出され易くなる。

（５）上記第１、第２の実施の形態においては、動画撮像記録処理の場合について説明したが、動画撮像モードや静止画撮像モードにおけるスルー画像表示時おいても適用するようにしてもよい。
つまり、スルー画像表示時に適用する場合は、第１の実施の形態の場合は、図２のステップＳ７の動作を経ると、ステップＳ８の動作を行わず、そのままステップＳ９に進み、ステップＳ９で動画撮像記録処理、若しくは、静止画撮像記録処理を行うか否かを判断し、行わないと判断するとステップＳ１に戻るようにする。そして、ステップＳ８で、動画撮像記録処理、静止画撮像記録処理を行うと判断すると、撮像記録処理に移行する。また、第２の実施の形態の場合は、図５のステップＳ２５の動作を経ると、ステップＳ２６の動作を行わずに、そのままステップＳ２７に進み、ステップＳ３４で、動画撮像記録処理、若しくは、静止画撮像記録処理を行うか否かを判断し、行わないと判断すると、ステップＳ２１に戻る。
このとき、静止画撮像記録処理を行う場合は、図２のステップＳ６、又は、図５のステップＳ２８又はステップＳ３０で直近に特定された予測領域３３、又は顔領域に基づいて行われた露出条件を静止画撮像用の露出条件に置換して行うようにしてもよい。
また、静止画撮像を行なう前に直近に検出された顔に対してオートフォーカスを行なうようにしてもよい。

（６）上記第１、第２の実施の形態において、検出された顔の向きに応じて、顔検出処理の対象となる所定領域３２の顔が向いている方向の長さや所定領域３２の大きさを変えるようにしてもよい。
また、検出された顔の向きに応じて、特定する予測領域３３の、該検出された顔領域から該顔の向きの方向にずらす量を変えるようにしてもよい。
たとえば、顔が同じ速度で移動している場合であっても、顔が真横に向いている場合は、撮像される画像データ間上は該顔の移動距離が一番長くなり、顔の向きが斜め手前方向、斜め後ろ方向の場合は、真横に比べ撮像される画像データ間上の該顔の移動距離は短くなり、顔の向きが正面、真後ろを向いている場合が画像データ間上は一番移動距離が短くなるからである。
これにより、適切に撮像時に位置する顔領域が適正露出量となる画像データを撮像することができ、また、迅速に顔が検出することができるとともに、顔検出処理の負担を小さくすることができる。
なお、予測領域３３のように、所定領域３２を該検出された顔の向きの方向に、顔領域からずらすようにしてもよい。この場合、該検出された顔の向きに基づいて、所定領域３２の該検出された顔領域から該顔の向きの方向にずらす量を変える。また、該検出された顔の向きに基づいて、特定する予測領域３３の大きさを変ええるようにしてもよい。これによっても、上記効果を得ることができる。

（７）また、被写体の移動速度が所定速度より遅い場合は、上記第２の実施の形態のような露出制御を行い、被写体の移動速度が所定速度以上になると、上記第１の実施の形態のような露出制御を行うように自動で切り替えるようにしてもよい。この被写体の移動速度は、顔検出により過去に検出された顔の位置に基づいて移動速度を検出するようにしてもよいし、ブロックマッチング法などを用いて顔の動きベクトルを検出することにより移動速度を検出するようにしてもよい。

（８）上記第１、第２の実施の形態において、顔検出部２３による顔検出により顔を追従させるようにしたが、ブロックマッチング法などにより顔検出部２３に検出された顔を追従させるようにしてもよい。つまり、該検出された顔領域の画像データが後に撮像されたフレーム画像データのどこにあるかをブロックマッチング法により検出することにより該検出された顔の追従を行う。
このときも、顔検出部２３により検出された顔の向きを重視した顔追従を行う。つまり、該検出された顔の向きに基づいて、該検出された顔の探索範囲を変える。

たとえば、図３（Ａ）に示すようにフレーム画像データが撮像された場合は、該検出された顔は顔３１であるので、探索範囲を、フレーム画像データの全領域ではなく、領域３２にする。つまり、該検出された顔３１の領域の画像データが、その後に撮像されたフレーム画像データの領域３２内のどこにあるかを検出することにより該検出された顔の追従を行う。これにより、迅速に顔を追従することができる。

この場合は、顔に対して追従することはできるが、追従している顔の向きがわからないので、顔検出部３１は追従している顔領域に対して顔検出を行うことにより、追従している顔の向きを検出する。この場合は、追従している顔領域に対して顔検出を行うので顔検出の処理負担を軽減させることができ、迅速に顔を検出することができる。
なお、ブロックマッチング法による顔追従も、要は顔領域を検出しているので顔検出の一種といえるが、顔検出部２３による顔検出と異なる点は、顔検出部２３による顔検出は、予め記録されている顔の特徴データと比較照合するのに対し、ブロックマッチング法による顔検出は、撮像された顔領域の画像データとその後に撮像されたフレーム画像データとを比較照合する点である。

（９）上記第２の実施の形態においては、被写体が移動すると思われる予測領域を特定し、特定した予測領域に被写体が入った場合に、予め算出しておいた予測領域内での適切な条件で撮像制御を行うようにしたが、被写体が移動したか否かを判断し、被写体が予測していた方向に移動した場合に予め算出しておいた条件で撮像制御を行うようにしてもよい。つまり、顔の向きから移動方向の予測と移動すると思われる予測領域の特定を行い、顔が予測した方向に動いたと判断した場合に、予め算出しておいた予測領域内での適切な条件で撮像制御を行うようにする。
この場合は、被写体の移動を検出した次の撮像において特定した予測領域における適切な条件で撮像制御を行なうので、被写体の移動速度が速いために、特定した予測領域に被写体が入ったことを検出しても、次の撮像時には予測領域に被写体がいないといった問題が起きることを防ぐことができる。

（１０）上記第１、第２の実施の形態においては、人の顔を検出するようにしたが、人の顔ではなく、猫や犬等の動物の顔や人の体全体（頭、胴、腕、足などの体全体）等の所定の被写体を検出するようにしてもよい。このときも、該所定の被写体の向きも検出する。

（１１）上記第１、第２の実施の形態においては、顔検出の対象となる領域を所定領域３２、露出制御の対象となる領域を予測領域３３としたが、顔検出の対象となる領域も露出制御の対象となる領域も同じであってもよい。つまり、上述した所定領域３２に対して顔検出及び露出制御を行なうようにしてもよいし、予測領域３３に対して顔検出及び露出制御を行なうようにしてもよい。

（１２）また、上記変形例（１）乃至（１１）を矛盾しない範囲で任意に組み合わせた態様であってもよい。

［第３の実施の形態］
次に第３の実施の形態について説明する。
Ｅ．デジタルカメラ１の動作
第３の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。なお、ＣＰＵ１０は、検出された各顔の向きに基づいて注目エリアを検出する注目エリア検出部を有する。
以下、第３の実施の形態におけるデジタルカメラ１の動作を図７のフローチャートに従って説明する。

ユーザのキー入力部１１のモード切替キーの操作により静止画撮像モードに設定されると、ＣＰＵ１０は、所定のフレームレートでＣＣＤ５による被写体の撮像を開始させ、画像生成部１５によって順次生成されてバッファメモリ（ＤＲＡＭ１３）に記憶された輝度色差信号のフレーム画像データを表示部１８に表示させていく、といういわゆるスルー画像表示を開始する（ステップＳ５１）。

次いで、ＣＰＵ１０は、ユーザによってシャッタボタンが半押しされたか否かを判断する（ステップＳ５２）。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。

ステップＳ５２で、シャッタボタンが半押しされていないと判断すると、半押しされたと判断されるまでステップＳ５２に留まり、シャッタボタンが半押しされたと判断すると、ＣＰＵ１０は、バッファメモリに記憶されている直近に撮像されたフレーム画像データを顔検出部２３に出力し、顔検出部２３に該直近に撮像されたフレーム画像データに対して顔検出処理を行わせる（ステップＳ５３）。この顔検出処理により検出された顔の領域を示す情報、及び、該顔の向きを示す情報はＣＰＵ１０に送られる。

次いで、ＣＰＵ１０は、該顔検出処理により複数の顔が検出されたか否かを判断する（ステップＳ５４）。
ステップＳ５４で、複数の顔が検出されたと判断すると、ＣＰＵ１０の注目エリア検出部は、検出された各顔の向きに基づいて注目エリアの検出を行う（ステップＳ５５）。この注目エリアとは、検出された顔の人が見ている（注目している）エリアのことをいう。
この注目エリアの検出は、検出された各顔の向きの方向の延長線が交差する領域を注目エリアとして検出する。

図８は、検出された顔の向きに基づいて検出される注目エリアの様子の一例を示す図である。
図８を見ると、顔４１と顔４２は、被写体４３を見ているのがわかり、注目している被写体（注目被写体）は被写体４３ということになる。
ここでは、顔４１と顔４２とが検出され、該検出された各顔の向き方向の延長線が交差する点を中心とした所定の領域が注目エリア４４となる。

図８のフローチャートに戻り、注目エリアの検出を行うと、ＣＰＵ１０は、注目エリア検出部により注目エリア４４が検出されたか否かを判断する（ステップＳ５６）。

ステップＳ５６で、注目エリア４４が検出されたと判断すると、ＣＰＵ１０のＡＥ処理部１０２は、該検出した注目エリア４４を測光領域とし、該測光領域の画像データの輝度成分に基づいて静止画用のＡＥ処理を行うとともに、ＣＰＵ１０は、該注目エリアに対してＡＦ処理を行って（ステップＳ５７）、ステップＳ５９に進む。このＡＦ処理は、フォーカスレンズ２Ａを移動させて、注目エリアの画像データの高周波成分に基づく合焦レンズ位置にフォーカスレンズ２Ａを移動させる。このとき、注目エリアであることを示す情報（たとえば、注目枠）をスルー画像上に表示させるようにしてもよい。

一方、ステップＳ５４で、複数の顔が検出されていないと判断された場合、ステップＳ５６で、注目エリア４４を検出できないと判断した場合は、ＣＰＵ１０のＡＥ処理部１０２は、該検出された顔の領域を測光領域として、該測光領域の画像データの輝度成分に基づいて静止画用のＡＥ処理を行うとともに、ＣＰＵ１０のＡＦ処理部は、該検出された顔に対してＡＦ処理を行って（ステップＳ５８）、ステップＳ５９に進む。このＡＦ処理は、フォーカスレンズ２Ａを移動させて、検出された顔領域の画像データの高周波成分に基づく合焦レンズ位置にフォーカスレンズ２Ａを移動させる。

なお、このとき、検出された顔が複数ある場合は、すべての顔の領域に基づいてＡＥ処理を行うようにしてもよいし、何れか１つの顔の領域に基づいてＡＥ処理を行うようにしてもよい。また、検出された顔が複数ある場合は、検出された顔全てにピントが合うようにＡＦ処理を行うようにしてもよいし、何れか１つの顔に対してＡＦ処理を行うようにしてもよい。

ステップＳ５９に進むと、ＣＰＵ１０は、ユーザによってシャッタボタンが全押しされたか否かを判断する。
ステップＳ５９で、シャッタボタンが全押しされていないと判断すると、全押しされるまでステップＳ５９に留まり、シャッタボタンが全押しされたと判断すると、ＣＰＵ１０は、ステップＳ５７又はステップＳ５８のＡＥ処理によって設定された露出条件で静止画撮像処理を行い、画像生成部１５によって生成され圧縮伸張部２０によって圧縮された輝度色差信号の画像データを、ＤＭＡ２１を介してフラッシュメモリ２２に記録する（ステップＳ６０）。

以上のように、第３の実施の形態においては、検出された顔の向きに基づいて、撮像のための所定の制御を適切に行うことができる。たとえば、複数の顔が検出された場合は、該検出された各顔の向き方向の延長線が交差するエリアを、撮像された人が注目している注目エリア４４として検出し、該検出した注目エリア４４に対してＡＥ処理、ＡＦ処理を行うので、被写体が注目している被写体に適切に露出を制御することができるとともに、ピントを合わせることができる。

［変形例２］
上記第３の実施の形態は、以下のような変形例も可能である。

（０１）上記第３の実施の形態においては、図７のステップＳ５９で、シャッタボタンが全押しされていないと判断すると全押しされるまでステップＳ５９に留まるようにしたが、ステップＳ５９で、シャッタボタンが全押しされていないと判断するとステップＳ５３に戻るようにしてもよい。つまり、シャッタボタンが全押しされるまで注目エリアに追従、顔に追従したコンティニュアスＡＦ処理を行うようにしてもよい。
また、静止画撮像の場合について説明したが、動画撮像の場合にも適用するようにしてもよい。

（２）上記第３の実施の形態においては、検出された各顔の向きの方向の延長線が交差する領域を注目エリアとして検出するようにしたが、検出された各顔の一部（２つ以上）の顔の向きにおいて、向きの方向の延長線がある領域で交差する場合に、その領域を注目エリアとして検出するようにしてもよい。

（３）上記第３の実施の形態においては、検出された注目エリア、若しくは、検出された顔領域を測光領域としてＡＥ処理を行うようにしたが、撮像された画像データの全領域を測光領域とし、少なくとも該検出された注目エリアを重みづけしてＡＥ処理を行うようにしてもよい。

（４）上記第３の実施の形態においては、人の顔を検出するようにしたが、人の顔ではなく、猫や犬等の動物の顔や人の体全体（頭、胴、腕、足などの体全体）等の所定の被写体を検出するようにしてもよい。このときも、該所定の被写体の向きも検出する。

（５）上記第３の実施の形態においては、静止画撮像の場合について説明したが、動画撮像中においても適用してもよい。つまり、動画の撮像中に、検出された注目エリア４４でのＡＥ処理、ＡＦ処理を周期的に行うようにしてもよい。

（６）また、上記変形例（１）乃至（５）を矛盾しない範囲で任意に組み合わせた態様であってもよい。

また、上記各実施の形態においては、顔検出部２３が、顔を検出するとともに、該検出された顔の向きも検出するようにしたが、顔検出部２３が顔を検出し、該検出された顔の向きを検出する手段を別個に設けるようにしてもよい。

本発明の上記各実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記各実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。

最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像することができる機器であれば適用可能である。

本発明の実施の形態のデジタルカメラのブロック図である。 第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。 検出されたフレーム画像データ内にある顔と、該検出された顔の向きに基づく顔検出処理の対象となる一定領域、該検出された顔の向きに基づいて特定された予測領域の様子の一例を示す図と、ステップＳ６のＡＥ処理後にステップＳ２で撮像されたフレーム画像の様子、及び、ステップＳ６のＡＥ処理の測光領域の対象となった予測領域３３の様子の一例を示す図である。 フォーカスレンズ２Ａの移動の様子を図、及び、検出された顔の向きの様子の一例を示す図である。 第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。 第２の実施の形態における露出制御を説明するための図である。 第３の実施の形態のデジタルカメラ１の動作を示すフローチャートである。 検出された顔の向きに基づいて検出される注目エリア４４の様子の一例を示す図である。

符号の説明

１ デジタルカメラ
２ 撮像レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ 垂直ドライバ
７ ＴＧ
８ ユニット回路
９ ＤＭＡ
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ ＤＭＡ
１５ 画像生成部
１６ ＤＭＡ
１７ ＤＭＡ
１８ 表示部
１９ ＤＭＡ
２０ 圧縮伸張部
２１ ＤＭＡ
２２ フラッシュメモリ
２３ 顔検出部
２４ バス

Claims (15)

1. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像された画像データ内にある被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体の向きを識別する識別手段と、
   前記識別手段により識別された被写体の向きに基づいて、前記被写体が移動すると予測される予測領域を特定する特定手段と、
   前記特定手段によって特定された前記予測領域に基づいて、当該装置の所定の制御を行う制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記予測領域は、
   前記被写体検出手段によって被写体が検出された領域から前記被写体を前記識別手段により識別された被写体の向きにずらした領域であることを特徴とする請求項1記載の撮像装置。
3. 前記予測領域は、
   前記識別手段により識別された被写体の向きに応じた量だけずらした領域であることを特徴とする請求項２記載の撮像装置。
4. 被写体の移動量を検出する移動量検出手段を更に備え、
   前記予測領域は、
   前記移動量検出手段により検出された移動量に応じた量だけずらした領域であることを特徴とする請求項２記載の撮像装置。
5. 前記予測領域は、
   前記識別手段により検出された被写体の向きに応じて大きさが変わることを特徴とする請求項１〜４の何れかに記載の撮像装置。
6. 被写体の移動量を検出する移動量検出手段を更に備え、
   前記予測領域は、
   前記移動量検出手段により検出された移動量に応じて大きさが変わることを特徴とする請求項１〜５の何れかに記載の撮像装置。
7. 前記所定の制御は、
   露出制御及び前記被写体検出手段の制御のうち、少なくとも一方を含むことを特徴とする請求項１〜６の何れかに記載の撮像装置。
8. 前記制御手段は、
   前記予測領域を測光領域として露出条件を算出し、該算出した露出条件に基づいて露出制御することを特徴とする請求項７記載の撮像装置。
9. 前記制御手段は、
   前記撮像手段により撮像された画像データの全領域を測光領域として露出条件を算出するとともに、前記予測領域を重みづけして露出制御を行うことを特徴とする請求項７記載の撮像装置。
10. 前記制御手段は、
    前記被写体が前記予測領域内に存在する場合に、前記算出した露出条件に基づいて露出制御することを特徴とする請求項８記載の撮像装置。
11. 前記制御手段は、
    前記予測領域を重視して、前記被写体検出手段による次回の所定の被写体の検出を制御することを特徴とする請求項１〜１０の何れかに記載の撮像装置。
12. 前記制御手段は、
    前記予測領域から該所定の被写体を検出するように、前記被写体検出手段を制御することを特徴とする請求項１１記載の撮像装置。
13. 前記被写体検出手段は、
    所定の被写体の特徴データと所定値以上で一致する領域を所定の被写体として検出し、
    前記制御手段は、
    前記識別手段によって識別された被写体の向きの方向に基づいて、前記被写体検出手段における次回の検出の際の、前記予測領域外の領域における被写体検出の所定値が該予測領域における被写体検出の所定値よりも高い値となるように制御することを特徴とする請求項１１記載の撮像装置。
14. 前記検出手段は、
    前記撮像手段により撮像された画像データ内にある顔を検出し、
    前記識別手段は、
    前記検出手段によって検出された顔の向きを識別することを特徴とする請求項１〜１３の何れかに記載の撮像装置。
15. 被写体を撮像する撮像手段を備えたコンピュータを、
    前記撮像手段により撮像された画像データ内にある被写体を検出する被写体検出手段と、
    前記被写体検出手段により検出された被写体の向きを識別する識別手段と、
    前記識別手段により識別された被写体の向きに基づいて、前記被写体が移動すると予測される予測領域を特定する特定手段と、
    前記特定手段によって特定された前記予測領域に基づいて、当該装置の所定の制御を行う制御手段
    として機能させることを特徴とするプログラム。
    

Images