JP2008139683A - 撮像装置及びオートフォーカス制御方法 - Google Patents

Abstract

【課題】顔領域を含む撮影画像に対してより大きな焦点評価値を算出せしめ、安定したオートフォーカス制御を実現する。
【解決手段】撮影画像を複数の分割領域に分割し、分割領域ごとに、水平及び垂直コントラスト成分（Ｃ_H［ｉ，ｊ］及びＣ_V［ｉ，ｊ］）を算出して、それらを加重加算（重み付け加算）することにより領域評価値（α［ｉ，ｊ］）を算出する。撮影画像から顔領域を抽出し、顔領域に対応する分割領域の領域評価値を算出する際、垂直コントラスト成分に対する重み付け係数を高くする。焦点評価値（ＡＦ評価値）は、焦点評価領域（ＡＦ評価領域）に含まれる各分割領域の領域評価値を積算することによって得られ、焦点評価値が最大値をとるように山登り制御を行う。
【選択図】図４

Description

本発明は、撮像装置及びそれに用いられるオートフォーカス制御方法に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置では、ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いたオートフォーカス制御（以下、ＡＦ制御という）が一般的に用いられる。

このＡＦ制御では、フレーム画像（撮影画像）内にＡＦ評価領域（焦点評価領域）を設定し、ＡＦ評価領域内の映像信号の高域周波数成分を抽出して、抽出した高域周波数成分の積算値をＡＦ評価値（焦点評価値）として算出する。ＡＦ評価領域内のコントラスト量が増大すれば、映像信号の高域周波数成分も増大するため、このＡＦ評価値は、ＡＦ評価領域内のコントラスト量に概ね比例する。そして、いわゆる山登り制御を用いて、ＡＦ評価値が最大値付近で保たれるようにフォーカスレンズを駆動制御する。

特開２００３−７５７１３号公報 特開２００４−１５１６０８号公報

一般的に、撮影画像を形成する各画素の映像信号を伝送する際、撮影画像の上端から下端まで水平方向に順に走査が行われ、各画素の映像信号は、この走査順で伝送される。このため、通常、映像信号の高域周波数成分の抽出は水平方向に沿って行われ、この結果、ＡＦ評価値はＡＦ評価領域内の画像の水平方向のコントラストを表す値となる。従って、被写体のコントラストが垂直方向に対して高くても、水平方向に対して低い場合（例えば、横縞の模様）は、得られるＡＦ評価値が小さくなって正常にピント合わせができないという問題があった。

この問題を解決すべく、垂直方向のコントラスト検出を利用するＡＦ制御も提案されているが、通常、画像には水平及び垂直方向のコントラスト成分が混在しているため、垂直方向のコントラストのみを考慮していたのでは、ＡＦ制御が安定しない。

また、様々な構図において、人物（特に、人物の顔）が被写体に含まれることが多いため、この事情をも考慮してＡＦ制御を行うことが肝要である。

そこで本発明は、安定したオートフォーカス制御を実現する撮像装置及びオートフォーカス制御方法を提供することを目的とする。特に、人物の顔を被写体に含む時において、安定したオートフォーカス制御を実現する撮像装置及びオートフォーカス制御方法を提供することを目的とする。

上記目的を達成するために本発明に係る第１の撮像装置は、撮像素子及び前記撮像素子に被写体に応じた光学像を結像させるための光学系を有して、撮影によって撮影画像を得る撮像手段と、前記撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を算出する焦点評価値算出手段と、を備え、前記焦点評価値が極値をとるように前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、前記焦点評価値算出手段は、前記焦点評価領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、検出したそれらを加重加算することによって前記焦点評価値を算出することを特徴とする。

通常、画像には水平及び垂直方向のコントラスト成分が混在しているため、上記のように構成することにより、様々な被写体に対して安定したオートフォーカス制御を実現することが可能となる。また、人物の顔には垂直方向のコントラスト成分が比較的多く含まれているため、人物の顔を被写体に含める場合において、特に安定したオートフォーカス制御を実現することが可能となる。

例えば、前記第１の撮像装置は、前記撮影画像から顔領域を抽出する顔領域抽出手段を更に備え、前記焦点評価値算出手段は、前記焦点評価領域に前記顔領域が含まれるか否かに応じて、前記焦点評価値に対する前記垂直コントラスト成分の寄与度を変化させる。

これにより、人物の顔が被写体に含まれる場合において、比較的大きな焦点評価値を得ることが可能となり、安定したオートフォーカス制御を実現することが可能となる。

具体的には例えば、前記焦点評価値算出手段は、前記焦点評価領域に前記顔領域が含まれるとき、含まれないときに比べて、前記焦点評価値に対する前記垂直コントラスト成分の寄与度を増大させる。

また例えば、前記第１の撮像装置は、前記撮影画像から顔領域を抽出する顔領域抽出手段を更に備え、前記焦点評価領域に前記顔領域が含まれるとき、前記焦点評価領域は、前記顔領域の内側の一部領域又は前記顔領域の全体領域に対応する第１領域と、前記焦点評価領域から前記第１領域を除いた第２領域と、に分類され、前記焦点評価値算出手段は、前記第１領域内の画像の水平コントラスト成分と垂直コントラスト成分の加重加算値に相当する第１評価値と、前記第２領域内の画像の水平コントラスト成分と垂直コントラスト成分の加重加算値に相当する第２評価値と、の和から前記焦点評価値を算出し、第１評価値に対する、前記第１領域内の画像の垂直コントラスト成分の寄与度は、第２評価値に対する、前記第２領域内の画像の垂直コントラスト成分の寄与度よりも大きい。

これにより、人物の顔が被写体に含まれる場合において、比較的大きな焦点評価値を得ることが可能となり、安定したオートフォーカス制御を実現することが可能となる。

また、上記目的を達成するために本発明に係る第２の撮像装置は、撮像素子及び前記撮像素子に被写体に応じた光学像を結像させるための光学系を有して、撮影によって撮影画像を得る撮像手段と、前記撮影画像内に設けられた、複数の要素領域から成る焦点評価領域の映像信号に基づいて焦点評価値を算出する焦点評価値算出手段と、を備え、前記焦点評価値が極値をとるように前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、前記焦点評価値算出手段は、各要素領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、前記要素領域ごとに前記水平コントラスト成分と前記垂直コントラスト成分を比較して大きい方のコントラスト成分から要素領域評価値を算出し、各要素領域評価値を積算又は平均化することにより前記焦点評価値を算出することを特徴とする。

これにより、得られる焦点評価値が大きくなり、安定したオートフォーカス制御を実現することが可能となる。また、人物の顔には垂直方向のコントラスト成分が比較的多く含まれているため、人物の顔が被写体に含まれる場合、その顔に対応する要素領域についての要素領域評価値は垂直コントラスト成分から算出されやすくなる。この結果、人物の顔が被写体に含まれる場合においては、特に得られる焦点評価値が大きくなり、安定したオートフォーカス制御を実現することが可能となる。

また、上記目的を達成するために本発明に係る第１のオートフォーカス制御方法は、撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を算出し、前記焦点評価値が極値をとるように撮像装置内の光学系を駆動制御してオートフォーカス制御を行うオートフォーカス制御方法において、前記焦点評価領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、検出したそれらを加重加算することによって前記焦点評価値を算出することを特徴とする。

また、上記目的を達成するために本発明に係る第２のオートフォーカス制御方法は、撮影画像内に設けられた、複数の要素領域から成る焦点評価領域の映像信号に基づいて焦点評価値を算出し、前記焦点評価値が極値をとるように撮像装置内の光学系を駆動制御してオートフォーカス制御を行うオートフォーカス制御方法において、各要素領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、前記要素領域ごとに前記水平コントラスト成分と前記垂直コントラスト成分を比較して大きい方のコントラスト成分から要素領域評価値を算出し、各要素領域評価値を積算又は平均化することにより前記焦点評価値を算出することを特徴とする。

本発明によれば、安定したオートフォーカス制御を実現する撮像装置及びオートフォーカス制御方法を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、静止画及び動画を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画のみを撮影可能なデジタルスチルカメラであってもよい。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

まず、撮像装置１及び撮像装置１を構成する各部位の、基本的な機能について説明する。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。

図２の撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０、フォーカスレンズ３１及び補正レンズ３６を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能であり、補正レンズ３６は、光軸に直交する２次元平面上を移動可能なように光学系３５内に設置される。

ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて絞り３２の開度（開口部の大きさ）を制御する。また更に、ドライバ３４は、ＣＰＵ２３からの手ぶれ補正制御信号に基づいて、手ぶれに由来する撮像素子３３の撮像面上の光学像のぶれがキャンセルされるように、補正レンズ３６の位置を制御する。

被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、映像信号処理部１３に出力する。

映像信号処理部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」又は「フレーム画像」ともいう）を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。映像信号処理部１３にて生成された映像信号は、圧縮処理部１６と映像出力回路２０に送られる。

図３に映像信号処理部１３の内部ブロック図を示す。映像信号処理部１３は、ＡＥ評価部４１と、ＡＦ評価部４２、顔検出部４３及び動き検出部４４を含む。

ＡＥ評価部４１は、撮影画像の明るさに応じたＡＥ評価値を算出する。ＣＰＵ２３は、ＡＥ評価値に応じて図２のドライバ３４を介して絞り３２の開度（及び必要に応じてＡＦＥ１２における信号増幅の増幅度）を調節することにより、受光量（画像の明るさ）を制御する。

ＡＦ評価部（焦点評価値算出手段）４２は、撮影画像に設けられたＡＦ評価領域（焦点評価領域）内の画像のコントラスト量に応じたＡＦ評価値（焦点評価値）を算出する。ＣＰＵ２３は、ＡＦ評価値に応じて図２のドライバ３４を介してフォーカスレンズ３１の位置を制御することにより、ＡＦ評価領域に収まる被写体の光学像を撮像素子３３の撮像面上に結像させる。ＡＦ評価部４２の機能については後に詳説する。

顔検出部４３は、各撮影画像の中から人物の顔を検出して、顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部４３は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように撮影画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。

典型的には例えば、入力画像（即ち、撮影画像）内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等である。

入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。

また、入力画像（即ち、撮影画像）を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。

動き検出部４４は、例えば、公知の画像マッチング法（例えば、ブロックマッチング法や代表点マッチング法）を用い、隣接するフレーム画像間において映像信号を対比することにより、隣接するフレーム画像間における動きベクトルを検出する。この動きベクトルは、隣接するフレーム画像間における、画像の動きの大きさ及び向きを特定する。ＣＰＵ２３は、順次算出される動きベクトルに基づき手ぶれ補正制御信号を生成して、図２の補正レンズ３６の位置を制御することにより手ぶれ補正を実施する。

図１のマイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。

録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期（例えば、１／６０秒）にて順次撮影が行われる。撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。再度、録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、録画ボタン２６ａ又はシャッタボタン２６ｂの押下の有無に関わらず、撮像部１１による撮影画像の取得及び映像信号処理１３による映像信号の生成が逐次行われており、所謂プレビューを行うべく、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

図１の撮像装置１は、特徴的なオートフォーカス制御（ＡＦ制御）を行う。図４は、ＡＦ制御に特に関与する部分に対応する、撮像装置１の一部ブロック図である。図４には、図３のＡＦ評価部４２の内部構成が示されている。

図４のＡＦ評価部４２は、水平コントラスト成分検出部５１と、垂直コントラスト成分検出部５２と、領域評価値算出部５３と、積算部５４と、加算比率制御部５５と、を有する。水平コントラスト成分検出部５１、垂直コントラスト成分検出部５２及び顔検出部４３には、撮影画像を表す撮影画像データが与えられる。撮影画像データは、上記の映像信号にて形成される。

ＡＦ評価部４２において、各撮影画像は、垂直方向にＭ分割且つ水平方向にＮ分割して捉えられる。このため、各撮影画像は、（Ｍ×Ｎ）個の分割領域に分割して考えられる。Ｍ及びＮは、それぞれ２以上の整数である。ＭとＮは、一致していても一致していなくてもよい。

図５に、各撮影画像の分割の様子を示す。（Ｍ×Ｎ）個の分割領域をＭ行Ｎ列の行列として捉え、撮影画像の原点Ｏを基準として、各分割領域をＡＲ［ｉ，ｊ］にて表す。ここで、ｉ及びｊは、１≦ｉ≦Ｍ且つ１≦ｊ≦Ｎ、を満たす各整数をとる。ｉが同じ分割領域ＡＲ［ｉ，ｊ］は、同一の水平ライン上の画素から構成され、ｊが同じ分割領域ＡＲ［ｉ，ｊ］は、同一の垂直ライン上の画素から構成される。

ＡＦ評価部４２は、１つの撮影画像から１つのＡＦ評価値を算出し、ＡＦ制御を実現すべく、各撮影画像について算出した各ＡＦ評価値を、順次、ＣＰＵ２３に伝達する。

［ＡＦ評価値の算出手法］
着目した１つの撮影画像から１つのＡＦ評価値を算出する動作について説明する。

水平コントラスト成分検出部５１は、撮影画像を形成する分割領域ごとに、分割領域内の画像の水平方向のコントラスト成分（以下、水平コントラスト成分という）を算出する。分割領域ＡＲ［ｉ，ｊ］について算出された、その水平コントラスト成分をＣ_H［ｉ，ｊ］にて表す。

分割領域ＡＲ［ｉ，ｊ］に関し、水平コントラスト成分Ｃ_H［ｉ，ｊ］は、当該分割領域ＡＲ［ｉ，ｊ］内の画像についての映像信号に基づいて算出される。

図６（ａ）に、水平コントラスト成分検出部５１の内部ブロック図の一例を示す。図６の水平コントラスト成分検出部５１は、抽出部６１、ＨＰＦ（ハイパスフィルタ）６２及び積算部６３から成る。

分割領域ＡＲ［１，１］についての水平コントラスト成分Ｃ_H［１，１］を算出する際、抽出部６１は、当該分割領域ＡＲ［１，１］内の輝度信号を抽出し、ＨＰＦ６２は、抽出された輝度信号中の、水平方向における所定の高域周波数成分を抽出し、積算部６３は、抽出された高域周波数成分を積算（又は平均化）することにより水平コントラスト成分Ｃ_H［１，１］を算出する。単純には例えば、ＨＰＦ６２は、水平方向に隣接する画素間の輝度値の差分の絶対値を算出し、積算部６３は、分割領域ＡＲ［１，１］内で算出された各絶対値を積算（又は平均化）することにより水平コントラスト成分Ｃ_H［１，１］を算出する。他の分割領域ＡＲ［ｉ，ｊ］についても同様である。尚、輝度値とは、輝度信号の値であり、或る画素に関し、輝度値が増加するに従って該画素の輝度（明るさ）は増大する。

算出された水平コントラスト成分Ｃ_H［ｉ，ｊ］は、分割領域ＡＲ［ｉ，ｊ］内の画像の水平方向のコントラストに概ね比例し、該コントラストが増大するにつれて増大する。

垂直コントラスト成分検出部５２は、撮影画像を形成する分割領域ごとに、分割領域内の画像の垂直方向のコントラスト成分（以下、垂直コントラスト成分という）を算出する。分割領域ＡＲ［ｉ，ｊ］について算出された、その垂直コントラスト成分をＣ_V［ｉ，ｊ］にて表す。

分割領域ＡＲ［ｉ，ｊ］に関し、垂直コントラスト成分Ｃ_V［ｉ，ｊ］は、当該分割領域ＡＲ［ｉ，ｊ］内の画像についての映像信号に基づいて算出される。

図６（ｂ）に、垂直コントラスト成分検出部５２の内部ブロック図の一例を示す。図６の垂直コントラスト成分検出部５２は、抽出部６４、ＨＰＦ（ハイパスフィルタ）６５及び積算部６６から成る。

分割領域ＡＲ［１，１］についての垂直コントラスト成分Ｃ_V［１，１］を算出する際、抽出部６４は、当該分割領域ＡＲ［１，１］内の輝度信号を抽出し、ＨＰＦ６５は、抽出された輝度信号中の、垂直方向における所定の高域周波数成分を抽出し、積算部６６は、抽出された高域周波数成分を積算（又は平均化）することにより垂直コントラスト成分Ｃ_V［１，１］を算出する。単純には例えば、ＨＰＦ６５は、垂直方向に隣接する画素間の輝度値の差分の絶対値を算出し、積算部６６は、分割領域ＡＲ［１，１］内で算出された各絶対値を積算（又は平均化）することにより垂直コントラスト成分Ｃ_V［１，１］を算出する。他の分割領域ＡＲ［ｉ，ｊ］についても同様である。

算出された垂直コントラスト成分Ｃ_V［ｉ，ｊ］は、分割領域ＡＲ［ｉ，ｊ］内の画像の垂直方向のコントラストに概ね比例し、該コントラストが増大するにつれて増大する。

分割領域ごとに算出された水平コントラスト成分（即ち、Ｃ_H［ｉ，ｊ］）及び垂直コントラスト成分（即ち、Ｃ_V［ｉ，ｊ］）は、領域評価値算出部５３に送られる。領域評価値算出部５３は、分割領域ごとに、水平コントラスト成分と垂直コントラスト成分を加重加算（重み付け加算）することにより領域評価値を算出する。分割領域ＡＲ［ｉ，ｊ］について算出される領域評価値を、α［ｉ，ｊ］で表すとする。そうすると、領域評価値α［ｉ，ｊ］は、下記式（１）に従って算出される。
α［ｉ，ｊ］＝ｋ_H［ｉ，ｊ］×Ｃ_H［ｉ，ｊ］＋ｋ_V［ｉ，ｊ］×Ｃ_V［ｉ，ｊ］
・・・（１）

ここで、ｋ_H［ｉ，ｊ］及びｋ_V［ｉ，ｊ］は、加算比率制御部５５によって分割領域ごとに算出された重み付け係数であり、それらによってα［ｉ，ｊ］を生成する際における、Ｃ_H［ｉ，ｊ］とＣ_V［ｉ，ｊ］の加算比率（寄与度）が表される。重み付け係数ｋ_H［ｉ，ｊ］及びｋ_V［ｉ，ｊ］の決定手法については後述する。

積算部５４は、指定されたＡＦ評価領域内の分割領域についての領域評価値α［ｉ，ｊ］を積算（或いは平均化）することにより、ＡＦ評価値を算出する。例えば、ＡＦ評価領域が、分割領域ＡＲ［５，５］、ＡＲ［５，６］、ＡＲ［６，５］及びＡＲ［６，６］の合計領域と一致する場合、領域評価値α［５，５］、α［５，６］、α［６，５］及びα［６，６］の総和（又は平均値）を、ＡＦ評価値として算出する。

ＡＦ評価領域は、例えば、顔検出部４３によって抽出された顔領域に基づいて設定される。この場合において、例えば、顔領域が分割領域ＡＲ［５，５］、ＡＲ［５，６］、ＡＲ［６，５］及びＡＲ［６，６］と重なる場合、分割領域ＡＲ［５，５］、ＡＲ［５，６］、ＡＲ［６，５］及びＡＲ［６，６］の合計領域をＡＦ評価領域とする、或いは、該合計領域を含む領域をＡＦ評価領域とする。これに代えて例えば、ＡＦ評価領域を、撮影画像の全体領域又は予め定めた一部領域としてもよい。また例えば、ＡＦ評価領域を、図１の操作部２６に対する所定操作によって任意に設定できるようにしてもよい。

［加算比率制御部による重み付け係数の決定手法］
加重比率制御部５５による重み付け係数ｋ_H［ｉ，ｊ］及びｋ_V［ｉ，ｊ］の決定手法について説明する。

ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いたＡＦ制御では、通常、水平コントラスト成分のみが利用されるが、撮影画像に含まれる水平コントラスト成分が低い場合、正しく被写体にピントを合わせることができない場合がある。一方において、目や口などの顔を構成する顔パーツについての画像は、通常、垂直コントラスト成分を多く含む。例えば、口の周辺に着目した場合、口の長手方向を横切る方向（即ち、垂直方向）に、画像の濃淡の変化成分が多く含まれるからである（図７（ａ）参照）。

これに着目し、本実施形態では、顔領域に対応する分割領域ＡＲ［ｉ，ｊ］に対する重み付け係数ｋ_V［ｉ，ｊ］を比較的大きくする。

具体例を挙げる。説明の具体化のため、今、Ｍ＝Ｎ＝８、であるとし、且つ、ＡＦ評価領域が撮影画像の全体領域と一致する場合を考える。そして、図７（ａ）に示す如く、或る撮影画像において、顔検出部４３によって抽出された顔領域が、ｉ_A＝２、３、４、５、６又は７且つｊ_A＝２、３、４、５、６又は７とした場合における合計３６個の分割領域ＡＲ［ｉ_A，ｊ_A］の合計領域１００と一致しているとする。また、図７（ａ）に示す如く、顔領域は、顔全体を含むものとする。

加重比率制御部５５は、抽出された顔領域（即ち、合計領域１００）の画像上の位置及びサイズに基づいて、各分割領域ＡＲ［ｉ，ｊ］を、領域評価値に対する垂直コントラスト成分の寄与度を比較的大きくする高垂直寄与領域と、領域評価値に対する垂直コントラスト成分の寄与度を比較的小さくする低垂直寄与領域とに、分類する。

例えば、合計領域１００を形成する合計３６個の各分割領域ＡＲ［ｉ_A，ｊ_A］を高垂直寄与領域に分類し、合計領域１００外の合計２８個の各分割領域（ＡＲ［１，１］、ＡＲ［１，２］、ＡＲ［２，１］等）を低垂直寄与領域に分類する。或いは、図７（ｂ）に示す如く、顔領域の内側の一部領域１０１を形成する各分割領域のみを高垂直寄与領域に分類し、その他の各分割領域を低垂直寄与領域に分類するようにしてもよい。これにより、特に垂直コントラスト成分が大きい、目や口などの顔パーツが集中している領域のみが高垂直寄与領域に分類されるようになる。一部領域１０１は、ｉ_B＝３、４、５又は６且つｊ_B＝３、４、５又は６とした場合における合計１６個の分割領域ＡＲ［ｉ_B，ｊ_B］から形成される。

そして、高垂直寄与領域に分類された各分割領域ＡＲ［ｉ，ｊ］に対する重み付け係数ｋ_H［ｉ，ｊ］及びｋ_V［ｉ，ｊ］を、夫々、ｋ_H1及びｋ_V1とし、低垂直寄与領域に分類された各分割領域ＡＲ［ｉ，ｊ］に対する重み付け係数ｋ_H［ｉ，ｊ］及びｋ_V［ｉ，ｊ］を、夫々、ｋ_H2及びｋ_V2とする。ここで、不等式「ｋ_V1／（ｋ_H1＋ｋ_V1）＞ｋ_V2／（ｋ_H2＋ｋ_V2）」が成立する（ｋ_V1、ｋ_H1、ｋ_V2及びｋ_H2は、正の数）。

これにより、高垂直寄与領域に分類された分割領域の領域評価値（例えば、α［３，３］）に対する垂直コントラスト成分（例えば、Ｃ_V［３，３］）の寄与度は、低垂直寄与領域に分類された分割領域の領域評価値（例えば、α［１，１］）に対する垂直コントラスト成分（例えば、Ｃ_V［１，１］）の寄与度よりも、大きくなる。前者の寄与度（加算比率）は、ｋ_V1／（ｋ_H1＋ｋ_V1）にて表すことができ、後者の寄与度（加算比率）は、ｋ_V2／（ｋ_H2＋ｋ_V2）にて表すことができる。この結果、顔領域に対応する分割領域に対する領域評価値が増大する方向に向かう。

尚、高垂直寄与領域に分類された各分割領域ＡＲ［ｉ，ｊ］間で、重み付け係数ｋ_H［ｉ，ｊ］及びｋ_V［ｉ，ｊ］を異ならせるようにしてもよい。即ち、例えば、分割領域ＡＲ［３，３］及びＡＲ［３，４］が高垂直寄与領域に分類される場合において、ｋ_H［３，３］≠ｋ_H［３，４］、ｋ_V［３，３］≠ｋ_V［３，４］、となるように、各重み付け係数を設定しても良い。

また仮に、ＡＦ評価領域内に顔領域が含まれない場合、全ての分割領域ＡＲ［ｉ，ｊ］に対する重み付け係数ｋ_H［ｉ，ｊ］及びｋ_V［ｉ，ｊ］は、夫々、ｋ_H2及びｋ_V2とされる。従って、上述の説明からも明らかではあるが、ＡＦ評価領域内に顔領域が含まれる場合、顔領域が含まれない場合と比べて、ＡＦ評価値に対するＡＦ評価領域内の垂直コントラスト成分の寄与度は大きくなる。

［動作フローチャート］
次に、静止画撮影に着目した、撮像装置１の動作の流れを説明する。図８は、この流れを表すフローチャートである。

まず、撮影モードに移行すると、ステップＳ１において所謂プレビューが開始される。プレビューにおいては、所定のフレーム周期にて順次撮影される撮影画像に基づく表示画像が表示部２７に更新表示される。そして、続くステップＳ２において、山登り制御を実行開始する（或いは実行する）。山登り制御の実行中では、各撮影画像について算出されるＡＦ評価値が最大値（或いは極大値）付近に保たれるようにフォーカスレンズ３１の位置（以下、「レンズ位置」という）が駆動制御される。

次に、ステップＳ３において、ＣＰＵ２３は、ポートレート設定がオンとなっているか否かを確認する。ポートレート設定をオンとする操作は、操作部２６によって受け付けられる。ポートレート設定がオンとなっているとき、人物の撮影に適した撮影及び画像処理がなされる。このため、ユーザは、人物の撮影を行おうとする時、ポートレート設定をオンとすることが多い。

ポートレート設定がオンとなっている場合は、図４の顔検出部４３による顔領域の検出を実行し（ステップＳ４）、ポートレート設定がオンとなっていない場合は、顔検出部４３による顔領域の検出を休止する（ステップＳ５）。そして、ステップＳ６において、ＣＰＵ２３は、図１のシャッタボタン２６ｂが押下されたか否かを確認する。シャッタボタン２６ｂが押下された場合はステップＳ７に移行する一方、押下されていない場合はステップＳ２に戻る。尚、ステップＳ３の処理を省略し、常に、顔領域の検出を行うようにしてもよい。

ステップＳ７〜Ｓ１２から成るループ処理では、レンズ位置を所定の基準位置から所定の最終位置まで所定間隔で移動させながら順次ＡＦ評価値を求め、基準位置から最終位置の間においてＡＦ評価値が最大となるレンズ位置を合焦レンズ位置として特定する。

具体的には、ステップＳ７において、レンズ位置を所定の基準位置に移動させ、ステップＳ８において、現在のレンズ位置に対するＡＦ評価値を算出する。ステップＳ９では、最新に算出されたＡＦ評価値が上記ループ処理内で今までに算出されたＡＦ評価値の中の最大値であるか否かを判断する。最新に算出されたＡＦ評価値が最大値である場合は、ステップＳ１０に移行して現在のレンズ位置を合焦レンズ位置としてからステップＳ１１に移行する一方、そうでない場合は、直接ステップＳ１１に移行する。ステップＳ１０にて特定される合焦レンズ位置は、上記ループ処理の繰り返しにおいて、他のレンズ位置に更新されうる。このため、ステップＳ１０において特定される合焦レンズ位置は、暫定的な合焦レンズ位置と呼べる。

ステップＳ１１では、現在のレンズ位置が所定の最終位置と一致するかを判断し、現在のレンズ位置が最終位置と一致しない場合は、ステップＳ１２に移行してレンズ位置を最終位置の方向に移動させてからステップＳ８に戻る。一方、現在のレンズ位置が最終位置と一致する場合はステップＳ１３に移行して、最終的にステップＳ１０で特定された合焦レンズ位置にレンズ位置を移動させた後、ステップＳ１４にて静止画撮影を行って該静止画を記録する。つまり、上記ループ処理において最後に合焦レンズ位置として特定されたレンズ位置にフォーカスレンズ３１を配置させた状態で、１枚の撮影画像を取得し、それをシャッタボタン２６ｂの押下に従って得た静止画としてメモリカード１８に記録する。ステップＳ１４の処理の後、ステップＳ１に戻る。

上述の如く、顔領域の抽出結果を参照し、顔領域での垂直コントラスト成分をＡＦ評価値に多く反映させる。これにより、従来に比べて、顔領域を含む撮影画像に対して、より大きなＡＦ評価値を算出することができ、安定したＡＦ制御を実現することができる。また、顔領域に対応する分割領域の領域評価値が増大することで、それのＡＦ評価値に対する寄与度が大きくなり、より正しく顔領域にピントが合うようになる。

顔領域の抽出結果を利用すれば、領域評価値算出部５３における加重加算処理において、顔領域に対応する分割領域ＡＲ［ｉ，ｊ］に対して顔領域に適した重み付け係数を適用すると共に非顔領域に対応する分割領域に対して非顔領域に適した重み付け係数を適用するといった処理が可能となる。

このため、顔領域の抽出結果を利用することが好ましいのではあるが、全ての分割領域ＡＲ［ｉ，ｊ］に対して予め定めた同一の重み付け係数ｋ_H［ｉ，ｊ］及びｋ_V［ｉ，ｊ］を適用することも可能である（この場合、顔検出部４３は省略可能である）。この重み付け係数を適切に設定しておけば（但し、ｋ_V［ｉ，ｊ］＞０）、撮影画像に顔領域が含まれている時、水平コントラスト成分のみに基づいてＡＦ評価値を算出する場合よりも、大きなＡＦ評価値を得ることが可能となる。つまり、結果として、顔領域を含む撮影画像に対して、より大きなＡＦ評価値を算出することができ、安定したＡＦ制御を実現することができるようになる。また、顔領域に対応する分割領域の領域評価値が増大することで、それのＡＦ評価値に対する寄与度が大きくなり、より正しく顔領域にピントが合うようになる。

また、加重加算によって各領域評価値を算出するのではなく、以下のような算出処理（以下、「変形算出処理」という）によって各領域評価値を算出することも可能である。

この変形算出処理を採用する場合、領域評価値算出部５３は、分割領域ごとに、水平コントラスト成分と垂直コントラスト成分を比較して大きい方のコントラスト成分から領域評価値を算出する。例えば、分割領域ＡＲ［１，１］に関し、Ｃ_H［１，１］＞Ｃ_V［１，１］である場合は、α［１，１］をＣ_H［１，１］とし、Ｃ_H［１，１］＜Ｃ_V［１，１］である場合は、α［１，１］をＣ_V［１，１］とする。分割領域ＡＲ［１，１］以外についても同様である。尚、各領域評価値に基づく、積算部５４によるＡＦ評価値の算出手法は、上述の通りである。この変形算出処理を採用する場合、顔検出部４３及び加算比率制御部５５は省略される。

これにより、水平コントラスト成分のみを用いて或いは垂直コントラスト成分のみを用いてＡＦ評価値を算出する場合よりも、より大きなＡＦ評価値を得ることができ、安定したＡＦ制御を実現することができる。顔領域を抽出せずとも、顔領域に対応する分割領域に対しては、垂直コントラスト成分が水平コントラスト成分よりも大きくなることが多いため、結果的に、垂直コントラスト成分から領域評価値が算出されやすくなる。つまり、結果として、顔領域を含む撮影画像に対して、より大きなＡＦ評価値を算出することができ、安定したＡＦ制御を実現することができるようになる。また、顔領域に対応する分割領域の領域評価値が増大することで、それのＡＦ評価値に対する寄与度が大きくなり、より正しく顔領域にピントが合うようになる。

尚、図８を参照して静止画撮影時の動作の流れを説明したが、動画撮影時も同様の効果が得られる。動画撮影時には、順次得られるＡＦ評価値が最大値（或いは極大値）付近に保たれるように山登り制御が行われるが、上述のようにしてＡＦ評価値を算出することにより、特に顔領域を含む撮影画像に対してＡＦ評価値の増大効果が得られ、安定したＡＦ制御を実現することができるようになる。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

［注釈２］
上記式（１）から分かるように、領域評価値α［１，１］は、水平コントラスト成分Ｃ_H［１，１］と垂直コントラスト成分Ｃ_V［１，１］を加重加算（重み付け加算）することにより得られるが、ｋ_H［１，１］とｋ_V［１，１］の和が１になるように重み付け係数を選べば、領域評価値α［１，１］は、水平コントラスト成分Ｃ_H［１，１］と垂直コントラスト成分Ｃ_V［１，１］の加重平均となる（他の領域評価値α［ｉ，ｊ］についても同様である）。従って、加重加算は、加重平均を含んだ概念である。

［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図４に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。

ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、図４に示される各部位の機能及びＡＦ制御に関与するＣＰＵ２３の機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、それらの機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図１の映像信号処理部の内部ブロック図である。 ＡＦ制御に特に関与する部分に対応する、図１の撮像装置の一部ブロック図である。 図４のＡＦ評価部にて定義される、撮影画像の各分割領域を示す図である。 図４の水平コントラスト成分検出部の内部ブロック図（ａ）と、図４の垂直コントラスト成分検出部の内部ブロック図（ｂ）である。 図４の顔検出部によって抽出された顔領域との関係における、加重加算の重み付け係数の決定手法を説明するための図である。 静止画撮影に着目した、図１の撮像装置の動作の流れを表すフローチャートである

符号の説明

１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
２３ ＣＰＵ
３１ フォーカスレンズ
３３ 撮像素子
３５ 光学系
４２ ＡＦ評価部
４３ 顔検出部
５１ 水平コントラスト成分検出部
５２ 垂直コントラスト成分検出部
５３ 領域評価値算出部
５４ 積算部
５５ 加算比率制御部

Claims (7)

1. 撮像素子及び前記撮像素子に被写体に応じた光学像を結像させるための光学系を有して、撮影によって撮影画像を得る撮像手段と、
   前記撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を算出する焦点評価値算出手段と、を備え、
   前記焦点評価値が極値をとるように前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、
   前記焦点評価値算出手段は、前記焦点評価領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、検出したそれらを加重加算することによって前記焦点評価値を算出する
   ことを特徴とする撮像装置。
2. 前記撮影画像から顔領域を抽出する顔領域抽出手段を更に備え、
   前記焦点評価値算出手段は、前記焦点評価領域に前記顔領域が含まれるか否かに応じて、前記焦点評価値に対する前記垂直コントラスト成分の寄与度を変化させる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記焦点評価値算出手段は、前記焦点評価領域に前記顔領域が含まれるとき、含まれないときに比べて、前記焦点評価値に対する前記垂直コントラスト成分の寄与度を増大させる
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮影画像から顔領域を抽出する顔領域抽出手段を更に備え、
   前記焦点評価領域に前記顔領域が含まれるとき、前記焦点評価領域は、前記顔領域の内側の一部領域又は前記顔領域の全体領域に対応する第１領域と、前記焦点評価領域から前記第１領域を除いた第２領域と、に分類され、
   前記焦点評価値算出手段は、
   前記第１領域内の画像の水平コントラスト成分と垂直コントラスト成分の加重加算値に相当する第１評価値と、
   前記第２領域内の画像の水平コントラスト成分と垂直コントラスト成分の加重加算値に相当する第２評価値と、の和から前記焦点評価値を算出し、
   第１評価値に対する、前記第１領域内の画像の垂直コントラスト成分の寄与度は、
   第２評価値に対する、前記第２領域内の画像の垂直コントラスト成分の寄与度よりも大きい
   ことを特徴とする請求項１に記載の撮像装置。
5. 撮像素子及び前記撮像素子に被写体に応じた光学像を結像させるための光学系を有して、撮影によって撮影画像を得る撮像手段と、
   前記撮影画像内に設けられた、複数の要素領域から成る焦点評価領域の映像信号に基づいて焦点評価値を算出する焦点評価値算出手段と、を備え、
   前記焦点評価値が極値をとるように前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、
   前記焦点評価値算出手段は、各要素領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、前記要素領域ごとに前記水平コントラスト成分と前記垂直コントラスト成分を比較して大きい方のコントラスト成分から要素領域評価値を算出し、各要素領域評価値を積算又は平均化することにより前記焦点評価値を算出する
   ことを特徴とする撮像装置。
6. 撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を算出し、前記焦点評価値が極値をとるように撮像装置内の光学系を駆動制御してオートフォーカス制御を行うオートフォーカス制御方法において、
   前記焦点評価領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、検出したそれらを加重加算することによって前記焦点評価値を算出する
   ことを特徴とするオートフォーカス制御方法。
7. 撮影画像内に設けられた、複数の要素領域から成る焦点評価領域の映像信号に基づいて焦点評価値を算出し、前記焦点評価値が極値をとるように撮像装置内の光学系を駆動制御してオートフォーカス制御を行うオートフォーカス制御方法において、
   各要素領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、前記要素領域ごとに前記水平コントラスト成分と前記垂直コントラスト成分を比較して大きい方のコントラスト成分から要素領域評価値を算出し、各要素領域評価値を積算又は平均化することにより前記焦点評価値を算出する
   ことを特徴とするオートフォーカス制御方法。

Images