[go: up one dir, main page]

JP2009031760A - 撮像装置及びオートフォーカス制御方法 - Google Patents

撮像装置及びオートフォーカス制御方法 Download PDF

Info

Publication number
JP2009031760A
JP2009031760A JP2008139319A JP2008139319A JP2009031760A JP 2009031760 A JP2009031760 A JP 2009031760A JP 2008139319 A JP2008139319 A JP 2008139319A JP 2008139319 A JP2008139319 A JP 2008139319A JP 2009031760 A JP2009031760 A JP 2009031760A
Authority
JP
Japan
Prior art keywords
focus
lens position
change
size
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008139319A
Other languages
English (en)
Inventor
Wataru Takayanagi
渉 高柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008139319A priority Critical patent/JP2009031760A/ja
Priority to US12/167,585 priority patent/US20090009651A1/en
Publication of JP2009031760A publication Critical patent/JP2009031760A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】被写体距離の変化に対応し、合焦の高速化及び安定化を図る。
【解決手段】顔検出部(41)は、各フレーム画像から顔を検出する。顔サイズ履歴メモリ(42)は、各フレーム画像から検出された顔のサイズを顔サイズ時系列情報として記憶する。ＡＦ評価部(43)は、顔領域を含むＡＦ評価領域のコントラスト量に応じたＡＦ評価値を算出する。レンズ位置制御部(44)は、ＡＦ評価値が最大値をとるようにフォーカスレンズの位置を制御する。一度、顔に対する合焦が実現された後、再度、合焦レンズ位置を探索する際、顔サイズ時系列情報に基づく顔の大きさの変化から被写体距離の変化を推測し、その推測結果に基づいて、コンティニアスＡＦにおける合焦レンズ位置の探索方向又はシングルＡＦにおける合焦レンズ位置の探索範囲を設定する。
【選択図】図５

Description

本発明は、デジタルビデオカメラ等の撮像装置に関し、特に、オートフォーカス制御機能を備えた撮像装置に関する。また本発明は、オートフォーカス制御方法に関する。
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置では、ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いたオートフォーカス制御が一般的に用いられる。この種のオートフォーカス制御は、コンティニアスＡＦとシングルＡＦに大別される。
コンティニアスＡＦでは、被写体への合焦状態に応じたＡＦ評価値が最大値付近に保たれるように、所謂山登り制御（山登り法）に基づいて、フォーカスレンズの位置を逐次制御する。コンティニアスＡＦは、動く被写体に対して合焦状態を維持することできるオートフォーカス制御であるが、合焦レンズ位置が探索された後、被写体距離が変化したことによってＡＦ評価値が低下した場合などにおいては、再度、ＡＦ評価値に最大値を与えるフォーカスレンズの位置を探索しなおす必要がある。即ち、変化後の被写体距離に対応した新たな合焦レンズ位置を探索しなおす必要がある。
再度の探索時におけるフォーカスレンズの移動方向には至近端方向と無限遠端方向とがあるが、従来の撮像装置では、被写体距離が増加したのか或いは減少したのかが不明であるために、フォーカスレンズを至近端方向と無限遠端方向のどちらかに盲目的に移動させることによって、新たな合焦レンズ位置を探索していた。しかしながら、この手法では、再度の探索処理の実行開始時におけるフォーカスレンズの移動方向が被写体の移動方向と適応しないことも多い。
例えば、被写体距離が増加したのにも拘らずフォーカスレンズを現レンズ位置から至近端方向に移動させた場合、合焦レンズ位置が見つからないことが判明してから、改めてフォーカスレンズを無限遠端方向に移動させる必要がある。このような場合は、再度の合焦状態が得られるまでに多くの時間がかかり、コンティニアスＡＦの安定性が損なわれる。
これと類似した問題が、連写撮影時にシングルＡＦを実行する場合にも生じる。シングルＡＦによって最初に合焦を実現する際、被写体距離が不明であるために、通常、フォーカスレンズの全可動範囲が合焦レンズ位置の探索範囲とされる。この合焦を実現して撮影を行った後、２回目、３回目の撮影に対してもシングルＡＦが実行されるが、従来の撮像装置では、撮影間において被写体距離がどのように変化したかが分からないために、２回目、３回目のシングルＡＦにおいても、盲目的に合焦レンズ位置を探索していた。このため、合焦が得られるまでに時間がかかるという問題があった。
尚、オートフォーカス制御に関する従来手法として、例えば下記特許文献１に記載の手法がある。この手法では、レンズの焦点距離と画像上の顔の大きさから被写体距離を演算し、演算した被写体距離をフォーカスレンズの位置に換算する。そして、その換算によって得られた位置にフォーカスレンズを移動させることにより顔に合焦させる。しかしながら、この手法では、被写体距離を逐次演算する必要があるため演算負荷が重い。
特開２００３−７５７１７号公報
そこで本発明は、合焦の高速化及び／又は安定化に寄与する撮像装置及びオートフォーカス制御方法を提供することを目的とする。
本発明に係る撮像装置は、入射した光を光電変換する撮像素子と、前記撮像素子の光電変換により得られた撮像信号に基づいて焦点を調節するフォーカス制御手段と、を備えた撮像装置において、前記フォーカス制御手段は、前記撮像信号に基づく動画像内における特定の被写体の大きさの変化を検出する変化検出手段を備え、前記変化をも考慮して前記特定の被写体に合焦するように前記焦点を調節することを特徴とする。
画像上における特定の被写体の大きさの変化から、合焦されるべき特定の被写体についての被写体距離の増減を推測可能である。これを考慮し、特定の被写体の大きさの変化をも考慮して焦点を調節する。これにより、合焦の高速化及び／又は安定化が図られる。
具体的には例えば、前記焦点を調節するためのフォーカスレンズを介して、前記光は前記撮像素子に入射し、当該撮像装置は、前記フォーカスレンズを駆動する駆動手段を更に備え、前記フォーカス制御手段は、前記撮像信号に基づき、前記駆動手段を用いて前記フォーカスレンズのレンズ位置を制御することにより前記焦点の調節を行い、前記特定の被写体の大きさの変化に基づいて、前記特定の被写体に合焦するように前記レンズ位置を制御する。
より具体的には例えば、前記特定の被写体に合焦している時における前記レンズ位置を合焦レンズ位置と呼んだ場合、前記フォーカス制御手段は、前記フォーカスレンズを至近端方向又は無限遠端方向に移動させることにより前記合焦レンズ位置を探索する探索処理を介して前記特定の被写体に対する合焦を実現させ、一度その合焦が実現された後に前記探索処理を再度実行するとき、前記特定の被写体の大きさの変化に基づいて、その再度の探索処理の実行開始時における前記フォーカスレンズの移動方向を決定する。
これにより、コンティニアスＡＦの実行時における、合焦の高速化及び／又は安定化が図られる。
より具体的には例えば、前記フォーカス制御手段は、再度の探索処理の実行前に前記大きさの減少が検出された場合、その再度の探索処理の実行開始時における前記移動方向を前記無限遠端方向とする一方、再度の探索処理の実行前に前記大きさの増加が検出された場合、その再度の探索処理の実行開始時における前記移動方向を前記至近端方向とする。
また例えば、前記特定の被写体に合焦している時における前記レンズ位置を合焦レンズ位置と呼んだ場合、前記フォーカス制御手段は、前記フォーカスレンズを至近端方向又は無限遠端方向に移動させることにより前記合焦レンズ位置を探索する探索処理を介して前記特定の被写体に対する合焦を実現させ、一度その合焦が実現された後に前記探索処理を再度実行するとき、前記特定の被写体の大きさの変化に基づいて、その再度の探索処理の実行時における前記合焦レンズ位置の探索範囲を設定する。
これにより、シングルＡＦの実行時における、合焦の高速化及び／又は安定化が図られる。
より具体的には例えば、前記フォーカス制御手段は、再度の探索処理の実行前に前記大きさの減少が検出された場合、前回の探索処理にて得られた前記合焦レンズ位置より無限遠端側のレンズ位置範囲を前記探索範囲として設定する一方、再度の探索処理の実行前に前記大きさの増加が検出された場合、前回の探索処理にて得られた前記合焦レンズ位置より至近端側のレンズ位置範囲を前記探索範囲として設定する。
また例えば、当該撮像装置は、前記撮像素子上に形成される光学像の大きさを変更するための光学ズームを実現するズームレンズを更に備え、前記フォーカス制御手段は、前記動画像内における前記特定の被写体の大きさの変化と、前記動画像の取得中における前記光学ズームの倍率変化と、に基づいて前記レンズ位置を制御する。
これにより、光学ズーム倍率が変化している最中においても、合焦の高速化及び／又は安定化が図られる。
より具体的には例えば、前記特定の被写体に合焦している時における前記レンズ位置を合焦レンズ位置と呼んだ場合、前記フォーカス制御手段は、前記フォーカスレンズを至近端方向又は無限遠端方向に移動させることにより前記合焦レンズ位置を探索する探索処理を介して前記特定の被写体に対する合焦を実現させ、一度その合焦が実現された後に前記探索処理を再度実行するとき、前記特定の被写体の大きさの変化と前記光学ズームの倍率変化に基づいて、その再度の探索処理の実行開始時における前記フォーカスレンズの移動方向を決定する。
更に具体的には例えば、前記変化検出手段は、前記特定の被写体の大きさの変化と前記光学ズームの倍率変化に基づいて、前記特定の被写体と前記撮像装置との、実空間上の距離の変化を推定し、前記フォーカス制御手段は、再度の探索処理の実行前における推定変化が前記距離の増加を表す場合、その再度の探索処理の実行開始時における前記移動方向を前記無限遠端方向とする一方、再度の探索処理の実行前における推定変化が前記距離の減少を表す場合、その再度の探索処理の実行開始時における前記移動方向を前記至近端方向とする。
また例えば、前記フォーカス制御手段は、前記撮像信号に基づいて前記撮像素子の位置を駆動制御することにより前記焦点の調節を行い、前記特定の被写体の大きさの変化に基づいて、前記特定の被写体に合焦するように前記撮像素子の位置を制御してもよい。
撮像素子の位置を駆動制御することによって焦点の調節を行う場合、本発明に係る撮像装置の具体的構成を記述した上述の文章中のフォーカスレンズ、レンズ位置及び合焦レンズ位置を、必要に応じて、それぞれ、撮像素子、素子位置（撮像素子の位置）及び合焦素子位置に読み替えればよい。
また具体的には例えば、前記撮像信号に基づいて、前記動画像を形成する各フレーム画像から特定種類の物体を前記特定の被写体として検出する物体検出手段を更に備え、前記変化検出手段は、前記物体検出手段の検出結果に基づいて、前記特定の被写体の大きさの変化を検出する。
或いは具体的には例えば、前記動画像中の基準のフレーム画像から前記特定の被写体の特徴点を複数抽出し、前記動画像を形成する各フレーム画像における前記複数の特徴点の位置を検出する特徴点検出手段を更に備え、前記変化検出手段は、異なるフレーム画像間における、前記複数の特徴点間の相対位置変化に基づいて、前記特定の被写体の大きさの変化を検出する。
また具体的には例えば、前記特定種類の物体は、人物の顔を含む。
本発明に係るオートフォーカス制御方法は、入射した光を光電変換する撮像素子からの撮像信号に基づいて焦点の調節を行うオートフォーカス制御方法において、前記撮像信号に基づく動画像内における特定の被写体の大きさの変化を検出し、前記変化をも考慮して前記特定の被写体に合焦するように前記焦点を調節することを特徴とする。
本発明によれば、合焦の高速化及び／又は安定化に寄与する撮像装置及びオートフォーカス制御方法を提供することができる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第７実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、光学系３５のズーム倍率を調節するためのズームレンズ３０及び光学系３５の焦点を調節するためのフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点位置を制御する。また、ドライバ３４は、主制御部１３からの制御信号に基づいて絞り３２の開度（開口部の大きさ）を制御する。
被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光（光学像）を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」又は「フレーム画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御部としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。
撮像装置１の動作モードには、静止画像または動画像の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画像または動画像を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行う。以下の説明は、特に記述なき限り、撮影モードにおける動作の説明である。
今、フレーム周期が経過するごとに、第１、第２、第３、・・・、第（ｎ−２）、第（ｎ−１）及び第ｎフレームがこの順番で訪れるものとし（ｎは２以上の整数）、第１、第２、第３、・・・、第（ｎ−２）、第（ｎ−１）及び第ｎフレームにて得られた撮影画像を、夫々、第１、第２、第３、・・・、第（ｎ−２）、第（ｎ−１）及び第ｎフレーム画像と呼ぶこととする。時系列で並ぶ複数のフレーム画像は、動画像を形成する。
図１に示す如く、主制御部１３は、フォーカス制御部２０を含む。フォーカス制御部２０は、ＡＦＥ１２の出力信号（即ち、撮像素子３３の出力信号）に基づいてフォーカスレンズ３１の位置をドライバ３４を介して制御することにより、オートフォーカス制御を実現する。
以下、フォーカスレンズ３１の位置を、単に、「レンズ位置」と呼ぶ。また、フォーカス制御部２０からドライバ３４に与えられる、フォーカスレンズ３１の位置を制御するための制御信号を、特に「レンズ位置制御信号」と呼ぶ。
フォーカスレンズ３１は、光学系３５の光軸方向に沿って移動可能であり、光軸方向は、更に、至近端方向と無限遠端方向に細分化される。図３に示す如く、フォーカスレンズ３１の可動範囲は、所定の至近端と所定の無限遠端との間の範囲である。レンズ位置が至近端に配置されている時、ピントが合う被写体の被写体距離は最小となり、レンズ位置が無限遠端に配置されている時、ピントが合う被写体の被写体距離は最大となる。そして、レンズ位置が至近端から無限遠端に移動するにつれて、ピントが合う被写体の被写体距離は大きくなる。ここで、或る被写体についての被写体距離とは、該被写体と撮像装置１との間の、実空間上の距離を意味する。
オートフォーカス制御に利用されるＡＦ評価値の算出法について説明する。図４は、ＡＦ評価値を算出するＡＦ評価部の内部ブロック図である。図４のＡＦ評価部は、抽出部２１、ＨＰＦ（ハイパスフィルタ）２２及び積算部２３を有して構成される。図４のＡＦ評価部は、例えば、主制御部１３内に実装される。ＡＦ評価値は、フレーム画像ごとに算出される。１つの着目したフレーム画像に対してＡＦ評価値を算出する際の、図４のＡＦ評価部内の各部位の動作について説明する。
抽出部２１は、着目したフレーム画像の映像信号より輝度信号を抽出する。この際、フレーム画像内に定義された、ＡＦ評価領域内の輝度信号のみを抽出する。ＨＰＦ２２は、抽出部２１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。
積算部２３は、ＨＰＦ２２によって抽出された高域周波数成分を積算し、積算値をＡＦ評価値として出力する。ＡＦ評価値は、ＡＦ評価領域内の画像のコントラスト量（エッジ量）に概ね比例し、該コントラスト量が増大するにつれて増大する。
以下、オートフォーカス制御に関与する実施例として、第１〜第７実施例を説明する。或る実施例で記載した内容は、適宜、他の実施例でも引用され、矛盾無き限り他の実施例にも適用される。
＜＜第１実施例＞＞
まず、本発明に係る第１実施例について説明する。図５は、第１実施例に係る、オートフォーカス制御に関与する部位のブロック図である。第１実施例に係る主制御部１３（図１）は、図５の顔検出部４１とフォーカス制御部２０ａを含む。フォーカス制御部２０ａは、図１のフォーカス制御部２０として利用される。フォーカス制御部２０ａは、符号４２〜４４にて参照される各部位を含む。図５では、顔検出部４１がフォーカス制御部２０ａの外部に設けられているが、顔検出部４１がフォーカス制御部２０ａの内部に設けられていると考えても構わない。第１実施例は、各フレーム画像内に人物の顔が含まれている場合を想定している。
顔検出部４１には、各フレーム画像が入力画像として与えられる。顔検出部４１は、入力画像ごとに、入力画像の映像信号（画像データ）に基づいて入力画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部４１は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。
典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等である。
入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。
顔検出部４１によって検出された顔の大きさを「顔サイズ」と呼ぶ。顔サイズは、フレーム画像上における検出された顔の大きさを表し、例えば、その顔を含む顔領域の面積（画素数）にて表される。また、顔検出部４１によって検出された顔の位置を「顔位置」と呼ぶ。顔位置は、フレーム画像上における検出された顔の位置を表し、例えば、その顔を含む顔領域の中心座標にて表される。
顔サイズ履歴メモリ４２は、最新のｋフレーム分の顔サイズを時系列で並べて記憶する（ｋは２以上の整数）。例えば、第ｎフレーム画像に対する顔検出処理によって第ｎフレーム画像における顔サイズが特定された直後においては、少なくとも、第（ｎ−ｋ＋１）〜第ｎフレーム画像についての顔サイズが顔サイズ履歴メモリ４２に記憶されている。顔サイズ履歴メモリ４２に記憶されている顔サイズの集まりを、総称して、「顔サイズ時系列情報」と呼ぶ。顔サイズ時系列情報は、レンズ位置制御部４４に出力される。
ＡＦ評価部４３は、図４のＡＦ評価部と同様の部位であり、各フレーム画像についてのＡＦ評価値を算出する。但し、フォーカス制御部２０ａは、顔検出部４１によって特定された顔位置（及び顔サイズ）に基づき、ＡＦ評価領域内に顔領域を含めるようにする。フレーム画像上におけるＡＦ評価領域の位置及びサイズは、異なるフレーム画像間で異なることもあるが、説明の便宜上、以下の説明では、それらが全フレーム画像間で同じであるとする（後述の他の実施例についても同様）。
レンズ位置制御部４４は、顔サイズ時系列情報とＡＦ評価部４３からのＡＦ評価値とに基づいてレンズ位置を制御するためのレンズ位置制御信号を生成し、それをドライバ３４（図２）に対して出力することによってレンズ位置を制御する。
第１実施例は、フォーカス制御部２０ａが、所謂コンティニアスＡＦを実現する場合を想定している。コンティニアスＡＦとは、被写体の動きに追従して被写体に合焦し続けるオートフォーカス制御である。或る被写体に対する合焦とは、その被写体にピントが合うことを意味する。本実施例では、顔領域がＡＦ評価領域内に含められるので、人物の顔が主要被写体として取り扱われ、その主要被写体に合焦するようにコンティニアスＡＦが行われる。また、主要被写体に合焦している時におけるレンズ位置を、「合焦レンズ位置」と呼ぶ。
基本的な動作としては、レンズ位置制御部４４が、レンズ位置を至近端方向又は無限遠端方向に所定移動量ずつ移動させながら各フレーム画像に対して算出されるＡＦ評価値を参照し、所謂山登り法を用いてＡＦ評価値が最大値（付近）をとるようにレンズ位置を制御する。主要被写体にピントが合うと、ＡＦ評価値は最大（或いは略最大）となる。従って、ＡＦ評価値が最大値をとるレンズ位置が合焦レンズ位置である。故に、レンズ位置に対する上記の制御処理は、合焦レンズ位置の探索処理と呼べる。探索処理において、レンズ位置制御部４４は、ＡＦ評価値が大きくなる方向にドライバ３４を介してフォーカスレンズ３１の位置を継続的に制御する。この結果、同一の光学像に対する、ＡＦ評価領域内の画像のコントラスト量は最大値（付近）に保たれる。尚、ＡＦ評価値に関する最大値とは、厳密には、極大値を意味する。
主要被写体及び撮像装置１が静止している状態で、コンティニアスＡＦによって主要被写体に対する合焦が実現されると、レンズ位置は合焦レンズ位置にてほぼ停止する。但し、この状態から、主要被写体の被写体距離が変化する方向に主要被写体が大きく動いた場合などにおいては、再度、山登り法を用いて、合焦レンズ位置を探索しなおす必要がある。この再度の探索処理における動作を、図６（ａ）及び（ｂ）並びに図７（ａ）及び（ｂ）を参照して説明する。
今、主要被写体の被写体距離がタイミングＴ１からタイミングＴ２の間に大きくなった場合を想定する。タイミングＴ２は、タイミングＴ１の後に訪れるタイミングである。図６（ａ）において符号２０１が付された実線四角枠内は、タイミングＴ１におけるフレーム画像を表し、図６（ｂ）において符号２１１が付された実線四角枠内は、タイミングＴ２におけるフレーム画像を表す。図６（ａ）において、符号２０２が付された破線矩形領域は、フレーム画像２０１から抽出された、主要被写体としての顔領域であり、図６（ｂ）において、符号２１２が付された破線矩形領域は、フレーム画像２１１から抽出された、主要被写体としての顔領域である。図６（ａ）において、符号２０３が付された実線矩形領域は、フレーム画像２０１内に定義されたＡＦ評価領域であり、図６（ｂ）において、符号２１３が付された実線矩形領域は、フレーム画像２１１内に定義されたＡＦ評価領域である。
図７（ａ）及び（ｂ）は、レンズ位置とＡＦ評価値との関係を示すグラフである。図７（ａ）の曲線２０４は、図６（ａ）のフレーム画像２０１に対応するレンズ位置とＡＦ評価値との関係を表し、図７（ｂ）の曲線２１４は、図６（ｂ）のフレーム画像２１１に対応するレンズ位置とＡＦ評価値との関係を表す。
曲線２０４及び２１４を表す各グラフにおいて、横軸はレンズ位置を表し、横軸の右方は無限遠端側に対応している。図７（ａ）において、符号２０５は、タイミングＴ１におけるレンズ位置を表し、図７（ｂ）において、符号２１５は、タイミングＴ２におけるレンズ位置を表す。そして、図６（ａ）のフレーム画像２０１から得られるＡＦ評価値及び図６（ｂ）のフレーム画像２１１から得られるＡＦ評価値を、夫々、ＶA及びＶBとする。尚、フレーム画像２０１からは、ＶAのＡＦ評価値が得られるのみであって、タイミングＴ１において、フォーカス制御部２０ａが曲線２０４の形状の全てを認識しているわけではない（曲線２１４についても同様）。
タイミングＴ１以前から実行されているコンティニアスＡＦによって、タイミングＴ１時点では主要被写体に合焦しており、タイミングＴ１におけるレンズ位置２０５は、合焦レンズ位置に合致する。このため、ＡＦ評価値ＶAは、ＡＦ評価値の取りうる最大値となっている。
タイミングＴ１からタイミングＴ２にかけて、主要被写体に対応する人物が撮像装置１から遠ざかることにより、タイミングＴ２における主要被写体の被写体距離がタイミングＴ１におけるそれよりも大きくなったとする。主要被写体の動きが急激な場合などにおいては、レンズ位置を合焦レンズ位置に追従させることができない。本例は、このような状態を想定しており、タイミングＴ１からタイミングＴ２にかけてレンズ位置は変更されていないものとする。そうすると、タイミングＴ２におけるＡＦ評価値（ＶB）は、タイミングＴ１におけるそれから急激に低下する。図５のレンズ位置制御部４４は、このＡＦ評価値の低下を検知して主要被写体の合焦状態が崩れたと判断し、タイミングＴ２の後において、再度の探索処理を実行する。この際、レンズ位置制御部４４は、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向（換言すれば、合焦レンズ位置の探索方向）を顔サイズ時系列情報に基づいて決定する。
この移動方向の決定を行うための顔サイズ時系列情報には、フレーム画像２０１及び２１１に対する顔サイズが含まれており、被写体距離の増加に起因してフレーム画像２０１における顔領域２０２の顔サイズに比べてフレーム画像２１１における顔領域２１２の顔サイズは小さくなっている。再度の探索処理の実行前において、このような顔サイズの減少が検出された場合、レンズ位置制御部４４は、被写体距離が増加したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を無限遠端方向と定める。従って、タイミングＴ２の後においては、レンズ位置２１５を基準として、フォーカスレンズ３１を無限遠端方向に移動させながら最大のＡＦ評価値を再度探索する（即ち、再度、合焦レンズ位置を探索する）。
図７（ｂ）及び図８の曲線２１４からも分かるように、レンズ位置２１５を基準としてフォーカスレンズ３１を至近端方向に移動させてもＡＦ評価値の最大値（極大値）は見つからず、また、至近端方向の移動によってＡＦ評価値は減少する。従って、仮に、再度の探索処理の実行開始時おいてフォーカスレンズ３１の移動方向を至近端方向に設定したならば、図８の矢印付き曲線２２０に示す如く、一旦、フォーカスレンズ３１は至近端方向に移動させられる。そして、その至近端方向への移動によってＡＦ評価値の減少が観測された後に、フォーカスレンズ３１の移動方向が無限遠端方向に再設定され、その後のレンズ位置調整によって、最終的に合焦レンズ位置が見つかる。
一方、顔サイズ時系列情報に基づく移動方向判断を適用し、再度の探索処理の実行開始時おいてフォーカスレンズ３１の移動方向を無限遠端方向とすると、図８の矢印付き直線２２１に示す如く、短期間で合焦レンズ位置が見つかる。結果、コンティニアスＡＦの安定性が向上すると共に合焦速度が向上する。また、特許文献１の手法の如く被写体距離を演算する必要もないため、演算負荷も軽微である。
尚、図７（ｂ）に示す状況とは異なるが、タイミングＴ２の後において、レンズ位置２１５を基準としてフォーカスレンズ３１を無限遠端方向に移動させても最大のＡＦ評価値が見つからなかった場合は、フォーカスレンズ３１の移動方向を反転した上で、更に、ＡＦ評価値に最大値（極大値）を与えるレンズ位置の探索を行う。
また、タイミングＴ２における主要被写体の被写体距離がタイミングＴ１におけるそれよりも大きくなった場合を例示したが、タイミングＴ２における主要被写体の被写体距離がタイミングＴ１におけるそれよりも小さくなった場合は、フォーカスレンズ３１の移動方向は逆方向とされる。つまり、フレーム画像２０１における顔領域２０２の顔サイズに比べてフレーム画像２１１における顔領域２１２の顔サイズは大きくなっていたならば、レンズ位置制御部４４は、被写体距離が減少したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を至近端方向と定める。
図６（ａ）及び（ｂ）に示されるフレーム画像２０１とフレーム画像２１１の関係について説明を加える。フレーム画像２０１及び２１１は、例えば、夫々、第（ｎ−ｋ＋１）及び第ｎフレーム画像である（上述したように、ｋは２以上の整数）。そして単純には例えば、ｋ＝２とする。この場合、隣接するフレーム画像間における顔サイズ変化に基づいて上記の移動方向が定められることになる。
勿論、ｋを３以上とすることもできる。ｋ＝３の場合、第（ｎ−２）〜第ｎフレーム画像についての顔サイズに基づいて、第（ｎ−２）〜第ｎフレーム間における顔サイズの変化を検出し、その検出結果に基づいて上記の移動方向が定められることになる。例えば、第（ｎ−ｊ）フレーム画像の顔サイズをＦＳ［ｎ−ｊ］で表した場合（ｊは、０以上の整数）、ＦＳ［ｎ−２］＞ＦＳ［ｎ−１］＞ＦＳ［ｎ］が成立する時に、第（ｎ−２）〜第ｎフレーム間において顔サイズが減少したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を無限遠端方向と定める。一方、ＦＳ［ｎ−２］＜ＦＳ［ｎ−１］＜ＦＳ［ｎ］が成立する時に、第（ｎ−２）〜第ｎフレーム間において顔サイズが増加したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を至近端方向と定める。
＜＜第２実施例＞＞
次に、本発明に係る第２実施例について説明する。第２実施例に係る、オートフォーカス制御に関与する部位のブロック図は、図５と同じであるため、重複する図示を省略する。第２実施例に係る主制御部１３（図１）は、図５の顔検出部４１とフォーカス制御部２０ａを含む。フォーカス制御部２０ａは、図１のフォーカス制御部２０として利用される。第２実施例は、第１実施例と同様、各フレーム画像内に人物の顔が含まれている場合を想定している。
但し、第２実施例は、フォーカス制御部２０ａが、所謂シングルＡＦを実現する場合を想定している。シングルＡＦとは、一旦、合焦レンズ位置を探索した後は、レンズ位置をその合焦レンズ位置に固定するオートフォーカス制御である。
シングルＡＦでは、例えば、レンズ位置制御部４４が、フォーカスレンズ３１を定められた探索範囲内で所定移動量ずつ移動させ、移動の度に、最新のＡＦ評価値をＡＦ評価部４３から得る。そして、探索範囲内でＡＦ評価値に最大値を与えるレンズ位置を合焦レンズ位置として特定し、実際のレンズ位置を、その特定された合焦レンズ位置に移動させてからレンズ位置を固定する。これにより、ＡＦ評価領域内の主要被写体に対する合焦が実現される。上記の説明からも分かるように、探索範囲とは、合焦レンズ位置を探索するためにフォーカスレンズ３１が配置されることになるレンズ位置の範囲である（換言すれば、合焦レンズ位置を探索するための、フォーカスレンズ３１の移動範囲である。）。探索範囲は、典型的には例えば、フォーカスレンズ３１の可動範囲の全体である（即ち、至近端と無限遠端の間の全範囲である）。
今、連写機能などを用いて、比較的短い時間間隔で連続的に複数の静止画像の撮影及び記録を行う場合を想定し、図９に示すような具体例を想定する。つまり、図１の操作部１７に対する操作に従って、タイミングＴ３におけるフレーム画像を記録媒体１６に第１の記録画像として記録し、且つ、タイミングＴ４におけるフレーム画像を記録媒体１６に第２の記録画像として記録することを想定する。タイミングＴ４は、タイミングＴ３よりも後のタイミングであるが、両者の時間間隔は比較的短い。
また、図９に示す如く、タイミングＴ３におけるフレーム画像（及び第１の記録画像）を符号３０１で参照し、タイミングＴ４におけるフレーム画像（及び第２の記録画像）を符号３５１で参照することとする。また、タイミングＴ３より前には、複数のフレーム画像が取得されており、その複数のフレーム画像の夫々は、タイミングＴ３以前にスルー画像として表示部１５に更新表示される。タイミングＴ３より前に取得された、この複数のフレーム画像は、フレーム画像３０１に対するシングルＡＦの実現に利用される。
同様に、タイミングＴ３より後であってタイミングＴ４の前には、複数のフレーム画像が取得されており、その複数のフレーム画像の夫々はスルー画像として表示部１５に更新表示される（但し、表示されないこともある）。タイミングＴ３より後であってタイミングＴ４の前に取得された、この複数のフレーム画像は、フレーム画像３５１に対するシングルＡＦの実現に利用される。また、タイミングＴ３とＴ４の間の或るタイミングをタイミングＴAとし、タイミングＴAにおけるフレーム画像を符号３１１で参照する。
フレーム画像３０１に対してシングルＡＦを実現すべく、フォーカス制御部２０ａは、タイミングＴ３より前にシングルＡＦを実行する。この際における上述の探索範囲は、例えば、フォーカスレンズ３１の可動範囲の全体とされる。つまり、タイミングＴ３より前において、レンズ位置制御部４４は、フォーカスレンズ３１を至近端から無限遠端（或いは無限遠端から至近端）へと所定移動量ずつ移動させ、移動の度に、最新のＡＦ評価値をＡＦ評価部４３から得る。そして、探索範囲内でＡＦ評価値に最大値を与えるレンズ位置を合焦レンズ位置として特定し、実際のレンズ位置を、その特定された合焦レンズ位置に移動させてからレンズ位置を固定する。フレーム画像３０１は、この状態で取得される。
そして今、タイミングＴ３以前において一定であった主要被写体の被写体距離がタイミングＴ３とタイミングＴAの間に大きくなった場合を想定する。図１０（ａ）に、タイミングＴ３におけるフレーム画像３０１を示し、図１０（ｂ）に、タイミングＴAにおけるフレーム画像３１１を示す。図１０（ａ）において、符号３０２が付された破線矩形領域は、フレーム画像３０１から抽出された、主要被写体としての顔領域であり、符号３０３が付された実線矩形領域は、フレーム画像３０１内に定義されたＡＦ評価領域である。図１０（ｂ）において、符号３１２が付された破線矩形領域は、フレーム画像３１１から抽出された、主要被写体としての顔領域であり、符号３１３が付された実線矩形領域は、フレーム画像３１１内に定義されたＡＦ評価領域である。
図１１（ａ）及び（ｂ）は、レンズ位置とＡＦ評価値との関係を示すグラフである。図１１（ａ）の曲線３０４は、図１０（ａ）のフレーム画像３０１に対応するレンズ位置とＡＦ評価値との関係を表し、図１１（ｂ）の曲線３１４は、図１０（ｂ）のフレーム画像３１１に対応するレンズ位置とＡＦ評価値との関係を表す。
曲線３０４及び３１４を表す各グラフにおいて、横軸はレンズ位置を表し、横軸の右方は無限遠端側に対応している。図１１（ａ）において、符号３０５は、タイミングＴ３におけるレンズ位置を表し、図１１（ｂ）において、符号３１５は、タイミングＴAにおけるレンズ位置を表す。タイミングＴAは、フレーム画像３５１（図９参照）に対するシングルＡＦを実行する前のタイミングであり、レンズ位置３０５及び３１５は同じである。レンズ位置３０５は合焦レンズ位置と一致するが、被写体距離の変化に起因してレンズ位置３１５は合焦レンズ位置と一致せず、タイミングＴAにおけるフレーム画像３１１のＡＦ評価値は随分小さくなっている。
タイミングＴA−Ｔ４間において、フォーカス制御部２０ａは、フレーム画像３５１に対するシングルＡＦを実行するが、この際における上述の探索範囲を顔サイズ時系列情報に基づいて決定する。
この探索範囲の決定を行うための顔サイズ時系列情報には、フレーム画像３０１及び３１１に対する顔サイズが含まれており、被写体距離の増加に起因してフレーム画像３０１における顔領域３０２の顔サイズに比べてフレーム画像３１１における顔領域３１２の顔サイズは小さくなっている（図１０（ａ）及び（ｂ）参照）。フレーム画像３５１に対するシングルＡＦ（即ち、フレーム画像３５１に対する合焦レンズ位置の探索処理）の実行前において、このような顔サイズの減少が検出された場合、レンズ位置制御部４４は、被写体距離が増加したと判断して、フレーム画像３５１に対するシングルＡＦの探索範囲を、現在のレンズ位置よりも無限遠端側に定める。
即ち、レンズ位置制御部４４は、タイミングＴAにおけるレンズ位置３１５（図１１（ｂ）及び図１２参照）と、レンズ位置３１５よりも無限遠端側に位置するレンズ位置３１６との間のレンズ位置範囲を、フレーム画像３５１に対するシングルＡＦの探索範囲として定める。その後、タイミングＴA−Ｔ４間において、フォーカスレンズ３１をレンズ位置３１５から無限遠端方向に向かってレンズ位置３１６まで所定移動量ずつ移動させ、移動の度に、最新のＡＦ評価値をＡＦ評価部４３から得る。そして、その探索範囲内でＡＦ評価値に最大値を与えるレンズ位置を合焦レンズ位置として特定し、実際のレンズ位置を、その特定された合焦レンズ位置に移動させてからレンズ位置を固定する。図９のフレーム画像３５１は、この状態で取得される。
探索範囲の一端点である図１２のレンズ位置３１６は、単純には例えば、無限遠端とされるが、レンズ位置３１５と無限遠端との間のレンズ位置をレンズ位置３１６とすることもできる。例えば、フレーム画像３０１におけるＡＦ評価値とフレーム画像３１１におけるＡＦ評価値との対比又は顔領域３０２の顔サイズと顔領域３１２の顔サイズとの対比からタイミングＴ３―ＴA間の被写体距離の変化量を推測し（図９、図１０（ａ）及び（ｂ）参照）、その変化量が比較的小さいと推測される場合は、その推測した変化量に応じて、レンズ位置３１６をレンズ位置３１５と無限遠端との間に設定するようにしても良い。
上述の如く、顔サイズ時系列情報に基づいてシングルＡＦにおける探索範囲を設定するようにすれば、合焦レンズ位置の探索時間が減少し、シングルＡＦにおける合焦の高速化を図ることができる。
また、タイミングＴAにおける主要被写体の被写体距離がタイミングＴ３におけるそれよりも大きくなった場合を例示したが、タイミングＴAにおける主要被写体の被写体距離がタイミングＴ３におけるそれよりも小さくなった場合は、探索範囲は上述と逆方向の範囲とされる。つまり、フレーム画像３０１における顔領域３０２の顔サイズに比べてフレーム画像３１１における顔領域３１２の顔サイズは大きくなっていたならば、レンズ位置制御部４４は、被写体距離が減少したと判断して、フレーム画像３５１に対するシングルＡＦの探索範囲を、現在のレンズ位置よりも至近端側に定める。その後の処理は、探索範囲が異なるだけで、上述の処理と同様である。
図１０（ａ）及び（ｂ）に示されるフレーム画像３０１とフレーム画像３１１の関係について説明を加える。フレーム画像３０１及び３１１は、例えば、夫々、第（ｎ−ｋ＋１）及び第ｎフレーム画像である（上述したように、ｋは２以上の整数）。そして単純には例えば、ｋ＝２とする。この場合、隣接するフレーム画像間における顔サイズ変化に基づいて上記の探索範囲が定められることになる。
勿論、ｋを３以上とすることもできる。ｋ＝３の場合、第（ｎ−２）〜第ｎフレーム画像についての顔サイズに基づいて、第（ｎ−２）〜第ｎフレーム間における顔サイズの変化を検出し、その検出結果に基づいて上記の探索範囲が定められることになる。例えば、第（ｎ−ｊ）フレーム画像の顔サイズをＦＳ［ｎ−ｊ］で表した場合（ｊは、０以上の整数）、ＦＳ［ｎ−２］＞ＦＳ［ｎ−１］＞ＦＳ［ｎ］が成立する時に、第（ｎ−２）〜第ｎフレーム間において顔サイズが減少したと判断して、フレーム画像３５１に対するシングルＡＦの探索範囲を、現在のレンズ位置よりも無限遠端側に定める。一方、ＦＳ［ｎ−２］＜ＦＳ［ｎ−１］＜ＦＳ［ｎ］が成立する時に、第（ｎ−２）〜第ｎフレーム間において顔サイズが増加したと判断して、フレーム画像３５１に対するシングルＡＦの探索範囲を、現在のレンズ位置よりも至近端端側に定める。
図９のタイミングＴ４の後に、更に、第３の記録画像（第４、第５、・・・の記録画像）を撮影及び記録する場合も、上述と同様にして探索範囲が設定される。即ち、タイミングＴ４を基準とした顔サイズの変化を検出し、その検出結果に基づいて、第３の記録画像に対するシングルＡＦの探索範囲を定めればよい（第４、第５、・・・の記録画像についても同様）。
＜＜第３実施例＞＞
次に、本発明に係る第３実施例について説明する。図１３は、第３実施例に係る、オートフォーカス制御に関与する部位のブロック図である。第３実施例に係る主制御部１３（図１）は、図１３のフォーカス制御部２０ｂを含む。フォーカス制御部２０ｂは、図１のフォーカス制御部２０として利用される。フォーカス制御部２０ｂは、符号５１〜５４にて参照される各部位を含む。
フォーカス制御部２０ｂは、各フレーム画像内にＡＦ評価領域を設定する。ＡＦ評価領域は、フレーム画像の一部である矩形領域である。単純には例えば、フレーム画像の中央付近に位置する所定の矩形領域をＡＦ評価領域として設定する。
或いは例えば、フレーム画像内に現れる被写体の内、被写体距離が最も近い被写体が現れている領域をＡＦ評価領域とするようにしてもよい。この場合は、以下のようにしてＡＦ評価領域を設定する。フレーム画像を互いに異なる複数の候補ＡＦ評価領域に分割し、レンズ位置を至近端から無限遠端まで移動させながら各候補ＡＦ評価領域のＡＦ評価値を算出することより、候補ＡＦ評価領域ごとに、図７（ａ）の曲線２０４のようなレンズ位置とＡＦ評価値の関係を取得する。そして、候補ＡＦ評価領域ごとに、ＡＦ評価値に最大値（極大値）を与えるレンズ位置を特定し、特定されたレンズ位置が最も至近端に近くなる候補ＡＦ評価領域を、最終的に、ＡＦ評価領域として設定する。
フォーカス制御部２０ｂは、設定したＡＦ評価領域内の被写体を主要被写体として取り扱う。
特徴点検出部５１は、特徴点抽出器（不図示）を用いて、主要被写体における複数の特徴点を抽出する。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器、ＫＬＴのコーナ検出器である。
或るフレーム画像（以下、基準フレーム画像と呼ぶ）から、第１〜第４の特徴点から成る４つの特徴点を抽出した場合を考える。図１４では、基準フレーム画像における第１〜第４の特徴点を、夫々、符号４２１〜４２４が付された点にて表記している。実際には、主要被写体を含むＡＦ評価領域から５以上の特徴点が抽出されることもあるが、その５以上の特徴点の中から第１〜第４の特徴点が選定されるものとする。尚、基準フレーム画像を、符号４０１にて参照し、それをフレーム画像４０１とも呼ぶ。
基準フレーム画像が得られるフレームを基準フレームと呼ぶ。特徴点検出部５１は、基準フレームの次のフレームのフレーム画像が得られた時、そのフレーム画像内における第１〜第４の特徴点を追跡処理によって特定する。時間的に互いに隣接する２つのフレーム画像を前フレーム画像及び現フレーム画像と呼んだ場合、前フレーム画像における特徴点の位置の近傍領域を特徴点探索領域とし、現フレーム画像の特徴点探索領域内で画像マッチング処理を行うことにより現フレーム画像の特徴点の位置を特定することできる。画像マッチング処理では、例えば、前フレーム画像における特徴点の位置を中心とした矩形領域内の画像でテンプレートを形成し、そのテンプレートと現フレーム画像の特徴点探索領域内の画像との類似性を計算する。特徴点検出部５１は、このような追跡処理を繰り返し行うことで、基準フレームにて抽出された第１〜第４の特徴点を、基準フレーム以降の動画像内で追跡する。
また、特徴点検出部５１は、第１〜第４の特徴点間の距離を算出する。今の例の場合、図１４に示す如く、画像上における、第１と第２の特徴点間の距離Ｄ１、第２と第３の特徴点間の距離Ｄ２、第３と第４の特徴点間の距離Ｄ３及び第４と第１の特徴点間の距離Ｄ４を算出する。距離Ｄ１〜Ｄ４の算出は、基準フレーム画像に対してだけでなく、第１〜第４の特徴点の追跡がなされる、基準フレーム以降の各フレーム画像に対しても行われる。
特徴点履歴メモリ５２は、最新のｋフレーム分の距離Ｄ１〜Ｄ４を時系列で並べて記憶する（ｋは、上述したように２以上の整数）。例えば、第ｎフレーム画像における距離Ｄ１〜Ｄ４が特定された直後においては、少なくとも、第（ｎ−ｋ＋１）〜第ｎフレーム画像についての距離Ｄ１〜Ｄ４が特徴点履歴メモリ５２に記憶されている。特徴点履歴メモリ５２に記憶されている距離Ｄ１〜Ｄ４の集まりを、総称して、「特徴点時系列情報」と呼ぶ。特徴点時系列情報は、レンズ位置制御部５４に出力される。
ＡＦ評価部５３は、図４のＡＦ評価部と同様の部位であり、各フレーム画像についてのＡＦ評価値を算出する。レンズ位置制御部５４は、特徴点時系列情報とＡＦ評価部５３からのＡＦ評価値とに基づいてレンズ位置を制御するためのレンズ位置制御信号を生成し、それをドライバ３４（図２）に対して出力することによってレンズ位置を制御する。
第３実施例は、フォーカス制御部２０ｂが、コンティニアスＡＦを実行する場合を想定している。
一度、主要被写体に対する合焦が実現されるまでの動作、即ち、第１実施例で述べたタイミングＴ１までのコンティニアスＡＦの動作は、第１実施例と同様である。基準フレームにおいて、合焦レンズ位置の探索処理が完了してレンズ位置が合焦レンズ位置に配置された場合を考える。この場合、基準フレーム画像は、タイミングＴ１におけるフレーム画像（第１実施例における図６（ａ）のフレーム画像２０１）に対応する。
そして、第１実施例と同様、主要被写体の被写体距離がタイミングＴ１からタイミングＴ２の間に大きくなった場合を想定する。図１５は、タイミングＴ２におけるフレーム画像４１１を表しており、そのフレーム画像４１１中に表記された４つの点は、フレーム画像４１１中の第１〜第４の特徴点を表す。
主要被写体の動きが急激な場合などにおいては、レンズ位置を合焦レンズ位置に追従させることができない。本例は、このような状態を想定しており、タイミングＴ１からタイミングＴ２にかけてレンズ位置は変更されていないものとする。そうすると、タイミングＴ２におけるＡＦ評価値は、タイミングＴ１におけるそれから急激に低下する。図１３のレンズ位置制御部５４は、このＡＦ評価値の低下を検知して主要被写体の合焦状態が崩れたと判断し、タイミングＴ２の後において、再度の探索処理を実行する。この際、レンズ位置制御部５４は、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向（換言すれば、合焦レンズ位置の探索方向）を特徴点時系列情報に基づいて決定する。
この移動方向の決定を行うための特徴点時系列情報には、タイミングＴ１及びＴ２のフレーム画像４０１及び４１１に対する距離Ｄ１〜Ｄ４が含まれており、レンズ位置制御部５４は、両フレーム画像間で対応する距離同士を比較することにより、タイミングＴ１−Ｔ２間における主要被写体の大きさの変化を判断する。つまり、距離Ｄ１〜Ｄ４の夫々の、タイミングＴ１−Ｔ２間における変化量及び変化の方向を検出し、その検出結果に基づいてタイミングＴ１−Ｔ２間における主要被写体の大きさの変化を判断する。実際には、例えば、距離Ｄ１〜Ｄ４についての各変化量の平均値に基づいて、主要被写体の大きさの変化を判断すればよい。
第１〜第４の特徴点は主要被写体の特徴的な部位を示す点であり、図１６に示す如く、主要被写体の大きさは第１〜第４の特徴点によって形成される図形の大きさに概ね比例する。従って、主要被写体の被写体距離がタイミングＴ１からタイミングＴ２の間に大きくなった場合は、タイミングＴ１−Ｔ２間において距離Ｄ１〜Ｄ４の夫々は減少する。このような減少が検出された場合、レンズ位置制御部５４は、被写体距離が増加し、画像上の主要被写体の大きさが減少したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を無限遠端方向と定める。従って、タイミングＴ２の後においては、タイミングＴ２におけるレンズ位置を基準として、フォーカスレンズ３１を無限遠端方向に移動させながら最大のＡＦ評価値を再度探索する（即ち、再度、合焦レンズ位置を探索する）。
本実施例の如く、主要被写体の大きさの変化を、複数の特徴点間の距離（換言すれば、複数の特徴点間の相対位置関係）の変化に基づいて検出するようにしても、第１実施例と同様のコンティニアスＡＦを実現することができ、第１実施例と同様の効果が得られる。
また、タイミングＴ２における主要被写体の被写体距離がタイミングＴ１におけるそれよりも大きくなった場合を例示したが、タイミングＴ２における主要被写体の被写体距離がタイミングＴ１におけるそれよりも小さくなった場合は、フォーカスレンズ３１の移動方向は逆方向とされる。つまり、タイミングＴ１−Ｔ２間において距離Ｄ１〜Ｄ４が増加した場合は、レンズ位置制御部５４は、被写体距離が減少し、画像上の主要被写体の大きさが増加したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を至近端方向と定める。
図１４及び図１５に示されるフレーム画像４０１及び４１１の関係について説明を加える。フレーム画像４０１及び４１１は、例えば、夫々、第（ｎ−ｋ＋１）及び第ｎフレーム画像である（上述したように、ｋは２以上の整数）。そして単純には例えば、ｋ＝２とする。この場合、隣接するフレーム画像間における距離Ｄ１〜Ｄ４の変化に基づいて上記の移動方向が定められることになる。
勿論、ｋを３以上とすることもできる。ｋ＝３の場合、第（ｎ−２）〜第ｎフレーム画像についての距離Ｄ１〜Ｄ４に基づいて、第（ｎ−２）〜第ｎフレーム間における主要被写体の大きさの変化を検出し、その検出結果に基づいて上記の移動方向が定められることになる。例えば、第（ｎ−２）フレームから第ｎフレームに向かうにつれて距離Ｄ１〜Ｄ４が減少していった時に、画像上の主要被写体の大きさが減少したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を無限遠端方向と定める。一方、第（ｎ−２）フレームから第ｎフレームに向かうにつれて距離Ｄ１〜Ｄ４が増加していった時に、画像上の主要被写体の大きさが増加したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を至近端方向と定める。
上述の例では、追跡される特徴点の個数を４つとしたが、その個数は、２以上であれば幾つでもよい（後述する第４及び第６実施例でも同様）。２つの特徴点があれば、２つの特徴点間の距離から、画像上における主要被写体の大きさを検出することができるからである。
＜＜第４実施例＞＞
第３実施例の手法をシングルＡＦにも適用することができる。これを、本発明に係る第４実施例として説明する。第４実施例は、第１実施例を第３実施例に変更したのと同様に、第２実施例を変更した実施例に相当する。第４実施例に係る、オートフォーカス制御に関与する部位のブロック図は、図１３と同じであるため、重複する図示を省略する。第４実施例に係る主制御部１３（図１）は、図１３のフォーカス制御部２０ｂを含む。フォーカス制御部２０ｂは、図１のフォーカス制御部２０として利用される。
第３実施例と同様、フォーカス制御部２０ｂは、各フレーム画像内にＡＦ評価領域を設定し、設定したＡＦ評価領域内の被写体を主要被写体として取り扱う。フォーカス制御部２０ｂ内の各部位の基本的動作は、第３実施例と同様である。
本実施例でも図９を参照し、第２実施例と同様、タイミングＴ３におけるフレーム画像３０１を記録媒体１６に第１の記録画像として記録し、且つ、タイミングＴ４におけるフレーム画像３５１を記録媒体１６に第２の記録画像として記録することを想定する。また更に、図９に示す如く、タイミングＴ３とＴ４の間のタイミングＴAにおいて、フレーム画像３１１が取得されたとする。
フレーム画像３０１に対するシングルＡＦの動作は、第２実施例と同様である。即ち、タイミングＴ３より前において、レンズ位置制御部５４は、フォーカスレンズ３１を至近端から無限遠端（或いは無限遠端から至近端）へと所定移動量ずつ移動させ、移動の度に、最新のＡＦ評価値をＡＦ評価部５３から得る。そして、探索範囲内でＡＦ評価値に最大値を与えるレンズ位置を合焦レンズ位置として特定し、実際のレンズ位置を、その特定された合焦レンズ位置に移動させてからレンズ位置を固定する。フレーム画像３０１は、この状態で取得される。第１〜第４の特徴点の抽出元の基準フレーム画像は、このフレーム画像３０１に相当する。
そして、第２実施例と同様、タイミングＴ３以前において一定であった主要被写体の被写体距離がタイミングＴ３とタイミングＴAの間に大きくなった場合を想定する（図９参照）。この場合、タイミングＴ３−ＴA間において距離Ｄ１〜Ｄ４が減少するはずである。レンズ位置制御部５４は、この減少を考慮して、フレーム画像３５１に対するシングルＡＦの探索範囲を決定する。
より具体的に説明する。タイミングＴA−Ｔ４間において、フォーカス制御部２０ｂは、フレーム画像３５１に対するシングルＡＦを実行するが、この際における上述の探索範囲を特徴点時系列情報に基づいて決定する。
この探索範囲の決定を行うための特徴点時系列情報には、フレーム画像３０１及び３１１に対する距離Ｄ１〜Ｄ４が含まれており、レンズ位置制御部５４は、両フレーム画像間で対応する距離同士を比較することにより、タイミングＴ３−ＴA間における主要被写体の大きさの変化を判断する。この判断手法は、第３実施例で述べたそれと同様である。
第１〜第４の特徴点は主要被写体の特徴的な部位を示す点であり、主要被写体の大きさは第１〜第４の特徴点によって形成される図形の大きさに概ね比例する。従って、主要被写体の被写体距離がタイミングＴ３からタイミングＴAの間に大きくなった場合は、タイミングＴ３−ＴA間において距離Ｄ１〜Ｄ４の夫々は減少する。このような減少が検出された場合、レンズ位置制御部５４は、被写体距離が増加し、画像上の主要被写体の大きさが減少したと判断して、第２実施例と同様、フレーム画像３５１に対するシングルＡＦの探索範囲を、現在のレンズ位置よりも無限遠端側に定める。
即ち、第２実施例と同様、タイミングＴAにおけるレンズ位置をレンズ位置３１５と呼ぶとすると（図１２参照）、レンズ位置制御部５４は、タイミングＴAにおけるレンズ位置３１５と、レンズ位置３１５よりも無限遠端側に位置するレンズ位置３１６との間のレンズ位置範囲を、フレーム画像３５１に対するシングルＡＦの探索範囲として定める。その後、タイミングＴA−Ｔ４間において、フォーカスレンズ３１をレンズ位置３１５から無限遠端方向に向かってレンズ位置３１６まで所定移動量ずつ移動させ、移動の度に、最新のＡＦ評価値をＡＦ評価部５３から得る。そして、その探索範囲内でＡＦ評価値に最大値を与えるレンズ位置を合焦レンズ位置として特定し、実際のレンズ位置を、その特定された合焦レンズ位置に移動させてからレンズ位置を固定する。図９のフレーム画像３５１は、この状態で取得される。
探索範囲の一端点である図１２のレンズ位置３１６は、単純には例えば、無限遠端とされるが、レンズ位置３１５と無限遠端との間のレンズ位置をレンズ位置３１６とすることもできる。例えば、フレーム画像３０１におけるＡＦ評価値とフレーム画像３１１におけるＡＦ評価値との対比又はフレーム画像３０１における距離Ｄ１〜Ｄ４とフレーム画像３１１における距離Ｄ１〜Ｄ４との対比からタイミングＴ３―ＴA間の被写体距離の変化量を推測し、その変化量が比較的小さいと推測される場合は、その推測した変化量に応じて、レンズ位置３１６をレンズ位置３１５と無限遠端との間に設定するようにしても良い。
本実施例の如く、主要被写体の大きさの変化を、複数の特徴点間の距離（換言すれば、複数の特徴点間の相対位置関係）の変化に基づいて検出するようにしても、第２実施例と同様のシングルＡＦを実現することができ、第２実施例と同様の効果が得られる。
また、タイミングＴAにおける主要被写体の被写体距離がタイミングＴ３におけるそれよりも大きくなった場合を例示したが、タイミングＴAにおける主要被写体の被写体距離がタイミングＴ３におけるそれよりも小さくなった場合は、探索範囲は上述と逆方向の範囲とされる。つまり、タイミングＴ３−ＴA間において距離Ｄ１〜Ｄ４が増加した場合は、レンズ位置制御部５４は、被写体距離が減少し、画像上の主要被写体の大きさが増加したと判断して、フレーム画像３５１に対するシングルＡＦの探索範囲を、現在のレンズ位置よりも至近端側に定める。その後の処理は、探索範囲が異なるだけで、上述の処理と同様である。
本実施例で取り扱ったタイミングＴ３におけるフレーム画像３０１及びタイミングＴAにおけるフレーム画像３１１は、例えば、第（ｎ−ｋ＋１）及び第ｎフレーム画像である（上述したように、ｋは２以上の整数）。そして単純には例えば、ｋ＝２とする。この場合、隣接するフレーム画像間における距離Ｄ１〜Ｄ４の変化に基づいて上記の探索範囲が定められることになる。
勿論、ｋを３以上とすることもできる。ｋ＝３の場合、第（ｎ−２）〜第ｎフレーム画像についての距離Ｄ１〜Ｄ４に基づいて、第（ｎ−２）〜第ｎフレーム間における主要被写体の大きさの変化を検出し、その検出結果に基づいて上記の移動方向が定められることになる。例えば、第（ｎ−２）フレームから第ｎフレームに向かうにつれて距離Ｄ１〜Ｄ４が減少していった時に、画像上の主要被写体の大きさが減少したと判断して、フレーム画像３５１に対するシングルＡＦの探索範囲を、現在のレンズ位置よりも無限遠端側に定める。一方、第（ｎ−２）フレームから第ｎフレームに向かうにつれて距離Ｄ１〜Ｄ４が増加していった時に、画像上の主要被写体の大きさが増加したと判断して、フレーム画像３５１に対するシングルＡＦの探索範囲を、現在のレンズ位置よりも至近端側に定める。
図９のタイミングＴ４の後に、更に、第３の記録画像（第４、第５、・・・の記録画像）を撮影及び記録する場合も、上述と同様にして探索範囲が設定される。即ち、特徴点時系列情報に基づいて、タイミングＴ４を基準とした主要被写体の大きさの変化を検出し、その検出結果に基づいて、第３の記録画像に対するシングルＡＦの探索範囲を定めればよい（第４、第５、・・・の記録画像についても同様）。
＜＜第５実施例＞＞
次に、本発明に係る第５実施例を説明する。上述の第１〜第４実施例では、光学ズーム倍率が固定されていることを想定しているが、第５実施例では、光学ズーム倍率が変化している最中にも有益なコンティニアスＡＦを説明する。
光学ズーム倍率の変化は、図２のズームレンズ３０の、光学系３５内における移動によって実現される。ユーザが操作部１７に対して所定のズーム操作を施した際、主制御部１３の制御の下、図２のドライバ３４によってズームレンズ３０が移動せしめられる。光学系３５の焦点距離は、ズームレンズ３０の位置に依存する。ドライバ３４を介してズームレンズ３０の位置を制御する主制御部１３（図１参照）は、光学系３５の焦点距離を認識している。
或る注目した被写体の被写体距離が不変である状況下において、ズームレンズ３０の移動により光学系３５の焦点距離が増加すると、撮像素子３３上に形成される注目被写体の光学像の大きさが増加し（即ち光学ズーム倍率が増加し）、ズームレンズ３０の移動により光学系３５の焦点距離が減少すると、撮像素子３３上に形成される注目被写体の光学像の大きさが減少する（即ち光学ズーム倍率が減少する）
第５実施例に係るオートフォーカス制御に関与する部位のブロック図は、図５に示すそれと同じである。従って、第５実施例に係る主制御部１３（図１）は、図５の顔検出部４１とフォーカス制御部２０ａを備える。但し、第５実施例では、図５のレンズ位置制御部４４に対して光学系３５の焦点距離を表す焦点距離情報が与えられ、レンズ位置制御部４４は、焦点距離情報、顔サイズ時系列情報及びＡＦ評価値に基づいて、レンズ位置制御信号を生成する。
第１実施例と同様、各フレーム画像内に人物の顔が含まれている場合を想定して、第５実施例に係るオートフォーカス制御をより詳細に説明する。第５実施例においても、第１実施例と同様、顔領域がＡＦ評価領域内に含められるので、人物の顔が主要被写体として取り扱われ、その主要被写体に合焦するようにコンティニアスＡＦが行われる。
顔検出部４１によって検出される顔サイズは、主要被写体の被写体距離が変化した時だけでなく、光学ズーム倍率が変化した時にも変化する。主要被写体の被写体距離が不変である状況下において光学ズーム倍率が第１倍率から第２倍率へと変化した場合、顔検出部４１によって検出される顔サイズは、第１サイズから第２サイズへと変化する。この時、第２サイズを第１サイズにて割った値を、「光学ズームによる顔サイズ拡大率」という。
今、光学ズーム倍率がタイミングＴ１からタイミングＴ２の間に変化した場合を想定し、且つ、タイミングＴ１及びＴ２におけるフレーム画像が、夫々、図６（ａ）及び（ｂ）のフレーム画像２０１及び２１１であった場合を考える。上述したように、フレーム画像２０１及び２１１に対してＡＦ評価領域２０３及び２１３が設定され、フレーム画像２０１及び２１１から顔領域２０２及び２１２が抽出される。
タイミングＴ１及びＴ２における焦点距離（即ち、フレーム画像２０１及び２１１の撮影時における焦点距離）を、夫々ｆ１及びｆ２にて表す。そうすると、タイミングＴ１−Ｔ２間の光学ズームによる顔サイズ拡大率ＹZは、下記式（１）によって表される。
ＹZ＝ｆ１／ｆ２ ・・・（１）
また、顔領域２０２及び２１２の顔サイズを夫々ＳＺ１及びＳＺ２にて表す。顔サイズＳＺ１及びＳＺ２は、フレーム画像２０１及び２１１に基づき、顔検出部４１によって検出される。顔領域２０２の顔サイズを基準として、顔領域２１２の顔サイズは、タイミングＴ１−Ｔ２間における光学ズーム倍率変化及び被写体距離変化に由来して増減する。タイミングＴ１−Ｔ２間の被写体距離が不変であると仮定したならばタイミングＴ２の撮影によって得られるであろう、仮想的なフレーム画像中の顔領域の顔サイズをＳＺ２’にて表す。顔サイズＳＺ２’は、下記式（２）によって表される。図１７に、顔サイズＳＺ１、ＳＺ２及びＳＺ２’の関係を示す。
ＳＺ２’＝ＳＺ１×ＹZ ・・・（２）
顔検出部４１によって検出された顔サイズＳＺ２と焦点距離変化から推測された顔サイズＳＺ２’との比から、被写体距離変化のみに由来する顔サイズの拡大率、即ち、光学ズーム倍率変化の影響が除去された顔サイズの拡大率を求めることができる。その比によって表される、顔サイズの拡大率をＹDにて表す。拡大率ＹDは、下記式（３）にて求めることができる。
ＹD＝ＳＺ２’／ＳＺ２
＝（ＳＺ１×ＹZ）／ＳＺ２ ・・・（３）
＝｛ＳＺ１×（ｆ１／ｆ２）｝／ＳＺ２
レンズ位置制御部４４は、顔サイズ時系列情報と焦点距離情報に基づいて、タイミングＴ１−Ｔ２間の拡大率ＹDを求め、拡大率ＹDに応じてレンズ位置を調整する。具体的には以下のような動作が行われる。
タイミングＴ１以前から実行されているコンティニアスＡＦ（第１実施例で述べた探索処理）によってタイミングＴ１時点では主要被写体に合焦しており、タイミングＴ１におけるレンズ位置は、合焦レンズ位置に合致しているものとする。そして、タイミングＴ１からタイミングＴ２にかけて、主要被写体の被写体距離及び光学ズーム倍率の少なくとも一方が変化したとする。主要被写体の動きが急激な場合などにおいては、レンズ位置を合焦レンズ位置に追従させることができない。本例は、このような状態を想定しており、タイミングＴ１からタイミングＴ２にかけてレンズ位置は変更されていないものとする。そうすると、タイミングＴ２におけるＡＦ評価値は、タイミングＴ１におけるそれから急激に低下する。レンズ位置制御部４４は、このＡＦ評価値の低下を検知して主要被写体の合焦状態が崩れたと判断し、タイミングＴ２の後において、再度の探索処理を実行する。
この際、レンズ位置制御部４４は、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向（換言すれば、合焦レンズ位置の探索方向）を顔サイズ時系列情報及び焦点距離情報に基づいて決定する。具体的には、顔サイズ時系列情報に含まれる顔領域２０１及び２１１についての顔サイズＳＺ１及びＳＺ２と焦点距離情報に含まれるタイミングＴ１及びＴ２の焦点距離ｆ１及びｆ２とに基づき、上記式（３）に従ってタイミングＴ１−Ｔ２間の拡大率ＹDを求め、拡大率ＹDから、タイミングＴ１−Ｔ２間における主要被写体の被写体距離の変化を推定する（換言すれば、撮像装置１から見た、主要被写体の移動方向を推定する）。
拡大率ＹDが１よりも大きければ主要被写体の被写体距離が減少したと推定し、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を至近端方向と定める。この場合、タイミングＴ２以降において、タイミングＴ２におけるレンズ位置を基準としてフォーカスレンズ３１を至近端方向に移動させながら、合焦レンズ位置の再探索を行う。
一方、拡大率ＹDが１よりも小さければ主要被写体の被写体距離が増加したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を無限遠端方向と定める。この場合、タイミングＴ２以降において、タイミングＴ２におけるレンズ位置を基準としてフォーカスレンズ３１を無限遠端方向に移動させながら、合焦レンズ位置の再探索を行う。
図１８を参照して、第５実施例に係るコンティニアスＡＦの動作の流れを説明する。図１８は、第５実施例に係るコンティニアスＡＦの動作フローチャートである。コンティニアスＡＦの動作中、順次得られる各フレーム画像に対して顔検出部４１による顔検出処理及びＡＦ評価部４３によるＡＦ評価値算出処理が行われていると共に、その顔検出処理の結果に基づいて顔サイズ時系列情報が順次更新される。
オートフォーカス制御としてのコンティニアスＡＦが開始されると、まず、ステップＳ１においてＡＦ動作モードが山登りモードに設定され、続くステップＳ２においてレンズ駆動方向（フォーカスレンズ３１を移動させる方向）が至近端方向に設定され、その後、ステップＳ３に至る。ＡＦ動作モードはオートフォーカス制御の状態を規定する。ＡＦ動作モードは、山登りモード、停止モード及び再起動モードの何れかに設定される。ＡＦ動作モードが山登りモードに設定されている時、山登り法に基づくフォーカスレンズ３１の駆動（即ち、レンズ位置の調整）が行われ、ＡＦ動作モードが停止モードに設定されている時、フォーカスレンズ３１は停止される。再起動モードは、ＡＦ動作モードを停止モードから山登りモードに戻すためのモードであり、ＡＦ動作モードが再起動モードに設定されている時も、フォーカスレンズ３１は停止している。
ステップＳ３ではＡＦ動作モードが山登りモードであるか否かが確認され、ＡＦ動作モードが山登りモードであるならステップＳ４に移行し、そうでないならステップＳ１０に移行する。ステップＳ４では、現時点において設定されているレンズ駆動方向にフォーカスレンズ３１が駆動され（即ち、レンズ位置が所定量だけレンズ駆動方向に移動せしめられ）、その後、ステップＳ５に移行する。この駆動は、上述してきたように、レンズ位置制御部４４からのレンズ位置制御信号に従って行われる。
ステップＳ５において、レンズ位置制御部４４は、ステップＳ４のレンズ駆動前後に得られたＡＦ評価値を対比することにより、レンズ駆動前に得られたＡＦ評価値に対してレンズ駆動後に得られたＡＦ評価値が増加しているか否かを判定する。ＡＦ評価値が増加していると判定した場合は、ステップＳ３に戻る一方、ＡＦ評価値が減少していると判定した場合は、ステップＳ６にてレンズ駆動方向を反転させてからステップＳ７に移行する。例えば、レンズ駆動方向が至近端方向に設定されている状態においてＡＦ評価値の減少が観測された場合、レンズ駆動方向は、ステップＳ６にて無限遠端方向に設定される。
ステップＳ７において、レンズ位置制御部４４は、ＡＦ評価値に極大値を与えるレンズ位置が見つかったか否かを判定する。レンズ位置を一定の方向に移動させることによってＡＦ評価値が増加していった後、減少したならば、その移動の過程において、ＡＦ評価値は極大値をとることになる。このような極大値が観測されたならば、ステップＳ７からステップＳ８に移行し、フォーカスレンズ３１の位置をＡＦ評価値に極大値を与える位置（即ち、合焦レンズ位置）に停止させる一方でＡＦ動作モードを停止モードに設定し、その後、ステップＳ３に戻る。ステップＳ７にて、ＡＦ評価値に極大値を与えるレンズ位置が見つからなかった場合は、ステップＳ７から直接ステップＳ３に戻る。
ステップＳ１０ではＡＦ動作モードが停止モードであるか否かが確認され、ＡＦ動作モードが停止モードであるならステップＳ１１に移行し、そうでないならステップＳ２０に移行する。停止モードにおいて、レンズ位置制御部４４は、ＡＦ評価部４３から順次送られてくるＡＦ評価値に基づき、ＡＦ評価値が安定しているか否かを監視する。ＡＦ評価値が急激に変化している場合、ＡＦ評価値は安定していないと判断され、そうでない場合は、ＡＦ評価値は安定していると判断される。例えば、ＡＦ評価値が、単位時間当たりで所定値以上減少した時、ＡＦ評価値は安定していないと判断される。
ステップＳ１１においてＡＦ評価値が安定していると判断された場合は、ステップＳ１２においてＡＦ動作モードを停止モードに設定してからステップＳ３に戻り、ステップＳ１１においてＡＦ評価値が安定していないと判断された場合は、ステップＳ１３においてＡＦ動作モードを再起動モードに設定してからステップＳ３に戻る。
ステップＳ２０ではＡＦ動作モードが再起動モードであるか否かが確認され、ＡＦ動作モードが再起動モードであるならステップＳ２１に移行し、そうでないならステップＳ１に移行する。ステップＳ２１において、レンズ位置制御部４４は、上述の算出手法に従い、顔サイズ時系列情報と焦点距離情報に基づいて拡大率ＹDを算出すると共にＡＦ動作モードを山登りモードに設定する。その後、ステップＳ２２において、算出した拡大率ＹDを１と比較する。そして、ＹD＞１であれば、主要被写体の被写体距離が減少したと判断して、ステップＳ２３にてレンズ駆動方向を至近端方向に設定してからステップＳ３に戻る一方、ＹD＜１であれば、主要被写体の被写体距離が増加したと判断して、ステップＳ２４にてレンズ駆動方向を無限遠端方向に設定してからステップＳ３に戻る。これにより、主要被写体の被写体距離の変化に応じた合焦レンズ位置の再探索が実行される。
上述のようなコンティニアスＡＦを実行することにより、第１実施例と同様、コンティニアスＡＦの安定性向上及び合焦速度の向上が図られる。加えて、光学ズーム倍率が変化している最中であっても、主要被写体の移動方向の正確なる推定結果に基づいてフォーカスレンズの位置の移動制御がなされるため、コンティニアスＡＦの、更なる安定性向上が図られる。
＜＜第６実施例＞＞
上述の第５実施例と第３実施例を組み合わせることも可能であり、これによっても、第５実施例と同様の効果が得られる。この組み合わせに係る実施例を、第６実施例とする。第６実施例に係るオートフォーカス制御に関与する部位のブロック図は、図１３に示すそれと同じである。従って、第６実施例に係る主制御部１３（図１）は、図１３のフォーカス制御部２０ｂを備える。但し、第６実施例では、図１３のレンズ位置制御部５４に対して光学系３５の焦点距離を表す焦点距離情報が与えられ、レンズ位置制御部５４は、焦点距離情報、特徴点時系列情報及びＡＦ評価値に基づいて、レンズ位置制御信号を生成する。
第６実施例においても、フォーカス制御部２０ｂによってコンティニアスＡＦが実行される。今、タイミングＴ１及びＴ２におけるフレーム画像が、夫々、図１４及び図１５のフレーム画像４０１及び４１１であった場合を考える。一度、主要被写体に対する合焦が実現されるまでの動作、即ち、タイミングＴ１までのコンティニアスＡＦの動作は、第１実施例で述べたものと同様である。
つまり、タイミングＴ１以前から実行されているコンティニアスＡＦ（第１実施例で述べた探索処理）によってタイミングＴ１時点では主要被写体に合焦しており、タイミングＴ１におけるレンズ位置は、合焦レンズ位置に合致しているものとする。そして、タイミングＴ１からタイミングＴ２にかけて、主要被写体の被写体距離及び光学ズーム倍率の少なくとも一方が変化したとする。主要被写体の動きが急激な場合などにおいては、レンズ位置を合焦レンズ位置に追従させることができない。本例は、このような状態を想定しており、タイミングＴ１からタイミングＴ２にかけてレンズ位置は変更されていないものとする。そうすると、タイミングＴ２におけるＡＦ評価値は、タイミングＴ１におけるそれから急激に低下する。レンズ位置制御部５４は、このＡＦ評価値の低下を検知して主要被写体の合焦状態が崩れたと判断し、タイミングＴ２の後において、再度の探索処理を実行する。
この際、レンズ位置制御部５４は、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向（換言すれば、合焦レンズ位置の探索方向）を、特徴点時系列情報及び焦点距離情報に基づいて決定する。この特徴点時系列情報には、フレーム画像４０１及び４０２の夫々に対して算出された距離Ｄ１〜Ｄ４のデータが含まれ、この焦点距離情報には、フレーム画像４０１及び４０２の撮影時における焦点距離のデータが含まれる。
具体的には例えば、レンズ位置制御部５４は、フレーム画像４０１についての距離Ｄ１〜Ｄ４の平均値ＤAVE1をフレーム画像４０１における主要被写体の大きさとして推定する共にフレーム画像４１１についての距離Ｄ１〜Ｄ４の平均値ＤAVE2をフレーム画像４１１における主要被写体の大きさとして推定する。そして、フレーム画像４０１及び４１１における主要被写体の大きさの推定値ＤAVE1及びＤAVE2をそれぞれ上記式（３）のＳＺ１及びＳＺ２に代入し、且つ、フレーム画像４０１及び４０２の撮影時における焦点距離を夫々上記式（３）のｆ１及びｆ２に代入することにより、式（３）の左辺の値ＹDを求める。ここで求められるＹDは、被写体距離変化のみに由来する主要被写体の大きさの拡大率、即ち、光学ズーム倍率変化の影響が除去された主要被写体の大きさの拡大率を示している。
レンズ位置制御部５４は、求めた拡大率ＹDから、タイミングＴ１−Ｔ２間における主要被写体の被写体距離の変化を推定し（換言すれば、撮像装置１から見た、主要被写体の移動方向を推定し）、推定結果に基づいて、合焦レンズ位置を再探索するためのフォーカスレンズ３１の移動方向を決定する。
具体的には、拡大率ＹDが１よりも大きければ主要被写体の被写体距離が減少したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を至近端方向と定める。この場合、タイミングＴ２以降において、タイミングＴ２におけるレンズ位置を基準としてフォーカスレンズ３１を至近端方向に移動させながら、合焦レンズ位置の再探索を行う。
一方、拡大率ＹDが１よりも小さければ主要被写体の被写体距離が増加したと判断して、再度の探索処理の実行開始時におけるフォーカスレンズ３１の移動方向を無限遠端方向と定める。この場合、タイミングＴ２以降において、タイミングＴ２におけるレンズ位置を基準としてフォーカスレンズ３１を無限遠端方向に移動させながら、合焦レンズ位置の再探索を行う。
＜＜第７実施例＞＞
上述の各実施例では、撮像部１１にフォーカスレンズ３１を設け、固定された撮像素子３３を基準としてフォーカスレンズ３１の位置を変化させることにより焦点の調節を行い、これによって主要被写体に対する合焦を実現している。しかしながら、この合焦を、撮像素子３３の移動によって実現するようにしてもよい。即ち、フォーカスレンズ３１ではなく撮像素子３３の位置をドライバ３４によって変更可能にしておき、撮像素子３３の駆動を介して撮像素子３３と光学系３５内の固定レンズ（不図示）との位置関係を変化させることにより焦点の調節を行い、これによって主要被写体に対する合焦を実現してもよい。撮像素子３３の移動によって焦点の調節を行う実施例を第７実施例とする。
第１実施例等の如くフォーカスレンズ３１を駆動する場合は、フォーカスレンズ３１の移動によってフォーカスレンズ３１と撮像素子３３との距離が調整され、該距離を最適距離に設定することで主要被写体に対する合焦が実現される。一方、撮像素子３３を駆動する場合は、撮像素子３３の移動によって上記固定レンズと撮像素子３３との距離が調整され、該距離を最適距離に設定することで主要被写体に対する合焦が実現される。上記固定レンズは、被写体の光学像を撮像素子３３上で結像させるために光学系３５内に固定して配置されたレンズである。フォーカスレンズ３１の位置を常に固定していると考えれば、その常に固定されたフォーカスレンズ３１は、固定レンズの一種である。
上記の距離を最適距離に設定するために移動せしめられる移動物体が、撮像素子３３であっても、第１〜第６実施例で述べた技術は全て適用可能である。勿論、第１〜第６実施例と第７実施例との間で該移動物体が異なるため、第１〜第６実施例で述べた事項を第７実施例に適用する場合には、適宜、読み替えが行われるべきである。
今、便宜上、撮像素子３３の位置を素子位置と呼び、主要被写体に合焦している時における撮像素子３３の位置を合焦素子位置と呼ぶ。第７実施例において、撮像素子３３は、光学系３５の光軸方向に沿って移動可能であり、撮像素子３３の可動範囲は、所定の至近端と所定の無限遠端との間の範囲である。撮像素子３３が至近端に配置されている時、ピントが合う被写体の被写体距離は最小となり、撮像素子３３が無限遠端に配置されている時、ピントが合う被写体の被写体距離は最大となる。そして、撮像素子３３が至近端から無限遠端に移動するにつれて、ピントが合う被写体の被写体距離は大きくなる。但し、第７実施例にて述べる、撮像素子３３の可動範囲にとっての至近端及び無限遠端の位置は、当然、上述してきたフォーカスレンズ３１にとってのそれらと異なる。
第１〜第６実施例で述べた事項を第７実施例に適用する場合は、必要に応じて、第１〜第６実施例の記述中におけるフォーカスレンズ３１、レンズ位置及び合焦レンズ位置を、それぞれ、撮像素子３３、素子位置及び合焦素子位置に読み替えればよい。
コンティニアスＡＦを実行する場合には、撮像素子３３の位置を至近端方向又は無限遠端方向に所定移動量ずつ移動させながらＡＦ評価値の最大値を探索し、これによって合焦素子位置を探す。合焦レンズ位置を探す処理と同様、合焦素子位置を探す処理も、探索処理と呼ぶ。一度、合焦が実現された後に合焦状態が崩れた場合、再度の探索処理が実行されるが、この際、再度の探索処理の実行開始時における撮像素子３３の移動方向（換言すれば、合焦素子位置の探索方向）を、第１、第３、第５又は第６実施例にて述べた手法に従い、顔サイズ時系列情報、特徴点時系列情報、顔サイズ時系列情報及び焦点距離情報、又は、特徴点時系列情報及び焦点距離情報に基づいて決定する。
即ち、再度の探索処理の実行前に、画像上における主要被写体の大きさの減少が検出された場合（又は、主要被写体の被写体距離が増加したと判断される場合）は、再度の探索処理の実行開始時における撮像素子３３の移動方向を無限遠端方向と定める。一方、再度の探索処理の実行前に、画像上における主要被写体の大きさの増加が検出された場合（又は、主要被写体の被写体距離が減少したと判断される場合）は、再度の探索処理の実行開始時における撮像素子３３の移動方向を至近端方向と定める。
シングルＡＦにおいて、第１回目の探索処理を実行した後、第２回目の探索処理を実行する場合は、第２回目の探索処理の実行時における合焦素子位置の探索範囲を、第２又は第４実施例にて述べた手法に従い、顔サイズ時系列情報又は特徴点時系列情報に基づいて決定すればよい。
即ち、第２回目の探索処理の実行前に、画像上における主要被写体の大きさの減少が検出された場合（又は、主要被写体の被写体距離が増加したと判断される場合）は、第１回目の探索処理にて得られた合焦素子位置より無限遠端側の位置範囲を、第２回目の探索処理の実行時における合焦素子位置の探索範囲として定める。一方、第２回目の探索処理の実行前に、画像上における主要被写体の大きさの増加が検出された場合（又は、主要被写体の被写体距離が減少したと判断される場合）は、第１回目の探索処理にて得られた合焦素子位置より至近端側の位置範囲を、第２回目の探索処理の実行時における合焦素子位置の探索範囲として定める。
尚、第７実施例に係るフォーカス制御部は、図５のフォーカス制御部２０ａ又は図１３のフォーカス制御部２０ｂによって形成されるが、第７実施例では、図５又は図１３のレンズ位置制御部４４又は５５が素子位置制御部として機能し、その素子位置制御部が、合焦素子位置の探索処理を実現するべく、素子位置を制御するための素子位置制御信号をドライバ３４に対して送出する。また、撮像素子３３の駆動は、アクチュエータやピエゾ素子等によって実現される。フォーカスレンズ３１を駆動する場合も同様である。
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［注釈１］
第１、第２及び第５実施例において、図５の顔検出部４１による顔検出結果は常に正しいわけではなく、顔の向きが変わったり、顔の前に別の物体が侵入してきたりした場合などにおいては、顔検出の信頼度が低くなる。顔検出部４１において、顔検出の信頼度は着目領域の顔らしさを表す数値によって表現されるため、その数値に基づいて顔検出の信頼度が低いと判断される場合は、第１又は第５実施例で述べた移動方向の設定及び第２実施例で述べた探索範囲の設定を行わないようにするとよい。これにより、顔の誤検出によって、逆に合焦速度が遅くなるといったことを防止することができる。
［注釈２］
第１、第２及び第５実施例では、撮像装置１内に顔検出部４１を設け、各フレーム画像内から検出する対象物（特定種類の物体）を人間の顔としているが、本発明はこれに限定されない。即ち、顔以外の特定種類の物体を、フレーム画像内から検出すべき対象物として取り扱うことも可能である（顔検出部４１を利用する場合、特定種類の物体は、人物の顔である）。例えば、検出すべき対象物を車両とすることもできる。顔以外の対象物の検出も公知の手法（パターンマッチング等）を用いることによって実現可能である。
［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図５及び図１３に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図２のフォーカスレンズの可動範囲を示す図である。 図１の主制御部内に実装されるＡＦ評価部の内部ブロック図である。 本発明の第１実施例に係る、オートフォーカス制御に関与する部位のブロック図である。 本発明の第１実施例に係り、タイミングＴ１におけるフレーム画像（ａ）と、タイミングＴ２におけるフレーム画像（ｂ）を表す図である。 本発明の第１実施例に係り、タイミングＴ１に対応する、レンズ位置とＡＦ評価値との関係を表すグラフ（ａ）と、タイミングＴ２に対応する、レンズ位置とＡＦ評価値との関係を表すグラフ（ｂ）である。 本発明の第１実施例に係り、合焦レンズ位置の探索方向を説明するための図である。 本発明の第２実施例に係り、複数の記録画像間におけるタイミング関係を示す図である。 本発明の第２実施例に係り、タイミングＴ３におけるフレーム画像（ａ）と、タイミングＴAにおけるフレーム画像（ｂ）を表す図である。 本発明の第２実施例に係り、タイミングＴ３に対応する、レンズ位置とＡＦ評価値との関係を表すグラフ（ａ）と、タイミングＴAに対応する、レンズ位置とＡＦ評価値との関係を表すグラフ（ｂ）である。 本発明の第２実施例に係り、シングルＡＦの実行時におけるフォーカスレンズの探索範囲を表す図である。 本発明の第３実施例に係る、オートフォーカス制御に関与する部位のブロック図である。 本発明の第３実施例に係り、基準フレーム画像としての、タイミングＴ１におけるフレーム画像を示す図である。 本発明の第３実施例に係り、タイミングＴ２におけるフレーム画像を示す図である。 本発明の第３実施例に係り、主要被写体の大きさが４つの特徴点によって形成される図形の大きさに概ね比例する様子を示すイメージ図である。 本発明の第５実施例に係り、画像上の顔サイズが、光学ズーム倍率変化及び被写体距離変化に由来して変化する様子を示す図である。 本発明の第５実施例に係るコンティニアスＡＦの動作フローチャートである。
符号の説明
１ 撮像装置
１１ 撮像部
１３ 主制御部
２０、２０ａ、２０ｂ フォーカス制御部
３０ ズームレンズ
３１ フォーカスレンズ
３３ 撮像素子
４１ 顔検出部
４２ 顔サイズ履歴メモリ
４３、５３ ＡＦ評価部
４４、５４ レンズ位置制御部
５１ 特徴点検出部
５２ 特徴点履歴メモリ

Claims (14)

  1. 入射した光を光電変換する撮像素子と、
    前記撮像素子の光電変換により得られた撮像信号に基づいて焦点を調節するフォーカス制御手段と、を備えた撮像装置において、
    前記フォーカス制御手段は、
    前記撮像信号に基づく動画像内における特定の被写体の大きさの変化を検出する変化検出手段を備え、
    前記変化をも考慮して前記特定の被写体に合焦するように前記焦点を調節する
    ことを特徴とする撮像装置。
  2. 前記焦点を調節するためのフォーカスレンズを介して、前記光は前記撮像素子に入射し、
    当該撮像装置は、前記フォーカスレンズを駆動する駆動手段を更に備え、
    前記フォーカス制御手段は、
    前記撮像信号に基づき、前記駆動手段を用いて前記フォーカスレンズのレンズ位置を制御することにより前記焦点の調節を行い、
    前記特定の被写体の大きさの変化に基づいて、前記特定の被写体に合焦するように前記レンズ位置を制御する
    ことを特徴とする請求項１に記載の撮像装置。
  3. 前記特定の被写体に合焦している時における前記レンズ位置を合焦レンズ位置と呼んだ場合、
    前記フォーカス制御手段は、
    前記フォーカスレンズを至近端方向又は無限遠端方向に移動させることにより前記合焦レンズ位置を探索する探索処理を介して前記特定の被写体に対する合焦を実現させ、
    一度その合焦が実現された後に前記探索処理を再度実行するとき、前記特定の被写体の大きさの変化に基づいて、その再度の探索処理の実行開始時における前記フォーカスレンズの移動方向を決定する
    ことを特徴とする請求項２に記載の撮像装置。
  4. 前記フォーカス制御手段は、
    再度の探索処理の実行前に前記大きさの減少が検出された場合、その再度の探索処理の実行開始時における前記移動方向を前記無限遠端方向とする一方、
    再度の探索処理の実行前に前記大きさの増加が検出された場合、その再度の探索処理の実行開始時における前記移動方向を前記至近端方向とする
    ことを特徴とする請求項３に記載の撮像装置。
  5. 前記特定の被写体に合焦している時における前記レンズ位置を合焦レンズ位置と呼んだ場合、
    前記フォーカス制御手段は、
    前記フォーカスレンズを至近端方向又は無限遠端方向に移動させることにより前記合焦レンズ位置を探索する探索処理を介して前記特定の被写体に対する合焦を実現させ、
    一度その合焦が実現された後に前記探索処理を再度実行するとき、前記特定の被写体の大きさの変化に基づいて、その再度の探索処理の実行時における前記合焦レンズ位置の探索範囲を設定する
    ことを特徴とする請求項２に記載の撮像装置。
  6. 前記フォーカス制御手段は、
    再度の探索処理の実行前に前記大きさの減少が検出された場合、前回の探索処理にて得られた前記合焦レンズ位置より無限遠端側のレンズ位置範囲を前記探索範囲として設定する一方、
    再度の探索処理の実行前に前記大きさの増加が検出された場合、前回の探索処理にて得られた前記合焦レンズ位置より至近端側のレンズ位置範囲を前記探索範囲として設定する
    ことを特徴とする請求項５に記載の撮像装置。
  7. 前記撮像素子上に形成される光学像の大きさを変更するための光学ズームを実現するズームレンズを更に備え、
    前記フォーカス制御手段は、前記動画像内における前記特定の被写体の大きさの変化と、前記動画像の取得中における前記光学ズームの倍率変化と、に基づいて前記レンズ位置を制御する
    ことを特徴とする請求項２に記載の撮像装置。
  8. 前記特定の被写体に合焦している時における前記レンズ位置を合焦レンズ位置と呼んだ場合、
    前記フォーカス制御手段は、
    前記フォーカスレンズを至近端方向又は無限遠端方向に移動させることにより前記合焦レンズ位置を探索する探索処理を介して前記特定の被写体に対する合焦を実現させ、
    一度その合焦が実現された後に前記探索処理を再度実行するとき、前記特定の被写体の大きさの変化と前記光学ズームの倍率変化に基づいて、その再度の探索処理の実行開始時における前記フォーカスレンズの移動方向を決定する
    ことを特徴とする請求項７に記載の撮像装置。
  9. 前記変化検出手段は、前記特定の被写体の大きさの変化と前記光学ズームの倍率変化に基づいて、前記特定の被写体と前記撮像装置との、実空間上の距離の変化を推定し、
    前記フォーカス制御手段は、
    再度の探索処理の実行前における推定変化が前記距離の増加を表す場合、その再度の探索処理の実行開始時における前記移動方向を前記無限遠端方向とする一方、
    再度の探索処理の実行前における推定変化が前記距離の減少を表す場合、その再度の探索処理の実行開始時における前記移動方向を前記至近端方向とする
    ことを特徴とする請求項８に記載の撮像装置。
  10. 前記フォーカス制御手段は、
    前記撮像信号に基づいて前記撮像素子の位置を駆動制御することにより前記焦点の調節を行い、
    前記特定の被写体の大きさの変化に基づいて、前記特定の被写体に合焦するように前記撮像素子の位置を制御する
    ことを特徴とする請求項１に記載の撮像装置。
  11. 前記撮像信号に基づいて、前記動画像を形成する各フレーム画像から特定種類の物体を前記特定の被写体として検出する物体検出手段を更に備え、
    前記変化検出手段は、前記物体検出手段の検出結果に基づいて、前記特定の被写体の大きさの変化を検出する
    ことを特徴とする請求項１〜請求項１０の何れかに記載の撮像装置。
  12. 前記動画像中の基準のフレーム画像から前記特定の被写体の特徴点を複数抽出し、前記動画像を形成する各フレーム画像における前記複数の特徴点の位置を検出する特徴点検出手段を更に備え、
    前記変化検出手段は、異なるフレーム画像間における、前記複数の特徴点間の相対位置変化に基づいて、前記特定の被写体の大きさの変化を検出する
    ことを特徴とする請求項１〜請求項１０の何れかに記載の撮像装置。
  13. 前記特定種類の物体は、人物の顔を含む
    ことを特徴とする請求項１１に記載の撮像装置。
  14. 入射した光を光電変換する撮像素子からの撮像信号に基づいて焦点の調節を行うオートフォーカス制御方法において、
    前記撮像信号に基づく動画像内における特定の被写体の大きさの変化を検出し、
    前記変化をも考慮して前記特定の被写体に合焦するように前記焦点を調節する
    ことを特徴とするオートフォーカス制御方法。
JP2008139319A 2007-07-04 2008-05-28 撮像装置及びオートフォーカス制御方法 Withdrawn JP2009031760A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008139319A JP2009031760A (ja) 2007-07-04 2008-05-28 撮像装置及びオートフォーカス制御方法
US12/167,585 US20090009651A1 (en) 2007-07-04 2008-07-03 Imaging Apparatus And Automatic Focus Control Method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007176100 2007-07-04
JP2008139319A JP2009031760A (ja) 2007-07-04 2008-05-28 撮像装置及びオートフォーカス制御方法

Publications (1)

Publication Number Publication Date
JP2009031760A true JP2009031760A (ja) 2009-02-12

Family

ID=40213447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008139319A Withdrawn JP2009031760A (ja) 2007-07-04 2008-05-28 撮像装置及びオートフォーカス制御方法

Country Status (2)

Country Link
JP (1) JP2009031760A (ja)
CN (1) CN101339349A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066378A (ja) * 2008-09-09 2010-03-25 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び記憶媒体
JP2010183601A (ja) * 2010-03-12 2010-08-19 Casio Computer Co Ltd 撮像装置及びそのプログラム
JP2010266699A (ja) * 2009-05-15 2010-11-25 Hoya Corp 撮像装置
JP2011027846A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Ａｆ枠自動追尾システム
JP2011039454A (ja) * 2009-08-18 2011-02-24 Canon Inc 自動合焦装置、自動合焦方法及びプログラム
JP2012163588A (ja) * 2011-02-03 2012-08-30 Olympus Imaging Corp 撮像装置
KR20130009788A (ko) * 2010-03-30 2013-01-23 소니 주식회사 화상 처리 장치 및 방법과 컴퓨터 프로그램 기억 장치
JP2013140270A (ja) * 2012-01-05 2013-07-18 Canon Inc 焦点調節装置
US8964101B2 (en) 2009-08-18 2015-02-24 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
US9160916B2 (en) 2011-10-16 2015-10-13 Canon Kabushiki Kaisha Focus adjustment apparatus with a size detector
CN107124546A (zh) * 2012-05-18 2017-09-01 华为终端有限公司 一种自动切换终端对焦模式的方法及终端
JP2019518370A (ja) * 2016-06-03 2019-06-27 グーグル エルエルシー オプティカルフローベースのオートフォーカス
KR20230153626A (ko) 2022-04-29 2023-11-07 한화비전 주식회사 오토 포커스 조절 방법 및 이를 이용한 카메라 장치
CN117729431A (zh) * 2024-02-18 2024-03-19 浙江华感科技有限公司 图像聚焦方法、装置、计算机设备和存储介质
US12542969B2 (en) 2023-05-15 2026-02-03 Canon Kabushiki Kaisha Control apparatus for controlling focus of imaging apparatus, imaging apparatus, control method, and storage medium

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8412036B2 (en) * 2009-12-07 2013-04-02 Panasonic Corporation Imaging apparatus and method of controlling the apparatus
JP5746937B2 (ja) * 2011-09-01 2015-07-08 ルネサスエレクトロニクス株式会社 オブジェクト追跡装置
JP5898501B2 (ja) * 2012-01-13 2016-04-06 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
CN103369227A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种运动对象的拍照方法及电子设备
EP3562143B1 (en) 2013-01-09 2021-04-21 SONY Corporation Image processing device, image processing method, and program
JP6618255B2 (ja) * 2014-12-24 2019-12-11 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
US11240421B2 (en) 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus
CN105227833A (zh) * 2015-09-09 2016-01-06 华勤通讯技术有限公司 连续对焦方法及装置
CN105827945A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种实时对焦的方法及移动终端
CN105827944B (zh) * 2015-11-25 2019-05-17 维沃移动通信有限公司 一种对焦方法及移动终端
TWI585394B (zh) 2015-12-09 2017-06-01 由田新技股份有限公司 動態式自動追焦系統
JP6788404B2 (ja) * 2016-07-14 2020-11-25 オリンパス株式会社 焦点調節装置及び焦点調節方法
WO2018168357A1 (ja) * 2017-03-15 2018-09-20 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム
CN109151299B (zh) * 2017-06-27 2021-03-19 虹软科技股份有限公司 一种用于对焦的方法和装置
WO2019104569A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 一种对焦方法、设备及可读存储介质
CN113056907A (zh) * 2020-07-28 2021-06-29 深圳市大疆创新科技有限公司 拍摄方法、拍摄装置及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02205810A (ja) * 1989-02-06 1990-08-15 Canon Inc 自動焦点調節装置
JPH057325A (ja) * 1991-06-25 1993-01-14 Sony Corp カメラ制御装置
JP2002374521A (ja) * 2001-06-13 2002-12-26 Mitsubishi Heavy Ind Ltd 移動体の監視方法および装置
JP2004325833A (ja) * 2003-04-25 2004-11-18 Kyocera Corp カメラおよび焦点調整方法
JP2006072770A (ja) * 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
JP2006208558A (ja) * 2005-01-26 2006-08-10 Canon Inc 撮像装置
JP2006235142A (ja) * 2005-02-24 2006-09-07 Matsushita Electric Ind Co Ltd オートフォーカス制御装置、オートフォーカス制御方法およびオートフォーカス制御装置を備えるカメラ
JP2006319596A (ja) * 2005-05-12 2006-11-24 Fuji Photo Film Co Ltd 撮像装置および撮像方法
JP2007065290A (ja) * 2005-08-31 2007-03-15 Nikon Corp オートフォーカス装置
JP2008052225A (ja) * 2006-08-28 2008-03-06 Olympus Imaging Corp カメラ、合焦制御方法、プログラム
JP2008152058A (ja) * 2006-12-19 2008-07-03 Hoya Corp 焦点調節装置を備えたカメラ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204710A (en) * 1989-06-13 1993-04-20 Minolta Camera Kabushiki Kaisha Camera having zoom lens system
US5631697A (en) * 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02205810A (ja) * 1989-02-06 1990-08-15 Canon Inc 自動焦点調節装置
JPH057325A (ja) * 1991-06-25 1993-01-14 Sony Corp カメラ制御装置
JP2002374521A (ja) * 2001-06-13 2002-12-26 Mitsubishi Heavy Ind Ltd 移動体の監視方法および装置
JP2004325833A (ja) * 2003-04-25 2004-11-18 Kyocera Corp カメラおよび焦点調整方法
JP2006072770A (ja) * 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
JP2006208558A (ja) * 2005-01-26 2006-08-10 Canon Inc 撮像装置
JP2006235142A (ja) * 2005-02-24 2006-09-07 Matsushita Electric Ind Co Ltd オートフォーカス制御装置、オートフォーカス制御方法およびオートフォーカス制御装置を備えるカメラ
JP2006319596A (ja) * 2005-05-12 2006-11-24 Fuji Photo Film Co Ltd 撮像装置および撮像方法
JP2007065290A (ja) * 2005-08-31 2007-03-15 Nikon Corp オートフォーカス装置
JP2008052225A (ja) * 2006-08-28 2008-03-06 Olympus Imaging Corp カメラ、合焦制御方法、プログラム
JP2008152058A (ja) * 2006-12-19 2008-07-03 Hoya Corp 焦点調節装置を備えたカメラ

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066378A (ja) * 2008-09-09 2010-03-25 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び記憶媒体
JP2010266699A (ja) * 2009-05-15 2010-11-25 Hoya Corp 撮像装置
JP2011027846A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Ａｆ枠自動追尾システム
JP2011039454A (ja) * 2009-08-18 2011-02-24 Canon Inc 自動合焦装置、自動合焦方法及びプログラム
US8964101B2 (en) 2009-08-18 2015-02-24 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
JP2010183601A (ja) * 2010-03-12 2010-08-19 Casio Computer Co Ltd 撮像装置及びそのプログラム
KR101677315B1 (ko) * 2010-03-30 2016-11-17 소니 주식회사 화상 처리 장치 및 방법과 컴퓨터 판독가능 기록 매체
KR20130009788A (ko) * 2010-03-30 2013-01-23 소니 주식회사 화상 처리 장치 및 방법과 컴퓨터 프로그램 기억 장치
US9509903B2 (en) 2010-03-30 2016-11-29 Sony Corporation Image processing apparatus, method, and computer program storage device
JP2012163588A (ja) * 2011-02-03 2012-08-30 Olympus Imaging Corp 撮像装置
US9160916B2 (en) 2011-10-16 2015-10-13 Canon Kabushiki Kaisha Focus adjustment apparatus with a size detector
JP2013140270A (ja) * 2012-01-05 2013-07-18 Canon Inc 焦点調節装置
CN107124546A (zh) * 2012-05-18 2017-09-01 华为终端有限公司 一种自动切换终端对焦模式的方法及终端
CN107124546B (zh) * 2012-05-18 2020-10-16 华为终端有限公司 一种自动切换终端对焦模式的方法及终端
JP2019518370A (ja) * 2016-06-03 2019-06-27 グーグル エルエルシー オプティカルフローベースのオートフォーカス
JP7090031B2 (ja) 2016-06-03 2022-06-23 グーグル エルエルシー オプティカルフローベースのオートフォーカス
KR20230153626A (ko) 2022-04-29 2023-11-07 한화비전 주식회사 오토 포커스 조절 방법 및 이를 이용한 카메라 장치
US12542969B2 (en) 2023-05-15 2026-02-03 Canon Kabushiki Kaisha Control apparatus for controlling focus of imaging apparatus, imaging apparatus, control method, and storage medium
CN117729431A (zh) * 2024-02-18 2024-03-19 浙江华感科技有限公司 图像聚焦方法、装置、计算机设备和存储介质
CN117729431B (zh) * 2024-02-18 2024-04-30 浙江华感科技有限公司 图像聚焦方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN101339349A (zh) 2009-01-07

Similar Documents

Publication Publication Date Title
JP2009031760A (ja) 撮像装置及びオートフォーカス制御方法
US20090009651A1 (en) Imaging Apparatus And Automatic Focus Control Method
US7773873B2 (en) Image-pickup apparatus and focus control method
US7764876B2 (en) Image-pickup apparatus and focus control method
JP5483953B2 (ja) 焦点調節装置、焦点調節方法及びプログラム
JP6184189B2 (ja) 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体
US20120147150A1 (en) Electronic equipment
JP2010015024A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP2008203294A (ja) 撮像装置
JP2005084424A (ja) 撮像装置および撮像装置のフォーカス制御方法
US20200228719A1 (en) Focus control apparatus, imaging apparatus, focus control method, and storage medium
JP6076106B2 (ja) 撮像装置及び撮像方法
JP6139960B2 (ja) 撮像装置およびその制御方法
US9357124B2 (en) Focusing control device and controlling method of the same
JP6087714B2 (ja) 撮像装置およびその制御方法
US7519285B2 (en) Imaging apparatus, imaging method, imaging program, and storage medium
JP5062095B2 (ja) 撮像装置
JP5420034B2 (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP2007133301A (ja) オートフォーカスカメラ
JP4085720B2 (ja) デジタルカメラ
JP4933347B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4574559B2 (ja) 撮像装置、合焦位置検出装置、及び合焦位置検出方法
JP4769667B2 (ja) 撮像装置
JP2005227447A (ja) オートフォーカスカメラ
JP5930979B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130515

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130614

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20131030