JP5625995B2 - 被写体追跡装置、被写体追跡方法及びプログラム - Google Patents

Description

本発明は、複数の画像間において被写体の追跡を行う被写体追跡装置、被写体追跡方法及びプログラムに関する。

従来、顔などの被写体をテンプレートマッチングにより検出する技術にて、被写体を検出する際に前回検出が成功した被写体の位置の近傍を探索することにより被写体検出の演算量を減少させる技術が知られている（例えば、特許文献１参照）。

特開２００４−１７１４９０号公報

しかしながら、上記特許文献１の技術にあっては、被写体である顔の画角内における位置の変移が大きくないことを前提としているため、顔が振り向いたり上を向くなどの画角内での被写体の向きが変化する動作に対しては顔検出の精度が低下してしまい、複数の画像間における被写体の追跡を適正に行うことができなくなるといった問題がある。また、被写体に対する陰影の影響によって、同様に、当該被写体の検出の精度の低下を招いてしまう場合もある。

そこで、本発明の課題は、被写体の追跡精度の向上を図ることができる被写体追跡装置、被写体追跡方法及びプログラムを提供することである。

上記課題を解決するため、本発明の被写体追跡装置は、
画像データを逐次取得する取得手段と、前記取得手段により取得された画像データから、所定の被写体の画像データを検出する検出手段と、前記検出手段により検出された所定の被写体の画像データを複数の領域に分割する分割手段と、前記検出手段により検出された所定の被写体の画像データが当該検出手段による検出後に取得された画像データに存在するか否かを判定する判定手段と、前記判定手段により所定の被写体が存在しないと判定された場合に、前記分割手段により分割された複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定手段と、前記特定手段により特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を前記所定の被写体として追跡する追跡手段と、を備えたことを特徴としている。
また、本発明の被写体追跡装置は、画像データを逐次取得する取得手段と、前記取得手段により取得された画像データから、所定の被写体の画像データを検出する検出手段と、前記検出手段により検出された所定の被写体の画像データを複数種の分割態様中の分割態様毎に複数の領域に分割する分割手段と、前記分割手段により前記分割態様毎に分割された複数の領域について、当該複数の領域間の特徴情報の乖離度を算出する乖離度算出手段と、前記乖離度算出手段により算出された前記分割態様毎の乖離度に基づいて、前記複数の分割態様から特定の分割態様を決定する決定手段と、前記決定手段により決定された分割態様における複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定手段と、前記特定手段により特定された対応領域に基づいて、前記対応領域を有する画像領域を前記所定の被写体として追跡する追跡手段と、を備えたことを特徴としている。

また、本発明の被写体追跡方法は、
被写体追跡装置を用いた被写体追跡方法であって、画像データを逐次取得する取得ステップと、取得された画像データから、所定の被写体の画像データを検出する検出ステップと、検出された所定の被写体の画像データを複数の領域に分割する分割ステップと、検出された前記所定の被写体の画像データが当該検出後に取得された画像データに存在するか否かを判定する判定ステップと、前記所定の被写体が存在しないと判定された場合に、分割された複数の領域中の何れかの領域が有する特徴情報に基づいて、逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定ステップと、特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を前記所定の被写体として追跡する追跡ステップと、を含むことを特徴としている。
また、本発明の被写体追跡方法は、画像データを逐次取得する取得ステップと、取得された画像データから、所定の被写体の画像データを検出する検出ステップと、検出された所定の被写体の画像データを複数種の分割態様中の分割態様毎に複数の領域に分割する分割ステップと、前記分割態様毎に分割された複数の領域について、当該複数の領域間の特徴情報の乖離度を算出する乖離度算出ステップと、算出された前記分割態様毎の乖離度に基づいて、前記複数の分割態様から特定の分割態様を決定する決定ステップと、決定された分割態様における複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得ステップにより逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定ステップと、特定された対応領域に基づいて、前記対応領域を有する画像領域を前記所定の被写体として追跡する追跡ステップと、を含むことを特徴としている。

また、本発明のプログラムは、
コンピュータを、画像データを逐次取得する取得手段、前記取得手段により取得された画像データから、所定の被写体の画像データを検出する検出手段、前記検出手段により検出された所定の被写体の画像データを複数の領域に分割する分割手段、前記検出手段により検出された所定の被写体の画像データが当該検出手段による検出後の画像データに存在するか否かを判定する判定手段、前記判定手段により所定の被写体が存在しないと判定された場合に、前記分割手段により分割された複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定手段、前記特定手段により特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を前記所定の被写体として追跡する追跡手段、として機能させることを特徴としている。
また、本発明のプログラムは、
コンピュータを、画像データを逐次取得する取得手段、前記取得手段により取得された画像データから、所定の被写体の画像データを検出する検出手段、前記検出手段により検出された所定の被写体の画像データを複数種の分割態様中の分割態様毎に複数の領域に分割する分割手段、前記分割手段により前記分割態様毎に分割された複数の領域について、当該複数の領域間の特徴情報の乖離度を算出する乖離度算出手段、前記乖離度算出手段により算出された前記分割態様毎の乖離度に基づいて、前記複数の分割態様から特定の分割態様を決定する決定手段、前記決定手段により決定された分割態様における複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域の何れかの領域に対応する対応領域を特定する特定手段、前記特定手段により特定された対応領域に基づいて、前記対応領域を有する画像領域を前記所定の被写体として追跡する追跡手段、として機能させることを特徴としている。

本発明によれば、画像フレームにおける被写体の追跡精度の向上を図ることができる。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置によるメイン処理に係る動作の一例を示すフローチャートである。 図２のメイン処理における被写体追跡処理に係る動作の一例を示すフローチャートである。 図３の被写体追跡処理における画像登録処理に係る動作の一例を示すフローチャートである。 図３の被写体追跡処理に係る顔画像の一例を模式的に示す図である。 本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。 図６の撮像装置による被写体の画像データの分割態様の一例を模式的に示す図である。 図６の撮像装置による被写体追跡処理における画像登録処理に係る動作の一例を示すフローチャートである。 図８の画像登録処理に係る顔画像の一例を模式的に示す図である。 図８の画像登録処理に係る顔画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置１００は、メモリ４に記憶された被写体の画像データを複数の領域に分割し、分割された複数の領域が有する各々の特徴情報に基づいて、撮像により逐次生成される画像フレームから分割された複数の領域の各領域に対応する対応領域を夫々特定し、特定された対応領域に基づいて、画像フレームにおける当該対応領域を有する画像領域を追跡対象として追跡する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、記録媒体制御部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。

撮像部１は、撮像手段として、被写体（例えば、人の顔等；図５（ａ）等参照）を撮像して画像フレームを生成する。即ち、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、このレンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
また、撮像部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。

また、撮像制御部２は、画像処理部５の被写体追跡部５ｈ（後述）による被写体の追跡結果に基づいて、撮像部１による撮像を制御する。
具体的には、撮像制御部２は、被写体追跡部５ｈによる被写体の追跡結果に基づいて、ＡＦ（自動合焦処理）を制御する。即ち、撮像制御部２は、被写体追跡部５ｈによる追跡対象、つまり、各画像フレームにおける顔領域Ｆを合焦領域とするように、撮像部１の合焦駆動部によりフォーカスレンズを光軸方向に移動させて当該フォーカスレンズの合焦位置を調整する。また、事前に登録された顔領域Ｆが検出されなかった場合には、撮像制御部２は、各画像フレームにて画像分割部５ｂ（後述）による分割後の顔の二つ（例えば、左右二つ）の領域Al,Arの各々に対応する対応領域を有する画像領域を合焦領域とするように、撮像部１の合焦駆動部によりフォーカスレンズを光軸方向に移動させて当該フォーカスレンズの合焦位置を調整する。

なお、撮像制御部２は、レンズ部に代えて、電子撮像部を光軸方向に移動させてレンズ部の合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）に加えて、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。
ここで、撮像制御部２は、被写体追跡部５ｈによる被写体の追跡結果に基づいて、撮像部１を制御する制御手段を構成している。

画像データ生成部３は、電子撮像部から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時記憶する。

画像処理部５は、被写体検出部５ａと、画像分割部５ｂと、特徴情報算出部５ｃと、領域特定部５ｄと、類似度算出部５ｅと、領域指定部５ｆと、計数部５ｇと、被写体追跡部５ｈと、トリミング部５ｉとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

被写体検出部５ａは、撮像部１により生成された画像フレームから被写体（例えば、人の顔等）を検出する。
即ち、被写体検出部５ａは、撮像部１による被写体の撮像により逐次生成された各画像フレームの画像データ（YUVデータ）をメモリ４から取得して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の所定の画像認識技術を利用して各画像フレームから被写体が含まれる被写体領域（例えば、顔領域Ｆ等）を検出する。具体的には、被写体検出部５ａは、例えば、各画像フレームの画像データに対して所定の顔検出処理を施して顔領域Ｆを検出する。
なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
ここで、被写体検出部５ａは、撮像部１により逐次生成された画像フレームから被写体を検出する検出手段を構成している。

画像分割部５ｂは、被写体の画像データを複数の領域に分割する。
即ち、画像分割部５ｂは、メモリ４に記憶された被写体領域（例えば、顔領域Ｆ等）の画像データを取得して、当該画像データを複数の領域（例えば、顔の左右二つの領域Al,Ar等）に分割する。具体的には、画像分割部５ｂは、被写体検出部５ａによる顔の検出後にメモリ４に記憶された顔領域Ｆの画像データを取得して、当該顔領域Ｆを左右の目の中央を上下に通る線分で分割し、当該顔領域Ｆ内の人の顔からはみ出さない程度の大きさで左右二つの矩形状の領域Al,Ar（図５（ａ）参照）を設定する。
なお、被写体の画像データの分割方向や分割数は、一例であってこれに限られるものではなく、例えば、上下に複数の領域（例えば、目を中心とした上領域、口を中心とした下領域等）に分割しても良いし、３つ以上の領域（例えば、左頬を中心とした左領域、鼻を中心とした中領域、右頬を中心とした右領域等）に分割しても良い。また、分割された各領域の形状は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
ここで、画像分割部５ｂは、メモリ（記憶手段）４に記憶された被写体の画像データを複数の領域に分割する分割手段を構成している。

特徴情報算出部５ｃは、画像分割部５ｂにより分割された各領域（例えば、顔の左右の領域Al,Ar等）の特徴情報（例えば、平均画素値Fl,Fr等）を算出する。具体的には、特徴情報算出部５ｃは、例えば、顔の左右の領域Al,Arの各々について、その輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）の各々の平均画素値Fl,Frを特徴情報として算出する。
また、特徴情報算出部５ｃは、後述する領域特定部５ｄにより特定された各領域に対応する対応領域の各々の特徴情報（例えば、平均画素値Fi等）を算出する。具体的には、特徴情報算出部５ｃは、例えば、各対応領域の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）の各々の平均画素値Fiを特徴情報として算出する。
ここで、特徴情報算出部５ｃは、画像分割部５ｂにより分割された各領域の平均画素値と領域特定部５ｄにより特定された対応領域の平均画素値とを夫々算出する画素値算出手段を構成している。
なお、特徴情報として、各領域の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）の各々の平均画素値を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

領域特定部５ｄは、撮像部１により逐次生成される画像フレームから画像分割部５ｂにより分割された各領域に対応する対応領域を特定する。
即ち、領域特定部５ｄは、特徴情報算出部５ｃにより算出された各領域（例えば、顔の左右の領域Al,Ar等）が有する特徴情報（例えば、平均画素値Fl,Fr等）に基づいて、撮像部１により逐次生成される画像フレームから各領域に対応する対応領域を特定する。具体的には、領域特定部５ｄは、例えば、顔の左右の領域Al,Arの各々の位置（例えば、矩形の四隅の座標等）を基準として、撮像部１により逐次生成される各画像フレームにおける各領域の位置の近傍に所定の探索範囲を設定する。そして、領域特定部５ｄは、設定された探索範囲内で各領域の特徴情報（平均画素値Fl,Fr）をテンプレートとして所定方向に走査して、各領域に対応する対応領域を特定する。このとき、領域特定部５ｄは、撮像部１により逐次生成された各画像フレームから顔の二つ（例えば、左右）の各領域Al,Arに対応する対応領域を複数特定するようになっているが、対応領域の特定数は一つであっても良い。
また、領域特定部５ｄは、特定された各対応領域の位置（例えば、矩形の四隅の座標等）を算出する。
ここで、領域特定部５ｄは、画像分割部５ｂにより分割された各領域が有する特徴情報に基づいて、撮像部１により逐次生成される画像フレームから、複数の領域の各領域に対応する対応領域を夫々特定する特定手段を構成している。

類似度算出部５ｅは、領域特定部５ｄにより特定された後、特徴情報算出部５ｃにより算出された対応領域の平均画素値Fiと、画像分割部５ｂにより分割された後、特徴情報算出部５ｃにより算出された各領域（例えば、顔の左右の領域Al,Ar等）の平均画素値Fl,Frの各々とを比較して類似度DLi，DRiを算出する。具体的には、類似度算出部５ｅは、領域特定部５ｄにより特定された対応領域の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒの各々の平均画素値Fiと、画像分割部５ｂにより分割された各領域（例えば、顔の左右の領域Al,Ar等）の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒの各々の平均画素値Fl,Frとをそれぞれ比較して、類似度DLi，DRiを所定の演算式に従って算出する。なお、類似度DLi，DRiの演算式としては、如何なる式を適用しても良い。
ここで、類似度算出部５ｅは、特徴情報算出部５ｃにより算出された各領域の平均画素値Fl,Frと対応領域の平均画素値Fiとに基づいて、各領域と対応領域との類似度を算出する類似度算出手段を構成している。

領域指定部５ｆは、被写体追跡部５ｈにより追跡される候補領域を指定する。
具体的には、領域指定部５ｆは、領域特定部５ｄにより特定された対応領域に係る類似度DLi，DRiのうち、値の大きい方を類似度Diとし、当該類似度Diが第１の閾値（所定値）以上であるか否かを判定する。そして、領域指定部５ｆは、類似度Diが第１の閾値以上である対応領域を、被写体追跡部５ｈにより追跡される追跡対象の追跡候補領域として指定する。
ここで、領域指定部５ｆは、類似度算出部５ｅにより算出された類似度が第１の所定値以上である対応領域を、被写体追跡部５ｈにより追跡される追跡対象の追跡候補領域として指定する指定手段を構成している。

計数部５ｇは、類似度算出部５ｅにより算出された類似度Diが第１の閾値（所定値）以上である対応領域の個数Nを計数する。即ち、計数部５ｇは、領域特定部５ｄにより特定された複数の対応領域の中で、領域指定部５ｆにより追跡候補領域として指定された類似度Diが第１の閾値以上である対応領域の個数Nを計数する。
ここで、計数部５ｇは、領域特定部５ｄにより特定された複数の対応領域の中で、類似度算出部５ｅにより算出された類似度が第１の閾値（所定値）以上である対応領域の個数を計数する計数手段を構成している。

被写体追跡部５ｈは、撮像部１により逐次生成される各画像フレームにて、領域特定部５ｄにより特定された対応領域を有する画像領域を追跡対象として追跡する。
即ち、被写体追跡部５ｈは、被写体検出部５ａにより被写体領域（例えば、顔領域Ｆ等）が検出されない場合に、領域特定部５ｄにより特定された対応領域に基づいて、各画像フレームにおける当該対応領域を有する画像領域を特定する。具体的には、被写体追跡部５ｈは、領域指定部５ｆにより指定された追跡候補領域、つまり、領域特定部５ｄにより特定された対応領域のうち、類似度Diが第１の閾値以上である対応領域に基づいて、各画像フレームにて追跡対象となる当該対応領域を有する画像領域を特定する。
より具体的には、被写体追跡部５ｈは、計数部５ｇにより計数された類似度Diが第１の閾値以上である対応領域の個数Nが第２の閾値（所定値）以上であるか否かを判定する。
そして、被写体追跡部５ｈは、対応領域の個数Nが第２の閾値（所定値）以上である場合に、各対応領域の領域特定部５ｄにより算出された位置（例えば、矩形の四隅の座標等）を類似度Diに応じて重み付け平均して、当該平均位置Gに対応する追跡結果領域を特定する。
その後、被写体追跡部５ｈは、平均位置Gにおける追跡結果領域の大きさが追跡対象領域（例えば、顔領域Ｆ等）と異なる場合に、当該追跡結果領域が追跡対象領域と等しくなるように補正する。即ち、例えば、当該追跡結果領域の大きさが追跡対象領域よりも小さい場合には、被写体追跡部５ｈは、特定済みの追跡結果領域全体を含み、且つ当該追跡結果領域と追跡対象領域の大きさが等しくなるように追跡結果領域をより広い範囲に設定し直す。一方、当該追跡結果領域の大きさが追跡対象領域よりも大きい場合には、被写体追跡部５ｈは、当該追跡結果領域の中心を基準としてトリミングすることで追跡結果領域と追跡対象領域の大きさが等しくなるように補正する。なお、追跡結果領域の補正の方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
これにより、被写体追跡部５ｈは、領域特定部５ｄにより特定された対応領域を有する画像領域（補正後の追跡結果領域）を算出し、当該画像領域を追跡対象として各画像フレームにて追跡する。

なお、被写体追跡部５ｈは、計数部５ｇにより計数された対応領域の個数Nが第２の閾値（所定値）以上である場合に、当該対応領域に基づいて画像領域を追跡するようにしたが、これに限られるものではなく、領域特定部５ｄにより一の対応領域を特定し、当該一の対応領域に基づいて画像領域を算出して追跡するようにしても良い。
また、被写体追跡部５ｈは、類似度算出部５ｅにより算出された対応領域の平均画素値Fiと被写体領域の各領域の平均画素値Fl,Frとの類似度DLi，DRｉを基準として、対応領域を有する画像領域を算出して、当該画像領域を追跡対象とするようにしたが、追跡対象の決定方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、被写体追跡部５ｈは、領域特定部５ｄにより特定された対応領域に基づいて、画像フレームにおける当該対応領域を有する画像領域を追跡対象として決定する方法であれば如何なる方法を用いても良い。
このように、被写体追跡部５ｈは、領域特定部５ｄにより特定された対応領域に基づいて、画像フレームにおける当該対応領域を有する画像領域を追跡対象として追跡する追跡手段を構成している。

トリミング部５ｉは、撮像部１により撮像された画像データから、撮像制御部２によるＡＦ（自動合焦処理）にて合焦された合焦領域を被写体画像としてトリミングする。即ち、トリミング部５ｉは、メモリ４から撮像部１による撮像後の画像の画像データを取得して、当該画像における被写体追跡部５ｈによる追跡対象である画像領域（平均位置Gにおける対応領域を有する画像領域）を被写体画像としてトリミングする。なお、トリミングされた被写体画像は、所定の符号化方式により符号化されて圧縮された後、記録媒体制御部６の制御下にて、記録媒体Ｍの所定の記憶領域に記憶される。
ここで、トリミング部５ｉは、撮像部１により合焦された画像領域を被写体画像としてトリミングするトリミング手段を構成している。

記録媒体制御部６は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示制御部７は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（いずれも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００によるメイン処理について図２を参照して説明する。
図２は、メイン処理に係る動作の一例を示すフローチャートである。
メイン処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から静止画像や動画像の撮像モードが選択指示された場合に、中央制御部１０により実行される処理である。

先ず、中央制御部１０は、メモリ４に記憶されているカウント値などを初期化するイニシャライズ処理を行った後（ステップＳ１）、撮像部１により撮像された複数の画像間にて被写体を追跡する被写体追跡処理（図３及び図４参照；後述）を画像処理部５に行わせる（ステップＳ２）。
その後、中央制御部１０は、被写体追跡処理の結果に応じて、ＡＦ（自動合焦処理）を撮像制御部２に実行させる（ステップＳ３）。具体的には、撮像制御部２は、被写体追跡部５ｈによる追跡対象、即ち、画像フレームにおける顔領域Ｆや、画像分割部５ｂにより分割された顔の二つ（例えば、左右二つ）の領域Al,Arの各々に対応する対応領域を有する画像領域（追跡結果領域；後述）を合焦領域とするように、撮像部１の合焦駆動部によりフォーカスレンズを光軸方向に移動させて当該フォーカスレンズの合焦位置を調整する。
なお、ＡＦ（自動合焦処理）は、ユーザによる操作入力部９のシャッタボタンの半押し操作に基づいて実行しても良いし、当該シャッタボタンの操作の有無に拘わらず被写体追跡処理の実行後に自動的に実行しても良い。

次に、ユーザによる操作入力部９のシャッタボタンの所定操作に基づいて撮像指示が中央制御部１０に入力されると、中央制御部１０は、撮像制御部２を制御して撮像部１に被写体を撮像させる（ステップＳ４）。具体的には、撮像制御部２は、被写体の光学像を所定の撮像条件で電子撮像部に撮像させ、画像データ生成部３は、電子撮像部から転送された被写体の撮像画像のYUVデータを生成する。生成されたYUVデータは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

続けて、中央制御部１０は、画像処理部５のトリミング部５ｉに、被写体画像のトリミングを実行させる（ステップＳ５）。具体的には、トリミング部５ｉは、メモリ４から撮像部１による撮像後の画像の画像データを取得して、当該画像における被写体追跡部５ｈによる追跡対象である画像領域（顔領域Ｆ）を被写体画像としてトリミングする。
これにより、中央制御部１０は、メイン処理を終了する。

ここで、被写体追跡処理について図３〜図５を参照して説明する。
図３は、被写体追跡処理に係る動作の一例を示すフローチャートである。また、図４は、被写体追跡処理における画像登録処理に係る動作の一例を示すフローチャートである。また、図５（ａ）及び図５（ｂ）は、被写体追跡処理に係る顔画像の一例を模式的に示す図であり、図５（ｂ）は、追跡対象となる顔画像を左右の各領域Al,Arに分割した状態を模式的に示す図である。
なお、被写体追跡処理にあっては、被写体として人の顔を検出して追跡するものとする。また、事前に所望の人の顔画像（例えば、家族や友人等の顔画像；図５（ａ）参照）の画像データをメモリ４の所定の登録テーブル（図示略）に登録しておくものとするが、事前に顔画像の画像データを登録するか否かは適宜任意に変更可能である。

図３に示すように、画像処理部５の被写体検出部５ａは、撮像部１による被写体の撮像により生成された一の画像フレームの画像データ（YUVデータ）をメモリ４から取得した後（ステップＳ２１）、当該画像フレームから事前にメモリ４に登録されている顔画像が含まれる顔領域Ｆ（図５（ａ）参照）を顔検出処理等の所定の画像認識技術を利用して検出する（ステップＳ２２）。

次に、被写体検出部５ａは、顔検出処理の結果に応じて、顔領域Ｆの検出に成功したか否かを判定する（ステップＳ２３）。
ここで、顔領域Ｆの検出に成功していないと判定されると（ステップＳ２３；Ｎｏ）、被写体検出部５ａは、処理をステップＳ２１に移行し、メモリ４から一の画像フレームの画像データ（YUVデータ）を取得し直した後（ステップＳ２１）、それ以降の処理を実行する。
一方、ステップＳ２３にて、顔領域Ｆの検出に成功したと判定されると（ステップＳ２３；Ｙｅｓ）、画像処理部５は、検出された顔領域Ｆを追跡対象として登録する画像登録処理を実行する（ステップＳ２４；図４参照）。

以下に、画像登録処理について図４を参照して説明する。
図４に示すように、画像処理部５は、先ず、被写体検出部５ａにより検出された顔領域Ｆの画像データをトリミング部５ｉによりトリミングし、当該顔領域Ｆの画像データを追跡用データとしてメモリ４の所定の記憶領域に記憶させる（ステップＳ４１）。
次に、画像処理部５の画像分割部５ｂは、メモリ４に記憶された顔領域Ｆの画像データを取得して、当該顔領域Ｆを左右の目の中央を上下に通る線分で分割し、当該顔領域Ｆからはみ出さない程度の大きさで左右二つの矩形状の領域（図５（ｂ）参照）を設定する（ステップＳ４２）。

その後、画像処理部５の特徴情報算出部５ｃは、画像分割部５ｂにより分割された顔の二つの領域Al,Arの各々について、その輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）の各々の平均画素値Fl,Frを特徴情報として算出する。続けて、特徴情報算出部５ｃは、算出された二つの各領域Al,Arの平均画素値Fl,Frをメモリ４の所定の記憶領域に記憶させて（ステップＳ４３）、画像登録処理を終了する。

図３に示すように、次に、画像処理部５の被写体検出部５ａは、撮像部１による被写体の撮像により生成された複数の画像フレームの画像データのうち、画像登録処理にて登録された顔領域Ｆが含まれる一の画像フレームの次の画像フレームを処理対象として、当該画像フレームの画像データをメモリ４から取得する（ステップＳ２５）。続けて、被写体検出部５ａは、当該画像フレームから画像登録処理にて事前にメモリ４に登録されている顔領域Ｆ（図５（ａ）参照）を検出する顔検出処理を行って、当該顔検出処理の結果に応じて、顔領域Ｆの検出に成功したか否かを判定する（ステップＳ２６）。

ステップＳ２６にて、顔領域Ｆの検出に成功したと判定されると（ステップＳ２６；Ｙｅｓ）、画像処理部５は、例えば、自動合焦処理の実行や撮像処理の実行の有無等に応じて当該被写体追跡処理の終了が指示されているか否かを判定する（ステップＳ２７）。
ここで、被写体追跡処理の終了が指示されていないと判定されると（ステップＳ２７；Ｎｏ）、画像処理部５は、処理をステップＳ２５に移行し、当該被写体追跡処理の処理対象を次の画像フレームに移行して当該画像フレームの画像データをメモリ４から取得した後（ステップＳ２５）、それ以降の処理を実行する。
一方、ステップＳ２７にて、被写体追跡処理の終了が指示されたと判定されると（ステップＳ２７；Ｙｅｓ）、画像処理部５は、被写体追跡処理を終了させる。

ステップＳ２６にて、顔領域Ｆの検出に成功していないと判定されると（ステップＳ２６；Ｎｏ）、即ち、顔が振り向いたり上を向くなどの画角内で被写体の向きが変化する動作が行われたり、顔に対する陰影の影響などによって、顔領域Ｆの検出に失敗した場合には、画像処理部５は、被写体の顔領域の追跡処理を開始する（ステップＳ２８）。画像処理部５の領域特定部５ｄは、特徴情報算出部５ｃにより算出された顔の二つ（例えば、左右）の領域Al,Arの平均画素値Fl,Frに基づいて、処理対象の画像フレームから顔の二つの各領域Al,Arに対応する対応領域を特定する（ステップＳ２９）。
続けて、領域特定部５ｄは、特定された各対応領域の位置（例えば、矩形の四隅の座標等）を算出するとともに、特徴情報算出部５ｃは、対応領域の各々について、その輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）の各々の平均画素値Fiを特徴情報として算出する（ステップＳ３０）。

次に、画像処理部５の類似度算出部５ｅは、算出された各対応領域の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒの各々の平均画素値Fiと、顔の二つの各領域Al,Arの輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒの各々の平均画素値Fl,Frとをそれぞれ比較して、類似度DLi，DRiを所定の演算式に従って算出する（ステップＳ３１）。続けて、画像処理部５の領域指定部５ｆは、算出された各対応領域に係る類似度DLi，DRiのうち、値の大きい方を類似度Diとして特定する（ステップＳ３２）。

次に、領域指定部５ｆは、特定された類似度Diが第１の閾値（所定値）以上であるか否かを判定した後、計数部５ｇは、領域指定部５ｆにより類似度Diが第１の閾値（所定値）以上であると判定された対応領域の個数Nを計数する（ステップＳ３３）。
続けて、画像処理部５の被写体追跡部５ｈは、計数部５ｇにより計数された類似度Diが第１の閾値以上である対応領域の個数Nが第２の閾値（所定値）以上であるか否かを判定する（ステップＳ３４）。
ここで、対応領域の個数Nが第２の閾値（所定値）以上であると判定されると（ステップＳ３４；Ｙｅｓ）、被写体追跡部５ｈは、各対応領域の領域特定部５ｄにより算出された位置（例えば、矩形の四隅の座標等）を類似度Diに応じて重み付け平均して、当該平均位置Gに対応する追跡結果領域として追跡する（ステップＳ３５）。

次に、被写体追跡部５ｈは、平均位置Gにおける追跡結果領域の大きさが追跡対象である顔領域Ｆの大きさと等しいか否かを判定する（ステップＳ３６）。
ここで、平均位置Gにおける追跡結果領域の大きさが追跡対象である顔領域Ｆの大きさと異なると判定されると（ステップＳ３６；Ｎｏ）、被写体追跡部５ｈは、当該追跡結果領域が顔領域Ｆの大きさと等しくなるように補正する。
一方、平均位置Gにおける追跡結果領域の大きさと追跡対象である顔領域Ｆの大きさが等しいと判定されると（ステップＳ３６；Ｙｅｓ）被写体追跡部５ｈは、ステップＳ３７の処理をスキップして、当該被写体追跡処理の終了が指示されているか否かを判定する（ステップＳ２７）。

また、ステップＳ３４にて、対応領域の個数Nが第２の閾値（所定値）以上でないと判定されると（ステップＳ３４；Ｎｏ）、被写体追跡部５ｈは、処理をステップＳ２７に移行し、ステップＳ２７における顔領域Ｆの追跡を行うことなく、当該被写体追跡処理の終了が指示されているか否かを判定する（ステップＳ２７）。
ここで、被写体追跡処理の終了が指示されていないと判定されると（ステップＳ２７；Ｎｏ）、画像処理部５は、上記と同様に、処理をステップＳ２５に移行し、当該被写体追跡処理の処理対象を次の画像フレームに移行して当該画像フレームの画像データをメモリ４から取得した後（ステップＳ２５）、それ以降の処理を実行する。
一方、ステップＳ２７にて、被写体追跡処理の終了が指示されたと判定されると（ステップＳ２７；Ｙｅｓ）、画像処理部５は、被写体追跡処理を終了させる。

以上のように、実施形態１の撮像装置１００によれば、メモリ４に記憶された被写体領域（例えば、顔領域Ｆ等）の画像データを複数の領域に分割した後、各領域が有する特徴情報に基づいて、撮像部１により逐次生成される各画像フレームから各領域に対応する対応領域を夫々特定し、各画像フレームにおける当該対応領域を有する画像領域を追跡対象として追跡する。つまり、追跡対象である被写体領域が分割された複数の領域の各々を撮像部１により撮像された各画像フレームで特定することで、被写体検出処理の際に、例えば被写体としての人の顔が振り向いたり上を向くなどの画角内で被写体の向きが変化する動作が行われたり、被写体が影に入るなど陰影の影響が生じるなどによってコントラストが変化しても、コントラスト変化の少ない被写体領域（追跡対象）の一部分の領域を被写体検出に利用することができ、被写体領域全体を追跡対象とする場合よりも被写体検出の精度の低下を抑制することができる。これにより、複数の画像フレームにおける被写体の追跡精度の向上を図ることができる。

具体的には、分割された被写体領域の各領域の平均画素値Fl,Frと特定された対応領域の平均画素値Fiとを比較して類似度Diを算出し、当該類似度Diが第１の閾値以上である対応領域を追跡対象の追跡候補領域として各画像フレームにて追跡対象となる画像領域を特定し、当該画像領域を追跡するので、被写体領域の各領域の平均画素値Fl,Frと各対応領域の平均画素値Fiとの類似度Diを基準とすることで、追跡候補領域の指定を適正に行うことができる。
より具体的には、各画像フレームから各領域に対応する対応領域を複数特定して、これらの中で類似度Diが第１の閾値以上である対応領域の個数Nが第２の閾値以上である場合に、当該対応領域に基づいて画像領域を追跡対象として追跡するので、被写体領域を複数の領域に分割して当該被写体を追跡する場合であっても、追跡対象の特定の誤りを防止して被写体の追跡精度の向上を図ることができる。

また、撮像部１により逐次生成された各画像フレームから被写体が検出されない場合に、画像フレームにおける各領域に対応する対応領域を有する画像領域を追跡対象として追跡する。つまり、撮像部１により逐次生成された各画像フレームから被写体が検出された場合には、当該被写体を追跡対象として通常の被写体追跡処理を行うことができる一方で、各画像フレームから被写体が検出されない場合であっても、上記のように、画像フレームにおける各領域に対応する対応領域を有する画像領域を追跡対象として追跡することで、被写体の追跡精度の向上を図ることができる。

また、各画像フレームにおける被写体の追跡対象（画像領域）を合焦領域とするように撮像部１を制御するので、当該被写体に対してピントを合わせることができる。さらに、合焦された画像領域を被写体画像としてトリミングするので、当該被写体画像を今後の被写体追跡処理などの各処理に利用することができる。

［実施形態２］
以下に、実施形態２の撮像装置２００について図６〜図１０を参照して説明する。
実施形態２の撮像装置２００は、被写体の画像データを予め定められた複数の分割態様で複数の領域に分割した後、複数の分割態様の各々で分割された複数の領域について算出された当該複数の領域間の特徴情報の乖離度のうち、最大の乖離度に係る分割態様を特定する。撮像装置２００は、最大の乖離度の分割態様で分割された複数の領域の各々の特徴情報に基づいて、対応領域を夫々特定する。
なお、実施形態２の撮像装置２００は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、詳細な説明は省略する。

図６は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
図６に示すように、撮像装置２００の画像処理部５は、被写体検出部５ａ、画像分割部５ｂ、特徴情報算出部５ｃ、領域特定部５ｄ、類似度算出部５ｅ、領域指定部５ｆ、計数部５ｇ、被写体追跡部５ｈ、トリミング部５ｉに加えて、分割制御部５ｊ、乖離度算出部５ｋ、分割態様決定部５ｌを具備している。

分割制御部５ｊは、画像分割部５ｂによる被写体の画像データの分割を制御する。
即ち、分割制御部５ｊは、被写体の画像データを複数の分割態様（図７（ａ）〜図７（ｒ）参照）で画像分割部５ｂにより複数の領域に分割させる。具体的には、分割制御部５ｊは、被写体検出部５ａによる顔の検出後にメモリ４に記憶された顔領域Ｆの画像データを画像分割部５ｂに取得させる。続けて、分割制御部５ｊは、当該顔領域Ｆを左右の目の中央を上下に通る線分で画像分割部５ｂに分割させ、当該顔領域Ｆ内の人の顔からはみ出さない程度の大きさで二つの矩形状の領域A1,A2（図７（ａ）参照）を設定する。
そして、分割制御部５ｊは、設定された二つの領域A1,A2を基準位置（例えば、０°）に対応する基準領域とし、当該基準領域の略中心位置を軸として所定の角度（例えば、１０°等）ずつ所定方向（例えば、右方向等）に回動させていくことにより、それぞれの角度に対応する二つの領域A1,A2をそれぞれ設定する（図７（ｂ）〜図７（ｒ）参照）。分割制御部５ｊは、基準領域の回動を基準位置に対して所定の角度（例えば、１７０°）となるまで行うことで、複数の分割態様（例えば、１８パターン）で分割された二つの領域A1,A2をそれぞれ設定する。なお、図７（ａ）〜図７（ｒ）にあっては、顔領域Ｆ内の顔画像の部分のみを模式的に表している。

また、上記した被写体の画像データの分割方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、分割制御部５ｊは、顔領域Ｆの左右の目の中央を上下に通る線分を基準線分として、当該顔領域Ｆの略中心位置を軸として所定の角度ずつ所定方向に回動させていき、それぞれの角度の線分で当該顔領域を分割することにより、各角度に対応する二つの領域A1,A2をそれぞれ設定しても良い。
さらに、上記の基準領域や基準線分を所定の角度ずつ回動させるのではなく、予め基準領域や基準線分に対する所定の角度を被写体の画像データを分割する角度として記憶手段に記憶しておき、分割制御部５ｊは、当該記憶手段に記憶されている基準領域や基準線分に対する所定の角度に基づいて、被写体の画像データを画像分割部５ｂにより分割させても良い。
なお、被写体の画像データを分割する角度、基準領域や基準線分の回動方向等は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
このように、分割制御部５ｊは、被写体の画像データを予め定められた複数の分割態様で画像分割部５ｂにより複数の領域に分割させる分割制御手段を構成している。

乖離度算出部５ｋは、複数の分割態様の各々で分割された複数の領域について、当該複数の領域間の特徴情報の乖離度Riを夫々算出する。
具体的には、特徴情報算出部５ｃは、複数の分割態様（例えば、１８パターン）の各々で画像分割部５ｂにより分割された複数の領域（例えば、二つの領域A1,A2等）の各々について、各領域の特徴情報（例えば、平均画素値Fi等）を算出する。なお、特徴情報の具体的な算出方法は、上記実施形態１と略同様であり、その詳細な説明は省略する。
そして、乖離度算出部５ｋは、複数の分割態様の各々について、分割された複数の領域の特徴情報に基づいて、当該複数の領域間の特徴情報の乖離度Riを所定の演算式に従って夫々算出する。具体的には、乖離度算出部５ｋは、複数の分割態様の各々について、二つの領域A1,A2の平均画素値F1,F2どうしの差分を算出し、その絶対値をとったものを乖離度Riとして夫々算出する。なお、乖離度Riの演算式としては、如何なる式を適用しても良い。
このように、乖離度算出部５ｋは、分割制御部５ｊにより複数の分割態様の各々で分割された複数の領域について、当該複数の領域間の特徴情報の乖離度を夫々算出する乖離度算出手段を構成している。

分割態様決定部５ｌは、複数の分割態様の中で最大の乖離度Riの分割態様を決定する。
即ち、分割態様決定部５ｌは、乖離度算出部５ｋにより算出された複数の分割態様の各々に係る乖離度Riどうしを比較して、乖離度Riが最大となっている分割態様を決定する。
ここで、乖離度Riの大きさは、陰影の影響、即ち、光源に対する被写体（顔）の向きによって生じる陰影の影響によって変動する。つまり、光源が被写体に対して所定位置にある場合、光源と被写体の略中心とを結ぶ線分に略直交するとともに被写体の略中心を通る直交線分を軸としてその両側で被写体の明るさ（コントラスト）が変化し、当該直交線分に沿って分割する二つの領域A1,A2（図示略）の特徴情報（例えば、平均画素値Fi等）の乖離度Riが最大となる。
例えば、光源が被写体（顔）に対して左右方向にある場合、顔領域Ｆの左右で明るさが変化するため（図９（ａ）及び図９（ｂ）参照）、顔領域Ｆを左右に分割する二つの領域A1,A2（図９（ｃ）参照）の特徴情報の乖離度Riが最大となる。また、例えば、光源が被写体（顔）に対して上下方向にある場合、顔領域Ｆの上下で明るさが変化するため（図１０（ａ）及び図１０（ｂ）参照）、顔領域Ｆを上下に分割する二つの領域A1,A2（図１０（ｃ）参照）の特徴情報の乖離度Riが最大となる。また、光源が被写体（顔）に対して斜め方向にある場合も上記と同様である。
なお、図９（ａ）〜図９（ｃ）及び図１０（ａ）〜図１０（ｃ）にあっては、光が当たっている部分を相対的に「白く」し、陰になっている部分を相対的に「黒く」して模式的に表している。
このように、分割態様決定部５ｌは、乖離度算出部５ｋにより乖離度Riがそれぞれ算出された複数の分割態様のうち、最大の乖離度Riの分割態様を決定する決定手段を構成している。

そして、領域特定部５ｄは、分割態様決定部５ｌにより決定された最大の乖離度Riの分割態様で分割された複数の領域（例えば、顔の二つの領域A1,A2等）の各々の特徴情報（例えば、平均画素値Fi等）に基づいて、当該複数の領域の各領域に対応する対応領域を夫々特定する。
なお、領域特定部５ｄによる対応領域の具体的な特定方法は、上記実施形態１と略同様であり、その詳細な説明は省略する。

次に、被写体追跡処理について図３、図８〜図１０を参照して説明する。
図８は、被写体追跡処理における画像登録処理に係る動作の一例を示すフローチャートである。
なお、被写体追跡処理は、以下に説明する画像登録処理以外の処理は、実施形態１の被写体追跡処理と略同様であり、その詳細な説明は省略する。

被写体追跡処理は、実施形態１の被写体追跡処理と同様に、メイン処理の一つとして実行される処理である。
即ち、被写体追跡処理は、実施形態１の被写体追跡処理と同様に、図３に示すように、被写体検出部５ａが、撮像部１による被写体の撮像により生成された一の画像フレームの画像データ（YUVデータ）をメモリ４から取得した後（ステップＳ２１）、当該画像フレームから事前にメモリ４に登録されている顔画像が含まれる顔領域Ｆ（図５（ａ）参照）を顔検出処理等の所定の画像認識技術を利用して検出する（ステップＳ２２）。

次に、被写体検出部５ａは、実施形態１の被写体追跡処理と同様に、顔検出処理の結果に応じて、顔領域Ｆの検出に成功したか否かを判定する（ステップＳ２３）。
ここで、顔領域Ｆの検出に成功したと判定されると（ステップＳ２３；Ｙｅｓ）、画像処理部５は、検出された顔領域Ｆを追跡対象として登録する画像登録処理を実行する（ステップＳ２４；図８参照）。

以下に、画像登録処理について図８を参照して説明する。
図８に示すように、画像処理部５は、実施形態１の画像登録処理と同様に、被写体検出部５ａにより検出された顔領域Ｆの画像データをトリミング部５ｉによりトリミングし、当該顔領域Ｆの画像データを追跡用データとしてメモリ４の所定の記憶領域に記憶させる（ステップＳ４１）。
次に、画像処理部５は、顔領域Ｆを複数の分割態様に応じてそれぞれ二つの領域A1,A2に分割する（ステップＳ１４２）。具体的には、画像分割部５ｂは、実施形態１の画像登録処理と同様に、メモリ４に記憶された顔領域Ｆの画像データを取得した後、分割制御部５ｊは、当該顔領域Ｆを左右の目の中央を上下に通る線分で画像分割部５ｂに分割させ、当該顔領域Ｆ内に二つの矩形状の領域A1,A2（図７（ａ）参照）を設定する。そして、分割制御部５ｊは、設定された二つの領域A1,A2を基準領域とし、当該基準領域の略中心位置を軸として所定の角度（例えば、１０°等）ずつ所定方向（例えば、右方向等）に回動させて、それぞれの角度に対応する二つの領域A1,A2をそれぞれ設定する（図７（ａ）〜図７（ｒ）参照）。

続けて、特徴情報算出部５ｃは、複数の分割態様（例えば、１８パターン）の各々で画像分割部５ｂにより分割された二つの領域A1,A2の各々について、各領域の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）の各々の平均画素値F1,F2を特徴情報として算出する（ステップＳ１４３）。また、特徴情報算出部５ｃは、算出した複数の分割態様（例えば、１８パターン）の各々の二つの領域A1,A2の平均画素値F1,F2をメモリ４の所定の記憶領域に記憶させる。
次に、乖離度算出部５ｋは、複数の分割態様の各々について、分割された二つの領域A1,A2の平均画素値F1,F2に基づいて、当該二つの領域A1,A2間の平均画素値F1,F2の乖離度Riを所定の演算式に従って夫々算出する（ステップＳ１４４）。具体的には、乖離度算出部５ｋは、複数の分割態様の各々について、二つの領域A1,A2の平均画素値F1,F2をメモリ４から取得し、当該平均画素値F1,F2どうしの差分を算出して、その絶対値をとったものを乖離度Riとして夫々算出する。

そして、分割態様決定部５ｌは、乖離度算出部５ｋにより算出された複数の分割態様のうち、各々に係る乖離度Riどうしを比較して、乖離度Riが最大となっている分割態様を決定する（ステップＳ１４５）。例えば、光源が被写体（顔）に対して左右方向にある場合、顔領域Ｆを左右に分割する二つの領域A1,A2（図９（ｃ）参照）の特徴情報（例えば、平均画素値Fi等）の乖離度Riが最大となることから、分割態様決定部５ｌは、当該顔領域Ｆを左右に分割する分割態様を乖離度Riが最大の分割態様として決定する。同様に、例えば、光源が被写体（顔）に対して上下方向にある場合、顔領域Ｆを上下に分割する二つの領域A1,A2（図１０（ｃ）参照）の特徴情報（例えば、平均画素値Fi等）の乖離度Riが最大となることから、分割態様決定部５ｌは、当該顔領域Ｆを上下に分割する分割態様を乖離度Riが最大の分割態様として決定する。

その後、画像処理部５は、分割態様決定部５ｌにより決定された最大の乖離度Riの分割態様で分割された二つの領域A1,A2を、被写体の顔領域の追跡処理に係る追跡領域として、当該二つの領域A1,A2の平均画素値F1,F2をメモリ４の所定の記憶領域に記憶させて（ステップＳ１４６）、画像登録処理を終了する。

図３に戻り、画像処理部５は、ステップＳ２５以降の処理を、実施形態１の被写体追跡処理と同様に実行する。
即ち、ステップＳ２５にて、被写体検出部５ａは、処理対象の画像フレームの画像データをメモリ４から取得した後、ステップＳ２６にて、顔領域Ｆの検出に成功したか否かを判定する。
ここで、顔領域Ｆの検出に成功していないと判定されると（ステップＳ２６；Ｎｏ）、画像処理部５は、被写体の顔領域の追跡処理を開始し（ステップＳ２８）、領域特定部５ｄは、特徴情報算出部５ｃにより算出された最大の乖離度Riの分割態様で分割された顔の二つの領域A1,A2の平均画素値F1,F2に基づいて、処理対象の画像フレームから顔の二つの各領域A1,A2に対応する対応領域を特定する（ステップＳ２９）。

その後、ステップＳ３０にて、領域特定部５ｄは、特定された各対応領域の位置を算出するとともに、特徴情報算出部５ｃは、対応領域の各々について、その輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）の各々の平均画素値Fiを特徴情報として算出する。
そして、ステップＳ３１にて、類似度算出部５ｅは、算出された各対応領域の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒの各々の平均画素値Fiと、最大の乖離度Riの分割態様で分割された顔の二つの領域A1,A2の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒの各々の平均画素値F1,F2とをそれぞれ比較して、類似度D1i，D2iを所定の演算式に従って算出する。
続けて、ステップＳ３２にて、領域指定部５ｆは、算出された各対応領域に係る類似度D1i，D2iのうち、値の大きい方を類似度Diとして特定する（ステップＳ３２）。

なお、ステップＳ３３以降の処理は、実施形態１の被写体追跡処理と同様であり、その詳細な説明は省略する。

以上のように、実施形態２の撮像装置２００によれば、複数の分割態様の各々で分割された複数の領域について算出された当該複数の領域間の特徴情報の乖離度Riのうち、最大の乖離度Riに係る分割態様を特定した後、最大の乖離度Riの分割態様で分割された複数の領域の各々の特徴情報に基づいて、対応領域を夫々特定し、各画像フレームにおける当該対応領域を有する画像領域を追跡対象として追跡する。つまり、光源に対する被写体（例えば、顔）の向きによっては陰影の影響が生じ、この場合に対応領域の特定に係る複数の領域の各々がコントラスト変化の大きい領域に亘る（跨る）ように設定されると、被写体の追跡の際に陰影の影響を受け易くなって被写体の追跡精度の低下が生じてしまう。
そこで、複数の領域間の特徴情報の乖離度Riが最大となるように被写体領域の画像データを分割して複数の領域を設定することにより、当該複数の領域がコントラスト変化の大きい領域に亘る（跨る）ように設定されることを防止することができる。この結果、複数の画像フレームにおける被写体の追跡精度の向上を図ることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、被写体の撮像の際に被写体検出部５ａにより検出された後、メモリ４に記憶された顔領域Ｆを基準として被写体追跡処理を行うようにしたが、これに限られるものではなく、例えば、基準となる被写体の画像データは、被写体の撮像が開始される前に予めメモリ４に登録されたものであっても良い。

また、上記実施形態１、２では、被写体追跡処理後に、ＡＦ（自動合焦処理）やトリミング処理を実行するようにしたが、これらの処理は必ずしも行う必要はなく、当該処理を実行するか否かは適宜任意に変更可能である。

さらに、上記実施形態１、２では、画像分割部５ｂにより分割された被写体領域（顔領域Ｆ）の各領域をテンプレートとして、対応領域の特定や被写体の追跡を行うようにしたが、テンプレートの対象はこれに限られるものではない。例えば、分割された各領域内で特徴領域（例えば、左右の顔領域Ｆの場合には、左右の目や小鼻や口角等）を特定して、当該特徴領域の各々をテンプレートとして、対応領域の特定や被写体の追跡を行うようにしても良い。

さらに、撮像装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これに限られるものではない。例えば、被写体追跡装置として、撮像装置１００、２００を例示したが、これに限られるものではなく、本発明に係る所定の画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態１、２にあっては、分割手段、撮像手段、特定手段、追跡手段としての機能を、中央制御部１０の制御下にて、撮像制御部２及び画像処理部５が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、分割処理ルーチン、撮像制御処理ルーチン、特定処理ルーチン及び追跡処理ルーチンを含むプログラムを記憶しておく。そして、分割処理ルーチンにより中央制御部１０のＣＰＵを、記憶手段に記憶された被写体の画像データを複数の領域に分割する分割手段として機能させるようにしても良い。また、撮像制御処理ルーチンにより中央制御部１０のＣＰＵを、撮像により画像フレームを逐次生成させる撮像制御手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１０のＣＰＵを、分割手段により分割された複数の領域が有する各々の特徴情報に基づいて、撮像制御手段により逐次生成される画像フレームから、複数の領域の各領域に対応する対応領域を夫々特定する特定手段として機能させるようにしても良い。また、追跡処理ルーチンにより中央制御部１０のＣＰＵを、特定手段により特定された対応領域に基づいて、画像フレームにおける当該対応領域を有する画像領域を追跡対象として追跡する追跡手段として機能させるようにしても良い。

同様に、画素値算出手段、類似度算出手段、指定手段、計数手段、検出手段、制御手段、トリミング手段、分割制御手段、乖離度算出手段、決定手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
被写体の画像データを記憶する記憶手段と、
この記憶手段に記憶された被写体の画像データを複数の領域に分割する分割手段と、
撮像により画像フレームを逐次生成する撮像手段と、
前記分割手段により分割された複数の領域が有する各々の特徴情報に基づいて、前記撮像手段により逐次生成される画像フレームから、前記複数の領域の各領域に対応する対応領域を夫々特定する特定手段と、
この特定手段により特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を追跡対象として追跡する追跡手段と、
を備えたことを特徴とする被写体追跡装置。
＜請求項２＞
前記被写体の画像データを予め定められた複数の分割態様で前記分割手段により複数の領域に分割させる分割制御手段と、
この分割制御手段により前記複数の分割態様の各々で分割された複数の領域について、当該複数の領域間の特徴情報の乖離度を夫々算出する乖離度算出手段と、
この乖離度算出手段により前記乖離度がそれぞれ算出された前記複数の分割態様のうち、最大の乖離度の分割態様を決定する決定手段と、を更に備え、
前記特定手段は、前記決定手段により決定された前記最大の乖離度の分割態様で分割された複数の領域の各々の特徴情報に基づいて、前記対応領域を夫々特定することを特徴とする請求項１に記載の被写体追跡装置。
＜請求項３＞
前記各領域の平均画素値と前記対応領域の平均画素値とを夫々算出する画素値算出手段と、
この画素値算出手段により算出された前記各領域の平均画素値と前記対応領域の平均画素値とに基づいて、前記各領域と前記対応領域との類似度を算出する類似度算出手段と、
この類似度算出手段により算出された前記類似度が第１の所定値以上である前記対応領域を、前記追跡手段により追跡される前記追跡対象の追跡候補領域として指定する指定手段と、を更に備え、
前記追跡手段は、前記指定手段により指定された追跡候補領域に基づいて、前記画像フレームにて前記追跡対象となる画像領域を特定し、当該画像領域を追跡することを特徴とする請求項１又は２に記載の被写体追跡装置。
＜請求項４＞
前記特定手段は、前記画像フレームから前記各領域に対応する前記対応領域を複数特定し、
前記特定手段により特定された複数の対応領域の中で、前記算出手段により算出された前記類似度が第１の所定値以上である前記対応領域の個数を計数する計数手段を更に備え、
前記追跡手段は、前記計数手段により計数された前記対応領域の個数が第２の所定値以上である場合に、当該対応領域に基づいて前記画像領域を追跡することを特徴とする請求項３に記載の被写体追跡装置。
＜請求項５＞
前記撮像手段により逐次生成された画像フレームから被写体を検出する検出手段を更に備え、
前記追跡手段は、前記検出手段により被写体が検出されない場合に、前記画像フレームにおける前記画像領域を追跡対象として追跡することを特徴とする請求項１〜４の何れか一項に記載の被写体追跡装置。
＜請求項６＞
前記追跡手段による追跡結果に基づいて、前記撮像手段を制御する制御手段を更に備え、
この制御手段は、前記追跡手段による前記追跡対象である前記画像フレームにおける前記画像領域を合焦領域とするように前記撮像手段を制御することを特徴とする請求項１〜５の何れか一項に記載の被写体追跡装置。
＜請求項７＞
前記撮像手段により合焦された前記画像領域を被写体画像としてトリミングするトリミング手段を更に備えることを特徴とする請求項６に記載の被写体追跡装置。
＜請求項８＞
被写体の画像データを記憶する記憶手段を備える被写体追跡装置を用いた被写体追跡方法であって、
前記記憶手段に記憶された被写体の画像データを複数の領域に分割する分割ステップと、
撮像により画像フレームを逐次生成する撮像ステップと、
分割された複数の領域が有する各々の特徴情報に基づいて、逐次生成される画像フレームから、前記複数の領域の各領域に対応する対応領域を夫々特定する特定ステップと、
特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を追跡対象として追跡する追跡ステップと、
を含むことを特徴とする被写体追跡方法。
＜請求項９＞
被写体の画像データを記憶する記憶手段を備える被写体追跡装置のコンピュータを、
前記記憶手段に記憶された被写体の画像データを複数の領域に分割する分割手段、
撮像により画像フレームを逐次生成させる撮像制御手段、
前記分割手段により分割された複数の領域が有する各々の特徴情報に基づいて、前記撮像制御手段により逐次生成される画像フレームから、前記複数の領域の各領域に対応する対応領域を夫々特定する特定手段、
この特定手段により特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を追跡対象として追跡する追跡手段、
として機能させることを特徴とするプログラム。

１００、２００ 撮像装置
１ 撮像部
２ 撮像制御部
４ メモリ
５ 画像処理部
５ａ 被写体検出部
５ｂ 画像分割部
５ｃ 特徴情報算出部
５ｄ 領域特定部
５ｅ 類似度算出部
５ｆ 領域指定部
５ｇ 計数部
５ｈ 被写体追跡部
５ｉ トリミング部
５ｊ 分割制御部
５ｋ 乖離度算出部
５ｌ 分割態様決定部
１０ 中央制御部
Ｍ 記録媒体

Claims (12)

1. 画像データを逐次取得する取得手段と、
   前記取得手段により取得された画像データから、所定の被写体の画像データを検出する検出手段と、
   前記検出手段により検出された所定の被写体の画像データを複数の領域に分割する分割手段と、
   前記検出手段により検出された所定の被写体の画像データが当該検出手段による検出後に取得された画像データに存在するか否かを判定する判定手段と、
   前記判定手段により所定の被写体が存在しないと判定された場合に、前記分割手段により分割された複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定手段と、
   前記特定手段により特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を前記所定の被写体として追跡する追跡手段と、
   を備えたことを特徴とする被写体追跡装置。
2. 画像データを逐次取得する取得手段と、
   前記取得手段により取得された画像データから、所定の被写体の画像データを検出する検出手段と、
   前記検出手段により検出された所定の被写体の画像データを複数種の分割態様中の分割態様毎に複数の領域に分割する分割手段と、
   前記分割手段により前記分割態様毎に分割された複数の領域について、当該複数の領域間の特徴情報の乖離度を算出する乖離度算出手段と、
   前記乖離度算出手段により算出された前記分割態様毎の乖離度に基づいて、前記複数の分割態様から特定の分割態様を決定する決定手段と、
   前記決定手段により決定された分割態様における複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定手段と、
   前記特定手段により特定された対応領域に基づいて、前記対応領域を有する画像領域を前記所定の被写体として追跡する追跡手段と、
   を備えたことを特徴とする被写体追跡装置。
3. 前記決定手段は、前記複数の分割態様から前記乖離度が最大の分割態様を前記特定の分割態様として決定することを特徴とする請求項２に記載の被写体追跡装置。
4. 前記検出手段により検出された所定の被写体の画像データが当該検出手段による検出後の画像データに存在するか否かを判定する判定手段を更に備え、
   前記特定手段は、前記判定手段により所定の被写体が存在しないと判定された場合に、前記分割手段により分割された複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定することを特徴とする請求項２又は３に記載の被写体追跡装置。
5. 前記各領域の平均画素値と前記対応領域の平均画素値とを夫々算出する画素値算出手段と、
   前記画素値算出手段により算出された前記各領域の平均画素値と前記対応領域の平均画素値とに基づいて、前記各領域と前記対応領域との類似度を算出する類似度算出手段と、
   前記類似度算出手段により算出された前記類似度が第１の所定値以上である前記対応領域を、前記追跡手段により追跡される前記所定の被写体の追跡候補領域として指定する指定手段と、を更に備え、
   前記追跡手段は、前記指定手段により指定された追跡候補領域に基づいて、前記画像フレームにて前記所定の被写体となる画像領域を特定し、当該画像領域を追跡することを特徴とする請求項１〜４の何れか１項に記載の被写体追跡装置。
6. 前記特定手段は、前記画像フレームから前記各領域に対応する前記対応領域を複数特定し、
   前記特定手段により特定された複数の対応領域の中で、前記類似度算出手段により算出された前記類似度が第１の所定値以上である前記対応領域の個数を計数する計数手段を更に備え、
   前記追跡手段は、前記計数手段により計数された前記対応領域の個数が第２の所定値以上である場合に、当該対応領域に基づいて前記画像領域を追跡することを特徴とする請求項５に記載の被写体追跡装置。
7. 撮像手段と、
   前記追跡手段による追跡対象である前記画像フレームにおける前記画像領域を合焦領域とするように前記撮像手段を制御する制御手段を更に備え、
   前記取得手段は、前記撮像手段により出力された画像データを取得することを特徴とする請求項１〜６の何れか一項に記載の被写体追跡装置。
8. 前記撮像手段により合焦された前記画像領域を被写体画像としてトリミングするトリミング手段を更に備えることを特徴とする請求項７に記載の被写体追跡装置。
9. 被写体追跡装置を用いた被写体追跡方法であって、
   画像データを逐次取得する取得ステップと、
   取得された画像データから、所定の被写体の画像データを検出する検出ステップと、
   検出された所定の被写体の画像データを複数の領域に分割する分割ステップと、
   検出された前記所定の被写体の画像データが当該検出後に取得された画像データに存在するか否かを判定する判定ステップと、
   前記所定の被写体が存在しないと判定された場合に、分割された複数の領域中の何れかの領域が有する特徴情報に基づいて、逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定ステップと、
   特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を前記所定の被写体として追跡する追跡ステップと、
   を含むことを特徴とする被写体追跡方法。
10. 画像データを逐次取得する取得ステップと、
    取得された画像データから、所定の被写体の画像データを検出する検出ステップと、
    検出された所定の被写体の画像データを複数種の分割態様中の分割態様毎に複数の領域に分割する分割ステップと、
    前記分割態様毎に分割された複数の領域について、当該複数の領域間の特徴情報の乖離度を算出する乖離度算出ステップと、
    算出された前記分割態様毎の乖離度に基づいて、前記複数の分割態様から特定の分割態様を決定する決定ステップと、
    決定された分割態様における複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得ステップにより逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定ステップと、
    特定された対応領域に基づいて、前記対応領域を有する画像領域を前記所定の被写体として追跡する追跡ステップと、
    を含むことを特徴とする被写体追跡方法。
11. コンピュータを、
    画像データを逐次取得する取得手段、
    前記取得手段により取得された画像データから、所定の被写体の画像データを検出する検出手段、
    前記検出手段により検出された所定の被写体の画像データを複数の領域に分割する分割手段、
    前記検出手段により検出された所定の被写体の画像データが当該検出手段による検出後の画像データに存在するか否かを判定する判定手段、
    前記判定手段により所定の被写体が存在しないと判定された場合に、前記分割手段により分割された複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域中の何れかの領域に対応する対応領域を特定する特定手段、
    前記特定手段により特定された対応領域に基づいて、前記画像フレームにおける当該対応領域を有する画像領域を前記所定の被写体として追跡する追跡手段、
    として機能させることを特徴とするプログラム。
12. コンピュータを、
    画像データを逐次取得する取得手段、
    前記取得手段により取得された画像データから、所定の被写体の画像データを検出する検出手段、
    前記検出手段により検出された所定の被写体の画像データを複数種の分割態様中の分割態様毎に複数の領域に分割する分割手段、
    前記分割手段により前記分割態様毎に分割された複数の領域について、当該複数の領域間の特徴情報の乖離度を算出する乖離度算出手段、
    前記乖離度算出手段により算出された前記分割態様毎の乖離度に基づいて、前記複数の分割態様から特定の分割態様を決定する決定手段、
    前記決定手段により決定された分割態様における複数の領域中の何れかの領域が有する特徴情報に基づいて、前記取得手段により逐次取得される画像フレームから、前記複数の領域の何れかの領域に対応する対応領域を特定する特定手段、
    前記特定手段により特定された対応領域に基づいて、前記対応領域を有する画像領域を前記所定の被写体として追跡する追跡手段、
    として機能させることを特徴とするプログラム。