JP2011035634A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】人物の顔と別の被写体を同一の撮影画角内に含めて撮影することが可能な画像処理装置を提供すること。
【解決手段】画像処理装置は、スルー画像５１について、複数の特徴量マップ５２Ｆｃ，５２Ｆｈ，５２Ｆｓ統合した顕著性マップ５３Ｓを用いて、注目点領域５４，５５を推定する（ステップＳａ）。画像処理装置は、スルー画像５１から、顔検出領域５６を検出する（ステップＳｂ）。画像処理装置は、顔検出領域５６、及び、注目点領域５４，５５が同一の撮影画角内に入るように、ズーム倍率や撮影画角の範囲を調整する（ステップＳｃ）。これにより、撮影画像５８Ｔが得られる。
【選択図】図２

Description

本発明は、画像処理装置及び方法に関し、特に、人物の顔と別の被写体とを同一の撮影画角内に含めて撮影する技術に関する。

従来より、ユーザがカメラで撮影する場合、意図しない撮影画像が得られる場合があった。かかる失敗を回避すべく、様々な回避策が提案されている。

例えば、人物などの周囲の風景全体を撮影しようとして、人物などを小さく撮影してしまう、という現象が発生する。この現象の回避策は、特許文献１などで提案されている。

例えば、ユーザは、Ｆ値の小さい（口径の大きい）レンズを使用したり、絞りを開放してＦ値を下げることで、前景にだけピントを合わせて、背景をぼかした撮影をすることができる。しかしながら、ぼかし度合が適切でない状態で撮影する、という現象が発生する。この現象の回避策は、特許文献２などで提案されている。

例えば、ユーザは、ピント合わせに気をとられている場合などに、被写体を中央に配置させる構図で、すなわち、いわゆる「日の丸構図」で撮影してしまう。このような場合、撮影画像が、初心者が撮影したような画像になったり、単調な説明画像になってしまう、という現象が発生する。この現象の回避策は、特許文献３，４などで提案されている。

特開２００６−１４８３４４号公報 特開平０６−３０３４９号公報 特開２００２−２３２７５３号公報 特開２００７−１７４５４８号公報

しかしながら、顔検出機能を利用した自動フレーミング処理が実行されると、人物の顔がクローズアップされて撮影される。このため、ユーザにとって、人物の顔と共に撮影することを所望していた別の被写体、例えば建築物や風景などが撮影されていない、という現象が発生する場合がある。かかる現象の回避策としては、特許文献１乃至４を含め従来の回避策では十分ではない。

そこで、本発明は、人物の顔と別の被写体とを同一の撮影画角内に含めて撮影することを目的とする。

本発明の第１の観点によると、所定のズーム倍率及び所定の撮影画角で主要被写体を撮影する画像処理装置であって、事前に前記主要被写体が撮影された画像を入力画像として、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定部と、前記入力画像に前記主要被写体として含まれる１以上の人物の顔を検出する検出部と、前記検出部により検出された前記１以上の顔、及び、前記推定部により推定された前記注目点領域の少なくとも一部を、同一の撮影画角内に含めるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する調整部と、を備える画像処理装置を提供する。

本発明の第２の観点によると、前記調整部は、前記推定部により前記注目点領域が推定されなかった場合、さらに、前記検出部により検出された前記１以上の顔を同一の撮影画角内に含めるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する画像処理装置を提供する。

本発明の第３の観点によると、前記調整部は、前記推定部により前記注目点領域が推定されなかった場合、さらに、前記検出部により検出された前記１以上の顔のうちの一部の顔を拡大して同一の撮影画角内に含めるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する画像処理装置を提供する。

本発明の第４の観点によると、前記調整部は、さらに、前記顔と前記注目点領域とのうち少なくとも一方に応じて決定される構図で撮影可能となるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する画像処理装置を提供する。

本発明の第５の観点によると、所定のズーム倍率及び所定の撮影画角で主要被写体を撮影する画像処理装置の画像処理方法であって、事前に前記主要被写体が撮影された画像を入力画像として、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定ステップと、前記入力画像に前記主要被写体として含まれる１以上の人物の顔を検出する検出ステップと、前記検出ステップの処理により検出された前記１以上の顔、及び、前記推定ステップの処理により推定された前記注目点領域の少なくとも一部が、同一の撮影画角内に入るように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する調整ステップと、を含む画像処理方法を提供する。

本発明によれば、人物の顔と別の被写体を同一の撮影画角内に含めて自動的に撮影することができる

本発明の一実施形態に係る画像処理装置のハードウェアの構成図である。 本発明の一実施形態における自動ズーミング処理及び自動フレーミング処理並びにそれらの前処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。 本発明の一実施形態における自動ズーミング処理及び自動フレーミング処理並びにそれらの前処理の概略を説明する図であって、具体的な処理結果の別の例を示す図である。 本発明の一実施形態における撮影モード処理の流れの一例を示すフローチャートである。 本発明の一実施形態における撮影モード処理のうちの注目点領域推定処理の流れの詳細例を示すフローチャートである。 本発明の一実施形態における撮影モード処理のうちの特徴量マップ作成処理の流れの一例を示すフローチャートである。 本発明の一実施形態における撮影モード処理のうちの特徴量マップ作成処理の流れの別の例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る画像処理装置１００のハードウェアの構成を示す図である。画像処理装置１００は、例えばデジタルカメラにより構成することができる。

画像処理装置１００は、光学レンズ装置１と、シャッタ装置２と、アクチュエータ３と、ＣＭＯＳセンサ４と、ＡＦＥ５と、ＴＧ６と、ＤＲＡＭ７と、ＤＳＰ８と、ＣＰＵ９と、ＲＡＭ１０と、ＲＯＭ１１と、液晶表示コントローラ１２と、液晶ディスプレイ１３と、操作部１４と、メモリカード１５と、測距センサ１６と、測光センサ１７と、を備える。

光学レンズ装置１は、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、ＣＭＯＳセンサ４の受光面に被写体像を結像させるためレンズである。

シャッタ装置２は、例えばシャッタ羽根などから構成される。シャッタ装置２は、ＣＭＯＳセンサ４へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置２はまた、ＣＭＯＳセンサ４へ入射する光束の光量を調節する絞りとしても機能する。アクチュエータ３は、ＣＰＵ９による制御にしたがって、シャッタ装置２のシャッタ羽根を開閉させる。

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ４は、例えばＣＭＯＳ型のイメージセンサなどから構成される。ＣＭＯＳセンサ４には、光学レンズ装置１からシャッタ装置２を介して被写体像が入射される。そこで、ＣＭＯＳセンサ４は、ＴＧ６から供給されるクロックパルスにしたがって、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号として順次出力する。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）５には、ＣＭＯＳセンサ４からアナログの画像信号が供給される。そこで、ＡＦＥ５は、ＴＧ６から供給されるクロックパルスにしたがって、アナログの画像信号に対し、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を施す。各種信号処理の結果、ディジタル信号が生成され、ＡＦＥ５から出力される。

ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）６は、ＣＰＵ９による制御にしたがって、一定時間毎にクロックパルスをＣＭＯＳセンサ４とＡＦＥ５とにそれぞれ供給する。

ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７は、ＡＦＥ５により生成されるディジタル信号や、ＤＳＰ８により生成される画像データを一時的に記憶する。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）８は、ＣＰＵ９による制御にしたがって、ＤＲＡＭ７に記憶されたディジタル信号に対して、ホワイトバランス補正処理、γ補正処理、ＹＣ変換処理などの各種画像処理を施す。各種画像処理の結果、輝度信号と色差信号とでなる画像データが生成される。なお、以下、かかる画像データをフレーム画像データと称し、このフレーム画像データにより表現される画像をフレーム画像と称する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９は、画像処理装置１００全体の動作を制御する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０は、ＣＰＵ９が各処理を実行する際にワーキングエリアとして機能する。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１は、画像処理装置１００が各処理を実行するのに必要なプログラムやデータを記憶する。ＣＰＵ９は、ＲＡＭ１０をワーキングエリアとして、ＲＯＭ１１に記憶されているプログラムとの協働により各種処理を実行する。

液晶表示コントローラ１２は、ＣＰＵ９による制御にしたがって、ＤＲＡＭ７やメモリカード１５に記憶されているフレーム画像データをアナログ信号に変換して、液晶ディスプレイ１３に供給する。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されてくるアナログ信号に対応する画像として、フレーム画像を表示する。

また、液晶表示コントローラ１２は、ＣＰＵ９による制御にしたがって、ＲＯＭ１１などに予め記憶されている各種画像データをアナログ信号に変換して、液晶ディスプレイ１３に供給する。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されてくるアナログ信号に対応する画像を表示する。例えば本実施の形態では、各種シーンを特定可能な情報（以下、シーン情報と称する）の画像データがＲＯＭ１１に記憶されている。このため、図４を参照して後述するように、各種シーン情報が液晶ディスプレイ１３に適宜表示される。

操作部１４は、ユーザから各種ボタンの操作を受け付ける。操作部１４は、電源釦、十字釦、決定釦、メニュー釦、レリーズ釦などを備える。操作部１４は、ユーザから受け付けた各種ボタンの操作に対応する信号を、ＣＰＵ９に供給する。ＣＰＵ９は、操作部１４からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。

メモリカード１５は、ＤＳＰ８により生成されたフレーム画像データを記録する。測距センサ１６は、ＣＰＵ９による制御にしたがって、被写体までの距離を検出する。測光センサ１７は、ＣＰＵ９による制御にしたがって、被写体の輝度（明るさ）を検出する。

このような構成を有する画像処理装置１００の動作モードとしては、撮影モードや再生モードを含む各種モードが存在する。ただし、以下、説明の簡略上、撮影モード時における処理（以下、撮影モード処理と称する）についてのみ説明する。なお、以下、撮影モード処理の主体は主にＣＰＵ９であるとする。

次に、図１の画像処理装置１００の撮影モード処理のうち、顕著性マップに基づく注目点領域と、顔検出結果とを用いて、ズーム倍率や撮影画角の範囲を調整するまでの一連の処理の概略について説明する。なお、以下、ズーム倍率を調整する処理を、自動ズーミング処理と称する。また、以下、撮影画角の範囲を調整する処理を、自動フレーミング処理と称する。
図２は、自動ズーミング処理及び自動フレーミング処理並びにそれらの前処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。

図１の画像処理装置１００のＣＰＵ９は、撮影モードを開始させると、ＣＭＯＳセンサ４による撮影を継続させ、その間にＤＳＰ８により逐次生成されるフレーム画像データを、ＤＲＡＭ７に一時的に記憶させる。なお、以下、かかるＣＰＵ９の一連の処理を、スルー撮像と称する。
また、ＣＰＵ９は、液晶表示コントローラ１２などを制御して、スルー撮像時にＤＲＡＭ７に記録された各フレーム画像データを順次読み出して、それぞれに対応するフレーム画像を液晶ディスプレイ１３に表示させる。なお、以下、かかるＣＰＵ９の一連の処理を、スルー表示と称する。また、スルー表示されているフレーム画像を、スルー画像と称する。
以下の説明では、スルー撮像及びスルー表示により、例えば図２に示されるスルー画像５１が液晶ディスプレイ１３に表示されているとする。ただし、図２に示されるスルー画像５１は、表現の簡略上、実際のフレーム画像を線図化したものである。

この場合、ステップＳａにおいて、ＣＰＵ９は、注目点領域推定処理として、例えば次のような処理を実行する。

すなわち、ＣＰＵ９は、スルー画像５１に対応するフレーム画像データについて、例えば色、方位、輝度などの複数種類の特徴量のコントラストから、複数種類の特徴量マップを作成する。なお、以下、このような複数種類のうち所定の１種類の特徴量マップを作成するまでの一連の処理を、特徴量マップ作成処理と称する。各特徴量マップ作成処理の詳細例については、図６や図７を参照して後述する。
例えば図２の例では、後述する図７Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ５２Ｆｃが作成されている。また、後述する図７ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ５２Ｆｈが作成されている。また、図７Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップ５２Ｆｓが作成されている。

次に、ＣＰＵ９は、複数種類毎の特徴量マップを統合することで、顕著性マップを求める。例えば図２の例では、特徴量マップ５２Ｆｃ，５２Ｆｈ，５２Ｆｓが統合されて、顕著性マップ５３Ｓが求められている。

次に、ＣＰＵ９は、顕著性マップを用いて、スルー画像の中から、人間の視覚的注意を引く可能性の高い画像領域（以下、注目点領域と称する）を推定する。例えば図２の例では、顕著性マップ５３Ｓを用いて、スルー画像５１の中から注目点領域５４，５５が推定されている。

以上の一連の処理からなる注目点領域推定処理は、後述する図４のステップＳ２の処理に対応する。注目点領域推定処理の詳細については、図５乃至図７を参照して後述する。

一方、ステップＳｂにおいて、ＣＰＵ９は、スルー画像に含まれる人物の顔を検出する処理、すなわち、顔検出処理を実行する。顔検出処理の結果として、検出された人物の顔を含む領域が得られる。以下、かかる領域を顔検出領域と称する。図２の例では、スルー画像５１から顔検出領域５６が得られている。
なお、顔の検出手法自体は、特に限定されず、任意の手法を採用できる。また、ここでいう顔検出処理とは、不特定の人物の顔を検出する処理のみならず、特定の人物の顔を認識する顔認識処理も含む広義な概念である。
ステップＳｂの処理は、後述する図４のステップＳ３の処理に対応する。

ステップＳｃにおいて、ＣＰＵ９は、自動ズーミング処理及び自動フレーミング処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、光学装置１のズームレンズを広角側又は望遠側に制御したり、デジタルズームを制御することで、ズーム倍率や撮影画角の範囲を自動調整する。なお、ここでいう調整には、トリミング（切り抜き）処理も含むものとする。
例えば、ＣＰＵ９は、１以上の顔検出領域の全てを撮影画角内に含めるように、ズーム倍率や撮影画角の範囲を自動的に調整する。さらに、ＣＰＵ９は、１以上の顔検出領域に応じて決定される構図、すなわち、検出された顔の数や配置位置にとって理想的な構図で撮影可能となるように、ズーム倍率や撮影画角の範囲を自動的に調整する。
また例えば、ＣＰＵ９は、人物の顔以外にも注目点領域が検出された場合には、その注目点領域を、人物の顔とは別の主要被写体領域であると認定する。そして、ＣＰＵ９は、１以上の顔検出領域の全てに加えて注目点領域の少なくとも一部も同一の撮影画角内に含めるように、ズーム倍率や撮影画角の範囲を自動的に調整する。さらに、ＣＰＵ９は、１以上の顔検出領域と注目点領域とのうち少なくとも一方に応じて決定される構図、すなわち、検出された顔や注目点領域の数や配置位置にとって理想的な構図で撮影可能になるように、ズーム倍率や撮影画角の範囲を自動的に調整する。
ステップＳｃの処理は、後述する図４のステップＳ５の処理に対応する。

このようなステップＳｃの自動ズーミング処理及び自動フレーミング処理の後、ＣＰＵ９は、ＴＧ６やＤＳＰ８などを制御して、露出及び撮影処理を実行する。すると、ＣＭＯＳセンサ４により撮影された被写体像（１以上の顔や主要被写体の像など）は、フレーム画像データとしてＤＲＡＭ７に記憶される。なお、以下、かかるフレーム画像データを撮影画像データと称し、また、撮影画像データにより表現される画像を撮影画像と称する。このようにして得られた撮影画像は、検出された１以上の顔（顔検出領域）の全てが含まれており、必要に応じて人物の顔以外の別の主要被写体も含まれており、かつ、検出された顔や別の主要被写体の数や配置位置にとって理想的な構図の画像となっている。すなわち、撮影画像は、従来と比較してユーザが意図した画像に近いものとなっている。

具体的には例えば、図２の例では、１つの顔検出領域５６に加えて、人の胴体に対応する注目点領域５５と、馬に対応する注目点領域５４が得られている。このため、ステップＳｃの自動ズーミング処理及び自動フレーミング処理の結果、例えば、撮影画像５８Ｔ、撮影画像５８Ｍ、若しくは撮影画像５８Ｚ、又はそれらのうちの２以上の組合せが得られる。
撮影画像５８Ｔは、顔と注目点領域優先の自動フレーミング撮影の結果得られた画像である。すなわち、顔と注目点領域優先の自動フレーミング撮影として、顔検出領域５６と注目点領域５４，５５とを同一の撮影画角５７に含めるように、かつ、所定条件の構図で撮影可能となるように、自動ズーミング処理及び自動フレーミング処理が実行される。その後、露出及び撮影処理が実行されると、撮影画像５８Ｔが得られる。
撮影画像５８Ｍは、顔優先の自動フレーミング撮影の結果得られた画像である。すなわち、顔優先の自動フレーミング撮影として、顔検出領域５６を撮影画角一杯に含めるように、かつ、所定条件の構図で撮影可能となるように、自動ズーミング処理及び自動フレーミング処理が実行される。その後、露出及び撮影処理が実行されると、撮影画像５８Ｍが得られる。
撮影画像５８Ｚは、顔優先の自動クローズアップ撮影の結果得られた画像である。すなわち、顔優先の自動クローズアップ撮影として、１以上の顔検出領域のうちの少なくとも一部（図２の例では、１つの顔検出領域５６のみが検出されたので、結果とし顔検出領域５６）を撮影画角に拡大して含めるように、かつ、所定条件の構図で撮影可能となるように、自動ズーミング処理及び自動フレーミング処理が実行される。その後、露出及び撮影処理が実行されると、撮影画像５８Ｚが得られる。

なお、１回のレリーズ釦操作によって、自動ズーミング処理及び自動フレーミング処理の結果、３枚の撮影画像５８Ｔ，５８Ｍ，５８Ｚのうちの所定の１枚が撮影されても良いし、これらの３枚のうちの２枚以上が連続撮影されても良い。

図３は、自動ズーミング処理及び自動フレーミング処理並びにそれらの前処理の概略を説明する図であって、具体的な処理結果の図２の例とは別の例を示す図である。

なお、図３の処理の流れ自体は、図２と基本的に同様であるので、図３に示される処理結果のみ説明する。また、以下の説明では、スルー撮像及びスルー表示により、例えば図３に示されるスルー画像６１が液晶ディスプレイ１３に表示されているとする。ただし、図３に示されるスルー画像６１は、表現の簡略上、実際のフレーム画像を線図化したものである。

この場合、ステップＳａの処理の結果、例えば図３の例では、次のような各特徴量マップが作成される。すなわち、後述する図７Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ６２Ｆｃが作成される。また、後述する図７ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ６２Ｆｈが作成される。また、図７Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップ６２Ｆｓが作成される。次に、これらの特徴量マップ６２Ｆｃ，６２Ｆｈ，６２Ｆｓが統合されて、顕著性マップ６３Ｓが求められる。そして、顕著性マップ６３Ｓを用いて注目点領域６４，６５が推定される。

一方、ステップＳｂの処理の結果、スルー画像６１から複数の顔検出領域６６が得られる。

ステップＳｃの処理の結果、例えば、撮影画像６８Ｔ、撮影画像６８Ｍ、若しくは撮影画像６８Ｚ、又はそれらのうちの２以上の組合せが得られる。
撮影画像６８Ｔは、顔と注目点領域優先の自動フレーミング撮影の結果得られた画像である。すなわち、顔と注目点領域優先の自動フレーミング撮影として、複数の顔検出領域６６と、建築物（風景）の注目点領域６４，６５とを同一の撮影画角６７に含めるように、かつ、所定条件の構図で撮影可能となるように、自動ズーミング処理及び自動フレーミング処理が実行される。その後、露出及び撮影処理が実行されると、撮影画像６８Ｔが得られる。
撮影画像６８Ｍは、顔優先の自動フレーミング撮影の結果得られた画像である。すなわち、顔優先の自動フレーミング撮影として、複数の顔検出領域６６を撮影画角一杯に含めるように、かつ、所定条件の構図で撮影可能となるように、自動ズーミング処理及び自動フレーミング処理が実行される。その後、露出及び撮影処理が実行されると、撮影画像６８Ｍが得られる。
撮影画像６８Ｚは、顔優先の自動クローズアップ撮影の結果得られた画像である。すなわち、顔優先の自動クローズアップ撮影として、複数の顔検出領域６６のうちの少なくとも一部を撮影画角に拡大して含めるように、かつ、所定条件の構図で撮影可能となるように、自動ズーミング処理及び自動フレーミング処理が実行される。その後、露出及び撮影処理が実行されると、撮影画像６８Ｚが得られる。

なお、図３の例でも図２の例と同様に、１回のレリーズ釦操作によって、自動ズーミング処理及び自動フレーミング処理の結果、３枚の撮影画像６８Ｔ，６８Ｍ，６８Ｚのうちの所定の１枚が撮影されても良いし、これらの３枚のうち２枚以上が連続撮影されても良い。

このように、顔検出領域のみならず注目点領域も考慮した自動ズーミング処理及び自動フレーミング処理が実行されることで、次のような効果を奏することが可能になる。すなわち、従来においては、人物の顔の全てが含まれた撮影画像を得ることは可能であったが、人物の顔と別の主要被写体とが適切に含まれた撮影画像を得ることは困難であった。これに対して、図２の撮影画像５８Ｚや図３の撮影画像６８Ｚから明らかなように、人物の顔（顔検出領域）の全てと、ペットや背景などの別の主要被写体（注目点領域）の全て又は多くとが同一の撮影画角に含まれ、かつ適切な構図で撮影された撮影画像を得ることが容易に可能になる。
さらに、このような、人物の顔だけが含まれる撮影画像、及び、人物の顔と別の主要被写体が含まれる撮影画像に加えて、さらに、例えば、一部の人物が所定の構図でかつクローズアップ撮影された撮影画像の３種類の撮影画像を、１回の撮影で一緒に撮影して記録することも容易に可能になる。

以上、図２と図３を参照して、画像処理装置１００が実行する自動ズーミング処理及び自動フレーミング処理並びにそれらの前処理の概略について説明した。次に、図４乃至図７を参照して、自動ズーミング処理及び自動フレーミング処理並びにそれらの前処理を含む撮影モード処理全体について説明する。

図４は、撮影モード処理の流れの一例を示すフローチャートである。

撮影モード処理は、ユーザが撮影モードを選択する所定の操作を操作部１４に対して行った場合、その操作を契機として開始される。すなわち、次のような処理が実行される。

ステップＳ１において、ＣＰＵ９は、スルー撮像とスルー表示を行う。

ステップＳ２において、ＣＰＵ９は、注目点領域推定処理を実行する。これにより、図２や図３を参照して上述したように、注目点領域が推定される。注目点領域推定処理については、その概略は図２や図３のステップＳａの説明として上述した通りであり、その詳細は図５を参照して後述する。

ステップＳ３において、ＣＰＵ９は、顔検出処理を実行する。これにより、図２や図３を参照して上述したように、顔検出領域が得られる。

ステップＳ４において、ＣＰＵ９は、レリーズ釦が半押しの状態であるか否かを判定する。
ユーザがレリーズ釦を半押ししていない場合、ステップＳ４においてＮＯであると判定され、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、ユーザがレリーズ釦を半押しするまでの間、ステップＳ１乃至Ｓ４のループ処理が繰り返し実行される。

その後、ユーザがレリーズ釦を半押しすると、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ５に進む。

ステップＳ５において、ＣＰＵ９は、図２や図３を参照して上述したように、顔検出領域と注目点領域とを用いて、自動ズーミング処理及び自動フレーミング処理を実行する。

ステップＳ６において、ＣＰＵ９は、顔検出領域や注目点領域に対応するＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）枠が被写界深度内に入るように、ＡＦ処理（オートフォーカス処理）を実行する。ステップＳ７において、ＣＰＵ９は、測光処理を実行する。測光処理は、顔検出領域や注目点領域について重点的に実行される。

ステップＳ８において、ＣＰＵ９は、レリーズ釦が全押しの状態であるか否かを判定する。

ユーザがレリーズ釦を全押ししていない場合、ステップＳ８においてＮＯであると判定され、処理はステップＳ１６に進む。ステップＳ１６において、ＣＰＵ９は、レリーズ釦が解除されたか否かを判定する。ユーザの指などがレリーズ釦から離された場合、ステップＳ１６においてＹＥＳであると判定されて、撮影モード処理は終了となる。これに対して、ユーザの指などがレリーズ釦から離されていない場合、ステップＳ１６においてＮＯであると判定されて、処理はステップＳ８に戻され、それ以降の処理が繰り返される。すなわち、レリーズ釦の半押し状態が継続している限り、ステップＳ８ＮＯ，Ｓ１６ＮＯのループ処理が繰り返し実行される。

その後、ユーザがレリーズ釦を全押しすると、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。ステップＳ９において、ＣＰＵ９は、ＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理（オートホワイトバランス処理）を実行する。ステップＳ１０において、ＣＰＵ９は、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）処理（自動露出処理）を実行する。すなわち、測光センサ１７による測光情報や撮影条件などに基づいて、絞り、露出時間、ストロボ条件などが設定される。

ステップＳ１１において、ＣＰＵ９は、ＴＧ６やＤＳＰ８などを制御して、測光センサ１７による測光情報や撮影条件などに基づいて露出及び撮影処理を実行する。その結果、撮影画像データがＤＲＡＭ７に記憶される。

ステップＳ１２において、ＣＰＵ９は、ＤＳＰ８などを制御して、撮影画像データに対して補正及び変更処理を施す。すなわち、ＣＰＵ９は、顔検出領域、注目点領域、撮影条件などに基づいて、撮影画像データに対して、補正又は変更に必要な各種画像処理を適宜施す。

ステップＳ１３において、ＣＰＵ９は、液晶表示コントローラ１２などを制御して、撮影画像のレビュー表示処理を実行する。また、ステップＳ１４において、ＣＰＵ９は、ＤＳＰ８などを制御して撮影画像データの圧縮符号化処理を実行する。その結果、符号化画像データが得られることになる。そこで、ステップＳ１５において、ＣＰＵ９は、符号化画像データの保存記録処理を実行する。これにより、符号化画像データがメモリカード１５などに記録され、撮影モード処理が終了となる。

次に、撮影モード処理のうち、ステップＳ２（図２のステップＳａ）の注目点領域処理の詳細例について説明する。

上述したように、注目点領域推定処理では、注目点領域の推定のために、顕著性マップが作成される。したがって、注目点領域推定処理に対して、例えば、Ｔｒｅｉｓｍａｎの特徴統合理論や、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用することができる。
なお、Ｔｒｅｉｓｍａｎの特徴統合理論については、「Ａ．Ｍ．Ｔｒｅｉｓｍａｎ ａｎｄ Ｇ．Ｇｅｌａｄｅ，“Ａ ｆｅａｔｕｒｅ―ｉｎｔｅｇｒａｔｉｏｎ ｔｈｅｏｒｙ ｏｆ ａｔｔｅｎｔｉｏｎ”，Ｃｏｇｎｉｔｉｖｅ Ｐｓｙｃｈｏｌｏｇｙ，Ｖｏｌ．１２，Ｎｏ．１，ｐｐ．９７−１３６，１９８０．」を参照すると良い。
また、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップについては、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ， ａｎｄ Ｅ．Ｎｉｅｂｕｒ，“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯｌ．２０，Ｎｏ１１，Ｎｏｖｅｍｂｅｒ １９９８．」を参照すると良い。

図５は、Ｔｒｅｉｓｍａｎの特徴統合理論やＮｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用した場合における、注目点領域推定処理の流れの詳細例を示すフローチャートである。

ステップＳ４１において、ＣＰＵ９は、スルー撮像により得られたフレーム画像データを、処理対象画像データとして入力する。

ステップＳ４２において、ＣＰＵ９は、ガウシアン解像度ピラミット（Ｇａｕｓｓｉａｎ Ｒｅｓｏｌｕｔｉｏｎ Ｐｙｒａｍｉｄ）を作成する。具体的には例えば、ＣＰＵ９は、処理対象画像データ｛（ｘ，ｙ）の位置の画素データ｝をＩ（０）＝Ｉ（ｘ，ｙ）として、ガウシアンフィルタ処理とダウンサンプリング処理とを順次繰り返し実行する。その結果として、階層型のスケール画像データＩ（Ｌ）（例えばＬ∈｛０・・・８｝）の組が生成される。この階層型のスケール画像データＩ（Ｌ）の組が、ガウシアン解像度ピラミッドと称されている。ここで、スケールＬ＝ｋ（ここではｋは１乃至８のうちのいずれかの整数値）の場合、スケール画像データＩ（ｋ）は、１／２^ｋの縮小画像（ｋ＝０の場合は原画像）を示す。

ステップＳ４３において、ＣＰＵ９は、各特徴量マップ作成処理を開始する。すなわち、ＣＰＵ９は、処理対象画像データについて、例えば色、方位、輝度などの複数種類の特徴量のコントラストから、複数種類の特徴量マップを作成することができる。このような複数種類のうち所定の１種類の特徴量マップを作成するまでの一連の処理が、ここでは、特徴量マップ作成処理と称されている。各特徴量マップ作成処理の詳細例については、図６や図７を参照して後述する。

ステップＳ４４において、ＣＰＵ９は、全ての特徴量マップ作成処理が終了したか否かを判定する。各特徴量マップ作成処理のうち１つでも処理が終了していない場合、ステップＳ４４において、ＮＯであると判定されて、処理はステップＳ４４に再び戻される。すなわち、各特徴量マップ作成処理の全処理が終了するまでの間、ステップＳ４４の判定処理が繰り返し実行される。そして、各特徴量マップ作成処理の全処理が終了して、全ての特徴量マップが作成されると、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ４５に進む。

ステップＳ４５において、ＣＰＵ９は、各特徴量マップを線形和で結合して、顕著性マップＳ（Ｓａｌｉｅｎｃｙ Ｍａｐ）を求める。

ステップＳ４６において、ＣＰＵ９は、顕著性マップＳを用いて、処理対象画像データから注目領域を推定する。すなわち、一般に、主要被写体となる人物や撮影対象（ｏｂｊｅｃｔｓ）となる物体の多くは、背景（ｂａｃｋｇｒｏｕｎｄ）領域に比べ、顕著性（ｓａｌｉｅｎｃｙ）が高いと考えられる。そこで、ＣＰＵ９は、顕著性マップＳを用いて、処理対象画像データから顕著性（ｓａｌｉｅｎｃｙ）が高い領域を認識する。そして、ＣＰＵ９は、その認識結果に基づいて、人間の視覚的注意を引く可能性の高い領域、すなわち、注目点領域を推定する。このようにして、注目点領域が推定されると、注目点領域推定処理は終了する。すなわち、図４のステップＳ２の処理は終了し、処理はステップＳ３に進む。図２の例でいえば、ステップＳａの処理は終了する。そして、ステップＳｂの処理も終了した段階で、処理はステップＳｃに進む。

次に、各特徴量マップ作成処理の具体例について説明する。

図６は、輝度、色、及び、方向性の特徴量マップ作成処理の流れの一例を示すフローチャートである。

図６Ａは、輝度の特徴量マップ作成処理の一例を示している。

ステップＳ６１において、ＣＰＵ９は、処理対象画像データに対応する各スケール画像から、各注目画素を設定する。例えば各注目画素ｃ∈｛２，３，４｝が設定されたとして、以下の説明を行う。各注目画素ｃ∈｛２，３，４｝とは、スケールｃ∈｛２，３，４｝のスケール画像データＩ（ｃ）上の演算対象として設定された画素をいう。

ステップＳ６２において、ＣＰＵ９は、各注目画素ｃ∈｛２，３，４｝の各スケール画像の輝度成分を求める。

ステップＳ６３において、ＣＰＵ９は、各注目画素の周辺画素ｓ＝ｃ＋δの各スケール画像の輝度成分を求める。各注目画素の周辺画素ｓ＝ｃ＋δとは、例えばδ∈｛３，４｝とすると、スケールｓ＝ｃ＋δのスケール画像Ｉ（ｓ）上の、注目画素（対応点）の周辺に存在する画素をいう。

ステップＳ６４において、ＣＰＵ９は、各スケール画像について、各注目画素ｃ∈｛２，３，４｝における輝度コントラストを求める。例えば、ＣＰＵ９は、各注目画素ｃ∈｛２，３，４｝と、各注目画素の周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）のスケール間差分を求める。ここで、注目画素ｃをＣｅｎｔｅｒと呼称し、注目画素の周辺画素ｓをＳｕｒｒｏｕｎｄと呼称すると、求められたスケール間差分は、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分と呼称することができる。この輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、注目画素ｃが白で周辺画素ｓが黒の場合又はその逆の場合には大きな値をとるという性質がある。したがって、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、輝度コントラストを表わすことになる。なお、以下、かかる輝度コントラストをＩ（ｃ，ｓ）と記述する。

ステップＳ６５において、ＣＰＵ９は、処理対象画像データに対応する各スケール画像において、注目画素に設定されていない画素が存在するか否かを判定する。そのような画素が存在する場合、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。

すなわち、処理対象画像データに対応する各スケール画像の各画素に対して、ステップＳ６１乃至Ｓ６５の処理がそれぞれ施されて、各画素の輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、各注目画素ｃ∈｛２，３，４｝、及び、周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）が設定される場合、ステップＳ６１乃至Ｓ６５の１回の処理で、（注目画素ｃの３通り）×（周辺画素ｓの２通り）＝６通りの輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、所定のｃと所定のｓについて求められた輝度コントラストＩ（ｃ，ｓ）の画像全体の集合体を、以下、輝度コントラストＩの特徴量マップと称する。輝度コントラストＩの特徴量マップは、ステップＳ６１乃至Ｓ６５のループ処理の繰り返しの結果、６通り求められることになる。このようにして、６通りの輝度コントラストＩの特徴量マップが求められると、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６６に進む。

ステップＳ６６において、ＣＰＵ９は、輝度コントラストＩの各特徴量マップを正規化した上で結合することで、輝度の特徴量マップを作成する。これにより、輝度の特徴量マップ作成処理は終了する。なお、以下、輝度の特徴量マップを、他の特徴量マップと区別すべく、ＦＩと記述する。

図６Ｂは、色の特徴量マップ作成処理の一例を示している。

図６Ｂの色の特徴量マップ作成処理は、図６Ａの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図６ＢのステップＳ８１乃至Ｓ８６のそれぞれの処理は、図６ＡのステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図６Ａとは異なるだけである。したがって、図６Ｂの色の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。

すなわち、図６ＡのステップＳ６２とＳ６３の処理対象は、輝度成分であったのに対して、図６ＢのステップＳ８２とＳ８３の処理対象は、色成分である。
また、図６ＡのステップＳ６４の処理では、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、輝度コントラストＩ（ｃ，ｓ）として求められた。これに対して、図６ＢのステップＳ８４の処理では、色相（Ｒ／Ｇ，Ｂ／Ｙ）のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、色相コントラストとして求められる。なお、色成分のうち、赤の成分がＲで示され、緑の成分がＧで示され、青の成分がＢで示され、黄の成分がＹで示されている。また、以下、色相Ｒ／Ｇについての色相コントラストを、ＲＧ（ｃ，ｓ）と記述し、色相Ｂ／Ｙについての色相コントラストを、ＢＹ（ｃ，ｓ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、図６ＡのステップＳ６１乃至Ｓ６５のループ処理の結果、６通りの輝度コントラストＩの特徴量マップが求められた。これに対して、図６ＢのステップＳ８１乃至Ｓ８５のループ処理の結果、６通りの色相コントラストＲＧの特徴量マップと、６通りの色相コントラストＢＹの特徴量マップとが求められる。
最終的に、図６ＡのステップＳ６６の処理で、輝度の特徴量マップＦＩが求められた。これに対して、図６ＢのステップＳ８６の処理で、色の特徴量マップが求められる。なお、以下、色の特徴量マップを、他の特徴量マップと区別すべく、ＦＣと記述する。

図６Ｃは、方向性の特徴量マップ作成処理の一例を示している。

図６Ｃの方向性の特徴量マップ作成処理は、図６Ａの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図６ＣのステップＳ１０１乃至Ｓ１０６のそれぞれの処理は、図６ＡのステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図６Ａとは異なるだけである。したがって、図６Ｃの方向性の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。

すなわち、ステップＳ１０２とＳ１０２３の処理対象は、方向成分である。ここで、方向成分とは、輝度成分に対してガウスフィルタφを畳み込んだ結果得られる各方向の振幅成分をいう。ここでいう方向とは、ガウスフィルタφのパラメターとして存在する回転角θにより示される方向をいう。例えば回転角θとしては、０°，４５°，９０°，１３５°の４方向を採用することができる。
また、ステップＳ１０４の処理では、方向性のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、方向性コントラストとして求められる。なお、以下、方向性コントラストを、Ｏ（ｃ，ｓ，θ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、ステップＳ１０１乃至Ｓ１０５のループ処理の結果、回転角θ毎に、６通りの方向性コントラストＯの特徴量マップが求められる。例えば回転角θとして、０°，４５°，９０°，１３５°の４方向が採用されている場合には、２４通り（＝６×４通り）の方向性コントラストＯの特徴量マップが求められる。
最終的に、ステップＳ１０６の処理で、方向性の特徴量マップが求められる。なお、以下、方向性の特徴量マップを、他の特徴量マップと区別すべく、ＦＯと記述する。

以上説明した図６の特徴量マップ作成処理のより詳細な処理内容については、例えば、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ， ａｎｄ Ｅ．Ｎｉｅｂｕｒ，“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯｌ．２０，Ｎｏ１１，Ｎｏｖｅｍｂｅｒ １９９８．」を参照すると良い。

なお、特徴量マップ作成処理は、図６の例に特に限定されない。例えば、特徴量マップ作成処理として、明度、彩度、色相、及びモーションの各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。

また例えば、特徴量マップ作成処理として、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。

図７は、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の特徴量マップ作成処理の一例を示すフローチャートである。

図７Ａは、マルチスケールのコントラストの特徴量マップ作成処理の一例を示している。
ステップＳ１２１において、ＣＰＵ９は、マルチスケールのコントラストの特徴量マップを求める。これにより、マルチスケールのコントラストの特徴量マップ作成処理は終了となる。
なお、以下、マルチスケールのコントラストの特徴量マップを、他の特徴量マップと区別すべく、Ｆｃと記述する。

図７Ｂは、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の一例を示している。

ステップＳ１４１において、ＣＰＵ９は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとを求める。アスペクト比自体は、特に限定されず、例えば｛０．５，０．７５，１．０，１．５，２．０｝などを採用することができる。

ステップＳ１４２において、ＣＰＵ９は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとのカイ２乗距離を求める。ステップＳ１４３において、ＣＰＵ９は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを求める。

ステップＳ１４４において、ＣＰＵ９は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを用いて、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを作成する。これにより、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理は終了となる。
なお、以下、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを、他の特徴量マップと区別すべく、Ｆｈと記述する。

図７Ｃは、色空間分布の特徴量マップ作成処理の一例を示している。

ステップＳ１６１において、ＣＰＵ９は、色空間分布について、水平方向の分散を計算する。また、ステップＳ１６２において、ＣＰＵ９は、色空間分布について、垂直方向の分散を計算する。そして、ステップＳ１６３において、ＣＰＵ９は、水平方向の分散と垂直方向の分散とを用いて、色の空間的な分散を求める。

ステップＳ１６４において、ＣＰＵ９は、色の空間的な分散を用いて、色空間分布の特徴量マップを作成する。これにより、色空間分布の特徴量マップ作成処理は終了となる。
なお、以下、色空間分布の特徴量マップを、他の特徴量マップと区別すべく、Ｆｓと記述する。

以上説明した図７の特徴量マップ作成処理のより詳細な処理内容については、例えば、「Ｔ．Ｌｉｕ，Ｊ．Ｓｕｎ，Ｎ．Ｚｈｅｎｇ，Ｘ．Ｔａｎｇ，Ｈ．Ｓｕｍ，“Ｌｅａｒｎｉｎｇ ｔｏ Ｄｅｔｅｃｔ Ａ Ｓａｌｉｅｎｔ Ｏｂｊｅｃｔ”，ＣＶＰＲ０７，ｐｐ．１−８，２００７．」を参照すると良い。

以上説明したように、本実施形態に係る画像処理装置１００は、所定のズーム倍率及び所定の撮影画角で主要被写体を撮影することができる。かかる画像処理装置１００のＣＰＵ９は、事前に撮影された画像を入力画像（スルー画像）として、その入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定機能を有している。ＣＰＵ９は、入力画像に主要被写体として含まれる１以上の人物の顔を検出する検出機能を有している。ＣＰＵ９は、検出機能の発揮により検出された１以上の顔、及び、推定機能の発揮により推定された注目点領域の少なくとも一部を、同一の撮影画角内に含めるように、ズーム倍率と撮影画角の範囲のうちの少なくとも一方を調整する調整機能を有している。

したがって、人物の顔と共に別の被写体も撮影画角内に綺麗に含めて、かつ、理想的な構図で撮影することが可能になる。なお、別の被写体としては、例えば、ペットや動物、観光地の寺院や景勝地の風景などが存在する。

その結果、例えば、次のような現象を回避することが可能になる。すなわち、ユーザにとっては、ピント合わせなどに気をとられて、構図を気にせず撮影したり、人物だけを中央に配置させて撮影してしまう場合がある。このような場合、ユーザにとって、景勝地などの風景の撮り忘れを防いだり、単調な構図や失敗構図で撮影する、という現象が発生する。このような現象を回避することが可能になる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１１や、図示せぬハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１００・・・画像処理装置、１・・・光学レンズ装置、２・・・シャッタ装置、３・・・アクチュエータ、４・・・ＣＭＯＳセンサ、５・・・ＡＦＥ、６・・・ＴＧ、７・・・ＤＲＡＭ、８・・・ＤＳＰ、９・・・ＣＰＵ、１０・・・ＲＡＭ、１１・・・ＲＯＭ、１２・・・液晶表示コントローラ、１３・・・液晶ディスプレイ、１４・・・操作部、１５・・・メモリカード、１６・・・測距センサ、１７・・・測光センサ

Claims (5)

1. 所定のズーム倍率及び所定の撮影画角で主要被写体を撮影する画像処理装置であって、
   事前に前記主要被写体が撮影された画像を入力画像として、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定部と、
   前記入力画像に前記主要被写体として含まれる１以上の人物の顔を検出する検出部と、
   前記検出部により検出された前記１以上の顔、及び、前記推定部により推定された前記注目点領域の少なくとも一部を、同一の撮影画角内に含めるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する調整部と、
   を備える画像処理装置。
2. 前記調整部は、前記推定部により前記注目点領域が推定されなかった場合、さらに、前記検出部により検出された前記１以上の顔を同一の撮影画角内に含めるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する
   請求項１に記載の画像処理装置。
3. 前記調整部は、前記推定部により前記注目点領域が推定されなかった場合、さらに、前記検出部により検出された前記１以上の顔のうちの一部の顔を拡大して同一の撮影画角内に含めるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する
   請求項１に記載の画像処理装置。
4. 前記調整部は、さらに、前記顔と前記注目点領域とのうち少なくとも一方に応じて決定される構図で撮影可能となるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する
   請求項１乃至３のうちのいずれかに記載の画像処理装置。
5. 所定のズーム倍率及び所定の撮影画角で主要被写体を撮影する画像処理装置の画像処理方法であって、
   事前に前記主要被写体が撮影された画像を入力画像として、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定ステップと、
   前記入力画像に前記主要被写体として含まれる１以上の人物の顔を検出する検出ステップと、
   前記検出ステップの処理により検出された前記１以上の顔、及び、前記推定ステップの処理により推定された前記注目点領域の少なくとも一部を、同一の撮影画角内に含めるように、前記ズーム倍率と前記撮影画角の範囲のうちの少なくとも一方を調整する調整ステップと、
   を含む画像処理方法。