JP2010278624A - 撮影装置および方法、並びにプログラム - Google Patents

Abstract

【課題】被写体がより最適な位置にあるときに撮影する。
【解決手段】撮影部３１は、画像を撮影し、顔検出部５３は、撮影部３１によって撮影された画像において、被写体を検出し、記録制御部５７は、顔検出部５３によって検出された被写体の位置が、画像において所定位置にある場合、画像の記録を制御し、表示制御部５８または音声出力制御部５９は、顔検出部５３によって検出された被写体の位置が、画像において所定位置にない場合、被写体の位置が所定位置となるように移動する指示を提示する。本発明は、例えば、撮影機能を有する電子機器に適用することができる。
【選択図】図１

Description

本発明は、撮影装置および方法、並びにプログラムに関し、特に、被写体がより最適な位置にあるときに撮影することができるようにする撮影装置および方法、並びにプログラムに関する。

従来、デジタルカメラ等の撮影装置によって撮影された画像に対して、撮影後に、被写体が最適な位置になるように補正する様々な技術が提案されている。

例えば、撮影済み原画像データを内蔵メモリより読み出し、原画像の被写体を検出し、３分割法の４つの交点に被写体が配置されるようにトリミングを行う画像編集装置がある（特許文献１参照）。

特開２００７−２９５２０３号公報

しかしながら、上述した構成では、撮影者は、撮影時に、被写体が最適な位置になるようにして撮影することはない。

本発明は、このような状況に鑑みてなされたものであり、特に、被写体がより最適な位置にあるときに撮影するようにするものである。

本発明の一側面の撮影装置は、画像を撮影する撮影手段と、前記撮影手段によって撮影された前記画像において、被写体を検出する被写体検出手段と、前記被写体検出手段によって検出された前記被写体の位置が、前記画像において所定位置にある場合、前記画像の記録を制御する記録制御手段と、前記被写体検出手段によって検出された前記被写体の位置が、前記画像において前記所定位置にない場合、前記被写体の位置が前記所定位置となるように移動する指示を提示する提示手段とを備える。

前記被写体検出手段には、前記被写体としての人物の顔を検出させ、前記記録制御手段には、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にある場合、前記画像の記録を制御させ、前記提示手段には、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示を提示させることができる。

前記記録制御手段には、前記被写体検出手段によって検出された複数の前記顔の位置が、前記顔の数に応じた複数の前記所定位置にある場合、前記画像の記録を制御させ、前記提示手段には、前記被写体検出手段によって検出された複数の前記顔の位置が、前記顔の数に応じた複数の前記所定位置にない場合、複数の前記顔のそれぞれの位置がそれぞれの前記所定位置となるように移動する指示を提示させることができる。

複数の前記所定位置は、前記顔の数に応じたテンプレートによって決定されるようにできる。

前記撮影装置には、前記被写体検出手段によって検出された前記顔に基づいて、前記被写体の年齢を検出する年齢検出手段をさらに設け、前記記録制御手段には、前記年齢検出手段によって検出された前記被写体の年齢が所定の年齢の範囲であり、かつ、前記顔の位置が前記所定位置にある場合、前記画像の記録を制御させ、前記提示手段には、前記年齢検出手段によって検出された前記被写体の年齢が所定の年齢の範囲であり、かつ、前記顔の位置が前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示を提示させることができる。

前記撮影装置には、前記被写体検出手段によって検出された複数の前記顔に基づいて、複数の前記顔に対応する前記被写体の性別を検出する性別検出手段をさらに設け、前記記録制御手段には、前記性別検出手段によって性別が検出された前記被写体の顔のうち、異性の前記被写体の顔同士の位置が所定の距離より近い場合、前記画像の記録を制御させ、前記提示手段には、前記性別検出手段によって性別が検出された前記被写体の顔のうち、異性の前記被写体の顔同士の位置が所定の距離より遠い場合、前記異性の前記被写体の顔同士の位置が所定の距離より近い位置となるように移動する指示を提示させることができる。

前記撮影装置には、前記被写体検出手段によって検出された前記顔に基づいて、前記顔の表情を検出する表情検出手段をさらに設け、前記記録制御手段には、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にあり、かつ、前記表情検出手段によって検出された前記顔の表情が笑顔である場合、前記画像の記録を制御させることができる。

前記提示手段には、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示を、前記被写体に提示させることができる。

前記提示手段には、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示を、撮影者に提示させることができる。

前記提示手段には、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示の表示を制御させることができる。

前記提示手段には、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置を前記所定位置に移動する指示の音声による出力を制御させることができる。

本発明の一側面の撮影方法は、画像を撮影する撮影ステップと、前記撮影ステップの処理によって撮影された前記画像において、被写体を検出する被写体検出ステップと、前記被写体検出ステップの処理によって検出された前記被写体の位置が、前記画像において所定位置にある場合、前記画像の記録を制御する記録制御ステップと、前記被写体検出ステップの処理によって検出された前記被写体の位置が、前記画像において前記所定位置にない場合、前記被写体の位置が前記所定位置となるように移動する指示を提示する提示ステップとを含む。

本発明の一側面のプログラムは、画像の撮影を制御する撮影制御ステップと、前記撮影制御ステップの処理によって撮影された前記画像において、被写体を検出する被写体検出ステップと、前記被写体検出ステップの処理によって検出された前記被写体の位置が、前記画像において所定位置にある場合、前記画像の記録を制御する記録制御ステップと、前記被写体検出ステップの処理によって検出された前記被写体の位置が、前記画像において前記所定位置にない場合、前記被写体の位置が前記所定位置となるように移動する指示の提示を制御する提示制御ステップと含む処理をコンピュータに実行させる。

本発明の一側面においては、画像が撮影され、撮影された画像において、被写体が検出され、検出された被写体の位置が、画像において所定位置にある場合、画像の記録が制御され、検出された被写体の位置が、画像において所定位置にない場合、被写体の位置が所定位置となるように移動する指示が提示される。

本発明の一側面によれば、被写体がより最適な位置にあるときに撮影することが可能となる。

本発明を適用した撮影装置の一実施の形態の構成例を示すブロック図である。 撮影装置による撮影処理について説明するフローチャートである。 撮影された被写体の画像について説明する図である。 テンプレートについて説明する図である。 テンプレートについて説明する図である。 テンプレートについて説明する図である。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影装置による他の撮影処理について説明するフローチャートである。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影装置によるさらに他の撮影処理について説明するフローチャートである。 撮影された被写体の画像における被写体の位置について説明する図である。 撮影された被写体の画像における被写体の位置について説明する図である。 撮影された被写体の画像における被写体の位置について説明する図である。 撮影装置によるさらに他の撮影処理について説明するフローチャートである。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影された被写体の画像とテンプレートについて説明する図である。 撮影された被写体の画像とテンプレートについて説明する図である。

以下、本発明の実施の形態について図を参照して説明する。

［撮影装置の構成例］
図１は、本発明を適用した撮影装置の一実施の形態の構成例を示している。図１の撮影装置１１は、例えば、デジタルカメラや携帯電話機等の、撮影機能を有する電子機器である。

図１の撮影装置１１は、撮影部３１、入力部３２、記録部３３、表示部３４、音声出力部３５、制御部３６、ドライブ３７、およびリムーバブルメディア３８から構成される。

撮影部３１は、CCD（Charge Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサ等の光学的な画像を電気信号に変換する光電変換素子、および、光電変換素子に被写体の光学的な画像を結像させる光学系等からなる。撮影部３１は、制御部３６の制御に基づいて、被写体の画像を電気信号である画像信号に変換し、すなわち、被写体を撮影し、得られた画像信号を、制御部３６に供給する。

入力部３２は、撮影装置１１に対する指示を入力するためにユーザに操作される。入力部３２は、例えば、各種の操作ボタン、キーボード、マウス、リモコン、タッチパネル、マイクロホンなどから構成され、ユーザからの操作を受け付け、その操作内容を示す信号（情報）を制御部３６に供給する。

記録部３３は、ハードディスクドライブ、所定のドライブに駆動されるDVD（Digital Versatile Disk）などの光ディスクおよびそのドライブ、またはメモリカードなどの半導体メモリなどからなる。記録部３３は、例えば、撮影部３１において撮影された被写体の画像を記録する。

表示部３４は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）などの表示デバイスからなり、制御部３６の制御に基づいて、各種の画像を表示する。

音声出力部３５は、いわゆるスピーカにより構成され、制御部３６の制御に基づいて、各種の音声を出力する。

制御部３６は、例えば、マイクロプロセッサなどからなり、撮影装置１１全体を制御する。例えば、制御部３６は、撮影部３１からの画像信号に所定の処理を施し、所定の条件に基づいて、得られた画像データを記録部３３に供給し、記録させる。

制御部３６は、コンピュータプログラムを実行することにより、撮影制御部５１、画像処理部５２、顔検出部５３、属性検出部５４、入力制御部５５、条件判定部５６、記録制御部５７、表示制御部５８、および音声出力制御部５９を実現する。

撮影制御部５１は、入力制御部５５からの信号（情報）に基づいて、撮影部３１による被写体の撮影を制御する。撮影制御部５１は、撮影部３１から供給される画像信号から画像データを生成し、生成した画像データを画像処理部５２に供給する。

画像処理部５２は、撮影制御部５１からの画像データ（以下、単に、画像ともいう）に、適宜、所定の処理を施して、必要に応じて、顔検出部５３、記録制御部５７、および表示制御部５８に供給する。

顔検出部５３は、画像処理部５２から供給された画像から顔を検出し、顔を検出する領域である顔検出領域の位置および大きさに基づいて顔画像を抽出して、顔検出領域の位置を表す情報とともに、属性検出部５４に供給する。また、顔検出部５３は、顔検出領域の位置を表す情報を、条件判定部５６に供給する。

属性検出部５４は、顔検出部５３からの顔画像から、被写体の属性（表情、年齢、性別）を検出し、被写体の属性についての情報を、条件判定部５６に供給する。属性検出部５４は、表情検出部５４ａ、年齢検出部５４ｂ、および性別検出部５４ｃを備えている。表情検出部５４ａは、顔検出部５３からの顔画像から、被写体の顔の表情を検出する。年齢検出部５４ｂは、顔検出部５３からの顔画像から、被写体の年齢を検出する。性別検出部５４ｃは、顔検出部５３からの顔画像から、被写体の性別を検出する。

なお、顔検出部による顔の検出、および、属性検出部５４による属性の検出は、例えば、様々な顔画像について、顔画像とその属性を予め学習しておき、得られた学習データを記録部３３に記録させた上で、記録制御部５７を介して取得することで実現される。

入力制御部５５は、入力部３２を制御し、ユーザの操作に応じた、入力部３２からのユーザの操作を示す信号を取得し、撮影制御部５１および条件判定部５６に供給する。

条件判定部５６は、入力制御部５５からの信号に応じて、顔検出部５３からの顔検出領域の位置を表す情報や、属性検出部５４からの被写体の顔の属性についての情報に基づいて、顔検出領域の位置や被写体の顔の属性が、所定の条件を満たしているか否かを判定する。条件判定部５６は、判定の結果に応じて、記録制御部５７に対して画像の記録を指示したり、表示制御部５８に所定の条件を満たすための表示を指示するか、または、音声出力制御部５９に所定の条件を満たすための音声の出力を指示する。

記録制御部５７は、条件判定部５６からの指示に基づいて、画像処理部５２からの画像を、記録部３３に記録させる。

表示制御部５８は、画像処理部５２からの画像を表示部３４に表示させる他、条件判定部５６からの指示に基づいて、所定の条件を満たすための表示を表示部３４に行わせる。

音声出力制御部５９は、条件判定部５６からの指示に基づいて、所定の条件を満たすための音声を音声出力部３５に出力させる。

ドライブ３７には、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブルメディア３８が適宜装着される。ドライブ３７は、制御部３６に制御されて、装着されているリムーバブルメディア３８から読み出されたコンピュータプログラムやデータを、必要に応じて記録部３３にインストールするか記憶させる。

［撮影装置の撮影処理］
次に、図２のフローチャートを参照して、撮影装置１１による撮影処理について説明する。

撮影装置１１は、例えば、入力部３２が操作され、入力制御部５５が、撮影モードのうちの集合写真撮影モードの選択の指示を取得し、条件判定部５６に供給すると処理を開始する。

ステップＳ１１において、撮影部３１は、撮影制御部５１の制御に基づいて、被写体の画像を電気信号である画像信号に変換し、すなわち、被写体を撮影し、得られた画像信号を、撮影制御部５１に供給する。撮影制御部５１は、撮影部３１からの画像信号から画像データを生成し、画像処理部５２に供給する。画像処理部５２は、撮影制御部５１からの画像データを、顔検出部５３および表示制御部５８に供給する。このとき、表示制御部５８は、画像処理部５２からの画像データに基づいて、表示部３４に、撮影されている被写体の画像（いわゆるスルー画）を表示させる。

ステップＳ１２において、顔検出部５３は、画像処理部５２からの被写体の画像において、顔を検出し、顔検出領域の位置および大きさに基づいて顔画像を抽出して、属性検出部５４に供給する。また、顔検出部５３は、顔検出領域の位置を表す情報を、属性検出部５４および条件判定部５６に供給する。

例えば、画像処理部５２からの画像が、図３に示されるように、人物である被写体Ａ１乃至Ａ３が撮影されている画像である場合、顔検出部５３は、被写体Ａ１乃至Ａ３の３人それぞれの顔を検出し、それぞれの顔画像を属性検出部５４に供給する。また、顔検出部５３は、被写体Ａ１乃至Ａ３の３人それぞれの顔についての顔検出領域の位置を表す情報を、属性検出部５４および条件判定部５６に供給する。

ステップＳ１３において、条件判定部５６は、顔検出部５３からの顔検出領域の位置を表す情報を基に、検出された顔の数を求め、その数に応じたテンプレートを、記録制御部５７を介して、記録部３３から読み出す。

条件判定部５６によって読み出されるテンプレートは、集合写真において、被写体の数に応じた、被写体の顔の配置が最適となる位置（以下、指定位置という）を決定するためのデータである。例えば、図３に示されたように、被写体が３人である場合、条件判定部５６は、図４に示されるようなテンプレートを、記録部３３から読み出す。図４のテンプレートにおいては、被写体３人の集合写真に対して、被写体Ａ１乃至Ａ３の指定位置Ｐ１乃至Ｐ３が決定されている。条件判定部５６が読み出したテンプレートを表示制御部５８に供給することで、表示部３４には、被写体のスルー画に、図４に示されるようなテンプレートが重畳して表示される。

なお、例えば、被写体が５人である場合には、条件判定部５６は、図５に示されるようなテンプレートを記録部３３から読み出す。図５においては、被写体５人の集合写真に対して、指定位置Ｐ１乃至Ｐ５が決定される。また、例えば、被写体が１１人である場合には、条件判定部５６は、図６に示されるようなテンプレートを記録部３３から読み出す。図６においては、被写体１１人の集合写真に対して、指定位置Ｐ１乃至Ｐ１１が決定される。

図２のフローチャートに戻り、ステップＳ１４において、条件判定部５６は、撮影した画像における被写体の顔の位置と、テンプレートにおける指定位置とを比較する。より具体的には、条件判定部５６は、顔検出部５３からの顔検出領域の位置を表す情報から、顔検出領域の中心の座標を求め、テンプレートにおける指定位置の中心の座標との距離を算出する。

ステップＳ１５において、条件判定部５６は、撮影した画像における被写体の顔の位置が、テンプレートにおける指定位置にあるか否かを判定する。より具体的には、条件判定部５６は、ステップＳ１４において算出した顔検出領域の中心の座標と、テンプレートにおける指定位置の中心の座標との距離が、所定の距離より近いか否かを判定する。

ステップＳ１５において、被写体の顔の位置が指定位置にあると判定された場合、すなわち、顔検出領域の中心の座標と指定位置の中心の座標との距離が所定の距離より近い場合、処理は、ステップＳ１６に進む。すなわち、例えば、図７に示されるように、被写体Ａ１の顔の位置が指定位置Ｐ１にあり、被写体Ａ２の顔の位置が指定位置Ｐ２にあり、被写体Ａ３の顔の位置が指定位置Ｐ３にある場合、処理は、ステップＳ１６に進む。

ステップＳ１６において、条件判定部５６は、被写体の顔の表情が笑顔であるか否かを判定する。より具体的には、属性検出部５４の表情検出部５４ａは、ステップＳ１２において顔検出部５３から供給された顔画像に基づいて、被写体の顔の表情を検出し、被写体の顔の表情を表す情報を、顔検出領域を表す位置とともに、条件判定部５６に供給する。条件判定部５６は、表情検出部５４ａからの被写体の顔の表情を表す情報に基づいて、対応する位置にある被写体の顔の表情が笑顔であるか否かを判定する。

ステップＳ１６において、被写体の顔の表情が笑顔でないと判定された場合、処理は、ステップＳ１５に戻り、被写体の顔の表情が笑顔になるまで、ステップＳ１５，Ｓ１６の処理が繰り返される。

一方、ステップＳ１６において、被写体の顔の表情が笑顔であると判定された場合、条件判定部５６は、記録制御部５７に記録の指示を供給し、処理は、ステップＳ１７に進む。

ステップＳ１７において、記録制御部５７は、条件判定部５６からの指示に基づいて、画像処理部５２からの画像を、記録部３３に記録させる。すなわち、被写体の顔の位置が指定位置にあり、かつ、被写体の顔が笑顔になったとき、いわゆるシャッタボタンが押下された場合と同様にして、被写体の画像が記録される。

ところで、ステップＳ１５において、被写体の顔の位置が指定位置にないと判定された場合、すなわち、顔検出領域の中心の座標と指定位置の中心の座標との距離が所定の距離より遠い場合、処理は、ステップＳ１８に進む。すなわち、例えば、図８に示されるように、被写体Ａ１の顔の位置が指定位置Ｐ１の左側にずれてあり、被写体Ａ２の顔の位置が指定位置Ｐ２の左側にずれてあり、被写体Ａ３の顔の位置が指定位置Ｐ３の右側にずれてある場合、処理は、ステップＳ１８に進む。

ステップＳ１８において、表示制御部５８は、それぞれの被写体の顔の位置がそれぞれの指定位置となるように移動する指示を被写体に提示する。より具体的には、条件判定部５６は、表示制御部５８に、被写体の顔の位置が指定位置となるようにする（顔検出領域の中心の座標と指定位置の中心の座標との距離を所定の距離に近づける）ための表示を指示する。表示制御部５８は、条件判定部５６からの指示に基づいて、被写体の顔の位置が指定位置となるようにするための表示を表示部３４に行わせる。例えば、図８で説明したように、被写体の顔の位置が指定位置にない場合には、表示制御部５８は、図９に示されるように、被写体Ａ１については図中右側に、被写体Ａ２については図中右側に、被写体Ａ３については図中左側に、それぞれ移動するように矢印を表示させることで、撮影者を介して被写体に対する移動の指示を提示する。

また、被写体への移動の指示は、表示による撮影者を介してのものでなく、音声による被写体への直接の指示であってもよい。具体的には、条件判定部５６は、音声出力制御部５９に、被写体の顔の位置が指定位置となるようにするための音声の出力を指示する。音声出力制御部５９は、条件判定部５６からの指示に基づいて、被写体の顔の位置が指定位置となるようにするための音声を音声出力部３５に出力させる。例えば、図８で説明したように、被写体の顔の位置が指定位置にない場合には、音声出力制御部５９は、被写体Ａ１に対しては「向かって左側の人、もう少し左手に寄ってください」、被写体Ａ２に対しては「真ん中の人、もう少し左手に寄ってください」、被写体Ａ３に対しては「向かって右側の人、もう少し右手に寄ってください」と、それぞれ移動するように音声を出力させることで、被写体に対する移動の指示を提示する。

ステップＳ１８の後、処理はステップＳ１５に戻り、被写体の顔の位置が指定位置にあると判定されるまで、ステップＳ１５，Ｓ１８の処理が繰り返される。

以上の処理によれば、集合写真の撮影時に、被写体の数に応じたテンプレートを読み出して、それぞれの被写体の顔の位置が、テンプレートの指定位置にあるときに画像を記録するようにしたので、被写体がより最適な位置にあるときに撮影することが可能となる。

以上においては、被写体の顔の数に応じた指定位置に被写体の顔があるときに撮影する処理について説明したが、被写体の年齢、例えば、被写体が赤ちゃんである場合に撮影するようにすることもできる。

［撮影装置の他の撮影処理］
次に、図１０のフローチャートを参照して、赤ちゃんを撮影するときの赤ちゃん撮影モードにおける、撮影装置１１の撮影処理について説明する。

撮影装置１１は、例えば、入力部３２が操作され、入力制御部５５が、撮影モードのうちの赤ちゃん撮影モードの選択の指示を取得し、条件判定部５６に供給すると処理を開始する。

図１０のフローチャートにおいて、ステップＳ３１，Ｓ３２の処理は、図２のフローチャートのステップＳ１１，Ｓ１２の処理と同様であるので、その説明は省略する。

ステップＳ３３において、属性検出部５４の年齢検出部５４ｂは、顔検出部５３からの顔画像から被写体の年齢を検出し、被写体の年齢を表す情報を、条件判定部５６に供給する。

ステップＳ３４において、条件判定部５６は、年齢検出部５４ｂからの被写体の年齢を表す情報に基づいて、赤ちゃんの顔が存在するか否かを判定する。より具体的には、条件判定部５６は、年齢検出部５４ｂからの被写体の年齢を表す情報から、年齢が所定の年齢の範囲（例えば、０歳乃至３歳）に含まれている被写体が存在するか否かを判定する。

ステップＳ３４において、赤ちゃんの顔が存在すると判定された場合、処理は、ステップＳ３５に進み、条件判定部５６は、赤ちゃん撮影モードに対応したテンプレートを、記録制御部５７を介して、記録部３３から読み出す。ここで読み出されるテンプレートは、赤ちゃんの顔の位置を画像の中央に配置させるためのデータである。赤ちゃんが撮影されたシーンの画像においては、赤ちゃんは中央に写っていることが比較的多く、赤ちゃん撮影モードで用いられるテンプレートにおいては、画像の中央に指定位置が決定されている。

ステップＳ３６において、条件判定部５６は、撮影した画像における被写体（赤ちゃん）の顔の位置と、テンプレートにおける指定位置とを比較する。より具体的には、条件判定部５６は、顔検出部５３からの顔検出領域の位置を表す情報から、顔検出領域の中心の座標を求め、テンプレートにおける指定位置の中心の座標との距離を算出する。

ステップＳ３７において、条件判定部５６は、撮影した画像における被写体（赤ちゃん）の顔の位置が、テンプレートにおける指定位置にあるか否かを判定する。より具体的には、条件判定部５６は、ステップＳ３６において算出した顔検出領域の中心の座標と、テンプレートにおける指定位置の中心の座標との距離が、所定の距離より近いか否かを判定する。

ステップＳ３７において、被写体の顔の位置が指定位置にあると判定された場合、すなわち、顔検出領域の中心の座標と指定位置の中心の座標との距離が所定の距離より近い場合、処理は、ステップＳ３８に進む。すなわち、例えば、図１１に示されるように、被写体Ａ４が被写体Ｍに抱きかかえられているシーンが撮影されている画像であって、被写体Ａ４が赤ちゃんであると判定された画像において、被写体Ａ４の顔の位置が指定位置Ｐ４にある場合、処理は、ステップＳ３８に進む。

ステップＳ３８において、条件判定部５６は、被写体の顔の表情が笑顔であるか否かを判定する。より具体的には、属性検出部５４の表情検出部５４ａは、ステップＳ３２において顔検出部５３から供給された顔画像に基づいて、被写体の顔の表情を検出し、被写体の顔の表情を表す情報を、顔検出領域の位置を表す情報とともに、条件判定部５６に供給する。条件判定部５６は、表情検出部５４ａからの被写体の顔の表情を表す情報に基づいて、対応する位置にある被写体の顔の表情が笑顔であるか否かを判定する。

ステップＳ３８において、被写体の顔の表情が笑顔でないと判定された場合、処理は、ステップＳ３７に戻り、被写体の顔の表情が笑顔になるまで、ステップＳ３７，Ｓ３８の処理が繰り返される。

一方、ステップＳ３８において、被写体の顔の表情が笑顔であると判定された場合、条件判定部５６は、記録制御部５７に記録の指示を供給し、処理は、ステップＳ３９に進む。

ステップＳ３９において、記録制御部５７は、条件判定部５６からの指示に基づいて、画像処理部５２からの画像を、記録部３３に記録させる。すなわち、赤ちゃんである被写体の顔の位置が指定位置にあり、かつ、被写体の顔が笑顔になったとき、いわゆるシャッタボタンが押下された場合と同様にして、被写体の画像が記録される。

ところで、ステップＳ３７において、被写体の顔の位置が指定位置にないと判定された場合、すなわち、顔検出領域の中心の座標と指定位置の中心の座標との距離が所定の距離より遠い場合、処理は、ステップＳ４０に進む。すなわち、例えば、図１２に示されるように、被写体Ａ４の顔の位置が指定位置Ｐ４の左側にずれてある場合、処理は、ステップＳ４０に進む。

ステップＳ４０において、表示制御部５８は、被写体の顔の位置が指定位置となるように移動する指示を被写体に提示する。より具体的には、条件判定部５６は、表示制御部５８に、被写体の顔の位置が指定位置となるようにする（顔検出領域の中心の座標と指定位置の中心の座標との距離を所定の距離に近づける）ための表示を指示する。表示制御部５８は、条件判定部５６からの指示に基づいて、被写体の顔の位置が指定位置となるようにするための表示を表示部３４に行わせる。例えば、図１２で説明したように、被写体の顔の位置が指定位置にない場合には、表示制御部５８は、図１３に示されるように、被写体Ａ４を抱きかかえている被写体Ｍが被写体Ａ４を図中右側に移動するように矢印を表示させることで、撮影者を介して被写体に対する移動の指示を提示する。

また、被写体への移動の指示は、表示による撮影者を介してのものでなく、音声による被写体への直接の指示であってもよい。具体的には、条件判定部５６は、音声出力制御部５９に、被写体の顔の位置が指定位置となるようにするための音声の出力を指示する。音声出力制御部５９は、条件判定部５６からの指示に基づいて、被写体の顔の位置が指定位置となるようにするための音声を音声出力部３５に出力させる。例えば、図１２で説明したように、被写体の顔の位置が指定位置にない場合には、音声出力制御部５９は、被写体Ａ４を抱きかかえている被写体Ｍに対して、「赤ちゃんをもう少し左手に持ってきてください」と音声を出力させることで、被写体に対する移動の指示を提示する。

ステップＳ４０の後、処理はステップＳ３７に戻り、被写体の顔の位置が指定位置にあると判定されるまで、ステップＳ３７，Ｓ４０の処理が繰り返される。

また、ステップＳ３４において、赤ちゃんの顔が存在しないと判定された場合、条件判定部５６は、例えば、「赤ちゃんはいません」等の表示を表示部３４に行わせる指示を、表示制御部５８に供給して、処理は終了する。

なお、図１１乃至図１３を参照した説明では、赤ちゃんである被写体は１人であるものとしたが、複数であってもよく、赤ちゃんの数に応じた指定位置を決定するテンプレートを用いて撮影するようにすることもできる。

以上の処理によれば、赤ちゃんの撮影時に、赤ちゃんの撮影に応じたテンプレートを読み出して、被写体（赤ちゃん）の顔の位置が、テンプレートの指定位置にあるときに画像を記録するようにしたので、被写体がより最適な位置にあるときに撮影することが可能となる。

以上においては、被写体の顔がテンプレートで決定される指定位置にあるときに撮影する処理について説明したが、被写体同士が所定の位置関係にある場合に撮影するようにすることもできる。

［撮影装置のさらに他の撮影処理］
次に、図１４のフローチャートを参照して、男女ペアのカップルを撮影するときのカップル撮影モードにおける、撮影装置１１の撮影処理について説明する。

撮影装置１１は、例えば、入力部３２が操作され、入力制御部５５が、撮影モードのうちのカップル撮影モードの選択の指示を取得し、条件判定部５６に供給すると処理を開始する。

図１４のフローチャートにおいて、ステップＳ５１，Ｓ５２の処理は、図２のフローチャートのステップＳ１１，Ｓ１２の処理と同様であるので、その説明は省略する。

ステップＳ５３において、属性検出部５４の性別検出部５４ｃは、顔検出部５３からの顔画像から被写体の性別を検出し、被写体の性別を表す情報を、条件判定部５６に供給する。

ステップＳ５４において、条件判定部５６は、性別検出部５４ｃからの被写体の性別を表す情報に基づいて、男性の顔と女性の顔のそれぞれが存在するか否かを判定する。

ステップＳ５４において、男性の顔と女性の顔のそれぞれが存在すると判定された場合、処理は、ステップＳ５５に進み、条件判定部５６は、撮影した画像における男性の顔の位置と女性の顔の位置とを比較する。より具体的には、条件判定部５６は、顔検出部５３からの顔検出領域の位置を表す情報から、それぞれの顔検出領域の中心の座標を求め、男性の顔の顔検出領域の中心の座標と、女性の顔の顔検出領域の中心の座標との距離を算出する。例えば、男女２人ずつ計４人が撮影されている画像においては、男性１人の顔の顔検出領域の中心の座標と、女性２人それぞれの顔の顔検出領域の中心の座標との距離が算出される。また、同様にして、女性１人の顔の顔検出領域の中心の座標と、男性２人それぞれの顔の顔検出領域の中心の座標との距離が算出される。

ステップＳ５６において、条件判定部５６は、撮影した画像における男女それぞれの顔の位置が、所定の距離より近いか否かを判定する。より具体的には、例えば、男女２人ずつ計４人が撮影されている場合、条件判定部５６は、ステップＳ５５において算出した男女それぞれの顔検出領域の中心の座標間の距離のうち、より距離の近い男女ペア（カップル）間の顔検出領域の中心の座標の距離が、所定の距離より近いか否かを判定する。

ステップＳ５６において、男女それぞれの顔の位置が所定の距離より近いと判定された場合、処理は、ステップＳ５７に進む。すなわち、例えば、図１５に示されるように、被写体Ｂ１乃至Ｂ４が撮影されている画像であって、被写体Ｂ１，Ｂ３が男性、被写体Ｂ２，Ｂ４が女性であると判定された画像において、被写体Ｂ１の顔検出領域Ｑ１の中心の座標と被写体Ｂ２の顔検出領域Ｑ２の中心の座標との距離、被写体Ｂ３の顔検出領域Ｑ３の中心の座標と被写体Ｂ４の顔検出領域Ｑ４の中心の座標との距離がそれぞれ所定の距離より近い場合、処理は、ステップＳ５７に進む。

ステップＳ５７において、条件判定部５６は、被写体の顔の表情が笑顔であるか否かを判定する。より具体的には、属性検出部５４の表情検出部５４ａは、ステップＳ５２において顔検出部５３から供給された顔画像に基づいて、被写体の顔の表情を検出し、被写体の顔の表情を表す情報を、条件判定部５６に供給する。条件判定部５６は、表情検出部５４ａからの被写体の顔の表情を表す情報に基づいて、被写体の顔の表情が笑顔であるか否かを判定する。

ステップＳ５７において、被写体の顔の表情が笑顔でないと判定された場合、処理は、ステップＳ５６に戻り、被写体の顔の表情が笑顔になるまで、ステップＳ５６，Ｓ５７の処理が繰り返される。

一方、ステップＳ５７において、被写体の顔の表情が笑顔であると判定された場合、条件判定部５６は、記録制御部５７に記録の指示を供給し、処理は、ステップＳ５８に進む。

ステップＳ５８において、記録制御部５７は、条件判定部５６からの指示に基づいて、画像処理部５２からの画像を、記録部３３に記録させる。すなわち、男女ペアのカップルである被写体の顔同士の位置がお互いに近い位置にあり、かつ、被写体の顔が笑顔になったとき、いわゆるシャッタボタンが押下された場合と同様にして、被写体の画像が記録される。

ところで、ステップＳ５６において、男女それぞれの顔の位置が所定の距離より近くないと判定された場合、処理は、ステップＳ５９に進む。すなわち、例えば、図１６に示されるように、被写体Ｂ１の顔検出領域Ｑ１の中心の座標と被写体Ｂ２の顔検出領域Ｑ２の中心の座標との距離は所定の距離より近いものの、被写体Ｂ３の顔検出領域Ｑ３の中心の座標と被写体Ｂ４の顔検出領域Ｑ４の中心の座標との距離が所定の距離より遠い場合、処理は、ステップＳ５９に進む。

ステップＳ５９において、表示制御部５８は、男女それぞれの顔の位置が所定の距離より近い位置となるように移動する指示を被写体に提示する。より具体的には、条件判定部５６は、表示制御部５８に、男女それぞれの顔の位置が所定の距離より近い位置となるようにする（男女それぞれの顔検出領域の中心の座標間の距離を所定の距離に近づける）ための表示を指示する。表示制御部５８は、条件判定部５６からの指示に基づいて、男女それぞれの顔の位置が所定の距離より近い位置となるようにするための表示を表示部３４に行わせる。例えば、図１６で説明したように、被写体Ｂ３の顔検出領域Ｑ３の中心の座標と被写体Ｂ４の顔検出領域Ｑ４の中心の座標との距離が所定の距離より近い位置にない場合には、表示制御部５８は、図１７に示されるように、被写体Ｂ３，Ｂ４それぞれについて、お互い近づくように矢印を表示させることで、撮影者を介して被写体に対する移動の指示を提示する。

また、被写体への移動の指示は、表示による撮影者を介してのものでなく、音声による被写体への直接の指示であってもよい。具体的には、条件判定部５６は、音声出力制御部５９に、男女それぞれの顔の位置が所定の距離より近い位置となるようにするための音声の出力を指示する。音声出力制御部５９は、条件判定部５６からの指示に基づいて、男女それぞれの顔の位置が所定の距離より近い位置となるようにするための音声を音声出力部３５に出力させる。例えば、図１６で説明したように、男女それぞれの顔の位置が所定の距離より近い位置にない場合には、音声出力制御部５９は、被写体Ｂ３，Ｂ４それぞれに対して、「向かって右側のカップル、もう少し近づいて下さい」と音声を出力させることで、被写体に対する移動の指示を提示する。

ステップＳ５９の後、処理はステップＳ５６に戻り、男女それぞれの顔の位置が所定の距離より近い位置にあると判定されるまで、ステップＳ５６，Ｓ５９の処理が繰り返される。

また、ステップＳ５４において、男性の顔と女性の顔のそれぞれが存在しないと判定された場合、条件判定部５６は、例えば、「カップルはいません」等の表示を表示部３４に行わせる指示を、表示制御部５８に供給して、処理は終了する。

なお、図１５乃至図１７を参照した説明では、被写体が男女２人ずつ計４人で、２組のカップルを撮影するものとしたが、例えば、男性１人女性２人であった場合には、より近い男女ペアをカップルとして、１組のカップルと女性１人を撮影するようにしてもよいし、位置関係として、女性２人の間に男性１人がいる場合には、女性２人それぞれを男性１人に近づけるように移動させて撮影するようにしてもよい。

以上の処理によれば、カップルの撮影時に、男女の顔の位置が、所定の距離より近い位置にあるときに画像を記録するようにしたので、被写体がより最適な位置にあるときに撮影することが可能となる。

以上においては、被写体の顔の位置が所定の位置となるように移動する指示を、（撮影者を介して）被写体に提示する処理について説明してきたが、被写体の顔の位置が所定の位置となるように移動する指示を、撮影者自身に提示させるようにもできる。

［撮影装置のさらに他の撮影処理］
次に、図１８のフローチャートを参照して、被写体の顔の位置を所定の位置に移動する指示を撮影者に提示する、撮影装置１１の撮影処理について説明する。

なお、図１８のフローチャートにおいて、ステップＳ７１乃至Ｓ７７の処理は、図２のフローチャートのステップＳ１１乃至Ｓ１７の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ７８において、表示制御部５８は、それぞれの被写体の顔の位置がそれぞれの指定位置となるように移動する指示を撮影者に提示する。

より具体的には、条件判定部５６は、例えば、被写体を撮影した画像における、それぞれの顔検出領域の中心の座標から、対応する指定位置の中心の座標へのベクトルの水平方向成分（水平方向ベクトル）を求める。条件判定部５６は、それぞれの水平方向ベクトルの向きが同じである場合、すなわち、それぞれの被写体の顔の位置が、対応する指定位置からそれぞれ水平方向に同じ向きにずれてある場合、それぞれの水平方向ベクトルの平均ベクトルを求め、その平均ベクトルが０になるようにするための表示を、表示制御部５８に指示する。表示制御部５８は、条件判定部５６からの指示に基づいて、平均ベクトルが０になるようにするための表示（すなわち、被写体の顔の位置が指定位置となるようにするための表示）を表示部３４に行わせる。例えば、図１９に示されるように、被写体Ａ１１の顔の位置が指定位置Ｐ１１の左側にずれてあり、同様に、被写体Ａ１２の顔の位置が指定位置Ｐ１２の左側にずれてある場合、表示制御部５８は、図２０に示されるように、撮影者に対する、「左へ移動して下さい」というコメントとともに矢印を表示させることで、撮影者に対する移動の指示を提示する。

また、条件判定部５６は、求めたそれぞれの水平方向ベクトルの向きが異なる場合、すなわち、それぞれの被写体の顔の位置が、対応する指定位置からそれぞれ水平方向に異なる向きにずれてある場合、画像の中心に向かう水平方向ベクトルが多いか、画像の外側に向かう水平方向ベクトルが多いかに応じて、撮影者に対する移動を指示する表示を、表示制御部５８に指示する。表示制御部５８は、条件判定部５６からの指示に基づいて、被写体の顔の位置が指定位置になるようにするための表示を表示部３４に行わせる。例えば、図２１に示されるように、被写体Ａ１１の顔の位置が指定位置Ｐ１１の左側にずれてあり、被写体Ａ１２の顔の位置が指定位置Ｐ１２の右側にずれてある場合、画像の中心に向かう水平方向ベクトルが多くなり、表示制御部５８は、図２２に示されるように、撮影者に対する、「後ろへ移動して下さい」というコメントとともに矢印を表示させることで、撮影者に対する移動の指示を提示する。また、図示はしないが、画像の外側に向かう水平方向ベクトルが多い場合には、表示制御部５８は、撮影者に対する、「前へ移動して下さい」というコメントとともに矢印を表示させる。

なお、ステップＳ７８においても、撮影者への移動の指示は、表示によるものでなく、音声による撮影者への指示であってもよい。例えば、図１９で説明したような場合には、音声出力制御部５９は、撮影者に対して「撮影者は左へ動いて下さい」と、また、図２１で説明したような場合には、撮影者に対して「撮影者は後ろへ動いて下さい」と、音声を出力させることで、撮影者に対する移動の指示を提示する。

このように、撮影装置１１は、被写体の位置関係に基づいて、撮影者に対して移動の指示を提示することで、被写体の顔の位置を、相対的にテンプレートの指定位置に移動するようにできる。

以上の処理によれば、被写体の撮影時に、被写体の数に応じたテンプレートを読み出して、それぞれの被写体の顔の位置が、テンプレートの指定位置にあるときに画像を記録するようにしたので、被写体がより最適な位置にあるときに撮影することが可能となる。

なお、図１８乃至図２２を参照して説明した処理では、被写体が２人であったが、３人以上の場合には、撮影者に対する移動の指示に加えて、被写体に対する移動の指示を提示することで、被写体の顔の位置をテンプレートの指定位置に移動させることができる。

さらに、撮影モードが、赤ちゃん撮影モードやカップル撮影モードである場合にも、必要に応じて、撮影者に対する移動の指示の提示を適用したり、撮影者と被写体に対する移動の指示の提示を適用することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３８、または、プログラムが一時的もしくは永続的に格納される記録部３３としてのROMやRAMを構成するハードディスクなどにより構成される。プログラム記憶媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである図示せぬ通信部を介して、ネットワーク、ローカルエリアネットワーク、インターネット、デジタル衛生放送といった、有線または無線の通信媒体を利用して行われる。

また、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 撮影装置， ３１ 撮影部， ３３ 記録部， ３４ 表示部， ３５ 音声出力部， ３６ 制御部， ５１ 撮影制御部， ５３ 顔検出部， ５４ 属性検出部， ５４ａ 表情検出部， ５４ｂ 年齢検出部， ５４ｃ 性別検出部， ５６ 条件判定部， ５７ 記録制御部， ５８ 表示制御部， ５９ 音声出力制御部

Claims (13)

1. 画像を撮影する撮影手段と、
   前記撮影手段によって撮影された前記画像において、被写体を検出する被写体検出手段と、
   前記被写体検出手段によって検出された前記被写体の位置が、前記画像において所定位置にある場合、前記画像の記録を制御する記録制御手段と、
   前記被写体検出手段によって検出された前記被写体の位置が、前記画像において前記所定位置にない場合、前記被写体の位置が前記所定位置となるように移動する指示を提示する提示手段と
   を備える撮影装置。
2. 前記被写体検出手段は、前記被写体としての人物の顔を検出し、
   前記記録制御手段は、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にある場合、前記画像の記録を制御し、
   前記提示手段は、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示を提示する
   請求項１に記載の撮影装置。
3. 前記記録制御手段は、前記被写体検出手段によって検出された複数の前記顔の位置が、前記顔の数に応じた複数の前記所定位置にある場合、前記画像の記録を制御し、
   前記提示手段は、前記被写体検出手段によって検出された複数の前記顔の位置が、前記顔の数に応じた複数の前記所定位置にない場合、複数の前記顔のそれぞれの位置がそれぞれの前記所定位置となるように移動する指示を提示する
   請求項２に記載の撮影装置。
4. 複数の前記所定位置は、前記顔の数に応じたテンプレートによって決定される
   請求項３に記載の撮影装置。
5. 前記被写体検出手段によって検出された前記顔に基づいて、前記被写体の年齢を検出する年齢検出手段をさらに備え、
   前記記録制御手段は、前記年齢検出手段によって検出された前記被写体の年齢が所定の年齢の範囲であり、かつ、前記顔の位置が前記所定位置にある場合、前記画像の記録を制御し、
   前記提示手段は、前記年齢検出手段によって検出された前記被写体の年齢が所定の年齢の範囲であり、かつ、前記顔の位置が前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示を提示する
   請求項２に記載の撮影装置。
6. 前記被写体検出手段によって検出された複数の前記顔に基づいて、複数の前記顔に対応する前記被写体の性別を検出する性別検出手段をさらに備え、
   前記記録制御手段は、前記性別検出手段によって性別が検出された前記被写体の顔のうち、異性の前記被写体の顔同士の位置が所定の距離より近い場合、前記画像の記録を制御し、
   前記提示手段は、前記性別検出手段によって性別が検出された前記被写体の顔のうち、異性の前記被写体の顔同士の位置が所定の距離より遠い場合、前記異性の前記被写体の顔同士の位置が所定の距離より近い位置となるように移動する指示を提示する
   請求項２に記載の撮影装置。
7. 前記被写体検出手段によって検出された前記顔に基づいて、前記顔の表情を検出する表情検出手段をさらに備え、
   前記記録制御手段は、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にあり、かつ、前記表情検出手段によって検出された前記顔の表情が笑顔である場合、前記画像の記録を制御する
   請求項２に記載の撮影装置。
8. 前記提示手段は、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示を、前記被写体に提示する
   請求項２に記載の撮影装置。
9. 前記提示手段は、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示を、撮影者に提示する
   請求項２に記載の撮影装置。
10. 前記提示手段は、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示の表示を制御する
    請求項２に記載の撮影装置。
11. 前記提示手段は、前記被写体検出手段によって検出された前記顔の位置が、前記画像において前記所定位置にない場合、前記顔の位置が前記所定位置となるように移動する指示の音声による出力を制御する
    請求項２に記載の撮影装置。
12. 画像を撮影する撮影ステップと、
    前記撮影ステップの処理によって撮影された前記画像において、被写体を検出する被写体検出ステップと、
    前記被写体検出ステップの処理によって検出された前記被写体の位置が、前記画像において所定位置にある場合、前記画像の記録を制御する記録制御ステップと、
    前記被写体検出ステップの処理によって検出された前記被写体の位置が、前記画像において前記所定位置にない場合、前記被写体の位置が前記所定位置となるように移動する指示を提示する提示ステップと
    を含む撮影方法。
13. 画像の撮影を制御する撮影制御ステップと、
    前記撮影制御ステップの処理によって撮影された前記画像において、被写体を検出する被写体検出ステップと、
    前記被写体検出ステップの処理によって検出された前記被写体の位置が、前記画像において所定位置にある場合、前記画像の記録を制御する記録制御ステップと、
    前記被写体検出ステップの処理によって検出された前記被写体の位置が、前記画像において前記所定位置にない場合、前記被写体の位置が前記所定位置となるように移動する指示の提示を制御する提示制御ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images