JP2010081304A - 撮影装置、撮影案内方法、及びプログラム - Google Patents

Abstract

【課題】撮影時に特定の人物に対して適切な案内を行う。
【解決手段】内部記憶装置２には、音声案内を行う対象人物の個人情報として、名前愛称、年齢、お気に入りキャラクタ、好きな音楽、言語、国などが登録される。まず、ＣＰＵ８は、カメラ装置３の撮像素子で撮影された撮影フレーム内から人物の顔位置を検出し、撮影人物に指定されている、すなわち指定ＯＮ／ＯＦＦフラグがＯＮに設定されている人物が撮影フレーム内に収まっているか否かを判断し、撮影フレーム内に収まっていない人物がいる場合に、その人物の個人情報に従って、該人物が特定可能な案内文を作成し、音声合成して音声入出力装置５のスピーカから出力する。そして、全員が撮影フレーム内に収まると撮影する。
【選択図】図１

Description

本発明は、顔認識機能を有し、被写体に対してより良い撮影状態となるよう案内を行う撮影装置、撮影案内方法、及びプログラムに関する。

従来より、デジタルカメラや、携帯電話などの撮影装置において、顔検出／顔認識技術を利用して自動的に撮影する機能を有し、例えば、被写体として撮影フレーム内にいる人物の顔にオートフォーカスして撮影したり、笑顔になったことを認識して自動的に撮影したりする技術が知られている。さらに、撮影前に、顔データを静止画より特徴点を抽出、登録し、顔検出時に特徴点とのマッチング度により判断し、例えば、指定した人物全てが認識されたら自動的に撮影する機能や、指定された人物が含まれていない場合には、カメラの向きや、被写体の移動方向、立ち位置などを、ＬＥＤや、操作音、音声などで案内する技術が知られている（例えば、特許文献１、特許文献２、特許文献３、特許文献４参照）。

特開２００５−３４１０１６号公報 特開２００５−２６９５６２号公報 特開２００６−７４３６８号公報 特開２００４−３４９９５９号公報

しかしながら、上記従来技術では、指定された人物が含まれていない場合や、ベストの状態（撮影フレーム内に収まるなど）でない場合、警告等の案内機能が不十分であった。例えば、従来技術では、指定された人物が含まれていない場合や、ベストの状態（撮影フレーム内に収まるなど）でない場合に、ＬＥＤを発光したり、操作音や、音声で案内するものの、具体的に、誰が含まれていないか、誰が撮影フレーム内に収まっていないのかを知る術がなく、適切な案内を行うことができないという問題があった。

そこで本発明は、顔認識機能を利用して、より良い撮影状態となるよう特定の人物に対して適切な案内を行うことができる撮影装置を提供することを目的とする。

上記目的達成のため、請求項１記載の発明は、被写体を撮像する撮像手段と、前記撮像手段により撮像して得られた画像から複数の人物の顔部分を認識する顔認識手段と、前記顔認識手段により認識された複数の人物の顔部分が所定の状態であるか否かを判定する状態判定手段と、前記状態判定手段により所定の状態でないと判定された場合に、前記複数の人物の顔部分を所定の状態にするためには、どの人物の状態をどのように変化させる必要があるかを特定する特定手段と、前記特定手段により特定された人物に対して前記特定手段により特定されたように状態を変化させることを指示する案内情報であって、該当人物および当該状態変化の内容を特定可能な案内情報を出力する案内情報出力手段とを具備することを特徴とする撮影装置である。

また、好ましい態様として、例えば請求項２記載のように、請求項１に記載の撮影装置において、複数の人物の各々に対応させて、各人物の顔部分を特徴づける顔認識用データと各人物の個人情報とを対応付けて予め記憶する個人情報記憶手段と、前記顔認識手段により認識された顔部分に対応する人物を、前記個人情報記憶手段に記憶されている顔認識用データに基づいて特定する人物特定手段と、前記人物特定手段により特定された人物の個人情報を、前記個人情報記憶手段から読み出す個人情報読出手段とを更に備え、前記案内情報出力手段は、前記個人情報読出手段により読み出された個人情報に基づいて、前記人物に対して前記特定手段により特定されたように状態を変化させることを指示する案内文であって、該当人物および当該状態変化の内容を特定可能な案内文を作成する案内文作成手段と、前記案内文作成手段により作成された案内文に基づいて、案内音声を合成して出力する案内音声出力手段とを含むことを特徴とする。

また、好ましい態様として、例えば請求項３記載のように、請求項１または２に記載の撮影装置において、前記状態判定手段は、撮影対象となっている全ての人物が前記撮像手段により撮像される所定の撮像領域内に収まっているか否かを判定し、前記特定手段は、撮影対象となっている全ての人物のうち、前記撮像手段により撮像される所定の撮像領域内に収まっていない状態の人物を特定するとともに、当該人物が撮影領域内に移動するような状態変化が必要であることを特定することを特徴とする。

また、好ましい態様として、例えば請求項４記載のように、請求項１または２に記載の撮影装置において、前記状態特定手段は、前記顔認識手段により認識された複数の人物の顔部分の位置関係が所定の距離範囲内にあるか否かを判定し、前記特定手段は、前記顔認識手段により認識された複数の人物のうち、この複数の人物の全体から離れている状態の人物を特定するとともに、当該人物が他の人物の方に寄るような状態変化が必要であることを特定することを特徴とする。

また、好ましい態様として、例えば請求項５記載のように、請求項１または２に記載の撮影装置において、前記状態特定手段は、前記顔認識手段により認識された複数の人物全体の中心点と、前記撮像手段により撮像される所定の撮像領域の中心点とのずれ量が所定値以内であるか否かを判定し、前記特定手段は、前記顔認識手段により認識された複数の人物の全体が、撮像領域の中心点の方向へと移動するような状態変化が必要であることを特定することを特徴とする。

また、好ましい態様として、例えば請求項６記載のように、請求項１または２に記載の撮影装置において、前記状態特定手段は、前記顔認識手段により認識された全ての人物が笑った状態であるか否かを判定し、前記特定手段は、前記顔認識手段により認識された複数の人物のうち、笑った状態で撮像されていない人物を特定するとともに、当該人物が笑うような状態変化が必要であることを特定することを特徴とする。

また、好ましい態様として、例えば請求項７記載のように、請求項２に記載の撮影装置において、前記個人情報は、人物の呼称を含み、前記案内文作成手段は、前記人物の呼称が含まれる前記案内文を作成することを特徴とする。

また、好ましい態様として、例えば請求項８記載のように、請求項１乃至７のいずれかに記載の撮影装置において、前記特定手段により特定可能な複数の状態変化の各々に対応させて、複数の基本案内文を記憶する基本案内文記憶手段を更に備え、前記案内文作成手段は、前記基本案内文記憶手段に記憶されている複数の案内文の中から、前記特定手段により特定された状態変化に応じた少なくとも１つ以上の基本案内文を選択する基本案内文選択手段と、前記基本案内文選択手段により選択された少なくとも１つ以上の基本案内文と前記個人情報読出手段により読み出された個人情報とを合成して、前記案内文を作成する案内文合成手段とを備えることを特徴とする。

また、好ましい態様として、例えば請求項９記載のように、請求項１乃至８のいずれかに記載の撮影装置において、前記人物特定手段により特定すべき少なくも一人以上の人物を指定する指定手段を更に備え、前記個人情報記憶手段は、前記指定手段により指定されているか否かを示す指定フラグを、人物の個人情報と対応付けて記憶し、前記人物特定手段は、前記指定フラグが有効に設定されている少なくも一人以上の人物を、前記顔認識手段により認識された顔部分に対応する人物の中から、前記個人情報記憶手段に記憶されている顔認識用データに基づいて特定することを特徴とする。

また、上記目的達成のため、請求項１０記載の発明は、被写体を撮像するステップと、前記撮像して得られた画像から複数の人物の顔部分を認識するステップと、前記認識された複数の人物の顔部分が所定の状態であるか否かを判定するステップと、前記所定の状態でないと判定された場合に、前記複数の人物の顔部分を所定の状態にするためには、どの人物の状態をどのように変化させる必要があるかを特定するステップと、前記特定された人物に対して前記特定されたように状態を変化させることを指示する案内情報であって、該当人物および当該状態変化の内容を特定可能な案内情報を出力するステップとを含むことを特徴とする撮影案内方法である。

また、上記目的達成のため、請求項１１記載の発明は、で被写体を撮像する撮像部を備える撮影装置の動作を制御するプログラムであって、コンピュータに、前記撮影部により被写体を撮像する撮像機能、前記撮像部により撮像して得られた画像から複数の人物の顔部分を認識する顔認識機能、前記顔認識機能により認識された複数の人物の顔部分が所定の状態であるか否かを判定する状態判定機能、前記状態判定機能により所定の状態でないと判定された場合に、前記複数の人物の顔部分を所定の状態にするためには、どの人物の状態をどのように変化させる必要があるかを特定する特定機能、前記特定機能により特定された人物に対して前記特定手段により特定されたように状態を変化させることを指示する案内情報であって、該当人物および当該状態変化の内容を特定可能な案内情報を出力する案内情報出力機能、を実現させることを特徴とするプログラムある。

この発明によれば、より良い撮影状態にするためには、被写体の中の誰がどのようにすればよいかを自動的に判断し、案内を行う対象となる人物およびその動作を特定可能な案内文により適切な案内を行うことができるという利点が得られる。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図において、入力装置１は、シャッターボタン、十字キー、機能選択ボタンなどの複数のボタンスイッチからなる。内部記憶装置２は、ＲＯＭ、ＲＡＭなどからなり、所定のプログラムや、データなどを記憶する。特に、本実施形態では、撮影時に撮影フレーム内に入っていない人物に対して撮影フレームに入るように案内する際の案内文や、該案内文を作成するために用いる個人情報を記憶する。カメラ装置３は、光学レンズ、撮像素子、ドライバなどからなり、撮像した映像を取り込む。表示装置４は、液晶表示器などからなり、撮影時のスルー画像や、撮影後の撮像画像、各種メニュー、撮影パラメータなどを表示する。

音声入出力装置５は、マイク、スピーカ、音声処理部などからなり、外部の音声をマイクから入力するとともに、音声データをＤＡ変換してスピーカから出力する。特に、本実施形態では、撮影時に、特定の人物に対する案内文（撮影フレーム内への移動など）を音声合成する機能を備えている。外部記憶装置６は、ＳＤスロットなどの外部記憶媒体を装着するためのインターフェースを備えており、外部記憶媒体との間でデータの授受を行う。外部記憶媒体には、撮像画像などが所定のフォーマットで保存される。なお、上述した個人情報や、案内文を該外部記録媒体に記憶するようにしてもよい。ストロボ発光装置７は、露出不足を補うための発光手段である。

ＣＰＵ８は、所定のプログラムを実行し、上述した各部の動作を制御する。特に、本実施形態では、個人情報の登録、顔認識による個人認識、認識した個人が所定の状態で撮像されているか否かの判別、撮影フレーム内に特定の個人が所定の状態で撮像されていない場合の音声出力による案内のなどを行う。以下では、本発明による、上述した個人情報の登録、顔認識による個人認識、認識した個人が所定の状態で撮像されているか否かの判別、撮影フレーム内に特定の個人が所定の状態で撮像されていない場合の音声出力による案内について詳細に説明する。

図２は、本実施形態によるデジタルカメラにおいて登録された個人情報の一例を示す概念図である。本実施形態では、ユーザは、撮影時に音声案内を行う対象者を予め登録しておく。登録内容としては、図２に示すように、名前愛称、年齢、お気に入りキャラクタ、好きな音楽、言語、国、顔画象、顔特徴点データ、指定ＯＮ／ＯＦＦフラグなどがある。まず、名前愛称は、音声案内時に案内を行う対象となる人物に呼びかける際の呼称となる。年齢は、その人物の年齢であり、音声案内時の呼称に付ける敬称や、文末の文言（〜です。〜下さい。〜ね。など）を選択するために参照される。

お気に入りキャラクタや、音楽は、年齢同様に、音声案内時の声色（人気アイドルや、芸能人、アニメのキャラクタなど）を選択するために参照される。音楽は、音声案内時に音声案内と一緒に出力される音楽を選択するために参照される。言語及び国は、案内文作成時の言語（日本語、英語、中国語など）を選択するために参照される。顔画象は、登録時、あるいは前もって撮影されたその人物の顔画象であり、顔を特徴づける（個人識別可能とする）顔特徴点データの抽出に用いられるとともに、音声案内設定時に特定の人物を指定する際のサムネイルとして用いられる。顔特徴点データは、顔画象が登録された時点で抽出、登録され、撮影時の人物を特定するために用いられる。指定ＯＮ／ＯＦＦフラグは、撮影対象の人物として指定するか否かを設定するためのフラグである。

図３（ａ）、（ｂ）は、本実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。ユーザが個人情報を設定すべく所定の操作を行うと、図３（ａ）に示すような設定画面が表示される。ユーザは、該設定画面において、顔画象、名前愛称、年齢、お気に入りキャラクタ、お気に入り音楽などを設定する。また、該設定画面において、設定内容を変更したい人物にカーソルを合わせると、図３（ｂ）に示すように、その人物に設定されている個人情報が表示され、修正が可能となる。また、該設定画面において、案内を行う対象となる人物を指定する指定ＯＮ／ＯＦＦフラグも設定可能であり、該指定ＯＮ／ＯＦＦフラグがＯＮの人物が撮影対象の人物として指定される。図３（ａ）、（ｂ）に示す例では、「パパ」、「ママ」、「ケン」、「ユウ」の４人が撮影対象の人物として指定されている。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。

図４及び図５は、本実施形態によるデジタルカメラの動作（音声案内による撮影）を説明するためのフローチャートである。まず、ユーザは、撮影対象となる人物を、図３（ａ）、（ｂ）で示す設定画面で指定する。次に、ユーザがデジタルカメラを把持し、表示装置に表示されるスルー画像を見ながら、撮影フレーム内に被写体（単数、複数）が収まるように、背景を含めた構図を決定する。

デジタルカメラでは、まず、撮像素子の撮影フレーム内の画像から、人物の顔位置を検出することで、被写体である人物を追従しながら撮影開始待ち状態（スルー画像表示）を維持する（ステップＳ１０）。この状態で、キャンセルキーが操作されたか否かを判断し（ステップＳ１２）、キャンセルキーが操作された場合には、当該処理を終了する。

一方、キャンセルキーが操作されない場合には、撮像素子により撮影された撮影フレーム内の画像から、人物の顔の特徴点を解析し（ステップＳ１４）、撮影対象に指定されている、すなわち指定ＯＮ／ＯＦＦフラグがＯＮに設定されている人物数分の顔を解析し（ステップＳ１６）、指定ＯＮ／ＯＦＦフラグがＯＮに設定されている全員が撮影フレーム内に収まっているか否かを判断する（ステップＳ１８）。このとき、全員が撮影フレーム内に収まっていない場合には、撮影フレームの外側の人物（撮影対象として指定されているにもかかわらず撮影フレームに収まっていない人物）に対して、その人物の個人情報に従って案内文を作成する（ステップＳ２０）。

本実施形態では、案内文とする基本的な文章を、例えば、文節単位で記憶しておき、それらと個人情報とをさまざまに組み合わせることで、該当人物を特定可能な案内文を作成する。なお、案内文の作成の詳細については後述する。次に、作成した案内文を音声合成して音声入出力装置５のスピーカから出力する（ステップＳ２２）。その後、ステップＳ１０に戻り、上述した処理を繰り返す。

一方、ステップＳ１８で、全員が撮影フレーム内に収まっている場合には、複数の指定人物の中心点から各人物（顔）までの距離を解析し（ステップＳ２４）、該解析結果に従って特定人物が中心点から所定以上離れているか否かを判断する（ステップＳ２６）。そして、特定人物が複数の指定人物の中心点から所定以上離れている場合には、その特定人物に対して、その人物の個人情報に従って案内文を作成する（ステップＳ２８）。次に、作成した案内文を音声合成して音声入出力装置５のスピーカから出力する（ステップＳ２２）。その後、ステップＳ１０に戻り、上述した処理を繰り返す。

また、複数の指定人物の中心点から所定以上離れている人物がいない場合には、撮影フレーム内に収まっている複数の指定人物の中心点と、撮影フレームの中心点との距離を解析し（ステップＳ３０）、該解析結果に従って、複数の指定人物の中心点が撮影フレームの中心点から所定以上離れているか否かを判断する（ステップＳ３２）。そして、複数の指定人物の中心点が撮影フレームの中心から所定以上離れている場合には、複数の指定人物全員に対して、各人の個人情報に従って案内文を作成する（ステップＳ３４）。次に、作成した案内文を音声合成して音声入出力装置５のスピーカから出力する（ステップＳ２２）。その後、ステップＳ１０に戻り、上述した処理を繰り返す。

一方、ステップＳ３２で、複数の指定人物の中心点が撮影フレームの中心点から所定以上離れていない場合には、複数の指定人物の各人の顔の表情（笑顔）を解析し（ステップＳ３６）、該解析結果に従って、全員が笑顔であるか否かを判断する（ステップＳ３８）。そして、全員が笑顔でない場合には、笑顔でない人物に対して、その人物の個人情報に従って案内文を作成する（ステップＳ４０）。

次に、該当人物のお気に入り情報を解析し（ステップＳ４２）、個人情報にお気に入り情報が登録されているか否かを判断する（ステップＳ４４）。そして、該当人物の個人情報にお気に入り情報が登録されていない場合には、ステップＳ４０で作成した案内文を音声合成して音声入出力装置５のスピーカから出力する（ステップＳ２２）。その後、ステップＳ１０に戻り、上述した処理を繰り返す。

一方、該当人物の個人情報にお気に入り情報が登録されている場合には、ステップＳ４０で作成した案内文を、お気に入りキャラクタの声色で音声合成して音声入出力装置５のスピーカから出力し（ステップＳ４６）、さらに／あるいは、お気に入りの音楽を併せて声入出力装置５のスピーカから出力する（ステップＳ４８）。

そして、全員が撮影フレーム内に収まり、かつ全員の表情が笑顔になると、自動で撮影すること、あるいは撮影可能であることを（音声または文字などで）案内し、該案内に応じてシャッターボタンが押下された時点で撮影するか、あるいは該案内の数秒後に自動で撮影する（ステップＳ５０）。撮影された画像は、外部記憶装置６に所定のフォーマット形式（ＪＰＥＧなど）の画像データとして保存される。

図６は、本実施形態によるデジタルカメラの動作（案内文作成）を説明するためのフローチャートである。まず、該当人物（撮影対象として指定されているにもかかわらず撮影フレームに収まっていない人物、撮影フレーム内に収まっているが全体から離れている人物、あるいは笑顔でない人物）の個人情報の言語に従って、案内文の言語を設定する（ステップＳ６０）。つまり、言語に「日本語」が設定されていれば、案内文を日本語で作成すべく「日本語」に設定し、言語に「英語」が設定されていれば、案内文を英語で作成すべく「英語」に設定する。

次に、該当人物の個人情報の名前愛称を、案内文の呼称に設定する（ステップＳ６２）。つまり、例えば、該当人物の名前愛称が「パパ」であれば、該当人物に呼びかける、案内文の文頭を「パパ」とし、該当人物の名前愛称が「ユウ」であれば、案内文の文頭を「ユウ」とする。次に、該当人物の撮影状態に応じて指示文を選択する（ステップＳ６４）。撮影状態とは、撮影フレームに収まっていない場合や、撮影フレーム内に収まっているが全体から離れている場合、撮影フレームの中心から離れている場合など、あるいは笑顔でない場合である。

撮影状態が、撮影フレームに収まっていない場合や、撮影フレーム内に収まっているが全体から離れている場合、撮影フレームの中心から離れている場合などには、該当人物のずれ方向、ずれ量から、指示文として、「もっと」＋「右に移動して」とか、「もう少し」＋「左に移動して」、「撮影フレームに入って」などを選択し、撮影状態が、笑顔でない場合には、指示文として、「笑って」などを選択する。

次に、該当人物の年齢に応じて、敬称や、文末語を選択する（ステップＳ６６）。つまり、該当人物の年齢が低く子供である場合には「ちゃん」、該当人物の年齢が高く大人である場合には「さん」などを選択する。さらに、年齢に応じて案内文の文末として「下さい」、「ね」などを選択する。

最後に、上述した各ステップで設定、選択した文言を結合し、最終的な案内文を作成する（ステップＳ６８）。例えば、お父さんが撮影フレームに収まっていない場合には、名前愛称が「パパ」、年齢が「３８」、言語が「日本語」であるので、「パパ」＋「さん」＋「撮影フレームに入って」＋「下さい」とし、最終的に、「パパさん、撮影フレームに入って下さい」となる。また、子供のユウが少しずれている場合には、名前愛称が「ユウ」、年齢が「５」、言語が「日本語」であるので、「ユウ」＋「ちゃん」＋「もう少し」＋「右に移動して」＋「ね」とし、最終的に、「ユウちゃん、もう少し右に移動してね」となる。

同様に、例えば、お母さんが笑顔でない場合には、名前愛称が「ママ」、年齢が「３５」、言語が「日本語」であるので、「ママ」＋「さん」＋「笑って」＋「下さい」とし、最終的に、「ママさん、笑って下さい」となる。また、子供のケンが笑顔でない場合には、名前愛称が「ケン」、年齢が「１０」、言語が「日本語」であるので、「ケン」＋「ちゃん」＋「笑って」＋「ね」とし、最終的に、「ケンちゃん、笑ってね」となる。
その後、前述した図４、または図５のメインルーチンに戻る。

ここで、図７は、本実施形態による、デジタルカメラでの撮影状況を示す模式図である。図７には、風景を背景に家族４人（指定人物）での記念撮影を行う場合での様子を示している。太枠が撮影フレーム１０１であり、撮像素子の有効範囲で取り込まれる画像である。小さな枠が顔特徴点の顔検出枠１０２、１０２、…である。顔検出枠１０２の周囲には、該顔検出枠を包含する追尾枠１０３が設定されている。ユーザは、所望する風景が撮影フレーム内に入るようにカメラを構える。その状態で人物がカメラ前に立つわけであるが、当然、全ての指定人物が撮影フレーム１０１内に入るとは限らない。図示の例では、前列右側の人物（子供）が撮影フレーム１０１から外れている。

本実施形態では、予め撮影対象となる複数の人物を指定して登録しておくので、例えば、撮影対象として指定された４人の人物の中で３人は撮影フレーム内にいるので個人を特定できるが、１人が撮影フレーム外にいて個人を特定できないような場合でも、撮影フレーム外にいる人物が誰であるのかを特定することができる。

なお、本実施形態では、撮像素子の有効範囲の全体を撮影フレーム１０１としているが、撮像素子で実際に取り込まれる画像全体１００を撮像素子の有効範囲の全体とし、その中の一部の領域を記録の対象となる撮影フレーム１０１として設定するようにしてもよい。

また、この場合、撮影フレーム１０１の外側にある有効撮像領域を利用して、撮影フレーム１０１の中に含まれていない人物の認識処理を行うようにしてもよい。このようにすれば、予め撮影対象となる複数の人物を指定して登録しておかなくとも、撮影フレーム１０１の中に含まれていない人物を特定した案内を行うことが可能となる。

また、この場合、撮像素子の有効範囲の全体の中で、記録の対象となる撮影フレーム１０１の位置や、大きさを手動または自動で変えられるようにしてもよい。

図７に示す例では、前列右側の人物（子供）が撮影フレーム１０１から外れているので、顔認識から個人を直接特定することができないが、この場合、上述したように、撮影対象として指定された４人の人物の中で他の３人が特定されているので、撮影フレーム１０１から外れている人物が、名前愛称が「ユウ」であり、年齢が「５」、言語が「日本語」であることが分かる。また、追尾枠１０３と撮影フレーム１０１との位置関係から、左側にずれていることが分かるので、例えば、「ユウちゃん、もう少し右に移動してね」などの案内文を作成し、音声合成してスピーカから出力する。

また、図７に示すように、撮影フレーム１０１から外れた人物（ユウ）の右横隣に、撮影フレーム１０１内に入っている人物（ケン）がいることから、「ユウちゃん、ケンくんによってね」などの案内文を作成してもよい。また、撮影フレームから完全に外れてしまっているような場合には、例えば、「ユウちゃん、撮影フレームに入ってね」や、「ユウちゃん、撮影フレームに入ってないよ」、「ユウちゃん、みんなに寄ってね」などの案内文を作成し、該案内文を音声合成して出力する。

次に、図８（ａ）、（ｂ）は、指定人物全体が撮影フレームの中心からずれている場合における案内を説明するための模式図である。図８（ａ）に示すように、指定人物（４人）の中心点Ｐ１が、撮影フレームの中心点Ｐ２から所定以上離れているような場合には、複数の指定人物全員に対して、各人の個人情報に従って、例えば、「皆さん、少し右に移動してください」や、「皆さん、もっと右に移動してください」などの案内文を作成し、該案内文を音声合成して出力する。そして、図８（ｂ）に示すように、音声案内に従って全員が右に移動し、指定人物（４人）の中心点Ｐ１が、撮影フレームの中心点Ｐ２にほぼ一致すると（所定以上離れていないと）、撮影することになる。

次に、図９は、指定人物のうち笑顔でない人物がいた場合における案内を説明するための模式図である。図９に示すように、手前の子供が笑顔でない場合には、２人の子供に対して、「ケンさんとユウちゃんは、もっと笑ってね」などの案内文を作成し、該案内文を音声合成して出力する。そして、全員が笑顔になると、撮影することになる。

上述した実施形態によれば、撮影対象として指定された人物のうち、撮影フレームから外れている人物がいる場合や、全体が撮影フレームからずれている場合、笑顔でない人物がいる場合に、該当する人物を特定し、該当人物の個人情報に従って、該当人物を認知することができる案内文を作成して音声で案内し、さらに、当該人物の年齢や、お気に入りキャラクタなどに応じて、キャラクタや、アイドルの声色で音声合成したり、お気に入りの音楽を併せて出力することで、誰への案内であるかを明確にすることができ、適切な撮影状態へ確実に誘導することができる。特に、お気に入りキャラクタや、アイドルの音声、あるいは音楽を併せて出力することで、該当人物の注意を引くことができ、確実に案内することが可能となる。

また、人物が目をつぶったことを認識する瞬き認識機能（周知技術）を備えることにより、撮影対象となる人物が目をつぶった状態を検知すると、「〜さん、瞬きしないようにして」というような案内文を音声合成出力するようにしてもよい。

本発明の実施形態によるデジタルカメラの構成を示すブロック図である。 本実施形態によるデジタルカメラにおいて登録された個人情報の一例を示す概念図である。 本実施形態によるデジタルカメラで、個人情報を設定する際や、設定内容を変更する際の画面の一例を示す模式図である。 本実施形態によるデジタルカメラの動作（音声案内による撮影）を説明するためのフローチャートである。 本実施形態によるデジタルカメラの動作（音声案内による撮影）を説明するためのフローチャートである。 本実施形態によるデジタルカメラの動作（案内文作成）を説明するためのフローチャートである。 本実施形態による、デジタルカメラでの撮影状況を示す模式図である。 指定人物全体が撮影フレームの中心からずれている場合における案内を説明するための模式図である。 指定人物のうち笑顔でない人物がいた場合における案内を説明するための模式図である。

符号の説明

１ 入力装置
２ 内部記憶装置
３ カメラ装置
４ 表示装置
５ 音声入出力装置
６ 外部記憶装置
７ ストロボ発光装置

Claims (11)

1. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像して得られた画像から複数の人物の顔部分を認識する顔認識手段と、
   前記顔認識手段により認識された複数の人物の顔部分が所定の状態であるか否かを判定する状態判定手段と、
   前記状態判定手段により所定の状態でないと判定された場合に、前記複数の人物の顔部分を所定の状態にするためには、どの人物の状態をどのように変化させる必要があるかを特定する特定手段と、
   前記特定手段により特定された人物に対して前記特定手段により特定されたように状態を変化させることを指示する案内情報であって、該当人物および当該状態変化の内容を特定可能な案内情報を出力する案内情報出力手段と
   を具備することを特徴とする撮影装置。
2. 複数の人物の各々に対応させて、各人物の顔部分を特徴づける顔認識用データと各人物の個人情報とを対応付けて予め記憶する個人情報記憶手段と、
   前記顔認識手段により認識された顔部分に対応する人物を、前記個人情報記憶手段に記憶されている顔認識用データに基づいて特定する人物特定手段と、
   前記人物特定手段により特定された人物の個人情報を、前記個人情報記憶手段から読み出す個人情報読出手段とを更に備え、
   前記案内情報出力手段は、
   前記個人情報読出手段により読み出された個人情報に基づいて、前記人物に対して前記特定手段により特定されたように状態を変化させることを指示する案内文であって、該当人物および当該状態変化の内容を特定可能な案内文を作成する案内文作成手段と、
   前記案内文作成手段により作成された案内文に基づいて、案内音声を合成して出力する案内音声出力手段とを含むことを特徴とする請求項１記載の撮影装置。
3. 前記状態判定手段は、撮影対象となっている全ての人物が前記撮像手段により撮像される所定の撮像領域内に収まっているか否かを判定し、
   前記特定手段は、撮影対象となっている全ての人物のうち、前記撮像手段により撮像される所定の撮像領域内に収まっていない状態の人物を特定するとともに、当該人物が撮影領域内に移動するような状態変化が必要であることを特定することを特徴とする請求項１または２に記載の撮影装置。
4. 前記状態特定手段は、前記顔認識手段により認識された複数の人物の顔部分の位置関係が所定の距離範囲内にあるか否かを判定し、
   前記特定手段は、前記顔認識手段により認識された複数の人物のうち、この複数の人物の全体から離れている状態の人物を特定するとともに、当該人物が他の人物の方に寄るような状態変化が必要であることを特定することを特徴とする請求項１または２に記載の撮影装置。
5. 前記状態特定手段は、前記顔認識手段により認識された複数の人物全体の中心点と、前記撮像手段により撮像される所定の撮像領域の中心点とのずれ量が所定値以内であるか否かを判定し、
   前記特定手段は、前記顔認識手段により認識された複数の人物の全体が、撮像領域の中心点の方向へと移動するような状態変化が必要であることを特定することを特徴とする請求項１または２に記載の撮影装置。
6. 前記状態特定手段は、前記顔認識手段により認識された全ての人物が笑った状態であるか否かを判定し、
   前記特定手段は、前記顔認識手段により認識された複数の人物のうち、笑った状態で撮像されていない人物を特定するとともに、当該人物が笑うような状態変化が必要であることを特定することを特徴とする請求項１または２に記載の撮影装置。
7. 前記個人情報は、人物の呼称を含み、
   前記案内文作成手段は、前記人物の呼称が含まれる前記案内文を作成することを特徴とする請求項２記載の撮影装置。
8. 前記特定手段により特定可能な複数の状態変化の各々に対応させて、複数の基本案内文を記憶する基本案内文記憶手段を更に備え、
   前記案内文作成手段は、
   前記基本案内文記憶手段に記憶されている複数の案内文の中から、前記特定手段により特定された状態変化に応じた少なくとも１つ以上の基本案内文を選択する基本案内文選択手段と、
   前記基本案内文選択手段により選択された少なくとも１つ以上の基本案内文と前記個人情報読出手段により読み出された個人情報とを合成して、前記案内文を作成する案内文合成手段と
   を備えることを特徴とする請求項１乃至７のいずれかに記載の撮影装置。
9. 前記人物特定手段により特定すべき少なくも一人以上の人物を指定する指定手段を更に備え、
   前記個人情報記憶手段は、前記指定手段により指定されているか否かを示す指定フラグを、人物の個人情報と対応付けて記憶し、
   前記人物特定手段は、前記指定フラグが有効に設定されている少なくも一人以上の人物を、前記顔認識手段により認識された顔部分に対応する人物の中から、前記個人情報記憶手段に記憶されている顔認識用データに基づいて特定する、
   ことを特徴とする請求項１乃至８のいずれかに記載の撮影装置。
10. 被写体を撮像するステップと、
    前記撮像して得られた画像から複数の人物の顔部分を認識するステップと、
    前記認識された複数の人物の顔部分が所定の状態であるか否かを判定するステップと、
    前記所定の状態でないと判定された場合に、前記複数の人物の顔部分を所定の状態にするためには、どの人物の状態をどのように変化させる必要があるかを特定するステップと、
    前記特定された人物に対して前記特定されたように状態を変化させることを指示する案内情報であって、該当人物および当該状態変化の内容を特定可能な案内情報を出力するステップと
    を含むことを特徴とする撮影案内方法。
11. 被写体を撮像する撮像部を備える撮影装置の動作を制御するプログラムであって、
    コンピュータに、
    前記撮影部により被写体を撮像する撮像機能、
    前記撮像部により撮像して得られた画像から複数の人物の顔部分を認識する顔認識機能、
    前記顔認識機能により認識された複数の人物の顔部分が所定の状態であるか否かを判定する状態判定機能、
    前記状態判定機能により所定の状態でないと判定された場合に、前記複数の人物の顔部分を所定の状態にするためには、どの人物の状態をどのように変化させる必要があるかを特定する特定機能、
    前記特定機能により特定された人物に対して前記特定手段により特定されたように状態を変化させることを指示する案内情報であって、該当人物および当該状態変化の内容を特定可能な案内情報を出力する案内情報出力機能、
    を実現させることを特徴とするプログラム。
    

Images