JP2010288171A - 撮影装置および撮影方法 - Google Patents

Abstract

【課題】撮影時に変化に富んだ画像を撮影することの可能な撮影装置および撮影方法を提供する。
【解決手段】被写体像を撮像し画像データを出力する撮像部２と、画像データに基づいて動画を記録する記録部６と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部３、画像データに基づいて、被写体の表情変化を判定する表情変化抽出部１ａを有し、動画の記録中に、手動設定された撮影パラメータに関わらず、表情変化に応じて、撮影パラメータを変更する（Ｓ３６、Ｓ４３）。
【選択図】 図５

Description

本発明は、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話等の撮影装置に関し、詳しくは、動画撮影が可能な撮影装置および撮影方法に関する。

撮影にあたっては、一般に、絞りやズーム位置などの撮影パラメータを切り替えて行われている。このやり方は、撮影前に試行錯誤しながら撮影パラメータを切り替え、効果を確認してから静止画の撮影を行う場合には有効である。しかし、動画の撮影の場合には、時々刻々変化する被写体に対応して、撮影中に撮影パラメータの切り替えを行おうとすると、操作時に手振れが生じてしまうため、一般ユーザは動画撮影中には撮影パラメータの切り替え操作を躊躇しがちである。その結果、単調な画面となってしまい、面白みに欠ける動画となっていた。

このような単調な動画とならないようにするために種々の提案がなされている。例えば、特許文献１には、ユーザから指定された複数の区間を順次つなぎ合わせ、つなぎ目にトランジシェンエフェクト付与処理等を行うことが可能な画像処理装置が開示されている。この画像処理装置によれば、動画編集にあたって専門的な知識を意識することなく、高度な所望する動画編集を容易に行うことができる。

また、特許文献２には、顔の表情の変化を検出し、ユーザの意図するタイミングで撮影を行うことができるようした撮像装置が開示されている。この撮像装置によれば、撮像のタイミングが遅れ、ユーザの望む表情が記録されないことを防止することができる。

特開２００３−１１０９９５号公報 特許４２４０１０８号公報

このように、動画が単調な画像とならないように種々の対策が提案されているが、特許文献１に開示の画像処理装置は、撮影後に行う画像編集であるため、その効果は限られている。また、特許文献２に開示の撮像装置は、撮影時に表情を検出しているが、単に最適な撮影タイミングで画像を記録できるようにするだけであって、単調な画像を救うものではない。すなわち、前述の特許文献１、２に示される従来技術は、撮影時に変化に富んだ画像を撮影するには十分ではない。

本発明は、このような事情を鑑みてなされたものであり、撮影時に変化に富んだ画像を撮影することの可能な撮影装置および撮影方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わる撮影装置は、被写体像を撮像し画像データを出力する撮像部と、上記画像データに基づいて動画を記録する動画記録部と、撮影状態を変更するための撮影パラメータを設定するパラメータ設定部と、撮影画面の構図変化を判定する構図変化判定部を有し、上記動画の記録中に、上記構図変化判定部によって構図が安定していると判定された際に、上記設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更するパラメータ制御部と、を有する。

第２の発明に係わる撮影装置は、上記第１の発明において、上記構図変化判定部は、上記画像データに基づいて判定する。
第３の発明に係わる撮影装置は、上記第１の発明において、撮影装置の動きを検知し、上記撮影装置の構え方を判定するモーション判定部を有し、上記構図変化判定部は、上記モーション判定部の判定結果に基づいて、上記構図変化を判定する。

第４の発明に係わる撮影装置は、上記第１の発明において、上記撮影パラメータは、絞り値、ズーミング、露光補正値、ピント位置の少なくとも１つである。
第５の発明に係わる撮影装置は、上記第１の発明において、上記画像データに基づいて、人物の顔部が含まれるか否かを検出する顔検出部と、上記顔検出部によって上記顔部が検出された場合に、上記人物の表情を判定する表情判定部と、を有し、上記パラメータ制御部は、上記表情判定部によって判定された上記人物の表情に応じて、上記撮影パラメータの変更を行う。
第６の発明に係わる撮影装置は、上記第５の発明において、上記表情判定部によって、上記顔部の表情が変化した開始した時点と、上記撮影パラメータの変更が終了した時点を記録する遷移期間記録部を有し、上記動画記録部は、上記遷移期間に対応する動画を記録する。

第７の発明に係わる撮影装置は、上記第１の発明において、背景の動きを判定する背景動き判定部を有し、上記パラメータ制御部は、上記背景動き判定部による判定結果に基づいて、上記撮影パラメータの制御を行うか否かを決定する。
第８の発明に係わる撮影装置は、上記第１の発明において、背景のコントラストを判定する背景コントラスト判定部を有し、上記パラメータ制御部は、上記背景コントラスト判定部による判定結果に基づいて、上記撮影パラメータの制御を切り替える。

第９の発明に係わる撮影装置は、上記第１の発明において、上記撮影パラメータは、絞り値およびズーミングであり、上記パラメータ制御部は、上記絞り値の変更の可否を優先的に判定し、上記絞り値の変更が不適当な場合に上記ズーミングの変更を判定する。
第１０の発明に係わる撮影装置は、上記第９の発明において、上記絞り値の変更可否にあたって、上記画像データの背景部分のコントラストを用いて判定する。

第１１の発明に係わる撮影装置は、被写体像を撮像し画像データを出力する撮像部と、上記画像データに基づいて動画を記録する記録部と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、上記画像データに基づいて、被写体の表情変化を判定する判定部と、上記動画の記録中に、上記手動設定された上記撮影パラメータに関わらず、上記判定部によって判定された上記表情変化に応じて、上記撮影パラメータを変更するパラメータ制御部と、を有する。

第１２の発明に係わる撮影装置は、被写体像を撮像し画像データを出力する撮像部と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、上記パラメータ設定部によって設定されている上記撮影パラメータに従って静止画を撮影し、上記静止画の撮影後に、上記設定されている上記撮影パラメータに関わらず、上記撮影パラメータを変更しながら動画を撮影する撮影制御部と、を有する。

第１３の発明に係わる撮影装置は、上記第１２の発明において、上記画像データに基づいて、人物の顔部が含まれるか否かを検出する顔検出部を有し、上記撮影制御部は、上記顔検出部によって上記顔部が含まれていると判定した場合に、上記撮影パラメータを変更しながら動画を撮影する。

第１４の発明に係わる撮影装置は、被写体像を撮像し画像データを出力する撮像部と、上記画像データを記録する記録部と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、上記画像データに基づく動画の記録中に、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更するパラメータ制御部と、を有する。

第１５の発明に係わる撮影装置は、上記第１４の発明において、撮影画面の構図変化を判定する構図変化判定部を有し、上記パラメータ制御部は、上記構図変化判定部によって所定時間の間、上記構図変化がないと判定された際に、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更する。

第１６の発明に係わる撮影装置は、上記第１４の発明において、静止画の撮影を指示するレリーズ釦と、上記レリーズ釦が操作された際に、上記画像データに基づいて静止画を撮影すると共に、上記静止画の撮影に引き続き、上記パラメータ制御部によって上記撮影パラメータを変更しながら、そのときの上記画像データに基づいて動画を撮影する撮影制御部と、を有する。

第１７の発明に係わる撮影装置は、被写体像を撮像し画像データを出力する撮像部と、上記画像データに基づいて被写体像をライブビュー表示する表示部と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、撮影画面の構図変化を判定する構図変化判定部を有し、上記ライブビュー表示中に、上記構図変化判定部によって構図が安定していると判定された際に、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更するパラメータ制御部と、を有する。

第１８の発明に係わる撮影方法は、被写体像を撮像し画像データを出力する撮像部と、上記画像データを記録する記録部と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、撮影画面の構図変化を判定する構図変化判定部を有する撮影装置における撮影方法であって、上記画像データに基づく動画を記録し、上記動画の記録中に、上記構図変化判定部によって、構図が安定していると判定された際には、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更する。

第１９の発明に係わる表示方法は、被写体像を撮像し画像データを出力する撮像部と、上記画像データに基づいてライブビュー表示を行う表示部と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、撮影画面の構図変化を判定する構図変化判定部を有する撮影装置における表示方法であって、上記画像データに基づいてライブビュー表示し、上記ライブビュー表示中に、上記構図変化判定部によって、構図が安定していると判定された際には、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更する。

第２０の発明に係わる表示方法は、上記第２０の発明において、上記ライブビュー表示中であって上記撮影パラメータを変更している際に、上記撮影パラメータが手動設定された場合には、上記撮影パラメータの変更を停止する。
第２１の発明に係わる表示方法は、上記第２０の発明において、上記ライブビュー表示中であって上記撮影パラメータを変更している際に、構図が変化していると判定された際には、上記撮影パラメータの変更を停止する。

本発明によれば、撮影時に変化に富んだ画像を撮影することの可能な撮影装置および撮影方法を提供することができる。

本発明の第１実施形態に係わるカメラの電気的構成を示すブロック図である。 本発明の第１実施形態に係わるカメラにおいて、動画撮影中に、絞りを変化させることにより、変化に富んだ動画像を撮影する様子を説明する図である。 本発明の第１実施形態に係わるカメラにおいて、動画撮影中に、焦点距離を変化させることにより、変化に富んだ動画像を撮影する様子を説明する図である。 本発明の第１実施形態におけるカメラ制御の動作を示すフローチャートである。ブロック図である。 本発明の第１実施形態におけるカメラのパラメータオート制御の動作を示すフローチャートである。 本発明の第１実施形態におけるカメラのパラメータオート制御の動作を示すフローチャートである。 本発明の第１実施形態におけるカメラの変形例において、パラメータオート制御を行う場合の表示部における表示を示す図である。 本発明の第２実施形態に係わるカメラにおいて、変化に富んだ動画像を撮影する様子を説明する図である。 本発明の第２実施形態におけるカメラにおいて、人物動画撮影の動作を示すフローチャートである。 本発明の第２実施形態におけるカメラにおいて、人物動画撮影の動作を示すフローチャートである。 本発明の第３実施形態におけるカメラにおいて、人物撮影の動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の第１実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、パラメータ設定部３、モーション判定部４、記録部６、パラメータ制御部７、表示部８、操作部９等から構成される。

撮像部２は、ズーム機能を有する撮影レンズ（ズームレンズ）や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。顔検出部２ａは撮像部２から出力され、制御部１によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合にはその位置や大きさ等を検出し、検出結果を制御部１に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。

制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、表情変化抽出部１ａ、画像処理部１ｂ、構図変化判定部５を有する。表情変化抽出部１ａは、撮像部２から出力される画像データ、顔検出部２ａから出力される顔に関する検出結果、および後述する表情変化データベース（ＤＢ）６ａに記憶されている顔の目、鼻、口等のパーツパターンと表情の変化に関するデータに基づいて、表情変化を抽出する。

構図変化判定部５は、画面の構図やカメラ１０の構え方が変化したか否かを判定する。画面の構図変化の判定にあっては、撮像部２から出力される画像データに基づいて動きベクトル等を利用する。また、カメラ１０の構え方については、後述するモーション判定部４の判定出力に基づいて判定する。

画像処理部１ｂは、動画処理部１ｂａと静止画処理部１ｂｂを有し、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部６における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。また、画像データの高周波成分を抽出し、被写体のコントラストを判定する。このコントラスト情報は、撮影レンズのピント合わせに使用されるほか、後述するオートパラメータ制御の際の判定にも使用される。

パラメータ設定部３は、撮影部２における焦点距離を変化させるためのズーム釦、絞り値を設定させるための絞り値設定操作部等によって、撮影パラメータを手動設定し、制御部１に出力する。なお、絞り値等の場合には、露出制御の結果に応じて自動的に設定されるようにしても良い。パラメータ制御部７は、パラメータ設定部３において手動設定または自動設定された撮影パラメータに基づいて撮像部２の制御を行う。撮影パラメータを制御することにより、画角や背景のボケ（被写界深度）等を調整可能となる。これらを変化させることにより、様々な効果を施し、撮影を楽しむことができる。また、パラメータ制御部７は、絞り値や焦点距離等の現在設定されている値を検出し、制御部１に出力する。

モーション判定部４は、３次元空間の加速度、すなわち３軸加速度と、３次元空間での回転速度、すなわち３軸角速度の計６軸の物理量を検出する６軸センサ等を有している。このモーション判定部４は、カメラ１０の構え方が変わっていないか否かについて判定することができる。ズーミング等により画像が変化する場合であっても、撮影者のカメラ１０を構える構え方が変わっていないことを、判定可能であり、誤動作なしで、同じ被写体に対して構え方を変えずに狙っているか否かが分かる。

操作部９は、静止画レリーズ釦、動画釦、パワースイッチ、再生モード設定釦、メニュー釦、オートモード設定釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。

なお、静止画レリーズ釦は、押圧することにより静止画撮影を指示し、動画釦は最初の押圧で動画の撮影開始を、次の押圧で動画の撮影終了を指示する。また、オートモード設定釦は、後述するように、撮影パラメータを被写体の表情に応じて自動的に切り替えるオートモードに設定するための操作部材である。表示部８の前面にタッチパネルが設けてある場合には、タッチパネルによってオートモードを設定するようにしても良い。

記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部３によって圧縮処理された静止画や動画の画像データを記録する。記録部６内の表情変化ＤＢ６ａは、目、鼻、口等の顔の部分（パーツ）の形状や位置等と、顔の表情の関係を示すデータベースである。この関係に基づいて、表情変化抽出部１ａは、笑顔度等、人物の顔の表情を数値で表すことができる。笑顔度は、目や口の形や、歯が見えたかどうか等に基づいて数値化する。

表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。

次に、本実施形態におけるライブビュー表示中および動画撮影中における撮影パラメータの自動変更（オートモード）について、図２および図３を用いて説明する。本実施形態においては、被写体の人物２１の表情、特に笑顔度に基づいて、絞りや焦点距離を変更している。

図２は、笑顔度等の顔の表情に応じて、撮影パラメータとして絞り値を切り替え、被写界深度を変更する例を示す。なお、笑顔度等の顔の表情は、表情変化抽出部１ａにおいて検出し、口や目の開き具合や、歯の見え具合等を数値化して判断する。ライブビュー表示中や動画撮影中には、表示部８に撮影画像が表示されており、撮影画像の下側にはパラメータ変更表示部８ａに、そのときの笑顔度と絞り値が表示される。

図２（ａ）は、中央にいる被写体である人物２１が、笑顔度１００％の笑顔の時であり、この場合には、人物が主役といえることから、背景は脇役として、絞り値をＦ１．８と開くことにより、ぼかしている。図２（ｂ）では、笑顔度が５０％と、図２（ａ）の時よりは笑顔でなくなっている。この場合には、笑顔度が高くないことから、被写体の人物２１としては自分だけが目立つ写真は本意ではない。そこで、絞り値をＦ４．０とし、やや被写界深度を深くしている。図２（ｃ）では、被写体の人物２１は目を瞑り、笑顔度が２０％に低下しており、被写体としては背景の方を注目してもらいたいシーンといえる。そこで、絞り値をＦ８とし、被写界深度を深くし、背景がはっきりと分かるようにしている。

このように、図２に示す例では、顔の表情を検出し、被写体である人物２１が主役でなくなる状況になるにつれ、絞りを絞る方向にカメラ１０を制御し、被写界深度を深くし、背景にも鑑賞者の注意が向くようにしている。このようなオートパラメータ制御を行うことにより、背景に何が写っているかも楽しむことができ、また被写体である人物２１を主役にした描写も楽しむ撮影が可能となる。また、この場合、撮影者はいちいち絞りを操作する必要がないにも関わらず、変化に富んだ作画となる。

図３は、笑顔度に応じて、撮影パラメータとして焦点距離を切り替え、画角を変更する例を示す。図３（ａ）は、中央にいる被写体である人物２１が笑顔の時であり、この場合には、人物が主役といえることから、顔の部分がアップでも良く、また背景は脇役なので、広い領域が写っていなくても良い。アップにするにはズームレンズを長焦点側に移動させるので、背景をぼかす効果もある。図３（ａ）の例では、笑顔度１００％であり、焦点距離を８０ｍｍ（３５ｍｍフィルム換算値）とし、人物２１の顔をアップにし、被写界深度を浅くすることにより背景をぼやかしている。

図３（ｂ）では、笑顔度が５０％と、図３（ａ）の時よりは笑顔でなくなっている。この場合には、笑顔度が高くないことから、被写体の人物２１としては自分だけが目立つ写真は本意ではない。そこで、焦点距離を６０ｍｍとし、人物２１をややワイドでとらえ、またやや被写界深度を深くしている。図３（ｃ）では、被写体の人物２１は目を瞑り、笑顔度が２０％に低下しており、被写体としては背景の方を注目してもらいたいシーンといえる。そこで、焦点距離を４０ｍｍとし、人物２１をワイドでとらえ、また被写界深度を深くし、背景がはっきりと分かるようにしている。

このように、図３に示す例では、顔の表情を検出し、被写体である人物２１が主役でなくなる状況になるにつれ、焦点距離をワイド側となるようにカメラ１０を制御し、人物２１をワイドで写し（相対的に人物２１を小さくする）、またワイド側になることにより被写界深度が深くなり背景にも鑑賞者の注意が向くようにしている。このようなオートパラメータ制御を行うことにより、図３の例においても、背景に何が写っているかも楽しむことができ、また被写体である人物２１を主役にした描写も楽しむ撮影が可能となる。また、この場合、撮影者はいちいちズーミング操作部材を操作する必要がないにも関わらず、変化に富んだ作画となる。なお、ズーミングにより画角が変化すると、構図変化部５によって構図が変化したことを検知するが、モーション判定部４によってカメラ１０の構え方が変化しておらず、同一の人物２１の方向を撮影している場合には、構図は安定しているとして、オートパラメータ制御を行えばよい。

次に、本実施形態におけるカメラ１０の動作を図４に示すカメラ制御のフローチャートを用いて説明する。カメラ１０がパワーオンとなり起動すると、図４に示すフローがスタートする。スタートすると、まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０には、撮影モードと再生モードが備えられており、操作部９の操作状態に基づいて撮影者のモード選択状態を判定する。

ステップＳ１における判定の結果、撮影モードであった場合には、次に、モード設定の初期設定のタイミングであればオートフラグに０をセットする（Ｓ２）。このオートフラグが０の場合は、オートモードであり、オートモードに設定されると、ライブビュー表示中や動画撮影中には絞りや焦点距離等の撮影パラメータを人物２１の表情に応じて切り替え制御を行う。

オートフラグに０をセットすると、次に、撮像および表示を行う（Ｓ３）。このステップでは、撮像部２によって取得した画像データについて画像処理部１ｂにおいて画像処理し、動画や静止画の撮影前であれば表示部８にライブビュー表示を行い、動画撮影中であれば、表示部８に図２、図３に示したような撮影中の動画像を表示する。続いて、顔検出および表情検出を行う（Ｓ４）。このステップでは、顔検出部２ａにおいて画像データの中に人物２１が含まれているか、また含まれている場合には、表情変化抽出部１ａにおいて人物２１の表情を検出する。

顔検出および表情検出を行うと、次に、パラメータ操作がなされたか否かの判定を行う（Ｓ５）。ここでは、パラメータ設定部３において、絞り値やズーミング等の手動設定がなされたか否かの判定を行う。この判定の結果、パラメータ操作がなされていなかった場合には、次に、オート設定がなされたか否かの判定を行う（Ｓ１１）。このステップでは、操作部９内のオートモード設定釦が操作されたか否か、または所定時間の間、画面の構図に変化がないか否かを判定する。ここで所定時間としては、動画を鑑賞する際に、構図に変化がなく単調だと鑑賞者が感じる程度の時間とし、例えば、１秒〜３秒程度とする。なお、本実施形態においては、オート設定されたか否かの判定にあたって、オートモード設定釦の操作状態と画面の構図変化に基づいて判定したが、これに限らず、いずれか一方のみでも良い。

ステップＳ１１における判定の結果、オート設定がなされた場合には、オートフラグに０をセットする（Ｓ１２）。前述したように、初期時にはステップＳ２においてオートフラグに０がセットされているが、ステップＳ５においてパラメータ操作がなされたと判定された場合には、後述するステップＳ７においてオートフラグに１がセットされている。オートフラグとして１がセットされていた場合には、ステップＳ１２においてオートフラグに０をセットする。

ステップＳ１１における判定の結果、オート設定がなされていなかった場合には、またはステップＳ１２においてオートフラグに０をセットすると、次に、オートフラグが０か否かの判定を行う（Ｓ１３）。この判定の結果、オートフラグが０であった場合には、パラメータオート制御を行う（Ｓ１４）。このパラメータオート制御では、図２および図３において説明したように、被写体の人物２１の表情に応じて絞りや焦点距離等の撮影パラメータの切り替え制御を行う。このパラメータオート制御の詳細な動作は、図５および図６を用いて後述する。なお、一般に、ライブビュー表示の際には、絞りは開放絞りのままなど、一定の絞り値であることが多いが、本実施形態においては、ライブビュー表示の際であっても、絞り値を変更させ、被写界深度の変化を確認できるようにする。

ステップＳ５における判定の結果、パラメータ操作がなされた場合には、その操作に従ってパラメータ変更を行う（Ｓ６）。ステップＳ５において、絞り値やズーミング等の手動設定がなされた場合であるので、このステップＳ６では手動設定に応じて絞り値や焦点距離等の変更を行う。続いて、オートフラグに１をセットする（Ｓ７）。オートフラグに１をセットすることにより、撮影者によって手動設定された撮影パラメータに基づいてカメラ制御がなされる。

オートフラグを１にセットすると、次に、静止画撮影か否かの判定を行う（Ｓ１５）。ここでは、静止画レリーズ釦が押圧操作されたか否かの判定を行う。この判定の結果、静止画撮影であった場合には、静止画撮影を行う（Ｓ１６）。このステップでは、撮像部２から出力される画像データを画像処理し、静止画の画像データを記録部６に記録する。静止画撮影を行うと、ステップＳ１に戻る。

ステップＳ１５における判定の結果、静止画撮影でなかった場合には、次に動画撮影か否かの判定を行う（Ｓ１７）。ここでは、動画非撮影状態で動画釦が操作されたか否かの判定を行う。なお、動画釦が操作されると、次に動画釦が操作されるまでは図示しないフラグがセットされ、ステップＳ１７においてＹｅｓと判定される。

ステップＳ１７における判定の結果、動画撮影であった場合には、動画記録を行う（Ｓ１８）。ここでは、撮像部２から出力される画像データを画像処理し、動画の画像データを記録部６に記録する。なお、動画撮影中はステップＳ１８→Ｓ１→Ｓ２→・・・→Ｓ５→Ｓ１１→・・・→Ｓ１５→Ｓ１７→Ｓ１８の順次に処理を繰り返している。このため、オートフラグが０にセットされている場合には、ステップＳ１４においてパラメータオート制御がなされ、被写体の人物２１の表情に応じて撮影パラメータが変更され、このときの動画像が記録部６に記録される。ステップＳ１７における判定の結果、動画撮影でなかった場合には、ステップＳ１に戻る。

ステップＳ１における判定の結果、撮影モードでなかった場合には、撮影中で終了か否かの判定を行う（Ｓ２１）。撮影モードでなかった場合にはステップＳ２１に進むが、動画撮影中に再度動画釦が押圧操作された場合にもステップＳ２１に進む。次に、撮影中で終了か否かの判定を行う（Ｓ２１）。動画撮影中に再度動画釦が操作された場合には、撮影中で終了と判定される。この判定の結果、終了であった場合には、撮影を終了する（Ｓ２２）。ここでは、動画の撮影終了処理を行う。

ステップＳ２２における終了処理を行うと、またはステップＳ２１における判定の結果、撮影中で終了出なかった場合には、次に、再生か否かの判定を行う（Ｓ２３）。ここでは、操作部９の再生モード設定釦が操作されたか否かの判定を行う。この判定の結果、再生でなかった場合には、ステップＳ１に戻る。

一方、ステップＳ２３における判定の結果、再生であった場合には、再生モードを実行する（Ｓ２４）。再生モードでは、表示部８に記録部６に記録されている撮影画像の一覧表を表示し、撮影者が選択したサムネイルの拡大表示を行う。再生モードを実行すると、ステップＳ１に戻る。

このように本実施形態におけるカメラ制御のフローにおいては、オートモードが設定されていると、被写体の表情に応じて絞りや焦点距離等の撮影パラメータを自動的に切り替えている。このため、ライブビュー表示や動画記録の際には、表情に応じて画像が変化し、特に動画記録の際には変化に富んだ画像を撮影することができる。

なお、パラメータオート制御は、動画の記録中に限らず、ライブビュー表示中にも実行される。すなわち、動画撮影に入る前には、ステップＳ１→・・・→Ｓ５→Ｓ１１→・・・Ｓ１３→Ｓ１４→Ｓ１５ＮＯ→Ｓ１７ＮＯ→Ｓ１の順に実行され、ステップＳ１４においてパラメータオート制御が行われ、人物２１の表情に応じて撮影パラメータが変更される。

次に、ステップＳ１４のパラメータオート制御の詳細について、図５および図６を用いて説明する。パラメータオート制御のフローに入ると、まず、顔が検出された否かを判定する（Ｓ３１）。ステップＳ４において顔検出を行っているので、この検出結果に基づいて、画像データの中に顔の部分が含まれているか否かを判定する。

ステップＳ３１における判定の結果、顔が検出された場合には、次に、所定時間同じ位置、同じカメラの向きか否かを判定する（Ｓ３２）。ここでは、モーション判定部４および構図変化判定部５の判定結果に基づいて、カメラ１０が同じ方向に向けて同じ被写体を撮影しているか否かの判定を行う。なお、ここで所定時間としては、動画を鑑賞する際に、構図に変化がなく単調だと鑑賞者が感じる程度の時間とし、例えば、１秒〜３秒程度とする。

ステップＳ３２における判定の結果、所定時間同じ位置で同じカメラの向きであった場合には、次に、背景の動きが小さいか否かの判定を行う（Ｓ３３）。ここでは、構図変化判定部５によって、画像データを画像解析し、背景の動きに基づいて判定する。背景が動いている場合には、単調な画像とは言えず、撮影パラメータを変更することは不適切だからである。

ステップＳ３３における判定の結果、背景の動きが小さかった場合には、次に、背景のコントラストが大か否かの判定を行う（Ｓ３４）。ここでは、画像処理部１ｂによって、背景部分に対応する画像データの高周波成分を抽出し、これに基づいてコントラストが大きいか否の判定を行う。人物２１の顔部におけるコントラストより、背景のコントラストが大きい場合には、背景が乱雑な印象を与えるので、絞りを変更する効果が大きい。

ステップＳ３４における判定の結果、背景コントラストが大きかった場合には、次に絞り変更に余裕があるか否かの判定を行う（Ｓ３５）。被写体が暗い場合には、絞りを絞ると画像が暗くなってしまい、また、被写体が明るい場合には露出オーバとなることから、このステップでは、絞りを変更しても露出等が許容されるか否かを判定する。なお、この判定にあたっては、パラメータ制御部７より絞り値情報を取得して行う。

ステップＳ３５における判定の結果、絞り変更に余裕がある場合には、次に、表情によって絞り変更を行う（Ｓ３６）。このステップでは、図２を用いて説明したように、人物２１の表情に応じて、パラメータ制御部７によって絞り値の変更を行う。絞り変更を行うと、または、ステップＳ３２およびＳ３３における判定の結果がＮｏであった場合には、元のフローに戻る。

ステップＳ３４における判定の結果、背景コントラスト小さかった場合、またはステップＳ３５における判定の結果、絞り変更に余裕がなかった場合には、絞りを切り替えることができないために、ズーミングによって撮影パラメータの変更をステップＳ４１以下において行う。まず、背景パターン位置が変化したか否かの判定を行う（Ｓ４１）。背景が無地であったり、ローコントラストであったりせず、画面中央の被写体から周辺にいくに従ってパターンが変化しているような構図では、ズーミングによって背景を変化させることが効果的である。証明写真のような無地の背景では、ズーミングによる画面変化は単調で面白みがない。従って、このステップでは、背景のパターンを判定し、画面内の位置によってパターン変化があるか否かを判定している。この変化が有る場合のみ、ズーミングを行うようにしている。

ステップＳ４１における判定の結果、位置変化が有る場合には、次に、ズーム変化が可能か否かを判定する（Ｓ４２）。ここでは、ズームレンズの短焦点端または長焦点端に達しているか否かの判定を行う。この判定の結果、ズーム変化が可能であれば、表情によってズーム変更を行う（Ｓ４３）。このステップでは、図３を用いて説明したように、人物２１の表情に応じて、パラメータ制御部７によって焦点距離の変更を行う。この表情によるズーム変更を行うと、またはステップＳ４１またはＳ４２における判定の結果がＮｏであった場合には、元のフローに戻る。

ステップＳ３１における判定の結果、顔の検出ができなかった場合には、顔の検出ができないことから人物が対象ではない。この場合は、例えば、アクセサリ、小物、料理等を撮影する場合が考えられ、ステップＳ５１以下（図６参照）において、人物を撮影する場合と同様、画角や絞りを切り替えることにより、変化に富んだ画像を撮影できるようにする。

顔検出ができなかった場合には、次に、所定時間同じ位置にあるかを判定する（Ｓ５１）。ここでは、構図変化抽出部５によって、画像データを解析し、被写体の位置が変化していいかを判定する。ここで所定時間としては、動画を鑑賞する際に、構図に変化がなく単調だと鑑賞者が感じる程度の時間とし、例えば、１秒〜３秒程度とする。この判定の結果、所定時間、同じ位置にいた場合には、次に、ステップＳ３３と同様に、背景の動きが小さいか否か判定する（Ｓ５２）。パラメータオート制御を行うにあたって、背景が動いている場合は不適だからである。背景の動きは構図変化判定部５において判定する。

ステップＳ５２における判定の結果、背景の動きが小さかった場合には、次に、ステップＳ３４と同様に、背景コントラストが大きいか否かの判定を行う（Ｓ５３）。この判定の結果、背景コントラストが大きかった場合には、次に、ステップＳ３４と同様に、絞り変更に余裕があるか否かの判定を行う（Ｓ５４）。この判定の結果、絞り変更に余裕があった場合には、次に、その余裕が開放側であるか否かの判定を行う（Ｓ５５）。

ステップＳ５５における判定の結果、開放側に余裕があった場合には、次に、開放側に制御を行う（Ｓ５６）。ここでは、パラメータ制御部７によって撮像部２内の絞りを開放側に徐々に開いていく。一方、ステップＳ５５における判定の結果、開放側に余裕がなかった場合には、絞り込み側に制御を行う（Ｓ５７）。ここでは、パラメータ制御部７によって絞りを最小絞り側に徐々に絞り込んでいく。

ステップＳ５３における判定の結果、背景コントラストが大でなかった場合には、背景のコントラストが小さいことから、絞り値の変更を行っても変化は少なく、変化に富んだ画像とはならない。そこで、ステップＳ６１以下において、画角の変化を行う。まず、ステップＳ４１と同様に、背景パターン位置変化か否かを判定する（Ｓ６１）。

ステップＳ６１における判定の結果、背景パターン位置変化がある場合には、次に、ワイド側にズーム変化が可能であるか否かの判定を行う（Ｓ６２）。この判定の結果、ワイド側にズーム変化の余地があれば、次に、ワイド側にズーミングを行う（Ｓ６３）。ここでは、パラメータ制御部７によってズームレンズの焦点距離をワイド側に徐々に移動させる。一方、ステップＳ６２における判定の結果、ワイド側にズーム変化の余地がなければ、次に、テレ側にズーミングを行う（Ｓ６４）。ここでは、パラメータ制御部７によってズームレンズの焦点距離をテレ側に徐々に移動させる。

ステップＳ６４においてテレ側にズーミング、またはステップＳ６３において、ワイド側にズーミング、またはステップＳ５７において絞り込み側に制御、またはステップＳ５６において開放側に制御を行うと、またはステップＳ５１またはＳ５２における判定結果がＮｏであった場合には、操作や動きがあれば、パラメータ変化を終了し（Ｓ６５）、元のフローに戻る。表情に応じて撮影パラメータを変化させた場合には、表情が時々刻々と変化し、これに合わせて撮影パラメータを変更することができる。しかし、顔以外の場合には、パラメータ変化が際限なく行われてしまうことから、被写体の構図を変えたり、被写体に動きがあったり、撮影者が操作を行った場合には、パラメータ変化を終了している。

このように、本発明の第１実施形態においては、背景ぼかしやズームアップ等の変化を施すことにより、単調な動画となることを防止し、画像の変化をドラマチックにしている。動画において、背景を段々ぼかしたり、被写体をクローズアップしていく効果を付与すると、楽しい画像となるが、ユーザは撮影に夢中となっている場合には、このような操作を咄嗟に行うことができない。無理に行うとすると、手振れが生じてしまう。そこで、本実施形態においては、この種の遷移効果をカメラ１０が自動的に行っている。しかし、常時自動で行うとすると、意図しない画像となってしまうことから、所定の条件が満たされた場合に行うようにしている。

遷移効果を生じさせるための所定の条件としては、絞りを開く効果が有る場合、例えば、絞り位置に余裕がり、被写体距離が近い場合がある。この場合、背景の像を加味するようにしても良い。また、ズームをワイド側に変化させる余裕が有る場合でも良い。テレ側に変化させるようにしても良いが、この場合は撮影後にトリミングで対応しても良い。さらに、被写体の表情変化が有る場合がある。この場合には、実施形態で説明したように、表情変化に合わせて背景の効果も変えても良い。

次に、本発明の第１実施形態の変形例について図７を用いて説明する。第１実施形態においては、構図や被写体に変化がないと、動画像が単調となり面白みに欠けることから、撮影パラメータを切り替え、遷移効果を楽しむようにしていた。このようなオートパラメータモードでの撮影パラメータ変更が急に始まると、撮影者の意図に反する場合がある。そこで、本変形例においては、突然始めるのではなく、表示部８中のアドバイス表示部８ｂにおいて、アドバイス表示を行うようにしている。

図７はアドバイス表示の例を示しており、図７（ａ）の状態は人物２１の笑顔度が高いことから、オートパラメータ制御においては、人物が引き立つように背景をぼかす制御を行う。本変形例では背景をぼかす制御を開始する前に、図７（ａ）に示すように、アドバイス表示部８ｂに「背景をぼかせます」と表示すると共に、撮影者がぼかすことを許可する「Ｙｅｓ」、不許可の「Ｎｏ」を表示する。表示部８の前面にタッチパネルを設けておき、撮影者はいずれかをタッチすることにより、選択できる。

「ぼかせる」判断としては、単に絞りを変えられるできではなく、図７（ａ）のように種々のものが背景に写っていて、ぼかすことによって人物がクローズアップされるという効果が生じるシーンであるかを判定する。背景が無地、または単調な風景の場合には、このような効果は生じないし、また人物が所定の距離内にいて、バストショットやアップのような構図であって、背景のみがぼけるような状況でない場合には、背景をぼかすようなアドバイス表示を行わない。

撮影者が背景をぼかすことを許可した場合には、ぼかすためにパラメメータ制御部７が絞りを開放側に移動させ、このとき、アドバイス表示部８ｂには「ぼかしています」と撮影パラメータの制御状態を表示する。また、撮影パラメータの限界値に達すると、それ以上進めることができないことから、図７（ｃ）に示すように、アドバイス表示部８ｂに「戻しますか？」を表示する。このとき、撮影パラメータ（図の場合は、絞り値）を戻すことを許可する「Ｙｅｓ」、不許可の「Ｎｏ」を表示する。

このような、第１実施形態の変形例の構成は、図１と同様であり、図４ないし図６に示したフローチャートを適宜、表示と判定を追加すれば良いだけであるので、詳しい説明は省略する。

次に、本発明の第２実施形態について、図８ないし図１０を用いて説明する。第１実施形態においては、撮影パラメータを状況に応じて、絞りまたは焦点距離のいずれか一方を制御するようにしていた。それに対して第２実施形態においては、絞りおよび焦点距離の両方を変更させることにより、より一層、変化に富んだ画像にすることができる。また、第１実施形態においては、動画撮影の開始と終了は、撮影者が動画釦を操作することによって指示し、この間の画像データの全てが記録されていた。これに対して、第２実施形態においては、画像データの中で表情変化があり最高表情が含まれる部分の動画を自動的に記録するようにしている。第２実施形態における構成は、第１実施形態における図１に示したブロック図と同様であるので、詳しい説明は省略する。

図８は、本実施形態における画像の様子を示す。本実施形態においても、第１実施形態と同様に、オートパラメータ制御を行っていることから、同じ被写体を狙ってカメラ１０を構えているだけで、図８（ａ）〜（ｅ）に示すように、背景をぼかしたり、人物をアップしたりと、変化に富んだ動画像が得られる。本実施形態においては、図７（ｅ）における画像の人物２１が最高表情を示していることから、図８（ｂ）において撮影パラメータを変更し始めてから最高表情を示している間の動画像のみを記録するようにしている。

このような動画像が撮影できる人物動画撮影のフローについて、図９及び図１０を用いて説明する。このフローでは、図４に示したカメラ制御におけるステップＳ１の撮影モードの判定等、一般的な処理は省略してある。人物の動画の撮影を開始すると、図９に示すフローに入り、まず、表情変化をモニタし、変化を記録する（Ｓ７０）。ここでは、表情変化判定部５によって人物の表情（笑顔度等）の判定を行い、その判定結果を記録部６に一時記憶する。

続いて、カメラの構え方に変化がないか否かを判定する（Ｓ７１）。ここでは、モーション判定部４内の６軸センサ等の出力に基づいて、構図判定部５はカメラ１０の構え方に変化がないか否かを判定する。なお、モーション判定としては、モーション判定部４に限らず、画像処理部１ｂによって画像の変化に基づいて判定するようにしても良い。この判定の結果、構え方に変化がなかった場合には、次に、ズーム途中か否かの判定を行う（Ｓ７２）。後述するステップＳ９５（図１０参照）においてズーミングを行う場合があり、このステップＳ７２においては、ズーミング動作中か否かを判定する。なお、ズーム途中か否かを判定しているのは、ステップＳ７３における構図変化の判定で誤動作を避けるためである。

ステップＳ７２における判定の結果、ズーム途中でなかった場合、つまりズーム動作を行っていなかった場合には、次に、構図変化がないか否かの判定を行う（Ｓ７３）。構図変化が有るか否かは、構図変化抽出部１ａにおいて、画像データに基づいて判定する。

ステップＳ７２における判定の結果、ズーム途中であった場合には、次に、ズームによる画像変化のみか否かの判定を行う（Ｓ７４）。ここでは、構図変化がズーム変化による画像変化のみであるか否かの判定を行う。具体的には、構図変化判定部５が、パラメータ制御部７からズームレンズの焦点距離情報を取得し、画像データに対して焦点距離情報に基づく画像補正を行い、補正された画像に変化があるか否かを判定する。

ステップＳ７４における判定の結果、ズームによる画像変化のみであった場合、またはステップＳ７３における判定の結果、構図変化がなかった場合には、次に、表情変化抽出部５によって、表情変化があったか否かの判定を行う（Ｓ７５）。この判定の結果、表情変化があった場合には、遷移効果撮影を行う（Ｓ７８）。ここでは、図８において説明したように、人物２１の表情に基づいて、絞りや画角の制御を行う。この遷移効果撮影の詳しい動作については、図１０を用いて後述する。

遷移効果撮影を行うと、次に、撮影終了か否かの判定を行う（Ｓ７９）。操作部９の動画釦を再度操作することにより撮影は終了するので、このステップでは、動画釦の操作状態を判定する。

ステップＳ７９における判定の結果、撮影終了でなかった場合には、または、ステップＳ７５における判定の結果、表情変化がなかった場合には、またはステップＳ７３における判定の結果、構図変化がなかった場合には、またはステップＳ７４における判定の結果、ズームによる画像変化のみでなかった場合には、次に、通常動画撮影を行う（Ｓ７６）。ここでは、撮像部２から出力される画像データを、画像処理した後、記録部６に記録する。なお、ステップＳ７６における通常動画撮影の後ろのタイミングで、静止画用レリーズ釦を押圧操作すれば、静止画として記録できるようにしても勿論かまわない。この場合には、撮影パラメータ変更の効果が反映された画像が表示部８に表示されており、撮影者が気に入った画像があれば、そのタイミングで静止画の撮影を行うことができる。

続いて、動画の撮影を終了するか否かの判定を行う（Ｓ７７）。ここでは、ステップＳ７９と同様に、操作部８の動画釦の操作状態に基づいて判定する。この判定の結果、終了でなければ、ステップＳ７０に戻る。従って、人物動画撮影のフローに入ると、ステップＳ７６において、継続的に通常動画の撮影を行っているが、人物の表情変化がありながら、単調な画像となってしまう場合、すなわち、カメラの構え方に変化がなく、構図変化がなく、かつ人物の表情に変化が有る場合には、ステップＳ７８において遷移効果撮影を行うようにしている。

ステップＳ７７またはＳ７９における判定の結果、撮影終了の場合には、次に、遷移画像の最高表情が含まれているか否かを判定する（Ｓ８１）。ステップＳ７０において笑顔度等の表情変化を記録しており、また、ステップＳ７８における遷移効果撮影を行っていることから、このステップＳ８１においては、遷移効果撮影された画像の中に、最高表情の画像が含まれているか否かの判定を行う。

ステップＳ８１における判定の結果、遷移画像に最高表情が含まれていた場合には、次に、遷移開始から終了までの間以外の画像を削除する（Ｓ８２）。つまり、通常動画撮影を行っているが、表情変化した際の遷移効果撮影の画像の中に最高表情があれば、その遷移効果撮影を行った区間の動画像のみを残し、他の区間の動画像を削除している。

次に、ステップＳ７８における遷移効果撮影について、図１０に示すフローチャートを用いて説明する。遷移効果撮影のフローに入ると、まず、開始時点を記録する（Ｓ９１）。ここでは、図示しないカメラ１０内の時計部から出力される日時情報を記録する。続いて、カメラ固定指示表示を行う（Ｓ９２）。ここでは、カメラ１０の向きを変えたりしないように、表示部８にカメラ１０を固定しておくような表示を行う。

カメラ固定指示表示を行うと、次に、絞り開放可能か否かの判定を行う（Ｓ９３）。ここでは、パラメータ制御部７から、現在の絞り値情報を取得し、開放絞り値と比較し、まだ開放方向に動かすことができるか否かを判定する。この判定の結果、絞り開放可能であれば、絞り開放撮影を行う（Ｓ９４）。ここでは、パラメータ制御部７に対して、絞り開放駆動を指示する。

ステップＳ９３における判定の結果、絞り開放が可能でなかった場合には、次に、望遠方向撮影を行う（Ｓ９５）。ここでは、パラメータ制御部７に対して、ズームレンズの望遠側駆動を指示する。このように、絞り開放駆動が可能であれば、絞り開放を行い、絞り開放駆動が可能でない場合には、望遠側駆動を行う。

ステップＳ９４における絞り開放方向撮影を行うと、またはステップＳ９５における望遠方向撮影を行うと、次に、遷移終了か否かの判定を行う（Ｓ９６）。ここでは、絞り開放撮影で開放絞り値に達したか、または望遠方向撮影で望遠端に達したかを判定する。この判定の結果、遷移終了でなかった場合には、ステップＳ９２に戻る。

一方、ステップＳ８６における判定の結果、遷移終了であった場合には、終了時点の記録を行う（Ｓ９７）。ステップＳ９１において開始時点が記録され、ステップＳ９７において終了時点が記録されるので、遷移撮影を行っていた区間を記録される。終了時点の記録を行うと、次に、撮影パラメータを戻して撮影を続行し（Ｓ９６）、元のフローに戻る。ステップＳ９４、Ｓ９５において、開放絞り値または望遠端まで駆動されていることから、このステップ９６において、駆動開始前の撮影パラメータに復帰させて、撮影を続行する。

このように、本実施形態においては、カメラ１０が同じ人物を狙って動画撮影している場合に、単調な画像となることを防止するために、人物の表情が変化した場合には、撮影パラメータを変えて遷移効果撮影を行っている。また、遷移効果撮影の画像のなかに最高表情があれば、その区間の画像を残し、他の画像を削除している。

なお、通常動画撮影を行っている最中に、複数回遷移効果撮影を行っている場合には、その中で、表情が最も良かった区間の画像を残すようにしているが、これに限らず、全ての遷移効果撮影の画像を残してもよく、また上位の複数の遷移効果画像を残すようにしても良い。

次に、本発明の第３実施形態について、図１１を用いて説明する。第１および第２実施形態においては、動画の撮影中に、撮影パラメータを変更することにより、変化に富んだ画像の撮影を行っていた。第３実施形態においては、静止画を撮影した際に、続けて撮影パラメータを変更しながら動画を撮影することにより、変化に富んだ撮影を行うようにしている。

一般に静止画の撮影時には、被写体の最高の表情を捉えている場合が多く、静止画撮影後に被写体の緊張が解ける時の表情変化を、画像の遷移効果を伴いながら動画撮影を行っても良い。この場合、わざわざ動画撮影の設定を行わなくても、静止画を撮影するのと同じ操作で自動的に動画を撮影できるようしておくと便利である。また、静止画に続けて遷移効果を伴う動画を撮影しておくと、他の動画とつなぎ合わせて新しい動画を生成することができ、素材として活用できる。再生にあたって、動画を巻き戻し再生することによって静止画が撮影されるまでの経過を表現することも可能となる。

本実施形態における構成は、第１実施形態における図１に示すブロック図と同様であるので、詳しい説明は省略する。本実施形態における人物撮影のフローについて、図１１を用いて説明する。このフローでも、図４に示したカメラ制御におけるステップＳ１の撮影モードの判定等、一般的な処理は省略してある。図１１に示す人物撮影のフローに入ると、まず、静止画撮影を行うか否かの判定を行う（Ｓ１０１）。ここでは、操作部９の静止画レリーズ釦の操作状態を判定する。

静止画レリーズ釦が操作されるのを待ち、操作されると、静止画撮影を行う（Ｓ１０２）。ここでは、撮像部２から出力された画像データを、画像処理部１ｂによって画像処理を行い、この処理された静止画の画像データを記録部６に記録する。

静止画撮影を行うと、次に、顔検出部２ａによる顔検出結果、中央に一人いるだけか否かの判定を行う（Ｓ１０３）。この判定の結果、中央に一人だけでなかった場合には、画角や絞り等の撮影パラメータを変化させての撮影に相応しくないので、このフローを終了する。

一方、ステップＳ１０３における判定の結果、中央に一人だけだった場合には、次に、顔がアップ状態か否かの判定を行う（Ｓ１０４）。ここでは、顔検出部２ａによって検出された顔の大きさが、画面内の大部分を示すようなアップ状態か否かの判定を行う。この判定の結果、顔がアップ状態でなければ、次に、アップにしつつ露出をオーバにしながら動画撮影を行う（Ｓ１２１）。ここでは、パラメータ制御部７に対して、焦点距離を望遠側に徐々に駆動しながら、かつ露出がオーバになるように、電子シャッタ速度やＩＳＯ感度等も徐々に変えながら、動画の撮影を行う。焦点距離が望遠端に近い場合には、電子ズームによってアップするようにしても良い。また、動画の撮影時間は、予め決めておいた時間でも良く、また望遠端に達するまでの時間等でも良い。

なお、ステップＳ１２１において、露出オーバにすることは省略してもよく、また、露出オーバに変えて他の撮影パラメータの変更、例えば、ズームレンズのピント位置を変えながら撮影するようにしても良い。また、顔がくっきりと写ることを好まない人もおり、その場合には、アップを省略し、露出やピントを大きく変化させて顔が不明瞭になるようしても良い。

ステップＳ１０４における判定の結果、顔がアップ状態であれば、次に、広角側にシフト可か否かの判定を行う（Ｓ１０５）。ここでは、パラメータ制御部７から現在の焦点距離情報を取得し、ワイド端の焦点距離と比較することにより判定する。この判定の結果、広角側にシフトが可能であれば、次に、広角側にシフトしながら動画撮影を行う（Ｓ１０６）。ここでは、パラメータ制御部７に対して、広角側に徐々に焦点距離を変更しながら、撮像部２から出力される画像データに基づいて動画の記録を行う。このときの撮影時間は、予め決めておいた時間でも良く、またワイド端に達するまでの時間でも良い。

ステップＳ１０５における判定の結果、広角側にシフトできない場合には、次に、コントラスト分布の判定を行う（Ｓ１１１）。ここでは、画像処理部１ｂによって、画像データの高周波成分を抽出し、コントラスト分布を判定する。コントラスト分布判定を行うと、次に、絞り効果が可能か否かの判定を行う（Ｓ１１３）。現在の絞り値が開放状態に近い場合には、絞りこむことにより被写界深度が深くすることができ、また現在の絞り値が最小絞りに近い場合には、開放側に開くことにより被写界深度を浅くすることができる。このステップでは、現在の絞り値とコントラスト分布の関係から、絞り効果を出すことが可能か否かを判定する。

ステップＳ１１２における判定の結果、絞り効果が可能であれば、絞りを変えながら動画撮影を行う（Ｓ１１３）。ここでは、ステップＳ１１２において絞り効果が生ずるとした絞り値の方向に向けてパラメータ制御部７に対して指示する。このときの撮影時間は、予め決めておいた時間でも良く、また開放絞り値または最小絞り値に達するまでの時間でも良い。一方、判定の結果、絞り効果がない場合には、前述のステップＳ１２１に進み、アップにしつつ露出をオーバにしながら撮影を行う。

ステップＳ１１３において絞りを変えながら動画撮影を行うと、またはステップＳ１０６において広角側にシフトしながら動画撮影を行うと、またはステップＳ１２１においてアップにしつつ露出をオーバにしながら動画撮影を行うと、次に、静止画と動画を関連付けて記録を行う（Ｓ１２２）。ここでは、ステップＳ１０２において取得した静止画の画像データと、ステップＳ１０６、Ｓ１１３、またはＳ１２１において取得した動画の画像データの関連付けを行う。この記録が終わると、人物撮影のフローを終了する。

このように第３実施形態においては、静止画の撮影時に併せて撮影パラメータを変化させながら動画を撮影している。このため、単なる静止画ではなく、変化に富んだ動画として鑑賞することも可能となる。また、これらの画像を編集して動画を作成する際の素材としても活用することができる。

以上説明したように、本発明の各実施形態においては、画像データに基づいて動画を記録している際に、手動設定された撮影パラメータに関わらず、撮影パラメータを変更しているので、撮影時に変化に富んだ画像を撮影することが可能である。

また、静止画を記録した際に、続けて手動設定された撮影パラメータに関わらず、撮影パラメータを変更した動画を撮影できるようにしたので、変化に富んだ画像を撮影することができる。

さらに、動画の記録前に、ライブビュー表示する際に、手動設定された撮影パラメータに関わらず、撮影パラメータを変更しているので、事前に、撮影時に変化に富んだ画像を撮影できるか否かを確認することができる。また、ライブビュー表示時に、絞りや画角が変化するので、撮影者が気に入った画像になった際に静止画の撮影を行うことができる。

なお、本発明の各実施形態においては、撮影パラメータとして、絞り値と焦点距離（ズーム）について説明したが、これに限らず、例えば、順次、ピント位置を切り替えたり、また露出（露出補正値）を変化させるようにしても良い。

また、本発明の各実施形態においては、撮影パラメータとしてのボケ具合の変更は絞り値を制御することによって、行っていたが、絞りではなく、画像処理で背景をぼかせる場合には、画像処理によって処理するようにしても良い。

さらに、本発明の各実施形態における表情変化ＤＢ６ａは、目、鼻、口等の顔の部分（パーツ）の形状や位置等と、顔の表情の関係を示すデータベースを記憶していたが、これに加えて、表情が変化する時のスピードのデータも記憶するようにしても良い。実施形態においては、笑顔度等の表情に基づいて、撮影パラメータの切り替えを行っていたが、表情のスピードに関するデータを用いて、変化を予測しながら、制御するようにしても良い。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画を撮影可能な撮影装置であれば、本発明を適用することができる。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・制御部、１ａ・・・表情変化抽出部、１ｂ・・・画像処理部、２・・・撮像部、２ａ・・・顔検出部、３・・・パラメータ設定部、４・・・モーション判定部、５・・・構図変化判定部、６・・・記録部、６ａ・・・表情変化ＤＢ、７・・・パラメータ制御部、８・・・表示部、８ａ・・・パラメータ変更表示部、８ｂ・・・アドバイス表示部、９・・・操作部、１０・・・カメラ、２１・・・人物

Claims (21)

1. 被写体像を撮像し画像データを出力する撮像部と、
   上記画像データに基づいて動画を記録する動画記録部と、
   撮影状態を変更するための撮影パラメータを設定するパラメータ設定部と、
   撮影画面の構図変化を判定する構図変化判定部を有し、
   上記動画の記録中に、上記構図変化判定部によって構図が安定していると判定された際に、上記設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更するパラメータ制御部と、
   を有することを特徴とする撮影装置。
2. 上記構図変化判定部は、上記画像データに基づいて判定することを特徴とする請求項１に記載の撮影装置。
3. 撮影装置の動きを検知し、上記撮影装置の構え方を判定するモーション判定部を有し、
   上記構図変化判定部は、上記モーション判定部の判定結果に基づいて、上記構図変化を判定することを特徴とする請求項１に記載の撮影装置。
4. 上記撮影パラメータは、絞り値、ズーミング、露光補正値、ピント位置の少なくとも１つであることを特徴とする請求項１に記載の撮影装置。
5. 上記画像データに基づいて、人物の顔部が含まれるか否かを検出する顔検出部と、
   上記顔検出部によって上記顔部が検出された場合に、上記人物の表情を判定する表情判定部と、
   を有し、
   上記パラメータ制御部は、上記表情判定部によって判定された上記人物の表情に応じて、上記撮影パラメータの変更を行うことを特徴とする請求項１に記載の撮影装置。
6. 上記表情判定部によって、上記顔部の表情が変化した開始した時点と、上記撮影パラメータの変更が終了した時点を記録する遷移期間記録部を有し、
   上記動画記録部は、上記遷移期間に対応する動画を記録することを特徴とする請求項５に記載の撮影装置。
7. 背景の動きを判定する背景動き判定部を有し、
   上記パラメータ制御部は、上記背景動き判定部による判定結果に基づいて、上記撮影パラメータの制御を行うか否かを決定することを特徴とする請求項１に記載の撮影装置。
8. 背景のコントラストを判定する背景コントラスト判定部を有し、
   上記パラメータ制御部は、上記背景コントラスト判定部による判定結果に基づいて、上記撮影パラメータの制御を切り替えることを特徴とする請求項１に記載の撮影装置。
9. 上記撮影パラメータは、絞り値およびズーミングであり、
   上記パラメータ制御部は、上記絞り値の変更の可否を優先的に判定し、上記絞り値の変更が不適当な場合に上記ズーミングの変更を判定することを特徴とする請求項１に記載の撮影装置。
10. 上記絞り値の変更可否にあたって、上記画像データの背景部分のコントラストを用いて判定することを特徴とする請求項９に記載の撮影装置。
11. 被写体像を撮像し画像データを出力する撮像部と、
    上記画像データに基づいて動画を記録する記録部と、
    撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、
    上記画像データに基づいて、被写体の表情変化を判定する判定部と、
    上記動画の記録中に、上記手動設定された上記撮影パラメータに関わらず、上記判定部によって判定された上記表情変化に応じて、上記撮影パラメータを変更するパラメータ制御部と、
    を有することを特徴とする撮影装置。
12. 被写体像を撮像し画像データを出力する撮像部と、
    撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、
    上記パラメータ設定部によって設定されている上記撮影パラメータに従って静止画を撮影し、上記静止画の撮影後に、上記設定されている上記撮影パラメータに関わらず、上記撮影パラメータを変更しながら動画を撮影する撮影制御部と、
    を有することを特徴とする撮影装置。
13. 上記画像データに基づいて、人物の顔部が含まれるか否かを検出する顔検出部を有し、
    上記撮影制御部は、上記顔検出部によって上記顔部が含まれていると判定した場合に、上記撮影パラメータを変更しながら動画を撮影することを特徴とする請求項１２に記載の撮影装置。
14. 被写体像を撮像し画像データを出力する撮像部と、
    上記画像データを記録する記録部と、
    撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、
    上記画像データに基づく動画の記録中に、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更するパラメータ制御部と、
    を有することを特徴とする撮影装置。
15. 撮影画面の構図変化を判定する構図変化判定部を有し、
    上記パラメータ制御部は、上記構図変化判定部によって所定時間の間、上記構図変化がないと判定された際に、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更することを特徴とする請求項１４に記載の撮影装置。
16. 静止画の撮影を指示するレリーズ釦と、
    上記レリーズ釦が操作された際に、上記画像データに基づいて静止画を撮影すると共に、上記静止画の撮影に引き続き、上記パラメータ制御部によって上記撮影パラメータを変更しながら、そのときの上記画像データに基づいて動画を撮影する撮影制御部と、
    を有することを特徴とする請求項１４に記載の撮影装置。
17. 被写体像を撮像し画像データを出力する撮像部と、
    上記画像データに基づいて被写体像をライブビュー表示する表示部と、
    撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、
    撮影画面の構図変化を判定する構図変化判定部を有し、
    上記ライブビュー表示中に、上記構図変化判定部によって構図が安定していると判定された際に、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更するパラメータ制御部と、
    を有することを特徴とする撮影装置。
18. 被写体像を撮像し画像データを出力する撮像部と、上記画像データを記録する記録部と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、撮影画面の構図変化を判定する構図変化判定部を有する撮影装置における撮影方法であって、
    上記画像データに基づく動画を記録し、
    上記動画の記録中に、上記構図変化判定部によって、構図が安定していると判定された際には、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更する、
    ことを特徴とする撮影方法。
19. 被写体像を撮像し画像データを出力する撮像部と、上記画像データに基づいてライブビュー表示を行う表示部と、撮影状態を変更するための撮影パラメータを手動設定するためのパラメータ設定部と、撮影画面の構図変化を判定する構図変化判定部を有する撮影装置における表示方法であって、
    上記画像データに基づいてライブビュー表示し、
    上記ライブビュー表示中に、上記構図変化判定部によって、構図が安定していると判定された際には、上記手動設定された上記撮影パラメータに関わらず、上記撮影パラメータを変更する、
    ことを特徴とする表示方法。
20. 上記ライブビュー表示中であって上記撮影パラメータを変更している際に、上記撮影パラメータが手動設定された場合には、上記撮影パラメータの変更を停止することを特徴とする請求項１９に記載の表示方法。
21. 上記ライブビュー表示中であって上記撮影パラメータを変更している際に、構図が変化していると判定された際には、上記撮影パラメータの変更を停止することを特徴とする請求項１９に記載の表示方法。