JP2012119858A - 撮影装置、撮影方法、およびプログラム - Google Patents

Abstract

【課題】シーンに応じた撮影方法を自動的に選択し、より画質のよい画像を撮影することができる撮影装置、撮影方法、およびプログラムを提供する。
【解決手段】撮影装置においては、シャッタボタンが押される前に撮影されたライブビュー用の画像に基づいて撮影シーンの分類が行われる。撮影シーンが夜景シーンであると分類された場合、連写機能が自動的にONに設定され、ユーザによりシャッタボタンが１回押されることに応じて、連続して複数の画像の撮影が行われる。また、連続して撮影された複数の画像の合成が行われるが、その合成処理の内容が、例えば、明るく動きのある花火などを撮影している場合と、明るく動きのある花火などを背景として人物を撮影している場合とで切り替えられる。
【選択図】図２

Description

本発明は、撮影装置、撮影方法、およびプログラムに関し、特に、シーンに応じた撮影方法を自動的に選択し、より画質のよい画像を撮影することができるようにした撮影装置、撮影方法、およびプログラムに関する。

近年販売されているデジタルカメラの多くには、ポートレートモード、風景モード、夜景モードなどの、撮影シーンに適したモードで撮影を行うことができる機能が搭載されている。例えば、風景を撮影する場合、ユーザは、風景モードを選択するだけで絞り値を高めにするなどの、各種のパラメータの値として風景の撮影に最適な値を設定することができる。

また、夜景モードが選択されている場合、シャッタボタンが一度押されることに応じて複数の画像を撮影し、得られた複数の画像の合成を行うデジタルカメラも提案されている。複数の画像を合成することによって、ダイナミックレンジが拡張された適正な露出の画像を得ることが可能になる。

例えば、特許文献１には、夜景を背景にしている人物を撮影する場合、低感度かつフラッシュ発光ONでの撮影と、高感度かつフラッシュ発光OFFでの撮影を続けて行い、先の撮影で得られた画像から人物の領域を抽出し、後の撮影で得られた画像の人物の領域の部分に合成する技術が開示されている。

特開２００５−８６４８８号公報

特許文献１に開示されている技術では、手ぶれを抑えるためにシャッタスピードが制限され、特に背景である夜景の部分が適正な露出にならないことがある。一般的に、シャッタスピードを１／焦点距離より長い時間として撮影を行った場合、手ぶれが生じてしまう。また、花火などの、暗闇の中で明るく動く物体を背景として撮影する場合、シャッタスピードの設定などが必要になるが一般のユーザにとっては困難である。

本発明の目的は、シーンに応じた撮影方法を自動的に選択し、より画質のよい画像を撮影することができる撮影装置、撮影方法、およびプログラムを提供することである。

本発明の一側面は、撮影手段と、シャッタボタンが操作される前に前記撮影手段により撮影された画像を解析し、撮影が行われているシーンの分類を行うシーン分類手段と、前記シーン分類手段により分類されたシーンが、夜景を被写体として含むシーンである夜景シーンである場合、前記シャッタボタンが操作されたときに複数の画像の撮影が連続して行われるように前記撮影手段を制御する制御手段とを備えることを特徴とする。

本発明の一側面は、撮影手段を備える撮影装置の撮影方法において、シャッタボタンが操作される前に前記撮影手段により撮影された画像を解析し、撮影が行われているシーンの分類を行うシーン分類ステップと、前記シーン分類ステップの処理により分類されたシーンが、夜景を被写体として含むシーンである夜景シーンである場合、前記シャッタボタンが操作されたときに複数の画像の撮影が連続して行われるように前記撮影手段を制御する制御ステップとを含むことを特徴とする。

本発明の一側面は、撮影手段を備える撮影装置の撮影処理をコンピュータに実行させるプログラムにおいて、シャッタボタンが操作される前に前記撮影手段により撮影された画像を解析し、撮影が行われているシーンの分類を行うシーン分類ステップと、前記シーン分類ステップの処理により分類されたシーンが、夜景を被写体として含むシーンである夜景シーンである場合、前記シャッタボタンが操作されたときに複数の画像の撮影が連続して行われるように前記撮影手段を制御する制御ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明によれば、シーンに応じた撮影方法を自動的に選択し、より画質のよい画像を撮影することができる撮影装置、撮影方法、およびプログラムを提供することができる。

本実施形態に係る撮影装置の構成例を示すブロック図である。 撮影装置の機能について説明する図である。 撮影装置の機能構成例を示すブロック図である。 被写体に花火が含まれているか否かの判定方法について説明する図である。 最大値合成について説明する図である。 人物領域の抽出の流れを説明する図である。 撮影シーンの例を示す図である。 マスクデータの例を示す図である。 マスクデータの修正の例を示す図である。 ブレンドマップの例を示す図である。 撮影装置の撮影処理について説明するフローチャートである。 撮影装置の撮影処理について説明する、図１１に続くフローチャートである。

［撮影装置の構成］
図１は、本実施形態に係る撮影装置１の構成例を示すブロック図である。撮影装置１は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機などの、静止画の撮影機能を有する装置である。

CPU(Central Processing Unit)１１は、所定のプログラムを実行し、撮影装置１の全体の動作を制御する。後述するように、CPU１１は、ユーザが撮影しようとしているシーンをシャッタボタンが押される前に分類する。撮影シーンの分類は、CMOS(Complementary Metal Oxide Semiconductor)センサ１２により取り込まれたライブビュー用の画像に基づいて行われる。CPU１１は、シャッタボタンが押されたとき、CMOSセンサ１２を制御して連続して撮影を行ったりストロボ１７を発光させたりして、予め分類していた撮影シーンに最適な撮影処理を実行する。

CMOSセンサ１２は、レンズにより取り込まれた光の光電変換を行い、光電変換によって得られた画像信号のA/D(Analog/Digital)変換を行う。CMOSセンサ１２は、A/D変換によって得られた画像データをメモリ１３に記憶させる。

画像処理部１４は、シャッタボタンが押される前にCMOSセンサ１２により撮影され、メモリ１３に記憶された画像をライブビュー用画像としてメモリ１３から読み出し、LCD(Liquid Crystal Display)１６に表示させる。また、画像処理部１４は、ユーザの撮影しようとしている撮影シーンが夜景シーンであるとCPU１１により分類された場合、シャッタボタンが押されることに応じて連続して撮影された複数の画像を合成し、１枚の合成画像を出力部１５またはLCD１６に出力することなどを行う。CPU１１から画像処理部１４に対しては、撮影シーンの分類結果を表す情報が供給される。さらに、画像処理部１４は、ユーザの撮影しようとしている撮影シーンが夜景ではなく屋外等の通常シーンであるとCPU１１により分類された場合、１枚の画像を撮影し、撮像画像に対してホワイトバランス処理、輪郭強調処理などの各種の画像処理を施す。

出力部１５は、画像処理部１４により生成された合成画像を、撮影装置１に対して着脱可能なメモリカードに記憶させたり、外部の装置に送信したりする。LCD１６は、画像処理部１４から供給されたライブビュー用画像または合成画像を表示する。

ストロボ１７は、CPU１１による制御に従って発光し、被写体に光を照射する。操作部１８はシャッタボタンなどの各種のボタンにより構成され、ボタンが操作されたとき、ユーザの操作の内容を表す信号をCPU１１に出力する。

図２は、以上のような構成を有する撮影装置１の撮影処理を概念的に示した図である。撮影シーンが夜景シーンであると分類された場合、連写機能が自動的にONに設定され、ユーザによりシャッタボタンが１回押されることに応じて、図２に示すように連続して複数の画像の撮影が行われる。図２の例においては２枚の画像が連写機能によって得られる。

また、上述したように、連続して撮影された画像の合成が撮影装置１において行われるが、その合成処理の内容が、例えば、矢印＃１の先に示すように、明るく動きのある花火などを撮影している場合と、矢印＃２の先に示すように、明るく動きのある花火などを背景として人物を撮影している場合とで切り替えられる。以下、背景に対して明るく動きのある被写体が花火である場合について説明するが、自動車のヘッドライトなどの他の被写体を撮影する場合にも同様の処理を適用することが可能である。

図３は、図２を参照して説明した撮影処理を実現するための撮影装置１の機能構成例を示すブロック図である。図３に示す機能部のうちの少なくとも一部は、図１のCPU１１により所定のプログラムが実行されることによって実現される。

図３に示すように、撮影装置１においては、シーン分類部３１、顔検出部３２、および撮影制御部３３が実現される。CMOSセンサ１２により撮影され、メモリ１３に記憶された画像はシーン分類部３１と顔検出部３２に入力される。

シーン分類部３１は、シャッタボタンが押される前にライブビュー用として撮影された画像を解析し、ポートレートシーン、風景シーン、夜景シーンなどの予め設定されている複数のシーンの中から、ユーザが撮影しようとしているシーンを分類する。例えば、肌色の画素の数が閾値より多い画像が撮影された場合、撮影シーンがポートレートシーンであるとして分類され、緑色や空色の画素の数が閾値より多い画像が撮影された場合、撮影シーンが風景シーンであるとして分類される。黒色の画素の数が閾値より多く、黒色の画素の領域に輝度値の高い画素が含まれている画像が撮影された場合、撮影シーンが夜景シーンであるとして分類される。

また、シーン分類部３１は、撮影シーンが夜景シーンであると分類した場合、撮影された画像に基づいて、被写体に花火が含まれているか否かを判定する。

図４は、被写体に花火が含まれているか否かの判定方法について説明する図である。図４の縦軸は時刻を表し、左側に示す４枚の画像はそれぞれライブビュー用画像である。図４においては、画像上の位置を各画像の左上隅を基準（０，０）として説明する。

シーン分類部３１は、時刻ｔ０に撮影された画像を解析し、最も明るいブロック（画素の集まり）の座標が（５，５）付近であり、画像全体の平均の明るさが、他の画像と較べて相対的にやや明るいことを検出する。また、シーン分類部３１は、時刻ｔ０から所定時間経過後の時刻ｔ１に撮影された画像を解析し、最も明るいブロックの座標が不明であり、画像全体の平均の明るさが、他の画像と較べて相対的に暗いことを検出する。時刻ｔ１に撮影された画像には、打ち上げ直後の花火が写っている。

同様に、シーン分類部３１は、時刻ｔ１から所定時間経過後の時刻ｔ２に撮影された画像を解析し、最も明るいブロックの座標が（９，６）付近または（２1，１３）付近であり、画像全体の平均の明るさが、他の画像と較べて相対的に明るいことを検出する。シーン分類部３１は、時刻ｔ２から所定時間経過後の時刻ｔ３に撮影された画像を解析し、最も明るいブロックの座標が（１４，５）付近であり、画像全体の平均の明るさが、他の画像と較べて相対的にやや明るいことを検出する。

例えば、シーン分類部３１は、このような解析を行い、画像内で最も明るいブロックの位置が刻々と変化するとともに、画像全体の明るさが刻々と変化していることに基づいて、被写体に花火が含まれていると判定する。なお、被写体に花火が含まれているか否かの判定は、画像内で最も明るいブロックの位置が刻々と変化していることと、画像全体の明るさが刻々と変化していることのいずれか一方に基づいて行われるようにしてもよい。

また、撮影装置１にマイクロフォンが設けられている場合、マイクロフォンにより集音された音の音量がシーン分類部３１により解析され、画像全体の明るさと音量が比例しているときに、被写体に花火が含まれているとして判定されるようにしてもよい。花火の明るさが明るいほど、観客による歓声や騒音などの音の音量も大きくなるものと考えられる。さらに、撮影装置１の姿勢を検出するセンサが設けられている場合、センサにより検出された撮影装置１の姿勢が、水平方向に対して平行か、もしくは上（空側）を向いているときに、被写体に花火が含まれているとして判定されるようにしてもよい。花火を撮影する場合、通常、ユーザは撮影装置１を水平より上に向けて撮影を行う。

このようにすれば、たとえば、容易に、または正確に被写体に花火が含まれているか否かを判定することができる。

シーン分類部３１は、以上のようにして分類した撮影シーンの情報と、撮影シーンが夜景シーンであると分類した場合には被写体に花火が含まれているか否かを表す情報を撮影制御部３３と画像処理部１４に出力する。

顔検出部３２は、シャッタボタンが押される前にライブビュー用として撮影された画像を解析し、撮影された画像から人の顔を検出する。例えば、顔検出部３２は、予め用意されている顔の特徴と、撮影された画像の各領域の特徴とをマッチングすることによって人の顔を検出する。顔検出部３２は、検出結果に応じて、人の顔が写っているか否かを表す情報を撮影制御部３３と画像処理部１４に出力する。

撮影制御部３３は、シーン分類部３１と顔検出部３２から供給された情報に基づいて撮影モードを設定し、ユーザによりシャッタボタンが押されたとき、設定した撮影モードに従ってCMOSセンサ１２とストロボ１７を制御して撮影を行う。

例えば、撮影制御部３３は、撮影シーンが夜景シーンであるとシーン分類部３１により分類された場合、連写撮影をONに設定する。撮影制御部３３は、シャッタボタンがユーザにより押された場合、その設定に従ってCMOSセンサ１２を制御し、複数の画像を連続して撮影する。

また、撮影制御部３３は、撮影シーンが夜景シーンであると分類され、顔検出部３２により人の顔が検出された場合において、シャッタボタンがユーザにより押されることに応じて複数の画像を連続して撮影するとき、最初の撮影時、または最後の撮影時のいずれかにストロボ１７を発光させる。ストロボ１７の光は人物を照射し、ストロボ１７の発光ありで撮影された最初または最後の画像には、人物が明るく写っていることになる。

このように、撮影装置１においては、撮影シーンが夜景シーンであると分類された場合、連写撮影が行われるように撮影モードの設定が行われる。また、撮影シーンが夜景シーンであると分類された場合において、人の顔が検出されたとき、連続して行われる複数回の撮影のうちの最初の撮影時、または最後の撮影時のいずれかにストロボ１７を発光させるように撮影モードの設定が行われる。

［画像処理部１４における処理について］
ここで、画像処理部１４による処理の切り替えについて説明する。画像処理部１４においては、シャッタボタンがユーザにより押されたときに以上のようにして撮影された画像を用いて行う処理が、シーン分類部３１と顔検出部３２による判定結果に応じて切り替えられる。

＜夜景シーンであり、花火が写っている場合＞
撮影シーンが夜景シーンであり、花火が写っている場合、連写機能によって撮影された複数の画像が画像処理部１４に供給される。

この場合、画像処理部１４は、連写機能によって撮影された複数の画像を、最大値合成によって合成し、１枚の合成画像を生成する。最大値合成は、連写機能によって撮影された複数の画像の対応する画素（各画像上の同じ座標の画素）のうち、画素値が最も高い画素の画素値を合成画像の各画素の画素値とするように複数の画像を合成する処理である。ここでは、画素値が最も高い画素の画素値を合成画像の各画素の画素値とするように合成を行う場合について説明するが、輝度値が最も高い画素の画素値を合成画像の各画素の画素値とするようにすることも可能である。

図５は、最大値合成について説明する図である。図５の左側に示す画像Ｐ１〜Ｐ３は連写機能によってその順番で撮影された画像であり、右側に示す画像は合成画像である。合成画像の座標（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）の位置にある各画素の画素値を求める場合について説明する。

画像処理部１４は、合成画像の座標（ｘ_１，ｙ_１）の画素の画素値を求める場合、画像Ｐ１の座標（ｘ_１，ｙ_１）の画素の画素値と、画像Ｐ２の座標（ｘ_１，ｙ_１）の画素の画素値と、画像Ｐ３の座標（ｘ_１，ｙ_１）の画素の画素値とを比較し、画素値が最大となる画素の画素値を、合成画像の座標（ｘ_１，ｙ_１）の画素の画素値として選択する。図５の例においては、矢印＃１１の先に示すように、画像Ｐ１の座標（ｘ_１，ｙ_１）の画素の画素値として、合成画像の座標（ｘ_１，ｙ_１）の画素の画素値が選択されている。

また、画像処理部１４は、合成画像の座標（ｘ_２，ｙ_２）の画素の画素値を求める場合、画像Ｐ１の座標（ｘ_２，ｙ_２）の画素の画素値と、画像Ｐ２の座標（ｘ_２，ｙ_２）の画素の画素値と、画像Ｐ３の座標（ｘ_２，ｙ_２）の画素の画素値とを比較し、画素値が最大となる画素の画素値を、合成画像の座標（ｘ_２，ｙ_２）の画素の画素値として選択する。図５の例においては、矢印＃１２の先に示すように、画像Ｐ２の座標（ｘ_２，ｙ_２）の画素の画素値として、合成画像の座標（ｘ_２，ｙ_２）の画素の画素値が選択されている。

同様に、画像処理部１４は、合成画像の座標（ｘ_３，ｙ_３）の画素の画素値を求める場合、画像Ｐ１の座標（ｘ_３，ｙ_３）の画素の画素値と、画像Ｐ２の座標（ｘ_３，ｙ_３）の画素の画素値と、画像Ｐ３の座標（ｘ_３，ｙ_３）の画素の画素値とを比較し、画素値が最大となる画素の画素値を、合成画像の座標（ｘ_３，ｙ_３）の画素の画素値として選択する。図５の例においては、矢印＃１３の先に示すように、画像Ｐ３の座標（ｘ_３，ｙ_３）の画素の画素値として、合成画像の座標（ｘ_３，ｙ_３）の画素の画素値が選択されている。

撮影シーンが夜景シーンであり、花火が写っている場合、画像処理部１４は、連写機能によって撮影された複数の画像をこのような最大値合成によって合成し、１枚の合成画像を生成する。各画素の画素値が例えば８ビットで表され、白がRGB=(255,255,255)で表される場合、このように処理することで、それぞれの画像単体では露光不足になっているような画像であっても、複数の画像のうちの明るい画素を集めるように合成が行われることになり、花火の部分が適正な露出になっている合成画像を得ることが可能になる。つまり、花火撮影においては、露光不足や閃光の軌跡を残すために長秒時露光設定によって撮影することが一般的だが、適正な秒時を選択しないと過露光となってディテールやコントラストを失いやすい。そこで、以上のような連写撮影と最大値合成を用いることで、過露光を抑制しつつ、花火を適正な露出にすることができる。

＜夜景シーンであり、花火が写っていない場合＞
撮影シーンが夜景シーンであり、花火が写っていない場合も、花火が写っている場合と同様に、連写機能によって撮影された複数の画像が画像処理部１４に供給される。

この場合、画像処理部１４は、連写機能によって撮影された複数の画像を、加算合成または平均合成によって合成し、１枚の合成画像を生成する。加算合成は、連写機能によって撮影された複数の画像の対応する画素の画素値の和を合成画像の各画素の画素値とするように複数の画像を合成する処理である。なお加算合成する場合、加算の結果、画素値が上限値（たとえば、255）を超える値になった場合、最も大きな値が、上限値になる割合で、画像全体の画素値を小さくすることができる。

一方、平均合成は、連写機能によって撮影された複数の画像の対応する画素の画素値の平均を合成画像の各画素の画素値とするように複数の画像を合成する処理である。平均合成は、例えば、加算合成によって得られた合成画像において、画素値が飽和して白飛びしている画素の割合が所定の割合を超えている場合に選択される。

撮影シーンが夜景シーンであり、花火が写っていない場合、画像処理部１４は、連写機能によって撮影された複数の画像をこのような加算合成または平均合成によって合成し、１枚の合成画像を生成する。これにより、適正な露出で夜景が写っている合成画像を得ることが可能になる。なお、連写機能によって撮影された複数の画像の手ぶれ補正が行われ、手ぶれ補正後の画像に基づいて加算合成または平均合成が行われるようにすることも可能である。

＜人の顔が検出された場合＞
撮影シーンが夜景シーンであり、人の顔が写っている場合、連写機能によって撮影された複数の画像が画像処理部１４に供給される。画像処理部１４に供給される複数の画像のうち、最初または最後に撮影された画像は、ストロボ１７の発光ありで撮影された画像である。

図６は、人物領域の抽出の流れを説明する図である。画像処理部１４は、矢印＃２１の先に示すように、連写機能によって撮影された複数の画像のうち、ストロボ１７の発光なしで撮影された画像と、最初または最後にストロボ１７の発光ありで撮影された画像との輝度値の差を求め、マスクデータを生成する。マスクデータは、ストロボ１７の発光ありで撮影された画像から人物の領域を抽出するために用いられる。

以下、適宜、ストロボ１７の発光ありで撮影された画像をストロボON画像といい、ストロボ１７の発光なしで撮影された画像をストロボOFF画像という。

図７に示すように、花火を背景として人物の撮影を行っている場合について説明する。ストロボ１７の発光ありで撮影を行った場合、その撮影によって得られた画像のうちの人物の領域の輝度値は、背景の領域の輝度値と較べて高くなる。これに対して、ストロボ１７の発光なしで撮影を行った場合、その撮影によって得られた画像のうちの人物の領域の輝度値は、背景の領域の輝度値と同様に低くなる。

画像処理部１４は、ストロボON画像とストロボOFF画像の領域毎の輝度値の差を求め、輝度値の差が閾値以上になる領域を示す、図８に示すようなマスクデータを生成する。図８に示すマスクデータのうち、斜線を付して示す領域が、ストロボON画像とストロボOFF画像の輝度値の差が閾値以上になる領域であり、人物の領域に相当する。

マスクデータを生成した後、図６の矢印＃２２の先に示すように、画像処理部１４はマスクデータの修正を行う。マスクデータの修正は、人物の一部ではあるが、ストロボ１７の光が当たらないためにマスクデータにおいて人物の領域として検出されない部分（ストロボON画像とストロボOFF画像の輝度値の差が閾値以上にならない部分）を、人物の領域に含めるようにマスクデータを加工する処理である。

例えば、ストロボ１７の発光ありで撮影を行ったとしても、人の頭の上の方に光が届かないことがある。この場合、マスクデータの人物の領域のうちの頭の部分の形状は、図９において破線の円で囲んで示すように凹んだ形状になる。画像処理部１４は、この凹んでいる形状を図８に示すように凹んでいない形状にするように、マスクデータを修正する。顔検出部３２により検出された顔の位置を基準として、頭全体がどの範囲にあるのかは予測可能であり、画像処理部１４は、例えば、頭全体の範囲を予測し、マスクデータを修正する。

マスクデータの修正を行った後、図６の矢印＃２３と矢印＃２５の先に示すように、画像処理部１４は、マスクデータを用いて、ストロボON画像から人物の領域を抽出する。マスクデータを重ねたときに図８の斜線で示す領域に対応する画像上の領域が、ストロボON画像に写る人物の領域になる。

ストロボON画像から人物の領域を抽出した後、図６の矢印＃２４の先に示すように、画像処理部１４は、人物の領域の画像をブレンドマップに応じて合成画像に合成する。人物の領域の合成先となる合成画像は、上述したように、撮影シーンが夜景シーンであり、花火が写っている場合には最大値合成によって生成された画像であり、花火が写っていない場合には加算合成または平均合成によって生成された画像である。

図１０はブレンドマップの例を示す図である。図１０の横軸は、ストロボON画像とストロボOFF画像の輝度値の差を表し、縦軸は、ストロボON画像から抽出された人物の領域の画素の画素値の合成比率を表す。例えば、合成比率が５０％であることは、最終的に得られる合成画像のうちの人物の領域の画素の画素値として、合成画像の画素の画素値と、ストロボON画像から抽出された人物の領域の画素の画素値とを５０％ずつ混合した画素値を用いることを表す。

図１０の例においては、ストロボON画像とストロボOFF画像の輝度値の差が閾値１以下である場合、ストロボON画像から抽出された人物の領域の画素の画素値の合成比率は０％とされている。また、輝度値の差が閾値１以上、閾値２未満である場合、ストロボON画像から抽出された人物の領域の画素の画素値の合成比率は、輝度値の差に比例して線形的に０％から１００％に増えるものとされている。さらに、輝度値の差が閾値２以上である場合、ストロボON画像から抽出された人物の領域の画素の画素値の合成比率は１００％とされている。

画像処理部１４に対しては、このようなブレンドマップの情報が予め設定されている。画像処理部１４は、撮影シーンが夜景シーンであり、人の顔が写っている場合、ストロボON画像から抽出した人物の領域の画像を、ブレンドマップに従って合成画像に合成する。

これにより、背景と人物の両方の露出が適正な合成画像を得ることが可能になる。上述したように、背景については、最大値合成、加算合成、平均合成などの合成処理によって適正な露出になっている。また、人物については、ストロボ１７の発光ありで撮影が行われることによって適正な露出になっている。

［撮影装置１の動作］
次に、図１１および図１２のフローチャートを参照して、撮影装置１の撮影処理について説明する。

ステップＳ１において、撮影制御部３３は、CMOSセンサ１２を制御してライブビュー用画像を撮影する。撮影されたライブビュー用画像は、メモリ１３に記憶された後、シーン分類部３１、顔検出部３２に供給されるとともに、画像処理部１４により読み出され、LCD１６に表示される。

ステップＳ２において、シーン分類部３１は、ライブビュー用画像を解析し、撮影シーンの分類を行う。また、シーン分類部３１は、撮影シーンが夜景シーンであると分類した場合、花火が被写体に含まれているか否かの検出も行う。

ステップＳ３において、顔検出部３２は、ライブビュー用画像を解析し、顔の検出を行う。

ステップＳ４において、シーン分類部３１は、撮影シーンが夜景シーンであるか否かを判定する。ステップＳ４において、撮影シーンが夜景シーンではないと判定された場合、手続きはステップＳ５に進み、撮影制御部３３は、撮影シーンに応じて通常撮影を行う。すなわち、撮影制御部３３は、ポートレートシーンや風景シーンなどの撮影シーンに応じたパラメータを設定し、シャッタボタンが押されることに応じて撮影を行う。撮影画像は、画像処理部１４によって各種画像処理が行われた後、出力部１５に供給される。出力部１５は、画像のデータを記録媒体に記録させ、その後、通常撮影処理は終了される。

一方、ステップＳ４において、撮影シーンが夜景シーンであると判定された場合、手続きはステップＳ６に進み、撮影制御部３３は、連写撮影をONに設定する。

ステップＳ７において、撮影制御部３３は、顔検出部３２により人の顔が検出されたか否かを判定し、人の顔が検出されたと判定した場合、ステップＳ８に進み、最初の撮影時、または最後の撮影時のいずれかに発光するようにストロボ１７の設定を行う。

ステップＳ９において、撮影制御部３３は、操作部１８から供給された信号に基づいて、シャッタボタンが押されたか否かを判定し、押されたと判定するまで待機する。

ステップＳ９において、撮影制御部３３は、シャッタボタンが押されたと判定した場合、手続きはステップＳ１０に進み、CMOSセンサ１２を制御し、連写機能によって複数の画像を撮影する。また、撮影制御部３３は、最初の撮影時、または最後の撮影時のいずれかにストロボ１７を発光させる。連写機能によって撮影された複数の画像は、メモリ１３に記憶された後、画像処理部１４に供給される。

ステップＳ１１において、画像処理部１４は、上述したように、ストロボON画像とストロボOFF画像の輝度値の差に基づいてマスクデータを生成し、適宜修正した後（図８、図９）、マスクデータを用いてストロボON画像から人物の領域の画像を抽出する。

ステップＳ１２において、画像処理部１４は、シーン分類部３１により花火が検出されたか否かを判定し、花火が検出されたと判定した場合、ステップＳ１３に進み、複数の画像を最大値合成によって合成し、得られた合成画像に、ストロボON画像から抽出した人物の領域の画像を合成する。ストロボON画像から抽出された人物の領域の画像が合成された合成画像のデータは、画像処理部１４から出力部１５に供給される。

ステップＳ１４において、出力部１５は、画像処理部１４により生成された合成画像のデータを記録媒体に記録させ、処理を終了する。

ステップＳ１２において、花火が検出されていないと判定された場合、ステップＳ１５に進み、画像処理部１４は、複数の画像を加算合成または平均合成によって合成し、得られた合成画像に、ストロボON画像から抽出した人物の領域の画像を合成する。その後、ステップＳ１４に進み、合成画像が記録された後、処理は終了される。

ステップＳ７において、撮影制御部３３は、人の顔が検出されていないと判定した場合、ステップＳ１６（図１２）に進み、シャッタボタンが押されたか否かを判定し、押されたと判定するまで待機する。

ステップＳ１６において、撮影制御部３３は、シャッタボタンが押されたと判定した場合、ステップＳ１７に進み、CMOSセンサ１２を制御し、連写機能によって複数の画像を撮影する。人の顔が検出されていないから、ここでは、ストロボ１７の発光は行われない。連写機能によって撮影された複数の画像は、メモリ１３に記憶された後、画像処理部１４に供給される。

ステップＳ１８において、画像処理部１４は、シーン分類部３１により花火が検出されたか否かを判定し、花火が検出されたと判定した場合、ステップＳ１９に進み、複数の画像を最大値合成によって合成する。最大値合成によって生成された合成画像のデータは画像処理部１４から出力部１５に供給される。

ステップＳ２０において、出力部１５は、画像処理部１４により生成された合成画像のデータを記録媒体に記録させ、処理を終了する。

一方、ステップＳ１８において、画像処理部１４は、花火が検出されていないと判定した場合、ステップＳ２１に進み、撮影された複数の画像を加算合成または平均合成によって合成する。その後、ステップＳ２０において、合成画像が記録された後、処理は終了される。

［発明の実施の形態における効果］
１．以上のように、シャッタボタンが操作される前に撮影シーンを分類するようにしたので、撮影シーンが夜景を含むシーンである場合には、容易に、連写撮影を行う撮影モードに設定することが可能となる。

２．夜景シーンに花火が写っている場合には、連写機能によって撮影された複数の画像の対応する画素のうち、画素値また輝度値が最も高い画素の画素値を合成画像の各画素の画素値とするように複数の画像を合成するようにしたので、花火の部分の露出が適正な、画質のよい夜景を容易に撮影することが可能となる。

３．夜景シーンに花火が写っていない場合には、連写機能によって撮影された複数の画像の対応する画素の画素値の和を合成画像の各画素の画素値とするように、または、複数の画像の対応する画素の画素値の和が閾値を超える画素の割合が所定の割合を超えるとき、複数の画像の対応する画素の画素値の平均値を前記合成画像の各画素の画素値とするように、複数の画像を合成するようにしたので、露出が適正な、画質のよい夜景を容易に撮影することが可能となる。

４．人物の顔を検出したとき、複数の画像のうちの最初の画像の撮影時、または最後の画像の撮影時にストロボを発光させるようにしたので、また、最初の画像または前記最後の画像からストロボによって照射された領域を抽出し、抽出した前記領域を前記合成画像に重ねて合成するようにしたので、露出が適正であって、かつ手ぶれが生じていない画質のよい夜景を容易に撮影するだけでなく、より人物を最適な画質で撮影することが可能になる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

この発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化したり、上記実施の形態に開示されている複数の構成要素を適宜組み合わせたりすることにより種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態に亘る構成要素を適宜組み合わせても良い。

１ 撮影装置
１１ CPU
１２ CMOSセンサ
１３ メモリ
１４ 画像処理部
１５ 出力部
１６ LCD
１７ ストロボ
１８ 操作部
３１ シーン分類部
３２ 顔検出部
３３ 撮影制御部

Claims (7)

1. 撮影手段と、
   シャッタボタンが操作される前に前記撮影手段により撮影された画像を解析し、撮影が行われているシーンの分類を行うシーン分類手段と、
   前記シーン分類手段により分類されたシーンが、夜景を被写体として含むシーンである夜景シーンである場合、前記シャッタボタンが操作されたときに複数の画像の撮影が連続して行われるように前記撮影手段を制御する制御手段と
   を備えることを特徴とする撮影装置。
2. 請求項１に記載の撮影装置において、
   前記シーン分類手段は、撮影が行われているシーンが前記夜景シーンであると分類した場合、花火の撮影が行われているか否かを判定し、
   花火の撮影が行われていると判定された場合、前記シャッタボタンが操作されたときに撮影された前記複数の画像の対応する画素のうち、画素値または輝度値が最も高い画素の画素値を合成画像の各画素の画素値とするように、前記複数の画像を合成する画像処理手段をさらに備える
   ことを特徴とする撮影装置。
3. 請求項２に記載の撮影装置において、
   前記画像処理手段は、花火の撮影が行われていないと判定された場合、前記シャッタボタンが操作されたときに撮影された手ぶれ補正後の前記複数の画像の対応する画素の画素値の和を前記合成画像の各画素の画素値とするように、または、前記複数の画像の対応する画素の画素値の和が閾値を超える画素の割合が所定の割合を超えるとき、前記複数の画像の対応する画素の画素値の平均値を前記合成画像の各画素の画素値とするように、前記複数の画像を合成する
   ことを特徴とする撮影装置。
4. 請求項２または請求項３に記載の撮影装置において、
   前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
   ストロボを発光する発光手段と
   をさらに備え、
   前記制御手段は、前記シャッタボタンが操作される前に撮影された画像から前記顔検出手段により人物の顔が検出された場合、前記複数の画像のうちの最初の画像の撮影時、または最後の画像の撮影時にストロボを発光させるように前記発光手段を制御し、
   前記画像処理手段は、前記最初の画像または前記最後の画像からストロボによって照射された領域を抽出し、抽出した前記領域を前記合成画像に重ねて合成する
   ことを特徴とする撮影装置。
5. 請求項１に記載の撮影装置において、
   前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
   ストロボを発光する発光手段と
   をさらに備え、
   前記制御手段は、前記シャッタボタンが操作される前に撮影された画像から前記顔検出手段により人物の顔が検出された場合、前記複数の画像のうちの最初の画像の撮影時、または最後の画像の撮影時にストロボを発光させるように前記発光手段を制御する
   ことを特徴とする撮影装置。
6. 撮影手段を備える撮影装置の撮影方法において、
   シャッタボタンが操作される前に前記撮影手段により撮影された画像を解析し、撮影が行われているシーンの分類を行うシーン分類ステップと、
   前記シーン分類ステップの処理により分類されたシーンが、夜景を被写体として含むシーンである夜景シーンである場合、前記シャッタボタンが操作されたときに複数の画像の撮影が連続して行われるように前記撮影手段を制御する制御ステップと
   を含むことを特徴とする撮影方法。
7. 撮影手段を備える撮影装置の撮影処理をコンピュータに実行させるプログラムにおいて、
   シャッタボタンが操作される前に前記撮影手段により撮影された画像を解析し、撮影が行われているシーンの分類を行うシーン分類ステップと、
   前記シーン分類ステップの処理により分類されたシーンが、夜景を被写体として含むシーンである夜景シーンである場合、前記シャッタボタンが操作されたときに複数の画像の撮影が連続して行われるように前記撮影手段を制御する制御ステップと
   を含む処理をコンピュータに実行させるプログラム。