JP2010219739A - Digital camera - Google Patents
Digital camera Download PDFInfo
- Publication number
- JP2010219739A JP2010219739A JP2009062639A JP2009062639A JP2010219739A JP 2010219739 A JP2010219739 A JP 2010219739A JP 2009062639 A JP2009062639 A JP 2009062639A JP 2009062639 A JP2009062639 A JP 2009062639A JP 2010219739 A JP2010219739 A JP 2010219739A
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- expression level
- face
- threshold
- subject person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】被写体人物毎に適切な顔表情レベルでの自動撮影を行うこと。
【解決手段】顔認識部27が被写体画像データ中の被写体人物が登録人物であることを認識した場合に、顔表情レベル検出部23がその被写体人物の笑顔レベル値が閾値データ記憶部29に記憶された当該被写体人物の笑顔レベル閾値以上であることを検出すると、自動撮影部31は自動撮影を行う。一方、顔認識部27が被写体画像データ中の被写体人物が登録人物でないと認識した場合には、閾値演算設定部32は、その人物の笑顔レベル閾値として初期値を設定するとともに、この初期値と今回の撮影で検出された笑顔レベル値から次回の撮影に用いられる笑顔レベル閾値を演算する。
【選択図】図1To perform automatic photographing at an appropriate facial expression level for each subject person.
When a face recognition unit 27 recognizes that a subject person in subject image data is a registered person, a facial expression level detection unit 23 stores a smile level value of the subject person in a threshold data storage unit 29. When it is detected that the subject person's smile level threshold value is exceeded, the automatic photographing unit 31 performs automatic photographing. On the other hand, when the face recognition unit 27 recognizes that the subject person in the subject image data is not a registered person, the threshold value calculation setting unit 32 sets an initial value as the smile level threshold value of the person, A smile level threshold value used for the next shooting is calculated from the smile level value detected in the current shooting.
[Selection] Figure 1
Description
本発明は、被写体の顔の表情を検出し、顔表情が所定の表情となった時に被写体を自動撮影する機能を有するデジタルカメラに関する。 The present invention relates to a digital camera having a function of detecting a facial expression of a subject and automatically photographing the subject when the facial expression becomes a predetermined facial expression.
従来、被写体の顔の表情を検出し、被写体の表情が望ましいと思われる表情となった時に自動的に撮影を行うカメラが知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, there has been known a camera that detects a facial expression of a subject and automatically captures an image when the subject's facial expression becomes a desirable facial expression (see, for example, Patent Document 1).
しかしながら、撮影者が撮影したいと思う望ましい表情を設定しておいても、被写体人物によって顔表情は様々であり、撮影の際に短時間で望ましい表情となる人物もいれば、長時間経っても望ましい表情とならない人物もいる。例えば、撮影者が自動撮影する条件として笑顔の度合い(笑顔レベル)を決めておいたとしても、笑顔レベルが低い被写体人物は自動撮影する条件を満たせず、自動撮影が困難であるという問題がある。 However, even if the photographer sets the desired facial expression that he / she wants to shoot, the facial expression varies depending on the subject person. Some people do not have the desired expression. For example, even if the photographer determines the degree of smile (smile level) as a condition for automatic shooting, a subject person with a low smile level does not satisfy the conditions for automatic shooting, and automatic shooting is difficult. .
(1)請求項1の発明によるデジタルカメラは、被写体を撮像し、被写体画像データを出力する撮像手段と、被写体画像データに基づき被写体人物の顔画像に関する顔情報を顔登録データとして記憶する顔登録データ記憶手段と、顔登録データ記憶手段に記憶された被写体人物の各々に対してそれぞれの顔表情レベル閾値を設定する閾値設定手段と、顔表情レベル閾値を被写体人物に関連付けて記憶する閾値記憶手段と、被写体画像データ中の被写体人物の顔画像が顔登録データ記憶手段の顔登録データに対応することを認識すると、認識信号を出力する顔認識手段と、被写体画像データ中の被写体人物の顔画像の顔表情レベル値を検出して、顔表情レベル値を表すレベル値検出信号を出力すると共に、被写体画像データ中の被写体人物の顔表情レベル値が所定の顔表情レベル閾値以上に対応することを検出した時に閾値検出信号を出力する顔表情レベル検出手段と、顔表情レベル検出手段のレベル値検出信号に基づき被写体人物の顔表情レベル値を、当該被写体人物に関連付けて記憶するレベル値記憶手段と、顔表情レベル検出手段の閾値検出信号に応じて自動的に撮影を行う自動撮影手段と、を備え、顔表情レベル検出手段は、顔認識手段が認識信号を出力した場合に、所定の顔表情レベル閾値として閾値記憶手段に記憶された当該被写体人物の顔表情レベル閾値を使用し、閾値設定手段は、前記レベル値記憶手段に記憶された被写体人物に関する顔表情レベル値に基づき、当該被写体人物に対する顔表情レベル閾値を修正することを特徴とする。 (1) A digital camera according to a first aspect of the invention is an image pickup means for picking up a subject and outputting subject image data, and face registration for storing face information relating to a face image of a subject person based on the subject image data as face registration data. Data storage means; threshold setting means for setting each facial expression level threshold value for each of the subject persons stored in the face registration data storage means; and threshold storage means for storing the facial expression level threshold value in association with the subject person And recognizing that the face image of the subject person in the subject image data corresponds to the face registration data in the face registration data storage means, the face recognition means for outputting a recognition signal, and the face image of the subject person in the subject image data The facial expression level value of the subject is detected, a level value detection signal representing the facial expression level value is output, and the face of the subject person in the subject image data A facial expression level detection means for outputting a threshold detection signal when it is detected that the emotion level value is equal to or greater than a predetermined facial expression level threshold, and the facial expression level of the subject person based on the level value detection signal of the facial expression level detection means Level value storage means for storing values in association with the subject person, and automatic photographing means for automatically photographing according to a threshold detection signal of the facial expression level detection means, the facial expression level detection means, When the face recognition means outputs a recognition signal, the face expression level threshold value of the subject person stored in the threshold value storage means is used as the predetermined facial expression level threshold value, and the threshold value setting means is stored in the level value storage means. The facial expression level threshold value for the subject person is corrected based on the facial expression level value for the subject person.
本発明のデジタルカメラによれば、被写体人物に固有の顔表情レベル閾値を、過去に検出したその人物の顔表情レベル値に基づいて自動撮影の条件として修正するので、その被写体人物を自動撮影するのに適した条件を簡単に設定できる。 According to the digital camera of the present invention, the facial expression level threshold unique to the subject person is corrected as an automatic photographing condition based on the facial expression level value of the person detected in the past, so the subject person is automatically photographed. It is possible to easily set conditions suitable for
以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図1は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
図1に示されるように、デジタルカメラは、撮影レンズ11、絞り12、撮像素子13、バッファメモリ14および画像処理部15を備える。また、デジタルカメラは、画像記録部16、CPU(Central Processing Unit)17、ROM(Read Only Memory)18、バス19、画像読出し部20、顔表情撮影モード設定部40、表示制御部41およびディスプレイ42を備える。
Hereinafter, a digital camera according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a digital camera according to an embodiment of the present invention.
As shown in FIG. 1, the digital camera includes a
画像処理部15、画像記録部16、CPU17、ROM18、画像読出し部20、顔表情撮影モード設定部40および表示制御部41は、バス19を介して互いに接続されている。
The
CPU17は、顔検出部21、顔表情レベル検出部23、顔認識部27、自動撮影部31、閾値演算設定部32および統計処理部33として機能する。また、CPU17は、撮影手段である撮影レンズ11、絞り12、撮像素子13を制御する。
The
ROM18は、顔データ記憶部22、顔表情データ記憶部24、顔表情レベルデータ記憶部25、顔登録データ記憶部28、閾値データ記憶部29およびレベル値データ記憶部30として機能する。
撮影レンズ11は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子13上に結像する。図1では簡単のため、撮影レンズ11は1枚のレンズで示されている。撮像素子13は、撮影レンズ11からの被写体光L1を光電変換することにより画像信号を生成する。
The
The photographing
撮像素子13から出力される画像信号は、バッファメモリ14を介して画像処理部15に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子13からの画像信号は、バッファメモリ14、画像処理部15を経てバス19を介してディスプレイ42に送られ、スルー画像として表示される。撮影段階では、撮像素子13からの画像信号は、バッファメモリ14、画像処理部15を経てバス19を介して画像記録部16にて記録される。
The image signal output from the
画像記録部16は、画像データとその画像データに関する属性データ(例えば、撮影日時、撮影場所)とを関連付けて不揮発性のメモリ(記憶媒体)16aに記録する。画像データには、撮像素子13からの被写体画像データや、外部機器から画像記録部16に入力された被写体画像データが含まれる。
The
画像読出し部20は、画像記録部16のメモリ16aに記録されている画像データの検索や、属性データに基づいて画像の検索、再生を行う操作部である。
The
顔検出部21は、スルー画像中の被写体人物について顔データ記憶部22に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。顔データ記憶部22は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。
The
顔検出には、例えば、特開2001−16573号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。 For the face detection, for example, a detection method disclosed in Japanese Patent Laid-Open No. 2001-16573 can be used. In this detection method, feature points are extracted from an input image to detect the face area, face size, etc. of the subject. The feature points include end points of eyebrows, eyes, nose, lips, and face contour points, such as the head vertex and the lower end point of the chin.
他の顔検出としては、例えば、特開2005−157679号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の2画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が1以上のときにその所定領域に顔が存在すると判別するものである。 As other face detection, for example, a detection method disclosed in JP-A-2005-157679 can be used. In this detection method, first, a luminance difference between two pixels in an input image is learned as a feature amount, and an estimated value indicating whether or not a face exists in a predetermined region in the input image based on the feature amount. And when the estimated value is 1 or more, it is determined that a face exists in the predetermined area.
顔表情レベル検出部23は、顔検出部21により検出された顔領域の画像の顔表情を顔表情データ記憶部24に予め記憶されている複数の顔表情データと比較することにより、顔画像中の被写体人物の顔表情の種類を検出する。すなわち、顔表情レベル検出部23は、被写体人物の顔表情が所定の顔表情であることを検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部24は、これらの様々な顔表情をデータとして記憶している。
The facial expression
There are various types of facial expressions such as a smiling face, a crying face, an angry face, a surprised face, and a sleeping face, and the facial expression data storage unit 24 stores these various facial expressions as data.
顔表情レベル検出部23が顔領域の画像の顔表情を検出する場合には、例えば、特開2008−42319号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という2つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。
When the facial expression
顔表情レベル検出部23は、更に、顔検出部21により検出された顔領域の画像の顔表情を顔表情レベルデータ記憶部25に予め記憶されている顔表情毎の複数の顔表情レベルデータと比較することにより、顔画像中の被写体人物の顔表情がいずれの顔表情の度合い(顔表情レベル)に対応したかを検出する。顔表情レベルとしては、例えば笑顔であれば、10%、20%、30%、・・・、100%と10段階の笑顔レベル値がある。笑顔レベルの数値が大きくなるにつれて、微笑みから大笑いへと変化してゆく。顔表情レベルデータ記憶部25は、これらの顔表情の種類毎の顔表情レベルについてのデータを記憶している。
The facial expression
顔表情レベル検出部23は、被写体人物の顔表情レベル値を連続的に検出し、その時々の顔表情レベル値に対応する顔表情レベル値検出信号を出力する。
顔表情レベル検出部23は、更に、被写体人物の顔表情レベルが所定のレベル閾値以上になったことを検出すると、閾値検出信号を出力する。
The facial expression
When the facial expression
顔表情レベル検出部23が顔領域の画像の顔表情レベル、例えば笑顔レベルを判定する場合には、例えば、特開2004−46591号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。
When the facial expression
顔認識部27は、顔検出部21により検出された被写体人物の顔領域の画像データを顔登録データ記憶部28に記録されている個々人の顔画像の登録データと照合し、顔領域の画像データが登録データに対応することを認識すると、認識信号を出力する。
また、顔認識部27は、顔領域の画像データが登録データに対応しないことを認識すると非認識信号を出力する。
The
When the
顔登録データ記憶部28には、これまでに撮影された被写体人物の各々の顔画像の特徴に関する顔情報を登録データとして、その被写体人物と関連付けて記憶している。例えば、顔登録データ記憶部28には、被写体人物Aの顔画像の特徴に関する顔情報を被写体人物Aと関連付けて記憶している。
The face registration
具体的には、顔登録データ記憶部28は、顔認識部27が発生する非認識信号に応じてその被写体人物の顔画像に基づいた特徴的な顔情報を登録データ(顔画像データ)として記憶するとともに、その人物を特定する任意のID情報を顔画像データに関連付けて記憶し、ここに、人物登録が完了する。上記の特徴的な顔情報とは、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータである。なお、登録データは、スルー画像に基づいて解析されたデータでもよいし、撮影された被写体画像に基づいて解析されたデータでもよい。
Specifically, the face registration
閾値データ記憶部29は、上記の登録人物に固有の顔表情レベルを閾値データとして記憶する。固有の顔表情レベルは、登録人物毎に設定される。被写体人物が未登録の人物である場合は、閾値の初期値として、顔表情レベル検出部23が検出可能な最低の顔表情レベル値10%を用いる。
このような閾値データは、顔登録データ記憶部28の登録人物の顔画像データまたはID情報データに関連付けられているので、登録人物が特定されれば、その顔表情レベルの閾値も直ちに読み出すことができる。
The threshold
Since such threshold data is associated with the face image data or ID information data of the registered person in the face registration
レベル値データ記憶部30は、顔表情レベル検出部23の顔表情レベル値検出信号に基づいて顔表情レベル検出部23が検出した顔表情レベル値をレベル値データとして記憶する。
このようなレベル値データは、顔登録データ記憶部28の登録人物の顔画像データまたはID情報データに関連付けられているので、登録人物が特定されれば、その顔表情レベル値も直ちに読み出すことができる。
The level value
Since such level value data is associated with the registered person's face image data or ID information data in the face registration
自動撮影部31は、顔表情レベル検出部23の閾値検出信号に応じて撮影レンズ11、絞り12および撮像素子13に動作信号を出力し、被写体の自動撮影を行う。画像記録部16は、撮影された被写体画像データと属性データ(例えば、撮影日時、撮影場所)とを関連付けてメモリ16aに記録する。
The automatic photographing
閾値演算設定部32は、顔登録データ記憶部28に記憶された登録人物の各々に対してそれぞれの顔表情レベル閾値を設定する。この顔表情レベル閾値は、登録人物についてレベル値データ記憶部30が記憶しているレベル値データを演算して算出される。具体的には、顔表情レベル閾値は、複数のレベル値データの平均値として算出される。
閾値データ記憶部29は、閾値演算設定部32が演算した新しい閾値を、既に閾値データ記憶部29に記憶されている古い閾値とともに保存する。
また、閾値演算設定部32は、顔認識部27が発生する非認識信号に応じてその被写体人物に対する閾値として予め定められた初期値を設定する。具体的には、閾値演算設定部32は、顔登録データ記憶部28に記憶されていない被写体人物に対しては、上述の初期値10%を顔表情レベル閾値として設定する。
The threshold
The threshold value
In addition, the threshold
統計処理部33は、レベル値データ記憶部30が記憶している顔表情レベル値(例えば笑顔レベル値)のデータに基づいて種々の統計処理を行い、その結果をグラフ化する。
The
顔表情撮影モード設定部40は、自動撮影部31による自動撮影を実行するモードをON/OFF設定するとともに、検出すべき顔表情の種類を設定する操作部である。
The facial expression photographing
表示制御部41は、ディスプレイ42による表示を制御する。すなわち、表示制御部41は、ディスプレイ42がスルー画像の表示、バッファメモリ14に一時的に記録されている被写体画像の表示、画像記録部16のメモリ16aに保存された被写体画像の再生表示を行なう時の表示態様を制御する。また、表示制御部41は、ディスプレイ42に、被写体画像データに関連する属性データや、登録人物の顔画像データに関連する閾値データ、レベル値データの情報を付加した再生画像を表示させる。さらに、表示制御部41は、ディスプレイ42に、登録人物の顔画像データに関連するレベル値データを基に統計処理した結果(例えば、グラフ)を表示させる。
The
ディスプレイ42は、スルー画像の表示やバッファメモリ14に一時的に記録されている被写体画像、メモリ16aに保存された被写体画像の表示を行う。また、ディスプレイ42は、表示制御部41の指令により、属性データ、閾値データ、レベル値データの情報の表示や、統計処理結果(例えば、グラフ)の表示などを行う。
The
以上のように構成されたデジタルカメラは、次のように動作する。
顔表情撮影モード設定部40は、顔表情撮影モードをON設定するとともに、例えば、笑顔の自動撮影を行う笑顔撮影モードを設定する。撮影対象の被写体人物Aは、顔登録データ記憶部28には未登録の人物である。
以下、図2〜4を参照しながら動作を説明する。
The digital camera configured as described above operates as follows.
The facial expression photographing
The operation will be described below with reference to FIGS.
顔検出部21は、スルー画像中の被写体人物Aの顔を検出する。顔認識部27は、顔検出部21が検出した顔領域の画像が顔登録データ記憶部28に登録されている顔画像データに対応するか否かを判定するが、被写体人物Aが登録人物ではないことを認識すると、非認識信号を出力する。
図2(a)は、顔登録データ記憶部28の記憶領域28aに、特徴情報aが被写体人物Aに関連付けられて記憶されている状態を模式的に示している。特徴情報aは、スルー画像に基づいて解析されたデータである。
The
FIG. 2A schematically shows a state where the feature information a is stored in association with the subject person A in the
閾値演算設定部32は、顔認識部27が発生する非認識信号に応じて被写体人物Aに対する笑顔レベル閾値として予め定められた初期値10%を設定し、閾値データ記憶部29は、初期値10%を被写体人物Aの任意のID情報に関連付けて記憶する。
図3(a)は、閾値データ記憶部29の記憶領域29aに、初期値10%が被写体人物Aに関連付けられて記憶されている状態を模式的に示している。
The threshold
FIG. 3A schematically shows a state where an initial value of 10% is stored in association with the subject person A in the
顔表情レベル検出部23は、顔検出部21が検出した顔領域の画像の顔表情を顔表情データ記憶部24の笑顔データと比較し、被写体人物Aが笑顔であることを検出すると、被写体人物Aの笑顔を顔表情レベルデータ記憶部25の笑顔レベルデータと比較することにより、被写体人物Aの笑顔がいずれの笑顔レベル値に対応するかを検出する。ここでは、顔表情レベル検出部23は、被写体人物Aの笑顔レベル値が30%になったことを検出し、その笑顔レベル値が30%であるとの笑顔レベル値検出信号を出力する。レベル値データ記憶部30は、この笑顔レベル値検出信号に基づいて笑顔レベル値30%をレベル値データとして記憶する。このレベル値データは、被写体人物AのID情報データに関連付けられて記憶される。
図4(a)は、レベル値データ記憶部30の記憶領域30aに、笑顔レベル値30%が被写体人物Aに関連付けられて記憶されている状態を模式的に示している。
When the facial expression
FIG. 4A schematically shows a state in which a
顔表情レベル検出部23は、被写体人物Aの笑顔レベル値30%を検出すると、この笑顔レベル値30%は、閾値データ記憶部29に記憶されている初期値の閾値10%以上であるので、閾値検出信号を出力する。自動撮影部31は、この閾値検出信号に応じて撮影レンズ11、絞り12および撮像素子13に動作信号を出力して笑顔レベル値30%の被写体人物Aの自動撮影を行う。自動撮影された画像データとその画像データに関連付けられた属性データ(例えば、撮影日時、撮影場所)とは、メモリ16aに記録される。
なお、この自動撮影された被写体人物Aの顔画像データに基づき、その顔画像を解析して特徴情報を作成し、この特徴情報を図2(a)の特徴aとすることもできる。この場合、自動撮影された被写体画像データは、上述のスルー画像よりも高精細であるので、一層良好な特徴情報を得ることができる。
When the facial expression
Note that, based on the automatically captured face image data of the subject person A, the face image is analyzed to generate feature information, and this feature information can be used as the feature a in FIG. In this case, since the automatically captured subject image data has a higher definition than the above-described through image, better feature information can be obtained.
閾値演算設定部32は、被写体人物Aについてレベル値データ記憶部30が記憶している笑顔レベル値30%のデータを読み出し、これを用いて被写体人物Aに固有の笑顔レベル閾値、すなわち次回に自動撮影を行うための新しい閾値を演算する。新しい閾値は、初期閾値10%と今回の笑顔レベル値30%の平均値、20%である。そして、新しい閾値20%は、被写体人物AのID情報データに関連付けられて閾値データ記憶部29に記憶される。
図3(a)は、閾値データ記憶部29の記憶領域29bに、新しい閾値20%が被写体人物Aに関連付けられて記憶されている状態を模式的に示している。
The threshold value
FIG. 3A schematically shows a state in which a
次に、同じ被写体人物Aを再撮影するときの動作を説明する。
顔表情撮影モード設定部40は、顔表情撮影モードをON設定するとともに、笑顔の自動撮影を行う笑顔撮影モードを設定する。撮影対象の被写体人物Aは、既に顔登録データ記憶部28に登録されている。
Next, an operation when the same subject person A is re-photographed will be described.
The facial expression photographing
顔検出部21は、スルー画像中の被写体人物Aの顔を検出する。顔認識部27は、顔検出部21が検出した顔領域の画像が顔登録データ記憶部28に登録されている顔画像データに対応するか否かを判定し、被写体人物Aが登録人物に対応することを認識すると、認識信号を出力する。この認識信号が出力された場合は、顔登録データ記憶部28は、被写体人物Aの特徴情報を記憶することはない。図2(b)は、顔登録データ記憶部28に被写体人物Aの特徴情報が再度記憶されることはないことを示している。
The
閾値演算設定部32は、顔認識部27が発生する認識信号に応じて被写体人物Aに対する笑顔レベル閾値として前回演算によって求められた閾値20%を閾値データ記憶部29から読み出す。
The threshold
顔表情レベル検出部23は、顔検出部21が検出した顔領域の画像の顔表情を顔表情レベルデータ記憶部25の笑顔レベルデータと比較することにより、被写体人物Aの笑顔がいずれの笑顔レベル値に対応するかを検出する。ここでは、顔表情レベル検出部23は、被写体人物Aの笑顔レベル値が50%になったことを検出し、その笑顔レベル値が50%であるとの笑顔レベル値検出信号を出力する。レベル値データ記憶部30は、図4(b)に示すように、この笑顔レベル値検出信号に基づいて笑顔レベル値50%をレベル値データとして記憶する。
The facial expression
顔表情レベル検出部23は、被写体人物Aの笑顔レベル値50%を検出すると、これは閾値データ記憶部29に記憶されている前回の閾値20%以上であるので、閾値検出信号を出力する。自動撮影部31は、この閾値検出信号に応じて撮影レンズ11、絞り12および撮像素子13に動作信号を出力して笑顔レベル値50%の被写体人物Aの自動撮影を行う。自動撮影された画像データとその画像データに関連付けられた属性データ(例えば、撮影日時、撮影場所)とは、メモリ16aに記録される。
When the facial expression
閾値演算設定部32は、被写体人物Aについてレベル値データ記憶部30が記憶している笑顔レベル値50%のデータを読み出し、これを用いて被写体人物Aに固有の笑顔レベル閾値、すなわち次回に自動撮影を行うための新しい閾値を演算する。新しい閾値は、初期閾値10%と前回の閾値30%と今回の笑顔レベル値50%の平均値、30%である。そして、新しい閾値30%は、図3(b)に示すように、被写体人物AのID情報データに関連付けられて閾値データ記憶部29により記憶される。
このようにして算出された閾値は、その被写体人物の画像と共にディスプレイ42に表示してもよい。
被写体人物Aの3回目以降の自動撮影も上記の動作と同様に行われる。
The threshold value
The threshold value calculated in this way may be displayed on the
The third and subsequent automatic photographing of the subject person A is performed in the same manner as the above operation.
以下、レベル値データ記憶部30に記憶された一連の笑顔レベル値を用いた統計処理について説明する。
図5は、ある被写体人物の笑顔レベル毎の撮影枚数を例示するグラフである。このグラフはディスプレイ42に表示される。図中、棒グラフの縦軸は撮影枚数、横軸は笑顔レベル値であり、51、52、53の各ボタンは、撮影枚数の分布をそれぞれ「レベル毎」、「季節毎」、「場所毎」の間で切り替えるためのボタンである。
図5では、ボタン51により「レベル毎」が選択されているが、ボタン52により「季節毎」、ボタン53により「場所毎」を選択することもできる。「季節毎」を選択した場合、撮影年月日の時間情報を利用することにより統計処理してグラフ化することができ、「場所毎」を選択した場合、富士山、B遊園地などの位置情報を入力し、これを利用することにより統計処理してグラフ化することができる。また、位置情報としてGPS情報を利用してもよい。
Hereinafter, statistical processing using a series of smile level values stored in the level value
FIG. 5 is a graph illustrating the number of shots for each smile level of a subject person. This graph is displayed on the
In FIG. 5, “every level” is selected with the
本実施の形態によるデジタルカメラは、以下の作用効果を奏する。
(1)被写体人物に固有の笑顔レベル閾値として、過去に検出したその人物の笑顔レベル値の平均値を自動撮影の条件として更新するので、その被写体人物を自動撮影するのに適した条件を簡単に設定できる。
(2)未登録の被写体人物に対しては、顔表情レベル検出部23が検出可能な最低の笑顔レベル値を閾値の初期値として用いるので、ほとんど全ての人物の自動撮影が可能である。
(3)笑顔レベルを検出して自動撮影を行いながら、未登録の被写体人物の人物登録を行うので、事前の人物登録が不必要となる。
(4)複数の笑顔レベル値を統計処理した結果をグラフ化してディスプレイ42に表示するので、その人物の笑顔レベル値の推移や頻度を容易に認識することができる。
The digital camera according to the present embodiment has the following operational effects.
(1) Since the average smile level value of the person detected in the past is updated as the automatic shooting condition as the smile level threshold specific to the subject person, conditions suitable for automatically shooting the subject person can be easily set. Can be set.
(2) For an unregistered subject person, since the lowest smile level value that can be detected by the facial expression
(3) Since the person registration of the unregistered subject person is performed while the smile level is detected and the automatic photographing is performed, the prior person registration is unnecessary.
(4) Since the result of statistical processing of a plurality of smile level values is graphed and displayed on the
以上の説明では、顔表情レベル閾値の初期値は、顔表情レベル検出部23が検出可能な最低の値10%であったが、これに限るものではなく、顔表情レベル検出部23が検出可能な顔表情レベル値の範囲のうちの中位の顔表情レベル値50%などを用いることができる。
このように、顔表情レベル閾値の初期値として50%を設定した場合には、被写体人物があまり大きく笑わない人であった場合、顔表情撮影モード設定部40によって笑顔撮影モードをON設定しても、自動撮影部31による自動撮影が行われない恐れがある。笑顔撮影モードで所定時間経過しても自動撮影が行われなかった場合は、笑顔撮影モードを強制終了するとともに、レベル値データ記憶部30にダミーの笑顔レベル値0%を記憶させる。閾値演算設定部32は、この0%と閾値の初期値50%のほぼ中間値である20%若しくは30%を算出して、その中間値を閾値データ記憶部29に記憶させる。こうして、閾値の初期値が高すぎても、それを下げることができる。
このように、閾値の初期値50%が高すぎた被写体人物について閾値を下げる方策として、笑顔撮影モード中に撮影者が強制的にシャッタレリーズ操作を行って、レベル値データ記憶部30にダミーの笑顔レベル値0%を記憶させることもできる。
In the above description, the initial value of the facial expression level threshold is 10%, which is the lowest value that can be detected by the facial expression
As described above, when 50% is set as the initial value of the facial expression level threshold, if the subject person is a person who does not laugh too much, the facial expression shooting
As described above, as a measure for lowering the threshold for a subject person whose initial threshold value is 50% too high, the photographer forcibly performs a shutter release operation during the smile shooting mode, and a dummy value is stored in the level value
また、顔登録データ記憶部28に記録する被写体人物のID情報として、その人物の氏名情報を用いることもできる。この場合には、氏名情報をデジタルカメラの操作パネルから入力する。このように入力された氏名情報は、自動撮影した被写体画像データをメモリ16aに記録する際にその属性データとして用いることもできる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
Further, the name information of the person can be used as the ID information of the subject person recorded in the face registration
The present invention is not limited to the embodiments described above as long as the characteristics are not impaired.
16:画像記録部 16a:メモリ
23:顔表情レベル検出部 24:顔表情データ記憶部
25:顔表情レベルデータ記憶部 27:顔認識部
28:顔登録データ記憶部 29:閾値データ記憶部
30:レベル値データ記憶部 31:自動撮影部
32:閾値演算設定部 33:統計処理部
16:
Claims (9)
前記被写体画像データに基づき被写体人物の顔画像に関する顔情報を顔登録データとして記憶する顔登録データ記憶手段と、
前記顔登録データ記憶手段に記憶された被写体人物の各々に対してそれぞれの顔表情レベル閾値を設定する閾値設定手段と、
前記顔表情レベル閾値を前記被写体人物に関連付けて記憶する閾値記憶手段と、
前記被写体画像データ中の被写体人物の顔画像が前記顔登録データ記憶手段の前記顔登録データに対応することを認識すると、認識信号を出力する顔認識手段と、
前記被写体画像データ中の被写体人物の顔画像の顔表情レベル値を検出して、前記顔表情レベル値を表すレベル値検出信号を出力すると共に、前記被写体画像データ中の被写体人物の顔表情レベル値が所定の顔表情レベル閾値以上に対応することを検出した時に閾値検出信号を出力する顔表情レベル検出手段と、
前記顔表情レベル検出手段の前記レベル値検出信号に基づき前記被写体人物の顔表情レベル値を、当該被写体人物に関連付けて記憶するレベル値記憶手段と、
前記顔表情レベル検出手段の前記閾値検出信号に応じて自動的に撮影を行う自動撮影手段と、を備え、
前記顔表情レベル検出手段は、前記顔認識手段が前記認識信号を出力した場合に、前記所定の顔表情レベル閾値として前記閾値記憶手段に記憶された当該被写体人物の顔表情レベル閾値を使用し、
前記閾値設定手段は、前記レベル値記憶手段に記憶された前記被写体人物に関する前記顔表情レベル値に基づき、当該被写体人物に対する顔表情レベル閾値を修正することを特徴とするデジタルカメラ。 Imaging means for imaging a subject and outputting subject image data;
Face registration data storage means for storing face information relating to the face image of the subject person as face registration data based on the subject image data;
Threshold setting means for setting a respective facial expression level threshold for each of the subject persons stored in the face registration data storage means;
Threshold storage means for storing the facial expression level threshold in association with the subject person;
Face recognition means for outputting a recognition signal when recognizing that the face image of the subject person in the subject image data corresponds to the face registration data of the face registration data storage means;
A facial expression level value of the facial image of the subject person in the subject image data is detected, a level value detection signal representing the facial expression level value is output, and a facial expression level value of the subject person in the subject image data A facial expression level detection means for outputting a threshold detection signal when it is detected that corresponds to a predetermined facial expression level threshold or higher,
Level value storage means for storing the facial expression level value of the subject person in association with the subject person based on the level value detection signal of the facial expression level detection means;
Automatic photographing means for automatically photographing according to the threshold detection signal of the facial expression level detecting means,
The facial expression level detection means uses the facial expression level threshold of the subject person stored in the threshold storage means as the predetermined facial expression level threshold when the facial recognition means outputs the recognition signal;
The digital camera characterized in that the threshold setting means corrects a facial expression level threshold for the subject person based on the facial expression level value related to the subject person stored in the level value storage means.
前記顔認識手段は、前記被写体画像データ中の被写体人物の顔画像が前記顔登録データ記憶手段の前記顔登録データに対応しないと認識すると非認識信号を出力すると共に、当該被写体人物の顔画像に関する顔情報を前記顔登録データとして前記顔登録データ記憶手段に記憶させることを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
When the face recognition unit recognizes that the face image of the subject person in the subject image data does not correspond to the face registration data of the face registration data storage unit, the face recognition unit outputs a non-recognition signal and relates to the face image of the subject person A digital camera characterized in that face information is stored in the face registration data storage means as the face registration data.
前記閾値設定手段は、前記顔認識手段の前記非認識信号に応じて当該被写体人物に対する顔表情レベル閾値として予め定められた初期値を設定することを特徴とするデジタルカメラ。 The digital camera according to claim 2,
The digital camera characterized in that the threshold value setting means sets a predetermined initial value as a facial expression level threshold value for the subject person in accordance with the non-recognition signal of the face recognition means.
前記初期値は、前記顔表情レベル検出手段が検出可能な最低の顔表情レベル値であることを特徴とするデジタルカメラ。 The digital camera according to claim 3, wherein
The digital camera according to claim 1, wherein the initial value is a lowest facial expression level value detectable by the facial expression level detection means.
前記初期値は、前記顔表情レベル検出手段が検出可能な顔表情レベル値の範囲のうちの中位の顔表情レベル値とすることを特徴とするデジタルカメラ。 The digital camera according to claim 3, wherein
The digital camera according to claim 1, wherein the initial value is a middle facial expression level value within a range of facial expression level values detectable by the facial expression level detection means.
前記閾値設定手段は、前記レベル記憶手段に記憶された前記被写体人物に関する複数の前記顔表情レベル値を演算し、その演算結果に基づき、当該被写体人物に対する顔表情レベル閾値を修正することを特徴とするデジタルカメラ。 The digital camera according to any one of claims 1 to 5,
The threshold setting means calculates a plurality of facial expression level values related to the subject person stored in the level storage means, and corrects a facial expression level threshold value for the subject person based on the calculation result. Digital camera.
前記閾値設定手段は、前記被写体人物に関する複数の前記顔表情レベル値の平均値を当該被写体人物に対する顔表情レベル閾値とすることを特徴とするデジタルカメラ。 The digital camera according to claim 6, wherein
The digital camera according to claim 1, wherein the threshold value setting means sets an average value of the plurality of facial expression level values related to the subject person as a facial expression level threshold value for the subject person.
表示手段を更に備え、
前記複数の顔表情レベル値を統計処理した結果をグラフ化して前記表示手段に表示することを特徴とするデジタルカメラ。 The digital camera according to claim 6, wherein
A display means,
A digital camera characterized in that a result of statistical processing of the plurality of facial expression level values is graphed and displayed on the display means.
表示手段を更に備え、
前記顔表情レベル閾値を当該被写体人物の画像と共に前記表示手段に表示することを特徴とするデジタルカメラ。 The digital camera according to claim 6, wherein
A display means,
A digital camera characterized in that the facial expression level threshold value is displayed on the display means together with an image of the subject person.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009062639A JP2010219739A (en) | 2009-03-16 | 2009-03-16 | Digital camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009062639A JP2010219739A (en) | 2009-03-16 | 2009-03-16 | Digital camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010219739A true JP2010219739A (en) | 2010-09-30 |
Family
ID=42978117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009062639A Pending JP2010219739A (en) | 2009-03-16 | 2009-03-16 | Digital camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010219739A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021052279A (en) * | 2019-09-24 | 2021-04-01 | 大日本印刷株式会社 | Photographing terminal, management device, photographing system, photographing method, and program |
| CN113973174A (en) * | 2020-07-22 | 2022-01-25 | 佳能株式会社 | Electronic device, imaging device, control method of electronic device, and storage medium |
-
2009
- 2009-03-16 JP JP2009062639A patent/JP2010219739A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021052279A (en) * | 2019-09-24 | 2021-04-01 | 大日本印刷株式会社 | Photographing terminal, management device, photographing system, photographing method, and program |
| CN113973174A (en) * | 2020-07-22 | 2022-01-25 | 佳能株式会社 | Electronic device, imaging device, control method of electronic device, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101051001B1 (en) | Information processing apparatus, eye open / closed degree determination method, recording medium and imaging device | |
| US8218833B2 (en) | Image capturing apparatus, method of determining presence or absence of image area, and recording medium | |
| JP4254873B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and computer program | |
| JP5195120B2 (en) | Digital camera | |
| TWI386869B (en) | Image recording method, image recording device, and recording medium | |
| JP5754458B2 (en) | Moving image extraction apparatus, moving image extraction method, and program | |
| US8350918B2 (en) | Image capturing apparatus and control method therefor | |
| CN105100586B (en) | Detection device, detection method and recording medium | |
| JP2013074461A (en) | Image processor, image processing method and program | |
| JP5304294B2 (en) | Electronic still camera | |
| JP2010068190A (en) | Digital camera, image processing apparatus and digital camera system | |
| JP5353293B2 (en) | Image processing apparatus and electronic still camera | |
| JP5157704B2 (en) | Electronic still camera | |
| JP5272797B2 (en) | Digital camera | |
| JP2010219740A (en) | Image processing unit and digital camera | |
| JP5298887B2 (en) | Digital camera | |
| JP2010219739A (en) | Digital camera | |
| JP2009182880A (en) | Imaging apparatus and program thereof | |
| JP5359337B2 (en) | Electronic still camera | |
| JP5157761B2 (en) | Electronic still camera | |
| JP5434096B2 (en) | Digital camera | |
| JP2012015912A (en) | Electronic device | |
| JP2010034686A (en) | Digital camera | |
| JP2010200242A (en) | Digital camera | |
| JP5424851B2 (en) | Image processing apparatus and image processing method |