JP2010028370A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2010028370A JP2010028370A JP2008186161A JP2008186161A JP2010028370A JP 2010028370 A JP2010028370 A JP 2010028370A JP 2008186161 A JP2008186161 A JP 2008186161A JP 2008186161 A JP2008186161 A JP 2008186161A JP 2010028370 A JP2010028370 A JP 2010028370A
- Authority
- JP
- Japan
- Prior art keywords
- face
- rectangular area
- image data
- face detection
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】顔の検知精度を落とすことなく処理を高速化した顔検知機能を搭載した撮像装置を提供する。
【解決手段】被写体に応じた画像データを出力する撮像手段と、前記撮像手段から出力される画像データ内において、所定画像サイズの矩形領域を所定ステップ幅だけずらして対象位置を変更するステップスキャンを行いながら、各ステップ位置における前記矩形領域の小画像データごとに該小画像データが人物の顔を含むか否かを評価して、人物の顔を検出する顔検出機能(S104〜S108)と、を備え、前記顔検出機能は、あるステップ位置の矩形領域において行われた前記評価での人物の顔を含む確からしさの程度である評価値(クリアした階層数L)に基づいて、次の矩形領域へのステップ幅を設定し(S110)、ステップスキャンを行う。
【選択図】図3
【解決手段】被写体に応じた画像データを出力する撮像手段と、前記撮像手段から出力される画像データ内において、所定画像サイズの矩形領域を所定ステップ幅だけずらして対象位置を変更するステップスキャンを行いながら、各ステップ位置における前記矩形領域の小画像データごとに該小画像データが人物の顔を含むか否かを評価して、人物の顔を検出する顔検出機能(S104〜S108)と、を備え、前記顔検出機能は、あるステップ位置の矩形領域において行われた前記評価での人物の顔を含む確からしさの程度である評価値(クリアした階層数L)に基づいて、次の矩形領域へのステップ幅を設定し(S110)、ステップスキャンを行う。
【選択図】図3
Description
本発明は、画像データを取得する撮像素子を備えるデジタルカメラなどの撮像装置に関するものである。
近年、デジタルカメラなどの撮像装置において、撮影画像中から人物の顔を検出して検出した顔領域にフォーカスや露出等が合うように制御される機能や、検出された顔があらかじめ登録されているこれらの機能をソフトウェア処理にて実現する場合には、処理が重くなってしまうために処理時間がかかってしまい、実使用に向かないことがある。処理を軽くする方法としては、単純には低解像度の画像を使用したり間引き処理をすれば処理は軽くなるが、これでは検出あるいは認証の精度が落ちてしまう。そこで、顔検出や顔認証処理をソフトウェアで実現する際に処理の高速化あるいは精度を向上するために様々な手法が開発されている。
例えば、特許文献1では、ルックアップテーブル等を用いることにより、特徴量毎に判定値を独立して対応付けることにより、処理の高精度化を実現し、高精度化により計算の余計な繰り返し回数を減らすことで高速化を実現させている。しかし、この方法では対象画像内の全ての領域において同ステップ幅でスキャンしているため、明らかに顔でない領域においては無駄なスキャンをしているといえるものであった。
また、特許文献2では、合焦動作から得られた距離情報により、被写体の顔サイズを特定し、顔サイズによって規定される領域内で顔検出動作を実施することで無駄なスキャンを減らし、高速化を可能としている。しかし、この方法では一度合焦動作を実施しなければならないという問題があった。
本発明は、以上の従来技術における問題に鑑みてなされたものであり、顔の検知精度を落とすことなく処理を高速化した顔検知機能を搭載した撮像装置を提供することを目的とする。
前記課題を解決するために提供する本発明は、以下の通りである。
〔1〕 被写体に応じた画像データを出力する撮像手段(撮像センサー104)と、前記撮像手段から出力される画像データ(画像20)内において、所定画像サイズの矩形領域(矩形領域S)を所定ステップ幅(ステップ幅St)だけずらして対象位置を変更するステップスキャンを行いながら、各ステップ位置における前記矩形領域の小画像データごとに該小画像データが人物の顔を含むか否かを評価して、人物の顔を検出する顔検出機能(S104〜S108,S203〜S205)と、を備える撮像装置であって、前記顔検出機能は、あるステップ位置の矩形領域において行われた前記評価での人物の顔を含む確からしさの程度である評価値に基づいて、次の矩形領域へのステップ幅を設定(S110,S207)し、ステップスキャンを行うことを特徴とする撮像装置(図2,図3,図7)。
〔2〕 前記顔検出機能は、前記矩形領域における小画像データに対して、人物の顔を含むか否かを階層的に判定し、最上位の階層(LayerN)での判定をクリアすると人物の顔を含むと評価するものであり、前記評価値は、クリアした階層数(階層L)に基づいて決定されることを特徴とする前記〔1〕に記載の撮像装置(図6)。
〔3〕 前記顔検出機能は、前記矩形領域における小画像データと顔の特徴データであるテンプレートデータ(顔の特徴データ)との類似度を求め、該類似度が閾値以上であれば人物の顔を含むと評価するものであり、前記評価値は、前記テンプレートデータとの類似度に基づいて決定されることを特徴とする前記〔1〕に記載の撮像装置(図8)。
〔4〕 前記顔検出機能は、前記評価値に反比例する関係で、次の矩形領域へのステップ幅を設定し、ステップスキャンを行うことを特徴とする前記〔2〕または〔3〕に記載の撮像装置。
〔1〕 被写体に応じた画像データを出力する撮像手段(撮像センサー104)と、前記撮像手段から出力される画像データ(画像20)内において、所定画像サイズの矩形領域(矩形領域S)を所定ステップ幅(ステップ幅St)だけずらして対象位置を変更するステップスキャンを行いながら、各ステップ位置における前記矩形領域の小画像データごとに該小画像データが人物の顔を含むか否かを評価して、人物の顔を検出する顔検出機能(S104〜S108,S203〜S205)と、を備える撮像装置であって、前記顔検出機能は、あるステップ位置の矩形領域において行われた前記評価での人物の顔を含む確からしさの程度である評価値に基づいて、次の矩形領域へのステップ幅を設定(S110,S207)し、ステップスキャンを行うことを特徴とする撮像装置(図2,図3,図7)。
〔2〕 前記顔検出機能は、前記矩形領域における小画像データに対して、人物の顔を含むか否かを階層的に判定し、最上位の階層(LayerN)での判定をクリアすると人物の顔を含むと評価するものであり、前記評価値は、クリアした階層数(階層L)に基づいて決定されることを特徴とする前記〔1〕に記載の撮像装置(図6)。
〔3〕 前記顔検出機能は、前記矩形領域における小画像データと顔の特徴データであるテンプレートデータ(顔の特徴データ)との類似度を求め、該類似度が閾値以上であれば人物の顔を含むと評価するものであり、前記評価値は、前記テンプレートデータとの類似度に基づいて決定されることを特徴とする前記〔1〕に記載の撮像装置(図8)。
〔4〕 前記顔検出機能は、前記評価値に反比例する関係で、次の矩形領域へのステップ幅を設定し、ステップスキャンを行うことを特徴とする前記〔2〕または〔3〕に記載の撮像装置。
本発明の効果として、請求項1の発明によれば、例えば矩形領域の評価値が所定レベルよりも低い時、すなわち顔である可能性が低い時にはその領域は顔でない(あるいは顔を含まない)と判断して、次の矩形領域は元の矩形領域と重ならない、あるいは重なりが小さくなるようなステップ幅とすることで計算量を減らして検出処理を高速化することが可能となる。
請求項2の発明によれば、矩形領域の評価値(クリアした階層数)が所定レベル(最上位の階層)よりも低い時、すなわち顔である可能性が低い時には、その領域は顔でない(顔を含まない)と判断して、次の矩形領域は元の矩形領域と重ならない、あるいは重なりが小さくなるようなステップ幅とすることで計算量を減らして検出処理を高速化することを可能とする。また、階層的に判断していくことにより、顔である可能性が低い矩形領域は早い段階の階層で顔でない(顔を含まない)と判断されて次の矩形領域に移るため、計算量が少なくなり検出処理を高速化することが可能となる。
請求項3の発明によれば、矩形領域の評価値(テンプレートデータとの類似度)が所定レベル(閾値)よりも低い時、すなわち顔である可能性が低い時には、その領域は顔でない(顔を含まない)と判断して、次の矩形領域は元の矩形領域と重ならない、あるいは重なりが小さくなるようなステップ幅とすることで計算量を減らして検出処理を高速化することを可能とする。
請求項4の発明によれば、評価値に反比例する関係で、次の矩形領域へのステップ幅を設定することにより、矩形領域の評価値が所定レベルよりも低い時(顔である可能性が低い時)にはその領域は顔でない(顔を含まない)と判断して、次の矩形領域は元の矩形領域と重ならない、あるいは重なりが小さくなるようなステップ幅とすることができ、計算量を減らして検出処理を高速化することが可能となる。
請求項2の発明によれば、矩形領域の評価値(クリアした階層数)が所定レベル(最上位の階層)よりも低い時、すなわち顔である可能性が低い時には、その領域は顔でない(顔を含まない)と判断して、次の矩形領域は元の矩形領域と重ならない、あるいは重なりが小さくなるようなステップ幅とすることで計算量を減らして検出処理を高速化することを可能とする。また、階層的に判断していくことにより、顔である可能性が低い矩形領域は早い段階の階層で顔でない(顔を含まない)と判断されて次の矩形領域に移るため、計算量が少なくなり検出処理を高速化することが可能となる。
請求項3の発明によれば、矩形領域の評価値(テンプレートデータとの類似度)が所定レベル(閾値)よりも低い時、すなわち顔である可能性が低い時には、その領域は顔でない(顔を含まない)と判断して、次の矩形領域は元の矩形領域と重ならない、あるいは重なりが小さくなるようなステップ幅とすることで計算量を減らして検出処理を高速化することを可能とする。
請求項4の発明によれば、評価値に反比例する関係で、次の矩形領域へのステップ幅を設定することにより、矩形領域の評価値が所定レベルよりも低い時(顔である可能性が低い時)にはその領域は顔でない(顔を含まない)と判断して、次の矩形領域は元の矩形領域と重ならない、あるいは重なりが小さくなるようなステップ幅とすることができ、計算量を減らして検出処理を高速化することが可能となる。
以下に、本発明に係る撮像装置の構成について説明する。
図1は、本発明に係る撮像装置の一態様であるデジタルスチルカメラ外観図、図2は該デジタルスチルカメラ内部のシステム概要図である。
図1は、本発明に係る撮像装置の一態様であるデジタルスチルカメラ外観図、図2は該デジタルスチルカメラ内部のシステム概要図である。
最初にデジタルスチルカメラの動作概要を説明する。
図1の撮影/再生切り替えのモードダイアル2を撮影モードに設定し、電源釦1を押すことで、デジタルスチルカメラ(以下、カメラ)10が記録モードで起動する。モードダイアル2および電源釦1は、図2における操作部107に含まれており、モードダイアル2の状態が撮影モードの状態で電源釦1がONになったことをCPU105cが検知すると、CPU105cはモータドライバ108を制御して、鏡胴ユニットを撮影可能位置に移動させる。さらに撮像センサー104、LCDディスプレイ5等の各部に電源を投入して動作を開始させる。
図1の撮影/再生切り替えのモードダイアル2を撮影モードに設定し、電源釦1を押すことで、デジタルスチルカメラ(以下、カメラ)10が記録モードで起動する。モードダイアル2および電源釦1は、図2における操作部107に含まれており、モードダイアル2の状態が撮影モードの状態で電源釦1がONになったことをCPU105cが検知すると、CPU105cはモータドライバ108を制御して、鏡胴ユニットを撮影可能位置に移動させる。さらに撮像センサー104、LCDディスプレイ5等の各部に電源を投入して動作を開始させる。
各部の電源が投入されると、ファインダモードの動作が開始される。
ファインダモードでは、レンズ101を通して受光センサー(CCD,CMOS)104aに入射した光は、電気に変換されてA/D変換器104bに送られる。A/D変換器104bでは、入力されたアナログ信号を12bitのデジタルデータに変換する。デジタル信号に変換されたそれぞれの信号は、デジタル信号処理IC105内のセンサーI/F部105aに取り込まれ、YUV変換部105dで表示可能な形式であるYUV信号に変換されて、メモリコントローラ105bによってフレームメモリ106に書き込まれる。このYUV信号はメモリコントローラ105bに読み出されて、表示出力制御部105fを介してTVやLCDモニタへ送られて表示が行われる。この処理が1/30秒間隔で行われ、1/30秒ごとに更新されるファインダモードの表示となる。
ファインダモードでは、レンズ101を通して受光センサー(CCD,CMOS)104aに入射した光は、電気に変換されてA/D変換器104bに送られる。A/D変換器104bでは、入力されたアナログ信号を12bitのデジタルデータに変換する。デジタル信号に変換されたそれぞれの信号は、デジタル信号処理IC105内のセンサーI/F部105aに取り込まれ、YUV変換部105dで表示可能な形式であるYUV信号に変換されて、メモリコントローラ105bによってフレームメモリ106に書き込まれる。このYUV信号はメモリコントローラ105bに読み出されて、表示出力制御部105fを介してTVやLCDモニタへ送られて表示が行われる。この処理が1/30秒間隔で行われ、1/30秒ごとに更新されるファインダモードの表示となる。
この撮像センサー104は800万画素のセンサーである。静止画撮影時は全画素を1/30秒ごとに出力することができる。ファインダモード時は周辺画素を加算と間引きを組み合わせて、1/30秒ごと例えば640×480画素に画素数を減らして出力を行う。
デジタル信号処理IC105のセンサーI/F部105aは、ブロック内に取り込まれたデジタルRGB信号より、画面の合焦度合いを示すAF評価値と、被写体輝度を検出したAE評価値と、被写体色を検出したAWB評価値が算出する。それらデータは、特徴データとしてCPU105cに読み出されて、AE、AF、AWBのそれぞれの処理に利用される。
AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって作成される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AFによる合焦検出動作時は、それぞれのフォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦位置としてAFを実行する。
AE評価値とAWB評価値は、RGBのそれぞれの積分値から作成される。例えば画面を256エリアに等分割(水平16分割、垂直16分割)し、それぞれのエリアのRGB積算を算出する。CPU105cはRGB積分値を読み出し、AEでは、それぞれのエリアの輝度を算出して、輝度分布から適正な露光時間を決定する。AWBでは、RGBの分布から光源の色に合わせたAWBの制御値を決定する。このAEとAWBの処理は、ファインダモード中は連続的に行われている。
図1のレリーズ釦(シャッタボタン)3が操作されると、合焦位置検出であるAF動作と静止画記録処理が行われる。
レリーズ釦3が押されると、図2のカメラ操作部107から静止画撮影開始信号がCPU105cに取り込まれると、CPU105cがフレームレートに同期してモータドライバ108を介してレンズ101を駆動ことにより山登りAFを実行する。AF対象範囲が無限から至近までの全領域であった場合、フォーカスレンズは至近から無限、または無限から至近までの間の各フォーカス位置移動し、デジタル信号処理IC105で作成された各フレーム(=各フォーカス位置)におけるAF評価値をCPU105cが読み出す。各フォーカス位置のAF評価値が極大になる点を合焦位置として、フォーカスレンズを合焦位置に移動する。
AF完了後に撮像センサー104から出力されたデジタルRGB信号に変換され、デジタル信号処理IC105を介してフレームメモリ(SDRAM)106に格納される。デジタルRGB信号は再度デジタル信号処理回路に読み込まれ、YUV変換部105dでYUVデータに変換されて、フレームメモリ106に書き戻される。
スチル画像撮像時はYUV変換された画像データがデジタル信号処理IC105内の画像圧縮伸張回路105eに送られる。画像圧縮伸張回路105eに送られたYUVデータは圧縮され、フレームメモリ106に書き戻される。フレームメモリ106の圧縮データはデジタル信号処理IC105を介して読み出され、データ記憶メモリに格納される。
続いて、顔検出の方法について説明する。
被写体像の中から人物像を検出する方法は、以下に示す手法が公知となっており、本実施例では、そのうちのいずれかの方法を用いるものとする。
(1) テレビジョン学会誌Vol.49、No.6、pp.787−797(1995)の「顔領域抽出に有効な修正HSV表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
(2) 電子情報通信学会誌Vol.74−D−II、No.11、pp.1625−1627(1991)の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
(3) 画像ラボ1991−11(1991)の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
被写体像の中から人物像を検出する方法は、以下に示す手法が公知となっており、本実施例では、そのうちのいずれかの方法を用いるものとする。
(1) テレビジョン学会誌Vol.49、No.6、pp.787−797(1995)の「顔領域抽出に有効な修正HSV表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
(2) 電子情報通信学会誌Vol.74−D−II、No.11、pp.1625−1627(1991)の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
(3) 画像ラボ1991−11(1991)の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
( 第1の実施形態 )
次に本発明の特徴となる動作である顔検出処理について説明する。
図3は、図1,図2のカメラ10の撮像光学系によって撮像された画像に対し、顔検出処理を実施して画像の中から人物の顔を検出する顔検出処理のフロー(実施例1)である。なお、カメラ10は、顔検出機能(顔検出モジュール)を有しており、例えばLCDディスプレイ5に表示されるメニューより顔検出モジュールを作動させる顔検出処理モードの選択が可能である。
次に本発明の特徴となる動作である顔検出処理について説明する。
図3は、図1,図2のカメラ10の撮像光学系によって撮像された画像に対し、顔検出処理を実施して画像の中から人物の顔を検出する顔検出処理のフロー(実施例1)である。なお、カメラ10は、顔検出機能(顔検出モジュール)を有しており、例えばLCDディスプレイ5に表示されるメニューより顔検出モジュールを作動させる顔検出処理モードの選択が可能である。
カメラ10の動作モードが顔検出処理を実施するモードである時、顔検出モジュールはモニタリング画像の中からあるタイミングで一枚の画像データ(以下、画像ともいう)をコピーする(S101)。CPU105cはコピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。ここでは、顔検出モジュールは、対象矩形領域における小画像データに対して、人物の顔を含むか否かを階層的に判定し、最上位の階層(最終的な階層)での判定をクリアすると人物の顔を含むと評価するものである。すなわち、顔の大まかな特徴に基づいて判定する下位の階層からより細かな特徴に基づいて判定する上位の階層までの複数の階層に対して、前記小画像データが該当の階層での判定をクリアすればつぎの上の階層に上がって判定を受けるという段階的な判定を受け、該当の階層での判定でNGとなればその段階で評価が終了するものである。
また、顔検出処理はあらかじめメモリ(SDRAM106)内に保持している人物の顔の特徴データと画像内の対称矩形領域(小画像データ)との類似度を算出していくが、本実施例ではメモリ(SDRAM106)内の特徴データは複数階層に分かれて保持されており、階層ごとに特徴データの類似度算出をしていくものとする。
ここで、特徴データとは、例えば図4に示すような対象矩形領域Sの中の2つまたは3つの小矩形(図4(a)におけるS1,S2、(b)におけるS3,S4、(c)におけるS5〜S7)において、各小矩形の平均輝度値の加重和(特徴評価値)が閾値以上であるときに類似度がいくつであるか、というデータである。また、本実施例では各小矩形の平均輝度値の加重和を特徴評価値と呼ぶ。
また、浅い階層(下位の階層)における特徴データは、対象矩形領域が顔であるかどうか(あるいは顔を含むかどうか)を比較的大まかに判断するものであり、例えば図4(a)のような、対象矩形領域S内の小矩形S1,S2が大きいものとして保持されており、特徴データの数も少ない。そして、階層が深くなるほど顔の細かい特徴を判断するように、図4の(b)、(c)のような、小矩形S3〜S7が小さいものとされ、階層内の特徴データの数も多くなっていく。
各階層での類似度は、階層内の各特徴データにおける特徴評価値を求めることにより算出していく。特徴評価値が閾値を超える特徴データが多いほど類似度は高くなる。階層iでの特徴データjの特徴評価値をEvj、Evjが閾値Thj以上であるときに類似度がsimjであるとすると、階層iの類似度Simiは以下の式(1)で算出される。
図3において、つぎに、画像データの中から最初の対象矩形領域を決定する(S102)。ここでは画像の左上の端とする。本実施例では、図5に示すように画像20の左上の端から右下の端まで順に対象矩形領域Sを所定のステップ幅で少しずつずらしながらステップスキャンしていくものとする。
対象矩形領域Sにおいて、最初は、階層L=1として第1階層(Layer1)を選択し(S103)、第1階層の特徴データと対象矩形領域Sの類似度を算出する(S104)。ここで、類似度が所定の閾値以上であれば対象矩形はその階層の特徴データとマッチしたものとする(クリア判定)。特徴データとマッチして、かつその階層が最終階層であればその矩形領域は顔である(あるいは顔を含む)と判断して矩形領域Sの情報をメモリ(SDRAM106)に登録する(S108)。
階層が最終階層でなければ、階層LをL=L+1として(S107)、対象矩形領域Sと次の階層の特徴データとの類似度を算出する。
また、ステップS105において、その階層内の特徴データとマッチしなければ(NG判定)、その時点で対象矩形領域Sは顔でない(顔を含まない)と判断され、ステップS109に進む。
対象矩形領域Sが顔であるか否か(顔を含むか否か)が評価されたら、画像20内の顔検出対象領域全体をスキャンしたかどうかを確認する(S109)。ここで、まだスキャンする領域が残っていれば、直前の対象矩形領域Sにおいて行われた前記評価での人物の顔を含む確からしさの程度である評価値に基づいて、次の矩形領域S’へのステップ幅を設定する。すなわち、直前の矩形領域Sで特徴データとの類似度を算出した階層L(クリアした階層数)に応じて次の矩形領域へのステップ幅を決め、次の矩形領域S’を決定する(S110)。
図6には、階層Lに応じた次の矩形領域S’へのステップ幅の変化の例を示す。
図6(a)は、高階層、ここでは全階層Nのうち、階層N−1でNG判定となった場合であり、矩形領域Sの周辺で顔を含む可能性が高いために次の対象矩形領域S’へのステップ幅は小さくなっており、前の対象矩形領域Sとの重なりが大きくなっている。一方、図6(b)は低階層、ここでは第3階層でNG判定となった場合であり、矩形領域Sの周辺で顔を含む可能性が低いために次の対象矩形領域S’へのステップ幅が大きくなっており、前の対象矩形領域Sとの重なりがないものとなっている。
図6(a)は、高階層、ここでは全階層Nのうち、階層N−1でNG判定となった場合であり、矩形領域Sの周辺で顔を含む可能性が高いために次の対象矩形領域S’へのステップ幅は小さくなっており、前の対象矩形領域Sとの重なりが大きくなっている。一方、図6(b)は低階層、ここでは第3階層でNG判定となった場合であり、矩形領域Sの周辺で顔を含む可能性が低いために次の対象矩形領域S’へのステップ幅が大きくなっており、前の対象矩形領域Sとの重なりがないものとなっている。
このとき、前記評価値に反比例する関係で、次の矩形領域S’へのステップ幅を設定するとよい。あるいは評価値が大きければステップ幅を小さくし、評価値が小さければステップ幅を大きくするようにしてもよい。この実施例では、横幅がWの矩形領域Sでスキャンしているとき、階層nでNGとなった場合の次の矩形領域へのステップ幅Stは、St=W*(N−n)/Nで算出するものとする。
ある対象矩形領域について顔であるか否かの評価がなされた時、もし顔検出対象領域全体をスキャンし終えていれば(S109のYes)、当該画像に対する顔検出処理は終了とし、ついで顔検出モードが継続される場合(S111のYes)は、ステップS101に戻ってモニタリングデータから新たに画像をコピーし、その画像に対して同様に顔検出処理を実施する。顔検出モードを継続しない場合(S111のNo)にはここで処理を終了する(END)。
以上のように、対象矩形領域Sの評価値(クリアした階層数)が所定レベル(最上位の階層)よりも低い時、すなわち顔である可能性が低い時には、その領域は顔でない(顔を含まない)と判断して、次の矩形領域S’は元の矩形領域Sと重ならない、あるいは重なりが小さくなるようなステップ幅Stとすることで計算量を減らして検出処理を高速化することができる。また、対象矩形領域Sについて、階層的に判断していくことにより、顔である可能性が低い矩形領域は早い段階の階層で顔でない(顔を含まない)と判断されて次の矩形領域に移るため、計算量が少なくなり検出処理を高速化することが可能となる。
( 第2の実施形態 )
図7に、実施例2における顔検出・顔認証処理のフローを示す。
カメラ10の動作モードが顔検出処理を実施するモードである時、顔検出モジュールはモニタリング画像の中からあるタイミングで一枚の画像データ(以下、画像ともいう)をコピーする(S201)。CPU105cは、コピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。
図7に、実施例2における顔検出・顔認証処理のフローを示す。
カメラ10の動作モードが顔検出処理を実施するモードである時、顔検出モジュールはモニタリング画像の中からあるタイミングで一枚の画像データ(以下、画像ともいう)をコピーする(S201)。CPU105cは、コピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。
顔検出処理はあらかじめメモリ(SDRAM106)内に多数保持している人物の顔の特徴データと画像20内の対称矩形領域Sとの類似度の総和を対象矩形領域と特徴データの類似度として算出していくものとする。ここで、顔の特徴データと類似度の算出方法については実施例1と同じとする。
つぎに、画像の中から最初の対象矩形領域を決定する(S202)。ここでは実施例1と同様に画像の左上の端とする。本実施例においても実施例1と同様に、図5に示すように画像20の左上の端から右下の端まで順に対象矩形領域Sを所定のステップ幅で少しずつずらしながらステップスキャンしていくものとする。
ここで、顔検出モジュールは、対象矩形領域Sにおける小画像データとテンプレートデータ(顔の特徴データ)との類似度を求め、該類似度が閾値以上であれば人物の顔を含むと評価する。すなわち、最初にステップS202で決定した対象矩形領域Sについて、特徴データとの類似度を算出する(S203)。つぎに、該類似度と予め設定された閾値とを比較して(S204)、類似度が所定の閾値以上であれば対象矩形領域は顔の特徴データとマッチしたものとする(クリア判定、S204のYes)。そして、対象矩形領域Sが特徴データとマッチすればその対象矩形領域は顔である(あるいは顔を含む)としてメモリ(SDRAM106)に矩形領域の情報を登録する(S206)。
対象矩形領域が顔であるか否かの判断を終え、画像20内の顔検出対象領域でスキャンしていない領域が残っていれば(S206のNo)、直前の対象矩形領域Sにおいて行われた前記評価での人物の顔を含む確からしさの程度である評価値に基づいて、次の矩形領域S’へのステップ幅を設定する。すなわち、直前の矩形対象領域Sにおける前記テンプレートデータ(特徴データ)との類似度に基づいて次の対象矩形領域S’を決定するステップ幅を算出する(S207)。
図8に、対象矩形領域の類似度に基づくステップ幅の変更の例を示す。ここでは、直前の対象矩形領域Sの横幅がW、類似度がSimiであり、それに応じたステップ幅Stは図8(a)に示すように、St=W/Simiとして算出され、次の対象矩形領域S’は直前の対象矩形領域Sからステップ幅Stだけ右にずれた領域となる(図8(b))。
ある対象矩形領域について顔であるか否かの判断がなされた時、もし顔検出対象領域全体をスキャンし終えていれば(S206のYes)、当該画像に対する顔検出処理は終了とし、顔検出モードが継続される場合(S208のYes)は、ステップS201に戻りモニタリングデータから新たに画像をコピーし、その画像に対して同様に顔検出処理を実施する。顔検出モードを継続しない場合(S208のNo)にはここで処理を終了する(END)。
以上のように、対象矩形領域Sの評価値(テンプレートデータ(特徴データ)との類似度)が所定レベル(閾値)よりも低い時、すなわち顔である可能性が低い時には、その領域は顔でない(顔を含まない)と判断して、次の矩形領域S’は元の矩形領域Sと重ならない、あるいは重なりが小さくなるようなステップ幅Stとすることで計算量を減らして検出処理を高速化することができる。
なお、これまで本発明を図面に示した実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1 電源釦
2 撮影/再生切り替えダイアル
3 レリーズ釦
4 光学ファインダ
5 LCDディスプレイ
6 撮影レンズ
7 フラッシュ
10 カメラ(デジタルカメラ)
20 画像(画像データ)
101 レンズ(ズーム/AFレンズ)
102 絞りとカラーフィルタ
103 メカシャッタ
104 撮像センサー
104a 受光センサー
104b A/D変換器
105 信号処理IC
105a センサーI/F部
105b メモリーコントローラ
105c CPU
105d YUV変換部
105e 画像圧縮伸張回路
105f 表示出力制御部
105g リサイズ処理部
105h メディアI/F部
106 SDRAM(メモリ)
107 操作部
108 モータドライバ
109 ROM
S,S’ 矩形領域
S1,S2,S3,S4,S5,S6,S7 小矩形
2 撮影/再生切り替えダイアル
3 レリーズ釦
4 光学ファインダ
5 LCDディスプレイ
6 撮影レンズ
7 フラッシュ
10 カメラ(デジタルカメラ)
20 画像(画像データ)
101 レンズ(ズーム/AFレンズ)
102 絞りとカラーフィルタ
103 メカシャッタ
104 撮像センサー
104a 受光センサー
104b A/D変換器
105 信号処理IC
105a センサーI/F部
105b メモリーコントローラ
105c CPU
105d YUV変換部
105e 画像圧縮伸張回路
105f 表示出力制御部
105g リサイズ処理部
105h メディアI/F部
106 SDRAM(メモリ)
107 操作部
108 モータドライバ
109 ROM
S,S’ 矩形領域
S1,S2,S3,S4,S5,S6,S7 小矩形
Claims (4)
- 被写体に応じた画像データを出力する撮像手段と、
前記撮像手段から出力される画像データ内において、所定画像サイズの矩形領域を所定ステップ幅だけずらして対象位置を変更するステップスキャンを行いながら、各ステップ位置における前記矩形領域の小画像データごとに該小画像データが人物の顔を含むか否かを評価して、人物の顔を検出する顔検出機能と、を備える撮像装置であって、
前記顔検出機能は、あるステップ位置の矩形領域において行われた前記評価での人物の顔を含む確からしさの程度である評価値に基づいて、次の矩形領域へのステップ幅を設定し、ステップスキャンを行うことを特徴とする撮像装置。 - 前記顔検出機能は、前記矩形領域における小画像データに対して、人物の顔を含むか否かを階層的に判定し、最上位の階層での判定をクリアすると人物の顔を含むと評価するものであり、
前記評価値は、クリアした階層数に基づいて決定されることを特徴とする請求項1に記載の撮像装置。 - 前記顔検出機能は、前記矩形領域における小画像データと顔の特徴データであるテンプレートデータとの類似度を求め、該類似度が閾値以上であれば人物の顔を含むと評価するものであり、
前記評価値は、前記テンプレートデータとの類似度に基づいて決定されることを特徴とする請求項1に記載の撮像装置。 - 前記顔検出機能は、前記評価値に反比例する関係で、次の矩形領域へのステップ幅を設定し、ステップスキャンを行うことを特徴とする請求項2または3に記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008186161A JP2010028370A (ja) | 2008-07-17 | 2008-07-17 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008186161A JP2010028370A (ja) | 2008-07-17 | 2008-07-17 | 撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010028370A true JP2010028370A (ja) | 2010-02-04 |
Family
ID=41733797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008186161A Pending JP2010028370A (ja) | 2008-07-17 | 2008-07-17 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010028370A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011258180A (ja) * | 2010-05-10 | 2011-12-22 | Casio Comput Co Ltd | 被写体追跡装置、被写体追跡方法及びプログラム |
| WO2013132836A1 (ja) * | 2012-03-05 | 2013-09-12 | パナソニック株式会社 | 物体検出装置、物体検出方法、及び物体検出プログラム |
-
2008
- 2008-07-17 JP JP2008186161A patent/JP2010028370A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011258180A (ja) * | 2010-05-10 | 2011-12-22 | Casio Comput Co Ltd | 被写体追跡装置、被写体追跡方法及びプログラム |
| US8878939B2 (en) | 2010-05-10 | 2014-11-04 | Casio Computer Co., Ltd. | Apparatus and method for subject tracking, and recording medium storing program thereof |
| WO2013132836A1 (ja) * | 2012-03-05 | 2013-09-12 | パナソニック株式会社 | 物体検出装置、物体検出方法、及び物体検出プログラム |
| US9400929B2 (en) | 2012-03-05 | 2016-07-26 | Panasonic Intellectual Property Management Co., Ltd. | Object detection device and method for detecting an object by performing a raster scan on a scan window |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8723976B2 (en) | Imaging device and storage medium | |
| JP4674471B2 (ja) | デジタルカメラ | |
| JP6106921B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
| KR101817657B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
| CN103339655B (zh) | 图像捕捉装置、图像捕捉方法及计算机程序产品 | |
| JP5736796B2 (ja) | 電子カメラ、プログラム及び記録媒体 | |
| CN103297670B (zh) | 被摄体判断装置以及被摄体判断方法 | |
| US9900523B2 (en) | Image processing apparatus which performs image processing on photographic subject | |
| JP4974812B2 (ja) | 電子カメラ | |
| JP2008276214A (ja) | デジタルカメラ | |
| JP2009010616A (ja) | 撮像装置および画像出力制御方法 | |
| JP5027580B2 (ja) | 撮影装置および方法並びにプログラム | |
| WO2018196854A1 (zh) | 一种拍照方法、拍照装置及移动终端 | |
| JP2009124644A (ja) | 画像処理装置、撮像装置及び画像再生装置 | |
| KR20100099008A (ko) | 오토 포커싱 제어 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
| JP2008003335A (ja) | 撮像装置、フォーカス制御方法、およびフォーカス制御プログラム | |
| JP6172973B2 (ja) | 画像処理装置 | |
| JP4802884B2 (ja) | 撮像装置、撮像画像記録方法、及び、プログラム | |
| JP4632417B2 (ja) | 撮像装置、及びその制御方法 | |
| JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム | |
| JP2008172395A (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
| JP2010028370A (ja) | 撮像装置 | |
| JP2010081100A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
| JP2013081136A (ja) | 画像処理装置および制御プログラム | |
| JP2011055272A (ja) | 撮像装置及び撮像方法 |