JP2004222118A - 撮影装置 - Google Patents

Abstract

【課題】被写体に適した撮影条件を設定して撮影を行うとともに、撮影後の顔画像を被写体の特性や好みなどに応じて容易に補正できるようにする。
【解決手段】ＣＰＵ５は、シャッターボタンが半押し操作され、視線センサ１４により撮影者の視線が定まったことを確認すると、プレビュー画像を生成し、顔画像を検出した後、その顔画像の特徴量を用いて、被写体の人種、年代、性別などを推論する。さらに、この推論結果および測距センサ１３の計測値に適合する撮影パラメータを設定し、そのパラメータに応じた撮影条件の下で本撮影処理を行う。さらに、顔画像の検出結果、推論結果、および撮影後に追加入力された情報などを本撮影により得られた画像にリンクさせて、メモリ６またはメモリカード１６に保存、またはＵＳＢインターフェース１５を介して外部出力する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、レンズおよび撮像素子を含む撮像部と、前記撮像部により得られた画像を処理して、その処理結果画像を内部のメモリまたは所定の記憶媒体に保存する制御部を具備する撮影装置に関する。特に、この発明は、この種の撮影装置において、人物を被写体とした撮影操作に応じて、その被写体の顔を含む画像を生成する技術に関する。
【０００２】
【従来の技術】
近年、人物を被写体として撮影を行った際の画像から、被写体の顔に相当する画像領域を抽出し、その領域内の特徴量に基づいて露光量などの撮影条件を調整したり、撮影後の画像を補整するようにした技術が開示されている。
たとえば、下記特許文献１〜３に開示されたような技術が存在する。
【０００３】
【特許文献１】
特開平１０−２６８４４７号公報
【特許文献２】
特開平８−６２７４１号公報
【特許文献３】
特開平１１−１４６４０５号公報
【０００４】
特許文献１では、撮像素子から取り込んだ画像データを用いて写真焼き付け処理を行う際に、前記画像データから人物の顔の領域を抽出し、この領域内の測光データに基づいて露光量を定めた上で補正を行うことにより、顔画像の特徴に合わせて画像を補整するようにしている。
【０００５】
特許文献２では、カメラで撮像した画像をプリントアウトする処理において、処理対象の画像から顔画像に相当する肌色領域を抽出するとともに、この画像の輝度情報に基づき、逆光の度合を判別し、人物の存在する度合や逆光の度合によって、異なる内容の階調補正を行うようにしている。
【０００６】
特許文献３では、カラービデオカメラなどの映像信号処理装置において、映像信号を取り込む過程で肌色領域を抽出し、肌色領域が抽出されたときの映像信号に輝度補正や色補正などを施すことにより、肌色領域のみを補正できるようにしている。
【０００７】
【発明が解決しようとする課題】
上記の先行技術をはじめとする従来の補正処理では、いずれも、顔画像の明るさや色彩などの特徴量をあらかじめ定められた基準と照合して、補正のパラメータを決定しているものと思われる。しかしながら、この補正の基準は、所定の人種の肌の色に合わせて定められるので、他の人種を被写体とした場合の補正処理に不具合が生じる虞がある。
【０００８】
たとえば、補正の基準を黄色人に合わせていると、黒人が被写体になった場合には逆光時の補正パラメータが適用される可能性がある。しかしながら、実際の黒人の顔画像と逆光時の顔画像とは大きく異なるので、適正な補正を行うのは困難である。また、白人が被写体になった場合に、黄色人と同様の補正処理を行うと、肌の色に黄味がかかり、不自然な印象の画像になる虞がある。
【０００９】
年代や性別の違いによっても、人種の場合と同様に、画一化された補正パラメータだけでは対応が困難な可能性がある。たとえば、２０代の顔画像と４０代の顔画像とでは、補正すべき箇所や基準にかなりの差異があると考えられる。また、被写体が男性である場合と女性である場合とでは、一般に、好ましいとされる顔色の基準が異なるものになると考えられる。
【００１０】
さらに、顔の色や明るさについては、人によって好みがあり、またその時々の流行や季節などによっても好みが変動する可能性がある。このような種々の要素に応じて個々の被写体の顔画像を補正するには、従来の画一的な基準による補正だけで対応するのは困難である。
【００１１】
この発明は、上記問題に着目してなされたもので、被写体の人種、年齢、性別、または個々の被写体の好みに応じた撮影条件を自動的に設定して、撮影を行うことができるようにすることを、目的とする。
【００１２】
また、この発明は、撮影により得られた画像に、各被写体の顔画像の補整に必要な情報をリンクさせて保存することにより、撮影後の顔画像を被写体の特性や好みなどに応じて容易に補正できるようにすることを、目的とする。
【００１３】
【課題を解決するための手段】
この発明にかかる第１の撮影装置は、レンズおよび撮像素子を含む撮像部と、前記撮像部により得られた画像を処理して、その処理結果画像を内部のメモリまたは所定の記憶媒体に保存する制御部とを具備して成るもので、前記制御部は、前記撮像部により得られた画像に含まれる顔画像を抽出する顔画像抽出手段と、前記顔画像が抽出されたとき、この顔画像を含む画像領域内の特徴量に基づき、被写体の人物について、少なくとも人種、年齢、性別のいずれかに対する推論処理を実行する推論手段と、前記推論手段による推論結果に基づき、前記撮像部による撮影条件を調整する撮影条件調整手段と、前記撮影条件調整手段により調整された撮影条件下で得られた画像を前記メモリまたは記憶媒体に保存する情報処理手段とを具備することを特徴とする。
【００１４】
撮像部には、レンズ、ＣＣＤのような撮像素子のほか、レンズの絞りおよび焦点の調整機構、撮像素子の駆動機構、ストロボおよびその強度調整機構などを含ませることができる。
制御部は、上記した各手段の処理にかかるプログラムが組み込まれたコンピュータにより構成するのが望ましい。ただし、必ずしもコンピュータのみで構成する必要はなく、一部の処理を、専用の回路により実施するようにしてもよい。
【００１５】
処理結果画像を保存するためのメモリは、ハードディスク、フラッシュメモリのような不揮発性のメモリであるのが望ましい。記憶媒体は、メモリカード、コンパクトフラッシュ（登録商標）、ＣＤ−Ｒ／ＲＷ、ＤＶＤ−Ｒ／ＲＷ、ディジタルビデオテープなどのリムーバブル記憶媒体であって、複数枚の画像を格納するのに十分な容量を具備するものであるのが望ましい。
【００１６】
このほか、この撮影装置には、撮像部により生成されたアナログ画像信号をディジタル変換するためのＡ／Ｄ変換回路を具備させる必要がある。さらに、ディジタル変換後の画像を圧縮するなどして、所定のファイル形式の画像データに変換する画像処理回路を、含ませることもできる。
【００１７】
顔画像抽出手段は、たとえば、所定のタイミングで撮像部から入力した画像上に所定大きさの検索領域を走査し、顔を構成する器官の特徴を示す特徴点が含まれているかどうかを検索する方法により、顔画像の抽出処理を行う。この検索では、下記の特許文献４に記載されたような特徴点抽出処理を行うことにより、高確度で顔画像を抽出することができる。ただし、これに限らず、従来の肌色領域を検出する方法や単純なパターンマッチング処理によって、顔画像を抽出することも可能である。
【００１８】
【特許文献４】
特開２００１−１６５７３号公報
（段落［００６４］〜［００６９］参照。）
【００１９】
推論手段は、顔の器官を構成する特徴点を用いた演算処理により人種，年齢，性別などを高確度で判別することができる。人種の推定では、たとえば、下記の非特許文献１の手法を適用できるが、これに限らず、顔画像内の輝度分布を抽出する方法を用いることができる。また、年齢や性別を推定するには、たとえば、下記の非特許文献２に開示された方法を使用することができる。
【００２０】
【非特許文献１】
グレゴリー シャナロビッチ（Ｇｒｅｇｏｒｙ Ｓｈａｋｈｎａｒｏｖｉｃｈ），ポール Ａ ヴィオラ（Ｐａｕｌ Ａ． Ｖｉｏｌａ），ババック モハダム（Ｂａｂａｃｋ Ｍｏｇｈａｄｄａｍ）；「ア ユニファイド ラーニング フレームワーク フォア リアルタイム フェイス ディテクション アンド クラシフィケーション（Ａ Ｕｎｉｆｉｅｄ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｒｅａｌ Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」；プロシーディングス オブ ザ フィフス ＩＥＥＥ インターナショナル コンファレンス オン オートマティック フェイス アンド ジェスチャー レコグニッション（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｆｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）； （米国） インスティチュート オブ エレクトリカル アンド エレクトロニクス エンジニアズ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，略称 ＩＥＥＥ）；２００２年５月
【００２１】
【非特許文献２】
細井聖，瀧川えりな，川出雅人；「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」； 第８回画像センシングシンポジウム講演論文集；画像センシング技術研究会；２００２年７月
【００２２】
上記の推論処理に使用される特徴量は、主として顔画像の抽出領域から導き出されるが、これに限らず、顔画像の周辺領域や、画像全体または画像の一部の特徴量も含めてもよい。特徴量としては、顔画像の色彩や明度の平均や分散、強度分布、周囲画像との色彩差や明度差などを抽出することができる。また、これらの特徴量を所定の演算式にあてはめて、推論に必要な二次的な特徴量を求めることもできる。
【００２３】
この発明で調整するところの撮影条件とは、たとえば、露出量を決めるためのシャッター速度や絞り、焦点距離、ストロボの有無およびその強度などである。上記の撮影装置によれば、前記顔画像の抽出処理と推論処理が実行された後に、推論結果に基づき撮影条件を自動調整することができる。
【００２４】
撮影条件を調整する処理を実行するには、あらかじめ、各種撮影条件毎に、その条件を決める調整値（以下、これを「撮影パラメータ」と呼ぶ。）と推論の対象となる各要素とを対応づけた設定テーブルを作成しておき、前記推論処理の結果をこの設定テーブルと照合して、推論結果に応じた撮影パラメータを導き出すようにするのが望ましい。この場合の設定テーブルでは、少なくとも、人種、年齢、性別のいずれか１つをそれぞれ複数のカテゴリーに分類し（たとえば、人種について「白人」「黄色人」「黒人」、年齢について「１０代」「２０代」「３０代」など）、これらカテゴリーの組み合わせ毎に各種撮影パラメータを対応づけることができる。
【００２５】
上記の撮影装置によれば、少なくとも、人種、年齢、性別のいずれかにかかる複数とおりの標準設定の撮影条件の中から、被写体に最も適合する条件が選択されて設定され、この条件の下で撮影を行うことができる。すなわち、個々の被写体の人種、年齢、性別によって撮影条件を自動調整して撮影を行うことができる。
【００２６】
つぎに、この発明にかかる第２の撮影装置は、前記第１の撮影装置と同様の撮像部および制御部を具備するもので、前記制御部には、所定数の被写体について、それぞれその被写体の顔画像の特徴量および最適な撮影条件の調整に必要な情報を、前記被写体に固有の識別情報に対応づけた登録情報を保持する登録手段と、前記撮像部により得られた画像に含まれる顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された顔画像の特徴量を前記登録手段の登録情報と照合して前記被写体を推定する推論手段と、前記推論手段により推定された被写体の登録情報を用いて、前記撮像部による撮影条件を調整する撮影条件調整手段と、前記撮影条件調整手段により調整された撮影条件下で得られた画像を前記メモリまたは記憶媒体に保存する情報処理手段とを具備する。
【００２７】
上記構成において、登録手段は、前記制御部を構成するコンピュータのメモリ内に設定することができる。「最適な撮影条件の調整に必要な情報」は、たとえば、顔画像の色彩を特定するパラメータ（顔色を構成するＲ，Ｇ，Ｂの階調、明度など）であって、登録対象の被写体の好みの色彩になるように調整されたものであるのが望ましい。また、被写体に固有の識別情報としては、被写体の名前（フルネームに限らず、ニックネームなどでもよい。）など、撮影者や被写体が容易に確認できる情報であるのが望ましい。
【００２８】
顔画像抽出手段による顔画像の抽出処理は、前記第１の撮影装置と同様の方法により行うことができる。推論手段は、前記抽出処理により得られた顔画像の特徴量を登録手段に登録された各被写体の顔画像の特徴量と照合する処理により、被写体が誰であるかを推定することができる。
【００２９】
撮影条件調整手段は、認識された被写体について、前記最適な撮影条件の調整に必要な情報に基づき、撮影条件を調整する。たとえば、前記情報として被写体の最適な肌色を表すパラメータが登録されているとき、抽出された顔画像がこの肌色に近づくように、露出調整を行うようにすることができる。
【００３０】
上記第２の撮影装置によれば、被写体となり得る人物について、あらかじめ、その人物の顔画像の特徴量と最適な撮影条件の調整に必要な情報を登録手段に登録しておくことにより、その被写体の好みの顔画像が得られるような撮影条件を自動調整して撮影を行うことができる。
【００３１】
上記第１、第２の撮影装置は、たとえば、ディジタル静止画像生成用のカメラ装置（以下、単に「ディジタルカメラ」という。）として構成することができる。この種の装置では、シャッターボタンが半押しされたとき、視線センサなどにより撮影者の視線が所定の方向に定められたことを検出したときなど、撮影者が撮影対象領域を決定したとみなし得る状態になったタイミングで撮像素子を駆動し、得られた画像を用いて撮影条件を調整した上で、再度、撮像素子を駆動するのが望ましい。この場合、撮影条件が調整された状態下での撮影により得られた画像が、メモリまたは記憶媒体に保存されることになる。
【００３２】
また、制御部に高速処理用のＣＰＵを組み込んだり、複数のＣＰＵを搭載するなどして、顔画像の抽出処理や推論処理をリアルタイムで実行できるようにし、撮像素子を連続的に駆動するようにすれば、上記撮影装置を、動画像生成用のカメラ装置（以下、「ディジタルビデオカメラ」という。）として機能させることができる。この場合には、顔画像の抽出処理、推論処理、撮影条件の調整処理を連続的に実行しながら、調整された撮影条件の下で得られた画像を、メモリまたは記憶媒体に順に蓄積していくのが望ましい。
【００３３】
つぎに、第１、第２の撮影装置に共通に設定できる各種態様について説明する。まず、好ましい一態様では、前記情報処理手段は、前記画像抽出手段により抽出された顔画像の抽出位置と、前記推論手段の推論処理により得た推論情報とを含むリンク情報を作成する手段を含み、このリンク情報を前記撮像部により得られた画像とともに前記メモリまたは記憶媒体に保存するように構成される。
【００３４】
この態様によれば、顔画像の抽出位置と推論処理の結果とが画像にリンクされて保存されるので、撮影後にも、リンク情報を用いて顔画像の詳細な補正を行うことが可能となる。なお、この撮影後の補正は、パーソナルコンピュータなどの外部機器で行うのが望ましいので、撮影装置には、保存された画像およびリンク情報を外部機器に出力できるように、外部機器に対応したインターフェース回路や出力端子を設けるのが望ましい。ただし、前記したリムーバブル記憶媒体を使用する場合には、この出力機能を用いずに、外部機器での補正処理を行うことができる。
【００３５】
上記の態様によれば、撮影後の画像およびリンク情報を外部機器に取り込んで、より詳細な補正を行うことができる。処理後の画像は印刷したり、モニタ装置に表示したり、インターネットのような通信回線を介して配信したりすることができる。
【００３６】
なお、第２の撮影装置においては、リンク情報は、被写体の識別情報を含ませることができるので、外部機器において、この被写体に適した補正処理を行った後は、この補正内容を識別情報に対応づけて登録し、後日、同じ被写体の顔画像を処理する際に、前記登録情報を用いて前回と同様の補正を行うことができる。また、画像が個人の識別情報とリンクしているので、撮影後の画像の整理や写真の焼き増し処理を簡単に行うことが可能となる。
このほか、リンク情報には、撮影の日時、設定した撮影条件などの付加情報を含ませることもできる。
【００３７】
他の態様にかかる撮影装置は、被写体までの距離を認識する距離認識手段を具備し、前記顔画像抽出手段は、前記距離認識手段の認識結果に基づき、抽出対象の顔画像の大きさを特定する手段を具備するように構成される。
【００３８】
前記距離認識手段は、たとえば、反射光を利用した測距センサとすることができる。この場合、顔画像抽出手段は、距離認識手段により認識された距離に基づいて被写体の顔の大きさを推定した後、処理対象の画像上に推定した顔の大きさに応じたサイズの検索領域を設定したり、または検索領域の大きさは変更せずに、仮取得の画像のサイズを推定結果に基づき調整することによって、前記推定した大きさに相当する顔画像のみを検索することができる。いずれの処理においても、抽出対象となる顔画像の大きさによって、顔画像の抽出処理にかかる時間を短縮することができ、撮影操作に応じた高速の処理を実現することができる。
【００３９】
なお、顔画像の抽出時間を短縮する別の方法として、視線センサなどによって撮影者の視線の方向を特定し、その方向から顔画像の検出範囲を限定して検索を行うこともできる。また、同一人物が続けて撮影されるケースはきわめて多いから、前回の撮影からの経過時間が所定時間内であれば、前回の抽出処理で得た顔画像の特徴に類似する特徴を含む画像を優先的に検索するようにしてもよい。
このように、顔画像の抽出処理にかかる時間を短縮することにより、撮影者の撮像操作に応じて、顔画像の抽出処理を短時間で完了することが可能となる。
【００４０】
さらに、他の態様にかかる撮影装置では、前記制御部は、前記顔画像抽出手段による抽出結果に合わせて前記撮像部のレンズの焦点距離を調整する焦点距離調整手段を含む。
通常のオートフォーカスの撮影装置では、画像の中央にピントが合わせられたり、被写体よりも手前位置にピントが合わせられるなどして、被写体の顔が不鮮明になる、という不具合がある。これに対し、この態様による撮影装置では、顔画像の抽出結果に基づき、被写体の顔にピントが合うように焦点距離の調整がなされるので、被写体の顔画像を明瞭に撮影することができる。特に、連続撮影を行ったり、撮影装置をビデオカメラとして構成する場合には、上記の顔抽出処理と焦点距離の調整処理とを繰り返し実行することにより、常に、被写体の顔にピントが合わせられるような調整を行うことができる。
【００４１】
また、このようにピントが合わせられた後の顔画像に対して前記推論処理を実行することにより、推論結果をより正確なものにすることができる。
【００４２】
さらに、他の態様にかかる撮影装置は、顔画像の抽出範囲を指定するための第１の操作部を具備し、前記顔画像抽出手段は、前記第１の操作部の指定操作に応じて、前記撮像部より得られた画像における顔画像領域の抽出対象領域を限定する手段を含む。
【００４３】
前記第１の操作部は、撮影装置の機体の適所に設けることができるが、好ましい形態としては、前記撮像部により得られた画像を表示する表示装置と、この装置に表示された画像上で顔画像の抽出範囲を指定するためのユーザーインターフェースとを含むのが望ましい。なお、この第１の操作部は、後記する第２、第３の操作部と一体に構成することができる。
この態様によれば、撮影者により指定された領域に限定して、顔画像の抽出処理を行うことができるので、抽出処理にかかる時間を短縮することができる。
【００４４】
さらに、他の態様にかかる撮影装置は、前記顔画像の抽出結果に対し、所定の顔画像の抽出結果の削除を指定するための第２の操作部を具備し、前記顔画像抽出手段は、前記第２の操作部の指定操作に応じて、前記顔画像の抽出結果を更新する手段を含むように構成される。
【００４５】
この第２の操作部は、顔画像の抽出結果を表示する表示装置と、この表示装置における表示画面上で削除の指定を受け付けるユーザーインターフェースとを含む形態とするのが望ましい。なお、顔画像の抽出結果の表示は、たとえば、前記仮取得の画像上の顔画像の抽出位置にポインタを配置することによって行うことができる。より好ましい方法としては、顔画像の位置および大きさが明確になるようなマーキング表示（たとえば、顔画像を含むような枠画像を設定する。）を行うこともできる。
【００４６】
上記の態様によれば、たとえば、被写体とする人物以外の人物の顔画像が含まれている場合に、この被写体以外の人物にかかる顔画像の抽出結果を削除するなど、以後の推論処理やリンク情報の作成などを行う必要のない顔画像を削除することができ、被写体に対してのみ詳細な処理を行うことができる。
【００４７】
さらに、上記第２の操作部には、顔画像の抽出結果を削除する指定操作のみならず、抽出結果を修正する操作のための機能をもたせることもできる。このようにすれば、撮影者は、顔画像が正しく抽出されているかどうかを確認し、誤りがある場合には、修正操作によって顔画像の位置や大きさを正しく設定し直すことができるので、顔画像の抽出結果の誤りにより、間違った推論処理が行われて、以後の処理に誤りが生じるのを回避することができる。
【００４８】
さらに、他の態様にかかる撮影装置は、前記推論手段の推論処理により得られた推論情報を修正する操作を行うための第３の操作部を具備し、前記情報処理手段は、前記第３の操作部による修正操作に応じて、前記推論情報を修正する手段を含むように構成される。なお、この第３の操作部には、撮影後の画像とその推論情報とを表示する表示装置や、この表示装置の表示画面上で推論情報を修正する操作を受け付けるためのユーザーインターフェースを含ませることができる。
【００４９】
上記の態様によれば、推論処理に誤りがある場合には、修正操作によって正しい情報に修正することができるので、誤った推論処理により被写体に適さない撮影条件が設定されるのを防ぐことができる。
【００５０】
なお、推論情報の修正操作としては、推論結果の誤りを修正する操作のほか、推論されていない新規の情報を追加する操作を含むことができる。また、追加する情報として、撮影時には実行が困難な補正処理（輪郭線のスムージング処理、顔面の欠陥を抽出して消去する処理、肌色の色味や明るさの詳細な補正処理など、相当量の処理時間が必要となる処理）を指定することもできる。このようにすれば、推論結果の誤りを修正できるばかりでなく、撮影者または被写体本人の好みに応じて、画像の補整にかかる詳細な内容を含むリンク情報を作成することができるから、撮影後の画像に対してより詳細な補正を行うことが可能となる。
【００５１】
さらに、他の態様にかかる撮影装置は、前記撮影条件調整手段により調整された撮影条件を修正するための第４の操作部を具備し、前記撮影条件調整手段は、前記第４の操作部による修正操作に応じて撮影条件を再調整する手段を含むものとなる。
【００５２】
前記第４の操作部は、撮影条件調整手段により一旦調整された撮影条件を修正するためのもので、絞りや焦点距離などを調整する通常の操作部にその機能を付与することができる。この態様によれば、推論情報に基づいて調整された撮影条件を微調整するなどの処理が可能となり、より適正な撮影条件を設定して撮影を行うことができる。
【００５３】
さらに、他の態様にかかる撮影装置では、情報処理手段は、前記メモリまたは記憶媒体に保存する画像について、顔画像抽出手段による抽出結果に基づき、画像における被写体の顔の方向を判別する手段と、判別された顔の方向があらかじめ定められた基準の方向と異なるとき、この顔の方向が基準の方向に適合するように画像を回転させる手段とを含むように構成される。
【００５４】
上記態様によれば、撮影者が撮影装置をどの向きに構えて撮影を行うかによって、画像上の顔の方向が変わっても、回転補正によって、顔の方向を基準の方向に合わせてから保存することができる。よって、撮影後に画像を表示する際には、被写体を常に同じ方向に向けて示すことができる。また印刷処理において、複数の画像を１枚の用紙に印画するような場合に、被写体の方向を揃えるための修正が不要となる。
【００５５】
さらに、第１の撮影装置については、以下のような態様の装置を構成することができる。
まず、一の態様にかかる撮影装置は、既に抽出された顔画像の特徴量を記憶する特徴量記憶手段を具備し、前記顔画像抽出手段は、前記撮像部により得られた画像から前記特徴量記憶手段に記憶された特定の顔画像の特徴量を含む画像領域を抽出する特定画像抽出手段を含むように構成される。
【００５６】
上記の態様によれば、顔画像の抽出処理を行う際には、過去に抽出された特定の顔画像と同じ特徴量を含む画像領域を抽出することができるから、同じ人物を被写体として連続的に撮影を行う際などには、被写体の顔画像を短時間で抽出することが可能となる。
【００５７】
なお、特徴量記憶手段には、必ずしも、過去に撮影されたすべての被写体の顔画像の特徴量を保存する必要はなく、所定時間前までに取得した特徴量、または最新の所定枚数分の画像で取得した特徴量に限定して保存するようにしてもよい。
【００５８】
さらに、他の態様にかかる撮影装置は、特定の被写体の顔画像についての特徴量を記憶する被写体記憶手段を具備し、前記情報処理手段は、前記顔画像抽出手段により抽出された顔画像の特徴量を前記被写体記憶手段に記憶された特徴量と照合し、この照合処理により、前記抽出された顔画像が前記特定の被写体のものであると判別したとき、前記推論手段の推論処理により得た推論情報と前記特定の被写体を識別する情報とを含むリンク情報を作成し、このリンク情報を前記撮像部により得られた画像とともに前記メモリまたは記憶媒体に保存するように構成される。
【００５９】
上記態様によれば、特定の人物の顔画像が抽出されたとき、この人物を識別する情報（氏名、識別番号など）を含めたリンク情報を作成し、画像とともに保存することができる。よって撮影後には、人物の識別情報に基づき、補正対象の人物を特定した上で、その特定した人物に対する補正を行うことができる。さらに、この人物に対して特別の補正内容を指定して、詳細な補正を行うこともできる。また、画像が個人の識別情報とリンクしているので、撮影後の画像の整理や写真の焼き増し処理を簡単に行うことが可能となる。
なお、識別情報は、撮影の前または後に入力することができる。
【００６０】
上記態様の装置には、前記画像抽出手段により抽出された顔画像の登録を指定する操作と個人識別情報の入力とを行うための操作部を具備させるとともに、前記情報処理手段に、前記操作部により指定された顔画像の特徴量を前記入力された個人識別情報に対応づけて被写体記憶手段に登録する手段を含ませるのが望ましい。
【００６１】
このようにすれば、既に撮影した人物の中の特定の人物を指定して、その顔画像にかかる特徴量を個人識別情報とともに登録しておくことができる。そして、以後は、この登録された人物が撮影される都度、この人物の画像に前記個人識別情報を自動的にリンクさせて保存することが可能となる。なお、登録対象の顔画像の指定は、撮影直後に限らず、既にメモリまたは記憶媒体に保存された画像を呼び出して行うこともできる。
【００６２】
つぎに、第２の撮影装置にかかる好ましい態様の装置では、前記制御部は、前記登録手段に登録するために所定の被写体が撮影されるのに応じて、被写体の識別情報および前記最適な撮影条件の調整に必要な情報の入力を受け付け、これら入力情報を前記被写体の顔画像とともに前記登録手段に格納する手段を具備する。
【００６３】
上記態様の装置では、たとえば、撮像部により得られた画像を表示して、撮影条件の調整操作や、被写体の識別情報の入力を受け付けることができる。この場合、調整操作後の画像に含まれる顔画像の特徴量を示すパラメータを、前記最適な撮影条件の調整に必要な情報として登録することができる。
【００６４】
また、撮影後の画像を修正操作に応じて補正する機能を持たせるのであれば、情報の入力処理は、撮影時に限らず、撮影後に行うこともできる。この場合の入力処理は、撮影により得られた顔画像の補正を指定する操作と、識別情報の入力とにより行われることになり、補正後の顔画像の特徴量を示すパラメータを、前記最適な撮影条件の調整に必要な情報として登録することができる。
このように、撮影後の画像を用いて、登録手段に登録するための情報入力を行うようにすれば、被写体自身が入力処理を行うことができるので、被写体自身の好みの撮影条件に調整して撮影を行うことが可能となる。
【００６５】
上記した各種構成にかかる撮影装置は、一般的なディジタルカメラ、ディジタルビデオカメラのほか、カメラ機能を具備する携帯通信端末（携帯電話など）として構成することもできる。
【００６６】
【発明の実施の形態】
図１は、この発明が適用されたディジタルカメラの構成を示す。
このディジタルカメラ１は、レンズ部２やＣＣＤ３を含む撮像部４と、ＣＣＤ３からの画像を取り込んで最終形態のディジタル画像を生成する制御部７とを主体とするもので、さらに、Ａ／Ｄ変換回路８、画像処理回路９、レンズ調節部１０、シャッタ制御部１１、ストロボ制御部１２，測距センサ１３、視線センサ１４、ＵＳＢインターフェース１５，入出力インターフェース１７などの周辺回路が組み込まれている。また、制御部７には、メモリカード１６を着脱自由に接続することができるようになっている。
【００６７】
前記制御部７は、ＣＰＵ５と、フラッシュメモリのような不揮発性メモリ６（以下、単に「メモリ６」という。）とにより構成される。メモリ６には、ＣＰＵ５の動作に必要なプログラムのほか、処理の過程で使用する各種参照用のテーブルやテンプレートが格納されたデータベース、画像処理回路９やＣＰＵ５から出力された画像データなどが格納される。
【００６８】
レンズ調節部１０には、前記レンズ部２の焦点調整機構や絞りの調節機構が含まれる。シャッタ制御部１１は、ＣＣＤ３に駆動パルスを供給して電荷蓄積を行わせるためのものであり、ストロボ制御部１２は、図示しないストロボの発光タイミングや光量を調整するためのものである。なお、焦点、絞りの調節値、ＣＣＤ３への駆動パルスのパルス間隔、ストロボの発光量などは、ＣＰＵ５からの制御信号に応じて調整される。Ａ／Ｄ変換回路８は、ＣＣＤ３の各画素からの出力を順に取り込み、Ｒ，Ｇ，Ｂの色成分毎にディジタル変換する。画像処理回路９は、複数のシフトレジスタやフリップフロップなどを組み合わせた回路であって、Ａ／Ｄ変換回路８からの出力を受けて、画素毎にＲ，Ｇ，Ｂの強度を組み合わせたフルカラー画像データを生成する。生成された画像データは、メモリ６に保存され、ＣＰＵ５による所定の画像処理を受けることになる。
【００６９】
測距センサ１３は、被写体までの距離を測定するためのもので、三角測距によるパッシブ方式、または赤外線アクティブ方式のものが用いられる。視線センサ１４は、赤外線光を撮影者の眼球に照射し、その反射光像を用いた計測処理により、撮影者の視線の方向を検出する。これらのセンサによる計測結果は、ＣＰＵ５に入力されて、本撮影前のプレビュー画像の生成や本撮影のための撮影パラメータの設定処理に使用される。
【００７０】
ＵＳＢインターフェース１５は、ユニバーサル・シリアル・バス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）の規格に準拠するインターフェースであって、メモリ６やメモリカード１６に保存された画像をパーソナルコンピュータなどの外部装置に転送するために使用される。
【００７１】
入出力インターフェース１７には、操作部１８および表示部１９が接続される。操作部１８および表示部１９は、ディジタルカメラ１の機体表面に配備されるもので、表示部１９は、処理中の画像や情報入力のための画面の表示に用いられる。操作部１８は、前記情報入力操作のための操作キーのほか、シャッターボタンを含む。
【００７２】
上記構成において、ＣＰＵ５には、メモリ６に保存されたプログラムにより、図２に示すような機能が設定されている。これらの機能により、この実施例のディジタルカメラ１で、人物を被写体とする撮影を行う場合には、撮影対象領域が定められた状態下で、被写体である人物の人種、年齢、性別を推定し、その推定結果に適合する撮影パラメータを決定した上で本撮影を行うことができる。
なお、この実施例では、撮影パラメータとして、シャッタ速度、絞り、焦点距離の各調整値、およびストロボ使用の有無を常に設定するようにしており、さらにストロボを使用する場合には、その発光強度を設定できるようにしている。
【００７３】
図２において、プレビュー画像取得部５１は、前記レンズ調節部１０，シャッタ制御部１１などを制御して、撮影対象領域のプレビュー画像を生成させる（プレビュー画像取得時には、ストロボは使用しないようにするのが望ましい。）。顔検出処理部５２は、前記プレビュー画像取得部５１がプレビュー画像を取得したとき、この画像から顔画像を検出する。顔領域設定部５３は、この検出結果に応じて、前記顔画像を含む所定大きさの領域を処理領域として設定し（以下、この処理領域を「顔領域」と呼ぶ。）、後記する領域設定用のパラメータを作成する。
【００７４】
推論処理部５４は、設定された顔領域につき、その領域内の特徴量に基づき、被写体の人種、年代、性別などを推論する。パラメータ決定部５５は、前記推論処理の結果に適合する撮影パラメータを決定する。なお、この実施例では、前記人種、年代、性別のほか、逆光の有無を推論するようにしており、あらかじめ、これら４つの要素にかかる推論結果および被写体までの距離を種々に組み合わせて、組み合わせ毎に、最適とする撮影パラメータを設定したテーブルを作成し、メモリ６に登録している。撮影パラメータを決定する処理では、推論結果および測距センサ１３の計測値により、このテーブルを照合することで、最適な撮影パラメータを抽出するようにしている。
【００７５】
本撮影処理部５６は、前記パラメータ決定部５５の決定した撮影パラメータに基づきレンズ調整部１０，シャッタ制御部１１，ストロボ制御部１２を制御し、本撮影を実行させる（ストロボは必要に応じて使用する。）。画像データ記憶部５７は、この本撮影により得た画像を、顔領域設定部５３や推論処理部５４による処理結果にリンクさせた情報リンク画像を生成し、これをメモリ６またはメモリカード１６に保存する。画像データ出力部５８は、保存された情報リンク画像を、適宜、読み出して、前記ＵＳＢインターフェース１５を介して外部に出力する。
【００７６】
ユーザーインターフェース制御部５９は、前記顔領域の設定結果や情報リンク画像のリンク情報を確認して、その誤りを修正したり、追加の情報を入力するためのものである。この実施例では、顔領域の設定処理が終了した時点で、顔領域の設定結果を含む前記プレビュー画像を前記表示部１９に表示するようにしている。図３は、この表示例を示すもので、プレビュー画像２０中の各人物の顔画像上に、それぞれ顔領域の境界線に応じた枠画像２１，２２が表示されている。
【００７７】
ユーザーインターフェース制御部５９は、このような表示とともに、顔領域の設定を修正する操作や新規の顔領域を設定する操作を行うための操作画面を設定して、各種操作を受け付け、その操作の内容を顔領域設定部５３に出力する。顔領域設定部５３は、この操作の内容に応じて、設定した顔領域の場所や大きさを修正したり、不要な顔領域を削除したり、新規の顔領域を設定したりする。
【００７８】
さらに、ユーザーインターフェース制御部５９は、画像データ記憶部５７が情報リンク画像を保存する際には、この情報リンク画像中の画像およびリンク情報を表示するとともに、リンク情報の修正や追加情報を入力するための操作画面を設定して、各種修正や入力を受け付ける。この修正の内容や入力情報は、画像データ記憶部５７に渡される。画像データ記憶部５７は、前記情報リンク画像に対する修正に基づいて対応する情報を修正し、また追加入力された情報を、既存のリンク情報に加える処理を実行する。
【００７９】
なお、修正情報は、主として、推論処理の誤りを修正するためのものである。また追加情報の入力は、推論処理による標準的な補正では対応できないオプションの補正処理や、被写体の名前（姓または名、もしくはニックネームでもよい。）などの個人情報を入力する操作により行われる。
【００８０】
さらに、この実施例のディジタルカメラ１は、本撮影後の画像に対し、ユーザーの指定操作に応じて、輝度補正や輪郭補正などの画像補正を行う機能を具備している。画像データ記憶部５７は、このような装置内での補正が行われたとき、この補正に関わる情報をリンク情報に加える処理を実行するようにしている。
【００８１】
図４は、前記情報リンク画像におけるリンク情報の構成例を示す。
図中の１番上の欄は、リンク情報中のインデックス情報に対応するもので、画像番号、撮影日時、撮影モードなどが設定されている。なお、画像番号は、本撮影により生成された画像に順に付与される通し番号である。また、撮影モードには、人物撮影モード、風景撮影モードなどの複数のモードが設定されており、このうちの人物撮影モードが選択されたときのみ、顔検出処理や推論処理が実行されて、具体的なリンク情報が設定されることになる。
【００８２】
リンク情報には、前記顔領域の設定結果を示す情報として、顔画像の検出位置の座標（ｘ_Ｐ，ｙ_Ｐ）、顔画像の大きさｒ、顔の傾き角度θが、推論結果を示す情報として、人種、年代、性別、逆光の有無などが、それぞれ格納される。さらに、追加情報として、前記した被写体の名前などの個人情報や選択されたオプション補正の項目名、前記した装置内での補正の有無、およびその補正の内容を示す情報などが格納される。
【００８３】
なお、リンク情報としては、図示したもののほかに、使用された撮影パラメータを格納することもできる。また、人物撮影モード以外の撮影モードで撮影された画像についても、画像番号、撮影日時、撮影モードによるインデックス情報のみを持つ情報リンク画像が生成される。
【００８４】
前記リンク情報中の検出位置（ｘ_Ｐ，ｙ_Ｐ），顔の大きさｒ，顔の傾きθは、本撮影後に、顔画像の詳細な修正を行う場合に、その顔画像に適合する顔領域を設定するためのパラメータとして用いられる。
図５は、前記各パラメータの具体例を示す。図示例では、顔画像中の各特徴点の中から、鼻の最も高い位置に対応する特徴点Ｐを抽出し、この点Ｐの座標（ｘ_Ｐ，ｙ_Ｐ）を顔の検出位置としている。また、この点Ｐを起点にして、各種方向毎に額と髪との境界を検索し、この境界に相当する特徴点の中から点Ｐとの距離が最短になる点Ｑを求め、この点Ｑと前記点Ｐとの間の距離を、顔の大きさｒとする。さらに、点Ｐから点Ｑの方向を向くベクトルＣを設定し、画像の水平方向（ｘ軸方向）に対する前記ベクトルＣのなす角度を、顔の傾きθとして計測する。
【００８５】
図５のＵは、前記各パラメータにより設定された顔領域の一例である。この顔領域Ｕの大きさは、前記顔の大きさｒに基づいて決められたものであり、その中心が点Ｐに対応し、また主軸がｘ軸に対して前記角度θだけ傾いた状態になるように、設定されている。
【００８６】
前記図４のリンク情報は、メモリカード１６に保存することができ、また前記画像データ出力部５８の機能により外部装置に出力することができる。したがって、このリンク情報を含む情報リンク画像をパーソナルコンピュータなどに取り込むと、前記（ｘ_Ｐ，ｙ_Ｐ），ｒ，θの各パラメータにより処理対象の顔領域を自動設定することができる。よって、推論結果やオプションの補正項目に基づき、詳細かつ適正な補正処理を行うことが可能になる。
【００８７】
図６は、人物撮影モードで１枚の写真を撮る操作に応じて、前記ＣＰＵ５が実行する制御手順を示す。
この手順は、シャッターボタンが半押しされ、かつ視線センサ１４の計測値により撮影者の視線が定められたことを確認した時点から開始される。まず、ＳＴ１では、前記視線センサ１４や測距センサ１３の計測値に基づき、適当な撮影条件を設定してＣＣＤ３を駆動し、その出力からプレビュー画像を生成する。生成したプレビュー画像をメモリ６の作業領域に格納すると、つぎのＳＴ２に進んで、顔検出処理を実行する。
【００８８】
この顔検出処理では、プレビュー画像に所定大きさの検索領域を走査して、顔画像の特徴点を検索する処理を行う。なお、この実施例では、あらかじめ、被写体までの距離に応じた標準的な顔画像の大きさを示すテーブルがメモリ６に設定されており、前記測距センサ１３の計測値によりこのテーブルを照合することによって、プレビュー画像に現れる顔画像のおよその大きさを予測し、その大きさに応じて検索領域の大きさを調整するようにしている。また、前記視線センサ１４の計測値に基づき、撮影者が視線を定めた場所を中心とする所定の範囲に検索領域の走査範囲を限定するとともに、前記特許文献４に開示された方法を用いることにより、短時間で確度の高い顔検出処理を行うようにしている。
【００８９】
つぎのＳＴ３では、検出された顔画像について、前記図５に示した各種パラメータを抽出し、これらパラメータに基づき顔領域Ｕを設定する。さらに、ＳＴ４では、前記表示部１９に、顔領域の設定結果を、プレビュー画像上の枠画像として表示する。この表示に対し、撮影者の修正操作がなされると、その操作に応じて、顔領域設定用のパラメータの修正処理を行う（ＳＴ５，６）。
なお、ＳＴ５の修正操作は、設定された顔領域の位置や大きさを変更する操作のほか、顔領域を削除する操作、新たな顔領域を設定する操作も含む。これに対応して、ＳＴ６では、顔領域設定用のパラメータの値を変更する処理のほか、パラメータを削除する処理、新規のパラメータを設定する処理を実行する。
【００９０】
顔領域の修正処理が行われた後に撮影者の確定操作があると、ＳＴ７に進み、確定した顔領域について、種々の推論処理を実行する。なお、撮影者が、ＳＴ４のプレビュー画像表示に対する修正操作を行わずに、すぐに確定操作を行った場合には、ＳＴ５が「ＮＯ」となってＳＴ７に進み、ＳＴ３で設定した顔領域に対する推論処理を実行する。
【００９１】
ＳＴ７では、設定された顔領域につき、人種、年代、性別、および逆光の有無を推定するようにしている。人種の推定処理は、前記した非特許文献１に基づいて行うことも可能であるが、この実施例では、処理時間の短縮のために、顔領域内の輝度分布を用いて、人種および逆光の有無を同時に推定するようにしている。
【００９２】
図７は、被写体や照明環境が異なる３つの事例について、顔領域内におけるＲ，Ｇ，Ｂの各色データおよび明度Ｌ（Ｒ，Ｇ，Ｂの総和平均）毎に抽出したヒストグラムの例を示す。なお、ヒストグラムのスケールは、階調であって、図中、紙面の右方向にいくほど明るい状態を示す。
【００９３】
図７（１）は、適正な照明環境で黄色人を撮影した場合のヒストグラムである。この場合のヒストグラムは、各色データとも、比較的に明るい方への分布が優勢となっており、とりわけ赤色成分の強度が強調された状態となる。
【００９４】
図７（２）は、図７（１）と同じ黄色人を逆光状態で撮影した場合のヒストグラムである。この場合のヒストグラムでは、各色データの出現率は、図７（１）に比べて大幅に低下し、また暗い側に集中した分布状態となる。
【００９５】
図７（３）は、適正な照明環境で黒人を撮影した場合のヒストグラムである。この場合のヒストグラムでは、暗い側と明るい側の両方にピークを持つ分布状態が得られる（暗い側は皮膚に対応し、明るい側は目や歯に対応すると考えられる。）
【００９６】
この実施例では、あらかじめ、各人種毎に、それぞれ照明状態などが異なる複数種の撮影環境について輝度ヒストグラムのテンプレートを用意しており、処理対象の顔領域について抽出したヒストグラムを各テンプレートと照合することにより、人種および逆光の有無を推定するようにしている。なお、前記ヒストグラムを、顔領域全体に限らず、目の部分や口の部分など、局所的な領域の輝度分布も抽出して判別処理に利用するようにすれば、推定結果をより確かなものとすることができる。
【００９７】
なお、年代，性別の推定は、非特許文献２に示すように、各器官にかかる特徴点の持つ特徴量を、サポートベクタマシンと称される推定システムに与える方法により実行するが、必ずしもこの方法に限定されるものではない。
【００９８】
図６に戻って、一連の推論処理が終了すると、ＳＴ８では、この推論結果および測距センサ１３の計測値によりメモリ６内の設定テーブルを照合して、推論結果および被写体までの距離に適した撮影パラメータを決定する。
なお、撮影パラメータのうち、レンズ２の焦点距離については、顔画像の抽出結果も加味して決定することにより、被写体の顔にピントを適正に合わせた状態を設定することができる。
【００９９】
つぎのＳＴ９では、前記表示部１９に、撮影が可能となった旨を示すマーカーを表示する。この表示に応じて撮影者がシャッターボタンを操作すると、ＳＴ１０が「ＹＥＳ」となり、ＳＴ１１において、前記設定した撮影パラメータによる本撮影処理を実行する。
【０１００】
この後は、ＳＴ１２において、前記図４に示した構成のリンク情報を生成する。なお、この段階のリンク情報には、名前やオプション補正のような情報は含まれておらず、前記インデックス情報、顔領域の設定用パラメータ、推論結果の各情報のみが設定される。
【０１０１】
つぎのＳＴ１３では、前記表示部１９に、本撮影で得た画像とリンク情報とを表示する処理を行う。この表示に対し、リンク情報の修正や追加のための入力操作、または画像の補正を指定する操作があると、ＳＴ１４が「ＹＥＳ」となってＳＴ１５に進み、その操作に応じてリンク情報の修正や追加情報の設定処理を行う。
【０１０２】
この後に確定操作が行われると、ＳＴ１６に進み、最終的な画像リンク情報をメモリ６またはメモリカード１６に保存する処理を行う。また、ＳＴ１３での表示に対して、修正操作や追加操作がなされずに、すぐに確定操作が行われた場合には、ＳＴ１４が「ＮＯ」となってＳＴ１６に進み、ＳＴ１２で生成した基本のリンク情報のみを持つ情報リンク画像が保存されることになる。
【０１０３】
なお、リンク情報の表示や修正については、各情報を切り換え操作に応じて順に切り換えながら表示し、表示の都度、修正操作を受け付けていくようにしてもよい。また、情報を追加する処理において、オプションの補正を指定する場合には、たとえば、各種補正項目をメニュー表示して、項目の選択を受け付けるようなユーザーインターフェースを用意することによって、追加情報の入力や認識を簡単に行うことができる。
【０１０４】
また、上記の手順によれば、撮影を行った直後に、情報リンク画像を表示して修正や追加入力を受け付けるようにしているが、この表示や修正のタイミングはこれに限定されるものではない。たとえば、撮影後は、ひとまず、基本構成の情報リンク画像を生成して保存しておき、所定の時点での画像呼び出し操作に応じて画像およびリンク情報を表示し、修正や追加の入力操作を受け付けることもできる。この場合には、修正に応じて、前回保存のリンク情報を書き換えることになる。
【０１０５】
さらに、上記手順においては、ＳＴ２の顔画像の検出処理が終了した時点で、その検出結果に応じてレンズ２の焦点距離を調整し、再度、プレビュー画像を取り込むようにしてもよい。このようにすれば、被写体の顔の特徴が明瞭化された顔画像により、以後の顔領域の設定処理や推論処理を行うことができるので、より精度の高い処理を実行することができる。
【０１０６】
上記の手順によれば、被写体の顔の写り方に大きな影響を及ぼす人種，年代，性別について推定処理を行い、その推定結果に応じた撮影パラメータを設定して本撮影を行うので、撮影場所や照明状態が同じであっても、被写体によって撮影条件が異なるようになり、個々の被写体について、鮮明かつ実物のイメージに近い顔画像を生成することが可能となる。
【０１０７】
つぎに、上記の手順により生成された情報リンク画像を用いての補正処理について説明する。この補正は、前記したように、パーソナルコンピュータなどの編集装置が、メモリカード１６またはＵＳＢインターフェース１５を介して、情報リンク画像を取り込み、実行するものである。編集装置には、あらかじめ、人種、年代、性別の各項目につき、それぞれ複数のクラス毎に補正用のパラメータやアルゴリズムが設定されており（以下、このパラメータやアルゴリズムを「補正データ」と総称する。）、処理対象の画像のリンク情報に含まれる推論結果から適合する補正データを選択し、その補正データに基づく処理を行うようにしている。これにより、人種、年齢、性別の違いに応じて顔画像の修正内容を変動させることができる。
【０１０８】
一例をあげると、１０代，２０代の女性について、ニキビなどによる赤み部分を検出して、これを周辺と同一の色彩に置き換えたり、肌の白みを増やすための補正を実行する。また、２０代、３０代の男性について、肌を日焼け色にするような補正を行い、４０代の女性について、小じわやシミの部分を検出して他の箇所と同一の状態に置き換えるための補正を行うなど、各年代や性別に応じて最も要望が高いと思われる内容の補正を行うことができる。
【０１０９】
また、この種の補正データは、自由に変更することができるので、流行や季節に応じて、補正の内容を変更することができる。
また、前記ディジタルカメラ１で複数人を被写体とする場合には、各被写体毎に推論処理を実行した後、それぞれの推論結果に応じた撮影パラメータのいずれかを選択したり、各人毎のパラメータを平均化するなどして本撮影を行うことになるが、この場合にも、撮影後に、各被写体毎のリンク情報を用いて詳細な補正処理を行うことにより、被写体間での推論結果の違いによる不具合を修正することができる。
【０１１０】
さらに、リンク情報にオプションの補正項目が含まれる場合には、この項目に応じた補正処理を行うことができるので、被写体や撮影者の要望に応じた詳細な補正を行うことができる。また、名前などの個人情報がリンク情報に含まれる場合には、編集装置内に各人の補正にかかる情報のデータベースを構築することができる。このようなデータベースによれば、登録済みの人物の画像について、以前に実行したのと同一の補正を行うことが可能となる。
【０１１１】
なお、前記図４のリンク情報には、カメラ側で画像補正を行ったかどうかや、その補正の内容を示す情報も含まれているので、これらの情報に基づき、既にカメラ側で実施された補正が重複して行われることがないように、設定することができる。
【０１１２】
また、上記実施例では、検出された顔画像につき、人種、年代、性別、逆光の有無の４要素にかかる推定を行うようにしたが、逆光の有無を除く３要素については、いずれか１つのみの推定を行うだけとし、残りの要素は、リンク情報の追加情報として設定するようにしてもよい。特に、主となる被写体が所定の人種（たとえば黄色人）に限定されるのであれば、年代，性別についてのみ推定し、黒人や白人を被写体としたときには、その人種に係わる情報をリンク情報として追加することより対応するようにしてもよい。
【０１１３】
さらに、上記のディジタルカメラ１には、以下のような処理を行うための機構やプログラムを組みこむことができる。
（１） 前回の撮影により検出した顔画像の特徴を記憶しておき、つぎの撮影の際に、同じ特徴を持つ画像領域を検索する。特に、撮影の時間間隔が短い場合には、同じ人物が続けて撮影される可能性が高いから、この方法により、顔画像を短時間で検出することができる。なお、この方法を前記した特許文献４に開示された顔検出処理に適用すれば、同一人物の顔画像を高確度で検出することが可能である。ただし、これに限らず、たとえば肌色領域を検出する方法においても、前回検出した色彩に近い色彩を持つ領域を検出対象とすることによって、処理を高速化することが可能となる。
【０１１４】
（２） 本撮影でストロボが使用された場合に、リンク情報にストロボの使用状態にかかる情報を含ませる。このようにすれば、撮影後の補正処理において、顔画像とその周辺領域との明度バランスを考慮した補正を行うことができる。
【０１１５】
（３） 前記した個人情報を含むリンク情報と顔画像に対する特徴点の抽出結果とを対応づけたデータベースを、メモリ６内に蓄積する。このようにすれば、一度撮影した人物については、抽出された顔画像の特徴をデータベースと照合することによって、被写体を特定することができる。さらに、データベース内に登録されたリンク情報を使用して、情報リンク画像を簡単に設定することができる。
なお、編集装置においても、一度補正処理を行った人物の顔画像の特徴や補正データをデータベース化するようにすれば、その後は、新たに入力されたリンク情報内の特徴点の抽出結果をデータベースと照合して個人を特定することができる。さらに、データベース内に登録された補正データに基づき、その個人に適合した補正を行うことができる。
【０１１６】
（４） ＧＰＳ、ジャイロなどの地理センサを組みこんで撮影場所やカメラの方向を検出し、その検出データをリンク情報に含ませるようにする。この情報は、画像編集時に、画像とともに印刷したり、配信することができる。また、撮影時の方向がわかるので、時間の情報と合わせて光線の状況を判別することができ、逆光での撮影であるかどうかなど、補正の条件を導き出すことができる。また撮影場所に基づき、画像を整理することができる。
【０１１７】
（５） （４）の地理センサとともに、インターネットのようなネットワークとの通信機能を組み込み、気象サーバーから撮影場所の気象状態を取り込んで、これを撮影パラメータの設定に使用する。また、この気象状態をリンク情報に含めて、後の編集時の補正に使用することもできる。
【０１１８】
（６） （５）と同様にネットワークとの通信機能を組み込み、取得した情報リンク画像を画像編集サーバーに送信する。画像編集サーバーでは、送信された画像を、リンク情報に基づいて補正し、処理後の画像を返信したり、印刷して配信者に送付する処理を行うことができる。
【０１１９】
なお、（４）（５）（６）に記載したような機能を持たせる場合、前記ディジタルカメラ１を携帯電話に組み込むようにすれば、携帯電話に設定されている通信機能を利用して、簡単に設計することができる。
【０１２０】
（７） ある人物を複数回撮影した後に、その人物が最適とする画像を選択して、その画像中の顔画像の特徴量、顔色を規定するパラメータ（Ｒ，Ｇ，Ｂの階調や明度など）を、個人名などとともにメモリ６に登録するとともに、人物撮影モードの中に、登録情報を使用するモードを組み込んでおく。この登録情報を使用するモードが選択されたときは、顔画像を検出した後、その顔画像の特徴量を前記登録情報と照合して被写体を推定し、現在検出されている顔画像の色が、推定された被写体について登録されている顔色に近くなるように、撮影条件を調整する。
【０１２１】
上記の構成によれば、個々の被写体の好みに応じた撮影条件を自動的に設定して撮影を行うことができるから、被写体の満足する写真を簡単に撮ることが可能となり、ディジタルカメラの利便性を高めることができる。なお、この方法で撮影を行った場合にも、被写体の個人名や撮影条件などをリンク情報とする情報リンク画像を生成すれば、外部の編集装置において、個人名により被写体を指定し、その被写体に適した補正を行うことができる。
【０１２２】
【発明の効果】
この発明によれば、被写体の人種、年齢、性別に応じて、詳細な撮影条件を設定して撮影を行うことができ、個々の被写体について、鮮明かつ実物のイメージに近い顔画像を生成することが可能となる。また、個々の被写体の好みに応じた撮影条件を設定して撮影を行うことにより、各被写体が満足する画像を簡単に生成することが可能となる。さらに、撮影後の顔画像について、リンク情報に基づき、各人の要望に応じた詳細な補正を簡単に行うことができる。
【図面の簡単な説明】
【図１】この発明が適用されたディジタルカメラの構成を示すブロック図である。
【図２】図１のディジタルカメラのＣＰＵに設定される機能を示す図である。
【図３】顔領域の抽出結果の表示例を示す図である。
【図４】リンク情報の構成例を示す図である。
【図５】顔領域設定用のパラメータの例を示す図である。
【図６】人物の撮影処理にかかる制御手順を示すフローチャートである。
【図７】顔領域内の輝度分布を人種や照明状態の違い毎に示すヒストグラムである。
【符号の説明】
１ ディジタルカメラ
２ レンズ部
３ ＣＣＤ
５ ＣＰＵ
６ メモリ
７ 制御部
１０ レンズ調整部
１１ シャッタ制御部
１２ ストロボ制御部
１５ ＵＳＢインターフェース
１６ メモリカード
１７ 入出力インターフェース
１８ 操作部
１９ 表示部
５１ プレビュー画像取得部
５２ 顔検出処理部
５３ 顔領域設定部
５４ 推論処理部
５５ パラメータ決定部
５６ 本撮影処理部
５７ 画像データ記憶部
５８ 画像データ出力部
５９ ユーザーインターフェース制御部

Claims (13)

1. レンズおよび撮像素子を含む撮像部と、前記撮像部により得られた画像を処理して、その処理結果画像を内部のメモリまたは所定の記憶媒体に保存する制御部とを具備して成る撮影装置であって、
   前記制御部は、
   前記撮像部により得られた画像に含まれる顔画像を抽出する顔画像抽出手段と、
   前記顔画像が抽出されたとき、この顔画像を含む画像領域内の特徴量に基づき、被写体の人物について、少なくとも人種、年齢、性別のいずれかに対する推論処理を実行する推論手段と、
   前記推論手段による推論結果に基づき、前記撮像部による撮影条件を調整する撮影条件調整手段と、
   前記撮影条件調整手段により調整された撮影条件下で得られた画像を前記メモリまたは記憶媒体に保存する情報処理手段とを具備して成る撮影装置。
2. レンズおよび撮像素子を含む撮像部と、前記撮像部により得られた画像を処理して、その処理結果画像を内部のメモリまたは所定の記憶媒体に保存する制御部とを具備して成る撮影装置であって、
   前記制御部は、
   所定数の被写体について、それぞれその被写体の顔画像の特徴量および最適な撮影条件の調整に必要な情報を、前記被写体に固有の識別情報に対応づけた登録情報を保持する登録手段と、
   前記撮像部により得られた画像に含まれる顔画像を抽出する顔画像抽出手段と、
   前記顔画像抽出手段により抽出された顔画像の特徴量を前記登録手段の登録情報と照合して前記被写体を推定する推論手段と、
   前記推論手段により推定された被写体の登録情報を用いて、前記撮像部による撮影条件を調整する撮影条件調整手段と、
   前記撮影条件調整手段により調整された撮影条件下で得られた画像を前記メモリまたは記憶媒体に保存する情報処理手段とを具備して成る撮影装置。
3. 請求項１または２に記載された撮影装置において、
   前記情報処理手段は、前記顔画像抽出手段により抽出された顔画像の抽出位置と、前記推論手段の推論処理により得た推論情報とを含むリンク情報を作成する手段を含み、このリンク情報を前記撮像部により得られた画像とともに前記メモリまたは記憶媒体に保存する撮影装置。
4. 請求項１〜３のいずれかに記載された撮影装置において、
   被写体までの距離を認識する距離認識手段を具備し、前記顔画像抽出手段は、前記距離認識手段の認識結果に基づき、抽出対象の顔画像の大きさを特定する手段を具備して成る撮影装置。
5. 請求項１〜４のいずれかに記載された撮影装置において、
   前記制御部は、前記顔画像抽出手段による抽出結果に合わせて前記撮像部のレンズの焦点距離を調整する焦点距離調整手段を含んで成る撮影装置。
6. 請求項１〜５のいずれかに記載された撮影装置において、
   顔画像の抽出範囲を指定するための第１の操作部を具備し、
   前記顔画像抽出手段は、前記操作部の指定操作に応じて、前記撮像部より得られた画像における顔画像領域の抽出対象領域を限定する手段を含んで成る撮影装置。
7. 請求項１〜６のいずれかに記載された撮影装置において、
   前記顔画像の抽出結果に対し、所定の顔画像の抽出結果の削除を指定するための第２の操作部を具備し、
   前記顔画像抽出手段は、前記第２の操作部の指定操作に応じて、前記顔画像の抽出結果を更新する手段を含んで成る撮影装置。
8. 請求項１〜７のいずれかに記載された撮影装置において、
   前記推論手段の推論処理により得られた推論情報を修正する操作を行うための第３の操作部を具備し、
   前記情報処理手段は、前記第３の操作部による修正操作に応じて、前記推論情報を修正する手段を含んで成る撮影装置。
9. 請求項１〜８のいずれかに記載された撮影装置において、
   前記撮影条件調整手段により調整された撮影条件を修正するための第４の操作部を具備し、前記撮影条件調整手段は、前記第４の操作部による修正操作に応じて撮影条件を再調整する手段を含んで成る撮影装置。
10. 請求項１〜９のいずれかに記載された撮影装置において、
    前記情報処理手段は、前記メモリまたは記憶媒体に保存する画像について、顔画像抽出手段による抽出結果に基づき、画像における被写体の顔の方向を判別する手段と、判別された顔の方向があらかじめ定められた基準の方向と異なるとき、この顔の方向が基準の方向に適合するように画像を回転させる手段とを含んで成る撮影装置。
11. 請求項１に記載された撮影装置において、
    既に抽出された顔画像の特徴量を記憶する特徴量記憶手段を具備し、前記顔画像抽出手段は、前記撮像部により得られた画像から前記特徴量記憶手段に記憶された特定の顔画像の特徴量を含む画像領域を抽出する特定画像抽出手段を含んで成る撮影装置。
12. 請求項１または１１に記載された撮影装置において、
    特定の被写体の顔画像の特徴量を記憶する被写体記憶手段を具備し、前記情報処理手段は、前記顔画像抽出手段により抽出された顔画像の特徴量を前記被写体記憶手段に記憶された特徴量と照合し、この照合処理により、前記抽出された顔画像が前記特定の被写体のものであると判別したとき、前記推論手段の推論処理により得た推論情報と前記特定の被写体を識別する情報とを含むリンク情報を作成し、このリンク情報を前記撮像部により得られた画像とともに前記メモリまたは記憶媒体に保存する撮影装置。
13. 請求項２に記載された撮影装置において、
    前記制御部は、前記登録手段に登録するために所定の被写体が撮影されるのに応じて、被写体の識別情報および前記最適な撮影条件の調整に必要な情報の入力を受け付け、これら入力情報を前記被写体の顔画像とともに前記登録手段に格納する手段を具備して成る撮影装置。

Images