JP2012038106A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】被写体の個人差に依存せずに高精度に視線方向を推定する。
【解決手段】被写体の視線方向を検出する情報処理装置であって、撮像部により撮像された被写体の画像を取得する取得部と、画像から被写体の顔領域を検出する顔領域検出部と、被写体の目領域を検出する目領域検出部と、顔領域検出部により検出された顔領域と、目領域検出部により検出された目領域との画像内における位置関係から、顔領域について高解像度の正規化画像と低解像度の正規化画像とを生成する正規化画像生成部と、低解像度の正規化画像から顔領域に存在する顔の向きを示す第１特徴量を抽出する第１抽出部と、高解像度の正規化画像から目領域に存在する目の向きを示す第２特徴量を抽出する第２抽出部と、第１特徴量および第２特徴量から被写体の視線方向を推定する推定部と、を備える。
【選択図】 図３

Description

本発明は、被写体の視線方向を検出する情報処理装置、情報処理方法、およびプログラムに関する。

特許文献１では、左右の黒目と目尻を含む顔画像を用いて目の向きを判定する技術が開示されている。ただし、図１に示されるような目の向きα１だけを推定する技術であり、顔の向きβ１までは考慮されていない。

また、特許文献２では、画像内の顔から眼などの特徴点を検出し、検出された特徴点間の距離を使用して、図１に示されるような目の向きα１と顔の向きβ１との双方から視線方向を推定する技術が開示されている。背景技術の多くは、特許文献２のように目の向きα１や顔の向きβ１を顔の器官（特徴点）の配置関係に基づいて算出する手法である。また、目の向きα１と顔の向きβ１とを夫々別々に算出して、双方の向きにより視線方向を推定する手法も多い。

特開２００３−２５６８５２号公報 特開２００７−２６５３６７号公報

P. Viola, M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol.1, pp.511-518, December, 2001 御手洗祐輔, 森克彦, 真継優和, "選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな 顔検出システム", FIT (情報科学技術フォーラム), Ll-013, 2003 鈴木亜紀子, 滝口哲也, 有木康雄, "PCA相関フィルタによる目領域の探索", FIT (情報科学技術フォーラム), H-015, 2007 M. Bertozzi, A. Broggi, M. Del Rose, M. Felisa, A. Rakotomamonjy and F. Suard, "A Pedestrian Detector Using Histograms of Oriented Gradients and a Support Vector Machine Classifier", IEEE Intelligent Transportation Systems Conference, 2007 V. Vapnik. "Statistical Learning Theory", John Wiley & Sons, 1998

しかしながら、第１の問題として、特許文献２のように視線検出に特徴点の座標情報を直接使用してしまうと、特徴点検出精度そのものが視線方向の推定精度となってしまう。つまり、検出された特徴点のうち、１点でも所望の位置から外れてしまうと、視線検出精度が大きく低下する可能性がある。

第２の問題として、目の向きα１と顔の向きβ１とを夫々別々に算出する手法では、夫々の誤差が蓄積される可能性があり、高精度に視線方向を推定することができない。

第３の問題として、高精度な視線方向の推定を実現するためには、目の大きさなどの個人差も考慮する必要がある。

上記の課題に鑑み、本発明は、被写体の個人差に依存せずに高精度に視線方向を推定することを目的とする。

上記の課題を解決する本発明に係る情報処理装置は、
撮像手段により撮像された被写体の画像を取得する取得手段と、
前記画像から前記被写体の顔領域を検出する顔領域検出手段と、
前記被写体の目領域を検出する目領域検出手段と、
前記顔領域検出手段により検出された前記顔領域と、前記目領域検出手段により検出された前記目領域との前記画像内における位置関係から、前記顔領域について高解像度の正規化画像と低解像度の正規化画像とを生成する正規化画像生成手段と、
前記低解像度の正規化画像から前記顔領域に存在する顔の向きを示す第１特徴量を抽出する第１抽出手段と、
前記高解像度の正規化画像から前記目領域に存在する目の向きを示す第２特徴量を抽出する第２抽出手段と、
前記第１特徴量および前記第２特徴量から前記被写体の視線方向を推定する推定手段と、
を備えることを特徴とする。

本発明によれば、被写体の個人差に依存せずに高精度に視線方向を推定することができる。

視線方向の定義を示す図。 （ａ）視線検出装置１０のハードウェア構成を示す図、（ｂ）視線検出装置１０の各処理部の機能構成を示す図。 視線検出処理の手順を示すフローチャート。 顔検出及び器官検出で検出される器官、特徴点、および瞳を示す図。 正規化処理により生成される２種類の異なる解像度画像を示す図。 エッジ検出結果を示す図。 目領域の特徴量抽出処理の手順を示すフローチャート。 （ａ）目の特徴点に基づいて設定された左右の目の領域を示す図、（ｂ）目の特徴点に基づいて設定された目領域の正規化を示す図、（ｃ）目の特徴点に基づいて瞼が十分に含まれるように設定された目の領域を示す図。 様々な顔の視線を示す図。

（第１実施形態）
まず、図２（ａ）を参照して、本実施形態に係る被写体の視線方向を検出する情報処理装置として、視線検出装置１０のハードウェア構成について説明する。ＣＰＵ１は装置全体の動作、具体的には後述の各処理部の動作を制御する。メモリ２は、ＣＰＵ１の動作に用いるプログラムやデータを格納する。バス３は各処理部間でのデータ転送を司る。インタフェース４はバス３と各種装置とのインタフェースである。また、外部記憶装置５は、ＣＰＵ１に読み込むためのプログラムやデータを格納する外部記憶装置である。キーボード６およびマウス７はプログラムを起動したり、プログラムの動作を指定したりするための入力装置を構成する。表示部８はプロセスの動作結果を表示する。

次に、図２（ｂ）を参照して、視線検出装置１０の各処理部の機能構成について説明する。視線検出装置１０は、画像取得部１００と、顔検出部１１０と、正規化画像生成部１２０と、顔の向きが判定可能な特徴量抽出部１３０と、目領域の特徴量抽出部１４０と、視線推定部１５０とを備える。

画像取得部１００は、撮像装置等により撮像された画像を取得する。

顔検出部１１０は、画像取得部１００で取得された画像に対して顔の中心位置を検出する。また、顔検出部１１０は、被写体の顔領域検出を行う。顔検出部１１０は、目や口など顔を構成する各パーツの中心位置、目尻や目頭などの更に細かな特徴点、および瞳の位置などの器官位置等も検出する。

正規化画像生成部１２０は、顔検出部１１０で検出された位置を使用して、顔の大きさが所定のサイズとなるように、且つ顔の向きが正立するように画像の正規化を行う。また正規化画像生成部１２０は、正規化された複数の異なる解像度の画像を生成する。

顔向き判定用特徴量抽出部１３０は、正規化画像生成部１２０で生成された画像から顔の向きを判定するための特徴量を抽出する。

目領域の特徴量抽出部１４０は、正規化画像生成部１２０で生成された画像から目領域の特徴量を抽出する。

視線推定部１５０は、顔の向きが判定可能な特徴量抽出部１３０で抽出された顔の向きが判定可能な特徴量と、目領域の特徴量抽出部１４０で抽出された目領域の特徴量とを使用して、視線方向を推定する。

次に、図３を参照して、視線検出処理の手順を示すフローチャートについて説明する。

ステップＳ３０１において、画像取得部１００は、様々な方法のいずれかによって画像を取得する。例えば、デジタルカメラなどの撮像装置で撮像されて不揮発性メモリなどに記憶された顔画像を取得する。また、ハードディスクドライブに記憶されている顔画像を取得してもよい。

ステップＳ３０２において、顔検出部１１０は、ステップＳ３０１で取得された画像に対して、当該画像内における顔領域の位置を検出する（顔領域検出処理）。また、被写体の目領域の位置を検出する（目領域検出処理）。顔の中心位置や、目や口などの中心位置などが取得される。

ステップＳ３０３において、顔検出部１１０は、画像から顔が検出されたか否かを判定する。顔が検出されたと判定された場合（ステップＳ３０３；ＹＥＳ）、ステップＳ３０４に進む。一方、顔が検出されていないと判定された場合（ステップＳ３０３；ＮＯ）、ステップＳ３０１に戻る。本実施形態では、顔を人物の顔を対象としているが、犬や猫などの動物などの顔であってもよい。例えば、図４に示されるような顔の中心位置４３２が取得される。なお、顔検出の手法については様々なものが存在する（例えば、非特許文献１参照）。その他にも、ニューラルネットワークを使用して顔検出する手法もある（例えば、非特許文献２参照）。なお、人物の顔を検出する方法であれば、どのような手法であってもよい。なお、非特許文献２の顔検出手法では、目や口などを検出し、その空間的な配置関係から顔であると判定してもよい。その場合、顔の中心位置４３２に加えて、目や口などの中心位置（４２５、４３１、４３７）も取得してもよい。本実施形態では、非特許文献２の手法を使用する。そのため、ステップＳ３０２では、顔の中心位置４３２に加えて、目や口などの中心位置（４２５、４３１、４３７）も取得される。

ステップＳ３０４において、ステップＳ３０２で検出された顔のうち、１つの顔を選択する。

ステップＳ３０５において、顔検出部１１０は、ステップＳ３０４で選択された顔の大きさが所定サイズ以上であるか否かを判定する。顔の大きさが所定サイズ以上であると判定された場合（ステップＳ３０５；ＹＥＳ）、ステップＳ３０７に進む。一方、顔の大きさが所定サイズより小さいと判定された場合（ステップＳ３０５；ＮＯ）、ステップＳ３０６に進む。顔が小さい人物に対しては、情報量が不足し、視線を高精度に検出できない恐れがある。そのため、大きさが所定サイズ以上の顔だけに対して視線検出を実行するようにしている。顔の大きさの判断材料としては、例えば、図４における左目の中心位置４２５と右目の中心位置４３１との間の距離、または肌色の面積など、顔の大きさを示す尺度であればよい。なお、本実施形態では、図面の観察方向に対して左側に存在する目を左目と称し、右側に存在する目を右目と称する。本実施形態では、左目の中心位置４２５と右目の中心位置４３１との間の距離の２倍を顔の大きさとして定義する。例えば、ステップＳ３０２で検出された顔の中心位置４３２に基づいて、統計的に左右の目が存在し得る範囲を設定し、その範囲内で予め用意しておいたテンプレートなどを使用して探索する。その後に左目の中心位置４２５と右目の中心位置４３１との距離を算出してもよい。

ステップＳ３０６において、ステップＳ３０２で検出された顔のうち、選択されていない顔があるか否かを判定する。すべての顔を選択したと判定された場合（ステップＳ３０６；ＮＯ）、ステップＳ３０１に戻り、別の画像を取得する。一方、すべての顔を選択していないと判定された（ステップＳ３０６；ＹＥＳ）場合、ステップＳ３０４に戻り、まだ選択していない顔を選択する。

ステップＳ３０７において、顔検出部１１０は、顔の中心位置４３２などに加えて、特徴点検出を行う。すなわち、目頭特徴点４２１、目頭特徴点４２７、目尻特徴点４２０、目尻特徴点４２６、上瞼特徴点４２２、上瞼特徴点４２８、下瞼特徴点４２３、下瞼特徴点４２９などの器官の特徴点位置を検出する。口などの特徴点をさらに検出してもよいが、本実施形態では、必要最小限の器官のみを検出する。なお、これらの器官の各位置を検出する方法としては、予め用意しておいたテンプレートなどを使用する手法、またはエッジを走査して検出する手法など、様々な手法が適用できる。

次に、ステップＳ３０８において、正規化画像生成部１２０は、ステップＳ３０２で検出された、左目の中心位置４２５、右目の中心位置４３１、および顔の中心位置４３２の位置関係を使用して画像を正規化する。ここでは、アフィン変換などを使用して、顔の向きが正立しており且つ顔の大きさが所定のサイズである、解像度の異なる画像を２種類生成する。具体的には、図５に示すように、左目の中心位置４２５と右目の中心位置４３１とから、左右の目の間の距離Ｌと、水平方向に対する角度θを算出し、距離Ｌが所定の距離Ｌ’、θ＝０となるようにアフィン変換を行う。拡大・縮小には、ニアレストネイバー法やバイリニア法など様々な方法を用いることができる。なお、本実施形態では、画像の正規化に左目の中心位置４２５、右目の中心位置４３１、顔の中心位置４３２を使用したが、必ずしもこれらに限定されない。これら２種類の正規化画像（５０１、５０２）は、顔向き判定用の特徴量と、目領域の特徴量とを抽出する際に使用される。さらに、これらに加えて照明の影響を軽減させるためにコントラストを補正する処理など輝度値の変換処理を実施してもよい。

また、解像度の異なる正規化画像は２種類に限定されるわけではなく、予め、解像度の異なる複数の解像度画像（ピラミッド画像）を生成しておき、その中から選択してもよい。このように、予め解像度の異なる複数の解像度画像（ピラミッド画像）を生成しておくことにより、本実施形態に係る視線検出装置以外にも、パターン認識等に活用することができる。さらに、初めに目領域の特徴量抽出に使用する高解像度画像を生成した後に、縮小処理により顔向き判定用の特徴量抽出に使用する低解像度画像を段階的に生成してもよい。

上述のように、本実施形態に係る視線検出装置では、変化量が大きい顔の向きと、変化量が小さい目の向きとのそれぞれに応じて、複数の解像度の画像を生成している。

再び図３を参照すると、ステップＳ３０９において、特徴量抽出部１３０は、顔向き判定用の第１特徴量を抽出する（第１抽出処理）。顔の向きが判定可能な特徴量であればどのような特徴量であってもよく、本実施形態ではエッジ特徴を第１特徴量として使用する。また、顔向き判定用の特徴量を抽出する際には、ステップＳ３０８で生成された２種類の正規化画像の内、解像度の低い正規化画像５０２を使用する。エッジ特徴には、画像を構成する画素値の１次微分値、２次微分値を使用する方法が一般的であるが、本実施形態では１次微分を使用してエッジ特徴を抽出する。図６（ａ）および図６（ｃ）は、Ｘ方向の１次微分エッジを示す。また、図６（ｂ）および（ｄ）はＹ方向の１次微分エッジを示す。本実施形態では、顔の輪郭エッジの位置や形状などを使用するが、耳、鼻、髪の位置や形状などを使用してもよい。

よって、ステップＳ３０９で生成される特徴量は、Ｘ方向の１次微分エッジ画像とＹ方向の１次微分エッジ画像とを構成する画素値そのものを１要素とした特徴ベクトルを領域の特徴量とする。例えば、Ｘ方向の１次微分エッジ画像とＹ方向の１次微分エッジ画像とをそれぞれ３０×３０ピクセルとした場合には、３０×３０×２＝１８００次元の特徴ベクトルが生成される。

なお、特徴量には、エッジ特徴の他に、輝度、色、非特許文献３のような周波数、または非特許文献４のような輝度のヒストグラムを使用してもよい。

ステップＳ３１０において、特徴量抽出部１４０は、ステップＳ３０８で生成された２種類の正規化画像の内、解像度の高い正規化画像５０１を使用して目領域の第２特徴量を抽出する（第２抽出処理）。つまり、瞳の動きは微小であり、その微小な動きを高精度に捉えるために、解像度の高い正規化画像５０１を使用する。

顔の向きを検出する際には顔領域の全体を使用する場合があるが、目の向きを検出する際には、目領域の特徴量だけ使用すればよい。目領域の特徴量以外の特徴量を加えると、特徴ベクトルの次元が増加し、後段の処理負荷が増加する可能性がある。また、目領域以外の特徴量が視線検出精度に悪影響を与える可能性がある。そのため、特徴点を使用して目領域を限定する。さらに、目の大きさの個人差に依存することなく処理を行うことを目的として、正規化処理を実施している。

以下、図７を参照して、ステップＳ３１０における目領域の特徴量抽出処理の手順を示すフローチャートについて説明する。

ステップＳ７０１において、特徴量抽出部１４０は、ステップＳ３０２およびステップＳ３０７で検出された各位置のうち、左右の目の４種類の特徴点（目尻特徴点４２０、４２６、目頭特徴点４２１、４２７、上瞼特徴点４２２、４２８、下瞼特徴点４２３、４２９）を選択する。すなわち、高解像度の正規化画像内における目領域を示す特徴点の位置を算出する。

ステップＳ７０２において、特徴量抽出部１４０は、左目に関する４つの特徴点（４２０、４２１、４２２、４２３）を使用して、図８（ａ）に示すように左目領域画像８０１を切り出す。

続いて、ステップＳ７０３において、ステップＳ７０２と同様に右目に関する４つの特徴点（４２６、４２７、４２８、４２９）を使用して、図８（ａ）に示すように右目領域画像８０２を切り出す。

ステップＳ７０４において、ステップＳ７０２およびステップＳ７０３で切り出された左目領域画像８０１、右目領域画像８０２のそれぞれに対して、図８（ｂ）のように画像の幅および高さが所定の長さとなるように、領域の拡大・縮小処理を実施して正規化画像を取得する。画像８０１および画像８０２は拡大縮小されて、それぞれ、画像８０３および画像８０４のようになる。これにより、目の大きさなどの個人差に依存しない処理が可能になる。なお、ステップＳ７０２およびステップＳ７０３での左目領域の切り出しと右目領域の切り出し処理では、図８（ｂ）のように各特徴点を通るように切り出す必要はなく、図８（ｃ）のように目の輪郭が含まれるように切り出してもよい。例えば、画像８０５および画像８０６のように各特徴点を通る矩形領域よりも所定サイズ大きい領域を設定してその領域を切り出せばよい。同様に、画像８０５および画像８０６は拡大縮小されて、それぞれ、画像８０７および画像８０８のようになる。

ステップＳ７０５において、左目領域と右目領域とのそれぞれの正規化画像に対して、ステップＳ３０９と同様に、エッジ特徴を抽出する。つまり、左目領域の正規化画像から抽出されたＸ方向の１次微分エッジ画像およびＹ方向の１次微分エッジ画像と、右目領域の正規化画像から抽出されたＸ方向の１次微分エッジ画像およびＹ方向の１次微分エッジ画像と、の計４つのエッジ画像を取得する。そして、取得された４つのエッジ画像を構成する画素値そのものを１要素とした特徴ベクトルを左右の目を考慮した目領域の特徴量とする。なお、ステップＳ７０５では、瞳の左右方向への動きを瞳と白目の境界エッジから捉え、瞳の上下方向への動きを瞳と白目の境界エッジ及び上瞼のエッジから捉えるようにしている。しかし、Ｘ方向やＹ方向の単純なエッジではなくて、瞳の領域を検出する円形上のテンプレートとのマッチング結果を目領域の特徴量として加えてもよい。

なお、エッジ特徴の他に、輝度、色、非特許文献３のような周波数、または非特許文献４のような輝度のヒストグラムを使用してもよい。

以上のように、視線検出装置の性能向上及び処理負荷の軽減のために、両方の目領域の特徴量を抽出する際に特徴点を検出し、目の領域を限定している。また、検出された特徴点を利用して目の大きさについて正規化処理を実施することにより、目の大きさの個人差に依存しない処理が可能となる。以上で、図７に示す処理が終了する。すなわち、ステップＳ３１０の処理が終了する。

再び図３を参照すると、ステップＳ３１１において、視線推定部１５０は、ステップＳ３０９で得られた顔向き判定用の第１特徴量（特徴ベクトル）と、ステップＳ３１０で得られた両方の目領域の第２特徴量（特徴ベクトル）とを連結することにより視線特徴量を生成する。ここでは、顔の向きが判定可能な特徴ベクトルと両方の目領域の特徴ベクトルとを連結する前に、それぞれのベクトルを正規化しておく。

ステップＳ３１２において、視線推定部１５０は、ステップＳ３１１で生成された視線特徴量と予め用意しておいた識別器と比較して、視線方向が所定の方向を向いているかどうかの推定を行う。

例えば、カメラの方向などを向いているか否かの推定を行う。ここで、視線方向を推定する識別器は予め学習しておく。つまり、図９のＴ＋２［ｓ］のように視線がカメラの方向などを向いているポジティブな視線特徴量と、 Ｔ［ｓ］、Ｔ＋１［ｓ］のように視線がカメラの方向などを向いてないネガティブな視線特徴量を使用する。そして、非特許文献５のように、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（以下、「ＳＶＭ」と称する）などを使用して、識別モデルを生成し、生成された識別モデルを使用して視線方向がカメラの方向などを向いているかどうか推定する。本実施形態では、視線方向を推定する識別器としてＳＶＭを使用するが、必ずしもＳＶＭに限定されない。

本実施形態では、視線がカメラの方向などを向いているか否かの２値判定を行っている。しかし、特定の方向を検出する複数の識別器を用意しておくことで、どの方向を向いているかを検出してもよい。以上で、図３の処理が終了する。なお、図３または図７で説明したフローチャートにおける各処理は、全てが必ずしも必要ではなく、必要に応じて順序を入れ替えてもよく、また一部の処理を省略してもよい。

以上のように、本実施形態に係る視線検出装置では、目の向きα１と顔の向きβ１とを別々に推定するのではなく、目の向きと顔の向きとが判定可能なアピアランス（顔輪郭、瞼の形状、瞳と白目の境界など）を特徴量として直接視線方向を推定している。

その際、変化量の大きい顔の向きに対しては低解像度の画像から特徴量を抽出し、変化量の小さい目の向きに対しては高解像度の画像から特徴量を抽出している。また、性能向上及び処理負荷軽減のために、目についての特徴点を検出し、目の領域の限定している。さらに、特徴点を利用して目の大きさを正規化することで、目の大きさの個人差に依存せず処理を行うことが可能である。

以上のような構成により、高精度で、かつ処理負荷を最小限に抑えた目の大きさの個人差に依存せずロバストな視線検出を実施することが可能となる。

なお、本実施形態に係る視線検出装置は、画像検索の他に、デジタルカメラなど記憶部を有する撮像装置に搭載することで、例えば、視線がデジタルカメラを向いた場合に撮像するなどの様々な用途に使用することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 撮像手段により撮像された被写体の画像を取得する取得手段と、
   前記画像から前記被写体の顔領域を検出する顔領域検出手段と、
   前記被写体の目領域を検出する目領域検出手段と、
   前記顔領域検出手段により検出された前記顔領域と、前記目領域検出手段により検出された前記目領域との前記画像内における位置関係から、前記顔領域について高解像度の正規化画像と低解像度の正規化画像とを生成する正規化画像生成手段と、
   前記低解像度の正規化画像から前記顔領域に存在する顔の向きを示す第１特徴量を抽出する第１抽出手段と、
   前記高解像度の正規化画像から前記目領域に存在する目の向きを示す第２特徴量を抽出する第２抽出手段と、
   前記第１特徴量および前記第２特徴量から前記被写体の視線方向を推定する推定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記顔領域が所定のサイズ以上であるか否か判定する判定手段をさらに備え、
   前記目領域検出手段は、前記判定手段により前記顔領域が所定のサイズ以上であると判定された場合、前記被写体の目領域を検出することを特徴とする請求項１に記載の情報処理装置。
3. 前記第２抽出手段は、
   前記高解像度の正規化画像内における前記目領域を示す特徴点の位置を検出する特徴点検出手段と、
   前記特徴点検出手段により検出された前記特徴点の位置に基づいて、前記高解像度の正規化画像における前記目領域を切り出す切り出し手段と、
   前記切り出し手段により切り出された前記目領域が所定のサイズとなるように当該目領域を拡大または縮小する拡大縮小手段と、を備え、
   前記拡大縮小手段により拡大または縮小された前記所定のサイズの前記目領域から前記第２特徴量を抽出することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記切り出し手段は、目尻の位置を示す特徴点、目頭の位置を示す特徴点、上瞼の位置を示す特徴点、および下瞼の位置を示す特徴点を含む矩形領域を前記目領域として切り出すことを特徴とする請求項３に記載の情報処理装置。
5. 前記第２抽出手段は、前記拡大縮小手段により拡大または縮小された前記所定のサイズの前記目領域を構成する画素値の１次微分値または２次微分値を前記第２特徴量として抽出することを特徴とする請求項３または４に記載の情報処理装置。
6. 前記第１抽出手段は、前記低解像度の正規化画像を構成する画素値の１次微分値または２次微分値を前記第１特徴量として抽出することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 取得手段が、撮像工程により撮像された被写体の画像を取得する取得工程と、
   顔領域検出手段が、前記画像から前記被写体の顔領域を検出する顔領域検出工程と、
   目領域検出手段が、前記被写体の目領域を検出する目領域検出工程と、
   正規化画像生成手段が、前記顔領域検出工程により検出された前記顔領域と、前記目領域検出工程により検出された前記目領域との前記画像内における位置関係から、前記顔領域について高解像度の正規化画像と低解像度の正規化画像とを生成する正規化画像生成工程と、
   第１抽出手段が、前記低解像度の正規化画像から前記顔領域に存在する顔の向きを示す第１特徴量を抽出する第１抽出工程と、
   第２抽出手段が、前記高解像度の正規化画像から前記目領域に存在する目の向きを示す第２特徴量を抽出する第２抽出工程と、
   推定手段が、前記第１特徴量および前記第２特徴量から前記被写体の視線方向を推定する推定工程と、
   を有することを特徴とする情報処理方法。
8. 請求項７に記載の情報処理方法をコンピュータに実行させるためのプログラム。