JP2014519665A - ビデオにおける改良型の顔面認識 - Google Patents

Abstract

画像認識などのプロセスを実行する必要があるコンピュータのリソースは、処理用に使用される画像情報の適切なフレームを判断することによって低減され得る。いくつかの実施形態では、その時に取り込まれた画像フレームが顔面認識に十分である可能性があることになるように、赤外線画像化が、人間が装置の方を実質的に見ているときを判断するために使用され得、他の実施形態では、音三角測量または動き検知が、処理用の適切なフレームを示す多くの要因のいずれかに基づいて、取り込まれた画像フレームのどれを破棄し、どれを処理用に選択するかを判断する際に支援するよう使用され得る。
【選択図】 図３（ａ）

Description

種々の利用可能なコンピューティング装置ばかりではなく、これらの装置が使用される種々のタスクが増えるにつれて、ユーザがこれらの装置とインターフェースをとる手法を変化させることが必要になる。多くの場合において、安全性または個性化などの目的で、コンピューティング装置に対して人間の身元を認識するか確証することが望ましい。一定の装置は、画像情報を取り込むために使用され得るビデオカメラを含む。ビデオ情報を解析することは、非常にプロセッサおよび電力集約的であり得るので、その代わりに、取り込まれたビデオの一定部分だけを解析することが望ましくあり得る。しかしながら、多くの場合において、ユーザは、カメラを直接見ていないであろうし、あるいは、例えば、ユーザまたはコンピューティング装置（例えば、タブレットコンピュータまたはスマートフォン）の運動に起因し得る、動きぶれがあるであろう。それ故、ランダムなビデオフレームの選択は、適切なフレームが選択されるまで追加的に取り込むことや解析することをもたらすことがあり、そのことは、特に、不必要な遅延やリソース利用を招き得る。

本開示に係る種々の実施形態は、図面を参照にして記載されることになる。
種々の実施形態に従って、入力をもたらすための装置の近くに人間を含み、コンピューティング装置が、画像情報を取り込んでいる状況例を例示する。 取り込まれたビデオ供給からランダムにフレームを選択するときに取り込まれ得る画像の例を例示する。 同上 一実施形態に従って、装置の少なくとも１つのカメラが、ユーザについてのビデオ情報を取り込み得、おおよその頭部位置を判断し得、その後、画像化アプローチが、ユーザの顔面の相対的方位を判断するために使用され得る状況例を例示する。 同上 同上 同上 種々の実施形態に従って判断されるように、ユーザの異なる相対的頭部位置に基づいて、装置の２つのマイクロフォンに対する音声パス長の違いを例示する。 同上 種々の実施形態に従って使用され得る顔面認識用のビデオフレームを選択するためのプロセス例を例示する。 種々の実施形態に従って使用され得る装置例を例示する。 図６に例示されるものなどの装置において利用され得る構成要素の組例を例示する。 種々の実施形態が実施され得る環境例を例示する。

本開示の種々の実施形態に係るシステムおよび方法は、コンピューティング装置に入力をもたらす従来のアプローチにおいて体験される上記や他の不備の１つ以上を克服し得る。特に、本明細書中に記述したアプローチは、コンピューティング装置が、顔面認識などの目的のために使用されることになるビデオ供給または他の画像ストリームから１つ以上のフレームまたは他の画像部分を選択することを可能にする。一定の態様または特徴を有するフレームを選択することができることは、選択されたフレームが処理に適することになる可能性を上げることができ、そのことは、ビデオ供給を用いて所望の結果を得るために必要なリソースの量を低減し得る。

一実施形態では、ビデオ供給は、頭部または顔面検出アルゴリズムを用いて継続的に解析される。他の実施形態では、ビデオ供給および／または解析は、特定の行動またはイベント、例えば、すぐ近くの動きを検出する動き検出器または光センサあるいはコンピューティング装置の動きを検出する加速度計などに応答して、開始され得る。顔面または頭部が一旦検出されると、装置は、検出された顔面に対応する人間がカメラの方に実質的に向いているかどうかを判断することを試みるために、相対的方位判断アルゴリズムを利用し得る。人間がカメラの方に実質的に向いているという判断に応答して、ビデオの対応するフレームは、処理のために、例えばユーザの頭部に対応する画像フレームの部分について顔面認識を実行するために、選択され得る。

一実施形態では、少なくとも１つの赤外線（ＩＲ）送信機および受信機（または送受信機）は、コンピューティング装置からＩＲ放射を放出し得、ユーザから反射したＩＲ放射を検出し得る。ユーザが装置の方に少なくとも一部向いている場合、反射したＩＲは、ユーザの瞳孔（またはユーザの目の他の特徴）の位置に対応する異なる強度の領域を含み得る。当技術分野に周知のように、瞳孔が、反射したＩＲを用いて迅速かつ容易に位置を突き止められ得るように、人間の目は、人間の顔面の残りとは異なる一定のＩＲ波長を反射する。いくつかの実施形態では、２つの瞳孔を検出することが、処理のための候補としてそのフレームを選択するのに十分であり得る。他の実施形態では、装置は、検出された画像情報において瞳孔の１つ以上の態様を解析することによって、ユーザが装置の方に実質的に向いているかどうかを判断し得る。

いくつかの実施形態では、他のアプローチが、ユーザが装置の方に実質的に向いている可能性があるかどうかを判断するために使用され得る。例えば、少なくとも２つのマイクロフォンまたは他の音声取り込み素子を有する装置は、ユーザが装置の方に実質的に向いている可能性があるかどうかを判断するために、人間によって話された音声の到着時間の違いを使用し得る。別の例では、装置は、画像解析を手動で作動させるために、ユーザが、ユーザが装置の方に実質的に向いているときに装置への入力を押し込む（ｓｑｕｅｅｚｅ）ことか、そうではなくてその入力をもたらすことを可能にし得、例えば、それは装置を安全に解除するために使用され得る。更に他の実施形態は、ユーザが装置に対して一定の行動、例えば、タッチスクリーン上にタイピングすること、またはインターフェース上にカーソルを移動することなどを実行しているときに、ユーザが装置の方に向いている可能性があることを判断し得る。ユーザが装置の方に実質的に向いている限り、（装置に更に向いている）画像の平面におけるユーザの頭部のいずれの傾斜または回転も、許容でき得る。ユーザがもはや装置の方に実質的に向いていない場合であるが、ユーザの頭部の下への、後への、または横への傾斜などの回転は、顔面認識の正確性を減らし得、または更に顔面認識を阻止し得る。回転の３つの軸ｘ、ｙ、およびｚを考え、ここで、画像および／または装置の平面に対して、ｘが右から左に延び、ｙが上下に延び、ｚが出入りするように延びている場合、回転は、画像内で除去され得、および／または考慮され得るので、ｚについての回転は許容できるものの、ｘまたはｙ周りの回転は画像認識に対して問題があり得る。

多くの他の代替案および変形が、種々の実施形態の少なくともいくつかに関連して以下に記載され提案される。

図１は、コンピューティング装置１０６が、装置の周りの角度のある範囲にわたって画像情報を取り込むことが可能である少なくとも１つの画像取り込み素子１０８を含む状況例１００を例示する。ポータブルコンピューティング装置（例えば、携帯電話、電子書籍リーダ、またはタブレットコンピュータ）が示されるが、入力を受信し処理することが可能な、またはヴィジュアルコンテンツをレンダリングすることおよび／または表示することが少なくとも可能な任意の電子装置が、本明細書中に記述した種々の実施形態に従って使用され得ることが理解されるべきである。装置の例はまた、例えば、デスクトップコンピュータ、ノートブックコンピュータ、パーソナルデータアシスタント、スマートフォン、ビデオゲームコンソール、テレビセットトップボックスおよびポータブルメディアプレーヤーを含み得る。

この例では、装置の近くに２人の人間１０２、１０４がいる。多くの用途の場合、多数の目的のいずれか、例えば、装置上の特徴に安全にアクセスできること、または会議中の人々についての情報を記録することなどについて、１人以上の人間の身元を判断することが望ましいことがある。装置１０６が、十分な角度取り込み範囲を有する少なくとも１つのカメラを有する場合、装置は、画像情報に少なくとも部分的に含まれる任意の人間の身元を識別するよう試み得る。装置の正面または裏面上に単一のカメラを備える装置では、これは、装置の一方側上の単一のユーザについての画像情報を含み得る。広角レンズまたは複数のカメラを備える装置の場合、装置は、装置の所与の範囲内の複数の人々または対象についての情報を同時に取り込み得、それらの人々または対象のそれぞれの身元を判断するよう試み得る。

異なるコンピューティング装置は、異なる種類の画像取り込み素子を有し得る。例えば、いくつかの装置は、特定の時点に単一の画像を取り込むことが可能であるデジタル静止カメラ、または画像情報を連続的に取り込むことが可能であるデジタルビデオカメラを有し得、その画像情報は、少なくともいくつかの実施形態においてフレームの組と呼ばれ得る。比較的正確である画像認識などのプロセスの場合、解析される画像は、典型的には、いくつかの最低基準に合わなければならない。これは、例えば、十分な明暗やコントラストを含み得るが、人間が画像に向いている方向や画像の焦点の質などの要因も含み得る。例えば、図２（ａ）は、画像内の人間が、画像に対してある角度で向いている、またはユーザが画像取り込み素子の方に実質的に向いている方位にいない画像例２００を例示する。そのような方位は、例えば、画像がランダムに取り込まれるときに、またはそうではなくて方位の前の解析無しに、生じ得る。類似の問題は、ビデオストリームのいくつかの処理がない限り、ビデオストリームからフレームを選択するときに生じ得る。ビデオの各フレームを解析すること、または多数の静止画像を取り込むことは、かなりの量の処理を必要とし得、そのことは、特に、典型的には限られた利用可能なリソースおよびバッテリ寿命を有するポータブル装置に望ましくないことがある。しかしながら、図２（ａ）におけるように、ある角度で人間に対して画像を取り込むことは、従来の顔面認識アルゴリズムを用いて正確に解析され得ない画像を結果としてもたらし得、なぜなら、そのようなアルゴリズムは、典型的には、ユーザが、例えば標準からプラスマイナス２０度などの限られた範囲内で、画像が取り込まれるときに画像取り込み素子の方に実質的に向いていることを要求するからである。

同様に、図２（ｂ）における画像は、画像２０２における動きぶれの量に少なくとも一部起因して、顔面認識プロセスについて正確な結果を生成し得ない。ぶれは、例えば、画像取り込みの間のユーザの動き、または画像を取り込む間の装置の動きに起因し得る。ぶれはまた、例えば、画像化素子の不適切な焦点合わせ、またはその素子と関連付けられたレンズなどの他の要因に起因して生じることもある。ランダムに選択された画像が、顔面認識または他の画像処理アルゴリズムによって正確に処理され得ることを阻止し得る多数の他の問題のいずれかも同様に、存在し得る。

種々の実施形態係るシステムおよび方法は、画像情報のフレームが、多数の画像処理アルゴリズムのいずれかに十分な結果を生じる可能性があるであろう時間を判断するよう試みるために、１つ以上の追加入力を利用する。追加入力は、比較的少量の電力および／または処理を必要とする素子もしくは構成要素であって、多数の異なる要因のいずれかに基づいて必要に応じて作動され得る素子もしくは構成要素を用いて、得られることができる。

例えば、図３（ａ）は、人間３０６がコンピューティング装置３０２の画像取り込み素子３０４の可視範囲３０８内に立っている状況例３００を例示する。いくつかの実施形態では、画像取り込み素子３０４は、少なくとも特定の期間にわたって、画像情報の実質的に連続的なストリームを取り込むことが可能なビデオ取り込み素子であり得る。記述のように、それは、顔面認識アルゴリズムまたは他のそのようなプロセスを用いてビデオストリーム全体を処理するように非常にリソース集約的であり得る。その代わりに、一定の実施形態に係るアプローチは、画像ストリーム内に人間の頭部または他のそのような特徴の存在を識別するよう試みるために、強固でないアルゴリズム、例えば、後続フレームの関係を利用するアルゴリズム、または判断された局所的特徴のサブセットを監視するアルゴリズムを使用する。例えば、図３（ａ）では、アルゴリズムは、確実性の特定レベルまたは範囲内で人間の頭部の形状に一致する輪郭または形状を探し得る。そのような形状または輪郭を検出すると、装置は、人間の頭部に対応する取り込まれた画像情報において相対的な位置または領域３１０を追跡し得る。形状または輪郭を検出し追跡するためのアプローチは、当技術分野に周知であるので、詳細には本明細書中に記述されないことになる。更に、追跡が実行され、追跡された項目は取り込まれた画像情報内にとどまる間に、判断プロセスが実行される必要はない。例えば、人間の頭部の位置が一旦判断されると、その特徴は、（頭部が最少時間に画像から出ないなどの限り）特徴が人間の頭部であるという再判断をされずに追跡され得る。

少なくともいくつかの実施形態では、人間の頭部の検出は、少なくとも１つの方位判断プロセスを作動させ得、または作動中の方位判断プロセスの一部を少なくともトリガさせ得る。一例では、コンピューティング装置は、（例えば、図６に続いて示される）少なくとも１つの赤外線（ＩＲ）エミッタおよび受信機、または少なくとも１つのＩＲ送受信機を有し得る。当技術分野に周知のように、ユーザの目の位置が、取り込まれたＩＲ画像を解析することによって迅速に検出されおよび／または位置を突き止められ得るように、人間の目は、人間の頭部の残りとは異なってＩＲ放射を反射する。そのような情報は、顔面認識または他の識別のために解析されることになる人間の少なくとも１つの画像を選択することを助けるために使用され得る。例えば、図３（ｂ）は、例えば、装置から離れて向いているユーザか、または遮蔽によって部分的に遮られているユーザに対応し得る、検出される頭部位置に対応する領域において検出される１つの瞳孔がある例を例示する。従って、単一の瞳孔の検出は、画像情報の対応する現在取り込まれたフレームが、解析される場合に正確な結果をもたらさない可能性があろうことを装置に示し得る。それ故、装置は、結果がより正確である可能性があろうときまで待つことができる。少なくともいくつかの実施形態では、ユーザは、装置に対して単に非常に速く動く可能性があろうから、一定の特徴は、取り込まれた画像情報において見られないという判断が、特徴が存在しない可能性があることになる時間に電力およびリソースを節約するために、特徴の位置を突き止めることを再度試みる前に情報の数フレームまたは数秒が飛ばされることをもたらし得る。

図３（ｃ）では、人間の２つの瞳孔に対応する可能性があるであろうと判断された頭部位置３０８に対応する反射したＩＲにおいて検出された２つの特徴があり得る。いくつかの実施形態では、取り込まれたＩＲにおける２つの瞳孔の存在は、対応する画像が解析のために選択されることをもたらすのに十分であり得る。２つの瞳孔が検出されると、２つの瞳孔が存在するときに装置またはアプリケーションが画像を使用するよう構成されるように、これらの画像のあるパーセンテージは正確な結果をまだもたらさないであろうと分かっているので、ユーザは、かなりのパーセンテージの時間、カメラの方に十分に向いているであろう。各画像について行う処理量と、追加画像が取り込まれ解析される必要があろう時間のパーセンテージとのバランスがとられ得る。

いくつかの実施形態では、検出された頭部位置に対応する２つの瞳孔状特徴の単なる存在は、処理用の対応する画像フレームを選択するためには十分ではないことがある。少なくともいくつかの実施形態はまた、検出された頭部位置におけるそれらの特徴の相対的な位置および／または離隔距離などの要因に注意する。例えば、図３（ｃ）では、瞳孔特徴３１０間の中心点は、検出された頭部位置３０８に対して実質的に中心から外れていることが見られ得る。少なくともいくつかの実施形態では、瞳孔間の中心点は、選択される画像についての頭部領域の中心点からの距離の（判断された頭部領域３０８の幅の）所与のパーセンテージ内でなければならない。図３（ｃ）では、中心位置は、処理のために選択されない画像について頭部領域の中心から十分に離れ得る。更に、いくつかのプロセスは、人間が画像取り込み素子の方を実質的に見ているかどうかを判断するために瞳孔特徴間の離隔距離３２０を解析し得る。典型的な人間の場合、画像取り込み素子の方に実質的に向いている人間に対応することになる（頭部幅のパーセンテージまたは部分として）瞳孔の離隔距離の範囲がある。図３（ｃ）では、瞳孔特徴間の離隔距離３２０は、人間が画像取り込み素子の方を実質的に見ている図３（ｄ）におけるものよりも小さい。それ故、いくつかの実施形態は、２つの検出された瞳孔の存在に起因して図３（ｃ）のタイミングに対応する画像を選択することになるが、他の実施形態は、少なくとも、瞳孔が、十分に中心から外れているか、あるいは人間が画像取り込み素子の方を実質的に見ていない可能性があることを示す離隔距離を有することに起因して、そのような画像を選択し得ない。

図３（ｄ）は、ある時点に対応する画像フレームが、少なくともいくつかの実施形態において選択され得る状況例を例示する。この例において、瞳孔状の特徴に対応する２つの特徴が、判断された頭部領域３０８において検出される。瞳孔３１０間の中心点は、頭部領域の中心に近く、特徴間の離隔距離は、画像取り込み装置の方を向いているユーザを示す範囲内にある。従って、解析されたＩＲデータは、（十分に頻繁な取り込みレートを仮定して）現在取り込まれている画像フレーム、または（画像またはビデオ情報の少なくともいくつかのバッファリングを仮定して）ＩＲ解析の時間ごろに取り込まれた画像フレームを装置に利用させ得る。検出された頭部領域に関する寸法から判断することは、画像間の縮尺の違いを考慮し得、判断プロセスを簡素化し得る。

装置が２つ以上の画像取り込み素子を有する実施形態では、判断は、どのカメラにユーザが最も向いてるか、最も近いかなどを判断するために、複数のカメラからの画像情報を用いてなされ得る。他の実施形態では、単一の画像取り込み素子から解析された画像情報は、顔面認識のために使用する最良の画像取り込み素子を判断することを試みるために利用され得る。そのような判断が一旦なされると、選択された画像取り込み素子は、その人間についての顔面認識を実行するために使用され得る。複数のカメラの他の利点は、同様に利用され得る。例えば、ユーザの頭部の位置が追跡されている場合、例えば、追加検出または他のそのようなプロセスが、異なるカメラによって取り込まれる画像情報に起因して実行される必要がないように、その追跡は、異なるカメラ視野にわたって連続的であり得る。

少なくともいくつかの実施形態では、他の態様は、そのような画像を選択する前に解析され得る。例えば、いくつかのアプローチはまた、ユーザが、正確な結果を生じるように画像において極端に顔を上げるか下げる可能性があるかどうかを判断するために、頭部領域に対する瞳孔の垂直位置に注意し得る。他の実施形態では、瞳孔情報の形状が、画像が焦点が合っている可能性があるであろうかどうかを判断するために解析され得る。例えば、瞳孔が反射したＩＲにおいて明確なエッジを有していない場合、同様に、取り込まれた画像情報の焦点が合うことを阻止し得る運動または別の問題があった可能性がある。同様に、瞳孔が実質的に丸い形状を有していない場合、それは、解析されるときに画像情報が正確な結果をもたらすことを阻止し得る動きまたは別の問題があったことを示し得る。いくつかの実施形態では、更に詳しく本明細書中に後で記述されることになるように、特徴が人間の目に実際に対応することを確かめるために、複数の波長が使用され得る。人間の目の形状または他のパラメータを判断するためのアプローチは、例えば、２０１０年５月２４日に出願され、「Ｄｅｔｅｒｍｉｎｉｎｇ Ｒｅｌａｔｉｖｅ Ｍｏｔｉｏｎ ａｓ Ｉｎｐｕｔ」と題された、同時係属の米国特許出願第１２／７８６，２９７号に見つけられ得、その出願は、ここで参照によって本明細書に組み込まれる。

他の実施形態では、装置は、ＩＲ機能を有し得ず、あるいは、ある領域をＩＲ放射で照射することは、少なくともいくつかの装置に対してかなりの量の電力を必要とし得るので、そのように多くの電力を消費しない方法を利用し得る。ＩＲ源が、パルスを発するか、またはそうではなくて検出された頭部または頭部位置と対応するようにタイミングを決められる場合でも、例えば、必要とされた電力量は、少なくともいくつかの状況において要求されたものを超える可能性がある。

従って、一定の実施形態に係る装置は、ステレオマイクロフォンまたは複数の音声取り込み素子などの他の入力をうまく利用して、人間が装置の方に実質的に向いているときを判断することを試み得る。例えば、図４（ａ）は、人間４０２が話している間に電子装置４０４に対してある角度で向いている状況４００を例示する。当技術分野に周知のように、音声源から異なる距離にある音声取り込み素子が、異なる時間に同じ音声を取り込むことになるように、音は、実質的に一定の速度で共通媒体（例えば、空気）の中を移動する。到着時間の判断などのアプローチを用いて、共通音声信号の到着の時間差は、音声源の、おおよその位置、または少なくとも方向を判断するために使用され得る。図４（ａ）に見られるように、人間が、彼のまたは彼女の頭部を装置に対して傾けているとき、またはそうではなくて装置の前の中心方向４１０から離れて位置しているとき、音声取り込み素子４０８の１つに対するパス長４１４は、電子装置４０４の音声取り込み素子のもう１つに対するパス長４１２よりも短いことになる。対応する画像が正確な処理結果をもたらし得ないように、例えば、人間は、装置の前にいないとともに装置に向いていない可能性があるという判断は、話しているか歌っている人間によって生成される音声に基づいてなされ得る。

図４（ｂ）では、これに反して、人間によって生成された音声が、実質的に同時にマイクロフォン４０６、４０８によって取り込まれるように、パス長４１２、４１４は実質的に等しく、ユーザが、装置の中心方向４１０の近くにいるとともに実質的に装置に向いている可能性があることを示す。少なくともいくつかの実施形態では、そのような判断は、画像が処理のために選択されるように実質的に同時に取り込まれることを十分にもたらし得る。いくつかの実施形態では、音声源の判断された方向は、装置に対して頭部位置の判断された方向と比較され得る。例えば、人間の頭部がカメラの可視領域における中心の右に３０度であり、判断された音声源がおおよそ同じ角度にある場合、装置は、適切なアルゴリズムを用いて人間が画像において認識されることができ得るのに十分に（ある角度から）ユーザが装置に向いていることを判断し得る。種々の他のアプローチも同様に、他の実施形態において使用され得る。

図５は、種々の実施形態に従って処理用のフレームを選択するために使用され得るプロセス５００の例を例示する。しかしながら、別段の記載がない限り種々の実施形態の範囲内で、類似もしくは代替の順序で、あるいは並列に実行される、追加的な、より少数の、または代替のステップがあり得ることが理解されるべきである。この例において、ビデオ取り込みは装置５０２上で作動される。本明細書中の他の箇所に記述したように、取り込みは、一定のイベントまたは行動、例えば装置近くの動き、音声、または熱特徴（ｓｉｇｎａｔｕｒｅ）の種類を検出することなどに応答して、手動でまたは自動で作動され得る。この例において、取り込まれたビデオストリームは、適切な検出アルゴリズム５０４を用いてユーザの頭部または顔面の存在の可能性を検出するために監視され得る。記述のように、他の例では、頭部検出は、瞳孔または音声の検出に応答してトリガされ得、例えば、あるいは、解析が、頭部位置を別個に判断する必要なしに、単にビデオ取り込み、例えば、瞳孔検出に基づく一定の実施形態では全く使用されなくてもよい。

人間の頭部などの特徴の存在が取り込まれたビデオにおいて検出されると、方位検出プロセスが作動され得る５０６。記述のように、このことは、赤外線検出アルゴリズムをトリガすること、取り込まれた音声を解析すること、または別のそのような種類の入力を監視することを含み得る。そのようなプロセスは、人間が装置の画像取り込み素子に実質的に向いていることを判断されるように、人間がコンピューティング装置に対して相対的方位にいるときを判断することを試み得る。次いで、方位検出プロセスからの情報は、ビデオ情報の現在のフレームに対応することを解析され得る５１０。ＩＲ検出の場合、このことは、人間の目の１つ以上が取り込まれたＩＲ画像内に現れるかどうか、ならびにそれらの目が任意のサイズ、形状、位置、または離隔距離の基準に合うかどうかを判断することを含み得る。音声解析の場合、このことは、話している間の人間の相対的な方向を判断することを含み得る。ユーザが装置に実質的に向いていることが判断される場合５１２、少なくとも誤差の許容できる範囲内で、ビデオの現在のフレーム、または方位判断の時間に対応する少なくともあるフレームは、処理のために、例えば対象または顔面認識のために、選択され得る５１６。ユーザが許容できる誤差内で装置に実質的に向いていないことが判断される場合、または判断が確実性の許容できるレベルでなされ得ない場合には、情報は、（他の目的に必要とされない限り）破棄され得、装置は、後続フレームを解析するために待つことができ５１４、次いで、その後続フレームは、プロセスの類似部分を経ることができる。いくつかの実施形態では、方位の解析は、一定の周波数で、例えば装置上の電力を節約するために最大周波数を超えずに、ＩＲのパルスを発するように、行われることになる。種々の他のトリガをかけるアプローチは、本明細書中に含まれる教示や提案に照らして明らかであろうように使用され得る。

図６は、種々の実施形態に従って使用され得る電子コンピューティング装置６００の例を例示する。記述のように、電子装置の種々の他の種類も同様に、種々の実施形態の範囲内で使用され得る。この装置例は、当技術分野に周知のように情報をユーザに表示するための表示素子６１２を含む。装置例はまた、装置の動きを判断するために使用され得、また、本明細書中に記載された種々のアプローチを用いて取り込まれた画像のぶれまたは焦点を予測するのに役立ち得る、少なくとも１つの動き判断素子６０８、例えば加速度計またはジャイロ素子などを含む。装置はまた、装置のユーザについての画像情報を取り込むための少なくとも１つの画像取り込み素子を含む。画像化素子は、多くの他の可能性の中で、例えば、カメラ、電荷結合装置（ＣＣＤ）、動き検出センサ、または放射センサを含み得る。図６における装置例は、当技術分野に周知のように、周辺光を用いて画像情報を取り込むためのデジタルビデオカメラ６１６を含む。（単一の検出器および２つのエミッタも同様に種々の実施形態の範囲内で使用され得るが）装置例はまた、赤外線（ＩＲ）エミッタ６０２および２つのＩＲ検出器６０４、６０６を含む。ＩＲエミッタ６０２は、ＩＲ放射を放出するように構成され得、各検出器は、ユーザ（または他のそのような表面または対象）から反射したＩＲ放射を検出し得る。この例において検出器をオフセットすることによって、各検出器は、異なる角度で反射した放射を検出することになる。

図６に例示された例では、第１のＩＲ検出器６０４は、第１のＩＲ検出器が、検出器の取り込み平面に実質的に直交する方向に、見る人の網膜などの表面から反射し戻った赤外線放射を取り込むことができるように、ＩＲエミッタ６０２に実質的に隣接して位置付けられる。第２のＩＲ検出器６０６は、検出器が、直交方向に対してある角度で反射したＩＲ放射だけを検出することになるように、ＩＲエミッタ６０２から離れた距離に位置付けられる。ユーザの網膜などの再帰反射体を画像化するとき、（欠陥、微粒子、またはばらつきは、放射のうちのいくつかを曲げ得るが）網膜は第２のエミッタの方向に有意に反射しないことになるので、第２のＩＲエミッタは、そのＩＲエミッタに起因して反射した放射をほとんどか全く検出しないことになる。本明細書中で後に記述されるように、２つの画像間のＩＲ反射の違いは、瞳孔または他のそのような特徴の近くで著しいものになるが、画像の残りは実質的に類似することになるので、この画像間の違いは、ユーザの網膜の位置（および他の態様）を判断するために使用され得る。

代替の実施形態では、コンピューティング装置は、反射した光が単一のＩＲセンサによって取り込まれ、ユーザに気を逸らさせない（または検出できる）手法で、ユーザの顔面を照射するために、１対のＩＲエミッタ（例えば、ＩＲ発光ダイオード（ＬＥＤ）、ＩＲレーザーダイオード、または他のそのような構成要素）を利用する。センサが、その放射がセンサ近くのＬＥＤから放出されるときに、瞳孔から反射した放射を検出することになるように、また、その放射が、センサから離れて位置付けられたＬＥＤから放出されるときに、瞳孔から反射した放射を検出しないことになるように、ＬＥＤは十分な距離で分離される。センサは、装置が、ＩＲ光を反射するユーザの特徴、例えばユーザの瞳孔または歯などを解析することを可能にするＩＲ画像を取り込むことができる。アルゴリズムは、例えば、ユーザの目から等距離の位置に対応する３次元空間における位置（ｘ、ｙ、ｚ）を計算することを試み得、ユーザの運動を追跡するおよび／または頭部の動きを判断するために、この位置を使用し得る。上記のように、単一のＩＲ発光ダイオードおよび一対のＩＲセンサを利用する類似のアプローチが、使用され得る。それ故、装置は、ユーザの網膜から再帰反射した放射を受信するそれらの位置の１つだけを用いて、２つの位置からＩＲを導き得、または２つの位置からＩＲを検出し得る。他の実施形態は、例えば、ユーザが点源などからＩＲ放射を放出する眼鏡を装着することを要求することなどによって、頭部追跡を実行するための他のアプローチを利用することができる。

いくつかの実施形態では、単一のカメラを用いることは割安であり得るが、異なる方向からの画像が異なる時間に取り込まれることも必要とするので、２方向に単一波長ＩＲ（例えば、９４０ｎｍ）を用いるときに単一のエミッタおよび２つの検出器を利用することが好ましい可能性がある。異なる時間に画像を取り込む欠点は、たとえ約３０Ｈｚ（または２つのカメラが同じ解像度を得る場合は１５Ｈｚ）の取り込み周波数でさえも、その間の運動が判断に影響を及ぼし得ることである。マルチカメラシステムの利点は、画像間の運動が最小限であるように、画像が実質的に同時に取り込まれ得ることである。しかしながら、そのようなアプローチの潜在的な欠点は、画像が２つの異なる視点から取り込まれることに起因して、画像内に光学的なばらつきがあり得ることである。

一実施形態では、単一の検出器が、２つの異なる波長で反射した放射を検出するために使用され得る。例えば、第１のＬＥＤは、網膜によって反射される波長（例えば、９４０ｎｍ）で放射を放出し得、第２のＬＥＤは、人間の目の角膜および／または他の部分によって吸収される波長（例えば、１１００ｎｍ）で放射を放出し得る。特定波長は、人間の目に対するそれらの反射特性に少なくとも一部基づいて、選択された波長範囲内で選択され得る。例えば、実験は、光が、（典型的な人間の目の場合）約９４０ｎｍ未満で５０％よりも少ない吸収率、約９４０ｎｍと約１０３０ｎｍとの間で約５０％を上回る吸収率、約１０４０ｎｍと約１１００ｎｍとの間の波長で約５０％の吸収率、１１５０ｎｍ以上で約１００％の吸収率を有することを示す。それ故、これらの範囲の少なくともいくつかの範囲内にあるエミッタ、例えば、５０％よりかなり低い吸収率を有する第１のＩＲエミッタや、５０％よりもかなり大きい吸収率を有する第２のＩＲエミッタなどが、選択され得る。特定波長は、少なくともいくつかの実施形態では、利用可能な装置の波長に更に基づき得る。例えば、比較的低い吸収率を有する９０４ｎｍで利用可能なレーザーダイオードが選択され得、比較的高い吸収率を有する９８０ｎｍまたは１０６４ｎｍで利用可能なレーザーダイオードが選択され得る。いくつかの実施形態では、より高い波長のダイオードの電力出力は、ＣＭＯＳセンサ（または他のそのような検出器）によって知覚される低い波長のダイオードの輝度に実質的に一致するようにスケールアップされ得、少なくとも１つの実施形態では２つのエミッタが９１０ｎｍおよび９７０ｎｍの波長を有するように、それの感度は、約１１００ｎｍの値でおよそゼロまで低下し得る）。

２つの波長を用いることの利点は、結果として生じる画像が、各波長に対応する画像情報を取り出すために分解されることができる限り、ＬＥＤは放射を同時に放出できることである。そのような画像を分解するための種々のアプローチは、本明細書中の他の箇所に記述される。次いで、ＬＥＤは、カメラの近くに両方位置付けられ得るか、あるいは単一のＬＥＤまたはエミッタが、そのＬＥＤが興味対象の（少なくとも）２つの周波数で動作する場合、カメラの近くで使用され得る。

（複数の）エミッタおよび（複数の）検出器、ならびに（複数の）任意の周辺光カメラまたは（複数の）他の画像取り込み素子は、装置のユーザの操作と干渉する可能性が最低限となる位置に、装置上で位置付けられ得る。例えば、標準的なユーザが、装置の両側の中央で、また、主として装置の右側上または底部上で、装置を保持することが判断される場合には、エミッタおよび検出器は、装置の角部に、主として装置の左側上または頂部上に、位置付けられ得る。別の実施形態では、異なる周波数でＩＲを伝送する装置上に位置付けられた追加的なＩＲエミッタ（図示しない）があってもよい。どの周波数が検出器によって受信されるかを検出することによって、装置は、ユーザの視線の方位に関して特定の情報を判断し得る。相対的な目の位置を検出するためにＩＲ光を用いる更なる記述は、２０１０年５月２４日に出願され、「Ｄｅｔｅｒｍｉｎｉｎｇ Ｒｅｌａｔｉｖｅ Ｍｏｔｉｏｎ ａｓ Ｉｎｐｕｔ」と題された同時係属の米国特許出願第１２／７８６，２９７号において見つけられ得、その出願は、ここで、すべての目的で参照によって本明細書中に組み込まれる。

いくつかの実施形態では、ユーザが、例えばユーザからの目の反射の強度などの態様を考慮し、ならびに寸法を判断し、方向判断をキャリブレーションするキャリブレーションプロセスに参加することが有用であり得る。そのようなアプローチはまた、ユーザが反射特性を低減する眼鏡を使用する場合などに有用であり得る。

記述のように、他の種類の入力も同様に、種々の目的のためにもたらされ得る。例えば、装置は、装置の裏および／または側部上などの装置６００の少なくとも一部の周りに、タッチおよび／または圧力センシティブ素子６１０を含み得る。そのような器具を用いて、装置は、ユーザが活動的に装置を保持しているかどうかを判断することができ、および／またはユーザが、装置の少なくとも一部を押し込むことによって入力を印加することを可能にさせ得る。入力情報は、ユーザが、手動認証にトリガをかけること、例えば装置の安全な解除を実行することなどを可能にさせるために使用され得る。ユーザは、装置の方に実質的に向き得、装置上のある領域に入力を押し込むまたはスワイプするか、あるいは入力をもたらし得、その時間に、装置は、入力を通して、ユーザが、画面を見ている可能性があることを判断し得、顔面認識または他のそのようなアルゴリズムを用いて処理するために最新のまたは後続の取り込まれる画像情報のフレームを使用し得る。装置はまた、その器具の使用によって、装置のどの部分がユーザの手によって覆われる可能性があるかを判断し得る。そのような実施形態では、複数のカメラおよび／またはＩＲエミッタは、異なる位置で装置上に位置付けられ得、また、ユーザがどこで装置を保持しているか（すなわち、どのＩＲエミッタが覆われるかと、それに対して、どのエミッタが覆われないか）に基づいて、システムは、画像を取り込むときにどの（複数の）素子を使用するかを判断し得る。

図６における装置例はまた、別個の検出素子１１６、例えば動きセンサ、熱特徴検出器、または光センサなども含む。そのような素子は、画像取り込みまたは方位判断プロセスを作動させる目的で、画像が解析されるための十分な照明があるかどうか、ならびに人間が部屋内に潜在的にいるかどうかなどの入力をもたらし得る。更に、光検出センサは、装置が、ユーザの瞳孔を拡大させ得る光または輝度の大きな調整を補償することなどに役立ち得る。例えば、ユーザが暗い部屋内で装置を操作しており、誰かが明かりを付けるとき、ユーザの瞳孔の直径は変わる。上記の例のように、装置が、異なるモードで動作し得る表示素子を含む場合、装置はまた、ユーザの瞳孔の拡大の変化に基づいてモードを交換し得る。装置が、装置とユーザとの間の離隔距離の変化を不適切に解釈しないために、光検出センサは、ユーザの目が固定するまでおよびリキャリブレーションプロセスが実行されるまで、視線追跡を一時的に無効にさせ得る。光のばらつきを補償するための種々の他のそのようなアプローチも同様に、種々の実施形態の範囲内で使用され得る。

図６における装置例６００はまた、マイクロフォン６１４または他のそのような音声取り込み装置を含むことが示される。図４（ａ）に例示されるように、例えば、装置は、２次元または３次元における音声源の相対的な方向または位置を判断することを助けるために使用され得る複数の音声取り込み素子を含むことができる。少なくともいくつかの実施形態における装置はまた、マイクロフォンによって検出された音に基づいて、種々の行為をトリガすることもできる。例えば、装置が人間からスピーチを検出する場合、装置は、話している人間の位置を突き止めるおよび／またはその人間を識別することを試みるためにビデオ取り込みを作動し得る。

図６の構成例において、ユーザが表示素子におけるインターフェースを見ているときに画像化素子が、この例によれば、ユーザの顔面を含む可視領域を有するように、各画像化素子６０４、６０６、６１６は、表示素子と同じコンピューティング装置の通常側上にある。いくつかの実施形態では、画像化素子は装置に対して固定されるが、他の実施形態では、画像化素子は、例えば、画像化素子、または光を画像化素子に導く光学素子（例えば、レンズ、ミラーなど）を回転することなどによって、ユーザの位置を追跡するよう動作可能であり得る。いくつかの実施形態では、装置は、装置の側部、裏部、または角部上に、あるいは任意の他のそのような位置に、取り込み素子を含み得、その取り込み素子は装置の周りの任意の適切な方向における画像情報を取り込むことができる。いくつかの実施形態では、装置は、装置の周りの異なる位置における複数の人間を同時に画像化して識別し得、それらの人間を種々の素子を用いて経時的に追跡し得る。

図７は、図６に関して記載した装置などのコンピューティング装置例７００の基本的な構成要素の組を例示する。ポータブルスマート装置が本明細書中の多くの例において描写されるが、コンピューティング装置は、入力コマンドを受信し処理することが可能な任意の適切な装置、例えば、特に、パーソナルコンピュータ、ラップトップコンピュータ、テレビセットトップボックス、携帯電話、ＰＤＡ、電子書籍読み取り装置、ビデオゲームシステム、またはポータブルメディアプレーヤーなどとすることができる。この例において、装置は、メモリ装置または素子７０４内に格納され得る命令を実行するためのプロセッサ７０２を含む。当技術分野に周知のように、装置は、多くの種類のメモリ、データ記憶装置またはコンピュータ可読媒体、例えば、プロセッサ７０２による実行用プログラム命令のための第１のデータ記憶装置、画像またはデータのための別個の記憶装置、他の装置と情報を共有するための取り外し可能なメモリなどを含み得る。ポータブルメディアプレーヤーなどの装置は、他の手段によって、例えば音声スピーカなどを通して、情報を運び得るが、装置は、典型的には、いくつかの種類の表示素子７０６、例えば液晶ディスプレイ（ＬＣＤ）などを含むことになる。記述のように、多くの実施形態における装置は、少なくとも１つの画像化素子７０８、例えば、ユーザの顔面領域を画像化することが可能であるカメラ、センサ、または検出器などを含むことになる。画像化素子は、任意の適切な技術、例えば、ユーザが装置を操作しているときにユーザの画像を取り込むために十分な解像度、焦点範囲および可視領域を有するＣＣＤ画像化素子などを含み得る。コンピューティング装置で画像化素子を用いて画像を取り込むための方法は、当技術分野においてよく知られており、詳細には本明細書中に記述されないことになる。画像取り込みは、単一の画像、複数の画像、周期的な画像、連続的な画像の取り込み、画像ストリーミングなどを用いて実行され得ることが理解されるべきである。更に、装置は、例えば、ユーザ、アプリケーションまたは他の装置からコマンドを受信するときなどに、画像取り込みを開始するおよび／または停止する機能を含み得る。

いくつかの実施形態では、本明細書中の他の箇所に記述されるように、装置は、適切な画像を選択する際に支援することができる少なくとも１つの方位判断素子７１０を含み得る。一例では、少なくとも１つの方位判断素子は、例えば、装置の３次元位置および装置の運動の大きさや方向、ならびに振動、衝撃などの要因を検出することが可能である少なくとも１つの単一または複数軸の加速度計である。装置の方位または運動を判断するために加速度計などの素子を用いる方法はまた、当技術分野に周知であり、詳細には本明細書中に記述されないことになる。方位および／または運動を検出するための他の素子は、種々の実施形態の範囲内で方位判断素子の使用と同様に使用され得る。いくつかの実施形態では、方位判断素子は、装置が動いており、ぶれた画像を生成する可能性があるときを判断し得、画像情報は、少なくとも装置の動きに基づいて有用ではない可能性があることになるので、電力を節約するためにこの期間にＩＲがパルスを発することを阻止し得る。

装置は、ユーザからの従来の入力を受信することが可能な少なくとも１つの追加的な入力装置７１２を含み得る。この従来の入力は、例えば、押しボタン、タッチパッド、ディスプレイと共に使用されるタッチセンシティブ素子、ホイール、ジョイスティック、キーボード、マウス、キーパッドまたは任意の他のそのような装置もしくは素子を含み得、それによって、ユーザはコマンドを装置に入力し得る。いくつかの装置はまた、音声または他の音声コマンドを受け取るマイクロフォンまたは他の音声取り込み素子を含み得る。例えば、装置は、ボタンを全く含まない可能性があるが、ユーザが装置と接触せずに装置を制御し得るように、視覚および音声コマンドの組み合わせだけによって制御される可能性がある。本明細書中で後に記述されることになるように、これらの追加的な入力装置の機能はまた、判断されたユーザの視線方向または他のそのような情報に少なくとも一部基づいて調整され得るか制御され得る。

いくつかの実施形態では、１つ以上のアイコンまたは他の通知が、ＩＲ照明が作動中であることか、または画像認識が実行されていることをユーザに示すために装置上に表示されてもよい。いくつかの実施形態では、装置上の光（例えば、ＬＥＤ）は、ユーザが、プロセスが完了し得るまで装置を見るべきであり相対的に静止したままであるべきことをユーザに合図するために顔面認識が作動されることをユーザに通知するために照射し得る。種々の他の通知も同様に必要に応じて使用され得る。

多くの他のアプローチも同様に、種々の実施形態の範囲内で使用され得る。例えば、熱画像または別のそのようなアプローチが、人間のユーザの少なくともいくつかの態様の位置を判断し追跡することを試みるために使用され得る。多くの場合において、簡易または従来の画像化アプローチおよび構成要素が好まれ得るように、画像化システムは、小さいこと、また、大量マーケティングには十分安価であることが望まれる。一定の既存のカメラは赤外線放射を検出できるが、典型的にＩＲフィルタを利用する。ＩＲフィルタ無しで、また潜在的に周辺光フィルタを用いて、これらのカメラを利用することは、これらの比較的安価なカメラがＩＲ検出器として使用されることを可能にし得る。

他の従来の素子は、本明細書中に記述したアプローチを実行することが可能なコンピューティング装置の費用を削減するために使用され得るが、正確ではない可能性があり、および／またはより大きな装置を必要とする可能性がある。例えば、反射される光の半分を異なる位置（例えば、センサの一部）に反射させるように、画像は、ビームスプリッタ（例えば、銀張りの鏡）を用いて分割され得る。同様に、光学式干渉計などの種々の光学素子は、正確な距離測定を取得することを試みるために使用され得る。

そのような目的のために使用されるコンピューティング装置は、当技術分野に周知のまたは後で開発される任意の適切な目的のために任意の適切な環境において動作し得る。更に、本明細書中に記述した種々のアプローチは、種々の用途または使用のために種々の環境において実施され得る。解析の一部はまた、より多くの利用可能なリソースおよび／または能力を有し得る遠隔装置に送信され得、またはオフロードされ得る。例えば、図８は、種々の実施形態に係る態様を実施するための環境例８００を例示する。理解されるように、ウェブベースの環境が説明の目的で使用されるが、種々の実施形態を実施するために、必要に応じて、異なる環境が使用されてもよい。図示された環境８００は、様々な電子クライアント装置８０２を含み、その電子クライアント装置は、適切なネットワーク８０４上で要求、メッセージ、または情報を送受信し、情報を装置のユーザに運び戻すよう動作可能な任意の適切な装置を含み得る。そのようなクライアント装置の例は、パーソナルコンピュータ、携帯電話、手持ち式メッセージング装置、ラップトップコンピュータ、セットトップボックス、パーソナルデータアシスタント、電子書籍リーダ、および同様のものを含む。各クライアント装置は、本明細書中に記述したか提案したように、少なくとも１つの動きまたは方位が制御されたインターフェースを動かすことが可能であり得る。いくつかの場合において、インターフェースについての全機能は、装置上で生成されることになる。他の実施形態では、機能またはコンテンツの少なくともいくつかは、少なくとも１つのネットワーク８０４上から受信した命令または情報に応答して生成されることになる。

ネットワーク８０４は、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、または任意の他のそのようなネットワークあるいはそれらの組み合わせを含む任意の適切なネットワークを含み得る。そのようなシステムに使用される構成要素は、選択されたネットワークおよび／または環境の種類に少なくとも一部依存し得る。そのようなネットワーク経由で通信するためのプロトコルおよび構成要素は、周知であり、詳細には本明細書中に記述されないことになる。ネットワーク上の通信は、有線または無線接続、およびそれらの組み合わせによって可能にされ得る。この例において、環境は主要なコンテンツプロバイダ８０６と補足的なコンテンツプロバイダ８０８を含むので、ネットワークはインターネットを含む。各プロバイダは、ユーザ装置８０２から要求を受信するための、およびそれに応答してコンテンツを供給するための少なくとも１つのウェブサーバ８０６を含み得るが、他のネットワークの場合、類似の目的にかなう代替の装置が、当業者に明らかであろうように使用され得る。

この例示的な環境における各コンテンツプロバイダは、少なくとも１つのデータストア８１６、８１８、８２４と通信する少なくとも１つのアプリケーションサーバ８１２、８１４、８２２または他のそのようなサーバを含む。適切なデータストアからデータを取得することなどのタスクを実行するために相互作用し得る、連鎖され得、またはそうではなくて構成され得るいくつかのアプリケーションサーバ、レイヤ、および／または他の素子、プロセス、もしくは構成要素があり得ることが理解されるべきである。本明細書中に使用される際、用語「データストア」は、データを格納し、データにアクセスし、およびデータを取り出すことが可能な任意の装置または装置の組み合わせのことを言い、それは、任意の標準の、分散型の、またはクラスタ型の環境におけるデータサーバ、データベース、データ記憶装置、およびデータ記憶媒体の任意の組み合わせや任意の数のものを含み得る。アプリケーションサーバは、クライアント装置について１つ以上のアプリケーションの態様を実行するために、必要に応じて、データストアと統合するための任意の適切なハードウェアおよびソフトウェアを含み得、アプリケーション用のデータアクセスおよびビジネス論理の大部分に対処する。アプリケーションサーバは、データストアと協働してアクセス制御サービスを提供し、ユーザに運ばれるテキスト、グラフィクス、音声、および／またはビデオなどのコンテンツを生成することができ、そのコンテンツは、この例ではＨＴＭＬ、ＸＭＬ、または別の適切な構造化言語の形式で、ウェブサーバによってユーザに供給され得る。全ての要求や応答の処理、ならびにクライアント装置８０２とアプリケーションサーバとの間のコンテンツの配信は、それぞれのウェブサーバによって対処され得る。本明細書中に記述した構造化コードは、本明細書中の他の箇所に記述されるように任意の適切な装置またはホストマシン上で実行され得るので、ウェブおよびアプリケーションサーバは、必要とされないことと、単なる構成要素例であることが理解されるべきである。更に、環境は、テスト自動化フレームワークがユーザまたはアプリケーションがサブスクライブし得るサービスとして提供され得るような手法で設計され得る。テスト自動化フレームワークは、本明細書中に記述した種々のテストパターンのいずれかの実施として提供され得るが、種々の他の実施も同様に、本明細書中に記述したか提案したように使用され得る。

各データストアは、特定の態様に関連するデータを格納するためのいくつかの別個のデータ表、データベース、または他のデータ記憶機構および媒体を含み得る。例えば、例示されたページデータストア８１６は、ウェブページを生成するために有用なページデータを格納するための機構を含み、ユーザ情報データストア８１８は、ユーザ用のウェブページを選択するおよび／またはカスタマイズするために有用な情報を含む。データストア内に格納される必要があり得るアクセス権情報などの多くの他の態様があり得ることが理解されるべきであり、それは、必要に応じて、先に挙げた機構のいずれか内にまたはデータストア内の追加的機構内に、格納され得る。各データストアは、それぞれのアプリケーションサーバから命令を受信し、それに応答してデータを取得し、更新し、またはそうではなくて処理するために、そのデータストアと関連付けられた論理部を通して、動作可能である。一例では、ユーザは、コンテンツの一定の種類についての検索要求を提起し得る。この場合において、データストアは、ユーザの身元を確証するためにユーザ情報にアクセスし得、また、その種類のコンテンツのインスタンスについての情報を取得するためにコンテンツ情報にアクセスし得る。次いで、その情報は、例えば、ユーザがユーザ装置８０２上のブラウザ経由で見ることが可能なウェブページ上に列記している結果などにおいて、ユーザに戻され得る。コンテンツの特定のインスタンスについての情報は、ブラウザの専用ページまたはウィンドウにおいて見られ得る。

各サーバは、典型的には、そのサーバの一般管理および操作について実行可能なプログラム命令を提供するオペレーティングシステムを含むことになり、また、典型的には、サーバのプロセッサによって実行されるとき、サーバがそれの意図された機能を実行することを可能にする命令を格納しているコンピュータ可読媒体を含むことになる。サーバのオペレーティングシステムおよび一般機能についての適切な実施は、周知であるか、あるいは商業的に利用可能であり、特に本明細書中の開示に照らして、当業者によって容易に実施される。

一実施形態における環境は、１つ以上のコンピュータネットワークまたは直接接続を用いて、通信リンク経由で相互に接続するいくつかのコンピュータシステムおよび構成要素を利用する分散型コンピューティング環境である。しかしながら、そのようなシステムが、図８に例示されたものより少ないまたは多い数の構成要素を有するシステムにおいて同様にうまく動作し得ることは、当業者によって理解されるであろう。それ故、図８におけるシステム８００の描写は、本質的に例示的なものとみなされるべきであり、開示の範囲に限定されるべきではない。

本明細書中に記述したか提案した種々の実施形態は、多種多様のオペレーティング環境において実施され得、その環境は、いくつかの場合において、多数のアプリケーションのうちのいずれかを動作させるために使用され得る１つ以上のユーザコンピュータ、コンピューティング装置、または処理装置を含み得る。ユーザまたはクライアント装置は、多数の汎用のパーソナルコンピュータのいずれか、例えば、標準オペレーティングシステムを動作させるデスクトップまたはラップトップコンピュータ、ならびに、モバイルソフトウェアを動作させるとともに多数のネットワーキングおよびメッセージングプロトコルを支援可能なセルラー式の、無線の、および手持ち式の装置を含み得る。そのようなシステムはまた、開発およびデータベース管理などの目的のために種々の商業的に利用可能なオペレーティングシステムおよび他の周知のアプリケーションのいずれかを動作させる多数のワークステーションも含み得る。これらの装置はまた、他の電子装置、例えばダミー端末、シン・クライアント、ゲームシステム、およびネットワーク経由で通信することが可能な他の装置なども含み得る。

大部分の実施形態は、種々の商業的に利用可能なプロトコルのいずれか、例えばＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳ、およびＡｐｐｌｅＴａｌｋなどを用いて通信を支援するために当業者によく知られるであろう少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想私設ネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話ネットワーク、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせとすることができる。

ウェブサーバを利用する実施形態では、ウェブサーバは、種々のサーバまたは中間層アプリケーションのいずれかを動作し得、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａ（登録商標）サーバ、およびビジネスアプリケーションサーバを含む。（複数の）サーバはまた、例えば任意のプログラミング言語、例えばＪａｖａ（登録商標）、Ｃ、Ｃ＃もしくはＣ＋＋など、または任意のスクリプト言語、例えばＰｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬなど、ならびにそれらの組み合わせで書かれた１つ以上のスクリプトもしくはプログラムとして実装され得る１つ以上のウェブアプリケーションを実行することなどによって、ユーザ装置からの要求に応答してプログラムまたはスクリプトを実行することが可能であり得る。（複数の）サーバはまた、データベースサーバも含み得、制約無しに、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、およびＩＢＭ（登録商標）から商業的に利用可能なものを含む。

環境は、上記のように種々のデータストアおよび他のメモリや記憶媒体を含み得る。これらは、種々の位置、例えば、コンピュータの１つ以上にローカルな、（および／またはコンピュータの１つ以上内にある）記憶媒体上に、あるいはネットワークにわたるコンピュータのいずれかまたは全てから遠隔の記憶媒体上にあり得る。実施形態の特定の組において、情報は、当業者によく知られた記憶エリアネットワーク（「ＳＡＮ」）内にあり得る。同様に、コンピュータ、サーバ、または他のネットワーク装置に帰属する機能を実行するための任意の必要なファイルは、必要に応じて、ローカルにおよび／または遠隔に格納されてもよい。システムがコンピュータ化された装置を含む場合、そのような装置のそれぞれは、バス経由で電気的に結合され得るハードウェア素子、例えば、少なくとも１つの中央処理装置（ＣＰＵ）、少なくとも１つの入力装置（例えば、マウス、キーボード、コントローラ、タッチスクリーン、またはキーパッド）、および少なくとも１つの出力装置（例えば、表示装置、プリンタ、またはスピーカ）を含む素子を含み得る。そのようなシステムはまた、１つ以上の記憶装置、例えばディスクドライブ、光学式記憶装置、およびランダムアクセスメモリ（「ＲＡＭ」）または読み取り専用メモリ（「ＲＯＭ」）などの固体記憶装置、ならびに取り外し可能な媒体装置、メモリカード、フラッシュカードなども含み得る。

そのような装置はまた、上記のように、コンピュータ可読記憶媒体リーダ、通信装置（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信装置など）、およびワーキングメモリを含み得る。コンピュータ可読記憶媒体リーダは、遠隔の、ローカルの、固定のおよび／または取り外し可能な記憶装置のみならず、コンピュータ可読情報を一時的におよび／またはより多く持続的に含むための、格納するための、伝送するための、ならびに取り出すための記憶媒体に相当する、コンピュータ可読記憶媒体と接続され得、またはコンピュータ可読記憶媒体を受け入れるように構成され得る。システムおよび種々の装置はまた、典型的に、オペレーティングシステムやアプリケーションプログラム、例えばクライアントアプリケーションまたはウェブブラウザなどを含む、多数のソフトウェアアプリケーション、モジュール、サービス、または少なくとも１つのワーキングメモリ装置内に位置する他の素子を含むことになる。代替の実施形態は、上記のものからの非常に多くの変形を有し得ることが理解されるべきである。例えば、カスタマイズされたハードウェアがまた使用され得、および／または特定の素子が、ハードウェア、（アプレットなどのポータブルソフトウェアを含む）ソフトウェア、または両方において実装され得る。更に、ネットワーク入出力装置などの他のコンピューティング装置への接続が使用されてもよい。

コード、またはコードの一部を含むための記憶媒体およびコンピュータ可読媒体は、当技術分野において知られるか使用される任意の適切な媒体を含み得、記憶媒体および通信媒体、例えば、限定されるものではないが、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するならびに／あるいは伝送するための任意の方法もしくは技術において実施される揮発性および不揮発性、取り外し可能なおよび取り外し不可能な媒体を含み、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ‐ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または所望の情報を格納するために使用され得るとともにシステム装置によってアクセスされ得る任意の他の媒体を含む。本明細書に提供された開示および教示に基づいて、当業者は、種々の実施形態を実施するための他の手法および／または方法を理解するであろう。

従って、明細書および図面は、限定的な意図ではなくて、例示的な意図のものとみなされる。しかしながら、種々の修正および変更が、特許請求の範囲に既定されるような発明の広い趣旨や範囲から逸脱することなく、その明細書および図面になされ得ることは、明らかであろう。

付記
１．顔面認識のためにビデオフレームを選択するコンピュータで実施される方法であって、
実行可能な命令で構成された１つ以上のコンピューティングシステムの制御下で、
電子装置上のビデオ情報の取り込みを開始することと、
人間の頭部を示す前記ビデオ情報における少なくとも１つの特徴を検出することと、
前記少なくとも１つの特徴を検出することに応答して、前記人間を赤外線（ＩＲ）光の少なくとも１つの波長で照射し、前記人間から反射し戻るＩＲ光を検出するよう動作可能な前記電子装置の少なくとも１つのＩＲ画像化機構を作動させることと、
前記反射したＩＲ光において前記人間の瞳孔に対応する特徴を検出することと、
前記反射したＩＲ光における前記検出された特徴の方位、測定、または焦点のレベルの少なくとも１つを判断するために前記検出された特徴を解析することと、
前記検出された特徴の前記方位、測定、または焦点のレベルの少なくとも１つが特定の選択基準に合うときにビデオ情報の現在のフレームを選択することと、
前記選択されたフレーム上で顔面認識を実行することと、を含む、コンピュータで実施される方法。
２．ビデオ情報の現在のフレームを選択することは、検出されたＩＲ反射が、人間の目に対応する前記検出された特徴を示すという判断に更に基づく、付記１のコンピュータで実施される方法。
３．前記少なくとも１つのＩＲ画像化機構は、特定周波数の放出でＩＲ光のパルスを放出するよう動作可能である、付記１のコンピュータで実施される方法。
４．ビデオ情報の取り込みを開始する前に前記電子装置の近くの動きを検出することを更に含む、付記１のコンピュータで実施される方法。
５．処理のために画像フレームを選択するコンピュータで実施される方法であって、
実行可能な命令で構成された１つ以上のコンピューティングシステムの制御下で、
少なくとも１つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得することと、
前記一連の画像フレームの少なくとも一部における人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に、少なくとも１つの方位判断プロセスを実行することと、
前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記少なくとも１つの画像取り込み素子の方に実質的に向いているという、前記少なくとも１つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの１つを選択することと、
前記選択されたフレームを処理のために提供することと、を含む、コンピュータで実施される方法。
６．前記少なくとも１つの方位プロセスは、
前記少なくとも１つの画像取り込み素子の取り込み方向においてＩＲ放射の少なくとも１つの波長を放出することと、
反射したＩＲ放射を検出することと、
人間の目に対応する前記反射したＩＲ放射における１つ以上の特徴の位置を突き止めることと、を含む、付記５のコンピュータで実施される方法。
７．前記少なくとも１つの方位プロセスは、
少なくとも２つの音声取り込み素子を用いて音声情報を取り込むことと、
少なくとも前記音声情報の源の方向を判断することと、を含み、
前記画像フレームの１つを選択することは、前記判断された方向に少なくとも一部更に基づく、付記６のコンピュータで実施される方法。
８．前記少なくとも１つの方位プロセスは、
前記少なくとも１つの取り込み素子を含む電子装置の一部に関する動きまたは圧力の少なくとも１つを判断することを含み、前記動きまたは圧力は、前記電子装置に識別されることになる人間からの入力に対応する、付記６のコンピュータで実施される方法。
９．前記画像フレームの１つを選択することは、前記少なくとも１つの画像取り込み素子が、画像化される人間に対して実質的に静止していることを判断される時間に対応する画像フレームを選択することを含む、付記５のコンピュータで実施される方法。
１０．前記画像フレームの１つを選択することは、動きセンサが、前記少なくとも１つの画像取り込み素子に対して前記画像フレームにおいて取り込まれることが可能な対象の運動の最大閾値未満を検出する時間に対応する画像フレームを選択することを含む、付記５のコンピュータで実施される方法。
１１．前記少なくとも１つの画像取り込み素子は、検出された動き、検出された熱特徴、検出されたＩＲ反射の種類、または音声情報の閾値量の少なくとも１つに応答して、前記一連の画像を取り込むように構成される、付記５のコンピュータで実施される方法。
１２．前記少なくとも１つの方位判断プロセスを実行する前に、少なくとも１つの頭部検出プロセスを実行することを更に含む、付記５のコンピュータで実施される方法。
１３．前記少なくとも１つの方位判断プロセスは、人間の顔面の形状または輪郭に一致する前記一連の画像における少なくとも１つの特徴の位置を突き止めることに応答して、開始される、付記１２のコンピュータで実施される方法。
１４．処理することは、前記選択されたフレーム上で顔面認識または識別認証を実行することの少なくとも１つを含む、付記５のコンピュータで実施される方法。
１５．前記一連から前記画像フレームの１つを選択することは、前記少なくとも１つの方位判断プロセスにおいて検出されるぶれの判断量に少なくとも一部更に依存する、付記５のコンピュータで実施される方法。
１６．前記少なくとも１つの方位判断プロセスは、３次元の、立体的な、またはマルチカメラの画像化の少なくとも１つを含む、付記５のコンピュータで実施される方法。
１７．前記選択されたフレームにおいて取り込まれたユーザの身元を認証することに応答して、判断された機能に安全にアクセスできることを更に含む、付記５のコンピュータで実施される方法。
１８．顔面認識のためにビデオフレームを選択するコンピュータで実施される方法であって、
実行可能な命令で構成された１つ以上のコンピューティングシステムの制御下で、
電子装置の近くの動きを検出することと、
動きを検出することに応答して、赤外線（ＩＲ）光の少なくとも１つの波長でＩＲ画像化機構の視野内の人間を照射し、前記人間から反射し戻ったＩＲ光を検出するよう動作可能な前記電子装置の少なくとも１つの前記ＩＲ画像化機構を作動させることと、
前記反射したＩＲ光において前記人間の角膜に対応する特徴を検出することと、
前記特徴の検出に応答して、前記電子装置上でビデオ情報の取り込みを開始することと、
前記検出された特徴の方位、測定、または焦点のレベルの少なくとも１つが特定の選択基準に合うときに、ビデオ情報の現在のフレームを選択することと、
前記選択されたフレーム上で顔面認識を実行することと、を含む、コンピュータで実施される方法。
１９．ビデオ情報の現在のフレームを選択することは、前記反射したＩＲが、実際の人間の目に対応する特徴であって、人間の目の画像ではない前記検出された特徴を示すという判断に更に基づく、付記１８のコンピュータで実施される方法。
２０．前記少なくとも１つのＩＲ画像化機構は、赤外線源に実質的に隣接する第１のセンサと、前記電子装置上で前記赤外線源から離れた距離に位置付けられた第２のセンサとを含む、付記１８のコンピュータで実施される方法。
２１．コンピューティング装置であって、
プロセッサと、
少なくとも１つの画像取り込み素子と、
命令であって、前記プロセッサによって実行されるときに、前記コンピューティング装置に、
少なくとも１つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得させ、
前記一連の画像フレームの少なくとも一部における人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に少なくとも１つの方位判断プロセスを実行させ、
前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記コンピューティング装置の方に実質的に向いているという、前記少なくとも１つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの１つを選択させ、
前記選択されたフレーム上で顔面認識を実行させる、命令を含むメモリ装置と、を備える、コンピューティング装置。
２２．少なくとも１つの赤外線（ＩＲ）エミッタと、
少なくとも１つのＩＲ受信機と、を更に備え、
前記少なくとも１つの方位プロセスは、
少なくとも１つのＩＲエミッタを用いてＩＲ放射の少なくとも１つの波長を放出することと、
前記電子装置の少なくとも１つのＩＲ検出器を用いて反射したＩＲ放射を検出することと、
人間の目に対応する前記反射したＩＲ放射における１つ以上の特徴の位置を突き止めることと、を含む、付記２１のコンピューティング装置。
２３．少なくとも２つの音声取り込み素子を更に備え、
前記少なくとも１つの方位プロセスは、
少なくとも２つの音声取り込み素子を用いて音声情報を取り込むことと、
少なくとも前記音声情報の源の方向を判断することと、を含み、
前記画像フレームの１つを選択することは、前記判断された方向に少なくとも一部更に基づく、付記２１のコンピューティング装置。
２４．前記コンピューティング装置の筺体の少なくとも一部上にタッチセンシティブ器具または圧力センシティブ器具の少なくとも１つを更に備え、
前記少なくとも１つの方位プロセスは、前記少なくとも１つの取り込み素子を含む電子装置の一部に関する動きまたは圧力の少なくとも１つを判断することを含み、前記動きまたは圧力は、前記電子装置に識別されることになる人間からの入力に対応する、付記２１のコンピューティング装置。
２５．少なくとも１つの動き判断素子を更に備え、
前記一連から前記画像フレームの１つを前記選択することは、前記少なくとも１つの動き判断素子によって判断されるように、前記コンピューティング装置が、実質的に静止していることに更に基づく、付記２１のコンピューティング装置。
２６．処理用の画像フレームを選択するために命令を格納する非一時的コンピュータ可読記憶媒体であって、プロセッサによって実行されるときに、前記命令が、前記プロセッサに、
少なくとも１つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得させ、
前記一連の画像フレームの少なくとも一部における人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に少なくとも１つの方位判断プロセスを実行させ、
前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記コンピューティング装置の方に実質的に向いているという、前記少なくとも１つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの１つを選択させ、
前記選択されたフレーム上で顔面認識を実行させる、非一時的コンピュータ可読記憶媒体。
２７．前記命令は、実行されるときに、前記プロセッサに、更に、
前記少なくとも１つの画像取り込み素子の取り込み方向においてＩＲ放射の少なくとも１つの波長を放出させ、
反射したＩＲ放射を検出させ、
人間に対応する前記反射したＩＲ放射における１つ以上の特徴の位置を突き止めさせる、付記２６の非一時的コンピュータ可読記憶媒体。

Claims (15)

1. 処理用の画像フレームを選択するコンピュータで実施される方法であって、
   実行可能な命令で構成された１つ以上のコンピューティングシステムの制御下で、
   少なくとも１つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得することと、
   前記一連の画像フレームの少なくとも一部において人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に少なくとも１つの方位判断プロセスを実行することと、
   前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記少なくとも１つの画像取り込み素子の方に実質的に向いているという、前記少なくとも１つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの１つを選択することと、
   処理のために前記選択されたフレームを提供することと、を含む、コンピュータで実施される方法。
2. 前記少なくとも１つの方位プロセスは、
   前記少なくとも１つの画像取り込み素子の取り込み方向においてＩＲ放射の少なくとも１つの波長を放出することと、
   反射したＩＲ放射を検出することと、
   人間の目に対応する前記反射したＩＲ放射における１つ以上の特徴の位置を突き止めることと、を含む、請求項１に記載のコンピュータで実施される方法。
3. 前記少なくとも１つの方位プロセスは、
   少なくとも２つの音声取り込み素子を用いて音声情報を取り込むことと、
   少なくとも前記音声情報の源の方向を判断することと、を含み、
   前記画像フレームの１つを選択することは、前記判断された方向の少なくとも一部に更に基づく、請求項１に記載のコンピュータで実施される方法。
4. 前記少なくとも１つの方位プロセスは、
   前記少なくとも１つの取り込み素子を含む電子装置の一部に関する動きまたは圧力の少なくとも１つを判断することを含み、前記動きまたは圧力は、前記電子装置に識別されることになる人間からの入力に対応する、請求項１に記載のコンピュータで実施される方法。
5. 前記画像フレームの１つを選択することは、前記少なくとも１つの画像取り込み素子が、画像化される人間に対して実質的に静止していることを判断される時間に対応する画像フレームを選択することを含む、請求項１に記載のコンピュータで実施される方法。
6. 前記画像フレームの１つを選択することは、動きセンサが、前記少なくとも１つの画像取り込み素子に関して前記画像フレームにおいて取り込まれることが可能な対象の運動の最大閾値未満を検出する時間に対応する画像フレームを選択することを含む、請求項１に記載のコンピュータで実施される方法。
7. 前記少なくとも１つの画像取り込み素子は、検出された動き、検出された熱特徴、検出されたＩＲ反射の種類、または音声情報の閾値量の少なくとも１つに応答して、前記一連の画像を取り込むように構成される、請求項１に記載のコンピュータで実施される方法。
8. 前記少なくとも１つの方位判断プロセスは、人間の顔面の形状または輪郭に一致する前記一連の画像における少なくとも１つの特徴の位置を突き止めることに応答して開始される、請求項１に記載のコンピュータで実施される方法。
9. 処理することは、前記選択されたフレーム上で顔面認識または識別認証を実行することの少なくとも１つを含む、請求項１に記載のコンピュータで実施される方法。
10. 前記選択されたフレームにおいて取り込まれたユーザの身元を認証することに応答して判断された機能に安全にアクセスできるようにすることを更に含む、請求項１に記載のコンピュータで実施される方法。
11. コンピューティング装置であって、
    プロセッサと、
    少なくとも１つの画像取り込み素子と、
    命令であって、前記プロセッサによって実行されるときに、前記コンピューティング装置に、
    少なくとも１つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得させ、
    前記一連の画像フレームの少なくとも一部において人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に少なくとも１つの方位判断プロセスを実行させ、
    前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記コンピューティング装置の方へ実質的に向いているという、前記少なくとも１つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの１つを選択させ、
    前記選択されたフレーム上で顔面認識を実行させる、命令を含むメモリ装置と、を備える、コンピューティング装置。
12. 少なくとも１つの赤外線（ＩＲ）エミッタと、
    少なくとも１つのＩＲ受信機と、を更に備え、
    前記少なくとも１つの方位プロセスは、
    少なくとも１つのＩＲエミッタを用いてＩＲ放射の少なくとも１つの波長を放出することと、
    電子装置の少なくとも１つのＩＲ検出器を用いて反射したＩＲ放射を検出することと、
    人間の目に対応する前記反射したＩＲ放射における１つ以上の特徴の位置を突き止めることと、を含む、請求項１１に記載のコンピューティング装置。
13. 少なくとも２つの音声取り込み素子を更に備え、
    前記少なくとも１つの方位プロセスは、
    少なくとも２つの音声取り込み素子を用いて音声情報を取り込むことと、
    少なくとも前記音声情報の源の方向を判断することと、を含み
    前記画像フレームの１つを選択することは、前記判断された方向に少なくとも一部更に基づく、請求項１１に記載のコンピューティング装置。
14. 前記コンピューティング装置の筺体の少なくとも一部上にタッチセンシティブ器具または圧力センシティブ器具の少なくとも１つを更に備え、
    前記少なくとも１つの方位プロセスは、前記少なくとも１つの取り込み素子を含む電子装置の一部に関する動きまたは圧力の少なくとも１つを判断することを含み、前記動きまたは圧力は、前記電子装置に識別されることになる人間からの入力に対応する、請求項１１に記載のコンピューティング装置。
15. 少なくとも１つの動き判断素子を更に備え、
    前記一連から前記画像フレームの１つを前記選択することは、前記コンピューティング装置が、前記少なくとも１つの動き判断素子によって判断されるように、実質的に静止していることに更に基づく、請求項１１に記載のコンピューティング装置。

Images