JP7664953B2 - 瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 - Google Patents

Description

関連出願の相互参照
このＰＣＴ国際出願は、２０２０年６月１７日に出願された米国特許出願第６３／０４０，１８４号の利益およびそれに対する優先権を主張し、同特許出願は参照によりその全体が本明細書に組み込まれる。

本開示は、概して検眼の技術分野に関する。より具体的には、本開示は、瞳孔間距離を測定するためのシステムおよび方法、ならびにそれらの使用を対象とする。

以下は、本発明を理解する上で有用であり得る情報を含む。それは、ここで具体的にまたは暗黙的に参照される情報のいずれかが、記載もしくは特許請求される本発明にとって従来技術である、または必須のものであることを認めるものではない。本明細書において言及されるすべての特許、特許出願、文献、および製品は、参照によりそれらの全体が組み込まれる。

瞳孔間距離（「ＰＤ：pupillary distance」）は、人間などの被検体の瞳孔と瞳孔の間の距離である。この距離の精度は、眼鏡、サングラス、または仮想現実ヘッドセットの快適性およびフィット性における決定要因の１つである。誤測定されたＰＤは、頭痛、ぼやけた視覚、眼精疲労、吐き気、めまい、ふらつき感、方向感覚の喪失、およびその他の問題を被検体に引き起こす、プリズム効果を伴うレンズにつながることがある。従来、ＰＤ測定は、眼鏡やサングラスの処方では行われないが、特注の処方箋眼鏡やサングラスの注文に応えるために必要とされる。成人の平均ＰＤは、約６３ｍｍである。しかし、ＰＤ測定値は、女性では５１ｍｍ～７４．５ｍｍの間、男性では５３ｍｍ～７７ｍｍの間で広くばらつき得る。あらゆる距離において快適な視力を保証するには正確なレンズと瞳孔間の位置合わせが必要とされるため、ＰＤは、プログレッシブレンズを用いる眼鏡やサングラスを合わせる際に非常に重要である。

現在、ＰＤの測定には様々な方法がある。例えば、シングルＰＤとデュアルＰＤの２つの主要なＰＤ測定方法がある。シングルＰＤ（または両眼ＰＤ）は、両目の間の瞳孔から瞳孔までの測定値である。デュアルＰＤ（または単眼ＰＤ）は、鼻梁からそれぞれの眼までの測定値である。

ＰＤ測定値を得るための従来の方法は、定規の使用を含むことがある。この種の測定では、被検体は鏡からおよそ８インチの所に立つことを求められ、一方の眼の瞳孔から被検体の額を横切ってもう一方の瞳孔まで定規が位置合わせされて、ＰＤ測定値を得る。この種の測定は、顔の輪郭および定規の位置合わせがばらつき得るため、不正確である。

被検体は、可能性としては商業的な環境で、別の者の支援によって自身のＰＤ測定値を得ることもある。この例では、ＰＤは、角膜反射瞳孔計を使用して測定され得る。代替として、電子商取引の顧客が、標準的な大きさの参照物（例えばクレジットカード等）を手に持っている自身の顔の写真を提出し、その写真が遠隔で処理されてＰＤを得ることができる。

上記で説明された従来例はそれぞれ、煩瑣な、および／またはリソースを多く要する、ＰＤ測定値を得る方法である。また、角膜反射瞳孔計を使用するなどの特定の従来例は、被検体が測定を行う者から６フィート未満の離間距離にあることを必要とすることがあり、それにより、それらの者がＣＯＶＩＤ－１９などのパンデミックの際に社会的距離を置く規則に違反することになる。さらに、角膜反射瞳孔計は、人的エラーを生じやすく、また誤較正されることがあるため、常に信頼できるＰＤの測定であるとは限らない。ＰＤは特注の処方箋眼鏡やサングラスの注文に応えるために必要とされるため、ＰＤ測定値を得るための円滑で、利便で、接触の必要がない方法を開発することは、消費者体験を向上させる。さらに、ＰＤ測定値を得るためのより容易でより正確な方法を開発することは、電子商取引を促進し、快適で高精度なアイウェアを得る際の消費者の選択肢を拡げる。最後に、小売り業者は、ＰＤ測定に関する画像および／もしくは統計的情報を使用して製造プロセスを改善する、ならびに／または、ＰＤ測定値と相関付けられたユーザの満足度および購入履歴に基づいてアイウェアの推薦を提供し得る。

したがって、精度、効率、信頼性、利便性および使用を増大させ、一方で人的介入および／または人的エラーを低減するもしくは無くす、ＰＤを測定するための改良されたシステムまたは方法を開発する必要が存在する。

本明細書に記載され、特許請求される本発明は、これらに限定されないが、この概要に述べられる、記載される、または参照されるものを含む、多くの特質および態様を有する。すべてを包含することは意図されておらず、本明細書に記載および特許請求される本発明は、制約ではなく例示の目的で含められているこの概要に特定される特徴または実施形態に制限されず、またそれらによって制限されることもない。

本開示の様々な実施形態では、２次元（「２Ｄ」）画像内で瞳孔を位置特定するための一連の画像処理アルゴリズムを取得し、使用するシステムおよび方法が提供される。瞳孔は次いで、深度感知画像によって提供される３次元（「３Ｄ」）データを使用して、世界座標内で位置特定される。世界座標を使用して、瞳孔間の物理的距離が算出され得る。本明細書に記載されるシステムおよび方法は、有利に、ＰＤ測定値を得るための正確でより利便な方法を提供する。さらに、得られたＰＤ測定値は、眼鏡（またはスペクタクル）、サングラス、仮想現実ヘッドセット、ゴーグル、安全眼鏡、スマートグラス（これらに限定されないが、拡張現実眼鏡を含む）、およびその他のアイウェアに使用され得る。最後に、ＰＤを含む、被検体の顔測定値はユーザアカウントに関連付けられてよく、それにより、ユーザの顔測定値ならびに顔測定値に関連付けられた過去の顧客満足度データおよび購入履歴に基づいて、製品の推薦が提供されてよい。

本開示の様々な実施形態では、本明細書に記載されるシステムおよび方法は、仮想試着および試用システムまたはアプリケーションで使用するための顔測定値を得ることができる。いくつかの実施形態では、仮想試着および試用システムは、本明細書に記載される本開示から得られたＰＤ測定値を含む顔測定値を使用して、眼鏡やサングラスを仮想的に試用する、および／または購入するためのインターフェースをユーザに提供することができる。本明細書に記載されるシステムおよび方法は、仮想試着および試用システムに組み込まれたときに、ユーザが、物理的店舗を訪れる必要なしに、オンラインで、可能性のある眼鏡やサングラスを仮想的に試用し、ＰＤ測定値を得、特注の処方箋眼鏡またはサングラスを選択し、購入することを可能にするので、ユーザの電子商取引体験を向上させることができる。本明細書に記載されるシステムおよび方法はまた、より良好な製品推薦につながり得る追加的な顔測定値を得て記憶することにより、仮想試着および試用システムを改良する。本開示のシステムおよび方法は、有利に、２０１９年８月２６日に出願された米国特許出願第１６／５５０，６１４号（名称「Virtual Fitting Systems and Methods for Spectacles」）に記載されている仮想試用システムおよび方法とインターフェースを取り得る。本開示の様々な実施形態では、瞳孔間距離システムを動作させる方法が記載される。いくつかの実施形態では、方法は、瞳孔間距離システムの少なくとも１つのカメラで、被検体の顔の第１の２Ｄ画像および対応する３Ｄ深度マップを撮影するステップと、第１の２Ｄ画像および対応する３Ｄ深度マップを使用して、瞳孔位置特定情報を決定するステップと、瞳孔位置特定情報に基づいて１つまたは複数の瞳孔位置を精緻化するステップと、１つまたは複数の瞳孔中心座標を決定するステップと、それぞれの瞳孔の中心間の被検体のＰＤを計算するステップと、を含む。

本開示のいくつかの実施形態では、被検体上の１つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して瞳孔位置特定情報を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する。

本開示のいくつかの実施形態では、１つまたは複数の瞳孔位置が、１つまたは複数のカーネルと１つまたは複数の２Ｄ中心－周辺フィルタとを用いる畳み込みを使用して精緻化される。いくつかの実施形態では、１つまたは複数のカーネルは、およそ１２ｍｍの瞳孔推定サイズを使用する。

本開示のいくつかの実施形態では、ＰＤを計算するステップが、２Ｄ画像内の精緻化された１つまたは複数の瞳孔位置に対応する深度マップ値を使用する。

本開示のいくつかの実施形態では、ＰＤは、それぞれの瞳孔の中心に対応する３Ｄ顔メッシュ上の点を使用することによって決定される。

本開示のいくつかの実施形態では、方法は、第１の２Ｄ画像が少なくとも１つのカメラから撮影される距離を使用して、計算されたＰＤに対する補正を行うステップをさらに含む。

本開示の様々な実施形態では、コンピュータ実行可能命令が具現化されている非一時的なコンピュータ可読媒体が提供される。コンピュータ実行可能命令は、プロセッサによって実行されたとき、プロセッサに、少なくとも１つのカメラから、被検体の顔の第１の２Ｄ画像および対応する３Ｄ深度マップを取得することと、第１の２Ｄ画像および対応する３Ｄ深度マップを使用して、瞳孔位置特定情報を決定することと、瞳孔位置特定情報に基づいて１つまたは複数の瞳孔位置を精緻化することと、１つまたは複数の瞳孔中心座標を決定することと、それぞれの瞳孔の中心間の被検体のＰＤを計算することと、を行わせる。

本開示のいくつかの実施形態では、被検体の１つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して瞳孔位置特定情報を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する。

本開示のいくつかの実施形態では、１つまたは複数の瞳孔位置が、１つまたは複数のカーネルと１つまたは複数の２Ｄ中心－周辺フィルタとを用いる畳み込みを使用して精緻化される。いくつかの実施形態では、１つまたは複数のカーネルは、およそ１２ｍｍの瞳孔推定サイズを使用する。

本開示のいくつかの実施形態では、ＰＤを計算することが、２Ｄ画像内の精緻化された１つまたは複数の瞳孔位置に対応する深度マップ値を使用する。

本開示のいくつかの実施形態では、ＰＤを計算することが、それぞれの瞳孔の中心に対応する３Ｄ顔メッシュ上の点を使用することによって決定される。

本開示のいくつかの実施形態では、コンピュータ実行可能命令がプロセッサにさらに、第１の２Ｄ画像が少なくとも１つのカメラから撮影される距離を使用して、計算されたＰＤに対する補正を行わせる。

本開示の様々な実施形態では、瞳孔間距離システムが提供され、これは１つまたは複数のモバイルデバイスを備えている。いくつかの実施形態では、１つまたは複数のモバイルデバイスは、少なくとも１つのカメラと、少なくとも１つのカメラから得られる画像および情報に関連する情報を記憶するメモリと、プロセッサとを備えているモバイルデバイスを含む。プロセッサは、少なくとも１つのカメラから、被検体の顔の２Ｄ画像および対応する３Ｄ深度マップを取得することと、２Ｄ画像および対応する３Ｄ深度マップを使用して、瞳孔位置特定情報を決定することと、瞳孔位置特定情報に基づいて１つまたは複数の瞳孔位置を精緻化することと、１つまたは複数の瞳孔中心座標を決定することと、被検体のそれぞれの瞳孔の中心間のＰＤを計算することと、を行うように構成されている。

本開示のいくつかの実施形態では、被検体の１つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して瞳孔位置特定を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する。

本開示のいくつかの実施形態では、１つまたは複数の瞳孔位置が、１つまたは複数のカーネルと１つまたは複数の２Ｄ中心－周辺フィルタとを用いる畳み込みを使用して精緻化される。いくつかの実施形態では、１つまたは複数のカーネルは、およそ１２ｍｍの瞳孔推定サイズを使用する。

本開示のいくつかの実施形態では、ＰＤを計算することが、２Ｄ画像内の精緻化された１つまたは複数の瞳孔位置に対応する深度マップ値を使用する。

本開示のいくつかの実施形態では、ＰＤを計算することが、それぞれの瞳孔の中心に対応する３Ｄ顔メッシュ上の点を使用することによって決定される。

本開示のいくつかの実施形態では、第１の２Ｄ画像が少なくとも１つのカメラから撮影される距離を使用して、計算されたＰＤに対する補正を行う。

本明細書に組み込まれ、本明細書の一部をなす添付図面は、本開示の態様を図示すると共に、説明と併せて、態様の原理を説明し、当業者がそれらの態様を作製して使用することを可能にする役目をさらに果たす。図面は、例示のみを目的とし、例示的で非制限的な実施形態を示し、必ずしも実際の縮尺で描かれていない。

本開示のいくつかの実施形態に従うシステムの一例を示す図である。 本開示のいくつかの実施形態に従うモバイルデバイスのアーキテクチャの一例を示す図である。 本開示のいくつかの実施形態に従う、深度マップを使用した例示的なＰＤ測定処理を説明する流れ図である。 本開示のいくつかの実施形態に従う、顔メッシュ９０５（複数の頂点９２０に接続された複数の線９１０によって表される）が重畳されたユーザの瞳孔領域の例示的な画像であり、顔メッシュは、主要頂点９５０および主要頂点の重心９５１を示している。 本開示のいくつかの実施形態に従う、２Ｄ画像で畳み込みを使用して初期瞳孔位置を精緻化することの例示的な図解表現である。図４Ａは、中心－周辺構造を持つフィルタカーネル（またはカーネル）を示し、図４Ｂは、カーネルに対して最大の応答を有する場所を示す十字記号を伴う円９９０を有する画像パッチを示し、図４Ｃは、カーネルによる畳み込みへの画像応答を示す。 本開示のいくつかの実施形態に従う、瞳孔領域画像に対するランダムサンプルコンセンサス（「ＲＡＮＳＡＣ」）反復法の例示的な図解である。図５において、実線の円２０００は、虹彩境界の初期推定を示し、実線の十字記号２００１は、虹彩中心の初期推定を示し、閉じたドット３０１０は、内側値（inlier）境界点を示し、開いたドット３０２０は、外れ値（outlier）境界点を示し、点線の円３０００は、虹彩境界の最終的な推定を示し、点線の十字記号３００１は、虹彩中心の最終的な推定を示す。 本開示のいくつかの実施形態に従う、遠用ＰＤを測定または推定するための処理の例示的な図解である。 本開示のいくつかの実施形態に従う、ＰＤ計算インターフェース８００の例の図である。「方法Ａ」は、下記でさらに説明される深度マップ法を指す。「方法Ｂ」は、これも下記でさらに説明される顔メッシュ法を指す。 本開示のいくつかの実施形態に従う、ＰＤを測定するためのそれぞれ例示的インターフェース８０１、８０２、８０３、および８０４の図である。 本開示のいくつかの実施形態に従う、ＰＤを測定するためのそれぞれ例示的インターフェース８０１、８０２、８０３、および８０４の図である。 本開示のいくつかの実施形態に従う、ＰＤを測定するためのそれぞれ例示的インターフェース８０１、８０２、８０３、および８０４の図である。 本開示のいくつかの実施形態に従う、ＰＤを測定するためのそれぞれ例示的インターフェース８０１、８０２、８０３、および８０４の図である。 本開示のいくつかの実施形態に従うＰＤ計算インターフェース８０５の別の例の図である。

例示的実施形態のこの説明は、添付図面との関連で読まれることが意図され、添付図面は書面の説明全体の一部とみなされるべきである。単数形の使用は、特に断らない限り、複数形を含む。「または」の使用は、特に断らない限り、「および／または」を意味する。さらに、語「～を含んでいる」ならびに「～を含む」や「含まれる」などの他の形態は、制限的なものではない。加えて、「要素」や「構成要素」などの語は、特に断らない限り、１つの単位からなる要素および構成要素と、２つ以上の下位単位からなる要素および構成要素の両方を包含する。また、本明細書において使用される項目の見出しは、系統立てのみを目的とするものであり、記載される主題を制限するものと解釈されるべきではない。

以下の説明は、代表的な例の組の実現を可能にする教示として提供される。有益な結果を依然として得ながら、多くの変更が本明細書に記載される実施形態になされ得る。以下で解説される望ましい利益の一部は、他の特徴を利用せずに、本明細書に解説される特徴の一部を選択することによって得ることができる。したがって、多くの変更および改変ならびに本明細書に記載される特徴のサブセットが可能であり、状況によっては望ましいことすらある。よって、以下の説明は、例示的なものとして提供され、制限的なものではない。

本明細書において使用される場合、「ａ」、「ａｎ」および「ｔｈｅ」などの単数形の冠詞は、文脈が明らかにかつ曖昧性なく別の旨を指示しない限り、その冠詞の対象の複数形を排除することは意図されない。

被検体のＰＤを決定するためのシステムおよび方法が本開示において提供される。被検体は、哺乳動物または人間であり、この哺乳動物または人間は、雄（男性）、雌（女性）、ノンバイナリの哺乳動物または人間（もしくはその他の性自認）の成人または子供である。本明細書全体を通じて解説されるように、本システムおよび方法は、有利に、被検体に対して正確で効率的な実時間の顔測定を提供する。本システムおよび方法は、有利に、ユーザに顔測定値を提供し、顔測定値は、それぞれのユーザに関連付けられたアカウントに記憶されて、顔測定値に基づく、および／または過去の顔測定値に関連付けられた消費者満足度データおよび／または購入履歴に基づく、製品の推薦をユーザが受け取ることを可能にしてよい。そのようなユーザは人間であり、その場合、人間は、男性、女性、ノンバイナリの人間（もしくはその他の性自認）の成人または子供である。最後に、本システムおよび方法は、有利に、消費者の満足度データを使用して、機械学習および深層学習などの人工知能を使用して測定値計算を改良し得る。

システム概要
様々な実施形態では、ＰＤ測定システムは、情報交換のためにクライアントデバイスと対話してよい。図１Ａは、システム１００の一例を示し、システム１００内では、複数のクライアントデバイス１１０－１、１１０－２、および１１０－３（総称的に「クライアントデバイス１１０」）が、通信ネットワーク１４２を介して、１つまたは複数のコンピュータシステムネットワーク５０－１、５０－２（「コンピュータネットワーク５０」）と、管理サーバ１３０とに接続されている。通信ネットワーク１４２は、ワイドエリアネットワーク（「ＷＡＮ」）、ローカルエリアネットワーク（「ＬＡＮ」）、パーソナルエリアネットワーク（「ＰＡＮ」）等であってよい。１つの実施形態では、通信ネットワーク１４２はインターネットであり、クライアントデバイス１１０はオンラインである。「オンライン」とは、通信ネットワーク１４２に結合された他のデバイスまたはネットワークから遠隔の場所から、ソースデータおよび情報に接続するまたはアクセスすることを意味することがある。

管理サーバ１３０は、１つまたは複数のデータ記憶ユニット１５０－１、１５０－２（総称的に「データベース管理システム１５０」または「ＤＢＭＳ１５０」と称する）に結合された処理装置２４を含む。処理装置２４は、いくつかの実施形態では、フロントエンドのグラフィカルユーザインターフェース（「ＧＵＩ」）（例えば、ＰＤ測定ＧＵＩ２８およびクライアントユーザＧＵＩ３０）、ならびにバックエンドまたは管理用のグラフィカルユーザインターフェースまたはポータル３２を、１つまたは複数のリモートコンピュータ５４に、または１つまたは複数のローカルコンピュータ３４に提供するように構成される。いくつかの実施形態では、下記でさらに詳細に説明される、ＧＵＩ２８を介して管理サーバ１３０にアクセスするＰＤ測定インターフェースが提供される。ＧＵＩは、例えば、リモートコンピュータ５４または１つまたは複数のローカルコンピュータ３４にとってローカルなブラウザプログラムを使用して表示されるウェブペーの形態を取ることができる。システム１００は、１つまたは複数のコンピュータ、サーバ、または他のコンピューティングデバイス上で実装されてよいことが理解される。いくつかの実施形態では、ＧＵＩは、ソフトウェアアプリケーションを介してクライアントデバイス１１０上で表示されてよい。例えば、システム１００は、ＤＢＭＳ１５０に記憶されているデータへの許可されるアクセスに基づいてプログラムされたまたはパーティションされた追加的なサーバを含んでよい。本明細書において使用される場合、「ポータル」は、ＹＡＨＯＯ！（登録商標）やＧＯＯＧＬＥ（登録商標）などの汎用的なインターネットポータルに限定されず、下記で説明されるように、特定の限定された利用者を対象とし、複数の異なる種類の関係するまたは無関係の情報、リンク、およびツールへのアクセスを関係者に提供するＧＵＩも含む。「ウェブページ」および「ウェブサイト」は、本明細書において同義で使用されることがある。

リモートコンピュータ５４は、コンピュータシステムネットワーク５０－１、５０－２の一部であってよく、インターネットサービスプロバイダ（「ＩＳＰ」）５２－１、５２－２（「ＩＳＰ５２」）を通じて通信ネットワーク１４２へのアクセスを得てよい。クライアントデバイス１１０は、当業者によって理解されるように、ワイヤレスセルラー通信ネットワーク、ＷＡＮホットスポットを通じて、またはコンピュータとの有線もしくは無線接続を通じて、通信ネットワーク１４２へのアクセスを得てよい。クライアントユーザおよび管理担当者は、下記で説明されるように、リモートコンピュータ５４および／またはクライアントデバイス１１０を使用してシステム１００へのアクセスを得てよい。コンピュータシステムネットワーク５０－１、５０－２は、１つまたは複数のデータ記憶ユニット５６－１、５６－２を含んでよい。

１つの実施形態では、クライアントデバイス１１０は、ワイヤレス信号を送信および受信することが可能な任意のモバイルデバイスを含む。モバイル機器の例には、いくつかの可能なデバイスを挙げると、これらに限定されないが、携帯電話またはセルラー電話、スマートフォン、携帯情報端末（「ＰＤＡ」）、ラップトップコンピュータ、タブレットコンピュータ、音楽プレーヤ、電子書籍リーダが含まれる。

図１Ｂは、クライアントデバイス１１０のアーキテクチャの一例のブロック図である。図１Ｂに示されるように、クライアントデバイス１１０は、プロセッサ１０２などの１つまたは複数のプロセッサを含む。プロセッサ１０２は、命令を実行するための、任意の中央演算処理装置（「ＣＰＵ」）、マイクロプロセッサ、マイクロコントローラ、または演算デバイスもしくは回路であってよい。プロセッサは、通信インフラストラクチャ１０４（例えば、通信バス、クロスオーバーバー、またはネットワーク）に接続されている。様々なソフトウェア実施形態が、この例示的クライアントデバイス１１０に即して説明される。この説明を読んだ後、他のシステムまたはアーキテクチャを含むクライアントデバイス１１０を使用してどのようにこの方法を実施するかが当業者に明らかになるであろう。当業者は、コンピュータ３４、５４は、クライアントデバイス１１０と同様のおよび／または同一のアーキテクチャを有してよいことを理解するであろう。別の言い方をすると、コンピュータ３４、５４は、図１Ｂに示されるクライアントデバイス１１０の機能構成要素の一部、すべて、またはそれに追加的な機能構成要素を含むことができる。

クライアントデバイス１１０は、通信インフラストラクチャ１０４から（または図示されないフレームバッファから）受信されたグラフィック、映像、テキスト、およびその他のデータを、ユーザ（例えば、加入者、商用ユーザ、バックエンドユーザ、またはその他のユーザ）に対して表示するディスプレイ１６８を含む。そのようなディスプレイ１６８の例には、いくつかの可能なディスプレイを挙げると、これらに限定されないが、ＬＣＤ画面、ＯＬＥＤディスプレイ、静電容量タッチ画面、およびプラズマディスプレイが含まれる。クライアントデバイス１１０は、ランダムアクセス（「ＲＡＭ」）メモリなどの主メモリ１０８も含み、また二次メモリ１１０も含んでよい。二次メモリ１２１は、ハードディスクドライブ（「ＨＤＤ」）１１２および／または、磁気テープドライブ、光ディスクドライブ、ソリッドステートドライブ（「ＳＳＤ」）等を表す取り外し可能記憶ドライブ（「ＲＳＤ」）１１４などの、より恒久的なメモリを含んでよい。いくつかの実施形態では、取り外し可能記憶ドライブ１１４は、当業者によって理解される方式で、取り外し可能記憶ユニット（「ＲＳＵ」）１１６の読出しおよび／または書込みを行う。取り外し可能記憶ユニット１１６は、磁気テープ、光ディスク等を表し、それらは取り外し可能記憶ドライブ１１４によって読出しおよび書込みが行われてよい。当業者に理解されるように、取り外し可能記憶ユニット１１６は、コンピュータソフトウェアおよび／またはデータが記憶された有形の非一時的な機械可読記憶媒体を含んでよい。

いくつかの実施形態では、二次メモリ１１０は、コンピュータプログラムまたは他の命令がクライアントデバイス１１０にロードされることを可能にする他のデバイスを含んでよい。そのようなデバイスには、例えば、取り外し可能記憶ユニット（「ＲＳＵ」）１１８および対応するインターフェース（「ＲＳＩ」）１２０が含まれ得る。そのようなユニット１１８およびインターフェース１２０の例は、取り外し可能メモリチップ（消去可能プログラム可能読出し専用メモリ（「ＥＰＲＯＭ」）など）、プログラム可能読出し専用メモリ（「ＰＲＯＭ」）、セキュアデジタル（「ＳＤ」）カードおよび関連するソケット、ならびに、ソフトウェアおよびデータが取り外し可能記憶ユニット１１８からクライアントデバイス１１０に転送されることを可能にする他の取り外し可能記憶ユニット１１８およびインターフェース１２０を含み得る。

クライアントデバイス１１０はまた、スピーカ１２２、発振器１２３、カメラ１２４、発光ダイオード（「ＬＥＤ」）１２５、マイクロフォン１２６、入力装置１２８、加速度計（図示せず）、および全地球測位システム（「ＧＰＳ」）モジュール１２９も含んでよい。カメラ１２４の機能の例には、これらに限定されないが、光学画像安定化（「ＯＩＳ」）、大きいセンサ、明るいレンズ、４Ｋ映像、光学ズームプラスＲＡＷ画像およびＨＤＲ、複数のレンズおよび複数ショットの夜間モードを伴う「ボケモード」が含まれる。カメラ１２４は、異なる機能を有する１つまたは複数のレンズを備えてよい。例として、カメラ１２４は、超広角センサ、望遠センサ、飛行時間センサ、マクロセンサ、メガピクセル（「ＭＰ」）センサ、および／または深度センサを含んでよい。本明細書に記載されるカメラ１２４は、単一のカメラに限定されない。カメラ１２４は、複数の異なる種類のカメラ、センサ等を含むカメラシステムを含んでよい。例として、Ａｐｐｌｅ（登録商標）は、ＴｒｕｅＤｅｐｔｈ（登録商標）カメラシステムを発売しており、これは、互いと協働して深度マップおよび関連する画像を得る、７ＭＰ前面「自撮り」カメラ、赤外線エミッタ、赤外線カメラ、近接センサ、周辺光センサ、投光イルミネータ、およびドットプロジェクタを含む。言い換えると、クライアントデバイス１１０のカメラ１２４は、クライアントデバイス１１０が使用する画像情報を得るためのシステムとして働く、複数のセンサ、カメラ、エミッタ、または他の関連する構成要素を有してよい。

入力装置１２８の例には、これらに限定されないが、キーボード、ボタン、トラックボール、またはユーザがそれを通じてデータを入力し得る任意の他のインターフェースもしくはデバイスが含まれる。いくつかの実施形態では、入力装置１２８とディスプレイ１６８が同じデバイスに一体化される。例えば、ディスプレイ１６８および入力装置１２８は、ユーザが指、ペン、および／またはスタイラスを使用してクライアントデバイス１１０にデータを入力するためのタッチ画面であってよい。

クライアントデバイス１１０は、１つまたは複数の通信インターフェース１６９も含み、これは、クライアントデバイス１１０と、外部デバイス、例えば別のクライアントデバイス１１０、コンピュータ３４、５４、およびシステム１００にローカルもしくはリモートに接続され得る他のデバイス、との間でソフトウェアおよびデータが転送されることを可能にする。１つまたは複数の通信インターフェース１６９の例には、これらに限定されないが、モデム、ネットワークインターフェース（イーサネットカードやワイヤレスカードなど）、通信ポート、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ（「ＰＣＭＣＩＡ」）スロットおよびカード、１つまたは複数のＰｅｒｓｏｎａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（「ＰＣＩ」）Ｅｘｐｒｅｓｓスロットおよびカード、またはそれらの任意の組み合わせが含まれ得る。１つまたは複数の通信インターフェース１６９は、近距離通信（「ＮＦＣ」）、Ｂｌｕｅｔｏｏｔｈなどの短距離通信のために構成されたワイヤレスインターフェース、または別のワイヤレス通信プロトコルを介した通信のための他のインターフェースも含んでよい。上記で簡単に触れたように、当業者は、コンピュータ３４、５４およびシステム１００の一部分が、クライアントデバイス１１０の一部またはすべての構成要素を含んでよいことを理解するであろう。

１つまたは複数の通信インターフェース１６９を介して転送されるソフトウェアおよびデータは信号の形態であり、この信号は、電子信号、電磁気信号、光信号、または通信インターフェース１６９によって受信されることが可能な他の信号であってよい。これらの信号は、通信路またはチャネルを介して通信インターフェース１６９に提供される。チャネルは、電線もしくはケーブル、光ファイバー、電話線、セルラーリンク、無線周波（「ＲＦ」）リンク、または他の通信チャネルを使用して実装されてよい。

本願において、用語「非一時的なコンピュータプログラム媒体」および「非一時的なコンピュータ可読媒体」は、取り外し可能記憶ユニット１１６、１１８、またはハードディスクドライブ１１２に設置されたハードディスクなどの媒体を言う。これらのコンピュータプログラム製品は、クライアントデバイス１１０にソフトウェアを提供する。コンピュータプログラム（「コンピュータ制御論理」とも称される）は、主メモリ１０８および／または二次メモリ１１０に記憶されてよい。コンピュータプログラムは、１つまたは複数の通信インターフェース１６９を介して受信されてもよい。そのようなコンピュータプログラムは、プロセッサ１０２によって実行されたとき、クライアントデバイス１１０が本明細書に論じられる方法およびシステムの機能を行うことを可能にする。

様々な実施形態では、図１Ａおよび図１Ｂに示されるように、クライアントデバイス１１０は、コンピュータデバイスを含んでよく、それは例えば、ハッシングコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ノートブックコンピュータ、手持ち型コンピュータ、携帯情報端末、携帯型ナビゲーションデバイス、携帯電話、スマートフォン、着用可能コンピューティングデバイス（例えば、スマートウォッチ、着用可能活動モニタ、着用可能スマートジュエリー、ならびに眼鏡および光学ヘッドマウントディスプレイ（「ＯＨＭＤ」）を含む他の光学デバイス）、埋め込まれたコンピューティングデバイス（例えばスマート繊維または電子布地と通信する）、または、データおよびソフトウェア命令を記憶し、ソフトウェア命令を実行して動作を行い、および／または表示装置に情報を表示するように構成された任意の他の好適なコンピューティングデバイス等である。クライアントデバイス１１０は、１人または複数のユーザ（図示せず）に関連し得る。例えば、ユーザがクライアントデバイス１１０を操作して、それに様々な実施形態に従って１つまたは複数の動作を行わせる。

クライアントデバイス１１０は、データおよび／またはソフトウェア命令を記憶する１つまたは複数の有形で非一時的なメモリと、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサとを含む。クライアントデバイス１１０は、ユーザに対して情報を表示する１つまたは複数の表示装置と、ユーザがクライアントデバイスに情報を入力することを可能にする１つまたは複数の入力装置（例えば、キーパッド、キーボード、タッチ画面、音声作動制御技術、または任意の他の好適な種類の既知の入力装置）とを含んでよい。クライアントデバイス１１０のプロセッサは、任意の中央演算処理装置（「ＣＰＵ」）、マイクロプロセッサ、マイクロコントローラ、または命令を実行するための演算デバイスもしくは回路であってよい。プロセッサは、通信インフラストラクチャ（例えば、通信バス、クロスオーバーバー、またはネットワーク）に接続されている。様々なソフトウェア実施形態が、この例示的クライアントデバイス１１０に即して説明される。この説明を読んだ後、他のシステムまたはアーキテクチャを含むクライアントデバイス１１０を使用してどのようにこの方法を実施するかが当業者に明らかになるであろう。当業者は、コンピュータは、クライアントデバイス１１０と同様のおよび／または同一のアーキテクチャを有してよいことを理解するであろう。別の言い方をすると、コンピュータは、図１Ａおよび図１Ｂに示されるクライアントデバイス１１０の機能構成要素の一部、すべて、またはそれに追加的な機能構成要素を含むことができる。

クライアントデバイス１１０はまた、１つまたは複数の通信インターフェース１６９を含み、これは、クライアントデバイス１１０と、外部デバイス、例えば別のクライアントデバイス１１０、およびクライアントデバイス１１０にローカルもしくはリモートに接続され得る他のデバイス、との間でソフトウェアおよびデータが転送されることを可能にする。１つまたは複数の通信インターフェースの例には、これらに限定されないが、モデム、ネットワークインターフェース（例えば、イーサネットカードもしくはワイヤレスカードなどの通信インターフェース１６９）、通信ポート、ＰＣＭＣＩＡスロットおよびカード、１つまたは複数のＰＣＩ Ｅｘｐｒｅｓｓスロットおよびカード、またはそれらの任意の組み合わせが含まれ得る。１つまたは複数の通信インターフェース１６９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈなどの短距離通信のために構成されたワイヤレスインターフェース、または別のワイヤレス通信プロトコルを介した通信のための他のインターフェースも含んでよい。

１つまたは複数の通信インターフェース１６９を介して転送されるソフトウェアおよびデータは、信号の形態であり、この信号は、電子信号、電磁気信号、光信号、または通信インターフェース１６９によって受信されることが可能な他の信号であってよい。これらの信号は、通信路またはチャネルを介して通信インターフェース１６９に提供される。チャネルは、電線もしくはケーブル、光ファイバー、電話線、セルラーリンク、無線周波（「ＲＦ」）リンク、または他の通信チャネルを使用して実装されてよい。

システム１００および方法が部分的にまたは完全にソフトウェアを使用して実装される実施形態では、そのソフトウェアは、コンピュータプログラム製品に記憶されて、取り外し可能記憶ドライブ、ハードドライブ、および／または通信インターフェースを使用してクライアントデバイス１１０にロードされてよい。ソフトウェアは、プロセッサによって実行されたとき、プロセッサに、本明細書に記載される方法の機能を行わせる。別の実施形態では、方法は、例えば特定用途向け集積回路（「ＡＳＩＣ」）などのハードウェア構成要素を使用して、主としてハードウェアで実装される。本明細書に記載される機能を行うためのハードウェアの状態機械の実装は、当業者によって理解されるであろう。さらに別の実施形態では、方法は、ハードウェアとソフトウェア両方の組み合わせを使用して実施される。

本明細書に記載される主題の実施形態は、システム１００内で実施され得、システム１００は、例えばデータサーバとしてのバックエンド構成要素を含むか、またはミドルウェア構成要素、例えばアプリケーションサーバ、を含むか、または、ユーザがそれを通じて本明細書に記載される主題の実装と対話することができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するフロントエンド構成要素（例えばクライアントデバイス１１０）を含むか、または１つまたは複数のそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせを含む。システムの構成要素は、任意の形態または媒体のデジタルデータ通信（例えば通信ネットワーク１４２）によって相互接続することができる。通信ネットワーク１４２は、１つまたは複数の通信ネットワークまたはデジタルデータ通信の媒体を含んでよい。通信ネットワーク１４２の例には、ローカルエリアネットワーク（「ＬＡＮ」）、ワイヤレスＬＡＮ、ＲＦネットワーク、ＮＦＣネットワーク、（例えば「ＷｉＦｉ」ネットワーク）、複数のワイヤレスＬＡＮを接続しているワイヤレス都市エリアネットワーク（「ＭＡＮ」）、ＮＦＣ通信リンク、およびワイドエリアネットワーク（「ＷＡＮ」）、例えばインターネット、およびそれらの組み合わせが含まれる。本開示の様々な実施形態に従い、通信ネットワーク１４２は、インターネット、および１つまたは複数の通信プロトコルを介して相互接続された１つまたは複数の任意の公共アクセス可能なネットワークを含んでよく、通信プロトコルには、これらに限定されないが、ハイパーテキスト転送プロトコル（「ＨＴＴＰ」）およびハイパーテキスト転送プロトコルセキュアード（「ＨＴＴＰＳ」）およびセキュアードソケット層／トランスポート層セキュリティ（「ＳＳＬ／ＴＬＳ」）、および伝送制御プロトコル／インターネットプロトコル（「ＴＣＰ／ＩＰ」）を含む。様々な実施形態に従う通信プロトコルは、無線周波数識別（「ＲＦＩＤ」）通信および／またはＮＦＣを使用してデータ転送を容易にするプロトコルも含む。さらに、通信ネットワーク１４２は、ＧＳＭまたはＬＴＥネットワークまたはＰＣＳネットワークなどの１つまたは複数のモバイルデバイスネットワークも含んで、クライアントデバイスが、本明細書に記載されるものを含む適用可能な通信プロトコルを介してデータを送受信できるようにしてよい。図示の容易のために、通信ネットワーク１４２は、管理サーバ１３０の拡張として示している。

クライアントデバイス１１０とサーバ１３０は一般に互いから遠隔にあり、通例は通信ネットワーク１４２を通じて対話する。クライアントデバイス１１０と管理サーバ１３０の関係は、コンピュータプログラムがそれぞれのシステム構成要素上で実行され、互いに対してクライアント－サーバ関係を有することから生じる。システム１００は、管理サーバ１３０によって提供される多くのサービスへのアクセスを得るために使用される実施形態では、ウェブ／アプリケーションサーバ（図示せず）を含んでよい。

１つの態様では、クライアントデバイス１１０は、クライアントデバイス上で動作し、１つまたは複数のプロセッサによって実行される、１つまたは複数のソフトウェアアプリケーションをメモリに記憶する。場合によっては、各クライアントデバイスが、１つまたは複数のプロセッサによって実行されたときに、様々な実施形態に従って、管理サーバ１３０との通信を確立し（例えば、通信インターフェース１６９を介し、通信ネットワーク１４２を通じて）、データベース管理システム１５０を介して管理サーバ１３０から情報またはデータを取得する動作を行う、ソフトウェアアプリケーションを記憶する。

様々な実施形態では、クライアントデバイス１１０は、記憶されているソフトウェアアプリケーションを実行して、ネットワーク接続を介して管理サーバ１３０と対話してよい。実行されたソフトウェアアプリケーションにより、クライアントデバイス１１０が、情報（例えば、顔測定値（例えばＰＤ）、ユーザプロフィール情報等）を通信してよい。下記で説明されるように、実行されるソフトウェアアプリケーションは、クライアントデバイス１１０に関連するユーザがカメラ１２４を使用してＰＤ測定値を得ることを可能にするように構成されてよい。クライアントデバイス１１０上の記憶されているソフトウェアアプリケーションは、当業者であれば理解するように、通信ネットワーク１４２と対話することが可能な通信に基づいて、インターネットまたは他の適切なネットワーク上のウェブページにアクセスするように構成される。例えば、ユーザは、インターネットウェブページを介して、管理サーバ１３０上のユーザアカウントにアクセスしてよい。この例では、管理サーバ１３０は、インターネットウェブページをクライアントデバイス１１０上でユーザのために描画するように構成される。代替として、管理サーバ１３０は、通信ネットワーク１４２を介して、クライアントデバイス１１０上の記憶されているソフトウェアアプリケーションに情報を提供してよい。この例では、クライアントデバイス１１０は、記憶されているソフトウェアアプリケーションのグラフィカルユーザインターフェースディスプレイを使用して、管理サーバ１３０によって提供された情報を表示する。上記の例では、当業者であれば理解するように、また下記で説明されるように、それぞれのユーザアカウントが、開発者、クライアントユーザ、または管理者／監視機関に関連付けられてよい。

様々な実施形態に従い、システム１００は、データ、例えば、顔測定情報（例えばＰＤ等）、ユーザアカウント認証情報、および管理サーバ１３０によって維持されている他のデータ、を管理および記憶するためのデータベース管理システム／ストレージ１５０を含む。データベース管理システムおよび／またはストレージは、本明細書において、便宜上単にＤＢＭＳ１５０と称する。ＤＢＭＳ１５０は、様々なモジュールおよびエンジン（図示せず）と通信的に結合されてよい。

ハードドライブ、テープドライブ、フラッシュメモリ、ランダムアクセスメモリ、読出し専用メモリ、ＥＥＰＲＯＭストレージ、ＳＡＰ ＨＡＮＡのようなメモリ内データベース等、ならびにその組み合わせなど、コンピューティングシステムによってアクセス可能な様々な形態のデータストレージまたはリポジトリが、システム１００内で使用可能であることが理解されるべきである。記憶されるデータは、データストア内で、フラットテキストファイルストレージ、リレーショナルデータベース、非リレーショナルデータベース、ＸＭＬ、コンマで区切られた値、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｅｌファイル、または当業者に知られている任意の他の形式、ならびに特定の用途に適するそれらの任意の組み合わせなどの、１つまたは複数の形式でフォーマットされてよい。データストアは、ファイルシステムアクセス、ネットワークアクセス、ＳＱＬプロトコル（例えばＯＤＢＣ）、ＨＴＴＰ、ＦＴＰ、ＮＥＳ、ＣＩＦＳ等、ならびにそれらの任意の組み合わせによるなど、記憶されているデータへの様々な形態のアクセスを提供し得る。

様々な実施形態に従い、クライアントデバイス１１０は、管理サーバ１３０を介してＤＢＭＳ１５０にアクセスするように構成される。様々な実施形態では、ＤＢＭＳ１５０は、データベーススキーマを維持するように構成される。例えば、データベーススキーマは、顔測定値またはユーザアカウント情報に関連付けられたＤＢＭＳ１５０内の列に識別子を維持するように構成されてよい。この態様では、識別子は、上記で説明されたカテゴリに関係する特定の情報を指す。ＤＢＭＳ１５０内のデータベーススキーマは、システム内で任意の好適な形で構成または編成されてよい。上記で説明した例はカテゴリ識別子を特定しているが、任意数の好適な識別子を使用して、本明細書に記載されるシステムに関連するレコードを維持してよい。加えて、データベーススキーマは、システム１００内でレコードデータを維持するために、上記で説明されていない追加的なカテゴリおよび識別子を含んでよい。データベースは、システム１００のユーザに関連する統計およびマーケティング情報を提供することもできる。

上記のデータベーススキーマは、有利に、システムがより効率的に動作できるような形で識別子を編成する。いくつかの実施形態では、データベーススキーマ内の識別子のカテゴリは、関連する管理サーバ１３０の管理モデルを使用して識別子をグループ化することによって効率を向上させる。

様々な実施形態では、管理サーバ１３０は、データおよびソフトウェア命令を記憶、維持、および生成するように構成されたコンピューティング構成要素を含む。例えば、管理サーバ１３０は、１つまたは複数のプロセッサ２４、１つまたは複数のサーバ（図示せず）、ならびに実行するソフトウェアもしくはコードを記憶するための有形の非一時的なメモリデバイス（例えばローカルデータストア（ＤＢＭＳ１５０に加えて））、および／または追加的なデータストアを含むかまたはそれらへのアクセスを有してよい。サーバは、記憶されているソフトウェア命令を実行して様々な実施形態に従う１つまたは複数の処理を行うように構成された、１つまたは複数のコンピューティングデバイスを含んでよい。いくつかの実施形態では、ＤＢＭＳ１５０は、コンピューティング環境１００の少なくとも１つの他の構成要素に情報を提供する動作を行うためのソフトウェア命令を実行するサーバを含み、例えば、通信ネットワーク１４２などのネットワークを通じて、別のデータストアに、または第３者の受信者（例えば、バンキングシステム、第３者ベンダ、情報収集機関等）にデータを提供する。

管理サーバ１３０は、管理サーバ１３０の構成要素の様々な機能を行うように構成された、１つまたは複数のウェブサイト、デジタルポータル、または任意の他の好適なサービスを提供するように構成されてよい。いくつかの実施形態では、管理サーバ１３０は、アプリケーションプログラミングインターフェース（「ＡＰＩ」）を維持し、それを通じて、サーバ１３０によって提供される機能やサービスが、クライアントデバイス１１０によって実行される１つまたは複数のアプリケーションプログラムを通じてアクセスされてよい。様々な実施形態では、管理サーバ１３０は、グラフィカルユーザインターフェース１６８に表示するために、クライアントデバイス１１０上のソフトウェアアプリケーションに情報を提供してよい。

いくつかの実施形態では、管理サーバ１３０は、クライアントデバイス１１０に情報を提供する（例えば、実行されたアプリケーションプログラムに関連付けられたＡＰＩを通じて）。クライアントデバイス１１０は、その情報の一部を、対応するそれぞれのグラフィカルユーザインターフェース１６８またはウェブページを通じて対応するユーザに提示する。

様々な実施形態では、管理サーバ１３０は、管理サーバ１３０によってクライアントデバイス１１０に提供されるサービスに関連する情報を提供または受信するように構成される。例えば、クライアントデバイス１１０は、通信ネットワーク１４２を介して情報を受信し、その情報の一部を、ローカルにアクセス可能な記憶装置ならびに／またはネットワークアクセス可能な記憶装置およびデータストア（例えば、クラウドベースのストレージ）に記憶してよい。例えば、クライアントデバイス１１０は、記憶されている命令（例えば、アプリケーションプログラム、ウェブブラウザ、および／またはモバイルアプリケーション）を実行して、記憶されているデータの一部を処理し、記憶されているデータの一部を、それぞれのユーザへの提示のために描画してよい。管理サーバ１３０は、分散ネットワーク内の対応するノードとして、またはクラウドコンピューティング環境内の対応するネットワーク化されたサーバとして組み込まれてよい、追加的なサーバ（図示せず）を含んでよい。さらに、サーバは、追加的なサーバによる並列実行のために処理の分散を容易にし得る、１つまたは複数の追加的なサーバ（図示せず）と、通信ネットワーク１４２を介して通信してよい。

ＰＤ処理管理
本開示の様々な実施形態では、クライアントデバイス１１０上でユーザのＰＤを測定または推定するための処理が提供される。ここで図２を参照すると、本開示のいくつかの実施形態に従う、深度マップを使用する例示的なＰＤ測定処理２００を説明する流れ図。最初に、ステップ２０２で、少なくとも１つのカメラ（カメラ１２４など）を介して、画像がクライアントデバイス１１０上でユーザによって撮影される。いくつかの実施形態では、ＰＤシステムを使用する前に、ＰＤシステムを使用するための命令（図示されるような、例えば図９の命令９００）がユーザに提供される。いくつかの実施形態では、ユーザの頭部が正確な測定のために適切に位置付けられているかどうか（すなわち、頭部が正確な画像撮影のための位置にあるかどうか）に関するフィードバックがユーザに提供される。そのようなフィードバックは、例えばテキスト、口頭、および／または記号の形式で伝達され、ユーザに頭部および／またはクライアントデバイス１１０を、より遠くに、より近くに、上、下、右、左、斜めになどの様々な方向に動かすように、時計回りに回転させるもしくは反時計回りに回転させるように、および／または、クライアントデバイス１１０の画面上の点もしくは領域を見る、もしくは画面外を見るように指示する。フィードバックは、ユーザが頭部および／または眼で追うことのできる１つまたは複数のインジケータを、クライアントデバイス１１０の画面上に含むことができる。ユーザはフィードバックを追いながら、ユーザは、最終的に正確な測定のために頭部を位置付ける。例として、図１０および図１１は、「ドットに焦点を合わせて下さい。ドットが動いたら追って下さい。」とユーザに指示するテキスト命令を伴う例示的なインジケータ１０００を示す。インジケータがクライアントデバイス１１０の画面上で開始位置から終了位置へと移動するのに伴い、ユーザは、インジケータに合わせて自身の頭部および／または眼を動かす。画像撮影の前に、頭部および／または眼および／または少なくとも１つのカメラ（カメラ１２４など）を有するクライアントデバイス１１０をさらに移動させるために、例えば図１０に示される「もっと離して下さい」などの追加的なフィードバックがユーザに伝えられ得る。ユーザの頭部が正確な測定のために適切に位置付けられると、少なくとも１つのカメラ（カメラ１２４など）を介して、画像がクライアントデバイス１１０上でユーザによって撮影される。上記のフィードバックは、ステップ２０２との関連で発生してよい。様々な実施形態に従い、撮影される画像は２Ｄ画像および対応する深度マップである。いくつかの実施形態では、深度マップは、ＴｒｕｅＤｅｐｔｈ（登録商標）カメラを使用して取得される。例として、ＴｒｕｅＤｅｐｔｈ（登録商標）カメラが、赤外線のドット（例えば３０，０００個のドット）のアレイを既知のパターンで被検体上に発し、赤外線センサが、それらのドットがどのようにシーンと相互作用するかを記録し、その情報から３Ｄ構造が生成される。ＴｒｕｅＤｅｐｔｈ（登録商標）カメラは、起動のための近接センサと、出力光レベルを設定するための周辺光センサとを含んでいる。３Ｄ情報を使用して、撮影された物体の物理的大きさを決定してよい。ＴｒｕｅＤｅｐｔｈ（登録商標）カメラがこの実施形態との関連で開示されるが、当業者は、様々な他の深度感知カメラが本明細書に記載されるシステムおよび方法における処理を行うために使用されてよいことを理解するであろう（例えば、Ｔｈｅ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｐｔｈ Ｃａｍｅｒａ（商標）、Ｉｎｔｅｌ ＲｅａｌＳｅｎｓｅ（登録商標）、Ｋｉｎｅｃｔ（登録商標）深度カメラ、Ｄｅｐｔｈ＋Ｍｕｌｔｉ－Ｓｐｅｃｔｒａｌ Ｃａｍｅｒａ（商標）等）。

様々な実施形態では、２Ｄ画像および対応する３Ｄ深度マップは、クライアントデバイス１１０上の記憶ユニットから取得されてよい。いくつかの実施形態では、２Ｄ画像および対応する３Ｄ深度マップ情報は、本明細書に記載される処理を行うためにクライアントデバイス１１０によって受信されてよい。２Ｄ画像および対応する３Ｄ深度マップは、異なるデバイスによって取得されても、および／または本明細書に記載されるステップと非同時式に生成されてもよいことが認識されるはずである。

様々な実施形態では、ステップ２０３で、複数の顔メッシュランドマークを使用して、粗い瞳孔位置特定が得られる。様々な実施形態に従い、ステップ２０２で特定された３Ｄ情報を使用して眼孔の中心に近い（例えば瞳孔から０～５ｍｍ）顔メッシュ頂点の座標を生成し、瞳孔のおよその位置を得る。例として、頂点１０９５、１０９４、１１０７、および１１０８は、右の瞳孔に近く、頂点１０７６、１０７５、１０６２、および１０６３は、左の瞳孔に近い。当業者であれば、上記の例で特定される頂点は、決定される実際の頂点とは異なり、個人に対して生成される座標に基づいて変動することを理解するであろう。図３は、本開示のいくつかの実施形態に従い、顔メッシュ９０５（複数の頂点９２０に接続された複数の線９１０によって表される）が重畳されたユーザの瞳孔領域の例示的画像であり、顔メッシュは、主要頂点９５０および主要頂点の重心９５１を示している。いくつかの実施形態では、瞳孔ごとに、各瞳孔に対応する頂点の３Ｄ重心を算出して、対応する重心の２Ｄ画像座標を決定する。様々な実施形態では、この算出は、ＳｃｅｎｅＫｉｔ（登録商標）のｐｒｏｊｅｃｔＰｏｉｎｔ（＿：）法、またはあるシーンの３Ｄ世界座標系からレンダラの２Ｄ画素座標系に１つまたは複数の点を投影する他の方法によって行われる。当業者であれば、３Ｄ重心の対応する２Ｄ画像座標を決定するための算出は任意の好適なアプリケーションまたはシステムによって行われてよいことを認識するであろう。

ステップ２０４で、様々な実施形態に従って、ステップ２０３で得られた初期瞳孔位置が、２Ｄ中心－周辺フィルタを用いる畳み込みを使用して精緻化される。この文脈では、畳み込みは、カーネルとして既知であるテストパターンの外見に最もよく一致する画像中の領域を見つけるための方法と考えることができる。いくつかの実施形態では、白い環によって囲まれた暗色の円を有するカーネルを使用して、そのカーネルに似ている画像内の領域を見つける。様々な実施形態では、畳み込み法は、位置特定すべきパターンが未知の大きさを持つ場合、様々な大きさのカーネルを用いて複数回実行されてよい。いくつかの実施形態では、瞳孔サイズの推定値（例えば、直径およそ１２ｍｍ；およそ＝＋／－２ｍｍ）を使用して、関連する顔メッシュを使用してカメラからのおよその眼の距離を決定してよい。瞳孔サイズの推定値および以下の式を使用して、虹彩が画像中でどれほどの大きさに見えるかの予測を行うことができる：
虹彩の画素直径Ｄは、以下によって与えられ、

ここで、ｆは２Ｄカメラの焦点距離であり、ｚはカメラと瞳孔との間の距離であり、ｄは虹彩の直径であり、これはおよそ１２ｍｍと仮定される。

様々な実施形態では、カーネルは次のようにして構築される。カーネルは、

の大きさを持つ直径Ｄの中央円形領域と、

の大きさを持つ直径１．５Ｄの周辺円形領域とを有する。この例では、各大きさは、均一な画像に対してカーネルがゼロの応答を発生するように選定される。畳み込みは、初期推定値の周囲の３Ｄ×３Ｄの領域内で適用され、最も強い応答を与えるこの領域内の位置が、精緻化された推定とみなされる。

図４（ａ）～４（ｃ）は、本開示のいくつかの実施形態に従う、ステップ２０４の２Ｄ画像での畳み込みを使用して初期瞳孔位置を精緻化する例示的な図解表現であり、図４Ａは、中心－周辺構造を持つフィルタカーネル（またはカーネル）を示し、図４Ｂは、カーネルに対して最大の応答を有する場所を示す十字記号を伴う円９９０を有する画像パッチを示し、図４Ｃは、カーネルによる畳み込みへの画像応答を示す。

ステップ２０５で、最終的な瞳孔位置精緻化ステップにおいて、虹彩の正確な境界が推定され、その境界のロバストフィットが円を用いて行われる。様々な実施形態に従い、その前の２０４における位置特定ステップで得られた結果を中心とする、１．５Ｄ画素幅の領域が検討される。領域ごとに、水平方向勾配カーネルが、行の左半分および右半分に適用される。行の左半分には、［＋１，０，－１］のカーネルが適用され、これは、明から暗への推移に対して強い応答を引き出す。行の右半分には、［－１，０，＋１］のカーネルが適用され、これは、暗から明への推移に対して強い応答を引き出す。各半々の行に対して、最も強い応答を持つ列が、候補境界点として検討される。虹彩の全体は見えないこと、および多くの場合は虹彩の上部が下部よりも多く隠されることを加味するために、領域の中心から上方に３０°未満および領域の中心から下方に４５°に対応する行だけが検討される。

図５は、本開示のいくつかの実施形態に従う、瞳孔領域画像に対するＲＡＮＳＡＣ反復法の例示的な図解である。図５において、実線の円２０００は、虹彩境界の初期推定を示し、実線の十字記号２００１は、虹彩中心の初期推定を示し、塗りつぶしたドット３０１０は、内側値の境界点を示し、白抜きのドット３０２０は、外れ値の境界点を示し、点線の円３０００は、虹彩境界の最終的な推定を示し、点線の十字記号３００１は、虹彩中心の最終的な推定を示す。様々な実施形態に従い、またステップ２０５を続けると、候補境界点が特定されると、それらの点に最もよく一致する円が決定される必要がある。しばしば角膜反射や他の凹凸に起因する偽の境界点があるため、偽陽性を拒否しながら、真のエッジ点のみを使用する方法を見つける必要がある。様々な実施形態では、これは、ＲＡＮＳＡＣ技術を使用して達成される。いくつかの実施形態に従うと、ＲＡＮＳＡＣは、ランダムに選択された点の部分集合にモデルをフィットさせ、最も低い誤差を与えるものを選定することによって機能する。最終的な円モデルによってうまくフィットされない点は外れ値とみなされ、点の残りが「内側値」とみなされる。

ステップ２０６（２０６ａと２０６ｂを総称的に）で、瞳孔中心の座標を３Ｄ座標系と関連付けて、瞳孔中心間の物理的距離を算出する。様々な実施形態では、瞳孔中心間の物理的距離は、ステップ２０６ａで深度マップ法に従って算出されてよい。この実施形態では、ソフトウェアによって提供された画像フレームに対してカメラ較正が使用されて、ｚ座標を得る。様々な実施形態では、このソフトウェアは、Ａｐｐｌｅ ｉＯＳ（商標）またはクライアントデバイス１１０の同様のオペレーティングソフトウェアであってよい。この実施形態では、２Ｄ画像内の瞳孔の精緻化後の位置に対応する値が、深度マップ内で決定されてよい。

代替として、ステップ２０６ｂで様々な実施形態に従って、ある手順を使用して、瞳孔中心に対応する３Ｄ顔メッシュ上の点を決定してよい。この実施形態では、ある画像座標に対する光線が発射され、この光線が顔メッシュと交差する点の３Ｄ世界座標が返される。

ステップ２０６（２０６ａおよび２０６ｂを総称的に）を参照すると、様々な実施形態に従い、Ａｐｐｌｅ ｉＯＳ（商標）によって提供される変換を使用して、それらの３Ｄ瞳孔点を、顔を中心とする座標系で表すことができ、この座標系では、ｘ＝０が顔の正中線に対応し、ｘ軸が頭部の横軸に対応する。そして、両眼ＰＤは、瞳孔位置間のｘ距離であり、単眼ＰＤは、各瞳孔位置とゼロとの間のｘ距離である。

図６は、本開示のいくつかの実施形態に従う、遠用ＰＤを測定または推定するための処理の例示的な図解である。ステップ２０７で、画像がカメラ１２４から撮影される距離に基づいて、ＰＤに対する補正が行われる。例えば、カメラ１２４を備えたクライアントデバイス１１０（モバイルデバイスなど）が腕の長さに持たれ、これは約４００ｍｍに対応する。その個人がクライアントデバイス１１０の画面／ディスプレイ１６８を注視している場合、その者のＰＤは、正確なＰＤ決定のために最も適する値である遠用距離で注視しているときのＰＤよりも低くなる。しばしば、固定値を加算することによって近用ＰＤが遠用ＰＤに変換される。しかし、この例では、被検体からの注視点距離が既知であり、より原理に基づいた補正を行うことができる。いくつかの実施形態では、眼球横半径は例えば１２ｍｍと仮定することができる。すると、眼球中心座標は、カメラ座標と瞳孔中心座標とによって画定される光線をもう１２ｍｍ伸ばすことによって算出することができる。いくつかの実施形態では、眼球横半径は、１０ｍｍ～１４ｍｍの範囲、またはその範囲内の任意の中間値である。いくつかの実施形態では、眼球横半径は、１０ｍｍ、１１ｍｍ、１２ｍｍ、１３ｍｍ、または１４ｍｍである。いくつかの実施形態では、眼球横半径は、およそ１２ｍｍである（「およそ」は＋／－２ｍｍである）。この処理が図６に示されている。

様々な実施形態では、潜在的な外れ値を破棄するために、複数の測定値を集約することが望ましいことがあり得る。中央の両眼ＰＤ測定値を取ることが、これを行う最も単純な方法である。単眼測定の場合、左眼（左目）（「ＯＳ（Oculus sinister）」）値および右眼（右目）（「ＯＤ（Oculus dexter）」）値の中央値を取ると、それらが中央両眼値に加算されるのを防ぐ可能性が高い。ＯＳおよびＯＤのＰＤ値に割り当てられた両眼ＰＤの割合を求め、中央値の割合を算出し、次いでそれに中央両眼ＰＤ値を乗算することがより適切である。様々な実施形態に従うと、ＰＤ測定値は、瞳孔計測定値の０．５ｍｍ以内である。いくつかの実施形態では、ＰＤ定値は、瞳孔計測定値の１．０ｍｍ以内である。

図７は、本開示のいくつかの実施形態に従う、ＰＤ計算インターフェース８００の例である。「方法Ａ」は、本明細書に記載される深度マップ法を指す。「方法Ｂ」は、これも本明細書に記載される顔メッシュ法を指す。

図８～１１は、本開示のいくつかの実施形態に従う、ＰＤを測定するためのそれぞれ例示的インターフェース８０１、８０２、８０３、および８０４であり、図１２は、本開示のいくつかの実施形態に従うＰＤ計算インターフェース８０５の別の例を示す。そのようなインターフェースは、クライアントデバイス１１０の画面／ディスプレイ１６８に見られることができ、またＰＤ情報を必要とする眼鏡などの製品を検討する、選択する、および／または購入するようにユーザを誘導するための、１つまたは複数のハイパーリンク、ウェブリンク、画像リンクおよび／またはサービスボタン（例えば、「注文に追加する」ボタン１０１０または他の購入に関係するボタン）を含むこともある。

本開示の様々な実施形態では、システム１００は、クライアントデバイス１１０の特定のユーザの顔測定データ（例えばＰＤ等）を記憶するように構成されてよい。様々な実施形態では、それぞれのユーザの顔測定データは、ユーザアカウントに関連付けられてよい。いくつかの実施形態では、クライアントデバイス１１０は、ユーザアカウントに関連付けられたＤＢＭＳ１５０に記憶するために、顔測定データを管理サーバ１３０に送信してよい。様々な実施形態では、顔測定データは、顔測定処理を改良するために、消費者の満足度スコアまたは評価と集約されてよい。いくつかの実施形態では、消費者の満足度スコアに関連付けられた顔測定データ、購入履歴、または特定の製品の大きさ、厚み、および／もしくは寸法などの他の識別特性に基づいて、製品の推薦がクライアントデバイス１１０のユーザに提供される。

本開示は、それらの方法を実施するための方法および装置の形態で具現化され得る。本開示は、セキュアデジタル（「ＳＤ」）カード、ＵＳＢフラッシュドライブ、ディスケット、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ハードドライブ、または任意の他の非一時的な機械可読記憶媒体などの有形の媒体に具現化されたプログラムコードの形態で具現化されることも可能であり、プログラムコードが、コンピュータなどの機械にロードされて実行されると、機械は、本開示を実施するための装置になる。本開示はまた、記憶媒体に記憶されるか、機械にロードされるおよび／または機械によって実行されるか、または電気配線またはケーブルを介して、光ファイバーを通じて、または電磁気放射を介するなど、何らかの伝送媒体を通じて送信されるかに拘らず、プログラムコードの形態で具現化されることも可能であり、プログラムコードが、コンピュータなどの機械にロードされて実行されると、機械は、本開示を実施するための装置になる。汎用プロセッサ上で実装される場合、プログラムコードセグメントがプロセッサと組み合わさって、特定の論理回路と同様に動作する固有のデバイスを提供する。

上記の実施形態は実装の可能な例に過ぎず、本開示の原理の明確な理解を述べたに過ぎないことが強調されてよい。本開示の主旨および原理から著しく逸脱することなく、多くの変形および変更が本開示の上記の実施形態になされてよい。すべてのそのような変更および変形は、本開示の範囲内に含まれ、以下の特許請求の範囲によって保護されることが意図される。

本明細書は多くの具体的詳細を含んでいるが、それらは、開示または特許請求される内容の範囲に対する制限と解釈されるべきではなく、特定の開示の特定の実施形態に固有であり得る特徴の説明と解釈されるべきである。別々の実施形態の文脈で本明細書に記載される特定の特徴は、単一の実施形態に組み合わせて実施されてもよい。逆に、単一の実施形態の文脈で説明されている様々な特徴が、別々に複数の実施形態として、または任意の好適なサブコンビネーションで実施されてもよい。さらに、特徴は上記で特定の組み合わせで説明され、最初はそのようなものとして特許請求されることもあるが、特許請求される組み合わせからの１つまたは複数の特徴が、場合によっては、その組み合わせから外されてよく、特許請求される組み合わせがサブコンビネーションまたはサブコンビネーションの変形を対象としてもよい。

様々な実施形態が説明されたが、説明された実施形態は、例示的なものに過ぎないこと、および、主題の範囲には、その検討から当業者に当然に想到される最大限の範囲の等価物、多くの変形および変更が与えられるべきであることが理解されるべきである。

１００ システム
１１０、１１０－１、１１０－２、１１０－３ クライアントデバイス
１４２ 通信ネットワーク
５０、５０－１、５０－２ コンピュータシステムネットワーク
１３０ 管理サーバ
１５０－１、１５０－２ データ記憶ユニット
１５０ データベース管理システム、ＤＢＭＳ
２４ 処理装置、プロセッサ
２８ ＰＤ測定ＧＵＩ
３０ クライアントユーザＧＵＩ
３２ グラフィカルユーザインターフェース、ポータル
５４ リモートコンピュータ
３４ ローカルコンピュータ
１０２ プロセッサ
１０４ 通信インフラストラクチャ
１６８ ディスプレイ、グラフィカルユーザインターフェース
１０８ 主メモリ
１１０ 二次メモリ
１１４ 取り外し可能記憶ドライブ
１１６ 取り外し可能記憶ユニット
１１８ 取り外し可能記憶ユニット
１２０ インターフェース
１２２ スピーカ
１２３ 発振器
１２４ カメラ
１２５ 発光ダイオード
１２６ マイクロフォン
１２８ 入力装置
１２９ 全地球測位システムモジュール
１６９ 通信インターフェース
１０００ インジケータ
１０９５、１０９４、１１０７、１１０８、１０７６、１０７５、１０６２、１０６３ 頂点
９０５ 顔メッシュ
９２０ 頂点
９１０ 線
９５０ 主要頂点
９５１ 重心
９９０ 円
２０００ 円
２００１ 十字記号
３０１０ ドット
３０２０ ドット
３０００ 円
３００１ 十字記号
８００ ＰＤ計算インターフェース
８０１、８０２、８０３、８０４ インターフェース
８０５ ＰＤ計算インターフェース
１０１０ ボタン

Claims (20)

1. 瞳孔間距離（「ＰＤ」）システムを動作させる方法であって、
   前記瞳孔間距離システムの少なくとも１つのカメラで、被検体の顔の第１の２Ｄ画像および対応する３Ｄ深度マップを撮影するステップと、
   前記第１の２Ｄ画像および対応する３Ｄ深度マップを使用して、瞳孔位置特定情報を決定するステップと、
   前記瞳孔位置特定情報に基づいて１つまたは複数の瞳孔位置を精緻化するステップと、
   １つまたは複数の瞳孔中心座標を決定するステップと、
   それぞれの瞳孔の中心間の前記被検体の前記ＰＤを計算するステップと、を含む方法。
2. 前記被検体上の１つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して前記瞳孔位置特定情報を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する、請求項１に記載の方法。
3. 前記１つまたは複数の瞳孔位置が、１つまたは複数のカーネルと１つまたは複数の２Ｄ中心－周辺フィルタとを用いる畳み込みを使用して精緻化される、請求項１に記載の方法。
4. 前記１つまたは複数のカーネルが、およそ１２ｍｍの瞳孔推定サイズを使用する、請求項３に記載の方法。
5. 前記ＰＤを計算するステップが、前記２Ｄ画像内の前記精緻化された１つまたは複数の瞳孔位置に対応する深度マップ値を使用する、請求項１に記載の方法。
6. 前記ＰＤを計算するステップが、それぞれの瞳孔の中心に対応する３Ｄ顔メッシュ上の点を使用することによって決定される、請求項１に記載の方法。
7. 前記第１の２Ｄ画像が前記少なくとも１つのカメラから撮影される距離を使用して、前記計算されたＰＤに対する補正を行うステップをさらに含む、請求項１に記載の方法。
8. コンピュータ実行可能命令を含むプログラムであって、プロセッサによって実行されたとき、前記コンピュータ実行可能命令が前記プロセッサに、
   少なくとも１つのカメラから、被検体の顔の第１の２Ｄ画像および対応する３Ｄ深度マップを取得することと、
   前記第１の２Ｄ画像および対応する３Ｄ深度マップを使用して、瞳孔位置特定情報を決定することと、
   前記瞳孔位置特定情報に基づいて１つまたは複数の瞳孔位置を精緻化することと、
   １つまたは複数の瞳孔中心座標を決定することと、
   それぞれの瞳孔の中心間の前記被検体の前記ＰＤを計算することと、
   を行わせる、プログラム。
9. 前記被検体の１つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して前記瞳孔位置特定情報を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する、請求項８に記載のプログラム。
10. 前記１つまたは複数の瞳孔位置が、１つまたは複数のカーネルと１つまたは複数の２Ｄ中心－周辺フィルタとを用いる畳み込みを使用して精緻化される、請求項８に記載のプログラム。
11. 前記１つまたは複数のカーネルが、およそ１２ｍｍの瞳孔推定サイズを使用する、請求項９に記載のプログラム。
12. 前記ＰＤを計算することが、前記２Ｄ画像内の前記精緻化された１つまたは複数の瞳孔位置に対応する深度マップ値を使用する、請求項８に記載のプログラム。
13. 前記ＰＤを計算することが、それぞれの瞳孔の中心に対応する３Ｄ顔メッシュ上の点を使用することによって決定される、請求項８に記載のプログラム。
14. 前記コンピュータ実行可能命令が前記プロセッサにさらに、前記第１の２Ｄ画像が前記少なくとも１つのカメラから撮影される距離を使用して、前記計算されたＰＤに対する補正を行わせる、請求項８に記載のプログラム。
15. 瞳孔間距離（「ＰＤ」）システムであって、
    モバイルデバイスを備え、前記モバイルデバイスが、
    少なくとも１つのカメラと、
    前記少なくとも１つのカメラから得られる画像および情報に関連する情報を記憶するメモリと、
    プロセッサであって、
    前記少なくとも１つのカメラから、被検体の顔の２Ｄ画像および対応する３Ｄ深度マップを取得することと、
    前記２Ｄ画像および対応する３Ｄ深度マップを使用して、瞳孔位置特定情報を決定することと、
    前記瞳孔位置特定情報に基づいて１つまたは複数の瞳孔位置を精緻化することと、
    １つまたは複数の瞳孔中心座標を決定することと、
    前記被検体のそれぞれの瞳孔の中心間の前記ＰＤを計算することと、
    を行うように構成されたプロセッサと、
    を備えている、瞳孔間距離（「ＰＤ」）システム。
16. 前記被検体の１つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して前記瞳孔位置特定を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する、請求項１５に記載のＰＤシステム。
17. 前記１つまたは複数の瞳孔位置が、１つまたは複数のカーネルと１つまたは複数の２Ｄ中心－周辺フィルタとを用いる畳み込みを使用して精緻化される、請求項１５に記載のＰＤシステム。
18. 前記１つまたは複数のカーネルが、およそ１２ｍｍの瞳孔推定サイズを使用する、請求項１７に記載のＰＤシステム。
19. 前記ＰＤを計算することが、前記２Ｄ画像内の前記精緻化された１つまたは複数の瞳孔位置に対応する深度マップ値を使用する、請求項１５に記載のＰＤシステム。
20. 前記ＰＤを計算することが、それぞれの瞳孔の中心に対応する３Ｄ顔メッシュ上の点を使用することによって決定される、請求項１５に記載のＰＤシステム。