JP6391685B2 - 仮想オブジェクトの方向付け及び可視化 - Google Patents

Description

本発明は、仮想オブジェクトの方向付け及び可視化に関する。

[0001]モバイルデバイスの１つの現在の用途は、現実世界の環境の「仮想的な」視点（パースペクティブ）を可能にすることである。現在、モバイルデバイス上で使用することができるいくつかのアプリケーションは、デバイスからのカメラ入力及びＧＰＳ座標を使用して、現実世界におけるアイテム（通常、建物）の２次元画像をレンダリングする。これらのオブジェクトは、一般的に、任意の位置で表示可能であり、外観は通常３次元であるが、モバイルデバイスのフラットディスプレイ上にレンダリングされる。

[0002]複合現実は、仮想オブジェクトが現実世界の物理的環境と混合されることを可能にする技術である。透過型ヘッドマウントディスプレイ（ＨＭＤ）デバイスは、ユーザーが着用して、実際のオブジェクトとユーザーの視野に表示された仮想オブジェクトとの混合画像を見ることができる。

本発明は、仮想オブジェクトの方向付け及び可視化を可能にする。

[0003]視点（パースペクティブ）（遠近感、ｐｅｒｓｐｅｃｔｉｖｅ）がロックされた仮想オブジェクトの作成を可能にする技術が提示される。仮想オブジェクトは、仮想オブジェクトが作成された場所（ｌｏｃａｔｉｏｎ）、位置（ｐｏｓｉｔｉｏｎ）及び向き（ｏｒｉｅｎｔａｔｉｏｎ）と同一又はそれに近い場所、位置及び向きで、消費デバイス（ｃｏｎｓｕｍｐｔｉｏｎ ｄｅｖｉｃｅ）を用いて別のユーザーによって消費する（見る、聴く、インタラクトする）ことができる。オブジェクトは、その作成者によって定義された、１つ、いくつか又は多くの可能な消費の場所、位置及び向きを有することができる。

[0004]１つの態様では、共有の視点（パースペクティブ）がロックされた（ｓｈａｒｅｄ ｐｅｒｓｐｅｃｔｉｖｅ−ｌｏｃｋｅｄ）仮想オブジェクトを作成及び／又は消費することができる装置が提供される。装置の場所、向き及び位置が決定される。共有の視点（パースペクティブ）がロックされた仮想オブジェクトを消費するとき、レンダリング位置データを含む共有仮想オブジェクトが受け取られる。消費デバイスの視野が許容可能に一致すると判断される位置及び向きにある場合、共有仮想オブジェクトが消費デバイスに表示される。

[0005]共有の視点（パースペクティブ）がロックされた仮想オブジェクトを作成する際、キャプチャーデバイスのグローバル座標の場所、位置及び方向が決定され、共有仮想オブジェクトのレンダリングデータが作成される。レンダリングデータは、共有仮想オブジェクトのレンダリング位置データを含む。レンダリング位置データは、少なくともグローバル座標位置、並びにローカル座標系に関する仮想オブジェクトの少なくとも１つの位置及び少なくとも１つの向きを含んでもよい。

[0006]この概要は、詳細な説明において以下でさらに説明する概念の選択を簡略化された形で紹介するために提供される。この概要は、特許請求される主題の主要な特徴又は不可欠な特徴を特定することを意図するものではなく、特許請求される主題の範囲を決定する際の助けとして使用されることも意図されていない。

[0007]本技術の基本的な実施形態を示す方法である。 [0008]図１Ａの方法の態様を実行するユーザーを示す。 図１Ａの方法の態様を実行するユーザーを示す。 図１Ａの方法の態様を実行するユーザーを示す。 [0009]現実世界の環境を見るユーザーの斜視図である。 [0010]現実世界の環境でキャプチャーデバイスを使用するユーザーの斜視図である。 [0011]図２のユーザーのキャプチャーデバイス上の、この場合は画像である仮想オブジェクトの図である。 [0012]透過型ヘッドマウントディスプレイデバイスを通した図２のユーザーの視界の図である。 [0013]仮想マーカーに関連付けられる位置におけるユーザーを示す。 [0014]図３Ｂにおけるキャプチャーされた仮想オブジェクトを表示する透過型ヘッドマウントディスプレイデバイスのユーザーの図である。 [0015]透過型ヘッドマウントディスプレイデバイスを介して図２のシーンを見ているユーザーの第２の斜視図である。 [0016]透過型ヘッドマウントディスプレイデバイスの視界を介したワールドロックされた（ｗｏｒｌｄ−ｌｏｃｋｅｄ）仮想オブジェクトの表示である。 [0017]ヘッドマウントディスプレイユニットの１つの実施形態の斜視図である。 [0018]ヘッドマウントディスプレイユニットの１つの実施形態の一部の側面図である。 [0019]ヘッドマウントディスプレイユニットの構成要素の１つの実施形態のブロック図である。 [0020]ヘッドマウントディスプレイユニットに関連付けられる処理ユニットの構成要素の１つの実施形態のブロック図である。 [0021]モバイル又はタブレットコンピューティングデバイスの１つの実施形態のブロック図である。 [0022]本技術による中央サービスを実施するためのシステムのブロック図である。 [0023]ユーザー又は第三者によるコンテンツの作成を示すフローチャートである。 [0024]本技術による、ユーザーによって作成されたコンテンツの表示を説明するフローチャートである。 [0025]図１２のステップ１２２２を示すフローチャートである。

[0026]ワールド空間における視点（パースペクティブ）がロックされた仮想オブジェクトの作成を可能にする技術が提示される。仮想オブジェクトは、仮想オブジェクトが作成される場所、位置及び向きと同一又は近い場所、位置及び向きにおいて消費デバイスを有する別のユーザーによって消費する（見る、聴く又はインタラクトする）ことができる。オブジェクトは、その作成者によって定義された、１つの、少数の又は多くの許容される消費の場所、位置及び向きを有することができる。

[0027]本技術は、作成者が視聴者にオブジェクトを知覚してほしいと望む方法についての１つ又は複数の視点（パースペクティブ）に対してオブジェクトの消費者をロックするオブジェクトをユーザーが作成し、共有することを可能にする。

[0028]図１Ａは、定義された向き及び視覚化をもって仮想オブジェクトをキャプチャーして共有するための、本技術の第１の実施形態を示す方法である。図１Ａは、コンテンツを作成するユーザーを示す図１Ｂから１Ｄに関して説明される。ステップ５０では、作成デバイスの位置、向き及び場所が決定される。本明細書に記載されるように、位置、向き、及び場所は、グローバル座標系及びローカル座標系に対して説明することができる。ステップ５２において、コンテンツが作成デバイスによって作成されてキャプチャーされる。作成デバイスは、仮想オブジェクトにおいて提供される、様々な種類のオーディオ／ビジュアルデータ及びユーザーが供給する情報を受け取ることができるキャプチャーデバイスを含んでもよい。ステップ５２において、場所、位置及び向きのデータは、キャプチャーデバイスの視点（パースペクティブ）を定義するために使用することができる。視点（パースペクティブ）は、共有仮想オブジェクトが消費者に対してレンダリングされるべき方法を決定するために使用される。コンテンツの作成及びキャプチャーは、オブジェクトデータをキャプチャーする時間を一致させることを含んでもよい。

[0029]図１Ｂは、現実世界のオブジェクト７０をキャプチャーする作成デバイス、この場合はタブレットコンピューターを持つユーザー２４を示す。ユーザー２４は、グローバル座標系によって規定されるワールド空間内に位置してもよく、ワールド空間内のキャプチャーデバイスの向きや位置はローカル座標系７５に対して規定される。図１Ｃは、現実世界のオブジェクト７０に対するキャプチャーデバイスの視点（パースペクティブ）８０を示す。視点（パースペクティブ）は、ユーザーがキャプチャーデバイス４４を保持する高さに対する高さ８２を有し、並びに、ローカル座標系に対する向きの座標（ｏｒｉｅｎｔａｔｉｏｎ ｃｏｏｒｄｉｎａｔｅｓ）によって記述することができる３次元の位置及び向きを有する。図１Ｂ−１Ｄの例では、ユーザー２４は、現実世界のオブジェクト７０の仮想オブジェクト９０、この場合は２次元写真を作成している。仮想オブジェクト９０は、図１Ｄに示され、作成デバイス４４に関連付けられる視点（パースペクティブ）を有する。ステップ５２において、ユーザーはまた、消費デバイスのための１つ又は複数の許容可能な消費の位置を定義してもよい。１つの態様では、消費デバイスの唯一の消費位置が許容されてもよい。これにより、キャプチャーデバイスと同じ場所、位置及び向きにおいて消費デバイスを提供する。他の例では、多数の許容可能な消費位置が提供されてもよい。

[0030]図１Ｂから１Ｄに示される例は写真の作成を示すが、多くの種類の仮想オブジェクトを、本発明の技術に従って作成することができる。これらは、様々な異なる種類のコンピューティングデバイスや処理デバイスにおいてレンダリングすることができる２次元及び３次元の仮想オブジェクトを含む。

[0031]図１Ａに戻ると、ステップ５４において、仮想オブジェクトのキャプチャーされた情報を含むレンダリングデータは、場所、位置、及び向きに関連付けられ、オブジェクト定義とともに格納される。ステップ５６において、レンダリングデータ及び位置情報を含むオブジェクト定義は、第２のユーザーに送られる。後述するように、ステップ５６は、中央サービスに、又は消費デバイスの第２のユーザーに直接、データを送ることを含むことができる。また、後述するように、消費デバイスは、同様に、図３ｚ−３ｅに関連して以下に説明するように透過型ヘッドマウントディスプレイを含む、多くの様々な種類の処理デバイスであってもよい。

[0032]ステップ５８において、コンテンツが第１のユーザーから消費デバイスにおいて取得される。ステップ６０において、共有仮想オブジェクトの許容可能な消費位置、向き及び場所が決定される。ステップ６２において、消費デバイスの位置、向き及び場所が決定される。１つの実施形態では、消費デバイスは、消費デバイスがキャプチャーデバイスと同じ位置、向き及び場所にあるときに共有仮想オブジェクトをレンダリングすることのみできる。別の実施形態では、消費デバイスは、作成デバイスによって定義される１つ又
は複数の許容可能な位置、向き、及び場所に消費デバイスがあるとき、共有仮想オブジェクトをレンダリングすることができる。第３の実施形態では、消費デバイスは、キャプチャーデバイスによって定義されるような仮想オブジェクトの定義されたレンダリング位置に近接した位置にあるとき、共有仮想オブジェクトをレンダリングすることができ、消費デバイスの許容可能な場所、位置、及び向きは当該レンダリング位置に対して定義される。

[0033]ステップ６４において、消費デバイスが適切な位置でない場合、消費デバイスの位置に対する調整を行うことができる。ステップ６４においてデバイスが適切に配置されている場合、作成デバイスによって定義された位置、向き及び場所においてコンテンツをレンダリングすることができる。

[0034]本技術は、大規模な環境でユーザーに情報を提供する上で適用性を有する。図２は、現実世界の環境１０００を見ているユーザー２４を示し、様々な建物の風景がユーザーに見えている。仮想オブジェクトは、ユーザー２４の視点（パースペクティブ）からレンダリングされた又は図２の建物１００１などの様々な現実世界の物体についての視界、視聴覚データ、又は他の種類の情報を含むことができる。

[0035]図３Ａ−Ｅは、大規模な現実世界の環境における本技術のユーザーを示す。この態様では、ユーザーは、共有仮想オブジェクトを作成することができ、共有仮想オブジェクトが環境内のどこに存在するかを示す他のユーザーのためのマーカーを環境内に残すことができる。これにより、第２のユーザーは、マーカーに近づいて、第１のユーザーによって作成された仮想オブジェクトを消費することができる。

[0036]一例では、休暇中のユーザーが、ランドマークビルの前に立つユーザーの家族との特別なシーンの写真を撮ると仮定する。後の時点で、第２のユーザーは、その場所に到着して、その写真が撮影されたのと同じ位置及び方向でランドマークの前に立つユーザーの家族の仮想オブジェクトの写真を見ることができる。

[0037]図３Ａは、作成デバイス４４をもつユーザー２４が、当該デバイスを使用して、現実世界の物体、この場合は建物１００４から仮想オブジェクトを作成することを示す。図３Ａに示すように、ユーザーは建物１００４に対する視点（パースペクティブ）１００３を有する。図１Ａから１Ｄにおける上記の例のように、ユーザーの視点（パースペクティブ）１００３は、グローバル座標１００５及びローカル座標系１００６によって定義されたワールドの位置（ｗｏｒｌｄ ｌｏｃａｔｉｏｎ）を基準とすることができる。キャプチャーデバイスの視野は１００７で示される。

[0038]ユーザーのキャプチャーデバイス４４の視点（パースペクティブ）１００３における視野が図３Ｂに示される。図３Ｂにおいて、建物１００４の画像を含む仮想オブジェクト１０２０ａが作成されている。グローバル座標系で定義された位置に対してローカル座標系の方向付けを可能にする１つ又は複数の位置関係を用いて、ローカル座標系１００６をグローバル座標系に関連させることができることを理解すべきである。

[0039]図３Ｃは、図２の環境１０００において透過型ヘッドマウントディスプレイデバイスを装着したユーザー２４の斜視図を示す。後述するように、透過型ヘッドマウントディスプレイデバイスは、環境内にレンダリングされた仮想オブジェクトをユーザーが見ることを可能にする、複合現実デバイスである。図３Ｃにおいて、仮想オブジェクト定義１０２０に関連付けられるマーカー１０１０が、透過型ヘッドマウントディスプレイデバイス２の着用者の前に現れる（図３Ｃに示すオブジェクト定義１０２０及び以降で参照されるものは、仮想オブジェクトとしてレンダリングされた形式を除いて、ユーザーに見えないことを理解すべきである）。本技術によれば、ユーザーがマーカー１０１０に関連付け
られる場所に自身を配置すると、ユーザーは、ユーザー２４によって作成された仮想オブジェクトを見たり消費したりすることができる。

[0040]図３Ｄは、マーカー１０１０に関連付けられる位置におけるユーザー２４Ａを示す。ユーザー２４Ａは、透過型ヘッドマウントディスプレイデバイス２を装着しており、図３Ａにおけるユーザー２４の作成デバイスに対して同じ場所、向き、及び位置に自身を配置する。オブジェクト定義１０２０は、レンダリング情報のほか、透過型ヘッドマウントディスプレイデバイス２に対して許容可能なレンダリング位置を定義するグローバル座標及びローカル座標を含む。

[0041]図３Ｅに示すように、透過型ヘッドマウントディスプレイは、許容可能なレンダリング位置において仮想オブジェクト１０２０ａをレンダリングし、この例におけるレンダリング位置は、元の作成デバイスと同じ場所、位置、及び向きを有する。図３Ｅに示すように、ユーザー２４Ａの視点（パースペクティブ）及び図３Ａで作成されたオブジェクト１０２０ａの表示は、仮想オブジェクト１０２０ａを作成したユーザー２４のものと同じである。

[0042]図４Ａ及び図４Ｂは、仮想オブジェクトを作成してレンダリングする際の、第三者から供給された情報の使用を含む、本技術の別の態様を示す。図４Ａは、複数のマーカーが提供された環境１０００における、透過型ヘッドマウントディスプレイデバイス２を装着したユーザーの斜視図である。図４Ａに示す例では、マーカー１０１０が示される。マーカー１０１０は、ユーザーが提供し、別のユーザーと直接共有されるマーカーとすることができる。また、図４Ａには、第三者のデータマーカー１０１５、１０２５、１０３０、１０４０、１０５０が示される。第三者のデータマーカーは、情報を第三者のサービスから引き出すことができる仮想オブジェクトに関連付けられる。後述するように、中央サービスは、多くの第三者サービスのうちの任意のものから情報を収集し、中央サービスによって定義され及び／又は第三者サービスによって提供された情報により定義された位置に仮想オブジェクトを作成してもよい。別の代替例では、第三者サービス自体が環境内で使用するための仮想オブジェクトを定義してもよい。例えば、レストランの所有者は、環境内で表示するための仮想オブジェクトを定義することができ、環境内で使用するための関連するマーカーを定義することができる。このターゲット及び関連する仮想オブジェクトは、消費デバイスのユーザーに対して表示するための不可欠なサービスを提供することができる。

[0043]図４Ｂは、図４Ｂ中のマーカー１０１５に関連付けられる仮想オブジェクト１０１５ａの斜視図を示す。図４Ｂはまた、複数の許容可能な視聴場所、位置及び向きを持つ「ワールドロックされた（ｗｏｒｌｄ ｌｏｃｋｅｄ）」オブジェクトの例を示す。仮想オブジェクト１０１５ａは、建物の側面に配置されるものとして示されており、第三者サービスＹｅｌｐ（登録商標）によって提供される情報を含む。この例では、仮想オブジェクト１０１５ａは、その位置が物理的な物体（建物）に関連付けられる「ワールドロックされた」仮想オブジェクトであり、消費デバイスの位置に対する多くの許容可能なレンダリング場所、向き、及び位置を有することができる。例えば、建物及び仮想オブジェクト１０１５ａに対して図４Ｂにおいてユーザーが移動するとき、仮想オブジェクト１０１５ａは、まだ建物の側面に見えている。したがって、仮想オブジェクト１０１５ａを見るために、多くの許容可能な位置が利用可能である。

[0044]図４Ｂに示す例では、透過型ヘッドマウントディスプレイデバイス２は、ワールドロックされたオブジェクト１０１５ａのレンダリング位置に近接すると考えられる。レンダリング位置に近接する位置は、消費デバイスによるレンダリングが発生する可能性がある視点（パースペクティブ）ロック仮想オブジェクトにおいて定義されるすべての許容可能な場所、位置及び向きを含む。

[0045]上記のように、消費デバイス及び作成デバイスは、本明細書に記載されるような多くの適切な処理デバイスのうちの任意のものを含むことができる。本技術は、複合現実環境内でオブジェクトをレンダリングすることができる透過型ヘッドマウントディスプレイデバイスに使用される場合に特定の適用性を見出す。

[0046]透過型ヘッドマウントディスプレイデバイスが作成デバイスとして使用されるとき、様々な異なる種類の仮想オブジェクトを作成することができる。１つの態様では、仮想オブジェクトは、透過型ヘッドマウントディスプレイデバイスから入手可能なすべての感覚入力の組み合わせを含んでもよく、これらは、消費デバイスがすべての入力をレンダリングすることが可能であると仮定すると、レンダリングされて消費ユーザーに戻される。例えば、作成を行うユーザーは、特定の環境のウォークスルー（ｗａｌｋ−ｔｈｒｏｕｇｈ）を記録することができ、これは、ユーザーが環境を通じて同じ歩行をするときに、再生されて消費ユーザーに戻される。作成イベントのすべての態様は、例えば動画の視野、オーディオ音声などを含むが、消費ユーザーに対して再生される。

[0047]ヘッドマウントディスプレイデバイスは、表示素子と、処理ユニットとを備える。ユーザーが表示素子を介してユーザーの視野（ＦＯＶ）内の現実世界の物体を見ることができるように、表示素子はある程度透明である。表示素子はまた、仮想画像が一緒に表示され、現実世界の物体と混合し得るように、ユーザーの視野に仮想画像を投影する機能を提供する。ユーザーの視野内のどこに仮想画像を挿入するかをシステムが決定できるように、システムは、ユーザーが見ている場所を自動的に追跡する。どこに仮想画像を投影するべきかシステムが認識すると、表示素子を用いて画像が投影される。

[0048]実施形態では、処理ユニットを含むヘッドマウントディスプレイデバイスは、環境内のユーザー、現実世界の物体及び仮想的な３次元オブジェクトのＸ、Ｙ、Ｚ、ピッチ、ヨー及びロール位置を含む複合現実環境のモデルを構築することができる。環境内のユーザーによって着用される各々のヘッドマウントディスプレイデバイスの位置は、環境のモデルに対して及び互いに対して較正することができる。これにより、システムは、環境についての各々のユーザーの視線及びＦＯＶを決定することができる。したがって、仮想画像を各ユーザーに対して表示することができるが、システムは、環境内での視差及び他のオブジェクトからの又は他のオブジェクトによる何らかの閉塞に対して仮想画像を調整して、各ユーザーの視点（パースペクティブ）からの仮想画像の表示を決定する。

[0049]ユーザーは、ユーザーのＦＯＶ内に現れる仮想オブジェクトのうちの１つ又は複数と相互作用することを選択することができる。本明細書で使用するとき、「相互作用」という語は、仮想オブジェクトとのユーザーの物理的相互作用及び言語的相互作用の両方を包含する。物理的相互作用は、所定のアクションを実行するためのシステムに対するユーザー要求として複合現実システムにより認識される、ユーザーの指、手及び／又は他の身体の部分を用いた所定のジェスチャーをユーザーが実行することを含む。このような所定のジェスチャーは、仮想オブジェクトを指さすこと、つかむこと、押すこと及び置くことを含み得るが、これらに限定されない。

[0050]ユーザーはまた、自身の目を用いて仮想オブジェクトと物理的に相互作用することができる。いくつかの例では、視線データは、ユーザーがＦＯＶ内のどこに集中しているかを特定し、したがって、ユーザーが特定の仮想オブジェクト又は現実世界の物体を見ていることを識別することができる。したがって、持続的な視線、又はまばたきもしくはまばたきの連続は、ユーザーが１つ又は複数の仮想オブジェクトを選択する物理的相互作用とすることができる。仮想ディスプレイスレート上のコンテンツを見るなど、ユーザーが仮想オブジェクトを単に見ることは、仮想オブジェクトとのユーザーの物理的相互作用
のさらなる例である。

[0051]ユーザーは、代替的又はさらに、所定のアクションを実行するためのシステムに対するユーザー要求として複合現実システムが認識する、例えば発話された語やフレーズなどの言葉的ジェスチャーを使用して仮想オブジェクトと相互作用してもよい。言語的ジェスチャーは、複合現実環境内で１つ又は複数の仮想オブジェクトと相互作用するための物理的ジェスチャーとともに使用することができる。

[0052]図５−８は、透過型ヘッドマウントディスプレイデバイス２を示す。１つの実施形態では眼鏡の形状であり、ユーザーの頭部に装着され、ユーザーはディスプレイを通して見ることができ、それにより、ユーザーの前にある空間を実際に直視することができる。「実際の直視（ａｃｔｕａｌ ｄｉｒｅｃｔ ｖｉｅｗ）」という語の使用は、物体についての作成された画像表現を見ることではなく、現実世界の物体を人間の目で直接見る能力を指す。例えば、眼鏡を通して部屋を見ることで、ユーザーはその部屋の実際の直視をすることができる一方、テレビ上で部屋についての動画を見ることは、その部屋の実際の直視とはならない。ヘッドマウントディスプレイデバイス２のさらなる詳細が以下に提供される。

[0053]処理ユニット４は、ヘッドマウントディスプレイデバイス２を動作させるために使用される多くの計算能力を含むことができる。実施形態では、処理ユニット４は、１つ又は複数の中央サービス９００に対して（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、又は他の無線通信手段など）無線で通信する。

[0054]ヘッドマウントディスプレイデバイスは表示素子を含むことができる。ユーザーが表示素子を介してユーザーの視野（ＦＯＶ）内の現実世界の物体を見ることができるように、表示素子はある程度透明である。表示素子はまた、仮想画像が現実世界の物体と一緒に現れるように、ユーザーのＦＯＶに仮想画像を投影する機能を提供する。ユーザーのＦＯＶ内のどこに仮想画像を挿入するかをシステムが決定できるように、システムは、ユーザーが見ている場所を自動的に追跡する。どこに仮想画像を投影するべきかシステムが認識すると、表示素子を用いて画像が投影される。

[0055]仮想オブジェクトは、上述の定義１０２０などのオブジェクト定義を含んでもよい。定義は、ディスプレイデバイス２がユーザーの視野内に仮想オブジェクトをレンダリングすることを可能にするデータを含んでもよい。定義の１つの構成要素は、オブジェクトの種類、オブジェクトのサイズ、及び１つ又は複数の最適な表示の視点（パースペクティブ）及び向きを含むことができる。各々の最適な表示の視点（パースペクティブ）は、オブジェクトのユーザービューにとって最適な視点（パースペクティブ）の定義を含むことができる。仮想オブジェクトが共有される場合、本明細書に提示される技術は、オブジェクト定義、並びに、オブジェクトを共有する各ユーザーの場所及び視野を使用して、各ユーザーにとってオブジェクトをレンダリングするのに最適な位置を決定する。

[0056]１つの代替例では、他のコンピューティングシステム及び１つ又は複数の処理ユニットは、部屋又は他の環境内のすべてのユーザー、現実世界の物体及び仮想３次元オブジェクトのｘ、ｙ、ｚデカルト位置を含む環境のモデルを構築するために協働することができる。環境内でユーザーによって着用される各々のヘッドマウントディスプレイデバイスの位置は、環境のモデルに対して及び互いに対して較正することができる。これにより、システムは、環境についての各ユーザーの視線及びＦＯＶを決定することができる。したがって、仮想オブジェクトを各ユーザーに対して表示することができるが、各ユーザーの視点（パースペクティブ）からの仮想オブジェクトの表示は、相対的なものであってもよく、環境内の視差及び他のオブジェクトから又は他のオブジェクトによる何らかの閉塞を調整する。ここではシーンマップと呼ばれる環境のモデル、並びに、環境内のユーザーのＦＯＶ及びオブジェクトのすべての追跡は、協力して又は個別に機能するコンピューティングシステム及びモバイル処理ユニットによって生成することができる。

[0057]図５及び図６は、ヘッドマウントディスプレイデバイス２の透視図及び側面図を示す。図６は、テンプル１０２及びノーズブリッジ１０４を有するデバイスの一部を含む、ヘッドマウントディスプレイデバイス２の右側面図を示す。以下に述べるように、音を記録してその音声データを処理ユニット４に送るためのマイク１１０がノーズブリッジ１０４に内蔵される。ヘッドマウントディスプレイデバイス２の前に、動画及び静止画をキャプチャーすることができる、空間に面したビデオカメラ（ｒｏｏｍ−ｆａｃｉｎｇ ｖｉｄｅｏ ｃａｍｅｒａ）１１２がある。以下に述べるように、これらの画像は処理ユニット４に送られる。

[0058]ヘッドマウントディスプレイデバイス２のフレームの一部はディスプレイを囲む（１つ又は複数のレンズを含む）。ヘッドマウントディスプレイデバイス２の構成要素を示すために、ディスプレイを囲むフレームの一部が描かれていない。ディスプレイは、導光光学素子１１５、不透明度フィルター（ｏｐａｃｉｔｙ ｆｉｌｔｅｒ）１１４、透過型レンズ１１６及び透過型レンズ１１８を含む。１つの実施形態では、不透明度フィルター１１４は透過型レンズ１１６の後ろに整列され、導光光学素子１１５は不透明度フィルター１１４の後ろに整列される。透過型レンズ１１６及び１１８は、眼鏡に使用される標準的なレンズであり、任意の処方箋に対して（処方箋がない場合を含む）作成することができる。導光光学素子１１５は人工光を目に導く。不透明度フィルター１１４及び導光光学素子１１５のさらなる詳細については、２０１２年５月２４日に公開された、「Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ Ｗｈｉｃｈ Ｐｒｏｖｉｄｅｓ Ｓｕｒｒｏｕｎｄ Ｖｉｄｅｏ」と題する米国特許出願公開第２０１２／０１２７２８４号で提供される。

[0059]制御回路１３６は、ヘッドマウントディスプレイデバイス２の他のコンポーネントをサポートする様々な電子装置を提供する。制御回路１３６のさらなる詳細は図７に関して以下に提供される。イヤホン１３０、慣性測定ユニット１３２及び温度センサー１３８がテンプル１０２内にあるか又はこれに取り付けられる。図７に示す１つの実施形態では、慣性測定ユニット１３２（又はＩＭＵ１３２）は、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ及び３軸加速度計１３２Ｃなどの慣性センサーを含む。慣性測定ユニット１３２は、ヘッドマウントディスプレイデバイス２の位置、向き及び急加速（ピッチ、ロール及びヨー）を感知する。ＩＭＵ１３２は、磁力計１３２Ａ、ジャイロ１３２Ｂ及び加速度計１３２Ｃに加えて又はこれらに代えて、他の慣性センサーを含んでもよい。

[0060]マイクロディスプレイ１２０はレンズ１２２を介して画像を投影する。マイクロディスプレイ１２０を実施するために使用することができる様々な画像生成技術がある。例えば、マイクロディスプレイ１２０は、白色光で背後から照らされる光学活性材料によって光源が変調される透過投影技術を使用する際に実施することができる。これらの技術は、通常、強力なバックライトと高い光エネルギー密度を有するＬＣＤ型ディスプレイを使用して実施される。マイクロディスプレイ１２０はまた、外部光が光学活性材料によって反射されて変調される反射技術を用いて実施することができる。照明は、技術に応じて、白色源又はＲＧＢ源のいずれかにより前方に照らされる。デジタル光処理（ＤＬＰ）、シリコン上液晶（ＬＣＯＳ）及びクアルコム社のＭｉｒａｓｏｌ（登録商標）ディスプレイ技術は、すべて、ほとんどのエネルギーが変調構造から反射されて離れる場合に効率的な反射技術の例であり、本システムにおいて使用することができる。また、マイクロディスプレイ１２０は、光がディスプレイによって生成される放射技術（ｅｍｉｓｓｉｖｅ ｔｅｃｈｎｏｌｏｇｙ）を使用して実施することができる。例えば、マイクロビジョン社のＰｉｃｏＰ（商標）ディスプレイエンジンは、透過性素子として機能する小さな画面上の又は目へと直接発信される（例えば、レーザー）、マイクロミラーステアリング（ｍｉｃｒｏ ｍｉｒｒｏｒ ｓｔｅｅｒｉｎｇ）によってレーザー信号を発する。

[0061]導光光学素子１１５は、マイクロディスプレイ１２０からヘッドマウントディスプレイデバイス２を装着したユーザーの目１４０へと光を透過する。導光光学素子１１５はまた、矢印１４２で示されるように、ヘッドマウントディスプレイデバイス２の正面からの光が導光光学素子１１５を通って目１４０へ透過されることを可能にし、これにより、マイクロディスプレイ１２０から仮想オブジェクトを受け取ることに加えて、ヘッドマウントディスプレイデバイス２の前にある空間についての実際の直接的な表示（ｄｉｒｅｃｔ ｖｉｅｗ）をユーザーが行うことを可能にする。したがって、導光光学素子１１５の壁は透過型である。導光光学素子１１５は、第１の反射面１２４（例えば、ミラー又は他の表面）を含む。マイクロディスプレイ１２０からの光は、レンズ１２２を通過し、反射面１２４に入射する。光が内部反射によって導光光学素子１１５を含む平面基板の内部に閉じ込められるように、反射面１２４はマイクロディスプレイ１２０からの入射光を反射する。基板の表面からの何度かの反射の後、閉じ込められた光波は、選択的反射面（ｓｅｌｅｃｔｉｖｅｌｙ ｒｅｆｌｅｃｔｉｎｇ ｓｕｒｆａｃｅｓ）１２６のアレイに達する。図面が混雑するのを避けるために、５つの面のうちの１つが１２６とラベル付けされていることに留意されたい。反射面１２６は、基板のうちのこれらの反射面へ入射する光波をユーザーの目１４０へと結合する。導光光学素子のさらなる詳細については、２００８年１１月２０日に公開された「Ｓｕｂｓｔｒａｔｅ−Ｇｕｉｄｅｄ Ｏｐｔｉｃａｌ
Ｄｅｖｉｃｅｓ」と題する米国特許公開第２００８／０２８５１４０号に見ることができる。

[0062]ヘッドマウントディスプレイデバイス２はまた、ユーザーの目の位置を追跡するためのシステムを含む。以下に説明するように、システムがユーザーのＦＯＶを決定することができるように、システムは、ユーザーの位置及び向きを追跡する。しかし、人間は自分の前にあるすべてのものを知覚することはない。代わりに、ユーザーの目は、環境の一部に向けられる。したがって、１つの実施形態では、システムは、ユーザーのＦＯＶの測定を改善するためにユーザーの目の位置を追跡する技術を含む。例えば、ヘッドマウントディスプレイデバイス２は、アイトラッキングアセンブリ１３４（図６）を含み、これはアイトラッキング照明デバイス１３４Ａ及びアイトラッキングカメラ１３４Ｂ（図７）を有する。１つの実施形態では、アイトラッキング照明デバイス１３４Ａは、目に向かって赤外光を発する１つ又は複数の赤外線（ＩＲ）エミッターを含む。アイトラッキングカメラ１３４Ｂは、反射されたＩＲ光を感知する１つ又は複数のカメラを含む。瞳孔の位置は、角膜の反射を検出する既知の画像化技術によって特定することができる。例えば、２００８年７月２２日発行の「Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｅｙｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ」と題する米国特許第７，４０１，９２０号を参照されたい。このような技術は、追跡カメラに対する目の中心の位置を見つけることができる。一般的に、アイトラッキングは、目の画像を取得すること、及び眼窩内の瞳の位置を決定するためにコンピュータービジョン技術を使用することを含む。１つの実施形態では、目は、通常、一致して移動するので、一方の目の位置を追跡すれば十分である。しかし、各々の目を別個に追跡することが可能である。

[0063]１つの実施形態では、システムは、ヘッドマウントディスプレイデバイス２のレンズの各コーナーに１つのＩＲ ＬＥＤ及びＩＲ光検出器が存在するような矩形配置（ｒｅｃｔａｎｇｕｌａｒ ａｒｒａｎｇｅｍｅｎｔ）の、４つのＩＲ ＬＥＤ及び４つのＩＲ光検出器を使用する。ＬＥＤからの光は目に反射する。２つのＩＲ光検出器の各々で検出される赤外光の量は、瞳の方向を決定する。すなわち、目における白対黒の量は、その特定の光検出器について目に反射する光の量を決定する。したがって、光検出器は、目に
おける白又は黒の量の測定値を有することになる。４つのサンプルから、システムは目の方向を決定することができる。

[0064]別の代替例は、上述のように４つの赤外ＬＥＤを使用することであるが、１つの赤外ＣＣＤがヘッドマウントディスプレイデバイス２のレンズの側面にある。ＣＣＤが眼鏡のフレームから見える目の７５％までを撮像することができるように、ＣＣＤは小さなミラー及び／又はレンズ（魚眼レンズ）を使用する。上述のものと同様に、ＣＣＤは、画像を感知し、コンピュータービジョンを使用して画像を見つける。したがって、図６は１つのＩＲ送信機を有する１つのアセンブリを示すが、図６の構造は、４つのＩＲ送信機及び／又は４つのＩＲセンサーを有するように調整することができる。４つより多くの又は少ないＩＲ送信機及び／又は４つより多くの又は少ないＩＲセンサーを使用することもできる。

[0065]目の方向を追跡するための別の実施形態は、電荷の追跡（ｃｈａｒｇｅ ｔｒａｃｋｉｎｇ）に基づく。この概念は、網膜が測定可能な正の電荷を帯び、角膜が負の電荷を有するという観察に基づく。センサーは、（イヤホン１３０の近くで）ユーザーの耳によって取り付けられて、目が動き回る間電位を検出し、目がしていることをリアルタイムで謳歌的に読み出す。目を追跡するための他の実施形態が使用されてもよい。

[0066]図６は、ヘッドマウントディスプレイデバイス２の半分を示す。ヘッドマウントディスプレイデバイス全体は、透過型レンズの別のセット、別の不透明度フィルター、別の導光光学素子、別のマイクロディスプレイ１２０、別のレンズ１２２、空間に面したカメラ（ｒｏｏｍ−ｆａｃｉｎｇ ｃａｍｅｒａ）、アイトラッキングアセンブリ、マイクロディスプレイ、イヤホン、及び温度センサーを含み得る。

[0067]図７は、ヘッドマウントディスプレイデバイス２の様々なコンポーネントを示すブロック図である。図８は、処理ユニット４の様々なコンポーネントを説明するブロック図である。ヘッドマウントディスプレイデバイス２は、そのコンポーネントが図７に示され、１つ又は複数の仮想オブジェクトを現実世界のユーザーの視野とシームレスに融合することによって、ユーザーに複合現実体験を提供するために使用される。また、図７のヘッドマウントディスプレイデバイスのコンポーネントは、様々な状態を追跡する多くのセンサーを含む。ヘッドマウントディスプレイデバイス２は、処理ユニット４から仮想オブジェクトに関する指示を受け取り、センサー情報を処理ユニット４に提供する。処理ユニット４は、そのコンポーネントが図７に示され、ヘッドマウントディスプレイデバイス２からセンサー情報を受け取り、情報及びデータを中央サービス９００（図１Ａ）とやりとりする。情報及びデータのやり取りに基づいて、処理ユニット４は、いつどこでユーザーに仮想オブジェクトを提供し、それに応じて図４のヘッドマウントディスプレイデバイスに命令を送るかを決定する。

[0068]図７のコンポーネントのうちのいくつか（例えば、空間に面したカメラ１１２、アイトラッキングカメラ１３４Ｂ、マイクロディスプレイ１２０、不透明度フィルター１１４、アイトラッキング照明１３４Ａ、イヤホン１３０、及び温度センサー１３８）は、これらのデバイスの各々が２つあることを示すために陰影で示され、１つはヘッドマウントディスプレイデバイス２の左側用であり、もう１つはヘッドマウントディスプレイデバイス２の右側用である。図４は、電力管理回路２０２と通信する制御回路２００を示す。制御回路２００は、プロセッサー２１０、メモリー２１４（例えば、ＤＲＡＭ）と通信するメモリーコントローラー２１２、カメラインターフェイス２１６、カメラバッファー２１８、ディスプレイドライバー２２０、ディスプレイフォーマッタ２２２、タイミング生成器２２６、ディスプレイ出力インターフェイス２２８、及びディスプレイ入力インターフェイス２３０を含む。

[0069]１つの実施形態では、制御回路２００のすべてのコンポーネントは、専用線又は１つもし又は複数のバスを介して互いに通信する。別の実施形態では、制御回路２００のコンポーネントの各々はプロセッサー２１０と通信する。カメラインターフェイス２１６は、２つの空間に面したカメラ１１２に対するインターフェイスを提供し、空間に面したカメラ１１２から受け取った画像をカメラバッファー２１８に記憶する。ディスプレイドライバー２２０はマイクロディスプレイ１２０を駆動する。ディスプレイフォーマッタ２２２は、マイクロディスプレイ１２０上に表示される仮想オブジェクトに関して、情報を不透明度制御回路２２４に提供し、不透明度制御回路２２４は不透明度フィルター１１４を制御する。タイミング生成器２２６は、システムのためのタイミングデータを提供するために使用される。ディスプレイ出力インターフェイス２２８は、空間に面したカメラ１１２からの画像を処理ユニット４に提供するためのバッファーである。ディスプレイ入力インターフェイス２３０は、マイクロディスプレイ１２０に表示される仮想オブジェクトなどの画像を受け取るためのバッファーである。ディスプレイ出力インターフェイス２２８及びディスプレイ入力インターフェイス２３０は、処理ユニット４に対するインターフェイスであるバンドインターフェイス２３２と通信する。

[0070]電力管理回路２０２は、電圧調整器２３４、アイトラッキング照明ドライバー２３６、音声ＤＡＣ及び増幅器２３８、マイクプリアンプ（ｍｉｃｒｏｐｈｏｎｅ ｐｒｅａｍｐｌｉｆｉｅｒ）及び音声ＡＤＣ２４０、温度センサーインターフェイス２４２、並びにクロック発生器２４４を含む。電圧調整器２３４は、バンドインターフェイス２３２を介して処理ユニット４から電力を受け取り、その電力をヘッドマウントディスプレイデバイス２の他のコンポーネントに提供する。アイトラッキング照明ドライバー２３６は、上記のように、アイトラッキング照明１３４ＡのためのＩＲ光源を提供する。音声ＤＡＣ及び増幅器２３８は、音声情報をイヤホン１３０に出力する。マイクプリアンプ及び音声ＡＤＣ２４０は、マイク１１０のためのインターフェイスを提供する。温度センサーインターフェイス２４２は、温度センサー１３８のためのインターフェイスを提供する。電力管理回路２０２はまた、電力を提供し、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ及び３軸加速度計１３２Ｃから戻されるデータを受け取る。

[0071]図８は、処理ユニット４の様々なコンポーネントを説明するブロック図である。図８は、電力管理回路３０６と通信する制御回路３０４を示す。制御回路３０４は、中央処理ユニット（ＣＰＵ）３２０、グラフィック処理ユニット（ＧＰＵ）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリー３３０（例えば、ＤＲＡＭ）と通信するメモリーコントローラー３２８、フラッシュメモリー３３４（又は他の種類の不揮発性ストレージ）と通信するフラッシュメモリーコントローラー３３２、バンドインターフェイス３０２及びバンドインターフェイス２３２を介してヘッドマウントディスプレイデバイス２と通信するディスプレイ出力バッファー３３６、バンドインターフェイス３０２及びバンドインターフェイス２３２を介してヘッドマウントディスプレイデバイス２と通信するディスプレイ入力バッファー３３８、マイクに接続するための外部マイクコネクター３４２と通信するマイクインターフェイス３４０、無線通信デバイス３４６に接続するためのＰＣＩエクスプレスインターフェイス、及びＵＳＢポート３４８を含む。１つの実施形態では、無線通信デバイス３４６は、ＷｉＦｉ対応の通信デバイス、ブルートゥース（登録商標）通信デバイス、赤外線通信デバイスなどを含んでもよい。ＵＳＢポートは、データやソフトウェアを処理ユニット４にロードしたり、処理ユニット４を充電したりするために、処理ユニット４をコンピューティングシステムにドッキングするのに使用することができる。１つの実施形態では、ＣＰＵ３２０及びＧＰＵ３２２は、どこで、いつ、どのように仮想３次元オブジェクトをユーザーの視野に挿入するかを決定するための主力となる。さらなる詳細が以下に提供される。

[0072]電力管理回路３０６は、クロック発生器３６０、アナログ／デジタル変換器３６２、充電器３６４、電圧調整器３６６、ヘッドマウントディスプレイ電源３７６、及び（処理ユニット４のリストバンドに配置され得る）温度センサー３７４と通信する温度センサーインターフェイス３７２を含む。アナログ／デジタル変換器３６２は、電池電圧、温度センサーを監視し、電池充電機能を制御するために使用される。電圧調整器３６６は、システムに電力を供給するための電池３６８と通信する。充電器３６４は、充電ジャック３７０から電力を受け取ると（電圧調整器３６６を介して）電池３６８を充電するのに使用される。ＨＭＤ電源３７６は、ヘッドマウントディスプレイデバイス２に電力を供給する。

[0073]上述のように、様々な種類の処理デバイスを本技術とともに利用することができる。図９は、モバイル又はタブレットコンピューティングデバイスを示すブロック図である。図９は、本明細書に記載の技術の実施形態で動作することができる例示的なモバイル又はタブレットデバイス（例えば、デバイス４４）のブロック図である。典型的なモバイルデバイスの例示的な電子回路が示される。デバイス７００は、１つ又は複数のマイクロプロセッサー７１２と、本明細書に記載される機能を実施するために制御プロセッサー７１２の１つ又は複数のプロセッサーによって実行されるプロセッサー読み取り可能なコードを格納するメモリー７１０（例えば、ＲＯＭなどの不揮発性メモリー及びＲＡＭなどの揮発性メモリー）を含む。

[0074]モバイルデバイス７００は、例えば、プロセッサー７１２、アプリケーションを含むメモリー７１０及び不揮発性ストレージを含んでもよい。プロセッサー７１２は、通信のほか、本明細書に記載の相互作用アプリケーションを含む任意の数のアプリケーションを実施することができる。メモリー７１０は、不揮発性及び揮発性メモリーを含む、任意の様々なメモリー記憶媒体のタイプとすることができる。デバイスのオペレーティングシステムは、モバイルデバイス７００の種々の動作を処理し、電話をかけたり受けたりすること、テキストメッセージ、ボイスメールのチェックなどの動作のためのユーザーインターフェイスを含むことができる。アプリケーション７３０は、写真及び／又は動画のカメラアプリケーション、アドレス帳、カレンダーアプリケーション、メディアプレーヤー、インターネットブラウザー、ゲーム、他のマルチメディアアプリケーション、アラームアプリケーション、他のサードパーティアプリケーション、本明細書に記載のコンテンツ作成アプリケーションなどのプログラムの任意の組み合わせであってもよい。メモリー７１０内の不揮発性ストレージコンポーネント７４０は、ウェブキャッシュ、音楽、写真、連絡先データ、スケジュールデータ、及びその他のファイルなどのデータを含む。

[0075]プロセッサー７１２はまた、アンテナ７０２に結合されるＲＦ送受信回路７０６と、赤外線送受信機０７８と、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの任意の追加の通信チャネル７６０と、加速度計などの動き／向きセンサー７１４と、通信する。加速度計は、モバイルデバイス内に組み込まれており、このようなアプリケーションを、ユーザーにジェスチャーを介してコマンドを入力させるインテリジェントユーザーインターフェイス、ＧＰＳ衛星との接触が途絶えた後にデバイスの動き及び方向を計算する屋内ＧＰＳ機能として機能させ、デバイスの向きを検出し、デバイスが回転するとディスプレイをポートレートから風景へと自動的に変更する。加速度計は、例えば、半導体チップ上に構築された（マイクロメートル規模の）微小な機械デバイスである微小電気機械システム（ＭＥＭＳ）によって提供され得る。加速方向、並びに向き、振動及び衝撃を検知することができる。プロセッサー７１２はさらに、リンガー／バイブレーター７１６、ユーザーインターフェイスのキーパッド／画面、生体センサーシステム７１８、スピーカー７２０、マイク７２２、カメラ７２４、光センサー７２６及び温度センサー７２８と通信する。

[0076]プロセッサー７１２は、無線信号の送受信を制御する。送信モード中、プロセッサー７１２は、マイク７２２からの音声信号又は他のデータ信号を、ＲＦ送受信回路７０６に提供する。送受信回路７０６は、アンテナ７０２を介した通信のために、遠隔ステーション（例えば、固定のステーション、オペレーター、他の携帯電話など）に信号を送信する。リンガー／バイブレーター７１６は、着信、テキストメッセージ、カレンダーリマインダー、目覚まし時計リマインダー、又は他の通知をユーザーに知らせるのに使用される。受信モード中、送受信回路７０６は、アンテナ７０２を介して遠隔ステーションから音声又は他のデータ信号を受信する。受信された音声信号はスピーカー７２０に供給され、一方、他の受信されたデータ信号は適切に処理される。

[0077]また、物理コネクター７８８は、ＡＣアダプターやパワードドッキングステーションなどの外部電源にモバイルデバイス７００を接続するために使用することができる。物理コネクター７８８はまた、コンピューティングデバイスへのデータ接続として使用することができる。データ接続は、モバイルデバイスのデータを別のデバイス上のコンピューティングのデータと同期させるなどの操作を可能にする。

[0078]ユーザーアプリケーションの位置を伝える衛星ベースの無線ナビゲーションを利用したＧＰＳトランシーバー７６５は、このようなサービスに使用可能である。
[0079]図示される例示的な処理システムは、コンピューター読み取り可能な記憶媒体の例を含む。コンピューター読み取り可能な記憶媒体は、プロセッサー読み取り可能な記憶媒体でもある。このような媒体は、コンピューター読み取り可能な命令、データ構造、プログラムモジュール又は他のデータなどの情報の格納のために実施される、揮発性及び不揮発性、取り外し可能及び取り外し不能な媒体を含むことができる。コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、キャッシュ、フラッシュメモリー又は他のメモリー技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又は他の光学ディスクストレージ、メモリースティック又はカード、磁気カセット、磁気テープ、メディアドライブ、ハードディスク、磁気ディスクストレージ又は他の磁気ストレージデバイスなどを含むが、これらに限定されない。

[0080]上記のように、ワールド空間での視点（パースペクティブ）ロック仮想オブジェクトについて作成され手共有される情報は、中央サービス９００とともに利用することができる。１つの態様では、中央サービスは図１０に示される。中央サービス９００は、１つ又は複数の処理デバイス又はサーバ上で動作させることができる。中央サービス９００の論理コンポーネントが図１０に示される。

[0081]中央サービス９００は、ユーザー情報９１０、ユーザーコンテンツ情報９５８、サードパーティコンテンツ情報９６８、サードパーティサービスアグリゲーター９８０、マッピングエンジン９８５、及び通信インターフェイス９９５を含むことができる。通信インターフェイス９９５は、透過型マウントディスプレイデバイス２、タブレット９０２及び携帯電話９０４と中央サービス９００が通信することを可能にする、任意の数のインターフェイス、トランスポートレイヤー及びプロトコルを含んでもよい。

[0082]ユーザー情報９１０は、デバイス２、タブレット９０２及び中央サービス９００のユーザーに、中央サービス９００のユーザーにとって利用可能なセキュアな情報にアクセスする前に、自身のＩＤを認証することを要求する、ログイン情報９１９を含んでもよい。各ユーザーは、サービス９００を介して、ユーザーのアドレス帳９１４及びソーシャル連絡先データ９１６、並びにユーザーの位置履歴９１８を利用可能であってもよい。代替的な実施形態では、ユーザー情報の全部又は一部はデバイス上にローカルに記憶されてもよい。

[0083]ユーザーコンテンツ情報９５８は、コンテンツ位置情報９５７及びユーザーが作成した共有された視点（パースペクティブ）ロックオブジェクト９５６を含む。ユーザーコンテンツ情報は、上記のユーザー２４などのユーザーによって作成され、中央サービス９００の他のユーザーと共有するためにユーザーによって迎えられた、共有仮想オブジェクトについての情報であってもよい。オブジェクト位置情報９５７は、所与の領域について、３次元マップの位置及び領域内のオブジェクトの位置、並びにオブジェクトとともに利用されるマーカーを含んでもよい。共有オブジェクト９５６は、オブジェクト位置情報９５７中の情報に関連付けられる特定のオブジェクトデータを含むことができる。

[0084]サードパーティコンテンツ情報９６８はまた、オブジェクト位置情報９６７及びサードパーティ視点（パースペクティブ）ロックオブジェクト９６６を含む。サードパーティオブジェクトは、サードパーティサービスアグリゲーター９８０を介してソーシャルインタラクションサービス９９０から取得される、サードパーティソーシャルインタラクションサービス９９０から利用可能なコンテンツ情報を含む。サードパーティオブジェクト９６６は、サードパーティソーシャルインタラクションサービス９９０によって作成することができ、又は、マッピングエンジン９８５及びサードパーティソーシャルインタラクションサービスから入手可能な情報を使用して中央サービスによって作成することができる。この情報は、上述した許容可能なレンダリング位置、並びにサードパーティソーシャルインタラクションサービスのユーザーからの任意の情報を含むことができる。

[0085]サードパーティサービスアグリゲーター９８０は、サードパーティソーシャルインタラクションサービス９９０から情報を取得し、その各々は、仮想オブジェクトを投入（ポピュレート）するために使用することができる情報を提供することができる。サードパーティサービスアグリゲーター９８０は、サードパーティインタラクションサービス９９０の各々のアプリケーションプログラミングインターフェイス（ＡＰＩ）とインタラクトする。

[0086]マッピングエンジン９８５は、グローバル座標位置情報を、ユーザーからの及びサードパーティサービスアグリゲーター９８０からの位置データと関連付ける。マッピングエンジン９８５はまた、ユーザーデバイスから位置情報を受け取り、ユーザーの位置履歴９１８を更新する。マッピングエンジンはまた、透過型ヘッドマウントディスプレイデバイス２、タブレット９０２及び電話９０４に、３Ｄシーンデータを提供することができる。この情報は、ユーザー位置追跡情報がデバイス２から中央サービス９００に提供されるときに更新することができる。マッピングエンジン９８５はさらに、生成されるべきマーカーの種類を、サードパーティ情報サービスプロバイダーと関連付けることができる。

[0087]サードパーティソーシャルインタラクションサービス９９０は、その情報とともに、それらが情報を提供する関心のあるポイントのグローバル座標を含むことができる。多くのソーシャルメディアサービス９９０は、そのレビューとともに、このようなグローバル座標位置情報を含む。マッピングエンジン９８５は、この情報を確認することができ、又はグローバル座標情報をユーザーが生成するデータに追加することができる。この位置は、ユーザーの位置履歴のほか、特定の関心のあるポイントの情報をユーザーが作成する時における入力から導くことができる。

[0088]サードパーティサービスアグリゲーター９８０はまた、所有者／オペレーター及びパブリック共有オブジェクトソース９９２からオブジェクト定義を受け取ることができる。オブジェクトは、その特定の設立に関連付けられたポイントオブジェクトを有する施設の所有者及びオペレーターによって提供されてもよい。

[0089]共有オブジェクト９５６及びサードパーティオブジェクト９６６は、オブジェク
トレンダリングデータ情報、並びに、オブジェクトをレンダリングしようとする消費デバイスの、１つ又は複数の許容可能な消費場所、１つ又は複数の許容可能な消費位置、及び１つ又は複数の許容可能な消費向き（ｃｏｎｓｕｍｐｔｉｏｎ ｏｒｉｅｎｔａｔｉｏｎｓ）を含む。中央サービス９００は、透過型ヘッドマウントディスプレイデバイス２の２人の着用者を中央サービスに提供する１人又は複数のシステム管理者によって動作されてもよい。

[0090]図１１は、本発明の技術による、共有可能な視点（パースペクティブ）ロック仮想オブジェクトを作成する方法を示すフローチャートである。図１１の方法は、処理ユニット４及び／又はヘッドマウントディスプレイデバイス２のコンポーネントによって実行されてもよい。単独で又は別のシステムとともに動作する、処理ユニット４及び／又はヘッドマウントディスプレイデバイス２のうちの任意の１つ又は複数は、方法のすべて又は一部を実行することができる。

[0091]図１１を参照すると、ステップ１１００において、シーンデータを作成しようとするユーザーのユーザー位置が決定される。ユーザー位置は、ユーザーデバイスにおいて送られたＧＰＳから導くことができ、ユーザー位置を記述するグローバル位置座標を提供することができる。

[0092]ステップ１１０２で、シーンマップを展開することができ、シーンの３次元配置、並びにユーザーが位置する場所の周囲のシーン内のオブジェクトの配置及び位置を特定する。実施形態では、所与のフレーム内で生成されるシーンマップは、すべてのユーザーのローカル座標系におけるｘ、ｙ及びｚ位置、現実世界のオブジェクト及び共通の環境内の仮想オブジェクトを含んでもよい。シーンマップは、シーン内に仮想オブジェクトを配置する際、並びに、適切な閉塞をもって仮想３次元オブジェクトを表示する（仮想３次元オブジェクトが閉塞されてもよいし、又は、仮想３次元オブジェクトが現実世界の物体もしくは別の仮想３次元オブジェクトを閉塞してもよい）際に使用してもよい。シーンマップは、ユーザーに関連付けられるキャプチャーデバイスから導くことができ、又は中央サービス９００によって提供することができる。

[0093]ステップ１１０４において、中央サービスからの情報が受け取られる。１つの実施形態では、ステップ１１０４が実行される必要はない。ステップ１１０４において受け取られる情報は、視点（パースペクティブ）ロックオブジェクトを作成するためのテンプレートと仮想オブジェクト定義を含むことができる。仮想オブジェクトに関する情報は、処理デバイス内又はヘッドマウントディスプレイ２内にキャッシュされて、視点（パースペクティブ）ロックオブジェクトをより迅速に作成することを可能にすることができる。

[0094]ステップ１１０６では、ユーザーのキャプチャーデバイスの位置、向き及びＦＯＶの決定が行われる。
[0095]ステップ１１０８では、場所、向き、位置及び視界データが、ユーザーの視点（パースペクティブ）へと変換される。ユーザーの視点（パースペクティブ）は、特定の種類の共有仮想オブジェクトについて許容可能なレンダリング位置を決定するために利用することができる。

[0096]ステップ１１１２において、視点（パースペクティブ）ロック仮想オブジェクトについてユーザーが生成したコンテンツがキャプチャーされる。本技術によれば、ユーザーが生成したコンテンツは、様々な種類のコンピューティングシステムに関して上述したセンサーデバイスによってキャプチャーすることができる任意の種類のコンテンツであってもよい。これは、音声データ、視覚データ、モーションデータ及びテキストを含む。ユーザーが生成したコンテンツは、レンダリングされる視点（パースペクティブ）ロック仮想オブジェクトを構築するために利用される。１１１５において、位置、向き及び場所の情報がユーザー生成コンテンツに関連付けられる。加えて、オブジェクトがワールドロックされた（ｗｏｒｌｄ−ｌｏｃｋｅｄ）オブジェクトとして定義される場合、多くの異なる視点（パースペクティブ）から表示可能であり、許容可能な消費位置、場所及び向きを定義することができる。

[0097]図１Ａ−１Ｄに示す例では、単一の視点（パースペクティブ）が、場所、向き及び位置に基づいて定義されてもよい。図４Ｂに示す例では、多数の視点（パースペクティブ）を定義することができ、したがって、多数の異なる許容可能な消費位置が、ワールドロックされた仮想オブジェクトのために利用可能である。

[0098]１１１７において、仮想オブジェクトが第２のユーザーと共有されたり、中央サービス９００に送られたりする。
[0099]図１２は、本技術による、仮想オブジェクトを表示することを望む消費ユーザーのデバイス（消費デバイス）によって実行される方法を示す。

[00100]ステップ１２０２で、消費ユーザーの位置が決定される。当該位置は、仮想オ
ブジェクトとともに利用されるグローバル座標系を参照して決定される。ステップ１２０４において、シーンマップデータが、上記のステップ１１０２と同様の方法で収集される。

[00101]ステップ１２０６及び１２０８において、視点（パースペクティブ）がロックされたオブジェクトを他のパーティから収集することができる。１２０６において、サードパーティの貢献者（ｃｏｎｔｒｉｂｕｔｏｒｓ）からのオブジェクトが取得される。１２０８において、１２０８におけるオブジェクトユーザー共有情報を収集することができる。ステップ１２０６及び１２０８における共有の視点（パースペクティブ）がロックされた仮想オブジェクトは、中央サービス９００から、又は他のユーザー貢献者から直接提供されてもよい。いくつかの実施形態では、サードパーティの貢献者からの情報を、消費ユーザーのデバイスに直接送ることができる。さらなる実施形態では、ステップ１２０８におけるユーザー共有情報は、消費ユーザーと接触するユーザーによって提供されてもよい。消費ユーザーと接触するユーザーは、消費ユーザーに関連付けられるものとして識別される（例えば「友人」）、ユーザーのアドレス帳、直接の連絡先又はソーシャルメディアサービスを介した連絡先に関連付けられる個人であってもよい。

[00102]１２０９において、ユーザーのキャプチャーデバイスの位置、向き及びＦＯＶ
の決定が行われる。
[0103]図３Ｃ及び４Ａに示されたものなどのマーカーが使用される例において、１２１０において、ユーザーが１つ又は複数のマーカーに近接しているかどうかに関する最初の判定が行われる。１２１０における判定は、本質的には、環境内の関連付けられる現実世界の位置におけるマーカーが消費デバイスの視野内に入るかどうかである。マーカーの使用が本技術によって必要とされないことを理解すべきである。したがって、ステップ１２１２はオプションであってよい。消費ユーザーを共有仮想オブジェクトのレンダリング場所や位置と調整する他のシステムが利用されてもよい。マーカーが利用され、マーカーがユーザーの消費デバイスのＦＯＶ内にある場合、１２１２において、マーカーは消費デバイスのディスプレイ内にレンダリングされる。

[00104]１２１４において、オブジェクトの相互作用が生じたか否かに関する判定が行
われる。ステップ１２１４におけるオブジェクトの相互作用は、共有オブジェクトを見るために可能となる位置、場所及び向きにおけるマーカーに対してユーザーを配置することのように単純であってもよい。消費ユーザーのデバイスがその場所、位置及び向きにあるとき、オブジェクトがレンダリングされてもよい。他の実施形態では、ユーザーは、場所、位置及び向きに消費デバイスを配置する前に、マーカーを積極的に選択することができる。

[00105]１２１６において、共有視点（パースペクティブ）ロック仮想オブジェクトの許容可能な消費位置が決定される。上述のように、いくつかのオブジェクトは、消費が生じ得る１つの位置、向き及び場所のみを有する。他のオブジェクトは、多くの許容可能な消費位置、向き及び場所を有する。

[00106]ステップ１２２０において、ユーザー及び消費デバイスが適切な消費のための
オブジェクトに対するユーザーの視点（パースペクティブ）が生じるような位置、場所及び向きにあるとき、共有の視点（パースペクティブ）がロックされた仮想オブジェクトがユーザーに対してレンダリングされる。消費は、写真を視覚化すること、特定の録音された音を特定の時間に聞くこと、動画を見ること、テキストを読むこと、インタラクティブな３次元仮想オブジェクトと遊ぶことなどであってもよい。

[00107]ステップ１２２０を実行する１つの実施形態のさらなる詳細が図１３に示され
る。
[00108]いくつかの場合には、共有の視点（パースペクティブ）がロックされた仮想オブジェクトについてのユーザー変更が許可される。ステップ１２２４において、オブジェクトのユーザー変更が生じたか否かについての判定が行われる。共有オブジェクトに対する許可がそのような変更を許す場合、ユーザー変更は、ユーザーによるオブジェクトの追加、注釈付け、又は変更を含むことができる。オブジェクトに対するユーザー変更が生じた場合、１２２６において、オブジェクトのデータが更新され、表示される。１２２８においてコンテンツの消費が終了すると、１２３０において方法は次のオブジェクトに移動する。

[00109]図１３は、図１２のステップ１２２０を実行するための１つの方法を示す。ス
テップ１３０２において、特定のオブジェクトについての向き、場所、位置及び視点（パースペクティブ）を消費する適切なコンテンツに関して決定が行われる。ステップ１３０２において取得された情報は、許容可能なレンダリング位置が生じる１つ又は複数の仮想オブジェクトから利用可能な情報を定義する。当該消費デバイスの場所、向き、位置及び視野が１３０４において取得される。

[00110]１３０６において、レンダリングされる共有の視点（パースペクティブ）がロックされた仮想オブジェクトがワールドロックされているか又はローカルロックされているかについて最初の判定が行われる。
[00111]ワールドロックされた仮想オブジェクトは、図４Ｂに示すようなものであり、そこでは、オブジェクトの位置は物理的物体の位置及び向きにロックされる。ローカルロックされた仮想オブジェクトは、消費位置がユーザーの特定の視点（パースペクティブ）にロックされるものである。

[00112]共有の視点（パースペクティブ）がロックされた仮想オブジェクトがローカルロックされたオブジェクトである場合、１３１２において、消費デバイスの位置、場所及び向きが許容可能な消費位置と一致するか否かについての判定が行われる。この場合、許容可能な消費位置は単一の許容消費位置として定義されてもよい。そうでない場合、１３１４において、場所、位置及び向きを一致させるために必要とされる場所、位置及び向きに対する変更の決定が行われてもよく、１３１６において、ユーザーの場所、向き及び位置を訂正するための方向指針（ｄｉｒｅｃｔｉｏｎａｌ ｇｕｉｄａｎｃｅ）がレンダリングされてもよい。これにより、ユーザーは、仮想オブジェクトの正確な消費のための位置に移動することができる。方向は、目で見える形式又は可聴的な形式で提供することができる。１３１８において、ユーザー及び消費デバイスが移動したかどうかについて判定が行われ、そうである場合、１３１２において、実際のデバイス位置と許容可能な消費位置との間の一致の検出が再び行われる。１３１２においてユーザーの消費デバイスが許容可能な消費位置と一致するとき、１３４０において、共有の視点（パースペクティブ）がロックされた仮想オブジェクトがレンダリングされる。

[00113]１３０６において共有の視点（パースペクティブ）がロックされた仮想オブジェクトがワールドロックされたオブジェクトである場合、１３２０において、消費デバイスが多くの許容可能な位置、向き及び場所のうちの１つにあるか否かについて判定が行われる。１つの態様では、許容可能な消費位置は、消費デバイスの場所、位置及び向きを決定することによって決定することができる。別の態様では、ワールドロックされたオブジェクトについて、許容可能な消費位置は、仮想オブジェクトが定義されるべき現実世界のオブジェクトに対する消費デバイスの視野を決定することによって決定することができる。

[00114]消費デバイスの場所、位置及び向きと許容可能な位置との間で一致が生じる場
合、１３２２において、オブジェクトはワールドロック位置においてレンダリングされる。１３２２において、ユーザーの視点（パースペクティブ）の変化の決定が１３２４において行われ、共有の視点（パースペクティブ）がロックされた仮想オブジェクトに対してユーザーの視点（パースペクティブ）が変化する場合、１３２６においてその変化が計算され、方法はステップ１３２０に戻って、共有の視点（パースペクティブ）がロックされた仮想オブジェクトに関して、消費デバイスが許容可能な場所、位置及び向きにあることを確実にする。１３２０において消費デバイスが正しい位置にない場合、１３５０においてオブジェクトのレンダリングは何も生じない。

[00115]主題は構造的特徴及び／又は方法論的動作に特有の言葉で説明されたが、添付
の特許請求の範囲において規定される主題が必ずしも上述の特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上述の特定の特徴及び動作は、特許請求の範囲を実施する例示的な形式として開示されるものである。

Claims (7)

1. 共有仮想オブジェクトを生成するための装置であって、
   キャプチャーデバイスと、
   前記キャプチャーデバイスに結合されたプロセッサーと、
   を備え、前記プロセッサーが、以下の方法、即ち、
   前記キャプチャーデバイスの位置を決定するステップと、
   前記キャプチャーデバイスのグローバル座標の場所、位置及び向きを決定するステップと、
   パースペクティブがロックされた共有仮想オブジェクトを表示することを可能とするパラメータを決定するステップであって、当該パラメータを決定するステップが、
   共有仮想オブジェクトレンダリングデータを生成するサブステップであって、当該共有仮想オブジェクトレンダリングデータが、前記共有仮想オブジェクトに対するレンダリング位置データを含み、当該レンダリング位置データが、少なくともグローバル座標の場所、並びに、消費デバイスの視野内のローカル座標系に関する仮想オブジェクトの少なくとも1つの位置及び少なくとも１つの向きを含む、ものと、
   見る位置を決定するサブステップであって、当該見る位置から、前記パースペクティブがロックされた共有仮想オブジェクトを見ることが可能であり、当該見る位置以外の位置からは前記パースペクティブがロックされた共有仮想オブジェクトを見ることが不可能である、ものと、
   前記見る位置の場所を示す仮想マーカーを生成するサブステップであって、当該仮想マーカーが、当該仮想マーカーから離れた場所から見える、ものと、
   を含むものと、
   前記パースペクティブがロックされた共有仮想オブジェクトを共有するステップと、
   を含む方法を実行するようにプログラムされた、
   共有仮想オブジェクトを生成するための装置。
2. 前記装置が、更に、
   前記プロセッサーが、
   前記仮想マーカーを、前記パースペクティブがロックされた共有仮想オブジェクトに関連するレンダリング位置データに含まれる前記ローバル座標の場所に割り当てるように、
   前記プロセッサーをプログラミングする、
   コードを含む、請求項１に記載の装置。
3. 前記装置が、更に、
   前記プロセッサーが、
   ワールドロックされた状態、又は、ローカルロックされた状態を、前記パースペクティブがロックされた共有仮想オブジェクトに割り当てるように、
   前記プロセッサーをプログラミングする、
   コードを含む、請求項１に記載の装置。
4. 前記装置が、更に、前記プロセッサーが、
   前記パースペクティブがロックされた共有仮想オブジェクトに、所定の場所で、ワールドロックされた状態を割り当て、消費デバイスに対する複数の許容可能なグローバル座標の場所、許容可能な位置、及び、許容可能な向き、を決定して、前記パースペクティブがロックされた共有仮想オブジェクトをレンダリングするように、
   前記プロセッサーをプログラミングする、
   コードを含む、請求項３に記載の装置。
5. 前記装置が、更に、前記プロセッサーが、
   前記パースペクティブがロックされた共有仮想オブジェクトに、
   ローカルロックされた状態を割り当て、
   消費デバイスに対する１つの許容可能なグローバル座標の場所、位置、及び、向きを決定して、前記パースペクティブがロックされた共有仮想オブジェクトを、ローカルロックされたオブジェクトとしてレンダリングするように、
   前記プロセッサーをプログラミングする、
   コードを含む、請求項３に記載の装置。
6. 前記キャプチャーデバイスが、少なくとも音声センサー及びビデオカメラを含み、
   前記装置が、更に、
   前記音声センサー及び前記ビデオカメラを用いて、前記パースペクティブがロックされた共有仮想オブジェクトのレンダリングデータをキャプチャーするように、前記プロセッサーをプログラミングする、
   コードを含む、
   請求項１に記載の装置。
7. ディスプレイを更に含み、
   前記装置が、更に、
   他のキャプチャーデバイスによって生成された、第２の、パースペクティブがロックされた共有仮想オブジェクトのためのレンダリング位置データを受信するステップであって、当該レンダリング位置データが、許容可能な場所、許容可能な位置、及び、許容可能な向き、のそれぞれのうちの少なくとも１つを含むものと、
   前記装置の場所、位置、及び、向きを決定するステップと、
   前記装置の場所、位置、及び、向きが、前記許容可能な場所、許容可能な位置、及び、許容可能な向きに近接する場合に、前記パースペクティブがロックされた共有仮想オブジェクトを、シースルーヘッドマウントディスプレイにおいてレンダリングするステップと、
   を実行するように、前記プロセッサーをプログラミングする、
   コードを含む、
   請求項１に記載の装置。