JP2024531865A - 対話型レチクル - Google Patents

Abstract

ネットワーク接続された装置を制御するためのヘッドマウント式ニアアイディスプレイシステムであって、画像源から、虚像が見られ得るアイボックスへ画像担持光ビームを伝達するように動作可能な画像光ガイドを含み、画像源が、虚像内にレチクルを形成するように動作可能である、ヘッドマウント式ニアアイディスプレイシステム。レチクルがネットワーク接続された装置上に視覚的に重ね合わせられ得るようにレチクルを制御するように動作可能なユーザー入力機構であって、ネットワーク接続された装置が、ネットワークを介して状態を変更するコマンドを受信するように動作可能であり、レチクルがネットワーク接続された装置の上に視覚的に重ね合わせられた時に、ユーザー入力機構が、ネットワーク接続された装置を選択するように動作可能であり、それによってネットワーク接続された装置の状態が変更されるように動作可能である、ユーザー入力機構。
【選択図】図３ａ

Description

本開示は、概して、電子ＡＲ／ＶＲディスプレイに関し、より具体的には、画像光ガイドを利用し、仮想世界と現実世界の相互作用を表示するように動作可能なディスプレイに関する。

ヘッドマウント式ニアアイディスプレイシステムは、軍事、商業、産業、消防、およびエンターテイメント用途など、幅広い用途のために開発されている。これらの用途の多くでは、ユーザーの視野にある現実世界の画像の上に視覚的に重ね合わせることのできる虚像を形成することに価値がある。光学画像光ガイドは、虚像をビューアの瞳孔に向けて、この重ね合わせ機能を可能にするために、狭い空間でビューアに画像担持光を伝達することができる。

ヘッドマウント式ニアアイディスプレイシステムは、オペレータに様々な虚像およびアイコンを提供する。また、スマートホームのネットワーク化された装置を含むがこれに限定されない、現実世界の物体と相互作用する能力をオペレータに提供することも有益であろう。

例示の目的であり、限定するものではないが、本開示は、虚像レチクルまたはアライメントガイドを表示および制御するシステムおよび方法を提供する。さらに、本開示は、オペレータが外部システムを認識、選択、および制御することを可能にする仮想レチクルを有する光学システムについて説明する。

レチクルシステムは、カメラまたは他の視覚的入力装置と画像源とを有するウェアラブルニアアイディスプレイシステムを含み、様々なユーザー入力制御およびそれに接続された処理ユニットを含み得る。レチクルシステムは、十字線またはバウンディングボックスなどの虚像レチクルを表示し、その色、形状、位置、および入力要素をユーザーの好みに合わせて構成し得る。システムはさらに、オペレータがレチクルを使用および制御し、コマンドを実行するための様々な手段を提供する。さらに、レチクルの制御は、遠隔ユーザーにとって動作可能であり得る。

ニアアイディスプレイシステムからコマンドを受信するように動作可能なシステム、装置、オブジェクト、またはプログラムとネットワーク化される場合、レチクルシステムは、オペレータがコマンドを開始し、上記の外部システム、オブジェクト、またはプログラムから情報を受信することを可能にし得る。

新規なレチクルシステムおよび方法はまた、モノのインターネット（ＩＯＴ）装置などの他の装置およびシステムと相互作用し、それらへコマンドを送信し、またそれらからデータを受信するための仕様を包含する。

一態様では、レチクルを有するネットワーク接続された装置を制御するためのヘッドマウントディスプレイシステムが提供される。システムは、通信ネットワークを介して状態を変更するコマンドを受信するように動作可能なネットワーク接続された装置と、虚像表示を形成するための透過性導波路であって、虚像表示がレチクルを生成するように動作可能である、透過性導波路と、ネットワーク接続された装置上に視覚的に重ね合わせられ得るようにレチクルを制御するためのユーザー入力機構とを備える。別の態様では、ユーザー入力機構は、ネットワーク接続された装置を、レチクルがその上に視覚的に重ね合わせられたときに選択するように構成され、それによってヘッドマウントディスプレイシステムがネットワーク接続された装置の状態を変更することを可能にする。システムは、虚像表示上に仮想メニューを含んでもよく、仮想メニューは、ネットワーク接続された装置に関連付けられた複数の選択可能なオプションを含み、レチクルは、それらのオプションのうちの一つ以上に視覚的に重ね合わせられ得、レチクルは、それらのオプションのうちの一つ以上を選択または選択解除してネットワーク接続された装置の状態を変更するように動作可能である。

他の態様では、ネットワーク接続された装置は、レチクルが上記ネットワーク接続された装置の上に所望の期間にわたって視覚的に重ね合わせられた時に状態を変化させ、レチクルは、プレビューが無効化されると虚像内に表示され、レチクルは、色、形状、向き、形態などを含む異なる特性を割り当てられてもよく、ヘッドマウントディスプレイシステムは、虚像内にレチクルを位置させることによって、仮想メニューまたは他の選択可能な仮想オブジェクトを選択する、選択解除する、制御する、移動する、またはその他の方法で影響を与えるように動作可能であり、かつ／またはヘッドマウントディスプレイシステムは、レチクルをネットワーク化されたＩＯＴオブジェクト上に視覚的に重ね合わせることによって、ネットワーク化されたＩＯＴオブジェクトを作動させる、停止させる、制御する、またはネットワーク化されたＩＯＴオブジェクトの状態をその他の方法で変更するように動作可能である。

レチクルは、関連するカメラまたは他の視覚的入力装置の視野を表す十字線またはバウンディングボックスの形態であってもよい。レチクルは、レチクルの動きが指またはスタイラスの動きに対応するように、指またはスタイラスなどの現実世界の物体に割り当てられてもよい。システムは、第一のレチクルとは独立して動作するか第一のレチクルと相互作用する、第二のレチクルを備えてもよい。ユーザー入力機構は、ユーザー入力ボタン、タッチセンサ、音声コマンド、またはオペレータ向きカメラによって捕捉された顔のジェスチャもしくは動作であってもよい。

添付図面は、本明細書の一部として本明細書に組み込まれる。本明細書に記載される図面は、本開示の主題の実施形態を例示し、本開示の選択された原理、および教示を例示するものである。しかしながら、図面は、本開示の主題のすべての可能な実施を例示するものではなく、本開示の範囲をいかなる方法でも制限することを意図するものではない。

本開示の主題の例示的な実施形態による、インカップリング回折光学素子と、ビューアに対し拡張されたアイボックスを提供するアウトカップリング回折光学素子とを有する画像光ガイドの概略上面図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムを装着する人の概略図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムを通じて伝達される現実世界の物体のカメラ生成画像の概略図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムを通じて見た現実世界の物体の概略図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムを通じて見た現実世界の物体、および現実世界の物体の上に視覚的に重ね合わせられた光学的無限遠に現れるレチクルの概略図である。 本開示の主題の例示的な実施形態による、通信ネットワークを介して接続された遠隔装置を有する、ヘッドマウント式ニアアイディスプレイシステムの概略図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムの左眼アセンブリおよび右眼アセンブリの導波路を介して伝達される仮想メニュー、およびメニューオプション上に視覚的に重ね合わせられたレチクルの概略図である。 本開示の主題の例示的な実施形態による、一つ以上のネットワーク接続された装置およびネットワーク接続された装置上に視覚的に重ね合わせられたレチクルを含む虚像の概略図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムの左眼アセンブリおよび右眼アセンブリの導波路を介して伝達される図３ｄによる虚像、およびネットワーク接続された装置上に視覚的に重ね合わせられたレチクルの概略図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムを通じて見た現実世界の物体、および現実世界の物体の上および／またはその周りに視覚的に重ね合わせられた仮想バウンディングボックスの概略図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムを通じて見た現実世界の物体、およびカメラの狭められた視野境界を示す現実世界の物体の上および／またはその周りに視覚的に重ね合わせられた仮想バウンディングボックスの概略図である。 本開示の主題の例示的な実施形態による、ヘッドマウント式ニアアイディスプレイシステムを介した現実世界の物体とのレチクルの相互作用のフロー図および方法である。 本開示の主題の例示的な実施形態による、光学的無限遠に現れるレチクルが複数の現実世界の物体の上に視覚的に重ね合わせられている、ヘッドマウント式ニアアイディスプレイシステムを通じて見た複数の現実世界の物体の概略図である。 本開示の主題の例示的な実施形態によるマイクロディスプレイ技術によって駆動される、ヘッドマウント式ニアアイディスプレイシステムの概略図である。

本発明は、相反する内容が明示的に特定されない限り、様々な代替的な配向、およびステップ配列を想定し得ることが、理解されるべきである。添付図面に図示され、以下の明細書に記述される、特定のアセンブリおよびシステムは、本明細書に定義される発明概念についての単なる例示的な実施形態であることも、理解されるべきである。したがって、開示された実施形態に関連する、特定の次元、方向、またはその他の物理的特徴は、別途明示的に記載されない限り、限定するものとはみなされない。また、当てはまらない場合もあるが、本明細書に記載する様々な実施形態における同様の要素は、本明細書の本項内で同様の参照番号を用いて一般的に言及されてもよい。

本明細書で使用される場合、「第一の」、「第二の」などの用語は、必ずしも、任意の順序関係、連続的関係、または優先順位関係を示すものではなく、別段の指定がない限り、単に一つの要素または要素の集合を別の要素とより明確に区別するために使用される。

本明細書で使用される場合、「例示的な」という用語は、「～の一例」を伝えることを意味するものであり、任意の好ましいまたは理想的な実施形態を示唆することを意図するものではない。

本明細書で使用される場合、「ビューア」、「オペレータ」、「観察者」、および「ユーザー」という用語は、等価であるとみなされ、特に光学視認装置内に配置される、考慮される画像光ガイドのうちの１つによって伝達される虚像を見る人を指す。

本明細書で使用される場合、「作動可能」という用語は、例えば、電気信号に応答してなど、刺激に応答して動作をもたらすことができる装置または構成要素に関する、その従来の意味を有する。

本明細書で使用される場合、「集合、組（ｓｅｔ）」という用語は、初等数学において、要素の集まり（ｃｏｌｌｅｃｔｉｏｎ ｏｆ ｅｌｅｍｅｎｔｓ）、または集合の構成要素（ｍｅｍｂｅｒｓ ｏｆ ａ ｓｅｔ）という概念が広く理解されているように、空ではない集合を指す。別段の明示的な記載がない限り、「部分集合」という用語は、本明細書では、空ではない適切な部分集合、すなわち、一つ以上の構成要素を持つ、より大きな集合の部分集合を指すために使用される。集合Ｓについては、部分集合は、完全な集合Ｓを含んでもよい。ただし、集合Ｓの「適切な部分集合」は、厳密に集合Ｓに含まれ、集合Ｓの少なくとも一つの構成要素を除外する。

本明細書で使用される場合、「レチクル」という用語は、ニアアイディスプレイシステムのプロジェクター／画像源によって生成される虚像を指す。レチクルは、ヘッドマウント式ニアアイディスプレイシステムから発行されるコマンドの実行に使用され得る、現実の物体または虚像上に視覚的に重ね合わせられ得る、十字線、ポインタ、バウンディングボックスまたは他の視覚的に識別可能な形態の形状を取ってもよいが、これらに限定されない。バウンディングボックスは、虚像の外縁、または単に中心アライメント点を示し得る。バウンディングボックスのサイズおよび形状は、カメラのズームレベルが調整されるにつれて、虚像内で調整され得る。

ヘッドマウント式ニアアイディスプレイシステムなどの光学システムは、画像源を介して虚像を生成することができる。実像を形成する方法とは異なり、虚像は表示面上には形成されない。すなわち、表示面が虚像の知覚される位置に位置付けられた場合、いかなる画像もその表面上には形成されない。虚像には、拡張現実の表示に特有の多数の利点がある。例えば、虚像の見かけのサイズは、表示面のサイズまたは位置によって制限されない。さらに、虚像のソースオブジェクトは小さくてもよく、例えば、拡大鏡がオブジェクトの虚像を提供する。実像を投影するシステムと比較して、ある程度離れた距離にあるように見える虚像を形成することによって、より現実的な視聴体験を提供することができる。虚像を提供することは、実像を投影する際に必要となる場合がある画面アーチファクトを補正する必要性も排除する。

ここで図面を参照すると、ヘッドマウント式ニアアイディスプレイシステムは、軍事、商業、産業、消防、およびエンターテイメント用途など、様々な用途を有する。本明細書に記載されるように、ヘッドマウント式ニアアイディスプレイシステムは、ヘッドマウント式ニアアイディスプレイシステムユーザーの視野にある現実世界の上に視覚的に重ね合わせることができる仮想カラー画像を形成するように動作可能である。ここで図１ａを参照すると、光学的に透明な平行板導波路１００は、平面導波路とも呼ばれ、多色または単色プロジェクターシステム１１０によって生成された画像担持光ＷＩをＨＭＤユーザーに伝達する。平面導波路１００は、狭い空間で画像担持光ＷＩを伝達して画像をＨＭＤユーザーの瞳孔に向け、ＨＭＤユーザーの視野内にある現実の物体上に虚像４６を重ね合わせることを可能にし得る。

平行板平面導波路１００の面上に取り付けるか形成することができる、または導波路１００内に配設することができるインカップリング回折光学素子ＩＤＯなどの入力カップリング光学素子によって、カラー画像プロジェクター源１１０からのコリメートされた、相対角度をコードした光ビームは、光学的に透明な平面導波路１００内にカップリングされ得る。こうした回折光学素子は、限定するものではないが、回折格子、ホログラフィック光学素子として形成され得る。例えば、回折格子は、表面レリーフ格子として形成され得る。平面導波路１００に沿って伝搬した後、回折されたカラー画像担持光ＷＧは、アウトカップリング回折光学素子ＯＤＯなどの類似の出力カップリング光学素子によって、平面導波路１００の外に再び向けることができ、これは一つ以上の方向に沿って瞳孔拡張を提供するように配置され得る。加えて、一つ以上の回折方向転換格子は、入力格子ＩＤＯと出力格子ＯＤＯとの間に導波路１００に沿って光学的に位置付けられて、一つ以上の方向に瞳孔拡張を提供し得る。平行板平面導波路１００から出力される画像担持光ＷＯは、ビューアに対し、拡張されたアイボックスＥを提供する。導波路１００はヘッドマウント式ニアアイディスプレイシステムの右眼アセンブリ２５に図示されているが、左眼アセンブリ２４または両眼のアセンブリ２４、２５に位置付けられてもよい。

図１ｂは、レチクルシステムの一実施形態における眼鏡（すなわち、スマートグラス）の形態のヘッドマウント式ニアアイディスプレイシステム２０を図示する。ヘッドマウント式ニアアイディスプレイシステム２０は、少なくとも右テンプルアーム１２と、データを記憶し、コンピュータプログラムを記憶し、コンピュータアプリを記憶し、コンピュータプログラムおよびアプリを実行するためのメモリを有する処理ユニット１８とを含み得る。さらに、処理ユニット１８は、入力装置１６および／またはユーザー入力ボタン１４に接続されてもよい。入力装置１６は、ユーザー入力を処理ユニット１８に伝達するように動作可能である。一実施形態では、入力装置１６はタッチパッドまたはタッチセンサである。タッチセンサ１６は、ユーザー１０の一本以上の指からの入力および／またはスタイラスからの入力を受信するように動作可能である。関連技術分野の当業者であれば、入力ジェスチャがオペレータ１０の指によって実施されると記述されている場合、入力ジェスチャはまた、スタイラスによって実施されてもよいことを認識するであろう。タッチセンサ１６によって受信されるジェスチャは、限定するものではないが、タッチセンサ１６をタップすること、タッチセンサ１６を前から後への方向にスワイプ／ドラッグすること、タッチセンサ１６を後から前への方向にスワイプ／ドラッグすること、タッチセンサ１６を上から下への方向にスワイプ／ドラッグすること、タッチセンサ１６を下から上への方向にスワイプ／ドラッグすること、タッチセンサ１６を前から後への方向と後から前への方向に同時にスワイプ／ドラッグすること（例えば、ピンチする動作）、およびその逆、タッチセンサ１６を下から上への方向と上から下への方向に同時にスワイプ／ドラッグすること、およびその逆、タッチセンサ１６を前から後そして前への方向にスワイプ／ドラッグすること、タッチセンサ１６を後から前そして後への方向にスワイプ／ドラッグすること、タッチセンサ１６を下から上そして下への方向にスワイプ／ドラッグすること、およびタッチセンサ１６を上から下そして上への方向にスワイプ／ドラッグすること、を含み得る。タッチセンサ１６は、ジェスチャ中に１本の指、２本の指、または３本の指のいずれが利用されているかをさらに検出し得る。一実施形態では、ユーザー入力ボタン１４は、コマンドを処理ユニット１８に伝達するように動作可能である。別の実施形態では、オペレータ１０は手持ち式装置または音声入力を介してコマンドを送信できる。処理ユニット１８は、カメラのオン／オフ、カメラの焦点合わせ、虚像の表示および非表示、コンピュータプログラムの有効化または無効化、コンピュータプログラムの制御、視覚ガイドの有効化または無効化、視覚ガイドの制御、メニュー項目の選択および制御、ネットワーク化された現実世界の物体および装置４２の選択および制御などを含む、装置上の特定の動作を制御するために使用される記憶されたシンボルのシーケンスとの比較に適したシンボルのシーケンスに、ユーザー入力ボタン１４とのオペレータ１０の相互作用、またはジェスチャのシーケンスを、変換することができる。

ヘッドマウント式ニアアイディスプレイシステム２０は、虚像４６を着用者の眼に表示する能力を有する拡張現実（ＡＲ）の単眼または双眼スマートグラスを含んでもよく、ソフトウェアを実行して、少なくとも部分的に、上記虚像４６の表示および／または虚像４６内のレチクルの表示を制御することができる外部処理ユニット（例えば、スマートフォン）に接続され得る。追加的に、または代替的に、ヘッドマウント式ニアアイディスプレイシステム２０は、虚像４６の表示を制御するのに適した処理ユニットを含み得る。

ヘッドマウント式ニアアイディスプレイシステム２０は、カメラ２２が見るものの虚像４６のプレビューを示し得る。 カメラ２２は、ユーザー入力ボタン１４、タッチセンサ１６、ジェスチャ、または口頭コマンドを介して動作可能であり得、オペレータ１０が、写真撮影、映像録画、双方向通話、バーコードスキャン、ネットワーク化された現実世界の物体および装置４２の選択および制御などを含む複数のタスクを開始することを可能にする。

一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、ユーザー１０の手のジェスチャとＦＯＶ内の現実の物体とを見るように配置された少なくとも一つのカメラ２２をさらに備え得る。一実施形態では、カメラ２２は、ヘッドマウント式ニアアイディスプレイシステムの左眼アセンブリ２４または右眼アセンブリ２５の外周に隣接して位置する。カメラ２２のＦＯＶは、一般的にオペレータ１０の前方に位置する。別の実施形態では、カメラ２２は、ヘッドマウント式ニアアイディスプレイシステム２０の左右のテンプルアーム１２に位置する。カメラ２２のＦＯＶは、一般に、オペレータ１０の前方に向けて位置付けられる。別の実施形態では、カメラ２２または追加のカメラは、オペレータ１０の上方、後方、または側面の領域などの追加の向きで、ヘッドマウント式ニアアイディスプレイシステム２０のＦＯＶを拡張し得る。

一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、カメラのオン／オフ、カメラの焦点合わせ、虚像表示の表示および非表示、虚像表示の注釈付け、コンピュータプログラムの有効化または無効化、コンピュータプログラムの制御、視覚ガイドの有効化または無効化、視覚ガイドの制御、仮想メニュー上のメニュー項目の選択および制御、ＩＯＴ装置などの現実世界のネットワーク化された項目および装置４２の選択および制御などを含む、装置上の特定の動作の制御を開始するために使用され得る、まばたき、ウインク、眼球運動、唇の動き、表情などを含む、オペレータ１０の顔の動きを見るように配置された少なくとも一つのオペレータ向きカメラ２８をさらに備え得る。一実施形態では、図２ａ～図３ａおよび図３ｃに図示するように、オペレータ向きカメラ２８は、左眼アセンブリ２４または右眼アセンブリ２５の眼鏡フレーム上に位置する。図２ａ～図３ａおよび図３Ｃでは、第一のオペレータ向きカメラ２８は、左側テンプルアーム１２に隣接して位置するように示され、第二のオペレータ向きカメラ２８は、左眼アセンブリ２４の眼鏡フレームの下部分上に位置するように示されている。

ここで図２ａを参照すると、一実施形態では、現実世界の物体４２はカメラ２２によって捕捉され、その虚像４６は、ヘッドマウント式ニアアイディスプレイシステム２０を介して表示される。虚像４６は、この例では、ヘッドマウント式ニアアイディスプレイシステム２０の他の光学構成要素と併せて、右眼アセンブリ２５の導波路１００によって生成される右眼用アイボックスを介して光学的無限遠に位置する。別の実施形態では、虚像４６は、ヘッドマウント式ニアアイディスプレイシステム２０の他の光学構成要素と併せて、左眼アセンブリ２４の導波路１００によって生成される左眼用アイボックスを介して光学的無限遠に位置する。さらに別の実施形態では、虚像４６は、双眼ヘッドマウント式ニアアイディスプレイシステム２０の他の光学構成要素と併せて、右眼および左眼導波路１００を介して光学的無限遠に位置する。カメラ２２は、物体への合焦、文書および項目のスキャン、バーコードおよびその他のデジタル的に符号化された機械可読光学ラベルの読み取り、写真のデジタル的な記録、現実世界の物体４２の映像の記録などをするように動作可能である。カメラで捕捉された画像は、虚像４６内に表示され得る。

図２ｂでは、虚像４６は無効化されており、観察者１０は遮られずに現実世界の物体４２を見ることが可能になる。別の実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、オペレータ１０が通常の矯正眼鏡と同様に現実世界を見ることを可能にする一つ以上の矯正レンズをさらに備える。

図３ａの実施形態に図示するように、レチクル６０が有効化される。虚像４６はレチクル６０を含み、レチクル６０は現実世界の物体４２の上に重ね合わせられているように見える。この例では、レチクル６０は虚像４６の中心に現れ、オペレータ１０の視界を覆い隠すことなく、カメラ２２の焦点の中心を示す。

一実施形態では、レチクル６０は、ユーザー入力ボタン１４、タッチセンサ１６、音声コマンド、オペレータ向きカメラ２８によって捕捉された顔のジェスチャもしくは動き、または他の入力オプションを介して、オペレータ１０によってＦＯＶの異なる向きに移動されることができる。別の実施形態では、レチクル６０は、オペレータ１０の一つ以上の眼と対になっていてもよく、レチクル６０は、ユーザーの眼の動きおよび／または回転を測定する、オペレータ向きカメラ２８のアイトラッカーまたは注視トラッカーに従って移動され得る。一実施形態では、レチクル６０は、オペレータ１０によって再び移動されるまで、その割り当てられた位置に留まる。

一実施形態では、複数のレチクルが生成され、第一のレチクル６０とは独立して操作され得る。例えば、第二のレチクル６２は、図３ｃに図示するように、第一のレチクル６０と同じ観察者１０の眼に、または観察者もしくはオペレータ１０のもう一方の眼に見えてもよい。

ここで図３ｂを参照すると、一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、遠隔パーティ２００が、カメラ２２によって受信され、ヘッドマウント式ニアアイディスプレイシステム２０によって送信されるデータを見ることができるように、遠隔パーティ２００によって操作される装置２０２に接続され得る。ヘッドマウント式ニアアイディスプレイシステム２０および遠隔装置２０２は、ＬＡＮ、ＷＡＮ（例えば、インターネット）、パブリックネットワーク、および／またはプライベートネットワークなどの通信ネットワーク１０４を介して接続することができるが、これらに限定されない。例えば、技術専門家などの遠隔パーティ２００は、ディスプレイを有するコンピュータ２０２をヘッドマウント式ニアアイディスプレイシステム２０に接続して、オペレータ１０によって使用されるヘッドマウント式ニアアイディスプレイシステム２０によって送信される画像および／または映像データを見ることができる。オペレータ１０は、遠隔パーティ２００が、例えば、バウンディングボックス８０の形状およびレチクル６０の他の特徴を変更し、虚像４６内の異なる位置へとレチクル６０を移動させるなど、レチクル６０の形状または形態の制御を引き受けることを可能にし得る。一実施形態では、遠隔パーティ２００はまた、レチクル６０でコマンドを実行することができ、これには画像（すなわち、写真）の捕捉、映像の録画、バーコードのスキャン、ネットワーク化された現実世界の物体４２との相互作用、および虚像４６内の項目との相互作用が含まれるがこれらに限定されない。一実施形態では、遠隔オペレータ２００は、レチクル６０を利用して虚像４６に注釈を付けることができる。例えば、遠隔オペレータ２００は、虚像４６内の一つ以上の特徴を識別するために、レチクル６０を利用して線および／または矢印を描くことができる。一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、遠隔オペレータの入力装置（例えば、コンピュータマウス）のｘ座標およびｙ座標を、虚像４６のｘ座標およびｙ座標と整合／同期させるように動作可能であり、遠隔オペレータ２００が虚像４６内のレチクル６０を制御することを可能にする。一実施形態では、二つ以上の遠隔パーティ２００が、ヘッドマウント式ニアアイディスプレイシステム２０によって送信される画像および／または映像データをリアルタイムで見ることができる。

レチクル６０は、現実世界の物体４２の上に視覚的に重ね合わせられ得る。一実施形態では、オペレータ１０は、オペレータ１０の注視およびレチクル６０を現実世界の物体４２上に一定時間留まらせることによって、現実世界の物体４２（本明細書ではネットワーク接続された装置とも呼ぶ）を選択または相互作用するように動作可能である。別の実施形態では、オペレータ１０は、現実世界の物体４２上にレチクル６０を位置付けること、ユーザー入力ボタン１４を押下すること、タッチセンサ１６を操作すること、一つ以上の音声コマンド、オペレータ向きカメラ２８によって捕捉された顔のジェスチャもしくは動きを入力すること、または他の入力オプションによって、現実世界の物体４２を選択または現実世界の物体４２と相互作用するように動作可能である。現実世界の物体４２との相互作用の性質は、関連するコンピュータプログラムまたはアプリケーション（すなわち、アプリ）との統合によって定義される。例えば、ヘッドマウント式ニアアイディスプレイシステム２０およびレチクル６０は、パーソナルホームアシスタント、ドアロック、照明、環境温度制御、冷蔵庫、娯楽装置、車両入口、車両制御、プリンタ、エレベータなどのスマート装置を制御するために使用され得る。

別の実施形態では、相互作用は、スタイラス、一本以上の指、一本以上の手、バトン、リング、手袋、およびこれに類するものなどの、レチクル６０の代わりに作動可能になる現実の物体を指定することを含み得る。一実施形態では、スタイラス、バトン、リング、または手袋などの現実の物体の接続は、現実世界の物体のシリアル番号またはコードを、ヘッドマウント式ニアアイディスプレイシステム２０のソフトウェアアプリケーションに入力することによって達成される。一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０のソフトウェアアプリケーションは、Ｖｕｚｉｘ Ｃｏｍｐａｎｉｏｎアプリケーションであり、その全体が参照により本明細書に組み込まれる。別の実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０への現実の物体の接続は、Ｂｌｕｅｔｏｏｔｈ接続を介して達成される。さらに別の実施形態では、指または手などの現実の物体にレチクル６０を割り当てることは、カメラ２２およびユーザー入力で現実の物体を識別／選択することを含み、その後、現実の物体は、物体認識などのコンピュータビジョン技術を介してカメラ２２によって追跡される。例えば、物体の動きがレチクル６０の動きに対応する（すなわち、レチクル６０の動きを引き起こす）ように、レチクル６０は、指またはスタイラスなどの物体に割り当てられてもよい。レチクル６０が物体に割り当てられる例示的な実施形態では、仮想レチクル６０は、隠されるか、または強調解除され得る（例えば、サイズが縮小されるか、または色が変更される）。

一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、現実世界の物体４２を後で、および／またはリアルタイムで識別するために、相互作用可能な現実世界の物体４２の座標をマッピングするように動作可能である。相互作用可能な現実世界の物体４２の座標をマッピングすることにより、ヘッドマウント式ニアアイディスプレイシステム２０は、観察者の入力を受けると現実世界の物体４２が操作されるように、レチクル６０が位置付けられる現実世界の物体４２を識別することができる。例えば、ヘッドマウント式ニアアイディスプレイシステム２０は、無線制御可能な照明装置の座標をマッピングするために利用され得る。レチクル６０がマッピングされた無線照明装置上に位置するとき、観察者１０は、本明細書に記載の入力方法を介して無線照明装置を作動／停止させることができる。

別の実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、現実世界の物体４２上／現実世界の物体４２中に位置する固有の識別子（例えば、ＵＲＬ）を有するＲＦＩＤタグおよび／またはＱＲコードを介して、相互作用可能な現実世界の物体４２と接続し、それを識別するように動作可能である。例えば、ヘッドマウント式ニアアイディスプレイシステム２０は、ＲＦＩＤタグ信号を介して観察者１０がレチクル６０を位置付けた無線照明装置を識別し、上述の入力方法を介して無線照明装置を作動／停止させることができる。ＲＦＩＤタグが付けられた相互作用可能な現実世界の物体４２を利用する実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０はＲＦＩＤリーダーを含む。

別の実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、物体認識などのコンピュータビジョン技術を介して、相互作用可能な現実世界の物体４２を認識するように動作可能である。例えば、ヘッドマウント式ニアアイディスプレイシステム２０のカメラ２２は、相互作用可能な現実世界の物体４２を識別するためのリアルタイム処理のために、映像シーケンスを処理ユニット１８に送信し得る。一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、カメラ２２によって捕捉された画像および／または映像のシーケンスを処理する際に、エッジ検出を利用し得る。

ここで図２ａを参照すると、実施形態では、カメラ２２によって捕捉された現実世界の物体４２は、現実世界の物体４２の上に視覚的に重ね合わせられた虚像４６として表示される。オペレータ１０から現実世界の物体４２と相互作用するための入力信号を受信すると、ヘッドマウント式ニアアイディスプレイシステム２０は、虚像４６のアニメーションを表示して、相互作用が実行されている、または実行されたことをオペレータ１０に視覚的に示すことができる。例えば、現実世界の物体４２が卓上ランプを含む場合、相互作用を視覚的に示すアニメーションは、図２ａの両方向矢印で示すように、引き紐式スイッチの作動を含み得る。

一実施形態では、現実世界の物体４２と相互作用することにより、その物体にレチクル６０をピン留めすることができ、レチクル６０は一定時間、上記物体に固定されたままとなる。別の実施形態では、レチクル６０は、例えば、現実世界の物体４２との接触がオペレータ１０によって終了されるまで、オペレータ１０のＦＯＶ外に落ちても、上記現実世界の物体４２にピン留めされたままである。

図３ｃに図示するように、レチクル６０は、仮想メニュー内の仮想オブジェクト６４上に位置付けられて、例えば、レチクル６０が仮想オブジェクト６４上に位置付けられている間にオペレータ１０の注視を仮想オブジェクト６４上に一定時間留まらせること、ユーザー入力ボタン１４、タッチセンサ１６、一つ以上の音声コマンド、オペレータ向きカメラ２８によって捕捉された一つ以上の顔のジェスチャもしくは動きを操作すること、または他の入力オプションによって、仮想オブジェクト６４を選択または仮想オブジェクト６４と相互作用することができる。仮想オブジェクト６４との相互作用の性質は、関連するコンピュータプログラムまたはソフトウェアアプリケーションとの統合によって定義される。例えば、仮想オブジェクト６４は、メニューオプション、拡張現実要素、仮想現実要素、または任意の他の選択可能および／または対話型の仮想項目を含み得る。

図３ｄに図示するように、一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０は、ネットワーク化された現実世界の物体および装置４２に遠隔接続して、レチクル６０を介してネットワーク化された現実世界の物体および装置４２の一つ以上の状態の遠隔制御を可能にするように動作可能である。例えば、ヘッドマウント式ニアアイディスプレイシステム２０は、オペレータ１０の家の部屋の虚像４６を表示するように動作可能である。オペレータ１０は、虚像４６内のレチクル６０をナビゲートして、入力装置１６を介してネットワーク化された装置４２を選択することができる。このようにして、オペレータ１０は、家の内外の位置から、ネットワーク接続された照明のオンおよびオフ、ネットワーク接続されたサーモスタットの設定の調整、ならびに／またはネットワーク接続されたテレビの状態の制御を行うことができる。例えば、ヘッドマウント式ニアアイディスプレイシステム２０は、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、および／またはワイドエリアネットワーク（ＷＡＮ）を介して、ネットワーク化された現実世界の物体および装置４２と通信するように動作可能である。一実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０によって表示されるオペレータ１０の家の部屋の虚像４６は、静止画像である。例えば、虚像４６は、ヘッドマウント式ニアアイディスプレイシステム２０をネットワーク化された装置４２に接続するプロセス中にカメラ２２によって捕捉された静止画像であってもよい。別の実施形態では、ヘッドマウント式ニアアイディスプレイシステム２０によって表示されるオペレータ１０の家の部屋の虚像４６は、リアルタイム画像および／または映像である。例えば、虚像４６は、遠隔位置に位置するカメラによって捕捉されたリアルタイム映像であってもよい。

ここで図４ａを参照すると、ヘッドマウント式ニアアイディスプレイシステム２０ソフトウェアにより、レチクル６０がバウンディングボックス８０の形態をとることが可能となる。この実施形態では、有効化されると、バウンディングボックス８０は、カメラ２２のＦＯＶのズーム境界８２を画定する、長方形などの形状を表示する。他の実施形態では、バウンディングボックス８０は、正方形、円形、楕円形、または他の形状として表示され得る。一実施形態では、バウンディングボックス８０は、複数の色、陰影、境界線の重み、およびグラデーション陰影のうちの一つ以上であってもよく、支援要素、例えば第二のレチクル６２、または様々なカメラのＦＯＶ構成インジケータ、例えば照準線、三分割法グリッド、中心線などを含んでもよい。バウンディングボックス８０はまた、バーコードまたはＱＲコードをスキャンするために使用され得る。バウンディングボックス８０がカメラ２２の正確な位置を反映するように構成される場合、こうしたバーコードおよびＱＲコードのスキャンが改善され得る。

図４ｂに図示するように、バウンディングボックス８０は、ズーム境界８２に比例してサイズを変更することができる。

図５は、現実世界の物体４２と相互作用するために本明細書で開示されるレチクル６０、６２を使用するための一つの方法を図示するフロー図３００である。ステップ３１０では、レチクルソフトウェアが開始される。ステップ３１２では、レチクルソフトウェアは、ヘッドマウント式ニアアイディスプレイシステム２０にアクセス可能なネットワーク接続を検索する。次のステップ３１４では、レチクルソフトウェアは、状態を変更し得るオペレータ１０のローカル環境にあるすべてのネットワーク接続された装置の一覧を取得する。こうしたネットワーク接続された装置の例としては、パーソナルホームアシスタント、ドアロック、照明、温度制御、冷蔵庫、娯楽装置、車両入口および車両制御、プリンタ、エレベータなどが挙げられる。一実施形態では、オペレータ１０が相互作用することを許可されている装置のみが取得される。一実施形態では、ネットワーク接続された装置の一覧には、オペレータ１０が状態を変更する権限を有し、オペレータ１０の現在の位置にローカルではない装置が含まれる。一実施形態では、オペレータ１０は、ローカルおよび／または非ローカル装置を一覧表示することを選択することができる。決定ステップ３１６では、レチクルソフトウェアは、レチクルハイライトモードがオンになっているかオフになっているかを判定する。レチクルハイライトモードがオフ（または非アクティブ）の場合、レチクルソフトウェアはスリープモードになる。スリープモードとは、オペレータ１０がレチクルソフトウェアコマンドを開始するまでレチクルソフトウェアがオペレータ１０とのさらなる重要な相互作用を行うことなく、オペレータ１０がヘッドマウント式ニアアイディスプレイシステム２０を操作し続けることを可能にするレチクルソフトウェアの状態を指す。決定ステップ３１６では、レチクルハイライトモードがオン（またはアクティブ）である場合、方法３００はステップ３２０に進む。図６に示すように、ステップ３２０は、ネットワークに接続され、その状態を変更することができる現実世界の装置４２の各々の上のレチクル６０をオペレータ１０に表示する。一実施形態では、レチクル６０は、ポインティングタイプのレチクルである。別の実施形態では、レチクル６０は、オペレータ１０によって見られるように、現実世界の物体４２の少なくとも一部分を覆う、および／またはその周りに位置するバウンディングボックスタイプのレチクル８０である。次に、決定ステップ３２２に入り、オペレータ１０は、オペレータに表示されたレチクル６０のうちの一つを選択することによって、装置４２のうちの一つを選択することができる。次に、ステップ３２４に入り、レチクルソフトウェアは、選択された装置４２が有することができる状態の一覧を表示する。オペレータ１０は、この一覧から、オペレータ１０が装置４２をどの状態にしたいかを選択することができる。決定ステップ３２６へ入り、オペレータ１０が装置４２の現在の状態を変更することを選択したかどうかを判定する。オペレータ１０が装置４２の状態を変更しないことを選択した場合、決定ステップ３２８に入り、オペレータ１０が状態オプション一覧を消去することを望むかどうかを判定する。メニューが消去されない場合、フローはステップ３２４に渡される。装置４２の状態の一覧が消去される場合、フローはステップ３２０に渡される。決定ステップ３２６では、オペレータ１０が装置４２の現在の状態を変更することを選択した場合、フローはステップ３３０に渡される。ステップ３３０では、レチクルソフトウェアは、選択された装置４２の状態を変更するためのコマンドを形成し、発行する。ステップ３３２では、可能な装置４２の状態のメニューは消去され、オペレータ１０に表示されなくなる。フローはステップ３２０に渡される。いつでも、オペレータ１０は、レチクルソフトウェアをハイライトモードに切り替えるか、またはハイライトモードをオフにすることができる。これにより、オペレータ１０の環境内の現実世界の物体４２の上にレチクル６０が表示されるかどうかが切り替わる。ステップ３４０は、ハイライトモードをオンに切り替える。ステップ３５０は、ハイライトモードをオフに切り替える。

ヘッドマウント式ニアアイディスプレイシステム２０は、一つ以上の回折光学素子を有する一つ以上の光学的に透明な平行板導波路１００を利用するものとして本明細書で説明されている。しかしながら、本開示の主題の実施形態は、図７に図示されたヘッドマウント式ニアアイディスプレイシステム４００のような光学的に透明でないヘッドマウント式ニアアイディスプレイシステムで利用されてもよい。

本明細書に記載される実施形態の一つ以上の特徴を組み合わせて、図示されていない追加の実施形態を作製してもよい。様々な実施形態を上記で詳細に説明しているが、それらは、限定的なものではなく例示目的で提示されていると、理解されるべきである。その範囲、精神、または本質的な特徴から逸脱することなく、本開示の主題が、他の特定の形態、変形、および修正によって具現化され得ることが、関連技術の当業者には明らかであろう。したがって、上述した実施形態は、すべての点において例示として考慮されるべきであり、限定的なものではない。本発明の範囲は、添付の特許請求の範囲によって示され、その均等物の意味および範囲内にあるすべての変更がその中に包含されることが、意図される。

Claims (20)

1. ネットワーク接続された装置を制御するためのヘッドマウント式ニアアイディスプレイシステムであって、
   虚像内にレチクルを形成するように動作可能な画像源と、
   前記レチクルが前記ネットワーク接続された装置の上に視覚的に重ね合わせることができるように、前記レチクルを制御するように動作可能なユーザー入力機構と、を備え、
   前記ネットワーク接続された装置が、前記ネットワークを介して状態を変更するコマンドを受信するように動作可能であり、
   前記ユーザー入力機構が、前記レチクルが前記ネットワーク接続された装置の上に視覚的に重ね合わせられた時に前記ネットワーク接続された装置を選択するように動作可能であり、それによって前記ネットワーク接続された装置の前記状態が変更されるように動作可能である、システム。
2. 前記ネットワーク接続された装置が、前記レチクルが前記ネットワーク接続された装置上に所定の時間、視覚的に重ね合わせられた時に状態を変化させる、請求項１に記載のシステム。
3. 前記虚像内に形成されたメニューをさらに備え、前記メニューが、前記ネットワーク接続された装置に関連付けられた複数の選択可能なオプションを有し、前記レチクルが前記オプションのうちの一つ以上の上に視覚的に重ね合わせられるように動作可能であり、前記レチクルが前記オプションのうちの一つ以上を選択または選択解除して前記ネットワーク接続された装置の前記状態を変更するように動作可能である、請求項１に記載のシステム。
4. 前記ネットワーク接続された装置の画像を捕捉するように配置されたカメラと、
   前記カメラおよび前記画像源と通信する処理ユニットと、
   導波路であって、前記導波路が、前記ネットワーク接続された装置の前記画像の虚像をアイボックスに伝達するように配置された導波路と、を備え、
   前記導波路が、前記ネットワーク接続された装置の前記画像のアニメーション化された虚像を前記アイボックスに伝達して、前記ネットワーク接続された装置の状態の変化を視覚的に示すように配置される、請求項１に記載のシステム。
5. カメラまたは他の視覚的入力装置をさらに備え、前記レチクルが、前記カメラまたは他の視覚的入力装置の視野を表すバウンディングボックスである、請求項１に記載のシステム。
6. 前記バウンディングボックスが、バーコードまたはＱＲコードと位置合わせされて、関連する項目または装置をスキャンする、請求項５に記載のシステム。
7. 前記レチクルが十字線である、請求項１に記載のシステム。
8. 前記レチクルが現実世界の物体に割り当てられ、前記レチクルの動きが前記現実世界の物体の動きに対応する、請求項１に記載のシステム。
9. 前記レチクルが、仮想メニューまたは他の選択可能な仮想オブジェクトを選択する、選択解除する、制御する、またはその他の方法で影響を与えるように動作可能である、請求項１に記載のシステム。
10. 前記第一のレチクルと一緒に、または前記第一のレチクルとは独立して動作するように配置された第二のレチクルをさらに備える、請求項１に記載のシステム。
11. 前記レチクルが、複数のネットワーク接続された装置を作動させる、停止させる、制御する、または複数のネットワーク接続された装置の前記状態をその他の方法で変更するように動作可能である、請求項１に記載のシステム。
12. 前記レチクルの色、形状、向き、または形態が、前記ユーザー入力機構を介して変化するように構成されている、請求項１に記載のシステム。
13. 前記ユーザー入力機構が、ユーザー入力ボタン、タッチセンサ、音声コマンド、またはオペレータ向きカメラによって捕捉された顔のジェスチャもしくは動作である、請求項１に記載のシステム。
14. ネットワーク接続された装置の座標をマッピングするように動作可能な処理ユニットをさらに備え、それによって前記ネットワーク接続された装置が、前記レチクルが前記ネットワーク接続された装置の上に視覚的に重ね合わせられた時に識別可能である、請求項１に記載のシステム。
15. ネットワーク接続された装置を識別するように動作可能なＲＦＩＤリーダーをさらに備え、それによって前記ネットワーク接続された装置が、前記レチクルが前記ネットワーク接続された装置の上に視覚的に重ね合わせられた時に識別可能である、請求項１に記載のシステム。
16. コンピュータビジョン技術を介してネットワーク接続された装置を識別するように動作可能な処理ユニットをさらに備え、それによって前記ネットワーク接続された装置が、前記レチクルが前記ネットワーク接続された装置の上に視覚的に重ね合わせられた時に識別可能である、請求項１に記載のシステム。
17. カメラと、前記カメラおよび前記ユーザー入力機構と信号通信する処理ユニットとをさらに備え、前記処理ユニットが、遠隔パーティが前記カメラによって受信されたデータを見ることができるように、遠隔装置と接続するように動作可能である、請求項１に記載のシステム。
18. 一つ以上のネットワーク接続された装置に遠隔接続するように動作可能な処理ユニットをさらに備え、導波路が、前記一つ以上のネットワーク接続された装置を備える虚像を伝達するように動作可能であり、前記レチクルが前記ネットワーク接続された装置上に視覚的に重ね合わせられるように、前記ユーザー入力機構が前記虚像内で前記レチクルをナビゲートするように動作可能であり、それによって前記ネットワーク接続された装置の前記状態が変更されるように動作可能である、請求項１に記載のシステム。
19. 前記虚像が、一つ以上のネットワーク接続された装置が位置する部屋の静止画像である、請求項１８に記載のシステム。
20. 前記虚像が、一つ以上のネットワーク接続された装置が位置する部屋のリアルタイム映像である、請求項１８に記載のシステム。

Images