JP2019008798A - 注視方向可変の仮想環境における触覚次元 - Google Patents

Abstract

【課題】注視方向可変の仮想環境において触覚次元を用いて触覚効果を生成するシステム及び方法を提供すること。【解決手段】本方法は、仮想環境内で関心点を特定することと、関心点に基づいて複数の触覚次元を生成することとを含む。触覚次元は、関心点領域を定義する。さらに、ユーザーの注視方向が求められ、その注視方向に基づいて、関心点領域に向けられているユーザーの注視の量が求められる。関心点領域に向けられているユーザーの注視の量が閾値未満である場合、触覚効果が生成される。【選択図】図１

Description

本発明は、包括的には触覚システムに関し、特に、注視方向（gaze orientation）可変の仮想環境において触覚次元（haptic dimensions）を使用する触覚効果の生成に関する。

ハプティクス（haptics：触覚学）は、ユーザーに対して、力、振動及びモーション等の触覚フィードバック効果（例えば、「触覚効果」）を与えることによってユーザーの触覚の知覚を利用する、触知性及び力のフィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、及びパーソナルコンピューター等のデバイスは、触覚効果を生成するように構成することができる。一般的に、触覚効果を生成することが可能な組み込みハードウェア（アクチュエーター等）に対する呼び出しは、デバイスのオペレーティングシステム（「ＯＳ」）内でプログラムすることができる。これらの呼び出しは、いずれの触覚効果を再生するかを指定する。例えば、ユーザーが、例として、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール又は他の何らかの制御装置を用いてデバイスとインタラクトする場合、デバイスのＯＳは、制御回路を通じて組み込みハードウェアにコマンドを送信することができる。そして、組み込みハードウェアは、適切な触覚効果を生成する。

従来の仮想現実（「ＶＲ」）若しくは拡張現実（「ＡＲ」）環境において、又はビデオ若しくはゲーム等の他の応用において、ユーザーに対して、仮想環境のビューを提示することができる。幾つかの実施の形態では、この環境は、通常、ヘッドマウントディスプレイを使用するとき、３６０度ビューからなる。さらに、ビデオ又はゲームは、そのビデオ又はゲームのコンテンツ又は目的に対して最も重大な特定の関心領域を有する。この状況において、ユーザーは、特定の関心領域以外の何かに注視している（すなわち、向いているか又は見ている）可能性があり、したがって意図されたコンテンツを見逃す可能性がある。こうした状況は、ユーザーが、指のスワイプ、又はマウス若しくは他のポインティングデバイスの使用により自身の注視を変更することができるゲーム又はビデオとともに、コンピューター、タブレット又はハンドヘルドデバイスを使用しているときにもまた、発生する可能性がある。

本発明の目的のうちの１つは、注視方向可変の仮想環境において触覚次元を用いて触覚効果を生成するシステム及び方法を提供することである。

本開示の一実施の形態において、注視方向可変の仮想環境において触覚次元を生成するシステム及び方法が提示される。注視方向可変の環境は、ユーザーが仮想環境内で自身のビューを幾分か制御する、任意のゲーム、ビデオ又はインタラクティブシステムである。仮想環境は、ヘッドマウントディスプレイ、ハンドヘルドデバイス、スマートフォン又は他の表示装置に表示することができる、任意のタイプの現実、仮想現実、拡張現実等を意味するように意図される。本方法は、仮想環境内で関心点（point of interest）を特定することと、関心点に基づいて複数の触覚次元を生成することとを含む。触覚次元は、関心点領域を定義する。さらに、ユーザーの注視方向が求められ、その注視方向に基づいて、関心点領域に向けられているユーザーの注視の量が求められる。関心点領域に向けられているユーザーの注視の量が閾値未満である場合、仮想環境においてユーザーの注視を主要なコンテンツに向け直すように、触覚効果が生成される。

本開示の一実施形態による、触覚対応仮想現実システムのブロック図である。 本開示の一実施形態による、ユーザーの注視が関心点領域に向けられている、３６０度仮想環境の図である。 本開示の一実施形態による、ユーザーの注視が触覚効果領域に向けられている、３６０度仮想環境の図である。 一実施形態による、触覚次元生成器を用いる触覚生成システムの図である。 本開示の一実施形態による、触覚効果を生成するために触覚次元を利用する図１のシステムの機能のフロー図である。

本明細書に組み込まれて本明細書の一部を形成する添付図面は、本発明を例示し、さらに、本記載とともに、本発明の原理を説明することと、関連技術（複数の場合もある）における当業者が本発明を製造及び使用することを可能にすることとに貢献する。

加えて、参照符号の最左桁によって、その参照符号が最初に登場する図面が特定される（例えば、参照符号「３１０」は、この付番された要素が、図３において最初にラベリングされるか又は最初に登場することを示す）。加えて、同一の参照符号を有し、その符号の後ろに異なるアルファベット文字又は他の区別のためのマーキング（例えば、アポストロフィー）が続く要素は、構造、動作、又は形式の点では同一であるが、空間において異なる位置にある、又は異なる時点において再び現れるものとして特定される場合がある要素を示す。

１つの実施形態は、仮想環境においてユーザーが自身の注視をどこに向けるべきかを支援する領域を定義する、触覚次元を生成する。このような向きは、関心点等、意図されたコンテンツを見ることができるようにユーザーを誘導する。ユーザーの注視が関心点に向けられていない場合、ユーザーを、自身の注視方向を関心点に戻すように変更するように誘導するために、触覚効果が生成される。触覚次元はまた、ゲーム又はビデオにおいて、ユーザーが自身の注視をどこに向けるべきかを支援する領域を定義するためにも使用される。ユーザーの「注視」は、ゲーム又はビデオ内でのユーザーのビューである。したがって、例えば、スマートフォン等のハンドヘルドデバイスを使用しているとき、ユーザーの注視は、ディスプレイ上で見られているものである。注視はまた、見られているものが、ユーザーが関心点に対してどれくらい近いか又はどれくらい離れているかを含む、深さの成分も含むことができる。例えば、注視は、ｚ軸における深さ追跡とともに、水平軸（Ｘ軸）及び垂直軸（Ｙ軸）における回転追跡又は視線追跡を含むことができる。したがって、触覚次元は、仮想現実、拡張現実、及びユーザーが見ることができるものの動き又は向きを制御することができる他の任意のタイプのゲーム又はビデオに適用可能である。

本明細書に記載される実施形態が、特定の用途についての例示的な実施形態である一方、本発明は、それらの実施形態に限定されないことが理解されるべきである。本明細書で提供される教示が利用可能な当業者であれば、本発明の範囲内にある、更なる変更形態、用途、及び実施形態、並びに本発明が大きな有用性を有する更なる分野を認識するであろう。

図１は、本発明の一実施形態を実施することができる触覚対応システム１０のブロック図である。システム１０は、機械的又は電気的な選択ボタン１３及びタッチセンシティブスクリーン１５を備えたスマートデバイス１１（例えば、スマートフォン、タブレット、スマートウォッチ等）を含むことができる。システム１０はまた、ゲームパッド、モーションワンド（motion wand）、ヘッドマウントディスプレイ又はデバイス等、ユーザーによって保持される任意のデバイスとすることもできる。

システム１０の内部には、システム１０上で触覚効果を生成する触覚フィードバックシステムがある。触覚フィードバックシステムは、コントローラー又はプロセッサ１２を含む。プロセッサ１２には、メモリ２０及びドライバーシステム１６が接続され、ドライバーシステム１６は、触覚出力デバイス１８に接続されている。プロセッサ１２は、任意のタイプの汎用プロセッサとすることができ、又は、特定用途向け集積回路（「ＡＳＩＣ」）等、触覚効果を提供するように特別に設計されたプロセッサとすることができる。プロセッサ１２は、システム１０全体を動作させるものと同じプロセッサとすることができ、又は別個のプロセッサとすることができる。プロセッサ１２は、高水準パラメーターに基づいて、いかなる触覚効果が再生されるべきかと、効果が再生される順序とを決定することができる。一般に、特定の触覚効果を定義する高水準パラメーターは、大きさ、周波数及び持続時間を含む。特定の触覚効果を決定するために、ストリーミングモーターコマンド等の低水準パラメーターも使用することができる。触覚効果は、触覚効果が生成されるときのこれらのパラメーターの何らかの変動、又はユーザーのインタラクションに基づくこれらのパラメーターの変動を含む場合、「動的」とみなすことができる。

プロセッサ１２は、ドライバーシステム１６に制御信号を出力し、ドライバーシステム１６は、所望の触覚効果が生成されるように、触覚出力デバイス１８に必要な電流及び電圧（すなわち、「モーター信号」）を供給するために使用される電子部品及び回路を含む。システム１０は、複数の触覚出力デバイス１８を含むことができ、各触覚出力デバイス１８がドライバーシステム１６を含むことができ、それらは全てプロセッサ１２に接続されている。メモリ２０は、ランダムアクセスメモリ（「ＲＡＭ」）又はリードオンリーメモリ（「ＲＯＭ」）等、任意のタイプの一時的又は非一時的記憶デバイス又はコンピューター可読媒体とすることができる。通信媒体は、コンピューター可読命令、データ構造、プログラムモジュール、又は搬送波若しくは他の伝送機構等の被変調データ信号における他のデータを含むことができ、任意の情報伝達媒体を含む。

メモリ２０は、オペレーティングシステム命令等、プロセッサ１２によって実行される命令を記憶する。後でより詳細に開示するように、当該命令のうち、メモリ２０は、プロセッサ１２によって実行されると、許可に基づいて触覚効果を生成する命令を含む、触覚効果許可モジュール２２を含む。メモリ２０はまた、プロセッサ１２の内部に位置するか、又は内部メモリ及び外部メモリの任意の組合せとすることもできる。

触覚出力デバイス１８は、触覚効果を生成する任意のタイプのデバイスとすることができ、ユーザーの身体の所望の領域に対して所望の触覚効果をもたらすことができるように、システム１０の任意の領域に物理的に配置することができる。幾つかの実施形態では、システム１０は、何十又は更には何百もの触覚出力デバイス１８を含み、触覚出力デバイスは、ユーザーの身体の概して全ての領域において触覚効果を、及び任意のタイプの触覚効果を生成することができるように、異なるタイプとすることができる。触覚出力デバイス１８は、スマートデバイス１１の任意の部分を含む、システム１０の任意の部分に配置することができ、又はウェアラブルデバイス若しくはヘッドマウントディスプレイ等、システム１０の任意の部分にリモートに接続することができる。

一実施形態では、触覚出力デバイス１８は、振動触知触覚効果を生成するアクチュエーターである。この目的で使用されるアクチュエーターとしては、モーターによって偏心質量体が動かされる偏心回転質量（「ＥＲＭ」）等の電磁アクチュエーター、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエーター（「ＬＲＡ」）、又は圧電ポリマー、電気活性ポリマー（「ＥＡＰ」）若しくは形状記憶合金等の「スマート材料」等を挙げることができる。触覚出力デバイス１８はまた、静電摩擦（「ＥＳＦ」）デバイス若しくは超音波表面摩擦（「ＵＳＦ」）デバイス等のデバイス、又は超音波触覚変換器により音響放射圧を誘導するデバイス等のデバイスとすることもできる。他のデバイスは、触覚基板及び可撓性又は変形可能表面を使用することができ、デバイスは、エアジェットを用いるひと吹きの空気等の放出される触覚出力を提供することができる。触覚出力デバイス１８は、さらに、熱触覚効果を提供する（例えば、加熱するか又は冷却する）デバイスとすることができる。

システム１０は、プロセッサ１２に接続されたセンサー２８を更に備える。センサー２８を用いて、システム１０のユーザーの任意のタイプの特性（例えば、体温、心拍数等のバイオマーカー）、又は任意のタイプのユーザーの状況若しくは現状況（例えば、ユーザーの位置、周囲の温度等）を検出することができる。

センサー２８は、或る形態のエネルギー、又は、限定はされないが、音、運動、加速度、生理学的信号、距離、流れ、力／圧力／歪み／屈曲、湿度、線形位置、方位／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、若しくは可視光強度等の他の物理的特性を検出するように構成することができる。センサー２８は、検出されたエネルギー又は他の物理的特性を、電気信号、又は仮想センサー情報を表す任意の信号に変換するように更に構成することができる。センサー２８は、限定はされないが、加速度計、心電図、脳電図、筋電図、眼電図、エレクトロパラトグラフ（electropalatograph：電子口蓋図）、ガルバニック皮膚反応センサー、静電容量センサー、ホール効果センサー、赤外線センサー、超音波センサー、圧力センサー、光ファイバーセンサー、曲げセンサー（又は屈曲センサー）、感圧抵抗体、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ^２ １５５、小型圧力トランスデューサー、圧電センサー、歪みゲージ、湿度計、線形位置タッチセンサー、線形ポテンショメーター（又はスライダー）、線形可変差動変圧器、コンパス、傾斜計、磁気タグ（又は無線周波数識別タグ）、ロータリーエンコーダー、ロータリーポテンショメーター、ジャイロスコープ、オンオフスイッチ、温度センサー（気温計、熱電対、抵抗温度検出器、サーミスタ、又は温度変換集積回路等）、マイクロフォン、光度計、高度計、生体モニター、カメラ、又は光依存抵抗器等の任意のデバイスとすることができる。

システム１０は、システム１０がインターネット／クラウド（図示せず）を介して通信するのを可能にする通信インターフェース２５を更に備える。インターネット／クラウドは、システム１０に対して遠隔記憶及び処理を提供し、システム１０が同様の又は異なるタイプのデバイスと通信するのを可能にすることができる。さらに、本明細書に記載する処理機能のうちの任意のものを、システム１０からリモートのプロセッサ／コントローラーによって実行し、通信インターフェース２５を介して通信することができる。

一実施形態では、仮想環境が、ユーザーに対して３６０度仮想環境を提供することができる。ユーザーは、ヘッドマウントディスプレイ（「ＨＭＤ」）を使用して、任意の向きを見ることができる。ユーザーが見ている場所は、ユーザーの「注視」とも呼ばれる。３６０度仮想環境はユーザーに対して没入型体験を提示するが、ユーザーは、他のコンテンツによって注意を逸らされる場合があり、又は単に「探検して」おり、ゲーム又はビデオにおいて「主要な」コンテンツを見逃す可能性がある。通常、これは、現時点では、一般的に、ユーザーが体験又はビデオの主要なコンテンツから離れるようにナビゲートしていることと、ユーザーの注視を主要なコンテンツに戻すように向けるべき場所とをユーザーに知らせる、コンパス又は矢印の表示により対処される。別の実施形態では、ユーザーがデバイスとのインタラクション（例えば、タッチスクリーン上でのジェスチャー、又はキー若しくはボタンの使用を介した）によりユーザーの注視又はビューを制御することができるスマートフォン等により、３６０度未満のビューでの仮想環境又はゲームが、ユーザーに対して提示される。３６０度ビュー又はそれ未満のビューは、単に、特定のビデオ又はゲームに対する設計選択である。

一実施形態では、コンパス又は他の表示アイコンを使用するのではなく、ユーザーに対して、関心点、特に限定されないが３６０度環境、但しスマートフォン等のデバイス（例えば、スマートデバイス１１）に等しく適用可能な関心点に向かうように、ユーザーの注視をどこにナビゲートするべきかの触覚情報が提供される。関心点の周囲に、ハプティクス（haptics：触覚効果）によって関心点に「囲いをする」領域が定義される、触覚バリア（haptics barrier）が構築される。ユーザーが、関心点領域の外側にナビゲートする場合、ユーザーが主要なコンテンツから離れるようにナビゲートしていることをユーザーに知らせる触覚効果が生成される。

図２は、一実施形態による３６０度仮想環境２００の図である。仮想環境２００は、３６０度のコンテンツ２１０を含む。コンテンツ２１０は、２つの領域、すなわち、触覚効果領域２１４及び関心点領域（「ＰＯＩ領域」）２１６に分割される。触覚効果領域２１４は、単一の連続した領域であるが、３６０度表示のために２つのセクションで示されている。仮想環境２００はまた、関心点２１２も含む。さらに、仮想環境２００では、ユーザーの注視２２０は関心点２１２に向けられている。

ＰＯＩ領域２１６は、関心点２１２を包囲する領域であるように定義される。ＰＯＩ領域２１６の位置及びサイズは、触覚次元としても知られる。さらに、触覚次元は、触覚バリアと呼ぶこともできる。ユーザーの注視２２０が、ＰＯＩ領域２１６内に、したがって触覚次元（又は、触覚バリア）内に完全に向けられる場合、ユーザーの注視の方向又は向きを変更するようにユーザーを促すか又は指示する必要はない。

現行の３６０度最新式ビデオシステムのうちの幾つかは、可視コンパス（visual compass）を使用する。可視コンパスは、主要なコンテンツを指し、主要なコンテンツに関するユーザーの相対的な注視を示す。しかしながら、可視コンパスの使用は、通常、ヘッドマウントディスプレイを装着しているとき、又はスマートフォン若しくは他のデバイスにおいて、３６０度ビデオに対して利用可能ではなく、又は適切に適用されない。

一実施形態では、可視コンパスを用いる既存の３６０度ビデオ及びゲームにおいて、触覚次元を導出することができる。しかしながら、可視コンパスを表示するのではなく、その情報を用いて、適切な触覚効果が、すなわち可視コンパスではなくハプティクスを用いて生成される。一般に、コンパスは、ビデオが最初に開始したときにユーザーが見ている中心点である、ビデオの「正面」又は「デフォルト」状態を示す。多くの３６０度ビデオでは、主要なストーリーラインは、この最初のビューで発生し、効果をトリガーするのに十分離れて逸脱するときに、ハプティクスを発生させる。

図３は、一実施形態による３６０度仮想環境３００の図である。仮想環境３００は、３６０度のコンテンツ３１０を含む。コンテンツ３１０は、２つの領域、すなわち、触覚効果領域３１４及び関心点領域（「ＰＯＩ領域」）３１６に分割される。ＰＯＩ領域３１６は、単一の連続した領域であるが、３６０度表示のために２つのセクションで示されている。仮想環境３００はまた、関心点３１２も含む。

仮想環境２００と比較すると、関心点３１２は左に移動している。関心点３１２が移動するとき、触覚次元は関心点３１２とともに進む。ユーザーが、ここで仮想環境３００におけるように、自身の注視方向を変更しない場合、ユーザーの注視３２０は関心点３１２に向けられなくなり、ユーザーの注視３２０はＰＯＩ領域内に含まれなくなる。逆に、仮想環境３００に示すように、ユーザーの注視３２０は、触覚効果領域３１４に完全に向けられている。触覚効果領域３１４を注視しているとき、ユーザーは、関心点３１２を見なくなる。したがって、一実施形態では、好ましくは関心点３１２を含むようにユーザーの注視の方向を変更するようにユーザーに対して通知するように、触覚効果が生成される。

一実施形態では、閾値が判断され、それにより、ユーザーの注視３２０の所定部分が触覚次元の外側に向けられているとき、すなわち、ユーザーの注視３２０のうちの幾分かが触覚効果領域３１４に向けられているとき、触覚効果が生成される。仮想環境３００は、ユーザーの注視３２０の１００％が触覚効果領域３１４に向けられており、ＰＯＩ領域３１６に向けられているのは０％であることを示す。したがって、この例では、閾値は０％である。しかしながら、任意の閾値を選択することができる。例えば、９０％の閾値レベルを設定することができ、それにより、ＰＯＩ領域３１６に向けられるユーザーの注視３２０が９０％未満である場合、ユーザーに対して、自身の注視を関心点３１２及びＰＯＩ領域３１６に向け直すように通知する、触覚効果が生成される。

別の実施形態では、閾値は、注視のパーセンテージではなく、他の観点で表現することができる。例えば、閾値は、関心点３１２からの変位の度数に関して、例えば、水平面において左若しくは右に、又は垂直面において上若しくは下に、関心点から４５度とすることができる。別の実施形態では、閾値は、関心点３１２からの距離に基づくことができる。こうした距離はこの場合もまた、水平面又は垂直面にあるものとすることができ、又は、ユーザーが「パン（pan）」イン又はアウトすることができる場合、ユーザーが、関心点３１２からパンアウトするとき、ＰＯＩ領域が視界のより小さい部分となる。さらに、閾値は、ユーザーの注視が関心点から視界の２５％以上離れている等、視界の量に関して表現することができる。さらに、値は、０度に存在するＰＯＩ等、絶対値であり、９０度〜２７０度に面しているときに効果を再生するものとすることができる。値は、ＰＯＩが０度に存在する場合の相対的な差分でもあり、ユーザーの注視が４５度の変化に等しいか又はそれより大きい場合に効果を再生するものとすることができる。さらに、向きの閾値量に基づいて効果をトリガーするのではなく、ユーザーがＰＯＩを注視していない所定期間の後に、ＰＯＩ触覚効果をトリガーすることができる。

一実施形態では、ハプティクスを用いて、ユーザーに向きを示す情報を与えることができる。例えば、仮想環境２００から仮想環境３００に遷移することは、関心点２１２／３１２が左に移動していることを示す。左に移動する際、触覚次元は関心点２１２／３１２とともに進み、そこでは、触覚次元が進む際に触覚効果領域３１４もまた移動する。ユーザーが自身の注視を変更しない場合、ユーザーの注視は、右からの触覚バリア又は次元に衝突する。したがって、一実施形態では、触覚効果は、ウェアラブルデバイス、モバイルデバイス又は他の任意の触覚対応デバイスのいずれかにおいて、ユーザーの右側で生成される。同じ概念は、関心点が右に移動し、ユーザーが、左からの触覚効果領域に衝突することに直面し、したがって、ユーザーの左側において触覚効果を受ける場合に、適用される。対応する情報及び触覚効果は、上方又は下方の触覚次元に直面する場合にも生成することができる。したがって、ユーザーの注視をビデオ又はゲームのコンテンツの中心又は主要部分に向け直すように、ユーザーの注視を任意の向き、又は向きの組合せ、例えば、下及び左、上及び右等から変更するようにユーザーを誘導することができる。さらに、生成される触覚効果のタイプは、異なるものとすることができ、その場合、いずれの触覚バリア又は複数のバリアに直面しているかを触覚効果のタイプによって示すことができる。

別の実施形態では、上記手法の反対を用いることができ、そこでは、貫通することができないバリアとしてハプティクスを用いるのではなく、触覚効果は、ユーザーが見ているべき場所を通知する。一実施形態では、異なる触覚効果を用いることができ、その場合、触覚効果の１つのタイプがバリアを表し、別の触覚効果が、ＰＯＩがいずれの向きに位置しているかを表す。例えば、振動触知効果がバリアを表し、そこでは、ユーザーの注視を変更しようとして、Miraisens型又はフォースフィードバック技術が用いられる。Miraisensは、力覚、圧力又は触知感覚を生成するために用いることができる、Miraisens,Inc.によって製作された３次元ジェスチャーフィードバック技術である。

図３の参照により、関心点３１２の移動と、ＰＯＩ領域３１６及び触覚効果領域３１４の対応する移動とを示した。同様の状況は、関心点３１２が移動するか否かにかかわらず、ユーザーの注視が移動する場合に存在する。この状況では、ユーザーの注視が移動しているという判断がなされる。例えば、仮想環境３００において、関心点３１２が左に移動しているのではなく、ユーザーの注視３２０が実際には右に移動したと想定する。この状況では、ユーザーの注視３２０は、関心点３１２から離れるように移動している。閾値量のユーザーの注視３２０がＰＯＩ領域３１６に向けられなくなると、ユーザーの注視３２０を向け直すように、触覚効果が生成される。注視が主要なコンテンツに向けられなくなったことをユーザーに対して注意することに加えて、触覚効果のパラメーターは、ユーザーの注視が正しい向きに移動しているか否かを伝えることができる。例えば、ユーザーの注視３２０が関心点３１２から離れて右に移動し続けている際、ユーザーの注視３２０から関心点３１２までの距離が増大するに従い、生成される触覚効果のパラメーターは増大することができる。パラメーターは、触覚効果の大きさ、周波数、持続時間又は他の任意の組合せとすることができる。したがって、ユーザーが、ユーザーの注視３２０の移動を左に戻るように反転させ、ユーザーの注視３２０と関心点３１２との間の距離を低減させる場合、生成される触覚効果のパラメーターは低減する。同様の例では、これが３６０度コンテンツであるとすれば、ユーザーが自身の注視を右に移動し続けた場合、最終的に、ユーザーの注視３２０と関心点３１２との間の距離は低減し始め、その後、触覚効果のパラメーターが低減することになる。

図４は、一実施形態による、触覚次元生成器を利用する触覚生成システム４００の図である。システム４００は、関心点決定器４１０、触覚次元生成器４２０、注視追跡システム４３０、ハプティクス生成器４４０、ドライバーシステム４５０及び触覚出力デバイス４５５を備える。

関心点決定器４１０は、触覚対応コンテンツを受け取る。触覚対応コンテンツは、２次元又は３６０度ビデオコンテンツを含む。こうしたコンテンツは、触覚対応ゲーム又はビデオを含むことができる。関心点は、付随する触覚トラックから又はビデオ処理アルゴリズムの使用を通して特定される。

関心点決定器４１０によって関心点が特定されると、触覚次元生成器４２０は、関心点を包囲する関心点領域、例えば、図２におけるＰＯＩ領域２１６又は図３におけるＰＯＩ領域３１６を定義する一組の次元を定義する。上述したように、触覚次元は、ＰＯＩ領域が終了し触覚効果領域が開始する場所を定義する。

注視追跡システム４３０は、図２におけるユーザーの注視２２０及び図３におけるユーザーの注視３２０等、ユーザーの注視の方向を求める。注視追跡システム４３０は、ユーザーの注視の方向を求めることにより、ユーザーの注視のうちのどれくらいが関心点領域内に入るかを判断することができる。

ハプティクス生成器４４０は、注視追跡システム４３０によって関心点領域に入ると判断されたユーザーの注視の量が閾値量以下である場合、触覚信号を生成する。

ハプティクス生成器４４０はまた、触覚出力デバイス又はアクチュエーターの数、位置及びタイプを判断するようにも構成される。デバイス又はアクチュエーターの配置、タイプ及び数により、局所化ハプティクスの品質が決まる。デバイスの数が多いほど、ユーザーによる局所化ハプティクスの感覚が良好になる。触覚出力デバイスは、ハンドヘルドコントローラー内に埋め込まれるか又は椅子若しくは他の家具等の物体内に組み込まれる、ウェアラブル技術の使用等を通じて、ユーザーに配置することができる。さらに、少数のアクチュエーターが、適度な局所化ハプティクスを生成することができる。

ハプティクス生成器４４０は、関心点決定器４１０、触覚次元生成器４２０及び注視追跡システム４３０の出力に基づいて、触覚出力デバイスに対して触覚効果コマンドを動的に生成する。ハプティクス生成器４４０は、関心点及び／又はユーザーの注視の移動に基づいて効果を生成する。ハプティクス生成器４４０は、利用可能な触覚出力デバイス（例えば、アクチュエーター）の数及び位置を分析して、各触覚出力デバイスに提供されるべき動的局所化触覚効果の適切なタイプを決定する。さらに、ハプティクス生成器４４０は、各触覚出力デバイスに対する局所化触覚効果をリアルタイムで動的に生成することができる。例えば、ユーザーの注視が触覚効果領域、例えば、図３の触覚効果領域３１４に向けられる場合、関心点又はユーザーの注視の変化する移動に基づいて、局所化触覚効果が変更される。

ドライバーシステム４５０は、ハプティクス生成器４４０から触覚コマンド又は命令を受け取り、所望の触覚効果を生成する触覚出力デバイス４５５を動作させる。ドライバーシステム４５０はまた、１つ以上のドライバーを含む。

図５は、一実施形態による、触覚次元を利用して触覚効果を生成する、図１のシステム１０の機能を含むフローチャート５００である。一実施形態では、図５のフローチャートの機能は、メモリ又は他のコンピューター可読若しくは有形の媒体に記憶されプロセッサによって実行されるソフトウェアによって実施される。他の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）等の使用を通じて）、又はハードウェア及びソフトウェアの任意の組合せによって実行することができる。

フローチャート５００は、５１０で開始し、そこでは、関心点に対するユーザーの注視の焦点が閾値量を超えるか否かについて判断される。視線追跡のない一実施形態では、焦点は、ユーザーの注視、例えば、ユーザーがビデオのいずれのセクションを見ているかの判断である。デバイスが視線追跡機能を有する場合、焦点は、ユーザーが見ている表示可能（画面上）コンテンツの所定の部分を含むことができる。図２及び図３において考察したように、関心点、例えば、関心点２１２及び３１２が特定される。関心点が特定されると、ユーザーの注視が関心点に焦点合わせされているか否かの判断がなされる。例えば、関心点及び対応するＰＯＩ領域、例えば、ＰＯＩ領域２１６及び３１６が視界全体のわずかな割合となるほど、ユーザーの注視が関心点から外側にパンされる場合、視界全体に対するＰＯＩ領域の比が閾値量未満であると判断することができ、方法は５２０に続く。一方、視界全体に対するＰＯＩ領域の比が閾値量を超える場合、ユーザーの注視は、関心点に焦点合わせされていると判断され、５３０においていかなる触覚効果も生成される必要はない。

５２０において、ユーザーの注視の方向が関心点に十分に向けられているか否かの判断がなされる。図２において上記で考察したように、ユーザーの注視２２０は、関心点２１２に完全に向けられ、ＰＯＩ領域２１６内に含まれ、したがって、５３０においていかなる触覚効果も生成されないことになる。しかしながら、図３において、いかなる量の注視も関心点に向けられていない場合、ユーザーの注視３２０が触覚効果領域３１４に完全に向けられ、閾値量が１００％であった場合でも、ユーザーの注視の１００％は関心点から離れるように向けられ、触覚効果がトリガーされる。

５４０において、関心点から離れるユーザーの注視の量が閾値量を超えているので、触覚効果を生成するように判断がなされている。５４０において、ユーザーの注視が関心点に向かって移動しているか又は関心点から離れるように移動しているかに関して、判断がなされる。ユーザーの注視が関心点から離れるように移動している場合、５５０において、関心点からの距離が増大するに従い、パラメーター、例えば、大きさ、周波数又は持続時間等を増大させる触覚効果が生成される。ユーザーの注視が関心点に向かって移動している場合、５６０において、関心点からの距離が低減するに従い、パラメーター、例えば、大きさ、周波数又は持続時間等を低減させる触覚効果が生成される。

そして、方法は、５１０に戻り、ユーザーの注視が依然として関心点に焦点合わせされているか否かを判断する。

上述したように、仮想環境において関心点を特定することと、関心点領域を定義する複数の触覚次元を生成することとを含む、実施形態について開示した。ユーザーの注視方向が求められ、分析されて、関心点領域に向けられているユーザーの注視の量が求められる。ユーザーの注視の量が閾値量未満である場合、触覚効果が生成される。

本明細書において、いくつかの実施形態が具体的に例示及び／又は記載されている。しかしながら、開示した実施形態の変更及び変形は、上記教示によって包含されており、本発明の趣旨及び意図された範囲から逸脱することなく添付の特許請求の範囲の適用範囲内にあることが理解されるであろう。

本願は、２０１７年６月２２日に出願された米国特許出願第１５／６３０，２３６号の利益を主張し、この開示は、引用することによりその全体が本明細書の一部をなす。

Claims (20)

1. 仮想環境において触覚効果を提供する方法であって、
   前記仮想環境内の関心点を特定することと、
   関心点領域を定義する複数の触覚次元を前記関心点に基づいて生成することと、
   注視方向を求めることと、
   前記注視方向に基づいて、前記関心点領域に向けられている注視の量を求めることと、
   前記関心点領域に向けられている前記注視の量が閾値量以下である場合、触覚効果を生成することと、
   を含む、方法。
2. 前記注視方向が、前記関心点領域に向かって移動しているか又は前記関心点領域から離れるように移動しているかを判断することを更に含む、請求項１に記載の方法。
3. 前記関心点領域までの前記注視方向の距離が低減するに従い、前記生成される触覚効果のパラメーターが低減する、請求項２に記載の方法。
4. 前記関心点領域からの前記注視方向の距離が増大するに従い、前記触覚効果のパラメーターが増大する、請求項２に記載の方法。
5. 前記注視方向を求めることは、ヘッドマウントディスプレイ又は表示装置の使用を含む、請求項１に記載の方法。
6. 前記仮想環境は３６０度コンテンツを含む、請求項１に記載の方法。
7. 前記生成される触覚効果は複数の触覚効果を含む、請求項１に記載の方法。
8. 前記注視方向が前記関心点領域の右側に向けられている場合、前記触覚効果は第１のアクチュエーターにおいて生成され、前記注視方向が前記関心点領域の左側に向けられている場合、前記触覚効果は第２のアクチュエーターで生成される、請求項７に記載の方法。
9. 前記注視方向が前記関心点領域の上方に向けられている場合、前記触覚効果は第３のアクチュエーターにおいて生成され、前記注視方向が前記関心点領域の下方に向けられている場合、前記触覚効果は第４のアクチュエーターにおいて生成される、請求項７に記載の方法。
10. プロセッサによって実行されると、該プロセッサに触覚効果を生成することを行わせる命令が記憶されたコンピューター可読媒体であって、前記生成することは、
    仮想環境内の関心点を特定することと、
    関心点領域を定義する複数の触覚次元を前記関心点に基づいて生成することと、
    注視方向を求めることと、
    前記注視方向に基づいて、前記関心点領域に向けられている注視の量を求めることと、
    を含み、
    前記関心点領域に向けられている前記注視の量が閾値量以下である場合、触覚効果が生成される、コンピューター可読媒体。
11. 前記注視方向が、前記関心点領域に向かって移動しているか又は前記関心点領域から離れるように移動しているかを判断することを更に含む、請求項１０に記載のコンピューター可読媒体。
12. 前記関心点領域までの前記注視方向の距離が低減するに従い、前記生成される触覚効果のパラメーターが低減する、請求項１１に記載のコンピューター可読媒体。
13. 前記関心点領域からの前記注視方向の距離が増大するに従い、前記触覚効果のパラメーターが増大する、請求項１１に記載のコンピューター可読媒体。
14. 前記注視方向を求めることは、ヘッドマウントディスプレイ又は表示装置の使用を含む、請求項１０に記載のコンピューター可読媒体。
15. 前記仮想環境は３６０度コンテンツを含む、請求項１０に記載のコンピューター可読媒体。
16. 前記生成される触覚効果は複数の触覚効果を含む、請求項１０に記載のコンピューター可読媒体。
17. 触覚次元を用いて触覚効果を生成するシステムであって、
    仮想環境内の関心点を特定するように構成された関心点決定器と、
    関心点領域を定義する複数の触覚次元を前記関心点に基づいて生成するように構成された触覚次元生成器と、
    注視方向を求めるように構成され、該注視方向に基づいて、前記関心点領域に向けられた注視の量を求めるように構成された注視追跡システムと、
    前記関心点領域に向けられている前記注視の量が閾値量以下である場合、触覚効果を生成するように構成されたハプティクス生成器と、
    を備える、システム。
18. 前記注視追跡システムは、前記注視方向が、前記関心点領域に向かって移動しているか又は前記関心点領域から離れるように移動しているかを判断するように更に構成されている、請求項１７に記載のシステム。
19. 前記ハプティクス生成器は、前記関心点領域までの前記注視方向の距離が低減するに従い、前記生成される触覚効果のパラメーターを低減させるように構成されている、請求項１８に記載のシステム。
20. 前記ハプティクス生成器は、前記関心点領域までの前記注視方向の距離が増大するに従い、前記生成される触覚効果のパラメーターを増大させるように構成されている、請求項１８に記載のシステム。