[go: up one dir, main page]

JP2018014708A - ネットワーク接続されたデバイスのための触覚機能 - Google Patents

ネットワーク接続されたデバイスのための触覚機能 Download PDF

Info

Publication number
JP2018014708A
JP2018014708A JP2017087069A JP2017087069A JP2018014708A JP 2018014708 A JP2018014708 A JP 2018014708A JP 2017087069 A JP2017087069 A JP 2017087069A JP 2017087069 A JP2017087069 A JP 2017087069A JP 2018014708 A JP2018014708 A JP 2018014708A
Authority
JP
Japan
Prior art keywords
user
haptic
notification
networked system
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017087069A
Other languages
English (en)
Inventor
ヴァンサン・レヴェスク
Levesque Vincent
アブラハム・アレクサンダー・ダウハレ
Alexander Dauhajre Abraham
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2018014708A publication Critical patent/JP2018014708A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W68/00—User notification, e.g. alerting and paging, for incoming communication, change of service or the like
    • H04W68/005—Transmission of information for alerting of incoming communication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/047—Vibrating means for incoming calls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W60/00—Affiliation to network, e.g. registration; Terminating affiliation with the network, e.g. de-registration
    • H04W60/005—Multiple registrations, e.g. multihoming
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】ネットワーク接続されたシステム上で触覚機能を提供する。【解決手段】システムは、ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信し、その情報に基づきユーザに提供される通知を決定する。次いで、システムは、ネットワーク接続されたシステムに登録されている第2のデバイスを選択し、第2のデバイス上に触覚効果を発生させることによってユーザに通知を提供する。【選択図】図９

Description

一実施形態は、概して触覚システムを対象とし、特に触覚機能を提供するためのネットワークを実現するシステムを対象とする。
「触覚」は、力、振動、および動きなどの、触覚フィードバック効果(すなわち、「触覚効果」)をユーザに適用することによってユーザの触感を利用する触知および力フィードバック技術に関するものである。モバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータなどのデバイスは、触覚効果を発生するように構成され得る。一般に、触覚効果を発生することができる組み込みハードウェア(アクチュエータなど)への呼び出しは、デバイスのオペレーティングシステム(「OS」)内にプログラムすることができる。これらの呼び出しで、どの触覚効果を再生するかを指定する。たとえば、ユーザが、たとえば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または他の何らかのコントロールを使用してデバイスとインタラクションするときに、デバイスのOSは、制御回路を通じて再生コマンドを組み込みハードウェアに送信することができる。次いで、組み込みハードウェアは、適切な触覚効果を生み出す。
一実施形態は、ネットワーク接続されたシステム上で触覚機能を実現するシステムである。システムは、ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信し、その情報に基づきユーザに提供される通知を決定する。次いで、システムは、ネットワーク接続されたシステムに登録されている第2のデバイスを選択し、第2のデバイス上に触覚効果を生み出すことによって通知をユーザに提供する。
本発明の一実施形態によるコンピュータサーバ/システムのブロック図である。 本発明の一実施形態による触覚機能を提供するための例示的なシステムを示す図である。 本発明の実施形態による触覚機能の流れ図である。 本発明の一実施形態による触覚機能を提供するための別の例示的なシステムを示す図である。 本発明の実施形態による触覚機能を実現する例示的なクラウドシステムのブロック図である。 本発明の実施形態による触覚機能を実現する別の例示的なシステムのブロック図である。 本発明の実施形態による図6の触覚デバイス決定モジュールの動作の流れ図である。 本発明の実施形態による図6の触覚効果決定モジュールの動作の流れ図である。 本発明の実施形態による触覚機能を実行するときの図1の触覚モジュールの動作の流れ図である。
一実施形態は、モノのインターネット(「IoT」)における対象物(object)などのネットワーク接続されたデバイスの触覚機能を実現する。一実施形態において、1つまたは複数の触覚が使用可能なデバイスは、機会をねらって選択され、触覚効果をユーザにもたらすために使用される。代替的なまたは追加の実施形態において、1つまたは複数のネットワーク接続されたデバイスから収集された情報は、触覚効果をユーザにもたらすために使用される。触覚効果は、ユーザに提供される必要のあるメッセージ、サービス、またはアラートに関連付けられ得る。したがって、様々なネットワーク接続されたデバイスを選択し、使用することによって、実施形態は触覚機能をユーザに提供する際にそのようなデバイスの利用を改善することを可能にする。
図1は、本発明の一実施形態によるシステム10のブロック図を例示している。一実施形態において、システム10は、モバイルデバイス(たとえば、スマートフォン)または非モバイルデバイスの一部であり、システム10は、デバイスのための触覚機能を提供する。別の実施形態において、システム10は、何らかの方法でユーザと接触する物体(たとえば、家具)に組み込まれるデバイスの一部であり、システム10は、そのようなデバイスのための触覚機能を提供する。たとえば、一実施形態において、システム10は、ウェアラブルデバイスの一部であり、システム10は、ウェアラブルデバイスのための触覚機能を提供する。ウェアラブルデバイスの例は、リストバンド、ヘッドバンド、眼鏡、指輪、レッグバンド、衣類に一体化される装い、またはユーザが身に着けることができる、またはユーザの手に持たれ得る他のタイプのデバイスを含む。いくつかのウェアラブルデバイスは、「触覚が使用可能」とすることができ、これは触覚効果を発生するメカニズムを備えることを意味する。別の実施形態において、システム10は、デバイス(たとえば、モバイルデバイスまたはウェアラブルデバイス)から分離しており、デバイスに対する触覚機能を遠隔で提供する。
単一のシステムとして図示されているけれども、システム10の機能は、分散システムとして実装され得る。システム10は、情報を伝達するためのバス12または他の通信メカニズムと、情報を処理するためにバス12に結合されているプロセッサ22とを備える。プロセッサ22は、任意のタイプの汎用または専用プロセッサであってよい。システム10は、情報とプロセッサ22によって実行される命令とを記憶するためのメモリ14をさらに備える。メモリ14は、ランダムアクセスメモリ(「RAM」)、リードオンリーメモリ(「ROM」)、磁気もしくは光ディスクなどのスタティックストレージ、または他のタイプの一時的もしくは非一時的コンピュータ可読媒体からなるものとしてよい。
コンピュータ可読媒体は、プロセッサ22によってアクセスされ得る任意の利用可能な媒体であってよく、揮発性および不揮発性媒体の両方、取り外し可能なおよび取り外し不可能な媒体、通信媒体、ならびに記憶媒体を含み得る。通信媒体は、コンピュータ可読命令、データ構造体、プログラムモジュール、または搬送波もしくは他のトランスポートメカニズムなどの変調データ信号内の他のデータを含むものとしてよく、また当技術分野で知られている他の形態の情報配信媒体を含み得る。記憶媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラム可能リードオンリーメモリ(「EPROM」)、電気的消去可能プログラム可能リードオンリーメモリ(「EEPROM」)、レジスタ、ハードディスク、取り外し可能なディスク、コンパクトディスクリードオンリーメモリ(「CD-ROM」)、または当技術分野で知られている他の形態の記憶媒体を含み得る。
一実施形態において、メモリ14は、プロセッサ22によって実行されたときに機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム10、さらには一実施形態におけるモバイルデバイスの他の部分に対するオペレーティングシステム機能を提供するオペレーティングシステム15を含む。モジュールは、本明細書においてさらに詳しく開示されているように、触覚機能を提供する触覚モジュール16をさらに含む。いくつかの実施形態において、触覚モジュール16は、複数のモジュールを備え、各モジュールは、触覚効果をもたらすための特定の個別機能を提供する。システム10は、典型的には、イマージョン コーポレーションによるTouchSense(商標)ソフトウェアなどの、追加の機能を備えるための1つまたは複数の追加のアプリケーションモジュール18を備える。
システム10は、遠隔ソースからのデータを送信および/または受信する実施形態において、赤外線、無線、Wi-Fi、セルラーネットワーク通信などの、モバイル無線ネットワーク通信を提供するための、ネットワークインターフェースカードなどの通信デバイス20をさらに備える。他の実施形態において、通信デバイス20は、Ethernet接続、モデムなどの、有線ネットワーク接続を提供する。
プロセッサ22は、グラフィック表現またはユーザインターフェース(「UI」)をユーザに対して表示するための、液晶ディスプレイ(「LCD」)などの、ディスプレイ24に、バス12を介してさらに結合される。ディスプレイ24は、プロセッサ22から信号を送受信するように構成されている、タッチスクリーンなどのタッチセンサー入力デバイスであってよく、またマルチタッチ・タッチスクリーンであってよい。
システム10は、一実施形態において、アクチュエータ26をさらに備える。プロセッサ22は、触覚効果に関連付けられている触覚信号をアクチュエータ26に送信するものとしてよく、これは次いで振動触知触覚効果、静電気摩擦触覚効果、変形触覚効果などの触覚効果を出力する。アクチュエータ26は、アクチュエータ駆動回路を備える。アクチュエータ26は、たとえば、電気モーター、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モーター(「ERM」)、線形共振アクチュエータ(「LRA」)、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー(「EAP」)アクチュエータなどであってよい。代替的実施形態において、システム10は、アクチュエータ26に加えて、1つまたは複数の追加のアクチュエータを備え得る(図1に図示せず)。代替的に、またはそれに加えて、アクチュエータ26は、温度感覚ディスプレイ(たとえば、高温/低温)、電気的触覚刺激(すなわち、電流による触覚受容器の刺激)、運動感覚フィードバックなどの他の触覚技術に従って動作し得る。さらに別の代替的な、または追加の実施形態は、システムがどのような動きをユーザにさせようとしているか、および/またはシステムがどのような動きをユーザがしたい気にさせようとしているかをユーザが決定することを要求するタスクなどの電気による筋肉刺激を実現し得る。
アクチュエータ26は、触覚出力デバイスの一例であり、触覚出力デバイスは、駆動信号に応答して、振動触知触覚効果、静電気摩擦触覚効果、変形触覚効果などの、任意の形態の触覚効果を出力するように構成されているデバイスである。したがって、代替的実施形態において、アクチュエータ26は、静電気摩擦(「ESF」)または超音波表面摩擦(「USF」)を使用するデバイス、超音波触覚トランスデューサにより音響放射圧力を誘導するデバイス、触覚基板および可撓もしくは変形可能表面または形状変化デバイスを使用し、かつユーザの身体に取り付けられ得るデバイス、空気ジェットを使用する空気の吹き出し、レーザーベースの発射体、サウンドベースの発射体などの投射される触覚出力を供給するデバイスなどの非機械的または非振動性デバイスであってもよい他の何らかのタイプの触覚出力デバイス(図示せず)によって置き換えられ得る。
たとえば、一実施形態では、レーザーエネルギーが空中の濃縮領域内の空気分子を電離してプラズマ(正粒子と負粒子との濃縮混合物)をもたらすレーザーベースの発射体を実現する。一実施形態において、レーザーは、非常に高速な非常に強いペースでパルスを放射するフェムト秒レーザーであってよく、レーザーが高速であればあるほど、人間が触れても安全である。発射体は、触覚的およびインタラクティブであるホログラムとして見えるものとしてよい。プラズマがユーザの皮膚と接触したときに、ユーザは、集中領域内の励起された空気分子の振動を感知することができる。ユーザの皮膚上の感覚は、ユーザが空中のプラズマとインタラクションしたときに生成される波によって引き起こされる。したがって、触覚効果は、そのような濃縮領域の影響下にユーザを置くことによってユーザにもたらされる。代替的に、またはそれに加えて、触覚効果は、指向音響エネルギーによって発生する振動の影響下にユーザを置くことによってユーザにもたらされる。
さらに、他の代替的実施形態において、システム10は、アクチュエータ26または他の触覚出力デバイスを備えなくてもよく、システム10からの別のデバイスが、触覚効果を発生するアクチュエータまたは別の触覚出力デバイスを備え、システム10は、発生した触覚信号を通信デバイス20を通じてそのデバイスに送信する。
一実施形態において、アクチュエータ26は、単一の周波数で振動触覚効果を発生する「標準精細度」(「SD」)アクチュエータであってよい。SDアクチュエータの例は、ERMおよびLRAを含む。SDアクチュエータとは対照的に、圧電アクチュエータまたはEAPアクチュエータなどの高精細度(「HD」)アクチュエータまたは高忠実度アクチュエータは、複数の周波数で高帯域幅/精細度触覚効果を発生することができる。HDアクチュエータは、変動振幅を有し、過渡駆動信号に対する高速応答性を有する広帯域幅触知効果を発生する能力によって特徴付けられる。しかしながら、HDアクチュエータは、SDアクチュエータに比べて大きな物理的寸法を有し、SDアクチュエータよりも高価である。その結果、大半のデバイスは、任意のHDアクチュエータの代わりに、1つまたは複数のSDアクチュエータのみを備える。したがって、いくつかの実施形態では、SDアクチュエータと組み合わせてデバイス内でまたは複数のスピーカー28を利用して、HD触覚効果をシミュレートし、HDアクチュエータを必要とすることなくHDに似た触覚体験をもたらす。
システム10は、一実施形態において、スピーカー28をさらに備える。プロセッサ22は、聴覚信号をスピーカー28に送信し、次いで、これは聴覚効果を出力する。スピーカー28は、たとえば、ダイナミック・スピーカー(dynamic loudspeaker)、動電型スピーカー(electrodynamic loudspeaker)、圧電スピーカー、磁歪スピーカー、静電型スピーカー(electrostatic loudspeaker)、リボンおよび平面型磁気スピーカー(ribbon and planar magnetic loudspeaker)、屈曲波スピーカー(bending wave loudspeaker)、フラットパネル・スピーカー、ハイル・エア・モーション・トランスデューサ(heil air motion transducer)、プラズマ・アーク・スピーカー(plasma arc speaker)、デジタルスピーカー(digital loudspeaker)などであってよい。代替的実施形態において、システム10は、スピーカー28に加えて、1つまたは複数の追加のスピーカーを備え得る(図1に図示せず)。さらに、他の代替的実施形態において、システム10は、スピーカー28を備えなくてもよく、システム10からの別のデバイスが、聴覚効果を出力するスピーカーを備え、システム10は、聴覚信号を通信デバイス20を通じてそのデバイスに送信する。
システム10は、一実施形態において、センサー30をさらに備える。センサー30は、限定はしないが、音、動き、加速、生体信号、距離、流れ、力/圧力/歪み/曲げ、湿度、線形位置、配向/傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、可視光強度などの、エネルギーの一形態、または他の物理的特性を検出するように構成され得る。センサー30は、検出されたエネルギー、または他の物理的特性、を電気的信号、または仮想的センサー情報を表す任意の信号に変換するようにさらに構成され得る。センサー30は、限定はしないが、加速度計、電気皮膚反応センサー、容量センサー、ホール効果センサー、赤外線センサー、超音波センサー、圧力センサー、光ファイバーセンサー、屈曲センサー(または曲げセンサー)、力感応抵抗器、ロードセル、LuSense CPS2 155、小型圧力トランスデューサ、圧電センサー、歪みゲージ、ハイグロメーター、線形位置タッチセンサー、リニアポテンショメーター(またはスライダー)、線形可変差動変圧器、コンパス、傾斜計、磁気タグ(または無線識別(「RFID」)タグ)、ロータリーエンコーダ、回転式ポテンショメーター、ジャイロスコープ、オンオフスイッチ、温度センサー(温度計、熱電対、抵抗温度検出器、サーミスタ、温度変換集積回路など)、マイクロフォン、光度計、高度計、生物学的モニター、カメラ、光依存性抵抗器、などの任意のデバイス、または心電図、脳電図、筋電図、眼電図、電気口蓋図、または他の電気生理学的出力を出力する任意のデバイスであってよい。
代替的実施形態において、システム10は、センサー30に加えて、1つまたは複数の追加のセンサーを備え得る(図1に図示せず)。これらの実施形態のうちのいくつかにおいて、センサー30および1つまたは複数の追加のセンサーは、センサーアレイの一部であり得るか、または他の何らかのタイプのセンサー集合体/配置構成であり得る。さらに、他の代替的実施形態において、システム10は、センサー30を備えなくてもよく、システム10からの別のデバイスは、ある形態のエネルギー、または他の物理的特性を検出し、検出されたエネルギー、または他の物理的特性を電気信号、または仮想的センサー情報を表す他のタイプの信号に変換するセンサーを備える。次いで、デバイスは、変換された信号を、通信デバイス20を通してシステム10に送信し得る。
＜触覚デバイス共有サービス＞
一般的に、知られているシステムでは、ユーザの触覚デバイスは、そのユーザに触覚効果をもたらすために利用される。たとえば、ユーザの身に着けることができる触覚デバイス(たとえば、リストバンド、ヘッドバンド、眼鏡、指輪、レッグバンド、衣類に一体化される装いなど)は、電話着信、ナビゲーションキュー、メッセージングなどの、そのユーザを対象とする状態情報に対応する触覚効果をもたらすことができる。
モノのインターネット(「IoT」)は、データを収集し、交換するための電子的機能を備える対象物(たとえば、建物、デバイス、車両など)のネットワークである。公共の場所にあるイスおよびテーブルなどの、頻繁に触れられる何らかの対象物を含む、IoTに接続される対象物が増えてきている。それと同時に、触覚アクチュエータは、また、家具(たとえば、イス、テーブルなど)、建築要素(たとえば、壁、床など)、および定規、ホッチキスなどの様々な消費者対象物などの、多くの対象物に入り込んできている。しかしながら、知られているシステムでは、触覚フィードバックをユーザに供給することは、一般的に、そのユーザの個人的なデバイスまたは特定の用途向けの専用デバイスに制限されている。たとえば、いくつかの知られているシステムでは、ユーザが手に持っているか、もしくは身に着けている、スマートフォンもしくはスマートウォッチなどのデバイス上に、または映画館のD-Box席などの特定の用途向けに構成されている専用デバイス上に触覚通知が発生させられる。
知られているシステムとは対照的に、本発明の実施形態では、ユーザの近辺にある利用可能なネットワーク接続されている触覚が使用可能なデバイス(たとえば、触覚が使用可能なIoTデバイス)を識別し、それらをそのユーザを対象とする触覚効果をもたらす。一実施形態では、触覚が使用可能なデバイスが、ユーザに対してその環境内で触覚フィードバックを、機会をねらって生成することを可能にするサービスインフラストラクチャを提供する。一実施形態は、そのような触覚が使用可能なデバイスを使用するために独立した当事者間でマイクロトランザクションを行うことを可能にし、それにより触覚フィードバックに対するシェアリング・エコノミーを使用可能にするブローカーシステムをさらに実現する。
一実施形態において、ユーザが、終日にわって、接続されている1つまたは複数のIoTおよび触覚が使用可能な対象物にごく接近するか、または接触するときに、これらの対象物の各々は、触覚フィードバックをユーザに提供するために使用され得る。たとえば、空港または喫茶店などの公共の場所で、頻繁に触れられ(たとえば、イス、テーブルなど)、触覚アクチュエータを備える対象物は、スマートフォンまたはウェアラブルなどのユーザの触覚が使用可能なパーソナルデバイスの代わりに、またはそれに加えて、付近にいるユーザと触覚機能で通信するために使用され得る。
図2は、本発明の一実施形態による触覚機能を提供するための例示的なシステム200を示している。システム200では、ユーザは、公共の場所で触覚が使用可能なイス202に座っているものとしてよい。イス202は、触覚アクチュエータ204(たとえば、ERMアクチュエータ)を備える。イス202は、IoTまたは他のネットワークに接続するための機能も備える。たとえば、イス202は、WiFiネットワークに接続するためのWiFi接続モジュールを備え得る。同様に、イス202は、様々な実施形態を参照しつつ本明細書で説明されている他のネットワークに接続するための他のモジュールを備え得る。したがって、アクチュエータ204は、IoTを通じて共有されるものとしてよく、イス202は、アクチュエータ204を通じてユーザへの触覚通知を発生し得る。そのような触覚通知は、ユーザのポケットにあるスマートフォンなどのユーザのパーソナルデバイスによって提供される触覚通知の代わりに、またはそれに加えてユーザに提供され得る。
代替的に、またはそれに加えて、ユーザは、自分の手またはパーソナルデバイス(たとえば、ラップトップコンピュータ、タブレットなど)のうちの1つを公共の場所にある触覚が使用可能なテーブル206上に置いているものとしてよい。テーブル206は、触覚アクチュエータ208(たとえば、ERMアクチュエータ)を備える。テーブル206は、また、IoTに接続する機能も備え得る。したがって、アクチュエータ208は、IoTを通じて共有され、テーブル206は、アクチュエータ208を通じてユーザへの触覚通知を発生し得る。
一実施形態では、ユーザのコンピューティングデバイス/サービスとユーザ環境内の機会をねらった、場合によっては公に利用可能な、アクチュエータとの間の通信を使用可能にするインフラストラクチャを実現する。そのようなインフラストラクチャは、そのような機会をねらったアクチュエータをセットアップし、共有することを促す経済インセンティブを提供することができ、したがって、結果として、これらのアクチュエータは環境内ではよりありふれたものとなり得る。
機会をねらって使用され得る触覚が使用可能なデバイスの一例は、ホッチキスが空であるときに振動するように構成されている触覚アクチュエータを備えるホッチキスである。触覚アクチュエータは、接触(たとえば、振動、変形、温度など)を必要とする触覚技術に基づくアクチュエータまたは非接触触覚技術(たとえば、投射される超音波、空気ジェット、静電気ESFなど)に基づくものなどの、触覚が使用可能なデバイスにおいて機会をねらって使用され得る。
一実施形態では、ユーザの環境内の触覚アクチュエータが機会をねらって使用されることを可能にするネットワークインフラストラクチャを実現する。たとえば、ユーザがイスに座っているときに、スマートフォンが、イスの中の触覚アクチュエータが利用可能であることを検出し、それとの通信を確立し、それを使用してスマートフォン上で再生される映画の触覚トラックを生成する。一実施形態において、触覚機能付きイスは、ユーザに属しており、ユーザによって独占的に使用される。別の実施形態において、触覚機能付きイスは、第三者に属しており、イスの所有者は、触覚アクチュエータが、他者が使用するために利用できるようにそれをサービスに登録することができる。次いで、サービスは、触覚プロバイダ(すなわち、イスの所有者)と触覚フィードバックを望むユーザとの間のマイクロトランザクションを管理することができる。一実施形態において、プロバイダは、触覚イス上に生成されるすべての通知について料金(たとえば、$0.001)を請求することができる。そこで、サービスは、触覚アクチュエータに対するシェアリング・エコノミーを使用可能にし、したがって、環境内にそれを拡散することを奨励することができる。
一実施形態において、たとえば、ユーザは、喫茶店に座って、タブレットデバイスで映画を観ているものとしてよい。ユーザが「play」を押すと、ポップアップ通知が現れて、1時間$1で公共利用可能なイスの触覚アクチュエータを使用したいかをユーザに尋ねるものとしてよい。ユーザが「yes」を押した場合、イスから対応する触覚効果を受けながら映画を観ることができる。
一実施形態において、たとえば、ユーザのスマートフォンは、ユーザが会合に遅れていると決定し得る。次いで、スマートフォンは、ユーザによってタッチされる可能性の高い触覚が使用可能な対象物を識別し、それらを使用して触覚効果をもたらしユーザに通知することができる。たとえば、ユーザは、触覚が使用可能なホッチキスをタッチして、ユーザが会合に遅れていることを示すユーザのスマートフォンとの通信に基づき提供される異なる振動パターンを感じるものとしてよい。スマートフォンは、ユーザがタッチする可能性の高い任意の触覚が使用可能な対象物上でそのような通知を生成するものとしてよい。
一実施形態において、ユーザは、スーパーマーケット内で品目を探しており、床の触覚フィードバックによって正しい通路へ案内されるように対応する要求をスマートフォンに入力する。ユーザが、正しい通路の前まで歩いていてきたときに、床のタイルが振動してその通路へ曲がることをユーザに示す。代替的または追加の実施形態において、空気の吹き出しが送られ、それによりユーザは正しい通路に案内され得る。
一実施形態において、人、対象物、またはタスクに対して専用である触覚が使用可能なデバイスは、近くにいる無作為に選んだ人に触覚効果をもたらすために機会をねらって使用される。一実施形態において、専用の触覚が使用可能なデバイスは、投影触覚、フロア触覚などのそのような機会をねらった機能を円滑にする触覚技術を実装する。たとえば、人の首に着用している超音波放射体は、通り過ぎる別の人に触覚通知をもたらすために使用され得る。同様に、キヨスクを対象とする触覚フロアパッドは、人がその上を歩くときに触覚フィードバックをもたらすために使用され得る。一実施形態において、分散システムは、機会をねらったデバイスが人の環境内で利用可能なときにその利用可能なことを検出し、通信プラットフォームは、その人との機会をねらったデバイスの共有を円滑にする。
一実施形態において、第1の人に専用の触覚が使用可能なデバイスが、付近にいる第2の人に触覚効果をもたらすために機会をねらって使用されるときに、それらのデバイスが触覚効果を別の人にもたらすために機会をねらって使用されていることを示すフィードバック(たとえば、触覚または他のタイプの情報)が第1の人に提供される。たとえば、第1の人のスマートフォンは、テキスト、聴覚、視覚、および/または触覚通知を行い、触覚が使用可能なデバイス(たとえば、第1の人の首に着用されている超音波放射体)のうちの1つが第2の人に触覚効果をもたらすために使用されていることを第1の人に示し得る。次いで、第1の人は、通知を無視し、またはそのような機会をねらった使用を不許可にする/終了するオプションを有するものとしてよい。
一実施形態において、機会をねらった触覚が使用可能なデバイスが人に触覚効果をもたらすのに利用可能であるときに、その人のウェアラブルデバイスまたはモバイルデバイスが、機会をねらったデバイスを介して触覚効果がもたらされることを示すフィードバックをその人に提供する。一実施形態において、フィードバックは、異なる触覚効果とともに提供される。フィードバックは、また、機会をねらったデバイスが配置されている場所を示す指向性キューも提供することができる。フィードバックは、また、機会をねらったデバイスによって提供されるものに関連付けられている他の触覚内容も提供し得る。たとえば、フィードバックは、機会をねらったデバイスによって提供される触覚内容とマッチするバックグラウンド触覚トラックに対応し得る。
一実施形態では、ユーザの環境内で触覚デバイスを実装することによる機会をねらった触覚機能、触覚デバイスに触覚フィードバックを要求するためのユーザエージェント、およびユーザエージェントと触覚デバイスとの間の接続を確立するためのブローカーサービスを提供する。ユーザエージェントは、システム内のどこにでも実装され得る。たとえば、ユーザエージェントは、触覚デバイスから分離されてよく、様々なデバイスから入力を受け取ることができる。いくつかの実施形態において、ユーザエージェントは、クラウド、ローカルネットワークなどに実装され得る。いくつかの代替的または追加の実施形態において、ユーザのモバイルデバイスは、アクチュエータさらにはモバイルデバイスおよび/またはユーザのデバイスネットワーク内のデバイス(たとえば、ウェアラブル、触覚が使用可能なパーソナルアイテムなど)などの他のデバイスに対するユーザエージェントを含み得る。触覚デバイス、ユーザエージェント、およびブローカーサービスのさらなる詳細は、以下に提示される。
＜触覚デバイス＞
一実施形態において、1つまたは複数のネットワーク接続された触覚デバイスは、ユーザの環境内、たとえば、家具、壁および床などの建築要素、共通の対象物、計算デバイスなどに組み込まれる。各触覚デバイスは、触覚アクチュエータ、さらにはユーザデバイスおよび/またはウェブサービスと(たとえば、無線方式で、または有線で)通信する機能を備える。触覚デバイスは、触覚アクチュエータを駆動するための電子機器およびソフトウェアも含む。
触覚アクチュエータは、本明細書で説明されている実施形態による触覚機能を備え得る。たとえば、触覚アクチュエータは、振動、変形、熱、ESF、または他のタイプの触覚による作動を含む触覚フィードバックを提供し得る。たとえば、ユーザの環境内の触覚デバイスは、手または指を表面上で滑らせたときに様々な手触りを感じ取れるように摩擦ディスプレイで覆われたテーブルであってよい。別の例として、振動をユーザの足に伝えることができるように振動アクチュエータが床のタイルに埋め込まれ得る。別の例として、付近のユーザに触覚効果を投射できるように壁の中に超音波放射体が埋め込まれ得る。別の例として、ユーザが触ったときに温度を変化させることができるようにドアの取っ手にペルチェセルが埋め込まれ得る。代替的に、またはそれに加えて、触覚アクチュエータを備えるスマートフォン、ウェアラブル、または他のパーソナルコンピューティングデバイスは、ユーザに触覚効果をもたらすために使用され得る。
触覚デバイスは、また、機会をねらった触覚機能をもたらすことに関してユーザデバイスまたはサービスと直接的にまたは間接的に通信する機能も備える。たとえば、触覚デバイスは、WiFiもしくは他の無線ネットワークを通じて直接的に、またはBluetooth(登録商標)もしくは他のIoTネットワーキング技術を使用するゲートウェイを通じて間接的にインターネットに接続し得る。触覚デバイスは、また、Bluetooth(登録商標)または他の短距離無線技術を使用してユーザのデバイスに直接的に接続することもできる。いくつかの実施形態において、通信は、最初に、近距離通信(「NFC」)、WiFi、または他の無線技術を通じて確立され、次いで、Bluetooth(登録商標)などのより効率的な短距離技術に切り替えられ得る。
一実施形態において、有線または無線通信を通じて触覚デバイスが他のデバイスおよびサービスに接続された後、触覚効果をもたらすためのコマンドを受信することができる。これは、また、様々な情報、たとえば、能力、センサー読み取り値などに関する情報を提供するために通信することもできる。
一実施形態において、触覚デバイスは、ユーザのデバイスおよび/またはサービスによって発見可能であり、それにより、この実施形態は、触覚デバイスがいつユーザの範囲内に入ったかを決定することができる。接触ベースの触覚アクチュエータ(たとえば、振動アクチュエータ)では、触覚デバイスは、アクチュエータが触覚効果をもたらし得る表面にユーザがタッチしている場合にユーザの範囲内にある。非接触ベースの触覚アクチュエータ(たとえば、超音波触覚)では、触覚デバイスは、ユーザがデバイスの放射体のある距離の範囲内にあり、放射体とユーザとの間に障害物がないときにユーザの範囲内にある。
一実施形態において、どの触覚デバイスがユーザの範囲内にあるかを決定する代わりに、またはそれに加えて、どの触覚デバイスがユーザの近辺にあるかが決定される。この実施形態は、たとえば、触覚デバイスが範囲内にあるかどうか十分な正確さで決定することが困難なときに、適用可能である。たとえば、一実施形態において、どの触覚デバイスがユーザが感じ取れる触覚効果を発生することができるかを知ることなく、どの触覚デバイスがユーザの位置の近くにあるかが決定される。一実施形態では、付近にある触覚デバイスのリストをユーザに提供し、グラフィカルUIを通じてどのデバイスを使用するかをユーザに決定させることができる。
一実施形態において、ユーザは、触覚デバイスとの、または触覚デバイスが埋め込まれている対象物(すなわち、触覚機能付き対象物)とのインタラクションを通じて特定の触覚デバイスを使用することを明示的に要求し得る。一実施形態において、ユーザは、対象物を選択し、および/または対象物を発見モードにするために対象物内のセンサーによってインタラクションがキャプチャされ得るように触覚機能付き対象物とインタラクションすることができる。たとえば、ユーザは、テーブルまたは別の触覚機能付き対象物上のNFCタグに対して電話またはウェアラブルデバイスをタップし、テーブル/対象物の触覚アクチュエータを使用することを望んでいることを示すものとしてよい。たとえば、ユーザが対象物に対して電話をタップしたときに、その結果生じる振動および/または音声は、電話と対象物の両方のセンサーによってキャプチャされ、比較されて、触覚機能付き対象物と電話との間の接続を確立することができる(たとえば、Bump Technologiesからの接触およびファイル共有「Bump」アプリケーションのように)。一実施形態において、ユーザは、触覚機能付き対象物上のボタンおよび電話の対応するボタンを押して、触覚機能付き対象物と電話との間のBluetooth(登録商標)通信を確立し、対象物の触覚アクチュエータが触覚効果をユーザにもたらすために使用されるようにし得る。
一実施形態において、投射触覚デバイスは、触覚デバイスの範囲内のユーザの存在を検出できるカメラまたは深度センサーなどの1つまたは複数の遠隔センサーとペアリングされ得る。一実施形態において、検出されたユーザの識別情報は、コンピュータビジョンおよびマッチを確立するためにデータベース内に記憶されているデータとの比較などの知られている機能によって決定され得る。たとえば、一実施形態は、カメラを使用してユーザの画像をキャプチャし、その画像を使用して、顔認識を実行し、ユーザに関連付けられている名前タグを読み取り、かつ/または他の何らかの方法でユーザを識別するものとしてよい。次いで、この実施形態は、サーバ(たとえば、ソーシャルネットワーク、出会い系サイト、検索エンジン、個人ウェブサイトなどのためのサーバ)と通信して、ユーザに関する追加の特徴を決定するものとしてよい。これらの特徴は、たとえば、名前、社会保障番号、純資産、身長、年齢、相続財産、髪の色、国籍、目の色、病状、信用度の点、性別、クレジットカード番号、ユーザ名(たとえば、ウェブサイトまたはアカウントのための)、パスワード、気性、気分、雇用主、職、趣味、好きなもの、嫌いなもの、などを含み得る。
一実施形態において、触覚効果をもたらすためにユーザとの接触を必要とする触覚デバイスは、デバイスが触覚効果を適用する表面にユーザがタッチしているかどうかを決定するためにセンサーを使用し得る。一実施形態において、表面は、静電容量式タッチセンサー、圧力センサー、またはタッチを検出することができる他のセンサーを装備し得る。代替的または追加の実施形態において、ユーザの身体との接触および/または表面に対するブラッシングを加速度計が検出することができる。一実施形態において、たとえば、イスの中の圧力センサーは、ユーザがイスに座っているかどうかを検出するために使用されるものとしてよく、この情報は、他のセンサーデータとペアリングされて、そのようなタッチが検出されたときに表面にタッチしてユーザの識別情報を決定し得る。
一実施形態において、触覚機能付きデバイスは、ユーザによるデバイス、および/またはデバイスを含む対象物、とのインタラクションを(たとえば、指、足、手、腕、頭、脚、または他の身体部分を使用して)検出するように構成されているインタラクションセンサーを備える。一実施形態において、ユーザインタラクションは、対象物にタッチすること、実空間内でジェスチャーすること、対象物を使用してジェスチャーすること(たとえば、実空間内で対象物を拾って移動する)、および/または対象物上でジェスチャーすること(たとえば、対象物の表面に沿って指をスワイプする)を含み得る。インタラクションセンサーは、インタラクションに関連付けられているセンサー信号を生成するようにさらに構成される。インタラクションセンサーは、加速度計、ジャイロスコープ、カメラ、RFIDタグもしくは読み取り装置、屋内近接システム、NFC通信デバイス、全地球測位システム(「GPS」)デバイス、磁力計、超音波トランスデューサ、無線インターフェース(たとえば、IEEE 802.11またはBluetooth(登録商標)インターフェース)、赤外線センサー、深度センサー、および/または距離センサーを含み得る。
たとえば、一実施形態において、インタラクションセンサーは、対象物によって放射された無線信号の強度を検出するように構成されている無線インターフェースを備える。インタラクションセンサーは、無線信号強度に関連付けられているセンサー信号を生成し得る。無線信号強度に基づき、実施形態は、たとえば、センサーが対象物の事前定義された距離の範囲内にあるかどうかを決定し得る。もしそうであれば、実施形態は、発生したインタラクション(たとえば、対象物の事前定義された距離の範囲内に入る)を決定し得る。一実施形態において、対象物は、人によって運ばれてよく、したがって、対象物とセンサーとの近さは、人とセンサーとの近さを示す。
別の実施形態では、インタラクションセンサーは、触覚機能付きデバイスに向かって方向付けされている3Dイメージングシステムであってよい。したがって、インタラクションセンサーは、デバイスとのユーザインタラクション(たとえば、タップ、タッチ、物の上でのジェスチャー、シェイク、リフト、物の方へのジェスチャーなど)を検出することができる。たとえば、インタラクションセンサーは、デバイスに向かって方向付けされているカメラを含む。ユーザは、デバイスの近くの空中で(たとえば、指、手、腕、足、頭、または脚などの身体部分を使って)ジェスチャー(たとえば、チェックマーク記号)を行うものとしてよい。インタラクションセンサーは、ジェスチャーに関連付けられている画像をキャプチャし、センサー信号を生成し得る。この実施形態は、センサー信号に基づき、ユーザインタラクションの発生を決定し得る。実施形態は、発生した特定のタイプのジェスチャーを決定するためにセンサー信号をさらに分析し得る。たとえば、実施形態は、センサー信号を分析して、ユーザが空中で指によりチェックマークを書いたと決定し得る。
いくつかの実施形態において、インタラクションセンサーは、触覚デバイスの外部にあり、デバイスと有線または無線方式で通信する。たとえば、インタラクションセンサーは、デバイスに関連付けられ、デバイスと通信するカメラを備え得る。別の例として、インタラクションセンサーは、3Dイメージングシステム(たとえば、Microsoft Kinect(登録商標)という商標の下で一般に販売されている3Dイメージングシステム)またはデバイスの外部(たとえば、店舗の棚)に位置決めされ、デバイスと通信するLEDベースの追跡システムを含み得る。
いくつかの実施形態において、ユーザは、触覚機能付きデバイスとのインタラクションのために媒介対象物(たとえば、スタイラス、ペン、ステッキ、または杖)を使用することができ、実施形態は、そのようなインタラクションを検出し得る。
一実施形態は、触覚機能付きデバイスを備える対象物上の任意の場所の接触、または対象物上の特定の位置(たとえば、ラベル)との接触を検出し得る。実施形態は、接触の位置を検出するものとしてよい。たとえば、実施形態は、ユーザによって対象物のどの部分(たとえば、頂部、底部、左側、右側、前、後、ラベル、画像、ロゴ、テキスト断片など)を検出し得る。一実施形態において、ユーザは、対象物の表面上でジェスチャーすることによってそれとインタラクションし得る。たとえば、ユーザは、対象物の表面上のチェックマークを、2本指でつまむ、それに沿って複数の指を移動させる、またはチェックマークを作ることができる。
いくつかの実施形態において、ユーザは、対象物または対象物の一部を使用してジェスチャーを行うことによって対象物とインタラクションし得る。たとえば、ユーザは、実3D空間内で対象物または対象物の一部を移動することができる(たとえば、対象物または対象物の一部を使用して空中で文字または数字を描く、回転させる、傾ける、シェイクするなど)。一実施形態では、対象物との複数のユーザインタラクションを検出し得る(たとえば、対象物の前でジェスチャーをする、対象物に接触する、対象物の表面に沿ってジェスチャーをする、対象物を使用してジェスチャーをする)。いくつかの実施形態において、ユーザインタラクションは、複数の対象物間のインタラクションを引き起こすことも含み得る。たとえば、ユーザは、別の対象物に対して対象物をタップすることができる。
一実施形態では、ユーザが第1の身体部分を使って第1の対象物とインタラクションすること(たとえば、第1の対象物のタップ、ホールド、その上でのジェスチャー、またはそれに向かうジェスチャー)、および第2の身体部分を使って第2の対象物とインタラクションすることを検出し得る。たとえば、実施形態は、ユーザがユーザの右手で第1の対象物とインタラクションすること、およびユーザの左手を使って第2の対象物とインタラクションすることを検出し得る。
一実施形態は、インタラクションセンサーからGPSデータの第1のセットを受信し得る。ユーザは、GPS機能も備え、GPSデータの第2のセットを送信するデバイスを携帯することもできる。実施形態では、GPSデータの第1のセットをGPSデータの第2のセットと比較し、ユーザと触覚機能付きデバイスとの間の相対的距離を決定し得る。ユーザがデバイスから所定の距離の範囲内にある場合に、実施形態は、ユーザインタラクションが発生していると決定するものとしてよい。
触覚機能付きデバイスは、センサー信号を生成するように構成されている1つまたは複数の追加のセンサーをさらに備え得る。いくつかの実施形態において、センサーは、たとえば、湿度センサー、周囲光センサー、ジャイロスコープ、GPSユニット、加速度計、距離センサー、深度センサー、バイオセンサー、カメラ、または温度センサーを含み得る。いくつかの実施形態において、これらのセンサーは、デバイスの外部にあり、デバイスと有線または無線方式で通信するものとしてよい。たとえば、センサーは、ウェアラブルデバイス(たとえば、指輪またはリストバンド)に結合されているバイオセンサーを含み得る。バイオセンサーは、たとえば、ユーザのポケットの中に位置していてよい、デバイスにセンサー信号を無線方式で送信するように構成され得る。
一実施形態において、インタラクションセンサーは、触覚機能付き対象物の操作に関連付けられている音を検出するように位置決めされたマイクロフォンを含む。たとえば、ユーザは、触覚機能付きテーブル上にあるコーヒーの缶またはシリアルの箱をシェイクするものとしてよい。インタラクションセンサーは、このシェイクに関連付けられている音声を検出し得る。インタラクションセンサーは、音に関連付けられているセンサー信号を生成し得る。この実施形態は、センサー信号に基づき、ユーザインタラクションの発生を決定し得る。
一実施形態において、インタラクションセンサーは、光センサーを含む。対象物は、光がインタラクションセンサーに到達するのを遮るように位置決めされ得る。たとえば、対象物は、触覚機能付きテーブル内に埋め込まれているインタラクションセンサーの上に置かれるものとしてよい。ユーザが対象物を移動するか、または対象物を操作した後、インタラクションセンサーは、光の量の変化を検出するものとしてよい。インタラクションセンサーは、光の量の変化に関連付けられているセンサー信号を生成し得る。実施形態は、センサー信号に基づき、ユーザインタラクションが発生したと決定するか、またはユーザインタラクションの特性を決定し得る(たとえば、ユーザが、閾値を超える距離だけ対象物を移動した場合)。
一実施形態は、インタラクションに関連付けられている特性(たとえば、圧力の量、速度、方向、配置、またはジェスチャーのタイプ)を決定する。実施形態では、インタラクションセンサーまたは他のセンサーからのセンサー信号を分析して特性を決定する。たとえば、実施形態は、3Dイメージングシステムからの画像を分析して、ユーザにより行われたジェスチャーのタイプ(たとえば、スワイプ、2本指でつまむ、シェイクなど)を決定し得る。
一実施形態では、掃引周波数静電容量感知を使用してインタラクションに関連付けられている特性を決定する。掃引周波数静電容量感知は、ユーザが触覚機能付き対象物とインタラクションするときに複数の周波数で対象物の静電容量(たとえば、電圧)の変化を測定することを含み得る。実施形態は、複数の周波数で変化した静電容量に基づきユーザインタラクションのプロファイルを生成し得る。一実施形態では、このプロファイルを所定のインタラクションプロファイルと比較するものとしてよい。一実施形態において、各所定のインタラクションプロファイルは、複数の周波数での静電容量の変化の固有の分布を含み、異なるユーザインタラクション(たとえば、2本指でつまむ、手全体で掴む、または1本指のタップ)に関連付けられ得る。たとえば、2本指でつまむことに関連付けられている所定のインタラクションプロファイルは、手全体で掴むことに関連付けられている所定のインタラクションプロファイルと異なり得る。したがって、実施形態では、ユーザが対象物とどのようにインタラクションしているかを特に決定し得る。
一実施形態では、インタラクションセンサーからの音声信号に基づきインタラクションに関連付けられている特性を決定する。たとえば、インタラクションセンサーはマイクロフォンを含み得る。実施形態は、インタラクションセンサーからセンサー信号を受信し、センサー信号からのデータを1つまたは複数の音声プロファイルと比較する。一実施形態において、各音声プロファイルは、異なるユーザインタラクション、たとえば、ユーザが指、拳、爪、または掌で対象物にタッチすることに関連付けられている音声データを含み得る。たとえば、対象物と接触する指に関連付けられている音声プロファイルは、対象物に接触している拳に関連付けられている音声プロファイルと異なる周波数応答を含み得る。したがって、実施形態では、ユーザのどの身体部分が対象物とインタラクションしているかを決定する。
一実施形態では、触覚機能付き対象物がユーザの範囲内にあるかどうかを確認するための試験機能を実装する。たとえば、ユーザが触覚機能付き対象物の範囲内にあると決定された後に、対象物は、触覚効果を発生するか試験され、ユーザのデバイスは、加速度計などのセンサーによって触覚効果を検出するために使用され得る。したがって、実施形態は、対象物によって引き起こされる触覚効果がユーザに到達できることを確認し得る。
＜ユーザエージェント＞
一実施形態では、ユーザの環境内で触覚アクチュエータに触覚フィードバックを要求する際にユーザを表すデバイスまたはサービスであるユーザエージェントを実装する。一実施形態において、エージェントは、最初に、触覚フィードバックがいつユーザによって要求されているか、どのような触覚フィードバックが生成されるべきかを決定する。一実施形態において、たとえば、ユーザエージェントは、ユーザの電話機上で動作しているアプリケーションと連携して、触覚フィードバックがいつユーザによって要求されたか、どのような触覚フィードバックが生成されるべきかを決定する。たとえば、ユーザがデバイス上でビデオを観ているときに、メディアプレーヤーアプリケーションは、ビデオの触覚トラックをユーザエージェントに送信し得る。同様に、ユーザのスマートフォンのオペレーティングシステムは、再生の触覚通知をユーザエージェントに送信し得る。
次いで、ユーザエージェントは、触覚アクチュエータとの接続を確立し、触覚効果または一連の触覚効果のストリーミングの再生を要求する。接続は、本明細書で説明されている実施形態のどれかに従って確立され得る。たとえば、ユーザエージェントは、付近の触覚アクチュエータのBluetooth(登録商標)ビーコンを検出し、どれがユーザに対する許容可能な触覚フィードバックを生成する可能性が最も高いかを決定し得る。
一実施形態において、ユーザエージェントと触覚アクチュエータとの間の通信は、直接行われ得る(たとえば、Bluetooth(登録商標)を使用して)。しかしながら、いくつかの実施形態において、通信は、その代わりに、ユーザエージェントを触覚アクチュエータに接続するサードパーティサービスを経由するものとしてよい。これらの実施形態において、ユーザエージェントは、このサービス(たとえば、サーバ)と通信して、特定のデバイスへの接続または付近のデバイスのリストを要求し得る。次いで、通信は、このサーバを通して間接的に継続し得るか、またはエージェントは、Bluetooth(登録商標)通信を通じてデバイスへの直接接続を後で確立することができる。
＜ブローカーサービス＞
一実施形態は、触覚アクチュエータがユーザエージェントを通じて表されるユーザによって共有され得るようにユーザエージェントと触覚アクチュエータとの間の接続を確立するためにブローカーサービスを使用する。一実施形態において、サービスは、触覚アクチュエータおよびユーザエージェントから独立して提供されるサードパーティサービスである。一実施形態において、サービスは、触覚アクチュエータに関する、タイプ、配置、範囲、触覚能力など様々な情報を収集するウェブサービスである。この情報は、サービスを通じて利用可能にするために触覚アクチュエータの所有者によって提供され得る。一実施形態において、サービスは、モバイル触覚アクチュエータの位置を追跡する。たとえば、サービスは、GPS、屋内測位データ、カメラなどを使用して触覚アクチュエータの位置を追跡し得る。一実施形態において、サービスは、AppleのHomeKit、SmartThingsハブなどの、接続されているアクセサリ/デバイスを管理することを可能にするフレームワークを使用して触覚アクチュエータと間接的にインタラクションする。
一実施形態において、ユーザが共有デバイスを見つけて、触覚フィードバックを受け取ることを望んでいるときに、対応するユーザエージェントは、ブローカーサービスと通信して、ユーザの近くで触覚アクチュエータが利用可能か、および/またはユーザが任意の触覚アクチュエータの範囲内にいるかを決定する。ブローカーサービスは、ユーザの位置だけでなく他の利用可能なセンサーデータ(たとえば、本明細書で説明されている実施形態によるインタラクションセンサーまたは他のセンサー)を使用して、どのアクチュエータがユーザの近くにあるかを決定し得る。次いで、ブローカーサービスは、ユーザエージェントと識別されたアクチュエータとの間で接続が確立されユーザに触覚アクチュエータから触覚フィードバックを受信させるように利用可能なアクチュエータの利用可能性および他の情報(たとえば、能力、タイプなど)をユーザエージェントに提供し得る。
一実施形態において、ブローカーサービスは、決済システムを含み得る。たとえば、一実施形態において、利用可能な触覚アクチュエータのプロバイダは、その触覚アクチュエータを使用するための付随するコスト(たとえば、単位時間当たり、触覚効果1件当たり、など)を示し得る。コストは、固定され得るか、または時間、競合相手の価格設定、供給と需要、および市場の他の外部要因などの様々なパラメータに応じて動的に変化し得る。動的価格設定を実装するサービスの一例はUberである。一実施形態において、ブローカーサービスは、触覚アクチュエータのプロバイダからコスト情報(たとえば、触覚効果1件当たりの価格、単位時間当たりの価格など)を収集し、それにより、この情報は、共有されている触覚アクチュエータに関して問い合わせを行うユーザエージェントに提供され得る。ユーザが、共有されているアクチュエータから触覚効果を受ける費用を支払うことに合意した場合に、ブローカーサービスは、共有される触覚アクチュエータを使用するためにユーザから支払いを受けるための決済システムを実行する。
一実施形態において、触覚アクチュエータの所有者は、時刻に応じて触覚アクチュエータの使用に対する価格を決定することができる。この実施形態では、ユーザエージェントは、触覚アクチュエータを使用する要求を行うときにそのような価格を通知される。一実施形態において、ユーザエージェントは、ユーザエージェントによって表されるユーザによって設定された最高価格などの、ルールに基づきサービスオファーを受け入れるか、または拒絶する。一実施形態において、たとえば、ユーザエージェントは、費用最小の利用可能な触覚アクチュエータを選択するか、またはサービスオファーを受け入れるかどうかをユーザに尋ねることができる。
一実施形態において、ブローカーサービスおよび/またはユーザエージェントは、使用の状況に基づき最良の共有されている触覚アクチュエータを決定する。たとえば、一実施形態において、映画の触覚トラックは、HDアクチュエータによって提供される方がよい場合があるが、いくつかの触覚通知にはSDアクチュエータで十分である場合がある。一実施形態において、利用可能な共有されている触覚アクチュエータに関する情報を識別し、収集した後に、ブローカーサービスおよび/またはユーザエージェントは、使用する最良のアクチュエータがユーザのユーザデバイスのうちの1つの触覚アクチュエータであると決定し得る。
一実施形態では、触覚アクチュエータを識別し、それらをIoTなどのグローバルネットワークを通じて利用可能にする。一実施形態において、ブローカーサービスは、触覚アクチュエータがクラウドに登録し、次いで、そのクラウドに到達し、利用可能な触覚アクチュエータを使用することを望んでいる他のユーザに利用可能であるウェブサービスとして実装される。
図3は、本発明の実施形態による触覚機能の流れ図である。一実施形態において、図3(および以下の図7〜図9)の流れ図の機能は、メモリまたは他のコンピュータ可読のまたは有形の媒体に記憶され、プロセッサによって実行されるソフトウェアによって実装される。他の実施形態において、この機能は、ハードウェア(たとえば、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「GPA」)、フィールドプログラマブルゲートアレイ(「FPGA」)などの使用を通じた)、またはハードウェアとソフトウェアとの任意の組合せによって実行され得る。
302で、ユーザのユーザデバイスは、触覚通知がユーザに提供される必要があることを示す。たとえば、ユーザのスマートフォンは、情報を受信するか、またはユーザが触覚で通知を警告される必要のあることを他の何らかの方法で決定し得る。
304で、ユーザデバイスは、触覚通知をユーザに提供する要求を用いてブローカーサービスと接触する。
306で、ブローカーサービスは、ユーザの近くにある触覚アクチュエータを識別する。たとえば、ブローカーサービスは、ユーザデバイスのGPSまたは屋内測位機能および1つまたは複数の共有されている触覚アクチュエータを使用して、ユーザが近くにいるか、または触覚アクチュエータの範囲内にあるかを決定することができる。
308で、ブローカーサービスは、所定の価格(たとえば、触覚通知一件当たり、単位時間当たりなど)で触覚アクチュエータをユーザにオファーする。価格は、触覚アクチュエータのプロバイダによって固定または動的価格として設定されている場合がある。
310で、ユーザデバイスは、所定の価格で触覚アクチュエータを使用するオファーを受け入れる。
312で、ブローカーサービスは、ユーザデバイスと触覚プロバイダとの間の通信を確立する。いくつかの実施形態において、触覚プロバイダは、触覚アクチュエータを埋め込んでいる対象物内に実装される。いくつかの他の実施形態において、触覚プロバイダは、触覚アクチュエータから分離しており、触覚アクチュエータは、触覚アクチュエータを埋め込んでいるデバイス/対象物にどのような触覚効果を送るべきかを触覚プロバイダが決定できるように、触覚プロバイダに対して自己を識別/登録する。
314で、触覚プロバイダは、触覚アクチュエータに関する触覚フィードバックを生成する。したがって、ユーザは、触覚プロバイダの共有されている触覚アクチュエータを介して触覚通知を受信する。
＜IoTアイテムまたはモバイルデバイスからの情報に基づく触覚アラート＞
一実施形態において、ユーザに関連する情報を収集し、対応する触覚効果をユーザにもたらすために様々なIoTアイテムおよび/またはモバイルデバイスが利用される。そのようなアイテム/デバイスの例は、スマートフォン、スマートウォッチ、スマートウォレット、スマートクロス、スマート冷蔵庫、またはクラウドシステムまたは別のネットワークシステムに接続し、クラウドシステムまたはネットワークシステムに情報を提供するための機能を備える任意の他のアイテムである。
一実施形態において、触覚効果は、IoTアイテムおよび/またはモバイルデバイスから収集された情報によって必要とされるアラートに対応し得る。たとえば、ユーザのIoTアイテムおよび/またはモバイルデバイスからの情報は処理されて、それにより、ユーザにアイテムが不足しているか、またはユーザがアイテムを必要としているかを決定し、必要とされるならば対応するアラートをユーザに提供するものとしてよい。アラートは、ユーザの触覚が使用可能なデバイス/対象物によって、または様々な実施形態を参照しつつ本明細書で説明されているような共有される触覚アクチュエータによってユーザに提供される触覚アラートであってよい。
図4は、本発明の一実施形態による触覚機能を提供するための例示的なシステム400を示している。システム400は、ユーザのIoTアイテムおよび/またはモバイルデバイスから収集された情報に基づき触覚アラートをユーザに提供することができるユーザのスーツケース402を含む。たとえば、触覚アラートは、スーツケース402の伸縮自在ハンドル406上の触覚アクチュエータ404によって、および/またはスーツケース402の側面ハンドル410上の触覚アクチュエータ408によってユーザに提供され得る。アクチュエータ404および408は、様々な実施形態を参照しつつ本明細書で説明されている任意の触覚機能を実装し得る。たとえば、アクチュエータ404および408は、イマージョン コーポレーションによるTouchSense(商標)に従って機能を実装し得る。
一実施形態において、触覚アクチュエータ408に加えて、スーツケース402の側面ハンドル410は、スーツケース402が重量超過した場合にそのことを示すために触覚通知が触覚アクチュエータ408を介してまたはユーザの範囲内にある別の触覚が使用可能なデバイスを介してユーザに提供され得るように側面ハンドル410によって持ち上げられたときにスーツケース402の重量を決定するために使用され得る重量センサーを備えるものとしてよい。
一実施形態において、スーツケース402は、スマート衣類またはスマート電子機器デバイスなどの、IoTに接続されているユーザの様々なパーソナルアイテムを備え得る。ユーザのIoTアイテムは、情報を収集し、それをユーザがスーツケース402内に詰めておく必要があると示したアイテムのリストと比較するクラウドサービスに情報を送信することができる。そのようなリストは、ユーザによってすでに編集され、クラウドサービスに提供されていてもよい。この比較が、スーツケース402に含まれているべきアイテムが不足していることを示している場合、異なる触覚アラートがスーツケース402の引き込み式ハンドル406上の触覚アクチュエータ404によって、またはユーザの範囲内にある別の触覚が使用可能なデバイスによってユーザに提供される。
一実施形態において、スーツケース402は、また、情報を収集し、触覚通知をユーザに提供するために使用される様々なセンサーを備え得る。たとえば、スーツケース402の車輪412は、ユーザが動いているかどうかを決定するために使用できる加速度センサーを備え得る。スーツケース402の車輪412または他の部分も、ユーザの位置を決定するために使用できるGPSまたは他の測位機能を備え得る。加速度センサー、測位機能および/またはIoTアイテムもしくはモバイルデバイスによって提供される情報に基づき、システム400は、触覚アクチュエータ404および/または408を介してまたはユーザの範囲内にある別の触覚が使用可能なデバイスを介して任意の必要とされる触覚通知をユーザに提供し得る。一実施形態では、ユーザの周りに配置されているまたはシステム400と手動で同期するIoTアイテムからさらなる情報を収集することができる。
一実施形態は、ユーザの位置に基づき動的触覚アラートを提供する。たとえば、ユーザが空港のショッピングエリアでスーツケース402を引いており、搭乗時刻が迫っている場合、ゲートに戻るようユーザに示すためにアクチュエータ404を介して触覚通知がユーザに提供され得る。別の例では、ユーザが空港のショッピングエリアでスーツケース402を引いており、スーツケース402内にアイテムが1つ不足している場合、ショッピングエリアで不足しているそのアイテムを購入するようユーザに示すためにアクチュエータ404を介して触覚通知がユーザに提供され得る。
一実施形態において、システム400が、スーツケース402内にどのようなアイテムが詰め込まれているかを決定した後、ユーザが移動している(たとえば、ホテルから出る)かどうかをさらに決定し得る。たとえば、システム400は、加速度センサーおよび/またはGPS機能を使用して、スーツケース402の重さだけに帰することができない度合を有する移動を決定し得る。したがって、スーツケース402が移動していると決定されたときに、システム400は、スーツケース402にアイテムが不足している場合にそのことをユーザに警告し得る。一実施形態において、アラートの強さは、移動量が増えるにつれ増大する。一実施形態において、システム400は、触覚アクチュエータ404またはユーザの範囲内にある他の触覚が使用可能なデバイスを介してユーザにアラートを送ることができる。
一実施形態では、ユーザとともにすでにあるアイテム上で「チェックサム」機能を実行することによってユーザにアイテムが不足しているか、または必要としているかを決定する。たとえば、チェックサム機能は、スーツケース402内のIoTアイテムに適用され、それにより、ユーザにアイテムが不足しているかどうかを決定し得る。そのようなチェックサム機能は、スーツケース402の伸縮自在ハンドル406の触覚アクチュエータ404またはユーザの範囲内にある別の触覚が使用可能なデバイスなどの、ユーザに一番近い、および/またはユーザが着用/手に持っている触覚が使用可能なデバイス上で再生される対応する触覚効果を動的に発生させるために使用され得る。
実施形態は、ユーザの位置に基づき動的アラートを提供するための任意の機能にも適用可能である。たとえば、ユーザが、スーパーマーケットにいて、そのスマート冷蔵庫が、中にアイテム(たとえば、牛乳)が不足していることを示した場合、ユーザデバイスまたはユーザの範囲内にある他の触覚が使用可能なデバイスが、対応する触覚アラートをユーザに提供するために使用され得る。一実施形態は、そのようなアラートの重大度および/または優先度をさらに指定する機能をさらに実装する。
一実施形態は、鍵となる特徴をアイテムにラベル付けすることによって不足アイテムを決定する。たとえば、一実施形態では、各アイテムに「バケット」または「単純アイテム」とラベル付けし、「バケット」は他のアイテムを保持するアイテム(たとえば、スーツケース、財布、ハンドバッグ、バックパックなど)であり、「単純アイテム」は、「バケット」の中に入るアイテム(たとえば、衣類、電話、コンピュータ、タブレット、食料雑貨など)である。一実施形態は、相対優先度をアイテムにさらに関連付ける。たとえば、スマートウォレットは、最高優先度を与えられ得るが、いくつかのカジュアルなスマート衣類は、最低優先度を与えられ得る。次いで、実施形態は、様々な入力(たとえば、ユーザのスケジュール、位置など)に基づき、それらの「アイテム」のうちのどれを持っているべきかを決定し、不足しているアイテムおよび不足しているアイテムの優先度に基づきアラートを提供する。
一実施形態では、クラウド内でデバイスの認証および登録を実行するクラウドベースの触覚制御システム、または他の遠隔ネットワーク、ならびにクラウド内のデバイスのユーザデータストレージおよびその触覚能力を実装する。クラウドベースの触覚制御システムは、また、どのデバイスに効果を再生するか、およびどの効果を再生するかを決定するためのデバイスおよび効果決定機能も実行する。決定アルゴリズムは、ユーザ入力および使用状況に基づくものとしてよい。そのようなユーザ入力は、同じデバイスによって、またはそれらのデバイスと異なる他のコンポーネント/デバイスによって提供され得る。
一実施形態において、たとえば、クラウドシステムは、空港のセキュリティラインにデバイスを置き忘れている場合に、スマートデバイスとの接続を確立し、デバイスのユーザにそのことを警告するために使用され得る。別の例として、クラウドシステムは、測位ベースのアラートを実装するために使用され得る(たとえば、ガソリンスタンドを通り過ぎる、スマート冷蔵庫からのデータに基づきスーパーマーケットでアイテムを購入するアラートを受信する、など)。別の例として、クラウドシステムは、高優先度アイテムがユーザのバッグから盗み取られた(たとえば、財布/電話/腕時計がバッグから取り出された)ときに高優先度アラートを再生するために使用され得る。
一実施形態において、クラウドバックエンドが、どのデバイスで触覚効果を再生するか、およびどのような触覚効果を再生するかを制御するためのデバイスおよび効果決定機能を実行する。一実施形態では、クラウドへの接続性のためのデバイスサイド機能、およびデバイス上の触覚再生をクラウドで制御することを可能にするソフトウェア開発キット(「SDK」)を提供する。
一実施形態では、デバイスのピアツーピアネットワークを実装し、そこでは、各ノード(たとえば、各デバイス)は、クラウドバックエンドの代わりにデバイスおよび効果決定機能の実行の一部を取り扱う。
一実施形態は、アラートにタグ付けする。実施形態は、異なる種類のアラートにタグ付けすることによって、タグ付けされた通知を受信すると、タグに対応するアラート触覚信号を決定し、次いでアラート触覚信号を適切な触覚アクチュエータに中継するためにルックアップテーブルを使用できるようにタグおよび関連するアラートのルックアップテーブルを実装し得る。
図5は、本発明の実施形態による触覚機能を提供するための例示的なクラウドシステム500を示している。いくつかの実施形態において、クラウドシステム500によって提供されるサービスは、オンラインデータストレージおよびバックアップソリューション、Webベースの電子メールサービス、ホストされたオフィススイートおよびドキュメントコラボレーションサービス、データベース処理、管理されたテクニカルサポートサービス、ならびに触覚サービスなどの、クラウドシステム500のユーザにオンデマンドで利用可能にされるサービスのホストを含み得る。クラウドコンピューティングは、構成定義可能なコンピューティングリソース(たとえば、ネットワーク、サーバ、ストレージ、アプリケーション、およびサービス)の共有プールへの便利な、オンデマンドネットワークアクセスを使用可能にするためのモデルである。クラウド(またはネットワーク)を通じて提供またはアクセスされるサービスは、クラウドサービスと称される。クラウドサービスプロバイダは、クラウドシステム500に登録されているデバイス502または対象物504を使用してクラウドサービスを顧客から利用できるようにするものとしてよい。
クラウドシステム500によって提供されるサービスは、そのユーザのニーズに応えられるように動的に拡張できる。クラウドシステム500によって提供されるサービスの特定のインスタンス化は、「サービスインスタンス」と称される。一般に、クラウドサービスプロバイダのシステムから、インターネットなどの通信ネットワークを介してユーザから利用可能にする任意のサービスは、「クラウドサービス」と称される。典型的には、公開クラウド環境において、クラウドサービスプロバイダのシステムを構成するサーバおよびシステムは、顧客が所有する個人および/または業務用サーバおよびシステムと異なる。たとえば、クラウドサービスプロバイダのシステムは、アプリケーションをホストすることができ、ユーザは、インターネットなどの通信ネットワークを介して、オンデマンドで、そのアプリケーションをオーダーし、使用することができる。
クラウドシステム500は、ネットワーク506に接続するための機能を実装するデバイス502および対象物504を備える。デバイス502は、スマートフォン、スマートウォッチ、スマート冷蔵庫などを含み得る。対象物502は、様々な実施形態を参照しつつ本明細書で説明されているIoT対象物を含み得る。ネットワーク506は、1つまたは複数のローカルエリアネットワーク、ワイドエリアネットワーク、インターネットなどを含み得る。さらに、ネットワーク506は、たとえば、銅線もしくは同軸ケーブルネットワーク、光ファイバーネットワーク、Bluetooth(登録商標)無線ネットワーク、WiFi無線ネットワーク、CDMA、FDMA、およびTDMAセルラー無線ネットワーク、などの有線および/または無線ネットワークの様々な組合せを含むものとしてよく、これらはたとえば、有線および無線Ethernet、Bluetooth(登録商標)などの様々なネットワークプロトコルを実行する。
デバイス502は、触覚が使用可能なパーソナルデバイスまたは触覚アクチュエータを備える任意の他の任意のデバイスを含み得る。対象物504も、触覚が使用可能な機能を有するものとしてよく、1つまたは複数の触覚アクチュエータを備え得る。
クラウドシステム500は、ネットワーク506に接続されているサーバ508をさらに備える。サーバ508は、クラウドシステム500内でバックエンドとして動作し、クラウドシステム508上で触覚機能を実現し得る。クラウドシステム500は、クラウドシステム500上でバックエンド機能を提供するためにサーバ508によって使用されるデータストア510も含み得る。サーバ508は、デバイス502および/または対象物504上で実行されるクライアントサイドアプリケーションと通信してデバイス502および/または対象物504内の触覚アクチュエータを介して触覚効果をもたらすサーバサイドアプリケーションを実行するものとしてよい。一実施形態において、サーバサイドアプリケーションは、触覚デバイス502上で実行されるウェブブラウザアプリケーションと通信するウェブサーバアプリケーションである。他のクライアントサーバおよび分散ソフトウェアアーキテクチャも、本発明の実施形態では企図されている。
図6は、本発明の実施形態による触覚機能を提供するための例示的なシステム600を示している。システム600は、図5のクラウドシステム500などのクラウドシステム上でデバイスおよび効果決定機能を実装する。システム600において、1つまたは複数のユーザデバイス602は、様々な情報(たとえば、位置情報、アラートなど)をクラウドバックエンドサービス604に提供する。クラウドバックエンドサービス604は、たとえば図5のクラウドシステム500のサーバ508およびデータストア510によって提供され得る。
クラウドバックエンドサービス604は、1つまたは複数の触覚デバイス606がシステム600に接続し、システム600に登録し、認証されることを可能にするデバイス登録および認証モジュール608を備える。触覚デバイス606は、触覚が使用可能なパーソナルデバイス(たとえば、スマートフォン、スマートウォッチなど)または触覚が使用可能なIoT対象物(たとえば、イス、テーブルなど)を含み得る。一実施形態において、触覚デバイス606は、他のユーザによって使用され得るようにシステム600上でプロバイダ/ユーザによって共有される触覚が使用可能なデバイス/対象物を備え得る。
クラウドバックエンドサービス604は、デバイス登録および認証モジュール608から触覚デバイス情報を受信し、共有される/利用可能な触覚が使用可能なデバイス/対象物が付近にあるか、または触覚効果を受けることを望んでいるユーザの範囲内にあるかどうかを決定するユーザデータモジュール610も備える。ユーザデータモジュール610は、クラウドバックエンドサービス604で利用可能な任意のユーザおよび/またはデバイスデータを使用してそのような決定を下すことができる。たとえば、ユーザデータモジュール610は、触覚デバイス606の位置および触覚効果を受けることを望んでいるか、または触覚アラートで通知される必要のあるユーザの位置に基づきそのような決定を行い得る。
クラウドバックエンドサービス604は、ユーザデータモジュール610から利用可能な触覚デバイス606に関する情報を受信し、触覚効果をユーザにもたらすためにどの触覚デバイス606を使用するかを決定する触覚デバイス決定モジュール612も備える。クラウドバックエンドサービス604は、触覚デバイス決定モジュール612から選択された触覚デバイス606に関する情報を受信し、選択された触覚デバイス606上でどの触覚効果をもたらす必要があるかを決定し、対応するコマンドを選択された触覚デバイス606に送信する触覚効果決定モジュール614も備える。
図7は、一実施形態による図6の触覚デバイス決定モジュール612の動作の流れ図である。702で、触覚デバイス決定モジュール612は、ユーザデータモジュール610から利用可能な触覚デバイス606に関する情報を受信する。704で、触覚デバイス決定モジュール612は、データモジュール606とユーザとの近さを決定する。706で、触覚デバイス決定モジュール612は、触覚デバイス606の触覚能力を決定する。触覚デバイス決定モジュール612は、触覚デバイス606の近接および触覚機能に基づき、708で、触覚効果をユーザにもたらすために使用する触覚デバイス606の1つまたは複数のサブセットを決定する。
たとえば、一実施形態において、触覚デバイス606は、その特性(たとえば、触覚能力、触覚技術(たとえば、振動、投射、変形など)、触覚効果強度/知覚など)に基づきサブセットに分割され得る。たとえば、触覚デバイス606の一方のサブセットは、ユーザの身体と物理的に接触することが推定される接触ベースの触覚デバイスを備えるものとしてよく、触覚デバイス606の別のサブセットは、ユーザの範囲内にある非接触ベースの触覚デバイスを備え得る。代替的に、またはそれに加えて、触覚デバイス606は、これらが中に埋め込まれるデバイス/対象物(たとえば、モバイル/非モバイルデバイス、アプライアンス、ウェアラブル/非ウェアラブルデバイス、個人/公共対象物、セキュア/非セキュアデバイス(たとえば、デバイスがパスワードで保護されているかどうかなど)、電池を電源とする/コンセントから電源をとるデバイスなど)の地理的位置および/またはタイプ/特性に基づきサブセットに分割され得る。
図8は、一実施形態による図6の触覚効果決定モジュール614の動作の流れ図である。802で、触覚効果決定モジュール614は、触覚効果をユーザにもたらすために使用する触覚デバイス決定モジュール612によって決定された触覚デバイス606の1つまたは複数のサブセットに関する情報を受信する。804で、触覚効果決定モジュール614は、ユーザに提供される必要のある通知の重大度を決定する。806で、触覚効果決定モジュール614は、触覚デバイス決定モジュール612によって提供されるサブセット内の触覚デバイスの忠実度を決定する。デバイスの忠実度および通知の重大度に基づき、808で、触覚効果決定モジュール614は、通知をユーザに提供するための触覚デバイスを選択する。そのような選択に基づき、810で、触覚効果決定モジュール614は、選択された触覚デバイスを介して通知をユーザに提供するための触覚効果を選択する。
一実施形態において、たとえば、触覚効果は、1つまたは複数の入力タグに基づきクラウドライブラリから選択され得る。たとえば、一実施形態では、デバイスタイプに対応する入力タグおよびアラートタイプに対応する別の入力タグを実装するものとしてよく、これらの入力タグは組み合わせることで、そのようなデバイスタイプ(たとえば、低忠実度振動アクチュエータを備える触覚デバイス)上でそのようなアラートタイプ(たとえば、高優先度アラートには強い振動)を提供するように構成されているライブラリ内の触覚効果を識別する。触覚デバイスおよび触覚効果が選択された後、対応する情報が触覚デバイスに提供され、それにより、触覚効果をユーザにもたらす。
図9は、本発明の実施形態による触覚効果を発生するときの図1の触覚モジュール16の流れ図である。
902で、情報が、ネットワーク接続されたシステムに登録されている第1のデバイスから受信され、904で、その情報に基づきユーザに提供される通知が決定される。
906で、ネットワーク接続されたシステムに登録されている第2のデバイスが選択される。一実施形態において、第2のデバイスは、ネットワーク接続されたシステムに登録されている複数のデバイスのうちから選択され、複数のデバイスのうちの各1つは、触覚アクチュエータを備える。一実施形態において、第2のデバイスは、ユーザに関する第2のデバイスの相対的位置に基づき選択される。一実施形態において、ユーザに関する第2のデバイスの相対的位置は、第1のデバイスから受信された情報および第2のデバイスに関するネットワーク接続されたシステムにおける情報に基づき決定される。一実施形態において、第2のデバイスは、第2のデバイスの触覚能力、通知の重大度、および第2のデバイスの忠実度にさらに基づき複数のデバイスから選択される。一実施形態において、第2のデバイスは、第2のデバイスとのユーザインタラクションを検出するように構成されているセンサーを備え、第2のデバイスは、ユーザインタラクションに基づき選択される。
908で、通知は、触覚効果を第2のデバイス上に発生させることによってユーザに提供される。一実施形態において、触覚効果は、通知の特性および第2のデバイスの特性に基づき決定される。一実施形態において、通知の特性は、通知の状況または通知の重大度を含む。一実施形態において、第2のデバイスの特性は、第2のデバイスの忠実度または第2のデバイスの触覚能力を含む。
一実施形態において、第1のデバイスから受信された情報は、ユーザにアイテムが不足していることを示す。一実施形態において、ネットワーク接続されたシステムは、ネットワーク接続されたシステムに登録されている複数のデバイスから受信された情報に基づきユーザにアイテムが不足していると決定する。一実施形態において、ネットワーク接続されたシステムは、ユーザにアイテムが不足していることを、複数のデバイスから受信された情報をユーザが持っている必要のあるアイテムのリストと比較することによって決定し、このリストはユーザの位置に基づく。
開示されているように、実施形態は、IoT対象物/デバイスなどの様々なネットワーク接続されたデバイスを使用して触覚効果をユーザにもたらすことを可能にする。一実施形態において、IoTデバイスは、ユーザに関連する情報を収集して、必要ならばユーザに警告を発するために使用される。一実施形態において、ネットワーク接続された触覚が使用可能なデバイスは、ユーザがそのようなデバイスの範囲内にいるか、または近くにいるときに通知をユーザに警告するために機会をねらって使用される。したがって、実施形態は、より良好な触覚通知範囲を用意できる。
いくつかの実施形態は、特に図示され、かつ/または本明細書において説明されている。しかしながら、開示されている実施形態の修正および変更は、上記の教示の対象であり、本発明の思想および意図した範囲から逸脱することなく付属の請求項の範囲内にあることは理解されるであろう。
10 システム
12 バス
14 メモリ
15 オペレーティングシステム
16 触覚モジュール
18 アプリケーションモジュール
20 通信デバイス
22 プロセッサ
24 ディスプレイ
26 アクチュエータ
28 スピーカー
30 センサー
200 システム
202 触覚が使用可能なイス
204 アクチュエータ
206 テーブル
400 システム
402 スーツケース
404 触覚アクチュエータ
406 伸縮自在ハンドル
408 触覚アクチュエータ
410 側面ハンドル
412 車輪
500 クラウドシステム
502 デバイス
504 対象物
506 ネットワーク
508 サーバ
510 データストア
600 システム
602 ユーザデバイス
604 クラウドバックエンドサービス
606 触覚デバイス
608 デバイス登録および認証モジュール
610 ユーザデータモジュール
612 触覚デバイス決定モジュール
614 触覚効果決定モジュール

Claims (20)

  1. プロセッサによって実行されたときに、ネットワーク接続されたシステム上で触覚機能を提供することを前記プロセッサに行わせる命令が記憶されている非一時的コンピュータ可読媒体であって、前記提供することは、
    前記ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信することと、
    前記情報に基づきユーザに提供される通知を決定することと、
    前記ネットワーク接続されたシステムに登録されている第2のデバイスを選択することと、
    触覚効果を前記第2のデバイス上に発生させることによって前記ユーザに前記通知を提供することとを含む非一時的コンピュータ可読媒体。
  2. 前記第2のデバイスは、前記ネットワーク接続されたシステムに登録されている複数のデバイスから選択され、前記複数のデバイスのうちの各1つは、触覚アクチュエータを含む請求項1に記載のコンピュータ可読媒体。
  3. 前記第2のデバイスは、前記ユーザに関する前記第2のデバイスの相対的位置に基づき選択される請求項2に記載のコンピュータ可読媒体。
  4. 前記ユーザに関する前記第2のデバイスの前記相対的位置は、前記第1のデバイスから受信された前記情報および前記第2のデバイスに関する前記ネットワーク接続されたシステムにおける情報に基づき決定される請求項3に記載のコンピュータ可読媒体。
  5. 前記第2のデバイスは、前記第2のデバイスの触覚能力、前記通知の重大度、および前記第2のデバイスの忠実度にさらに基づき前記複数のデバイスから選択される請求項3に記載のコンピュータ可読媒体。
  6. 前記触覚効果は、前記通知の特性および前記第2のデバイスの特性に基づき決定される請求項1に記載のコンピュータ可読媒体。
  7. 前記通知の前記特性は、前記通知の状況または前記通知の重大度を含む請求項6に記載のコンピュータ可読媒体。
  8. 前記第2のデバイスの前記特性は、前記第2のデバイスの忠実度または前記第2のデバイスの触覚能力を含む請求項6に記載のコンピュータ可読媒体。
  9. 前記第2のデバイスは、前記第2のデバイスとのユーザインタラクションを検出するように構成されているセンサーを含み、前記第2のデバイスは、前記ユーザインタラクションに基づき選択される請求項1に記載のコンピュータ可読媒体。
  10. 前記第1のデバイスから受信された前記情報は、前記ユーザにアイテムが不足していることを示す請求項1に記載のコンピュータ可読媒体。
  11. 前記ネットワーク接続されたシステムは、前記ネットワーク接続されたシステムに登録されている複数のデバイスから受信された情報に基づき前記ユーザにアイテムが不足していると決定する請求項10に記載のコンピュータ可読媒体。
  12. 前記ネットワーク接続されたシステムは、前記複数のデバイスから受信された情報を前記ユーザが持っている必要のあるアイテムのリストと比較することによって前記ユーザにアイテムが不足していると決定し、前記リストは前記ユーザの位置に基づく請求項11に記載のコンピュータ可読媒体。
  13. ネットワーク接続されたシステム上で触覚機能を提供する方法であって、
    前記ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信するステップと、
    前記情報に基づきユーザに提供される通知を決定するステップと、
    前記ネットワーク接続されたシステムに登録されている第2のデバイスを選択するステップと、
    触覚効果を前記第2のデバイス上に発生させることによって前記ユーザに前記通知を提供するステップとを含む方法。
  14. 前記第2のデバイスは、前記ネットワーク接続されたシステムに登録されている複数のデバイスから選択され、前記複数のデバイスのうちの各1つは、触覚アクチュエータを含む請求項13に記載の方法。
  15. 前記第2のデバイスは、前記ユーザに関する前記第2のデバイスの相対的位置に基づき選択される請求項14に記載の方法。
  16. 前記ユーザに関する前記第2のデバイスの前記相対的位置は、前記第1のデバイスから受信された前記情報および前記第2のデバイスに関する前記ネットワーク接続されたシステムにおける情報に基づき決定される請求項15に記載の方法。
  17. 前記第2のデバイスは、前記第2のデバイスの触覚能力、前記通知の重大度、および前記第2のデバイスの忠実度にさらに基づき前記複数のデバイスから選択される請求項15に記載の方法。
  18. 前記触覚効果は、前記通知の特性および前記第2のデバイスの特性に基づき決定される請求項13に記載の方法。
  19. 前記通知の前記特性は、前記通知の状況または前記通知の重大度を含む請求項18に記載の方法。
  20. ネットワーク接続されたシステム上で触覚機能を提供するためのシステムであって、
    前記ネットワーク接続されたシステムに登録されている第1のデバイスから情報を受信する受信モジュールと、
    前記情報に基づきユーザに提供される通知を決定する決定モジュールと、
    前記ネットワーク接続されたシステムに登録されている第2のデバイスを選択する選択モジュールと、
    触覚効果を前記第2のデバイス上に発生させることによって前記ユーザに前記通知を提供する提供モジュールとを備えるシステム。
JP2017087069A 2016-07-21 2017-04-26 ネットワーク接続されたデバイスのための触覚機能 Pending JP2018014708A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/215,935 US9756604B1 (en) 2016-07-21 2016-07-21 Haptic functionality for network connected devices
US15/215,935 2016-07-21

Publications (1)

Publication Number Publication Date
JP2018014708A true JP2018014708A (ja) 2018-01-25

Family

ID=58664606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017087069A Pending JP2018014708A (ja) 2016-07-21 2017-04-26 ネットワーク接続されたデバイスのための触覚機能

Country Status (5)

Country Link
US (3) US9756604B1 (ja)
EP (2) EP3570147A1 (ja)
JP (1) JP2018014708A (ja)
KR (1) KR20180010967A (ja)
CN (1) CN107643822B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9756604B1 (en) 2016-07-21 2017-09-05 Immersion Corporation Haptic functionality for network connected devices
US10334899B2 (en) 2016-09-30 2019-07-02 Intel Corporation Wearable adaptive electroactive polymer fabric
US10339771B2 (en) * 2017-02-03 2019-07-02 International Business Machines Coporation Three-dimensional holographic visual and haptic object warning based on visual recognition analysis
US10997649B2 (en) * 2017-06-12 2021-05-04 Disney Enterprises, Inc. Interactive retail venue
KR102442179B1 (ko) 2017-11-17 2022-09-08 삼성전자주식회사 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
EP3553756A1 (de) * 2018-04-09 2019-10-16 Primetals Technologies Austria GmbH Alarmvorrichtung und verfahren zum auslösen eines vibrationsalarms
CA3106018C (en) * 2018-07-16 2023-07-11 Invista Textiles (U.K.) Limited Immersive display controlled by haptic switch
US11011158B2 (en) 2019-01-08 2021-05-18 International Business Machines Corporation Analyzing data to provide alerts to conversation participants
US10978066B2 (en) * 2019-01-08 2021-04-13 International Business Machines Corporation Analyzing information to provide topic avoidance alerts
US11107286B2 (en) * 2019-09-25 2021-08-31 Disney Enterprises, Inc. Synchronized effects for multi-user mixed reality experiences
DE102022000029A1 (de) * 2022-01-03 2022-03-03 Daimler Ag Verfahren zur Steigerung des Nutzerkomforts eines Fahrzeuginsassen und Fahrzeug
US12416974B2 (en) * 2022-01-06 2025-09-16 Qualcomm Incorporated Audio-video-haptics recording and playback
EP4643531A1 (en) * 2022-12-27 2025-11-05 Telefonaktiebolaget LM Ericsson (publ) Notification method and notification apparatus
US12436617B2 (en) * 2023-06-26 2025-10-07 Adeia Guides Inc. Systems and methods for balancing haptics and graphics rendering processing with content adaptation
US12493841B2 (en) 2023-11-15 2025-12-09 International Business Machines Corporation Context-aware cueing for daily interactions, navigation, and accessibility

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1044895A (ja) * 1996-08-02 1998-02-17 Nissan Motor Co Ltd 移動体用警報装置
JP2006170619A (ja) * 2004-12-10 2006-06-29 Fujitsu Ten Ltd ナビゲーション装置
JP2008140196A (ja) * 2006-12-04 2008-06-19 Dainippon Printing Co Ltd 忘れ物防止システム
US20130328783A1 (en) * 2011-06-30 2013-12-12 Sheridan Martin Transmission of information to smart fabric ouput device
JP2014154150A (ja) * 2013-02-04 2014-08-25 Immersion Corp ウェアラブルデバイスマネージャー
JP2014174988A (ja) * 2013-03-11 2014-09-22 Immersion Corp 自動ハプティック効果調整システム
US20150065095A1 (en) * 2013-08-28 2015-03-05 Samsung Electronics Co., Ltd. Method for transmitting notification information and electronic device thereof
WO2015127062A1 (en) * 2014-02-24 2015-08-27 Sony Corporation Smart wearable devices and methods for optimizing output
JP2015228214A (ja) * 2014-05-30 2015-12-17 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知マネージャ
JP2016015140A (ja) * 2014-07-02 2016-01-28 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 静電触覚効果を提供する表面要素のためのシステム及び方法
US20160134737A1 (en) * 2013-05-28 2016-05-12 Ravi PULLETIKURTY System having a miniature portable electronic device for command and control of a plurality of wireless devices
JP2016081521A (ja) * 2014-10-20 2016-05-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 車両における継続的な注意を触覚フィードバックを用いて強化するシステム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010065067A1 (en) * 2008-11-20 2010-06-10 Bodymedia, Inc. Method and apparatus for determining critical care parameters
US9189932B2 (en) * 2013-11-06 2015-11-17 Andrew Kerdemelidis Haptic notification apparatus and method
JP6644466B2 (ja) * 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
US9860123B2 (en) * 2014-04-11 2018-01-02 International Business Machines Corporation Role and proximity-based management of networks
US9526032B2 (en) * 2014-09-26 2016-12-20 Apple Inc. Network bandwidth sharing for small mobile devices
GB2539949A (en) * 2015-07-02 2017-01-04 Xovia Ltd Wearable Devices
US9756604B1 (en) 2016-07-21 2017-09-05 Immersion Corporation Haptic functionality for network connected devices

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1044895A (ja) * 1996-08-02 1998-02-17 Nissan Motor Co Ltd 移動体用警報装置
JP2006170619A (ja) * 2004-12-10 2006-06-29 Fujitsu Ten Ltd ナビゲーション装置
JP2008140196A (ja) * 2006-12-04 2008-06-19 Dainippon Printing Co Ltd 忘れ物防止システム
US20130328783A1 (en) * 2011-06-30 2013-12-12 Sheridan Martin Transmission of information to smart fabric ouput device
JP2014154150A (ja) * 2013-02-04 2014-08-25 Immersion Corp ウェアラブルデバイスマネージャー
JP2014174988A (ja) * 2013-03-11 2014-09-22 Immersion Corp 自動ハプティック効果調整システム
US20160134737A1 (en) * 2013-05-28 2016-05-12 Ravi PULLETIKURTY System having a miniature portable electronic device for command and control of a plurality of wireless devices
US20150065095A1 (en) * 2013-08-28 2015-03-05 Samsung Electronics Co., Ltd. Method for transmitting notification information and electronic device thereof
WO2015127062A1 (en) * 2014-02-24 2015-08-27 Sony Corporation Smart wearable devices and methods for optimizing output
JP2015228214A (ja) * 2014-05-30 2015-12-17 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知マネージャ
JP2016015140A (ja) * 2014-07-02 2016-01-28 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 静電触覚効果を提供する表面要素のためのシステム及び方法
JP2016081521A (ja) * 2014-10-20 2016-05-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 車両における継続的な注意を触覚フィードバックを用いて強化するシステム及び方法

Also Published As

Publication number Publication date
US10701663B2 (en) 2020-06-30
US20180027520A1 (en) 2018-01-25
EP3273328A2 (en) 2018-01-24
CN107643822B (zh) 2022-05-10
KR20180010967A (ko) 2018-01-31
US10251151B2 (en) 2019-04-02
EP3570147A1 (en) 2019-11-20
CN107643822A (zh) 2018-01-30
US20190268873A1 (en) 2019-08-29
US9756604B1 (en) 2017-09-05
EP3273328B1 (en) 2019-07-17
EP3273328A3 (en) 2018-02-14

Similar Documents

Publication Publication Date Title
US10701663B2 (en) Haptic functionality for network connected devices
AU2021290214B2 (en) User interfaces for transfer accounts
US12002169B2 (en) System and method for selecting targets in an augmented reality environment
JP6606563B2 (ja) ウェアラブルデバイス用のロイヤルティアカウント及びプライベートラベルアカウントのためのユーザインタフェース
CN105844462A (zh) 用于支付的用户界面
JP2016119092A (ja) オブジェクトとの触覚対応相互作用のためのシステム及び方法
WO2015054034A1 (en) Systems and methods for interaction with objects to implement a retail function
US20240281235A1 (en) Temporarily enabling use of an operation for access at an electronic device while a precondition specifically associated with the operation is satisfied, and systems and methods of use thereof
KR20170011920A (ko) 이동단말기 및 그 제어방법
KR101898511B1 (ko) 모바일 어플리케이션을 이용한 통합 결제 관리방법
KR20240124172A (ko) 메타버스 상에서의 매장 구축 장치 및 방법
KR20120136966A (ko) 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기
KR102161050B1 (ko) 디바이스의 기능 실행 방법 및 이를 위한 디바이스

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220815