[go: up one dir, main page]

JP2018129035A - 選択ハプティックメタデータによるハプティックブロードキャスト - Google Patents

選択ハプティックメタデータによるハプティックブロードキャスト Download PDF

Info

Publication number
JP2018129035A
JP2018129035A JP2017236656A JP2017236656A JP2018129035A JP 2018129035 A JP2018129035 A JP 2018129035A JP 2017236656 A JP2017236656 A JP 2017236656A JP 2017236656 A JP2017236656 A JP 2017236656A JP 2018129035 A JP2018129035 A JP 2018129035A
Authority
JP
Japan
Prior art keywords
haptic
metadata
original
broadcast
playback capability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017236656A
Other languages
English (en)
Inventor
ロバート ダブリュ. ヒューベル
W Heubel Robert
ロバート ダブリュ. ヒューベル
ペイジ レインズ
Raynes Paige
ペイジ レインズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2018129035A publication Critical patent/JP2018129035A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86Arrangements characterised by the broadcast information itself
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/013Force feedback applied to a game
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/015Force feedback applied to a joystick

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】ハプティック効果のブロードキャストに関する。【解決手段】選択ハプティックメタデータをブロードキャストすることは、ブロードキャスト信号をハプティック可能デバイスへブロードキャストすることを含む。それに応じて、ハプティック再生能力情報は、ブロードキャスト信号における元のハプティックメタデータが、ハプティック再生能力情報と互換性がないハプティック情報をエンコードするとき、ハプティック可能デバイスからホストソースで受信される。ハプティック再生能力情報のためにカスタマイズされる選択ハプティックメタデータは、生成され、ホストソースからハプティック可能デバイスへ送信される。【選択図】図1

Description

例示的な実施形態は、ハプティック効果のブロードキャストに向けられ、より具体的には、選択ハプティックメタデータによるハプティックブロードキャストに向けられる。
ハプティクス(Haptics)は、力、振動及びモーションのようなハプティックフィードバック効果(「ハプティックフィードバック」又は「ハプティック効果」としても知られる)をエンドユーザのタッチの感覚を用いてエンドユーザへ生成する触覚及びフォースフィードバック技術である。デバイス(例えば、モバイルデバイス、タッチスクリーンデバイス、パーソナルコンピュータ及びウェアラブルデバイス)は、ハプティック効果を生成するように構成される。埋め込みハードウェアは、一般的に、特定のセットのハプティック効果を生成するようにプログラムされる。プレイするためのハプティック効果を特定する呼び出しがデバイスによって受け取られるとき、デバイスは、特定されたハプティック効果を生成(発生)する。例えば、ユーザが、例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール又はいくつかの他の制御装置を用いてデバイスと相互作用するとき、デバイスは、制御回路を通じてプレイコマンドを埋め込みハードウェアへ送信しうる。そして、埋め込みハードウェアは、適切なハプティック効果を生成する。
ハプティック効果が、ハプティッククリエイター/エディター/デザイナーによって作成されるとき、ハプティック効果は、ハプティック効果の再生が、例えば、特定の再生スピード、レート及び/又はボリュームで生じるという仮定の下に生み出されうる。様々な種類の埋め込みハードウェアが異なるデバイスに用いられるので、ハプティック効果の再生は、特定のデバイスにおいて埋め込みハードウェアの種類に応じてハプティッククリエイターによって意図されるものとは変わる場合がある。例えば、エンドユーザのデバイスの埋め込みハードウェアが、特定のスピード、レート又はボリュームでハプティック効果を再生するように構成されない場合、ハプティック効果の再生は、(例えば、異なる再生レート又は望まれないボリュームで発生することによって)歪められる。異なる再生レート又は望まれないボリュームでのハプティック効果の再生は、ハプティック効果のエンドユーザの体験を歪めうる。
一実施形態は、ブロードキャスト信号をハプティック可能デバイスへブロードキャストすることによって、ブロードキャスト信号を用いて選択ハプティックメタデータをブロードキャストする。ブロードキャスト信号は、元のハプティックメタデータを含む。元のハプティックメタデータが、ハプティック再生能力情報と互換性のないハプティック情報をエンコードするとき、ハプティック再生能力情報は、複数のハプティック可能デバイスのうちの1つのハプティック可能デバイスからホストソースで受信される。ハプティック再生能力情報のためにカスタマイズされた選択ハプティックメタデータは、生成され、ホストソースからハプティック可能デバイスへ送信される。
例示的な実施形態は、添付の図面と共に得られる以下の詳細な説明からより明確に理解されるであろう。図1−7は、本明細書に記載されるような非限定的な、例示的実施形態を示す。
図1は、例示的な実施形態に係るブロードキャスト信号を用いて選択ハプティックメタデータを送信するフロー図である。 図2は、例示的な実施形態に係るブロードキャスト信号を用いて選択ハプティックメタデータを送信するフロー図である。 図3は、例示的な実施形態に係る元のハプティックメタデータをブロードキャスト信号に統合するフロー図である。 図4は、例示的な実施形態に係る元のハプティックメタデータをブロードキャスト信号に統合するフロー図である。 図5は、例示的な実施形態に係る元のハプティックメタデータをブロードキャスト信号に統合するフロー図である。 図6は、例示的な実施形態に係るハプティックブロードキャストシステムのブロック図である。 図7は、例示的な実施形態に係るエンドユーザ装置におけるシステムのブロック図である。
例示的な実施形態は、エンドユーザハプティックデバイスのハプティック再生能力を示すフィードバックをホストソースへ提供することによって、エンドユーザハプティックデバイスのためにカスタマイズされた選択ハプティックメタデータをブロードキャストすることに向けられる。
例示的な実施形態は、エンドユーザハプティック可能デバイス上で再生されるハプティックデータにおける全ての取り得るハプティック再生能力をエンコードせずに、ブロードキャスト信号を通じて、信頼性のある伝送及び選択(又はカスタマイズされた)ハプティックデータの一貫性のある再生をエンドユーザハプティック可能デバイス(例えば、タブレット、モバイル電話、テレビジョン、ゲーミングコンソール、バーチャルリアリティシステム等)へ提供する。例えば、スポーツ放送では、力又はイベント(例えば、ヒット、フォール、ドロップ、ジャンプ、スコア)を検出するセンサは、プレイヤー又はスポーツの試合で用いられる装備(例えば、ボール、ゴール、スティック、ヘルメット等)に配置されうる。それに代えて、ハプティッククリエイターは、プレイヤー又は装備によって体験される力又はイベントをシミュレートするための効果を指定しうる。センサから収集される情報及び/又はハプティッククリエイターによって指定される効果は、ハプティックデータである。ハプティックデータは、収集され、ハプティックメタデータへ変換されうる。
ハプティックメタデータは、ハプティックデータについての情報を提供するデータ情報でありうる。ハプティックメタデータは、エンドユーザハプティック可能デバイスのエンドユーザに対してハプティックデータ(例えば、ヒット、フォール、ドロップ、ジャンプ、スコア)に対応するハプティック効果(例えば、力、振動及びモーション)を生成するために必要なハプティックパラメータ(例えば、大きさ、周波数、持続期間等)の種類についての情報をエンコードしうる。ハプティックメタデータは、ブロードキャスト信号を介して、ブロードキャストストリームを通じてハプティック可能デバイスへ伝送されてもよい。ハプティック可能デバイスに埋め込まれるハードウェア(例えば、アクチュエータ等)は、ハプティックメタデータに基づいてエンドユーザに対してハプティック効果を生成する。よって、エンドユーザは、対応するハプティック感覚を受け取ることによって、予め記録されたイベント又はビューを体験してもよい。
ハプティック可能デバイスで用いられる埋め込みハードウェアの種類は、デバイスからデバイスへ変化する。例えば、携帯電話で典型的に用いられるアクチュエータは、ゲーミングシステムのハンドヘルドコントローラで典型的に用いられるアクチュエータとは異なっている。したがって、携帯電話及びゲーミングシステムは、一般的に、様々なハプティック可能デバイスの全ての取り得るハプティック再生能力のためのコーディングを含むハプティックメタデータにエンコードされるハプティック情報の選択部分を必要とする。
図1は、例示的な実施形態に係るブロードキャスト信号を用いて選択ハプティックメタデータを送信するフロー図である。
図1を参照すると、例示的な実施形態に係るブロードキャスト信号を用いて選択ハプティックメタデータを送信することは、110において、元のハプティックメタデータを生成することを含む。元のハプティックメタデータは、1以上のハプティック可能デバイスで再生されるハプティックパラメータの種類を特定するハプティック情報をエンコードしてもよい。
元のハプティックメタデータは、その後、以下により詳細に説明される処理のいずれかによってブロードキャスト信号に統合される。
130において、元のハプティックメタデータを含むブロードキャスト信号は、ホストソースからハプティック可能デバイスへブロードキャスト(又は伝送)される。ブロードキャスト信号は、互いに異なっている伝送モードを介して、ブロードキャスト信号をハプティック可能デバイスへ送信することによって伝送される。例えば、伝送モードは、ケーブル、ダイレクトブロードキャスト衛星、光ファイバ通信ネットワーク、無線プログラミング、ワイヤレス通信ネットワーク、及びラジオ波から選択されてもよい。
例示的な実施形態によれば、ブロードキャスト信号は、元のハプティックメタデータをハプティック可能デバイスへ同期して(つまり、同一ハプティック効果をハプティック可能デバイスの全てへ)又は非同期して(つまり、異なるハプティック効果を異なるハプティック可能デバイスへ)伝送してもよい。例えば、ブロードキャスト信号は、スタジアムの中央において行われるバンドへのハプティック可能デバイスの各々の近接に応じて、スタジアム内の異なる場所で、元のハプティックメタデータをハプティック可能デバイスのグループへ非対称に伝送してもよい。
140において、ハプティック再生能力情報は、ハプティック可能デバイスの各々に対して生成される。ハプティック再生能力情報は、元のハプティックメタデータに対してハプティック可能デバイスの各々のハプティック再生能力を決定することによって、生成される。
ハプティック可能デバイスの各々のハプティック再生能力は、デバイス種類、及び/又は、ハプティック可能デバイスの各々でそれぞれソフトウェアを用いてハプティック可能デバイスの各々に対して、ハプティック効果を生成するように構成される埋め込みハードウェアを識別することによって決定されてもよい。例えば、あるハプティック可能デバイスは、小型及び大型アクチュエータを有するゲームパッドとして識別され、別のハプティック可能デバイスは、特定の種類のモバイルアクチュエータを有するモバイルヘッドセットとして識別されてもよい。ハプティック再生能力は、元のハプティックメタデータに対応するハプティックトラックの再生前に決定されてもよい。
例示的な実施形態によれば、ハプティック再生能力(例えば、デバイス種類及び/又はハプティック効果を生成するように構成されるハードウェア)は、検証デバイス(例えば、第2のTV又はTVボックス)を用いて決定されてもよい。検証デバイスは、各ハプティック可能デバイスにおいて各ハプティック可能デバイスの外部にあってもよく、又はハプティックシステム(図7のハプティックシステム716参照)とは隔てられていてもよい。
150において、元のハプティックメタデータが、1以上のハプティック可能デバイスの各ハプティック再生能力情報と互換性がないハプティック情報をエンコードする場合、各ハプティック再生能力情報は、各ハプティック可能デバイスによってホストソースへ送信される。
ホストソースは、その後、選択ハプティックメタデータが、各ハプティック再生能力情報のためにカスタマイズされる(又は互換性がある)選択ハプティック情報をエンコードするように、元のハプティックメタデータを修正することによって、選択ハプティックメタデータを生成してもよい。元のハプティックメタデータは、追加ハプティックメタデータを元のハプティックメタデータへ追加すること、使用不可能なハプティックメタデータを元のハプティックメタデータから除去すること、又は元のハプティックメタデータの少なくとも1つのパラメータを変更(又は編集)することによって、修正されてもよい。
それに代えて、ホストソースは、指定データベースから選択ハプティックメタデータに対するハプティック効果を選択してもよい。
170において、ホストソースは、選択ハプティックメタデータを各ハプティック可能デバイスへ送信する。ハプティック可能デバイスのために選択ハプティックメタデータを生成することによって、例示的な実施形態は、ブロードキャスト信号をブロードキャスト/伝送するときに用いられるものよりも帯域幅が狭い又はファイルサイズが小さいものを用いて、選択ハプティックメタデータを送信することを含んでもよい。
例示的な実施形態によれば、ブロードキャスト信号、ハプティック再生能力情報及び選択ハプティックメタデータは、各ハプティック可能デバイスの同一メディアブロードキャストストリームを通じてそれぞれ送信(又は伝送)されてもよい。
図2は、例示的な実施形態に係るブロードキャスト信号を用いて選択ハプティックメタデータを送信するフロー図である。
図2を参照すると、例示的な実施形態に係るブロードキャスト信号を用いて選択ハプティックメタデータを送信することは、図1に示される(同様の符号の使用により示される)機能と共に説明されるのと同様のステップを含む。同様のステップの説明は、説明の簡素化のために省略される。
220において、機能は、合成ブロードキャスト信号を作成するために、元のハプティックメタデータ及び元のオーディオ及び/又はビデオメタデータを多重化する(又は加える)ことを更に含む。例えば、ユーザが、イベントのオーディオ/ビデオ(A/V)データを作成する及び/又は共有しようとするとき、ユーザは、A/Vデータと関連付けるためにハプティック効果に対して推薦/提案を提供してもよい。例示的な実施形態によれば、ユーザは、データベースにおいて予め設計されたハプティック効果のセットから1つのハプティック効果を選択し、選択されたハプティック効果をA/Vデータ又はA/Vデータの1以上の部分と関連付けてもよい。
230において、合成ブロードキャスト信号は、図1と共に説明されるように、130において、ブロードキャスト信号と同様にしてハプティック可能デバイスへブロードキャスト(又は伝送)される。
例示的な実施形態によれば、元のオーディオ及び/又はビデオメタデータは、ハプティックエディタ(メタデータへの編集を行う人)によって修正される、又はハプティック可能デバイスのオーディオ/ビデオ能力により修正されてもよい。260において、元のオーディオ及び/又はビデオメタデータが修正される場合、ホストソースは、選択ハプティックメタデータが、(i)各ハプティック再生能力情報と互換性のある選択ハプティック情報をエンコードし、(ii)修正されるオーディオ及び/又はビデオメタデータによってエンコードされたオーディオ及び/又はビデオデータに対応するように、元のハプティックメタデータを修正することによって選択ハプティックメタデータを生成してもよい。
それに代えて、ホストソースは、指定データベースから選択ハプティックメタデータに対してハプティック効果を選択してもよい。
270において、ホストソースは、選択ハプティックメタデータを各ハプティック可能デバイスへ送信する。
図3は、例示的な実施形態に係る元のハプティックメタデータをブロードキャスト信号に統合するフロー図である。
図3を参照すると、元のハプティックメタデータを、例示的な実施形態に係るブロードキャスト信号へ統合することは、310において、イクイップメント及び/又は人のセンサからハプティックデータを収集することを含む。320において、元のハプティックメタデータは、収集されたハプティックデータから生成される。
330において、ハプティックエディタ(ハプティックメタデータへの編集を行う人)は、付加的に、追加ハプティックメタデータを追加すること、元のハプティックメタデータから使用不可能なハプティックメタデータを除去すること、又は元のハプティックメタデータの少なくとも1つのパラメータを変更(又は編集)することによって、元のハプティックメタデータを修正しうる。例えば、フィールド上のフットボールプレーヤーは、元のハプティックメタデータを作成するために用いられるデータを収集する彼らのヘルメットに埋め込まれたフォースセンサを有してもよい。しかし、ハプティックエディタは、エンドユーザが、全てのプレーヤーからの全ての衝撃を感じることを望んでいない。したがって、ハプティックエディタは、エンドユーザがより強い又は弱い力を感じるようにハプティックメタデータを除去する又はパラメータを変更することによって、特定の時間に特定のプレーヤーからの衝撃を含むために元のハプティックメタデータを修正しうる。
340において、元のハプティックメタデータ(又はそれに代えて、元のハプティックメタデータの修正後バージョン)は、ハプティックメタデータパケットとしてブロードキャスト信号に統合される。元のハプティックメタデータ(又はそれに代えて、元のハプティックメタデータの修正後バージョン)は、ブロードキャスト信号に自動的に統合されてもよい。
図4は、例示的な実施形態に係る元のハプティックメタデータをブロードキャスト信号に統合するフロー図である。
図4を参照すると、例示的な実施形態に係る元のハプティックメタデータをブロードキャスト信号を統合することは、410において、イベント中に生じている特定のオーディオ及び/又はビジュアルキューに基づいて、リアルタイムで、予め設計されたハプティック効果データベースから予め設計されたハプティック効果を選択することを含む。予め設計されたハプティック効果の異なる「種類」は、異なる種類のイベントに対応してもよい。予め設計されたハプティック効果の例示的な種類は、振動、ジョルト、デテント、ポップ等を含む。例示的な実施形態によれば、第1の種類のハプティック効果は、プレーヤー(例えば、当たる、当てられる、落ちる、ジャンプする)に関するイベントを示し、一方で、第2の種類のハプティック効果は、ゲームプレイ(例えば、スコア、タイムアウト等)に関するイベントを示すことができる。
420において、元のハプティックメタデータは、選択された予め設計されたハプティック効果から生成される。
430において、ハプティックエディタ(メタデータへの編集を行う人)は、付加的に、追加ハプティックメタデータを追加すること、元のハプティックメタデータから使用不可能なハプティックメタデータを除去すること、又は元のハプティックメタデータの少なくとも1つのパラメータを変更(又は編集)することによって、元のハプティックメタデータを修正又は調整して、イベントにより具体的に一致することができる。例えば、ハプティックエディタは、元のハプティックメタデータを修正して、選択された予め設計されたハプティック効果の強度レベルを強調(つまり、より強い強度で提供される)する又は低減(つまり、より弱い強度で提供される)する。よって、例えば、エンドユーザは、タックルされたフットボールプレーヤーに応じて強い振動を感じ、フィールドの境界線から外へ出るフットボールプレーヤーに応じて弱い振動を感じる。
例示的な実施形態によれば、特定のハプティック効果を定義するハイレベルパラメータは、マグニチュード、周波数及び持続期間を含む。ストリーミングモータコマンド等のようなローレベルパラメータも特定のハプティック効果を表現するために用いられうる。これらのパラメータの一部のバリエーションは、ハプティック効果の感覚を変更する、及び/又はハプティック効果が「動的」とみなさせうる。
440において、元のハプティックメタデータ(又はそれに代えて元のハプティックメタデータの修正されたバージョン)は、ハプティックメタデータパケットとしてブロードキャスト信号と統合される。元のハプティックメタデータ(又はそれに代えて元のハプティックメタデータの修正されたバージョン)は、ブロードキャスト信号に自動的に統合されてもよい。
図5は、例示的な実施形態に係る元のハプティックメタデータをブロードキャスト信号に統合するフロー図である。
図5を参照すると、例示的な実施形態に係る元のハプティックメタデータをブロードキャスト信号に統合することは、510において、イベントが生じたとき、ハプティッククリエーションツールを用いて、リアルタイムで第1のハプティック効果を作成することを含む。第1のハプティック効果は、ハプティッククリエイター又はハプティックシンセサイザーによって作成されてもよい。第1のハプティック効果は、ブロードキャスト信号が作成されるのと同時に作成される。例えば、第1のハプティック効果は、オーディオ/ビデオ信号がブロードキャスト信号に埋め込まれるのと同時に作成されてもよい。
例えば、ハプティッククリエイターは、プレーヤーへパスを投げるクウォーターバックの感覚を表すための第1の効果を作成し、第1の効果がランブルパッドの左アクチュエータ上でのみ再生されることを指定する。ハプティッククリエイターは、フットボールのパスをキャッチするレシーバーの感覚に対して表すための第2の効果を作成し、第2の効果がランブルパッドの右アクチュエータ上でのみ再生されることを指定する。
別の例示的な実施形態によれば、ハプティッククリエイターは、特定のデバイス(例えば、モバイルフォン又はランブルパッド又は偏心回転質量モータeccentric rotating mass motor(「ERM」)又は線形共振アクチュエータ(linear resonant actuator(「LRA」)アクチュエータ)上でのみ再生されるためにある特定の効果を指定することができる。
520において、第1の元のハプティックメタデータパケットは、第1のハプティック効果から生成される。
530において、第1の元のハプティックメタデータパケットは、ブロードキャスト信号に統合される。
540において、第1の元のハプティックメタデータパケットは、ブロードキャスト信号を介してエンドユーザデバイスへリアルタイムでブロードキャスト/伝送される。例えば、イベントがエンドユーザによってライブで観られるとき、第1のハプティック効果は、作成され、変換され、ブロードキャスト信号へ統合され、エンドユーザへ伝送される。
550において、第2のハプティック効果は、イベントが生じたとき、ハプティッククリエーションツールを用いて、リアルタイムで作成される。
560において、第2の元のハプティックメタデータパケットは、第2のハプティック効果から生成される。
570において、第2の元のハプティックメタデータパケットは、第1のハプティックメタデータパケットの伝送後又は伝送中に、ブロードキャスト信号のブロードキャストストリームへ統合される。
580において、第2の元のハプティックメタデータパケットは、ブロードキャストストリームを介してエンドユーザデバイスへリアルタイムでブロードキャスト/伝送される。
代替の例示的な実施形態によれば、イベントは、後に観ることができ、ハプティック効果は、後にエンドユーザへ変換及び提供されるように、格納される。
図6は、例示的な実施形態に係るハプティックブロードキャストシステム600のブロック図である。
図6を参照すると、例示的な実施形態に係るハプティックブロードキャストシステム600は、ホストソース602を含む。ホストソース602は、ハプティックセンサモジュール650、ハプティックデータシンセサイザー655及び/又は予め設計されたハプティック効果データベース660からハプティックデータを取得し、ハプティックデータをハプティックデータコンバータ610へ伝送する。
例示的な実施形態によれば、ハプティックセンサモジュール650は、1以上のセンサ(図示せず)からのハプティックセンサ情報を表す信号(例えば、電気信号)を受信する。センサは、エネルギーの形態又は他の物理特性を検出し、検出されたエネルギー又は他の物理特性を信号へ変換する。センサは、通信装置(図示せず)を通じてハプティックセンサモジュール650へ信号を送信する。センサは、限定されないが、音、動き、加速度、物理信号、距離、流れ、力/圧力/歪み/曲げ、湿度、線形位置、向き/傾き、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動又は可視光強度等のようなエネルギーの形態又は他の物理特性を検出するように構成されうる。
1以上のセンサは、限定されないが、モーションセンサ、加速度計、心電図、脳波図、筋電図、眼電図、エレクトロパラトグラフィ、ガルバニック皮膚応答センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、フレキションセンサ(又は曲げセンサ)、力検知センサ、ロードセル、LuSense CPS2 155、小型圧力トランスデューサ、圧電センサ、歪ゲージ、湿度計、リニア位置タッチセンサ、リニアポテンショメータ(又はスライダ)、リニア可変差動変圧器、コンパス、傾斜計、磁気タグ(又は無線周波数識別タグ)、ロータリエンコーダ、ロータリポテンショメータ、ジャイロスコープ、オン−オフスイッチ、温度センサ(例えば、サーモメータ、熱電対、抵抗温度検出器、サーミスタ又は温度変換集積回路)、マイクロフォン、フォトメータ、高度計、生体モニタ、カメラ、又は光依存性抵抗等のような任意の装置でありうる。
1以上のセンサは、センサアレイの一部又は一部の他の種類のセンサの集合であってもよい。
例示的な実施形態によれば、ハプティック効果は、イベントが生じるとき、ハプティックデータシンセサイザー655においてハプティッククリエーションツールを用いて作成されうる。ハプティックデータシンセサイザー655は、ハプティッククリエイターによって制御されてもよい。ハプティック効果は、ブロードキャスト信号が生成されている(対応する元のハプティックメタデータが統合されるであろう)ときにリアルタイムで(又は同時に)作成されてもよい
例示的な実施形態によれば、イベント中に生じるオーディオ及び/又はビジュアルキューは、(例えば、予め設計されたハプティック効果データベース660に格納された予め設計された効果のルックアップテーブルに基づいて)予め設計されたハプティック効果データベース660に格納された予め設計されたハプティック効果を選択することによってハプティック化されうる。選択すると、予め設計されたハプティック効果は、追加ハプティックメタデータを追加すること、元のハプティックメタデータから使用不可能なハプティックメタデータを除去すること、又は元のハプティックメタデータの少なくとも1つのパラメータを変更(又は編集)することによって、元のハプティックメタデータを修正又は調整して、イベントにより具体的に一致することができる。修正又は調整は、ハプティックエディタ(メタデータへの編集を行う人)、ハプティック修正ツール等によって行われてもよい。
イベントと関連付けられるオーディオ(又はビジュアル)キューは、オーディオ(又はビジュアル)からハプティックへの変換アルゴリズムを用いてハプティック化されてもよい。例えば、米国特許第9,368,005号で開示されるようなオーディオからハプティックへの変換アルゴリズムが用いられてもよい。
例示的な実施形態によれば、キュー全体ではなく、オーディオ及び/又はビジュアルキューの特定の部分のみがハプティック化されてもよい。したがって、例示的な実施形態は、エンハンストハプティックメタデータを提供するために、オーディオ及び/又はビジュアルキューのその部分のために構成されるハプティック変換アルゴリズムを用いてもよい。
代替の例示的な実施形態によれば、ハプティックセンサモジュール650、ハプティックデータシンセサイザー655及び/又は予め設計されたハプティック効果データベース660は、それぞれ、ホストソース602とは異なるデバイスにあってもよい。ハプティックセンサモジュール650、ハプティックデータシンセサイザー655及び/又は予め設計されたハプティック効果データベース660がホストソース602とは異なるデバイスにあるとき、ハプティックデータは、各デバイスからハプティックデータコンバータ610へ伝送されてもよい。
ハプティックデータコンバータ610は、ハプティックセンサモジュール650、ハプティックデータシンセサイザー655及び/又は予め設計されたハプティック効果データベース660から受信されたハプティックデータを変換することによって、元のハプティックメタデータを生成する。元のハプティックメタデータは、ハプティック情報を受信するであろう複数のハプティック可能デバイス733上で再生されるハプティックパラメータの種類を特定するハプティック情報をエンコードしてもよい。
ハプティックデータコンバータ610は、ブロードキャストネットワークでの伝送のためのハプティックメタデータパケットを生成する第1のエンコーダ617へ元のハプティックメタデータを伝送する。第1のエンコーダ617は、第1のブロードキャスト信号へ統合するために、元のハプティックメタデータを、例えば、デジタル信号として適切なハプティックメタデータパケットへエンコードする。例えば、元のハプティックメタデータは、米国特許出願第14/286,591号に開示されるようにエンコードされ、ストリームしてもよい。
第1のエンコーダ617は、その後、ハプティックメタデータパケットをマルチプレクサ620へ伝送してもよい。マルチプレクサ620は、合成信号を生成するために、ハプティックメタデータパケットを、元のハプティックメタデータと関連付けられるオーディオ及び/又はビジュアルメタデータパケットと組み合わせ、合成信号をブロードキャストネットワーク625へ伝送する。
代替の例示的な実施形態によれば、第1のエンコーダ617によって生成されたハプティックメタデータをオーディオ及び/又はビジュアルメタデータパケットと組み合わせることは必要がない又は望ましくない。よって、第1のエンコーダ617は、ハプティックメタデータパケットを直接的にブロードキャストネットワーク625へ伝送してもよい。
ブロードキャストネットワーク625は、合成信号(又は代わりにハプティックメタデータパケットのみ)を第1のブロードキャスト信号へ統合し、ハプティックメタデータパケットを含む第1のブロードキャスト信号を1以上のハプティック可能デバイス733へブロードキャスト(又は伝送)する。よって、ブロードキャストネットワーク625によってハプティック可能デバイス733へ送信される第1のブロードキャスト信号は、ポイント−トゥ−マルチポイント(point−to−multipoint)ブロードキャスト信号であってもよい。第1のブロードキャスト信号は、互いに異なっている伝送モード627,629,631を介して、ブロードキャスト信号をハプティック可能デバイス733へ送信することによってブロードキャスト(又は伝送)されてもよい。例えば、伝送モード627,629,631は、ケーブル、ダイレクトブロードキャスト衛星、光ファイバ通信ネットワーク、無線プログラミング、ワイヤレス通信ネットワーク、及びラジオ波から選択されてもよい。
ハプティック可能デバイス733は、従来から知られた任意のハプティック再生メディアをそれぞれ含んでもよい。例えば、ハプティック可能デバイス733は、モバイルデバイス(例えば、タブレット、スマートフォン等)、ウェアラブルデバイス(例えば、グローブ、リストバンド、スマート衣服等)、アクチュエータ装備家具、テレビジョン、ゲーミングコントローラ、ハプティック可能なヘッドマウントディスプレイ(HMDs)(例えば、Oculus Rift等)又は同様のデバイスであってもよい。
ハプティック可能デバイス733は、ハプティックシステム716を含んでもよい。ハプティックシステム716は、デコーダ635、ハプティック再生能力生成器640、及びハプティックレンダラー670、並びに予め設計されたハプティック効果データベース(図示せず)。ハプティックシステム716は、また、例えば、ハプティック/A/Vシンセサイザー、信号モジュレータ、信号コンバータ、フィルタ等の従来から知られた他の要素を含んでもよい。
ハプティック可能デバイス733の各々におけるデコーダ635は、ブロードキャストネットワーク625から第1のブロードキャスト信号を受信し、第1のブロードキャスト信号から元のハプティックメタデータをデコードする。デコーダ635は、元のハプティックメタデータをハプティック再生能力生成器640へ送信する。
ハプティック再生能力生成器640は、元のハプティックメタデータのための各ハプティック可能デバイス733のハプティック再生能力を決定し、各ハプティック可能デバイス733のためのハプティック再生能力情報を生成する。ハプティック再生能力生成器640は、各ハプティック可能デバイス733に対して、デバイス種類及び/又はハプティック効果を生成するように構成されるハードウェアを識別することによってハプティック再生能力を決定するソフトウェアを有してもよい。
代替の例示的な実施形態によれば、デバイス種類及び/又はハプティック効果を生成するように構成されるハードウェアは、検証デバイス643を用いて識別されてもよい。検証デバイス643は、各ハプティック可能デバイス733とは異なるデバイス、又はハプティックブロードキャストシステム716から隔てたデバイスにあってもよい。
ハプティック再生能力生成器640が、互換性のある予め設計されたハプティック効果(つまり、元のハプティックメタデータと互換性のある予め設計されたハプティック効果)がハプティックシステム716の予め設計されたハプティックデータベースに格納されると判定した場合、元のハプティックメタデータは、元のハプティックメタデータと関連付けられるハプティック効果を生成するためにハプティックレンダラー670へ伝送される。
ハプティック再生能力生成器640が、互換性のある予め設計されたハプティック効果がハプティックシステム716の予め設計されたハプティックデータベースに格納されないと判定した場合、ハプティック再生能力生成器640は、元のハプティックメタデータが、各ハプティック可能デバイス733のハプティック再生能力情報と互換性のあるハプティック情報又はパラメータをエンコードするかどうかを判定する。
ハプティック再生能力生成器640が、元のハプティックメタデータが、各ハプティック可能デバイス733のハプティック再生能力情報と互換性のあるハプティック情報又はパラメータをエンコードすると判定した場合、元のハプティックメタデータは、元のハプティックメタデータと関連付けられるハプティック効果を生成するために、ハプティックレンダラー670へ伝送される。
ハプティック再生能力生成器640が、元のハプティックメタデータが、各ハプティック可能デバイス733のハプティック再生能力情報と互換性のないハプティック情報又はパラメータをエンコードすると判定した場合、各ハプティック再生能力情報は、第2のエンコーダ645へ伝送される。
第2のエンコーダ645は、例えば、第2のブロードキャスト信号に統合するために適したデジタル信号として、ハプティック再生能力情報をハプティック再生メタデータパケットへエンコードする。第2のエンコーダ645は、ハプティック再生メタデータパケットをブロードキャストネットワーク625へ伝送する。
ブロードキャストネットワーク625は、第2のエンコーダ645から受信されたハプティック再生メタデータパケットを第2のブロードキャスト信号に統合し、ハプティック再生メタデータパケットを含む第2のブロードキャスト信号をホストソース602へブロードキャスト(又は伝送)する。よって、ホストソース602へブロードキャストネットワーク625によって送信される第2のブロードキャスト信号は、ポイント−トゥ−ポイント(point−to−point)ブロードキャスト信号であってもよい。第2のブロードキャスト信号は、第1のブロードキャスト信号と同一又は異なる伝送モードによってブロードキャスト(又は伝送)されてもよい。
ホストソース602におけるデコーダ647は、ブロードキャストネットワーク625から第2のブロードキャスト信号を受信し、第2のブロードキャスト信号で受信されたハプティック再生メタデータパケットから各ハプティック再生能力情報をデコードする。デコーダ647は、その後、ハプティック再生能力情報を選択ハプティック再生生成器649へ伝送してもよい。
選択ハプティック再生生成器649は、選択ハプティックメタデータが、各ハプティック再生能力情報と互換性のある(又はカスタマイズされる)選択ハプティック情報又はパラメータをエンコードするように、元のハプティックメタデータを修正することによって、選択ハプティックメタデータを生成する。元のハプティックメタデータは、追加ハプティックメタデータを元のハプティックメタデータへ追加すること、使用不可能なハプティックメタデータを元のハプティックメタデータから除去すること、又は元のハプティックメタデータの少なくとも1つのパラメータを変更する(又は編集する)ことによって修正されてもよい。
例示的な実施形態によれば、選択ハプティック再生生成器649は、指定データベースから選択ハプティックメタデータのための選択ハプティック効果を選択してもよい。
代替の例示的な実施形態によれば、デコーダ647は、ハプティック再生能力情報を、各ハプティック再生能力情報と互換性のある(又は各ハプティック再生能力情報のためにカスタマイズされる)ハプティック効果が再作成されるハプティックデータシンセサイザー655へ伝送し、再作成されたハプティック効果は、各ハプティック再生能力情報と互換性のある(又は各ハプティック再生能力情報のためにカスタマイズされる)選択ハプティック情報又はパラメータを生成するために用いられる。
更に別の代替の例示的な実施形態によれば、デコーダ647は、ハプティック再生能力情報を、追加又は他の予め設計されたハプティック効果が選択された予め設計されたハプティック効果データベース660へ伝送してもよく、追加又は他の予め設計されたハプティック効果は、(i)各ハプティック再生能力情報と互換性があり(又は各ハプティック再生能力情報のためにカスタマイズされる)、かつ(ii)予め設計されたハプティック効果データベース660に格納される。選択されたハプティック効果は、その後、各ハプティック再生能力情報と互換性のある(又は各ハプティック再生能力情報のためにカスタマイズされた)選択ハプティック情報又はパラメータを生成するために用いられる。
ハプティックデータシンセサイザー655又は予め設計されたハプティック効果データベース660によって提供されたハプティック効果から生成された選択ハプティック情報又はパラメータは、ハプティックデータコンバータ610へ伝送される。ハプティックデータコンバータ610は、その後、ハプティックデータシンセサイザー655又は予め設計されたハプティック効果データベース660から受信された選択ハプティック情報又はパラメータを変換することによって、選択ハプティックメタデータを生成する。
例示的な実施形態によれば、エンドユーザは、各ハプティック再生能力情報においてユーザの好みを提供することによって、ハプティック可能デバイスによって生成されるハプティック効果をカスタマイズすることができる。例えば、特定のイベントを無視するユーザの好みに基づいて、選択ハプティックメタデータは、特定のイベントが発生したときに、ハプティック効果のためのハプティック情報をエンコードしない。すなわち、対応するハプティックメタデータは、選択ハプティックメタデータに伝送されなくてもよい。
ホストソース602の選択ハプティック再生生成器649又はハプティックデータコンバータ610は、その後、エンコーダ617(及び付加的にマルチプレクサ620)及びブロードキャストネットワーク625を介して第3のブロードキャスト信号における選択ハプティックメタデータを各ハプティック可能デバイス733へ送信する。選択ハプティックメタデータは、エンコーダ617により選択ハプティックメタデータへエンコードされ、その後、ブロードキャストネットワーク625により第3のブロードキャスト信号へ統合されてもよい。よって、ブロードキャストネットワーク625によって各ハプティック可能デバイス733へ送信される第3のブロードキャスト信号は、ポイントツーポイントブロードキャスト信号であってもよい。
例示的な実施形態によれば、ブロードキャスト信号、ハプティック再生能力情報及び選択ハプティックメタデータパケットは、各ハプティック可能デバイスの同一メディアブロードキャストストリームを通じて、それぞれ送信(又は伝送)されてもよい。
例示的な実施形態によれば、ハプティック可能デバイスのために選択ハプティックメタデータを生成することによって、例えば、実施形態は、第1のブロードキャスト信号をブロードキャストする(又は伝送する)ときに用いられるものよりも、狭い帯域又は小さいファイルサイズを有する第3のブロードキャスト信号において選択ハプティックメタデータを送信することを含んでもよい。
図7は、例示的な実施形態に係るエンドユーザ装置におけるシステム700のブロック図である。図7の構成要素の一部又は全部は、図6の要素のいずれかを実装するためにも用いられうる。
図7を参照すると、例示的な実施形態に係るエンドユーザデバイスにおけるシステム700は、ハプティック再生能力を決定し、エンドユーザデバイスに対するハプティック再生機能を提供する。それに代えて、システム700は、エンドユーザデバイスの外部にあってもよく、エンドユーザデバイスに対するハプティック再生機能を遠隔提供してもよい。
単一のシステムとして示されるが、システム700の機能は、分散型システムとして実装されうる。システム700は、情報を通信するためのバス712又は他の通信機能、及び情報を処理するためにバス712に結合されたプロセッサ722を含む。プロセッサ722は、汎用又は特定用途プロセッサのいずれかの種類であってもよい。システム700は、更に、プロセッサ722によって実行されるべき情報及び命令を格納するメモリ714を含む。メモリ714は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、磁気又は光学ディスク等のような静的ストレージ、又は他の種類のコンピュータ可読媒体の任意の組み合わせで構成されうる。
コンピュータ可読媒体は、プロセッサ722によりアクセスされうる任意の利用可能な媒体であってもよく、揮発性及び不揮発性媒体の両方、リムーバブル及びノン−リムーバブル媒体、通信媒体及びストレージ媒体を含んでもよい。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、若しくは搬送波又は他の伝達機構等のような変調されたデータ信号における他のデータを含んでもよく、他の形式の従来から知られた情報伝搬媒体を含んでもよい。ストレージ媒体は、RAM、消去可能プログラム可能リードオンリーメモリ(「EPROM」)、電気的消去可能プログラム可能リードオンリーメモリ(「EEPROM」)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ(「CD−ROM」)又は他の形式の既知のストレージ媒体を含んでもよい。
例示的な実施形態によれば、メモリ714は、プロセッサ722によって実行されたときに、機能を提供するソフトウェアモジュールを格納する。ソフトウェアモジュールは、システム700及びエンドユーザデバイスの残りの部分に対して、オペレーティングシステムを提供するオペレーティングシステム715を含んでもよい。ソフトウェアモジュールは、(上述された)ハプティック再生能力を決定し、ハプティック再生機能を提供するハプティックシステム716を更に含む。
システム700は、赤外線、ラジオ、Wi−Fi又はセルラーネットワーク通信のための無線通信ネットワークを提供する通信デバイス720(例えば、ネットワークインターフェースカード)を更に含んでもよい。それに代えて、通信デバイス720は、有線ネットワーク接続(例えば、ケーブル/イーサネット(登録商標)/光ファイバ接続又はモデム)を提供してもよい。
プロセッサ722は、バス712を介して、グラフィック表現又はユーザインタフェースをエンドユーザへ表示するためのディスプレイ724(例えば、発光ディスプレイ(light−emitting display(LED))又は液晶ディスプレイ(liquid crystal display(LCD))と更に結合される。ディスプレイ724は、プロセッサ722から信号を送受信するように構成されたタッチ検知入力デバイス(例えば、タッチスクリーン)であってもよく、マルチタッチスクリーンであってもよい。
システム700は、少なくとも1つのアクチュエータ726を更に含む。プロセッサ722は、ハプティック効果と関連付けられるハプティック信号をアクチュエータ726へ伝送し、アクチュエータ726は、次に、ハプティック効果(例えば、振動触覚ハプティック効果、静電摩擦ハプティック効果、又は変形ハプティック効果)を出力する。アクチュエータ726は、アクチュエータ駆動回路を含む。アクチュエータ726は、例えば、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ(linear resonant actuator (“LRA”))、圧電アクチュエータ、高帯域アクチュエータ又は電気活性ポリマーアクチュエータであってもよい。
アクチュエータ726は、ハプティック出力デバイスの一例であり、ハプティック出力デバイスは、駆動信号に応じて、振動触覚ハプティック効果、静電摩擦ハプティック効果、変形ハプティック効果等の任意の形式のハプティック効果を出力するように構成される機構を含むデバイスである。したがって、別の実施形態では、アクチュエータ726は、非機械又は非振動デバイスである他の種類のハプティック出力デバイス(図示せず)によって置き換えられうる。非機械又は非振動デバイスの例は、静電摩擦(ESF:electrostatic friction)又は超音波表面摩擦(USF:ultrasonic surface friction)を用いるデバイス、超音波ハプティックトランスデューサにより音響放射圧力を誘起するデバイス、ハプティック基板及びフレキシブル又は変形可能表面又は形状変化デバイスを用い、ユーザの身体に取り付けられるデバイス、エアジェットを用いるエアのパフ、レーザベースの発射物、音ベースの発射物等のような突出ハプティック出力を提供するデバイスを含む。
例示的な実施形態によれば、レーザベースの発射物は、プラズマ(正及び負粒子の濃縮混合物)を提供するように、空中の濃縮領域の空気分子をイオン化するためにレーザエネルギーを用いる。レーザは、非常に高速かつ非常に強いペースでパルスを出射するフェムト秒レーザでもよい。レーザが高速であるほど人が触れるのにより安全である。発射物は、ハプティック及びインタラクティブなホログラムとして現れうる。プラズマがユーザの皮膚と接触すると、ユーザは、濃縮領域における励起された空気分子の振動を感知しうる。ユーザが空中のプラズマと相互に作用したときに生成される波動によってユーザの皮膚上の感覚が引き起こされる。したがって、ユーザを濃縮領域にさらすことによって、ハプティック効果がユーザに提供されうる。代わりに又は加えて、ユーザを指向性音響エネルギーにより生成される振動にさらすことによって、ハプティック効果がユーザに提供されてもよい。
代替の例示的な実施形態によれば、システム700とは別個のデバイスは、ハプティック効果を生成するアクチュエータ又は他のハプティック出力デバイスを含み、システム700は、通信デバイス720を通じて、生成されたハプティック信号を別個のデバイスへ送信する。
システム710は、オーディオ効果を出力するために少なくとも1つのスピーカ728を含んでもよい。プロセッサ722は、オーディオ信号をスピーカ728へ伝送し、これは、次に、オーディオ効果を出力する。スピーカ728は、例えば、ダイナミックラウドスピーカ、動電ラウドスピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボン型平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ハイルエアモーショントランスデューサ、プラズマアークスピーカ、デジタルラウドスピーカ等でありうる。
代替の例示的な実施形態によれば、システム700とは別個のデバイスは、スピーカ728を含み、システム700は、通信デバイス720を通じて別個のデバイスへオーディオ信号を送信する。
例示的な実施形態は、エンドユーザハプティック可能デバイス上で再生されるハプティックデータにおける全ての取り得るハプティック再生能力をエンコードせずに、ブロードキャスト信号を通じて、信頼性のある伝送及び選択(又はカスタマイズされた)ハプティックデータの一貫性のある再生をエンドユーザハプティック可能デバイス(例えば、タブレット、モバイル電話、テレビジョン、ゲーミングコンソール、バーチャルリアリティシステム等)へ提供する。例示的な実施形態によれば、選択ハプティックデータが、エンドユーザハプティック可能デバイスのハプティック再生能力に対してカスタマイズされるので、選択ハプティックデータからのハプティック効果の伝送及び再生は、ハプティック効果のエンドユーザの体験を改善する。
上記は、様々な例示的実施形態の事例であり、限定的なものと解釈されるべきではない。したがって、全てのこのような変形は、特許請求の範囲で規定される開示の範囲内に含まれることが意図される。

Claims (20)

  1. ブロードキャスト信号を用いて選択ハプティックメタデータをブロードキャストする方法であって、
    前記ブロードキャスト信号をホストソースから複数のハプティック可能デバイスへブロードキャストするステップであって、前記ブロードキャスト信号は、元のハプティックメタデータを含む、ステップと、
    前記元のハプティックメタデータが、第1のハプティック再生能力情報と互換性のないハプティック情報をエンコードするとき、前記複数のハプティック可能デバイスのうちの第1のハプティック可能デバイスから前記ホストソースで第1のハプティック再生能力情報を受信するステップと、
    前記第1のハプティック再生能力情報のためにカスタマイズされた前記選択ハプティックメタデータを生成するステップと、
    前記ホストソースから前記第1のハプティック可能デバイスへ前記選択ハプティックメタデータを送信するステップと、
    を備える方法。
  2. 前記選択ハプティックメタデータを生成するステップは、指定データベースから前記選択ハプティックメタデータを選択するステップを含む、請求項1に記載の方法。
  3. 前記選択ハプティックメタデータを生成するステップは、前記元のハプティックメタデータを修正するステップを含み、
    前記修正するステップは、追加ハプティックメタデータを前記元のハプティックメタデータへ追加するステップ、前記元のハプティックメタデータから使用不可能なハプティックメタデータを除去するステップ、又は前記元のハプティックメタデータの少なくとも1つのパラメータを変更するステップを含む、請求項1に記載の方法。
  4. 前記第1のハプティック再生能力情報は、前記元のハプティックメタデータのための前記第1のハプティック可能デバイスのハプティック再生能力を決定することによって生成され、
    前記第1のハプティック可能デバイスのハプティック再生能力を決定することは、前記元のハプティックメタデータに対応するハプティックトラックの再生前に、前記第1のハプティック可能デバイスに各々組み込まれたソフトウェアを用いて前記第1のハプティック可能デバイスに対して、(i)デバイス種類及び(ii)ハプティック効果を生成するように構成されるハードウェア、から選択される少なくとも一方を識別することを含む、請求項1に記載の方法。
  5. 前記第1のハプティック再生能力情報は、前記元のハプティックメタデータのための前記第1のハプティック可能デバイスのハプティック再生能力を決定することによって生成され、
    前記第1のハプティック可能デバイスのハプティック再生能力を決定することは、前記元のハプティックメタデータに対応するハプティックトラックの再生前に、検証デバイスを用いて前記第1のハプティック可能デバイスに対して、(i)デバイス種類及び(ii)ハプティック効果を生成するように構成されるハードウェア、から選択される少なくとも一方を識別することを含み、前記検証デバイスは、前記第1のハプティック可能デバイスの外部にある、請求項1に記載の方法。
  6. 前記ブロードキャスト信号をブロードキャストするステップは、互いに異なる伝送モードを介して前記複数のハプティック可能デバイスへ前記ブロードキャスト信号を送信するステップを含み、
    前記伝送モードは、ケーブル、ダイレクトブロードキャスト衛星、光ファイバ通信ネットワーク、無線プログラミング、ワイヤレス通信ネットワーク、及びラジオ波から選択される、請求項1に記載の方法。
  7. 前記ブロードキャスト信号をブロードキャストするステップは、第1のメディアブロードキャストストリームを通じて前記ホストソースから前記複数のハプティック可能デバイスへ前記ブロードキャスト信号を送信するステップを含み、
    前記第1のハプティック再生能力情報を受信するステップは、前記第1のメディアブロードキャストストリームを通じて前記第1のハプティック再生能力情報を受信するステップを含み、
    前記選択ハプティックメタデータを送信するステップは、前記第1のメディアブロードキャストストリームを通じて前記選択ハプティックメタデータを前記第1のハプティック可能デバイスへ送信するステップを含む、請求項1に記載の方法。
  8. 前記元のハプティックメタデータによってエンコードされた前記ハプティック情報は、前記複数のハプティック可能デバイスで再生されるハプティックパラメータの種類を特定する、請求項1に記載の方法。
  9. ハプティックブロードキャストシステムであって、
    ブロードキャスト信号を複数のハプティック可能デバイスへブロードキャストするブロードキャストネットワークであって、前記ブロードキャスト信号は、元のハプティックメタデータを含む、ブロードキャストネットワークと、
    そこから前記ブロードキャストネットワークが前記元のハプティックメタデータが受信するホストソースと、を備え、前記ホストソースは、
    (i)前記元のハプティックメタデータが、第1のハプティック再生能力情報と互換性のないハプティック情報をエンコードするとき、前記複数のハプティック可能デバイスのうちの第1のハプティック可能デバイスから第1のハプティック再生能力情報を受信し、
    (ii)前記第1のハプティック再生能力情報のためにカスタマイズされた選択ハプティックメタデータを生成し、
    (iii)前記ホストソースから前記第1のハプティック可能デバイスへ前記選択ハプティックメタデータを送信する、
    ハプティックブロードキャストシステム。
  10. そこから前記選択ハプティックメタデータが選択される指定データベースを更に備える請求項9に記載のハプティックブロードキャストシステム。
  11. 前記ホストソースは、前記元のハプティックメタデータを修正することによって、前記選択ハプティックメタデータを生成する選択ハプティックメタデータ生成器を含み、
    前記選択ハプティックメタデータ生成器は、追加ハプティックメタデータを前記元のハプティックメタデータへ追加すること、前記元のハプティックメタデータから使用不可能なハプティックメタデータを除去すること、又は前記元のハプティックメタデータの少なくとも1つのパラメータを変更することによって、前記元のハプティックメタデータを修正する、請求項9に記載のハプティックブロードキャストシステム。
  12. 前記第1のハプティック可能デバイスは、(i)組み込みソフトウェア、及び(ii)前記元のハプティックメタデータのための前記第1のハプティック可能デバイスのハプティック再生能力を決定することによって前記第1のハプティック再生能力情報を生成するハプティック再生能力生成器を含み、
    前記ハプティック再生能力生成器は、前記元のハプティックメタデータに対応するハプティックトラックの再生前に、前記第1のハプティック可能デバイスに各々組み込まれたソフトウェアを用いて前記第1のハプティック可能デバイスに対して、(i)デバイス種類及び(ii)ハプティック効果を生成するように構成されるハードウェア、から選択される少なくとも一方を識別することによって、前記第1のハプティック可能デバイスのハプティック再生能力を決定する、請求項9に記載のハプティックブロードキャストシステム。
  13. 前記第1のハプティック可能デバイスに外部接続された検証デバイスを更に備え、
    前記第1のハプティック可能デバイスは、前記元のハプティックメタデータに対して前記第1のハプティック可能デバイスのハプティック再生能力を決定することによって、前記第1のハプティック再生能力情報を生成するハプティック再生能力生成器を含み、
    前記ハプティック再生能力生成器は、前記元のハプティックメタデータに対応するハプティックトラックの再生前に、前記検証デバイスを用いて前記第1のハプティック可能デバイスに対して、(i)デバイス種類及び(ii)ハプティック効果を生成するように構成されるハードウェア、から選択される少なくとも一方を識別することによって、前記第1のハプティック可能デバイスのハプティック再生能力を決定する、請求項9に記載のハプティックブロードキャストシステム。
  14. 前記複数のハプティック可能デバイスは、互いに異なる伝送モードを介して前記ブロードキャスト信号を受信し、
    前記伝送モードは、ケーブル、ダイレクトブロードキャスト衛星、光ファイバ通信ネットワーク、無線プログラミング、ワイヤレス通信ネットワーク、及びラジオ波から選択される、請求項9に記載のハプティックブロードキャストシステム。
  15. 前記ブロードキャストネットワークは、第1のメディアブロードキャストストリームを通じて前記ブロードキャスト信号を前記複数のハプティック可能デバイスへ送信することによって前記ブロードキャスト信号をブロードキャストし、
    前記ホストソースは、前記第1のメディアブロードキャストストリームを通じて前記第1のハプティック再生能力情報を受信し、前記第1のメディアブロードキャストストリームを通じて前記選択ハプティックメタデータを前記第1のハプティック可能デバイスへ送信する、請求項9に記載のハプティックブロードキャストシステム。
  16. 前記元のハプティックメタデータによってエンコードされた前記ハプティック情報は、前記複数のハプティック可能デバイスで再生されるハプティックパラメータの種類を特定する、請求項9に記載のハプティックブロードキャストシステム。
  17. 非一時的コンピュータ可読媒体であって、プロセッサによって実行されたとき、
    ブロードキャストネットワークを用いて、ブロードキャスト信号を複数のハプティック可能デバイスへブロードキャストし、前記ブロードキャスト信号は、ホストソースから受信された元のハプティックメタデータを含み、
    前記元のハプティックメタデータが、第1のハプティック再生能力情報と互換性のないハプティック情報をエンコードするとき、前記複数のハプティック可能デバイスのうちの第1のハプティック可能デバイスから前記ホストソースで第1のハプティック再生能力情報を受信し、
    前記第1のハプティック再生能力情報のためにカスタマイズされた選択ハプティックメタデータを前記ホストソースで生成し、
    前記ホストソースから前記第1のハプティック可能デバイスへ前記選択ハプティックメタデータを送信する
    ことを前記プロセッサに実行させる命令を有する非一時的コンピュータ可読媒体。
  18. 前記選択ハプティックメタデータを生成することは、前記ホストソースにおいて選択ハプティックメタデータ生成器を用いて前記元のハプティックメタデータを修正することを含み、
    前記修正することは、追加ハプティックメタデータを前記元のハプティックメタデータへ追加すること、前記元のハプティックメタデータから使用不可能なハプティックメタデータを除去すること、又は前記元のハプティックメタデータの少なくとも1つのパラメータを変更することを含む、請求項17に記載の非一時的コンピュータ可読媒体。
  19. 前記命令は、前記第1のハプティック可能デバイスにおいてハプティック再生能力生成器を用いて前記元のハプティックメタデータに対して前記第1のハプティック可能デバイスのハプティック再生能力を決定することによって、前記第1のハプティック再生能力情報を生成することを前記プロセッサに実行させ、
    前記第1のハプティック可能デバイスのハプティック再生能力を決定することは、前記元のハプティックメタデータに対応するハプティックトラックの再生前に、前記第1のハプティック可能デバイスに各々組み込まれたソフトウェアを用いて前記第1のハプティック可能デバイスに対して、(i)デバイス種類及び(ii)ハプティック効果を生成するように構成されるハードウェア、から選択される少なくとも一方を識別することを含む、請求項17に記載の非一時的コンピュータ可読媒体。
  20. 前記ブロードキャストネットワークを用いて前記ブロードキャスト信号をブロードキャストすることは、互いに異なる伝送モードを介して前記複数のハプティック可能デバイスへ前記ブロードキャスト信号を送信することを含み、
    前記伝送モードは、ケーブル、ダイレクトブロードキャスト衛星、光ファイバ通信ネットワーク、無線プログラミング、ワイヤレス通信ネットワーク、及びラジオ波から選択される、請求項17に記載の非一時的コンピュータ可読媒体。
JP2017236656A 2017-02-08 2017-12-11 選択ハプティックメタデータによるハプティックブロードキャスト Pending JP2018129035A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/427,240 2017-02-08
US15/427,240 US10075251B2 (en) 2017-02-08 2017-02-08 Haptic broadcast with select haptic metadata based on haptic playback capability

Publications (1)

Publication Number Publication Date
JP2018129035A true JP2018129035A (ja) 2018-08-16

Family

ID=61132331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017236656A Pending JP2018129035A (ja) 2017-02-08 2017-12-11 選択ハプティックメタデータによるハプティックブロードキャスト

Country Status (5)

Country Link
US (3) US10075251B2 (ja)
EP (1) EP3361356A1 (ja)
JP (1) JP2018129035A (ja)
KR (1) KR102417688B1 (ja)
CN (1) CN108399003B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036315A (ja) * 2018-08-30 2020-03-05 イマージョン コーポレーションImmersion Corporation 触覚効果をストリーミングするためのシステム、装置、および方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
KR102273804B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US12176781B2 (en) 2019-03-29 2024-12-24 Cirrus Logic Inc. Methods and systems for estimating transducer parameters
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US20220113801A1 (en) * 2019-04-26 2022-04-14 Hewlett-Packard Development Company, L.P. Spatial audio and haptics
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569B (zh) 2019-06-21 2025-06-10 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US12276687B2 (en) 2019-12-05 2025-04-15 Cirrus Logic Inc. Methods and systems for estimating coil impedance of an electromagnetic transducer
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US12244253B2 (en) 2020-04-16 2025-03-04 Cirrus Logic Inc. Restricting undesired movement of a haptic actuator
EP3955585A4 (en) * 2020-06-30 2023-01-04 Baidu Online Network Technology (Beijing) Co., Ltd VIDEO PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
KR102575318B1 (ko) * 2021-05-07 2023-09-07 포항공과대학교 산학협력단 모션효과제공장치 및 방법
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US20240348813A1 (en) * 2023-04-17 2024-10-17 Tencent America LLC Method for conformance checking of the haptics files, streams, and haptics decoders
US12537968B2 (en) * 2023-04-17 2026-01-27 Tencent America LLC Method for embedding the haptics effects semantic in haptics streaming
US12436617B2 (en) 2023-06-26 2025-10-07 Adeia Guides Inc. Systems and methods for balancing haptics and graphics rendering processing with content adaptation
US12271525B2 (en) 2023-06-26 2025-04-08 Adeia Guides Inc. Systems and methods for adapting content to the haptic capabilities of the client device
US12231483B1 (en) 2023-08-16 2025-02-18 Adeia Guides Inc. Extended and mixed reality experience adaptation, processing, and handover from one edge node to another

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000035927A (ja) * 1998-07-21 2000-02-02 Murata Mach Ltd 電子メール通信機能付き通信端末装置
JP2002260004A (ja) * 2001-03-06 2002-09-13 Sharp Corp アニメーション再生端末、アニメーションの再生方法、および、そのプログラム
JP2014179984A (ja) * 2013-03-14 2014-09-25 Immersion Corp グループイベント時のハプティック効果のブロードキャスト
JP2015509308A (ja) * 2011-12-21 2015-03-26 クアルコム,インコーポレイテッド 強化されたメディアエクスペリエンスを提供するための触覚技術の使用
JP2017005709A (ja) * 2015-06-12 2017-01-05 イマージョン コーポレーションImmersion Corporation ブロードキャスト用ハプティクスアーキテクチャ

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411276B1 (en) 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US9183753B2 (en) * 2007-02-26 2015-11-10 Sony Computer Entertainment America Llc Variation and control of sensory work playback
EP2825934B1 (en) * 2012-03-15 2021-06-30 Nokia Technologies Oy A tactile apparatus link
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9466187B2 (en) 2013-02-04 2016-10-11 Immersion Corporation Management of multiple wearable haptic devices
US20140267076A1 (en) * 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
EP2806353B1 (en) 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
JP6667987B2 (ja) * 2013-09-06 2020-03-18 イマージョン コーポレーションImmersion Corporation 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US20150323994A1 (en) * 2014-05-07 2015-11-12 Immersion Corporation Dynamic haptic effect modification
US20160150294A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Video Content Metadata for Enhanced Video Experiences
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000035927A (ja) * 1998-07-21 2000-02-02 Murata Mach Ltd 電子メール通信機能付き通信端末装置
JP2002260004A (ja) * 2001-03-06 2002-09-13 Sharp Corp アニメーション再生端末、アニメーションの再生方法、および、そのプログラム
JP2015509308A (ja) * 2011-12-21 2015-03-26 クアルコム,インコーポレイテッド 強化されたメディアエクスペリエンスを提供するための触覚技術の使用
JP2014179984A (ja) * 2013-03-14 2014-09-25 Immersion Corp グループイベント時のハプティック効果のブロードキャスト
JP2017005709A (ja) * 2015-06-12 2017-01-05 イマージョン コーポレーションImmersion Corporation ブロードキャスト用ハプティクスアーキテクチャ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036315A (ja) * 2018-08-30 2020-03-05 イマージョン コーポレーションImmersion Corporation 触覚効果をストリーミングするためのシステム、装置、および方法

Also Published As

Publication number Publication date
US20180343075A1 (en) 2018-11-29
EP3361356A1 (en) 2018-08-15
CN108399003B (zh) 2021-11-16
CN108399003A (zh) 2018-08-14
US10075251B2 (en) 2018-09-11
US20190319726A1 (en) 2019-10-17
KR20180092268A (ko) 2018-08-17
US10320501B2 (en) 2019-06-11
US20180227063A1 (en) 2018-08-09
KR102417688B1 (ko) 2022-07-05

Similar Documents

Publication Publication Date Title
KR102417688B1 (ko) 선택 햅틱 메타데이터를 가지는 햅틱 브로드캐스트
KR102059737B1 (ko) 햅틱 트리거 제어 시스템
US10620706B2 (en) Haptic trigger modification system
KR101736896B1 (ko) 햅틱 공간화 시스템
US9814974B2 (en) Peripheral device with haptic diminishment prevention component
JP2015041385A (ja) スポーツイベントのハプティック可能な閲覧
CN113318432B (zh) 游戏中的音乐控制方法、非易失性存储介质及电子装置
JP6801838B2 (ja) スローモーションのためのハプティック効果の修正

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220524