JP2015053048A - マルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステム - Google Patents

Abstract

【課題】マルチメディアコンテンツを記述する補足データに基づいて触覚効果を提供するためのシステム及び方法を提供する。
【解決手段】マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信することと、補足データの少なくとも一部に基づいて触覚効果を判断することと、マルチメディアコンテンツを再生している間に触覚効果を出力することを備える。
【選択図】図１Ａ

Description

（関連出願の参照）
本出願は「オーディオの触覚」という名称で、２０１３年９月６日に出願された、米国仮特許出願番号61/874,933号明細書の全体を援用する。

本出願は「オーディオ信号への遷移と関連した触覚効果を発生するためのシステム及び方法」という名称で、２０１３年１１月１２日に出願された、米国特許出願番号14/078,438号明細書の全体を援用する。

本出願は「オーディオ信号におけるエンベロープと関連した触覚効果を発生するためのシステム及び方法」という名称で、２０１３年１１月１２日に出願された、米国特許出願番号14/078,442号明細書の全体を援用する。

本出願は「オーディオ信号と関連した触覚効果を発生するためのシステム及び方法」という名称で、２０１３年１１月１２日に出願された、米国特許出願番号14/078,445号明細書の全体を援用する。

本発明は全般的にはマルチメディアデータに基づいた触覚効果を提供するための方法及びシステムに関し、より詳細にはマルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステムに関する。

ここ数年にわたるマルチメディア技術の進歩はユーザにこれまでより没入型の視認体験を強調して提供する役割を継続して果たしてきた。今日のテレビジョンは大きなスクリーンと、高分解能スクリーン解像度と、さらに３Ｄ（次元）性能を有する。さらに、ハンドヘルドデバイス（handheld devices）はいつも明るく輝く色を表現する高解像度スクリーンを有し、さらにインターネットを介して莫大なコンテンツソースにアクセスする。同様に、向上されたサラウンドサウンドシステム、高忠実度ホームシアタースピーカ及び高分解能オーディオなどのようなオーディオ技術の進歩は、さらにユーザのマルチメディア視聴体験を強調する。ビデオ及びオーディオ技術の進歩に加えて、視聴デバイスのタッチ感覚を通した触覚効果がユーザを視聴体験に夢中にさせるために用いられる。ビデオゲームにおける事象（イベント、events）に対応して触覚効果を提供する触覚的に動作可能なビデオゲームコンソールコントローラは、ユーザの視聴体験を強調する触覚効果の使用の普及例である。同様に、大部分のハンドヘルドモバイルデバイス（例えば、携帯電話、タブレットコンピュータ）は今日、触覚効果を提供するためのアプリケーションを可能にするハードウェアを備える。

オーディオ及び／又はビデオコンテンツの再生を強調する触覚効果の使用がよく知られている。いくつかの場合にあって、触覚デザイナは複数の触覚トラック（tracks）を編集する。触覚トラックは、触覚効果を提供するためにマルチメディアファイルを再生するシステム又はデバイスによって用いられる、マルチメディアコンテンツの再生の間に特定の時間にて出力される触覚効果の具体的なセットである。この従来の方法の有利な点は特別に適合された触覚トラックをマルチメディアコンテンツに与えることであるが、各マルチメディアコンテンツアイテムのために触覚効果を手動にて設計する触覚デザイナの使用を必要とする。手動デザインに代わる方法は、出力される触覚効果を判断するためにオーディオ及び／又はビデオコンテンツを分析するアルゴリズムを使用する自動化（automated）プロセスを含む。そのような技術の具体例は、前述の関連出願の参照における、米国特許出願番号14/078,445明細書や、同出願番号14/078,445明細書にあって記載されている、ブラインドソースセパレーション（Blind Source Separation (“BSS”)）のような音響イベント検出（Acoustic Event Detection (“AED”)）や、画像パターンマッチングを含む。しかし、これらの周知の自動化（automated）触覚化（haptification）のアルゴリズムは、不正確で重い処理要求の影響を受ける。さらに、自動化触覚化アルゴリズムは、過度に包括的な傾向、つまり所望されず、度を超えてうるさい触覚トラック（例えば、キーボード上のタイピング、叫び、音楽）をしばしばもたらす傾向があるし、逆に、不十分に包括的な傾向、つまりマルチメディアコンテンツにあっては重要なイベントを触覚表現することに失敗する傾向がある。

本開示は、全般的には、マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信することと、補足データの少なくとも一部に基づいて触覚効果を判断することと、マルチメディアコンテンツを再生している間に触覚効果を出力することとを備える方法に関する。別の実施形態にあって、コンピュータ読み取り可能な媒体は、そのような方法をプロセッサに実行させるためのプログラムコードを備える。

これらの例示の実施形態は、本発明を制限するよう又は定義してしまうように言及されるものではなく、本発明の理解を助けるような実施形態を提供するために言及される。例示の実施形態は、発明の詳細な説明にて考察され、かつ本発明の別の説明も発明の詳細な説明にて提供される。本発明の様々な実施形態によって提案される有利な効果は、本明細書を検討することによってさらに理解される。

本開示に係るこれらの又は他の特徴、態様、及び有利な効果は本明細書に添付されている図面を参照して以下の発明な詳細を検討することによってより理解される。

本開示の実施形態に係る装置ブロック図である。 本開示の実施形態に係る装置ブロック図である。 本開示の実施形態に係るマルチメディアのブロック図である。 本開示の実施形態に係るマルチメディアのブロック図である。 本開示の実施形態に係るマルチメディアのブロック図である。 本開示の実施形態に係るマルチメディアのブロック図である。 本開示の実施形態に係るマルチメディアのブロック図である。 本開示の実施形態に係るマルチメディアのブロック図である。 本開示の実施形態に係るマルチメディアのブロック図である。 本開示の実施形態に係るマルチメディアのブロック図である。 本開示の実施形態に係るフローチャートである。 本開示の実施形態に係るフローチャートである。

本開示に係る実施形態はマルチメディアデータに基づいた触覚効果を提供する方法及びシステムに関し、さらに詳細にはマルチメディアコンテンツを補うための情報（本明細書では「補足的な情報、補足情報」として言及する）に基づいた触覚効果を提供するための方法及びシステムに関する。本明細書にて用いられる「マルチメディアデータ」はマルチメディアコンテンツ及び補足的な情報の両方を含む。

例示される実施形態
一例示の実施形態にあって、ある家族は、テレビジョンと、インターネット接続動作可能であり触覚的に動作可能な受信機と、複数スピーカと触覚ソファ／長椅子（couch）とを備える、ホームシアターシステムを有する。その一家は、Ａ／Ｖ受信機がマルチメディアデータストリームを受信するインターネットベースの映画ストリーミングサービスを利用して定期的に映画を観ている。マルチメディアデータストリームは、選択された映画はもちろんその映画のための補足的な情報（例えば、メタデータタグ、クローズドキャプション情報）を含む。一つの具体的な例にあって、その家族は、第１次世界大戦のアクション／ドラマフィルムを観ることを選択する。その映画のためのデータストリームが到着し始めると、Ａ／Ｖ受信機は、一般的にタグとして周知のメタデータコンテナが存在しているか否かを判断する。タグを分析することによって、Ａ／Ｖ受信機は、タグのジャンルフィールドにテキスト「戦争」があるか否かを判断し、さらにデフォルトレベルが適用されるより上の触覚効果出力の強度を増加する触覚テーマがあるのかを判断する。さらに、Ａ／Ｖ受信機は、そのジャンルを自動化（automated）触覚化（haptification）アルゴリズムに提供する。自動化触覚化アルゴリズムは、映画のオーディオ及びビデオトラックを触覚効果の生成のためにパターン識別するように分析する。本具体例にあって、Ａ／Ｖ受信機は、戦争映画に一般的に見つけられる、例えば、爆発、銃撃戦などのパターンに焦点を合わせ、触覚化アルゴリズムに基づいて触覚効果を発生する。さらに、オーディオ及びビデオトラックの分析に加えて、Ａ／Ｖ受信機は、キーワードのためにクローズドキャプションテキストも分析する。例えば、Ａ／Ｖ受信機が言葉「爆発」をクローズドキャプションにおける特別のタイプスタンプにて発見すると、Ａ／Ｖ受信機はこの情報を自動化触覚化アルゴリズムに入力する。自動化触覚化アルゴリズムは、そのタイムスタンプ周辺の爆発パターンを探し、さらに爆発に相当する強烈な振動のような対応する触覚効果を発生する。映画が再生するので、Ａ／Ｖ受信機は、触覚ソファ（sofa）に信号を送信する。触覚ソファは、そのフィルム内にて生じるイベントに対応する時間での触覚効果を出力する。

この例示の実施形態は、単なる具体例であり、複数の別の実施形態が本明細書に記述されるように実行される。

例示されるデバイス
いくつかの図を通して同様の番号が同じエレメントに示される図面を参照すると、図１Ａ及び１Ｂは本開示の実施形態に係る補足的な情報に基づいた触覚効果を提供するためのシステムのブロック図である。

図１Ａは様々な部品を備えるシステム１００を示す。いくつかの実施形態にあって、図１Ａに示されるシステム１００は、テレビジョン、Ａ／Ｖ受信機、複数スピーカ、ゲームコントローラ付きゲームコンソール、ユニバーサルリモートコントローラ、触覚的に動作可能な家具、及び／又は装着可能な触覚出力デバイスを備えるホームエンタティンメントシステムである。図１Ｂに示される一つの具体的な実施形態にあって、システム１００は、テレビジョン（ディスプレイ１１６）、Ａ／Ｖ受信機１２２、複数スピーカ１２０、リモートコントローラ１１４、及び触覚的に動作可能な長椅子（ソファ）１２４を備える。他の実施形態にあって、システム１００は、携帯電話、パーソナルデジタルアシスタンツ（ＰＤＡ）、タブレットコンピュータ、ラップトップコンピュータ、パームトップコンピュータ、又はハンドヘルドナビゲーションシステムのようなハンドヘルドデバイスを備える。さらに他の実施形態にあって、システム１００は、キオスク（kiosk）、自動ヘッドユニット（automotive head unit）、又は同様のシステムを備えてもよい。

本開示の実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア及びソフトウェアの組み合わせにあって具現化されるか、それらの組み合わせを備える。図１Ａ及び１Ｂに示されるシステム１００はプロセッサ１１０を備える。プロセッサ１１０は、入力信号を受信し、通信、ディスプレイ及び触覚フィードバック用の信号を発生する。プロセッサ１１０は、ランダムアクセスメモリ（ＲＡＭ）を備えるメモリ１１２のような、一つ以上のコンピュータ読み取り可能媒体を含むか、又はそのような媒体と通信する。

プロセッサ１１０は、メモリ１１２に格納された、触覚フィードバックの伝達又は発生のための一つ以上のコンピュータプログラムを実行するような、コンピュータ実行可能なプログラム命令を実行する。プロセッサ１１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、一つ以上の利用者書き込み可能ゲートアレイ（ＦＰＧＡｓ）又はステートマシンを備える。プロセッサ１１０は、さらにＰＬＣのようなプログラマブル電子装置、プログラマブルインタラプトコントローラ（ＰＩＣ）、プログラマブルリードオンリィメモリ（ＰＲＯＭ）、電気的プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はＥＥＰＲＯＭ）又は他の同様なデバイスを備えてもよい。

メモリ１１２は、プロセッサ１１０によって実行されると、本明細書に記載されるようなさまざまなステップをプロセッサに実行させる命令を格納しているコンピュータ読み取り可能な媒体を含む。コンピュータ読み取り可能な媒体の具現化例は、制限されるものではないが、電子、光学、磁気、又は他のストレージ又はプロセッサ１１０にコンピュータ読み取り可能な命令を提供することのできる伝達デバイスを含む。媒体の他の具体例は、制限されるものではないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、環境設定されたプロセッサ（configured processor）、全ての光学媒体、全ての磁気テープ又は他の磁気媒体、又はコンピュータプロセッサが読み出すことのできる他の媒体を含む。さらに、さまざまな他のデバイスは、ルータのようなコンピュータ読み取り可能な媒体、私的又は公的なネットワーク、又は他の送信デバイスを含む。記載されているプロセッサ１１０、及びプロセス処理は、一つ以上の構造でも、さらに一つ以上の構造にわたって分散されてもよい。

システム１００は、ネットワークインターフェース１２２を用いるネットワークと通信し、及び／又はそのネットワークからの通信を受信する。いくつかの実施形態にあって、ネットワークインターフェース１２２は、イーサネット（登録商標）カードである。他の実施形態にあって、ネットワークインターフェース１２２は、Ａ／Ｖ受信機、ケーブルＴＶセットトップボックス、衛星ＴＶセットボックス、テレビジョン、又はシステム１００の他の部品内に収納されるケーブルＴＶ及び／又は衛星ＴＶ信号を受信及びデコードするためのモジュールである。しかし、本発明の実施形態にあって、ネットワークインターフェース１２２は、ネットワークとの通信を許容するいかなる部品でもよい。例えば、ネットワークインターフェースは、無線ネットワーキングデバイス、又は携帯電話ネットワーク又はＷｉ−Ｆｉネットワークと通信をするモジュール及びアンテナである。

図１Ａ及び１Ｂによれば、システム１００はさらにプロセッサ１１０と通信するユーザ入力デバイス１１４も備える。例えば、いくつかの実施形態にあって、ユーザ入力デバイス１１４は、タッチスクリーンを備える。そのような実施形態にあって、ユーザ入力デバイス１１４は、ユーザのインタラクション（interaction）とそのインタラクションの場所を検出する。一つの実施形態は、容量ベース（capacitance-based）のタッチスクリーンを含む。他の実施形態にあって、ユーザ入力デバイス１１４は、ボタン、スイッチ、スライダ、又はトラックボールを含んでもよい。さらに他の実施形態にあって、システム１００は、タッチスクリーン及び付加的なユーザ入力デバイス１１４の両方を備えてもよい。

いくつかの実施形態にあって、ユーザ入力デバイス１１４は、リモートコントローラ、ゲームコントローラ、又は有線又は無線接続（例えば、赤外線、Bluetooth（登録商標）、Zigbee（登録商標）、又は他の無線通信技術）によってプロセッサ１１０と通信する類似のデバイスを含む。そのような実施形態は、オーディオ／ビデオ受信機用のリモートコントローラであって、Bluetooth（登録商標）を用いるオーディオ／ビデオ受信機と通信するコントローラを備える。

システム１００は、さらにディスプレイ１１６を備える。ディスプレイ１１６は、プロセッサ１１０と通信し、プロセッサ１１０からの出力をユーザに表示するように構成される。一実施形態にあって、ディスプレイ１１６は、テレビジョンを含む。他の実施形態にあって、デバイス１０２はユーザ入力デバイス１１４の下に配置される液晶ディスプレイ（ＬＣＤ）を備える。いくつかの実施形態にあって、ディスプレイ１１６及びユーザ入力デバイス１１４は、単一か又は統合された、タッチスクリーンＬＣＤのような部品を備える。いくつかの実施形態にあって、デバイス１０２はディスプレイを備えないかもしれない。

図１Ａ、１Ｂ及び２に示される実施形態にあって、触覚出力デバイス１１８はプロセッサ１１０と交信し、かつ一つ以上の触覚効果を提供するように構成される。例えば、一具現化例にあって、作動信号がプロセッサ１１０によって触覚デバイス１１８に供給されると、それぞれの触覚デバイス１１８は、その作動信号に基づいて触覚効果を出力する。例えば、図示される実施形態にあって、プロセッサ１１０はアナログドライブ信号を含んだ触覚出力信号を触覚出力デバイス１１８に送信するように構成される。いくつかの実施形態にあって、プロセッサ１１０は触覚出力デバイス１１８に命令を送信するように構成される。この命令は触覚出力デバイス１１８に触覚効果を出力させるための適切なドライブ信号を発生するために用いられる複数パラメータを含む。他の具現化例にあって、異なる信号及び異なる信号タイプが一つ以上の触覚出力デバイスのそれぞれに送信される。例えば、いくつかの実施形態にあって、プロセッサは、触覚効果を出力する触覚出力デバイスを駆動するために低レベルドライブ信号を送信する。そのような低ドライブ信号は増幅器によって増幅されるか、又は駆動される特定の触覚出力デバイスを実装している、適切なプロセッサ又は回路を用いてデジタル信号からアナログ信号又はアナログ信号からデジタル信号に変換される。

触覚出力デバイス１１８のような、触覚出力デバイスは、一つ以上の触覚効果を出力することができるいくつかの部品又は部品の集積体である。例えば、触覚出力デバイスは、制限されるものではないが、偏芯回転質量（ＥＲＭ）アクチュエータ、線形共振アクチュエータ（ＬＲＡ）、ピエゾ電気アクチュエータ、ボイスコイルアクチュエータ、エレクトロ−アクティブポリマ（ＥＡＰ）アクチュエータ、記憶形状合金、ページャ、ＤＣモータ、ＡＣモータ、可動磁石アクチュエータ、Ｅコアアクチュエータ、スマートジェル、静電気アクチュエータ、電気触覚アクチュエータ、変形可能な表面（deformable surface）、静電気摩擦（ＥＳＦ）デバイス、超音波摩擦（ＵＳＦ）デバイス、又は他の触覚出力デバイス又は触覚出力デバイスの機能を実行する部品の集積体、又は触覚効果を出力する能力がある部品の集積体である。複数の触覚出力デバイス又は異なるサイズの触覚出力デバイスは、個別か、又は同時に作動される、振動周波数の範囲を提供するために用いられる。さまざまな実施形態にあって、一つ以上の触覚出力デバイスが電子デバイスと、無線又は有線通信を介して直接的又は間接的に交信する。一具現化例にあって、電子デバイスは、車両内に置かれることができ、又は車両に統合されることができ、さらに一つ以上の触覚デバイスは、車両内に取り付けられる。例えば、一つ以上の触覚出力デバイスは、車両の座席、ハンドル、ペダルなどに埋め込まれることができる。いくつかの実施形態にあって、触覚出力デバイス１１８を有することに代えて、又は触覚出力デバイス１１８を有することに加えて、システム１００は一つ以上の他の出力デバイスを有する。例えば、システム１００は、一つのスピーカ及び／又はディスプレイを有してもよい。一実施形態にあって、システム１００は、一つ以上の触覚出力デバイス、一つ以上のスピーカ、さらには一つ以上のディスプレイを有する。多数の他の実施形態が本明細書にあって開示され、バリエーションがこの開示の範囲内にある。

様々な実施形態にあって、一つ以上の触覚効果が多くの方法によって発生されるか、又は多くの方法の合成によって発生される。例えば、一具現化例にあって、偏芯質量を回転することにより、又は質量を線形に発振することにより、一つ以上の振動が触覚効果を発生するために用いられる。いくつかの実施形態にあって、触覚効果は振動を全ての電子デバイスに伝えるため、又は電子デバイスの一面のみ、又は電子デバイスの制限された一部のみに伝えるために発生される。他の実施形態にあって、可動している部品に制動を供給することのような、部品の動きに抵抗を与えることのような、又はトルクを与えることのような、二つ以上の部品の間の摩擦、少なくとも一つの部品と少なくとも一つの接触との間の摩擦が触覚効果を発生するために用いられる。振動効果を発生するために、多くのデバイスが、いくつかのタイプのアクチュエータ及び／又は他の触覚出力デバイスを使用する。この目的のために用いられる周知の触覚出力デバイスは、偏芯質量がモータによって動かされる偏芯回転質量（「ＥＲＭ」）、スプリングに取り付けられた質量が前後に駆動される線形共振アクチュエータ（「ＬＲＡ」）、又はピエゾエレクトリック、エレクトロアクティブポリマ又は形状記憶合金のような「スマート材料」を備える。

他の具現化例にあって、一つ以上の部品の変形が触覚効果を発生するために用いられる。例えば、一つ以上の触覚効果は、表面の形状、又は表面の摩擦係数を変えることで出力される。一具現化例にあって、一つ以上の触覚効果は、表面上の摩擦を変えるように用いられる静電気力及び／又は超音波力を形成することによって発生される。他の具現化例にあって、スマートジェルを含む一つ以上のエリアのような、透明な変形素子のアレイが触覚効果を発生するために用いられる。触覚出力デバイスはさらに、静電気摩擦（ＥＳＦ）、超音波表面摩擦（ＵＳＦ）、又は超音波触覚変換器により音響放射圧力を生じるようなデバイス、非機械的又は非振動デバイス、又は触覚基板及び柔軟又は変形可能な表面を用いるデバイス、又はエアジェットを用いる吹きだすエアのような推定される（projected）触覚効果を提供するデバイスを広範囲に含む。いくつかの実施形態にあって、触覚効果は運動感覚効果である。米国特許出願第13/092,484号明細書は、一つ以上の触覚効果が発生される方法を記載し、さらにさまざまな触覚出力デバイスを記載している。米国特許出願第13/092,484号明細書は、２０１１年４月２２日に出願されており、本明細書に援用される。

様々なタイプの入力合成方法が、制限されるものではないが、以下の表２に示される合成方法の例を含む、一つ以上の触覚効果信号用のインタラクションパラメータを生成するために用いられるのが認識されるであろう。ドライブ信号は、インタラクションパラメータに基づいて触覚アクチュエータに適用される。多数の他の実施形態がここにおいて開示され、さらにバリエーションがこの開示の範囲内にて存在する。
表２−合成方法
−加法合成−入力を結合すること、典型的に振幅を変化すること
−減法合成−複合信号又は複数信号入力のフィルタリングすること
−周波数変調合成−一以上のオペレータによる搬送波信号を変調すること
−サンプリング−変更されることがある入力ソースとして記録された入力を用いること
−混合合成−結果として「新しい」入力を確立するための人工的及びサンプルされた入力を用いること
−位相歪−再生の間、複数の波形テーブルに格納された波形の速度を変えること
−波形整形−変更された結果を作り出すために信号を故意に変形すること
−再合成−再生前にサンプルされた入力をデジタル的に変更すること
−粗合成−いくつかの小さな入力セグメントを新しい入力に結合すること
−線形予測符号化−スピーチ合成用に用いられるのと同じような技術
−直接デジタル合成−発生された波形のコンピュータによる変更
−ベクトル合成−不特定多数の異なる入力源の間のフェーディング技術
−物理モデル−仮想動きの物理的特徴の数学的な等式

別の実施形態にあって、一つ以上の触覚出力デバイス１１８が装着可能な触覚デバイス（例えば、リストバンド、ベルト、又はシャツ）を実現するために用いられる。他の実施形態にあって、一つ以上の触覚出力デバイス１１８が椅子又は長椅子（ソファ）のような触覚的に動作可能な家具を実現するために用いられる。

前述したように、図１Ａの実施形態のシステム１００は、ホームエンタティンメントシステムである。例えば、図１Ｂに描かれた一実施形態にあって、システム１００は、テレビジョン（ディスプレイ１１６）、Ａ／Ｖ受信機１２２、複数スピーカ１２０、リモートコントローラ１１４、及び触覚的に動作可能な長椅子１２４を備える。Ａ／Ｖ受信機１２２はプロセッサ１１０、メモリ１１２、及びメモリ１２２を備える。ユーザ入力デバイス１１４は、Ａ／Ｖ受信機１２２のプロセッサ１１０と通信するリモートコントローラを備える。Ａ／Ｖ受信機はメモリ１１２に常駐するマルチメディアコンテンツ又はネットワークインターフェースを介して受信されるマルチメディアコンテンツを再生するように動作する。一実施形態にあって、マルチメディアコンテンツを再生するに際し、ビデオ信号をディスプレイ１１６に送信してビデオを表示させ、かつオーディオ信号をスピーカに送信してオーディオを再生させるプロセッサ１１０を備えることは当技術分野にて周知である。他の実施形態にあって、マルチメディアコンテンツを再生するに際し、触覚信号を触覚的に動作可能な長椅子１２４の触覚出力デバイス１１８に送信し、視聴者が座る長椅子に触覚効果を出力させることもできる。

他の実施形態にあって、システム１００はプロセッサ１１０と交信する複数センサを備える。一実施形態にあって、システム１００は、視聴者の情報を検出するために一つ以上のセンサを用いるように構成される。例えば、システム１００は、視聴者の場所、位置、動き及び／又は視聴者の生物測定学情報を検出するように構成される。例えば、リモートコントローラ１１４は、Ａ／Ｖ受信機１２２からリモートコントローラ１１４までの距離を検出するように構成される近接センサを備える。そのような具現化例にあって、リモートコントローラ１１４は検出した距離情報をＡ／Ｖ受信機１２２のプロセッサ１１０に送信するように構成される。他の実施形態にあって、システム１００はさらにカメラ及びビデオカメラによって撮影されたビデオに基づいて視聴者情報を判断するソフトウェアを備えてもよい。他の実施形態にあって、装着可能なデバイス（例えば、装着可能な触覚デバイス）は、Ａ／Ｖ受信機１２２から装着可能なデバイスを装着している視聴者までの距離を検出し、かつＡ／Ｖ受信機１２２のプロセッサ１１０にその検出した距離情報を送信するように構成される一つ以上の近接センサを備える。いくつかの実施形態にあって、システム１００の装着可能なデバイスは動きを検出するため、さらに検出した動きをＡ／Ｖ受信機１２２のプロセッサ１１０に送信するように構成された複数センサ（例えば加速度計）を備えてもよい。このような情報に基づいて、プロセッサ１１０は、当業者によって周知の方法に基づいてシステム１００のユーザの動きを判断してもよい。他の実施形態にあって、システム１００の装着可能なデバイスは、視聴者の、心拍数又は体温のような生物測定学的情報を検出するように構成される複数センサを備える。システム１００は、その後、視聴者のストレスレベル及び／又はマルチメディアコンテンツが再生されたときの視聴者の不随意の肉体反応を判断するために生物測定学的データを分析する。

他の具現化例にあって、一つの家具（例えば、触覚的に動作可能な長椅子１２４）は、システム１００の一人以上のユーザの存在及び動きを検出するための複数センサを備える。例えば、圧力センサは、触覚的に動作可能な長椅子１２４のさまざまな位置に配置され、さらにＡ／Ｖ受信機１２２のプロセッサ１１０に検出した圧力情報を送信するように構成され、圧力センサによって検出された圧力の変化に基づいて、ユーザが長椅子１２４に座っているのかさらにはどのように座っているのか、同様にユーザの動きはどうかを当業者によって周知の方法に基づいてシステム１１０に検出させるように構成される。さらに、本開示は、システム１００のユーザの位置及び／又は動きを検出するための、全てのセンサ及び当業者によって周知の方法を意図している。

補足情報
ここで、図２Ａ−２Ｈを参照して、補足情報について説明する。本開示の目的のため、補足情報は、マルチメディアコンテンツ（例えば、オーディオ及び／又はビデオ信号、フィルタ、又はオーディオ及び／又はビデオの他の形式）に対応する情報である。いくつかの実施形態にあって、補足情報は、サブタイトル、クローズドキャプションデータ（サブタイトルを含む）、スクリプト、又はメタデータタグのような一般的なマルチメディアコンテンツを表現する。他の実施形態にあって、補足情報は、注釈又は視聴者からの、マルチメディアコンテンツの全体又は特定の時間に適用されるビデオについての視聴者からのコメント（例えばオンラインビデオウェブサイトのメンバーによって掲載されたコメント）であってもよい。補足情報は異なる実施形態にあって多くの態様を採り、さらにタイトル又はチャプター情報のような、他のタイプの情報を含んでもよい。補足情報は、単一のマルチメディアファイル、Ａ／Ｖファイル、ビデオファイル、又はオーディオファイルとして言及される様々な実施形態における、マルチメディアコンテンツに含まれ（埋め込まれる）。

図２Ａは本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ２００は、マルチメディアファイル２０１を含む。本実施形態にあって、マルチメディアファイル２０１はマルチメディアコンテンツ２０２（ビデオ）及び、マルチメディアコンテンツ２０２に対応するサブタイトル／クローズドキャプションデータの形式の補足情報を含むビデオファイルである。一実施形態にあって、サブタイトル／クローズドキャプションデータ２０４は、マルチメディアコンテンツ２０２によって視覚的に描写される複数シーン及び／又は複数イベントを記述するテキスト、マルチメディアコンテンツ２０２のオーディオにて聞かれる音を説明するテキスト、及び／又はマルチメディアコンテンツ２０２のオーディオにて聞こえるスピーチの言葉どおりの引用文を含む。

図２Ｂは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ２００は、マルチメディアファイル２０１を含む。本実施形態にあって、マルチメディアファイル２０１はマルチメディアコンテンツ２０２（ビデオ）及び、マルチメディアコンテンツ２０２に対応するタグ２０８及びスクリプト２０６の形式の補足情報を含むビデオファイルである。マルチメディアコンテンツ用のタグは、タイトル、演奏者／作家、ジャンルデータ、レーティング（rating）、及び／又は、マルチメディアコンテンツの特徴、内容又は由来を記述する他のデータ（例えば評論家又は他の視聴者からの感想、映画に用いられる音楽のリスト）を含む。一つの周知の具体例は、ＭＰ３ファイルによく用いられるメタデータコンテナである、ＩＤ３タグである。他の実施形態にあって、タグデータは、マルチメディアコンテンツの配給者によって定義される。さらに他の実施形態にあって、タグデータは、マルチメディアコンテンツの購買者及び／又は受取人によって定義される。そのような実施形態にあって、タグは作家、配給者、及び／又は受取人によって生成される。

図２Ｃは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ２００は、マルチメディアファイル２０１を含む。本実施形態にあって、マルチメディアファイル２０１はマルチメディアコンテンツ２０２（オーディオ）及び、マルチメディアコンテンツ２０２に対応するタグ２０８の形式の補足情報を含むオーディオファイルである。

図２Ｄは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ２００は、マルチメディアファイル２０１及び補足情報ファイル２１０を含む。本実施形態にあって、マルチメディアファイル２０１はマルチメディアコンテンツ２０２（ビデオ）及び、マルチメディアコンテンツ２０２に対応するタグ２０８の形式の補足情報を含むビデオファイルである。本実施形態にあって、補足情報ファイル２１０は、マルチメディアコンテンツ２０１に対応するサブタイトル／クローズドキャプションデータ２０４の形式の補足情報を含む。一実施形態にあって、補足情報ファイル２１０は、マルチメディアファイル２０１が常駐するのと同じメモリ（例えば、メモリ１１２）に常駐する。他の実施形態にあって、補足情報ファイル２０２はシステム１００によってインターネットのようなネットワークを介してアクセス可能な遠隔サーバに常駐する。他の実施形態にあって、マルチメディアファイル２０１に対応する補足情報ファイル２１０は、タグ２０８に保持される情報（例えば、映画の名称、歌の名称、識別コード、又は識別のための他の情報）に基づいて遠隔サーバから検索される。

図２Ｅは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ２００は、マルチメディアファイル２０１及び補足情報ファイル２１０を含む。本実施形態にあって、マルチメディアファイル２０１はマルチメディアコンテンツ２０２（ビデオ）及び、マルチメディアコンテンツ２０２に対応するサブタイトル／クローズドキャプションデータ２０４の形式の補足情報を含むビデオファイルである。本実施形態にあって、補足情報ファイル２１０は、マルチメディアコンテンツ２０１に対応するタグデータ２０８の形式の補足情報を含む。一実施形態にあって、補足情報ファイル２１０は、マルチメディアファイル２０１が常駐するのと同じメモリ（例えば、メモリ１１２）に常駐する。他の実施形態にあって、補足情報ファイル２０２はシステム１００によって、インターネットのようなネットワークを介してアクセス可能な遠隔サーバに常駐する。一実施形態にあって、マルチメディアファイル２０１に対応する補足情報ファイル２１０は、マルチメディアファイル２０１における情報（例えば、メタデータ、ファイルネーム）に基づいて遠隔サーバから検索される。

図２Ｆは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ２００は、マルチメディアファイル２０１を含む。本実施形態にあって、マルチメディアファイル２０１はマルチメディアコンテンツ２０２（ビデオ）及び、マルチメディアコンテンツ２０２に対応するチャプターデータ２１２の形式の補足情報を含むビデオファイルである。一実施形態にあって、チャプターデータ２１２は、マルチメディアコンテンツ２０２のチャプタータイトル及び各チャプターが始まる時間を含む。

図２Ｇは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ２００は、マルチメディアファイル２０１を含む。本実施形態にあって、マルチメディアファイル２０１はマルチメディアコンテンツ２０２（ビデオ）を含むビデオファイルである。本実施形態にあって、補足情報ファイル２１０は、マルチメディアコンテンツ２０２に対応するユーザコメント２１４の形式の補足情報を含む。一実施形態にあって、補足情報ファイル２１０は、マルチメディアファイル２０１が常駐するのと同じメモリ（例えば、メモリ１１２）に常駐する。他の実施形態にあって、補足情報ファイル２０２はシステム１００によって、インターネットのようなネットワークを介してアクセス可能な遠隔サーバに常駐する。一実施形態にあって、マルチメディアファイル２０１に対応する補足情報ファイル２１０は、マルチメディアファイル２０１における情報（例えば、メタデータ、ファイルネーム）に基づいて遠隔サーバから検索される。一実施形態にあって、ユーザコメント２１４は、視聴者からの、マルチメディアコンテンツ２０２の全体又は特定の時間に適用されるビデオについての視聴者からのコメント（例えばオンラインビデオウェブサイトのメンバーによって掲載されたコメント）であってもよい。

図２Ｈは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ２００は、マルチメディアファイル２０１を含む。本実施形態にあって、マルチメディアファイル２０１はマルチメディアコンテンツ２０２（ビデオ）を含むビデオファイルである。本実施形態にあって、補足情報ファイル２１０は、マルチメディアコンテンツ２０２に対応するユーザによって提供された触覚キーワード／フレーズ２１６の形式の補足情報を含む。一実施形態にあって、補足情報ファイル２１０は、マルチメディアファイル２０１が常駐するのと同じメモリ（例えば、メモリ１１２）に常駐する。他の実施形態にあって、補足情報ファイル２０２はシステム１００によって、インターネットのようなネットワークを介してアクセス可能な遠隔サーバに常駐する。一実施形態にあって、マルチメディアファイル２０１に対応する補足情報ファイル２１０は、マルチメディアファイル２０１における情報（例えば、メタデータ、ファイルネーム）に基づいて遠隔サーバから検索される。一実施形態にあって、ユーザによって提供された触覚キーワード／フレーズ２１６は、マルチメディアコンテンツ２０２用に発生された触覚トラックを向上又は修正するためのウェブサイトのユーザによって提供される。一実施形態にあって、ユーザによって提供された触覚キーワード／フレーズ２１６は、マルチメディアコンテンツ２０２のチャプター又は一部に適用される。さらに、他の実施形態にあって、ユーザによって提供された触覚キーワード／フレーズ２１６は、マルチメディアコンテンツ２０２の再生の間、特別な時間のポイントに適用される。

例示のシステムの動作
図３は、補足情報に基づいて触覚効果を提供するための方法の具現化例を説明するためのフローチャートである。図３のステップ３０４に包含される、図４は、補足情報に基づいて触覚効果を提供するための方法の具現化例を説明するフローチャートである。いくつかの実施形態にあって、図３及び４のステップは、例えば一般的な目的のコンピュータ、移動端末、又はサーバにおけるプロセッサのような、プロセッサによって実行されるプログラムコードにて実行される。いくつかの実施形態にあって、これらのステップは、例えば、移動端末のプロセッサ、一つ以上の、サーバのような一般的な目的のコンピュータの複数プロセッサのような、プロセッサのグループによって実行される。各ステップがどのように実行されるのかを理解するのを支援するため、図１Ａ及び１Ｂに示されるシステム１００の例示的なブロック図に関連して、以下の説明が提供される。しかし、本開示に関連する実施形態は、他の実施形態にて実行されてもよい。

ステップ３０２にて開始されると、システム１００のプロセッサ１１０は、マルチメディアデータ２００を受信する。一実施形態にあって、マルチメディアデータ２００は、メモリ１１２に常駐しているマルチメディアファイル２０１であり、さらにマルチメディアデータ２００はオペレーティングシステムの動作（例えば、ファイルシステムに発行されるコマンドのオープン／読み取り）に応じて受信される。他の実施形態にあって、マルチメディアデータ２００はネットワークインターフェース１２２を介してネットワーク結合を通してストリームされ、さらにシステム１１０にバッファされる。本開示の実施形態は、インターネットにわたる任意の数のサーバからのストリーミング及び企業のイントラネット又はホームネットワーク内のサーバからのストリーミングを含む、全てのネットワーク結合（例えば、Ｗｉ−Ｆｉ，Ethernet（登録商標）、有線モデム、無線モデムなど）及び当業者によって周知のストリーミングのコンテンツのソース及び方法を意図している。他の実施形態にあって、マルチメディアデータ２００は、インターネットのようなネットワークを介してダウンロードされ、さらにメモリ１１２に格納される。

いくつかの実施形態にあって、マルチメディアコンテンツ２０２及び補足情報４２２（まとめて「マルチメディアデータ」）は、単一のファイル又はデータストリームに保持される。しかし、他の実施形態にあって、マルチメディアコンテンツ２０２及び補足情報４２２は別のファイルであってもよい。前述のように、そのような一つの実施形態にあって、マルチメディアコンテンツ２０２と補足情報４２２は、異なる場所に常駐される。例えば、一具現化例にあって、マルチメディアコンテンツ２０２はシステム１００のメモリに常駐され、対応する補足情報４２２はインターネットのようなネットワーク上のアクセス可能なサーバに常駐される。マルチメディアコンテンツ２０２が分析及び／又は再生のためにアクセスされるやいなや、システム１００は前記ネットワーク上のアクセス可能なサーバから対応する補足情報を検索し、検索した補足情報を前記サーバからメモリ１１２にロードする。他の具現化例にあって、マルチメディアコンテンツ２０２及び補足情報４２２は、インターネットのようなネットワークを介してアクセス可能な別々のサーバに常駐されてもよい。さらに別の実施形態にあって、マルチメディアコンテンツ２０２及び補足情報４２２は、同一のサーバ上の異なるファイルに常駐されてもよい。そのような実施形態にあって、システム１００は一つのサーバからストリーミング仕様にてマルチメディアコンテンツ２０２を受信し、マルチメディアコンテンツ２０２が常駐するサーバから補足情報４２２をダウンロードする。さらに他の実施形態にあって、マルチメディアファイル２０１は補足情報４２２を含み、さらに対応する補足情報ファイル２１０は付加的な補足情報４２２を含む。

ステップ３０４にあって、マルチメディアコンテンツ２０２の再生の間に、出力される触覚効果が少なくとも補足情報４２２の一部に基づいて判断される。本開示によれば、補足情報４２２は、マルチメディアコンテンツ２０２の再生の間に、出力される触覚効果を判断するために用いられるが、以下の３つの主要な技術を用いる。１）複数キーワード又はフレーズに基づいて出力される触覚効果を識別すること、２）自動的にオーディオ及び／又はビデオイメージを触覚化するための複数アルゴリズム／プロセスに文脈情報（contextual information；コンテキスチャル情報）を提供すること、及び３）補足情報４２２に基づいて触覚テーマを識別することと、である。一実施形態にあって、これらの各技術は、補足情報４２２内の複数ワード及び／又はフレーズを、触覚効果識別情報、文脈（context;コンテキスト）識別情報及び／又は触覚テーマ情報にマップされる複数キーワード及び／又はフレームの一つ以上のリスト又はデータベース（これ以降、「キーワードデータベース」という）と比較することによって補足情報４２２を分析することを含む。一実施形態にあって、前記リスト又はデータベースは、特有の複数キーワード及び／又はフレーズが全てのタイプの補足情報４２２に適用可能であるか否かを示す情報（例えば、サブタイトル／クローズドキャプションデータ２０４、スクリプト２０６、及び／又はタグ２０８）、又はそれらのサブセットを含んでいてもよい。他の実施形態にあって、補足情報４２２の特別のタイプに適用される複数キーワード又はフレーズの分離された複数リスト又はデータベースが用いられる。例えば、一実施形態にあって、複数キーワード及び／又はフレーズの第１データベースが、サブタイトル／クローズドキャプションデータ２０４、及び複数スクリプト２０６それぞれに用いられ、第２データベースが、複数タグ２０８それぞれに用いられる。

複数キーワード／フレーズに基づいて予め決められた触覚効果を識別すること
一実施形態にあって、触覚効果はサブタイトル／クローズドキャプションデータ２０４又はスクリプト２０６内に存在する複数キーワード／フレーズに基づいて識別される。そのような一実施形態にあって、サブタイトル／クローズドキャプションデータ２０４はエレメント４１２にて分析される。一具現化例にあって、サブタイトル／クローズドキャプションデータ２０４及び／又はユーザによって提供された触覚キーワード／フレーズ２１６は、ワード及び／又はフレーズをキーワードデータベースと比較することによって分析される。例えば、そのような具現化例にあって、サブタイトル／クローズドキャプションデータ２０４及び／又はユーザによって提供された触覚キーワード／フレーズ２１６を、キーワードデータベースと比較することで、「爆発」が存在することが明らかになると、それは、効果が消えるまでの時間にわたって消えていく、強烈な振動触覚のための触覚効果識別情報（爆発をまねる）にマップされる。他の具現化例にあって、サブタイトル／クローズドキャプションデータ２０４及び／又はユーザコメント２１４をキーワードデータベースと比較し、「銃撃」が存在することが明らかになると、それは、銃撃をまねた短時間における強烈な揺れ触覚効果の触覚識別情報にマップされる。他の実施形態にあって、サブタイトル／クローズドキャプションデータ２０４は、異なるシーンの背景にて再生する、シーンの特徴又はジャンルを示すソングタイトル／タイプを含み、さらにソングタイトル／タイプをキーワードデータベースと比較することは、特有の触覚効果のための触覚識別情報にマップされる各ソングタイトル／タイプ（又はそのサブセット）用のマッピングを明らかにする。いくつかの実施形態にあって、これらの触覚効果マッピングは、ユーザにシーンの特徴／ジャンルを伝えるために選択される。当業者は、マルチメディアファイル２０１の再生の間に出力される触覚効果を識別するために用いられる複数ワード又はフレーズが本開示によって提供される具体例を制限するものではなく、むしろ不特定多数のワード又はフレーズに広がることを理解できる。

キーワードデータベースにて見つけられる各キーワード又はフレーズのため、プロセッサ１１０は、キーワードデータベースから対応する触覚効果識別情報を検索し、サブタイトル／クローズドキャプションデータ２０４におけるワード又はフレーズに対応するタイムスタンプに関連付ける。いくつかの実施形態にあって、プロセッサ１１０は、マルチメディアコンテンツ２０２の再生より以前に補足情報４２２を完全に分析する。そのような一実施形態にあって、プロセッサ１１０は、触覚効果識別情報及び対応するタイムスタンプを触覚トラック４１４の中に収集する。触覚トラック４１４は、当業者によって周知の方法にてマルチメディアコンテンツ２０２を含むマルチメディアファイル２０１の中に埋め込まれる。他の実施形態にあって、触覚トラック４１４はマルチメディアファイル２０１から分離された一つのファイルとしてメモリ（例えば、メモリ１１２）に蓄積される。さらに他の実施形態にあって、プロセッサ１１０がストリーミングを通してマルチメディアコンテンツ２０２を受信し、エレメント４１２にて、プロセッサ１１０がマルチメディアコンテンツの再生の間に補足情報４２２を分析し、一時的に触覚効果識別情報（例えば、触覚トラック４１４の一部）をメモリに一時的に蓄える。そのような一実施形態にあって、マルチメディアコンテンツ２０２の再生は、プロセッサに補足情報４２２の分析を実行させるに十分なほど遅延され、さらにマルチメディアコンテンツ２０２の再生の間、タイムリーな方法にて触覚効果の出力を開始する。

いくつかの実施形態にあって、サブタイトル／クローズドキャプションデータ２０４及び／又はスクリプトデータ２０６に存在するキーワードに基づいて識別される触覚効果の識別方法は、用いられる一つの技術である。そのような実施形態にあって、図４の適用可能なエレメントは、マルチメディアデータ２００、補足情報４２２、エレメント４１２及び４１４、及び触覚トラック４１８である。以下に詳細に説明されるように、いくつかの実施形態にあって、二つの技術が連係して用いられてもよいし、他の具現化例にあっては、全部で三つの技術が連係して用いられてもよい。

自動化触覚化アルゴリズムにコンテキストを提供すること
いくつかの実施形態にあって、補足情報４２２は自動化された触覚化アルゴリズム（一つ以上のオーディオを触覚化するアルゴリズム４０６及び又は一つ上のビデオを触覚化するアルゴリズム４０８のような）にコンテキストを提供するために用いられ、出力する触覚効果を識別するために、マルチメディアコンテンツ２０２のオーディオトラック４０２及び／又はビデオトラック４０４を分析する。一実施形態にあって、イベント、シーンタイプ、及び又は一つのシーンにおけるエレメントの存在は、補足情報４２２におけるキーワードの存在に基づいて判断される。例えば、一実施形態にあって、エレメント４１２にて、プロセッサ１１０は、マルチメディアコンテンツ２０２に対応する補足情報４２２に含まれるワード又はフレーズのために、一つ以上のキーワードデータベースを探索する。キーワードデータベースにて見つけられた各キーワード又はフレーズにより、プロセッサ１００は、可能であるならば、補足情報４２２にて対応するワード又はフレーズに対応するタイムスタンプに対応してコンテキスト識別情報を検索し、そのコンテキスト識別情報を、データ構造、ファンクションコール、メッセージ、又は当業者によって周知の他の手段によって一つ以上の自動化触覚化アルゴリズム（４０６及び又は４０８）に提供する。例えば、一実施形態での、補足情報４２２におけるワード「爆弾」は、全てのタイプの爆発用に用いられるコンテキスト識別情報にマップされるので、それによって、爆発を探すために自動化触覚化アルゴリズム（４０６及び／又は４０８）を通知する。他の実施形態にあって、マルチメディアコンテンツ２０２に埋め込まれるタグ２０８のジャンルフィールドにおけるワード「犯罪」又はタグ２０８のレィティングフィールドにおけるワード「暴力」は、銃撃の認識、自動車の追跡に関連するイベント（例えば、キィーキィーなるタイヤ、衝突）、及び／又は他の犯罪に関するイベントを優先させるため、自動化触覚化アルゴリズム（４０６及び／又は４０８）を指示するのに用いられるコンテキスト識別情報にマップする。他の実施形態にあって、補足情報４２２におけるワード「サクスホン」は、サクスホン又は類似の楽器演奏の認識を優先させるため、自動化触覚化アルゴリズム（４０６及び／又は４０８）を指示するのに用いられるコンテキスト識別情報にマップされる。他の具現化例にあって、検出されたキーは、マルチメディアコンテンツ２０２のサブセット（例えば、特定のシーン又は映画のシーン）用に、コンテキストを自動化触覚化アルゴリズム（４０６及び／又は４０８）に提供するのに用いられる。自動化アルゴリズムをコンテキスチャル情報に学習させることは、オーディオ及び／又はビデオにおいてどんなパターン又はイベントを探すのかを優先させることによって、効率性及び正確性の両方を処理することを助ける。つまり、イベントのアルゴリズムの認識に基づいて、アルゴリズムによって出力される対応する触覚効果のタイミング及び正確性が向上される。当業者は、自動化触覚化アルゴリズムにコンテキストを提供するために用いられるワード又はフレーズが、本開示によって提供される実施形態によって制限されるものではなく、むしろどのようなイベント又はエレメントがマルチメディアコンテンツ２０２に存在するかについての手がかりを提供するワード又はフレーズにまで拡張するのを認識できる。

いくつかの実施形態にあって、プロセッサ１１０は、エレメント４１２にて、コンテキスト識別情報を判断するために補足情報４２２を完全に分析し、その後、コンテキスト識別情報を用いて自動化触覚化アルゴリズム４０６及び／又は４０８をオーディオトラック４０２及び／又はビデオトラック４０４を処理するために用い、マルチメディアコンテンツ２０２の再生より前に触覚トラック４１０を生成する。一つのそのような実施形態にあって、プロセッサ１１０は、自動化触覚化アルゴリズムによって発生された触覚トラック４１０を当業者によって周知である方法によってマルチメディアコンテンツ２０２を含むマルチメディアファイル２０１に埋め込む。他の実施形態にあって、触覚トラック４１０は、メモリ（例えば、メモリ１１２）にマルチメディアファイル２０１から分離されたファイルとして格納される。さらに別の実施形態にあって、特に、プロセッサ１１０がストリーミングを介してマルチメディアコンテンツ２０２を受信すると、プロセッサ１１０は補足情報４２２を分析し、さらにマルチメディアコンテンツ２０２の再生の間、前述したように、自動化触覚化アルゴリズム（４０６及び／又は４０８）を実行し、さらにメモリ１１２のようなメモリにおける触覚トラック４１０の発生された部分を一時的に蓄積する。そのような一実施形態にあって、マルチメディアコンテンツ２０２の再生は、プロセッサ１１０に補足情報４２２の分析及び、前述したようにマルチメディアコンテンツ２０２の再生の間、タイムリーな方法にて触覚効果の出力を開始する時間にあって触覚トラック４１０の一部を生成するために、自動化触覚化アルゴリズム（４０６及び／又は４０８）の実行をさせるに十分なほどに、遅延される。

いくつかの実施形態にあって、補足情報４２２から見出された文脈（コンテキスチャル（contextual））情報は触覚化が望まれないようなイベントに対応して触覚化されるのを避けるか、又は触覚効果の強度を減衰させるのに用いられる。例えば、いくつの実施形態にあって、サブタイトル／クローズドキャプションデータ２０４における「笑い」の存在は、笑うこと又は、ほくそ笑むことを探すために一つ以上の自動化触覚化アルゴリズム（４０６及び／又は４０８）に知らせるために用いられ、そのイベントのために触覚効果が出力されるのを避けさせる。同様に、他の実施形態にあって、サブタイトル／クローズドキャプションデータ２０４における「音楽」の存在は、様々な楽器の演奏及び／又は歌うことを探すために一つ以上の自動化された触覚化アルゴリズム（４０６及び／又は４０８）に知らせるために用いられ、対応する触覚効果の出力を引き起こすことを避ける。他の実施形態にあって、タグ２０８における歌のリストが、探すため及びリストされた歌の再生の触覚化を避けるために、自動化された触覚アルゴリズム４０６を知らせるために用いられる。

いくつかの実施形態にあって、一つ以上の自動化触覚化アルゴリズム（４０６び／又は４０８）に文脈（コンテキスト（context））識別情報を提供するために補足情報４２２を分析するための方法は、使用される一つの技術である。そのような実施形態にあって、図４の適用可能なエレメントは、マルチメディアデータ２００（オーディオトラック４０２及び／又はビデオトラック４０４を含む）、補助情報４２２、一つ以上の自動化触覚化アルゴリズム（４０６及び／又は４０８）、エレメント４１２、及び触覚トラック４１０である。

いくつかの実施形態にあって、キーワードに直接的に基づいて出力される触覚効果を識別する技術と、補助情報４２２から見出されるコンテキスチャル情報を自動化触覚化アルゴリズム（４０６及び／又は４０８）に触覚トラックの自動的な生成のために提供する技術の両方が使用される。そのような一実施形態にあって、プロセッサ１１０は合成された触覚トラック４１８を生成するために生成された触覚トラック４１０と触覚トラック４１４とを自動的に合成する。そのような一実施形態にあって、プロセッサ１１０は、触覚トラック４１４から見出された触覚効果を触覚トラック４１０に直接的に挿入するように動作し、さらに必要であれば、矛盾する自動発生触覚効果を自動的に発生された触覚トラック４１０から除去し、合成トラック４１８にする。

触覚テーマ
いくつかの実施形態にあって、補足情報４２２は、マルチメディアコンテンツ２０２の再生の間に出力される触覚効果に適用される触覚テーマ、又はマルチメディアコンテンツ２０２のあるシーン又は一部に適用される触覚テーマを判断するために用いられる。例えば、プロセッサ１１０の一具現化例は、エレメント４１２にて、マルチメディアコンテンツ２０２のために、補足情報４２２に含まれるワード又はフレーズを一つ以上のキーワードデータベースから探索する。キーワードデータベースから見つけられた各キーワード又はフレーズのため、プロセッサ１１０はキーワードデータベースから触覚テーマ情報を検索し、マルチメディアコンテンツの全体又は特定のシーンに関連付け、それによって適用される一つ以上の触覚テーマ４１６を発生する。例えば、一実施形態にあって、タグ２０８のジャンルフィールドをキーワードデータベースと比較することは、「アクション」がそれぞれに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度又はライブラリがデフォルトレベルを超えて増加することを指示する触覚テーマ情報にその「アクション」がマップされることを明らかにする。他の具現化例にあって、スクリプト２０６とキーワードデータベースとを比較することは、フレーズ「あなたを愛する」がそれぞれに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度がデフォルトレベルを下回って減少することを指示する触覚テーマ情報にそのフレーズがマップされることを明らかにする。別の実施形態にあって、チャプターデータ２１２とキーワードデータベースとを比較することは、フレーズ「賞賛」がチャプターデータ２１２とキーワードデータベースに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度が、マルチメディアコンテンツ２０２のチャプター１の再生の間、デフォルトレベルをわずかに超えることを指示する触覚テーマ情報にそのフレーズがマップされることを明らかにする。他の実施形態にあって、識別される触覚テーマ４１６は、ファイナル触覚トラック４２０を生成するために合成触覚トラック４１８に適用される。さらに他の実施形態にあって、一つ以上の識別された触覚テーマ４１６は、前述された二つの技術の一つのみを用いて発生される触覚トラックに適用されてもよい。そのような実施形態にあって、一つ以上の識別された触覚テーマ４１６は、ファイナル触覚トラック４２０を生成するために触覚トラック４１４又は触覚トラック４１０に適用される。一具現化例にあって、プロセッサ１１０は、ファイナル触覚トラック４２０を当業者によって周知の方法によってマルチメディアコンテンツ２０２を含むマルチメディアデータ２００に埋め込む。別の実施形態にあって、触覚トラック４２０は、メモリ（例えばメモリ１１２）に、マルチメディアファイル２０１から分離されたファイルとして格納される。ストリーミングを含むいくつかの実施形態にあって、識別された触覚テーマ４１６は生成されたときに触覚トラックの一部に適用される。

本開示に係る触覚テーマ４１６の識別及びアプリケーションは、触覚効果がより正確にマルチメディアコンテンツに適用されるように、自動化触覚化アルゴリズム（４０６及び／又は４０８）を支援する。しかし、いくつかの実施形態にあって、所定のキーワードが識別された触覚テーマを超えて優先されてもよい。例えば、一具現化例にあって、マルチメディアファイルのクローズドキャプションデータにおける「爆発」の存在に基づいて触覚効果出力の強度が、デフォルトの強度を上回って増加され、それによってマルチメディアコンテンツに埋め込まれたメタデータタグのジャンルフィールドにおける「ロマンティックコメディ」の存在に基づいた触覚強度の強度を和らげる触覚効果のアプリケーションより優先する。当業者は、適切な触覚テーマを判断するために用いられるワード又はフレーズが本開示によって提供される具現化例を制限するものではなく、むしろ何のイベント又はエレメントがマルチメディアコンテンツに存在しているのかの手がかりを提供するワード又はフレーズにまで及ぶことを理解できる。

前述された補足情報４２２に基づいた触覚効果を判断する最初の二つの技術は、単独で又はコンビネーションにて用いられてもよいし、さらに触覚テーマを用いる技術は、初めの二つの技術のいずれか又は両方と関連して、又はマルチメディアコンテンツ４２２の再生の間に出力される触覚効果を識別する他のいかなる技術と関連して用いられてもよい。例えば、一実施形態にあって、補足情報４２２は、オーディオ及び／又はビデオトラックへのパターン認識技術を使用する自動化触覚化アルゴリズム（４０６及び／又は４０８）にコンテキストを提供するために全般的に用いられるが、クローズとキャプションデータに存在するキーワードの小さなセットのため、特に触覚効果は、補足情報におけるこれらのキーワードの存在にもっぱら基づいて出力される。

ステップ３０６にて、触覚効果は、マルチメディアコンテンツ２０２の再生の間、出力される。一実施形態にあって、前のステップにて発生された触覚トラック（例えば、４１０、４１４、４１８又は４２０）は、触覚出力デバイス１１８によって出力される触覚効果を定義するデータ構造を備える。他の実施形態にあって、触覚トラック（例えば、４１０、４１４、４１８又は４２０）は、触覚効果コードを含み、さらにプロセッサ１１０は、メモリ１１２に蓄積された触覚効果データベースにおける触覚効果を定義するデータ構造を検索するための触覚効果コードを用いる。そのような実施形態にあって、プロセッサ１１０は、そのようなデータ構造における触覚効果定義に基づいて触覚出力デバイス１１８を駆動するための信号を送信する。他の実施形態にあって、一つ以上の触覚出力デバイス１１８（例えば、触覚家具、装着可能な触覚デバイス）を組み合わせている触覚アクセサリは、プロセッサと、触覚効果を定義するデータ構造に触覚効果識別コードをマップするデータベースを含むメモリとを備える。そのような一実施形態にあって、プロセッサ１１０は、触覚効果コードを触覚アクセサリのプロセッサに送信し、その後、プロセッサは触覚効果を定義するデータ構造を検索するために触覚効果コードを用い、さらにそのようなデータ構造における触覚効果定義に基づいて触覚出力デバイス１１８を駆動するための信号を送信する。

オーディオトラックのコメンタリ
いくつの場合にあって、映画、ドキュメンタリー及び他のビデオコンテンツが関連される、ディレクタ、アクター及び／又は他の人がビデオについて意見を出し合うビデオと同時に再生される、コメンタリオーディオトラックを有する。本開示の一実施の形態にあって、コメンタリオーディオトラックは、触覚トラック４２０の判断が基礎となる補足情報４２２とは別のタイプである。そのような実施形態にあって、関連のコメンタリオーディオトラックは、固有のサブタイトル／クローズドキャプションデータを有する。その固有のサブタイトル／クローズドキャプションデータは、前述のサブタイトル／クローズドキャプションデータ２０４に関して記述されたのと同様な方法にて提供される触覚効果を判断するために用いられる。他の実施形態にあって、コメンタリオーディオトラックのための固有のサブタイトル／クローズドキャプションデータは使用可能ではなく、システム１００は、当業者に周知の方法によってコメンタリオーディオトラックのテキスチャルバージョンを発生するためにコメンタリオーディオトラックを処理し、その後、サブタイトル／クローズドキャプションデータ２０４についての前述の記述と同じような方法にて提供される触覚効果を判断するために用いられる。

補足情報に基づいて触覚効果を提供するための先進の方法
予め決められた触覚効果を識別するため、コンテキストを自動触覚化アルゴリズムに提供するため、及び／又は適用される一つ以上の触覚テーマを識別するために、複数キーワード又はフレーズの補足情報４２２とのマッチングを全般的に記載した、前述された本開示の複数実施形態に加えて、別の技術が、発生された触覚トラック４２０の精度を上げるために前述の方法に関連してか、又は独立に用いられてもよい。一実施形態にあって、エレメント４１２にて、サブタイトル／クローズドキャプションデータ２０４におけるキーワード／フレーズの存在は、その存在が、マルチメディアコンテンツ２０２のオーディオに対応するオーディブルスピーチ（audible speech）のテキスチャル引用における存在であるならば、無視されるが、もしその存在が、マルチメディアコンテンツ２０２によって視覚的に描写されるイベントを記述するテキストに存在するのであれば、前述のセクションにて説明されたように、予め決定された触覚効果を識別するため、自動触覚化アルゴリズムにコンテキストを提供するため、及び／又は触覚効果を識別するために、依存される。例えば、一実施形態にあって、人がワード「爆発」を話している時点で、爆発があるのは不可能なので、ワード「爆発」のサブタイトル／クローズドキャプションデータ２０４における存在は無視される。しかし、「爆発」がマルチメディアコンテンツ２０２のシーン又はイベントを記述するサブタイトル／クローズドキャプションデータ２０４に存在するのであれば、その存在は、前述のセクションにて説明されたように、予め決定された触覚効果を識別するため、自動化された触覚化アルゴリズムにコンテキストを提供するため、及び／又は触覚テーマを識別するために用いられる。本明細書にて記載された補足情報４２２のどのようなタイプのキーワード／フレーズの存在を無視するのか又は依存するのかは、当業者によって周知の方法によって判断される。例えば、前述のキーワード／フレーズのデータベースが補足情報４２２の特定のタイプ及び／又はサブタイプのための特定のキーワード／フレーズ（例えば、サブタイトル／クローズドキャプションデータ２０４のテキスチャルな記載及びテキスチャルな引用）の存在を無視すること、及び補足情報４２２の特定のタイプ及び／又はサブタイプのための特定のキーワード／フレーズに依存するとき、を挙げていてもよい。

他の実施形態にあって、補足情報４２２におけるキーワード／フレーズの存在は、発見された補足情報４２２のタイプ又はサブタイプに基づいて重み付けられてもよい。一実施形態にあって、前述のプロセッサが同時に複数の触覚効果を出力するとき、又は複数の触覚効果が短時間に相互に重なるか干渉するようなときに、触覚トラック４１４に一つの触覚効果の重なりの挿入を優先するために、重み付けがプロセッサ１１０によって用いられる。例えば、サブタイトル／クローズドキャプションデータ２０４におけるテキスチャル引用における「爆弾」の存在には低い重みが与えられ、サブタイトル／クローズドキャプションデータ２０４におけるシーン／イベントのテキスチャルな記述における「励まし」の存在には高い重みが与えられる。そのような一実施形態にあって、補足情報４２２は、テキスチャル記述「励ましている群衆」を含むサブタイトル／クローズドキャプションデータ２０４を含み、さらにサブタイトル／クローズドキャプションデータ２０４に同時にテキスチャル引用「ダンマリノが爆弾を投げ、ドルフィンズがタッチダウン！」を含む。プロセッサ１１０は、前述したように、「爆弾」及び「励まし」に基づいて、予め決定された触覚効果を識別するため、コンテキストを自動化触覚化アルゴリズムに提供するため、及び／又は触覚テーマを識別するために動作するが、「励まし」の持つ高い重みに基づいてサブタイトル／クローズドキャプションデータ２０４におけるテキスチャル記述における「励まし」に関連する、触覚効果、コンテキスト、及び／又は触覚テーマを優先する。本明細書にて説明される補足情報４２２の様々なタイプのキーワード／フレーズの存在に対して割り当てられる重みは、当業者によって周知の方法にて判断されてもよい。例えば、前述のキーワード／フレーズのデータベースは、補足情報４２２の特定のタイプ及び／又はサブタイプにおける特定のキーワード／フレーズ（例えば、サブタイトル／クローズドキャプションデータ２０４のテキスチャル記述及びテキスチャル引用）用に、重みを規定する。

他の実施形態にあって、マルチメディアコンテンツ２０２のイベントへの触覚トラック４２０の相関関係を向上するために、周知の自然言語分析技術がプロセッサ１１０によって用いられる。例えば、一実施形態における、自然言語分析技術用の周知のアルゴリズムは、サブタイトル／クローズドキャプションデータ２０４におけるフレーズの構文及び意味を考慮に入れて、非常に正確な実際の意味を確かめながら、サブタイトル／クローズドキャプションデータ２０４におけるフレーズを解釈するために用いられる。例えば、プロセッサ１１０は、サブタイトル／クローズドキャプションデータ２０４におけるフレーズ「爆弾はない」を分析するために自然言語分析技術を適用し、そのフレーズの本当の意味を理解することで、「爆弾」に対する予め決定された触覚効果を識別するために、「爆弾」の存在がキーワード及びフレーズのデータベースと比較されるべきでないことを判断する。しかし、プロセッサ１１０は、サブタイトル／クローズドキャプションデータ２０４における「爆弾」に関する記述の存在が、戦争又はアクションのようなマルチメディアコンテンツのジャンルの表示であるのを判断し、さらに適切な触覚テーマを選択するのを判断してもよい。他の実施形態にあって、プロセッサ１１０は、サブタイトル／クローズドキャプションデータ２０４におけるフレーズ「３、２、１・・・爆弾が爆発するぅー」を、そのフレーズ内のカウントダウンを認識したうえで、分析するために、自然言語分析技術を適用し、正確な時間で触覚トラック４２０に「爆弾」に対応する予め決定された触覚効果を挿入するため、又はそのフレーズに基づいた正確な時間で、自動化触覚化アルゴリズム（４０６及び／又は４０８）にコンテキスト識別情報を適用するために、動作する。前述したのは、補足情報４２２を分析するための自然言語分析技術を用いることのほんの数例である。当業者は、本開示のコンテキストにおける自然言語分析技術の使用のために多数のアプリケーションを認識するであろう。

いくつかの例にあって、予め決定された触覚効果を識別するため、コンテキストを自動化触覚化アルゴリズムに提供すること、及び／又は適用される一つ以上の触覚テーマを識別するために、キーワード又はフレーズを補足情報４２２にてマッチングすることは、特定の言語にて複数の可能な意味を有するいくつかのワード又はフレーズのために、不正確である影響を受けるかもしれない。一実施形態にあって、サブタイトル／クローズドキャプションデータ２０４は、複数言語（例えば、英語、スペイン語、さらにはフランス語）でのサブタイトル及び／又はクローズドキャプション情報を含み、第１言語（例えば、英語）におけるワード／フレーズのそのような不確かさは、他の言語の一つにおけるワード／フレーズが一つの容認される意味を一般的に有する、一つ以上の他の利用できる言語（例えば、スペイン語、フランス語）におけるワード／フレーズを分析することによって解決される。一実施形態にあって、この曖昧さを排除する（disambiguation）方法は、その言語のキーワードデータベースにあって曖昧な各言語における曖昧なワード／フレーズに印（フラグ）を付けることによって実行される。そのような実施形態にあって、一言語におけるワード／フレーズが曖昧であることを示すキーワードデータベースを判断することによって、システム１００はその曖昧さを解決するために試みる第２言語における対応するワード／フレーズを分析するであろう。例えば、一実施形態にあって、サブタイトル／クローズドキャプションデータ２０４は、英語、フランス語、及びスペイン語のクローズドキャプションを含む。この実施形態にあって、プロセッサ１１０は、英語のクローズドキャプションテキストとキーワードデータベースを比較し、ワード「tie」が英語のクローズドキャプションテキストとキーワードデータベースに存在することを発見するが、ワード「tie」には曖昧なワードとしてフラグが付けられる。曖昧なためにフラグが付けられた「tie」に基づいて、プロセッサ１１０はその「tie」の意味を判断するために、それらしい「tie」を探すため、マルチメディアコンテンツ２０２にあって同一タイプスタンプ付近のフランス語のクローズドキャプションテキストを分析する。一実施形態にあって、この分析は、「tie」の様々な意味のフランス語での同義語を探すことを含み、フランス語のクローズドキャプションにて一旦識別されると、ワード「tie」の意味が正しいことを示す。例えば、分析が、ネクタイを意味する、フランス語「cravate」を識別するか、又はタイゲーム（tie game）を意味する、フランス語「match nul」を識別するかもしれない。一旦、「tie」の曖昧さ排除が完了すると、本発明の方法は、予め決定された触覚効果を識別するため、コンテキストを自動化触覚化アルゴリズムに提供するため、及び／又は適用される一つ以上の触覚テーマを識別するために用いられる。例えば、スポーツイベントに適切な触覚テーマが「match nul」の存在に基づいて適用される。当業者は、これが多数の可能な具体例の一つにすぎないことを認識するであろう。

触覚トラックの遠隔での発生
前述の本開示の実施形態は全般的に、マルチメディアコンテンツ２０２の分析を行うシステム１００のプロセッサ１１０と、触覚トラック（例えば、４１０、４１４、４１８又は４２０）を発生するための対応する補足情報４２２を説明しているが、他の実施形態にあっては、触覚トラック（例えば、４１０、４１４、４１８又は４２０）の分析及び生成は、インターネットのようなネットワークを通してプロセッサ１１０と交信する他のコンピュータ又はサーバによって実行されてもよい。そのような一実施例にあって、リモートコンピュータ又はサーバは、触覚トラック（例えば、４１０、４１４、４１８又は４２０）をマルチメディアファイル２０１の中に埋め込む。その後、システム１００のプロセッサ１１０は、図３のステップ３０６に関連して上述されたマルチメディアコンテンツ２０２を再生している間に、触覚トラックを含んでいるマルチメディアファイル２０１をダウンロードする。他の実施形態にあって、リモートコンピュータは、触覚トラック（例えば、４１０、４１４、４１８又は４２０）を、リモートコンピュータのメモリに局所的にマルチメディアファイル２０１から分離されたファイルとして蓄積する。他の実施形態にあって、システム１００のプロセッサ１１０は、触覚トラックが蓄積されたリモートコンピュータから触覚トラック（例えば、４１０、４１４、４１８又は４２０）をダウンロードし、図３のステップ３０６に関連して上述されたように、触覚トラックに対応するマルチメディアコンテンツ２０２を再生している間に触覚効果を出力する。

触覚トラックの前もっての発生（pre-Generation）
前述の本開示の実施形態はユーザがマルチメディアコンテンツを再生しているときに触覚効果を発生することを説明しているが、他の実施形態にあって、マルチメディアコンテンツがシステムにダウンロードされて、再生される前に、触覚効果を発生してもよい。他の実施形態にあって、触覚トラックは、コンテンツを使用のために有効とするよりも前にマルチメディアコンテンツの制作者又は配給者によって本開示によって生成されてもよい。

視聴者情報に基づいて触覚効果を提供すること
前述した本開示の実施形態がマルチメディアコンテンツ２０２用の補足情報４２２に基づいて触覚効果を提供することを説明しているが、他の実施形態にあっては、発生された触覚トラック４２０は、視聴者の位置、姿勢、反応、さらには生物測定学（追加情報４２４として示される）に基づいて、エレメント４１２にて分析されてもよい。視聴者情報はシステム１００について前述された一つ以上のセンサを用いて判断される。

一実施形態にあって、触覚効果の出力レベルを、デフォルトレベルよりも上回るか又は下回るように調整する触覚テーマが、マルチメディアコンテンツ２０２の再生用の出力源（例えば、システム１００のＡ／Ｖ受信機、ディスプレイ１１６及び／又はスピーカ１２０）に近接の視聴者に基づいて判断される。例えば、一実施形態にあって、視聴者の近接がマルチメディアコンテンツの再生のための出力源から１０フィート（10 feet；304.8 cm）であると、触覚テーマは選択されない。しかし、視聴者の近接がマルチメディアコンテンツの再生のための出力源から９フィート（9 feet；274.3 cm）であると、デフォルトレベルを上回る触覚効果用の出力レベルを規定する触覚テーマが選択される。視聴者の出力源への接近が、選択された触覚テーマによって規定される触覚効果の出力レベルの調整を徐々に大きくする。他方にて、視聴者の出力源への近接が約９フィート（9 feet；274.3 cm）であると、デフォルトレベルを下回る触覚効果用の出力レベルを規定する触覚テーマが選択される。視聴者の出力源からの離隔が、選択された触覚テーマによって規定される触覚効果の出力レベルの調整を徐々に小さくする。

類似の実施形態にあって、触覚効果の出力レベルを、デフォルトレベルよりも上回るか下回るように調整する触覚テーマが、マルチメディアコンテンツ２０２の再生用の出力源（例えばシステム１００のディスプレイ１１６）に対する視聴者の視聴角度に基づいて判断される。例えば、一実施形態にあって、視聴者の視聴角度がマルチメディアコンテンツの再生用の出力源に対して約９０°である（真向い）と、触覚効果は触覚トラック４２０によれば最大レベルにて出力される。しかし、視聴者の出力源への角度が０°に近づくと、触覚トラック４２０に規定される触覚効果はより低い出力レベルに調整される。

他の実施形態にあって、視聴者の位置、姿勢及び又は動きは触覚テーマの判断のために用いられる。例えば、一実施形態にあって、ホラー又はアクション映画用の触覚テーマは視聴者の目を覆うことに基づいて選択される。他の実施形態にあって、ロマンティックコメディ用の触覚効果は、リラックスしたムード及び微笑みのムードにおいて相互に対して接近して座っているカップルに基づいて選択される。

さらに他の実施形態にあって、視聴者の生物測定学的情報がテーマを選択するために用いられる。例えば、一実施形態にあって、アクション映画に対する触覚効果はストレス及び／又は興奮を示す心拍数が上昇している視聴者に基づいて選択される。他の実施形態にあって、触覚効果を低いレベルに調整する触覚テーマが視聴者のリラックスを示す視聴者の心拍数に基づいて選択される。

ビデオゲーム
一実施形態にあって、マルチメディアコンテンツ２０２はビデオゲームの再生の間に、オーディオ及び／又はビデオ出力を含む。例えば、一実施形態にあって、ビデオゲームはビデオシーケンス及びビデオを含むマルチメディアコンテンツに関連する前述したいかなるタイプをも含む補足情報４２２（例えば、ビデオシーケンスに対応するサブタイトル／クローズドキャプションデータ２０４）のマルチメディアコンテンツ２０２を含む。つまり、前述したような補足情報４２２に基づいて触覚効果を提供する実施形態は、さらにビデオゲームにも適用される。しかし、他の実施形態にあっては、他の情報（付加情報４２４によって示される）が独立的に用いられるか、又は前述の実施形態にあって考察された補足情報４２２に加えて、出力される触覚効果を識別するために用いられる。

一実施形態にあって、システム１００はビデオゲームプログラムを実行するように構成され、さらにビデオゲームプログラムがオーディオファイル（「オーディオＡＰＩ」）の再生を開始するのを促すアプリケーションプログラムインターフェースを提供する。そのような一実施形態にあって、オーディオＡＰＩ（「ファイルネームデータ」）を介して再生が要求されるオーディオファイルのテキスチャル識別子（例えばファイルネーム）は、オーディオＡＰＩに提供される。一実施形態にあって、エレメント４１２にて、システム１００は、１）キーワードに基づいて出力される触覚効果を識別するため；２）オーディオ及び／又はビデオイメージを自動的に触覚化するためのアルゴリズム／プロセッサにコンテキスチャル情報を提供するため；及び３）補足情報４２２の様々なタイプについて前述された類似の方法にて触覚効果を識別するためにファイルネームデータを分析してもよい。例えば、一実施形態にあって、ファイルネームデータは、ファイルネームデータにおけるワードをエレメント４１２にてキーワードデータベースと比較することによって分析される。そのよう一実施形態にあって、ファイルネームデータは、テキスト「thunder.mp3」を含み、「thunder」をキーワードデータベースにて比較することは、「thunder」がキーワードデータベースに存在し、脈動して振動の触覚効果（稲妻をまねること）の強度の触覚効果識別情報にマップされることを明らかにする。他の具現化例にあって、ファイルネームデータは、テキスト「scream.mp3」を含み、「scream」をキーワードデータベースにて比較することは、「scream」がキーワードデータベースに存在し、自動化触覚化アルゴリズム（４０６及び／又は４０８）に、叫び声、悲鳴を上げること、及び恐怖のシーンに共通して関連する他の音の認識を優先させることを指示するために用いられるコンテキスト識別情報にマップされる。他の具現化例にあって、「叫び声」（「scream.mp3」から）をキーワードデータベースと比較することは、「叫ぶ声」がそれぞれに存在することを明らかにし、さらに、ビデオの再生の間、出力される触覚効果の全体的な強度又はライブラリが恐怖のビデオシーケンスに適切にデフォルトレベルを超えて増加することを記述する触覚テーマ情報にマップされる。

他の実施形態にあって、ビデオゲームの間、スクリーン上に表示されるテキストをオーディオ（「Text-to-Speech API」）として出力されることをビデオゲームプログラムが促すアプリケーションプログラムインターフェースをシステム１００が提供する。そのような一実施形態にあって、スクリーンに表示されるテキスト（例えば、指示、サイン又はビデオゲームシーンに表示される他のテキスト、「BAM」及び「THWACK」のようなコミックスタイルのアクション標語）がテキスト−スピーチAPIに提供される。一実施形態にあって、システム１００は、エレメント４１２にて、１）キーワードに基づいて出力される触覚効果を識別するため；２）オーディオ及び／又はビデオイメージを自動的に触覚化するためのアルゴリズム／プロセッサにコンテキスチャル情報を提供するため；及び３）補足情報４２２（例えば、サブタイトル／クローズドキャプションデータ２０４）の様々なタイプについて前述された類似の方法にて触覚効果を識別するために識別されることを分析する。

総括
本発明のいくつかの実施形態の前述の記載は、例示及び説明の目的のためにのみ示されており、前述の記載は、網羅的に又は開示される精査なフォームに本発明を制限することを意図してはいない。多数の変形及びその適用が本発明の精神及び範囲からそれることなく当業者によって明白となるであろう。

本明細書にあって「一実施形態」又は「一つの実施形態」は、実施形態に関連して記述される固有の性質、構造、動作又は他の特徴が本発明の少なくとも一つの実装に含まれてもよいことを意味する。本発明は、そのように記載された特定の実施形態に制限されるものではない。本明細におけるフレーム「一実施形態にあって」又は「一つの実施形態にあって」の様々な箇所での出現は、同じ実施形態を必ずしも言及するものではない。本明細書に記載される、「一実施形態」に関連する固有の性質、構造、動作又は他の特徴は、他の実施形態について記述される、他の性質、構造、動作又は他の特徴に統合される。

Claims (21)

1. マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信することと、
   前記補足データの少なくとも一部に基づいて触覚効果を判断することと、
   前記マルチメディアコンテンツを再生している間に前記触覚効果を出力すること
   を備える方法。
2. 前記補足データは、クローズドキャプションデータを含む、請求項１記載の方法。
3. 前記補足データは、サブタイトル情報を含む、請求項１記載の方法。
4. 前記補足データは、スクリプトを含む、請求項１記載の方法。
5. 前記補足データは、タグデータを含む、請求項１記載の方法。
6. 前記補足データの少なくとも一部に基づいて触覚効果を判断することは、前記マルチメディアコンテンツ及び前記補足データに基づいて触覚効果を判断することを含む、請求項１記載の方法。
7. 前記補足データの少なくとも一部に基づいて触覚効果を判断することは、
   前記補足データの少なくとも一部に基づいて触覚テーマを判断することと、
   前記補足データ及び前記触覚テーマに基づいて触覚効果を判断すること
   を含む、請求項１記載の方法。
8. マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信し、
   前記補足データの少なくとも一部に基づいて触覚効果を判断し、
   前記マルチメディアコンテンツを再生している間に前記触覚効果を出力するために、
   プロセッサによって実行されるソフトウェアプログラムコードを備えるコンピュータ読み取り可能な媒体。
9. 前記補足データは、クローズドキャプションデータを含む、請求項８記載のコンピュータ読み取り可能な媒体。
10. 前記補足データは、サブタイトル情報を含む、請求項８記載のコンピュータ読み取り可能な媒体。
11. 前記補足データは、スクリプトを含む、請求項８記載のコンピュータ読み取り可能な媒体。
12. 前記補足データは、タグデータを含む、請求項８記載のコンピュータ読み取り可能な媒体。
13. 前記補足データの少なくとも一部に基づいて触覚効果を判断するのは、前記マルチメディアコンテンツ及び前記補足データに基づいて触覚効果を判断するのを含む、請求項８記載のコンピュータ読み取り可能な媒体。
14. 前記補足データの少なくとも一部に基づいて触覚効果を判断するのは、
    前記補足データの少なくとも一部に基づいて触覚テーマを判断するのと、
    前記補足データ及び前記触覚テーマに基づいて触覚効果を判断するのを
    を含む、請求項８記載のコンピュータ読み取り可能な媒体。
15. プロセッサと、
    前記プロセッサによって実行可能とされるコンピュータプログラムコードを含んで前記プロセッサと通信するメモリとを備え、
    マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信し、
    前記補足データの少なくとも一部に基づいて触覚効果を判断し、
    前記マルチメディアコンテンツを再生している間に前記触覚効果を出力する、システム。
16. 前記補足データは、クローズドキャプションデータを含む、請求項１５記載のシステム。
17. 前記補足データは、サブタイトル情報を含む、請求項１５記載のシステム。
18. 前記補足データは、スクリプトを含む、請求項１５記載のシステム。
19. 前記補足データは、タグデータを含む、請求項１５記載のシステム。
20. 前記補足データの少なくとも一部に基づいて触覚効果を判断するのは、前記マルチメディアコンテンツ及び前記補足データに基づいて触覚効果を判断するのを含む、請求項１５記載のシステム。
21. 前記補足データの少なくとも一部に基づいて触覚効果を判断するのは、
    前記補足データの少なくとも一部に基づいて触覚テーマを判断するのと、
    前記補足データ及び前記触覚テーマに基づいて触覚効果を判断するのを
    を含む、請求項１５記載のシステム。