JP2018073424A - 検出されたビデオイベントに基づく動的触覚生成 - Google Patents

Abstract

【課題】検出されたビデオイベントに基づいて触覚効果の洗練された生成を提供する。
【解決手段】少なくともビデオデータを含む入力メディアを受け取り、この入力メディアにおいてビデオデータ内のビデオイベントが検出される方法又はシステム。検出されたビデオイベントに関係付けられた関連データが収集され、１つ以上の特徴パラメーターが、収集された関連データに基づいて構成される。ビデオイベントのタイプが判断され、１組の特徴パラメーターがビデオイベントのタイプに基づいて選択される。そして、選択された１組の特徴パラメーターに基づいて、触覚効果が自動的に生成される。
【選択図】図１

Description

本発明は、包括的には、触覚効果に関し、より詳細には、検出されたビデオイベントに基づく触覚効果の生成に関する。

ハプティクス（haptics：触覚学）は、ユーザーに対して、力、振動及びモーション等の触覚フィードバック効果（すなわち、「触覚効果」）を与えることによってユーザーの触覚の知覚を利用する、触知性及び力のフィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、及びパーソナルコンピューター等のデバイスは、触覚効果を生成するように構成することができる。一般的に、触覚効果を生成することが可能な組み込みハードウェア（アクチュエーター等）に対する呼び出しは、デバイスのオペレーティングシステム（「ＯＳ」）内でプログラムすることができる。これらの呼び出しは、いずれの触覚効果を再生するかを指定する。例えば、ユーザーが、例として、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール又は他の何らかの制御装置を用いてデバイスとインタラクトする場合、デバイスのＯＳは、制御回路を通じて組み込みハードウェアに再生コマンドを送信することができる。そして、組み込みハードウェアは、適切な触覚効果を生成する。

デバイスは、触覚効果の出力を、ゲーム又は他のメディア等の他のコンテンツの出力に連動させるように構成することができ、それによって、触覚効果が他のコンテンツに組み込まれる。例えば、ゲーミングの状況において、或るゲームが開発されるとき、開発者は、ゲームに関係付けられており、ゲーム内で起こるアクション、例えば、マシンガンの発砲、爆発、又は自動車衝突を表す触覚効果を組み込むことができる。通常、触覚効果は、ゲーム開発プロセスにおける後期、例えば、ゲーム開発者がゲームアプリケーションの開発の仕上げに差し掛かったとき、又はゲーム開発者が完成したゲームアプリケーションを新たなプラットフォームにポーティングするときにゲームに加えられる。この結果、一般的に、触覚効果は、全てのオーディオ効果及びビデオ効果が開発された後に加えられるという事象が生じる。通常、触覚効果がプロセスにおいてこのような後期に加えられることに起因して、一般的に、触覚効果の開発者、又は何らかの他の開発者は、触覚効果をオーディオ効果又はビデオ効果に関係付けることについて決定するに至る。さらに、開発者は、通常、オーディオ効果又はビデオ効果に対する適切な触覚効果の選択に関する入力を有しない。

本開示の一実施形態において、触覚効果を動的に生成する方法が提示される。本方法は、少なくともビデオデータを含む入力メディアを受け取ることと、このビデオデータ内のビデオイベントを検出することとを含む。本方法は、検出されたビデオイベントに関係付けられた関連データを収集することと、その後、収集された関連データに基づいて１つ以上の特徴パラメーターを構成することとによって続く。ビデオイベントのタイプが判断され、その後、ビデオイベントのタイプに基づく１組の特徴パラメーターが選択される。本方法は、選択された１組の特徴パラメーターに基づいて触覚効果を自動的に生成することによって終了する。

本開示の一実施形態によるシステムのブロック図である。 本開示の実施形態による触覚効果生成システムのブロック図であり、この触覚効果生成システムは、イベントを検出し、データを収集し、パラメーターを構成し、そして触覚を動的に生成する。 本開示の一実施形態による、衝突イベントの検出の写真図である。 本開示の一実施形態による、爆発イベントの検出の写真図である。 本開示の一実施形態による、爆発イベントの検出の写真図である。 本開示の一実施形態による、ビデオイベントを自動的に検出したときの、図１のシステムの機能の流れ図である。

本明細書に組み込まれて本明細書の一部を形成する添付図面は、本発明を例示し、さらに、本記載とともに、本発明の原理を説明することと、関連技術（複数の場合もある）における当業者が本発明を製造及び使用することを可能にすることとに貢献する。

加えて、参照符号の最左桁によって、その参照符号が最初に登場する図面が特定される（例えば、参照符号「３１０」は、この付番された要素が、図３において最初にラベリングされるか又は最初に登場することを示す）。加えて、同一の参照符号を有し、その符号の後ろにアルファベット文字又は他の区別のためのマーキング（例えば、アポストロフィー）が続く要素は、構造、動作、又は形式の点では同一であるが、空間において異なる位置にある、又は異なる時点において再び現れるものとして特定される場合がある要素を示す。

１つの実施形態は、ビデオイベントを検出し、この検出されたビデオイベントに対する適合された、カスタマイズされた触覚効果を自動的に生成する方法及びシステムである。本方法及びシステムは、ビデオイベントの手動検出又は自動検出のいずれかを含む。イベントの開始時刻及び終了時刻、ピクセルデータ並びにモーション解析データ等の関連データが収集される。特徴パラメーターが、収集されたデータに基づいて構成される。ビデオイベントのタイプ、例えば、衝突イベント又は爆発イベントが特定される。その後、ビデオイベントのタイプに基づいて、１組の特徴パラメーターが選択され、この選択された１組の特徴パラメーターに基づいて、対応するカスタマイズされた触覚効果が生成される。

本明細書に記載される実施形態が、特定の用途についての例示的な実施形態である一方、本発明は、それらの実施形態に限定されないことが理解されるべきである。本明細書で提供される教示が利用可能な当業者であれば、本発明の範囲内にある、更なる変更形態、用途、及び実施形態、並びに本発明が大きな有用性を有する更なる分野を認識するであろう。

１つの実施形態は、検出されたビデオイベント、例えば、ビデオストリーム又はセグメントにおける衝突又は爆発に基づいて触覚効果を自動的に生成するシステムである。実施形態は、ビデオイベントの自動検出、ビデオデータを解析すること、並びに、その後、関係付けられた触覚効果を規定及び生成するパラメーターを構成することを含む。したがって、生成された触覚効果は、特定の検出されたビデオイベントに基づいており、それによって、適合された触覚効果が生成される。ビデオ検出は、自動的に行うこともできるし、手動で特定されたビデオイベントに基づいて行うこともできる。

図１は、一実施形態による、システム１００のブロック図を示している。１つの実施形態において、システム１００は、デバイスの一部であり、システム１００は、デバイスに対する、検出されたビデオイベントに基づく自動触覚効果を提供する。別の実施形態では、システム１００は、デバイスとは別個であり、デバイスに対する、検出されたビデオイベントに基づく自動触覚効果をリモートに提供する。単一のシステムとして示されているが、システム１００の機能は、分散システムとして実施することができる。システム１００は、バス１１５又は情報を通信する他の通信機構と、バス１１５に連結された、情報を処理するプロセッサ１１１とを備える。プロセッサ１１１は、汎用プロセッサ又は特定用途向けプロセッサの任意のタイプとすることができる。システム１００は、情報と、プロセッサ１１１によって実行される命令とを記憶するメモリ１１６を更に備える。メモリ１１６は、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリーメモリ（「ＲＯＭ」）、磁気ディスク若しくは光学ディスク等の静的記憶装置、又は任意の他のタイプのコンピューター可読媒体の任意の組み合わせから構成することができる。

コンピューター可読媒体は、プロセッサ１１１がアクセスすることができる任意の利用可能な一時的媒体及び非一時的媒体とすることができ、揮発性媒体及び不揮発性媒体、リムーバブル媒体及び非リムーバブル媒体、通信媒体、並びに記憶媒体のいずれをも含むことができる。通信媒体は、コンピューター可読命令、データ構造、プログラムモジュール、又は搬送波若しくは他の伝送機構等の被変調データ信号における他のデータとすることができ、当該技術分野において既知の任意の他の形式の情報伝達媒体を含むことができる。記憶媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラマブルリードオンリーメモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルリードオンリーメモリ（「ＥＥＰＲＯＭ」）、レジスター、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（「ＣＤ−ＲＯＭ」）、又は当該技術分野において既知の任意の他の形式の記憶媒体を含むことができる。

１つの実施形態において、メモリ１１６は、プロセッサ１１１によって実行されるときに機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態において、システム１００、及びデバイスの残りの部分にオペレーティングシステム機能を提供するオペレーティングシステム１１７を備える。モジュールは、以下でより詳細に開示されるように、ビデオイベントを自動的に検出するビデオイベント検出モジュール１１８を更に備える。或る特定の実施形態において、ビデオイベント検出モジュール１１８は、複数のモジュールを含むことができ、個々のモジュールのそれぞれは、ビデオイベントを検出する特定の個々の機能を提供する。例えば、ビデオイベント検出モジュール１１８は、色及びモーション解析に基づいて、ビジュアルオドメトリーに基づいて、又はスポーツセンサー若しくは任意の他の外部センサーに基づいて、イベントを検出する検出モジュールを含むことができる。システム１００は、通常、１つ以上の追加のアプリケーションモジュール１１９を備え、触覚効果をオーディオ／ビジュアル入力に組み込む、Immersion Corp.社による「ＴｏｕｃｈＳｅｎｓｅ」アプリケーション等の、追加の機能を含む。

システム１００は、リモートソースからデータを送信／受信する実施形態において、ネットワークインターフェースカード等の通信デバイス１１３を更に備え、赤外線、無線、Ｗｉ−Ｆｉ、又はセルラーネットワーク通信等のモバイル無線ネットワーク通信を提供する。他の実施形態では、通信デバイス１１３は、Ｅｔｈｅｒｎｅｔ接続又はモデム等の有線ネットワーク接続を提供する。

プロセッサ１１１は、バス１１５を介して、ユーザーにグラフィック表現又はユーザーインターフェースを表示する、液晶ディスプレイ（「ＬＣＤ」）等のディスプレイ１２０に更に連結される。ディスプレイ１２０は、プロセッサ１１１から信号を送信及び受信するように構成された、タッチスクリーン等のタッチセンシティブ入力デバイスとすることができ、マルチタッチのタッチスクリーンとすることができる。プロセッサ１１１は、マウス又はスタイラス等の、ユーザーがシステム１００とインタラクトすることを可能にするキーボード又はカーソルコントロール１２４に更に連結することができる。

１つの実施形態において、システム１００は、アクチュエーター１２２を更に備える。プロセッサ１１１は、生成された触覚効果に関係付けられた触覚信号をアクチュエーター１２２に送信することができ、ひいては、アクチュエーター１２２は、振動触覚効果、静電摩擦触覚効果、又は変形触覚効果等の触覚効果を出力する。アクチュエーター１２２は、アクチュエーター駆動回路を備える。アクチュエーター１２２は、例えば、電気モーター、電磁アクチュエーター、ボイスコイル、形状記憶合金、電場応答性高分子、ソレノイド、偏心回転質量モーター（「ＥＲＭ」）、リニア共振アクチュエーター（「ＬＲＡ」）、圧電アクチュエーター、高周波数帯域アクチュエーター、電場応答性高分子（「ＥＡＰ」）アクチュエーター、静電摩擦ディスプレイ、又は超音波振動生成器とすることができる。代替的な実施形態では、システム１００は、アクチュエーター１２２に加えて、１つ以上の追加のアクチュエーターを備えることができる（図１には示されていない）。アクチュエーター１２２は、触覚出力デバイスの一例であり、ここで、触覚出力デバイスは、駆動信号に応答して、振動触覚効果、静電摩擦触覚効果、又は変形触覚効果等の触覚効果を出力するように構成されたデバイスである。代替的な実施形態では、アクチュエーター１２２は、何らかの他のタイプの触覚出力デバイスに取り替えることができる。さらに、他の代替的な実施形態では、システム１００は、アクチュエーター１２２を備えない場合があり、システム１００とは別個のデバイスが、アクチュエーター、又は触覚効果を生成する他の触覚出力デバイスを備え、システム１００は、生成された触覚効果信号を、通信デバイス１１３を通じてそのデバイスに送信する。

システム１００は、データベース１３０に動作可能に更に連結することができ、ここで、データベース１３０は、メモリ１１６によって用いられるデータを記憶するように構成することができる。データベース１３０は、オペレーショナルデータベース、解析データベース、データウェアハウス、分散データベース、エンドユーザーデータベース、外部データベース、ナビゲーショナルデータベース、インメモリデータベース、ドキュメント指向データベース、リアルタイムデータベース、リレーショナルデータベース、オブジェクト指向データベース、又は当該技術分野において既知の任意の他のデータベースとすることができる。

１つの実施形態において、システム１００は、１つ以上のスピーカー１２６を更に備える。プロセッサ１１１は、オーディオ信号をスピーカー１２６に送信することができ、ひいては、スピーカー１２６は、オーディオ効果を出力する。スピーカー１２６は、例えば、ダイナミックラウドスピーカー、動電ラウドスピーカー、圧電ラウドスピーカー、磁歪ラウドスピーカー、静電ラウドスピーカー、リボンプラナー（ribbon and planar）磁気ラウドスピーカー、屈曲波ラウドスピーカー、フラットパネルラウドスピーカー、ヘイルエアモーショントランスデューサー、プラズマアークスピーカー、及びデジタルラウドスピーカーとすることができる。

１つの実施形態において、システム１００は、センサー１２８を更に備える。センサー１２８は、或る形態のエネルギー、又は、限定はされないが、加速度、生体信号、距離、流れ、力／圧力／歪み／屈曲、湿度、線形位置、向き／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、若しくは可視光強度等の他の物理的特性を検出するように構成することができる。センサー１２８は、検出されたエネルギー又は他の物理的特性を、電気信号、又は仮想センサー情報を表す任意の信号に変換するように更に構成することができる。センサー１２８は、限定はされないが、加速度計、心電図、脳電図、筋電図、眼電図、エレクトロパラトグラフ（electropalatograph：電子口蓋図）、ガルバニック皮膚反応センサー、静電容量センサー、ホール効果センサー、赤外線センサー、超音波センサー、圧力センサー、光ファイバーセンサー、曲げセンサー（又は屈曲センサー）、感圧センサー、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ２ １５５、小型圧力トランスデューサー、圧電センサー、歪みゲージ、湿度計、線形位置タッチセンサー、線形ポテンショメーター（又はスライダー）、線形可変差動変圧器、コンパス、傾斜計、磁気タグ（又は無線周波数識別タグ）、ロータリーエンコーダー、ロータリーポテンショメーター、ジャイロスコープ、オンオフスイッチ、温度センサー（気温計、熱電対、抵抗温度検出器、サーミスタ、又は温度変換集積回路等）、マイクロフォン、光度計、高度計、生体モニター、又は光依存抵抗器等の任意のデバイスとすることができる。

一般的に、オーディオ及び／又はビデオデータを含む、知覚性の（sensory）マルチメディアデータから触覚効果を生成する自動触覚変換アルゴリズムは、特定のイベントに対するカスタマイズ又は適合された効果を欠いている。本開示において提示される実施形態は、種々の検出技術及び関係するアルゴリズム技術を用いて、自動的に特定のビデオイベントに対する触覚効果を動的に適合する機能を導入する。

図２は、一実施形態による、触覚効果生成システム２００のブロック図である。触覚効果生成システム２００は、イベント検出部２１０と、データ収集部２２０と、パラメーター構成部２３０と、触覚効果生成部２４０と、アクチュエーターシステム２５０と、アクチュエーター２５５とを備える。

イベント検出部２１０は、入力メディアを受け取る。入力メディアは、メディアファイル、ビデオコンテンツを含むデータストリーム、又は任意の他のタイプのメディアコンテンツファイルとすることができる。しかしながら、入力メディアは、最低でも何らかのビデオコンテンツを含んでいなければならない。入力メディアが受け取られると、イベント検出部２１０は、次に、受け取られたメディアコンテンツ内に含まれるビデオイベントを検出する。そのような検出は、色及びモーション解析に基づくか、又は、ビジュアルオドメトリーに基づくか、又は、スポーツセンサー、若しくは受け取られた入力メディア内の、ターゲットイベントとも称されるビデオイベントの開始時刻及び終了時刻を特定する任意の他の外部センサーに基づくイベント検出等のイベント検出アルゴリズムの使用によって達成される。別の実施形態では、イベント検出は、例えば、フレーム毎に入力メディアを観察して、ビデオイベントが開始する時及び終了する時を特定することによって、手動で完了することができる。

データ収集部２２０は、検出されたビデオイベントのそれぞれの開始時刻及び終了時刻に基づいて任意の特定されたビデオイベントに関係付けられたデータを収集する。この関係付けられたデータ、又は関連データは、ビデオの解析から、又は他の信号処理アルゴリズムから達成される任意のタイプの情報とすることができる。そのような関連データは、ビデオイベントに関係付けられたピクセルデータ（例えば、物体のサイズ）を含むことができる。また、関連データは、連続フレーム間のピクセルデータにおける変化（例えば、物体又はイベントのサイズ及び／又は物体又はイベントの動きにおける変化）の解析とすることもできる。また、関連データは、モーション解析の結果とすることもでき、オプティカルフローベクトル等のモーション解析ベクトルの生成を含むことができる。入力メディアがオーディオトラックも含む場合、データ収集部２２０は、オーディオの振幅及び周波数等の、検出されたビデオイベントに対応するオーディオデータも収集することができる。

パラメーター構成部２３０は、データ収集部２２０によって収集された関連データを用いて、検出されたビデオイベントに対する適合された触覚効果を動的に生成することに用いられる種々のパラメーターを構成する。これらのパラメーターは、振幅、周波数、持続時間、形状、ポーズ空間、アタック時間、アタックレベル、減衰時間、減衰レベル等を含む、触覚効果のパラメーターを動的に調整することができる。特徴パラメーターの選択及び効果生成アルゴリズムの最適化を効果的に行うことによって、結果として得られる触覚効果は、検出されたビデオイベントの固有の特徴に高度にマッチする。例えば、パラメーター構成部２３０は、データ収集部２２０によって収集されたピクセルの数を用いて、物体又はイベントのサイズを参照することができ、この場合、より大きなサイズは、より強力な触覚効果をもたらす可能性がある。また、入力メディアの連続フレーム間の物体又はイベントのピクセルの数の差異がレート又は拡大又は動きを示す可能性があることを認識することによって、例えば、より大きな拡大は、より強力な触覚効果に転換されるか、又は物体若しくはイベントがカメラにより接近した場合にも、より強力な触覚効果が生成される。

データ収集部２２０によって収集されたモーション解析データを用いて、モーション解析ベクトルを求めることができる。ベクトルの方向は、モーションの方向を示し、そのベクトルの値は、モーションの速さを示す。一実施形態において、方向のより大きな変化は、より強力な触覚を生成する場合があり、物体又はイベントの速さが高速になる程、動的に生成された触覚効果はより激しくなる。パラメーター構成部２３０は、データ収集部２２０によって収集された任意のオーディオデータを用いて、パラメーターを構成することもできる。例えば、検出されたビデオイベントのオーディオトラックのより大きな振幅の結果、より強力な触覚効果がもたらされる可能性があり、この場合、オーディオの周波数は、触覚効果の周波数に対応する。

触覚効果生成部２４０は、適切な特徴パラメーターを選択して、検出されたビデオイベントに対する適合された触覚効果を生成する。触覚効果生成部２４０は、まず、検出されたビデオイベントのタイプを判断する。検出されたイベントのタイプが衝突イベントだった場合、触覚効果生成部２４０は、モーション解析ベクトルに基づいてパラメーター構成部２３０によって構成された特徴パラメーターを選択する。モーション解析ベクトルは、衝突イベントに対する動的効果を生成するパラメーターとして比較的良好な選択である。イベントのタイプが爆発イベントである場合、触覚効果生成部２４０は、検出されたビデオイベントについてのピクセルの数、又は入力メディアの連続フレーム間のピクセルの数における差異に基づいた特徴パラメーターを選択する。触覚効果生成部２４０がビデオイベントのタイプに基づいて適切な特徴パラメーターを選択すると、触覚効果生成部２４０は、触覚効果を動的に生成する。具体的には、触覚効果生成部２４０は、１組の触覚効果コマンドを生成し、この１組の触覚効果コマンドは、次にアクチュエーターシステム２５０に渡され、このアクチュエーターシステム２５０が触覚効果を生成する。

アクチュエーターシステム２５０は、触覚効果生成部２４０から触覚コマンド又は命令を受信し、所望の触覚効果を生成するアクチュエーター２５５を動作させる。また、アクチュエーターシステム２５０は、１つ以上のドライバーも備える。

図３は、一実施形態による、ビデオ衝突イベント３００の検出の写真図である。衝突イベント３００は、３つのフレーム３１０、３２０及び３３０のシーケンスを含み、これらのフレームにおいて３つの異なる衝突事象が検出されている。ビデオ衝突イベント３００は、３つのフレーム３１０、３２０及び３３０において、バスケットボール３１１の床との衝突を示す。この例において、バスケットボール３１１は追跡されており、バスケットボール３１１の方向及び速度がビデオ処理アルゴリズムを用いて計算される。ビデオ処理アルゴリズムは、バスケットボール３１１の床に対する衝突を検出し、バスケットボール３１１の位置を正方形３１４、３２４及び３３４において示している。モーション解析ベクトル３１２、３２２及び３３２は、バスケットボール３１１の速度及び方向を示す。一実施形態において、触覚効果は、速度ベクトルの２つのパラメーター、すなわち、ベクトルの値（速度）及びベクトルと床との間の角度に基づいて生成される。各速度ベクトルの値は、最小値０及び最大値１で単位化（unitized）される。一実施形態において、出力触覚効果は、最小値０〜最大値１の単位化された振幅を有する正弦波である。床に対して垂直的な衝突角度が大きくなる程、及び速度の値が大きくなる程、結果として、より強力な、より大きな振幅の、並びによりシャープな、より高い周波数の、及びより短い持続時間の衝突触覚効果がもたらされる。

フレーム３１０は、速度値がおよそ０．７、衝突角度がおよそ３５度の速度ベクトル３１２を表示する。１つの実施形態において、これにより、結果として振幅０．７、周波数５０Ｈｚ及び持続時間４０ｍｓの正弦波としての出力触覚効果の出力がもたらされる。

フレーム３２０は、速度値がおよそ１．０、衝突角度がおよそ４５度の速度ベクトル３２２を表示する。１つの実施形態において、これにより、結果として振幅１．０、周波数６６Ｈｚ及び持続時間３０ｍｓの正弦波としての触覚効果の出力がもたらされる。

フレーム３３０は、速度値がおよそ０．７、衝突角度がおよそ９０度の速度ベクトル３３２を表示する。１つの実施形態において、これにより、結果として、振幅０．９、周波数８０Ｈｚ及び持続時間２５ｍｓの正弦波としての触覚効果の出力がもたらされる。

図４Ａ及び図４Ｂは、一実施形態による、ビデオ爆発イベント４００の検出の写真図である。爆発イベント４００は、図４Ａに示すフレーム４１０及び４２０並びに図４Ｂにおけるフレーム４３０、４４０及び４５０の、５つのフレームのシーケンスを含む。一実施形態において、爆発イベントの出力触覚効果は、振幅スイープ触覚効果である。フレーム４１０〜４５０のシーケンスのフレームレートが毎秒３０フレームであると仮定すると、１フレーム間の振幅スイープ触覚効果の持続時間は、３３ｍｓである。１つの実施形態において、触覚の振幅は単位化され、その範囲は最小値０〜最大値１である。振幅は、検出された爆発エリアのピクセルの数の増加／減少とともに増大／縮小する。爆発エリアが縮小し始めるか又は増大が止まるときに、振幅に減衰係数（fading factor）（１未満）が適用され、これにより、振幅が減衰して０に至る瞬間がもたらされ、この瞬間は、爆発効果が終了したことを示している。また、減衰係数は、ピクセルの変化量に基づいて動的に変更される。

例えば、一実施形態において、フレーム４１０は、およそ５００ピクセルの爆発エリアを有する、爆発イベントの開始の瞬間を示している。出力触覚効果は、振幅０．２５、持続時間３３ｍｓの振幅スイープ触覚効果である。

フレーム４２０は、爆発エリアがおよそ１０００ピクセルの爆発エリアに増大している様子を示している。出力触覚効果は、振幅０．５、持続時間３３ｍｓの振幅スイープ触覚効果である。

フレーム４３０は、爆発エリアが２０００ピクセル超の爆発エリアに引き続き増大している様子を示している。出力触覚効果は、振幅１．０、持続時間３３ｍｓの振幅スイープ触覚効果である。さらに、爆発エリアは、フレーム４３０において、拡大が止まり、縮小し始めている。その後、減衰係数（１未満）がフレーム４４０及び４５０に適用される。

フレーム４４０は、爆発エリアがおよそ８００ピクセルの爆発エリアに縮小している様子を示している。出力触覚効果は、振幅０．４、持続時間３３ｍｓの振幅スイープ触覚効果である。

フレーム４５０は、爆発が終了し、ここでこのエリアは、増大も縮小もせずに同じサイズを保っている。爆発エリアは、依然としておよそ５００ピクセルで検出されるが、振幅は、減衰して０に至っている。出力触覚効果は、振幅０の振幅スイープ触覚効果であり、爆発効果が終了したことを示している。

図５は、一実施形態による、触覚効果を動的に生成するときの、図１のシステム１００の機能を用いる方法５００の流れ図である。１つの実施形態において、図５の流れ図の機能は、メモリに記憶されたソフトウェア又は他のコンピューター可読若しくは有形媒体によって実施され、プロセッサによって実行される。他の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）等の使用を通じて）、又はハードウェア及びソフトウェアの任意の組み合わせによって実行することができる。

方法５００は、５１０において開始し、ここで入力メディアが受け取られる。図２において論述したように、入力メディアは、任意のタイプのプロトコルとすることができるが、少なくともビデオデータを含む。一実施形態において、入力メディアは、通信デバイス１１３を通じて受け取られて、データベース１３０に記憶され、このデータベース１３０において、プロセッサ１１１は、受け取られた入力メディアの解析を開始することができる。

５２０において、１つ以上のビデオイベントが検出される。そのような検出は、色及びモーション解析に基づくか、又はビジュアルオドメトリーに基づくか、又はスポーツセンサー若しくは任意の他の外部センサーに基づくイベント検出を含む種々のイベント検出アルゴリズムを利用することができるビデオイベント検出モジュール１１８を用いて達成することもできるし、フレーム毎に入力メディアを観察して、任意のビデオイベントの開始時刻及び終了時刻を特定することによって手動で達成することもできる。

５３０において、関連データが収集される。関連データは、ビデオイベント時間フレーム内の任意のデータである。関連データは、ピクセルデータを含むこともできるし、連続フレーム間のピクセルデータにおける差異を含むこともできる。また、関連データは、物体又はイベントのモーションの速度及び方向を示すモーション解析データとすることもできる。

５４０において、特徴パラメーターが構成される。特徴パラメーターは、検出されたビデオイベントに対する適合された触覚効果を動的に生成及び調整することに用いられる。一実施形態において、特徴パラメーターの構成は、（例えば、図４Ａ及び図４Ｂで示すように）入力メディアの各フレームにおける検出された物体若しくはイベントのピクセルの数をカウントするピクセル解析を使用するか、又は（例えば、図３で示すように）検出されたイベント若しくは物体の速度及び方向を解析するモーション解析を使用するかのいずれかである。

５５０において、ビデオイベントのタイプが判断される。ビデオイベントのタイプは、検出されたビデオイベントに関係付けられた触覚効果を生成することに用いられる構成パラメーターの選択に影響を及ぼす。ビデオイベントは、衝突イベント又は爆発イベントとして分類することができる。通常、モーション解析ベクトル（例えば、図３のベクトル３１２）が衝突イベントに対する特徴パラメーターとして比較的良好な選択であり、ピクセルカウントに基づく特徴パラメーター、又は連続フレームにおけるピクセルカウントの変化が爆発イベントに対する特徴パラメーターとして比較的良好な選択である。

５６０において、１組の特徴パラメーターが選択される。特徴パラメーター選択プロセスのためのアルゴリズムにより、触覚効果の振幅、周波数、持続時間、形状、ポーズ空間、アタック時間、アタックレベル、減衰時間、減衰レベル等を含む触覚効果を動的に調整する機能が可能になる。特徴パラメーターの選択及び効果生成アルゴリズムの最適化を効果的に行うことによって、生成された触覚効果は、ターゲットイベントの固有の特徴に高度にマッチする。

検出されたイベントの特徴パラメーターは、ビデオコンテンツから達成することができる全てのタイプのパラメーターとすることができる。さらに、特徴パラメーターは、色（例えば、赤緑青の「ＲＧＢ」値）、明度及び彩度（例えば、色相、彩度、明度の「ＨＳＬ」値又は色相、彩度、明度値（value）の「ＨＳＶ」値）を含む、画像ピクセルのパラメーターとすることができる。この場合、アルゴリズムの入力パラメーターは、通常、ビデオの１つのフレーム／幾つかのフレームの或る特定のエリア又は全体画像におけるピクセルの色、明度、及び／又は彩度の平均値である。例えば、或る特定の検出されたイベント（雷光等）についての明度の値に従って、動的な触覚を生成する。より高い明度の値は、より大きな振幅、より高い周波数を有する触覚に対応付けられ、より低い明度の値は、より小さな振幅、及びより低い周波数を有する触覚に対応付けられる。

特徴パラメーターは、或る特定の条件にマッチするピクセルの数における変化とすることができる。例えば、赤色のピクセルの数、１００よりも高い明度（明度の範囲は０〜２５５である）を有するピクセルの数等。ピクセルの異なる数は、異なる触覚パラメーターに対応付けられることができる。ピクセルの数における変化は、検出された物体又はイベントの、サイズの変化、カメラからの距離における変化、拡大、又は収縮を指し示す場合がある。例えば、より大きな拡大は、より強力な触覚に対応し、触覚効果は、物体又はイベントがカメラにより接近する場合、より強力になる。

特徴パラメーターは、入力メディアの連続フレーム間の、検出された物体又はイベントのオプティカルフローベクトル等のモーション解析ベクトルとすることができる。ベクトルの方向は、モーションの方向を示し、ベクトルの値は、モーションの速さを示す。例えば、より大きな方向の変化は、より強力な触覚に対応し、速さのより大きな変化は、より強力な触覚に対応する。

アルゴリズムの入力としての特徴パラメーターの選択と、これらが出力触覚パラメーターに対応付けられる方法とは、異なる検出されたイベントの特性に依拠している。対応付けは、線形／非線形／ランダムとすることができ、これにより、ターゲットイベントに対する異なるスタイルの触覚を生成することができる。

５７０において、５６０において上述されたような選択された特徴パラメーターに基づいて、触覚効果が自動的に生成される。例えば、触覚効果の生成は、触覚効果生成部２４０の使用によって達成され、触覚効果生成部２４０は、１組の触覚効果コマンドを生成し、次にこの触覚効果コマンドは、アクチュエーターシステム２５０に渡され、ここでアクチュエーターシステム２５０は、触覚コマンド又は命令を触覚効果生成部２４０から受信し、アクチュエーター２５５を動作させて、所望の触覚効果を生成する。

提示された方法及びシステムは、ビデオイベントが検出されるビデオデータを含む入力メディアを受け取る。検出されたビデオイベントに関係付けられた関連データが収集され、１つ以上の特徴パラメーターが収集された関連データに基づいて構成される。また、ビデオイベントのタイプが判断され、１組の特徴パラメーターがビデオイベントのタイプに基づいて選択される。そして、選択された１組の特徴パラメーターに基づいて、触覚効果が自動的に生成される。特定のビデオイベントに基づいてカスタマイズされた、適合された効果を自動的に生成する機能は、各イベントがそれ自体の固有の触覚を有する場合極めて有効である。さらに、提示された手法は、極めて融通性に富み、他の触覚生成方法と容易に統合して、広範で多様な触覚を生成することができる。

本明細書において、いくつかの実施形態が具体的に例示及び／又は記載されている。しかしながら、開示した実施形態の変更及び変形は、上記教示によって包含されており、本発明の趣旨及び意図された範囲から逸脱することなく添付の特許請求の範囲の適用範囲内にあることが理解されるであろう。

本願は、２０１６年１０月３１日に出願された米国特許出願第１５／３３８，７６３号の利益を主張し、この開示は、引用することによりその全体が本明細書の一部をなす。

Claims (20)

1. 触覚効果を動的に生成する方法であって、
   少なくともビデオデータを含む入力メディアを受け取ることと、
   前記ビデオデータ内のビデオイベントを検出することと、
   前記検出されたビデオイベントに関係付けられた関連データを収集することと、
   前記収集された関連データに基づいて１つ以上の特徴パラメーターを構成することと、
   前記ビデオイベントのタイプを判断することと、
   前記ビデオイベントのタイプに基づいて１組の特徴パラメーターを選択することと、
   前記１組の特徴パラメーターに基づいて触覚効果を生成することと、
   を含む、方法。
2. 前記ビデオイベントを検出することは、該ビデオイベントの開始時刻及び終了時刻を自動的に生成することを含む、請求項１に記載の方法。
3. 前記関連データを収集することは、前記ビデオイベントの１組の連続フレームのピクセルデータを収集することを含む、請求項１に記載の方法。
4. 前記関連データを収集することは、前記ビデオイベントの１組の連続フレーム内の物体又はイベントのモーション解析を含む、請求項１に記載の方法。
5. 前記モーション解析は、モーション解析ベクトルの生成を含む、請求項４に記載の方法。
6. 前記関連データを収集することは、前記ビデオイベントの１組の連続フレームのオーディオトラックデータを収集することを含む、請求項１に記載の方法。
7. 前記１つ以上の特徴パラメーターを構成することは、前記検出されたビデオイベントに関係付けられたピクセルの数に基づいて触覚パラメーターを構成することを含む、請求項１に記載の方法。
8. 前記１つ以上の特徴パラメーターを構成することは、前記検出されたビデオイベントに関係付けられた１組の連続フレームのピクセルの数における差異に基づいて触覚パラメーターを構成することを含む、請求項７に記載の方法。
9. 前記１つ以上の特徴パラメーターを構成することは、前記検出されたビデオイベントに関係付けられた１組の連続フレーム間のモーション解析ベクトルに基づいて触覚パラメーターを構成することを含む、請求項１に記載の方法。
10. 前記１つ以上の特徴パラメーターを構成することは、前記検出されたビデオイベントに関係付けられたオーディオトラックの振幅又は周波数に基づいて触覚パラメーターを構成することを含む、請求項１に記載の方法。
11. 前記ビデオイベントのタイプを判断することは、衝突イベント又は爆発イベントを判断することを含む、請求項１に記載の方法。
12. 前記１組の特徴パラメーターを選択することは、前記ビデオイベントのタイプが衝突イベントである場合にはモーション解析ベクトルの使用を、又は、前記ビデオイベントのタイプが爆発イベントである場合にはピクセルの数の使用を、選択することを含む、請求項１に記載の方法。
13. プロセッサによって実行されるとき、該プロセッサに触覚効果を生成させる、命令を記憶されたコンピューター可読媒体であって、前記触覚効果を生成することは、
    少なくともビデオデータを含む入力メディアを受け取ることと、
    前記ビデオデータ内のビデオイベントを検出することと、
    前記検出されたビデオイベントに関係付けられた関連データを収集することと、
    前記収集された関連データに基づいて１つ以上の特徴パラメーターを構成することと、
    前記ビデオイベントのタイプを判断することと、
    前記ビデオイベントのタイプに基づいて１組の特徴パラメーターを選択することと、
    前記１組の特徴パラメーターに基づいて触覚効果を生成することと、
    を含む、コンピューター可読媒体。
14. 前記関連データを収集することは、前記ビデオイベントの１組の連続フレームのピクセルデータを収集することを含む、請求項１３のコンピューター可読媒体。
15. 前記関連データを収集することは、前記ビデオイベントの１組の連続フレーム内の物体又はイベントのモーション解析を含む、請求項１３に記載のコンピューター可読媒体。
16. 前記特徴パラメーターを構成することは、前記検出されたビデオイベントに関係付けられたピクセルの数に基づいて触覚パラメーターを構成することを含む、請求項１３に記載のコンピューター可読媒体。
17. 前記特徴パラメーターを構成することは、前記検出されたビデオイベントに関係付けられた１組の連続フレーム間のモーション解析ベクトルに基づいて触覚パラメーターを構成することを含む、請求項１３に記載のコンピューター可読媒体。
18. 前記１組の特徴パラメーターを選択することは、前記ビデオイベントのタイプが衝突イベントである場合にはモーション解析ベクトルの使用を、又は、前記ビデオイベントのタイプが爆発イベントである場合にはピクセルの数の使用を、選択することを含む、請求項１３に記載のコンピューター可読媒体。
19. 少なくともビデオデータを含む入力メディアを受け取り、前記ビデオデータ内のビデオイベントを検出するように構成されたイベント検出部と、
    前記検出されたビデオイベントに関係付けられた関連データを収集するように構成されたデータ収集部と、
    前記収集された関連データに基づいて、１つ以上の特徴パラメーターを規定するように構成されたパラメーター構成部と、
    前記ビデオイベントのタイプを判断し、該ビデオイベントのタイプに基づいて１組の特徴パラメーターを選択し、該１組の特徴パラメーターに基づいて、アクチュエーターシステムを用いて、触覚効果を動的に生成するように構成された触覚効果生成部と、
    を備える、触覚効果生成システム。
20. 前記触覚効果生成部は、前記ビデオイベントのタイプが衝突イベントである場合にはモーション解析ベクトルの使用を、又は、前記ビデオイベントのタイプが爆発イベントである場合にはピクセルの数の使用を、選択することを含む、１組の特徴パラメーターを選択する、請求項１９に記載のシステム。