JP2019050040A - ハプティック・フレックス・ジェスチャリングのための方法及び装置 - Google Patents

Abstract

【課題】柔軟性を有する対話型電子装置により触覚効果を提供する。【解決手段】対話型電子装置１００は、柔軟性のある表面を有するユーザインタフェースと、柔軟性のある表面に加えられたフレックスジェスチャを感知するように構成されたセンサと、フレックスジェスチャに応答して触覚効果を生成するように構成された触覚装置と、センサ及び前記触覚装置と信号通信する制御装置と、を備える。制御装置は、触覚装置にフレックスジェスチャの触覚的確認を提供させ、また、フレックスジェスチャに関連するアプリケーション動作を実行させる。【選択図】図１

Description

本発明は、ハプティック・フレックス・ジェスチャリング方法及び装置に関する。

公知のディスプレイの一部のものは柔軟性を持ち、曲げたり丸めたりできるなどの紙の性質とよく似た性質を有するが、ユーザとの対話方法には限界がある。ユーザ入力は、フレキシブルディスプレイに接続されたボタンやキー又は当該フレキシブルディスプレイに加えられたフレックスジェスチャ（flex gesture）を介して受け付けられる。フレックスジェスチャに応答して、ディスプレイに表示されている画像の変化がユーザ出力として提供される。

本発明の一態様によれば、対話型電子装置により触覚効果を提供するように構成されたシステムが提供される。この対話型電子装置は、柔軟性のある表面を有するユーザインタフェースと、前記柔軟性のある表面に加えられたフレックスジェスチャを感知するように構成されたセンサと、を備えてもよい。この対話型電子装置は、触覚装置及び制御装置をさらに備える。この触覚装置は、前記フレックスジェスチャに応答して触覚効果を生成するように構成され得る。前記制御装置は、前記センサ及び前記触覚装置と信号通信可能であり、前記触覚装置に前記フレックスジェスチャの触覚的確認を提供させ、また、前記フレックスジェスチャに関連するアプリケーション動作を実行させるように構成され得る。

一部の実施形態において、前記センサによって感知される前記フレックスジェスチャには、前記柔軟性のある表面の曲げ又は前記柔軟性のある表面のねじりを含むことができる。

一部の実施形態において、前記制御装置は、前記触覚装置に前記曲げに応答して第１の触覚効果を提供させ、前記触覚装置に前記ねじりに応答して第２の触覚効果を提供させるように構成され得る。一実施形態において、前記センサは、第１の方向の前記フレックスジェスチャを感知し、また、反対方向の前記フレックスジェスチャを検知するように構成され得る。前記制御装置は、前記センサが前記第１の方向の前記フレックスジェスチャを感知したことに応答して第１のアプリケーション動作を実行し、前記センサが前記反対方向の前記フレックスジェスチャを感知したことに応答して第２のアプリケーション動作を実行するように構成され得る。例えば、前記第１のアプリケーション動作及び前記第２のアプリケーション動作は、オン・オフ切り替え動作、選択・非選択切り替え動作、上昇・下降切り替え動作、左右切り替え動作、前後切り替え動作、ズームイン・ズームアウト切り替え動作、又はこれらの任意の組み合わせである。

一部の実施形態において、前記制御装置は、前記フレックスジェスチャに関連づけられた信号を、前記アプリケーション動作に関連づけられたアプリケーションを実行するように構成されたコンピュータ装置に出力することで、前記アプリケーション動作を実行するように構成され得る。例えば、無線通信装置が前記対話型電子装置の一部であってもよく、この無線通信装置は前記信号を前記コンピュータ装置に送信するように構成されてもよい。一実施形態において、前記ユーザインタフェースは、フレキシブル表示画面を備えてもよい。前記制御装置は、前記アプリケーション動作を当該表示画面で提示することによって前記アプリケーション動作を実行してもよい。

一部の実施形態において、前記対話型電子装置は、前記柔軟性のある表面に加えられた
接触ジェスチャを感知するように構成された第２のセンサをさらに備えてもよい。前記制御装置は、前記第２のセンサが前記接触ジェスチャを感知し、前記センサが前記フレックスジェスチャを感知した場合にのみ、前記アプリケーション動作を実行するように構成されてもよい。

一部の実施形態において、前記柔軟性のある表面は、前記対話型電子装置の端部に配置され得る。一実施形態において前記センサは、歪みゲージ、圧電トランスデューサ、加速度計、又はジャイロスコープを備えることができる。

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。本明細書において、同様の参照符号は種々の図における対応部分を表している。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の"a"、"an"及び"the"には複数のものへの言及が含まれるが、文脈によって別に解すべきことが明白な場合はこの限りでない。

本発明の一実施形態に従った装置を模式的に示す。

図１の装置の構成要素を模式的に示す。

図１の装置に加えられたフレックスジェスチャを模式的に示す。

図3Aは、3A-3A線に沿って切断した図3の装置の断面図を示す。

図１の装置に加えられたフレックスジェスチャを模式的に示す。

図4Aは、４Ａ−４Ａ線に沿って切断した図４の装置の断面図を示す。

図4Bは、４Ｂ−４Ｂ線に沿って切断した図４の装置の断面図を示す。

図１の装置に加えられたフレックスジェスチャを模式的に示す。

図5Aは、５Ａ−５Ａ線に沿って切断した図５の装置の断面図を示す。

図5Bは、５Ｂ−５Ｂ線に沿って切断した図５の装置の断面図を示す。

図１の装置に加えられたフレックスジェスチャを模式的に示す。

図6Aは、６Ａ−６Ａ線に沿って切断した図６の装置の断面図を示す。

図6Bは、６Ｂ−６Ｂ線に沿って切断した図６の装置の断面図を示す。

図１の装置に加えられたフレックスジェスチャを模式的に示す。

図7Aは、７Ａ−７Ａ線に沿って切断した図７の装置の断面図を示す。

図7Bは、７Ｂ−７Ｂ線に沿って切断した図７の装置の断面図を示す。

図１は、対話型電子装置（対話型電子装置）１００の一実施形態を示す。対話型電子装置１００は、触覚効果を提供することができ、また、当該装置の柔軟性のある表面（flexiblesurface）１１０に加えられたフレックスジェスチャ（flex gesture）に応答してア
プリケーション動作を起こすことができる。フレックスジェスチャは、タッチスクリーン表面が例えば押されたときに起こる僅かな湾曲と対照的に、概して、表面の巨視的な変形（grossdeformation）を意味する。フレックスジェスチャには、装置に加えられる曲げ、ねじり、丸め（rolling）、又はこれらの任意の組み合わせを含むことができる。アプリ
ケーション動作には、アプリケーション又はそれ以外のプログラムが持っているユーザ入力に対する任意の応答を含むことができる。従って、フレックスジェスチャは、ボタンの押下、トリガーを引くこと、又はマウスのクリック等の他の形態のユーザ入力を補完又は置換することができる。一部の実施形態において、対話型電子装置１００は、ユーザ入力装置１２２、１２４、１２６、及び１２８並びに画面１３０をさらに備えることができる。このように、装置１００は、ゲームコントローラ又はこれ以外の任意のリモートコントローラ（例えば、テレビリモコン、ハンドル型ゲーム用リモコン）、電子書籍リーダ（例えば、電子新聞、電子雑誌、電子地図、又は電子書籍）、対話型玩具、タブレット型ゲーム装置もしくは携帯型マルチメディア装置、又はこれら以外の任意の対話型電子装置の一部として用いられるユーザインタフェースを提供することができる。

柔軟性のある表面１１０は、ユーザから与えられたフレックスジェスチャの結果として巨視的に弾性変形可能なプラスチック等の一又は複数の弾性材料から形成され得る。一部の実施形態において、柔軟性のある表面１１０は、一又は複数の硬質の部分を有する対話型電子装置１００の一部分のみを覆うものであってもよい。例えば、装置１００の中央部分が硬質のＰＣＢ板を組み込む一方、装置１００の端部又はコーナー部が柔軟性のある表面１１０を備えていてもよい。一部の実施形態において、柔軟性のある表面１１０は、装置１００の全表面を構成していてもよい。一部の実施形態において、柔軟性のある表面１１０の硬さは調整可能であってもよい。例えば、当該柔軟性のある表面には、電流又は熱によって硬さが影響を受ける材料を含むことができる。装置１００のコントローラは、柔軟性のある表面１１０の硬さを制御するために、当該材料に対して電流や熱を加えることができる。

ユーザ入力装置１２２、１２４、１２６、及び１２８は、ボタン、トリガ、ジョイスティック、つまみ、スイッチ、スライドバー、タッチパッド、又はこれら以外の任意のユーザ入力装置を含むことができる。当該ユーザ入力装置の一又は複数は、装置１００の柔軟性のある表面１１０に接続されてもよく、もし存在すれば硬質の部分に接続されてもよい。当該ユーザ入力装置の一又は複数は、機械式のユーザ入力装置であってもよく、接触感知式装置であってもよい。例えば、ユーザ入力装置１２６が４つの機械式ボタンを備える一方で、ユーザ入力装置１２２が機械式ジョイスティックに似せて構成された２つのタッチパッドを備えても良い。この又はそれ以外の例において、ユーザ入力装置１２４は、装置１００の接触感知領域、例えば柔軟性のある表面１１０の接触感知領域、から構成された４つのボタンを備えても良い。ユーザ入力装置１２８は、装置１００の正面側に接続された２つの機械式トリガを備えてもよく、正面側に構成された２つの接触感知ボタンを備えても良い。

一部の実施形態において、画面１３０は、タッチスクリーン等のユーザ入力装置であってもよい。一部の実施形態において、画面１３０は、ユーザ出力のみを提供することもできる。画面１３０は、もし存在すれば対話型電子装置１００硬質の部分の一部でもよく、柔軟性のある表面１１０に動作可能に接続されていてもよく、柔軟性のある表面１１０の一部を構成してもよい。例えば、画面１３０は、表面１１０に組み込まれて（embedded）
いてもよく、表面１１０に搭載されて（mounted）いてもよい。一部の実施形態において
、フレキシブル画面１３０は、Ｇｙｒｉｃｏｎシートから形成されてもよい。Ｇｙｒｉｃｏｎシートは、Ｘｅｒｏｘ ＰＡＲＣ（商標）（パロアルトリサーチセンター）において開発された電子ペーパーの一種である。Ｇｙｒｉｃｏｎシートは、何回も書き直しが可能という点を除き、従来の紙と類似の物理的特性を有する。Ｇｙｒｉｃｏｎ技術は、基本的に、透明なプラスチックの薄い層内で何百万もの微小トナー粒子を加工する技術で、トナー粒子は電圧印加パターンに応じて配置される。Ｇｙｒｉｃｏｎシートにより表示される画像は、新しい電圧パターンが印加されるまで維持される。フレキシブルディスプレイを製造する前記以外のフレキシブルディスプレイ技術、例えば、有機発光ダイオード（ＯＬＥＤ）、有機／高分子薄膜トランジスタ（ＴＦＴ）、又はこれらの任意の組み合わせも用いることができる。

図２は、対話型電子装置１００の一部分となり得る前記以外のコンポーネント、例えばアクチュエータ１４２、１４４、１４６、１４８、静電デバイス１４９、無線送受信機１６０、タッチセンサ１５２、フレックスジェスチャセンサ１５６、加速度計１５４、及び制御装置１７０、を示す。

アクチュエータ１４２、１４４、１４６、及び１４８及び静電デバイス１４９は、対話型電子装置１００の表面１１０等の表面において触覚効果を生成するように構成され得る。触覚効果は、機械的な動き、例えば装置１００の振動又は表面から突き出てユーザに接触するピンやロッドのような物体の作動を含むことができる。この触覚効果は、ユーザの指を表面１１０に引きつける力のように物体に対する力を生成し、又は、ユーザの指の神経やスタイラス内のセンサのように電気信号を認識できる物体に電気信号を送信する静電的な対話（electrostaticinteraction）を含むことができる。上記アクチュエータの一又は複数には、電気活性高分子（EAP）の繊維（又はナノチューブ）、圧電素子片、形状記
憶合金（SMA）の繊維、ボイスコイル、ソレノイド等の磁気アクチュエータ、空気圧式ア
クチュエータ、超音波エネルギーアクチュエータ、偏心質量アクチュエータ、又はこれらの任意の組み合わせが含まれ得る。上記アクチュエータの一又は複数は、SMA繊維から形
成されたアクチュエータのようなフレキシブルアクチュエータであってもよい。当該アクチュエータは、振動、横方向の運動、上下動、回転運動、又はこれらの任意の組み合わせを生成することができる。触覚アクチュエータは、２００７年６月５日に出願された係属中の米国特許出願第11/758,638号（発明の名称：「METHODAND APPARATUS FOR HAPTIC ENABLED FLEXIBLE TOUCH SENSITIVE SURFACE」）においてより詳細に説明されている。当該
出願の全内容は、参照により本明細書に組み込まれる。図２は４つのアクチュエータを示しているが、装置１００の他の実施形態においては、より少ない数（例えば、０、１、２、３）のアクチュエータを備えてもよく、より多い数（例えば、５以上）のアクチュエータを備えても良い。当該アクチュエータの各々は、対話型電子装置１００の端部、コーナー部、又は中心等の様々な位置に配置され得る。当該アクチュエータは、異なる寸法を有していても良く、同じ寸法を有していても良い。

静電デバイス１４９は、機械的な動きの代わりに電圧及び電流を加えて触覚効果を生成する任意の装置を含むことができる。一部の実施形態において、静電デバイス１４９は、導電層の上に絶縁層を備えることができる。一例において、当該絶縁層は、柔軟性のある表面１１０の一部分を含むことができる。静電装置１４９は、当該導電層に交流の電気信号を加えることによって動作することができる。当該信号は、当該導電層を、当該絶縁層の近傍にあったり当該絶縁層に接触している物体、例えばユーザの指又はスタイラスと容量結合させることができる。この容量結合によって、物体が当該絶縁層を横切って動くときに、当該物体に働く摩擦力を変化させることによって、触覚効果を生成することができる。触覚静電デバイスは、２０１１年４月２２日に出願された係属中の米国特許出願第13/092,269号（発明の名称：「ELECTRO-VIBROTACTILEDISPLAY」）においてより詳細に説明
されている。当該出願の全内容は、参照により本明細書に組み込まれる。

フレックスジェスチャセンサ１５６は、表面１１０等の柔軟性のある表面に加えられるフレックスジェスチャを感知するように構成される。一部の実施形態において、フレックスジェスチャの感知には、ジェスチャの大きさ及び向きの感知が含まれ得る。例えば、センサ１５６は、曲げジェスチャだけでなく、柔軟性のある表面が曲げられた方向（例えば上又は下）及び曲げの大きさを感知するように構成されてもよい。曲げの大きさは、表面が曲げられた速度、表面が曲げられた程度、表面が曲げられている継続時間、又はこれらの任意の組み合わせを含むことができる。センサ１５６は、表面における巨視的な変形を感知するように構成された任意の装置を含むことができる。例えば、センサ１５６には、歪みゲージ、加速度計、ジャイロスコープ、圧電トランスデューサ、圧力センサ、光ファイバ、又はこれらの任意の組み合わせが含まれ得る。一部の実施形態において、加速度計１５４は、センサ１５６の一部であってもよい。例えば、センサ１５６は、フレックスジェスチャの大きさを感知する歪みゲージ及び加速度計を含むことができる。この例においては、歪みゲージが変形の程度を感知し、加速度計が変形速度を感知する。この例において、センサ１５６は、変形の方向を感知することによりフレックスジェスチャの方向を感知することができるジャイロスコープをさらに備えることができる。

一部の実施形態において、加速度計１５４は、センサ１５６の加速度計と別個のものであってもよい。加速度計１５４は、例えば、装置１００を持ち運んでいる人の移動速度を測定するように構成される。一部の実施形態において、装置１００は、センサ１５６のジャイロスコープとは別個のジャイロスコープを備えても良い。当該ジャイロスコープは、例えば、装置１００が傾けられた角度を測定するように構成される。一部の実施形態において、アクチュエータ１４２、１４４、１４６、又は１４８の圧電トランスデューサは、センサ１５６の圧電トランスデューサとは別個のものであってもよい。一部の実施形態において、センサ１５６の圧電トランスデューサは、装置１００のアクチュエータのうちの一つの一部であってもよい。

一部の実施形態において、装置１００の圧電トランスデューサ等の一又は複数のトランスデューサは、ジェスチャ又は当該装置の他の動きから電力を得るように構成されてもよい。一部の実施形態において、装置１００は、バッテリーを備えず、一又は複数のトランスデューサから得られた電力によって、装置１００のセンサ、無線送受信機、制御装置、及び触覚装置に完全に電力を供給するようにしてもよい。

タッチセンサ１５２は、対話型電子装置１００の表面、例えば画面１３０の表面、ユーザ入力装置１２２の表面、又はこれらの任意の組み合わせの近傍にあり又はこれらに触れているユーザの指又はスタイラス等の物体を検出するように構成された一又は複数のセンサを備えても良い。一例において、タッチセンサ１５２は、装置１００に組み込まれた一又は複数の静電容量センサを備え、ユーザの接触により起こる静電容量の変化を感知して当該接触の位置を感知するように構成されてもよい。一例において、タッチセンサ１５２は、圧力センサ、抵抗センサ、表面弾性波（ＳＡＷ）センサ、赤外線センサ、光学センサ、又は装置１００の表面におけるタッチ入力を感知するように構成された前記以外の任意のセンサを備えることができる。一部の実施形態において、タッチセンサ１５２は、一又は複数のユーザ入力装置１２２、１２４、１２６、１２８、又は画面１３０の一部分であってもよい。

無線送受信機１６０は、感知した接触ジェスチャ及び感知したフレックスジェスチャを、ゲームコンソール、デスクトップコンピュータ、ルータ、ホームエンタテインメントシステム、又はこれらの任意の組み合わせ等に伝送するように構成されてもよい。無線送受信機は、IEEE802.11、Bluetooth（商標）、赤外線通信方式、CDMA方式、又は前記以外の
任意の無線通信方式等の無線方式によって通信するように構成されてもよい。

制御装置１７０は、装置１００の一又は複数のコンポーネントの動作を制御し、フレックスジェスチャに応答して触覚効果及びアプリケーション動作を実行するように構成されてもよい。一例において、制御装置１７０は、ユーザ入力装置１２２、１２４、１２６、及び１２８と通信可能に接続され、当該装置において受信されたユーザ入力を受信することができる。一例において、制御装置１７０は、画面１３０と通信可能に接続され、当該スクリーンに視覚コンテンツを提示することができ、画面１３０がタッチスクリーンであればユーザ入力を受信することができる。一部の実施形態において、制御装置１７０は、画面１３０に当該動作を提示することにより、アプリケーション動作を実行することができる。例えば、アプリケーション動作がズーム動作である場合には、制御装置１７０は画面１３０に提示された視覚コンテンツをズームすることができる。一部の実施形態において、制御装置１７０は、タッチセンサ１５２、フレックスジェスチャセンサ１５６、及び無線送受信機１６０と通信可能に接続される。制御装置１７０は、センサ１５２又は１５６によって感知されたジェスチャに応答して、送受信機１６０を制御して、当該ジェスチャに関連する信号をゲームコンソールに送信させることができる。このゲームコンソールは、当該ジェスチャに関連するアプリケーション動作をテレビ画面に提示することができる。一部の実施形態において、制御装置１７０は、アクチュエータ１４２、１４４、１４６、１４８、及び静電デバイス１４９と通信可能に接続され、感知されたジェスチャを受信したことに応答して触覚効果を提供してもよい。制御装置１７０は、論理回路、一又は複数のプロセッサ、又は前記以外の任意のコンピュータ回路を備えることができる。

一部の実施形態において、装置１００の一又は複数のコンポーネントは、柔軟性があるものであってもよく、表面１１０等の柔軟性のある表面の一部を構成したり、又は当該柔軟性のある表面と動作可能に接続されてもよい。

図３ないし図７は、対話型電子装置１００の柔軟性のある表面１１０に加えられるフレックスジェスチャの例を示す。図３は、柔軟性のある表面１１０に加えられる曲げジェスチャを示す。図３Ａには、曲げられた表面の正面図が３Ａ−３Ａ線に沿って示されている。図示のとおり、当該フレックスジェスチャは、下方又は内方等の第１の方向に加えられ、上方又は外方等の第２の方向に加えられ、その他の方向にも加えられる。一部の実施形態において、第２の方向は第１の方向と逆方向である。一部の実施形態において、第２の方向は、第１の方向と直交し、又は、当該第１の方向に対して直交以外の関係を有する。例えば、第１の方向が装置１００の左右端の曲げに関連する一方、第２の、直交する方向が装置１００の上下端の曲げに関連するようにしてもよい。一部の実施形態において、変形は大きさを有していてもよい。当該大きさには、変形の程度、表面の変形速度、変形の継続期間、又はこれらの任意の組み合わせが含まれても良い。一部の実施形態においては、表面１１０を閾値かそれ以下に曲げることが第１のフレックスジェスチャを構成する一方、表面を当該閾値を超えて曲げることが第２のフレックスジェスチャを構成するようにしてもよい。

図４は、柔軟性のある表面１１０の側部に加えられるねじりジェスチャを示す。図４Ａは、ねじれた表面の正面図を４Ａ−４Ａ線に沿って示す。図４Ａに示す通り、ねじりは、表面１１０の左側方にのみ加えられても良い。図４Ｂは、ねじれた表面の側面図を４Ｂ−４Ｂ線に沿って示す。図４Ｂに示す通り、フレックスジェスチャは、第１の方向に曲げられる。この第１の方向は、左上のコーナー部が外方、ユーザから離れる方向（表面がユーザと向き合っていると仮定する）、又は下方（表面が上向きになっていると仮定する）に曲げられる向きであってもよい。この第１の方向において、左下のコーナー部は、内方、ユーザに向かう方向、又は上方に曲げられてもよい。

図５に示すように、フレックスジェスチャは、第２の、反対の方向に加えられても良い。図５Ｂは、ねじれた表面１１０の側面図を５Ｂ−５Ｂ線に沿って示す。図５Ｂに示す通り、左上のコーナー部は、内方、ユーザに向かう方向、又は上方に曲げられ、左下のコーナー部は外方、当該ユーザから離れる方向、又は下方に曲げられても良い。図５Ａは、表面１１０の左側部に加えられるねじりの第２の方向を示す。このねじりジェスチャは、表面１１０の右側部にも同様の方法で加えられ得る。一部の実施形態において、閾値かそれ以下にねじることが第１のねじりジェスチャを構成し、閾値を超えてねじることが第２のねじりジェスチャを構成するようにしてもよい。

図６及び図７は、表面１１０の対向する２つの側部に加えられるねじりフレックスジェスチャを示す。図６Ａ及び図６Ｂに示すように、このねじりジェスチャは、表面１１０の左上のコーナー部を外方、ユーザから離れる方向、又は下方にねじり、右下のコーナー部を外側、当該ユーザから離れる方向、又は下方にねじる第１の方向に加えられる。図７Ａ及び図７Ｂに示す通り、当該ねじりジェスチャは、右上のコーナー部を外方、ユーザから離れる方向又は下方にねじり、左下のコーナー部を外方、当該ユーザから離れる方向又は下方にねじる、第２の、反対の方向に加えられ得る。ここで示されるフレックスジェスチャは例示に過ぎず、これ以外の任意のフレックスジェスチャが対話型電子装置の柔軟性のある表面に加えられ得る。例えば、フレックスジェスチャは、柔軟性のある表面１１０を丸め、表面１１０をねじることなくそのコーナー部のみを曲げることができ、又は柔軟性のある表面１１０の１つの側部のみを曲げることができる。

対話型電子装置１００によって感知されたフレックスジェスチャは、アプリケーション動作を発生させるユーザ入力として使用することができる。この動作は、例えば、制御装置１７０によって実行される。一部の実施形態において、当該アプリケーション動作は、ゲーム内等の仮想環境又はシミュレートされた環境における動作に関連していてもよい。例えば、アプリケーション動作は、ゲーム内で前方又は後方に動くこと、ゲーム内で武器を発射又は装着すること、ゲーム環境の双眼鏡のズームインもしくはズームアウト、又はゲームでカードをシャッフルしたり配ったりすることを含む。このアプリケーション動作の各々は、フレックスジェスチャに関連づけられ、さらにフレックスジェスチャの方向、大きさ、又はその組み合わせに関連づけられる。例えば、外部方向への曲げジェスチャを、ゲーム環境において前方へ動くことに関連づける一方、内方への曲げジェスチャを、当該ゲーム環境において後方へ動くことに関連づけることができる。右上のコーナー部を上方に曲げるねじりジェスチャを、当該ゲームにおいて武器を発射することに関連づける一方、その右上のコーナー部を下方に曲げるねじりジェスチャを、当該ゲームにおいて武器を装着することに関連づけることができる。一部の実施形態において、ゲームやそれ以外の任意のアプリケーションにおけるフレックスジェスチャとアプリケーション動作との関連づけはユーザによってカスタマイズされ得る。このカスタマイズは、例えば、制御装置１７０又は装置１００とは別個のコンピュータ装置によって実行され得る。

一部の実施形態において、ゲーム及びその他のアプリケーションにおいて用いられるフレックスジェスチャは、ユーザ入力の他の形態を用いて加えられ得る。一例において、フレックスジェスチャを、ゲーム中の乗り物の加速又は減速と関連づける一方、加速度計１５４からの信号をステアリング動作に関連づけることができる。一例において、フレックスジェスチャを、ゲーム内での動き動作に関連づける一方、ユーザ入力装置１２８の押下を当該ゲームにおける武器の発射に関連づけることができる。一例において、フレックスジェスチャを武器の発射動作に関連づける一方、装置１００のジャイロスコープは、当該ゲーム内における当該武器の目標方向（又は車の操舵方向）に関連する方向を測定することができる。一例において、曲げジェスチャをゲーム内において弓を引くことに関連づける一方、ユーザ入力装置１２４の押下を、矢を放つために弓を解放することに関連づけることができる。

一部の実施形態において、アプリケーション動作は、メニューの操作に関連し得る。これらの実施形態において、曲げジェスチャは、メニュー内での前進や後退、メニューの選択項目内でのスクロールアップやスクロールダウン、又はメニューの選択項目の選択又は非選択と関連づけられ得る。ねじりジェスチャは、画面に表示されるメニューを切り替える動作と関連づけられ得る。

一部の実施形態において、アプリケーション動作は、装置１００又は装置１００と通信するホームエンタテインメントシステム上で実行される電子書籍、音楽、又は画像アプリケーション等のマルチメディアプラットフォームの制御と関連し得る。これらの実施形態において、曲げジェスチャは、書籍のページ、メディアトラック、又はチャネルを前に送ったりや後ろに送ったりすることに関連づけられ得る。ねじりジェスチャは、音量を上げる動作や下げる動作に関連づけられ得る。他の例において、表面１１０のコーナー部を曲げる等のフレックスジェスチャは、装置１００のオン操作やオフ操作、又はテレビのオン操作やオフ操作に関連づけられ得る。本明細書において説明するアプリケーション動作は例示に過ぎず、フレックスジェスチャは、任意のアプリケーション及びユーザ入力に対する任意の応答に関連づけられ得る。

本明細書の一部の例においては、２つの異なる方向のフレックスジェスチャが２つの反対のアプリケーション動作（例えば、前方への移動と後方への移動）に関連づけられることが示されているが、２つの異なる方向のフレックスジェスチャは任意の２つのアプリケーション動作に対応付けられ得る。例えば、上方への曲げジェスチャを電話の通話画面を表示するアプリケーション動作に対応付ける一方、下方への曲げジェスチャを音楽を再生するアプリケーション動作に対応付けることができる。

一部の実施形態においては、フレックスジェスチャを組み合わせることができる。例えば、装置１００によって制御されるテレビをスリープモードにするアプリケーション動作は、第１の方向の曲げジェスチャとそれに続く第２の方向のねじりジェスチャを必要としてもよい。このねじりジェスチャは、表面１１０が傾けられている間に加えられる必要があり、又は表面１１０が曲げられてその後解放された後に加えられる。フレックスジェスチャのシーケンスに関連づけられるテレビのハイバネーション等のアプリケーション動作に関し、当該シーケンス中の一又は複数のジェスチャの後に、当該シーケンスが正しく行われていることを確認するために、音声確認の出力等の他のアプリケーション動作が提供され得る。他の例において、曲げジェスチャをゲームにおいて弓を引くことに関連づける一方、表面が曲げられている間に加えられたねじりジェスチャを、矢を放つために当該弓を解放することに関連づけることができる。

一部の実施形態において、アプリケーション動作は、接触ジェスチャ及びフレックスジェスチャを有するシーケンスと関連づけられ得る。例えば、曲げジェスチャは、装置１００において電話のバイブレーションモードと着信音モードとを切り替えることに関連づけられ得るが、制御装置１７０は、ユーザが当該フレックスジェスチャの前の閾値時間内に表面１１０に接触ジェスチャを加えない限りアプリケーション動作を発生させないことを選択することができる。例えば、ユーザは、表面１１０を曲げる前に画面１３０上を任意の方向にスワイプしなければならない。曲げジェスチャのみが検出された場合には、制御装置１７０は応答しないか、又は、接触ジェスチャが受信されなかったので切り替えるアプリケーション動作は実行されないことを示す視覚出力又は音声出力を提示することができる。接触ジェスチャを切り替え動作に組み込むことにより、装置１００はバイブレーションモードと着信音モードとを誤って切り替えることを防止できる。一部の実施形態においては、フレックスジェスチャが対象のアプリケーション動作を切り替える前に、接触ジェスチャが加えられる必要がある。接触ジェスチャを表面に加えることには、当該表面へ
接触すること、当該表面上でスワイプ動作をすること、当該表面でピンチ動作又は拡大動作をすること、又は前記以外の任意の接触ジェスチャが含まれ得る。

一部の実施形態において、アプリケーション動作は、加速度計に基づくジェスチャ及びフレックスジェスチャを有するシーケンスに関連づけられても良い。例えば、スイングジェスチャ等の加速度計に基づくジェスチャは、装置１００によってなされてもよく、バーチャルなテニスゲームのテニススイングに関連づけられてもよい。例えば、加速度計１５４及びジャイロスコープは、このスイングを検知することができる。このスイングの検知に応答して、例えば制御装置１７０によって、画面上でテニススイングのアニメーションが実行され得る。この例では、フレックスジェスチャは、例えば、サーブのためのテニスボールのトスのシミュレーションに関連づけられ得る。例えば、フレックスジェスチャセンサ１５６は、このフレックスジェスチャを検知することができる。制御装置１７０は、このフレックスジェスチャの検知に応答して、画面上でテニスのサーブのアニメーションを実行することができる。

アプリケーション動作の実行には、画面やそれ以外の任意のユーザ出力装置（例えばスピーカ）にアプリケーション動作を提示することが含まれ得る。一例において、制御装置１７０は、ゲームにおいて移動の動作を提示することができ、又は画面１３０においてメニューの選択動作を提示することができる。動作を提示することには、当該動作に対応する画像コンテンツを制御装置１７０中のビデオチップに描画させることが含まれ得る。一例において、制御装置１７０は、無線送受信機１６０を制御して、ゲームコンソール等の他のコンピュータ装置にフレックスジェスチャに関連する信号を送信することにより、フレックスジェスチャと関連づけられたズーム動作を実行することができる。そして、このゲームコンソールは、当該動作をテレビ画面に表示することができる。この例では、制御装置１７０は、無線送受信機１６０を制御して、ゲームコンソールに動きコマンドを送信することができ、また、制御装置１７０は、無線送受信機１６０を制御して、例えば単に外方への曲げジェスチャが発生したことを示す信号を送信することができる。後者の場合、ゲームコンソールは、当該コンソールに記憶されたジェスチャと動作のマッピングに基づいて当該曲げジェスチャから動きコマンドを生成することができる。

一部の実施形態において、フレックスジェスチャは、触覚効果を発生させることができる。触覚効果は、刺激又は力を意味し、振動、引力や斥力、電圧や電流、これら以外の機械的又は電磁的な力、加熱や冷却、又は前記以外の刺激を含むがこれらには限られない。触覚効果は、本明細書において説明された力又は刺激の一つ又はその組み合わせを含むことができる。複数の触覚効果が全体としての触覚効果を形成するために組み合わせられる。一例において、制御装置１７０は、フレックスジェスチャを感知し、また、アクチュエータ１４２、１４４、１４６、１４８、及び静電デバイス１４９の一又は複数を動作させることができる。フレックスジェスチャ間の触覚効果は同じであってもよいが異なっていてもよい。例えば、制御装置１７０は、上方への曲げジェスチャに応答してアクチュエータ１４４のみを動作させることができ、下方への曲げジェスチャに応答してアクチュエータ１４２及び１４４を動作させることができ、また、ねじりジェスチャに応答して４つアクチュエータ全てを動作させることができる。一部の実施形態において、触覚効果の種類、継続時間、又は強度は、どのフレックスジェスチャが加えられたか又はどのアプリケーション動作について実行されたかに基づいて変わり得る。例えば、音楽の音量を上げるフレックスジェスチャに応答して実行される触覚効果は、音楽の音量を下げるフレックスジェスチャに応答して実行される触覚効果よりも、強度を強くすることができる。フレックスジェスチャが他のアプリケーション動作、例えばテレビチャネルを変更する動作やメニューをスクロールする動作、と後から関連づけられる場合には、他の種類の触覚効果（例えば、静電的な触覚効果又は熱系の触覚効果）が当該フレックスジェスチャに関連づけられる。一部の実施形態において、触覚効果の種類、継続期間、及び強度は、フレックスジ
ェスチャによって制御される。例えば、触覚効果の強度（例えば、頻度及び／又は振幅）は、フレックスジェスチャの大きさ（例えば、曲げの速度や程度）に基づくものであってもよい。ゲームでより大きな加速を実行したり、電子文書においてより速くスクロールするために対話型電子装置の柔軟性のある表面がより多く又はより速く曲げられると、触覚効果の頻度や振幅も大きくなる。

一部の実施形態において、触覚効果は、フレックスジェスチャが有効になっている場合にのみ、フレックスジェスチャに応答して実行される。フレックスジェスチャは、例えばそのジェスチャに関連するアプリケーション動作が関連づけられていない場合に無効化され得る。一部の実施形態において、ジェスチャが無効化されたことを示すために、初期設定された触覚効果（例えば、強度３で２秒間のアクチュエータ１４４の振動）が、ユーザに対して与えられ得る。

一部の実施形態において、触覚効果は、ジェスチャのシーケンス、例えば接触ジェスチャ及びフレックスジェスチャのシーケンス、に対応付けられ得る。当該シーケンスは、アプリケーション動作、例えば、上述したテレビをスリープモードにする動作やバイブレーションモードと着信音モードとを切り替える動作に関連づけられ得る。一例において、当該ジェスチャのシーケンスが正しく加えられたときにのみ、触覚効果（例えば、アクチュエータ１４２及び１４４の振動）が提供される。シーケンスが正しく行われていることを確認するために、当該シーケンス中の一又は複数のジェスチャに続いて、他の触覚効果（例えば、アクチュエータ１４２の振動）が実行され得る。一例においては、全ての無効なジェスチャのシーケンスに応答して初期設定の触覚効果（例えば、強度３で２秒間のアクチュエータ１４４の振動）が実行され得る。

現時点において最も実用的かつ望ましいと考えられている様々な態様に基づいて、例示のために本発明を詳細に説明したが、このような詳細な説明は例示のみを目的としたものであって、本発明は開示された実施形態に限定されるものではなく、むしろ添付された特許請求の範囲の趣旨及び範囲に入る変形や均等な配置も本発明に含められることが意図されている。更なる例として、本発明においては、あらゆる実施形態の一又は複数の特徴を他の実施形態の一又は複数の特徴と可能な限り結合することができる。

Claims (20)

1. 柔軟性のある表面を有するユーザインタフェースと、
   前記柔軟性のある表面に加えられたフレックスジェスチャを感知するように構成されたセンサと、
   前記フレックスジェスチャに応答して触覚効果を生成するように構成された触覚装置と、
   前記センサ及び前記触覚装置と信号通信する制御装置と、
   を備え、
   前記制御装置は、
   前記触覚装置に前記フレックスジェスチャの触覚的確認を提供させ、また、
   前記フレックスジェスチャに関連するアプリケーション動作を実行させる、
   ように構成された対話型電子装置。
2. 前記アクチュエータはフレキシブルアクチュエータである、請求項１に記載の対話型電子装置。
3. 前記制御装置は、前記フレックスジェスチャに関連づけられた信号を、前記アプリケーション動作に関連づけられたアプリケーションを実行するように構成されたコンピュータ装置に出力することで、前記アプリケーション動作を実行するように構成された、請求項１に記載の対話型電子装置。
4. 前記コンピュータ装置に前記信号を送信するように構成された無線通信装置をさらに備える請求項３に記載の対話型電子装置。
5. 前記ユーザインタフェースはフレキシブル表示画面を備え、前記制御装置は、前記アプリケーション動作を当該表示画面で提示することによって前記アプリケーション動作を実行するように構成された請求項１に記載の対話型電子装置。
6. 前記柔軟性のある表面に加えられた接触ジェスチャを感知するように構成された第２のセンサをさらに備える請求項１に記載の対話型電子装置。
7. 前記制御装置は、前記第２のセンサが前記接触ジェスチャを感知し、前記センサが前記フレックスジェスチャを感知した場合にのみ、前記アプリケーション動作を実行するように構成された請求項６に記載の対話型電子装置。
8. 前記柔軟性のある表面が前記対話型電子装置の端部に配置された請求項１に記載の対話型電子装置。
9. 前記センサは、歪みゲージ、圧電トランスデューサ、加速度計、又はジャイロスコープを備える請求項１に記載の対話型電子装置。
10. 前記センサによって感知される前記フレックスジェスチャは、前記柔軟性のある表面の曲げを含む請求項１に記載の対話型電子装置。
11. 前記センサによって感知される前記フレックスジェスチャは、前記柔軟性のある表面のねじりを含む請求項１０に記載の対話型電子装置。
12. 前記制御装置は、前記触覚装置に前記曲げに応答して第１の触覚効果を提供させ、前記触覚装置に前記ねじりに応答して第２の触覚効果を提供させるように構成された請求項１
    １に記載の対話型電子装置。
13. 前記センサは、第１の方向の前記フレックスジェスチャを感知し、また、反対方向の前記フレックスジェスチャを検知するように構成された請求項１に記載の対話型電子装置。
14. 前記制御装置は、前記センサが前記第１の方向の前記フレックスジェスチャを感知したことに応答して第１のアプリケーション動作を実行し、前記センサが前記反対方向の前記フレックスジェスチャを感知したことに応答して第２のアプリケーション動作を実行するように構成された請求項１３に記載の対話型電子装置。
15. 前記第１のアプリケーション動作及び前記第２のアプリケーション動作は、オン・オフ切り替え動作、選択・非選択切り替え動作、上昇・下降切り替え動作、左右切り替え動作、前後切り替え動作、ズームイン・ズームアウト切り替え動作、又はこれらの任意の組み合わせである請求項１４に記載の対話型電子装置。
16. 前記制御装置は、前記触覚装置に、前記触覚的確認の頻度又は振幅を、前記フレックスジェスチャの大きさに基づいて決定させる請求項１に記載の対話型電子装置。
17. ユーザインタフェースの柔軟性のある表面に加えられたフレックスジェスチャを感知する工程と、
    前記フレックスジェスチャの感知に応答して前記ユーザインタフェースへの触覚効果を生成する工程と、
    前記フレックスジェスチャに関連づけられたアプリケーション動作を実行する工程と、
    を備える触覚的ジェスチャ認識方法
18. 前記アプリケーション動作を実行する工程は、前記アプリケーション動作に関連づけられたアプリケーションを実行するコンピュータ装置に、前記フレックスジェスチャに関連づけられた信号を出力する工程、又は、前記アプリケーション動作を前記ユーザインタフェースの表示画面に提示する工程、を備える請求項１７に記載の方法。
19. 前記前記フレックスジェスチャを感知する工程は、前記柔軟性のある表面を曲げる工程、又は、前記柔軟性のある表面をねじる工程、を備える請求項１７に記載の方法。
20. 前記前記フレックスジェスチャを感知する工程の前に、前記ユーザインタフェースに加えられた接触ジェスチャ を感知する工程をさらに備え、前記触覚効果は、前記接触ジェスチャの感知及び前記フレックスジェスチャの感知に応答して精製される請求項１７に記載の方法。

Images