JP4795343B2 - 二重モードデジタイザの自動切り替え - Google Patents

Description

本発明は、透明デジタイザに関する。さらに詳細には、コンピューティングデバイスへの、複数ユーザインターラクションの入力のためのデジタイザに関する。しかし、それに限定はされない。

タッチ技術は、様々な製品のための入力装置として一般的に使用されている。様々な種類のタッチ装置の利用は、ウェブパッド、ウェブタブレット、ＰＤＡ、タブレットＰＣ、およびワイヤレス平面型表示装置のような新しいモバイル装置の出現のため、急速に増加している。これらの新しい装置は通常、それらの移動性を制限すると考えられる標準的キーパッド、マウス、または類似の入力装置に接続されない。代わりに、いずれかの種類のタッチ入力技術を使用する傾向がある。

例えばタブレットＰＣなど、いくつかの新しいモバイル装置は、強力なコンピュータツールである。タブレットＰＣのような装置はスタイラスに基づく入力装置を使用し、コンピューティングツールとしてのタブレットＰＣの使用は、スタイラス入力装置の能力に依存する。該入力装置は、手書き認識および完全なマウスエミュレーション、例えばホバリング、右クリック等をサポートする精度を有する。これらの新しいモバイル装置の製造者および設計者は、スタイラス入力システムが様々な電磁技術に基づくことができ、それは解像度、高速の更新速度、およびマウスの機能性の点で、コンピュータツールの非常に高い性能要件を満たすことができると判断した。

Ｎ−ｔｒｉｇ社に譲渡された「物理的物体ロケーション装置及び方法及び同装置を用いたプラットホーム」と題された米国特許第６，６９０，１５６号は、平面型表示装置上の物理的オブジェクトの位置を決定するための電磁的方法、換言すると、電子装置の作動中の表示スクリーンに組み込むことのできるデジタイザを記載している。その内容は、参照により本明細書に組み込まれる。

Ｎ−ｔｒｉｇ社に譲渡された「物理的物体ロケーション装置及び方法及び同装置を用いたプラットホーム」と題された米国特許第６，６９０，１５６号は、例えばスタイラスのようなディスプレー上に配置された物理的物体の位置とアイデンティティを検出する能力がある装置を紹介している。上記の電磁技術は、例えばゲームで使用する遊戯子のような複数の物理的物体の感知と同様に、２つ以上の電磁気ポインターの正確な位置検出を可能にする。

Ｎ−ｔｒｉｇ社に譲渡され、「物理的物体ロケーション装置及び方法及び同装置を用いたプラットホーム」と題された米国特許第６，６９０，１５６号、および、Ｎ−ｔｒｉｇ社により出願され、「透明なデジタイザ」と題された米国特許出願第１０／６４９，７０８号は、平面スクリーンディスプレー上に配置された複数の物理的物体、望ましくはスタイラス、を検出する能力がある位置決めデバイスを記載している。両方の特許における一つの好適な実施形態は、垂直及び水平の導体のマトリックスを含む透明フォイルから構築されたシステムを記載している。スタイラスは、フォイルを取り囲む励起コイルによりエネルギーを与えられる。スタイラスの正確な位置が、水平及び垂直の導体のマトリックスにより感知された信号を処理することにより、判断される。

Ｎ−ｔｒｉｇ社に譲渡され、「デジタイザのための接触検出」と題された、米国特許出願第１０／７５７，４８９号は、上で引用された米国特許出願第１０／６４９，７０８号に記載された透明なセンサーを用いる接触検出の３つの方法を記載している。

米国特許第６，６９０，１５６号 米国特許出願第１０／６４９，７０８号 米国特許出願第１０／７５７，４８９号

しかしながら、上で言及した出願のいずれも、例えば、電磁気スタイラスを動かしたり、別の物体を動かしたり、あるいは画面に指で触れるなど、異なるユーザインターラクション間で切り替え、適切に異なるユーザインターラクションを利用する方法あるいは装置を提供するものではない。

当該問題は、コンピュータプログラムを操作しているときの、指の接触やマウスエミュレーションの電磁気スタイラスを用いるユーザを考えれば、よく理解できる。センサーに近く電磁気スタイラスを置く一方で、当該ユーザが画面に触れるとき、デジタイザは、２つの物理的な物体を同時に、認識する。マウスエミュレーションを許容するためには、当該コンピュータカーソルの位置についての決定をしなければならない。コンピュータカーソルは、同時に２つの場所には配置することができない。また、当該スタイラス位置から、その指の位置に、制御不可能に、跳ぶこともできない。システムは、スタイラス及び指の座標の間で、選択し、カーソルをそれにしたがって移動させなければならない。

したがって、上の制限を持たないデジタイザシステムの必要性は広く認識されており、そのようなデジタイザシステムを有することは、極めて優位となる。

本発明の１つの側面によれば、前記ユーザインターラクションを感知するための少なくとも１つの検出器と、前記ユーザインターラクションの位置を見つけるための、前記少なくとも１つ検出器のそれぞれと関係する少なくとも１つの個別制御装置と、確定した方針にしたがって前記ユーザインターラクションを処理するための前記制御装置と関係する切り替えモジュールと、を備える、複数のユーザインターラクションを検出するための装置が提供される。

好ましくは、確定した方針は、ユーザインターラクションに、専用のユーザジェスチャーの性能について、他のユーザインターラクションを越える優位性を与えることを含む。

ユーザインターラクションは、例えば、電子磁気スタイラスを介するインターラクションあるいは接触を用いたインターラクションを含むことができる。

本発明の２番目の側面によれば、少なくとも１つのユーザインターラクションを検出するために構成された、少なくとも１つデジタイザと、前記少なくとも１つのユーザインターラクションに関するデータを処理するための、前記少なくとも１つデジタイザと関係する切り替えモジュールと、を備える、複数のユーザインターラクションを検出するためのシステムが提供される。切り替えモジュールは、デジタイザに実装することができる。切り替えモジュールは、また、切り替ユニットあるいは、デジタイザに関係するホストコンピュータに実装することもできる。

本発明の３番目の側面によれば、前記ユーザインターラクションのそれぞれに関する位置を検出することと、前記位置を、確定した方針に従って処理することと、前記位置に関するデータを提供することと、を含む、複数のユーザインターラクションを検出するための方法が提供される。

本発明の４番目の側面によれば、少なくとも１つのユーザインターラクションを検出するための検出器と、前記検出器と関係するジェスチャー認識器と、を備え、前記ユーザインターラクションが所定のジェスチャーであるか否かを判断するように構成される、ジェスチャー認識の装置が提供される。

特に異なる定義をしない限り、ここに使用されるすべての技術的および科学的用語は、本発明が属する技術分野の当業者が一般的に理解するのと同じ意味を持つ。ここに提供する材料、方法、および例は単なる例証であって、限定する意図は無い。

本発明の方法およびシステムの実現は、選択されたタスクまたはステップを手動的に、ないし自動的に、またはそれらを組み合わせて実行または完了することを含む。さらに、本発明の方法およびシステムの好適な実施形態による実際の計装および装備では、いくつかの選択されたステップを、ハードウェアによって、またはいずれかのファームウェアのいずれかのオペレーティングシステム上のソフトウェア、またはそれらの組合せによって、実装することができる。例えば、ハードウェアとしては、本発明の選択されたステップは、チップまたは回路として実現することができる。ソフトウェアとしては、本発明の選択されたステップは、適切なオペレーティングシステムを使用してコンピュータによって実行される複数のソフトウェア命令として実現することができる。いずれの場合も、本発明の方法およびシステムの選択されたステップは、複数の命令を実行するためのコンピューティングプラットフォームのような、データプロセッサによって実行することができる。

本発明をここで、添付の図面を参照しながら説明する。単に例としてのみである。今、図面について具体的に言及すると、図示する特定の詳細は例であって、本発明の好適な実施形態の例証的説明のみを目的としており、本発明の原理および概念的側面についての最も有用かつ容易に理解できる説明と信じられるものを提供するために提示するのであることを強調しておく。これに関連して、本発明の基本的理解に必要である以上に詳細に本発明の構造上の細部を示すことは企てず、図面に即して行なう説明は、本発明の幾つかの形態を実際にいかに具現するかを当業者に明らかにするものである。

［発明の実施の形態］
本実施形態は、ユーザインターラクションの相違に応じて検出モード間で切り替えることによる、異なるユーザインターラクションの検出のための装置、方法及びシステムを含む。

本発明に係る装置、方法及びシステムの原理および動作は、図面および付随する説明を参照することにより、いっそうよく理解することができる。

本発明の少なくとも一つの実施形態を詳細に説明する前に、本発明はその適用を以下の説明に記載または図面に示す構成部品の構成および配列の詳細に限定されないことを理解すべきである。本発明は他の実施形態が可能であり、あるいは様々な方法で実施または実行することができる。また、本書で使用する語法および専門用語は、説明を目的とするものであって、限定とみなすべきではないことを理解すべきである。

当該本発明は、本出願の背景技術の節で記載されたデジタイザシステムを参照することにより最もうまく説明される。Ｎ−ｔｒｉｇ社に譲渡され、「物理的物体ロケーション装置及び方法及び同装置を用いたプラットホーム」と題された米国特許第６，６９０，１５６号、および、Ｎ−ｔｒｉｇ社により出願され、「透明なデジタイザ」と題された米国特許出願第１０／６４９，７０８号で教示されたものである。その内容は参照により本明細書にここに組み込まれる。しかしながら、本発明は、２つ以上のユーザインターラクションを受け入れるどのようなシステムにも実装することができる。ユーザインターラクションは、接触を介するもの、スタイラスを介するものであることができる。しかし、この２つの特定の種類に限られるものではない。本発明は、当該システムにおいて、例えば、各スタイラスが、その信号を他の電磁気スタイラスからの信号と区別する唯一の特性を有する場合など、２つの電磁気スタイラス間の切り替えを可能とするために利用することができる。

本実施形態は、複数の物理的な物体を検出する能力があるデジタイザシステムの有用性の改善を試みる。実際、デジタイザは、コンピュータに関連した検出器である。あるいは、ユーザインターラクションを追跡する能力がある入力装置である。たいていの場合、デジタイザは、接触あるいはスタイラス検出を可能とするため、表示画面と関係している。

デジタイザは、少なくとも１つの物理的な物体の位置を、好ましくは非常に高い解像度及び更新率で、検出することができる。物理的な物体は、スタイラス、指（すなわち、接触）あるいは、画面に接触するいかなる伝導性物体の、どれでも可能である。物理的な物体は、ポインティング、描画、筆記（手書き文字認識）及びデバイスを用いたユーザインターラクションに典型的な他のいかなる活動にも使用することができる。

物理的物体検出は、マウスエミュレーション、グラフィック応用などに使用することができる。例えば、デジタイザに、２つ種類のユーザインターラクションを検出する能力があるときには、利用可能なアプリケーションを便利に利用できるようにするために、どのインターラクションが、主要であるかを定義する必要があり得る。

例えば、デジタイザシステムが、電磁気（ＥＭ）スタイラス及び接触の両方を検出する能力をもつ場合を考えてみればよい。ユーザのインターラクションは、マウスエミュレーションに使用される。従って、当該ユーザは、センサーに接触することにより、あるいは、ＥＭスタイラスを用いることにより、カーソルの動作を制御することができる。スタイラスの使用中にユーザがセンサーに接触するときに、あるいは、スタイラスの使用と画面への接触との間で切り替えるときに、問題が起こる。明らかに、カーソルは、同時に、２つの場所にあってはならない。また、センサー面から短時間取り除かれる場合には、スタイラス位置から接触する位置に跳躍してもいけない。

今、図１を参照する。図１は、本発明好適な実施形態による、ユーザインターラクションの検出装置のブロックダイアグラムである。

装置１００は、検出器１０４に接続された制御装置１０２を備える。

制御装置１０２は、所定の方針により、切り替えモジュール１０５を用いて、各ユーザインターラクションの検出モードの設定用に構成される。典型的な切り替え論理は、下の状態マシンフローチャートにより導かれる。

今、図２を参照する。図２は、本発明好適な実施形態による、システムのブロックダイアグラムである。

１つのシステム２００において、切り替えモジュールは、デジタイザ２０３及びホストコンピュータ２０１の間に配置され、独立した切り替えユニット２０２上に実装される。切り替えモジュールは、デジタイザ２０３から、ユーザインターラクションに関する情報を受け取り、受信したユーザインターラクションの間で、切り替えを行う。また、適切な情報をホストコンピュータ２０１に送る。

システム２１０で、いくつかのデジタイザ２１３が、切り替えモジュール２１２に接続する。このシステムにおいて、切り替えモジュール２１２は、特定の切り替え方針にしたがってホスト２１１に転送される検出情報を選択する。

いくつかの好適な実施形態において、切り替えモジュールは、第１のデジタイザ２１３の統合化部分であり得る。一方、他のデジタイザが、第１のデジタイザ２１３に、スレーブとして接続する。

好適な実施形態において、図解された装置あるいはシステムは、２つ以上のユーザインターラクションの検出モード間で、下の状態マシンフローチャートを用いて記載された切り替え論理にしたがって、切り替えることができる。そのような状態マシン論理は、各ユーザインターラクションについての一組の所定の検出モード、及び、検出モード間の切り替えのルールセットを含む方針を用いる。制御装置１０２は、各ユーザインターラクションの検出モードを適用する。

好ましくは、検出モード及びルールは、ユーザインターラクションに関する所定の方針に従って、確定する。任意選択的に、そのような方針は、１つのユーザインターラクションに、別のユーザインターラクションを越える確定した優位性を与えることを含むことができる。

好適な実施形態において、制御装置１０２は、１つのユーザインターラクションが、主要なもので、他のユーザインターラクションが、従たるユーザインターラクションであると考えることができる。

この実施形態において、当該アルゴリズムは、常に、従たる信号ではなく、主要な信号を選ぶ。入力信号が、センサー面の近傍において物理的物体の存在から発するときに、アルゴリズムは、常に、従たる物体位置座標ではなく、主要な物体位置座標を選ぶ。主要な物体が存在していないときは、アルゴリズムは、従たる物体位置座標を選ぶことができる。

当該方針は、動的に変化する方針であることができる。当該方針は、動的に変化するパラメータにしたがって優位性を与えることを含むことができる。例えば、当該優先方針は、いかなる新しい入力ユーザインターラクションに対して、新しい入力ユーザインターラクションより前に受信した、以前の入力ユーザインターラクションを越える優位性を与えることを含むことができる。

本発明の好適な実施形態において、スタイラスの検出モードの所定のセットの中での動的な切り替えによって、スタイラスは、検出される。当該セットは、スタイラス探索−スタイラスの存在の指標を探索すること、スタイラス追跡−スタイラスの正確な位置を追跡すること、及び、それを、マウスエミュレーションの、あるいは、他のいかなる関連アプリケーション、あるいは、スタイラス位置の概略感知を含むスタイラス存在の標示として用いること、含むことができる。しかし、それには限られない。

例えば、スタイラスが、スタイラス位置を正確に検出するのにクリティカルな高さより高く、いくつかの感知要素を備える検出器１０４の上の一定の距離で空中に舞っている場合には、感知要素は、スタイラスの存在を検出することができるが、スタイラスの正確な位置座標を計算することはできない。この場合、制御装置１０２は、このスタイラスに対してスタイラス存在検出モードをセットする。

別の例では、手持ち式スタイラスの信号は、手ユーザの手を介して、装置１００に、転送される。手は、環境からの各種信号の影響を受けやすい。したがって、スタイラスの信号は、スタイラスがセンサーのあたりに存在することの標示として、使用することができる。しかし、スタイラスの正確な位置は、正確に判断することができない。この場合もまた、制御装置１０２は、このスタイラスに対してスタイラス存在検出モードをセットする。

好適な実施形態において、接触のユーザインターラクションは、次の検出モードの１つにおいて、検出することができる。指探索−ユーザ接触の標示を見つけること。指追跡−その接触の正確な位置を見つけて、マウスエミュレーションの、あるいは、他のいかなる関連アプリケーションの標示として用いること。または、待機−当該位置をいかなるアプリケーションの標示としても用いないで、接触位置を追跡すること。

好適な実施形態において、制御装置１０２は、検出モード間で、次の例に記載されている状態マシンチャートを用いて、切り替え論理に従って、切り替えることができる。切り替え論理は、切り替えモジュール１０２に実装される。

今、図３を参照する。図３は、本発明好適な実施形態による、検出モード切り替えの論理を図解する、第１の状態マシンのフローチャートである。

この典型的な第１の状態マシンの図解された論理は、スタイラスの検出モードの切り替え、及び接触ユーザインターラクションを制御するのに使用される。この例では、スタイラスを配置することは、主要なユーザインターラクションであり、接触は、従たるユーザインターラクションであると見なされている。従って、両方のインターラクションが同時に起こるときには、制御装置１０２は、常に、スタイラス座標を、接触座標よりも、優先する。

他の実施形態は、接触を主要なインターラクションとし、スタイラスの配置することを従たるものであると見なすような、同様の切り替え論理を実装することができる。

いくつかの実施形態は、図３に記載された状態マシンを、２つのユーザインターラクションに関して、検出モードの切り替えを制御するのに使用することができる。しかしながら、この第１の状態マシンは、いくつかのそれぞれの物体に関して、検出モードの中での切り替えを含むように、容易に拡張することができる。

開始時には、状態マシンは、Ｓ１にある。システムは、検出器１０４の表面で、ユーザインターラクションが検出されない限りは、Ｓ１のままである。Ｓ１において、制御装置は、スタイラス及び接触ユーザインターラクションの両方に対して、探索モードをセットする。

好適な実施形態において、接触は、センサー面に局所的影響を作り出そうとしてユーザが指をつかうときに、同定される。ユーザの接触は、接触が限定された数の感知要素影響するときに（すなわち、接触が、センサー面の小領域に影響するとき）、局所的と考えられる。この場合、センサー面の広い領域に影響するいかなる接触イベントも、無視される。

Ｓ１において、局所的な接触が検出された場合Ｔ１には、状態マシンは、Ｓ２に切り替わり、スタイラス信号が検出された場合Ｔ３には、状態マシンは、Ｓ４に切り替わる。

Ｓ２において、制御装置１０２は、接触についての指追跡検出モードをセットする。一方、スタイラス探索検出モードが、スタイラスに適用される。一例を挙げれば、接触座標が、コンピュータプログラムのための標示として使用される。なお、検出器は、スタイラス信号の探索を続ける。スタイラス信号Ｔ４の検出に際して、状態マシンは、Ｓ３に切り替わる。さらに、Ｓ２において、例えば、接触が消滅する場合には、指がセンサーから離れたときに、状態マシンは、切り替わって、Ｓ１に戻る。

状態マシンは、接触及びスタイラスの両方が同時に検出される限り、Ｓ３にある。この状態では、スタイラス位置が、コンピューティングデバイス上で稼動するあらゆる関連するアプリケーションの標示として、使用され、接触座標は無視される。接触が、もはや検出されない場合、例えば、指がセンサーから外れた場合Ｔ７には、状態マシンは、Ｓ４に切り替わる。スタイラスが外れた場合、あるいは、スタイラスが追跡できなくなった場合には、状態マシンは、Ｓ３からＳ５に切り替わる。Ｓ４において、スタイラス信号が検出され、接触の標示は、存在しない。結果として、検出器は、スタイラス及び接触のそれぞれに対し、スタイラス追跡検出モード及び接触探索検出モードをセットする。スタイラスが外れるか、追跡できなくなったならばＴ９、状態マシンは、Ｓ１に切り替わる。接触の検出に際してＴ１０、状態マシンは、Ｓ４から、Ｓ３に切り替わる。

スタイラス信号を探索している間に、現在の方針が無視されていると見なすような広域接触標示が存在する場合には、あるいは、状態マシンがＳ３にあり、スタイラスが追跡できなくなっている場合には、状態マシンは、Ｓ５に切り替わる。

Ｓ５において、接触が消滅した、あるいは、指がセンサーから外れた場合Ｔ１１には、状態マシンは、Ｓ１に切り替わる。スタイラスが検出された場合Ｔ１２には、状態マシンはＳ３に切り替わる。

本発明の好適な実施形態において、接触が検出される第１のユーザインターラクションである場合と、スタイラスが検出された後に接触が検出される場合との間の相違が存在する。

この相違は、アプリケーションの制御を指接触にシフトすることを意図することなく、ユーザがスタイラスをしばらく外せるという仮定、及び、ユーザが実際に、接触制御に切り替えることを意図するならば、ユーザはセンサーから指を外し、センサーに所望の位置で再び触れるという仮定に依存する。

スタイラスが、その状態（すなわち、空中に舞っているか、センサー面に接触しているか、等）にしたがって、その周波数を変更できるようなアプリケーションにおいては、この相違もまた望ましい。

例えば、ユーザがセンサーに触れている間、センサーの上を舞っているスタイラスである。ユーザは、表示画面上の所望のアイコンにマウスカーソルを移動させ、そのアイコンをクリックしようと試みる。この場合、状態マシンは、スタイラス追跡及び指待機検出モードを定義するＳ３にある。したがって、スタイラス座標は、マウスカーソルの位置特定に使用される。接触座標は、追跡されるが、どの関連アプリケーションでも標示として使用されない。

スタイラスがセンサーに接触する場合には、その周波数は変更でき、検出器がそれを追跡できなくする。しかしながら、この場合は、スタイラスは、まだセンサー面に存在しており、スタイラスの新しい周波数を確立するために、制御装置１０２は、スタイラスの探索検出モードに切り替わる。

状態マシンがＳ２切り替わる場合には、マウスカーソルを移転するのに、接触座標が使用される。装置１００が、スタイラスの新しい周波数を同定し、制御をシフトしてスタイラスに戻す時までには、カーソルは、もはや、所望の位置には存在していない。しかしながら、状態マシンが、Ｓ３からＳ５に切り替わる場合には、接触座標は、無視され、マウスカーソルは、スタイラス信号がまた再び検出されるまで、その場所に留まる。

本発明の好適な実施形態は、手のひら拒絶方法を組み込む。すなわち、ユーザが、手のひらあるいは手を画面上に置いた場合には、接触信号を無視する。手のひら拒絶の必要性は、この種の接触がユーザインターラクションと解釈されることを意図せずに、スタイラスを用いながらユーザの手をセンサー上に置くという利便性による。

好適な実施形態は、局所的接触イベントと、広域接触イベントとを区別することにより、手のひら拒絶を実装する。連続的アンテナあるいはセンサーの所定数より多い接触信号が受信されるときに、広域接触イベントが起こる。他の実施形態は、他の方法を、手のひら拒絶を実装するために利用できる。

どのように手のひら拒絶が好適な実施形態に組み込まれるかを明確にするために、いま、図３に戻って参照する。Ｓ１において、この第１の状態マシンが、スタイラス及び接触する信号の両方に対して、探索検出モードを定義し、広域接触イベントが生起する場合Ｔ２には、状態マシンが、接触信号が無視され、検出器が、スタイラス信号の探索を続けるＳ５に切り替わる。

検出器が局所的接触／指信号を追跡している、状態マシンがＳ２にあり、広域接触イベントが検出される場合には、制御状態Ｓ５への別の移行Ｔ５が起こる。

本発明の他の実施形態は、手のひら拒絶を利用することができない。どんな種類の接触でも、正当な接触イベントとみなされる場合において、検出器接触信号を同定すれば、状態マシンは、Ｓ１からＳ２に切り替わる。これらの他の実施形態では、移行Ｔ５及びＴ２は存在しない。

本発明の別の実施形態において、この第１の状態マシン論理は、センサーの近傍でスタイラスが検出された場合には、たとえ正確なスタイラス検出不可能でも、接触信号を無視するように修正することができる。この検出モードは、上で、存在レベルモードとして参照される。

接触信号を無力にするためには、スタイラスがセンサーのあたりにあるときはいつでも、二つの修正が、図３に記載された第１の状態マシンの論理に追加される。状態マシンが、広域接触が検出されたときだけでなく、スタイラスの存在が感知されたときにも、Ｓ２からＳ５に切り替わる。さらに、状態マシンは、接触イベント及びスタイラス存在が同時に検出された場合、あるいは、広域接触検出のイベントにおいて検出された場合には、Ｓ１からＳ５に切り替わる。

今、図４を参照する。図４は、本発明好適な実施形態による、検出モード切り替えの論理を図解する、第２の状態マシンのフローチャートである。

図４は、前に（図３で）記載されたように、追加の状態（Ｓ１−Ｂ）を有し、接触−ジェスチャー認識を実装する状態マシンを図解する。

本発明の好適な実施形態は、検出モード間の切り替えのための標示として利用するために、専用の接触ジェスチャーを定義する。

例えば、所定の接触ジェスチャーは、スタイラスの２つの検出モード間の切り替えの標示として、使用することができる。

別の例では、スタイラスを通じてのインターラクションは、主要なインターラクション見なされ、接触は、従たるインターラクションと見なされている。通常、スタイラスがセンサーの近傍に存在しているときには、スタイラス追跡検出モードあるいはスタイラス存在検出モードのいずれかにあり、接触インターラクションは、無視される。一旦、ユーザが、スタイラスの代わりに接触信号を利用したいという希望を示す方法として、専用の接触ジェスチャーを行うと、ユーザが、切り替えてスタイラスインターラクションに戻すという希望の標示として、専用の接触ジェスチャーを行うまで、デジタイザは、スタイラスインターラクションを無視する。他の実施形態において、専用のジェスチャーは、スタイラスが検出されない限り、接触に優位性を与えることができる。この場合、スタイラスは、専用のジェスチャーをする前に取り除かなければならない。すなわち、システムは、Ｓ１あるいはＳ５のいずれかにある。これらの例は、スタイラスがセンサーから外されるときに、偶然の接触イベントを利用するリスクを取り除く。

１つのそのような接触ジェスチャーは、コツコツたたくジェスチャーである。好適な実施形態は、接触座標を関連アプリケーションの標示として利用することを可能とするために、コツコツたたくジェスチャーを使用することができる。ユーザが、接触信号の使用を意図するときに、ユーザは、センサーをコツコツたたく。一旦、コツコツたたくジェスチャーが、認識されると、それに続く接触信号は、関連アプリケーションの標示として使用される。好適な実施形態において、専用のジェスチャーは、接触ジェスチャーであり、スタイラスがセンサーの近傍にない限り、接触信号が利用される。他の実施形態において、専用のジェスチャーは、接触により、あるいは、スタイラスにより行うことがでる。また、ジェスチャーを行うユーザインターラクションのタイプに従って、異なる解釈をすることができる。

「コツコツたたく」ジェスチャーは、軽い接触として定義することができる。それは、ユーザが短い時間、センサーに接触することを意味する。他の実施形態は、他のジェスチャー、例えば、「ダブルクリック」ジェスチャー、あるいは、ある形状、例えば、円、線やＸを描くことを含むジェスチャー、を利用することができる。さらに、動作の方向もまた、考慮にいれることができる。例えば、左から右へ線を引くことを、スタイラスに優位性を与えるジェスチャーと見なすことができ、右から左へ線を引くことを、接触に優位性を与えるジェスチャーと見なすことができる。

好適な実施形態において、接触ジェスチャーは、接触信号を可能とするために、使用される。他の実施形態は、接触信号を可能とするために、スタイラスジェスチャーを利用することができる。逆もまた同様である。

本発明の好適な実施形態は、「コツコツたたく」ジェスチャーが認識されたときに「ＳＥＴ」となり、スタイラスが検出されたときに「ＲＥＳＥＴ」となる、フラッグ信号を利用することができる。開始時には、状態マシンは、Ｓ１−Ａにある。状態マシンは、センサー面に物理的な物体の存在がない限り、Ｓ１−Ａのままである。Ｓ１−Ａでは、検出モードが、指探索レベルと同様に、スタイラス探索レベルを定義する。

一旦、接触信号が検出され、フラッグ信号がＲＥＳＥＴになるとＴ１３、状態マシンは、Ｓ１−Ｂに切り替わる。この状態において、接触イベントの性質が調べられる。長期に渡る持続時間、接触信号が検出される場合にはＴ１５、状態マシンは、Ｓ５に切り替わる。従って、接触信号は、無視され、フラッグは、「ＲＥＳＥＴ」のままである。接触イベントが、短い時間起こる場合Ｔ１４（すなわち、接触イベントが「コツコツたたく」ジェスチャーに似ている）、状態マシンは、切り替わり、Ｓ１−Ａに戻り、フラッグ信号が「ＳＥＴ」となる。この時点から、追加の接触信号の検出に際して、状態マシンは、Ｓ２に切り替わるＴ１。

図４に図解するように、状態マシンは、コツコツたたくジェスチャーを認識するように設計される。

いくつかの実施形態は、図解されたこの状態マシンの論理を、他のジェスチャーを認識するように、変更することができる。

いくつかの実施形態は、２つのジェスチャーを使用することができる。１つを、接触信号を可能とするために、及び別の１つを、スタイラス信号を可能とするために、である。後者のアプローチは、最後に受信したジェスチャーに従った動的な優位性を可能とすることができる。例えば、当該接触周波数におけるコツコツたたくジェスチャーは、接触信号に高い優位性を与えることができ、スタイラス信号は、当該スタイラス周波数における対応するジェスチャーが検出されるまで、無視される。

この第２の状態マシンは、いくつかのそれぞれの物体に関する入力信号の間で切り替わるように、容易に拡張できる。

今、図５を参照する。図５は、本発明好適な実施形態による、検出モード切り替えの論理を図解する、第３の状態マシンのフローチャートである。

本発明の好適な実施形態において、検出モードの方針は、ユーザインターラクションの優先度を動的に変化させることを実装する。この方針は、動的優位性決定を定義する。

この典型的な第３の状態マシンの論理が、スタイラス及び指ユーザインターラクションに関して検出モードの切り替えを制御するために、確定される。しかしながら、この第３の状態マシンは、種々のそれぞれの検出物体に関して、いくつかの入力信号の検出モード間で切り替わるように、容易に拡張することができる。

この実施形態において、新規に受信したユーザインターラクションは、既存のユーザインターラクションを越える優位性が与えられる。

開始時には、状態マシンは、Ｓ１にある。Ｓ１は、指探索検出モード及びスタイラス探索検出モードを定義する。Ｓ１から、状態マシンは、Ｓ２あるいはＳ４のどちらかに切り替わることができる。

接触信号が検出される場合にはＴ１、この第３の状態マシンは、制御状態Ｓ２に切り替わる。Ｓ２は、指追跡を、接触インターラクションの検出モードとして、また、スタイラス探索を、スタイラスインターラクションの検出モードとして定義する。ユーザがセンサーから指を外し、接触信号が失われる場合にはＴ３、状態マシンは、切り替わって、Ｓ１に戻る。

スタイラス信号が検出されるときＴ２、状態マシンは、Ｓ１からＳ４に切り替わる。Ｓ４は、スタイラス追跡を、スタイラス信号の検出モードとして、指探索を、接触信号の検出モードとして定義する。ユーザが、スタイラスを外し、スタイラス信号がもはや検出されない場合にはＴ７、状態マシンは、切り替わって、Ｓ１に戻る。

状態マシンがＳ２にあるとき、検出モードは、指追跡及びスタイラス探索検出モードを定義するように、セットされる。唯一の検出されたユーザインターラクションが存在するので、接触座標は、関連アプリケーションの標示として使用される。ここで、スタイラス信号が検出された場合にはＴ４、状態マシンは、Ｓ３に切り替わり、ユーザがセンサーから指を外した場合にはＴ３、状態マシンは、切り替わって、Ｓ１に戻る。

Ｓ３において、スタイラス信号は、接触信号に沿って追跡される。この状態において、スタイラス座標が、関連アプリケーション（すなわち、スタイラス追跡モード）の標示として使用され、指座標は、追跡され続ける（すなわち、検出モードを待機する）が、無視される。

Ｓ３において、状態マシンは、次のうちの１つに切り替わることができる。スタイラスが外された場合Ｔ５、状態マシンは切り替わり、Ｓ２に戻る。接触信号が、もはや検出されない場合Ｔ６、システムはＳ４に切り替わる。

状態マシンがＳ４にあるとき、スタイラス信号は、存在する唯一の入力信号であり、スタイラス位置は、関連アプリケーションに対する唯一の標示である。それにもかかわらず、検出器１０４は、接触信号を探索する。Ｓ４において、接触インターラクションが検出されたときＴ８、状態マシンは、Ｓ５に切り替わる。また、スタイラスが外れた場合にはＴ７、状態マシンは、Ｓ１に切り替わる。

Ｓ５において、接触ユーザインターラクションは、スタイラスユーザインターラクションを越える優位性を与えられる。したがって、接触座標が利用され、スタイラス座標は無視される。しかしながら、デジタイザは、当該スタイラス位置を追跡しつづける。一旦、接触が外れるとＴ９、状態マシンは、切り替わり、Ｓ４に戻る。スタイラスが外れるとＴ１０、状態マシンは、Ｓ２に切り替わる。

上に記載されたように、この好適な実施形態は、検出された最新のインターラクションに、優位性を与える。検出器がスタイラス座標を用い、新しい接触イベントが起こるときには、検出器は、接触座標を用い始める。それは、接触及びスタイラス信号の両方が検出される限り続く。

この実施形態で、制御をシフトしてスタイラスに戻すために、スタイラスは、接触インターラクションより新しいインターラクションであると、見なされなければならない。この状況は、スタイラスをセンサーから外して、次に、それをセンサー面に戻すことによって、作り出すことができる。この種類の操作により、スタイラス信号が、より新しい信号として認識されることとなり、従って、次に、スタイラス座標が、アプリケーションの標示として採用され、接触座標は無視される。

本発明の好適な実施形態は、同時にいくつかのユーザインターラクションを検出する能力があるデジタイザを利用する。他の実施形態は、それぞれが、特定の種類のユーザインターラクションを検出する能力があるいくつかのデジタイザを含むことができる。

いくつかのユーザインターラクションを検出する能力がある１つのデジタイザを用いることの有利性は、次の例で立証することができる。

第１のデジタイザが電磁気スタイラスを感知する能力があり、第２のデジタイザが接触を検出する能力があるような、システムにおいて、接触感知デジタイザは、電磁気スタイラスに源を発する信号については全く念頭になく、逆もまた同様である。従って、手に影響する電磁気スタイラスからのいかなる信号も、接触感知デジタイザでは、検出されない。他の言葉でいえば、スタイラス存在は、接触感知デジタイザを介して感知することができない。また、スタイラス存在検出モードに依存する切り替え方針を実装することは可能ではない。事実、他のユーザインターラクションを念頭におかないで、特定のユーザインターラクションを検出するように設計された、どのようなシステムも、同じ制限に苦しんでいる。従って、後者の例は、異なるユーザインターラクションを感知するように設計されたデジタイザのどのようなセットに対しても適用できる。

唯一のデジタイザの方が、デジタイザのセットよりも望ましい別のシナリオは、図５に図解するシナリオである。切り替え方針は、当該シス内の最新の物体に優位性を与えるものとして定義される。システム内の全ての物体が、唯一のデジタイザを介して検出されたとき、検出順位は明確である。しかしながら、いくつかのデジタイザを備えるシステムでは、当該切り替え方針を実装するために、異なるデジタイザユニットを同期しなければならない。これは、各デジタイザが、異なるレートで動作できるという事実を考えれば、単純なタスクではない。

いくつかのユーザインターラクションを検出する能力がある単一のデジタイザを用いることにより、タイミングの問題、検出順位についてのあいまい性、別のユーザインターラクションを通して１つのユーザインターラクションに関する信号を感知する能力のなさ、などの問題を回避することができる。

今、図６を参照する。図６は、本発明好適な実施形態による、ユーザインターラクションを検出するための第１のシステムを図解するブロックダイアグラムである。

第１のシステムは、コンピュータアプリケーションを稼働するためのホストコンピューティング装置６１０と、ホストコンピューティング装置６１０と関係する複数ユーザインターラクションの入力のためのデジタイザ６２０と、を備え、ホストコンピューティング装置６１０に、ユーザインターラクションに関する入力データ、及び、各ユーザインターラクションに対する検出モード間の切り替えのための、デジタイザ６２０上に実装された切り替えモジュール６３０を提供するように構成されている。

切り替えモジュール６３０は、各ユーザインターラクションに対する検出モードの設定のために、上の状態マシンチャートで図解したように、所定の方針にしたがって、切り替え論理を用いて、制御装置６３２の一部として実装される。

デジタイザモジュール６２０は、各ユーザインターラクションに対して設定された検出モードに従って、入力ユーザインターラクションを検出するために、制御装置６３２と関係する検出器６３４、及び、当該ホストコンピューティング装置６１０に、関連ユーザインターラクション検出データを提供するために、検出器６３４と関係する出力ポート６３８をさらに備える。

制御装置６３２は、サンプルされたデータを読み出し、それを処理する。そして、物理的物体、例えばスタイラスあるいは指、の位置を判断する。切り替えモジュール６３０は、デジタイザ６２０上に、ディジタル信号処理（ＤＳＰ）コアあるいは処理装置のどちらを用いて実装できる。切り替えモジュール６３０は、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡあるいは他の適切なハードウェア部品に埋め込むことができる。「ディジタルユニット」と題するＵＳ米国特許出願第１０／６４９，７０８号に図解されているように、計算した位置座標は、ホストコンピューティング装置６１０にリンクを通じて、送信される。

本発明の実施形態は、非モバイルデバイス、例えば、デスクトップＰＣ、コンピュータワークステーションなどに、適用することができる。

好適な実施形態において、コンピューティングデバイス６１０は、モバイルコンピューティングデバイスである。任意選択的に、モバイルコンピューティングデバイスは、平面パネル表示（ＦＰＤ）画面を有する。モバイルコンピューティングデバイスは、ユーザとデバイスとの間のインターラクションを可能とするどのようなデバイスであっても良い。そのようなデバイスの例は、タブレットＰＣ、ペンが使用可能なラップトップコンピュータ、ＰＤＡあるいは、パームパイロットや携帯電話などのハンドヘルドのデバイスである。好適な実施形態において、モバイルデバイスは、自分自身のＣＰＵを有する独立したコンピュータシステムである。他の実施形態において、モバイルデバイスは、システムの一部分のみであることもできる。例えば、パーソナルコンピュータの無線モバイル画面である。

好適な実施形態において、デジタイザ６２０は、ユーザインターラクションを追跡する能力がある、コンピュータ関連入力装置である。たいていの場合、デジタイザ６２０は、表示画面と関係し、接触あるいはスタイラス検出を可能とする。任意選択的に、デジタイザ６２０は、表示画面の上部に配置される。例えば、Ｎ−ｔｒｉｇ社に譲渡された米国特許第６，６９０，１５６号「物理的物体ロケーション装置及び方法及び同装置を用いたプラットホーム」及びＮ−ｔｒｉｇ社により出願された米国特許出願第１０／６４９，７０８号、「透明なデジタイザ」は、平面スクリーンディスプレー上に配置された複数の物理的物体、望ましくはスタイラス、を検出する能力がある位置決めデバイスを記載している。その内容は参照により本明細書にここに組み込まれる。

任意選択的に、デジタイザ６２０は、透明なセンサーを用いて実装された、モバイルコンピューティングデバイス５１０のための透明なデジタイザである。

本発明の好適な実施形態において、米国特許出願第１０／６４９，７０８号で、「センサー」として上で参照され図解されるように、透明なセンサーは、例えば、インジウムスズ酸化物（ＩＴＯ）あるいは伝導性ポリマーなどの伝導性材料からなる、透明なフォイルあるいは基板上にパターンされた伝導性配線のグリッドである。

この本発明の好適な実施形態において、フロントエンドは、センサー信号が処理される第１段階である。差動増幅器は、信号を増幅し、それらを切り替え器に転送する。切り替え器は、さらに処理される入力を選択する。選択された信号は、サンプリングに先立って、フィルター及び増幅器により、増幅され、フィルターにかけられる。次に、米国特許出願第１０／６４９，７０８号で、「センサー」として上で参照され図解されるように、信号は、アナログ−ディジタル変換器（Ａ２Ｄ）によりサンプリングされ、シリアルバッファを介してディジタルユニットに送信される。

本発明の好適な実施形態において、フロントエンドのインターフェースは、種々のフロントエンドからサンプリングされた信号のシリアル入力を受け取り、並行表示にパックする。

好適な実施形態において、デジタイザ６２０は、ホストコンピューティング装置６１０に、座標の１セットを送る。同時に、状態信号は、物理的物体の存在を示す。

デジタイザ６２０は、１つの以上の物体が存在しているときには、ホストコンピューティング装置６１０に、どの座標を送るのかを決定しなければならない。決定は、デジタイザ６２０上に実装できる切り替えモジュール６３０を利用してなされる。

好適な実施形態において、切り替えモジュール６３０は、検出モードの間の切り替えのための、切り替え論理を実装する。１つの実施形態において、切り替え論理は、ユーザインターラクションに関する所定の方針に従って定義される。

任意選択的に、この優先方針は、１つの種類のユーザインターラクションに、別の種類のユーザインターラクションを越える、明確な優位性を与えることを含むことができる。

あるいは、この方針は、動的に変化するパラメータにしたがって優位性を与えることを含むことができるような、動的に変化する方針であることができる。例えば、優先方針は、いかなる新しい入力ユーザインターラクションにも、その新しい入力ユーザインターラクションの前に受信された以前の入力ユーザインターラクションを越える、優位性を与えることを含むことができる。

切り替え論理の例が、図面３〜５中の状態マシンフローチャートを用いて、上に提供されている。

好適な実施形態において、デジタイザ６２０は、ホストコンピューティング装置６１０、平面パネル表示（ＦＰＤ）画面の上部に統合される。他の実施形態において、透明なデジタイザは、画面の上部に配置可能な付属品として提供できる。そのような構成は、ラップトップコンピュータに非常に有用であることができる。ラップトップコンピュータは、既に市場に非常に多数出ており、ラップトップを、手筆記、描画、あるいは透明なデジタイザにより可能となる他のあらゆる作業を支えるコンピューティングデバイスとしている。

デジタイザ６２０は、非透明なセンサーを用いて実装された非透明なデジタイザであることもできる。そのような実施形態の１つの例は、筆記パッドデバイスである。それは、普通の紙の下に配置される薄いデジタイザである。この例では、スタイラスが、電磁気の機能で、実際のインクと結合する。ユーザは、通常の紙の上に筆記し、入力は、その上に実装された切り替えモジュール６３０を利用して、デジタイザ６２０上で処理される。また、入力は同時に、データを格納しあるいは分析するために、ホストコンピューティング装置６１０に転送される。非透明なデジタイザ６２０を用いる別の実施形態は、電子エンタテインメントボードである。この例では、デジタイザ６２０はボードのグラフィック画像の下に取り付けられ、ボードの上に配置されたゲームフィギュアの位置およびアイデンティティを検出する。この場合、グラフィック画像は静的であるが、時々、手動的に交換することができる（例えば、異なるゲームに切り替えるときのように）。

例えば、ホストコンピュータと関係するデジタイザは、ゲームボードとして利用することができる。ゲームボードは、いくつかの区別できるゲームピースと関連付けることができる。例えば、電磁気トークン、あるいは、ユニークな特性をもつ容量性ゲームピースなどである。このアプリケーションにおいて、デジタイザによって、１つの以上のゲームピースが感知されるという状況があり得る。ゲーム中のどの所定の時間でも、どのゲームピースに所定の優位性を与えるかについて、決定されなければならない。ゲームピース、すなわち、ユーザインターラクションが取り扱われる方針は、ホストコンピュータ上で稼働する関連アプリケーションにより、動的に構成することができる。

本発明のいくつかの実施形態において、非透明なデジタイザは、ＦＰＤ画面の背部に統合される。そのような実施形態の１つの例は、ＦＰＤ表示をもつ電子エンタテインメントデバイスである。装置はゲームに使用することができ、その過程でデジタイザは遊戯フィギュアの位置およびアイデンティティを検出する。デバイスはまた描画ないし筆記にも使用することができ、デジタイザは一つまたはそれ以上のスタイラスを検出することが要求される。たいていの場合、ＦＰＤを有する非透明センサーの構成は、高い性能が当該応用にクリティカルでないときに使用される。

デジタイザ６２０は、複数指接触を検出することができる。デジタイザ６２０は、いくつかの電磁気物体を、別々に、あるいは、同時に、のどちらでも、検出することができる。その上、接触検出は、スタイラス検出と同時に、実装することができる。本発明の他の実施形態は、当該同一の画面上で同時に動作する１つ以上の物体をサポートするのに、使用することができる。そのような構成は、複数のユーザが同一の紙状スクリーンに、描画または筆記を行なうことができる、エンタテインメント用途に非常に有用である。

本発明の好適な実施形態において、デジタイザ６２０は、電磁気スタイラス及びユーザの指からの同時及び別々の入力を検出できる。しかしながら、他の実施形態では、デジタイザ６２０は、電磁気スタイラスあるいは指接触のみを検出する能力がある可能性がある。

二重の検出デジタイザの実施形態については、上で引用した、米国特許６，６９０，１５６号及び特許出願１０／６４９，７０８号を参照されたい。しかしながら、本発明の実施形態は、２つ以上の種類のユーザインターラクションを受け入れるいかなるシステムにも実装することができる。本発明の好適な実施形態において、使用される物理的物体がスタイラスである場合には、デジタイザ６２０は、全面的なマウスエミュレーションをサポートする。スタイラスが画面上で空中に舞っている限り、マウスカーソルはスタイラス位置に追従する。画面に触れることは、左クリックを意味し、スタイラスに配置された特別なスイッチが、右クリック操作をエミュレートする。

本発明の好適な実施形態において、検出された物理的物体が、受動的電磁気スタイラスである可能性がある。センサーを取り囲む外部励起コイルが、スタイラスに電圧を加えるために利用される。しかしながら、他の実施形態は、他のバージョンは、バッテリー動作し、あるいは、ワイヤ接続し、外部励起回路を要求しない、能動的スタイラスを含むことができる。好適な実施形態において、励起に反応する電磁気物体はスタイラスである。しかしながら、従来技術において知られているように、他の実施形態は、例えばゲームピースのような、共振回路あるいは能動的発振器を備えた他の物理的物体を含むことができる。

好適な応用において、デジタイザは、スタイラスを用いて、完全なマウスエミュレーションをサポートする。しかしながら、異なる実施形態において、スタイラスは、字消し、色の変更等の追加機能をサポートすることができる。他の実施形態では、スタイラスは、感圧力性があり、ユーザの圧力に応じて、周波数を変動させ、他の信号特性を変化させる。

今、図７を参照する。図７は、本発明好適な実施形態による、複数のユーザインターラクションを検出するための第２のシステムを図解するブロックダイアグラムである。

第２のシステムは、図６に示す第１のシステムに類似している。

しかしながら、第２のシステムにおいて、切り替えモジュールは、デジタイザではなくむしろホストコンピュータ７１０に実装される。

したがって、第２のシステムは、コンピュータアプリケーションを稼働するためのホストコンピューティング装置７１０と、ホストコンピューティング装置７１０と関係する複数ユーザインターラクションの検出のためのデジタイザ７２０と、を備え、ホストコンピューティング装置７１０に、複数ユーザインターラクションに関する入力データ、及び、各ユーザインターラクション間の切り替えのための、ホストコンピュータ７１０上に実装された切り替えモジュール７３０、を提供するように、構成されている。

切り替えモジュール７３０は、特定の方針にしたがい、各ユーザインターラクションに対して検出モードの動的なセット及び更新を行う。デジタイザは、検出器により受信した情報の処理のための制御装置７３２、セットされた検出モードによる入力ユーザインターラクション検出のための、制御装置７３２と関係する検出器７３４、及び、ホストコンピューティング装置７１０に、関連ユーザインターラクション検出データを提供するための、出力ポート７３８、を備える。

本発明の好適な実施形態において、上で技術的に記載された、デジタイザ７２０は、いくつかの座標のセット及び状態信号をホストコンピューティング装置７１０に、送る。次に、座標及び信号が、ホストコンピューティング装置７１０上で、ホストコンピュータデバイス７１０に実装された切り替えモジュール７３０により、処理される。

上に記載されたように、切り替えモジュール７３０は、図面３、４及び５に記載されたように、状態マシンチャートを用いて、切り替え論理を、実装する。

今、図８を参照する。図８は、本発明好適な実施形態による、複数のユーザインターラクションを検出するための第３のシステムを図解するブロックダイアグラムである。

第３のシステムは、コンピュータアプリケーションを稼働するためのホストコンピューティング装置８１０と、ホストコンピューティング装置８１０と関係する複数ユーザインターラクションの入力のためのいくつかのデジタイザ８２０〜８２１と、を備え、ホストコンピューティング装置８１０に、ユーザインターラクションに関する入力データ、及び、各ユーザインターラクションに対する検出モード間の切り替えのための、ホストコンピューティング装置８１０上に実装された切り替えモジュール８３０、を提供するように、構成されている。

各デジタイザ８２０〜８２１は、検出器から取り出した情報の処理のための制御装置８３２、入力ユーザインターラクションを検出するための、制御装置８３２と関係する検出器８３４、及び、ホストコンピューティング装置８１０に、関連ユーザインターラクション検出データを提供するための、デジタイザ８２０〜８２１と関係する出力ポート８３８、を備える。

本発明の１つの好適な実施形態において、上で技術的に記載された、各デジタイザ８２０〜８２１は、異なる種類のユーザインターラクションを感知し、各ユーザインターラクションに対して、それぞれの座標のセット及び状態信号をホストコンピューティング装置８１０に送る。次に、当該座標及び信号が、ホストコンピューティング装置８１０上で、ホストコンピュータデバイス８１０に実装された切り替えモジュール８３０により、処理される。

上に記載されたように、切り替えモジュール８３０は、図面３〜５に提供される状態マシンフローチャートを用いて、切り替え論理を実装する。

今、図９を参照する。図９は、本発明好適な実施形態による、ジェスチャー認識装置のブロックダイアグラムである。

好適な実施形態において、装置９００は、ユーザインターラクション入力のための検出器９０４を備える。これらのユーザインターラクションは、各種ジェスチャー、例えば、コツコツたたくこと、ダブルクリック、及び、線や円などの形を描くことを含む。ジェスチャーは、方向に関しても定義できる。例えば、先を右から左へ描くなどである。

装置９００は、入力ユーザインターラクションが記載されたような専用のジェスチャーであるかどうかを判断するためのジェスチャー認識器９０２を、さらに備える。上で図４に図解されたように、ジェスチャー認識器９０２に、ジェスチャーを認識するために必要な論理が提供される。

今、図１０を参照する。図１０は、本発明好適な実施形態による、複数のユーザインターラクションを検出する方法を図解するフローチャートである。

本発明の好適な実施形態において、方法はユーザインターラクションの位置の検出（１００２）を含む。好ましくは、検出モードが、各ユーザインターラクションに対してセットされ、動的に更新される。例えば、スタイラス追跡検出モードは、スタイラスが、スタイラスの動きを追跡するデジタイザの近傍に留まっている限りは、スタイラスの追跡モードを定義するようにセットすることができる。しかし、スタイラスが取り除かれると、検出モードは更新され、スタイラスの位置が未知であるスタイラス探索モードに、セットされる。

好ましくは、検出モードが、所定の方針にしたがって、各ユーザインターラクションに対してセットされる。この方針は、種類のユーザインターラクションの中で優先するものをセットすることができる。そのような方針は、固定優先方針であることができる。例えば、接触インターラクションが検出されている間、いかなる他のユーザインターラクションをも廃棄することにより、接触のユーザインターラクションに、いかなる他のユーザインターラクションをも越える優位性を与る。あるいは、当該方針は、ユーザインターラクションの中で、動的に優位性を与えるように定義することができる。例えば、いかなる入力ユーザインターラクションにも、以前の入力ユーザインターラクションを越える優位性を与えることによって、である。

好適な実施形態による、当該方法は、ユーザインターラクションにセットされた検出モードに及びセット方針に従って、各ユーザインターラクションの位置を処理（１００４）することをさらに含む。この処理に基づいて、検出されたユーザインターラクションに関するデータは、例えば、マウスエミュレーションのコンピュータプログラムに対して、当該インターラクションにセットされた検出モードにしたがって採取された指検出情報などのデータを、提供（１００８）できる。

この特許の存続期間中、複数の物理的物体を検出する能力がある、多くの関連したスタイラスデバイス及びデジタイザシステムが開発されるであろうし、また、ここでの用語、特に、「デジタイザ」、「ＰＤＡ」、「コンピュータ」、「スタイラス」、「マウス」、及び「画面」の用語の範囲は、先験的に、全てのこのような新しい技術を含むことを意図すると期待される。

本発明のさらなる目的、優位性、及び新規な特徴が、次の例の検証によって、当業者にとって明白となる。これは、制限することを意図するものではない。さらに、上で描写され特許請求の範囲でクレームされた種々の実施形態及び本発明の側面のそれぞれは、次の例に、実験的なサポートを見出すことができる。

明確にするため別個の実施形態の文脈で記載した本発明のある特徴は、単一の実施形態において組み合わせて提供することもできることが認識される。逆に、簡潔にするために、単一の実施形態の文脈で記載した本発明の様々な特徴は、別個にまたはいずれかの適切な部分組合せとして提供することもできる。

本発明は、その特定の実施形態と連結して記載されたのではあるが、多くの代替、修正及び変形が当業者には明白であることは明らかである。したがって、全てのこのような添付の請求項の精神と広い範囲にある代替、修正及び変形を含むことを意図する。

本明細書で言及した全ての刊行物、特許及び特許出願は、ここに、参照により全体が、個々の刊行物、特許あるいは特許出願が特に及び個別にここに参照により組み込まれると示されたのと同一の程度に、本明細書に組み込まれる。さらに、本出願における引用文あるいはいかなる参照の同定も、このような参照が、本発明に対する従来技術として利用可能であることを是認するものであると解釈されるべきではない。

図１は、本発明の好適な実施形態による、ユーザインターラクションを検出する装置のブロックダイアグラムである。 図２は、本発明の好適な実施形態による、可能なシステムのブロックダイアグラムである。 図３は、本発明の好適な実施形態による、検出モード切り替えのための、第１の状態マシンを図解するフローチャートである。 図４は、本発明の好適な実施形態による、検出モード切り替えのための、第２の状態マシンを図解するフローチャートである。 図５は、本発明の好適な実施形態による、検出モード切り替えのための、第３の状態マシンを図解するフローチャートである。 図６は、本発明の好適な実施形態による、ユーザインターラクションの検出のための、第１のシステムを図解するフローチャートである。 図７は、本発明の好適な実施形態による、ユーザインターラクションの検出のための、第２のシステムを図解するフローチャートである。 図８は、本発明の好適な実施形態による、ユーザインターラクションの検出のための、第３のシステムを図解するフローチャートである。 図９は、本発明の好適な実施形態による、ジェスチャー認識のための装置のブロックダイアグラムである。 図１０は、本発明の好適な実施形態による、ユーザインターラクションの検出のための方法を図解するフローチャートである。

Claims (17)

1. 接触を介するユーザインターラクションおよびスタイラスを介するユーザインターラクションが存在する場合に、前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションを検出するための装置であって、
   前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションが存在する場合に、前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションを同時に検出するための検出器と、
   前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションの位置を見つけるための、前記検出器と関係する少なくとも一つの制御装置と、
   前記装置と関係するホストコンピュータと、
   を備え、
   前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションの一方は、前記ホストコンピュータを操作するための主要なインターラクションの種類として選択され、かつ、他方は、従たるインターラクションの種類として選択され、前記主要なインターラクションおよび前記従たるインターラクションの双方が存在する場合、前記従たるインターラクションは、前記主要なインターラクションおよび前記従たるインターラクションの間の切り替えのための入力を行うためにのみ操作可能であり、
   前記主要なインターラクションおよび前記従たるインターラクションの変更を意味するジェスチャーに応じて、前記主要なインターラクションおよび前記従たるインターラクションの指定を切り替えるために、前記接触を介するユーザインターラクション又は前記スタイラスを介するユーザインターラクションにおいて、少なくとも一つの所定のジェスチャーが行われているかどうかを認識するジェスチャー認識装置を備えることを特徴とする、
   前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションを検出するための装置。
2. 前記検出器は、検出領域に散在する複数の検出要素を含む、請求項１に記載の装置。
3. 前記変更を意味するジェスチャーは、前記従たるインターラクションの中にある、請求項１に記載の装置。
4. 前記少なくとも一つの所定のジェスチャーは、軽くたたくこと、ダブルクリック、および、形状を描くことのうちの一つ以上を含む、請求項１に記載の装置。
5. 前記スタイラスを介するユーザインターラクションは、自動的に前記主要なインターラクションの種類として選択され、一方で、前記接触を介するユーザインターラクションは、前記所定のジェスチャーに応じて前記主要なインターラクションの種類として選択される、請求項１に記載の装置。
6. 前記制御装置は、前記少なくとも一つの所定のジェスチャーの一部としての広域接触を放棄する、請求項１に記載の装置。
7. 前記ジェスチャーは、前記接触を介するユーザインターラクション又は前記スタイラスを介するユーザインターラクションにおいて、前記装置の表面に沿って、特定の方向に移動することを含む、請求項１に記載の装置。
8. 前記ジェスチャー認識装置は、前記少なくとも一つの制御装置である、請求項１に記載の装置。
9. 前記検出器は、前記ホストコンピュータと関係する表示画面の上面に配置される、請求項１に記載の装置。
10. 接触を介するユーザインターラクションおよびスタイラスを介するユーザインターラクションが装置上に存在する場合に、前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションを検出するための方法であって、
    前記装置と関係する単一のスクリーン上に前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションが存在する場合に、前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションを同時に検出し、
    前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションの一方を、ホストコンピュータを操作するための主要なインターラクションの種類として選択し、かつ、他方を従たるインターラクションの種類として選択し、前記主要なインターラクションおよび前記従たるインターラクションの双方が存在する場合、前記従たるインターラクションは、前記主要なインターラクションおよび前記従たるインターラクションの間の切り替えのための入力を行うためにのみ操作可能であり、
    前記主要なインターラクションおよび前記従たるインターラクションの指定を切り替えるための、少なくとも一つの所定のジェスチャーを規定し、
    前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションにおいて、前記少なくとも一つの所定のジェスチャーが行われたかどうかを認識し、
    切り替えを意味するジェスチャーに応じて、前記主要なインターラクションおよび前記従たるインターラクションを切り替えることを含む、
    前記接触を介するユーザインターラクションおよび前記スタイラスを介するユーザインターラクションを検出するための方法。
11. 前記変更を意味するジェスチャーは、前記従たるインターラクションの中にある、請求項１０に記載の方法。
12. 前記スタイラスを介するユーザインターラクションは、存在する場合、自動的に主要なインターラクションの種類として選択され、一方で、前記接触を介するユーザインターラクションは、前記所定のジェスチャーに応じて、主要なインターラクションの種類として選択される、請求項１０に記載の方法。
13. 前記少なくとも一つの所定のジェスチャーは、軽くたたくこと、ダブルクリック、及び、形状を描くことのうちの一つ以上を含む、請求項１０に記載の方法。
14. 前記従たるインターラクションのみが存在する場合、前記従たるインターラクションは前記ホストコンピュータを操作するために選択される、請求項１０に記載の方法。
15. 前記少なくとも一つの所定のジェスチャーの一部としての広域接触を放棄することを含む、請求項１０に記載の方法。
16. 前記少なくとも一つの所定のジェスチャーは、前記装置の上面に沿った方向に対して定められる、請求項１０に記載の方法。
17. 前記接触を介するユーザインターラクションは、容量性の物体を通して行われる、請求項１０に記載の方法。

Images