JP2008305198A - 入力システム及び入力装置 - Google Patents

Abstract

【課題】複数の筋電センサを決められた位置に正確に位置決めするなどの煩雑な作業を行うことなく、情報処理装置への高精度な入力を行うことが可能な入力システムを提供する
【解決手段】人の手首から第２指ないし第５指の付け根までの間の領域に設けられ、手の動きに応じた筋電信号を検出する複数の筋電センサ１２₁〜１２_nと、複数の筋電センサ１２₁〜１２_nが操作者の手に設けられた状態で、前記手を用いた特定の動作を操作者に行わせるための指令を出して、その後の前記複数の筋電センサによる検出結果と前記特定の動作とを対応付けるとともに、この対応付け終了後において、当該対応付け結果と複数の筋電センサ１２₁〜１２_nの検出結果とから、操作者の手の動作を特定し、情報処理装置１０Ｂに対して前記特定された動作に応じた入力を行う処理部２１と、を備えている。
【選択図】図１

Description

本発明は入力システム及び入力装置に関し、特に人の手の動きに応じて、情報処理装置への入力を行う入力システム及び入力装置に関する。

従来、例えば画面上のポインタを所望の位置に移動させる等のポインティング操作（指示操作）に用いられるポインティングデバイスとしては、マウス、トラックボール等、種々の形式のものが存在している。

また、最近においては、皮膚表面電極から検出された筋電信号を用いて、体の各部における動作や力を検出し、その検出結果に応じて制御対象を制御する制御装置（例えば、特許文献１参照）や、指などに筋電センサ等の検出装置を装着して、この検出結果を基にして、キーボードなどの入力情報を決定する入力システム（例えば、特許文献２、３参照）などが検討されている。

特開平７−２４８８７３号公報 特開平７−１２１２９４号公報 特開平１１−３３８５９７号公報

しかしながら、上記特許文献１〜３に記載の発明では、筋電信号検出装置や、指輪型センサモジュールなどを、毎回同じ位置に装着しなければならない。これは、ずれた位置に装着してしまうと、手を同じように動かしても、異なる筋電信号が得られてしまい、筋電信号を精度良く検出することができない可能性があるからである。

また、特許文献２には、センサの出力と指との関係を決定する処理についての開示がなされているが、この処理は、手や腕の決められた位置にセンサモジュールを装着していることを前提として行うものであり、上記の問題が解決されているわけではない。

更に、指の動きを検出するには、指自体又は指に近い部分にセンサモジュールを装着することが望ましいが、指に装着したのでは、指の動きが制限されるおそれがある。また、脱落防止のためにセンサモジュールを指にフィットさせると、使用後取り外しが困難になり、逆に、取り外しやすくすると、使用中に指から脱落しやすくなるという問題もある。

そこで本発明は上記の課題に鑑みてなされたものであり、複数の筋電センサを決められた位置に正確に位置決めするなどの煩雑な作業を行うことなく、情報処理装置への高精度な入力を行うことが可能な入力システムを提供することを目的とする。

上記課題を解決するために、本発明の入力システムは、人の手の動きに応じて、情報処理装置への入力を行う入力システムであって、前記人の手首から第２指ないし第５指の付け根までの間の領域に設けられ、前記手の動きに応じた筋電信号を検出する複数の筋電センサと、前記複数の筋電センサが手に設けられた状態で、前記手を用いた特定の動作を人に行わせるための指令を出し、その後の前記複数の筋電センサによる検出結果と、前記特定の動作とを対応付ける設定部と、前記設定部による対応付け終了後において、前記設定部による対応付け結果と、前記複数の筋電センサの検出結果とから、前記手の動作を特定し、前記情報処理装置に対して前記特定された動作に応じた入力を行う入力部と、を備えることを特徴とする。

これによれば、複数の筋電センサが計測の基準となる位置からずれた位置に設けられたとしても、設定部が、手を用いた特定の動作を人に行わせるための指令を出すとともに、その指令に基づいて人が特定の動作を行ったときの筋電センサの検出結果と、特定の動作とを対応付けるので、入力部がその対応付け結果を用いて、人が行っている動作を特定し、この特定された動作に応じた入力を行うことで、高精度な情報処理装置への入力を行うことが可能となる。これにより、複数の筋電センサを決められた位置に正確に位置決めするなどの煩雑な作業を行うことなく、情報処理装置への高精度な入力を行うことが可能となる。

この場合において、前記設定部は、前記複数の筋電センサによる検出信号から、時系列的な特徴を抽出した特徴データと、前記特定の動作とを対応付け、前記入力部は、前記対応付け結果と、前記複数の筋電センサによる検出信号から時系列的な特徴を抽出した特徴データとから、前記手の動作を特定することとすることができる。この場合の特徴データとしては、積分値平均電位（ＩＥＭＧ）、平均周波数（ＭＰＦ）、中心周波数、実行値（ＲＭＳ）、周波数分布の標準偏差（ＳＤＦＤ）、周波数スペクトルなどを用いることができる。

本発明では、前記人の手首から第２指ないし第５指の付け根までの間に装着され、前記複数の筋電センサを所定の位置関係で保持する、環状又は略環状の本体部を更に備えることができる。かかる場合には、複数の筋電センサを１つ１つ装着する煩わしさから解放されるという利点がある。

この場合において、前記本体部には、前記設定部からの指令を出力する出力部が設けられていることとすることができる。かかる場合には、出力部が手の近傍に位置するので、設定部からの指令を把握しやすくなり、操作性が向上する。

本発明では、前記設定部からの指令は、視覚を通じて認識される指令を含むこととしても良いし、聴覚を通じて認識される指示を含むこととしても良い。この場合、それぞれの指示を併用することとしても良い。

また、本発明では、前記入力部から前記情報処理装置への入力は、無線通信により行われることとすることができる。かかる場合には、人が装着する部分と情報処理装置とをつなぐ配線を排除することができるので、操作性を向上することが可能となる。

本発明の入力装置は、人の手の動きに応じて、情報処理装置への入力を行う入力装置であって、前記人の手の第２指から第５指までを通した状態で、前記手の平と手の甲を取り囲むように装着される環状又は略環状の本体部と、前記本体部に設けられ、前記人の手の動きに応じた筋電信号を検出する複数の筋電センサと、を備えることを特徴とする。

これによれば、複数の筋電センサを有する環状又は略環状の本体部が、人の手の第２指から第５指までを通した状態で、手の平と手の甲を取り囲むように装着されることから、本体部が指に装着される場合のように、指の動きが制限されることが無く、また装着の困難性や脱落の可能性も低減される。

この場合において、前記複数の筋電センサは、少なくとも手の平側に配置されていることとすることができる。かかる場合には、指が曲がるときに収縮する手の平側の筋肉の、筋放電（筋肉が収縮するときにのみ検出される電位）を検出することができるので、指の曲がりを適切なタイミングで検出することが可能となる。

本発明によれば、複数の筋電センサを決められた位置に正確に位置決めするなどの煩雑な作業を行うことなく、情報処理装置への高精度な入力を行うことが可能な入力システムを提供することができる。

以下、本発明を実施するための最良の形態について、図１〜図９に基づいて詳細に説明する。

本実施形態の情報処理システム１００は、図１のブロック図に示されるように、操作者（ユーザ）に装着されるポインティングデバイス１０Ａと、このポインティングデバイス１０Ａにおいて処理された処理結果（出力結果）を受信して、その処理結果に応じて、表示装置７６上に表示されているポインタを移動等させる情報処理装置１０Ｂとを備えている。

ポインティングデバイス１０Ａは、実際には、図２に示されるように、操作者の手首部分に装着されるものである。このポインティングデバイス１０Ａは、図３の分解斜視図に示されるように、本体部４８と、主基板５２と、筋電センサ１２を複数有する第１、第２のフレキシブル基板５４Ａ，５４Ｂと、ディスプレイ５６、透明ソーラ電池５８及びタッチパネル６０を含む表示部６２と、を備えている。

本体部４８は、中央部に矩形窓４０ａが形成された第１トップケース４０と、第１トップケース４０に対して略上下対称な形状を有し、第１トップケース４０と連結されることにより略環状の形状をなす第１ボトムケース４６と、第１トップケース４０の内側（下側）に設けられ、第１トップケース４０よりも一回り小さい第２トップケース４２と、第２トップケース４２に対して略上下対称な形状を有し、第２トップケース４２と連結されることにより略環状の形状をなす第２ボトムケース４４とを含んでいる。操作者は、本体部４８の第２トップケース４２と第２ボトムケース４４との間の空間に手首を挿入した状態でポインティングデバイス１０Ａを装着する。なお、本体部４８の材料としては、手や手首の動きを許容するように、多少の変形が可能な性質を有する材料、例えば樹脂やゴムなどを採用することができる。また、不図示ではあるが、第１トップケース４０と第１ボトムケース４６との間には、第１トップケース４０と第１ボトムケース４６とを連結するとともに、操作者の手首に本体部４８をフィットさせるための、調整機構（アジャスタ）が設けられている。

主基板５２は、信号処理部２０（図３では不図示、図１参照）、送信部２６、メモリ２２（図３では不図示、図１参照）、不図示のボタン電池などを有しており、第１トップケース４０と第２トップケース４２との間に設けられている。なお、この主基板５２が有する各部の機能等の具体的な内容については、後述する。

第１、第２のフレキシブル基板５４Ａ，５４Ｂには、複数（本実施形態ではｎ個とする）の筋電センサ１２（図１では、説明の便宜上「１２₁、１２₂…１２_n」のように添え字を付して示している）が所定間隔で設けられている。筋電センサ１２₁〜１２_nは、手首などの動きにより筋肉に発生する筋電信号を検出するものである。この筋電信号は筋肉の細胞の活動によって変化し、その変化の振幅は筋活動の大きさに応じて変化する。

これらのうち、第１のフレキシブル基板５４Ａは、第２トップケース４２の内側（下面側）に設けられ、第２のフレキシブル基板５４Ｂは、第２ボトムケース４４の内側（上面側）に設けられており、筋電センサ１２のそれぞれが操作者の手首近傍の皮膚に接触するようになっている。すなわち、本実施形態においては、図２に示されるようにポインティングデバイス１０Ａを操作者の手首部分に装着することから、図４に示されるような、手首近傍に位置する、指の動きに関与する筋肉（長母指外転筋と短母指伸筋、長・短橈側手根伸筋、長母指伸筋、総指伸筋と示指伸筋、伸筋支帯、尺側手根伸筋、及び小指伸筋など）の近くに筋電センサ１２₁〜１２_nを配置することができる。これにより、指の動きに関与する筋肉の筋電信号を効果的に取得することが可能となっている。

図３に戻り、表示部６２を構成するディスプレイ５６は、例えば電子ペーパーや、有機ＥＬ、液晶ディスプレイ等から構成されている。また、透明ソーラ電池５８は、ディスプレイ５６やタッチパネル６０などの動作に用いられる電力を得るためのものであり、タッチパネル６０は、ディスプレイ５６上に表示される文字・図形などに操作者が触れる動作を行うことにより、ポインティングデバイス１０Ａの操作を可能にするための入力インタフェースである。このように構成される表示部６２は、第２トップケース４２の外側（上側）に設けられており、第１トップケース４０に形成された矩形窓４０ａに嵌合した状態となっている。

次に、前述した信号処理部２０について、図１に基づいて説明する。信号処理部２０は、図１に示されるように、ｎ個の筋電センサ（１２₁〜１２_n）それぞれに対応するフィルタ部１４₁〜１４_nと、このフィルタ部１４₁〜１４_nを介した筋電信号を増幅する増幅部１６₁〜１６_nと、増幅部１６₁〜１６_nを介した筋電信号（アナログ信号）をデジタル信号に変換するＡ／Ｄ変換部１８₁〜１８_nと、Ａ／Ｄ変換部１８₁〜１８_nからの出力を処理する本発明の設定部及び入力部としての処理部２１と、を含んでいる。

このうち、フィルタ部１４₁〜１４_nは、例えば、通過帯域が数１０Ｈｚ〜１．５ｋＨｚのバンドパスフィルタから成り、電極の分極電圧、電源の雑音、高周波雑音などを除去する。増幅部１６₁〜１６_nは、フィルタ部１４₁〜１４_nから出力された筋電信号（通常、数１０ｍＶ程度の大きさ）を、信号解析が可能なレベルまで増幅する。処理部２１は、Ａ／Ｄ変換部１８₁〜１８_nから出力されたデジタル信号を処理するものである。この処理部２１には、デジタル信号の処理に利用されるデータを格納するメモリ２２と、前述した表示部２４を構成するディスプレイ５６及びタッチパネル６０と、処理結果を情報処理装置１０Ｂの受信部７２に向けて送信する送信部２６と、が接続されている。送信部２６と受信部７２との間では、例えば、電波、赤外線などを用いた無線通信が行われるようになっている。

図１の情報処理装置１０Ｂは、ＣＰＵ７４と、ＣＰＵ７４に対して外部から接続された受信部７２と、液晶ディスプレイやＣＲＴディスプレイ、あるいはプロジェクタとスクリーンとを含むプロジェクションシステムなどの表示装置７６と、を備えている。ＣＰＵ７４は、受信部７２にて受信したポインティングデバイス１０Ａの処理結果に基づいて、表示装置７６上に表示されているポインタを移動等させる。

次に本実施形態のポインティングデバイス１０Ａを用いた情報処理装置１０Ｂへの入力処理について、図５〜図９に沿って説明する。

前提として、情報処理装置１０Ｂの電源は既に投入されており、操作者は、ポインティングデバイス１０Ａを図２に示されるように手首近傍に装着しているものとする。この場合、操作者は、ポインティングデバイス１０Ａを手首の形状に合わせて、適当な位置に位置決めした状態で、不図示の調整機構（アジャスタ）を用いて、手首に固定することとすれば良い。なお、以下の処理は、ポインティングデバイス１０Ａの処理部２１が主に行うものである。したがって、必要な場合を除いて、処理の主体についての記載は省略するものとする。

まず、処理部２１は、図５のステップＳ１０において、ポインティングデバイス１０Ａに設けられているタッチパネル６０を介した、操作者からの初期化動作の指示が出されるまで待機する。そして、操作者によるタッチパネル６０を介した初期化動作指示の入力があった段階で、次のステップＳ１２に移行する。

ステップＳ１２では、センサキャリブレーションサブルーチンを実行する。このセンサキャリブレーションサブルーチンは、手及び指をある一定姿勢に保った状態における、全筋電センサ１２₁〜１２_nの出力信号を取得するために行われるものである。

具体的には、以下の処理が行われる。

まず、図６のステップＳ２０に示されるように、処理部２１は、ポインティングデバイス１０Ａ上のディスプレイ５６に対して、手及び指を一定の姿勢に保持する旨の指示メッセージを出力する。次いで、ステップＳ２２では、時間を表すカウンタｔを「０」に設定する。次のステップＳ２４では、全ての筋電センサ１２₁〜１２_nの検出信号（フィルタ部、増幅部、Ａ／Ｄ変換部を介して生成されたデジタル信号）Ｓ₁（０）〜Ｓ_n（０）を取得し、メモリ２２に格納する。

次のステップＳ２６では時間ｔがｔ_end（ｔ_endは、センサキャリブレーションサブルーチンの終了時間）であるか否かを判断する。ここでは、まだ、ｔ＝０であるので、判断は否定され、ステップＳ２８に移行する。そして、ステップＳ２８において、ｔが１インクリメント（ｔ←ｔ＋１）された後、ステップＳ２４において、全ての筋電センサ１２₁〜１２_nの検出信号（フィルタ部、増幅部、Ａ／Ｄ変換部を介して生成されたデジタル信号）Ｓ₁（１）〜Ｓ_n（１）を取得し、メモリ２２に格納する。その後、ｔ＝ｔ_endになるまで、ステップＳ２４→Ｓ２６→Ｓ２８が繰り返されることにより、メモリ２２内には、検出信号Ｓ₁（０）〜Ｓ₁（ｔ_end）、Ｓ₂（０）〜Ｓ₂（ｔ_end）、…Ｓ_n（０）〜Ｓ_n（ｔ_end）が格納されることになる。

次のステップＳ３０では、上記の処理により取得された検出信号（データ）から、初期筋電信号ＳＭ₁〜ＳＭ_nを算出する。ここでは、例えば、初期筋電信号ＳＭ₁として、検出信号Ｓ₁（０）〜Ｓ₁（ｔ_end）の平均値を採用することができる。この場合、初期筋電信号ＳＭ₁を次式（１）により求める。

また、その他の初期筋電信号ＳＭ₂〜ＳＭ_nも上記と同様に、算出することができる。

なお、これに限らず、任意の時間ｔ_kにおける検出信号Ｓ₁（ｔ_k）、Ｓ₂（ｔ_k）、…Ｓ_n（ｔ_k）のそれぞれを初期筋電信号ＳＭ₁〜ＳＭ_nに設定することとしても良いし、その他の演算により求められる算出結果を初期筋電信号ＳＭ₁〜ＳＭ_nに設定することとしても良い。

次いで、ステップＳ３２では、初期筋電信号ＳＭ₁〜ＳＭ_nが求められたか否かを判断する。具体的には、ステップＳ３０で求められた初期筋電信号の中に他の初期筋電信号と大きく異なる信号が存在しているかどうかの判断を行う。そして、この判断において、他と大きく異なる信号が存在していた場合（すなわち、操作者が一定の姿勢を保っておらず、正しい初期筋電信号が得られなかった場合）を、初期筋電信号ＳＭ₁〜ＳＭ_nが求められなかった場合とみなすこととする。ここでの判断が否定された場合（初期筋電信号ＳＭ₁〜ＳＭ_nが求められなかった場合）には、もう一度ステップＳ２０〜Ｓ３０までを行うために、ステップＳ３４においてディスプレイ５６にエラーメッセージを出力（表示）するとともに、ステップＳ２０に移行して、再度ディスプレイ５６に対して、手及び指を一定の姿勢に保持する旨の指示メッセージを出力する。その後は、ステップＳ３２における判断が肯定されるまで、ステップＳ２０〜Ｓ３４を繰り返す。

その後、ステップＳ３２における判断が肯定された段階で、処理部２１は、ステップＳ３６において、ステップＳ３０で求められた初期筋電信号ＳＭ₁〜ＳＭ_nをメモリ２２に格納し、ステップＳ３８において、センサキャリブレーションサブルーチンの終了を操作者に伝えるための終了メッセージをディスプレイ５６上に出力（表示）し、図６のセンサキャリブレーションサブルーチンを終了して、図５のステップＳ１４に移行する。

次に、図５のステップＳ１４において、手、指の動きとポインタの動きとの対応付け（以下、「対応付けサブルーチン」と呼ぶ）を実行する。

この対応付けサブルーチンでは、まず、図７のステップＳ４０において、ポインタ移動パターンのカウンタｃを「０」に設定する。次いで、ステップＳ４２では、ポインタ移動パターンＰ_c＝Ｐ₀時の動作メッセージを表示する。この場合、ポインタ動作メッセージは、図８（ａ）の表に示されるように設定されているものとする。したがって、ここでは、ポインティングデバイス１０Ａ上のディスプレイ５６に第２指（人差し指）を左右に移動する旨の動作メッセージを出力（表示）する。

次のステップＳ４４では、時間カウンタｔを「０」に設定し、次のステップＳ４６において、操作者が第２指（人差し指）を左右に移動させている状態での全ての筋電センサ１２₁〜１２_nによる検出信号Ｓ₁（０）〜Ｓ_n（０）を取得するとともに、センサキャリブレーションサブルーチン（ステップＳ１２）で取得された初期筋電信号ＳＭ₁〜ＳＭ_nをメモリ２２から読み出す。そして、次式（２）のようにして差分信号（ＳＤ₁（０）〜ＳＤ_n（０））を算出し、メモリ２２に格納する。

次いで、ステップＳ４８において、時間ｔがｔ_e（ｔ_eは、対応付けサブルーチンの終了時間）であるか否かを判断する。ここでは、まだ、ｔ＝０であるので、判断は否定され、ステップＳ５０に移行する。そして、ステップＳ５０において、ｔが１インクリメント（ｔ←ｔ＋１）された後、ステップＳ４６において、筋電センサ１２₁〜１２_nによる検出信号Ｓ₁（０）〜Ｓ_n（０）を取得するとともに、上式（２）と同様にして、初期筋電信号ＳＭ₁〜ＳＭ_nとの差分信号ＳＤ₁（１）〜ＳＤ_n（１）を算出し、メモリ２２に格納する。その後、ｔ＝ｔ_eとなるまで、ステップＳ４６→Ｓ４８→Ｓ５０が繰り返されることにより、メモリ２２内には、検出信号ＳＤ₁（０）〜ＳＤ₁（ｔ_e）、ＳＤ₂（０）〜ＳＤ₂（ｔ_e）、…ＳＤ_n（０）〜ＳＤ_n（ｔ_e）が格納されることになる。

次いで、ステップＳ５２では、時間ｔが０からｔ_eまでに取得された、筋電センサ１２₁〜１２_nの差分信号ＳＤ₁（０）〜ＳＤ₁（ｔ_e）、ＳＤ₂（０）〜ＳＤ₂（ｔ_e）、…ＳＤ_n（０）〜ＳＤ_n（ｔ_e）から、各筋電センサ１２₁〜１２_nの時系列的な特徴を抽出し、その特徴データＦ（ｃ）（ただし、ｃ＝０）をポインタ移動パターンＰ₀と関連付けし、メモリ２２に格納する。なお、ここでの特徴データを、以下においては、便宜上「特徴マスタデータ」とも呼ぶものとする。この場合、特徴マスタデータとしては、積分値平均電位（ＩＥＭＧ）、平均周波数（ＭＰＦ）、中心周波数、実行値（ＲＭＳ）、周波数分布の標準偏差（ＳＤＦＤ）、周波数スペクトルなどを用いることができる。

次のステップＳ５４では、ｃがｍ（ｍは、全てのポインタ移動パターンの数）であるか否かを判断する。ここでは、まだ、ｃ＝０であるので、判断は否定され、ステップＳ５６に移行する。そして、ステップＳ５６において、ｃが１インクリメント（ｃ←ｃ＋１）された後、ステップＳ４２に戻る。その後は、上記と同様にして、ステップＳ４２〜ステップＳ５６を繰り返すことにより、全てのポインタ移動パターンＰ_cに対して、特徴マスタデータＦ（ｃ）を関連付ける。図８（ｂ）は、全てのポインタ移動パターンＰ_cと特徴マスタデータＦ（ｃ）とを関連付けた状態を示す表である。

以上のようにして、全てのポインタ移動パターンＰ_cと特徴マスタデータＦ（ｃ）との関連付けが終了し、ステップＳ５４における判断が肯定されると、ステップＳ５８に移行する。そして、このステップＳ５８において、終了メッセージをディスプレイ５６上に出力（表示）することにより、図７の対応付けサブルーチンを終了し、図５のステップＳ１６に戻る。

次のステップＳ１６（ポインタ移動動作サブルーチン）は、ステップＳ１２、Ｓ１４においてメモリ２２に格納されたデータを用いて、操作者の動作を特定し、その動作に対応したポインタの移動を行うというものである。

このポインタ移動動作サブルーチンでは、まず、図９のステップＳ６０において、一定時間内（ｔ＝０〜ｔ_x）において、全ての筋電センサ１２₁〜１２_nで検出される検出信号と、初期筋電信号（ＳＭ₁〜ＳＭ_n）との差分信号ＳＥ₁（０）〜ＳＥ₁（ｔ_x）、ＳＥ₂（０）〜ＳＥ₂（ｔ_x）、…ＳＤ_n（０）〜ＳＤ_n（ｔ_x）から、その特徴データＡを抽出する。この処理は、前述した図７のステップＳ４６、ステップＳ５２と同様である。ただし、この場合の特徴データＡは、前述したステップＳ５２で抽出された特徴マスタデータＦ（ｃ）と同一種類のデータである必要がある。

次のステップＳ６２では、得られた特徴データＡとメモリ２２に格納されている特徴マスタデータＦ（０）〜Ｆ（ｍ）とをそれぞれ比較する。そして、次のステップＳ６４では、ステップＳ６２で比較した結果から類似度が一番高い特徴マスタデータ（Ｆ（０）〜Ｆ（ｍ）のいずれか）とその類似度Ｑを抽出する。

更に、ステップＳ６６では、その類似度Ｑが予め定められている閾値ＳＬ（スレッシュレベル）よりも大きいか否かを判断する。この場合において、類似度Ｑが閾値ＳＬよりも大きいことは、操作者の動作と、類似度が一番高い特徴マスタデータに対応するポインタ移動パターンＰ_cとが一致していることを意味する。したがって、ここでの判断が肯定された場合（Ｑ＞ＳＬ）には、ステップＳ６８に移行し、類似度が一番高い特徴マスタデータに対応するポインタ移動パターンを選択し、そのポインタ移動パターンの情報を出力情報として、送信部２６及び受信部７２を介してＣＰＵ７４に対して出力する。ＣＰＵ７４では、表示装置７６上に表示されているポインタが、ポインタ移動パターンに従って動作するように処理部２１からの出力情報に従って、ポインタを制御する。

その後は、ステップＳ７０において、操作者により、タッチパネル６０を介して終了指示が出されるまでステップＳ６０〜Ｓ６８が繰り返され、ステップＳ７０における判断が肯定された段階で、一連の処理が終了する。

なお、上記ポインタ移動動作サブルーチンでは、操作者が手や指を動かすのみで、ポインタが移動してしまうことから、操作者がポインタを移動したくないときに、ポインティングデバイス１０Ａを手首から取り外すことなく、ポインタの移動を中止することができるモードを設けておくことも可能である。すなわち、このようなモードを設けておくことにより、例えば、ディスプレイ５６上に一時停止ボタンを表示しておき、操作者がポインタ移動を行いたくない場合に、タッチパネル６０を介して一時停止ボタンを押すことで、ステップＳ１６（ポインタ移動動作サブルーチン）の動作を一時的に停止させることが可能となる。

ところで、上述した実施形態では、筋電センサ１２₁〜１２_nによる出力として、実際の筋電センサの検出信号と、初期筋電信号との差分信号を用いることとした（ステップＳ４６，Ｓ６０）。しかしながら、本発明がこれに限られるものではなく、例えば、各筋電センサによる検出信号と、複数の筋電センサ１２₁〜１２_nのうちの１つの特定筋電センサ（１２_bとする）による検出信号との差分信号を出力として用いることも可能である。この場合の、特定筋電センサ１２_bとしては、例えば、複数の筋電センサ１２₁〜１２_nのうち、長期にわたって筋電信号がほとんど検出されない筋電センサを採用することができる。具体的には、例えば、ポインティングデバイス１０Ａの設計段階において、筋電信号が全く検出されないような位置に１つの筋電センサを配置しておき、この筋電センサを特定筋電センサ１２_bとすることができる。

このような特定筋電センサ１２_bの検出信号を用いた差分信号を取得することにより、例えば、ポインティングデバイス１０Ａの使用中に、環境の変化などがあったとしても、その影響を相殺した高精度な検出結果を得ることができる。また、この検出結果を用いて、情報処理装置１０Ｂへの入力を行うことで、高精度な入力（ポインタの移動など）を実現することが可能となる。なお、特定筋電センサは、１つである場合に限らず、２つ以上あっても良い。この場合、筋電センサの検出信号と、２以上の特定筋電センサの検出信号の平均との差分信号を出力とすることとしても良いし、２以上の特定筋電センサの検出信号にその他の演算処理を行い、その演算結果との差分信号を出力とすることとしても良い。

以上、詳細に説明したように、本実施形態によると、処理部２１は、(1)手を用いた特定の動作（ポインタ移動パターンＰ_cに従った動作）を操作者に行わせるための動作メッセージをディスプレイ５６上に表示し、(2)その動作メッセージに従って操作者がその動作を行ったときの筋電センサ１２₁〜１２_nの検出結果と、特定の動作（ポインタ移動パターンＰ_cに従った動作）とを対応付け、(3)その対応付け結果と筋電センサ１２₁〜１２_nの検出結果とを用いて操作者が行っている動作を特定し、(4)特定された動作に応じた入力（ポインタ移動など）を情報処理装置１０Ｂに対して行うこととしているので、複数の筋電センサ１２₁〜１２_nを決められた位置に正確に位置決めするなどの煩雑な作業を行うこと無く、情報処理装置への高精度な入力（ポインタ移動など）を行うことができる。

また、本実施形態では、複数の筋電センサ１２₁〜１２_nを所定の位置関係で保持する環状の本体部４８を有しているので、操作者が、複数の筋電センサ１２₁〜１２_nを１つ１つ手などに装着する煩わしさから解放されるという利点がある。

また、本実施形態では、本体部４８にディスプレイ５６が設けられているため、ディスプレイ５６が操作者の手の近傍に位置するようになる。これにより、操作者は、処理部２１からのメッセージを把握しやすくなるので、ポインティングデバイス１０Ａの操作性を向上することができる。

また、本実施形態では、ポインティングデバイス１０Ａから情報処理装置１０Ｂに対して、無線により入力情報を送信するので、ポインティングデバイス１０Ａへの配線を排除することができる。これにより、ポインティングデバイス１０Ａの操作性を向上することが可能である。

なお、上記実施形態では、処理部２１からのメッセージをディスプレイに表示することにより、操作者の視覚を通じてメッセージを伝達する場合について説明したが、これに限らず、音声など、聴覚を通じてメッセージを伝達することとしても良い。また、両者を併用することとしても良い。

なお、上記実施形態では、ポインティングデバイス１０Ａを操作者の手首近傍に装着する場合について説明したが、これに限られるものではなく、例えば、図１０に示されるようなポインティングデバイス１０Ａ’を採用することとしても良い。このポインティングデバイス１０Ａ’は、操作者の手の第２指（人差し指）から第５指（小指）までを通した状態で、手の平と手の甲を取り囲むように装着される環状の本体部４８’と、本体部４８’の内周面（手の平側）に設けられた複数の筋電センサ１２’とを備えている。

このようなポインティングデバイス１０Ａ’を採用することにより、本体部が指に装着される場合のように、指の動きが制限されることが無く、また装着の困難性や脱落の可能性も低減される。また、手の平側の筋肉を示す図１１からわかるように、母指内転筋、短母指屈筋、小指対立筋、短小指屈筋及び小指外転筋などの手の平側の筋肉に筋電センサ１２’を接触させることができるので、指が曲がるときに収縮する手の平側の筋肉の筋放電（筋肉が収縮するときにのみ検出される電位）を検出することができる。これにより、指の曲がりを適切なタイミングで検出することが可能となる。なお、この図１０のポインティングデバイス１０Ａ’についても、上記実施形態と同様、ディスプレイ５６などを設けることとしても良い。また、このポインティングデバイス１０Ａ’においても、上記実施形態と同様、センサキャリブレーションサブルーチンや、対応付けサブルーチンなどを行い、その結果を用いて、ポインタ移動動作を行うこととしても良い。

なお、上記実施形態及び変形例では、本体部４８、４８’が環状である場合について説明したが、これに限らず、例えば、一部に切り欠きを有する略環状の形状を有していても良い。この場合、本体部４８、４８’の弾性力によって切り欠きの幅が可変となるので、手の大きさに合わせた本体部４８，４８’の内径の微調整を行うことが可能である。

なお、上記実施形態及び変形例では、表示装置７６上のポインタの移動等を行う場合について説明したが、これに限らず、例えば、指や手の動きに対して、一定のコマンドを設定しておき、操作者がその指や手の動きをした場合に、情報処理装置１０Ｂが所定の動作（レジューム、サスペンド、電源オフなど）を行うようにすることとしても良い。

また、ポインタの移動等に限らず、例えば、指の動きを検知して、その指の動きに応じた文字入力（キーボード入力）を行うようにしても良い。

上述した実施例は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

一実施形態の情報処理システムの構成を示すブロック図である。 ポインティングデバイスを装着した状態を示す図である。 ポインティングデバイスの分解斜視図である。 手首近傍の筋肉を示す図である。 一実施形態のポインティングデバイスの処理を示すフローチャートである。 図５のステップＳ１２の内容を示すフローチャートである。 図５のステップＳ１４の内容を示すフローチャートである。 ポインタ移動パターンに対する対応付けを示す図である。 図５のステップＳ１６の内容を示すフローチャートである。 変形例にかかるポインティングデバイスの装着例である。 手の平側の筋肉を示す図である。

符号の説明

１０Ａ ポインティングデバイス
１０Ｂ 情報処理装置
１２ 筋電センサ
２１ 処理部
４８ 本体部
５６ ディスプレイ

Claims (9)

1. 人の手の動きに応じて、情報処理装置への入力を行う入力システムであって、
   前記人の手首から第２指ないし第５指の付け根までの間の領域に設けられ、前記手の動きに応じた筋電信号を検出する複数の筋電センサと、
   前記複数の筋電センサが手に設けられた状態で、前記手を用いた特定の動作を人に行わせるための指令を出し、その後の前記複数の筋電センサによる検出結果と、前記特定の動作とを対応付ける設定部と、
   前記設定部による対応付け終了後において、前記設定部による対応付け結果と、前記複数の筋電センサの検出結果とから、前記手の動作を特定し、前記情報処理装置に対して前記特定された動作に応じた入力を行う入力部と、を備える入力システム。
2. 前記設定部は、前記複数の筋電センサによる検出信号から、時系列的な特徴を抽出した特徴データと、前記特定の動作とを対応付け、
   前記入力部は、前記対応付け結果と、前記複数の筋電センサによる検出信号から時系列的な特徴を抽出した特徴データとから、前記手の動作を特定することを特徴とする請求項１に記載の入力システム。
3. 前記人の手首から第２指ないし第５指の付け根までの間に装着され、前記複数の筋電センサを所定の位置関係で保持する、環状又は略環状の本体部を更に備える請求項１又は２に記載の入力システム。
4. 前記本体部には、前記設定部からの指令を出力する出力部が設けられていることを特徴とする請求項３に記載の入力システム。
5. 前記設定部からの指令は、視覚を通じて認識される指令を含むことを特徴とする請求項１〜４のいずれか一項に記載の入力システム。
6. 前記設定部からの指示は、聴覚を通じて認識される指示を含むことを特徴とする請求項１〜５のいずれか一項に記載の入力システム。
7. 前記入力部から前記情報処理装置への入力は、無線通信により行われることを特徴とする請求項１〜６のいずれか一項に記載の入力システム。
8. 人の手の動きに応じて、情報処理装置への入力を行う入力装置であって、
   前記人の手の第２指から第５指までを通した状態で、前記手の平と手の甲を取り囲むように装着される環状又は略環状の本体部と、
   前記本体部に設けられ、前記人の手の動きに応じた筋電信号を検出する複数の筋電センサと、を備える入力装置。
9. 前記複数の筋電センサは、少なくとも手の平側に配置されていることを特徴とする請求項８に記載の入力装置。

Images