JPH0728591A - 空間操作マウスシステム及び空間動作パターン入力方法 - Google Patents

Abstract

(57)【要約】 【目的】 操作者の感覚的な動作を認識でき、また制御
対象機器から離れていても手軽にポインタ操作や制御操
作ができる空間操作マウスを提供する。 【構成】 本発明の空間操作マウスを用いた動作パター
ン入力方法では、操作者により与えられる３次元空間に
おける直線的、平面的あるいは空間的な動作を、その操
作空間における所定の３つの軸方向の速度若しくは加速
度又は３つの軸の回りの角速度若しくは角加速度のうち
の少なくとも２つの量として検出するステップと、これ
ら検出された量を、当該動作をパターン化した感覚動作
パターンデータに変換するステップと、感覚動作パター
ンデータと予め登録されている複数の基本動作パターン
に関連する基本データとを比較するステップと、比較結
果に基づいて感覚動作パターンを識別するステップと、
識別結果に基づいて感覚動作パターンに対応する所定の
制御を行うステップとを含むことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータやマルチ
メディア機器等で用いられる入力装置に関し、特に操作
性の良いマン・マシンインターフェイス環境を提供する
ための空間操作マウス（ｍｏｕｓｅ）等の３次元入力装
置に関する。さらには、３次元入力装置を利用して、操
作者の動作パターンによる拡張された入力機能を実現す
る空間動作パターン入力システムに関する。

【０００２】

【従来の技術】コンピュータや、コンピュータを利用す
る各種システムに用いられる、マン・マシンインターフ
ェイス上の入力機器として、昨今では、いわゆるマウス
と呼ばれるポインティング・デバイスが広く使われてき
ている。

【０００３】このマウスを用いたシステムでは、まず、
操作者は、マウスを机上等で動かすことにより、表示画
面上に表示された上記マウスに連動して動くカーソル
を、表示画面上に表示されている所望の対象物（画像、
文字等）上に移動させる。そして、表示画面上で、選択
したい対象物上にカーソルが位置されている状態で、マ
ウスのクリックボタンと呼ばれる確認用のスイッチを押
す（あるいは放す）ことによって、システムに対する入
力を行う。このように、マウスによって、キーボードに
はなかった良好な操作性が提供される。

【０００４】しかしながら、従来のマウスは、専用の操
作板などの操作面に接触させて動かす必要があること
と、加えてコンピュータとマウスとの間に接続ケーブル
が存在することから、操作性に多大な支障を与えてい
た。すなわち、操作者は、任意の空間あるいは任意の仮
想的な平面上で、マウスと、コンピュータなどの制御対
象機器との距離を自由にとって、ポインティング操作を
することはできなかった。

【０００５】さらには、マウスの動きは前述の操作面に
拘束されるため、マウスは平面上の動きしか検出するこ
とができず、空間的な動きを検出することはできなかっ
た。それゆえ、空間的なマウスの動きを反映したポイン
ティング操作をすることは困難であった。

【０００６】このような事情が考慮され、最近では、操
作者の３次元的な動きをとらえることにより、任意の平
面でのポインタ動作、さらには空間的なポインタ動作を
可能とし、コンピュータやマルチメディア機器あるいは
その表示装置から離れていても手軽にポインタ動作をす
ることを可能にする、空間操作マウスのような３次元入
力装置（特開平３−１９２４２３）が出現してきた。

【０００７】しかしながら、上記３次元入力装置を用い
たシステムでは、「操作者が、３次元入力装置を空間で
動かすことにより、表示画面上を３次元入力装置に連動
して動くカーソルを、表示されている所望の対象物上に
移動させ、その後クリックボタンを押す（あるいは放
す）ことによって、確認あるいは選択を行う」というよ
うなポインティング操作が主に提供されているだけであ
る。

【０００８】一方、従来のマウスを操作面上で動かし
て、所定のパターンを描くことによって、各パターンに
対応付けられた機能を実行させることのできるシステム
が提案されている（特開平４−７７２６、特開平４−１
８０１１９）。

【０００９】しかしながら、これらシステムでは、マウ
スを操作面上で動かす必要があることから、単純なパタ
ーンしか使用できないという制約がある。また、操作面
上に所定のパターンをきれいに描くことは案外難しく、
パターン・マッチング法では、操作者の描いたパターン
を認識しきれない問題があった。

【００１０】

【発明が解決しようとする課題】以上のように、従来の
マウスを用いたシステムでは、３次元の動きを検出でき
るようにして、単に専用の操作板等を不要とする改善に
止まっていた。

【００１１】また、ポインティング・デバイスとしての
機能以外に極簡単なパターン入力機能を付加したマウス
としては、ごく限られたパターン入力機能を専用の操作
板等を要する（２次元）マウスに与えたものがあるに止
まっていた。

【００１２】本発明は、上記事情を考慮してなされたも
ので、任意の仮想平面でのポインタ動作、さらには空間
的なポインタ動作を可能とした、空間操作マウスのよう
な３次元入力装置を用いる入力システムにおいて、操作
者の空間での空間動作パターンを認識し、コンピュータ
やマルチメディア機器に対して空間動作パターンに応じ
た内容の制御を実行できる、すなわち感覚的なマン・マ
シンインタフェイス環境を提供できる、空間動作パター
ン入力システムを提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明に係る空間操作マ
ウスシステムでは、操作空間での所定の３つの軸方向の
速度若しくは加速度又は３つの軸の回りの角速度若しく
は角加速度のうちの少なくとも１つを検出し、当該検出
された１つあるいは複数の量をそのままあるいは関連す
る量に変換して動き信号として出力するための動き信号
生成手段と、この動き信号生成手段により与えられた前
記動き信号を含む前記制御信号を送信するための送信手
段とを有する空間操作マウスと、前記空間操作マウスの
前記送信手段により送信された制御信号を受信するため
の受信手段と、この受信手段により得られた制御信号に
基づいて、表示画面上のカーソルまたは表示オブジェク
トを変化させ、前記空間操作マウスの操作者の指示位置
を表示し、あるいは前記動き信号に従い表示画面を変化
させる表示手段とを有する制御対象機器とを具備してな
ることを特徴とする。

【００１４】また、本発明に係る空間操作マウスを用い
た空間動作パターン入力方法では、操作者により与えら
れる３次元空間における直線的、平面的あるいは空間的
な動作を、その操作空間における所定の３つの軸方向の
速度若しくは加速度又は３つの軸の回りの角速度若しく
は角加速度のうちの少なくとも２つの量として検出する
検出ステップと、当該検出された少なくとも２つの検出
量を、当該動作をパターン化した動作パターンデータに
変換する変換ステップと、当該動作パターンデータと、
予め登録されている複数の基本動作パターンに関連する
基本データとを比較する比較ステップと、前記比較ステ
ップにおける比較結果に基づいて当該動作パターンを識
別する識別ステップと、前記識別ステップにおける識別
結果に基づいて当該動作パターンに対応する所定の制御
を行う制御ステップとを含むことを特徴とする。

【００１５】一方、本発明では、空間操作型入力装置の
空間動作パターンに応じた内容の制御を制御対象機器に
実行させるための空間動作パターン入力方法において、
空間操作型入力装置の空間における互いに平行でない所
定の３軸方向の動作量のうち少なくとも２軸方向の動作
量を検出する動作検出ステップと、前記動作検出ステッ
プにおいて検出された少なくとも２つの検出量からなる
当該空間動作量を動作ベクトル列に変換する変換ステッ
プと、予め登録されている基本動作パターンに対応した
動作ベクトル列と当該動作ベクトル列とを比較して識別
を行う識別ステップと、前記識別ステップにおける認識
結果に基づく制御を制御対象機器に対して実行する実行
ステップとを有することを特徴とする。

【００１６】また、好ましくは、前記識別ステップは、
空間操作型入力装置の動作量から得られた動作ベクトル
列を基にした単位ベクトル関数および空間操作型入力装
置の動作量から得られた動作ベクトル列を基にした累積
ベクトル関数の少なくとも一方を生成するベクトル関数
生成ステップと、生成した単位ベクトル関数および累積
ベクトル関数の少なくとも一方を、基本動作パターン動
作に対応した動作ベクトル列から得られるものと比較
し、この比較結果に基づいて空間操作型入力装置の空間
動作パターンの識別を行う識別ステップとを含むことを
特徴とする。

【００１７】また、好ましくは、前記変換ステップは、
空間動作量に対して単位ベクトルの個数と角度を登録し
た変換テーブルに対して、前記動作検出ステップにおい
て検出された少なくとも２つの検出量からなる当該空間
動作量を時間的にサンプリングした値を逐次指定値とし
て与えることによって、当該空間動作量を動作ベクトル
列に変換した結果を得ることを特徴とする。

【００１８】また、好ましくは、前記動作検出ステップ
は、前記空間操作型入力装置の動作量を検出する２軸方
向ごとに、これに直行する方向の軸回りの回転動作量を
検出する回転動作量検出ステップをさらに有し、前記変
換ステップは、前記回転動作量検出ステップでの検出結
果に基づき、前記動作検出ステップで検出された関連す
る前記空間操作型入力装置の２軸方向の動作量から上記
軸回りの回転動作量を取り除いた動作量を抽出する補正
ステップをさらに有することを特徴とする。

【００１９】また、好ましくは、前記実行ステップは、
前記識別ステップにおいて認識された空間動作パターン
の形状を表示画面に表示することを特徴とする。

【００２０】

【作用】本発明では、空間操作マウスに２次元方向また
は３次元方向の加速度または角速度から空間操作マウス
の動きを検出する動き信号生成手段を設けた。このため
に、任意の操作空間での操作者の意図する平面的動作や
空間的動作を検出することができ、従って、空間操作マ
ウスを、コンピュータのポインタとして、あるいは離れ
た場所から見る大画面映像システムやマルチメディア機
器のリモコン装置として用いて、手軽にポインタ操作や
制御操作ができる。

【００２１】それゆえ、本発明の空間操作マウスを用い
た空間操作マウスシステムでは、制御対象機器の表示画
面上のカーソルまたは表示オブジェクトの変化により操
作者の指示位置を表示したり、表示画面の方向を変化さ
せることで、従来にない操作性の向上されたヒューマン
インターフェイス環境を実現できる。

【００２２】また、本発明に係る空間動作パターン入力
方法では、予め操作者の基本動作パターンを登録してお
き、空間操作マウスを操作して入力された動作パターン
を識別し、各動作パターンに対応する制御を実行する。
従って、人間の自然な動作を用いて、制御対象機器を制
御することが可能となる。

【００２３】一方、本発明に係る空間動作パターン入力
方法では、予め操作者の基本動作パターンを登録してお
くとともに、操作者が空間操作マウス（空間操作型入力
装置）を操作することにより入力された空間動作パター
ンの動きを検出して動作ベクトル列に変換し、予め登録
されている基本動作パターンに対応した動作ベクトル列
と当該動作ベクトル列とを比較して識別を行い、この認
識結果に基づく制御を制御対象機器に対して実行する。

【００２４】このように、基準位置（原点）に対する空
間操作マウスの空間座標を測定しなくても、空間操作マ
ウスの動きを動作ベクトルを用いて時系列の微小基準ベ
クトル集合として相対的に得ることによって、動作パタ
ーン入力を行うことができる。また、本発明では、従来
のパターンマッチング法ではなく、動きを動作ベクトル
列に分解して基本動作パターンと比較するので、空間で
の不安定なマウスの操作から得られる動作パターンを高
精度に認識することが可能となる。

【００２５】従って、本発明によれば、人間の自然な動
作を用いて、制御対象機器を制御することが可能とな
る。

【００２６】

【実施例】以下、図面を参照しながら本発明の実施例を
説明する。

【００２７】図１に、本発明の第１の実施例に係る空間
操作マウスの概観図を、図２に空間操作マウスの概略ブ
ロック図を示す。ここで、本明細書では、水平方向とは
図１の矢印２８のように空間操作マウスからみて左右の
方向をいい、垂直方向とは矢印２９のようにマウスから
みて上下の方向を言うものとする。

【００２８】本発明の空間操作マウスは、水平方向の動
きを検出するための第１動き検出部１６ａと、垂直方向
の動きを検出するための第２動き検出部１６ｂと、操作
者がクリック動作をするためのスイッチ部１７と、第１
動き検出部１６ａからの出力信号、第２動き検出部１６
ｂからの出力信号およびスイッチ部１７からの出力信号
を制御対象機器に対して伝送するための送信部１８を備
える。

【００２９】第１動き検出部１６ａは、水平方向の動き
を検出する水平方向動き検出素子２を含む。第２動き検
出部１６ｂは、垂直方向の動きを検出する垂直方向動き
検出素子３を含む。スイッチ部１７は、クリックボタン
４を含む。送信部１８は、赤外線発光素子５，６を含
む。

【００３０】操作者は、空間操作マウス本体１を握り、
任意の空間において、空間操作マウス本体１を上下左右
に動かして操作する。すなわち、操作者は、机や格子反
射板のような実在する基準面を用いずに、仮想的な平面
上において、空間操作マウス本体１の移動操作を行う。
空間操作マウス本体１の動きは、圧電素子等を用いて構
成された水平方向動き検出素子２および垂直方向動き検
出素子３の働きにより、水平（左右）および垂直（上
下）の２方向の動きに分解して検出される。検出された
２方向の動き、例えば加速度や角速度は、動き検出部１
６ａ，１６ｂによって、所定の動き信号、例えば空間操
作マウスの速度あるいは移動距離等を表す信号に変換さ
れて出力される。あるいは、加速度や角速度などそのま
まの形で出力される。送信部１８は、この２つの動き信
号に対して、必要な処理、例えばフォーマット変換、符
号化、多重化、変調等を施す。その後、送信部１８は、
赤外線発光素子５，６を駆動して、この信号を制御対象
機器まで伝送する。

【００３１】操作者は、このような空間操作マウスを用
いて、表示画面上のカーソルの位置を操作するととも
に、操作する前および／または操作した後に、スイッチ
部１７のクリックボタン４を押す（あるいは放す）。送
信部１８は、クリックボタン４が押されたこと（あるい
は放されたこと）を、制御対象機器に伝える。動き信号
やクリック動作を示す信号を受けた制御対象機器は、こ
れら信号に応じた所定の制御動作を実行する。

【００３２】発光素子５は右側の空間に、発光素子６は
左側の空間に、赤外線を放射するようにすると、すなわ
ち両素子に異なる指向性を割り当てると、赤外線の放射
範囲が広角になるので好ましい。特に任意の空間で操作
する空間操作マウスでは、操作者が空間操作マウスを左
右に振っても、赤外線を制御対象機器に確実に伝送する
ことができる。もちろん、この発光素子の個数は、アプ
リケーションに応じて、１つでも、３つ以上でも良い。

【００３３】図１の実施例では、空間操作マウスに、垂
直および水平方向の２軸方向の動きを検出する動き検出
素子を設けた。その代りに、上記垂直および水平方向に
直行する方向（すなわち前後方向）と垂直方向の動きを
検出する２つの動き検出素子を、または前後方向と水平
方向との動きを検出する２つの動き検出素子を、空間操
作マウスに設ても良い。また、検出する２軸の方向は、
平行でない限りは、直行していなくても構わない。この
点に関しては、後述する実施例においても同様である。

【００３４】図３に、本実施例の空間操作マウスをラッ
プトップコンピュータ２１へ適用して構成される空間操
作型コンピュータシステムの使用概念図を示す。

【００３５】本発明によれば、マウスを操作するための
特別な作業環境や拘束された作業環境は不要である。す
なわち、操作者は、空間操作マウス本体１を握り、任意
の空間（すなわち操作者の目の前の空中など）で、これ
を上下左右に動かせば良い。この動きは、前述のように
水平方向動き検出素子２および垂直方向動き検出素子３
によって検出される。そして、検出された動きに応じた
制御信号が、赤外線発光素子５，６からラップトップコ
ンピュータ２１へ放射され、赤外線受光素子２３により
受光される。また、クリック動作を示す制御信号も、同
様にして、空間操作マウスからラップトップコンピュー
タ２１へ伝送される。

【００３６】ラップトップコンピュータ２１は、受け取
った制御信号に応じて、あるいは制御信号に基づく所定
の演算処理により空間操作マウスの移動量等を求めて、
この表示画面２２のカーソルを動かす制御を行う。ま
た、必要な場合には、表示画面上のカーソル位置にある
表示物に対して所定の処理を施したり、あるいはカーソ
ル位置に対応する新たな入力画面の表示などの制御を行
う。さらには、クリック動作に応答して、カーソル位置
の表示物（または文字列）に予め対応付けられている所
定の処理を行うなどの制御を実行することもできる。

【００３７】このように、操作者は、空間操作マウスを
用いて、表示画面２２上に表示されたカーソル等を動か
すとともに、クリック動作を実行することにより、シス
テム制御を順次行っていく。

【００３８】以下、いくつかの表示画面例を用いて、本
発明の空間操作マウスを用いた入力操作の具体例を簡単
に説明する。

【００３９】図４（ａ），図４（ｂ）は、ＡからＩまで
の９個のアイコンのうちから、Ｆのアイコンを選ぶ操作
を実行する例である。まず、図４（ａ）のように、画面
上のＤの部分に＋印のカーソルがあるとする。操作者が
空間操作マウスを右側に動かすと、これに伴ってカーソ
ルも右側に移動する。そして、図４（ｂ）のように、操
作者は、カーソルがＦの上に移動したときに、空間操作
マウスのクリックボタン４を押して、ラップトップコン
ピュータ２１に対して、Ｆのアイコンを選択したことを
伝える。Ｆのアイコンが選択されると、ラップトップコ
ンピュータ２１は、Ｆのアイコンに対応する処理を実行
する。

【００４０】図５（ａ），図５（ｂ）は、部屋の内部を
表した映像である。ここでは、この映像中から１つの対
象物を選ぶ操作を実行する例を説明する。表示画面上
で、矢印のアイコンによって示される部分は、網目状に
変化される。例えば、操作する前は、図５（ａ）のよう
に、矢印のアイコンがドアのところにある場合、ドアの
みが網目状に変化している。次に、操作者が空間操作マ
ウスを右に移動して、机の上のワードプロセッサの所に
アイコンを移動すると、図５（ｂ）のように、ワ−ドプ
ロセッサのみが網目状に変化される。この網目表示によ
って、ワードプロセッサが指示されていることが、一目
で認識できる。操作者がこのワードプロセッサを選択し
たい場合は、網目状に変化している時にクリックボタン
４を押せば良い。

【００４１】図６（ａ），図６（ｂ）は、建物の廊下を
表した映像である。ここでは、映像を操作者の見たい方
向に転換して表示させる操作を実行する例を説明する。
例えば、操作する前は、図６（ａ）のように、通路に平
行にまっすぐ見た映像が表示されている。操作者が手に
握った空間操作マウスを右側に動かすと、それに連動す
るように、表示される映像は徐々に右側を見た映像に変
化していく。そして、最終的に図６（ｂ）のように先の
右側のドアを正面から見た映像に変化する。

【００４２】次に、本発明の空間操作マウスをより具体
化した構成例について説明する。

【００４３】図７（ａ）は、本実施例の空間操作マウス
のより具体的なブロック図である。また、図７（ｂ）
は、制御対象器機の一例を示す概略ブロック図である。

【００４４】この空間操作マウスは、垂直方向の加速度
を検出するための第１動きセンサ３０ａと、この出力を
増幅する増幅器３１ａと、この出力を積分して速度を求
めるための速度検出部３２ａと、水平方向の加速度を検
出するための第２動きセンサ３０ｂと、この出力を増幅
する増幅器３１ｂと、この出力を積分して速度を求める
ための速度検出部３２ｂと、前記速度検出部３２ａ，３
２ｂの出力を伝送するための赤外線リモコン送信回路３
３と、この送信回路３３により駆動される赤外線発光素
子３４を備える。

【００４５】ここでは、第１動きセンサ３０ａおよび第
２動きセンサ３０ｂとして、圧電素子を用いる。なお、
図２のようなクリックボタンを含むスイッチ部は、図面
上では省略してある。

【００４６】一方、制御対象機器、例えばコンピュータ
は、赤外線発光素子３４から放射された光信号を受信す
る赤外線受光素子３５と、受光された信号を所定の形に
変換して出力する赤外線リモコン受信回路３６と、その
出力に応答して、画面制御を含む所定の処理を実行する
処理部３７と、表示画面３８とにより構成される。

【００４７】これらの構成において、操作者は、この空
間操作マウスの本体を握り、任意の空間の仮想的な平面
で、これを上下左右等の２次元方向に動かして操作す
る。この空間操作マウスの動きは、第１動きセンサ３０
ａおよび第２動きセンサ３０ｂの働きにより、例えば水
平および垂直の２方向の加速度に分解して検出され、そ
れぞれの加速度に比例した電圧信号が出力される。

【００４８】検出された２方向の加速度に対応する電圧
信号は、比較的微弱な信号である。従って、２つの電圧
信号を、それぞれ増幅器３１ａ，３１ｂで増幅する。こ
のときに、必要であれば、ノイズ除去処理を行う。

【００４９】次に、増幅された２つの信号は、速度検出
部３２ａ，３２ｂにそれぞれ与えられる。ここでは、２
方向の加速度に対応する電圧信号は、それぞれ積分によ
り、２方向の移動速度に対応する電圧信号に変換され
る。図８（ａ）は、検出されたマウスの加速度に対応す
る電圧信号と速度に変換された電圧信号と間の関係を示
す図である。破線ｌ１は、加速度センサ３０ａまたは３
０ｂからの出力電圧を表す。実線ｌ２は、速度検出部３
２ａまたは３２ｂに含まれる積分回路で速度に変換され
た出力電圧を表す。

【００５０】速度検出部３２ａ，３２ｂからは、速度に
変換された出力電圧ｌ２をそのまま出力しても良い。あ
るいは、その代わりに、図８（ｂ）に示すように、速度
に対応するパルス密度を有するパルス信号に変換した
後、出力しても良い。

【００５１】また、加速度から速度を検出する動き演算
部としては、積分回路の他に、デジタル積分回路や、マ
イクロプロセッサによる演算を用いても実現可能であ
る。

【００５２】次に、速度検出部３２ａ，３２ｂの各出力
とスイッチ部からのクリック動作を示す信号を受けた赤
外線リモコン送信回路３３は、これらの信号に対して、
必要な処理、例えばフォーマット変換、符号化、信号の
多重化、変調等のうちの任意の処理を施す。その後、赤
外線発光素子３４を駆動して、この信号を制御対象機器
に対して送信する。

【００５３】図７（ａ）の空間操作マウスから送信され
た、この空間操作マウスの移動速度に対応する信号やク
リック動作を示す信号は、図７（ｂ）の制御対象機器の
赤外線受光素子３５により受光される。そして、これら
受光された信号に対して、赤外線リモコン受信回路３６
により、所定の制御信号の形に戻す処理が行われる。

【００５４】この制御信号を受けた処理部３７は、所定
の演算処理により、空間操作マウスの移動量を求めるこ
とにより、この空間操作マウスの移動量、移動速度及び
それらの方向並びにクリック動作を表す信号をすべて獲
得することができる。処理部３７は、これらの信号に応
答して、表示画面３８上のカーソルを動かす制御を行
う。また、場合によっては、動かした後のカーソル位置
の表示物に所定の処理、例えば色あるいは模様を付す処
理を行う。あるいは、カーソル位置に対応する新たな入
力画面、例え現在の入力画面の下の階層の入力画面等を
表示する制御などを行う。さらにまた、クリック動作に
応答して、カーソル位置の表示物（または文字列）に対
応する処理、例えばその表示物等自体に処理を施すこと
ができる。あるいは、その文字列等が示すコマンド（画
面制御以外の制御を含む）を実行するなどの制御を実行
することも可能である。

【００５５】ここで、前記速度検出部３２ａ，３２ｂ
は、図７（ａ）の空間操作マウス側に設けずに、図７
（ｂ）の制御対象機器側に設けても良い。また、図７
（ａ）の空間操作マウス側で当該空間操作マウスの移動
量まで算定し、この算定した移動量を図７（ｂ）の制御
対象機器側に与えるように構成しても良い。

【００５６】次に、動き検出素子として圧電振動ジャイ
ロを用いる例について説明する。

【００５７】図９（ａ）に、圧電振動ジャイロの構造の
一例を示す。この圧電振動ジャイロでは、正三角柱の恒
弾性金属９１を振動子として用いる。恒弾性金属９１の
各面には、縦波モードの圧電セラミック９２〜９４が配
置される。図９（ｂ）のように、励振電源９６を用い
て、励振用圧電セラミック９２に振動子９１を励振させ
る。この場合、静止時には、検出用圧電セラミック９
３，９４には等しい電圧が発生する。一方、この圧電振
動ジャイロが回転軸９５を中心に回転すると、振動方向
からみて９０度の方向に、角速度に比例したコリオリの
力が発生する。この結果、検出用圧電セラミック９３に
発生する電圧と検出用圧電セラミック９４に発生する電
圧との間に、差が生じる。従って、減算装置９７を用い
て、検出用圧電セラミック９３，９４の出力電圧の差を
演算することによって、角速度を求めることができる。
２つの検出用圧電セラミック９３，９４の特性が同一で
あるとすると、出力端子９８には、角速度に比例した電
圧信号のみが現れる。

【００５８】この圧電振動ジャイロを本発明の空間操作
マウスにさらに適用すれば、平行移動のみではなく、軸
回りの回転も検出することがでる。この適用は、空間操
作マウスの操作性の面において、様々な応用範囲の広が
りを与える。

【００５９】なお、振動子９１が回転しなくても、励振
用圧電セラミックの振動方向からみて９０度の方向に空
間操作マウス本体が動くと、検出用圧電セラミック９
３，９４に、移動速度に比例する電圧差が発生する。こ
れを利用して、マウス本体の速度を検出することができ
る。

【００６０】図１０は、ポインティング動作を安定にす
るための手振れ補正回路を設けた空間操作マウスの構成
例である。この空間操作マウスの構成は、基本的には、
図７（ａ）の空間操作マウスの構成と同じである。ただ
し、増幅器３１ａ，３１ｂの後段に、帯域制限器３９
ａ，３９ｂをそれぞれ設けた点に、相違がある。

【００６１】すなわち、空間操作マウスは操作者が手に
持って操作するため、操作者の手振れにより、どうして
も空間操作マウス本体が微妙に振動する。この結果、ポ
インティング動作が正確にできない場合が生ずる。そこ
で、帯域制限器３９ａ，ｂを用いて、手振れによる振動
成分を除去するものである。

【００６２】通常、手振れの周波数は、０．５Ｈｚ〜１
５Ｈｚ程度の周波数範囲にあると考えられる。従って、
帯域制限器３９ａ，３９ｂの周波数除去範囲は、上記範
囲に設定すると効果的である。これにより、操作者の意
図する動作に対してのみ、マウスの動きを検出すること
が可能になるので、操作者の意図しない誤入力を回避す
ることができる。従って、空間操作マウスの信頼性の向
上を図ることができる。

【００６３】この帯域制限器３９ａ，３９ｂには、帯域
制限フィルタまたは積分回路、あるいは演算回路を用い
ても良いし、ソフト処理によっても実現可能である。

【００６４】なお、アプリケーションによっては、帯域
制限器３９ａ，３９ｂの除去周波数を互いに異なる範囲
に設定しても良い。

【００６５】一方、手振れの周波数である０．５Ｈｚ〜
１５Ｈｚ程度の周波数範囲に該当する緩慢な動作で、こ
の空間操作マウスの操作を行いたい場合もある。この場
合は、空間操作マウスに、帯域制限器３９ａ，３９ｂを
設ける経路と、設けない経路の２系統を設ければ良い。
そして、除去周波数の範囲に該当する動作であっても、
帯域制限器３９ａ，３９ｂを設けない経路から得られる
移動距離等を勘案し、操作者の意図する動作と認められ
る場合と認められない場合で経路を切り替えて信号を出
力しても良い。

【００６６】以上により、任意の空間でのポインタ動作
を可能とするとともに、コンピュータやマルチメディア
器機あるいはその表示装置から離れていても、手軽にポ
インタ操作や制御操作を行うができる空間操作マウスを
提供することができる。

【００６７】図１１は、本発明の第２の実施例に係る空
間操作マウスの概略構成図である。第１の実施例と同様
に、水平方向動き検出素子１１２と垂直方向動き検出素
子１１３によって、空間操作マウス本体１１１の２次元
方向の動きを検出し、その結果得られる動き信号によ
り、制御対象機器の表示画面上のカーソルを動かす。操
作は、カーソルボタン１１４とクリックボタン１１７に
よって行われる。

【００６８】図１２は、本発明の第２の実施例の空間操
作マウスをマルチメディアテレビに適用した場合の空間
操作型映像システムの使用概念図である。操作者は、従
来のボタン制御型の赤外線リモコン装置のように、多く
の機能ボタンを用いて操作を行うのではなく、テレビ画
面内に表示される入力画面を見ながら操作を行うことが
できる。

【００６９】操作者が空間操作マウス本体１１１を上下
左右に動かすと、空間操作マウスによってその動きが検
出される。そして、空間操作マウス内で動きに応じた制
御信号が生成され、赤外線発光素子１１５、１１６から
放射される。放射され赤外線は、マルチメディアテレビ
本体１２１の赤外線受光素子１２３により受光される。

【００７０】操作者が、空間操作マウスのカーソルボタ
ン１１４を第１の指（例えば親指）で押すと、表示画面
１２２上にカーソルが表示される。マウス本体１１１を
動かして、カーソルをクリックしたい対象物上に移動す
る。そして、操作者は、第２の指（例えば人差し指や中
指）でクリックボタン１１７を押す。

【００７１】図１３（ａ）〜図１３（ｄ）の画面例を用
いて、この空間操作型映像システムの操作の一例を説明
する。まず、画面にはチャンネルＡの内容が映されてい
るものとする。そのような画面の状態を、図１３（ａ）
に示す。操作者が例えばチャンネルＤを画面に映したい
場合には、まず、操作者は、カーソルボタン１１４をク
リックする。すると、図１３（ｂ）のように、入力画面
１２４が表示される。このとき、入力画面１２４には、
チャンネルを表すＡ〜Ｆの文字が表示される。現在のチ
ャンネルであるＡは、四角いカーソルで囲まれている。
操作者は、空間操作マウスを動かして、このカーソルを
図１３（ｃ）のようにＤに移動させる。そして、クリッ
クボタン１１７を押し、続けてカーソルボタン１１４を
押す。すると、図１３（ｄ）のようにチャンネルが切り
替わり、入力画面１２４は消去される。

【００７２】このような操作は、チャンネル選択だけで
なく、音量調節、色調の調節等、あらゆる操作に用いる
ことができる。

【００７３】このように、本発明の空間操作マウスを用
いれば、従来の多くの機能ボタンを有するボタン制御型
の赤外線リモコン装置を用いる場合と異なり、操作者
は、テレビ画面を見ながら入力操作を行うことができ
る。したがって、操作者は、多くのボタンの機能をそれ
ぞれ記憶する負担や煩雑なボタン操作から解放される。
すなわち、本発明の空間操作マウスは、操作者にとって
非常に使いやすい操作環境を提供することができる。

【００７４】ここで、１つのクリックボタンを有する第
１の実施例の空間操作マウスおよびカーソルボタンおよ
びクリックボタンの２つのボタンを有する第２の実施例
の空間操作マウスについて、種々のクリック動作のタイ
プを図１４を参照しながら説明する。なお、図１４にお
いて、「押す」という動作は、「押し続ける」ではなく
「押して放す」という動作を示す。

【００７５】従来のメカニカル式マウスや光学式マウス
では、カーソル制御のオン／オフの切り換えは、マウス
本体を操作板に接触させるかさせないかで決められる。
従って、マウス本体が操作板の端に位置している場合
に、表示画面上でさらにカーソルを移動させたいとき
は、操作者は、一旦、マウスを持ち上げて、マウスを操
作板の移動可能領域に設置し直し、改めて操作板上を移
動させる。ところが、本発明の空間操作マウスでは、カ
ーソル制御のオン／オフの切り換えは、ボタンの押し方
あるいは放し方によって簡単に指示することができる。
あるいは、オン／オフ指示用のボタンの操作によって指
示される。

【００７６】まず、第２の実施例の空間操作マウスで
は、カーソル制御を可能にするためのカーソルボタン
（Ａ）と確認動作あるいは選択動作をするためのクリッ
クボタン（Ｂ）とを別に設けている。

【００７７】操作タイプ１では、カーソルボタン（Ａ）
を押すと、カーソルや必要な入力画面が表示され、カー
ソル制御が可能となる。操作者は、表示されたカーソル
を移動させた後、クリックボタン（Ｂ）を押す。この操
作により、確認入力あるいは選択入力がなされる。そし
て、再びカーソルボタン（Ａ）を押すと、カーソルや入
力画面が消去され、カーソル制御が不可となる。

【００７８】操作タイプ２では、カーソルボタン（Ａ）
を押し続けている間、カーソルや必要な入力画面が表示
され、カーソル制御が可能となる。カーソルを移動させ
た後、クリックボタン（Ｂ）を押すことにより、確認あ
るいは選択がなされる。そして、再びカーソルボタン
（Ａ）を放すと、カーソルや入力画面が消去され、カー
ソル制御が不可となる。

【００７９】次に、第１の実施例の空間操作マウスは、
カーソル制御を可能にするためのカーソルボタンと確認
動作あるいは選択動作をするためのクリックボタンとを
１つのクリックボタンで共有したものである。

【００８０】操作タイプ３では、クリックボタンを１回
押すと、カーソルや必要な入力画面が表示され、カーソ
ル制御が可能となる。カーソルを移動させた後、クリッ
クボタンを予め設定された回数（例えば２回）押すこと
により、確認あるいは選択がなされる。そして、再びク
リックボタンを１回押すと、カーソルや入力画面が消去
され、カーソル制御が不可となる。

【００８１】操作タイプ４では、クリックボタンを押し
続けている間、カーソルや必要な入力画面が表示され、
カーソル制御が可能となる。カーソルを移動させた後、
クリックボタンを放すことにより、確認あるいは選択が
なされるとともに、カーソルや入力画面が消去され、カ
ーソル制御が不可となる。

【００８２】この操作タイプ３および４は、第２の実施
例の空間操作マウスでも使用可能である。

【００８３】これらの操作タイプは、アプリケーション
の特徴等を考慮して、その都度最適なものを選択するの
が好ましい。

【００８４】なお、この他の操作タイプとしては、例え
ば次のような方法がある。まず、制御対象機器側でカー
ソル制御を可能とするとともに、必要な場合にはその旨
を操作者に伝える。そして、空間操作マウス側では、確
認動作あるいは選択動作をするためのクリックボタンの
操作が行われる。

【００８５】また、制御対象機器側で、カーソル制御を
可能や不可にするタイミングの制御、および確認動作あ
るいは選択動作タイミングの制御を司り、空間操作マウ
ス側では、クリックボタンを設けないあるいは設けても
操作しないで、カーソルの移動だけを行わせる様に構成
することも可能である。

【００８６】次に、本発明の第３の実施例について説明
する。

【００８７】本発明の空間操作マウスは、カーソルを用
いた画面上のアイコンや映像の制御に適用できるのみで
はなく、操作者が空間操作マウス本体を握って、空間に
所定の動作パターンを描くことにより意思を伝達できる
機能を付加したものである。それゆえ、空間操作マウス
という語句は、ポインティング・デバイスとしての機能
を有するマウスを意味するだけでなく、動作パターンに
よる入力機能をも含めた拡張した意味で用いるものとす
る。

【００８８】基本的に、人間の通常の感覚に基づいて自
然になされる動作は、３次元空間内で営まれる。従っ
て、操作者による３次元空間動作のパターンの認識がで
きれば、操作者が感覚的にコンピュータや映像器機を制
御できるような環境を提供することが可能となる。すな
わち、日常生活の中で無意識に行われる生理的動作や習
慣的動作等の感覚的動作／反射的動作を利用するマン・
マシンインターフェイスは、感覚的制御に最適なヒュー
マンインターフェイスと言える。

【００８９】感覚的制御に利用する生理的動作や習慣的
動作としては、以下のようなものが考えられる。まず、
生理的動作の例としては、喜怒哀楽の情緒的感情に伴う
動作や、人の体の構造上規定される動作がある。次の５
つの動作は、生理的動作の例である。（i ）驚いた時に
は、一瞬筋肉が萎縮し、体がすくむ。（ii）緊張してい
る時には、手足が震える。（iii ）注意している時に
は、静止する。（iv）相手を攻撃するときは、手を突き
出したり、上から降り下ろしたりする。（v ）右利きの
人が紙をめくる時は、左下から右上に向かってめくる。

【００９０】また、次の４つの動作は、習慣的動作の例
である。（i ）肯定の場合に、首を縦に振る。（ii）音
量アップの時は、右回しでボリュームを操作し、音量ダ
ウンの時は、左回しの動作をする。（iii ）別れる時
は、手を上げて、左右に振る。（iv）人を呼び寄せる時
は、手のひらを上に向け、手前に振る。このように、日
常生活において、万人が同じような動作を習慣的に行う
例は多い。

【００９１】生理的動作や習慣的動作を入力パターンと
して利用することは、操作者にとって、それらの動作が
無意識に感覚的にできる点において、優れている。

【００９２】ただし、２次元平面では、その動作の表現
と認識が困難である。すなわち、３次元空間内での動作
確認技術が必要不可欠である。従って、従来の操作板上
で操作する２次元マウスから動作パターンを入力して
も、人間の３次元空間での感覚的動作を認識することは
できない。これに対して本発明では、空間操作マウス本
体１を３次元空間内で操作できるため、従来の２次元マ
ウスでは不可能な感覚制御型ヒューマンインターフェイ
スを実現することができるわけである。

【００９３】図１５は、空間動作パターンによる入力機
能を有する空間操作マウスのブロック図の一例である。
この空間操作マウスは、第１動きセンサ３０ａ、増幅器
３１ａ、前述の帯域制限器３９ａ、Ａ／Ｄ変換器４０
ａ、速度検出部３２ｃ、第２動きセンサ３０ｂ、増幅器
３１ｂ、前述の帯域制限器３９ｂ、Ａ／Ｄ変換器４０
ｂ、速度検出部３２ｄ、動作認識部４１、動作パターン
メモリ４２、赤外線リモコン送信回路４３、赤外線発光
素子３４により構成される。

【００９４】基本的な構成は、図１０の空間操作マウス
とほぼ同様であるが、操作者によって空間に描かれた動
作パターンを認識するための動作認識部４１および動作
パターンメモリ４２を設けた点が異なる。

【００９５】まず、ポインティング・デバイスとしての
機能は、図１０とほぼ同様の構成、すなわち、第１動き
センサ３０ａ、増幅器３１ａ、前述の帯域制限器３９
ａ、Ａ／Ｄ変換器４０ａ、速度検出部３２ｃ、第２動き
センサ３０ｂ、増幅器３１ｂ、帯域制限器３９ｂ、Ａ／
Ｄ変換器４０ｂ、および速度検出部３２ｄを用いて実現
される。

【００９６】速度検出部３２ｃ，３２ｄには、それぞれ
Ａ／Ｄ変換された信号が与えられる。速度検出部３２
ｃ，３２ｄでは、デジタル処理が行われる点のみが異な
り、動作に関しては図７のものと同一である。従って、
この部分の構成および動作の詳細については、すでに説
明したので記載を省略する。なお、速度検出部３２ｃ，
３２ｄには、Ａ／Ｄ変換する前の信号を与えるように構
成しても構わない。

【００９７】次に、この空間操作マウスを用いた動作パ
ターンの認識処理と、それによる対象機器の制御につい
て説明する。

【００９８】図１６（ａ），図１６（ｂ），図１６
（ｃ）は、そのような動作パターンによる入力動作の例
である。空間操作マウスを図１６（ａ）のように回転さ
せる動作、図１６（ｂ）のように上下に振る動作、ある
いは、図１６（ｃ）のように左右に振る動作、といった
種々の動作パターンに対応して登録された制御を、コン
ピュータ等の制御対象機器に対して行うことができる。
例えば、制御対象機器がスピーカーを内蔵している場
合、空間操作マウスを右に回すと音量が増加し、左に回
すと減少する、といった制御をさせることが可能であ
る。あるいは、制御対象機器から確認のための入力を求
められた場合、空間操作マウスを上下に振ると“Ｙｅ
ｓ”が伝えられ、左右に振ると“Ｎｏ”が伝えられるな
ど、種々の制御をさせることが可能である。

【００９９】まず、操作者は、本実施例の空間操作マウ
スを握り、手を動かして、予め決められている基本動作
パターンを空間に描く。空間操作マウスの動きは、第１
動きセンサ３０ａ，３０ｂにより、一旦２つの方向の動
きに分解されて検出される。それぞれの方向の動きを表
す信号は、増幅器３１ａ，３１ｂにより増幅され、帯域
制限器３９ａ，３９ｂにより余分な成分が除去され、Ａ
／Ｄ変換器４０ａ，４０ｂによりデジタル信号に変換さ
れて、動作認識部４１にそれぞれ与えられる。

【０１００】一方、動作パターンメモリ４２には、所定
の様々な基本動作パターンに対応する基本データが格納
されている。

【０１０１】動作認識部４１は、まず、操作者の３次元
空間における動作をパターン化するために、２つの方向
の動きを表す信号を基本データと同じフォーマットの動
作パターンデータに変換する。そして、この動作パター
ンデータと基本データとを比較することによって、動作
パターンの識別を行い。そして、該当する基本動作パタ
ーンを示す動作コードを獲得する。

【０１０２】この動作コードは、赤外線リモコン送信回
路４３と赤外線発光素子３４により制御対象機器に送信
される。これを受信した制御対象機器は、与えられた動
作コードに対応する制御を実行する。

【０１０３】ここで、操作者の動作により得られた動作
パターンデータおよび動作パターンメモリ４２に格納さ
れている基本データを比較することによって、操作者の
動作を同定しようとしても、識別しにくい動作がなされ
た結果、動作を同定しきれない場合が考えられる。そこ
で、例えば動作パターンデータと基本データとの間の類
似度を計算し、測定された動作パターンデータに対して
類似度の一番高い基本データを有する動作パターンを操
作者が行った動作ものと決定し、決定した動作パターン
に対応する動作コードを得るようにしても良い。あるい
は、良く知られているニューロやファジー等の手法を用
いて、動作パターンの識別を行っても良い。

【０１０４】また、測定された動作パターンデータに対
して同程度の類似度を有する基本データが複数検出され
た場合、複数の動作コードと類似度の組を制御対象機器
側に送信し、制御対象機器側の方で、与えられたデータ
の組に基づいて適宜処理を行っても良い。あるいは、動
作パターンが特定できないことを制御対象機器側に伝
え、制御対象機器側の方で画面表示あるいは合成音等を
用いて、再度動作パターンによる入力を実行するよう
に、操作者に伝えるように構成しても良い。

【０１０５】動きの認識については、様々なバリエーシ
ョンが考えられ、「８の字」や「×印」のような複雑な
動きも認識可能である。また、移動速度、加速度、パタ
ーンの大きさ等の種々データを用い、また組み合わせれ
ば、さらに数多くの種類の制御が可能となる。例えば、
空間操作マウスを右に回すと音量が増加する場合、大き
な輪を描くように（あるいは早い速度で）右に回すとき
の方が、小さく輪を描くように（あるいは遅い速度で）
右に回すときよりも、音量の増加の度合いが大きくなる
ように設定することも可能である。

【０１０６】また、基本動作パターンに対して、前述の
ような人間の通常の習慣的な動作が示す意味に対応する
処理内容を割り当て、あるいは基本動作パターンに対し
て、その基本動作パターンから受ける印象から違和感の
生じない処理内容を割り当てると効果的である。そのよ
うにすれば、操作者は、困難なく種々の基本動作パター
ンに与えられた機能を記憶することができるとともに、
使用時も非常に使い易くなる。このように、本発明の空
間操作マウスを適用すれば、優れたマン・マシンインタ
ーフェイス環境を提供することができる。

【０１０７】ここで、動きを検出すべき２つの方向につ
いては、本実施例では垂直および水平方向に動きを扱っ
た。その代わりに、これらに直行する方向（すなわち前
後方向）と垂直方向の２つの方向や、前後方向と水平方
向の２つの方向の動きを検出するように構成することが
可能である。さらに、動き検出部を増設して、動きを検
出できる軸を増やすことによって、動作パターン入力に
用いる基本動作パターンとして、３次元空間でのさらに
複雑な動作を用いることも可能である。また、手首のひ
ねり等の動作による軸の回りの回転を検出して、これを
動作パターンあるいは動作パターンの一部として用いて
も効果的である。

【０１０８】なお、本実施例の空間操作マウスの２つの
機能、すなわちいわゆるポインタ機能とこの動作パター
ン入力機能の使い分けは、空間操作マウスの方で設定し
ても良いし、制御対象機器の方で指示しても良い。ま
た、このポインタ機能と動作パターン入力機能を組合わ
せて使用することも可能である。

【０１０９】また、前記動作認識部４１および動作パタ
ーンメモリ４２は制御対象機器の方に設け、当該空間操
作マウスからは動き検出をして得られたそのままのデー
タを出力するように構成しても良い。

【０１１０】本実施例では、操作者が空間操作マウスを
手に握って操作する例について説明した。空間操作マウ
スを手に握って操作する代りに、空間操作マウスを操作
者の体の他の部分、例えば足あるいは頭に装着し、それ
らの装着した部分の動作パターンを検出しても良い。ま
た、操作者の操作する装置あるいは道具に装着あるいは
内臓して、それら装置等の動作パターンを検出しても良
い。

【０１１１】以上のように、本発明によれば、任意の空
間でのポインタ動作を可能にするだけでなく、操作者の
動作を認識することができる空間操作マウスを提供する
ことができる。また、コンピュータやマルチメディア器
機あるいはその表示装置から離れていても、手軽にポイ
ンタ操作や制御操作を可能にする空間操作マウスを提供
することができる。

【０１１２】次に、本発明の第４の実施例を説明する。

【０１１３】本実施例は、概略的には第３の実施例と同
様に、空間操作マウスのような３次元入力装置を用い
て、空間動作パターンを入力して、所望の機能を実行さ
せるシステムである。本実施例では、第３の実施例にお
ける動作パターンの認識処理をさらに詳細化している。
すなわち、後述するように、操作者の空間での動作パタ
ーンを微小な基準ベクトルの集合である動作ベクトル列
に変換し、動作ベクトル列と予め登録された操作者の基
本動作パターンとを比較して認識を行うところに特徴が
ある。

【０１１４】本実施例の空間動作パターン入力システム
を用いると、概略的には、操作者は、基本動作パターン
を空間に描くことにより、このパターンに対応付けられ
ている機能を実行させることができる。例えば図１７に
示すような機能が実現できる。図１７は、本発明による
空間動作パターンによる入力操作の一例を示したもので
ある。図のように、操作者が、空間操作マウス１を、ａ
からｂ、そしてｃへと三角形状に動かすことにより、表
示装置２０２の表示画面２０３に表示されていた選択肢
の中から、三角形の項目を選ぶことができる。

【０１１５】次に、本発明で用いる動作ベクトルの概念
を説明する。図１８（ａ）に、操作者によって動かされ
ている空間操作マウス１の運動の大きさ（Ｖ）と方向
（θ）を示す。図１８（ｂ）のように、ある時刻（ｔ）
において操作者によってなされた動作を、基準ベクトル
の大きさ（ｎ）の倍数と基準方向（例えば水平方向）に
対する角度の組で表現する。このように表現した動作
を、動作ベクトル（Ｖｔ、θｔ）と定義する。図１８
（ａ）のように、この動作ベクトルは、空間操作マウス
１によって検出される検出量を一定時間でサンプリング
することによって、直接得られる検出軸方向の速度（ｖ
x 、ｖy ）あるいは加速度（αx 、αy ）を指定値とし
て、テーブルを参照して得られるベクトルである。動作
ベクトルは、その大きさを基準ベクトルの大きさ（ｎ）
の倍数で表現したものである。よって、この動作ベクト
ルを用いれば、基準位置（原点）に対する空間操作マウ
スの空間座標を測定しなくても、空間操作マウスの動き
を、時系列の微小基準ベクトル集合として相対的に得る
ことが可能となる。

【０１１６】次に、動作を表現する際に一般的に用いら
れるいわゆる運動ベクトルと本発明において使用される
動作ベクトルの相違を説明する。図１９のように、運動
ベクトルによる表現では、ある運動を始点と終点のみで
とらえ、始点−終点間の運動の大きさ（Ｖ）と方向
（θ）を用いる。一方、本発明における動作ベクトルに
よる表現では、ある運動の始点から終点までを微小なベ
クトルの集合としてとらえ、ある時刻（ｔ）における個
々の微小ベクトルの大きさ（Ｖｔ）と方向（θｔ）を用
いる。これによって、空間における不安定な動作でも、
それぞれの動作ベクトルの大きさあるいは方向の時間的
変化を追っていくことによって、相対的に、ある動作を
とらえることができる。

【０１１７】図２０は、本発明の空間操作マウスを用い
る空間動作パターン入力システムの要部構成の一例を示
すブロック図である。本実施例の空間動作パターン入力
システムは、動作検出部２０４と、動作ベクトルへの変
換を行う変換部２０５と、検出量と動作ベクトルとの対
応を示したベクトルテーブル２０６と、識別部２０７
と、実行部２０８により構成される。

【０１１８】図２０の各構成部分は、適宜、空間操作マ
ウスと、制御対象機器に分散配置することができる。た
だし、少なくとも、動作検出部２０４は空間操作マウス
に実装し、実行部２０８は制御対象機器に実装する。例
えば、動作検出部２０４を空間操作マウスに実装し、変
換部２０５とベクトルテーブル２０６と識別部２０７と
実行部２０８とを制御対象機器に実装する。あるいは、
動作検出部２０４と変換部２０５とベクトルテーブル２
０６を空間操作マウスに実装し、識別部２０７と実行部
２０８とを制御対象機器に実装する。他にも、種々の実
装の仕方が考えられる。

【０１１９】動作検出部２０４を空間操作マウスに実装
し、他を制御対象機器に実装する場合、動作検出部２０
４の出力信号は、図７（ａ）のように赤外線リモコン送
信回路３３を用いて送信され、図７（ａ）のような制御
対象機器側の赤外線リモコン受信回路３６を用いて受信
される。他の実装方法を採用する場合も、同様の方法で
信号を、空間操作マウス側から制御対象機器側へ渡すこ
とができる。

【０１２０】すなわち、赤外線リモコン送信回路３３あ
るいは送信部１８は、後述する動作パターン入力に必要
な処理が全て終了した時点の信号、あるいは処理の途中
の時点での信号に、フォーマット変換、符号化、多重
化、変調等の処理を施した後、赤外線発光素子１２、１
３を駆動して、この信号を制御対象機器まで伝送する。
これを受けた制御対象機器は、動作パターン入力処理の
途中の信号であれば、その後のステップの処理を行っ
て、動作パターン入力方法に対応した所定の制御動作を
実行する。

【０１２１】本実施例では、空間操作マウスとして、図
１および図２や、図１５などの既に各実施例で説明した
ものを用いることができる。例えば、第３の実施例で説
明した空間操作マウスを利用する場合、動作検出部２０
４は、第１動きセンサ３０ａ、増幅器３１ａ、帯域制限
器３９ａ、Ａ／Ｄ変換器４０ａ、第２動きセンサ３０
ｂ、増幅器３１ｂ、帯域制限器３９ｂ、Ａ／Ｄ変換器４
０ｂを利用して構成することができる。また、変換部２
０５とベクトルテーブル２０６と識別部２０７は、動作
認識部４１に対応する。動作認識部４１が用いる動作パ
ターンメモリ４２には、後述するような基本動作パター
ンが格納される。実行部２０８は、例えば図７（ｂ）の
処理部３７の実行機能に該当する。

【０１２２】なお、前出の空間操作マウスを利用する場
合、スイッチ部１７（ただし図１５では図中からは省略
されている）には、確認動作あるいは選択動作をするた
めのクリックボタンに加えて、カーソル制御を可能とす
るためのカーソルボタンや後述する動作パターン入力を
可能とするための動作パターン入力ボタン等をさらに設
ける修正を施すこともある。

【０１２３】ここで、特開平３−１９２４２３に、空間
での動作を検出し、これをコンピュータに入力する３次
元コンピュータ入力装置が開示されている。しかしなが
ら、空間での動作検出の概念を開示するに留まってお
り、一部のポインティング操作に用いることができるの
みである。一方、本発明は、空間操作マウス等によって
操作者の任意空間での動作を検出し、これを意味のある
動作として入力し、３次元空間における動作認識を行う
ことを目的としており、これを前述の動作ベクトルとい
う概念を用いて実現するものである。

【０１２４】図２１は、前記動作検出部２０４にて得ら
れた空間動作量を動作パターンに変換する変換部２０５
の機能を説明するための図である。

【０１２５】この変換部２０５では、ある時刻（ｔ）に
動作検出部２０４で検出された水平（左右）および垂直
（上下）の２方向の検出量（ＸｔとＹｔ）を組み合わせ
て、ベクトルテーブル２０６を参照し、動作ベクトル
（Ｖｔ、θｔ）に高速に変換する。なお、Ｖｔは、ある
時刻（ｔ）におけるそのベクトルの大きさ（基準ベクト
ルの倍数）を表し、θｔはそのベクトルの方向を表す。
以下の説明では、空間での一連の動作を、速度ベクトル
あるいは加速度のベクトル列として扱う。また、空間操
作マウスを動かしたときの動作ベクトルの時系列の集合
全体を、動作ベクトル列（Ｖ｛｝、θ｛｝）と呼ぶ。な
お、動作ベクトル列（Ｖ｛｝、θ｛｝）は、（（Ｖ１、
θ１）、（Ｖ２、θ２）、... 、（Ｖｔ、θｔ）、...
）といった動作ベクトルの時系列集合である。

【０１２６】次に、空間動作を、ベクトルテーブル２０
６によって、動作ベクトルに変換する一例を説明する。
操作者の空間動作は、動作検出部２０４によって、例え
ば図２２（ａ）のような２つの方向の動きＸｔ，Ｙｔに
分解して検出される。図２２（ｂ）のように、ある時刻
（ｔ）に動作検出ステップで得られた水平方向の検出量
（例えばＸｔ＝２）と垂直方向の検出量（例えばＹｔ＝
３）は、予め検出量と動作ベクトルとの対応を示したベ
クトルテーブルによって、動作ベクトル（（Ｖｔ、θ
ｔ）＝（Ｖ23、θ23））に変換される。図２２（ｃ）
に、動作ベクトル（Ｖ23、θ23）を表す。なお、動作ベ
クトルの大きさを得るためのベクトルテーブルには、基
準ベクトルの大きさ（ｎ）を基準とした係数を登録す
る。

【０１２７】図２３は、変換部２０５において変換され
た動作ベクトル列（Ｖ｛｝、θ｛｝）を、予め登録され
た基本動作パターンと比較して、識別を行う識別部２０
７の内部構成の一例である。図のように、単位ベクトル
処理部２２４と、ベクトル加算処理部２２５と、判定部
２２７を用いて構成される。ただし、単位ベクトル処理
部２２４とベクトル加算処理部２２５のいずれか一方の
みを有する構成を採用することも可能である。

【０１２８】識別部２０７では、まず、動作ベクトル列
（Ｖ｛｝、θ｛｝）を用いて単位ベクトル処理部２２４
による処理および／またはベクトル加算処理部２２５に
よる処理を行う。その結果を、予め登録された基本動作
パターンと動作ベクトル列マッチング処理部２２６にて
比較し、判定部２２７において動作ベクトル列に該当す
る基本動作パターンが存在するかを判定する。

【０１２９】図２４は、識別部２０７の単位ベクトル処
理部２２４による処理の流れ図である。ここでは、ある
時刻（ｔ）の動作ベクトル（Ｖｔ、θｔ）は、そのベク
トルの大きさにかかわらず、ベクトルの方向（θ）の単
位ベクトルとして扱う。単位ベクトルを、原点を中心に
まとめたものを、単位ベクトル関数Ｓθと呼ぶ。

【０１３０】単位ベクトル処理部２２４では、まず、こ
の単位ベクトル関数Ｓθを初期化する（ステップＳ２２
８）。動作ベクトル列のデータを時系列に処理するため
に、ｔを１にセットする（ステップＳ２２９）。時刻ｔ
におけるベクトルの方向θｔをメモリから呼び出す（ス
テップＳ２３０）。

【０１３１】その方向のＳθがそれまでの動作ベクトル
列に存在したか判定する（ステップＳ２３１）。もし、
存在していなければＳθt を１にセットする（ステップ
Ｓ２３２）。

【０１３２】そして、ｔの値が動作ベクトル列の全サン
プル数より大きいかを判定する（ステップＳ２３３）。
もし小さければｔの値に１を加え（ステップＳ２３
４）、時刻ｔにおけるベクトルの方向θｔをメモリから
呼び出すステップに戻る。

【０１３３】そして、以降同様の処理を繰り返し、ステ
ップＳ２３３で、ｔの値が動作ベクトル列の全サンプル
数より大きくなれば、この処理を終了する。

【０１３４】この処理によって、操作者の動作による動
作ベクトルは、原点を中心とし、大きさを１とした単位
ベクトルの集合（単位ベクトル関数）として表される。

【０１３５】次に、単位ベクトル処理の具体例を説明す
る。

【０１３６】図２５（ａ）〜図２５（ｃ）は、単位ベク
トル処理の説明図である。例えば、図２５（ａ）のよう
に空間で描かれた三角形状の動作ベクトル列（サンプル
数：６）は、個々の動作ベクトルの大きさは異なるが、
その方向はほぼ３方向によって構成される。この動作ベ
クトル列から単位ベクトル処理では、図２５（ｂ）のよ
うに各動作ベクトルのベクトルの方向（θ）のみに注目
し、原点からθ方向の単位ベクトルを得る処理を繰り返
し、動作ベクトル列のベクトルの方向の概要を得る（ス
テップＳ３０１〜Ｓ３０６）。この結果、図２５（ｃ）
のように、この三角形状の動作ベクトル列は、３方向の
単位ベクトルとして表される。

【０１３７】これによって、ほぼ同じベクトルの方向か
ら構成される三角形は、その形状の大小や若干の変形に
かかわらず、同じ三角形として識別できる。あるいは、
空間で円を描いた場合は、数多くの単位ベクトルが得ら
れることによって識別できる。この他にも種々のパター
ンを識別することが可能である。

【０１３８】また、この単位ベクトル処理では、単位ベ
クトルの方向を、水平方向および垂直方向を含むいくつ
かの方向に分けておおまかに行ってもよい。さらに、単
位ベクトルの現れた順序の情報を用いることによって、
例えば、円の描かれた回転方向（右回り、左回り）を識
別するなど、より多くの動作パターンを取り扱うことが
できる。

【０１３９】一方、図２６は、識別部２０７のベクトル
加算処理部２２５による処理の流れ図である。ここで
は、原点を中心に、動作ベクトルの大きさを、そのベク
トルの方向毎に加算する。この加算の結果得られるベク
トル関数を、単位ベクトル処理における単位ベクトル関
数に対して、累積ベクトル関数Ｃθと呼ぶ。

【０１４０】ベクトル加算処理部２２５では、まず、こ
の累積ベクトル関数Ｃθを初期化する（ステップＳ２３
５）。動作ベクトル列のデータを時系列に処理するため
に、ｔを１にセットする（ステップＳ２３６）。時刻ｔ
における動作ベクトル（ｖｔ、θｔ）をメモリから呼び
出す（ステップＳ２３７）。

【０１４１】それまでの累積ベクトル関数Ｃθt-1 に、
方向（θｔ）で大きさ（ｖｔ）のベクトルを加える（ス
テップＳ２３８）。

【０１４２】そして、ｔの値が動作ベクトル列の全サン
プル数より大きいかを判定する（ステップＳ２３９）。
もし小さければｔの値に１を加え（ステップＳ２４
０）、時刻ｔにおける動作ベクトル（Ｖｔ、θｔ）をメ
モリから呼び出すステップ（ステップＳ２３７）に戻
る。

【０１４３】そして、以降同様の処理を繰り返し、ステ
ップＳ２３９で、ｔの値が動作ベクトル列の全サンプル
数より大きくなれば、この処理を終了する。

【０１４４】この処理によって、操作者の動作による動
作ベクトルは、原点を中心としたベクトルの集合（累積
ベクトル関数）として表される。この処理結果と予め登
録された基本動作パターンとを比較することにより、空
間動作パターンが形状や大きさなどの点で、基本操作パ
ターンと同じかあるいは異なるかを識別できる。

【０１４５】次に、加算ベクトル処理の具体例を説明す
る。

【０１４６】図２７（ａ）〜図２７（ｃ），図２８
（ａ），図２８（ｂ）は、動作ベクトルの大きさを、そ
の方向毎に加算するベクトル加算処理を説明するための
図である。前述の単位ベクトル処理では、例えば、図２
７（ａ）と図２８（ａ）のように空間で描かれた三角形
の形状は、それぞれ異なるにもかかわらず、ともに図２
５（ｃ）のような結果が得られる。このような両者を区
別する必要がある際にベクトル加算処理は、効果的であ
る。例えば、図２７（ａ）のように空間で描かれた三角
形状の動作ベクトル列（サンプル数：６）は、図２７
（ｂ）のように各動作ベクトルのベクトルの大きさ
（Ｖ）と方向（θ）に注目し、原点からベクトルの方向
毎にベクトルの大きさを加算する処理を繰り返し、動作
ベクトル列の全体構成を得る（ステップＳ３１１〜Ｓ３
１６）。この結果、図２７（ｃ）のように、この三角形
状の動作ベクトル列は、３方向のほぼ同じ大きさのベク
トルとして表される。

【０１４７】同様に、図２８（ａ）のように空間で描か
れた三角形状の動作ベクトル列（サンプル数：５）から
は、ベクトル加算処理により、図２８（ｂ）のような結
果が得られる。

【０１４８】そして、図２７（ｃ）と図２８（ｂ）を比
較すると、動作ベクトルを構成している動作ベクトルの
大きさの割合が異なることから、入力された空間動作パ
ターンが互いに異なることが識別できる。

【０１４９】なお、動作ベクトルの大きさは、基準ベク
トルの倍数として表されているので、予め変換テーブル
に記録されている係数を加算していくことにより、上記
ベクトル加算処理は容易になされる。また、このベクト
ル加算処理も、動作ベクトルの方向を水平方向および垂
直方向を含むいくつかの方向に分けて、おおまかに行っ
てもよい。

【０１５０】次に、動作ベクトル列マッチング処理部２
２６では、単位ベクトル処理部２２４の処理結果と予め
登録された基本動作パターンとの間のマッチング処理、
および／または、ベクトル加算処理部２２５の処理結果
と予め登録された基本動作パターンとの間のマッチング
処理を行い、判定部２２７において動作ベクトル列に該
当する基本動作パターンが存在するかを判定する。

【０１５１】図２９は、判定部２２７における処理の流
れの一例を示す図である。例えば、動作ベクトル列マッ
チング処理部２２６におけるマッチング処理により、い
くつかの識別候補の基本動作パターンとそれぞれとの類
似度（Ｐ）が得られるとき、類似度（Ｐ）が予め規定さ
れた類似度の基準値（Ｒｅｆ）より大きければ、判定部
２２７では、動作ベクトル列に対応する基本動作パター
ンが存在すると判定し、類似度の基準値（Ｒｅｆ）より
小さければ、動作ベクトル列に対応する基本動作パター
ンは存在しないと判定する。

【０１５２】そして、この判定結果を基に、識別部２０
７における類似度の大きさ等による認識を行う。その結
果に基づいて、実行部２０８では、動作パターンに対応
して登録されていた基本データによって、制御対象機器
の制御を実行する。

【０１５３】ここで、図３０（ａ）〜図３０（ｅ）に
は、単位ベクトル関数による動作ベクトル列の識別方法
の一例を示す。例えば、図３０（ａ）のように空間で描
かれた三角形状の動作ベクトル列（サンプル数：６）か
ら図３０（ｂ）のような単位ベクトル関数Ｓθが得られ
たとき、この動作は３方向の単位ベクトルとして表され
る。この処理結果と予め登録された図３０（ｃ）〜図３
０（ｅ）のような基本動作パターンを比較して識別を行
う。この動作は３方向の単位ベクトルとして表されてい
るので、識別候補の基本動作パターンは図３０（ｄ）と
図３０（ｅ）となる。

【０１５４】さらに、単位ベクトル関数のベクトルの方
向（θ１、θ２、θ３）の関係に注目して、 ｜θ１−θ２｜ ｜θ２−θ３｜ ｜θ３−θ１｜ などを計算する。

【０１５５】この計算を識別候補の基本動作パターン
（図３０（ｄ）と図３０（ｅ））に対しても行い、比較
するとベクトルの方向の構成から図３０（ｄ）の方の類
似度が大きくなる。このようにして、単位ベクトル関数
によって動作ベクトル列の識別ができる。また、 ｜θ１−θD1｜ ｜θ２−θD2｜ ｜θ３−θD3｜ などを計算することによって、類似度を増減すると識別
がより正確に行われる。

【０１５６】このように、基準位置（原点）に対する空
間操作マウスの空間座標を測定しなくても、空間操作マ
ウスの動きを動作ベクトルを用いて時系列の微小基準ベ
クトル集合として相対的に得ることによって、動作パタ
ーン入力を行うことができる。

【０１５７】ここで、本実施例による動作パターン入力
のための処理の一例として、上述した単位ベクトル処理
や判定方法を用いたものについて、そのフローチャート
を図３１に示す。

【０１５８】次に、本発明の動作ベクトル列マッチング
と従来のパターンマッチングの相違について説明する。

【０１５９】図３２（ａ）〜図３２（ｇ）は、本発明に
おける動作ベクトル列マッチングと従来のパターンマッ
チングとの相違を説明するための図である。例えば、操
作者が動作パターン“丸”に対応する制御を実行したい
ときに、正しくは図３２（ａ）のように空間操作マウス
１を動かすべきであるところを、不安定な空間における
操作の結果、図３２（ｂ）のような軌跡の動作を行って
しまったものとする。このとき、従来のパターンマッチ
ング処理では、図３２（ｃ）のように得られた動作全体
の軌跡あるいはこの軌跡から得られる特長点の集合と、
図３２（ｄ）の予め登録されていた基本パターンの形状
との間のマッチングを行うため、このように不安定な操
作による入力の場合は、その類似度が小さくなってしま
う。したがって、従来のパターンマッチング処理では、
操作者により描かれた空間動作パターンを認識しきれな
い場合が多々生じると考えられる。一方、本発明におけ
る動作ベクトル列マッチング処理では、図３２（ｅ）の
ように操作者による空間操作マウス１の動きに基づき、
動作ベクトル列を生成し、例えば図３２（ｆ）のような
前記単位ベクトル処理の結果と予め登録されていた図３
２（ｇ）のようなベクトルパターンとのマッチングを行
うため、不安定な操作による入力に対しても、その類似
度を大きくすることができる。つまり、動作ベクトル列
マッチングを用いることによって、不安定な空間での操
作も正しく認識することができる。

【０１６０】ここで、図３３に本実施例を適用したシス
テムの構成例を、図３４にその入力動作例のフローチャ
ートをそれぞれ示す。

【０１６１】図３３のシステムは、空間マウス本体１、
動作検出部２０４、変換部２０５、ベクトルテーブル２
０６、識別部２０７、基本動作パターン２０９、実行部
２０８、オブジェクト指定部２１０、オブジェクト記憶
部２１１、表示制御部２１２、表示部２１３を備えた構
成となっている。なお、ここでは、空間マウス本体１に
は、少なくとも前述の実施例で述べたような動き検出素
子が内蔵されているものとする。また、実行部２０８
は、すでに述べた機能に加えて、オブジェクト指定部２
１０から与えられるコード等に対応する制御を実行す
る。実行部２０８は、表示制御部２１２および図示しな
い所望の制御対象に対して指定された制御を実行する。

【０１６２】このシステムは、図示しない制御回路によ
り、画面に表示されたオブジェクトを指示するためのい
わゆるポインティング・デバイスとして用いるモード
（ここでは、オブジェクト指示モードと言う）と、前述
した動作パターンによる入力モード（ここでは、動作パ
ターン入力モードと言う）とを切り替えて利用すること
ができる。

【０１６３】すでに述べたように、動作パターン入力モ
ードは、空間マウス本体１、動作検出部２０４、変換部
２０５、ベクトルテーブル２０６、識別部２０７、基本
動作パターン２０９、実行部２０８によって実現され
る。

【０１６４】また、オブジェクト指示モードは、空間マ
ウス本体１、オブジェクト指定部２１０、オブジェクト
記憶部２１１、表示制御部２１２、表示部２１３、実行
部２０８によって、実現される。オブジェクト指定部２
１０は、表示制御部２１２に適宜オブジェクトを表示部
２１３の画面上に表示させる機能、空間マウス本体１の
動きを検出した結果を表示制御部２１２に与えて表示部
２１３の画面上のカーソルを移動させる機能、および空
間マウス本体１の指示に応答して選択されたオブジェク
トあるいはそれに対応するコードを実行部２０８または
（選択されたオブジェクトに対応する機能が画面制御に
関するものである場合）表示制御部２１２に出力する機
能を有する。オブジェクト記憶部２１１には、各種オブ
ジェクトの情報およびそれらに対応付けられた機能を示
すコード等が格納されている。

【０１６５】上記構成において、まず、ユーザーまたは
システムによって入力モードが設定される。

【０１６６】動作パターン入力モードが設定されると
（ステップＳ４０２）、ユーザーは空間操作マウス本体
を握って空間に動作パターンを描くことにより、入力す
ることが可能となる（ステップＳ４０３）。ステップＳ
４０４でこの動きが検出され、ステップＳ４０５で動作
ベクトル列が生成され、ステップ４０６で単位ベクトル
処理等を用いて動作の識別判定が行われる。そして、ス
テップＳ４０７で対応する制御が実行される。

【０１６７】入力モードを終了する場合はステップＳ４
０８で終了し、入力モードを変更する場合は、ステップ
Ｓ４０９からステップＳ４１０に移る。

【０１６８】一方、オブジェクト指示入力モードが設定
されると（ステップＳ４１０）、ユーザーは空間操作マ
ウス本体を握って、画面上に表示されたカーソルを所望
のオブジェクトの上に移動させ、指示入力することが可
能となる（Ｓ４１１）。ステップＳ４１２で指示された
オブジェクトに対応する制御が実行される。

【０１６９】入力モードを終了する場合はステップＳ４
１３で終了し、入力モードを変更する場合は、ステップ
Ｓ４１４からステップＳ４０２に移る。

【０１７０】次に、操作者の意図に反する動きを補正す
る処理について説明する。

【０１７１】図３５（ａ）〜図３５（ｄ）は、動作検出
部２０４において検出された検出量を補正する補正部を
説明するための図である。操作者が、空間操作マウスの
水平方向や垂直方向を、表示画面の水平方向や垂直方向
とを合わせて、手に持っていないと、カーソルは空間で
の手の動きとは異なる方向へ移動する。例えば、空間操
作マウスを正規の向きと上下逆に持っていると、手の動
きとカーソルの動きは１８０度違ってしまう。このよう
な場合は、操作者は、表示画面上のカーソルの動きを目
視できるため、すぐに空間操作マウスの水平方向や垂直
方向と、表示画面の水平方向や垂直方向とが合っていな
いことが容易に分かる。従って、すぐに空間操作マウス
持ち直すことによって、これ以降は快適な操作が可能と
なる。

【０１７２】しかしながら、空間操作マウスを動かして
いる途中で、（人間の手や腕の機能に起因して）無意識
に手首のひねり等による回転が加わることによって、手
の動きとカーソルの動く方向とが違ってしまうことが生
じ得る。つまり、腕は所望の方向に動いているのに、空
間操作マウス本体１が回転しながら動いた場合は、操作
者は案外その原因に気付かないので、その結果として、
使い勝手が良くない入力機器であるという印象をもたれ
かねない。例えば、操作者が、図３５（ａ）の表示画面
２０３に表示されているカーソル２３５を、座標（Ｘ0
、Ｙ0 ）から座標（Ｘ1 、Ｙ1 ）に水平に右方向へ移
動させたい場合を考える。この場合、操作者が空間操作
マウスに手首のひねり等を加わえて動かしてしまうと、
空間操作マウスは図３５（ｂ），図３５（ｃ），図３５
（ｄ）に示す順に回転していく。その結果、カーソル２
３５は、図３５（ａ）の座標（ＸA 、ＹA ）から座標
（ＸB、ＹB ）、そして座標（ＸC 、ＹC ）というよう
に、異なる方向に移動してしまう。

【０１７３】そこで、図３６のように、水平方向動き検
出素子２および垂直方向動き検出素子３の両方に直交す
る方向（すなわち前後方向）に回転量検出素子２３６を
設置し、その回転検出量に応じて、水平方向や垂直方向
の速度あるいは加速度等の動作量の検出軸方向への成分
の分配を補正する。

【０１７４】図３７は、図２の空間操作マウスに、回転
量検出部２３７と補正部２３８をさらに設けた空間操作
マウスの概略ブロック図である。操作者による空間操作
マウスの動きは、動き検出部１６ａ、１６ｂにおいて、
所定の動き信号、例えば空間操作マウスの速度あるいは
移動距離等を表す信号に変換されるが、そのときに回転
量検出部２３７によって得られた量に基づいて、水平
（左右）および垂直（上下）の２方向の動き量の成分
を、補正部２３８で補正する。

【０１７５】これによって、空間操作マウスのポインテ
ィング・デバイスとしての性能を向上できるとともに、
動作パターン入力を正確に行える。

【０１７６】図３８（ａ）、図３８（ｂ）は、補正部２
３８での処理を説明するための図である。手首のひねり
等による回転によって、空間操作マウスの水平方向や垂
直方向と、表示画面の水平方向や垂直方向とがずれてい
るときに、動き検出部１６ａ、１６ｂで検出された検出
量を、水平方向（ｘ’）、垂直方向（ｙ’）とする。一
方、ずれていないときの検出量を、水平方向（ｘ）、垂
直方向（ｙ）とする。同様に、ずれているときの動作ベ
クトルの方向を（θ’）とし、ずれていないときの動作
ベクトルの方向を（θ）とする。また、回転量検出部２
３７によって得られた量を（θｍ）とする。

【０１７７】すると、図３８（ａ）のように、正しくは
（θ）方向に動かすとき、手首のひねり等による回転に
よって（θｍ）だけずれると、図３８（ｂ）のように動
作ベクトルの方向は（θ’）として得られてしまう。つ
まり、 θ’＝θ＋θｍ ｘ’＝Ｖ・ｃｏｓθ’ ｙ’＝Ｖ・ｓｉｎθ’ となる。よって、動作ベクトルの大きさ（Ｖ）と、誤っ
て得られている動作ベクトルの方向（θ’）と、回転量
検出部２３７によって得られた量（θｍ）を用いて、 θ＝θ’−θｍ ｘ＝Ｖ・ｃｏｓ（θ’−θｍ） ｙ＝Ｖ・ｓｉｎ（θ’−θｍ） として、動作量の検出軸方向への成分分配を補正するこ
とができる。

【０１７８】次に、本実施例の空間動作パターン入力シ
ステムの機能を、２次元動作パターンから３次元動作パ
ターンへ拡張することについて説明する。

【０１７９】ここまでは、２軸方向の動き検出について
記述してきたが、本発明はこれに限定されず、図３９の
ように空間操作マウスからみて前後方向２４０に対応す
る前後方向動き検出素子２３９を設けて、３次元の動き
による空間動作パターン入力ができるように拡張でき
る。

【０１８０】図４０は、３次元の動きによる動作パター
ン入力方法の一例を示したもので、操作者が空間操作マ
ウス１を、ａからｂ、ｃ、ｄ、ｅ、ｆと三角錘の形状に
動かすことにより、表示装置２０２の表示画面２０３に
三角錘を描くことができる。

【０１８１】このような３次元空間での動作ベクトル
は、図４１（ａ）に示すように、ベクトルの大きさ
（Ｖ）とその方向（θ、φ）を用いて表す。また、図４
１（ｂ）に、３次元空間での３次元動作を動作ベクトル
に変換する際に参照する、ベクトルテーブルの一例を示
す。

【０１８２】このベクトルテーブルを利用し、すでに説
明した２次元の空間動作パターン入力と同様な処理を行
えば、３次元の空間動作パターンによる入力を行うこと
ができる。

【０１８３】次に、空間動作パターン入力モードのＯＮ
／ＯＦＦ操作について説明する。

【０１８４】通常の空間操作マウスによる制御対象機器
に対する主操作は、手の動きに合わせて表示画面上のカ
ーソルを移動させる操作であろう。この操作は、いわゆ
るポインタ機能の実現である。そこで、空間操作マウス
によって、ポインタ機能モードなどから動作パターン入
力を行うモードに入るには、以下のようなモード変更の
ための操作が必要となる。例えば、（１）表示画面上の
ある位置（各種ツールが選択できる領域、あるいはメニ
ューを選択する領域など）にカーソルを合わせる、
（２）動作パターン入力開始ボタンを押す、（３）上下
に数回振る等の予め決めていた簡単な動きを行うことな
どが考えられる。

【０１８５】また、このモードからポインタ機能モード
などに戻るときにも、何らかの操作あるいは予め規定し
たルールが必要となる。例えば、（１）ある程度の時間
が経つと強制的に出ると規定しておく、（２）静止状態
（動き量が検出されてない状態）を判定する、（３）動
作パターン入力用ボタンを放す（または再度押す）など
が考えられる。

【０１８６】さらに、動作パターン入力モードに入って
いる時のカーソルの取扱いによって、制御動作実行後の
操作性が変わってくるので、アプリケーションに応じ
て、以下のようにすることが考えられる。（１）カーソ
ルを表示画面上から消去する。ただし、動作パターン入
力モードに入った時の表示画面上の座標は保持してお
く。これにより、このモードから出るとカーソルが動作
パターン入力モードに入った時の位置に再度出現するの
で、ツールの選択等を実行後にその場所から作業を続け
られる。（２）通常通りに空間操作マウスの動きに合わ
せてカーソルが表示画面上を移動する。これにより、操
作者が目視によるフィードバックをかけられるので正確
な動作が入力できる。（３）動作パターン入力モードに
入っていることが一目瞭然に理解できるような形状にカ
ーソルを変化させる。なお、これらのうちのいくつかを
組み合わせても良い。

【０１８７】また、通常は、図４２（ａ）のような矢印
形（あるいは十字形など）のカーソル２３５を、動作パ
ターン入力によって認識された結果によって、図４２
（ｂ）のように変形させると、正しく動作パターン入力
が行われたかを操作者が簡単に理解できる。また、これ
と同時に、動作パターン入力毎に確認のための画面表示
（例えば「今の動作は、〜ですか？」）と操作者による
了解操作（「はい」あるいは「いいえ」）を省いて、次
の操作へスムーズに移ることが出来る。図４２（ｃ）
に、認識結果によるカーソルの形状の変形例を示す。

【０１８８】さらに、空間での操作は不安定な面がある
ので、直線状にカーソルを移動させたいときなども、ま
ず動作パターンによって移動させたい方向を認識させて
カーソルの形状をその方向を示す形に変えて、それ以降
はその方向だけにカーソルを制御できるようにすればよ
い。

【０１８９】以上詳述したように、本実施例によれば、
任意の平面でのポインタ動作さらには空間的なポインタ
動作を可能とした、空間操作マウスのような３次元入力
装置を用いるシステムにおいて、操作者の空間での動作
パターンを認識して、コンピュータやマルチメディア機
器の制御を実行できる、感覚的なマン・マシンインタフ
ェイス環境を実現できる。

【０１９０】図４３は、第５の実施例に係る空間操作マ
ウスの概略構成図である。この空間操作マウスは、前述
の実施例に係る空間操作マウスと基本的な構成・動作は
同じである。ただし、前後方向の動きを検出するための
動き検出素子７をさらに備えた点が異なる。

【０１９１】すなわち、本発明は２軸方向の動き検出に
のみ限定されるものではなく、本実施例のように３軸方
向に対応する動き検出部２，３，７を設けて、３次元空
間での動きを検出するように拡張することができる。

【０１９２】通常の表示画面は２次元表示であるので、
画面上のカーソル位置を特定するには、第１の実施例の
ように２軸分の動き検出部２，３を設ければ十分である
が、本実施例の３軸方向の動きを検出できる空間操作マ
ウスを、昨今盛んに用いられるようになってきているの
種々の疑似的な３次元表示を有するシステムのために、
ポインティング・デバイスとして活用すれば、非常に効
果的である。

【０１９３】また、３番目の軸方向の動きに、特別な役
割を与えることも可能である。例えば、３番目の軸方向
の（仮想的な）位置によって、空間操作マウスの１番目
や２番目の軸方向の移動量に対する画面上のカーソルの
移動量の比が決定されるようにすることもできる。

【０１９４】３番目の軸の動作の検出としては、動き検
出部７を設けて平行移動を検出する代わり、図９の圧電
ジャイロを用いて軸の回りの回転を検出するようにして
も良い。

【０１９５】一方、前述の第３の実施例に係る空間操作
マウスにおいて、パターン入力に用いる基本動作パター
ンとして、３次元空間での動作を用いることも可能であ
る。

【０１９６】もちろん、さらに拡張して４軸以上の検出
部を設けても良い。

【０１９７】この場合、２軸にポインティング・デバイ
スとしての役割を与え、他の軸に動作パターン入力の役
割を与えても良い。

【０１９８】このように、本発明によれば、任意の仮想
平面でのポインタ動作、さらには空間的なポインタ動作
を可能とし、また操作者の動作を認識し、コンピュータ
やマルチメディア器機あるいはその表示装置から離れて
いても手軽にポインタ操作や制御操作を可能にする空間
操作マウスを提供するができる。

【０１９９】図４４は、第６の実施例に係る空間操作マ
ウスの概略構成図を示す。この空間操作マウスは、前述
の実施例と基本的な構成・動作は同じである。水平方向
動き検出素子２と垂直方向動き検出素子３で空間操作マ
ウス本体１の２次元方向の動きを検出し、クリックボタ
ン４でクリック操作を受け付ける。

【０２００】ここで、本実施例においては、空間操作マ
ウスと制御対象機器は接続ケーブル８を用いて接続す
る。接続は、空間操作マウスの接続ケーブル８の端部の
コネクタ９を制御対象機器に差し込むことによって行わ
れる。空間操作マウスからの出力信号は、接続ケーブル
８を伝わり、制御対象機器に入力される。

【０２０１】空間操作マウスをワイヤレスにすること
が、そのシステムにとって必要でない場合には、この有
線の空間操作マウスを用いれば、赤外線方式のように伝
送方向の指向性を考慮する必要なく、制御信号の伝送を
極めて確実に実行できる。

【０２０２】以上、本発明について、種々の実施例を用
いて説明してきたが、空間操作マウスの形状は、必ずし
も従来のいわゆるマウスのような形状である必要はな
く、目的・用途に応じて、種々の形状にして使用するこ
とが可能である。

【０２０３】また、必ずしも手に握って操作する必要は
なく、操作者が直接あるいは間接的に用いる他の装置あ
るいは道具に装着あるいは内蔵するように構成すること
も可能である。

【０２０４】あるいは、この空間操作マウスに音声入力
等の他の入力手段を設ければ、さらにバリエーションに
富む操作環境を提供することができる。

【０２０５】クリックボタンについては、設ける個数は
任意であり、また、その形状も様々の変形が考えられ
る。

【０２０６】なお、前述の各実施例において、空間操作
マウス内部の回路は、可能な限り１チップに集積化する
と好ましい。

【０２０７】また、本発明は上述した各実施例に限定さ
れるものではなく、その要旨を逸脱しない範囲で、種々
変形して実施することができる。

【０２０８】

【発明の効果】以上詳述したように、本発明では、２次
元方向または３次元方向の加速度または角速度から空間
操作マウスの動きを検出する動き検出手段を設けてあ
る。

【０２０９】このために、任意の操作空間で操作者の意
図する動作を空間操作マウスで検出でき、また送信手段
により制御対象機器に容易に制御信号を伝送することが
できる。さらに、制御対象機器の表示画面上のカーソル
または表示オブジェクトの変化により操作者の指示位置
を表示したり、表示画面の方向を変化させることで、従
来にない操作の容易なヒューマンインターフェイス環境
を実現できる。

【０２１０】あるいは、予め操作者の動作を登録してあ
る動作パターン記憶手段を設け、操作動作パターンを識
別することで人間の自然な動作を用いて制御する入力手
段を実現できる。

【０２１１】さらには、操作者の手振れの周波数を除去
する帯域制限フィルタを設け、手振れによるポインティ
ング動作を正確にすることができる。

【０２１２】一方、本発明に係る空間動作パターン入力
方法では、操作者が空間操作マウスを操作することによ
り入力された空間動作パターンの動きを検出して動作ベ
クトル列（相対的な時系列の微小基準ベクトル集合）に
変換し、予め登録されている基本動作パターンに対応し
た動作ベクトル列と当該動作ベクトル列とを比較して識
別を行い、この認識結果に基づく制御を制御対象機器に
対して実行する。

【０２１３】したがって、基準位置（原点）に対する空
間操作マウスの空間座標を測定することなく、動作パタ
ーン入力を高精度に行うことができる。

【０２１４】このように、本発明によれば、人間の自然
な動作を用いて、制御対象機器を制御することが可能と
なる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る空間操作マウスの
概略構成図

【図２】本発明の第１の実施例に係る空間操作マウスの
概略ブロック図

【図３】図１のマウスを用いた空間操作型コンピュータ
システムの使用概念図

【図４】図３のコンピュータの表示画面およびポインテ
ィング操作の説明図

【図５】図３のコンピュータの表示画面およびポインテ
ィング操作の他の説明図

【図６】図３のコンピュータの表示画面およびポインテ
ィング操作のさらに他の説明図

【図７】本発明の第１の実施例に係る空間操作マウスお
よび制御対象器機のブロック図

【図８】加速度および速度にそれぞれ対応する電圧波形
図、ならびに速度とパルス密度の関係を示す図

【図９】圧電振動ジャイロを用いた角速度検出部の構成
例

【図１０】手振れ補正部を設けた空間操作マウスの概略
ブロック図

【図１１】本発明の第２の実施例に係る空間操作マウス
の概略構成図

【図１２】図１１のマウスを用いた空間操作型映像シス
テムの使用概念図

【図１３】図１２のシステムの表示画面およびポインテ
ィング操作の説明図

【図１４】第１および第２の実施例での種々のクリック
動作を説明するための図

【図１５】本発明の第３の実施例に係る空間操作マウス
の概略ブロック図

【図１６】検出動作パターンを説明するための図、

【図１７】本発明の第４の実施例に係る動作パターン入
力方法の一例を示す図

【図１８】動作ベクトルの概念を説明するための図

【図１９】運動ベクトルと動作ベクトルとの相違を説明
するための図

【図２０】本発明の第４の実施例に係る空間動作パター
ン入力システムの要部構成を示すブロック図

【図２１】空間動作量を動作パターンに変換する変換部
の機能を説明するための図

【図２２】空間動作をベクトルテーブルによって動作ベ
クトルに変換する一例を示す図

【図２３】識別部の概略構成を示すブロック図

【図２４】単位ベクトル処理部による処理の流れ図

【図２５】単位ベクトル処理を説明するための図

【図２６】ベクトル加算処理部による処理の流れ図

【図２７】ベクトル加算処理を説明するための図

【図２８】ベクトル加算処理を説明するための図

【図２９】判定部における処理の流れの一例を示す図

【図３０】単位ベクトル関数による動作ベクトル列の識
別方法の一例を説明するための図

【図３１】単位ベクトル関数による動作パターン認識処
理の流れを示す図

【図３２】本発明の動作ベクトル列マッチングと従来の
パターンマッチングとの相違を説明するための図

【図３３】本実施例の動作パターン入力方法を適用した
システムの構成例を示す図

【図３４】図３３のシステムの入力動作例を示すのフロ
ーチャート

【図３５】動作検出部において検出された検出量を補正
する処理を説明するための図

【図３６】回転量検出素子の設置位置の例を示す概観図

【図３７】補正部を設けた空間操作マウスを示す概略ブ
ロック図

【図３８】補正部での処理を説明するための図

【図３９】３次元動作パターン入力への拡張のための前
後方向検出素子の設置位置の例を示す図

【図４０】３次元動作パターン入力方法の一例を示した
図

【図４１】３次元空間での動作ベクトルの表現方法の一
例、および３次元空間での動作を動作ベクトルに変換す
る際に参照するベクトルテーブルの一例を示す図

【図４２】動作パターン入力によって認識された結果に
よるカーソル変形例を示す図

【図４３】本発明の第５の実施例に係る空間操作マウス
の構成図

【図４４】本発明の第６の実施例に係る空間操作マウス
の構成図

【符号の説明】

１…空間操作マウス本体、２…水平方向動き検出素子、
３…垂直方向動き検出素子、４…クリックボタン、５，
６…赤外線発光素子、１６ａ…第１動き検出部、１６ｂ
…第２動き検出部、１７…スイッチ部、１８…送信部、
２１…制御対象機器、２２…表示画面、２３…赤外線受
光素子、３０ａ…第１動きセンサ、３１ａ３１ｂ…増幅
器、３９ａ…帯域制限器、４０ａ…Ａ／Ｄ変換器、３２
ｃ…速度検出部、３０ｂ…第２動きセンサ、３１ｂ…増
幅器、３９ｂ…帯域制限器、４０ｂ…Ａ／Ｄ変換器、３
２ｄ…速度検出部、４１…動作認識部、４２…動作パタ
ーンメモリ、４３…赤外線リモコン送信回路、３４…赤
外線発光素子、２０２…表示装置、２０３…表示画面、
２３５…カーソル、２３６…回転量検出素子、２３９…
前後方向動き検出素子

フロントページの続き (72)発明者 福元 富義 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (7)

【特許請求の範囲】
1. 【請求項１】操作空間での所定の３つの軸方向の速度若
   しくは加速度又は３つの軸の回りの角速度若しくは角加
   速度のうちの少なくとも１つを検出し、当該検出された
   １つあるいは複数の量をそのままあるいは関連する量に
   変換して動き信号として出力するための動き信号生成手
   段と、この動き信号生成手段により与えられた前記動き
   信号を含む前記制御信号を送信するための送信手段とを
   有する空間操作マウスと、 前記空間操作マウスの前記送信手段により送信された制
   御信号を受信するための受信手段と、この受信手段によ
   り得られた制御信号に基づいて、表示画面上のカーソル
   または表示オブジェクトを変化させ、前記空間操作マウ
   スの操作者の指示位置を表示し、あるいは前記動き信号
   に従い表示画面を変化させる表示手段とを有する制御対
   象機器とを具備してなることを特徴とする空間操作マウ
   スシステム。
2. 【請求項２】操作者により与えられる３次元空間におけ
   る直線的、平面的あるいは空間的な動作を、その操作空
   間における所定の３つの軸方向の速度若しくは加速度又
   は３つの軸の回りの角速度若しくは角加速度のうちの少
   なくとも２つの量として検出する検出ステップと、 当該検出された少なくとも２つの検出量を、当該動作を
   パターン化した動作パターンデータに変換する変換ステ
   ップと、 当該動作パターンデータと、予め登録されている複数の
   基本動作パターンに関連する基本データとを比較する比
   較ステップと、 前記比較ステップにおける比較結果に基づいて当該動作
   パターンを識別する識別ステップと、 前記識別ステップにおける識別結果に基づいて当該動作
   パターンに対応する所定の制御を行う制御ステップとを
   含むことを特徴とする空間操作マウスを用いた空間動作
   パターン入力方法。
3. 【請求項３】空間操作型入力装置の空間動作パターンに
   応じた内容の制御を制御対象機器に実行させるための空
   間動作パターン入力方法において、 空間操作型入力装置の空間における互いに平行でない所
   定の３軸方向の動作量のうち少なくとも２軸方向の動作
   量を検出する動作検出ステップと、 前記動作検出ステップにおいて検出された少なくとも２
   つの検出量からなる当該空間動作量を動作ベクトル列に
   変換する変換ステップと、 予め登録されている基本動作パターンに対応した動作ベ
   クトル列と当該動作ベクトル列とを比較して識別を行う
   識別ステップと、 前記識別ステップにおける認識結果に基づく制御を制御
   対象機器に対して実行する実行ステップとを有すること
   を特徴とする空間動作パターン入力方法。
4. 【請求項４】前記識別ステップは、 空間操作型入力装置の動作量から得られた動作ベクトル
   列を基にした単位ベクトル関数および空間操作型入力装
   置の動作量から得られた動作ベクトル列を基にした累積
   ベクトル関数の少なくとも一方を生成するベクトル関数
   生成ステップと、 生成した単位ベクトル関数および累積ベクトル関数の少
   なくとも一方を、基本動作パターン動作に対応した動作
   ベクトル列から得られるものと比較し、この比較結果に
   基づいて空間操作型入力装置の空間動作パターンの識別
   を行う識別ステップとを含むことを特徴とする請求項３
   に記載の空間動作パターン入力方法。
5. 【請求項５】前記変換ステップは、空間動作量に対して
   単位ベクトルの個数と角度を登録した変換テーブルに対
   して、前記動作検出ステップにおいて検出された少なく
   とも２つの検出量からなる当該空間動作量を時間的にサ
   ンプリングした値を逐次指定値として与えることによっ
   て、当該空間動作量を動作ベクトル列に変換した結果を
   得ることを特徴とする請求項３に記載の空間動作パター
   ン入力方法。
6. 【請求項６】前記動作検出ステップは、前記空間操作型
   入力装置の動作量を検出する２軸方向ごとに、これに直
   行する方向の軸回りの回転動作量を検出する回転動作量
   検出ステップをさらに有し、 前記変換ステップは、前記回転動作量検出ステップでの
   検出結果に基づき、前記動作検出ステップで検出された
   関連する前記空間操作型入力装置の２軸方向の動作量か
   ら上記軸回りの回転動作量を取り除いた動作量を抽出す
   る補正ステップをさらに有することを特徴とする請求項
   ３に記載の空間動作パターン入力方法。
7. 【請求項７】前記実行ステップは、前記識別ステップに
   おいて認識された空間動作パターンの形状を表示画面に
   表示することを特徴とする請求項３に記載の空間動作パ
   ターン入力方法。