JP2012108762A - 指示システム、及び、マウスシステム - Google Patents

Abstract

【課題】 距離画像センサを用いて、専用の入力デバイスを別途設けることなく、手指の動作に基づいて電子機器の操作指示が可能な指示装置ならびに指示システムを実現する。
【解決手段】
距離画像センサ１１が取得した距離分布情報に基づきヒストグラムを作成するヒストグラム生成部２１、当該距離分布情報の差分情報を算出する差分生成部２２、第１移動検出部２３、及び、第２移動検出部２４を備えた指示装置または指示システムであって、第１移動検出部２３が、当該差分情報のエッジの有無を検出することで、センサの検出面に平行な二次元方向の手指の移動量を算出し、第２移動検出部２４が、当該差分情報において距離が変化した領域を検出することで、奥行き方向の手指の移動量を算出する。更に、当該差分情報をヒストグラム生成部２１が作成したヒストグラムと比較することで、指毎の三次元方向の移動量を算出する。
【選択図】 図１

Description

本発明は、ヒューマンインターフェースに関し、特にコンピュータ、テレビ、ビデオゲーム等の電子機器の操作のための指示を行うための指示装置ならびに指示システムに関する。

コンピュータの分野において、キーボードと共に用いられ、手で操作するヒューマンインターフェース機器としてマウスが知られている。マウスを平坦面上にて手で操作すると、手の動きに比例した量に応じて、コンピュータのモニタ上のカーソルが移動する。期待した場所にカーソルが移動したところで、人差し指又は中指でクリック動作を行うことにより操作を確定する。最近では、有線式のほか、無線式のマウスも市販され、操作性も向上している。

また、マウスと同様の動作をするものとして、センサを指先に装着するものが特許文献１に開示されている。これにより、マウスを移動させるための平面（マウスパッド）が不要となり、更に、マウスを手で持つ必要がなくなり、使用範囲が広くなっている。

他に、三次元方向の移動量を加速度センサ等を用いて測定し、その移動量に基づき制御される機器に対し指示を送るものが特許文献２及び３に開示されている。これらは、遠隔操作に適しているが、センサを備える入力デバイスを手に持って操作する必要がある。

一方、対象物の位置を検出する方法として、ＴＯＦ（Time of Flight）式の距離画像センサが知られている。上記のＴＯＦ距離画像センサでは、入射パルス光を対象物に向けて投射し、当該対象物によって反射された光を検出し、入射パルス光と検出光の時間差により当該対象物との距離を計測する。そして、二次元的に整列した複数の画素毎に距離を計測することで、対象物の三次元的な位置を検出する。距離画像センサを用いると、設定した距離範囲以内の対象物体のみを、特殊な背景処理や画像認識処理を用いることなく対象物の位置や動作の検出が可能である。

距離画像センサを用いて、人物の位置の検出をリアルタイムに行うものが、特許文献４に開示されている。尚、特許文献４は、人物を検出すると、当該人物のいない方向に空調機の風向きを制御する構成である。

特表２００７−５０４５５９号公報 特徴２００６−５２８８０２号公報 特開２００６−３２３５９９号公報 特開２００９−１７４８３０号公報

マウス動作を行い、電子機器の操作指示を行う場合において、従来のマウス型入力デバイスを用いる場合、マウスを移動させるための平面（マウスパッド）を必要とする。

特許文献１〜３に示される構成では、マウスパッドは不要となるが、操作のための入力デバイスを手指に装着するか、或いは、手に持って操作する必要があるため、装置が複雑となり、実用化が困難かあるいは実現できても高価な構成となってしまう。

これに対し、距離画像センサを用いることで、操作のための入力デバイスを別途設けることなく、マウス動作を行うことができると考えられる。しかしながら、マウス動作、特にマウスのクリック動作を行うためには、手指の動作のうち、五指のうち特定の指の移動量を算出する必要が生じるが、特許文献４には、手指の移動量から指毎の移動量を分離して算出する方法は示唆されていない。

本発明は、上記の状況に鑑み、距離画像センサを用いて、簡便な情報処理で手指の三次元の位置情報を分析し、専用の入力デバイスを別途設けることなく、手指の動作に基づいて電子機器の操作指示が可能な指示装置ならびに指示システムを実現することをその目的とする。特に、距離画像センサを用いつつ、簡便な情報処理で手指の三次元の位置情報から指毎の移動量を算出することを可能とし、従来のマウス型入力デバイスを使用することなく、コンピュータの操作を行うことが可能なマウスシステムを実現することをその目的とする。

上記目的を達成するための本発明に係る指示システムは、
手指の動作を電子機器の操作のための信号に変換し、前記電子機器の操作の指示を行う指示システムであって、
所定の検出範囲内にある対象物の検出面までの距離を複数点において検出し、前記対象物の前記検出面までの距離を、前記検出面に平行な二次元の距離分布情報の形で出力する距離画像センサ、前記距離画像センサから取得した距離分布情報を分析し、前記対象物である手指の移動方向を判定する判定部、及び、前記移動方向を前記電子機器の操作のための信号に変換する変換部、を備え、
前記判定部は、
前記距離画像センサから取得した前記距離分布情報に基づき、前記検出面に平行な第１方向における手指のヒストグラムを作成するヒストグラム生成部、前記距離分布情報と、前回取得した前記距離分布情報との差分情報を算出する差分生成部、前記差分情報のエッジの有無を判定することで、前記第１方向、及び、前記検出面に平行で前記第１方向に垂直な第２方向の手指の移動量を算出する第１移動検出部、及び、前記差分情報において距離が変化した領域を検出し、前記距離が変化した領域を前記ヒストグラムと比較することで、前記検出面に垂直な奥行き方向の手指の動きを検出し、前記奥行き方向の移動量を算出する第２移動検出部を備えることを第１の特徴とする。

上記第１の特徴の指示システムは、更に、前記ヒストグラム生成部は、前記距離分布情報のうち、検出された距離が所定の閾値以下の画素を、前記第２方向の位置が同じ画素毎に計数し、前記第１方向における前記ヒストグラムを作成することを第２の特徴とする。

上記第１または第２の特徴の指示システムは、更に、前記第２移動検出部は、前記距離が変化した領域を前記ヒストグラムと比較することで、五指のうち前記奥行き方向に移動した指を特定し、当該特定された指の奥行き方向の移動量を算出することを第３の特徴とする。

上記第１乃至第３の特徴の指示システムは、更に、前記第１移動検出部は、前記差分情報のエッジの位置と前記ヒストグラムを比較することで、五指のうち前記第１方向または前記第２方向に移動した指を特定し、当該特定された指の前記第１方向および前記第２方向の移動量を算出することを第４の特徴とする。

上記第１乃至第４の特徴の指示システムは、更に、前記変換部は、前記第１移動検出部、及び、前記第２移動検出部が検出した前記手指の移動量に基づいてモニタ上のカーソルを移動させるための信号を出力することを第５の特徴とする。

上記第３乃至第５の特徴の指示システムは、更に、前記変換部は、前記第１移動検出部、或いは、前記第２移動検出部により、予め設定された特定の指の移動のみが検出されると、モニタ上のカーソルのクリック動作を行うための信号を出力することを第６の特徴とする。

上記目的を達成するための本発明に係るマウスシステムは、上記第１乃至第６の特徴の指示システムを備え、手指の動作に基づき、手指により操作および保持がされる入力デバイス無しでのマウス動作を可能とするマウスシステムであることを特徴とする。

本発明では、距離画像センサが取得した距離分布情報の差分情報を差分生成部が算出し、当該差分情報に基づき、第１移動検出部が、距離画像センサに平行な二次元方向（第１方向および第２方向）の手指の動きを、当該差分情報のエッジの有無により検出し、更に、第２移動検出部が、奥行き方向の手指の動きを、当該差分情報において距離が変化した領域を検出の有無により検出することにより、差分生成、及び、ヒストグラム生成といった簡単な情報処理で手指の３次元方向の動きを検出することが可能となる。

ここで、ヒストグラム生成部により生成されるヒストグラムは、距離画像センサが取得した二次元の距離分布情報を、ある一次元方向（ここでは、第２方向）に射影した情報であり、手指、特に五指の輪郭形状を反映したものとなっている。

距離分布情報の差分情報をヒストグラムと比較し、エッジの位置、及び、距離変化領域の位置を当該ヒストグラムの輪郭形状のどこに位置するかを判断することで、手指の動きから指毎の動きを分離して算出することが可能となる。

従って、本発明に依れば、距離画像センサを用いて、専用の入力デバイスを別途設けることなく、且つ、簡便な情報処理で、手指の動作に基づいて電子機器の操作指示が可能な指示装置ならびに指示システムを実現することができる。更に、指毎の移動量が算出可能であるため、従来のマウス型入力デバイスを使用することなく、コンピュータの操作を行うことが可能なマウスシステムを実現することができる。

本発明に係る指示装置ならびに指示システムの構成例を示すブロック構成図。 本発明に係る指示装置ならびに指示システムの実際の使用例を示す模式図。 ＴＯＦ式距離画像センサの距離測定原理について説明するための図。 本発明において、ヒストグラム生成部によるヒストグラムの作成方法の一例を示す図。 距離画像センサから取得した距離分布情報の例を示す図。 距離画像センサから取得した距離分布情報の例を示す図。 本発明に係る指示装置ならびに指示システムにおいて、電子機器の操作を行う場合の処理手順を示すフローチャート。 本発明において、ヒストグラム生成部によるヒストグラムの作成方法の他の例を示す図。

〈第１実施形態〉
本発明の一実施形態に係る指示装置ならびに指示システム１（以降、適宜「本発明装置」ならびに「本発明システム」と称する）の構成例を図１及び図２に示す。図１は本発明システムのブロック構成図であり、図２はその実際の使用例を示す模式図である。図２に示すように、本発明装置ならびに本発明システムは、手指の動きを検出することにより、従来のマウス型入力デバイスを使用することなく、手指の動作に基づいてモニタ１２に表示されたカーソルを移動させ、或いはクリック動作を行えるように構成されたエアーマウス装置ならびにマウスシステムである。

本実施形態において、指示装置ならびに指示システム１は、距離画像センサ１１、ヒストグラム生成部２１、差分生成部２２、第１移動検出部２３、及び、第２移動検出部２４を備える判定部２５、変換部２７、及び、手指情報登録部２８を備える。ヒストグラム生成部２１、差分生成部２２、第１移動検出部２３、第２移動検出部２４、変換部２７、及び、手指情報登録部２８は、夫々、パーソナルコンピュータ１３上に設けられ、各部の処理が、夫々対応するプログラムを実行することによりソフトウェアで実現されている。尚、当該各プログラムは、パーソナルコンピュータ１３上にインストールされたオペレーティングシステム１４を介して、ＣＰＵ１５により実行が制御される。

距離画像センサ１１は、例えば発光部と受光部を備えるＴＯＦ（Time of Flight）式の距離画像センサであり、発光部から出射された光が対象物により反射されると、当該反射光を複数の受光部で検知し、出射光と反射光の時間差から対象物の距離を算出する。図３にＴＯＦ式距離画像センサの距離測定原理を示す。発光部３１から出射されたパルス光が対象物（ここでは、手指）により反射され、当該反射光を受光部３２が検知する。パルス光が発光部３１から出射されてから、反射光を受光部３２が検知するまでに経過時間Ｔを要したとすると、センサの検出面から手指までの距離Ｌは、ｃを光の速度として、Ｌ＝ｃＴ／２で表される。

受光部３２は、検出面上に複数、二次元的に配列（例えば、２４０×３００画素）されており、夫々が対象物までの距離を検出する。これにより、対象物の検出面に平行な二次元の距離分布情報が得られ、対象物の三次元形状を認識することができる。図２に示すように、距離画像センサ１１は、例えばＵＳＢ（Universal Serial Bus）ケーブル１７を介してパーソナルコンピュータ１３と接続され、オペレーティングシステム１４を介して、本発明装置ならびに本発明システムのヒストグラム生成部２１、差分生成部２２、第１移動検出部２３、及び、第２移動検出部２４に当該距離分布情報を提供する。距離画像センサ１１と手との距離は、大体において、５０ｃｍ〜１ｍ程度である。

ヒストグラム生成部２１は、距離画像センサ１１から取得した距離分布情報に基づき、距離画像センサ１１の検出面に平行な第１方向における手指のヒストグラムを作成する。

図４にヒストグラム生成部２１によるヒストグラムの作成方法の一例を示す。より具体的には、例えば、図４（ａ）に示すような向きで手を距離画像センサ１１にかざすと、ヒストグラム生成部２１は、二次元の距離分布情報のうち、検出距離が所定の閾値以下の画素を、第１方向（図４（ａ）のＹ方向、即ち、指の延伸方向）に垂直な第２方向（図４（ａ）のＸ方向）の位置が同じ画素毎に計数し、ヒストグラムを作成する。ここで、当該検出距離の閾値は、手指のある距離よりも遠く、背景物のある距離よりも近くなるように設定しておく。これにより、手指を検出している画素のみを計数の対象とする。この結果、図４（ｂ）に示すような、五指に相当する五つのピークを持ち、五指の形状に近似する分布形状を有するヒストグラムが得られる。当該ヒストグラムは、後述する第１移動検出部２３、及び、第２移動検出部２４において、移動を検出した指を特定するために使用される。

差分生成部２２は、距離画像センサ１１から取得した距離分布情報と、前回において距離画像センサ１１から取得した、メモリ１６に保持されている距離分布情報との差分情報を算出する。

第１移動検出部２３は、後述するように、当該差分情報のエッジの有無を判定することで、第１方向および第２方向の手指の移動量を算出し、第２移動検出部２４は、後述するように、当該差分情報において距離が変化した領域を検出し、当該距離が変化した領域をヒストグラムと比較することで、奥行き方向の手指の動きを検出し、奥行き方向の移動量を算出する。上記第１方向、第２方向、及び奥行き方向の移動量により、手指の移動方向を指毎に判定できる。

変換部２７は、第１移動検出部２３および第２移動検出部２４において算出された手指の移動方向を、モニタ１２に表示されているカーソルを移動させる信号に変換し、オペレーティングシステム１２に対し、モニタ１２上のカーソルを当該移動方向に移動させるように指示する。更に、変換部２７は、特定の指（例えば、人差し指）の移動のみを検出すると、モニタ上のカーソルのクリック動作を行うための信号を出力し、オペレーティングシステム１４に対し、モニタ上のカーソルのクリック動作を行うように指示する。

更に、本実施形態において、指示装置ならびに指示システム１は、手の大きさや指の長さ及び幅等の手指の個人情報を予め登録しておくための手指情報登録部２８を備えている。

以下において、第１移動検出部２３および第２移動検出部２４における手指の移動量の算出原理について詳細に説明する。尚、以下では、簡単のため、距離画像センサ１１の画素数を８×６の４８画素とし、検出対象物が４×３画素分に相当するとして説明する。

図５に距離画像センサ１１から取得した距離分布情報の例を示す。尚、図５において、画素毎の距離情報が数値情報として示されている。図５において、前回の距離画像センサ１１から取得した距離分布情報が図５（ａ）で示され、それが今回、距離画像センサ１１から取得した距離分布情報が例えば図５（ｂ）に示すように変化したとする。図５（ａ）又は（ｂ）から、対象物が距離１００の位置にあり、背景物が距離２００の位置にあることが分かる。このとき、差分生成部２２により算出される差分情報は、図５（ｃ）に示すように、Ｙ方向にライン状の２本のエッジがみられる。当該２本のエッジは、一方のエッジがプラス、他方のエッジがマイナスの値を持ち、エッジ同士の間隔が対象物の幅に相当している。更に、検出距離の閾値を１５０としてヒストグラムを作成することで、図５（ｄ）に示すヒストグラムが得られる。

上記差分情報におけるエッジの存在は、第１移動検出部２３により検出され、エッジの延伸方向、及び、２本のエッジのプラスマイナスの符号から、第１方向および第２方向の対象物の移動量および移動方向が導出される。図５（ｃ）の場合は、＋Ｘ方向に対象物が移動したことを、差分情報から判定できる。Ｙ方向に対象物が移動した場合は、Ｘ方向にライン状の２本のエッジが検出されることになる。

この場合において、対象物が指の場合には、検出されたエッジの位置を、ヒストグラム生成部２１が作成した手指のヒストグラムと比較することにより、どの指が移動したのかを判定できる。具体的には、前述の通り、当該ヒストグラムは五指の夫々に対応する五つの分布ピークを持つため、検出されたエッジが当該五つの分布ピークのうちどの分布ピークに相当するかを判定することにより、移動した指を特定できる。また、手指全体が移動したのか、ある特定の指のみが移動したのかを判断できる。

更に別の例として、図６に距離画像センサ１１から取得した距離分布情報の例を示す。図５と同様に、画素毎の距離情報が数値情報として示されている。図６において、前回の距離画像センサ１１から取得した距離分布情報が図６（ａ）で示され、それが今回、距離画像センサ１１から取得した距離分布情報が例えば図６（ｂ）に示すように変化したとする。このとき、差分生成部２２により算出される差分情報から、図６（ｃ）に示すように、一部の特定の領域において距離が変化したことが分かる。

上記差分情報における距離が変化した領域の存在は、第２移動検出部２４により検出され、当該距離が変化した領域の差分値から、奥行き方向の対象物の移動量および移動方向が導出される。図６（ｃ）の場合は対象物の上部が距離画像センサに接近するように移動した（対象物が指の場合、当該指を距離画像センサ側に折り曲げた）ことが、差分情報から判定できる。

この場合において、対象物が指の場合には、検出された距離が変化した領域の第２方向（Ｘ方向）における位置を、ヒストグラム生成部２１が作成した手指のヒストグラムと比較することにより、どの指が移動したのかを判定できる。具体的には、前述の通り、当該ヒストグラムは五指の夫々に対応する五つの分布ピークを持つため、検出された距離変化領域が当該五つの分布ピークのうちどの分布ピークに相当するかを判定することにより、移動した指を特定できることとなる。

次に、指示装置ならびに指示システム１における、電子機器（ここでは、パーソナルコンピュータ１３）の操作指示を行うための各部の処理手順について、図７のフローチャートを参照して説明する。尚、ここでは、距離画像センサ１１の検出面に対して平行に手のひらを向け、当該検出面に対して平行な二次元方向の手の移動に基づきカーソルを移動させ、奥行き方向の特定の指の移動に基づきカーソルのクリック動作を行わせる場合を想定している。

操作を開始すると、先ず、ヒストグラム生成部２１は、ステップＳ１０１において、距離画像センサ１１から距離分布情報を定期的に取得し、当該距離分布情報の、第１方向における手指のヒストグラムを作成する。

差分生成部２２は、ステップＳ１０２において、距離画像センサ１１から取得した距離分布情報の、前回との差分情報を算出し、第１移動検出部２３、及び、第２移動検出部２４に渡す。

第１移動検出部２３は、ステップＳ１０３において、差分生成部２２が算出した差分情報から、エッジの有無を検出する。エッジが検出された場合（ステップＳ１０３でＹＥＳ分枝）、当該エッジの延伸方向から手の移動方向を判定し、当該判定された手の移動方向に基づき、変換部２７は、ステップＳ１０５において、モニタ１２上のカーソルを移動させる信号を出力し、オペレーティングシステム１４を介して、モニタ１２上のカーソルを移動させるように指示する。

このとき、検出されたエッジの位置をヒストグラム生成部２１が作成したヒストグラムと比較することにより、当該検出されたエッジが夫々どの指に相当するものかを特定することも可能であるが、本実施形態では、距離画像センサ１１の検出面に対して平行に手のひらを向ける場合を想定しており、特定の指だけが検出面に対して平行な方向に移動することは手指の構造上考えにくいため、検出されたエッジが夫々どの指に相当するかを特定する工程は省略できる。

第１移動検出部２３がエッジを検出しなかった場合（ステップＳ１０３でＮＯ分枝）、ステップＳ１０４において、第２移動検出部２４は、差分情報を参照して、一部の特定の領域において、距離が変化した領域が存在するか否かを検出する。当該距離が変化した領域を検出した場合（ステップＳ１０４でＹＥＳ分枝）、第２移動検出部２４は、更に、当該距離が変化した領域の位置を、ヒストグラム生成部２１が作成したヒストグラムと比較して、奥行き方向に移動した指を特定する。当該特定された指が予め設定済みの所定の指（例えば、人差し指または中指）に該当する場合、変換部２７は、ステップＳ１０６において、モニタ１２上のカーソルのクリック動作を行うための信号を出力し、オペレーティングシステム１４を介して、モニタ上のカーソルのクリック動作を行わせるように指示する。

第２移動検出部２４が、距離が変化した領域を検出しなかった場合（ステップＳ１０４でＮＯ分枝）は、カーソルをそのままとし（ステップＳ１０７）、再び距離分布情報を取得し、再び手指の移動方向を算出するまで、その状態を維持する。

上述した指示装置ならびに指示システム１では、距離画像センサを用いて、専用の入力デバイスを別途設けることなく、且つ、簡便な情報処理で、手指の三次元動作に基づいて電子機器の操作指示が可能であり、更に、指毎の三次元方向の移動方向および移動量が算出可能となっていることにより、従来のマウス型入力デバイスを使用することなく、コンピュータの操作を行うことが可能なマウスシステムが実現される。

以上、本発明の一実施形態について詳細に説明したが、これは本発明の好適な実施形態の一例である。本発明の実施形態はこれらに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。

以下に、別実施形態について説明する。

〈１〉上記実施形態では、指示装置ならびに指示システム１が、従来のマウス型入力デバイスを使用することなく、手指の動作に基づいて、当該手指の動作をカーソルの移動に変換し、パーソナルコンピュータ１３の操作指示を行うように構成されたエアーマウス装置ならびにマウスシステムである場合を例として詳細に説明したが、本発明はこの構成に限られるものではなく、例えばテレビ、ビデオゲーム機、ＨＤＤ・ＤＶＤレコーダ、その他の電子機器の操作指示にも適用可能である。

〈２〉また、上記実施形態では、パーソナルコンピュータ１３の操作指示を行う場合であるため、距離画像センサ１１およびモニタ１２の制御が、オペレーティングシステム１４を介して行われる場合を想定して説明したが、指示対象の電子機器によっては、指示装置ならびに指示システム１が、オペレーティングシステムを介さず直接、距離画像センサ１１や当該電子機器の制御を行う構成も考えられる。

〈３〉上記実施形態では、操作指示のための手指の動かし方として、距離画像センサ１１の検出面に対して平行に手のひら（若しくは手の甲）を向け、当該検出面に対して平行な二次元方向に手を動かす場合を想定して詳細に説明したが、当該検出面に対して平行な第１方向あるいは第２方向の何れかと奥行き方向を含む二次元方向に手を動かしてもよい。第１移動検出部２３が検出面に対して平行な第１方向と第２方向の手指の移動を、第２移動検出部２４により奥行き方向の手指の移動を、夫々検出できるため、本発明を適用可能である。

同様に、手のひらを距離画像センサ１１の検出面に対して垂直に向け、第１乃至第２方向の各指の動きを個別に検出するようにしても構わない。ただその場合、距離画像センサ１１のある方向（奥行き方向）に各指が延伸することとなるため、単に検出距離が所定の閾値以下の画素のみ取り出し、ヒストグラムを作成しただけでは、当該ヒストグラムに基づいて移動した指を特定できない。その場合、例えば、第２方向の位置が同じ画素毎に、検出距離の最小値を求め、手指のヒストグラムとするとよい。

図８にヒストグラム生成部２１によるヒストグラムの作成方法の他の例を示す。図８（ａ）に示すような向きで手を距離画像センサ１１にかざすと、ヒストグラム生成部２１は、二次元の距離分布情報のうち、第１方向の位置が所定の範囲内にあり、第２方向の位置が同じ画素毎に、検出距離の最小値を求め、ヒストグラムを作成する。このようにすることで、図８（ｂ）に示すような、五指に相当する部分で五つの谷部（極小値）を持ち、五指の形状に近似する分布形状を有するヒストグラムが得られる。

〈４〉上記実施形態および別実施形態では、五指に相当する五つのピークまたは谷部を持ち、五指の形状に相似する分布形状を有するヒストグラムを作成することで、距離分布情報の差分情報と当該ヒストグラムを比較することにより、３次元方向の各指の動きを指毎に特定できるとしている。しかしながら、指示者の手指の大きさや手のかざし方、あるいは距離画像センサの分解能によっては、上記実施形態で説明した方法でヒストグラムを作成しても、五指に相当するピークまたは谷部同士が重なり合い、ヒストグラムから五つのピークまたは谷部に分離することが困難な場合も生じ得る。その場合は、上記実施形態において、当該ヒストグラムの最も高いピークまたは最も低い谷部を持つであろう中指の位置を基準として、第１移動検出部２３により検出されたエッジの位置、或いは、第２移動検出部２４により検出された距離が変化した領域の位置を求め、当該位置の中指との相対距離から、どの指が移動したかを特定することができる。

この場合、五指の各指の幅（あるいは、各指と指の間の間隔）を推定する必要が有るため、予め指示者の各指の幅を距離画像センサ１１を用いて求めておき、手指情報登録部２８に登録しておくことが望ましい。中指の位置が分かれば、登録された各指の幅から、中指以外の他の指の位置を推定することができる。

尚、マウスのクリック動作を判定する場合には、中指のピーク位置（谷部の位置）から、中指と人差し指の境界を求め、第２移動検出部２４により検出された距離が変化した領域が、当該境界に対して人差し指側にある場合に左クリック、中指側にある場合に右クリックと判定するのが簡便な方法である。

〈５〉上記実施形態では、距離画像センサの検出面の第１方向をＹ方向、第２方向をＸ方向として、第１方向（Ｙ方向）の距離情報を射影したヒストグラム分布を作成する場合を説明したが、手の指を第２方向（Ｘ方向）に向ける場合には、Ｘ方向の距離情報を射影したヒストグラム分布を作成しても構わない。第１方向と第２方向の定義が逆になるだけである。また、手の指の向きに応じて、当該第１方向、当該第２方向をＸ軸およびＹ軸から斜めに傾いた方向に設定することも、別途距離分布情報の座標変換処理が必要となるが、可能である。

本発明は、電子機器に操作のための指示を行うための指示装置ならびに指示システムに利用可能であり、好適には、従来のマウス型入力デバイスを使用することなく、手指の動作を検出してコンピュータの操作を行うマウスシステムに利用可能である。

１： 本発明に係る指示装置ならびに指示システム
１１： 距離画像センサ
１２： モニタ
１３： パーソナルコンピュータ
１４： オペレーティングシステム
１５： ＣＰＵ
１６： メモリ
１７： ＵＳＢケーブル
２１： ヒストグラム生成部
２２： 差分生成部
２３： 第１移動検出部
２４： 第２移動検出部
２５： 判定部
２７： 変換部
２８： 手指情報登録部
３１： 発光部
３２： 受光部

Claims (7)

1. 手指の動作を電子機器の操作のための信号に変換し、前記電子機器の操作の指示を行う指示システムであって、
   所定の検出範囲内にある対象物の検出面までの距離を複数点において検出し、前記対象物の前記検出面までの距離を、前記検出面に平行な二次元の距離分布情報の形で出力する距離画像センサ、
   前記距離画像センサから取得した距離分布情報を分析し、前記対象物である手指の移動方向を判定する判定部、及び、
   前記移動方向を前記電子機器の操作のための信号に変換する変換部、を備え、
   前記判定部は、
   前記距離画像センサから取得した前記距離分布情報に基づき、前記検出面に平行な第１方向における手指のヒストグラムを作成するヒストグラム生成部、
   前記距離分布情報と、前回取得した前記距離分布情報との差分情報を算出する差分生成部、
   前記差分情報のエッジの有無を判定することで、前記第１方向、及び、前記検出面に平行で前記第１方向に垂直な第２方向の手指の移動量を算出する第１移動検出部、及び、
   前記差分情報において距離が変化した領域を検出し、前記距離が変化した領域を前記ヒストグラムと比較することで、前記検出面に垂直な奥行き方向の手指の動きを検出し、前記奥行き方向の移動量を算出する第２移動検出部を備えることを特徴とする指示システム。
2. 前記ヒストグラム生成部は、前記距離分布情報のうち、検出された距離が所定の閾値以下の画素を、前記第２方向の位置が同じ画素毎に計数し、前記第１方向における前記ヒストグラムを作成することを特徴とする請求項１に記載の指示システム。
3. 前記第２移動検出部は、前記距離が変化した領域を前記ヒストグラムと比較することで、五指のうち前記奥行き方向に移動した指を特定し、当該特定された指の奥行き方向の移動量を算出することを特徴とする請求項１または２に記載の指示システム。
4. 前記第１移動検出部は、前記差分情報のエッジの位置と前記ヒストグラムを比較することで、五指のうち前記第１方向または前記第２方向に移動した指を特定し、当該特定された指の前記第１方向および前記第２方向の移動量を算出することを特徴とする請求項１〜３の何れか一項に記載の指示システム。
5. 前記変換部は、前記第１移動検出部、及び、前記第２移動検出部が検出した前記手指の移動量に基づいてモニタ上のカーソルを移動させるための信号を出力することを特徴とする請求項１〜４の何れか一項に記載の指示システム。
6. 前記変換部は、前記第１移動検出部、或いは、前記第２移動検出部により、予め設定された特定の指の移動のみが検出されると、モニタ上のカーソルのクリック動作を行うための信号を出力することを特徴とする請求項３〜５の何れか一項に記載の指示システム。
7. 請求項１〜６に記載の指示システムを備え、手指の動作に基づき、手指により操作および保持がされる入力デバイス無しでのマウス動作を可能とするマウスシステム。
   
   

Images