JP2011054165A - 対話システムのためのジェスチャ認識方法および対話システム - Google Patents

Abstract

【課題】対話システムのためのジェスチャ認識方法を提供する。
【解決手段】このジェスチャ認識方法は、イメージセンサで画像ウィンドウを取り込むステップと、画像ウィンドウにおいて、１以上のポインタに関連する物体画像の情報を取得するステップと、単一のポインタが物体画像の情報により識別されると、画像ウィンドウにおける物体画像の位置にしたがい対話システムに対してポインタの位置座標を計算するステップと、複数のポインタが物体画像の情報により識別されると、画像ウィンドウにおける物体画像間の関係にしたがいジェスチャ認識を実行するステップとを含む。本発明はさらに対話システムを提供する。
【選択図】 図４ａ

Description

本発明は、対話システムに関連し、より詳細には、ジェスチャ認識方法および同方法を用いる対話システムに関連する。

図１は、従来技術のタッチシステム９を示す図である。タッチシステム９は、タッチ表面９０ならびに少なくとも２台のカメラ９１および９２を備える。タッチ表面９０は、カメラ９１および９２の視界の範囲内に配置される。ユーザが、一本の指を使ってタッチ表面９０に接触すると、カメラ９１および９２が指の先端の物体画像を含む画像ウィンドウを取り込むことになる。処理部は、画像ウィンドウ内の指先端の物体画像の位置により、タッチ表面９０上のタッチポイントの２次元位置座標を計算して、２次元位置座標の変化に対応する動作をディスプレイに実行させることができる。

タッチシステム９は、画像ウィンドウにおける指先端の物体画像の位置によりタッチ表面９０上のタッチポイントの２次元位置座標を取得する。しかしながら、ユーザが、複数の指でタッチ表面９０に接触した場合、カメラ９２の視界から、指が互いを隠しあう可能性がある。したがって、カメラ９２が取り込んだ画像ウィンドウが、必ずしも、指の先端の物体画像をすべて含んでいるとは限らない可能性がある。

たとえば、図１を参照して、ユーザが指８１および８２でタッチ表面９０に接触した場合、カメラ９１は、指８１の物体画像Ｉ_８１および指８２の物体画像Ｉ_８２を含む画像ウィンドウＷ_９１を取り込むことになる。しかしながら、指８２がカメラ９２の視界から指８１を隠すので、カメラ９２が取り込んだ画像ウィンドウＷ_９２が含む物体画像は１つしかないことになる。したがって、処理部は、画像ウィンドウＷ_９１およびＷ_９２による画像ウィンドウにおいて、タッチポイントの誤った２次元位置座標を取得することになる。これでは、誤った反応が引き起こされる可能性がある。

上記の課題を解決するため、２台のカメラ９３および９４を他の２つの角度に新たに設置して、他の２つの画像ウィンドウＷ_９３およびＷ_９４を取り込むことができる。処理部は、指８１および８２が接触したタッチ表面９２上のタッチポイントの２次元位置座標を取得することができる。しかしながら、これでは、システムのコストが増大してしまう。

したがって、本発明は、ジェスチャ認識方法および同方法を用いる対話システムを提供して、この先行技術の問題を解決する。

本発明の目的は、イメージセンサが取り込んだ画像ウィンドウにおける物体画像間の関係を識別してジェスチャ認識を行う、ジェスチャ認識方法および同方法を用いる対話システムを提供することにある。これにより、ポインタが互いを隠しあうことによりタッチポイントの位置がわからなくなる、という先行技術の課題を解決できる。

本発明の対話システムは、１以上の光源、反射板および画像ウィンドウを取り込むよう構成されたイメージセンサを備え、画像ウィンドウは、１以上のポインタが光源および／または反射板から発せられる光を遮ることで生じるポインタの物体画像を含む。ジェスチャ認識方法は、イメージセンサで画像ウィンドウを取り込むステップと、画像ウィンドウにおける物体画像の情報を取得するステップと、物体画像の情報により、複数のポインタが存在するか否かを識別するステップと、複数のポインタが識別される場合、連続する画像ウィンドウにおける物体画像間の関係によりジェスチャ認識を行うステップとを含む。

本発明のジェスチャ認識方法によれば、物体画像の情報が、物体画像の平均数、物体画像間の平均距離および/または物体画像間の最大距離を含む。

本発明のジェスチャ認識方法によれば、連続する画像ウィンドウにおける物体画像間の関係にしたがいジェスチャ認識を実行するステップが、物体画像の平均数および物体画像間の平均距離を閾値と比較するステップと、物体画像の平均数または物体画像間の平均距離が閾値より小さい場合に、上、下、左、右、ズームインまたはズームアウトのジェスチャ認識を実行するステップと、物体画像の平均数または物体画像間の平均距離が閾値より大きい場合に、回転のジェスチャ認識を実行するステップと、認識されたジェスチャにしたがい画像ディスプレイの表示を更新するステップとを含む。

本発明はさらに対話システムを提供する。この対話システムは、発光部と、イメージセンサと、処理部とを備える。イメージセンサは、１以上のポインタが発光部からの光を遮ることにより生じるポインタの物体画像を含む画像ウィンドウを取り込むよう構成される。処理部は、イメージセンサが取り込む連続する画像ウィンドウにおける物体画像間の関係にしたがいジェスチャ認識を実行するよう構成される。

本発明の対話システムによれば、発光部が、能動光源または受動光源である。発光部が、反射面を有する受動光源である場合、対話システムが、能動光源をさらに備える。

本発明はさらに、対話システムのためのジェスチャ認識方法を提供する。対話システムは、発光部と、複数のポインタが、発光部から発せられた光を遮ることにより生じるポインタの物体画像を含む画像ウィンドウを取り込むよう構成されるイメージセンサとを含む。ジェスチャ認識方法は、イメージセンサで画像ウィンドウを取り込むステップと、連続する画像ウィンドウにおける複数の物体画像間の関係にしたがいジェスチャ認識を実行するステップとを含む。

本発明のジェスチャ認識方法によれば、物体画像間の関係は、物体画像間の平均距離の変化、物体画像間の最大距離の変化および変位の方向を含む。

本発明のジェスチャ認識方法および対話システムによれば、第１のモードでは、対話システムは、ポインタの２次元位置座標の変化にしたがいカーソルの動きを制御する。第２のモードでは、対話システムは、複数のポインタの物体画像間の関係にしたがい画像ディスプレイの表示を更新する。たとえば、画像ディスプレイを作動させて、画面のスクロール、物体のスケーリング、物体の回転、表示の切り替えまたはメニューの表示を行うことができる。

本発明のジェスチャ認識方法および対話システムによれば、ジェスチャを認識でき、複数のポインタのタッチポイントの座標を計算する必要がない。したがって、イメージセンサの視界においてポインタ同士が互いを隠しあう場合でさえ、ジェスチャ認識を行うことができる。

本発明の上記および他の目的、特徴および利点については、添付の図面を参照して行う、以下の詳細な説明によって、より明らかになるであろう。

従来技術のタッチシステムの模式図である。 図２ａは、本発明の実施例１の対話システムの斜視図である。 図２ｂは、本発明の実施例１の対話システムの動作模式図である。 図３ａは、本発明の実施例１の対話システムを用いてカーソルを制御する様子を示す模式図である。 図３ｂは、図３ａのイメージセンサが取り込んだ画像ウィンドウの模式図である。 図４ａは、本発明の対話システムのためのジェスチャ認識方法のフローチャートである。 図４ｂは、図４ａにおける第２モードを実行するためのフローチャートである。 図５ａは、本発明の実施例１の対話システムのためのジェスチャ認識方法による、右のジェスチャ認識の模式図である。 図５ｂは、本発明の実施例１の対話システムのためのジェスチャ認識方法による、左のジェスチャ認識の模式図である。 図５ｃは、本発明の実施例１の対話システムのためのジェスチャ認識方法による、下のジェスチャ認識の模式図である。 図５ｄは、本発明の実施例１の対話システムのためのジェスチャ認識方法による、上のジェスチャ認識の模式図である。 図５ｅは、ズームインのジェスチャ認識の模式図である。 図５ｆは、ズームアウトのジェスチャ認識の模式図である。 図５ｇは、右回り回転のジェスチャ認識を示す模式図である。 図５ｈは、左回り回転のジェスチャ認識を示す模式図である。 図６ａは、本発明の実施例２の対話システムの動作模式図である。 図６ｂは、図６ａのイメージセンサが取り込んだ画像ウィンドウの模式図である。 図６ｃは、図６ａのイメージセンサが取り込んだ画像ウィンドウの模式図である。 図７ａは、本発明の実施例２の対話システムのためのジェスチャ認識方法による、右のジェスチャ認識を示す模式図である。 図７ｂは、本発明の実施例２の対話システムのためのジェスチャ認識方法による、左のジェスチャ認識を示す模式図である。 図７ｃは、ズームインのジェスチャ認識を示す模式図である。 図７ｄは、ズームアウトのジェスチャ認識を示す模式図である。 図７ｅは、右回り回転のジェスチャ認識を示す模式図である。 図７ｆは、左回り回転のジェスチャ認識を示す模式図である。

本発明の上記および他の目的、特徴ならびに利点については、添付の図面を参照して行う、以下の詳細な説明によって、より明らかになるであろう。本発明においては、各図面に共通する実質的に同じ要素を指す場合には、同じ参照番号を使用する。

図２ａおよび図２ｂの両方を参照して、図２ａは、本発明の実施例１の対話システム１０の斜視図であり、かつ図２ｂは、対話システム１０を作動させる様子を示す模式図である。対話システム１０は、パネル１００、発光部１１、第１の光源１２１、第２の光源１２２、イメージセンサ１３、処理部１４および画像ディスプレイ１５を備える。

パネル１００は、第１の辺１００ａ、第２の辺１００ｂ、第３の辺１００ｃ、第４の辺１００ｄおよび表面１００ｓを有する。これに限定されるわけではないが、パネル１００としては、ホワイトボードやタッチスクリーンが考えられる。発光部１１は、表面１００ｓ上でかつ第１の辺１００ａに隣接して配設される。発光部１１は、能動光源でもよいし、受動光源でもよい。発光部１１が能動光源である場合、光を発生する能力があり、線光源であることが好ましい。発光部１１が、受動光源である場合、他の光源（第１の光源１２１または第２の光源１２２等）から発せられる光を反射することができる。受動光源１１は、パネルの第３の辺１００ｃに面する、適当な材料から作成される反射面１１ａを備える。第１の光源１２１は、表面１００ｓ上でかつ第２の辺１００ｂに隣接して配設される。好ましくは、第１の光源１２１は、第４の辺１００ｄに向かって光を発する。第２の光源１２２は、表面１００ｓ上でかつ第３の辺１００ｃに隣接して配設される。好ましくは、第２の光源１２２は、第１の辺１００ａに向かって光を発する。第１および第２の光源１２１および１２２は、線光源等の能動光源であることが好ましい。

再び図２ｂを参照して、発光部１１が受動光源（反射板等）である場合、第１の光源１２１は反射面１１ａ上に第２のミラー画像１２１’を映すことができ、第２の光源１２２は、反射面１１ａの上に第３のミラー画像１２２’を映すことができ、かつパネル１００の第４の辺１００ｄは、反射面１１ａ上に第４のミラー画像１００ｄ’を映すことができる。発光部１１、第１の光源１２１、第２の光源１２２およびパネル１００の第４の辺１００ｄがともに実像空間ＲＳを規定する。発光部１１、第２のミラー画像１２１’、第３のミラー画像１２２’および第４のミラー画像１００ｄ’がともに虚像空間ＩＳを規定する。

イメージセンサ１３は、パネル１００の角の１つに配置される。この実施例において、イメージセンサ１３は、パネル１００の第３の辺１００ｃおよび第４の辺１００ｄの交差する角に配設される。イメージセンサ１３は、少なくとも実像空間ＲＳおよび虚像空間ＩＳをカバーする視界ＶＡを有して、実像空間ＲＳおよび虚像空間ＩＳの画像ウィンドウならびに実像空間ＲＳ内の指等のポインタ８１の物体画像を取り込む。一実施例においては、イメージセンサ１３は、レンズ（またはレンズ系）を備え、イメージセンサ１３が実像空間ＲＳおよび虚像空間ＩＳ全体の物体画像を取り込むことができるように、イメージセンサ１３の視界ＶＡを調節するよう構成される。イメージセンサ１３は、これに限定されるわけではないが、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサが考えられる。

処理部１４は、イメージセンサ１３に結合されて、イメージセンサ１３が取り込んだ画像を処理し、１以上のポインタを認識する。１つのポインタのみが識別される場合、処理部１４は、画像ウィンドウにおけるポインタの物体画像の位置にしたがい、ポインタが接触するパネル表面１００ｓ上のタッチポイントの２次元位置座標を計算する。複数のポインタを識別する場合には、処理部１４は、画像ウィンドウにおけるこれらポインタの物体画像間の関係にしたがって、ジェスチャ認識を行うことができ、その上で、認識されたジェスチャにしたがって、画像ディスプレイに表示画面を更新させることができる。認識方法について、以下の項で詳細に説明する。

画像ディスプレイ１５は、処理部１４に結合される。画像ディスプレイ１５は、図２ｂに示すように、カーソル１５１を表示できる表示画面１５０を備える。処理部１４は、ポインタが接触するパネル表面１００ｓ上のタッチポイントの計算された２次元位置座標の変化にしたがい、表示画面１５０上のカーソル１５１の動きを相対的に制御することができる。また、処理部１４は、取り込んだ画像ウィンドウにおけるポインタの物体画像間の関係にしたがい、表示画面１５０の表示を更新することもできる。たとえば、表示画面１５０を作動させて画面をスクロールし、物体をスケーリングし、物体を回転させ、表示を切り替え、またはメニューを表示することができる。

本発明の対話システムをわかりやすく説明するため、パネル１００を画像ディスプレイ１５から分離する。ただし、他の実施例では、パネル１００を画像ディスプレイ１５の表示画面１５０に取り付けることもできる。さらに、パネル１００がタッチスクリーンの場合、画面ディスプレイ１５の表示画面１５０をパネル１００として機能させることができる。発光部１１、第１の光源１２１、第２の光源１２２およびイメージセンサ１３が、表示画面１５０上に配置されることになる。

なお、パネル１００は矩形で、図２ａおよび図２ｂに示すパネル１００の各辺上に、相互に直角をなして、発光部１１、第１の光源１２１および第２の光源１２２が配列されるが、これらの構成は、本発明の実施例の１つにすぎないことはもちろんである。他の実施例では、パネル１００は別の形状でもよく、発光部１１、第１の光源１２１、第２の光源１２２およびイメージセンサ１３を他の位置に配置することができる。本発明の趣旨は、イメージセンサ１３が画像ウィンドウを取り込むように構成され、かつ処理部１４が物体画像の変位および画像ウィンドウにおける物体画像間の関係にしたがい、ジェスチャ認識を行うという点にある。処理部１４は、その上で、認識されたジェスチャにしたがい表示画面の表示を更新する。

図３ａおよび図３ｂを参照して、図３ａは、本発明の実施例１による対話システム１０を用いてカーソルを制御する様子を示す模式図であり、図３ｂは、図３ａのイメージセンサ１３が取り込んだ画像ウィンドウ２０の模式図である。図示のとおり、指８１等のポインタが、実像空間ＲＳにおけるパネル表面１００ｓ上のポイントＴ_８１上に接触すると、ポインタの第１のミラー画像が虚像空間ＩＳにおける発光部１１の反射面１１ａ上に映しだされる。したがって、タッチポイントＴ_８１は、虚像空間ＩＳ内にミラータッチポイントＴ_８１’を有する。イメージセンサ１３は、第１の撮像ルートＲ_８１にしたがい、ポインタの先端の画像を取り込んで、画像ウィンドウ２０内に第１の物体画像Ｉ_８１を形成する。同様に、イメージセンサ１３は、第２の撮像ルートＲ_８１’にしたがい、ポインタの第１のミラー画像の先端の画像を取り込んで、画像ウィンドウ２０内に第２の物体画像Ｉ_８１’を形成する。この実施例では、画像ウィンドウ２０における物体画像の１次元位置の情報および撮像ルートとパネル１００の第３の辺１００ｃとの間の角度が、あらかじめ処理部１４に記憶されている。したがって、イメージセンサ１３は、ポインタの先端の物体画像および第１のミラー画像を取り込んで、画像ウィンドウ２０を形成し、処理部１４は、画像ウィンドウ２０における物体画像の１次元位置にしたがいそれぞれ第１の角度Ａ_８１および第２の角度Ａ_８１’を取得することができる。その後、処理部１４は、三角法にしたがい、パネル表面１００ｓ上のタッチポイントＴ_８１の２次元位置座標を取得することができる。

たとえば、一実施例において、パネル表面１００ｓがデカルト座標系を構成する。第３の辺１００ｃは、デカルト座標系のｘ軸であり、第４の辺１００ｄは、デカルト座標系のｙ軸であり、イメージセンサ１３の位置が原点である。したがって、タッチポイントＴ_８１のｘ座標値は、タッチポイントＴ_８１から第４の辺１００ｄへの最小距離により表されることになり、かつｙ座標値は、タッチポイントＴ_８１から第３の辺１００ｃへの最小距離により表されることになる。また、第１の辺１００ａと第３の辺１００ｃとの間の距離Ｄ₁についての情報は、処理部１４にあらかじめ記憶されている。このように、処理部１４は、以下のステップにしたがい、タッチポイントＴ_８１の２次元位置座標を得る。（ａ）処理部１４が第１の撮像ルートＲ_８１とパネル１００の第３の辺１００ｃとの間の第１の角度Ａ_８１および第２の撮像ルートＲ_８１’とパネル１００の第３の辺１００ｃとの間の第２の角度Ａ_８１’を得る。（ｂ）そして、タッチポイントＴ_８１からパネル１００の第４の辺１００ｄへの距離Ｄ_２を等式Ｄ_２＝２Ｄ_１／（ｔａｎＡ_８１＋ｔａｎＡ_８１’）にしたがい得ることができる。（ｃ）タッチポイントＴ_８１のｙ座標値はＤ_２×ｔａｎＡ_８１により表される。したがって、タッチポイントＴ_８１の２次元座標は、（Ｄ_２，Ｄ_２×ｔａｎＡ_８１）として表すことができる。

図３ａおよび図３ｂを再び参照して、本発明の実施例１の対話システム１０には、２つの動作モードが存在する。処理部１４が、イメージセンサ１３が取り込んだ画像ウィンドウ２０にしたがい、パネル表面１００ｓへの接触は１つのポインタのみであると識別する場合、対話システム１０は第１のモードで作動される。第１のモードでは、イメージセンサ１３は、サンプリング周波数で画像を連続的に取り込み、その後処理部１４が、画像ウィンドウ２０におけるポインタの物体画像の１次元位置にしたがって、ポインタが接触したパネル表面１００ｓ上のタッチポイントＴ_８１の２次元位置座標を計算する。その後、処理部１４は、タッチポイントＴ_８１の２次元位置座標の変化にしたがい、表示画面１５０上のカーソル１５１の動きを相対的に制御する。たとえば、ポインタ８１は、パネル１００の第４の辺１００ｄに向かって移動し、これに応じて、第１のミラー画像のタッチポイントＴ_８１’は、第４のミラー画像１００ｄ’に向かって移動することになる。この時点で、画像ウィンドウ２０のポインタの画像Ｉ_８１および第１のミラー画像の画像Ｉ_８１’も、画像ウィンドウ２０の左側に向かって移動することになる。このように、処理部１４は各画像ウィンドウ２０における物体画像Ｉ_８１および物体画像Ｉ_８１’の位置にしたがい、タッチポイントＴ_８１の２次元位置座標を計算することができ、その上で表示画面１５０上のカーソル１５１をタッチポイントＴ_８１の２次元位置座標の変化にしたがい、画像ディスプレイ１５の左側に移動させる。当然、画像ウィンドウ２０における物体画像Ｉ_８１およびＩ_８１’の移動方向ならびにカーソル１５１の移動方向は、ポインタの移動方向とは異なる可能性がある。たとえば、物体画像Ｉ_８１およびＩ_８１’ならびにカーソル１５１の移動方向は、ソフトウエアの動作によりポインタの移動と逆方向になり得る。イメージセンサ１３が取り込んだ画像ウィンドウ２０にしたがい、処理部１４が、複数のポインタがパネル表面１００ｓに接触することを確認した場合、対話システム１０を第２のモードで作動させる。処理部１４は、画像ウィンドウ２０にしたがうタッチポイントＴ_８１の２次元位置座標を計算しない。その代り、処理部１４は、複数のポインタの物体画像間の関係にしたがいジェスチャを認識して、認識されたジェスチャにしたがい、画像ディスプレイ１５の表示画面１５０の表示を更新して、たとえば画面をスクロールしたり、物体のスケーリングをしたり、物体を回転させたり、表示を切り替えたり、またはメニューを表示したりする。

図４ａは、本発明のジェスチャ認識方法のフローチャートである。本発明の方法は、以下のステップを含む。すなわち、イメージセンサで画像ウィンドウを取り込むステップ（ステップＳ₁）と、画像ウィンドウにおける物体画像の情報を得るステップ（ステップＳ_２）と、物体画像の情報にしたがい複数のポインタが存在するかどうかを識別するステップ（ステップＳ₃）と、存在しない場合、第１のモードを実行するステップ（ステップＳ₄）と、存在する場合、第２のモードを実行するステップ（ステップＳ₅）とを含む。

図４ｂは、ステップＳ_５における第２のモードを実行する方法を示す。物体画像についての情報には、物体画像の平均数、物体画像間の平均距離、物体画像間の最大距離が含まれる。第２のモードは、物体画像の平均数または物体画像間の平均距離が閾値より大きいか否かを判別するステップ（ステップＳ_５１）と、大きい場合に、連続する画像ウィンドウにおける物体画像間の関係にしたがう回転のジェスチャ認識を実行するステップ（ステップＳ_５２）と、大きくない場合に、連続する画像ウィンドウにおける物体画像間の関係にしたがい上／下／左／右／ズームイン／ズームアウトのジェスチャ認識を行うステップ（ステップＳ_５３）と、認識されたジェスチャにしたがい画像ディスプレイの表示を更新するステップ（ステップＳ_５４）とを含む。なお、図４ｂにおける回転のジェスチャ認識は、物体画像の平均数または物体画像間の平均距離が閾値より小さい場合に実行することができ、平行移動のジェスチャ認識は、物体画像の平均数または物体画像間の平均距離が閾値より大きい場合に実行できる。

他の実施例では、第２のモードは、連続する画像ウィンドウにおける物体画像間の関係にしたがい回転のジェスチャ認識を実行するというステップ１つのみを含み得る。他の実施例では、第２のモードは、連続する画像ウィンドウにおける物体画像間の関係にしたがい、上／下／左／右／ズームイン／ズームアウトのジェスチャ認識を行うというステップ１つのみを含み得る。より詳細には、対話システムの第２のモードは、回転または上／下／左／右／ズームイン／ズームアウトのジェスチャ認識のみを実行できる。

再び、図３ａから図４ｂを参照して、ジェスチャ認識を本発明の実施例１の対話システム１０を用いて行う場合、イメージセンサ１３は、画像を取り込んで画像ウィンドウ２０を形成するが、画像ウィンドウ２０は、ポインタが接触するタッチポイントＴ_８１の１以上の物体画像Ｉ_８１と第１のミラータッチポイントＴ_８１’の１以上の物体画像Ｉ_８１’とを含む（ステップＳ_１）。その後、処理部１４は、後続のステップのために、物体画像の平均数、物体画像間の平均距離、および物体画像間の最大距離等の、画像ウィンドウ２０における物体画像の情報を取り込む（ステップＳ_２）。次に、処理部１４は、取り込まれた物体画像の情報にしたがい画像ウィンドウ２０において複数のポインタが存在するか否かを識別する（ステップＳ_３）。各ポインタは、画像ウィンドウ２０において最大２つの物体画像を生じさせるので、２を超える数の物体画像が画像ウィンドウ２０内に存在する場合には、複数のポインタが含まれていることになる。

識別されるポインタが１つだけなら、図３ａおよび図３ｂに示すように、処理部１４は、対話システム１０が第１モードに入れるようにする（ステップＳ_４）。第１のモードでは、処理部１４は、画像ウィンドウ２０においてイメージセンサ１３が取り込んだ物体画像（Ｉ_８１およびＩ_８１’等）の１次元位置にしたがい、ポインタが接触するパネル表面１００ｓ上のタッチポイント（Ｔ_８１等）の２次元位置座標を計算する。その後、処理部１４は、タッチポイントの２次元位置座標の変化にしたがい画像ディスプレイ１５上のカーソル１５１の動きを相対的に制御する。

処理部１４は、図５ａから図５ｈにおいて示すように、物体画像の情報にしたがい、パネル表面１００ｓに接触する複数のポインタの存在を識別すると、対話システム１０が第２のモードに入れるようにする（ステップＳ_５）。第２のモードでは、処理部１４は、画像ウィンドウ２０における物体画像間の関係にしたがいジェスチャ認識を実行した後、認識されたジェスチャにしたがい、たとえば、画面をスクロールしたり、物体のスケーリングをしたり、物体を回転させたり、表示を切り替えたり、メニューを表示するなど、画像ディスプレイ１５の表示画面１５０の表示を更新する。

図５ａから図５ｈを参照して、第２のモードの実施例について、以下の項で説明する。発光部１１は、実施例における受動光源である。また、図５ａから図５ｈは、例示目的のみであり、発明を限定するものではない。

＜画面をスクロールするためのジェスチャ＞
図５ａから図５ｄに示すように、処理部１４が、取り込んだ画像２０における物体画像の情報にしたがい、Ｔ_１およびＴ_２等の複数のタッチポイントの存在を識別すると、第２のモードに入る。その後、処理部１４は、画像ウィンドウ２０内の物体画像の平均数が閾値である６（この閾値は、実際の応用にしたがって決定でき、ここでの値「６」は、三つのポインタの場合の閾値の一例である。）より大きいか否か、または物体画像間の平均距離Ｓａｖがあらかじめ定められた閾値より大きいか否かを識別する（ステップＳ_５１）。物体画像の平均数および平均距離Ｓａｖの少なくともどちらかがあらかじめ定められた閾値を超えない場合、平行移動のジェスチャ認識が行われる（ステップＳ_５３）。

平行移動のジェスチャ認識が行われる場合、物体画像がまずグループ化される。たとえば、物体画像を、画像ウィンドウ２０の中心線Ｃによって、第１の画像グループＧ_１と第２の画像グループＧ_２とに分けることができ、このうち第１の画像グループＧ_１を実像グループまたは虚像グループのいずれかにすることができ、かつ第２の画像グループＧ_２を虚像グループまたは実像グループとすることができる。

たとえば、図５ａから図５ｄに示すように、物体画像の平均数と物体画像間の平均距離Ｓａｖとの少なくともどちらかがあらかじめ定められた閾値を超えてない、処理部１４は上／下／左／右のジェスチャ認識を実行する（ステップＳ_５３）。たとえば、図５ａにおいては、処理部１４は、画像ウィンドウ２０における、第１の画像グループＧ₁および第２の画像グループＧ_２がすべて右方向へ動くことを確認する。したがって、ユーザが、画面を右／左方向へスクロールするジェスチャを行っていると識別される。処理部１４はそこで、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

同様に、図５ｂでは、処理部１４は、画像ウィンドウ２０における、第１の画像グループＧ₁および第２の画像グループＧ_２がすべて左方向へ動くことを識別する。したがって、ユーザが、画面を左方向／右方向へスクロールするジェスチャを行っていると識別される。処理部１４はそこで、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

図５ｃでは、処理部１４は、第１の画像グループＧ₁と第２の画像グループＧ_２との間の平均距離が徐々に増大することを識別する。したがって、ユーザが、画面を下方向／上方向へスクロールするジェスチャを行っていると識別される。処理部１４はそこで、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

図５ｄでは、処理部１４は、第１の画像グループＧ₁と第２の画像グループＧ_２間との平均距離が徐々に減少することを識別する。したがって、ユーザが、画面を上方向／下方向へスクロールするジェスチャを行っていると識別される。処理部１４はそこで、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

他の実施例では、処理部１４が、取り込んだ画像ウィンドウ２０における物体画像の情報にしたがい、複数のタッチポイントの存在を識別すると、ステップＳ_５１を行わず、そのまま平行移動のジェスチャ認識（ステップＳ_５３）が行われることになる。

＜物体のスケーリングのためのジェスチャ＞
物体のスケーリング実施を要求する前に、ユーザは、まずパネル表面１００ｓ上に単一のタッチポイントを形成して、第１のモードに入り、かつその後、図３ａに示すように標的物体Ｏへカーソル１５１を移動させる。その後、ユーザは、図５ｅおよび図５ｆに示すようにパネル表面１００ｓ上に複数のタッチポイントを形成する。処理部１４が、取り込んだ画像ウィンドウ２０における物体画像の情報にしたがい、Ｔ_１およびＴ_２等の複数のタッチポイントの存在を識別すれば、第２のモードに入る。

その後、処理部１４は、画像ウィンドウ２０内の物体画像の平均数または物体画像間の平均距離Ｓａｖがあらかじめ定められた閾値より大きいかどうかを識別する（ステップＳ_５１）。物体画像の平均数および物体画像間の平均距離Ｓａｖの少なくともどちらかが、あらかじめ定められた閾値を超えない場合、物体画像はまずグループ化される。たとえば、物体画像を画像ウィンドウ２０の中心線Ｃにより、第１のグループＧ_１と第２のグループＧ_２に分けることができる。

たとえば、図５ｅおよび図５ｆに示すように、物体画像の平均数および物体画像間の平均距離Ｓａｖの少なくともどちらかが、あらかじめ定められた閾値を超えてない、処理部１４は、ズームイン／ズームアウトのジェスチャ認識を実行する（ステップＳ_５３）。たとえば、図５ｅにおいては、処理部１４は、画像ウィンドウ２０における、第１の画像グループＧ_１と第２の画像グループＧ₁との間の平均距離が実質的に変化しないままで、かつ物体画像間の最大距離が増加していると識別する。したがって、ユーザがズームイン／ズームアウトのジェスチャを行っていると識別される。処理部１４は、そこで、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

たとえば、図５ｆに示すように、処理部１４は、画像ウィンドウ２０における第１のグループＧ₁と第２のグループＧ_２との間の平均距離が実質的に変化しないまま維持されかつ物体画像間の最大距離が減少していると識別する。したがって、ユーザが、ズームアウト／ズームインするジェスチャを行っていると識別される。処理部１４はそこで、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

他の実施例では、処理部１４が、取り込まれた画像ウィンドウ２０における物体画像の情報により、複数のタッチポイントの存在を識別すると、ステップＳ_５１は実行されず、そのままズームイン／ズームアウトのジェスチャ認識（ステップＳ_５３）が行われる。

また、物体のスケーリングを実行したい場合、第２モードに入る前に必ずしも第１のモードにまず入る必要はない。たとえば、パネル１００がタッチパネルの場合、ユーザは、直接標的物体をハイライトすることができる。したがって、物体のスケーリング実行を要求する前に、ユーザはそのまま第２のモードに入ることができる。

＜物体を回転させるためのジェスチャ＞
物体の回転実行を要求する前に、ユーザは、まずタッチ表面１００ｓに接触し、パネル表面１００ｓ上に単一のタッチポイントを形成して、第１モードに入り、その後図３ａに示すように、カーソル１５１を標的物体Ｏへ移動させる。その後、ユーザは、図５ｇおよび図５ｈに示すようにパネル表面１００ｓ上に複数のタッチポイントＴを形成する。処理部１４が、取り込まれた画像ウィンドウ２０における物体画像の情報により、複数のタッチポイントＴの存在を識別すると、第２のモードに入る。

その後、処理部１４は、画像ウィンドウ２０における物体画像の平均数または物体画像間の平均距離Ｓａｖが、あらかじめ定められた閾値を超えるかどうかを識別する（ステップＳ_５１）。物体画像の平均数または平均距離Ｓａｖが、あらかじめ定められた閾値より大きければ、物体画像はグループ化されない。回転の配向は、画像ウィンドウ２０の２つの対向する辺に向かって移動する物体画像の数を比較すれば識別することができる。

たとえば、図５ｇに示すように、処理部１４は、画像ウィンドウ２０において右方向に移動する物体画像の数が左方向に移動する物体画像の数より大きいと識別する。したがって、ユーザは、右回り／左回りに回転するジェスチャを行っていると識別される。そこで、処理部１４は、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

たとえば、図５ｈに示すように、処理部１４は、画像ウィンドウ２０において左方向に移動する物体画像の数が右方向に移動する物体画像の数より多いと識別する。したがって、ユーザは、左回り／右回り回転のジェスチャを行っていると識別される。そこで、処理部１４は、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

他の実施例では、処理部１４が、取り込んだ画像ウィンドウ２０における物体画像の情報により、複数のタッチポイントの存在を識別すると、ステップＳ_５１は、実行されず、そのまま物体回転のジェスチャ認識（ステップＳ_５２）を実行することになる。

また、物体の回転を実行したい場合、必ずしも第２のモードに入る前にまず第１のモードに入る必要はない。たとえば、パネル１００がタッチパネルである場合、ユーザは、標的物体を直接ハイライトすることができる。したがって、物体の回転実行を要求する前に、ユーザは直接第２モードに入ることができる。

＜表示切り替えのためのジェスチャ＞
ユーザは、パネル表面１００ｓに触って、図５ｇおよび図５ｈに示すようにパネル表面１００ｓ上に複数のタッチポイントＴを形成する。処理部１４が、取り込んだ画像ウィンドウ２０における物体画像の情報により、複数のタッチポイントＴの存在を識別すると、第２のモードに入る。

処理部１４は、画像ウィンドウ２０の２つの対向する辺に向かって移動する物体画像の数を比較して、表示を切り替えるかどうか判断する。図５ｇおよび図５ｈに示すように、処理部１４は、画像ウィンドウ２０において右方向／左方向に移動する物体画像の数が、それぞれ左方向／右方向に移動する物体画像の数より多いと識別する。したがって、ユーザが、切り替え表示のジェスチャを行っていると識別される。処理部１４は、そこで、これに対応して、画像ディスプレイ１５の表示を切り替える。

＜メニューを表示するためのジェスチャ＞
図５ｇおよび図５ｈに示すように、ユーザは、パネル表面１００ｓに触って、パネル表面１００ｓ上に複数のタッチポイントＴを形成する。処理部１４が、取り込まれた画像ウィンドウ２０における物体画像の情報により、複数のタッチポイントＴの存在を識別すると、第２のモードに入る。

処理部１４は、画像ウィンドウ２０の２つの対向する辺に向かって移動する物体画像の数を比較して、メニューを表示するかどうか決める。図５ｇおよび図５ｈに示すように、処理部１４は、画像ウィンドウ２０において右方向／左方向に移動する物体画像の数がそれぞれ左方向／右方向に移動する物体画像の数より多いと識別する。したがって、ユーザは、メニューを表示するジェスチャを行っていると識別される。そこで、処理部１４は、これに対応して、画像ディスプレイ１５の表示画面１５０上にメニューを示す。

図６ａから図６ｃを参照して、図６ａは、本発明の実施例２の対話システム１０’を作動させる様子を示す模式図であり、かつ図６ｂおよび図６ｃは、図６ａにおいて、それぞれイメージセンサ１３および１３’が取り込んだ画像ウィンドウ２０’および２０”の模式図である。この実施例では、対話システム１０’が、発光部１１と、第１の光源１２１と、第２の光源１２２と、イメージセンサ１３および１３’とを備える。発光部１１は、能動光源であり、パネルの第３の辺１００ｃに向かって光を発することが好ましい。発光部１１、第１の光源１２１および第２の光源１２２は、パネルの表面上でかつパネルの第１の辺１００ａ、第２の辺１００ｂおよび第４の辺１００ｄそれぞれに隣接して配設される。したがって、イメージセンサ１３が取り込む画像ウィンドウ２０’は、ポインタ先端の物体画像Ｉ_８１およびＩ_８２のみを含み、かつイメージセンサ１３’が取り込む画像ウィンドウ２０”は、ポインタ先端の物体画像Ｉ_８１”およびＩ_８２”のみを含む。

この実施例では、処理部１４は、イメージセンサ１３および１３’が取り込む画像ウィンドウ２０’および２０”におけるポインタの複数の物体画像間の関係にしたがい、ジェスチャ認識を行うことができる。

＜画面をスクロールするためのジェスチャ＞
図７ａおよび図７ｂを参照して、処理部１４が、イメージセンサ１３および１３’が取り込んだ画像ウィンドウ２０’および２０”における物体画像の情報により、Ｔ_１およびＴ_２等の複数のタッチポイントの存在を識別すると、第２のモードに入る。その後、処理部１４は、画像ウィンドウ２０’および２０”における物体画像の平均数または物体画像間の平均距離があらかじめ定められた閾値より大きいかどうか識別する（ステップＳ_５１）。

画像ウィンドウ２０’および２０”における物体画像の平均数と平均距離との少なくともどちらかが、あらかじめ定められた閾値を超えない場合、処理部１４は、左／右のジェスチャ認識を行う（ステップＳ_５３）。たとえば、図７ａおよび図７ｂにおいては、処理部１４は、画像ウィンドウ２０’および２０”における物体画像がすべて右方向または左方向へ移動すると識別する。したがって、ユーザは、下向き／上向きに画面をスクロールするジェスチャを行っていると識別される。そこで、処理部１４は、それに対応して画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

他の実施例では、処理部１４が、取り込んだ画像ウィンドウ２０’および２０”における物体画像の情報により、複数のタッチポイントの存在を確認すると、ステップＳ_５１は実行せず、そのまま平行移動のジェスチャ認識（ステップＳ_５３）が行われることになる。

＜物体をスケーリングするためのジェスチャ＞
物体のスケーリング実行を要求する前に、ユーザはまず標的物体へカーソル１５１を移動させる。その後、ユーザは、図７ｃおよび図７ｄで示すように、パネル表面１００ｓ上に、Ｔ_１およびＴ_２等の複数のタッチポイントを形成する。処理部１４が、イメージセンサ１３および１３’が取り込んだ画像ウィンドウ２０’および２０”における物体画像の情報により、複数のタッチポイントの存在を識別すると、第２のモードに入る。

その後、処理部１４が画像ウィンドウ２０’および２０”における物体画像の平均数または物体画像間の平均距離があらかじめ定められた値を超えるかどうか確認する（ステップＳ_５１）。画像ウィンドウ２０’および２０”における物体画像平均数および物体画像間平均距離の少なくともどちらかが、あらかじめ定められた閾値を超えない場合、処理部１４は、ズームイン／ズームアウトのジェスチャ認識を行う（ステップＳ_５３）。たとえば、図７ｃおよび図７ｄにおいて、処理部１４は、画像ウィンドウ２０’および２０”における物体画像間の平均距離の増大または減少を識別する。したがって、ユーザが、ズームイン／ズームアウトのジェスチャを行っていると識別される。そこで、処理部１４は、これに対応して画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

他の実施例では、処理部１４が、取り込まれた画像ウィンドウ２０’および２０”における物体画像の情報により、複数のタッチポイントの存在を確認すると、ステップＳ_５１は、実行されず、そのままズームイン／ズームアウトのジェスチャ認識が行われることになる（ステップＳ_５３）。

また、物体のスケーリングの実行を要求する場合、必ずしも、第２のモードに入る前にまず第１のモードに入る必要はない。たとえば、パネル１００がタッチパネルである場合、ユーザは標的物体を直接ハイライトすることができる。したがって、物体のスケーリングの実行を要求する前に、ユーザは直接第２のモードに入ることができる。

＜物体を回転させるためのジェスチャ＞
物体の回転実行を要求する前に、まず、ユーザは、標的物体へカーソル１５１を移動させる。その後、図７ｅおよび図７ｆに示すように、ユーザは、パネル表面１００ｓ上に複数のタッチポイントＴを形成する。処理部１４が、イメージセンサ１３および１３’が取り込んだ画像ウィンドウ２０’および２０”における物体画像の情報により、複数のタッチポイントＴの存在を識別すると、第２のモードに入る。

その後、処理部１４が画像ウィンドウ２０’および２０”における物体画像の平均数または物体画像間の平均距離があらかじめ定められた閾値を超えるかどうか確認する（ステップＳ_５１）。物体画像平均数または平均距離があらかじめ定められた閾値を超える場合、画像ウィンドウ２０’および２０”の２つの対向する辺に向かって移動する物体画像の数を比較することにより、回転の配向を識別することができる。

たとえば、図７ｅおよび図７ｆに示すように、処理部１４は、画像ウィンドウ２０’および２０”において右方向および左方向に移動する物体画像の数が、それぞれ左方向および右方向に移動する物体画像の数より多いことを確認する。したがって、ユーザが、右回り／左回りの回転のジェスチャを行っていると識別される。そこで、処理部１４は、これに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する（ステップＳ_５４）。

他の実施例では、処理部１４が、取り込まれた画像ウィンドウ２０’および２０”における物体画像の情報により、複数のタッチポイントの存在を識別すると、ステップＳ_５１は実行されず、そのままズームイン／ズームアウトのジェスチャ認識（ステップＳ_５３）が行われることになる。

また、物体の回転を実行したい場合、必ずしもまず第１のモードに入った後、第２のモードに入る必要はない。

＜表示切り替えまたはメニュー表示のためのジェスチャ＞
ユーザは、タッチ表面１００ｓを触って、図７ｅおよび図７ｆに示すように、パネル表面１００ｓ上に複数のタッチポイントＴを形成する。

処理部１４が、イメージセンサ１３および１３’により取り込まれた画像ウィンドウ２０’および２０”における物体画像の情報により、複数のタッチポイントＴの存在を識別すると、第２のモードに入る。

処理部１４は、画像ウィンドウ２０’および２０”の２つの対向する辺に向って移動する物体画像の数を比較し、表示を切り替えるかメニューを表示するかを決定する。図７ｅおよび図７ｆに示すように、処理部１４は、画像ウィンドウ２０’および２０”において、右方向および左方向に移動する物体画像の数が、それぞれ左方向および右方向に移動する物体画像の数より多いことを識別する。したがって、ユーザが表示を切り替えるかまたはメニューを表示するジェスチャを行っていると識別される。処理部１４は、そこで、それに対応して、画像ディスプレイ１５の表示画面１５０の表示を更新する。

なお、第２のモードにおける物体画像間の関係に対応する動作は、図５ａから図５ｈおよび図７ａから図７ｆに示す実施例に限定されるわけではない。本発明の趣旨は、取り込まれた画像ウィンドウにおける物体画像間の関係にのみしたがい、ジェスチャ認識を行うことができるので、パネル表面上のタッチポイントの正確な位置を知る必要がないという点にある。これにより、ポインタ同士が互いを隠すことによりタッチポイントの位置がわからないという先行技術の問題が解決する。

上記のとおり、従来技術のタッチシステムでは、タッチポイントの２次元位置座標の変化によって、ジェスチャ認識を行っていた。したがって、ポインタがお互いを隠してしまうと、正確なタッチポイントの位置を厳密に取得することができない。本発明は、画像ウィンドウ内の物体画像間の関係を識別することにより、ジェスチャ認識を行う。したがって、ジェスチャ認識は、イメージセンサ一台だけで、行うことができる。そのため、システムのコストが低減できる。

発明の好ましい実施例について例示目的で開示したが、当業者においては、添付の請求の範囲において開示される発明の範囲および精神から逸脱することなく、様々な変更、追加、代替が可能である点が理解されるであろう。

Claims (22)

1. 対話システムのためのジェスチャ認識方法であって、対話システムが、１以上の光源、反射板および画像ウィンドウを取り込むよう構成されたイメージセンサを備え、画像ウィンドウは、１以上のポインタが光源および／または反射板から発せられる光を遮ることで生じるポインタの物体画像を含み、ジェスチャ認識方法が、
   イメージセンサで画像ウィンドウを取り込むステップと、
   画像ウィンドウにおける物体画像の情報を取得するステップと、
   物体画像の情報により、複数のポインタが存在するか否かを識別するステップと、
   複数のポインタが識別される場合、連続する画像ウィンドウにおける物体画像間の関係によりジェスチャ認識を行うステップとを含む、ジェスチャ認識方法。
2. １つのポインタが識別される場合に、画像ウィンドウにおける物体画像の位置にしたがい、対話システムに対するポインタの位置座標を計算するステップと、
   連続する画像ウィンドウにおけるポインタの位置座標の変化にしたがい、画像ディスプレイ上のカーソルの動きを制御するステップとを含む、請求項１に記載のジェスチャ認識方法。
3. 物体画像の情報が、物体画像の平均数、物体画像間の平均距離および物体画像間の最大距離を含む、請求項１に記載のジェスチャ認識方法。
4. 連続する画像ウィンドウにおける物体画像間の関係にしたがいジェスチャ認識を実行するステップが、
   物体画像の平均数および物体画像間の平均距離を閾値と比較するステップと、
   物体画像の平均数または物体画像間の平均距離が閾値より小さい場合に、上、下、左、右、ズームインまたはズームアウトのジェスチャ認識を実行するステップと、
   物体画像の平均数または物体画像間の平均距離が閾値より大きい場合に、回転のジェスチャ認識を実行するステップと、
   認識されたジェスチャにしたがい画像ディスプレイの表示を更新するステップとをさらに含む、請求項３に記載のジェスチャ認識方法。
5. 表示の更新とは、画面のスクロール、物体のスケーリング、物体の回転、表示の切り替えまたはメニューの表示である、請求項４に記載のジェスチャ認識方法。
6. 物体画像の平均数または物体画像間の平均距離が閾値より小さい場合に、物体画像を２つのグループに分割するステップをさらに含む、請求項４に記載のジェスチャ認識方法。
7. 物体画像が、画像ウィンドウの中心線で、実像グループと、虚像グループに分割される、請求項６に記載のジェスチャ認識方法。
8. 画像ウィンドウにおいて、物体画像の二つのグループが、両方とも同じ方向に移動する場合に、左または右のジェスチャ認識を実行するステップと、
   物体画像の２つのグループ間の平均距離が変化する場合に、上または下のジェスチャ認識を実行するステップと、
   画像ウィンドウにおける物体画像間の最大距離が変化する場合、ズームインまたはズームアウトのジェスチャ認識を実行するステップとをさらに含む、請求項６に記載のジェスチャ認識方法。
9. 回転のジェスチャ認識を実行するステップが、物体画像の大多数が移動する方向を識別して、回転の配向を認識するステップを含む、請求項４に記載のジェスチャ認識方法。
10. 連続する画像ウィンドウにおける物体画像間の関係にしたがいジェスチャ認識を行うステップが、上、下、左、右、ズームインまたはズームアウトの認識を含む、請求項１に記載のジェスチャ認識方法。
11. 連続する画像ウィンドウにおける物体画像間の関係にしたがいジェスチャ認識を行うステップが、回転の認識を含む、請求項１に記載のジェスチャ認識方法。
12. 対話システムであって、
    発光部と、
    １以上のポインタが発光部からの光を遮ることにより生じるポインタの物体画像を含む画像ウィンドウを取り込むよう構成されるイメージセンサと、
    イメージセンサにより取り込まれる連続する画像ウィンドウにおける物体画像間の関係にしたがい、ジェスチャ認識を実行するよう構成される処理部とを備える、対話システム。
13. 発光部が、能動光源または受動光源である、請求項１２に記載の対話システム。
14. 発光部が、反射面を有する受動光源であり、かつ対話システムが、能動光源をさらに備える、請求項１３に記載の対話システム。
15. イメージセンサが取り込んだ画像ウィンドウが、実物体画像および虚物体画像を含み、かつ処理部が、連続する画像ウィンドウにおける実物体画像と虚物体画像との間の関係にしたがいジェスチャ認識を実行するよう構成される、請求項１４に記載の対話システム。
16. 発光部が能動光源であり、かつ対話システムが第２のイメージセンサをさらに含む、請求項１３に記載の対話システム。
17. 処理部に結合された画像ディスプレイをさらに含み、処理部が、認識されたジェスチャにしたがい画像ディプレイの表示を更新する、請求項１２に記載の対話システム。
18. 対話システムのためのジェスチャ認識方法であって、対話システムが、発光部と、複数のポインタが発光部から発せられた光を遮ることにより生じる、これらポインタの物体画像を含む画像ウィンドウを取り込むよう構成されるイメージセンサとを含み、ジェスチャ認識方法が、
    イメージセンサで画像ウィンドウを取り込むステップと、
    連続する画像ウィンドウにおける複数の物体画像間の関係にしたがいジェスチャ認識を実行するステップとを含む、ジェスチャ認識方法。
19. 物体画像間の関係が、物体画像間の平均距離の変化、物体画像間の最大距離の変化、および変位の方向を含む、請求項１８に記載のジェスチャ認識方法。
20. 発光部が、反射面を有する受動光源であり、かつイメージセンサが取り込む画像ウィンドウが、実物体画像および虚物体画像を含み、物体画像間の関係が、実物体画像および虚物体画像間の平均距離の変化、実および虚物体画像間の最大距離の変化ならびに変位の方向を含む、請求項１８に記載のジェスチャ認識方法。
21. 画像ウィンドウの中心線により物体画像を実像グループと虚像グループとに分割するステップをさらに含む、請求項２０に記載のジェスチャ認識方法。
22. 認識されたジェスチャにしたがい画面ディスプレイの表示を更新する、請求項１８に記載のジェスチャ認識方法。

Images