JP5569062B2 - ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム - Google Patents

Description

本発明は、認識対象物の動作からジェスチャを認識するジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラムに関するものである。

近年、ジェスチャ認識技術は、人間とコンピュータとのコミュニケーション手段として、知能ロボット、ゲーム、シミュレーション、生産技術など、様々な分野で応用され、発展してきた。具体的には、ジェスチャ認識装置は、ビデオカメラなどで人間の手や指の動きを撮影して得られた動画を画像処理して、特定の部分の、一連の特定の動き（以下、ジェスチャ）を認識する。コンピュータは、ジェスチャ認識装置によって認識されたジェスチャに応じた様々な処理を実行することができる。

上述のように、ユーザインタフェースに応用するジェスチャ認識技術（例えば、テレビリモコンの代わりとして、ユーザの指姿勢（ジェスチャ）などを認識させて、テレビの動作を遠隔制御する技術など）においては、ユーザの動きのどこからどこまでが認識すべきジェスチャにあたるのかをジェスチャ認識装置が正しく判断しなければならない。つまり、ジェスチャ認識装置が、動画における認識処理の開始・終了の時点を正確に判断できることが、誤認識になりにくい、正確なジェスチャ認識を実現するために重要となる。

例えば、特許文献１には、所定色を発光するペンライトをユーザに持たせて、該ペンライトの点灯・消灯により、ジェスチャの開始・終了を装置に認識させる、ジェスチャ認識方法および装置が開示されている。

一方、特殊な手段によって認識処理の開始と終了とを指示しなくとも、ジェスチャをジェスチャとして正しく認識させるという手法も存在する。

例えば、特許文献２には、人間の手の動きの方向を観測信号として捉え、観測信号の所定個数の集合を、あらかじめ用意された、ジェスチャの種類に対応するＨＭＭ（隠れマルコフモデル）と比較することにより、ジェスチャを認識するジェスチャ認識装置が開示されている。

また、特許文献３には、連続的に入力されたフレーム画像から、移動物体の動作方向をベクトルとして取得・蓄積して、ジェスチャを表すベクトル特徴量を生成し、前後の状態と比較して、状態の遷移（状態の進行、滞在、後退）を判定することにより、該ベクトル特徴量がジェスチャとして成立するか否かを判定するジェスチャ認識装置が開示されている。

特開平０９−３１１７５９号公報（１９９７年１２月２日公開） 特開２００７−０８７０８９号公報（２００７年４月５日公開） 特開２００７−２７２８３９号公報（２００７年１０月１８日公開）

Lars Bretzner 他2名, "Hand Gesture Recognition using Multi-Scale Colour Features, Hierarchical Models and Particle Filtering", Automatic Face and Gesture Recognition, 2002. Proceedings. Fifth IEEE International Conference on Volume, Issue, 20-21 May 2002 Page(s):423-428

しかしながら、特許文献１に記載の方法および装置では、ジェスチャを行うユーザが、ジェスチャ認識装置を使用するために、ペンライトなどの特殊な発光手段を、わざわざ所持していなければならないという問題がある。

また、特許文献２および３に記載のジェスチャ認識装置では、特殊な手段に依存しなくてもよい一方で、すべてのフレーム画像に対して、常に、本来のジェスチャ認識と同等の高負荷の画像認識処理が必要となるという問題がある。特に、特定の指姿勢などの細かいジェスチャを認識するためには、複雑なジェスチャ認識アルゴリズムが必須であるので、装置への負荷はさらに増大する。また、ジェスチャの開始と終了の時点の判断を誤った場合に、ジェスチャが誤認識される可能性が高いという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、特殊な手段に依存することなく、ユーザにとって簡単、かつ、装置において低負荷処理で、ジェスチャ認識処理に係る指示を正しく認識するジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラムを実現することにある。

本発明のジェスチャ認識装置は、上記課題を解決するために、動画に写る認識対象物の動作からジェスチャを認識するためのジェスチャ認識処理を実行するジェスチャ認識装置において、上記動画に写る特定の特徴を有する特定被写体を該動画から検出する特定被写体検出手段と、上記特定被写体の単位時間あたりの移動速度を算出する移動速度算出手段と、上記特定被写体の移動パターンを抽出する移動パターン抽出手段と、上記移動速度と上記移動パターンとが予め定められた条件を満たす場合に、上記特定被写体の動きを、自装置に対して入力された指示として識別する入力指示識別手段とを備えていることを特徴としている。

上記構成によれば、まず、特定被写体検出手段特定の特徴を有する特定被写体を検出する。そして、動画から上記特定被写体の動きが分析される。すなわち、移動速度算出手段が、特定被写体の動きの速さを算出し、移動パターン抽出手段が、特定被写体の動きのパターンを抽出する。

最後に、入力指示識別手段は、特定被写体の移動速度および移動パターンが所定の条件を満たす場合に、当該特定被写体の動きが、自装置に対して入力された指示（例えば、ジェスチャ認識の開始または終了の指示など）を意味するものであると判断する。

上記特定被写体は、動画に写る視覚的な特徴を有しており、特定被写体検出手段が画像処理をして検出することが可能である。このように、ジェスチャ認識装置のユーザインタフェースとして用いる特定被写体は、動画に写る特徴を有していれば何でもよく、特殊な手段である必要がない。

そして、この特定被写体は、移動速度と移動パターンとが分析されるだけである。よって、従来のジェスチャ認識処理のような、色や形状などについての精細な分析は不要であるため、負荷の高い画像処理を行わずに、特定被写体の動きを監視することができる。また、一方、ユーザにとっては、特定被写体を動かすという、ごく自然な操作で、ジェスチャ認識装置に対して指示を送ることができる。

結果として、特殊な手段に依存することなく、ユーザにとって簡単、かつ、装置において低負荷処理で、ジェスチャ認識処理に係る指示を、ジェスチャ認識装置に正しく認識させることが可能になるという効果を奏する。

本発明のジェスチャ認識装置は、動画に写る認識対象物の動作からジェスチャを認識するためのジェスチャ認識処理を実行するジェスチャ認識装置において、上記動画に写る特定の特徴を有する特定被写体を該動画から検出する特定被写体検出手段と、上記特定被写体の単位時間あたりの移動速度を算出する移動速度算出手段と、上記特定被写体の移動パターンを抽出する移動パターン抽出手段と、上記移動速度と上記移動パターンとが予め定められた条件を満たす場合に、上記特定被写体の動きが、上記ジェスチャ認識処理の開始または終了の指示であると判断する開始終了判断手段とを備えていることを特徴としている。

上記構成によれば、まず、特定被写体検出手段特定の特徴を有する特定被写体を検出する。そして、動画から上記特定被写体の動きが分析される。すなわち、移動速度算出手段が、特定被写体の動きの速さを算出し、移動パターン抽出手段が、特定被写体の動きのパターンを抽出する。

最後に、開始終了判断手段は、特定被写体の移動速度および移動パターンが所定の条件を満たす場合に、当該特定被写体の動きが、ジェスチャ認識の開始または終了を指示していると判断する。

上記特定被写体は、動画に写る視覚的な特徴を有しており、特定被写体検出手段が画像処理をして検出することが可能である。このように、ジェスチャ認識処理の開始終了の指示に用いる特定被写体は、動画に写る特徴を有していれば何でもよく、特殊な手段である必要がない。

そして、この特定被写体は、移動速度と移動パターンとが分析されるだけである。よって、本番のジェスチャ認識処理が、たとえ、色や形状などについての精細な分析が必要な、負荷の高い画像処理であっても、それ以外の時間帯は、負荷の低い処理によって特定被写体の動きを監視することができる。また、ジェスチャ認識処理の開始・終了を意味する特定被写体の動き（移動速度および移動パターン）として、本番のジェスチャ認識処理で用いられるジェスチャとは重複することがないパターン（条件）を予め定めておくことが可能である。よって、ジェスチャとは異なる条件を満たす特定被写体の動きをジェスチャ認識処理の開始・終了の合図として認識するので、特定被写体の動きと、ジェスチャ認識処理で認識されるジェスチャとを混同することなく、開始・終了の合図を正しく認識することができる。一方、ユーザにとっては、特定被写体を動かすという、ごく自然な操作で、開始・終了の合図をジェスチャ認識装置に送ることができる。

結果として、特殊な手段に依存することなく、ユーザにとって簡単、かつ、装置において低負荷処理で、ジェスチャ認識装置にジェスチャの開始と終了とを正しく認識させることが可能になるという効果を奏する。

上記特定被写体検出手段は、ユーザの器官または器官の一部を特定被写体として検出することが好ましい。

上記構成によれば、ユーザは、別途物品を所持しなくても、自分の身体の一部を動かすことにより簡単に、ジェスチャ認識処理の開始・終了をジェスチャ認識装置に対して正確に指示することができる。

さらに、上記特定被写体検出手段は、ユーザの掌を特定被写体として検出してもよい。これにより、ユーザは、手を動かすという簡単で自然な動作を行うだけで、ジェスチャ認識処理の開始・終了をジェスチャ認識装置に対して正確に指示することができる。

ジェスチャ認識装置は、さらに、上記動画に写る認識対象物としてのユーザの指姿勢を識別することによりジェスチャ認識処理を実行するジェスチャ認識手段を備え、上記ジェスチャ認識手段は、上記開始終了判断手段によって判断された開始時点から終了時点までの上記動画のフレームから、上記指姿勢を識別してもよい。

ジェスチャ認識手段は、特定被写体の合図によって、開始から終了までの間のみ、ジェスチャ認識処理を実行すればよい。上記構成は、本番のジェスチャ認識処理が、指姿勢を識別するなどの高負荷処理である場合には、負荷を大幅に削減できるので特に効果が大きい。

なお、開始・終了の合図は、特定被写体の動きを分析して行うため、ジェスチャとして識別される指姿勢とは、分析対象が大きく異なる。したがって、特定被写体が掌であり、ジェスチャ認識対象物が指であって、監視部位が似通っていても、ジェスチャ認識装置は、それによる誤認識を回避し、ジェスチャ認識処理の開始・終了を正確に判断することができる。

上記特定被写体検出手段は、上記動画のフレーム上に、上記特定被写体の少なくとも一部を含む特定被写体領域を特定するとともに、該特定被写体領域の重心位置座標を特定してもよい。

これにより、負荷の低い処理にて、特定被写体の移動速度および移動パターンを分析することが可能となる。

上記移動速度算出手段は、上記特定被写体領域の重心の、上記単位時間あたりの移動距離を、該特定被写体領域のサイズで正規化し、正規化によって得られた重心移動量に基づいて移動速度を算出することが好ましい。

これにより、動作を撮影する撮影部とユーザとの距離などの違いによって生じる、特定被写体の写り方の違いなどを吸収し、より精度よく、ジェスチャ認識処理の開始・終了を判断することができる。

上記移動パターン抽出手段は、上記動画のうちの複数のフレームについて特定された、上記特定被写体領域の重心について、各重心の重心位置座標の分散を移動パターンとして抽出してもよい。

これにより、ユーザは、特定被写体の移動域を調節することにより、開始終了の合図と、ジェスチャとを区別して、正確に、ジェスチャ認識装置に対して指示を送ることができる。

上記入力指示識別手段は、上記移動速度算出手段によって算出された移動速度が所定の閾値より大きく、かつ、上記移動パターン抽出手段によって抽出された重心位置座標の分散が、所定の下限閾値から所定の上限閾値までの範囲にある場合に、上記特定被写体の動きを、上記ジェスチャ認識処理の開始または終了の指示であると判断してもよい。

これにより、ジェスチャ認識装置は、特定被写体が「意図してすばやく小刻みに動く」パターンによって、開始終了の合図を正しく判断することが可能となる。上記パターンは、ジェスチャ認識処理におけるジェスチャのパターンとしては通常用いられることがない。また、ユーザは、特定被写体を上記パターンで動かすことを自然な操作で行える。

結果として、特殊な手段に依存することなく、ユーザにとって簡単、かつ、装置において低負荷処理で、ジェスチャの開始と終了とを正しく認識するジェスチャ認識装置を実現することができる。

上記特定被写体検出手段は、色または形状に特定の特徴を有するユーザの所持品を特定被写体として検出してもよい。

上記入力指示識別手段は、上記特定被写体の上記移動速度と上記移動パターンとに基づいて、上記特定被写体の動きを、ジェスチャとして認識するジェスチャ認識手段であってもよい。

これにより、色や形状などについての精細な分析が必要な、負荷の高い画像処理を行わずに本番のジェスチャ認識処理を実行することが可能になる。したがって、ジェスチャ認識装置における処理負荷を大幅に軽減することが可能となる。なお、本番のジェスチャ認識処理で用いられるジェスチャと、開始・終了の合図とには、それぞれ、互いに似通っていない移動速度または移動パターンの条件をあらかじめ割り当てておけば、誤認識を防ぐことが可能である。

本発明のジェスチャ認識装置の制御方法は、上記課題を解決するために、動画に写る認識対象物の動作からジェスチャを認識するためのジェスチャ認識処理を実行するジェスチャ認識装置の制御方法であって、上記動画に写る特定の特徴を有する特定被写体を該動画から検出する特定被写体検出ステップと、上記特定被写体の単位時間あたりの移動速度を算出する移動速度算出ステップと、上記特定被写体の移動パターンを抽出する移動パターン抽出ステップと、上記移動速度と上記移動パターンとが予め定められた条件を満たす場合に、上記特定被写体の動きを、自装置に対して入力された指示として識別する入力指示識別ステップとを含むことを特徴としている。

なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記ジェスチャ認識装置をコンピュータにて実現させるジェスチャ認識装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明のジェスチャ認識装置は、上記動画に写る特定の特徴を有する特定被写体を該動画から検出する特定被写体検出手段と、上記特定被写体の単位時間あたりの移動速度を算出する移動速度算出手段と、上記特定被写体の移動パターンを抽出する移動パターン抽出手段と、上記移動速度と上記移動パターンとが予め定められた条件を満たす場合に、上記特定被写体の動きを、自装置に対して入力された指示として識別する入力指示識別手段とを備えていることを特徴としている。

本発明のジェスチャ認識装置の制御方法は、上記動画に写る特定の特徴を有する特定被写体を該動画から検出する特定被写体検出ステップと、上記特定被写体の単位時間あたりの移動速度を算出する移動速度算出ステップと、上記特定被写体の移動パターンを抽出する移動パターン抽出ステップと、上記移動速度と上記移動パターンとが予め定められた条件を満たす場合に、上記特定被写体の動きを、自装置に対して入力された指示として識別する入力指示識別ステップとを含むことを特徴としている。

したがって、特殊な手段に依存することなく、ユーザにとって簡単、かつ、装置において低負荷処理で、ジェスチャ認識処理に係るユーザからの指示を正しく認識するジェスチャ認識装置を実現できるという効果を奏する。

本発明の実施形態におけるジェスチャ認識装置の要部構成を示すブロック図である。 本発明の実施形態におけるジェスチャ認識装置の開始終了指示処理の概略を示すフローチャートである。 本発明のジェスチャ認識装置（重心追跡部）が検出する掌領域、掌領域サイズ、および、掌領域の重心の具体例を示す図である。 特定被写体（掌）が写る動画の各フレームの具体例を示す図であり、本発明のジェスチャ認識装置（移動速度判定部）が、重心の移動に基づいて、その移動速度を算出する動作を説明する図である。 移動した掌の重心位置座標の分布を示す図であり、本発明のジェスチャ認識装置（移動パターン抽出部）が、この分布に基づいて、分布範囲サイズを算出する動作を説明する図である。 ジェスチャ認識装置の重心追跡部および移動速度判定部における移動速度判定処理の流れを示すフローチャートである。 移動パターン抽出部および開始終了判断部における移動パターンマッチング処理の流れを示すフローチャートである。

≪実施形態１≫
本発明の実施形態について、図面に基づいて説明すると以下の通りである。

本発明のジェスチャ認識装置は、撮影部が撮影する特定被写体の移動速度と移動パターンとに基づいて、ジェスチャの開始、終了を認識する。特定被写体とは、色、形などの特徴がある程度統一された物体を指す。特定被写体は、特殊な手段ではなく、ユーザの身体の一部や、日常的に所持している携行品であることが好ましい。人間の手は、だいたい色も形も統一されている。ユーザの身体の一部であるため、特定被写体として適している。本実施形態では、一例として、ユーザの掌を特定被写体として認識し、ジェスチャの開始、終了を判断するジェスチャ認識装置について説明する。また、本実施形態で説明するジェスチャ認識装置は、一例として、上記判断された開始から終了までの間の本来のジェスチャ認識処理において、手指の姿勢をジェスチャ認識の対象となる被写体（認識対象物）として捉え、ジェスチャの種類を判別するものとする。

〔ジェスチャ認識装置の構成〕
図１は、本発明の実施形態におけるジェスチャ認識装置１００の要部構成を示すブロック図である。図１に示すとおり、ジェスチャ認識装置１００は、制御部１、撮影部２、および、記憶部３を備える構成となっている。さらに、ジェスチャ認識装置１００は、利用環境に応じて、ユーザがジェスチャ認識装置１００を操作するための操作部、ジェスチャ認識装置１００が外部の装置と通信するための通信部、および、ジェスチャ認識装置１００が保持する各種情報をユーザに提示するための表示部などを備えていてもよい。

撮影部２は、ジェスチャの開始、終了を判断するための特定被写体、および、ジェスチャ認識の対象となる被写体（認識対象物）を撮像し、動画データを生成するものである。詳細には、撮影部２は、主に、フレームメモリ、メカ機構、モータ等から構成される。モータは、ズームレンズモータ、フォーカスモータ、シャッターモータ等を含む。撮像素子としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子が用いられる。

なお、ジェスチャ認識装置１００は、撮影部２を備えていなくてもよく、この場合、別に設けられた撮影部と、ジェスチャ認識装置１００の通信部（図示せず）とが通信網を介して通信し、ジェスチャ認識装置１００が上記通信部を介して動画を取得する構成としてもよい。

記憶部３は、ジェスチャ認識装置１００が扱う各種データを記憶するものであり、データを揮発的に記憶する一時記憶部と、不揮発的に記憶する記憶装置とが含まれる。一時記憶部は、ジェスチャ認識装置１００が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭなどで構成される。記憶装置は、制御部１が実行する制御プログラムおよびＯＳプログラム、ならびに、制御部１が、ジェスチャ認識装置１００が有する各種機能を実行するときに読み出す各種データを記憶するものであり、ＲＯＭなどで実現される。

制御部１は、ジェスチャ認識装置１００が備える各部を統括制御するものであり、機能ブロックとして、少なくとも、認識指示部１０とジェスチャ認識部２０とを備えている。

認識指示部１０は、撮影部２によって得られた動画から、特定被写体の移動速度と移動パターンとを分析し、その分析結果に応じて、ジェスチャ認識処理の開始または終了を指示するものである。つまり、認識指示部１０は、上記動画のうち、ジェスチャ認識処理の開始または終了時点をジェスチャ認識部２０に指示する。例えば、認識指示部１０は、ジェスチャ認識のスイッチのオン／オフの切り替えを行ってもよい。

本実施形態では、ジェスチャ認識装置１００は、掌を特定被写体とし、手指の姿勢を本番のジェスチャ認識処理での認識対象物として捉える。いずれもユーザの手を被写体にしている。このような場合、ジェスチャ認識の開始または終了を指示する開始終了指示処理の間と、ジェスチャの種類を判別するジェスチャ認識処理の間とでは、ユーザの手の動きが似通っていないことが好ましい。

ここで、一般に、ジェスチャ認識処理においては、高速の手振りなど、すばやく小刻みに動く動作は、ジェスチャの一種として判別するのに用いられない。そこで、本実施形態では、この、ジェスチャ認識インタフェースには使われていない、すばやく小刻みな動作パターンを特定被写体の動きから検出することにより、ジェスチャ認識の開始・終了を判断する。

より詳細には、認識指示部１０は、特定被写体の移動速度と移動パターンとを分析するために、機能的に、重心追跡部１１と、移動速度判定部１２と、移動パターン抽出部１３と、開始終了判断部１４とを含む構成となっている。この各部の詳細については後述する。

ジェスチャ認識部２０は、認識指示部１０からの指示にしたがって、撮影部２によって得られた動画のうち、指示された開始時点から終了時点までの動画から、ジェスチャを検出して、種類を特定し、そのジェスチャの意味を理解するものである。本実施形態では、一例として、ユーザの指の姿勢を検出し、その指姿勢に応じてジェスチャの種類を判別する。ジェスチャ認識部２０の認識結果は、認識されたジェスチャに応じた処理を実行するジェスチャ認識装置１００の図示しない各種実行部、あるいは、外部の実行装置に供給される。

上述した制御部１の各機能ブロックは、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムを不図示のＲＡＭ（random access memory）等の一時記憶部に読み出して実行することで実現できる。

〔ジェスチャ認識装置の処理の流れ〕
上述のジェスチャ認識装置１００が、ジェスチャ認識の開始または終了を指示する処理の流れは、概して以下の通りである。図２は、ジェスチャ認識装置１００の開始終了指示処理の概略を示すフローチャートである。

動画が取得されると、ジェスチャ認識装置１００の重心追跡部１１および移動速度判定部１２が、移動速度判定処理を実行する（Ｓ１）。本実施形態では、重心追跡部１１がユーザの掌の重心を追跡し、移動速度判定部１２が、上記重心の一定の時間内の移動速度を判定する。その移動速度が所定の閾値以上であれば（Ｓ１においてＹＥＳ）、十分にすばやい動きであると判断される。そして、移動パターン抽出部１３が、掌の重心の移動パターンを抽出して、移動パターンマッチング処理を実行する（Ｓ２）。具体的には、移動パターン抽出部１３は、掌の移動が特定の範囲内に収まっているか否かを判定する。その移動範囲が所定の範囲以内であれば（移動パターンがマッチすれば）、移動パターン抽出部１３は、掌の動きが、十分小刻みな動きであると判断する（Ｓ２においてＹＥＳ）。最後に、開始終了判断部１４が、当該掌の動きはジェスチャ認識の開始または終了を表していると判断し、ジェスチャ認識部２０に対して、ジェスチャ認識の開始または終了を指示する（Ｓ３）。

一方、掌の動きが、十分な移動速度を保っていないか（Ｓ１においてＮＯ）、あるいは、一定の範囲に収束していなければ（Ｓ２においてＮＯ）、その掌の動きはジェスチャ認識の開始・終了とは無関係であるとして、再び掌の動きの監視に戻る。

上記構成および方法によれば、動画から特定被写体の動きが分析された結果、移動速度判定部１２が、特定被写体の移動速度が一定以上速いと判断し、かつ、移動パターン抽出部１３が、特定被写体の移動パターンが一定範囲内に収束していると判断した場合にのみ、開始終了判断部１４が、当該特定被写体の動きが、ジェスチャ認識の開始または終了を指示していると判断する。

これにより、ユーザは、特定被写体をすばやく小刻みに動かすという簡単な動作のみで、ジェスチャ認識装置１００に対して、ジェスチャの開始と終了とを正確に指示することが可能となる。

このすばやく小刻みに動かすという単純な動作は、一般に、アプリケーションのジェスチャ認識のインタフェースには、あまり使われていない特別な動作パターンである。この特別な動作パターンを、開始と終了のサインに割り当てているので、本番のジェスチャ認識処理にて、上記動作パターンが、ジェスチャと誤認されてしまうことはない。したがって、ジェスチャの判別の精度を大幅に向上させることが可能である。

また、特定の物の特定の動きを検出することによって、ジェスチャの開始と終了とを正確に判断することができるので、特殊な手段に依存しなくても済み、ユーザに特殊な手段の準備、携行を強いることがない。具体的には、認識指示部１０が、開始終了の判断のために監視する特定被写体は、ユーザ自身の特定の器官（手、腕、顔など）や、あるいは、特定の色や特定の形状などを持つ日用携帯品（ボールペン、携帯電話、社員証など）でよい。つまり、ユーザの身体の一部や、日常的に所持している物を特定被写体にすることができるので、ジェスチャ認証のために特殊な手段を態々所持する必要がない。ユーザは、いつでも自然に、簡単な操作でジェスチャ認識の開始と終了とを指示することが可能となる。

さらに、ジェスチャ認識部２０は、認識指示部１０が指示した間のフレームに対してのみ、ジェスチャ認識処理を実行するので、動画の全フレームに対して、常に高負荷のジェスチャ認識処理を実行せずに済む。特に、指姿勢を認識するなどの高負荷処理を、常に行う必要がなくなるので、ジェスチャ認識装置１００の負荷を大幅に軽減することが可能である。

以下では、開始終了指示処理を実行する認識指示部１０の構成と処理の流れについてより詳細に説明する。

〔ジェスチャ認識装置の詳細〕
認識指示部１０の重心追跡部１１は、動画の各フレームから、特定被写体の領域を特定し、特定した領域の重心の座標を算出するものである。本実施形態では、重心追跡部１１は、特定被写体としてのユーザの掌を検出し、その掌領域を特定する。掌領域の検出、特定の方法は、従来の技術を適宜採用することが可能である。一例として、非特許文献１に記載されている手の検出方法を採用することができる。この方法によれば、検出されたブロブ特性（blob feature）を掌として定義する。具体的には、図３に示すとおり、重心追跡部１１は、肌色の領域の大部分を包含するようにブロブ（円形領域）を定義し、これをそのまま掌領域として特定してもよい。重心追跡部１１は、掌領域を円で定義することにより、簡単な計算で掌領域の重心ｘ_cを求めることが可能となる。この方法によれば、複雑な形状の肌色領域を掌領域として検出する場合よりも、計算量を大幅に減らすことができる。あるいは、掌領域は、図３に示すとおり、上記円の外接矩形として定義され、掌領域のサイズｈ＿ｓｉｚｅは、上記外接矩形の面積で定義されてもよい。すなわち、図３に示す例では、掌領域のサイズｈ＿ｓｉｚｅは、ｗ＊ｈで定義される。

あるいは、重心追跡部１１は、次式（数１）に基づいて、掌領域の重心ｘ_cを算出しても構わない。すなわち、

である。ここで、Ｘ_ｊ＝（ｘ_ｊ、ｙ_ｊ）は、検出した掌領域内の点を表し、ｍはその点の数を表す。

重心追跡部１１は、動画の全フレームごとに、掌領域の検出とその重心位置座標の検出とを行ってもよいが、処理効率を考慮して、一定間隔のフレームごと（一定秒ごと）に掌検出を実行することが好ましい。

本実施形態では、重心追跡部１１は、その動画のｔ＿ｉｎｔ秒（例えば、５０ミリ秒など）ごとに、検出時点を設けて、その検出時点の各フレームについて、掌領域の検出とその重心位置座標の検出とを行う。重心追跡部１１は、最初のフレーム（Frame 0）の初回の検出を０回目として、ｉ回目に行った検出によって求めた掌領域の重心位置座標を、ｘ＿ｃ［ｉ］として記憶部３に記憶する。

本実施形態では、重心追跡部１１は、初回（ｉ＝０）の検出時点の最初のフレーム（Frame 0）から検出される掌領域のサイズｈ＿ｓｉｚｅ（例えば、図３に示すとおり、ｈ＿ｓｉｚｅ＝ｗ＊ｈ）を算出して記憶部３に記憶しておく。この初回掌領域のサイズｈ＿ｓｉｚｅは、重心の移動量を正規化するために、移動速度判定部１２によって参照される。移動速度判定部１２は、正規化された重心の移動量に基づいて、スケールの統一された移動速度を算出することができる。

掌の３次元位置または向きによって、フレーム上に写っている掌の大きさはまちまちになるが、短い期間で掌の移動速度を求める場合には、その短期間で上記掌の大きさが極端に変化することはないと想定され、掌領域サイズの多少のばらつきは無視できる程度に影響が小さいと考えられる。そこで、初回の掌領域のサイズで、検出時点の重心から次の検出時点の重心までの距離を、初回掌領域のサイズｈ＿ｓｉｚｅで正規化することにより、各フレームでの重心の移動距離をスケールが統一された移動量として取り扱うことができ、結果として、重心の移動速度のスケールを統一することができる。例えば、ユーザによってカメラの前での立ち位置が違ったり、掌の差し出し方が異なったりして、カメラに写る掌の大きさには大きなばらつきが出ることが想定される。しかし、上述の方法によれば、写っている掌の大きさに対する移動量を抽出できるので、ユーザの写り方の違いによるばらつきを無視することができる。

なお、重心追跡部１１が検出した掌領域が、円、矩形などの幾何学的図形である場合には、重心追跡部１１は、計算によって掌領域の面積を求めてそれをｈ＿ｓｉｚｅとしてもよい。あるいは、重心追跡部１１は、検出された掌領域の外接矩形の面積を掌領域のｈ＿ｓｉｚｅとして取得してもよい。本実施形態では、図３に示すとおり、掌領域（網掛けされた円）の外接矩形の幅ｗと高さｈとを取得して、ｈ＿ｓｉｚｅを定義する。

移動速度判定部１２は、重心追跡部１１が追跡した掌領域の重心の移動速度を算出し、それが一定の速度に達しているか否かを判定するものである。本実施形態では、移動速度判定部１２は、検出時点におけるフレーム間での、重心の移動速度をすべて求め、その平均値である平均移動速度を所定の閾値と比較する。

移動速度判定部１２は、Ｆｒａｍｅ ０における掌領域の重心位置座標ｘ＿ｃ［０］と、ｔ＿ｉｎｔ秒後のＦｒａｍｅ １における掌領域の重心位置座標ｘ＿ｃ［１］との距離を、上記の初回掌領域サイズｈ＿ｓｉｚｅで正規化された重心移動量をｔ＿ｉｎｔ秒で割って、移動速度ｖ［０］を求める。

そして、図４に示すとおり、以降のフレーム間でも同様に、ｉ−１回目の検出にて求めた、Ｆｒａｍｅ ｉ−１における重心位置座標ｘ＿ｃ［ｉ−１］と、Ｆｒａｍｅ ｉにおける重心位置座標ｘ＿ｃ［ｉ］との距離ｄをｈ＿ｓｉｚｅで正規化し、それをｔ＿ｉｎｔ秒で割って、移動速度ｖ［ｉ−１］を算出することを繰り返す。これは、最後の検出時点であるＦｒａｍｅ ｎにおいて、ｎ回目に検出された重心位置座標ｘ＿ｃ［ｎ］の位置までの、移動速度ｖ［ｎ−１］が算出されるまで繰り返される。

移動速度判定部１２は、各フレーム間から求めた各移動速度Ｖ［ｉ−１］の平均移動速度Ｖ＿ａが所定の閾値Ｔ＿ｖ以上である場合に、その掌の動きが十分すばやく、開始・終了の指示である可能性があると判断する。ここで、重心追跡部１１および移動速度判定部１２によって得られたデータは、記憶部３に記憶され、移動パターンマッチング処理を実行する移動パターン抽出部１３に引き渡される。

なお、検出時点の時間間隔の値（ｔ＿ｉｎｔ）、および、速度の閾値（Ｔ＿ｖ）は、実験または経験から最適なものが選択される。

移動パターン抽出部１３は、特定対象物（掌）が動いたときの移動パターンを抽出するものである。開始終了判断部１４は、その移動範囲が一定の範囲内に収束しているか否かを判定し、判定結果に応じて、動画における開始または終了の時点をジェスチャ認識部２０に指示するものである。

本実施形態では、移動パターン抽出部１３は、重心追跡部１１が追跡した掌領域の重心位置座標Ｘ＿ｃ［ｉ］の分散Ｘ＿ｖを求める。分散は、開始終了判断部１４によって、所定の閾値と比較される。開始終了判断部１４は、分散が、所定の閾値Ｔ＿ｈとＴ＿ｌと（Ｔ＿ｌ＜Ｔ＿ｈ）の範囲内であれば、ジェスチャ認識の開始または終了をジェスチャ認識部２０に指示する。

本実施形態では、移動パターン抽出部１３は、重心追跡部１１が求めた掌の重心位置座標を、重心の移動距離のスケールを統一するために正規化する。より詳細には、移動パターン抽出部１３は、掌の重心位置座標の正規化を、検出した重心位置座標の分布から求めた外接矩形のサイズｈｒ＿ｓｉｚｅにより行う。上記外接矩形のサイズｈｒ＿ｓｉｚｅは、掌の重心の分布範囲サイズを表す。例えば、図５に示すとおり、ｈｒ＿ｓｉｚｅは、重心の集合のうち、各重心のｘ座標値の最大値ｘ＿ｍａｘと最小値ｘ＿ｍｉｎとの差を、外接矩形の幅ｗｒとし、ｙ座標値の最大値ｙ＿ｍａｘと最小値ｙ＿ｍｉｎとの差を、外接矩形の高さｈｒとすることにより求まる。

そして、移動パターン抽出部１３は、正規化した重心位置座標Ｘ＿ｃｎ［ｉ］の分散Ｘ＿ｖを算出する。具体的には、移動パターン抽出部１３は、次式（数２）に基づいて、分散Ｘ＿ｖを算出することができる。すなわち、

である。ここで、Ｘ＿ｃｎ［ｉ］は、フレームごとの各重心の、正規化された重心位置座標を表し、

は、すべての重心の平均位置座標を表し、ｎ＋１は、重心の個数を表す。

上記方法によれば、重心の移動距離のスケールを統一することができるので、分散の範囲のスケールを統一することができる。例えば、ユーザによってカメラの前での立ち位置が違ったり、掌の差し出し方が異なったりして、カメラに写る掌の大きさには大きなばらつきが出ることが想定される。掌の大きさの違いを考慮しない、正規化しないままの分散値では、共通の閾値で分散の大小を判定することができない。しかし、上述の方法によれば、掌が動いた最大範囲内での分散を抽出できるので、ユーザの写り方の違いによるばらつきを無視して、分散のスケールを統一することができる。

開始終了判断部１４は、上述のようにして求められた掌の重心の分散が、所定の閾値Ｔ＿ｈとＴ＿ｌと（Ｔ＿ｌ＜Ｔ＿ｈ）の間にあれば、意図を持って（無意識の揺れではなく）、かつ、十分小刻みに動いていると判断し、その掌の動きを、ジェスチャ認識の開始または終了の指示であると判断する。そして、開始終了判断部１４は、ジェスチャ認識の開始または終了をジェスチャ認識部２０に指示する。例えば、ジェスチャ認識処理のスイッチのオン／オフを切り替えることなどを行う。

なお、分散の上限閾値Ｔ＿ｈ、および、下限閾値Ｔ＿ｌは、実験または経験から最適なものが選択される。

以上の各部の処理の流れについて、図６および図７を参照しながら詳細に説明する。

〔移動速度判定処理の流れ〕
図６は、重心追跡部１１および移動速度判定部１２における移動速度判定処理の流れを示すフローチャートである。

重心追跡部１１は、撮影部２が撮影した動画を取得して（Ｓ１０１）、掌の動きの監視を開始する（Ｓ１０２）。具体的には、重心追跡部１１は、開始時刻ｔ＿０を現在時刻ｔとして、掌の監視およびフレームの経過時刻の計測を開始し、検出カウンタｉを０に設定する。

次に、重心追跡部１１は、掌領域とその重心を検出するための、時間間隔ｔ＿ｉｎｔを取得する（Ｓ１０３）。ｔ＿ｉｎｔは、例えば、５０ミリ秒、などであり、予め最適な秒数が定められて記憶部３に記憶されている。

重心追跡部１１は、現在時刻ｔが、監視開始時刻ｔ＿０（ｉ＝０の場合）であるか、または、現在時刻ｔが、ｔ＿０＋ｉ＊ｔ＿ｉｎｔに到達したかの条件を満たしているか否かを判定し（Ｓ１０４）、条件を満たしていれば（Ｓ１０４においてＹＥＳ）、その現在時刻ｔのフレームについて、掌領域の検出（Ｓ１０５）の処理に進む。上記条件が満たされていない場合には（Ｓ１０４においてＮＯ）、動画再生時刻の計測と掌の監視を継続する。すなわち、重心追跡部１１は、初回の検出時点で、最初のフレームに対して、掌領域とその重心の検出を行うと、以後、ｔ＿ｉｎｔ秒間隔で、そのときのフレームを検出時点であると判断する。

重心追跡部１１は、ｉ回目の検出において、掌領域の重心座標位置ｘ＿ｃ［ｉ］を算出すると、記憶部３において事前に定義されている重心配列Ｘ＿ｃ［ｉ］（ｉ＝０、１、２、・・・、ｎ）に、ｉ回目の重心座標位置ｘ＿ｃ［ｉ］を格納する（Ｓ１０６）。なお、重心配列Ｘ＿ｃ［ｉ］およびその各要素である重心座標位置ｘ＿ｃ［ｉ］は、ｘ座標値とｙ座標値との情報を含んでいる。

本実施形態では、Ｓ１０５およびＳ１０６が、初回検出時点（０回目の検出）の処理である場合には（Ｓ１０７においてＹＥＳ）、重心追跡部１１は、その最初のフレームから検出された掌領域のサイズｈ＿ｓｉｚｅを取得し、記憶部３に記憶しておく。ここでは、図３に示すとおり、掌領域（網掛けされた円）の外接矩形の幅ｗと高さｈとを取得して、ｈ＿ｓｉｚｅを定義する（Ｓ１０８）。続いて、重心追跡部１１は、検出カウンタｉを一つインクリメントして（Ｓ１０９）、次回検出時点に到達するまで時間の計測および監視を継続する。

一方、Ｓ１０５およびＳ１０６の検出時点が、１回目以降の処理である場合には（Ｓ１０７においてＮＯ）、前回の検出時点にて重心が算出されているので、移動速度判定部１２が、前回の検出時点の重心から今回の検出時点の重心までの距離（重心の移動距離）と、時間ｔ＿ｉｎｔとに基づいて、重心の移動速度を算出する。

具体的には、まず、移動速度判定部１２は、前回（ｉ−１回目とする）の検出時点（図４のＦｒａｍｅ ｉ−１）で求められた重心ｘ＿ｃ［ｉ−１］と、今回（ｉ回目）の検出時点、Ｆｒａｍｅ ｉで求められた重心ｘ＿ｃ［ｉ］との距離ｄを、Ｓ１０８で取得された初回掌領域サイズｈ＿ｓｉｚｅで正規化し、移動量を算出する。なお、移動量は、距離ｄの絶対値を使って算出される。これは、移動する掌の重心の位置座標の分散を後述のステップで確認するため、移動の方向は問わないためである。すなわち、移動量は、次式、
移動量＝｜（ｘ＿ｃ［ｉ］−ｘ＿ｃ［ｉ−１］）／ｈ＿ｓｉｚｅ｜
によって求まる。移動速度判定部１２は、このようにして求めた移動量を、かかった時間（ここでは、時間間隔ｔ＿ｉｎｔ）で割ることにより、前回（ｉ−１回目）の検出時点から、今回（ｉ回目）の検出時点までの移動速度ｖ［ｉ−１］を算出する。そして、記憶部３において事前に定義されている速度配列Ｖ［ｉ−１］（ｉ＝１、２、・・・、ｎ）に、上記移動速度ｖ［ｉ−１］を格納する（Ｓ１１０）。なお、ここでは、重心との距離ｄを正規化するための掌領域のサイズｈ＿ｓｉｚｅを、ｗ＊ｈと定義したが、これに限定されず、例えば、掌領域の幅ｗと高さｈのいずれか値の大きい方のみを正規化に用いることもできる。すなわち、ｈ＿ｓｉｚｅを、ｍａｘ（ｗ、ｈ）と定義してもよい。あるいは、距離ｄのベクトルのｘ軸方向の長さを掌領域の幅ｗで、距離ｄのベクトルのｙ軸方向の長さを掌領域の高さｈで正規化してもよい。

そして、今回検出時点（ｉ回目）が、最終の検出時点（ｎ回目）に到達していなければ（Ｓ１１１においてＮＯ）、重心追跡部１１は、検出カウンタｉを１つインクリメントして（Ｓ１０９）、次回検出時点に到達するまで時間の計測および掌領域の監視を継続する。

一方、最終の検出時点（ｎ回目）に到達し、各フレーム間のｎ個のすべての移動速度が、速度配列Ｖ［ｉ−１］（ｉ＝１、２、・・・、ｎ）に格納された場合には（Ｓ１１１においてＹＥＳ）、移動速度判定部１２は、速度配列Ｖ［ｉ−１］から、当該動画の特定被写体である掌の平均移動速度Ｖ＿ａを算出する（Ｓ１１２）。そして、移動速度判定部１２は、あらかじめ定められた平均移動速度の閾値Ｔ＿ｖと、上記平均移動速度Ｖ＿ａとを比較する。

平均移動速度Ｖ＿ａが、閾値Ｔ＿ｖ以下である場合（Ｓ１１３においてＮＯ）、移動速度判定部１２は、その掌の動きは早くないと判断し、したがって、ジェスチャ認識の開始・終了の指示ではないと判断する。ここで、取得された動画がまだ続く場合には、各種データが初期化され、Ｓ１０２に戻り以降の処理が繰り返される。

一方、平均移動速度Ｖ＿ａが、閾値Ｔ＿ｖよりも大きい場合（Ｓ１１３においてＹＥＳ）、移動速度判定部１２は、その掌の動きが十分すばやく、当該掌の動きは、ジェスチャ認識の開始・終了の指示である可能性があると判断する。

この場合、重心追跡部１１によって出力された重心配列Ｘ＿ｃ［ｉ］および初回掌領域サイズｈ＿ｓｉｚｅと、移動速度判定部１２によって出力された速度配列Ｖ［ｉ−１］とが、記憶部３に記憶され（Ｓ１１４）、重心追跡部１１および移動速度判定部１２は、移動速度判定処理を終了する。移動速度判定処理が終了すると、移動パターン抽出部１３および開始終了判断部１４によって、移動パターンマッチング処理が開始される。

〔移動パターンマッチング処理の流れ〕
図７は、移動パターン抽出部１３および開始終了判断部１４における移動パターンマッチング処理の流れを示すフローチャートである。

移動パターン抽出部１３は、重心追跡部１１が出力した、各フレームの重心位置座標（ｘ、ｙ座標）を取得する。すなわち、記憶部３から、重心配列Ｘ＿ｃ［ｉ］を取得する（Ｓ２０１）。そして、移動パターン抽出部１３は、取得した重心配列Ｘ＿ｃ［ｉ］から、掌の重心の分布を分析し、その分布範囲のサイズ（重心分布範囲サイズｈｒ＿ｓｉｚｅ）を特定する（Ｓ２０２）。移動パターン抽出部１３は、図５を参照して既に説明したとおり、各重心のｘ座標値の最大値ｘ＿ｍａｘと最小値ｘ＿ｍｉｎとの差を、幅ｗｒとし、各重心のｙ座標値の最大値ｙ＿ｍａｘと最小値ｙ＿ｍｉｎとの差を、高さｈｒとして、重心分布範囲サイズｈｒ＿ｓｉｚｅ＝ｗｒ＊ｈｒを定義する。

次に、移動パターン抽出部１３は、重心配列Ｘ＿ｃ［ｉ］の各重心位置座標（ｘ、ｙ座標）を、Ｓ２０２で求めた重心分布範囲サイズｈｒ＿ｓｉｚｅで正規化する（Ｓ２０３）。つまり、正規化された各重心位置座標（Ｘ＿ｃｎ［ｉ］）を次式、
Ｘ＿ｃｎ［ｉ］＝Ｘ＿ｃ［ｉ］／ｈｒ＿ｓｉｚｅ
によって求める。ここで、ｉ＝０、１、２、・・・、ｎである。これにより、重心の移動距離のスケールが統一される。

なお、ここでは、各重心位置座標を正規化するための重心分布範囲サイズｈｒ＿ｓｉｚｅを、ｗｒ＊ｈｒと定義したが、これに限定されず、例えば、重心分布範囲サイズの幅ｗｒと高さｈｒのいずれか値の大きい方のみを正規化に用いることもできる。すなわち、ｈｒ＿ｓｉｚｅを、ｍａｘ（ｗｒ、ｈｒ）と定義してもよい。あるいは、ｘ座標を幅ｗｒで、ｙ座標を高さｈｒで正規化してもよい。

そして、移動パターン抽出部１３は、Ｓ２０３で求めた、正規化された掌の重心位置座標の分散Ｘ＿ｖを算出する（Ｓ２０４）。分散を算出するための式は、上述の（数２）に示すとおりである。

続いて、開始終了判断部１４は、Ｓ２０４にて移動パターン抽出部１３によって求められた分散に基づいて、移動パターンがマッチするか否かを判断する。ジェスチャ認識の開始または終了の指示である場合の重心の移動パターンは、微量の無意識な動きとは異なり、意図を持って動かされているので、一定以上の分散を示し、かつ、すばやく小刻みに周期的な動きを繰り返すので、該分散は一定の範囲内に収束すると考えられる。

そこで、開始終了判断部１４は、分散Ｘ＿ｖを、分散の上限閾値Ｔ＿ｈ、および、下限閾値Ｔ＿ｌと比較して、分散Ｘ＿ｖが、上記所定の閾値の範囲内に収まる場合に（Ｓ２０５においてＹＥＳ）、当該掌の動きが、ジェスチャ認識の開始または終了の移動パターンにマッチしたと判定する（Ｓ２０６）。そして、開始終了判断部１４は、上記掌のすばやく小刻みな動作が行われている時点を、ジェスチャ認識処理の開始または終了時点と判断し、ジェスチャ認識部２０に通知する（Ｓ２０７）。開始終了判断部１４は、開始または終了時点に対応する、動画上のフレーム位置をジェスチャ認識部２０に通知してもよいし、ジェスチャ認識部２０にジェスチャ認識処理を指示するスイッチが設けられている場合には、そのスイッチのオン／オフを切り替えてもよい。

一方、分散Ｘ＿ｖが、上記所定の閾値の範囲内に収まらない場合は（Ｓ２０５においてＮＯ）、上記掌の動きは、開始または終了の移動パターンにマッチしないと判定する（Ｓ２０８）。

開始終了判断部１４がＳ２０７またはＳ２０８の処理を実行し、移動パターンマッチング処理が終了すると、取得された動画がまだ続く場合には、各種データが初期化され、重心追跡部１１がＳ１０２に戻り以降の処理を繰り返す。

〔変形例１〕
上述の実施形態では、ジェスチャ認識装置１００は、２次元画像から検出される特定被写体の２次元の移動距離および移動パターンに基づいて、ジェスチャ認識処理の開始、終了の指示を判定する構成であった。しかし、本発明のジェスチャ認識装置の構成は、これに限定されない。例えば、特定被写体の３次元位置を検出できるキャリブレーション済みの画像システムを使う場合は、特定被写体の移動範囲が一定の３次元空間内に収束することおよび一定以上の移動速度であることを、ジェスチャ認識処理の開始・終了指示として定義することも可能である。

〔変形例２〕
上述の実施形態では、特定被写体の移動速度および移動パターンの判定基準に用いた特定被写体の動きを、本番のジェスチャ認識処理の開始、終了のサインとして用いた。一方、移動速度および移動パターンを判定基準に用いた特定被写体の動きを、本番のジェスチャ認識処理において、アプリケーションでのユーザインタフェースの一種として、すなわち、開始サイン以降、終了サインまでの間に使用されるジェスチャ自体として、取り扱うことも可能である。

この場合、ジェスチャ認識処理の開始・終了のサインと、本番のジェスチャ認識処理で認識されるべきジェスチャとが、類似の動きとなっては、誤認識される虞がある。

そこで、本願発明では、ジェスチャ認識処理の開始・終了のサインに割り当てる移動速度および移動パターンの条件を、各ジェスチャに割り当てる移動速度および移動パターンの条件とは大きく異ならせることによって上記の不都合を解消することが可能である。

例えば、ジェスチャ認識処理の開始・終了のサインには、掌で円を描く運動をある程度高速に行うパターンを割り当て、一方、その他のジェスチャには、円運動とはかけ離れた、上下方向や左右方向に手を振るパターンを割り当てることなどが考えられる。

上記構成によれば、ジェスチャ認識処理の開始・終了の指示に加えて、ジェスチャ自体も、移動速度と移動パターン（分散）との分析によって認識することができる。

よって、処理の負荷をさらに大幅に削減しつつ、特殊な手段に依存することなく、ユーザにとって簡単な操作で、ジェスチャ認識処理に係る指示を正しく認識するジェスチャ認識装置を実現することが可能となる。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、ジェスチャ認識装置１００の各ブロック、特に、重心追跡部１１、移動速度判定部１２、移動パターン抽出部１３および開始終了判断部１４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、ジェスチャ認識装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、ジェスチャ認識装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明のジェスチャ認識装置の構成によれば、ユーザが特殊な手段を用いずに、自然な動作で正確かつ簡単にジェスチャ認識処理の開始、終了を指示することができ、ジェスチャ認識装置が高負荷処理のジェスチャ認識処理を常時行わずに済む。よって、ジェスチャの種類に応じた処理を実行するシステムを利用するあらゆるユースシーンで、装置性能や周辺機器の制約を受けることなく、本発明のジェスチャ認識装置を採用することが可能とである。

１ 制御部
２ 撮影部
３ 記憶部
１０ 認識指示部
１１ 重心追跡部（特定被写体検出手段）
１２ 移動速度判定部（移動速度算出手段）
１３ 移動パターン抽出部（移動パターン抽出手段）
１４ 開始終了判断部（入力指示識別手段／開始終了判断手段）
２０ ジェスチャ認識部（入力指示識別手段／ジェスチャ認識手段）
１００ ジェスチャ認識装置

Claims (12)

1. 動画に写る認識対象物の動作からジェスチャを認識するためのジェスチャ認識処理を実行するジェスチャ認識装置において、
   上記動画に写る特定の特徴を有する特定被写体を該動画から検出する特定被写体検出手段と、
   上記特定被写体の単位時間あたりの移動速度を算出する移動速度算出手段と、
   上記特定被写体の移動パターンを抽出する移動パターン抽出手段と、
   上記移動速度と上記移動パターンとが予め定められた条件を満たす場合に、上記特定被写体の動きを、上記ジェスチャ認識処理の開始または終了の指示であると判断する開始終了判断手段と、
   上記開始終了判断手段によって上記ジェスチャ認識処理の開始が指示された後に、上記特定被写体を上記認識対象物の少なくとも一部と捉え、上記認識対象物または上記認識対象物の一部の姿勢を識別することにより、上記ジェスチャ認識処理を実行するジェスチャ認識手段とを備えていることを特徴とするジェスチャ認識装置。
2. 上記特定被写体検出手段は、
   ユーザの器官または器官の一部を特定被写体として検出することを特徴とする請求項１に記載のジェスチャ認識装置。
3. 上記特定被写体検出手段は、
   ユーザの掌を特定被写体として検出することを特徴とする請求項２に記載のジェスチャ認識装置。
4. 上記認識対象物の一部の姿勢とは、ユーザの指姿勢であり、
   上記ジェスチャ認識手段は、上記開始終了判断手段によって判断された開始時点から終了時点までの上記動画のフレームから、上記指姿勢を識別することを特徴とする請求項３に記載のジェスチャ認識装置。
5. 上記特定被写体検出手段は、
   上記動画のフレーム上に、上記特定被写体の少なくとも一部を含む特定被写体領域を特定するとともに、該特定被写体領域の重心位置座標を特定することを特徴とする請求項１から４までのいずれか１項に記載のジェスチャ認識装置。
6. 上記移動速度算出手段は、
   上記特定被写体領域の重心の単位時間あたりの移動距離を、該特定被写体領域のサイズで正規化し、正規化によって得られた重心移動量に基づいて移動速度を算出することを特徴とする請求項５に記載のジェスチャ認識装置。
7. 上記移動パターン抽出手段は、
   上記動画のうちの複数のフレームについて特定された、上記特定被写体領域の重心について、各重心の重心位置座標の分散を移動パターンとして抽出することを特徴とする請求項５に記載のジェスチャ認識装置。
8. 上記開始終了判断手段は、
   上記移動速度算出手段によって算出された移動速度が所定の閾値より大きく、かつ、上記移動パターン抽出手段によって抽出された重心位置座標の分散が、所定の下限閾値から所定の上限閾値までの範囲にある場合に、上記特定被写体の動きを、上記ジェスチャ認識処理の開始または終了の指示として識別することを特徴とする請求項７に記載のジェスチャ認識装置。
9. 上記特定被写体検出手段は、
   色または形状に特定の特徴を有するユーザの所持品を特定被写体として検出することを特徴とする請求項１に記載のジェスチャ認識装置。
10. 上記ジェスチャ認識手段は、
    さらに、上記特定被写体の上記移動速度と上記移動パターンとに基づいて、上記特定被写体の動きを、ジェスチャとして認識することを特徴とする請求項１に記載のジェスチャ認識装置。
11. 動画に写る認識対象物の動作からジェスチャを認識するためのジェスチャ認識処理を実行するジェスチャ認識装置の制御方法であって、
    上記動画に写る特定の特徴を有する特定被写体を該動画から検出する特定被写体検出ステップと、
    上記特定被写体の単位時間あたりの移動速度を算出する移動速度算出ステップと、
    上記特定被写体の移動パターンを抽出する移動パターン抽出ステップと、
    上記移動速度と上記移動パターンとが予め定められた条件を満たす場合に、上記特定被写体の動きを、上記ジェスチャ認識処理の開始または終了の指示であると判断する開始終了判断ステップと、
    上記開始終了判断ステップにて上記ジェスチャ認識処理の開始が指示された後に、上記特定被写体を上記認識対象物の少なくとも一部と捉え、上記認識対象物または上記認識対象物の一部の姿勢を識別することにより、上記ジェスチャ認識処理を実行するジェスチャ認識ステップとを含むことを特徴とするジェスチャ認識装置の制御方法。
12. コンピュータに、請求項１１に記載のジェスチャ認識装置の制御方法の各ステップを実行させるための制御プログラム。

Images