WO2014030442A1

WO2014030442A1 - 入力装置、入力方法、プログラム、及び、電子看板

Info

Publication number: WO2014030442A1
Application number: PCT/JP2013/068533
Authority: WO
Inventors: 太田　雅彦
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2012-08-22
Filing date: 2013-07-05
Publication date: 2014-02-27
Anticipated expiration: 2015-02-22

Description

入力装置、入力方法、プログラム、及び、電子看板

　本発明は、入力装置、入力方法、プログラム、及び、電子看板に関する。

　特許文献１にジェスチャを認識及び追跡し、ジェスチャに基づいた入力を受付ける方法が開示されている。特許文献１に開示の技術では、まず、イメージセンサによってジェスチャ画像を捕えた後、その中から移動した対象を検出し、次いで検出した対象を分析する。分析の結果、当該対象が移動したジェスチャに対応している場合、それに基づいてカーソルを制御する。また、当該対象が命令ジェスチャに対応している場合、それに関連した動作命令が出力される。

特開２０１０－１７０３００号公報

　特許文献１に記載されているようなジェスチャ認識方法およびそれを用いたジェスチャ認識装置では、高い水準のユーザエクスペリエンス（ユーザ体験）を満たすことが必要となる。具体的には、高い操作性と操作の正確性が求められる。

　また、当該技術が広く普及するためには、システムの価格を安価に抑えることが望まれる。システムの価格を抑える手段としては、汎用的なイメージセンサもしくは距離センサと、画像処理回路とを用いる手段等が考えられる。

　しかし、安価なイメージセンサもしくは距離センサと画像処理回路を用いた場合、低フレームレート・低解像度であることが原因で各フレームにおいて得られる画像の品質が低下しやすいため、ジェスチャ認識が正常に行われずに、誤認識による誤動作が発生しやすくなる。特に、動きによるジェスチャ認識のために身体・手指の位置を動かしたときには、フレームレートが低いことに起因する残像の発生により、形状を認識する精度が低下してしまう。また、解像度が低い場合、認識対象の認識に十分な解像度が得られず、形状を認識する精度が低下してしまう。このように、安価なイメージセンサや距離センサと画像処理回路を用いた場合には、認識の精度の低下により、誤認識による誤動作が発生しやすくなってしまうことが課題となる。特許文献１に記載の技術は、このような問題を解決可能に構成していない。

　そこで、本発明の目的は、誤認識の発生を抑制し、高い操作性と操作の正確性を実現したジェスチャによる入力技術を提供することにある。

　本発明によれば、
　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析手段と、
　前記解析手段が解析した解析結果を蓄積する解析結果蓄積手段と、
　第１の前記撮像フレームの解析結果と、前記解析結果蓄積手段に蓄積されている前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析手段が解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断手段と、
　前記有効判断手段が有効と判断した解析結果を記憶する有効解析結果記憶手段と、
　形状及び／又は位置に基づいて特定される前記認識対象の態様と、入力内容とを対応付けた対応情報を記憶する対応情報記憶手段と、
　前記有効解析結果記憶手段が記憶する解析結果を利用して前記認識対象の態様を特定するとともに、特定した態様に対応付けられている入力内容の入力を受付ける入力受付手段と、
を有する入力装置が提供される。

　また、本発明によれば、上記入力装置を備える電子看板が提供される。

　また、本発明によれば、
　コンピュータを、
　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析手段、
　前記解析手段が解析した解析結果を蓄積する解析結果蓄積手段、
　第１の前記撮像フレームの解析結果と、前記解析結果蓄積手段に蓄積されている前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析手段が解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断手段、
　前記有効判断手段が有効と判断した解析結果を記憶する有効解析結果記憶手段、
　形状及び／又は位置に基づいて特定される前記認識対象の態様と、入力内容とを対応付けた対応情報を記憶する対応情報記憶手段、
　前記有効解析結果記憶手段が記憶する解析結果を利用して前記認識対象の態様を特定するとともに、特定した態様に対応付けられている入力内容の入力を受付ける入力受付手段、
として機能させるためのプログラムが提供される。

　また、本発明によれば、
　コンピュータが、
　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析ステップと、
　前記解析ステップで解析した解析結果を蓄積する解析結果蓄積ステップと、
　第１の前記撮像フレームの解析結果と、前記解析結果蓄積ステップで蓄積された前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析ステップで解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断ステップと、
　前記有効判断ステップで有効と判断された解析結果を記憶する有効解析結果記憶ステップと、
　前記有効解析結果記憶ステップで記憶した解析結果を利用して形状及び／又は位置に基づいて特定される前記認識対象の態様を特定した後、前記認識対象の態様と入力内容とを対応付けた対応情報を参照し、特定した態様に対応付けられている入力内容の入力を受付ける入力受付ステップと、
を実行する入力方法が提供される。

　本発明によれば、誤認識の発生を抑制し、高い操作性と操作の正確性を実現したジェスチャによる入力技術が実現される。

　上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態の入力装置の機能ブロック図の一例である。本実施形態の処理の流れを示すフローチャートの一例である。本実施形態の処理の流れを示すフローチャートの一例である。本実施形態の処理を説明するための図である。本実施形態の処理の流れを示すフローチャートの一例である。本実施形態の処理を説明するための図である。本実施形態の処理の流れを示すフローチャートの一例である。本実施形態の処理を説明するための図である。

　以下、本発明の実施の形態について図面を用いて説明する。

　なお、本実施形態の装置は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム（あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェイスを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

　また、本実施形態の説明において利用する機能ブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。

＜第一の実施形態＞
　まず、本実施形態の概要について説明する。本実施形態では、撮像手段が撮像した時系列に連続する複数の撮像フレームを順に解析し、認識対象（例：人の手）を抽出すると、その認識対象の形状を特定する。そして、特定した形状に対応した入力を受付ける。

　なお、本実施形態では、複数の撮像フレーム各々を解析して特定した形状すべてに対応する入力を受付けるのでなく、撮像フレームを解析するごとにその撮像フレームの解析結果の有効性を判断し、有効と判断された撮像フレームの解析で特定された形状に対応する入力のみを受付ける。

　具体的には、ある撮像フレーム（第１の撮像フレーム）を解析して認識対象の形状を特定すると、第１の撮像フレームの直前の所定数の撮像フレームの認識結果（認識対象の形状）と比較する。そして、すべての認識結果と一致する場合、第１の撮像フレームの解析結果を有効と判断し、第１の撮像フレームを解析して特定した認識対象の形状に対応する入力を受付ける。一方、第１の撮像フレームを解析して特定した認識対象の形状が、第１の撮像フレームの直前の所定数の撮像フレームの認識結果（認識対象の形状）のいずれかと異なる場合、第１の撮像フレームの解析結果を無効と判断する。かかる場合、第１の撮像フレームを解析して特定した認識対象の形状に対応する入力を受付けず、次の撮像フレームの処理に進む。

　本実施形態は、このような処理により、解像度の不足、チャタリング等に起因した誤認識の発生を抑制し、高い操作性と操作の正確性を実現したジェスチャによる入力を実現している。以下、本実施形態の構成について詳細に説明する。

　図１に、本実施形態の入力装置１の機能ブロック図の一例を示す。図示するように、本実施形態の入力装置１は、解析部１０と、解析結果蓄積部２０と、有効判断部３０と、有効解析結果記憶部４０と、対応情報記憶部５０と、入力受付部６０と、撮像部７０とを有する。なお、入力装置１は撮像部７０を備えなくてもよい。かかる場合、撮像部７０を有する撮像装置と入力装置１とは、有線及び／又は無線で通信可能に構成され、撮像部７０が生成した撮像フレームが入力装置１の解析部１０に入力される。以下、各部について説明する。

　撮像部７０は、形状を認識できるように所定の認識対象（例：人の所定部分、人の手、人の全身、ロボットの所定部分、その他の形状が変化するオブジェクト等）を撮像可能であればその構成は特段制限されない。例えば、撮像部７０は、固定単眼カメラ（ＣＣＤカメラ）やそれに順ずるイメージセンサ、もしくは単眼または双眼のイメージセンサを用いた距離画像センサ、もしくはレーザを用いたTime of flight方式またはレーザパターン投影方式による距離画像センサ等を含んで構成することができる。なお、これらに限定されない。撮像部７０は、このようなカメラやセンサを用いて所定領域を連続的に撮像し、時系列に連続する複数の撮像フレームを生成する。そして、生成した撮像フレームを、解析部１０に入力する。

　解析部１０は、撮像部７０から時系列に連続する複数の撮像フレームを取得する。解析部１０は、撮像部７０が撮像フレームを生成すると、リアルタイムにそれを取得することができる。そして、解析部１０は、撮像フレーム毎に解析し、認識対象を抽出するとともに、抽出した認識対象の形状を特定する。

　例えば、解析部１０は認識対象の特徴量を示す特徴量情報を予め保持しておき、当該特徴量情報と、周知の画像認識手段を利用して、撮像フレーム内から認識対象を抽出することができる。その後、解析部１０は、抽出した認識対象の形状の特徴量を抽出する。そして、解析部１０は、認識対象がとり得る少なくとも１つの形状（例：認識対象が人の手である場合、パー、グー、チョキ、指をさす動作等）である特定形状各々の特徴量を示す特徴量情報を予め保持しておき、当該特徴量情報と、認識対象の形状から抽出した特徴量と、周知の画像認識手段とを利用して、認識対象の形状がいずれかの特定形状に所定の類似度（設計的事項）以上類似しているか否か、もしくは一致しているか否かを判断することで、認識対象の形状を特定することができる。

　当該例の場合、解析部１０は、撮像フレーム毎に、解析結果として、（１）抽出した認識対象の形状（特定形状）、又は、（２）解析結果なし、を出力する。なお、解析部１０は、撮像フレーム内から認識対象が抽出されなかった場合、及び、抽出した認識対象の形状がいずれの特定形状ともマッチングしなかった場合等に、（２）解析結果なしを出力する。

　なお、その他の例として、解析部１０は、認識対象がとり得る少なくとも１つの形状（例：認識対象が人の手である場合、パー、グー、チョキ、指をさす動作等）である特定形状各々の特徴量を示す特徴量情報を予め保持しておき、当該特徴量情報と、周知の画像認識手段とを利用して、撮像フレーム内から認識対象を抽出してもよい。かかる場合、認識対象の抽出と同時に、認識対象の形状（特定形状）を特定することができる。例えば、グーの特徴量を示す特徴量情報を利用して撮像フレーム内から人の手（認識対象）を抽出した場合、抽出した手の形状はグーと特定できる。

　当該例の場合、解析部１０は、撮像フレーム毎に、解析結果として、（１）抽出した認識対象の形状、又は、（２）解析結果なし、を出力する。なお、解析部１０は、認識対象が抽出されなかった場合等に、（２）解析結果なしを出力する。

　解析結果蓄積部２０は、解析部１０が解析した解析結果を蓄積する。解析結果蓄積部２０は、解析部１０の解析結果の有効性に関係なく解析結果を蓄積する。なお、解析結果蓄積部２０は、少なくとも、以下で説明する有効判断部３０の判断に利用される新しい方から所定数の撮像フレームの解析結果を蓄積していればよい。例えば、解析結果蓄積部２０は、新たな解析結果が蓄積された結果、蓄積している解析結果の数が所定数を超える場合、最も古い解析結果を消去することで、蓄積されている解析結果の数を所定数以下に保ってもよい。なお、解析結果蓄積部２０は、このように蓄積する解析結果の数を調整することなく、すべての解析結果を蓄積してもよい。

　有効判断部３０は、解析部１０が解析したある撮像フレーム（第１の撮像フレーム）の解析結果をリアルタイムに取得する。そして、有効判断部３０は、第１の撮像フレームの解析結果と、解析結果蓄積部２０に蓄積されている第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、解析部１０が解析した第１の撮像フレームの解析結果が有効か否か判断する。

　具体的には、有効判断部３０は、第１の撮像フレームで特定した解析結果（上記（１）又は（２）。（１）の場合は特定形状。）が、その直前の所定数の撮像フレームの解析結果と一致するか判断し、所定数の撮像フレームの解析結果すべてと一致する場合、第１の撮像フレームの解析結果が有効と判断する。なお、第１の撮像フレームで特定した解析結果が上記（１）である場合、第１の撮像フレームで特定した認識対象の形状（特定形状）が、その直前の所定数の撮像フレームで特定した認識対象の形状（特定形状）のすべてと一致する場合、第１の撮像フレームの解析結果が有効と判断する。一方、有効判断部３０は、第１の撮像フレームで特定した解析結果（上記（１）又は（２））が、その直前の所定数の撮像フレームの解析結果のいずれかと異なる場合、第１の撮像フレームの解析結果を無効と判断する。

　当該判断に利用される第１の撮像フレームの直前の所定数の撮像フレームの数は、撮像フレーム間のタイムラグや、認識対象の形状の誤認識の要因となり得る不具合が複数の撮像フレームに跨って連続的に現れ得る回数（フレーム数）等に基づいて設定することができる。例えば、大体３～５つの撮像フレームに跨って連続的に現れる不具合による誤認識の発生を抑制したい場合、当該判断に利用する第１の撮像フレームの直前の撮像フレームの数を５と設定することができる。このようにすれば、６つ以上の撮像フレームに跨って連続的に得られた解析結果が有効と判断され、連続する数がそれより少ない解析結果は無効と判断される。すなわち、３～５つのみの撮像フレームに跨って連続的に現れた不具合を反映した解析結果を無効と判断することが可能となる。

　有効解析結果記憶部４０は、有効判断部３０が有効と判断した解析結果を記憶する。上述した解析結果蓄積部２０は、有効性に関係なく、解析部１０が解析した解析結果を蓄積するが、有効解析結果記憶部４０は、有効判断部３０が有効と判断した解析結果を記憶する点で、これらの記憶部は相違する。

　有効解析結果記憶部４０は、有効判断部３０が有効と判断した解析結果の内、最新のもの１つのみを記憶し、新たな有効な解析結果が得られるごとに更新していってもよいし、新しい方から所定数（複数）のもののみを記憶し、新たな有効な解析結果が得られることで記憶している解析結果の数が所定数を超える場合は古い方から順に削除していってもよいし、または、有効判断部３０が有効と判断したすべての解析結果を記憶してもよい。

　対応情報記憶部５０は、形状に基づいて特定される認識対象の態様と、入力内容とを対応付けた対応情報を記憶する。認識対象の態様は、例えば、認識対象の形状そのもの、または、認識対象の形状の変化等である。認識対象の形状は、１つの撮像フレームで特定することができる。認識対象の形状の変化は、連続する複数の撮像フレームで特定することができる。例えば、認識対象が人の手である場合、認識対象の形状（態様）は、パー、グー、チョキ、指をさす動作等である。また、認識対象の形状の変化（態様）は、パーからグーに変化、パーからチョキに変化等である。

　対応情報は、少なくとも１つのこのような認識対象の態様各々に、所定の入力内容を対応付けた情報である。入力内容は特段制限されず、例えば、本実施形態の入力装置を電子看板（デジタルサイネージ）に適用する場合、「認識対象の態様：手の形がパー」－「入力内容：電子看板内のカーソルを移動させるための入力」、「認識対象の態様：手の形がグー」－「入力内容：電子看板内のカーソルで選択したオブジェクトを決定するための入力」等であってもよい。なお、この例示はあくまで一例であり、これに限定されない。

　入力受付部６０は、有効解析結果記憶部４０が記憶する最新の解析結果、または、新しいほうから所定数の解析結果を利用して認識対象の態様を特定する。例えば、入力受付部６０は、有効解析結果記憶部４０が記憶する最新の解析結果を利用して、認識対象の形状（態様）を特定する。または、有効解析結果記憶部４０が記憶する新しい方から所定数の解析結果を利用して、認識対象の形状の変化（態様）を特定する。

　認識対象の態様を特定後、入力受付部６０は、対応情報記憶部５０が記憶する対応情報を参照して、特定した認識対象の態様に対応付けられている入力内容を抽出し、抽出した入力内容の入力を受付ける。なお、入力受付部６０は、有効解析結果記憶部４０に新たな解析結果が記憶される毎に、上述のような処理を実行することができる。

　次に、図２を用いて、本実施形態の処理の流れの一例について説明する。なお、当該例における認識対象は人（操作者）の手である。図２は、本実施形態の入力方法を用いて操作者のジェスチャに基づき所定の情報を入力するためのステップを示すフローチャートである。当該入力に従い、例えばコンピュータやマシンが動作することとなる。すなわち、操作者のジェスチャにより、例えばコンピュータやマシンが操作される。

　図２のフローチャートは、１つの撮像フレームに対する処理の流れを示しており、
Ｓ２０１画像撮影・取り込み処理、
Ｓ２０２前処理（背景処理・ノイズ処理）、
Ｓ２０３認識対象の形状によるジェスチャ認識処理、
Ｓ２０４後処理（認識有効性判定処理）、
Ｓ２０５ジェスチャ操作実行処理、
を含む。

　Ｓ２０１では、解析部１０が撮像部７０より撮像フレームを取得する。

　Ｓ２０２では、解析部１０が、Ｓ２０１で取り込んだ撮像フレームを、デジタル信号プロセッサ（ＤＳＰ）または中央演算ユニット（ＣＰＵ）によって処理する。

　Ｓ２０１で得られた１フレーム分の画像には、人の身体以外の画像情報を含み得る。人の身体以外の画像情報を含んだままであると、画像処理の実行効率が悪化し、処理に時間がかかる可能性がある。また、Ｓ２０１で得られた画像には、多くのノイズが含まれている可能性があるので、そのまま形状によるジェスチャ認識に用いると誤認識率が増加する恐れがある。それゆえに、取り込まれた画像は、分析される前に前処理されるのが好ましい。

　Ｓ２０２では、最初に、操作者が映っているレイヤーと背景レイヤーとを背景分離処理により分離させ、操作者が映った１フレーム分の画像を取り出す。その後、画像に発生しやすい斑点状のノイズは、ローパスフィルタ、メディアンフィルタ、移動平均フィルタのうち少なくとも１つ以上のフィルタを適用して除去する。この前処理により得られた操作者が映った１フレーム分の画像を用いて、以降の処理を行う。このようにすることで、以降の処理における検出および認識の精度を向上させることができる。

　Ｓ２０３では、解析部１０が、Ｓ２０２で得られた操作者が映った１フレーム分の画像を、デジタル信号プロセッサ（ＤＳＰ）または中央演算ユニット（ＣＰＵ）によって処理する。

　具体的には、操作者が映った画像から特徴を抽出して認識対象となる手の画像とみなせる部分を、画像の中から抽出する。その後、抽出した手の画像の特徴と、あらかじめ登録されている手（認識対象）がとり得る少なくとも１つの形状（例：パー、グー、チョキ、指をさす動作等）である特定形状各々の特徴量を示す特徴量情報と、周知の画像認識手段とを利用して、抽出した手の形状が特定形状であるか否かを判断することで、手の形状（特定形状）を特定する。結果、当該撮像フレームに対する解析結果として、（１）抽出した認識対象の形状（特定形状）、又は、（２）解析結果なし、が得られる。なお、撮像フレーム内から認識対象が抽出されなかった場合、及び、抽出した認識対象の形状がいずれの特定形状ともマッチングしなかった場合の解析結果が、（２）解析結果なしとなる。

　次にＳ２０４の後処理が行われる。ここで、Ｓ２０４で行われる後処理の流れの一例を、図３のフローチャートを用いて説明する。当該処理は、デジタル信号プロセッサ（ＤＳＰ）または中央演算ユニット（ＣＰＵ）によって処理される。なお、当該例においては、解析結果蓄積部２０には最新のＮフレーム分の解析結果が蓄積され、それを超える解析結果は蓄積されないものとする。また、有効解析結果記憶部４０には最新の１つの有効な解析結果が記憶されるものとする。

　Ｓ３１１では、最初の実行か否かを判断する。当該撮像フレームに対する処理の前に他の撮像フレームに対して処理を行っている場合、ＮＯと判断し、行っていない場合はＹＥＳと判断する。

　Ｓ３１１でＹＥＳと判定された場合、Ｓ３１２において、Ｎフレーム分（Ｎは設計的事項）の解析結果を記憶する記憶装置（解析結果蓄積部２０）と、有効と判断された解析結果を格納する記憶装置（有効解析結果記憶部４０：メモリ）を確保して、初期化を行う。この時、Ｎフレーム分の解析結果を記憶する記憶装置（解析結果蓄積部２０）には、初期値として、（２）解析結果なし、を記憶しておいてもよい。Ｓ３１１においてＮＯと判定された場合には、Ｓ３１２の処理は行われない。

　Ｓ３１３では、図２に示すＳ２０３で得られた解析結果が、解析結果蓄積部２０に蓄積される。なお、解析結果蓄積部２０に蓄積する解析結果をＮ以下に保つため、解析結果蓄積部２０に新たな解析結果を記憶した結果蓄積されている解析結果の数がＮを超える場合、最も古い解析結果を解析結果蓄積部２０から削除する（又は、最も古い解析結果に最新の解析結果を上書きする）。

　Ｓ３１４では、有効判断部３０が、解析結果蓄積部２０に蓄積されている解析結果が全て同じかどうかを判定する。なお、最初からＮフレーム分の処理を行うまでは、解析結果蓄積部２０に初期値（（２）解析結果なし）が格納されており、これらも解析結果の有効性の判断に利用することができる。

　Ｓ３１４において同じと判断された場合、Ｓ３１５において最新の解析結果を有効と判断し、最新の解析結果を有効解析結果記憶部４０に記憶する。なお、有効解析結果記憶部４０に他の解析結果が記憶されている場合、この他の解析結果を最新の解析結果に書き換える。そして、Ｓ２０４の後処理を終了する。

　一方、Ｓ３１４においていずれかが異なると判断された場合、Ｓ３１６において最新の解析結果を無効と判断し、有効解析結果記憶部４０に格納されている解析結果を更新することなく、Ｓ２０４の後処理を終了する。

　図２に戻り、Ｓ２０５では、入力受付部６０が、有効解析結果記憶部４０に記憶されている最新の有効な解析結果を認識するとともに、その解析結果を利用して認識対象の態様を特定する。その後、対応情報記憶部５０に記憶されている対応情報を利用して、特定した認識対象の態様に対応付けられた入力内容を抽出するとともに、その入力内容を受付ける。

　なお、Ｓ２０５の処理は、Ｓ２０４で、有効解析結果記憶部４０に記憶されている最新の有効な解析結果が更新された場合のみ実行してもよい。これらは、デジタル信号プロセッサ（ＤＳＰ）または中央演算ユニット（ＣＰＵ）によって処理される。

　以上により、１つの撮像フレームに対する処理を終了する。その後、再びＳ２０１に戻り、同様の処理を繰り返す。

　ここで、図４を用い、具体例を挙げて本実施形態の処理を説明する。図４の（ａ）は本実施形態の後処理がない場合（比較例）であり、（ｂ）は本実施形態の後処理がある場合（実施例）である。

　横軸に時間軸をとっている。認識対象は手であり、最初グーの形状とし、その後形状をパーに変化させた。解析結果の欄に、解析結果を示している。Ａは、解析結果が「グー」であり、Ｂは、解析結果が「パー」を示す。縦一列分が１フレーム分に対応している。実施例及び比較例いずれも、手の形状がグーの時は正しい解析結果が得られているが、手の形状がパーの時に２フレーム分誤った解析結果が得られている。すなわち、手の形状がパーであるのに、解析結果が「Ａ」となっている箇所がある。このような誤認識は、手の角度がわずかに変わったとき、センサの不具合などで正確な判定が出来ないとき、手を動かしながら操作をしたとき、などに起こりえる誤認識である。

　後処理を含まない比較例の場合、解析結果がそのまま、入力内容を決定するための値（認識結果出力）となる。図示するように、比較例の場合、解析結果の欄の値と、認識結果出力欄の値が、いずれの撮像フレームにおいても一致している。

　かかる場合、手の形状がパーの時に発生した２フレーム分の誤った解析結果をそのまま反映して、入力内容を受付けてしまう。結果、本来ならば、グーに対応する入力を受付け、その後、パーに対応する入力を受付ける所、比較例の場合、グーに対応する入力結果を受付けた後、パーに対応する入力を受付け、その後、グーに対応する入力を受付け、さらに、パーに対応する入力を受付けるというように、余計な入力を受付けてしまう。

　これに対し、後処理を含む実施例の場合、解析結果がそのまま入力内容を決定するための値とはならず、後処理を受けた後の値が、入力内容を決定するための値（後処理後の出力：有効解析結果記憶部４０に記憶される値）となる。

　なお、当該例においては、過去２フレーム分の解析結果を利用して、最新のフレームの解析結果の有効性を判断する。具体的には、過去２フレーム分の解析結果、及び、最新の撮像フレームの解析結果のすべてが一致する場合、その最新の撮像フレームの解析結果を有効とする。一方、過去２フレーム分の解析結果、及び、最新の撮像フレームの解析結果が完全に一致しない場合、その最新の撮像フレームの解析結果を無効とする。

　図示するように、手の形状がグーの時、最初の撮像フレームから解析結果Ａが得られているが、最初から２つ目の撮像フレームまでの解析結果は、過去２フレーム分の解析結果と一致しないため（初期値である（２）解析結果なし（図中の「－」）を含むため）、これらの撮像フレームに対する解析結果は無効と判断される（有効性の欄の値がバツ）。このため、これらの解析結果は後処理後の出力の値（有効解析結果記憶部４０に記憶される値）とならず、後処理後の出力の値は初期値（図中の「－」）のままである。しかし、最初から３つ目の撮像フレームの解析結果は、過去２フレーム分の解析結果と一致するため、有効と判断される（有効性の欄の値がマル）。このため、後処理後の出力の値（有効解析結果記憶部４０に記憶される値）は、３つ目の撮像フレームの解析結果の値となる。その他の撮像フレームに対しても同様の処理がなされる。

　ところで、手の形状がパーの時に発生した誤った解析結果は、２フレーム分のみ連続している。上述の通り、当該実施例では、過去２フレーム分の解析結果、及び、最新の撮像フレームの解析結果のすべてが一致する場合、すなわち、同じ解析結果が３フレーム連続した場合に、その最新の撮像フレームの解析結果を有効と判断するので、２フレーム分のみしか連続していない上記誤った解析結果は無効と判断される。このため、このような誤った解析結果により、後処理後の出力の値（有効解析結果記憶部４０に記憶される値）が更新されることはない。結果、このような誤った解析結果に基づく入力を排除することができる。

　以上説明したように、本実施形態によれば、後処理後の出力の値（有効解析結果記憶部４０に記憶される値）にヒステリシスを持たせることができるため、誤った認識結果を排除し、入力内容を安定させることが可能となる。認識対象の解像度の不足、認識エンジンの不調などの原因により、形状によるジェスチャ認識にチャタリングが発生して不安定になるような場合に効果がある。

　なお、ここまでは、認識対象の形状を特定し、当該形状から特定される認識対象の態様に対応した入力を受付ける例を説明したが、本実施形態は、さらに認識対象の位置を特定し、認識対象の形状及び一の少なくとも一方から特定される認識対象の態様に対応した入力を受付けることもできる。その詳細は、以下の実施形態の説明で明らかになる。

＜第二の実施形態＞
　本実施形態では、撮像フレームを解析し、認識対象（例：人の手）を抽出すると、その認識対象の位置を解析結果として特定する。そして、その解析結果（認識対象の位置）と、その撮像フレームの直前の所定数の撮像フレームにおける解析結果を利用して、その撮像フレームに対する解析結果の有効性を判断する。具体的には、認識対象の移動量を算出し、移動量が所定の閾値より大きい場合には、その撮像フレームに対する解析結果を無効とする。

　移動量が大きい場合、撮像時（撮像の瞬間）に認識対象は高速で移動していたと考えられる。フレームレートが低い場合、高速で移動した部分に残像が発生し、当該部分の形状を明瞭に撮像できない場合がある。かかる場合、認識対象の形状を誤って認識してしまう恐れがある。例えば、パーの形状の手（認識対象）が高速で移動している際に撮像すると、指の部分が手（認識対象）の一部として認識されず、認識対象の形状をグーと誤って認識してしまう恐れがある。

　本実施形態では、認識対象の移動量が大きい場合は撮像時に認識対象が高速で移動していた場合であるので、そのような時に撮像された撮像フレームに対する解析結果を一律に無効とする。これにより、誤認識の発生を抑制し、高い操作性と操作の正確性を実現したジェスチャによる入力技術を実現している。

　以下、第一の実施形態と相違する点を説明し、共通部分の説明は省略する。

　本実施形態の入力装置１の機能ブロック図の一例は、第一の実施形態同様、図１で示される。

　解析部１０は、第一の実施形態で説明した構成に加え、さらに、撮像部７０から取得した撮像フレームを解析すると、抽出した認識対象の位置を特定する。認識対象の位置は、任意に原点、それぞれ互いに直交するＸ軸、Ｙ軸及びＺ軸が定められた３次元座標（実空間に定められてもよい）で特定されてもよい。その手段は特段制限されず、例えば、距離画像センサを含んで構成される撮像部７０から取得した距離画像の撮像フレームを利用して３次元情報を算出することで実現してもよい。なお、解析部１０は、認識対象の中心の位置を当該認識対象の位置として算出してもよいし、その他の所定の箇所の位置を当該認識対象の位置として算出してもよい。

　有効判断部３０は、解析部１０が解析したある撮像フレーム（第１の撮像フレーム）の解析結果をリアルタイムに取得する。そして、有効判断部３０は、第１の撮像フレームの解析結果と、解析結果蓄積部２０に蓄積されている第１の撮像フレームの直前の所定数（１又は２以上）の撮像フレームの解析結果とを利用して、解析部１０が解析した第１の撮像フレームの解析結果が有効か否か判断する。

　具体的には、有効判断部３０は、第１の撮像フレームで特定した認識対象の位置と、その直前の所定数の撮像フレームで特定した認識対象の位置とを利用して第１の撮像フレームで特定した認識対象の移動量を算出し、移動量が所定の閾値以下または所定の閾値より小さい場合、第１の撮像フレームの解析結果が有効と判断する。

　一例として、有効判断部３０は、第１の撮像フレームの直前の所定数（当該例の場合、２以上）の撮像フレームで特定した複数の認識対象の位置を利用し、例えばＸ座標、Ｙ座標、Ｚ座標ごとに平均値を算出する。その後、第１の撮像フレームで特定した認識対象の位置と、上記平均値を算出する処理により算出された位置とを利用して認識対象の移動量を算出する。そして、算出した移動量が所定の閾値以下または所定の閾値より小さい場合、第１の撮像フレームの解析結果が有効と判断してもよい。

　他の例として、第１の撮像フレームで特定した認識対象の位置と、その直前の所定数の撮像フレームで特定した認識対象の位置各々が位置ベクトルとして管理されており、有効判断部３０は、それらの位置ベクトルの差分の絶対値を利用して、第１の撮像フレームで特定した認識対象の移動量を算出する。そして、算出した移動量が所定の閾値以下または所定の閾値より小さい場合、第１の撮像フレームの解析結果が有効と判断してもよい。

　他の例として、有効判断部３０は、第１の撮像フレームで特定した認識対象の位置と、その直前の所定数（当該例の場合、２以上）の撮像フレームで特定した認識対象の位置各々とを利用して、第１の撮像フレームで特定した認識対象の移動量を複数算出後、その平均値を算出する。そして、平均した移動量が、所定の閾値以下または所定の閾値より小さい場合、第１の撮像フレームの解析結果が有効と判断してもよい。

　その他の例として、予め、直前の所定数（当該例の場合、２以上）の撮像フレームに重み付けをしておく。より新しい撮像フレームにより大きい重み付けを行う。すなわち、第１の撮像フレームの直前（１つ前）の撮像フレームの重み付け値が最も大きく、第１の撮像フレームの２つ前の撮像フレームの重み付け値が次に大きくといった具合である。そして、有効判断部３０は、第１の撮像フレームで特定した認識対象の位置と、その直前の所定数の撮像フレームで特定した認識対象の位置各々とを利用して、第１の撮像フレームで特定した認識対象の移動量を複数算出後、上記重み付け値を利用して、各移動量を補正（重み付け値をかけ合わせる、重み付け値を足し合わせる等）する。そして、補正後の値の平均値を算出し、平均した移動量が、所定の閾値以下または所定の閾値より小さい場合、第１の撮像フレームの解析結果が有効と判断してもよい。

　一方、有効判断部３０は、上記移動量又は平均した移動量が所定の閾値より大きいまたは所定閾値以上の場合、及び、第１の撮像フレームの解析結果とその直前の所定数の撮像フレームの解析結果の中に（２）解析結果なしが含まれる場合、第１の撮像フレームの解析結果を無効と判断してもよい。

　対応情報記憶部５０が記憶する対応情報の中には、第一の実施形態で説明したものに加えて又は代えて、位置に基づいて特定される認識対象の態様と、入力内容とを対応付けた対応情報が記憶されてもよい。位置に基づいて特定される認識対象の態様は、例えば、認識対象の位置そのもの、又は、認識対象の移動軌跡（移動方向、移動量等）等である。認識対象の位置は、１つの撮像フレームで特定することができる。認識対象の移動軌跡は、連続する複数の撮像フレームで特定することができる。又、認識対象の位置及び形状に基づいて特定される認識対象の態様は、認識対象の位置に基づいて特定される認識対象の態様、及び、認識対象の形状に基づいて特定される認識対象の態様を組み合わせたものとすることができる。例えば、認識対象が人の手である場合、パーの状態で上方向に移動等である。

　Ｓ２０１及びＳ２０２は第一の実施形態と同様であるので、ここでの説明は省略する。

　具体的には、操作者が映った画像から特徴を抽出して認識対象となる手の画像とみなせる部分を、画像の中から抽出し、その後、抽出した手の位置を算出する。結果、当該撮像フレームに対する解析結果として、（１）抽出した認識対象の位置、又は、（２）解析結果なし、が得られる。なお、撮像フレーム内から認識対象が抽出されなかった場合の解析結果が、（２）解析結果なしとなる。解析結果には、認識対象の形状（特定形状）が含まれてもよい。

　次にＳ２０４の後処理が行われる。ここで、Ｓ２０４で行われる後処理の流れの一例を、図５のフローチャートを用いて説明する。当該処理は、デジタル信号プロセッサ（ＤＳＰ）または中央演算ユニット（ＣＰＵ）によって処理される。なお、当該例においては、解析結果蓄積部２０には最新のＮフレーム分の解析結果が蓄積され、それを超える解析結果は蓄積されないものとする。また、有効解析結果記憶部４０には最新の１つの有効な解析結果が記憶されるものとする。

　Ｓ５１１では、最初の実行か否かを判断する。当該撮像フレームに対する処理の前に他の撮像フレームに対して処理を行っている場合、ＮＯと判断し、行っていない場合はＹＥＳと判断する。

　Ｓ５１１でＹＥＳと判定された場合、Ｓ５１２において、Ｎフレーム分（Ｎは設計的事項）の解析結果を記憶する記憶装置（解析結果蓄積部２０）と、有効と判断された解析結果を格納する記憶装置（有効解析結果記憶部４０：メモリ）を確保して、初期化を行う。この時、Ｎフレーム分の解析結果を記憶する記憶装置（解析結果蓄積部２０）には、初期値として、（２）解析結果なし、を記憶しておいてもよい。Ｓ５１１においてＮＯと判定された場合には、Ｓ５１２の処理は行われない。

　Ｓ５１３では、図２に示すＳ２０３で得られた解析結果が、解析結果蓄積部２０に蓄積される。なお、解析結果蓄積部２０に蓄積する解析結果をＮ以下に保つため、解析結果蓄積部２０に新たな解析結果を記憶した結果蓄積されている解析結果の数がＮを超える場合、最も古い解析結果を解析結果蓄積部２０から削除する（又は、最も古い解析結果に最新の解析結果を上書きする）。

　Ｓ５１４では、有効判断部３０は、最新の解析結果と、他のＮ－１個の解析結果とを利用して、最新の解析結果の移動量（位置変化量）を算出し、移動量（位置変化量）が所定の閾値以下または所定の閾値より小さいか判断する。有効判断部３０が最新の解析結果の移動量（位置変化量）を算出する処理は上述しているので、ここでは省略する。なお、他のＮ－１個の解析結果の中に（２）解析結果なしが含まれる場合、有効判断部３０は移動量（位置変化量）を算出する処理を行わなくてもよいし、または、他のＮ－１個の解析結果の中に含まれている認識結果（（１）抽出した認識対象の位置）のみを利用して最新の解析結果の移動量（位置変化量）を算出する処理を行ってもよい。ここでは、他のＮ－１個の解析結果の中に（２）解析結果なしが含まれる場合、有効判断部３０は移動量（位置変化量）を算出する処理を行わないものとする。これにより処理の簡略化、高速化が可能となる。

　Ｓ５１４において、所定の閾値以下または所定の閾値より小さい移動量（位置変化量）が算出された場合、Ｓ５１５において最新の解析結果を有効と判断し、最新の解析結果を有効解析結果記憶部４０に記憶する。なお、有効解析結果記憶部４０に他の解析結果が記憶されている場合、この他の解析結果を最新の解析結果に書き換える。そして、Ｓ２０４の後処理を終了する。

　一方、Ｓ５１４において、所定の閾値以下または所定の閾値より小さい移動量（位置変化量）が算出されなかった場合、Ｓ５１６において最新の解析結果を無効と判断し、有効解析結果記憶部４０に格納されている解析結果を更新することなく、Ｓ２０４の後処理を終了する。

　ここで、本実施形態におけるＮの値は２であってもよい。この場合、Ｓ５１４では、現在の認識対象の位置情報と、直近の過去１フレームの認識対象の位置情報とを単純に比較することで、有効性の判断を行うことができる。この結果、最少の記憶装置（メモリ）確保で位置変化量を算出し、Ｓ５１４の有効性の判定を行うことが可能となる。

　なお、Ｎの値を３以上とすることもできる。かかる場合、上述のように、過去の撮像フレームの位置情報に関して突発的なずれなどのノイズが含まれていた場合でも、平均化された過去の比較対象位置情報が得られるため、よりノイズに強く、正確な位置変化量比較を行うことが可能となる。

　また、Ｓ５１４において、有効判断部３０は、直近の過去のＮ－１フレーム分の撮像フレームに重み付けをしておき、最新の撮像フレームで特定した認識対象の位置と、その直前のＮ－１個の撮像フレームで特定した認識対象の位置各々とを利用して、最新の撮像フレームで特定した認識対象の移動量を算出後、上記重み付け値を利用して、各移動量を補正してもよい。そして、補正後の値の平均値を算出し、当該平均値が、所定の閾値以下または所定の閾値より小さい場合、第１の撮像フレームの解析結果が有効と判断してもよい。かかる場合には、複数フレームにわたる認識対象の位置情報の変化後に位置が停止した場合、単純に平均値をとった場合と比べると、重みづけを利用した算出処理の方が、少ないフレーム数で停止した位置に近づく。そのため、誤認識が多い位置変化が終了した後に、少ないフレーム数で現在の位置変化量が小さくなるため、移動が終了した後に認識結果を素早く反映させることが可能となる。

　ここで、図６を用い、具体例を挙げて本実施形態の処理を説明する。図６の（ａ）は本実施形態の後処理がない場合（比較例）であり、（ｂ）は本実施形態の後処理がある場合（実施例）である。

　横軸に時間軸をとっている。認識対象は手であり、最初グーの形状とし、その後形状をパーに変化させた。解析結果の欄に、解析結果を示している。Ａは、解析結果が「グー」であり、Ｂは、解析結果が「パー」を示す。縦一列分が１フレーム分に対応している。実施例及び比較例いずれも、手の形状がグーの時は正しい解析結果が得られているが、手の形状がパーの時に２フレーム分誤った解析結果が得られている。すなわち、手の形状がパーであるのに、解析結果が「Ａ」となっている箇所がある。このような誤りが発生する原因としては、例えば、高速に手を動かしたために指の部分がセンサで検出されず、グーのように誤って認識される場合が考えられる。

　なお、当該例においては、有効判断部３０は、過去の２フレーム分の解析結果を利用して、Ｘ座標、Ｙ座標、Ｚ座標ごとに平均値を算出後、最新の撮像フレームで特定した認識対象の位置と、上記平均値を算出する処理により算出された位置とを利用して認識対象の移動量を算出する。そして、算出した移動量が所定の閾値（２０）以下である場合、第１の撮像フレームの解析結果が有効と判断する。一方、有効判断部３０は、上記移動量が所定の閾値（２０）より大きい、及び、最新の撮像フレームの解析結果とその直前の２つの撮像フレームの解析結果の中に（２）解析結果なしが含まれる場合、最新の撮像フレームの解析結果を無効と判断する。

　図示するように、手の形状がグーの時、最初の撮像フレームから解析結果Ａが得られているが、最初から２つ目の撮像フレームまでの解析結果は、その直前の２つの撮像フレームの解析結果の中に（２）解析結果なしが含まれるため、これらの撮像フレームに対する解析結果は無効と判断される（有効性の欄の値がバツ）。このため、これらの解析結果は後処理後の出力の値（有効解析結果記憶部４０に記憶される値）とならず、後処理後の出力の値は初期値のままである。

　最初から３つ目の撮像フレームの解析結果の有効性の判断においては、まず、その直前の２つの撮像フレームの解析結果を利用して、Ｘ座標の平均値：２９＝（３０＋２８）／２、Ｙ座標の平均値：１９＝（２０＋１８）／２、Ｚ座標の平均値：７８．５＝（７８＋７９）／２を算出する。そして、平均した座標（２９、１９、７８．５）と、３つ目の撮像フレームの解析結果の座標（３１、２１、８２）を利用して、移動量を算出する。そして、この移動量が所定の閾値（２０）以下であるので、３つ目の撮像フレームの解析結果を有効と判断する。このため、後処理後の出力の値（有効解析結果記憶部４０に記憶される値）は、３つ目の撮像フレームの解析結果の値となる。その他の撮像フレームに対しても同様の処理がなされる。

　ところで、手の形状がパーの時に発生した誤った解析結果は、上述のようにして算出される移動量が所定の閾値（２０）を超える。すなわち、撮像の際に高速（上述のようにして算出される移動量が所定の閾値（２０）を超える程度の速さ）で移動していたと考えられる。当該例では、このような撮像フレームに対する解析結果は無効と判断される。このため、このような撮像フレームに対する解析結果により、後処理後の出力の値（有効解析結果記憶部４０に記憶される値）が更新されることはない。結果、誤った解析結果に基づく入力を排除することができる。

　なお、本実施形態では、Ｘ軸方向への移動、Ｙ軸方向への移動、Ｚ軸方向への移動各々個別に所定の閾値を設け、すべての方向への移動が各々の所定の閾値以下または所定の閾値より小さい場合、その撮像フレームの解析結果が有効と判断してもよい。例えば、Ｘ軸方向と指の幅方向とが一致し易い態様で使用される場合、手を高速にＸ軸方向に動かしたときに幅の狭い指の部分がセンサで検出されず、パーが誤ってグーとして解析される、という事例が発生し易くなる。これに対し、手を高速にＹ軸方向及びＺ軸方向に動かしても、このような不都合は生じ難い。このような場合、例えば、Ｘ軸方向への移動の閾値は（１０）、Ｙ軸方向及びＺ軸方向への移動の閾値は（２０）などのように、誤検出が発生し易い方向への移動にのみ厳しい閾値を設定することで、更に誤った解析結果に基づく入力を排除することができる。

＜第三の実施形態＞
　本実施形態では、第一の実施形態で説明した解析結果の有効性を判断する処理と、第二の実施形態で説明した解析結果の有効性を判断する処理とを組み合わせる。その他は、第一の実施形態及び第二の実施形態と同様である。

　本実施形態における１つの撮像フレームに対する処理の流れも、図２に示すフローチャートで示される。Ｓ２０４後処理以外は、第一の実施形態及び第二の実施形態で説明した通りであるので、ここでの説明は省略する。

　図７に示すフローチャートは、図２のＳ２０４で行われる処理の流れの一例を示す。当該処理は、デジタル信号プロセッサ（ＤＳＰ）または中央演算ユニット（ＣＰＵ）によって処理される。なお、当該例においては、解析結果蓄積部２０には最新のＮフレーム分の解析結果が蓄積され、それを超える解析結果は蓄積されないものとする。また、有効解析結果記憶部４０には最新の１つの有効な解析結果が記憶されるものとする。

　Ｓ７１１では、最初の実行か否かを判断する。当該撮像フレームに対する処理の前に他の撮像フレームに対して処理を行っている場合、ＮＯと判断し、行っていない場合はＹＥＳと判断する。

　Ｓ７１１でＹＥＳと判定された場合、Ｓ７１２において、Ｎフレーム分（Ｎは設計的事項）の解析結果を記憶する記憶装置（解析結果蓄積部２０）と、有効と判断された解析結果を格納する記憶装置（有効解析結果記憶部４０：メモリ）を確保して、初期化を行う。この時、Ｎフレーム分の解析結果を記憶する記憶装置（解析結果蓄積部２０）には、初期値として、（２）解析結果なし、を記憶しておいてもよい。Ｓ７１１においてＮＯと判定された場合には、Ｓ７１２の処理は行われない。

　Ｓ７１３では、図２に示すＳ２０３で得られた解析結果が、解析結果蓄積部２０に蓄積される。なお、解析結果蓄積部２０に蓄積する解析結果をＮ以下に保つため、解析結果蓄積部２０に新たな解析結果を記憶した結果蓄積されている解析結果の数がＮを超える場合、最も古い解析結果を解析結果蓄積部２０から削除する（又は、最も古い解析結果に最新の解析結果を上書きする）。

　Ｓ７１４では、有効判断部３０が、解析結果蓄積部２０に蓄積されている解析結果が全て同じかどうかを判定する。なお、最初からＮフレーム分の処理を行うまでは、解析結果蓄積部２０に初期値（（２）解析結果なし）が格納されており、これらも解析結果の有効性の判断に利用される。

　Ｓ７１４において同じと判断された場合、Ｓ７１５に進む。一方、Ｓ７１４においていずれかが異なると判断された場合、Ｓ７１７において最新の解析結果を無効と判断し、有効解析結果記憶部４０に格納されている解析結果を更新することなく、Ｓ２０４の後処理を終了する。

　Ｓ７１５では、有効判断部３０は、最新の解析結果と、他のＮ－１個の解析結果とを利用して、最新の解析結果の移動量（位置変化量）を算出し、移動量（位置変化量）が所定の閾値以下または所定の閾値より小さいか判断する。有効判断部３０が最新の解析結果の移動量（位置変化量）を算出する処理は第二の実施形態で説明しているので、ここでは省略する。

　Ｓ７１５において、所定の閾値以下または所定の閾値より小さい移動量（位置変化量）が算出された場合、Ｓ７１６において最新の解析結果を有効と判断し、最新の解析結果を有効解析結果記憶部４０に記憶する。なお、有効解析結果記憶部４０に他の解析結果が記憶されている場合、この他の解析結果を最新の解析結果に書き換える。そして、Ｓ２０４の後処理を終了する。

　一方、Ｓ７１５において、所定の閾値以下または所定の閾値より小さい移動量（位置変化量）が算出されなかった場合、Ｓ７１７において最新の解析結果を無効と判断し、有効解析結果記憶部４０に格納されている解析結果を更新することなく、Ｓ２０４の後処理を終了する。

　ここで、図８を用い、具体例を挙げて本実施形態の処理を説明する。図８の（ａ）は本実施形態の後処理がない場合（比較例）であり、（ｂ）は第一の実施形態の後処理がある場合（実施例Ａ）であり、（ｃ）は本実施形態の後処理がある場合（実施例Ｂ）である。

　横軸に時間軸をとっている。認識対象は手であり、最初グーの形状とし、その後形状をパーに変化させた。解析結果の欄に、解析結果を示している。Ａは、解析結果が「グー」であり、Ｂは、解析結果が「パー」を示す。縦一列分が１フレーム分に対応している。実施例Ａ、Ｂ及び比較例いずれも、手の形状がグーの時は正しい解析結果が得られているが、手の形状がパーの時に３フレーム分連続した誤った解析結果（第１のミス）、及び、１フレーム分のみ（連続していない）の誤った解析結果（第２のミス）が得られている。すなわち、手の形状がパーであるのに、解析結果が「Ａ」となっている箇所がある。

　かかる場合、手の形状がパーの時に発生した３フレーム分連続した誤った解析結果（第１のミス）、及び、１フレーム分のみの誤った解析結果（第２のミス）いずれもそのまま反映して、入力内容を受付けてしまう。すなわち、誤った入力内容を受付けてしまう。

　これに対し、第一の実施形態で説明した後処理を含む実施例Ａ（図８（ｂ））の場合、解析結果がそのまま入力内容を決定するための値とはならず、後処理を受けた後の値が、入力内容を決定するための値（後処理後の出力：有効解析結果記憶部４０に記憶される値）となる。

　当該例においては、過去２フレーム分の解析結果を利用して、最新のフレームの解析結果の有効性を判断する。具体的には、過去２フレーム分の解析結果、及び、最新の撮像フレームの解析結果のすべてが一致する場合、その最新の撮像フレームの解析結果を有効とする。一方、過去２フレーム分の解析結果、及び、最新の撮像フレームの解析結果が完全に一致しない場合、その最新の撮像フレームの解析結果を無効とする。その詳細は、第一の実施形態で説明したとおりである。

　当該実施例Ａの場合、１フレーム分のみの誤った解析結果（第２のミス）は無効とし、このような解析結果に基づいた誤った入力を排除することができる。しかし、３フレーム分連続した誤った解析結果（第１のミス）は無効と判断できず、誤った解析結果に基づいた入力を受付けてしまう。

　これらに対し、本実施形態の後処理を含む実施例Ｂ（図８（ｃ））の場合も、解析結果がそのまま入力内容を決定するための値とはならず、後処理を受けた後の値が、入力内容を決定するための値（後処理後の出力：有効解析結果記憶部４０に記憶される値）となる。

　当該例においては、過去２フレーム分の解析結果を利用して、最新のフレームの解析結果の有効性を判断する。具体的には、過去２フレーム分の解析結果、及び、最新の撮像フレームの解析結果のすべてが一致するか判断するとともに、過去の２フレーム分の解析結果を利用して、Ｘ座標、Ｙ座標、Ｚ座標ごとに平均値を算出後、最新の撮像フレームで特定した認識対象の位置と、上記平均値を算出する処理により算出された位置とを利用して認識対象の移動量を算出する。そして、過去２フレーム分の解析結果、及び、最新の撮像フレームの解析結果のすべてが一致し、かつ、算出した移動量が所定の閾値（２０）以下である場合、最新の撮像フレームの解析結果を有効と判断する。そして、それ以外の場合は無効と判断する。

　当該実施例Ｂの場合、実施例Ａと同様、１フレーム分のみの誤った解析結果（第２のミス）は無効とし、このような解析結果に基づいた誤った入力を排除することができる。また、誤った解析結果が想定よりも長く（無効と判断できないほど）続いてしまった場合であっても、移動量に基づいて、このような誤った解析結果を無効と判断できるので、図示するように、３フレーム分連続した誤った解析結果（第１のミス）をも無効とし、このような解析結果に基づいた誤った入力を排除することができる。

　このように、本実施形態によれば、より高い精度で誤認識の発生を抑制し、高い操作性と操作の正確性を実現したジェスチャによる入力技術を提供することにある。

＜実施例＞
　本発明の効果を示す実験結果として、図４（ａ）の後処理なしの場合、図４（ｂ）の後処理ありの場合、図６（ｂ）の後処理ありの場合、図８（ｃ）の後処理ありの場合、それぞれにおいて、センサのエリア内に第一の場所と第二の場所を３０ｃｍ程度離して設定し、第一の場所で手の形状をパーからグーにし、グーの手の形状のまま第二の場所に移動し、第二の場所でグーからパーにし、パーの手の形状のまま再び第一の場所に戻る、という作業を、３０回繰り返し行って誤動作発生回数をカウントする実験結果を示す。

　図４（ａ）の後処理なし（本発明適用前）の場合、誤動作発生回数は１９回／３０回であり、誤動作発生率は６３％であった。

　図４（ｂ）の後処理あり（第一の実施形態適用時）の場合、誤動作発生回数は１２回／３０回であり、誤動作発生率は４０％であった。

　図６（ｂ）の後処理あり（第二の実施形態適用時）の場合、誤動作発生回数は１３回／３０回であり、誤動作発生率は４３％であった。

　図８（ｃ）の後処理あり（第三の実施形態適用時）の場合、誤動作発生回数は２回／３０回であり、誤動作発生率７％であった。

　第一の実施形態の場合、認識エンジンの精度によって発生する認識結果の不安定を主にフィルタすることができる。一方、第二の実施形態の場合、座標変化時に発生する認識結果の不安定を主にフィルタすることができる。この二つの後処理を一緒に適用する第三の実施形態を利用することで、少ない記憶装置の確保により、単なる組み合わせ以上の大きな誤認識発生率の抑制が得られることが確認できた。

　以上、形状によるジェスチャの認識方法について記述した。

　この方法は、身体（手指）の形状によるジェスチャの認識を利用した、動きによるジェスチャ認識方法についても適用することができ、誤認識を低下させて正確性の高いジェスチャ認識方法として提供することができる。

　具体的には、手のひらを開いたときのジェスチャの状態で手を動かした時に、その動きに応じてマウスカーソルの位置を動かすという例において、フレーム毎に手指の位置が動いた場合でも、閾値以上の位置移動を検出した場合は、閾値を超える位置変化量を検出される直前の有効と判定された出力の値を出力し続けることになる。従って、誤認識が生じにくい動きによるジェスチャが提供できることになる。

　上述したジェスチャ認識方法を用いてジェスチャ認識装置を構成することができる。

　上述したジェスチャ認識装置を用いて、デジタルサイネージ（電子看板）を構成することができる。

　なお、本実施形態では、位置変化検出処理にそれぞれ互いに直交するＸ軸、Ｙ軸及びＺ軸が定められた３次元座標（実空間に定められてもよい）を用いたが、３次元座標（実空間座標）だけでなくカメラのピクセル上を取り入れた座標系を用いても良い。また、カメラやセンサを原点とした極座標系を用いても良い。
＜＜付記＞＞

　上記説明によれば、以下の発明の説明がなされている。
＜発明１＞
　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析手段と、
　前記解析手段が解析した解析結果を蓄積する解析結果蓄積手段と、
　第１の前記撮像フレームの解析結果と、前記解析結果蓄積手段に蓄積されている前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析手段が解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断手段と、
　前記有効判断手段が有効と判断した解析結果を記憶する有効解析結果記憶手段と、
　形状及び／又は位置に基づいて特定される前記認識対象の態様と、入力内容とを対応付けた対応情報を記憶する対応情報記憶手段と、
　前記有効解析結果記憶手段が記憶する解析結果を利用して前記認識対象の態様を特定するとともに、特定した態様に対応付けられている入力内容の入力を受付ける入力受付手段と、
を有する入力装置。
＜発明２＞
　発明１に記載の入力装置において、
　前記解析手段は、少なくとも１つの特定形状の特徴量を示す特徴量情報を予め記憶しており、前記特徴量情報を利用して、前記認識対象が前記特定形状に類似しているか否か、もしくは一致しているか否かを判断することで前記認識対象の形状を特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記特定形状が、その直前の所定数の撮像フレームの解析結果と一致するか判断し、前記所定数の撮像フレームの解析結果すべてと一致する場合、前記第１の撮像フレームの解析結果が有効と判断する入力装置。
＜発明３＞
　発明１に記載の入力装置において、
　前記解析手段は、前記認識対象の位置を特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の移動量を算出し、前記移動量が所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力装置。
＜発明４＞
　発明１に記載の入力装置において、
　前記解析手段は、それぞれ直交する第１の軸、第２の軸、第３の軸からなる３次元座標内における前記認識対象の位置を特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の前記３次元座標内における第１の軸方向の移動量、第２の軸方向の移動量及び第３の軸方向の移動量を算出し、前記第１の軸方向の移動量、前記第２の軸方向の移動量及び前記第３の軸方向の移動量のすべてが、予め前記第１の軸方向、前記第２の軸方向及び前記第３の軸方向毎に定められた所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力装置。
＜発明５＞
　発明１または２に記載の入力装置において、
　前記解析手段は、少なくとも１つの特定形状の特徴量を示す特徴量情報を予め記憶しており、前記特徴量情報を利用して、前記認識対象が前記特定形状であるか否かを判断することで前記認識対象の形状を特定するとともに、前記認識対象の位置を特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記特定形状が、その直前の所定数の撮像フレームの解析結果と一致するか判断するとともに、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の移動量を算出し、前記第１の撮像フレームで特定した前記特定形状が前記所定数の撮像フレームの解析結果すべてと一致し、かつ、前記移動量が所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力装置。
＜発明６＞
　発明３に記載の入力装置において、
　前記解析手段は、前記認識対象の位置を位置ベクトルで特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記認識対象の位置ベクトルと、その直前の所定数の撮像フレームで特定した前記認識対象の位置ベクトルとを利用し、両位置ベクトルの差分の絶対値を利用して、前記第１の撮像フレームで特定した前記認識対象の移動量を算出する入力装置。
＜発明７＞
　発明１から６のいずれかに記載の入力装置を備える電子看板。
＜発明８＞
　コンピュータを、
　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析手段、
　前記解析手段が解析した解析結果を蓄積する解析結果蓄積手段、
　前記第１の前記撮像フレームの解析結果と、前記解析結果蓄積手段に蓄積されている前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析手段が解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断手段、
　前記有効判断手段が有効と判断した解析結果を記憶する有効解析結果記憶手段、
　形状及び／又は位置に基づいて特定される前記認識対象の態様と、入力内容とを対応付けた対応情報を記憶する対応情報記憶手段、
　前記有効解析結果記憶手段が記憶する解析結果を利用して前記認識対象の態様を特定するとともに、特定した態様に対応付けられている入力内容の入力を受付ける入力受付手段、
として機能させるためのプログラム。
＜発明８－２＞
　発明８に記載のプログラムにおいて、
　前記解析手段に、少なくとも１つの特定形状の特徴量を示す特徴量情報を予め記憶させ、前記特徴量情報を利用して、前記認識対象が前記特定形状であるか否かを判断することで前記認識対象の形状を特定させ、
　前記有効判断手段に、前記第１の撮像フレームで特定した前記特定形状が、その直前の所定数の撮像フレームの解析結果と一致するか判断させ、前記所定数の撮像フレームの解析結果すべてと一致する場合、前記第１の撮像フレームの解析結果が有効と判断させるプログラム。
＜発明８－３＞
　発明８に記載のプログラムにおいて、
　前記解析手段に、前記認識対象の位置を特定させ、
　前記有効判断手段に、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の移動量を算出させ、前記移動量が所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断させるプログラム。
＜発明８－４＞
　発明８に記載のプログラムにおいて、
　前記解析手段に、それぞれ直交する第１の軸、第２の軸、第３の軸からなる３次元座標内における前記認識対象の位置を特定させ、
　前記有効判断手段に、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の前記３次元座標内における第１の軸方向の移動量、第２の軸方向の移動量及び第３の軸方向の移動量を算出し、前記第１の軸方向の移動量、前記第２の軸方向の移動量及び前記第３の軸方向の移動量のすべてが、予め前記第１の軸方向、前記第２の軸方向及び前記第３の軸方向毎に定められた所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断させるプログラム。
＜発明８－５＞
　発明８または８－２に記載のプログラムにおいて、
　前記解析手段に、少なくとも１つの特定形状の特徴量を示す特徴量情報を予め記憶させ、前記特徴量情報を利用して、前記認識対象が前記特定形状であるか否かを判断することで前記認識対象の形状を特定するとともに、前記認識対象の位置を特定させ、
　前記有効判断手段に、前記第１の撮像フレームで特定した前記特定形状が、その直前の所定数の撮像フレームの解析結果と一致するか判断させるとともに、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の移動量を算出させ、前記第１の撮像フレームで特定した前記特定形状が前記所定数の撮像フレームの解析結果すべてと一致し、かつ、前記移動量が所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断させるプログラム。
＜発明８－６＞
　発明８－３に記載のプログラムにおいて、
　前記解析手段に、前記認識対象の位置を位置ベクトルで特定させ、
　前記有効判断手段に、前記第１の撮像フレームで特定した前記認識対象の位置ベクトルと、その直前の所定数の撮像フレームで特定した前記認識対象の位置ベクトルとを利用し、両位置ベクトルの差分の絶対値を利用して、前記第１の撮像フレームで特定した前記認識対象の移動量を算出させるプログラム。
＜発明９＞
　コンピュータが、
　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析ステップと、
　前記解析ステップで解析した解析結果を蓄積する解析結果蓄積ステップと、
　第１の前記撮像フレームの解析結果と、前記解析結果蓄積ステップで蓄積された前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析ステップで解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断ステップと、
　前記有効判断ステップで有効と判断された解析結果を記憶する有効解析結果記憶ステップと、
　前記有効解析結果記憶ステップで記憶した解析結果を利用して形状及び／又は位置に基づいて特定される前記認識対象の態様を特定した後、前記認識対象の態様と入力内容とを対応付けた対応情報を参照し、特定した態様に対応付けられている入力内容の入力を受付ける入力受付ステップと、
を実行する入力方法。
＜発明９－２＞
　発明９に記載の入力方法において、
　前記解析ステップでは、予め記憶している少なくとも１つの特定形状の特徴量を示す特徴量情報を利用して、前記認識対象が前記特定形状であるか否かを判断することで前記認識対象の形状を特定し、
　前記有効判断ステップでは、前記第１の撮像フレームで特定した前記特定形状が、その直前の所定数の撮像フレームの解析結果と一致するか判断し、前記所定数の撮像フレームの解析結果すべてと一致する場合、前記第１の撮像フレームの解析結果が有効と判断する入力方法。
＜発明９－３＞
　発明９に記載の入力方法において、
　前記解析ステップでは、前記認識対象の位置を特定し、
　前記有効判断ステップでは、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の移動量を算出し、前記移動量が所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力方法。
＜発明９－４＞
　発明９に記載の入力方法において、
　前記解析ステップでは、それぞれ直交する第１の軸、第２の軸、第３の軸からなる３次元座標内における前記認識対象の位置を特定し、
　前記有効判断ステップでは、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の前記３次元座標内における第１の軸方向の移動量、第２の軸方向の移動量及び第３の軸方向の移動量を算出し、前記第１の軸方向の移動量、前記第２の軸方向の移動量及び前記第３の軸方向の移動量のすべてが、予め前記第１の軸方向、前記第２の軸方向及び前記第３の軸方向毎に定められた所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力方法。
＜発明９－５＞
　発明９または９－２に記載の入力方法において、
　前記解析ステップでは、予め記憶している少なくとも１つの特定形状の特徴量を示す特徴量情報を利用して、前記認識対象が前記特定形状であるか否かを判断することで前記認識対象の形状を特定するとともに、前記認識対象の位置を特定し、
　前記有効判断ステップでは、前記第１の撮像フレームで特定した前記特定形状が、その直前の所定数の撮像フレームの解析結果と一致するか判断するとともに、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の移動量を算出し、前記第１の撮像フレームで特定した前記特定形状が前記所定数の撮像フレームの解析結果すべてと一致し、かつ、前記移動量が所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力方法。
＜発明９－６＞
　発明９－３に記載の入力方法において、
　前記解析ステップでは、前記認識対象の位置を位置ベクトルで特定し、
　前記有効判断ステップでは、前記第１の撮像フレームで特定した前記認識対象の位置ベクトルと、その直前の所定数の撮像フレームで特定した前記認識対象の位置ベクトルとを利用し、両位置ベクトルの差分の絶対値を利用して、前記第１の撮像フレームで特定した前記認識対象の移動量を算出する入力方法。

　この出願は、２０１２年８月２２日に出願された日本特許出願特願２０１２－１８３５０９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析手段と、
　前記解析手段が解析した解析結果を蓄積する解析結果蓄積手段と、
　第１の前記撮像フレームの解析結果と、前記解析結果蓄積手段に蓄積されている前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析手段が解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断手段と、
　前記有効判断手段が有効と判断した解析結果を記憶する有効解析結果記憶手段と、
　形状及び／又は位置に基づいて特定される前記認識対象の態様と、入力内容とを対応付けた対応情報を記憶する対応情報記憶手段と、
　前記有効解析結果記憶手段が記憶する解析結果を利用して前記認識対象の態様を特定するとともに、特定した態様に対応付けられている入力内容の入力を受付ける入力受付手段と、
を有する入力装置。
　請求項１に記載の入力装置において、
　前記解析手段は、少なくとも１つの特定形状の特徴量を示す特徴量情報を予め記憶しており、前記特徴量情報を利用して、前記認識対象が前記特定形状に類似しているか否か、もしくは一致しているか否かを判断することで前記認識対象の形状を特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記特定形状が、その直前の所定数の撮像フレームの解析結果と一致するか判断し、前記所定数の撮像フレームの解析結果すべてと一致する場合、前記第１の撮像フレームの解析結果が有効と判断する入力装置。
　請求項１に記載の入力装置において、
　前記解析手段は、前記認識対象の位置を特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の移動量を算出し、前記移動量が所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力装置。
　請求項１に記載の入力装置において、
　前記解析手段は、それぞれ直交する第１の軸、第２の軸、第３の軸からなる３次元座標内における前記認識対象の位置を特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の前記３次元座標内における第１の軸方向の移動量、第２の軸方向の移動量及び第３の軸方向の移動量を算出し、前記第１の軸方向の移動量、前記第２の軸方向の移動量及び前記第３の軸方向の移動量のすべてが、予め前記第１の軸方向、前記第２の軸方向及び前記第３の軸方向毎に定められた所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力装置。
　請求項１または２に記載の入力装置において、
　前記解析手段は、少なくとも１つの特定形状の特徴量を示す特徴量情報を予め記憶しており、前記特徴量情報を利用して、前記認識対象が前記特定形状であるか否かを判断することで前記認識対象の形状を特定するとともに、前記認識対象の位置を特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記特定形状が、その直前の所定数の撮像フレームの解析結果と一致するか判断するとともに、前記第１の撮像フレームで特定した前記認識対象の位置と、その直前の所定数の撮像フレームで特定した前記認識対象の位置とを利用して前記第１の撮像フレームで特定した前記認識対象の移動量を算出し、前記第１の撮像フレームで特定した前記特定形状が前記所定数の撮像フレームの解析結果すべてと一致し、かつ、前記移動量が所定の閾値以下または所定の閾値より小さい場合、前記第１の撮像フレームの解析結果が有効と判断する入力装置。
　請求項３に記載の入力装置において、
　前記解析手段は、前記認識対象の位置を位置ベクトルで特定し、
　前記有効判断手段は、前記第１の撮像フレームで特定した前記認識対象の位置ベクトルと、その直前の所定数の撮像フレームで特定した前記認識対象の位置ベクトルとを利用し、両位置ベクトルの差分の絶対値を利用して、前記第１の撮像フレームで特定した前記認識対象の移動量を算出する入力装置。
　請求項１から６のいずれか１項に記載の入力装置を備える電子看板。
　コンピュータを、
　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析手段、
　前記解析手段が解析した解析結果を蓄積する解析結果蓄積手段、
　第１の前記撮像フレームの解析結果と、前記解析結果蓄積手段に蓄積されている前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析手段が解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断手段、
　前記有効判断手段が有効と判断した解析結果を記憶する有効解析結果記憶手段、
　形状及び／又は位置に基づいて特定される前記認識対象の態様と、入力内容とを対応付けた対応情報を記憶する対応情報記憶手段、
　前記有効解析結果記憶手段が記憶する解析結果を利用して前記認識対象の態様を特定するとともに、特定した態様に対応付けられている入力内容の入力を受付ける入力受付手段、
として機能させるためのプログラム。
　コンピュータが、
　撮像手段から時系列に連続する複数の撮像フレームを取得し、撮像フレーム毎に、所定の認識対象を抽出するとともに、抽出した前記認識対象の形状及び／又は位置を特定する解析ステップと、
　前記解析ステップで解析した解析結果を蓄積する解析結果蓄積ステップと、
　第１の前記撮像フレームの解析結果と、前記解析結果蓄積ステップで蓄積された前記第１の撮像フレームの直前の所定数の撮像フレームの解析結果とを利用して、前記解析ステップで解析した前記第１の撮像フレームの解析結果が有効か否か判断する有効判断ステップと、
　前記有効判断ステップで有効と判断された解析結果を記憶する有効解析結果記憶ステップと、
　前記有効解析結果記憶ステップで記憶した解析結果を利用して形状及び／又は位置に基づいて特定される前記認識対象の態様を特定した後、前記認識対象の態様と入力内容とを対応付けた対応情報を参照し、特定した態様に対応付けられている入力内容の入力を受付ける入力受付ステップと、
を実行する入力方法。