JP2011081469A

JP2011081469A - 入力装置

Info

Publication number: JP2011081469A
Application number: JP2009231110A
Authority: JP
Inventors: Takashi Matsubara; 孝志松原; Yuichi Kurosawa; 雄一黒澤
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2009-10-05
Filing date: 2009-10-05
Publication date: 2011-04-21
Also published as: CN102033703A; US20110083112A1; EP2328061A2

Abstract

【課題】ユーザにとって使い勝手のよい入力装置を提供する。
【解決手段】入力装置１００は、所定の動き画像信号が入力される入力部と、該入力部に入力された動き画像信号から動き検出を行う動き検出部と、所定の映像信号を出力する映像信号処理部と、制御部とを備え、該制御部は、該動き検出部により操作者が手を回転する動きが検出された場合に、該手を回転する動きに同期して、回転する動きの検出状況を操作者に説明する所定の第一の映像信号を前記映像信号処理部より出力し、該第一の映像信号に同期して、所定の操作を確定するまでの該操作の進行状況を操作者に説明する所定の第二の映像信号を前記映像信号処理部より出力するように前記映像信号処理部を制御する。
【選択図】図１

Description

本発明は、入力装置に関する。

グラフィカルユーザインタフェース（以下、ＧＵＩ）を介して、ユーザ(操作者)の操作を受け付けると同時にユーザに操作結果のフィードバックを与えるパソコンやテレビが普及している。

特許文献１では、ユーザの操作を支援するための操作ガイダンス情報を示す携帯端末が開示される。ユーザは、当該ガイダンスに従い、手指を上下左右に動かして、目的の機能を実行することができる。

特許文献２では、ユーザの操作となるジェスチャの認識対象を視覚的に表すためのジェスチャ画像表示を行うインタフェース装置が開示される。ユーザは、ジェスチャ画像を確認しながら、装置の操作を行うことができる。

特許文献３では、ユーザの操作となるジェスチャを表示したアイコンと行える操作を表示する車載機器が開示される。ユーザは、容易に行うべきジェスチャを知ることができる。

特許文献４では、ステアリング上の手の状態と操作対象機器を示す選択ガイド情報を表示する車両用操作入力装置が開示される。ユーザは、当該ガイドを参照して、手を動かして、目的の操作機器を選択することができる。

特開２００７−２１３２４５号公報特開２００８−５２５９０号公報特開２００１−２１６０６９号公報特開２００５−２５０７８５号公報

いずれの特許文献も、操作のための動き・ポーズが表示され、ユーザは、これらに従って、所定の装置に関する動作を実行することが開示されている。

しかしながら、ユーザが、操作のために、所定の動きをしたり、所定のポーズをとろうとする際、所定の動き、所定のポーズに至るまでに、たまたま、無意識に行う別の動き、別のポーズが、操作のためのものと認識されてしまい、意図しない装置に関する動作が実行されてしまう恐れがある。

例えば、ユーザが、表示されたコンテンツを右方向に動かすために、手を右方向に動かそうとする際、右方向にあった手を左方向に戻す動きが、コンテンツを左方向に動かすための操作であると認識され、実行されてしまう恐れがある。

つまり、いずれの特許文献も、ユーザが操作のためのジェスチャを行う際に、ユーザの動きの一つ一つが、認識されている状態なのかどうかをユーザに直感的に理解させることは考慮されていない。

そこで、本発明は、かかる事情を考慮した上で、ユーザが操作時に行う動きがどう認識されているのかを知らしめ、意図しない操作がされないようにした、使い勝手の良い入力装置を提供することを目的とする。

上記目的を達成するために、本発明の入力装置は、操作者の動きが画像信号として入力される入力部と、前記入力部に入力された画像信号から、手の動きを検出する動作検出部と、グラフィカルユーザインタフェースを表示する表示部と、前記動作検出部で検出された手の動きに従って、前記表示部で表示される前記グラフィカルユーザインタフェースを変更させる制御部と、を備え、前記制御部は、前記動作検出部で検出された手の動きに同期するようにポインタを動かし、ポインタが動いた量に対応した動作量を示すように、前記グラフィカルユーザインタフェースを変更させる。

本発明によれば、例えば、ユーザがジェスチャでテレビ等の装置の操作を行おうとした場合に、ユーザは今自分が行っているジェスチャが、どう認識されているのかを知り、意図した操作のみが行われるように、ジェスチャを行うことができる。

実施例１の入力装置を示す概観図である。実施例１の入力装置の構成を示すブロック図である。実施例１の入力装置のＧＵＩの表示の一部を示す概観図である。実施例１の入力装置の動作を説明する流れ図である。実施例２のユーザ操作と入力装置の動作の対応を説明する概観図である。実施例２の入力装置のＧＵＩの表示の一部を示す概観図である。実施例２の入力装置のＧＵＩの表示の一部を示す概観図である。実施例２の入力装置のＧＵＩの表示の一部を示す概観図である。実施例３のユーザ操作と入力装置の動作の対応を説明する概観図である。実施例３の入力装置の動作を説明する流れ図である。

以下、本発明を適用した各実施例について説明する。

本実施例の入力装置１００は、ユーザを撮像した動画像からユーザの手の動作を検出し、該動作に応じてＧＵＩの表示を変更することが可能な装置である。

図１は、表示部１０１、撮像部１０２、ユーザ１０３、操作ガイド１０４により入力装置１００をユーザが使用する際の動作環境の概観を示す。

表示部１０１は、入力装置１００の表示装置であり、例えば、液晶ディスプレイやプラズマディスプレイ等の表示装置で構成される。表示部１０１は、表示パネルとパネル制御回路とパネル制御ドライバとから構成され、後述する映像信号処理部２０２から供給される映像データを該表示パネルに表示する。撮像部１０２は、入力装置１００に動画像を入力するための装置であり、たとえばカメラである。ユーザ１０３は、入力装置１００に対して操作を行うユーザである。ポインタ１０４は表示部１０１に表示されるＧＵＩであり、前記ユーザ１０３に前記入力装置１００の操作位置や操作状態を示すためのグラフィックスである。

入力装置１００は、例えば図２に示すように、表示部１０１、撮像部１０２、動作検出(動き検出)部２００、制御部２０１、映像信号処理部２０２、手位置検出部２０３、円動作検出部２０４を備える。

動作検出(動き検出)部２００は、撮像部１０２から動画像信号を受信し、受信した動画像信号より、手位置検出部２０３において人物の手の位置を検出し、円動作検出部２０４において人物が手を回す動きを検出する。さらに、検出した動作に応じて該動作に対応する所定のコマンドを出力する。制御部２０１は例えばマイクロプロセッサから構成され、動作検出(動き検出)部２００から受信した前記コマンドに応じて、映像信号処理部２０２の動作を制御する。映像信号処理部２０２は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＭＰＵ等の処理装置により構成される。映像信号処理部２０２は、制御部２０１の制御に従いＧＵＩの映像データを、表示部１０１で処理可能な形態に変換して出力する。

図３は、本発明の入力装置１００をユーザ１０３が操作する際のポインタ１０４の表示の変化を示す。アイコン３００は、ユーザ１０３が入力装置１００を操作する際に、特定の操作を確定するまでの操作過程の状態を示すグラフィックスである。図３の「操作開始状態」の図は、ユーザ１０３が入力装置１００の操作を開始する際の状態を示している。本実施例の入力装置１００は、ユーザ１０３が手を回す動作を認識し、手を回す動作に対応してポインタ１０４の表示が回転する構成となっている。また、ポインタ１０４の表示の回転に応じて、アイコン３００の大きさが変化し、アイコン３００の大きさの変化によって、特定の操作が確定するまでの操作過程の状態をユーザ１０３に示す。従って、ユーザ１０３が操作を開始した際は、図３の「操作開始状態」の図が表示され、ユーザ１０３が入力装置１００に向かって時計回りに手を回す操作を行うと、図３の「操作開始状態」から「操作確定状態Ａ」への変化に示すように、ポインタ１０４が回転しながらアイコン３００が大きくなる。一方、ユーザ１０３が入力装置１００に向かって反時計回りに手を回す操作を行うと、図３の「操作開始状態」から「操作確定状態Ｂ」への変化に示すようにポインタ１０４が回転しながらアイコン３００が小さくなる。このようにして、ポインタ１０４及びアイコン３００が、図３の「操作確定状態Ａ」や「操作確定状態Ｂ」に示す状態になるまで、ユーザ１０３が手を回す操作を継続することにより、「操作確定状態Ａ」や「操作確定状態Ｂ」に対応した操作が実行される。

次に、入力装置１００の動作を、図１ないし図３、及び、図４のフローチャートを用いて説明する。

入力装置１００は、ユーザ１０３を撮像した動画像信号からユーザ１０３の手の動作を検出し、該動作に応じてＧＵＩの表示を変更することが可能な装置である。

まず、入力装置１００がユーザ１０３の手の動きを検出し、該動作に応じてＧＵＩを表示するまでの処理の流れについて、図２を参照して説明する。ユーザ１０３が、入力装置１００に対し、図示しない電源ボタンの押下等により、入力装置１００の動作を開始させたとする。制御部２０１は前記動作の開始に応答して、映像信号処理部２０２に所定の映像を表示する指示を与える。映像信号処理部２０２は前記指示に応答して、表示部１０１の入力に適した映像信号を出力する。これにより、表示部１０１には映像が表示される。

また、制御部２０１は前記動作の開始に応答して、撮像部１０２に対して動画像の撮像の開始を指示する。撮像部１０２は前記指示に応答して、動画像の撮像を開始し、撮像した動画像のデータを動作検出(動き検出)部２００に出力する。動作検出(動き検出)部２００は受信した前記動画像のデータから特徴点抽出などの方法を用いて、手位置検出部２０３にてユーザの手の位置を検出し、円動作検出部２０４にてユーザが手を回す動きを検出する。さらに、該手の位置や手を回す動きの検出結果に応じたコマンドを制御部２０１に出力する。制御部２０１は該コマンドに応じてＧＵＩの表示や表示の変更を映像信号処理部２０２に指示する。映像信号処理部２０２は前記指示に応答して、出力する映像信号を変更し、これにより表示部１０１上のＧＵＩの表示が変更される。

次に、入力装置１００をユーザ１０３が操作する際のポインタ１０４及びアイコン３００の表示方法を図４及び図５を用いて説明する。

まず、ユーザ１０３は所定の手順にて入力装置１００の動作を開始させ、入力装置１００の動作検出部２００は先に述べた手順で人物の手の動き（ジェスチャ）の認識を開始する（ステップ４００）。

次にユーザ１０３が入力装置１００に向かって手を差し出したとする（ステップ４０１：Ｙｅｓ）。入力装置１００はユーザ１０３の手の位置を認識し、該手の位置に応じてポインタ１０４を表示部１０１に表示する（ステップ４０２）。この際に、ユーザ１０３が手を下ろすと、入力装置１００はポインタ１０４の表示を消す（ステップ４０１：Ｎｏ）。

次にユーザ１０３が入力装置１００に向かって手を回す動作を行ったとする（ステップ４０３：Ｙｅｓ）。入力装置１００は該手を回す動作を認識し、図３に示すように、ポインタ１０４を回転させ、ポインタ１０４の回転に応じてアイコン３００の大きさを変化させる（ステップ４０４）。さらに、ユーザ１０３が手を回す動作を継続したことにより、ポインタ１０４が所定の角度まで回転し（ステップ４０５：Ｙｅｓ）、図３の「操作確定状態Ａ」や「操作確定状態Ｂ」に示す状態になった場合、入力装置１００はポインタ１０４の位置や回転方向に応じた操作を実行させる（ステップ４０６）。また、ポインタ１０４が操作開始状態から所定の角度まで回転していない場合は、前記ステップ４０３からステップ４０５が繰り返される（ステップ４０５：Ｎｏ）。この際に、ポインタ１０４は、ユーザ１０３が手を回す動きに同期するように回転し、さらにポインタ１０４の回転に応じてアイコン３００の大きさが変化する。これにより、ユーザ１０３に対し、その瞬間にどのような操作状態にあり、どこまで操作を継続すれば操作が実行されるか、どの程度手を動かせばよいのかを直感的に説明することができる。

一方、前記ステップ４０３において、ユーザ１０３が手を回す動作をしていなかったとする（ステップ４０３：Ｎｏ）。入力装置１００は手を回していない状態でのユーザ１０３の手の動きを認識し、例えば、上下左右の方向など、回転する方向とは関連のない方向にユーザの手が動いている場合には（ステップ４０７：Ｙｅｓ）、ポインタ１０４およびアイコン３００の表示を、図３の「操作開始状態」に戻す。さらに、ユーザ１０３の手の位置に応じて、表示部１０１の表示領域内でのポインタ１０４およびアイコン３００の位置を移動する。これにより、次にユーザ１０３が手を回す動きを行い、図３の「操作確定状態Ａ」や「操作確定状態Ｂ」に示す状態になり、操作が実行される際には、ＧＵＩ内のポインタ１０４およびアイコン３００の位置に応じた操作が実行される。

なお、前記ステップ４０７において、ユーザ１０３の手が動いていない場合は、前記ステップ４０１に戻り、その後の処理が継続される（ステップ４０７：Ｎｏ）。また、ステップ４０９に続き、ユーザが所定の操作にて手の動きの認識の停止を指示した際（ステップ４１０）は、入力装置１００は手の動きの認識を終了する。

このように、入力装置１００は、ユーザ１０３が手を動かす動作を認識し、該動作に応じてポインタ１０４やアイコン３００の表示を変化させ、ユーザ１０３に対して操作の状態を提示する。例えば、ユーザ１０３が表示部１０１に表示された地図を操作する際には、手を動かすことによりポインタ１０４およびアイコン３００を移動し、表示する地図の位置を変更し、手を回す動きをすることにより、時計回りに回した際には地図を拡大し、反時計回りに回した際には地図を縮小するなどの操作を行うことができる。これにより、ユーザは、その瞬間にどのような操作状態にあり、どの程度手を動かせばよいのか、どこまで操作すれば所望の操作が実行されるかを、ユーザの動きの一つ一つに対応して確認することができるため、ユーザは、自分が意図しない操作が行われないように、動きを修正することができ、ＧＵＩの操作を円滑に行うことができる。

次に、実施例２について説明する。本実施例では、実施例１の入力装置１００とは異なり、複数の選択項目の中から任意の項目を選択する構成のＧＵＩを、入力装置１００において操作できるようにした場合の操作方法とＧＵＩの表示方法について説明する。入力装置１００の構成および操作方法は実施例１と同様であり、ＧＵＩの構成および、ＧＵＩ内における前記ポインタ１０４の表示方法が異なる。

以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と同等なものには同一の符合を付し、その説明は割愛する。

図５は、本実施例において入力装置１００をユーザ１０３が操作する際の、ユーザ１０３の手の動きと表示部１０１に表示されるＧＵＩの動きの対応を示している。選択項目５００は表示部１０１に表示されたＧＵＩであり、該ＧＵＩに配置された複数の選択項目から任意の項目を選択する構成となっている。図５の「状態Ａ」はユーザ１０３の手の移動に応じて、該ＧＵＩ内のポインタ１０４の位置が変化し、ユーザ１０３がポインタ１０４によりＧＵＩ内の任意の位置を自由に指し示すことができる様子を示している。一方、図５の「状態Ｂ」は、ユーザ１０３が予めポインタ１０４を移動した位置において、ユーザ１０３が手を回す動作をした際に、ポインタ１０４が該手を回す動きに合わせて回転する様子を示している。

次に、本実施例の入力装置１００におけるポインタ１０４の表示方法を、図６ないし図８を用いて説明する。本実施例の入力装置１００は実施例１と同様の方法でユーザ１０３の手の動きを認識することが可能である。

図６は、実施例１と同様の方法でポインタ１０４が表示された際のポインタ１０４およびアイコン６００の外観の動きの一例を示している。アイコン６００はユーザ１０３が前記ＧＵＩ内で任意の場所を指し示すために、矢印型の形状となっている。ユーザ１０３が入力装置１００に対し手を差し出すと、図６の「操作開始状態」の図に示すようにポインタ１０４とアイコン６００を表示する。また、ユーザ１０３が図５の「状態Ａ」に示したようにポインタ１０４を移動させる際にも、ポインタ１０４およびアイコン６００は図６の「操作開始状態」となる。

次に、図５の「状態Ｂ」に示すように、ユーザ１０３が手を回す動作をした場合、実施例１と同様にポインタ１０４が回転し、該回転に応じてアイコン６００の大きさが変化する。図６における「操作開始状態」から「操作確定状態Ａ」への変化は、ユーザが手を時計回りに回した際に、ポインタ１０４の回転に応じてアイコン６００の大きさが小さくなる様子を示している。例えば、ユーザ１０３が手を時計回りに回し、図６の「操作確定状態Ａ」になった際には、前記選択項目５００の中でポインタ１０４およびアイコン６００と同じ位置にある項目を選択する操作が実行される。一方、図６における「操作開始状態」から「操作確定状態Ｂ」への変化は、ユーザが手を反時計回りに回した際に、ポインタ１０４の回転に応じてアイコン６００の大きさが大きくなる様子を示している。例えば、ユーザ１０３が手を反時計回りに回し、図６の「操作状態Ｂ」になった際には、前記ＧＵＩに対して、図示しない前回表示状態に戻るなど、いわゆる「戻る」や「取り消し」の操作が実行される。

図７は、実施例１と同様の方法でポインタ１０４が表示された際の、図６とは異なるポインタ１０４の外観の動きの一例を示している。ユーザ１０３が入力装置１００に対し手を差し出すと、図７の「操作開始状態」の図に示すようにポインタ１０４を表示する。また、ユーザ１０３が図５の「状態Ａ」に示したようにポインタ１０４を移動させる際にも、ポインタ１０４は図６の「操作開始状態」となる。

次に、図５の「状態Ｂ」に示すように、ユーザ１０３が手を回す動作をした場合、実施例１と同様にポインタ１０４が回転する。また同時に、該回転に応じてポインタ１０４の大きさが変化する。図７における「操作開始状態」から「操作確定状態Ａ」への変化は、ユーザが手を時計回りに回した際に、ポインタ１０４が回転しながらポインタ１０４の大きさが小さくなる様子を示している。例えば、ユーザ１０３が手を時計回りに回し、図７の「操作確定状態Ａ」になった際には、前記選択項目５００の中でポインタ１０４と同じ位置にある項目を選択する操作が実行される。一方、図７における「操作開始状態」から「操作確定状態Ｂ」への変化は、ユーザが手を反時計回りに回した際に、ポインタ１０４が回転しながらポインタ１０４の大きさが大きくなる様子を示している。例えば、ユーザ１０３が手を反時計回りに回し、図７の「操作状態Ｂ」になった際には、前記ＧＵＩに対して、図示しない前回表示状態に戻るなど、いわゆる「戻る」や「取り消し」の操作が実行される。

図８は、実施例１と同様の方法でポインタ１０４が表示された際の、図６とは異なるポインタ１０４およびライン８００の外観の動きの一例を示している。ライン８００はユーザ１０３が前記ＧＵＩ内で任意の場所を指し示すために、ポインタ１０４の動きに同期してＧＵＩに描画されるグラフィックスである。ユーザ１０３が入力装置１００に対し手を差し出すと、図８の「操作開始状態」の図に示すようにポインタ１０４を表示する。また、ユーザ１０３が図５の「状態Ａ」に示したようにポインタ１０４を移動させる際にも、ポインタ１０４は図８の「操作開始状態」となる。

次に、図５の「状態Ｂ」に示すように、ユーザ１０３が手を回す動作をした場合、実施例１と同様にポインタ１０４が回転し、該回転に応じてポインタ１０４の周りにライン８００が描画される。図８における「操作開始状態」から「操作確定状態」への変化は、ユーザが手を時計回りに回した際に、ポインタ１０４の回転に応じてライン８００が描画される様子を示している。例えば、ユーザ１０３が手を時計回りに回し、図８の「操作確定状態」になった際には、前記選択項目５００の中でポインタ１０４およびライン８００で描画された円と同じ位置にある項目を選択する操作が実行される。

このように、入力装置１００は、ユーザ１０３が手を動かす動作を認識し、該動作に応じてポインタ１０４やアイコン及びラインの表示を変化させ、ユーザ１０３に対して操作の状態を提示する。これにより、ユーザは、その瞬間にどのような操作状態にあり、どの程度手を動かせばよいのか、どこまで操作すれば所望の操作が実行されるかを、ユーザの動きの一つ一つに対応して確認することができるため、ユーザは、自分が意図しない操作が行われないように、動きを修正することができ、ＧＵＩの操作を円滑に行うことができる。

次に、実施例３について説明する。本実施例では、実施例１および実施例２の入力装置１００とは異なり、表示部１０１に表示したＧＵＩにおいて特定の操作を行うことができる範囲が予め決められており、該特定の操作を行うことができる範囲の内側と外側で、操作方法やポインタの表示方法が切り替わる構成のＧＵＩを、入力装置１００において操作できるようにした場合の操作方法とＧＵＩの表示方法について説明する。入力装置１００の構成は実施例１と同様であり、ＧＵＩの構成および、ＧＵＩ内における前記ポインタ１０４の表示方法が異なる。

図９は、本実施例において入力装置１００をユーザ１０３が操作する際の、ユーザ１０３の手の動きと表示部１０１に表示されるＧＵＩの動きの対応を示している。ポインタ９００は、実施例１と同様の方法を用いて、ユーザ１０３の手の動きに応じて、該ＧＵＩ内の位置を指し示すことができるポインタである。操作領域９０１は、ポインタ９００が移動し操作領域９０１の内側にある場合に、特定の操作が有効になる該ＧＵＩ上の領域を示している。例えば、図９では、表示部１０１に地図を表示し、該地図上の特定の領域の中では地図を拡大する操作を行うことができるＧＵＩを示している。従って、ポインタ９００が操作領域９０１の内側にある場合には、地図を拡大する操作を行うことができ、ポインタ９００が操作領域９０１の外側にある場合には、地図を拡大する操作を行うことができない。円操作ポインタ９０２は、ユーザ１０３の操作により、ポインタ９００が操作領域９０１の内側に入った際に、ポインタ９００に代わり該ＧＵＩ内に表示されるポインタである。

図９の「状態Ａ」はユーザ１０３の手の移動に応じて、該ＧＵＩ内のポインタ９００の位置が変化し、ユーザ１０３がポインタ９００によりＧＵＩ内の任意の位置を自由に指し示すことができる様子を示している。また、図９の「状態Ｂ」は、ユーザ１０３がポインタ９００を操作領域９００のある方向に移動している様子を示している。さらに、図９の「状態Ｃ」は、ユーザ１０３がポインタ９００を操作領域９００の内側に移動したことにより、ポインタ９００に代わり円操作ポインタ９０２が表示され、ユーザ１０３が手を回す操作により、円操作ポインタ９０２を操作する状態を示している。

次に、入力装置１００をユーザ１０３が操作する際のポインタ９００及び円操作ポインタ９０２の表示方法を図９及び図１０を用いて説明する。

まず、ユーザ１０３は所定の手順にて入力装置１００の動作を開始させ、入力装置１００の動作検出部２００は先に述べた手順で人物の手の動き（ジェスチャ）の認識を開始する（ステップ１０００）。

次にユーザ１０３が入力装置１００に向かって手を差し出したとする（ステップ１００１：Ｙｅｓ）。入力装置１００はユーザ１０３の手の位置を認識し、該手の位置に応じてポインタ９００を表示部１０１に表示する（ステップ１００２）。この際に、ユーザ１０３が手を下ろすと、入力装置１００はポインタ９００の表示を消す（ステップ１００１：Ｎｏ）。

次に表示部１０１に表示されたポインタ９００の位置が操作領域９００の内側にあったとする（ステップ１００３：Ｙｅｓ）。入力装置１００はポインタ９００に代わり円操作ポインタ９０２を表示する。また、実施例１および実施例２と同様に、ユーザ１０３の手の動きに応じて、円操作ポインタ９０２を回転させる（ステップ１００４）。なお、実施例１および実施例２と同様に、円操作ポインタの動きに関連するアイコンを表示する際は、入力装置１００は、円操作ポインタの回転に伴い該アイコンの大きさを変化させる。

さらに、ユーザ１０３が手を回す動作を継続したことにより、円操作ポインタ９０２が所定の角度まで回転した場合（ステップ１００５：Ｙｅｓ）、入力装置１００は円操作ポインタ９０２が位置する操作領域９００や円操作ポインタ９０２の回転方向に応じた操作を実行させる（ステップ１００６）。また、円操作ポインタ９０２が操作開始状態から所定の角度まで回転していない場合は、前記ステップ１００３からステップ１００５が繰り返される（ステップ１００５：Ｎｏ）。この際に、円操作ポインタ９０２はユーザ１０３が手を回す動きに同期するように回転する。

一方、前記ステップ１００３において、ポインタ９００が操作領域９０１の外側にあったとする（ステップ１００３：Ｎｏ）。入力装置１００は、いずれかの操作領域９０１の中で円操作ポインタ９０２を表示していた際には、円操作ポインタ９０２に代わりポインタ９００を表示し（ステップ１００７）、ユーザ１０３が手を動かすと（ステップ１００８：Ｙｅｓ）、ユーザ１０３の手の位置に応じてポインタ９００の位置を移動する（ステップ１００９）。なお、前記ステップ１００８において、ユーザ１０３の手が動いていない場合は、前記ステップ１００１に戻り、その後の処理が継続される（ステップ１００８：Ｎｏ）。また、ステップ１００９に続き、ユーザが所定の操作にて手の動きの認識の停止を指示した際（ステップ１０１０）は、入力装置１００は手の動きの認識を終了する。

このように、入力装置１００は、ユーザ１０３が手を動かす動作を認識し、該動作に応じてポインタ９００を移動させ、さらに表示部１０１におけるポインタ９００の位置に応じて、ポインタ９００に代わり円操作ポインタ９０２を表示することにより、ユーザ１０３に対して指示している位置で有効な操作を提示する。例えば、ユーザ１０３が表示部１０１に表示された地図を操作する際には、手を動かすことによりポインタ９００を移動し、ポインタ９００が円操作ポインタ９０２に変化することで、地図上で拡大ができる箇所を確認し、さらに円操作ポインタ９０２が表示される箇所で手を回す動きをすることにより、時計回りに回した際には地図を拡大するなどの操作を行うことができる。これにより、ユーザは、ポインタ９００や円操作ポインタ９０２の表示を介して、その瞬間にどのような操作状態にあり、どのような操作を行えば操作が実行されるか、どの程度手を動かせばよいのかを、ユーザの動きの一つ一つに対応して確認することができるため、ユーザは、自分が意図しない操作が行われないように、動きを修正することができ、ＧＵＩの操作を円滑に行うことができる。

１００・・・入力装置、
１０１・・・表示部、
１０２・・・撮像部、
１０３・・・ユーザ、
１０４・・・ポインタ、
２００・・・動作検出（動き検出）部、
２０１・・・制御部、
２０２・・・映像信号処理部、
２０３・・・手位置検出部、
２０４・・・円動作検出部、
３００・・・アイコン、
５００・・・選択項目、
６００・・・アイコン、
８００・・・ライン、
９００・・・ポインタ、
９０１・・・操作領域、
９０２・・・円操作ポインタ。

Claims

操作者の動きが画像信号として入力される入力部と、
前記入力部に入力された画像信号から、手の動きを検出する動作検出部と、
グラフィカルユーザインタフェースを表示する表示部と、
前記動作検出部で検出された手の動きに従って、前記表示部で表示される前記グラフィカルユーザインタフェースを変更させる制御部と、を備え、
前記制御部は、前記動作検出部で検出された手の動きに同期するようにポインタを動かし、ポインタが動いた量に対応した動作量を示すように、前記グラフィカルユーザインタフェースを変更させることを特徴とする入力装置。
前記動作検出部で検出される手の動きは、手を回す動きであり、
手の動きに同期したポインタの動きは、ポインタを回転させる動きであることを特徴とする請求項１に記載の入力装置。
前記動作量は、アイコンの拡大量あるいは縮小量であることを特徴とする請求項１に記載の入力装置。
前記動作量は、ポインタが動いた軌跡であることを特徴とする請求項１に記載の入力装置。
前記制御部は、前記動作量が、所定の量になった場合に、所定の操作を実行させるように、前記グラフィカルユーザインタフェースを変更させることを特徴とする請求項１に記載の入力装置。
前記所定の操作の実行は、ポインタが示される位置の拡大表示や縮小表示であることを特徴とする請求項５に記載の入力装置。
前記所定の操作の実行は、複数の選択項目からポインタが示される任意の選択項目の選択であることを特徴とする請求項５に記載の入力装置。
前記制御部は、前記動作検出部で検出された手の動きに同期するようにポインタを動かし、ポインタが所定の表示領域内にある場合に、ポインタが動いた量に対応した動作量を示すように、前記グラフィカルユーザインタフェースを変更させることを特徴とする請求項１に記載の入力装置。