[go: up one dir, main page]

JP2008146243A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2008146243A
JP2008146243A JP2006330942A JP2006330942A JP2008146243A JP 2008146243 A JP2008146243 A JP 2008146243A JP 2006330942 A JP2006330942 A JP 2006330942A JP 2006330942 A JP2006330942 A JP 2006330942A JP 2008146243 A JP2008146243 A JP 2008146243A
Authority
JP
Japan
Prior art keywords
hand shape
display
image
hand
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006330942A
Other languages
English (en)
Inventor
Satoshi Ishigaki
智 石垣
Tsukasa Ike
司 池
Takahiro Taniguchi
恭弘 谷口
Hisashi Kazama
久 風間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006330942A priority Critical patent/JP2008146243A/ja
Priority to US11/951,760 priority patent/US20080141181A1/en
Publication of JP2008146243A publication Critical patent/JP2008146243A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】少数のジェスチャを用いて多くの機能を実行し、意図しない機能の実行を防止すること。
【解決手段】手形状認識部１２７は、カメラ１２６から画像を受け取り、画像が手形状データベース１２８に格納される第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、位置情報を含む第１の所定の情報又は第２の所定の情報を出力する。ジェスチャ解釈部１２９は、第１の所定の情報を受け取った場合、複数の表示項目を含むユーザインタフェースをグラフィクスコントローラ１１４を介してディスプレイ１１５に表示すると共に、位置情報に従って複数の表示項目の一つを選択する。ジェスチャ解釈部１２９は表示項目の一つが選択された状態で第２の所定の情報を受け取った場合、当該表示項目に関連付けられた機能を実行するよう操作対象ソフトウェア１３０にコマンドを送信する。
【選択図】 図２

Description

本発明は一般に、情報処理装置、情報処理方法、及びプログラムに関し、特に、ユーザのジェスチャを認識し、認識されたジェスチャに基づいた制御を行うことができる情報処理装置、情報処理方法、及びプログラムに関する。
従来、テレビ又はパーソナルコンピュータ等の情報処理装置をユーザのジェスチャによって操作する方法が提案されている。このような方法によれば、マウス、キーボード、又はリモートコントローラといった入力装置を使用せずに、情報処理装置を遠隔操作することができる。
一例として、片手ハンドジェスチャを利用してテレビを操作する方法が提案されている（例えば、特許文献１参照）。この方法においては、トリガージェスチャが検出されるとテレビが制御モードに入り、ＴＶ画面の最下部分にハンドアイコン及び機械制御アイコンが表示される。このハンドアイコンを、所望の特定の機械制御アイコン上に移動させて、所望の制御が行われる。ユーザが手を閉じるか、手の表示を止めることにより、テレビは視聴モードに戻される。
特許第２９４１２０７号明細書
しかし、特許第２９４１２０７号明細書に記載された方法では、ハンドアイコンが機械制御アイコン上にあるときに、当該機械制御アイコンに対応する制御が行われてしまう。このため、ユーザがハンドアイコンを所望の機械制御アイコンまで移動する過程で、ハンドアイコンが他の機械制御アイコンに重なった場合には、ユーザが意図しない機能が実行される可能性がある。
そこで、本発明は、少数のジェスチャを用いて多くの機能を実行することができ、意図しない機能の実行を防止することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明の一つの面によれば、ディスプレイと、第１の手形状を示す第１のデータ及び第２の手形状を示す第２のデータを格納する手形状データベースと、カメラから供給される画像を受け取り、前記画像が前記手形状データベースに格納される前記第１の手形状及び前記第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力する手形状認識部と、前記手形状認識部から前記第１の所定の情報を受け取った場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースを前記ディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って前記複数の表示項目の一つを選択し、前記複数の表示項目の一つが選択された状態で前記手形状認識部から前記第２の所定の情報を受け取った場合、前記選択された表示項目に関連付けられた前記機能を実行するジェスチャ解釈部とを具備することを特徴とする情報処理装置が提供される。
また、本発明の別の面によれば、カメラから供給される画像を受け取り、前記画像が手形状データベースに格納されている第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力するステップと、前記第１の所定の情報が出力された場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースをディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って、前記複数の表示項目の一つを選択するステップと、前記複数の表示項目の一つが選択された状態で、前記第２の所定の情報が出力された場合、前記選択された表示項目に関連付けられた前記機能を実行するステップとを具備することを特徴とする情報処理方法が提供される。
さらに、本発明のまた別の面によれば、コンピュータに、カメラから供給される画像を受け取り、前記画像が手形状データベースに格納されている第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力する機能と、前記第１の所定の情報が出力された場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースをディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って、前記複数の表示項目の一つを選択する機能と、前記複数の表示項目の一つが選択された状態で、前記第２の所定の情報が出力された場合、前記選択された表示項目に関連付けられた前記機能を実行する機能とを実現させることを特徴とするプログラムが提供される。
本発明によれば、少数のジェスチャを用いて多くの機能を実行することができ、意図しない機能の実行を防止することができる情報処理装置、情報処理方法、及びプログラムを提供することができる。
以下、本発明の実施形態について図面を参照しながら説明する。
まず、図１を参照しつつ、本発明の第１の実施形態に係る情報処理装置について説明する。
図１は、本発明の第１の実施形態に係る情報処理装置の構成を概略的に示すブロック図である。この情報処理装置は、例えば、ノートブック型のパーソナルコンピュータとして実現されている。
図１に示されるように、パーソナルコンピュータ１００は、ＣＰＵ１１１、主メモリ１１２、ノースブリッジ１１３、グラフィクスコントローラ（画面表示部）１１４、ディスプレイ１１５、サウスブリッジ１１６、ハードディスクドライブ（ＨＤＤ）１１７、光ディスクドライブ（ＯＤＤ）１１８、ＢＩＯＳ−ＲＯＭ１１９、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２０、電源回路１２１、バッテリ１２２、ＡＣアダプタ１２３、タッチパッド１２４、キーボード（ＫＢ）１２５、カメラ１２６、及び電源ボタン２１等を備える。
ＣＰＵ１１１は、パーソナルコンピュータ１００の動作を制御するプロセッサである。ＣＰＵ１１１は、ＨＤＤ１１７から主メモリ１１２にロードされる、オペレーティングシステム（ＯＳ）及び各種のアプリケーションプログラムを実行する。また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、周辺デバイスを制御するためのプログラムである。ＢＩＯＳは、パーソナルコンピュータ１００の電源投入時に最初に実行される。
ノースブリッジ１１３は、ＣＰＵ１１１のローカルバスとサウスブリッジ１１６との間を接続するブリッジデバイスである。ノースブリッジ１１３は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能を有している。
グラフィクスコントローラ１１４は、パーソナルコンピュータ１００のディスプレイ１１５を制御する表示コントローラである。グラフィクスコントローラ１１４は、ＯＳ又はアプリケーションプログラムによってＶＲＡＭ（図示せず）に書き込まれた表示データから、ディスプレイ１１５に出力すべき表示信号を生成する。ディスプレイ１１５は、例えば、液晶ディスプレイ（ＬＣＤ）である。
サウスブリッジ１１６には、ＨＤＤ１１７、ＯＤＤ１１８、ＢＩＯＳ−ＲＯＭ１１９、カメラ１２６、及びＥＣ／ＫＢＣ１２０が接続されている。また、サウスブリッジ１１６は、ＨＤＤ１１７及びＯＤＤ１１８を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラも備えている。
ＥＣ／ＫＢＣ１２０は、電力管理のためのエンベデッドコントローラ（ＥＣ）と、タッチパッド１２４及びキーボード（ＫＢ）１２５を制御するためのキーボードコントローラ（ＫＢＣ）とが集積された、１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１２０は、例えば、電源ボタン２１が操作されたときに、電源回路１２１と共同してパーソナルコンピュータ１００の電源をオンにする。パーソナルコンピュータ１００は、ＡＣアダプタ１２３を介して外部電源が供給される場合、外部電源によって駆動される。外部電源が供給されない場合、パーソナルコンピュータ１００は、バッテリ１２４によって駆動される。
カメラ１２６は、例えばＵＳＢカメラである。カメラ１２６のＵＳＢコネクタは、パーソナルコンピュータ１００の本体に設けられたＵＳＢポート（図示せず）に接続される。カメラ１２６によって撮影された画像（動画像）は、パーソナルコンピュータ１００のディスプレイ１１５に表示することができる。カメラ１２６によって供給される画像のフレームレートは、例えば、１５フレーム／秒である。カメラ１２６は、外付けのカメラであっても、パーソナルコンピュータ１００の内蔵カメラであってもよい。
図２は、パーソナルコンピュータ１００の構成の一部を、より詳細に示すブロック図である。
図２に示されるように、カメラ１２６によって撮影された画像は、手形状認識部１２７に供給される。手形状認識部１２７は、供給された画像が、手形状データベース１２８に予め格納（登録）されている複数の手形状のうちのいずれか１つと一致する手形状を含むか否かを判定する。例えば、手形状認識部１２７は、カメラ１２６から供給される画像内から、手形状データベース１２８に予め格納されている複数の手形状のうちの１つを検索する。
手形状データベース１２８は、少なくとも２種類の手形状、即ち、第１の手形状及び第２の手形状を格納する。例えば、第１の手形状は平手（右手の５本の指を伸ばした状態）であり、第２の手形状は握りこぶし（右手の５本の指を曲げた状態）であってよい。
第１の手形状は、ディスプレイ１１５にユーザインタフェースを表示させるために用いられる。ユーザインタフェースは、１又は複数の表示項目を含む。例えば、ユーザインタフェースは、複数の表示項目として複数のボタンを含むユーザインタフェース（メニュー）であってよい。また、ユーザインタフェースは、複数の表示項目として複数のスライダバーを含むユーザインタフェースであってもよい。さらに、ユーザインタフェースは、複数の表示項目として複数のダイヤルを含むユーザインタフェースであってもよい。
また、第１の手形状は、ユーザのジェスチャ（例えば、手の動き）に合わせてディスプレイ１１５に表示されるカーソル（以下、「ユーザカーソル」と称する）を、移動させるために用いられる。つまり、手形状認識部１２７が、カメラ１２６から供給された画像は第１の手形状を含むと判定した場合、ユーザインタフェース及びユーザカーソルがディスプレイ１１５に表示される。なお、本明細書におけるユーザカーソルは、パーソナルコンピュータ１００のＯＳによってディスプレイ１１５上に表示されるカーソルとは異なるカーソルである。
第２の手形状は、ユーザカーソルによって選択又は操作された表示項目に関連付けられた機能の実行を指示するために用いられる。従って、ユーザが第１の手形状を用いてユーザカーソルをある表示項目（例えば、再生ボタン）に重ねて当該表示項目を選択しただけでは、当該表示項目に関連付けられた機能（例えば、再生機能）は実行されない。ユーザが、第１の手形状を用いて表示項目を選択し、且つ、第１の手形状を第２の手形状に変化させて当該表示項目に関連付けられた機能の実行を指示した場合にのみ、選択された表示項目に関連付けられた機能が実行される。このため、ユーザがディスプレイ１１５に表示されるユーザカーソルを動かしている最中に、所望の表示項目以外の表示項目上にユーザカーソルが位置して、意図しない機能が実行されてしまうことを防止することができる。
なお、第１の手形状及び第２の手形状は、それぞれ右手の平手と握りこぶしとに限定されるものではない。任意の手形状を第１の手形状及び第２の手形状として用いることができる。例えば、左手の平手と握りこぶしとを、それぞれ第１の手形状と第２の手形状として用いてもよい。例えば、第１の手形状は親指のみを立てて、その他の指を曲げた手形状（いわゆる、賛成のサイン（thumbs-up sign））であり、第２の手形状は、全ての指を曲げた手形状であってもよい。さらに、１つの手形状を第１の手形状として用い、同一の手形状で角度を変化させたものを第２の手形状として用いてもよい。例えば、上述した賛成のサインの親指を真上に向けた手形状を第１の手形状として用い、賛成のサインを９０度左に回転させた手形状を第２の手形状として用いることもできる。
また、手形状データベース１２８は、第１の手形状と第２の手形状に加えて、独立した機能（例えば、一時停止）が割り当てられた第３の手形状を格納してもよい。
上述したような手形状データベース１２８に格納（登録）された手形状のうちの１つが、カメラ１２６から供給される画像に含まれると手形状認識部１２７が判定した場合、手形状認識部１２７は、所定の情報（その手形状の識別子、及びその手形状の画像内の位置情報（例えば、座標））をジェスチャ解釈部１２９に供給する。例えば、画像が第１の手形状を含む場合、第１の手形状の当該画像内における位置を示す位置情報を含む第１の所定の情報を出力する。一方、画像が第２の手形状を含む場合、第２の所定の情報を出力する。
ジェスチャ解釈部１２９は、手形状認識部１２７から供給された情報に基づいて、グラフィクスコントローラ１１４を介してディスプレイ１１５に複数の表示項目、それぞれの表示項目の選択状態、及びユーザカーソル等を表示し、操作対象ソフトウェア１３０に対してコマンドを出力する。
手形状認識部１２７及びジェスチャ解釈部１２９は、例えば、ＣＰＵ１１１（図１）によって実行されるソフトウェアにより実現することができる。また、操作対象ソフトウェア１３０は、例えば、ＨＤＤ１１７（図１）に格納されている。
図３及び図４を参照しつつ、手形状認識部１２７について、より詳細に説明する。
図３は、手形状認識部１２７の構成を、より詳細に示すブロック図である。図３に示されるように、手形状認識部１２７は、部分領域画像抽出部１２７ａと対象物検出部１２７ｂとを備える。
部分領域画像抽出部１２７ａは、カメラ１２６から供給された画像上の様々な位置に様々な大きさの部分領域を設定し、各部分領域内の画像を抽出し、抽出された画像を対象物検出部１２７ｂに供給する。例えば、図４に示されるように、部分領域は、ｎ種類のウィンドウサイズ（Ｗ１乃至Ｗｎ、１＜ｎ）を用いて設定される。カメラ１２６から供給される画像は、まず、最小のウィンドウサイズＷ１を用いて、図４中の矢印Ｘ１で示されるように走査される。ウィンドウサイズは所望の画像（手形状データベース１２８に格納されている手形状）が抽出されるまで順次拡大される。最終的には、最大のウィンドウサイズＷｎを用いて、図４中の矢印Ｘｎで示されるように画像が走査される。
なお、カメラ１２６から供給された画像内でユーザのジェスチャ（例えば、第１の手形状又は第２の手形状）が抽出される領域は、限られた領域（例えば、画像の中央部分、画像の下部領域等）であることが考えられる。従って、部分領域画像抽出部１２７ａによる走査対象の領域を、カメラ１２６で撮影された画像内の一定の領域に限定してもよい。この場合、部分領域画像抽出部１２７ａにおける処理負担（計算量）を減少させることができる。
対象物検出部１２７ｂは、部分領域画像抽出部１２７ａから供給される画像を所定のサイズに正規化する。対象物検出部１２７ｂは、正規化された画像を手形状データベース１２８に格納された複数の手形状と比較して、正規化された画像内に手形状が含まれるか否かを判定する。手形状が画像内に含まれると判定された場合、対象物検出部１２７ｂは、手形状の識別子と画像内の位置情報とをジェスチャ解釈部１２９に供給する。例えば、第１の手形状の識別子を「１」に設定し、第２の手形状の識別子を「２」に設定することができる。また、第１の手形状及び第２の手形状の識別子は数字に限定されず、文字又は文字列を使用してもよい。画像内の手形状の位置情報は、例えばＸＹ座標で表される。
なお、手形状認識部１２７の構成は、上述した構成に限定されるものではない。手形状認識部１２７の構成は、カメラ１２６から供給される画像から、ユーザのジェスチャを認識できる構成であればよい。より具体的には、手形状認識部１２７の構成は、認識対象物が画像内に含まれるか否かを判定でき、認識対象物が画像内に含まれる場合には、当該認識対象物の画像内における位置（領域）を得られる構成であればよい。
図５を参照しつつ、ジェスチャ解釈部１２９について、より詳細に説明する。
図５は、ジェスチャ解釈部１２９の構成を、より詳細に示すブロック図である。図５に示されるように、ジェスチャ解釈部１２９は、ジェスチャ変換部１２９ａ、メニュー制御部１２９ｂ、及びコマンド送信部１２９ｃを備えている。
ジェスチャ変換部１２９ａは、手形状認識部１２７の対象物検出部１２７ｂから受け取った手形状の識別子と位置情報とを、ユーザカーソルの位置と状態（ユーザカーソル移動状態（第１の手形状に対応）あるいは選択状態（第２の手形状に対応））とを表す情報に変換する。ジェスチャ変換部１２９ａは、この情報をメニュー制御部１２９ｂに供給する。また、ジェスチャ変換部１２９ａは、手形状の位置とユーザカーソルの位置との間の関係と、手形状とユーザカーソルの状態との間の関係を制御できる。例えば、ジェスチャ変換部１２９ａで３つ以上の手形状を識別し、どの手形状を第１、第２の手形状として使用するかをユーザに設定させることができる。なお、ジェスチャ変換部１２９ａがユーザカーソルを制御する方式には、絶対座標方式と相対座標方式の２種類の方式があるが、これらの方式については後述する。
メニュー制御部１２９ｂは、ジェスチャ変換部１２９ａから受け取った情報に応じて表示項目の状態（例えば、選択状態と非選択状態）を制御し、表示項目の状態に応じてディスプレイ１１５に表示される種々の表示項目（例えば、ボタンを含むメニュー、スライダバー、ダイヤル等）を制御する信号をグラフィックスコントローラ１１４に供給する。また、メニュー制御部１２９ｂは、ジェスチャ変換部１２９ａから受け取った情報に応じて、コマンド送信部１２９ｃに指示を与える。例えば、ユーザが、ディスプレイ１１５に表示されるメニューに含まれるボタン（例えば、再生ボタン）を第１の手形状を用いて選択した状態で、第１の手形状を第２の手形状に変化させた場合、メニュー制御部１２９ｂは、当該ボタンに関連付けられた機能（例えば、再生機能）を実行するようにコマンド送信部１２９ｃに指示を与える。
コマンド送信部１２９ｃは、メニュー制御部１２９ｂからの指示に応じて、操作対象ソフトウェア１３０（例えば、ＡＶソフトウェア）にコマンドを送信する。例えば、メニューに含まれるボタン（例えば、再生ボタン）に関連づけられた機能（例えば、再生機能）を実行するように指示を受け取った場合、コマンド送信部１２９ｃは、操作対象ソフトウェア１３０に、当該機能を実行するようにコマンドを送信する。
上述したように、本発明の第１の実施形態に係るパーソナルコンピュータ１００によれば、少数のジェスチャを用いて多くの機能を実行することができ、意図しない機能の実行を防止することができる情報処理装置を提供することができる。
また、上記説明では、本発明の第１の実施形態に係る情報処理装置がパーソナルコンピュータ１００として実現されている。しかし、本発明の第１の実施形態に係る情報処理装置は、テレビ、デスクトップ型のパーソナルコンピュータ、又はゲーム機器として実現することもできる。
次に、図６及び図７Ａ乃至図７Ｆを参照しつつ、ジェスチャによってメニューを制御する処理を本発明の第２の実施形態として説明する。この第２の実施形態に係る情報処理方法においては、ユーザが第１の手形状を用いると複数種類のボタンを含むメニューがディスプレイ１１５に表示される。以下、本発明の第２の実施形態に係る情報処理方法を、図１に示されるパーソナルコンピュータ１００に適用した場合を例に説明する。また、以下の説明では、第１の手形状として平手（右手）が、第２の手形状として握りこぶし（右手）が用いられるものとする。
図６は、本発明の第２の実施形態に係る情報処理方法を説明するためのフローチャートである。図７Ａ、図７Ｂ、及び図７Ｃは、パーソナルコンピュータ１００のディスプレイ１１５に表示されるメニューの例を示す概略図である。図７Ｄ、図７Ｅ、及び図７Ｆは、カメラ１２６によって撮影されるユーザの画像の例を表す概略図である。
まず、カメラ１２６によってユーザの画像が撮影される（ステップＳ６００）。例えば、図７Ｄに示すような画像がカメラ１２６によって撮影され、当該画像はカメラ１２６から手形状認識部１２７に供給される。手形状認識部１２７は、供給された画像に含まれる手形状を認識し、その識別子と座標を出力する（ステップＳ６０１）。換言すれば、ステップＳ６０１において、手形状認識部１２７は、供給された画像が第１の手形状を含むか否かを判定する。
供給された画像（図７Ｄ）に手形状データベース１２８に格納（登録）されている手形状が含まれていた場合、手形状認識部１２７は、手形状の識別子及び位置情報を含む所定の手形状座標情報をジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、供給された情報に基づいてユーザのジェスチャを解釈し、ユーザカーソルの位置と状態を変更する（ステップＳ６０２）。手形状認識部１２７にて第１の手形状（即ち、平手）が認識されていた場合、即ち、供給された画像が第１の手形状を含んでいた場合（ステップ６０３でＹＥＳ）、ジェスチャ解釈部１２９は、解釈結果に基づいて、ディスプレイ１１５に表示されるメニューを、グラフィクスコントローラ１１４を介して制御する（ステップＳ６０６）。例えば、ジェスチャ解釈部１２９は、表示項目（例えば、メニューに含まれるボタン）が選択された場合、当該表示項目の表示状態を変更する。供給された画像は第１の手形状を含むと初めて判定された場合、例えば、図７Ａに示すメニュー及びユーザカーソルがディスプレイ１１５に表示される。図７Ａに示されるメニューは、４種類のボタン、即ち、再生ボタン７１、停止ボタン７２、巻き戻しボタン７３、及び早送りボタン７４を含んでいる。また、図７Ａにおいて、ユーザカーソルは、再生ボタン７１内の小さな矢印として示されている。ユーザカーソルは、図７Ａに示されるような小さな矢印に限定されず、任意の形状であってよい。
ステップＳ６００乃至Ｓ６０６の処理は、ユーザが右手を第１の手形状（平手）から第２の手形状（握りこぶし）に変化させるまで繰り返される。言い換えれば、ステップＳ６００乃至Ｓ６０６の処理は、ユーザが第１の手形状を用いてユーザカーソルを移動させている限り繰り返される。
その後、図７Ｅに示すように、ユーザが第１の手形状を維持した右手を矢印Ｘで示される方向に移動させた後の画像が、カメラ１２６から手形状認識部１２７に供給された場合を想定する（ステップＳ６００）。この場合、手形状認識部１２７は、供給された画像（図７Ｅ）に含まれる手形状を認識し、その識別子と座標を出力する（ステップS６０１）。次いで、ジェスチャ解釈部１２９は、供給された情報に基づいてユーザのジェスチャを解釈し、ユーザカーソルの位置と状態を変更し（ステップ６０２）、ジェスチャ解釈部１２９にて第１の手形状を含むと判定される（ステップＳ６０３でＹＥＳ）。この解釈結果に基づいて、ディスプレイ１１５のユーザカーソル及びメニューが制御される（ステップＳ６０６）。より具体的には、図７Ｂに示されるように、ユーザカーソルの位置は、再生ボタン７１内の位置（図７Ａ）から停止ボタン７２内の位置（図７Ｂ）に移動される。また、メニューの表示状態は、再生ボタン７１が選択されていることを示す表示状態（図７Ａ）から、停止ボタン７２が選択されていることを示す表示状態（図７Ｂ）に変化するよう制御される。
選択されたボタンの表示状態としては、選択されたボタンの表示色を変更する、選択されたボタンを点滅させる、選択されたボタンの外周を太線で表示する等の表示状態が考えられる。但し、選択されたボタンの表示状態は、これらの表示状態に限定されず、現在選択されているボタンをユーザに伝達できる表示状態であれば、任意の表示状態を採用することができる。
一方、手形状認識部１２７の出力をジェスチャ解釈部１２９で解釈した結果、供給された画像は第１の手形状を含まないと判定した場合（ステップＳ６０３でＮＯ）、ジェスチャ解釈部１２９は、供給された画像が第２の手形状を含むか否かを判定する（ステップＳ６０８）。
供給された画像は第２の手形状を含まないと判定された場合（ステップＳ６０８でＮＯ）、処理はステップＳ６００に戻る。換言すれば、撮影された画像が、第１の手形状を含まず（ステップＳ６０２でＮＯ）、且つ、第２の手形状も含まないので（ステップＳ６０８でＮＯ）、メニューはディスプレイ１１５に表示されない。
一方、供給された画像は第２の手形状を含むと判定された場合（ステップＳ６０８でＹＥＳ）、ジェスチャ解釈部１２９は、解釈結果に基づいて、ディスプレイ１１５に表示されるメニューを、グラフィクスコントローラ１１４を介して制御し（ステップＳ６１０）、操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ６１２）。
例えば、図７Ｃに示される停止ボタン７２が選択された状態において、図７Ｆに示される画像がカメラ１２６によって撮影された場合（ステップＳ６００）を想定する。この場合、撮影された画像（図７Ｆ）は第２の手形状（握りこぶし）を含んでいる。従って、手形状認識部１２７は、第２の手形状の識別子（例えば、「２」）と、第２の手形状が停止ボタン７２に対応する座標（例えば、（ｘ，ｙ）＝（１２，５））に存在することを表す位置情報とをジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、手形状認識部１２７から供給された情報に基づいて、停止ボタン７２の機能が選択されたと解釈し（ステップＳ６１０）、停止ボタン７２に関連付けられた機能（例えば、画像の再生を停止する機能）を実行するように操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ６１２）。その後、処理はステップＳ６００に戻る。
なお、メニューに含まれるボタンが第１の手形状を用いて選択され、その機能の実行が第２の手形状を用いて指示された場合、メニューの表示を終了してもよい。また、メニューの表示を終了するためのボタンをメニューに追加して、当該ボタンが選択され、その機能の実行が指示された場合のみ、メニューの表示を終了してもよい。さらに、第１の手形状及び第２の手形状のいずれも含まない画像がカメラ１２６によって撮影された場合に、メニューの表示を終了してもよい。
上述した本発明の第２の実施形態に係る情報処理方法によれば、ユーザは２種類の手形状（第１の手形状及び第２の手形状）を覚えるだけで、多くの機能を実行することができる。従って、ユーザは多くの種類のジェスチャを記憶する必要がなく、ユーザに掛かる負担が少ない。また、種々の機能を実行するためのボタンを含むメニューがディスプレイ１１５に表示されるため、ユーザは、どのような種類の機能が実行できるかを容易に確認することができる。さらに、ユーザカーソルがディスプレイ１１５に表示されるため、ユーザが、どの機能が現在選択されているかを容易に確認することができる。
また、メニューに含まれるボタン（例えば、再生ボタン７１）を第１の手形状を用いて選択しただけでは、選択されたボタンに関連付けられた機能は実行されない。ユーザが右手（又は左手）を第１の手形状から第２の手形状に変化させた場合のみ、選択されたボタンに関連付けられた機能が実行される。従って、ユーザがユーザカーソルを移動させている途中で、ユーザが意図しないボタンにユーザカーソルが重なって、当該ボタンの機能が誤って実行されてしまうことを防止することができる。
さらに、供給された画像が第１の手形状を含むと判定された場合のみ、メニューがディスプレイ１１５に表示され、供給された画像が第１の手形状及び第２の手形状のいずれも含まないと判定された場合に、メニューの表示を終了させることもできる。従って、ユーザは、必要に応じてメニューをディスプレイ１１５に表示させることができる。また、種々の機能が関連付けられたボタンを含むメニューを、ディスプレイ１１５の全面を用いて表示することができる。
ここで、ユーザカーソルを動かす方式について説明する。
ユーザカーソルを制御する方式には、絶対座標方式と相対座標方式の２種類の方式がある。絶対座標方式では、カメラ１２６で撮影された画像内のユーザの右手の位置と、ディスプレイ１１５のユーザカーソルの位置とが１対１で対応する。一方、相対座標方式では、前フレームにおける手の位置と現フレームにおける手の位置との間の距離に応じて、ユーザカーソルが移動する。
絶対座標方式では、カメラ１２６によって撮影された画像（又は、画像内の一定範囲）内における複数の領域のそれぞれと、ディスプレイ１１５（又は、メニュー）上のユーザカーソルの位置とが対応する。撮影された画像内でユーザの右手が特定の位置にあると、ユーザカーソルはディスプレイ１１５の対応する位置に表示される。絶対座標方式を用いる場合、ユーザカーソルをディスプレイ１１５（又は、メニュー）上の任意の位置（例えば、再生ボタン７１に対応する領域）に直接移動させることが出来る。また、手形状データベース１２８に格納されている手形状が認識されなくなったときに、メニューを非表示にすることができる。また、絶対座標方式を用いる場合、メニュー画面と撮影された画像とを重ね合わせる表示方法を採用することができる。
図８Ａ及び図８Ｂは、メニュー画面とカメラ１２６で撮影された画像とを重ね合わせる表示方法を説明するための概略図である。図８Ａに示すように、ディスプレイ１１５に表示されるメニューに、カメラ１２６で撮影された画像（図８Ｂ）を重ね合わせて、ユーザカーソルの位置と、撮影された画像内の手の位置とが一致するように表示することができる。このような表示方法を採用することで、ユーザは体のどの部分がユーザカーソルに対応しているか、及びディスプレイ１１５の所望の位置までユーザカーソルを移動させるためには、ユーザ自身の手をどれだけ動かす必要があるかを容易に把握することができる。従って、操作性を向上させることができる。なお、図８Ａに示されるような表示方法を採用する場合、ユーザは自身の右手（又は左手）の位置が、メニュー上のどの位置に対応するのかを容易に把握することができる。従って、ユーザカーソルをディスプレイ１１５に表示しなくてもよい。
一方、相対座標方式では、ユーザの手の移動量に応じてユーザカーソルが移動する。手の移動量に対するユーザカーソルの移動量の比を低下させることで、絶対座標方式よりも高い精度でユーザカーソルを制御することができる。
また、上述した４種類のボタンを備えるメニューは、階層構造のメニューであってもよい。
図９Ａは、階層構造のメニューを用いる場合における、上位レベルのメニューの例を示す概略図であり、図９Ｂは、下位レベルのメニューの例を示す概略図である。
図９Ａに示されるメニュー（上位レベルのメニュー）は、再生ボタン７１、停止ボタン７２、チャンネル選択ボタン（Ｃｈ．）７５、及び音量制御ボタン７６を備えている。ユーザが、第１の手形状（平手）を用いてユーザカーソルをチャンネル選択ボタン７５上に移動させ、チャンネル選択ボタン７５を選択した状態で、第１の手形状を第２の手形状（握りこぶし）に変化させると、チャンネル選択ボタン７５に関連付けられた機能が実行される。即ち、図９Ｂに示されるチャンネル選択メニューが、ディスプレイ１１５に表示される。
図９Ｂに示されるチャンネル選択メニュー（下位レベルのメニュー）は、チャンネル１乃至チャンネル６に対応する６つのボタンを備えている。ユーザが、所望のチャンネルに対応するボタンを第１の手形状を用いて選択し、当該ボタンが選択された状態で、第１の手形状を第２の手形状に変化させると、所望のチャンネルの番組がディスプレイ１１５に表示される。例えば、図９Ｂに示されるように、ユーザがチャンネル４に対応するボタンＣｈ．４を平手で選択し、ボタンＣｈ．４が選択された状態で、右手を平手から握りこぶしに変えると、チャンネル４の番組がディスプレイ１１５に表示される。
また、図１０Ａは、図９Ａに示す階層構造のメニューを用いる場合において、音量制御ボタン７６が選択された状態を示す。この場合、図１０Ｂに示されるような音量制御メニュー（下位レベルのメニュー）が表示される。この音量制御メニューは、音量レベルを高さの異なる複数の柱で表している。ユーザは、第１の手形状を用いて複数の柱のうちの１つを選択することができる。例えば、図１０Ｂは、最右端の柱が選択された状態、即ち、最大音量が選択された状態を示す。この状態において、ユーザが、右手を第１の手形状から第２の手形状に変化させると、音量が最大音量に変更される。
上述したような階層構造のメニューを用いることで、ディスプレイ１１５に一度に表示される項目の数を減少させつつ、種々の機能を実行することができる。
次に、図１１及び図１２Ａ乃至図１２Ｆを参照しつつ、ジェスチャによってスライダバーを制御する処理を本発明の第３の実施形態として説明する。この第３の実施形態に係る情報処理方法においては、ユーザが第１の手形状を用いるとスライダバーがディスプレイ１１５に表示される。以下、本発明の第３の実施形態に係る情報処理方法を、図１に示されるパーソナルコンピュータ１００に適用した場合を例に説明する。また、以下の説明では、第１の手形状として平手、第２の手形状として握りこぶしが用いられるものとする。
図１１は、本発明の第３の実施形態に係る情報処理方法を説明するためのフローチャートである。図１２Ａ、図１２Ｂ、及び図１２Ｃは、パーソナルコンピュータ１００のディスプレイ１１５に表示されるスライダバーの例を示す概略図である。また、図１２Ｄ、図１２Ｅ、及び図１２Ｆは、カメラ１２６によって撮影されるユーザの画像の例を表す概略図である。
まず、カメラ１２６によってユーザの画像が撮影される（ステップＳ１１００）。このとき、例えば、図１２Ｄに示すような画像が撮影される。カメラ１２６は、撮影した画像を手形状認識部１２７に供給する。手形状認識部１２７は、供給された画像に含まれる手形状を認識し、その識別子と座標を出力する（ステップＳ１１０１）。換言すれば、ステップＳ１１０１において、手形状認識部１２７は、供給された画像が第１の手形状を含むか否かを判定する。
供給された画像（図１２Ｄ）に手形状データベース１２８に格納（登録）されている手形状が含まれていた場合、手形状認識部１２７は、第１の手形状の識別子とその位置情報を含む所定の手形状座標情報をジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、供給された情報に基づいてユーザのジェスチャを解釈し、ユーザカーソルの位置と状態を変更する（ステップＳ１１０２）。手形状認識部１２７にて第１の手形状（即ち、平手）が認識されていた場合、即ち、供給された画像が第１の手形状を含んでいた場合（ステップＳ１１０３でＹＥＳ）、ジェスチャ解釈部１２９は、解釈結果に基づいて、スライダバーをディスプレイ１１５に表示するように、グラフィクスコントローラ１１４を制御する（ステップＳ１１０６）。供給された画像は第１の手形状を含むと初めて判定された場合、例えば、図１２Ａに示されるように、ディスプレイ１１５に２種類のスライダバー１２ａ及び１２ｂ、並びにユーザカーソルが表示され、処理はステップＳ１１００に戻る。ここで、スライダバー１２ａはパーソナルコンピュータ１００の音量調節機能と関連付けられ、スライダバー１２ｂは、ディスプレイ１１５の輝度と関連付けられているものとする。また、スライダバー１２ａのスライダＩａを図１２Ａ中の右方向に移動させるほど、音量は上がり、スライダバー１２ｂのスライダＩｂを図１２Ａ中の右方向に移動させるほど、輝度は高くなるものとする。なお、ユーザカーソルによって、例えばスライダバー１２ａが選択されている場合、スライダバー１２ａの表示色を変更して、現在選択されているスライダバーがスライダバー１２ａであることをユーザに伝達することができる。
ステップＳ１１００乃至Ｓ１１０６の処理は、ユーザが右手を第１の手形状（平手）から第２の手形状（握りこぶし）に変化させるまで繰り返される。言い換えれば、ステップＳ１１００乃至Ｓ１１０６の処理は、ユーザが第１の手形状を用いてユーザカーソルを移動させている限り繰り返される。
一方、手形状認識部１２７の出力をジェスチャ解釈部１２９で解釈した結果、供給された画像は第１の手形状を含まないと判定された場合（ステップＳ１１０３でＮＯ）、ジェスチャ解釈部１２９は、当該画像が第２の手形状を含むか否かを判定する（ステップＳ１１０８）。供給された画像は第２の手形状を含まないと判定された場合（ステップＳ１１０８でＮＯ）、処理はステップＳ１１００に戻る。
例えば、図１２Ｅに示すような、第２の手形状（握りこぶし）を含む画像が、カメラ１２６によって供給された場合を想定する（ステップＳ１１００）。この場合、ジェスチャ解釈部１２９は、供給された画像（図１２Ｅ）が第１の手形状を含まないが（ステップＳ１１０３でＮＯ）、第２の手形状（握りこぶし）を含むと判定する（ステップＳ１１０８でＹＥＳ）。ジェスチャ解釈部１２９は、解釈結果に基づいて、ディスプレイ１１５に表示されるスライダバー１２ａ及び１２ｂを含むスライダ画面を、グラフィクスコントローラ１１４を介して制御し（ステップＳ１１１０）、操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ１１１２）。
例えば、音量調節機能が関連付けられたスライダバー１２ａが選択された状態（図１２Ａ）で、画像が第２の手形状を含むと判定されると（ステップＳ１１０８でＹＥＳ）、スライダバー１２ａのスライダＩａは、ドラッグ可能な状態になる。このとき、図１２Ｂに示すように、スライダＩａの表示状態を変化させて、スライダＩａがドラッグ可能な状態にあることをユーザに示すことができる。
選択されたスライダバー（１２ａ、１２ｂ）及びドラッグ可能なスライダ（Ｉａ、Ｉｂ）の表示状態としては、選択されたスライダバー及びスライダの表示色を変更する、選択されたスライダバー及びスライダを点滅させる、選択されたスライダバー及びスライダの外周を太線で表示する等の表示状態が考えられる。但し、選択されたスライダバー及びスライダの表示状態は、これらの表示状態に限定されず、現在選択されている（ドラッグ可能な）スライダバー及びスライダをユーザに伝達できる表示状態であれば、任意の表示状態を採用することができる。例えば、選択されたスライダバー（１２ａ又は１２ｂ）を拡大表示してもよい。
次に、スライダＩａがドラッグ可能な状態において（図１２Ｂ）、ユーザが右手で第２の手形状を維持したまま、図１２Ｆ中の矢印Ｙで示される方向に右手を移動させた後の画像がカメラ１２６によって撮影される場合を想定する（ステップＳ１１００）。この場合、手形状識別部１２７は、第２の手形状の識別子（例えば、「２」）と、その移動後の位置情報（例えば、（ｘ，ｙ）＝（１５，４））とをジェスチャ解釈部１２９に供給する（ステップＳ１１０８）。ジェスチャ解釈部１２９は、供給された情報に基づいて、ユーザのジェスチャを解釈する（ステップＳ１１１０）。解釈結果に基づいて、ジェスチャ解釈部１２９は、供給された位置情報に対応するディスプレイ１１５上の位置にスライダＩａを、グラフィクスコントローラ１１４を介して表示し（ステップＳ１１１０）、操作対象ソフトウェア１３０に音量を上げるようにコマンドを送信する（ステップＳ１１１２）。
なお、スライダバー１２ａのスライダＩａ、及びスライダバー１２ｂのスライダＩｂのうちのいずれか一方の位置が変更された後、スライダバー１２ａ及び１２ｂの表示を終了してもよい。また、スライダバー１２ａ及び１２ｂの表示を終了するためのボタンをスライダバー１２ａ及び１２ｂと共に表示して、ユーザが当該ボタンを第１の手形状を用いて選択した状態で、右手を第１の手形状から第２の手形状に変化させた場合に、スライダバー１２ａ及び１２ｂの表示を終了してもよい。さらに、第１の手形状及び第２の手形状のいずれも含まない画像がカメラ１２６によって撮影された場合に、スライダバー１２ａ及び１２ｂの表示を終了してもよい。
また、上記の説明では２種類のスライダバー１２ａ及び１２ｂがディスプレイ１１５に表示される場合が述べられているが、ディスプレイ１１５に表示されるスライダバーの数は３以上であってもよい。また、１種類のスライダバーのみがディスプレイ１１５に表示されてもよい。この場合、選択されているスライダバーの表示状態を変更する制御を行わずに、撮影された画像が第２の手形状を含むと判定された場合に、スライダをドラッグ可能としてもよい。
また、図７Ａ乃至図７Ｃに示されるメニューを、図１２Ａ乃至図１２Ｃに示されるスライダバー１２ａ及び１２ｂと同時にディスプレイ１１５に表示してもよい。
上述した本発明の第３の実施形態に係る情報処理方法によれば、ユーザは２種類の手形状（第１の手形状及び第２の手形状）を覚えるだけで、ディスプレイの輝度、又はスピーカの音量といった連続的な値の設定を行うことができる。従って、ユーザは多くの種類のジェスチャを記憶する必要がなく、ユーザに掛かる負担が少ない。また、ユーザカーソルがディスプレイ１１５に表示されるため、ユーザは、どのスライダバーが選択されているかを容易に確認することができる。さらに、ディスプレイ１１５に複数のスライダバーが表示される場合、選択されているスライダバーの表示状態が変更されるので、ユーザはどのスライダバーが選択されているかを容易に確認することができる。
また、１つのスライダバー（１２ａ又は１２ｂ）を第１の手形状を用いて選択しただけでは、選択されたスライダバーのスライダの位置を変更できない。ユーザが右手（又は左手）を第１の手形状から第２の手形状に変化させた場合のみ、選択されたスライダバーのスライダの位置が変更可能に制御される。従って、ユーザがユーザカーソルを移動させている途中で、ユーザが意図しない位置にスライダが移動され、音量等が誤った値に変更されてしまうことを防止することができる。
さらに、撮影された画像が第１の手形状を含むと判定された場合のみ、スライダバー１２ａ及び１２ｂがディスプレイ１１５に表示され、撮影された画像が第１の手形状及び第２の手形状のいずれも含まないと判定された場合に、スライダバー１２ａ及び１２ｂの表示を終了させることもできる。従って、ユーザは、必要に応じてスライダバー１２ａ及び１２ｂをディスプレイ１１５に表示させることができる。また、スライダバー１２ａ及び１２ｂを、ディスプレイ１１５の全面を用いて表示することができる。
次に、図１３及び図１４Ａ乃至図１４Ｆを参照しつつ、ジェスチャによってダイヤルを制御する処理を本発明の第４の実施形態として説明する。この第４の実施形態に係る情報処理方法においては、ユーザが第１の手形状を用いるとダイヤルがディスプレイ１１５に表示される。以下、本発明の第４の実施形態に係る情報処理方法を、図１に示されるパーソナルコンピュータ１００に適用した場合を例に説明する。また、以下の説明では、第１の手形状として平手、第２の手形状として握りこぶしが用いられるものとする。
図１３は、本発明の第４の実施形態に係る情報処理方法を説明するためのフローチャートである。図１４Ａ、図１４Ｂ、及び図１４Ｃは、パーソナルコンピュータ１００のディスプレイ１１５に表示されるダイヤルの例を示す概略図である。図１４Ｄ、図１４Ｅ、及び図１４Ｆは、カメラ１２６によって撮影されるユーザの画像の例を表す概略図である。
まず、カメラ１２６によってユーザの画像が撮影される（ステップＳ１３００）。このとき、例えば、図１４Ｄに示すような画像が撮影される。撮影された画像は、カメラ１２６から手形状認識部１２７に供給される。手形状認識部１２７は、供給された画像に含まれる手形状を認識し、その識別子と座標を出力する（ステップＳ１３０１）。換言すれば、ステップＳ１３０１において、手形状認識部１２７は、供給された画像が第１の手形状を含むか否かを判定する。
この場合、供給された画像（図１４Ｄ）に手形状データベース１２８に格納（登録）されている手形状が含まれていた場合、手形状認識部１２７は、第１の手形状の識別子とその位置情報を含む所定の手形状座標情報をジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、供給された情報に基づいてユーザのジェスチャを解釈し、ユーザカーソルの位置と状態を変更する（ステップＳ１３０２）。手形状認識部１２７にて第１の手形状（即ち、平手）が認識されていた場合、即ち、供給された画像が第１の手形状を含んでいた場合（ステップＳ１３０３でＹＥＳ）、ジェスチャ解釈部１２９は、解釈結果に基づいて、ダイヤルをディスプレイ１１５に表示するように、グラフィクスコントローラ１１４を制御する（ステップＳ１３０６）。供給された画像は第１の手形状を含むと初めて判定された場合、例えば、図１４Ａに示されるように、ディスプレイ１１５に２種類のダイヤル１４ａ及び１４ｂ、並びにユーザカーソルが表示され、処理はステップＳ１３００に戻る。なお、ユーザカーソルによって、例えばダイヤル１４ａが選択されている場合、ダイヤル１４ａの表示色を変更して、現在選択されているダイヤルがダイヤル１４ａであることをユーザに伝達することができる。
ステップＳ１３００乃至Ｓ１３０６の処理は、ユーザが右手を第１の手形状（平手）から第２の手形状（握りこぶし）に変化させるまで繰り返される。言い換えれば、ステップＳ１３００乃至Ｓ１３０６の処理は、ユーザが第１の手形状を用いてユーザカーソルを移動させている限り繰り返される。
一方、手形状認識部１２７の出力をジェスチャ解釈部１２９で解釈した結果、供給された画像は第１の手形状を含まないと判定された場合（ステップＳ１３０３でＮＯ）、ジェスチャ解釈部１２９は、当該画像が第２の手形状（握りこぶし）を含むか否かを判定する（ステップＳ１３０８）。供給された画像は第２の手形状を含まないと判定された場合（ステップＳ１３０８でＮＯ）、処理はステップＳ１３００に戻る。
例えば、図１４Ｅに示すような、第２の手形状（握りこぶし）を含む画像が、カメラ１２６によって供給された場合を想定する（ステップＳ１３００）。この場合、ジェスチャ解釈部１２９は、供給された画像（図１４Ｅ）が第１の手形状を含まないが（ステップＳ１３０３でＮＯ）、第２の手形状を含むと判定する（ステップＳ１３０８でＹＥＳ）。解釈結果に基づいて、ジェスチャ解釈部１２９は、ディスプレイ１１５に表示されるユーザカーソル並びにダイヤル１２ａ又は１２ｂを、グラフィクスコントローラ１１４を介して制御し（ステップＳ１３１０）、操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ１３１２）。
例えば、ダイヤル１４ａが選択された状態（図１４Ａ）において、供給された画像が第２の手形状を含むと判定されると（ステップＳ１３０８でＹＥＳ）、ダイヤル１４ａは、時計方向及び／又は時計方向と反対方向に回転可能な（ドラッグ可能な）状態になる。ダイヤル１４ａ及び／又は１４ｂは、複数回に渡って回転可能に構成することができる。このとき、ダイヤル１４ａの表示状態を変化させて、ダイヤル１４ａが回転可能な状態にあることをユーザに示すことができる。
選択されたダイヤル（１４ａ、１４ｂ）の表示状態としては、選択されたダイヤルの表示色を変更する、選択されたダイヤルを点滅させる、選択されたダイヤルの外周を太線で表示する等の表示状態が考えられる。但し、選択されたダイヤルの表示状態は、これらの表示状態に限定されず、現在選択されている（回転可能な）ダイヤルをユーザに伝達できる表示状態であれば、任意の表示状態を採用することができる。
次に、ダイヤル１４ａが回転可能な状態において（図１４Ｂ）、ユーザが右手で第２の手形状を維持したまま、図１４Ｆ中の矢印Ｚで示されるように円弧（又は円）を描くように動かした後の画像がカメラ１２６によって撮影される場合を想定する（ステップＳ１３００）。この場合、手形状識別部１２７は、第２の手形状の識別子（例えば、「２」）と、その移動後の位置情報（例えば、（ｘ，ｙ）＝（１５，４））とをジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、供給された情報に基づいて、ユーザのジェスチャを解釈し、ダイヤルの回転角度に換算する（ステップＳ１３１０）。ダイヤルの回転角度としては、例えば、ダイヤル１４ａの中心点と第２の手形状が検出された初期位置とを結んだ直線と、中心点と移動後の第２の手形状の位置とを結んだ直線でなされる角度を用いることができる。あるいは、ユーザが第２の手形状を維持しつつ右手を動かした移動量に応じて角度を変更してもよい。解釈結果に基づいて、ジェスチャ解釈部１２９は、グラフィクスコントローラ１１４を介してディスプレイ１１５上のダイヤル１４ａの表示を制御し（ステップＳ１３１０）、操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ１３１２）。
なお、ダイヤル１２ａ及びダイヤル１２ｂのうちのいずれか一方が回転された場合、ダイヤル１２ａ及び１２ｂの表示を終了してもよい。また、ダイヤル１２ａ及び１２ｂの表示を終了するためのボタンをダイヤル１２ａ及び１２ｂと共に表示して、ユーザが、当該ボタンを第１の手形状を用いて選択した状態で、右手を第１の手形状から第２の手形状に変化させた場合のみ、ダイヤル１２ａ及び１２ｂの表示を終了してもよい。さらに、第１の手形状及び第２の手形状のいずれも含まない画像がカメラ１２６によって撮影された場合に、ダイヤル１２ａ及び１２ｂの表示を終了してもよい。また、上記の説明では２種類のダイヤル１２ａ及び１２ｂがディスプレイ１１５に表示される場合が述べられている。しかし、ディスプレイ１１５に表示されるダイヤルの数は３以上であってもよい。また、１種類のダイヤルのみがディスプレイ１１５に表示されてもよい。この場合、選択されているダイヤルの表示状態を変更する制御を行わずに、供給された画像が第２の手形状を含むと判定された場合に、ダイヤルを回転可能としてもよい。
また、図７Ａ乃至図７Ｃに示されるメニュー、及び図１２Ａ乃至図１２Ｃに示されるスライダバー１２ａ及び１２ｂのいずれか一方又は双方と同時に、図１４Ａ乃至図１４Ｃに示されるダイヤル１４ａ及び１４ｂをディスプレイ１１５に表示してもよい。
さらに、ジェスチャ解釈部１２９は、ユーザが右手（又は左手）で第２の手形状を維持したまま、大きく回転させた場合、又は速く回転させた場合に、ダイヤルの回転角度（又は回転数）が大きくなるように構成されてもよい。
上述した本発明の第４の実施形態に係る情報処理方法によれば、ユーザは２種類の手形状（第１の手形状及び第２の手形状）を覚えるだけで、ダイヤルを選択し、選択したダイヤルを回転させることができる。従って、ダイヤルに関連付けられた機能を、ダイヤルの回転角度に応じて制御することができる。従って、ユーザは多くの種類のジェスチャを記憶する必要がなく、ユーザに掛かる負担が少ない。
また、ダイヤルは複数回に渡って回転可能に構成することもできる。この場合、選択可能な値の範囲が大きい機能をダイヤルに割り当てることができ、ダイヤルの回転数に応じた精度の高い制御が行われる。例えば、ダイヤルが、再生時間が１時間に及ぶ動画の再生位置（フレーム）を調節する機能に関連付けられている場合、ユーザはダイヤルを回転させることで動画の再生位置を調節し、所望のシーン（フレーム）を容易に選択することができる。
また、ユーザカーソルがディスプレイ１１５に表示されるため、ユーザは、どのダイヤルが選択されているかを容易に確認することができる。さらに、ディスプレイ１１５に複数のダイヤルが表示される場合、選択されているダイヤルの表示状態が変更されるので、ユーザは、どのダイヤルが選択されているかを容易に確認することができる。
また、１つのダイヤル（１４ａ又は１４ｂ）を第１の手形状を用いて選択するだけでは、選択されたダイヤルを回転させることはできない。ユーザが右手（又は左手）を第１の手形状から第２の手形状に変化させた場合のみ、選択されたダイヤルが回転可能になる。従って、ユーザがユーザカーソルを移動させている途中で、ユーザが意図しないダイヤルが操作（回転）されてしまうことを防止することができる。
さらに、撮影された画像が第１の手形状を含むと判定された場合のみ、ダイヤル１２ａ及び１２ｂがディスプレイ１１５に表示され、撮影された画像が第１の手形状及び第２の手形状のいずれも含まないと判定された場合に、ダイヤル１２ａ及び１２ｂの表示を終了させることもできる。従って、ユーザは、必要に応じてダイヤル１２ａ及び１２ｂをディスプレイ１１５に表示させることができる。また、ダイヤル１２ａ及び１２ｂを、ディスプレイ１１５の全面を用いて表示することができる。さらに、通常、ダイヤル機能をパーソナルコンピュータ１００に設ける場合は、当該機能を実現するためのハードウェア装置がパーソナルコンピュータ１００に追加される。しかし、本発明の第４の実施形態によれば、ハードウェア装置を追加することなく、ダイヤル機能をパーソナルコンピュータに設けることができる。
なお、上記の説明は、本発明の第２、第３及び第４の実施形態に係る情報処理方法を、図１に示すパーソナルコンピュータ１００に適用した場合について述べられている。しかし、本発明の第２、第３及び第４の実施形態に係る情報処理方法の各々は、テレビ、デスクトップ型のパーソナルコンピュータ、ノートブック型のパーソナルコンピュータ、又はゲーム機器といった各種の情報処理装置にも適用することができる。
また、本発明の第２、第３及び第４の実施形態に係る情報処理方法の各々は、コンピュータによって実行可能なプログラムとしても実現できる。
なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階では、その要旨を逸脱しない範囲で構成要素を変更して具現化できる。
また、上記実施形態に開示されている複数の構成要素を適宜に組み合わせることで、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明の第１の実施形態に係る情報処理装置の構成例を概略的に示すブロック図である。 図１に示される情報処理装置の構成の一部を、より詳細に示すブロック図である。 図２に示される手形状認識部の構成を示すブロック図である。 図３に示される対象物検出部における対象物検出方法を説明するための概略図である。 図２に示されるジェスチャ解釈部の構成を示すブロック図である。 本発明の第２の実施形態に係る情報処理方法を説明するためのフローチャートである。 図６に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図６に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図６に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図６に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。 図６に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。 図６に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。 メニュー画面にカメラ画像を重ね合わせる表示方法を説明するための概略図である。 メニュー画面に重ね合わされるカメラ画像の例を示す概略図である。 階層構造のメニュー画面を用いる場合における、上位レベルのメニュー画面の例を示す概略図である。 階層構造のメニュー画面を用いる場合における、下位レベルのメニュー画面の例を示す概略図である。 階層構造のメニュー画面を用いる場合における、上位レベルのメニュー画面の例を示す概略図である。 階層構造のメニュー画面を用いる場合における、下位レベルのメニュー画面の例を示す概略図である。 本発明の第３の実施形態に係る情報処理方法を説明するためのフローチャートである。 図１１に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図１１に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図１１に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図１１に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。 図１１に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。 図１１に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。 本発明の第４の実施形態に係る情報処理方法を説明するためのフローチャートである。 図１３に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図１３に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図１３に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。 図１３に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。 図１３に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。 図１３に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
符号の説明
１２ａ…スライダバー、１２ｂ…スライダバー、１４ａ…ダイヤル、１４ｂ…ダイヤル、２１…電源ボタン、７１…再生ボタン、７２…停止ボタン、７３…巻き戻しボタン、７４…早送りボタン、７５…チャンネル選択ボタン、７６…音量制御ボタン、１００…ポータブルコンピュータ、１１１…ＣＰＵ，１１２…主メモリ、１１３…ノースブリッジ、１１４…グラフィクスコントローラ、１１５…ディスプレイ、１１６…サウスブリッジ、１１７…ハードディスクドライブ（ＨＤＤ）、１１８…光ディスクドライブ（ＯＤＤ）、１１９…ＢＩＯＳ−ＲＯＭ、１２０…エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）、１２１…電源回路、１２２…バッテリ、１２３…ＡＣアダプタ、１２４…タッチパッド、１２５…キーボード（ＫＢ）、１２６…カメラ、１２７…手形状認識部、１２７ａ…部分領域画像抽出部、１２７ｂ…対象物検出部、１２８…手形状データベース、１２９…ジェスチャ解釈部、１２９ａ…ジェスチャ変換部、１２９ｂ…メニュー制御部、１２９ｃ…コマンド送信部、１３０…操作対象ソフトウェア、Ｉａ…スライダ、Ｉｂ…スライダ。

Claims (9)

  1. ディスプレイと、
    第１の手形状を示す第１のデータ及び第２の手形状を示す第２のデータを格納する手形状データベースと、
    カメラから供給される画像を受け取り、前記画像が前記手形状データベースに格納される前記第１の手形状及び前記第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力する手形状認識部と、
    前記手形状認識部から前記第１の所定の情報を受け取った場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースを前記ディスプレイに表示すると共に、前記第１の所定の情報に含まれる前記位置情報に従って前記複数の表示項目の一つを選択し、前記複数の表示項目の一つが選択された状態で前記手形状認識部から前記第２の所定の情報を受け取った場合、前記選択された表示項目に関連付けられた前記機能を実行するジェスチャ解釈部と、
    を具備することを特徴とする情報処理装置。
  2. 前記第１の所定の情報は、前記第１の手形状を表す第１の識別子と前記位置情報とを含み、
    前記第２の所定の情報は、前記第２の手形状を表す第２の識別子を含むことを特徴とする、請求項１記載の情報処理装置。
  3. 前記ユーザインタフェースは、前記複数の表示項目として複数のボタンを含む第１のユーザインタフェース、前記複数の表示項目として複数のスライダバーを含む第１のユーザインタフェース、及び前記複数の表示項目として複数のダイヤルを含む第３のユーザインタフェースのうちの１つを含むことを特徴とする、請求項１記載の情報処理装置。
  4. カメラから供給される画像を受け取り、前記画像が手形状データベースに格納されている第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力するステップと、
    前記第１の所定の情報が出力された場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースをディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って、前記複数の表示項目の一つを選択するステップと、
    前記複数の表示項目の一つが選択された状態で、前記第２の所定の情報が出力された場合、前記選択された表示項目に関連付けられた前記機能を実行するステップと
    を具備することを特徴とする、情報処理方法。
  5. 前記第１の所定の情報は、前記第１の手形状を表す第１の識別子と前記位置情報とを含み、
    前記第２の所定の情報は、前記第２の手形状を表す第２の識別子を含むことを特徴とする、請求項４記載の情報処理方法。
  6. 前記ユーザインタフェースは、前記複数の表示項目として複数のボタンを含む第１のユーザインタフェース、前記複数の表示項目として複数のスライダバーを含む第１のユーザインタフェース、及び前記複数の表示項目として複数のダイヤルを含む第３のユーザインタフェースのうちの１つを含むことを特徴とする、請求項４記載の情報処理方法。
  7. コンピュータに、
    カメラから供給される画像を受け取り、前記画像が手形状データベースに格納されている第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力する機能と、
    前記第１の所定の情報が出力された場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースをディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って、前記複数の表示項目の一つを選択する機能と、
    前記複数の表示項目の一つが選択された状態で、前記第２の所定の情報が出力された場合、前記選択された表示項目に関連付けられた前記機能を実行する機能と
    を実現させることを特徴とする、プログラム。
  8. 前記第１の所定の情報は、前記第１の手形状を表す第１の識別子と前記位置情報とを含み、
    前記第２の所定の情報は、前記第２の手形状を表す第２の識別子を含むことを特徴とする、請求項７記載のプログラム。
  9. 前記ユーザインタフェースは、前記複数の表示項目として複数のボタンを含む第１のユーザインタフェース、前記複数の表示項目として複数のスライダバーを含む第１のユーザインタフェース、及び前記複数の表示項目として複数のダイヤルを含む第３のユーザインタフェースのうちの１つを含むことを特徴とする、請求項７記載のプログラム。
JP2006330942A 2006-12-07 2006-12-07 情報処理装置、情報処理方法、及びプログラム Pending JP2008146243A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006330942A JP2008146243A (ja) 2006-12-07 2006-12-07 情報処理装置、情報処理方法、及びプログラム
US11/951,760 US20080141181A1 (en) 2006-12-07 2007-12-06 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006330942A JP2008146243A (ja) 2006-12-07 2006-12-07 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2008146243A true JP2008146243A (ja) 2008-06-26

Family

ID=39499807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006330942A Pending JP2008146243A (ja) 2006-12-07 2006-12-07 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US20080141181A1 (ja)
JP (1) JP2008146243A (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122735A (ja) * 2008-11-17 2010-06-03 Toshiba Information Systems (Japan) Corp インタフェース装置及びインタフェース用プログラム
JP2010129069A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd ディスプレイ装置
JP2010154405A (ja) * 2008-12-26 2010-07-08 Toshiba Corp 映像再生装置、制御信号生成装置及び制御信号生成方法
WO2010095204A1 (ja) * 2009-02-18 2010-08-26 株式会社 東芝 インターフェース制御装置、及びその方法
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
JP2012164115A (ja) * 2011-02-07 2012-08-30 Fujitsu Ltd 操作制御装置，操作制御プログラムおよび操作制御方法
WO2012147960A1 (ja) 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP5148002B1 (ja) * 2012-04-26 2013-02-20 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器、情報処理方法およびプログラム
JP2013114647A (ja) * 2011-12-01 2013-06-10 Exvision Inc ジェスチャー入力システム
JP2013140578A (ja) * 2011-12-30 2013-07-18 Samsung Electronics Co Ltd 電子装置及びその制御方法
JP2013529802A (ja) * 2010-06-10 2013-07-22 マイクロソフト コーポレーション コンテンツジェスチャー
JP2013178783A (ja) * 2013-03-07 2013-09-09 Fujitsu Ten Ltd ディスプレイ装置
JP2013196482A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 入力ユーザーインターフェイス装置、投影装置、プログラム及びコマンド決定方法
JP2014075043A (ja) * 2012-10-04 2014-04-24 Alpine Electronics Inc 機器制御装置
JP2014512620A (ja) * 2011-04-20 2014-05-22 クゥアルコム・インコーポレイテッド 仮想キーボードおよびその提供方法
US8885020B2 (en) 2009-10-02 2014-11-11 Kabushiki Kaisha Toshiba Video reproduction apparatus and video reproduction method
JP2015510197A (ja) * 2012-02-13 2015-04-02 クアルコム，インコーポレイテッド エンゲージメント依存型ジェスチャー認識
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
US9377851B2 (en) 2012-03-29 2016-06-28 Sony Corporation Information processing apparatus, information processing method, and computer program
WO2016174915A1 (ja) * 2015-04-30 2016-11-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP2016540322A (ja) * 2013-09-23 2016-12-22 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びディスプレイ装置のモーション認識方法
JP2017212007A (ja) * 2017-08-03 2017-11-30 シャープ株式会社 画像表示装置
JP2021149683A (ja) * 2020-03-19 2021-09-27 株式会社 ディー・エヌ・エー 動画を再生するためのプログラム、システム、及び方法

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US8146020B2 (en) 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
JP5432260B2 (ja) 2008-07-25 2014-03-05 クアルコム，インコーポレイテッド ウェーブエンゲージメントジェスチャの改良された検出
EP2180395A1 (en) * 2008-10-24 2010-04-28 Himax Media Solutions, Inc. Display control device and display control method
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US20100289912A1 (en) * 2009-05-14 2010-11-18 Sony Ericsson Mobile Communications Ab Camera arrangement with image modification
TWI396442B (zh) * 2009-05-21 2013-05-11 Chunghwa Telecom Co Ltd Application of gesture to recognize the gesture label of the Internet TV platform
TW201101198A (en) * 2009-06-17 2011-01-01 Sonix Technology Co Ltd Command input method
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US10357714B2 (en) * 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US8702485B2 (en) 2010-06-11 2014-04-22 Harmonix Music Systems, Inc. Dance game and tutorial
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
EP2363792A1 (en) * 2010-03-02 2011-09-07 GryfTechnologia sp. z o.o. A controlling system with a polyhedral graphical user interface
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
US20120326975A1 (en) * 2010-06-03 2012-12-27 PixArt Imaging Incorporation, R.O.C. Input device and input method
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
EP2421251A1 (en) 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US20130159940A1 (en) * 2011-08-22 2013-06-20 International Technological University Gesture-Controlled Interactive Information Board
US20130077820A1 (en) * 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
KR101322465B1 (ko) * 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
KR20130078490A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US12260023B2 (en) * 2012-01-17 2025-03-25 Ultrahaptics IP Two Limited Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
EP2650754A3 (en) * 2012-03-15 2014-09-24 Omron Corporation Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium
US8938124B2 (en) * 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9256781B2 (en) * 2012-05-10 2016-02-09 Pointguard Ltd. System and method for computer vision based tracking of an object
US8904313B2 (en) * 2012-05-24 2014-12-02 International Business Machines Corporation Gestural control for quantitative inputs
JP5935529B2 (ja) 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20140005688A (ko) * 2012-07-06 2014-01-15 삼성전자주식회사 사용자 인터페이스 방법 및 장치
KR102079348B1 (ko) 2012-07-30 2020-04-07 삼성전자주식회사 플렉서블 장치 및 그 동작 제어 방법
KR101929301B1 (ko) * 2012-08-20 2019-03-12 삼성전자 주식회사 필기 제스처 인식을 통한 휴대단말의 기능 실행 제어 방법 및 장치
US10168784B2 (en) * 2012-09-20 2019-01-01 Sony Corporation Information processing apparatus and method, and program
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9671943B2 (en) * 2012-09-28 2017-06-06 Dassault Systemes Simulia Corp. Touch-enabled complex data entry
US9632658B2 (en) * 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US20140245200A1 (en) * 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
CN105074625B (zh) * 2013-04-02 2018-09-21 索尼公司 信息处理设备、信息处理方法及计算机可读记录介质
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9610449B2 (en) * 2013-05-16 2017-04-04 Nuvectra Corporation Method and apparatus for displaying a graphical impedance history for output channels of a lead
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US9355123B2 (en) 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US20150067603A1 (en) * 2013-09-05 2015-03-05 Kabushiki Kaisha Toshiba Display control device
US20150074613A1 (en) * 2013-09-10 2015-03-12 Nicholas Frederick Oswald Menus with Hand Based Gestures
KR20150031384A (ko) * 2013-09-13 2015-03-24 현대자동차주식회사 맞춤형 인터페이스 시스템 및 그 동작 방법
CN103488296B (zh) * 2013-09-25 2016-11-23 华为软件技术有限公司 体感交互手势控制方法及装置
RU2016118443A (ru) * 2013-10-14 2017-11-21 Конинклейке Филипс Н.В. Устройство, способ, система управления жестами и носитель данных
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US10168873B1 (en) 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US9996797B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US9740296B2 (en) 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US9390726B1 (en) 2013-12-30 2016-07-12 Google Inc. Supplementing speech commands with gestures
US9213413B2 (en) 2013-12-31 2015-12-15 Google Inc. Device interaction with spatially aware gestures
WO2015123647A1 (en) 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20160334941A1 (en) * 2015-05-12 2016-11-17 Futurewei Technologies, Inc. Method and Device for Optical Handwriting Recognition
KR20170104819A (ko) * 2016-03-08 2017-09-18 삼성전자주식회사 제스처를 가이드하는 전자 장치 및 그의 제스처 가이드 방법
US10043066B2 (en) * 2016-08-17 2018-08-07 Intel Corporation Gesture masking in a video feed
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
KR102560598B1 (ko) 2016-12-21 2023-07-28 삼성전자주식회사 디스플레이 장치 및 그 제어방법
WO2019023999A1 (zh) * 2017-08-02 2019-02-07 深圳传音通讯有限公司 一种用于智能设备的操作方法及操作装置
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
DE102018222124A1 (de) * 2018-12-18 2020-06-18 Volkswagen Aktiengesellschaft Verfahren und System zum Einstellen eines Wertes eines Parameters
EP4597271A3 (en) * 2020-01-09 2025-10-08 BHS Technologies GmbH Head-mounted display system and method for controlling a medical imaging device
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11798201B2 (en) * 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11693551B2 (en) * 2021-05-21 2023-07-04 Huawei Technologies Co., Ltd. Methods and systems for providing feedback for multi-precision mid-air gestures on a gesture-controlled device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
WO1996034332A1 (en) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Interface device
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
EP0837418A3 (en) * 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6738044B2 (en) * 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122735A (ja) * 2008-11-17 2010-06-03 Toshiba Information Systems (Japan) Corp インタフェース装置及びインタフェース用プログラム
JP2010129069A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd ディスプレイ装置
JP2010154405A (ja) * 2008-12-26 2010-07-08 Toshiba Corp 映像再生装置、制御信号生成装置及び制御信号生成方法
WO2010095204A1 (ja) * 2009-02-18 2010-08-26 株式会社 東芝 インターフェース制御装置、及びその方法
JPWO2010095204A1 (ja) * 2009-02-18 2012-08-16 株式会社東芝 インターフェース制御装置、及びその方法
US9081420B2 (en) 2009-10-02 2015-07-14 Kabushiki Kaisha Toshiba Video reproduction apparatus and video reproduction method
US8885020B2 (en) 2009-10-02 2014-11-11 Kabushiki Kaisha Toshiba Video reproduction apparatus and video reproduction method
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
JP2013529802A (ja) * 2010-06-10 2013-07-22 マイクロソフト コーポレーション コンテンツジェスチャー
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
JP2012164115A (ja) * 2011-02-07 2012-08-30 Fujitsu Ltd 操作制御装置，操作制御プログラムおよび操作制御方法
JP2014512620A (ja) * 2011-04-20 2014-05-22 クゥアルコム・インコーポレイテッド 仮想キーボードおよびその提供方法
US9329673B2 (en) 2011-04-28 2016-05-03 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
WO2012147960A1 (ja) 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2013114647A (ja) * 2011-12-01 2013-06-10 Exvision Inc ジェスチャー入力システム
JP2013140578A (ja) * 2011-12-30 2013-07-18 Samsung Electronics Co Ltd 電子装置及びその制御方法
JP2015510197A (ja) * 2012-02-13 2015-04-02 クアルコム，インコーポレイテッド エンゲージメント依存型ジェスチャー認識
US9213411B2 (en) 2012-03-21 2015-12-15 Casio Computer Co., Ltd. Input user interface device, projecting device, command deciding method and program storage medium storing command deciding method program
JP2013196482A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 入力ユーザーインターフェイス装置、投影装置、プログラム及びコマンド決定方法
US10037078B2 (en) 2012-03-29 2018-07-31 Sony Corporation Information processing apparatus, information processing method, and computer program
US9377851B2 (en) 2012-03-29 2016-06-28 Sony Corporation Information processing apparatus, information processing method, and computer program
US10437324B2 (en) 2012-03-29 2019-10-08 Sony Corporation Information processing apparatus, information processing method, and computer program
JP5148002B1 (ja) * 2012-04-26 2013-02-20 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器、情報処理方法およびプログラム
JP2014075043A (ja) * 2012-10-04 2014-04-24 Alpine Electronics Inc 機器制御装置
JP2013178783A (ja) * 2013-03-07 2013-09-09 Fujitsu Ten Ltd ディスプレイ装置
JP2016540322A (ja) * 2013-09-23 2016-12-22 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びディスプレイ装置のモーション認識方法
WO2016174915A1 (ja) * 2015-04-30 2016-11-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JPWO2016174915A1 (ja) * 2015-04-30 2018-02-22 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
US10444617B2 (en) 2015-04-30 2019-10-15 Sony Corporation Image processing apparatus and image processing method
JP2017212007A (ja) * 2017-08-03 2017-11-30 シャープ株式会社 画像表示装置
JP2021149683A (ja) * 2020-03-19 2021-09-27 株式会社 ディー・エヌ・エー 動画を再生するためのプログラム、システム、及び方法

Also Published As

Publication number Publication date
US20080141181A1 (en) 2008-06-12

Similar Documents

Publication Publication Date Title
JP2008146243A (ja) 情報処理装置、情報処理方法、及びプログラム
US20220342522A1 (en) System and methods for interacting with a control environment
CN103262008B (zh) 智能无线鼠标
US9791918B2 (en) Breath-sensitive digital interface
EP3087456B1 (en) Remote multi-touch control
JP5584802B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
EP2214088A2 (en) Information processing
JP5865615B2 (ja) 電子機器および制御方法
JP5102412B1 (ja) 情報端末、情報端末の制御方法、及び、プログラム
CN101796476A (zh) 与3d远程控制器一起使用的gui应用
JP2010086230A (ja) 情報処理装置、情報処理方法およびプログラム
KR20160139481A (ko) 사용자 단말 장치 및 그 제어 방법
CN104346076B (zh) 信息处理设备、信息处理方法和程序
KR102216127B1 (ko) 문자 입력 방법 및 장치
JP5657269B2 (ja) 画像処理装置、表示装置、画像処理方法、画像処理プログラム、記録媒体
US20110191713A1 (en) Information processing apparatus and image display method
US20120151409A1 (en) Electronic Apparatus and Display Control Method
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP2013250679A (ja) 情報入出力装置
JP5957041B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
KR101219292B1 (ko) 표시부를 구비한 핸드 헬드 기기 및 상기 표시부에 표시되는 객체를 탐색하는 방법
KR102118046B1 (ko) 포터블 디바이스 및 그 제어 방법
KR20180056973A (ko) 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법
JP2016212620A (ja) 表示制御装置、その制御方法、およびプログラム、並びに記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111115