[go: up one dir, main page]

JP2010267220A - ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法 - Google Patents

ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法 Download PDF

Info

Publication number
JP2010267220A
JP2010267220A JP2009120152A JP2009120152A JP2010267220A JP 2010267220 A JP2010267220 A JP 2010267220A JP 2009120152 A JP2009120152 A JP 2009120152A JP 2009120152 A JP2009120152 A JP 2009120152A JP 2010267220 A JP2010267220 A JP 2010267220A
Authority
JP
Japan
Prior art keywords
ring
interface
orientation
image
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009120152A
Other languages
English (en)
Other versions
JP5263833B2 (ja
Inventor
Kenji Fujiki
健史 藤木
Yoshitsugu Manabe
佳嗣 眞鍋
Kunihiro Chihara
國宏 千原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nara Institute of Science and Technology NUC
Original Assignee
Nara Institute of Science and Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nara Institute of Science and Technology NUC filed Critical Nara Institute of Science and Technology NUC
Priority to JP2009120152A priority Critical patent/JP5263833B2/ja
Publication of JP2010267220A publication Critical patent/JP2010267220A/ja
Application granted granted Critical
Publication of JP5263833B2 publication Critical patent/JP5263833B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ハンドジェスチャ入力の安定性を向上させ、ユーザに拘束感を与えず装着を気軽に行うことが可能なインタフェース装置およびインタフェース方法を提供する。
【解決手段】画像認識におけるハンドジェスチャ入力の安定性を向上させるために、色情報や形状情報など認識精度を向上させる要素を持つリングを指に装着して、ユーザ視点のカメラ画像を用いて取得したリングの画像解析によって、手の位置姿勢の推定を行う。ファッションとして気軽に装着できるリングを使用することにより、ユーザに拘束感を与えずに、照明環境に依存しない高精度な検出・認識を実現する。
【選択図】図1

Description

本発明は、ウェアラブルコンピュータに用いるハンドジェスチャの入力インタフェース装置およびインタフェース方法の技術に関するものである。
近年、いつでも、どこでも利用者に対して情報提供,行動記録,健康管理などのサービスが可能なウェアラブルコンピュータの研究開発が盛んに行われている。ウェアラブルコンピュータを使用するうえで最も重要な役割を果たすのが、様々なコンテンツやアプリケーションを操作するための入力インタフェースである。ウェアラブルコンピュータの入力インタフェースの条件としては、直感的な操作性,屋内外での使用,様々なコンテンツやアプリケーションに利用できる汎用性など、ユーザに受け入れやすいインタフェースであることが必須である。入力インタフェースの開発においては、これらの諸条件を考慮し、簡単に直感的操作ができるハンドジェスチャを用いて、ジェスチャ入力の安定性を向上させるための技術が要求されている。
従来から、ハンドジェスチャ入力の技術として、グローブ型デバイスを利用した入力インタフェース(例えば、非特許文献1を参照)や、手画像の画像認識を用いてジェスチャ認識を行う入力インタフェースが知られている。グローブ型デバイスを利用した入力インタフェースは、検出精度が高く、外的環境の変化に対して頑健であるが、特別な装備や機器が必要なため手軽さや外見,導入コストなどに問題がある。一方、手画像の画像認識による入力インタフェースでは、グローブ型デバイスのような特別な装備を必要としないためユーザにとって煩わしさがないが、光源環境などの影響を受けやすいといった問題がある。
手画像の画像認識による入力インタフェースは、小型カメラを用いて手指画像を入力し、非接触で、リアルタイムに手指のジェスチャを認識する技術であり、例えば、テレビ又はパーソナルコンピュータ(PC)などの情報処理装置を、ユーザの手指のジェスチャによって操作する方法が提案されている。このような方法によれば、マウス、キーボードなどの入力装置を使用することなく、自然に情報処理装置を操作することができる。
手指画像を用いた入力インタフェースとしては、手に何もつけずにそのままの画像から手の領域を抽出するものや、手に手袋を装着するものが研究されている。また、指示棒のようなものを手に持って、その指示棒を検出することにより、手の動作のジェスチャを認識するような研究もある。
例えば、メニュー選択肢を人間の手の各指に割り当て、開手によってメニューを呼び出し、他方の手で目的選択肢が割り当てられている指に触れる、或いは目的選択肢が割り当てられている指を折ることによって選択動作を実行するという直感的動作を利用することで、操作性に極めて優れたメニュー型入力インタフェースが知られている(特許文献1)。
特開2001−312356号公報
ソリッドレイ研究所:3次元グローブ(http://www.solidray.co.jp/product/3dglove/index.html)
上述した従来の入力インタフェースにおいて、手に何も装着しない方法や何も持たない方法では、手指の肌色のために、照明環境に依存してしまい、照明環境の変化により肌色の検出が困難・認識精度が悪くなるという問題がある。
また、手袋の装着や器具の把持はユーザに拘束感を与えてしまうという問題がある。
上記状況に鑑みて、本発明は、ハンドジェスチャ入力の安定性を向上させ、ユーザに拘束感を与えず装着を気軽に行うことが可能なインタフェース装置およびインタフェース方法を提供することを目的とする。
上記目的を達成すべく、本発明は、画像認識におけるハンドジェスチャ入力の安定性を向上させるために、色情報や形状情報など認識精度を向上させる要素を持つリングを指に装着して、ユーザ視点のカメラ画像を用いて取得したリングの画像解析によって、手の位置姿勢の推定を行う。
ファッションとして気軽に装着できるリングを使用することにより、ユーザに拘束感を与えずに、照明環境に依存しない高精度な検出・認識を実現する。
また、基本的に、リングには能動的な機能(振動子ユニット、発光ユニット、加速度センサや計測ユニット)を組み込まないこととしており、そのため能動的な機能の駆動用の電池や機械類が不要となり、特に制約を設けることなくリングを気軽に利用できる。
すなわち、本発明のリング型インタフェースは、カメラ画像を入力し、ハンドジェスチャを認識するために用いられるインタフェースであって、少なくとも1本の指に装着され、手指の位置姿勢推定マーカーとして用いられることを特徴とする。
ハンドジェスチャを認識するためのインタフェースをリング型にするメリットは、リング自体の色や形状などを工夫することで検出精度の向上が期待できるといった点とリングの装着が手軽であるという点である。また、従来の入力インタフェースでは、あまり考慮されていない「デザイン性・ファッション性」をリングに付加することにより、より多くのユーザに受け入れやすくなると考えられる点である。
リングを手指の位置姿勢推定マーカーとして用いる方法は、一例として挙げれば、カメラ画像からRGB入力された画像をHSV表色系に変換し、色情報をもとにリングの各色の領域を抽出した後に、膨張収縮による欠損補間およびラベリング処理を施し、得られた閉領域より各色の重心を計算した各重心座標により、各重心座標の平均からリングの画像中の座標位置を、各重心座標を結ぶ直線から画像平面内での推定角度を求めることで位置姿勢を推定する方法である。
他の方法例としては、色情報をもとに抽出したリング領域に楕円を当てはめ、その楕円の中心をリングの位置,推定した楕円の長軸短軸の長さ及び傾きより姿勢を推定する。
かかるリング型インタフェースにおいて、指に装着されるリングが軸方向に少なくとも2色に色分けされることが好ましい態様である。リングが輪の中心軸方向に2色に色分けされることにより、手首に近い側の判別を容易できる。リングが輪の中心軸方向に2色に色分けされる状態とは、ドーナツ状の異なる2色の輪が重なった状態である。
また、かかるリング型インタフェースにおいて、リングエッジの色が肌色の補色であることが好ましい態様である。リングエッジの色が肌色の補色とすることにより、指とリングの境界部を明瞭に認識できる。
また、かかるリング型インタフェースにおいて、リングの外側形状が、正多角柱または真円柱の形状を呈することが好ましい態様である。正多角柱または真円柱の形状を呈することにより、リングの位置姿勢の認識率が向上する。ここで、正多角柱の形状は、具体的には、正六角柱、正八角柱以上が好ましく、正三角柱、正四角柱の形状でも構わない。
また、かかるリング型インタフェースにおいて、リングに振動手段、骨伝導手段、発光手段などのユーザ告知手段および無線信号受信手段が内蔵されていることが好ましい態様である。
上述したように、基本的に、リングには能動的な機能(振動子ユニット、発光ユニットなど)を組み込まないこととし、能動的な機能の駆動用の電池や機械類を不要としている。しかしながら、リング型インタフェースを用いて情報処理装置にジェスチャを送った場合の応答のフィードバック手段として、リング自体に、振動手段などのユーザ告知手段および無線信号受信手段が内蔵されていることで、ユーザの操作感を向上させることができる。
また、かかるリング型インタフェースにおいて、リングの外側表面に夜間発光材料がコーティングされていることが好ましい態様である。リングの外側表面に夜間発光材料がコーティングされていることにより、照明環境が悪い状況下においても、リングの位置姿勢の認識率が向上する。
次に、本発明のインタフェース装置は、カメラ画像を用いてハンドジェスチャを認識するインタフェース装置であって、
1)カメラ手段と、
2)カメラ手段を用いて、少なくとも1本の指にリングを装着した手指の画像を撮影する画像入力手段と、
3)入力された画像からリングの形状を抽出するリング抽出手段と、
4)リングの形状に基づきリングの位置姿勢を推定する位置姿勢推定手段と、
5)リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識手段と、を備えた構成とされる。
かかる構成によれば、リングを装着した手指のカメラ画像認識におけるリングの位置姿勢推定結果から、ハンドジェスチャを認識できる。リングは上述したようなリング型インタフェースと同様、色情報や形状情報など認識精度を向上させる要素を持たせることにより、ハンドジェスチャ入力の安定性を向上させることができる。
ここで、上記の位置姿勢推定手段は、具体的には、リングのリングエッジの楕円推定を用いて位置姿勢推定を行うものである。
また、上記のジェスチャ認識手段において、認識が正常に行えた場合に、リングに対して無線信号を出力する認識フィードバック手段を備えることが好ましい態様である。リング自体に振動手段などのユーザ告知手段および無線信号受信手段が内蔵されている場合に、かかるリングを指に装着したユーザが、ジェスチャを送った場合のユーザへの応答、すなわち、リングへのフィードバックを行うことにより、ユーザの操作感を向上させることができる。
次に、本発明のウェアラブルコンピュータは、上記のインタフェース装置を備えたコンピュータであって、上記のカメラ手段は、ユーザ視点のカメラ視野となる位置に配置され、上記のジェスチャ認識手段から認識したジェスチェアに対応するコマンドを出力するコマンド出力手段と、当該コマンドに対応した情報を出力する情報用表示手段と、を備えた構成とされる。
将来的には、様々な家電製品はネットワーク結合された情報家電機器となることが予想されており、ユビキタスコンピューティング環境が浸透する。かかる環境下においては、物理的なインタフェースがなくなり、より簡潔性のあるユーザインタフェースが求められており、例えば、小型カメラと情報出力装置にHMD(Head Mounted Display)が使用されるウェアラブルコンピュータの活用が期待されている。上述した本発明のインタフェース装置は、かかるウェアラブルコンピュータに備えられ、手指を用いた簡単なジェスチャで対象機器を直感的に操作できるのである。
次に、本発明の第1の観点のインタフェース方法は、カメラ画像を用いてハンドジェスチャを認識するインタフェース方法であって、
A−1)少なくとも1本の指にリングを装着した手指の画像を撮影する画像入力ステップと、
A−2)入力された画像からリングの形状を抽出するリング抽出ステップと、
A−3)リングの形状に基づきリングの位置姿勢を推定する位置姿勢推定ステップと、
A−4)リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識ステップと、を備えた構成とされる。
かかる構成によれば、リングを装着した手指のカメラ画像認識におけるリングの位置姿勢推定ステップの結果から、ハンドジェスチャを認識できる。リングは上述したようなリング型インタフェースと同様、色情報や形状情報など認識精度を向上させる要素を持たせることにより、ハンドジェスチャ入力の安定性を向上させることができる。
また、本発明の第2の観点のインタフェース方法は、カメラ画像を用いてハンドジェスチャを認識するインタフェース方法であって、
B−1)2本の指に第1リングと第2リングをそれぞれ装着した手指の画像を撮影する画像入力ステップと、
B−2)入力された画像から第1リングと第2リングの形状を抽出するリング抽出ステップと、
B−3)第1リングと第2リングの形状に基づきリングの位置姿勢を推定する位置姿勢推定ステップと、
B−4)第1リングと第2リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識ステップと、を備えた構成とされる。
かかる構成によれば、例えば、人差し指と親指のように2箇所にリングを装着することで、リングの位置関係より指の動作の推定も可能となる。具体的には、人差し指と親指の2箇所にリングを装着することで、人差し指と親指で物をつまんだり、人差し指と親指の間で物の長さを測ったりすることができる。
ここで、上記B−4)のジェスチャ認識ステップにおいて、第1リングと第2リングの相対位置から、長さ、角度、回転角のいずれかを求める計測ステップが含まれることが好ましい態様である。
かかる態様によれば、ON/OFF操作、選択する/しない、といった操作だけでなく、ボリューム調整などアナログ的な多様な機器操作を行うことができる。
また、本発明のインタフェースプログラムは、上記のインタフェース方法を、コンピュータに実行させるためのプログラムである。
本発明によれば、カメラ,処理コンピュータ,HMDと、リングのみの比較的シンプルな構成での実現が可能であり、ウェアラブルコンピュータやユビキタスコンピューティングなどの携帯型・装着型の計算機環境においてユーザが手軽に利用できるといった効果がある。
また、手袋などを装着したり、指示棒を把持したりといったインタフェースの場合、日常生活での使用においては、不自然であり煩わしさがあったが、本発明のリング型インタフェースの場合は、ユーザにとって自然な使用が可能であるといった効果がある。
また、医療現場において、医師や歯科医師等が透光性ある半透明の手袋を装着して診断や治療を行う場合に、本発明を用いることで、診断機器や治療用機器を操作するために手袋を外すという手間を不要とでき、診断作業行為や治療行為の効率化を図ることができるといった効果もある。
さらに、リングのデザインにより、照明条件の変化に対して安定した検出と認識が可能となり、様々な手指の動作のジェスチャを用いた入力インタフェースが実現できる。
リング型インタフェースの外観図 リング型インタフェースの装着例(人差し指と親指の2箇所) リング型インタフェースを用いたジェスチャ例 インタフェース装置のハードウェア構成図 インタフェース装置の機能ブロック図 インタフェース方法の処理フロー図 位置姿勢推定の処理フロー図 インタフェース装置の実験結果を示す表示画面 リング型インタフェースのデザイン例 リング型インタフェースの位置姿勢を推定する様子を示したもの 本インタフェース装置の実験結果を示す表示画面である。 2種類のデザインを格子状に配置したものである
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
図1は実施例1のリング型インタフェースの外観図を示している。
実施例1のリング型インタフェースは、リングの外側が青、緑の2色の色に分けられている。インタフェースをリング型にする利点は、リング自体の色や形状などを工夫することで検出精度の向上が期待できるという点と、装着も手軽になる点である。また、インタフェース用のデバイスにおける従来研究では、あまり考慮されていないデザイン性やファッション性を付加できる点であり、かかるデザイン性を付加することにより、多くのユーザに受け入れやすくなる。
次に、このリング型インタフェースを人差し指と親指の2箇所に装着した様子を図2に示す。なお、本実施例では、2つのリング型インタフェースを2本の指に装着しているが、2つのリング型インタフェースを1本の指に装着してもよいし、1つのリング型インタフェースを任意の1本の指に装着してもかまわない。2つのリング型インタフェースを1本の指に装着する場合は、例えば、1つは指の付け根に装着し、他の1つは第1関節と第2関節の間に装着する。
次に、人差し指と親指の2箇所に装着したリング型インタフェースを用いたジェスチャ例を3つ説明する。図3は、人差し指と親指の2箇所に装着したリング型インタフェースを用いたジェスチャ例を3つ示している。
日常生活の延長でのウェアラブルコンピュータの利用を考え、ジェスチャは図3(1)〜(3)に示すような、普段行っている動作あるいは簡単に行えるものとしている。図3(1)のジェスチャは、指差すというジェスチャで、ウェアラブルコンピュータのインタフェースでは、仮想空間の操作対象を指し示したり、操作の中で指示する方向を指し示したりといった意味となる。図3(1)のジェスチャを行った場合、それをリング型インタフェースのみで検知することができる。これについては、後述する。
また、図3(2)のジェスチャは、つまむというジェスチャで、ウェアラブルコンピュータのインタフェースでは、仮想空間の操作対象をつかんだりするといった意味となる。
また、図3(3)のジェスチャは、測るというジェスチャで、ウェアラブルコンピュータのインタフェースでは、仮想空間の対象物の長さを計ったり、実空間の対象物の長さを計ったりといった意味となる。
次に、インタフェース装置のハードウェア構成について、図4を参照しながら説明する。インタフェース装置は、具体的には、ディジタルカメラがユーザ視点のカメラ視野となる位置に配置され、カメラの画像からジェスチャを認識して、ジェスチェアに対応するコマンドを出力するプロセッサと、コマンドに対応した情報を出力する情報用表示器のヘッドマウントディスプレイから成る。
また、図5はインタフェース装置の機能ブロック図を示している。図5に示すように、インタフェース装置の機能ブロックは、カメラ手段51と、カメラ手段51を用いて少なくとも1本の指にリングを装着した手指の画像を撮影する画像入力手段52と、入力された画像からリングの形状を抽出するリング抽出手段53と、リングの形状に基づきリングの位置姿勢を推定する位置姿勢推定手段54と、リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識手段55とから成る。
次に、インタフェース方法の処理フローについて、図6を参照しながら説明する。図6に示すように、先ず、2本の指に第1リングと第2リングをそれぞれ装着した手指の画像を撮影して画像入力する(S601)。次に、入力された画像から第1リングと第2リングの形状を抽出する(S603)。そして、第1リングと第2リングの形状に基づきリングの位置姿勢を推定する(S605)。最後に、第1リングと第2リングの位置姿勢に基づきハンドジェスチャを認識する(S607)。
図7は、ノート型コンピュータの操作を片手や両手のジャスチャを用いて、操作を行う様子を、ユーザ視点のカメラから撮影した画像の一例を示している。
また、図8はリングを手指の位置姿勢推定マーカーとして用いる際の位置姿勢推定の処理フローを示している。リングを手指の位置姿勢推定マーカーとして用いる場合は、図7に示すように、カメラ画像からRGB入力された画像をHSV表色系に変換し(S701)、色情報をもとにリングの各色の領域を抽出(S703)した後に、膨張収縮による欠損補間およびラベリング処理を施し(S705)、得られた閉領域より各色の重心座標を計算する(S707)。
そして、各重心座標の平均からリングの画像中の座標位置を算出(S709)し、各重心座標を結ぶ直線から画像平面内での推定角度を算出する(S711)。得られたリングの座標位置および推定角度から、リングの位置姿勢を推定する(S713)。
図9は、親指に装着したリング型インタフェースの色毎のリングの各重心座標を結ぶ直線から画像平面内での推定角度を算出する様子を示したものである。
また、図10は、親指、人差し指、中指の3つの指に装着したリング型インタフェースの位置姿勢を推定する様子を示したものである。
このように、本リング型インタフェースの利用により、多種のジェスチャを認識することが可能であり、ウェアラブルコンピュータに用いるハンドジェスチャの入力インタフェースとして有用に機能できることがわかる。
また、リングの位置姿勢を推定する他の方法例としては、色情報をもとに抽出したリング領域に楕円を当てはめ、その楕円の中心をリングの位置,推定した楕円の長軸短軸の長さ及び傾きより姿勢を推定する方法でもかまわない。
図11は、本インタフェース装置の実験結果を示す表示画面である。
実験は、画像認識でカメラ座標におけるリング型インタフェースの位置姿勢の推定を行った。リング型インタフェースは、図1のような青,緑の色を持つリングを用いた。実験では、Webカメラを使用し、右手人差し指に付けたリング型インタフェースを左方向(=180度)に向け、位置姿勢の推定を行った。
図11(a)は入力画像であり、図11(b)はリング型インタフェースの位置姿勢推定結果(座標値,角度)である。また、図11(c)(d)は、それぞれ、リング型インタフェースの青色および緑色の抽出結果である。図11(b)における十字線の交点は、リング型インタフェースの緑色抽出領域の重心である。このように、2色のそれぞれの重心(すなわち、青色および緑色の抽出領域の重心)を求め、その2つの重心を通る直線を求めることで、リング型インタフェースの推定角度を求めることができる。
リング型インタフェースの緑色部分が、手首に近い方とすれば(そのようなルールでリング型インタフェースを使用すれば)、指差す方向をリング型インタフェースのみで認識できることになる。
図11 (c)(d)の画像抽出結果から、各色の領域が正しく抽出できていることがわかる。その結果、出力結果の図11(d)として、リング型インタフェースの座標値と推定角度(=178度)が求められ、位置姿勢が推定できることが示された。
なお、位置姿勢推定を各色の重心座標より行っているため、画像のフレームサイズに対してリング型インタフェースの領域が小さい場合には、各色の重心座標の間隔が狭くなり推定が困難となる。従って、安定した推定を行うためには、解像度や画角などの入力画像の考慮や、リング型インタフェースの色の配置や形状を変えるなどの工夫を行っていく。
リング型インタフェースのデザイン例を図12に示す。図12に示されるリング型インタフェースは、その外側表面に、柄または色が異なる2種類のデザインを格子状に配置したものである。リング型インタフェースのデザインは、様々なものが考えられる。リングエッジの抽出が安定的に行え、楕円推定の精度が高いデザインが要求される。
本発明は、ウェアラブルコンピュータにおける手指のジェスチャ入力インタフェースとして有用である。
1 リング型インタフェース
2 ディジタルカメラ
3 HMD

Claims (14)

  1. カメラ画像を入力し、ハンドジェスチャを認識するために用いられるインタフェースであって、
    少なくとも1本の指に装着され、手指の位置姿勢推定マーカーとして用いられるリング型インタフェース。
  2. 前記リング型インタフェースにおいて、指に装着されるリングが軸方向に少なくとも2色に色分けされ、手首に近い側の判別を容易にすることを特徴とする請求項1に記載のリング型インタフェース。
  3. 前記リング型インタフェースにおいて、リングエッジの色が肌色の補色であることを特徴とする請求項1に記載のリング型インタフェース。
  4. 前記リング型インタフェースにおいて、リングの外側形状が、正多角柱または真円柱の形状を呈することを特徴とする請求項1に記載のリング型インタフェース。
  5. 前記リング型インタフェースにおいて、リングに振動手段、骨伝導手段、発光手段などのユーザ告知手段および無線信号受信手段が内蔵されていることを特徴とする請求項1に記載のリング型インタフェース。
  6. 前記リング型インタフェースにおいて、リングの外側表面に夜間発光材料がコーティングされていることを特徴とする請求項1に記載のリング型インタフェース。
  7. カメラ画像を用いてハンドジェスチャを認識するインタフェース装置であって、
    カメラ手段と、
    前記カメラ手段を用いて、少なくとも1本の指にリングを装着した手指の画像を撮影する画像入力手段と、
    入力された画像から前記リングの形状を抽出するリング抽出手段と、
    前記リングの形状に基づき前記リングの位置姿勢を推定する位置姿勢推定手段と、
    前記リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識手段と、
    を有するインタフェース装置。
  8. 前記位置姿勢推定手段は、前記リングのリングエッジの楕円推定を用いて位置姿勢推定を行うことを特徴とする請求項7に記載のインタフェース装置。
  9. 前記ジェスチャ認識手段において、認識が正常に行えた場合に、前記リングに対して無線信号を出力する認識フィードバック手段を備えたことを特徴とする請求項7に記載のインタフェース装置。
  10. 請求項7〜9のいずれかに記載のインタフェース装置を備えたコンピュータであって、
    前記カメラ手段は、ユーザ視点のカメラ視野となる位置に配置され、
    前記ジェスチャ認識手段から認識したジェスチェアに対応するコマンドを出力するコマンド出力手段と、
    前記コマンドに対応した情報を出力する情報用表示手段と、
    を備えたことを特徴とするウェアラブルコンピュータ。
  11. カメラ画像を用いてハンドジェスチャを認識するインタフェース方法であって、
    少なくとも1本の指にリングを装着した手指の画像を撮影する画像入力ステップと、
    入力された画像から前記リングの形状を抽出するリング抽出ステップと、
    前記リングの形状に基づき前記リングの位置姿勢を推定する位置姿勢推定ステップと、
    前記リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識ステップと、
    を有するインタフェース方法。
  12. カメラ画像を用いてハンドジェスチャを認識するインタフェース方法であって、
    2本の指に第1リングと第2リングをそれぞれ装着した手指の画像を撮影する画像入力ステップと、
    入力された画像から第1リングと第2リングの形状を抽出するリング抽出ステップと、
    第1リングと第2リングの形状に基づき前記リングの位置姿勢を推定する位置姿勢推定ステップと、
    第1リングと第2リングの位置姿勢に基づきハンドジェスチャを認識するジェスチャ認識ステップと、
    を有するインタフェース方法。
  13. 前記ジェスチャ認識ステップにおいて、第1リングと第2リングの相対位置から、長さ、角度、回転角のいずれかを求める計測ステップが含まれることを特徴とする請求項12に記載のインタフェース方法。
  14. 請求項11〜13のいずれかに記載のインタフェース方法を、コンピュータに実行させるためのインタフェースプログラム。
JP2009120152A 2009-05-18 2009-05-18 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法 Expired - Fee Related JP5263833B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009120152A JP5263833B2 (ja) 2009-05-18 2009-05-18 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009120152A JP5263833B2 (ja) 2009-05-18 2009-05-18 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法

Publications (2)

Publication Number Publication Date
JP2010267220A true JP2010267220A (ja) 2010-11-25
JP5263833B2 JP5263833B2 (ja) 2013-08-14

Family

ID=43364112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009120152A Expired - Fee Related JP5263833B2 (ja) 2009-05-18 2009-05-18 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法

Country Status (1)

Country Link
JP (1) JP5263833B2 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221370A (ja) * 2011-04-12 2012-11-12 Sharp Corp 表示装置、操作入力方法、操作入力プログラム、及び記録媒体
JP2013020311A (ja) * 2011-07-07 2013-01-31 Fujitsu Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP5174978B1 (ja) * 2012-04-26 2013-04-03 株式会社三菱東京Ufj銀行 情報処理装置、電子機器およびプログラム
KR101386100B1 (ko) 2011-12-27 2014-04-17 삼성메디슨 주식회사 입력 장치 및 입력 장치를 포함하는 사용자 장치
JP2014102840A (ja) * 2012-11-20 2014-06-05 Samsung Electronics Co Ltd デバイスの動きを含む、着用式電子デバイスへのユーザジェスチャー入力
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
JP2015507803A (ja) * 2012-01-09 2015-03-12 ソフトキネティック ソフトウェア 高められたジェスチャ・ベースの対話のためのシステム及び方法
KR101524162B1 (ko) * 2014-07-21 2015-05-29 주동균 손가락 움직임을 이용한 데이터 입력 장치와 그를 적용한 시스템 및 그 방법
WO2015113503A1 (zh) * 2014-01-29 2015-08-06 白桂雨 一种指环式无线指感控制器、控制方法及控制系统
JP2016033777A (ja) * 2014-07-31 2016-03-10 富士通株式会社 カルテ入力支援プログラム、カルテ入力支援方法及びカルテ入力支援装置
CN105700673A (zh) * 2014-12-15 2016-06-22 现代自动车株式会社 车辆中使用可穿戴设备的手势识别方法及执行其的车辆
JP2016533577A (ja) * 2013-08-23 2016-10-27 華為技術有限公司Huawei Technologies Co.,Ltd. リモコン装置、情報処理方法およびシステム
CN106991398A (zh) * 2017-04-01 2017-07-28 北京工业大学 一种基于图像识别配合图形手套的手势识别方法
WO2018011892A1 (ja) * 2016-07-12 2018-01-18 三菱電機株式会社 機器制御システム
JP2018136950A (ja) * 2014-03-14 2018-08-30 株式会社ソニー・インタラクティブエンタテインメント 回転自在に設置されたカメラ付きのゲーミングデバイス
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US10194060B2 (en) 2012-11-20 2019-01-29 Samsung Electronics Company, Ltd. Wearable electronic device
CN109499018A (zh) * 2019-01-10 2019-03-22 陈名虹 一种基于手势识别的放射治疗安全保护装置
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
JPWO2019093105A1 (ja) * 2017-11-07 2020-12-17 株式会社 資生堂 クライアント装置、サーバ、プログラム
CN112214100A (zh) * 2019-07-12 2021-01-12 广东虚拟现实科技有限公司 标记物、交互装置及识别跟踪方法
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
CN113741699A (zh) * 2021-09-15 2021-12-03 刘志超 一种基于智能戒指的手势输入设备及其系统、方法
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH098878A (ja) * 1995-06-21 1997-01-10 Takeshi Inoue 受信告知機能を本体から分離した携帯電話機
JP2000112651A (ja) * 1998-10-06 2000-04-21 Olympus Optical Co Ltd ポインティング機構
JP2007286696A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 入力装置
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
JP2012507101A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント ボール付属コントローラの位置および移動の決定

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH098878A (ja) * 1995-06-21 1997-01-10 Takeshi Inoue 受信告知機能を本体から分離した携帯電話機
JP2000112651A (ja) * 1998-10-06 2000-04-21 Olympus Optical Co Ltd ポインティング機構
JP2007286696A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 入力装置
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
JP2012507101A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント ボール付属コントローラの位置および移動の決定

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221370A (ja) * 2011-04-12 2012-11-12 Sharp Corp 表示装置、操作入力方法、操作入力プログラム、及び記録媒体
JP2013020311A (ja) * 2011-07-07 2013-01-31 Fujitsu Ltd 画像処理装置、画像処理方法及び画像処理プログラム
KR101386100B1 (ko) 2011-12-27 2014-04-17 삼성메디슨 주식회사 입력 장치 및 입력 장치를 포함하는 사용자 장치
JP2015507803A (ja) * 2012-01-09 2015-03-12 ソフトキネティック ソフトウェア 高められたジェスチャ・ベースの対話のためのシステム及び方法
JP5174978B1 (ja) * 2012-04-26 2013-04-03 株式会社三菱東京Ufj銀行 情報処理装置、電子機器およびプログラム
JP2014102840A (ja) * 2012-11-20 2014-06-05 Samsung Electronics Co Ltd デバイスの動きを含む、着用式電子デバイスへのユーザジェスチャー入力
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US10194060B2 (en) 2012-11-20 2019-01-29 Samsung Electronics Company, Ltd. Wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US9978261B2 (en) 2013-08-23 2018-05-22 Huawei Technologies Co., Ltd. Remote controller and information processing method and system
JP2016533577A (ja) * 2013-08-23 2016-10-27 華為技術有限公司Huawei Technologies Co.,Ltd. リモコン装置、情報処理方法およびシステム
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
WO2015050322A1 (ko) * 2013-10-04 2015-04-09 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
WO2015113503A1 (zh) * 2014-01-29 2015-08-06 白桂雨 一种指环式无线指感控制器、控制方法及控制系统
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
JP2018136950A (ja) * 2014-03-14 2018-08-30 株式会社ソニー・インタラクティブエンタテインメント 回転自在に設置されたカメラ付きのゲーミングデバイス
US10620711B2 (en) 2014-03-14 2020-04-14 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
KR101524162B1 (ko) * 2014-07-21 2015-05-29 주동균 손가락 움직임을 이용한 데이터 입력 장치와 그를 적용한 시스템 및 그 방법
JP2016033777A (ja) * 2014-07-31 2016-03-10 富士通株式会社 カルテ入力支援プログラム、カルテ入力支援方法及びカルテ入力支援装置
CN105700673A (zh) * 2014-12-15 2016-06-22 现代自动车株式会社 车辆中使用可穿戴设备的手势识别方法及执行其的车辆
JPWO2018011892A1 (ja) * 2016-07-12 2018-09-06 三菱電機株式会社 機器制御システム
WO2018011892A1 (ja) * 2016-07-12 2018-01-18 三菱電機株式会社 機器制御システム
CN106991398B (zh) * 2017-04-01 2020-03-27 北京工业大学 一种基于图像识别配合图形手套的手势识别方法
CN106991398A (zh) * 2017-04-01 2017-07-28 北京工业大学 一种基于图像识别配合图形手套的手势识别方法
JPWO2019093105A1 (ja) * 2017-11-07 2020-12-17 株式会社 資生堂 クライアント装置、サーバ、プログラム
JP7390891B2 (ja) 2017-11-07 2023-12-04 株式会社 資生堂 クライアント装置、サーバ、プログラム、及び、情報処理方法
CN109499018A (zh) * 2019-01-10 2019-03-22 陈名虹 一种基于手势识别的放射治疗安全保护装置
CN112214100A (zh) * 2019-07-12 2021-01-12 广东虚拟现实科技有限公司 标记物、交互装置及识别跟踪方法
CN113741699A (zh) * 2021-09-15 2021-12-03 刘志超 一种基于智能戒指的手势输入设备及其系统、方法
CN113741699B (zh) * 2021-09-15 2024-11-05 刘志超 一种基于智能戒指的手势输入设备及其系统、方法

Also Published As

Publication number Publication date
JP5263833B2 (ja) 2013-08-14

Similar Documents

Publication Publication Date Title
JP5263833B2 (ja) ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
US11016631B2 (en) Method and apparatus for ego-centric 3D human computer interface
JP6545258B2 (ja) スマートリング
US20220155866A1 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
CN105159539B (zh) 可穿戴设备的触控响应方法、装置及可穿戴设备
JP5782431B2 (ja) 空間動作システムと共に用いるための空間マルチモード制御デバイス
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
KR20110132349A (ko) 객체의 거동을 모니터링하는 장치 및 방법
KR20140068855A (ko) 공간 입력 장치를 위한 적응적 추적 시스템
NO339941B1 (no) System og fremgangsmåte for et gestbasert styringssystem
KR20110040165A (ko) 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
JP2008203911A (ja) ポインティング・デバイス、およびコンピュータ
WO2016026365A1 (zh) 实现非接触式鼠标控制的人机交互方法和系统
JP7213396B1 (ja) 電子機器及びプログラム
Nguyen et al. 3DTouch: A wearable 3D input device for 3D applications
KR20050047329A (ko) 손가락 움직임을 이용한 정보 입력장치 및 방법
Yamagishi et al. A system for controlling personal computers by hand gestures using a wireless sensor device
JP2005339306A (ja) データ入力装置
JP5776919B1 (ja) フィンガー制御式ポインティングデバイス
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
KR101588021B1 (ko) 헤드 마우스
KR20170091959A (ko) 블루투스 무선 통신을 기반으로 스마트 기기와 연동되는 스마트 글러브
WO2009093027A1 (en) Wrist-mounted computer periferal
JP5196427B2 (ja) 操作入力装置及び操作入力方法
JP5733056B2 (ja) 仮想マウスによるデータ入力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5263833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees