JP2012113525A - Gesture recognition device and gesture recognition method - Google Patents
Gesture recognition device and gesture recognition method Download PDFInfo
- Publication number
- JP2012113525A JP2012113525A JP2010262195A JP2010262195A JP2012113525A JP 2012113525 A JP2012113525 A JP 2012113525A JP 2010262195 A JP2010262195 A JP 2010262195A JP 2010262195 A JP2010262195 A JP 2010262195A JP 2012113525 A JP2012113525 A JP 2012113525A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- acceleration
- gesture recognition
- standard deviation
- predetermined time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、使用者によって行われるジェスチャを認識するための技術に関するものである。 The present invention relates to a technique for recognizing a gesture made by a user.
使用者のジェスチャを認識する技術として、下記特許文献１〜５に記載のものがある。 As techniques for recognizing a user's gesture, there are those described in Patent Documents 1 to 5 below.
例えば、特許文献１の技術では、複数の多軸加速度センサを使用者の身体に取り付ける。そして、一つの多軸加速度センサの出力を基準として、このセンサと他のセンサとの出力の差分を、各軸において算出する。ついで、この差分出力の時間変化のデータと辞書データとを照合する。辞書データでは、差分出力の時間変化のデータとジェスチャとが対応付けられているので、使用者のジェスチャを特定することができる。 For example, in the technique of Patent Document 1, a plurality of multi-axis acceleration sensors are attached to the user's body. Then, with reference to the output of one multi-axis acceleration sensor, the difference in output between this sensor and the other sensor is calculated for each axis. Next, the time-change data of the difference output and the dictionary data are collated. In the dictionary data, the time-change data of the differential output is associated with the gesture, so that the user's gesture can be specified.
ところで、この技術においては、特定の一つのセンサの出力を基準とするので、基準となるセンサの初期位置が重要になる。そして、基準センサが初期位置に正しく設置されないと、ジェスチャの認識精度が劣化すると考えられる。 By the way, in this technique, since the output of one specific sensor is used as a reference, the initial position of the reference sensor is important. If the reference sensor is not correctly installed at the initial position, it is considered that the gesture recognition accuracy deteriorates.
また、他の各文献の技術でも、ジェスチャの認識動作が煩雑であるという問題があった。 Further, the techniques of other documents also have a problem that the gesture recognition operation is complicated.
本発明は、前記の状況に鑑みてなされたものである。本発明は、ジェスチャの認識を簡便な手順で比較的正確に行うことが可能な技術を提供することを目的としている。 The present invention has been made in view of the above situation. An object of the present invention is to provide a technique capable of performing gesture recognition relatively accurately by a simple procedure.
前記した課題を解決する手段は、以下の項目のように記載できる。 Means for solving the above-described problems can be described as follows.
（項目１）
検出部と処理部とを備えており、
前記検出部は、３軸方向への加速度をそれぞれ検出できる構成となっており、
かつ、前記検出部は、使用者の動作に対応して三次元空間内を移動させられるものであり、
前記処理部は、前記３軸方向のうちの少なくとも一つの軸方向における前記加速度についての、既定時間内での標準偏差と、他の軸方向における前記加速度についての、既定時間内での標準偏差との大小関係を用いてジェスチャを認識する構成となっている
ジェスチャ認識装置。
(Item 1)
A detection unit and a processing unit,
The detection unit is configured to be able to detect acceleration in three axis directions,
And the said detection part is moved in the three-dimensional space according to a user's operation | movement,
The processing unit includes a standard deviation within a predetermined time for the acceleration in at least one of the three axial directions, and a standard deviation within a predetermined time for the acceleration in another axial direction. Gesture recognition device that is configured to recognize gestures using the magnitude relationship of.
検出部は、通常、使用者の身体、例えば指に取り付けられる。操作者は、検出部を三次元空間内で移動させることにより、各種の動作、すなわちジェスチャを行うことができる。ここで、三次元空間とは、空気中に限らず、例えば水中であってもよい。 The detection unit is usually attached to a user's body, for example, a finger. The operator can perform various operations, that is, gestures, by moving the detection unit in the three-dimensional space. Here, the three-dimensional space is not limited to air, but may be, for example, water.
（項目２）
前記処理部は、さらに、前記加速度の方向を判別することにより、前記ジェスチャの方向を特定する構成となっている
項目１に記載のジェスチャ認識装置。
(Item 2)
The gesture recognition device according to item 1, wherein the processing unit is further configured to determine a direction of the gesture by determining a direction of the acceleration.
（項目３）
前記処理部は、前記標準偏差どうしの大小関係を用いた木構造に基づいて前記ジェスチャを認識する構成となっている
項目１又は２に記載のジェスチャ認識装置。
(Item 3)
The gesture recognition device according to item 1 or 2, wherein the processing unit is configured to recognize the gesture based on a tree structure using a magnitude relationship between the standard deviations.
（項目４）
前記検出部は、使用者の指に装着されるものである
項目１〜３のいずれか１項に記載のジェスチャ認識装置。
(Item 4)
The gesture recognition device according to any one of items 1 to 3, wherein the detection unit is worn on a user's finger.
（項目５）
以下のステップを備えるジェスチャ認識方法：
（１）３軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の軸方向における前記加速度についての、既定時間内での標準偏差とを算出するステップ；
（２）前記算出された標準偏差どうしの大小関係を用いた木構造に基づいてジェスチャを認識するステップ。
(Item 5)
Gesture recognition method comprising the following steps:
(1) A step of calculating a standard deviation within a predetermined time for an acceleration in at least one of the three axial directions and a standard deviation within a predetermined time for the acceleration in another axial direction. ;
(2) A step of recognizing a gesture based on a tree structure using a magnitude relationship between the calculated standard deviations.
（項目６）
項目５に記載の各ステップをコンピュータで実行させるためのコンピュータプログラム。
(Item 6)
A computer program for causing a computer to execute each step according to item 5.
（項目７）
以下のステップを備える、ジェスチャ認識のための木構造の生成方法：
（１）標準的なジェスチャについて、３軸方向における加速度についての、既定時間内での標準偏差を、各軸について算出するステップ；
（２）前記各軸における標準偏差の大小関係を用いて前記標準的なジェスチャに辿りつけるように、ジェスチャを特定するための木構造を決定するステップ。
(Item 7)
A method for generating a tree structure for gesture recognition comprising the following steps:
(1) For a standard gesture, calculating for each axis a standard deviation within a predetermined time for acceleration in three axis directions;
(2) A step of determining a tree structure for specifying a gesture so that the standard gesture can be traced using a magnitude relationship of standard deviations in each axis.
本発明によれば、ジェスチャの認識を簡便な手順で比較的正確に行うことが可能になる。 According to the present invention, it is possible to perform gesture recognition relatively accurately by a simple procedure.
以下、添付図面を参照しながら、本発明の実施形態に係るジェスチャ認識装置について説明する。 Hereinafter, a gesture recognition device according to an embodiment of the present invention will be described with reference to the accompanying drawings.
（本実施形態の構成）
本実施形態のジェスチャ認識装置は、検出部１と処理部２とを備えている（図１及び図２参照）。
(Configuration of this embodiment)
The gesture recognition device according to the present embodiment includes a detection unit 1 and a processing unit 2 (see FIGS. 1 and 2).
（検出部）
検出部１は、３軸方向への加速度をそれぞれ検出できる構成となっている。さらに、検出部１は、使用者の動作に対応して三次元空間内を移動させられるものとなっている。
(Detection unit)
The detection unit 1 is configured to be able to detect accelerations in three axis directions. Furthermore, the detection unit 1 can be moved in the three-dimensional space in accordance with the user's operation.
具体的には、この実施形態における検出部１は、加速度センサ１１と、MPU（マイクロプロセッサ）ボード１２と、パワーボード１３と、電池１４と、筐体１５を備えている（図１及び図２参照）。 Specifically, the detection unit 1 in this embodiment includes an acceleration sensor 11, an MPU (microprocessor) board 12, a power board 13, a battery 14, and a housing 15 (FIGS. 1 and 2). reference).
加速度センサ１１は、３軸方向、すなわちＸ−Ｙ−Ｚ方向への加速度をそれぞれ測定することができる構成となっている。このような加速度センサは、一軸方向への加速度検出用の部品を互いに直交して配置することにより容易に得ることができる。 The acceleration sensor 11 is configured to be able to measure accelerations in three axis directions, that is, XYZ directions. Such an acceleration sensor can be easily obtained by arranging parts for detecting acceleration in a uniaxial direction orthogonal to each other.
MPUボード１２は、柔軟性のあるコネクタ部材を介して加速度センサ１１に接続されており、加速度センサ１１から出力される各軸方向での加速度値を取得することができるようになっている。また、MPUボード１２は、チップアンテナ１２１を備えており、処理部２との間で無線通信を行うことができるようになっている。すなわち、MPUボード１２は、無線を介して、処理部２に、検出された加速度値を送信できるようになっている。 The MPU board 12 is connected to the acceleration sensor 11 via a flexible connector member, and can acquire an acceleration value in each axial direction output from the acceleration sensor 11. In addition, the MPU board 12 includes a chip antenna 121 so that wireless communication with the processing unit 2 can be performed. That is, the MPU board 12 can transmit the detected acceleration value to the processing unit 2 via wireless.
パワーボード１３は、柔軟性のあるコネクタ部材を介してMPUボード１２に接続されており、電池１４から供給される電力をMPUボード１２に供給できるようになっている。 The power board 13 is connected to the MPU board 12 via a flexible connector member so that the power supplied from the battery 14 can be supplied to the MPU board 12.
電池１４としては、通常の一次電池あるいは再充電可能な二次電池（蓄電池）を用いることができる。ただし、電池１４としては、なるべく小型軽量であることが好ましい。 As the battery 14, a normal primary battery or a rechargeable secondary battery (storage battery) can be used. However, the battery 14 is preferably as small and light as possible.
筐体１５は、この実施形態では，指に装着可能な指輪型の形状とされている。さらに、筐体１５の内部には、前記した加速度センサ１１等の各要素部材が収納されている。 In this embodiment, the casing 15 has a ring shape that can be attached to a finger. Further, each element member such as the acceleration sensor 11 described above is accommodated in the housing 15.
（処理部）
処理部２は、通信Ｉ／Ｆ（インタフェース）部２１と、記憶部２２と、ＣＰＵ（中央処理装置）２３とを備えている（図１参照）。
(Processing part)
The processing unit 2 includes a communication I / F (interface) unit 21, a storage unit 22, and a CPU (central processing unit) 23 (see FIG. 1).
通信Ｉ／Ｆ部２１は、検出部１のＭＰＵボード１２に搭載されたチップアンテナ１２１と通信するためのインタフェースとなる部分である。また、通信Ｉ／Ｆ部２１は、電波送受信用のアンテナ２１１を備えている。 The communication I / F unit 21 is a part serving as an interface for communicating with the chip antenna 121 mounted on the MPU board 12 of the detection unit 1. The communication I / F unit 21 includes an antenna 211 for transmitting and receiving radio waves.
記憶部２２は、CPU２３において実行されるコンピュータプログラムと、動作のために必要な各種のデータを格納している。 The storage unit 22 stores a computer program executed by the CPU 23 and various data necessary for the operation.
CPU２３は、ジェスチャの認識を行うためのコンピュータプログラムを、記憶部２２に記憶されたデータと、検出部１から送られた加速度とを用いて実行するように構成されている。CPU２３で実行されるジェスチャ認識動作の詳細は後述する。 The CPU 23 is configured to execute a computer program for performing gesture recognition using data stored in the storage unit 22 and acceleration transmitted from the detection unit 1. Details of the gesture recognition operation executed by the CPU 23 will be described later.
前記の構成により、本実施形態の処理部２は、３軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の軸方向における加速度についての、既定時間内での標準偏差との大小関係を用いてジェスチャを認識する構成とされている。 With the above-described configuration, the processing unit 2 according to the present embodiment is configured so that the standard deviation within a predetermined time for the acceleration in at least one of the three axial directions and the predetermined time for the acceleration in the other axial directions. The gesture is recognized by using the magnitude relationship with the standard deviation in the inside.
（本実施形態の動作）
つぎに、本実施形態に係るジェスチャ認識装置を用いたジェスチャ認識方法を、図３〜図１０をさらに参照して説明する。
(Operation of this embodiment)
Next, a gesture recognition method using the gesture recognition apparatus according to the present embodiment will be described with further reference to FIGS.
（図３のステップＳＡ−１）
まず、基本的なジェスチャに対応して、３軸方向における加速度の特徴値を取得する。このステップは、学習のためのステップである。ここで、本実施形態では、加速度の特徴値として、標準偏差の差分を用いる。以下、図４を参照しながら、詳しく説明する。
(Step SA-1 in FIG. 3)
First, corresponding to a basic gesture, a characteristic value of acceleration in three axis directions is acquired. This step is a step for learning. Here, in the present embodiment, a standard deviation difference is used as the acceleration characteristic value. Hereinafter, it will be described in detail with reference to FIG.
（サンプリング）
まず、説明の前提として、この実施形態における検出部１の装着状態を、図５に基づいて説明する。図５は、指をモデル化した図を示している。この例では、第１関節と第２関節との間に検出部１の筐体１５を取り付けたと仮定している。ただし、他の部位に筐体１５を取り付けることは可能である。また、手の指以外の箇所に検出部１を取り付けることも可能である。その場合は、筐体１５の形状を、取り付け箇所に適合するように構成することが好ましい。
(sampling)
First, as a premise of the description, the mounting state of the detection unit 1 in this embodiment will be described based on FIG. FIG. 5 shows a diagram modeling a finger. In this example, it is assumed that the casing 15 of the detection unit 1 is attached between the first joint and the second joint. However, it is possible to attach the housing 15 to other parts. It is also possible to attach the detection unit 1 to a location other than the fingers of the hand. In that case, it is preferable to configure the shape of the housing 15 so as to match the mounting location.
図５の状態におけるヨー、ロール、ピッチ等の動作の方向の取り方を、図６に示した。 FIG. 6 shows how to determine the direction of operation such as yaw, roll, and pitch in the state of FIG.
サンプリング動作においては、基本的なジェスチャを実行し、そのときの各軸における加速度を測定する。図７の（ａ）〜（ｌ）に、基本的な１２種類のジェスチャと、そのときの各軸における加速度の値とを示す。図７の（ａ）〜（ｌ）に示したグラフにおいて、縦軸は加速度値、横軸はサンプル点を示す。なお、この例では、５０Hzでサンプリングを行った。つまり、１秒間あたり５０個の加速度データを、各軸方向において取得した。また、図４においては、図６（ｃ）に示すL-Shiftの動作（左方向に指先を動かす動作）での加速度値を記載してある。このサンプリングを複数回（例えば１００回）行う。なお、この明細書では、特に言及しない限り、１回の動作に対する複数のサンプル点の取得の全体をサンプリングと称する。 In the sampling operation, a basic gesture is executed, and the acceleration at each axis is measured. 7A to 7L show 12 basic types of gestures and acceleration values on the respective axes at that time. In the graphs shown in FIGS. 7A to 7I, the vertical axis represents the acceleration value, and the horizontal axis represents the sample point. In this example, sampling was performed at 50 Hz. That is, 50 pieces of acceleration data per second were acquired in each axial direction. In FIG. 4, the acceleration values in the L-Shift operation (the operation of moving the fingertip in the left direction) shown in FIG. 6C are shown. This sampling is performed a plurality of times (for example, 100 times). In this specification, the entire acquisition of a plurality of sample points for one operation is referred to as sampling unless otherwise specified.
（標準偏差の算出）
ついで、１回のサンプリングにおける標準偏差を下記のようにして算出する。まず、各軸における平均加速度を下記式により求める。
(Calculation of standard deviation)
Next, the standard deviation in one sampling is calculated as follows. First, the average acceleration on each axis is obtained by the following formula.
ここで、
Ｎ：各回の加速度サンプリングにおけるサンプル点の数（例えばＮ＝５０）；
ａi：ｉ番目のサンプル点における加速度値；
ａバー：平均加速度。
here,
N: number of sample points in each acceleration sampling (for example, N = 50);
a i : acceleration value at the i-th sample point;
a bar: Average acceleration.
求めた平均加速度ａバーを用いて、各軸における標準偏差ｓｄを下記式により求める。 The standard deviation sd in each axis is obtained by the following equation using the obtained average acceleration a bar.
この標準偏差ｓｄを、各回のサンプリングについて求める。したがって、サンプリングを１００回行った場合は、１００個の標準偏差ｓｄを、各軸について求めることができる。 This standard deviation sd is obtained for each sampling. Therefore, when sampling is performed 100 times, 100 standard deviations sd can be obtained for each axis.
L-Shiftという動作について、百回のサンプリングを行った結果を図８に示す。このグラフにおける縦軸は、Ｘ，Ｙ，Ｚの各軸について前記の計算によって得た、加速度値の標準偏差である。このグラフの横軸は、各サンプリングの回数（何回目のサンプリングか）を示す。 FIG. 8 shows the result of performing sampling 100 times for the operation called L-Shift. The vertical axis in this graph is the standard deviation of acceleration values obtained by the above calculation for the X, Y, and Z axes. The horizontal axis of this graph shows the number of times of each sampling (how many times of sampling).
この図から分かるように、各回の動作において、Ｙ軸方向の標準偏差が、他の方向の標準偏差より大きい。また、第１１回目のサンプリングにおけるジェスチャは、第３５回目のサンプリングにおけるジェスチャよりもゆっくりした動作である。このため、加速度の絶対値として、第１１回目のデータは、第３５回目のデータよりも小さい。しかしながら、標準偏差に着目すると、いずれの場合でも、Ｙ軸方向の標準偏差が、他の方向の標準偏差より大きいという特徴を維持している。したがって、標準偏差の大小という、比較的単純な判断を行うことにより、ジェスチャの判別が可能であることが分かる。すなわち、sdy>sdxかつsdy>sdzという特徴判定により、一つのジェスチャ判別が可能となる。 As can be seen from this figure, in each operation, the standard deviation in the Y-axis direction is larger than the standard deviation in other directions. In addition, the gesture in the eleventh sampling is a slower operation than the gesture in the thirty-fifth sampling. For this reason, the 11th data is smaller than the 35th data as an absolute value of acceleration. However, focusing on the standard deviation, in any case, the characteristic that the standard deviation in the Y-axis direction is larger than the standard deviation in other directions is maintained. Therefore, it can be understood that the gesture can be discriminated by making a relatively simple determination of the standard deviation. That is, one gesture discrimination can be performed by the feature determination of sd y > sd x and sd y > sd z .
（図３のステップＳＡ−２）
前記と同様な特徴抽出を、各ジェスチャについて行う。これにより、図９に示すように、標準偏差の比較を用いた決定木を作成することができる。すなわち、取得された特徴値に基づいて、ジェスチャ認識用の決定木を生成する。この決定木の生成は、通常、特徴値を見ながら作業者が行うことができる。
(Step SA-2 in FIG. 3)
Similar feature extraction is performed for each gesture. Thereby, as shown in FIG. 9, the decision tree using the comparison of the standard deviation can be created. That is, based on the acquired feature value, a decision tree for gesture recognition is generated. This decision tree can usually be generated by an operator while viewing the feature values.
なお、この決定木では、ジェスチャの方向を決定するために、最大及び最小の加速度が得られたサンプル番号の大小をさらに比較している。例えば、図7の（ｃ）に示す左への移動と、図7の（ｄ）に示す右への移動は、前記した標準偏差の大小だけでは区別が難しい。しかしながら、Ｙ軸方向への加速度の最大値と最小値が、それぞれ、どのサンプル値で発生したかという情報を追加的に用いると、ジェスチャの方向を決定することができる。例えば、図7（ｃ）を見ると、Ｙ方向加速度の最大値は、最小値よりも後のサンプル値番号で得られている。つまり、YmaxNo＞YminNoとなる。一方、図7（ｄ）の波形を見ると、逆にYmaxNo＜YminNoとなっている。このようにサンプル番号を比較することにより、つまり、最大値と最小値の発生順序を比較することにより、ペアとなるジェスチャを区別することができる。 In this decision tree, in order to determine the direction of the gesture, the magnitudes of the sample numbers from which the maximum and minimum accelerations are obtained are further compared. For example, the leftward movement shown in (c) of FIG. 7 and the rightward movement shown in (d) of FIG. 7 are difficult to distinguish only by the magnitude of the standard deviation. However, the direction of the gesture can be determined by additionally using information on which sample value the maximum value and minimum value of acceleration in the Y-axis direction are generated. For example, referring to FIG. 7C, the maximum value of the acceleration in the Y direction is obtained by a sample value number after the minimum value. That is, YmaxNo> YminNo. On the other hand, when looking at the waveform of FIG. 7 (d), YmaxNo <YminNo. By comparing the sample numbers in this way, that is, by comparing the generation order of the maximum value and the minimum value, it is possible to distinguish the paired gestures.
（図３のステップＳＡ−３）
ついで、使用者は、実際のジェスチャを実行する。検出部１は、３軸方向での加速度を検出し、処理部２は、ジェスチャの認識を行う。このジェスチャ認識は、前記した決定木を用いて行われる。ジェスチャ認識動作の詳細を、図１０をさらに参照しながら説明する。
(Step SA-3 in FIG. 3)
The user then performs the actual gesture. The detection unit 1 detects acceleration in the three-axis directions, and the processing unit 2 performs gesture recognition. This gesture recognition is performed using the above-described decision tree. Details of the gesture recognition operation will be described with further reference to FIG.
（図１０のステップＳＢ−１）
まず、使用者は、検出部１の筐体１５を指に取り付ける。この状態では、加速度センサ１１と指との位置関係が固定される。
(Step SB-1 in FIG. 10)
First, the user attaches the casing 15 of the detection unit 1 to a finger. In this state, the positional relationship between the acceleration sensor 11 and the finger is fixed.
ついで、使用者は、既定の動作開始ジェスチャを行う。動作開始ジェスチャとは、ジェスチャ判定が容易な特別のジェスチャである。例えば、使用者は、指を水平方向に進めるジェスチャを行う。このとき、各軸の加速度センサの値としては、動作開始時に０以外であり、その後はほぼ０となる。このような加速度値は、処理部２に送られる。処理部２のCPU２３は、記憶部２２に格納されたデータを参照する。そして、前記のような特別な値の場合は、動作開始ジェスチャであると判定することができる。動作開始ジェスチャと判定した場合は、後述の処理が行われる。 Next, the user performs a predetermined operation start gesture. The operation start gesture is a special gesture that allows easy gesture determination. For example, the user performs a gesture of moving a finger in the horizontal direction. At this time, the value of the acceleration sensor of each axis is other than 0 at the start of the operation, and is almost 0 thereafter. Such an acceleration value is sent to the processing unit 2. The CPU 23 of the processing unit 2 refers to the data stored in the storage unit 22. In the case of the special value as described above, it can be determined that it is an operation start gesture. If it is determined as an operation start gesture, processing described later is performed.
（図１０のステップＳＢ−２）
前記した動作開始ジェスチャを行った後、使用者は、既定のジェスチャを行う。例えば、本実施形態では、図７に示した１２種類のジェスチャのうちのいずれかを行う。このジェスチャによって発生した各軸方向での加速度は、検出部１によって検出され、処理部２に送られる。
(Step SB-2 in FIG. 10)
After performing the operation start gesture described above, the user performs a predetermined gesture. For example, in the present embodiment, any one of the 12 types of gestures illustrated in FIG. 7 is performed. The acceleration in each axial direction generated by this gesture is detected by the detection unit 1 and sent to the processing unit 2.
（図１０のステップＳＢ−３）
ついで、使用者は、既定の動作終了ジェスチャを行う。この動作終了ジェスチャは、動作開始ジェスチャと同様に、ジェスチャ判定が容易な特別のジェスチャである。この実施形態では、既定時間の間動作を停止する（検出部１を動かさない）というジェスチャを行う。サンプリングを行う時間を１秒間とすると、１秒間の間、動作を停止させる。このようにすると、各軸方向での加速度値はほぼ０を維持するので、処理部２は、動作終了ジェスチャを判定することができる。
(Step SB-3 in FIG. 10)
Next, the user performs a predetermined operation end gesture. Similar to the operation start gesture, this operation end gesture is a special gesture that allows easy gesture determination. In this embodiment, a gesture of stopping the operation for a predetermined time (not moving the detection unit 1) is performed. If the sampling time is 1 second, the operation is stopped for 1 second. In this way, since the acceleration value in each axis direction is maintained substantially 0, the processing unit 2 can determine the motion end gesture.
（図１０のステップＳＢ−４）
ついで、処理部２のCPU２３は、記憶部２２に格納されたコンピュータプログラムに従って、得られた加速度値を用いて、各軸方向での特徴値を計算する。つまり、各軸方向での加速度の標準偏差、加速度の最大値、加速度の最小値をそれぞれ算出する。また、加速度の最大値と最小値が得られたサンプル番号をそれぞれ特定する。
(Step SB-4 in FIG. 10)
Next, the CPU 23 of the processing unit 2 calculates a feature value in each axial direction using the obtained acceleration value according to the computer program stored in the storage unit 22. That is, the standard deviation of acceleration, the maximum value of acceleration, and the minimum value of acceleration in each axis direction are calculated. Moreover, the sample number from which the maximum value and the minimum value of acceleration are obtained is specified.
（図１０のステップＳＢ−５）
ついで、処理部２のCPU２３は、算出された特徴値を、図９に一例として示す決定木に適用する。この決定木において＆とあるのはアンド条件を示す。これにより、図９の四角枠で示すジェスチャを特定することができる。
(Step SB-5 in FIG. 10)
Next, the CPU 23 of the processing unit 2 applies the calculated feature value to the decision tree shown as an example in FIG. In this decision tree, & indicates an AND condition. Thereby, the gesture shown by the square frame of FIG. 9 can be specified.
（図１０のステップＳＢ−６）
前記ステップＳＢ−５によりジェスチャを特定できた場合は、次のステップに進む。ジェスチャを特定できなかった場合は、処理部２は、適宜の手段（例えば警告音や警告表示）によりエラーメッセージを表示する。これにより、使用者に対して、再度の動作開始ジェスチャの実行を促すことができる。既定時間内に動作開始ジェスチャが行われた場合は、前記したＳＢ−２からのステップを再度実行する。
(Step SB-6 in FIG. 10)
If the gesture can be specified in step SB-5, the process proceeds to the next step. When the gesture cannot be specified, the processing unit 2 displays an error message by an appropriate means (for example, a warning sound or a warning display). Thereby, it is possible to prompt the user to perform the operation start gesture again. When the operation start gesture is performed within the predetermined time, the above-described steps from SB-2 are executed again.
（図１０のステップＳＢ−７）
ついで、処理部２は、特定したジェスチャに対応する命令を特定する。例えば、コンピュータ（図示せず）への特定の指令内容を特定する。この操作は、記憶部２２に適宜な照合テーブルを備えることにより実行できる。
(Step SB-7 in FIG. 10)
Next, the processing unit 2 specifies an instruction corresponding to the specified gesture. For example, a specific command content to a computer (not shown) is specified. This operation can be performed by providing the storage unit 22 with an appropriate collation table.
（図１０のステップＳＢ−８）
ついで、処理部２は、コンピュータ（図示せず）に対して、特定された命令を送信する。これにより、コンピュータは、使用者のジェスチャに対応する動作を行うことができる。
(Step SB-8 in FIG. 10)
Next, the processing unit 2 transmits the specified command to a computer (not shown). Thereby, the computer can perform an operation corresponding to the user's gesture.
本実施形態では、前記したように、加速度の標準偏差の大小関係を用いて、ジェスチャ認識用決定木を生成することができる。このため、決定木が簡潔であるという利点がある。 In the present embodiment, as described above, the gesture recognition decision tree can be generated using the magnitude relation of the standard deviation of acceleration. For this reason, there is an advantage that the decision tree is simple.
また、本実施形態では、閾値最適化を行う必要がない。このため、人間によって、安定した決定木を簡単に生成できるという利点もある。 In this embodiment, it is not necessary to perform threshold optimization. Therefore, there is an advantage that a stable decision tree can be easily generated by a human.
さらに、本実施形態では、ジェスチャ判定に必要な計算量が少ないという利点もある。例えば、従来の技術では、2つの信号シーケンスの間の類似度を測る認識手法（動的時間伸縮法 、隠れマルコフモデル）を用いるものがある。このような従来手法では、積分やマトリックス計算が必要となり、計算量が多い。これに対して、本実施形態では、前記した通り、少ない計算量でジェスチャの認識を行うことができる。 Furthermore, this embodiment has an advantage that the amount of calculation required for gesture determination is small. For example, some conventional techniques use a recognition method (dynamic time stretching method, hidden Markov model) that measures the degree of similarity between two signal sequences. In such a conventional method, integration and matrix calculation are required, and the calculation amount is large. On the other hand, in this embodiment, as described above, it is possible to recognize a gesture with a small amount of calculation.
なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。例えば、前記した検出部における各機能要素は、ネットワークを介して分散配置されていてもよい。また、各機能要素が、複数のハードウエアの組み合わせによって実現されていてもよく、さらには、各機能要素が集合して一つのハードウエアを構成していてもよい。要するに、各機能要素は、必要な機能を実行できるように構成されていればよい。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the present invention. For example, each functional element in the detection unit described above may be distributed and arranged via a network. In addition, each functional element may be realized by a combination of a plurality of hardware, and further, each functional element may be aggregated to constitute one hardware. In short, each functional element only needs to be configured to execute a necessary function.
１ 検出部
１１ 加速度センサ
１２ ボード
１２１ チップアンテナ
１３ パワーボード
１４ 電池
１５ 筐体
２ 処理部
２１ 通信I/F部
２１１ アンテナ
２２ 記憶部
２３ ＣＰＵ
DESCRIPTION OF SYMBOLS 1 Detection part 11 Acceleration sensor 12 Board 121 Chip antenna 13 Power board 14 Battery 15 Case 2 Processing part 21 Communication I / F part 211 Antenna 22 Storage part 23 CPU
Claims (7)
前記検出部は、３軸方向への加速度をそれぞれ検出できる構成となっており、
かつ、前記検出部は、使用者の動作に対応して三次元空間内を移動させられるものであり、
前記処理部は、前記３軸方向のうちの少なくとも一つの軸方向における前記加速度についての、既定時間内での標準偏差と、他の軸方向における前記加速度についての、既定時間内での標準偏差との大小関係を用いてジェスチャを認識する構成となっている
ジェスチャ認識装置。 A detection unit and a processing unit,
The detection unit is configured to be able to detect acceleration in three axis directions,
And the said detection part is moved in the three-dimensional space according to a user's operation | movement,
The processing unit includes a standard deviation within a predetermined time for the acceleration in at least one of the three axial directions, and a standard deviation within a predetermined time for the acceleration in another axial direction. Gesture recognition device that is configured to recognize gestures using the magnitude relationship of.
請求項１に記載のジェスチャ認識装置。 The gesture recognition device according to claim 1, wherein the processing unit is further configured to determine a direction of the gesture by determining a direction of the acceleration.
請求項１又は２に記載のジェスチャ認識装置。 The gesture recognition apparatus according to claim 1, wherein the processing unit is configured to recognize the gesture based on a tree structure using a magnitude relationship between the standard deviations.
請求項１〜３のいずれか１項に記載のジェスチャ認識装置。 The gesture recognition device according to claim 1, wherein the detection unit is attached to a user's finger.
（１）３軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の軸方向における前記加速度についての、既定時間内での標準偏差とを算出するステップ；
（２）前記算出された標準偏差どうしの大小関係を用いた木構造に基づいてジェスチャを認識するステップ。 Gesture recognition method comprising the following steps:
(1) A step of calculating a standard deviation within a predetermined time for an acceleration in at least one of the three axial directions and a standard deviation within a predetermined time for the acceleration in another axial direction. ;
(2) A step of recognizing a gesture based on a tree structure using a magnitude relationship between the calculated standard deviations.
（１）標準的なジェスチャについて、３軸方向における加速度についての、既定時間内での標準偏差を、各軸について算出するステップ；
（２）前記各軸における標準偏差の大小関係を用いて前記標準的なジェスチャに辿りつけるように、ジェスチャを特定するための木構造を決定するステップ。 A method for generating a tree structure for gesture recognition comprising the following steps:
(1) For a standard gesture, calculating for each axis a standard deviation within a predetermined time for acceleration in three axis directions;
(2) A step of determining a tree structure for specifying a gesture so that the standard gesture can be traced using a magnitude relationship of standard deviations in each axis.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010262195A JP5733656B2 (en) | 2010-11-25 | 2010-11-25 | Gesture recognition device and gesture recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010262195A JP5733656B2 (en) | 2010-11-25 | 2010-11-25 | Gesture recognition device and gesture recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012113525A true JP2012113525A (en) | 2012-06-14 |
| JP5733656B2 JP5733656B2 (en) | 2015-06-10 |
Family
ID=46497670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010262195A Active JP5733656B2 (en) | 2010-11-25 | 2010-11-25 | Gesture recognition device and gesture recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5733656B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014102842A (en) * | 2012-11-20 | 2014-06-05 | Samsung Electronics Co Ltd | User gesture input to wearable electronic device involving movement of device |
| JP2015521429A (en) * | 2012-06-29 | 2015-07-27 | インテル コーポレイション | Device, method and system for securely pairing a mobile communication device using motion |
| JP2016534421A (en) * | 2013-10-14 | 2016-11-04 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Gesture control device, method, system, and storage medium |
| WO2017013805A1 (en) * | 2015-07-23 | 2017-01-26 | 富士通株式会社 | Input device, input support method and input support program |
| US10194060B2 (en) | 2012-11-20 | 2019-01-29 | Samsung Electronics Company, Ltd. | Wearable electronic device |
| CN109737686A (en) * | 2019-01-28 | 2019-05-10 | 青岛海尔智能技术研发有限公司 | A kind of refrigerator open control method |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| WO2020153087A1 (en) * | 2019-01-23 | 2020-07-30 | 株式会社小糸製作所 | Vehicular communication system, vehicular display device, and vehicle |
| JP2020165981A (en) * | 2018-07-30 | 2020-10-08 | メタウォーター株式会社 | Information processing system, information processing device, program, and information processing method |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| WO2022014160A1 (en) * | 2020-07-16 | 2022-01-20 | アルプスアルパイン株式会社 | Gesture identifying device |
| US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1131047A (en) * | 1997-07-10 | 1999-02-02 | Rikagaku Kenkyusho | Symbol signal generator |
| JP2001236174A (en) * | 2000-02-25 | 2001-08-31 | Fujitsu Ltd | Handwritten character input device and handwritten character recognition method |
| JP2009165826A (en) * | 2008-01-11 | 2009-07-30 | Sony Computer Entertainment America Inc | Gesture catalog generation and recognition |
-
2010
- 2010-11-25 JP JP2010262195A patent/JP5733656B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1131047A (en) * | 1997-07-10 | 1999-02-02 | Rikagaku Kenkyusho | Symbol signal generator |
| JP2001236174A (en) * | 2000-02-25 | 2001-08-31 | Fujitsu Ltd | Handwritten character input device and handwritten character recognition method |
| JP2009165826A (en) * | 2008-01-11 | 2009-07-30 | Sony Computer Entertainment America Inc | Gesture catalog generation and recognition |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9801004B2 (en) | 2012-06-29 | 2017-10-24 | Intel Corporation | Device, method, and system for securely pairing mobile communication devices using movement |
| JP2015521429A (en) * | 2012-06-29 | 2015-07-27 | インテル コーポレイション | Device, method and system for securely pairing a mobile communication device using motion |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
| US10185416B2 (en) | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
| US10194060B2 (en) | 2012-11-20 | 2019-01-29 | Samsung Electronics Company, Ltd. | Wearable electronic device |
| US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| JP2014102842A (en) * | 2012-11-20 | 2014-06-05 | Samsung Electronics Co Ltd | User gesture input to wearable electronic device involving movement of device |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| JP2016534421A (en) * | 2013-10-14 | 2016-11-04 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Gesture control device, method, system, and storage medium |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| WO2017013805A1 (en) * | 2015-07-23 | 2017-01-26 | 富士通株式会社 | Input device, input support method and input support program |
| JP2020165981A (en) * | 2018-07-30 | 2020-10-08 | メタウォーター株式会社 | Information processing system, information processing device, program, and information processing method |
| JP7016101B2 (en) | 2018-07-30 | 2022-02-04 | メタウォーター株式会社 | Information processing system, information processing device, program, and information processing method |
| WO2020153087A1 (en) * | 2019-01-23 | 2020-07-30 | 株式会社小糸製作所 | Vehicular communication system, vehicular display device, and vehicle |
| CN109737686A (en) * | 2019-01-28 | 2019-05-10 | 青岛海尔智能技术研发有限公司 | A kind of refrigerator open control method |
| WO2022014160A1 (en) * | 2020-07-16 | 2022-01-20 | アルプスアルパイン株式会社 | Gesture identifying device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5733656B2 (en) | 2015-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5733656B2 (en) | Gesture recognition device and gesture recognition method | |
| KR101101091B1 (en) | Method and apparatus for processing posture data derived from posture of long object | |
| CN104254816B (en) | Data input device | |
| KR100465241B1 (en) | Motion recognition system using a imaginary writing plane and method thereof | |
| JP6064280B2 (en) | System and method for recognizing gestures | |
| US10055563B2 (en) | Air writing and gesture system with interactive wearable device | |
| US10281994B2 (en) | Smart wand device | |
| US9076256B2 (en) | Information processing device, information processing method, and program | |
| KR100674090B1 (en) | Wearable Universal 3D Input System | |
| CN113544935B (en) | Wireless charging alignment | |
| CN110785729B (en) | Electronic device for generating analog strokes and for digital storage of analog strokes and input system and method for digitizing analog recordings | |
| US11119589B2 (en) | Stylus and position calculation method | |
| JP6483556B2 (en) | Operation recognition device, operation recognition method and program | |
| JP2013003961A (en) | Spatial handwriting system and electronic pen | |
| US10082885B2 (en) | Information input and output apparatus and information input and output method | |
| CN114550216B (en) | Gesture detection method and device, computer readable medium and electronic equipment | |
| EP2947549A1 (en) | Apparartus and method for navigating through volume image | |
| CN120125788B (en) | Assessment method and device for virtual-real alignment, electronic equipment and computer readable storage medium | |
| JP2025188268A (en) | Computer, method, and program | |
| JP2017191426A (en) | Input device, input control method, computer program, and storage medium | |
| US12210673B2 (en) | Spatial positioning method of separate virtual system | |
| KR101499044B1 (en) | Wearable computer obtaining text based on gesture and voice of user and method of obtaining the text | |
| JP6448459B2 (en) | Rotation state calculation device | |
| JP6448458B2 (en) | Rotation state calculation device | |
| KR101434040B1 (en) | Electronic pen, and sysme and method for inputting using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131015 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150403 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5733656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |