JP2006024041A - Tension-driven grip type kinesthetic sense presenting device and input method thereof - Google Patents
Tension-driven grip type kinesthetic sense presenting device and input method thereof Download PDFInfo
- Publication number
- JP2006024041A JP2006024041A JP2004202392A JP2004202392A JP2006024041A JP 2006024041 A JP2006024041 A JP 2006024041A JP 2004202392 A JP2004202392 A JP 2004202392A JP 2004202392 A JP2004202392 A JP 2004202392A JP 2006024041 A JP2006024041 A JP 2006024041A
- Authority
- JP
- Japan
- Prior art keywords
- grip
- tension
- yarn
- base
- force sense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000003155 kinesthetic effect Effects 0.000 title abstract 4
- 238000005259 measurement Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 description 16
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000015541 sensory perception of touch Effects 0.000 description 2
- MFRCZYUUKMFJQJ-UHFFFAOYSA-N 1,4-dioxane-2,5-dione;1,3-dioxan-2-one Chemical compound O=C1OCCCO1.O=C1COC(=O)CO1 MFRCZYUUKMFJQJ-UHFFFAOYSA-N 0.000 description 1
- 229920000271 Kevlar® Polymers 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 239000004760 aramid Substances 0.000 description 1
- 229920003235 aromatic polyamide Polymers 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004761 kevlar Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、糸の張力駆動によるグリップ型力覚提示装置に関する。 The present invention relates to a grip-type force sense presentation device driven by thread tension.
従来、コンピュータの中で作られた仮想現実の中の「物体」に人間の感覚器官が触れたときに、この触感がフィードバックされる装置として、いわゆる「力覚提示装置」がある。そして、この力覚提示装置の1つに、糸の張力駆動による力覚提示装置がある。
張力駆動による力覚提示装置は、直動機構で構成するシリアルメカニズムやリンク機構で構成するパラレルメカニズムに比べて、構造は簡単であり、機構が軽量であることから操作者の肉体的な負荷が小さく、糸の長さを大きくとることで可動域を簡単に大きくすることができることから経済的にも有利であるという利点がある。また、一般に、糸(ケプラー、釣糸、ワイヤ等)の材料は引っ張りに対して強いため、これらの糸を利用すると、機構を軽量にすることができ、加速と減速が伴う力覚制御には都合がよい。
なお、力覚とは、物にふれたときにおこる感覚で、触覚ともいい、皮膚の触点および各種の受容器により感受される。
Conventionally, when a human sensory organ touches an “object” in a virtual reality created in a computer, there is a so-called “force sense presentation device” that feeds back the tactile sensation. As one of the force sense presenting devices, there is a force sense presenting device by thread tension driving.
Compared to a serial mechanism that consists of a linear motion mechanism and a parallel mechanism that consists of a link mechanism, the force-sensing device using tension drive is simple in structure and light in weight, so that the operator's physical load is reduced. There is an advantage that it is economically advantageous because the movable range can be easily increased by taking a small yarn length and a large yarn length. In general, the material of the thread (kepler, fishing line, wire, etc.) is strong against pulling, so the use of these threads can reduce the weight of the mechanism and is convenient for force control with acceleration and deceleration. Is good.
The sense of force is a sensation that occurs when an object is touched, and is also called a tactile sensation, and is sensed by the skin touch points and various receptors.
従来、CAD・CAM(computer aided design・computer aided manufacturing)などの利用者は、3DCONNEXION社の「Magellan」を利用してきたが、力覚提示機能がないため、すなわち、手ごたえがないため、操作が難しいという問題があった(例えば、非特許文献1参照)。 Conventionally, users such as CAD / CAM (computer aided design / computer aided manufacturing) have used “Magellan” of 3DCONNEXION, but it is difficult to operate because there is no force sense presentation function, that is, no response. (For example, refer nonpatent literature 1).
図8は、従来の力覚提示装置である三次元入力装置の斜視図であり、フレームと、グリップと、糸とモータとの配置を示す斜視図である。図8に示すように、従来の三次元入力装置11は、フレーム12があらゆる方向に均一で安定な力覚を提示するため、立方格子状に形成されていて、フレーム12の各頂点上に一台づつ、全体として8個のモータ(DCモータ)13a,13b,…13hを設置している。また、フレーム12とフレーム12との頂点に8本の糸14a,14b,…14hが配線されて一つのグリップ15を支持している。そのグリップ15は、親指とそれ以外の指で把持し得るようにほぼ球状に形成されており、グリップ15の右半分の上部と下部、および左半分の上部と下部とに、それぞれ上下および左右対象に前記8本の糸14a,14b,…14hの一端部を接続し、他端部を、各モータ13a,13b,…13hのモータ軸と一体となって回転するプーリ16a,16b…16hに巻回されている。そして、各モータ13a,13b,…13hには、糸長計測手段の一部としてロータリーエンコーダ17a,17b,…17hが取り付けられ、各ロータリーエンコーダ17a,17b,…17hが出力するパルス数の積算により、各プーリ16a,16b,…16hと各糸14a,14b,…14hとの支持点から前記グリップ15との接続点までの糸長がそれぞれ計測されるようになっている(例えば、特許文献1参照)。
FIG. 8 is a perspective view of a three-dimensional input device, which is a conventional force sense presentation device, and is a perspective view showing an arrangement of a frame, a grip, a thread, and a motor. As shown in FIG. 8, the conventional three-
支持点および糸数を少なくとも7とすると、三次元の位置(3自由度)、姿勢(3自由度)の6自由度に対応することができる。このため、指示に対応する触覚、すなわち、力覚が操作者(入力者)にフィードバックされ、操作者は、このフィードバックによって操作の程度を力覚の変化として知り得ることになる。
支持点および糸数を8とすると、三次元位置(3自由度)、姿勢(3自由度)、および、把持(1自由度)の7自由度に対応することができる。
糸長計測手段は、指示手段(グリップ15)の指示に対応して、各支持点から指示手段(グリップ15)との接続点までの糸の長さを計測し、糸張力制御手段は、糸長計測手段の計測値に基づいて各糸の張力を制御する。このため、指示に対応する触覚、すなわち、力覚が入力者にフィードバックされる。
このような三次元入力装置において、前記支持点が、前記指示手段を中心とする立方格子状または直方格子状に配設されると、あらゆる方向に均一で安定な力覚の提示が実現できる。
If the support point and the number of yarns are 8, it is possible to correspond to 7 degrees of freedom of three-dimensional position (3 degrees of freedom), posture (3 degrees of freedom), and gripping (1 degree of freedom).
The yarn length measuring means measures the length of the yarn from each support point to the connection point with the indicating means (grip 15) in response to the instruction from the indicating means (grip 15). The tension of each yarn is controlled based on the measurement value of the length measuring means. For this reason, a tactile sense corresponding to the instruction, that is, a force sense is fed back to the input person.
In such a three-dimensional input device, when the support points are arranged in a cubic lattice or a rectangular lattice with the indicating means as the center, it is possible to realize a uniform and stable force sense in all directions.
しかしながら、従来の三次元入力装置のサイズは、6m(W)×2m(L)×4m(H)と大きく、小さくしても1m(W)×1m(L)×1m(H)が限界で、つながっている糸が干渉しやすくなるという新たな問題が発生し、これ以上小さくできないという問題があった。 However, the size of the conventional three-dimensional input device is as large as 6 m (W) × 2 m (L) × 4 m (H), and even if it is small, the limit is 1 m (W) × 1 m (L) × 1 m (H). There is a new problem that the connected yarns easily interfere with each other, and there is a problem that it cannot be further reduced.
そこで、本発明は、糸が干渉することなく手のひらサイズに小さくして、卓上に置いて片手操作ができる張力駆動による力覚提示装置と、それを使用した入力方法を提供することを課題とする。 Therefore, an object of the present invention is to provide a tension-sensing force sense presentation device that can be reduced to a palm size without interfering with a thread and can be placed on a table and operated with one hand, and an input method using the device. .
請求項1に係る発明は、三次元位置を指示するための指示手段と、前記指示手段を三次元方向に移動自在に、かつ、任意の軸回りに回動自在に支持するために、その指示手段の輪郭の少なくも7箇所に配設された糸(6)の支持点(1c)と、その糸(6)の支持点(1c)から支持部(9)に臨んで繰出され、糸(6)の末端がそれぞれ計測手段に接続され、各支持点から各計測手段までの各糸(6)の糸長を前記計測手段により計測し、その計測手段の計測値に基づいて各糸の張力を制御する糸張力制御手段と、を備えた張力型駆動によるグリップ型力覚提示装置(10)であって、前記指示手段は、グリップ型の球殻(1a)の中に凝縮したグリップ(1)とすることを特徴とする According to the first aspect of the present invention, there is provided an instruction means for indicating a three-dimensional position, and an instruction for supporting the instruction means so as to be movable in a three-dimensional direction and rotatable about an arbitrary axis. The support points (1c) of the thread (6) disposed at least seven places on the contour of the means and the support points (1c) of the thread (6) are fed out toward the support part (9), and the thread ( The ends of 6) are respectively connected to the measuring means, the yarn length of each yarn (6) from each support point to each measuring means is measured by the measuring means, and the tension of each yarn is determined based on the measured value of the measuring means. A tension type drive grip-type force sense presentation device (10) having a thread tension control means for controlling the grip (1), wherein the indicating means is a grip (1) condensed in a grip-type spherical shell (1a). )
請求項1に係る発明によれば、指示手段をグリップ型のグリップ(1)の球殻(1a)にしたことにより、片手で握ることができるため、操作性が向上できる。 According to the first aspect of the present invention, since the pointing means is the spherical shell (1a) of the grip-type grip (1), it can be grasped with one hand, so that the operability can be improved.
請求項2に係る発明は、請求項1に記載の張力駆動によるグリップ型力覚提示装置(10)であって、下ベース(2)と、前記下ベース(2)の上に支持部(5)が立設され、その上に支持された中ベース(7)と、前記中ベース(7)から支持部(9)が立設され、その上に支持された上ベース(8)とが構成され、前記中ベース(7)と前記支持部(9)と上ベース(8)とが前記球殻(1a)に内蔵されており、前記球殻(1a)内の上部の支持点(1c)には、少なくとも3本の糸(6)が接続され、それぞれの糸は上ベース(8)を挿通し、中ベース(7)の下方に設けられた下ベース(2)を挿通し、下ベース(2)の下面に設置したそれぞれのエンコーダ付モータ(4)のプーリ(4a)に巻回され、球殻(1a)内の下部の支持点(1c)には、4本の糸(6)が接続され、それぞれの糸は中ベース(7)を挿通し、下ベース(2)の上面に設置したそれぞれのエンコーダ付モータ(4)のプーリ(4a)に巻回されていることを特徴とする。
The invention according to
請求項2に係る発明によれば、下ベースと、中ベースと、上ベースを縦に形成させたことにより、卓上に置いたPC(Personal Computer)の隣に置くことができるため、装置をコンパクトにすることができる。
According to the invention of
請求項3に係る発明は、請求項2に記載の張力型駆動によるグリップ型力覚提示装置(10)を用いた入力方法であって、グリップ(1)が前記グリップ型力覚提示装置(10)の中心付近を移動しているときは位置入力を行い、グリップ(1)が前記グリップ型力覚提示装置(10)の中心から遠ざかったときは速度入力を行って、位置入力と速度入力とを組み合わせることを特徴とする。
The invention according to claim 3 is an input method using the grip-type force sense presentation device (10) by tension type drive according to
請求項3に係る発明によれば、位置入力と速度入力との組み合わせによる入力方法を行うことにより、速度入力と位置入力との切り替えがわかりやすくなり、違和感がなくなる。また、この入力を利用すると、移動できる範囲に制限がないため、広い領域を操作することが可能である。また、速度入力と比べて使用者が感じる違和感が大幅に少なく、移動の煩雑さもない。そのため、力覚提示の正確さが必要ない作業においては、この位置入力と速度入力とを組み合わせることにより、それぞれの問題が解決できる。 According to the third aspect of the invention, by performing the input method based on the combination of the position input and the speed input, switching between the speed input and the position input becomes easy to understand, and there is no sense of incongruity. In addition, when this input is used, there is no restriction on the range that can be moved, so that a wide area can be operated. In addition, the user feels less discomfort than speed input, and the movement is not complicated. Therefore, in work that does not require the accuracy of force sense presentation, each problem can be solved by combining this position input and speed input.
請求項1に係る発明によれば、従来のフレームをボール状の球殻(輪郭)に置き換え、指示手段を球殻のグリップ型にしてコンパクトにしたことから、糸が干渉することなく手のひらサイズにした張力駆動によるグリップ型力覚提示装置を提供することができる。 According to the first aspect of the present invention, the conventional frame is replaced with a ball-shaped spherical shell (outline), and the pointing means is made compact by making it a spherical shell grip type. Thus, it is possible to provide a grip-type force sense presentation device using tension driving.
請求項2に係る発明によれば、指示手段を球殻のグリップ型にしてコンパクトにしたことから、卓上に置いて片手操作が可能な張力駆動によるグリップ型力覚提示装置を提供することができる。 According to the second aspect of the present invention, since the pointing means is made compact by making it a spherical shell grip type, it is possible to provide a grip type force sense presentation device by tension drive that can be placed on a table and operated by one hand. .
請求項3に係る発明によれば、位置入力と速度入力との組み合わせによる入力方法を行うことにより、どちらも問題点を克服した最適な入力方法を提供することができる。 According to the invention which concerns on Claim 3, the optimal input method which overcame the problem can be provided by performing the input method by the combination of a position input and a speed input.
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。
図1は、本発明の張力駆動によるグリップ型力覚提示装置の全体を示す斜視図である。
図1に示すように、グリップ1は、三次元位置を指示するための指示手段であり、球状の肉の薄いプラスチック製の球殻1aによって形成されている。従来のフレームはここにはなく、従来のフレームの機能は、球殻1aが有している。下部に開口部1bを有し、サイズはマウスの縦の大きさとほぼ同じ大きさで、約直径10cmであり、ソフトボール(9.7cm)程の大きさである。グリップ1の内部側には、上ベース8の上側に3本の糸6が120度ごとに配置した支持点1cに結び付けられており、その支持点1cからグリップ1内に臨んで繰出され、球殻1aに内蔵された支持部9の上ベース8を挿通した糸6,6,6がそのまま支持部9の中ベース7を通り、支持部5を通り、下ベース2の挿通穴を通って下面に設けられたエンコーダ付モータ4のプーリ4aに巻回されている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a perspective view showing the entire grip-type force sense presentation device by tension driving according to the present invention.
As shown in FIG. 1, the grip 1 is an indicating means for indicating a three-dimensional position, and is formed by a spherical plastic shell 1a having a spherical meat. There is no conventional frame here, and the spherical shell 1a has the function of the conventional frame. It has an opening 1b in the lower part, and the size is almost the same as the vertical size of the mouse, about 10 cm in diameter, and about the size of a softball (9.7 cm). On the inner side of the grip 1, three
下ベース2は、10cm×10cmの大きさであり、厚みが10mm程のアルミ材で形成され、三脚2a,2a,2aによって水平に支持されている。下ベース2の上面にも、L型のブラケット3を介してエンコーダ付モータ4が4個設けられている。また、エンコーダ付モータ4の各モータ軸先端部にはそれぞれプーリ4aが装着され、各モータ軸先端部は、各糸6の張力によってモータ軸先端部のたわみを防止するため、ベアリングを介してL型のブラケット3aに支持されている。
中ベース7の近傍に計4本の糸6が90度ごとに同一円状に設けられた支持点1cに結び付けられており、中ベース7を挿通した糸6,6,6,6は、支持部5を通り、下ベース2の上面に設けられたエンコーダ付モータ4のプーリ4aにそれぞれ巻回されている。
この下ベース2の上面と下面に設けられたエンコーダ付モータ4のエンコーダが出力するパルス数の積算によって、プーリ4aの回転数が検出され、前記グリップ1(指示手段)の各支持点から接続点までの各糸の糸長が計測される(計測手段)。
The
Four
The number of rotations of the
図2は、本発明のグリップ型力覚提示装置の下面図である。図2に示すように、下ベース2の下面には、ブラケット3を介してエンコーダ付モータ4が3個配設されている。また、前記同様にエンコーダ付モータ4のモータ軸先端部のたわみを防止するため、ベアリングを介してL型のブラケット3aに支持されている。
エンコーダ付モータ4は、たとえば、Maxon社製の型式271107であり、モータは場所をとらないように、直径に対して長さの短いタイプのモータ型式220432である。エンコーダは磁気式エンコーダ型式201937であり、微小な糸の長さの変化を計るための分解能は、512カウント/回転である。プーリ直径を7mmとすれば、1カウント当たりの糸長の変化量Lは、L=πd/p=(π×7)/512=0.0429 となる。つまり、1カウント当たり、0.0429mmの精度で糸長の変化量を計測することができる。
FIG. 2 is a bottom view of the grip-type force sense presentation device of the present invention. As shown in FIG. 2, three
The
図1に示すように、下ベース2の中央部から4本のパイプ形状の支柱5aで構成された支持部5が立設されて、その上に中ベース7が支持されている。また、中ベース7から4本のパイプ形状の支柱9aで構成された支持部9が立設されて、その上に上ベース8が支持されている。中ベース7と、上ベース8とは、グリップ1の球殻1aによって包囲されている。グリップ1内の上部には、3本の糸6が結び付けられており、内部中央または下部の対向部には、各2本ずつ、計4本の糸6が結び付けられ、合計7本の糸6が結び付けられており、それぞれの糸6は、グリップ1を宙吊り状態に保持し、グリップ1内の支持部9を通って、グリップ1の下に設置してあるエンコーダ付モータ4のプーリ4aに巻回されている。
また、糸6が挿通される上ベース8と、中ベース7との挿通部には、軸受けとして無給油タイプのブッシュが使用されており、摩擦係数が低く抑えられている。
As shown in FIG. 1, a support portion 5 composed of four pipe-shaped
In addition, an oil-free bush is used as a bearing at the insertion portion between the
図3は、従来の三次元入力装置と本発明のグリップ型力覚提示装置の大きさとを比較した模式図である。図3に示すように、従来の三次元入力装置は、12本のフレーム12によって、立方格子状に形成されている。このように、従来の三次元入力装置では、広い空間(スペース)を必要とし、中央部にグリップ15が配設されている。この広い空間に手を差し入れて、グリップ15を握る。しかし、図3の右図に示すように、本発明のグリップ型力覚提示装置の入力部には、フレームはなく、フレームがボール状の球殻1aであり、従来の左図の大きさを一辺が1mの立方体とすると、一辺が10cmの立方体に入る球であることから、少なくとも1/1000の大きさに縮小したサイズになっている。
FIG. 3 is a schematic diagram comparing the size of a conventional three-dimensional input device and the grip-type force sense presentation device of the present invention. As shown in FIG. 3, the conventional three-dimensional input device is formed in a cubic lattice shape by twelve
図4は、システム全体の構成を示す構成図である。図4に示すように、PC(Personal
Computer)は、SPIDARアンプとUSB2.0で接続されている。SPIDARアンプがモータに与える電流を制御し、SPIDARアンプが受け取ったエンコーダの情報を得る。SPIDARアンプは、デバイスのモータと接続され、PCからの指示どおり、トルクが出るように、モータの電流を調整してエンコーダからの信号を受ける。
PCとSPIDARアンプとがUSB2.0によって接続されているのは、高周波数で制御を行うためである。力覚は非常に敏感な感覚であるため、使用者が違和感を覚えることのないようにモータの制御を高い頻度で行う。この場合の本デバイスは、200〜500Hzの頻度で更新(Update)するとよい。
FIG. 4 is a configuration diagram showing the configuration of the entire system. As shown in FIG.
Computer) is connected to the SPIDAR amplifier via USB2.0. The current supplied to the motor by the SPIDAR amplifier is controlled, and the encoder information received by the SPIDAR amplifier is obtained. The SPIDAR amplifier is connected to the motor of the device, and receives the signal from the encoder by adjusting the motor current so that torque is generated as instructed by the PC.
The reason why the PC and the SPIDAR amplifier are connected by USB 2.0 is to perform control at a high frequency. Since the sense of force is a very sensitive sensation, the motor is frequently controlled so that the user does not feel uncomfortable. The device in this case may be updated at a frequency of 200 to 500 Hz.
ここで、制御方法を説明する。本デバイスのように、グリップ1の内部に提示部を配置する構造にした場合でも、基本的には、SPIDARと同様の方法で制御することができる。本デバイスでは、7本の糸を利用したが、糸の本数を増やしても方法は同じである。ここでは、m本の糸を利用するものとする。 Here, a control method will be described. Even in the case where the presenting unit is arranged inside the grip 1 as in this device, it can be basically controlled in the same manner as SPIDAR. This device uses seven yarns, but the method is the same even if the number of yarns is increased. Here, m yarns are used.
力覚計算は、グリップ1から提示した力覚を、力覚ベクトルf とする。また、m本のそれぞれの糸の張力を成分としたベクトルτとする。力覚ベクトルf は、それぞれの糸の方向を表わす単位張力ベクトルφを並べたワイヤ行列を用いて、 In the haptic calculation, a haptic presented from the grip 1 is set as a haptic vector f. Further, a vector τ whose component is the tension of each of the m yarns is set. The force vector f is a wire matrix in which unit tension vectors φ representing the direction of each thread are arranged,
なお、糸の単位張力ベクトルφは、グリップからフレームの方向を正とする。
The unit tension vector φ of the yarn is positive from the grip to the frame.
図5は、グリップとフレーム、糸の関係を示す模式図である。図5に示すように、デバイスは、m本の糸を使用しており、piは各糸のフレーム上の固定位置を表わす。ただし、従来のフレームは、ここにはない。また、提示する力の種類によってφの形式は異なるが、本デバイスでは次のようにする。並進力の3自由度を提示する場合は、力覚ベクトルf の成分は、並進力の各軸方法成分となるので、 FIG. 5 is a schematic diagram showing the relationship between the grip, the frame, and the thread. As shown in FIG. 5, the device is using the yarn of the m, p i represents the fixed position on the frame of the yarn. However, there is no conventional frame here. In addition, although the form of φ varies depending on the type of force to be presented, the following is performed in this device. When presenting the three degrees of freedom of the translational force, the component of the haptic vector f is the axial method component of the translational force.
また、並進・回転力の6自由度を提示する場合は、各力覚ベクトルf の成分は、並進力、回転力の軸方向成分となる。フレームの中心からi番目の糸の設置位置までのベクトルをdiとして、
In addition, when presenting six degrees of freedom of translation / rotation force, the components of each force vector f are axial components of translation force and rotation force. Let d i be the vector from the center of the frame to the installation position of the i-th thread.
提示したい力覚ベクトルf から出力すべき張力ベクトルτを求めるために、この問題を二次形式の最適化問題に置き換える。すなわち、二次形式の目的関数Jを決め、それを最小にする張力ベクトルτを求める。ただし、各々の糸には、糸の張りを維持するために最低でもτminの張力をかけなければならない。また、モータの最大出力が決まっているため、最大でもτmaxの張力しかかけられない。
本デバイスでは、目的関数を次のようにする。
In order to obtain the tension vector τ to be output from the haptic vector f to be presented, this problem is replaced with a quadratic optimization problem. That is, a quadratic objective function J is determined, and a tension vector τ that minimizes the objective function J is obtained. However, at least τ min of tension must be applied to each yarn to maintain the yarn tension. In addition, since the maximum output of the motor is determined, only a maximum tension of τ max can be applied.
In this device, the objective function is as follows.
姿勢計算は、求める姿勢ベクトルをr、m本の糸の長さを成分にしたベクトルをl(エル)とする。微小時間における仮想仕事を考えると、グリップ1が外部に成し遂げた仕事と外部から受けた仕事が等しいので、 In the posture calculation, a desired posture vector is r, and a vector having a length of m yarns as a component is l (el). Considering the virtual work in minute time, the work that Grip 1 has achieved outside is equal to the work received from the outside,
さて、式(1)より、f =Wτであるから、式(5)を変形すると、
Now, from equation (1), f = Wτ, so if equation (5) is transformed,
つぎに、張力駆動によるグリップ型力覚提示装置を使用した入力方法を説明する。
通常、ハプティックデバイスで仮想世界内のオブジェクトを操作する場合、ハプティックデバイスの提示部の姿勢と、仮想世界内のオブジェクトの姿勢比例関係とする位置入力で行う。そして、仮想世界内のオブジェクトが力を受けた場合は、受けた力と比例関係にある力をハプティックデバイス(図示せず)が提示する。
既存のハプティックデバイスを利用する場合は、位置入力では大きな問題は起こらない。しかし、本デバイスは可動域が狭いため、位置入力を行うと、広い仮想空間(Virtual world)に対して操作を行う場合に問題が生じる。
そこで、位置入力による問題から説明する。
Next, an input method using a grip-type force sense presentation device driven by tension will be described.
Normally, when an object in the virtual world is operated by a haptic device, the position input is performed so that the posture of the presentation unit of the haptic device is proportional to the posture of the object in the virtual world. When an object in the virtual world receives a force, a haptic device (not shown) presents a force proportional to the received force.
When using an existing haptic device, no major problem occurs in position input. However, since this device has a narrow range of motion, there is a problem when performing operations on a large virtual space when a position is input.
Therefore, the problem due to position input will be described.
位置(姿勢)入力方法は、ハプティックデバイス(図示せず)の提示部の姿勢と、仮想世界内のオブジェクトの姿勢とが比例関係にあるとする方法である。力覚提示は、仮想世界内のオブジェクトにかかる力と比例関係にある力をハプティックデバイスが提示することで行う。この位置入力方法は、仮想世界内のオブジェクトが受けた力をそのまま返すため、力の提示を正確に行うことができる。そのため、心理実験などの正確さが求められる場合に適している。
しかし、可動域の狭い本デバイスでは、広い領域を操作できないという欠点がある。そこで、比例関係の比の値を大きくすることによって、操作する領域を広げることは可能であるが、細かい操作がしにくくなり、操作性は著しく低下する。さらに、1ステップの間に移動する量が大きくなるため、物理シミュレータの正確さが低下するという問題がある。この方法を式で表わすと、次のようになる。
The position (posture) input method is a method in which the posture of the presentation unit of the haptic device (not shown) is proportional to the posture of the object in the virtual world. Haptic presentation is performed by the haptic device presenting a force proportional to the force applied to the object in the virtual world. Since this position input method returns the force received by the object in the virtual world as it is, the force can be accurately presented. Therefore, it is suitable when accuracy such as psychological experiments is required.
However, this device with a narrow range of motion has the disadvantage that a wide area cannot be operated. Therefore, it is possible to widen the area to be operated by increasing the ratio value of the proportional relationship, but it becomes difficult to perform fine operations and the operability is significantly reduced. Further, since the amount of movement during one step becomes large, there is a problem that the accuracy of the physical simulator is lowered. This method is expressed as follows.
rd:デバイスの姿勢
fv:仮想世界内のオブジェクトが受ける力
fd:デバイスが提示する力
a,b:比例定数
r d : device attitude f v : force received by an object in the virtual world f d : force presented by the device
a, b: Proportional constant
もう1つの入力方法である速度入力について説明する。速度入力は、ハプティックデバイスの移動量と、仮想世界内のオブジェクトの速度を比例する方法である。力覚提示は、仮想世界内のオブジェクトの速度変化に比例した力を、ハプティックデバイスが提示する。本デバイスでこの方法を行う場合は、操作感が向上するように、グリップが中心に戻るような力をさらに加えるようにしてもよい。
この方法を式で表わすと、次のようになる。
The speed input which is another input method will be described. The speed input is a method in which the movement amount of the haptic device is proportional to the speed of the object in the virtual world. In haptic presentation, the haptic device presents a force proportional to the speed change of the object in the virtual world. When this method is performed with the present device, a force for returning the grip to the center may be further applied so as to improve the operational feeling.
This method is expressed as follows.
rd:デバイスの姿勢
vv:仮想世界内のオブジェクトの速度変化
vd:デバイスが提示する力
c,d,e:比例定数
この速度入力方法は、仮想世界内のオブジェクトが移動できる範囲の制限がないため、広い領域を操作することが可能である。しかし、独特の操作感があるため、その感覚を有効に利用できるゲームなどには適しているが、一般的な作業においては慣れが必要であり、違和感を覚えるという問題がある。
r d : attitude of the device v v : speed change of the object in the virtual world v d : force presented by the device
c, d, e: Proportional constant
Since this speed input method does not limit the range in which an object in the virtual world can move, it is possible to operate a wide area. However, since it has a unique feeling of operation, it is suitable for a game or the like that can effectively use the feeling, but there is a problem that familiarity is required in general work and a sense of incongruity is felt.
そこで、それぞれの問題点を補完し解消できる入力方法として、本願発明の位置入力と速度入力を組み合わせた入力方法について説明する。位置入力と速度入力を組み合わせた方法では、グリップが仮想入力空間の中心付近を移動しているときは、位置入力を行い、グリップが可動域の中心から遠ざかったときは、速度入力を行う。力覚提示は、それぞれ前記した同じ方法で行う。ただし、速度入力を行っているときに、グリップの中心に戻す力は大きめ(強め)にする。それは、式(9)の右辺のerdの値を大きくすることに対応する。 Therefore, an input method combining the position input and the speed input according to the present invention will be described as an input method that can complement and solve each problem. In a method combining position input and speed input, position input is performed when the grip moves near the center of the virtual input space, and speed input is performed when the grip moves away from the center of the movable range. The haptic presentation is performed in the same manner as described above. However, when speed input is performed, the force to return to the center of the grip should be larger (stronger). This corresponds to increasing the value of er d on the right side of Equation (9).
図6は、位置入力と速度入力とを組み合わせた方法について説明する概念図である。
図6に示すように、左右の領域は速度入力であり、その間の領域が位置入力である。この入力方法の概念を、x方向での移動を例にして太い線で記載されている。このように、速度入力と位置入力との切り替えがわかりやすくなり、違和感がなくなる。
この入力を利用すると、移動できる範囲に制限がないため、広い領域を操作することが可能である。また、速度入力と比べて使用者が感じる違和感が大幅に少なく、移動の煩雑さもない。そのため、力覚提示の正確さが必要ない作業においては、この位置入力と速度入力とを組み合わせることにより、それぞれの問題が解決できる。
FIG. 6 is a conceptual diagram illustrating a method in which position input and speed input are combined.
As shown in FIG. 6, the left and right areas are speed inputs, and the area between them is a position input. The concept of this input method is indicated by a thick line by taking movement in the x direction as an example. In this way, switching between speed input and position input is easy to understand, and there is no sense of incongruity.
When this input is used, there is no restriction on the range that can be moved, and thus a wide area can be operated. In addition, the user feels less discomfort than speed input, and the movement is not complicated. Therefore, in work that does not require the accuracy of force sense presentation, each problem can be solved by combining this position input and speed input.
ここで、精度を検証した実施例を説明する。本デバイスは、小型化に主眼を置いたため、6自由度を実現するために、必要最小限の本数である7本としたため、姿勢計算の精度が懸念されたので、グリップ1を移動させたときの精度を検証した。
本デバイスを利用して糸の長さから計算された姿勢と、測定装置であるOPTOTROKにより外部から測定された姿勢を比較する。OPTOTROKは測定対象物に取り付けら赤外線発光ダイオードを追跡し、リアルタイムに三次元座標を計測する装置である。検証するための実験は、本デバイスにOPTOTROK用のマーカーを取り付け、手でグリップを移動させることで行った。グリップをx軸、y軸、z軸に沿った並進方向の3軸と、x軸、y軸、z軸の軸回りの回転方向を合わせた計6自由度の方向に移動させたときに測定した。
Here, an embodiment in which accuracy is verified will be described. Since this device focuses on downsizing, the minimum required number of seven is required to achieve six degrees of freedom, so there is concern about the accuracy of posture calculation, so when the grip 1 is moved The accuracy of was verified.
Using this device, the posture calculated from the length of the yarn is compared with the posture measured from the outside by OPTOTROK as a measuring device. OPTOTROK is a device that tracks an infrared light emitting diode attached to a measurement object and measures three-dimensional coordinates in real time. An experiment for verification was performed by attaching an OPTOTROK marker to the device and moving the grip by hand. Measured when the grip is moved in a total of 6 degrees of freedom, combining the three translational axes along the x, y, and z axes and the rotational directions around the x, y, and z axes. did.
並進方向は、グリップ1の中心位置からそれぞれの方向に±10mmの方向に範囲を移動させ、回転方向は、x軸、y軸を中心とした回転については、グリップ1の中心位置からそれぞれの方向に±25°の範囲で移動させ、z軸を中心とした回転については、グリップ1の中心位置からそれぞれの方向に±40°の範囲で移動させた。
なお、実験を利用した座標系は、図1に示すように、デバイスの正面から見て、左右をx軸、前後をy軸、上下をz軸としている。
The translation direction moves the range from the center position of the grip 1 in the direction of ± 10 mm in each direction, and the rotation direction is each direction from the center position of the grip 1 for rotation about the x axis and the y axis. In the range of ± 25 °, the rotation about the z axis was moved in the range of ± 40 ° from the center position of the grip 1 in each direction.
As shown in FIG. 1, the coordinate system using the experiment has an x axis on the left and right, a y axis on the front and back, and a z axis on the top and bottom, as viewed from the front of the device.
図7は、測定結果を示すグラフであり、左側の上段、中段、下段の(a),(b),(c)は、x軸、y軸、z軸に対し並進方向について測定した結果を示し、右側の上段、中段、下段の(d),(e),(f)は、x軸、y軸、z軸の各軸回りの回転方向について測定した結果を示すグラフである。
各グラフはOPTOTROKによる実測値を横軸、本デバイスにより計算された値を縦軸にしている。図7(a),(b),(c)に示すように、並進方向に移動したときは、それぞれの軸方向に±10mm移動したとき、約1mmの誤差が出ている。しかし、本デバイスにより計算された値は、OPTOTROKにより実測された値と一致していることがわかる。また、回転方向については誤差が少なく、高い精度で姿勢の計算ができることが分かる。微小の誤差の原因は、糸を通す穴の位置精度からくる誤差であり、また、使用開始時にグリップを中心位置に置き、初期長さのキャリブレーション(校正)を行った際の、グリップの中心位置と真の中心位置との位置精度からくる誤差である。
本デバイスで1mm程度の誤差は、人間の手先の位置感覚からみれば、全く問題はなく、ヒューマンインターフェースとして使用するためには、充分な精度の範囲内である。
FIG. 7 is a graph showing the measurement results. The upper, middle, and lower (a), (b), and (c) on the left side show the results measured in the translation direction with respect to the x-axis, y-axis, and z-axis. (D), (e), (f) in the upper, middle, and lower stages on the right side are graphs showing the results of measurement about the rotational directions around the x-axis, y-axis, and z-axis.
In each graph, the measured value by OPTOTROK is plotted on the horizontal axis, and the value calculated by this device is plotted on the vertical axis. As shown in FIGS. 7A, 7B, and 7C, when moving in the translational direction, an error of about 1 mm occurs when moving in the respective axial directions ± 10 mm. However, it can be seen that the value calculated by this device agrees with the value actually measured by OPTOTROK. It can also be seen that there is little error in the rotation direction, and the posture can be calculated with high accuracy. The cause of the minute error is the error that comes from the position accuracy of the hole through which the thread passes, and the center of the grip when the grip is centered at the start of use and the initial length is calibrated. This error is derived from the positional accuracy between the position and the true center position.
An error of about 1 mm in this device is not a problem at all from the viewpoint of the position of the human hand, and is within a range of accuracy sufficient for use as a human interface.
なお、本発明はその技術思想の範囲内で種々の改造、変更が可能である。例えば、上ベース、中ベース、下ベースの加工精度をもっと上げても構わない。また、糸は、芳香性ポリアミド繊維(商品名:ケブラー)、テグスのつり糸、ワイヤなどの軽量で伸びにくい糸材料である。 The present invention can be variously modified and changed within the scope of the technical idea. For example, the processing accuracy of the upper base, middle base, and lower base may be further increased. Further, the yarn is a lightweight and difficult-to-extend yarn material such as aromatic polyamide fiber (trade name: Kevlar), Tegg's hanging yarn, wire and the like.
1 グリップ
1a 球殻
1b 開口部
1c 支持点
2 下ベース
2a 三脚
3,3a ブラケット
4 エンコーダ付モータ
4a プーリ
5 支持部
5a 支柱
6 糸
7 中ベース
8 上ベース
9 支持部
9a 支柱
10 グリップ型力覚提示装置
1 grip 1a spherical shell 1b opening 1c
Claims (3)
前記指示手段を三次元方向に移動自在に、かつ、任意の軸回りに回動自在に支持するために、その指示手段の輪郭の少なくも7箇所に配設された糸(6)の支持点(1c)と、その糸(6)の支持点(1c)から支持部(9)に臨んで繰出され、糸(6)の末端がそれぞれ計測手段に接続され、各支持点から各計測手段までの各糸(6)の糸長を前記計測手段により計測し、その計測手段の計測値に基づいて各糸の張力を制御する糸張力制御手段と、を備えた張力型駆動によるグリップ型力覚提示装置(10)であって、
前記指示手段は、グリップ型の球殻(1a)の中に凝縮したグリップ(1)とすることを特徴とする張力型駆動によるグリップ型力覚提示装置(10)。 Indicating means for indicating a three-dimensional position;
Support points for the yarn (6) disposed at least at seven locations in the contour of the indicating means in order to support the indicating means so as to be movable in a three-dimensional direction and rotatable about an arbitrary axis. (1c) and the yarn (6) from the support point (1c) to the support portion (9). The yarn (6) is connected to the measuring means at each end, and from each support point to each measuring means. A grip-type force sense by tension-type drive, comprising: a yarn tension control unit that measures the yarn length of each yarn (6) of the yarn (6) by the measuring unit and controls the tension of each yarn based on the measurement value of the measuring unit. A presentation device (10) comprising:
The grip type force sense presentation device (10) by tension type drive characterized in that the indication means is a grip (1) condensed in a grip type spherical shell (1a).
前記下ベース(2)の上に支持部(5)が立設され、その上に支持された中ベース(7)と、前記中ベース(7)から支持部(9)が立設され、その上に支持された上ベース(8)とが構成され、
前記中ベース(7)と前記支持部(9)と上ベース(8)とが前記球殻(1a)に内蔵されており、
前記球殻(1a)内の上部の支持点(1c)には、少なくとも3本の糸(6)が接続され、それぞれの糸は上ベース(8)を挿通し、中ベース(7)の下方に設けられた下ベース(2)を挿通し、下ベース(2)の下面に設置したそれぞれのエンコーダ付モータ(4)のプーリ(4a)に巻回され、
球殻(1a)内の下部の支持点(1c)には、4本の糸(6)が接続され、それぞれの糸は中ベース(7)を挿通し、下ベース(2)の上面に設置したそれぞれのエンコーダ付モータ(4)のプーリ(4a)に巻回されていることを特徴とする請求項1に記載の張力型駆動によるグリップ型力覚提示装置(10)。 Lower base (2),
A support part (5) is erected on the lower base (2), a middle base (7) supported on the lower base (2), and a support part (9) is erected from the middle base (7). An upper base (8) supported above,
The middle base (7), the support portion (9) and the upper base (8) are built in the spherical shell (1a),
At least three yarns (6) are connected to the upper support point (1c) in the spherical shell (1a), and each yarn passes through the upper base (8) and below the middle base (7). Is passed through the lower base (2) provided on the lower base (2), wound around the pulley (4a) of each encoder-equipped motor (4) installed on the lower surface of the lower base (2),
Four threads (6) are connected to the lower support point (1c) in the spherical shell (1a), and each thread passes through the middle base (7) and is installed on the upper surface of the lower base (2). The grip type force sense presentation device (10) by tension type drive according to claim 1, wherein the grip type force sense device (10) is wound around a pulley (4a) of each of the motors with encoders (4).
When the grip (1) is moving near the center of the grip-type force sense presentation device (10), position input is performed, and the grip (1) is moved away from the center of the grip-type force sense presentation device (10). 3. The input method using the grip-type force sense presentation device (10) by tension type drive according to claim 2, wherein a speed input is performed and a position input and a speed input are combined.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004202392A JP4547559B2 (en) | 2004-07-08 | 2004-07-08 | Grip-type haptic device by tension drive and input method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004202392A JP4547559B2 (en) | 2004-07-08 | 2004-07-08 | Grip-type haptic device by tension drive and input method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006024041A true JP2006024041A (en) | 2006-01-26 |
| JP4547559B2 JP4547559B2 (en) | 2010-09-22 |
Family
ID=35797263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004202392A Expired - Fee Related JP4547559B2 (en) | 2004-07-08 | 2004-07-08 | Grip-type haptic device by tension drive and input method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4547559B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7880717B2 (en) | 2003-03-26 | 2011-02-01 | Mimic Technologies, Inc. | Method, apparatus, and article for force feedback based on tension control and tracking through cables |
| US8054289B2 (en) | 2006-12-01 | 2011-11-08 | Mimic Technologies, Inc. | Methods, apparatus, and article for force feedback based on tension control and tracking through cables |
| WO2013084666A1 (en) * | 2011-12-05 | 2013-06-13 | 日本電気株式会社 | Haptic sensation producing device, information terminal, haptic sensation producing method, and computer-readable recording medium |
| WO2013084667A1 (en) * | 2011-12-05 | 2013-06-13 | 日本電気株式会社 | Haptic sensation producing device, information terminal, haptic sensation producing method, and computer-readable recording medium |
| US10773390B2 (en) | 2016-09-30 | 2020-09-15 | Seiko Epson Corporation | Force detecting device, driving unit, and robot |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001282448A (en) * | 2000-03-30 | 2001-10-12 | Rikogaku Shinkokai | Three-dimensional input device |
-
2004
- 2004-07-08 JP JP2004202392A patent/JP4547559B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001282448A (en) * | 2000-03-30 | 2001-10-12 | Rikogaku Shinkokai | Three-dimensional input device |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7880717B2 (en) | 2003-03-26 | 2011-02-01 | Mimic Technologies, Inc. | Method, apparatus, and article for force feedback based on tension control and tracking through cables |
| US8760393B2 (en) | 2003-03-26 | 2014-06-24 | Mimic Technologies, Inc. | Method, apparatus, and article for force feedback based on tension control and tracking through cables |
| US9176584B2 (en) | 2003-03-26 | 2015-11-03 | Jeffrey J. Berkley | Method, apparatus, and article for force feedback based on tension control and tracking through cables |
| US8054289B2 (en) | 2006-12-01 | 2011-11-08 | Mimic Technologies, Inc. | Methods, apparatus, and article for force feedback based on tension control and tracking through cables |
| US8378968B2 (en) | 2006-12-01 | 2013-02-19 | Mimic Technologies, Inc. | Method, apparatus, and article for force feedback based on tension control and tracking through cables |
| US8547328B2 (en) | 2006-12-01 | 2013-10-01 | Mimic Technologies, Inc. | Methods, apparatus, and article for force feedback based on tension control and tracking through cables |
| WO2013084666A1 (en) * | 2011-12-05 | 2013-06-13 | 日本電気株式会社 | Haptic sensation producing device, information terminal, haptic sensation producing method, and computer-readable recording medium |
| WO2013084667A1 (en) * | 2011-12-05 | 2013-06-13 | 日本電気株式会社 | Haptic sensation producing device, information terminal, haptic sensation producing method, and computer-readable recording medium |
| JPWO2013084666A1 (en) * | 2011-12-05 | 2015-04-27 | 日本電気株式会社 | Tactile sensation presentation device, information terminal, haptic presentation method, and program |
| US9323371B2 (en) | 2011-12-05 | 2016-04-26 | Nec Corporation | Haptic sensation producing device, information terminal, haptic sensation producing method, and computer-readable recording medium |
| US10773390B2 (en) | 2016-09-30 | 2020-09-15 | Seiko Epson Corporation | Force detecting device, driving unit, and robot |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4547559B2 (en) | 2010-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3977251B2 (en) | Improvements in haptic input devices | |
| US6281651B1 (en) | Haptic pointing devices | |
| US7215326B2 (en) | Physically realistic computer simulation of medical procedures | |
| US7023423B2 (en) | Laparoscopic simulation interface | |
| US6946812B1 (en) | Method and apparatus for providing force feedback using multiple grounded actuators | |
| CA2237977C (en) | Method and apparatus for providing low cost force feedback and mechanical i/o for computer systems | |
| US6219033B1 (en) | Method and apparatus for controlling force feedback interface systems utilizing a host computer | |
| JP3069791U (en) | Mouse and positioning device | |
| JP3404651B2 (en) | 3D input device | |
| JP6296236B2 (en) | Master device for master-slave device, control method therefor, and master-slave device | |
| EP0721615A1 (en) | Force reflecting haptic interface | |
| JP2020512206A (en) | Robot arm | |
| JP4117954B2 (en) | Haptic interface device with 4-axis force feedback | |
| JP4547559B2 (en) | Grip-type haptic device by tension drive and input method thereof | |
| JP2005512223A (en) | Control unit with tension cable | |
| JPH0438507A (en) | Joystick controller | |
| WO2018216780A1 (en) | Stimulus transmission device | |
| JP5238626B2 (en) | Sensory presentation device | |
| US20070216650A1 (en) | Data Recording Device for Data Processing Units | |
| CN112055605A (en) | Feedback controller for computing device | |
| JP3819636B2 (en) | Passive type haptic device | |
| JP2009289179A (en) | Tactile force presentation device | |
| Sabbah et al. | Haptic Feedback in Surgical Robotic Interface Controller | |
| JP2000246679A (en) | Manipulator for 3D input | |
| JP2003067126A (en) | Force display device with large working space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070427 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071106 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20071023 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20071023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100525 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100618 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |