JP2016052474A - Program and information processing device - Google Patents
Program and information processing device Download PDFInfo
- Publication number
- JP2016052474A JP2016052474A JP2014180526A JP2014180526A JP2016052474A JP 2016052474 A JP2016052474 A JP 2016052474A JP 2014180526 A JP2014180526 A JP 2014180526A JP 2014180526 A JP2014180526 A JP 2014180526A JP 2016052474 A JP2016052474 A JP 2016052474A
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- biological signal
- robot hand
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 6
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 21
- 210000003414 extremity Anatomy 0.000 description 27
- 230000006870 function Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000005259 measurement Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000003183 myoelectrical effect Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 229920002595 Dielectric elastomer Polymers 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Landscapes
- Prostheses (AREA)
- Manipulator (AREA)
Abstract
Description
本発明は、プログラム及び情報処理装置に関する。 The present invention relates to a program and an information processing apparatus.
従来、事故などによって手足を失った障がい者が使用する、義肢に関する技術が多く見られている。 Conventionally, there are many techniques related to artificial limbs used by persons with disabilities who have lost their limbs due to an accident or the like.
例えば、特許文献1には、義肢の装着者が、自分の意思で義肢を自由に動作させるために、感覚フィードバック信号を装着者に伝達することで装着者に義肢の状態を把握させ、、これにより、義肢を駆動する駆動手段を随意的に制御することができる装着式動作補助装置について開示されている。 For example, in Patent Document 1, in order for a prosthetic wearer to freely operate the prosthetic limb on his / her own intention, the wearer can grasp the state of the prosthetic limb by transmitting a sensory feedback signal to the wearer. Thus, a wearable motion assisting device capable of optionally controlling the driving means for driving the artificial limb is disclosed.
しかしながら、特許文献1に開示された装着式動作補助装置のような、従来の義肢制御装置では、義肢の動作と生体信号との対応関係はあらかじめ決められているものであってユーザが自由に設定することができない。そのため、健常な手足の動きに対応する生体信号と異なる生体信号に義肢の動きを対応させたり、あらかじめ設定されている生体信号以外の種類の生体信号を入力に用いたりする場合などには、専門的な知識を有する技師によってその都度、生体信号に対応する義肢の動作を設定してもらわなければならない。よって、ユーザが自由に義肢の動作をカスタマイズしたり、任意の生体信号を義肢の動作に容易に対応付けることができなかった。 However, in a conventional artificial limb control device such as the wearable movement assist device disclosed in Patent Document 1, the correspondence between the operation of the artificial limb and the biological signal is determined in advance and can be freely set by the user. Can not do it. Therefore, if you want to make the movement of the prosthesis correspond to a biological signal that is different from the biological signal corresponding to the movement of a healthy limb, or use a type of biological signal other than a preset biological signal Each time, an engineer with specific knowledge must set the motion of the prosthesis corresponding to the biological signal. Therefore, the user cannot freely customize the operation of the prosthesis or easily associate an arbitrary biological signal with the operation of the prosthesis.
また、義肢に限らない機器と、生体信号とを対応付けて、機器の動作を制御する技術があるが、この技術においても、任意の生体信号を機器の動作に容易に対応付けることができなかった。 In addition, there is a technology for controlling the operation of a device by associating a device that is not limited to a prosthesis with a biological signal. However, even in this technology, an arbitrary biological signal cannot be easily associated with the operation of the device. .
そこで、本発明は、上記事情に鑑み、ユーザの任意の生体信号を、機器の動作に容易に対応付けることができるプログラム及び情報処理装置を提供することを目的とするものである。 SUMMARY OF THE INVENTION In view of the above circumstances, an object of the present invention is to provide a program and an information processing apparatus that can easily associate a user's arbitrary biological signal with the operation of a device.
本発明の所定の実施形態に係るプログラムは、コンピュータに、駆動手段を含み、該駆動手段の駆動に基づき制御される機器の動作と、ユーザの任意の生体信号との対応関係を、ユーザからの指示に基づき設定する設定ステップと、ユーザの生体信号を受信する受信ステップと、対応関係に基づき、受信された生体信号に対応する機器の動作を決定する決定ステップと、決定された機器の動作が行われるよう、駆動手段に対する駆動信号を機器に送信する送信ステップと、を実行させるためのプログラムを含み得る。 A program according to a predetermined embodiment of the present invention includes a drive unit in a computer, and shows a correspondence relationship between an operation of a device controlled based on driving of the drive unit and a user's arbitrary biological signal from a user. A setting step for setting based on an instruction; a receiving step for receiving a user's biological signal; a determining step for determining an operation of a device corresponding to the received biological signal based on a correspondence; and an operation of the determined device A transmission step of transmitting a drive signal for the drive means to the device to be performed may be included.
また、本発明のプログラムは、CD−ROM等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。 The program of the present invention can be installed or loaded on a computer through various recording media such as an optical disk such as a CD-ROM, a magnetic disk, and a semiconductor memory, or via a communication network. .
また、本明細書等において、「部」とは、単に物理的構成を意味するものではなく、その構成が有する機能をソフトウェアによって実現する場合も含む。また、1つの構成が有する機能が2つ以上の物理的構成により実現されても、2つ以上の構成の機能が1つの物理的構成により実現されてもよい。また、「システム」とは、情報処理装置等から構成される、特定の機能をユーザに提供するためのシステムを含む。例えば、サーバ装置、クラウドコンピューティング形態のもの、ASP(Application Service Provider)、クライアントサーバモデルのもの、などにより構成されるが、これに限られるものではない。 Further, in this specification and the like, the “unit” does not simply mean a physical configuration, but also includes a case where the functions of the configuration are realized by software. In addition, functions of one configuration may be realized by two or more physical configurations, or functions of two or more configurations may be realized by one physical configuration. Further, the “system” includes a system configured to provide a specific function to the user, which is configured by an information processing apparatus or the like. For example, a server device, a cloud computing type, an ASP (Application Service Provider), a client server model, and the like are included, but the invention is not limited thereto.
本発明によれば、ユーザの任意の生体信号を、機器の動作に容易に対応付けることができる。 According to the present invention, it is possible to easily associate any biological signal of the user with the operation of the device.
以下、本発明の実施の形態の1つについて詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。 Hereinafter, one embodiment of the present invention will be described in detail. The following embodiments are examples for explaining the present invention, and are not intended to limit the present invention only to the embodiments. The present invention can be variously modified without departing from the gist thereof. Furthermore, those skilled in the art can employ embodiments in which the elements described below are replaced with equivalent ones, and such embodiments are also included in the scope of the present invention. Furthermore, positional relationships such as up, down, left, and right shown as needed are based on the display shown unless otherwise specified. Furthermore, various dimensional ratios in the drawings are not limited to the illustrated ratios.
図1は、本実施形態に係る義肢制御システム1のシステム構成図を示している。図1に示すように、義肢制御システム1は、ユーザが身体の任意の部位に装着する1又は複数の生体センサ10と、ロボットハンド30を制御するための義肢制御アプリケーション(以下、義肢制御アプリともいう。)をインストールした携帯端末20と、ロボットハンド30とを含む。これらの、生体センサ10と携帯端末20とロボットハンド30とは、通信ネットワークを介して通信可能に構成されている。この通信ネットワークは、無線ネットワークや有線ネットワークにより構成される。通信ネットワークの一例としては、携帯電話網や、PHS(Personal Handy−phone System)網、無線LAN(Local Area Network)、3G(3rd Generation)、LTE(Long Term Evolution)、4G(4th Generation )、WiMax(登録商標)、赤外線通信、Bluetooth(登録商標)、有線LAN、電話線、電灯線ネットワーク、IEEE1394等に準拠したネットワークがある。本実施形態では、生体センサ10と携帯端末20とは、Bluetooth(登録商標)等の無線ネットワークを介して接続されるものとして説明する。なお、本実施形態における制御対象の一例として、ロボットハンド(義手)30について説明するが、制御対象となるのは義足や、工業用のロボットなどのユーザの意思によって動作させたい機器であってもよい。 FIG. 1 shows a system configuration diagram of a prosthetic limb control system 1 according to the present embodiment. As shown in FIG. 1, a prosthetic limb control system 1 includes a prosthetic limb control application (hereinafter also referred to as a prosthetic limb control app) for controlling a robot hand 30 and one or a plurality of biological sensors 10 worn by a user at any part of the body. And the robot hand 30. The biometric sensor 10, the portable terminal 20, and the robot hand 30 are configured to be communicable via a communication network. This communication network is configured by a wireless network or a wired network. Examples of communication networks include mobile phone networks, PHS (Personal Handy-phone System) networks, wireless LAN (Local Area Network), 3G (3rd Generation), LTE (Long Term Evolution), 4G (4th GenerationMex), (Registered Trademark), infrared communication, Bluetooth (Registered Trademark), wired LAN, telephone line, power line network, IEEE 1394, and other networks. In the present embodiment, the biosensor 10 and the mobile terminal 20 will be described as being connected via a wireless network such as Bluetooth (registered trademark). In addition, although the robot hand (prosthetic hand) 30 is demonstrated as an example of the control object in this embodiment, even if it is an apparatus which wants to operate according to a user's intention, such as an artificial leg and an industrial robot, it becomes a control object. Good.
義肢制御アプリは、ユーザの生体信号を取得し、取得した生体信号に基づいて、ロボットハンド30を動作させるための動作信号を出力するアプリケーションである。義肢制御アプリへの入力は生体信号を用いるため、ユーザは、身体を動かしたり発声したりすることによって、ロボットハンド30を簡単に操作することができる。 The prosthetic limb control application is an application that acquires a user's biological signal and outputs an operation signal for operating the robot hand 30 based on the acquired biological signal. Since the input to the prosthetic limb control application uses a biological signal, the user can easily operate the robot hand 30 by moving the body or speaking.
さらに、本実施形態における義肢制御アプリは、ユーザの任意の生体信号とロボットハンド30の動作とを、ユーザが自由にかつ簡単に設定することを可能にする。つまり、ユーザは、義肢制御アプリを用いることによって、ロボットハンド30を操作するための生体信号、例えばユーザ自身の身体の動きや音を、ロボットハンド30の任意の動作に対応付けて設定することが可能になる。 Furthermore, the prosthetic limb control application in the present embodiment allows the user to freely and easily set an arbitrary biological signal of the user and the operation of the robot hand 30. That is, the user can set a biological signal for operating the robot hand 30, for example, a movement or sound of the user's own body in association with an arbitrary operation of the robot hand 30 by using the artificial limb control application. It becomes possible.
一般に、筋電信号等の生体信号を用いて義肢を制御する場合、ユーザが思った通りの義肢の動きに対応する筋電信号を発生させるにはかなりの成熟度を要する。また、筋電信号等の生体信号はノイズの影響を受けやすいため、ユーザは同じように身体を動かしているつもりでも、意図した生体信号を出力することができない場合がある。この場合、ロボットハンド30の動作は、ユーザが意図したものではなく、誤動作となってしまう。 In general, when a prosthesis is controlled using a biological signal such as a myoelectric signal, considerable maturity is required to generate a myoelectric signal corresponding to the movement of the prosthesis as expected by the user. In addition, since biological signals such as myoelectric signals are easily affected by noise, there are cases where the user cannot output the intended biological signal even if the user intends to move the body in the same manner. In this case, the operation of the robot hand 30 is not intended by the user and is erroneous.
他方、本実施形態にかかる義肢制御アプリにおいては、ロボットハンド30の動作に対応する生体信号を、ユーザが適宜設定したり、更新したりすることが可能である。このため、ユーザは、自身の特徴に応じて安定して出力することができる任意の部位の任意の生体信号に、ユーザが意図するロボットハンド30の動作を対応付けることができる。したがって、上述したロボットハンド30の誤動作を防ぐことが可能となる。 On the other hand, in the prosthetic limb control application according to the present embodiment, the user can appropriately set or update the biological signal corresponding to the operation of the robot hand 30. For this reason, the user can associate the operation of the robot hand 30 intended by the user with an arbitrary biological signal of an arbitrary part that can be stably output according to his / her characteristics. Therefore, it is possible to prevent the malfunction of the robot hand 30 described above.
このような機能を実現する義肢制御システム1の各構成について図1を用いて説明する。 Each structure of the prosthetic limb control system 1 which implement | achieves such a function is demonstrated using FIG.
生体センサ10は、ユーザの任意の部位に装着され生体信号を受信可能なセンサである。生体信号はたとえば、腕や腹部の筋電位の信号(筋電信号)、眼電位の信号、心電位の信号、音声信号、脳波信号、フォトリフレクタ等によりセンシング可能な信号が挙げられるがこれに限定されない。本実施形態では、生体信号の一例として筋電信号を用いて説明する。図1に示すように、生体センサ10は、機能部として、計測部110と送信部120とを備えている。 The biological sensor 10 is a sensor that can be attached to an arbitrary part of a user and receive a biological signal. Examples of biological signals include signals that can be sensed by an arm or abdominal myoelectric signal (myoelectric signal), an ocular potential signal, a cardiac potential signal, an audio signal, an electroencephalogram signal, a photoreflector, or the like. Not. In the present embodiment, a myoelectric signal will be described as an example of a biological signal. As shown in FIG. 1, the biological sensor 10 includes a measurement unit 110 and a transmission unit 120 as functional units.
計測部110は、人体から生体信号を取得する。計測部110は、たとえば電極のように人体に装着されることで生体信号を取得するものや、マイクやフォトリフレクタのように人体から離隔され、生体信号を取得するものを含み得る。生体センサ10は、複数の電極等の計測部110から構成されることができる。本実施形態では、計測部110は、腕の筋肉に3か所に装着され、筋電位を取得する電極として説明するが、計測部110の数、装着個所はこれに限定されない。たとえば、腹部と腕と脚、というように異なる身体の部位に装着させるものとしてもよい。 The measurement unit 110 acquires a biological signal from the human body. The measurement unit 110 may include, for example, a device that acquires a biological signal by being attached to a human body, such as an electrode, or a device that acquires a biological signal that is separated from the human body, such as a microphone or a photo reflector. The biosensor 10 can include a measuring unit 110 such as a plurality of electrodes. In the present embodiment, the measurement unit 110 is described as electrodes that are attached to the muscles of the arm at three locations and acquire myopotentials. However, the number of the measurement units 110 and the mounting locations are not limited thereto. For example, it may be attached to different parts of the body such as the abdomen, arms and legs.
送信部120は、取得した生体信号を後述する携帯端末20に送信する。 The transmission part 120 transmits the acquired biomedical signal to the portable terminal 20 mentioned later.
次に、図2を用いてロボットハンド30の構成について説明する。図2は、ロボットハンド30の一例を示す図である。ロボットハンド30は、図2に示すように人間の手を模した義手である。ロボットハンド30は、本体350と、5つの指部351A〜351E(以下、指部351A〜351Eをまとめて指部351とも呼ぶ)とから構成されている。また、ロボットハンド30には駆動部370として、各指の付け根に、モータ370A〜370Eと手首にモータ370Fとが取り付けられている。モータ370A〜Fが駆動することによってロボットハンド30は、指を曲げたり手首をひねったりといった動作をすることが可能となる。なお、図2に示す例では、6つのモータを用いたが、モータの数は少なくとも1つ以上あればよく、図2に示す例に限定されない。モータについては、各種モータが存在するので、モータの機能や動作させたい内容に応じてモータの数が決定されればよい。また、図2の例では、指が5本のロボットハンド30について示しているが、これに限定されず、指の数は任意に構成することができる。さらに、駆動部370は、
モータを例にして説明するが、この例に限定されず、電場応答性高分子、誘電エラストマー、形状記憶合金、マッキベン型人工筋肉、電気粘性流体等の各種アクチュエータであってもよい。
Next, the configuration of the robot hand 30 will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of the robot hand 30. The robot hand 30 is a prosthetic hand imitating a human hand as shown in FIG. The robot hand 30 includes a main body 350 and five finger portions 351A to 351E (hereinafter, the finger portions 351A to 351E are collectively referred to as finger portions 351). Further, the robot hand 30 is provided with a motor 370A to 370E at the base of each finger and a motor 370F at the wrist as a drive unit 370. Driving the motors 370A to 370F allows the robot hand 30 to perform operations such as bending a finger or twisting the wrist. In the example shown in FIG. 2, six motors are used. However, the number of motors may be at least one and is not limited to the example shown in FIG. Since there are various types of motors, the number of motors may be determined according to the function of the motor and the content to be operated. In the example of FIG. 2, the robot hand 30 having five fingers is illustrated, but the present invention is not limited to this, and the number of fingers can be arbitrarily configured. Furthermore, the drive unit 370
The motor will be described as an example. However, the present invention is not limited to this example, and various actuators such as an electric field responsive polymer, a dielectric elastomer, a shape memory alloy, a McKibben artificial muscle, and an electrorheological fluid may be used.
さらに、ロボットハンド30の指部351はそれぞれ特殊な機能をもったモジュールと取り替え可能であることが望ましい。モジュールは、たとえば電話機能、マイク機能、スピーカ機能、ミュージックプレイヤー機能等を保有していることが望ましい。 Furthermore, it is desirable that the finger portions 351 of the robot hand 30 can be replaced with modules each having a special function. The module preferably has, for example, a telephone function, a microphone function, a speaker function, a music player function, and the like.
ロボットハンド30の機能部について図1に戻り説明する。ロボットハンド30は、図1に示すように機能部として、制御部310と、送信部320と、受信部330とを備えている。 The function unit of the robot hand 30 will be described with reference to FIG. As shown in FIG. 1, the robot hand 30 includes a control unit 310, a transmission unit 320, and a reception unit 330 as functional units.
制御部310は、後述する受信部330から動作パターンを取得し、この動作パターンに基づいて、ロボットハンド30の駆動部370の駆動を制御することでロボットハンド30の動作を制御する。制御部310は、ロボットハンド30の動作に対応する、駆動部370の回転速度、回線速度の勾配、角度、トルク等(以下、駆動データともいう。)を制御可能であることが望ましい。制御部310は、ロボットハンド30の各種動作に対応する駆動部370の回転速度、角度などの駆動データの組み合わせである動作パターンを把握している。 The control unit 310 acquires an operation pattern from the receiving unit 330 described later, and controls the operation of the robot hand 30 by controlling the drive of the drive unit 370 of the robot hand 30 based on the operation pattern. It is desirable that the control unit 310 can control the rotation speed, line speed gradient, angle, torque, and the like (hereinafter also referred to as drive data) of the drive unit 370 corresponding to the operation of the robot hand 30. The control unit 310 grasps an operation pattern that is a combination of drive data such as the rotation speed and angle of the drive unit 370 corresponding to various operations of the robot hand 30.
送信部320は、後述する学習フェーズにおいて、携帯端末20に、ロボットハンド30の動作に対応する駆動部370の回転速度、速度勾配、回転角度等の組み合わせ(動作パターン)を送信する。たとえば、ユーザがロボットハンド30を手動で動かすことで、制御部110がこのときの動作パターンを認識し、認識された動作パターンを携帯端末20に送信する。受信部330は、後述する携帯端末20から動作パターン(駆動信号)を受信する。なお、送信部120及び受信部130は、駆動部370の回転角度などの駆動データそのものを駆動信号として携帯端末20とやりとりしてもよい。 The transmission unit 320 transmits a combination (operation pattern) such as a rotation speed, a speed gradient, and a rotation angle of the drive unit 370 corresponding to the operation of the robot hand 30 to the mobile terminal 20 in a learning phase to be described later. For example, when the user manually moves the robot hand 30, the control unit 110 recognizes the operation pattern at this time, and transmits the recognized operation pattern to the mobile terminal 20. The receiving unit 330 receives an operation pattern (drive signal) from the mobile terminal 20 described later. Note that the transmission unit 120 and the reception unit 130 may communicate with the mobile terminal 20 using drive data such as the rotation angle of the drive unit 370 as a drive signal.
次に、図1を用いて携帯端末の20の構成について説明する。
携帯端末20は、有線または無線のネットワークを介して生体センサ10およびロボットハンド30と通信する機能を備えた情報処理装置である。具体的には、携帯電話やスマートフォン、ノートPC、PDA、タブレット等が挙げられるが、これに限られない。図1に示すように、携帯端末20は、主制御部210と、入力部220と、表示部230と、通信部240と、記憶部250とを備えている。ユーザは携帯端末20に義肢制御アプリをインストールすることで、ロボットハンド30を制御することが可能になる。
Next, the configuration of the mobile terminal 20 will be described with reference to FIG.
The portable terminal 20 is an information processing apparatus having a function of communicating with the biosensor 10 and the robot hand 30 via a wired or wireless network. Specific examples include, but are not limited to, mobile phones, smartphones, notebook PCs, PDAs, tablets, and the like. As shown in FIG. 1, the mobile terminal 20 includes a main control unit 210, an input unit 220, a display unit 230, a communication unit 240, and a storage unit 250. The user can control the robot hand 30 by installing the prosthetic limb control application on the mobile terminal 20.
主制御部210は、CPUおよびMPU等の演算処理部211、およびメモリ(不図示)を備えている。演算処理部211は、各種入力に基づき、メモリ(不図示)に記録されたプログラムを実行することで、各種機能部を動作させる。このプログラムは、microSD等の外部メモリに記憶され、もしくはネットワークを介して配布され、携帯端末20にインストールされるものであってもよい。メモリ(不図示)は、OS(Operating System)をはじめとする、携帯端末20のシステムが処理に必要とするデータ等が記憶されている。 The main control unit 210 includes an arithmetic processing unit 211 such as a CPU and an MPU, and a memory (not shown). The arithmetic processing unit 211 operates various functional units by executing a program recorded in a memory (not shown) based on various inputs. This program may be stored in an external memory such as microSD, or distributed via a network and installed in the mobile terminal 20. The memory (not shown) stores data required for processing by the system of the mobile terminal 20 such as an OS (Operating System).
入力部220は、ボタン、タッチパネル、マウス、キーボード等のことを指し、ユーザからの操作を受け付けるように構成される。 The input unit 220 refers to buttons, a touch panel, a mouse, a keyboard, and the like, and is configured to accept an operation from a user.
表示部230は、画像を携帯端末20に表示する、液晶画面などである。通信部240は、携帯端末20をネットワークに接続するためのものである。 The display unit 230 is a liquid crystal screen or the like that displays an image on the mobile terminal 20. The communication unit 240 is for connecting the mobile terminal 20 to a network.
記憶部250は、RAM等の記憶媒体によって構成され、ユーザがダウンロードしたアプリケーションに関するデータや、画像ファイル、音声ファイル等を記憶しておくためのものである。記憶部250は、携帯端末20に内蔵されるものに限らず、たとえばmicroSD等の外部メモリであってもよい。記憶部250には、義肢制御アプリがインストールされることで、図1に示すように対応表DBが記憶される。対応表DBには、生体信号とロボットハンド30の動作パターンとが対応付けられて記憶されている。対応表DBに対応付けられる動作パターンは、駆動部370の回転角度などの駆動データそのものでもよい。 The storage unit 250 is configured by a storage medium such as a RAM, and stores data relating to applications downloaded by the user, image files, audio files, and the like. The storage unit 250 is not limited to the one built in the mobile terminal 20 and may be an external memory such as a microSD. By installing the prosthetic control application, the correspondence table DB is stored in the storage unit 250 as shown in FIG. In the correspondence table DB, the biological signal and the operation pattern of the robot hand 30 are stored in association with each other. The operation pattern associated with the correspondence table DB may be drive data itself such as the rotation angle of the drive unit 370.
演算処理部211は、義肢制御アプリがインストールされることで、設定部2111と受信部2112と、決定部2113と、送信部2114と、認識部2115として機能することが可能になる。 The arithmetic processing unit 211 can function as the setting unit 2111, the receiving unit 2112, the determining unit 2113, the transmitting unit 2114, and the recognizing unit 2115 by installing the prosthetic limb control application.
受信部2112は、通信部240を介して生体センサ10から生体信号を受信する。また、ロボットハンド30の動作と、ユーザの任意の生体信号との対応付けを行う学習フェーズにおいては、受信部2112は、ロボットハンド30から送信される動作パターンも受信する。 The receiving unit 2112 receives a biological signal from the biological sensor 10 via the communication unit 240. In the learning phase in which the operation of the robot hand 30 is associated with an arbitrary biological signal of the user, the receiving unit 2112 also receives an operation pattern transmitted from the robot hand 30.
認識部2115は、ユーザにより設定された義肢の動作を認識する。たとえば、認識部2115は、ロボットハンド30を撮影した画像(動画・静止画を含む)を解析し、画像に写ったロボットハンド30の動作に対応する駆動部370の動作パターンを認識することができる。具体的には画像解析結果からロボットハンド30の指部351や手首350の角度などが認識され、その認識結果から駆動部370の回転速度等の駆動データの組み合わせが認識されればよい。また、認識部2115は、ロボットハンド30に設けられたセンサによってセンシングされた指の角度等から、駆動部370の駆動データが認識され、この駆動データを取得することで、これらの駆動データの組み合わせをロボットハンド30の動作パターンとして認識してもよい。なお、認識部2115は、ロボットハンド30の駆動部370の駆動データを、入力部220を用いてユーザにより直接入力されてもよい。 The recognition unit 2115 recognizes the motion of the prosthesis set by the user. For example, the recognition unit 2115 can analyze an image (including moving images and still images) taken of the robot hand 30 and recognize an operation pattern of the drive unit 370 corresponding to the operation of the robot hand 30 shown in the image. . Specifically, the angle of the finger part 351 and the wrist 350 of the robot hand 30 may be recognized from the image analysis result, and the combination of drive data such as the rotation speed of the drive unit 370 may be recognized from the recognition result. The recognizing unit 2115 recognizes the driving data of the driving unit 370 from the angle of the finger sensed by the sensor provided in the robot hand 30, and obtains the driving data to combine the driving data. May be recognized as an operation pattern of the robot hand 30. Note that the recognition unit 2115 may directly input the driving data of the driving unit 370 of the robot hand 30 by the user using the input unit 220.
設定部2111は、学習フェーズにおいて、駆動部370により制御されるロボットハンド30の動作と、生体信号との対応関係を、設定する。設定部2111が設定した対応関係は、記憶部250の対応表DBに保存される。設定部2111は、ユーザからの指示に基づき対応関係を設定することが望ましい。たとえば、ユーザは手動でロボットハンド30を動かして、任意の姿勢を教示して登録することができる。ユーザは、ロボットハンド30の姿勢だけでなく一連の動作も登録することができる。このとき、教示された動きに伴う駆動部370A〜Fの回転速度、回転角度等の駆動データが携帯端末20に送信され、これらの組み合わせが動作パターンとして登録される。なお、ロボットハンド30側から動作パターンが送信されてもよい。 The setting unit 2111 sets a correspondence relationship between the operation of the robot hand 30 controlled by the driving unit 370 and the biological signal in the learning phase. The correspondence set by the setting unit 2111 is stored in the correspondence table DB of the storage unit 250. The setting unit 2111 desirably sets the correspondence based on an instruction from the user. For example, the user can manually move the robot hand 30 to teach and register an arbitrary posture. The user can register not only the posture of the robot hand 30 but also a series of operations. At this time, drive data such as the rotation speed and rotation angle of the drive units 370A to 370F accompanying the taught movement is transmitted to the portable terminal 20, and a combination of these is registered as an operation pattern. An operation pattern may be transmitted from the robot hand 30 side.
次に、入力信号となる生体信号の設定処理について説明する。たとえば、腕の筋肉に計測部110が取り付けられた場合、入力信号を発生する腕の動きを、ユーザが自身の腕を動かすことで教示する。この時、計測された生体信号は送信部120から受信部2112へ送信される。設定部2111は、このロボットハンド30の動作パターンと生体信号とを対応付けて対応表DBに登録することで設定を行う。 Next, a setting process of a biological signal that becomes an input signal will be described. For example, when the measuring unit 110 is attached to the arm muscle, the user teaches the movement of the arm that generates the input signal by moving the user's own arm. At this time, the measured biological signal is transmitted from the transmission unit 120 to the reception unit 2112. The setting unit 2111 performs setting by associating the operation pattern of the robot hand 30 with the biological signal and registering them in the correspondence table DB.
また、設定部2111は、義肢に装着されたモジュールの機能と、生体信号との対応関係を設定することもできる。たとえば、ロボットハンド30の指部351Bがミュージックプレイヤー機能を備えるモジュールと取り換えられた場合、ユーザは、音楽を再生・停止・早送り、巻き戻し等をするための生体信号を設定部2111によって設定することが可能であることが望ましい。また、たとえばロボットハンド30が携帯電話の機能を有するモジュールを備えていた場合、設定部2111は、電話を掛ける動作や電話をとる動作に対応する生体信号を設定できるとしてもよい。 The setting unit 2111 can also set the correspondence between the function of the module attached to the prosthesis and the biological signal. For example, when the finger part 351B of the robot hand 30 is replaced with a module having a music player function, the user sets a biological signal for playing / stopping / fast-forwarding / rewinding music by the setting unit 2111. It is desirable that this is possible. For example, when the robot hand 30 includes a module having a mobile phone function, the setting unit 2111 may be able to set a biological signal corresponding to an operation of making a call or an operation of taking a call.
また、設定部2111は、義肢の動作と、ユーザの複数の部位の生体信号に基づくパターンとの対応関係を設定することも可能である。具体的には、受信部2112が受信した生体信号を合成し、入力パターンとして扱うとしてもよい。 The setting unit 2111 can also set a correspondence relationship between the motion of the prosthetic limb and a pattern based on biological signals of a plurality of parts of the user. Specifically, the biological signal received by the reception unit 2112 may be synthesized and handled as an input pattern.
図3は、計測部110が計測した生体信号と、生体信号が合成された入力パターンとが表示部230に表示される様子を模式的に示す図である。 FIG. 3 is a diagram schematically illustrating a state in which the biological signal measured by the measurement unit 110 and the input pattern obtained by synthesizing the biological signal are displayed on the display unit 230.
図3(A)は、生体センサ10の計測部110の3つの電極それぞれが計測した3つの生体信号IN1〜3を示している。この3つの生体信号は、設定部2111によって合成されてもよい。具体的には、生体信号IN1〜3はたとえば、3つの信号の大きさの和が1となるように正規化され、この全体を1とした場合に占める割合に基づいて、入力パターンIN1´〜3´に変換されるものとしてもよい。この変換された入力パターンIN1´〜3´をを表しているのが図3(B)である。入力パターンIN1´〜3´はそれぞれ図3(A)のIN1〜3に対応している。設定部2111は、この合成した入力パターンと動作パターンとを対応付けることが望ましい。 FIG. 3A shows three biological signals IN1 to 3 measured by the three electrodes of the measuring unit 110 of the biological sensor 10, respectively. The three biological signals may be synthesized by the setting unit 2111. Specifically, the biological signals IN1 to IN3 are normalized so that the sum of the magnitudes of the three signals is 1, and the input patterns IN1 ′ to IN1 ′ to It is good also as what is converted into 3 '. FIG. 3B shows the converted input patterns IN1 ′ to 3 ′. The input patterns IN1 ′ to 3 ′ correspond to IN1 to IN3 in FIG. The setting unit 2111 desirably associates the synthesized input pattern with the operation pattern.
図4は、ユーザが、生体信号と動作パターンとの対応関係を設定する際の各設定画面の一例を示す図である。設定画面のエリアA1には、受信部2112が受信した生体信号を合成した入力パターンがグラフ表示され、エリアA2にはグラフ表示された入力パターンの各成分が数値で表示されている。また、エリアA3には、認識部2115が認識したロボットハンド30の動作パターンに対応付けられた生体信号が数値で表示されている。 FIG. 4 is a diagram illustrating an example of each setting screen when the user sets the correspondence between the biological signal and the operation pattern. In the setting screen area A1, an input pattern obtained by synthesizing the biological signal received by the receiving unit 2112 is displayed in a graph. In the area A2, each component of the input pattern displayed in the graph is displayed as a numerical value. In the area A3, a biological signal associated with the operation pattern of the robot hand 30 recognized by the recognition unit 2115 is displayed as a numerical value.
図4(A)は、まだ動作パターンと生体信号とが対応付けられていない場合の表示画面を示している。図4(A)の状態で、画面上部の「learn」ボタンB1が選択されると、動作パターンの登録が可能となる。例えば、ユーザは、ロボットハンド30の姿勢や一連の動作を教示し、「learn」ボタンB1を選択することで、この姿勢や一連の動作を動作パターンとして登録することが可能になる。動作パターンは、メニューM1から選びかえることができる。 FIG. 4A shows a display screen when the operation pattern and the biological signal are not yet associated with each other. When the “learn” button B1 at the top of the screen is selected in the state of FIG. 4A, the operation pattern can be registered. For example, the user can register the posture and the series of motions as the motion pattern by teaching the posture and the series of motions of the robot hand 30 and selecting the “learn” button B1. The operation pattern can be selected from the menu M1.
図4(B)は、動作パターンの例として、「mo1」〜「mo3」の3つの動作が登録され、さらに「mo1」に対応する生体信号が設定されている状態を示す図である。プリセットが動作パターンとして登録されると、図4(B)に示すようにエリアA3に、「mo×」という表示がロボットハンド30の姿勢や動作を登録した数の分表示される。さらに、動作パターンに対応する生体信号が設定されると、エリアA3の動作パターンの欄に生体信号が数値で入力される。 FIG. 4B is a diagram illustrating a state in which three operations “mo1” to “mo3” are registered as an example of the operation pattern, and a biological signal corresponding to “mo1” is set. When the preset is registered as an operation pattern, as shown in FIG. 4B, the display “mo ×” is displayed in the area A3 by the number of registered postures and operations of the robot hand 30. Further, when a biological signal corresponding to the operation pattern is set, the biological signal is input as a numerical value in the operation pattern column of area A3.
さらに対応関係を設定する際には、ユーザは、メニューM1から「mo2」を選択し、腕を動かして登録したい生体信号を携帯端末20に送信し、「pair」ボタンB2を選択する。図4(C)では、エリアA1に受信した生体信号が表示されている。この状態で、「pair」ボタンB2を選択することで新たに対応関係を設定することができる(図4(D))。図4(D)では、エリアA3に、動作パターン「mo2」に対応する生体信号が設定されている状態を示す。 Further, when setting the correspondence, the user selects “mo2” from the menu M1, moves the arm, transmits a biological signal to be registered to the portable terminal 20, and selects the “pair” button B2. In FIG. 4C, the received biological signal is displayed in area A1. In this state, by selecting the “pair” button B2, a new correspondence can be set (FIG. 4D). FIG. 4D shows a state in which a biological signal corresponding to the operation pattern “mo2” is set in the area A3.
図1に戻り、携帯端末20の機能部の続きを説明する。決定部2113は、ユーザがロボットハンド30を操作する操作フェーズにおいて、対応表DBに基づいて、受信部2112が受信した生体信号に対応するロボットハンド30の動作パターンを決定する。決定部2113は、受信した生体信号に最も近い生体信号のパターンを対応表DBから抽出し、対応する動作パターンを決定するものとしてもよい。 Returning to FIG. 1, the continuation of the functional unit of the mobile terminal 20 will be described. The determining unit 2113 determines an operation pattern of the robot hand 30 corresponding to the biological signal received by the receiving unit 2112 based on the correspondence table DB in the operation phase in which the user operates the robot hand 30. The determination unit 2113 may extract a biological signal pattern closest to the received biological signal from the correspondence table DB and determine a corresponding operation pattern.
送信部2114は、決定部2113が決定した動作パターンが示す動作をロボットハンド30に行わせるための動作信号を、ロボットハンド30の受信部330に送信する。例えば、動作信号は、動作パターンを示す信号である。 The transmission unit 2114 transmits an operation signal for causing the robot hand 30 to perform the operation indicated by the operation pattern determined by the determination unit 2113 to the reception unit 330 of the robot hand 30. For example, the operation signal is a signal indicating an operation pattern.
次に図5を用いて、学習フェーズの処理フローについて説明する。図5は、携帯端末20が対応関係を学習する際の処理フローを示すチャートである。なお、以下に説明する処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上1ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、1ステップとして把握することができる。 Next, the processing flow of the learning phase will be described with reference to FIG. FIG. 5 is a chart showing a processing flow when the mobile terminal 20 learns the correspondence relationship. Each processing step included in the processing flow described below can be executed in any order or in parallel as long as there is no contradiction in the processing contents. These steps may be added. Further, a step described as one step for convenience can be executed by being divided into a plurality of steps, while a step described as being divided into a plurality of steps for convenience can be grasped as one step.
学習フェーズにおいて、ユーザは手動でロボットハンド30を動かして、任意の姿勢や一連の動作の登録を行うことができる。まず、ロボットハンド30をユーザは手動で動かして登録したい動作や姿勢を教示する。ロボットハンド30の制御部310は、教示された動作の角度・速度から駆動部370の動作パターンを取得する(S101)。たとえば、ロボットハンド30の姿勢を登録する場合の処理について説明する。ユーザがロボットハンド30のすべての指部351を折り曲げて、拳を握った形を登録する場合、駆動部370A〜Eの角度が取得される。また、たとえば、手を開いた状態から拳を握った状態までの一連の動作を登録する場合、動きに伴う駆動部370A〜Eの回転速度が取得される。ロボットハンド30の送信部320は取得した駆動データの組み合わせを動作パターンとして、携帯端末20の受信部2112に送信する(S103)。 In the learning phase, the user can manually move the robot hand 30 to register an arbitrary posture and a series of actions. First, the user manually moves the robot hand 30 to teach an operation or posture to be registered. The control unit 310 of the robot hand 30 acquires the operation pattern of the drive unit 370 from the angle and speed of the taught operation (S101). For example, a process for registering the posture of the robot hand 30 will be described. When the user bends all the finger portions 351 of the robot hand 30 and registers the shape of holding the fist, the angles of the drive units 370A to 370E are acquired. Further, for example, when registering a series of operations from a state where the hand is opened to a state where the fist is grasped, the rotational speeds of the drive units 370A to 370E associated with the movement are acquired. The transmission unit 320 of the robot hand 30 transmits the acquired combination of drive data as an operation pattern to the reception unit 2112 of the mobile terminal 20 (S103).
一方で、ユーザは生体センサ10の計測部110を身体の任意の部位、たとえば腕に装着する。腕に計測部110を貼り付けると、ユーザは腕を動かしてロボットハンド30の動作に対応する腕の動きを決定する。対応する生体信号は、ロボットハンド30の動作をするときの腕の動きを生体信号として設定してもよいがこれに限定されない。たとえばロボットハンド30が指部351をすべて開いてパーを作る動作に対応する生体信号として、ユーザがグーをする場合の筋電信号を設定してもよい。 On the other hand, the user wears the measurement unit 110 of the biological sensor 10 on an arbitrary part of the body, for example, an arm. When the measurement unit 110 is pasted on the arm, the user moves the arm to determine the movement of the arm corresponding to the operation of the robot hand 30. The corresponding biological signal may set the movement of the arm when the robot hand 30 is operated as the biological signal, but is not limited thereto. For example, a myoelectric signal when the user goes goo may be set as a biological signal corresponding to an operation in which the robot hand 30 opens all the finger portions 351 to create a par.
生体センサ10の計測部110が、このときの筋電位を取得する(S105)と、送信部120が携帯端末20の受信部2112に送信する(S107)。設定部2111は、受信した生体信号と動作パターンとを対応付けて、記憶部250の対応表DBに登録する(S109)。 When the measurement unit 110 of the biosensor 10 acquires the myoelectric potential at this time (S105), the transmission unit 120 transmits it to the reception unit 2112 of the mobile terminal 20 (S107). The setting unit 2111 associates the received biological signal with the operation pattern and registers them in the correspondence table DB of the storage unit 250 (S109).
次に、図6を用いて、操作フェーズの処理(ロボットハンド30をユーザが操作する場合の処理)について説明する。図6は、携帯端末20を用いてユーザがロボットハンド30を操作する際の処理フローを示すチャートである。 Next, operation phase processing (processing when the user operates the robot hand 30) will be described with reference to FIG. FIG. 6 is a chart showing a processing flow when the user operates the robot hand 30 using the mobile terminal 20.
生体センサ10を腕に装着したユーザが、ロボットハンド30を操作するために腕を動かすと、計測部110が生体信号を取得する(S201)。取得された生体信号は送信部120によって、携帯端末20の受信部2112に送信される(S203)。決定部2113は、受信部2112が受信した生体信号から最も近い生体信号を対応表DBから抽出する(S205)。決定部2113は、類似度が閾値以上の生体信号を抽出するとしてもよい。次に決定部2113は、抽出した生体信号に対応する動作パターンを決定する(S207)。決定した動作パターンを送信部2114がロボットハンド30の受信部330に送信する(S209)。この受信した動作パターンに従って、制御部310が駆動部370を制御する(S211)。 When a user wearing the biosensor 10 on his arm moves his arm to operate the robot hand 30, the measurement unit 110 acquires a biometric signal (S201). The acquired biological signal is transmitted by the transmission unit 120 to the reception unit 2112 of the mobile terminal 20 (S203). The determining unit 2113 extracts the biological signal closest to the biological signal received by the receiving unit 2112 from the correspondence table DB (S205). The determination unit 2113 may extract a biological signal having a similarity equal to or higher than a threshold value. Next, the determination unit 2113 determines an operation pattern corresponding to the extracted biological signal (S207). The transmission unit 2114 transmits the determined operation pattern to the reception unit 330 of the robot hand 30 (S209). In accordance with the received operation pattern, the control unit 310 controls the drive unit 370 (S211).
このように、本実施形態にかかる義肢制御アプリをインストールした携帯端末20によれば、ユーザは自由に義肢の動作パターンと生体信号とを対応づけることができる。これによって、成長過程や、義肢の扱いの成熟度に応じて対応する生体信号を適宜更新することが可能となる。また、より高機能な義肢に買い替えた場合であっても義肢制御アプリをアップデートすれば対応することできる。 Thus, according to the portable terminal 20 in which the prosthetic limb control application according to the present embodiment is installed, the user can freely associate the prosthetic limb movement pattern with the biological signal. This makes it possible to appropriately update the corresponding biological signal according to the growth process and the maturity level of the treatment of the prosthesis. Moreover, even if it is a case where it replaces with a higher functional prosthesis, it can respond by updating a prosthesis control application.
[その他の実施形態]
以上、本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
[Other embodiments]
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes can be made based on the technical idea of the present invention.
例えば、既述の実施形態において、義肢制御アプリをインストールした携帯端末20に、認識部2115や決定部2113等の機能部が構築されるとして説明したがこれに限定されない。たとえば、携帯端末20はネットワークを介してサーバ装置にアクセスする構成とし、サーバ装置側が、携帯端末20の演算処理部211に構築されていた機能部を有するとしてもよい。 For example, in the above-described embodiment, it has been described that functional units such as the recognition unit 2115 and the determination unit 2113 are built in the portable terminal 20 in which the prosthetic limb control application is installed, but the present invention is not limited to this. For example, the mobile terminal 20 may be configured to access the server device via a network, and the server device side may include a functional unit constructed in the arithmetic processing unit 211 of the mobile terminal 20.
また、たとえば、既述の実施形態において、生体信号とロボットハンド30の動作パターンの対応関係の設定はユーザが行うとしていたがこれに限定されない。たとえば、ユーザが、サーバ装置からネットワークを介して、自分の特徴に合った対応表をダウンロードする構成としてもよい。また、生体信号を発生させるユーザと、生体信号と義肢の動作との対応関係を設定するための指示を行うユーザとは、同一人物でなくてもよい。 For example, in the above-described embodiment, the user sets the correspondence relationship between the biological signal and the operation pattern of the robot hand 30, but the present invention is not limited to this. For example, the configuration may be such that the user downloads a correspondence table that matches his / her characteristics from the server device via the network. Further, the user who generates the biological signal and the user who gives an instruction for setting the correspondence between the biological signal and the motion of the prosthesis may not be the same person.
また、本発明は、既述の実施形態で説明した義肢を、駆動手段を含む他の機器に置き換えて適用することが可能である。他の機器としては、電動車いすや、セグウェイ(登録商標)などの乗り物などを含む。例えば、電動車いすの場合、上述したアプリを用いて、前進、後進、回転などの動作を、ユーザの任意の生体信号に容易に対応付けることができる。 In addition, the present invention can be applied by replacing the prosthetic limb described in the above-described embodiment with another device including a driving unit. Other devices include electric wheelchairs and vehicles such as Segway (registered trademark). For example, in the case of an electric wheelchair, using the above-described application, operations such as forward, reverse, and rotation can be easily associated with any biological signal of the user.
1 義肢制御システム
10 生体センサ
110 計測部
120 送信部
20 携帯端末
210 主制御部
211 演算処理部
2111 設定部
2112 受信部
2113 決定部
2114 送信部
2115 認識部
220 入力部
230 表示部
240 通信部
250 記憶部
30 ロボットハンド
310 制御部
320 送信部
330 受信部
DESCRIPTION OF SYMBOLS 1 Prosthetic limb control system 10 Biosensor 110 Measuring part 120 Transmission part 20 Portable terminal 210 Main control part 211 Arithmetic processing part 2111 Setting part 2112 Reception part 2113 Determination part 2114 Transmission part 2115 Recognition part 220 Input part 230 Display part 240 Communication part 250 Storage Unit 30 robot hand 310 control unit 320 transmission unit 330 reception unit
Claims (5)
駆動手段を含み、該駆動手段の駆動に基づき制御される機器の動作と、ユーザの任意の生体信号との対応関係を、ユーザからの指示に基づき設定する設定ステップと、
ユーザの生体信号を受信する受信ステップと、
前記対応関係に基づき、受信された生体信号に対応する前記機器の動作を決定する決定ステップと、
決定された前記機器の動作が行われるよう、前記駆動手段に対する駆動信号を前記機器に送信する送信ステップと、
を実行させるためのプログラム。 On the computer,
A setting step including setting a correspondence relationship between the operation of the device including the driving unit and controlled based on the driving of the driving unit and any biological signal of the user based on an instruction from the user;
A receiving step for receiving a biometric signal of the user;
A determination step for determining an operation of the device corresponding to the received biological signal based on the correspondence relationship;
A transmission step of transmitting a drive signal for the drive means to the device so that the determined operation of the device is performed;
A program for running
ユーザにより設定された前記機器の動作を認識する認識ステップをさらに実行させ、
前記設定ステップは、
認識された前記動作と前記任意の生体信号との対応関係を設定する、請求項1に記載のプログラム。 In the computer,
Further executing a recognition step of recognizing the operation of the device set by the user,
The setting step includes
The program according to claim 1, wherein a correspondence relationship between the recognized motion and the arbitrary biological signal is set.
前記機器の動作と、前記ユーザの複数の部位の生体信号に基づくパターンとの対応関係を設定し、
前記受信ステップは、
前記複数の部位の生体信号を受信し、
前記決定ステップは、
前記対応関係に基づき、前記複数の部位の生体信号に基づくパターンに対応する前記機器の動作を決定する、請求項1または2に記載のプログラム。 The setting step includes
Set the correspondence between the operation of the device and a pattern based on biological signals of a plurality of parts of the user,
The receiving step includes
Receiving biological signals of the plurality of parts,
The determining step includes
The program according to claim 1 or 2, wherein an operation of the device corresponding to a pattern based on biological signals of the plurality of parts is determined based on the correspondence relationship.
機器に装着されたモジュールの機能と、ユーザの任意の生体信号との対応関係を設定する、
請求項1〜3いずれか一項に記載のプログラム。 The setting step includes
Set the correspondence between the function of the module attached to the device and any biological signal of the user.
The program as described in any one of Claims 1-3.
ユーザの生体信号を受け付ける受付部と、
前記対応関係に基づき、受信された生体信号に対応する前記義肢の動作を決定する決定部と、
決定された前記機器の動作が行われるよう、前記駆動手段に対する駆動信号を前記機器に送信する送信部と、
を備える情報処理装置。 A setting unit that includes a driving unit and sets a correspondence relationship between an operation of the device controlled based on the driving of the driving unit and a user's arbitrary biological signal based on an instruction from the user;
A reception unit for receiving a user's biological signal;
A determination unit for determining an action of the prosthetic limb corresponding to the received biological signal based on the correspondence;
A transmission unit that transmits a drive signal for the drive means to the device so that the determined operation of the device is performed;
An information processing apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014180526A JP2016052474A (en) | 2014-09-04 | 2014-09-04 | Program and information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014180526A JP2016052474A (en) | 2014-09-04 | 2014-09-04 | Program and information processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016052474A true JP2016052474A (en) | 2016-04-14 |
Family
ID=55744639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014180526A Pending JP2016052474A (en) | 2014-09-04 | 2014-09-04 | Program and information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016052474A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019107554A1 (en) * | 2017-11-30 | 2019-06-06 | 株式会社メルティンMmi | System for identifying information represented by biological signals |
| JP2020504633A (en) * | 2016-10-28 | 2020-02-13 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Enhanced control of robotic prostheses with cognitive systems |
-
2014
- 2014-09-04 JP JP2014180526A patent/JP2016052474A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020504633A (en) * | 2016-10-28 | 2020-02-13 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Enhanced control of robotic prostheses with cognitive systems |
| JP6990700B2 (en) | 2016-10-28 | 2022-01-12 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Enhanced control of the robot prosthesis by cognitive systems |
| WO2019107554A1 (en) * | 2017-11-30 | 2019-06-06 | 株式会社メルティンMmi | System for identifying information represented by biological signals |
| JPWO2019107554A1 (en) * | 2017-11-30 | 2019-12-12 | 株式会社メルティンMmi | System for identifying information represented by a biological signal |
| CN111565680A (en) * | 2017-11-30 | 2020-08-21 | 梅尔廷Mmi株式会社 | System for recognizing information represented by biological signal |
| CN111565680B (en) * | 2017-11-30 | 2021-11-02 | 梅尔廷Mmi株式会社 | System for recognizing information represented by biological signals |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12539446B2 (en) | Method and system for using sensors to optimize a user treatment plan in a telemedicine environment | |
| US11045117B2 (en) | Systems and methods for determining axial orientation and location of a user's wrist | |
| CN111052047B (en) | Vein scanning device for automatic gesture and finger recognition | |
| US20210350902A1 (en) | Method and system for implementing dynamic treatment environments based on patient information | |
| US9612661B2 (en) | Closed loop feedback interface for wearable devices | |
| JP2022500729A (en) | Neuromuscular control of augmented reality system | |
| US20170028563A1 (en) | Autonomous robot using data captured from a living subject | |
| KR20160077070A (en) | Wristband device input using wrist movement | |
| Sahadat et al. | Simultaneous multimodal PC access for people with disabilities by integrating head tracking, speech recognition, and tongue motion | |
| CN105190578A (en) | Method and apparatus for combining muscle activity sensor signals and inertial sensor signals for gesture-based control | |
| AU2021234183B2 (en) | Intraoral device control system | |
| Sun et al. | A survey of technologies facilitating home and community-based stroke rehabilitation | |
| Zhou et al. | A survey of the development of wearable devices | |
| CN112204501A (en) | Wearable gesture recognition device and related operation method and system | |
| CN110353691A (en) | Act assessment system, its method and non-transient computer-readable recording medium | |
| Han et al. | Ambient haptics: bilateral interaction among human, machines and virtual/real environments in pervasive computing era: L. Han et al. | |
| JP2016052474A (en) | Program and information processing device | |
| Fang et al. | Wearable technology for robotic manipulation and learning | |
| US11112781B2 (en) | Training an autonomous robot using previously captured data | |
| Walugembe et al. | Comparing dynamic hand rehabilitation gestures in leap motion using multi-dimensional dynamic time warping | |
| Bai et al. | Speaking system for dumb people using hand gestures | |
| CN112847369A (en) | Method and device for changing emotion of robot, robot and storage medium | |
| Pande et al. | Development of a voice-controlled home automation system for the differently-abled | |
| Omary et al. | Mixed reality tailored to the visually-impaired | |
| Bang et al. | A prototype of flex sensor based data gloves to track the movements of fingers |