JP2018153873A

JP2018153873A - Device for controlling manipulator, control method, program and work system

Info

Publication number: JP2018153873A
Application number: JP2017050098A
Authority: JP
Inventors: 佳一山下; Keiichi Yamashita; 聡麻生; Satoshi Aso; 健士渡邊; Kenji Watanabe
Original assignee: Okamura Corp
Current assignee: Okamura Corp
Priority date: 2017-03-15
Filing date: 2017-03-15
Publication date: 2018-10-04
Anticipated expiration: 2037-03-15
Also published as: JP6869060B2

Abstract

【課題】オペレータごとの操作のばらつきを抑制しつつ、作業の精度を保つ。【解決手段】信号生成部は、マニピュレータの操作の履歴に基づいてマニピュレータの第１の操作信号を生成する。スコア算出部は、第１の操作信号の妥当性を示すスコアを算出する。信号出力部は、スコアに基づいて、入力装置の操作に従った第２の操作信号を出力するか、信号生成部が生成した第１の操作信号を出力するかを決定する。【選択図】図１PROBLEM TO BE SOLVED: To maintain work accuracy while suppressing variation in operation for each operator. A signal generation unit generates a first operation signal of a manipulator based on a history of operation of the manipulator. The score calculation unit calculates a score indicating the validity of the first operation signal. Based on the score, the signal output unit determines whether to output the second operation signal according to the operation of the input device or the first operation signal generated by the signal generation unit. [Selection diagram] Fig. 1

Description

本発明は、マニピュレータの制御装置、制御方法およびプログラム、ならびに作業システムに関する。 The present invention relates to a control device for a manipulator, a control method and program, and a work system.

特許文献１には、操作者による擬人的な動きを検出し、これを複数の信号に変換してロボットデバイスを駆動させる技術が開示されている。特許文献２には、センサによって検知された製品をピックアップするようにピッカーを自動制御する技術が開示されている。 Patent Document 1 discloses a technique for detecting an anthropomorphic movement by an operator, converting it into a plurality of signals, and driving a robot device. Patent Document 2 discloses a technique for automatically controlling a picker so as to pick up a product detected by a sensor.

特開２０１５−１６８０５６号公報Japanese Patent Laying-Open No. 2015-168056 特許第５９４０６８２号公報Japanese Patent No. 5940682

ロボットデバイスや自動ピッカーなどのマニピュレータを手作業で動作させる場合、オペレータごとにマニピュレータの作業の精度が異なり、不慣れなオペレータには操作が困難となる。他方、マニピュレータを自動制御する場合、作業対象となる対象物に応じて制御を異ならせる必要があるところ、全ての種類の対象物について予め制御情報を記憶することは現実的でない。また機械学習を用いて自動制御する場合にも、学習が不十分である場合に作業の精度が低下する可能性がある。
本発明の目的は、上述した課題を解決するマニピュレータの制御装置、制御方法およびプログラム、ならびに作業システムを提供することにある。 When a manipulator such as a robot device or an automatic picker is manually operated, the accuracy of the manipulator operation varies from operator to operator, making operation difficult for an unfamiliar operator. On the other hand, when the manipulator is automatically controlled, it is necessary to vary the control depending on the target object to be worked. However, it is not realistic to store the control information in advance for all types of target objects. Also, even when automatic control is performed using machine learning, the accuracy of work may be reduced if learning is insufficient.
An object of the present invention is to provide a manipulator control device, a control method and program, and a work system that solve the above-described problems.

本発明の第１の態様によれば、制御装置は、入力装置の操作に基づいてマニピュレータに操作信号を出力するマニピュレータの制御装置であって、前記マニピュレータの操作の履歴に基づいて前記マニピュレータの第１の操作信号を生成する信号生成部と、前記第１の操作信号の妥当性を示すスコアを算出するスコア算出部と、前記スコアに基づいて、前記入力装置の操作に従った第２の操作信号を出力するか、前記第１の操作信号を出力するかを決定する信号出力部とを備える。 According to the first aspect of the present invention, the control device is a manipulator control device that outputs an operation signal to the manipulator based on the operation of the input device, and the control device is configured to output the operation signal of the manipulator based on the operation history of the manipulator. A signal generation unit that generates one operation signal, a score calculation unit that calculates a score indicating the validity of the first operation signal, and a second operation according to the operation of the input device based on the score A signal output unit that determines whether to output a signal or to output the first operation signal.

本発明の第２の態様によれば、第１の態様に係る制御装置は、前記マニピュレータによる作業の対象となる対象物を認識する認識部と、前記認識部によって認識された対象物と、前記マニピュレータが前記対象物についての作業をするときの前記入力装置の操作の履歴とに基づいて、前記対象物と前記マニピュレータの位置とから前記第１の操作信号を求めるためのモデルを更新する学習部とをさらに備え、前記信号生成部は前記モデルに基づいて前記第１の操作信号を生成し、前記スコア算出部は前記モデルに基づいて前記スコアを算出するものであってよい。 According to the second aspect of the present invention, the control device according to the first aspect includes a recognition unit that recognizes a target object to be worked by the manipulator, a target object recognized by the recognition unit, A learning unit that updates a model for obtaining the first operation signal from the object and the position of the manipulator based on an operation history of the input device when the manipulator performs an operation on the object. The signal generation unit may generate the first operation signal based on the model, and the score calculation unit may calculate the score based on the model.

本発明の第３の態様によれば、第１または第２の態様に係る制御装置は、前記信号出力部は、一定時間ごとに生成される前記第１の操作信号に係る前記スコアが前記閾値未満になるまで、前記第１の操作信号を出力し、前記スコアが前記閾値未満になった以降、前記第２の操作信号を出力するものであってよい。 According to the third aspect of the present invention, in the control device according to the first or second aspect, the signal output unit is configured such that the score related to the first operation signal generated at regular intervals is the threshold value. The first operation signal may be output until the second operation signal is less than the threshold value, and the second operation signal may be output after the score becomes less than the threshold value.

本発明の第４の態様によれば、第１から第３の何れかの態様に係る制御装置は、前記マニピュレータは複数の関節を備え、前記信号生成部は、前記複数の関節それぞれを操作する第１の操作信号を生成し、前記信号出力部は、前記複数の関節のうち前記スコアが前記閾値以上の関節に、前記第１の操作信号を出力するものであってよい。 According to a fourth aspect of the present invention, in the control device according to any one of the first to third aspects, the manipulator includes a plurality of joints, and the signal generation unit operates each of the plurality of joints. The first operation signal may be generated, and the signal output unit may output the first operation signal to a joint having the score equal to or higher than the threshold among the plurality of joints.

本発明の第５の態様によれば、第４の態様に係る制御装置は、前記スコアが閾値未満の関節のうち最も基端側に設けられるものである基準関節を特定する関節特定部と、前記信号出力部は、前記複数の関節のうち、前記基準間接より基端側に設けられた関節に、前記第１の操作信号を出力し、前記基準関節および前記基準間接より先端側に設けられた関節に、前記第２の操作信号を出力するものであってよい。 According to the fifth aspect of the present invention, the control device according to the fourth aspect includes a joint identifying unit that identifies a reference joint that is provided on the most proximal side among joints having the score less than a threshold value, The signal output unit outputs the first operation signal to a joint provided on a proximal side from the reference indirect among the plurality of joints, and is provided on a distal side from the reference joint and the reference indirect. The second operation signal may be output to the joint.

本発明の第６の態様によれば、作業システムは、操作信号に基づいて駆動するマニピュレータと、ユーザによる操作の入力を受け付ける入力装置と、第１から第５の何れかの態様に係る制御装置とを備える。 According to the sixth aspect of the present invention, a work system includes a manipulator that is driven based on an operation signal, an input device that receives an input of an operation by a user, and a control device according to any one of the first to fifth aspects. With.

本発明の第７の態様によれば、制御方法は、マニピュレータの制御方法であって、前記マニピュレータの操作の履歴に基づいて前記マニピュレータの第１の操作信号を生成するステップと、前記第１の操作信号の妥当性を示すスコアを算出するステップと、前記スコアに基づいて、ユーザによる操作の入力を受け付ける入力装置の操作に従った第２の操作信号を出力するか、前記第１の操作信号を出力するかを決定するステップとを有する。 According to a seventh aspect of the present invention, the control method is a manipulator control method, the step of generating a first operation signal of the manipulator based on a history of operation of the manipulator, and the first A step of calculating a score indicating validity of the operation signal; and, based on the score, a second operation signal is output according to an operation of an input device that accepts an operation input by a user, or the first operation signal Determining whether to output.

本発明の第８の態様によれば、プログラムは、マニピュレータを制御するコンピュータに、前記マニピュレータの操作の履歴に基づいて前記マニピュレータの第１の操作信号を生成するステップと、前記第１の操作信号の妥当性を示すスコアを算出するステップと、前記スコアに基づいて、ユーザによる操作の入力を受け付ける入力装置の操作に従った第２の操作信号を出力するか、前記第１の操作信号を出力するかを決定するステップとを実行させる。 According to an eighth aspect of the present invention, the program generates, in the computer that controls the manipulator, the first operation signal of the manipulator based on the operation history of the manipulator, and the first operation signal. Calculating a score indicating the validity of the input, and outputting a second operation signal according to an operation of an input device that accepts an input of an operation by a user based on the score, or outputting the first operation signal And a step of determining whether to do.

上記態様のうち少なくとも１つの態様によれば、制御装置は、生成された操作信号のスコアに基づいて、入力装置の操作に基づく操作信号と、操作の履歴に基づいて生成された操作信号とからマニピュレータに出力する操作信号を決定する。これにより、制御装置は、操作の履歴から生成された操作信号によってオペレータごとの操作のばらつきを抑制しつつ、学習が不十分な作業についてはオペレータによる操作によりマニピュレータを動作させることで、作業の精度を保つことができる。 According to at least one of the above aspects, the control device includes an operation signal based on an operation of the input device based on a score of the generated operation signal, and an operation signal generated based on an operation history. The operation signal output to the manipulator is determined. As a result, the control device controls the accuracy of the operation by operating the manipulator by the operation of the operator for the operation that is insufficiently learned while suppressing the variation in the operation for each operator by the operation signal generated from the operation history. Can keep.

第１の実施形態に係る作業システムの構成を示す概略図である。It is a schematic diagram showing the composition of the work system concerning a 1st embodiment. 第１の実施形態に係るコントローラの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the controller which concerns on 1st Embodiment. 第１の実施形態に係るマスタコントローラの動作を示す第１のフローチャートである。It is a 1st flowchart which shows operation | movement of the master controller which concerns on 1st Embodiment. 第１の実施形態に係るマスタコントローラの動作を示す第２のフローチャートである。It is a 2nd flowchart which shows operation | movement of the master controller which concerns on 1st Embodiment. 第３の実施形態に係るマスタコントローラの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the master controller which concerns on 3rd Embodiment. 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the computer which concerns on at least 1 embodiment.

《第１の実施形態》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る作業システムの構成を示す概略図である。
作業システム１は、入出力グローブ１０と、ヘッドマウントディスプレイ２０と、マスタコントローラ３０と、スレーブコントローラ４０と作業ロボット５０とを備える。入出力グローブ１０とヘッドマウントディスプレイ２０とはオペレータＯに装着され、作業ロボット５０はオペレータＯと遠隔に設置される。マスタコントローラ３０は、入出力グローブ１０およびヘッドマウントディスプレイ２０と電気的に接続される。スレーブコントローラ４０は、作業ロボット５０と電気的に接続される。マスタコントローラ３０とスレーブコントローラ４０とは、ネットワークＮを介して通信可能に構成される。 << First Embodiment >>
Hereinafter, embodiments will be described in detail with reference to the drawings.
FIG. 1 is a schematic diagram illustrating a configuration of a work system according to the first embodiment.
The work system 1 includes an input / output glove 10, a head mounted display 20, a master controller 30, a slave controller 40, and a work robot 50. The input / output glove 10 and the head mounted display 20 are attached to the operator O, and the work robot 50 is installed remotely from the operator O. The master controller 30 is electrically connected to the input / output globe 10 and the head mounted display 20. The slave controller 40 is electrically connected to the work robot 50. The master controller 30 and the slave controller 40 are configured to be communicable via the network N.

第１の実施形態に係る作業システム１は、倉庫から物品を運搬するピッキングシステムに適用される。ピッキングシステムは、コンベアや運搬ロボットによって、物品を収容するビンを作業ロボット５０が設置された作業スペースに運搬するシステムである。オペレータＯは、作業ロボット５０を遠隔から操作し、ビンに収容された対象物品を、出荷用コンベアや仕分け箱などの他の位置に移転させる。なお、他の実施形態においては、作業システム１は、ピッキングシステム以外のシステムに適用されてもよい。例えば、作業システム１は、たねまき、仕分け、開梱や梱包、検品、組立などの他の遠隔作業（倉庫内に限らずオフィス、スーパー、病院、図書館、実験室等における遠隔作業を含む）に用いられてもよい。 The work system 1 according to the first embodiment is applied to a picking system that transports articles from a warehouse. The picking system is a system for transporting bins for storing articles to a work space where the work robot 50 is installed by a conveyor or a transport robot. The operator O operates the work robot 50 from a remote location, and moves the target article stored in the bin to another position such as a shipping conveyor or a sorting box. In other embodiments, work system 1 may be applied to systems other than a picking system. For example, the work system 1 is used for other remote work such as onion, sorting, unpacking and packing, inspection, assembly (including remote work not only in the warehouse but also in offices, supermarkets, hospitals, libraries, laboratories, etc.). May be used.

入出力グローブ１０は、オペレータＯの手に取り付けられる手袋状の入出力装置である。入出力グローブ１０は、オペレータＯの姿勢を検出する姿勢センサと、作業ロボット５０の動作をフィードバックするフィードバックデバイスとを備える。入出力グローブ１０は、姿勢センサが生成する信号を、操作信号としてマスタコントローラ３０に出力する。姿勢センサは、少なくともオペレータＯの関節の角度を算出可能に構成される。姿勢センサは、モーションキャプチャによりオペレータＯの動きを検出するものであってよい。フィードバックデバイスは、作業ロボット５０のマニピュレータ５１が触れた物の触感を再現可能な素子（アクチュエータや電極など）である。フィードバックデバイスは、マスタコントローラ３０から入力されるフィードバック信号に従って動作する。 The input / output glove 10 is a glove-shaped input / output device attached to the hand of the operator O. The input / output glove 10 includes a posture sensor that detects the posture of the operator O and a feedback device that feeds back the operation of the work robot 50. The input / output globe 10 outputs a signal generated by the posture sensor to the master controller 30 as an operation signal. The posture sensor is configured to be able to calculate at least the angle of the joint of the operator O. The posture sensor may detect the movement of the operator O by motion capture. The feedback device is an element (such as an actuator or an electrode) that can reproduce the tactile sensation of an object touched by the manipulator 51 of the work robot 50. The feedback device operates according to a feedback signal input from the master controller 30.

ヘッドマウントディスプレイ２０は、オペレータＯの頭部に装着されることでオペレータＯに画像を提示する装置である。画像の提示方法としては、オペレータの目に対向するディスプレイに画像を表示する方法や、プロジェクタによってオペレータの目に画像を投影する方法が挙げられる。ヘッドマウントディスプレイ２０は、マスタコントローラ３０から入力される映像信号に従って映像を提示する。ヘッドマウントディスプレイ２０は、自身の姿勢を検出する姿勢センサ（例えば、加速度センサやジャイロスコープなど）を備える。ヘッドマウントディスプレイ２０は、姿勢センサの検出結果を示す姿勢信号をマスタコントローラ３０に出力する。 The head mounted display 20 is a device that presents an image to the operator O by being mounted on the head of the operator O. Examples of the image presentation method include a method of displaying an image on a display facing the eyes of the operator, and a method of projecting an image to the eyes of the operator by a projector. The head mounted display 20 presents video according to the video signal input from the master controller 30. The head mounted display 20 includes a posture sensor (for example, an acceleration sensor or a gyroscope) that detects its own posture. The head mounted display 20 outputs a posture signal indicating the detection result of the posture sensor to the master controller 30.

作業ロボット５０は、マニピュレータ５１とカメラ５２とを備える。
マニピュレータ５１は、複数のリンクが複数の関節を介して互いに接続されている。マニピュレータ５１は、スレーブコントローラ４０から入力される制御信号に従って関節ごとに設けられたアクチュエータを駆動させることによって各関節の角度を調整する。マニピュレータ５１の関節とオペレータＯの関節とは必ずしも一対一に対応しない。例えば、マニピュレータ５１は、５本未満の指（指に相当するリンクと関節との組み合わせ）を備えるものであってよい。また例えばマニピュレータ５１は、２つ以上の肘（肘に相当する関節）を備えるものであってよい。マニピュレータ５１には、触覚センサと姿勢センサとが設けられている。触覚センサは、マニピュレータ５１の表面（特に指に相当するリンクの先端）に設けられ、接触した物体の触感を検出する。姿勢センサは、マニピュレータ５１の関節ごとに設けられており、各関節の角度および角速度を検出する。姿勢センサの例としては、アクチュエータの運動量を計測するセンサ（回転数センサやストロークセンサ）が挙げられる。
カメラ５２は、関節を介してマニピュレータ５１と接続される。カメラ５２は、撮像した画像を表す映像情報をスレーブコントローラ４０に出力する。カメラ５２の姿勢は、スレーブコントローラ４０から入力される制御信号に従って調整される。つまり、カメラ５２とマニピュレータ５１とに接続されたアクチュエータが制御信号に従って駆動することで、カメラ５２の姿勢が調整される。 The work robot 50 includes a manipulator 51 and a camera 52.
In the manipulator 51, a plurality of links are connected to each other via a plurality of joints. The manipulator 51 adjusts the angle of each joint by driving an actuator provided for each joint in accordance with a control signal input from the slave controller 40. The joint of the manipulator 51 and the joint of the operator O do not necessarily correspond one to one. For example, the manipulator 51 may be provided with less than five fingers (a combination of a link and a joint corresponding to a finger). Further, for example, the manipulator 51 may include two or more elbows (joints corresponding to elbows). The manipulator 51 is provided with a tactile sensor and a posture sensor. The tactile sensor is provided on the surface of the manipulator 51 (in particular, the tip of a link corresponding to a finger), and detects the tactile sensation of the contacted object. The posture sensor is provided for each joint of the manipulator 51, and detects the angle and angular velocity of each joint. As an example of the posture sensor, a sensor (a rotation speed sensor or a stroke sensor) that measures the momentum of an actuator can be given.
The camera 52 is connected to the manipulator 51 through a joint. The camera 52 outputs video information representing the captured image to the slave controller 40. The posture of the camera 52 is adjusted according to a control signal input from the slave controller 40. That is, the actuator connected to the camera 52 and the manipulator 51 is driven according to the control signal, so that the posture of the camera 52 is adjusted.

マスタコントローラ３０は、入出力グローブ１０から入力される操作信号に基づいて、作業ロボット５０のマニピュレータ５１の制御信号を生成する。またマスタコントローラ３０は、作業ロボット５０からマニピュレータ５１が検出する触感を示す触感信号に基づいて、当該触覚を入出力グローブ１０のフィードバックデバイスに再現させるためのフィードバック信号を生成する。また、マスタコントローラ３０は、スレーブコントローラ４０から映像信号を受信し、これをヘッドマウントディスプレイ２０に出力する。またマスタコントローラ３０は、ヘッドマウントディスプレイ２０から入力された姿勢信号に基づいて、作業ロボット５０のカメラ５２の制御信号を生成し、スレーブコントローラ４０に送信する。 The master controller 30 generates a control signal for the manipulator 51 of the work robot 50 based on the operation signal input from the input / output glove 10. The master controller 30 also generates a feedback signal for reproducing the tactile sensation on the feedback device of the input / output glove 10 based on the tactile sensation signal indicating the tactile sensation detected by the manipulator 51 from the work robot 50. The master controller 30 receives a video signal from the slave controller 40 and outputs it to the head mounted display 20. The master controller 30 also generates a control signal for the camera 52 of the work robot 50 based on the posture signal input from the head mounted display 20 and transmits the control signal to the slave controller 40.

スレーブコントローラ４０は、マスタコントローラ３０から制御信号を受信し、これに従ってマニピュレータ５１を駆動させる。またスレーブコントローラ４０は、触覚センサ、姿勢センサ、カメラ５２から信号を取得し、これをマスタコントローラ３０に送信する。 The slave controller 40 receives the control signal from the master controller 30 and drives the manipulator 51 according to the control signal. The slave controller 40 acquires signals from the tactile sensor, the posture sensor, and the camera 52, and transmits them to the master controller 30.

図２は、第１の実施形態に係るコントローラの構成を示す概略ブロック図である。
マスタコントローラ３０は、信号受信部３０１、映像信号出力部３０２、触感信号変換部３０３、フィードバック信号出力部３０４、姿勢記憶部３０５、姿勢更新部３０６、指示入力部３０７、認識部３０８、作業モデル記憶部３０９、制御信号算出部３１０、操作信号入力部３１１、操作信号変換部３１２、制御信号送信部３１３、作業判定部３１４、学習部３１５を備える。 FIG. 2 is a schematic block diagram illustrating the configuration of the controller according to the first embodiment.
The master controller 30 includes a signal reception unit 301, a video signal output unit 302, a tactile signal conversion unit 303, a feedback signal output unit 304, a posture storage unit 305, a posture update unit 306, an instruction input unit 307, a recognition unit 308, and a work model storage. A unit 309, a control signal calculation unit 310, an operation signal input unit 311, an operation signal conversion unit 312, a control signal transmission unit 313, a work determination unit 314, and a learning unit 315.

信号受信部３０１は、スレーブコントローラ４０を介して、作業ロボット５０から映像信号、触感信号および姿勢信号を受信する。
映像信号出力部３０２は、受信した映像信号をヘッドマウントディスプレイ２０に出力する。このとき、映像信号出力部３０２は、作業指示に含まれる対象物品Ｉの画像や、認識部３０８による認識結果を映像信号に重畳させてもよい。
触感信号変換部３０３は、受信した触感信号をフィードバック信号に変換する。つまり、触感信号変換部３０３は、作業ロボット５０のマニピュレータ５１が触れた物体の触感を、フィードバックデバイスに再現させるためのフィードバック信号を生成する。触感信号からフィードバック信号への変換は、例えば触感信号を予め求められた関数に入力することで実現することができる。
フィードバック信号出力部３０４は、フィードバック信号を入出力グローブ１０に出力する。 The signal receiving unit 301 receives a video signal, a tactile signal, and a posture signal from the work robot 50 via the slave controller 40.
The video signal output unit 302 outputs the received video signal to the head mounted display 20. At this time, the video signal output unit 302 may superimpose the image of the target article I included in the work instruction and the recognition result by the recognition unit 308 on the video signal.
The tactile signal conversion unit 303 converts the received tactile signal into a feedback signal. That is, the tactile sensation signal conversion unit 303 generates a feedback signal for causing the feedback device to reproduce the tactile sensation of the object touched by the manipulator 51 of the work robot 50. The conversion from the tactile sensation signal to the feedback signal can be realized, for example, by inputting the tactile sensation signal into a previously obtained function.
The feedback signal output unit 304 outputs a feedback signal to the input / output globe 10.

姿勢記憶部３０５は、作業ロボット５０の姿勢を記憶する。作業ロボット５０の姿勢には、各関節の位置、角度、角速度が含まれる。
姿勢更新部３０６は、受信した姿勢信号に基づいて姿勢記憶部３０５が記憶する情報を更新する。 The posture storage unit 305 stores the posture of the work robot 50. The posture of the work robot 50 includes the position, angle, and angular velocity of each joint.
The posture update unit 306 updates information stored in the posture storage unit 305 based on the received posture signal.

指示入力部３０７は、ピッキングシステム等から作業指示の入力を受け付ける。作業指示には、作業対象となる対象物品Ｉの形状を特定可能な情報が含まれる。形状を特定可能な情報の例としては、立体形状を示す三次元形状データ、複数の視点から撮影された二次元画像データ、三次元形状データや二次元画像データから抽出された特徴量情報などが挙げられる。 The instruction input unit 307 receives an input of a work instruction from a picking system or the like. The work instruction includes information that can specify the shape of the target article I that is a work target. Examples of information that can specify the shape include three-dimensional shape data indicating a three-dimensional shape, two-dimensional image data taken from a plurality of viewpoints, feature amount information extracted from three-dimensional shape data and two-dimensional image data, and the like. Can be mentioned.

認識部３０８は、作業指示に基づいて、映像信号に写った対象物品Ｉの位置および姿勢を認識する。認識部３０８は、例えばパターンマッチング法により対象物品Ｉを認識する。 The recognizing unit 308 recognizes the position and orientation of the target article I shown in the video signal based on the work instruction. The recognition unit 308 recognizes the target article I by, for example, a pattern matching method.

作業モデル記憶部３０９は、対象物品Ｉの種類、位置および姿勢、ならびにマニピュレータ５１の姿勢からマニピュレータ５１の操作信号を特定するための作業モデルを記憶する。作業モデルは、学習部３１５による機械学習によって更新される。作業モデルの例としては、ニューラルネットワークモデルやベイジアンネットワークなどが挙げられる。 The work model storage unit 309 stores a work model for specifying an operation signal of the manipulator 51 from the type, position, and posture of the target article I and the posture of the manipulator 51. The work model is updated by machine learning by the learning unit 315. Examples of work models include neural network models and Bayesian networks.

制御信号算出部３１０は、作業モデル記憶部３０９が記憶する作業モデルに対象物品Ｉの種類、位置および姿勢、ならびにマニピュレータ５１の姿勢を入力することで、制御信号（第１の制御信号）を算出する。このとき、制御信号算出部３１０は、制御信号の妥当性を示すスコアを算出する。スコアの例としては、作業モデルの導出過程で算出される制御信号の尤度が挙げられる。本実施形態に係るスコアは値が大きいほど妥当性が高いことを示す。つまり、制御信号算出部３１０は信号生成部およびスコア算出部の一例である。 The control signal calculation unit 310 calculates the control signal (first control signal) by inputting the type, position, and posture of the target article I and the posture of the manipulator 51 into the work model stored in the work model storage unit 309. To do. At this time, the control signal calculation unit 310 calculates a score indicating the validity of the control signal. An example of the score is the likelihood of the control signal calculated in the process of deriving the work model. The score which concerns on this embodiment shows that validity is so high that a value is large. That is, the control signal calculation unit 310 is an example of a signal generation unit and a score calculation unit.

操作信号入力部３１１は、入出力グローブ１０から操作信号（第２の操作信号）の入力を受け付ける。また操作信号入力部３１１は、ヘッドマウントディスプレイ２０から姿勢信号の入力を受け付ける。
操作信号変換部３１２は、操作信号および姿勢信号を制御信号に変換する。つまり、操作信号変換部３１２は、オペレータＯと同じ動作を作業ロボット５０に実行させるための制御信号を生成する。操作信号および姿勢信号から制御信号への変換は、例えば操作信号および姿勢信号を予め求められた関数に入力することで実現することができる。なお、入出力グローブ１０の操作信号は、マニピュレータ５１の制御信号に変換され、ヘッドマウントディスプレイ２０の姿勢信号は、カメラ５２の制御信号に変換される。 The operation signal input unit 311 receives an input of an operation signal (second operation signal) from the input / output glove 10. Further, the operation signal input unit 311 receives an input of an attitude signal from the head mounted display 20.
The operation signal conversion unit 312 converts the operation signal and the attitude signal into a control signal. That is, the operation signal conversion unit 312 generates a control signal for causing the work robot 50 to perform the same operation as the operator O. The conversion from the operation signal and the posture signal to the control signal can be realized, for example, by inputting the operation signal and the posture signal into a function obtained in advance. The operation signal of the input / output glove 10 is converted into a control signal of the manipulator 51, and the attitude signal of the head mounted display 20 is converted into a control signal of the camera 52.

制御信号送信部３１３は、制御信号算出部３１０が生成した制御信号のスコアに基づいて、作業ロボット５０の制御に用いる制御信号を決定する。具体的には、制御信号送信部３１３は、スコアが閾値以上である場合に、制御信号算出部３１０が生成したマニピュレータ５１の制御信号をスレーブコントローラ４０に送信し、スコアが閾値未満である場合に、操作信号変換部３１２が変換したマニピュレータ５１の制御信号をスレーブコントローラ４０に送信する。また制御信号送信部３１３は、スコアに関わらず操作信号変換部３１２が生成したカメラ５２の制御信号をスレーブコントローラ４０に送信する。 The control signal transmission unit 313 determines a control signal used for controlling the work robot 50 based on the score of the control signal generated by the control signal calculation unit 310. Specifically, the control signal transmission unit 313 transmits the control signal of the manipulator 51 generated by the control signal calculation unit 310 to the slave controller 40 when the score is equal to or greater than the threshold value, and when the score is less than the threshold value. Then, the control signal of the manipulator 51 converted by the operation signal conversion unit 312 is transmitted to the slave controller 40. The control signal transmission unit 313 transmits the control signal of the camera 52 generated by the operation signal conversion unit 312 to the slave controller 40 regardless of the score.

作業判定部３１４は、信号受信部３０１が受信した映像信号に基づいて、作業ロボット５０による作業が成功したか否かを判定する。例えば、作業判定部３１４は、対象物品Ｉが目標位置にあり、かつ対象物品Ｉがマニピュレータ５１に把持されていない場合に、作業が成功したと判定する。他方、作業判定部３１４は、対象物品Ｉが目標位置になく、かつ対象物品Ｉがマニピュレータ５１に把持されていない場合に、作業が失敗したと判定する。
学習部３１５は、認識部３０８による認識結果と、作業判定部３１４による判定結果と、作業開始から判定までに出力された制御信号とを用いて作業モデル記憶部３０９が記憶する作業モデルを更新する。 The work determination unit 314 determines whether the work by the work robot 50 is successful based on the video signal received by the signal reception unit 301. For example, the work determination unit 314 determines that the work has been successful when the target article I is at the target position and the target article I is not gripped by the manipulator 51. On the other hand, the work determination unit 314 determines that the work has failed when the target article I is not at the target position and the target article I is not gripped by the manipulator 51.
The learning unit 315 updates the work model stored in the work model storage unit 309 using the recognition result by the recognition unit 308, the determination result by the work determination unit 314, and the control signal output from the start of work to the determination. .

図３は、第１の実施形態に係るマスタコントローラの動作を示す第１のフローチャートである。
ピッキングシステムが対象物を作業スペースに運搬すると、ピッキングシステムは、マスタコントローラ３０に作業指示を出力する。
マスタコントローラ３０の指示入力部３０７は、ピッキングシステムから作業指示の入力を受け付ける（ステップＳ１）。次に、信号受信部３０１は、スレーブコントローラ４０を介して作業ロボット５０から、カメラ５２が撮像した映像信号、触覚センサが検出した触感信号、および姿勢センサが検出した姿勢信号を受信する（ステップＳ２）。 FIG. 3 is a first flowchart showing the operation of the master controller according to the first embodiment.
When the picking system transports the object to the work space, the picking system outputs a work instruction to the master controller 30.
The instruction input unit 307 of the master controller 30 receives an input of a work instruction from the picking system (step S1). Next, the signal receiving unit 301 receives the video signal captured by the camera 52, the tactile signal detected by the touch sensor, and the posture signal detected by the posture sensor from the work robot 50 via the slave controller 40 (step S2). ).

映像信号出力部３０２は、信号受信部３０１が受信した映像信号をヘッドマウントディスプレイ２０に出力する（ステップＳ３）。ヘッドマウントディスプレイ２０は、映像信号が入力されると当該映像信号に基づいて画像をオペレータＯに提示する。これにより、オペレータＯは、作業ロボット５０のマニピュレータ５１と対象物品Ｉとの位置関係を確認することができる。 The video signal output unit 302 outputs the video signal received by the signal receiving unit 301 to the head mounted display 20 (step S3). When the video signal is input, the head mounted display 20 presents an image to the operator O based on the video signal. Thereby, the operator O can confirm the positional relationship between the manipulator 51 of the work robot 50 and the target article I.

姿勢更新部３０６は、受信した姿勢信号に基づいて姿勢記憶部３０５が記憶する情報を更新する（ステップＳ４）。また触感信号変換部３０３は、受信した触感信号をフィードバック信号に変換する（ステップＳ５）そして、フィードバック信号出力部３０４は、フィードバック信号を入出力グローブ１０に出力する（ステップＳ６）。これにより、オペレータＯは、マニピュレータ５１が触れるものの触感を得ることができる。 The posture update unit 306 updates information stored in the posture storage unit 305 based on the received posture signal (step S4). Further, the tactile sensation signal conversion unit 303 converts the received tactile sensation signal into a feedback signal (step S5), and the feedback signal output unit 304 outputs the feedback signal to the input / output globe 10 (step S6). Thereby, the operator O can obtain the tactile sensation of what the manipulator 51 touches.

次に、認識部３０８は、作業指示に含まれる対象物品Ｉの情報に基づいて、映像信号に写った対象物品Ｉの位置および姿勢を認識する（ステップＳ７）。制御信号算出部３１０は、作業モデル記憶部３０９が記憶する作業モデルに、対象物品Ｉの種類、位置および姿勢、ならびにマニピュレータ５１の姿勢を入力することで、マニピュレータ５１の制御信号と、当該制御信号の妥当性を示すスコアとを算出する（ステップＳ８）。対象物品Ｉの種類は、作業指示に含まれる。また対象物品Ｉの位置および姿勢は、認識部３０８によって認識される。またマニピュレータ５１の姿勢は、姿勢記憶部３０５に記憶される。当該制御信号は、マニピュレータ５１を単位時間の間動作させるための信号である。 Next, the recognizing unit 308 recognizes the position and orientation of the target article I shown in the video signal based on the information about the target article I included in the work instruction (step S7). The control signal calculation unit 310 inputs the type, position, and posture of the target article I and the posture of the manipulator 51 into the work model stored in the work model storage unit 309, so that the control signal of the manipulator 51 and the control signal A score indicating the validity of is calculated (step S8). The type of the target article I is included in the work instruction. The position and orientation of the target article I are recognized by the recognition unit 308. The posture of the manipulator 51 is stored in the posture storage unit 305. The control signal is a signal for operating the manipulator 51 for a unit time.

制御信号送信部３１３は、制御信号算出部３１０が生成した制御信号のスコアが閾値以上であるか否かを判定する（ステップＳ９）。スコアが閾値以上である場合（ステップＳ９：ＹＥＳ）、制御信号送信部３１３は、ステップＳ８で算出されたマニピュレータ５１の制御信号を、スレーブコントローラ４０に送信する（ステップＳ１０）。これにより、スレーブコントローラ４０は、作業モデルに基づいて生成された制御信号に従ってマニピュレータ５１を動作させる。 The control signal transmission unit 313 determines whether or not the score of the control signal generated by the control signal calculation unit 310 is equal to or greater than a threshold value (step S9). When the score is equal to or greater than the threshold (step S9: YES), the control signal transmission unit 313 transmits the control signal for the manipulator 51 calculated in step S8 to the slave controller 40 (step S10). Thereby, the slave controller 40 operates the manipulator 51 according to the control signal generated based on the work model.

他方、スコアが閾値未満である場合（ステップＳ９：ＮＯ）、制御信号送信部３１３は、オペレータＯによる操作に基づく制御信号をスレーブコントローラ４０に送信することを決定する。このとき、マスタコントローラ３０は、ヘッドマウントディスプレイ２０に入出力グローブ１０の操作の指示を表示させてもよい。オペレータＯによって入出力グローブ１０が操作されると、操作信号入力部３１１は、入出力グローブ１０から操作信号の入力を受け付ける（ステップＳ１１）。操作信号変換部３１２は、操作信号をマニピュレータ５１の制御信号に変換する（ステップＳ１２）。そして、制御信号送信部３１３は、ステップＳ１２で変換されたマニピュレータ５１の制御信号を、スレーブコントローラ４０に送信する（ステップＳ１３）。これにより、スレーブコントローラ４０は、オペレータＯの操作に基づいて生成された制御信号に従ってマニピュレータ５１を動作させる。 On the other hand, when the score is less than the threshold value (step S9: NO), the control signal transmission unit 313 determines to transmit a control signal based on an operation by the operator O to the slave controller 40. At this time, the master controller 30 may cause the head mounted display 20 to display an instruction for operating the input / output glove 10. When the input / output glove 10 is operated by the operator O, the operation signal input unit 311 receives an input of an operation signal from the input / output glove 10 (step S11). The operation signal conversion unit 312 converts the operation signal into a control signal for the manipulator 51 (step S12). And the control signal transmission part 313 transmits the control signal of the manipulator 51 converted by step S12 to the slave controller 40 (step S13). Thereby, the slave controller 40 operates the manipulator 51 according to the control signal generated based on the operation of the operator O.

マニピュレータ５１の制御信号を送信すると、操作信号入力部３１１は、ヘッドマウントディスプレイ２０から姿勢信号の入力を受け付ける（ステップＳ１４）。操作信号変換部３１２は、姿勢信号をカメラ５２の制御信号に変換する（ステップＳ１５）。そして、制御信号送信部３１３は、スコアに関わらず操作信号変換部３１２が生成したカメラ５２の制御信号を作業ロボット５０に送信する（ステップＳ１６）。これにより、スレーブコントローラ４０は、オペレータＯの視線の動きとカメラ５２の視線の動きが一致するように、カメラ５２の姿勢を制御する。 When the control signal of the manipulator 51 is transmitted, the operation signal input unit 311 receives the input of the posture signal from the head mounted display 20 (step S14). The operation signal converter 312 converts the posture signal into a control signal for the camera 52 (step S15). The control signal transmission unit 313 transmits the control signal for the camera 52 generated by the operation signal conversion unit 312 to the work robot 50 regardless of the score (step S16). Thereby, the slave controller 40 controls the posture of the camera 52 so that the movement of the line of sight of the operator O matches the movement of the line of sight of the camera 52.

図４は、第１の実施形態に係るマスタコントローラの動作を示す第２のフローチャートである。
作業判定部３１４は、信号受信部３０１が受信した映像信号に基づいて、対象物品Ｉがマニピュレータ５１に把持されているか否かを判定する（ステップＳ１７）。対象物品Ｉがマニピュレータ５１に把持されている場合（ステップＳ１７：ＹＥＳ）、作業判定部３１４は、作業中であると判定し、ステップＳ２に処理を戻す。他方、対象物品Ｉがマニピュレータ５１に把持されていない場合（ステップＳ１７：ＮＯ）、作業判定部３１４は、信号受信部３０１が受信した映像信号に基づいて、対象物品Ｉが目標位置にあるか否かを判定する（ステップＳ１８）。対象物品Ｉが目標位置にある場合（ステップＳ１８：ＹＥＳ）、作業判定部３１４は、作業が成功したと判定する（ステップＳ１９）。他方、対象物品Ｉが目標位置にない場合（ステップＳ１８：ＮＯ）、作業判定部３１４は、作業が失敗したと判定する（ステップＳ２０）。 FIG. 4 is a second flowchart showing the operation of the master controller according to the first embodiment.
The work determination unit 314 determines whether the target article I is gripped by the manipulator 51 based on the video signal received by the signal reception unit 301 (step S17). When the target article I is held by the manipulator 51 (step S17: YES), the work determination unit 314 determines that the work is being performed, and returns the process to step S2. On the other hand, when the target article I is not gripped by the manipulator 51 (step S17: NO), the work determination unit 314 determines whether the target article I is at the target position based on the video signal received by the signal reception unit 301. Is determined (step S18). When the target article I is at the target position (step S18: YES), the work determination unit 314 determines that the work has been successful (step S19). On the other hand, when the target article I is not at the target position (step S18: NO), the work determination unit 314 determines that the work has failed (step S20).

そして、学習部３１５は、認識部３０８による認識結果と、作業判定部３１４による判定結果と、作業開始から判定までに出力された制御信号とを用いて作業モデル記憶部３０９が記憶する作業モデルを更新する（ステップＳ２１）。 Then, the learning unit 315 uses the recognition result by the recognition unit 308, the determination result by the work determination unit 314, and the control signal output from the start of the work to the determination to store the work model stored in the work model storage unit 309. Update (step S21).

このように、第１の実施形態によれば、マスタコントローラ３０は、マニピュレータ５１の操作の履歴に基づいてマニピュレータ５１の操作信号とその妥当性を示すスコアを算出し、当該スコアに基づいて、入出力グローブ１０の操作に従った操作信号を出力するか、算出した操作信号を出力するかを決定する。これにより、マスタコントローラ３０は、操作の履歴から生成された操作信号によってオペレータＯごとの操作のばらつきを抑制しつつ、学習が不十分な作業についてはオペレータＯによる操作によりマニピュレータ５１を動作させることで、作業の精度を保つことができる。 Thus, according to the first embodiment, the master controller 30 calculates the operation signal of the manipulator 51 and a score indicating its validity based on the operation history of the manipulator 51, and inputs the input based on the score. Whether to output an operation signal according to the operation of the output glove 10 or to output the calculated operation signal is determined. Thereby, the master controller 30 operates the manipulator 51 by the operation of the operator O for an operation that is insufficiently learned while suppressing the variation of the operation for each operator O by the operation signal generated from the operation history. , Work accuracy can be kept.

《第２の実施形態》
第１の実施形態に係る作業システム１は、作業ロボット５０の単位制御時間ごとに、作業モデルから算出された制御信号と入出力グローブ１０の操作に基づく制御信号との何れを採用するかを決定する。これに対し、第２の実施形態に係る作業システム１は、スコアが閾値未満になるまでは作業モデルから算出された制御信号を採用し、スコアが閾値未満になった以降は、入出力グローブ１０の操作に基づく制御信号を採用する。 << Second Embodiment >>
The work system 1 according to the first embodiment determines which of the control signal calculated from the work model and the control signal based on the operation of the input / output glove 10 is to be adopted for each unit control time of the work robot 50. To do. On the other hand, the work system 1 according to the second embodiment employs the control signal calculated from the work model until the score becomes less than the threshold, and after the score becomes less than the threshold, the input / output glove 10 is used. A control signal based on the operation is adopted.

具体的には、第１の実施形態に係る制御信号送信部３１３は、ステップＳ９において、ステップＳ８で算出したスコアが閾値以上であるか否かを判定したが、第２の実施形態に係る制御信号送信部３１３は、以前に算出したスコアが全て閾値以上であるか否かを判定する。これにより、制御信号送信部３１３は、スコアが閾値未満になるまでは作業モデルから算出された制御信号を採用し、スコアが閾値未満になった以降は、入出力グローブ１０の操作に基づく制御信号を採用することができる。これにより、第２の実施形態に係る作業システム１は、作業の大まかな工程を自動制御により実現し、妥当性の低い最終工程だけをオペレータＯの操作に基づいて調整することができる。 Specifically, the control signal transmission unit 313 according to the first embodiment determines whether or not the score calculated in step S8 is equal to or greater than a threshold value in step S9, but the control according to the second embodiment. The signal transmission unit 313 determines whether all previously calculated scores are equal to or greater than a threshold value. Thereby, the control signal transmission unit 313 adopts the control signal calculated from the work model until the score becomes less than the threshold, and after the score becomes less than the threshold, the control signal based on the operation of the input / output glove 10 Can be adopted. Thereby, the work system 1 according to the second embodiment can realize a rough process of the work by automatic control, and can adjust only the final process with low validity based on the operation of the operator O.

《第３の実施形態》
第１、第２の実施形態に係る作業システム１は、マニピュレータ５１の全ての関節を作業モデルから算出された制御信号によって制御するか、入出力グローブ１０の操作に基づく制御信号によって制御するかを決定する。これに対し、第３の実施形態に係る作業システム１は、マニピュレータ５１の複数の関節の中から、作業モデルから算出された制御信号によって制御する関節と、入出力グローブ１０の操作に基づく制御信号によって制御する関節とを決定する。 << Third Embodiment >>
The work system 1 according to the first and second embodiments determines whether all joints of the manipulator 51 are controlled by a control signal calculated from the work model or by a control signal based on an operation of the input / output glove 10. decide. On the other hand, the work system 1 according to the third embodiment includes a joint controlled by a control signal calculated from the work model among a plurality of joints of the manipulator 51 and a control signal based on an operation of the input / output glove 10. To determine the joint to be controlled.

図５は、第３の実施形態に係るマスタコントローラの構成を示す概略ブロック図である。
第３の実施形態に係るマスタコントローラ３０は、第１の実施形態の構成に加え、さらに関節特定部３１６を備える。関節特定部３１６は、マニピュレータ５１が備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられるものを、基準関節として特定する。例えば、制御信号算出部３１０が、各関節の制御信号を生成した場合に、肩に相当する関節のスコアが０．８、肘に相当する関節のスコアが０．７、手首に相当する関節のスコアが０．６、指の第三関節に相当する関節のスコアが０．４、指の第二関節に相当する関節のスコアが０．３、指の第一関節に相当する関節のスコアが０．１であって、閾値が０．５である場合、関節特定部３１６は、指の第三関節に相当する関節を基準関節とする。 FIG. 5 is a schematic block diagram showing the configuration of the master controller according to the third embodiment.
The master controller 30 according to the third embodiment further includes a joint specifying unit 316 in addition to the configuration of the first embodiment. The joint specifying unit 316 specifies, as a reference joint, a joint provided with the control signal score that is less than the threshold and provided on the most proximal side among the plurality of joints included in the manipulator 51. For example, when the control signal calculation unit 310 generates a control signal for each joint, the joint score corresponding to the shoulder is 0.8, the joint score corresponding to the elbow is 0.7, and the joint corresponding to the wrist is The score is 0.6, the score of the joint corresponding to the third joint of the finger is 0.4, the score of the joint corresponding to the second joint of the finger is 0.3, and the score of the joint corresponding to the first joint of the finger is When 0.1 and the threshold value is 0.5, the joint specifying unit 316 sets a joint corresponding to the third joint of the finger as a reference joint.

第３の実施形態に係る制御信号送信部３１３は、基準間接より基端側に設けられた関節に、制御信号算出部３１０が算出した操作信号を出力し、基準関節および基準間接より先端側に設けられた関節に、操作信号変換部３１２が変換した操作信号を出力する。上記例に倣うと、制御信号送信部３１３は、肩に相当する関節、肘に相当する関節、および手首に相当する関節に、制御信号算出部３１０が算出した操作信号を出力する。また制御信号送信部３１３は、指の第三関節に相当する関節、指の第二関節に相当する関節、指の第一関節に相当する関節に、操作信号変換部３１２が変換した操作信号を出力する。 The control signal transmission unit 313 according to the third embodiment outputs the operation signal calculated by the control signal calculation unit 310 to the joint provided on the proximal side from the reference indirect, and on the distal side from the reference joint and the reference indirect. The operation signal converted by the operation signal conversion unit 312 is output to the provided joint. According to the above example, the control signal transmission unit 313 outputs the operation signal calculated by the control signal calculation unit 310 to the joint corresponding to the shoulder, the joint corresponding to the elbow, and the joint corresponding to the wrist. In addition, the control signal transmission unit 313 outputs the operation signal converted by the operation signal conversion unit 312 to the joint corresponding to the third joint of the finger, the joint corresponding to the second joint of the finger, and the joint corresponding to the first joint of the finger. Output.

このように、第３の実施形態に係る作業システム１は、マニピュレータ５１の基端側の動作を自動制御し、学習が不十分な先端部分についてはオペレータＯによる操作によりマニピュレータ５１を動作させる。これにより、作業システム１は、オペレータＯごとの操作のばらつきを抑制しつつ、作業の精度を保つことができる。 As described above, the work system 1 according to the third embodiment automatically controls the operation on the proximal end side of the manipulator 51 and operates the manipulator 51 by the operation of the operator O for the distal end portion where learning is insufficient. As a result, the work system 1 can maintain work accuracy while suppressing variations in operation for each operator O.

以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態においては、自動制御するか手動制御とするかを判定する閾値が固定値であるが、これに限られない。例えば、他の実施形態においては、当該閾値がオペレータＯの習熟度に応じて異なってもよい。例えば、オペレータＯが作業に習熟しているほど、閾値を高くすることで、習熟度の高いオペレータＯの手動制御の割合を増加させることができる。これにより、習熟度の高いオペレータＯの操作を適切に作業モデルに学習させることができる。また、他の実施形態においては、オペレータＯが当該閾値を自由に変更してもよい。また、他の実施形態においては、対象物品Ｉの種類に応じて閾値を異ならせてもよい。 As described above, the embodiment has been described in detail with reference to the drawings. However, the specific configuration is not limited to that described above, and various design changes and the like can be made.
For example, in the embodiment described above, the threshold value for determining whether to perform automatic control or manual control is a fixed value, but is not limited thereto. For example, in another embodiment, the threshold value may be different depending on the proficiency level of the operator O. For example, the ratio of the manual control of the operator O having a high level of proficiency can be increased by increasing the threshold as the operator O becomes more proficient in the work. Thereby, it is possible to cause the work model to appropriately learn the operation of the operator O having a high level of proficiency. In other embodiments, the operator O may freely change the threshold value. In other embodiments, the threshold may be varied according to the type of the target article I.

また、上述の実施形態では、マスタコントローラ３０がオペレータＯの近傍に設けられるが、これに限られない。例えば、他の実施形態では、ネットワークＮ上のサーバ装置において、上述の制御がなされてもよいし、マスタコントローラ３０とスレーブコントローラ４０の位置関係が入れ替わってもよい。つまり、他の実施形態においては、オペレータＯの近傍に設けられたスレーブコントローラ４０が、信号の転送のみを行い、作業ロボット５０の近傍に設けられたマスタコントローラ３０が、上記処理を行ってもよい。 In the above-described embodiment, the master controller 30 is provided in the vicinity of the operator O, but is not limited thereto. For example, in another embodiment, the above-described control may be performed in the server device on the network N, and the positional relationship between the master controller 30 and the slave controller 40 may be switched. That is, in another embodiment, the slave controller 40 provided in the vicinity of the operator O may perform only signal transfer, and the master controller 30 provided in the vicinity of the work robot 50 may perform the above processing. .

また、第３の実施形態では、マスタコントローラ３０がスコアに基づいて複数の関節のうち基準関節より基端側の関節を自動制御し、基準関節およびこれより先端側の関節を手動制御するが、これに限られない。例えば、他の実施形態においては、マスタコントローラ３０は、複数の関節のうち、スコアが閾値以上の関節を自動制御し、スコアが閾値未満の関節を手動制御してもよい。 In the third embodiment, the master controller 30 automatically controls the joint on the proximal end side from the reference joint among the plurality of joints based on the score, and manually controls the reference joint and the joint on the distal end side from the reference joint. It is not limited to this. For example, in another embodiment, the master controller 30 may automatically control a joint having a score greater than or equal to a threshold value and manually control a joint having a score less than the threshold value among the plurality of joints.

図６は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、ＣＰＵ９１、メインメモリ９２、ストレージ９３、インタフェース９４を備える。
上述のマスタコントローラ３０は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。ＣＰＵ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。 FIG. 6 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.
The computer 90 includes a CPU 91, a main memory 92, a storage 93, and an interface 94.
The master controller 30 described above is mounted on the computer 90. The operation of each processing unit described above is stored in the storage 93 in the form of a program. The CPU 91 reads out the program from the storage 93, expands it in the main memory 92, and executes the above processing according to the program. Further, the CPU 91 secures a storage area corresponding to each of the above-described storage units in the main memory 92 according to the program.

ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。 Examples of the storage 93 include HDD (Hard Disk Drive), SSD (Solid State Drive), magnetic disk, magneto-optical disk, CD-ROM (Compact Disc Read Only Memory), DVD-ROM (Digital Versatile Disc Read Only Memory). And semiconductor memory. The storage 93 may be an internal medium directly connected to the bus of the computer 90, or may be an external medium connected to the computer 90 via an interface 94 or a communication line. When this program is distributed to the computer 90 via a communication line, the computer 90 that has received the distribution may develop the program in the main memory 92 and execute the above processing. In at least one embodiment, the storage 93 is a tangible storage medium that is not temporary.

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the program may be for realizing a part of the functions described above. Further, the program may be a so-called difference file (difference program) that realizes the above-described function in combination with another program already stored in the storage 93.

１作業システム
１０入出力グローブ
２０ヘッドマウントディスプレイ
３０マスタコントローラ
４０スレーブコントローラ
５０作業ロボット
５１マニピュレータ
５２カメラ
３０１信号受信部
３０２映像信号出力部
３０３触感信号変換部
３０４フィードバック信号出力部
３０５姿勢記憶部
３０６姿勢更新部
３０７指示入力部
３０８認識部
３０９作業モデル記憶部
３１０制御信号算出部
３１１操作信号入力部
３１２操作信号変換部
３１３制御信号送信部
３１４作業判定部
３１５学習部
３１６関節特定部 DESCRIPTION OF SYMBOLS 1 Work system 10 Input / output glove 20 Head mounted display 30 Master controller 40 Slave controller 50 Work robot 51 Manipulator 52 Camera 301 Signal receiving unit 302 Video signal output unit 303 Tactile signal conversion unit 304 Feedback signal output unit 305 Posture storage unit 306 Posture update Unit 307 Instruction input unit 308 Recognition unit 309 Work model storage unit 310 Control signal calculation unit 311 Operation signal input unit 312 Operation signal conversion unit 313 Control signal transmission unit 314 Work determination unit 315 Learning unit 316 Joint identification unit

Claims

A manipulator control device that outputs an operation signal to a manipulator based on an operation of an input device,
A signal generation unit that generates a first operation signal of the manipulator based on an operation history of the manipulator;
A score calculation unit for calculating a score indicating validity of the first operation signal;
A control device comprising: a signal output unit that determines whether to output a second operation signal according to an operation of the input device or to output the first operation signal based on the score.

A recognition unit for recognizing an object to be worked by the manipulator;
Based on the object recognized by the recognition unit and the operation history of the input device when the manipulator performs the operation on the object, the first object is determined from the object and the position of the manipulator. A learning unit that updates a model for obtaining an operation signal, and
The signal generation unit generates the first operation signal based on the model,
The control device according to claim 1, wherein the score calculation unit calculates the score based on the model.

The signal output unit outputs the first operation signal until the score related to the first operation signal generated every predetermined time is less than a threshold, and after the score becomes less than the threshold The control device according to claim 1, wherein the second operation signal is output.

The manipulator includes a plurality of joints,
The signal generation unit generates a first operation signal for operating each of the plurality of joints,
The control device according to any one of claims 1 to 3, wherein the signal output unit outputs the first operation signal to a joint having the score equal to or greater than the threshold among the plurality of joints.

A joint specifying unit that specifies a reference joint that is provided on the most proximal side among joints having a score less than a threshold;
The signal output unit outputs the first operation signal to a joint provided on a proximal side from the reference indirect among the plurality of joints, and is provided on a distal side from the reference joint and the reference indirect. The control device according to claim 4, wherein the second operation signal is output to the joint.

A manipulator that is driven based on an operation signal;
An input device for accepting an operation input by a user;
A work system comprising: the control device according to any one of claims 1 to 5.

A method for controlling a manipulator,
Generating a first operation signal of the manipulator based on an operation history of the manipulator;
Calculating a score indicating the validity of the first operation signal;
Determining whether to output a second operation signal according to an operation of an input device that accepts an operation input by a user or to output the first operation signal based on the score.

To the computer that controls the manipulator,
Generating a first operation signal of the manipulator based on an operation history of the manipulator;
Calculating a score indicating the validity of the first operation signal;
Determining whether to output a second operation signal according to an operation of an input device that accepts an input of an operation by a user based on the score, or to output the first operation signal. program.