JP2023018765A - Anomaly Detection System for Detecting Abnormality in Robot, Method for Detecting Abnormality in Robot, and Computer Program - Google Patents
Anomaly Detection System for Detecting Abnormality in Robot, Method for Detecting Abnormality in Robot, and Computer Program Download PDFInfo
- Publication number
- JP2023018765A JP2023018765A JP2021123013A JP2021123013A JP2023018765A JP 2023018765 A JP2023018765 A JP 2023018765A JP 2021123013 A JP2021123013 A JP 2021123013A JP 2021123013 A JP2021123013 A JP 2021123013A JP 2023018765 A JP2023018765 A JP 2023018765A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- score
- general
- anomaly
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 118
- 230000005856 abnormality Effects 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims description 39
- 238000004590 computer program Methods 0.000 title claims description 12
- 238000012937 correction Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000012636 effector Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】ロボットの出荷直後や動作変更後のタイミングにおいても異常を精度よく検知できる技術を提供する。【解決手段】本開示の異常検知システムは、ロボットの状態を表す状態入力を取得する状態入力取得部と、状態入力を受けて、異常の程度を示す異常スコアを算出する異常スコア算出部と、異常スコアを閾値と比較することによって、異常の発生の有無を判定する判定部と、を備える。異常スコア算出部は、ロボットの使用環境に依存せずに、異常の程度を示す汎用スコアを算出する汎用型異常検知モデルと、ロボットの使用環境に特化して、汎用スコアを補正するための補正値を算出する特化型異常検知モデルと、汎用スコアを補正値で補正することによって、異常スコアを算出する補正部と、を含む。【選択図】図3Kind Code: A1 A technology capable of accurately detecting an abnormality immediately after shipment of a robot or after a change in operation is provided. An anomaly detection system of the present disclosure includes a state input acquisition unit that acquires a state input representing a state of a robot; an anomaly score calculation unit that receives the state input and calculates an anomaly score that indicates the degree of an anomaly; a determination unit that determines whether or not an abnormality has occurred by comparing the abnormality score with a threshold. The anomaly score calculation unit consists of a general-purpose anomaly detection model that calculates a general-purpose score that indicates the degree of anomaly independently of the robot's usage environment, and a correction that corrects the general-purpose score by specializing in the robot's usage environment. a specialized anomaly detection model that calculates a value; and a correction unit that calculates an anomaly score by correcting the general score with a correction value. [Selection drawing] Fig. 3
Description
本開示は、ロボットの異常を検知する異常検知システム、ロボットの異常を検知する方法、及び、コンピュータープログラムに関する。 The present disclosure relates to an anomaly detection system for detecting an anomaly in a robot, a method for detecting an anomaly in a robot, and a computer program.
特許文献1には、故障条件を学習する機械学習モデルを利用した故障予知システムが開示されている。この故障予知システムは、産業用ロボットを動作させたときのデータを使用して、故障条件を学習する。
しかしながら、上記従来技術では、故障予知システムが十分な精度を発揮するために、出荷直後やロボット動作変更後のタイミングで、機械学習モデルが十分に学習するまで学習サイクルを回す必要があり、ユーザーへの負担が大きくなってしまうという問題があった。 However, in the above conventional technology, in order for the failure prediction system to exhibit sufficient accuracy, it is necessary to repeat the learning cycle until the machine learning model has learned sufficiently immediately after shipment or after changing the robot operation. There was a problem that the burden on the
本開示の第1の形態によれば、ロボットの異常を検知する異常検知システムが提供される。この異常検知システムは、前記ロボットの状態を表す状態入力を取得する状態入力取得部と、前記状態入力を受けて、前記異常の程度を示す異常スコアを算出する異常スコア算出部と、前記異常スコアを閾値と比較することによって、前記異常の発生の有無を判定する判定部と、を備える。前記異常スコア算出部は、前記ロボットの使用環境に依存せずに、前記異常の程度を示す汎用スコアを算出する汎用型異常検知モデルと、前記ロボットの前記使用環境に特化して、前記汎用スコアを補正するための補正値を算出する特化型異常検知モデルと、前記汎用スコアを前記補正値で補正することによって、前記異常スコアを算出する補正部と、を含む。 A first aspect of the present disclosure provides an anomaly detection system that detects an anomaly in a robot. This anomaly detection system includes a state input acquisition unit that acquires a state input representing the state of the robot, an anomaly score calculation unit that receives the state input and calculates an anomaly score indicating the degree of the anomaly, and the anomaly score. with a threshold to determine whether or not the abnormality has occurred. The anomaly score calculation unit includes a general-purpose anomaly detection model that calculates a general-purpose score indicating the extent of the anomaly independently of the environment in which the robot is used, and a general-purpose score that is specific to the environment in which the robot is used. and a correction unit that calculates the abnormality score by correcting the general-purpose score with the correction value.
本開示の第2の形態によれば、ロボットの異常を検知する方法が提供される。この方法は、(a)前記ロボットの状態を表す状態入力を取得する工程と、(b)前記状態入力を受けて、前記異常の程度を示す異常スコアを算出する工程と、(c)前記異常スコアを閾値と比較することによって、前記異常の発生の有無を判定する工程と、を含む。前記工程(c)は、(c1)前記ロボットの使用環境に依存せずに、前記異常の程度を示す汎用スコアを算出する工程と、(c2)前記ロボットの前記使用環境に特化して、前記汎用スコアを補正するための補正値を算出する工程と、(c2)前記汎用スコアを前記補正値で補正することによって、前記異常スコアを算出する工程と、を含む。 According to a second aspect of the present disclosure, a method of detecting an abnormality in a robot is provided. This method comprises the steps of: (a) obtaining a state input representing the state of the robot; (b) receiving the state input and calculating an abnormality score indicating the extent of the abnormality; and determining whether or not the abnormality occurs by comparing the score with a threshold. The step (c) includes (c1) calculating a general score indicating the degree of abnormality without depending on the usage environment of the robot; and (c2) calculating the abnormality score by correcting the general score with the correction value.
本開示の第3の形態によれば、ロボットの異常を検知する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、(a)前記ロボットの状態を表す状態入力を取得する処理と、(b)前記状態入力を受けて、前記異常の程度を示す異常スコアを算出する処理と、(c)前記異常スコアを閾値と比較することによって、前記異常の発生の有無を判定する処理と、を前記プロセッサーに実行させるコンピュータープログラムである。前記処理(c)は、(c1)前記ロボットの使用環境に依存せずに、前記異常の程度を示す汎用スコアを算出する処理と、(c2)前記ロボットの前記使用環境に特化して、前記汎用スコアを補正するための補正値を算出する処理と、(c2)前記汎用スコアを前記補正値で補正することによって、前記異常スコアを算出する処理と、を含む。 According to a third aspect of the present disclosure, there is provided a computer program that causes a processor to execute processing for detecting an abnormality in a robot. This computer program includes (a) a process of acquiring a state input representing the state of the robot, (b) a process of receiving the state input and calculating an abnormality score indicating the degree of the abnormality, and (c) the and determining whether or not the abnormality has occurred by comparing the abnormality score with a threshold value. The process (c) includes (c1) a process of calculating a general score indicating the degree of abnormality without depending on the usage environment of the robot; and (c2) calculating the abnormality score by correcting the general score with the correction value.
図1は、実施形態におけるロボットシステムの一例を示す説明図である。このロボットシステムは、ロボット100と、ロボット100を制御する制御装置200と、情報処理装置300と、を備える。ロボット100は、架台500上に設置されている。情報処理装置300は、例えばパーソナルコンピューターである。
FIG. 1 is an explanatory diagram showing an example of a robot system according to an embodiment. This robot system includes a
ロボット100は、基台110と、ロボットアーム120と、を備えている。ロボットアーム120の先端部には、エンドエフェクター150が装着されている。また、ロボットアーム120の手先には、振動センサー410と力センサー420が設置されている。本開示において、「ロボットアーム120の手先」とは、ロボットアーム120の先端からエンドエフェクター150までの部分を意味する。
The
ロボットアーム120は、4つの関節J1~J4で順次接続されている。「関節(joint)」を「軸(axis)」とも呼ぶ。ロボットアーム120の先端部の近傍には、ロボット100の制御点としてのTCP(Tool Center Point)が設定されている。「制御点」とは、ロボットアーム120を制御する基準となる点である。TCPは、任意の位置に設定することが可能である。ロボット100の制御は、このTCPの位置と姿勢を制御することを意味する。本実施形態では、ロボットアーム120が4つの関節J1~J4を有する4軸ロボットを例示しているが、1個以上の関節を有する任意のアーム機構を有するロボットを用いることが可能である。また、本実施形態のロボット100は、水平多関節ロボットであるが、垂直多関節ロボットを使用してもよい。
The
振動センサー410は、ロボット100の振動を検出可能なセンサーである。一般に、振動は、位置と速度と加速度のいずれかの時系列的な変化を測定することによって検出することができる。振動センサー410としては、例えば、位置センサーや、ジャイロセンサー、加速度センサー、慣性計測装置(Inertial Measurement Unit)などを使用することができる。なお、ロボットアーム120の手先以外の位置に振動センサー410を設置してもよい。例えば、架台500の振動が最適化処理の制約条件となる場合には、架台500に振動センサーを設置してもよい。なお、振動を異常の一種として検出しない場合には、振動センサー410は省略可能である。
力センサー420は、エンドエフェクター150に掛かる力を検出するセンサーである。力センサー420としては、単軸方向の力を検出可能なロードセルや、複数の軸方向の力成分を検出可能な力覚センサーやトルクセンサーを利用可能である。本実施形態では、力センサー420として、6軸の力覚センサーを用いている。6軸の力覚センサーは、固有のセンサー座標系において互いに直交する3個の検出軸に平行な力の大きさと、3個の検出軸まわりのトルクの大きさとを検出する。なお、力センサー420は、ロボットアーム120の手先以外の位置に設けるようにしてもよく、例えば、関節J1~J4のうちの1つ以上の関節に設けるようにしてもよい。
The
本実施形態において、ロボット100は、第1ワークWK1を第2ワークWK2の孔HLに嵌め込むことによって、2つのワークWK1,WK2を組み立てる作業を実行する。この作業では、力センサー420で検出される力を用いた力制御が実行される。なお、力制御を利用しない場合には、力センサー420は省略可能である。この作業は、ロボット100が工場などの特定の使用環境に設置された状態で繰り返し実行される特定作業である。後述するように、本実施形態の異常検知システムは、ロボット100がこの特定作業を実行する際に、ロボット100の異常の程度を示す異常スコアを正しく算出するように構成される。特定作業としては、これ以外の種々の作業を実行することが可能である。
In this embodiment, the
図2は、情報処理装置300の機能を示すブロック図である。情報処理装置300は、プロセッサー310と、メモリー320と、インターフェイス回路330と、インターフェイス回路330に接続された入力デバイス340及び表示部350と、を有している。インターフェイス回路330には、更に、制御装置200が接続されている。ロボット100のセンサー類(sensors)400の計測結果は、制御装置200を介して情報処理装置300に供給される。
FIG. 2 is a block diagram showing functions of the
センサー類400は、図1で説明した振動センサー410及び力センサー420の他に、ロボット100の各関節に設けられたモーターの電流を測定する電流センサー430と、各関節の動作位置を検出する関節エンコーダー440とを含んでいる。センサー類400の少なくとも一部は、ロボット100の状態を表す状態入力を検出するために利用することができる。
The
プロセッサー310は、ロボット100の異常を検知する異常検知部600としての機能を有する。異常検知部600の機能は、メモリー320に格納されたコンピュータープログラムをプロセッサー310が実行することによって実現される。但し、異常検知部600の機能の一部又は全部をハードウェア回路で実現してもよい。
The
メモリー320には、異常スコア履歴AHと、閾値履歴THと、ロボット制御プログラムRPが格納される。異常スコア履歴AHは、異常検知部600で算出された異常スコアの履歴である。閾値履歴THは、異常検知部600で異常スコアに応じて異常の有無を判定する際に使用された閾値の履歴である。ロボット制御プログラムRPは、ロボット100を動作させる複数の命令で構成される。
The
図3は、異常検知部600の内部構成を示すブロック図である。異常検知部600は、状態入力Siを取得する状態入力取得部610と、異常スコアScを算出する異常スコア算出部620と、異常スコアScと閾値Thとの比較を行って異常か否かを判定する判定部630と、閾値Thを決定する閾値決定部640と、異常スコア履歴SHや閾値履歴THなどの履歴をメモリー320に登録する履歴登録部650と、異常スコア算出部620の学習を実行する学習実行部660と、を含んでいる。
FIG. 3 is a block diagram showing the internal configuration of the
異常スコア算出部620は、状態入力Siを受けて、異常の程度を示す異常スコアScを算出する機能を有する。ロボット100の異常としては、各関節の減速機やモーター、タイミングベルト等の部品の経年劣化や破損により発生する過剰なトルクや振動、異音、過熱等が存在する。異常スコア算出部620は、これらのうちの1種類以上の異常について、異常スコアScを算出するように構成される。異常スコア算出部620は、汎用型異常検知モデル621と、特化型異常検知モデル622と、補正部623とを含む。汎用型異常検知モデル621は、ロボット100の使用環境に依存せずに、状態入力Si応じて異常の程度を示す汎用スコアSgを算出する。特化型異常検知モデル622は、図1に例示したようなロボット100の特定の使用環境に特化しており、状態入力Si応じて、汎用スコアSgを補正するための補正値ΔSを算出する。補正部623は、汎用スコアSgを補正値ΔSで補正することによって、異常スコアScを算出する。
The
状態入力Siとしては、例えば、以下の項目のうちの1つ又は複数の項目を用いることができる。
(1)ロボットの機種に関する情報:
機種名、アーム長、モーター出力の設計値又は測定値。
(2)負荷に関する情報:
ハンドの重量、ワークの重量、各関節にかかるトルクの測定値。
(3)ロボットの動作に関する情報:
各関節の位置,速度,又は加速度、ロボット手先の位置,速度,又は加速度、振動の測定値、温度の測定値。
但し、状態入力Siは、少なくともロボットの動作に関する情報の一部を含むことが好ましい。これらの状態入力Siの一部は、ユーザーが入力するようにしてもよい。
As the state input Si, for example, one or more of the following items can be used.
(1) Information on robot models:
Model name, arm length, design value or measured value of motor output.
(2) Load information:
Measured hand weight, workpiece weight, and torque applied to each joint.
(3) Information on robot movement:
The position, velocity, or acceleration of each joint, the position, velocity, or acceleration of the robot's hand, the measured value of vibration, and the measured value of temperature.
However, the state input Si preferably contains at least part of the information regarding the robot's motion. Some of these state inputs Si may be input by the user.
汎用型異常検知モデル621は、汎用スコアSgとして、例えば以下のいずれかを出力するように構成される。
(G1)センサー類400で測定したトルク、振動、異音、又は温度などの測定値の時系列データと、その入力を受けて汎用型異常検知モデル621が再構成した時系列データとの間の誤差である再構成誤差。
(G2)異常状態である確率。
なお、上記(G1)の再構成誤差を汎用スコアSgとして算出する場合は、汎用型異常検知モデル621は、例えば以下のように構成される。
The general-purpose
(G1) Time-series data of measured values such as torque, vibration, noise, or temperature measured by the
(G2) Probability of abnormal state.
When the reconstruction error in (G1) above is calculated as the general-purpose score Sg, the general-purpose
図4は、再構成誤差を汎用スコアSgとして算出する汎用型異常検知モデル621の内部構成の一例を示すブロック図である。この例では、状態入力Siとして、振動Bmと、制御点TCPの位置Pm,速度Vm及び加速度Amと、関節トルクTmと、を含む時系列データが異常スコア算出部620に入力されている。振動Bmは、振動センサー410で測定された値である。制御点TCPの位置Pmと速度Vmと加速度Amは、ロボット100への動作指令から算出された値でもよく、或いは、センサー類400で測定された測定値でもよい。関節トルクTmは、各関節におけるモーター電流の測定値から算出された値である。
FIG. 4 is a block diagram showing an example of the internal configuration of the general-purpose
図4の例において、汎用型異常検知モデル621は、再構成モデル625と、スコア計算部626とを含んでいる。再構成モデル625は、振動センサー410で測定された振動Bmの時系列データの入力を受けて、再構成した振動Brの時系列データを出力する。この再構成モデル625は、AutoEncoderなどの機械学習モデルで構成されている。再構成モデル625は、例えば、時系列予測で使用されるRNN(Recurrent Neural Network)やCNN(Convolutional Neural Network)等のニューラルネットワークを用いて実現することができる。或いは、seq2seqやTransformer Neural Networkなどの他の種類のニューラルネットワークを使用しても良い。
In the example of FIG. 4 , general-purpose
スコア計算部626は、入力された振動Bmの時系列データと、再構成された振動Brの時系列データの誤差を、汎用スコアSgとして算出する。誤差としては、平均二乗誤差(MSE)や平均絶対誤差(MAE)等の一般的な誤差の計算手法を用いることができる。図4では、平均二乗誤差を汎用スコアSgとして算出する例が示されている。
The
特化型異常検知モデル622は、制御点TCPの位置Pm,速度Vm及び加速度Amと、関節トルクTmの時系列データから、補正値ΔSを推定する回帰モデルとして構成されている。この補正値ΔSの学習方法については後述する。特化型異常検知モデル622に入力される状態入力は、この例に限らず、例えば上述した各種の状態入力から任意に選択することが可能である。補正部623は、汎用スコアSgから補正値ΔSを減算することによって、異常スコアScを算出する。
The specialized
なお、汎用型異常検知モデル621が異常状態である確率を汎用スコアSgとして出力する場合には、汎用型異常検知モデル621は、異常か正常かを分類する分類モデルとして構成され、学習が実行される。この場合には、汎用型異常検知モデル621から出力される異常クラスの確率を、汎用スコアSgとしてそのまま使用することができるので、図4のスコア計算部626は不要である。
When the general-purpose
なお、汎用型異常検知モデル621への入力データと、特化型異常検知モデル622への入力データは、少なくともその一部が異なることが好ましい。また、汎用型異常検知モデル621における演算のアルゴリズムと、特化型異常検知モデル622における演算のアルゴリズムも、異なることが好ましい。演算のアルゴリズムに関しては、図4の例では、汎用型異常検知モデル621のアルゴリズムは入力データの再構成であり、特化型異常検知モデル622のアルゴリズムは回帰である。このように、汎用型異常検知モデル621と特化型異常検知モデル622は、入力データと演算のアルゴリズムとのうちの少なくとも一方が異なることが好ましい。この理由は、仮に、入力と演算のアルゴリズムが両方とも同じ場合には、汎用型異常検知モデル621と特化型異常検知モデル622の出力が常にほぼ同じになってしまう可能性があるからである。
It is preferable that at least part of the input data to the general-purpose
図5は、汎用型異常検知モデル621の学習処理の手順を示すフローチャートである。この学習は、通常はロボット100の出荷前において異常が無い状態で行われるので、その使用環境は、図1に示した実使用環境とは異なっている。
FIG. 5 is a flow chart showing the procedure of learning processing of the general-purpose
ステップS110では、学習実行部660が、ランダムに動作を決定し、ロボット100を動作させる。ステップS120では、学習実行部660が、ロボット100の動作中における各種の状態をメモリー320に記録する。ステップS130では、予め設定された回数の動作が終了したか否かが判定され、終了していなければステップS110に戻ってステップS110,S120が繰り返される。予め設定された回数の動作が終了した場合には、ステップS140に進み、学習実行部660が、汎用型異常検知モデル621の学習を実行する。学習が終了すると、図3及び図4に示した汎用型異常検知モデル621から出力される汎用スコアSgは、ほぼゼロを示すものとなる。換言すれば、汎用型異常検知モデル621の学習は、汎用スコアSgがゼロになるように実行される。この理由は、汎用型異常検知モデル621の学習時には、ロボット100に異常が無いからである。ステップS150では、学習済みの汎用型異常検知モデル621がメモリー320に保存される。なお、この時点では、特化型異常検知モデル622は未学習の状態にある。図5の処理手順では、多様な動作について汎用スコアSgがゼロになるように実行されるので、汎用型異常検知モデル621は、ロボット100の使用環境に依存せずに、異常の程度を示す汎用スコアSgを算出するように構成される。
In step S110, the learning
図6は、特定環境における異常検知処理の手順を示すフローチャートである。この処理は、図1に例示したような特定の実使用環境において、ロボット100が特定の作業を実行する際に行われる処理である。
FIG. 6 is a flow chart showing the procedure of abnormality detection processing in a specific environment. This processing is processing performed when the
ステップS210では、異常検知部600が、実使用環境の特定作業でロボット100を動作させる。ステップS220では、異常検知部600が、ロボット100の動作中における各種の状態をメモリー320に記録する。ステップS230では、汎用型異常検知モデル621が汎用スコアSgを算出する。ステップS240では、特化型異常検知モデル622の学習を実行済みか否かが判定される。特化型異常検知モデル622の学習を実行していない場合には、汎用スコアSgがそのまま異常スコアScとして使用されて、後述するステップS260に進む。この場合に、図3や図4に示す補正部623は、汎用スコアSgの補正を実行することなく、汎用スコアSgをそのまま異常スコアScとして出力する。特化型異常検知モデル622の学習を実行済みの場合には、ステップS250に進み、特化型異常検知モデル622が補正値ΔSを求め、補正部623が汎用スコアSgを補正値ΔSで補正することによって、異常スコアScを算出する。
In step S210, the
ステップS260では、閾値決定部640が、異常スコアScが異常と正常のいずれを示すかを区別するための閾値Thを決定する。閾値Thの決定方法としては、以下のような方法のいずれか1つを採用することができる。
(1)予め出荷前に設定された閾値Thを使用する。
(2)異常スコアScの履歴からユーザーによって決定された閾値Thを使用する。
(3)異常スコアScの履歴から異常スコアScの分布を求め、その分布から外れる値を閾値Thに決定する。
(4)異常スコア算出部620に入力される状態入力Siの履歴や、異常スコアScの履歴、閾値Thの履歴等から、機械学習により最適な閾値Thを決定する。
但し、以下の説明では、閾値Thが一定であるものと仮定する。
In step S260, the
(1) Use a threshold value Th set in advance before shipment.
(2) Use a threshold Th determined by the user from the history of anomaly scores Sc.
(3) Obtain the distribution of the abnormality scores Sc from the history of the abnormality scores Sc, and determine the threshold value Th as a value that deviates from the distribution.
(4) An optimum threshold value Th is determined by machine learning from the history of state inputs Si input to the
However, in the following description, it is assumed that the threshold Th is constant.
ステップS270では、判定部630が、異常スコアScが閾値Th以上か否かに応じて、異常か否かを判定する。すなわち、異常スコアScが閾値Th以上の場合には、異常があるものと判定され、異常スコアScが閾値Th未満の場合には、異常がないものと判定される。異常がある場合には、ステップS280に進み、異常検知部600が、ユーザーに異常が発生したことを警告する。この警告は、表示部350を用いた警報の表示や、スピーカーを用いた音声による警告によって行われる。また、ステップS280では、異常検知部600が、ロボット100を強制的に停止させるようにしてもよい。異常が無い場合には、ステップS270からステップS290に進む。
In step S270, the
ステップS290では、学習実行部660が、特化型異常検知モデル622の学習が可能な状態に達したか否かを判定する。この判定は、例えば、特定の使用環境において、特定の作業が十分な回数実行されたか否かに応じて行われる。特化型異常検知モデル622の学習が可能な場合には、ステップS300において、学習実行部660が、特化型異常検知モデル622の学習を実行する。
In step S290, the learning
図7は、特化型異常検知モデル622の学習に応じた異常スコアScの変化例を示す説明図である。時刻t0~t1の期間では、ロボット100は、その出荷前の汎用的な環境にあり、ロボット100に異常が無く、汎用型異常検知モデル621の学習が終了した状態にある。この期間では、汎用型異常検知モデル621から出力される汎用スコアSgはほぼゼロであり、この汎用スコアSgがそのまま異常スコアScとなる。実際には、状態入力Siに応じて汎用スコアSgの値がゼロに近い種々の値を示すが、図7では簡略化して描いている。
FIG. 7 is an explanatory diagram showing an example of change in the anomaly score Sc according to learning of the specialized
時刻t1以降は、ロボット100が、図1に例示したような特定の実使用環境に設置されて、特定の作業を実行する。時刻t1~t2の期間では、ロボット100に異常は発生していないが、汎用型異常検知モデル621から出力される汎用スコアSgは、ゼロよりも大きな値を示している。この理由は、汎用型異常検知モデル621が特定の作業に関する学習を行っていないので、特定の作業の実行時には、ロボット100に異常がなくても汎用スコアSgがゼロでない値を取る可能性があるからである。時刻t1~t2の期間では、特化型異常検知モデル622の学習は未実行であり、汎用型異常検知モデル621から出力される汎用スコアSgが、そのまま異常スコアScとして使用される。
After time t1, the
時刻t2では、特化型異常検知モデル622の学習が実行される。この学習は、特化型異常検知モデル622の出力である補正値ΔSが、時刻t1~t2の期間における汎用スコアSgに一致するように実行される。この結果、時刻t2以降には、ロボット100に異常が発生していなければ、異常スコア算出部620で算出される異常スコアScはほぼゼロになる。その後、時間が経過してロボット100に異常や不具合が発生すると、異常スコアScが徐々に上昇する。そして、異常スコアScが閾値Th以上になると、異常の発生が検出される。なお、破線は時刻t2以降における汎用スコアSgの変化を示している。
At time t2, learning of the specialized
このように、実使用環境において特定の作業を実行する場合に、特化型異常検知モデル622の学習を実行することによって、異常スコアScとしてより正確な値を求めることが可能である。そのため、汎用型異常検知モデル621のみを使用する場合に比べて、高精度に異常を検知することができる。また、ロボット100の出荷直後や特定動作の変更後においても、従来のように1つの異常検知モデルをゼロから学習させる必要がなく、特化型異常検知モデル622のみを学習すればよいので、新たな特定動作に素早く適応することができる。また、汎用型異常検知モデル621は、ロボット100の出荷後に再学習する必要がないので、出荷直後にすぐに異常検知を開始することができる。
In this way, when performing specific work in an actual use environment, it is possible to obtain a more accurate value as the abnormality score Sc by executing the learning of the specialized
以上のように、上記実施形態では、汎用型異常検知モデル621で算出された汎用スコアSgを、特化型異常検知モデル622で算出された補正値ΔSで算出することによって異常スコアScを算出するので、汎用型異常検知モデル621のみを使用する場合に比べて高精度に異常を検知することができる。また、ロボット100の使用環境や特定作業が変更されても、特化型異常検知モデル622の学習を行うだけで異常検出を正確に行うことが可能である。
As described above, in the above embodiment, the general-purpose score Sg calculated by the general-purpose
・他の形態:
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態(aspect)によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
・Other forms:
The present disclosure is not limited to the embodiments described above, and can be implemented in various forms without departing from the scope of the present disclosure. For example, the present disclosure can also be implemented in the following aspects. The technical features in the above embodiments corresponding to the technical features in each form described below are used to solve some or all of the problems of the present disclosure, or to achieve some or all of the effects of the present disclosure. In order to achieve the above, it is possible to appropriately replace or combine them. Also, if the technical features are not described as essential in this specification, they can be deleted as appropriate.
(1)本開示の第1の形態によれば、ロボットの異常を検知する異常検知システムが提供される。この異常検知システムは、前記ロボットの状態を表す状態入力を取得する状態入力取得部と、前記状態入力を受けて、前記異常の程度を示す異常スコアを算出する異常スコア算出部と、前記異常スコアを閾値と比較することによって、前記異常の発生の有無を判定する判定部と、を備える。前記異常スコア算出部は、前記ロボットの使用環境に依存せずに、前記異常の程度を示す汎用スコアを算出する汎用型異常検知モデルと、前記ロボットの前記使用環境に特化して、前記汎用スコアを補正するための補正値を算出する特化型異常検知モデルと、前記汎用スコアを前記補正値で補正することによって、前記異常スコアを算出する補正部と、を含む。
この異常検知システムによれば、汎用型異常検知モデルで算出された汎用スコアを、特化型異常検知モデルで算出された補正値で算出することによって異常スコアを算出するので、汎用型異常検知モデルのみを使用する場合に比べて高精度に異常を検知することができる。また、ロボットの使用環境が変更されても特化型異常検知モデルの学習を行うだけで異常検出を行うことが可能である。
(1) According to a first aspect of the present disclosure, there is provided an anomaly detection system that detects an anomaly in a robot. This anomaly detection system includes a state input acquisition unit that acquires a state input representing the state of the robot, an anomaly score calculation unit that receives the state input and calculates an anomaly score indicating the degree of the anomaly, and the anomaly score. with a threshold to determine whether or not the abnormality has occurred. The anomaly score calculation unit includes a general-purpose anomaly detection model that calculates a general-purpose score indicating the extent of the anomaly independently of the environment in which the robot is used, and a general-purpose score that is specific to the environment in which the robot is used. and a correction unit that calculates the abnormality score by correcting the general-purpose score with the correction value.
According to this anomaly detection system, the anomaly score is calculated by calculating the general-purpose score calculated by the general-purpose anomaly detection model with the correction value calculated by the specialized anomaly detection model. Abnormality can be detected with higher accuracy than when only using In addition, even if the usage environment of the robot is changed, it is possible to detect anomalies simply by learning a specialized anomaly detection model.
(2)上記異常検知システムは、更に、前記ロボットの前記使用環境の変更に応じて、前記特化型異常検知モデルの学習を実行する学習実行部を備え、前記学習実行部は、前記ロボットの前記使用環境の変更の有無に拘わらず、前記汎用型異常検知モデルの学習を行わないものとしてもよい。
この異常検知システムによれば、ロボットの使用環境の変更に応じて特化型異常検知モデルの学習のみを行えば済むので、異常検知モデルの学習を効率良く行うことができる。また、汎用型異常検知モデルは、使用環境の変更に応じて再学習する必要がないので、ユーザーはロボットの出荷直後や使用環境の変更後にも、すぐに異常検知を開始することができる。
(2) The anomaly detection system further includes a learning execution unit that executes learning of the specialized anomaly detection model in accordance with a change in the usage environment of the robot, wherein the learning execution unit performs The learning of the general-purpose anomaly detection model may not be performed regardless of whether or not the usage environment is changed.
According to this anomaly detection system, only the specialized anomaly detection model needs to be learned according to changes in the environment in which the robot is used, so the anomaly detection model can be learned efficiently. In addition, since the general-purpose anomaly detection model does not need to be re-learned according to changes in the usage environment, users can immediately start anomaly detection immediately after shipment of the robot or after a change in the usage environment.
(3)上記異常検知システムにおいて、前記特化型異常検知モデルは、前記使用環境において前記ロボットが実行する特定の作業に含まれる動作に特化して前記補正値を算出するモデルであり、前記汎用型異常検知モデルは、前記特定の作業に含まれる動作に特化せず、汎用的な複数の動作に対して前記汎用スコアを算出するモデルであるものとしてもよい。
この異常検知システムによれば、ロボットの使用環境で実行される特定の作業に対して異常スコアを正しく求めることができる。
(3) In the above anomaly detection system, the specialized anomaly detection model is a model that calculates the correction value by specializing an action included in a specific work performed by the robot in the usage environment. The type anomaly detection model may be a model that calculates the general-purpose score for a plurality of general-purpose actions without specializing the actions included in the specific work.
According to this anomaly detection system, an anomaly score can be obtained correctly for a specific work performed in the environment in which the robot is used.
(4)本開示の第2の形態によれば、ロボットシステムが提供される。このロボットシステムは、ロボットシステムが提供される。このロボットシステムは、ロボットと、前記ロボットの制御による作業において、特定の性能指標値と特定の制約評価値を検出するセンサー類と、前記ロボットの制御パラメーターを設定する処理を実行するパラメーター設定部と、を備える。前記パラメーター設定部は、(a)前記制御パラメーターの最適化処理に使用する目的関数と制約条件の設定を受け付ける処理と、(b)前記制御パラメーターの候補値を用いて前記ロボットに作業を実行させ、前記作業中に、前記目的関数を求めるための前記性能指標値と、前記制約条件に関する前記制約評価値と、を測定する処理と、(c)前記性能指標値から求められる前記目的関数の値を用いて前記最適化処理を実行することによって、前記制御パラメーターの次の候補値を探索する処理と、(d)前記処理(b)と前記処理(c)を繰り返すことによって、複数の前記候補値について前記目的関数の値と前記制約評価値とを求める処理と、(e)前記複数の前記候補値のそれぞれについて、前記目的関数の値と前記制約評価値とを示す相関図を含む処理結果を表示する処理と、を実行する。 (4) According to a second aspect of the present disclosure, a robot system is provided. A robot system is provided for this robot system. This robot system includes a robot, sensors that detect a specific performance index value and a specific constraint evaluation value in the work controlled by the robot, and a parameter setting unit that executes processing for setting control parameters of the robot. , provided. The parameter setting unit performs (a) a process of receiving settings of an objective function and constraint conditions used in the optimization process of the control parameters, and (b) causing the robot to perform a task using the candidate values of the control parameters. , a process of measuring the performance index value for obtaining the objective function and the constraint evaluation value related to the constraint condition during the work; and (c) the value of the objective function obtained from the performance index value. (d) a plurality of candidates by repeating the process (b) and the process (c), by performing the optimization process using (e) a processing result including a correlation diagram showing the objective function value and the constraint evaluation value for each of the plurality of candidate values; and a process of displaying the .
(5)本開示の第3の形態によれば、ロボットの異常を検知する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、(a)前記ロボットの状態を表す状態入力を取得する処理と、(b)前記状態入力を受けて、前記異常の程度を示す異常スコアを算出する処理と、(c)前記異常スコアを閾値と比較することによって、前記異常の発生の有無を判定する処理と、を前記プロセッサーに実行させるコンピュータープログラムである。前記処理(c)は、(c1)前記ロボットの使用環境に依存せずに、前記異常の程度を示す汎用スコアを算出する処理と、(c2)前記ロボットの前記使用環境に特化して、前記汎用スコアを補正するための補正値を算出する処理と、(c2)前記汎用スコアを前記補正値で補正することによって、前記異常スコアを算出する処理と、を含む。 (5) According to a third aspect of the present disclosure, there is provided a computer program that causes a processor to execute processing for detecting an abnormality in a robot. This computer program includes (a) a process of acquiring a state input representing the state of the robot, (b) a process of receiving the state input and calculating an abnormality score indicating the degree of the abnormality, and (c) the and determining whether or not the abnormality has occurred by comparing the abnormality score with a threshold value. The process (c) includes (c1) a process of calculating a general score indicating the degree of abnormality without depending on the usage environment of the robot; and (c2) calculating the abnormality score by correcting the general score with the correction value.
本開示は、上記以外の種々の形態で実現することも可能である。例えば、ロボットとロボット制御装置とを備えたロボットシステム、ロボット制御装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体(non-transitory storage medium)等の形態で実現することができる。 The present disclosure can also be implemented in various forms other than those described above. For example, realization in the form of a robot system comprising a robot and a robot control device, a computer program for realizing the functions of the robot control device, a non-transitory storage medium on which the computer program is recorded, etc. can do.
100…ロボット、110…基台、120…ロボットアーム、150…エンドエフェクター、200…制御装置、300…情報処理装置、310…プロセッサー、320…メモリー、330…インターフェイス回路、340…入力デバイス、350…表示部、400…センサー類、410…振動センサー、420…力センサー、430…電流センサー、440…関節エンコーダー、500…架台、600…異常検知部、610…状態入力取得部、620…異常スコア算出部、621…汎用型異常検知モデル、622…特化型異常検知モデル、623…補正部、625…再構成モデル、626…スコア計算部、630…判定部、640…閾値決定部、650…履歴登録部、660…学習実行部
DESCRIPTION OF
Claims (5)
前記ロボットの状態を表す状態入力を取得する状態入力取得部と、
前記状態入力を受けて、前記異常の程度を示す異常スコアを算出する異常スコア算出部と、
前記異常スコアを閾値と比較することによって、前記異常の発生の有無を判定する判定部と、
を備え、
前記異常スコア算出部は、
前記ロボットの使用環境に依存せずに、前記異常の程度を示す汎用スコアを算出する汎用型異常検知モデルと、
前記ロボットの前記使用環境に特化して、前記汎用スコアを補正するための補正値を算出する特化型異常検知モデルと、
前記汎用スコアを前記補正値で補正することによって、前記異常スコアを算出する補正部と、
を含む、異常検知システム。 An anomaly detection system for detecting an anomaly of a robot,
a state input acquisition unit that acquires a state input representing the state of the robot;
an anomaly score calculation unit that receives the state input and calculates an anomaly score indicating the degree of the anomaly;
a determination unit that determines whether or not the abnormality has occurred by comparing the abnormality score with a threshold;
with
The abnormality score calculation unit,
a general-purpose anomaly detection model that calculates a general-purpose score indicating the extent of the anomaly without depending on the usage environment of the robot;
a specialized anomaly detection model that calculates a correction value for correcting the general-purpose score, specialized for the usage environment of the robot;
a correction unit that calculates the abnormality score by correcting the general-purpose score with the correction value;
Anomaly detection system.
前記ロボットの前記使用環境の変更に応じて、前記特化型異常検知モデルの学習を実行する学習実行部を備え、
前記学習実行部は、前記ロボットの前記使用環境の変更の有無に拘わらず、前記汎用型異常検知モデルの学習を行わない、異常検知システム。 The anomaly detection system according to claim 1, further comprising:
a learning execution unit that executes learning of the specialized anomaly detection model according to a change in the usage environment of the robot;
The anomaly detection system, wherein the learning execution unit does not learn the general-purpose anomaly detection model regardless of whether or not the usage environment of the robot is changed.
前記特化型異常検知モデルは、前記使用環境において前記ロボットが実行する特定の作業に含まれる動作に特化して前記補正値を算出するモデルであり、
前記汎用型異常検知モデルは、前記特定の作業に含まれる動作に特化せず、汎用的な複数の動作に対して前記汎用スコアを算出するモデルである、異常検知システム。 The anomaly detection system according to claim 1 or 2,
The specialized anomaly detection model is a model that calculates the correction value by specializing an action included in a specific work performed by the robot in the usage environment,
The anomaly detection system, wherein the general-purpose anomaly detection model is a model that calculates the general-purpose score for a plurality of general-purpose actions without specializing the actions included in the specific work.
(a)前記ロボットの状態を表す状態入力を取得する工程と、
(b)前記状態入力を受けて、前記異常の程度を示す異常スコアを算出する工程と、
(c)前記異常スコアを閾値と比較することによって、前記異常の発生の有無を判定する工程と、
を含み、
前記工程(c)は、
(c1)前記ロボットの使用環境に依存せずに、前記異常の程度を示す汎用スコアを算出する工程と、
(c2)前記ロボットの前記使用環境に特化して、前記汎用スコアを補正するための補正値を算出する工程と、
(c2)前記汎用スコアを前記補正値で補正することによって、前記異常スコアを算出する工程と、
を含む方法。 A method for detecting an abnormality in a robot, comprising:
(a) obtaining a state input representing a state of the robot;
(b) receiving the state input and calculating an anomaly score indicating the extent of the anomaly;
(c) determining whether the abnormality has occurred by comparing the abnormality score with a threshold;
including
The step (c) is
(c1) calculating a general-purpose score indicating the degree of abnormality without depending on the operating environment of the robot;
(c2) a step of calculating a correction value for correcting the general-purpose score, specifically for the usage environment of the robot;
(c2) calculating the abnormality score by correcting the universal score with the correction value;
method including.
(a)前記ロボットの状態を表す状態入力を取得する処理と、
(b)前記状態入力を受けて、前記異常の程度を示す異常スコアを算出する処理と、
(c)前記異常スコアを閾値と比較することによって、前記異常の発生の有無を判定する処理と、
を前記プロセッサーに実行させるコンピュータープログラムであり、
前記処理(c)は、
(c1)前記ロボットの使用環境に依存せずに、前記異常の程度を示す汎用スコアを算出する処理と、
(c2)前記ロボットの前記使用環境に特化して、前記汎用スコアを補正するための補正値を算出する処理と、
(c2)前記汎用スコアを前記補正値で補正することによって、前記異常スコアを算出する処理と、
を含む、コンピュータープログラム。 A computer program that causes a processor to execute processing for detecting an abnormality in a robot,
(a) acquiring a state input representing the state of the robot;
(b) a process of receiving the state input and calculating an anomaly score indicating the degree of the anomaly;
(c) determining whether or not the abnormality has occurred by comparing the abnormality score with a threshold;
a computer program that causes the processor to execute
The processing (c) is
(c1) a process of calculating a general-purpose score indicating the extent of the abnormality without depending on the usage environment of the robot;
(c2) a process of calculating a correction value for correcting the general-purpose score, specifically for the usage environment of the robot;
(c2) a process of calculating the abnormality score by correcting the general score with the correction value;
computer programs, including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021123013A JP2023018765A (en) | 2021-07-28 | 2021-07-28 | Anomaly Detection System for Detecting Abnormality in Robot, Method for Detecting Abnormality in Robot, and Computer Program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021123013A JP2023018765A (en) | 2021-07-28 | 2021-07-28 | Anomaly Detection System for Detecting Abnormality in Robot, Method for Detecting Abnormality in Robot, and Computer Program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023018765A true JP2023018765A (en) | 2023-02-09 |
Family
ID=85160429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021123013A Pending JP2023018765A (en) | 2021-07-28 | 2021-07-28 | Anomaly Detection System for Detecting Abnormality in Robot, Method for Detecting Abnormality in Robot, and Computer Program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023018765A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119600765A (en) * | 2024-11-06 | 2025-03-11 | 珠海格力电器股份有限公司 | A method, device, equipment and medium for processing alarm of robot teaching pendant |
| CN120046074A (en) * | 2025-01-28 | 2025-05-27 | 广东安百美环境科技有限公司 | Method and device for monitoring abnormal state of sweeper |
| CN120480933A (en) * | 2025-07-21 | 2025-08-15 | 广东毕要科技有限公司 | Mechanical arm fault judging method, device, equipment and storage medium |
-
2021
- 2021-07-28 JP JP2021123013A patent/JP2023018765A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119600765A (en) * | 2024-11-06 | 2025-03-11 | 珠海格力电器股份有限公司 | A method, device, equipment and medium for processing alarm of robot teaching pendant |
| CN120046074A (en) * | 2025-01-28 | 2025-05-27 | 广东安百美环境科技有限公司 | Method and device for monitoring abnormal state of sweeper |
| CN120480933A (en) * | 2025-07-21 | 2025-08-15 | 广东毕要科技有限公司 | Mechanical arm fault judging method, device, equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6542839B2 (en) | Control device and machine learning device | |
| US10730183B2 (en) | Learning device, controller, and control system | |
| JP2023018765A (en) | Anomaly Detection System for Detecting Abnormality in Robot, Method for Detecting Abnormality in Robot, and Computer Program | |
| JP6523379B2 (en) | Information processing device | |
| US11235461B2 (en) | Controller and machine learning device | |
| US10940585B2 (en) | Vibration suppression device | |
| TWI654058B (en) | Correction device, correction method and control device | |
| JP6572265B2 (en) | Control device and machine learning device | |
| US12521876B2 (en) | Robot model learning device, robot model machine learning method, recording medium storing robot model machine learning program, robot control device, robot control method, and recording medium storing robot control program | |
| JP6680750B2 (en) | Control device and machine learning device | |
| US10444731B2 (en) | Controller and machine learning device | |
| CN113748597B (en) | Motor control device | |
| JP2019139755A (en) | Polishing tool wear loss prediction device, machine learning device and system | |
| US10571890B2 (en) | Diagnostic data acquisition system, diagnostic system, and computer readable medium | |
| US10549422B2 (en) | Robot controller, machine learning device and machine learning method | |
| JP6538772B2 (en) | Numerical control device | |
| JP2016511699A (en) | Method for improving detection of collision between robot and its environment, system and computer program product for implementing the method | |
| JPWO2020008587A1 (en) | Numerical control device | |
| JP2020124760A (en) | Work discrimination device and work discrimination method | |
| JP2012176465A (en) | Device for calibrating torque sensor, calibration method, and program | |
| CN112677147B (en) | Event estimation system and event estimation method | |
| KR102357168B1 (en) | Collision Detection Method and System of Robot Manipulator Using Artificial Neural Network | |
| KR102139229B1 (en) | Collision Detection Method and System of Robot Manipulator Using Artificial Neural Network | |
| Chavez et al. | Model based in situ calibration of six axis force torque sensors | |
| CN115592661B (en) | Method for setting force control parameters in robot operation and robot system |