JP2018004473A - 軸受の予測寿命を学習する機械学習装置、寿命予測装置および機械学習方法 - Google Patents

Abstract

【課題】軸受が実際に使用される実環境に基づいた軸受の予測寿命を得ることができる機械学習装置、寿命予測装置および機械学習方法の提供を図る。【解決手段】軸受１１の予測寿命を学習する機械学習装置２であって、前記軸受の振動，音，温度および荷重の少なくとも１つを含む状態変数を観測する状態観測部２１と、前記状態観測部の出力に基づいて、前記軸受の予測寿命を学習する学習部２２と、を備える。【選択図】図１

Description

本発明は、軸受の予測寿命を学習する機械学習装置、寿命予測装置および機械学習方法に関する。

従来、例えば、工作機械やロボット等の産業機械には、モータを始めとして様々な軸受が多数使用されている。これらの軸受には、通常、予測寿命が設定されていて、その予測寿命に基づいて、軸受や機械部品の交換を行うようになっている。

すなわち、例えば、工作機械の主軸またはその主軸を駆動するモータの故障原因の多くは、主軸またはモータの軸受の劣化や破損に起因している。ここで、主軸が完全に故障した状態で工作機械を使用すると、例えば、ワークの加工精度が低下して不良品になる。また、主軸の復旧に時間がかかると、工作機械に大きなダウンタイム(停止時間)が生じ、工作機械の稼働率低下を招くことになる。

そこで、軸受が故障する前に、軸受の寿命を予測する予測寿命に基づいて、軸受の寿命を予測し、軸受や機械部品の交換を行うことが行われている。しかしながら、軸受の予測寿命は、例えば、設計者が机上で計算した結果や実験結果等に基づいて作成するものであり、実際の使用を反映したものとは言えなかった。

ところで、従来、軸受の予測寿命をより正確に得るようにしたものとしては、様々な提案がなされている。例えば、特許文献１は、機械装置に組み込まれる軸受を非破壊で検査し、軸受の残存寿命を精度よく予測する(予測寿命を精度よく求める)、軸受の残存寿命予測方法を開示している。この特許文献１に開示された軸受の残存寿命予測方法は、励磁電流の周波数を可変出力する渦電流装置を用いて、試験コイルに印加される励磁電流の周波数を高周波数域から低周波数域まで複数段階で変化させ、軸受の使用前後に対する試験コイルの出力電圧を励磁電流の周波数ごとにそれぞれ検出する。さらに、軸受の使用前後における励磁電流の周波数ごとの出力電圧の差である第１差分、および、隣接して設定される周波数間における第１差分同士の差である第２差分を算出し、軸受の深さ方向の使用前後の組織変化の度合いに基づく第２差分の値を用いて、軸受の残存寿命を予測する。

また、特許文献２は、剥離の極めて微小な段階(初期の段階)で残存寿命を高い精度で予知する(高い精度で予測寿命を求める)ことができる、汎用性に富んだ軸受の寿命予知装置を開示している。この特許文献２に開示された軸受の寿命予知装置は、軸受からのアコースティックエミッション(ＡＥ)をＡＥセンサで検出し、そのＡＥセンサからのＡＥ信号としきい値を比較し、ＡＥ信号がしきい値を超えるＡＥ信号の発生周期を算出する。さらに、算出された発生周期毎の発生数を集計して各発生周期に対応する部位別の理論発生数で除算し、部位別のＡＥ発生確率を算出し、その算出されたＡＥ発生確率の時間に対する勾配を算出する。そして、算出された勾配とその勾配を求めた時点のＡＥ発生確率に基づいて、残存寿命を算出する。

さらに、特許文献３は、軸受のユニットを分解することなく軸受の残存寿命を予測し、しかもその予測を正確にできる(予測寿命を正確に求めることができる)軸受の寿命予測方法および軸受の寿命予測装置を開示している。この特許文献３に開示された軸受の寿命予測技術は、例えば、使用開始後に軸受の潤滑剤の性状を測定し、その測定した潤滑剤の性状の情報から軸受の寿命に与える影響度を換算して、軸受の寿命を算出する。

特許第５９１０１２４号公報 特許第２９６３１４６号公報 特許第３８９１０４９号公報

上述したように、従来、軸受の予測寿命は、例えば、設計者が机上で計算した結果や実験結果等に基づいて作成するものであり、実際の使用を反映したものではない。

また、軸受の予測寿命をより正確に得るようにしたものとしては、例えば、従来技術文献１〜３のような提案がなされているが、いずれも所定のアルゴリズムに基づいて軸受の予測寿命を得るようになっている。しかしながら、軸受の予測寿命は、軸受の使用条件や環境等により変化し、さらに、軸受の破損モードも様々なものがあるため、従来技術文献１〜３のいずれにおいても、得られた軸受の予測寿命は、満足できるものとは言えなかった。

本発明の目的は、上述した従来技術の課題に鑑み、軸受が実際に使用される実環境に基づいた軸受の予測寿命を得ることができる機械学習装置、寿命予測装置および機械学習方法の提供にある。

本発明に係る第１実施形態によれば、軸受の予測寿命を学習する機械学習装置であって、前記軸受の振動，音，温度および荷重の少なくとも１つを含む状態変数を観測する状態観測部と、前記状態観測部の出力に基づいて、前記軸受の予測寿命を学習する学習部と、を備える機械学習装置が提供される。

前記機械学習装置は、さらに、前記学習部が学習した前記予測寿命を参照して、前記軸受の寿命を予測する予測寿命変化曲線を決定する意思決定部を備えることができる。前記学習部は、前記状態観測部の出力に基づいて報酬を計算する報酬計算部と、前記状態観測部の出力および前記報酬計算部の出力に基づいて、前記軸受の予測寿命に関する価値関数を、前記報酬に応じて更新する価値関数更新部と、を備えてもよい。前記報酬計算部は、前記状態変数に基づく前記軸受の状態変化の推移と、予測した状態変化の相違量が所定の値以上のときにマイナスの報酬を与え、前記状態変数に基づく前記軸受の状態変化の推移と、予測した状態変化の相違量が所定の値よりも小さいときにプラスの報酬を与えるのが好ましい。

前記機械学習装置は、さらに、前記軸受の種類，大きさ，環境条件，使用条件および稼働時間の少なくとも１つを含むデータを取得するデータ取得部を備え、前記学習部は、前記状態観測部の出力および前記データ取得部の出力に基づいて、前記軸受の予測寿命を学習することができる。前記学習部は、複数の軸受の予測寿命において、前記データ取得部の出力に基づいて規定された軸受の予測寿命を学習するのが好ましい。前記学習部は、ニューラルネットワークを備えることができる。

前記機械学習装置は、ネットワークを介して他の機械学習装置と相互にデータを共有または交換するようになっていてもよい。前記学習部は、前記他の機械学習装置の学習部で更新された他の行動価値テーブルを用いて、自己の行動価値テーブルを更新することができる。前記機械学習装置は、クラウドサーバ上に存在してもよい。

本発明に係る第２実施形態によれば、上述した本発明に係る第１実施形態の機械学習装置と、前記学習された前記軸受の予測寿命を表示する軸受寿命表示器と、を備える寿命予測装置が提供される。

本発明に係る第３実施形態によれば、軸受の予測寿命を学習する機械学習方法であって、前記軸受の振動，音，温度および荷重の少なくとも１つを含む状態変数を観測し、観測された前記状態変数に基づいて、前記軸受の予測寿命を学習する、機械学習方法が提供される。

前記機械学習方法は、さらに、前記学習部が学習した前記予測寿命を参照して、前記軸受の寿命を予測する予測寿命変化曲線を決定することができる。前記予測寿命の学習は、
観測された前記状態変数に基づいて、報酬を計算し、観測された前記状態変数、および、計算された前記報酬に基づいて、前記軸受の予測寿命に関する価値関数を、前記報酬に応じて更新することができる。前記報酬の計算は、前記状態変数に基づく前記軸受の状態変化の推移と、予測した状態変化の相違量が所定の値以上のときにマイナスの報酬を与え、前記状態変数に基づく前記軸受の状態変化の推移と、予測した状態変化の相違量が所定の値よりも小さいときにプラスの報酬を与えるのが好ましい。

本発明に係る機械学習装置、寿命予測装置および機械学習方法によれば、軸受が実際に使用される実環境に基づいた軸受の予測寿命を得ることができるという効果を奏する。

図１は、本発明に係る機械学習装置の一実施形態を示すブロック図である。 図２は、図１に示す機械学習装置を適用した産業機械の一部を示すブロック図である。 図３は、ニューロンのモデルを模式的に示す図である。 図４は、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。 図５は、図１に示す機械学習装置の動作の一例を説明するためのフローチャートである。 図６は、図１に示す機械学習装置による軸受の予測寿命の処理の一例を説明するための図である。 図７は、図１に示す機械学習装置の動作の他の例を説明するためのフローチャートである。 図８は、軸受の予測寿命の処理の一例を説明するための図である。

まず、本発明に係る機械学習装置、寿命予測装置および機械学習方法の実施形態を詳述する前に、軸受の予測寿命の処理の一例を、図８を参照して説明する。図８は、軸受の予測寿命の処理の一例を説明するための図であり、軸受の稼働時間(経過時間)に対する振動の大きさの変化を示すものである。なお、図８において、参照符号Ｖmaxは、軸受が寿命になったときの振動の大きさ(寿命振動)を示し、Ｌ0は、経過時間に対する軸受の予測寿命の変化の様子(予測寿命変化曲線)を示す。

図８に示されるように、予測寿命変化曲線Ｌ0は、例えば、設計者が机上で計算した結果や実験結果等に基づいて、軸受の使用を開始した初期状態から、振動の大きさが寿命振動Ｖmaxを超えるまでを、経過時間に対する振動の大きさの変化として表したものである。そして、例えば、或る軸受の予測寿命変化曲線Ｌ0が寿命振動Ｖmaxを超えたら、その軸受は、寿命が来たとして交換等が行われる。

このように、図８に示す予測寿命変化曲線Ｌ0は、例えば、設計者が机上で計算した結果や実験結果等に基づいて作成したもので、軸受の実際の使用を反映したものとは言えない。すなわち、軸受の寿命は、使用される条件や環境等により変化するものと考えられる。そのため、例えば、余裕を大きく見積もって予測寿命変化曲線Ｌ0を設定すると、実際には、さらに長時間の使用が可能であっても、その前に、軸受の寿命が来たと判断して交換等を行うことになる。逆に、余裕を小さく見積もって予測寿命変化曲線Ｌ0を設定すると、軸受の寿命が来ていないと判断されているにも関わらず、軸受の故障が生じて、ワークの加工精度の低下や工作機械における大きなダウンタイムの発生を招くことになる。

以下、本発明に係る機械学習装置、寿命予測装置および機械学習方法の実施形態を、添付図面を参照して詳述する。図１は、本発明に係る機械学習装置の一実施形態を示すブロック図であり、「強化学習(Ｑ学習)」を適用した機械学習装置の例を示すものである。

図１に示されるように、機械学習装置２は、軸受１１の予測寿命を学習するものであり、状態観測部２１、学習部２２、意思決定部２３、および、データ取得部２４を含む。状態観測部２１には、例えば、軸受１１に直接設けられ、或いは、軸受１１の近傍に取り付けられた各種センサ１２により得られた状態量(状態変数)、例えば、軸受１１の振動，音，温度および荷重等が入力される。なお、状態観測部２１は、これら軸受１１の振動，音，温度および荷重の全てを受け取る必要はなく、それらの少なくとも１つを状態変数として受け取る。また、状態観測部２１が受け取る状態変数としては、軸受１１の振動，音，温度および荷重に限定されず、軸受１１に関する他の情報を状態変数として受け取ってもよい。また、図１では、軸受１１およびセンサ１２をまとめたものを参照符号１で示している。

データ取得部２４は、例えば、制御装置３から軸受１１の種類，大きさ，環境条件，使用条件および稼働時間のデータを取得し、その取得したデータに基づいた出力を学習部２２に与える。ここで、データ取得部２４は、これら軸受１１の種類，大きさ，環境条件，使用条件および稼働時間の全てのデータを受け取る必要はなく、それらの少なくとも１つを受け取り、或いは、さらに他のデータを受け取ってもよい。また、環境条件および使用条件としては、例えば、軸受１１が使用される周囲の温度や湿度、および、設定された荷重等が含まれる。

学習部２２は、データ取得部２４の出力に基づいて、例えば、対象とする軸受１１の種類や大きさ等を認識して学習を行う。なお、例えば、機械学習装置２が対象とする軸受１１が一種類に決まっていて周囲環境も安定している場合等においては、データ取得部２４は、必ずしも設けなくてもよい。或いは、軸受１１の種類，大きさ，環境条件，使用条件および稼働時間等のデータも、状態観測部２１に対して入力することも可能なのはいうまでもない。また、制御装置３は、例えば、ＣＮＣ(Computerized Numerical Control)装置やロボット制御装置といった軸受１１の種類，大きさ，環境条件，使用条件および稼働時間等の情報を把握しているものを想定しているが、データ取得部２４に入力するデータは、制御装置３からのものに限定されず、例えば、オペレータが入力するのも含め、様々な場合があり得る。

学習部２２は、状態観測部２１の出力およびデータ取得部２４の出力に基づいて軸受１１の予測寿命を学習するもので、報酬計算部２２１および価値関数更新部２２２を含む。報酬計算部２２１は、状態観測部２１の出力に基づいて報酬を計算し、価値関数更新部２２２は、状態観測部２１の出力および報酬計算部２２１の出力に基づいて、軸受１１の予測寿命に関する価値関数を、報酬に応じて更新する。意思決定部２３は、学習部２２が学習した予測寿命を参照して、軸受１１の寿命を予測する予測寿命変化曲線を決定する。なお、軸受寿命表示器４は、例えば、意思決定部２３の出力に基づいて、軸受１１の予測寿命を表示する。この軸受寿命表示器４は、例えば、機械学習装置２を設けた寿命予測装置の表示部として設けられ、例えば、意思決定部２３の出力に基づいた軸受１１の残りの寿命を表示し、或いは、軸受１１を交換するまでの期間を表示することができる。さらに、軸受１１の寿命が間近に迫って来た場合に、軸受１１の交換時期を示すアラーム等を発するようにしてもよい。

図２は、図１に示す機械学習装置を適用した産業機械の一部を示すブロック図であり、機械学習装置２が、ｎ個の軸受およびセンサ１ａ〜１ｎに対して設けられているものを示す。ここで、軸受およびセンサ１ａ〜１ｎのそれぞれは、図１の参照符号１で示す軸受１１およびセンサ１２に対応し、それぞれ信号線５を介して機械学習装置２に接続されている。なお、軸受およびセンサ１ａ〜１ｎは、全て同じ仕様の軸受１１およびセンサ１２であるものとする。

軸受およびセンサ１ａ〜１ｎにおけるそれぞれの軸受(１１)には、各種センサ(１２)が直接または近傍して取り付けられていて、それら各種センサからの信号は、信号線５を介して機械学習装置２に入力される。すなわち、機械学習装置２(状態観測部２１)には、例えば、それぞれの軸受およびセンサ１ａ〜１ｎからの振動，音，温度および荷重等の状態変数が入力される。また、図２では省略しているが、データ取得部２４には、例えば、軸受およびセンサ１ａ〜１ｎにおけるそれぞれの軸受(１１)の種類，大きさ，環境条件，使用条件および稼働時間等のデータが入力される。

ここで、軸受およびセンサ１ａにおいて、例えば、軸受(１１)の振動の大きさ(振動数)がｆａ［Ｈｚ］に達したら寿命であると設定する場合を考える。なお、それぞれ経過時間(時間)における振動数(状態変数)は、信号線５を介して、学習部２２を有する機械学習装置２の状態観測部２１に入力されて記録(記憶)される。学習部２２では、機械学習装置２に集積された情報に基づいて、それぞれの軸受(１１)の寿命を予測する。例えば、稼働開始初期(初期状態)の軸受１１の状況と、稼働開始からある時間経過した時の軸受１１の状況を比較し、時間の関数で表すことによってｆ(t)＝ｆａとして寿命ｔを予測する。また、一定の間隔で学習部２２が予測した軸受１１の状況の関数ｆ(t)と、実際の軸受１１の状況の変化ｆ(tr)を比較する。

例えば、予測寿命の許容範囲をＰＲとしたとき、報酬計算部２２１において、｜ｆ(t)−ｆ(tr)｜＜ＰＲが成立すれば、プラスの報酬を設定し、逆に、｜ｆ(t)−ｆ(tr)｜≧ＰＲが成立すれば、マイナスの報酬を設定する。そして、価値関数更新部２２２により、状態観測部２１の出力、および、報酬計算部２２１で計算された報酬に基づいて、予測寿命を決める価値関数の更新を行う。これにより、例えば、軸受１１の仕様や環境を問わず、正確な軸受１１の寿命を予測することが可能になる。なお、これらの処理は、図５〜図７を参照して、後に詳述する。

ところで、図２に示されるように。機械学習装置２は、例えば、イーサネット（登録商標）やインターネット等のネットワーク６を介して他の機械学習装置(２)に繋ぐことができ、その他の機械学習装置と相互にデータの共有や交換を行うことが可能である。また、機械学習装置２は、例えば、軸受１１が使用される産業機械やその近く、或いは、その産業機械を有する工場等に設けることができるが、それに限定されず、例えば、ネットワーク６を介したクラウドサーバに設けることも可能である。さらに、機械学習装置２および軸受寿命表示器４を制御装置３に内蔵し、制御装置３に寿命予測装置としての機能を持たせることもできる。

上述した本実施形態の機械学習装置２は、軸受１１を適用した様々な機械に対して、幅広く適用することができるが、特に、軸受１１の交換(軸受１１を含む部品の交換)が可能であり、また、軸受１１の劣化や破損に起因して故障が生じると、ワークの加工精度の低下やダウンタイムが生じるような産業機械に対して適用した場合に大きな作用効果が期待できる。このような産業機械としては、様々な産業用ロボットや工作機械が考えられる。また、機械学習装置としては、図１を参照して説明した「強化学習(Ｑ学習)」を適用した機械学習装置２に限定されるものではない。

ところで、機械学習装置は、装置に入力されるデータの集合から、その中にある有用な規則や知識表現、判断基準等を解析により抽出し、その判断結果を出力するとともに、知識の学習(機械学習)を行う機能を有する。機械学習の手法は様々であるが、大別すれば、例えば、「教師あり学習」、「教師なし学習」および「強化学習」に分けられる。さらに、これらの手法を実現するうえで、特徴量そのものの抽出を学習する、「深層学習(ディープラーニング：Deep Learning)」と呼ばれる手法がある。

上述したように、図１に示す機械学習装置２は、「強化学習(Ｑ学習)」を適用した例を示し、この機械学習装置２は、汎用の計算機若しくはプロセッサを用いることもできるが、例えば、ＧＰＧＰＵ(General-Purpose computing on Graphics Processing Units)や大規模ＰＣクラスター等を適用すると、より高速処理が可能になる。

なお、教師あり学習とは、教師データ、すなわち、ある入力と結果(ラベル)のデータの組を大量に機械学習装置に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル(誤差モデル)、すなわち、その関係性を帰納的に獲得するものである。例えば、後述のニューラルネットワーク等のアルゴリズムを用いて実現することが可能である。

また、教師なし学習とは、入力データのみを大量に機械学習装置に与えることで、入力データがどのような分布をしているか学習し、対応する教師出力データを与えなくても、入力データに対して圧縮・分類・整形等を行う装置で学習する手法である。例えば、それらのデータセットにある特徴を、似た者どうしにクラスタリングすること等ができる。この結果を使って、何らかの基準を設けてそれを最適化するような出力の割り当てを行うことにより、出力の予測を実現することできる。

さらに、教師なし学習と教師あり学習との中間的な問題設定として、半教師あり学習と呼ばれるものもあり、これは、例えば、一部のみ入力と出力のデータの組が存在し、それ以外は入力のみのデータである場合が対応する。本実施形態においては、実際に産業機械セル(複数の産業機械)を動かさなくても取得することができるデータ(画像データやシミュレーションのデータ等)を教師なし学習で利用することにより、学習を効率的に行うことが可能になる。

次に、強化学習について、説明する。まず、強化学習の問題設定として、次のように考える。
・例えば、軸受の寿命予測装置(機械学習装置)は、環境の状態を観測し、行動を決定する。
・環境は、何らかの規則に従って変化し、さらに、自分の行動が、環境に変化を与えることもある。
・行動するたびに、報酬信号が帰ってくる。
・最大化したいのは、将来にわたっての(割引)報酬の合計である。
・行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習はスタートする。すなわち、数値制御装置は、実際に行動して初めて、その結果をデータとして得ることができる。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように、事前学習(前述の教師あり学習や、逆強化学習といった手法)した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。

ここで、強化学習とは、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち、将来的に得られる報酬を最大にするための学習する方法を学ぶものである。以下に、例として、Ｑ学習の場合で説明を続けるが、Ｑ学習に限定されるものではない。

Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ(ｓ，ａ)を学習する方法である。つまり、或る状態ｓのとき、価値Ｑ(ｓ，ａ)の最も高い行動ａを最適な行動として選択すればよい。しかし、最初は、状態ｓと行動ａとの組合せについて、価値Ｑ(ｓ，ａ)の正しい値は全く分かっていない。そこで、エージェント(行動主体)は、或る状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、報酬が与えられる。それにより、エージェントは、より良い行動の選択、すなわち、正しい価値Ｑ(ｓ，ａ)を学習していく。

さらに、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ(ｓ，ａ)＝Ｅ［Σ(γ^t)ｒ_t］となるようにすることを目指す。ここで、期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Ｑ(ｓ，ａ)の更新式は、例えば、次の式(１)により表すことができる。

上記の式(１)において、ｓ_tは、時刻ｔにおける環境の状態を表し、ａ_tは、時刻ｔにおける行動を表す。行動ａ_tにより、状態はｓ_t+1に変化する。r_t+1は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓ_t+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。

上述した式(１)は、試行ａ_tの結果、帰ってきた報酬ｒ_t+1を元に、状態ｓ_tにおける行動ａ_tの評価値Ｑ(ｓ_t，ａ_t)を更新する方法を表している。すなわち、状態ｓにおける行動ａの評価値Ｑ(ｓ_t，ａ_t)よりも、報酬ｒ_t+1 ＋ 行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ(ｓ_t+1，ｍａｘ ａ_t+1)の方が大きければ、Ｑ(ｓ_t，ａ_t)を大きくし、反対に小さければ、Ｑ(ｓ_t，ａ_t)を小さくすることを示している。つまり、或る状態における或る行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるようにしている。

ここで、Ｑ(ｓ，ａ)の計算機上での表現方法は、すべての状態行動ペア(ｓ，ａ)に対して、その値をテーブルとして保持しておく方法と、Ｑ(ｓ，ａ)を近似するような関数を用意する方法がある。後者の方法では、前述の式(１)は、確率勾配降下法等の手法で近似関数のパラメータを調整していくことにより、実現することができる。なお、近似関数としては、後述のニューラルネットワークを用いることができる。

また、強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができる。図３は、ニューロンのモデルを模式的に示す図であり、図４は、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。すなわち、ニューラルネットワークは、例えば、図３に示すようなニューロンのモデルを模した演算装置およびメモリ等で構成される。

図３に示されるように、ニューロンは、複数の入力ｘ(図３では、一例として入力ｘ1〜ｘ3)に対する出力(結果)ｙを出力するものである。各入力ｘ(ｘ1，ｘ2，ｘ3)には、この入力ｘに対応する重みＷ(Ｗ1，Ｗ2，Ｗ3)が乗算される。これにより、ニューロンは、次の式(２)により表現される結果ｙを出力する。なお、入力ｘ、結果ｙおよび重みｗは、すべてベクトルである。また、下記の式(２)において、θは、バイアスであり、ｆ_kは、活性化関数である。

図４を参照して、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを説明する。図４に示されるように、ニューラルネットワークの左側から複数の入力ｘ(ここでは、一例として、入力ｘ1〜入力ｘ3)が入力され、右側から結果ｙ(ここでは、一例として、結果ｙ1〜入力ｙ3)が出力される。具体的に、入力ｘ1，ｘ2， ｘ3は、３つのニューロンＮ11〜Ｎ13の各々に対して、対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてＷ１と標記されている。

ニューロンＮ11〜Ｎ13は、それぞれ、ｚ11〜ｚ13を出力する。図４において、これらｚ11〜ｚ13は、まとめて特徴ベクトルＺ１と標記され、入力ベクトルの特徴量を抽出したベクトルとみなすことができる。この特徴ベクトルＺ１は、重みＷ１と重みＷ２との間の特徴ベクトルである。ｚ11〜ｚ13は、２つのニューロンＮ21およびＮ22の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ２と標記されている。

ニューロンＮ21，Ｎ22は、それぞれｚ21，ｚ22を出力する。図４において、これらｚ21，ｚ22は、まとめて特徴ベクトルＺ２と標記されている。この特徴ベクトルＺ２は、重みＷ２と重みＷ３との間の特徴ベクトルである。ｚ21，ｚ22は、３つのニューロンＮ31〜Ｎ33の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ３と標記されている。

最後に、ニューロンＮ31〜Ｎ33は、それぞれ、結果ｙ１〜結果ｙ３を出力する。ニューラルネットワークの動作には、学習モードと価値予測モードとがある。例えば、学習モードにおいて、学習データセットを用いて重みＷを学習し、そのパラメータを用いて予測モードにおいて、数値制御装置の行動判断を行う。なお、便宜上、予測と書いたが、検出・分類・推論等多様なタスクが可能なのはいうまでもない。

ここで、予測モードで実際に数値制御装置を動かして得られたデータを即時学習し、次の行動に反映させる(オンライン学習)ことも、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行う(バッチ学習)こともできる。或いは、その中間的な、ある程度データが溜まるたびに学習モードを挟むということも可能である。

また、重みＷ１〜Ｗ３は、誤差逆伝搬法(誤差逆転伝播法：バックプロパゲーション：Backpropagation)により学習可能なものである。なお、誤差の情報は、右側から入り左側に流れる。誤差逆伝搬法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ(教師)との差分を小さくするように、それぞれの重みを調整(学習)する手法である。このようなニューラルネットワークは、三層以上に、さらに層を増やすことも可能である(深層学習と称される)。また、入力の特徴抽出を段階的に行い、結果を回帰する演算装置を、教師データのみから自動的に獲得することも可能である。

図５は、図１に示す機械学習装置の動作の一例を説明するためのフローチャートであり、図６は、図１に示す機械学習装置による軸受の予測寿命の処理の一例を説明するための図である。

まず、図５に示されるように、機械学習が開始(学習スタート)すると、ステップＳＴ１１において、データ取得部２４が、例えば、軸受１１の種類，大きさ，環境条件，使用条件および稼働時間のデータを取得し、ステップＳＴ１２に進む。なお、ステップ１１において、データ取得部２４が取得するデータは、軸受１１の種類，大きさ，環境条件，使用条件および稼働時間の全てではなく、その一部であってもよいし、さらに他のデータを取得してもよい。

ステップＳＴ１２では、状態観測部２１が、軸受１１に設けられたセンサ(振動センサ)１２を介して軸受１１の振動に関する情報を取得する。ここで、状態観測部２１は、例えば、軸受１１の振動，音，温度および荷重の少なくとも１つを含む状態変数を観測すればよいが、これは、例えば、軸受１１に直接設けられ、或いは、軸受１１の近傍に取り付けられた各種センサ１２を介して観測される。また、状態観測部２１が観測する軸受１１の状態変数(状態量)としては、振動，音，温度および荷重の少なくとも１つであればよいが、これらの内の複数、或いは、さらに他の状態変数が含まれてもよい。なお、後述する図７では、軸受１１の２つの状態変数(振動および温度)に基づく処理を説明する。

次に、ステップＳＴ１３に進んで、軸受１１の振動に基づく軸受１１の変化が、予測寿命の許容範囲内かどうかを判定する。例えば、図６(a)に示されるように、経過時間(稼働時間)Ｔ1において、軸受１１の振動(実際に観測された振動)に基づく軸受１１の変化をｆ(t1r)とし、それまでの(例えば、初期設定された)予測寿命変化曲線をＬ0としたとき、それまでの予測寿命変化曲線Ｌ0に基づく時間Ｔ1における軸受の変化ｆ(t1)との差が予測寿命の許容範囲ＰＲよりも小さいかどうか(｜ｆ(t1)−ｆ(t1r)｜＜ＰＲ)を判定する。

ステップＳＴ１３において、軸受１１の振動に基づく軸受１１の変化が予測寿命の許容範囲内である(ＳＴ１３：ＹＥＳ)、すなわち、｜ｆ(t1)−ｆ(t1r)｜＜ＰＲが成立すると判定すると、ステップＳＴ１４に進んで、プラスの報酬を設定してステップＳＴ１５に進む。一方、ステップＳＴ１３において、軸受１１の振動に基づく軸受１１の変化が予測寿命の許容範囲内ではない(ＳＴ１３：ＮＯ)、すなわち、｜ｆ(t1)−ｆ(t1r)｜≧ＰＲであると判定すると、ステップＳＴ１６に進んで、マイナスの報酬を設定してステップＳＴ１５に進む。

ステップＳＴ１５では、ステップＳＴ１４による「プラス報酬」およびステップＳＴ１６による「マイナス報酬」の報酬計算を行い、ステップＳＴ１７に進んで、予測寿命を更新(価値関数更新部２２２による価値関数の更新)を行い、ステップＳＴ１２に戻り、同様の処理を繰り返す。

ここで、図６(a)および図６(b)は、ステップＳＴ１３において、軸受１１の振動に基づく軸受１１の変化が予測寿命の許容範囲内ではない(ＳＴ１３：ＮＯ)と判定された場合、すなわち、図６(a)では｜ｆ(t1)−ｆ(t1r)｜≧ＰＲ、および、図６(b)では｜ｆ(t2)−ｆ(t2r)｜≧ＰＲと判定された場合である。これにより、図６(a)では、それまでの予測寿命変化曲線Ｌ0は、時間Ｔ1以降、更新された価値関数に基づく新たな予測寿命変化曲線Ｌ1とされ、また、図６(b)では、それまでの予測寿命変化曲線Ｌ1は、時間Ｔ2以降、更新された価値関数に基づく新たな予測寿命変化曲線Ｌ2とされる。

これに対して、図６(c)は、ステップＳＴ１３において、軸受１１の振動に基づく軸受１１の変化が予測寿命の許容範囲内である(ＳＴ１３：ＹＥＳ)と判定された場合、すなわち、｜ｆ(t1)−ｆ(t1r)｜＜ＰＲが成立すると判定された場合であり、このときは、プラスの報酬が設定されるため、それまでの予測寿命変化曲線Ｌ2は、時間Ｔ3以降も、そのまま予測寿命変化曲線Ｌ2として維持される。ここで、図５に示す処理を行う時間間隔としては、対象とする軸受１１に応じて様々に設定され得るが、例えば、１〜数時間に一回、または、軸受１１が適用された工作機械等の起動時等に実行することができる。

図７は、図１に示す機械学習装置の動作の他の例を説明するためのフローチャートである。図７に示す機械学習装置の動作の他の例は、図５を参照して説明した軸受１１の振動に基づく処理に加え、軸受１１の温度に基づく処理を追加したものに相当する。

図７に示されるように、機械学習が開始(学習スタート)すると、まず、ステップＳＴ２１において、データ取得部２４が、例えば、軸受１１の種類，大きさ，環境条件，使用条件および稼働時間のデータを取得し、ステップＳＴ２２に進む。ステップＳＴ２２では、状態観測部２１が、軸受１１に設けられたセンサ(振動センサおよび温度センサ)１２を介して軸受１１の振動および温度に関する情報を取得する。

次に、ステップＳＴ２３に進んで、軸受１１の振動に基づく軸受１１の変化が、予測寿命の許容範囲内かどうかを判定する。これは、図５および図６を参照して説明したのと同様であり、その説明は省略する。ここで、図７におけるステップＳＴ２３およびＳＴ２８は、図５におけるステップＳＴ１３およびＳＴ１６に対応する。さらに、ステップＳＴ２４に進んで、軸受１１の温度に基づく軸受１１の変化が、予測寿命の許容範囲内かどうかを判定する。このステップＳＴ２４の処理も、前述した図５におけるステップＳＴ１３の処理と同様であり、例えば、図６(a)に示されるように、経過時間Ｔ1において、軸受１１の温度(実際に観測された温度)に基づく軸受１１の変化をｆ(t1r)とし、それまでの(例えば、初期設定された)予測寿命変化曲線をＬ0としたとき、それまでの予測寿命変化曲線Ｌ0に基づく時間Ｔ1における軸受の変化ｆ(t1)との差が予測寿命の許容範囲ＰＲよりも小さいかどうか(｜ｆ(t1)−ｆ(t1r)｜＜ＰＲ)を判定する。

ステップＳＴ２４において、軸受１１の温度に基づく軸受１１の変化が予測寿命の許容範囲内である(ＳＴ２４：ＹＥＳ)、すなわち、｜ｆ(t1)−ｆ(t1r)｜＜ＰＲが成立すると判定すると、ステップＳＴ２５に進んで、プラスの報酬を設定してステップＳＴ２７に進む。一方、ステップＳＴ２４において、軸受１１の温度に基づく軸受１１の変化が予測寿命の許容範囲内ではない(ＳＴ２４：ＮＯ)、すなわち、｜ｆ(t1)−ｆ(t1r)｜≧ＰＲであると判定すると、ステップＳＴ２６に進んで、マイナスの報酬を設定してステップＳＴ２７に進む。

ステップＳＴ２７では、ステップＳＴ２５による「プラス報酬」並びにステップＳＴ２６およびＳＴ２８による「マイナス報酬」の報酬計算を行い、ステップＳＴ２９に進んで、予測寿命を更新(価値関数更新部２２２による価値関数の更新)を行い、ステップＳＴ２２に戻り、同様の処理を繰り返す。なお、図７では、軸受１１の振動および温度に基づいて学習処理を行う場合を説明したが、さらに他の状態変数を使用することもできるのは、前述した通りである。

以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。

１ センサが設けられた軸受
２ 機械学習装置
３ 制御装置
４ 軸受寿命表示器
５ 信号線
６ ネットワーク
１１ 軸受
１２ センサ
２１ 状態観測部
２２ 学習部
２３ 意思決定部
２４ データ取得部
２２１ 報酬計算部
２２２ 価値関数更新部

Claims (15)

1. 軸受の予測寿命を学習する機械学習装置であって、
   前記軸受の振動，音，温度および荷重の少なくとも１つを含む状態変数を観測する状態観測部と、
   前記状態観測部の出力に基づいて、前記軸受の予測寿命を学習する学習部と、を備える、
   ことを特徴とする機械学習装置。
2. さらに、
   前記学習部が学習した前記予測寿命を参照して、前記軸受の寿命を予測する予測寿命変化曲線を決定する意思決定部を備える、
   ことを特徴とする請求項１に記載の機械学習装置。
3. 前記学習部は、
   前記状態観測部の出力に基づいて報酬を計算する報酬計算部と、
   前記状態観測部の出力および前記報酬計算部の出力に基づいて、前記軸受の予測寿命に関する価値関数を、前記報酬に応じて更新する価値関数更新部と、を備える、
   ことを特徴とする請求項１または請求項２に記載の機械学習装置。
4. 前記報酬計算部は、
   前記状態変数に基づく前記軸受の状態変化の推移と、予測した状態変化の相違量が所定の値以上のときにマイナスの報酬を与え、
   前記状態変数に基づく前記軸受の状態変化の推移と、予測した状態変化の相違量が所定の値よりも小さいときにプラスの報酬を与える、
   ことを特徴とする請求項３に記載の機械学習装置。
5. さらに、
   前記軸受の種類，大きさ，環境条件，使用条件および稼働時間の少なくとも１つを含むデータを取得するデータ取得部を備え、
   前記学習部は、前記状態観測部の出力および前記データ取得部の出力に基づいて、前記軸受の予測寿命を学習する、
   ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の機械学習装置。
6. 前記学習部は、複数の軸受の予測寿命において、前記データ取得部の出力に基づいて規定された軸受の予測寿命を学習する、
   ことを特徴とする請求項５に記載の機械学習装置。
7. 前記学習部は、ニューラルネットワークを備える、
   ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の機械学習装置。
8. 前記機械学習装置は、ネットワークを介して他の機械学習装置と相互にデータを共有または交換するようになっている、
   ことを特徴とする請求項１乃至請求項７のいずれか１項に記載の機械学習装置。
9. 前記学習部は、前記他の機械学習装置の学習部で更新された他の行動価値テーブルを用いて、自己の行動価値テーブルを更新する、
   ことを特徴とする請求項８に記載の機械学習装置。
10. 前記機械学習装置は、クラウドサーバ上に存在する、
    ことを特徴とする請求項１乃至請求項９のいずれか１項に記載の機械学習装置。
11. 請求項１乃至請求項１０のいずれか１項に記載の機械学習装置と、
    前記学習された前記軸受の予測寿命を表示する軸受寿命表示器と、を備える、
    ことを特徴とする寿命予測装置。
12. 軸受の予測寿命を学習する機械学習方法であって、
    前記軸受の振動，音，温度および荷重の少なくとも１つを含む状態変数を観測し、
    観測された前記状態変数に基づいて、前記軸受の予測寿命を学習する、
    ことを特徴とする機械学習方法。
13. さらに、
    前記学習部が学習した前記予測寿命を参照して、前記軸受の寿命を予測する予測寿命変化曲線を決定する、
    ことを特徴とする請求項１２に記載の機械学習方法。
14. 前記予測寿命の学習は、
    観測された前記状態変数に基づいて、報酬を計算し、
    観測された前記状態変数、および、計算された前記報酬に基づいて、前記軸受の予測寿命に関する価値関数を、前記報酬に応じて更新する、
    ことを特徴とする請求項１２または請求項１３に記載の機械学習方法。
15. 前記報酬の計算は、
    前記状態変数に基づく前記軸受の状態変化の推移と、予測した状態変化の相違量が所定の値以上のときにマイナスの報酬を与え、
    前記状態変数に基づく前記軸受の状態変化の推移と、予測した状態変化の相違量が所定の値よりも小さいときにプラスの報酬を与える、
    ことを特徴とする請求項１４に記載の機械学習方法。

Images