JP2018180951A - 回路構成最適化装置及び機械学習装置 - Google Patents

Abstract

【課題】ＦＰＧＡデバイスの誤動作が発生する頻度を低減させることが可能な回路構成最適化装置及び機械学習装置を提供すること。
【解決手段】本発明の回路構成最適化装置１０は、ＦＰＧＡデバイスの回路構成を学習する機械学習装置２０を備え、該機械学習装置２０は、ＦＰＧＡデバイスの回路構成を示すＦＰＧＡデバイスの回路構成データ、及びＦＰＧＡデバイスのエラー発生状態を示すＦＰＧＡエラー発生状態データを、環境の現在状態を表す状態変数として観測する状態観測部２２と、ＦＰＧＡデバイス動作状態の適否判定結果を示す判定データを取得する判定データ取得部２４と、状態変数と判定データとを用いて、ＦＰＧＡデバイスの回路構成をＦＰＧＡエラー発生状態データと関連付けて学習する学習部２６と、を備える。
【選択図】図１

Description

本発明は、回路構成最適化装置及び機械学習装置に関する。

製造時に全ての回路が固定される通常の集積回路に対し、出荷後にユーザが所望の回路構成を設定して機能させることができるデバイスであるプログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）がある。このようなデバイスの一種であるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）は、プログラム可能な論理コンポーネントである論理ブロックを組み合わせることにより、単純な論理回路からメモリ要素を含む複雑な回路まで、必要に応じてＦＰＧＡを使用している現場で構成して使用することができる。ＦＰＧＡでは、このような回路をパッケージ上の任意の位置に構築することができる。

ＦＰＧＡデバイスに対して中性子線が突入すると、該中性子線はパッケージ内のボロンなどと衝突してα線を含む大量のイオンが発生し、このα線が原因となりシリコン内部の電位が反転し、ソフトエラーが発生する。なお、ＦＰＧＡデバイスのソフトエラーに係る従来技術として、例えば特許文献１，２には、ソフトエラーの発生を検出する技術が開示されている。

特開２００６−３４４２２３号公報 特開２０１６−１６７６６９号公報

ＦＰＧＡデバイスにおけるソフトエラーの発生確率は、ＦＰＧＡデバイスを構成するパッケージ材に含まれるボロンなどの密度（ボロン濃度の高さ）に応じて変化する。図９は、ＦＰＧＡデバイスの概略構造図を示している。図９に示すように、ＦＰＧＡデバイス内においてボロンの濃度が高い領域がある場合、当該領域ではソフトエラーが発生する確率が高くなるため、当該領域には回路を配置しないようにするか、または、エラー訂正機能や冗長性を持たせたノイズに強い回路を配置することでソフトエラー対策を行う。

上記したように、ＦＰＧＡデバイス毎にソフトエラー発生頻度の高いＦＰＧＡの論理回路領域は異なるが、ソフトエラー対策を効率よく行うためには、ＦＰＧＡデバイス上のいずれの位置でソフトエラーが発生し易いのかを把握する必要がある。

そこで本発明の目的は、ＦＰＧＡデバイスの誤動作が発生する頻度を低減させることが可能な回路構成最適化装置及び機械学習装置を提供することである。

本発明の回路構成最適化装置では、ＦＰＧＡデバイスにおけるソフトエラーの発生回数をＦＰＧＡデバイス上の位置と関連付けて記憶し、記憶したソフトエラーの発生回数と、ＦＰＧＡデバイスの処理速度、発熱量、消費電力等を含むＦＰＧＡデバイスのエラー発生状態に係るデータを収集し、これらを状態データとした機械学習を行うことにより、ＦＰＧＡデバイスの安定した動作が得られる最適な回路構成を導出できるようにする。

そして、本発明の一態様は、ＦＰＧＡデバイスの回路構成と配置の最適化を行う回路構成最適化装置であって、前記ＦＰＧＡデバイスの回路構成を学習する機械学習装置を備え、前記機械学習装置は、前記ＦＰＧＡデバイスの回路構成を示すＦＰＧＡデバイスの回路構成データ、及び前記ＦＰＧＡデバイスのエラー発生状態を示すＦＰＧＡエラー発生状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記ＦＰＧＡデバイス動作状態の適否判定結果を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記ＦＰＧＡデバイスの回路構成を前記ＦＰＧＡエラー発生状態データと関連付けて学習する学習部と、を備える回路構成最適化装置である。

本発明の他の態様は、ＦＰＧＡデバイスの回路構成を学習する機械学習装置であって、前記ＦＰＧＡデバイスの回路構成を示すＦＰＧＡデバイスの回路構成データ、及び前記ＦＰＧＡデバイスのエラー発生状態を示すＦＰＧＡエラー発生状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記ＦＰＧＡデバイス動作状態の適否判定結果を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記ＦＰＧＡデバイスの回路構成を前記ＦＰＧＡエラー発生状態データと関連付けて学習する学習部と、を備える機械学習装置である。

本発明により、学習結果に基づいてＦＰＧＡデバイスの回路構成を決定することで、ＦＰＧＡデバイスの誤動作する頻度を低減させ、ＦＰＧＡデバイスを搭載した装置の稼働率を向上させることができる。

第１の実施形態による回路構成最適化装置の概略的な機能ブロック図である。 回路構成データＳ１を例示する図である。 回路構成最適化装置の一形態を示す概略的な機能ブロック図である。 機械学習方法の一形態を示す概略的なフローチャートである。 ニューロンを説明する図である。 ニューラルネットワークを説明する図である。 第２の実施形態による回路構成最適化装置の概略的な機能ブロック図である。 回路構成最適化装置を組み込んだシステムの一形態を示す概略的な機能ブロック図である。 回路構成最適化装置を組み込んだシステムの他の形態を示す概略的な機能ブロック図である。 ＦＰＧＡデバイスの概略構造図である。

以下、本発明の実施形態を図面と共に説明する。
図１は、第１の実施形態による回路構成最適化装置１０の概略的な機能ブロック図である。回路構成最適化装置１０は、例えば、機械（図示せず）に搭載されたＦＰＧＡデバイスを再構成（リコンフィギュア）するためのシステム（図示せず）の一部として実装することができる。回路構成最適化装置１０は、ＦＰＧＡデバイス内に配置される回路の回路構成最適値を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（コンピュータのＣＰＵ等）を含む機械学習装置２０を備える。回路構成最適化装置１０が備える機械学習装置２０が学習する回路構成最適値は、ＦＰＧＡデバイスのエラー発生状態に係る情報と、ＦＰＧＡデバイスの回路構成との、相関性を表すモデル構造に相当する。

図１に機能ブロックで示すように、回路構成最適化装置１０が備える機械学習装置２０は、ＦＰＧＡデバイスのエラー発生に係る状態に対して設定されたＦＰＧＡデバイスの回路構成を示す回路構成データＳ１と、ＦＰＧＡデバイスのエラー発生に係る状態を示すＦＰＧＡエラー発生状態データＳ２を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部２２と、設定されたＦＰＧＡデバイスの回路構成の元でのＦＰＧＡデバイスの動作状態の適否判定結果を示す判定データＤを取得する判定データ取得部２４と、状態変数Ｓと判定データＤとを用いて、回路構成データＳ１にＦＰＧＡエラー発生状態データＳ２を関連付けて学習する学習部２６とを備える。

状態観測部２２は、例えばコンピュータのＣＰＵの一機能として構成できる。或いは状態観測部２２は、例えばコンピュータのＣＰＵを機能させるためのソフトウェアとして構成できる。状態観測部２２が観測する状態変数Ｓのうち、回路構成データＳ１は、例えば熟練した回路設計者により申告されて回路構成最適化装置１０に与えられるＦＰＧＡデバイスの回路構成の申告データを用いたり、ＦＰＧＡデバイスを再構成するシステムから取得したＦＰＧＡデバイスの回路構成に係るデータなどを用いたりすることができる。

回路構成データＳ１は、一例として、ＦＰＧＡデバイスの各位置に配置される論理回路、及び各論理回路の種類を用いることができる。このようにする場合、ＦＰＧＡデバイスの各位置に配置される論理回路については、例えば図２に示すように、ＦＰＧＡデバイス上の領域をｍ×ｎのマトリクス状に分割した部分領域を配列として表現し、各配列の要素として論理回路のいずれを配置したのかを当該論理回路の識別子を当て嵌めることにより表現することができる。また、論理回路の種類については、通常の論理回路、面積を縮小した論理回路（全体を小機能化する代わりに面積を縮小することでソフトエラー率を低下させた論理回路）、多重化論理回路（論理回路を多重化することによりソフトエラー率を低下させた論理回路、論理回路の面積が増加する）、エラー訂正回路付論理回路（論理回路にＥＣＣなどのエラー訂正回路を負荷することによりソフトエラー率を低下させた論理回路、動作速度が低下し、発熱量及び商品電力が増加する）などの論理回路の構成方法の種類を識別子で表現したものとすれば良い。

また、状態変数Ｓのうち、ＦＰＧＡエラー発生状態データＳ２は、例えばＦＰＧＡデバイスのエラー検出手段（図示せず）が検出した値を用いることができる。ＦＰＧＡエラー発生状態データＳ２は、一例として、ＦＰＧＡデバイスの各位置におけるソフトエラーの発生頻度を用いることができる。このようにする場合、例えばＦＰＧＡデバイス上の領域をｍ×ｎのマトリクス状に分割した部分領域毎に、ソフトエラーの発生履歴を回路構成最適化装置１０のメモリ（図示せず）に記憶しておき、該履歴情報に基づいて算出したＦＰＧＡデバイスの部分領域毎のソフトエラーの発生頻度を算出し、これを用いるようにすれば良い。ＦＰＧＡエラー発生状態データＳ２は、エラー検出手段がＦＰＧＡデバイス上でソフトエラーが発生した位置（部分領域）を特定できるのであれば、当該部分領域でのエラー発生頻度を更新し、エラー検出手段がＦＰＧＡデバイス上でのいずれの論理回路でソフトエラーが発生したのかを特定できるのであれば、当該ソフトエラーが発生した論理回路が配置されている全ての部分領域におけるエラーの発生頻度を更新するようにすれば良い。ソフトエラーの発生頻度を算出するための履歴情報は、ＦＰＧＡデバイス上の論理回路の再構成が為される度にメモリ上の退避領域に（１サイクル前のソフトエラーの履歴情報として）バックアップして、新たに履歴情報を記録するようにする。

判定データ取得部２４は、例えばコンピュータのＣＰＵの一機能として構成できる。或いは判定データ取得部２４は、例えばコンピュータのＣＰＵを機能させるためのソフトウェアとして構成できる。判定データ取得部２４が取得する判定データＤは、ＦＰＧＡデバイス上の回路が再構成された後で、例えば上記したＦＰＧＡデバイスの部分領域毎の新たに記録された履歴情報（すなわち、ＦＰＧＡデバイスの再構成後に記憶された履歴情報）に基づいて算出されるエラー発生頻度を用いることができ、また、必要に応じて、ＦＰＧＡデバイスが搭載された装置内に設けられた熱センサ等により実測されたＦＰＧＡデバイスの発熱量、消費電力計などにより実測されたＦＰＧＡデバイスの消費電力量、タイマ等により実測されたＦＰＧＡデバイスの動作時間などを用いることもできる。判定データＤは、状態変数Ｓの下でのＦＰＧＡデバイスを動作させた時の結果を表す指標である。

このように、回路構成最適化装置１０が備える機械学習装置２０が学習を進める間、環境においては、ＦＰＧＡエラー発生状態データＳ２の取得、ＦＰＧＡデバイス上の論理回路の再構成、センサなどによる判定データＤの取得が繰り返し実施される。

学習部２６は、例えばコンピュータのＣＰＵの一機能として構成できる。或いは学習部２６は、例えばコンピュータのＣＰＵを機能させるためのソフトウェアとして構成できる。学習部２６は、機械学習と総称される任意の学習アルゴリズムに従い、ＦＰＧＡデバイスの回路構成を学習する。学習部２６は、ＦＰＧＡデバイスの回路構成に対して、前述した状態変数Ｓと判定データＤとを含むデータ集合に基づく学習を反復実行することができる。ＦＰＧＡデバイスの再構成に対する学習サイクルの反復中、状態変数Ｓのうち、ＦＰＧＡエラー発生状態データＳ２は、上記したバックアップされた１サイクル前のソフトエラーの履歴情報に基づいて算出されたソフトエラーの発生頻度とし、発生頻度回路構成データＳ１は、前回までの学習サイクルで得たＦＰＧＡデバイスの回路構成とし、また判定データＤは、当該ＦＰＧＡデバイスの回路構成の元でのＦＰＧＡデバイスの動作状態に対する適否判定結果とする。

このような学習サイクルを繰り返すことにより、学習部２６は、ＦＰＧＡデバイスのエラー発生状態（ＦＰＧＡエラー発生状態データＳ２）とＦＰＧＡデバイスの回路構成との相関性を暗示する特徴を自動的に識別することができる。学習アルゴリズムの開始時にはＦＰＧＡエラー発生状態データＳ２とＦＰＧＡデバイスの回路構成との相関性は実質的に未知であるが、学習部２６は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。ＦＰＧＡエラー発生状態データＳ２とＦＰＧＡデバイスの回路構成との相関性が、ある程度信頼できる水準まで解釈されると、学習部２６が反復出力する学習結果は、現在状態（つまりＦＰＧＡデバイスのエラー発生状態）に対してどのようなＦＰＧＡデバイスの回路構成とするべきかと言う行動の選択（つまり意思決定）を行うために使用できるものとなる。つまり学習部２６は、学習アルゴリズムの進行に伴い、ＦＰＧＡデバイスのエラー発生状態と、当該状態に対してどのようなＦＰＧＡデバイスの回路構成とするべきかという行動との、相関性を最適解に徐々に近づけることができる。

上記したように、回路構成最適化装置１０が備える機械学習装置２０は、状態観測部２２が観測した状態変数Ｓと判定データ取得部２４が取得した判定データＤとを用いて、学習部２６が機械学習アルゴリズムに従い、ＦＰＧＡデバイスの回路構成を学習するものである。状態変数Ｓは、回路構成データＳ１及びＦＰＧＡエラー発生状態データＳ２といった、外乱の影響を受け難いデータで構成され、また判定データＤは、ＦＰＧＡデバイスが搭載された装置内に設けられた熱センサ等により実測されたＦＰＧＡデバイスの発熱量、消費電力計などにより実測されたＦＰＧＡデバイスの消費電力量、タイマ等により実測されたＦＰＧＡデバイスの動作時間、上記したＦＰＧＡデバイスの部分領域毎のエラー発生頻度などを取得することにより一義的に求められる。したがって、回路構成最適化装置１０が備える機械学習装置２０によれば、学習部２６の学習結果を用いることで、ＦＰＧＡデバイスのエラー発生状態に応じた、ＦＰＧＡデバイスの回路構成を、演算や目算によらずに自動的に、しかも正確に求めることができるようになる。

ＦＰＧＡデバイスの回路構成を、演算や目算によらずに自動的に求めることができれば、ＦＰＧＡデバイスのエラー発生状態（ＦＰＧＡエラー発生状態データＳ２）を把握するだけで、適切なＦＰＧＡデバイスの回路構成を迅速に決定することができる。したがって、ＦＰＧＡデバイスの回路の再構成を効率よく行うことができる。

回路構成最適化装置１０が備える機械学習装置２０の一変形例として、状態観測部２２は、状態変数Ｓとして、ＦＰＧＡデバイスが搭載された装置内に設けられた熱センサ等により実測されたＦＰＧＡデバイスの発熱量、消費電力計などにより実測されたＦＰＧＡデバイスの消費電力量、タイマ等により実測されたＦＰＧＡデバイスの動作時間等を含むＦＰＧＡ動作状態データＳ３を更に観測することができる。このようにする場合、該ＦＰＧＡデバイスの回路構成を、ＦＰＧＡエラー発生状態データＳ２に加えて、ＦＰＧＡ動作状態データＳ３の双方と関連付けて学習することができる。

上記変形例によれば、機械学習装置２０は、ＦＰＧＡデバイスの回路を再構成する際に、該ＦＰＧＡデバイスの部分領域毎のエラー発生頻度だけでなく、ＦＰＧＡデバイスの発熱量や消費電力量、動作速度などを考慮に入れたＦＰＧＡデバイスの回路構成を学習することができる。このようにすることで、あるエラー発生状態において、当該エラー発生状態に対してエラーの発生頻度を低減させるＦＰＧＡデバイスの回路構成が複数考えられる場合に、より発熱量が低い、より消費電力が低い、又はより動作速度の速いＦＰＧＡデバイスの回路構成を優先して選択することができるようになる。

回路構成最適化装置１０が備える機械学習装置２０の他の変形例として、学習部２６は、同一の論理回路が構成されたＦＰＧＡデバイスを搭載した複数の装置のそれぞれについて得られた状態変数Ｓ及び判定データＤを用いて、それら装置におけるＦＰＧＡデバイスの回路構成を学習することができる。この構成によれば、一定時間で得られる状態変数Ｓと判定データＤとを含むデータ集合の量を増加できるので、より多様なデータ集合を入力として、ＦＰＧＡデバイスの回路構成の学習の速度や信頼性を向上させることができる。

上記構成を有する機械学習装置２０では、学習部２６が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図３は、図１に示す回路構成最適化装置１０の一形態であって、学習アルゴリズムの一例として強化学習を実行する学習部２６を備えた構成を示す。強化学習は、学習対象が存在する環境の現在状態（つまり入力）を観測するとともに現在状態で所定の行動（つまり出力）を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策（本願の機械学習装置ではＦＰＧＡデバイスの回路構成）を最適解として学習する手法である。

図３に示す回路構成最適化装置１０が備える機械学習装置２０において、学習部２６は、状態変数Ｓに基づいてＦＰＧＡデバイスの動作状態の適否判定結果（次の学習サイクルで用いられる判定データＤに相当）に関連する報酬Ｒを求める報酬計算部２８と、報酬Ｒを用いて、ＦＰＧＡデバイスの回路構成の価値を表す関数Ｑを更新する価値関数更新部３０とを備える。学習部２６は、価値関数更新部３０が関数Ｑの更新を繰り返すことによってＦＰＧＡデバイスのエラー発生状態に対するＦＰＧＡデバイスの回路構成を学習する。

学習部２６が実行する強化学習のアルゴリズムの一例を説明する。この例によるアルゴリズムは、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）として知られるものであって、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す関数Ｑ（ｓ，ａ）を学習する手法である。状態ｓで価値関数Ｑが最も高くなる行動ａを選択することが最適解となる。状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、価値関数Ｑを反復して更新し、最適解に近付ける。ここで、状態ｓで行動ａを選択した結果として環境（つまり状態ｓ）が変化したときに、その変化に応じた報酬（つまり行動ａの重み付け）ｒが得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、価値関数Ｑを比較的短時間で最適解に近付けることができる。

価値関数Ｑの更新式は、一般に下記の数１式のように表すことができる。数１式において、ｓ_t及びａ_tはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_tにより状態はｓ_t+1に変化する。ｒ_t+1は、状態がｓ_tからｓ_t+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意設定される。

学習部２６がＱ学習を実行する場合、状態観測部２２が観測した状態変数Ｓ及び判定データ取得部２４が取得した判定データＤは、更新式の状態ｓに該当し、現在状態（つまりＦＰＧＡデバイスのエラー発生状態）に対するＦＰＧＡデバイスの回路構成をどのように変更するべきかという行動は、更新式の行動ａに該当し、報酬計算部２８が求める報酬Ｒは、更新式の報酬ｒに該当する。よって価値関数更新部３０は、現在状態に対するＦＰＧＡデバイスの回路構成の価値を表す関数Ｑを、報酬Ｒを用いたＱ学習により繰り返し更新する。

報酬計算部２８が求める報酬Ｒは、例えば、ＦＰＧＡデバイスの回路構成を決定した後に該ＦＰＧＡデバイスの回路構成に基づいてＦＰＧＡデバイスを動作させたときに、該ＦＰＧＡデバイスの動作状態が「適」と判定される場合（例えば、ＦＰＧＡデバイスの各部分領域におけるソフトエラー発生頻度が許容できる範囲内の場合、ＦＰＧＡデバイスの発熱量が許容できる範囲内の場合、ＦＰＧＡデバイスの消費電力量が許容できる範囲内の場合、ＦＰＧＡデバイスの動作速度が許容できる範囲内の場合、など）に正（プラス）の報酬Ｒとし、ＦＰＧＡデバイスの回路構成を決定した後に該ＦＰＧＡデバイスの回路構成に基づいてＦＰＧＡデバイスを動作させたときに、該ＦＰＧＡデバイスの動作状態が「否」と判定される場合（例えば、ＦＰＧＡデバイスの各部分領域におけるソフトエラー発生頻度が許容できる範囲外の場合、ＦＰＧＡデバイスの発熱量が許容できる範囲外の場合、ＦＰＧＡデバイスの消費電力量が許容できる範囲外の場合、ＦＰＧＡデバイスの動作速度が許容できる範囲外の場合、など）に負（マイナス）の報酬Ｒとすることができる。正負の報酬Ｒの絶対値は、互いに同一であっても良いし異なっていても良い。また、判定の条件として、判定データＤに含まれる複数の値を組み合わせて判定するようにしても良い。更に、ＦＰＧＡデバイスの各部分領域におけるソフトエラー発生頻度についての報酬を求める際には、報酬計算部２８は、各部分領域におけるソフトエラー発生頻度の最大値や上位の所定の部分領域のソフトエラー発生頻度の平均値等の統計地を用いて適否の判定をするようにしても良い。

また、ＦＰＧＡデバイスの動作状態の適否判定結果を、「適」及び「否」の二通りだけでなく複数段階に設定することができる。例として、ＦＰＧＡデバイスの発熱量の許容範囲の最大値がＴ_maxの場合、ＦＰＧＡデバイスの発熱量Ｔが、０≦Ｔ＜Ｔ_max／５のときは報酬Ｒ＝５を与え、Ｔ_max／５≦Ｔ＜Ｔ_max／２のときは報酬Ｒ＝２を与え、Ｔ_max／２≦Ｔ≦Ｔ_maxのときは報酬Ｒ＝１を与えるような構成とすることができる。さらに、学習の初期段階はＴ_maxを比較的大きく設定し、学習が進行するにつれてＴ_maxを縮小する構成とすることもできる。

なお、学習部２６が学習した結果に基づいてＦＰＧＡデバイスの回路構成を決定した際に、該決定した回路構成に基づいてＦＰＧＡデバイスを再構成しようとしてもエラーとなる場合がある（論理回路を構成する面積が足りない、配線ができないなど）。このような場合に、再び同じ状態に対するＦＰＧＡデバイスの回路構成の決定し直しが行われるが、その前に、報酬計算部２８が求める報酬Ｒを大きな負（マイナス）の報酬Ｒとして学習を進めておく。このようにすることで、次サイクル以降では同じ状態において当該回路構成が選択されることがなくなる。

価値関数更新部３０は、状態変数Ｓと判定データＤと報酬Ｒとを、関数Ｑで表される行動価値（例えば数値）と関連付けて整理した行動価値テーブルを持つことができる。この場合、価値関数更新部３０が関数Ｑを更新するという行為は、価値関数更新部３０が行動価値テーブルを更新するという行為と同義である。Ｑ学習の開始時には環境の現在状態とＦＰＧＡデバイスの回路構成との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Ｓと判定データＤと報酬Ｒとが、無作為に定めた行動価値の値（関数Ｑ）と関連付けた形態で用意されている。なお報酬計算部２８は、判定データＤがわかればこれ対応する報酬Ｒを直ちに算出でき、算出した値Ｒが行動価値テーブルに書き込まれる。

ＦＰＧＡデバイスの動作状態の適否判定結果に応じた報酬Ｒを用いてＱ学習を進めると、より高い報酬Ｒが得られる行動を選択する方向へ学習が誘導され、選択した行動を現在状態で実行した結果として変化する環境の状態（つまり状態変数Ｓ及び判定データＤ）に応じて、現在状態で行う行動についての行動価値の値（関数Ｑ）が書き換えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値（関数Ｑ）は、適正な行動ほど大きな値となるように書き換えられる。このようにして、未知であった環境の現在状態（ＦＰＧＡデバイスのエラー発生状態）とそれに対する行動（ＦＰＧＡデバイスの回路構成の決定）との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、ＦＰＧＡデバイスのエラー発生状態と、ＦＰＧＡデバイスの回路構成との関係が最適解に徐々に近づけられる。

図４を参照して、学習部２６が実行する上記したＱ学習のフロー（つまり機械学習方法の一形態）をさらに説明する。まずステップＳＡ０１で、価値関数更新部３０は、その時点での行動価値テーブルを参照しながら、状態観測部２２が観測した状態変数Ｓが示す現在状態で行う行動としてＦＰＧＡデバイスの回路構成を無作為に選択する。次に価値関数更新部３０は、ステップＳＡ０２で、状態観測部２２が観測している現在状態の状態変数Ｓを取り込み、ステップＳＡ０３で、判定データ取得部２４が取得している現在状態の判定データＤを取り込む。次に価値関数更新部３０は、ステップＳＡ０４で、判定データＤに基づき、ＦＰＧＡデバイスの回路構成が適当であったか否かを判断し、適当であった場合、ステップＳＡ０５で、報酬計算部２８が求めた正の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。ステップＳＡ０４で、ＦＰＧＡデバイスの回路構成が適当でなかったと判断した場合、ステップＳＡ０７で、報酬計算部２８が求めた負の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。学習部２６は、ステップＳＡ０１〜ＳＡ０７を繰り返すことで行動価値テーブルを反復して更新し、ＦＰＧＡデバイスの回路構成の学習を進行させる。なお、ステップＳＡ０４からステップＳＡ０７までの報酬Ｒを求める処理及び価値関数の更新処理は、判定データＤに含まれるそれぞれのデータについて実行される。

前述した強化学習を進める際に、例えばＱ学習の代わりに、ニューラルネットワークを用いることができる。図５Ａは、ニューロンのモデルを模式的に示す。図５Ｂは、図５Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。

図５Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ₁〜入力ｘ₃）に対する結果ｙを出力するものである。各入力ｘ₁〜ｘ₃には、この入力ｘに対応する重みｗ（ｗ₁〜ｗ₃）が掛けられる。これにより、ニューロンは、次の数２式により表現される出力ｙを出力する。なお、数２式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆ_kは活性化関数である。

図５Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す)が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。

図５Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入力ベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してＷ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みＷ１と重みＷ２との間の特徴を表す。

図５Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してＷ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。

回路構成最適化装置１０が備える機械学習装置２０においては、状態変数Ｓと判定データＤとを入力ｘとして、学習部２６が上記したニューラルネットワークに従う多層構造の演算を行うことで、ＦＰＧＡデバイスの回路構成（結果ｙ）を出力することができる。なおニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みＷを学習し、学習した重みＷを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。

上記した回路構成最適化装置１０の構成は、コンピュータのＣＰＵが実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、ＦＰＧＡデバイスの回路構成を学習する機械学習方法であって、コンピュータのＣＰＵが、ＦＰＧＡデバイスの回路構成を示す回路構成データＳ１、及びＦＰＧＡデバイスのエラー発生状態を示すＦＰＧＡエラー発生状態データＳ２を、ＦＰＧＡデバイスが動作する環境の現在状態を表す状態変数Ｓとして観測するステップと、ＦＰＧＡデバイスの動作状態の適否判定結果を示す判定データＤを取得するステップと、状態変数Ｓと判定データＤとを用いて、ＦＰＧＡデバイスの回路構成とＦＰＧＡエラー発生状態データＳ２とを関連付けて学習するステップとを有する。

図６は、第２の実施形態による回路構成最適化装置４０を示す。回路構成最適化装置４０は、機械学習装置５０と、状態観測部２２が観測する状態変数Ｓの回路構成データＳ１及びＦＰＧＡエラー発生状態データＳ２を状態データＳ０として取得する状態データ取得部４２とを備える。状態データ取得部４２が取得する状態データＳ０は、ＦＰＧＡ動作状態データＳ３を含むこともできる。状態データ取得部４２は、装置が備える各種センサや、前述したエラー検出装置、作業者による適宜のデータ入力等から、状態データＳ０を取得することができる。

回路構成最適化装置４０が有する機械学習装置５０は、ＦＰＧＡデバイスの回路構成を機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（コンピュータのＣＰＵ等）に加えて、学習したＦＰＧＡデバイスの回路構成をＦＰＧＡデバイスの回路構成を再構成するシステム（図示せず）への指令として出力するためのソフトウェア（演算アルゴリズム等）及びハードウェア（コンピュータのＣＰＵ等）を含むものである。回路構成最適化装置４０が含む機械学習装置５０は、１つの共通のＣＰＵが、学習アルゴリズム、演算アルゴリズム等の全てのソフトウェアを実行する構成を有することもできる。

意思決定部５２は、例えばコンピュータのＣＰＵの一機能として構成できる。或いは意思決定部５２は、例えばコンピュータのＣＰＵを機能させるためのソフトウェアとして構成できる。意思決定部５２は、学習部２６が学習したＦＰＧＡデバイスのエラー発生状態に対するＦＰＧＡデバイスの回路構成に基づいてＦＰＧＡデバイスの回路の再構成に係る指令値Ｃを生成し、生成した指令値Ｃとして出力する。意思決定部５２がＦＰＧＡデバイスの回路の再構成に係る指令値ＣをＦＰＧＡデバイスの回路構成を再構成するシステムに対して出力した場合、これに応じて、環境の状態（回路構成データＳ１）が変化する。

状態観測部２２は、意思決定部５２による環境へのＦＰＧＡデバイスの回路の再構成に係る指令値Ｃを出力した後に変化した回路構成データＳ１を含む状態変数Ｓを次の学習サイクルにおいて観測する。学習部２６は、変化した状態変数Ｓを用いて、例えば価値関数Ｑ（すなわち行動価値テーブル）を更新することで、ＦＰＧＡデバイスの回路構成を学習する。意思決定部５２は、学習したＦＰＧＡデバイスの回路構成の下で状態変数Ｓに応じてＦＰＧＡデバイスの回路の再構成に係る指令値ＣをＦＰＧＡデバイスの回路構成を再構成するシステムへと出力する。このサイクルを繰り返すことにより、機械学習装置５０はＦＰＧＡデバイスの回路構成の学習を進め、自身が決定するＦＰＧＡデバイスの回路構成の信頼性を徐々に向上させる。

上記構成を有する回路構成最適化装置４０が備える機械学習装置５０は、前述した機械学習装置２０と同等の効果を奏する。特に機械学習装置５０は、意思決定部５２の出力によって環境の状態を変化させることができる。他方、機械学習装置２０では、学習部２６の学習結果を環境に反映させるための意思決定部に相当する機能を、外部装置に求めることができる。

図７は、産業機械６０を備えた一実施形態によるシステム７０を示す。システム７０は、少なくとも同一の機械構成を有する複数の産業機械６０、６０’と、それら産業機械６０、６０’を互いに接続する有線／無線のネットワーク７２とを備え、複数の産業機械６０、６０’のうち少なくとも１つが、上記した回路構成最適化装置４０を備える産業機械６０として構成される。またシステム７０は、回路構成最適化装置４０を備えない産業機械６０’を含むことができる。産業機械６０、６０’は、同じ目的で構成された論理回路が内部に構成されるＦＰＧＡデバイスが搭載されると共に、該ＦＰＧＡデバイスの回路を再構成するための構成を有する。

上記構成を有するシステム７０は、複数の産業機械６０、６０’のうちで回路構成最適化装置４０を備える産業機械６０が、学習部２６の学習結果を用いて、ＦＰＧＡデバイスのエラー発生状態に応じたＦＰＧＡデバイスの回路構成を、演算や目算によらずに自動的に、しかも正確に求めることができる。また、少なくとも１つの産業機械６０の回路構成最適化装置４０が、他の複数の産業機械６０、６０’のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全ての産業機械６０、６０’に共通するＦＰＧＡデバイスの回路構成を学習し、その学習結果を全ての産業機械６０、６０’が共有するように構成できる。したがってシステム７０によれば、より多様なデータ集合（状態変数Ｓ及び判定データＤを含む）を入力として、ＦＰＧＡデバイスの回路構成の学習の速度や信頼性を向上させることができる。

図８は、産業機械６０’を備えた他の実施形態によるシステム７０’を示す。システム７０’は、機械学習装置５０（又は２０）と、同一の機械構成を有する複数の産業機械６０’と、それら産業機械６０’と機械学習装置５０（又は２０）とを互いに接続する有線／無線のネットワーク７２とを備える。

上記構成を有するシステム７０’は、機械学習装置５０（又は２０）が、複数の産業機械６０’のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全ての産業機械６０’に共通するＦＰＧＡデバイスのエラー発生状態に応じたＦＰＧＡデバイスの回路構成を学習し、その学習結果を用いて、ＦＰＧＡデバイスのエラー発生状態に応じたＦＰＧＡデバイスの回路構成を、演算や目算によらずに自動的に、しかも正確に求めることができる。

システム７０’は、機械学習装置５０（又は２０）が、ネットワーク７２に用意されたクラウドサーバ等に存在する構成を有することができる。この構成によれば、複数の産業機械６０’のそれぞれが存在する場所や時期に関わらず、必要なときに必要な数の産業機械６０’を機械学習装置５０（又は２０）に接続することができる。

システム７０、７０’に従事する作業者は、機械学習装置５０（又は２０）による学習開始後の適当な時期に、機械学習装置５０（又は２０）によるＦＰＧＡデバイスの回路構成の学習の到達度（すなわちＦＰＧＡデバイスの回路構成の信頼性）が要求レベルに達したか否かの判断を実行することができる。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

例えば、機械学習装置２０，５０が実行する学習アルゴリズム、機械学習装置５０が実行する演算アルゴリズム、回路構成最適化装置１０、４０が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。

また、上記した実施形態では回路構成最適化装置１０，４０の上で機械学習装置２０，５０がオンラインで機械学習する例を示しているが、ＦＰＧＡデバイスの運用時に状態データＳや判定データＤをログデータとして記録しておき、記録したログデータを収集して、収集したログデータから取得した状態データＳや判定データＤに基づいて機械学習装置２０，５０が機械学習するようにしても良い。

１０，４０ 回路構成最適化装置
２０，５０ 機械学習装置
２２ 状態観測部
２４ 判定データ取得部
２６ 学習部
２８ 報酬計算部
３０ 価値関数更新部
４２ 状態データ取得部
５２ 意思決定部
６０，６０’ 産業機械
７０，７０’ システム
７２ ネットワーク

Claims (8)

1. ＦＰＧＡデバイスの回路構成と配置の最適化を行う回路構成最適化装置であって、
   前記ＦＰＧＡデバイスの回路構成を学習する機械学習装置を備え、
   前記機械学習装置は、
   前記ＦＰＧＡデバイスの回路構成を示すＦＰＧＡデバイスの回路構成データ、及び前記ＦＰＧＡデバイスのエラー発生状態を示すＦＰＧＡエラー発生状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記ＦＰＧＡデバイス動作状態の適否判定結果を示す判定データを取得する判定データ取得部と、
   前記状態変数と前記判定データとを用いて、前記ＦＰＧＡデバイスの回路構成を前記ＦＰＧＡエラー発生状態データと関連付けて学習する学習部と、
   を備える回路構成最適化装置。
2. 前記状態観測部は、前記状態変数として、前記ＦＰＧＡデバイスの発熱量、消費電力及び動作速度の少なくともいずれかを含むＦＰＧＡデバイス動作状態データを更に観測し、
   前記学習部は、前記ＦＰＧＡデバイスの回路構成を前記ＦＰＧＡエラー発生状態データと前記ＦＰＧＡデバイス動作状態データの双方と関連付けて学習する、
   請求項１に記載の回路構成最適化装置。
3. 前記学習部は、
   前記適否判定結果に関連する報酬を求める報酬計算部と、
   前記報酬を用いて、前記ＦＰＧＡデバイスのエラー発生状態に対する前記ＦＰＧＡデバイスの回路構成の価値を表す関数を更新する価値関数更新部とを備える、
   請求項１または２に記載の回路構成最適化装置。
4. 前記学習部は、前記状態変数と前記判定データとを多層構造で演算する、
   請求項１〜３のいずれか１つに記載の回路構成最適化装置。
5. 前記学習部による学習結果に基づいて、前記ＦＰＧＡデバイスの回路構成に基づく指令値を出力する意思決定部を更に備える、
   請求項１〜４のいずれか１つに記載の回路構成最適化装置。
6. 前記学習部は、複数の産業機械のそれぞれについて得られた前記状態変数及び前記判定データを用いて、該複数の産業機械のそれぞれにおける前記ＦＰＧＡデバイスの回路構成を学習する、
   請求項１〜５のいずれか１つに記載の回路構成最適化装置。
7. 前記機械学習装置は、クラウドサーバに存在する、
   請求項１〜６のいずれか１つに記載の回路構成最適化装置。
8. ＦＰＧＡデバイスの回路構成を学習する機械学習装置であって、
   前記ＦＰＧＡデバイスの回路構成を示すＦＰＧＡデバイスの回路構成データ、及び前記ＦＰＧＡデバイスのエラー発生状態を示すＦＰＧＡエラー発生状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記ＦＰＧＡデバイス動作状態の適否判定結果を示す判定データを取得する判定データ取得部と、
   前記状態変数と前記判定データとを用いて、前記ＦＰＧＡデバイスの回路構成を前記ＦＰＧＡエラー発生状態データと関連付けて学習する学習部と、
   を備える機械学習装置。

Images