[go: up one dir, main page]

JP2020061042A - Data discriminating apparatus and data discriminating method - Google Patents

Data discriminating apparatus and data discriminating method Download PDF

Info

Publication number
JP2020061042A
JP2020061042A JP2018192977A JP2018192977A JP2020061042A JP 2020061042 A JP2020061042 A JP 2020061042A JP 2018192977 A JP2018192977 A JP 2018192977A JP 2018192977 A JP2018192977 A JP 2018192977A JP 2020061042 A JP2020061042 A JP 2020061042A
Authority
JP
Japan
Prior art keywords
data
neural network
input
encoder
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018192977A
Other languages
Japanese (ja)
Inventor
雄史 川上
Yushi Kawakami
雄史 川上
陽久 富田
Akihisa Tomita
陽久 富田
貴範 井手
Takanori Ide
貴範 井手
森山 英二
Eiji Moriyama
英二 森山
邦仁 保木
Kunihito Hoki
邦仁 保木
正和 村松
Masakazu Muramatsu
正和 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
University of Electro Communications NUC
Original Assignee
Aisin AW Co Ltd
University of Electro Communications NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, University of Electro Communications NUC filed Critical Aisin AW Co Ltd
Priority to JP2018192977A priority Critical patent/JP2020061042A/en
Publication of JP2020061042A publication Critical patent/JP2020061042A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Fluid Gearings (AREA)
  • Control Of Transmission Device (AREA)

Abstract

【課題】学習データの規模が大きい場合でも、入力データを高速に判別することを可能とする。【解決手段】データ判別装置(10)は、学習済みのニューラルネットワーク(20)に対する入力データを判別する。データ判別装置は、自己符号化器(11)と、入力データと、当該入力データを自己符号化器に入力した際の自己符号化器の出力データとの誤差を評価する評価手段(12)と、を有し、評価手段の評価結果に基づいて、入力データがニューラルネットワークの学習範囲内であるか否かを判定する。【選択図】図1Kind Code: A1 It is possible to discriminate input data at high speed even when the scale of learning data is large. A data discrimination device (10) discriminates input data for a trained neural network (20). The data discriminating device comprises an autoencoder (11) and an evaluation means (12) for evaluating an error between input data and output data of the autoencoder when the input data is input to the autoencoder. , and determines whether or not the input data is within the learning range of the neural network based on the evaluation result of the evaluation means. [Selection drawing] Fig. 1

Description

本発明は、ニューラルネットワークに対する入力データを判別するデータ判別装置及びデータ判別方法に関する。   The present invention relates to a data discriminating apparatus and a data discriminating method for discriminating input data for a neural network.

ニューラルネットワークを用いた人工知能を応用して、製品の開発や制御の最適化を図る研究が多くの分野で進められている。例えば、車両に取り付けられたセンサから取得した時系列データを所定の基準の下で分類するように学習させられたニューラルネットワークは、車両の設計又は車両の制御方法の最適化に有用である。しかし、ニューラルネットワークの一般的な性質として、学習に用いられたデータと類似性が高い入力データに対しては高い正答率を示す一方で、類似性が低い学習範囲外のデータに対しては正答率が著しく低下することが知られている。   Research is being conducted in many fields to develop products and optimize control by applying artificial intelligence using neural networks. For example, a neural network trained to classify time series data acquired from a sensor mounted on a vehicle under a predetermined criterion is useful for designing a vehicle or optimizing a vehicle control method. However, as a general property of neural networks, it shows a high correct answer rate for input data with high similarity to the data used for learning, but correct answer for data outside the learning range with low similarity. It is known that the rate drops significantly.

特許文献1には、入力データに対する学習済みニューラルネットワークの出力層の信号強度が、出力を二値化するための判定閾値に対してどの程度の余裕があるかによって入力データが学習範囲内か否かを判別する判別装置が記載されている。この文献によると、出力値が閾値に対して十分な余裕を持っている場合には学習範囲内のデータと判別されて学習データとの比較処理を省略されるため、学習データの中に入力データと一致するものがないか網羅的に検索する方法に比べて処理量が軽減される。   In Patent Document 1, whether the input data is within the learning range or not depends on how much the signal strength of the output layer of the learned neural network with respect to the input data has a margin with respect to the determination threshold value for binarizing the output. A discriminating device for discriminating whether or not is described. According to this document, when the output value has a sufficient margin with respect to the threshold value, it is determined that the data is within the learning range and the comparison process with the learning data is omitted. The amount of processing is reduced as compared with the method of comprehensively searching for a match with.

特開2001−75937号公報JP 2001-75937 A

しかしながら、上記文献に記載の判別装置では、出力層の信号強度が閾値に近い場合には、結局、学習データの網羅的な検索によって入力データが学習範囲内か否かを判別していた。そのため、学習データの規模が大きくなる程、比較の回数が増えて処理速度が低下すると共に、学習データを記憶するメモリ領域が不足するという課題が生じていた。   However, when the signal strength of the output layer is close to the threshold value, the discriminating apparatus described in the above-mentioned document discriminates whether or not the input data is within the learning range by exhaustive search of the learning data. Therefore, as the scale of the learning data increases, the number of comparisons increases, the processing speed decreases, and the memory area for storing the learning data runs short.

そこで、本発明は、学習データの規模が大きい場合でも、入力データを高速に判別可能なデータ判別装置及びデータ判別方法を提供することを目的とする。   Therefore, an object of the present invention is to provide a data discriminating apparatus and a data discriminating method capable of discriminating input data at high speed even when the scale of learning data is large.

本発明の一態様は、学習済みのニューラルネットワークに対する入力データを判別するデータ判別装置であって、
自己符号化器と、
前記ニューラルネットワークに対する入力データと、当該入力データを前記自己符号化器に入力した際の前記自己符号化器の出力データとの誤差を評価する評価手段と、を有し、
前記評価手段の評価結果に基づいて、前記ニューラルネットワークに対する入力データが前記ニューラルネットワークの学習範囲内であるか否かを判定する、
データ判別装置である。
One aspect of the present invention is a data discriminating apparatus for discriminating input data for a learned neural network,
An auto-encoder,
The input data to the neural network, and an evaluation means for evaluating the error between the output data of the self-encoder when the input data is input to the self-encoder,
Based on the evaluation result of the evaluation means, it is determined whether the input data to the neural network is within the learning range of the neural network,
It is a data discriminating device.

本発明の他の一態様は、学習済みのニューラルネットワークに対する入力データをコンピュータが判別するデータ判別方法であって、
前記ニューラルネットワークの学習に用いられるデータセットと共通のデータを用いて自己符号化器を学習させる学習工程と、
前記ニューラルネットワークに対する入力データと、当該入力データを前記自己符号化器に入力した際の前記自己符号化器の出力データとの誤差を評価する評価工程と、
前記評価工程の評価結果に基づいて、前記ニューラルネットワークに対する入力データが前記ニューラルネットワークの学習範囲内であるか否かを判定する判定工程と、を含む、
データ判別方法である。
Another aspect of the present invention is a data discriminating method in which a computer discriminates input data to a learned neural network,
A learning step of learning the self-encoder using data common to the data set used for learning the neural network;
An evaluation step of evaluating an error between input data to the neural network and output data of the self-encoder when the input data is input to the self-encoder.
A determination step of determining whether or not the input data to the neural network is within the learning range of the neural network based on the evaluation result of the evaluation step.
This is a data discrimination method.

本発明によれば、学習データの規模が大きい場合でも、入力データを高速に判別することができる。   According to the present invention, even when the scale of learning data is large, input data can be discriminated at high speed.

本開示の実施形態に係るデータ判別装置の構成を示すブロック図。FIG. 3 is a block diagram showing a configuration of a data discriminating apparatus according to an embodiment of the present disclosure. 実施例1に係る自己符号化器のネットワーク構造を示す模式図。FIG. 3 is a schematic diagram showing a network structure of the self-encoder according to the first embodiment. 実施例1における時系列データの一例を示す図。FIG. 4 is a diagram showing an example of time-series data in the first embodiment. 実施例1において機種毎の誤差の分布を検証した結果を示すグラフ。5 is a graph showing the results of verifying the distribution of errors for each model in Example 1.

以下、図面を参照しながら、本開示に係るデータ判別装置及びデータ判別方法について説明する。   Hereinafter, a data discriminating apparatus and a data discriminating method according to the present disclosure will be described with reference to the drawings.

図1は、本実施形態のデータ判別装置10を含む自動分類装置1の構成を示す機能ブロック図である。自動分類装置1は、入力データを所定の基準に従って分類するための分類器20と、入力データを判別するためのデータ判別装置10と、を備えている。   FIG. 1 is a functional block diagram showing the configuration of an automatic classification device 1 including a data discrimination device 10 of this embodiment. The automatic classification device 1 includes a classifier 20 for classifying input data according to a predetermined standard, and a data discriminating device 10 for discriminating input data.

分類器20は、学習用のデータセット(以下、学習データとする)を用いて学習させられたニューラルネットワークであり、入力データを分類した結果を表す二値又は多値の信号を分類情報として出力する。分類器20としては、多層パーセプトロンや再帰型ニューラルネットワークを含めた任意のニューラルネットワークを用いることができる。また、学習の枠組みとして教師あり学習及び教師なし学習のいずれを用いてもよく、学習アルゴリズムとしては誤差逆伝播法などの既知の方法を採用可能である。後述する実施例1では、畳み込みニューラルネットワークを用いる。   The classifier 20 is a neural network trained using a learning data set (hereinafter referred to as learning data), and outputs a binary or multilevel signal representing the result of classifying the input data as classification information. To do. As the classifier 20, any neural network including a multilayer perceptron and a recursive neural network can be used. Further, either supervised learning or unsupervised learning may be used as a learning framework, and a known method such as an error backpropagation method can be adopted as a learning algorithm. In Example 1 described later, a convolutional neural network is used.

データ判別装置10は、分類器20に入力される入力データが、分類器20の学習に用いられた学習データの範囲内に属するデータ(以下、学習内データとする)か、又は未知のデータ(以下、学習外データとする)であるかを判別し、判別結果をデータ種別情報として出力する。ここで、「学習データの範囲内」とは、分類器20に対して入力され得る任意の入力データの内、学習済みの分類器20が妥当な分類結果を出力することを期待できる範囲を表し、例えば次のようなものを指す。
・装置に複数の機種が存在する場合において、特定の機種に取り付けたセンサから取得したデータを学習データとして分類器を学習させたときの、当該機種と同一の機種に取り付けたセンサから取得した入力データ。
・装置に複数の動作モードが実装されている場合において、特定の動作モードにおいて取得したデータを学習データとして分類器を学習させたときの、当該動作モードと同一の動作モードにおいて取得した入力データ。
In the data discriminating apparatus 10, whether the input data input to the classifier 20 is data belonging to the range of learning data used for learning of the classifier 20 (hereinafter, referred to as in-learning data) or unknown data ( Hereinafter, it is determined as non-learning data) and the determination result is output as data type information. Here, “within the range of the learning data” represents a range in which the learned classifier 20 can be expected to output an appropriate classification result, out of arbitrary input data that can be input to the classifier 20. , Refers to the following, for example.
-When there are multiple models in the device, when the classifier is trained with the data acquired from the sensor attached to a specific model as the learning data, the input obtained from the sensor attached to the same model data.
Input data acquired in the same operation mode as the operation mode when the classifier is trained with the data acquired in the specific operation mode as the learning data when the device has a plurality of operation modes implemented.

データ判別装置10は、自己符号化器11と、評価部12と、判定部13と、を備えている。自己符号化器11は、出力データが入力データを再現するように学習させられたニューラルネットワークである。自己符号化器11としては、入出力層のノード数が等しい3層パーセプトロンの他、4層以上の多層ニューラルネットワーク等、既知のニューラルネットワークを用いることができるが、入力データが分類器20の学習内データであるか否かをより的確に判別するためには、分類器20との共通の構造を有していることが好ましい。後述する実施例1では、分類器20に合わせて、自己符号化器11に畳み込みニューラルネットワークを用いている。   The data discriminating apparatus 10 includes a self-encoder 11, an evaluation unit 12, and a determination unit 13. The self-encoder 11 is a neural network trained so that the output data reproduces the input data. The self-encoder 11 can be a known neural network such as a multilayer neural network having four or more layers in addition to a three-layer perceptron having the same number of nodes in the input / output layers, but the input data is learned by the classifier 20. In order to more accurately determine whether or not the data is internal data, it is preferable to have a common structure with the classifier 20. In Example 1 described later, a convolutional neural network is used for the self-encoder 11 in accordance with the classifier 20.

本実施形態の評価手段である評価部12は、入力データと、この入力データを自己符号化器11に入力した場合の自己符号化器11の出力データとを比較し、入力データと出力データの誤差を算出する。本実施形態の判定手段である判定部13は、評価部12が算出した誤差に基づいて、入力データが学習範囲内であるか否かを判定する。判定部13の出力は、少なくとも入力データが学習範囲内であるか否かを識別可能な形式であるものとし、例えば学習内データと未知データとに対応する二値の信号や、学習内データである確度を3段階以上に区分した多値の信号を用いることができる。   The evaluation unit 12, which is the evaluation means of this embodiment, compares the input data with the output data of the self-encoder 11 when the input data is input to the self-encoder 11, and compares the input data with the output data. Calculate the error. The determination unit 13, which is the determination unit according to the present exemplary embodiment, determines whether the input data is within the learning range based on the error calculated by the evaluation unit 12. The output of the determination unit 13 is at least in a format capable of discriminating whether or not the input data is within the learning range. For example, a binary signal corresponding to the in-learning data and the unknown data or the in-learning data is used. It is possible to use a multivalued signal in which a certain accuracy is divided into three or more steps.

ここで、自己符号化器11は、分類器20の学習に用いる学習データと共通のデータを用いて学習させられたものである。即ち、自己符号化器11の学習に用いられるデータセットと、分類器20の学習に用いられるデータセットとが、実質的に一致する。   Here, the self-encoder 11 is trained by using data common to the learning data used for learning of the classifier 20. That is, the data set used for learning the self-encoder 11 and the data set used for learning the classifier 20 substantially match.

言い換えると、機械学習の結果として得られる自己符号化器11の重み係数は、評価部12が出力する誤差を目的関数として、分類器20の学習に用いたデータセットに属するデータと、当該データを自己符号化器11に入力した場合の自己符号化器11の出力データとの誤差を最小化する最適化問題の局所解の1つに略等しい。ただし、重み係数を学習によって決定する以上、厳密な局所解と一致するとは限らないため、一般的な学習アルゴリズムの収束判定において許容されている程度の変動は、「局所解に略等しい値」に含まれるものとする。   In other words, the weighting factor of the self-encoder 11 obtained as a result of the machine learning is obtained by comparing the data belonging to the data set used for learning of the classifier 20 and the relevant data with the error output from the evaluation unit 12 as an objective function. It is approximately equal to one of the local solutions of the optimization problem that minimizes the error with the output data of the self-encoder 11 when input to the self-encoder 11. However, as long as the weighting factor is determined by learning, it does not always match the exact local solution, so the variation that is allowed in the convergence judgment of a general learning algorithm becomes "a value approximately equal to the local solution". Shall be included.

自己符号化器11の学習に分類器20と共通のデータセットを用いることで、自己符号化器11は、学習の結果として分類器20の学習範囲内における入力データの典型的な特徴を、入力データより少ない次元で効率的に表現する能力を獲得する。即ち、学習済みの自己符号化器11に対して学習範囲内のデータを入力したときには、自己符号化器11の出力データが入力されたデータに対して高い類似性を示す。その一方で、学習データとの類似性が低い学習範囲外のデータを入力したときには、自己符号化器11の中間層は入力されたデータをうまく表現することができず、自己符号化器11の出力データと入力されたデータとの類似性は低下する。   By using a common data set with the classifier 20 for learning of the self-encoder 11, the self-encoder 11 inputs typical characteristics of input data within the learning range of the classifier 20 as a result of learning. Acquire the ability to express efficiently with less dimensions than data. That is, when the data within the learning range is input to the learned self-encoder 11, the output data of the self-encoder 11 shows high similarity to the input data. On the other hand, when the data outside the learning range, which has low similarity to the learning data, is input, the middle layer of the self-encoder 11 cannot well represent the input data, and the self-encoder 11 has a The similarity between the output data and the input data is reduced.

従って、学習済みの自己符号化器11が与えられていれば、適当な距離関数を用いて、入力データと、これに対する自己符号化器11の出力データとの距離(誤差)を算出することにより、入力データと分類器20の学習データとの類似性を評価することが可能となる。   Therefore, if the learned self-encoder 11 is given, the distance (error) between the input data and the output data of the self-encoder 11 corresponding to it is calculated by using an appropriate distance function. , It is possible to evaluate the similarity between the input data and the learning data of the classifier 20.

図1における矢印は、本実施形態のデータ判別装置10におけるデータの処理手順を示している。また、入力データの判別処理を行う前に、自己符号化器11の学習が行われているものとする。即ち、本実施形態におけるデータ判別方法は、少なくとも以下の各工程を含む。
(1)分類器20の学習に用いられるデータセットを用いて自己符号化器11を学習させる学習工程。
(2)分類器20に対する入力データと、当該入力データを自己符号化器11に入力した際の自己符号化器11の出力データとの誤差を評価する評価工程。
(3)評価工程の評価結果に基づいて、分類器20に対する入力データが分類器20の学習範囲内であるか否かを判定する判定工程。
The arrow in FIG. 1 indicates a data processing procedure in the data discriminating apparatus 10 of the present embodiment. Further, it is assumed that the self-encoder 11 has been learned before the input data determination process is performed. That is, the data discriminating method in the present embodiment includes at least the following steps.
(1) A learning step of learning the self-encoder 11 using a data set used for learning the classifier 20.
(2) An evaluation step of evaluating an error between the input data to the classifier 20 and the output data of the self-encoder 11 when the input data is input to the self-encoder 11.
(3) A determination step of determining whether the input data to the classifier 20 is within the learning range of the classifier 20 based on the evaluation result of the evaluation step.

以上の説明において、学習済みの分類器20とは、学習フェーズで学習した重み係数が固定されるものに限らず、運用フェーズにおいて入力された入力データを用いて重み係数が更新されるものを含むものとする。その場合、分類器20の学習データとは、現時点までに分類器20の学習に使用された全てのデータを指すものとする。また、運用フェーズで分類器20の重み係数を更新する場合は、これに合わせて自己符号化器11の重み係数も更新することが好ましい。   In the above description, the learned classifier 20 is not limited to one in which the weighting coefficient learned in the learning phase is fixed, but includes one in which the weighting coefficient is updated using the input data input in the operation phase. Let's assume. In that case, the learning data of the classifier 20 refers to all data used for learning of the classifier 20 up to the present time. Further, when updating the weighting factor of the classifier 20 in the operation phase, it is preferable to update the weighting factor of the self-encoder 11 accordingly.

なお、ハードウェアとしての自動分類装置1は、少なくとも1つの処理装置と、一過性の記憶領域及び非一過性の記憶領域を含む記憶装置とによって構成される。処理装置は、記憶装置に記憶されたプログラムを読み出して実行することにより、以下で説明する制御機能を発揮する。記憶装置は、プログラム及びデータの保管場所となると共に処理装置がプログラムを実行する際の作業スペースとなる。   The automatic classification device 1 as hardware includes at least one processing device and a storage device including a temporary storage area and a non-transitory storage area. The processing device exhibits the control function described below by reading and executing the program stored in the storage device. The storage device serves as a storage place for programs and data and also as a work space when the processing device executes the programs.

図1に図示された各機能ブロックは、ASIC等の独立したハードウェアとして制御回路上に実装してもよく、処理装置が実行するプログラムの機能単位としてソフトウェア的に実装してもよい。自動分類装置1の機能を実現するハードウェアは、物理的に離れていてネットワークを介して接続された複数の装置に分散されていてもよい。また、自動分類装置1の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置に搭載された処理装置がプログラムを読出し実行することによっても提供可能である。   Each functional block illustrated in FIG. 1 may be implemented as independent hardware such as an ASIC on the control circuit, or may be implemented as software as a functional unit of a program executed by the processing device. The hardware that realizes the function of the automatic classification device 1 may be distributed to a plurality of devices that are physically separated and connected via a network. Further, the program can be provided by supplying a program that realizes the function of the automatic classification device 1 to a system or a device via a network or a storage medium, and a processing device installed in the system or the device reads and executes the program. .

以下、上述の実施形態の適用例として、自己符号化器を用いた自動変速機の類似性の識別手法を説明する。本実施例では、流体継手をロックアップするロックアップクラッチを備えた自動変速機において、ロックアップ制御の時系列データを分類するように学習させられた分類器を想定した場合に、自己符号化器を用いて、この分類器に対する入力データが学習範囲内であるか否かを判定することを考える。   Hereinafter, as an application example of the above-described embodiment, a method of identifying the similarity of an automatic transmission using a self-encoder will be described. In the present embodiment, in an automatic transmission including a lockup clutch that locks up a fluid coupling, a self-encoder is assumed when a classifier learned to classify time series data of lockup control is assumed. Consider using to determine whether the input data to this classifier is within the learning range.

図2は、本実施例における自己符号化器11のネットワーク構造を示す模式図である。本実施例では、8層の畳み込みニューラルネットワークからなる自己符号化器を用いる。即ち、自己符号化器11は、畳み込み演算を行う畳み込み層C1,C2、プーリング操作を行うプーリング層P1,P2、逆畳み込み演算を行う逆畳み込み層D1,D2、及びアンプーリング操作を行うアンプーリング層U1,U2によって構成される。   FIG. 2 is a schematic diagram showing the network structure of the self-encoder 11 in this embodiment. In this embodiment, an auto-encoder including an 8-layer convolutional neural network is used. That is, the self-encoder 11 includes convolutional layers C1 and C2 that perform a convolution operation, pooling layers P1 and P2 that performs a pooling operation, deconvolution layers D1 and D2 that performs a deconvolution operation, and an ampling layer that performs an ampling operation. It is composed of U1 and U2.

自己符号化器11には、車両に取り付けられたセンサから取得した時系列データが入力される。各センサの測定データは、測定時間の長さに対応する次元の実数ベクトルとして与えられる。従って、センサの数をチャネル数として、入力データのサイズ(次元)は1×(測定時間)×(チャネル数)である。   The time-series data acquired from the sensor attached to the vehicle is input to the self-encoder 11. The measurement data of each sensor is given as a real vector having a dimension corresponding to the length of the measurement time. Therefore, the size (dimension) of input data is 1 × (measurement time) × (number of channels), where the number of sensors is the number of channels.

畳み込み層C1,C2においては、各出力はいくつかの入力に接続され、接続関係は固定されている。出力に接続されているニューロンの数はカーネルサイズと呼ばれる。カーネルサイズは3や5など奇数を使うと好適である。学習によって調整する重み係数の数は、カーネルサイズと同じである。ストライドとは、次の出力に接続する時に入力側を何個シフトさせて接続するかを表す設定値である。畳み込み層C1,C2のストライドは、例えば1とする。ストライドとは通常は1である。   In the convolutional layers C1 and C2, each output is connected to some inputs, and the connection relation is fixed. The number of neurons connected to the output is called the kernel size. It is preferable to use an odd number such as 3 or 5 for the kernel size. The number of weighting factors adjusted by learning is the same as the kernel size. The stride is a set value indicating how many input sides are shifted and connected when connecting to the next output. The stride of the convolutional layers C1 and C2 is, for example, 1. Stride is usually 1.

プーリング層P1,P2においては、畳み込み層C1,C2と同様に各出力はカーネルサイズの入力に接続され、接続関係は固定されている。プーリング層P1,P2では、畳み込み層C1,C2とは異なり、重み係数を使用しない。代わりに、プーリング層P1,P2では、接続された入力の信号値の最大値を出力する。これをマックスプーリングという。プーリング層P1,P2のカーネルサイズ及びストライドは、それぞれ例えば2、2とする。   In the pooling layers P1 and P2, similarly to the convolutional layers C1 and C2, each output is connected to the kernel size input, and the connection relation is fixed. Unlike the convolutional layers C1 and C2, the pooling layers P1 and P2 do not use weighting factors. Instead, the pooling layers P1 and P2 output the maximum signal value of the connected inputs. This is called max pooling. The kernel size and stride of the pooling layers P1 and P2 are, for example, 2 and 2, respectively.

逆畳み込み層D1,D2は、畳み込み層C1,C2の接続方向を入力/出力に関して逆にしたものであり、各入力にカーネルサイズの出力が接続される。また、アンプーリング層U1,U2は、プーリング層P1,P2の接続方向を入力/出力に関して逆にしたものであり、各入力にカーネルサイズの出力が接続される。以上のネットワーク構造から、逆畳み込み層D1の出力信号のサイズは入力データのサイズに等しくなる。   The deconvolutional layers D1 and D2 are obtained by inverting the connection directions of the convolutional layers C1 and C2 with respect to input / output, and a kernel-sized output is connected to each input. In addition, the amplifiering layers U1 and U2 are obtained by reversing the connection directions of the pooling layers P1 and P2 with respect to the input / output, and the kernel-sized output is connected to each input. From the above network structure, the size of the output signal of the deconvolution layer D1 becomes equal to the size of the input data.

また、本実施例の評価部である誤差関数L1は、自己符号化器11の逆畳み込み層D2の出力信号(自己符号化器11の出力データ)と、入力データとを受け取ってこれらの誤差を算出する。誤差関数L1の例としては、下のユークリッドロス(Euclidean Loss)がある。ただし、式中のNは入力データのサイズであり、yは入力データの値であり、ハット記号付きのyは逆畳み込み層D1の出力値である。ユークリッドロスは入力データ、出力データ、及び入力データのデータ数に対する四則演算の組み合わせである。

Figure 2020061042
Further, the error function L1 which is the evaluation unit of the present embodiment receives the output signal of the deconvolution layer D2 of the self-encoder 11 (output data of the self-encoder 11) and the input data, and calculates these errors. calculate. An example of the error function L1 is Euclidean Loss below. However, N in the formula is the size of the input data, y n is the value of the input data, and y n with the hat symbol is the output value of the deconvolution layer D1. Euclidean loss is a combination of input data, output data, and four arithmetic operations for the number of pieces of input data.
Figure 2020061042

(判別性能の検証)
以下、自動変速機のロックアップ制御に関する分類器20の学習に使った学習データを題材に、自己符号化器11を用いて分類器20に対する入力データと分類器20の学習データとの類似度を評価した検証実験の方法及びその結果について説明する。この分類器の学習データは、自動変速機のロックアップクラッチをロックアップするロックアップ制御を行った際の時系列データである。また、自己符号化器11の学習に用いる学習データは、分類器と同じくロックアップ制御を行った際の時系列データを使う。
(Verification of discrimination performance)
Hereinafter, using the learning data used for learning of the classifier 20 relating to lockup control of the automatic transmission as a material, the similarity between the input data to the classifier 20 and the learning data of the classifier 20 is calculated using the self-encoder 11. The method and results of the evaluated verification experiment will be described. The learning data of the classifier is time series data when lockup control for locking up the lockup clutch of the automatic transmission is performed. Further, the learning data used for learning of the self-encoder 11 is the time-series data when lockup control is performed as in the classifier.

なお、ロックアップクラッチとは、エンジン出力軸と自動変速機の入力軸との間に介在する流体継手(トルクコンバータ)の入力側と出力側を直結する機構である。ロックアップクラッチは、車両の発進時に車速が一定以上になった際に係合させられ、また、自動変速機の変速段が変更される際に一時的に係合が解除される。ロックアップクラッチの滑り量が適切に制御されていれば、運転者にとって快適な車両の加速が実現される一方で、制御が適切でない場合は運転者にショックを感じさせる等の影響がある。   The lockup clutch is a mechanism that directly connects the input side and the output side of a fluid coupling (torque converter) interposed between the engine output shaft and the input shaft of the automatic transmission. The lockup clutch is engaged when the vehicle speed exceeds a certain level when the vehicle starts, and is disengaged temporarily when the shift speed of the automatic transmission is changed. If the slip amount of the lock-up clutch is appropriately controlled, the vehicle can be comfortably accelerated by the driver, while if the control is not appropriate, the driver may be shocked.

図3は、検証に用いる時系列データの一例(4チャネルのみ図示している)を示している。ここでは、時系列データの一例として、14個の信号で構成された時系列計測データを使用する。この内、エンジントルクやエンジン回転数等、エンジンを測定対象とする測定データから4つの信号を使用する。また、自動変速機の変速機構に対する入力回転速度(図3のAT入力速度)や自動変速機に対する制御指令値等、自動変速機を測定対象とする測定データから10個の信号を使用する。14個の信号が表すパラメータには、具体的にはエンジンの回転速度(エンジン回転数)及び角加速度、エンジントルク、アクセル開度、トルクコンバータの滑り速度及び角加速度、トルクコンバータの目標スリップ回転、自動変速機の変速機構に対する入力回転速度及び角加速度、変速機構の出力回転速度及び角加速度、オートマチック・トランスミッション・フルードの油温、並びに自動変速機の油圧制御装置に対する油圧指令値が含まれる。本実施例の分類器20に対する入力データはこれら14個のパラメータの時系列データであり、データ判別装置10はこれと同じ14個のパラメータの時系列データを自己符号化器11を用いて判別する。   FIG. 3 shows an example of time series data used for verification (only four channels are shown). Here, as an example of time series data, time series measurement data composed of 14 signals is used. Of these, four signals are used from the measurement data of the engine such as engine torque and engine speed. Further, ten signals are used from the measurement data of the automatic transmission, such as the input rotation speed to the transmission mechanism of the automatic transmission (AT input speed in FIG. 3) and the control command value to the automatic transmission. The parameters represented by the 14 signals include, specifically, the engine rotation speed (engine speed) and angular acceleration, engine torque, accelerator opening, torque converter slip speed and angular acceleration, torque converter target slip rotation, It includes the input rotational speed and angular acceleration of the transmission mechanism of the automatic transmission, the output rotational speed and angular acceleration of the transmission mechanism, the oil temperature of the automatic transmission fluid, and the hydraulic command value for the hydraulic control device of the automatic transmission. The input data to the classifier 20 of this embodiment is time-series data of these 14 parameters, and the data discriminating apparatus 10 discriminates the same 14-parameter time-series data using the self-encoder 11. .

時系列計測データセットとして、開発フェーズにおける物理的車両走行試験からランダムに収集した時系列計測データを使う。物理的な車の走行試験は、テストコースの直進道路で行われる。各時系列計測データに含まれる14個の信号は、各々が1×400ピクセルのデータである。つまり、この検証における入力データのサイズは、1×400×14である。時系列計測データセットとして、5,536件の時系列データを収集した。これらの時系列データは、全て同一機種の自動変速機を搭載した車両から得たものである。このデータセットを、学習用のデータ4,429件と検証用のデータ1,107件に分ける。また、時系列データは式1で正規化する。ただし、xは元の値、μは平均、σは標準偏差、x´は正規化後の値である。
x´=(x−μ)/σ (式1)
As the time-series measurement data set, the time-series measurement data randomly collected from the physical vehicle running test in the development phase is used. Physical vehicle driving tests are conducted on straight roads on the test course. Each of the 14 signals included in each time-series measurement data is data of 1 × 400 pixels. That is, the size of the input data in this verification is 1 × 400 × 14. As a time series measurement data set, 5,536 time series data were collected. These time series data are all obtained from vehicles equipped with the same type of automatic transmission. This data set is divided into 4,429 data for learning and 1,107 data for verification. In addition, the time series data is normalized by Expression 1. However, x is the original value, μ is the average, σ is the standard deviation, and x ′ is the normalized value.
x ′ = (x−μ) / σ (Equation 1)

なお、上記学習用のデータを、ロックアップ制御が行われた際に運転者が感じる変速フィーリングが快適なものであるものを「OK」とし、そうではないものを「NG」とするように、所定の基準に従って熟練した技術者が予め分類した結果を教師信号として分類器を学習させることにより、図3に示すような時系列データが変速フィーリングの観点で適切なものであるか否かを分類する分類器が得られる。このような分類器の具体的構成としては、発明者らのグループが以前に提出した下記の論文(Kawakami, T., Ide, T. et al., SAE Technical Paper, 2018-01-0399, 2018)に記載されたものを挙げることができる。この分類器は、6層の畳み込み層と1層の全結合層とを有する畳み込みニューラルネットワークであり、入力データのサイズは1×400×14である。   In the learning data, "OK" means that the driver feels comfortable when the lockup control is performed and "NG" means that the driver does not feel comfortable. Whether or not the time-series data as shown in FIG. 3 is appropriate from the viewpoint of the shift feeling by learning the classifier by using the result of pre-classification by a skilled engineer according to a predetermined criterion as a teacher signal. A classifier for classifying is obtained. As a concrete configuration of such a classifier, the following papers (Kawakami, T., Ide, T. et al., SAE Technical Paper, 2018-01-0399, 2018, which were previously submitted by the group of the inventors, were presented. ). This classifier is a convolutional neural network having 6 convolutional layers and 1 fully connected layer, and the size of input data is 1 × 400 × 14.

ここで、ニューラルネットワークを用いた分類器は、一般に高性能を達成するためには大量の訓練データを必要とする。深層学習の分野ではデータ水増し技術が一般的に使用されている。そこで、分類器と自己符号化器に対する学習データは、上述の時系列計測データセットに含まれるデータをランダムタイムシフトによって人工的に水増ししたものを用いる。水増しした学習データの総数は48,719件である。   Here, the classifier using the neural network generally requires a large amount of training data in order to achieve high performance. Data padding techniques are commonly used in the field of deep learning. Therefore, as the learning data for the classifier and the self-encoder, data that is artificially padded by random time shift is used for the data included in the time series measurement data set described above. The total number of inflated learning data is 48,719.

検証に用いる自己符号化器の構造は、図2を用いて説明した通りである。層の数をさらに増やしても構わないが、今回の検証結果は8層のものを用いて行った結果を示す。   The structure of the self-encoder used for verification is as described with reference to FIG. The number of layers may be further increased, but the verification result this time shows the result obtained by using eight layers.

誤差関数L1にはユークリッドロスを使用する。この誤差関数L1は、自己符号化器の学習過程において入力データと逆畳み込み層D1の出力信号との誤差を評価する関数であると共に、学習後において、入力データと自己符号化器の学習に用いられたデータとの類似性を評価するための関数でもある。即ち、本実施例では、この誤差関数L1によって算出される誤差Eが小さい程、学習済みの分類器に対する入力データと、分類器の学習に用いられた学習データとの類似度が高いことを表す。   Euclidean loss is used for the error function L1. This error function L1 is a function for evaluating the error between the input data and the output signal of the deconvolution layer D1 in the learning process of the self-encoder, and is used for learning the input data and the self-encoder after learning. It is also a function to evaluate the similarity with the obtained data. That is, in this embodiment, the smaller the error E calculated by the error function L1, the higher the similarity between the input data to the learned classifier and the learning data used for learning of the classifier. .

自己符号化器の学習は、上述の学習用のデータを用いて逆伝播法により誤差関数の勾配を計算する。また、Adam(Adaptive Moment Estimation)を使用して、誤差Eを最小化するように重み係数を最適化する。   In the learning of the self-encoder, the gradient of the error function is calculated by the back propagation method using the above-mentioned learning data. Also, the weighting coefficient is optimized so as to minimize the error E by using Adam (Adaptive Moment Estimation).

(検証結果)
図4は、学習済みの自己符号化器に対して3つの機種の自動変速機のいずれかを搭載した車両から得た時系列データを自己符号化器11に入力し、誤差関数L1によって誤差を評価した結果を示している。横軸は誤差、縦軸はその件数を示す。機種(A)は、学習データを取得する際に用いたものと同じ機種である。機種(B)は、機種(A)と機械的構成が同一であり、制御方法が異なる機種である。機種(C)は、機種(A)と機械的構成及び制御方法がどちらも異なる機種である。つまり、この例では機種(A)から得られるデータは学習内データであり、機種(C)から得られるデータは学習外データである。機種(B)の扱いについては後述する。なお、機械的構成の違いとは、例えばロックアップクラッチが多板クラッチか単板クラッチかの違いを表す。
(inspection result)
In FIG. 4, time-series data obtained from a vehicle equipped with one of the three types of automatic transmissions for the learned self-encoder is input to the self-encoder 11, and the error is calculated by the error function L1. The result of evaluation is shown. The horizontal axis shows the error and the vertical axis shows the number of cases. The model (A) is the same model as that used when acquiring the learning data. The model (B) has the same mechanical configuration as the model (A), but has a different control method. The model (C) is different from the model (A) in mechanical configuration and control method. That is, in this example, the data obtained from the model (A) is the in-learning data, and the data obtained from the model (C) is the non-learning data. The handling of the model (B) will be described later. The difference in mechanical structure indicates, for example, whether the lockup clutch is a multi-plate clutch or a single-plate clutch.

各機種のデータ数を226件として、各データについて得られた誤差を評価した。機種(A)のデータから得られた誤差は小さい値が多く、代表値が0又は4の区間(誤差が0以上8未満の範囲)に分布していた。機種(B)のデータから得られた誤差は、機種(A)程ではないが小さい値が多く、代表値が0〜8の区間(誤差が0以上12未満の範囲)に分布していた。これに対し、機種(C)のデータから得られた誤差は大きな値となり、代表値が8又はそれ以上の区間(誤差が8以上の範囲)に分布していた。   The number of data for each model was 226, and the error obtained for each data was evaluated. Many of the errors obtained from the data of the model (A) are small, and the representative values are distributed in the section of 0 or 4 (the range of the error is 0 or more and less than 8). The error obtained from the data of the model (B) has many small values, though not as large as that of the model (A). On the other hand, the error obtained from the data of the model (C) was a large value, and the representative value was distributed in the section of 8 or more (the range of the error of 8 or more).

従って、誤差が所定の判定閾値より小さい場合に学習データと同一の機種から得られたデータであると判定し、誤差が判定閾値より大きい場合に学習データとは異なる機種から得られたデータであると判定するような閾値関数を判定部13(図1)として用いることにより、入力データが学習内データであるか否かを識別することが可能である。図4の結果によれば、誤差の判定閾値を8と設定することにより、少なくとも機種(A)と機種(C)とを正確に判別することが可能である。   Therefore, when the error is smaller than the predetermined determination threshold, it is determined that the data is obtained from the same model as the learning data, and when the error is larger than the determination threshold, it is the data obtained from a different model from the learning data. It is possible to discriminate whether or not the input data is the in-learning data by using the threshold value function for determining as the determining unit 13 (FIG. 1). According to the result of FIG. 4, it is possible to accurately determine at least the model (A) and the model (C) by setting the error determination threshold value to 8.

なお、本実施例の検証結果において、機種(B)については、機械的構成の同一性に基づいて学習内データとして扱うことも、制御方法の違いに着目して学習外データとして扱うことも可能である。いずれの場合も、機種(A)又は機種(C)のどちらかのみのデータが入力される場合に比べて識別精度は低下するものの、学習範囲内である可能性が高い入力データと学習範囲外である可能性が高い入力データとを識別可能である。   In the verification result of the present embodiment, the model (B) can be treated as in-learning data based on the same mechanical configuration, or can be treated as non-learning data by focusing on the difference in control method. Is. In either case, although the identification accuracy is lower than that when only data of either model (A) or model (C) is input, input data that is likely to be within the learning range and outside the learning range It is possible to identify the input data that is highly likely to be

以上説明した通り、データ判別装置10に自己符号化器11を用いることで、分類器20の学習に用いられた学習データと、学習済みの分類器20に対する入力データとの類似度を評価することができた。これにより、学習済みの分類器20が入力データを分類した結果を出力する場合に、入力データが分類器20の学習範囲内であるか否か(即ち、分類器20の分類結果が信頼できるか否か)を識別することが可能となった。   As described above, by using the self-encoder 11 in the data discriminating apparatus 10, it is possible to evaluate the degree of similarity between the learning data used for learning of the classifier 20 and the input data for the learned classifier 20. I was able to. Thereby, when the learned classifier 20 outputs the result of classifying the input data, whether the input data is within the learning range of the classifier 20 (that is, whether the classification result of the classifier 20 is reliable or not). It has become possible to identify (whether or not).

ニューラルネットワークはブラックボックスである(つまり、学習によって得られた重み係数に対して直感的な意味付けを与えることが難しい)ため、重要な制御にニューラルネットワークを使う場合には信頼性が課題となる。信頼性を低下させる要因の1つとして、学習に用いたデータがカバーしている範囲と、運用フェーズにおいて入力される可能性があるデータの範囲との不一致が挙げられる。本実施形態で説明した自己符号化器を用いたデータ判別装置及びデータ判別方法は、ニューラルネットワークの出力の信頼性を判定することにより、このような課題を解決する1つの手法を提供する。   Since neural networks are black boxes (that is, it is difficult to give intuitive meanings to the weighting factors obtained by learning), reliability is a problem when using neural networks for important control. . One of the factors that reduce the reliability is a mismatch between the range covered by the data used for learning and the range of data that may be input in the operation phase. The data discriminating apparatus and the data discriminating method using the self-encoder described in this embodiment provide one method for solving such a problem by determining the reliability of the output of the neural network.

(本実施形態のまとめ)
本実施形態は、
学習済みのニューラルネットワーク(20)に対する入力データを判別するデータ判別装置(10)であって、
自己符号化器(11)と、
前記ニューラルネットワーク(20)に対する入力データと、当該入力データを前記自己符号化器(11)に入力した際の前記自己符号化器(11)の出力データとの誤差を評価する評価手段(12)と、を有し、
前記評価手段(12)の評価結果に基づいて、前記ニューラルネットワーク(20)に対する入力データが前記ニューラルネットワーク(20)の学習範囲内であるか否かを判定する、
データ判別装置である。
(Summary of this embodiment)
In this embodiment,
A data discriminating device (10) for discriminating input data to a learned neural network (20),
An auto-encoder (11),
Evaluation means (12) for evaluating an error between input data to the neural network (20) and output data of the self-encoder (11) when the input data is input to the self-encoder (11). And have,
Based on the evaluation result of the evaluation means (12), it is determined whether the input data to the neural network (20) is within the learning range of the neural network (20).
It is a data discriminating device.

この構成によれば、ニューラルネットワークに対する入力データと、これに対応する自己符号化器の出力データとの誤差を求めることで、入力データを多数の学習データと比較することなく、入力データがニューラルネットワークの学習範囲内のものか否かが判別される。そのため、学習データの規模が大きくなっても高速に判別処理を行うことができる。また、少なくとも学習範囲内か否かを判別する目的では学習データを保持する必要がないため、メモリ領域の不足が生じにくい。   According to this configuration, the error between the input data to the neural network and the output data of the corresponding auto-encoder is obtained, so that the input data is not compared with a large number of learning data. It is determined whether or not the learning range is within the learning range. Therefore, the discrimination process can be performed at high speed even when the scale of the learning data becomes large. Further, since it is not necessary to hold the learning data for the purpose of determining at least whether it is within the learning range, the shortage of the memory area is unlikely to occur.

さらに、本実施形態のデータ判別装置(10)によると、
前記自己符号化器(11)の重み係数は、前記評価手段(12)により評価される誤差を目的関数として、前記ニューラルネットワーク(20)の学習に用いたデータセットに属するデータと、当該データを前記自己符号化器(11)に入力した場合の前記自己符号化器(11)の出力データとの誤差を最小化する場合の局所解の1つと略等しい。
Furthermore, according to the data discriminating apparatus (10) of the present embodiment,
The weighting factor of the self-encoder (11) uses the error evaluated by the evaluation means (12) as an objective function, and the data belonging to the data set used for learning of the neural network (20) and the data. It is approximately equal to one of the local solutions for minimizing the error from the output data of the self-encoder (11) when input to the self-encoder (11).

この構成により、入力データがニューラルネットワークの学習範囲内のものか否かを高い精度で判別可能なデータ判別装置を提供することができる。   With this configuration, it is possible to provide a data discriminating apparatus capable of discriminating with high accuracy whether or not the input data is within the learning range of the neural network.

さらに、本実施形態のデータ判別装置(10)によると、
前記評価手段(12)は、前記ニューラルネットワーク(20)に対する入力データと、当該入力データを前記自己符号化器(11)に入力した際の前記自己符号化器(11)の出力とから、四則演算の組み合わせにより誤差を算出する。
Furthermore, according to the data discriminating apparatus (10) of the present embodiment,
The evaluation means (12) uses four rules based on the input data to the neural network (20) and the output of the self-encoder (11) when the input data is input to the self-encoder (11). The error is calculated by a combination of calculations.

この構成によれば、誤差を算出するための演算量が少なく済み、入力データの判別処理を高速に行うことができる。   With this configuration, the amount of calculation for calculating the error is small, and the input data determination process can be performed at high speed.

さらに、本実施形態のデータ判別装置(10)によると、
前記ニューラルネットワーク(20)に対する入力データは、装置に取り付けられたセンサを用いて取得することが可能な時系列データであり、
前記ニューラルネットワーク(20)に対する入力データが、特定の種類の装置に対応するか否かを判定する。
Furthermore, according to the data discriminating apparatus (10) of the present embodiment,
The input data to the neural network (20) is time series data that can be acquired by using a sensor attached to the device,
It is determined whether the input data to the neural network (20) corresponds to a particular type of device.

この構成によれば、ニューラルネットワークに入力される時系列データが、ニューラルネットワークの学習に用いられた特定の種類の装置に由来するものであるか否かを判別することができ、ニューラルネットワークの出力の信頼性に関する情報を提供することができる。   According to this configuration, it is possible to determine whether or not the time series data input to the neural network is derived from a specific type of device used for learning the neural network, and the output of the neural network is output. Can provide information about the reliability of the.

また、本実施形態の他の面は、
学習済みのニューラルネットワーク(20)に対する入力データをコンピュータが判別するデータ判別方法であって、
前記ニューラルネットワーク(20)の学習に用いられるデータセットと共通のデータを用いて自己符号化器(11)を学習させる学習工程と、
前記ニューラルネットワーク(20)に対する入力データと、当該入力データを前記自己符号化器(11)に入力した際の前記自己符号化器(11)の出力データとの誤差を評価する評価工程と、
前記評価工程の評価結果に基づいて、前記ニューラルネットワーク(20)に対する入力データが前記ニューラルネットワーク(20)の学習範囲内であるか否かを判定する判定工程と、を含む、
データ判別方法である。
In addition, another aspect of this embodiment is
A data discriminating method in which a computer discriminates input data to a learned neural network (20),
A learning step of learning the self-encoder (11) using data common to the data set used for learning the neural network (20);
An evaluation step of evaluating an error between input data to the neural network (20) and output data of the self-encoder (11) when the input data is input to the self-encoder (11);
A determination step of determining whether or not the input data to the neural network (20) is within the learning range of the neural network (20) based on the evaluation result of the evaluation step.
This is a data discrimination method.

この方法によれば、ニューラルネットワークに対する入力データと、これに対応する自己符号化器の出力データとの誤差を求めることで、入力データを多数の学習データと比較することなく、入力データがニューラルネットワークの学習範囲内のものか否かが判別される。そのため、学習データの規模が大きくなっても高速に判別処理を行うことができる。また、少なくとも学習範囲内か否かを判別する目的では学習データを保持する必要がないため、メモリ領域の不足が生じにくい。   According to this method, the error between the input data to the neural network and the output data of the corresponding auto-encoder is calculated, so that the input data can be processed without comparing the input data with many learning data. It is determined whether or not the learning range is within the learning range. Therefore, the discrimination process can be performed at high speed even when the scale of the learning data becomes large. Further, since it is not necessary to hold the learning data for the purpose of determining at least whether it is within the learning range, the shortage of the memory area is unlikely to occur.

さらに、本実施形態のデータ判別方法によると、
前記評価工程において、前記ニューラルネットワーク(20)に対する入力データと、当該入力データを前記自己符号化器(11)に入力した際の前記自己符号化器(11)の出力とから、四則演算の組み合わせにより誤差を算出する。
Furthermore, according to the data discrimination method of the present embodiment,
In the evaluation step, a combination of four arithmetic operations is performed from the input data to the neural network (20) and the output of the self-encoder (11) when the input data is input to the self-encoder (11). Calculate the error by

この方法によれば、誤差を算出するための演算量が少なく済み、入力データの判別処理を高速に行うことができる。   According to this method, the amount of calculation for calculating the error is small, and the input data determination process can be performed at high speed.

さらに、本実施形態のデータ判別方法によると、
前記データセット及び前記ニューラルネットワーク(20)に対する入力データは、装置に取り付けられたセンサを用いて取得することが可能な時系列データであり、
前記判定工程において、前記ニューラルネットワーク(20)に対する入力データが、前記データセットを取得するために用いられた特定の種類の装置に対応するか否かを判定する。
Furthermore, according to the data discrimination method of the present embodiment,
The input data to the dataset and the neural network (20) is time series data that can be obtained using a sensor attached to the device,
In the determining step, it is determined whether the input data to the neural network (20) corresponds to the particular type of device used to acquire the dataset.

この方法によれば、ニューラルネットワークに入力される時系列データが、ニューラルネットワークの学習に用いられた特定の種類の装置に由来するものであるか否かを判別することができ、ニューラルネットワークの出力の信頼性に関する情報を提供することができる。   According to this method, it is possible to determine whether or not the time-series data input to the neural network is derived from a specific type of device used for learning the neural network, and the output of the neural network is output. Can provide information about the reliability of the.

さらに、本実施形態のデータ判別方法によると、
前記ニューラルネットワーク(20)に対する入力データ及び前記学習工程において前記自己符号化器(11)の学習に用いられるデータは、いずれも、車両に搭載されたエンジンの回転速度及び角加速度、当該車両に搭載された自動変速機の変速機構に入力される入力回転速度及び角加速度、並びに当該変速機構が出力する出力回転速度及び角加速度を含む。
Furthermore, according to the data discrimination method of the present embodiment,
The input data to the neural network (20) and the data used for learning of the self-encoder (11) in the learning step are both the rotational speed and angular acceleration of the engine mounted on the vehicle, and the data mounted on the vehicle. The input rotational speed and the angular acceleration input to the transmission mechanism of the automatic transmission, and the output rotational speed and the angular acceleration output by the transmission mechanism are included.

この方法によれば、上述のパラメータはエンジン及び自動変速機を搭載した車両に共通して存在するため、車両の開発に当たって複数の機種が存在する装置のデータを判別することで開発工数を削減することが可能となる。例えば、自動変速機を車両に適合させるために自動変速機の制御方法や制御プログラム上の設定変数の最適化を図る場合において、特定の機種の自動変速機を車両に適合させた結果を、他の機種の適合においても適用できるか否かを、自己符号化器を用いた判定結果により判断することができる。この場合、複数の機種の自動変速機を車両に適合させる際のデータ収集の工数を、各機種のデータを個別に収集する場合に比べて低減することが可能である。   According to this method, the above-mentioned parameters exist in common in the vehicle equipped with the engine and the automatic transmission, and therefore the development man-hours are reduced by discriminating the data of the apparatus in which a plurality of models exist when developing the vehicle. It becomes possible. For example, in order to optimize the automatic transmission control method and the setting variables on the control program in order to adapt the automatic transmission to the vehicle, the result of adapting the automatic transmission of a specific model to the vehicle is It is possible to judge whether or not it can be applied even in conformity with the model of (3) by the judgment result using the self-encoder. In this case, it is possible to reduce the number of man-hours for data collection when adapting the automatic transmissions of a plurality of models to the vehicle, as compared with the case of individually collecting the data of each model.

本開示に係る技術は、車両に取り付けられたセンサから得られる時系列データに限らず、任意のニューラルネットワークに対して、当該ニューラルネットワークに対する入力データを判別する目的に利用可能である。   The technique according to the present disclosure is not limited to time-series data obtained from a sensor attached to a vehicle, and can be used for the purpose of discriminating input data for an arbitrary neural network.

10…データ判別装置/11…自己符号化器/12…評価手段(評価部)/20…ニューラルネットワーク(分類器) 10 ... Data discriminating device / 11 ... Self-encoding device / 12 ... Evaluation means (evaluation unit) / 20 ... Neural network (classifier)

Claims (8)

学習済みのニューラルネットワークに対する入力データを判別するデータ判別装置であって、
自己符号化器と、
前記ニューラルネットワークに対する入力データと、当該入力データを前記自己符号化器に入力した際の前記自己符号化器の出力データとの誤差を評価する評価手段と、を有し、
前記評価手段の評価結果に基づいて、前記ニューラルネットワークに対する入力データが前記ニューラルネットワークの学習範囲内であるか否かを判定する、
データ判別装置。
A data discriminating device for discriminating input data for a learned neural network,
An auto-encoder,
The input data to the neural network, and an evaluation means for evaluating the error between the output data of the self-encoder when the input data is input to the self-encoder,
Based on the evaluation result of the evaluation means, it is determined whether the input data to the neural network is within the learning range of the neural network,
Data discriminator.
前記自己符号化器の重み係数は、前記評価手段により評価される誤差を目的関数として、前記ニューラルネットワークの学習に用いたデータセットに属するデータと、当該データを前記自己符号化器に入力した場合の前記自己符号化器の出力データとの誤差を最小化する場合の局所解の1つと略等しい、
請求項1に記載のデータ判別装置。
When the weight coefficient of the self-encoder is input to the self-encoder with data belonging to a data set used for learning of the neural network with the error evaluated by the evaluator as an objective function. Which is approximately equal to one of the local solutions for minimizing the error with the output data of the self-encoder,
The data discriminating apparatus according to claim 1.
前記評価手段は、前記ニューラルネットワークに対する入力データと、当該入力データを前記自己符号化器に入力した際の前記自己符号化器の出力とから、四則演算の組み合わせにより誤差を算出する、
請求項1又は2に記載のデータ判別装置。
The evaluation means calculates an error by a combination of four arithmetic operations from the input data to the neural network and the output of the self-encoder when the input data is input to the self-encoder.
The data discrimination device according to claim 1.
前記ニューラルネットワークに対する入力データは、装置に取り付けられたセンサを用いて取得することが可能な時系列データであり、
前記ニューラルネットワークに対する入力データが、特定の種類の装置に対応するか否かを判定する、
請求項1乃至3のいずれか1項に記載のデータ判別装置。
Input data to the neural network is time-series data that can be obtained using a sensor attached to the device,
Determining whether the input data to the neural network corresponds to a particular type of device,
The data discriminating apparatus according to any one of claims 1 to 3.
学習済みのニューラルネットワークに対する入力データをコンピュータが判別するデータ判別方法であって、
前記ニューラルネットワークの学習に用いられるデータセットと共通のデータを用いて自己符号化器を学習させる学習工程と、
前記ニューラルネットワークに対する入力データと、当該入力データを前記自己符号化器に入力した際の前記自己符号化器の出力データとの誤差を評価する評価工程と、
前記評価工程の評価結果に基づいて、前記ニューラルネットワークに対する入力データが前記ニューラルネットワークの学習範囲内であるか否かを判定する判定工程と、を含む、
データ判別方法。
A data discrimination method in which a computer discriminates input data to a learned neural network,
A learning step of learning the self-encoder using data common to the data set used for learning the neural network;
An evaluation step of evaluating an error between input data to the neural network and output data of the self-encoder when the input data is input to the self-encoder.
A determination step of determining whether or not the input data to the neural network is within the learning range of the neural network based on the evaluation result of the evaluation step.
Data discrimination method.
前記評価工程において、前記ニューラルネットワークに対する入力データと、当該入力データを前記自己符号化器に入力した際の前記自己符号化器の出力とから、四則演算の組み合わせにより誤差を算出する、
請求項5に記載のデータ判別方法。
In the evaluation step, an error is calculated by a combination of four arithmetic operations from the input data to the neural network and the output of the self-encoder when the input data is input to the self-encoder,
The data discriminating method according to claim 5.
前記データセット及び前記ニューラルネットワークに対する入力データは、装置に取り付けられたセンサを用いて取得することが可能な時系列データであり、
前記判定工程において、前記ニューラルネットワークに対する入力データが、前記データセットを取得するために用いられた特定の種類の装置に対応するか否かを判定する、
請求項5又は6に記載のデータ判別方法。
Input data to the dataset and the neural network is time series data that can be obtained using a sensor attached to the device,
In the determining step, determining whether the input data to the neural network corresponds to a particular type of device used to obtain the dataset.
The data discriminating method according to claim 5 or 6.
前記ニューラルネットワークに対する入力データ及び前記学習工程において前記自己符号化器の学習に用いられるデータは、いずれも、車両に搭載されたエンジンの回転速度及び角加速度、当該車両に搭載された自動変速機の変速機構に入力される入力回転速度及び角加速度、並びに当該変速機構が出力する出力回転速度及び角加速度を含む、
請求項5乃至7のいずれか1項に記載のデータ判別方法。
The input data to the neural network and the data used for learning of the self-encoder in the learning step are the rotational speed and the angular acceleration of the engine mounted on the vehicle, and the automatic transmission mounted on the vehicle. The input rotation speed and the angular acceleration input to the speed change mechanism, and the output rotation speed and the angular acceleration output by the speed change mechanism are included.
The data discrimination method according to any one of claims 5 to 7.
JP2018192977A 2018-10-11 2018-10-11 Data discriminating apparatus and data discriminating method Pending JP2020061042A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018192977A JP2020061042A (en) 2018-10-11 2018-10-11 Data discriminating apparatus and data discriminating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018192977A JP2020061042A (en) 2018-10-11 2018-10-11 Data discriminating apparatus and data discriminating method

Publications (1)

Publication Number Publication Date
JP2020061042A true JP2020061042A (en) 2020-04-16

Family

ID=70218999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018192977A Pending JP2020061042A (en) 2018-10-11 2018-10-11 Data discriminating apparatus and data discriminating method

Country Status (1)

Country Link
JP (1) JP2020061042A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023062509A (en) * 2021-10-21 2023-05-08 愛知製鋼株式会社 PRESS SUPPORT SYSTEM AND PRESS SUPPORT METHOD
WO2025070407A1 (en) * 2023-09-26 2025-04-03 株式会社プロテリアル Steel evaluation method, program, and model generation method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023062509A (en) * 2021-10-21 2023-05-08 愛知製鋼株式会社 PRESS SUPPORT SYSTEM AND PRESS SUPPORT METHOD
JP7698203B2 (en) 2021-10-21 2025-06-25 愛知製鋼株式会社 Press working support system and press work support method
WO2025070407A1 (en) * 2023-09-26 2025-04-03 株式会社プロテリアル Steel evaluation method, program, and model generation method

Similar Documents

Publication Publication Date Title
US12217139B2 (en) Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model
KR102890094B1 (en) Apparatus and method for unsupervised domain adaptation
CN118094218A (en) An adaptive deep migration fault diagnosis method, system, device and medium
KR20210002018A (en) Method for estimating a global uncertainty of a neural network
CN109067773A (en) A kind of vehicle-mounted CAN network inbreak detection method neural network based and system
CN112784872B (en) Cross-working condition fault diagnosis method based on open set joint transfer learning
US11657280B1 (en) Reinforcement learning techniques for network-based transfer learning
US12288388B2 (en) System and method to alter an image
CN108973674B (en) Malfunction determination device
US11961275B2 (en) Device and method for training a normalizing flow
CN113591892B (en) Training data processing method and device
US11468322B2 (en) Method for selecting and presenting examples to explain decisions of algorithms
CN112613617A (en) Uncertainty estimation method and device based on regression model
CN116912568A (en) Noisy label image recognition method based on adaptive category equalization
CN113811894B (en) Monitoring of the KI module of the vehicle's driving function
CN109615080B (en) Unsupervised model evaluation method and device, server and readable storage medium
JP2020061042A (en) Data discriminating apparatus and data discriminating method
CN120182580A (en) A cross-domain remote sensing image target detection method based on multi-scale decoupled representation and reinforcement learning
CN112966770B (en) Fault prediction method and device based on integrated hybrid model and related equipment
CN113486926A (en) Automatic change pier equipment anomaly detection system
CN112541530B (en) Data preprocessing method and device for clustering model
CN112508080A (en) Vehicle model identification method, device, equipment and medium based on experience playback
Djelloul et al. Fault isolation in manufacturing systems based on learning algorithm and fuzzy rule selection
Huseljic et al. Systematic Evaluation of Uncertainty Calibration in Pretrained Object Detectors
KR20230168966A (en) Method and device for training a neural network

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200323

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200323

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210423