[go: up one dir, main page]

WO2022034633A1 - 学習システム、学習方法及びプログラム - Google Patents

学習システム、学習方法及びプログラム Download PDF

Info

Publication number
WO2022034633A1
WO2022034633A1 PCT/JP2020/030571 JP2020030571W WO2022034633A1 WO 2022034633 A1 WO2022034633 A1 WO 2022034633A1 JP 2020030571 W JP2020030571 W JP 2020030571W WO 2022034633 A1 WO2022034633 A1 WO 2022034633A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
unit
diagnosis
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/030571
Other languages
English (en)
French (fr)
Inventor
伸一郎 西馬
僚 柏木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2021500241A priority Critical patent/JP6854995B1/ja
Priority to CN202080099417.1A priority patent/CN115803759A/zh
Priority to PCT/JP2020/030571 priority patent/WO2022034633A1/ja
Priority to US17/913,169 priority patent/US12475408B2/en
Publication of WO2022034633A1 publication Critical patent/WO2022034633A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to learning systems, learning methods and programs.
  • a system for diagnosing the condition of production equipment or the quality of products is used.
  • a system is disclosed that acquires sensor data from a plurality of sensors installed in a production facility, generates a machine learning model based on the sensor data, and diagnoses the facility or a product using the machine learning model (for example).
  • Patent Document 1 discloses a system for diagnosing the condition of production equipment or the quality of products.
  • the diagnostic device described in Patent Document 1 outputs an alarm when the diagnosis result indicates an abnormality in the equipment, and further causes the user to input feedback indicating whether or not the alarm is correct.
  • the sensor data reflecting the feedback is labeled and stored as teacher data.
  • the diagnostic device further learns the analysis model using the stored teacher data to generate an analysis model that reflects the feedback information. It is explained that this makes it possible to easily perform equipment diagnosis.
  • the diagnostic device described in Document 1 provides an opportunity for feedback by outputting an alarm. Therefore, there is a problem that feedback can be given only to the diagnostic data judged to be abnormal by the system, and if there is an error in the diagnostic result or the learning data judged to be normal by the system, they cannot be corrected.
  • diagnosis result is shown only as normal or abnormal, and only the abnormality that completely matches the past diagnosis result is detected, there is a problem that it is not possible to deal with similar abnormality.
  • the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to provide a learning system, a learning method, and a program that generate a diagnostic model that enables highly accurate diagnosis.
  • the learning system of the present disclosure has a learning unit that generates a diagnostic model by machine learning using learning data, diagnoses diagnostic target data based on the diagnostic model, and outputs a diagnostic result.
  • the diagnosis unit and the user input that the diagnosis result is presented to the user and the diagnosis result is an erroneous diagnosis are acquired, the erroneous diagnosis data is output and the erroneous diagnosis data is corrected based on the user input.
  • a feedback processing unit that executes feedback processing.
  • the learning system further determines the similarity of the learning data or the diagnosis result that has not been subjected to feedback processing to the uncorrected erroneous diagnosis data output by the feedback processing unit, and if there is similar data having a similarity of a certain degree or more.
  • a similarity determination unit that sends similar data to the feedback processing unit when a determination is made is provided.
  • the feedback processing unit executes feedback processing on the similar data sent by the similarity determination unit, and the learning unit performs re-learning using the data including the misdiagnosis data corrected by the feedback processing.
  • FIG. 1 A block diagram showing a configuration example of a learning system according to an embodiment Flowchart showing the overall flow of the diagnostic model generation process Flowchart showing learning process Flow chart showing diagnostic processing A flowchart showing a feedback data selection process according to the first embodiment. Flowchart showing feedback processing Flow chart showing re-learning process A flowchart showing a feedback data selection process according to the second embodiment.
  • FIG. 1 is a block diagram showing a configuration example of the learning system 1 according to the first embodiment.
  • the learning system 1 is a device that generates a diagnostic model for diagnosing the state of production equipment or the quality of a product at a production site by learning.
  • the learning system has a storage unit 100 that stores data including learning data, and a calculation unit 110 that generates a diagnostic model by machine learning using the learning data and performs diagnosis using the diagnostic model. And prepare.
  • the learning system 1 further includes a display 120 for displaying information including a diagnosis result, and an input unit 130 for receiving user operations and data input.
  • the storage unit 100 is an arbitrary storage device, for example, a flash memory, a non-volatile semiconductor memory including an EPROM (ErasableProgrammableReadOnlyMemory), or a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD ( Digital Versatile Disc).
  • EPROM ErasableProgrammableReadOnlyMemory
  • magnetic disk a flexible disk, an optical disk, a compact disk, a mini disk, a DVD ( Digital Versatile Disc).
  • the storage unit 100 is a learning data storage unit 101 that stores learning data used for machine learning, an additional learning data storage unit 102 that stores feedback additional learning data, and a diagnosis performed using a diagnostic model.
  • the diagnosis result storage unit 103 which stores the diagnosis result of the above, is included. Further, the storage unit 100 also stores the machine learning program executed by the arithmetic unit 110.
  • the arithmetic unit 110 is an arbitrary arithmetic processing unit, for example, a CPU (Central Processing Unit).
  • the calculation unit 110 uses the learning unit 111, which generates a diagnostic model by machine learning using the learning data by executing the program stored in the storage unit 100, and the diagnostic model to perform diagnosis on the data to be diagnosed.
  • the learning data stored in the learning data storage unit 101 of the storage unit 100 is data including production equipment data, test data of products produced at the factory, component data, and biometric data of the producer.
  • the learning data specifically includes sensor data output from one or more sensors attached to or opposed to a production device, inspection device, component, product or producer.
  • the sensor is, for example, a vibration sensor or a temperature sensor.
  • the learning data may include information indicating the operating state of the device or the quality of the product when the sensor data is acquired. Further, the learning data may be processed sensor data or a plurality of sensor data collected by a specific process.
  • a label is attached to each data of the learning data.
  • the label is information indicating the class to which the data belongs, for example, from the operating state of the equipment at the time of data acquisition, the quality state of parts or products flowing through the production line at the time of data acquisition, or other data. It is information indicating the class classified by the information to be predicted.
  • the storage format of the learning data may be any format, for example, a database format including a relational database or a file format including CSV (Comma Separated Value).
  • the learning unit 111 of the calculation unit 110 acquires learning data from the learning data storage unit 101, generates a diagnostic model using a machine learning method designated in advance, and outputs the diagnostic model to the diagnostic unit 112.
  • the machine learning method may be any conventional method, for example, a neural network method, a decision tree method, or a random forest method.
  • the diagnostic model is a machine learning model generated by the learning unit 111 by machine learning.
  • the learning unit 111 When the learning data is added, the learning unit 111 additionally learns from the existing diagnostic model, updates the diagnostic model, and outputs it to the diagnostic unit 112.
  • the diagnostic unit 112 estimates the operating state of the device corresponding to the data to be diagnosed or the quality of parts or products using the diagnostic model output from the learning unit 111.
  • diagnosis the operation in which the diagnostic unit 112 estimates the diagnostic result including the operating state of the device or the quality of the part or the product using the diagnostic model is referred to as diagnosis.
  • the data to be diagnosed is data including data of production equipment, test data of products produced in a factory, data of parts, and biometric data of producers, which are similar to learning data.
  • the diagnosis unit 112 assigns a label selected as a result of the diagnosis, and stores the information of the diagnosis result including the label in the diagnosis result storage unit 103 of the storage unit 100.
  • the similarity determination unit 113 randomly acquires learning data from the learning data storage unit 101 and sends it to the feedback data selection unit 114 at the stage where the misdiagnosis data has never been received from the feedback processing unit 115.
  • the similarity determination unit 113 When the similarity determination unit 113 receives the misdiagnosis data from the feedback processing unit 115, the similarity determination unit 113 randomly acquires the learning data and the diagnosis result from the learning data storage unit 101 and the diagnosis result storage unit 103, and the misdiagnosis data. Similar data with a high degree of similarity is sent to the feedback data selection unit 114.
  • the feedback data selection unit 114 temporarily stores the diagnosis results stored in the diagnosis result storage unit 103, the diagnosis results sent from the similarity determination unit 113, and the learning data, and the diagnosis results selected from them. Alternatively, the learning data is sent to the feedback processing unit 115.
  • the additional learning data storage unit 102 receives the label-corrected data from the feedback processing unit 115 and stores it as additional learning data.
  • the learning unit 111 acquires the additional learning data stored in the additional learning data storage unit 102.
  • the feedback processing unit 115 executes a process of feeding back the user's judgment regarding the correctness of the diagnosis result or the learning data to the diagnosis model. Specifically, when feeding back the diagnosis result, the feedback processing unit 115 displays the diagnosis result including the diagnosis target data and the label on the display 120, and asks the user to judge whether or not the diagnosis result is correct. When the user operates the input unit 130 to input that the diagnosis result is incorrect, the feedback processing unit 115 sends the diagnosis target data as erroneous diagnosis data to the similarity determination unit 113, and also. The erroneous diagnosis data with the corrected label is stored in the additional learning data storage unit 102 as the label-corrected data.
  • FIG. 2 is a flowchart showing the entire flow of the diagnostic model generation process for generating the diagnostic model executed by the arithmetic unit 110.
  • the learning unit 111 executes a learning process using the learning data (step S100: learning step).
  • the diagnosis unit 112 determines whether or not the diagnosis target data has been input from the input unit 130 (step S101).
  • the diagnosis unit 112 executes the diagnosis process (step S102: diagnosis step). If the diagnosis target data is not input (step S101: No), the process proceeds to step S103 without executing the diagnosis process.
  • the feedback processing unit 115 determines whether or not to execute feedback (step S103). Whether or not to execute feedback is determined, for example, by whether or not a certain time has passed since the system was started or the previous feedback was performed. If the feedback processing unit 115 determines that the feedback is to be executed (step S103: Yes), the feedback processing is executed (step S104: feedback step). If it is determined not to execute the feedback (step S103: No), the process proceeds to step S105.
  • the learning unit 111 determines whether or not to execute re-learning (step S105).
  • the learning unit 111 determines that the re-learning is executed in step S105 when sufficient data is accumulated in the additional learning data storage unit 102 or when a re-learning instruction is given from the user.
  • the learning unit 111 determines that the re-learning is to be executed (step S105: Yes)
  • the learning unit 111 executes the re-learning process (step S106: re-learning step).
  • step S105: No If it is determined not to execute re-learning (step S105: No), the process proceeds to step S107. If there is an input from the user instructing to end the process (step S107: Yes), the process ends. If it is not completed (step S107: No), the process returns to step S101 and the processes of steps S101 to S107 are repeated.
  • FIG. 3 is a flowchart showing the flow of the learning process.
  • the learning unit 111 acquires learning data from the learning data storage unit 101 (step S200). After that, the preset machine learning method is acquired (step S201), the preset model accuracy target value is acquired (step S202), and the preset learning upper limit time is acquired (step S203).
  • step S204 using the learning data acquired in step S200, learning using the machine learning method acquired in step S201 is performed (step S204).
  • learning time it is determined at regular intervals whether or not the elapsed time from the start of learning (hereinafter referred to as learning time) exceeds the learning upper limit time acquired in step S203 (step S205).
  • learning time exceeds the learning upper limit time (step S205: Yes)
  • the process proceeds to step S207, the diagnostic model is output to the diagnostic unit 112 (step S207), and learning is terminated.
  • step S205 When the learning time does not exceed the learning upper limit time (step S205: No), it is determined whether or not the model accuracy of the generated diagnostic model has reached the model accuracy target value acquired in step S202 (step S206). ). When the model accuracy of the diagnostic model has reached the model accuracy target value (step S206: Yes), the process proceeds to step S207, the diagnostic model is output to the diagnostic unit 112, and the learning process is completed. If the model accuracy of the diagnostic model does not reach the model accuracy target value (step S206: No), the process returns to step S204 and learning is continued.
  • FIG. 4 is a flowchart showing the flow of the diagnostic process.
  • the diagnostic unit 112 acquires the diagnostic model output by the learning unit 111 in step S207 of FIG. 3 (step S300).
  • the diagnosis unit 112 acquires the diagnosis target data input to the input unit 130 (step S301).
  • the diagnosis is performed by inquiring the diagnosis target data acquired in step S301 to the diagnosis model acquired in step S300 (step S302).
  • the diagnosis result is stored in the diagnosis result storage unit 103 (step S303), and the process ends.
  • FIG. 5 is a flowchart showing the flow of feedback data selection processing
  • FIG. 6 is a flowchart showing the flow of feedback.
  • the feedback data selection unit 114 acquires the diagnosis result from the diagnosis result storage unit 103 (step S400). Next, the feedback data selection unit 114 determines whether or not to send the acquired diagnosis result to the feedback processing unit 115 (step S401).
  • the method of determining whether or not to send the diagnosis result is a method of probabilistically determining with a preset probability, a method of determining whether or not the diagnosis result meets a predetermined condition, or a method of determining whether or not to send the diagnosis result. A combination of these methods may be used. In the case of probabilistic determination, the probability is set to 100% when the diagnosis result is always sent. When deciding according to a predetermined condition, for example, it may be determined to select the diagnosis result when a specific abnormal mode occurs.
  • step S401: Yes when the feedback data selection unit 114 determines that the feedback processing unit 115 is to be sent (step S401: Yes), the feedback data selection unit 114 sends the diagnosis result to the feedback processing unit 115 (step S402). If it is determined not to send to the feedback processing unit 115 (step S401: No), the process ends.
  • the feedback processing unit 115 determines whether or not to execute feedback (step S500).
  • the feedback is executed, for example, that some of the feedback data sent from the feedback data selection unit 114 and accumulated has not been fed back remains, or the user is performing a feedback interruption operation. It is judged by not having it.
  • step S500: Yes the feedback processing unit 115 acquires one of the feedback data sent from the feedback data selection unit 114 (step S501).
  • the feedback data is a diagnostic result. If it is determined that the feedback is not executed (step S500: No), the process ends.
  • the feedback processing unit 115 displays the acquired feedback data on the display 120 (step S502).
  • the feedback data includes a label for the data. Further, the feedback processing unit 115 asks the user to input whether or not the label is correct, and if the label is incorrect, causes the display 120 to output a display asking the user to input the correct label.
  • the feedback processing unit 115 acquires the user input of correctness determination, which is the feedback information input by the user to the input unit 130 (step S503). If there is a positive determination user input, the feedback processing unit 115 returns to step S501 (step S504: Yes). If there is a user input for erroneous determination (step S504: No), the diagnosis result is sent to the similarity determination unit 113 as erroneous diagnosis data (step S505). Further, the label-corrected data in which the label of the diagnosis result is corrected is stored in the additional learning data storage unit 102 as the additional learning data (step S506).
  • the similarity determination unit 113 acquires the learning data for which feedback has not been executed from the learning data storage unit 101, or acquires the diagnosis result for which feedback has not been executed from the diagnosis result storage unit 103, and the acquired learning data.
  • the similarity of the diagnosis result to the erroneous diagnosis data is determined (step S507: similarity determination step).
  • the similarity determination unit 113 sends similar data having a certain degree of similarity or more to the feedback data selection unit 114 (step S508), and then returns to step S500.
  • the similar data is learning data or diagnostic result data that is determined to be similar because the degree of similarity to the misdiagnosis data before label correction is a certain level or more.
  • step S508 If there is no similar data having a degree of similarity equal to or higher than a certain level in step S508, the process returns to step S500 without sending the data.
  • the determination in step S507 is, in other words, a process of extracting similar data similar to the misdiagnosis data in which the label of the diagnosis result is determined to be incorrect by the user, and the extracted similar data is a candidate for feedback data. Become.
  • Step S508 When similar similar data is sent to the feedback data selection unit 114 (step S508) and the feedback data selection unit 114 selects the similar data, the feedback processing unit 115 executes feedback processing on the similar data. (Steps S500 to S506: Refeedback step).
  • step S507 for example, in the case of the following (1) or (2), for the misdiagnosis data of the learning data acquired from the learning data storage unit 101 or the diagnosis result acquired from the diagnosis result storage unit 103.
  • the label of the diagnosis result (misdiagnosis data) determined to be misdiagnosis and the learning data or diagnosis result are the same.
  • the distance between the diagnosis result (misdiagnosis data) determined to be misdiagnosis and the learning data or the diagnosis result is smaller than the average of the distances between other data.
  • the distance between the data in (2) may be the Euclidean distance or the distance calculated by the dynamic time expansion / contraction method. Further, a dimension compression process such as an autoencoder may be performed before the distance calculation.
  • step S500 the timing of determining whether or not to give feedback may be set in advance by the user. For example, feedback may be always given at the timing when the diagnosis unit 112 executes the diagnosis, or the determination that feedback may be given may be periodically made. If it is performed periodically, the judgment cycle may be arbitrarily set by the user. When the user wants to improve the accuracy of the model, feedback is frequently given by shortening the judgment cycle. On the other hand, when it is desired to reduce the user burden of feedback input without emphasizing the improvement of model accuracy, feedback is not executed much by lengthening the value of the judgment cycle.
  • the feedback processing unit 115 can display the feedback data again and give feedback after a preset time has elapsed.
  • the case where it cannot be determined whether or not the label of the diagnosis result is correct is, for example, the case where the precursor of the device failure is displayed as the diagnosis result. In this case, since it is not known whether the diagnosis result was correct until the device fails, the user cannot judge whether it is correct or incorrect.
  • the time may be set again when holding it. At this time, if the time is not input, the feedback data is returned to the feedback data selection unit 114, and is sent to the feedback processing unit 115 again at a preset timing like other feedback data. ..
  • FIG. 7 is a flowchart showing the flow of the re-learning process.
  • the learning unit 111 acquires learning data from the learning data storage unit 101 for re-learning, and acquires additional learning data from the additional learning data storage unit 102 (step S600).
  • the additional learning data is data whose labels have been corrected by feedback processing.
  • the preset machine learning method is acquired (step S601), and the preset learning upper limit time is acquired (step S602).
  • step S603 the learning unit 111 acquires the trained diagnostic model output in step S207 of FIG. 3 (step S603).
  • the trained diagnostic model is updated using the data for retraining acquired in step S600.
  • updating the diagnostic model is referred to as re-learning (step S604).
  • re-learning it is determined at regular intervals whether or not the learning time exceeds the learning upper limit time acquired in step S602 (step S605).
  • step S605: Yes the re-learning is terminated and the process proceeds to step S606. If the learning time does not exceed the learning upper limit time (step S605: No), the process returns to step S604.
  • step S606 After the re-learning is terminated after the learning upper limit time is exceeded, it is determined whether or not the model accuracy of the diagnostic model at that time is improved from the diagnostic model acquired in step S603 (step S606). If the model accuracy is improved (step S606: Yes), the re-learned diagnostic model is output to the diagnostic unit 112 (step S607) and the process ends. If the model accuracy is not improved (step S606: No), the retrained diagnostic model is discarded (step S608) and the process ends.
  • the timing at which re-learning is performed may be any of the following timings. (1) Timing when the additional learning data exceeds a preset fixed number (2) Timing when a preset time has elapsed (3) Timing when a preset scheduled time has elapsed (4) Re-from the user Timing when learning instructions are entered
  • the diagnosis unit 112 diagnoses the data to be diagnosed and diagnoses using the diagnostic model generated by the learning unit 111 by machine learning using the learning data. Save the results.
  • the feedback processing unit 115 executes the feedback processing for the data selected as the feedback data from the diagnosis results.
  • the feedback processing unit 115 requests the user to determine whether the label is correct or incorrect for the selected diagnosis result, and if the user makes an erroneous determination, corrects the label and stores it in the additional learning data storage unit 102.
  • the similarity determination unit 113 determines the degree of similarity to the misdiagnosis data for other learning data or the diagnosis result, and the feedback processing unit 115 executes feedback processing again for the similar data determined to have a high degree of similarity. Then, the learning unit 111 decides to relearn using the learning data stored in the learning data storage unit 101 and the additional learning data storage unit 102.
  • re-learning is performed using similar data similar to the misdiagnosis data determined to be misdiagnosis by the feedback process, so that a diagnostic model capable of highly accurate diagnosis can be generated.
  • the feedback data selection unit 114 selects the data of the label presumed to have many errors and feeds it back intensively, so that the label quality of the data can be efficiently improved.
  • the learning system 1 is a system for generating a diagnostic model for diagnosing the state of the production equipment or the quality of the product at the production site by learning, and FIG. 1 It has the same configuration as that of the first embodiment shown in the above.
  • the learning system 1 executes the same diagnostic model generation process as that of the first embodiment shown in FIG. 2, but outputs the diagnostic process (step S102 in FIG. 2) executed by the diagnostic unit 112.
  • the information to be performed and the processing content of the feedback processing are different from those of the first embodiment. This difference will be described in detail.
  • the diagnosis unit 112 simultaneously outputs the certainty of diagnosis in addition to the diagnosis result including the operating state of the device or the quality of the part or the product product obtained as a result of executing the diagnosis process in step S102 of FIG.
  • the certainty of diagnosis may be a value defined by a conventional function, for example, a value defined by the SoftMax function of a neural network.
  • the diagnosis unit 112 stores the diagnosis result including the operating state of the output device or the quality of the part or the product, and the certainty of the diagnosis in the diagnosis result storage unit 103.
  • the diagnosis result may be stored in the diagnosis result storage unit 103 in a format in which the diagnosis result and the certainty of the diagnosis are associated with each other.
  • the criteria for selecting the diagnostic result data sent by the feedback data selection unit 114 to the feedback processing unit 115 is that the similarity determined by the similarity determination unit 113 is above a certain level and the certainty of diagnosis is below the threshold value. Is included.
  • FIG. 8 is a flowchart of the feedback data selection process of the second embodiment. The flow of the feedback data selection process will be described with reference to FIG.
  • the feedback data selection unit 114 acquires the diagnosis result from the diagnosis unit 112 (step S700). Next, it is determined whether or not the conviction of the diagnosis result is equal to or less than a preset threshold value (step S701). When the degree of certainty exceeds the threshold value (step S701: No), since the diagnosis is performed with a certain degree of certainty or more, the diagnosis is terminated without giving feedback, and the patient waits until the next diagnosis is made. If it is equal to or less than the threshold value (step S701: Yes), the feedback data selection unit 114 sends the diagnosis result to the feedback processing unit 115 (step S702), and ends the process.
  • the diagnostic unit 112 diagnoses the data to be diagnosed by using the diagnostic model generated by the learning unit 111 by machine learning using the learning data.
  • the diagnosis result and the certainty of the diagnosis result are output and stored in the diagnosis result storage unit 103.
  • the feedback processing unit 115 selects feedback data having a certainty of the diagnosis result equal to or less than the threshold value, and the feedback processing unit 115 processes the selected diagnosis results. I decided to execute.
  • the feedback processing unit 115 executes the feedback processing for the data having a low degree of certainty of diagnosis when the feedback data selection unit 114 selects the data, so that the efficiency of the feedback can be improved.
  • the diagnosis target data diagnosed by the diagnosis unit 112 is input from the input unit 130, but the learning data stored in the learning data storage unit 101 is used as the diagnosis target data in the diagnosis unit. 112 may be acquired.
  • the conviction of the learning data can be output by diagnosing the learning data stored in the learning data storage unit 101 as the diagnosis target data.
  • the learning data may be stored in the learning data storage unit 101 in association with the output conviction, and the learning unit 111 may perform learning with the learning data including the conviction.
  • the hardware configuration of the learning system 1 and the processing content of the arithmetic unit 110 shown in the above embodiment are examples, and can be arbitrarily changed and modified.
  • Each function realized by the learning system 1 can be realized by using a normal computer system without using a dedicated system.
  • a computer-readable CD-ROM Compact Disc Read-Only Memory
  • DVD Digital Versatile Disc
  • MO Magnetic Optical Disc
  • a computer capable of realizing each function may be configured by storing and distributing it on a recording medium of the above and installing a program on the computer.
  • OS Operating System
  • the application or by cooperating with the OS and the application, only the part other than the OS may be stored in the recording medium.
  • 1 learning system 100 storage unit, 101 learning data storage unit, 102 additional learning data storage unit, 103 diagnosis result storage unit, 110 calculation unit, 111 learning unit, 112 diagnostic unit, 113 similarity judgment unit, 114 feedback unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

学習システム（１）において、学習部（１１１）が学習用データを用いた機械学習により診断モデルを生成し、診断部（１１２）が診断モデルに基づいて診断対象データを診断する。フィードバック処理部（１１５）は、診断結果が誤診断であることを示すユーザ入力を取得した場合に、誤診断データを出力し、また、ユーザ入力に基づいて誤診断データを修正する。類似度判定部（１１３）は、フィードバック処理部（１１５）が出力する修正前の誤診断データに対する、フィードバック処理を未実行の学習用データ又は診断結果の類似度を判定し、類似度が一定以上の類似データが存すると判定した場合に、フィードバック処理部（１１５）に類似データを送付する。フィードバック処理部（１１５）は、類似データについてフィードバック処理を実行し、学習部（１１１）は、フィードバック処理により修正済の誤診断データを含むデータを用いて再学習を行う。

Description

学習システム、学習方法及びプログラム
　本開示は、学習システム、学習方法及びプログラムに関する。
　生産現場において、生産設備の状態又は生産品の品質を診断するシステムが用いられている。例えば、生産設備に設置した複数のセンサからセンサデータを取得し、センサデータに基づいて機械学習モデルを生成し、機械学習モデルを用いて設備又は生産品を診断するシステムが開示されている（例えば、特許文献１）。
　特許文献１に記載の診断装置は、診断結果が設備の異常を示す場合にアラームを出力し、さらにアラームが正しいか否かを示すフィードバックをユーザに入力させる。フィードバックが反映されたセンサデータは、教師データとしてラベル付けされて記憶される。診断装置は、記憶された教師データを用いて解析モデルをさらに学習することにより、フィードバック情報を反映した解析モデルを生成する。これにより、設備の診断を容易に実行することが可能になると説明されている。
特開２０１９－１０１４９５号公報
　文献１に記載の診断装置は、フィードバックの機会をアラームの出力によって与えている。このため、システムが異常と判断した診断データに対してしかフィードバックが行なえず、システムが正常と判断した診断結果又は学習用データに誤りがある場合にそれらを訂正できないという課題があった。
　また、診断結果が正常又は異常のみで示されており、過去の診断結果と完全に一致する異常のみを検知するため、類似する異常に対応することができないという課題があった。
　本開示は、上述のような事情に鑑みてなされたものであり、精度の高い診断を可能にする診断モデルを生成する学習システム、学習方法及びプログラムを提供することを目的とする。
　上記目的を達成するため、本開示の学習システムは、学習用データを用いた機械学習により診断モデルを生成する学習部と、診断モデルに基づいて診断対象データを診断して、診断結果を出力する診断部と、診断結果をユーザに提示し、診断結果が誤診断であることを示すユーザ入力を取得した場合に、誤診断データを出力し、また、ユーザ入力に基づいて誤診断データを修正するフィードバック処理を実行するフィードバック処理部と、を備える。学習システムは、さらに、フィードバック処理部が出力する修正前の誤診断データに対する、フィードバック処理を未実行の学習用データ又は診断結果の類似度を判定し、類似度が一定以上の類似データが存すると判定した場合に、フィードバック処理部に類似データを送付する類似度判定部を備える。フィードバック処理部は、類似度判定部が送付した類似データについてフィードバック処理を実行し、学習部は、フィードバック処理により修正済の誤診断データを含むデータを用いて再学習を行う。
　本開示によれば、診断対象データの診断結果に対するフィードバックにより誤りと判定された誤診断データに類似するデータを用いて再学習を行うため、精度の高い診断を可能にする診断モデルを生成することが可能になる。
実施の形態に係る学習システムの構成例を示すブロック図 診断モデル生成処理の全体の流れを示すフローチャート 学習処理を示すフローチャート 診断処理を示すフローチャート 実施の形態１に係るフィードバック用データ選定処理を示すフローチャート フィードバック処理を示すフローチャート 再学習処理を示すフローチャート 実施の形態２に係るフィードバック用データ選定処理を示すフローチャート
（実施の形態１）
　以下に、本開示を実施するための実施の形態１について図面を参照して詳細に説明する。なお、図中同一又は相当する部分には同じ符号を付す。
　図１は、実施の形態１に係る学習システム１の構成例を示すブロック図である。学習システム１は、生産現場において生産設備の状態又は生産品の品質を診断するための診断モデルを学習により生成する装置である。
　学習システムは図１に示すように、学習用データを含むデータを保存する記憶部１００と、学習用データを用いた機械学習により診断モデルを生成し、診断モデルを用いて診断を行う演算部１１０と、を備える。学習システム１は、さらに診断結果を含む情報を表示するディスプレイ１２０と、ユーザの操作及びデータの入力を受け付ける入力部１３０とを備える。
　記憶部１００は、任意の記憶装置であり、例えば、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）を含む不揮発性半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）である。
　記憶部１００は、機械学習に用いる学習用データを保存する学習用データ保存部１０１と、フィードバックされた追加学習用データを保存する追加学習用データ保存部１０２と、診断モデルを用いて行った診断の診断結果を保存する診断結果保存部１０３と、を含む。さらに、記憶部１００は、演算部１１０が実行する機械学習のプログラムも記憶する。
　演算部１１０は、任意の演算処理装置であり、例えば、ＣＰＵ（Central Processing Unit）である。演算部１１０は、記憶部１００に格納されるプログラムを実行することにより、学習用データを用いた機械学習により診断モデルを生成する学習部１１１と、診断モデルを用いて、診断対象データに対する診断を行う診断部１１２と、入力されるデータの類似度を判定する類似度判定部１１３と、フィードバック用データを選定するフィードバック用データ選定部１１４と、フィードバック処理を実行するフィードバック処理部１１５と、として機能する。
　記憶部１００の学習用データ保存部１０１に保存される学習用データは、生産設備のデータ、工場で生産される生産品のテストデータ、部品のデータ、生産者の生体データを含むデータである。学習用データは、具体的には、生産装置、検査装置、部品、生産品又は生産者に取り付けられ、又は、対向して設置された１又は複数のセンサから出力されるセンサデータを含む。センサは、例えば、振動センサ又は温度センサである。学習用データは、センサデータを取得した際の装置の稼働状態又は製品の品質を示す情報を含んでもよい。また、学習用データは、センサデータを加工したもの又は複数のセンサデータを特定の処理によりまとめたものであってもよい。
　学習用データの各データには、ラベルが付与される。ラベルとは、データが属するクラスを示す情報であり、例えば、データが取得された時の設備の稼働状態、データ取得時に生産ラインを流れていた部品又は生産品の品質状態、あるいは、その他データから予測する情報により分類されたクラスを示す情報である。
　学習用データの保存形式は任意の形式でよく、例えば、リレーショナルデータベースを含むデータベース形式又はＣＳＶ（Comma Separated Value）を含むファイル形式でもよい。
　演算部１１０の学習部１１１は、学習用データ保存部１０１から学習用データを取得し、予め指定された機械学習手法を用いて診断モデルを生成し、診断部１１２に出力する。機械学習手法は従来の任意の手法でよく、例えば、ニューラルネットワーク手法、決定木手法、ランダムフォレスト手法である。診断モデルは、学習部１１１が機械学習により生成する機械学習モデルである。
　学習部１１１は学習用データの追加が行われた場合は既存の診断モデルに対して追加で学習を行い、診断モデルを更新して、診断部１１２に出力する。
　診断部１１２は、診断対象データに対応する装置の稼働状態あるいは部品又は生産品の品質を学習部１１１から出力された診断モデルを用いて推定する。以降、診断部１１２が診断モデルを用いて装置の稼働状態あるいは部品又は生産品の品質を含む診断結果を推定する動作を診断と称する。診断対象データは、学習用データと同様の、生産設備のデータ、工場で生産される生産品のテストデータ、部品のデータ、生産者の生体データを含むデータである。
　診断部１１２は、診断の結果、選択されたラベルを付与し、ラベルを含む診断結果の情報を記憶部１００の診断結果保存部１０３に保存する。
　類似度判定部１１３は、フィードバック処理部１１５から誤診断データを一度も受け取っていない段階では、学習用データ保存部１０１からランダムに学習用データを取得し、フィードバック用データ選定部１１４に送付する。
　類似度判定部１１３は、フィードバック処理部１１５から誤診断データを受け取った際には、学習用データ保存部１０１及び診断結果保存部１０３からランダムに学習用データ及び診断結果を取得し、誤診断データと類似度が高い類似データをフィードバック用データ選定部１１４に送付する。
　フィードバック用データ選定部１１４は、診断結果保存部１０３に保存している診断結果並びに類似度判定部１１３から送付された診断結果及び学習用データを一時的に蓄積し、その中から選定した診断結果又は学習用データをフィードバック処理部１１５に送付する。
　追加学習用データ保存部１０２は、フィードバック処理部１１５からラベル修正済データを受け取り、追加学習用データとして蓄積する。学習部１１１は、再学習を行う際には追加学習用データ保存部１０２に保存されている追加学習用データを取得する。
　フィードバック処理部１１５は、診断結果又は学習用データの正誤に係るユーザの判断を診断モデルにフィードバックする処理を実行する。具体的には、診断結果についてフィードバックする場合、フィードバック処理部１１５は、診断対象データとラベルを含む診断結果をディスプレイ１２０に表示し、診断結果が正しかったか否かの判断をユーザに求める。ユーザが入力部１３０を操作することにより、診断結果が誤りであることが入力された場合は、フィードバック処理部１１５は、診断対象データを誤診断データとして類似度判定部１１３に送付し、また、誤診断データのラベルを修正したものをラベル修正済データとして追加学習用データ保存部１０２に保存する。
　以上の構成を有する学習システム１の動作について、図２－９に示すフローチャートを用いて説明する。
　図２は、演算部１１０が実行する診断モデルを生成する診断モデル生成処理の全体の流れを示すフローチャートである。
　まず、学習部１１１が学習用データを用いて学習処理を実行する（ステップＳ１００：学習ステップ）。学習後に診断部１１２は、入力部１３０より診断対象データが入力されたか否かを判定する（ステップＳ１０１）。診断対象データが入力された場合（ステップＳ１０１：Ｙｅｓ）は、診断部１１２が診断処理を実行する（ステップＳ１０２：診断ステップ）。診断対象データが入力されなかった場合（ステップＳ１０１：Ｎｏ）は、診断処理を実行せずにステップＳ１０３に進む。
　次に、フィードバック処理部１１５が、フィードバックを実行するか否かを判断する（ステップＳ１０３）。フィードバックを実行するか否かは、例えば、システムの起動又は前回のフィードバックから一定時間が経過したか否かにより判断する。フィードバック処理部１１５が、フィードバックを実行すると判断した場合は（ステップＳ１０３：Ｙｅｓ）、フィードバック処理を実行する（ステップＳ１０４：フィードバックステップ）。フィードバックを実行しないと判断した場合は（ステップＳ１０３：Ｎｏ）、ステップＳ１０５に進む。
　次に、学習部１１１が再学習を実行するか否かの判断を行う（ステップＳ１０５）。学習部１１１は、追加学習用データ保存部１０２に十分にデータが蓄積され、又は、ユーザからの再学習指示があった場合に、ステップＳ１０５で再学習を実行すると判断する。学習部１１１は再学習を実行すると判断した場合は（ステップＳ１０５：Ｙｅｓ）、再学習処理を実行する（ステップＳ１０６：再学習ステップ）。
　再学習を実行しないと判断した場合は（ステップＳ１０５：Ｎｏ）、ステップＳ１０７に進む。ユーザより処理を終了することを指示する入力があった場合は（ステップＳ１０７：Ｙｅｓ）、処理を終了する。終了しない場合は（ステップＳ１０７：Ｎｏ）、ステップＳ１０１に戻り、ステップＳ１０１～Ｓ１０７の処理を繰り返す。
　次に、図２のステップＳ１００で実行する学習処理について説明する。図３は学習処理の流れを示すフローチャートである。
　まず、学習部１１１が、学習用データ保存部１０１から学習用データを取得する（ステップＳ２００）。その後、予め設定された機械学習手法を取得し（ステップＳ２０１）、予め設定されたモデル精度目標値を取得し（ステップＳ２０２）、予め設定された学習上限時間を取得する（ステップＳ２０３）。
　次に、ステップＳ２００で取得した学習用データを用いて、ステップＳ２０１で取得した機械学習手法を用いた学習を行う（ステップＳ２０４）。学習を行っている間、一定の間隔で、学習開始からの経過時間（以下学習時間と称する）がステップＳ２０３で取得した学習上限時間を超過したか否かを判定する（ステップＳ２０５）。学習時間が学習上限時間を超過した場合には（ステップＳ２０５：Ｙｅｓ）、ステップＳ２０７に移行して診断モデルを診断部１１２に出力し（ステップＳ２０７）、学習を終了する。
　学習時間が学習上限時間を超過していない場合には（ステップＳ２０５：Ｎｏ）、生成した診断モデルのモデル精度がステップＳ２０２で取得したモデル精度目標値に達したか否かを判定する（ステップＳ２０６）。診断モデルのモデル精度がモデル精度目標値に達している場合には（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７に移行して診断モデルを診断部１１２に出力し学習処理を終了する。診断モデルのモデル精度がモデル精度目標値に達していない場合には（ステップＳ２０６：Ｎｏ）、ステップＳ２０４に戻り、学習を継続する。
　次に、図２のステップＳ１０２で実行する診断処理について説明する。図４は診断処理の流れを示すフローチャートである。
　まず、診断部１１２は、図３のステップＳ２０７で学習部１１１が出力した診断モデルを取得する（ステップＳ３００）。次に、診断部１１２は、入力部１３０に入力された診断対象データを取得する（ステップＳ３０１）。そして、ステップＳ３００で取得した診断モデルに対してステップＳ３０１で取得した診断対象データを照会することにより診断を行う（ステップＳ３０２）。最後に診断結果を診断結果保存部１０３に格納して（ステップＳ３０３）終了する。
　次に、図２のステップＳ１０４で実行するフィードバック処理について図５、６を用いて説明する。図５はフィードバック用データ選定処理の流れを示すフローチャートであり、図６はフィードバックの流れを示すフローチャートである。
　図５のフローチャートにおいて、フィードバック用データ選定部１１４は、診断結果保存部１０３から診断結果を取得する（ステップＳ４００）。次に、フィードバック用データ選定部１１４は、取得した診断結果をフィードバック処理部１１５に送付するか否かを判定する（ステップＳ４０１）。診断結果を送付するか否かの判定方法は、予め設定された確率で、確率的に決める方法、又は、診断結果があらかじめ定めた条件に合致しているか否かに応じて決める方法、あるいは、それらの方法の組み合わせでもよい。確率的に決める場合は、診断結果を常に送付するときは、確率は１００％に設定される。あらかじめ定めた条件により決める場合は、例えば、特定の異常モードが発生した時の診断結果を選定すると判定してもよい。
　次に、フィードバック用データ選定部１１４は、フィードバック処理部１１５に送付すると判定した場合は（ステップＳ４０１：Ｙｅｓ）、診断結果をフィードバック処理部１１５に送付する（ステップＳ４０２）。フィードバック処理部１１５に送付しないと判定した場合は（ステップＳ４０１：Ｎｏ）、終了する。
　図６のフローチャートにおいて、まず、フィードバック処理部１１５は、フィードバックを実行するか否かを判定する（ステップＳ５００）。フィードバックの実行は、例えば、フィードバック用データ選定部１１４から送付されて蓄積されているフィードバック用データのうちフィードバックが行われていないものが残っていること、又は、ユーザがフィードバックの中断操作を行っていないことにより判定される。
　フィードバックを実行すると判定した場合は（ステップＳ５００：Ｙｅｓ）、フィードバック処理部１１５が、フィードバック用データ選定部１１４から送付されたフィードバック用データのうちの一つのデータを取得する（ステップＳ５０１）。ここでは、フィードバック用データは診断結果である。フィードバックを実行しないと判定した場合は（ステップＳ５００：Ｎｏ）、処理を終了する。
　フィードバック処理部１１５は取得したフィードバック用データをディスプレイ１２０に表示させる（ステップＳ５０２）。フィードバック用データにはデータのラベルが含まれている。さらに、フィードバック処理部１１５は、ラベルが正しいか否かの入力をユーザに求め、さらにラベルが誤っている場合には、正しいラベルの入力をユーザに求める表示をディスプレイ１２０に出力させる。
　フィードバック処理部１１５は、ユーザが入力部１３０に入力したフィードバック情報である正誤判定のユーザ入力を取得する（ステップＳ５０３）。フィードバック処理部１１５は、正判定のユーザ入力があった場合には（ステップＳ５０４：Ｙｅｓ）ステップＳ５０１に戻る。誤判定のユーザ入力があった場合には（ステップＳ５０４：Ｎｏ）、診断結果を、誤診断データとして類似度判定部１１３に送付する（ステップＳ５０５）。さらに診断結果のラベルを修正したラベル修正済データを追加学習用データとして、追加学習用データ保存部１０２に格納する（ステップＳ５０６）。
　次に、類似度判定部１１３が学習用データ保存部１０１からフィードバック未実行の学習用データを取得し、又は、診断結果保存部１０３からフィードバック未実行の診断結果を取得し、取得した学習用データ又は診断結果の、誤診断データに対する類似度を判定する（ステップＳ５０７：類似度判定ステップ）。類似度判定部１１３は、類似度が一定以上である類似データをフィードバック用データ選定部１１４に送付した後（ステップＳ５０８）、ステップＳ５００に戻る。ここで、類似データとは、ラベル修正前の誤診断データに対する類似度が一定以上であり類似すると判定された学習用データ又は診断結果のデータである。ステップＳ５０８で類似度が一定以上である類似データがない場合には、データを送付せずにステップＳ５００に戻る。ステップＳ５０７の判定は、換言すると、ユーザにより診断結果のラベルが誤りであると判定された誤診断データと類似する類似データを抽出する処理であり、抽出された類似データはフィードバック用データの候補となる。
　類似する類似データがフィードバック用データ選定部１１４に送付され（ステップＳ５０８）、フィードバック用データ選定部１１４が当該類似データを選定した場合は、フィードバック処理部１１５は、当該類似データについてフィードバック処理を実行する（ステップＳ５００～Ｓ５０６：再フィードバックステップ）。
　ステップＳ５０７では、例えば、次の（１）又は（２）の場合に、学習用データ保存部１０１から取得した学習用データ、又は、診断結果保存部１０３から取得した診断結果の、誤診断データに対する類似度が高いと判定する。
（１）誤診断と判定された診断結果（誤診断データ）と、学習用データ又は診断結果と、のラベルが同一。
（２）誤診断と判定された診断結果（誤診断データ）と、学習用データ又は診断結果と、の間の距離が、他のデータ間の距離の平均よりも小さい。
　なお、（２）におけるデータ間の距離は、ユークリッド距離又は動的時間伸縮法により算出した距離でもよい。また、距離計算の前にオートエンコーダなどの次元圧縮処理を行ってもよい。
　ステップＳ５００において、フィードバックを行うか否かの判断のタイミングはユーザが事前に設定可能にしてもよい。例えば、診断部１１２が診断を実行したタイミングで必ずフィードバックを行ってもよく、又は、フィードバックを行うという判断を周期的に行ってもよい。周期的に行う場合には判断周期をユーザが任意に設定可能にしてもよい。ユーザがモデルの精度を高めたい場合には判断周期を短くすることによりフィードバックを頻繁に行う。一方、モデルの精度向上を重要視せずフィードバック入力のユーザ負担を軽減したい場合には、判断周期の値を長くすることによりフィードバックをあまり実行しない。
　ステップＳ５０２で表示されたフィードバック用データを視認したユーザが、診断結果のラベルが正しかったか否かの判断がつかない場合は、フィードバックを保留にすることができる。保留された診断結果について、フィードバック処理部１１５は、予め設定された時間が経過した後にフィードバック用データを再度表示させフィードバックを行うことができる。診断結果のラベルが正しかったか否かの判断がつかない場合とは、例えば、装置故障の前兆が診断結果として表示された場合である。この場合は装置が故障するまでその診断結果が正しかったか分からないため、ユーザは正誤の判断がつかない。
　保留する際にフィードバック用データを再度表示する時間を設定可能にしてもよい。このとき、時間が入力されなかった場合は、フィードバック用データはフィードバック用データ選定部１１４に戻され、他のフィードバック用データと同様に、予め設定されたタイミングで再度フィードバック処理部１１５に送付される。
　次に、図２のステップＳ１０６で実行する再学習処理について説明する。図７は再学習処理の流れを示すフローチャートである。
　まず、学習部１１１は、再学習用に、学習用データ保存部１０１から学習用データを取得し、追加学習用データ保存部１０２から追加学習用データを取得する（ステップＳ６００）。ここで、追加学習用データは、フィードバック処理によりラベルが修正されたデータである。その後、予め設定された機械学習手法を取得し（ステップＳ６０１）、予め設定された学習上限時間を取得する（ステップＳ６０２）。
　次に、学習部１１１は、図３のステップＳ２０７で出力した学習済の診断モデルを取得する（ステップＳ６０３）。次に、ステップＳ６００で取得した再学習用のデータを用いて学習済の診断モデルの更新を行う。以降、診断モデルの更新を、再学習と称する（ステップＳ６０４）。再学習を行っている間、一定の間隔で、学習時間がステップＳ６０２で取得した学習上限時間を超過したか否かを判定する（ステップＳ６０５）。学習時間が学習上限時間を超過した場合には（ステップＳ６０５：Ｙｅｓ）、再学習を打ち切ってステップＳ６０６に移行する。学習時間が学習上限時間を超過してない場合には（ステップＳ６０５：Ｎｏ）、ステップＳ６０４に戻る。
　学習上限時間を超過して再学習を打ち切った後、その時点の診断モデルのモデル精度がステップＳ６０３で取得した診断モデルより向上したか否かを判定する（ステップＳ６０６）。モデル精度が向上していた場合には（ステップＳ６０６：Ｙｅｓ）、再学習後の診断モデルを診断部１１２へ出力して（ステップＳ６０７）して終了する。モデル精度が向上していなかった場合には（ステップＳ６０６：Ｎｏ）、再学習後の診断モデルを破棄して（ステップＳ６０８）終了する。
　再学習が行われるタイミングは、次のいずれかのタイミングでもよい。
（１）追加学習用データが予め設定された一定数以上になったタイミング
（２）予め設定された時間が経過したタイミング
（３）予め設定された定刻を経過したタイミング
（４）ユーザからの再学習指示が入力されたタイミング
　以上説明したように、本実施の形態に係る学習システム１は、学習部１１１が学習用データを用いた機械学習により生成した診断モデルを用いて、診断部１１２が診断対象データを診断し、診断結果を保存する。診断結果の中からフィードバック用のデータとして選定されたものについてフィードバック処理部１１５がフィードバック処理を実行する。フィードバック処理部１１５は、選定された診断結果について、ユーザに対してラベルの正誤判定を求め、ユーザにより誤判定された場合、ラベルを修正して追加学習用データ保存部１０２に保存する。類似度判定部１１３は他の学習用データ又は診断結果について誤診断データに対する類似度を判定し、フィードバック処理部１１５は、類似度が高いと判定した類似データについて、再度フィードバック処理を実行する。そして、学習部１１１が学習用データ保存部１０１、追加学習用データ保存部１０２に保存されている学習用データを用いて再学習することとした。
　これにより、フィードバック処理で誤診断と判定された誤診断データに類似する類似データを用いて再学習を行うため、精度の高い診断が可能な診断モデルを生成することができる。
　また、フィードバック用データ選定部１１４が、誤りが多いと推測されるラベルのデータを選定して集中的にフィードバックすることにより、データのラベル品質を効率的に高めることが可能となる。
　さらにフィードバックの機会をアラームのタイミングによらず予め定めたタイミングで与えることが可能となり、ユーザは心理的余裕がある状態で診断結果の正誤について判断することが可能となる。さらに診断システムが異常と判断したデータのみでなく、正常と判断したデータに対してもユーザによる正誤判定を行い、フィードバックを行うことが可能となる。
（実施の形態２）
　以下に、本開示を実施するための実施の形態２について図面を参照して詳細に説明する。なお、図中同一又は相当する部分には同じ符号を付す。
　本実施の形態２に係る学習システム１は、実施の形態１と同様に、生産現場において生産設備の状態又は生産品の品質を診断するための診断モデルを学習により生成するシステムであり、図１に示した実施の形態１の構成と同様の構成を有する。
　本実施の形態２に係る学習システム１は、図２に示した実施の形態１と同様の診断モデル生成処理を実行するが、診断部１１２が実行する診断処理（図２のステップＳ１０２）で出力する情報と、フィードバック処理（図２のステップＳ１０４）の処理内容が実施の形態１と異なる。この相違点について詳細に説明する。
　診断部１１２は図２のステップＳ１０２の診断処理を実行した結果得られた、装置の稼働状態あるいは部品又は生産品の品質を含む診断結果に加えて、診断の確信度も同時に出力する。診断の確信度は、従来の関数で定義された値でよく、例えば、ニューラルネットワークのＳｏｆｔＭａｘ関数で定義された値である。
　診断部１１２は、出力された装置の稼働状態あるいは部品又は生産品の品質を含む診断結果と、診断の確信度と、を診断結果保存部１０３に保存する。このとき、診断結果と診断の確信度とを紐付けた形式で診断結果保存部１０３に保存してもよい。
　フィードバック用データ選定部１１４がフィードバック処理部１１５に送付する診断結果のデータの選定基準は、類似度判定部１１３が判定した類似度が一定以上であることに加えて、診断の確信度が閾値以下であることが含まれる。
　図８は、本実施の形態２のフィードバック用データ選定処理のフローチャートである。フィードバック用データ選定処理の流れについて図８を用いて説明する。
　フィードバック用データ選定部１１４は、診断部１１２から診断結果を取得する（ステップＳ７００）。次に、診断結果の確信度があらかじめ設定された閾値以下か否かを判定する（ステップＳ７０１）。確信度が閾値を超えている場合には（ステップＳ７０１：Ｎｏ）、一定以上の確信を持って診断を行っているため、フィードバックを行わず終了して、次の診断が行われるまで待機する。閾値以下である場合には（ステップＳ７０１：Ｙｅｓ）、フィードバック用データ選定部１１４は、診断結果をフィードバック処理部１１５に送付して（ステップＳ７０２）、処理を終了する。
　以上説明したように、本実施の形態２に係る学習システム１は、学習部１１１が学習用データを用いた機械学習により生成した診断モデルを用いて、診断部１１２が診断対象データを診断するとき、診断結果とその診断結果の確信度を出力し、診断結果保存部１０３に保存する。フィードバック用データ選定部１１４は、診断結果の中からフィードバック用のデータとして選定する際に、診断結果の確信度が閾値以下であるものを選定し、選定した診断結果についてフィードバック処理部１１５がフィードバック処理を実行することとした。これにより、フィードバック用データ選定部１１４が選定する際に診断の確信度の低いものについてフィードバック処理部１１５がフィードバック処理を実行するため、フィードバックの効率を高めることができる。
（変形例）
　上記実施の形態は、種々の変更が可能である。
　例えば、上記実施の形態において、診断部１１２が診断する診断対象データは、入力部１３０より入力されるとしたが、学習用データ保存部１０１に保存された学習用データを診断対象データとして診断部１１２が取得してもよい。
　実施の形態２において、学習用データ保存部１０１に保存された学習用データを診断対象データとして診断することにより学習用データの確信度を出力することができる。出力された確信度と紐づけて学習用データを学習用データ保存部１０１に保存しておき、学習部１１１が、確信度を含む学習用データで学習をしてもよい。
　また、上記実施の形態に示した学習システム１のハードウェア構成及び演算部１１０の処理内容は一例であり、任意に変更及び修正が可能である。学習システム１で実現する各機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
　例えば、上記実施の形態の動作を実行するためのプログラムを、コンピュータが読み取り可能なＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカード等の記録媒体に格納して配布し、プログラムをコンピュータにインストールすることにより、各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合には、ＯＳ以外の部分のみを記録媒体に格納してもよい。
　本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。
　１　学習システム、１００　記憶部、１０１　学習用データ保存部、１０２　追加学習用データ保存部、１０３　診断結果保存部、１１０　演算部、１１１　学習部、１１２　診断部、１１３　類似度判定部、１１４　フィードバック用データ選定部、１１５　フィードバック処理部、１２０　ディスプレイ、１３０　入力部。

Claims (7)

  1. 　学習用データを用いた機械学習により診断モデルを生成する学習部と、
    　前記診断モデルに基づいて診断対象データを診断して、診断結果を出力する診断部と、
    　前記診断結果をユーザに提示し、前記診断結果が誤診断であることを示すユーザ入力を取得した場合に、誤診断データを出力し、また、前記ユーザ入力に基づいて前記誤診断データを修正するフィードバック処理を実行するフィードバック処理部と、
    　前記フィードバック処理部が出力する修正前の前記誤診断データに対する、前記フィードバック処理を未実行の前記学習用データ又は前記診断結果の類似度を判定し、前記類似度が一定以上である類似データが存すると判定した場合に、前記フィードバック処理部に当該類似データを送付する類似度判定部と、を備え、
    　前記フィードバック処理部は、前記類似度判定部が送付した前記類似データについて前記フィードバック処理を実行し、
    　前記学習部は、前記フィードバック処理により修正済の前記誤診断データを含むデータを用いて再学習を行う、
    　学習システム。
  2. 　前記診断部が出力する前記診断結果のうち、フィードバック処理を実行する診断結果を選定し、選定された前記診断結果を前記フィードバック処理部に送付するフィードバック用データ選定部を更に備える、
    　請求項１に記載の学習システム。
  3. 　前記フィードバック用データ選定部は、予め設定された確率で前記診断結果を選定し、又は、予め定めた条件に合致している前記診断結果を選定する、
    　請求項２に記載の学習システム。
  4. 　前記診断部が出力する診断結果の情報は、診断の確信度を含み、
    　前記フィードバック用データ選定部は、前記診断の確信度が予め定めた閾値以下の前記診断結果を前記フィードバック処理部に送付する
    　請求項２に記載の学習システム。
  5. 　前記学習用データは、装置、部品又は生産品の情報と、前記装置、前記部品又は前記生産品に係るデータが属するクラスを示すラベルの情報を含み、
    　前記診断部は、前記診断対象データに対して診断して、診断の結果、選択された前記ラベルを前記診断対象データに付与し、
    　前記フィードバック処理部は、前記診断対象データの前記ラベルをユーザに提示し、前記診断結果が誤診断であることを示すユーザ入力を取得した場合に、前記ユーザ入力に基づいて前記ラベルを修正する、
    　請求項１から４のいずれか１項に記載の学習システム。
  6. 　学習用データを用いた機械学習により診断モデルを生成する学習ステップと、
    　前記診断モデルに基づいて診断対象データを診断する診断ステップと、
    　前記診断ステップの診断結果に対するユーザ入力に基づいて、誤診断データを出力し、また、前記ユーザ入力に基づいて前記誤診断データを修正するフィードバック処理を実行するフィードバックステップと、
    　前記フィードバックステップで出力される修正前の前記誤診断データに対する、前記フィードバック処理を未実行の前記学習用データ又は前記診断結果の類似度を判定し、前記類似度が一定以上の類似データが存するか否かを判定する類似度判定ステップと、
    　前記類似度判定ステップで前記類似度が一定以上と判定された前記類似データについて再度フィードバック処理を実行する再フィードバックステップと、
    　前記再フィードバックステップで修正済の前記誤診断データを含むデータを用いて再学習を行う再学習ステップと、を有する
    　学習方法。
  7. 　コンピュータを、
    　学習用データを用いた機械学習により診断モデルを生成する学習部、
    　前記診断モデルに基づいて診断対象データを診断する診断部、
    　前記診断部が診断した診断結果に対するユーザ入力に基づいて、誤診断データを出力し、また、前記ユーザ入力に基づいて前記誤診断データを修正するフィードバック処理を実行するフィードバック処理部、
    　前記フィードバック処理部が出力する修正前の前記誤診断データに対する、前記フィードバック処理を未実行の前記学習用データ又は前記診断結果の類似度を判定し、前記類似度が一定以上の類似データが存するか否かを判定する類似度判定部、として機能させるためのプログラムであって、
    　前記フィードバック処理部は、前記類似度判定部で前記類似度が一定以上と判定した前記類似データについて再度フィードバック処理を実行し、
    　前記学習部は、修正済の前記誤診断データを含むデータを用いて再学習を行う、
    　プログラム。
PCT/JP2020/030571 2020-08-11 2020-08-11 学習システム、学習方法及びプログラム Ceased WO2022034633A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021500241A JP6854995B1 (ja) 2020-08-11 2020-08-11 学習システム、学習方法及びプログラム
CN202080099417.1A CN115803759A (zh) 2020-08-11 2020-08-11 学习系统、学习方法及程序
PCT/JP2020/030571 WO2022034633A1 (ja) 2020-08-11 2020-08-11 学習システム、学習方法及びプログラム
US17/913,169 US12475408B2 (en) 2020-08-11 2020-08-11 Learning system, learning method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/030571 WO2022034633A1 (ja) 2020-08-11 2020-08-11 学習システム、学習方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022034633A1 true WO2022034633A1 (ja) 2022-02-17

Family

ID=75267906

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030571 Ceased WO2022034633A1 (ja) 2020-08-11 2020-08-11 学習システム、学習方法及びプログラム

Country Status (4)

Country Link
US (1) US12475408B2 (ja)
JP (1) JP6854995B1 (ja)
CN (1) CN115803759A (ja)
WO (1) WO2022034633A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4407526A4 (en) * 2021-09-24 2024-11-13 Fujitsu Limited DATA COLLECTION PROGRAM, DATA COLLECTION DEVICE, AND DATA COLLECTION METHOD
JP7793135B2 (ja) * 2022-03-30 2026-01-05 ソニーグループ株式会社 データセット又は特徴のアンラーニングに基づく機械学習モデルの更新
US20240363246A1 (en) * 2023-04-28 2024-10-31 Core Solutions, Inc. Identification and analytics of diagnosis indicators with narrative notes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111731A (ja) * 2015-12-18 2017-06-22 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
WO2019150813A1 (ja) * 2018-01-30 2019-08-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6411769B2 (ja) 2014-04-14 2018-10-24 株式会社日立製作所 状態監視装置
JP6426667B2 (ja) * 2016-08-10 2018-11-21 三菱重工工作機械株式会社 工作機械の工具の異常検知装置及び方法
JP2019016209A (ja) 2017-07-07 2019-01-31 株式会社東芝 診断装置、診断方法およびコンピュータプログラム
JP7106847B2 (ja) * 2017-11-28 2022-07-27 横河電機株式会社 診断装置、診断方法、プログラム、および記録媒体
WO2020076309A1 (en) * 2018-10-09 2020-04-16 Hewlett-Packard Development Company, L.P. Categorization to related categories
JP7260292B2 (ja) * 2018-12-04 2023-04-18 日立グローバルライフソリューションズ株式会社 異常診断装置及び異常診断方法
SG11202112327VA (en) * 2019-04-03 2021-12-30 Singularity Systems Inc Hierarchical machine learning architecture including master engine supported by distributed light-weight real-time edge engines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111731A (ja) * 2015-12-18 2017-06-22 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
WO2019150813A1 (ja) * 2018-01-30 2019-08-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム

Also Published As

Publication number Publication date
CN115803759A (zh) 2023-03-14
JP6854995B1 (ja) 2021-04-07
US20230196192A1 (en) 2023-06-22
US12475408B2 (en) 2025-11-18
JPWO2022034633A1 (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
JP6854995B1 (ja) 学習システム、学習方法及びプログラム
US12048528B2 (en) Annotation method, annotation device, storage medium, and identification system
JP6636214B1 (ja) 診断装置、診断方法及びプログラム
EP3874519A1 (en) Method and apparatus for monitoring a patient
JP2019101495A (ja) 診断装置、診断方法、プログラム、および記録媒体
EP3866175A2 (en) Supervised learning-based consensus diagnosis method and system thereof
CN103198207A (zh) 诊断算法参数优化
CN112449696A (zh) 时序数据诊断装置、追加学习方法及程序
US12387921B2 (en) Apparatus diagnostic apparatus, apparatus diagnostic method, plasma processing apparatus and semiconductor device manufacturing system
US20220365526A1 (en) Machine learning system and machine learning model management method using machine learning system
JP2014235654A (ja) リスク評価装置
JP7167992B2 (ja) ラベル修正装置
JP6492555B2 (ja) 異常診断方法、異常診断装置及び異常診断プログラム
EP2369435A1 (en) Bayesian approach to identifying sub-module failure
JPWO2020148838A1 (ja) 推定装置、推定方法、及びプログラム
JPWO2020136859A1 (ja) 推定装置、推定方法、及びプログラム
JP2019159779A (ja) 多変量時系列データの同期方法および多変量時系列データ処理装置
EP4258282A1 (en) Method for analyzing output of neural network, and system therefor
JP2021033418A (ja) 作業工程に関する学習を行う機械学習方法及び機械学習装置
JP7526591B2 (ja) 音響認識システム、音響認識方法
CN112912903B (zh) 推论装置、信息处理装置、推论方法、程序以及记录介质
JP2019159786A (ja) 情報処理装置、情報処理方法、プログラム
JP2020173518A (ja) 機器予兆監視装置、および、機器予兆監視方法
CN112262354A (zh) 诊断装置、诊断方法及程序
EP3989026A1 (en) Assistance device, display device, assistance method, and assistance program

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021500241

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20949495

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20949495

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17913169

Country of ref document: US