[go: up one dir, main page]

WO2021215070A1 - 学習装置、学習方法、および測定装置 - Google Patents

学習装置、学習方法、および測定装置 Download PDF

Info

Publication number
WO2021215070A1
WO2021215070A1 PCT/JP2021/004094 JP2021004094W WO2021215070A1 WO 2021215070 A1 WO2021215070 A1 WO 2021215070A1 JP 2021004094 W JP2021004094 W JP 2021004094W WO 2021215070 A1 WO2021215070 A1 WO 2021215070A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor data
data
learning
subject
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/004094
Other languages
English (en)
French (fr)
Inventor
哲也 廣田
河村　大輔
隆吾 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to US17/917,393 priority Critical patent/US20230153684A1/en
Priority to DE112021002427.2T priority patent/DE112021002427T5/de
Publication of WO2021215070A1 publication Critical patent/WO2021215070A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a learning device, a learning method, and a measuring device.
  • Patent Document 1 discloses a technique for measuring an electrocardiographic waveform of a subject using electrodes provided on a moving body seat and steering. According to this technique, it is possible to reduce the burden on the subject due to the acquisition of the electrocardiographic waveform.
  • an object of the present invention is to provide a mechanism capable of more efficiently acquiring vital data less affected by noise. be.
  • the first sensor data acquired from the subject by the first method is used as learning data, and the influence of noise is affected as compared with the first method.
  • the learning unit includes a learning unit that performs learning according to the above, and the learning unit acquires the noise generated in the first sensor data during the same period as the acquisition period of the first sensor data and the second sensor data.
  • a learning device is provided that further performs learning based on a third sensor data that can be used as an indicator of the magnitude of the impact.
  • the first sensor data acquired from the subject by the first method is used as learning data, and noise is compared with the first method.
  • the learning which includes learning related to data output, is acquired during the same period as the acquisition period of the first sensor data and the second sensor data, and occurs in the first sensor data.
  • a learning method is provided that further comprises performing learning based on a third sensor data that can be used as an indicator of the magnitude of the influence of the noise.
  • the first sensor data acquired from the subject by the first method is input, and the vital data indicating the life sign of the subject is output.
  • the measuring unit uses the first sensor data as learning data, and the measuring unit uses the first sensor data as learning data, and the first sensor data is subjected to the second method, which is less affected by noise as compared with the first method.
  • the teacher data is based on the second sensor data acquired from the subject during the acquisition period and the same period, and is acquired during the same period as the acquisition period of the first sensor data and the second sensor data.
  • the vital data is obtained by using a trained model that has been trained on the output of the vital data.
  • a measuring device is provided to output.
  • a mechanism capable of more efficiently acquiring vital data that is less affected by noise is provided.
  • the learning device 10 may be a device that performs supervised learning by using at least the same type of sensor data acquired during the same period by two different methods as input.
  • supervised learning refers to a method in which a set of input data (learning data) and correct answer data (teacher data) for the input data is given to a computer, and the computer learns the correspondence between the two.
  • FIG. 1 is a diagram showing a functional configuration example of the learning device 10 according to the present embodiment.
  • the learning device 10 according to the present embodiment may include a learning unit 110 and a storage unit 120.
  • the learning device 10 performs learning related to the output of vital data indicating the vital signs of the subject will be described as an example.
  • the learning unit 110 uses, for example, the first sensor data acquired from the subject by the first method as learning data, and uses the second method, which is less affected by noise than the first method.
  • the second sensor data acquired from the subject during the acquisition period of the first sensor data and the same period may be used as the teacher data for learning related to the output of vital data.
  • the vital data obtained by removing noise from the first sensor data is output. It is possible to generate a trained model to be used.
  • the learning unit 110 is acquired during the same period as the acquisition period of the first sensor data and the second sensor data, and is used as an index showing the magnitude of the influence of noise generated on the first sensor data. Learning may be further based on the available third sensor data. The learning based on the third sensor data according to the present embodiment will be described in detail separately.
  • the learning unit 110 may perform the above-mentioned learning by using an arbitrary machine learning method capable of realizing supervised learning.
  • the learning unit 110 performs learning by using an algorithm such as a neural network or an SVM (Support Vector Machine).
  • the function of the learning unit 110 is realized by, for example, a processor such as a GPU (Graphics Processing Unit). The details of the function of the learning unit 110 according to the present embodiment will be described in detail separately.
  • the storage unit 120 stores various information related to the operation of the learning device 10.
  • the storage unit 120 stores, for example, first sensor data, second sensor data, third sensor data, various parameters, and the like used for learning of the learning unit 110.
  • the functional configuration example of the learning device 10 according to the present embodiment has been described above.
  • the above configuration described with reference to FIG. 1 is merely an example, and the configuration of the learning device 10 according to the present embodiment is not limited to such an example.
  • the learning device 10 according to the present embodiment may further include, for example, an operation unit that accepts operations by the operator, an output unit for outputting various data, and the like.
  • the configuration of the learning device 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • the measuring device 20 according to the present embodiment may be a device that measures vital data using the learned model constructed by the learning device 10.
  • FIG. 2 is a diagram showing a functional configuration example of the measuring device 20 according to the present embodiment. As shown in FIG. 2, the measuring device 20 according to the present embodiment may include an acquisition unit 210 and a measuring unit 220.
  • the acquisition unit 210 according to this embodiment acquires the first sensor data from the subject.
  • the acquisition unit 210 according to the present embodiment includes various sensors according to the characteristics of the first sensor data to be acquired.
  • the acquisition unit 210 according to the present embodiment acquires the third sensor data and the third sensor data.
  • the acquisition unit 210 according to the present embodiment includes various sensors according to the characteristics of the third sensor data to be acquired.
  • the acquisition unit 210 may include an acceleration sensor.
  • the measurement unit 220 inputs the first sensor data and the third sensor data acquired by the acquisition unit 210, and outputs vital data indicating a life sign of the subject. At this time, the measurement unit 220 according to the present embodiment outputs vital data using the learned model constructed by learning by the learning unit 110. For example, the measurement unit 220 according to the present embodiment uses the first sensor data as learning data, and uses the second method, which is less affected by noise than the first method, during synchronization with the first sensor data. Vital data may be output using a trained model in which training related to output of vital data is performed using teacher data based on the second sensor data acquired from the subject.
  • the function of the measuring unit 220 according to the present embodiment is realized by various processors.
  • the measurement unit 220 uses a trained model in which training related to output of vital data is performed based on the third sensor data in addition to the first sensor data and the second sensor data. It may be used to output vital data.
  • the effect of learning based on the third sensor data according to the present embodiment will be described in detail separately.
  • the functional configuration example of the measuring device 20 according to the present embodiment has been described above.
  • the above configuration described with reference to FIG. 2 is merely an example, and the functional configuration of the measuring device 20 according to the present embodiment is not limited to such an example.
  • the measuring device 20 according to the present embodiment may further include an operation unit, an output unit, an analysis unit that analyzes vital data, a notification unit that performs various notifications based on the analysis result, and the like.
  • the configuration of the measuring device 20 according to the present embodiment can be flexibly modified according to the characteristics of the vital data to be measured, the intended use of the vital data, and the like.
  • Examples of the method for acquiring the electrocardiographic waveform include a method in which a plurality of electrodes are directly attached to the skin of the subject and the change in voltage is recorded by the plurality of electrodes, for example, a 12-lead electrocardiogram. According to such a method, it is possible to obtain a highly accurate electrocardiographic waveform that is less affected by noise. On the other hand, such a method often restricts the behavior of the subject, and also causes the subject to feel annoyed because the electrodes are directly attached to the skin.
  • electrodes are installed at a plurality of places where the subject is expected to come into contact with the subject, and the change in voltage obtained when the subject comes into contact with the plurality of electrodes is measured.
  • a recording method can be mentioned. Such a method is used, for example, when it is desired to acquire an electrocardiographic waveform of a subject who operates the device.
  • a technology is known in which a driver who drives a moving body such as a vehicle places electrodes on the steering wheel or the driver's seat, which are expected to come into contact with the driver during driving, and obtains an electrocardiogram of the driver. Has been done.
  • the learning unit 110 uses, for example, the first sensor data obtained by the first method as learning data, and is affected by noise as compared with the first method.
  • the learning may be performed using the teacher data based on the first sensor data and the second sensor data acquired during the same period by the second method having less data. According to this, it is possible to construct a trained model that outputs highly accurate vital data that is less affected by noise even from only the first sensor data.
  • the learning unit 110 uses the first electrocardiographic waveform acquired by the first method as learning data, and the second electrocardiographic radio wave acquired in synchronization with the first electrocardiographic waveform by the second method.
  • Shape-based teacher data may be used to learn the output of data relating to the subject's tested cardiac activity.
  • the first method described above is a method of acquiring an electrocardiographic waveform using at least two electrodes that are expected to come into contact with the subject
  • the second method described above is a method of directly touching the skin of the subject.
  • a method of acquiring an electrocardiographic waveform using at least two attached electrodes may be used.
  • the two electrodes used in the first method described above are a seat on which the subject sits and a device to be operated by the subject (for example, steering). ) And may be provided.
  • the advantages of the first method such as not causing the driver to feel annoyed, are maintained, and the noise generated by the driver's body movement, vehicle vibration, etc. is eliminated with high accuracy. It becomes possible to acquire data.
  • the learning unit 110 may use the second electrocardiographic waveform itself as teacher data to perform learning related to the output of the corrected electrocardiographic waveform in which noise is removed from the first electrocardiographic waveform. ..
  • various physiological indexes can be obtained by analyzing the corrected electrocardiographic waveform according to the purpose.
  • the learning unit 110 learn the specified feature points according to the rearranging index.
  • a feature point (feature waveform) in a general electrocardiographic waveform will be described.
  • FIG. 3 is a diagram showing an example of a general electrocardiographic waveform in one cycle.
  • the horizontal axis shows the passage of time, and the vertical axis shows the change in voltage.
  • a plurality of characteristic waveforms showing characteristic shapes can be observed in a general electrocardiographic waveform. Examples of characteristic waveforms include P wave, Q wave, R wave, S wave, QRS wave (formed from Q wave, R wave, and S wave) T wave, U wave, and the like.
  • the R wave is an important characteristic waveform as an index of heart rate variability (fluctuation).
  • the interval between the R wave in one cycle and the R wave in the next cycle (RRI: RR Interval) is used to calculate the cycle of the heartbeat.
  • RRI RR Interval
  • RRI fluctuates due to stress and fatigue, and it is an effective physiological index when detecting the physical burden and psychological burden of a subject.
  • QTI QT Interval
  • QT Interval which is the interval between Q waves and T waves in one cycle, indicates the time from the onset of ventricular excitement to the disappearance of excitement, which is important for the detection of arrhythmia and the like. It is a physiological index.
  • the learning unit 110 uses the existence probability data indicating the existence probability of the feature points in the second electrocardiographic waveform obtained from the second electrocardiographic waveform as the teacher data, and the first one. Learning related to the output of existence probability data indicating the existence probability of the above-defined feature points in the electrocardiographic waveform may be performed.
  • the learning unit 110 uses, for example, the existence probability data indicating the existence probability of the R wave in the second electrocardiographic waveform as the teacher data, and the existence probability indicating the existence probability of the R wave in the first electrocardiographic waveform. Learning related to data output may be performed.
  • the learning it is possible to construct a learned model that detects an arbitrary feature point such as an R wave with high accuracy.
  • a physiological index such as RRI of a subject in real time.
  • the learning unit 110 may perform learning using the teacher data according to the usage purpose of the measuring device 20 on which the learned model is mounted.
  • FIG. 4 is a diagram showing an example of learning data and teacher data according to the present embodiment.
  • the first sensor data (first electrocardiographic waveform) used as learning data is shown in the upper part of FIG.
  • the second sensor data (second electrocardiographic waveform) acquired during the same period as the first sensor data used as the teacher data A is shown.
  • the existence probability data of the R wave generated based on the second sensor data used as the teacher data B is shown.
  • the position of the R wave (R wave peak) in each data is indicated by a dotted line.
  • the first sensor data acquired by the first method contains a lot of noise, and the R wave may not be detected well as it is.
  • the learning unit 110 learns the correspondence between the first sensor data and the second sensor data.
  • the measuring unit 220 uses the trained model constructed by the above learning to input the first sensor data and eliminate noise.
  • Data corrected electrocardiographic waveform
  • the measuring unit 220 uses the trained model constructed by the above learning to input the first sensor data and eliminate noise.
  • Data corrected electrocardiographic waveform
  • the learning unit 110 can directly learn the correspondence between the first sensor data and an arbitrary feature point.
  • the measuring unit 220 can output the existence probability data related to a predetermined feature point such as an R wave by inputting the first sensor data.
  • a physiological index such as RRI in real time
  • FIGS. 4 and 5 the case where the existence probability data takes two values of 0 (non-existent) or 1 (exists) is illustrated, but the existence probability data according to the present embodiment may have three or more values. good.
  • the learning device 10 uses the first sensor data as learning data and performs learning using the teacher data based on the second sensor data to learn about the output of vital data. It can be performed. Further, the measuring device 20 according to the present embodiment may output vital data using the trained model that has been trained as described above.
  • the learning device 10 cannot correctly learn the correspondence between the first sensor data and the second sensor data, and as a result, , The accuracy of the vital data output by the measuring device 20 may decrease.
  • FIG. 7 is a diagram for explaining an example in which the accuracy of the vital data output is lowered due to the influence of noise included in the first sensor data.
  • the learning unit 110 uses the first sensor data as learning data and the second sensor data as teacher data to learn the correspondence between the first sensor data and the second sensor data, and corrects the sensor. The case of outputting data is illustrated.
  • the second sensor data includes three R wave peaks R1 to R3, whereas the output correction sensor data includes the R wave peaks R1 to R3 and the second sensor data.
  • the pseudo R wave peak NR is erroneously detected when the R wave peak does not exist.
  • the noise intensity included in the first sensor data can strongly affect the detection accuracy of various feature points in the output data.
  • the learning unit 110 in addition to the first sensor data and the second sensor data, the learning unit 110 according to the present embodiment further adds to the third sensor data acquired during the acquisition period and the same period of the two sensor data. Based on learning may be performed.
  • the third sensor data according to the present embodiment may be various sensor data that can be used as an index indicating the magnitude of the influence of noise generated on the first sensor data.
  • the learning unit 110 learns the magnitude of the influence of noise generated on the first sensor data by using the third sensor data as the learning data in addition to the first sensor data. Is possible.
  • FIG. 8 is a diagram for explaining learning based on the third sensor data according to the present embodiment. Note that FIG. 8 illustrates a case where the learning unit 110 outputs correction sensor data using the first sensor data and the third sensor data as learning data and the second sensor data as teacher data.
  • the first sensor data is acquired by using the electrodes arranged on the seat on which the subject boarding the moving body sits and the operated device such as the steering operated by the subject.
  • the intensity of noise generated in the first sensor data will increase in a situation where the contact between the subject and the electrode is temporarily released.
  • the third sensor data according to the present embodiment is, for example, acceleration data acquired for a subject or a device (for example, a seat, a steering wheel, a moving body, etc.) predicted to come into contact with the subject as a detection target. May include.
  • the learning unit 110 according to the present embodiment may perform learning based on the acceleration data as the third sensor data.
  • vibration in the direction of gravity (hereinafter, also referred to as z-axis direction) has a strong influence on the situation where the contact between the subject and the electrode is temporarily released.
  • the learning unit 110 may perform learning based on at least acceleration data in the direction of gravity as the third sensor data.
  • the learning unit 110 may perform learning using only the acceleration data in the z-axis direction as the third sensor data, or may perform learning using only the acceleration data in the z-axis direction as the third sensor data, and the z-axis direction and the y-axis as the third sensor data. Learning may be performed using acceleration data in each of the direction and the x-axis direction.
  • the third sensor data for example, even if the norm of the acceleration data in the three axial directions and the jerk in each axial direction (also referred to as acceleration or jerk) are adopted. good.
  • the acceleration data may be acquired by an acceleration sensor provided in the moving body, or may be calculated based on the velocity acquired by the speedometer.
  • the detection accuracy of the vital data is further improved as compared with the case where only the first sensor data and the second sensor data are used. It is possible to generate a trained model that has been trained.
  • the third sensor data according to the present embodiment is not limited to acceleration data and data obtained by processing acceleration data.
  • the third sensor data according to the present embodiment can be various data that can be used for predicting a situation in which the contact between the subject and the electrode is temporarily released.
  • the third sensor data according to the present embodiment may be, for example, angular velocity data, geomagnetic data, or image data.
  • image data include data obtained by photographing the state of the traveling road, data obtained by photographing the state of the subject, and the like. Each of the above data can be used to predict the occurrence of vibration.
  • the third sensor data according to the present embodiment may be operation information related to the air conditioner equipment and the audio equipment mounted on the moving body. Based on such data, it is possible to predict that the subject's finger is temporarily separated from the electrodes arranged on the steering. Twice
  • FIG. 9 is a flowchart showing the flow of the learning phase according to the present embodiment.
  • first, the first sensor data, the second sensor data, and the third sensor data are acquired (S102).
  • the first sensor data, the second sensor data, and the third sensor data may be acquired together with information such as a time stamp so that synchronization on the time axis is possible.
  • the first sensor data, the second sensor data, and the third sensor data may be acquired by a device separate from the learning device 10.
  • the acquired first sensor data, second sensor data, and third sensor data are stored in the storage unit 120 of the learning device 10.
  • the first sensor data, the second sensor data, and the third sensor data are processed as needed (S104). For example, when the existence probability data related to the specified feature point is used as the teacher data, in step S104, a process of converting the second sensor data acquired in step S102 into existence probability data may be performed. Further, various filter processings for reducing noise included in the first sensor data, the second sensor data, and the third sensor data may be performed. The above processing may be executed by a device separate from the learning device 10.
  • the learning unit 110 uses the first sensor data and the third sensor data as learning data, and performs learning using the teacher data based on the second sensor data (S106). At this time, the learning unit 110 may use the second sensor data itself (or the filtered second sensor data) as the teacher data, or use the existence probability data generated in step S104 as the teacher data. May be.
  • FIG. 10 is a flowchart showing the flow of the measurement phase according to the present embodiment.
  • the acquisition unit 210 first acquires the first sensor data and the third sensor data by the first method (S202).
  • the acquisition unit 210 may acquire the driver's electrocardiographic waveform as the first sensor data by, for example, the stalling of the vehicle and a plurality of electrodes arranged on the seat. Further, the acquisition unit 210 may acquire acceleration data as third sensor data by, for example, an acceleration sensor arranged on the steering or the like.
  • the measurement unit 220 inputs the first sensor data and the third sensor data acquired in step S202 into the trained model, and outputs vital data (S204).
  • the above vital data may be correction sensor data in which noise is removed from the first sensor data.
  • the above vital data can be existence probability data indicating the existence probability of an arbitrary feature point.
  • various operations based on the vital data output in step S204 are executed (S206).
  • the above operation may be, for example, notification based on RRI detected from vital data.
  • the above operation may be executed by a device separate from the measuring device 20.
  • the learning unit 110 performs learning related to the output of vital data indicating the vital signs of the subject has been described as a main example.
  • the target of learning by the learning unit 110 is not limited to the output of vital data.
  • the learning unit 110 can also perform learning related to the output of data or the like indicating the operating status of an arbitrary device, for example.
  • the first method of acquiring the electrocardiographic waveform a method of arranging the electrodes at a place where the subject is expected to come into contact is used, and as a second method, the electrodes are placed on the skin of the subject.
  • the direct method was given as an example.
  • the first method and the second method in the present technology may be any different method having a difference in susceptibility to noise.
  • the first method when acquiring a heartbeat, the first method may be a non-contact method using a Doppler sensor, or the second method may be a contact method in which electrodes are attached to the skin of a subject. ..
  • the series of processes by each device described in the present specification may be realized by using any of software, hardware, and a combination of software and hardware.
  • the programs constituting the software are stored in advance in, for example, a recording medium (non-temporary medium: non-transitory media) provided inside or outside each device. Then, each program is read into RAM at the time of execution by a computer and executed by a processor such as a CPU.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above-mentioned computer program may be distributed via, for example, a network without using a recording medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】ノイズの影響が少ないバイタルデータをより効率的に取得する。 【解決手段】 被験者から第１の方式により取得された第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、を備え、前記学習部は、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行う、学習装置が提供される。

Description

学習装置、学習方法、および測定装置
　本発明は、学習装置、学習方法、および測定装置に関する。
　近年、被験者のバイタルデータを取得する種々の装置が開発されている。例えば、特許文献１には、移動体のシートとステアリングとに設けた電極を用いて被験者の心電波形を計測する技術が開示されている。当該技術によれば、心電波形の取得に伴う被験者の負担を低減することができる。
特開２００９－１４２５７５号公報
　しかし、特許文献１に記載の技術では、移動体の振動や被験者の体動等によりノイズが発生しやすく、心電波形の取得精度が低下する可能性がある。
　そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ノイズの影響が少ないバイタルデータをより効率的に取得することが可能な仕組みを提供することにある。
　上記課題を解決するために、本発明のある観点によれば、被験者から第１の方式により取得された第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、を備え、前記学習部は、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行う、学習装置が提供される。
　また、上記課題を解決するために、本発明の別の観点によれば、被験者から第１の方式により取得された第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行うこと、を含み、前記学習することは、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行うこと、をさらに含む、学習方法が提供される。
　また、上記課題を解決するために、本発明の別の観点によれば、被験者から第１の方式により取得された第１のセンサデータを入力として、前記被験者の生命兆候を示すバイタルデータを出力する測定部、を備え、前記測定部は、前記第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データとし、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて、前記バイタルデータの出力に係る学習を行った学習済みモデルを用いて、前記バイタルデータを出力する、測定装置が提供される。
　以上説明したように、本発明によれば、ノイズの影響が少ないバイタルデータをより効率的に取得することが可能な仕組みが提供される。
本発明の一実施形態に係る学習装置１０の機能構成例を示す図である。 同実施形態に係る測定装置２０の機能構成例を示す図である。 一周期における一般的な心電波形の例を示す図である。 本発明の一実施形態に係る学習データおよび教師データの一例を示す図である。 同実施形態に係る測定部２２０の入出力の一例を示す図である。 同実施形態に係る測定部２２０の入出力の一例を示す図である。 同実施形態に係る第１のセンサデータに含まれるノイズの影響により出力されるバイタルデータの精度が低下する場合の一例について説明するための図である。 同実施形態に係る第３のセンサデータに基づく学習について説明するための図である。 同実施形態に係る学習フェーズの流れを示すフローチャートである。 同実施形態に係る測定フェーズの流れを示すフローチャートである。
　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　＜構成例＞
　（学習装置１０）
　本実施形態に係る学習装置１０は、異なる２つの方式により同期間に取得された同一種のセンサデータを少なくとも入力として教師あり学習を行う装置であってよい。ここで、教師あり学習とは、入力データ（学習データ）と当該入力データに対する正解データ（教師データ）のセットをコンピュータに与え、コンピュータに両者の対応を学習させる手法を指す。図１は、本実施形態に係る学習装置１０の機能構成例を示す図である。図１に示すように、本実施形態に係る学習装置１０は、学習部１１０および記憶部１２０を備えてもよい。なお、以下においては、学習装置１０が被験者の生命兆候を示すバイタルデータの出力に係る学習を行う場合を一例として説明する。
　本実施形態に係る学習部１１０は、例えば、被験者から第１の方式により取得された第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータの取得期間と同期間に当該被験者から取得された第２のセンサデータ、を教師データとして、バイタルデータの出力に係る学習を行ってもよい。係る構成によれば、ノイズが多く含まれる第１のセンサデータとノイズの影響が少ない第２のセンサデータの対応関係を学習することで、第１のセンサデータからノイズを除去したバイタルデータを出力する学習済みモデルを生成することが可能となる。
　また、本実施形態に係る学習部１１０は、第１のセンサデータおよび第２のセンサデータの取得期間と同期間に取得され、第１のセンサデータに生じるノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいた学習を行ってもよい。本実施形態に係る第３のセンサデータに基づく学習については別途詳細に説明する。
　本実施形態に係る学習部１１０は、教師あり学習を実現可能な任意の機械学習手法を用いて上記のような学習を行ってよい。学習部１１０は、例えば、ニューラルネットワーク、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）などのアルゴリズムを用いて学習を行う。
　学習部１１０の機能は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサによって実現される。本実施形態に係る学習部１１０が有する機能の詳細については別途詳細に説明する。
　本実施形態に係る記憶部１２０は、学習装置１０の動作に係る各種の情報を記憶する。記憶部１２０は、例えば、学習部１１０の学習に用いられる第１のセンサデータ、第２センサデータ、第３のセンサデータ、各種のパラメータ等を記憶する。
　以上、本実施形態に係る学習装置１０の機能構成例について述べた。なお、図１を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る学習装置１０の構成は係る例に限定されない。本実施形態に係る学習装置１０は、例えば、操作者による操作を受け付ける操作部や、各種のデータを出力するための出力部等をさらに備えてもよい。本実施形態に係る学習装置１０の構成は、仕様や運用に応じて柔軟に変形され得る。
　続いて、本実施形態に係る測定装置２０の機能構成例について述べる。本実施形態に係る測定装置２０は、学習装置１０が構築した学習済みモデルを用いてバイタルデータの測定を実施する装置であってよい。図２は、本実施形態に係る測定装置２０の機能構成例を示す図である。図２に示すように、本実施形態に係る測定装置２０は、取得部２１０および測定部２２０を備えてもよい。
　本実施形態に係る取得部２１０は、被験者から第１のセンサデータを取得する。このために、本実施形態に係る取得部２１０は、取得する第１のセンサデータの特性に応じた各種のセンサを備える。また、本実施形態に係る取得部２１０は、第３のセンサデータを第３のセンサデータを取得する。このために、本実施形態に係る取得部２１０は、取得する第３のセンサデータの特性に応じた各種のセンサを備える。例えば、本実施形態に係る第３のセンサデータの一例としては、被験者または被験者に接触することが予測される装置を検出対象とした加速度データが挙げられる。この場合、取得部２１０は、加速度センサを備えてもよい。
　本実施形態に係る測定部２２０は、取得部２１０が取得した第１のセンサデータや第３のセンサデータを入力として、被験者の生命兆候を示すバイタルデータを出力する。この際、本実施形態に係る測定部２２０は、学習部１１０による学習により構築された学習済みモデルを用いてバイタルデータの出力を行う。例えば、本実施形態に係る測定部２２０は、第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータと同期間に被験者から取得された第２のセンサデータに基づく教師データを用いて、バイタルデータの出力に係る学習を行った学習済みモデルを用いて、バイタルデータを出力してもよい。
　上記の構成によれば、ノイズの混入が想定される第１のセンサデータのみを用いて、当該ノイズの影響を取り除いた高精度のバイタルデータを得ることが可能となる。なお、本実施形態に係る測定部２２０の機能は、各種のプロセッサにより実現される。
　また、本実施形態に係る測定部２２０は、第１のセンサデータおよび第２のセンサデータに加え、第３のセンサデータにさらに基づいて、バイタルデータの出力に係る学習を行った学習済みモデルを用いて、バイタルデータの出力を行ってもよい。本実施形態に係る第３のセンサデータに基づく学習の効果については別途詳細に説明する。
　以上、本実施形態に係る測定装置２０の機能構成例について述べた。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る測定装置２０の機能構成は係る例に限定されない。本実施形態に係る測定装置２０は、操作部や出力部、バイタルデータの解析を行う解析部、解析結果に基づいて各種の報知を行う報知部等をさらに備えてもよい。本実施形態に係る測定装置２０の構成は、測定対象とするバイタルデータの特性や、バイタルデータの活用用途等に応じて柔軟に変形され得る。
　＜詳細＞
　次に、本実施形態に係るセンサデータについて具体例を挙げながら説明する。近年では、様々な種別のセンサデータを取得する装置が開発されている。また、同一種のセンサデータを取得する場合であっても、複数の方式が存在する場合がある。ここでは、被験者の心臓の活動により生じる電圧の変化を心電波形として取得する場合を想定する。
　心電波形を取得する方式としては、被験者の皮膚に複数の電極を直接装着し、当該複数の電極により電圧の変化を記録する、例えば１２誘導心電図等の方式が挙げられる。係る方式によれば、ノイズの影響が少ない高精度の心電波形を得ることができる。一方、係る方式は、被験者の行動を制限する場合も多く、また皮膚に電極を直接装着するために、被験者に煩わしさを感じさせる場合もある。
　また、心電波形を取得する他の方式としては、被験者と接触することが予想される複数の箇所に電極を設置し、複数の当該電極に被験者が接触した際に得られた電圧の変化を記録する方式が挙げられる。このような方式は、例えば、装置の操作を行う被験者の心電波形を取得したい場合等に用いられる。一例としては、車両等の移動体を運転する運転手が、運転中に接触することが予想されるステアリングや運転席の座席等に電極を配置し、当該運転手の心電図を取得する技術が知られている。係る技術によれば、運転手の皮膚に電極を直接貼り付ける必要がないため、運転手に意識させることなく心電波形を取得することが可能である。一方、この場合、運転行動に伴う運転手の体動や、車両の振動等によりノイズが生じやすく、取得される心電波形の精度が低下する可能性がある。
　このように、センサデータを取得するための複数の方式には、それぞれに利点がある一方で、取得されるセンサデータの精度に差が生じるケースも存在する。このため、ある方式が有する利点を活かしながら、同時にセンサデータの取得精度を向上させる技術が求められている。
　上記の点を解決するために、本実施形態に係る学習部１１０は、例えば、第１の方式により得られた第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータと同期間に取得された第２のセンサデータに基づく教師データを用いて学習を行ってもよい。これによれば、第１のセンサデータのみからでもノイズの影響が少ない高精度のバイタルデータを出力する学習済みモデルを構築することが可能となる。
　以下では、本実施形態に係るバイタルデータが心臓の活動に係るデータである場合を一例として説明する。この場合、学習部１１０は、第１の方式により取得された第１の心電波形を学習データとし、第２の方式により第１の心電波形と同期間に取得された第２の心電波形に基づく教師データを用いて、被験者の被検査の心臓の活動に係るデータの出力を学習してもよい。
　この場合、上記の第１の方式は、被験者と接触することが予想される少なくとも２つの電極を用いて心電波形を取得する方式であり、上記の第２の方式は、被験者の皮膚に直接装着された少なくとも２つの電極を用いて心電波形を取得する方式であってもよい。
　例えば、被験者が車両等の移動体を運転する運転手である場合、上記の第１の方式において用いられる２つの電極は、被験者が着座する座席と、被験者が操作する被操作装置（例えば、ステアリング）とに設けられてもよい。
　上記のような構成によれば、運転手に煩わしさを感じさせない等の第１の方式が有する利点をそのままに、かつ運転手の体動や車両の振動等により生じるノイズを排除した高精度のデータを取得することが可能となる。
　なお、本実施形態に係る学習部１１０は、第２の心電波形そのものを教師データとして、第１の心電波形からノイズが除去された補正心電波形の出力に係る学習を行ってもよい。この場合、補正心電波形を目的に応じて解析することで、様々な生理指標を得ることができる。
　一方で、予め心電波形から得たい生理指標が定まっている場合においては、当該整理指標に応じた規定の特徴点を学習部１１０に学習させることも可能である。ここで、一般的な心電波形における特徴点（特徴波形）について説明する。
　図３は、一周期における一般的な心電波形の例を示す図である。なお、図３においては、横軸において時間の経過が、縦軸において電圧の変化が示されている。図３に示すように、一般的な心電波形には、特徴的な形状を示す複数の特徴波形が観察され得る。特徴波形の一例としては、Ｐ波、Ｑ波、Ｒ波、Ｓ波、ＱＲＳ波（Ｑ波、Ｒ波、およびＳ波から形成される）Ｔ波、およびＵ波等が挙げられる。
　このうち、例えば、Ｒ波は、心拍変動（揺らぎ）の指標として重要な特徴波形である。ある周期におけるＲ波と次周期におけるＲ波の間隔（ＲＲＩ：Ｒ－Ｒ　Ｉｎｔｅｒｖａｌ）は、心拍の周期を算出するために用いられる。また、ＲＲＩにはストレスや疲労により揺らぎが生じることも知られており、被験者の身体的負担や心理的負担を検出する際にも有効な生理指標となる。その他、例えば、一周期におけるＱ波とＴ波の間隔であるＱＴＩ（Ｑ－Ｔ　Ｉｎｔｅｒｖａｌ）は、心室の興奮の始まりから興奮が消退するまでの時間を示しており、不整脈の検出等に重要な生理指標である。
　このことから、本実施形態に係る学習部１１０は、第２の心電波形から得られた、第２の心電波形における特徴点の存在確率を示す存在確率データを教師データとして、第１の心電波形における上記規定の特徴点の存在確率を示す存在確率データの出力に係る学習を行ってもよい。
　本実施形態に係る学習部１１０は、例えば、第２の心電波形におけるＲ波の存在確率を示す存在確率データを教師データとして、第１の心電波形におけるＲ波の存在確率を示す存在確率データの出力に係る学習を行ってもよい。
　上記のような学習によれば、例えば、Ｒ波等の任意の特徴点を高精度に検出する学習済みモデルを構築することができる。また、当該学習済みモデルを用いることで、被験者のＲＲＩ等の生理指標をリアルタイムに測定することが可能となる。
　このように、本実施形態に係る学習部１１０は、学習済みモデルが搭載される測定装置２０の利用用途に応じた教師データを用いて学習を行ってよい。
　図４は、本実施形態に係る学習データおよび教師データの一例を示す図である。図４の上段には、学習データとして用いられる第１のセンサデータ（第１の心電波形）が示されている。また、図４の中段には、教師データＡとして用いられる、第１のセンサデータと同期間に取得された第２のセンサデータ（第２の心電波形）が示されている。また、図４の下段には、教師データＢとして用いられる、上記第２のセンサデータに基づいて生成されたＲ波の存在確率データが示されている。なお、図４においては、各データにおけるＲ波（Ｒ波ピーク）の位置が点線により示されている。
　図４に示すように、第１の方式により取得される第１のセンサデータは、ノイズを多く含むものであり、そのままでは、Ｒ波をうまく検出できない場合がある。この際、ノイズの影響が少ない第２のセンサデータを教師データＡとして用いることで、第１のセンサデータと第２のセンサデータとの対応関係を学習部１１０に学習させることが可能である。
　本実施形態に係る測定部２２０は、上記のような学習により構築された学習済みモデルを用いることで、図５に示すように、第１のセンサデータを入力として、ノイズが排除された補正センサデータ（補正心電波形）を出力することができる。これによれば、出力された補正センサデータに対し任意の加工や解析を行うことで、被験者に係る様々な生理指標を精度高く得ることが可能となる。
　一方、図４に示したような存在確率データを教師データＢとして用いる場合、第１のセンサデータと任意の特徴点の対応関係を直接的に学習部１１０に学習させることが可能である。
　この場合、本実施形態に係る測定部２２０は、図６に示すように、第１のセンサデータを入力として、例えばＲ波等の規定の特徴点に係る存在確率データを出力することができる。これによれば、例えば、ＲＲＩ等の生理指標をリアルタイムに測定し、測定値に応じた各種のアクションを行うこと等が可能となる。なお、図４および図５においては、存在確率データが０（存在しない）または１（存在する）の２値をとる場合を例示したが、本実施形態係る存在確率データは、３値以上をとってもよい。
　次に、本実施形態に係る第３のセンサデータに基づく学習について説明する。上述したように、本実施形態に係る学習装置１０は、第１のセンサデータを学習データとし、第２のセンサデータに基づく教師データを用いた学習を行うことで、バイタルデータの出力に係る学習を行うことができる。また、本実施形態に係る測定装置２０は、上記のような学習を行った学習済みモデルを用いてバイタルデータの出力を行ってもよい。
　しかし、ここで、第１のセンサデータに含まれるノイズの強度が著しく高い場合などにおいては、学習装置１０が第１のセンサデータと第２のセンサデータとの対応を正しく学習できず、結果として、測定装置２０が出力するバイタルデータの精度が低下してしまう可能性もある。
　図７は、第１のセンサデータに含まれるノイズの影響により出力されるバイタルデータの精度が低下する場合の一例について説明するための図である。なお、図７では、学習部１１０が第１のセンサデータを学習データとし、第２のセンサデータを教師データとして、第１のセンサデータと第２のセンサデータとの対応を学習し、補正センサデータを出力する場合を例示している。
　本例においては、第２のセンサデータが３つのＲ波ピークＲ１～Ｒ３を含んでいるのに対し、出力される補正センサデータでは、Ｒ波ピークＲ１～Ｒ３に加え、第２のセンサデータにおいてＲ波ピークが存在しない時点で疑似Ｒ波ピークＮＲが誤検出されている。
　これは、当該時点付近において第１のセンサデータに含まれるノイズの強度が高いことが要因であることが予測される。このように、第１のセンサデータに含まれるノイズの強度は、出力データにおける各種特徴点の検出精度に強く影響し得る。
　このために、本実施形態に係る学習部１１０は、第１のセンサデータおよび第２のセンサデータに加え、上記２つのセンサデータの取得期間と同期間に取得された第３のセンサデータにさらに基づく学習を行ってもよい。ここで、本実施形態に係る第３のセンサデータは、第１のセンサデータに生じるノイズの影響の大きさを示す指標として利用可能な各種のセンサデータであってよい。
　すなわち、本実施形態に係る学習部１１０は、第１のセンサデータに加え、第３のセンサデータを学習データとして用いることで、第１のセンサデータに生じるノイズの影響の大きさを学習することが可能である。
　図８は、本実施形態に係る第３のセンサデータに基づく学習について説明するための図である。なお、図８では、学習部１１０が第１のセンサデータおよび第３のセンサデータを学習データとし、第２のセンサデータを教師データとして、補正センサデータを出力する場合を例示している。
　例えば、移動体に搭乗する被験者が着座する座席と、被験者が操作するステアリング等の被操作装置とに配置される電極を用いて第１のセンサデータを取得する場合を想定する。この場合、被験者と電極との接触が一時的に解除される状況等において、第１のセンサデータに生じるノイズの強度が上昇することが予想される。
　上記の状況としては、例えば、走行路や走行の状態により移動体に強い振動が生じる状況が挙げられる。このことから、本実施形態に係る第３のセンサデータは、例えば、被験者または被験者に接触することが予測される装置（例えば、座席、ステアリング、移動体等）を検出対象として取得された加速度データを含んでもよい。この場合、本実施形態に係る学習部１１０は、第３のセンサデータとして加速度データに基づく学習を行ってもよい。
　また、被験者と電極との接触が一時的に解除されるような状況には、特に、重力方向（。以下、ｚ軸方向とも称する）における振動が強く影響することが想定される。
　このため、本実施形態に係る学習部１１０は、第３のセンサデータとして少なくとも重力方向における加速度データに基づく学習を行ってもよい。
　本実施形態に係る学習部１１０は、例えば、第３のセンサデータとして、ｚ軸方向における加速度データのみを用いた学習を行ってもよいし、第３のセンサデータとして、ｚ軸方向、ｙ軸方向、ｘ軸方向のそれぞれにおける加速度データを用いた学習を行ってもよい。この他、本実施形態に係る第３のセンサデータとしては、例えば、上記３軸方向における加速度データのノルムや、各軸方向における躍度（加加速度、ジャークとも称される）が採用されてもよい。
　なお、加速度データは、移動体に備えられた加速度センサにより取得されてもよいし、速度計が取得した速度に基づいて演算されてもよい。
　上記のような第３のセンサデータに基づく学習によれば、第１のセンサデータに生じるノイズの影響をキャンセルすることで、図８の下段に示すように、疑似Ｒ波ピークＮＲなどの誤検出を防止することが可能となる。このように、本実施形態に係る第３のセンサデータに基づく学習によれば、第１のセンサデータおよび第２のセンサデータのみを用いた場合と比較して、バイタルデータの検出精度をさらに向上させた学習済みモデルを生成することが可能となる。
　なお、本実施形態に係る第３のセンサデータは、加速度データ、また加速度データを加工したデータに限定されない。本実施形態に係る第３のセンサデータは、被験者と電極との接触が一時的に解除されるような状況の予測に利用可能な各種のデータであり得る。
　本実施形態に係る第３のセンサデータは、例えば、角速度データや地磁気データ、また画像データであってもよい。当該画像データの一例としては、例えば、走行路の状態を撮影したデータや、被験者の状態を撮影したデータなどが挙げられる。上記のような各データは、振動の発生予測に利用可能である。
　また、本実施形態に係る第３のセンサデータは、移動体に搭載される空調設備やオーディオ設備に係る操作情報であってもよい。このようなデータによれば、被験者の指が、ステアリングに配置される電極から一時的に離れたこと等を予測することが可能である。　
　＜学習フェーズおよび測定フェーズの流れ＞
　次に、本実施形態に係る学習装置１０を用いた学習を行う学習フェーズ、および測定装置２０を用いた測定を行う測定フェーズの流れについて説明する。図９は、本実施形態に係る学習フェーズの流れを示すフローチャートである。
　図９に示すように、本実施形態に係る学習フェーズにおいては、まず、第１のセンサデータ、第２のセンサデータ、第３のセンサデータの取得が行われる（Ｓ１０２）。この際、第１のセンサデータ、第２のセンサデータ、および第３のセンサデータは、時間軸における同期が可能なようにタイムスタンプ等の情報と共に取得されてよい。また、第１のセンサデータ、第２のセンサデータ、および第３のセンサデータは、学習装置１０とは別途の装置により取得されてもよい。取得された第１のセンサデータ、第２のセンサデータ、および第３のセンサデータは、学習装置１０の記憶部１２０に記憶される。
　次に、必要に応じて第１のセンサデータ、第２のセンサデータ、および第３のセンサデータの加工が行われる（Ｓ１０４）。例えば、教師データとして、規定の特徴点に係る存在確率データを用いる場合、ステップＳ１０４では、ステップＳ１０２において取得された第２のセンサデータを存在確率データに変換する処理が行われてよい。また、第１のセンサデータ、第２のセンサデータ、および第３のセンサデータに含まれるノイズを軽減するための各種のフィルタ処理等が行われてもよい。なお、上記のような加工は学習装置１０とは別途の装置により実行されてもよい。
　次に、学習部１１０は、第１のセンサデータおよび第３のセンサデータを学習データとし、第２のセンサデータに基づく教師データを用いた学習を行う（Ｓ１０６）。この際、学習部１１０は、第２のセンサデータそのもの（あるいはフィルタ処理が施された第２のセンサデータ）を教師データとして用いてもよいし、ステップＳ１０４において生成された存在確率データを教師データとしてもよい。
　以上、本実施形態に係る学習フェーズの流れについて説明した。続いて、本実施形態に係る測定フェーズの流れについて説明する。図１０は、本実施形態に係る測定フェーズの流れを示すフローチャートである。
　図１０に示すように、本実施形態に係る測定フェーズにおいては、まず、取得部２１０が第１の方式により第１のセンサデータを、また第３のセンサデータを取得する（Ｓ２０２）。取得部２１０は、例えば、車両のスタリングと座席に配置した複数の電極により運転手の心電波形を第１のセンサデータとして取得してもよい。また、取得部２１０は、例えば、ステアリング等に配置された加速度センサにより、第３のセンサデータとして加速度データを取得してもよい。
　次に、測定部２２０は、ステップＳ２０２において取得された第１のセンサデータおよび第３のセンサデータを学習済みモデルに入力し、バイタルデータの出力を行う（Ｓ２０４）。学習フェーズにおいて第２のセンサデータを教師データとして学習を行った場合、上記のバイタルデータは、第１のセンサデータからノイズが除去された補正センサデータであり得る。一方、学習フェーズにおいて存在確率データを教師データとして学習を行った場合、上記のバイタルデータは、任意の特徴点の存在確率を示す存在確率データであり得る。
　次に、必要に応じて、ステップＳ２０４において出力されたバイタルデータに基づく各種の動作が実行される（Ｓ２０６）。上記の動作は、例えば、バイタルデータから検出されたＲＲＩに基づく報知等であってもよい。上記の動作は、測定装置２０とは別途の装置により実行されてもよい。
　＜補足＞
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　例えば、上記の実施形態では、学習部１１０が被験者の生命兆候を示すバイタルデータの出力に係る学習を行う場合を主な例として述べた。一方、学習部１１０による学習の対象は、バイタルデータの出力に限定されない。学習部１１０は、例えば、任意の装置の稼働状況を示すデータ等の出力に係る学習を行うことも可能である。
　また、上記の実施形態では、心電波形を取得する第１の方式として、被験者が接触することが予想される箇所に電極を配置する方式を、第２の方式として、被験者の皮膚に電極を直接する方式を例に挙げた。一方、本技術における第１の方式および第２の方式は、ノイズの影響の受けやすさに差がある任意の異なる方式であってよい。例えば、心拍を取得する場合、第１の方式は、ドップラーセンサを用いた非接触方式であってもよいし、第２の方式は、被験者の皮膚に電極を装着する接触方式であってもよい。
　また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　１０：学習装置、１１０：学習部、１２０：記憶部、２０：測定装置、２１０：取得部、２２０：測定部

Claims (9)

  1. 　被験者から第１の方式により取得された第１のセンサデータを学習データとし、
    　前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、
    　前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、
    　を備え、
    　前記学習部は、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行う、
    学習装置。
  2. 　前記第３のセンサデータは、前記被験者または前記被験者に接触することが予測される装置を検出対象として取得された加速度データを含み、
    　前記学習部は、前記第３のセンサデータとして加速度データに基づく学習を行う、
    請求項１に記載の学習装置。
  3. 　前記学習部は、前記第３のセンサデータとして少なくとも重力方向における加速度データに基づく学習を行う、
    請求項２に記載の学習装置。
  4. 　前記バイタルデータは、心臓の活動に係るデータを含み、
    　前記学習部は、前記第１の方式により取得された第１の心電波形、および前記第１の心電波形の取得期間と同期間に取得された前記第３のセンサデータを学習データとし、前記第２の方式により前記第１の心電波形の取得期間と同期間に取得された第２の心電波形に基づく教師データを用いて、前記被験者の心臓の活動に係るデータの出力を学習する、
    請求項１～請求項３のうちいずれか一項に記載の学習装置。
  5. 　前記第１の方式は、前記被験者と接触することが予想される少なくとも２つの電極を用いて心電波形を取得する方式であり、
    　前記第２の方式は、前記被験者の皮膚に装着された少なくとも２つの電極を用いて心電波形を取得する方式である、
    請求項４に記載の学習装置。
  6. 　前記第１の方式において用いられる２つの前記電極は、前記被験者が着座する座席と、前記被験者が操作する被操作装置と、に設けられる、
    請求項５に記載の学習装置。
  7. 　前記被験者は、移動体を運転する運転手である、
    請求項１から請求項６までのいずれか一項に記載の学習装置。
  8. 　被験者から第１の方式により取得された第１のセンサデータを学習データとし、
    　前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、
    　前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行うこと、
    　を含み、
    　前記学習することは、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行うこと、をさらに含む、
    学習方法。
  9. 　被験者から第１の方式により取得された第１のセンサデータを入力として、前記被験者の生命兆候を示すバイタルデータを出力する測定部、
    　を備え、
    　前記測定部は、前記第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データとし、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて、前記バイタルデータの出力に係る学習を行った学習済みモデルを用いて、前記バイタルデータを出力する、
    測定装置。
PCT/JP2021/004094 2020-04-20 2021-02-04 学習装置、学習方法、および測定装置 Ceased WO2021215070A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/917,393 US20230153684A1 (en) 2020-04-20 2021-02-04 Learning device, learning method, and measurement device
DE112021002427.2T DE112021002427T5 (de) 2020-04-20 2021-02-04 Lernvorrichtung, Lernverfahren und Messvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020074590A JP7479909B2 (ja) 2020-04-20 2020-04-20 学習装置、学習方法、および測定装置
JP2020-074590 2020-04-20

Publications (1)

Publication Number Publication Date
WO2021215070A1 true WO2021215070A1 (ja) 2021-10-28

Family

ID=78269382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004094 Ceased WO2021215070A1 (ja) 2020-04-20 2021-02-04 学習装置、学習方法、および測定装置

Country Status (4)

Country Link
US (1) US20230153684A1 (ja)
JP (1) JP7479909B2 (ja)
DE (1) DE112021002427T5 (ja)
WO (1) WO2021215070A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240202580A1 (en) * 2022-12-19 2024-06-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Computer-implemented method for assessing structure-borne noise

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483756B1 (ko) * 2013-10-18 2015-01-16 상명대학교서울산학협력단 맥파 검출 방법
US20150065891A1 (en) * 2013-08-30 2015-03-05 Joseph Wiesel Method and Apparatus for Detecting Atrial Fibrillation
US20200022658A1 (en) * 2018-07-19 2020-01-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for predicting and detecting a cardiac event

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5050828B2 (ja) 2007-12-17 2012-10-17 富士通株式会社 片手対応ステアリング心電検知装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150065891A1 (en) * 2013-08-30 2015-03-05 Joseph Wiesel Method and Apparatus for Detecting Atrial Fibrillation
KR101483756B1 (ko) * 2013-10-18 2015-01-16 상명대학교서울산학협력단 맥파 검출 방법
US20200022658A1 (en) * 2018-07-19 2020-01-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for predicting and detecting a cardiac event

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HORIGUCHI D., NAITO H., SASAKI K.: "Motion Artifact Compensation for Wristwatch Type Photoplethysmography sensor", PROCEEDINGS OF THE 2012 JSPE SPRING CONFERENCE, 1 January 2012 (2012-01-01), pages 949 - 950, XP055866732 *

Also Published As

Publication number Publication date
US20230153684A1 (en) 2023-05-18
JP2021174046A (ja) 2021-11-01
JP7479909B2 (ja) 2024-05-09
DE112021002427T5 (de) 2023-02-23

Similar Documents

Publication Publication Date Title
US5349962A (en) Method and apparatus for detecting epileptic seizures
EP2698112B1 (en) Real-time stress determination of an individual
JP6435104B2 (ja) 身体状態の変化を判定するシステム及び方法
Kajiwara Evaluation of driver’s mental workload by facial temperature and electrodermal activity under simulated driving conditions
JP2001000407A (ja) 生体信号計測装置
US20070060830A1 (en) Method and system for detecting and classifying facial muscle movements
JP3581319B2 (ja) 脳活動自動判定装置
KR101947676B1 (ko) 생체 신호를 측정하는 장치 및 방법
CN114435373B (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
JP2018521830A (ja) 注意欠陥を監視し改善する方法およびシステム
WO2021205788A1 (ja) 心電図分析装置、心電図分析方法及びプログラム
KR20090096051A (ko) 긴장도를 조절하는 드라이빙 시뮬레이션 시스템 및 방법과이에 사용되는 기록매체
Zontone et al. Stress recognition in a simulated city environment using Skin Potential Response (SPR) signals
KR20220028967A (ko) 뉴로피드백 기반의 치료 장치 및 치료 방법
WO2021215070A1 (ja) 学習装置、学習方法、および測定装置
JP2011067497A (ja) 脳活動情報出力装置、脳活動情報出力方法、およびプログラム
JP7256380B2 (ja) 情報処理装置、危険状況検出システム、および危険状況検出方法
RU2125399C1 (ru) Устройство для анализа психофизиологической информации
WO2021100265A1 (ja) 学習装置、学習方法、および測定装置
Kono et al. Suppression of Vestibulo-Ocular Reflex With Increased Mental Workload While Driving
JP7285763B2 (ja) 学習装置、学習方法、および測定装置
US20230165511A1 (en) Cognitive ability detection device and cognitive ability detection method
JP2021081917A (ja) 学習データ拡張方法、および学習データ生成装置
Skoric et al. Machine Learning-Based Detection of Driver Distraction by Capacitive Electrocardiogram Signals
CN115996666A (zh) 用于确定认知需求的系统和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21791873

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21791873

Country of ref document: EP

Kind code of ref document: A1