IT201800005512A1 - PROCEDURE FOR TREATING ELECTROPHYSIOLOGICAL SIGNALS, SYSTEM, VEHICLE AND CORRESPONDING IT PRODUCT - Google Patents
PROCEDURE FOR TREATING ELECTROPHYSIOLOGICAL SIGNALS, SYSTEM, VEHICLE AND CORRESPONDING IT PRODUCT Download PDFInfo
- Publication number
- IT201800005512A1 IT201800005512A1 IT102018000005512A IT201800005512A IT201800005512A1 IT 201800005512 A1 IT201800005512 A1 IT 201800005512A1 IT 102018000005512 A IT102018000005512 A IT 102018000005512A IT 201800005512 A IT201800005512 A IT 201800005512A IT 201800005512 A1 IT201800005512 A1 IT 201800005512A1
- Authority
- IT
- Italy
- Prior art keywords
- signal
- ppg
- eeg
- reconstructed
- rec
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000013186 photoplethysmography Methods 0.000 claims description 108
- 238000013528 artificial neural network Methods 0.000 claims description 89
- 238000012545 processing Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 26
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 230000003340 mental effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000000537 electroencephalography Methods 0.000 description 86
- 239000013598 vector Substances 0.000 description 40
- 239000000523 sample Substances 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 206010041349 Somnolence Diseases 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 7
- 230000033764 rhythmic process Effects 0.000 description 7
- 229910052710 silicon Inorganic materials 0.000 description 7
- 239000010703 silicon Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000003205 diastolic effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000001176 projection neuron Anatomy 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 206010021137 Hypovolaemia Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 210000002565 arteriole Anatomy 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000003618 cortical neuron Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical group [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000541 pulsatile effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000028016 temperature homeostasis Effects 0.000 description 1
- 210000001103 thalamus Anatomy 0.000 description 1
- 230000002463 transducing effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
DESCRIZIONE dell’invenzione industriale intitolata: “Procedimento per trattare segnali elettrofisiologici, sistema, veicolo e prodotto informatico corrispondenti” DESCRIPTION of the industrial invention entitled: "Procedure for treating electrophysiological signals, corresponding system, vehicle and computer product"
TESTO DELLA DESCRIZIONE TEXT OF THE DESCRIPTION
Campo tecnico Technical field
La descrizione si riferisce al trattamento di segnali elettrofisiologici. The description refers to the processing of electrophysiological signals.
Una o più forme di realizzazione si possono applicare al trattamento di segnali elettrofisiologici quali ad es. segnali di elettroencefalografia (EEG) e/o fotopletismografia (PPG). One or more embodiments can be applied to the processing of electrophysiological signals such as e.g. electroencephalography (EEG) and / or photoplethysmography (PPG) signals.
Una o più forme di realizzazione possono facilitare l’ottenimento di informazioni (dati, quantità fisiche) dal corpo animale o umano vivente ad es. a supporto dell’attività diagnostica di un umano in attività mediche e veterinarie o per altri possibili utilizzi (ad es. nel settore automobilistico). One or more embodiments can facilitate the obtaining of information (data, physical quantities) from the living animal or human body, eg. to support the diagnostic activity of a human in medical and veterinary activities or for other possible uses (eg. in the automotive sector).
Sfondo Tecnologico Technological Background
La fotopletismografia (PPG) è una semplice ed economica tecnica ottica che si può utilizzare per rilevare cambiamenti di volume del sangue nel letto microvascolare del tessuto. Essa è sovente utilizzata in modo non invasivo per effettuare misurazioni in corrispondenza della superficie della pelle. Photoplethysmography (PPG) is a simple and inexpensive optical technique that can be used to detect changes in blood volume in the microvascular bed of tissue. It is often used non-invasively to make measurements at the surface of the skin.
Una forma d’onda PPG comprende una forma d’onda fisiologica pulsatile (“AC”) attribuita a cambiamenti sincroni cardiaci nel volume del sangue con ciascun battito cardiaco, ed è sovrapposta su una linea di base lentamente variabile (“DC”) con vari componenti di frequenza inferiore attribuiti alla respirazione, termoregolazione, tessuti della pelle, ecc. A PPG waveform comprises a pulsatile physiological waveform ("AC") attributed to cardiac synchronous changes in blood volume with each heartbeat, and is superimposed on a slowly varying baseline ("DC") with various lower frequency components attributed to respiration, thermoregulation, skin tissues, etc.
Per ciascun ciclo cardiaco il cuore pompa sangue alla periferia. Anche se questo impulso di pressione è in qualche modo smorzato dal tempo in cui raggiunge la pelle, ciò è sufficiente per distendere le arterie e arteriole nel tessuto sottocutaneo. Se un dispositivo rilevatore di luce riflessa/trasmissione è collegato sulla pelle, un impulso di pressione si può anche vedere dal plesso venoso, come un piccolo picco secondario. Il cambiamento nel volume causato dall’impulso di pressione è rilevato illuminando la pelle con la luce da un diodo ad emissione di luce (LED) e successivamente misurando la quantità di luce o trasmessa o riflessa ad un fotodiodo. Ciascun ciclo cardiaco appare come un picco. For each cardiac cycle, the heart pumps blood to the periphery. Although this pressure impulse is somewhat dampened by the time it reaches the skin, this is enough to stretch the arteries and arterioles in the subcutaneous tissue. If a reflected light / transmission detector device is attached to the skin, a pressure pulse can also be seen from the venous plexus, as a small secondary peak. The change in volume caused by the pressure pulse is detected by illuminating the skin with light from a light emitting diode (LED) and subsequently measuring the amount of light either transmitted or reflected to a photodiode. Each cardiac cycle appears as a peak.
Poiché il flusso sanguigno verso la pelle si può modulare tramite molteplici altri sistemi fisiologici, la PPG si può anche utilizzare per monitorare, il respiro, l’ipovolemia, le condizioni circolatorie così come per analisi soggettiva . In aggiunta, la forma della forma d’onda PPG differisce da soggetto a soggetto, e varia con la posizione e maniera in cui è collegato il pulsossimetro. Since blood flow to the skin can be modulated through multiple other physiological systems, PPG can also be used to monitor breathing, hypovolemia, circulatory conditions as well as for subjective analysis. In addition, the shape of the PPG waveform differs from subject to subject, and varies with the position and manner in which the pulse oximeter is connected.
Quanto segue è un elenco di documenti esemplificativi di un’estesa attività dedicata ad argomenti relativi alla PPG: The following is a list of exemplary documents of an extensive activity dedicated to topics related to the PPG:
[1] Rohan Banerjee, ed altri: “Estimation of ECG parameters using photoplethysmography”, 13th IEEE International Conference on BioInformatics and BioEngineering, Anno: 2013, Pagine: 1-5; [1] Rohan Banerjee, et al: “Estimation of ECG parameters using photoplethysmography”, 13th IEEE International Conference on BioInformatics and BioEngineering, Year: 2013, Pages: 1-5;
[2] Vala Jeyhani, ed altri: “Comparison of HRV parameters derived from photoplethysmography and electrocardiography signals”, 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Anno: 2015, Pagine: 5952–5955; [2] Vala Jeyhani, et al: “Comparison of HRV parameters derived from photoplethysmography and electrocardiography signals”, 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Year: 2015, Pages: 5952–5955;
[3] K. Venu Madhav, ed altri: “Estimation of respiration rate from ECG, BP and PPG signals using empirical mode decomposition”, 2011 IEEE International Instrumentation and Measurement Technology Conference, Anno: 2011, Pagine: 1–4; [3] K. Venu Madhav, et al: “Estimation of respiration rate from ECG, BP and PPG signals using empirical mode decomposition”, 2011 IEEE International Instrumentation and Measurement Technology Conference, Year: 2011, Pages: 1–4;
[4] M. Bolanos, ed altri: “Comparison of heart rate variability signal features derived from electrocardiography and photoplethysmography in healthy individuals”, in: Proc. [4] M. Bolanos, et al: “Comparison of heart rate variability signal features derived from electrocardiography and photoplethysmography in healthy individuals”, in: Proc.
28th Annual Int. Conf. of the IEEE EMBS, New York City, USA, 2006; 28th Annual Int. Conf. Of the IEEE EMBS, New York City, USA, 2006;
[5] N. Selvaraj, ed altri: “Assessment of heart rate variability derived from finger-tip photoplethysmography as compared to electrocardiography”, Journal of Medical Engineering & Technology 2008, pagg. 479-484; [5] N. Selvaraj, et al: “Assessment of heart rate variability derived from finger-tip photoplethysmography as compared to electrocardiography”, Journal of Medical Engineering & Technology 2008, pp. 479-484;
[6] Lu G. ed altri: “A comparison of photoplethysmography and ECG recording to analyse heart rate variability in healthy subjects”, Journal of Medical Engineering & Technology, vol. 33, 2009, pagg. 634-641; [6] Lu G. et al: “A comparison of photoplethysmography and ECG recording to analyze heart rate variability in healthy subjects”, Journal of Medical Engineering & Technology, vol. 33, 2009, pp. 634-641;
[7] Elgendi M.: “On the analysis of fingertip photoplethysmogram signals”, Current Cardiology Reviews, vol.8, 2012 pagg. 14-25; [7] Elgendi M .: “On the analysis of fingertip photoplethysmogram signals”, Current Cardiology Reviews, vol. 8, 2012 pp. 14-25;
[8] Mazomenos E. B.: “A Time-Domain Morphology and Gradient based logarithm for ECG Feature Extraction”, in: Proc: International Conference on Industrial Technology (ICIT), 2012, pagg.117-122; e [8] Mazomenos E. B .: “A Time-Domain Morphology and Gradient based logarithm for ECG Feature Extraction”, in: Proc: International Conference on Industrial Technology (ICIT), 2012, pp. 117-122; And
[9] J. Vicente ed altri: “Detection of Driver’s Drowsiness by means of HRV Analysis”, IEEE Computing in Cardiology 2011; 38: 89-92. [9] J. Vicente and others: "Detection of Driver's Drowsiness by means of HRV Analysis", IEEE Computing in Cardiology 2011; 38: 89-92.
Altri documenti di interesse comprendono: Other documents of interest include:
[10] N. N. Sari, ed altri: "A two-stage intelligent model to extract features from PPG for drowsiness detection," 2016 International Conference on System Science and Engineering (ICSSE), Puli, 2016, pagg. 1-2; [10] N. N. Sari, et al: "A two-stage intelligent model to extract features from PPG for drowsiness detection," 2016 International Conference on System Science and Engineering (ICSSE), Puli, 2016, pp. 1-2;
[11] Li, G., ed altri: “Detection of Driver Drowsiness Using Wavelet Analysis of Heart Rate Variability and a Support Vector Machine Classifier”, Sensors (Basel, Switzerland), 13(12), 16494–16511; [11] Li, G., et al: “Detection of Driver Drowsiness Using Wavelet Analysis of Heart Rate Variability and a Support Vector Machine Classifier”, Sensors (Basel, Switzerland), 13 (12), 16494–16511;
[12] Yo-Ping Huang, ed altri: "Early detection of driver drowsiness by WPT and FLFNN models", 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Budapest, 2016, pagg. 000463-000468; [12] Yo-Ping Huang, et al: "Early detection of driver drowsiness by WPT and FLFNN models", 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Budapest, 2016, pp. 000463-000468;
[13] Jaewon Lee, ed altri: “Correlation Analysis between Electrocardiography (ECG) and Photoplethysmogram (PPG) Data for Driver’s Drowsiness Detection Using Noise Replacement Method”, Procedia Computer Science, Volume 116, 2017, Pagine 421-426, ISSN 1877-0509; [13] Jaewon Lee, et al: "Correlation Analysis between Electrocardiography (ECG) and Photoplethysmogram (PPG) Data for Driver's Drowsiness Detection Using Noise Replacement Method", Procedia Computer Science, Volume 116, 2017, Pages 421-426, ISSN 1877- 0509;
[14] Saravanamoorthi, A., ed altri: “Prediction of Drowsy Drivers Fault Using Bio Signals Joint Stochastic FSD (BJSFSD) Algorithm”, (2016); [14] Saravanamoorthi, A., et al: “Prediction of Drowsy Drivers Fault Using Bio Signals Joint Stochastic FSD (BJSFSD) Algorithm”, (2016);
[15] Soltane, M., ed altri: “Artificial neural networks (ANN) approach to PPG signal classification”, International journal of computing & information sciences, 2(1), pag.58; [15] Soltane, M., and others: “Artificial neural networks (ANN) approach to PPG signal classification”, International journal of computing & information sciences, 2 (1), pag.58;
[16] Lawoyin, S., 2014: “Novel technologies for the detection and mitigation of drowsy driving”, Virginia Commonwealth University; [16] Lawoyin, S., 2014: “Novel technologies for the detection and mitigation of drowsy driving”, Virginia Commonwealth University;
[17] T. Hwang, ed altri: “Driver drowsiness detection using the in-ear EEG", 2016, 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Orlando, FL, 2016, pagg. 4646-4649; [17] T. Hwang, et al: "Driver drowsiness detection using the in-ear EEG", 2016, 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Orlando, FL, 2016, pp. 4646 -4649;
[18] Liu, Y., ed altri: “Driver Drowsiness Detection System”, https://3x10e8.files.wordpress.com/2015/08/ece4781final projectwrite-upteamorpheus.pdf [18] Liu, Y., et al: "Driver Drowsiness Detection System", https://3x10e8.files.wordpress.com/2015/08/ece4781final projectwrite-upteamorpheus.pdf
Come notato, l’utilizzo di PPG si può immaginare in aree diverse dal campo medico. As noted, the use of PPG can be imagined in areas other than the medical field.
Ad esempio, la PPG è stata considerata per l’utilizzo nel campo automobilistico, ad es. al fine di ottenere informazioni utili sul comportamento e/o la reazione di autisti e passeggeri in varie situazioni che si possono verificare in un autoveicolo. For example, PPG was considered for use in the automotive field, eg. in order to obtain useful information on the behavior and / or reaction of drivers and passengers in various situations that may occur in a vehicle.
Di fatto, esiste un’estesa attività per affrontare il problema tecnico di identificare uno stato di attenzione mentale, ad es. uno stato di sonnolenza di un guidatore di un veicolo (sia prima che durante la guida), utilizzando segnali PPG e/o altri segnali elettrofisiologici. In fact, there is extensive activity to address the technical problem of identifying a state of mental attention, eg. a drowsy state of a driver of a vehicle (both before and while driving), using PPG signals and / or other electrophysiological signals.
Scopo e sintesi Purpose and summary
Nonostante l’estesa attività nell’area, sono desiderabili soluzioni migliorate che facilitano, ad esempio, l’identificazione di uno stato di sonnolenza di un guidatore di un veicolo. Despite the extensive activity in the area, improved solutions are desirable that facilitate, for example, the identification of a drowsy state of a vehicle driver.
Secondo una o più forme di realizzazione, un tale scopo si può conseguire per mezzo di un procedimento avente le caratteristiche esposte nelle rivendicazioni che seguono. According to one or more embodiments, such an object can be achieved by means of a method having the characteristics set out in the following claims.
Una o più forme di realizzazione si possono riferire ad un corrispondente sistema. One or more embodiments can refer to a corresponding system.
Una o più forme di realizzazione si possono riferire ad un corrispondente veicolo, quale, ad esempio, a autoveicolo dotato di un tale sistema. One or more embodiments can refer to a corresponding vehicle, such as, for example, a motor vehicle equipped with such a system.
Una o più forme di realizzazione possono comprendere un prodotto informatico caricabile nella memoria di almeno un circuito di trattamento (ad es., un computer) e comprendente porzioni di codice software per eseguire le fasi del procedimento quando il prodotto è eseguito su almeno un circuito di trattamento. Come qui utilizzato, si comprende che il riferimento ad un tale prodotto informatico è equivalente al riferimento ad un mezzo leggibile su computer contenente istruzioni per controllare il sistema di trattamento al fine di coordinare l’implementazione del procedimento secondo una o più forme di realizzazione. Il riferimento ad “almeno un computer” è inteso per evidenziare l’eventualità che una o più forme di realizzazione siano implementate in forma modulare e/o distribuita. One or more embodiments may comprise a computer product that can be loaded into the memory of at least one processing circuit (e.g., a computer) and comprising portions of software code for carrying out the steps of the method when the product is performed on at least one processing circuit. treatment. As used herein, it is understood that the reference to such a computer product is equivalent to the reference to a computer readable medium containing instructions for controlling the treatment system in order to coordinate the implementation of the procedure according to one or more embodiments. The reference to "at least one computer" is intended to highlight the eventuality that one or more embodiments are implemented in a modular and / or distributed form.
Le rivendicazioni sono una parte integrante dell’insegnamento tecnico qui fornito in riferimento all’invenzione. The claims are an integral part of the technical teaching provided herein with reference to the invention.
Una o più forme di realizzazione possono facilitare il trattamento del segnale di elettroencefalografia (EEG) (cioè riconoscimento di pattern di campioni EEG) applicata in un sistema PPG/EEG comprendente, ad es. One or more embodiments may facilitate electroencephalography (EEG) signal processing (i.e. pattern recognition of EEG samples) applied in a PPG / EEG system comprising, e.g.
- sensori PPG (ad es. fotomoltiplicatori al silicio -SiPM per il rilevamento di PPG); - PPG sensors (eg silicon photomultipliers - SiPM for PPG detection);
- un procedimento e/o sistema di riconoscimento di pattern di segnali PPG, - a PPG signal pattern recognition method and / or system,
- un procedimento e/o sistema di riconoscimento di pattern di campioni. - a sample pattern recognition process and / or system.
Una o più forme di realizzazione possono comportare una pipeline configurata per trattare segnali di fotopletismografia (PPG) basandosi sull’utilizzo di rilevatori quali ad es. di rilevatori fotomoltiplicatori al silicio (SiPM). Tali sensori di sonda possono fornire vantaggi in termini di sensibilità a singolo fotone ed elevato guadagno interno per una polarizzazione inversa relativamente bassa. One or more embodiments may involve a pipeline configured to process photoplethysmography (PPG) signals based on the use of detectors such as e.g. of silicon photomultiplier detectors (SiPM). Such probe sensors can provide advantages in terms of single photon sensitivity and high internal gain for relatively low reverse bias.
Una o più forme di realizzazione possono adottare (eventualmente in abbinamento a rilevatori SiPM) una pipeline di trattamento adattata per correggere la distorsione di segnale, ad esempio filtrando e normalizzando il segnale. One or more embodiments can adopt (possibly in combination with SiPM detectors) a processing pipeline adapted to correct the signal distortion, for example by filtering and normalizing the signal.
Una o più forme di realizzazione facilitano di conseguenza l’ottenimento di informazioni (dati, quantità fisiche) dal corpo animale o umano vivente ad es. a supporto dell’attività diagnostica di un umano in attività mediche e veterinarie o per altri possibili utilizzi. L’ottenimento di informazioni sul comportamento e/o la reazione di autisti e passeggeri nel campo automobilistico è esemplificativo di un tale possibile utilizzo. One or more embodiments consequently facilitate the obtaining of information (data, physical quantities) from the living animal or human body, eg. to support the diagnostic activity of a human in medical and veterinary activities or for other possible uses. Obtaining information on the behavior and / or reaction of drivers and passengers in the automotive field is an example of such a possible use.
Una o più forme di realizzazione possono comportare il trattamento di segnali EEG che facilitano un’efficiente segmentazione di forme d’onda campione di EEG conformi in un sistema PPG/EEG combinato, che a sua volta facilita un robusto monitoraggio di stato di sonnolenza/vigile di un guidatore di un veicolo. One or more embodiments may involve processing EEG signals that facilitate efficient segmentation of compliant EEG sample waveforms in a combined PPG / EEG system, which in turn facilitates robust sleep / alert monitoring. of a driver of a vehicle.
Una o più forme di realizzazione possono offrire uno o più dei seguenti vantaggi: One or more embodiments may offer one or more of the following advantages:
- calcolo ad alta velocità facilitato da meccanismi di riconoscimento di pattern basati sull’algoritmo di LM (Levenberg-Marquardt) e rete neurale con Mappa Motoria (Motor Map) multi-strato, che si possono implementare in un hardware dedicato; - high-speed calculation facilitated by pattern recognition mechanisms based on the LM (Levenberg-Marquardt) algorithm and multi-layer neural network with Motor Map, which can be implemented in dedicated hardware;
- bassa complessità di analisi di dati e basso consumo di CPU; - low complexity of data analysis and low CPU consumption;
- accuratezza e robustezza dovute alla correlazione tra PPG e EEG; - accuracy and robustness due to the correlation between PPG and EEG;
- monitoraggio continuo facilitato dello stato di attenzione di un guidatore di un veicolo; - facilitated continuous monitoring of the attention state of a driver of a vehicle;
- eventualità di evitare algoritmi di addestramento o di auto sintonizzazione di parametri di sistema; - possibility of avoiding training algorithms or self-tuning of system parameters;
- semplice implementazione per l’acquisizione di segnale EEG/PPG, ad es., da rilevatori sul volante del veicolo; - simple implementation for the acquisition of EEG / PPG signal, for example, from detectors on the vehicle's steering wheel;
- elevato rapporto di sensibilità/specificità (ad es. - high sensitivity / specificity ratio (eg.
98%/98%) in contrapposizione ad una progettazione a bassa complessità. 98% / 98%) as opposed to low complexity design.
- riduzione di requisiti di buffering di dati. - reduction of data buffering requirements.
Breve descrizione delle varie viste dei disegni Verranno ora descritte una o più forme di realizzazione, solo a titolo di esempio non limitativo, facendo riferimento alle Figure annesse, in cui: Brief description of the various views of the drawings One or more embodiments will now be described, by way of non-limiting example only, with reference to the attached Figures, in which:
- la Figura 1 è un diagramma esemplificativo di un segnale di fotopletismografia (PPG); Figure 1 is an exemplary diagram of a photoplethysmography (PPG) signal;
- la Figura 2 è esemplificativa di un possibile funzionamento di sensori PPG; - Figure 2 is an example of a possible operation of PPG sensors;
- la Figura 3 è un diagramma che comprende quattro porzioni designate a), b), c) e d) esemplificative del possibile comportamento di segnali di elettroencefalografia (EEG); Figure 3 is a diagram comprising four portions designated a), b), c) and d) exemplifying the possible behavior of electroencephalography (EEG) signals;
- la Figura 4 è un diagramma funzionale esemplificativo di un eventuale trattamento del segnale nelle forme di realizzazione; Figure 4 is an exemplary functional diagram of a possible signal processing in the embodiments;
- la Figura 5 è un diagramma a blocchi esemplificativo di una eventuale disposizione di una porzione della pipeline di Figura 4; Figure 5 is an exemplary block diagram of a possible arrangement of a portion of the pipeline of Figure 4;
- le Figure 6 e 7 sono diagrammi esemplificativi del trattamento di segnali PPG nelle forme di realizzazione; Figures 6 and 7 are exemplary diagrams of the PPG signal processing in the embodiments;
- la Figura 8 è un diagramma a blocchi esemplificativo di un eventuale disposizione su una porzione della pipeline di Figura 4; Figure 8 is an exemplary block diagram of a possible arrangement on a portion of the pipeline of Figure 4;
- la Figura 9 è esemplificativa dell’eventuale trattamento del segnale di rete neurale artificiale nelle forme di realizzazione; e - Figure 9 is an example of the possible treatment of the artificial neural network signal in the embodiments; And
- la Figura 10 è un diagramma funzionale esemplificativo dell’eventuale trattamento del segnale nelle forme di realizzazione. - Figure 10 is an exemplary functional diagram of the possible signal processing in the embodiments.
Descrizione dettagliata di forme di realizzazione esemplificative Detailed description of exemplary embodiments
Nella seguente descrizione, sono illustrati uno o più dettagli specifici, mirati a fornire una comprensione approfondita di esempi di forme di realizzazione di questa descrizione. Le forme di realizzazione si possono ottenere senza uno o più dei dettagli specifici, o con altri procedimenti, componenti, materiali, ecc. In altri casi, note strutture, materiali, o operazioni non sono illustrati o descritti nel dettaglio in modo tale che certi aspetti delle forme di realizzazione non verranno resi poco chiari. In the following description, one or more specific details are illustrated, aimed at providing a thorough understanding of examples of embodiments of this disclosure. Embodiments can be obtained without one or more of the specific details, or with other processes, components, materials, etc. In other cases, known structures, materials, or operations are not illustrated or described in detail so that certain aspects of the embodiments will not be made unclear.
Il riferimento a “una forma di realizzazione” nel quadro complessivo della presente descrizione intende indicare che una particolare configurazione, struttura, o caratteristica descritte in relazione alla forma di realizzazione sia compresa almeno in una forma di realizzazione. Pertanto, frasi quali, “in una forma di realizzazione” che possono essere presenti in uno o più punti della presente descrizione non si riferiscono necessariamente ad un’unica e alla stessa forma di realizzazione. Inoltre, conformazioni, strutture o caratteristiche particolari si possono combinare in qualsiasi modo adeguato in una o più forme di realizzazione. Reference to "an embodiment" within the overall framework of the present disclosure is intended to indicate that a particular configuration, structure, or feature described in relation to the embodiment is included in at least one embodiment. Therefore, phrases such as, "in an embodiment" that may be present in one or more points of this description do not necessarily refer to a single and the same embodiment. Furthermore, particular conformations, structures or features can be combined in any suitable way in one or more embodiments.
I riferimenti qui utilizzati sono forniti meramente per comodità e quindi non definiscono la portata di protezione o l'ambito delle forme di realizzazione. The references used herein are provided merely for convenience and therefore do not define the scope of protection or the scope of the embodiments.
La Figura 1 è un diagramma esemplificativo di un segnale di fotopletismografia (PPG). Figure 1 is an exemplary diagram of a photoplethysmography (PPG) signal.
Come esemplificato in Figura 1, un tipico segnale/forma d’onda di fotopletismografia (in breve PPG) comprende: As exemplified in Figure 1, a typical photoplethysmography signal / waveform (PPG for short) includes:
- un picco sistolico SP in corrispondenza di un valore di picco x, - a systolic peak SP at a peak value x,
- un avvallamento (“notch”) dicrotico DN, - a DN dichrotic notch,
- un picco distolico DP in corrispondenza di un valore y. - a dystolic peak DP at a y value.
Una larghezza W dell’impulso si può anche definire in corrispondenza di un dato valore del valore PPG. A pulse width W can also be defined at a given value of the PPG value.
I segnali PPG si possono rilevare utilizzando sensori/dispositivi PPG (ad es., sensore PD in Figura 2) comprendenti emettitori LED funzionanti a specifiche lunghezze d’onda (solitamente a infrarossi a 940 nm) e fotomoltiplicatori al silicio o SiPM (si veda ad es. M. Mazzillo, ed altri: “Silicon Photomultiplier technology at STMicroelectronics”, IEEE Trans. Nucl. Sci, vol. 56, nr. 4, pagg. 2434–2442, 2009). PPG signals can be detected using PPG sensors / devices (e.g., PD sensor in Figure 2) comprising LED emitters operating at specific wavelengths (usually infrared at 940nm) and silicon or SiPM photomultipliers (see eg M. Mazzillo, and others: “Silicon Photomultiplier technology at STMicroelectronics”, IEEE Trans. Nucl. Sci, vol. 56, nr. 4, pages 2434–2442, 2009).
Questi SiPM possono avere un’area totale di 4.0x4.5 mm2 e 4871 micro celle quadrate con pitch da 60 micron (1 micron = 10-6 m). Questi dispositivi hanno un fattore di riempimento geometrico del 67.4% e sono impacchettati in un alloggiamento per montaggio superficiale (SMD) con 5.1x5.1 mm2 di area totale (si veda ad es. M. Mazzillo, ed altri, citati sopra o M. Mazzillo, ed altri: “Electro-optical performances of pon-n and n-on-p silicon photomultipliers”, IEEE Trans. Electron Devices, vol. 59, nr. 12, pagg. 3419–3425, 2012). These SiPMs can have a total area of 4.0x4.5 mm2 and 4871 square micro cells with 60 micron pitch (1 micron = 10-6 m). These devices have a geometric fill factor of 67.4% and are packaged in a surface mount housing (SMD) with 5.1x5.1mm2 total area (see e.g. M. Mazzillo, et al, cited above or M. Mazzillo, et al.: “Electro-optical performances of pon-n and n-on-p silicon photomultipliers”, IEEE Trans. Electron Devices, vol. 59, nr. 12, pp. 3419–3425, 2012).
Un filtro passa banda dicroico Pixelteq con una banda passante incentrata a 542 nm con una Larghezza a Metà Altezza (FWHM) di 70 nm (1 nm = 10-9 m) ed una trasmissione ottica superiore al 90% nell’intervallo di banda passante si può incollare sul pacchetto SMD utilizzando un adesivo Loctite® 352TM. Con il filtro dicroico a 3V-OV il SiPM ha un’efficienza di rilevamento massimo di circa il 29.4% a 565 nm ed un PDE di circa il 27.4% a 540 nm (lunghezza d’onda centrale nel filtro passa banda - 1 nm = 10-9 m). Si è notato che il filtro dicroico può ridurre l’eccesso del 60% l’assorbimento di luce ambientale nell’intervallo di funzionamento lineare del rilevatore che opera in modalità Geiger sopra la sua tensione di rottura (~ 27V). I LED OSRAM LT M673 nel pacchetto SMD emettono a 529 nm (1 nm = 10-9 m) e basandosi sulla tecnologia InGaN sono stati utilizzati come sorgenti di luce ottica in forme di realizzazione esemplificative. Questi LED hanno un’area di 2.3x1.5 mm2, angolo di visione di 120°, larghezza di banda spettrale di 33 nm (1 nm = 10-9 m) e tipica emissione di potenza di alcuni mW nell’intervallo di funzionamento standard. A Pixelteq dichroic band pass filter with a passband centered at 542 nm with a Half Height (FWHM) of 70 nm (1 nm = 10-9 m) and an optical transmission greater than 90% in the passband range yes can bond on SMD package using Loctite® 352TM adhesive. With the dichroic filter at 3V-OV the SiPM has a maximum detection efficiency of about 29.4% at 565 nm and a PDE of about 27.4% at 540 nm (central wavelength in the band pass filter - 1 nm = 10-9 m). It has been noted that the dichroic filter can reduce the excess absorption of ambient light by 60% in the linear operating range of the detector operating in Geiger mode above its breakdown voltage (~ 27V). OSRAM LT M673 LEDs in the SMD package emit at 529 nm (1 nm = 10-9 m) and based on InGaN technology they have been used as optical light sources in exemplary embodiments. These LEDs have an area of 2.3x1.5mm2, viewing angle of 120 °, spectral bandwidth of 33nm (1nm = 10-9m) and typical power output of a few mW in the standard operating range .
L’utilizzo di sonde PPG comprendenti rilevatori FotoMoltiplicatori al Silicio (SiPM) può fornire vantaggi in termini di sensibilità a singolo fotone ed elevato guadagno interno per una polarizzazione inversa relativamente bassa. The use of PPG probes including Silicon Photo Multiplier (SiPM) detectors can provide advantages in terms of single photon sensitivity and high internal gain for a relatively low reverse bias.
Si è osservato che (si veda ad es. D. Agrò, ed altri : “PPG embedded system for blood pressure monitoring,” in AEIT Annual Conference - From Research to Industry: The Need for a More Effective Technology Transfer (AEIT), Trieste, 2014), che i FotoMoltiplicatori al Silicio (SiPM) possono fornire vantaggi in sistemi PPG in termini di rapporto AC-a-DC superiore nella forma d’onda di impulso PPG, alta ripetibilità in unità ad artefatti di movimento e interferenza ambientali. Una o più forme di realizzazione come qui discusso possono rilevare segnali PPG utilizzando SiPM (come disponibili con società del gruppo ST) come sensori a sonda ottica, adattati per essere utilizzati in abbinamento a componenti hardware e software per fornire un pipeline di trattamento del segnale. It was observed that (see for example D. Agrò, and others: "PPG embedded system for blood pressure monitoring," in AEIT Annual Conference - From Research to Industry: The Need for a More Effective Technology Transfer (AEIT), Trieste , 2014), that Silicon Photo Multipliers (SiPM) can provide advantages in PPG systems in terms of superior AC-to-DC ratio in the PPG pulse waveform, high repeatability in units of motion artifacts and environmental interference. One or more embodiments as discussed herein can detect PPG signals using SiPM (as available with ST group companies) as optical probe sensors, adapted for use in conjunction with hardware and software components to provide a signal processing pipeline.
La Figura 2 è esemplificativa di un possibile funzionamento di sensori PPG. Figure 2 is an example of a possible operation of PPG sensors.
La luce emessa tramite i LED può essere assorbita dalla pelle (componente DC) e dalle arterie, specificatamente, tramite emoglobina ossigenata (e parzialmente deossigenata) (componente AC). The light emitted by the LEDs can be absorbed by the skin (DC component) and by the arteries, specifically, through oxygenated (and partially deoxygenated) hemoglobin (AC component).
La luce residua propagata/riflessa (retrodiffusa) può essere una funzione (proporzionale-differenziale) della quantità di luce assorbita tramite emoglobina nel sangue nelle varie fasi del cuore (sistolica, diastolica, dicrotica, ecc.). Un fotomoltiplicatore SiPM può di conseguenza rilevare la presenza di fotoni nella luce propagata/riflessa tramite trasduzione di un segnale elettrico che verrà campionato tramite ad es. un ADC a 24-bit fornendo di conseguenza il segnale PPG come discusso in precedenza. The residual propagated / reflected (backscattered) light can be a function (proportional-differential) of the amount of light absorbed by hemoglobin in the blood in the various phases of the heart (systolic, diastolic, dicrotic, etc.). A SiPM photomultiplier can consequently detect the presence of photons in the propagated / reflected light by transducing an electrical signal that will be sampled by eg. a 24-bit ADC providing the PPG signal accordingly as discussed above.
Tali sensori PD di PPG si possono applicare su un dispositivo di sterzo di un veicolo, in varie disposizioni come mostrato in Figura 2. Such PPG PD sensors can be applied to a vehicle steering device, in various arrangements as shown in Figure 2.
Una o più forme di realizzazione possono avvantaggiarsi della capacità dei sensori PD di PPG di funzionare entrambi in una modalità di trasmissione (si veda ad es. porzione a) in Figura 2) che è con radiazioni dal LED che si propagano attraverso il corpo (ad es. il corpo di un paziente che viene clinicamente testato o di un guidatore), ad esempio attraverso un polpastrello F, e in una modalità di riflessione (si veda ad es. porzione b) in Figura 2) che è con radiazioni dal LED riflesse (retrodiffuse) dal corpo, facilitando la diminuzione dei requisiti per il possibile posizionamento dei sensori/rilevatori PD di PPG rispetto al corpo. One or more embodiments may take advantage of the ability of PPG's PD sensors to both function in a transmission mode (see e.g. portion a) in Figure 2) which is with radiation from the LED propagating through the body (e.g. e.g. the body of a patient being clinically tested or of a driver), e.g. through a fingertip F, and in a reflection mode (see e.g. portion b) in Figure 2) which is with reflected radiation from the LED (backscattered) from the body, facilitating the reduction of requirements for the possible positioning of PPG's PD sensors / detectors relative to the body.
L’elettroencefalografia (EEG) è un procedimento elettrofisiologico per registrare l’attività elettrica del cervello (attività elettrocorticale o EEG). L’acquisizione di segnali EEG si può eseguire come un atto non invasivo, ad esempio per mezzo di un certo numero di elettrodi (ad es., da sedici a ventiquattro) collocati sul cranio per mezzo di una pasta conduttiva, per facilitare una connessione a bassa resistenza. Electroencephalography (EEG) is an electrophysiological procedure to record the electrical activity of the brain (electrocortical activity or EEG). The acquisition of EEG signals can be performed as a non-invasive act, for example by means of a number of electrodes (e.g., from sixteen to twenty-four) placed on the skull by means of a conductive paste, to facilitate a connection to low resistance.
La letteratura scientifica dimostra che l’attività EEG è dovuta alle correnti sinaptiche generate dai neuroni corticali piramidali, che seguono i segnali in arrivo da altre aree corticali o dal talamo sensoriale. Scientific literature shows that EEG activity is due to synaptic currents generated by pyramidal cortical neurons, which follow signals arriving from other cortical areas or from the sensory thalamus.
La somma dell’attività di una pluralità di neuroni piramidali dà origine a segnali EEG rilevabili. The sum of the activity of a plurality of pyramidal neurons gives rise to detectable EEG signals.
Un neurone piramidale riceve vari ingressi; se tali ingressi eccitano un gruppo di neuroni adiacenti in modo sufficientemente simultaneo (sincronizzazione), l’attività EEG può presentare onde ampie e lente. A pyramidal neuron receives various inputs; if these inputs excite a group of adjacent neurons sufficiently simultaneously (synchronization), the EEG activity can present wide and slow waves.
La Figura 3 è un diagramma esemplificativo di segnali di elettroencefalografia (in breve, EEG). Figure 3 is an exemplary diagram of electroencephalography signals (EEG for short).
Come esemplificato in Figura 3, un segnale EEG può comprendere onde di diversa frequenza ed ampiezza, sovente chiamate “ritmi” ed etichettate tramite lettere greche: α, β, δ, θ. La variazione di ampiezza di queste onde è specificatamente correlata a: As exemplified in Figure 3, an EEG signal can comprise waves of different frequency and amplitude, often called "rhythms" and labeled with Greek letters: α, β, δ, θ. The amplitude variation of these waves is specifically related to:
- eventi fisiologici (ad es., stimolazione sensoria, sonno, ecc.) - physiological events (e.g., sensory stimulation, sleep, etc.)
- patologica (ad es., epilessia, coma, ecc.). - pathological (eg, epilepsy, coma, etc.).
Nell’EEG, ciascun “ritmo” può eseguire certe caratteristiche di frequenza ed ampiezza. Ad esempio: - il ritmo β (porzione a) in Figura 3) può avere una frequenza sopra i 13 Hz ed ampiezza sotto i 40 μV, In the EEG, each "rhythm" can perform certain frequency and amplitude characteristics. For example: - the β rhythm (portion a) in Figure 3) can have a frequency above 13 Hz and amplitude below 40 μV,
- il ritmo α (porzione b) in Figura 3) può avere una frequenza da 8 a 13 Hz ed ampiezza da 40 a 50 μV, - the rhythm α (portion b) in Figure 3) can have a frequency from 8 to 13 Hz and an amplitude from 40 to 50 μV,
- il ritmo θ (porzione c) in Figura 3) può avere una frequenza da 4 a 7 Hz ed ampiezza da 50 a 75 μV, - the rhythm θ (portion c) in Figure 3) can have a frequency from 4 to 7 Hz and an amplitude from 50 to 75 μV,
- il ritmo δ (porzione d) in Figura 3) può avere una frequenza inferiore a 4 Hz e ampiezza maggiore di 75 μV. - the rhythm δ (portion d) in Figure 3) can have a frequency lower than 4 Hz and an amplitude greater than 75 μV.
La sincronizzazione dei “ritmi” EEG riflette quindi il comportamento collettivo dei neuroni coinvolti. The synchronization of the EEG “rhythms” therefore reflects the collective behavior of the neurons involved.
Come è noto dalla letteratura, le registrazioni EEG -ad esempio le onde α e β - possono essere (direttamente) indicative di una condizione rispettivamente sonnolenta e attenta di una persona. Altri segnali elettrofisiologici, quali, ad esempio, segnali di elettrocardiogramma (ECG), rappresentano solo misurazioni indirette. As is known from the literature, EEG recordings - for example α and β waves - can be (directly) indicative of a person's sleepy and alert condition, respectively. Other electrophysiological signals, such as electrocardiogram (ECG) signals, are only indirect measurements.
La Figura 4 è esemplificativa di un’eventuale pipeline di trattamento del segnale in un sistema 40 secondo forme di realizzazione. Figure 4 is an example of a possible signal processing pipeline in a system 40 according to embodiments.
In una o più forme di realizzazione, un sensore PD di PPG (mostrato con linee tratteggiate, per quanto possibile poiché ciò può rappresentare un elemento distinto dalle forme di attuazione realizzazione) si può accoppiare ad un primo blocco circuitale di trattamento o stadio 42 per fornire a ciò un segnale S “grezzo” di PPG non trattato. In one or more embodiments, a PPG sensor PD (shown in dashed lines, as far as possible as this may represent a distinct element from the embodiments) may be coupled to a first processing circuit block or stage 42 to provide to this a "raw" signal S of untreated PPG.
In una o più forme di realizzazione come qui discusso, il segnale PPG si può rilevare in una maniera nota in corrispondenza di una posizione del corpo di un guidatoreD di un veicolo V. Ad esempio, il segnale si può rilevare tramite uno o più sensori PPG (ad esempio, del tipo discusso in precedenza) disposti in corrispondenza di un volante SW del veicolo V. In one or more embodiments as discussed herein, the PPG signal can be detected in a known manner at a position of the body of a driver D of a vehicle V. For example, the signal can be detected via one or more PPG sensors. (for example, of the type discussed above) arranged in correspondence with a steering wheel SW of vehicle V.
Una o più forme di realizzazione dello stadio di trattamento 42 possono comprendere fasi di filtraggio, fasi di analisi matematica e circuiti di rete neurale artificiali (addestrati con segnali/forme d’onda EEG campione), le cui funzioni verranno discusse nel seguito, anche facendo riferimento alle figure quali le Figure 5 a 10. One or more embodiments of the processing step 42 may comprise filtering steps, mathematical analysis steps, and artificial neural network circuits (trained with sample EEG signals / waveforms), the functions of which will be discussed below, also making reference to figures such as Figures 5 to 10.
In una o più forme di realizzazione, l’uscita dallo stadio di trattamento 42 si può accoppiare allo stadio decisionale 44. In one or more embodiments, the exit from the treatment stage 42 can be coupled to the decision stage 44.
In una o più forme di realizzazione, lo stadio decisionale 44 può comprendere circuiti di reti neurali e/o circuiti comparatori, come discusso nel seguito. In one or more embodiments, the decision stage 44 may comprise neural network circuits and / or comparator circuits, as discussed below.
Una o più forme di realizzazione dello stadio decisionale 44 si possono configurare per valutare uno stato del guidatore di un veicolo D, ad esempio fornendo un segnale DS indicativo del livello di attenzione del guidatore D che può essere alimentato ad un’interfaccia A (ad esempio un’unità di visualizzazione, un generatore di suono e/o di luce, e così via). Ciò può facilitare, ad esempio, il rendere il guidatore D consapevole del livello ridotto di attenzione, dovute eventualmente alla sonnolenza o ad altre ragioni. One or more embodiments of the decision stage 44 can be configured to evaluate a state of the driver of a vehicle D, for example by providing a signal DS indicative of the attention level of the driver D which can be fed to an interface A (for example a display unit, a sound and / or light generator, and so on). This can facilitate, for example, making driver D aware of the reduced level of attention, possibly due to sleepiness or other reasons.
In una o più forme di realizzazione, lo stadio decisionale 44 può anche fornire segnali (ad es., il segnale DS) ad uno stadio di monitoraggio di errori 46. In one or more embodiments, the decision stage 44 may also provide signals (e.g., the DS signal) to an error monitoring stage 46.
In una o più forme di realizzazione, lo stadio di monitoraggio di errori 46 può a sua volta operare, tramite un percorso ad anello di retroazione 48, sullo stadio di trattamento 42 o sullo stadio decisionale 44 come una funzione di segnali dallo stadio decisionale 44 e/o ingresso dall’utente D (come fornito tramite l’interfaccia A, ad esempio). In one or more embodiments, the error monitoring stage 46 may in turn operate, via a feedback loop path 48, on the processing stage 42 or on the decision stage 44 as a signal function from the decision stage 44 and / or input from user D (as provided via interface A, for example).
Ad esempio, lo stadio di monitoraggio di errori 46 può innescare l’attivazione del percorso ad anello di retroazione 48 per facilitare il riaddestramento (“retraining”) di circuiti di rete neurale compresi nello stadio di trattamento 42 e/o nello stadio decisionale 44. For example, the error monitoring stage 46 can trigger the activation of the feedback loop path 48 to facilitate the retraining of neural network circuits included in the treatment stage 42 and / or in the decision stage 44.
Come esemplificato in Figura 5, in una o più forme di realizzazione, lo stadio di trattamento 42 può comprendere i sotto-stadi 42a, 42b che possono comprendere sostanzialmente circuiti di rete neurale artificiali simili e previsti per far funzionare diversi insiemi di dati di addestramento e_real_drowsy, e_real_wakeful, come discusso nel seguito. As exemplified in Figure 5, in one or more embodiments, the processing stage 42 may comprise substeps 42a, 42b which may substantially comprise similar artificial neural network circuits and designed to operate different sets of training data and realdrowsy , e_real_wakeful, as discussed below.
Per via della sostanziale somiglianza dei sotto-stadi 42a, 42b, per scopi di brevità, verrà fornita nel seguito una descrizione dettagliata facendo principalmente riferimento a quello precedente (vale a dire 42a), essendo altrimenti compreso che la stessa descrizione si applica anche, mutatis mutandis, all’ultimo (vale a dire 42b). Due to the substantial similarity of the sub-stages 42a, 42b, for the sake of brevity, a detailed description will be provided below with reference mainly to the previous one (i.e. 42a), it being otherwise understood that the same description also applies, mutatis mutandis, at the last (i.e. 42b).
Almeno per principio, i sotto-stadi 42a, 42b potrebbero anche essere implementati come un singolo circuito previsto per eseguire in modo alternativo il ruolo del sotto-stadio 42a (insieme di dati e_real_drowsy) e il ruolo della sottostadio 42b (insieme di dati e_real_wakeful). At least in principle, the sub-stages 42a, 42b could also be implemented as a single circuit intended to alternatively perform the role of the sub-stage 42a (data set e_real_drowsy) and the role of the sub-stage 42b (data set e_real_wakeful) .
In una o più forme di realizzazione, lo stadio 42a può comprendere un primo circuito di filtraggio 420, che riceve il segnale S di PPG “grezzo” dal sensore PD e che fornisce un segnale PPG “pulito” Sclean in corrispondenza di uno stadio di normalizzazione 422 e di uno stadio di analisi matematica 800 (si veda Figura 8). In one or more embodiments, stage 42a may comprise a first filter circuit 420, which receives the "raw" PPG signal S from the PD sensor and which provides a "clean" PPG signal Sclean at a normalization stage 422 and a mathematical analysis stage 800 (see Figure 8).
Al fine di produrre, da un segnale S di PPG “grezzo”, rilevato tramite il sensore PD, un segnale Sclean PPG “pulito” che facilita il trattamento, il primo stadio di filtraggio 420 - e in modo simile a una o più forme di realizzazione come qui esemplificato - possono adottare una soluzione come descritto nella Domanda di Brevetto Italiano Nr. 102017000081018 ed anche discusso in: In order to produce, from a "raw" PPG signal S, detected by the PD sensor, a "clean" Sclean PPG signal that facilitates processing, the first filter stage 420 - and similarly to one or more forms of realization as exemplified here - they can adopt a solution as described in the Italian Patent Application No. 102017000081018 and also discussed in:
- F. Rundo ed altri: “Progresses towards a Processing Pipeline in Photoplethysmogram (PPG) based on SiPMs”, IEEE Proceedings of 23 European Conference on Circuit Theory and Design, Catania (Italia) 4-6 settembre 2017; - F. Rundo and others: "Progresses towards a Processing Pipeline in Photoplethysmogram (PPG) based on SiPMs", IEEE Proceedings of 23 European Conference on Circuit Theory and Design, Catania (Italy) 4-6 September 2017;
- Rundo, F.; Conoci, S.; Ortis, A.; Battiato, S.: “An Advanced Bio-Inspired PhotoPlethysmoGraphy (PPG) and ECG Pattern Recognition System for Medical Assessment”, Sensors 2018, 18, 405. - Rundo, F .; Conoci, S .; Ortis, A .; Battiato, S .: “An Advanced Bio-Inspired PhotoPlethysmoGraphy (PPG) and ECG Pattern Recognition System for Medical Assessment”, Sensors 2018, 18, 405.
Verrà altrimenti apprezzato che: Otherwise it will be appreciated that:
- sebbene desiderabile, tale “pulizia” dei segnali PPG dalla sezione di sonda PD di PPG può non essere obbligatoria, in modo che, almeno in certe forme di realizzazione, il primo stadio di filtraggio 420 possa essere dispensata o almeno semplificata, ad es. sotto forma di un filtro; - although desirable, such "cleaning" of the PPG signals from the PPG probe section PD may not be mandatory, so that, at least in certain embodiments, the first filtering stage 420 can be dispensed with or at least simplified, e.g. in the form of a filter;
- in una o più forme di realizzazione, i segnali PPG dalla sezione di sonda PD di PPG si possono “pulire” facendo ricorso a soluzioni diverse da quelle descritte nella Domanda di Brevetto Italiano Nr. 102017000081018 e nei documenti di Rundo ed altri discussi in precedenza. - in one or more embodiments, the PPG signals from the PD probe section of PPG can be "cleaned" by resorting to solutions other than those described in the Italian Patent Application No. 102017000081018 and in the Rundo et al documents discussed above .
In una o più forme di realizzazione come qui esemplificato, lo stadio di normalizzazione 422 può ricevere un segnale Sclean di PPG “pulito” e fornire un segnale PPG normalizzato ad un primo circuito di rete neurale artificiale a valle (in breve, ANN) 424. Ad esempio, lo stadio di normalizzazione 422 può trattare il segnale Sclean di PPG “pulito” ad un intervallo unitario [0,1] prima della segmentazione del segnale PPG. La forma d’onda segmentata di PPG ottenuta si può ulteriormente normalizzare e ridimensionare ad es. tramite un algoritmo più vicino (si veda ad es. F. Rundo, ed altri: “Adaptive Learning for Zooming Digital Images” - ICCE 2007. Digest of Technical Papers. International Conference on Consumer Electronics, 2007) al fine di renderla confrontabile (in termini di valore e per quanto riguarda l’asse temporale) con altre forme d’onda di PPG. In one or more embodiments as exemplified herein, the normalization stage 422 can receive a "clean" PPG Sclean signal and provide a normalized PPG signal to a first downstream artificial neural network circuit (for short, ANN) 424. For example, the normalization stage 422 can process the "clean" PPG Sclean signal at a unit interval [0,1] before segmentation of the PPG signal. The segmented waveform of PPG obtained can be further normalized and resized eg. through a closer algorithm (see for example F. Rundo, and others: "Adaptive Learning for Zooming Digital Images" - ICCE 2007. Digest of Technical Papers. International Conference on Consumer Electronics, 2007) in order to make it comparable (in terms of value and regarding the time axis) with other waveforms of PPG.
In una o più forme di realizzazione, il segnale Sclean normalizzato di PPG (fotopletismografia) si può ricevere tramite la prima ANN a valle 424 che può trattare il segnale in modo da fornire un segnale e_rec “ricostruito” dell’EEG (elettroencefalografico, elettroencefalogramma) al secondo stadio ANN 426 e stadio di analisi matematica 800. In one or more embodiments, the normalized Sclean signal of PPG (photoplethysmography) can be received via the first downstream ANN 424 which can process the signal to provide a "reconstructed" EEG (electroencephalography, electroencephalogram) e_rec signal at second stage ANN 426 and mathematical analysis stage 800.
In una o più forme di realizzazione, il primo ANN 424 può comprendere un’area di memorizzazione per una raccolta di forme d’onda di EEG campione e_real. In one or more embodiments, the first ANN 424 may include a storage area for a collection of sample EEG waveforms e_real.
Come notato, in una o più forme di realizzazione le sottofasi 42a e 42b possono essere previste per far funzionare diversi insiemi di dati di addestramento e_real_drowsy, e_real_wakeful. As noted, in one or more embodiments the substeps 42a and 42b may be provided to operate different e_real_drowsy, e_real_wakeful training data sets.
Di conseguenza: Consequentially:
- nel sottostadio 42a, il primo ANN 424 può memorizzare una raccolta di forme d’onda di EEG e_real_drowsy di guidatori --- in uno stato sonnolento; - in the substage 42a, the first ANN 424 can store a collection of EEG and_real_drowsy waveforms of drivers --- in a sleepy state;
- nella sottostadio 42b, il primo ANN 424 può memorizzare una raccolta di forme d’onda di EEG e_real_wakeful di guidatori --- in uno stato vigile. - in the 42b substage, the first ANN 424 can store a collection of EEG and_real_wakeful waveforms of drivers --- in an alert state.
In una o più forme di realizzazione, i segnali e_rec “ricostruiti” di EEG si possono calcolare nel primo ANN’s 424 dei due stadi 42a, 42b come una funzione di: In one or more embodiments, the "reconstructed" EEG signals e_rec can be calculated in the first ANN's 424 of the two stages 42a, 42b as a function of:
- il segnale PPG dalla sonda PD di PPG, e - the PPG signal from the PD probe of PPG, e
- la rispettiva raccolta di forme d’onda di EEG, cioè e_real_drowsy (stadio 42a) o e_real_wakeful (stadio 42b). - the respective collection of EEG waveforms, i.e. e_real_drowsy (stage 42a) or e_real_wakeful (stage 42b).
Questo trattamento risulterà di conseguenza in due segnali ricostruiti di EEG, cioè un segnale e_rec_drowsy di EEG “sonnolento” (stadio 42a) ed un segnale e_rec_wakeful “vigile” di EEG (nello stadio 42a, con il segnale e_rec_wakeful non visibie in Figura 5). This processing will consequently result in two reconstructed EEG signals, namely a “sleepy” e_rec_drowsy EEG signal (stage 42a) and an “alert” e_rec_wakeful EEG signal (in stage 42a, with the e_rec_wakeful signal not visible in Figure 5).
In una o più forme di realizzazione i due segnali e_rec_drowsy ed e_rec_wakeful possono essere successivamente trattati (in qualche misura, confrontati) allo scopo di valutare – ad esempio nel blocco 44) se il segnale S di PPG come rilevato (attualmente) tramite la sonda PD è indicativo di uno stato “sonnolento” o di uno stato “vigile” del guidatore D. Ciò si può verificare, ad esempio come discusso nel seguito facendo riferimento a Figura 10. In one or more embodiments the two signals e_rec_drowsy and e_rec_wakeful can be subsequently processed (to some extent, compared) in order to evaluate - for example in block 44) whether the PPG signal S as detected (currently) by the PD probe it is indicative of a "sleepy" or "alert" state of driver D. This can occur, for example as discussed below with reference to Figure 10.
In una o più forme di realizzazione, la ricostruzione del segnale di EEG per fornire i due segnali e_rec_drowsy ed e_rec_wakeful si può eseguire come esemplificato in Figure 6 e 7. In one or more embodiments, the reconstruction of the EEG signal to provide the two signals e_rec_drowsy and e_rec_wakeful can be performed as exemplified in Figures 6 and 7.
Figura 6 e Figura 7 sono esempi di diagrammi di una possibile topologia di rete di un trattamento con rete neurale artificiale (come esemplificato dallo stadio 424 in Figura 5) configurato per correlare il segnale di PPG alle misurazioni di EEG disponibili per l’addestramento del primo (e secondo) stadio di rete neurale artificiale (ANN) 424, risultando in segnali EEG ricostruiti e_rec (questa designazione verrà utilizzata in modo indifferente per e_rec_drowsy ed e_rec_wakeful) a partire dal segnale S di PPG. Figure 6 and Figure 7 are examples of diagrams of a possible network topology of an artificial neural network treatment (as exemplified by stage 424 in Figure 5) configured to correlate the PPG signal to the EEG measurements available for training the first (and second) artificial neural network (ANN) 424 stage, resulting in reconstructed EEG signals e_rec (this designation will be used indifferently for e_rec_drowsy and e_rec_wakeful) starting from the PPG signal S.
I valori di addestramento, ad es., e_real (questa designazione verrà nuovamente utilizzate in modo indifferente per e_real_drowsy e e_real_wakeful) possono comprendere insiemi di misurazioni di EEG eseguite su un ampio campione di soggetti (ad es. tramite mezzi convenzionali quali una pluralità di elettrodi sulla superficie della testa) simultaneamente al rilevamento di un segnale S di PPG. Training values, e.g., e_real (this designation will again be used indifferently for e_real_drowsy and e_real_wakeful) may include sets of EEG measurements performed on a large sample of subjects (e.g., by conventional means such as a plurality of electrodes on the surface of the head) simultaneously with the detection of a PPG S signal.
Questi valori si possono utilizzare per addestrare entrambi i circuiti di rete neurale (ad es. Levenberg-Marquardt) di Figura 5. These values can be used to train both neural network circuits (eg Levenberg-Marquardt) of Figure 5.
Si è scoperto che la rete neurale multilayer perceptron di Levenberg-Marquardt, in breve LM-MLP NN, è uno strumento adeguato per l’utilizzo nell’apprendimento di una correlazione tra segnali di PPG e campioni/forme d’onda di EEG. It was found that the Levenberg-Marquardt multilayer perceptron neural network, LM-MLP NN for short, is an adequate tool for use in learning a correlation between PPG signals and EEG samples / waveforms.
Il (primo) stadio ANN 424 faciliterà di conseguenza la ricostruzione di segnali e_rec di EEG di un soggetto per entrambi per i valori sonnolento (e_rec_drowsy) e vigile (e_rec_wakeful), ad es. basandosi su un multilayer perceptron di rete neurale di Levenberg-Marquardt (in breve, LM MLP NN). The (first) stage ANN 424 will consequently facilitate the reconstruction of a subject's EEG e_rec signals for both sleepy (e_rec_drowsy) and alert (e_rec_wakeful) values, e.g. based on a Levenberg-Marquardt neural network multilayer perceptron (for short, LM MLP NN).
Figura 6 è un diagramma di un multilayer perceptron, in breve MLP, con uno strato di ingresso (“input layer”) 601, uno strato nascosto (“hidden layer”) 602 ed uno strato di uscita (“output layer”) 603, avente un numero di perceptron paralleli n1, n2, …, nO, per ciascun rispettivo strato. Figure 6 is a diagram of a perceptron multilayer, MLP for short, with an input layer 601, a hidden layer 602 and an output layer 603, having a number of parallel perceptrons n1, n2,…, nO, for each respective layer.
I perceptron negli strati sono accoppiati al nodo di ingresso di ciascun neurone dello strato a valle (a cui si può fare riferimento come ad una topologia di “avanzamento completamente connesso”) e ad un nodo di ingresso di bias. Ad esempio, lo strato di ingresso 601 può ricevere una schiera (“array”) di valori di ingresso, ad es. I1, …, Ini, ed un ingresso di bias, ad es. 1. The perceptrons in the layers are coupled to the input node of each neuron of the downstream layer (which can be referred to as a “fully connected advance” topology) and a bias input node. For example, the input layer 601 can receive an array of input values, e.g. I1,…, Ini, and a bias input, eg. 1.
Figura 7 è esemplificativa del diagramma topologico di un singolo perceptron, ad es. un perceptron 61 appartenente allo strato di ingresso 601. Figure 7 is an example of the topological diagram of a single perceptron, e.g. a perceptron 61 belonging to the input layer 601.
Lo strato di uscita 603 del MLP può fornire all’uscita una schiera di valori di uscita O1, …, Om, …, Ono il cui valore si può descrivere tramite la seguente equazione: The output layer 603 of the MLP can provide the output with an array of output values O1, ..., Om, ..., Ono whose value can be described by the following equation:
La fase di apprendimento, ad es. per definire i valori dei pesi associati allo strato di uscita, può facilitare la minimizzazione di una funzione di errore definita: The learning phase, eg. to define the values of the weights associated with the output layer, it can facilitate the minimization of a defined error function:
L’apprendimento di correzione di errori di Levenberg-Marquardt è espresso nell’equazione di seguito: Levenberg-Marquardt error correction learning is expressed in the following equation:
dove il vettore di peso w è interattivamente aggiornato dal vettore di errore e modificato dalla matrice Jacobiana J e lo scalare m. where the weight vector w is interactively updated by the error vector and modified by the Jacobian matrix J and the scalar m.
Per una LM-MLP NN (Rete Neurale MultiLayer Perceptron di Levenberg-Marquardt), alla schiera di bias di ingresso (ad es., 1) sono forniti i valori del vettore di errore e la schiera di bias di uscita (ad es., 1) è impostata su (1-e), assicurando di conseguenza che i valori anomali o outliers negli ingressi siano scalati verso il basso per importanza nello strato di uscita. For an LM-MLP NN (Levenberg-Marquardt MultiLayer Perceptron Neural Network), the input bias array (e.g., 1) are given the error vector values and the output bias array (e.g., 1) is set to (1-e), thereby ensuring that outliers or outliers in the inputs are scaled down in importance in the output layer.
Il primo circuito di rete neurale artificiale 424 può facilitare il completamento di una tale ricostruzione dei segnali EEG per entrambi gli insiemi di addestramento del guidatore sonnolento e vigile. The first artificial neural network circuit 424 can facilitate the completion of such a reconstruction of the EEG signals for both the sleepy and alert driver training sets.
In una o più forme di realizzazione, una fase di analisi matematica 800 (visibile in Figura 5 ed ulteriormente descritta nel dettaglio in Figura 8) si può configurare per trattare il segnale Sclean di PPG “pulito” filtrato e il segnale ricostruito di EEG e_rec_drowsy per fornire un insieme di vettori, ad es., [F, L, E], alla fase decisionale 44. In one or more embodiments, a mathematical analysis step 800 (visible in Figure 5 and further described in detail in Figure 8) can be configured to process the filtered "clean" PPG Sclean signal and the reconstructed EEG e_rec_drowsy signal for provide a set of vectors, eg, [F, L, E], to decision stage 44.
Verrà nuovamente ricordato che, mentre è fornita principalmente per brevità facendo riferimento alla fase 42a, la stessa presente descrizione si applica, mutatis mutandis, anche alla fase 42b. Di conseguenza, in una o più forme di realizzazione, lo stadio 42b può comprendere un rispettivo stadio di analisi matematica 800 configurato per trattare il segnale Sclean di PPG “pulito” filtrato e il segnale ricostruito di EEG e_rec_wakeful per fornire un rispettivo insieme di vettori, ad es., [F’, L’, E’], allo stadio decisionale 44. It will again be recalled that, while it is provided primarily for the sake of brevity with reference to step 42a, the same present description also applies, mutatis mutandis, to step 42b. Accordingly, in one or more embodiments, stage 42b may comprise a respective mathematical analysis stage 800 configured to process the filtered "clean" PPG Sclean signal and the reconstructed EEG e_rec_wakeful signal to provide a respective set of vectors, eg, [F ', L', E '], at decision stage 44.
Ad esempio, la fase di analisi matematica 800 (sia in 42a sia in 42b) può comprendere almeno un blocco processore (ad es. un DSP o simile circuito processore) configurato, in una maniera nota per coloro esperti nella tecnica (ad es. tramite software) per eseguire l’analisi matematica del segnale Sclean di PPG “pulito” dalla sonda PD di PPG (ad es. come ricevuto - in forma digitale - dall’ingresso) per estrarre da esso certe caratteristiche per supportare un ulteriore trattamento negli stadi di rete neurale artificiale (ANN) a valle. For example, the mathematical analysis step 800 (both in 42a and 42b) may comprise at least one processor block (e.g., a DSP or similar processor circuit) configured, in a manner known to those skilled in the art (e.g., via software) to perform the mathematical analysis of the "clean" PPG Sclean signal from the PPG PD probe (eg as received - in digital form - by the input) to extract certain characteristics from it to support further processing in the stages of downstream artificial neural network (ANN).
In una o più forme di realizzazione, il calcolo dei valori del (primo) insieme di vettori [F, L, E] può avere luogo come esemplificato in Figura 8, che si applica anche al calcolo dei valori del (secondo) insieme di vettori [F’, L’, E’]. In one or more embodiments, the calculation of the values of the (first) set of vectors [F, L, E] can take place as exemplified in Figure 8, which also applies to the calculation of the values of the (second) set of vectors [F ', L', E '].
In una o più forme di realizzazione, lo stadio di analisi matematica 800 può comprendere un primo stadio di analisi 421, un secondo stadio di analisi 425, uno stadio di estrazione di caratteristica 423 ed uno stadio di combinazione opzionale 427. In one or more embodiments, the mathematical analysis stage 800 may comprise a first analysis stage 421, a second analysis stage 425, a feature extraction stage 423 and an optional combining stage 427.
In una o più forme di realizzazione, il primo stadio di analisi 421 può ricevere il segnale Sclean di PPG “pulito” filtrato dal primo stadio di filtraggio 420 e fornire un primo vettore di analisi L comprendente una pluralità di valori, ad es., caratteristiche dei segnali Sclean di PPG “puliti” filtrati, ad es. L = [Ldia, Lsys, LpeakToPeak]. In one or more embodiments, the first analysis stage 421 may receive the filtered "clean" PPG Sclean signal from the first filtering stage 420 and provide a first analysis vector L comprising a plurality of values, e.g., characteristics filtered "clean" PPG Sclean signals, eg. L = [Ldia, Lsys, LpeakToPeak].
Ad esempio, dette caratteristiche possono comprendere: - la lunghezza della sotto-curva della forma d’onda di PPG, per la fase diastolica Ldia, For example, these characteristics may include: - the length of the sub-curve of the PPG waveform, for the diastolic phase Ldia,
- la lunghezza della sotto-curva della forma d’onda di PPG, per la fase Lsys, e - the length of the sub-curve of the PPG waveform, for the Lsys phase, e
- la lunghezza della sotto-curva della forma d’onda di PPG, tra due picchi SP consecutivi, LpeakToPeak. - the length of the sub-curve of the PPG waveform, between two consecutive SP peaks, LpeakToPeak.
I suffissi sys e dia indicano le fasi sistolica e diastolica del segnale di PPG signal che si possono identificare, facendo riferimento al diagramma di Figura 1, come le porzioni O-SP (sistolica) e DN-DP (diastolica), mentre il suffisso peakToPeak indica la fase tra due picchi SP consecutivi. The suffixes sys and dia indicate the systolic and diastolic phases of the PPG signal that can be identified, referring to the diagram in Figure 1, as the O-SP (systolic) and DN-DP (diastolic) portions, while the peakToPeak suffix indicates the phase between two consecutive SP peaks.
Analogamente, il secondo stadio di analisi 425 può ricevere i segnali e_rec ricostruiti di EEG (nuovamente ciò si può applicare a e_rec_drowsy in 42a e a e_rec_wakeful in 42b) dal circuito della prima ANN 424 e fornire un secondo vettore di analisi E comprendente una pluralità di valori, ad es., caratteristiche statistiche dei segnali e_rec ricostruiti di EEG, ad es. E=[µ(e_rec), σ(e_rec), µ(R(e_rec))]. Similarly, the second analysis stage 425 can receive the reconstructed EEG signals e_rec (again this can be applied to e_rec_drowsy in 42a and to e_rec_wakeful in 42b) from the circuit of the first ANN 424 and provide a second analysis vector E comprising a plurality of values , e.g., statistical characteristics of EEG reconstructed e_rec signals, e.g. E = [µ (e_rec), σ (e_rec), µ (R (e_rec))].
Ad esempio, le caratteristiche statistiche possono comprendere: For example, statistical characteristics may include:
- un valore medio del segnale ricostruito di EEG, µ(e_rec), - an average value of the reconstructed EEG signal, µ (e_rec),
- una deviazione standard del segnale ricostruito di EEG, σ(e_rec), e - one standard deviation of the reconstructed EEG signal, σ (e_rec), e
- un valore medio della funzione di autocorrelazione del segnale ricostruito di EEG, µ(R(e_rec)). - an average value of the autocorrelation function of the reconstructed EEG signal, µ (R (e_rec)).
Successivamente, lo stadio di estrazione di caratteristica 423 può essere configurata per ricevere come ingresso del primo vettore di analisi L (L’) e il secondo vettore di analisi E (E’) e per fornire come uscita un vettore di caratteristica F (F’), contenente un certo numero di caratteristiche matematiche F1 a F6, ad es. F = [F1, F2, F3, F4, F5, F6], risultanti dal trattamento di ingresso ricevuto. Subsequently, the characteristic extraction stage 423 can be configured to receive as an input of the first analysis vector L (L ') and the second analysis vector E (E') and to provide as an output a characteristic vector F (F ' ), containing a number of mathematical features F1 to F6, e.g. F = [F1, F2, F3, F4, F5, F6], resulting from the received entry treatment.
In una o più forme di realizzazione, le caratteristiche F1 a F6 si possono esprimere tramite le seguenti equazioni: In one or more embodiments, the characteristics F1 to F6 can be expressed by the following equations:
Sostanzialmente, le caratteristiche matematiche F1 a F3 forniscono un’indicazione della “lunghezza” della curva o percorso del segnale del segnale di PPG nelle fasi sistoliche, diastoliche (cioè, vale a dire, “per quanto Basically, the mathematical characteristics F1 to F3 provide an indication of the "length" of the curve or path of the PPG signal signal in the systolic and diastolic phases (ie, that is, "as far as
tempo” ciascuno di questi segnali rimane in ciascuna fase) e della “lunghezza” da picco-a-picco, mentre le caratteristiche F4 a F6 forniscono un’indicazione delle caratteristiche statistiche del segnale e_rec ricostruito di EEG. time "each of these signals remains in each phase) and the" length "from peak to peak, while the characteristics F4 to F6 provide an indication of the statistical characteristics of the reconstructed EEG signal.
In una o più forme di realizzazione, opzionalmente, il primo vettore di analisi L (L’) ed il vettore di caratteristica F (F’) si possono combinare in uno stadio di combinazione 427, ad es. si possono concatenare. In one or more embodiments, optionally, the first analysis vector L (L ') and the characteristic vector F (F') can be combined in a combination stage 427, eg. can be chained together.
Come risultato, in una o più forme di realizzazione: - il primo insieme di vettori [F, L, E] calcolato nella fase di analisi matematica 800 nella sottofase 42a dipenderà dall’insieme di dati campione e_real_drowsy, e As a result, in one or more embodiments: - the first set of vectors [F, L, E] calculated in the mathematical analysis phase 800 in sub-phase 42a will depend on the sample data set e_real_drowsy, and
- il secondo insieme di vettori [F’, L’, E’] calcolato nella fase di analisi matematica 800 nella sottofase 42b dipenderà dall’insieme di dati campione e_real_wakeful. - the second set of vectors [F ', L', E '] calculated in the mathematical analysis phase 800 in sub-phase 42b will depend on the sample data set e_real_wakeful.
In una o più forme di realizzazione, il secondo circuito di Rete Neurale artificiale (ANN) 426 può ricevere il segnale e_rec di EEG ricostruito (e_rec_drowsy in 42a e e_rec_wakeful in 42b) dal circuito della prima ANN 424 e si può configurare per trattare il segnale e_rec di EEG ricostruito tramite una rete neurale artificiale, ad es., quale una rete neurale con mappa motoria multi-strato. In one or more embodiments, the second artificial Neural Network (ANN) 426 circuit can receive the reconstructed EEG e_rec signal (e_rec_drowsy in 42a and e_rec_wakeful in 42b) from the first ANN 424 circuit and can be configured to process the signal e_rec of EEG reconstructed via an artificial neural network, e.g., such as a neural network with multi-layered motor map.
In una o più forme di realizzazione, la rete neurale artificiale del secondo circuito ANN 426 si può addestrare per fornire un vettore di pesi selezionati U (per 42a) e U’ (per 42b), comprendente una pluralità di pesi selezionati, ad es., U = [u1, …, u6]; U’ = [u1’, …, u6’] allo stadio decisionale 44, come discusso nel seguito in relazione alla Figura 9. In one or more embodiments, the artificial neural network of the second ANN 426 circuit can be trained to provide a vector of selected weights U (for 42a) and U '(for 42b), comprising a plurality of selected weights, e.g. , U = [u1,…, u6]; U '= [u1', ..., u6 '] at decision stage 44, as discussed below in relation to Figure 9.
In una o più forme di realizzazione, il secondo circuito ANN 426 può comprendere un’area di memorizzazione T per una raccolta di forme d’onda e_real di EEG (e_rec_drowsy in 42a ed e_rec_wakeful in 42b), analogamente a ciò che è stato descritto per il primo circuito ANN 424. In one or more embodiments, the second ANN 426 circuit may comprise a storage area T for a collection of EEG's e_real waveforms (e_rec_drowsy in 42a and e_rec_wakeful in 42b), similarly to what has been described for the first circuit ANN 424.
Ad esempio: For example:
- il secondo circuito ANN 426 in 42a può memorizzare una raccolta di forme d’onda di EEG di guidatori in uno stato sonnolento e_real_drowsy, - the second ANN 426 circuit in 42a can store a collection of EEG waveforms of drivers in a drowsy e_real_drowsy state,
- il secondo circuito ANN 426 in 42b può memorizzare una raccolta di forme d’onda di EEG di guidatori in uno stato vigile e_real_wakeful. - the second ANN 426 circuit in 42b can store a collection of EEG waveforms of drivers in an alert and_real_wakeful state.
Il segnale e_rec di EEG ricostruito (e_rec_drowsy in 42a ed e_rec_wakeful in 42b) si può di conseguenza calcolare come una funzione o dell’uno o dell’altro fra stati alternativi del guidatore a seconda di quale raccolta di forme d’onda di EEG tra e_real_drowsy e e_real_wakeful è memorizzata nelle rispettive memorie T dei circuiti ANN 424, 426, risultando o in un segnale di EEG sonnolento ricostruito e_rec_drowsy o in un segnale di EEG sveglio ricostruito e_rec_wakeful. The reconstructed EEG signal e_rec (e_rec_drowsy in 42a and e_rec_wakeful in 42b) can therefore be calculated as a function of either of the alternate states of the driver depending on which collection of EEG waveforms between e_real_drowsy and e_real_wakeful is stored in the respective T memories of the ANN circuits 424, 426, resulting in either a reconstructed sleepy EEG signal e_rec_drowsy or a reconstructed awake EEG signal e_rec_wakeful.
In una o più forme di realizzazione, il primo vettore di pesi selezionati U nel sottostadio 42a, ad es. U= [u1, …, u6], può facilitare il calcolo di un livello di attenzione DLA per un guidatore sonnolento, mentre il secondo vettore di pesi selezionati U’ nella sottofase 42b, ad es. U’= [u1’, …, u6’], può facilitare il calcolo di un livello di attenzione DLA’ per un guidatore sveglio. In one or more embodiments, the first selected weight vector U in the substage 42a, e.g. U = [u1, ..., u6], can facilitate the calculation of a DLA attention level for a sleepy driver, while the second vector of selected weights U 'in sub-phase 42b, eg. U '= [u1', ..., u6 '], can facilitate the calculation of a level of attention DLA' for an awake driver.
In una o più forme di realizzazione, i primi e secondi vettori di pesi selezionati U, U’ si possono calcolare con una procedura simile, come discusso nel seguito. In one or more embodiments, the first and second selected weight vectors U, U 'can be calculated with a similar procedure, as discussed below.
In una o più forme di realizzazione, il secondo circuito ANN 426 (sia in 42a sia in 42b) può implementare un sistema neurale con mappa motoria, come esemplificato in Figura 9. In one or more embodiments, the second ANN 426 circuit (in both 42a and 42b) can implement a motor map neural system, as exemplified in Figure 9.
In una o più forme di realizzazione, un algoritmo vincitore prende tutto (“winner-take-all”), ad es. per Mappe Auto-Organizzanti (in breve, SOM), può essere adatto per eseguire l’addestramento della rete neurale del secondo circuito ANN 426. In one or more embodiments, a winner-take-all algorithm, eg. for Self-Organizing Maps (SOM for short), it may be suitable for training the neural network of the second ANN 426 circuit.
Si verifica che una SOM (Mappa Auto-Adattante) estesa come schematicamente esemplificato in Figura 9 (dove sono visibili solo lo strato di ingresso IL e lo strato di uscita OL) è adatta per l’utilizzo in una o più forme di realizzazione. It occurs that an extended SOM (Self-Adapting Map) as schematically exemplified in Figure 9 (where only the input layer IL and the output layer OL are visible) is suitable for use in one or more embodiments.
Ad esempio, in una o più forme di realizzazione, il secondo circuito ANN 426 può comprendere uno strato neurale di ingresso (ad es. simile a reticolo, ad esempio n*n = n2 nodi neuronali) 900, che può ricevere come ingresso i segnali ricostruiti di EEG e_rec, ed un corrispondente strato di uscita 990 (ad es. simile a reticolo, ad esempio n*n = n2 nodi neuronali), che possono fornire in corrispondenza del vettore di pesi selezionati U. For example, in one or more embodiments, the second ANN circuit 426 may comprise an input neural layer (e.g. lattice-like, e.g. n * n = n2 neuronal nodes) 900, which can receive signals as input reconstructed EEG e_rec, and a corresponding output layer 990 (e.g. lattice-like, e.g. n * n = n2 neuronal nodes), which can provide at selected weights vector U.
In una o più forme di realizzazione, lo strato di ingresso 910 può comprendere i pesi win(x, y, t) mentre lo strato di uscita può comprendere i pesi u(x, y, t). In one or more embodiments, the input layer 910 can comprise the weights win (x, y, t) while the output layer can comprise the weights u (x, y, t).
In una o più forme di realizzazione, si può comprendere un elemento casuale µ(t) con il fine di migliorare il processo di apprendimento. In one or more embodiments, a random element µ (t) can be comprised in order to improve the learning process.
In effetti, da una distribuzione iniziale di pesi casuali, e su molte iterazioni, la SOM si può addestrare per facilitare la fornitura all’uscita di una mappa di caratteristica dell’ingresso. La mappa di caratteristica si può fornire all’uscita sotto forma di un vettore di pesi selezionati U comprendente una pluralita di valori peso, ad es. sei valori. La pluralità di valori può essere il risultato della selezione in corrispondenza dello strato di uscita 990 della rete neurale di una pluralità di parametri di neuroni di unità di miglior adattamento (“Best Matching Units” - BMUs). I neuroni BMU possono essere quei neuroni che minimizzano una distanza (basandosi su certe metriche, ad es. Euclidee) tra i pesi sinaptici (ad es., win) e i campioni di EEG, come discusso nel seguito. In fact, from an initial distribution of random weights, and over many iterations, the SOM can be trained to facilitate the supply of an input characteristic map at the exit. The characteristic map can be provided at the output in the form of a vector of selected weights U comprising a plurality of weight values, eg. six values. The plurality of values can be the result of the selection at the output layer 990 of the neural network of a plurality of neuron parameters of Best Matching Units (BMUs). BMU neurons can be those neurons that minimize a distance (based on certain metrics, eg Euclidean) between synaptic weights (eg, win) and EEG samples, as discussed below.
Al fine di fare ciò, si può addestrare la rete neurale artificiale, ad es. si possono determinare i suoi pesi win(x,y,t), u(x,y,t), attraverso un processo iterativo basato sulla fornitura di insiemi di dati di EEG “real” e_real al circuito di rete neurale. In order to do this, one can train the artificial neural network, eg. its weights win (x, y, t), u (x, y, t) can be determined through an iterative process based on the supply of “real” e_real EEG data sets to the neural network circuit.
Ad esempio, la determinazione del BMU può comportare l’iterazione attraverso tutti i nodi (neuronali) ed il calcolo della distanza Euclidea dNi(i,j) tra un vettore di peso di ciascun nodo ed un vettore di ingresso attuale; il nodo con un vettore di peso win(x,y,t) più vicino al vettore di ingresso e_rec si può etichettare come il BMU. For example, the determination of the BMU can involve the iteration through all the nodes (neuronal) and the calculation of the Euclidean distance dNi (i, j) between a weight vector of each node and a current input vector; the node with a weight vector win (x, y, t) closest to the input vector e_rec can be labeled as the BMU.
La distanza Euclidea si può fornire come: The Euclidean distance can be given as:
I nodi nelle vicinanze di nodi BMU (compresi i nodi BMU) possono avere il loro vettore di peso regolato secondo la seguente equazione: Nodes in the vicinity of BMU nodes (including BMU nodes) can have their weight vector adjusted according to the following equation:
dove: where is it:
- t è il passo temporale, - t is the time step,
- α è il tasso di apprendimento, - α is the learning rate,
- β(x,y,t) è un parametro della quantità di influenza che ha una distanza del nodo dalla BMU sul suo apprendimento, ad es. una classica funzione Gaussiana. - β (x, y, t) is a parameter of the amount of influence that a node distance from the BMU has on its learning, e.g. a classic Gaussian function.
Sostanzialmente, il nuovo peso regolato w<Ni>(t+1) per un nodo della rete neurale può essere uguale al vecchio peso w<Ni>(t), più una frazione della differenza tra il vecchio peso w<Ni>(t) ed il vettore di ingresso e_rec. Basically, the new adjusted weight w <Ni> (t + 1) for a neural network node can be equal to the old weight w <Ni> (t), plus a fraction of the difference between the old weight w <Ni> (t ) and the input vector e_rec.
Ciascuno dei componenti, ad es., u1, …, ui, …, u6, del vettore di pesi selezionati U può variare nel tempo secondo la seguente equazione: Each of the components, e.g., u1, ..., ui, ..., u6, of the selected weight vector U can vary over time according to the following equation:
Una simile notazione si può applicare al vettore di pesi selezionati U’. A similar notation can be applied to the vector of selected weights U '.
Di conseguenza, i secondi circuiti ANN 426 nel sottostadio 42a e i secondi circuiti ANN 426 nel sotto-stadio 42b possono fornire rispettivi vettori di pesi selezionati U e U’, ciascuno dei vettori comprendendo sei valori, ad es., U = [u1, …, u6], U’ = [u1’, …, u6’] indicativi di parametri/pesi dello strato di uscita della rete neurale di Mappa Auto-Adattante (SOM). Consequently, the second ANN circuits 426 in the sub-stage 42a and the second ANN 426 circuits in the sub-stage 42b can provide respective selected weight vectors U and U ', each of the vectors comprising six values, e.g., U = [u1, ... , u6], U '= [u1',…, u6 '] indicative of parameters / weights of the output layer of the Self-Adapting Map (SOM) neural network.
Figura 10 è un diagramma di flusso esemplificativo di una possibile modalità di funzionamento della fase decisionale 44. Figure 10 is an exemplary flow chart of a possible mode of operation of the decision phase 44.
In una o più forme di realizzazione, lo stadio decisionale 44, accoppiato allo stadio di trattamento 42, può ricevere un insieme di dati di “unione” P (si vedano le Figure 4 e 5) comprendente il primo insieme di vettori [F, U, E, L] dal sotto-stadio di trattamento 42a ed il secondo insieme di vettori [F’, U’, E’, L’] dal sotto-stadio di trattamento 42b. In one or more embodiments, the decision stage 44, coupled to the processing stage 42, can receive a "union" data set P (see Figures 4 and 5) comprising the first set of vectors [F, U , E, L] from the treatment sub-stage 42a and the second set of vectors [F ', U', E ', L'] from the treatment sub-stage 42b.
In una o più forme di realizzazione, lo stadio decisionale 44 si può configurare per trattare gli insiemi di dati dallo stadio di trattamento 42 tramite il trattamento con rete neurale. In one or more embodiments, the decision stage 44 may be configured to process data sets from the processing stage 42 via neural network processing.
Si verifica nuovamente che la rete neurale multilayer perceptron di Levenberg-Marquardt, in breve LM-MLP NN, fornisce uno strumento adeguato per quello scopo. It is again verified that the Levenberg-Marquardt perceptron multilayer neural network, LM-MLP NN for short, provides an adequate tool for that purpose.
In una o più forme di realizzazione come esemplificato in Figura 10, uno strato di uscita selettivo 440 può utilizzare una funzione di “defuzzificazione”, ad es. un centroide di Takagi-Sugeno calcolato come una somma pesata, che fornisce una schiera DLA(rec) di valori di livello di attenzione del guidatore “ricostruiti” DLAn1, …, DLAk, …, DLAno i cui valori si possono calcolare secondo la seguente equazione: In one or more embodiments as exemplified in Figure 10, a selective output layer 440 can utilize a "defuzzification" function, e.g. a Takagi-Sugeno centroid calculated as a weighted sum, which provides a DLA (rec) array of "reconstructed" driver attention level values DLAn1, ..., DLAk, ..., DLAno whose values can be calculated according to the following equation :
dove l’indice k si riferisce al k-esimo elemento della schiera e i rimanenti simboli nelle equazioni sono gli stessi di come già definito in precedenza. where the index k refers to the k-th element of the array and the remaining symbols in the equations are the same as previously defined.
Ad esempio, i componenti del vettore di pesi selezionati U si possono considerare come le funzioni di appartenenza (ad es. pesi di una somma pesata) dei componenti F F1, …, F6, del vettore di caratteristica ad es. secondo una funzione di defuzzificazione del tipo Takagi-Sugeno, ad esempio come descritto in T. Takagi e M. Sugeno: “Fuzzy Identification of Systems and Its Applications to Modeling and Control,” IEEE Transactions on Systems, Man and Cybernetics, vol. SMC-15, nr. 1, pagg. 116-132, 1985. For example, the components of the selected weight vector U can be considered as the membership functions (eg weights of a weighted sum) of the components F F1,…, F6, of the characteristic vector eg. according to a defuzzification function of the Takagi-Sugeno type, for example as described in T. Takagi and M. Sugeno: “Fuzzy Identification of Systems and Its Applications to Modeling and Control,” IEEE Transactions on Systems, Man and Cybernetics, vol. SMC-15, no. 1, pp. 116-132, 1985.
Ad esempio, il primo vettore di pesi selezionati U può essere indicativo di una prima funzione di appartenenza da applicare al vettore di caratteristiche matematiche F del segnale sonnolento ricostruito di EEG e_rec_drowsy. For example, the first vector of selected weights U can be indicative of a first membership function to be applied to the vector of mathematical characteristics F of the reconstructed sleepy EEG signal e_rec_drowsy.
Analogamente, il secondo vettore di pesi selezionati U’ può essere indicativo di una seconda funzione di appartenenza da applicare al vettore di caratteristiche matematiche F’ del segnale vigile ricostruito di EEG e_rec_wakeful. Similarly, the second vector of selected weights U 'can be indicative of a second membership function to be applied to the vector of mathematical characteristics F' of the EEG reconstructed vigilant signal e_rec_wakeful.
A ciascun valore del livello di attenzione del guidatore ricostruito DLAk(rec) calculato da dati basati sui segnali ricostruiti di EEG e_rec (vale a dire e_rec_drowsy ed e_rec_wakeful), si può calcolare secondo la suddetta formula un corrispondente valore di livello di attenzione del guidatore DLAk(real), questa volta basato sui segnali di EEG campione e_real. At each reconstructed driver attention level value DLAk (rec) calculated from data based on the reconstructed EEG signals e_rec (i.e. e_rec_drowsy and e_rec_wakeful), a corresponding driver attention level value DLAk can be calculated according to the above formula (real), this time based on sample EEG signals e_real.
Successivamente, i valori calcolati del livello di attenzione del guidatore ricostruito DLA(rec) si possono confrontare con i corrispondenti valori del livello di attenzione del guidatore reali DLA(real) calcolando una metrica di errore, ad esempio distanza del quadrato o quadratica: Next, the calculated DLA reconstructed driver attention level values (rec) can be compared with the corresponding DLA (real) real driver attention level values by calculating an error metric, e.g. distance of the square or quadratic:
dove N indica il numero di segnali ricostruiti di EEG utilizzati nell’insieme di addestramento e l’indice i identifica ciascun singolo campione di EEG. where N indicates the number of reconstructed EEG signals used in the training set and the index i identifies each individual EEG sample.
Verrà apprezzato che un errore E verificato essere più piccolo dell’errore calcolato in precedenza può indicare che il sistema sta apprendendo “bene” nella misura in cui esso minimizza con dinamiche quadratiche l’errore medio tra i valori del livello di attenzione del guidatore ricostruito DLAk(rec) e quelli “reali” corrispondenti DLAk(real). It will be appreciated that an error E verified to be smaller than the error calculated previously can indicate that the system is learning "well" to the extent that it minimizes with quadratic dynamics the average error between the values of the attention level of the reconstructed driver DLAk (rec) and the corresponding “real” ones DLAk (real).
La procedura di apprendimento come descritto si può continuare sino a che non si consegue un’accuratezza desiderata o per una quantità fissa di tempo, ad es. 3 epoche (“epochs”). The learning procedure as described can continue until a desired accuracy is achieved or for a fixed amount of time, eg. 3 epochs ("epochs").
I nodi neurali della LM-MLP NN 441 possono avere una funzione di trasferimento, ad es. una funzione gradino, da fornire come un’uscita ad un indicatore (classificazione) DS, che, ad esempio, può facilitare di valutare se il livello(i) precedentemente calcolato di attenzione del guidatore (o una relativa combinazione) è al di sotto o sopra un valore di soglia T, ad es. T=0.5. The neural nodes of the LM-MLP NN 441 can have a transfer function, e.g. a step function, to be provided as an output to an indicator (classification) DS, which, for example, can facilitate to assess whether the previously calculated level (s) of the driver's attention (or a combination thereof) is below or above a threshold value T, e.g. T = 0.5.
In una o più forme di realizzazione, il trattamento con rete neurale artificiale nello stadio decisionale 44 può fornire l’indicatore DS a circuiti utenti A, 46. In one or more embodiments, the treatment with artificial neural network in the decision stage 44 can provide the DS indicator to user circuits A, 46.
In una o più forme di realizzazione, l’indicatore DS può avere valori che variano in un intervallo unitario, ad es. DS ∈ [0,1]. In one or more embodiments, the DS indicator can have values that vary in a unit range, eg. DS ∈ [0,1].
In una o più forme di realizzazione, l’indicatore DS può essere indicativo del livello di attenzione del guidatore come calcolato dai circuiti della rete neurale 440, 441 dello stadio decisionale 44. In one or more embodiments, the DS indicator can be indicative of the driver's attention level as calculated by the neural network circuits 440, 441 of the decision stage 44.
Ad esempio, quando l’indicatore DS ha valori all’interno di un primo intervallo, ad es. 0<DS≤0.5, questo può essere indicativo di uno stato “sonnolento” del guidatore, mentre un valore dell’indicatore DS fuori da detto intervallo, ad es. DS>0.5, può essere indicativo di uno stato “vigile” del guidatore. For example, when the DS indicator has values within a first interval, eg. 0 <DS≤0.5, this may be indicative of a "sleepy" state of the driver, while a value of the DS indicator outside this range, eg. DS> 0.5, may be indicative of a driver's "alert" state.
In una o più forme di realizzazione, la fase decisionale 44 faciliterà di conseguenza la valutazione del livello di attenzione di un soggetto, in un intervallo di stati, ad es. da stato sonnolento a stato vigile. In one or more embodiments, the decision step 44 will consequently facilitate the assessment of a subject's attention level, in a range of states, e.g. from sleepy to alert state.
In una o più forme di realizzazione, l’indicatore DS si può fornire ad ulteriori unità di trattamento e si può utilizzare per innescaere un allarme su un’interfaccia (si veda ad es. A in Figura 4) quale un visualizzatore, ad es. sul cruscotto del veicolo V. In one or more embodiments, the DS indicator can be supplied to further treatment units and can be used to trigger an alarm on an interface (see eg. A in Figure 4) such as a display, eg. on the dashboard of the vehicle V.
In una o più forme di realizzazione, l’indicatore DS si può fornire allo stadio di monitoraggio di errori 46, che può innescare l’attivazione del percorso ad anello di retroazione 48 verso lo stadio decisionale 44 e/o lo stadio di trattamento 42 per riavviare la fase di apprendimento dei rispettivi circuiti della rete neurale 426, 429, 44. Ad esempio, i circuiti di rete neurale si possono riaddestrare per tenere conto dei cambiamenti nelle dinamiche dei segnali S di PPG, Sclean ricevuti. In one or more embodiments, the indicator DS can be provided to the error monitoring stage 46, which can trigger the activation of the feedback loop path 48 towards the decision stage 44 and / or the processing stage 42 for restart the learning phase of the respective circuits of the neural network 426, 429, 44. For example, the neural network circuits can be retrained to take into account the changes in the dynamics of the received PPG, Sclean S signals.
In una o più forme di realizzazione, il percorso ad anello di retroazione 48 si può far funzionare per essere attivato: In one or more embodiments, the feedback loop path 48 can be operated to be activated:
- periodicamente, secondo un prospetto di controllo di sicurezza pianificato nello stadio di monitoraggio di errori 46, ad es. una volta al mese; - periodically, according to a safety check schedule planned in the error monitoring stage 46, e.g. Once a month;
- per via di una significativa deviazione (sopra una certa soglia di tolleranza) dei segnali S di PPG misurati acquisiti dal sensore(i) DP dai segnali di PPG utilizzati per la fase di addestramento della rete neurale, ad es. per via di un cambiamento nel guidatore; - due to a significant deviation (above a certain tolerance threshold) of the measured PPG signals S acquired by the sensor (i) DP from the PPG signals used for the training phase of the neural network, eg. due to a change in the driver;
- per via del logorio di/come conseguenza dei controlli di sicurezza eseguiti sui circuiti elettronici. - due to the wear of / as a consequence of the safety checks carried out on the electronic circuits.
In una o più forme di realizzazione, lo stadio di monitoraggio di errori 46 può innescare l’attivazione dei rami del percorso ad anello di retroazione 48 in una certa sequenza. Ad esempio, detta sequenza può comprendere: In one or more embodiments, the error monitoring stage 46 can trigger the activation of the branches of the feedback loop path 48 in a certain sequence. For example, said sequence may include:
- innescare l’avvio di una fase di addestramento per lo stadio decisionale 44, ad es. riaddestramento della rete neurale, - trigger the start of a training phase for decision stage 44, eg. retraining of the neural network,
- attendere (ad es., per la sua convergenza) un intervallo di tempo desiderato, ad es. un numero fisso di epoche, - wait (for example, for its convergence) a desired time interval, for example. a fixed number of eras,
- se la fase di addestramento non converge all’interno dell’intervallo di tempo desiderato, innescare l’avvio di una fase di addestramento per lo stadio di trattamento 42, in particolare per il secondo circuito ANN 426. - if the training phase does not converge within the desired time interval, trigger the start of a training phase for the treatment stage 42, in particular for the second ANN 426 circuit.
In una o più forme di realizzazione, opzionalmente, può essere possibile iterare la procedura sino a che la fase di addestramento per lo stadio decisionale 44 non converge all’interno dell’intervallo di tempo desiderato. In one or more embodiments, optionally, it may be possible to iterate the procedure until the training phase for the decision stage 44 converges within the desired time interval.
In una o più forme di realizzazione, un procedimento per trattare segnali elettrofisiologici può comprendere: In one or more embodiments, a method for processing electrophysiological signals may comprise:
- raccogliere un segnale (ad esempio, S) di fotopletismografia, in breve PPG, tramite un sensore di PPG (ad esempio, PD), - collect a photoplethysmography signal (for example, S), PPG for short, via a PPG sensor (for example, PD),
- trattare (ad esempio, 42, 44; 42a, 42b) il segnale di PPG, in cui il trattamento può comprendere generare tramite il trattamento della rete neurale artificiale (ad esempio, 424, 426, 44) del segnale ricostruito di PPG un un segnale di ElettroEncefaloGramma, in breve EEG, (ad esempio, e_rec), il trattamento della rete neurale artificiale del segnale di PPG comprendente addestrare almeno un circuito di rete neurale artificiale su un insieme di addestramento di segnali (ad esempio, e_real) prodotto durante il campionamento di un insieme campione di segnali di EEG, e - treat (e.g., 42, 44; 42a, 42b) the PPG signal, wherein the processing may comprise generating through the treatment of the artificial neural network (e.g., 424, 426, 44) the reconstructed PPG signal a ElectroEncephalogram signal, EEG for short, (e.g., e_rec), the artificial neural network processing of the PPG signal comprising training at least one artificial neural network circuit on a training set of signals (e.g., e_real) produced during the sampling of a sample set of EEG signals, e
- fornire il segnale ricostruito di EEG ad un circuito d’utente (ad esempio, 800, 44, A). - provide the reconstructed EEG signal to a user circuit (for example, 800, 44, A).
In una o più forme di realizzazione, il trattamento del segnale di PPG può comprendere almeno uno fra filtraggio (ad esempio, 420) e normalizzazione (ad esempio, 422) del segnale di PPG raccolto tramite un sensore di PPG prima del trattamento della rete neurale artificiale (ad esempio, 424, 426) del segnale di PPG. In one or more embodiments, the PPG signal processing may comprise at least one of filtering (e.g., 420) and normalization (e.g., 422) of the PPG signal collected by a PPG sensor prior to neural network processing. artificial (e.g., 424, 426) of the PPG signal.
Una o più forme di realizzazione possono comprendere: - rilevare (ad esempio, 46, A) un segnale di errore di ricostruzione (ad esempio, ER) indicativo dell’accuratezza dei segnali ricostruiti di EEG, e One or more embodiments may include: - detecting (for example, 46, A) a reconstruction error signal (for example, ER) indicative of the accuracy of the reconstructed EEG signals, and
- attivare (ad esempio, 48), come un risultato del rilevamento di detto segnale di errore, l’addestramento di detto almeno un circuito di rete neurale artificiale (ad esempio, 424, 426, 44) su un insieme di addestramento aggiornato (ad esempio, e_real) di segnali prodotti durante il campionamento di un insieme campione di segnali di EEG. - activating (e.g., 48), as a result of detecting said error signal, the training of said at least one artificial neural network circuit (e.g., 424, 426, 44) on an updated training set (e.g. example, e_real) of signals produced during the sampling of a sample set of EEG signals.
Una o più forme di realizzazione possono comprendere innescare l’addestramento di detto almeno un circuito di rete neurale artificiale su un insieme di addestramento aggiornato come un risultato di ricezione di un segnale di innesco (“trigger”) di riaddestramento da almeno uno fra: One or more embodiments may comprise triggering the training of said at least one artificial neural network circuit on an updated training set as a result of receiving a retraining trigger signal from at least one of:
- una fase di monitoraggio di errori (ad esempio, 46), - un generatore di trigger interno periodico, - an error monitoring phase (e.g. 46), - a periodic internal trigger generator,
- un’interfaccia di allarme (ad esempio, A). - an alarm interface (for example, A).
In una o più forme di realizzazione, il trattamento della rete neurale artificiale del segnale di PPG può comprendere: In one or more embodiments, the PPG signaling artificial neural network processing may include:
- primo trattamento della rete neurale artificiale (ad esempio, 424) per mappare segnali ricostruiti di EEG sui segnali di PPG; - first treatment of the artificial neural network (eg 424) to map reconstructed EEG signals on PPG signals;
- secondo trattamento della rete neurale artificiale (ad esempio, 426) dei segnali ricostruiti di EEG (e_rec) mappati sui segnali di PPG per produrre un insieme selezionato di pesi di uscita (ad esempio, U, U’). - second treatment of the artificial neural network (for example, 426) of the reconstructed EEG signals (e_rec) mapped on the PPG signals to produce a selected set of output weights (for example, U, U ').
In una o più forme di realizzazione: In one or more embodiments:
- il primo trattamento della rete neurale artificiale (ad esempio, 424) può comprendere un trattamento multilayer perceptron di Levenberg-Marquardt, e/o - the first artificial neural network treatment (e.g., 424) may include a Levenberg-Marquardt multilayer perceptron treatment, and / or
- il secondo trattamento della rete neurale artificiale (ad esempio, 426) può comprendere un trattamento con mappa motoria a Mappa Auto-Adattante, in breve SOM. - the second treatment of the artificial neural network (for example, 426) may comprise a treatment with a Self-Adapting Map motor map, in short SOM.
Una o più forme di realizzazione possono comprendere il trattamento con inferenza fuzzy, preferibilmente tramite operatore fuzzy simil-centroide di Takagi-Sugeno, di detto insieme selezionato di pesi di uscita. One or more embodiments may comprise fuzzy inference processing, preferably by a Takagi-Sugeno centroid-like fuzzy operator, of said selected set of output weights.
Una o più forme di realizzazione possono comprendere la generazione tramite il trattamento della rete neurale artificiale del segnale di PPG: One or more embodiments may comprise generation by artificial neural network processing of the PPG signal:
- un primo segnale ricostruito di EEG (ad esempio, e_rec_drowsy) come una funzione di un primo insieme di addestramento di segnali (ad esempio, e_real_drowsy) prodotto durante il campionamento di un insieme campione di segnali di EEG in un primo stato di attenzione mentale, e - un secondo segnale ricostruito di EEG (ad esempio, e_rec_wakeful) come una funzione di un secondo insieme di addestramento di segnali (ad esempio, e_real_wakeful) prodotto durante il campionamento di un insieme campione di segnali di EEG di un insieme campione di segnali di EEG in un secondo stato di attenzione mentale. - a first reconstructed EEG signal (e.g., e_rec_drowsy) as a function of a first signal training set (e.g., e_real_drowsy) produced when sampling a sample set of EEG signals in a first state of mental attention, and - a second reconstructed EEG signal (e.g., e_rec_wakeful) as a function of a second signal training set (e.g., e_real_wakeful) produced when sampling a sample set of EEG signals of a sample set of EEG in a second state of mental attention.
Una o più forme di realizzazione possono comprendere gli atti di: One or more embodiments may include the acts of:
- calcolare (ad esempio, 440) da detto primo segnale ricostruito di EEG (ad esempio, e_rec_drowsy) un primo indicatore di livello di attenzione ricostruito (ad esempio, DLA), - compute (for example, 440) from said first reconstructed EEG signal (for example, e_rec_drowsy) a first reconstructed attention level indicator (for example, DLA),
- calcolare (ad esempio, 440) da detto secondo segnale ricostruito di EEG (ad esempio, e_rec_wakeful) un secondo indicatore di livello di attenzione ricostruito (ad esempio, DLA’), - calculate (for example, 440) from said second reconstructed EEG signal (for example, e_rec_wakeful) a second reconstructed level of attention indicator (for example, DLA '),
- calcolare (ad esempio, 440, 441) un risultante indicatore di attenzione (ad esempio, DS) come una combinazione fra il primo indicatore di livello di attenzione ricostruito ed il secondo indicatore di livello di attenzione ricostruito, - calculate (e.g. 440, 441) a resulting attention indicator (e.g., DS) as a combination of the first reconstructed attention level indicator and the second reconstructed attention level indicator,
- confrontare (ad esempio, 441) detto risultante indicatore di attenzione con un valore di soglia, e - comparing (for example, 441) said resulting attention indicator with a threshold value, e
- produrre un segnale indicatore di attenzione (ad esempio, A) come una funzione del risultato di detto atto di confrontare. - producing an attention indicator signal (e.g., A) as a function of the result of said comparing act.
Una o più forme di realizzazione possono comprendere generare un segnale ricostruito di EEG tramite circuiti di rete neurale artificiale, in breve ANN (ad esempio, 424, 426, 44; 42, 42a, 42b) come una funzione dei segnali di PPG (ad esempio, S, Sclean) che possono comprendere addestrare i circuiti della rete neurale artificiale con insiemi di dati di segnali di EEG (ad esempio, e_real) memorizzati in uno spazio di memoria (ad esempio, T). One or more embodiments may comprise generating a reconstructed EEG signal via artificial neural network circuits, ANN for short (e.g., 424, 426, 44; 42, 42a, 42b) as a function of the PPG signals (e.g. , S, Sclean) which may comprise training artificial neural network circuits with data sets of EEG signals (e.g., e_real) stored in a memory space (e.g., T).
Una o più forme di realizzazione possono comprendere: - raccogliere detto segnale di PPG dal guidatore (ad esempio, D) di un veicolo (ad esempio, V) tramite un sensore di PPG a bordo del veicolo, One or more embodiments may comprise: - collecting said PPG signal from the driver (for example, D) of a vehicle (for example, V) via a PPG sensor on board the vehicle,
- fornire detto segnale ricostruito di EEG ad un circuito d’utente (ad esempio, 800, 44, A) a bordo del veicolo, in cui il segnale ricostruito di EEG può essere indicativo di un livello di attenzione del guidatore (ad esempio, D). - supplying said reconstructed EEG signal to a user circuit (for example, 800, 44, A) on board the vehicle, in which the reconstructed EEG signal can be indicative of a driver's attention level (for example, D ).
Un sistema (ad esempio, 40) secondo una o più forme di realizzazione può comprendere: A system (for example, 40) according to one or more embodiments can comprise:
- un sensore di PPG (ad esempio, PD), configurato per raccogliere un segnale di fotopletismografia, in breve PPG, - circuiteria di trattamento (ad esempio, 42, 44; 42a, 42b) accoppiata al sensore di PPG per ricevere detto segnale PPG dallo stesso, la circuiteria di trattamento comprendendo circuiti di trattamento della rete neurale artificiale (ad esempio, 424, 426, 44) e configurata per fornire un segnale ricostruito di EEG (ad esempio, e_rec) ad un circuito utente (ad esempio, 800, 44, A) secondo forme di realizzazione. Una o più forme di realizzazione possono comprendere un veicolo (ad esempio, V) che può essere dotato di un sistema (ad esempio, 40) secondo forme di realizzazione in combinazione con almeno un dispositivo di assistenza alla guida (ad esempio, A), il dispositivo di assistenza alla guida (A) configurato per funzionare come una funzione di detto segnale ricostruito di EEG (ad esempio, e_rec). - a PPG sensor (for example, PD), configured to collect a photoplethysmography signal, PPG for short, - processing circuitry (for example, 42, 44; 42a, 42b) coupled to the PPG sensor to receive said PPG signal therefrom, the processing circuitry comprising processing circuits of the artificial neural network (for example, 424, 426, 44) and configured to provide a reconstructed EEG signal (for example, e_rec) to a user circuit (for example, 800, 44, A) according to embodiments. One or more embodiments may comprise a vehicle (e.g., V) which can be equipped with a system (e.g., 40) according to embodiments in combination with at least one driver assistance device (e.g., A), the driving assistance device (A) configured to function as a function of said reconstructed EEG signal (e.g., e_rec).
Una o più forme di realizzazione possono comprendere un prodotto informatico caricabile nella memoria di almeno un circuito di trattamento e comprendente porzioni di codice software per eseguire le fasi del procedimento secondo forme di realizzazione quando il prodotto è eseguito su almeno un circuito di trattamento. One or more embodiments may comprise a computer product that can be loaded into the memory of at least one processing circuit and comprising portions of software code for carrying out the steps of the method according to embodiments when the product is performed on at least one processing circuit.
Verrà altrimenti compreso che varie singole opzioni di implementazione esemplificate per tutte le figure che accompagnano questa descrizione non sono necessariamente previste per essere adottate nelle stesse combinazioni esemplificate nelle figure. Una o più forme di realizzazione possono di conseguenza adottare singolaramente queste opzioni (altrimenti non obbligatorie) e/o in diverse combinazioni rispetto alla combinazione esemplificata nelle figure annesse. It will otherwise be understood that various individual implementation options exemplified for all figures accompanying this description are not necessarily intended to be adopted in the same combinations exemplified in the figures. One or more embodiments can consequently adopt these options individually (otherwise not mandatory) and / or in different combinations with respect to the combination exemplified in the attached figures.
Senza pregiudizio per i principi sottostanti, i dettagli e le forme di realizzazione possono variare anche notevolmente, rispetto a ciò che è stato descritto solo a titolo di esempio, senza discostarsi dall'ambito di protezione. L’ambito di protezione è determinato dalle rivendicazioni annesse. Without prejudice to the underlying principles, the details and embodiments can vary even considerably, with respect to what has been described by way of example only, without departing from the scope of protection. The scope of protection is determined by the attached claims.
Claims (14)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000005512A IT201800005512A1 (en) | 2018-05-18 | 2018-05-18 | PROCEDURE FOR TREATING ELECTROPHYSIOLOGICAL SIGNALS, SYSTEM, VEHICLE AND CORRESPONDING IT PRODUCT |
| US16/195,114 US11229404B2 (en) | 2017-11-28 | 2018-11-19 | Processing of electrophysiological signals |
| US17/644,703 US12059271B2 (en) | 2017-11-28 | 2021-12-16 | Processing of electrophysiological signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000005512A IT201800005512A1 (en) | 2018-05-18 | 2018-05-18 | PROCEDURE FOR TREATING ELECTROPHYSIOLOGICAL SIGNALS, SYSTEM, VEHICLE AND CORRESPONDING IT PRODUCT |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT201800005512A1 true IT201800005512A1 (en) | 2019-11-18 |
Family
ID=62952369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102018000005512A IT201800005512A1 (en) | 2017-11-28 | 2018-05-18 | PROCEDURE FOR TREATING ELECTROPHYSIOLOGICAL SIGNALS, SYSTEM, VEHICLE AND CORRESPONDING IT PRODUCT |
Country Status (1)
| Country | Link |
|---|---|
| IT (1) | IT201800005512A1 (en) |
-
2018
- 2018-05-18 IT IT102018000005512A patent/IT201800005512A1/en unknown
Non-Patent Citations (4)
| Title |
|---|
| 1 AKALYACHELLAPPA ET AL: "FATIGUE DETECTION TECHNIQUES: A REVIEW", 16 November 2017 (2017-11-16), XP055558052, Retrieved from the Internet <URL:https://acadpubl.eu/jsi/2017-117-16/articles/16/62.pdf> [retrieved on 20190218] * |
| A SARAVANAMOORTHI ET AL: "Prediction of Drowsy Drivers Fault Using Bio Signals Joint Stachostic FSD (BJSFSD) Algorithm", EUROPEAN JOURNAL OF APPLIED SCIENCES, 1 January 2016 (2016-01-01), pages 193 - 199, XP055483369, Retrieved from the Internet <URL:https://pdfs.semanticscholar.org/7f62/51e7cab6453c0cfcf0f2f237daf1408659aa.pdf> DOI: 10.5829/idosi.ejas.2016.8.4.23006 * |
| FRANCESCO RUNDO ET AL: "An Advanced Bio-Inspired PhotoPlethysmoGraphy (PPG) and ECG Pattern Recognition System for Medical Assessment", SENSORS, vol. 18, no. 2, 30 January 2018 (2018-01-30), pages 405, XP055483235, DOI: 10.3390/s18020405 * |
| RAJIV RANJAN SINGH ET AL: "A comparative evaluation of neural network classifiers for stress level analysis of automotive drivers using physiological signals", BIOMEDICAL SIGNAL PROCESSING AND CONTROL, vol. 8, no. 6, 1 November 2013 (2013-11-01), NL, pages 740 - 754, XP055558743, ISSN: 1746-8094, DOI: 10.1016/j.bspc.2013.06.014 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12059271B2 (en) | Processing of electrophysiological signals | |
| US12453485B2 (en) | Processing of electrophysiological signals | |
| JP6567728B2 (en) | How to predict patient survival | |
| US10987007B2 (en) | Method of processing electrophysiological signals and corresponding system, vehicle, and computer program product | |
| US9872652B2 (en) | Method and apparatus for heart rate monitoring using an electrocardiogram sensor | |
| US10278595B2 (en) | Analysis and characterization of patient signals | |
| Kumar et al. | Deep learning-based automated emotion recognition using multimodal physiological signals and time-frequency methods | |
| WO2013186634A2 (en) | Predicting acute cardiopulmonary events and survivability of a patient | |
| Cao et al. | Guard your heart silently: Continuous electrocardiogram waveform monitoring with wrist-worn motion sensor | |
| WO2014012839A1 (en) | A method and system for determining the state of a person | |
| Mozafari et al. | Towards IoT-enabled multimodal mental stress monitoring | |
| Rajput et al. | Automated detection of hypertension using wavelet transform and nonlinear techniques with ballistocardiogram signals | |
| Kim et al. | Deep learning model for blood pressure estimation from PPG signal | |
| Pachori et al. | Biomedical engineering fundamentals | |
| Bousefsaf et al. | Remote assessment of physiological parameters by non-contact technologies to quantify and detect mental stress states | |
| Everson et al. | BioTranslator: inferring R-peaks from ambulatory wrist-worn PPG signal | |
| US10588577B2 (en) | Patient signal analysis based on affine template matching | |
| IT201800005512A1 (en) | PROCEDURE FOR TREATING ELECTROPHYSIOLOGICAL SIGNALS, SYSTEM, VEHICLE AND CORRESPONDING IT PRODUCT | |
| US20230355109A1 (en) | System and method to detect the presence and progression of diseases characterized by systemic changes in the state of the vasculature | |
| Varon et al. | Mining the ECG: algorithms and applications | |
| Hung et al. | Reliable Physiological Monitoring on the Wrist Using Generative Deep Learning to Address Poor Skin-Sensor Contact | |
| Liu et al. | The differential method of phase space matrix for AF/VF discrimination application | |
| Martins | Cuffless Blood Pressure Estimation | |
| Abdulla¹ et al. | Estimation from Photoplethysmography Signal | |
| Bavkar et al. | The Use of Photoplethysmography |