[go: up one dir, main page]

CN111160435B - 基于重构残差编码器的荧光光谱有机污染预警方法 - Google Patents

基于重构残差编码器的荧光光谱有机污染预警方法 Download PDF

Info

Publication number
CN111160435B
CN111160435B CN201911329860.9A CN201911329860A CN111160435B CN 111160435 B CN111160435 B CN 111160435B CN 201911329860 A CN201911329860 A CN 201911329860A CN 111160435 B CN111160435 B CN 111160435B
Authority
CN
China
Prior art keywords
fluorescence spectrum
sample
spectrum data
reconstructed
residual encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911329860.9A
Other languages
English (en)
Other versions
CN111160435A (zh
Inventor
侯迪波
曹怿童
喻洁
时菲
施杰根
董辉
黄平捷
张光新
张宏建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911329860.9A priority Critical patent/CN111160435B/zh
Publication of CN111160435A publication Critical patent/CN111160435A/zh
Application granted granted Critical
Publication of CN111160435B publication Critical patent/CN111160435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于重构残差编码器的荧光光谱有机污染预警方法。该方法先对采集到的经过散射预处理后未受有机污染的离线饮用水三维荧光光谱数据，对饮用水光谱样本进行重采样，然后使用光谱数据构建重构残差编码器模型以还原原始光谱，通过残差计算方法求出每个样本还原光谱与原始光谱的残差值，并根据离线数据的重构残差的数值分布确定判别阈值。在检测阶段，样本输入到重构残差编码器模型中，计算还原的荧光光谱与原始光谱间残差值，通过离线模型确定的阈值法对饮用水的突发性有机污染事件进行检测，以实现饮用水中有机污染的及时预警。本发明检出率较高，且误报率较低，适用于突发的、未知有机污染物造成的有机物水污染事件的检出。

Description

基于重构残差编码器的荧光光谱有机污染预警方法
技术领域
本发明涉及一种饮用水有机污染事件的预警方法，尤其涉及一种重构残差编码器的饮用水受突发性有机物污染的情况下的异常检测方法。
背景技术
突发性有机水污染指因违反水资源法律法规的社会活动，以及自然灾害或意外情况等原因造成的水环境污染。突发性有机水污染的发生往往具有不确定性且短时间内难以控制与处置。有机污染事件的污染物种类繁多，且污染发生时，有机污染物的种类往往未知，水溶液在三维荧光光谱中也表现各异。此外，三维荧光光谱包含信息量大，直接对其全光谱分析会造成信息冗余，关键信息难以提取且数据处理复杂、耗时长，因此亟需一种快速有效的有机水污染事件预警方法。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种基于重构残差编码器的荧光光谱有机污染预警方法。
一种基于重构残差编码器的荧光光谱有机污染预警方法，包括以下步骤：
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据，作为训练集离线数据；
S2 预处理原始三维荧光光谱数据，去除光谱散射，得到预处理后的三维荧光光谱数据；
S3对预处理后的三维荧光光谱数据进行重采样，包括以下步骤：
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心；
S3.2 遍历训练集中的每一个样本，计算该样本与样本中心之间的欧式距离；
S3.3 对每一个样本，根据与样本中心的距离差异合成一个新的样本，即完成了重采样；
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型，包括以下步骤：
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中，第一个残差编码器将数据映射至隐含层转化为编码信息，随后重构层对编码信息进行解码从而实现重构；
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入，进行编码和解码操作，反复执行直到最后一个残差编码器，得到逐层预训练后的各层网络参数；
S4.3 将逐层预训练后的各层网络参数视为一个整体模型，使用S1中的训练集离线数据对整体模型进行更新微调，得到重构残差编码器模型。
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断，包括以下步骤：
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出；
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差；
S5.3 根据重构残差的平均值和标准差确定异常判断阈值；
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中，计算待测样本的三维荧光光谱数据与重构输出的残差值，根据步骤（S5.3）中的异常判断阈值，判断待测样本是否受到有机污染。
所述步骤S3.3中饮用水荧光光谱的样本合成方法通过下式计算：
X j,new =X center +ζ· (X j - X center )
其中，X center 为样本中心，ζ∈ (0,1) 是一个随机数，X j,new 表示第j样本与样本中心合成的新样本。
所述步骤S5.2中重构残差计算步骤如下：
a. 分别遍历重采样后的三维荧光光谱数据及重构输出的每一行，对当前遍历元素，若左边元素值大于右边，则当前位置的值为1，否则为0，遍历完三维荧光光谱后，得到一个二维的二进制编码；
b. 重构残差计算方式如下：
Figure DEST_PATH_IMAGE001
其中，Zi为重构输出；X i 为重采样后的三维荧光光谱数据； f为步骤a中的编码运算。
本发明的有益效果是：本发明提出的基于重构残差编码器重构残差的方法对饮用水受有机污染物的污染事件检出率较高，且误报率较低。本发明的方法对于对低浓度情况下的有机污染依然能够保持较好的检出率，适用于突发的、未知有机污染物造成的有机物水污染事件的检出。
附图说明
图1为基于重构残差编码器重构残差的荧光光谱有机污染预警方法的流程框图；
图2为重构残差编码器的逐层预训练；
图3为重构残差编码器的微调。
具体实施方式
以下结合附图，对本发明的实施方案进行进一步详细说明。
一种基于重构残差编码器的荧光光谱有机污染预警方法的基本步骤如图1所示，首先预处理饮用水的三维荧光光谱数据，然后对饮用水的三维荧光光谱数据进行重采样以降低水质背景波动造成的误报率，构建离线模型，接着构建正常饮用水的重构残差编码器模型即正常水样重构模型，然后根据重构前后的光谱残差分布设定异常判断阈值，最后将在线光谱数据输入到重构模型中，根据重构前后的残差结合判断阈值进行有机污染预警，具体包括以下步骤：
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据，作为训练集离线数据；
S2 预处理原始三维荧光光谱数据，去除光谱散射，得到预处理后的三维荧光光谱数据；
S3对预处理后的三维荧光光谱数据进行重采样，包括以下步骤：
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心；
S3.2 遍历训练集中的每一个样本，计算该样本与样本中心之间的欧式距离；
S3.3 对每一个样本，根据与样本中心的距离差异合成一个新的样本，即完成了重采样；
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型，包括以下步骤：
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中，第一个残差编码器将数据映射至隐含层转化为编码信息（即进行了编码操作），随后重构层对编码信息进行解码从而实现重构（即进行了解码操作）（如图2所示）；
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入，进行编码和解码操作，反复执行直到最后一个残差编码器，得到逐层预训练后的各层网络参数（如图2所示）；
S4.3 将逐层预训练后的各层网络参数视为一个整体模型，使用S1中的训练集离线数据对整体模型进行更新微调，得到重构残差编码器模型（如图3所示）。
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断，包括以下步骤：
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出；
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差；
S5.3 根据重构残差的平均值和标准差确定异常判断阈值；
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中，计算待测样本的三维荧光光谱数据与重构输出的残差值，根据步骤（S5.3）中的异常判断阈值，判断待测样本是否受到有机污染。
S3.3中饮用水荧光光谱的样本合成方法通过下式计算：
X j,new =X center +ζ· (X j - X center )
其中，X center 为样本中心，ζ∈ (0,1) 是一个随机数，X j,new 表示第j样本与样本中心合成的新样本。
S5.2中重构残差通过下式计算得到：
Figure 671758DEST_PATH_IMAGE002
其中，Zi为重构输出；X i 为重采样后的三维荧光光谱数据； f为步骤a中的编码运算。
S5.3中确定异常判断阈值根据3σ准则确定如下正常区间：
Figure 535809DEST_PATH_IMAGE003
其中，
Figure 350181DEST_PATH_IMAGE004
为重构残差的均值，σ为重构残差的标准差。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (3)

1.一种基于重构残差编码器的荧光光谱有机污染预警方法，其特征在于，包括以下步骤：
S1采集正常饮用水样本的三维荧光光谱数据得到原始三维荧光光谱数据，作为训练集离线数据；
S2 预处理原始三维荧光光谱数据，去除光谱散射，得到预处理后的三维荧光光谱数据；
S3对预处理后的三维荧光光谱数据进行重采样，包括以下步骤：
S3.1 首先计算预处理后的三维荧光光谱数据的均值得到样本中心；
S3.2 遍历训练集中的每一个样本，计算该样本与样本中心之间的欧式距离；
S3.3 对每一个样本，根据与样本中心的距离差异合成一个新的样本，即完成了重采样；
S4 对步骤S3中重采样后的三维荧光光谱数据构建重构残差编码器模型，包括以下步骤：
S4.1 首先将重采样后的三维荧光光谱数据输入至第一个残差编码器中，第一个残差编码器将数据映射至隐含层转化为编码信息，随后重构层对编码信息进行解码从而实现重构；
S4.2上一个残差编码器得到的编码信息作为下一个残差编码器的输入，进行编码和解码操作，反复执行直到最后一个残差编码器，得到逐层预训练后的各层网络参数；
S4.3 将逐层预训练后的各层网络参数视为一个整体模型，使用S1中的训练集离线数据对整体模型进行更新微调，得到重构残差编码器模型；
S5 采用阈值法对待测样本的三维荧光光谱数据进行异常判断，包括以下步骤：
S5.1 将步骤S3中的重采样后的三维荧光光谱数据输入到步骤S4中的重构残差编码器模型获得重构输出；
S5.2 计算重采样后的三维荧光光谱数据与重构输出之间的重构残差；
S5.3 根据重构残差的平均值和标准差确定异常判断阈值；
S5.4 将待测样本的三维荧光光谱数据预处理后输入步骤S4的重构残差编码器模型中，计算待测样本的三维荧光光谱数据与重构输出的残差值，根据步骤S5.3中的异常判断阈值，判断待测样本是否受到有机污染。
2.根据权利要求1所述的方法，其特征在于，所述步骤S3.3中饮用水荧光光谱的样本合成方法通过下式计算：
X j,new =X center +ζ· (X j - X center )
其中，X center 为样本中心，ζ ∈ (0,1) 是一个随机数，X j,new 表示第j样本与样本中心合成的新样本。
3.根据权利要求1所述的方法，其特征在于，所述步骤S5.2中重构残差计算步骤如下：
a. 分别遍历重采样后的三维荧光光谱数据及重构输出的每一行，对当前遍历元素，若左边元素值大于右边，则当前位置的值为1，否则为0，遍历完三维荧光光谱后，得到一个二维的二进制编码；
b. 重构残差计算方式如下：
Figure DEST_PATH_IMAGE002
其中，Zi为重构输出；X i 为重采样后的三维荧光光谱数据； f为步骤a中的编码运算。
CN201911329860.9A 2019-12-20 2019-12-20 基于重构残差编码器的荧光光谱有机污染预警方法 Active CN111160435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911329860.9A CN111160435B (zh) 2019-12-20 2019-12-20 基于重构残差编码器的荧光光谱有机污染预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911329860.9A CN111160435B (zh) 2019-12-20 2019-12-20 基于重构残差编码器的荧光光谱有机污染预警方法

Publications (2)

Publication Number Publication Date
CN111160435A CN111160435A (zh) 2020-05-15
CN111160435B true CN111160435B (zh) 2022-05-27

Family

ID=70557648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911329860.9A Active CN111160435B (zh) 2019-12-20 2019-12-20 基于重构残差编码器的荧光光谱有机污染预警方法

Country Status (1)

Country Link
CN (1) CN111160435B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791055B (zh) * 2021-08-17 2024-05-14 北京农业信息技术研究中心 一种鱼肉新鲜度检测方法及系统
CN115963092A (zh) * 2022-12-07 2023-04-14 浙江大学 基于浊度补偿和散射宽度估计的自适应瑞利散射处理方法
CN119779986B (zh) * 2025-03-13 2025-06-03 山西农业大学 一种基于光谱分析的土壤有机碳在线检测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822060A (en) * 1996-03-27 1998-10-13 Hewlett-Packard Company Method of detecting sample substances and fluorescence spectrometer using the method
CN105466893A (zh) * 2015-11-14 2016-04-06 常州大学 一种基于三维荧光光谱的地表水有机污染的快速预警方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2997193C (en) * 2015-09-03 2021-04-06 Mediatek Inc. Method and apparatus of neural network based processing in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822060A (en) * 1996-03-27 1998-10-13 Hewlett-Packard Company Method of detecting sample substances and fluorescence spectrometer using the method
CN105466893A (zh) * 2015-11-14 2016-04-06 常州大学 一种基于三维荧光光谱的地表水有机污染的快速预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多层正则极限学习机的煤矿突水光谱判别方法;王亚等;《光学学报》;20180328(第07期);全文 *

Also Published As

Publication number Publication date
CN111160435A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111160435B (zh) 基于重构残差编码器的荧光光谱有机污染预警方法
CN113658115B (zh) 一种基于深度卷积生成对抗网络的图像异常检测方法
CN113569928B (zh) 一种列车运行状态检测数据缺失处理模型及重建的方法
CN114913599B (zh) 基于自动编码器的视频异常行为检测方法及系统
CN105844238A (zh) 视频鉴别方法及系统
CN112365434A (zh) 一种基于双掩膜图像分割的无人机狭窄通道检测方法
CN114529794B (zh) 一种红外与可见光图像融合方法、系统及介质
CN110458039A (zh) 一种工业过程故障诊断模型的构建方法及其应用
CN115546046A (zh) 一种融合频率和内容特征的单幅图像去雾方法
US20230029400A1 (en) Method of Hierarchical Machine Learning for an Industrial Plant Machine Learning System
CN113901043B (zh) 污染源智能监管和数据融合分析方法和系统
WO2022188643A1 (zh) 分子结构的重建方法、装置、设备、存储介质及程序产品
CN109034140A (zh) 基于深度学习结构的工业控制网络信号异常检测方法
CN116719060B (zh) 基于信息融合的深度学习网络的紧组合导航故障检测方法
CN115099321A (zh) 双向自回归无监督预训练微调式排污异常监控方法及应用
Zhang et al. Social media meets big urban data: A case study of urban waterlogging analysis
CN118521918A (zh) 一种基于多尺度特征融合的遥感影像昼夜云检测方法
CN115694937B (zh) 一种通过构造虚拟异常流量训练恶意流量检测系统的方法
CN116681991A (zh) 一种基于时间序列二维编码的紧组合导航故障检测方法
CN111080139B (zh) 一种基于hypergraph的公共安全事件情景表示方法
CN114462617A (zh) 一种基于蒸馏机制的数据异常检测方法
CN120069026A (zh) 一种基于多源数据的渔船行为知识构建方法及系统
CN117556365B (zh) 一种流程数据漂移检测模型训练、漂移检测方法及装置
CN118279263A (zh) 一种绝缘子图像异常检测方法、装置、设备及存储介质
CN119884728A (zh) 一种基于动态阈值的分布式光伏异常检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant