CN111427265A - 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 - Google Patents
基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111427265A CN111427265A CN202010194359.2A CN202010194359A CN111427265A CN 111427265 A CN111427265 A CN 111427265A CN 202010194359 A CN202010194359 A CN 202010194359A CN 111427265 A CN111427265 A CN 111427265A
- Authority
- CN
- China
- Prior art keywords
- dictionary
- heavy metal
- wastewater treatment
- metal wastewater
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 229910001385 heavy metal Inorganic materials 0.000 title claims abstract description 106
- 238000004065 wastewater treatment Methods 0.000 title claims abstract description 97
- 230000008569 process Effects 0.000 title claims abstract description 77
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 46
- 238000013526 transfer learning Methods 0.000 title claims abstract description 17
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000012544 monitoring process Methods 0.000 title claims abstract description 11
- 238000013508 migration Methods 0.000 claims abstract description 15
- 230000005012 migration Effects 0.000 claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 38
- 239000002351 wastewater Substances 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 2
- 239000010814 metallic waste Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 150000002500 ions Chemical class 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005189 flocculation Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000005842 biochemical reaction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000016615 flocculation Effects 0.000 description 1
- 239000010842 industrial wastewater Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F1/00—Treatment of water, waste water, or sewage
- C02F1/008—Control or steering systems not provided for elsewhere in subclass C02F
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F1/00—Treatment of water, waste water, or sewage
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F1/00—Treatment of water, waste water, or sewage
- C02F1/46—Treatment of water, waste water, or sewage by electrochemical methods
- C02F1/461—Treatment of water, waste water, or sewage by electrochemical methods by electrolysis
- C02F1/463—Treatment of water, waste water, or sewage by electrochemical methods by electrolysis by electrocoagulation
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F2101/00—Nature of the contaminant
- C02F2101/10—Inorganic compounds
- C02F2101/20—Heavy metals or heavy metal compounds
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F2209/00—Controlling or monitoring parameters in water treatment
- C02F2209/005—Processes using a programmable logic controller [PLC]
- C02F2209/006—Processes using a programmable logic controller [PLC] comprising a software program or a logic diagram
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F2209/00—Controlling or monitoring parameters in water treatment
- C02F2209/05—Conductivity or salinity
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F2209/00—Controlling or monitoring parameters in water treatment
- C02F2209/06—Controlling or monitoring parameters in water treatment pH
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F2209/00—Controlling or monitoring parameters in water treatment
- C02F2209/40—Liquid flow rate
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Hydrology & Water Resources (AREA)
- Environmental & Geological Engineering (AREA)
- Water Supply & Treatment (AREA)
- Organic Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electrochemistry (AREA)
- General Chemical & Material Sciences (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Removal Of Specific Substances (AREA)
Abstract
本发明公开了一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质基于迁移学习的重金属废水处理过程异常工况智能化监测,通过对不同来源的重金属废水处理过程数据融合,能够自动的实现不同来源的重金属废水处理过程异常工况智能识别;具体为利用来源固定的重金属废水处理过程的正常样本YSD、少量来源未知的重金属废水处理过程的正常样本YTD;首先通过对YSD进行学习得到其数据表示字典DSD,然后考虑到YSD和YTD分布不同,采用迁移学习的方法,将YTD的特征融入到字典学习过程,得到泛化能力更强的字典DTD。该方法无需过程先验知识,能自适应的适应废水处理系统中的不确定性因素,能够更加准确的检测过程中相关指标的变化,实现及时地检测与预警。
Description
技术领域
本发明属于重金属废水处理领域,特别涉及一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质。
背景技术
作为地球上不可替代的自然资源与环境资源,水的储量与质量与人类的生存发展息息相关。随着近些年工业的高速发展,工业废水尤其是重金属废水对环境污染非常严重和对人类危害非常深远。同时,重金属在环境中稳定性高、难降解、迁移范围广,正逐渐成为全球性环境问题。
絮凝—电化学技术是实现重金属废水深度净化的有效途径之一。该技术用电化学技术对经传统絮凝沉淀过程处理后的废水进行深度处理,可以减少药剂的消耗,与单一的电絮凝处理废水相比,又可以节约电能。一方面,现有絮凝—电化学技术对废水的处理效果受多种过程因素(如pH值、电流密度、电导率等)的影响。另一方面,重金属废水因其来源等存在不确定性,包括气候变化、人为破坏、偶然污染、内部许多生物化学反应过程的机理不明确等,难以用明确的数学关系对重金属废水的特征进行描述。除此之外,不同来源的重金属废水的离子浓度分布差异较大,其处理效果需要经过长时间离线化验才能获取。目前,针对不同来源的重金属废水的处理工况主要依赖于工艺人员的经验进行判断,往往难以准确的识别处理过程的正常工况和异常工况。当异常工况发生时,难以有效地降低废水中的重金属离子浓度,如未对处理过程进行及时调整,其处理结果会影响下一个工序的效果。而人工处理方式操作主观盲目性大,尤其是当重金属废水来源发生变化时,其工况识别准确性较低。
发明内容
本发明为了准确识别不同来源的重金属废水处理过程的异常工况,同时克服不同来源重金属离子各浓度数据带来的数据分布畸变导致模型失配带来的问题,本发明提出一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质,该方法能够适应不同来源重金属废水,准确识别处理过程的工况。
字典学习是一种高效的数据表示方式,该方法假设信号能进行稀疏表示,即表示为一个字典和其稀疏编码的乘积形式,通过学习并存储一个小数据量的字典,便能还原高维信号数据,这对于高维数据的处理是卓有成效的。由于能够减少高维数据的计算与存储负荷,字典学习受到了越来越多关注。
本技术方案通过对包含处理过程中pH值、电流密度、电导率、初始重金属浓度、流量等指标在内的历史数据进行建模,在对废水处理过程进行在线监测时,考虑到不同来源的废水其初始重金属浓度的时间序列上分布不同,使用历史数据得到的模型,其检测效果可能得不到保障。因此,对来源不确定的重金属废水的处理结果进行离线化验,根据化验结果选取其正常工况下的数据(即废水中重金属离子浓度得到有效降低的数据)和确定来源下的正常工况的历史数据进行融合,通过对历史模型进行迁移学习,实现不同来源下的废水处理过程的异常工况检测。
本发明的技术方案如下:
一方面,一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法,包括:
1)利用历史采集的来源固定的重金属废水处理数据样本,构建来源固定的重金属废水处理数据样本的离线字典;
2)利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,获得来源未知的有效重金属废水处理数据样本对应的扩展字典;
3)利用扩展字典,计算来源未知下的有效重金属废水处理数据样本的重构误差,并基于所述重构误差,利用核密度估计获得重金属废水处理过程工况中的控制限;
4)计算待监测数据yt在扩展字典DTD下的重构误差,若计算得到的重构误差小于控制限,则认为当前重金属废水处理过程未出现异常,否则,则认为当前重金属废水处理过程出现异常。
进一步地,所述来源固定的重金属废水处理数据样本的离线字典的构建过程如下:
步骤1.1:历史样本采集;
利用传感器采集来源固定的重金属废水处理历史样本,来源固定的样本集合为YSD;yi表示来源固定的第i个重金属废水处理历史样本,1≤i≤Ns,每个样本包含m个废水指标{pH值、电流密度、电导率、初始重金属浓度、流量},Ns表示YSD中包含的样本个数;
步骤1.2:依据稀疏表示原理,利用字典D1和稀疏编码X表示YSD,构建离线字典学习的目标函数,并通过求解离线字典学习的目标函数,获得YSD对应的最优初始字典DSD,以及与DSD对应的稀疏编码XSD;
其中,字典D1的初始取值为从历史样本集合YSD中随机选取的K个样本按列排列形成的矩阵,K=10*m,T为稀疏编码矩阵中的每一列非零元素个数设定值,和||·||0分别表示二范数和零范数;xi表示X中的第i列。
字典D1的最终取值即为DSD,D1的初始值中每一列是一个随机选取的样本,且D1具有K列;稀疏编码X的最终取值即为XSD;XSD表示YSD在DSD下的稀疏编码,DSD中每一列表示一个字典原子;
T的取值通常设置为2;
进一步地,采用K-SVD方法对所述离线字典学习的目标函数进行求解,不断更新字典D1和稀疏编码X,直到获得YSD对应的最优初始字典DSD。
采用K-SVD方法进行求解,具体地,从YSD随机选取K个样本作为字典DSD的初始值,利用正交匹配追踪算法求得稀疏编码XSD后;按列对字典D1进行更新,例如更新第k列字典原子时,可写成如下形式,表示X中的第k行。
其中,Ek等于定义集合表示中非零项所在索引的索引集,表示的第i个元素,N表示中的元素个数。定义Ωk为N×|ωk|矩阵,它在(ωk(i),i)处的值为1,其余值均为0。将Ωk与Ek相乘后即可收缩原矩阵, 对做奇异值分解后,得到dk=u(:,1),当逐列更新完之后,则利用正交匹配追踪算法交替更新稀疏编码XSD。迭代更新一定次数后,得到最优的初始字典DSD。
进一步地,所述利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,获得扩展字典的过程如下:
利用传感器采集来源未知的有效重金属废水处理历史样本,来源未知的有效样本集合为YTD;依据稀疏表示原理,利用初始字典DSD和对应的稀疏编码X表示YTD,构建未知来源后重金属废水处理数据样本对应的稀疏编码的目标函数,通过迁移学习,求解获得来源为未知的有效样本集合YTD对应的最优稀疏编码Xp,再利用Xp获得对应的最优字典;
其中,Dp表示迁移学习过程中的插值字典,Dp的初始值表示来源固定的重金属废水处理数据样本的离线字典对应的最优初始字典DSD,即当p=0时,D0=DSD;T为稀疏编码矩阵中的非零元素个数设定值,和||·||0分别表示二范数和零范数;xi表示X中的第i列。
进一步地,通过构建来源未知的重金属废水处理数据样本对应的字典的目标函数,求解来源为未知的有效样本集合YTD对应的最优字典;
其中,λ表示调节参数,取值范围为[1,10];D表示待求的字典,通过迭代求得的最终字典赋值给Dp+1,Dp+1表示求得的来源为未知的有效样本集合YTD对应的最优字典;
求解过程如下:
进一步地,所述重构误差的计算是指待计算重构误差的样本采集值和该样本用扩展字典与对应稀疏编码的表示值之间的二范数计算。
进一步地,利用核密度估计获得重金属废水处理过程工况中的控制限,是指按照以下公式对来源未知的历史样本的重构误差计算核密度函数,且以核密度函数在设定置信度下的取值作为对应控制限:
其中,e是表示待拟合的来源未知的历史样本的重构误差的分布,ei表示第i个来源未知的历史样本的重构误差,H表示带宽矩阵,n表示历史样本的总数,K[·]表示核函数;是指在给定带宽矩阵H下,通过历来源未知的历史样本ei拟合出的曲线。
在本实例中,核函数采用高斯核函数,带宽矩阵采用对角线矩阵,置信度设置为0.98;
进一步地,通过设置异常废水指标定位目标函数,依次设置方向选择向量,计算每个废水指标在扩展字典下的重构误差,直到异常样本上的异常幅值收敛,确定异常废水指标;
其中,yf为废水处理过程存在异常的样本,yi=yf-ξifi,yi是对yf的第i维指标进行隔离,且其他维指标的取值保持不变的待重构样本,fi是yf中第i维指标的重构幅值;xri为yi在扩展字典下的稀梳编码,xri的初始值为yf在扩展字典下的稀疏编码;Rei是yf中第i个废水指标在扩展字典上的重构误差,DTD表示扩展字典;ξi表示方向选择向量,若该向量上第i个元素为1,表示此次选择了第i个指标,其他元素全为0,ξi∈Rm;和分别是通过argmin目标函数对xri和fi进行优化后得到的结果值。
不断改变方向选择向量选取的指标,例如,第1维变量表示pH值,ξ1=[1,0,0,…0,0]T表示对pH值的一个选择向量,通过找到最小的重构误差对应的i值,确定异常指标;
另一方面,一种基于迁移学习的重金属废水处理过程异常工况智能化监测装置,其特征在于,包括:
离线字典建立模块,利用历史采集的来源固定的重金属废水处理数据样本,构建离线字典;
扩展字典建立模块,利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,构建扩展字典;
控制限生成模块,用于利用扩展字典计算所有历史样本的重构误差,并采用核密度估计方法,基于所有历史样本的重构误差计算重金属废水处理过程工况中的控制限;
工况异常判断模块,用于根据扩展字典计算在线获取的待监测数据的重构误差,并将待监测数据的重构误差与控制限比较,根据比较结果判断当前重金属废水处理过程工况是否异常。
另一方面,一种计算机存储介质,用于存储程序,所述程序被执行时,用于实现上述一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法。
有益效果
本发明提出一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质,考虑到重金属废水处理过程中,废水来源各异,不同来源的废水其数据的分布差异较大,传统的方法难以准确识别重金属废水处理过程的工况;通过对不同来源的重金属废水处理过程数据融合,能够自动的实现不同来源的重金属废水处理过程异常工况智能识别;具体为利用来源固定的重金属废水处理过程的正常样本YSD、少量来源未知的重金属废水处理过程的正常样本YTD;首先通过对YSD进行学习得到其数据表示字典DSD,然后考虑到YSD和YTD分布不同,采用迁移学习的方法,将YTD的特征融入到字典学习过程,得到泛化能力更强的字典DTD。考虑到DTD既考虑了YSD的特征,同时又将YTD的分布差异性考虑到模型中,其具有更强的数据表示能力,因此能够在线准确的识别不同来源的重金属废水的异常工况。该方法无需过程先验知识,能自适应的适应废水处理系统中的不确定性因素,能够更加准确的检测过程中相关指标的变化,实现及时地检测与预警。
附图说明
图1为本发明实例的具体流程示意图。
具体实施方式
下面将结合附图和实例对本发明做进一步的说明。
如图1所示,本实例中,一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法包括:
1)利用历史采集的来源固定的重金属废水处理数据样本,构建来源固定的重金属废水处理数据样本的离线字典;
所述来源固定的重金属废水处理数据样本的离线字典的构建过程如下:
步骤1.1:历史样本采集;
利用传感器采集来源固定的重金属废水处理历史样本,来源固定的样本集合为YSD;yi表示来源固定的第i个重金属废水处理历史样本,1≤i≤Ns,每个样本包含m个废水指标{pH值、电流密度、电导率、初始重金属浓度、流量},Ns表示YSD中包含的样本个数;
步骤1.2:依据稀疏表示原理,利用字典D1和稀疏编码X表示YSD,构建离线字典学习的目标函数,并通过求解离线字典学习的目标函数,获得YSD对应的最优初始字典DSD,以及与DSD对应的稀疏编码XSD;
其中,字典D1的初始取值为从历史样本集合YSD中随机选取的K个样本按列排列形成的矩阵,K=10*m,T为稀疏编码矩阵中每一列的非零元素个数设定值,和||·||0分别表示二范数和零范数;xi表示X中的第i列。
字典D1的最终取值即为DSD,D1的初始值中每一列是一个随机选取的样本,且D1具有K列;稀疏编码X的最终取值即为XSD;XSD表示YSD在DSD下的稀疏编码,DSD中每一列表示一个字典原子;
T的取值通常设置为2;
采用K-SVD方法对所述离线字典学习的目标函数进行求解,不断更新字典D1和稀疏编码X,直到获得YSD对应的最优初始字典DSD。
采用K-SVD方法进行求解,具体地,从YSD随机选取K个样本作为字典DSD的初始值,利用正交匹配追踪算法求得稀疏编码XSD后;按列对字典D1进行更新,例如更新第k列字典原子时,可写成如下形式,表示X中的第k行。
其中,Ek等于定义集合表示中非零项所在索引的索引集。定义Ωk为N×|ωk|矩阵,它在(ωk(i),i)处的值为1,其余值均为0。将Ωk与Ek相乘后即可收缩原矩阵,对做奇异值分解后,得到dk=u(:,1),当逐列更新完之后,则利用正交匹配追踪算法交替更新稀疏编码XSD。迭代更新一定次数后,得到最优的初始字典DSD。
2)利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,获得来源未知的有效重金属废水处理数据样本对应的扩展字典;
所述利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,获得扩展字典的过程如下:
利用传感器采集来源未知的有效重金属废水处理历史样本,来源未知的有效样本集合为YTD;依据稀疏表示原理,利用初始字典DSD和对应的稀疏编码X表示YTD,构建未知来源后重金属废水处理数据样本对应的稀疏编码的目标函数,通过迁移学习,求解获得来源为未知的有效样本集合YTD对应的最优稀疏编码Xp,再利用Xp获得对应的最优字典;
其中,Dp表示迁移学习过程中的插值字典,Dp的初始值表示来源固定的重金属废水处理数据样本的离线字典对应的最优初始字典DSD,即当p=0时,D0=DSD;T为稀疏编码矩阵中每一列的非零元素个数设定值,和||·||0分别表示二范数和零范数;xi表示X中的第i列。
为了不断减小新分布数据的表示误差,并且同时保持插值字典模型的连续性,通过构建来源未知的重金属废水处理数据样本对应的字典的目标函数,求解来源为未知的有效样本集合YTD对应的最优字典;
其中,λ表示调节参数,取值范围为[1,10];D表示待求的字典,通过迭代求得的最终字典赋值给Dp+1,Dp+1表示求得的来源为未知的有效样本集合YTD对应的最优字典;
求解过程如下:
为了保证表示字典原子的L2范数等于1,再通过对扩展字典的字典原子进行缩放:
3)利用扩展字典,计算来源未知下的有效重金属废水处理数据样本的重构误差,并基于所述重构误差,利用核密度估计获得重金属废水处理过程工况中的控制限;
利用核密度估计获得重金属废水处理过程工况中的控制限,是指按照以下公式对来源未知的历史样本的重构误差计算核密度函数,且以核密度函数在设定置信度下的取值作为对应控制限:
其中,e是表示待拟合的来源未知的历史样本的重构误差的分布,ei表示第i个来源未知的历史样本的重构误差,H表示带宽矩阵,n表示历史样本的总数,K[·]表示核函数;是指在给定带宽矩阵H下,通过历来源未知的历史样本ei拟合出的曲线。
在本实例中,核函数采用高斯核函数,带宽矩阵采用对角线矩阵,置信度设置为0.98;
4)计算待监测数据yt在扩展字典DTD下的重构误差,若计算得到的重构误差小于控制限,则认为当前重金属废水处理过程未出现异常,否则,则认为当前重金属废水处理过程出现异常。
重构误差的计算是指待计算重构误差的样本采集值和该样本用扩展字典与对应稀疏编码的表示值之间的二范数计算。
基于得到的字典模型对废水处理过程工况进行异常检测及异常指标隔离:
通过设置异常废水指标定位目标函数,依次设置方向选择向量,计算每个废水指标在扩展字典下的重构误差,直到异常样本上的异常幅值收敛,确定异常废水指标;
其中,yf为废水处理过程存在异常的样本,yi=yf-ξifi,yi是对yf的第i维指标进行隔离,且其他维指标的取值保持不变的待重构样本,fi是yf中第i维指标的重构幅值;xri为yi在扩展字典下的稀梳编码,xri的初始值为yf在扩展字典下的稀疏编码;Rei是yf中第i个废水指标在扩展字典上的重构误差,DTD表示扩展字典;ξi表示方向选择向量,若该向量上第i个元素为1,表示此次选择了第i个指标,其他元素全为0,ξi∈Rm;和分别是通过argmin目标函数对xri和fi进行优化后得到的结果值。
不断改变方向选择向量选取的指标,例如,第1维变量表示pH值,ξ1=[1,0,0,…0,0]T表示对pH值的一个选择向量,通过找到最小的重构误差对应的i值,确定异常指标;
通过异常隔离能够找出废水处理过程中可能的问题,例如如果发现异常是由pH导致,未来可以通过改变药剂添加量实现pH的稳定,进而保证废水处理过程的正常运行。
基于上述方法,本发明实施例还提供一种基于迁移学习的重金属废水处理过程异常工况智能化监测装置,包括:
离线字典建立模块,利用历史采集的来源固定的重金属废水处理数据样本,构建离线字典;
扩展字典建立模块,利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,构建扩展字典;
控制限生成模块,用于利用扩展字典计算所有历史样本的重构误差,并采用核密度估计方法,基于所有历史样本的重构误差计算重金属废水处理过程工况中的控制限;
工业系统异常判断模块,用于根据扩展字典计算在线获取的待监测数据的重构误差,并将待监测数据的重构误差与控制限比较,根据比较结果判断当前重金属废水处理过程工况是否异常。
应当理解,本发明各个实施例中的功能单元模块可以集中在一个处理单元中,也可以是各个单元模块单独物理存在,也可以是两个或两个以上的单元模块集成在一个单元模块中,可以采用硬件或软件的形式来实现。
本发明实施例还提供一种计算机存储介质,用于存储程序,所述程序被执行时,用于实现一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法,其有益效果参见方法部分的有益效果,在此不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于迁移学习的重金属废水处理过程异常工况智能化监测方法,其特征在于,包括:
1)利用历史采集的来源固定的重金属废水处理数据样本,构建来源固定的重金属废水处理数据样本的离线字典;
2)利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,获得来源未知的有效重金属废水处理数据样本对应的扩展字典;
3)利用扩展字典,计算来源未知下的有效重金属废水处理数据样本的重构误差,并基于所述重构误差,利用核密度估计获得重金属废水处理过程工况中的控制限;
4)计算待监测数据yt在扩展字典DTD下的重构误差,若计算得到的重构误差小于控制限,则认为当前重金属废水处理过程未出现异常,否则,则认为当前重金属废水处理过程出现异常。
2.根据权利要求1所述的方法,其特征在于,所述来源固定的重金属废水处理数据样本的离线字典的构建过程如下:
步骤1.1:历史样本采集;
利用传感器采集来源固定的重金属废水处理历史样本,来源固定的样本集合为YSD;yi表示来源固定的第i个重金属废水处理历史样本,1≤i≤Ns,每个样本包含m个废水指标{pH值、电流密度、电导率、初始重金属浓度、流量},Ns表示YSD中包含的样本个数;
步骤1.2:依据稀疏表示原理,利用字典D1和稀疏编码X表示YSD,构建离线字典学习的目标函数,并通过求解离线字典学习的目标函数,获得YSD对应的最优初始字典DSD,以及与DSD对应的稀疏编码XSD;
3.根据权利要求2所述的方法,其特征在于,采用K-SVD方法对所述离线字典学习的目标函数进行求解,不断更新字典D1和稀疏编码X,直到获得YSD对应的最优初始字典DSD。
4.根据权利要求1所述的方法,其特征在于,所述利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,获得扩展字典的过程如下:
利用传感器采集来源未知的有效重金属废水处理历史样本,来源未知的有效样本集合为YTD;依据稀疏表示原理,利用初始字典DSD和对应的稀疏编码X表示YTD,构建未知来源后重金属废水处理数据样本对应的稀疏编码的目标函数,通过迁移学习,求解获得来源为未知的有效样本集合YTD对应的最优稀疏编码Xp,再利用Xp获得对应的最优字典;
6.根据权利要求1所述的方法,其特征在于,所述重构误差的计算是指待计算重构误差的样本采集值和该样本用扩展字典与对应稀疏编码的表示值之间的二范数计算。
8.根据权利要求1所述的方法,其特征在于,通过设置异常废水指标定位目标函数,依次设置方向选择向量,计算每个废水指标在扩展字典下的重构误差,直到异常样本上的异常幅值收敛,确定异常废水指标;
9.一种基于迁移学习的重金属废水处理过程异常工况智能化监测装置,其特征在于,包括:
离线字典建立模块,利用历史采集的来源固定的重金属废水处理数据样本,构建离线字典;
扩展字典建立模块,利用历史采集的来源未知的有效重金属废水处理数据样本,对离线字典进行迁移学习,构建扩展字典;
控制限生成模块,用于利用扩展字典计算所有历史样本的重构误差,并采用核密度估计方法,基于所有历史样本的重构误差计算重金属废水处理过程工况中的控制限;
工业系统异常判断模块,用于根据扩展字典计算在线获取的待监测数据的重构误差,并将待监测数据的重构误差与控制限比较,根据比较结果判断当前重金属废水处理过程工况是否异常。
10.一种计算机存储介质,其特征在于,用于存储程序,所述程序被执行时,用于实现如权利要求1-8任一所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010194359.2A CN111427265B (zh) | 2020-03-19 | 2020-03-19 | 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 |
| US17/908,922 US20230089156A1 (en) | 2020-03-19 | 2021-02-25 | Intelligent monitoring method and apparatus for abnormal working conditions in heavy metal wastewater treatment process based on transfer learning and storage medium |
| PCT/CN2021/077910 WO2021185044A1 (zh) | 2020-03-19 | 2021-02-25 | 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010194359.2A CN111427265B (zh) | 2020-03-19 | 2020-03-19 | 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111427265A true CN111427265A (zh) | 2020-07-17 |
| CN111427265B CN111427265B (zh) | 2021-03-16 |
Family
ID=71548055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010194359.2A Active CN111427265B (zh) | 2020-03-19 | 2020-03-19 | 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230089156A1 (zh) |
| CN (1) | CN111427265B (zh) |
| WO (1) | WO2021185044A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021185044A1 (zh) * | 2020-03-19 | 2021-09-23 | 中南大学 | 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 |
| CN116088307A (zh) * | 2022-12-28 | 2023-05-09 | 中南大学 | 基于误差触发自适应稀疏辨识的多工况工业过程预测控制方法、装置、设备及介质 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114115098A (zh) * | 2021-11-02 | 2022-03-01 | 浙江尔格科技股份有限公司 | 一种基于字典学习的冷却系统性能预警方法 |
| CN114410984B (zh) * | 2022-01-25 | 2023-11-17 | 湖南株冶有色金属有限公司 | 一种湿法炼锌浸出过程异常工况的控制方法 |
| CN115188435A (zh) * | 2022-06-20 | 2022-10-14 | 中南大学 | 地球化学异常识别方法及终端设备 |
| CN115129029B (zh) * | 2022-07-01 | 2024-07-16 | 中南大学 | 基于子领域适配字典学习的工业系统故障诊断方法和系统 |
| CN116125922B (zh) * | 2023-01-09 | 2024-06-21 | 中南大学 | 一种基于平行式字典学习的复杂工业过程监测方法和系统 |
| CN116125923B (zh) * | 2023-01-09 | 2024-06-21 | 中南大学 | 基于混合变量字典学习的混杂工业过程监测方法和系统 |
| CN116577671B (zh) * | 2023-07-12 | 2023-09-29 | 中国华能集团清洁能源技术研究院有限公司 | 电池系统异常检测方法及装置 |
| CN116776748B (zh) * | 2023-08-18 | 2023-11-03 | 中国人民解放军国防科技大学 | 喉栓式变推力发动机喉栓喷管构型设计知识迁移优化方法 |
| CN117872761B (zh) * | 2024-01-12 | 2024-11-22 | 中南大学 | 面向多变工况的字典监测模型构建、智能监测方法及系统 |
| CN118449875B (zh) * | 2024-07-08 | 2024-10-25 | 江西省气象数据中心(江西省气象档案馆) | 一种自适应的云服务器监视数据收集方法、装置及云服务器 |
| CN118817989B (zh) * | 2024-09-14 | 2024-11-15 | 天津迪源绿能化工科技有限公司 | 一种醋酸生产废水的智能处理方法 |
| CN120409831B (zh) * | 2025-06-16 | 2025-12-30 | 深圳市福田区环境技术研究所有限公司 | 基于动态流量-浓度耦合模型的电镀废水加药量预测系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012061813A1 (en) * | 2010-11-05 | 2012-05-10 | Georgetown University | Event detection, workflow analysis, and reporting system and method |
| CN104462019A (zh) * | 2014-12-18 | 2015-03-25 | 江西理工大学 | 一种稀疏表示下支持向量机核函数选择方法及其应用 |
| CN105931139A (zh) * | 2016-05-05 | 2016-09-07 | 中科智水(北京)科技有限公司 | 水务数据标准化管理系统 |
| CN105976028A (zh) * | 2016-05-11 | 2016-09-28 | 深圳市开天源自动化工程有限公司 | 一种预测a2o污水处理过程中出水cod浓度的方法 |
| US20170027168A1 (en) * | 2015-07-27 | 2017-02-02 | Stephan HEATH | Methods, products, and systems relating to making, providing, and using nanocrystalline (nc) products comprising nanocrystalline cellulose (ncc), nanocrystalline (nc) polymers and/or nanocrystalline (nc) plastics or other nanocrystals of cellulose composites or structures, in combination with other materials |
| CN108562709A (zh) * | 2018-04-25 | 2018-09-21 | 重庆工商大学 | 一种基于卷积自编码器极限学习机的污水处理系统水质监测预警方法 |
| CN108821435A (zh) * | 2018-07-11 | 2018-11-16 | 石家庄市桥西污水处理厂 | 一种污水处理中的溶氧控制方法 |
| CN109243545A (zh) * | 2018-11-21 | 2019-01-18 | 哈尔滨工业大学 | 一种基于机器学习的难降解有机污水处理效果预测方法 |
| CN110580488A (zh) * | 2018-06-08 | 2019-12-17 | 中南大学 | 基于字典学习的多工况工业监测方法、装置、设备及介质 |
| CN110826611A (zh) * | 2019-10-30 | 2020-02-21 | 华南理工大学 | 基于多个元分类器加权集成的stacking污水处理故障诊断方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104199441B (zh) * | 2014-08-22 | 2017-03-01 | 清华大学 | 基于稀疏贡献图的高炉多工况故障分离方法及系统 |
| CN104182642B (zh) * | 2014-08-28 | 2017-06-09 | 清华大学 | 一种基于稀疏表示的故障检测方法 |
| US20160358075A1 (en) * | 2015-06-08 | 2016-12-08 | The Regents Of The University Of Michigan | System for implementing a sparse coding algorithm |
| CN110579967B (zh) * | 2019-09-23 | 2020-06-30 | 中南大学 | 基于同时降维和字典学习的过程监控方法 |
| CN111427265B (zh) * | 2020-03-19 | 2021-03-16 | 中南大学 | 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 |
-
2020
- 2020-03-19 CN CN202010194359.2A patent/CN111427265B/zh active Active
-
2021
- 2021-02-25 WO PCT/CN2021/077910 patent/WO2021185044A1/zh not_active Ceased
- 2021-02-25 US US17/908,922 patent/US20230089156A1/en active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012061813A1 (en) * | 2010-11-05 | 2012-05-10 | Georgetown University | Event detection, workflow analysis, and reporting system and method |
| CN104462019A (zh) * | 2014-12-18 | 2015-03-25 | 江西理工大学 | 一种稀疏表示下支持向量机核函数选择方法及其应用 |
| US20170027168A1 (en) * | 2015-07-27 | 2017-02-02 | Stephan HEATH | Methods, products, and systems relating to making, providing, and using nanocrystalline (nc) products comprising nanocrystalline cellulose (ncc), nanocrystalline (nc) polymers and/or nanocrystalline (nc) plastics or other nanocrystals of cellulose composites or structures, in combination with other materials |
| CN105931139A (zh) * | 2016-05-05 | 2016-09-07 | 中科智水(北京)科技有限公司 | 水务数据标准化管理系统 |
| CN105976028A (zh) * | 2016-05-11 | 2016-09-28 | 深圳市开天源自动化工程有限公司 | 一种预测a2o污水处理过程中出水cod浓度的方法 |
| CN108562709A (zh) * | 2018-04-25 | 2018-09-21 | 重庆工商大学 | 一种基于卷积自编码器极限学习机的污水处理系统水质监测预警方法 |
| CN110580488A (zh) * | 2018-06-08 | 2019-12-17 | 中南大学 | 基于字典学习的多工况工业监测方法、装置、设备及介质 |
| CN108821435A (zh) * | 2018-07-11 | 2018-11-16 | 石家庄市桥西污水处理厂 | 一种污水处理中的溶氧控制方法 |
| CN109243545A (zh) * | 2018-11-21 | 2019-01-18 | 哈尔滨工业大学 | 一种基于机器学习的难降解有机污水处理效果预测方法 |
| CN110826611A (zh) * | 2019-10-30 | 2020-02-21 | 华南理工大学 | 基于多个元分类器加权集成的stacking污水处理故障诊断方法 |
Non-Patent Citations (4)
| Title |
|---|
| CHEN ZHI-MING: "Wastewater Treatment Prediction Based on Chaos-GA Optimized LS-SVM", 《2011 CHINESE CONTROL AND DECISION CONFERENCE》 * |
| HUI WEN: "Abnormal Event Detection via Adaptive Cascade Dictionary Learning", 《ICIP 2015》 * |
| 秦美华: "基于STA-K 均值聚类的电化学废水处理过程离子浓度软测量", 《化工学报》 * |
| 韩红桂: "城市污水处理过程异常工况识别和抑制研究", 《自动化学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021185044A1 (zh) * | 2020-03-19 | 2021-09-23 | 中南大学 | 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 |
| CN116088307A (zh) * | 2022-12-28 | 2023-05-09 | 中南大学 | 基于误差触发自适应稀疏辨识的多工况工业过程预测控制方法、装置、设备及介质 |
| CN116088307B (zh) * | 2022-12-28 | 2024-01-30 | 中南大学 | 基于误差触发自适应稀疏辨识的多工况工业过程预测控制方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021185044A1 (zh) | 2021-09-23 |
| CN111427265B (zh) | 2021-03-16 |
| US20230089156A1 (en) | 2023-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111427265B (zh) | 基于迁移学习的重金属废水处理过程异常工况智能化监测方法、装置及存储介质 | |
| CN115484102B (zh) | 一种面向工业控制系统的异常检测系统和方法 | |
| CN111291937A (zh) | 基于支持向量分类与gru神经网络联合的处理污水水质预测方法 | |
| CN109085805A (zh) | 一种基于多采样率因子分析模型的工业过程故障检测方法 | |
| CN116991137B (zh) | 一种面向概念漂移的可适应可解释的工控系统异常检测方法 | |
| CN112101554A (zh) | 异常检测方法及装置、设备、计算机可读存储介质 | |
| CN113051828B (zh) | 一种工艺参数驱动的天然气水露点在线预测方法 | |
| CN117668684A (zh) | 基于大数据分析的电网电能数据异常检测方法 | |
| CN115903741A (zh) | 一种工业控制系统数据异常检测方法 | |
| CN119150152A (zh) | 面向矿山安全的设备预测性维护监测方法和电子设备 | |
| CN104914227B (zh) | 基于多高斯核自优化相关向量机的污水水质软测量方法 | |
| Xu et al. | Anomaly detection with gru based bi-autoencoder for industrial multimode process | |
| CN118822158A (zh) | 智慧工地水质监测调控系统、方法及存储介质 | |
| CN118628121A (zh) | 一种短期碳排放预测方法、设备、计算机可读存储介质及产品 | |
| CN116910579A (zh) | 一种基于迁移学习的变工况机械加工颤振监测方法 | |
| CN117872761B (zh) | 面向多变工况的字典监测模型构建、智能监测方法及系统 | |
| CN118378137A (zh) | 排水管网故障确定方法、装置和设备 | |
| CN112688836A (zh) | 基于深度自编码网络的能源路由设备在线动态感知方法 | |
| Al Saadi et al. | Machine learning-based modeling of capacitive deionization efficiency: a comparative study of artificial neural network and decision tree approaches | |
| CN119784262B (zh) | 灌溉泵站运行效率综合评价模型训练方法 | |
| CN121034037A (zh) | 基于恒虚警的异常水质预警方法、系统、装置及介质 | |
| CN120143115A (zh) | 基于自组织神经网络和模糊物理匹配的声速剖面获取方法 | |
| CN120955669A (zh) | 一种基于光伏系统的谐波潮流耦合模型的潮流计算方法 | |
| CN119727599A (zh) | 一种自适应卡尔曼滤波光伏发电电能效率监测方法 | |
| Chen et al. | Adaptivevariationalempiricalmodedecomposition aware intelligentdata-drivenmodelingforcomplex industrial processes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |