CN113836808A

CN113836808A - 一种基于重污染特征约束的pm2.5深度学习预测方法

Info

Publication number: CN113836808A
Application number: CN202111128865.2A
Authority: CN
Inventors: 周聪; 王瑾; 李孝林; 吕雪松; 吴江涛; 张午
Original assignee: Suzhou Lanzhang Technology Co ltd
Current assignee: Suzhou Lanzhang Technology Co ltd
Priority date: 2021-09-26
Filing date: 2021-09-26
Publication date: 2021-12-24

Abstract

本发明公开了一种基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，包括建立PM2.5重污染特征案例库和PM2.5深度学习预测模型，所述PM2.5深度学习预测模型的建立基于所述PM2.5重污染特征案例库的重污染特征约束。本发明提供一种新型PM2.5深度学习预测方法，创新性地将外来输送特征考虑到PM2.5污染预报中，联合污染本地气象条件，建立重污染特征案例库，并且将卷积神经网络和长短期记忆神经网络相结合，自动提取PM2.5时空特征，使模型具备地理意义，将重污染特征约束加入损失函数，同时考虑到常规数据本身和实际污染事件两大因素，进一步提升模型预报精度及其可解释性，更适用于大气PM2.5研究。

Description

一种基于重污染特征约束的PM2.5深度学习预测方法

技术领域

本发明涉预报预警领域，具体涉及一种基于重污染特征约束的PM2.5深度学习预测方法。

背景技术

随着我国工业化、城市化的不断发展，环境污染问题逐渐突出，大气细颗粒物PM2.5在降低大气能见度、人类健康、气候方面起着重要作用，对其进行浓度实时监测及预报预警，是国家改善空气质量的基本需求，能够为环境政策的制定、公共健康研究的开展，以及提前制定有效的预防和治理措施，降低重污染天气带来的不利影响等提供基础数据支撑，具有重要科学与现实意义，是当前建设生态文明社会的迫切需要。受污染源排放清单、气象初始场、大气化学反应机理等各方面因素影响，当前空气质量预报系统的精度还无法满足实际应用需求。

传统空气质量预测预报一般采用统计方法和数值模型两种。统计方法，如多元线性回归，根据气象与污染物浓度等资料，建立定量关系，无法揭示污染物及其影响因子之间的非线性复杂关系，预报精度较低。数值模型通过对空气质量的输送、扩散采用复杂方程进行解析，利用数值模拟方法求解，物理意义明确，但是其需要高精度动态的污染源排放清单，模式复杂成本高，难以全面开展应用。近年来，深度学习因其优越的非线性表达能力，被较多地应用到PM2.5的预测中，如卷积神经网络CNN、长短期记忆网络LSTM等，取得了精度较高的预测效果。但是，深度学习模型常被视为黑盒子，不能探究大气扩散的机理，且相关研究显示，当PM2.5浓度较高时，模型很难学习到过高数值，即对重污染天气的预报能力欠缺

发明内容

本发明要解决的技术问题是提供一种基于重污染特征约束的PM2.5深度学习预测方法，创新性地将外来输送特征考虑到PM2.5污染预报中，联合污染本地气象条件，建立重污染特征案例库，并且将卷积神经网络和长短期记忆神经网络相结合，自动提取PM2.5时空特征，使模型具备地理意义，将重污染特征约束加入损失函数，同时考虑到常规数据本身和实际污染事件两大因素，进一步提升模型预报精度及其可解释性，更适用于大气PM2.5研究。

为了解决上述技术问题，本发明提供了一种基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，包括建立PM2.5重污染特征案例库和PM2.5深度学习预测模型，所述PM2.5深度学习预测模型的建立基于所述PM2.5重污染特征案例库的重污染特征约束；

所述PM2.5深度学习预测模型的建立包括如下步骤：(1)根据环境监测PM2.5污染物浓度、气象因子数据、自然和人为数据，以PM2.5为预测目标污染物，构建目标城市的PM2.5浓度预测模型；(2)对初始样本数据集去噪，消除异常值，插补缺失值；并进行归一化处理；(3)对标准化后的样本数据集划分为训练集、验证集和测试集；并完成对PM2.5浓度预测模型的初始化；(4)利用步骤三中训练集的训练数据对PM2.5浓度预测模型进行训练，并采用验证集的验证数据进行验证；(5)利用训练完成的PM2.5浓度预测模型对步骤三中测试集的测试数据进行预测；(6)判定测试数据的预测结果准确性，若准确性超过阈值，则执行步骤七，若准确性不超过阈值，则返回步骤三：(7)得到最终的PM2.5深度学习预测模型，进行预测。

进一步地，所述PM2.5重污染特征案例库的建立包括如下步骤：(A)收集目标城市长时间序列PM2.5污染物浓度和气象因子的观测资料，并且同时收集目标城市历年PM2.5与气象要素的观测数据，按时间排序获得PM2.5实测浓度变化序列，得到时间序列数据；(B)结合统计分析方法研究在不同时间尺度上气象因子对PM2.5浓度分布的影响，对步骤A中得到的时间序列数据进行预处理；(C)针对空气污染现象，系统研究污染天气特征，对步骤B中的结果进行筛选，获得中度污染、重度污染、严重污染三个等级下的天气特征，由此建立空气污染案例库；(D)采用时间序列相似性方法衡量两个不同时间序列之间距离远近程度，计算任意两组相关气象要素时间序列之间的相似度；(E)采用气团后向轨迹模拟方法开展目标城市重污染事件的远距离外来输送分析，并采用欧式距离进行聚类分析，作为重污染特征中的外来输送特征；(F)重污染特征包括本地气象条件及其相似性、外来输送轨迹及其聚类类型两种特征，由此建立PM2.5重污染特征案例库。

进一步地，所述气象要素包括不同高度下的温度、湿度、风速、风向和降水数据。

进一步地，所述步骤B中的预处理包括对数据的异常值去除、缺失值插补和归一化。

进一步地，所述步骤B中包括采用相关分析法获得筛选获得与PM2.5浓度时空分布密切相关的气象要素；并按照PM2.5污染等级划分标准将不同等级的PM2.5时间序列及其对应的气象因子序列归类。

进一步地，所述PM2.5深度学习预测模型利用卷积神经网络提取空间特征，提取完成后输入长短期记忆神经网络提取时间特征。

进一步地，所述PM2.5深度学习预测模型的损失函数为常规项和所述PM2.5重污染特征案例库的重污染特征约束之和，所述常规项采用真实值与预测值的误差，使用均方误差表示。

进一步地，所述重污染特征约束由本地气象条件和外来输送特征组合计算而成。

进一步地，所述步骤六中的判定方法为基于年际及站点的评价方法，指标包括均方误差、均方根误差、平均绝对误差和决定系数。

本发明的有益效果：(1)将外来输送特征考虑到PM2.5污染预报中，联合污染本地气象条件，建立重污染特征案例库；

(2)将卷积神经网络和长短期记忆神经网络相结合，自动提取PM2.5时空特征，使模型具备地理意义；

(3)将重污染特征约束加入损失函数，同时考虑到常规数据本身和实际污染事件两大因素，进一步提升模型预报精度及其可解释性，更适用于大气PM2.5研究。

附图说明

图1是本发明的整体方法流程图。

图2是本发明的重污染特征提取方法流程图。

图3是本发明的重污染特征约束PM2.5深度学习预测模型示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参照图1至图3所示，本发明的一种基于重污染特征约束的PM2.5深度学习预测方法的一实施例，包括建立PM2.5重污染特征案例库和PM2.5深度学习预测模型，所述PM2.5深度学习预测模型的建立基于所述PM2.5重污染特征案例库的重污染特征约束。

PM2.5深度学习预测模型的建立包括如下步骤：(1)根据环境监测PM2.5污染物浓度、气象因子数据、自然和人为数据，以PM2.5为预测目标污染物，构建目标城市的PM2.5浓度预测模型；(2)对初始样本数据集去噪，消除异常值，插补缺失值；并进行归一化处理；(3)对标准化后的样本数据集划分为训练集、验证集和测试集；并完成对PM2.5浓度预测模型的初始化；(4)利用步骤三中训练集的训练数据对PM2.5浓度预测模型进行训练，并采用验证集的验证数据进行验证；(5)利用训练完成的PM2.5浓度预测模型对步骤三中测试集的测试数据进行预测；(6)判定测试数据的预测结果准确性，若准确性超过阈值，则执行步骤七，若准确性不超过阈值，则返回步骤三：(7)得到最终的PM2.5深度学习预测模型，进行预测。

PM2.5重污染特征案例库的建立包括如下步骤：(A)收集目标城市长时间序列PM2.5污染物浓度和气象因子的观测资料，并且同时收集目标城市历年PM2.5与气象要素的观测数据，按时间排序获得PM2.5实测浓度变化序列，得到时间序列数据；(B)结合统计分析方法研究在不同时间尺度上气象因子对PM2.5浓度分布的影响，对步骤A中得到的时间序列数据进行预处理；(C)针对空气污染现象，系统研究污染天气特征，对步骤B中的结果进行筛选，获得中度污染、重度污染、严重污染三个等级下的天气特征，由此建立空气污染案例库；(D)采用时间序列相似性方法衡量两个不同时间序列之间距离远近程度，计算任意两组相关气象要素时间序列之间的相似度；(E)采用气团后向轨迹模拟方法开展目标城市重污染事件的远距离外来输送分析，并采用欧式距离进行聚类分析，作为重污染特征中的外来输送特征；(F)重污染特征包括本地气象条件及其相似性、外来输送轨迹及其聚类类型两种特征，由此建立PM2.5重污染特征案例库。

具体使用方法如下：首先收集本地气象要素数据，主要包括地面监测站点数据：温度、湿度、降水、气压、风速、风向等，NCEP/NCAR再分析资料：地表温度、位温、降水、地表压强、相对湿度、海平面气压、风向、风速、比湿及云覆盖量气象参数。同时，开展气团后向轨迹分析，应用美国海洋和大气管理局(NOAA)开发的HYSPLIT模式分析天气过程的后向轨迹，选择垂直方向不同初始高度进行气团运移轨迹模拟。两者结合构成此污染事件下的重污染特征案例库。

重污染特征案例库包含本地气象条件与输送特征两部分，当发生重污染事件时，将对应的气象条件进行收集并预处理，采用Person相关系数对PM2.5与各气象要素之间的相关性进行分析，选取相关系数较高(abs(r)>0.5)的气象要素作为相关气象要素记录；进一步，将同一污染事件下的相关气象要素组成一个序列，并采用时间序列相似性衡量两个不同时间序列之间距离远近程度，计算任意两组相关气象要素时间序列之间的相似度，采用动态时间规整(DTW)方法计算，方法如下：

首先任取两个气象要素序列，设为P＝(p1，p2，…，pn)和Q＝(q1，q2，…，qm)，长度分别为n和m，函数d(i,j)＝f(p_i,q_j)≥0为序列中点到点的距离函数，使用欧式距离表示，构建序列P和Q的距离矩阵D。DTW的目标是最小化两条时序数据中所有对应数据点的局部距离值之和，采用动态规划思想，递归公式为：

DTW(i,j)＝d(p_i+q_j)+min{DTW(i-1,j),DTW(i-1,j-1),DTW(i,j-1)}

式中，DTW(0,0)＝0。

将所有相似性值中最小的相似性值设为阈值τ，记入案例库。

利用GFS全球气象数据提供的0.25°×0.25°资料，以上海(31.22°N、121.48°E)为研究对象，从污染过程时刻开始追踪过去72h内气团传输路径，得到气团后向轨迹图，时间步长为6h，时间分辨率为1h，模拟起始高度选为500m、1000m、1500m。进一步采用欧式距离(Euclidean Distance)算法对气团轨迹进行聚类分析，并记录特征输送轨迹及其聚类结果。

上述联合构建重污染特征案例库。后续在使用期间，随着时间的推移，重污染特征案例库不断增加，若某时段发生重污染事件，则更新重污染特征案例库。

图1中第二部分是建立PM2.5深度学习模型，以上述重污染特征案例库作为模型约束。模型输入数据包括气象、自然、人为及空气质量等长时间序列历史数据，模型首先采用深度卷积神经网络CNN提取空间特征，其次将其输入长短期记忆神经网络LSTM进一步提取时间特征，两者融合能够表达PM2.5浓度的时空分布特征，提升模型准确性。具体方式如图3所示。

首先是数据采集，获取2014-2019年的自然数据、人为数据、空气质量数据、气象数据等；其次是对样本数据集进行预处理，主要包括异常值去除、缺失值插补、归一化处理等操作，得到最终历史时间序列数据集；再次进行数据集划分，将时间序列数据集以7：2：1的比例划分为训练集、验证集及测试集；最后根据定义好的模型结构搭建深度学习网络，包括CNN，用于接收处理后的训练数据，通过卷积层、池化层压缩和提取空间特征，LSTM用于接收CNN层的输出，提取时间序列特征，生成最终预测结果。

本实施例中选取Min-max标准化方法进行归一化处理，具体公式如下：

式中，y是归一化之后的数据；x是原始数据；x_min是原始数据集中的最小值；x_max是原始数据集中的最大值。

深度学习模型的损失函数定义为常规项和重污染特征约束项之和，其中，常规项为真实值与预测值的误差，使用均方误差(Mean Squared Error，MSE)来表达，记为Loss_normal：

Loss_normal＝MSE，MSE是真实值与预测值差值的平方后求和平均。其计算方法为：

其中，

为预测值，y_i为真实值，m为样本个数。

重污染特征约束项分两部分，一是针对本地气象条件，依次计算其与案例库中气象要素的相似度，查找相似度高的污染浓度序列，若其相似度大于案例库阈值τ，则计算两者对应的污染物浓度的MSE，计为Loss_highM；

二是针对外来输送特征，首先判断其所属聚类类型，若属于重污染特征案例库中的外来输送聚类，则计算当前输送轨迹与该聚类内的输送轨迹的空间相似性，空间相似性计算方法为依次查找所有轨迹点的最邻近点，然后求两者欧式距离，最后对所有欧氏距离进行平均处理，查找空间相似度高(即欧氏距离最小)的污染浓度序列，计算其MSE，计为Loss_highH：

所述深度学习模型的损失函数则据此将数据项和重污染特征项相融合：

根据公式，当本地气象条件或外来输送特征的相似度满足上述条件则加为损失函数，否则只计算Loss_normal。

进一步，深度学习模型的评价方法为yearly-based和station-based验证方法，评价指标包括MSE、RMSE(Root Mean Squared Error)均方根误差、MAE(Mean absoluteError)平均绝对误差、R-Squared决定系数，公式分别如下。当R²值越大、其他指标值越小时，模型的预测效果越好。

评价指标计算方法：

其中，

为预测值，y_i为真实值，

表示平均值，m为样本个数

采用验证后得到的有效模型对测试集进行预测，评价模型精度。

模型确定后，可用于PM2.5预报预警。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims

1.一种基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，包括建立PM2.5重污染特征案例库和PM2.5深度学习预测模型，所述PM2.5深度学习预测模型的建立基于所述PM2.5重污染特征案例库的重污染特征约束；

2.如权利要求1所述的基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，所述PM2.5重污染特征案例库的建立包括如下步骤：(A)收集目标城市长时间序列PM2.5污染物浓度和气象因子的观测资料，并且同时收集目标城市历年PM2.5与气象要素的观测数据，按时间排序获得PM2.5实测浓度变化序列，得到时间序列数据；(B)结合统计分析方法研究在不同时间尺度上气象因子对PM2.5浓度分布的影响，对步骤A中得到的时间序列数据进行预处理；(C)针对空气污染现象，系统研究污染天气特征，对步骤B中的结果进行筛选，获得中度污染、重度污染、严重污染三个等级下的天气特征，由此建立空气污染案例库；(D)采用时间序列相似性方法衡量两个不同时间序列之间距离远近程度，计算任意两组相关气象要素时间序列之间的相似度；(E)采用气团后向轨迹模拟方法开展目标城市重污染事件的远距离外来输送分析，并采用欧式距离进行聚类分析，作为重污染特征中的外来输送特征；(F)重污染特征包括本地气象条件及其相似性、外来输送轨迹及其聚类类型两种特征，由此建立PM2.5重污染特征案例库。

3.如权利要求2所述的基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，所述气象要素包括不同高度下的温度、湿度、风速、风向和降水数据。

4.如权利要求2所述的基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，所述步骤B中的预处理包括对数据的异常值去除、缺失值插补和归一化。

5.如权利要求2所述的基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，所述步骤B中包括采用相关分析法获得筛选获得与PM2.5浓度时空分布密切相关的气象要素；并按照PM2.5污染等级划分标准将不同等级的PM2.5时间序列及其对应的气象因子序列归类。

6.如权利要求1所述的基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，所述PM2.5深度学习预测模型利用卷积神经网络提取空间特征，提取完成后输入长短期记忆神经网络提取时间特征。

7.如权利要求1所述的基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，所述PM2.5深度学习预测模型的损失函数为常规项和所述PM2.5重污染特征案例库的重污染特征约束之和，所述常规项采用真实值与预测值的误差，使用均方误差表示。

8.如权利要求1所述的基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，所述重污染特征约束由本地气象条件和外来输送特征组合计算而成。

9.如权利要求1所述的基于重污染特征约束的PM2.5深度学习预测方法，其特征在于，所述步骤六中的判定方法为基于年际及站点的评价方法，指标包括均方误差、均方根误差、平均绝对误差和决定系数。