CN106228296A - 用于架空输电线负荷评估的气象大数据的筛选预处理方法 - Google Patents

Abstract

本发明公开了一种用于架空输电线负荷评估的气象大数据的筛选预处理方法，包括以下步骤：S1、对源数据进行筛选；S2、对于源数据中丢失的数据利用大数据的改进插值拟合的方法进行补充。该方法对影响输电线路负荷能力的气象数据进行筛选和去噪，通过从原始气象数据的预处理，包括去噪以及插值补充，提高了源数据的利用率与准确性，在具体实现上，通过MATLAB编程调用工具箱，实现起来简洁方便。本发明可有效处理用于架空输电线路负荷评价的大量气象数据的筛选与预处理，并作为有效分析架空输电线负荷评估的气象大数据关联关系的基础。

Description

用于架空输电线负荷评估的气象大数据的筛选预处理方法

技术领域

本发明涉及气象大数据筛选预处理的技术领域，特别涉及一种用于架空输电线负荷评估的气象大数据的筛选预处理方法。

背景技术

随着科技的进步，电力工作人员对负荷预测准确程度的要求越来越高，要求对内部和外部影响的因素进行全面梳理，建立合理的数学模型，制定合理的计算方法，让负荷预测结论做到快、精、细、准，做到合理调度电力负荷。电力负荷受各种因素的影响尤其是气候因素的影响特别明显，因此有必要研究出电力负荷与各主要影响因素之间的关系及相关程度，从而大大提升电力负荷预测的精度，确保电力供需达到平衡，不再出现“拉闸限电”现象。

通过对电力负荷的跟踪调查，发现气象因素的变化影响电网负荷的变化，特别是随着智能电网的建设、智能家电的普及和应用以及人民群众生活水平的不断提升，对居住环境舒适度的要求越来越高，气象因素的变化对电力负荷变化影响程度也越来越大。因此有必要研究气象因素对电力负荷影响的规律，从而在一定程度上提高电力负荷预测的精度，保证电力很好的服务于地方经济发展，提供可靠的电网支撑，提供优质的电力服务。

为了更好地对相关的关键因素进行大数据的处理建模，必须要对原始数据进行一定的修正与补足，进而提高整个模型的准确性与完整性。其中插值运算是根据数据的分布规律，找到一个函数表达式可以连接已知的各点，并用此函数表达式预测两点之间任意位置上的函数值。而如果能够利用插值中的多维插值的方法，便可对多维气象大数据进行统一的预处理，大大提高整个建模效率。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种用于架空输电线负荷评估的气象大数据的筛选预处理方法，通过对气象大数据进行去噪和标准化，可促进建立不同因素之间的关联关系，进而有效提高输电线路负荷实时监测与动态增容能力。

本发明的目的通过下述技术方案实现：

一种用于架空输电线负荷评估的气象大数据的筛选预处理方法，所述筛选预处理方法包括下列步骤：

S1、对源数据进行筛选，该步骤具体包括：

S101、从源数据中分析找出噪声数据与坏数据；

S102、采用相似性方法设置数据合理的阈值范围，对超出范围的数据进行剔除；

S2、对于源数据中丢失的数据利用大数据的改进插值拟合的方法进行补充，该步骤具体包括：

S201、从源数据中分析找出丢失的数据；

S202、确定进行插值拟合的区域范围以及相关参数；

S203、使用多维插值的命令进行插值补充，在离散的原始气象大数据的基础上补插连续函数；

S204、在每两个坐标轴上使用二维插值的方法，进行修正，并且对比不同的参数设置，选择最佳方案；

S205、画出插值拟合图像；

S206、对原图像进行上色以及光滑处理。

进一步地，所述步骤S101、从源数据中分析找出噪声数据与坏数据具体过程如下：

通过设置不同温度的阈值，若温度间的变化超过阈值设定的范围，即其中α(t),β(t)为设置的阈值，则判断该数据为噪声数据与坏数据。

进一步地，所述步骤S102、采用相似性方法设置数据合理的阈值范围，对超出范围的数据进行剔除具体过程如下：

对于给定原始数据：

如果有其中α(t),β(t)为阈值，则用下式对x(i,t)进行修复：

其中

而x(i,t)表示第i天第t时刻的数据。

进一步地，所述步骤S203、使用多维插值的命令进行插值补充具体过程如下：

使用Matlab中的n维插值函数

VI＝interpn(X1,X2,X3...V,Y1,Y2,Y3,…,method)

对源数据进行插值补充。

本发明相对于现有技术具有如下的优点及效果：

本发明提出的用于架空输电线负荷评估的气象大数据的筛选预处理方法，通过从原始气象数据的预处理，包括去噪以及插值补充，提高了源数据的利用率与准确性，在具体实现上，通过MATLAB编程调用工具箱，实现起来简洁方便。本发明可有效处理用于架空输电线路负荷评价的大量气象数据的筛选与预处理，并作为有效分析架空输电线负荷评估的气象大数据关联关系的基础。

附图说明

图1是本发明中公开的用于架空输电线负荷评估的气象大数据的筛选预处理方法的流通步骤图；

图2(a)是使用MATLAB实现一组三维原始数据的插值补充的示意图；

图2(b)是使用MATLAB实现一组三维原始数据的插值补充的涂色后的示意图；

图2(c)是使用MATLAB实现一组三维原始数据的插值补充的涂色并进行光滑处理后的示意图；

图3(a)是经过数据预处理之后的数据进行三维插值补充的上色并光滑处理后的示意图；

图3(b)是经过数据预处理之后的数据进行三维插值补充后在底面坐标的投影示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

对于绝大部分地区而言，气象因素是影响架空输电线路负荷的主要影响因素。正确分析关于架空输电线负荷的气象大数据之间以及气象大数据与架空输电线数据的相互关联关系对于增大架空输电线负荷评估的正确性具有重大意义。影响架空输电线负荷的气象因素有很多。为了计算架空输电线负荷的气象大数据之间以及气象大数据与架空输电线数据的相互关联关系的前提必须按是提取气象因素关键信息，如温度、湿度、风向、风速等，并对这些关键信息的数据进行标准化处理，同时对于架空输电线路主要指标和常规负荷进行筛选与去噪，才能进行后期建模分析。

请参见图1，图1是本实施例中公开的用于架空输电线负荷评估的气象大数据的筛选预处理方法的流通步骤图。在本实施例中使用代表位置和温度的三维数据进行描述。本专利使用插值方法对原始数据进行补充，而对于其中的异常数据采取设置标准阈值的方法进行剔除。图1所示的用于架空输电线负荷评估的气象大数据的筛选预处理方法，具体包括以下步骤：

S1、对源数据进行筛选；

该步骤具体又包括下列子步骤：

S101、从源数据中分析找出噪声数据与坏数据；

通过分析所研究的区域以及最终的应用选择，初步找出对于所要研究的问题中有干扰的以及不合理的数据。

具体应用中，通过设置不同温度的阈值，若温度间的变化超过阈值设定的范围，即其中α(t),β(t)为设置的阈值，则认为该数据对于所要研究的问题是有干扰的以及不合理的噪声数据与坏数据。

S102、采用相似性方法设置数据合理的阈值范围，对超出范围的数据进行剔除；

具体应用中，该步骤的过程如下：

对于给定原始数据：

如果有其中α(t),β(t)为阈值，则需要用下式对x(i,t)进行修复：

其中

而x(i,t)表示第i天第t时刻的数据。在这里X轴、Y轴分别代表图中坐标，可以通过X、Y的值来唯一确定给定数据在图中的位置。

S2、对于源数据中丢失的数据利用大数据的改进插值拟合的方法进行补充；

该步骤又包括下列子步骤：

S201、从源数据中分析找出丢失的数据；

分析所研究的区域以及最终的研究目的，找出对于所要研究的问题中所缺少的数据以及必要数据。即对于研究的某坐标或者区域的气象数据没有出现在原始数据中，则认为该坐标或者区域的数据为丢失的数据。

S202、确定进行插值拟合的区域范围以及相关参数；

在本实施例中，随机选取一块区域作为具体实施例来进行说明，经过如上处理后的数据格的具体数值在Matlab中的格式如下所示：

x＝0:400:5600；

y＝0:400:4800；

z＝[370 470 550 600 670 690 670 620 580 450 400 300 100 150 250；...

510 620 730 800 850 870 850 780 720 650 500 200 300 350 320；...

650 760 880 970 1020 1050 1020 830 900 700 300 500 550 480 350；...

740 880 1080 1130 1250 1280 1230 1040 900 500 700 780 750 650 550；...

830 980 1180 1320 1450 1420 1400 1300 700 900 850 840 380 780 750；...

880 1060 1230 1390 1500 1500 1400 900 1100 1060 950 870 900 930950；...

910 1090 1270 1500 1200 1100 1350 1450 1200 1150 1010 880 1000 10501100；...

950 1190 1370 1500 1200 1100 1550 1600 1550 1380 1070 900 1050 11501200；...

1430 1430 1460 1500 1550 1600 1550 1600 1600 1600 1550 1500 1500 15501550；...

1420 1430 1450 1480 1500 1550 1510 1430 1300 1200 980 850 750 550500；...

1380 1410 1430 1450 1470 1320 1280 1200 1080 940 780 620 460 370350；...

1370 1390 1410 1430 1440 1140 1110 1050 950 820 690 540 380 300210；...

1350 1370 1390 1400 1410 960 940 880 800 690 570 430 290 210 150]；

其中在这里，X表示从[0,5600]的范围内，Y表示从[0,4800]的范围内的一块随机选取的区域，均以400为间隔进行分割，而Z轴数据表示转换后的温度的数值(均以随机数值表示，根据不同的实际数据进行替换)。

S203、使用Matlab中多维插值的命令进行插值补充，在离散的原始气象大数据的基础上补插连续函数；

由于数据量仅有有限多点，为得到更多的未知地点的数据则通过Matlab中的多维插值的命令进行插值补充，在离散的原始气象大数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点，以此得到更多的未知地点温度数据。

在主要采用多维插值的方法n维插值基础上：

VI＝interpn(X1,X2,X3...V,Y1,Y2,Y3,…,method)

S204、在每两个坐标轴上使用二维插值的方法，进行修正，并且对比不同的参数设置，选择最佳方案；

S205、画出插值拟合图像；

具体应用中，为了使拟合的结果更直观，通过Matlab自带的画图函数surfc在三维空间画出插值拟合后的数据。

S206、对原图像进行上色以及光滑处理，使得最终结果更加光滑与准确。

具有应用中，该步骤对原图像进行上色以及光滑处理，使得最终结果更加光滑与准确。同时如图2(a)、图2(b)以及图2(c)所示，将使用不同参数的多维插值方法放到同一图进行比较，具体实施通过Matlab自带的画图函数subplot实施。

如图3(a)和图3(b)所示，经过上述的对于原始气象大数据的数据预处理得到一组三维用于架空输电线路负荷评估的原始气象大数据的插值补充。

另外除了使用上述interpn函数进行插值拟合外，可以通过如下对于原始数据的拟合处理进行原始数据的预处理，并直接画出数据预处理后的图像：

[X,Y,Z]＝griddata(x,y,z,linspace(min(x),max(x))',linspace(min(y),max(y)),'v4')

最后使用Ndgrid函数产生n维空间上的栅格，具体使用格式如下：

[X1,X2,X3]＝ndgrid(x1,x2,x3,…)

按照上述去噪与预处理方法推广到其他区域进行拟合检验，进行之后的主成分(PCA)分析方法，进而为效分析架空输电线负荷评估的气象大数据关联关系打下基础。)

对原始数据进行预处理，消除数据“噪音”并补足缺少的数据之后，便可进一步进行之后的主成分(PCA)分析方法，进而为效分析架空输电线负荷评估的气象大数据关联关系打下基础。

综上所述，本发明提出的用于架空输电线负荷评估的气象大数据的筛选预处理方法，通过从原始气象数据的预处理，包括去噪以及插值补充，提高了源数据的利用率与准确性，在具体实现上，通过MATLAB编程调用工具箱，实现起来简洁方便。本发明可有效处理用于架空输电线路负荷评价的大量气象数据的筛选与预处理，并作为有效分析架空输电线负荷评估的气象大数据关联关系的基础。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种用于架空输电线负荷评估的气象大数据的筛选预处理方法，其特征在于，所述筛选预处理方法包括下列步骤：

S1、对源数据进行筛选，该步骤具体包括：

S101、从源数据中分析找出噪声数据与坏数据；

S102、采用相似性方法设置数据合理的阈值范围，对超出范围的数据进行剔除；

S2、对于源数据中丢失的数据利用大数据的改进插值拟合的方法进行补充，该步骤具体包括：

S201、从源数据中分析找出丢失的数据；

S202、确定进行插值拟合的区域范围以及相关参数；

S203、使用多维插值的命令进行插值补充，在离散的原始气象大数据的基础上补插连续函数；

S204、在每两个坐标轴上使用二维插值的方法，进行修正，并且对比不同的参数设置，选择最佳方案；

S205、画出插值拟合图像；

S206、对原图像进行上色以及光滑处理。

2.根据权利要求1所述的用于架空输电线负荷评估的气象大数据的筛选预处理方法，其特征在于，所述步骤S101、从源数据中分析找出噪声数据与坏数据具体过程如下：

通过设置不同温度的阈值，若温度间的变化超过阈值设定的范围，即其中α(t),β(t)为设置的阈值，则判断该数据为噪声数据与坏数据。

3.根据权利要求2所述的用于架空输电线负荷评估的气象大数据的筛选预处理方法，其特征在于，所述步骤S102、采用相似性方法设置数据合理的阈值范围，对超出范围的数据进行剔除具体过程如下：

对于给定原始数据：

如果有其中α(t),β(t)为阈值，则用下式对x(i,t)进行修复：

其中

而x(i,t)表示第i天第t时刻的数据。

4.根据权利要求1所述的用于架空输电线负荷评估的气象大数据的筛选预处理方法，其特征在于，

所述步骤S203、使用多维插值的命令进行插值补充具体过程如下：

使用Matlab中的n维插值函数

VI＝interpn(X1,X2,X3...V,Y1,Y2,Y3,…,method)

对源数据进行插值补充。