[go: up one dir, main page]

CN109816428A - 一种基于大数据机器学习的用水量分析系统及方法 - Google Patents

一种基于大数据机器学习的用水量分析系统及方法 Download PDF

Info

Publication number
CN109816428A
CN109816428A CN201811554608.3A CN201811554608A CN109816428A CN 109816428 A CN109816428 A CN 109816428A CN 201811554608 A CN201811554608 A CN 201811554608A CN 109816428 A CN109816428 A CN 109816428A
Authority
CN
China
Prior art keywords
data
module
core
water consumption
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811554608.3A
Other languages
English (en)
Inventor
郭华
翁正科
邓良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN DONGSHEN ELECTRONIC CO LTD
Original Assignee
SHENZHEN DONGSHEN ELECTRONIC CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN DONGSHEN ELECTRONIC CO LTD filed Critical SHENZHEN DONGSHEN ELECTRONIC CO LTD
Priority to CN201811554608.3A priority Critical patent/CN109816428A/zh
Publication of CN109816428A publication Critical patent/CN109816428A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据机器学习的用水量分析系统及方法,其中,分析系统包括:数据采集模块,用于采集城区管网关键位置的数据;城区管网通讯终端,用于将数据采集模块采集到的数据实时传输到数据库存储模块;数据库存储模块,将数据进行系统的分类及归档;数据预处理模块,将不合格的数据进行剔除,保留关键的核心数据;核心数据服务器,对保留的核心数据进行处理和计算,并将各类数据结果保存于核心数据库模块;系统预判模块,对城区管网中是否存在不合理用水的区域系统进行预判;处理机制模块,对发生的事故需要采取的措施给出合理化建议。本发明可指导相关水司日常的供水、调度等工作,极大地提高了相关的工作人员的管理效率。

Description

一种基于大数据机器学习的用水量分析系统及方法
技术领域
本发明涉及城区管网智慧化管理及大数据运用领域,具体为一种基于大数据机器学习的用水量分析系统及方法,可指导相关水司日常的供水、调度等工作,极大地提高了相关的工作人员的管理效率。
背景技术
当前我国面临着技术升级及经济转型的关键时期,工农业及居民生活用水量突出,城区管网事故频发,给居民的日常生活带来了较大的影响。
水资源的重要性不言而喻,水资源是基础性资源,是生态环境的控制性要素,同时又是战略性经济资源,为综合国力的有机组成部分。根据联合国可持续发展委员会等7个有关组织对全世界153个国家和地区所做的调查,我国年人均水资源量为2220m3,排在第121位,接近“用水紧张国家”,已被联合国列为13个贫水国之一。因此,面对日益严峻的水资源供需形势,以及工业飞速发展的态势,对未来需水量进行预测,并制定切实可行的节水措施,是当前解决我国可持续发展的重要任务之一。
基于如今城区管网供水的技术方案中,对于城区供水量的控制及分配,对居民用水及工业供水的水量只能依据水表的计量做出相应的记录,没有对用水量的多少进行系统的分析,不能给出科学合理的供水计划,从而对指导水司生产水量带来了较大的困扰。
基于现在的城区管网错综复杂,影响供水稳定性及水量波动性的因素颇多,根据大数据记录的数据,基于机器学习的运算方法,给出供水量波动的具体影响因素,并针对相应的问题给出合适的解决方案及措施。
基于城区管网供水的技术方案中,由于对需水量的预测是基于各种模型建立的,模型的建立与实际情况还是存在偏差,只能片面的给出预测值,不能完全反应实际情况,不能直接作为水司的供水生产的指导数据。
随着计算机水平的提高和互联网的迅速发展,对于城区管网的管理理念及技术要求给出了更高的定义。在国内,随着大数据在各行各业中的运用,为利用大数据技术和相关的理论分析和推理计算分析管网系统提供了条件,但是,目前市场上针对运用大数据解决城区管网的系统还很少。
发明内容
本发明的目的在于提供一种基于大数据机器学习的用水量分析系统及方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于大数据机器学习的用水量分析系统,包括:
数据采集模块,用于采集城区管网关键位置的数据,包括流量、压力、余氯和浊度实时数据;
城区管网通讯终端,用于将数据采集模块采集到的数据实时传输到数据库存储模块;
数据库存储模块,将数据进行系统的分类及归档,将整理好的数据以数据包的形式发送至数据预处理模块;
数据预处理模块,将不合格的数据进行剔除,保留关键的核心数据,并对核心数据进行保存,后端记录数据缺失的时间节点;
核心数据服务器,对保留的核心数据进行处理和计算,并将各类数据结果保存于核心数据库模块,通过大数据的归纳及整合,对用水量的情况进行综合评价及反馈;
系统预判模块,结合用水量的情况、综合评价及反馈信息,对城区管网中是否存在不合理用水的区域系统进行预判;
处理机制模块,对发生的事故需要采取的措施给出合理化建议,并对最终的处理结果进行反馈;
所述数据采集模块与城区管网通讯终端连接,城区管网通讯终端与数据库存储模块通讯连接,数据库存储模块与数据预处理模块连接,数据预处理模块与核心数据服务器连接,核心数据服务器分别连接有核心数据库模块和系统预判模块,系统预判模块与处理机制模块连接。
作为本发明进一步的方案,所述数据采集模块的监测仪表安装于城区管网中管径为DN100及以上的关键管线上,实时采集记录流量、压力、余氯和浊度实时数据,并将数据转化成计算机能够处理的文本、图形、图像、视频或音频数据。
作为本发明进一步的方案,所述数据库存储模块包含大容量的存储器设备,用于将采集到的数字、文本、图片、音频、视频数据处理成便于储存的数据格式,对各类管网实时数据进行数据的保存、增加、删除、更新等操作。
作为本发明进一步的方案,所述数据预处理模块与核心数据服务器连接,将不同种类的数据进行预处理,包括整理、格式化、剔除、筛选等操作,将数据进行统一处理,并将数据传输到核心数据库中进行进一步的处理。
作为本发明进一步的方案,所述核心数据库模块为大容量的存储器设备,与核心数据服务器相关联,用于处理、保存用水量管理系统所需的预处理数据、相关性推理中间计算结果、保存核心数据服务器提供的内在的规律、因果关系及留存结果。
一种基于大数据机器学习的用水量分析方法,包括如下步骤:
S1、通过数据采集模块采集城区管网关键位置的数据,包括流量、压力、余氯和浊度实时数据;
S2、城区管网通讯终端接收数据采集模块采集到的数据,并将数据实时传输到数据库存储模块;
S3、通过数据库存储模块将数据进行系统的分类及归档,将整理好的数据以数据包的形式发送至数据预处理模块;
S4、通过数据预处理模块将不合格的数据进行剔除,保留关键的核心数据,并对核心数据进行保存,后端记录数据缺失的时间节点;
S5、通过核心数据服务器对保留的核心数据进行处理和计算,并将各类数据结果保存于核心数据库模块,通过大数据的归纳及整合,对用水量的情况进行综合评价及反馈;
S6、通过系统预判模块结合用水量的情况、综合评价及反馈信息,对城区管网中是否存在不合理用水的区域系统进行预判;
S7、最终,通过处理机制模块对发生的事故需要采取的措施给出合理化建议,并对最终的处理结果进行反馈。
作为本发明进一步的方案,所述步骤S6中的系统预判模块针对采集的数据的完整性及准确性进行判断,发掘数据之间的关联性,若数据前后偏幅过大或过小,系统会将数据进行隔离,并运用数据库中的以往的大数据,对该时段的数据进行抽取,运用机器学习的方法,给出符合该时段的数据。
作为本发明进一步的方案,所述步骤7中的处理机制模块根据系统预判模块给出的数据类型进行分析,结合机器学习方法给出的数据建议,对数据存在异常的地点进行预判及给出最佳的解决方案。
作为本发明进一步的方案,还包括云服务器,处理机制模块将预判及给出最佳的解决方案传送至云服务器,云服务器与用户终端通讯连接。
作为本发明进一步的方案,所述用户终端包括计算机、智能手机或IPAD,用户通过计算机、智能手机或IPAD终端进行事件的跟踪及反馈。
与现有技术相比,本发明的有益效果是:
1、运用大数据对城区的用水量进行分析,更加准确。采用该大数据系统后,对各种数据的处理运算能力会跟家快捷,通过流量、压力、水质参数采集模块进行比较全面的收集、整理、分类、并存储于相对于的数据库中,能够形成比较全面、可信的基础数据。众人所知,水司日常的远程抄表不可能收集和分析全部的数据,在此过程中即使出现很小的误差也会造成较大的偏差。但基于大数据的用水量分析系统却能凭借其数据体量巨大、处理速度快等诸多优势,大大降低了此类事故的发生概率。
2、减小水司工作人员的工作量,效率更高。该大数据管理系统,能够使用相关性推理对采集到的数据进行相关性的推理和综合的分析,帮助水司工作人员捕捉到相关事务的现在和预测未来的用水趋势,同时自动过滤掉无用的信息,将有价值的信息提供给水司的工作人员,大大减少了阅读量;基于大数据的机器学习的用水量系统还能够对之前的用水量结果进行智能化留存,保存之前的分析结果和解决策略,便于之后类似问题的快速解决,大大减少了水司工作人员的工作量,提高了其工作效率。
3、提供精确解决方案,针对性更强。在传统的水司供水工作中,由于简陋的设备及不得当的方法,水司工作人员发现问题和提出的方案在建议和分析方面不够精准和透彻,因此常常被决策者忽略;本发明采用机器学习的方法为水司工作人员提供了一个量化的评估工具,将水司日常工作中看似不相关的因素进行系统的分析,找出事物之间的联系和内在规律,让水司工作人员在短时间内能够得到更加准确的数据,从而得出更详细的报告,让决策者重视各种结果,从根本上解决水司日常工作中的问题。
附图说明
图1为本发明系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:一种基于大数据机器学习的用水量分析系统,包括:
数据采集模块100,用于采集城区管网关键位置的数据,包括流量、压力、余氯和浊度实时数据;
图片、图形和监视数据可以采用数码相机及高清摄像机,使用CCD成像原件转化成数字信号供计算机处理,常用的设备包括手机摄像机、单反相机、卡片式相机等。
使用高精度的数码相机或者摄像机为系统提供清晰的图像或视频,包括PDF(格式化的文本图形,常规带图片组合,使用文本的可搜索图像,MRC,PDF/A)、JPG、DOC、TXT、XPS等
城区管网通讯终端101,用于将数据采集模块100采集到的数据实时传输到数据库存储模块102;
数据库存储模块102,将数据进行系统的分类及归档,将整理好的数据以数据包的形式发送至数据预处理模块103;
数据预处理模块103,将不合格的数据进行剔除,保留关键的核心数据,并对核心数据进行保存,后端记录数据缺失的时间节点;
核心数据服务器104,对保留的核心数据进行处理和计算,并将各类数据结果保存于核心数据库模块105,通过大数据的归纳及整合,对用水量的情况进行综合评价及反馈;
系统预判模块106,结合用水量的情况、综合评价及反馈信息,对城区管网中是否存在不合理用水的区域系统进行预判;
处理机制模块107,对发生的事故需要采取的措施给出合理化建议,并对最终的处理结果进行反馈;
所述数据采集模块100与城区管网通讯终端101连接,城区管网通讯终端101与数据库存储模块102通讯连接,数据库存储模块102与数据预处理模块103连接,数据预处理模块103与核心数据服务器104连接,核心数据服务器104分别连接有核心数据库模块105和系统预判模块106,系统预判模块106与处理机制模块107连接。
所述数据采集模块100的监测仪表安装于城区管网中管径为DN100及以上的关键管线上,实时采集记录流量、压力、余氯和浊度实时数据,并将数据转化成计算机能够处理的文本、图形、图像、视频或音频数据。
所述数据库存储模块102包含大容量的存储器设备,用于将采集到的数字、文本、图片、音频、视频数据处理成便于储存的数据格式,对各类管网实时数据进行数据的保存、增加、删除、更新等操作。
所述数据库存储模块102包括计算机服务器,用于将数据采集模块100收集到的各种实时数据进行必要的价加工处理和计算,并将处理后的数据和计算结果进一步传输给数据预处理模块103。
所述数据预处理模块103与核心数据服务器104连接,将不同种类的数据进行预处理,包括整理、格式化、剔除、筛选等操作,将数据进行统一处理,并将数据传输到核心数据库中进行进一步的处理。
可优选地,所述核心数据服务器104包括相关性推理模块和预测分析智能化留存模块,用于对各种用水量的分析,将系统存储的数据进行对比,形成最终的用水量报告和结果。
在大数据机器学习中判断逻辑函数摘要生成中最重要的就是要准确的发现程序中的逻辑判空点,往往我们通过路径不敏感的全局分析,如基于抽象语法树单纯的语法树搜索确定程序中存的判空检测点。然而通过简单的语法树搜索只能搜索到字面的判空点,对于语义层面的判空点这种方法往往无能为力,对于这种情况我们采用了判空检查技术,也即在判断点上建立某种映射关系,不断检测映射后的点,这样使得可以得到更加准确的判空点。
在大数据机器学习中判空函数摘要生成与传递是一个相互依赖的过程,这个过程利用了程序抽象表示中很重要的一点:函数拓扑排序。由于使用了函数调用拓扑排序,使得代码扫描始终从调用点的最底层节点开始。这就保证了,在分析某系函数时,其内部调用的子函数的函数摘要是己经分析并且实例化记录下来的。对于底层的函数,很大比例都是程序编程语言的库函数,将采取读取外部文件的方式。库函数的函数摘要将通过人工总结并记录。在自底向上的缺陷检测中,摘要也要逐级向上传递,通过这种方法实现函数调用中的函数摘要实例化与传递。
所述核心数据服务器104安装于用水量分析系统的中心服务器,用于对采集到的各种数据进行计算和处理,所述的核心数据服务器104安装于大数据机器学习的用水量分析系统的中心服务器集群。
所述核心数据服务器104与核心数据库模块105相连,用于该大数据的数据挖掘和数据分析,并响应用户的查询、检索、修改、删除、输出、打印、推送操作。进一步地能够运行相关性推理模块和智能化留存模块,对数据分析过程中的大量数据进行汇总、归纳,从中找出内在规律和因果关系,并运用大数据的可视化分析技术和数据挖掘技术,找出数据内在的规律、共性问题和发展趋势。
所述核心数据库模块105为大容量的存储器设备,与核心数据服务器104相关联,用于处理、保存用水量管理系统所需的预处理数据、相关性推理中间计算结果、保存核心数据服务器104提供的内在的规律、因果关系及留存结果。
一种基于大数据机器学习的用水量分析方法,包括如下步骤:
S1、通过数据采集模块100采集城区管网关键位置的数据,包括流量、压力、余氯和浊度实时数据;
S2、城区管网通讯终端101接收数据采集模块100采集到的数据,并将数据实时传输到数据库存储模块102;
S3、通过数据库存储模块102将数据进行系统的分类及归档,将整理好的数据以数据包的形式发送至数据预处理模块103;
S4、通过数据预处理模块103将不合格的数据进行剔除,保留关键的核心数据,并对核心数据进行保存,后端记录数据缺失的时间节点;
S5、通过核心数据服务器104对保留的核心数据进行处理和计算,并将各类数据结果保存于核心数据库模块105,通过大数据的归纳及整合,对用水量的情况进行综合评价及反馈;
S6、通过系统预判模块106结合用水量的情况、综合评价及反馈信息,对城区管网中是否存在不合理用水的区域系统进行预判;
S7、最终,通过处理机制模块107对发生的事故需要采取的措施给出合理化建议,并对最终的处理结果进行反馈。
逻辑判断中抽象语法树模块主要是对源程序进行最初的语法抽象,每一个语句、表达式、函数或变量的定义使用都有树中的节点表示,并且支持可以在抽象语法树中进行搜索。通过树的遍历,使得上层使用者能查询相关的函数、变量、表达式以及他们的属性特征值。
通过在程序抽象建模阶段就对所有的函数进行调用关系的拓扑排序,如果其中存在函数调用环则将进行破环操作,使得最终能够得到一个扫描分析的顺序列表,后面的缺陷模式分析阶段也是按照这个顺序进行的。在函数摘要的生成模块,若通过这个函数调用的顺序表进行摘要实例化,就能保证在缺陷扫描分析阶段,子函数的函数摘要一定是生成完毕的。
控制流图节点中存有相关变量的属性信息包括区间信息等,变量的区间值域直接决定了程序的执行路径,而变量的区间值域则可以通过以往研究成果:抽象区间的数据流分析来计算。
逻辑判断使用定义链和定义使用链是关于变量数据流信息的稀疏表示,是同时被提取出的,并通常被表示成链表结构。他们抽象表示为从变量定义基本语句块位置到变量使用语句基本块位置的一个偶对集合函数,每一个定义或使用都对应着一个集合。‘从定义使用链中,能快捷方便得找到程序中某个变量的定义位置或所有的使用位置。这些信息为检查变量值域状态是否改变提供了技术支持。
所述步骤S6中的系统预判模块106针对采集的数据的完整性及准确性进行判断,发掘数据之间的关联性,若数据前后偏幅过大或过小,系统会将数据进行隔离,并运用数据库中的以往的大数据,对该时段的数据进行抽取,运用机器学习的方法,给出符合该时段的数据。
所述系统预判模块106对核心数据服务器104传输的相关数据进行判断,防止由于数据采集模块100及城区管网通讯终端101上传的数据失真,保证数据的真实可靠性,对于上传的数据进行预判后,将数据库中的相关数据进行对比分析,保证数据的真实。
所述步骤7中的处理机制模块107根据系统预判模块106给出的数据类型进行分析,结合机器学习方法给出的数据建议,对数据存在异常的地点进行预判及给出最佳的解决方案。
所述处理机制模块107用于将异常的数据进行跟踪,根据系统预判给出的相关建议,指导工作人员对数据异常的地点进行管网的维修及复检等工作。
还包括云服务器108,处理机制模块107将预判及给出最佳的解决方案传送至云服务器108,云服务器108与用户终端通讯连接;所述用户终端包括计算机、智能手机或IPAD,用户通过计算机、智能手机或IPAD终端进行事件的跟踪及反馈。
其中,大数据机器学习针对管网中的各类数据进行存储及分析后,系统中的处理运算机制将各类数据进行分类归档并标记,对于数据的异常点进行划分,以保证后期的系统中的运算针对各种数据进行补充,循序渐进的对各种用水量的结果进行统计分类,以最终呈现一个完善的解决管网用水量事故的系统。
本发明的用水量分析系统是大数据集中处理运算并核验的产物,对于解决城区小区、大用水户的用水情况进行分析,制定供水量。有利于水司的水量调度方案及供水量的制定,可直接知道水司日常的工作。
用大数据机器学习运用函数特征信息表示函数内部影响函数调用上下文的相关变量的逻辑判断信息和影响函数调用上下文的相关变量(引用型变量)的解引用信息;而后置约束信息表示该函数调用后对程序上下文的影响。
用大数据机器学习中,逻辑判空特征的提取相对解引用特征的提取较复杂,因为解引用特征只需在语法层面进行寻找判断,而逻辑判空特征则不同。
用大数据机器学习中,在处理两变量之间进行的逻辑判断时,首先会创建一个模型,对两个变量建立模型映射关系,并将设为0。然后对从变量进行值域分析,如果在此步得不到其值域信息,就是用数据流分析技术从本函数开始进行分析从变量的值域。分析过程中如果遇到从变量参与到另外一个逻辑判断时,则采用类似的方法为这一对新判断关系的变量建立模型,此时新建立的模型中的主变量就为第一个模型中的从变量,并且将标志位设为1,表示这是一个中间分析的临时的,不用为其创建特征信息摘要。
用大数据机器学习中,函数特征信息单元记录了一个函数中影响函数调用上下文的相关的变量的判空信息或者解引用操作信息。在一个函数内如果发生了多次逻辑判空操作,则也只记一次,同理对于解引用也是一样,都只记录该函数是否有而不记录在函数内的具体操作发生作用点。
用大数据机器学习中,系统库函数无法用遍历源代码建立抽象语法树来提取函数相应的信息进行函数摘要生成,但是这类函数又确实而且大量存在于程序中被调用。
本发明的用水量分析系统可以与其他的管网监测系统、管网漏损管理系统进行联合运行,并将各种系统的数据进行对接互换,极大地提高了大数据机器学习的用水量分析系统的效率,方便整合水司现有的系统。
本发明的用水量分析系统可用于用水量的分析结果的推送,用户可以通过计算机、智能手机、IPAD等终端设备对各种报告及相关分析结果进行查看。
使用大数据机器学习取代人工计算及运用模型搭建的分析方法,计算结果更加准确;减少了水司工作人员的工作量,效率更高;提供精准解决方案,针对性更强;所收集处理的数据更加可靠,可信度高,可直接指导水司的生产工作。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于大数据机器学习的用水量分析系统,其特征在于,包括:
数据采集模块(100),用于采集城区管网关键位置的数据,包括流量、压力、余氯和浊度实时数据;
城区管网通讯终端(101),用于将数据采集模块(100)采集到的数据实时传输到数据库存储模块(102);
数据库存储模块(102),将数据进行系统的分类及归档,将整理好的数据以数据包的形式发送至数据预处理模块(103);
数据预处理模块(103),将不合格的数据进行剔除,保留关键的核心数据,并对核心数据进行保存,后端记录数据缺失的时间节点;
核心数据服务器(104),对保留的核心数据进行处理和计算,并将各类数据结果保存于核心数据库模块(105),通过大数据的归纳及整合,对用水量的情况进行综合评价及反馈;
系统预判模块(106),结合用水量的情况、综合评价及反馈信息,对城区管网中是否存在不合理用水的区域系统进行预判;
处理机制模块(107),对发生的事故需要采取的措施给出合理化建议,并对最终的处理结果进行反馈;
所述数据采集模块(100)与城区管网通讯终端(101)连接,城区管网通讯终端(101)与数据库存储模块(102)通讯连接,数据库存储模块(102)与数据预处理模块(103)连接,数据预处理模块(103)与核心数据服务器(104)连接,核心数据服务器(104)分别连接有核心数据库模块(105)和系统预判模块(106),系统预判模块(106)与处理机制模块(107)连接。
2.根据权利要求1所述的基于大数据机器学习的用水量分析系统,其特征在于,所述数据采集模块(100)的监测仪表安装于城区管网中管径为DN100及以上的关键管线上,实时采集记录流量、压力、余氯和浊度实时数据,并将数据转化成计算机能够处理的文本、图形、图像、视频或音频数据。
3.根据权利要求1所述的基于大数据机器学习的用水量分析系统,其特征在于,所述数据库存储模块(102)包含大容量的存储器设备,用于将采集到的数字、文本、图片、音频、视频数据处理成便于储存的数据格式,对各类管网实时数据进行数据的保存、增加、删除、更新等操作。
4.根据权利要求1所述的基于大数据机器学习的用水量分析系统,其特征在于,所述数据预处理模块(103)与核心数据服务器(104)连接,将不同种类的数据进行预处理,包括整理、格式化、剔除、筛选等操作,将数据进行统一处理,并将数据传输到核心数据库中进行进一步的处理。
5.根据权利要求1所述的基于大数据机器学习的用水量分析系统,其特征在于,所述核心数据库模块(105)为大容量的存储器设备,与核心数据服务器(104)相关联,用于处理、保存用水量管理系统所需的预处理数据、相关性推理中间计算结果、保存核心数据服务器(104)提供的内在的规律、因果关系及留存结果。
6.一种基于大数据机器学习的用水量分析方法,其特征在于,包括如下步骤:
S1、通过数据采集模块(100)采集城区管网关键位置的数据,包括流量、压力、余氯和浊度实时数据;
S2、城区管网通讯终端(101)接收数据采集模块(100)采集到的数据,并将数据实时传输到数据库存储模块(102);
S3、通过数据库存储模块(102)将数据进行系统的分类及归档,将整理好的数据以数据包的形式发送至数据预处理模块(103);
S4、通过数据预处理模块(103)将不合格的数据进行剔除,保留关键的核心数据,并对核心数据进行保存,后端记录数据缺失的时间节点;
S5、通过核心数据服务器(104)对保留的核心数据进行处理和计算,并将各类数据结果保存于核心数据库模块(105),通过大数据的归纳及整合,对用水量的情况进行综合评价及反馈;
S6、通过系统预判模块(106)结合用水量的情况、综合评价及反馈信息,对城区管网中是否存在不合理用水的区域系统进行预判;
S7、最终,通过处理机制模块(107)对发生的事故需要采取的措施给出合理化建议,并对最终的处理结果进行反馈。
7.根据权利要求6所述的基于大数据机器学习的用水量分析方法,其特征在于,所述步骤S6中的系统预判模块(106)针对采集的数据的完整性及准确性进行判断,发掘数据之间的关联性,若数据前后偏幅过大或过小,系统会将数据进行隔离,并运用数据库中的以往的大数据,对该时段的数据进行抽取,运用机器学习的方法,给出符合该时段的数据。
8.根据权利要求7所述的基于大数据机器学习的用水量分析方法,其特征在于,所述步骤7中的处理机制模块(107)根据系统预判模块(106)给出的数据类型进行分析,结合机器学习方法给出的数据建议,对数据存在异常的地点进行预判及给出最佳的解决方案。
9.根据权利要求8所述的基于大数据机器学习的用水量分析方法,其特征在于,还包括云服务器(108),处理机制模块(107)将预判及给出最佳的解决方案传送至云服务器(108),云服务器(108)与用户终端通讯连接。
10.根据权利要求9所述的基于大数据机器学习的用水量分析方法,其特征在于,所述用户终端包括计算机、智能手机或IPAD,用户通过计算机、智能手机或IPAD终端进行事件的跟踪及反馈。
CN201811554608.3A 2018-12-18 2018-12-18 一种基于大数据机器学习的用水量分析系统及方法 Pending CN109816428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811554608.3A CN109816428A (zh) 2018-12-18 2018-12-18 一种基于大数据机器学习的用水量分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811554608.3A CN109816428A (zh) 2018-12-18 2018-12-18 一种基于大数据机器学习的用水量分析系统及方法

Publications (1)

Publication Number Publication Date
CN109816428A true CN109816428A (zh) 2019-05-28

Family

ID=66602163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811554608.3A Pending CN109816428A (zh) 2018-12-18 2018-12-18 一种基于大数据机器学习的用水量分析系统及方法

Country Status (1)

Country Link
CN (1) CN109816428A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737272A (zh) * 2020-06-02 2020-10-02 脑谷人工智能研究院(南京)有限公司 一种可交互展示各类指标的大数据自动化管理平台
CN114579686A (zh) * 2022-03-11 2022-06-03 澜途集思生态科技集团有限公司 一种流域水质水量机理模型动力学系统与方法
CN114611764A (zh) * 2022-02-18 2022-06-10 济南优格信息科技有限公司 一种特定区域内企业工业用水异常监测预警方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286132A (zh) * 2008-06-02 2008-10-15 北京邮电大学 一种基于软件缺陷模式的测试方法及系统
US20100141459A1 (en) * 2007-05-04 2010-06-10 Suez Environnement Method and installation for real-time inspection of the quality of water in a delivery network
CN101894064A (zh) * 2009-05-21 2010-11-24 北京邮电大学 应用跨函数分析的软件测试方法
CN104899147A (zh) * 2015-06-19 2015-09-09 北京理工大学 一种面向安全检查的代码静态分析方法
CN107193742A (zh) * 2017-05-23 2017-09-22 电子科技大学 一种基于状态的路径敏感的符号化函数摘要算法
CN108052540A (zh) * 2017-11-22 2018-05-18 永高股份有限公司 一种基于gis管网系统的管道故障预判与预处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100141459A1 (en) * 2007-05-04 2010-06-10 Suez Environnement Method and installation for real-time inspection of the quality of water in a delivery network
CN101286132A (zh) * 2008-06-02 2008-10-15 北京邮电大学 一种基于软件缺陷模式的测试方法及系统
CN101894064A (zh) * 2009-05-21 2010-11-24 北京邮电大学 应用跨函数分析的软件测试方法
CN104899147A (zh) * 2015-06-19 2015-09-09 北京理工大学 一种面向安全检查的代码静态分析方法
CN107193742A (zh) * 2017-05-23 2017-09-22 电子科技大学 一种基于状态的路径敏感的符号化函数摘要算法
CN108052540A (zh) * 2017-11-22 2018-05-18 永高股份有限公司 一种基于gis管网系统的管道故障预判与预处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐冬致: "GPRS技术在供水管网监测系统中的应用研究", 《安徽电子信息职业技术学院学报》 *
唐冬致: "GPRS技术在供水管网监测系统中的应用研究", 《安徽电子信息职业技术学院学报》, no. 01, 20 February 2005 (2005-02-20), pages 62 - 63 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737272A (zh) * 2020-06-02 2020-10-02 脑谷人工智能研究院(南京)有限公司 一种可交互展示各类指标的大数据自动化管理平台
CN114611764A (zh) * 2022-02-18 2022-06-10 济南优格信息科技有限公司 一种特定区域内企业工业用水异常监测预警方法
CN114611764B (zh) * 2022-02-18 2024-09-20 济南优格信息科技有限公司 一种特定区域内企业工业用水异常监测预警方法
CN114579686A (zh) * 2022-03-11 2022-06-03 澜途集思生态科技集团有限公司 一种流域水质水量机理模型动力学系统与方法

Similar Documents

Publication Publication Date Title
Liao et al. Applying crowdsourcing techniques in urban planning: A bibliometric analysis of research and practice prospects
CN111708774B (zh) 一种基于大数据的产业分析系统
CN105426980B (zh) 一种配电网健康指数评估工程应用系统
CN106815293A (zh) 一种面向情报分析的构建知识图谱的系统及方法
CN118296164B (zh) 基于知识图谱的农产信息自动采集与更新方法及系统
CN106600103A (zh) 面向规划计划决策的统计数据模型构建方法
CN104732322B (zh) 电力通信网机房移动运维方法
CN106446016A (zh) 一种基于并行关联规则挖掘的配电网运行可靠性预测方法
CN115423429A (zh) 基于图像和声音信息的多模态一体化配网运营系统
CN115409120A (zh) 一种基于数据驱动的用户窃电行为检测辅助方法
CN118673528A (zh) 一种基于人工智能的智能档案管理方法及系统
CN118013825A (zh) 多层级多类型城市时空协同设计方法、系统、终端和介质
CN109816428A (zh) 一种基于大数据机器学习的用水量分析系统及方法
CN120598641B (zh) 基于大数据智能管控场地运营方法、装置、设备及介质
CN120012884A (zh) 一种海量电网运行数据的知识转换与融合处理方法及系统
CN118585516A (zh) 基于nlp和动态血缘的电网数据智能处理方法
CN116701653A (zh) 基于知识图谱的加热炉数字孪生边缘方法、系统及装置
CN117056528A (zh) 一种基于实时大数据的知识图谱系统的构建方法
CN107391596A (zh) 一种配电网海量数据融合方法及装置
CN113691390A (zh) 一种云端协同的边缘节点报警系统及方法
CN116629802A (zh) 一种用于铁路港口站的大数据平台系统
CN120655035A (zh) 基于GraphRAG的防洪调度方法及系统
CN109379219A (zh) 面向电力通信现场的tms与移动运维终端共享交互方法
CN109325700A (zh) 基于电力通信网运维的多点远程协同交互方法
CN119558391A (zh) 一种铁路绿色性能数据知识提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190528