CN121056477A - 一种基于云边端协同的电气参数通信架构部署方法、系统、设备及介质 - Google Patents

Abstract

本发明提供一种基于云边端协同的电气参数通信架构部署方法、系统、设备及介质，属于电力监控系统技术领域，具体包括：部署消息队列集群、协议转换中间件及数据管道，构建通信通道；在边缘计算层部署包含边缘运行时和本地处理引擎的计算节点；基于输出的边缘处理结果执行实时告警分析与历史报表生成；将训练后的算法模型压缩并部署至构建的边缘计算层用于边缘侧实时推理；建立控制指令通信通道、文件传输通信通道、实时数据通信通道；在构建的通信通道上，配置设备认证、传输加密及防火墙规则。方法提升了电气参数数据的处理性能，提高生产效率、降低运维成本、增强系统安全性和稳定性。

Description

一种基于云边端协同的电气参数通信架构部署方法、系统、设 备及介质

技术领域

本发明属于电力监控系统技术领域，具体涉及一种基于云边端协同的电气参数通信架构部署方法、系统、设备及介质。

背景技术

智能电网行业是一个需要高级别安全保障措施的应用领域。随着智能电表、远程监控系统以及分布式能源资源（DERs）的广泛部署，电力公司能够实时收集并分析海量的用电信息，从而实现更加精细化的电网管理和服务优化。然而，如何确保从实时告警平面到历史报表平面的数据传输过程中的安全性，防止数据泄露或篡改；另一方面，如何在不影响正常业务流程的前提下，快速响应潜在的安全威胁。

在这种背景下，相关就行技术中，在实时告警方面，数据传输和处理过程存在较大延迟。一方面，数据在传输过程中可能经过多个中间节点，多次进行协议转换和数据格式调整，耗费大量时间；另一方面，服务器处理能力有限，面对大量电气参数数据时，无法及时进行规则匹配和告警生成，造成更大范围的停电事故。

在数据传输过程中，网络传输的数据容易被窃取、篡改或伪造，尤其是在一些开放网络环境下，如工业物联网中的无线传输部分。缺乏有效的设备认证机制，可能导致非法设备接入网络，干扰正常数据传输。

传统的电气参数通信架构中，实时告警和历史报表等不同功能模块之间往往缺乏有效的协同机制，需要进行大量干预来保证数据的一致性和流程的连贯性。而且，不同模块的运行状态无法实时相互感知和反馈，导致系统整体自动化程度低。

发明内容

本发明提供一种基于云边端协同的电气参数通信架构部署方法，方法构建了高效、可靠、安全云边端协同电气参数通信架构，提升了电气参数数据的处理性能，提高生产效率、降低运维成本、增强系统安全性和稳定性。

方法包括：

步骤S101：部署消息队列集群、协议转换中间件及数据管道，将终端设备的电气参数数据经边缘网关传输至云端大数据平台，构建通信通道；

步骤S102：在边缘计算层部署包含边缘运行时和本地处理引擎的计算节点，对通信通道传输的电气参数数据进行实时预处理，生成边缘处理结果；

步骤S103：在云端部署流处理模块和批处理模块，基于S102输出的边缘处理结果执行实时告警分析与历史报表生成；

步骤S104：通过机器学习运维流程，将训练后的算法模型压缩并部署至构建的边缘计算层用于边缘侧实时推理；以及部署至构建的大数据分析平台所属的云端节点，用于云端模型训练与批量预测；

步骤S105：建立控制指令通信通道、文件传输通信通道、实时数据通信通道，同步边缘计算层与大数据分析平台间的数据，并基于增量同步策略维护一致性；

步骤S106：在构建的通信通道上，配置设备认证、传输加密及防火墙规则。

优选地，步骤S102具体包括：

在云端构建至少两个互为热备的EMQX集群节点，每个节点配置独立域名与负载均衡器，使终端设备经边缘网关通过域名解析自动接入任一可用节点，形成高可用消息队列集群；

在边缘网关内部署协议转换中间件，中间件包含Modbus-TCP、IEC-60870-5-104、OPC-UA三种南向协议适配器及北向MQTT协议适配器，实现多协议电气参数数据的统一封装；

在消息队列集群与大数据平台之间串联Kafka持久化队列，队列主题按照终端设备标识分区，每个分区配置至少两个副本并置于不同可用区；

在消息队列集群出口侧部署基于WebSocket的实时仪表盘服务，仪表盘通过订阅Kafka对应主题，将电气参数数据以可视化形式推送至运维终端，实现通信通道的可视化监测。

优选地，步骤S102还包括：

在云端大数据平台的Iceberg存储底座中创建实时事件与历史数据两个独立分区，其中实时事件分区按分钟级时间窗口滚动，接收实时告警分析流程的实时电气参数数据；

历史数据分区按小时/天级时间窗口滚动，仅接收历史报表生成流程的批量电气参数数据，通过分区元数据字段标记数据归属链路；

为实时告警分析流程创建专用Flink作业实例，设置Kafka消费者组的隔离级别，启用Checkpoint机制记录Kafka偏移量；通过Iceberg的流式写入API将Kafka数据流按实时事件分区追加写入；

基于Iceberg元数据中的分区时间戳信息，并在历史数据分区满足以下任一条件时触发Spark作业，通过Iceberg的静态元数据锁定待处理分区，生成临时视图隔离实时写入的实时事件分区数据；

① 最近一个完整小时窗口结束；② 分区数据量达到预设阈值；

在Iceberg中维护全局状态表，记录实时告警流程的最新处理时间戳与批处理流程的最新完成时间戳。

优选地，方法还包括：

在云端大数据平台内部署独立且物理隔离的双平面网络架构，第一平面承载实时告警路径，第二平面承载历史报表路径，两平面通过逻辑闸道互锁；

在实时告警平面中，将Flink流处理作业与硬件级DPDK加速网卡绑定，使电气参数数据流以零拷贝方式进入内存队列，并在数据到达瞬间触发预置规则比较，生成告警事件；

在历史报表平面中，Spark on EMR作业与存储服务对象存储建立冷热分层映射表，当时间窗口或容量阈值达到设定点时，从Iceberg冷分区拉取全量数据并生成只读报表文件，随后将报表文件写入存储服务热分区供外部下载；

配置跨平面的互锁信号管线，实时告警平面在每次告警事件生成后向历史报表平面发送一次时间戳快照，历史报表平面在报表生成完成后向实时告警平面返回完成确认。

优选地，方法中，在实时告警平面出口部署第一单向闸道芯片，闸道芯片仅保留单向光耦通道，阻断反向电流；在闸道芯片两侧分别连接实时告警平面网卡与历史报表平面网卡，形成物理级网络隔离；

在闸道芯片两侧各嵌入量子随机数发生器，实时输出二进制随机序列并写入一次性可熔断密钥卡；

在实时告警平面的数据帧尾部预留水印段，向水印段写入不可见数字水印；历史报表平面入口侧的水印验证芯片通过比对水印完整性标记，若标记缺失或错位则直接丢弃整帧数据；

在实时告警平面出口侧的安全元件芯片内对时间戳快照执行椭圆曲线数字签名，签名结果随数据帧一并发出。

优选地，步骤S103中，在云端构建双集群并行架构，其中，第一集群为实时告警集群，第二集群为历史报表集群，两集群分别运行独立的Flink实时作业和Spark批作业，且通过硬件级网络闸道实现物理级隔离；

在实时告警集群内部署多层内存缓冲池，缓冲池由易失性DRAM层与非易失性NVRAM层叠加而成，电气参数数据流先写入DRAM层，在断电瞬间自动写入至NVRAM层，确保告警链路不中断；

在历史报表集群内部署冷热分层对象存储阵列，阵列由NVMe-oF高速层与存储服务大容量层组成；

在两集群之间建立单向光闸同步通道，通道由发光二极管阵列与光电二极管阵列构成，仅允许告警结果摘要以光信号形式单向传入历史报表集群，禁止任何反向电信号回流。

优选地，步骤S104具体包括：

搭建机器学习模型开发环境，配置模型训练所需的数据集存储路径与版本管理规则，将电气参数历史数据按预设格式导入；

选取适配边缘计算层硬件性能的模型压缩工具，根据边缘节点的计算资源设定压缩参数，对训练后的模型进行压缩处理；

在边缘计算层搭建测试环境，模拟边缘侧实时运行场景，将压缩后的模型部署至测试环境，验证模型在边缘硬件上的运行兼容性、响应延迟及资源占用情况，记录测试结果；

通过 OTA将通过测试的边缘模型推送至边缘计算层的目标节点并完成安装；同时，将训练后的模型部署至云端大数据分析平台的指定节点。

本申请还提供一种基于云边端协同的电气参数通信架构部署系统，系统包括：

通道构建模块，用于部署消息队列集群、协议转换中间件及数据管道，将终端设备的电气参数数据经边缘网关传输至云端大数据平台，构建通信通道；

边缘预处理模块，用于在边缘计算层部署包含边缘运行时和本地处理引擎的计算节点，对通信通道传输的电气参数数据进行实时预处理，生成边缘处理结果；

云端处理模块，用于在云端部署流处理模块和批处理模块，基于输出的边缘处理结果执行实时告警分析与历史报表生成；

模型压缩部署模块，用于通过机器学习运维流程，将训练后的算法模型压缩并部署至构建的边缘计算层用于边缘侧实时推理；以及部署至构建的大数据分析平台所属的云端节点，用于云端模型训练与批量预测；

多通道同步模块，用于建立控制指令通信通道、文件传输通信通道、实时数据通信通道，同步边缘计算层与大数据分析平台间的数据，并基于增量同步策略维护一致性；

安全加固模块，用于在构建的通信通道上，配置设备认证、传输加密及防火墙规则。

根据本申请的另一个实施例，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于云边端协同的电气参数通信架构部署方法的步骤。

根据本申请的又一个实施例，还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于云边端协同的电气参数通信架构部署方法的步骤。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供一种基于云边端协同的电气参数通信架构部署方法通过在云端大数据平台部署网络架构，实时告警平面和历史报表平面相互独立，某一平面出现故障不会影响另一平面的运行，提高了系统的可靠性。

本发明的实时告警平面将流处理作业与硬件级加速网卡绑定，实现数据零拷贝进入内存队列并在数据到达瞬间触发规则比较，生成告警事件。历史报表平面的 Spark onEMR 作业与对象存储建立冷热分层映射表，仅在时间窗口或容量阈值达到时从 Iceberg冷分区拉取全量数据生成只读报表文件，再写入热分区，有效优化了存储资源的使用，减少不必要的数据读取和存储开销。

通过物理级网络隔离、随机数生成的一次性密钥、数字水印、椭圆曲线数字签名等，保障了互锁信号管线及快照数据在传输过程中的机密性、完整性与可用性。配置跨平面的互锁信号管线，实现实时告警平面和历史报表平面的闭环同步且无需人工干预，提高了系统的自动化程度和协同工作能力。提高生产效率、增强系统安全性和稳定性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于云边端协同的电气参数通信架构部署方法流程图；

图2为基于云边端协同的电气参数通信架构部署系统示意图；

图3为电子设备示意图。

具体实施方式

本申请涉及的基于云边端协同的电气参数通信架构部署方法通过边缘与云协同优化控制流程与策略。配置边缘层，实现传感器实时采集的电气参数，如电压、电流、限位，进入边缘计算层执行异常检测和特征提取。边缘部署的算法，如PID控制器基于实时数据，可选择生成指令，直接调节执行器，如开关、阀门等，确保就地低延迟闭环控制，实现快速响应控制决策；或选择上传新型ECS平台，进入联动控制策略。

‌基于云端优化，在ECS上处理历史数据，训练模型优化控制方式，如阀门开度、变频器输出等，并将更新下发给边缘节点，提升系统自适应能力。边缘层实现设备故障隔离、平台通讯故障等，云端通过全局分析提供智能诊断、预警和恢复策略，保障系统稳定性与安全性。‌

对于本申请来讲，边缘计算就近处理数据，将处理延迟降至毫秒级，满足工业控制、连锁动作等场景的实时性需求，且就地预处理仅上传关键数据，减少数据传输量，降低网络成本及故障。多源数据融合云端大数据、算法系统，支持资源配置与生产调度。边缘本地容错与云层全局监控结合，减少高危环境。实现电力监控系统与通信系统的联动运行，跨平台通信实现数据互通。

以下将详细描述本申请涉及的基于云边端协同的电气参数通信架构部署方法，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。

应当理解的是，当在本申请说明书中使用时，术语包括指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。术语包括、包含、具有及它们的变形都意味着包括但不限于，除非是以其他方式另外特别强调。

在本申请中描述的一个实施例或一些实施例等语句意味着在本申请的一个或多个实施例中包括该实施例描述的特定特征、结构或特点。由此，在本申请中的不同之处出现的在一个实施例中、在一些实施例中、在其他一些实施例中、在另外一些实施例中等语句不是必然都参考相同的实施例，而是意味着一个或多个但不是所有的实施例，除非是以其他方式另外特别强调。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1所示是一具体实施例中基于云边端协同的电气参数通信架构部署方法的流程图，方法包括：

步骤S101：部署消息队列集群、协议转换中间件及数据管道，将终端设备的电气参数数据经边缘网关传输至云端大数据平台，构建通信通道。

在一些实施例中，消息队列集群选择高可用的EMQX集群，协议转换中间件开发为支持Modbus RTU、OPC UA、MQTT等工业协议的解析与转换模块，数据管道采用Kafka消息队列实现异步数据传输。边缘网关部署于工业现场，负责收集传感器采集的电压、电流、限位值等，并将数据通过TCP/IP或串口传输至消息队列集群。协议转换中间件对不同协议的原始数据进行解析，去除冗余字段，将数据格式统一为JSON或Protobuf等标准化格式后存入Kafka主题，供云端大数据平台消费。

这样，通过边缘网关汇聚后，消息队列集群作为数据缓冲池暂存数据，避免因网络波动导致的数据丢失；协议转换中间件解决不同设备协议不兼容问题，将私有协议或工业标准协议转换为云端可识别的通用格式；数据管道通过发布-订阅模式实现数据的可靠传输，云端大数据平台订阅Kafka主题后，按需拉取并处理数据。

步骤S102：在边缘计算层部署包含边缘运行时和本地处理引擎的计算节点，对通信通道传输的电气参数数据进行实时预处理，生成边缘处理结果。

在一些实施例中，边缘计算层的计算节点硬件采用西门子S7-1500作为核心控制单元，搭配定制Linux网关；边缘运行时部署轻量级容器引擎K3s，本地处理引擎集成TensorFlow Lite或ONNX Runtime；预处理规则包括异常值检测、将Modbus寄存器值映射为实际物理量、特征提取。

可以看出，边缘网关接收终端设备的原始电气参数后，通过K3s运行时启动本地处理引擎，引擎根据预设规则对数据进行实时处理：首先通过异常值检测过滤无效数据，然后将Modbus等协议的寄存器值转换为实际电压/电流值，最后提取电流突变率等特征，生成包含有效/异常标识、标准化数值、特征值的边缘处理结果，存储于本地SQLite数据库或直接上传云端。

步骤S103：在云端部署流处理模块和批处理模块，基于S102输出的边缘处理结果执行实时告警分析与历史报表生成。

在一些实施例中，云端流处理模块采用Flink on ECS，部署实时告警规则引擎，规则包括电压＞240V触发告警电流突变率＞50%/s触发告警；批处理模块采用Spark on EMR，基于Iceberg存储的历史数据按设备、小时统计电压平均值、最大值；实时告警结果通过WebSocket推送到前端仪表盘，历史报表生成后存储于Iceberg并按时间分区。

本实施例的流处理模块订阅步骤S101中Kafka的实时数据主题，对每条边缘处理结果数据应用预设告警规则，匹配成功则生成告警事件；批处理模块按小时/天触发，从Iceberg读取对应时间窗口的全量数据，通过Spark SQL执行设备数量统计、总能耗计算、平均电压核算等计算，生成统计指标；告警事件和报表数据分别写入Kafka和Iceberg，供前端展示或后续分析。这样，实时告警确保了电气系统的即时监控，历史报表提供了长期运行趋势分析。

步骤S104：通过机器学习运维流程，将训练后的算法模型压缩并部署至构建的边缘计算层用于边缘侧实时推理；以及部署至构建的大数据分析平台所属的云端节点，用于云端模型训练与批量预测。

在一些实施例中，机器学习运维流程包括模型训练、剪枝冗余神经元、量化32位浮点数为8位整数、边缘部署、云端部署；模型版本管理使用MLflow，记录训练参数、评估指标、部署状态；模型更新时，通过OTA将新版本模型推送至边缘节点。

可以看出，云端利用大规模历史数据训练初始模型，通过剪枝移除对精度影响＜2%的神经元，量化后模型体积从20MB缩减至5MB；压缩后的模型通过TensorFlow Serving封装为REST API，部署至边缘K3s容器；云端保留完整模型，用于批量预测；MLflow跟踪模型全生命周期，当边缘节点检测到新版本模型时，下载并替换旧版本，确保推理能力持续优化。版本管理保障了模型更新的可靠性。

步骤S105：建立控制指令通信通道、文件传输通信通道、实时数据通信通道，同步边缘计算层与大数据分析平台间的数据，并基于增量同步策略维护一致性。

在一些实施例中，控制指令通道采用MQTT QoS2协议，用于云端向边缘下发重启设备调整采样频率等指令；文件传输通道采用SFTP协议，用于云端向边缘推送模型更新包配置文件；实时数据通道采用WebSocket协议，用于边缘向云端上传毫秒级电气参数；增量同步策略基于Watermark机制，仅同步时间戳之后的新数据，避免重复传输。

本实施例的控制指令通过MQTT QoS2的确认-重传机制确保到达边缘节点；文件传输通过SFTP的SSL/TLS加密保障文件完整性；实时数据通过WebSocket的双向通信实现低延迟传输；增量同步通过记录最后处理时间戳，仅同步该时间之后的数据，减少网络带宽占用。一致性维护确保了边缘与云端数据的同一版本。

步骤S106：在构建的通信通道上，配置设备认证、传输加密及防火墙规则。

在一些实施例中，设备认证采用X.509数字证书，通过的设备可接入；传输加密采用DTLS协议和TLS 1.3协议，密钥每24小时自动更新；防火墙规则通过iptables配置，仅放行云中心IP，拒绝其他IP的访问请求；审计日志通过ELK（Elasticsearch LogstashKibana）收集，记录设备登录、数据传输、配置修改等操作。

需要说明的是，设备认证通过X.509证书验证设备身份，硬件TEE确保私钥不泄露；传输加密对数据在网络中的传输过程进行加密；防火墙通过iptables的规则表过滤非法IP，仅允许云中心IP与边缘节点通信；ELK实时收集日志并可视化，运维人员可快速定位异常访问。防止设备被非法接入、数据被窃听或篡改，保障了电气参数通信的安全性与可靠性。

在本发明的一种实施例中，基于步骤S102，以下将给出一种可能的实施例对其具体的实施方案进行非限制性阐述。步骤S102具体包括：

步骤S6011：在云端构建至少两个互为热备的EMQX集群节点，每个节点配置独立域名与负载均衡器，使终端设备经边缘网关通过域名解析自动接入任一可用节点，形成高可用消息队列集群。

步骤S6012：在边缘网关内部署协议转换中间件，中间件包含Modbus-TCP、IEC-60870-5-104、OPC-UA三种南向协议适配器及北向MQTT协议适配器，实现多协议电气参数数据的统一封装。

步骤S6013：在消息队列集群与大数据平台之间串联Kafka持久化队列，队列主题按照终端设备标识分区，每个分区配置至少两个副本并置于不同可用区，确保电气参数数据在传输环节具备冗余存储。

步骤S6014：在消息队列集群出口侧部署基于WebSocket的实时仪表盘服务，仪表盘通过订阅Kafka对应主题，将电气参数数据以可视化形式推送至运维终端，实现通信通道的可视化监测。

需要说明的是，终端设备的电气参数数据首先通过现场总线或以太网进入边缘网关，边缘网关内置的协议转换中间件将不同格式的电气参数数据封装为标准MQTT报文；报文经TLS加密后通过持久化TCP连接发送至云端高可用EMQX集群，集群依据主题分区规则把数据同步写入Kafka持久化队列；Kafka按照终端设备标识进行分区存储并同步副本，随后由消费端将数据加载至云端大数据平台；同时，实时仪表盘服务通过WebSocket长连接订阅Kafka对应主题，持续接收并刷新电气参数数据的可视化内容，完成通信通道的建立与可视化呈现。

在本发明的一种实施例中，基于步骤S102，以下将给出一种可能的实施例对其具体的实施方案进行非限制性阐述。步骤S102还包括：

步骤S2021：在云端大数据平台的Iceberg存储底座中创建实时事件与历史数据两个独立分区，其中实时事件分区按分钟级时间窗口滚动，接收实时告警分析流程的实时电气参数数据。

历史数据分区按小时/天级时间窗口滚动，仅接收历史报表生成流程的批量电气参数数据，通过分区元数据字段标记数据归属链路。

步骤S2022：为实时告警分析流程创建专用Flink作业实例，设置Kafka消费者组的隔离级别，启用Checkpoint机制记录Kafka偏移量；通过Iceberg的流式写入API将Kafka数据流按实时事件分区追加写入，写入时自动附加数据时间戳与链路标识，确保与批处理数据物理隔离。

步骤S2023：基于Iceberg元数据中的分区时间戳信息，并在历史数据分区满足以下任一条件时触发Spark作业，通过Iceberg的静态元数据锁定待处理分区，生成临时视图隔离实时写入的实时事件分区数据，避免读写冲突。① 最近一个完整小时窗口结束；② 分区数据量达到预设阈值；

步骤S2024：在Iceberg中维护全局状态表，记录实时告警流程的最新处理时间戳与批处理流程的最新完成时间戳；通过每小时一次的定时任务校验两个时间戳的连续性，若批处理流程追上实时数据，则调整历史数据分区的滚动策略，确保批处理任务优先处理历史积压数据，避免双链路数据竞争。

本实施例通过分区隔离和标识，明确区分实时与批量数据，从存储层面避免了不同流程数据的混淆，确保数据归属清晰。本实施例基于Flink 作业实例及相关机制的启用，保障了实时数据写入的准确性、连续性和与批处理数据的物理隔离，提升了实时处理的可靠性。基于时间和数据量的触发条件及隔离机制，使历史报表生成流程能在合适时机启动且不与实时写入冲突，保证了批处理的稳定性和数据完整性；四是全局状态表及时间戳校验、策略调整机制，动态协调双链路数据处理节奏，避免了数据竞争和历史数据积压，确保了整个数据处理流程的高效、有序运行，提升了云端大数据平台对电气参数数据全生命周期管理的能力。

在本发明的一种实施例中，基于S102还包括如下步骤：

步骤S3021：在云端大数据平台内部署独立且物理隔离的双平面网络架构，第一平面承载实时告警路径，第二平面承载历史报表路径，两平面通过逻辑闸道互锁，仅允许数据快照单向穿越，确保任一平面的故障不蔓延至另一平面。

步骤S3022：在实时告警平面中，将Flink流处理作业与硬件级DPDK加速网卡绑定，使电气参数数据流以零拷贝方式进入内存队列，并在数据到达瞬间触发预置规则比较，生成告警事件。

步骤S3023：在历史报表平面中，Spark on EMR作业与存储服务对象存储建立冷热分层映射表，当时间窗口或容量阈值达到设定点时，自动从Iceberg冷分区拉取全量数据并生成只读报表文件，随后将报表文件写入存储服务热分区供外部下载。

步骤S3024：配置跨平面的互锁信号管线，实时告警平面在每次告警事件生成后向历史报表平面发送一次时间戳快照，历史报表平面在报表生成完成后向实时告警平面返回完成确认。

可以看出，本实施例的云端大数据平台通过双平面网络架构把实时告警与历史报表完全解耦；实时告警平面利用DPDK网卡零拷贝技术将电气参数数据直接送入Flink内存队列，数据一旦到达即触发比较逻辑并立即生成告警事件，事件通过WebSocket推送到运维终端；历史报表平面利用Spark on EMR从Iceberg冷分区批量读取数据，生成只读报表后存入存储服务热分区，并通过SFTP通道自动分发；互锁信号管线以时间戳快照和完成确认的方式在双平面之间传递状态。

作为本申请的一种实施例，本申请还涉及如下方法：

步骤S2121：在实时告警平面出口部署第一单向闸道芯片，闸道芯片仅保留单向光耦通道，阻断反向电流；在闸道芯片两侧分别连接实时告警平面网卡与历史报表平面网卡，形成物理级网络隔离。

步骤S2222：在闸道芯片两侧各嵌入量子随机数发生器，实时输出二进制随机序列并写入一次性可熔断密钥卡；密钥卡通过金手指与闸道芯片的FPGA逻辑阵列直接焊接，掉电后密钥卡内部熔丝熔断，密钥立即失效。

步骤S2323：在实时告警平面的数据帧尾部预留水印段，由FPGA水印芯片向该段写入不可见数字水印；历史报表平面入口侧的水印验证芯片通过比对水印完整性标记，若标记缺失或错位则直接丢弃整帧数据。

步骤S2424：在实时告警平面出口侧的安全元件芯片内对时间戳快照执行椭圆曲线数字签名，签名结果随数据帧一并发出；历史报表平面入口侧的安全元件芯片在微秒级完成签名验证，验证失败即触发硬件告警并记录审计日志。

可以看出，本实施例实时告警平面与历史报表平面之间通过第一单向闸道芯片建立物理隔离，闸道芯片内部仅保留单向光耦通道，光耦的发光侧与受光侧物理分离，确保电流只能单向流动，阻断任何反向信号。量子随机数发生器在闸道芯片两侧同时产生不可预测的二进制序列，序列被写入一次性可熔断密钥卡，密钥卡通过金手指与FPGA逻辑阵列焊接，掉电后熔丝熔断，密钥永久消失，防止复制。实时告警平面的数据帧经过FPGA水印芯片时，其尾部自动附加不可见数字水印，水印由固定比特图案构成；历史报表平面入口侧的水印验证芯片比对水印图案，只有完全一致才允许数据进入。时间戳快照在离开实时告警平面前，由安全元件芯片使用椭圆曲线数字签名算法生成签名，签名结果附加在数据帧末尾；历史报表平面入口侧的安全元件芯片独立执行签名验证，验证失败立即触发硬件中断并写入审计日志，全过程无需软件参与。

在本发明的一种实施例中，在上述方法中，具体还包括如下步骤：

步骤S1031：在云端构建双集群并行架构，其中，第一集群为实时告警集群，第二集群为历史报表集群，两集群分别运行独立的Flink实时作业和Spark批作业，且通过硬件级网络闸道实现物理级隔离。

步骤S1032：在实时告警集群内部署多层内存缓冲池，缓冲池由易失性DRAM层与非易失性NVRAM层叠加而成，电气参数数据流先写入DRAM层，在断电瞬间自动写入至NVRAM层，确保告警链路不中断。

步骤S1033：在历史报表集群内部署冷热分层对象存储阵列，阵列由NVMe-oF高速层与存储服务大容量层组成，Spark批作业优先扫描高速层索引，若数据不在高速层则通过硬件直通通道回落大容量层，减少批处理启动延迟。

步骤S1034：在两集群之间建立单向光闸同步通道，通道由发光二极管阵列与光电二极管阵列构成，仅允许告警结果摘要以光信号形式单向传入历史报表集群，禁止任何反向电信号回流，实现跨集群数据一致性验证且杜绝反向渗透。

本实施例实时告警平面与历史报表平面分别独立运行，实时告警平面利用多层内存缓冲池将电气参数数据写入DRAM，再于断电瞬间由硬件电路触发NVRAM写入，保证告警连续性；历史报表平面通过冷热分层对象存储阵列，在Spark作业启动时先检索高速NVMe-oF层索引，若命中则直接读取，若未命中则通过硬件直通通道自动切换至存储服务大容量层，降低启动延迟；两平面之间利用单向光闸同步通道，将实时告警结果摘要以光信号方式单向发送至历史报表平面，光闸无电气连接，彻底阻断反向通路，确保整体架构在硬件级安全隔离下完成实时告警与历史报表的并行处理。

在本发明的一种实施例中，基于步骤S104，以下将给出一种可能的实施例对其具体的实施方案进行非限制性阐述。步骤S104具体包括：

S1041：搭建机器学习模型开发环境，配置模型训练所需的数据集存储路径与版本管理规则，将电气参数历史数据按预设格式导入该环境，为模型训练提供数据基础。

S1042：选取适配边缘计算层硬件性能的模型压缩工具，根据边缘节点的计算资源设定压缩参数，对训练后的模型进行压缩处理。

S1043：在边缘计算层搭建测试环境，模拟边缘侧实时运行场景，将压缩后的模型部署至该环境，验证模型在边缘硬件上的运行兼容性、响应延迟及资源占用情况，记录测试结果。

S1044：配置模型部署通道，通过 OTA将通过测试的边缘模型推送至边缘计算层的目标节点并完成安装；同时，将训练后的模型部署至云端大数据分析平台的指定节点，配置模型调用接口，使其可被云端的批量预测任务调用。

可以看出，通过构建模型开发与训练的基础环境，结合边缘硬件特性对模型进行针对性压缩，经边缘测试验证模型适配性后，分别将模型部署至边缘侧与云端，使边缘层可利用模型实现实时推理，云端可借助模型进行训练与批量预测，形成云边协同的模型应用体系。融合数据集管理、模型压缩适配、边缘测试验证、部署传输控制等原理，通过环境搭建、压缩适配、测试筛选、双向部署的协同操作，实现模型在云边两端的合理应用，各环节基于系统工具与硬件特性的匹配逻辑，支撑机器学习模型在云边协同架构中的有效部署与运行。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下是本公开实施例提供的基于云边端协同的电气参数通信架构部署系统的实施例，该系统与上述各实施例的基于云边端协同的电气参数通信架构部署方法属于同一个发明构思，在基于云边端协同的电气参数通信架构部署系统的实施例中未详尽描述的细节内容，可以参考上述基于云边端协同的电气参数通信架构部署方法的实施例。

如图2所示，系统包括：

通道构建模块201，用于部署消息队列集群、协议转换中间件及数据管道，将终端设备的电气参数数据经边缘网关传输至云端大数据平台，构建通信通道；

边缘预处理模块202，用于在边缘计算层部署包含边缘运行时和本地处理引擎的计算节点，对通信通道传输的电气参数数据进行实时预处理，生成边缘处理结果；

云端处理模块203，用于在云端部署流处理模块和批处理模块，基于输出的边缘处理结果执行实时告警分析与历史报表生成；

模型压缩部署模块204，用于通过机器学习运维流程，将训练后的算法模型压缩并部署至构建的边缘计算层用于边缘侧实时推理；以及部署至构建的大数据分析平台所属的云端节点，用于云端模型训练与批量预测；

多通道同步模块205，用于建立控制指令通信通道、文件传输通信通道、实时数据通信通道，同步边缘计算层与大数据分析平台间的数据，并基于增量同步策略维护一致性；

安全加固模块206，用于在构建的通信通道上，配置设备认证、传输加密及防火墙规则。

如图3所示，本申请还提供一种电子设备，包括显示模块103、存储器102、处理器101及存储在所述存储器上并可在所述处理器101上运行的计算机程序，所述处理器101执行所述程序时实现基于云边端协同的电气参数通信架构部署方法的步骤。

在本发明实施例中，电子设备包括但不限于膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。

本申请实施例中，处理器101可以通过使用特定用途集成电路、可编程逻辑装置、现场可编程门阵列、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。

显示模块103用于显示由用户输入的信息或提供给用户的信息。显示模块103可包括显示面板，可以采用液晶显示器、有机发光二极管等形式来配置显示面板。

存储器102可用于存储软件程序以及各种数据。存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于云边端协同的电气参数通信架构部署方法的步骤。

存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于云边端协同的电气参数通信架构部署方法，其特征在于，方法包括：

S101：部署消息队列集群、协议转换中间件及数据管道，将终端设备的电气参数数据经边缘网关传输至云端大数据平台，构建通信通道；

S102：在边缘计算层部署包含边缘运行时和本地处理引擎的计算节点，对通信通道传输的电气参数数据进行实时预处理，生成边缘处理结果；

S103：在云端部署流处理模块和批处理模块，基于S102输出的边缘处理结果执行实时告警分析与历史报表生成；

S104：通过机器学习运维流程，将训练后的算法模型压缩并部署至构建的边缘计算层用于边缘侧实时推理；以及部署至构建的大数据分析平台所属的云端节点，用于云端模型训练与批量预测；

S105：建立控制指令通信通道、文件传输通信通道、实时数据通信通道，同步边缘计算层与大数据分析平台间的数据，并基于增量同步策略维护一致性；

S106：在构建的通信通道上，配置设备认证、传输加密及防火墙规则。

2.根据权利要求1所述的基于云边端协同的电气参数通信架构部署方法，其特征在于，步骤S102具体包括：

在云端构建至少两个互为热备的EMQX集群节点，每个节点配置独立域名与负载均衡器，使终端设备经边缘网关通过域名解析自动接入任一可用节点，形成高可用消息队列集群；

在边缘网关内部署协议转换中间件，中间件包含Modbus-TCP、IEC-60870-5-104、OPC-UA三种南向协议适配器及北向MQTT协议适配器，实现多协议电气参数数据的统一封装；

在消息队列集群与大数据平台之间串联Kafka持久化队列，队列主题按照终端设备标识分区，每个分区配置至少两个副本并置于不同可用区；

在消息队列集群出口侧部署基于WebSocket的实时仪表盘服务，仪表盘通过订阅Kafka对应主题，将电气参数数据以可视化形式推送至运维终端，实现通信通道的可视化监测。

3.根据权利要求1所述的基于云边端协同的电气参数通信架构部署方法，其特征在于，步骤S102还包括：

在云端大数据平台的Iceberg存储底座中创建实时事件与历史数据两个独立分区，其中实时事件分区按分钟级时间窗口滚动，接收实时告警分析流程的实时电气参数数据；

历史数据分区按小时/天级时间窗口滚动，仅接收历史报表生成流程的批量电气参数数据，通过分区元数据字段标记数据归属链路；

为实时告警分析流程创建专用Flink作业实例，设置Kafka消费者组的隔离级别，启用Checkpoint机制记录Kafka偏移量；通过Iceberg的流式写入API将Kafka数据流按实时事件分区追加写入；

基于Iceberg元数据中的分区时间戳信息，并在历史数据分区满足以下任一条件时触发Spark作业，通过Iceberg的静态元数据锁定待处理分区，生成临时视图隔离实时写入的实时事件分区数据；

条件一：最近一个完整小时窗口结束；条件二：分区数据量达到预设阈值；

在Iceberg中维护全局状态表，记录实时告警流程的最新处理时间戳与批处理流程的最新完成时间戳。

4.根据权利要求1所述的基于云边端协同的电气参数通信架构部署方法，其特征在于，方法还包括：

在云端大数据平台内部署独立且物理隔离的双平面网络架构，第一平面承载实时告警路径，第二平面承载历史报表路径，两平面通过逻辑闸道互锁；

在实时告警平面中，将Flink流处理作业与硬件级DPDK加速网卡绑定，使电气参数数据流以零拷贝方式进入内存队列，并在数据到达瞬间触发预置规则比较，生成告警事件；

在历史报表平面中，Spark on EMR作业与存储服务对象存储建立冷热分层映射表，当时间窗口或容量阈值达到设定点时，从Iceberg冷分区拉取全量数据并生成只读报表文件，随后将报表文件写入存储服务热分区供外部下载；

配置跨平面的互锁信号管线，实时告警平面在每次告警事件生成后向历史报表平面发送一次时间戳快照，历史报表平面在报表生成完成后向实时告警平面返回完成确认。

5.根据权利要求4所述的基于云边端协同的电气参数通信架构部署方法，其特征在于，方法中，在实时告警平面出口部署第一单向闸道芯片，闸道芯片仅保留单向光耦通道，阻断反向电流；在闸道芯片两侧分别连接实时告警平面网卡与历史报表平面网卡，形成物理级网络隔离；

在闸道芯片两侧各嵌入量子随机数发生器，实时输出二进制随机序列并写入一次性可熔断密钥卡；

在实时告警平面的数据帧尾部预留水印段，向水印段写入不可见数字水印；历史报表平面入口侧的水印验证芯片通过比对水印完整性标记，若标记缺失或错位则直接丢弃整帧数据；

在实时告警平面出口侧的安全元件芯片内对时间戳快照执行椭圆曲线数字签名，签名结果随数据帧一并发出。

6.根据权利要求4所述的基于云边端协同的电气参数通信架构部署方法，其特征在于，步骤S103中，在云端构建双集群并行架构，其中，第一集群为实时告警集群，第二集群为历史报表集群，两集群分别运行独立的Flink实时作业和Spark批作业，且通过硬件级网络闸道实现物理级隔离；

在实时告警集群内部署多层内存缓冲池，缓冲池由易失性DRAM层与非易失性NVRAM层叠加而成，电气参数数据流先写入DRAM层，在断电瞬间自动写入至NVRAM层，确保告警链路不中断；

在历史报表集群内部署冷热分层对象存储阵列，阵列由NVMe-oF高速层与存储服务大容量层组成；

在两集群之间建立单向光闸同步通道，通道由发光二极管阵列与光电二极管阵列构成，仅允许告警结果摘要以光信号形式单向传入历史报表集群，禁止任何反向电信号回流。

7.根据权利要求1所述的基于云边端协同的电气参数通信架构部署方法，其特征在于，步骤S104具体包括：

搭建机器学习模型开发环境，配置模型训练所需的数据集存储路径与版本管理规则，将电气参数历史数据按预设格式导入；

选取适配边缘计算层硬件性能的模型压缩工具，根据边缘节点的计算资源设定压缩参数，对训练后的模型进行压缩处理；

在边缘计算层搭建测试环境，模拟边缘侧实时运行场景，将压缩后的模型部署至测试环境，验证模型在边缘硬件上的运行兼容性、响应延迟及资源占用情况，记录测试结果；

通过 OTA将通过测试的边缘模型推送至边缘计算层的目标节点并完成安装；同时，将训练后的模型部署至云端大数据分析平台的指定节点。

8.一种基于云边端协同的电气参数通信架构部署系统，其特征在于，系统用于实现如权利要求1至7任一项所述的基于云边端协同的电气参数通信架构部署方法；

系统包括：

通道构建模块，用于部署消息队列集群、协议转换中间件及数据管道，将终端设备的电气参数数据经边缘网关传输至云端大数据平台，构建通信通道；

边缘预处理模块，用于在边缘计算层部署包含边缘运行时和本地处理引擎的计算节点，对通信通道传输的电气参数数据进行实时预处理，生成边缘处理结果；

云端处理模块，用于在云端部署流处理模块和批处理模块，基于输出的边缘处理结果执行实时告警分析与历史报表生成；

模型压缩部署模块，用于通过机器学习运维流程，将训练后的算法模型压缩并部署至构建的边缘计算层用于边缘侧实时推理；以及部署至构建的大数据分析平台所属的云端节点，用于云端模型训练与批量预测；

多通道同步模块，用于建立控制指令通信通道、文件传输通信通道、实时数据通信通道，同步边缘计算层与大数据分析平台间的数据，并基于增量同步策略维护一致性；

安全加固模块，用于在构建的通信通道上，配置设备认证、传输加密及防火墙规则。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于云边端协同的电气参数通信架构部署方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于云边端协同的电气参数通信架构部署方法的步骤。