CN109218277A - 一种多协议数据采集方法及装置 - Google Patents
一种多协议数据采集方法及装置 Download PDFInfo
- Publication number
- CN109218277A CN109218277A CN201710828904.7A CN201710828904A CN109218277A CN 109218277 A CN109218277 A CN 109218277A CN 201710828904 A CN201710828904 A CN 201710828904A CN 109218277 A CN109218277 A CN 109218277A
- Authority
- CN
- China
- Prior art keywords
- data
- unified
- protocol
- protocol data
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种多协议数据采集方法,包括:数据采集步骤,根据自动化设备所使用的数据通信协议,选择相应的数据通信协议对所述自动化设备的数据进行采集;统一化处理步骤,对所采集的数据的数据格式进行统一化处理,获得统一化处理后数据,其中所述统一化处理后数据具有统一的数据格式。另外,本发明还公开了一种多协议数据采集装置、多协议数据采集系统和存储介质。
Description
技术领域
本发明涉及数据采集及数据处理技术领域,特别涉及一种多协议数据采集技术。
背景技术
在传统制造转型为智能制造的过程中,数控机床、机器人、智能汽车、无人机等数控设备及系统已成为了制造业中最基础的制造装备。上述数控设备往往由多个厂家所提供,而不同系统的开放性并不一致,其通信接口、交互协议、以及各类数据的采集实时性也存在差异,导致企业对不同类的数控设备必需使用不同的数据采集方案,甚至由于不同部门间对同一类数据的需求差异,也需采用不同的数据收集与存储方式,所以目前这种各类数据信息的“私有化”、不透明、需求多样等特点,形成了以实际应用为导向的各种工业数据采集方案孤立并存的现象,使得上述领域存在大量的“信息孤岛”,导致数控设备的管理仍然处于离散状态,无法形成一个有机的整体。
对于上述问题,CN206115681U公开了一种多协议数据采集器,该数据采集器采用若干采样器来对不同协议的数据进行采集,其只不过将多个用于不同协议数据采集的采样器简单地进行整合,仍然存在企业对不同类的数控设备必需使用不同的数据采集方案,各种工业数据采集方案仍然是孤立并存的。因此,CN206115681U公开的多协议数据采集器仍然无法解决上述领域存在大量的“信息孤岛”,导致数控设备的管理仍然处于离散状态,无法形成一个有机的整体的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种多协议数据采集方法,包括:数据采集步骤,根据自动化设备所使用的数据通信协议,选择相应的数据通信协议对所述自动化设备的数据进行采集;统一化处理步骤,对所采集数据的数据格式进行统一化处理,获得统一化处理后数据,其中所述统一化处理后数据具有统一的数据格式。采用上述实施方式,能够使同一数据采集设备支持多种协议的数据采集,以实现能够对具有不同数据通信协议的例如数控机床、机器人、以及其他自动设备等自动设备进行数据采集,并且上述实施方式中的数据的数据格式进行统一化处理,从而进一步地提高数据采集的兼容性。
优选地,所述的多协议数据采集方法还包括:将所述统一化处理后数据写入中间缓存数据库进行备份。
优选地,所述的多协议数据采集方法还包括:预处理步骤,对所述统一化处理后数据进行预处理,获得预处理后数据。对所采集的数据进行预处理,大大提高了数据采集的质量。
优选地,所述的多协议数据采集方法还包括:将所述预处理后数据写入中间缓存数据库。将预处理后的数据统一放在中间缓存数据库中存储,可以通过网络层或是直接访问中间缓存数据库的方式读取高质量的数据。
优选地,在所述预处理步骤中,对所述统一化处理后数据进行清理。
优选地,在所述预处理步骤中,对所述统一化处理后数据中的异常数据进行清理。
优选地,对所述统一化处理后数据进行数据校验,确定所述统一化处理后数据是否存在错误和/或数据丢失。
优选地,如果确定所述统一化处理后数据存在错误和/或数据丢失,则对所述统一化处理后数据给出存在数据错误或丢失的标记。
优选地,在所述预处理步骤中,依据消息系列戳的完整性和时间戳的连续性对所述统一化处理后数据进行校验。
优选地,在所述预处理步骤中,对所述统一化处理后数据进行纠正。
优选地,在所述预处理步骤中,对所述统一化处理后数据中那些按预定的方式处理明显不合逻辑的数据进行纠正。
优选地,在所述预处理步骤中,对所述统一化处理后数据进行修补。
优选地,对时间不连续的所述统一化处理后数据进行修补。
优选地,在所述预处理步骤中,对所述统一化处理后数据进行查值。
优选地,在所述预处理步骤中,对所述统一化处理后数据的特征值进行计算。
优选地,所述特征值包括有效值、标准差、平均值、变异系数、偏度系数和峰度系数中的一种或多种。
优选地,所述的多协议数据采集方法还包括:检查多协议数据采集装置处于离线状态还是工作状态。
优选地,所述的多协议数据采集方法还包括:接受自定义数据通信协议。该实施方式使得当多协议数据采集装置中不存在自动化设备所使用的非标准化数据通信协议时,用户可以通过自定义数据通信协议,并将上述自定义数据通信协议添加到多协议数据采集装置,从而使得多协议数据采集装置更具兼容性。
本发明还提供一种多协议数据采集装置,包括:至少一个处理器,所述至少一个处理器能够进行如下操作:根据自动化设备所使用的数据通信协议,选择相应的数据通信协议对所述自动化设备的数据进行采集;对所采集数据的数据格式进行统一化处理,获得统一化处理后数据,其中所述统一化处理后数据具有统一的数据格式。
优选地,所述至少一个处理器还能够进行如下操作:将所述统一化处理后数据写入中间缓存数据库进行备份。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行预处理,获得预处理后数据。
优选地,所述至少一个处理器还能够进行如下操作:将所述预处理后数据写入中间缓存数据库。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行清理。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据中的异常数据进行清理。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行数据校验,确定所述统一化处理后数据是否存在错误和/或数据丢失。
优选地,所述至少一个处理器还能够进行如下操作:如果确定所述统一化处理后数据存在错误和/或数据丢失,则对所述统一化处理后数据给出存在数据错误或丢失的标记。
优选地,所述至少一个处理器还能够进行如下操作:依据消息系列戳的完整性和时间戳的连续性对所述统一化处理后数据进行校验。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行纠正。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据中那些按预定的方式处理明显不合逻辑的数据进行纠正。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行修补。
优选地,所述至少一个处理器还能够进行如下操作:对时间不连续的所述统一化处理后数据进行修补。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行查值。
优选地,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据的特征值进行计算。
优选地,所述特征值包括有效值、标准差、平均值、变异系数、偏度系数和峰度系数中的一种或多种。
优选地,所述至少一个处理器还能够进行如下操作:检查多协议数据采集装置处于离线状态还是工作状态。
优选地,所述至少一个处理器还能够进行如下操作:接受自定义数据通信协议。
进一步地,本发明还提供一种多协议数据采集系统,包括:如上所述的多协议数据采集装置;服务器,用于存储所述多协议数据采集装置所采集的数据,并供用户通过访问所述服务器读取所述数据。
优选地,所述服务器具有数据发送服务模块和数据可读服务模块,以给外部提供数据服务。
更进一步地,本发明还提供一种存储介质,其存储使至少一个处理器能够执行如上所述的方法的程序。
本发明的多协议数据采集技术可以适用于具有不同通信协议的不同的企业和厂家进行数据采集,提高不同设备或系统数据采集时的兼容性,能够对不同设备或数据源(如传感器)的数据进行采集,并且可根据实际需要,对系统支持的协议进行扩展。本发明的多协议数据采集技术,通过预先编制好的程序对数据进行初步处理,当需要用到相关数据时,可以直接通过网络层或是中间缓存数据库调用处理后的数据。系统能够提供通用的数据预处理服务,实现数据预处理的功能,对采集的数据进行数据清理,对清理后的数据进行数据校验,对校验后的数据进行数据纠正,并利用数据完成特征值计算、和状态检查等工作。网络层可以提供数据发送服务和数据可读服务,可以提供数据给外部的其他应用系统。该框架具有开放性和可扩充性,可为不同背景下的数据预处理任务提供支持。本发明的多协议数据采集技术不仅能够通过标准化的协议对数据进行采集,还可以自定义协议进行数据采集。
附图说明
图1为本发明一实施方式的多协议数据采集系统的结构示意图;
图2为本发明一实施方式的数据采集设备的结构框图;
图3为本发明一实施方式多协议数据采集系统的结构框图;
图4为本发明一实施方式多协议数据采集的流程图;
图5为本发明一实施方式数据采集设备选择通信协议的流程图;
图6为本发明一实施方式数据采集设备预处理的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1为本发明一实施方式的多协议数据采集系统的结构示意图。如图1 所示,本发明的多协议数据采集系统包括:自动化设备1、数据采集设备2 和服务器3,其中上述自动化设备1、上述数据采集设备2和上述服务器3 之间分别进行相互通信连接,使得相关设备之间能够进行数据交互。上述的通信连接包括但不限于数据线等有线通信、计算机通信网络通信、移动通信网络通信、射频和蓝牙以及其它无线通信等中的一种或者他们之间的任意组合方式。
上述自动化设备1可以是具有不同通信协议的多个类型相同和/或不同的数控设备或系统的一个或多个。其中,各类自动化设备可以包括但不限于数控机床、普通机床、加工中心、机器人、智能汽车、无人机等,例如各类国产自动化设备或系统、FUNUC、SIEMENS、Mazak等。
上述数据采集设备2可以从具有不同通信协议的上述自动化设备1中获取各自动化设备的例如加工数据等数据,并可将所采集的数据输出。上述数据采集设备2可以是一种数据采集盒、个人电脑、个人数字助理(PDA)、手持计算机、膝上型计算机、平板电脑、移动电话等,可以通过通信连接将所采集的数据传输至上述服务器3上。
上述服务器3可以存储上述数据采集设备2所采集的数据,并供用户通过上述服务器3读取和进一步处理。上述服务器3可以是个人电脑、手持计算机、膝上型计算机等。
图2为本发明一实施方式的数据采集设备的结构框图。如图2所示,上述数据采集设备2,主要由包括CPU41、储存装置42、读取装置43和通信接口44构成。CPU41、储存装置42、读取装置43和通信接口44通过总线45相互连接,可以互相收发控制信号和交互数据等。
CPU41可以执行存储在储存装置42的计算机程序。
储存装置42储存有供CPU41执行用的各种计算机程序及其执行该计算机程序所用的数据、以及所采集的各自动化设备的例如加工数据等数据。本实施方式中的多协议数据采集用应用程序4a也储存在此储存装置42中。
读取装置43由软驱、CD-ROM驱动器或DVD-ROM驱动器、USB接口等构成,可读取存储于便携型存储介质4的计算机程序或数据。便携型存储介质4存储有多协议数据采集用应用程序4a,上述数据采集设备2可从该便携型存储介质4读取应用程序4a,将其装入储存装置42。
上述应用程序4a不仅可由便携型存储介质4提供,也可以通过电子通信线路从该电子通信线路(不论有线、无线)连接的、可与上述数据采集设备2通信的外部机器上下载。比如,上述应用程序4a存储于网络服务器的硬盘中,上述数据采集设备2可访问此服务器,下载该应用程序4a,装入储存装置42,也可通过USB接口从U盘中读取应用程序4a,将其装入储存装置42。
通信接口46可以是比如包括但不限于Ethernet(以太网,注册商标)接口。上述数据采集设备2通过该通信接口44可以使用一定的通信协议与上述自动化设备1和上述服务器3之间传送数据。
装在储存装置42中的多协议数据采集用应用程序4a主要功能是根据所要采集数据的自动化设备1的通信协议进行数据采集和处理。
图3为本发明一实施方式多协议数据采集系统的结构框图。如图3所示,上述多协议数据采集系统包括自动化设备21(即自动化设备1)、数据采集模块22、统一数据源模块23、数据预处理模块24、中间缓存数据库 25、网络层26及对外数据接口27。其中,上述数据采集模块22、统一数据源模块23、数据预处理模块24和中间缓存数据库25可以集成在上述数据采集设备2中;上述网络层26可以是例如局域网(内网),包括上述服务器3,其中数据发送服务模块261和数据可读服务模块262被设置在上述服务器3中;上述对外数据接口27可以包括XML/JSON文件29和其他应用系统接口30等等。
上述自动化设备21可以是具有不同通信协议的多个类型相同和/或不同的自动化设备的一个或多个。例如,上述自动化设备21可以采用是华中数控系统、FUNUC(发那科)数控系统、SI EMENS(西门子)数控系统、 Mazak(马扎克)数控系统等。上述自动化设备21的传感器(未图示)采集相应的数据,并将所采集的数据输送给上述数据采集设备。不同类型的自动化设备21可能具有不同的通信协议采集数据。例如,华中数控系统通过自定义的协议(华中8型数控系统二次开发手册)能够采集华中数控系统中的数据、SI EMENS数控系统通过OPC UA通信协议采集SI EMENS 数控系统中的数据等待。
上述数据采集模块22具有多个分布式的通信代理模块,每一个通信代理模块对应于不同类型的通信协议,比如Modbus通信代理模块对应 Modbus协议、MTConnect通信代理模块对应MTConnect协议、OPC UA通信代理模块对应OPC UA协议、自定义通信代理模块对应自定义通信协议等,使得采用不同通信协议的上述自动化设备21的数据采集工作在不同的通信代理模块里进行,即系统会根据数据源的不同来选择使用合适的数据采集协议。上述数据采集模块22可以具有多种市场上通用的标准通信协议,例如Modbus协议、MTConnect协议、OPC UA协议等,也可以具有用户自定义的通信协议,例如华中数控系统所采用的自定义协议(华中8型数控系统二次开发手册)。上述数据采集模块22可以集成了多种采集协议,采集数据时,通过协议(NCProtocol)字段来确定使用哪种协议进行数据采集,例如:华中数控自定义协议:0;MTConnect:1;OPC UA协议:3。在本实施方式,当上述数据采集模块22中不存在自动化设备21所使用的非标准化数据通信协议时,用户可以通过自定义数据通信协议,并将上述自定义数据通信协议添加到上述数据采集模块22,从而使得上述数据采集设备 2更具兼容性。
上述统一数据源模块23用于对上述数据采集模块22所采集的数据的数据格式进行统一化处理,使得经处理后的上述数据采集模块22所采集的数据具有统一的数据格式。上述统一数据源模块23可以通过提供一种通用的方式,例如可以采用扩展数据的方式来统一数据格式。上述统一数据源模块23可以设置有定时器,并可采用轮询的方式将上述数据采集模块22 所采集的数据写入上述中间缓存数据库25中,这时的数据作为源数据备份在上述中间缓存数据库25中。
在上述实施方式中,不管上述自动化设备21采用何种通信协议,生成的数据为何种格式的数据,经过上述统一数据源模块23处理后,均转化成系统预先设定的统一数据格式。
上述数据预处理模块24具有多个分布式的子处理模块,对经上述统一数据源模块23统一化处理后的数据进行预处理,并将处理后的数据写入上述中间缓存数据库25存储。上述子处理模块包括对数据进行清洗的数据清洗模块、对数据进行校验的数据校验模块、对数据进行纠正的数据纠正模块、对数据进行修补的数据修补模块、对数据进行查值的数据查值模块等,以实现对数据进行清洗、校验、纠正、修补、查值等操作。并且,上述数据预处理模块24还可以包括自定义处理模块,可根据需要对数据的处理方式进行动态的扩展,自定义对经上述统一数据源模块23统一化处理后的数据进行预处理。上述数据预处理模块24通过调用不同的子处理模块对经上述统一数据源模块23统一化处理后的数据进行预处理。
上述数据清洗模块能够对上述数据采集模块22所采集的数据中异常数据进行清理。
上述数据校验模块能够对数据进行判断,从而确定上述数据采集模块 22所采集的数据是否存在错误和/或数据丢失。优选地,上述数据校验模块依据消息系列戳的完整性和时间戳的连续性对上述数据采集模块22所采集的数据进行校验。
上述数据纠正模块能够对那些按预定的方式处理明显不合逻辑的上述数据采集模块22所采集的数据进行纠正。
上述数据修补模块能够对时间不连续的上述数据采集模块22所采集的数据进行数据修补。
上述数据查值模块能够对上述数据采集模块22所采集的数据的特征值进行计算。优选地,上述数据查值模块可以对上述数据采集模块22所采集的数据的有效值、标准差、平均值、变异系数、偏度系数、峰度系数等特征值进行计算。
上述中间缓存数据库25用于从上述统一数据源模块23接收经数据格式统一化处理后的数据,并作为源数据予以备份存储,以及用于从上述数据预处理模块24接收经上述数据预处理模块24处理后的数据,并进行存储。上述中间缓存数据库25将采集的数据格式统一化处理后的源数据和预处理后的数据进行统一的存储,并将预处理后的数据逐条写入上述服务器3 中相应的数据库(未图示)。上述中间缓存数据库25还可以通过SD卡或U 盘等文件服务接口31,让上述数据格式统一化处理后的源数据和预处理后的数据被读取到例如SD卡或U盘等外界存储介质上。
上述网络层26可以通过上述服务器3中的数据发送服务模块261和数据可读服务模块262给外部提供数据服务。
上述对外数据接口27可以将预处理后的数据从上述网络层26或是上述中间缓存数据库25以数据接口的形式提供给外部调用,或将外部的数据读取到上述网络层26的上述服务器3或上述中间缓存数据库25中,其中上述对外数据接口27的文件可以是XML文件、JSON文件或是其他格式的文件,可以根据需求,提前定义好数据需求格式。
在上述实施方式中,优选地,上述数据采集模块22还可以包括数据采集状态检查模块,用于对上述数据采集设备2的数据采集状态进行检查。例如,上述数据采集状态检查模块能够检查上述数据采集设备2处于离线状态还是工作状态等。
图4为本发明一实施方式多协议数据采集的流程图。如图4所示,上述自动化设备21的传感器(未图示)采集上述自动化设备21相应的运行参数,生成上述自动化设备21的数据(步骤S1)。上述数据采集模块22 根据上述自动化设备21所使用的数据通信协议,选择相应的通信协议对上述自动化设备21的数据进行采集(步骤S2)。
上述统一数据源模块23对上述数据采集模块22所采集的数据的数据格式进行统一化处理,使得经处理后的上述数据采集模块22所采集的数据具有统一的数据格式(步骤S3)。
上述数据预处理模块24对经上述统一数据源模块23数据格式统一化处理后的数据进行预处理,并将预处理后的数据写入上述中间缓存数据库 25(步骤S4)。同时,上述统一数据源模块23将经过数据格式统一化处理后的源数据写入上述中间缓存数据库25进行备份(步骤S5)。上述中间缓存数据库25接收到上述预处理后的数据和上述数据格式统一化处理后的源数据进行存储(步骤S6)
上述中间缓存数据库25将所存储的上述预处理后的数据写入上述网络层26的上述服务器3中相应的数据库中(步骤S7)。当用户请求获取相应的数据信息时,上述服务器3中的数据发送服务模块261和数据可读服务模块262将上述预处理后的数据向外部提供数据。
图5为本发明一实施方式数据采集设备选择通信协议的流程图。如图5 所示,上述数据采集设备2的上述数据采集模块22确定上述自动化设备21 的通信协议类型(步骤S21),判断上述数据采集设备2是否集成有对应的通信协议(步骤S22)。如果上述数据采集设备2集成有对应的通信协议(步骤S22:是),选择相应的通信代理模块利用该对应的通信协议进行数据采集(步骤S23)。例如,上述自动化设备21采用华中数控系统自定义的通信协议,则选择该自定义通信代理模块利用该自定义通信协议进行数据采集;或者,上述自动化设备21是采用OPC UA协议的西门子数控机床,则选择OPC UA通信代理模块利用OPC UA协议进行数据采集。如果上述数据采集设备2没有集成对应的通信协议(步骤S22:否),则结束本次数据采集(步骤S24)。
图6为本发明一实施方式数据采集设备预处理的流程图。如图6所示,上述数据采集设备2的上述数据预处理模块24从上述统一数据源模块23 接收数据格式统一化处理后的数据(步骤S41),对所接收的数据进行清理 (步骤S42)。在步骤S42中,清理比如异常数据等数据。
上述数据预处理模块24对所接收的数据进行数据校验(步骤S43)。在步骤S43中,上述数据预处理模块24对所接收的数据进行判断,从而确定所接收的数据是否存在错误或是数据丢失。如果确定所接收的数据存在错误或是数据丢失,则对所接收的数据给出所接收的数据存在错误和/或丢失的标记。优选地,在步骤S43中,依据消息系列戳的完整性和时间戳的连续性对所接收的数据进行校验。
上述数据预处理模块24对所接收的数据进行纠正(步骤S44)。在步骤S44中,上述数据预处理模块24对所接收的数据中那些按预定的方式处理明显不合逻辑的数据进行纠正。
上述数据预处理模块24对所接收的数据进行修补(步骤S45)。在步骤S45中,上述数据预处理模块24对时间不连续的所接收的数据进行修补。
上述数据预处理模块24对所接收的数据进行查值(步骤S46)。在步骤S46中,上述数据预处理模块24对所接收的数据的特征值进行计算。优选地,上述数据预处理模块24对所接收的数据的有效值、标准差、平均值、变异系数、偏度系数、峰度系数等特征值进行计算。
在上述实施方式中,在图4所示的多协议数据采集的流程图中,先进行数据预处理(步骤S4),然后将源数据写入上述中间缓存数据库25进行备份(步骤S5),这只是为了描述的方便,本发明不仅限于此,也可以先将源数据写入上述中间缓存数据库25进行备份,然后进行数据预处理,或者上述备份和上述数据预处理同时进行,或者只进行数据预处理不进行备份。
在上述实施方式中,在图6所示的数据采集设备预处理的流程图中,关于数据清洗(步骤S42)、数据校验(步骤S43)、数据纠正(步骤S44)、数据修补(步骤S45)、数据的查值(步骤S46)等预处理操作,在上文中按顺序地予以描述,但并不意味上述操作按描述的顺序进行。上述的操作可以各自独立地以任何的顺序进行,也可以是同时进行。
在本发明中,用户可以根据权限的不同可以从例如为内网或局域网的网络层26登录上述服务器3来获取源数据和/或预处理后的数据,也可以直接从上述中间缓存数据库25获取源数据和/或预处理后的数据。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (39)
1.一种多协议数据采集方法,包括:
数据采集步骤,根据自动化设备所使用的数据通信协议,选择相应的数据通信协议对所述自动化设备的数据进行采集;
统一化处理步骤,对所采集数据的数据格式进行统一化处理,获得统一化处理后数据,其中所述统一化处理后数据具有统一的数据格式。
2.根据权利要求1所述的多协议数据采集方法,还包括:将所述统一化处理后数据写入中间缓存数据库进行备份。
3.根据权利要求1所述的多协议数据采集方法,还包括:预处理步骤,对所述统一化处理后数据进行预处理,获得预处理后数据。
4.根据权利要求3所述的多协议数据采集方法,还包括:将所述预处理后数据写入中间缓存数据库。
5.根据权利要求3所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,对所述统一化处理后数据进行清理。
6.根据权利要求5所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,对所述统一化处理后数据中的异常数据进行清理。
7.根据权利要求3~6任意一项所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,对所述统一化处理后数据进行数据校验,确定所述统一化处理后数据是否存在错误和/或数据丢失。
8.根据权利要求7所述的多协议数据采集方法,其特征在于,如果确定所述统一化处理后数据存在错误和/或数据丢失,则对所述统一化处理后数据给出存在数据错误或丢失的标记。
9.根据权利要求7所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,依据消息系列戳的完整性和时间戳的连续性对所述统一化处理后数据进行校验。
10.根据权利要求3~6任意一项所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,对所述统一化处理后数据进行纠正。
11.根据权利要求10所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,对所述统一化处理后数据中那些按预定的方式处理明显不合逻辑的数据进行纠正。
12.根据权利要求3~6任意一项所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,对所述统一化处理后数据进行修补。
13.根据权利要求12所述的多协议数据采集方法,其特征在于,对时间不连续的所述统一化处理后数据进行修补。
14.根据权利要求3~6任意一项所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,对所述统一化处理后数据进行查值。
15.根据权利要求14所述的多协议数据采集方法,其特征在于,在所述预处理步骤中,对所述统一化处理后数据的特征值进行计算。
16.根据权利要求15所述的多协议数据采集方法,其特征在于,所述特征值包括有效值、标准差、平均值、变异系数、偏度系数和峰度系数中的一种或多种。
17.根据权利要求1~6任意一项所述的多协议数据采集方法,还包括:采集状态检查步骤,检查多协议数据采集装置处于离线状态还是工作状态。
18.根据权利要求1~6任意一项所述的多协议数据采集方法,还包括:接受自定义数据通信协议。
19.一种多协议数据采集装置,包括:至少一个处理器,所述至少一个处理器能够进行如下操作:
根据自动化设备所使用的数据通信协议,选择相应的数据通信协议对所述自动化设备的数据进行采集;
对所采集数据的数据格式进行统一化处理,获得统一化处理后数据,其中所述统一化处理后数据具有统一的数据格式。
20.根据权利要求19所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:将所述统一化处理后数据写入中间缓存数据库进行备份。
21.根据权利要求19所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行预处理,获得预处理后数据。
22.根据权利要求21所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:将所述预处理后数据写入中间缓存数据库。
23.根据权利要求21所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行清理。
24.根据权利要求23所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据中的异常数据进行清理。
25.根据权利要求21~24任意一项所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行数据校验,确定所述统一化处理后数据是否存在错误和/或数据丢失。
26.根据权利要求25所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:如果确定所述统一化处理后数据存在错误和/或数据丢失,则对所述统一化处理后数据给出存在数据错误或丢失的标记。
27.根据权利要求25所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:依据消息系列戳的完整性和时间戳的连续性对所述统一化处理后数据进行校验。
28.根据权利要求21~24任意一项所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行纠正。
29.根据权利要求28所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据中那些按预定的方式处理明显不合逻辑的数据进行纠正。
30.根据权利要求21~24任意一项所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行修补。
31.根据权利要求30所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对时间不连续的所述统一化处理后数据进行修补。
32.根据权利要求21~24任意一项所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据进行查值。
33.根据权利要求32所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:对所述统一化处理后数据的特征值进行计算。
34.根据权利要求33所述的多协议数据采集装置,其特征在于,所述特征值包括有效值、标准差、平均值、变异系数、偏度系数和峰度系数中的一种或多种。
35.根据权利要求19~34任意一项所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:检查多协议数据采集装置处于离线状态还是工作状态。
36.根据权利要求19~34任意一项所述的多协议数据采集装置,其特征在于,所述至少一个处理器还能够进行如下操作:接受自定义数据通信协议。
37.一种多协议数据采集系统,包括:
如权利要求19~36所述的多协议数据采集装置;
服务器,用于存储所述多协议数据采集装置所采集的数据,并供用户通过访问所述服务器读取所述数据。
38.根据权利要求37所述的多协议数据采集系统,其特征在于,所述服务器具有数据发送服务模块和数据可读服务模块,以给外部提供数据服务。
39.一种存储介质,其存储使至少一个处理器能够执行如权利要求1~18的程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710552135 | 2017-07-07 | ||
| CN2017105521352 | 2017-07-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109218277A true CN109218277A (zh) | 2019-01-15 |
Family
ID=64991408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710828904.7A Pending CN109218277A (zh) | 2017-07-07 | 2017-09-14 | 一种多协议数据采集方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109218277A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109799798A (zh) * | 2019-01-23 | 2019-05-24 | 上海智共荟智能科技有限公司 | 一种应用于工业加工设备大数据集成采集系统及方法 |
| CN111427321A (zh) * | 2020-04-17 | 2020-07-17 | 长春融成智能设备制造股份有限公司 | 一种兼容多协议的mes数据采集系统及其方法 |
| CN111694828A (zh) * | 2020-06-08 | 2020-09-22 | 山东伏羲智库互联网研究院 | 数据处理方法、设备、系统及存储介质 |
| CN111914015A (zh) * | 2020-08-25 | 2020-11-10 | 河北时代电子有限公司 | 一种基于工业协议的多源数据网关数据分析预警系统 |
| CN116801128A (zh) * | 2022-12-23 | 2023-09-22 | 慧之安信息技术股份有限公司 | 一种基于opc ua的农业传感器数据采集方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853025A (zh) * | 2009-03-31 | 2010-10-06 | 宝山钢铁股份有限公司 | 多工控系统平台的数据采集处理方法及装置 |
| CN102915013A (zh) * | 2012-10-19 | 2013-02-06 | 冶金自动化研究设计院 | 一种钢铁企业质量信息平台 |
| CN103780689A (zh) * | 2014-01-18 | 2014-05-07 | 苏州亿铂信息科技有限公司 | 自动化生产线设备数据采集方法及系统 |
| CN104345717A (zh) * | 2014-10-17 | 2015-02-11 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
| CN104426950A (zh) * | 2013-08-28 | 2015-03-18 | 国家电网公司 | 一种电力物联网智能通信方法和系统以及智能通信网关 |
| CN105320085A (zh) * | 2014-06-25 | 2016-02-10 | 中兴通讯股份有限公司 | 工业自动化数据的采集方法及装置、系统 |
| CN106534272A (zh) * | 2016-10-21 | 2017-03-22 | 江苏方天电力技术有限公司 | 一种燃煤机组参数处理系统及方法 |
| CN106597991A (zh) * | 2016-12-12 | 2017-04-26 | 北京兰光创新科技有限公司 | 数控机床远程监控方法及装置 |
-
2017
- 2017-09-14 CN CN201710828904.7A patent/CN109218277A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853025A (zh) * | 2009-03-31 | 2010-10-06 | 宝山钢铁股份有限公司 | 多工控系统平台的数据采集处理方法及装置 |
| CN102915013A (zh) * | 2012-10-19 | 2013-02-06 | 冶金自动化研究设计院 | 一种钢铁企业质量信息平台 |
| CN104426950A (zh) * | 2013-08-28 | 2015-03-18 | 国家电网公司 | 一种电力物联网智能通信方法和系统以及智能通信网关 |
| CN103780689A (zh) * | 2014-01-18 | 2014-05-07 | 苏州亿铂信息科技有限公司 | 自动化生产线设备数据采集方法及系统 |
| CN105320085A (zh) * | 2014-06-25 | 2016-02-10 | 中兴通讯股份有限公司 | 工业自动化数据的采集方法及装置、系统 |
| CN104345717A (zh) * | 2014-10-17 | 2015-02-11 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
| CN106534272A (zh) * | 2016-10-21 | 2017-03-22 | 江苏方天电力技术有限公司 | 一种燃煤机组参数处理系统及方法 |
| CN106597991A (zh) * | 2016-12-12 | 2017-04-26 | 北京兰光创新科技有限公司 | 数控机床远程监控方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 锁刘佳: ""深水浮式平台集成监测技术研究"", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109799798A (zh) * | 2019-01-23 | 2019-05-24 | 上海智共荟智能科技有限公司 | 一种应用于工业加工设备大数据集成采集系统及方法 |
| CN111427321A (zh) * | 2020-04-17 | 2020-07-17 | 长春融成智能设备制造股份有限公司 | 一种兼容多协议的mes数据采集系统及其方法 |
| CN111694828A (zh) * | 2020-06-08 | 2020-09-22 | 山东伏羲智库互联网研究院 | 数据处理方法、设备、系统及存储介质 |
| CN111914015A (zh) * | 2020-08-25 | 2020-11-10 | 河北时代电子有限公司 | 一种基于工业协议的多源数据网关数据分析预警系统 |
| CN116801128A (zh) * | 2022-12-23 | 2023-09-22 | 慧之安信息技术股份有限公司 | 一种基于opc ua的农业传感器数据采集方法和系统 |
| CN116801128B (zh) * | 2022-12-23 | 2024-09-27 | 慧之安信息技术股份有限公司 | 一种基于opc ua的农业传感器数据采集方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101291509B (zh) | 移动终端装置、移动终端装置的诊断方法 | |
| CN109218277A (zh) | 一种多协议数据采集方法及装置 | |
| US9569325B2 (en) | Method and system for automated test and result comparison | |
| US20070276970A1 (en) | Data Consistency Validation | |
| CN108507608A (zh) | 传感器管理模块、传感器管理系统、传感器管理方法及计算机可读取的非易失性的记录介质 | |
| JP2012038304A (ja) | ワイヤレス通信を利用した自動の受け取り、検査、在庫管理および報告 | |
| CN116880398B (zh) | 仪控设备的故障分析方法、系统、电子设备及存储介质 | |
| CN119536170A (zh) | 基于可视化组态的生产信息集成系统 | |
| JP6798461B2 (ja) | 通知制御装置、通知制御システム、通知制御方法、及び通知制御プログラム | |
| JP4257364B2 (ja) | 通信エラー情報出力プログラム、通信エラー情報出力方法および通信エラー情報出力装置 | |
| JP4763336B2 (ja) | 保守業務支援プログラム | |
| CN118233352A (zh) | 辅助保护信息子站验收的方法、装置和计算机设备 | |
| CN116669082A (zh) | 核心网网元智能巡检方法、装置、设备及存储介质 | |
| CN111077859A (zh) | 生产工艺控制方法、装置及系统 | |
| JP7585799B2 (ja) | 加工管理システム、加工管理方法及びプログラム | |
| JP2007293553A (ja) | フィールド機器診断システムおよびフィールド機器診断方法 | |
| JP4720749B2 (ja) | システム状態診断システム、システム状態診断方法、およびシステム状態診断プログラム | |
| KR100533986B1 (ko) | 반도체 제조공정에서의 로트 데이터 손실 자동 교정시스템 및 그 방법 | |
| JP6469311B2 (ja) | 試験装置および試験プログラム | |
| CN116700226A (zh) | 一种诊断故障码的时间参数测试方法、装置、设备及介质 | |
| CN119938383A (zh) | 功能应用诊断方法、装置及介质 | |
| US20060136086A1 (en) | Inking process management systems and methods | |
| CN119002459A (zh) | 一种uds诊断服务的自动化测试方法及系统 | |
| CN121478753A (zh) | 数据处理方法、装置、设备及介质 | |
| CN119460003A (zh) | 船舶中自动化系统的图纸生成方法、组装方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190115 |