CN103905219A - 一种业务平台中通信信息的监控存储系统及方法 - Google Patents
一种业务平台中通信信息的监控存储系统及方法 Download PDFInfo
- Publication number
- CN103905219A CN103905219A CN201210567803.6A CN201210567803A CN103905219A CN 103905219 A CN103905219 A CN 103905219A CN 201210567803 A CN201210567803 A CN 201210567803A CN 103905219 A CN103905219 A CN 103905219A
- Authority
- CN
- China
- Prior art keywords
- information
- monitoring
- communication information
- service
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 63
- 238000004891 communication Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title abstract description 9
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 210000000352 storage cell Anatomy 0.000 claims description 12
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006855 networking Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种业务平台中通信信息的监控存储系统及方法，业务平台包括以太网交换机、若干采集终端和若干业务服务器，各业务服务器分别连接到以太网交换机的各个网络端口；所述以太网交换机将流经所述各个网络端口的通信信息镜像传输到其的一个镜像端口。系统包括信息监控及数据存储模块，该信息监控及数据存储模块包括：连接镜像端口的消息分拣单元、连接消息分拣单元的信息监控单元以及分别连接信息监控单元的业务告警单元和数据存储单元。本发明能将需要监控的业务平台的通信信息集中到一起进行监控和存储，不影响原有服务器的业务处理性能，并在故障时进行告警。
Description
技术领域
本发明涉及一种业务平台中通信信息的监控存储系统及方法，具体地说，对借助以太网交换机组网，且由多台采集终端与多台业务服务器集中通信的业务平台中机间通信信息进行集中监控和存储。
背景技术
随着信息技术的发展，业务平台系统在设计上都会采取多台服务器通过以太网交换机组网，相互之间通过IP（Internet Protocol）网来实现数据的交互。如图1所示的业务平台中，多个采集终端1负责指定的信息采集，然后借助以太网组网将信息传到业务服务器2进行集中处理。由于采集终端1只负责信息的采集以及上传，业务服务器2需要和多个采集终端1建立连接，数据的接收完整度受网络传输质量以及服务器数据处理能力影响较大，因此能否对这些设备间的信息的集中监控和数据的存储是确保系统出现故障的时候能够准确定位的主要问题之一。
类似如图1所示的业务平台，通常采取的方法是在业务服务器2上所布置的软件上增加信息监控功能，即各业务服务器2上的软件在接收到来自其它服务器、处理器的通信数据的时候除了进行相应的业务处理之外，还可以将该相关信息记录保存下来，另外，当指定的客户端无法建立起正常连接的时候，也会生成相应的告警日志保存到相关系统文件中。当业务系统出现了故障的时候，可以到每台业务服务器2上对保存的数据及告警日志文件进行分析，帮助查找业务系统的故障根源。
采用业务服务器2上进行业务软件自行记录机间数据的机制在实施上虽然解决了通信信息记录，但是因为业务平台通常采用多台服务器来实现业务负荷分担处理，因此每台业务服务器2上只能保存该台业务服务器的相关通信信息数据。即使采取FTP（File Transfer Protocol）或者其它文件传送的方式把备份数据都转移到一台业务服务器2上，其数据文件也都是分散的，难以借助工具集中分析。同时由于数据的备份及转存都需要耗费服务器大量的CPU（中央处理器）及硬盘资源，容易影响该业务服务器2上的原有业务程序的正常运行，对于因服务器、处理器发生故障时的瞬间信息是难以记录，也就丢失了查找故障的有用信息。另外，虽然业务服务器2能够记录同客户端的连接中断日志，但是只能记录中断的时间及端口等一般记录，但是对于影响网络连接质量的网络底层数据却无法记录，如数据的源MAC（Media Acces s Cont ro l）地址、目的MAC地址、源IP地址和目的IP地址、IP/UDP数据重发等。除了监控系统内部网路连接状态之外，无法提供更底层的通信信息数据记录。
发明内容
本发明的目的在于提供一种业务平台中通信信息的监控存储系统及方法，能将需要监控的业务平台的通信信息集中到一起进行监控和存储，并在故障时进行告警。
实现上述目的的技术方案是：
本发明之一的一种业务平台中通信信息的监控存储系统，所述业务平台包括以太网交换机，以及分别连接该以太网交换机的若干采集终端和若干业务服务器，其特征在于，
所述各业务服务器分别连接到所述以太网交换机的各个网络端口；
所述以太网交换机还包括一镜像端口，所述以太网交换机将流经所述各个网络端口的通信信息镜像传输到所述镜像端口；
所述监控存储系统包括一连接所述镜像端口的信息监控及数据存储模块，该信息监控及数据存储模块包括：
消息分拣单元，连接所述镜像端口，用于接收传输到所述镜像端口的通信信息，并对这些通信信息进行分类，输出分拣后的通信信息；
信息监控单元，连接所述消息分拣单元，用于对所述消息分拣单元输出的分拣后的通信信息进行监控，生成监控信息和告警信息，分别输出所述监控信息和告警信息；
业务告警单元，连接所述信息监控单元，用于接收所述告警信息，并依据告警信息作出相应告警；以及
数据存储单元，连接所述信息监控单元，用于接收所述监控信息，并将监控信息进行存储。
上述的业务平台中通信信息的监控存储系统，其中，所述监控信息包括：业务服务器的网络端口数据流量和业务服务器的网络通信信息。
上述的业务平台中通信信息的监控存储系统，其中，所述告警信息包括：业务服务器的网络工作状态和采集终端的网络工作状态。
本发明之二的基于本发明之一所述监控存储系统的业务平台中通信信息的监控存储方法，包括下列步骤：
步骤S1，所述以太网交换机将流经所述各个网络端口的通信信息镜像传输到所述镜像端口，然后经由该镜像端口传输到所述消息分拣单元；
步骤S2，所述消息分拣单元将接收的通信信息按照源IP地址、目的IP地址、源MAC地址、目的MAC地址以及消息类型，进行分类，将分拣后的通信信息输出给所述信息监控单元；
步骤S3，所述信息监控单元对分拣后的通信信息进行扫描，生成监控信息并输出给所述数据存储单元，同时，通过提前预设的各业务服务器与各采集终端之间对应的IP连接关系，判断各业务服务器与各采集终端之间的通信状态，在扫描到连接信息缺失时，生成告警信息并输出给所述业务告警单元；
步骤S4，所述数据存储单元将接收的监控信息进行存储；所述业务告警单元依据接收到的告警信息作出相应告警。
上述的业务平台中通信信息的监控存储方法，其中，所述监控信息包括：业务服务器的网络端口数据流量和业务服务器的网络通信信息。
上述的业务平台中通信信息的监控存储方法，其中，所述告警信息包括：业务服务器的网络工作状态和采集终端的网络工作状态。
本发明的有益效果是：本发明利用以太网交换机的镜像功能，将需要监控的业务平台的通信信息和数据集中到一起，由独立的监控及存储模块对其进行分析和处理。能够独立于业务平台运行，不占用原业务服务器的CPU及硬盘资源，从而不影响原有服务器的业务处理性能。同时，本发明不会受被监控服务器及网络传输线路的稳定性的影响，当业务服务器出现故障无法正常工作的时候，仍然能够从网络端口上监控到通信数据的异常，提供告警，并对记录的数据进行深层次的分析，快速定位故障原因。
附图说明
图1是业务平台的结构示意图；
图2是业务平台与本发明之一的监控存储系统相互连接的结构图。
具体实施方式
下面将结合附图对本发明作进一步说明。
请参阅图2，业务平台包括以太网交换机3，以及分别连接以太网交换机3的若干采集终端1和若干业务服务器2；各业务服务器2分别连接到以太网交换机3的各个网络端口31，通过各网络端口31进行通信；以太网交换机3还包括一镜像端口32，以太网交换机3将流经各个网络端口31的通信信息镜像传输到镜像端口32；
本发明之一的业务平台中通信信息的监控存储系统包括一连接镜像端口32的信息监控及数据存储模块4，信息监控及数据存储模块4置于服务器（一台或多台）内，通过服务器连接镜像端口32从而实现与其的连接；信息监控及数据存储模块4包括消息分拣单元41、信息监控单元42、业务告警单元43和数据存储单元44，其中：
信息监控单元42分别连接消息分拣单元41、业务告警单元43和数据存储单元44；消息分拣单元41连接镜像端口32；
消息分拣单元41接收传输到镜像端口32的通信信息，并对这些通信信息进行分类，输出分拣后的通信信息给信息监控单元42；
信息监控单元42对分拣后的通信信息进行监控，生成监控信息并输出给数据存储单元44，生成告警信息并输出给业务告警单元43；其中，监控信息包括业务服务器2的网络端口数据流量和业务服务器2的网络通信信息；告警信息包括业务服务器2的网络工作状态和采集终端1的网络工作状态；
业务告警单元43依据告警信息作出相应告警；
数据存储单元44将监控信息进行存储。
本发明之二的基于本发明之一所述监控存储系统的业务平台中通信信息的监控存储方法，包括下列步骤：
步骤S1，以太网交换机3将流经各个网络端口31的通信信息镜像传输到镜像端口32，然后经由该镜像端口32传输到消息分拣单元41；
步骤S2，消息分拣单元41将接收的通信信息按照信息的源IP地址、目的IP地址、源MAC地址、目的MAC地址以及消息类型，进行分类，将分拣后的通信信息输出给信息监控单元42；
步骤S3，信息监控单元42对分拣后的通信信息进行扫描，生成监控信息（业务服务器2的网络端口数据流量和业务服务器2的网络通信信息）并输出给数据存储单元44；同时，信息监控单元42通过提前预设的各业务服务器2与各采集终端1之间对应的IP连接关系，判断各业务服务器2与各采集终端1之间的通信状态，在扫描到连接信息缺失时，生成告警信息（业务服务器2的网络工作状态和采集终端1的网络工作状态）并输出给业务告警单元43；
步骤S4，数据存储单元44将接收的监控信息定时生成记录文件，并压缩保存；业务告警单元43依据接收到的告警信息作出相应告警。
以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案也应该属于本发明的范畴，应由各权利要求所限定。
Claims (6)
1.一种业务平台中通信信息的监控存储系统，所述业务平台包括以太网交换机，以及分别连接该以太网交换机的若干采集终端和若干业务服务器，其特征在于，
所述各业务服务器分别连接到所述以太网交换机的各个网络端口；
所述以太网交换机还包括一镜像端口，所述以太网交换机将流经所述各个网络端口的通信信息镜像传输到所述镜像端口；
所述监控存储系统包括一连接所述镜像端口的信息监控及数据存储模块，该信息监控及数据存储模块包括：
消息分拣单元，连接所述镜像端口，用于接收传输到所述镜像端口的通信信息，并对这些通信信息进行分类，输出分拣后的通信信息；
信息监控单元，连接所述消息分拣单元，用于对所述消息分拣单元输出的分拣后的通信信息进行监控，生成监控信息和告警信息，分别输出所述监控信息和告警信息；
业务告警单元，连接所述信息监控单元，用于接收所述告警信息，并依据告警信息作出相应告警；以及
数据存储单元，连接所述信息监控单元，用于接收所述监控信息，并将监控信息进行存储。
2.根据权利要求1所述的业务平台中通信信息的监控存储系统，其特征在于，所述监控信息包括：业务服务器的网络端口数据流量和业务服务器的网络通信信息。
3.根据权利要求1所述的业务平台中通信信息的监控存储系统，其特征在于，所述告警信息包括：业务服务器的网络工作状态和采集终端的网络工作状态。
4.一种基于权利要求1所述监控存储系统的业务平台中通信信息的监控存储方法，其特征在于，包括下列步骤：
步骤S1，所述以太网交换机将流经所述各个网络端口的通信信息镜像传输到所述镜像端口，然后经由该镜像端口传输到所述消息分拣单元；
步骤S2，所述消息分拣单元将接收的通信信息按照源IP地址、目的IP地址、源MAC地址、目的MAC地址以及消息类型，进行分类，将分拣后的通信信息输出给所述信息监控单元；
步骤S3，所述信息监控单元对分拣后的通信信息进行扫描，生成监控信息并输出给所述数据存储单元，同时，通过提前预设的各业务服务器与各采集终端之间对应的IP连接关系，判断各业务服务器与各采集终端之间的通信状态，在扫描到连接信息缺失时，生成告警信息并输出给所述业务告警单元；
步骤S4，所述数据存储单元将接收的监控信息进行存储；所述业务告警单元依据接收到的告警信息作出相应告警。
5.根据权利要求4所述的业务平台中通信信息的监控存储方法，其特征在于，所述监控信息包括：业务服务器的网络端口数据流量和业务服务器的网络通信信息。
6.根据权利要求4所述的业务平台中通信信息的监控存储方法，其特征在于，所述告警信息包括：业务服务器的网络工作状态和采集终端的网络工作状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210567803.6A CN103905219A (zh) | 2012-12-24 | 2012-12-24 | 一种业务平台中通信信息的监控存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210567803.6A CN103905219A (zh) | 2012-12-24 | 2012-12-24 | 一种业务平台中通信信息的监控存储系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103905219A true CN103905219A (zh) | 2014-07-02 |
Family
ID=50996375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210567803.6A Pending CN103905219A (zh) | 2012-12-24 | 2012-12-24 | 一种业务平台中通信信息的监控存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103905219A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104468211A (zh) * | 2014-12-02 | 2015-03-25 | 中广核工程有限公司 | 核电站数字控制系统平台通信故障的诊断系统及方法 |
| CN104636237A (zh) * | 2015-01-19 | 2015-05-20 | 上海新炬网络信息技术有限公司 | 基于Java平台的Web应用系统业务性能监测方法 |
| CN104954201A (zh) * | 2015-06-19 | 2015-09-30 | 上海卓悠网络科技有限公司 | Idc的网络和服务器健康度数据采样方法及装置 |
| CN105376092A (zh) * | 2015-11-19 | 2016-03-02 | 杭州当虹科技有限公司 | 一种基于交换机端口镜像的hls流实时监控报警系统 |
| CN105743731A (zh) * | 2014-12-11 | 2016-07-06 | 国际商业机器公司 | 用于存储系统中的故障检测的方法和装置 |
| CN108287780A (zh) * | 2018-01-25 | 2018-07-17 | 郑州云海信息技术有限公司 | 一种监控服务器cpld状态的装置及方法 |
| CN109714230A (zh) * | 2018-12-29 | 2019-05-03 | 北京世纪互联宽带数据中心有限公司 | 一种流量监控方法、装置和计算设备 |
| CN114915634A (zh) * | 2022-06-10 | 2022-08-16 | 北京国控天成科技有限公司 | 一种基于数据湖的工业数据采集存储系统和采集存储方法 |
-
2012
- 2012-12-24 CN CN201210567803.6A patent/CN103905219A/zh active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104468211A (zh) * | 2014-12-02 | 2015-03-25 | 中广核工程有限公司 | 核电站数字控制系统平台通信故障的诊断系统及方法 |
| CN105743731A (zh) * | 2014-12-11 | 2016-07-06 | 国际商业机器公司 | 用于存储系统中的故障检测的方法和装置 |
| CN105743731B (zh) * | 2014-12-11 | 2019-03-29 | 国际商业机器公司 | 用于存储系统中的故障检测的方法和装置 |
| US10394632B2 (en) | 2014-12-11 | 2019-08-27 | International Business Machines Corporation | Method and apparatus for failure detection in storage system |
| US10936387B2 (en) | 2014-12-11 | 2021-03-02 | International Business Machines Corporation | Method and apparatus for failure detection in storage system |
| CN104636237A (zh) * | 2015-01-19 | 2015-05-20 | 上海新炬网络信息技术有限公司 | 基于Java平台的Web应用系统业务性能监测方法 |
| CN104954201A (zh) * | 2015-06-19 | 2015-09-30 | 上海卓悠网络科技有限公司 | Idc的网络和服务器健康度数据采样方法及装置 |
| CN105376092A (zh) * | 2015-11-19 | 2016-03-02 | 杭州当虹科技有限公司 | 一种基于交换机端口镜像的hls流实时监控报警系统 |
| CN105376092B (zh) * | 2015-11-19 | 2018-08-21 | 杭州当虹科技有限公司 | 一种基于交换机端口镜像的hls流实时监控报警系统 |
| CN108287780A (zh) * | 2018-01-25 | 2018-07-17 | 郑州云海信息技术有限公司 | 一种监控服务器cpld状态的装置及方法 |
| CN109714230A (zh) * | 2018-12-29 | 2019-05-03 | 北京世纪互联宽带数据中心有限公司 | 一种流量监控方法、装置和计算设备 |
| CN114915634A (zh) * | 2022-06-10 | 2022-08-16 | 北京国控天成科技有限公司 | 一种基于数据湖的工业数据采集存储系统和采集存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103905219A (zh) | 一种业务平台中通信信息的监控存储系统及方法 | |
| CN107390650B (zh) | 一种基于物联网的数据采集系统及基于该系统的数据压缩方法 | |
| CN105159964B (zh) | 一种日志监控方法及系统 | |
| CN112118174B (zh) | 软件定义数据网关 | |
| CN112350846B (zh) | 一种智能变电站的资产学习方法、装置、设备及存储介质 | |
| CN108521339A (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
| CN104301137A (zh) | 电力通信故障对业务影响的分析方法及系统 | |
| CN108390907B (zh) | 一种基于Hadoop集群的管理监控系统及方法 | |
| CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 | |
| CN109495530A (zh) | 一种实时交通数据传输方法、传输装置及传输系统 | |
| CN116962143B (zh) | 网络故障检测方法、装置、计算机设备和存储介质 | |
| CN101252477B (zh) | 一种网络故障根源的确定方法及分析装置 | |
| JP4464256B2 (ja) | ネットワーク上位監視装置 | |
| CN110609761B (zh) | 确定故障源的方法、装置、存储介质和电子设备 | |
| TWI448975B (zh) | 應用於影像監控平台的分散式運算系統 | |
| US10554625B2 (en) | Integrated PCS functional competency assessment | |
| CN108599978B (zh) | 一种云监控方法和装置 | |
| EP3756310B1 (en) | Method and first node for managing transmission of probe messages | |
| CN111835595B (zh) | 流量数据的监控方法、装置、设备及计算机存储介质 | |
| CN114124646B (zh) | 一种WebSocket方式的综合网络管理系统及方法 | |
| CN117081906A (zh) | 一种电力设备故障监测系统、方法及存储介质 | |
| CN117155817A (zh) | 网络监测方法、装置、系统及可读存储介质 | |
| CN114661538B (zh) | 分布式数据库监控方法、装置、电子设备及存储介质 | |
| CN117234739B (zh) | 用于工业数据分析的方法及装置、系统、存储介质 | |
| CN120321193B (zh) | 一种流量处理系统、处理方法及流量处理集群 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140702 |