[go: up one dir, main page]

CN102710446A - 一种基于同步策略的集群存储系统性能调优方法 - Google Patents

一种基于同步策略的集群存储系统性能调优方法 Download PDF

Info

Publication number
CN102710446A
CN102710446A CN2012101849632A CN201210184963A CN102710446A CN 102710446 A CN102710446 A CN 102710446A CN 2012101849632 A CN2012101849632 A CN 2012101849632A CN 201210184963 A CN201210184963 A CN 201210184963A CN 102710446 A CN102710446 A CN 102710446A
Authority
CN
China
Prior art keywords
module
control module
read
performance
module group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101849632A
Other languages
English (en)
Inventor
张敬海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IEIT Systems Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2012101849632A priority Critical patent/CN102710446A/zh
Publication of CN102710446A publication Critical patent/CN102710446A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Test And Diagnosis Of Digital Computers (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于同步策略的集群存储系统性能调优方法，系统包括：数据节点模块组、控制模块组和客户端节点模块组，三个模块组相互配合和通信，以控制模块组为核心，共同完成系统测试和监控任务，其中，控制模块组负责负载调度和均衡所有模块，收集测试结果和同步所有模块的时间，数据节点模块组用于收集数据节点监控信息和时间同步，客户端节点模块组用于模拟读写操作、收集客户端节点的监控数据并实现时间同步，通过监控数据，找到系统的瓶颈，从而调整系统结构，优化系统性能。

Description

一种基于同步策略的集群存储系统性能调优方法
技术领域
本发明涉及计算机应用技术领域，具体地说是一种基于同步策略的集群存储系统性能调优方法。
本发明适用于目前业界流行的集群存储系统中。计算机集群简称集群是一种计算机系统它通过一组松散集成的计算机软件和硬件连接起来高度紧密地协作完成计算工作。目前，由于个人及企业数据的大量增长，集群存储系统发展迅速，但是目前对于集群存储系统的系能测试方面，基本还是延照单个节点性能测试的方法，然后将各个节点的性能测试结果累加的方法来衡量集群存储系统的性能。这种方法，虽然简单，但是不够严谨和科学。
背景技术
目前，比较流行的性能测试工具，虽然能够多线程，多进程测试读写带宽，也提供了比较多的测试选项，可以测试随机读、随机写、顺序读、顺序写的性能指标，但是，这些工具只是针对单个节点的读写带宽做测试。如果需要测试整个集群系统的性能，如果只是简单的将多个节点的性能测试结果做一个累加，由于时间的不同步性并且各个节点的进程结束的不同步性，测试结果往往不够准确。因此，基于集群存储系统架构设计测试工具，就迫在眉睫。
发明内容
本发明的目的是提供一种基于同步策略的集群存储系统性能调优方法。
本发明的目的是按以下方式实现的，系统包括：数据节点模块组、控制模块组和客户端节点模块组，三个模块组相互配合和通信，以控制模块组为核心，共同完成系统测试和监控任务，其中，控制模块组负责负载调度和均衡所有模块，收集测试结果和同步所有模块的时间，数据节点模块组用于收集数据节点监控信息和时间同步，客户端节点模块组用于模拟读写操作、收集客户端节点的监控数据并实现时间同步，通过监控数据，找到系统的瓶颈，从而调整系统结构，优化系统性能，其中：
数据节点模块组包含三个子模块：数据性能监控模块、时间同步模块和通信控制模块，其中，数据性能监控模块用于收集数据节点的网络负载、CPU负载的信息，时间同步模块用于和控制模块组同步时间，数据性能监控模块和时间同步模块与控制模块组的信息交互是通过通信控制模块和控制模块组的通信控制模块来完成；
控制模块组包含负载调度模块、信息收集模块、结果计算模块、时间同步控制模块、通信控制模块和通信控制模块，负载调度模块和时间同步控制模块，能够使得各个节点上的读写操作更加均衡和更好的一致与同步性，负载调度模块在收到结果计算模块的结果时，调度和调整各个客户端的读写模拟模块，使得各个客户端节点读写操作更加均衡，这就是所谓的同步策略，保证各个节点时间和读写操作的同步性；
客户端节点模块组包含读写模拟模块、性能监控模块、时间同步模块和通信控制模块，读写模拟模块负责在客户端节点上模拟读写操作，并接受负载调度模块的调度，调整读写操作，性能监控模块负责收集客户端节点的性能、CPU负载、网络负载的信息。
本发明的有益效果是：这种模式下，由于测试工具对整个系统的所有节点都有流量监控，因此如果系统的性能出现问题的时候，很容易找到瓶颈，从而实现快速寻找故障，排除故障的目的。对于系统的调试和故障诊断以及优化，起到关键作用。本软件部署时，需要在集群存储系统的数据节点上部署数据节点模块组，在客户端节点上部署客户端节点模块组。控制模块组可以根据需要部署在集群内的任一节点上。
本发明的方法适应集群存储系统的架构和测试需求，同时可以监控各个节点的读写性能，易于发现集群系统的性能瓶颈，并且由于引入了时间同步和负载调度的功能，使得各个节点上的测试可以同步完成，测试出的结果更可靠，更科学。
附图说明
图1集群存储性能测试工作原理图；
图2集群存储系统架构图。
具体实施方式
参照说明书附图对本发明的作以下详细地说明。
鉴于此，本发明提供一种基于同步策略的集群存储系统性能调优方法。这种方法适应集群存储系统的架构和测试需求，同时可以监控各个节点的读写性能，易于发现集群系统的性能瓶颈，并且由于引入了时间同步和负载调度的功能，使得各个节点上的测试可以同步完成，测试出的结果更可靠，更科学。
本方法包含三大模块组：数据节点模块组（101）、控制模块组（102）和客户端节点模块组（103）。三大模块组相互配合和通信，以控制模块组为核心，共同完成系统测试和监控任务。其中，控制模块组负责负载调度和均衡所有模块，收集测试结果和同步所有模块的时间。数据节点模块组用于收集数据节点监控信息和时间同步。客户端节点模块组用于模拟读写操作、收集客户端节点的监控数据并实现时间同步。
数据节点模块组（101）包含三个子模块：数据性能监控模块、时间同步模块和通信控制模块。其中，数据性能监控模块用于收集数据节点的网络负载、CPU负载等信息，时间同步模块用于和控制模块组同步时间。数据性能监控模块和时间同步模块与控制模块组的信息交互是通过通信控制模块和控制模块组的通信控制模块2完成的。
控制模块组（102）包含负载调度模块，信息收集模块、结果计算模块、时间同步控制模块、通信控制模块1和通信控制模块2组成。其中，信息收集模块负责收集各个模块的监控信息，然后反馈给结果计算模块，然后由结果计算模块分别计算出所有客户端节点的性能累加和所有数据节点监控到的性能累加。同时，结果计算模块要计算出各个客户端节点之间的性能差异，此时，如果各个客户端节点性能差异超过一定值，就调用负载调度模块调度和均衡各个客户端节点的读写模拟模块，使得各个客户端节点性能均衡。其中，通信控制模块1负责和所有客户端节点模块组的通信。通信控制模块2负责和所有的数据节点模块组通信。时间同步控制模块负责同步整个系统的时间，保证测试的一致性和同步性。这就是本方法的核心，利用时间同步控制模块保证各个节点的时间的同步，利用负载调度模块保证各个节点的读写操作的同步性。
客户端节点模块组（103）包含读写模拟模块、性能监控模块、时间同步模块和通信控制模块。读写模拟模块负责在客户端节点上模拟读写操作，并接受负载调度模块的调度，调整读写操作。性能监控模块负责收集客户端节点的性能、CPU负载、网络负载等信息。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种基于同步策略的集群存储系统性能调优方法, 其特征在于系统包括：数据节点模块组、控制模块组和客户端节点模块组，三个模块组相互配合和通信，以控制模块组为核心，共同完成系统测试和监控任务，其中，控制模块组负责负载调度和均衡所有模块，收集测试结果和同步所有模块的时间，数据节点模块组用于收集数据节点监控信息和时间同步，客户端节点模块组用于模拟读写操作、收集客户端节点的监控数据并实现时间同步，通过监控数据，找到系统的瓶颈，从而调整系统结构，优化系统性能，其中：
数据节点模块组包含三个子模块：数据性能监控模块、时间同步模块和通信控制模块，其中，数据性能监控模块用于收集数据节点的网络负载、CPU负载的信息，时间同步模块用于和控制模块组同步时间，数据性能监控模块和时间同步模块与控制模块组的信息交互是通过通信控制模块和控制模块组的通信控制模块来完成；
控制模块组包含负载调度模块、信息收集模块、结果计算模块、时间同步控制模块、通信控制模块和通信控制模块，负载调度模块和时间同步控制模块，能够使得各个节点上的读写操作更加均衡和更好的一致与同步性，负载调度模块在收到结果计算模块的结果时，调度和调整各个客户端的读写模拟模块，使得各个客户端节点读写操作更加均衡，这就是所谓的同步策略，保证各个节点时间和读写操作的同步性；
客户端节点模块组包含读写模拟模块、性能监控模块、时间同步模块和通信控制模块，读写模拟模块负责在客户端节点上模拟读写操作，并接受负载调度模块的调度，调整读写操作，性能监控模块负责收集客户端节点的性能、CPU负载、网络负载的信息。
CN2012101849632A 2012-06-07 2012-06-07 一种基于同步策略的集群存储系统性能调优方法 Pending CN102710446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012101849632A CN102710446A (zh) 2012-06-07 2012-06-07 一种基于同步策略的集群存储系统性能调优方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012101849632A CN102710446A (zh) 2012-06-07 2012-06-07 一种基于同步策略的集群存储系统性能调优方法

Publications (1)

Publication Number Publication Date
CN102710446A true CN102710446A (zh) 2012-10-03

Family

ID=46903016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101849632A Pending CN102710446A (zh) 2012-06-07 2012-06-07 一种基于同步策略的集群存储系统性能调优方法

Country Status (1)

Country Link
CN (1) CN102710446A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078763A (zh) * 2012-12-18 2013-05-01 北京尊冠科技有限公司 一种信息存储系统的多协议并行测试方法及系统
CN103116538A (zh) * 2013-01-25 2013-05-22 浪潮电子信息产业股份有限公司 一种用于计算机性能自调系统的设计
CN103984619A (zh) * 2014-06-06 2014-08-13 山东超越数控电子有限公司 一种网络存储系统性能监测方法
CN104536861A (zh) * 2015-01-26 2015-04-22 浪潮电子信息产业股份有限公司 一种基于多操作系统的fc san存储测试方法
CN103116538B (zh) * 2013-01-25 2016-11-30 浪潮电子信息产业股份有限公司 一种用于计算机性能自调系统的设计

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050187993A1 (en) * 2001-10-24 2005-08-25 Bea Systems, Inc. Data synchronization
US20090106179A1 (en) * 2007-10-18 2009-04-23 Friedlander Robert R System and method for the longitudinal analysis of education outcomes using cohort life cycles, cluster analytics-based cohort analysis, and probablistic data schemas
CN102291449A (zh) * 2011-08-08 2011-12-21 浪潮电子信息产业股份有限公司 一种基于同步策略的测试和调整集群存储系统性能的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050187993A1 (en) * 2001-10-24 2005-08-25 Bea Systems, Inc. Data synchronization
US20090106179A1 (en) * 2007-10-18 2009-04-23 Friedlander Robert R System and method for the longitudinal analysis of education outcomes using cohort life cycles, cluster analytics-based cohort analysis, and probablistic data schemas
CN102291449A (zh) * 2011-08-08 2011-12-21 浪潮电子信息产业股份有限公司 一种基于同步策略的测试和调整集群存储系统性能的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078763A (zh) * 2012-12-18 2013-05-01 北京尊冠科技有限公司 一种信息存储系统的多协议并行测试方法及系统
CN103078763B (zh) * 2012-12-18 2016-04-20 北京尊冠科技有限公司 一种信息存储系统的多协议并行测试方法及系统
CN103116538A (zh) * 2013-01-25 2013-05-22 浪潮电子信息产业股份有限公司 一种用于计算机性能自调系统的设计
CN103116538B (zh) * 2013-01-25 2016-11-30 浪潮电子信息产业股份有限公司 一种用于计算机性能自调系统的设计
CN103984619A (zh) * 2014-06-06 2014-08-13 山东超越数控电子有限公司 一种网络存储系统性能监测方法
CN104536861A (zh) * 2015-01-26 2015-04-22 浪潮电子信息产业股份有限公司 一种基于多操作系统的fc san存储测试方法

Similar Documents

Publication Publication Date Title
Ciraci et al. FNCS: A framework for power system and communication networks co-simulation
Khan et al. Parallel detrended fluctuation analysis for fast event detection on massive PMU data
CN108469989A (zh) 一种基于集群性能的反馈式自动扩缩容方法及系统
US7925742B2 (en) Correlating performance data of multiple computing devices
CN104077212B (zh) 压力测试系统及方法
US20150046400A1 (en) Multi-Path Replication in Databases
CN110502426A (zh) 分布式数据处理系统的测试方法和装置
CN105450476B (zh) 一种回归测试系统及测试方法
Maheshwari et al. Toward a reliable, secure and fault tolerant smart grid state estimation in the cloud
CN102291449B (zh) 一种基于同步策略的测试和调整集群存储系统性能的方法
Xia et al. Performance and availability modeling of ITSystems with data backup and restore
Henning et al. A scalable architecture for power consumption monitoring in industrial production environments
JP2014085809A (ja) 運用管理装置、運用管理方法、及び、プログラム
CN102110041B (zh) 实现分布式文件系统存储空间监控的系统及方法
Sigovan et al. A visual network analysis method for large-scale parallel i/o systems
CN116795552A (zh) 一种基于MapReduce的大规模负载测试方法及其评价方法
CN102710446A (zh) 一种基于同步策略的集群存储系统性能调优方法
CN105553732B (zh) 一种分布式网络模拟方法及系统
CN105808340A (zh) 负载均衡方法及系统
US20180203628A1 (en) Method, apparatus and computer program product for evaluating data storage systems for energy efficiency
JP2013140538A (ja) 検証試験のためのプログラム、情報処理方法及び情報処理装置
CN103973793A (zh) 分布式航空电子测试系统
Mrówczyński et al. Benchmarking and monitoring framework for interconnected file synchronization and sharing services
Kennedy et al. A MR simulator in facilitating cloud computing
Marculescu et al. Fault-tolerant techniques for ambient intelligent distributed systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121003