[go: up one dir, main page]

CN118819819B - 一种基于负载均衡的多数据库处理方法 - Google Patents

一种基于负载均衡的多数据库处理方法

Info

Publication number
CN118819819B
CN118819819B CN202410713724.4A CN202410713724A CN118819819B CN 118819819 B CN118819819 B CN 118819819B CN 202410713724 A CN202410713724 A CN 202410713724A CN 118819819 B CN118819819 B CN 118819819B
Authority
CN
China
Prior art keywords
data
database
load balancing
server
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410713724.4A
Other languages
English (en)
Other versions
CN118819819A (zh
Inventor
张扬
梁腾翔
吴家乐
李栋梁
李勇
林东煦
许铭芮
徐婷婷
崔超
祝家鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaneng Information Technology Co Ltd
Original Assignee
Huaneng Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaneng Information Technology Co Ltd filed Critical Huaneng Information Technology Co Ltd
Priority to CN202410713724.4A priority Critical patent/CN118819819B/zh
Publication of CN118819819A publication Critical patent/CN118819819A/zh
Application granted granted Critical
Publication of CN118819819B publication Critical patent/CN118819819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于负载均衡的多数据库处理方法,属于负载调整技术领域;根据业务需求和数据访问特点将目标数据进行分类,并根据分类数据库,向每个分类数据匹配数据库服务器;根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,根据配置规则设置中央负载均衡器作为中间层连接所有数据库服务器;当中央负载均衡器接收到客户端请求后,根据分发策略将请求路由给中央负载均衡器所连接的不同数据库服务器;实时监控每个数据库服务器的执行性能指标,并根据监控数据调整负载均衡策略和数据库服务器的连接池参数。保持系统在高性能状态下运行,提高系统稳定性。

Description

一种基于负载均衡的多数据库处理方法
技术领域
本发明涉及负载调整技术领域,尤其涉及一种基于负载均衡的多数据库处理方法。
背景技术
目前,伴随着业务的快速发展,单一固定的数据库连接池的配置已很难满足业务发展的需要,伴随并发量的变化,数据库连接配置不得不进行调整,然而很多系统7*24小时不间断运行,每次修改mysql 的连接池配置都必须重启服务,每次停机都一定程度上影响业务系统的平稳运行,带来沉重的运维成本,这种模式相对笨重,难以灵活的跟随业务系统的节奏。
因此,本发明提出了一种基于负载均衡的多数据库处理方法。
发明内容
本发明提供一种基于负载均衡的多数据库处理方法,用以通过部署多个数据库服务器并且选择负载均衡技术,调整负载均衡策略和数据库连接池参数,以保持系统在高性能状态下运行。
一方面,本发明提供一种基于负载均衡的多数据库处理方法,包括:
步骤1:根据业务需求和数据访问特点将目标数据进行分类,并根据分类数据库,向每个分类数据匹配数据库服务器;
步骤2:根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,根据配置规则设置中央负载均衡器作为中间层连接所有数据库服务器;
步骤3:当中央负载均衡器接收到客户端请求后,根据分发策略将请求路由给中央负载均衡器所连接的不同数据库服务器;
步骤4:实时监控每个数据库服务器的执行性能指标,并根据监控数据调整负载均衡策略和数据库服务器的连接池参数。
另一方面,根据业务需求和数据访问特点将目标数据进行分类,包括:
向业务客户端发送查询请求,获取与所述查询请求匹配的业务需求数据;
根据业务需求数据的特点将目标数据进行第一分类;
按照数据访问特点对第一分类后的数据进行优先级划分,得到第二分类数据,其中,所述第二分类数据即为目标数据进行分类的结果。
另一方面,向每个分类数据匹配数据库服务器,包括:
确定每个第二分类数据与分类数据库中每个服务器的初始适配度;
其中,1表示对应第二分类数据与相应服务器的初始适配度,( )表示调整函数,具体为的调整,表示对应服务器与相应第二分类数据中第i个数据的关联度,是基于服务器-数据类别关联度映射表得到,表示对应第二分类数据中第i个数据的预设权重系数,表示均值函数,ln表示对数函数,表示向对应服务器设定的标准关联度,n表示对应第二分类数据中所有数据的总个数;
根据对应第二分类数据的优先级情况,且结合涉及到的每个初始适配度,计算得到对应第二分类数据与每个服务器的最终适配度;
其中,表示对应的第二分类数据与相应服务器的最终适配度;表示所有优先级中的最高优先级;表示对应的第二分类数据的优先级;表示对的向下取整函数;min表示最小值符号;max表示最大值符号;
从每个第二分类数据下的所有最终适配度中筛选最高适配度对应的服务器作为对应第二分类数据的数据库服务器。
另一方面,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则的过程中,包括:
基于数据库服务器的特点和预设标准,从负载信息收集池中获取每个数据库服务器的负载信息,通过预先配置的动态负载均衡算法,获取每个数据库服务器下所有指标的第一权重系数;
其中,第一权重系数的具体计算方式如下:
其中,表示对相应数据库服务器下所有指标进行标准化后的指标集合中第j个标准化指标的指标信息度,ln( )表示对数函数,表示标准化指标集合中第j个标准化指标的标准值,表示标准化指标集合中第j个标准化指标的第一权重系数,表示相应数据库服务器共有m个指标,且m>2;表示所有中的最大值;表示基于所有的平均值。
另一方面,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,包括:
基于数据库服务器的所有指标及第一权重系数,结合评估函数对所述数据库服务器的负载情况进行评估,得到所述数据库服务器的负载参数;
根据负载参数-负载均衡技术映射表匹配所述数据库服务器的负载均衡技术,根据负载均衡技术定制中央负载均衡器的配置规则;
结合配置规则和负载参数,动态调整数据库服务器指标的第一权重系数,得到第二权重系数;
基于第二权重系数和负载均衡技术确定配置规则,并设置中央负载均衡器作为中间层连接所有数据库服务器。
另一方面,所述分发策略是由第一策略和第二策略共同确定的;
所述第一策略包括:中央负载均衡器获得的数据库服务器的IP地址;
所述第二策略包括:中央负载均衡器获取数据库服务器的运载情况。
另一方面,实时监控每个数据库服务器的执行性能指标的过程中,包括:
将数据库性能监控工具配置到每个数据库服务器中,并按照所述数据库服务器的指标预设标准实时监控所述数据库服务器的执行性能指标下所产生的日志信息;
若对日志信息的分析结果中存在不与指标预设标准一致的信息,则锁定不一致的信息并基于报警规则进行预警。
另一方面,根据监控数据调整负载均衡策略和数据库服务器的连接池参数,包括:
当发出预警提醒时,定位出现异常的数据库服务器,并获取所定位的服务器的日志信息中的异常监测数据;
根据异常监测数据获取对应所定位的服务器的当前异常状态,且结合负载均衡技术,对所定位的服务器负载均衡策略进行调整;
同时,分析所定位的服务器的连接池资源在当前异常状态下的占用情况,得到第一负载占比;
监测对应连接池资源的当下占用情况得到第二负载占比;
当第二负载占比大于第一负载占比时,对相应连接池参数进行调整;
当负载均衡策略和连接池参数调整完成后,持续监控数据库服务器的运行情况。
本发明提供一种基于负载均衡的多数据库处理方法,用以通过部署多个数据库服务器并且选择负载均衡技术,调整负载均衡策略和数据库连接池参数,以保持系统在高性能状态下运行。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于负载均衡的多数据库处理方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
如图1所示,本发明实施例提供的一种基于负载均衡的多数据库处理方法,包括:
步骤1:根据业务需求和数据访问特点将目标数据进行分类,并根据分类数据库,向每个分类数据匹配数据库服务器;
步骤2:根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,根据配置规则设置中央负载均衡器作为中间层连接所有数据库服务器;
步骤3:当中央负载均衡器接收到客户端请求后,根据分发策略将请求路由给中央负载均衡器所连接的不同数据库服务器;
步骤4:实时监控每个数据库服务器的执行性能指标,并根据监控数据调整负载均衡策略和数据库服务器的连接池参数。
该实施例中,业务需求是指系统所需要满足的功能、性能、安全性等方面的具体需求和要求,比如:数据访问效率、负载均衡和容灾、性能监控与调优、业务扩展性等。
该实施例中,数据访问特点是目标数据在系统中被访问和利用的方式、频率以及对数据的需求模式等方面的特征,包括:访问频率、访问模式、数据关联性、数据量大小等。
该实施例中,分类数据库中包含了多个服务器,其中服务器和数据的匹配是根据分类数据得到的。
该实施例中,数据库服务器是指专门用于存储和管理数据的服务器,主要构成包括:数据库管理系统、存储系统、引擎、查询处理器、连接池,主要执行对数据库的查询、更新、删除等操作。
该实施例中,负载均衡技术是一种用于在多个服务器之间分配工作负载,以确保这些服务器能够有效地共同处理请求的技术,主要包括:基于DNS的负载均衡、硬件负载均衡器、软件负载均衡器、四层负载均衡、七层负载均衡等类别。
该实施例中,配置规则是确定负载均衡技术后需要设定的规则和参数,包括:负载均衡算法、健康检查机制、会话保持方式、流量限制策略等规则。
该实施例中,中央负载均衡器是负责协调和管理整个数据库服务器集群的关键组件。
该实施例中,中间层是指用于连接客户端和后端数据库服务器的一层系统组件,主要包括:应用服务器、缓存服务器、消息队列、安全层等内容。
该实施例中,客户端请求是应用程序向系统发出的请求,请求系统执行某些操作或获取特定的数据,包括:插入、查询、更新、存储新数据等请求类型。
该实施例中,分发策略是中央负载均衡器将客户端请求路由到连接的不同数据库服务器的方式,包括:轮询、最小连接数、随机、基于性能指标的分发、IP地址散列等策略。
该实施例中,路由是指确定数据在网络中传输的路径和方式的过程。
该实施例中,执行性能指标是对数据库服务器性能的实时监控和评估所得到的各项数据指标,包括:响应时间、吞吐量、负载情况、连接池使用率、并发连接数等指标。
该实施例中,监控数据是对执行性能指标监控后得到的数据,主要是为了获取不同指标在运行过程中所产生的数据,方便后续基于数据的情况调整负载均衡策略。
该实施例中,连接池参数是指用来配置和管理数据库连接池的各项参数,包括:最大连接数、最小空闲连接数、连接超时时间、最大等待时间、连接有效性检测等参数。
上述技术方案的工作原理及有益效果是:通过数据分类、负载均衡技术、请求路由和实时监控,提高系统稳定性、可用性和性能,优化数据访问效率,确保数据库服务器负载均衡,保持系统在高性能状态下运行,提高系统稳定性。
实施例2:
在上述实施例1的基础上,根据业务需求和数据访问特点将目标数据进行分类,包括:
向业务客户端发送查询请求,获取与所述查询请求匹配的业务需求数据;
根据业务需求数据的特点将目标数据进行第一分类;
按照数据访问特点对第一分类后的数据进行优先级划分,得到第二分类数据,其中,所述第二分类数据即为目标数据进行分类的结果。
该实施例中,业务客户端是使用特定业务系统或应用程序。
该实施例中,业务需求数据是根据特定业务需求而收集、整理或提取的相关数据,可能是:客户数据,甲方数据、财务报表等。
该实施例中,第一分类是根据业务需求数据的特点将目标数据进行初步的分类,例如按照数据类型、访问频率、数据量大小等特点进行分类。
该实施例中,优先级划分是指根据数据访问特点和重要性对第一分类后的数据进行进一步的排序划分。
该实施例中,第二分类是在对目标数据进行第一分类后,根据数据访问特点和重要性进行优先级划分的结果。分类结果包括优先级级别的排序和优先级级别的分类,分为中低高三个等级。
上述技术方案的工作原理及有益效果是:通过分类和优先级划分,提高系统查询响应速度,优化数据管理,保持系统在高性能状态下运行,提高系统稳定性。
实施例3:
在上述实施例1的基础上,向每个分类数据匹配数据库服务器,包括:
确定每个第二分类数据与分类数据库中每个服务器的初始适配度;
其中,1表示对应第二分类数据与相应服务器的初始适配度,( )表示调整函数,具体为的调整,表示对应服务器与相应第二分类数据中第i个数据的关联度,是基于服务器-数据类别关联度映射表得到,表示对应第二分类数据中第i个数据的预设权重系数,表示均值函数,ln表示对数函数,表示向对应服务器设定的标准关联度,n表示对应第二分类数据中所有数据的总个数;
根据对应第二分类数据的优先级情况,且结合涉及到的每个初始适配度,计算得到对应第二分类数据与每个服务器的最终适配度;
其中,表示对应的第二分类数据与相应服务器的最终适配度;表示所有优先级中的最高优先级;表示对应的第二分类数据的优先级;表示对的向下取整函数;min表示最小值符号;max表示最大值符号;
从每个第二分类数据下的所有最终适配度中筛选最高适配度对应的服务器作为对应第二分类数据的数据库服务器。
该实施例中,初始适配度表示每个第二分类数据与分类数据库中每个服务器的初始匹配程度。
该实施例中,调整函数是一个用于根据数据的特定属性和服务器的关联度来调整初始适配度的函数。
该实施例中,关联度表示服务器与第二分类数据中的特定数据之间的关联程度。
该实施例中,服务器-数据类别关联度映射表是一个用于表示服务器与不同数据类别之间关联度的映射表。
该实施例中,预设权重系数是指对应第二分类数据中数据的一个预先设置的权重系数。
该实施例中,最终适配度是指对应第二分类数据与每个服务器的在优先级情况下经过计算得到的适配度值。
上述技术方案的工作原理及有益效果是:过计算每个分类数据与服务器的初始适配度,并结合优先级,计算最终适配度,保持系统在高性能状态下运行,提高系统稳定性。
实施例4:
在上述实施例1的基础上,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则的过程中,包括:
基于数据库服务器的特点和预设标准,从负载信息收集池中获取每个数据库服务器的负载信息,通过预先配置的动态负载均衡算法,获取每个数据库服务器下所有指标的第一权重系数;
其中,第一权重系数的具体计算方式如下:
其中,表示对相应数据库服务器下所有指标进行标准化后的指标集合中第j个标准化指标的指标信息度,ln( )表示对数函数,表示标准化指标集合中第j个标准化指标的标准值,表示标准化指标集合中第j个标准化指标的第一权重系数,表示相应数据库服务器共有m个指标,且m>2;表示所有中的最大值;表示基于所有的平均值。
该实施例中,预设标准是指在设计系统时所预先确定的一组标准,包括:负载均衡算法所考虑的指标和其权重分配、各项指标的标准值范围或阈值等。
该实施例中,数据库服务器的特点包括:数据处理能力、可靠性和稳定性、扩展性、高性能等特点。
该实施例中,负载信息收集池是一个软件模块,用于实时地、周期性地或根据需求地收集、监控和存储系统中各个节点的负载信息。
该实施例中,负载信息指数据库服务器的负载情况,包括 CPU 使用率、内存占用情况、磁盘 I/O 操作、网络流量等各项指标。
该实施例中,动态负载均衡算法是一种用于在实时环境下调整系统资源分配以实现负载均衡的算法。其中:对获取到的负载信息进行标准化处理,将各项指标映射到相同的量纲上,根据预设指标权重系数,动态调整负载分配给各个服务器。
该实施例中,第一权重系数是通过对每个数据库服务器下所有指标进行标准化后,计算得到的用于动态负载均衡算法的系数。
该实施例中,指标信息度表示对数据库服务器下所有指标的对于所有指标的信息不确定性差。
上述技术方案的工作原理及有益效果是:通过标准化指标集合和计算第一权重系数,动态负载均衡算法有效调度数据库服务器负载,保持系统在高性能状态下运行,提高系统稳定性。
实施例5:
在上述实施例4的基础上,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,包括:
基于数据库服务器的所有指标及第一权重系数,结合评估函数对所述数据库服务器的负载情况进行评估,得到所述数据库服务器的负载参数;
根据负载参数-负载均衡技术映射表匹配所述数据库服务器的负载均衡技术,根据负载均衡技术定制中央负载均衡器的配置规则;
结合配置规则和负载参数,动态调整数据库服务器指标的第一权重系数,得到第二权重系数;
基于第二权重系数和负载均衡技术确定配置规则,并设置中央负载均衡器作为中间层连接所有数据库服务器。
该实施例中,评估函数是一个用于评估负载情况的参数;
其中,表示评估结果,表示数据库服务器共有q个指标,表示第k个指标的参数值,表示第k个指标的第一权重系数。
该实施例中,负载参数是用于评估数据库服务器负载情况的各项指标。包括:CPU使用率、内存利用率、磁盘读写速度、网络带宽利用率、请求响应时间等。
该实施例中,负载情况是数据库服务器当前的工作量和压力状况,包括:当前正在处理的请求数量、资源利用率、响应时间等情况。
该实施例中,负载参数-负载均衡技术映射表是一个表示负载参数和负载均衡技术对应情况的映射表。
该实施例中,配置规则是指根据负载参数、负载均衡技术和权重系数等信息所确定的一系列操作规则,包括:负载均衡算法选择、服务器健康检查设置、负载调度策略、权重系数调整规则等规则。
该实施例中,第二权重系数的确定方式如下:
其中,表示第二权重系数,表示第一权重系数,表示一共有h个配置规则,表示负载参数,表示第f个配置规则的设定参数,表示第f个配置规则的参数权重,表示标准参数,表示从所有中获取最大权重所对应的配置规则的设定参数;1、表示转换系数,方便计算数值的统一。
上述技术方案的工作原理及有益效果是:通过动态调整权重系数、选择合适负载均衡技术和定制配置规则,实现数据库服务器负载均衡优化,保持系统在高性能状态下运行,提高系统稳定性。
实施例6:
在上述实施例1的基础上,所述分发策略是由第一策略和第二策略共同确定的;
所述第一策略包括:中央负载均衡器获得的数据库服务器的IP地址;
所述第二策略包括:中央负载均衡器获取数据库服务器的运载情况。
该实施例中,运载情况指数据库服务器当前的工作负荷状况,包括:资源利用率、网络负载、服务可用性等情况。
上述技术方案的工作原理及有益效果是:通过中央负载均衡器获取数据库服务器IP地址和运载情况,实现智能负载均衡调度,保持系统在高性能状态下运行,提高系统稳定性。
实施例7:
在上述实施例1的基础上,实时监控每个数据库服务器的执行性能指标的过程中,包括:
将数据库性能监控工具配置到每个数据库服务器中,并按照所述数据库服务器的指标预设标准实时监控所述数据库服务器的执行性能指标下所产生的日志信息;
若对日志信息的分析结果中存在不与指标预设标准一致的信息,则锁定不一致的信息并基于报警规则进行预警。
该实施例中,数据库性能监控工具是一种专门用于监测、分析和管理数据库系统执行性能的软件,常见包括:SQL Profiler、MySQL Enterprise Monitor、PGAdmin等工具。
该实施例中,指标预设标准事先定义好的数据库服务器执行性能指标的标准。
该实施例中,日志信息是指记录数据库服务器运行状态、执行性能指标的记录,包括:性能统计、查询执行情况、异常事件、用户活动等。
该实施例中,报警规则是在数据库性能监控工具中预设的一组条件和动作,用于根据监测数据分析结果生成实时报警通知。包含:触发条件、持续时间、报警级别、报警动作、通知对象等内容。
上述技术方案的工作原理及有益效果是:数据库性能监控工具实时监测服务器执行性能,分析日志信息与预设标准对比,异常情况触发报警通知,保持系统在高性能状态下运行,提高系统稳定性。
实施例8:
在上述实施例7的基础上,根据监控数据调整负载均衡策略和数据库服务器的连接池参数,包括:
当发出预警提醒时,定位出现异常的数据库服务器,并获取所定位的服务器的日志信息中的异常监测数据;
根据异常监测数据获取对应所定位的服务器的当前异常状态,且结合负载均衡技术,对所定位的服务器负载均衡策略进行调整;
同时,分析所定位的服务器的连接池资源在当前异常状态下的占用情况,得到第一负载占比;
监测对应连接池资源的当下占用情况得到第二负载占比;
当第二负载占比大于第一负载占比时,对相应连接池参数进行调整;
当负载均衡策略和连接池参数调整完成后,持续监控数据库服务器的运行情况。
该实施例中,异常监测数据是指记录数据库服务器在运行过程中出现异常情况时所产生的信息和指标数据,包括:异常事件、性能指标异常、连接池资源占用情况、负载均衡策略调整前后的指标对比等数据。
该实施例中,当前异常状态是数据库服务器在某一时刻或某一时间段内出现了性能低下、负载过重、响应延迟等异常情况。
该实施例中,连接池资源是指数据库服务器中用于管理和分配数据库连接的缓冲区,包括:连接数限制、空闲连接、活动连接、等待时间等内容。
该实施例中,占用情况是指连接池资源或其他系统资源在某一特定时间段内被使用的程度,包括:连接池资源占用、CPU占用情况、内存占用情况、网络带宽占用情况等。
该实施例中,第一负载占比是指在异常状态下分析所定位的数据库服务器连接池资源的占用情况时。
该实施例中,第二负载占比是指在服务器负载均衡策略调整后监测分析数据库服务器连接池资源的实时占用情况。
该实施例中,调整包括:请求路由调整、权重调整、故障切换、连接池管理等操作。
上述技术方案的工作原理及有益效果是:通过监测异常状态、调整负载均衡和连接池参数,保持系统在高性能状态下运行,提高系统稳定性。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于负载均衡的多数据库处理方法,其特征在于,包括:
步骤1:根据业务需求和数据访问特点将目标数据进行分类,并根据分类数据库,向每个分类数据匹配数据库服务器;
步骤2:根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,根据配置规则设置中央负载均衡器作为中间层连接所有数据库服务器;
步骤3:当中央负载均衡器接收到客户端请求后,根据分发策略将请求路由给中央负载均衡器所连接的不同数据库服务器;
步骤4:实时监控每个数据库服务器的执行性能指标,并根据监控数据调整负载均衡策略和数据库服务器的连接池参数;
其中,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则的过程中,包括:
基于数据库服务器的特点和预设标准,从负载信息收集池中获取每个数据库服务器的负载信息,通过预先配置的动态负载均衡算法,获取每个数据库服务器下所有指标的第一权重系数;
其中,第一权重系数的具体计算方式如下:
;其中,表示对相应数据库服务器下所有指标进行标准化后的指标集合中第j个标准化指标的指标信息度,ln( )表示对数函数,表示标准化指标集合中第j个标准化指标的标准值,表示标准化指标集合中第j个标准化指标的第一权重系数,表示相应数据库服务器共有m个指标,且m>2;表示所有中的最大值;表示基于所有的平均值。
2.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,根据业务需求和数据访问特点将目标数据进行分类,包括:
向业务客户端发送查询请求,获取与所述查询请求匹配的业务需求数据;
根据业务需求数据的特点将目标数据进行第一分类;
按照数据访问特点对第一分类后的数据进行优先级划分,得到第二分类数据,其中,所述第二分类数据即为目标数据进行分类的结果。
3.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,向每个分类数据匹配数据库服务器,包括:
确定每个第二分类数据与分类数据库中每个服务器的初始适配度;
;其中,1表示对应第二分类数据与相应服务器的初始适配度,( )表示调整函数,具体为的调整,表示对应服务器与相应第二分类数据中第i个数据的关联度,是基于服务器-数据类别关联度映射表得到,表示对应第二分类数据中第i个数据的预设权重系数,表示均值函数,ln表示对数函数,表示向对应服务器设定的标准关联度,n表示对应第二分类数据中所有数据的总个数;
根据对应第二分类数据的优先级情况,且结合涉及到的每个初始适配度,计算得到对应第二分类数据与每个服务器的最终适配度;
;其中,表示对应的第二分类数据与相应服务器的最终适配度;表示所有优先级中的最高优先级;表示对应的第二分类数据的优先级;表示对的向下取整函数;min表示最小值符号;max表示最大值符号;
从每个第二分类数据下的所有最终适配度中筛选最高适配度对应的服务器作为对应第二分类数据的数据库服务器。
4.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,包括:
基于数据库服务器的所有指标及第一权重系数,结合评估函数对所述数据库服务器的负载情况进行评估,得到所述数据库服务器的负载参数;
根据负载参数-负载均衡技术映射表匹配所述数据库服务器的负载均衡技术,根据负载均衡技术定制中央负载均衡器的配置规则;
结合配置规则和负载参数,动态调整数据库服务器指标的第一权重系数,得到第二权重系数;
基于第二权重系数和负载均衡技术确定配置规则,并设置中央负载均衡器作为中间层连接所有数据库服务器。
5.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,所述分发策略是由第一策略和第二策略共同确定的;
所述第一策略包括:中央负载均衡器获得的数据库服务器的IP地址;
所述第二策略包括:中央负载均衡器获取数据库服务器的运载情况。
6.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,实时监控每个数据库服务器的执行性能指标的过程中,包括:
将数据库性能监控工具配置到每个数据库服务器中,并按照所述数据库服务器的指标预设标准实时监控所述数据库服务器的执行性能指标下所产生的日志信息;
若对日志信息的分析结果中存在不与指标预设标准一致的信息,则锁定不一致的信息并基于报警规则进行预警。
7.根据权利要求6所述的一种基于负载均衡的多数据库处理方法,其特征在于,根据监控数据调整负载均衡策略和数据库服务器的连接池参数,包括:
当发出预警提醒时,定位出现异常的数据库服务器,并获取所定位的服务器的日志信息中的异常监测数据;
根据异常监测数据获取对应所定位的服务器的当前异常状态,且结合负载均衡技术,对所定位的服务器负载均衡策略进行调整;
同时,分析所定位的服务器的连接池资源在当前异常状态下的占用情况,得到第一负载占比;
监测对应连接池资源的当下占用情况得到第二负载占比;
当第二负载占比大于第一负载占比时,对相应连接池参数进行调整;
当负载均衡策略和连接池参数调整完成后,持续监控数据库服务器的运行情况。
CN202410713724.4A 2024-06-04 2024-06-04 一种基于负载均衡的多数据库处理方法 Active CN118819819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410713724.4A CN118819819B (zh) 2024-06-04 2024-06-04 一种基于负载均衡的多数据库处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410713724.4A CN118819819B (zh) 2024-06-04 2024-06-04 一种基于负载均衡的多数据库处理方法

Publications (2)

Publication Number Publication Date
CN118819819A CN118819819A (zh) 2024-10-22
CN118819819B true CN118819819B (zh) 2025-07-18

Family

ID=93080816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410713724.4A Active CN118819819B (zh) 2024-06-04 2024-06-04 一种基于负载均衡的多数据库处理方法

Country Status (1)

Country Link
CN (1) CN118819819B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120144413B (zh) * 2025-05-14 2025-10-03 华能信息技术有限公司 一种数据库负载动态管理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326012A (zh) * 2016-08-25 2017-01-11 中国农业银行股份有限公司 web应用集群缓存利用方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108494868A (zh) * 2018-03-30 2018-09-04 三盟科技股份有限公司 一种基于云业务系统下的负载均衡方法及系统
CN110011928B (zh) * 2019-04-19 2022-08-19 平安科技(深圳)有限公司 流量均衡负载方法、装置、计算机设备和存储介质
CN117768394A (zh) * 2022-09-16 2024-03-26 中兴通讯股份有限公司 一种负载均衡处理方法、装置、存储介质及电子装置
CN116896503A (zh) * 2023-06-28 2023-10-17 四川迅游网络科技股份有限公司 一种动态判断数据流的加速方法
CN117155936A (zh) * 2023-07-31 2023-12-01 北京航天计量测试技术研究所 一种负载均衡的实现方法及装置
DE202024100297U1 (de) * 2024-01-20 2024-02-27 Priti Dimri System zum Lastausgleich in einer Cloud-Umgebung für algorithmische Effizienz

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326012A (zh) * 2016-08-25 2017-01-11 中国农业银行股份有限公司 web应用集群缓存利用方法和系统

Also Published As

Publication number Publication date
CN118819819A (zh) 2024-10-22

Similar Documents

Publication Publication Date Title
US6912533B1 (en) Data mining agents for efficient hardware utilization
CN100568193C (zh) 多层计算环境中用于性能管理的系统和方法
US8190593B1 (en) Dynamic request throttling
US6643614B2 (en) Enterprise management system and method which indicates chaotic behavior in system resource usage for more accurate modeling and prediction
US7058622B1 (en) Method, apparatus and system for screening database queries prior to submission to a database
US7509671B1 (en) Systems and methods for assigning priority to jobs in a reporting system
US7607135B2 (en) Apparatus and method for enhancing performance of a computer system
US20020129127A1 (en) Apparatus and method for routing a transaction to a partitioned server
US20030204588A1 (en) System for monitoring process performance and generating diagnostic recommendations
US20080168446A1 (en) Method and Apparatus for Handling Service Requests in a Data Processing System
CN113315836B (zh) 文件访问请求的调度方法、装置、电子设备、存储介质
CN109271243B (zh) 一种集群任务管理系统
CN114035962A (zh) 资源调配方法、装置、计算机设备和存储介质
US8418183B2 (en) Resource information collection and delivery method and system
CN113111083A (zh) 数据查询的方法、装置、设备、存储介质和程序产品
CN118819819B (zh) 一种基于负载均衡的多数据库处理方法
WO2008055129A2 (en) Method and apparatus for distribution of data among computing resources
CN112866132A (zh) 面向海量标识的动态负载均衡器及方法
CN118233469A (zh) 基于延迟感知和负载均衡的计算任务调度方法、系统
CN119201399A (zh) 任务数据配置方法、装置、电子设备及存储介质
CN118400377B (zh) 一种云存储平台资源分配方法
Tong et al. Service Reliability Oriented Modeling for the Failure of Cloud Data Center
US12028271B2 (en) Prioritizing messages for server processing based on monitoring and predicting server resource utilization
CN120263857A (zh) 一种计算机通信的动态访问控制方法及系统
US20250343833A1 (en) Independent load balancing to prevent node agent overload

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20241022

Assignee: HUANENG JINMEN THERMOELECTRICITY CO.,LTD.

Assignor: Huaneng Information Technology Co.,Ltd.

Contract record no.: X2025980034700

Denomination of invention: A multi-database processing method based on load balancing

Granted publication date: 20250718

License type: Common License

Record date: 20251114