CN109922007B - 一种基于卷积神经网络的负载均衡方法 - Google Patents
一种基于卷积神经网络的负载均衡方法 Download PDFInfo
- Publication number
- CN109922007B CN109922007B CN201910036377.5A CN201910036377A CN109922007B CN 109922007 B CN109922007 B CN 109922007B CN 201910036377 A CN201910036377 A CN 201910036377A CN 109922007 B CN109922007 B CN 109922007B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- communication
- load balancing
- communication link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000011176 pooling Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于卷积神经网络的负载均衡方法,该方法包括:获取多个运营商通信链路的时延、速率和丢包率,将其分别作为卷积神经网络的输入样本;将输入样本构建为训练集,利用构建的训练集训练构建卷积神经网络;根据训练好的卷积神经网络,对每个时段的每条通信链路质量分别进行判断,获得每条通信链路的通信质量优劣;对已知通信质量优劣的多条通信链路进行负载均衡,实现通信的稳定性。本发明将卷积神经网络与负载均衡相结合,有效地对多条通信链路的通信质量进行判断并实现负载均衡,提高了通信的稳定性。
Description
技术领域
本发明属于通信技术领域,具体涉及一种基于卷积神经网络的负载均衡方法。
背景技术
随着互联网的快速发展,用户需求逐渐增大,网络超载与超负荷已经很常见。因此多链路传输数据成为必然。使用多链路传输数据需要研究多个链路的负载均衡方法。
负载均衡建立在现有的网络结构之上,提供了一种有效的方法来扩展网络设备和服务器的带宽,增加吞吐量,加强网络数据处理能力,提高网络的灵活性和可用性。
目前常用的负载均衡处理方法包括轮询法、散列法以及最小连接法等。传统的负载均衡方法效率不高。目前的研究都是基于时延或者吞吐量等其他单一变量,显得片面。而且不同的网络运营商之间的线路租借带宽瓶颈,导致了在跨运营商的网络互访过程中,存在如时延长、丢包率高而导致网络互访不畅通,用户体验不好。
发明内容
针对现有的技术存在的缺陷,本发明的目的是提供一种基于卷积神经网络的负载均衡方法,解决现有技术在跨运营商的网络互访过程中通信不稳定的问题。
一种基于卷积神经网络的负载均衡方法,包括以下步骤:
步骤一:多次获取一条正在进行通信数据传输的通信链路的三个质量参数的数据作为训练集;
步骤二:将得到的训练集对卷积神经网络进行训练,得到训练好的卷积神经网络;
步骤三:在多条正在进行通信数据传输的待均衡通信链路中,获取各条待均衡通信链路的三个质量参数的数据,在训练好的卷积神经网络进行训练,分别得到第n条待均衡通信链路的第i个质量参数的概率值pni;
步骤四:第n条待均衡的通信链路的质量概率ξn通过
得到,用各条待均衡的通信链路的通信质量概率之比对各条待均衡的通信链路正在进行传输的数据进行分配,实现负载均衡。
进一步地,所述的通信链路的三个质量参数包括时延、速率和丢包率。
进一步地,步骤二中卷积神经网络的输出层采用softmax分类器,输出为:
y=softmax(g*z+b0)
g为所需学习的权重,z为特征向量,b0为偏置。
进一步地,步骤三所述的第n条待均衡通信链路第i个质量参数的概率值pni包括:
其中yi表示在第n条待均衡通信链路中第i个质量参数的卷积神经网络的输出层的输出向量y,i=1,2,3。
进一步地,所述的通信链路为4G无线通信链路。
进一步地,所述的卷积神经网络包括输入层、卷积层、池化层、全连接层、输出层。
与现有技术相比,本发明的有益效果是:
(1)本发明通过卷积神经网络实现了多个运营商多条通信链路之间的负载均衡。
(2)本发明通过多条链路的时延、速率和丢包率三个链路质量参数,对通信链路的负载均衡进行判别,提高了传输的稳定性。
(3)本发明通过卷积神经网络对训练集训练,动态判别多条通信链路的传输质量优劣,同时实现负载均衡。
附图说明
图1是卷积神经网络的结构示意图;
图2是一种基于卷积神经网络的负载均衡方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实例仅用以解释本发明,并不限定本发明。
本实施例所采用通信链路,指的是电信、联通和移动等运营商的4G无线通信链路,所述的质量参数包括时延、速率和丢包率。所采用的卷积神经网络模型在本质上就是输入到输出的映射,通过学习大量输入与输出之间的映射关系,构建网络中的映射能力。将卷积神经网络与负载均衡方法相结合,通过训练集构建卷积神经网络,实现多个运营商多条链路的负载均衡。
一种基于卷积神经网络的负载均衡方法,如图1,包括以下步骤:
步骤一:多次获取一条正在进行通信数据传输的通信链路的三个质量参数的数据作为训练集;
首先在正在进行通信数据传输的4G无线通信链路中,通过本地主机发送一定时间长度的ICMP(Internet Control Messages Protocol因特网信报控制协议)请求消息给目的主机,本地主机得到应答,从而可获取三条通信链路的质量参数时延、速率和丢包率的数据,所述的一定时间长度在本实施例中设置为5秒。
其中时延和丢包率可以直接获得,速率υ的计算过程如下:
向目的主机发N1字节的ICMP回声请求,记录下从发送请求到接收完从目的主机返回的数据这段过程的耗时T1;
向目的主机发N2字节的ICMP回声请求,记录下从发送请求到接收完从目的主机返回的数据这段过程的耗时T2;
则当前通信链路的速率υ为:
υ=(N2-N1)/(T2-T1) (1)
得到的每条链路的时延、速率和丢包率这三个通信链路的质量参数分别构成一组训练样本。在一段时间内(如12小时)按照时间多次获取训练样本,每条通信链路的多组训练样本分别构成一个训练集。
步骤二:将得到的训练集对卷积神经网络进行训练,得到训练好的卷积神经网络;
图2是卷积神经网络的结构示意图,分为输入层、卷积层、池化层、全连接层、输出层。
其中,输入层是电信、联通和移动任意一条通信链路分别采集到的时延、速率和丢包率数据。同时输入采用3×8640的样本格式输入,其中3代表时延、速率和丢包率三个参数,8640代表采集时间内获得的数据总数;
其中,卷积层层数和每层的卷积核数量根据实际情况确定,每个卷积核的宽度和该层输入矩阵的宽度相同,设为W,卷积训练集的样本矩阵为X,卷积核的高度为h,R表示实数,则卷积核表示为g∈RhW,该卷积在样本矩阵(x,y)处提取到的特征aj为:
aj=s(g*Xx,y+b0) (2)
其中s是Sigmoid函数,b0为偏置。该卷积核在长度为L的样本矩阵上左右滑动,j的取值不断变化即j=1,2,...,L-h+1,得到该层的特征图谱a=[a1,a2,...,aL-h+l],在本实施例中L为8640。
上述过程只是一个卷积核产生一个特征的过程,实际模型中在计算时是有多个卷积层的,每个卷积层有多个卷积核,本实例中采用3×3尺寸的卷积核,共15个。
其中,输出层采用softmax分类器,其中输出层神经元激活值为1表示输入数据对应的是链路的通信质量情况,不激活时为0,输出结果为:
y=softmax(g*z+b0) (3)
步骤三:在多条正在进行通信数据传输的待均衡通信链路中,获取各条待均衡通信链路的三个质量参数的数据,在训练好的卷积神经网络进行训练,分别得到第n条待均衡通信链路的第i个质量参数的概率值pni;
发送ICMP回声请求消息给目的主机获取当前时间的待均衡的通信链路的通信链路的时延、速率和丢包率,得到卷积神经网络的输入。
经过步骤二训练的卷积神经网络模型,输出第n条通信链路的三个链路质量参数的概率:
其中pni表示在第n条待均衡通信链路中第i个质量参数的概率值,本实施例中三个质量参数为时延、速率和丢包率,分别对应p1,p2,p3,yi表示第i个质量参数的卷积神经网络的输出层的输出向量y。
概率值越大对应该通信链路质量参数效果更好。根据得到的概率值对该条通信链路的通信质量进行划分。将通信链路质量的优劣映射为一个3维的向量,即优、中、差。
在本实例中,根据输出的三个通信链路的质量参数的概率值判定该条链路的通信质量。当三个链路质量参数的概率值均大于等于0.8时,表明该条通信链路的通信质量是优;当三个链路质量参数的概率值均小于等于0.3时,表明给条通信链路的通信质量是差;当三个链路质量参数的概率值判定不属于优和差,均判定该条链路的通信质量是中。
以上是一条待均衡的通信链路的质量参数的概率值与链路通信质量的获取方式,同理,可以得到其余的两条通信链路的链路质量参数数据,经过卷积神经网络的训练,得到其他待均衡通信链路的质量参数的概率值与链路通信质量。
步骤四:第n条待均衡的通信链路的质量概率ξn通过
得到,用各条待均衡的通信链路的通信质量概率之比对各条待均衡的通信链路正在进行传输的数据进行分配,实现负载均衡。
具体为通过步骤三得到了三条通信链路的质量参数的概率值,进行通信数据的负载均衡,还需要计算第n条链路的通信质量概率ξn:
其中ξn表示第n条通信链路的通信质量概率,pni是根据卷积神经网络得到的第n条链路的三个通信质量参数的概率值,i=1,2,3。
在本实施例中采用电信、联通和移动三条通信链路,即n=1,2,3,根据得到的电信、联通和移动三条链路的通信质量概率ξ计算通信质量概率之和S=ξ1+ξ2+ξ3。将电信、联通和移动三条链路的数据按照ξn/S这一比例,分配至三条链路。从而实现这三条链路的负载均衡。其中数据传输以数据包为单位。与现有技术相比,扩展网络设备和服务器的带宽,增加吞吐量,加强网络数据处理能力,提高网络的灵活性和可用性。在跨运营商的网络互访过程中,网络互访畅通,用户体验提升。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原来后,都可能在不背离本发明的原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (6)
1.一种基于卷积神经网络的负载均衡方法,其特征在于,包括以下步骤:
步骤一:多次获取一条正在进行通信数据传输的通信链路的三个质量参数的数据作为训练集;
步骤二:将得到的训练集对卷积神经网络进行训练,得到训练好的卷积神经网络;
步骤三:在多条正在进行通信数据传输的待均衡通信链路中,获取各条待均衡通信链路的三个质量参数的数据,在训练好的卷积神经网络进行训练,分别得到第n条待均衡通信链路的第i个质量参数的概率值pni;
所述的第n条待均衡通信链路第i个质量参数的概率值pni包括:
其中yi表示在第n条待均衡通信链路中第i个质量参数的卷积神经网络的输出层的输出向量y,i=1,2,3;
步骤四:第n条待均衡的通信链路的质量概率ξn通过
得到,用各条待均衡的通信链路的通信质量概率之比对各条待均衡的通信链路正在进行传输的数据进行分配,实现负载均衡。
2.根据权利要求1所述的基于卷积神经网络的负载均衡方法,其特征在于,所述的通信链路的三个质量参数包括时延、速率和丢包率。
4.根据权利要求1所述的基于卷积神经网络的负载均衡方法,其特征在于,步骤二中卷积神经网络的输出层采用softmax分类器,输出为:
y=softmax(g*z+b0)
g为所需学习的权重,z为特征向量,b0为偏置。
5.根据权利要求1所述的基于卷积神经网络的负载均衡方法,其特征在于,所述的通信链路为4G无线通信链路。
6.根据权利要求1所述的基于卷积神经网络的负载均衡方法,其特征在于,所述的卷积神经网络包括输入层、卷积层、池化层、全连接层、输出层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910036377.5A CN109922007B (zh) | 2019-01-15 | 2019-01-15 | 一种基于卷积神经网络的负载均衡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910036377.5A CN109922007B (zh) | 2019-01-15 | 2019-01-15 | 一种基于卷积神经网络的负载均衡方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109922007A CN109922007A (zh) | 2019-06-21 |
| CN109922007B true CN109922007B (zh) | 2022-04-01 |
Family
ID=66960424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910036377.5A Active CN109922007B (zh) | 2019-01-15 | 2019-01-15 | 一种基于卷积神经网络的负载均衡方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109922007B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101695050A (zh) * | 2009-10-19 | 2010-04-14 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量自适应预测的动态负载均衡方法 |
| EP3583797B1 (en) * | 2017-02-16 | 2021-10-20 | Alcatel-Lucent Ireland Ltd | Methods and systems for network self-optimization using deep learning |
| US10795836B2 (en) * | 2017-04-17 | 2020-10-06 | Microsoft Technology Licensing, Llc | Data processing performance enhancement for neural networks using a virtualized data iterator |
| CN108809839B (zh) * | 2018-07-17 | 2020-12-01 | 湖南理工学院 | 无线Mesh骨干网络流量控制方法与装置 |
-
2019
- 2019-01-15 CN CN201910036377.5A patent/CN109922007B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109922007A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111628855B (zh) | 基于深度强化学习的工业5g动态多优先级多接入方法 | |
| JP7451689B2 (ja) | ネットワーク輻輳処理方法、モデル更新方法、および関連装置 | |
| CN112181971A (zh) | 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质 | |
| Su et al. | QRED: A Q-learning-based active queue management scheme | |
| CN112532530B (zh) | 一种拥塞通知信息调整的方法及设备 | |
| CN110955463A (zh) | 支持边缘计算的物联网多用户计算卸载方法 | |
| WO2024188157A1 (zh) | 一种WIFI Mesh组网传播优化方法、系统及存储介质 | |
| CN113271256B (zh) | 一种信息年龄多路径传输方法及系统 | |
| CN111224905A (zh) | 一种大规模物联网中基于卷积残差网络的多用户检测方法 | |
| CN118573863A (zh) | 基于模仿学习和强化学习的码率自适应选择方法 | |
| CN118381765B (zh) | 无损网络拥塞控制方法、装置、设备、介质及交换机系统 | |
| CN114448899A (zh) | 一种均衡数据中心网络负载的方法 | |
| CN109922007B (zh) | 一种基于卷积神经网络的负载均衡方法 | |
| CN109698925A (zh) | 基于数据驱动的实时视频拥塞控制方法及装置 | |
| CN115334002B (zh) | 流量预测下结合改进队列管理算法的aos智能帧生成方法 | |
| JP7007669B2 (ja) | 通信システム、トラヒック制御装置及びトラヒック制御方法 | |
| CN116760777B (zh) | 一种基于abea3c的多路径拥塞控制方法 | |
| CN111669777B (zh) | 基于改进卷积神经网络的移动通信系统智能预测方法 | |
| CN118042069B (zh) | 一种网络会议视频码流自适应传输方法及系统 | |
| CN116166444A (zh) | 一种面向深度学习分层模型的协同推理方法 | |
| CN112020030A (zh) | 基于模糊控制单神经元pid控制器的无线传感器网络的拥塞控制方法 | |
| CN113507413B (zh) | 一种路由优化方法、装置及计算设备 | |
| CN118042018B (zh) | 一种基于stsgcn的智能多路径数据调度方法 | |
| CN106488303A (zh) | 一种基于软件定义的视频直播网络传输性能优化方法及系统 | |
| CN114692897A (zh) | 一种个性化联邦学习权重压缩方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |