[go: up one dir, main page]

CN112601256A - 一种超密集网络中基于mec-sbs簇化的负载调度方法 - Google Patents

一种超密集网络中基于mec-sbs簇化的负载调度方法 Download PDF

Info

Publication number
CN112601256A
CN112601256A CN202011419764.6A CN202011419764A CN112601256A CN 112601256 A CN112601256 A CN 112601256A CN 202011419764 A CN202011419764 A CN 202011419764A CN 112601256 A CN112601256 A CN 112601256A
Authority
CN
China
Prior art keywords
cluster
mec
sbs
network
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011419764.6A
Other languages
English (en)
Other versions
CN112601256B (zh
Inventor
覃少华
陆鹏
廖元秀
赵鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Zhongkun Technology Co ltd
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202011419764.6A priority Critical patent/CN112601256B/zh
Publication of CN112601256A publication Critical patent/CN112601256A/zh
Application granted granted Critical
Publication of CN112601256B publication Critical patent/CN112601256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/04—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种超密集网络中基于MEC‑SBS簇化的负载调度方法，包括如下步骤：步骤一、初始化；步骤二、卸载计算任务；步骤三、判断是否调整协作簇；步骤四、同步参数；步骤五、构建DDPG模型；步骤六、更新全局参数。这种方法能够有效的降低大规模网络中MEC‑SBS计算负载调度的复杂度，减少MEC‑SBS之间信令交互的消耗和计算任务的平均服务延时，同时能够有效地解决固定协作簇中资源限制问题，具有较高的灵活性。

Description

一种超密集网络中基于MEC-SBS簇化的负载调度方法
技术领域
本发明涉及移动边缘计算领域，应用于超密集网络中MEC-SBS负载调度，具体涉及一种超密集网络中基于MEC-SBS簇化的负载调度方法。
背景技术
超密集网络(Ultra-Dense Network,简称UDN)作为5G中一项关键技术，通过密集部署低功率小基站和热点增大网络中移动设备的连接量，为移动设备提供良好的接入服务，满足了目前移动数据流量爆炸式增长的需求。然而，在超密集网络中，由于微基站数目庞大以及微基站与核心网之间的回程链路容量有限，大量的移动数据流量传输会导致回程链路拥塞，从而影响用户的服务质量(Quality of Service,简称QoS)和网络性能。移动边缘计算(Mobile Edge Computing,简称MEC)通过在网络边缘部署云计算和网络服务，有效的处理网络边缘产生的移动数据[1]。通过在超密集网络中的微基站上部署移动边缘计算服务器(MEC-Enabled Small Cell Base Station，简称MEC-SBS)，能够有效处理边缘数据并减少回程网络数据的传输，缓解回程链路的压力和提高终端用户的QoS。
然而，与云计算中心服务器和宏基站边缘服务器相比，MEC-SBS的计算资源是有限的。同时，由于超密集网络中微基站的覆盖范围小，超密集部署的MEC-SBS上的计算负载更容易受到用户移动、时间和空间等因素的影响，使得MEC-SBS上的计算负载动态变化且分布不均衡。因此，仅依靠单个MEC-SBS无法时刻提供令移动终端用户满意的计算服务。MEC-SBS协作，通过将网络中计算负载重的MEC-SBS上的计算负载卸载到邻居计算负载轻的MEC-SBS上，来平衡MEC-SBS上的负载，从而提高边缘服务性能。此外，MEC-SBS的超密集部署以及地域上分布广给大规模计算负载调度和优化带来了巨大挑战。
为了提高超密集网络中MEC-SBS资源的利用率，同时减少计算任务卸载的传输延迟，国内外学者开始研究如何通过不同MEC-SBS之间的协作来解决单个MEC-SBS上边缘计算资源不足的问题。
目前，关于微基站边缘服务器间协作的计算卸载研究中，Chen(CHEN L,ZHOU S,XUJ.Computation Peer Offloading for Energy-Constrained Mobile Edge Computing inSmall-Cell Networks[J].IEEE/ACM Transactions on Networking,2018,26(4):1619-1632.)提出了一种在线对等卸载(Online Peer Offloading,简称OPEN)的MEC-SBS协作框架。该框架基于李雅普诺夫优化理论实现网络中随机计算对等卸载，系统中MEC-SBS根据自身卸载前边际计算成本(Marginal Computation Cost，简称MaCC)求出最优卸载后边际计算成本并决定MEC-SBS的协作角色，即卸载负载、接收负载和不参与协作，通过MEC-SBS自身卸载前和最优卸载后的边际计算成本来决定MEC-SBS上要卸载的计算负载量以及有线局域网中通信流量，使计算延时最小化。但是，由于系统中所有的MEC-SBS是通过有线局域网连接，网络拓扑无法动态变化。一旦协作区中所有的MEC-SBS过载，系统中MEC-SBS上的计算负载将无法调整，影响整个系统的性能。再者，协作区域的协作复杂度将随着协作规模的变大随之变高。为了解决因有线局域网固定网络拓扑而无法调整协作区域问题，Yang(YANG T,ZHANG H,JI H,et al.Computation collaboration in ultra dense networkintegrated with mobile edge computing；proceedings of the 2017IEEE 28th AnnualInternational Symposium on Personal,Indoor,and Mobile Radio Communications(PIMRC),F,2017[C].IEEE.)提出了一种移动边缘计算协作架构(MEC CollaborativeArchitecture,简称MEC-CA)。MEC-CA中MEC-SBS通过无线回程链路进行连接，使得MEC-SBS的部署和协作更加灵活和便捷。MEC-CA将整个系统中所有的MEC-SBS当作一个协作簇，过载的MEC-SBS先探测其邻居MEC-SBS负载信息和链路信息，再根据自身计算任务的延时需求、与其他MEC-SBS之间的链路状态和MEC-SBS的计算资源状况，选择本地、邻居MEC-SBS或者更远的MEC-SBS进行协作，在实现簇中计算资源的最优分配的基础上，最小化计算任务的计算延迟。但是，簇中MEC-SBS采用分布式的协作方式，过载的MEC-SBS在每个时间槽内都要和邻居MEC-SBS通过信令交互来获取其邻居的计算负载和链路信息，使得信令开销较大。再者，当有多个过载MEC-SBS寻求共同的邻居MEC-SBS协作时，会产生计算资源竞争现象，使得过载MEC-SBS因被邻居MEC-SBS拒绝服务而无法保证服务质量。此外，簇中某个区域中多个MEC-SBS过载，会出现某个过载MEC-SBS的邻居MEC-SBS也是过载的，因此，系统资源分配难度和计算复杂度就会提高，任务处理延时也会增大。为了降低信令开销、提高服务质量和降低资源的分配难度，Oueis(OUEIS J,STRINATI E C,BARBAROSSA S.Distributed mobilecloud computing:A multi-user clustering solution；proceedings of the 2016IEEEInternational Conference on Communications(ICC),F,2016[C].IEEE.)提出了一种基于动态划分协作簇的协作策略。该策略分为分布式管理层和集中式管理层，在分布式管理层中，当服务计算任务到达一个MEC-SBS后，它首先询问其邻居MEC-SBS的可用计算资源和它们之间的链路状况，然后在最小化通信能量消耗的前提下，该MEC-SBS与其部分邻居MEC-SBS动态形成计算协作簇；而在集中式管理层中，分布式管理层中的MEC-SBS将计算协作簇中的负载分发信息上传给集中式管理层中的中心控制单元，中心控制单元以最小化数据处理时间为目标，将协作簇中过载MEC-SBS上的过载的计算负载卸载到其他簇中未过载的MEC-SBS上，实现系统中MEC-SBS计算资源的有效利用。虽然集中式管理层能在一定程度上调整分布式管理层中协作簇中MEC-SBS负载分发不均的情况，但是，随着整个系统中MEC-SBS的数量和请求的增加，中心控制单元的计算复杂度随之快速增加。此外，分布式管理层中的服务MEC-SBS在不考虑其他用户请求的情况下为每一个用户请求构建计算协作簇，会出现同一个邻居MEC-SBS被多个服务MEC-SBS请求构建协作簇，无法保证资源最优分配，集中式管理层中的中心管理单元需要再次进行全局调整，致使计算负载分配难度增大，无法保证服务质量，同时，多次与邻居进行网络信令交互增加了带宽消耗，随着网络规模变大，因大量信令交互的带宽消耗更加严重。
虽然上述工作研究了MEC-SBS协作方式来弥补单个MEC-SBS资源有限问题。但是在超密集网络中，由于MEC-SBS的密集部署和较大的网络规模，上述协作方式存在复杂度高、信令开销大、计算资源竞争和大规模网络中有线连接方式存在成本高、部署困难和灵活性差等问题。
发明内容
本发明的目的是为了解决现有技术存在的问题，提供一种超密集网络中基于MEC-SBS簇化的负载调度方法。这种方法能够有效的歼敌大规模网络中MEC-SBS计算负载调度的复杂度，减少MEC-SBS之间信令交互的消耗和计算任务的平均服务延时，同时能够有效地解决固定协作簇中资源限制问题，具有较高的灵活性。
实现本发明目的的具体技术方案是：
一种超密集网络中基于MEC-SBS簇化的负载调度方法，包括如下步骤：
步骤一、初始化：其中包括构建初始协作簇和对深度确定梯度(DeepDeterministic Policy Gradient，简称DDPG)算法中的参数的初始化；
步骤二、卸载计算任务：移动用户设备选择与之信道增益最好的MEC-SBS进行关联，然后向与之关联的MEC-SBS卸载其产生的计算任务；
步骤三、判断是否调整协作簇：各协作簇中簇头MEC-SBS收集簇中所有MEC-SBS的计算负载信息，即协作簇中MEC-SBS的总计算负载量lk(t)，并判断簇中计算负载是否过载；若过载，则簇头MEC-SBS向宏基站边缘服务器请求调整协作簇；若不过载，则不调整；
步骤四、同步参数：各协作簇中的簇头MEC-SBS从宏基站边缘服务器同步全局参数并进行目标网络参数更新；
步骤五、构建DDPG模型：各协作簇中MEC-SBS的计算负载量表示DDPG的当前状态，各协作簇中MEC-SBS的计算负载卸载表示为DDPG的动作空间，使用协作簇中计算任务的平均计算服务延时构建DDPG模型中的奖励值，通过DDPG算法求出最优的簇中负载调度策略；
步骤六、更新全局参数：宏基站边缘服务器更新全局参数，为下一次负载调度做准备。
步骤一中初始化具体包括：
(1)采用k-means分簇算法构建初始协作簇，根据k-means算法的分簇结果为网络中的MEC-SBS分配簇号，簇号相同的MEC-SBS中选择一个簇头MEC-SBS负责收集簇中计算负载信息和做出计算负载调度策略；
(2)各协作簇中簇头MEC-SBS通过并行方式运行DDPG算法，协作簇的簇头MEC-SBS定期和宏基站边缘服务器同步参数；
(3)初始化DDPG算法中策略网络的学习率
Figure BDA0002821757160000041
Q值网络的学习率
Figure BDA0002821757160000042
折扣因子γ、更细系数τ和训练样本大小Z。
步骤三中协作簇中MEC-SBS的总计算负载量lk(t)计算公式为：
Figure BDA0002821757160000043
其中
Figure BDA0002821757160000044
为在时间槽t时，MEC-SBS第i个上计算负载量，设定lth为协作簇的上限阈值；
簇头MEC-SBS判断簇中总计算负载量lk(t)是否超过协作簇的计算负载上限阈值lth，如果计算协作簇过载，即lk(t)＞lth，则进行协作簇调整，调整的具体步骤如下：
(1)计算负载过载簇k发送过载信息给其邻居协作簇k′的簇头，请求邻居簇参与调整协作簇，满足计算负载条件lk′≤lth的邻居协作簇
Figure BDA0002821757160000045
和协作簇k上传协作簇的簇号、各自簇中MEC-SBS的负载信息和位置信息给宏基站边缘服务器，其中Hk表示协作簇k的邻居协作簇的簇号集合；
(2)宏基站边缘服务器根据提交的MEC-SBS信息计算MEC-SBS的平均计算负载，MEC-SBS第i个的平均负载计算公式表示为：
Figure BDA0002821757160000046
其中参数
Figure BDA0002821757160000047
表示协作簇
Figure BDA0002821757160000048
存在时间长度，
Figure BDA0002821757160000049
表示协作簇形成的起始时间，协作簇
Figure BDA00028217571600000410
(3)宏基站边缘服务器根据MEC-SBS的平均计算负载量选出前|{k}∪Hk|个MEC-SBS作为协作簇的初始簇头，并使用k-means算法对MEC-SBS进行分簇，MEC-SBS根据k-means分簇结果来更新簇号。
步骤四中同步参数采用软更新的方式进行更新，具体更新公式如下表示：
w′k＝τwk+(1-τ)w′k (3)，
θ′k＝τθk+(1-τ)θ′k (4)，
其中w′k表示协作簇中目标策略网络的神经网络参数，wk表示协作簇中当前策略网络的神经网络参数，θ′k表示协作簇中目标Q值网络的神经网络参数，θk表示协作簇中目标Q值网络的神经网络参数。
步骤五中DDPG模型的具体描述如下：
状态空间：用簇中MEC-SBS上的计算负载量表示，协作簇k中的状态空间具体表示如下：
Figure BDA0002821757160000051
其中
Figure BDA0002821757160000052
为在时间槽t时，MEC-SBS第i个上计算负载量；
动作空间：用簇中MEC-SBS的计算负载卸载动作表示，协作簇k中的动作空间具体表示如下：
Figure BDA0002821757160000053
其中
Figure BDA0002821757160000054
表示协作簇k中第i个MEC-SBS卸载到簇中其他MEC-SBS i′的计算负载量；奖励：用簇中计算任务的平均服务延时表示，协作簇k中的奖励具体表示如下：
Figure BDA0002821757160000055
其中
Figure BDA0002821757160000056
表示在时间槽t时，网络中MEC-SBS第i个的计算任务总的处理时间，
Figure BDA0002821757160000057
表示在时间槽t时，网络中MEC-SBS第i个的传输计算任务的传输时延；
各协作簇中DDPG算法具体运行流程如下：
(1)各簇头上Actor观察得到的环境状态
Figure BDA0002821757160000058
根据行为策略执行动作
Figure BDA0002821757160000059
获得奖励
Figure BDA00028217571600000510
环境转换到
Figure BDA00028217571600000511
(2)各簇头Actor将状态转移过程
Figure BDA00028217571600000512
存到本地经验回放集合Dk中；
(3)随机从经验回放集合Dk中选取Z个样本，作为训练策略网络和Q值网络的数据集；
(4)根据样本通过Actor的目标策略网络和Critic的目标Q值网络得到的值和当前网络得到的估计值之差来更新当前网络的神经网络参数；
Critic网络参数更新采用均方误差来作为损失函数，公式具体表示为：
Figure BDA0002821757160000061
基于标准的方向传播算法可以得到损失函数L(wm)关于Critic的Q值当前网络wm的梯度，具体公式表示为：
Figure BDA0002821757160000062
其中
Figure BDA0002821757160000063
Actor网络参数更新方式采用确定策略梯度方式，Actor当前策略网络的梯度计算具体公式表示为：
Figure BDA0002821757160000064
(5)簇头MEC-SBS将网络参数
Figure BDA0002821757160000065
和
Figure BDA0002821757160000066
上传到宏基站边缘服务器。
步骤六中全局网络参数更新：
Figure BDA0002821757160000067
Figure BDA0002821757160000068
与现有的研究相比，本技术方案具有如下特点：
1.本技术方案通过使用分区算法，将系统中MEC-SBS划分到多个非重叠的计算协作簇中，从而实现将大规模MEC-SBS计算协作问题转化成计算协作簇中的小规模MEC-SBS计算协作问题。各计算协作簇通过分布式并行执行方式实现簇中计算负载调度，因此，降低了MEC-SBS计算协作的复杂度，并改善了系统的计算协作性能。
2.协作簇内集中式优化；在计算协作簇中，簇头MEC-SBS收集簇中MEC-SBS的计算负载信息和所有MEC-SBS之间的链路信息，并根据收集到的MEC-SBS的计算负载信息和所有MEC-SBS之间的链路信息，并使用DDPG算法做出最优簇中簇中计算负载调度策略，在保证MEC-SBS能量消耗的条件下，使簇中计算任务的平均服务延时最小。减少了MEC-SBS之间竞争计算资源而产生计算延时和信息消耗。
3.计算协作簇半动态调整；计算负载过重的计算协作簇中的簇头MEC-SBS向邻居计算协作簇的簇头MEC-SBS寻求协作，邻居簇中的满足负载条件的计算协作簇和过载簇一起上传各自簇中MEC-SBS的计算负载信息到宏基站，宏基站根据MEC-SBS的计算负载信息，在保证各个协作簇负载均衡的条件下，重新划分协作簇，解决系统中部分计算协作簇的过载问题，以及固定协作簇的计算资源限制问题。
本技术方案能在实际生活中得到应用。
这种方法能够有效的降低大规模网络中MEC-SBS计算负载调度的复杂度，减少MEC-SBS之间信令交互的消耗和计算任务的平均服务延时，同时能够有效地解决固定协作簇中资源限制问题，具有较高的灵活性。
附图说明
图1为实例中MEC-SBS协作架构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。
实施例：
本例建立在如图1所示的超密集网络模型背景下。整个MEC-SBS计算协作系统由N个MEC-SBS和M个移动用户构成。MEC-SBS随机部署在一个宏基站(Macro Base Station,简称MBS)覆盖范围下，且移动用户随机分布在宏基站覆盖范围下。整个宏基站下的MEC-SBS分布在C个互不相交的计算协作簇中，且每个MEC-SBS只能在一个协作簇中。MEC-SBS使用集合
Figure BDA0002821757160000071
表示，移动用户使用集合
Figure BDA0002821757160000072
表示，计算协作簇使用集合
Figure BDA0002821757160000073
表示。系统中MEC-SBS第i个的计算能力，即服务率，用符号
Figure BDA0002821757160000074
表示。每个MEC-SBS只服务其关联的移动用户，用集合
Figure BDA0002821757160000075
表示MEC-SBS第i个关联的移动用户。计算协作簇中采用的是集中式控制方式，协作簇中的其他MEC-SBS在每个时间槽内上传其负载信息到簇头MEC-SBS，簇头MEC-SBS根据簇中每一个MEC-SBS的计算负载和簇中MEC-SBS之间的链路状况做出负载卸载决策。协作簇中的MEC-SBS集合使用符号
Figure BDA0002821757160000076
表示，簇头MEC-SBS用符号
Figure BDA0002821757160000077
在时间槽t时，MEC-SBS第i个的计算负载量，由其关联的移动用户卸载产生。定义移动用户在时间槽t产生的计算任务数服从泊松分布，其到达率为
Figure BDA0002821757160000081
此处默认所有计算任务的数据量和完成计算任务的计算量相同，定义计算任务的数据量为ξ，定义完成计算任务的计算量为ζ。则MEC-SBS第i个的计算负载量表示如下：
Figure BDA0002821757160000082
系统中MEC-SBS之间计算负载的调度通过无线链路方式进行传输，则MEC-SBS第i个与MEC-SBS第i′个之间传输速率表示为：
Figure BDA0002821757160000083
其中W表示MEC-SBS之间的带宽，p表示MEC-SBS的发射功率，g表示MEC-SBS之间的信道增益，di，i′表示MEC-SBS第i个与MEC-SBS第i′个之间的距离，N0表示高斯白噪声，α表示路径损失函数指数。
在时间槽t，计算协作簇k中MEC-SBS负载调度策略集合表示为ak(t)，其中
Figure BDA0002821757160000084
表示协作簇k中，MEC-SBS第i个卸载到MEC-SBS第i′个的计算负载量。MEC-SBS第i个接收的计算负载量应该满足条件：
Figure BDA0002821757160000085
根据上述协作簇中负载调度策略可知，在时间槽t时，协作簇k中MEC-SBS i上的计算负载可以表示为：
Figure BDA0002821757160000086
系统中的计算任务服务时间是由计算任务的计算延时和计算任务的卸载的传输延时组成。根据上述的计算负载调度策略可知，在时间槽t时，协作簇k中MEC-SBS第i个的计算负载计算延时：
Figure BDA0002821757160000091
其中
Figure BDA0002821757160000092
相应的，在时间槽t时，协作簇k中MEC-SBS第i个卸载计算负载的传输延时为：
Figure BDA0002821757160000093
因此，在时间槽t时，协作簇k中计算任务的计算平均服务延时可以表示为：
Figure BDA0002821757160000094
一种超密集网络中基于MEC-SBS簇化的负载调度方法，包括如下步骤：
步骤一、初始化：其中包括构建初始协作簇和深度确定梯度(Deep DeterministicPolicy Gradient，简称DDPG)算法中的参数的初始化；
步骤二、卸载计算任务；移动用户设备选择与之信道增益最好的MEC-SBS进行关联，然后向与之关联的MEC-SBS卸载其产生的计算任务；
步骤三、判断是否调整协作簇：各协作簇中簇头MEC-SBS收集簇中所有MEC-SBS上计算负载信息，即协作簇中MEC-SBS的总计算负载量lk(t)，并判断簇中计算负载是否过载；若过载，则簇头MEC-SBS向宏基站边缘服务器请求调整协作簇；若不过载，则不调整；
步骤四、同步参数：各协作簇中的簇头MEC-SBS从宏基站边缘服务器同步全局参数并进行目标网络参数更新；
步骤五、构建DDPG模型：各协作簇中MEC-SBS的计算负载量表示DDPG的当前状态，各协作簇中MEC-SBS的计算负载卸载表示为DDPG的动作空间，使用协作簇中计算任务的平均计算服务延时构建DDPG模型中的奖励值，通过DDPG算法求出最优的簇中负载调度策略；
步骤六、更新全局参数：宏基站边缘服务器更新全局参数，为下一次负载调度做准备。
步骤一中初始化具体包括：
(1)采用k-means分簇算法构建初始协作簇，根据k-means算法的分簇结果为网络中的MEC-SBS分配簇号，簇号相同的MEC-SBS中选择一个簇头MEC-SBS负责收集簇中计算负载信息和做出计算负载调度策略；
(2)各协作簇中簇头MEC-SBS通过并行方式运行DDPG算法，协作簇的簇头MEC-SBS定期和宏基站边缘服务器同步参数；
(3)初始化DDPG算法中策略网络的学习率
Figure BDA0002821757160000101
Q值网络的学习率
Figure BDA0002821757160000102
折扣因子γ、更细系数τ和训练样本大小Z。
步骤三中协作簇中MEC-SBS的总计算负载亮lk(t)计算公式为：
Figure BDA0002821757160000103
其中
Figure BDA0002821757160000104
在时间槽t时，MEC-SBS第i个的计算负载量，设定lth为协作簇的上限阈值；
簇头MEC-SBS判断簇中总计算负载量lk(t)是否超过协作簇的计算负载上限阈值lth，如果计算协作簇过载lk(t)＞lth，则进行协作簇调整，调整的具体步骤如下：
(1)计算负载过载簇k发送过载信息给其邻居协作簇k′的簇头，请求邻居簇参与调整协作簇，满足计算负载条件lk′≤lth的邻居协作簇
Figure BDA0002821757160000105
和协作簇k上传协作簇的簇号、各自簇中MEC-SBS的负载信息和位置信息给宏基站边缘服务器。其中Hk表示协作簇k的邻居协作簇的簇号集合；
(2)宏基站边缘服务器根据提交的MEC-SBS信息计算MEC-SBS的平均计算负载，MEC-SBS第i个的平均负载计算公式表示为：
Figure BDA0002821757160000106
其中参数
Figure BDA0002821757160000107
表示协作簇
Figure BDA0002821757160000108
存在时间长度，
Figure BDA0002821757160000109
表示协作簇形成的起始时间，其中协作簇
Figure BDA00028217571600001010
(3)宏基站边缘服务器根据MEC-SBS的平均计算负载量选出前|{k}∪Hk|个MEC-SBS作为协作簇的初始簇头，并使用k-means算法对MEC-SBS进行分簇，MEC-SBS根据k-means分簇结果来更新簇号。
步骤四中同步参数采用软更新的方式进行更新，具体更新公式如下表示：
w′k＝τωk+(1-τ)w′k (3)，
θ′k＝τθk+(1-τ)θ′k (4)，
步骤五中DDPG模型的具体描述如下：
状态空间：用簇中MEC-SBS上的计算负载量表示，协作簇k中的状态空间具体表示如下：
Figure BDA0002821757160000111
其中
Figure BDA0002821757160000112
为在时间槽t时，MEC-SBS第i个上计算负载量；
动作空间：用簇中MEC-SBS的计算负载卸载动作表示，协作簇k中的动作空间具体表示如下：
Figure BDA0002821757160000113
其中
Figure BDA0002821757160000114
表示协作簇k中MEC-SBS第i个卸载到簇中其他MEC-SBS第i′个的计算负载量；
奖励：用簇中计算任务的平均服务延时表示，协作簇k中的奖励具体表示如下：
Figure BDA0002821757160000115
其中
Figure BDA0002821757160000116
表示在时间槽t时，网络中MEC-SBS第i个的计算任务总的处理时间，
Figure BDA0002821757160000117
表示在时间槽t时，网络中MEC-SBS第i个传输计算任务的传输时延。
各协作簇中DDPG算法具体运行流程如下：
(1)各簇头上Actor观察得到的环境状态
Figure BDA0002821757160000118
根据行为策略执行动作
Figure BDA0002821757160000119
获得奖励
Figure BDA00028217571600001110
环境转换到
Figure BDA00028217571600001111
(2)各簇头Actor将状态转移过程
Figure BDA00028217571600001112
存到本地经验回放集合Dk中；
(3)随机从经验回放集合Dk中选取Z个样本，作为训练策略网络和Q值网络的数据集；
(4)根据样本通过Actor的目标策略网络和Critic的目标Q值网络得到的值和当前网络得到的估计值之差来更新当前网络的神经网络参数；
Critic网络参数更新采用均方误差来作为损失函数，公式具体表示为：
Figure BDA00028217571600001113
基于标准的方向传播算法可以得到损失函数L(wm)关于Critic的Q值当前网络wm的梯度，具体公式表示为：
Figure BDA0002821757160000121
其中
Figure BDA0002821757160000122
Actor网络参数更新方式采用确定策略梯度方式，Actor当前策略网络的梯度计算具体公式表示为：
Figure BDA0002821757160000123
(5)簇头MEC-SBS将网络参数
Figure BDA0002821757160000124
和
Figure BDA0002821757160000125
上传到宏基站边缘服务器。
步骤六中全局网络参数更新：
Figure BDA0002821757160000126
Figure BDA0002821757160000127

Claims (6)

1.一种超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于，所述方法包括如下步骤：
步骤一、初始化：其中包括构建初始协作簇和对DDPG算法中的参数的初始化；
步骤二、卸载计算任务：移动用户设备选择与之信道增益最好的MEC-SBS进行关联，然后向与之关联的MEC-SBS卸载其产生的计算任务；
步骤三、判断是否调整协作簇：各协作簇中簇头MEC-SBS收集簇中所有MEC-SBS上计算负载信息，即协作簇中MEC-SBS的总计算负载量lk(t)，并判断簇中计算负载是否过载；若过载，则簇头MEC-SBS向宏基站边缘服务器请求调整协作簇；若不过载，则不调整；
步骤四、同步参数：各协作簇中的簇头MEC-SBS从宏基站边缘服务器同步全局参数并进行目标网络参数更新；
步骤五、构建DDPG模型：各协作簇中MEC-SBS的计算负载量表示DDPG的当前状态，各协作簇中MEC-SBS的计算负载卸载表示为DDPG的动作空间，使用协作簇中计算任务的平均计算服务延时构建DDPG模型中的奖励值，通过DDPG算法求出最优的簇中负载调度策略；
步骤六、更新全局参数：宏基站边缘服务器更新全局参数，为下一次负载调度做准备。
2.根据权利要求1所述的超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于：步骤一中初始化具体包括：
(1)采用k-means分簇算法构建初始协作簇，根据k-means算法的分簇结果为网络中的MEC-SBS分配簇号，簇号相同的MEC-SBS中选择一个簇头MEC-SBS负责收集簇中计算负载信息和做出计算负载调度策略；
(2)各协作簇中簇头MEC-SBS通过并行方式运行DDPG算法，协作簇的簇头MEC-SBS定期和宏基站边缘服务器同步参数；
(3)初始化DDPG算法中策略网络的学习率
Figure FDA0002821757150000011
Q值网络的学习率
Figure FDA0002821757150000012
折扣因子γ、更细系数τ和训练样本大小Z。
3.根据权利要求1所述的超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于：步骤三中协作簇中MEC-SBS的总计算负载量lk(t)计算公式为：
Figure FDA0002821757150000013
其中
Figure FDA0002821757150000014
为在时间槽t时，MEC-SBS第i个的计算负载量，设定lth为协作簇的上限阈值；
簇头MEC-SBS判断簇中总计算负载量lk(t)是否超过协作簇的计算负载上限阈值lth，如果计算协作簇过载，即lk(t)＞lth，则进行协作簇调整，调整具体步骤如下：
(1)计算负载过载簇k发送过载信息给其邻居协作簇k′的簇头，请求邻居簇参与调整协作簇，满足计算负载条件lk′≤lth的邻居协作簇
Figure FDA0002821757150000021
和协作簇k上传协作簇的簇号、各自簇中MEC-SBS的负载信息和位置信息给宏基站边缘服务器，其中Hk表示协作簇k的邻居协作簇的簇号集合；
(2)宏基站边缘服务器根据提交的MEC-SBS信息计算MEC-SBS的平均计算负载，MEC-SBS第i个的平均负载计算公式表示为：
Figure FDA0002821757150000022
其中参数
Figure FDA0002821757150000023
表示协作簇
Figure FDA0002821757150000024
存在时间长度，
Figure FDA0002821757150000025
表示协作簇形成的起始时间，协作簇
Figure FDA0002821757150000026
(3)宏基站边缘服务器根据MEC-SBS的平均计算负载量选出前|{k}∪Hk|个MEC-SBS作为协作簇的初始簇头，并使用k-means算法对MEC-SBS进行分簇，MEC-SBS根据k-means分簇结果来更新簇号。
4.根据权利要求1所述的超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于：步骤四中同步参数采用软更新的方式进行更新，具体更新公式如下表示：
w′k＝τωk+(1-τ)w′k (3)，
θ′k＝τθk+(1-τ)θ′k (4)，
其中w′k表示协作簇中目标策略网络的神经网络参数，wk表示协作簇中当前策略网络的神经网络参数，θ′k表示协作簇中目标Q值网络的神经网络参数，θk表示协作簇中目标Q值网络的神经网络参数。
5.根据权利要求1所述的超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于：步骤五中DDPG模型的具体描述如下：
状态空间：用簇中MEC-SBS上的计算负载量表示，协作簇k中的状态空间具体表示如下：
Figure FDA0002821757150000031
其中
Figure FDA0002821757150000032
为在时间槽t时，MEC-SBS第i个的计算负载量；
动作空间：用簇中MEC-SBS的计算负载卸载动作表示，协作簇k中的动作空间具体表示如下：
Figure FDA0002821757150000033
其中
Figure FDA0002821757150000034
表示协作簇k中MEC-SBS第i个卸载到簇中其他MEC-SBS第i′个的计算负载量；
奖励：用簇中计算任务的平均服务延时表示，协作簇k中的奖励具体表示如下：
Figure FDA0002821757150000035
其中
Figure FDA0002821757150000036
表示在时间槽t时，网络中MEC-SBS第i个的计算任务总的处理时间，
Figure FDA0002821757150000037
表示在时间槽t时，网络中MEC-SBS第i个传输计算任务的传输时延；
各协作簇中DDPG算法具体运行流程如下：
(1)各簇头上Actor观察得到的环境状态
Figure FDA0002821757150000038
根据行为策略执行动作
Figure FDA0002821757150000039
获得奖励
Figure FDA00028217571500000310
环境转换到
Figure FDA00028217571500000311
(2)各簇头Actor将状态转移过程
Figure FDA00028217571500000312
存到本地经验回放集合Dk中；
(3)随机从经验回放集合Dk中选取Z个样本，作为训练策略网络和Q值网络的数据集；
(4)根据样本通过Actor的目标策略网络和Critic的目标Q值网络得到的值和当前网络得到的估计值之差来更新当前网络的神经网络参数；
Critic网络参数更新采用均方误差来作为损失函数，公式具体表示为：
Figure FDA00028217571500000313
基于标准的方向传播算法可以得到损失函数L(wm)关于Critic的Q值当前网络wm的梯度，具体公式表示为：
Figure FDA00028217571500000314
其中
Figure FDA0002821757150000041
Actor网络参数更新方式采用确定策略梯度方式，Actor当前策略网络的梯度计算具体公式表示为：
Figure FDA0002821757150000042
(5)簇头MEC-SBS将网络参数
Figure FDA0002821757150000043
和
Figure FDA0002821757150000044
上传到宏基站边缘服务器。
6.根据权利要求1所述的超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于：步骤六中全局网络参数更新：
Figure FDA0002821757150000045
Figure FDA0002821757150000046
CN202011419764.6A 2020-12-07 2020-12-07 一种超密集网络中基于mec-sbs簇化的负载调度方法 Active CN112601256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011419764.6A CN112601256B (zh) 2020-12-07 2020-12-07 一种超密集网络中基于mec-sbs簇化的负载调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011419764.6A CN112601256B (zh) 2020-12-07 2020-12-07 一种超密集网络中基于mec-sbs簇化的负载调度方法

Publications (2)

Publication Number Publication Date
CN112601256A true CN112601256A (zh) 2021-04-02
CN112601256B CN112601256B (zh) 2022-07-15

Family

ID=75188645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011419764.6A Active CN112601256B (zh) 2020-12-07 2020-12-07 一种超密集网络中基于mec-sbs簇化的负载调度方法

Country Status (1)

Country Link
CN (1) CN112601256B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132497A (zh) * 2021-06-18 2021-07-16 杭州天舰信息技术股份有限公司 一种移动边缘运算的负载平衡和调度方法
CN114641076A (zh) * 2022-03-25 2022-06-17 重庆邮电大学 一种超密集网络中基于动态用户满意度的边缘计算卸载方法
CN116229720A (zh) * 2023-03-10 2023-06-06 海南大学 一种智能车路系统的交通事故判别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194763A (zh) * 2018-09-21 2019-01-11 北京邮电大学 一种超密集网络中基于小型基站自组织协作的缓存方法
CN111414252A (zh) * 2020-03-18 2020-07-14 重庆邮电大学 一种基于深度强化学习的任务卸载方法
US20200275313A1 (en) * 2019-02-26 2020-08-27 Verizon Patent And Licensing Inc. Method and system for scheduling multi-access edge computing resources
CN111741448A (zh) * 2020-06-21 2020-10-02 天津理工大学 一种基于边缘计算策略的分簇aodv路由方法
CN111800828A (zh) * 2020-06-28 2020-10-20 西北工业大学 一种超密集网络的移动边缘计算资源分配方法
WO2020228469A1 (zh) * 2019-05-10 2020-11-19 腾讯科技（深圳）有限公司 一种移动边缘计算节点的选择方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194763A (zh) * 2018-09-21 2019-01-11 北京邮电大学 一种超密集网络中基于小型基站自组织协作的缓存方法
US20200275313A1 (en) * 2019-02-26 2020-08-27 Verizon Patent And Licensing Inc. Method and system for scheduling multi-access edge computing resources
WO2020228469A1 (zh) * 2019-05-10 2020-11-19 腾讯科技（深圳）有限公司 一种移动边缘计算节点的选择方法、装置及系统
CN111414252A (zh) * 2020-03-18 2020-07-14 重庆邮电大学 一种基于深度强化学习的任务卸载方法
CN111741448A (zh) * 2020-06-21 2020-10-02 天津理工大学 一种基于边缘计算策略的分簇aodv路由方法
CN111800828A (zh) * 2020-06-28 2020-10-20 西北工业大学 一种超密集网络的移动边缘计算资源分配方法

Non-Patent Citations (15)

* Cited by examiner, † Cited by third party
Title
JESSICA OUEIS等: "Distributed Mobile Cloud Computing: A Multi-user Clustering Solution", 《2016 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC)》 *
JESSICA OUEIS等: "Distributed Mobile Cloud Computing: A Multi-user Clustering Solution", 《2016 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC)》, 14 July 2016 (2016-07-14) *
JIE XU等: "Joint Service Caching and Task Offloading for Mobile Edge Computing in Dense Networks", 《IEEE INFOCOM 2018 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》 *
JIE XU等: "Joint Service Caching and Task Offloading for Mobile Edge Computing in Dense Networks", 《IEEE INFOCOM 2018 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》, 11 October 2018 (2018-10-11) *
LIXING CHEN等: "Computation Peer Offloading for Energy-Constrained Mobile Edge Computing in Small-Cell Networks", 《 IEEE/ACM TRANSACTIONS ON NETWORKING》 *
LIXING CHEN等: "Computation Peer Offloading for Energy-Constrained Mobile Edge Computing in Small-Cell Networks", 《 IEEE/ACM TRANSACTIONS ON NETWORKING》, vol. 26, no. 4, 21 June 2016 (2016-06-21), pages 1619 - 1632, XP058416733, DOI: 10.1109/TNET.2018.2841758 *
TENG YANG等: "Computation collaboration in ultra dense network integrated with mobile edge computing", 《2017 IEEE 28TH ANNUAL INTERNATIONAL SYMPOSIUM ON PERSONAL, INDOOR, AND MOBILE RADIO COMMUNICATIONS (PIMRC)》 *
TENG YANG等: "Computation collaboration in ultra dense network integrated with mobile edge computing", 《2017 IEEE 28TH ANNUAL INTERNATIONAL SYMPOSIUM ON PERSONAL, INDOOR, AND MOBILE RADIO COMMUNICATIONS (PIMRC)》, 15 February 2018 (2018-02-15) *
XIAO MA等: "Cooperative Service Caching and Workload Scheduling in Mobile Edge Computing", 《IEEE INFOCOM 2020 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》 *
XIAO MA等: "Cooperative Service Caching and Workload Scheduling in Mobile Edge Computing", 《IEEE INFOCOM 2020 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》, 4 August 2020 (2020-08-04) *
张文献等: "面向多用户移动边缘计算轻量任务卸载优化", 《小型微型计算机系统》, no. 10, 15 October 2020 (2020-10-15), pages 2056 - 2062 *
王忍等: "超密集异构网络中过载MEC服务器的协作卸载", 《西安电子科技大学学报》 *
王忍等: "超密集异构网络中过载MEC服务器的协作卸载", 《西安电子科技大学学报》, vol. 47, no. 02, 20 November 2019 (2019-11-20), pages 126 - 134 *
覃少华等: "多媒体传感器网络实时分簇路由协议", 《计算机工程》 *
覃少华等: "多媒体传感器网络实时分簇路由协议", 《计算机工程》, vol. 36, no. 17, 5 September 2010 (2010-09-05), pages 129 - 131 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132497A (zh) * 2021-06-18 2021-07-16 杭州天舰信息技术股份有限公司 一种移动边缘运算的负载平衡和调度方法
CN113132497B (zh) * 2021-06-18 2021-09-10 杭州天舰信息技术股份有限公司 一种移动边缘运算的负载平衡和调度方法
CN114641076A (zh) * 2022-03-25 2022-06-17 重庆邮电大学 一种超密集网络中基于动态用户满意度的边缘计算卸载方法
CN116229720A (zh) * 2023-03-10 2023-06-06 海南大学 一种智能车路系统的交通事故判别方法

Also Published As

Publication number Publication date
CN112601256B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN110493826B (zh) 一种基于深度强化学习的异构云无线接入网资源分配方法
CN111930436B (zh) 一种基于边缘计算的随机型任务排队卸载优化方法
Seid et al. Multi-agent DRL for task offloading and resource allocation in multi-UAV enabled IoT edge network
CN107465748B (zh) 移动边缘云计算系统中基于演进博弈的动态资源分配方法
CN106900011B (zh) 一种基于mec的蜂窝基站间任务卸载方法
CN110234127B (zh) 一种基于sdn的雾网络任务卸载方法
WO2023040022A1 (zh) 一种在随机网络中基于算网协同的分布式计算卸载方法
CN109151864B (zh) 一种面向移动边缘计算超密集网络的迁移决策与资源优化分配方法
CN108809695A (zh) 一种面向移动边缘计算的分布上行链路卸载策略
TWI787095B (zh) 調整無線接取網路資源的方法、裝置及相關無線接取網路
CN105959234B (zh) 安全感知的云无线接入网络下的负载均衡资源优化方法
CN112601256A (zh) 一种超密集网络中基于mec-sbs簇化的负载调度方法
Kumar et al. A novel distributed Q-learning based resource reservation framework for facilitating D2D content access requests in LTE-A networks
CN107708157A (zh) 基于能效的密集小蜂窝网络资源分配方法
CN113821346A (zh) 基于深度强化学习的边缘计算中计算卸载与资源管理方法
Mollahasani et al. Density-aware, energy-and spectrum-efficient small cell scheduling
Wang et al. Task allocation mechanism of power internet of things based on cooperative edge computing
CN108965009A (zh) 一种基于势博弈的负载已知用户关联方法
Natarajan et al. An energy efficient dynamic small cell on/off switching with enhanced k-means clustering algorithm for 5G HetNets
Yao et al. Energy-aware task allocation for mobile IoT by online reinforcement learning
CN113873658A (zh) 一种以用户服务权重增益为目标函数的跳波束资源分配方法
CN116567721B (zh) 人机物混合接入的异构网络中资源联合分配方法及装置
CN110012509B (zh) 一种5g小蜂窝网络中基于用户移动性的资源分配方法
Yang et al. Deep reinforcement learning based resource allocation for heterogeneous networks
Agarwal et al. PIRS 3 A: A Low Complexity Multi-knapsack-based Approach for User Association and Resource Allocation in HetNets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240125

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Country or region after: China

Address before: 541004 No. 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region

Patentee before: Guangxi Normal University

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240710

Address after: 150000 Room 201-1, Building 16, No. 1616 Chuangxin Road, Songbei District, Harbin City, Heilongjiang Province

Patentee after: Harbin Zhongkun Technology Co.,Ltd.

Country or region after: China

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right