CN111211831A - 一种多波束低轨卫星智能动态信道资源分配方法 - Google Patents

Abstract

本发明涉及空天地海一体化通信技术领域，具体涉及一种多波束低轨卫星智能动态信道资源分配方法；该方法把低轨卫星作为Agent，当前业务请求时刻下的各个波束业务请求用户数量和波束对信道占用的初始状态映射为环境，在每个业务请求时刻下，根据低轨卫星所处的环境，利用Q‑learning算法来观测环境状态和获取环境的奖励信号，学习状态‑动作值函数，逐步改变信道资源分配策略，完成低轨卫星移动通信系统的动态信道资源分配，能够避免同一信道资源分配给复用距离之内的用户或波束，实现一种能够使低轨卫星移动通信系统的总体性能达到最优的信道资源分配方案。

Description

一种多波束低轨卫星智能动态信道资源分配方法

技术领域

本发明涉及空天地海一体化通信技术领域，具体涉及一种多波束低轨卫星智能动态信道资源分配方法。

背景技术

空天地海一体化信息网络是以地面网络为依托、天基网络为拓展，采用统一的技术架构、统一的技术体制、统一的标准规范，由天基信息网、互联网和移动通信网互联互通而成，具有多样化业务承载、异构网络互联、全域资源管理等特点。空天地海一体化信息网络作为国家重要的信息基础设施，对于国土安全、应急救灾、交通运输、经济发展等多个领域有着重大战略意义。

低轨卫星通信作为空天地海一体化信息网络中的重要组成部分，有着传输路径损耗少、通信时延小、覆盖范围广、接入灵活等优势。并且在多波束低轨卫星移动通信系统中，每颗卫星携带多个波束，可以在同一频率下利用不同的波束满足频率的复用，来覆盖地面不同区域，这些波束合起来共同完成单颗卫星的地面可视区域覆盖，从而实现通信容量大幅度的增加。然而，多波束低轨卫星通信也存在一些不可避免的问题。一方面，用户建立呼叫时，必须接入到卫星某个波束内的信道中，或者是从一个波束切换到另一个波束，为确保通信不中断，必须在相邻波束覆盖区的交界内，为此次通信分配一条信道完成切换，保障呼叫能够持续进行。另一方面，卫星信道资源是有限的，随着通信用户数量、通信业务种类不断增多，信道资源的需求量越来越大，采取科学有效的措施对有限的资源进行管理和分配，成为多波束低轨卫星通信系统为用户提供可靠服务的关键。

然而，低轨卫星终端在地理空间上分布不均匀，使得低轨卫星移动通信系统波束间的通信业务量差异较大，信道资源需求量不同。若采用固定频谱分配方式，即使该波束内的用户没有使用该资源，其他波束用户也不能使用该资源，容易造成信道资源的浪费。对动态资源分配方式而言，所有的信道资源均可以被各个波束用户所使用，根据各个波束的业务请求用户数进行资源的分配，相比于固定频谱分配方式，具有较高的资源利用率优势。但是每个波束用户均可以使用所有的信道资源，在资源分配的过程可能会将同一个信道分配给距离较近的用户，进而产生干扰，影响系统通信服务质量。

发明内容

针对现有技术中的缺陷，本发明提供一种多波束低轨卫星智能动态信道资源分配方法。

一方面，本发明提供了一种多波束低轨卫星智能动态信道资源分配方法，所述方法包括如下述步骤：

S1：初始化低轨卫星状态-动作值函数Q(s,a)，设定初始学习速率λ和折扣因子β；

S2：低轨卫星通信系统通过星载多波束载荷在地面上形成N个波束表示为B＝{n|n＝1,2,…N}；系统中可用的信道集合C＝{m|m＝1,2,…M}，其中M为信道资源数；波束n的信道资源分配状态w_n＝[w_n，1,w_n，2，…,w_n,M]，其中每一项w_n,m∈{0,1}表示波束n对子信道m的占用情况，1表示占用，0表示空闲未占用；则低轨卫星系统中所有波束的信道分配向量构成了卫星系统总的信道分配矩阵为W＝[w₁,w₂，…,w_N]；当前各个波束可用的信道资源矩阵V＝[v₁,v₂，…,v_N]，其中v_n＝[v_n，1,v_n，2，…,v_n,M]表示每个波束可用的信道资源情况，则构建t时刻的状态

S3：低轨卫星根据构建的状态预测将要采取的动作，从自己的Q值表征模块获取Q值；

S4：低轨卫星根据所处的环境和状态从可行动作集合Α(s_t)中依概率ε选择具有最大Q值的动作去执行；

S5：在低轨卫星每达到终止状态后给一个奖赏函数r；

S6：低轨卫星将状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新，根据奖赏函数r作为估计来选择下一步动作，并优化状态-动作值函数；

S7：每轮迭代结束时，折扣因子β进行更新，并判断折扣因子β是否小于0.01；若是，得到信道分配结果W_t；若不是，返回步骤S6。

可选的，所述各个波束可用的信道资源v_n矢量中的每个元素取值及所代表的意义如下：

可选的，所述动作a_t表示在状态s_t下可用的信道资源集合中，选取波束n，为其分配信道资源m，其计算表达式为：a_t＝{(n,m)|n,m∈Α(s_t),n∈B,m∈M}。

可选的，所述状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新的计算表达式为：Q(s_i,a_i)＝(1-λ)Q(s_i,a_i)+λ(r_i+βmaxQ(s_i,a))。

可选的，所述折扣因子β需满足β∈[0,1)，设置它以e的负指数规律随着学习的过程逐渐减小，以满足学习的收敛性要求。

可选的，将奖赏函数r设计为与系统性能正相关的标量值，以系统阻塞概率来衡量系统性能，即优化目标是系统的阻塞用户数量最小，考虑到每种业务请求时刻下，根据各波束业务请求用户量学习出一种信道资源最优分配方式，则设计的奖赏函数r应与终止状态时的系统性能有关，故在低轨卫星每达到终止状态后给一个奖赏函数r，其中奖赏函数r计算表达式如下：

其中，R_max表示的最大的奖赏值，为一标量正值；U_block表示当前系统阻塞用户数，U_all表示系统中总共请求业务的用户数。

本发明的有益效果体现在：

(1)本发明的一种多波束低轨卫星智能动态信道资源分配方法，该方法结合人工智能中的强化学习算法，通过低轨卫星与当前通信环境的状态信息，根据各波束用户的业务请求实现低轨卫星通信系统资源的动态分配，提高系统通信服务性能。

(2)本发明的一种多波束低轨卫星智能动态信道资源分配方法，该方法在设计动态资源分配方案时考虑了用户间干扰，能够避免同频干扰的影响。

(3)本发明的一种多波束低轨卫星智能动态信道资源分配方法，利用Q-learning算法来观测环境状态和获取环境的奖励信号，学习状态-动作值函数，逐步改变信道资源分配策略，极大地提高了系统的学习速度和学习效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本发明多波束低轨卫星智能动态信道资源分配方法的流程示意图；

图2是本发明在业务均匀分布情况下系统阻塞率与业务到达率的关系图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

目前，卫星信道资源是有限的，随着通信用户数量、通信业务种类不断增多，信道资源的需求量越来越大；低轨卫星终端在地理空间上分布不均匀，使得低轨卫星移动通信系统波束间的通信业务量差异较大；每个波束用户均可以使用所有的信道资源，在资源分配的过程可能会将同一个信道分配给距离较近的用户，进而产生干扰，影响系统通信服务质量等问题；为了解决上述问题，所以有必要，研制一种多波束低轨卫星智能动态信道资源分配方法，用Q-learning算法来观测环境状态和获取环境的奖励信号，学习状态-动作值函数，逐步改变信道资源分配策略，完成低轨卫星移动通信系统的动态信道资源分配，能够避免同一信道资源分配给复用距离之内的用户或波束，实现一种能够使低轨卫星移动通信系统的总体性能达到最优的信道资源分配方案。

本发明具体实施方式提供一种多波束低轨卫星智能动态信道资源分配方法，该方法如图1-2所示，包括如下步骤：

在步骤S1中，初始化低轨卫星状态-动作值函数Q(s,a)，设定初始学习速率λ和折扣因子β。

在本发明实施例中，该步骤为数据的初始化，其中s表示状态，a表示动作。

在步骤S2中，低轨卫星通信系统通过星载多波束载荷在地面上形成N个波束表示为B＝{n|n＝1,2,…N}；系统中可用的信道集合C＝{m|m＝1,2,…M}，其中M为信道资源数；波束n的信道资源分配状态w_n＝[w_n，1,w_n，2，…,w_n,M]，其中每一项w_n,m∈{0,1}表示波束n对子信道m的占用情况，1表示占用，0表示空闲未占用；则低轨卫星系统中所有波束的信道分配向量构成了卫星系统总的信道分配矩阵为W＝[w₁,w₂，…,w_N]；当前各个波束可用的信道资源矩阵V＝[v₁,v₂，…,v_N]，其中v_n＝[v_n，1,v_n，2，…,v_n,M]表示每个波束可用的信道资源情况，则构建t时刻的状态

在本发明实施例中，该步骤为状态的构件，状态是对环境形式化的抽象，同时也是确定所执行动作的依据；所述各个波束可用的信道资源v_n矢量中的每个元素取值及所代表的意义如下：

在步骤S3中，低轨卫星根据构建的状态预测将要采取的动作，从自己的Q值表征模块获取Q值。

在本发明实施例中，该步骤为Q值的获取，在该步骤中为了检验算法的有效性，先假设预测模块的预测值是准确的。

在步骤S4中，低轨卫星根据所处的环境和状态从可行动作集合Α(s_t)中依概率ε选择具有最大Q值的动作去执行。

在本发明实施例中，该步骤为动作选择和执行，动作是低轨卫星根据所处的环境和状态从可行动作集合Α(s_t)中依概率ε选择具有最大Q值的动作去执行；所述动作a_t表示在状态s_t下可用的信道资源集合(即状态s_t中取值为0的元素集合)中，选取波束n，为其分配信道资源m，其计算表达式为：e^-x a_t＝{(n,m)|n,m∈Α(s_t),n∈B,m∈M}。

在步骤S5中，在低轨卫星每达到终止状态后给一个奖赏函数r。

在本发明实施例中，该步骤为获取回报，回报是低轨卫星与环境交互过程中来自环境的反馈，是对在确定状态下选取动作后的评价，也是衡量动态资源分配算法性能优劣的指标；为了计算方便，可以将奖赏函数r设计为与系统性能正相关的标量值，以系统阻塞概率来衡量系统性能，即优化目标是系统的阻塞用户数量最小，考虑到每种业务请求时刻下，根据各波束业务请求用户量学习出一种信道资源最优分配方式，则设计的奖赏函数r应与终止状态时的系统性能有关，故在低轨卫星每达到终止状态后给一个奖赏函数r，其中奖赏函数r计算表达式如下：

其中，R_max表示的最大的奖赏值，为一标量正值；U_block表示当前系统阻塞用户数，U_all表示系统中总共请求业务的用户数。

在步骤S6中，低轨卫星将状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新，根据奖赏函数r作为估计来选择下一步动作，并优化状态-动作值函数。

在本发明实施例中，该步骤为Q值的更新；所述状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新的计算表达式为：Q(s_i,a_i)＝(1-λ)Q(s_i,a_i)+λ(r_i+βmaxQ(s_i,a))。

在步骤S7中，每轮迭代结束时，折扣因子β进行更新，并判断折扣因子β是否小于0.01；若是，得到信道分配结果W_t；若不是，返回步骤S6。

在本发明实施例中，该步骤为参数更新，所述折扣因子β需满足β∈[0,1)，设置它以e的负指数规律随着学习的过程逐渐减小，表达式为β＝e^-x，其中x每轮迭代结束自动加1，以满足学习的收敛性要求，当达到设定的折扣因子β的要求时，得到信道分配结果W_t。

将上述所设计的一种多波束低轨卫星智能动态信道资源分配方法，应用到实际当中，将多波束低轨卫星假定为54个波束，业务到达模型服从参数为λ的泊松分布，业务持续时长服从参数为μ的负指数分布，信道个数M位204，学习速率λ＝0.005，折扣因子β＝0.90，最大奖赏值为100。通过仿真分析本发明的Q-learning动态资源分配算法(Q-learningDCA)与固定的频率复用信道分配(FCA,Fixed Channel Allocation)算法在业务均匀分布情况下系统阻塞率与业务到达率的关系，从图2可知，阻塞率随着业务到达率的增加而变大，这主要是因为随着业务的增加，由于可用的信道数是固定的，会有更多的业务因无法获得服务而被阻塞。相同业务到达率下，所提的Q-learning DCA算法相比FCA算法可实现更低阻塞率。

本发明设计了一种多波束低轨卫星智能动态信道资源分配方法，该方法把低轨卫星作为Agent，当前业务请求时刻下的各个波束业务请求用户数量和波束对信道占用的初始状态映射为环境，在每个业务请求时刻下，根据低轨卫星所处的环境，利用Q-learning算法来观测环境状态和获取环境的奖励信号，学习状态-动作值函数，逐步改变信道资源分配策略，完成低轨卫星移动通信系统的动态信道资源分配，能够避免同一信道资源分配给复用距离之内的用户或波束，实现一种能够使低轨卫星移动通信系统的总体性能达到最优的信道资源分配方案；该方法结合人工智能中的强化学习算法，通过低轨卫星与当前通信环境的状态信息，根据各波束用户的业务请求实现低轨卫星通信系统资源的动态分配，提高系统通信服务性能。该方法在设计动态资源分配方案时考虑了用户间干扰，能够避免同频干扰的影响。利用Q-learning算法来观测环境状态和获取环境的奖励信号，学习状态-动作值函数，逐步改变信道资源分配策略，极大地提高了系统的学习速度和学习效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种多波束低轨卫星智能动态信道资源分配方法，其特征在于，所述方法包括如下步骤：

S1：初始化低轨卫星状态-动作值函数Q(s,a)，设定初始学习速率λ和折扣因子β；

S2：低轨卫星通信系统通过星载多波束载荷在地面上形成N个波束表示为B＝{n|n＝1,2,…N}；系统中可用的信道集合C＝{m|m＝1,2,…M}，其中M为信道资源数；波束n的信道资源分配状态w_n＝[w_n，1,w_n，2，…,w_n,M]，其中每一项w_n,m∈{0,1}表示波束n对子信道m的占用情况，1表示占用，0表示空闲未占用；则低轨卫星系统中所有波束的信道分配向量构成了卫星系统总的信道分配矩阵为W＝[w₁,w₂，…,w_N]；当前各个波束可用的信道资源矩阵V＝[v₁,v₂，…,v_N]，其中v_n＝[v_n，1,v_n，2，…,v_n,M]表示每个波束可用的信道资源情况，则构建t时刻的状态

S3：低轨卫星根据构建的状态预测将要采取的动作，从自己的Q值表征模块获取Q值；

S4：低轨卫星根据所处的环境和状态从可行动作集合Α(s_t)中依概率ε选择具有最大Q值的动作去执行；

S5：在低轨卫星每达到终止状态后给一个奖赏函数r；

S6：低轨卫星将状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新，根据奖赏函数r作为估计来选择下一步动作，并优化状态-动作值函数；

S7：每轮迭代结束时，折扣因子β进行更新，并判断折扣因子β是否小于0.01；若是，得到信道分配结果W_t；若不是，返回步骤S6。

2.根据权利要求1所述的方法，其特征在于，所述各个波束可用的信道资源v_n矢量中的每个元素取值及所代表的意义如下：

3.根据权利要求1所述的方法，其特征在于，所述动作a_t表示在状态s_t下可用的信道资源集合中，选取波束n，为其分配信道资源m，其计算表达式为：a_t＝{(n,m)|n,m∈Α(s_t),n∈B,m∈M}。

4.根据权利要求1所述的方法，其特征在于，所述状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新的计算表达式为：Q(s_i,a_i)＝(1-λ)Q(s_i,a_i)+λ(r_i+βmaxQ(s_i,a))。

5.根据权利要求1所述的方法，其特征在于，所述折扣因子β需满足β∈[0,1)，设置它以e的负指数规律随着学习的过程逐渐减小，以满足学习的收敛性要求。

6.根据权利要求1所述的方法，其特征在于，将奖赏函数r设计为与系统性能正相关的标量值，以系统阻塞概率来衡量系统性能，即优化目标是系统的阻塞用户数量最小，考虑到每种业务请求时刻下，根据各波束业务请求用户量学习出一种信道资源最优分配方式，则设计的奖赏函数r应与终止状态时的系统性能有关，故在低轨卫星每达到终止状态后给一个奖赏函数r，其中奖赏函数r计算表达式如下：

其中，R_max表示的最大的奖赏值，为一标量正值；U_block表示当前系统阻塞用户数，U_all表示系统中总共请求业务的用户数。

Images