CN107944076A - 一种设备部署方案获取方法及装置 - Google Patents

Abstract

本申请提供了一种设备部署方案获取方法及装置，获取待部署的设备的信息，依据待部署的设备的信息，生成邻接矩阵的初始状态，邻接矩阵的顶点为待部署的设备，邻接矩阵的初始状态中任意两个待部署的设备之间的值为空。遍历从初始状态到邻接矩阵的预设的目标状态的演变路径，演变路径为，从初始状态开始，每次对待部署的设备执行一个动作，得到下一个状态，直到得到目标状态的过程，执行任意一个动作后，获得动作对应的奖励值。将得到目标状态的动作的奖励值最大的演变路径作为目标演变路径，目标演变路径中的目标状态为待部署的设备的部署方案。可见，能够依据待部署的设备的信息，自动生成待部署的设备的部署方案，因此具有较高的效率。

Description

一种设备部署方案获取方法及装置

技术领域

本申请涉及通信领域，尤其涉及一种设备部署方案获取方法及装置。

背景技术

工业场景需要设备的支撑，以通信场景中的天馈系统为例，天馈系统包括天线设备和馈线设备。

设备的部署包括设备在环境中的摆放位置和连线。设备的实际部署，需要依据部署方案进行。也就是说，在将设备实际部署在环境中前，需要先设计部署方案。

目前，需要有经验的工程师依据经验设计部署方案，因此，获取设备部署方案的效率不高。

发明内容

本申请提供了一种设备部署方案获取方法及装置，目的在于解决如何提高获取设备部署方案的效率的问题。

本申请的第一方面提供了一种设备部署方案获取方法，包括以下步骤：获取待部署的设备的信息，依据所述待部署的设备的信息，生成邻接矩阵的初始状态，所述邻接矩阵的顶点为所述待部署的设备，所述邻接矩阵的初始状态中任意两个待部署的设备之间的值为空。遍历从所述初始状态到所述邻接矩阵的预设的目标状态的演变路径，所述演变路径为，从所述初始状态开始，每次对所述待部署的设备执行一个动作，得到下一个状态，直到得到所述目标状态的过程，在每一个所述演变路径中，执行任意一个动作后，获得动作对应的奖励值。将得到所述目标状态的动作的奖励值最大的演变路径作为目标演变路径，所述目标演变路径中的目标状态为所述待部署的设备的部署方案。可见，所述设备部署方案获取方法，能够依据待部署的设备的信息，自动生成待部署的设备的部署方案，因此具有较高的效率。

本申请的第二方面提供了一种设备部署方案获取装置，包括：

获取模块，用于获取待部署的设备的信息。以及处理模块，用于依据所述待部署的设备的信息，生成邻接矩阵的初始状态，所述邻接矩阵的顶点为所述待部署的设备，所述邻接矩阵的初始状态中任意两个待部署的设备之间的值为空；遍历从所述初始状态到所述邻接矩阵的预设的目标状态的演变路径，所述演变路径为，从所述初始状态开始，每次对所述待部署的设备执行一个动作，得到下一个状态，直到得到所述目标状态的过程，在每一个所述演变路径中，执行任意一个动作后，获得动作对应的奖励值；将得到所述目标状态的动作的奖励值最大的演变路径作为目标演变路径，所述目标演变路径中的目标状态为所述待部署的设备的部署方案。

在一个实现方式中，所述的装置还包括：输出模块，用于输出所述待部署的设备的部署方案。

在一个实现方式中，所述装置的获取模块具体为显示模块，用于显示界面，所述界面用于接收待部署的设备的信息。

在一个实现方式中，所述动作对应的奖励值的获取方法包括：获取样本演变路径中，任意一个动作的初始奖励值，所述样本演变路径为，从历史设备部署方案中的设备组成的邻接矩阵的初始状态，每次对所述历史设备部署方案中的设备执行一个动作，直到得到所述历史设备部署方案的过程。将动作的奖励值之和最大的样本演变路径作为最优样本演变路径。调整所述最优样本演变路径中的奖励值，得到更新的奖励值，所述更新的奖励值使得从所述历史设备部署方案中的设备组成的邻接矩阵的初始状态，选择所述最优样本演变路径达到所述历史设备部署方案的概率增大。

在一个实现方式中，所述任意一个动作的初始奖励值的获取过程包括：如果所述任意一个动作之后的状态为所述历史设备部署方案中的局部状态，则所述任意一个动作的奖励值为该局部状态在历史设备部署方案中出现的频率。如果所述任意一个动作之后的状态为所述历史设备部署方案，则所述任意一个动作的奖励值为1。

在一个实现方式中，所述目标状态满足以下条件：每个频段制式均包括从天线到射频设备的连接。不存在未与其他设备连接的设备。

在一个实现方式中，所述邻接矩阵的目标状态中，所述待部署的设备中相连的两个设备之间不为空的数值包括：位置关系值和连接关系值，所述位置关系值用于表示所述相连的两个设备的放置位置之间的相对关系；所述连接关系用于表示所述相连的两个设备的端口的连接情况。将位置关系与连接关系分开表示，有利于将两者分开处理，因此，能够减轻计算量。

附图说明

图1为本申请公开的天馈系统的部署方案的示例图；

图2为本申请实施例公开的一种设备部署方案获取方法的流程图；

图3为强化学习算法的示意图；

图4为本申请实施例公开的设备部署方案获取装置的使用过程示意图；

图5为本申请实施例公开的设备部署方案获取装置的结构示意图。

具体实施方式

下面以天馈系统的部署方案的获取为例，将结合附图，对本申请实施例提出的技术方案进行详细的说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为工程师设计的天馈系统的部署方案，其中，天馈系统在铁塔上从上到下的部署位置关系为：天线、塔顶放大器、射频设备(图1中以频率为900M和2100M的射频设备为例，分别记为射频设备1和射频设备2)。设备之间的连接关系为：天线的下端口与射频设备1的上端口通过馈线相连，天线的下端口与塔顶放大器的上端口相连，塔顶放大器的下端口与射频设备2的上端口通过馈线相连。

本申请实施例公开的设备部署方案获取方法，在获取设备信息后，能够自动生成图1所示的设备部署方案，而无需人工手动生成。

图2为本申请实施例公开的一种设备部署方案获取方法，包括以下步骤：

S201：获取待部署的设备的信息。

以图1为例，待部署的设备包括天线、塔顶放大器和射频设备。

具体的，设备的信息可以由人工输入。

S202：依据待部署的设备的信息，生成邻接矩阵的初始状态。

邻接矩阵是表示顶点(待部署的设备)之间相邻关系的矩阵。邻接矩阵包括有向图邻接矩阵和无向图邻接矩阵。

因为天馈系统中的设备的连线图为无向图，所以，依据待部署的天馈系统中的设备的信息生成的邻接矩阵为无向图邻接矩阵。在天馈系统的邻接矩阵中，相连的两个设备之间的值不为零，不相连的两个设备之间的值为空。

相连的两个设备之间的值包括位置关系值和连接关系值。

其中，位置关系值用于表示设备的放置位置之间的相对关系，即设备与设备的位置关系为上下左右(还可以包括左上、左下等其他相对位置关系)中的哪一种。位置关系通过端口在设备上的位置体现。本实施例中，为位置关系分配唯一的编号。

例如，为下端口分配编号0，为上端口分配编号1(图1中未示出)。图1中，天线的下端口与射频设备1的上端口相连，则天线与射频设备1的位置关系为01。由于连接线没有方向，为避免冗余，约定只定义上下关系，故邻接矩阵是一个稀疏的上三角矩阵，从而节省存储空间。

连接关系用于表示设备的端口的连接情况。即一个设备的哪个端口与另一个设备的哪个端口相连。本实施例中，为一个设备上的各个端口分配唯一的编号，通过编号体现设备的端口的连接情况。例如，图1中，天线设备的端口从左到右的编号为0、1、2和3。射频设备1的端口从左到右的编号为0和1。则天线和射频设备1的连接关系为0011，即天线设备编号为0的端口与射频设备1编号为0的端口连接，天线设备编号为1的端口与射频设备1编号为1的端口连接。

表1为依据图1生成的邻接矩阵。其中，行顶点和列顶点均依次为天线、塔顶放大器和射频设备。邻接矩阵中不为空的元素的数值表示两个顶点设备之间的位置关系和连接关系。需要说明的是，在邻接矩阵中，对于两个设备之间存在多个相连接的端口的情况下，使用二维数组存储位置关系值和连接关系值，二维数组中的每一个数值，表示设备的位置关系和两个端口的连接关系。例如表1中，天线和塔顶放大器之间的数值为(0120,0131)，其中，01表示天线的下端口与塔顶放大器的上端口相连，20表示天线的端口2与塔顶放大器的端口0相连。31表示天线的端口3与塔顶放大器的端口1相连。

可见，邻接矩阵为多维数组的邻接矩阵，在存储和计算时以张量(Tensor)表示。

表1

	天线	塔顶放大器	射频设备1	射频设备2
					天线		(0120,0131)	(0100,0111)
塔顶放大器				(0100,0111)
					射频设备1
射频设备2

基于上述邻接矩阵的概念，因为S201中获取的仅为待部署的设备的信息，所以S202中生成的邻接矩阵中仅包括各个顶点，而不包括数值，如表2所示，称为邻接矩阵的初始状态。

表2

	天线	塔顶放大器	射频设备1	射频设备2
					天线
塔顶放大器
					射频设备1
射频设备2

S203：遍历从S0到Sn的演变路径，其中，S0为设备的原始状态，即表2所示的邻接矩阵。Sn为设备的目标状态，即填充了数值的邻接矩阵，邻接矩阵中，相连的两个设备之间的值不为空(例如表1)，n为大于或等于1的整数。其中，演变路径是指，从S0开始，每次对设备执行一个动作，得到下一个状态，直到得到Sn的过程。

即：

动作为导致两个设备之前的位置关系或者连接关系变化的动作。

在每一个演变路径中，每一个动作均对应一个奖励值，在执行一个动作后，获得相应的奖励值。

其中，最终状态Sn由多个产品规则和项目规则确定，如：

1)确保每个频段制式都包括从天线到射频设备的连接。

2)确保状态中不存在孤立(未与其他设备连接)的设备。

在最终状态判别规则不完备的情况下，需由专家判断，并抽象积累成判别规则。生成一个完备的判别规则集，形成一个判别器。

S204：将an的奖励值最大的演变路径作为目标演变路径，目标演变路径中的目标状态Sn为确定的设备部署设计方法。

具体的，S203和S204可以使用强化学习算法(例如Q学习算法)实现。图3为强化学习算法的示意图，其中，智能体Agent将从一个状态到另一个状态(S_i表示状态，i＝0，1……)进行探索，直到到达目标状态。将每一次探索作为一次经历(即演变路径)，每一次经历为智能体从初始状态到达目标状态的过程。每次智能体到达了目标状态，程序将会转向下一次探索。

Q学习的算法的公式为：

Q(state,action)＝R(state,action)+Gamma*Max(Q[next state,all actions])

其中，state表示状态，action表示动作。矩阵Q中的一个元素值就等于矩阵R中相应元素的值与学习变量Gamma乘以到达下一个状态的所有可能动作的最大奖励值的总和。

智能体利用上述的算法从经验中学习，每一次经历等价于一次训练。在每一次训练中，智能体对环境进行探索(用矩阵R表示)，并且其一旦到达目标状态，就得到环境Environment反馈的奖励值Reward(r_i表示)。训练的目的是增强智能体的大脑，用矩阵Q表示。越多的训练结果将导致更优的矩阵Q。所以，通常需要重复迭代(多次经历，或多次训练)以更新Q矩阵。在这种情况下，如果矩阵Q已经被增强，那么智能体就不会四处盲目的探索，而是会找到最快的路线到达目标状态。

参数Gamma的取值在0到1之间(0<＝Gamma<＝1)，如果Gamma越接近于0，智能体更趋向于仅仅考虑即时奖励；如果Gamma更接近于1，智能体将以更大的权重考虑未来的奖励，更愿意将奖励延迟。

本实施例中，可以使用深度Q学习网络，从每一个动作的初始奖励值(具体确定方法参见下面的实施例)，将历史设备部署方案作为目标状态，经过多次迭代训练得到每一个动作的更新的奖励值。并且，还可以使用深度Q学习网络，利用更新的奖励值，得到目标演变路径。

深度Q学习网络为结合了深度学习的Q学习算法，适用于数据量和探索空间较大的情况。

下面将从实际应用的角度，对图2所示的过程进行更为详细的说明。

如图4所示，本申请公开的设备部署设计方法的执行主体可以为设备部署设计装置，该装置为一款可以在电子设备上使用的应用(即APP)。

用户在装置中输入历史部署设计，装置使用Q学习算法，训练得到每一步动作的奖励值。具体的训练原理为：将历史设备部署方案作为训练样本，从历史设备部署方案中获取设备，并生产初始状态S0，将历史部署设计中的位置关系和连接关系作为目标状态Sn，遍历从S0到Sn的演变路径。

在每一个演变路径(历史设备部署方案的演变路径可以称为样本演变路径)中，每一个动作的初始奖励值的确定方法为：

1、如果动作之后的状态为历史设备部署方案中的局部状态，则动作的奖励值为该局部状态在历史设备部署方案中出现的频率，为大于零并且小于1的数值。

其中，局部状态是指，一个历史部署设计中的一部分设计，例如，一个历史局部设计如图1所示，图1中的天线和射频设备1的位置关系和连接关系，即为一个局部设计。

2、如果动作之后的状态为一个历史设备部署方案，则动作的奖励值为1。

在遍历一个历史设备部署方案的所有演变路径后，计算出各个演变路径中所有动作的初始奖励值之和，将初始奖励值最大的演变路径作为最优路径。调整最优路径中的初始奖励值，得到最终更新的奖励值，更新的奖励值使得在S0更容易选择(选择的方式见S204)最优路径达到Sn。更新的奖励值即为训练得到的奖励值。

以上奖励值的训练过程为在装置被使用前预先进行的过程，当然，也可以按照以上原来训练得到Q学习模型后，设置在装置中。需要说明的是，以上使用Q学习的训练过程，仅为原理说明，具体实现过程可以参见现有的Q学习算法的训练过程，这里不再赘述。

装置提供最终的设备部署设计的过程为：

装置可以显示交互界面，用户使用交互界面输入待部署的设备的信息，待部署的设备的信息的形式可以为设备的图形、设备的型号等。

装置在接收到待部署的设备的信息后，可以先对待部署的设备的信息进行过滤，去除无用或者冗余的信息。

装置依据过滤后的待部署的设备的信息，生成邻接矩阵，即原始状态S0，并使用Q学习算法，得到待部署的设备的位置关系，再使用Q学习算法，得到待部署的设备的连接关系。

本实施例中，分别得到位置关系和连接关系，即将位置关系和连接关系的确定过程分开，目的在于，避免将二者联合处理导致的数量级过大的问题。

需要说明的是，如果在应用过程中将位置关系和连接关系分开确定，则在训练过程中，分别训练位置关系演变路径的奖励函数和连接关系演变路径的奖励函数。

如图4所示，先确定待部署的设备的位置关系，以三条演变路径为例，最终输出an的奖励分数最大，即reward＝1的第二条演变路径的目标状态为最终的位置关系，其中，最上端的设备为天线，中间设备为塔顶放大器，最底层设备为射频设备1和射频设备2。再依据最终的位置关系，以三条演变路径为例，最终输出an的奖励分数最大，即reward＝0.99的第二条演变路径的目标状态为最终的连接关系。(需要说明的是，图4所示S，均表示状态，S0实质为数值均为空的邻接矩阵，S2和Sn为填充了数值邻接矩阵，为了显示的清楚，这里使用S表示)

将位置关系和连接关系转换为设备连接图，显示设备连接图。需要说明的是，以上实施例中，基于连接线连接设备的功能，并没有将连接线作为待部署的设备。在确定设备的位置关系和连接关系后，装置可以预先从本领域技术人员处获知的常识和原理，生成设备间的连接图。

可以看出，用户可以在装置中输入待部署的设备的信息后，直接从装置上看到或者导出设备连接图。

从图2以及图3可以看出，本申请公开的设备部署设计方法具有如下优点：

1、为设备的位置关系和连接关系编号，为使用机器学习自动生成部署计划奠定了基础。

2、用户只需输入待部署的设备的信息，即可得到部署设计，而无需专家经验指导，所以，降低了设备部署的成本。

3、因为奖励值的训练样本来自历史部署设计，因此，使得生产的部署设计具有较高的可靠性。

在实际中，以批量制作100基站(GSM和UMTS搬迁，LTE新建)的天馈部署设计为例，对比现有的设计方法，无线交付工程师人员从18人减少到12人，效率提高33％。

以上实施例均以无线通信场景中的馈线系统的部署为例进行说明，另外，本申请所述的技术方案，还可以应用在其他部署设计场景中，包括建筑、电力或者机械设备的部署设计等。

本申请实施例公开的设备部署方案获取装置如图5所示，包括获取模块和处理模块。可选的，还可以包括输出模块。

其中，获取模块用于获取待部署的设备的信息。

处理模块用于依据所述待部署的设备的信息，生成邻接矩阵的初始状态，所述邻接矩阵的顶点为所述待部署的设备，所述邻接矩阵的初始状态中任意两个待部署的设备之间的值为空；遍历从所述初始状态到所述邻接矩阵的预设的目标状态的演变路径，所述演变路径为，从所述初始状态开始，每次对所述待部署的设备执行一个动作，得到下一个状态，直到得到所述目标状态的过程，在每一个所述演变路径中，执行任意一个动作后，获得动作对应的奖励值；将得到所述目标状态的动作的奖励值最大的演变路径作为目标演变路径，所述目标演变路径中的目标状态为所述待部署的设备的部署方案。输出模块用于输出所述待部署的设备的部署方案。

以上各个模块的功能的具体实现方式可以参见上述方法实施例，这里不再赘述。

本申请实施例还公开了一种服务器，包括存储器和处理器。其中，存储器用于存储应用程序。处理器用于执行所述存储器中的应用程序，以实现上述方法实施例所述的方法。存储器与处理器可以通过总线通信。

所述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)，现场可编程门阵列(FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。以上所述的服务器，可以设置在终端上，以自动生成设备部署方案，提高效率。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (10)

1.一种设备部署方案获取方法，其特征在于，包括：

获取待部署的设备的信息；

依据所述待部署的设备的信息，生成邻接矩阵的初始状态，所述邻接矩阵的顶点为所述待部署的设备，所述邻接矩阵的初始状态中任意两个待部署的设备之间的值为空；

遍历从所述初始状态到所述邻接矩阵的预设的目标状态的演变路径，所述演变路径为，从所述初始状态开始，每次对所述待部署的设备执行一个动作，得到下一个状态，直到得到所述目标状态的过程，在每一个所述演变路径中，执行任意一个动作后，获得动作对应的奖励值；

将得到所述目标状态的动作的奖励值最大的演变路径作为目标演变路径，所述目标演变路径中的目标状态为所述待部署的设备的部署方案。

2.根据权利要求1所述的方法，其特征在于，所述动作对应的奖励值的获取方法包括：

获取样本演变路径中，任意一个动作的初始奖励值，所述样本演变路径为，从历史设备部署方案中的设备组成的邻接矩阵的初始状态，每次对所述历史设备部署方案中的设备执行一个动作，直到得到所述历史设备部署方案的过程；

将动作的奖励值之和最大的样本演变路径作为最优样本演变路径；

调整所述最优样本演变路径中的奖励值，得到更新的奖励值，所述更新的奖励值使得从所述历史设备部署方案中的设备组成的邻接矩阵的初始状态，选择所述最优样本演变路径达到所述历史设备部署方案的概率增大。

3.根据权利要求2所述的方法，其特征在于，所述任意一个动作的初始奖励值的获取过程包括：

如果所述任意一个动作之后的状态为所述历史设备部署方案中的局部状态，则所述任意一个动作的奖励值为该局部状态在历史设备部署方案中出现的频率；

如果所述任意一个动作之后的状态为所述历史设备部署方案，则所述任意一个动作的奖励值为1。

4.根据权利要求1所述的方法，其特征在于，所述目标状态满足以下条件：

每个频段制式均包括从天线到射频设备的连接；

不存在未与其他设备连接的设备。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述邻接矩阵的目标状态中，所述待部署的设备中相连的两个设备之间不为空的数值包括：

位置关系值和连接关系值，所述位置关系值用于表示所述相连的两个设备的放置位置之间的相对关系；所述连接关系用于表示所述相连的两个设备的端口的连接情况。

6.一种设备部署方案获取装置，其特征在于，包括：

获取模块，用于获取待部署的设备的信息；

处理模块，用于依据所述待部署的设备的信息，生成邻接矩阵的初始状态，所述邻接矩阵的顶点为所述待部署的设备，所述邻接矩阵的初始状态中任意两个待部署的设备之间的值为空；遍历从所述初始状态到所述邻接矩阵的预设的目标状态的演变路径，所述演变路径为，从所述初始状态开始，每次对所述待部署的设备执行一个动作，得到下一个状态，直到得到所述目标状态的过程，在每一个所述演变路径中，执行任意一个动作后，获得动作对应的奖励值；将得到所述目标状态的动作的奖励值最大的演变路径作为目标演变路径，所述目标演变路径中的目标状态为所述待部署的设备的部署方案。

7.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：

获取样本演变路径中，任意一个动作的初始奖励值，所述样本演变路径为，从历史设备部署方案中的设备组成的邻接矩阵的初始状态，每次对所述历史设备部署方案中的设备执行一个动作，直到得到所述历史设备部署方案的过程；

将动作的奖励值之和最大的样本演变路径作为最优样本演变路径；

调整所述最优样本演变路径中的奖励值，得到更新的奖励值，所述更新的奖励值使得从所述历史设备部署方案中的设备组成的邻接矩阵的初始状态，选择所述最优样本演变路径达到所述历史设备部署方案的概率增大。

8.根据权利要求7所述的装置，其特征在于，所述处理模块具体用于：

如果所述任意一个动作之后的状态为所述历史设备部署方案中的局部状态，则所述任意一个动作的奖励值为该局部状态在历史设备部署方案中出现的频率；

如果所述任意一个动作之后的状态为所述历史设备部署方案，则所述任意一个动作的奖励值为1。

9.根据权利要求7所述的装置，其特征在于，还包括：

输出模块，用于输出所述待部署的设备的部署方案。

10.根据权利要求7所述的装置，其特征在于，所述目标状态满足以下条件：

每个频段制式均包括从天线到射频设备的连接；

不存在未与其他设备连接的设备；

所述邻接矩阵的目标状态中，所述待部署的设备中相连的两个设备之间不为空的数值包括：

位置关系值和连接关系值，所述位置关系值用于表示所述相连的两个设备的放置位置之间的相对关系；所述连接关系用于表示所述相连的两个设备的端口的连接情况。