CN1744047A - 一种实现基于机群结构的高性能服务器动态部署方法 - Google Patents

Abstract

本发明提供了一种实现基于机群结构的高性能服务器动态部署方法，该方法是把机群中的计算资源和存储资源分离开来并分别为其设置不同的标识；将设置有不同标识的计算资源和存储资源再动态绑定构建成新的计算结点，然后改变新的计算结点的计算特性并将其添加到资源紧张的功能分区中去，以此实现提高服务器的整体利用率。本发明的这种实现机群结构的高性能服务器结点的动态部署方法，能够保证快速、方便改变结点的计算特性，把空闲资源动态改变计算特性后添加到工作负载重的功能分区中去，提高服务器的利用率。

Description

一种实现基于机群结构的高性能服务器动态部署方法

技术领域

本发明涉及高性能服务器体系结构领域，特别涉及一种实现基于机群结构的高性能服务器动态部署方法。

背景技术

随着网络技术飞速发展，10千兆比以太网、10Gb infiniband网络相继成熟应用，使得计算资源、存储资源之间的高速互连成为可能；随着操作系统向网络化分布式系统的转移，网络协议功能已经成为现代操作系统软件必须具备的功能。在计算机网卡等部件的设计中，增加了对网络启动的支持，这样，在系统启动过程中，计算环境的载体可以在一定的阶段进行选择，使用网络存储资源作为载体来建立计算环境成为可能。

目前机群是高性能服务器的主流体系结构，基于机群结构的高性能服务器是由多台相对独立的服务器，通过高速互联网连接起来构成的，每一个服务器称为一个结点，每个结点上都运行一个独立的操作系统，通过软硬件的配合和管理，形成一个单一映像的高性能的计算机系统。

机群系统每个结点上引导和运行的操作系统一般来源于结点本地的硬盘。结点的计算资源(处理器为核心的部件)和存储资源(本地硬盘为核心的部件)是静态绑定的，也就是说，结点的计算特性是由它存储在本地硬盘上的操作系统及其相关软件决定的。

在机群的应用环境中，机群常常被部署成支持多种应用，划分为不同的功能分区，在某一时刻，不同的功能分区中应用对资源的需求是不均衡的，很容易出现有些功能分区中结点利用率高，而有些分区结点的利用率低的现象。我们希望能够动态调整功能分区中结点的数量，使得功能分区中计算结点数量与承担的计算任务相匹配。但是，由于结点的计算特性已经由本地的操作系统和系统软件决定，不同功能分区中的结点如果不能改变所支持的应用，即使从利用率低的功能池中加入到利用率高的功能分区中，也不一定可以能够分担利用率高的功能分区中的任务。

可见，需要一种可以快速改变结点计算特性的方法，通过动态改变结点的计算特性，方便的调整功能分区中结点的数量，提高资源的利用率。

发明内容

本发明的目的在于一种动态绑定计算资源和存储资源，快速改变结点的计算持性，提高服务器的利用率，实现基于机群结构的高性能服务器动态部署方法。

把机群中的资源分成计算资源和存储资源，分别为计算资源和存储资源设置不同的标识，动态绑定计算资源和存储资源来构建新的计算结点，然后通过改变计算结点的计算特性，把改变计算特性后计算结点动态部署到工作负载重的功能分区中，以提高服务器的整体利用率，部署方法分为以下步骤：

a、制作可以运行的操作系统和相关软件的映像，并记录该映像支持的应用特征；利用已有的结点制作需要的映像数据，拷贝已经制作好的映像数据，在映像数据中记录制作源的基本属性，如CPU、网卡、内存信息，用于检查所绑定的计算资源是否适合该映像运行。

b、设置计算资源和存储资源绑定关系；

c、控制计算资源和存储资源的启动和运行，由所连接的映像特征识别新计算结点可以支持的应用程序，自动探测计算资源的硬件信息，对比映像资源中的约束信息，确定计算资源是否符合映像的运行条件；

d、根据新构建的计算结点特性和资源绑定关系，在某一时间，比如每个月的月末；一定的条件下，比如某个功能分区中的CPU利用率持续过高；自动把空闲分区中的计算结点转移到需要该计算特性和工作负载重的功能分区中，自动调整机群的计算特性以适应服务器不断变化的运行情况；

在本发明的动态部署方法中，计算资源只是以太网卡为唯一标识；

在带有不支持远程引导存储网卡的计算结点运行存储设备映像的过程中，通过操作系统的两阶段引导过程来完成，在第一阶段引导中加载存储卡的驱动程序，识别出存储设备，在第二阶段引导把根文件系统切换到存储设备上。

对于不支持远程引导的网络部件，是通过支持远程引导网络部件引导操作系统内核并加载相应的驱动程序，使其能够在操作系统引导阶段识别所连接在网络上的设备。

附图说明

图1为计算资源和存储资源的结构示意图；

图2为机群结构示意图；

图3为计算资源在NFS类型存储资源上的启动过程示意图；

图4为计算资源在SAN类型存储资源上的启动过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

本发明实现了机群系统中计算资源和存储资源的动态组合，动态改变计算资源的计算特性，把空闲的计算结点快速方便的添加到工作负载高的功能分区中，提高资源的利用率。

图1是一个计算资源和存储资源的标识和连接示意图。计算结点C，包括处理器、内存、以太网卡、HBA(HCA)卡等部件，由以太网卡的MAC地址唯一的标识该计算结点。

存储资源分为两类，一类是NFS服务器上的存储资源，资源的地址存储资源的地址以NFS服务器IP地址+NFS输出的目录的组合标识，记做S，另一类资源是SAN存储设备上的资源，以SAN存储交换机IP地址+LUN号的组合标识，记做S’，以太网卡支持PXE等远程引导协议，HBA(HCA)卡可以不支持远程引导协议，计算结点C运行在SAN上的操作系统S’的引导过程是通过以太网卡引导成功后，切换到SAN上的。

图2，是一个典型的机群结构的高性能服务器的示意图，机群中的结点C因为应用的要求，被分配在不同的功能分区中，结点通过以太网连接到NFS服务器上，通过存储网络连接到存储设备上。

通常使用机群的模式是，在NFS服务器或者SAN上存放与应用相关的数据，结点通过本地的硬盘启动和运行每个结点独立的操作系统。本地硬盘是在机群初始安装时或根据后来的需要安装的，结点上操作系统的安装是一项非常耗时的工作，并且安装后的操作系统不能被其他的结点使用。

本发明的方法是通过把操作系统安装到共享的NFS服务器或者SAN存储上，动态配置计算结点的启动映像，达到动态改变结点的计算特性。通过快速部署计算结点需要的映像，能够方便的改变结点的结算特性，使结点加入到需要该计算资源的功能分区中去。

实施例一

如图2所示；机群支持三类应用，所使用的结点分别在功能分区1、2、3中运行，假设当前功能分区1中的工作负载很重，而功能分区2工作负载很轻，动态部署的步骤如下：

1.监控新加入机群中新的计算资源，作为备用的计算资源；

2.监控机群中各个功能分区中结点的工作负载，把工作负载较轻的结点

3.作为备用的计算资源；

4.可以把功能分区2中的某一计算结点，如C2抽取出来；

5.为C2动态绑定功能分区1需要的映像S1；

6.C2引导和执行映像S1，构建支持功能分区1的新的计算结点C’；

7.把C’加入到功能分区1中，增加功能分区1的计算能力。

实现该功能的前提时，结点的以太网卡支持网络启动，并设置为网络启动的优先级高于本地硬盘的启动优先级；功能分区中的应用支持动态的添加和删除结点。

图3和图4进一步说明构建动态部署结点的具体步骤。

实施例二

图3所示的是一个动态部署控制台，控制一台新加入到机群中的结点从NFS服务器上的映像启动的过程中，控制台、计算结点、NFS服务器的交互过程。可以看出，如果计算结点只是利用NFS服务器上的映像构建新的计算结点，就不需要SAN设备，这样可以节约昂贵的SAN设备的投资。只是NFS服务器作为集中的存储会带来IO访问瓶颈，所以计算结点利用NFS服务器上的存储映像的构建结点的方法可以看作是一个廉价的、低性能要求的解决方案。

图3中1-14步骤除去4-10步骤与建立一个基于NFS、PXE、tftp工具的无盘工作站的过程相同，4-10步的目的是检查计算资源与绑定的映像资源是否匹配，防止因为硬件的差别造成构建的新结点不能正常引导和运行。

实施例三

如图4所示，一个用动态部署控制台控制一台新加入到机群中的结点从SAN上的映像启动过程中，关键是利用操作系统本身提供的两阶段引导过程，第一阶段，利用以太网卡的引导功能，在以太网上引导操作系统的内核和加载存储卡的驱动程序(12、13步)；第二鸡阶段，没有网络启动功能的存储卡在操作系统启动阶段结束后，根文件系统切换前识别出存储设备，并把根文件系统切换到识别的SAN上(14步)，此结点虽然在低速的以太网上引导，但是运行过程中却可以利用高速的网络，(如infiniband、光线通道网络)进行高速通信和网络存储。

由上述的实施例可见，本发明的这种实现机群结构的高性能服务器结点的动态部署方法，能够保证快速、方便改变结点的计算特性，把空闲资源动态改变计算特性后添加到工作负载中的功能分区中去，提高服务器的利用率。

实施例四

1)把机群中的计算资源和存储资源分离，计算资源及其相关部件的地址以以太网的网卡地址(MAC地址)为唯一标识，记做C，存储资源的地址以NFS服务器的IP地址+NFS的输出目录的组合标识，记做S；以SAN存储交换机的IP地址+LUN号的组合标识，记做S’，S和S’做为集中的存储资源标识；

2)将动态部署方法分为四个步骤，具体过程包括：

a、在S或者S’上制作可以运行的操作系统和相关软件的映像，并记录该映像支持的应用特征

b、计算资源和存储资源绑定设置，设置C与S或者S’的对应关系

c、控制C从S或者S’上的映像中启动，并且以S(S’)作为本地存储使用，由C和S(S’)动态的构成了一台虚拟的机群中的结点，由所连接的映像特征认定该结点可以支持的应用

d、根据新构建的结点的特性把该结点加到需要该计算特性的功能分区中去。

其中，步骤1)SAN存储交换机与计算资源连接的属于计算资源的连接部件的地址，不作为计算资源的唯一标识。

步骤2)根据提前制定的策略进一步分出在一定时间(如每个月的月末)，一定的条件下(如某个功能分区中的CPU利用率持续过高)，自动执行b，c，d过程，把空闲分区中的结点转移到工作负载重的功能分区中，自动调整机群的计算特性，适合不断变化的应用情况。

步骤a可进一步包括利用已有的结点(制作源)制作需要的映像数据；拷贝已经制作好的映像数据；在映像数据中记录制作源的基本属性，如CPU、网卡、内存信息，用于在与计算资源绑定阶段检查所绑定的计算资源是否适合该映像运行，在指定地址的存储资源S(S’)上建立映像数据。

步骤b可以为：查找和收集机群中新加入的计算资源或者把利用率不高的结点接受为计算资源，建立计算资源和存储资源之间的绑定关系。

步骤c所述的控制计算资源C从存储资源S或者S’上的映像中启动方法可进一步包括：当C从S上启动和运行时，C直接通过以太网卡与S通信，构建新的结点；当C从S’上启动和运行时，由于C不能直接通过以太网卡与S’通信，因为C与S’的连接是通过HBA(Host Bus Adapter)卡或者HCA(Host ChannelAdapter)卡连接的，本方法采用Linux类操作系统提供的“initial RAM disk”(或initrd)提供两阶段引导过程，在initrd中加载HBA卡或HCA卡的驱动，使得通过MAC网卡引导的存放在NFS Server上的内核和initrd，可以识别S’，然后把根文件系统切换到S’上。该方法也包括利用其他类型的操作系统(如Windows、AIX等)，计算资源先从可以网络引导的网络部件引导，然后加载不能从网络引导的网络部件(如HCA卡)驱动后，识别出没有直接连接在可以网络引导的网络部件的计算资源S’，把根文件系统切换到S’上的方法。

步骤c可以为：利用以太网卡的PXE功能，通过DHCP、tftp服务的配置，实现C从S上的引导和运行；也可以通过通过DHCP、tftp服务的配置实现C从NFS Server上引导操作系统内核和initrd，利用initrd中的驱动程序，识别初步SAN上连接的S’，把根文件切换到S’上。

步骤d可以为：新构建的结点，根据S(S’)上映像的信息可以获知新结点支持的应用，可以把新结点添加到相应的功能分区中去。

由本发明的技术方案可见，本发明通过分离计算资源和存储资源，动态绑定计算资源和存储资源，实现了快速改变机群中结点的计算特性，使得计算资源的计算特性不受本地硬盘的存储映像的约束，可以支持多种计算特性，根据应用的需要，重构机群部分和全部的计算特性，提高了计算资源和存储资源的利用率。

Claims (4)

1、一种实现基于机群结构的高性能服务器动态部署方法，其特征在于把机群中的资源分成计算资源和存储资源，分别为两种资源设置不同的标识，动态绑定两种资源构建成新计算结点，然后改变计算结点的计算特性，并将其动态部署到工作负载重的功能分区中以实现服务器利用率的整体提高，该部署方法分以下步骤实现：

a、制作可以运行的操作系统和相关软件的映像，并记录该映像支持的应用特征；利用已有的结点制作需要的映像数据，在拷贝制作好的映像数据中记录制作源的基本属性，如CPU、网卡、内存信息，用于检查所绑定的资源是否适合该映像运行；

b、设置计算资源和存储资源绑定关系；

c、控制计算资源和存储资源的启动和运行，由所连接的映像特征识别新计算结点支持的应用程序，自动探测计算资源的硬件信息，对比映像资源中的约束信息，确定计算资源是否符合映像的运行条件；

d、根据新构建的计算结点特性和绑定关系，在某一时间，比如每个月的月末；一定的条件下，比如某个功能分区中利用率持续过高的CPU；自动把空闲分区中的计算结点转移到需要该计算特性和工作负载重的功能分区中，自动调整机群的计算特性以适应服务器不断变化的运行情况。

2、如权利要求1所述的动态部署方法，其特征在于，计算资源是以太网卡为唯一标识。

3、一种实现基于机群结构的高性能服务器动态部署方法，其特征在于，在带有不支持远程引导存储网卡的计算结点运行存储设备映像的方法，是通过操作系统的两阶段引导过程来完成，在第一阶段引导中加载存储卡的驱动程序，识别出存储设备，在第二阶段引导把根文件系统切换到存储设备上。

4、如权利要求3所述的动态部署方法，其特征在于，通过支持远程引导网络部件引导操作系统内核并加载相应的驱动程序，使得不支持远程引导的网络部件能够在操作系统引导阶段识别所连接在网络上的设备。

Images