CN107491448A - 一种HBase资源调整方法和装置 - Google Patents

Abstract

本发明实施例公开了一种HBase资源调整方法，包括：实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中区域服务器Region Server的资源进行调整；本发明实施例还公开了一种HBase资源调整装置。

Description

一种HBase资源调整方法和装置

技术领域

本发明涉及分布式大数据平台的资源管理技术，尤其涉及一种HBase(HadoopDatabase)资源调整方法和装置。

背景技术

在Hadoop大数据平台中，资源管理器(Yet Another Resource Negotiator，YARN)是负责资源管理与调度的核心组件，作为应用管理器的Application Master可以根据作业负载的需要动态向YARN申请资源，而YARN能够根据管理员定义的策略调整任务所在容器的资源以保证高效的资源利用率。

Hadoop YARN提供了一个通用的资源管理和分布式应用框架。在这个框架上，用户可以根据自己需求，实现定制化的数据处理应用；这里，可以通过YARN完成初始的资源分配，并作为多租户的一个组件在YARN上运行。

YARN的最基本思想是将Apache Hadoop 1.0中Job Tracker的两个主要职责分别交给两个角色负责，这两个主要职责分别为资源管理和作业调度管理；其中，资源管理由全局的资源管理器(Resource Manager)处理，作业调度管理由每个应用的作业调度器(Application Master)处理。资源管理器以及每个节点的节点管理器(Node Manager)构成了新的Hadoop YARN架构，即Apache Hadoop YARN架构。

图1为现有技术中Apache Hadoop YARN架构示意图，如图1所示，该Apache HadoopYARN架构包括资源管理器100、至少一个客户端101、以及至少一个节点管理器102、至少一个作业管理器(Application Master)103；其中，这里，客户端101基于应用生成相应的任务，并将任务提交至资源管理器；资源管理器是Apache Hadoop YARN架构中仲裁应用之间资源分配的主体，用于接收至少一个客户端所提交的任务，基于接收到的任务，为应用分配资源；而每个应用对应一个作业管理器，每个作业管理器负责向资源管理器协商资源分配策略，并与节点管理器协同工作来执行和管理任务；资源管理器有一个可插入的调度器，负责向各个应用分配资源以满足容量、组等限制条件；这个调度器是一个纯粹的调度器，不负责管理或追踪应用的状态，也不负责由于硬件错误或应用问题导致的任务失败重启工作，调度器只依据应用的资源需求来执行调度工作，调度内容是一个抽象概念资源容器(Container)，其中调度内容主要是内存、CPU、网络、磁盘等资源。

每个节点管理器102与每个HBase节点相对应，每个节点管理器可以认为是每个节点对应的从属服务进程，每个节点管理器用于控制资源容器，并向资源管理器汇报资源使用情况；每个作业调度器与一个应用相对应，负责向资源管理器的调度器协商合理的资源分配方案，追踪资源分配的状态，并管理资源分配的进度。

目前，YARN通常只在资源管理器的调度器进行基于资源需求的调度工作时，一次性为其分配固定的资源，而不支持根据作业运行的负载情况动态调整资源；因此，在需要进行资源实时调整时，需要停止并释放当前的资源容器，然后通过重新建立新的资源容器来改变任务的资源分配；如此，YARN对长时间运行的服务型进程不能根据作业运行的负载情况动态调整资源，容易造成资源浪费，降低了HBase的资源利用率。

发明内容

为解决上述技术问题，本发明实施例期望提供一种HBase资源调整方法和装置，提高了Base中区域服务器(Region Server)的资源的利用率。

本发明的技术方案是这样实现的：

本发明实施例提供了一种HBase资源调整方法，所述方法包括：

实时获取每个HBase节点的HBase度量信息；

将获取到的信息进行聚合，得到聚合信息；

将聚合后的信息进行规则匹配，得到对应的资源调整动作；

根据得到的资源调整动作，对HBase中Region Server的资源进行调整。

上述方案中，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的Region Server的负载信息。

上述方案中，所述根据得到的资源调整动作，对HBase中Region Server的资源进行调整，包括：基于得到的资源调整动作，提出改变HBase中Region Server的资源的请求；基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源。

上述方案中，所述提出改变HBase中Region Server的资源请求为：提出增加HBase中Region Server的资源的请求；

所述基于所提出的改变Region Server的资源的请求，调整HBase中RegionServer的资源，包括：基于增加HBase中Region Server的资源的请求，并依据预先定义的规则得出Region Server的资源的增加策略；依据Region Server的资源的增加策略，增加HBase中Region Server的资源配额。

上述方案中，所述增加HBase中Region Server的资源配额，包括：利用以下至少一种方式增加HBase中Region Server的资源配额：增加HBase中Region Server的个数、对至少一个HBase节点对应的Region Server的资源进行资源扩容。

上述方案中，所述提出改变HBase中Region Server的资源请求为：提出减少HBase中Region Server的资源的请求；

所述基于所提出的改变Region Server的资源的请求，调整HBase中RegionServer的资源，包括：基于减少HBase中Region Server的资源的请求，并依据预先定义的规则得出Region Server的资源的减少策略；依据Region Server的资源的减少策略，减少HBase中Region Server的资源配额。

上述方案中，所述减少HBase中Region Server的资源配额，包括：利用以下至少一种方式调低HBase中Region Server的资源配额：减少HBase中Region Server的个数、调低至少一个HBase节点对应的Region Server的资源容量。

上述方案中，在调整HBase中Region Server的资源之后，所述方法还包括：

获取HBase中Region Server的资源的变化信息，验证所述HBase中Region Server的资源的变化信息是否符合所述改变Region Server的资源的请求。

本发明实施例还提供了一种HBase资源调整装置，所述装置包括：获取模块、聚合模块、匹配模块和调整模块；其中，

获取模块，用于实时获取每个HBase节点的HBase度量信息；

聚合模块，用于将获取到的信息进行聚合，得到聚合信息；

匹配模块，用于将聚合后的信息进行规则匹配，得到对应的资源调整动作；

调整模块，用于根据得到的资源调整动作，对HBase中Region Server的资源进行调整。

上述方案中，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的Region Server的负载信息。

上述方案中，所述调整模块，具体用于基于得到的资源调整动作，提出改变HBase中Region Server的资源的请求；基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源。

上述方案中，所述装置还包括：验证模块，所述验证模块，用于在调整HBase中Region Server的资源之后，获取HBase中Region Server的资源的变化信息，验证所述HBase中Region Server的资源的变化信息是否符合所述改变Region Server的资源的请求。

本发明实施例提供的一种HBase资源调整方法和装置，实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中区域服务器RegionServer的资源进行调整；如此，能够对长时间运行的服务型进程能按照负载在不同时间的变化对其所占用的内存和CPU等资源进行自动的动态调整，提高HBase中Region Server的资源的利用率。

附图说明

图1为现有技术中Apache Hadoop YARN架构示意图；

图2为本发明HBase资源调整方法的第一实施例的流程图；

图3为本发明HBase资源调整方法的第一实施例中增加HBase中Region Server的资源的流程图；

图4为本发明HBase资源调整方法的第一实施例中减少HBase中Region Server的资源的流程图；

图5为本发明实施例HBase资源调整装置的组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例提供了一种HBase资源调整方法和装置，对长时间运行的服务型进程，能按照负载在不同时间的变化对其所占用的内存和CPU等资源进行自动的动态调整，提高了HBase的资源的利用率。

第一实施例

参见图2，其出示了本发明HBase资源调整方法的第一实施例的流程图，该流程可以包括：

步骤200：实时获取每个HBase节点的HBase度量信息(metrics)。

这里，每个HBase节点的HBase度量信息可以包括：对应HBase节点的节点系统信息和对应HBase节点对应的Region Server的负载信息。

进一步地，HBase节点的节点系统信息可以包括：远程过程调用(RPC，RemoteProcedure Call)度量信息、Java虚拟机(JVM，Java Virtual Machine)度量信息、YARN集群度量信息、YARN任务队列度量信息、map/reduce度量信息等等，例如，远程过程调用(RPC，Remote Procedure Call)度量信息包括：从启动开始计算的RPC次数(PT，ProcessCallTime_num_ops)、从启动开始RPC队列等待次数(QT，QueueCallTime_num_ops)、RPC在最近的交互中平均操作时间(PN，ProcessCallTime_mean)、RPC在交互中平均等待时间(QN，QueueCallTime_mean)，其中，PN和QN的单位可以是ms。JVM度量信息可以包括：当前JVM已经使用的堆大小(MU，MemHeapUsedM)，MU的单位可以是MB。

Region Server的负载信息可以是Region Server度量信息(metrics)。

在实际实施时，可以利用Apache Phoenix API或Rest APIApache Phoenix API或Rest API收集HBase每个节点上的节点系统信息与每个Regional Server的负载信息。

步骤201：将获取到的信息进行聚合，得到聚合后的信息。

这里，聚合是指在一定的时间周期之内，针对需要进行聚合的数据求取一些统计数据，如求和，最大，最小，均值等统计概念，所采用的均是标准的统计学数学公式。

这里，聚合后的信息主要用来做分析决策；可选地，在得打聚合后的信息时，可以将聚合后的信息保存到数据库或本地，在将聚合后的信息保存到数据库时，只需用具体的数据库和相应的编程接口将数据写入即可。

步骤202：将聚合后的信息进行规则匹配，得到对应的资源调整动作。

这里，聚合后的信息进行规则匹配中的规则，可以是Hadoop管理员定义的规则。

具体地，可以预先定义一个规则或者多个规则，每个规则说明了至少一个触发条件以及与每个触发条件对应的资源调整动作；

本步骤具体包括：在聚合后的信息满足预先定义的任意一个规则中的任意一个触发条件时，得出对应的资源调整动作。

需要说明的是，聚合后的信息最多只能满足一个触发条件，这样，在将聚合后的信息进行规则匹配，只能得出一个资源调整动作。

这里，资源调整动作包括但不限于增加HBase中Region Server的资源、减少HBase中egion Server的资源等等。

步骤203：根据得到的资源调整动作，对HBase中Region Server的资源进行调整。

这里，HBase中HBASE中Region Server的资源包括但不限于内存资源、CPU资源、网络资源、磁盘资源等等。

具体地，根据得到的资源调整动作，对HBase中Region Server的资源进行调整，包括：基于得到的资源调整动作，提出改变HBase中Region Server的资源的请求；基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源。

这里，可以基于得到的资源调整动作，向Hadoop资源管理器YARN提出改变HBase中Region Server的资源的请求。

具体地，提出改变HBase中Region Server的资源请求为：提出增加或减少HBase中Region Server的资源的请求；在实际应用中，可以向Hadoop YARN提出增加或减少HBase中Region Server的资源的请求。

下面分两种情况对Region Server的资源的调整过程进行说明。

第一种情况：改变HBase中Region Server的资源请求为增加HBase中RegionServer的资源的请求。

具体地，所述基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源，包括：基于增加HBase中Region Server的资源的请求，并依据预先定义的规则得出Region Server的资源的增加策略；依据Region Server的资源的增加策略，增加HBase中Region Server的资源配额。

这里，Hadoop YARN在得到增加HBase中Region Server的资源的请求后，可以基于所提出的增加Region Server的资源的请求，调整HBase中Region Server的资源。

在实际应用中，在得出Region Server的资源的增加策略后，可以将增加HBase中Region Server的资源的请求发送至节点管理器，利用节点管理器增加HBase中RegionServer的资源配额；这里，增加HBase中Region Server的资源的请求的发送方式可以是：新的令牌(token)的方式进行发送。

本步骤中，增加HBase中Region Server的资源配额的方式可以是增加HBase中Region Server的个数、对至少一个HBase节点对应的Region Server的资源进行资源扩容。

在实际应用中，可以利用节点管理器控制增加HBase中Region Server的个数、对至少一个HBase节点对应的Region Server的资源进行资源扩容。

第二种情况：改变HBase中Region Server的资源请求为减少HBase中RegionServer的资源的请求。

具体地说，所述基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源，包括：基于减少HBase中Region Server的资源的请求，并依据预先定义的规则得出Region Server的资源的增加策略；依据Region Server的资源的增加策略，减少HBase中Region Server的资源配额；

在实际应用中，Hadoop YARN在得到减少HBase中Region Server的资源的请求后，还可以将减少HBase中Region Server的资源的请求发送至节点管理器，利用节点管理器调低HBase中Region Server的资源配额。

本步骤中，减少HBase中Region Server的资源配额的方式可以包括以下至少一种方式：减少HBase中Region Server的个数、调低至少一个HBase节点对应的Region Server的资源容量。

在实际应用中，可以利用节点管理器控制减少HBase中Region Server的个数，或者调低至少一个HBase节点对应的Region Server的资源容量。

进一步地，在对HBase中Region Server的资源进行调整之后，还可以获取HBase中Region Server的资源的变化信息，验证所述HBase中Region Server的资源的变化信息是否符合所述改变Region Server的资源的请求。

在实际应用中，节点管理器将HBase中Region Server的资源的变化信息反馈给YARN；利用YARN验证所述HBase中Region Server的资源变化的状态是否符合所述改变HBase中Region Server的资源请求。

图3为本发明HBase资源调整方法的第一实施例中增加HBase中Region Server的资源的流程图，如图3所示，该流程包括：

步骤2030：作业管理器基于得到的资源调整动作，向YARN的资源管理器提出增加HBase中Region Server的资源的请求。

这里，作业管理器可以是应用Apache Slider。

步骤2031：YARN的资源管理器依据增加HBase中Region Server的资源的请求和预先定义的规则，生成HBase中Region Server的资源的增加策略。

这里，可以通过资源管理器的调度器预先定义规则。

步骤2032：YARN中的资源管理器基于HBase中Region Server的资源的增加策略，生成新的token；

可以看出，YARN中的资源管理器，必须在有足够剩余资源的情况下，生成的新的token才能与增加HBase中Region Server的资源的请求相匹配。

步骤2033：作业管理器将增加HBase中Region Server的资源的请求以新的token的方式提供给节点管理器。

步骤2034：节点管理器基于增加HBase中Region Server的资源的请求，更新HBase中Region Server的资源配额。

步骤2035：节点管理器在完成更新HBase中Region Server的资源配额的操作后，将资源增加的变化信息反馈到YARN。

这里，可以由YARN的资源管理器接收资源增加的变化信息。

步骤2036：YARN验证资源增加的变化信息是否符合所提出的增加HBase中RegionServer的资源的请求。

具体地，资源管理器将收到的资源增加的变化信息提交至资源管理器的调度器，以验证资源增加的变化信息是否符合HBase中Region Server的资源的增加策略。

图4为本发明HBase资源调整方法的第一实施例中减少HBase中Region Server的资源的流程图，如图4所示，该流程包括：

步骤203a:作业管理器基于得到的资源调整动作，向节点管理器和YARN的资源管理器提出减少HBase中Region Server的资源的请求。

这里，作业管理器可以是应用Apache Slider。

步骤203b：节点管理器调低HBase中Region Server的资源配额，并开始监控相应资源的使用情况。

步骤203c：节点管理器完成调低HBase中Region Server的资源配额的操作后，将资源减少的变化信息反馈到YARN的资源管理器。

步骤203d：：YARN的资源管理器验证资源减少的变化信息是否符合所提出的减少HBase中Region Server的资源的请求。

应用本发明第一实施例的HBase资源调整方法，利用获取到的信息进行聚合，将聚合信息与规则匹配，得出对资源的调整动作，并做出相应的资源调整。对长时间运行的服务型进程能按照负载在不同时间的变化对其所占用的内存和CPU等资源进行自动的动态调整，提高HBase中Region Server的资源的利用率。

第二实施例

针对本发明第一实施例的一种HBase资源调整方法，本发明第二实施例提供了一种HBase资源调整装置。

图5为本发明实施例HBase资源调整装置的组成结构示意图，如图5所示，该装置包括：获取模块500、聚合模块501、匹配模块502和调整模块503；其中，

获取模块500，用于实时获取每个HBase节点的HBase度量信息；

聚合模块501，用于将获取到的信息进行聚合，得到聚合信息；

匹配模块502，用于将聚合后的信息进行规则匹配，得到对应的资源调整动作；

调整模块503，用于根据得到的资源调整动作，对HBase中Region Server的资源进行调整。

这里，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的Region Server的负载信息。

具体地，所述调整模块503，用于基于得到的资源调整动作，提出改变HBase中Region Server的资源的请求；基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源。

进一步地，所述装置还包括：验证模块504，所述验证模块504，用于在调整HBase中Region Server的资源之后，获取HBase中Region Server的资源的变化信息，验证所述HBase中Region Server的资源的变化信息是否符合所述改变Region Server的资源的请求。

在实际应用中，所述获取模块500、聚合模块501、匹配模块502、调整模块503和验证模块504均可由位于YARN中的中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)、或现场可编程门阵列(Field Programmable Gate Array，FPGA)等实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种HBase资源调整方法，其特征在于，所述方法包括：

实时获取每个HBase节点的HBase度量信息；

将获取到的信息进行聚合，得到聚合信息；

将聚合后的信息进行规则匹配，得到对应的资源调整动作；

根据得到的资源调整动作，对HBase中区域服务器Region Server的资源进行调整。

2.根据权利要求1所述的方法，其特征在于，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的Region Server的负载信息。

3.根据权利要求1所述的方法，其特征在于，所述根据得到的资源调整动作，对HBase中Region Server的资源进行调整，包括：基于得到的资源调整动作，提出改变HBase中RegionServer的资源的请求；基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源。

4.根据权利要求3所述的方法，其特征在于，所述提出改变HBase中Region Server的资源请求为：提出增加HBase中Region Server的资源的请求；

所述基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源，包括：基于增加HBase中Region Server的资源的请求，并依据预先定义的规则得出Region Server的资源的增加策略；依据Region Server的资源的增加策略，增加HBase中Region Server的资源配额。

5.根据权利要求4所述的方法，其特征在于，所述增加HBase中Region Server的资源配额，包括：利用以下至少一种方式增加HBase中Region Server的资源配额：增加HBase中Region Server的个数、对至少一个HBase节点对应的Region Server的资源进行资源扩容。

6.根据权利要求3所述的方法，其特征在于，所述提出改变HBase中Region Server的资源请求为：提出减少HBase中Region Server的资源的请求；

所述基于所提出的改变Region Server的资源的请求，调整HBase中Region Server的资源，包括：基于减少HBase中Region Server的资源的请求，并依据预先定义的规则得出Region Server的资源的减少策略；依据Region Server的资源的减少策略，减少HBase中Region Server的资源配额。

7.根据权利要求6所述的方法，其特征在于，所述减少HBase中Region Server的资源配额，包括：利用以下至少一种方式调低HBase中Region Server的资源配额：减少HBase中Region Server的个数、调低至少一个HBase节点对应的Region Server的资源容量。

8.根据权利要求3至7任一项所述的方法，其特征在于，在调整HBase中Region Server的资源之后，所述方法还包括：

获取HBase中Region Server的资源的变化信息，验证所述HBase中Region Server的资源的变化信息是否符合所述改变Region Server的资源的请求。

9.一种HBase资源调整装置，其特征在于，所述装置包括：获取模块、聚合模块、匹配模块和调整模块；其中，

获取模块，用于实时获取每个HBase节点的HBase度量信息；

聚合模块，用于将获取到的信息进行聚合，得到聚合信息；

匹配模块，用于将聚合后的信息进行规则匹配，得到对应的资源调整动作；

调整模块，用于根据得到的资源调整动作，对HBase中区域服务器Region Server的资源进行调整。

10.根据权利要求9所述的装置，其特征在于，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的Region Server的负载信息。

11.根据权利要求9所述的装置，其特征在于，所述调整模块，具体用于基于得到的资源调整动作，提出改变HBase中Region Server的资源的请求；基于所提出的改变RegionServer的资源的请求，调整HBase中Region Server的资源。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：验证模块，所述验证模块，用于在调整HBase中Region Server的资源之后，获取HBase中Region Server的资源的变化信息，验证所述HBase中Region Server的资源的变化信息是否符合所述改变RegionServer的资源的请求。