CN109376005B - 大数据框架处理任务的资源管理方法 - Google Patents
大数据框架处理任务的资源管理方法 Download PDFInfo
- Publication number
- CN109376005B CN109376005B CN201811017053.9A CN201811017053A CN109376005B CN 109376005 B CN109376005 B CN 109376005B CN 201811017053 A CN201811017053 A CN 201811017053A CN 109376005 B CN109376005 B CN 109376005B
- Authority
- CN
- China
- Prior art keywords
- resource
- application
- server
- information
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/504—Resource capping
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种大数据框架处理任务的资源管理方法，包括如下步骤：步骤S1、将服务器资源信息存储至存储系统；步骤S2、应用端向资源管理系统申请服务器资源；步骤S3、资源管理系统判断资源是否能满足申请所需，若满足，则分配资源；若不满足，则将任务加入等待队列，并按设定的规则进行资源分配。本发明的优点在于：对企业的服务器资源进行有效的管理以及调度，减少了资源的浪费；资源管理系统自动分配资源，降低了人工干预的工作量，提高了运行维护的效率。
Description
技术领域
本发明涉及一种资源管理方法，特别指一种大数据框架处理任务的资源管理方法。
背景技术
随着科技的进步，业务的发展，很多企业需要成百上千台的服务器来满足业务的需要。但是，在这些服务器执行大数据任务时，如何对服务器的资源进行管理以及有效的利用成为一个亟待解决的问题。资源管理系统如果没有掌握服务器资源的利用情况，就无法得知系统资源的利用率，无法得知有哪些资源处于空闲状态，哪些资源已经脱离了系统的管理，成为僵尸资源，由此造成了大量的可用资源的闲置，且需要人工进行干预，大大提高了服务器的运行维护成本。因此，对企业的服务器资源进行有效的管理以及调度，显得非常的重要且急迫。
发明内容
本发明要解决的技术问题，在于提供一种大数据框架处理任务的资源管理方法，用来提高资源的利用率，提高资源运行维护的自动化程度。
本发明是这样实现的：一种大数据框架处理任务的资源管理方法，所述方法包括如下步骤：
步骤S10、资源管理系统创建资源预估表、从各服务器采集服务器资源信息，并将资源预估表以及服务器资源信息存储至存储系统；
步骤S20、应用端向资源管理系统申请服务器资源，若指定申请数量，则进入步骤S30；若未指定申请数量，则进入步骤S60；
步骤S30、资源管理系统登记应用端资源申请的流水信息，并依据流水信息以及存储系统中的服务器资源信息判断所申请的服务器资源数量是否超过资源管理系统中服务器资源总数，若未超过，则进入步骤S40；若超过，则返回错误信息至应用端，更新流水信息，并结束流程；
步骤S40、判断所申请的资源是否被占用，若是，则进入定时任务；若否，则申请服务器资源，并更新流水信息，进入步骤S50；
步骤S50、如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表；如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息，并结束流程；
步骤S60、资源管理系统判断该任务是否为新任务，若否，则根据存储系统中存储的资源预估表判断该任务需要的资源数量，并进入步骤S30；若是，则根据资源管理系统设定的参数计算所需资源，并进入步骤S40。
进一步地，所述步骤S10中，所述资源预估表具体包括：历史任务的类型、执行历史任务所需的资源种类以及数量；
进一步地，所述步骤S10中，所述服务器资源信息具体包括：大数据服务器数量、大数据服务器的CPU数量、大数据服务器的内存容量、应用服务器数量、应用服务器的CPU数量以及应用服务器的内存容量。
进一步地，所述步骤S30中，所述流水信息具体包括所需服务器资源、资源状态以及任务信息；所述资源状态包括申请中、申请成功、已回收以及申请失败；所述任务信息包括任务类型、执行任务耗时以及执行是否成功；
进一步地，所述步骤S30中，所述更新流水信息具体为：更新流水信息中的资源状态为申请失败。
进一步地，所述步骤S40中，所述定时任务具体包括：对资源被占用等待队列进行定时扫描；对流水信息进行定时扫描；对资源预估表进行定时计算更新；
进一步地，所述步骤S40中，所述更新流水信息具体为：更新流水信息中的资源状态为申请中。
进一步地，所述步骤S50中，所述如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表具体为：
如果申请大数据服务器以及应用服务器均成功，更新流水信息中的资源状态为申请成功，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息的资源状态为已回收、更新资源预估表。
进一步地，所述步骤S50中，所述如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息具体为：如果申请大数据服务器或者应用服务器失败，则返回错误信息至应用端，更新流水信息中的资源状态为申请失败。
本发明的优点在于：
1、通过资源管理系统对服务器资源进行管理，有效的减少了服务器资源的闲置浪费，提高了服务器资源的利用率。
2、通过资源管理系统对服务器资源进行分配调度，极大的减少了因人工干预产生的工作量，提高了服务器运行维护的效率。
3、通过创建资源预估表，使得资源管理系统可以对没指定申请资源数量的任务进行资源需求数量预估，提高系统的运行效率。
4、通过设置定时任务，对资源管理系统的运行情况进行定时扫描，定时更新相应信息，有效的提高资源管理系统的可靠性。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明大数据框架处理任务的资源管理方法的流程图。
具体实施方式
请参照图1所示，本发明大数据框架处理任务的资源管理方法的较佳实施例，包括如下步骤：
步骤S10、资源管理系统创建资源预估表、从各服务器采集服务器资源信息，并将资源预估表以及服务器资源信息存储至存储系统；通过创建资源预估表，使得资源管理系统可以对没指定申请资源数量的任务进行资源需求数量预估，提高系统的运行效率；
步骤S20、应用端向资源管理系统申请服务器资源，若指定申请数量，则进入步骤S30；若未指定申请数量，则进入步骤S60；
步骤S30、资源管理系统登记应用端资源申请的流水信息，并依据流水信息以及存储系统中的服务器资源信息判断所申请的服务器资源数量是否超过资源管理系统中服务器资源总数，若未超过，则进入步骤S40；若超过，则返回错误信息至应用端，更新流水信息，并结束流程；
步骤S40、判断所申请的资源是否被占用，若是，则进入定时任务；若否，则申请服务器资源，并更新流水信息，进入步骤S50；
步骤S50、如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表；如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息，并结束流程；
步骤S60、资源管理系统判断该任务是否为新任务，若否，则根据存储系统中存储的资源预估表判断该任务需要的资源数量，并进入步骤S30；若是，则根据资源管理系统设定的参数计算所需资源，并进入步骤S40。
所述步骤S10中，所述资源预估表具体包括：历史任务的类型、执行历史任务所需的资源种类以及数量，资源管理系统根据机器学习预估资源预估表中相应任务的资源使用量，执行完成的任务越多，资源管理系统预估的结果越准确；
所述步骤S10中，所述服务器资源信息具体包括：大数据服务器数量、大数据服务器的CPU数量、大数据服务器的内存容量、应用服务器数量、应用服务器的CPU数量以及应用服务器的内存容量。
所述步骤S30中，所述流水信息具体包括所需服务器资源、资源状态以及任务信息；所述资源状态包括申请中、申请成功、已回收以及申请失败；所述任务信息包括任务类型、执行任务耗时以及执行是否成功；
所述步骤S30中，所述更新流水信息具体为：更新流水信息中的资源状态为申请失败。
所述步骤S40中，所述定时任务具体包括：对资源被占用等待队列进行定时扫描，用于判断申请是否超时，若超时则将该申请从队列中移除并返回错误信息至应用端；对流水信息进行定时扫描，用于扫描流水信息的资源状态并返回给应用端，避免申请成功后，应用端未及时通知资源管理系统分配资源；对资源预估表进行定时计算更新，根据流水信息定时计算更新资源预估表；通过设置定时任务，对资源管理系统的运行情况进行定时扫描，定时更新相应信息，有效的提高资源管理系统的可靠性；
所述步骤S40中，所述更新流水信息具体为：更新流水信息中的资源状态为申请中。
所述步骤S50中，所述如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表具体为：
如果申请大数据服务器以及应用服务器均成功，更新流水信息中的资源状态为申请成功，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息的资源状态为已回收、更新资源预估表；资源状态更新为已回收便于将资源分配给下一个任务。
所述步骤S50中，所述如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息具体为：如果申请大数据服务器或者应用服务器失败，则返回错误信息至应用端，更新流水信息中的资源状态为申请失败。
综上所述，本发明的优点在于：
1、通过资源管理系统对服务器资源进行管理，有效的减少了服务器资源的闲置浪费，提高了服务器资源的利用率。
2、通过资源管理系统对服务器资源进行分配调度，极大的减少了因人工干预产生的工作量，提高了服务器运行维护的效率。
3、通过创建资源预估表，使得资源管理系统可以对没指定申请资源数量的任务进行资源需求数量预估，提高系统的运行效率。
4、通过设置定时任务，对资源管理系统的运行情况进行定时扫描，定时更新相应信息，有效的提高资源管理系统的可靠性。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (5)
1.一种大数据框架处理任务的资源管理方法，其特征在于：所述方法包括如下步骤：
步骤S10、资源管理系统创建资源预估表、从各服务器采集服务器资源信息，并将资源预估表以及服务器资源信息存储至存储系统；所述资源预估表具体包括：历史任务的类型、执行历史任务所需的资源种类以及数量；
步骤S20、应用端向资源管理系统申请服务器资源，若指定申请数量，则进入步骤S30；若未指定申请数量，则进入步骤S60；
步骤S30、资源管理系统登记应用端资源申请的流水信息，并依据流水信息以及存储系统中的服务器资源信息判断所申请的服务器资源数量是否超过资源管理系统中服务器资源总数，若未超过，则进入步骤S40；若超过，则返回错误信息至应用端，更新流水信息，并结束流程；
所述流水信息具体包括所需服务器资源、资源状态以及任务信息；所述资源状态包括申请中、申请成功、已回收以及申请失败；所述任务信息包括任务类型、执行任务耗时以及执行是否成功；
步骤S40、判断所申请的资源是否被占用，若是，则进入定时任务；若否，则申请服务器资源，并更新流水信息中的资源状态为申请中，进入步骤S50；所述定时任务具体包括：对资源被占用等待队列进行定时扫描；对流水信息进行定时扫描；对资源预估表进行定时计算更新；
步骤S50、如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表；如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息，并结束流程；
步骤S60、资源管理系统判断该任务是否为新任务，若否，则根据存储系统中存储的资源预估表判断该任务需要的资源数量，并进入步骤S30；若是，则根据资源管理系统设定的参数计算所需资源，并进入步骤S40。
2.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S10中，所述服务器资源信息具体包括：大数据服务器数量、大数据服务器的CPU数量、大数据服务器的内存容量、应用服务器数量、应用服务器的CPU数量以及应用服务器的内存容量。
3.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S30中，所述更新流水信息具体为：更新流水信息中的资源状态为申请失败。
4.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S50中，所述如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表具体为：
如果申请大数据服务器以及应用服务器均成功，更新流水信息中的资源状态为申请成功，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息的资源状态为已回收、更新资源预估表。
5.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S50中，所述如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息具体为：如果申请大数据服务器或者应用服务器失败，则返回错误信息至应用端，更新流水信息中的资源状态为申请失败。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811017053.9A CN109376005B (zh) | 2018-09-03 | 2018-09-03 | 大数据框架处理任务的资源管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811017053.9A CN109376005B (zh) | 2018-09-03 | 2018-09-03 | 大数据框架处理任务的资源管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109376005A CN109376005A (zh) | 2019-02-22 |
| CN109376005B true CN109376005B (zh) | 2021-10-29 |
Family
ID=65405046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811017053.9A Active CN109376005B (zh) | 2018-09-03 | 2018-09-03 | 大数据框架处理任务的资源管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109376005B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
| CN105700948A (zh) * | 2014-11-24 | 2016-06-22 | 阿里巴巴集团控股有限公司 | 一种用于在集群中调度计算任务的方法与设备 |
| CN107018091A (zh) * | 2016-02-29 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 资源请求的调度方法和装置 |
| CA3027996A1 (en) * | 2016-12-07 | 2018-06-14 | Tata Consultancy Services Limited | Systems and methods for scheduling tasks and managing computing resource allocation for closed loop control systems |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9268613B2 (en) * | 2010-12-20 | 2016-02-23 | Microsoft Technology Licensing, Llc | Scheduling and management in a personal datacenter |
| CN103049321B (zh) * | 2012-12-27 | 2015-12-02 | 中国建设银行股份有限公司 | 智能化任务处理装置以及智能任务处理方法 |
| CN107590002A (zh) * | 2017-09-15 | 2018-01-16 | 东软集团股份有限公司 | 任务分配方法、装置、存储介质、设备及分布式任务系统 |
-
2018
- 2018-09-03 CN CN201811017053.9A patent/CN109376005B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105700948A (zh) * | 2014-11-24 | 2016-06-22 | 阿里巴巴集团控股有限公司 | 一种用于在集群中调度计算任务的方法与设备 |
| CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
| CN107018091A (zh) * | 2016-02-29 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 资源请求的调度方法和装置 |
| CA3027996A1 (en) * | 2016-12-07 | 2018-06-14 | Tata Consultancy Services Limited | Systems and methods for scheduling tasks and managing computing resource allocation for closed loop control systems |
Non-Patent Citations (1)
| Title |
|---|
| HDAS:异构集群上Hadoop+框架中的动态亲和性调度;何文婷等;《高技术通讯》;20160415;第26卷(第4期);第333-343页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109376005A (zh) | 2019-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3675434B1 (en) | Distributed system resource allocation method, device and system | |
| WO2020211579A1 (zh) | 一种基于分布式批量处理系统的处理方法、装置及系统 | |
| US20020087913A1 (en) | System and method for performing automatic rejuvenation at the optimal time based on work load history in a distributed data processing environment | |
| CN111625331A (zh) | 任务调度方法、装置、平台、服务器及存储介质 | |
| CN116483546B (zh) | 分布式训练任务调度方法、装置、设备及存储介质 | |
| CN107168777B (zh) | 分布式系统中资源的调度方法以及装置 | |
| CN114741207A (zh) | 一种基于多维度组合并行的gpu资源调度方法和系统 | |
| CN105357251A (zh) | 一种资源池的管理系统及管理方法 | |
| CN112612604B (zh) | 基于Actor模型的任务调度方法、装置 | |
| CN104281489A (zh) | Soa架构下的多线程请求方法及系统 | |
| CN110034963A (zh) | 一种应用集群自适应的弹性配置方法 | |
| US20210049240A1 (en) | Highly available policy agent for backup and restore operations | |
| CN115617497B (zh) | 线程处理方法、调度组件、监测组件、服务器和存储介质 | |
| CN109376005B (zh) | 大数据框架处理任务的资源管理方法 | |
| CN115858667A (zh) | 用于同步数据的方法、装置、设备和存储介质 | |
| CN113934525A (zh) | 一种基于正负反馈负载调度算法的Hadoop集群任务调度方法 | |
| CN119739497A (zh) | 一种基于混合式架构的分布式资源管理和调度方法 | |
| CN118069292A (zh) | 调度容器的方法、装置、电子设备和计算机程序产品 | |
| CN113722060B (zh) | 一种告警任务管理方法、装置及相关组件 | |
| CN115934322A (zh) | 用于在计算系统中执行任务的方法、装置、设备和介质 | |
| TWI723568B (zh) | 針對運算主機之叢集管理與動態調度系統及方法 | |
| CN115712572A (zh) | 任务的测试方法、装置、存储介质及电子装置 | |
| Miller | Predictive deadline multi-processing | |
| CN120276832B (zh) | 任务调度控制方法、系统及电子设备 | |
| CN119201358B (zh) | 一种容器化开发环境的资源分配方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 350000 21 / F, building 5, f District, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant after: FUJIAN SINOREGAL SOFTWARE Co.,Ltd. Address before: Floor 20-21, building 5, area F, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province 350000 Applicant before: FUJIAN SINOREGAL SOFTWARE Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |