CN111160810A - 基于工作流的高性能分布式空间分析任务调度方法及系统 - Google Patents

Abstract

本发明涉及工作流技术领域，尤其涉及一种基于工作流的高性能分布式空间分析任务调度方法及系统，其不同之处在于，其步骤包括：步骤1）、任务拆分：接收用户空间分析请求，对空间分析请求进行任务解析，得到若干个空间分析的子任务，并将所有子任务加入到该请求的任务池中；步骤2）、任务执行：得到可执行任务的所有结点列表，选取最优的结点，从任务池中选取子任务并在该结点上执行；步骤3）、任务合并：待任务池中的所有子任务执行完成后，对所有子任务进行合并。本发明将耗时计算量大的空间分析任务进行细粒度的划分，快速完成空间分析任务。

Description

基于工作流的高性能分布式空间分析任务调度方法及系统

技术领域

本发明涉及工作流技术领域，尤其涉及一种基于工作流的高性能分布式空间分析任务调度方法及系统。

背景技术

工作流技术即工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机以恰当的模型进行表示，并对其实施计算。工作流是针对工作中具有固定程序的常规活动而提出的一个概念。通过将工作活动分解成定义良好的任务、角色、规则和过程来进行执行和监控，达到提高生产组织水平和工作效率的目的。工作流技术为企业更好地实现经营目标提供了先进的手段。

工作流技术起源于20世纪70年代中期办公自动化领域的研究工作，但工作流技术在1970年代没有使办公效率得到很大提高，原因是当时在办公室使用计算机尚未被普遍接受，开发者不了解群件技术的需求与缺陷。1993年，国际工作流管理联盟（WorkflowManagement Coalition，WfMC）的成立标志着工作流技术开始进入相对成熟的阶段，并在计算机应用研究领域中被明确划分出了自己的一席之地。为了实现不同工作流产品之间的互操作，WfMC在工作流管理系统的相关术语、体系结构及应用编程接口等方面制定了一系列标准。工作流管理联盟（WfMC）将工作流定义为一类能够完全或者部分自动执行的经营过程，根据一系列过程规则，文档、信息或任务能够在不同的执行者之间传递、执行。在实际情况中可以更广泛地把凡是由计算机软件系统（工作流管理系统）控制其执行的过程都称为工作流。

现阶段的工作流通常在系统内部进行搭建，在执行空间分析任务时，由于任务无法拆分，往往耗时较多且计算量巨大，导致分析效率低下。

鉴于此，为克服上述缺陷，提供一种基于工作流的高性能分布式空间分析任务调度方法及系统成为本领域亟待解决的问题。

发明内容

本发明的目的在于克服现有技术的缺点，提供一种基于工作流的高性能分布式空间分析任务调度方法及系统，将耗时计算量大的空间分析任务进行细粒度的划分，快速完成空间分析任务。

为解决以上技术问题，本发明的技术方案为：基于工作流的高性能分布式空间分析任务调度方法，其不同之处在于，其步骤包括：

步骤1）、任务拆分：接收用户空间分析请求，对空间分析请求进行任务解析，得到若干个空间分析的子任务，并将所有子任务加入到该请求的任务池中；

步骤2）、任务执行：得到可执行任务的所有结点列表，选取最优的结点，从任务池中选取子任务并在该结点上执行；

步骤3）、任务合并：待任务池中的所有子任务执行完成后，对所有子任务进行合并。

按以上方案，所述步骤1）中，根据空间分析类型的元数据信息，对空间分析请求进行任务解析。

按以上方案，所述步骤2）中，根据当前空间分析的元数据信息，得到可执行任务的所有结点列表。

按以上方案，所述步骤2）中，对任务的执行状态进行监测，并记录结点执行任务的效率与性能，作为下次任务调度的参考依据。

按以上方案，任务监测中如果任务出现故障，记录当前任务执行失败的信息，并将失败的任务重新放入任务池，等待重新分配任务。

按以上方案，所述步骤3）中，子任务的合并也是在各个结点上执行。

基于工作流的高性能分布式空间分析任务调度系统，其不同之处在于，其包括：

任务拆分系统：对空间分析请求进行任务解析，得到若干个空间分析的子任务，并将所有子任务加入到该请求的任务池中；任务执行系统：得到可执行任务的所有结点列表，选取最优的结点，从任务池中选取子任务并在该结点上执行；

任务合并系统：待任务池中的所有子任务执行完成后，对所有子任务进行合并。

按以上方案，所述任务执行系统还包括

智能任务调度系统：对空间分析子任务进行调度时，综合考虑结点的可靠性和性能指标以及集群整体利用率，保证空间分析可靠、最快地得到分析结果；

任务执行状态监测系统：实时地监测任务执行的状态、进度和结果，避免出现某个结点无响应、网络中断的异常导致空间分析失败；

任务故障转移系统：在子任务出现故障时自动智能地对任务进行重新分配。

本发明的有益效果如下：

1）易于理解，开发简单：

本发明只需简单地实现一些接口，就可以完成一个分布式程序，分解后的子任务可以分布到不同的接口上执行，极大地简化了任务执行过程；

2）系统的扩展性良好：

本发明中结点的数目可根据所处理数据任务量的增加而增长，使系统通过将计算节点增至几百或者几千可以快速处理数据量巨大的离线数据，具有良好的扩展性；

3）具有高容错性：

对于节点故障导致失败的子任务，系统可以自动将任务安排到运行正常的节点进行，直到任务完成，故对任务整体进程影响较小。

附图说明

图1为本发明实施例的流程示意图；

图2为本发明实施例的任务拆分流程示意图；

图3为本发明实施例的任务执行流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在下文中，将参考附图来更好地理解本发明的许多方面。附图中的部件未必按照比例绘制。替代地，重点在于清楚地说明本发明的部件。此外，在附图中的若干视图中，相同的附图标记指示相对应零件。

如本文所用的词语“示例性”或“说明性”表示用作示例、例子或说明。在本文中描述为“示例性”或“说明性”的任何实施方式未必理解为相对于其它实施方式是优选的或有利的。下文所描述的所有实施方式是示例性实施方式，提供这些示例性实施方式是为了使得本领域技术人员做出和使用本公开的实施例并且预期并不限制本公开的范围，本公开的范围由权利要求限定。在其它实施方式中，详细地描述了熟知的特征和方法以便不混淆本发明。出于本文描述的目的，术语“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”和其衍生词将与如图1定向的发明有关。而且，并无意图受到前文的技术领域、背景技术、发明内容或下文的详细描述中给出的任何明示或暗示的理论限制。还应了解在附图中示出和在下文的说明书中描述的具体装置和过程是在所附权利要求中限定的发明构思的简单示例性实施例。因此，与本文所公开的实施例相关的具体尺寸和其他物理特征不应被理解为限制性的，除非权利要求书另作明确地陈述。

请参考图1至图3，本发明基于工作流的高性能分布式空间分析任务调度方法，其不同之处在于，其步骤包括：

步骤1）、任务拆分：接收用户空间分析请求，对空间分析请求进行任务解析，得到若干个空间分析的子任务，并将所有子任务加入到该请求的任务池中；

步骤2）、任务执行：得到可执行任务的所有结点列表，并根据智能任务调度系统，选取最优的结点，从任务池中选取子任务并在该结点上执行；

步骤3）、任务合并：待任务池中的所有子任务执行完成后，对所有子任务进行合并。

具体的，所述步骤1）中，根据空间分析类型的元数据信息，对空间分析请求进行任务解析。

具体的，所述步骤2）中，根据当前空间分析的元数据信息，得到可执行任务的所有结点列表。

具体的，所述步骤2）中，对任务的执行状态进行监测，并记录结点执行任务的效率与性能，作为下次任务调度的参考依据。

具体的，任务监测中如果任务出现故障，记录当前任务执行失败的信息，并将失败的任务重新放入任务池，等待重新分配任务。

如图3所示，任务执行的流程为：

步骤21）、得到当前空间分析的元数据信息；

步骤22）、得到可执行任务的所有结点列表；

步骤23）、任务调度，选取最优的结点，从任务池中选取子任务并在该结点上执行；同时对子任务的执行状态进行监测，并记录结点执行子任务的效率与性能，作为下次任务调度的参考依据；

步骤24）、监测子任务是否出现故障，未出现故障则输出子任务结果，并返回步骤23直至任务池中的子任务全部执行完成；如出现故障，则继续执行下一步骤25；

步骤25）、记录子任务执行失败的信息；

步骤26）、将执行失败的子任务重新放入任务池，并返回步骤22。

具体的，所述步骤3）中，子任务的合并也是在各个结点上执行。

具体的，任务合并的流程与任务执行的流程类同。

基于工作流的高性能分布式空间分析任务调度系统，其不同之处在于，其包括：

任务拆分系统：对空间分析请求进行任务解析，得到若干个空间分析的子任务，并将所有子任务加入到该请求的任务池中；任务执行系统：得到可执行任务的所有结点列表，选取最优的结点，从任务池中选取子任务并在该结点上执行；

任务合并系统：待任务池中的所有子任务执行完成后，对所有子任务进行合并。

具体的，所述任务执行系统还包括

智能任务调度系统：对空间分析子任务进行调度时，智能任务调度系统会综合考虑结点的可靠性和性能指标以及集群整体利用率，保证空间分析可靠、最快地得到分析结果；

任务执行状态监测系统：空间分析往往是耗时性计算任务，任务执行状态监测系统实时地监测任务执行的状态、进度和结果，避免出现某个结点无响应、网络中断的异常导致空间分析失败；

任务故障转移系统：高性能空间分析引擎是分布式引擎，子任务执行过程中结点出现故障等情况不可避免，任务故障转移系统：在子任务出现故障时自动智能地对任务进行重新分配。

本发明实施例通过设计高性能的空间分析引擎，对大任务进行拆分，并行在多个计算结点上执行，最终控制结点合并所有子任务的执行结果。高性能空间分析引擎是在IGSS集群管理器集成的分布式空间分析引擎，充分利用IGS多个结点的性能，使用IGSS空间分析任务调度器，将耗时计算量大的空间分析任务进行细粒度的划分，并行地在多个IGS结点上执行空间分析子任务，待所有任务执行完成，最终将各个子任务的结果进行合并汇总，生成空间分析的结果返回给用户。该系统集成了智能任务调度系统、任务执行状态监测系统和任务故障转移系统。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.基于工作流的高性能分布式空间分析任务调度方法，其特征在于，其步骤包括：

步骤1）、任务拆分：接收用户空间分析请求，对空间分析请求进行任务解析，得到若干个空间分析的子任务，并将所有子任务加入到该请求的任务池中；

步骤2）、任务执行：得到可执行任务的所有结点列表，选取最优的结点，从任务池中选取子任务并在该结点上执行；

步骤3）、任务合并：待任务池中的所有子任务执行完成后，对所有子任务进行合并。

2.根据权利要求1所述的基于工作流的高性能分布式空间分析任务调度方法，其特征在于：所述步骤1）中，根据空间分析类型的元数据信息，对空间分析请求进行任务解析。

3.根据权利要求1所述的基于工作流的高性能分布式空间分析任务调度方法，其特征在于：所述步骤2）中，根据当前空间分析的元数据信息，得到可执行任务的所有结点列表。

4.根据权利要求1所述的基于工作流的高性能分布式空间分析任务调度方法，其特征在于：所述步骤2）中，对任务的执行状态进行监测，并记录结点执行任务的效率与性能，作为下次任务调度的参考依据。

5.根据权利要求4所述的基于工作流的高性能分布式空间分析任务调度方法，其特征在于：任务监测中如果任务出现故障，记录当前任务执行失败的信息，并将失败的任务重新放入任务池，等待重新分配任务。

6.根据权利要求5所述的基于工作流的高性能分布式空间分析任务调度方法，其特征在于：所述步骤3）中，子任务的合并也是在各个结点上执行。

7.基于工作流的高性能分布式空间分析任务调度系统，其特征在于，其包括：

任务拆分系统：对空间分析请求进行任务解析，得到若干个空间分析的子任务，并将所有子任务加入到该请求的任务池中； 任务执行系统：得到可执行任务的所有结点列表，选取最优的结点，从任务池中选取子任务并在该结点上执行；

任务合并系统：待任务池中的所有子任务执行完成后，对所有子任务进行合并。

8.根据权利要求7所述的基于工作流的高性能分布式空间分析任务调度系统，其特征在于：所述任务执行系统还包括

智能任务调度系统：对空间分析子任务进行调度时，综合考虑结点的可靠性和性能指标以及集群整体利用率，保证空间分析可靠、最快地得到分析结果；

任务执行状态监测系统：实时地监测任务执行的状态、进度和结果，避免出现某个结点无响应、网络中断的异常导致空间分析失败；

任务故障转移系统：在子任务出现故障时自动智能地对任务进行重新分配。

Images