CN116107728A - 一种任务执行方法、装置、存储介质及电子设备 - Google Patents

Abstract

本说明书公开了一种任务执行方法、装置、存储介质及电子设备。所述任务执行方法包括：获取目标模型的模型数据，对模型数据进行解析，确定执行针对目标模型的计算任务时所涉及的指令类型以及指令对象，并基于指令类型以及指令对象，生成各计算指令，针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个目标单元，以及，生成该计算指令对应的推导指令，基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将各物理指令发送到执行各计算指令的目标单元，以执行针对目标模型的计算任务。

Description

一种任务执行方法、装置、存储介质及电子设备

技术领域

本说明书涉及计算机技术领域，尤其涉及一种任务执行方法、装置、存储介质及电子设备。

背景技术

随着科技的发展，人工智能模型的参数量也逐渐增大，对中央处理器（CentralProcessing Unit，CPU）、图形处理器（Graphic Processing Unit，GPU）等计算单元的需求也逐渐增高，随着分布式计算系统的出现，可以实现调用多个计算单元来共同执行计算任务，从而满足计算需求。

然而，目前的分布式计算系统在通过计算指令调用计算单元执行计算任务的过程中的执行效率较低，严重影响了模型的使用以及部署。

因此，如何提高计算任务的执行效率，是一个亟待解决的问题。

发明内容

本说明书提供一种任务执行方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种任务执行方法，包括：

获取目标模型的模型数据；

对所述模型数据进行解析，确定执行针对所述目标模型的计算任务时所涉及的指令类型以及指令对象，并基于所述指令类型以及所述指令对象，生成各计算指令，以及确定每个计算指令对应指令对象的分配信息；

针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个计算单元，作为目标单元，以及，生成该计算指令对应的推导指令，所述推导指令用于控制目标单元对执行该计算指令后得到的计算结果所需的内存容量进行推导；

基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将所述各物理指令发送到执行各计算指令的目标单元，以通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务。

可选地，所述方法还包括：

将各计算指令添加的预设的指令队列；

通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务，具体包括：

根据各计算指令之间的依赖关系，通过所述指令队列中各计算指令对应的目标单元执行所述指令队列中的各计算指令对应的物理指令。

可选地，根据各计算指令之间的依赖关系，通过所述指令队列中各计算指令对应的目标单元执行所述指令队列中的各计算指令对应的物理指令，具体包括：

若所述指令队列中存在至少两个计算指令之间不存在依赖关系，则通过所述至少两个计算指令对应的目标单元并行执行所述至少两个计算指令对应的物理指令。

可选地，基于所述指令类型以及所述指令对象生成各计算指令，具体包括：

确定所述指令类型对应的类型标识以及所述指令对象对应的对象标识；

针对每个计算指令，将该计算指令对应指令类型的类型标识以及该计算指令对应指令对象的对象标识与该计算指令进行绑定。

可选地，针对每个计算指令，根据该计算指令对应指令对象的分配信息，确定执行该计算指令的至少一个计算单元，作为目标单元之前，所述方法还包括：

针对每个计算指令，根据该计算指令对应指令对象所携带的并行描述符，确定该计算指令对应指令对象的分配信息；

根据所述分配信息，确定该计算指令对应的各目标单元。

可选地，根据该计算指令对应指令对象所携带的并行描述符，确定该计算指令对应指令对象的分配信息之前，所述方法还包括：

根据各计算单元对应的设备信息，确定执行该计算指令的至少一个目标单元，并基于所述至少一个目标单元确定所述并行描述符。

可选地，所述方法还包括：

将该计算指令对应的指令对象发送到该计算指令对应的各目标单元，以使所述各目标单元将接收到的指令对象存储在本地。

可选地，通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务，具体包括：

针对每个计算指令，通过执行该计算指令的目标单元，根据接收到的物理指令对本地存储的指令对象执行该计算指令对应的计算操作，并推导对目标指令对象进行计算后得到的计算结果需的内存空间，作为预估内存空间；

根据所述预估内存空间，确定存储所述计算结果的目标存储位置，并在得到所述计算结果后将所述计算结果存储在所述目标存储位置。

可选地，所述方法还包括：

获取新增计算单元类型，根据所述新增计算单元类型的类型信息，对预设的获取计算单元类型名称的接口、初始化计算单元上下文信息的接口、初始化指令状态的接口、销毁指令状态的接口、查询指令状态的接口、计算指令的接口、构建计算流描述符的接口中的至少一种功能接口进行重写。

可选地，所述方法还包括：

获取新增指令类型，对预设的计算指令的接口、推导指令的接口、获取计算单元类型名称的接口进行重写，并构建新增的指令类型的功能接口以及新增指令类型对应的计算单元的计算流类型，以及对新增的指令类型进行注册。

可选地，所述方法还包括：

对所述指令队列中各计算指令的状态进行监测，并在监测到所述指令队列中的所有计算指令均为执行完成的状态后，释放当前所述指令队列中各计算指令所占用的内存，并接收下一批计算指令。

本说明书提供了一种任务执行装置，包括：

获取模块，获取目标模型的模型数据；

生成模块，所述模型数据进行解析，确定执行针对所述目标模型的计算任务时所涉及的指令类型以及指令对象，并基于所述指令类型以及所述指令对象，生成各计算指令，以及确定每个计算指令对应指令对象的分配信息；

确定模块，针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个计算单元，作为目标单元，以及，生成该计算指令对应的推导指令，所述推导指令用于控制目标单元对执行该计算指令后得到的计算结果所需的内存容量进行推导；

执行模块，基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将所述各物理指令发送到执行各计算指令的目标单元，以通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务。

可选地，所述生成模块具体用于，确定所述指令类型对应的类型标识以及所述指令对象对应的对象标识；针对每个计算指令，将该计算指令对应指令类型的类型标识以及该计算指令对应指令对象的对象标识与该计算指令进行绑定。

可选地，所述执行模块具体用于，针对每个计算指令，通过执行该计算指令的目标单元，根据接收到的物理指令对本地存储的指令对象执行该计算指令对应的计算操作，并推导对目标指令对象进行计算后得到的计算结果需的内存空间，作为预估内存空间；根据所述预估内存空间，确定存储所述计算结果的目标存储位置，并在得到所述计算结果后将所述计算结果存储在所述目标存储位置。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任务执行方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任务执行方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：获取目标模型的模型数据，对模型数据进行解析，确定执行针对目标模型的计算任务时所涉及的指令类型以及指令对象，并基于指令类型以及指令对象，生成各计算指令，针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个目标单元，以及，生成该计算指令对应的推导指令，基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将各物理指令发送到执行各计算指令的目标单元，以执行针对目标模型的计算任务。

从上述方法可以看出，在本说明书提供的任务执行方法中，能够根据计算指令对应指令对象的分配信息，确定出执行该计算指令的目标单元，并且每一个计算指令都有其对应的推导指令，使得目标单元能够在执行物理指令的过程中推导出执行计算指令后所需的内存空间，进而通过各目标单元执行相应的物理指令，这样一来，目标单元执行物理指令时可以根据推导出的内存空间确定存储位置，并不需要在获取到计算结果后再申请内存，提高了计算任务的执行效率。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中提供的一种任务执行方法的流程示意图；

图2为本说明书中提供的一种指令的执行过程示意图；

图3为本说明书提供的一种任务执行装置的示意图；

图4为本说明书提供的一种对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中提供的一种任务执行方法的流程示意图，包括以下步骤：

S101：获取目标模型的模型数据。

S102：对所述模型数据进行解析，确定执行针对所述目标模型的计算任务时所涉及的指令类型以及指令对象，并基于所述指令类型以及所述指令对象，生成各计算指令，以及确定每个计算指令对应指令对象的分配信息。

在执行对目标模型的计算任务（如模型训练、模型推理、模型预测等）时，通常需要由模型框架（如深度学习框架）中的编译器对用户输入的目标模型的模型代码进行编译，从而得到目标模型对应的可执行代码（如计算图）。

而后可以调用相应的计算单元来执行针对上述可执行代码的计算，在对可执行代码的计算过程中，需要获取目标模型的模型数据，该模型数据可以为目标模型的可执行代码对应的消息结构体，通过对该消息结构体进行解析，从而确定执行针对该目标模型的计算任务时所涉及的指令类型以及指令对象。当然，上述模型数据也可以为目标模型的模型代码，通过对该模型代码进行解析从而确定上述指令对象。

在本说明书中，用于实现任务执行方法的执行主体可以为部署有分布式计算系统的服务器，当然，也可以为部署有分布式计算系统的终端设备，为了便于描述，本说明书仅以服务器是执行主体为例，对本说明书中提供的一种任务执行方法进行说明。

在实际应用中，计算机的计算指令通常会由运算符和操作数构成，因此，服务器可以根据上述指令类型确定计算指令对应的运算符，以表征该计算指令对应哪一种运算操作（如加操作、乘除操作等）的计算逻辑，另外，服务器可以根据上述指令对象，确定该计算指令对应的操作数，以表征执行该计算指令对应运算操作的逻辑对象。其中，上述指令对象可以包括目标模型的模型参数、算子以及其他执行该计算指令对应运算操作时所需的目标数据。

在生成计算指令的过程中，针对每个计算指令，服务器可以确定该计算指令对应计算类型的预设类型标识（如编号或ID），并将该类型标识添加到该计算指令的操作数中，从而将该类型标识与该计算指令进行绑定。

在本说明书中，服务器可以预先创建每种指令类型对应的名称，以用于在用户端中向用户进行展示。

其中，上述类型标识在计算任务的执行过程中保持全局一致并且只读，每一个计算单元上都可以设置有相应的备份。

进一步的，服务器可以确定该计算指令对应指令对象的对象标识，服务器可以将上述对象标识添加到该计算指令对应的操作数中，从而将该对象标识与该计算指令进行绑定。

在本说明书中，每个指令对象都携带有对应的并行描述符，该并行描述符用于确定指令对象的分配信息，分配信息用于描述该指令对象被分配到哪几个计算单元。其中，计算单元可以为不同类型的CPU、GPU等，当然，也可以为其他类型的计算设备，本说明书对此不做具体限定。

服务器可以根据各计算单元对应的设备信息（如计算能力，剩余内存空间等），确定出与各计算指令相匹配的至少一个计算单元作为目标单元，而后服务器可以根据各目标单元确定该计算指令对应指令对象的并行描述符。

另外，服务器还可以确定上述并行描述符对应的预设识别标识，并将该识别标识添加到与其对应的计算指令的操作数，从而将该识别标识与该计算指令进行绑定。

这样一来，服务器可以通过将计算类型的类型标识、指令对象的对象标识以及并行描述符的描述符标识与计算指令进行绑定，从而生成计算指令的指令识别编码，以根据该指令识别编码执行后续计算任务。

生成计算指令后，服务器可以将该计算指令按照执行的先后顺序添加到预设的指令队列中。

S103：针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个计算单元，作为目标单元，以及，生成该计算指令对应的推导指令，所述推导指令用于控制目标单元对执行该计算指令后得到的计算结果所需的内存容量进行推导。

在生成计算指令后，服务器可以根据该计算指令对应指令对象的并行描述符，确定该计算指令对应指令对象的分配信息，进而根据该分配信息确定执行该计算指令的至少一个计算单元作为目标单元。

与此同时，针对每个计算指令，服务器可以将该计算指令对应的指令对象的副本发送到其对应的每个目标单元中，以使各目标单元将接收到的指令对象存储在本地。

在本说明书中，每一个计算指令都对应一个推导指令，服务器可以根据各计算指令对应指令对象所携带的并行描述符，获取分配信息，进而根据该分配信息生成各计算指令在其目标单元上的推导指令。

上述推导指令用于控制各目标单元对执行计算指令对应的物理指令后得到的计算结果所需的内存容量进行推导，从而得到计算指令对应计算结果的预估内存空间。

S104：基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将所述各物理指令发送到执行各计算指令的目标单元，以通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务。

服务器可以根据每个计算指令以及各计算指令对应的推导指令，生成硬件设备能够识别并执行的多个物理指令，其中，每条物理指令只会访问其对应指令对象在目标单元本地存储的指令对象副本。

例如，服务器可以通过相应的编译器对每个计算指令及其对应的物理指令进行组合并编译，从而生成计算单元能够识别的二进制物理指令。

生成物理指令后，服务器可以按照计算指令在指令队列中的顺序调用该物理指令对应的各目标单元，而后各目标单元可以执行接收到的物理指令。

其中，服务器可以按照指令队列中各计算指令之间的依赖关系，依次调用相应的目标单元并执行各计算指令对应的物理指令，而对于不存在依赖关系的多个计算指令，服务器可以调用相应的目标单元并行执行这些计算指令对应的物理指令，例如，服务器可以根据当前内存资源的限制，同时调用三个不存在依赖关系的计算指令对应的目标单元，从而并行执行接收到的物理指令。

需要说明的是，由于物理指令是基于计算指令以及推导指令生成的，所以物理指令对应的目标单元与计算指令对应的目标单元相同。

具体的，目标单元在执行物理指令的过程中，可以在对本地存储的指令对象执行该物理指令对应的计算操作的同时，推导执行该计算操作后得到的计算结果所占用的内存空间，作为预估内存空间。需要说明的是，上述物理指令对应的计算操作等同于构建该物理指令的计算指令对应的计算操作。

其中，服务器可以根据对指令对象执行计算操作时所涉及的运算次数、指令对象的大小以及指令类型中的至少一种，对执行计算操作后所得到的计算结果占用的内存空间进行推导。

确定预估内存空间后，计算单元可以确定满足该预估内存空间的目标存储位置并申请对应的内存，从而在获取计算结果后直接将其存储在目标存储位置，避免在获取到计算结果后再对内存进行申请，极大减少了执行计算任务过程的时间。

进一步的，服务器可以将各计算单元抽象为计算流，并根据数据依赖关系将物理指令发射到相应的计算流上。其中，服务器并不完全顺序发射指令队列中的计算指令对应的物理指令，而是根据数据依赖关系进行发射。对于没有依赖关系的指令可以并行发射。

另外，服务器可以构建轮询线程，并且该轮询线程为1，服务器可以利用轮询线程轮询指令队列中每条指令的状态，以对各计算指令的状态进行监测，等待指令执行完毕时触发下游指令。

需要说明的是，轮询线程监测指令所有状态变更，指令的实际计算由工作线程负责。当计算指令对应的物理指令完成执行后，该计算指令的状态可以变更为执行完成状态。

相较于计算，指令的状态变更的开销并不大，设计单一轮询线程处理指令的状态变更反而能节省锁的开销。由于轮询线程不承担指令的实际计算任务，所以可以减少内存分配和多机之间的数据同步操作，这样能够使该单一线程的性能达到最佳。

在对指令队列中各计算指令进行监测的过程中，针对每条计算指令，当该计算指令为完成执行状态后，服务器即可执行指令队列中的下一个计算指令或与其有依赖关系的下一个计算指令，而当指令队列中的所有计算指令均为完成执行状态时，服务器即可清空指令队列，释放当前指令队列中各计算指令所占用的内存，并接收下一批计算指令，从而完成对指令队列的更新。

在本说明书中，服务器也可以通过其中部署的分布式计算系统执行计算任务，为了便于理解，本说明书提供了一种指令的执行过程示意图，如图2所示。

图2为本说明书中提供的一种指令的执行过程示意图。

其中，服务器可以通过分布式计算系统的业务逻辑层，生成计算指令以及推导指令并下发至执行层，执行层基于推导指令以及计算指令生成物理指令，并通过调度器对物理指令对应的目标单元进行调用，并将物理指令发射到目标单元的计算流上，以使目标单元执行该物理指令，在执行的过程中通过轮询线程对各计算指令的状态进行监测，直至所有计算指令均为执行完成状态，则完成计算任务。

在实际应用中，当需要的分布式计算系统中的计算单元类型进行新增时，新增计算单元类型在接入服务器中的分布式计算系统时，也会产生新增的计算流类型，因此，服务器可以获取新增计算单元类型，并根据该新增计算单元类型的类型信息，对原有的计算单元类型名称的接口、初始化设备上下文的接口、初始化指令状态的接口、销毁指令状态的接口、计算指令的接口以及构建计算流描述符的接口中的至少一种基础功能接口进行重写，从而将新增的计算单元类型接入服务器，并不需要构建新增的功能接口。

另外，当需要在服务器中添加新增的指令类型时，新增的指令类型可以集成服务器原有的基础指令类型，服务器可以重写基础指令类型的功能接口和定义部分新增的功能接口。

具体的，服务器可以对计算指令的接口、推导指令的接口、获取计算单元类型名称的接口中的至少一种进行重写，并构建新增的功能接口、执行新增指令类型对应的硬件设备的计算流类型。而后注册新增指令类型。将新增硬件计算单元类型对应的指令类型注册到服务器的分布式计算系统中。

从上述方法可以看出，本发明提供的一种分布式任务执行方法及系统能够根据计算指令对应指令对象的分配信息，确定出执行该计算指令的目标单元，并且每一个计算指令都有其对应的推导指令，使得目标单元能够在执行物理指令的过程中推导出执行计算指令后所需的内存空间，进而通过各目标单元执行相应的物理指令，这样一来，目标单元执行物理指令时可以根据推导出的内存空间确定存储位置，并不需要在获取到计算结果后再申请内存，提高了计算任务的执行效率。

并且，本方案只需要接入计算任务，不需要再考虑分布式调度的调度策略的高可用、异常故障恢复、并行配置等问题，只需要专注于业务逻辑本身即可。而且为新增计算单元提供了灵活的扩展接口，可以基于接口扩展新增硬件的计算指令，进而可以使用新增硬件执行计算任务。

以上为本说明书的一个或多个实施任务执行方法，基于同样的思路，本说明书还提供了相应的任务执行装置，如图3所示。

图3为本说明书提供的一种任务执行装置的示意图，包括：

获取模块301，用于获取目标模型的模型数据；

生成模块302，用于对所述模型数据进行解析，确定执行针对所述目标模型的计算任务时所涉及的指令类型以及指令对象，并基于所述指令类型以及所述指令对象，生成各计算指令，以及确定每个计算指令对应指令对象的分配信息；

确定模块303，用于针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个计算单元，作为目标单元，以及，生成该计算指令对应的推导指令，所述推导指令用于控制目标单元对执行该计算指令后得到的计算结果所需的内存容量进行推导；

执行模块304，用于基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将所述各物理指令发送到执行各计算指令的目标单元，以通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务。

可选地，所述生成模块302还用于，将各计算指令添加的预设的指令队列；

所述执行模块304具体用于，根据各计算指令之间的依赖关系，通过所述指令队列中各计算指令对应的目标单元执行所述指令队列中的各计算指令对应的物理指令。

可选地，所述执行模块304具体用于，若所述指令队列中存在至少两个计算指令之间不存在依赖关系，则通过所述至少两个计算指令对应的目标单元并行执行所述至少两个计算指令对应的物理指令。

可选地，所述生成模块302具体用于，确定所述指令类型对应的类型标识以及所述指令对象对应的对象标识；针对每个计算指令，将该计算指令对应指令类型的类型标识以及该计算指令对应指令对象的对象标识与该计算指令进行绑定。

可选地，根据该计算指令对应指令对象的分配信息，确定执行该计算指令的至少一个计算单元，作为目标单元之前，所述确定模块303还用于，针对每个计算指令，根据该计算指令对应指令对象所携带的并行描述符，确定该计算指令对应指令对象的分配信息；根据所述分配信息，确定该计算指令对应的各目标单元。

可选地，根据该计算指令对应指令对象所携带的并行描述符，确定该计算指令对应指令对象的分配信息之前，所述确定模块303还用于，根据各计算单元对应的设备信息，确定执行该计算指令的至少一个目标单元，并基于所述至少一个目标单元确定所述并行描述符。

可选地，所述确定模块303还用于，将该计算指令对应的指令对象发送到该计算指令对应的各目标单元，以使所述各目标单元将接收到的指令对象存储在本地。

可选地，所述执行模块304具体用于，针对每个计算指令，通过执行该计算指令的目标单元，根据接收到的物理指令对本地存储的指令对象执行该计算指令对应的计算操作，并推导对目标指令对象进行计算后得到的计算结果需的内存空间，作为预估内存空间；根据所述预估内存空间，确定存储所述计算结果的目标存储位置，并在得到所述计算结果后将所述计算结果存储在所述目标存储位置。

可选地，所述装置还包括：新增模块305，用于获取新增计算单元类型，根据所述新增计算单元类型的类型信息，对预设的获取计算单元类型名称的接口、初始化计算单元上下文信息的接口、初始化指令状态的接口、销毁指令状态的接口、查询指令状态的接口、计算指令的接口、构建计算流描述符的接口中的至少一种功能接口进行重写。

可选地，所述新增模块305具体用于，获取新增指令类型，对预设的计算指令的接口、推导指令的接口、获取计算单元类型名称的接口进行重写，并构建新增的指令类型的功能接口以及新增指令类型对应的计算单元的计算流类型，以及对新增的指令类型进行注册。

可选地，所述执行模块304具体用于，对所述指令队列中各计算指令的状态进行监测，并在监测到所述指令队列中的所有计算指令均为执行完成的状态后，释放当前所述指令队列中各计算指令所占用的内存，并接收下一批计算指令。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种任务执行方法。

本说明书还提供了图4所示的一种对应于图1的电子设备的示意结构图。如图4所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的任务执行方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (16)

1.一种任务执行方法，其特征在于，包括：

获取目标模型的模型数据；

对所述模型数据进行解析，确定执行针对所述目标模型的计算任务时所涉及的指令类型以及指令对象，并基于所述指令类型以及所述指令对象，生成各计算指令，以及确定每个计算指令对应指令对象的分配信息；

针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个计算单元，作为目标单元，以及，生成该计算指令对应的推导指令，所述推导指令用于控制目标单元对执行该计算指令后得到的计算结果所需的内存容量进行推导；

基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将所述各物理指令发送到执行各计算指令的目标单元，以通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

将各计算指令添加的预设的指令队列；

通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务，具体包括：

根据各计算指令之间的依赖关系，通过所述指令队列中各计算指令对应的目标单元执行所述指令队列中的各计算指令对应的物理指令。

3.如权利要求2所述的方法，其特征在于，根据各计算指令之间的依赖关系，通过所述指令队列中各计算指令对应的目标单元执行所述指令队列中的各计算指令对应的物理指令，具体包括：

若所述指令队列中存在至少两个计算指令之间不存在依赖关系，则通过所述至少两个计算指令对应的目标单元并行执行所述至少两个计算指令对应的物理指令。

4.如权利要求1所述的方法，其特征在于，基于所述指令类型以及所述指令对象生成各计算指令，具体包括：

确定所述指令类型对应的类型标识以及所述指令对象对应的对象标识；

针对每个计算指令，将该计算指令对应指令类型的类型标识以及该计算指令对应指令对象的对象标识与该计算指令进行绑定。

5.如权利要求1所述的方法，其特征在于，针对每个计算指令，根据该计算指令对应指令对象的分配信息，确定执行该计算指令的至少一个计算单元，作为目标单元之前，所述方法还包括：

针对每个计算指令，根据该计算指令对应指令对象所携带的并行描述符，确定该计算指令对应指令对象的分配信息；

根据所述分配信息，确定该计算指令对应的各目标单元。

6.如权利要求5所述的方法，其特征在于，根据该计算指令对应指令对象所携带的并行描述符，确定该计算指令对应指令对象的分配信息之前，所述方法还包括：

根据各计算单元对应的设备信息，确定执行该计算指令的至少一个目标单元，并基于所述至少一个目标单元确定所述并行描述符。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

将该计算指令对应的指令对象发送到该计算指令对应的各目标单元，以使所述各目标单元将接收到的指令对象存储在本地。

8.如权利要求7所述的方法，其特征在于，通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务，具体包括：

针对每个计算指令，通过执行该计算指令的目标单元，根据接收到的物理指令对本地存储的指令对象执行该计算指令对应的计算操作，并推导对目标指令对象进行计算后得到的计算结果需的内存空间，作为预估内存空间；

根据所述预估内存空间，确定存储所述计算结果的目标存储位置，并在得到所述计算结果后将所述计算结果存储在所述目标存储位置。

9.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取新增计算单元类型，根据所述新增计算单元类型的类型信息，对预设的获取计算单元类型名称的接口、初始化计算单元上下文信息的接口、初始化指令状态的接口、销毁指令状态的接口、查询指令状态的接口、计算指令的接口、构建计算流描述符的接口中的至少一种功能接口进行重写。

10.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取新增指令类型，对预设的计算指令的接口、推导指令的接口、获取计算单元类型名称的接口进行重写，并构建新增的指令类型的功能接口以及新增指令类型对应的计算单元的计算流类型，以及对新增的指令类型进行注册。

11.如权利要求2所述的方法，其特征在于，所述方法还包括：

对所述指令队列中各计算指令的状态进行监测，并在监测到所述指令队列中的所有计算指令均为执行完成的状态后，释放当前所述指令队列中各计算指令所占用的内存，并接收下一批计算指令。

12.一种任务执行装置，其特征在于，包括：

获取模块，获取目标模型的模型数据；

生成模块，所述模型数据进行解析，确定执行针对所述目标模型的计算任务时所涉及的指令类型以及指令对象，并基于所述指令类型以及所述指令对象，生成各计算指令，以及确定每个计算指令对应指令对象的分配信息；

确定模块，针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个计算单元，作为目标单元，以及，生成该计算指令对应的推导指令，所述推导指令用于控制目标单元对执行该计算指令后得到的计算结果所需的内存容量进行推导；

执行模块，基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将所述各物理指令发送到执行各计算指令的目标单元，以通过执行各计算指令的目标单元，执行针对所述目标模型的计算任务。

13.如权利要求12所述的装置，其特征在于，所述生成模块具体用于，确定所述指令类型对应的类型标识以及所述指令对象对应的对象标识；针对每个计算指令，将该计算指令对应指令类型的类型标识以及该计算指令对应指令对象的对象标识与该计算指令进行绑定。

14.如权利要求12所述的装置，其特征在于，所述执行模块具体用于，针对每个计算指令，通过执行该计算指令的目标单元，根据接收到的物理指令对本地存储的指令对象执行该计算指令对应的计算操作，并推导对目标指令对象进行计算后得到的计算结果需的内存空间，作为预估内存空间；根据所述预估内存空间，确定存储所述计算结果的目标存储位置，并在得到所述计算结果后将所述计算结果存储在所述目标存储位置。

15.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~11任一项所述的方法。

16.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~11任一项所述的方法。

Images