CN117424935A - 批量任务管理方法、装置、设备及存储介质 - Google Patents
批量任务管理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117424935A CN117424935A CN202311308877.2A CN202311308877A CN117424935A CN 117424935 A CN117424935 A CN 117424935A CN 202311308877 A CN202311308877 A CN 202311308877A CN 117424935 A CN117424935 A CN 117424935A
- Authority
- CN
- China
- Prior art keywords
- task
- service
- requirement
- tasks
- demands
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种批量任务管理方法、装置、设备及存储介质,属于数据处理技术领域。本申请通过获取来自不同的用户端的多个业务需求,并发执行多个用于响应各业务需求的任务,从而实现提升多业务需求场景中的业务需求响应效率,并在各任务处于被执行状态时,对任务的任务进程进行实时监控,并将实时监控的结果反馈至用户端,以供用户端实时确定业务需求对应的任务的执行情况,以实现响应业务需求时的实时监控效果,从而用户端可根据实时监控的结果,对响应业务需求时的任务的执行情况的分析,进而能够同时实现提高业务需求的响应效率和提高对业务需求的管理效果。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种批量任务管理方法、装置、设备及存储介质。
背景技术
随着物联网技术的发展,大多数终端设备均能接入网络中,并通过网络上传或下载数据,而为了能够管理大量的终端设备,通常会设置终端设备的管理平台。
其中,该管理平台可对终端设备的待执行的任务进行管理,其管理内容为响应终端设备对应的用户所发起的需求或请求,但是该平台中所需管理的终端设备的数量庞大,导致该平台的响应效率低,此外,该管理平台通常仅会在响应完成后,反馈最终的响应结果给到用户处,用户无法确定响应异常或响应失败的原因,导致用户无法正确地重新申请需求,从而导致用户申请需求所耗费的时间长。
即当前管理平台所能提供的服务无法满足用户的使用需求,无法提供更加良好的功能,以满足用户的需求,也无法更好的适应更加严格的应用场景的需求。
申请内容
本申请的主要目的在于提供一种批量任务管理方法、装置、设备及存储介质,旨在解决在多终端设备对应的管理平台的实际应用效果差的技术问题。
为实现上述目的,本申请提供一种批量任务管理方法,所述批量任务管理方法包括以下步骤:
获取来自不同的用户端的多个业务需求;
并发执行多个用于响应各业务需求的任务,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控;
将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况。
可选地,所述并发执行多个用于响应各业务需求的任务的步骤,包括:
对各业务需求进行分类,得到多个业务需求组,其中,所述业务需求的数量大于预设数量;
根据各业务需求组,并发执行多组用于响应所述各业务需求的任务,其中,所述任务的数量与所述各业务需求的数量相匹配。
可选地,所述对各业务需求进行分类,得到多个业务需求组的步骤,包括:
确定各业务需求中存在关联关系的关联需求,其中,所述关联需求中至少包含两个业务需求;
根据所述关联需求,将所述各业务需求进行分组,得到多个业务需求组。
可选地,所述任务包括第一任务和第二任务,所述根据各业务需求组,并发执行多组用于响应所述各业务需求的任务的步骤之前,所述方法还包括:
根据各业务需求组中的任一业务需求,创建多个用于响应对应所述各业务需求的第一任务,并确定所述第一任务的任务链,其中,所述任务链中包含各数据处理节点和所述任务对应调用的服务;
根据所述任务链所涉及的各数据处理节点和其所涉及的服务,并发创建对应所述各业务需求组内其他的业务需求的第二任务。
可选地,所述任务还包括第三任务,若所述第一任务的任务链为由所述关联需求中任一业务需求所生成得到的,所述根据所述任务链所涉及的各数据处理节点和其所涉及的服务,并发创建对应所述各业务需求组内其他的业务需求的第二任务的步骤,包括:
根据所述任务链所涉及的各数据处理节点和其所涉及的服务,创建所述关联需求中其他的业务需求的第二任务;
根据所述第一任务和所述第二任务,生成涵盖所述关联需求中全部的业务需求所组成的需求的第三任务。
可选地,所述在各任务处于被执行状态时,对所述任务的任务进程进行实时监控的步骤,包括:
在各任务处于被执行状态时,将所述任务调度至对应的服务中,并将所述服务下发至各终端设备,以供所述终端设备执行所述任务;
对所述终端设备执行所述任务时所述任务的任务进程进行实时监控。
可选地,所述对所述终端设备执行所述任务时所述任务的任务进程进行实时监控的步骤,包括:
对预设监控周期内所产生的数据进行实时分析;
所述将实时监控的结果反馈至所述用户端的步骤,包括:
根据所述预设监控周期,将每个周期内实时分析的结果实时反馈至所述用户端,以供所述用户端实时确定所述终端设备执行所述任务时所述任务的任务进程。
可选的,所述根据所述预设监控周期,将每个周期内实时分析的结果均实时反馈至所述用户端的步骤之后,所述方法还包括:
将全部批次的实时分析的结果均反馈至所述用户端后,以供所述用户端将所述全部批次的实时分析的结果进行整合,并根据整合后的结果,确定所述任务由所述终端设备时的执行结果。
可选的,所述在各任务处于被执行状态时,将所述任务调度至对应的服务中,并将所述服务下发至各终端设备的步骤之后,所述方法还包括:
对所述终端设备所配置的服务的服务进程进行监控;
若监测到所述服务进程存在异常,则确定所述服务进程存在的异常点,并将所述异常点的相关数据发送至相关人员处,以供相关人员根据所述异常点的相关数据,对所述服务进行调整和整改。
可选的,所述获取来自不同的用户端的多个业务需求的步骤之后,所述方法还包括:
确定所述业务需求对应的业务类型、业务所需服务和所述业务所需服务的服务类型;
根据所述业务类型、所述业务所需服务和所述服务类型,确定所述业务需求是否为可响应需求;
若否,则不响应所述业务需求,并反馈错误信息至所述用户端,以提示所述用户端其所申请的业务需求无法被响应。
可选的,所述将实时监控的结果反馈至所述用户端的步骤,还包括:
若所述实时监控的结果为响应失败,则提取所述业务需求相关的需求数据,以及提取所述业务需求对应的任务的任务数据;
根据所述需求数据和所述任务数据,分析所述响应失败的失败原因,并将所述失败原因反馈至所述用户端。
此外,为实现上述目的,本申请还提供一种批量任务管理装置,所述批量任务管理装置包括:
获取模块,用于获取来自不同的用户端的多个业务需求;
监控模块,用于并发执行多个用于响应各业务需求的任务,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控;
反馈模块,用于将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况。
可选的,所述监控模块,还用于对各业务需求进行分类,得到多个业务需求组,其中,所述业务需求的数量大于预设数量;根据各业务需求组,并发执行多组用于响应所述各业务需求的任务,其中,所述任务的数量与所述各业务需求的数量相匹配。
可选的,所述监控模块,还用于确定各业务需求中存在关联关系的关联需求,其中,所述关联需求中至少包含两个业务需求;根据所述关联需求,将所述各业务需求进行分组,得到多个业务需求组。
可选的,所述监控模块,还用于根据各业务需求组中的任一业务需求,创建多个用于响应对应所述各业务需求的第一任务,并确定所述第一任务的任务链,其中,所述任务链中包含各数据处理节点和所述任务对应调用的服务;根据所述任务链所涉及的各数据处理节点和其所涉及的服务,并发创建对应所述各业务需求组内其他的业务需求的第二任务。
可选的,所述监控模块,还用于根据所述任务链所涉及的各数据处理节点和其所涉及的服务,创建所述关联需求中其他的业务需求的第二任务;根据所述第一任务和所述第二任务,生成涵盖所述关联需求中全部的业务需求所组成的需求的第三任务。
可选的,所述监控模块,还用于在各任务处于被执行状态时,将所述任务调度至对应的服务中,并将所述服务下发至各终端设备,以供所述终端设备执行所述任务;对所述终端设备执行所述任务时所述任务的任务进程进行实时监控。
可选的,所述监控模块,还用于对预设监控周期内所产生的数据进行实时分析;根据所述预设监控周期,将每个周期内实时分析的结果实时反馈至所述用户端,以供所述用户端实时确定所述终端设备执行所述任务时所述任务的任务进程。
此外,为实现上述目的,本申请还提供一种批量任务管理设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的批量任务管理程序,所述批量任务管理程序配置为实现如上所述的批量任务管理方法的步骤。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有批量任务管理程序,所述批量任务管理程序被处理器执行时实现如上所述的批量任务管理方法的步骤。
本申请通过获取来自不同的用户端的多个业务需求,并发执行多个用于响应各业务需求的任务,从而实现提升多业务需求场景中的业务需求响应效率,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控,并将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况,以实现响应业务需求时的实时监控效果,从而用户端可根据实时监控的结果,对响应业务需求时的任务的执行情况的分析,尤其是在响应失败时,用户端能够根据上述分析的结果,及时修改申请的业务需求,进而能够同时实现提高业务需求的响应效率和提高对业务需求的管理效果,因而能够提高该管理平台所能提供的功能的质量,以使得该管理平台能够灵活适应于不同的应用场景中务需求的管理效果,因而能够提高该管理平台所能提供的功能的质量,以使得该管理平台能够灵活适应于不同的应用场景中。
附图说明
图1为本申请批量任务管理方法第一实施例的流程示意图;
图2为本申请实施例中批量任务管理的应用场景示意图;
图3为本申请批量任务管理方法第二实施例中的流程示意图;
图4为本申请批量任务管理方法第三实施例中的流程示意图;
图5为本申请实施例中实时监控的应用场景示意图;
图6为本申请批量任务管理装置一实施例的结构框图;
图7是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,图1为本申请批量任务管理方法第一实施例的流程示意图。
在第一实施例中,所述批量任务管理方法包括以下步骤:
S10,获取来自不同的用户端的多个业务需求;
可理解的是,基于物联网技术可实现将不同的用户的多个终端设备,在同一个管理平台中进行智能管理,例如,分配该终端设备执行相应任务,实时监测该管理平台内的终端设备的当前状态(在线状态、离线状态或监控异常状态等)。
可理解的是,用户端可理解为不同的用户所使用的该管理平台的客户端,也可将其理解为加入该管理平台的不同用户,例如,在该管理平台中包含A公司、B公司和C公司,其中,该A公司有100台终端设备,B公司有50台终端设备,C公司有200台终端设备等,该A公司、B公司和C公司可分别作为一个用户端。
可理解的是,业务需求即指的是不同的用户端所需要控制各终端设备所需执行的不同的业务或用户端预期的任务,例如,控制相应的终端设备录制相应区域内的监控数据,该监控数据包括视频信息、声音信息或图片信息等,也可为控制该终端设备将相应的监控数据进行导出、处理和上传至云平台等数据处理操作。
其中,该业务需求可由用户端自定义设置,例如,用户端可选定待控制的终端设备,以及选取该终端设备所需实现的功能,并设置相应的执行的功能的具体细节,具体的以控制终端设备A执行监控功能为例,可设定该终端设备A执行该监控功能的起始时间和终止时间,以及可设定该终端设备具体所要监控的内容,以及设定在终端设备监控到该内容时所需作出的响应动作等。
例如,以控制终端设备A执行监控功能为例,用户端可选取控制该设备A持续24小时监控,并监控办公区域内的人员动作情况,实时动态捕捉该区域内的人员的移动情况,并分析该人员的动作的具体内容,在该区域内无人员时,将其调整为低能耗状态(普通监控录制视频),在该区域内出现人员时,将其调整为高能耗状态(精准捕捉监控)等,上述均为业务需求可自定义选取的需求内容。
应理解的是,可将业务需求制定的情况理解为设定需求对应各功能的执行范围区间,即在各终端设备所能实现的功能范围内,设置相应需求参数,例如,监控时长的设定,可从每日监控时长为0-24小时内任意设定一个参数值,并将该参数值定义至相应的业务需求中。
其中,需要说明的是,在用户端发起业务需求时,管理平台中由于涉及大量的终端设备,该管理平台可实现提供多种服务功能,以响应不同的业务需求,在部分场景中,以管理平台能同时提供人脸识别服务和普通监控服务两种为例,用户端A和用户端B均提出了人脸识别的业务需求,但用户端A中的终端设备由于其硬件条件无法正确执行相应的人脸识别功能,此时,可能产生报错的情况。
因此,为了更好的对用户端所提出的业务需求进行管理和响应,在本实施例中,在管理平台获取到用户端时,需要先确定所述业务需求对应的业务类型、业务所需服务和所述业务所需服务的服务类型,并根据所述业务类型、所述业务所需服务和所述服务类型,确定所述业务需求是否为可响应需求,若否,则不响应所述业务需求,并反馈错误信息至所述用户端,以提示所述用户端其所申请的业务需求无法被响应。
其中,可理解的是,业务类型指的是业务需求的类型,具体可分为数据处理类、终端设备控制类等,例如,控制相应的终端设备执行相应的监控动作,人脸识别,24小时持续监控等,以及将终端设备内录制的数据导出,或上传至云平台等操作。
其中,可理解的是,业务所需服务即指的是为了响应该业务需求所需调取的服务,可根据该业务需求类型进行判断其所需要的服务,以及该服务的服务类型,进而可综合业务类型和业务所需服务和服务类型,判断该用户端对应所需控制的终端设备是否能够响应该业务需求,即判断该业务需求是否为可响应需求,若否,则需要反馈错误信息至用户端,提示用户端其所申请的业务需求无法被响应,该错误信息即指的是提示信息或指令信息等。
具体的,以用户端A控制其对应的终端设备执行人脸认识的监控动作时,可能分析得到业务需求需要调用相应的人脸识别算法或人脸识别的数据处理服务,而用户端A对应的终端设备由于其硬件条件无法实现此功能,因此,此时可直接判断该用户端A所发起的业务请求无法被响应。
S20,并发执行多个用于响应各业务需求的任务,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控;
可理解的是,管理平台所需要同时处理不同用户端的不同的业务需求,通常可将相应的任务以队列的方式进行依次执行,但是在业务需求的数量较大时,该执行方式则会导致业务需求的响应效率慢的情况,因此,在本实施例中,设置批量任务并发的形式,同时执行多个用于响应各业务需求的任务,并在该任务处于执行状态时,对该任务的任务进程进行实时监控。
需要说明的是,该批量任务并发的形式,仅指的是并发创建任务和并发执行任务,该任务具体的执行动作由相应的终端设备处产生,本实施例中的管理平台仅用于任务的批量并发管理,从而降低该管理平台在对多任务进程的管理的资源占用比。
S30,将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况。
可理解的是,在对任务的执行情况进行实时监控时,则需要将实时监控的结果反馈至响应的用户端,从而保证用户端能够实时确定业务需求对应的任务的执行情况。
具体的,在反馈时,可能涉及到响应该业务需求时,响应失败的情况,此时,若所述实时监控的结果为响应失败,则提取所述业务需求相关的需求数据,以及提取所述业务需求对应的任务的任务数据,根据所述需求数据和所述任务数据,分析所述响应失败的失败原因,并将所述失败原因反馈至所述用户端。
其中,可理解的是,该需求数据即业务需求相应的数据,例如,该业务需求的发起者、业务需求的具体业务(数据处理、数据传输或终端设备的控制等),以及业务具体所需的功能等,该任务数据即执行该任务时所产生的数据,例如,该任务所调用的服务,该任务所执行的进程数据等,从而可结合需求数据和任务数据,分析具体的响应该业务需求时响应失败的具体原因,例如,终端设备的硬件不支持相应的数据导出功能,或该终端设备硬件原因无法产生摄像头转动效果等。
具体的,业务需求的响应和任务执行、实时监控和实时反馈的应用场景可参照图2。
因此,将响应失败的情况的具体原因反馈至用户,可使得用户端能够明白当前业务需求的响应失败的原因,从而可精准调整业务需求,或继续使用该业务需求去调用其他的终端设备等,提高用户使用的便捷性。
本实施例通过获取来自不同的用户端的多个业务需求,并发执行多个用于响应各业务需求的任务,从而实现提升多业务需求场景中的业务需求响应效率,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控,并将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况,以实现响应业务需求时的实时监控效果,从而用户端可根据实时监控的结果,对响应业务需求时的任务的执行情况的分析,尤其是在响应失败时,用户端能够根据上述分析的结果,及时修改申请的业务需求,进而能够同时实现提高业务需求的响应效率和提高对业务需求的管理效果,因而能够提高该管理平台所能提供的功能的质量,以使得该管理平台能够灵活适应于不同的应用场景中。
如图3所示,基于第一实施例提出本申请批量任务管理方法第二实施例,本实施例中,步骤S20具体包括:
S21,对各业务需求进行分类,得到多个业务需求组,其中,所述业务需求的数量大于预设数量。
可理解的是,业务需求的数量大于预设数量,该预设数量为较大的值,例如,十万,即业务需求的数量为较为庞大的数据,在本实施例中,为了能够提高对业务需求的响应效果,采用并发的方式执行各用于响应业务需求的任务,而若直接同时响应大量的任务,同样也可能造成管理平台的瞬时资源占用比过大,导致响应失败,因此,在并发处理之前,先将各业务需求进行分类,分成多个业务需求组,以降低并发处理的数据量。
应理解的是,将业务需求分成多个业务需求组时,每个业务需求组中均为业务需求所需要的服务为相同或相似的需求,例如,用户端A需要终端设备A开始24小时持续监控,用户端B同样需要终端设备A开始24小时持续监控,此时可将用户端A和用户端B的业务需求划分为同一个组,其两者的区别在于控制不同的终端设备。
其中,对业务需求进行分类时,可主要分为两种分类方式,其中之一可为确定各业务需求的业务类型,以及确定在响应所述各业务需求时所需的服务,并根据所述业务类型和所述服务,对各业务需求进行分类,得到多个业务需求组。
可理解的是,业务类型即可将不同的业务需求进行划分,例如,用户端A的监控需求可为第一类型,用户端B的监控数据上传需求可为第二类型,从而将大量的业务需求进行分类,而实际上用户端C的监控数据需要导出也可能会被划分至第二类型(具体的,该第二类型可指对终端设备的数据处理的需求),而用户端B和用户端C的实际需求上存在差异,一个是将数据上传至云端平台,一个是将数据下载至本地,因此,在对业务需求进行分类时,通过业务类型进行分类后,还可根据业务需求所需要使用的服务,进一步地对业务需求进行划分,从而得到各业务需求的多个业务需求组。
其中,可理解的是,仅通过业务类型划分,可得到较少的业务需求组(例如为十组),在此基础上结合服务进一步划分,可得到较多的业务需求组(例如为二十组),从而保证业务需求划分时的精准性。
其中另一可为确定各业务需求中存在关联关系的关联需求,其中,所述关联需求中至少包含两个业务需求,并根据所述关联需求,将所述各业务需求进行分组,得到多个业务需求组。
可理解的是,存在关联关系的业务需求可能为同一个终端设备多需执行的多个功能,也可能为同一用户端所发起的需求,因此,可根据该关联关系对业务需求进行划分,其中,具体的划分内容主要讲同一个终端设备的多个需要执行的功能进行分析,将存在逻辑处理关系的业务需求划分为关联需求。
具体的,例如,用户端A发起业务需求A和业务需求B,该业务需求A和业务需求B均用于控制同一个终端设备,其中,该业务需求A为图像采集功能,业务需求B为图像处理功能,该业务需求B是在业务需求A的基础上执行的,因此,可将业务需求A和业务需求B整合为关联需求,即相当于将业务需求A和业务需求B进行组合,重新生成关联需求C,该关联需求C中至少包含两个业务需求。
因此,可将上述业务需求A和业务需求B和关联需求C划分为一个业务需求组单独进行处理。
S22,根据各业务需求组,并发执行多组用于响应所述各业务需求的任务,其中,所述任务的数量与所述各业务需求的数量相匹配。
可理解的是,在处理批量的业务需求时,可以并发的方式,同时对批量的任务进行响应执行,因此,在将各业务需求进行分组后,同样可对多个业务需求组进行并发处理,相当于将批量的业务需求并发,转化为多组需求并发,其中,由于同组的业务需求可能存在相同或相似的任务和服务需求,因此,在并发同组的业务需求时,可根据其中任一业务需求所调用的服务记录,直接将该服务用作整组的业务需求所需调用的服务,避免针对每一个任务均从服务所组成的资源调度池中寻找合适的服务的过程,提高任务的处理效率,从而提高管理平台的管理效果。
具体的,管理平台会根据业务需求,创建不同的任务,并将该任务调度至相应能够满足业务需求的服务中,并将该服务下发至相应的终端设备中,从而使得该终端设备能够执行该任务所配置的内容,以实现该服务对应的终端设备的响应业务需求的执行动作。
其中,在管理平台响应业务需求时,需要先根据不同的业务需求创建任务,此时,由于业务需求的数量较大,逐一识别业务需求,并发创建任务时,每一个业务需求均会进行识别和分析,并制定相应的任务创建的策略,从而实现执行任务,以响应业务需求的动作,而为了降低创建任务时管理平台的资源占用率,在创建时,可先从业务需求组中任一业务需求,创建出第一任务,并将该第一任务的任务链(包括各项处理节点,任务所需调度的服务,该任务的触发流程,该任务所需处理的数据等)作为参考,用于生成其他的业务需求对应的第二任务。
具体的流程可为根据各业务需求组中的任一业务需求,创建多个用于响应对应所述各业务需求的第一任务,并确定所述第一任务的任务链,其中,所述任务链中包含各数据处理节点和所述任务对应调用的服务,并根据所述任务链所涉及的各数据处理节点和其所涉及的服务,并发创建对应所述各业务需求组内其他的业务需求的第二任务。
其中,在业务需求组为涉及关联需求时(业务需求A、业务需求B和关联需求C这类需求组),由于关联需求较为特殊,该关联需求包括了业务需求A和业务需求B,且在该关联需求中,业务需求A和业务需求B存在一定的逻辑处理顺序,因此,可在生成由关联需求组成的业务需求组中任一业务需求的任务链时,可将关联需求中的全部的业务需求均生成相应的任务链后,再生成该关联需求对应的任务链,即相当于先生成业务需求A的第一任务,再生成业务需求B的第二任务,最终根据该第一任务和第二任务,生成关联需求对应的第三任务。
具体的流程可为根据所述任务链所涉及的各数据处理节点和其所涉及的服务,创建所述关联需求中其他的业务需求的第二任务,根据所述第一任务和所述第二任务,生成涵盖所述关联需求中全部的业务需求所组成的需求的第三任务。
本实施例通过对各业务需求进行分类,得到多个业务需求组,其中,所述业务需求的数量大于预设数量,并根据各业务需求组,并发执行多组用于响应所述各业务需求的任务,其中,所述任务的数量与所述各业务需求的数量相匹配,从而实现对大量的业务需求进行同时批量并发式管理的效果,通过将相似的业务需求进行分组,将批量并发大量数据的方式转化为批量并发多组业务需求的方式,降低并发执行处理的进程的数量,有效提高管理平台的管理效率。
如图4所示,基于第一实施例提出本申请批量任务管理方法第三实施例,本实施例中,步骤S20具体包括:
S23,在各任务处于被执行状态时,将所述任务调度至对应的服务中,并将所述服务下发至各终端设备,以供所述终端设备执行所述任务。
可理解的是,在各任务处于被执行状态时,为了对各任务的执行进度和执行情况进行管理,因此,需要对各任务进行监控和管理,其中,为了实现对各任务的执行动作和管理效果,需要根据各任务的不同的执行情况进行具体分析。
可理解的是,该终端设备指的是用户端可控制的设备,该设备可为监控设备,或其他终端处理设备,该终端设备还可为智能终端,可通过管理平台控制终端设备执行相应的操作,例如,控制设备启用监控模式,实现监控动作,拍摄或录制相应的图像,还可对拍摄到的图像进行处理和分析,例如,人脸分析,目标物体捕捉等。
具体的,各任务对应的终端设备不同,该各任务所对应选取的服务不同,因此,可在不同的终端设备上实现不同的服务功能。
例如,假设有两个终端设备,分别为设备A和设备B,该两个设备均能够实现相应的监控功能,以及数据上传至管理平台和响应管理平台下发的任务的功能,其中,可控制设备A执行将其所监控得到的数据导出的任务,可控制设备B执行将其监控得到的数据进行图像中的人脸分析的任务,为了实现上述两种任务,在管理平台创建得到任务A(对应设备A的任务)和任务B(对应设备B的任务)时,分别将任务A和任务B调度至相应的服务中,并将相应服务下发至对应的终端设备,从而使得该终端设备执行对应的任务。
其中,将任务A调度至数据导出的服务中,并将该数据导出的服务下发至设备A,将任务B调度至人脸识别的服务中,并将该人脸识别的服务下发至设备B。
S24,对所述终端设备执行所述任务时所述任务的任务进程进行实时监控。
可理解的是,为了对不同的终端设备所执行的不同任务进行精准管理,在各终端设备执行相应的任务时,对该任务的任务进程进行实时监控,具体的,可对任务执行过程中产生的数据流进行监控,通过判断其数据产生的过程,以及产生的数据是否符合其对应任务的预期内容,从而实现对任务进行实时监控,并判断其是否处于正常处理的状态,以便于及时提示相关人员,该任务的执行进程。
具体的,对预设监控周期内所产生的数据进行实时分析,通过对相应产生的数据进行实时分析,从而实现对任务执行进程的实时监控效果。
可理解的是,该预设监控周期即为分析动作的执行周期,例如,将一分钟的时间长度内任务执行过程作为一个预设监控周期,每过一分钟,对该一分钟内执行该任务所产生的数据进行实时监控和分析。
其中,需要说明的是,该监控任务的任务进程的方案仅用于监控器任务的执行情况,可判断任务执行的进度,例如,执行的任务进程为50%,以及判断任务执行的结果,是否正确执行,具体的执行动作是需要相应的终端设备基于相应的服务和任务所提供的,即该任务处理过程需要下发配置到各终端设备中,从而降低管理平台对相应任务处理或数据处理过程的压力,仅控制该管理平台用于进行任务管理,有效降低资源占用情况,从而保证任务管理过程中有充足的算力资源或其他资源使用。
此外,在对任务监控时,还需要将相应的监控内容反馈至用户端,从而保证用户端能够实时知晓该终端设备的任务执行情况,具体的,需要管理平台根据所述预设监控周期,将每个周期内实时分析的结果实时反馈至所述用户端,以供所述用户端实时确定所述终端设备执行所述任务时所述任务的任务进程。
可理解的是,每个预设监控周期内,均会产生一个实时分析的结果,为了能够保证客户端能够实时得知其分析的结果,可将每个周期内实时分析的结果均实时反馈至用户端,从而保证用户端可实时确定该终端设备执行相应任务时的任务进程。
此外,在将每个周期内实时分析的结果均反馈至用户端后,可在用户端将所述全部批次的实时分析的结果进行整合,并根据整合后的结果,确定所述任务由所述终端设备时的执行结果。
可理解的是,在对任务进行监控过程中,还可选择对相应的服务进行实时监控,例如,判断该服务是否能够正常运行,该服务是否正常提供服务功能等,具体的,可对所述终端设备所配置的服务的服务进程进行监控,同时,若监测到所述服务进程存在异常,则确定所述服务进程存在的异常点,并将所述异常点的相关数据发送至相关人员处,以供相关人员根据所述异常点的相关数据,对所述服务进行调整和整改。
其中,该在服务进程存在异常时,则可先确定该服务进程存在的异常点,例如,服务中断、服务未响应或服务出现运行错误等情况,由此,可根据该异常点,实时分析出相应的相关数据,并将该数据发送至相关人员处,从而使得相关人员可根据该异常点的相关数据,对服务进行调整和整改,例如,将该服务重置,或将该服务清楚,重新构建服务等,具体的任务和服务的实时监控的应用过程可参照图5。
本实施例通过在各任务处于被执行状态时,将所述任务调度至对应的服务中,并将所述服务下发至各终端设备,以供所述终端设备执行所述任务,对所述终端设备执行所述任务时所述任务的任务进程进行实时监控,从而实现对任务的实时监控的管理效果,有效针对任务和任务所调度的服务的进程进行实时监控,提高该管理平台对任务和服务的管理效果。
此外,本申请实施例还提出一种批量任务管理装置,参照图6,所述批量任务管理装置包括:
获取模块10,用于获取来自不同的用户端的多个业务需求;
监控模块20,用于并发执行多个用于响应各业务需求的任务,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控;
反馈模块30,用于将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况。
本实施例通过获取来自不同的用户端的多个业务需求,并发执行多个用于响应各业务需求的任务,从而实现提升多业务需求场景中的业务需求响应效率,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控,并将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况,以实现响应业务需求时的实时监控效果,从而用户端可根据实时监控的结果,对响应业务需求时的任务的执行情况的分析,尤其是在响应失败时,用户端能够根据上述分析的结果,及时修改申请的业务需求,进而能够同时实现提高业务需求的响应效率和提高对业务需求的管理效果,因而能够提高该管理平台所能提供的功能的质量,以使得该管理平台能够灵活适应于不同的应用场景中。
需要说明的是,上述装置中的各模块可用于实现上述方法中的各个步骤,同时达到相应的技术效果,本实施例在此不再赘述。
参照图7,图7为本申请实施例方案涉及的硬件运行环境的设备的结构示意图。
如图7所示,该设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图7中示出的结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图7所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及批量任务管理程序。
在图7所示的设备中,网络接口1004主要用于与外部网络进行数据通信;用户接口1003主要用于接收用户的输入指令;所述设备通过处理器1001调用存储器1005中存储的批量任务管理程序,并执行以下操作:
获取来自不同的用户端的多个业务需求;
并发执行多个用于响应各业务需求的任务,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控;
将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
对各业务需求进行分类,得到多个业务需求组,其中,所述业务需求的数量大于预设数量;
根据各业务需求组,并发执行多组用于响应所述各业务需求的任务,其中,所述任务的数量与所述各业务需求的数量相匹配。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
确定各业务需求中存在关联关系的关联需求,其中,所述关联需求中至少包含两个业务需求;
根据所述关联需求,将所述各业务需求进行分组,得到多个业务需求组。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
根据各业务需求组中的任一业务需求,创建多个用于响应对应所述各业务需求的第一任务,并确定所述第一任务的任务链,其中,所述任务链中包含各数据处理节点和所述任务对应调用的服务;
根据所述任务链所涉及的各数据处理节点和其所涉及的服务,并发创建对应所述各业务需求组内其他的业务需求的第二任务。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
根据所述任务链所涉及的各数据处理节点和其所涉及的服务,创建所述关联需求中其他的业务需求的第二任务;
根据所述第一任务和所述第二任务,生成涵盖所述关联需求中全部的业务需求所组成的需求的第三任务。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
在各任务处于被执行状态时,将所述任务调度至对应的服务中,并将所述服务下发至各终端设备,以供所述终端设备执行所述任务;
对所述终端设备执行所述任务时所述任务的任务进程进行实时监控。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
对预设监控周期内所产生的数据进行实时分析;
所述将实时监控的结果反馈至所述用户端的步骤,包括:
根据所述预设监控周期,将每个周期内实时分析的结果实时反馈至所述用户端,以供所述用户端实时确定所述终端设备执行所述任务时所述任务的任务进程。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
将全部批次的实时分析的结果均反馈至所述用户端后,以供所述用户端将所述全部批次的实时分析的结果进行整合,并根据整合后的结果,确定所述任务由所述终端设备时的执行结果。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
对所述终端设备所配置的服务的服务进程进行监控;
若监测到所述服务进程存在异常,则确定所述服务进程存在的异常点,并将所述异常点的相关数据发送至相关人员处,以供相关人员根据所述异常点的相关数据,对所述服务进行调整和整改。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
确定所述业务需求对应的业务类型、业务所需服务和所述业务所需服务的服务类型;
根据所述业务类型、所述业务所需服务和所述服务类型,确定所述业务需求是否为可响应需求;
若否,则不响应所述业务需求,并反馈错误信息至所述用户端,以提示所述用户端其所申请的业务需求无法被响应。
进一步地,处理器1001可以调用存储器1005中存储的批量任务管理程序,还执行以下操作:
若所述实时监控的结果为响应失败,则提取所述业务需求相关的需求数据,以及提取所述业务需求对应的任务的任务数据;
根据所述需求数据和所述任务数据,分析所述响应失败的失败原因,并将所述失败原因反馈至所述用户端。
本实施例通过获取来自不同的用户端的多个业务需求,并发执行多个用于响应各业务需求的任务,从而实现提升多业务需求场景中的业务需求响应效率,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控,并将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况,以实现响应业务需求时的实时监控效果,从而用户端可根据实时监控的结果,对响应业务需求时的任务的执行情况的分析,尤其是在响应失败时,用户端能够根据上述分析的结果,及时修改申请的业务需求,进而能够同时实现提高业务需求的响应效率和提高对业务需求的管理效果,因而能够提高该管理平台所能提供的功能的质量,以使得该管理平台能够灵活适应于不同的应用场景中。
此外,本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有批量任务管理程序,所述批量任务管理程序被处理器执行时实现如下操作:
获取来自不同的用户端的多个业务需求;
并发执行多个用于响应各业务需求的任务,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控;
将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况。
本实施例通过获取来自不同的用户端的多个业务需求,并发执行多个用于响应各业务需求的任务,从而实现提升多业务需求场景中的业务需求响应效率,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控,并将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况,以实现响应业务需求时的实时监控效果,从而用户端可根据实时监控的结果,对响应业务需求时的任务的执行情况的分析,尤其是在响应失败时,用户端能够根据上述分析的结果,及时修改申请的业务需求,进而能够同时实现提高业务需求的响应效率和提高对业务需求的管理效果,因而能够提高该管理平台所能提供的功能的质量,以使得该管理平台能够灵活适应于不同的应用场景中。
需要说明的是,上述计算机可读存储介质被处理器执行时还可实现上述方法中的各个步骤,同时达到相应的技术效果,本实施例在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种批量任务管理方法,其特征在于,所述批量任务管理方法包括以下步骤:
获取来自不同的用户端的多个业务需求;
并发执行多个用于响应各业务需求的任务,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控;
将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况。
2.如权利要求1所述的批量任务管理方法,其特征在于,所述并发执行多个用于响应各业务需求的任务的步骤,包括:
对各业务需求进行分类,得到多个业务需求组,其中,所述业务需求的数量大于预设数量;
根据各业务需求组,并发执行多组用于响应所述各业务需求的任务,其中,所述任务的数量与所述各业务需求的数量相匹配。
3.如权利要求2所述的批量任务管理方法,其特征在于,所述对各业务需求进行分类,得到多个业务需求组的步骤,包括:
确定各业务需求中存在关联关系的关联需求,其中,所述关联需求中至少包含两个业务需求;
根据所述关联需求,将所述各业务需求进行分组,得到多个业务需求组。
4.如权利要求3中任一项所述的批量任务管理方法,其特征在于,所述任务包括第一任务和第二任务,所述根据各业务需求组,并发执行多组用于响应所述各业务需求的任务的步骤之前,所述方法还包括:
根据各业务需求组中的任一业务需求,创建多个用于响应对应所述各业务需求的第一任务,并确定所述第一任务的任务链,其中,所述任务链中包含各数据处理节点和所述任务对应调用的服务;
根据所述任务链所涉及的各数据处理节点和其所涉及的服务,并发创建对应所述各业务需求组内其他的业务需求的第二任务。
5.如权利要求4所述的批量任务管理方法,其特征在于,所述任务还包括第三任务,若所述第一任务的任务链为由所述关联需求中任一业务需求所生成得到的,所述根据所述任务链所涉及的各数据处理节点和其所涉及的服务,并发创建对应所述各业务需求组内其他的业务需求的第二任务的步骤,包括:
根据所述任务链所涉及的各数据处理节点和其所涉及的服务,创建所述关联需求中其他的业务需求的第二任务;
根据所述第一任务和所述第二任务,生成涵盖所述关联需求中全部的业务需求所组成的需求的第三任务。
6.如权利要求1所述的批量任务管理方法,其特征在于,所述在各任务处于被执行状态时,对所述任务的任务进程进行实时监控的步骤,包括:
在各任务处于被执行状态时,将所述任务调度至对应的服务中,并将所述服务下发至各终端设备,以供所述终端设备执行所述任务;
对所述终端设备执行所述任务时所述任务的任务进程进行实时监控。
7.如权利要求6所述的批量任务管理方法,其特征在于,所述对所述终端设备执行所述任务时所述任务的任务进程进行实时监控的步骤,包括:
对预设监控周期内所产生的数据进行实时分析;
所述将实时监控的结果反馈至所述用户端的步骤,包括:
根据所述预设监控周期,将每个周期内实时分析的结果实时反馈至所述用户端,以供所述用户端实时确定所述终端设备执行所述任务时所述任务的任务进程。
8.一种批量任务管理装置,其特征在于,所述批量任务管理装置包括:
获取模块,用于获取来自不同的用户端的多个业务需求;
监控模块,用于并发执行多个用于响应各业务需求的任务,并在各任务处于被执行状态时,对所述任务的任务进程进行实时监控;
反馈模块,用于将实时监控的结果反馈至所述用户端,以供所述用户端实时确定所述业务需求对应的任务的执行情况。
9.一种批量任务管理设备,其特征在于,所述批量任务管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的批量任务管理程序,所述批量任务管理程序配置为实现如权利要求1至7中任一项所述的批量任务管理方法的步骤。
10.一种存储介质,其特征在于,存储介质上存储有实现批量任务管理方法的程序,实现批量任务管理方法的程序被处理器执行以实现如权利要求1至7中任一项所述批量任务管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311308877.2A CN117424935A (zh) | 2023-10-10 | 2023-10-10 | 批量任务管理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311308877.2A CN117424935A (zh) | 2023-10-10 | 2023-10-10 | 批量任务管理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117424935A true CN117424935A (zh) | 2024-01-19 |
Family
ID=89527553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311308877.2A Pending CN117424935A (zh) | 2023-10-10 | 2023-10-10 | 批量任务管理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117424935A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119151205A (zh) * | 2024-08-22 | 2024-12-17 | 深圳市酷开网络科技股份有限公司 | 一种业务需求的数字化处理系统及方法 |
-
2023
- 2023-10-10 CN CN202311308877.2A patent/CN117424935A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119151205A (zh) * | 2024-08-22 | 2024-12-17 | 深圳市酷开网络科技股份有限公司 | 一种业务需求的数字化处理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768008B (zh) | 联邦学习方法、装置、设备和存储介质 | |
| CN106844198B (zh) | 一种分布式调度自动化测试平台及方法 | |
| CN115562824A (zh) | 一种算力资源协同调度系统、方法、装置及存储介质 | |
| CN110740103A (zh) | 业务请求处理方法、装置、计算机设备和存储介质 | |
| US20210326184A1 (en) | Dynamically allocated cloud worker management system and method therefor | |
| CN115729683A (zh) | 任务处理方法、装置、系统、计算机设备和存储介质 | |
| CN112540837B (zh) | 业务处理组件调用方法、系统、电子设备和存储介质 | |
| CN105975351A (zh) | 一种用户行为消息上报方法和装置 | |
| CN115543624A (zh) | 异构算力编排调度方法、系统、设备及存储介质 | |
| CN114461233B (zh) | 基于云环境实现数据中心软件自动化部署的系统及方法 | |
| CN118552101A (zh) | 任务处理方法及系统 | |
| CN112685160A (zh) | 定时任务的调度方法、装置,终端设备及计算机存储介质 | |
| CN116700919A (zh) | 任务处理方法及装置、计算机可读存储介质、电子设备 | |
| CN117424935A (zh) | 批量任务管理方法、装置、设备及存储介质 | |
| CN107943579A (zh) | 资源瓶颈预测方法、设备、系统及可读存储介质 | |
| CN112667901B (zh) | 一种社交媒体数据的获取方法及系统 | |
| CN110442786A (zh) | 一种提示信息推送的方法、装置、设备及存储介质 | |
| CN112214303A (zh) | Kubernetes集群自动缩放系统 | |
| CN114936089A (zh) | 资源调度方法、系统、设备及存储介质 | |
| CN120447913A (zh) | 模型服务的资源创建方法、装置、设备及介质 | |
| US11979444B1 (en) | Mesh management for redistribution of online events | |
| CN113055126A (zh) | 一种飞行数据译码方法、装置及终端设备 | |
| KR20240081370A (ko) | 컨테이너 기반 머신 러닝 오퍼레이션 장치 및 방법 | |
| CN113238928B (zh) | 一种音视频大数据任务的端云协同评测系统 | |
| CN115640201A (zh) | 一种用于人工智能服务器的系统性能测试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |