CN111556126B - 模型管理方法、系统、计算机设备和存储介质 - Google Patents
模型管理方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111556126B CN111556126B CN202010331084.2A CN202010331084A CN111556126B CN 111556126 B CN111556126 B CN 111556126B CN 202010331084 A CN202010331084 A CN 202010331084A CN 111556126 B CN111556126 B CN 111556126B
- Authority
- CN
- China
- Prior art keywords
- node server
- model
- instruction
- sub
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title abstract description 47
- 238000000034 method Methods 0.000 claims description 43
- 238000012986 modification Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种模型管理方法、系统、计算机设备和存储介质。通过主节点服务器接收客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器,第一子节点服务器根据任务指令执行任务,并将运行结果返回主节点服务器,主节点服务器将运行结果返回所述客户端,使得模型的管理和调度更加有序,通过客户端完成对模型的操作,效率更高。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种模型管理方法、系统、计算机设备和存储介质。
背景技术
随着大数据和人工智能技术的发展,越来越多的训练模型和数据处理模型被广泛应用。这些训练和数据处理模型包括数据分析模型,智能会话机器人训练模型等。在相关技术中,创建好的模型被存储在服务器,在需要的情况下登录服务器调用模型。然而,相关技术中服务器上模型过多导致模型难以管理以及服务器资源匮乏,最终会影响到模型的运行和结果的输出。
针对相关技术中,模型管理混乱和模型调用效率低的问题,目前尚未提出有效的解决方案。
发明内容
基于此,有必要针对上述技术问题,提供一种模型管理方法、系统、计算机设备和存储介质。
根据本发明的一个方面,提供了一种模型管理方法,所述方法包括:
主节点服务器接收客户端发送的模型指令,生成任务指令并将所述任务指令发送给第一子节点服务器,其中,所述主节点服务器根据所述模型指令或者所述第一子节点服务器的状态,确定所述第一子节点服务器为所述任务指令的接收对象;
所述第一子节点服务器根据所述任务指令执行任务,并将运行结果返回所述主节点服务器;
所述主节点服务器将所述运行结果返回所述客户端。
在其中一个实施例中,所述主节点服务器接收客户端发送的模型指令,生成任务指令并将所述任务指令发送给第一子节点服务器包括:
所述主节点服务器接收所述客户端发送的模型指令;
所述主节点服务器根据所述第一子节点服务器的资源占用率、第二子节点服务器的资源占用率以及所述模型指令给所述第一子节点服务器发送任务指令,其中,所述第一子节点服务器的资源占用率小于所述第二子节点服务器的资源占用率。
在其中一个实施例中,所述主节点服务器根据所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率以及所述模型指令给所述第一子节点服务器发送任务指令包括:
所述主节点服务器获取第一时段中所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率;
在所述第一时段,所述主节点服务器所述模型指令给所述第一子节点服务器发送任务指令,其中,在所述第一时段,所述第一子节点服务器的资源占用率小于所述第二子节点服务器的资源占用率。
在其中一个实施例中,所述主节点服务器接收客户端发送的模型调用指令之前,所述方法包括:
所述主节点服务器接收所述客户端的资源显示指令,并根据所述资源显示指令获取所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率;
所述主节点服务器将所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率返回至所述客户端;
所述客户端发送所述模型指令给所述主节点服务器,所述模型指令指示所述主节点服务器将所述任务指令发送给所述第一子节点服务器。
在其中一个实施例中,所述主节点服务器接收客户端发送的模型调用指令,并根据所述模型调用指令给第一子节点服务器发送任务指令,所述第一子节点服务器根据所述任务指令调用模型包括:
所述主节点服务器接收所述客户端发送的所述模型调用指令和附加信息,所述主节点服务器根据所述模型调用指令给第一子节点服务器发送任务指令和所述附加信息;
所述第一子节点服务器根据所述任务指令和所述附加信息调用模型。
在其中一个实施例中,所述第一子节点服务器根据所述任务指令执行任务包括:
在所述主节点服务器接收客户端发送的修改指令的情况下,根据所述修改指令给第一子节点服务器发送任务修改指令,所述第一子节点服务器根据所述任务修改指令执行任务。
在其中一个实施例中,所述主节点服务器将所述运行结果返回所述客户端包括:
所述主节点服务器获取与所述客户端对应的联络对象,并将所述运行结果返回至所述联络对象。
根据本发明的另一个方面,还提供一种模型管理系统,所述系统包括主节点服务器、第一子节点服务器和客户端:
所述主节点服务器用于接收客户端发送的模型指令,并根据所述模型指令给第一子节点服务器发送任务指令,其中,所述主节点服务器根据所述模型指令或者所述第一子节点服务器的状态确定所述第一子节点服务器为所述任务指令的接收对象;
所述第一子节点服务器用于根据所述任务指令执行任务,并将运行结果返回所述主节点服务器;
所述主节点服务器还用于将所述运行结果返回所述客户端。
在其中一个实施例中,所述主节点服务器还用于根据所述第一子节点服务器的资源占用率、第二子节点服务器的资源占用率以及所述模型指令给所述第一子节点服务器发送任务指令,其中,所述第一子节点服务器的资源占用率小于所述第二子节点服务器的资源占用率。
根据本发明的另一个方面,还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述模型管理方法。
根据本发明的另一个方面,还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述模型管理方法
上述模型管理方法、系统、计算机设备和存储介质,通过主节点服务器接收客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器,第一子节点服务器根据任务指令执行任务,并将运行结果返回主节点服务器,主节点服务器将运行结果返回所述客户端,使得模型的管理和调度更加有序,通过客户端完成对模型的操作,效率更高。
附图说明
图1是根据本发明一个实施例中的模型管理方法的应用场景图;
图2是根据本发明一个实施例中模型管理方法的流程图一;
图3是根据本发明一个实施例中模型管理方法的流程图二;
图4是根据本发明一个实施例中模型管理方法的流程图三;
图5是根据本发明一个实施例中模型管理方法的流程图四;
图6是根据本发明一个实施例中模型管理系统的示意图;
图7是根据本发明一个是实施例中的模型管理计算机设备结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
图1是根据本发明一个实施例中的模型管理方法的应用场景图,本申请提供的模型管理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与主节点服务器104通过网络进行通信,主节点服务器104与第一子节点服务器106通过网络进行通信,主节点服务器104接收终端102上的客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器106,第一子节点服务器106根据任务指令执行任务,并将运行结果返回主节点服务器104,主节点服务器104将运行结果返回终端102上的客户端。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,图2是根据本发明一个实施例中模型管理方法的流程图一,如图2所示,提供了一种模型管理方法,以该方法应用于图1中的应用场景为例进行说明,包括以下步骤:
步骤S210,主节点服务器接收客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器,其中,主节点服务器根据模型指令或者第一子节点服务器的状态确定第一子节点服务器为任务指令的接收对象。其中,步骤S210中,主节点服务器负责管理与调度与主节点服务器连接的所有子节点服务器,并接收客户端的请求,将该请求转化为任务指令下发给相应的子节点服务器。主节点服务器接收客户端发送的模型指令,模型指令包括模型上传指令、模型修改指令和模型调用指令等,模型指令中可以包括模型的标识符、模型的存储路径、模型入参、操作类型以及子节点服务器的标识符等。在模型指令为模型调用指令且模型指令中包括子节点服务器的标识符的情况下,主节点服务器会将需要调用的模型的标识符、模型入参等信息作为任务指令转发给子节点服务器标识符所对应的子节点服务器。在模型指令为模型调用指令且模型指令中不包括运行服务器的标识符的情况下,由主节点服务器选择用于执行模型调用的子节点服务器,上述选择过程可以基于主节点服务器中预设的选择算法,例如,负载均衡算法中的轮询法、随机法、加权轮询法、加权随机法等随机选择子节点服务器;也可以基于各个服务器中CPU资源占用率进行选择。在主节点服务器根据上述选择算法选定第一子节点服务器为执行子节点服务器的情况下,主节点服务器将模型指令中与执行相关的信息作为任务指令发送给第一子节点服务器。例如,在模型指令为模型上传指令的情况下、主节点服务器将会存储该模型,同时选择并且将任务指令发送给多个子节点服务器,任务指令中包含该新上传的模型,接到任务指令的子节点服务器均会作为备份存储被上传的模型;在模型指令为模型修改指令的情况下,主节点服务器会将该任务指令广播给所有存储有上述被修改模型的子节点服务器。
步骤S220,第一子节点服务器根据任务指令执行任务,并将运行结果返回主节点服务器。在步骤S220中,第一子节点服务器作为被选中的子节点服务器,在接收到来自主节点服务器的任务指令的情况下,根据任务指令中的信息执行任务,例如,根据模型入参和模型标识符调用相应的模型,得到运行结果,上述模型标识符指示步骤S210的模型指令中,客户端试图调用的模型在子节点服务器中的标识符,可选地,通过调用的模型在子节点服务器中的存储路径调用相应的模型。上述模型在子节点服务器中的标识符或者模型在子节点服务器中的存储路径都存储在主节点服务器中,由主节点服务器统一管理。上述任务指令也包括信息反馈指令,例如,主节点服务器需要搜集各个子节点服务器上存储的模型或者需要搜集各个子节点服务器的运行状态,也可以通过任务指令完成搜集。
步骤S230,主节点服务器将运行结果返回客户端。在步骤S230中,主节点服务器作为主节点服务器,作为与客户端进行联络的接口,还负责将第一子节点服务器返回的运行结果发给客户端。
可选地,由于主节点服务器负责模型存储、管理和调度,为了使得系统稳定性更强,设置主节点服务器为多个,从而实现主节点服务器的冗余备份。子节点服务器的数量则可以根据应用场景中的数据处理需求量进行调节,即根据数据处理需求量控制子节点服务器的上下线。例如,在现有的子节点服务器均被占用而模型调用需求仍然在增加的情况下,新增与主节点服务器连接的子节点服务器,新增的子节点服务器与主节点服务器连接后会备份所有模型,主节点服务器将会将新的子节点服务器添加至可选子节点服务器列表中,在之后的任务分派中考虑新加入的子节点服务器。此外,在子节点服务器出现故障的情况下,在该故障子节点服务器上的当前任务结束之后,主节点服务器将该子节点服务器从可选子节点服务器列表中下线,后续选择其他子节点服务器执行模型任务,从而实现新旧子节点服务器的平滑过渡。
上述通过主节点服务器接收客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器,第一子节点服务器根据任务指令执行任务,并将运行结果返回主节点服务器,主节点服务器将运行结果返回客户端;主节点服务器作为与客户端之间的接口对模型进行管理、对模型任务进行调度,第一子节点服务器进行具体的模型调用过程,使得模型的管理和调度更加有序,通过客户端完成对模型的操作,免去了登录服务器的过程,运行结果可以直接从客户端获得,模型调用效率更高。
在一个实施例中,图3是根据本发明一个实施例中模型管理方法的流程图二,如图3所示,主节点服务器接收客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器包括:
步骤S310,主节点服务器接收客户端发送的模型指令;
步骤S320,主节点服务器根据第一子节点服务器的资源占用率、第二子节点服务器的资源占用率以及模型指令给第一子节点服务器发送任务指令,其中,第一子节点服务器的资源占用率小于第二子节点服务器的资源占用率。
在步骤S310至步骤S320中,主要针对模型调用指令,主节点服务器获取各个子节点服务器的CPU资源占用率并进行比对,获取资源占用率较小的第一子节点服务器作为执行服务器。可选地,上述资源占用率可以是实时地资源占用率,即进行任务分配的时候各个子节点服务器的实际资源占用率,也可以是根据历史数据统计分析得到的经验值。本实施例中提供的实施方式,通过子节点服务器的资源占用率选择用于执行模型调用的子节点服务器,更好地实现负载均衡,提高模型管理效率。
在一个实施例中,图4是根据本发明一个实施例中模型管理方法的流程图三,如图4所示,主节点服务器根据第一子节点服务器的资源占用率和第二子节点服务器的资源占用率以及模型指令给第一子节点服务器发送任务指令包括:
步骤S410,主节点服务器获取第一时段中第一子节点服务器的资源占用率和第二子节点服务器的资源占用率;
步骤S420,在第一时段,主节点服务器根据模型指令给第一子节点服务器发送任务指令,其中,在第一时段,第一子节点服务器的资源占用率小于第二子节点服务器的资源占用率。
在步骤S410至步骤S420中,主节点服务器获取各个子节点服务器一段时间内的资源占用率,上述时间可以是一天、一周或者一个月等,再将上述时间分为时间段,比例如将一天的资源占用率数据按小时划分为24个时间段,计算每个时段的资源占用率,从而获取各个子节点服务器在一天内各个时段的资源占用率,作为参考值存储于主节点服务器中,在主节点服务器需要分配任务的时候,根据上述资源占用率数据参考值,选择在当前时段资源占用率较小的子节点服务器并将任务指令发给该子节点服务器。本实施例中提供的实施方式,通过统计分析子节点服务器的历史资源占用率,选择执行模型调用所在时段资源占用率较低的子节点服务器,能进一步提高模型管理效率。
在一个实施例中,图5是根据本发明一个实施例中模型管理方法的流程图四,如图5所示,主节点服务器接收客户端发送的模型调用指令之前,该方法包括:
步骤S510,主节点服务器接收客户端的资源显示指令,并根据资源显示指令获取第一子节点服务器的资源占用率和第二子节点服务器的资源占用率;
步骤S520,主节点服务器将第一子节点服务器的资源占用率和第二子节点服务器的资源占用率返回至客户端;
步骤S530,客户端发送模型指令给主节点服务器,模型指令指示主节点服务器将任务指令发送给第一子节点服务器。
在步骤S510至步骤S530中,客户端向主节点服务器请求各个子节点服务器的资源占用情况,主节点服务器将各个子节点服务器的资源占用情况反馈至客户端,客户端则根据各个子节点服务器的资源占用情况选择用于模型调用的子节点服务器。上述实施例提供了通过客户端对各个子节点服务器的资源占用率进行监测并指定执行模型运行的子节点服务器的方法,使得模型的调度更加合理和高效。
在一个实施例中,主节点服务器接收客户端发送的模型调用指令,并根据模型调用指令给第一子节点服务器发送任务指令,第一子节点服务器根据任务指令调用模型包括:主节点服务器接收客户端发送的模型调用指令和附加信息,主节点服务器根据模型调用指令给第一子节点服务器发送任务指令和附加信息;第一子节点服务器根据任务指令和附加信息调用模型。在本实施例中,模型调用指令中不仅包括模型的标识符以及对模型所执行的行为,还包括附加信息例如次数和时间。主节点服务器在下发任务指令时,同样会将附加信息发送至子节点服务器。上述次数是指模型运行的次数,在很多应用环境中,模型若只运行一次,所得到的运行结果有较大的偶然性,不能很好地反映模型的真实结果,因此,可以通过在附加信息里添加运行次数,从而使得结果更加可靠。此外,还可以预设模型运行时间,一方面可以使得模型的运行更加符合测试或者应用环境中的要求,另一方面,也可以通过设置预定执行时间,将模型的调用时段设置在服务器资源占用率较低的时段,上述附加信息可以同时设置,例如,可以通过设置附加信息,使得模型A每天的一个固定时段在预设的子节点服务器上运行十次。使得服务器的资源利用率更高,提高模型调用的效率。
在一个实施例中,第一子节点服务器根据任务指令执行任务包括:在主节点服务器接收客户端发送的修改指令的情况下,根据修改指令给第一子节点服务器发送任务修改指令,第一子节点服务器根据任务修改指令执行任务。在本实施例中,还提供了对任务指令进行修改的实施方式,预设的任务指令在发送至子节点服务器后,若客户端对任务有修改、删除或者暂停等操作,则主节点服务器会根据上述操作将修改指令发送至对应的子节点服务器,不仅使得任务的设置和执行更加灵活,而且主节点服务器也可以监测到各个子节点服务器上的任务及其修改,可以更好地对子节点服务器进行管理和调度。
在一个实施例中,主节点服务器将运行结果返回客户端包括:主节点服务器获取与客户端对应的联络对象,并将运行结果返回至联络对象。上述联络的方式包括但不限于邮件、webhook等方式,而联络对象可以通过客户端进行设置,也可以是预设在主节点服务器上的联络列表。在模型任务执行过程中,若出现预设的、需要进行通知的情形,则会触发主节点服务器针对该情形进行通知,例如,在A模型调用成功后,子节点服务器将运行结果返回主节点服务器,主节点服务器则会根据A模型对应的电子邮件地址,将运行结果以邮件方式发出;若A模型在运行过程中出现模型运行超时的异常,主节点服务器也会搜集到运行异常的日志,将该日志发送至上述电子邮件地址。上述实施例可以省去登录服务器对运行结果进行查看的过程,进一步提高面模型运行的效率,更加及时地反馈了运行结果。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
根据本发明的另一个方面,图6是根据本发明一个实施例中模型管理系统的示意图,如图6所示,提供了一种模型管理系统,系统包括主节点服务器62、第一子节点服务器64和客户端66,其特征在于:
主节点服务器62用于接收客户端66发送的模型指令,并根据模型指令给第一子节点服务器64发送任务指令,其中,主节点服务器根据模型指令或者第一子节点服务器的状态确定第一子节点服务器为任务指令的接收对象;
第一子节点服务器64用于根据任务指令执行任务,并将运行结果返回主节点服务器62;
主节点服务器62还用于将运行结果返回客户端66。
在一个实施例中,系统还包括第二子节点服务器,主节点服务器62还用于根据第一子节点服务器64的资源占用率和第二子节点服务器的资源占用率以及模型指令给第一子节点服务器发送任务指令,其中,第一子节点服务器64的资源占用率小于第二子节点服务器的资源占用率。
关于模型管理系统的具体限定可以参见上文中对于模型管理方法的限定,在此不再赘述。上述模型管理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
上述模型管理系统,通过主节点服务器接收客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器,第一子节点服务器根据任务指令执行任务,并将运行结果返回主节点服务器,主节点服务器将运行结果返回客户端,使得模型的管理和调度更加有序,通过客户端完成对模型的操作,效率更高。
在一个具体的实施例中,建立一个模型管理系统,该系统分为两大部分:分别是模型后台主节点,即上述主节点服务器和模型任务子节点,即上述子节点服务器,主节点通常是一个,也可以是多个从而实现备份和冗余,子节点的数目则根据模型数量以及调用的客户端进行相应设置,在使用过程中,若子节点数目难以支撑当前的模型数量以及调用任务数量,则可以增加子节点以达到扩容的目的。
其中,模型后台主节点主要作用是管理客户端的用户、日志;管理任务子节点;与任务子节点之间的通信以及通知任务子节点调度模型任务;而模型任务子节点的主要作用是向主节点注册服务器ip和端口;以及接收主节点的调度模型通知,调度模型任务并将结果返回给主节点。任务子节点的调度器通过接收到的调度任务,执行相应的命令来调度对应的模型,并将结果返回给主节点。可选地,本方案使用GO和python进行开发,使用mysql数据库存储,模型可以用于数据处理和计算,为大数据和人工智能信息处理。本实施例包括以下步骤:
步骤S11,配置一台主节点服务器,用于配置存储规则、管理子节点和模型;
步骤S12,配置一台或者多台子节点服务器,即子节点集群用于接收主节点的模型任务调度,提供模型运行基本环境;
步骤S13,模型通过配置好的平台客户端上传到主节点服务器上,由主节点服务器统一管理模型;
步骤S14,在对应的子节点配置运行模型的定时任务,子节点系统会按配置好的规则定时定量的运行模型,如果需要测试模型可以直接通过平台运行一次模型,运行完成后会返回结果,在平台上可以直接查看、修改、更新模型。
步骤S15,模型定时任务在得到运行结果或者运行异常如模型超时的情况下,通过邮件通知或者webhook通知等功能,来通知客户端的维护人员及时收到模型运行的相关结果;
步骤S16,如果需要对模型任务进行修改,则可以通过客户端完成模型任务的删除、修改、暂停等功能;
步骤S17,主节点服务器会定时监测所有子节点服务器的资源利用情况,通过调度算法会协调任务的调度,例如发现子节点A在早上10点中资源占用率超过80%,而节点B在相同时间资源占用率在40%,主节点会将子节点A在这个时段运行的任务放到字节点B上运行。
上述具体实施例中的模型管理系统以及方法,实现了模型以及运行结果的统一管理,方便查找模型位置,通过客户端统一操作,简化工具使用提高模型管理效率;合理安排服务器资源,通过平台可以很清楚的查询到模型部署和相关服务器资源占用情况,如果当前服务器资源占用过多,平台会将模型任务分配到资源占用更低的服务器运行。
可选地,上述系统也可以为一部分没有实际的服务器资源的用户提供服务,用户只需提供模型及相关的配置通过客户端上传,系统将提供相关的资源来运行用户的模型任务,节省了用户的服务器硬件成本和服务器维护成本。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,图7是根据本发明一个是实施例中的模型管理计算机设备结构图,上述计算机设备的内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型管理系统。
上述模型管理计算机设备,通过主节点服务器接收客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器,第一子节点服务器根据任务指令执行任务,并将运行结果返回主节点服务器,主节点服务器将运行结果返回客户端,使得模型的管理和调度更加有序,通过客户端完成对模型的操作,效率更高。
根据本发明的另一个方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,上述计算机程序被处理器执行时实现上述模型管理方法。上述模型管理存储介质,通过主节点服务器接收客户端发送的模型指令,生成任务指令并将任务指令发送给第一子节点服务器,第一子节点服务器根据任务指令执行任务,并将运行结果返回主节点服务器,主节点服务器将运行结果返回客户端,使得模型的管理和调度更加有序,通过客户端完成对模型的操作,效率更高。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种模型管理方法,其特征在于,所述方法包括:
主节点服务器接收客户端发送的模型指令,生成任务指令并将所述任务指令发送给第一子节点服务器,其中,所述主节点服务器根据所述模型指令或者所述第一子节点服务器的状态,确定所述第一子节点服务器为所述任务指令的接收对象,所述模型指令包括子节点服务器标识符、模型调用指令以及附加信息,所述模型调用指令包括模型标识符以及模型执行行为,所述附加信息包括模型运行次数以及模型运行时间;
所述第一子节点服务器根据所述任务指令执行任务,并将运行结果返回所述主节点服务器;
所述主节点服务器将所述运行结果返回所述客户端。
2.根据权利要求1所述的方法,其特征在于,所述主节点服务器接收客户端发送的模型指令,生成任务指令并将所述任务指令发送给第一子节点服务器包括:
所述主节点服务器接收所述客户端发送的模型指令;
所述主节点服务器根据所述第一子节点服务器的资源占用率、第二子节点服务器的资源占用率以及所述模型指令给所述第一子节点服务器发送任务指令,其中,所述第一子节点服务器的资源占用率小于所述第二子节点服务器的资源占用率。
3.根据权利要求2所述的方法,其特征在于,所述主节点服务器根据所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率以及所述模型指令给所述第一子节点服务器发送任务指令包括:
所述主节点服务器获取第一时段中所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率;
在所述第一时段,所述主节点服务器根据所述模型指令给所述第一子节点服务器发送任务指令,其中,在所述第一时段,所述第一子节点服务器的资源占用率小于所述第二子节点服务器的资源占用率。
4.根据权利要求1所述的方法,其特征在于,所述主节点服务器接收客户端发送的模型调用指令之前,所述方法包括:
所述主节点服务器接收所述客户端的资源显示指令,并根据所述资源显示指令获取所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率;
所述主节点服务器将所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率返回至所述客户端;
所述客户端发送所述模型指令给所述主节点服务器,所述模型指令指示所述主节点服务器将所述任务指令发送给所述第一子节点服务器。
5.根据权利要求1所述的方法,其特征在于,所述主节点服务器接收客户端发送的模型调用指令,并根据所述模型调用指令给第一子节点服务器发送任务指令,所述第一子节点服务器根据所述任务指令调用模型包括:
所述主节点服务器接收所述客户端发送的所述模型调用指令和附加信息,所述主节点服务器根据所述模型调用指令给第一子节点服务器发送任务指令和所述附加信息;
所述第一子节点服务器根据所述任务指令和所述附加信息调用模型。
6.根据权利要求1所述的方法,其特征在于,所述第一子节点服务器根据所述任务指令执行任务包括:
在所述主节点服务器接收所述客户端发送的修改指令的情况下,根据所述修改指令给第一子节点服务器发送任务修改指令,所述第一子节点服务器根据所述任务修改指令执行任务。
7.根据权利要求1所述的方法,其特征在于,所述主节点服务器将所述运行结果返回所述客户端包括:
所述主节点服务器获取与所述客户端对应的联络对象,并将所述运行结果返回至所述联络对象。
8.一种模型管理系统,所述系统包括主节点服务器、第一子节点服务器和客户端,其特征在于:
所述主节点服务器用于接收客户端发送的模型指令,并根据所述模型指令给所述第一子节点服务器发送任务指令,其中,所述主节点服务器根据所述模型指令或者所述第一子节点服务器的状态,确定所述第一子节点服务器为所述任务指令的接收对象,所述模型指令包括子节点服务器标识符、模型调用指令以及附加信息,所述模型调用指令包括模型标识符以及模型执行行为,所述附加信息包括模型运行次数以及模型运行时间;
所述第一子节点服务器用于根据所述任务指令执行任务,并将运行结果返回所述主节点服务器;
所述主节点服务器还用于将所述运行结果返回所述客户端。
9.根据权利要求8所述的模型管理系统,其特征在于,所述主节点服务器还用于根据所述第一子节点服务器的资源占用率和第二子节点服务器的资源占用率以及所述模型指令给所述第一子节点服务器发送任务指令,其中,所述第一子节点服务器的资源占用率小于所述第二子节点服务器的资源占用率。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010331084.2A CN111556126B (zh) | 2020-04-24 | 2020-04-24 | 模型管理方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010331084.2A CN111556126B (zh) | 2020-04-24 | 2020-04-24 | 模型管理方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111556126A CN111556126A (zh) | 2020-08-18 |
| CN111556126B true CN111556126B (zh) | 2023-04-18 |
Family
ID=72007610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010331084.2A Active CN111556126B (zh) | 2020-04-24 | 2020-04-24 | 模型管理方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111556126B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590331A (zh) * | 2021-08-05 | 2021-11-02 | 山东派盟网络科技有限公司 | 一种任务处理方法、控制装置及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019019370A1 (zh) * | 2017-07-24 | 2019-01-31 | 平安科技(深圳)有限公司 | 一种音视频的直播处理方法、存储介质和一种移动终端 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1153326A (ja) * | 1997-07-30 | 1999-02-26 | Internatl Business Mach Corp <Ibm> | 分散処理システム、クライアントノード、サーバノードおよび分散処理方法 |
| CN102457440A (zh) * | 2012-01-13 | 2012-05-16 | 华为软件技术有限公司 | 实现负载均衡的方法、dns服务器和客户端 |
| CN106161145A (zh) * | 2016-07-25 | 2016-11-23 | 天脉聚源(北京)传媒科技有限公司 | 一种服务器系统运行状态信息的监控方法和系统 |
| CN107071074A (zh) * | 2017-06-30 | 2017-08-18 | 郑州云海信息技术有限公司 | 一种负载均衡方法及web服务器集群系统 |
| US12118009B2 (en) * | 2017-07-31 | 2024-10-15 | Splunk Inc. | Supporting query languages through distributed execution of query engines |
| CN107613030A (zh) * | 2017-11-06 | 2018-01-19 | 网宿科技股份有限公司 | 一种处理业务请求的方法和系统 |
| CN109375992A (zh) * | 2018-08-17 | 2019-02-22 | 华为技术有限公司 | 一种资源调度方法及装置 |
| CN109144731B (zh) * | 2018-08-31 | 2024-08-09 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN109471710B (zh) * | 2018-10-25 | 2021-05-25 | 网易(杭州)网络有限公司 | 任务请求的处理方法、装置、处理器、终端及服务器 |
| CN109618002B (zh) * | 2019-01-11 | 2022-07-05 | 武汉斗鱼鱼乐网络科技有限公司 | 一种微服务网关优化方法、装置及存储介质 |
| CN109819057B (zh) * | 2019-04-08 | 2020-09-11 | 科大讯飞股份有限公司 | 一种负载均衡方法及系统 |
| CN110351342A (zh) * | 2019-06-20 | 2019-10-18 | 平安科技(深圳)有限公司 | 业务指令处理方法、装置、计算机设备和存储介质 |
| CN110995802A (zh) * | 2019-11-22 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 任务的处理方法和装置、存储介质及电子装置 |
-
2020
- 2020-04-24 CN CN202010331084.2A patent/CN111556126B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019019370A1 (zh) * | 2017-07-24 | 2019-01-31 | 平安科技(深圳)有限公司 | 一种音视频的直播处理方法、存储介质和一种移动终端 |
Non-Patent Citations (1)
| Title |
|---|
| 黄橙蓝 ; 张灏龙 ; 曹健 ; .基于BOINC的仿真网格设计与实现.计算机应用与软件.2011,(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111556126A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111818159B (zh) | 数据处理节点的管理方法、装置、设备及存储介质 | |
| CN115328663B (zh) | 基于PaaS平台进行资源调度的方法、装置、设备和存储介质 | |
| CN113037794B (zh) | 计算资源配置调度方法、装置及系统 | |
| CN108632365B (zh) | 服务资源调整方法、相关装置和设备 | |
| US12423126B2 (en) | Pod deployment method and apparatus | |
| CN108960773B (zh) | 业务管理方法、计算机设备和存储介质 | |
| CN110933178B (zh) | 调整集群系统内的节点配置的方法及服务器 | |
| CN110597858A (zh) | 任务数据处理方法、装置、计算机设备和存储介质 | |
| CN111459641B (zh) | 一种跨机房的任务调度和任务处理的方法及装置 | |
| CN111880936A (zh) | 资源调度方法、装置、容器集群、计算机设备和存储介质 | |
| CN114064229A (zh) | 集群节点处理方法、系统、设备及介质 | |
| CN104168133A (zh) | 一种动态配置api访问量的方法和网关及系统 | |
| WO2022105138A1 (zh) | 去中心化的任务调度方法、装置、设备及介质 | |
| CN112612604B (zh) | 基于Actor模型的任务调度方法、装置 | |
| CN112910723A (zh) | 边缘终端管理方法、装置、设备及存储介质 | |
| CN112910937A (zh) | 容器集群中的对象调度方法、装置、服务器和容器集群 | |
| CN113672335A (zh) | 容器调度方法、装置、电子装置和存储介质 | |
| CN113918341A (zh) | 设备调度方法、装置、设备及存储介质 | |
| US12386670B2 (en) | On-demand clusters in container computing environment | |
| CN111209098A (zh) | 一种智能渲染调度方法、服务器、管理节点及存储介质 | |
| CN111556126B (zh) | 模型管理方法、系统、计算机设备和存储介质 | |
| CN118413536B (zh) | 一种基于边缘计算的资源处理方法及装置 | |
| CN117149382A (zh) | 虚拟机调度方法、装置、计算机设备和存储介质 | |
| CN114237907B (zh) | 任务调度处理方法及其装置 | |
| CN116302456B (zh) | 元宇宙计算资源调度系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |