CN118721204B - 机器人的控制方法及装置、系统和机器人 - Google Patents

Abstract

本公开公开了机器人的控制方法及装置、机器人，机器人的控制系统包括机器人和服务器，其中，机器人，包括任务规划模块和联邦学习模块，服务器包括模型构建与推理模块。本申请在服务器端将训练后的第二具身智能模型的全局模型参数，并将该全局模型参数发送至机器人的联邦学习模块，在机器人侧基于该全局模型参数训练得到训练好的第一具身智能模型后，对目标需求指令进行分析，得到目标需求指令对应的目标任务执行规划，该目标任务执行规划会根据服务用户的反馈和当前环境进行动态调整，以更好的满足用户需求，提高了用户舒适性。

Description

机器人的控制方法及装置、系统和机器人

技术领域

本公开涉及人工智能技术领域，尤其涉及一种机器人的控制方法及装置、系统和机器人。

背景技术

机器人(Robot)是一种能够半自主工作的智能机器。机器人能够通过编程和自动控制来执行诸如作业或移动等任务，可以辅助甚至替代人类完成部分的指定工作，提高工作效率与质量，服务人类生活，扩大或延伸人的活动及能力范围。

目前，通过人机交互系统对机器人进行控制，即通过听觉或者视觉对机器人的身体、头颈等进行控制，因此使得机器人的可控性过于限定，且不够灵活，导致机器人的性能和可靠性较低，无法更好的满足用户需求。

发明内容

本公开提供了一种机器人的控制方法、装置、电子设备和存储介质。其主要目的在于解决机器人的可控性过于限定，且不够灵活，导致机器人的性能和可靠性较低的问题。

根据本公开的第一方面，提供了一种机器人的控制系统，所述系统包括机器人和服务器，其中，所述机器人，包括任务规划模块和联邦学习模块，所述服务器包括模型构建与推理模块；

所述任务规划模块，用于响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，获取当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划，按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

所述联邦学习模块，用于接收所述服务器发送的所述第一具身智能模型的全局模型参数，并根据所述全局模型参数对所述第一具身智能模型及用户历史数据进行本地训练；

所述模型构建与推理模块，用于在构建所述第二具身智能模型后，将多模态训练数据输入所述第二具身智能模型进行训练，得到对应的全局模型参数，并将所述全局模型参数发送至所述联邦学习模块。

在一些实施例中，所述任务规划模块包括：目标分析单元、任务规划单元、任务执行单元、环境感知与调整单元及决策单元；

所述目标分析单元，用于响应于目标需求指令，对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务；

所述任务规划单元，用于获取所述当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；

所述决策单元，用于按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

所述任务执行单元，用于控制执行所述目标任务执行规划中的各个目标任务；

所述环境感知与调整单元，用于基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。

在一些实施例中，所述服务器包括：多模态数据融合模块及具身智能建模引擎；

所述多模态数据融合模块，用于将所述多模态训练数据进行特征提取及融合处理，得到融合后的训练数据，并将所述融合后的训练数据输入所述具身智能建模引擎；

所述具身智能建模引擎，用于构建所述第二具身智能模型，并基于所述融合后的训练数据对第二具身智能模型进行训练，得到所述训练好的第二具身智能模型对应全局模型参数，将所述全局模型参数发送至所述联邦学习模块。

根据本公开的第二方面，提供了一种机器人的控制方法，所述方法应用于第一方面中任一项所述的机器人的控制系统中的机器人，包括：

响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，其中，所述第一具身智能模型的全局模型参数由服务器配置后，并根据所述全局模型参数及用户历史数据进行本地训练得到；

获取当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；

按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

在所述目标任务执行规划执行各个目标任务过程中，基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。

在一些实施例中，所述方法还包括：

将训练好的第一具身智能模型对应的模型参数上传至服务器，以便所述服务器根据各个机器人的不同模型参数进行联邦学习，得到更新后的全局模型参数，并将所述更新后的全局模型参数下发至各个机器人。

在一些实施例中，所述基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划包括：

在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个目标任务规划执行步骤；

基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及各个目标任务的串行并行顺序，以得到所述多个任务执行规划。

在一些实施例中，所述按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划包括：

调用价值评估标准，分别对各个任务执行规划中的各个目标任务进行评估，得到评估结果；

根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作为所述目标任务执行规划。

在一些实施例中，在将训练好的第一具身智能模型对应的模型参数上传至服务器之后，所述方法还包括：

接收所述服务器发送的更新后的全局模型参数；

使用所述更新后的全局模型参数、用户历史数据、用户历史反馈信息对所述第一具身智能模型进行训练，以得到训练好的所述第一具身智能模型。

根据本公开的第三方面，提供了一种机器人的控制方法，所述方法应用于第一方面中任一项所述的机器人的控制系统中的服务器，包括：

构建第二具身智能模型；

将多模态训练数据输入所述第二具身智能模型进行训练，得到训练好的构建第二具身智能模型，所述训练好的第二具身智能模型对应全局模型参数；

将所述全局模型参数发送至机器人，以便所述机器人根据所述全局模型参数及用户历史数据对机器人中的第二具身智能模型进行本地训练。

在一些实施例中，所述将多模态训练数据输入所述构建第二具身智能模型进行训练，得到训练好的构建第二具身智能模型包括：

在所述第二具身智能模型中，将所述多模态训练数据进行特征提取及融合处理，得到融合后的训练数据；所述多模态训练数据包括摄像头训练数据、激光雷达训练数据、声音训练数据、文本训练数据、温度训练数据、气味训练数据及触觉训练数据中的至少两种；

基于所述融合后的训练数据进行跨模态推理，以得到训练好的所述第二具身智能模型。

在一些实施例中，在将多模态训练数据输入所述构建第二具身智能模型进行训练之后，所述方法还包括：

接收各个机器人分别发送的新的全局模型参数；

将多模态训练数据输入所述构建第二具身智能模型进行训练包括：

基于预设聚合算法对所有的新的全局模型参数进行聚合处理，得到聚合后的全局模型参数；

基于所述聚合后的全局模型参数对所述第二具身智能模型进行训练，得到更新后的全局模型参数，并将所述更新后的全局模型参数分别发送至所有机器人。

根据本公开的第四面，提供了一种机器人的控制装置，所述装置配置于第一方面中任一项所述的机器人的控制系统中的机器人中，包括：

分析单元，用于响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，其中，所述第一具身智能模型的全局模型参数由服务器配置后，并根据所述全局模型参数及用户历史数据进行本地训练得到；

获取单元，用于获取当前环境信息及所述目标需求指令所服务用户的状态信息；

组成单元，用于基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；

确定单元，用于按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

调整单元，用于在所述目标任务执行规划执行各个目标任务过程中，基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。

在一些实施例中，所述装置还包括：

上传单元，用于将训练好的具身智能模型对应的模型参数上传至服务器，以便所述服务器根据各个机器人的不同模型参数进行联邦学习，得到更新后的全局模型参数，并将所述更新后的全局模型参数下发至各个机器人。

在一些实施例中，所述组成单元，还用于：

在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个目标任务规划执行步骤；

基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及各个目标任务的串行并行顺序，以得到所述多个任务执行规划。

在一些实施例中，所述确定单元，还用于：

调用价值评估标准，分别对各个任务执行规划中的各个目标任务进行评估，得到评估结果；

根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作为所述目标任务执行规划。

在一些实施例中，所述装置还包括：

接收单元，用于在所述上传单元将训练好的第一具身智能模型对应的模型参数上传至服务器之后，接收所述服务器发送的更新后的全局模型参数；

训练单元，用于使用所述更新后的全局模型参数、用户历史数据、用户历史反馈信息对所述第一具身智能模型进行训练，以得到训练好的所述第一具身智能模型。

根据本公开的第五方面，提供了一种机器人的控制方法，所述方法应用于第一方面中任一项所述的机器人的控制系统中的服务器，包括：

构建单元，用于构建第二具身智能模型；

训练单元，用于将多模态训练数据输入所述第二具身智能模型进行训练，得到训练好的构建第二具身智能模型，所述训练好的第二具身智能模型对应全局模型参数；

发送单元，用于将所述全局模型参数发送至机器人，以便所述机器人根据所述全局模型参数及用户历史数据对机器人中的第一具身智能模型进行本地训练。

在一些实施例中，所述训练单元，还用于：

在所述具身智能模型中，将所述多模态训练数据进行特征提取及融合处理，得到融合后的训练数据；所述多模态训练数据包括摄像头训练数据、激光雷达训练数据、声音训练数据、文本训练数据、温度训练数据、气味训练数据及触觉训练数据中的至少两种；

基于所述融合后的训练数据进行跨模态推理，以得到训练好的所述第二具身智能模型。

在一些实施例中，所述装置还包括：

接收单元，用于在所述训练单元将多模态训练数据输入所述构建第二具身智能模型进行训练之后，接收各个机器人分别发送的新的全局模型参数；

所述训练单元，还用于基于预设聚合算法对所有的新的全局模型参数进行聚合处理，得到聚合后的全局模型参数；

基于所述聚合后的全局模型参数对所述第二具身智能模型进行训练，得到更新后的全局模型参数，并将所述更新后的全局模型参数分别发送至所有机器人。

根据本公开的第六方面，提供了一种机器人，所述机器人包括如第五方面所述的机器人的控制装置。

根据本公开的第七方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第二方面或第三方面所述的方法。

根据本公开的第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第二方面或第三方面所述的方法。

根据本公开的第九方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述第二方面或第三方面所述的方法。

本公开提供的机器人的控制方法及装置、系统和机器人，机器人的控制系统包括机器人和服务器，其中，所述机器人，包括任务规划模块和联邦学习模块，所述服务器包括模型构建与推理模块；所述任务规划模块，用于响应于目标需求指令，调用训练好的第二具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，获取当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划，按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；所述联邦学习模块，用于接收所述服务器发送的所述第一具身智能模型的全局模型参数，并根据所述全局模型参数对所述第一具身智能模型及用户历史数据进行本地训练；所述模型构建与推理模块，用于在构建第二具身智能模型后，将多模态训练数据输入所述第二具身智能模型进行训练，得到对应的全局模型参数，并将所述全局模型参数发送至所述联邦学习模块。本申请在服务器端将训练后的第二具身智能模型的全局模型参数，并将该全局模型参数发送至机器人的联邦学习模块，在机器人侧基于该全局模型参数训练得到训练好的第一具身智能模型后，对目标需求指令进行分析，得到目标需求指令对应的目标任务执行规划，该目标任务执行规划会根据服务用户的反馈和当前环境进行动态调整，以更好的满足用户需求，提高了用户舒适性。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例所提供的一种机器人的控制系统的结构示意图；

图2为本公开实施例所提供的另一种机器人的控制系统的结构示意图；

图3为本公开实施例所提供的一种机器人的控制方法的流程示意图；

图4为本公开实施例所提供的另一种机器人的控制方法的流程示意图；

图5为本公开实施例所提供的一种机器人的控制装置的结构示意图；

图6为本公开实施例所提供的另一种机器人的控制装置的结构示意图；

图7为本公开实施例所提供的另一种机器人的控制装置的结构示意图；

图8为本公开实施例所提供的另一种机器人的控制装置的结构示意图；

图9为本公开实施例提供的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的机器人的控制方法、装置、机器人。

图1为本公开实施例所提供的一种机器人的控制系统的结构示意图。

如图1所示，所述系统包括机器人1和服务器2，其中，所述机器人1，包括任务规划模块11和联邦学习模块12；

所述任务规划模块11，用于响应于目标需求指令，调用训练好的具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，获取当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划，按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划。

任务规划模块11用于理解用户的目标需求，并决策目标需求所对应的目标任务执行规划。例如，当用户通过语音发起目标需求指令，如用户的洗澡需求，机器人接收该目标需求指令，解析目标需求指令，得到对应的所述多个目标任务，洗澡需求对应的多个目标任务包含但不限于：移动用户到淋浴椅或浴缸、调节水温、调节浴室温度、涂抹沐浴露、洗头、洗身体、擦干、将用户移出淋浴椅或浴缸等目标任务。

在一些实施例中，当目标需求指令为炒菜时，机器人接收该目标需求指令，解析目标需求指令，得到对应的所述多个目标任务，炒菜需求对应的多个目标任务包含但不限于：移动到冰箱、取菜、洗菜、切菜、检查燃气并启动、开火、炒菜、调料、装盘等目标任务。

将目标需求指令解析为多个目标任务的过程可以通过调用训练好的第一具身智能模型执行，该第一具身智能模型具备一定的学习能力，通过学习可以得到目标需求指令与多个目标任务之间的对应关系。以上为用户洗澡、炒菜只是为了便于理解给出的示例性说明，应当明确的是，该种说明方式并非意在限定目标需求指令仅能为为用户洗澡或炒菜，目标需求指令存在差异的情况下，对应的目标任务也存在差异，本申请实施例对目标任务同样也不予限定。

在确定目标任务后，任务规划模块11还需要根据用户的实际需求、当前环境、用户的状态信息，确定各个目标任务组成的多个任务执行规划，按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划。

示例性的，假设，任务执行规划包括任务执行规划1和任务执行规划2，任务执行规划1：移动用户到淋浴椅-调节水温-调节浴室温度-洗头-洗身体-擦干-将用户移出浴室；任务执行规划2：移动用户到淋浴椅-调节水温-调节浴室温度-洗头-涂抹洗发水-洗身体-涂抹沐浴露-擦干-将用户移出浴室。

按照用户预设的优先级顺序从上述两个任务执行规划之中选择一个作为目标任务执行规划，假设，当用户设置不使用沐浴露时，则最终确定的目标任务执行规划为任务执行规划1。

需要说明的是，本申请实施例所述的目标任务执行规划在确定后并非是一成不变的，其在执行过程中，需求实时监测当前的环境温度和用户的反馈信息对目标任务执行规划进行动态调整，例如，当机器人监测到浴室内的雾气太大，或者存在缺氧状况时，机器人会在目标任务执行规划中增加开启浴室的换气功能；或者，当用户反馈水温太低后，目标任务执行规划过程中，会增加调高水温的任务等等。以上示例仅为便于理解给出的说明，并非意在限定具体的应用场景和调整范围。

所述联邦学习模块12，用于接收所述服务器发送的所述第一具身智能模型的全局模型参数，并根据所述全局模型参数对所述第一具身智能模型及用户历史数据进行本地训练；

在一些实施例中，联邦学习模块12位于机器人1中，但是实际应用中联邦学习模块12也可以位于服务器2中，因为服务器2和机器人1中的均存在有具身智能模型，本申请实施例虽然采用第一、第二的撰写形式，但是其本质均为具身智能模型，不同点在于服务器中的第二具身智能模型是一个全局具身智能模型，而机器人中的第一具身智能模型为机器人中根据用户的需求定制的一个具身智能模型。

所述服务器2包括模型构建与推理模块21，用于在构建所述第二具身智能模型后，将多模态训练数据输入所述第二具身智能模型进行训练，得到对应的全局模型参数，并将所述全局模型参数发送至所述联邦学习模块。本申请实施例所述的多模态包含但不限于文本数据、温度数据、气味数据及触觉数据、声音数据、图像数据等等。

在一些实施例中，请继续参阅图2，本申请实施例所述的所述任务规划模块11包括：目标分析单元111、任务规划单元112、任务执行单元113、环境感知与调整单元114及决策单元115；

所述目标分析单元111，用于响应于目标需求指令，对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务；目标分析单元111理解用户的高级目标，即识别用户通过任一种方式触发的目标需求指令，如通过语音、手势、动作、关键词或预先设定的任务计划等方式，触发目标需求指令。并将目标需求拆分为多个目标任务，该拆分分析的过程可以通过预设的对应关系进行确定，也可以通过学习训练的结果确定，具体的本申请实施例不予限定。

所述任务规划单元112，用于获取所述当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；任务规划单元112需要确定目标分析单元111分析得到的目标任务的执行顺序(任务执行规划)。除了执行顺序外，还会规划不同的目标任务的并行或串行执行路径或步骤等。

所述决策单元115，用于按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；在一些实施例中，决策单元115根据价值函数，评估不同任务执行规划中各个目标任务执行顺序的优劣，该优劣通过价值函数的评估分数决定，评估分数越高，被选中作为目标任务执行规划的概率越大，在本申请实施例中，将评估分数最高的任务执行规划确定为目标任务执行规划。

需要说明的是，价值函数的评估分数综合考虑用户优先级顺序及目标需求，如舒适度、安全性、任务完成时间等因素，做出最优决策。

所述任务执行单元113，用于控制执行所述目标任务执行规划中的各个目标任务；控制机器人执行各个目标任务，或者，由机器人去控制其他设备执行目标任务，具体的，本申请实施例对目标任务的执行过程不做限定。

所述环境感知与调整单元114，用于基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。在执行目标任务执行规划中各个目标任务的过程中，系统需要不断感知环境的变化，并根据用户的实时反馈进行动态调整，以更符合用户的实际需求。

请继续参阅图2，所述服务器2包括：多模态数据融合模块22及具身智能建模引擎23；

所述多模态数据融合模块22，用于将所述多模态训练数据进行特征提取及融合处理，得到融合后的训练数据，并将所述融合后的训练数据输入所述具身智能建模引擎；

将不同传感器获得的特征向量进行融合。例如，从图像中提取的视觉特征和从语音中提取的音频特征可以通过拼接、加权平均或其他方式进行融合。

融合具体包括：

1.数据预处理

单模态预处理：对每个模态的数据进行单独预处理，如图像的去噪、归一化，文本的清洗、分词，音频的降噪、特征提取等。

同步与对齐：如果多个模态的数据有时间或空间上的对应关系(如视频中的图像与音频)，需要进行同步和对齐处理。

2.特征提取

单模态特征提取：从每个模态中提取特征，这些特征应能较好地表示原始数据。

特征选择/降维(可选)：如果特征维度过高，可能需要进行特征选择或降维以减少计算量并提高模型效率。

3.多模态融合策略

早期融合：在特征提取后立即将不同模态的特征进行拼接或融合，然后输入到统一的具身智能模型(第二具身智能模型)中处理。这种方法适用于模态间关系紧密且难以区分的情况。

中期融合：在具身智能模型的中间层进行融合，允许具身智能模型在部分学习各模态的特定信息后再进行交互。

晚期融合：每个模态单独训练模型，然后在决策层进行融合，如通过加权投票、平均、或更复杂的融合算法。这种方法灵活性高，但可能忽略模态间的交互信息。

所述具身智能建模引擎23，用于构建所述第二具身智能模型，并基于所述融合后的训练数据对第二具身智能模型进行训练，得到所述训练好的第二具身智能模型对应全局模型参数，将所述全局模型参数发送至所述联邦学习模块。

本申请实施例所述的具身智能建模引擎是一个综合性的系统，用于将多模态数据融合、推理、规划和执行相互关联的任务。以下是具身智能建模引擎的主要分系统：

2.1数据收集子系统

这个子系统负责从各种源(如传感器、数据库、网络等)收集多模态数据。

2.11视觉感知

负责从摄像头、激光雷达等传感器中获取图像、点云等视觉信息。

特别的，在用于为实现用户洗澡的目标需求时，视觉传感器应包含红外传感器、双目摄像头、ToF传感器、激光雷达、毫米波雷达和结构光传感器等类型。

基于所述视觉传感器，构建用户三维人体模型。

基于用户三维人体模型，遵循机械臂运行原则规划洗澡机械臂的运动轨迹。

机械臂运行原则应包含：

以用户三维人体模型为基础，延体表法线方向向外，一定距离为机械臂悬浮距离，构建机械臂悬浮运行三维模型。

机械臂悬浮距离可以由用户设置，或者根据环境信息设置，例如水温，所用的沐浴液等。

机械臂喷头应延机械臂悬浮运行三维模型运行，或者在延机械臂悬浮运行三维模型之外运行。

机械臂喷头应必须经过机械臂悬浮运行三维模型上的特定位置点，这些点可以由用户设定，也可以默认设定，例如额头，腋下，裆部等。

2.12声音感知

负责从麦克风等传感器中获取音频信息。

2.13其他感知

可能还包括其他传感器，如触觉、温度、气味等。数据预处理子系统：这个子系统负责清理、标准化和转换原始数据，以便于后续的分析和建模。

2.2特征提取与融合子系统

这个子系统负责将来自不同源的数据融合在一起，以提供一个统一的视图。涉及到数据对齐、数据同步和数据融合等技术。

2.21知识库

存储关于物体、环境、任务和规则的知识。可以报考但不限于图谱、本体、数据库等，使用本体技术，将物体的属性、关系和功能进行形式化表示。

2.22跨模态知识融合

将来自不同模态的知识整合到一个统一的知识表示中，将来自不同传感器的数据进行融合，形成综合的环境感知。

2.3模型构建子系统

这个子系统负责使用融合后的数据来创建和更新具身智能模型。采用但不限于采用机器学习、深度学习和强化学习等技术。

2.31自然语言理解

将文本信息转化为机器可理解的形式。

2.32跨模态推理

基于知识库和感知数据，进行推理，例如理解物体的属性、关系和功能。

2.33物理仿真

使用物理仿真环境，让机器人在虚拟世界中进行实验和学习。通过物理仿真，机器人可以模拟不同物体的运动和互动，从而获得对物理世界的直观理解。

本申请实施例还提供了一种机器人的控制方法，所述方法应用于机器人的控制系统中的机器人，如图3所示，所述方法包括：

步骤101，响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，其中，所述第一具身智能模型的全局模型参数由服务器配置后，并根据所述全局模型参数及用户历史数据进行本地训练得到；

本实施例以用户洗澡的目标需求指令为例进行说明，但是应当明确的是，该种说明方式并非意在限定机器人的目标需求仅能为用户洗澡。

有关目标需求指令与目标任务之间的对应关系可参阅图1的详细说明，本申请实施例在此不再进行一一赘述。

步骤102，获取当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；

基于环境信息和用户状态，为每个目标任务规划详细的执行路径和步骤，利用感知到的环境动态，实时调整目标任务的执行策略。此外，协调目标任务之间的并行和串行关系，确保整体洗澡流程的顺畅进行。

在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个目标任务规划执行步骤，该处所述的当前环境信息可以通过但不限于通过上述实施例2.1数据收集子系统中采集到的多模态数据确定。

步骤103，按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个目标任务规划执行步骤；基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及各个目标任务的串行并行顺序，以得到所述多个任务执行规划。

将目标需求指令解析为多个目标任务的过程可以通过调用训练好的第一具身智能模型执行，该第一具身智能模型具备一定的学习能力，通过学习可以得到目标需求指令与多个目标任务之间的对应关系。

步骤104，在所述目标任务执行规划执行各个目标任务过程中，基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。

在一些实施例中，调用价值评估标准，分别对各个任务执行规划中的各个目标任务进行评估，得到评估结果，根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作为所述目标任务执行规划。

根据价值函数或价值评估标准，评估不同决策(任务执行规划)和目标任务执行顺序的优劣，具体实施过程中，需要综合考虑用户的舒适度、安全性、任务完成时间等因素，做出最优决策，将评估分数最高的任务执行规划确定为目标任务执行规划。

在目标任务执行规划执行过程中，持续评估决策效果，并根据用户反馈进行调整。

本申请在服务器端将训练后的第二具身智能模型的全局模型参数，并将该全局模型参数发送至机器人的联邦学习模块，在机器人侧基于该全局模型参数训练得到训练好的第一具身智能模型后，对目标需求指令进行分析，得到目标需求指令对应的目标任务执行规划，该目标任务执行规划会根据服务用户的反馈和当前环境进行动态调整，以更好的满足用户需求，提高了用户舒适性。

在一些实施例中，所述方法还包括：将训练好的第一具身智能模型对应的模型参数上传至服务器，以便所述服务器根据各个机器人的不同模型参数进行联邦学习，得到更新后的全局模型参数，并将所述更新后的全局模型参数下发至各个机器人。各个智能化沐浴机器人在本地使用自身的数据(如历史洗澡数据、用户反馈等)进行第一具身智能模型训练。该训练过程在机器人本地进行，确保数据隐私性。

训练完成后，机器人将第一具身智能模型的全局模型参数更新(如权重更新)以加密形式发送回服务器。

在一些实施例中，在将训练好的第一具身智能模型对应的模型参数上传至服务器之后，所述方法还包括：接收所述服务器发送的更新后的全局模型参数；，使用所述更新后的全局模型参数、用户历史数据、用户历史反馈信息对所述第一具身智能模型进行训练，以得到训练好的所述第一具身智能模型。

各个机器人将本地训练的第一具身智能模型对应的模型参数更新上传到服务器，服务器收集所有参与方的更新。使用聚合算法(如加权平均)整合这些更新后的模型参数，更新全局模型参数。一些实施例中，聚合过程旨在结合所有参与者(机器人)的贡献，同时保护他们的数据隐私。

服务器将更新后的全局模型参数再次发送给各个机器人，智能化沐浴机器人继续在本地使用新的全局模型参数进行训练，并上传新的更新。整个过程不断迭代进行，直到全局模型(第二具身智能模型)收敛或达到预设的性能指标。

本申请实施例还提供了一种机器人的控制方法，所述方法应用于机器人的控制系统中的服务器，如图4所示，包括：

步骤201，构建第二具身智能模型；

实时收集来自多模态数据融合子系统的融合数据，对数据进行清洗、转换和加载，以便进行后续的分析和建模，利用机器学习、深度学习等技术构建，如用户的行为模型、环境模型等。

在此过程中，具身智能建模引擎会结合联邦学习模块提供的第二具身智能模型的全局模型参数，以提高模型的准确性和泛化能力，基于融合后的数据，进行跨模态推理和预测，指导洗澡任务的执行。

步骤202，将多模态训练数据输入所述第二具身智能模型进行训练，得到训练好的构建第二具身智能模型，所述训练好的第二具身智能模型对应全局模型参数；

第二具身智能模型的训练过程，可以参阅上述相关说明，本申请实施例不再赘述。

步骤203，将所述全局模型参数发送至机器人，以便所述机器人根据所述全局模型参数及用户历史数据对机器人中的第一具身智能模型进行本地训练。

本申请在服务器端将训练后的第二具身智能模型的全局模型参数，并将该全局模型参数发送至机器人的联邦学习模块，在机器人侧基于该全局模型参数训练得到训练好的第一具身智能模型后，对目标需求指令进行分析，得到目标需求指令对应的目标任务执行规划，该目标任务执行规划会根据服务用户的反馈和当前环境进行动态调整，以更好的满足用户需求，提高了用户舒适性。

在一些实施例中，所述将多模态训练数据输入所述构建第二具身智能模型进行训练，得到训练好的构建第二具身智能模型包括：

在所述第二具身智能模型中，将所述多模态训练数据进行特征提取及融合处理，得到融合后的训练数据；所述多模态训练数据包括摄像头训练数据、激光雷达训练数据、声音训练数据、文本训练数据、温度训练数据、气味训练数据及触觉训练数据中的至少两种；

多模态训练数据的来源通过上述实施例2.1数据收集子系统得到，或者多模态训练数据的格式和内容与2.1数据收集子系统中的多模态数据相同的训练数据。

基于所述融合后的训练数据进行跨模态推理，以得到训练好的所述第二具身智能模型。

在一些实施例中，在将多模态训练数据输入所述构建第二具身智能模型进行训练之后，所述方法还包括：

接收各个机器人分别发送的新的全局模型参数；

将多模态训练数据输入所述构建第二具身智能模型进行训练包括：

基于预设聚合算法对所有的新的全局模型参数进行聚合处理，得到聚合后的全局模型参数；

基于所述聚合后的全局模型参数对所述第二具身智能模型进行训练，得到更新后的全局模型参数，并将所述更新后的全局模型参数分别发送至所有机器人。

洗澡任务完成后，系统向用户反馈任务完成情况和洗澡过程中的重要信息，如水温、洗澡时长等，同时，系统还会自动检测并确认用户的安全状态，确保洗澡过程没有发生任何意外。

从机器层面讲，系统会向用户发送满意度调查问卷或请求用户直接提供反馈，以收集对洗澡服务的评价和建议，这些反馈数据对于改进洗澡服务的质量和满足用户需求至关重要。系统对收集到的用户反馈数据进行整理和分析，识别出服务中的优点和不足，分析结果将用于指导后续服务的改进和优化，提高用户的满意度和体验。

结合用户反馈和洗澡任务的实际执行情况，对具身智能模型和联邦学习模块的全局模型进行优化，通过调整模型参数、改进模型结构或引入新的算法和技术，提高模型的准确性和泛化能力，优化后的模型将用于后续洗澡任务的执行和决策支持。

根据用户反馈和洗澡任务的实际执行效果，对智能化沐浴机器人的硬件和软件系统进行优化，可能的优化方向包括提高传感器的精度和稳定性、优化任务执行流程、改进人机交互界面等，系统优化将提高机器人的性能和可靠性，进一步提升用户体验。

需要说明的是，机器人将不断收集新的数据并进行学习和训练，以适应不同用户的洗澡需求和环境变化，通过持续学习，机器人将不断提高自己的智能化水平和适应能力，定期发布系统更新和升级，以修复潜在的安全漏洞、提高系统性能和稳定性，更新和升级将包括新的功能、算法和界面设计，以满足用户不断变化的需求和期望。

与上述的机器人的控制方法相对应，本发明还提出一种机器人的控制装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。

图5为本公开实施例提供的一种机器人的控制装置的结构示意图，如图5所示，所述装置配置于机器人的控制系统中的机器人中，包括：

分析单元31，用于响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，其中，所述第一具身智能模型的全局模型参数由服务器配置后，并根据所述全局模型参数及用户历史数据进行本地训练得到；

获取单元32，用于获取当前环境信息及所述目标需求指令所服务用户的状态信息；

组成单元33，用于基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；

确定单元34，用于按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

调整单元35，用于在所述目标任务执行规划执行各个目标任务过程中，基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。

本申请在服务器端将训练后的第二具身智能模型的全局模型参数，并将该全局模型参数发送至机器人的联邦学习模块，在机器人侧基于该全局模型参数训练得到训练好的第一具身智能模型后，对目标需求指令进行分析，得到目标需求指令对应的目标任务执行规划，该目标任务执行规划会根据服务用户的反馈和当前环境进行动态调整，以更好的满足用户需求，提高了用户舒适性。

进一步地，在本公开实施例一种可能的实现方式中，如图6所示，所述装置还包括：

上传单元36，用于将训练好的第一具身智能模型对应的模型参数上传至服务器，以便所述服务器根据各个机器人的不同模型参数进行联邦学习，得到更新后的全局模型参数，并将所述更新后的全局模型参数下发至各个机器人。

进一步地，在本公开实施例一种可能的实现方式中，如图6所示，所述组成单元33，还用于：

基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及各个目标任务的串行并行顺序，以得到所述多个任务执行规划。

进一步地，在本公开实施例一种可能的实现方式中，如图6所示，所述确定单元34，还用于：

调用价值评估标准，分别对各个任务执行规划中的各个目标任务进行评估，得到评估结果；

根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作为所述目标任务执行规划。

进一步地，在本公开实施例一种可能的实现方式中，如图6所示，所述装置还包括：

接收单元37，用于在所述上传单元36将训练好的第一具身智能模型对应的模型参数上传至服务器之后，接收所述服务器发送的更新后的全局模型参数；

训练单元38，用于使用所述更新后的全局模型参数、用户历史数据、用户历史反馈信息对所述第一具身智能模型进行训练，以得到训练好的所述第一具身智能模型。

本申请实施例还提供了一种机器人的控制装置，所述装置应用于机器人的控制系统中的服务器，如图7所示，包括：

构建单元41，用于构建第二具身智能模型；

训练单元42，用于将多模态训练数据输入所述第二具身智能模型进行训练，得到训练好的构建第二具身智能模型，所述训练好的第二具身智能模型对应全局模型参数；

发送单元43，用于将所述全局模型参数发送至机器人，以便所述机器人根据所述全局模型参数及用户历史数据对机器人中的第一具身智能模型进行本地训练。

本申请在服务器端将训练后的第二具身智能模型的全局模型参数，并将该全局模型参数发送至机器人的联邦学习模块，在机器人侧基于该全局模型参数训练得到训练好的第一具身智能模型后，对目标需求指令进行分析，得到目标需求指令对应的目标任务执行规划，该目标任务执行规划会根据服务用户的反馈和当前环境进行动态调整，以更好的满足用户需求，提高了用户舒适性。

进一步地，在本公开实施例一种可能的实现方式中，如图8所示，所述训练单元42，还用于：

在所述第二具身智能模型中，将所述多模态训练数据进行特征提取及融合处理，得到融合后的训练数据；所述多模态训练数据包括摄像头训练数据、激光雷达训练数据、声音训练数据、文本训练数据、温度训练数据、气味训练数据及触觉训练数据中的至少两种；

基于所述融合后的训练数据进行跨模态推理，以得到训练好的所述第二具身智能模型。

进一步地，在本公开实施例一种可能的实现方式中，如图8所示，所述装置还包括：

接收单元44，用于在所述训练单元将多模态训练数据输入所述构建第二具身智能模型进行训练之后，接收各个机器人分别发送的新的全局模型参数；

所述训练单元42，还用于基于预设聚合算法对所有的新的全局模型参数进行聚合处理，得到聚合后的全局模型参数；

基于所述聚合后的全局模型参数对所述第二具身智能模型进行训练，得到更新后的全局模型参数，并将所述更新后的全局模型参数分别发送至所有机器人。

本申请实施例还提供了一种机器人，所述机器人包括如图6或图7所示的机器人的控制装置。

需要说明的是，前述对方法实施例的解释说明，也适用于本公开实施例的装置，原理相同，本公开实施例中不再限定。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备500包括计算单元501，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)502中的计算机程序或者从存储单元508加载到RAM(Random AccessMemory，随机访问/存取存储器)503中的计算机程序，来执行各种适当的动作和处理。在RAM503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。I/O(Input/Output，输入/输出)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Art ificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(DigitalSignal Processor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如机器人的控制方法。例如，在一些实施例中，机器人的控制方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前述机器人的控制方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Appl ication-Specific Integrated Circuit，专用集成电路)、ASSP(Appl icat ion SpecificStandard Product，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(Complex Programmable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Di sc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Di splay，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种机器人的控制系统，其特征在于，所述系统包括机器人和服务器，其中，所述机器人，包括任务规划模块和联邦学习模块，所述服务器包括模型构建与推理模块；

所述任务规划模块，用于响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的多个目标任务，获取当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划，按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

所述联邦学习模块，用于接收所述服务器发送的所述第一具身智能模型的全局模型参数，并根据所述全局模型参数对所述第一具身智能模型及用户历史数据进行本地训练；

所述模型构建与推理模块，用于在构建第二具身智能模型后，将多模态训练数据输入所述第二具身智能模型进行训练，得到对应的全局模型参数，并将所述全局模型参数发送至所述联邦学习模块；所述多模态训练数据包括摄像头训练数据、激光雷达训练数据、声音训练数据、文本训练数据、温度训练数据、气味训练数据及触觉训练数据中的至少两种；

所述任务规划模块包括：目标分析单元、任务规划单元、任务执行单元、环境感知与调整单元及决策单元；

所述目标分析单元，用于响应于目标需求指令，对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务；

所述任务规划单元，用于获取所述当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；

所述决策单元，用于按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

所述任务执行单元，用于控制执行所述目标任务执行规划中的各个目标任务；

所述环境感知与调整单元，用于基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。

2.根据权利要求1所述的系统，其特征在于，所述服务器包括：多模态数据融合模块及具身智能建模引擎；

所述多模态数据融合模块，用于将所述多模态训练数据进行特征提取及融合处理，得到融合后的训练数据，并将所述融合后的训练数据输入所述具身智能建模引擎；

所述具身智能建模引擎，用于构建所述具身智能模型，并基于所述融合后的训练数据对第二具身智能模型进行训练，得到所述训练好的第二具身智能模型对应全局模型参数，将所述全局模型参数发送至所述联邦学习模块。

3.一种机器人的控制方法，其特征在于，所述方法应用于权利要求1-2中任一项所述的机器人的控制系统中的机器人，包括：

响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，其中，所述第一具身智能模型的全局模型参数由服务器配置后，并根据所述全局模型参数及用户历史数据进行本地训练得到；

获取当前环境信息及所述目标需求指令所服务用户的状态信息，并基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；

按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

在所述目标任务执行规划执行各个目标任务过程中，基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将训练好的第一具身智能模型对应的模型参数上传至服务器，以便所述服务器根据各个机器人的不同模型参数进行联邦学习，得到更新后的全局模型参数，并将所述更新后的全局模型参数下发至各个机器人。

5.根据权利要求3所述的方法，其特征在于，所述基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划包括：

在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个目标任务规划执行步骤；

基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及各个目标任务的串行并行顺序，以得到所述多个任务执行规划。

6.根据权利要求3所述的方法，其特征在于，所述按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划包括：

调用价值评估标准，分别对各个任务执行规划中的各个目标任务进行评估，得到评估结果；

根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作为所述目标任务执行规划。

7.根据权利要求4所述的方法，其特征在于，在将训练好的第一具身智能模型对应的模型参数上传至服务器之后，所述方法还包括：

接收所述服务器发送的更新后的全局模型参数；

使用所述更新后的全局模型参数、用户历史数据、用户历史反馈信息对所述第一具身智能模型进行训练，以得到训练好的所述第一具身智能模型。

8.一种机器人的控制方法，其特征在于，所述方法应用于权利要求1-2中任一项所述的机器人的控制系统中的服务器，包括：

构建第二具身智能模型；

将多模态训练数据输入所述第二具身智能模型进行训练，得到训练好的第二具身智能模型，所述训练好的第二具身智能模型对应全局模型参数；

将所述全局模型参数发送至机器人，以便所述机器人根据所述全局模型参数及用户历史数据对机器人中的第一具身智能模型进行本地训练；

其中，所述将多模态训练数据输入所述第二具身智能模型进行训练，得到训练好的第二具身智能模型包括：

在所述第二具身智能模型中，将所述多模态训练数据进行特征提取及融合处理，得到融合后的包含提取后特征的训练数据；所述多模态训练数据包括摄像头训练数据、激光雷达训练数据、声音训练数据、文本训练数据、温度训练数据、气味训练数据及触觉训练数据中的至少两种；

基于所述融合后的训练数据进行跨模态训练，以得到训练好的所述第二具身智能模型。

9.根据权利要求8所述的方法，其特征在于，在将多模态训练数据输入所述第二具身智能模型进行训练之后，所述方法还包括：

接收各个机器人分别发送的新的全局模型参数；

将多模态训练数据输入所述第二具身智能模型进行训练包括：

基于预设聚合算法对所有的新的全局模型参数进行聚合处理，得到聚合后的全局模型参数；

基于所述聚合后的全局模型参数对所述第二具身智能模型进行训练，得到更新后的全局模型参数，并将所述更新后的全局模型参数分别发送至所有机器人。

10.一种机器人的控制装置，其特征在于，所述装置配置于权利要求1-2中任一项所述的机器人的控制系统中的机器人中，包括：

分析单元，用于响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分析，得到所述目标需求指令对应的所述多个目标任务，其中，所述第一具身智能模型的全局模型参数由服务器配置后，并根据所述全局模型参数及用户历史数据进行本地训练得到；

获取单元，用于获取当前环境信息及所述目标需求指令所服务用户的状态信息；

组成单元，用于基于所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；

确定单元，用于按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；

调整单元，用于在所述目标任务执行规划执行各个目标任务过程中，基于所述用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行调整，直到执行完所述目标任务执行规划中的所有目标任务。

11.一种机器人的控制装置，其特征在于，所述装置配置于权利要求1-2中任一项所述的机器人的控制系统中的服务器中，包括：

构建单元，用于构建第二具身智能模型；

训练单元，用于将多模态训练数据输入所述第二具身智能模型进行训练，得到训练好的第二具身智能模型，所述训练好的第二具身智能模型对应全局模型参数；

发送单元，用于将所述全局模型参数发送至机器人，以便所述机器人根据所述全局模型参数及用户历史数据对机器人中的第二具身智能模型进行本地训练；

所述训练单元，还用于在所述第二具身智能模型中，将所述多模态训练数据进行特征提取及融合处理，得到融合后的包含提取后特征的训练数据；所述多模态训练数据包括摄像头训练数据、激光雷达训练数据、声音训练数据、文本训练数据、温度训练数据、气味训练数据及触觉训练数据中的至少两种；

基于所述融合后的训练数据进行跨模态训练，以得到训练好的所述第二具身智能模型。

12.一种机器人，其特征在于，所述机器人包括如权利要求10所述的机器人的控制装置。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求3-7或8-9中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求3-7或8-9中任一项所述的方法。

15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求3-7或8-9中任一项所述的方法。