CN120406171B - 一种面向具身智能的感能动控方法及系统 - Google Patents
一种面向具身智能的感能动控方法及系统Info
- Publication number
- CN120406171B CN120406171B CN202510905598.7A CN202510905598A CN120406171B CN 120406171 B CN120406171 B CN 120406171B CN 202510905598 A CN202510905598 A CN 202510905598A CN 120406171 B CN120406171 B CN 120406171B
- Authority
- CN
- China
- Prior art keywords
- module
- modality
- modules
- adjacent
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及具身智能技术领域,公开了一种面向具身智能的感能动控方法及系统,本发明包括:获取多模态感知数据,基于异构数据融合框架确定特征提取单元与控制中心节点;根据自适应编码模块的时空相关性指标选取目标编码模块,生成特征融合路径;结合动态响应延迟与子层耦合度确定信号同步时刻,标记实时融合拓扑图;检测信号相位冲突,基于冲突结果规划多模态控制指令。技术还涉及感知模态优先级分级、特征融合路径动态生成、频谱干扰检测及路径重规划等。通过分布式异构传感器阵列实现微秒级时空戳标记与模态特征解耦。本发明提升了多模态数据融合精度、信号同步控制与多模态协调决策能力,增强了具身智能系统的环境适应性与鲁棒性。
Description
技术领域
本发明涉及具身智能技术领域,具体为一种面向具身智能的感能动控方法及系统。
背景技术
具身智能作为人工智能领域的前沿方向,旨在赋予智能体通过感知与行动与物理世界交互的能力,其核心挑战在于如何高效处理多模态感知数据并实现感知与控制的精准协同。传统的具身智能系统在处理视觉、触觉、惯性等多模态数据时,普遍面临以下问题:
现有异构数据融合框架通常采用固定结构的编码模块,缺乏对不同感知模态特性的自适应调节能力。例如,视觉传感器输出的图像数据具有高空间分辨率和动态变化快的特点,而柔性电子皮肤采集的触觉数据则更关注局部压力分布的时间序列特征。固定的编码模块无法针对不同模态的时空相关性进行优化,导致数据融合过程中出现信息失真或冗余,影响智能体对环境的实时响应能力。
在多模态数据传输过程中,各模态的动态响应延迟差异显著。例如,惯性测量单元(IMU)的加速度数据更新频率可达千赫兹级,而视觉传感器的图像帧速率通常为数十赫兹,这种差异会导致不同模态信号在融合过程中出现时间错位。传统的同步机制依赖固定时钟同步策略,无法根据实时动态响应延迟调整信号同步时刻,进而引发相位冲突,导致控制指令混乱,影响智能体动作的协调性和稳定性。
现有技术在生成特征融合路径时,往往采用预设路径或简单的启发式搜索算法,未充分考虑编码模块之间的时空相关性指标(如信号保真度、相位一致性等)。这使得特征融合路径可能包含高失真的编码模块,导致感知特征在传输过程中出现衰减或畸变,严重影响智能体对环境信息的准确感知和理解。
当多个感知模态同时触发控制指令时,传统的优先级调度策略无法根据实时相位冲突结果动态调整控制指令的执行顺序。例如,在紧急避障场景中,触觉感知的碰撞预警信号与视觉感知的障碍物图像信号可能因同步时刻重叠而产生冲突,若无法快速确定响应优先级并调整控制指令,将导致智能体无法及时做出正确反应,甚至引发安全事故。
在分布式异构传感器阵列中,不同传感器(如视觉传感器的电磁信号与惯性测量单元的电子信号)可能产生频谱干扰。现有技术缺乏对频谱干扰的实时检测与动态路径规划能力,当干扰强度超过阈值时,无法及时调整特征融合路径,导致感知数据质量下降,影响具身智能系统的可靠性和鲁棒性。
因此,如何提升多模态数据融合精度、信号同步控制与多模态协调决策能力,增强具身智能系统的环境适应性与鲁棒性,是一个亟待解决的问题。
发明内容
本发明的目的在于提供一种面向具身智能的感能动控方法及系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种面向具身智能的感能动控方法及系统,所述方法包括:
获取多模态感知数据,基于多模态感知数据从预设的异构数据融合框架中确定每个感知模态的特征提取单元和动态控制中心节点,其中,所述异构数据融合框架包括位于特征提取单元与控制中心节点之间的多个自适应编码模块;
针对每个感知模态,基于各所述自适应编码模块分别相对于所述特征提取单元和所述控制中心节点的时空相关性指标选取所述时空相关性指标最优的多个目标编码模块,并根据多个所述目标编码模块生成所述感知模态的特征融合路径;
针对每个感知模态,获取所述感知模态的动态响应延迟,并基于所述特征融合路径包含的目标编码模块之间的子层耦合度指标和所述动态响应延迟,确定所述感知模态途经多个目标编码模块时的信号同步时刻;
在所述异构数据融合框架中对各所述目标编码模块标记所述信号同步时刻,得到实时融合拓扑图;
针对每个所述目标编码模块,根据所述信号同步时刻进行信号相位冲突的检测,得到相位冲突结果;
基于所述相位冲突结果进行多模态控制指令规划,得到动控协调决策结果。
优选的,所述时空相关性指标为针对每个自适应编码模块,从所述特征提取单元传输至所述每个自适应编码模块,以及从所述每个自适应编码模块传输至所述控制中心节点的信号保真度与相位一致性的联合评估值;所述特征融合路径是从所述特征提取单元到所述控制中心节点的优化路径,是由选中的所述多个目标编码模块构成的最小失真链路。
优选的,所述基于所述相位冲突结果进行多模态控制指令规划,得到动控协调决策结果,包括:
当所述相位冲突结果表征存在所述目标编码模块包含的多个信号同步时刻重叠时,将所述目标编码模块确定为相位冲突模块;
获取所述相位冲突模块的产生重叠的所述信号同步时刻作为冲突窗口,并确定所述冲突窗口对应的多个所述感知模态的动态响应优先级;
基于所述动态响应优先级对所述感知模态进行控制指令规划,得到动控协调决策结果。
优选的,所述感知模态包括第一响应级模态和第二响应级模态,所述第一响应级模态的动态响应优先级为毫秒级,所述第二响应级模态的动态响应优先级为秒级,所述基于所述动态响应优先级对所述感知模态进行控制指令规划,得到动控协调决策结果,包括:
基于所述毫秒级和所述秒级的顺序,确定所述第二响应级模态对应的特征融合路径;
基于所述实时融合拓扑图,获取所述第二响应级模态在对应的所述特征融合路径中各目标编码模块的信号同步时刻;
基于所述信号同步时刻,结合所述实时融合拓扑图对所述第二响应级模态进行控制指令规划,得到动控协调决策结果。
优选的,所述针对每个感知模态,基于各所述自适应编码模块分别相对于所述特征提取单元和所述控制中心节点的时空相关性指标选取所述时空相关性指标最优的多个目标编码模块,并根据多个所述目标编码模块生成所述感知模态的特征融合路径,包括:
针对每个感知模态,确定与所述特征提取单元相邻的多个相邻编码模块;
计算每个相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标,并基于多个所述相关性指标从所述多个相邻编码模块中确定所述时空相关性指标最优的首个目标编码模块;
以所述首个目标编码模块为起点,确定与所述目标编码模块相邻的多个相邻编码模块,计算每个相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标,并基于多个所述相关性指标从所述目标编码模块相邻的多个所述相邻编码模块中确定所述时空相关性指标最优的下一个目标编码模块;
重复执行所述确定与所述目标编码模块相邻的多个相邻编码模块,计算每个相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标,并基于多个所述相关性指标从所述目标编码模块相邻的多个所述相邻编码模块中确定所述时空相关性指标最优的下一个目标编码模块步骤,直至确定所述下一个目标编码模块为所述控制中心节点,以获得所述特征提取单元与所述控制中心节点之间的多个目标编码模块;
基于多个所述目标编码模块生成所述感知模态的特征融合路径。
优选的,所述计算每个相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标,包括:
分别计算每个所述相邻编码模块距离所述特征提取单元的第一信号保真度指标,以及每个所述相邻编码模块距离所述控制中心节点的第二相位一致性指标;
针对每个所述相邻编码模块,将所述第一信号保真度指标和所述第二相位一致性指标的归一化乘积作为所述相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标。
优选的,所述基于多个所述相关性指标从所述多个相邻编码模块中确定所述时空相关性指标最优的首个目标编码模块,包括:
将多个所述相邻编码模块对应的多个所述相关性指标存储至相关性评估队列中,并在所述相关性评估队列中对所述相关性指标进行升序排序,得到排序序列;
基于所述排序序列,将最优的所述相关性指标对应的所述相邻编码模块确定为首个目标编码模块。
优选的,所述基于所述相位冲突结果进行多模态控制指令规划,得到动控协调决策结果之后,还包括:
当各所述感知模态根据所述动控协调决策结果开始执行后,针对每个所述感知模态,实时检测所述感知模态与相邻的至少一个感知模态的频谱干扰强度;
当存在所述感知模态与相邻的所述感知模态的所述频谱干扰强度超过预设容限阈值时,将相邻的所述感知模态作为干扰源,并基于所述干扰源对所述感知模态进行动态特征融合路径规划,得到所述感知模态的更新融合路径。
优选的,所述获取多模态感知数据包括:
通过分布式异构传感器阵列采集原始传感流,其中所述分布式异构传感器阵列包含视觉传感器、柔性电子皮肤及惯性测量单元;
对所述原始传感流进行时空戳标记,生成带时间戳的模态数据流;
将所述带时间戳的模态数据流输入至所述异构数据融合框架的预处理缓冲区,通过可编程光子芯片执行模态特征解耦运算,分离出各感知模态的独立特征向量。
优选的,所述对所述原始传感流进行时空戳标记包括:
接收所述可编程光子芯片输出的光时钟基准信号,将其转换为电同步触发信号;
在传感器数据采集端部署时间戳嵌入电路,根据所述电同步触发信号生成精确到微秒级的绝对时间标签;
将所述绝对时间标签与对应传感器采集的原始数据包进行帧结构封装,其中时间标签作为数据帧头部标识;
通过高速串行接口将封装后的带时间戳数据流传输至预处理缓冲区。
优选的,本发明还包括一种面向具身智能的感能动控系统,所述系统包括:
数据获取与模态处理模块,用于获取多模态感知数据,并基于多模态感知数据从预设的异构数据融合框架中确定每个感知模态的特征提取单元和动态控制中心节点,其中,所述异构数据融合框架包括位于特征提取单元与控制中心节点之间的多个自适应编码模块;
编码模块选择与路径生成模块,用于针对每个感知模态,基于各所述自适应编码模块分别相对于所述特征提取单元和所述控制中心节点的时空相关性指标选取所述时空相关性指标最优的多个目标编码模块,并根据多个所述目标编码模块生成所述感知模态的特征融合路径;
信号同步确定模块,用于针对每个感知模态,获取所述感知模态的动态响应延迟,并基于所述特征融合路径包含的目标编码模块之间的子层耦合度指标和所述动态响应延迟,确定所述感知模态途经多个目标编码模块时的信号同步时刻;
拓扑图生成模块,用于在所述异构数据融合框架中对各所述目标编码模块标记所述信号同步时刻,得到实时融合拓扑图;
相位冲突检测模块,用于针对每个所述目标编码模块,根据所述信号同步时刻进行信号相位冲突的检测,得到相位冲突结果;
动控指令规划模块,用于基于所述相位冲突结果进行多模态控制指令规划,得到动控协调决策结果。
与现有技术相比,本发明的有益效果是:
通过预设的异构数据融合框架中每个感知模态的特征提取单元和动态控制中心节点,结合多个自适应编码模块,依据时空相关性指标(信号保真度与相位一致性联合评估值)动态选取最优目标编码模块,生成最小失真的特征融合路径。这一机制可针对不同感知模态(如视觉、触觉、惯性)的时空特性进行自适应优化,有效减少数据融合过程中的信息失真和冗余。例如,在视觉模态数据处理中,优先选择对空间特征保留更优的编码模块,确保图像边缘、纹理等关键信息的高保真传输;在触觉模态中,侧重选取对时间序列变化敏感的编码模块,准确捕捉压力变化的动态特征,从而提升多模态数据融合的整体精度。
基于特征融合路径的子层耦合度指标和动态响应延迟,精准计算各感知模态途经目标编码模块时的信号同步时刻,并通过实时融合拓扑图标记同步时刻,实现对多模态信号相位的实时监控。当检测到相位冲突(如信号同步时刻重叠)时,根据感知模态的动态响应优先级(毫秒级与秒级分级),动态调整控制指令执行顺序。例如,在紧急避障场景中,触觉感知的碰撞预警信号(毫秒级优先级)可优先触发制动指令,而视觉模态的障碍物图像分析(秒级优先级)则同步进行路径规划,确保智能体在最短时间内做出安全响应,避免因信号同步误差导致的动作滞后或冲突。
通过相位冲突结果动态识别冲突模块与冲突窗口,结合感知模态的优先级差异,实现控制指令的智能规划。对于毫秒级响应的第一响应级模态(如触觉、惯性),确保其控制指令的实时性;对于秒级响应的第二响应级模态(如视觉、听觉),则基于实时融合拓扑图进行全局路径优化。此外,在指令执行过程中,实时检测频谱干扰强度,当干扰超过阈值时,动态调整特征融合路径,规避干扰源,保障感知数据的稳定性。例如,当视觉传感器与惯性测量单元因频谱干扰导致数据异常时,系统可自动切换至备用编码模块路径,维持感知数据的连续性,提升具身智能系统在复杂电磁环境下的可靠性。
通过分布式异构传感器阵列(包含视觉传感器、柔性电子皮肤及惯性测量单元)采集多模态数据,并利用可编程光子芯片进行模态特征解耦,实现微秒级时空戳标记与高精度同步触发。这一技术方案不仅增强了系统对多源异构数据的兼容能力,还通过动态特征融合路径规划与频谱干扰抑制机制,使具身智能系统能够在动态变化的物理环境中(如强干扰、多模态数据突发冲突场景)保持稳定运行。例如,在工业机械臂作业场景中,系统可实时处理视觉引导的目标定位数据与触觉反馈的力控数据,动态调整抓取姿态,同时规避传感器间的电磁干扰,确保机械臂在高精度操作中的稳定性与安全性。
附图说明
图1为本发明所述面向具身智能的感能动控方法及系统的工作原理图;
图2为本发明所述面向具身智能的感能动控方法及系统的基于相位冲突结果的多模态控制指令规划的流程图;
图3为本发明所述面向具身智能的感能动控方法及系统的特征融合路径生成的流程图;
图4为本发明所述面向具身智能的感能动控方法及系统的原始传感流时空戳标记与数据流封装传输的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-图4,本发明涉及的一种面向具身智能的感能动控方法及系统,具体实现步骤如下:
获取多模态感知数据:通过分布式异构传感器阵列(包含视觉传感器、柔性电子皮肤及惯性测量单元)采集原始传感流,对原始传感流进行时空戳标记。具体过程为:接收可编程光子芯片输出的光时钟基准信号并转换为电同步触发信号,通过时间戳嵌入电路生成微秒级绝对时间标签,将时间标签与原始数据包封装为带时间戳的模态数据流,经高速串行接口传输至预处理缓冲区,由可编程光子芯片执行模态特征解耦运算,分离出各感知模态的独立特征向量。从预设的异构数据融合框架中确定每个感知模态的特征提取单元和动态控制中心节点,该框架包括位于特征提取单元与控制中心节点之间的多个自适应编码模块。
生成特征融合路径:针对每个感知模态,基于各自适应编码模块分别相对于特征提取单元和控制中心节点的时空相关性指标,选取相关性指标最优的多个目标编码模块。具体步骤为:先确定与特征提取单元相邻的多个相邻编码模块,计算各相邻模块的时空相关性指标(即第一信号保真度指标与第二相位一致性指标的归一化乘积),将指标存储至相关性评估队列并升序排序,选取最优指标对应的模块作为首个目标编码模块;以首个目标模块为起点,重复上述计算和筛选步骤,直至下一个目标模块为控制中心节点,从而获得特征提取单元与控制中心节点之间的多个目标编码模块,基于这些模块生成特征融合路径,该路径为由目标编码模块构成的最小失真链路。
确定信号同步时刻:针对每个感知模态,获取其动态响应延迟,基于特征融合路径包含的目标编码模块之间的子层耦合度指标和动态响应延迟,确定该感知模态途经多个目标编码模块时的信号同步时刻。
构建实时融合拓扑图:在异构数据融合框架中对各目标编码模块标记信号同步时刻,得到实时融合拓扑图。
检测相位冲突:针对每个目标编码模块,根据信号同步时刻进行信号相位冲突的检测,得到相位冲突结果。
生成动控协调决策结果:基于相位冲突结果进行多模态控制指令规划。若相位冲突结果表征存在目标编码模块包含的多个信号同步时刻重叠,将该模块确定为相位冲突模块,获取重叠的信号同步时刻作为冲突窗口,确定冲突窗口对应的多个感知模态的动态响应优先级(感知模态包括毫秒级的第一响应级模态和秒级的第二响应级模态),基于优先级进行控制指令规划,得到动控协调决策结果。
下面结合实施例1至5对本发明作进一步说明:
实施例1:
关于时空相关性指标的具体计算方式及目标编码模块的选取流程如下:
针对每个感知模态对应的异构数据融合框架中的自适应编码模块,需对其相对于特征提取单元和控制中心节点的时空相关性进行量化评估。时空相关性指标的计算需从信号保真度和相位一致性两个维度展开。对于每个自适应编码模块(包括初始阶段与特征提取单元相邻的编码模块,以及后续迭代过程中与当前目标编码模块相邻的编码模块),首先计算其距离特征提取单元的第一信号保真度指标。该指标通过分析信号从特征提取单元传输至该编码模块过程中的能量损耗、噪声干扰程度、信号完整性等参数综合得出,用于衡量信号在传输过程中的保真能力。例如,能量损耗越低、噪声干扰越小、信号完整性越高,则第一信号保真度指标的数值越大,表明该模块对特征提取单元输出信号的保留能力越强。
计算该自适应编码模块距离控制中心节点的第二相位一致性指标。此指标通过评估信号从该模块传输至控制中心节点时的相位偏移量、时序对齐误差、信号同步性等参数确定,用于反映信号在传输过程中的相位稳定性。相位偏移量越小、时序对齐误差越低、信号同步性越高,则第二相位一致性指标的数值越大,说明该模块与控制中心节点之间的信号传输在相位上的一致性越好。
在获取每个相邻编码模块的第一信号保真度指标和第二相位一致性指标后,需对这两个指标进行归一化处理。归一化的目的是消除不同指标因量纲差异对综合评估结果的影响,使不同模块的指标具有可比性。具体归一化方法为:将每个指标的值映射到[0,1]的区间内,例如通过线性变换公式,将指标值减去最小值后除以最大值与最小值的差,得到归一化后的数值。归一化完成后,将每个相邻编码模块的第一信号保真度指标归一化值与第二相位一致性指标归一化值相乘,得到该模块相对于特征提取单元和控制中心节点的时空相关性指标。该指标综合反映了模块在信号保真和相位一致两个维度的综合性能,数值越大表示模块在时空维度上越适合作为特征融合路径的节点。
在选取首个目标编码模块时,针对与特征提取单元相邻的多个相邻编码模块,将各模块对应的时空相关性指标存储至相关性评估队列中。相关性评估队列为一个数据存储结构,用于暂存各模块的指标值以便后续处理。存储完成后,对队列中的相关性指标进行升序排序,得到按数值从小到大排列的排序序列。排序的目的是清晰区分各模块指标的优劣,便于后续筛选最优模块。基于该排序序列,选取其中数值最大(即最优)的相关性指标对应的相邻编码模块作为首个目标编码模块。这一过程确保了特征融合路径的起始节点为所有相邻模块中时空相关性最佳的节点,能够最大程度减少特征传输的初始失真,为后续路径的优化奠定基础。
在确定首个目标编码模块后,进入迭代选取后续目标编码模块的过程。以首个目标编码模块为新的起点,确定与其相邻的多个未被选入路径的编码模块(即排除已确定的特征提取单元和首个目标编码模块之外的相邻模块)。对于这些新的相邻编码模块,重复上述计算时空相关性指标的步骤:分别计算每个模块的第一信号保真度指标和第二相位一致性指标,进行归一化处理后相乘得到时空相关性指标。随后,将这些指标存储至相关性评估队列,再次进行升序排序,选取最优指标对应的模块作为下一个目标编码模块。此过程持续进行,即每次以当前目标编码模块为起点,寻找相邻的未选模块,计算指标、排序并选取最优模块,直至选中的下一个目标编码模块为动态控制中心节点。
在整个迭代过程中,每一步的决策均基于当前节点的相邻模块集合,通过时空相关性指标的量化评估和排序,确保每一步选择的目标编码模块均为当前局部最优解。这种贪心算法策略虽然是局部最优选择,但通过逐步累积,能够在特征提取单元与控制中心节点之间构建一条由多个目标编码模块组成的路径。该路径的特点是,每个节点相对于其前后节点均具有最优的时空相关性,从而使得整个路径的信号传输失真最小,形成从特征提取单元到控制中心节点的最小失真链路,即特征融合路径。
需要说明的是,时空相关性指标的计算不依赖于具体的硬件参数或实验数据,而是基于信号传输的基本原理和参数定义,通过逻辑推导和数学运算(如归一化、乘积等)得出。在实际应用中,各模块的第一信号保真度指标和第二相位一致性指标可通过传感器实时监测信号传输过程中的相关参数(如电压波动、相位差等)计算得到,确保指标的实时性和准确性。此外,相关性评估队列的排序操作可通过软件算法(如快速排序、冒泡排序等)实现,保证排序效率和准确性,从而满足具身智能系统对实时性的要求。
实施例2:
关于相位冲突结果的处理流程及基于动态响应优先级的控制指令规划方式如下:
当系统完成实时融合拓扑图的构建后,需针对每个目标编码模块存储的信号同步时刻进行相位冲突检测。相位冲突检测的核心逻辑是判断同一目标编码模块内是否存在多个感知模态的信号同步时刻发生重叠。具体而言,每个目标编码模块在实时融合拓扑图中对应一组信号同步时刻,这些时刻表征了不同感知模态的信号流经该模块的时间点。当两个或多个感知模态的信号同步时刻在时间轴上存在交集(即时间区间重叠)时,即判定该目标编码模块存在相位冲突。
一旦检测到相位冲突,系统首先将该目标编码模块标记为相位冲突模块。接下来,需要进一步确定冲突的具体时间范围和涉及的感知模态。具体操作如下:提取该相位冲突模块中所有发生重叠的信号同步时刻,将这些重叠的时间区间合并为一个或多个冲突窗口。每个冲突窗口对应一个具体的时间段,该时间段内至少有两个感知模态的信号同时流经该模块,可能导致信号干扰或控制指令执行冲突。
在确定冲突窗口后,系统需针对冲突窗口涉及的多个感知模态确定动态响应优先级。根据感知模态的类型,系统预设两类响应级别:第一响应级模态和第二响应级模态。其中,第一响应级模态的动态响应优先级为毫秒级,主要包括对实时性要求极高的感知任务,例如触觉反馈(如机械臂触碰障碍物时的即时力反馈)、紧急避障(如视觉传感器检测到突发障碍物时的快速反应)、运动平衡(如惯性测量单元监测到姿态失衡时的实时调整)等,这些任务的延迟可能导致系统故障或安全风险。第二响应级模态的动态响应优先级为秒级,包括对实时性要求相对较低的感知任务,例如环境建模(如通过视觉传感器构建三维场景模型)、路径规划(如根据全局地图计算移动路径)、目标识别(如对图像数据进行深度学习推理)等,这类任务允许一定的处理延迟,可在非紧急情况下逐步完成。
基于动态响应优先级进行控制指令规划时,系统遵循“毫秒级优先于秒级”的顺序原则。具体实施步骤如下:首先处理第一响应级模态的控制指令,确保其在冲突窗口内获得优先执行权。对于第一响应级模态,系统根据实时融合拓扑图中该模态的特征融合路径及信号同步时刻,生成立即执行的控制指令,例如触发机械臂紧急制动、调整移动机器人的行进方向等。在处理第一响应级模态的过程中,系统会暂时搁置第二响应级模态的指令,直至第一响应级模态的任务完成或冲突窗口结束。
对于第二响应级模态,系统在处理完第一响应级模态后,基于实时融合拓扑图获取其在对应特征融合路径中各目标编码模块的信号同步时刻。具体而言,每个第二响应级模态的特征融合路径由多个目标编码模块串联而成,每个模块对应一个信号同步时刻,这些时刻构成了该模态信号传输的时间序列。系统根据该时间序列,结合实时融合拓扑图中各模块的连接关系,计算出该模态控制指令的执行时序。例如,若某环境建模模态的特征融合路径经过模块A、模块B、模块C,其信号同步时刻分别为t1、t2、t3,则控制指令需按照t1、t2、t3的顺序依次触发各模块的处理操作,确保数据在路径中按序流动,避免因时序混乱导致的特征失真或计算错误。
在规划第二响应级模态的控制指令时,系统还需考虑冲突窗口对其的影响。若冲突窗口覆盖了该模态的某个信号同步时刻,系统会根据该模态的优先级和冲突程度进行调整。例如,若冲突窗口导致某秒级模态的信号同步时刻与毫秒级模态重叠,系统会将该秒级模态的对应操作延迟至冲突窗口结束后执行,以确保毫秒级模态的实时性需求。这种优先级驱动的时序调度机制,能够有效避免多模态信号在共享编码模块时的相位冲突,确保高优先级任务的即时执行,同时合理安排低优先级任务的执行顺序,维持系统整体的协调性和稳定性。
需要说明的是,动态响应优先级的划分并非固定不变,可根据具身智能系统的具体应用场景进行调整。例如,在工业机械臂场景中,触觉反馈和紧急停止信号可设定为毫秒级优先级,而工件识别和轨迹规划可设定为秒级优先级;在服务机器人场景中,障碍物检测(视觉/惯性模态)可设为毫秒级,而用户语音交互(音频模态)可设为秒级。这种可配置的优先级机制增强了系统的灵活性和适应性,使其能够适配不同任务需求。
在相位冲突处理的整个过程中,系统通过实时监测信号同步时刻、动态识别冲突模块和冲突窗口、基于优先级调度控制指令,形成了一套完整的闭环反馈机制。该机制无需依赖预设的实验数据或经验参数,而是基于感知模态的实时状态和预设的优先级规则进行自主决策,确保在多模态数据融合过程中,能够及时发现并解决相位冲突问题,避免因信号时序混乱导致的控制指令冲突,从而提升具身智能系统在动态环境中的响应准确性和任务执行效率。通过这种精细化的相位冲突管理和优先级驱动的控制指令规划,系统能够在复杂的多模态交互场景中保持稳定运行,实现感知与控制的高效协同。
实施例3:
特征融合路径的生成过程采用迭代优化策略,具体实施方式如下:
对于每个感知模态,特征融合路径的构建始于特征提取单元,终于动态控制中心节点,整个过程通过逐节点筛选的方式确定路径中的目标编码模块。在初始阶段,确定与特征提取单元直接相邻的多个相邻编码模块,这些模块构成路径构建的起始候选集合。每个相邻编码模块与特征提取单元之间存在直接的信号传输链路,是特征数据从感知层进入融合框架的第一级节点。
针对每个相邻编码模块,计算其相对于特征提取单元和控制中心节点的时空相关性指标。时空相关性指标的计算需综合考虑信号保真度和相位一致性,具体步骤为:先计算每个相邻编码模块距离特征提取单元的第一信号保真度指标,该指标通过信号传输过程中的能量损耗、噪声干扰等参数评估,数值越大表示信号保真能力越强;再计算每个相邻编码模块距离控制中心节点的第二相位一致性指标,该指标通过信号相位偏移量、时序对齐误差等参数评估,数值越大表示相位稳定性越高。随后,对和进行归一化处理,得到归一化后的指标和,归一化公式为:
其中,代表或,和分别为对应指标的最小值和最大值,为归一化后的指标值,取值范围为。归一化的目的是消除不同指标的量纲差异,使不同模块的指标具有可比性。最后,将归一化后的两个指标相乘,得到时空相关性指标,该指标综合反映模块在时空维度的传输性能,数值越大表示模块越优。
基于计算得到的时空相关性指标,从多个相邻编码模块中选取首个目标编码模块。具体操作是将各模块的存储至相关性评估队列,对队列中的指标进行升序排序,选取数值最大的指标对应的模块作为首个目标编码模块。此模块作为特征融合路径的起点,确保特征数据从特征提取单元输出后,首先经过传输性能最优的节点,减少初始传输失真。
确定首个目标编码模块后,进入迭代筛选后续节点的阶段。以为当前节点,确定与其相邻的多个未选编码模块(即排除特征提取单元和已选节点的其他相邻模块),记为集合。对于集合中的每个模块,重复上述计算流程:先计算距离特征提取单元的第一信号保真度指标和距离控制中心节点的第二相位一致性指标,通过归一化得到和,再计算时空相关性指标。将存入相关性评估队列并排序,选取最优指标对应的模块作为下一个目标编码模块,加入特征融合路径。
重复上述迭代过程,即每次以当前目标编码模块为起点,确定其相邻的未选模块集合,对集合中的每个模块计算,排序后选取最优模块,直至为动态控制中心节点。此时,特征提取单元与控制中心节点之间的目标编码模块序列全部确定,其中。
在迭代过程中,每一步的模块筛选均遵循“局部最优”原则,即每次仅考虑当前节点的相邻模块,并选择其中时空相关性指标最高的模块作为下一跳节点。这种贪心算法策略虽然不保证全局最优,但通过逐节点优化,能够在特征提取单元与控制中心节点之间构建一条由多个“局部最优”节点串联而成的路径。由于每个节点的选取均基于信号保真度和相位一致性的综合评估,该路径整体上能够实现信号传输的最小失真,因此被定义为最小失真链路。
需要说明的是,迭代过程中相邻模块的定义与异构数据融合框架的拓扑结构相关。框架中的自适应编码模块以图结构连接,每个模块可与多个其他模块相连,形成网状拓扑。相邻模块指与当前节点存在直接链路的模块,链路的传输特性(如延迟、带宽)会影响信号保真度和相位一致性指标的计算。例如,若某模块与当前节点之间的链路存在较高的噪声干扰,则其第一信号保真度指标会相应降低,导致时空相关性指标下降,从而在筛选中被优先排除。
此外,相关性评估队列的排序操作可通过软件算法实现,如快速排序或堆排序,确保在实时系统中能够高效处理大量模块的指标数据。队列的存储结构需支持动态插入和快速查询,以适应迭代过程中不断更新的模块集合。
通过上述迭代优化策略生成的特征融合路径,具有以下特点:其一,路径的每一段链路(相邻目标编码模块之间的连接)均为当前节点的最优选择,能够最大程度保留特征数据的完整性和时序一致性;其二,路径的长度(即包含的模块数量)由框架拓扑结构和模块指标共同决定,在保证传输性能的前提下,尽可能缩短信号传输路径,降低延迟;其三,路径具有动态适应性,当框架中的模块状态发生变化(如某模块故障或传输性能波动)时,可重新触发迭代流程,生成新的特征融合路径,确保系统的鲁棒性。
在具身智能系统中,不同感知模态(如视觉、触觉、惯性)可独立执行上述迭代流程,生成各自的特征融合路径。由于各模态的感知数据特性不同(如图像数据量较大、触觉数据实时性要求高),其对应的时空相关性指标计算参数(如能量损耗阈值、相位偏移容忍度)可根据模态需求进行调整,从而实现差异化的路径优化。例如,视觉模态可侧重第一信号保真度指标(以保留图像细节),触觉模态可侧重第二相位一致性指标(以确保实时响应的时序准确)。
特征融合路径的生成过程通过迭代计算时空相关性指标、逐节点筛选最优模块,构建了从特征提取单元到控制中心节点的最小失真链路。该过程无需依赖先验知识或预设路径模板,而是基于实时监测的信号传输参数动态优化,能够适应异构数据融合框架的复杂拓扑结构和多模态数据的差异化需求,为具身智能系统的感知数据高效融合和控制指令精准规划提供了关键支撑。
实施例4:
在多模态控制指令规划完成并触发各感知模态执行后,系统进入实时运行阶段,此时需对感知模态间的频谱干扰进行动态监测与处理。
以具备视觉感知、触觉感知和运动控制的具身智能机械臂为例,其分布式异构传感器阵列包括视觉摄像头(采集图像数据)、柔性电子皮肤(采集触碰压力数据)和惯性测量单元(IMU,采集姿态加速度数据)。当机械臂执行装配任务时,视觉模态负责识别工件位置,触觉模态负责抓取时的力度反馈,惯性模态负责监测机械臂关节运动状态。各模态数据经特征融合路径传输至控制中心节点,形成“视觉引导→触觉调整→惯性稳定”的协同控制链路。
当机械臂开始执行任务后,系统通过频谱监测模块实时采集各感知模态的信号频谱数据。例如,视觉模态的图像数据以高频信号形式传输,触觉模态的压力信号以中频信号形式传输,惯性模态的运动数据以低频信号形式传输。频谱监测模块持续计算任意两个相邻模态的信号频谱重叠度和功率干扰比,以此评估频谱干扰强度。假设某一时刻,视觉模态与触觉模态的信号在某目标编码模块处的频谱重叠度超过预设容限阈值(如重叠频段占比超过30%),系统判定触觉模态为干扰源,视觉模态为受干扰模态。
此时,系统触发动态特征融合路径规划机制。首先,定位受干扰的视觉模态当前特征融合路径中的节点序列,假设原路径为“特征提取单元→模块A→模块B→模块C→控制中心节点”。由于模块B处发生频谱干扰,系统需排除该路径中的干扰节点(模块B),重新生成从特征提取单元到控制中心节点的更新融合路径。
重新规划路径的过程如下:以视觉模态的特征提取单元为起点,控制中心节点为终点,在异构数据融合框架中遍历所有未被干扰的自适应编码模块。对于每个候选模块,评估其相对于特征提取单元和控制中心节点的时空相关性,具体包括信号传输的保真度(如能量损耗、噪声水平)和相位一致性(如时序对齐误差)。例如,模块D与特征提取单元相连,其信号保真度较高但相位一致性中等;模块E与控制中心节点相邻,其相位一致性优异但信号保真度较低。系统通过逐节点比较,优先选择同时满足高保真度和相位一致性的模块,最终生成新路径“特征提取单元→模块D→模块E→控制中心节点”。
在路径切换过程中,系统需确保视觉模态的数据传输不中断。通过缓存未处理的特征向量并调整时序同步信号,使新路径的信号同步时刻与原有控制指令的执行节奏匹配。例如,原路径中模块B的信号同步时刻为t=10ms,新路径中模块D和E的同步时刻分别为t=8ms和t=12ms,系统通过延迟触发模块E的处理操作,使整体传输延迟与原路径保持一致,避免控制指令执行错位。
另一场景中,若机械臂在运动过程中,惯性模态(高频运动数据)与视觉模态(中频图像数据)因传感器部署位置靠近,导致信号线缆间产生电磁耦合干扰,频谱干扰强度超过阈值。此时,惯性模态被识别为干扰源,视觉模态需重新规划路径。系统检测到原路径中的模块F为共享干扰节点,遂排除模块F,选择通过模块G和模块H的迂回路径。新路径虽然增加了一跳节点,但避开了高频干扰区域,确保视觉数据的特征完整性。
动态特征融合路径规划的核心逻辑包括:
干扰源定位:通过频谱分析确定产生干扰的感知模态及其共享的目标编码模块。例如,当两个模态的信号在某模块的同一时间段内传输,且频谱重叠度超标,该模块即为干扰节点。
路径重构范围:仅针对受干扰的感知模态重新规划路径,其他模态的路径保持不变,以减少系统资源消耗。如上述触觉干扰视觉的场景中,惯性模态的路径无需调整。
实时性保障:路径重构算法需在微秒级时间内完成候选模块评估,确保控制指令的执行延迟低于系统响应阈值。这通过硬件加速的指标计算单元和预存储的模块连接关系表实现。
多路径冗余:在系统初始化阶段,预先计算各感知模态的多条备用路径,当检测到干扰时可直接调用备用路径,进一步缩短重构时间。例如,视觉模态可预存“高速路径”和“抗干扰路径”,根据实时干扰情况动态切换。
在机械臂执行精密装配的过程中,可能出现多次频谱干扰事件。例如,首次干扰发生在抓取工件时(触觉与视觉模态冲突),系统切换视觉路径以优先保证触觉反馈的实时性;后续干扰发生在移动机械臂时(惯性与触觉模态冲突),系统则调整惯性模态的路径,确保触觉信号的稳定传输。每次路径调整后,系统自动更新实时融合拓扑图中的节点标记,使后续的相位冲突检测和控制指令规划能够基于最新的路径结构。
值得注意的是,动态路径规划不改变感知模态的优先级属性。例如,即使视觉模态因干扰切换路径,其作为第二响应级模态(秒级)的优先级仍低于触觉模态(毫秒级),确保紧急任务的处理不受路径调整影响。此外,路径重构过程中会保留原路径中的有效节点,如模块A在干扰发生前已被验证为高效传输节点,若其不在干扰链路中则继续保留在新路径中,避免重复计算开销。
通过这种基于频谱干扰实时监测的动态调整机制,具身智能系统能够在复杂电磁环境或高密度数据传输场景中保持稳定运行。例如,在多机械臂协同作业的工厂环境中,不同设备的感知信号可能产生交叉干扰,通过动态路径规划,各机械臂可自主规避频段冲突,确保装配任务的精准执行。又如,在服务机器人穿越人群时,视觉传感器的高频信号可能与周边设备的无线信号产生干扰,系统通过切换特征融合路径,可维持环境感知的连续性和导航控制的稳定性。
通过实时频谱监测识别干扰源,针对受影响的感知模态,基于时空相关性重新筛选目标编码模块,生成绕过干扰节点的更新融合路径。该过程结合了具身智能体的物理部署特性(如传感器位置、链路拓扑)和信号传输特性(如频谱分布、时序要求),实现了从干扰检测到路径重构的闭环自适应调节,提升了系统在动态干扰环境下的鲁棒性和任务执行可靠性。
实施例5:
多模态感知数据的获取与预处理过程通过分布式异构传感器阵列、时空戳标记、预处理缓冲区及可编程光子芯片的协同工作实现。
以具备环境感知与自主操作能力的具身智能机器人为例,其搭载的分布式异构传感器阵列包括:部署于头部的视觉传感器(如RGB摄像头),用于采集环境图像数据;覆盖机械臂表面的柔性电子皮肤,用于感知接触压力和物体纹理;安装于机身的惯性测量单元(IMU),用于监测机器人的加速度、角速度等运动参数。这些传感器以分布式架构部署,分别采集视觉、触觉、惯性等多模态原始传感流,为系统提供丰富的环境和本体状态信息。
当机器人启动工作时,各传感器同步采集原始数据。例如,视觉传感器以每秒30帧的速率捕获环境图像,柔性电子皮肤实时采样触点压力值,IMU则以高频次输出三轴加速度和角速度数据。这些原始传感流包含不同模态的混合信号,需经过时空戳标记和特征解耦处理才能输入异构数据融合框架。
时空戳标记环节的核心是实现多模态数据的时空对齐。可编程光子芯片生成高精度光时钟基准信号,该信号通过光电转换模块转换为电同步触发信号,传输至各传感器的数据采集端。以柔性电子皮肤为例,其内置的时间戳嵌入电路接收到电同步触发信号后,生成精确到微秒级的绝对时间标签。该时间标签与压力传感器采集的原始数据包进行帧结构封装,其中时间标签作为数据帧头部的固定字段(如前16字节),确保每个触觉数据点均携带采集时刻的时间戳。同理,视觉传感器采集的每帧图像数据和IMU采集的每个运动数据点,均通过相同机制封装微秒级时间标签,形成带时间戳的模态数据流。
封装后的数据流通过高速串行接口(如USB3.2或千兆以太网)传输至预处理缓冲区。该缓冲区为分布式存储结构,可同时接收多模态数据流并暂存待处理数据。以视觉模态为例,每帧带时间戳的图像数据进入缓冲区后,可编程光子芯片执行模态特征解耦运算。光子芯片利用光信号的并行处理特性,对图像数据流进行频谱分析,分离出亮度、色彩、边缘等视觉特征向量;对于触觉模态,光子芯片通过滤波和时域分析,提取压力幅值、作用方向等触觉特征向量;惯性模态数据则通过频域转换,分离出平移加速度、旋转角速度等独立特征分量。
在具体实施中,时空戳标记的精确性直接影响多模态数据的同步性。例如,当机器人抓取物体时,视觉传感器检测到物体轮廓的时刻(t1)、柔性电子皮肤感知到接触力的时刻(t2)、IMU监测到机械臂姿态变化的时刻(t3)需严格对齐,以确保后续融合算法能准确关联不同模态的事件。通过光时钟基准信号和微秒级时间标签,系统可将多模态数据的时间偏差控制在微秒级范围内,满足实时融合的时序要求。
预处理缓冲区的设计需兼顾数据吞吐量和低延迟特性。例如,视觉传感器每秒产生数百MB的数据,缓冲区需具备高速缓存能力,避免数据拥堵。可编程光子芯片的模态特征解耦运算基于并行光子链路,可同时处理多模态数据流,例如在解耦视觉图像的边缘特征时,同步对触觉压力信号进行降噪处理,显著提升数据预处理效率。
以机器人避障场景为例,视觉传感器检测到前方障碍物时,原始图像数据流经时空戳标记后进入缓冲区,光子芯片快速提取障碍物的轮廓和距离特征;同时,IMU的惯性数据被解耦为机器人的平移速度和旋转角度特征。这些独立特征向量被同步传输至异构数据融合框架,供后续路径规划和运动控制使用。若未进行特征解耦,混合的原始数据可能导致融合算法误将视觉噪声与惯性干扰关联,引发控制指令偏差。
柔性电子皮肤的触觉数据处理则体现了时空戳标记的另一应用价值。当机械臂触碰物体时,不同位置的触觉传感器按空间顺序产生压力信号,时间标签不仅记录信号采集时刻,还隐含了传感器的空间位置信息(通过部署时的预定义映射关系)。通过解析时间戳序列,系统可还原触碰事件的空间分布和时序,辅助判断物体的形状和接触方向。
值得注意的是,预处理缓冲区与可编程光子芯片之间通过高速总线连接,确保数据传输延迟低于微秒级。光子芯片的模态特征解耦算法可通过固件升级动态调整,例如在不同光照环境下优化视觉特征提取参数,或在高精度操作场景中增强触觉信号的灵敏度阈值。
在多传感器协同工作场景中,时空戳标记还可用于检测传感器故障。例如,若某视觉传感器的时间戳出现跳变或无序排列,系统可判定该传感器通信异常,自动切换至冗余传感器或触发故障报警。这种基于时间标签的健康监测机制,增强了系统的可靠性。
通过分布式传感器阵列采集多模态原始数据,利用光时钟同步机制生成微秒级时间标签并封装至数据帧,经高速接口传输至缓冲区,由可编程光子芯片执行特征解耦,输出各模态的独立特征向量。该过程实现了多源数据的时空对齐和纯净分离,为后续的特征融合路径生成、信号同步时刻计算等环节提供了基础。在具身智能机器人的实际应用中,该流程确保了视觉引导、触觉反馈、惯性导航等多模态数据的精准协同,使机器人能够在复杂环境中执行精细化操作任务,如装配零件、抓取易碎物品或动态避障等。通过硬件层面的时间同步设计和光子芯片的并行处理能力,系统在数据采集与预处理阶段即奠定了高效、可靠的感知基础。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种面向具身智能的感能动控方法,其特征在于,所述方法包括:
获取多模态感知数据,基于多模态感知数据从预设的异构数据融合框架中确定每个感知模态的特征提取单元和动态控制中心节点,其中,所述异构数据融合框架包括位于特征提取单元与控制中心节点之间的多个自适应编码模块;
针对每个感知模态,基于各所述自适应编码模块分别相对于所述特征提取单元和所述控制中心节点的时空相关性指标选取所述时空相关性指标最优的多个目标编码模块,并根据多个所述目标编码模块生成所述感知模态的特征融合路径;
针对每个感知模态,获取所述感知模态的动态响应延迟,并基于所述特征融合路径包含的目标编码模块之间的子层耦合度指标和所述动态响应延迟,确定所述感知模态途经多个目标编码模块时的信号同步时刻;
在所述异构数据融合框架中对各所述目标编码模块标记所述信号同步时刻,得到实时融合拓扑图;
针对每个所述目标编码模块,根据所述信号同步时刻进行信号相位冲突的检测,得到相位冲突结果;
基于所述相位冲突结果进行多模态控制指令规划,得到动控协调决策结果。
2.根据权利要求1所述的面向具身智能的感能动控方法,其特征在于,所述时空相关性指标为针对每个自适应编码模块,从所述特征提取单元传输至所述每个自适应编码模块,以及从所述每个自适应编码模块传输至所述控制中心节点的信号保真度与相位一致性的联合评估值;所述特征融合路径是从所述特征提取单元到所述控制中心节点的优化路径,是由选中的所述多个目标编码模块构成的最小失真链路。
3.根据权利要求1所述的面向具身智能的感能动控方法,其特征在于,所述基于所述相位冲突结果进行多模态控制指令规划,得到动控协调决策结果,包括:
当所述相位冲突结果表征存在所述目标编码模块包含的多个信号同步时刻重叠时,将所述目标编码模块确定为相位冲突模块;
获取所述相位冲突模块的产生重叠的所述信号同步时刻作为冲突窗口,并确定所述冲突窗口对应的多个所述感知模态的动态响应优先级;
基于所述动态响应优先级对所述感知模态进行控制指令规划,得到动控协调决策结果。
4.根据权利要求3所述的面向具身智能的感能动控方法,其特征在于,所述感知模态包括第一响应级模态和第二响应级模态,所述第一响应级模态的动态响应优先级为毫秒级,所述第二响应级模态的动态响应优先级为秒级;所述基于所述动态响应优先级对所述感知模态进行控制指令规划,得到动控协调决策结果,包括:
基于所述毫秒级和所述秒级的顺序,确定所述第二响应级模态对应的特征融合路径;
基于所述实时融合拓扑图,获取所述第二响应级模态在对应的所述特征融合路径中各目标编码模块的信号同步时刻;
基于所述信号同步时刻,结合所述实时融合拓扑图对所述第二响应级模态进行控制指令规划,得到动控协调决策结果。
5.根据权利要求1所述的面向具身智能的感能动控方法,其特征在于,所述针对每个感知模态,基于各所述自适应编码模块分别相对于所述特征提取单元和所述控制中心节点的时空相关性指标选取所述时空相关性指标最优的多个目标编码模块,并根据多个所述目标编码模块生成所述感知模态的特征融合路径,包括:
针对每个感知模态,确定与所述特征提取单元相邻的多个相邻编码模块;
计算每个相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标,并基于多个所述相关性指标从所述多个相邻编码模块中确定所述时空相关性指标最优的首个目标编码模块;
以所述首个目标编码模块为起点,确定与所述目标编码模块相邻的多个相邻编码模块,计算每个相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标,并基于多个所述相关性指标从所述目标编码模块相邻的多个所述相邻编码模块中确定所述时空相关性指标最优的下一个目标编码模块;
重复执行所述确定与所述目标编码模块相邻的多个相邻编码模块,计算每个相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标,并基于多个所述相关性指标从所述目标编码模块相邻的多个所述相邻编码模块中确定所述时空相关性指标最优的下一个目标编码模块步骤,直至确定所述下一个目标编码模块为所述控制中心节点,以获得所述特征提取单元与所述控制中心节点之间的多个目标编码模块;
基于多个所述目标编码模块生成所述感知模态的特征融合路径。
6.根据权利要求5所述的面向具身智能的感能动控方法,其特征在于,所述计算每个相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标,包括:
分别计算每个所述相邻编码模块距离所述特征提取单元的第一信号保真度指标,以及每个所述相邻编码模块距离所述控制中心节点的第二相位一致性指标;
针对每个所述相邻编码模块,将所述第一信号保真度指标和所述第二相位一致性指标的归一化乘积作为所述相邻编码模块相对于所述特征提取单元和所述控制中心节点的时空相关性指标。
7.根据权利要求5所述的面向具身智能的感能动控方法,其特征在于,所述基于多个所述相关性指标从所述多个相邻编码模块中确定所述时空相关性指标最优的首个目标编码模块,包括:
将多个所述相邻编码模块对应的多个所述相关性指标存储至相关性评估队列中,并在所述相关性评估队列中对所述相关性指标进行升序排序,得到排序序列;
基于所述排序序列,将最优的所述相关性指标对应的所述相邻编码模块确定为首个目标编码模块。
8.根据权利要求6所述的面向具身智能的感能动控方法,其特征在于,所述基于所述相位冲突结果进行多模态控制指令规划,得到动控协调决策结果之后,还包括:
当各所述感知模态根据所述动控协调决策结果开始执行后,针对每个所述感知模态,实时检测所述感知模态与相邻的至少一个感知模态的频谱干扰强度;
当存在所述感知模态与相邻的所述感知模态的所述频谱干扰强度超过预设容限阈值时,将相邻的所述感知模态作为干扰源,并基于所述干扰源对所述感知模态进行动态特征融合路径规划,得到所述感知模态的更新融合路径。
9.根据权利要求1所述的面向具身智能的感能动控方法,其特征在于,所述获取多模态感知数据包括:
通过分布式异构传感器阵列采集原始传感流,其中所述分布式异构传感器阵列包含视觉传感器、柔性电子皮肤及惯性测量单元;
对所述原始传感流进行时空戳标记,生成带时间戳的模态数据流;
将所述带时间戳的模态数据流输入至所述异构数据融合框架的预处理缓冲区,通过可编程光子芯片执行模态特征解耦运算,分离出各感知模态的独立特征向量;
所述对所述原始传感流进行时空戳标记包括:
接收所述可编程光子芯片输出的光时钟基准信号,将其转换为电同步触发信号;
在传感器数据采集端部署时间戳嵌入电路,根据所述电同步触发信号生成精确到微秒级的绝对时间标签;
将所述绝对时间标签与对应传感器采集的原始数据包进行帧结构封装,其中时间标签作为数据帧头部标识;
通过高速串行接口将封装后的带时间戳数据流传输至预处理缓冲区。
10.一种面向具身智能的感能动控系统,其特征在于,所述系统包括:
数据获取与模态处理模块,用于获取多模态感知数据,并基于多模态感知数据从预设的异构数据融合框架中确定每个感知模态的特征提取单元和动态控制中心节点,其中,所述异构数据融合框架包括位于特征提取单元与控制中心节点之间的多个自适应编码模块;
编码模块选择与路径生成模块,用于针对每个感知模态,基于各所述自适应编码模块分别相对于所述特征提取单元和所述控制中心节点的时空相关性指标选取所述时空相关性指标最优的多个目标编码模块,并根据多个所述目标编码模块生成所述感知模态的特征融合路径;
信号同步确定模块,用于针对每个感知模态,获取所述感知模态的动态响应延迟,并基于所述特征融合路径包含的目标编码模块之间的子层耦合度指标和所述动态响应延迟,确定所述感知模态途经多个目标编码模块时的信号同步时刻;
拓扑图生成模块,用于在所述异构数据融合框架中对各所述目标编码模块标记所述信号同步时刻,得到实时融合拓扑图;
相位冲突检测模块,用于针对每个所述目标编码模块,根据所述信号同步时刻进行信号相位冲突的检测,得到相位冲突结果;
动控指令规划模块,用于基于所述相位冲突结果进行多模态控制指令规划,得到动控协调决策结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202510905598.7A CN120406171B (zh) | 2025-07-02 | 2025-07-02 | 一种面向具身智能的感能动控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202510905598.7A CN120406171B (zh) | 2025-07-02 | 2025-07-02 | 一种面向具身智能的感能动控方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN120406171A CN120406171A (zh) | 2025-08-01 |
| CN120406171B true CN120406171B (zh) | 2025-09-19 |
Family
ID=96515946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202510905598.7A Active CN120406171B (zh) | 2025-07-02 | 2025-07-02 | 一种面向具身智能的感能动控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN120406171B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120724133B (zh) * | 2025-08-28 | 2025-11-07 | 南京大学 | 具身智能分层记忆感知方法、系统及电子设备 |
| CN120930117B (zh) * | 2025-10-14 | 2025-12-26 | 中国科学技术大学 | 一种面向时间演化的社交机器人账号检测方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120103717A (zh) * | 2025-05-08 | 2025-06-06 | 合肥工业大学 | 一种基于多市场耦合机制的新能源控制执行系统及方法 |
| CN120233674A (zh) * | 2025-03-26 | 2025-07-01 | 西南大学 | 基于多模态ai融合与自适应控制的智能拦鱼过船系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180262525A1 (en) * | 2017-03-09 | 2018-09-13 | General Electric Company | Multi-modal, multi-disciplinary feature discovery to detect cyber threats in electric power grid |
| CN114815832A (zh) * | 2022-04-28 | 2022-07-29 | 西安交通大学 | 一种基于点云的多智能体超视距网联协同感知动态决策方法 |
-
2025
- 2025-07-02 CN CN202510905598.7A patent/CN120406171B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120233674A (zh) * | 2025-03-26 | 2025-07-01 | 西南大学 | 基于多模态ai融合与自适应控制的智能拦鱼过船系统 |
| CN120103717A (zh) * | 2025-05-08 | 2025-06-06 | 合肥工业大学 | 一种基于多市场耦合机制的新能源控制执行系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN120406171A (zh) | 2025-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN120406171B (zh) | 一种面向具身智能的感能动控方法及系统 | |
| CN117201567B (zh) | 一种井工矿场景感知融合技术的出入罐笼控制系统及方法 | |
| CN120595816B (zh) | 基于障碍识别的工业机器人行走控制系统 | |
| CN108109207B (zh) | 一种可视化立体建模方法及系统 | |
| CN113748389B (zh) | 用于监控工业过程步骤的方法和设备 | |
| CN119550335A (zh) | 一种多模态信息融合的机器人运动规划方法及设备 | |
| CN113183147B (zh) | 一种具有远距离接近觉的大面积覆盖电子皮肤系统 | |
| CN120862712B (zh) | 一种机械臂路径规划系统 | |
| CN118797487B (zh) | 基于多源状态数据和神经网络模型进行叉车碰撞的智能检测系统 | |
| CN114844585A (zh) | 一种数据同步的方法、系统及相关设备 | |
| CN120871719A (zh) | 一种基于机器学习的机器人外设控制方法及系统 | |
| CN120652460B (zh) | 一种基于可见光偏振成像的无人机检测方法与系统 | |
| CN118230135B (zh) | 一种基于时空信息对的人工智能系统 | |
| CN119472632A (zh) | 基于深度学习的未知环境自适应导航控制系统 | |
| CN118055364A (zh) | 一种基于LoRa和4G的安全帽佩戴识别系统 | |
| CN114526725B (zh) | 一种基于系统级芯片的超融合导航系统 | |
| KR20200045058A (ko) | 중소기업의 스마트 팩토리 전환을 위한 위험 감지용 스마트 센싱 및 모니터링 시스템, 그리고 그 방법 | |
| CN120743562B (zh) | 应用于工业通信智能平台的数据智能处理方法及装置 | |
| CN118393976B (zh) | 人工智能机器人环境感知方法、装置及电子设备 | |
| CN121047420B (zh) | 玻璃幕墙智能安装协同作业系统 | |
| CN119459555B (zh) | 一种车辆的底盘电子电气架构及底盘电子电气架构的环境感知方法 | |
| CN120976837B (zh) | 基于多源传感器融合的斗臂车人员危险姿态识别方法、电子设备及存储介质 | |
| CN121018598B (zh) | 多模态融合的机器人任务流编排与动态适配方法和系统 | |
| CN120560062A (zh) | 基于体感交互的智能家居设备控制方法及系统 | |
| CN120480904A (zh) | 一种基于手势识别的电气设备工业机器人、控制单元及实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |