[go: up one dir, main page]

CN110764498B - 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法 - Google Patents

一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法 Download PDF

Info

Publication number
CN110764498B
CN110764498B CN201910872030.4A CN201910872030A CN110764498B CN 110764498 B CN110764498 B CN 110764498B CN 201910872030 A CN201910872030 A CN 201910872030A CN 110764498 B CN110764498 B CN 110764498B
Authority
CN
China
Prior art keywords
cell
robot
speed
cell plate
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910872030.4A
Other languages
English (en)
Other versions
CN110764498A (zh
Inventor
于乃功
廖诣深
冯慧
王宗侠
黄静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910872030.4A priority Critical patent/CN110764498B/zh
Publication of CN110764498A publication Critical patent/CN110764498A/zh
Application granted granted Critical
Publication of CN110764498B publication Critical patent/CN110764498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提出一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法,属于机器人环境认知与导航技术领域,主要应用于智能移动机器人的环境认知、地图构建及导航等任务。具体流程包括:本方法通过摄像头采集图像信息,通过陀螺仪和编码器采集机器人的角度与方向信息,并将上述信息传输到CPU中。提出一种基于速度细胞和视觉信息的感知速度求解方法,获取机器人的感知速度;利用一维环状连接的细胞模型模拟头朝向细胞的放电机理,将角度信息输入头朝向细胞模型,使得机器人以仿生的方式获取感知角度。然后将感知速度和感知角度输入至位置细胞的前向编码神经网络模型,驱动位置细胞板上兴奋活动包的移动,获取机器人在环境中的位置。

Description

一种基于鼠脑海马认知机理的智能移动机器人运动状态和位 置认知方法
技术领域:
本发明属于智能移动机器人环境认知与导航技术领域,具体涉及一种基于鼠脑海马认知机理的智能移动机器人对自身运动状态和环境信息的认知方法。
背景技术
智能移动机器人是指可以通过仿生的认知机理,结合传感器对环境信息和运动信息的采集,实现对自身状态和环境信息的感知。使其能够在复杂的空间环境中模拟生物强大的面向目标导航的能力,实现自主运动,进而完成特定工作、功能的机器人系统。位置认知是人和动物的一项基本功能,也是智能移动机器人的基本任务和关键问题。
生理学研究表明,大脑皮层中的海马体是高等动物执行环境认知任务的重要结构,O’Keefe等人在1971年,在鼠脑海马体中发现一种对空间位置具有选择性的细胞,只有当大鼠处于空间中的特定位置时,该细胞才会发生放电活动。这种细胞被称为位置细胞,而对应其放电的空间区域则被称为位置野。Ranck等在 1984年,在老鼠前下托发现了一种对头部的朝向有着强烈放电作用的神经元细胞,当老鼠头部面向一个特定方向时,头朝向细胞发生最大放电,当头偏离这个方向时,细胞放电作用会减弱,该神经元细胞因此被命名为头朝向细胞。1998 年,O’keefe等人在关于位置细胞计算模型的研究中,第一次对路径整合过程中可能的速度信号提出了猜想,认为细胞放电率与运动速度呈线性正相关的关系。之后的研究者们也常常用正比例函数描述速度与频率的关系。2015年Emilio Kropff等在Nature上发表文章称通过实验证实了速度细胞的存在,并引起了学术界对空间认知过程中速度信号的编码与作用机制的思考。
尽管近年来人工智能技术发展迅速,但有关智能移动机器人对自身在环境中的位置认知和运动状态的研究相对落后,认知能力的不足一定程度上制约着智能移动机器人的研究和推广。在对环境的感知与理解方面,智能移动机器人远远不及人类或其他高等动物,这主要是由于现阶段传感器性能的不足和对机器人认知环境的理论研究不足。因此在智能移动机器人面对复杂多变的外部环境时,要求其具有较高的适应性和鲁棒性。仿照高级哺乳动物的环境认知机理是当前智能移动机器人的一项研究热点。本发明基于鼠脑海马的环境认知与发育机理,面向智能移动机器人及其未知环境自主探索问题,提出一种智能移动机器人对自身运动状态和位置信息的认知方法。
发明内容
本发明的主要目的是提出一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法,模拟鼠脑海马体内各种空间细胞的放电机理,完成智能移动机器人在复杂环境下环境认知与定位功能。主要面临如下问题:
1.目前智能移动机器人远远不及人类或其他高等动物,受硬件系统(传感器精度、CPU运算速度等)发展的限制。
2.之前的相关研究工作是感知层次上的离散的研究,难以为未知动态环境下的移动机器人导航提供足够的信息。
3.传统的行为学习方法已经无法满足人类对机器人智能的要求,难以为复杂未知环境下的机器人导航提供足够的信息。
4.以往的认知模型大多数是基于符号化知识表示的,具有这一类认知模型的机器人系统的行动能力不强,适应性和可扩展性较差,且具有过多的设计成分,不具备良好的仿生性。
为了解决以上问题,本发明提出一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法。该方法利用统一的计算机制模拟鼠脑海马体中速度细胞、头朝向细胞、位置细胞的计算模型。首先通过摄像头采集环境的图像信息,通过陀螺仪和编码器采集机器人的角度与方向信息,并将上述信息传输到CPU 中。结合视觉信息,提出一种基于速度细胞和视觉信息的感知速度求解方法,获取机器人的感知速度。接着利用一维环状连接的细胞模型模拟头朝向细胞的放电机理,将陀螺仪获取的角度信息输入头朝向细胞模型,使得智能移动机器人以仿生的方式获取当前的感知角度信息。随后将感知速度信息和感知角度信息输入至位置细胞的预测性编码神经网络模型,驱动位置细胞板上兴奋活动包的移动,通过解析位置细胞板的活动情况,获取位置细胞板上兴奋活动包的坐标,从而实现机器人在环境中的定位,完成智能移动机器人的环境认知功能。本发明方法的具体工作流程如下:
S1感知速度的获取
影响感知速度主要有两个方面:视觉流和本体感觉。视觉流指的是视网膜图像的连续变化引起生物体对自身速度的估计,本体感觉即速度细胞对生物体自身速度的固有感知能力。基于此,本发明在对生物体的速度作用机制进行充分的研究后,提出一种基于速度细胞和视觉信息的感知速度求解方法获取机器人的感知速度。
S1.1通过摄像头获取当前机器人前进方向上的图像。
S1.2将采集的图像转化为灰度图像,并利用Lucas–Kanade光流场解算方法获取前后两帧图像之间的光流场。
S1.3解算光流场中所有光流矢量在图像竖直方向上分量的大小
S1.4以求所有光流矢量在图像竖直方向上分量的大小作为BP神经网络的输入,以当前编码器获取的机器人前进的速度大小作为BP神经网络的输出,对 BP神经网络进行训练。
S1.5以当前编码器获取的机器人前进的速度大小作为速度细胞模型的输入,将BP神经网络输出的视觉感知速度与速度细胞模型输出的精确速度经过选择与加权处理,得到机器人的感知速度信息。
S2角度信息的获取
以往的智能移动机器人直接以陀螺仪测量的角度作为信息输入,缺乏仿生性,本发明将海马体中的头朝向细胞建模成一维环状细胞模型,通过算法获取环状头朝向细胞模型上兴奋活动包的位置,为机器人提供角度信息。
S2.1通过陀螺仪获取当前机器人前进方向的角度信息,计算前后两次测量的角度信息的差值,作为方向角的增量。
S2.2以方向角的增量作为一维环状头朝向细胞模型的输入,实现一维环状头朝向细胞模型上的兴奋活动包随着方向角的增量输入而移动。
S2.3为了将环状头朝向细胞模型上兴奋活动包的位置与当前编码器获取的角度信息一致,设计比例微分控制器,对兴奋活动包的位置进行闭环控制。
S2.4通过算法获取环状头朝向细胞模型上兴奋活动包的位置,得到机器人的感知角度信息。
S3位置细胞板兴奋活动包的移动
位置细胞是大鼠认知自身在环境中所处位置的主要信息来源,其拥有单一的放电野,且位置细胞板上的兴奋活动包是以高斯帽的形状分布的。兴奋活动包在细胞板上的位置随着大鼠探索环境而移动。基于此且本发明提出一种前向编码位置细胞神经网络模型,智能移动机器人以感知速度和感知角度作为输入,驱动兴奋活动包在位置细胞板上移动,获取兴奋活动包在位置细胞板上的坐标,从而实现智能移动机器人在环境中的定位。
S3.1初始化位置细胞板上所有位置细胞的兴奋活动,并将呈高斯帽形状的兴奋活动包置于位置细胞板的中心。
S3.2根据输入的感知角度信息,将当前位置细胞板上的兴奋活动传递至预测性编码的位置细胞板。
S3.3根据输入的感知速度信息,调整预测性编码神经网络模型的连接权值。将预测性编码位置细胞板上的兴奋信息通过连接权值重新传递至原有位置细胞板。
S4解算机器人的位置
S4.1获取兴奋活动包在原有位置细胞板上的坐标,并换算成机器人在环境中的位置。
S4.2根据前后两次坐标的变化量决定是否需要对机器人在环境中的真实位置进行周期性编码,实现机器人在大范围空间内的位置认知。
本发明具有如下优点:
仿照高级哺乳动物的环境认知机理,本发明提出一种基于鼠脑海马认知机理的智能移动机器人运动状态和环境认知方法。该方法利用统一的计算机制模拟鼠脑海马体中速度细胞、头朝向细胞、位置细胞的计算模型,并实现了海马结构中的不同类型的空间细胞之间的信息传递。既实现了位置细胞的精确路径积分功能,同时采用仿生的机制对硬件和传感器的要求低,从而使整个模型有良好的扩展性和适应性。本发明将为相关领域想相关研究提供具有参考价值的实验和研究结果,可广泛应用于各种自主移动式机器人。
附图说明
图1:鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法流程图
图2:感知速度获取的执行流程图
图3:视觉估算速度与实际速度的比较曲线图
图4:环状头朝向细胞兴奋活动示意图
图5:环状模型上兴奋活动包位置的比例微分控制框图
图6:位置细胞板结构示意图
图7:兴奋活动包在位置细胞板上的效果示意图
图8:预测性编码位置细胞板的运行机理示意图
具体实施方式
下面结合附图与实例,针对本方法做详细说明。
图1为本发明提出的基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法的执行流程图。本方法通过摄像头采集环境的图像信息,通过陀螺仪和编码器采集机器人的角度与方向信息,并将上述信息传输到CPU中。本发明提出一种基于速度细胞和视觉信息的感知速度求解方法获取机器人的感知速度;利用一维环状连接的细胞模型模拟头朝向细胞的放电机理,将陀螺仪获取的角度信息输入头朝向细胞模型,使得机器人以仿生的方式获取当前的角度信息。然后将感知速度和角度信息输入至位置细胞的前向编码神经网络模型,驱动位置细胞板上兴奋活动包的移动,获取机器人在环境中所处的位置,从而实现仿生机器人的环境认知功能。具体步骤如下:
1、感知速度的获取
图2为感知速度获取的执行流程图,对于高等哺乳动物来说,直接参与环境认知过程的速度信息应该是多种信号协同编码的结果,且感知速度与实际速度之间不可避免的存在误差。影响感知速度的主要因素有:视觉流、本体感觉。视觉流指的是视网膜图像的连续变化,这种连续的变化会引起生物体对自身速度的估计。本体感觉即为速度细胞构成的一个精确速度码系统,获取不含方向信息的实际运动速率作为本体感觉速度。基于此,本发明提出一种基于速度细胞和视觉信息的感知速度求解方法。
1.1基于光流法的视觉速度感知
以Lucas–Kanade光流算法计算连续图像之间的光流场,Lucas–Kanade光流算法的运行原理如下:假设原图是I(x,y,z,t),假设前一帧时间为t,后一帧的时间为t+Δt。则前一帧I的像素点在后一帧中的位置为I(x+Δx,y+Δy,z+Δz,t+Δt)。
根据亮度恒定假设:
I(x,y,z,t)=I(x+Δx,y+Δy,z+Δz,t+Δt) (1)
假设前后两帧图像之间的运动很小,则将上式右侧用泰勒级数展开:
Figure RE-GDA0002317645010000061
其中,H.O.T是泰勒级数展开式的高阶项,在运动距离很小的时候可以忽略不计。
根据式(1)和式(2)可以得出:
Figure RE-GDA0002317645010000062
而对于二维图像而言,只需要考虑x,y,t即可,其中Ix,Iy,It分别为图像在(x,y,t)方向上的差分,写成如下形式:
IxVx+IyVy=-It (4)
根据空间一致性假设简写为下面的形式:
Figure RE-GDA0002317645010000063
写成矩阵形式即:
Figure RE-GDA0002317645010000064
求得光流矢量为:
Figure RE-GDA0002317645010000065
Figure RE-GDA0002317645010000066
取光流矢量关于图像竖直方向上分量的绝对值大小|Vy|,其表达式如下:
|Vyi|=|Vi|sin(arctan(|Vyi|/|Vxi|)) (9)
Figure RE-GDA0002317645010000067
设计多层前馈逆传播误差神经网络(BP神经网络)作为通过视觉估计线速度的算法,以光流矢量关于图像竖直方向上分量的绝对值大小|Vy|作为BP神经网络的输入样本,以每一帧图片拍摄时编码器所获得的线速度作为输出样本,对 BP神经网络进行训练。设定利用Lucas–Kanade光流算法计算光流场的分辨率为10*13,即对应的BP神经网络有130个输入,输出则为1个(由视觉感知的线速度)。设定隐层神经元的个数为9个,迭代次数为100,神经网络的学习率设定为0.02,均方误差截止阈值(MSE)设定为0.004。
在对BP神经网络进行训练的过程可以看做是一个参数寻优的过程,即在参数空间中寻找一组最优参数使得均方误差最小。在具体的训练过程中,神经网络可能会陷入局部极小状态。因此为了防止局部极小现象的出现,本文以多组不同的参数值初始化连接网格细胞与位置细胞的BP神经网络,取训练之后误差最小的解作为最终参数,提高了模型的精确性和泛化性。训练完成后,通过BP神经网络得出的估计速度与当前编码器得出的实际速度比较如图3所示。
1.2基于速度细胞模型的本体速度感知
速度细胞构成了一个精确地速度码系统,反映的是不含方向信息的实际运动速率。生物学研究表明,速度细胞的放电率与当前大鼠运动的线速度呈正相关的关系,且当大鼠处于静止状态时,速度细胞也存在放电现象。速度细胞获取速度信息的数学模型以如下步骤所示:
速度细胞模型的一阶线性方程为:
Fi=Ai1(V+ViT)+Ai2 (11)
式(11)中Fi代表第i个速度细胞的放电率,Ai1代表速度细胞感知比例,Ai2代表速度细胞感知速度的偏置,ViT代表速度细胞感知速度的扰动。为实现模型的真实性,同时又确保模型的精确性,将Ai1、Ai2、ViT的取值范围设定为正态分布,其中设Ai1的取值范围为位置参数为1.8,方差为0.1的正态分布;Ai2的取值范围为位置参数为0.5,方差为0.05的正态分布;ViT的取值范围为位置参数为0,方差为0.1的正态分布,同时设定速度细胞的个数为20。
对所有速度细胞的放电率做归一化处理:
Figure RE-GDA0002317645010000071
式(12)中Fmax代表所有速度细胞放电率的最大值,Fmin代表所有速度细胞放电率的最小值,
Figure RE-GDA0002317645010000072
为归一化处理以后第i个速度细胞的放电率大小。
求解所有速度细胞放电率的数学期望E,首先求出所有速度细胞放电率的平均值
Figure RE-GDA0002317645010000073
再计算每个速度细胞放电率与平均值之差的绝对值,然后按照公式 (13)求解速度细胞放电率的数学期望E,也就是加权平均值。
Figure RE-GDA0002317645010000074
1.3感知速度的求解
求得速度细胞放电率的数学期望E和BP神经网络的输出Eout之后,首先要将E和Eout转化至同一量纲下,对应为
Figure RE-GDA0002317645010000081
Figure RE-GDA0002317645010000082
然后就需要对两者进行整合运算,求取最终的感知速度。由于视觉流连续变化的程度容易受到附加速度的影响,通过产生视觉对比度引起自身速度的错估。因此在求解感知速度Vg的时候,采用如下公式对感知速度进行求解:
Figure RE-GDA0002317645010000083
式(14)中,α代表权值系数,TH代表调整阈值,鉴于机器人在室内环与室外环境探索过程的外界光照强度和自身移动速度存在差异,因此通常取:α值的大小在室内环境下机器人探索通常取0.8~0.9,室外环境下机器人探索过程中α值的大小取0.75~0.85;TH值的大小在室内环境下机器人探索通常取0.1~0.2,室外环境下机器人探索过程中TH值的大小取0.9~1.5。当
Figure RE-GDA0002317645010000084
Figure RE-GDA0002317645010000085
之间的差值大于TH时,判断当前产生视觉对比度引起自身速度的错估,则令当前的感知速度为
Figure RE-GDA0002317645010000086
Figure RE-GDA0002317645010000087
Figure RE-GDA0002317645010000088
之间的差值小于TH时,判断当前视觉感知速度估算正确,则令
Figure RE-GDA0002317645010000089
Figure RE-GDA00023176450100000810
通过权值系数α求解得到的加权平均值作为当前的感知速度Vg
2、感知角度的获取
图4为感知角度获取的计算流程图,通过一维环状连接的细胞模型对头朝向细胞模型进行建模,获取一维环状模型上平滑移动的兴奋活动包的位置实现感知角度的获取。为了实现环状模型上兴奋活动包的位置严格跟随当前的角度,故对环状模型上兴奋活动包的位置进行闭环控制,设计控制器的形式为比例-微分控制(PD控制器)。
2.1头朝向细胞的建模
头朝向细胞对于指导动物的运动的运动有重要作用,当大鼠头部面向一个特定方向时,头朝向细胞发生最大放电,当头部偏离这个方向时,细胞放电会逐渐减弱。以水平角为起点,其放电强度随着老鼠头朝向角度增大而增大,当大鼠的头朝向到达该头朝向细胞的最优方向时,放电率达到峰值,之后其放电强度随着头朝向角度的增大逐渐偏离最优方向而逐渐减小,这个过程可以由一个高斯函数近似表达,其放电率公式如下:
Figure RE-GDA0002317645010000091
式(15)中,Rh代表头朝向细胞的放电率,θ代表当前头朝向角度,θ0代表该头朝向细胞的最优方向,θ和θ0的单位为弧度。σ代表头朝向细胞放电调整因子,其取值大小的范围为1~3。
2.2一维环状头朝向细胞的建模
一维环状头朝向细胞建模是将按照顺序排列的头朝向细胞首尾相接成一个封闭的环形,每一个头朝向细胞对应的最优方向θ0i,θ0i的计算公式如下所示:
Figure RE-GDA0002317645010000092
其中,i代表头朝向细胞的编号;n代表一维环状模型中头朝向细胞的个数,为了方便计算,其取值通常为36的倍数;
Figure RE-GDA0002317645010000093
代表角度偏置。
2.3从一维环状头朝向细胞模型中获取角度信息
根据头朝向细胞的放电特性,可知在一维环状细胞模型将会出现一个高斯帽形状的兴奋活动包,随着头朝向角度的变化,兴奋活动包将会在环状细胞模型上移动。获取兴奋活动包在环状细胞模型上的位置即可得知当前的头朝向信息。一维环状头朝向细胞模型兴奋活动如图4所示。
一维环状头朝向细胞模型的初始兴奋活动由式(16)确定,活动包的移动过程依赖细胞之间的兴奋传递来完成,兴奋活动传递的驱动公式如下:
Figure RE-GDA0002317645010000094
式(17)中,
Figure RE-GDA0002317645010000099
为兴奋活动包移动的驱动信号,受到比例因子ξ和头朝向变化的角速度ω(感知角度的变化率)的共同作用,其中比例因子ξ的大小由下文中所提及的闭环控制器的输出决定。
Figure RE-GDA0002317645010000095
Figure RE-GDA0002317645010000096
分别代表t时刻和t+1时刻第i 个头朝向细胞的放电率大小;
Figure RE-GDA0002317645010000097
Figure RE-GDA0002317645010000098
分别为t+1时刻第i-1和第i+1个头朝向细胞的放电率大小。
随着兴奋活动包在环状细胞模型上的长时间移动,兴奋活动包会逐渐扩散,这将会导致从环状细胞模型上获取的角度信息与真实的角度信息产生误差。因此本发明提出一种头朝向细胞之间兴奋连接的神经网络模型,由于局部兴奋性连接导致的头朝向细胞的变化量ΔH如下公式所示:
Figure RE-GDA0002317645010000101
式(18)中,n代表一维环状模型中头朝向细胞的个数,εn代表头朝向细胞之间的连接权值,
Figure RE-GDA0002317645010000102
代表t时刻第i个头朝向细胞的放电率大小,εn是一个矩阵,矩阵中元素大小与其所处的行列值的关系服从高斯分布。通过头朝向细胞之间的兴奋性连接,可以防止兴奋活动包在移动过程中的扩散,保证了角度信息的准确性。兴奋性传递之后,需要将所有头朝向细胞的放电率调整至大于0,而后再归一化,其数学表达式如下:
Figure RE-GDA0002317645010000103
2.4兴奋活动包位置的比例微分控制
为了使兴奋活动包在环状细胞模型上的位置严格跟随真实的头朝向角度的变化,设计比例微分控制器对兴奋活动包在环状细胞模型上的位置进行闭环控制。首先对当前真实的头朝向角度θ和从环状细胞模型上获取的感知角度θg作差,得到角度误差Δθ,通过比例-微分控制,控制器的输出值作为比例因子ξ的大小,兴奋活动包位置的比例微分控制框图如图5所示,控制器的比例系数kp大小的设定范围为1.27±0.3,微分系数kd大小的设定范围为5.16±0.2。
3、预测性编码的位置细胞模型
3.1位置细胞群的细胞板模型
位置细胞是大鼠感知自身在环境中所处位置的基本单元,其能够对空间相对位置进行特征性的编码,其放电活动提供了一个连续和动态的空间位置表达,位置细胞的放电率公式如式(20)所示。位置细胞的放电活动是路径积分系统的输出,为了实现位置细胞的放电率在实际物理环境中的量化,本发明中将位置细胞群建模成一个二维细胞板结构,细胞板上位置细胞的排列呈矩阵式排布,细胞板的行列值相等,定义位置细胞板左下角为原点,位置细胞板结构如图6所示。
Figure RE-GDA0002317645010000104
式(20)中,Rpc(r)为位置细胞i在位置r的放电率,r=[x,y]表征当前大鼠在环境中的位置坐标;r0=[x0,y0]为位置细胞i的的放电野中心所对应的在环境中所处位置的坐标;σ2为位置细胞放电野调整系数。因此,在位置细胞板上兴奋活动包呈现一个二维的高斯帽形状,兴奋活动包在位置细胞板上的效果如图7 所示。
3.2预测性编码的位置细胞板
初始位置细胞板的兴奋活动由式(20)确定,而后驱动位置细胞板上兴奋活动包移动的信号依赖于感知速度与感知角度,其中感知速度编码活动包在细胞板上移动的方向,感知速度编码活动包在细胞板上移动的快慢。基于此,本发明提出一种预测性编码的位置细胞板模型,在原有的位置细胞板模型的基础上,增加两块预测性编码位置细胞板,分别实现对原有位置细胞板上信息的横向预测性编码和纵向预测性编码。基于预测性编码位置细胞板的运行机理如图8所示,其主要步骤为:
Step 1:首先将原有位置细胞的信息传递至预测性编码位置细胞板
Step 2:预测性编码位置细胞板根据感知角度的大小,决定细胞板上的兴奋信息在横向和纵向上的传递方向。具体运行规则为:横向预测性编码位置细胞板接收到角度信息之后,判断横向移动的方向,当判断为横向向左移动时,横向预测性编码位置细胞板上的所有位置细胞分别将自身的放电信息传递至其左侧的位置细胞,处于左侧边界的位置细胞则将自身的放电信息传递至右侧边界的位置细胞;当判断为横向向右移动时,横向预测性编码位置细胞板上的所有位置细胞分别将自身的放电信息传递至其右侧的位置细胞,处于右侧边界的位置细胞则将自身的放电信息传递至左侧边界的位置细胞。纵向预测性编码的位置细胞板运行规则以此类推。运行机理的数学表达式如下:
Figure RE-GDA0002317645010000111
Figure RE-GDA0002317645010000112
式(21)和式(22)中,i和j分别为细胞板上对应行列值的大小,P(i,j)为原有位置细胞板上坐标为(i,j)的位置细胞放电率;
Figure RE-GDA0002317645010000121
Figure RE-GDA0002317645010000122
分别代表横向和纵向预测性编码位置细胞板上坐标为(i,j)的位置细胞放电率。Lneuro代表位置细胞板的每一行或每一列中位置细胞的个数,θg为一维环状头朝向细胞模型中获取的感知角度的大小。
3.3原有位置细胞兴奋重置
执行预测性编码之后,需要将预测性编码位置细胞板上的位置信息重新传递至原有位置细胞板,才能实现智能移动机器人对自身在环境中所处位置的认知。基于此,本发明通过神经网络的连接方式实现将预测性编码位置细胞板向原有位置细胞板的兴奋传递,连接权值由感知速度Vg和感知角度θg共同决定。由于预测性编码位置细胞板与原有位置细胞板的尺寸相同,因此网络传递结构是相同坐标下的位置细胞之间的连接,具体连接方式为:横向预测性编码位置细胞向原有位置细胞兴奋传递的连接权值大小为Vgcosθg,纵向预测性编码位置细胞向原有位置细胞兴奋传递的连接权值大小为Vgsinθg,原有位置细胞对自身也有兴奋传递,连接权值大小为1-Vg sinθg-Vgcosθg,兴奋传递的数学表达式如下:
Figure RE-GDA0002317645010000123
式(23)中,
Figure RE-GDA0002317645010000124
代表t时刻原有位置细胞的放电率,
Figure RE-GDA0002317645010000125
为下一时刻原有位置细胞的放电率。在全体原有位置细胞兴奋传递之后,需要将全体原有位置细胞调整至大于0,然后再归一化。
4、解算机器人的位置
4.1从位置细胞板上获取兴奋活动包的坐标
位置细胞拥有单一放电野,而大鼠感知自身在环境中所处位置信息是通过位置细胞的放电活动来提供的。基于以上生理学研究,本发明中智能移动机器人是通过获取原有位置细胞板上兴奋活动包的坐标来作为当前的位置信息,兴奋活动包在位置细胞板坐标(PX,PY)的计算公式如下:
Figure RE-GDA0002317645010000126
式(24)中,Lneuro代表位置细胞板的每一行或每一列中位置细胞的个数,i 和j分别为细胞板上对应行列值的大小,P(i,j)为原有位置细胞板上坐标为(i,j) 的位置细胞放电率。
4.2位置坐标的周期性编码
生理学研究表明,当大鼠来到一个新环境中的时候,对应环境的位置野很快就能建立,即大鼠能够利用海马体中有限个数的位置细胞对大范围空间区域进行编码。基于此,本发明利用位置细胞板的周期性编码来实现大范围空间的位置认知。以仿生机器人运动的初始位置为起点,且初始状态下兴奋活动包在位置细胞板的中央,即(PX,PY)=(Lneuro/2,Lneuro/2),此时仿生机器人在环境中的初始位置坐标为(X,Y)=(β(PX-Lneuro/2),β(PY-Lneuro/2)),其中β为细胞板上的坐标向真实位置坐标转换的比例系数,室内环境下β值的大小通常设定为5.5±0.8,;室外环境下β值的大小通常设定为14±2.0。根据预测性编码位置细胞板的活动特点可知,兴奋活动包在原有位置细胞板上是周期性连续地移动,即当兴奋活动包离开的细胞板的单侧边界,会从细胞板的另一侧边界进入细胞板。基于此,本发明给出位置坐标的周期性编码方法,可以实现智能移动机器人在有限数量的位置细胞下,实现在大范围空间区域的位置感知,其数学表达式如下:
Figure RE-GDA0002317645010000131
式(25)中,Xt和Yt分别代表t时刻机器人在环境中的位置坐标,Xt+1和Yt+1分别代表t+1时刻机器人在环境中的位置坐标,
Figure RE-GDA0002317645010000132
Figure RE-GDA0002317645010000133
分别代表t和t+1兴奋活动包在细胞板上的横坐标,
Figure RE-GDA0002317645010000134
Figure RE-GDA0002317645010000135
分别代表t和t+1兴奋活动包在细胞板上的纵坐标,Lneuro代表位置细胞板的每一行或每一列中位置细胞的个数,通过位置坐标的周期性编码计算,可实现机器人在大范围空间内的位置认知。

Claims (5)

1.一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法,其特征在于:首先通过摄像头采集环境的图像信息,通过陀螺仪和编码器采集机器人的角度与方向信息,并将上述信息传输到CPU中;结合视觉信息,提出一种基于速度细胞和视觉信息的感知速度求解方法,获取机器人的感知速度;接着利用一维环状连接的细胞模型模拟头朝向细胞的放电机理,将陀螺仪获取的角度信息输入头朝向细胞模型,使得机器人以仿生的方式获取当前的感知角度信息;随后将感知速度信息和感知角度信息输入至位置细胞的预测性编码神经网络模型,驱动位置细胞板上兴奋活动包的移动,通过解析位置细胞板的活动情况,获取位置细胞板上兴奋活动包的坐标,从而实现机器人在环境中的定位,完成智能移动机器人的环境认知功能;
具体工作流程如下:
S1 感知速度的获取
S1.1 通过摄像头获取当前机器人前进方向上的图像;
S1.2 将采集的图像转化为灰度图像,并利用Lucas-Kanade光流场解算方法获取前后两帧图像之间的光流场;
S1.3 解算光流场中所有光流矢量在图像竖直方向上分量的大小
S1.4 以求所有光流矢量在图像竖直方向上分量的大小作为BP神经网络的输入,以当前编码器获取的机器人前进的速度大小作为BP神经网络的输出,对BP神经网络进行训练;
S1.5 以当前编码器获取的机器人前进的速度大小作为速度细胞模型的输入,将BP神经网络输出的视觉感知速度与速度细胞模型输出的精确速度经过选择与加权处理,得到机器人的感知速度信息;
S2 角度信息的获取
S2.1 通过陀螺仪获取当前机器人前进方向的角度信息,计算前后两次测量的角度信息的差值,作为方向角的增量;
S2.2 以方向角的增量作为一维环状头朝向细胞模型的输入,实现一维环状头朝向细胞模型上的兴奋活动包随着方向角的增量输入而移动;
S2.3 为了将环状头朝向细胞模型上兴奋活动包的位置与当前编码器获取的角度信息一致,设计比例微分控制器,对兴奋活动包的位置进行闭环控制;
S2.4 通过算法获取环状头朝向细胞模型上兴奋活动包的位置,得到机器人的感知角度信息;
S3 位置细胞板兴奋活动包的移动
S3.1 初始化位置细胞板上所有位置细胞的兴奋活动,并将呈高斯帽形状的兴奋活动包置于位置细胞板的中心;
S3.2 根据输入的感知角度信息,将当前位置细胞板上的兴奋活动传递至预测性编码的位置细胞板;
S3.3 根据输入的感知速度信息,调整预测性编码神经网络模型的连接权值;将预测性编码位置细胞板上的兴奋信息通过连接权值重新传递至原有位置细胞板;
S4 解算机器人的位置
S4.1 获取兴奋活动包在原有位置细胞板上的坐标,并换算成机器人在环境中的位置;
S4.2 根据前后两次坐标的变化量决定是否需要对机器人在环境中的真实位置进行周期性编码,实现仿生机器人在大范围空间内的位置认知。
2.根据权利要求1所述的基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法,其特征在于:提出一种基于速度细胞和视觉信息的感知速度求解方法基于光流法的视觉速度感知,具体流程如下;
以Lucas–Kanade光流算法计算连续图像之间的光流场,求得图像的光流矢量为:
Figure FDA0002203129300000021
Figure FDA0002203129300000022
取光流矢量关于图像竖直方向上分量的绝对值大小,其表达式如下:
|Vyi|=|Vi|sin(arctan(|Vyi|/|Vxi|)) (3)
Figure FDA0002203129300000023
设计多层前馈逆传播误差神经网络(BP神经网络)作为通过视觉估计线速度的算法,以光流矢量关于图像竖直方向上分量的绝对值大小|Vy|作为BP神经网络的输入样本,以每一帧图片拍摄时编码器所获得的线速度作为输出样本,对BP神经网络进行训练;设定利用Lucas–Kanade光流算法计算光流场的分辨率为10*13,即对应的BP神经网络有130个输入,输出则为1个;设定隐层神经元的个数为9个,迭代次数为100,神经网络的学习率设定为0.02,均方误差截止阈值设定为0.004;
基于速度细胞模型的本体速度感知:
速度细胞获取速度信息的数学模型以如下步骤所示:
设速度细胞模型的一阶线性方程为:
Fi=Ai1(V+ViT)+Ai2 (5)
式(5)中Fi代表第i个速度细胞的放电率,Ai1代表速度细胞感知比例,Ai2代表速度细胞感知速度的偏置,ViT代表速度细胞感知速度的扰动;;为实现模型的真实性,同时又确保模型的精确性,将Ai1、Ai2、ViT的取值范围设定为正态分布,其中设Ai1的取值范围为位置参数为1.8,方差为0.1的正态分布;Ai2的取值范围为位置参数为0.5,方差为0.05的正态分布;ViT的取值范围为位置参数为0,方差为0.1的正态分布,同时设定速度细胞的个数为20;
而后对所有速度细胞的放电率做归一化处理:
Figure FDA0002203129300000031
式(6)中Fmax代表所有速度细胞放电率的最大值,Fmin代表所有速度细胞放电率的最小值,
Figure FDA0002203129300000032
为归一化处理以后第i个速度细胞的放电率大小;求解所有速度细胞放电率的数学期望E,首先求出所有速度细胞放电率的平均值
Figure FDA0002203129300000033
再计算每个速度细胞放电率与平均值之差的绝对值,然后按照公式(7)求解速度细胞放电率的数学期望E,也就是加权平均值;
Figure FDA0002203129300000034
感知速度的求解:
求得速度细胞放电率的数学期望E和BP神经网络的输出Eout之后,首先要将E和Eout转化至同一量纲下,对应为
Figure FDA0002203129300000035
Figure FDA0002203129300000036
然后对两者进行整合运算,求取最终的感知速度,采用如下公式对感知速度Vg进行求解:
Figure FDA0002203129300000041
式(8)中,α代表权值系数,TH代表调整阈值,α值的大小在室内环境下机器人探索取0.8~0.9,室外环境下机器人探索过程中α值的大小取0.75~0.85;TH值的大小在室内环境下机器人探索取0.1~0.2,室外环境下机器人探索过程中TH值的大小取0.9~1.5;当
Figure FDA0002203129300000042
Figure FDA0002203129300000043
之间的差值大于TH时,判断当前产生视觉对比度引起自身速度的错估,则令当前的感知速度为
Figure FDA0002203129300000044
Figure FDA0002203129300000045
Figure FDA0002203129300000046
之间的差值小于TH时,判断当前视觉感知速度估算正确,则令
Figure FDA0002203129300000047
Figure FDA0002203129300000048
通过权值系数α求解得到的加权平均值作为当前的感知速度Vg
3.根据权利要求1所述的基于鼠脑海马认知机理的智能 机器人运动状态和位置认知方法,其特征在于:通过一维环状连接的细胞模型对头朝向细胞模型进行建模,获取一维环状模型上平滑移动的兴奋活动包的位置实现感知角度的获取;设计控制器的形式为比例-微分控制;
兴奋活动包在一维环状头朝向细胞模型上移动:
活动包的移动过程依赖细胞之间的兴奋传递来完成,兴奋活动传递的驱动公式如下:
Figure FDA0002203129300000049
式(9)中,
Figure FDA00022031293000000410
为兴奋活动包移动的驱动信号,受到比例因子ξ和头朝向变化的角速度ω的共同作用,其中比例因子ξ的大小由下文中所提及的闭环控制器的输出决定;
Figure FDA00022031293000000411
Figure FDA00022031293000000412
分别代表t时刻和t+1时刻第i个头朝向细胞的放电率大小;
Figure FDA00022031293000000413
Figure FDA00022031293000000414
分别为t+1时刻第i-1和第i+1个头朝向细胞的放电率大小;
由于局部兴奋性连接导致的头朝向细胞的变化量ΔH如下公式所示:
Figure FDA00022031293000000415
式(10)中,n代表一维环状模型中头朝向细胞的个数,εn代表头朝向细胞之间的连接权值,
Figure FDA00022031293000000416
代表t时刻第i个头朝向细胞的放电率大小,εn是一个矩阵,矩阵中元素大小与其所处的行列值的关系服从高斯分布;兴奋性传递之后,需要将所有头朝向细胞的放电率调整至大于0,而后再归一化,其数学表达式如下:
Figure FDA0002203129300000051
设计比例微分控制器对兴奋活动包在环状细胞模型上的位置进行闭环控制;首先对当前真实的头朝向角度θ和从环状细胞模型上获取的感知角度θg作差,得到角度误差Δθ,通过比例-微分控制,控制器的输出值作为比例因子ξ的大小;控制器的比例系数kp大小的设定范围为1.27±0.3,微分系数kd大小的设定范围为5.16±0.2。
4.根据权利要求1所述的基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法,其特征在于:提出一种预测性编码的位置细胞模型;
预测性编码的位置细胞板:
在原有的位置细胞板模型的基础上,增加两块预测性编码位置细胞板,分别实现对原有位置细胞板上信息的横向预测性编码和纵向预测性编码;其步骤为:
Step 1:首先将原有位置细胞的信息传递至预测性编码位置细胞板
Step 2:预测性编码位置细胞板根据感知角度的大小,决定细胞板上的兴奋信息在横向和纵向上的传递方向;运行机理的数学表达式如下:
Figure FDA0002203129300000052
Figure FDA0002203129300000053
式(12)和式(13)中,i和j分别为细胞板上对应行列值的大小,P(i,j)为原有位置细胞板上坐标为(i,j)的位置细胞放电率;
Figure FDA0002203129300000054
Figure FDA0002203129300000055
分别代表横向和纵向预测性编码位置细胞板上坐标为(i,j)的位置细胞放电率;Lneuro代表位置细胞板的每一行或每一列中位置细胞的个数,θg为一维环状头朝向细胞模型中获取的感知角度的大小;
原有位置细胞兴奋重置:
通过神经网络的连接方式实现将预测性编码位置细胞板向原有位置细胞板的兴奋传递,连接权值由感知速度Vg和感知角度θg共同决定;由于预测性编码位置细胞板与原有位置细胞板的尺寸相同,因此网络传递结构是相同坐标下的位置细胞之间的连接,具体连接方式为:横向预测性编码位置细胞向原有位置细胞兴奋传递的连接权值大小为Vgcosθg,纵向预测性编码位置细胞向原有位置细胞兴奋传递的连接权值大小为Vgsinθg,原有位置细胞对自身也有兴奋传递,连接权值大小为1-Vgsinθg-Vgcosθg,兴奋传递的数学表达式如下:
Figure FDA0002203129300000061
式(14)中,
Figure FDA0002203129300000062
代表t时刻原有位置细胞的放电率,
Figure FDA0002203129300000063
为下一时刻原有位置细胞的放电率;在全体原有位置细胞兴奋传递之后,也需要将全体原有位置细胞调整至大于0,然后再归一化。
5.根据权利要求1所述的基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法,其特征在于:通过获取兴奋活动包在位置细胞板上的坐标来解算机器人在环境中所处的位置;
从位置细胞板上获取兴奋活动包的坐标:
智能移动机器人是通过获取原有位置细胞板上兴奋活动包的坐标来作为当前的位置信息,兴奋活动包在位置细胞板坐标(PX,PY)的计算公式如下:
Figure FDA0002203129300000064
式(15)中,Lneuro代表位置细胞板的每一行或每一列中位置细胞的个数,i和j分别为细胞板上对应行列值的大小,P(i,j)为原有位置细胞板上坐标为(i,j)的位置细胞放电率;
位置坐标的周期性编码
利用位置细胞板的周期性编码来实现大范围空间的位置认知;以机器人运动的初始位置为起点,且初始状态下兴奋活动包在位置细胞板的中央,即(PX,PY)=(Lneuro/2,Lneuro/2),此时机器人在环境中的初始位置坐标为(X,Y)=(β(PX-Lneuro/2),β(PY-Lneuro/2)),其中β为细胞板上的坐标向真实位置坐标转换的比例系数,室内环境下β值的大小设定为5.5±0.8;室外环境下β值的大小设定为14±2.0;根据预测性编码位置细胞板的活动特点可知,兴奋活动包在原有位置细胞板上是周期性连续地移动,即当兴奋活动包离开的细胞板的单侧边界,会从细胞板的另一侧边界进入细胞板;给出位置坐标的周期性编码方法,实现智能移动机器人在有限数量的位置细胞下,实现在大范围空间区域的位置感知,其数学表达式如下:
Figure FDA0002203129300000071
式(16)中,Xt和Yt分别代表t时刻机器人在环境中的位置坐标,Xt+1和Yt+1分别代表t+1时刻机器人在环境中的位置坐标,
Figure FDA0002203129300000072
Figure FDA0002203129300000073
分别代表t和t+1兴奋活动包在细胞板上的横坐标,
Figure FDA0002203129300000074
Figure FDA0002203129300000075
分别代表t和t+1兴奋活动包在细胞板上的纵坐标,Lneuro代表位置细胞板的每一行或每一列中位置细胞的个数,通过位置坐标的周期性编码计算,实现机器人在大范围空间内的位置认知。
CN201910872030.4A 2019-09-16 2019-09-16 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法 Active CN110764498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872030.4A CN110764498B (zh) 2019-09-16 2019-09-16 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872030.4A CN110764498B (zh) 2019-09-16 2019-09-16 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法

Publications (2)

Publication Number Publication Date
CN110764498A CN110764498A (zh) 2020-02-07
CN110764498B true CN110764498B (zh) 2022-09-09

Family

ID=69329867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872030.4A Active CN110764498B (zh) 2019-09-16 2019-09-16 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法

Country Status (1)

Country Link
CN (1) CN110764498B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552298B (zh) * 2020-05-26 2023-04-25 北京工业大学 一种基于鼠脑海马空间细胞的仿生定位方法
CN112525194B (zh) * 2020-10-28 2023-11-03 北京工业大学 一种基于海马-纹状体内源性和外源性信息的认知导航方法
CN113657574A (zh) * 2021-07-28 2021-11-16 哈尔滨工业大学 一种仿生空间认知模型的构建方法及系统
WO2023184223A1 (zh) * 2022-03-30 2023-10-05 中国电子科技集团公司信息科学研究院 基于脑启发空间编码机制的机器人自主定位方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125730A (zh) * 2016-07-10 2016-11-16 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
CN106949896A (zh) * 2017-05-14 2017-07-14 北京工业大学 一种基于鼠脑海马的情景认知地图构建及导航方法
CN109668566A (zh) * 2018-12-05 2019-04-23 大连理工大学 一种基于鼠脑定位细胞的机器人情景认知地图的构建与导航方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3708077B1 (en) * 2011-09-09 2024-06-19 The Regents of The University of California In vivo visualization and control of pathological changes in neural circuits

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125730A (zh) * 2016-07-10 2016-11-16 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
CN106949896A (zh) * 2017-05-14 2017-07-14 北京工业大学 一种基于鼠脑海马的情景认知地图构建及导航方法
CN109668566A (zh) * 2018-12-05 2019-04-23 大连理工大学 一种基于鼠脑定位细胞的机器人情景认知地图的构建与导航方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
仿鼠脑海马的机器人地图构建与路径规划方法;邹强等;《华中科技大学学报(自然科学版)》;20181220(第12期);全文 *
大鼠脑海马结构认知机理及其在机器人导航中的应用;于乃功等;《北京工业大学学报》;20170330;第43卷(第03期);第434-442页 *

Also Published As

Publication number Publication date
CN110764498A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110764498B (zh) 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法
CN112461247B (zh) 一种基于自适应麻雀搜索算法的机器人路径规划方法
CN109668566B (zh) 一种基于鼠脑定位细胞的机器人情景认知地图的构建与导航方法
Kaiser et al. Towards a framework for end-to-end control of a simulated vehicle with spiking neural networks
CN106125730B (zh) 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
US9189730B1 (en) Modulated stochasticity spiking neuron network controller apparatus and methods
US9367798B2 (en) Spiking neuron network adaptive control apparatus and methods
CN111552298B (zh) 一种基于鼠脑海马空间细胞的仿生定位方法
US20150032258A1 (en) Apparatus and methods for controlling of robotic devices
Liu et al. Brain-like position measurement method based on improved optical flow algorithm
CN109240279B (zh) 一种基于视觉感知和空间认知神经机制的机器人导航方法
CN114708435B (zh) 基于语义分割的障碍物尺寸预测与不确定性分析方法
CN111044031B (zh) 一种基于鼠脑海马信息传递机制的认知地图构建方法
CN108362284A (zh) 一种基于仿生海马认知地图的导航方法
CN110706252B (zh) 运动模型引导下的机器人核相关滤波跟踪算法
CN114037050A (zh) 一种基于脉冲神经网络内在可塑性的机器人退化环境避障方法
CN113703322A (zh) 一种基于鼠脑视觉通路与内嗅—海马认知机理的情景记忆模型构建方法
CN117077727A (zh) 基于时空注意力机制和神经常微分方程的轨迹预测方法
CN119620757B (zh) 一种基于混合表征学习的四足机器人三维环境全向运动控制方法
Zahra et al. Differential mapping spiking neural network for sensor-based robot control
Xing et al. A brain-inspired approach for collision-free movement planning in the small operational space
CN116385797A (zh) 基于自注意力的时间通道联合注意力的事件流分类方法
CN120095829A (zh) 一种基于深度视觉识别的摘钩机器人控制方法及系统
Seneviratne et al. CROSS-GAiT: Cross-Attention-Based Multimodal Representation Fusion for Parametric Gait Adaptation in Complex Terrains
Hua et al. Human-like artificial intelligent wheelchair robot navigated by multi-sensor models in indoor environments and error analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant