[go: up one dir, main page]

CN113917927A - 一种基于Leap Motion交互的仿生机器鱼控制系统 - Google Patents

一种基于Leap Motion交互的仿生机器鱼控制系统 Download PDF

Info

Publication number
CN113917927A
CN113917927A CN202111251942.3A CN202111251942A CN113917927A CN 113917927 A CN113917927 A CN 113917927A CN 202111251942 A CN202111251942 A CN 202111251942A CN 113917927 A CN113917927 A CN 113917927A
Authority
CN
China
Prior art keywords
fish
leap motion
robotic fish
robot
robot fish
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111251942.3A
Other languages
English (en)
Inventor
张如美
方学林
苏宗帅
王宝新
高存强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Aerospace Xinguang Group Co Ltd
Original Assignee
Shenyang Aerospace Xinguang Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aerospace Xinguang Group Co Ltd filed Critical Shenyang Aerospace Xinguang Group Co Ltd
Priority to CN202111251942.3A priority Critical patent/CN113917927A/zh
Publication of CN113917927A publication Critical patent/CN113917927A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Leap Motion交互的仿生机器鱼控制系统，操作者可通过单手指或多手指运动轨迹来完成对机器鱼单体或多体的路径控制，提高人‑鱼交互的多样性和智能性。上位机交互平台通过Leap Motion对操作者的手部信息进行采集，包括双手、多手指的运动轨迹数据；然后基于机器鱼运动学模型，结合B样条曲线(B‑Spline)规划出切实可行的单体或多体的表演轨迹；最后将连续轨迹点离散成位置‑时间序列，由无线通信的方式传递给机器鱼。机器鱼接收到控制起始指令及位置‑时间路径点后，按照预设轨迹进行游动，游动过程中由ArUco码与惯性导航模块进行位姿的实时反馈，机器鱼控制器对实际测量位姿与预设位姿进行对比，利用PID算法进行实时修正，直至完成轨迹点的完全跟踪。

Description

一种基于Leap Motion交互的仿生机器鱼控制系统
技术领域
本发明涉及仿生机器鱼技术领域，具体涉及一种基于Leap Motion交互的仿生机器鱼控制系统。
背景技术
机器鱼是以仿生为主题的新型水下探测器，因其噪声小、仿生性强的特点，在水质环境勘察、军事侦察、海底勘探、教育娱乐等多个领域发挥着重要作用。目前，国内外科研机构对仿生机器鱼的研制多集中于鱼类多样性、驱动能力、个体机动性、运动控制、仿生材料等本体设计方面，在机器鱼智能化人-鱼交互方面的研究不够深入。传统的控制方式主要包括人机界面、示教器、遥控器，交互方式大多依赖于鼠标、键盘、触摸屏等，操作程序复杂繁琐且交互不够直接。新型智能语音控制方法在环境嘈杂的学校、娱乐等场所又极易出现误识别甚至无法识别的问题。如何实现操作者对仿生鱼的直接控制，提高学生或游客与鱼的互动是现有技术有待解决的问题。
现有技术CN112068705 A公开了一种基于手势识别的仿生机器鱼交互控制方法及系统，该专利主要特征是利用椭圆肤色检测模型实现对手势的检测，能够避免受到光照的影响，采用傅里叶算子进行手势特征提取，能够更好的进行手势识别，并建立手势特征库，对SVM模型进行训练保存，依靠训练好的SVM模型进行手势识别，最后实现仿生机器鱼的控制。由该专利可知，仿生鱼手势识别已有一定研究背景，但侧重于图像处理及识别。
发明内容
本发明提供一种,。旨在解决目前人-鱼交互系统不够直观和友好的问题，赋予机器鱼更具观赏性的智能互动特技，促使仿生机器鱼从单一化表演向花样化、智能化、人-鱼互动精准化方向发展。
本发明所采用的技术方案是一种基于Leap Motion交互的仿生机器鱼控制系统，包括基于Leap Motion的体感路径输入模块，Leap Motion SDK开发包安装在PC机上，对获得的手部数据进行处理并提取手部运动特征；
基于B样条曲线的机器鱼路径规划模块，采用二次或高次B样条曲线来对LeapMotion输入的轨迹点进行拟合或插值，建立路径曲率最小化的目标函数，机器鱼游动速度由路径的曲率决定，根据速度可计算得到机器鱼游动的位置-时间序列；
基于ArUco与惯导融合感知的机器鱼定位模块，ArUco标识码地图构建将ArUco二维码阵列放置到机器鱼游动场景中，利用相机对环境中随机分布的ArUco码进行视觉建图，构建出二维码在三维空间中的分布图；然后确定一个参考二维码坐标系作为世界坐标系，并得到所有二维码角点在世界坐标系下的三维坐标；机器鱼携带相机游动并实时采集二维码信息，根据采集得到的图像预估当前所处的位置与姿态；
基于PID算法的机器鱼轨迹跟踪模块，机器鱼控制器将采集得到的实时位姿数据与预先设计的位置-时间序列进行比较，计算当前位置与目标位置的偏差，根据偏差调整自身的速度及游动航向。
进一步地，所述的手部运动特征包括单手指在感知区域内画圈或多手指或单手指多次画圈，所述的画圈方向包括顺时针画圈和逆时针画圈。
进一步地，所述的Leap Motion包括两个立体摄像机和三个红外LED，检测范围是在Leap Motion感知元件的上方25-600mm之间。
进一步地，所述的样条曲线节点的坐标值即为机器鱼游动的目标位置，曲线在节点处的切线为机器鱼航向。
本发明的有益效果是：本申请针对仿生机器鱼智能化、人机交互、地图构建及路径跟踪控制等方面进行研究，具有一定的应用价值和市场前景。以人手势运动路径作为机器人个体或多体的跟踪轨迹，交互方式友好、精准、新颖、自然，给机器鱼在娱乐观赏、科普教学等场合的应用带来十足的体验感和科技感。实现了对仿生鱼的有效控制，提高学生与机器鱼之间互动的直观性。
附图说明
图1为本发明仿生机器鱼人-鱼交互系统框架图。
图2为本发明基于ArUco码及惯导信息融合定位系统图。
图3为本发明机器鱼游动策略图。
具体实施方式
仿生机器鱼的传统控制方式主要包括人机界面、示教器、遥控器，交互方式大多依赖于鼠标、键盘、触摸屏等，操作程序复杂繁琐且交互不够直接。新型智能语音控制方法在环境嘈杂的学校、娱乐等场所容易出现误识别甚至无法识别的问题。如何实现对仿生鱼的有效控制，提高学生与机器鱼互动的直观性是现有技术有待解决的问题。
一种基于Leap Motion交互的仿生机器鱼控制系统及方法，不同于传统控制及交互方式，操作者可通过单手指或多手指运动轨迹来完成对机器鱼单体或多体的路径控制，提高人-鱼交互的多样性和智能性。上位机交互平台通过Leap Motion对操作者的手部信息进行采集，采集数据包括双手、多手指的运动轨迹数据；然后基于机器鱼运动学模型，结合B样条曲线(B-Spline)规划出切实可行的单体或多体的表演轨迹；最后将连续轨迹点离散成位置-时间序列，由无线(蓝牙、红外等)通信的方式传递给机器鱼。机器鱼接收到控制起始指令及位置-时间路径点后，按照预设轨迹进行游动，游动过程中由ArUco码与惯性导航模块进行位姿的实时反馈，机器鱼控制器对实际测量位姿与预设位姿进行对比，利用PID算法进行实时修正，直至完成轨迹点的完全跟踪。
仿生机器鱼人-鱼交互系统框架如1所示，主要包括四个方面：(1)基于LeapMotion的体感路径输入；(2)基于B样条曲线的机器鱼路径规划；(3)基于ArUco与惯导融合感知的机器鱼定位；(4)基于PID算法的机器鱼轨迹跟踪。
(1)基于Leap Motion的体感路径输入
Leap Motion包括两个立体摄像机和三个红外LED，检测的范围大体在设备(LeapMotion感知元件)上方25mm到600mm之间，精度高，达到0.01mm，在PC机上，安装Leap MotionSDK开发包，对获得的手部数据进行处理，提取手部的运动特征。本专利主要识别两类手势，一种是单手指在感知区域内画圈或其它图形，包括顺时针画圈和逆时针画圈两个滑动方向；另一种是多手指或单手指多次画圈，以期将不同的手指配置给不同的机器鱼，完成操作者与多鱼之间的互动。
(2)基于B样条曲线的机器鱼路径规划
为了保证机器鱼游动路径的平滑性，专利采用二次或高次B样条曲线来对LeapMotion输入的轨迹点进行拟合或插值，处理过程中考虑机器鱼最小转弯半径、首末端点约束、曲率连续等多约束条件，建立路径曲率最小化的目标函数，样条曲线节点的坐标值即为机器鱼游动的目标位置，曲线在节点处的切线为机器鱼航向，机器鱼游动速度由路径的曲率决定，曲率越小，速度越大，曲率越大，速度越小，根据速度可计算得到机器鱼游动的位置-时间序列。
(3)基于ArUco与惯导感知的机器鱼全局定位
基于ArUco码及惯导信息融合定位系统如上2所示，ArUco标识码地图构建首先将ArUco二维码阵列放置到机器鱼游动场景中，比如水族馆、试验池等环境中，利用相机对环境中随机分布的ArUco码进行视觉建图，构建出二维码在三维空间中的分布图；然后确定一个参考二维码坐标系作为世界坐标系，并得到所有二维码角点在世界坐标系下的三维坐标；机器鱼携带相机游动并实时采集二维码信息，根据采集得到的图像预估当前所处的位置与姿态。机器鱼控制器将ArUco码计算得到的位姿信息与惯导传感数据相结合，融合方式可以但不限于卡尔曼滤波算法，通过多传感数据的融合克服传统视觉导航方式对辅助物理条件依赖性强，对环境要求高且不灵活的缺陷，同时弥补惯性导航积分计算累积误差大、定位精度低的问题，将该技术借鉴到机器鱼表演模式中，具有精度高、灵活性强、应用范围广等诸多优势。
(4)基于PID算法的机器鱼轨迹跟踪
机器鱼控制器将采集得到的实时位姿数据与预先设计的位置-时间序列进行比较，计算当前位置与目标位置的偏差，根据偏差调整自身的速度及游动航向，以保证按照预设的时间沿预设路径到达预设目标点，游动策略如3所示。
操作者控制手势与Leap Motion体感控制器交互完成机器鱼游动路径的定制，控制台依据手势轨迹点自动生成机器鱼游动位置-时间函数，以无线的方式启动机器鱼，机器鱼控制器根据命令及PID算法自主完成表演。
本发明以人手势运动路径作为机器人个体或多体的跟踪轨迹，交互方式友好、精准、新颖、自然，给机器鱼在娱乐观赏、科普教学等场合的应用带来十足的体验感和科技感。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。

Claims (4)

1.一种基于Leap Motion交互的仿生机器鱼控制系统，其特征在于：包括基于LeapMotion的体感路径输入模块，Leap Motion SDK开发包安装在PC机上，对获得的手部数据进行处理并提取手部运动特征；
基于B样条曲线的机器鱼路径规划模块，采用二次或高次B样条曲线来对Leap Motion输入的轨迹点进行拟合或插值，建立路径曲率最小化的目标函数，机器鱼游动速度由路径的曲率决定，根据速度可计算得到机器鱼游动的位置-时间序列；
基于ArUco与惯导融合感知的机器鱼定位模块，ArUco标识码地图构建将ArUco二维码阵列放置到机器鱼游动场景中，利用相机对环境中随机分布的ArUco码进行视觉建图，构建出二维码在三维空间中的分布图；然后确定一个参考二维码坐标系作为世界坐标系，并得到所有二维码角点在世界坐标系下的三维坐标；机器鱼携带相机游动并实时采集二维码信息，根据采集得到的图像预估当前所处的位置与姿态；
基于PID算法的机器鱼轨迹跟踪模块，机器鱼控制器将采集得到的实时位姿数据与预先设计的位置-时间序列进行比较，计算当前位置与目标位置的偏差，根据偏差调整自身的速度及游动航向。
2.根据权利要求1所述的一种基于Leap Motion交互的仿生机器鱼控制系统，其特征在于：所述的手部运动特征包括单手指在感知区域内画圈或多手指或单手指多次画圈，所述的画圈方向包括顺时针画圈和逆时针画圈。
3.根据权利要求1所述的一种基于Leap Motion交互的仿生机器鱼控制系统，其特征在于：所述的Leap Motion包括两个立体摄像机和三个红外LED，检测范围是在Leap Motion感知元件的上方25-600mm之间。
4.根据权利要求1所述的一种基于Leap Motion交互的仿生机器鱼控制系统，其特征在于：所述的样条曲线节点的坐标值即为机器鱼游动的目标位置，曲线在节点处的切线为机器鱼航向。
CN202111251942.3A 2021-10-26 2021-10-26 一种基于Leap Motion交互的仿生机器鱼控制系统 Pending CN113917927A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111251942.3A CN113917927A (zh) 2021-10-26 2021-10-26 一种基于Leap Motion交互的仿生机器鱼控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251942.3A CN113917927A (zh) 2021-10-26 2021-10-26 一种基于Leap Motion交互的仿生机器鱼控制系统

Publications (1)

Publication Number Publication Date
CN113917927A true CN113917927A (zh) 2022-01-11

Family

ID=79242991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251942.3A Pending CN113917927A (zh) 2021-10-26 2021-10-26 一种基于Leap Motion交互的仿生机器鱼控制系统

Country Status (1)

Country Link
CN (1) CN113917927A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120170715A (zh) * 2025-05-21 2025-06-20 武汉科技大学 融合多IMU和ArUco标记码的机器人手动引导装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880080A (zh) * 2012-10-15 2013-01-16 河海大学 仿生鱼体感交互式方法
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制系统
CN104516488A (zh) * 2013-09-28 2015-04-15 南京专创知识产权服务有限公司 仿生鱼手镯交互系统
CN104731334A (zh) * 2015-03-26 2015-06-24 广东工业大学 空间手态交互式海上丝路动态历史gis系统及实现方法
CN104899484A (zh) * 2015-05-07 2015-09-09 广东工业大学 手部行为三维密码锁的解锁方法
CN109374003A (zh) * 2018-11-06 2019-02-22 山东科技大学 一种基于ArUco码的移动机器人视觉定位与导航方法
CN110517287A (zh) * 2019-05-17 2019-11-29 北京印刷学院 获取机器鱼运动轨迹的方法、装置、设备及存储介质
WO2020094056A1 (zh) * 2018-11-06 2020-05-14 苏州艾吉威机器人有限公司 基于b样条曲线的agv运动控制方法
CN111649746A (zh) * 2020-06-11 2020-09-11 青岛卓信通智能科技有限公司 一种融合惯导测量和ArUco标记的定位与导航方法
CN112068705A (zh) * 2020-09-15 2020-12-11 山东建筑大学 一种基于手势识别的仿生机器鱼交互控制方法及系统
US10935986B1 (en) * 2019-11-28 2021-03-02 Institute Of Automation, Chinese Academy Of Sciences Gliding depth control method, system and device for biomimetic gliding robotic dolphin
CN112837373A (zh) * 2021-03-03 2021-05-25 福州视驰科技有限公司 一种不需要特征点匹配的多相机位姿估计方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880080A (zh) * 2012-10-15 2013-01-16 河海大学 仿生鱼体感交互式方法
CN104516488A (zh) * 2013-09-28 2015-04-15 南京专创知识产权服务有限公司 仿生鱼手镯交互系统
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制系统
CN104731334A (zh) * 2015-03-26 2015-06-24 广东工业大学 空间手态交互式海上丝路动态历史gis系统及实现方法
CN104899484A (zh) * 2015-05-07 2015-09-09 广东工业大学 手部行为三维密码锁的解锁方法
CN109374003A (zh) * 2018-11-06 2019-02-22 山东科技大学 一种基于ArUco码的移动机器人视觉定位与导航方法
WO2020094056A1 (zh) * 2018-11-06 2020-05-14 苏州艾吉威机器人有限公司 基于b样条曲线的agv运动控制方法
CN110517287A (zh) * 2019-05-17 2019-11-29 北京印刷学院 获取机器鱼运动轨迹的方法、装置、设备及存储介质
US10935986B1 (en) * 2019-11-28 2021-03-02 Institute Of Automation, Chinese Academy Of Sciences Gliding depth control method, system and device for biomimetic gliding robotic dolphin
CN111649746A (zh) * 2020-06-11 2020-09-11 青岛卓信通智能科技有限公司 一种融合惯导测量和ArUco标记的定位与导航方法
CN112068705A (zh) * 2020-09-15 2020-12-11 山东建筑大学 一种基于手势识别的仿生机器鱼交互控制方法及系统
CN112837373A (zh) * 2021-03-03 2021-05-25 福州视驰科技有限公司 一种不需要特征点匹配的多相机位姿估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕亚辉，严雨灵: "基于手势轨迹的工业机器人轨迹规划", 《智能计算机与应用》, 31 January 2019 (2019-01-31), pages 1 - 3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120170715A (zh) * 2025-05-21 2025-06-20 武汉科技大学 融合多IMU和ArUco标记码的机器人手动引导装置

Similar Documents

Publication Publication Date Title
Wang et al. Learning to navigate through complex dynamic environment with modular deep reinforcement learning
CN109668566B (zh) 一种基于鼠脑定位细胞的机器人情景认知地图的构建与导航方法
CN110202583B (zh) 一种基于深度学习的仿人机械手控制系统及其控制方法
US8577126B2 (en) System and method for cooperative remote vehicle behavior
Browatzki et al. Active object recognition on a humanoid robot
Stückler et al. Efficient 3D object perception and grasp planning for mobile manipulation in domestic environments
US20090180668A1 (en) System and method for cooperative remote vehicle behavior
CN102982557A (zh) 基于深度相机的空间手势姿态指令处理方法
CN104850120B (zh) 基于ihdr自主学习框架的轮式移动机器人导航方法
Loper et al. Mobile human-robot teaming with environmental tolerance
Shin et al. Hand gesture-based wearable human-drone interface for intuitive movement control
Chu et al. The helping hand: An assistive manipulation framework using augmented reality and tongue-drive interfaces
Zhang et al. Robotic control of dynamic and static gesture recognition
Shi et al. Underwater formation system design and implement for small spherical robots
Oh et al. A system for traded control teleoperation of manipulation tasks using intent prediction from hand gestures
Yu et al. A multi-sensor gesture interaction system for human-robot cooperation
CN113917927A (zh) 一种基于Leap Motion交互的仿生机器鱼控制系统
Silva et al. Navigation and obstacle avoidance: A case study using Pepper robot
Huda et al. Real-time hand-gesture recognition for the control of wheelchair
Chow et al. Learning human navigational skill for smart wheelchair in a static cluttered route
Mi et al. Gesture recognition based teleoperation framework of robotic fish
Jin et al. Human-robot interaction for assisted object grasping by a wearable robotic object manipulation aid for the blind
CN120663318A (zh) 基于视觉的人体关键点检测机械手掌同步控制方法及系统
Salimi et al. Benchmarking ML Approaches to UWB-Based Range-Only Posture Recognition for Human-Robot Interaction
Mu et al. A human machine interaction control system for bionic robotic fish based on gesture recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220111