CN103049007A - 一种基于操控员头部动作操控移动平台的系统和方法 - Google Patents

Abstract

本发明提供一种基于操控员头部动作操控移动平台的系统和方法，该系统包括操控端和受控端，操控端包括头部动作检测模块、操控指令模块和视频显示模块；受控端包括移动平台和视频采集模块。根据本发明的实施例，通过获得操控员头部的位置和姿态对移动平台进行控制，使操控员能更直观有效地进行操控移动平台的移动以及移动平台上视频采集模块的转动，并且操控员双手可进行其他的操作，能够拥有更多单独操控输入以及更多的输入组合。

Description

一种基于操控员头部动作操控移动平台的系统和方法

技术领域

本发明涉及一种移动平台的操控系统，尤其涉及一种基于操控员头部动作操控移动平台的系统和方法。

背景技术

移动机器人的操控系统一般需要利用操控员的手去操作操控杆或键盘按钮等界面从而发出操控指令。此方法最大的缺点是占用了操控员手部的活动能力，减低操控员同一时间操控移动平台的移动以及移动平台上其他单元的可能性。

发明内容

本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为了使操控员同一时间进行更多的操作，本发明提供一种基于操控员头部动作操控移动平台的系统和方法。

本发明解决现有技术的问题所采用的技术方案如下：

根据本发明的一个方面，提供的一种基于操控员头部动作操控移动平台的系统包括操控端和受控端，受控端包括移动平台和视频采集模块，操控端包括头部动作检测模块、操控指令模块和视频显示模块；其中：

头部动作检测模块，用于获取操控员的头部位置和姿态角度，并将头部位置信息和姿态角度信息发送给操控指令模块；

操控指令模块，用于根据操控员的头部位置信息向移动平台发送控制移动平台移动的移动指令，以及用于根据操控员的头部姿态角度信息向移动平台发送控制视频采集模块姿态角度的姿态指令；

移动平台，用于接收移动指令进行移动进而控制视频采集模块移动，以及用于接收姿态指令进而控制视频采集模块的姿态角度；

视频采集模块，用于采集移动平台周围的视频，并将视频发送给视频显示模块；

视频显示模块，用于接收并显示从视频采集模块接收的视频。

作为优选的实施例，移动平台上设置视频采集模块云台，视频采集模块安装在视频采集模块云台上，视频采集模块云台用于接收姿态指令，并根据姿态指令控制视频采集模块的姿态角度。

作为优选的实施例，头部动作检测模块包括一个或一个以上的第一摄像头、图像分析单元和发送单元，其中：

第一摄像头用于拍摄操控员的头部影像并传送给图像分析单元；

图像分析单元用于根据操控员的头部影像解析头部位置信息和姿态角度信息，并传送给操控指令模块。

作为优选的实施例，操控指令模块包括指令生成单元和指令发送单元，其中：

指令生成单元用于根据操控员的头部位置信息和姿态角度信息生成移动指令和姿态指令发送给指令发送单元；

指令发送单元用于向移动平台发送移动指令控制移动平台的移动，向视频采集模块云台发送姿态指令控制视频采集模块的姿态角度。

作为优选的实施例，视频采集模块包括一个或以上的第二摄像头以及视频发送单元，第二摄像头都装置一个视频采集模块云台上，或者每个摄像头分别装置有一个视频采集模块云台。

作为优选的实施例，移动平台包括：海、陆、或空中的移动平台。

作为优选的实施例，移动平台被远程操控、或者是乘载操控员。

本发明还提供一种基于操控员头部动作操控移动平台的方法，该方法包括：

获取操控员的头部位置信息和姿态角度信息；

根据操控员的头部位置信息和姿态角度信息，控制移动平台的移动以及视频采集模块的姿态角度。

作为优选的实施例，根据操控员的头部位置信息和姿态角度信息，控制移动平台的移动以及视频采集模块的姿态角度，具体包括以下步骤：

根据头部姿态角度（α,β,γ）控制视频采集模块沿其坐标系统各个轴的转向速度

$\stackrel{\·}{w}=r_3\left(\mathrm{\γ}\right)$

$\stackrel{\·}{v}=r_2\left(\mathrm{\β}\right)$

$\stackrel{\·}{u}=r_1\left(\mathrm{\α}\right)$

其中r₁(),r₂(),r₃()为比例函数；

根据头部位置(x，y，z）控制移动平台沿其坐标系统各个轴的移动速度

$\stackrel{\·}{a}=r_4\left(x\right)$

$\stackrel{\·}{b}=r_5\left(y\right)$

$\stackrel{\·}{c}=r_6\left(z\right)$

其中，r₄(),r₅(),r₆()为比例函数。

作为优选的实施例，该方法还包括：视频采集模块采集移动平台前端视频信息，并通过视频显示模块实时显示出来。

根据本发明的系统，通过获得操控员头部的位置和姿态对移动平台进行控制，使操控员能更直观有效地进行操控移动平台的移动以及移动平台上视频采集模块的转动，并且操控员双手可进行其他的操作，能够拥有更多单独操控输入以及更多的输入组合。

通过阅读说明书，本领域普通技术人员将更好地了解这些技术方案的特征和内容。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为本发明实施例提供的一种基于操控员头部动作操控移动平台的系统结构示意图；

图2为本发明优选实施例提供的一种基于操控员头部动作操控移动平台的系统结构示意图；

图3为本发明优选实施例提供的一种头部动作检测模块和操控指令模块的结构示意图；

图4为本发明优选实施例提供的一种操控位置及视频显示模块的坐标示意图。

图5为本发明优选实施例提供的一种视频采集模块和视频显示模块的结构示意图；

图6为本发明实施例提供的一种基于操控员头部动作操控移动平台的方法流程图。

图7为本发明优选实施例提供的一种视频采集模块坐标示意图；

具体实施方式

如图1所示为本发明实施例提供的一种基于操控员头部动作操控移动平台的系统结构示意图。图中，该系统包括操控端10和受控端20，操控端10包括头部动作检测模块101、操控指令模块102和视频显示模块103；受控端20包括移动平台201和视频采集模块203，其中：

头部动作检测模块101用于获取操控员的头部位置和姿态角度，并将头部位置信息和姿态角度信息发送给操控指令模块102；

操控指令模块102用于根据操控员的头部位置信息向移动平台201发送控制移动平台201移动的移动指令，以及用于根据操控员的头部姿态角度信息向移动平台201发送控制视频采集模块203姿态角度的姿态指令；

移动平台201用于接收移动指令进行移动进而控制视频采集模块203移动，以及用于接收姿态指令进而控制视频采集模块203的姿态角度；

视频采集模块203用于采集移动平台201周围的视频，并将视频发送给视频显示模块103；

视频显示模块103用于接收并显示从视频采集模块203接收的视频。

如图2所示为本发明优选实施例提供的一种基于操控员头部动作操控移动平台的系统结构示意图。移动平台201上设置视频采集模块云台202，视频采集模块203安装在视频采集模块云台202上，视频采集模块云台202用于接收姿态指令，并根据姿态指令控制视频采集模块203的姿态角度。由于移动平台201能改变视频采集模块云台202的位置，所以视频采集模块203的位置也是可以调节的。操控端10和受控端20之间的信息(包括移动指令、姿态指令和视频信息)可通过有线或无线的方式传送，操控指令模块102向移动平台201和视频采集模块云台202发送指令的方式包括但不限于：互联网、局域网、或无线电波。

本实施例的移动平台可以在陆地上和水上行走,也可以在空中和水中移动，包括但不限于移动机器人或替身机器人。移动平台可以被远程操控、也可以乘载操控员。

如图3所示为本发明优选实施例提供的头部动作检测模块101和操控指令模块102的结构示意图，该头部动作检测模块101包括一个或一个以上的第一摄像头1011和图像分析单元1012，该操控指令模块102包括指令生成单元1021和指令发送单元1022，其中：

第一摄像头1011用于拍摄操控员的头部影像并传送给图像分析单元1012；

图像分析单元1012用于根据所述操控员的头部影像解析出头部位置信息和姿态角度信息，并传送给操控指令模块102的指令生成单元1021。

指令生成单元1021用于根据所述操控员的头部位置信息和姿态角度信息，并结合所述移动平台的可操作性和所述视频采集模块云台的配置，生成移动指令和姿态指令发送给指令发送单元1022；

指令发送单元1022用于向移动平台发送移动指令控制移动平台的移动，向视频采集模块云台202发送姿态指令控制视频采集模块203的姿态角度。

请参阅图3和图4，具体来说，头部动作检测模块101包括一个图像分析单元1012和一个或一个以上的第一摄像头1011。图像分析单元1012可安装到计算机,DSP,FPGA等上。第一摄像头1011包括但不限于手提装置(如平板计算机、手提电脑、智能手机等)上的摄像机、网络摄像机等。摄像时操控员的脸在第一摄像头1011的视线范围内。如图4所示，以视频显示模块103坐标系统为参考，头部位置信息（x，y，z）和姿态角度信息（α,β,γ）。检测前可使用任意头部位置和姿态作为初始值(即在这位置和姿态时，x，y，z,α,β,γ值皆为零)。为了使操控时有更直观的感觉，建议操控员以正面朝向视频显示模块103及把头部位置移画面的中心作为初始值。头部位置和姿态检测可以包括但不限于通过视觉方法实现。第一摄像头1011拍摄操控员头部的影像并传送给图像分析单元1012，图像分析单元1012根据操控员的头部影像解析出以视频显示模块103坐标系统为参考的头部位置信息（x，y，z）和姿态角度信息（α,β,γ），并传送给操控指令模块102的指令生成单元1021。指令生成单元1021根据操控员的以视频显示模块103坐标系统为参考的头部位置信息（x，y，z）和姿态角度信息（α,β,γ），并结合移动平台201的可操作性和视频采集模块云台202的配置，生成移动指令和姿态指令发送给指令发送单元1022；指令发送单元1022向移动平台201发送移动指令控制移动平台201的移动，向视频采集模块云台202发送姿态指令控制视频采集模块203的姿态角度。

本实施例中，操控指令模块102可以与图像分析单元1012在同一個平台下运行（如计算机,DSP,FPGA等），亦可以分别独立在一個平台上运行如计算机,DSP,FPGA等。如不在同一平台上，传送的方式亦可以但不限于使用RS232,CAN等制式实现。

如图5所示为本发明实施例提供的视频采集模块203和视频显示模块103的结构示意图，图中，该视频采集模块203包括视频发送单元2032和一个或以上的第二摄像头2031；该视频显示模块103包括视频接收单元1031和显示器1032，其中：

第二摄像头2031用于采集移动平台周围的视频，并发送给视频发送单元2032；

视频发送单元2032用于将第二摄像头2031捕获的视频进行格式转换，并发送给视频显示模块103的视频接收单元1031；

视频接收单元1031用于接收视频采集模块103的视频发送单元2032发送的视频信号，并发送给显示器1032；

显示器1032用于显示从视频接收单元1031接收的视频信号。

具体来说，视频采集模块203可包括一个或以上的第二摄像头2031（可以所有的第二摄像头2031都装置一个视频采集模块云台202上，也可以是每个摄像头各有一个视频采集模块云台202）和视频发送单元2032。视频发送单元2032把第二摄像头2031捕获的视频进行格式转换传送到视频显示模块103的视频接收单元1031，视频接收单元1031接收视频采集模块203的视频发送单元2032发送的视频信号后，传送给显示器1032进行显示视频影像让操控员观察。

其中，视频接收单元1031接收从视频采集模块203的视频发送单元2032发送过来的视频信号的方式可以是但不限于通过互联网，局域网或无线电波。视频接收单元1031传送到显示器1032的视频文件包括是但不限于HDMI,DVI,VGA格式，而显示器可以是但不限于LCD,LED,CRT显示器。

请参考图2、图4、图6和图7，本发明实施例提供的一种基于操控员头部动作操控移动平台的方法包括：

S502、获取操控员的头部位置信息和姿态角度信息；

S504、根据操控员的头部位置信息和姿态角度信息，并结合移动平台201的可操作性和视频采集模块云台202的配置，控制移动平台201的移动以及视频采集模块203的姿态角度。

一种基于操控员头部动作操控移动平台的方法进一步包括：视频采集模块203采集移动平台201前端视频信息，并通过视频显示模块103实时显示出来。

具体来说，操控指令模块102从头部动作检测模块101获得六个独立的控制命令，即：头部位置信息（x，y，z）和姿态角度信息（α,β,γ），然后结合移动平台201的可操控性和视频采集模块云台202的配置，向移动平台201及视频采集模块云台202发送操控指令，发送方式包括不限于通过互联网，局域网或无线电波等方式把操控指令传送到视频采集模块云台202和移动平台201。

如图7所示，头部姿态角度（α,β,γ）控制视频采集模块203根据其坐标系统各个轴的转向速度

其转换顺序如下：

$\stackrel{\·}{w}=r_3\left(\mathrm{\γ}\right)$

$\stackrel{\·}{v}=r_2\left(\mathrm{\β}\right)$

$\stackrel{\·}{u}=r_1\left(\mathrm{\α}\right)$

其中，r₁(),r₂(),r₃()为比例函数，可以是线性或非线性。

视频采集模块203的转向可通过视频采集模块云台202或移动平台201的转向实现。若视频采集模块云台202和移动平台201的活动能力未能完全满足其中一些转向命令，则只能视为不能实现的操作命令，其他命令继续实行。例如移动平台201是在陆上行走，加上视频采集模块云台202没有如图7所示的v方向转向功能，此情况下操控员头部位置沿β轴旋转是不能影响移动平台201或视频采集模块云台202，即

无效。

头部位置(x，y，z)控制视频采集模块203根据其坐标系统的移动方向和速度

这个由移动平台的移动实现：

$\stackrel{\·}{a}=r_4\left(x\right)$

$\stackrel{\·}{b}=r_5\left(y\right)$

$\stackrel{\·}{c}=r_6\left(z\right)$

其中，r₄(),r₅(),r₆()为比例函数，可以是线性或非线性。

若视频采集模块云台202和移动平台201的活动能力未能完全满足其中一些移动命令，则只能视为不能实现的操作命令，其他命令继续实行。例如移动平台201是在陆上行走，使视频采集模块203不能沿c轴(参看图7)移动，此情况下操控员头部位置沿z轴的运动是不会影响移动平台201，即 $\stackrel{\·}{c}=r_6\left(z\right)$ 无效。

本发明的上述实施例中，通过获得操控员头部的位置和姿态对移动平台进行控制，使操控员能更直观有效地进行操控移动平台的移动以及移动平台上视频采集模块的转动，并且操控员双手可进行其他的操作，能够拥有更多单独操控输入以及更多的输入组合。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (10)

1.一种基于操控员头部动作操控移动平台的系统，该系统包括操控端和受控端，所述受控端包括移动平台和视频采集模块，其特征在于，所述操控端包括头部动作检测模块、操控指令模块和视频显示模块；其中：

所述头部动作检测模块，用于获取操控员的头部位置和姿态角度，并将所述头部位置信息和姿态角度信息发送给所述操控指令模块；

所述操控指令模块，用于根据所述操控员的头部位置信息向所述移动平台发送控制所述移动平台移动的移动指令，以及用于根据所述操控员的头部姿态角度信息向所述移动平台发送控制所述视频采集模块姿态角度的姿态指令；

所述移动平台，用于接收所述移动指令进行移动进而控制所述视频采集模块移动，以及用于接收所述姿态指令进而控制所述视频采集模块的姿态角度；

所述视频采集模块，用于采集所述移动平台周围的视频，并将所述视频发送给所述视频显示模块；

所述视频显示模块，用于接收并显示从所述视频采集模块接收的视频。

2.根据权利要求1所述的基于操控员头部动作操控移动平台的系统，其特征在于，所述移动平台上设置视频采集模块云台，所述视频采集模块安装在所述视频采集模块云台上，所述视频采集模块云台用于接收所述姿态指令，并根据所述姿态指令控制所述视频采集模块的姿态角度。

3.根据权利要求2所述的基于操控员头部动作操控移动平台的系统，其特征在于，头部动作检测模块包括一个或一个以上的第一摄像头、图像分析单元和发送单元，其中：

所述第一摄像头用于拍摄操控员的头部影像并传送给所述图像分析单元；

所述图像分析单元用于根据所述操控员的头部影像解析头部位置信息和姿态角度信息，并传送给所述操控指令模块。

4.根据权利要求2所述的基于操控员头部动作操控移动平台的系统，其特征在于，所述操控指令模块包括指令生成单元和指令发送单元，其中：

所述指令生成单元用于根据所述操控员的头部位置信息和姿态角度信息生成移动指令和姿态指令发送给指令发送单元；

所述指令发送单元用于向移动平台发送移动指令控制移动平台的移动，向视频采集模块云台发送姿态指令控制视频采集模块的姿态角度。

5.根据权利要求2所述的基于操控员头部动作操控移动平台的系统，其特征在于，所述视频采集模块包括一个或以上的第二摄像头以及视频发送单元，所述第二摄像头都装置一个视频采集模块云台上，或者每个摄像头分别装置有一个视频采集模块云台。

6.根据权利要求1-5任意一项权利要求所述的基于操控员头部动作操控移动平台的系统，其特征在于，所述移动平台包括：海、陆、或空中的移动平台。

7.根据权利要求1-5任意一项权利要求所述的基于操控员头部动作操控移动平台的系统，其特征在于，所述移动平台被远程操控、或者是乘载操控员。

8.一种基于操控员头部动作操控移动平台的方法，其特征在于，该方法包括：

获取操控员的头部位置信息和姿态角度信息；

根据所述操控员的头部位置信息和姿态角度信息，控制所述移动平台的移动以及视频采集模块的姿态角度。

9.根据权利要求8所述的基于操控员头部动作操控移动平台的方法，其特征在于，所述根据所述操控员的头部位置信息和姿态角度信息，控制所述移动平台的移动以及视频采集模块的姿态角度，具体包括以下步骤：

根据头部姿态角度（α,β,γ）控制视频采集模块沿其坐标系统各个轴的转向速度

$\stackrel{\·}{w}=r_3\left(\mathrm{\γ}\right)$

$\stackrel{\·}{v}=r_2\left(\mathrm{\β}\right)$

$\stackrel{\·}{u}=r_1\left(\mathrm{\α}\right)$

其中r₁(),r₂(),r₃()为比例函数；

根据头部位置(x，y，z)控制移动平台沿其坐标系统各个轴的移动速度

$\stackrel{\·}{a}=r_4\left(x\right)$

$\stackrel{\·}{b}=r_5\left(y\right)$

$\stackrel{\·}{c}=r_6\left(z\right)$

其中，r₄(),r₅(),r₆()为比例函数。

10.根据权利要求8所述的基于操控员头部动作操控移动平台的方法，其特征在于，包括：视频采集模块采集移动平台前端视频信息，并通过视频显示模块实时显示出来。

Images