CN102169348B - 用视线控制服务机器人的方法 - Google Patents

Abstract

本发明公开了一种用视线控制服务机器人的方法。机器人头部的摄像头将当前用户的眼睛图像拍摄下来，对眼睛图像信号进行识别，并开始计时，信号转换系统将眼睛图像信号转换成电子信号，又传输给机器人的主控系统，对电子信号进行判断，随后执行指令。该方法能控制服务机器人完成多种功能运动。该机器人包括头部，手臂，躯干和腿部等结构，具有丰富的自由度，机器人的头部结构中包含一块液晶屏幕和屏幕上方的摄像头，通过摄像头获取人的视线在液晶屏幕上的聚焦点，对聚焦点进行分析，输入到机器人的主控芯片，最后根据主控芯片完成相关娱乐功能和动作实现。这种服务机器人可用视线控制，对于坐在轮椅上动作不便的人是一种比较便利的控制设施。

Description

用视线控制服务机器人的方法

技术领域

本发明涉及一种机器人技术，尤其是涉及一种用视线控制服务机器人的方法。

背景技术

在日常生活中，人们获取到的外界信息有80%至90%是通过眼睛完成的。由于视线具有直接性、自然性和双向性等特点，使得视线跟踪技术在许多领域有着广泛的应用，如广告分析研究、动态分析、场景研究和人机交互等。

2002年伦敦帝国学院的科研小组发明出一种专门用来捕捉眼球细微动作的红外线感应装置，称为“眼标”。“眼标”能鉴别眼睛在显示屏上的移动和注视。如果电脑使用者盯住屏幕上的某个链接图标1秒钟以上，电脑就自动打开该链接，与鼠标在此处点击一次的效果一样。科技人员认为，人类用眼睛搜索和盯住一个目标的准确性远远超过用手移动鼠标。把“眼睛追踪”技术应用到电脑上的“眼标”，将能够更加快捷和准确地操作电脑，而且避免了一只手在键盘和鼠标之间来回移动的麻烦。

目前常用的视线跟踪技术都是基于视频图像处理的方法，基本原理是先利用摄像机获取人眼图像，然后准确地定位和跟踪图像中的眼睛位置，最后根据平面映射技术估算出用户在屏幕上的注视位置。其核心是如何精确定位出瞳孔中心，定位的准确程度直接影响到视线跟踪的精度。

目前，视线跟踪技术得到了越来越广泛的应用。

发明内容

本发明的目的在于提供一种用视线控制服务机器人的方法，该方法利用摄像头对黑色瞳孔的识别信号控制机器人程序功能的开关，为行动不便的人提供便利。

本发明采用的技术方案的步骤如下：

1)机器人头部的摄像头将当前用户的眼睛图像拍摄下来，作为图像信号传送给机器人体内的信号识别系统；

2)信号识别系统接收到眼睛图像信号后，对眼睛图像信号进行识别，判断眼睛图像上用户眼睛的瞳孔位于哪个位置，左边或者右边，判断完以后将眼睛图像信号发送给机器人体内的计时系统，开始计时；

3)计时系统自接到眼睛图像信号时开始计时，若持续接收同种眼睛图像信号超过5秒，则将眼睛图像信号传给体内的信号转换系统；若在5秒内接收到不同眼睛图像信号，则机器人不动；

4)信号转换系统接收到眼睛图像信号后，信号转换系统将眼睛图像信号转换成电子信号，又传输给机器人的主控系统；

5)主控系统中的主控芯片接收电子信号后，对该电子信号进行判断，确定该电子信号的代表意义，随后向机器人的执行装置发送执行的电子信号；

6)执行装置接收到电子信号后就执行用户看向的指令。

所述的机器人的头部带有液晶显示屏，并在屏幕上显示对机器人的指令，在操作者看向哪个指令时机器人就会执行哪个指令，实现视线对指令的控制。

所述的摄像头安装在屏幕上方，以捕捉操作人眼球中瞳孔的位置，在捕捉到眼球中瞳孔位于不同位置时对不同的指令发出输入信号；或者当操作者转动头部后能自行进行输入信号的转变，检测人的头部转动位置来控制指令。

所述的机器人能自动捕捉操作者的视线，在机器人执行指令后离开操作人的视线范围，它能自己再回到操作者的面前，以方便操作者给出下个操作指令，在机器人体内设定机器人的初始状态，如设定其初始状态为摄像头捕捉的眼球瞳孔位于摄像头的正前方，则在执行了任何状态后机器人都必须回到初始状态，即回到操作者正前方。

为有效区别操作人无意识的一瞥和注视下命令，根据操作人注视某地点的时间长短来判断是否执行指令，在机器人体内设定计时系统的时间设定为5秒，当操作者注视时间超过5秒就执行注视的指令。

摄像头捕捉到的图像信号或角度信号必须经过信号转换系统变成电子信号，成为主控芯片的输入信号。

本发明具有的有益效果是：

本发明的机器人包括头部，手臂，躯干和腿部等结构，具有丰富的自由度，机器人的头部结构中包含一块液晶屏幕和屏幕上方的摄像头，通过摄像头获取人的视线在液晶屏幕上的聚焦点，对聚焦点进行分析，输入到机器人的主控芯片，最后根据主控芯片完成相关娱乐功能和动作实现。这种服务机器人可用视线控制，对于坐在轮椅上动作不便的人是一种比较便利的控制设施。

附图说明

图1是本发明机器人的总控制图。

图2是本发明机器人头部的结构图。

图中：1、摄像头，2、液晶屏幕。

具体实施方式

下面结合附图对本发明做进一步说明：

参照图1所示，本发明的步骤如下：

1)机器人头部的摄像头将当前用户的眼睛图像拍摄下来，作为图像信号传送给机器人体内的信号识别系统；

2)信号识别系统接收到眼睛图像信号后，对眼睛图像信号进行识别，判断眼睛图像上用户眼睛的瞳孔位于哪个位置，左边或者右边，判断完以后将眼睛图像信号发送给机器人体内的计时系统，开始计时；

3)计时系统自接到眼睛图像信号时开始计时，若持续接收同种眼睛图像信号超过5秒，则将眼睛图像信号传给体内的信号转换系统；若在5秒内接收到不同眼睛图像信号，则机器人不动；

4)信号转换系统接收到眼睛图像信号后，信号转换系统将眼睛图像信号转换成电子信号，又传输给机器人的主控系统；

5)主控系统中的主控芯片接收电子信号后，对该电子信号进行判断，确定该电子信号的代表意义，随后向机器人的执行装置发送执行的电子信号；

6)执行装置接收到电子信号后就执行用户看向的指令。

所述的机器人的头部带有液晶显示屏，并在屏幕上显示对机器人的指令，如舞蹈、播放歌曲，在操作者看向哪个指令时机器人就会执行哪个指令，实现视线对指令的控制。

所述的摄像头安装在屏幕上方，以捕捉操作人眼球中瞳孔的位置，在捕捉到眼球中瞳孔位于不同位置时对不同的指令发出输入信号；或者当操作者转动头部后能自行进行输入信号的转变，检测人的头部转动位置来控制指令。

所述的机器人能自动捕捉操作者的视线，在机器人执行舞蹈的指令后离开操作人的视线范围，它能自己再回到操作者的面前，以方便操作者给出下个操作指令，在机器人体内设定机器人的初始状态，如设定其初始状态为摄像头捕捉的眼球瞳孔位于摄像头的正前方，则在执行了任何状态后机器人都必须回到初始状态，即回到操作者正前方。

为有效区别操作人无意识的一瞥和注视下命令，根据操作人注视某地点的时间长短来判断是否执行指令，在机器人体内设定计时系统的时间设定为5秒，当操作者注视时间超过5秒就执行注视的指令。

摄像头捕捉到的图像信号或角度信号必须经过信号转换系统变成电子信号，成为主控芯片的输入信号。

控制系统主要包括主控芯片、内存等，通过输入信号实现机器人与操作者的交互。

机器人由执行装置，主控装置，计时系统，输入装置、信号识别系统和信号转换传输装置组成。

执行装置包括机器人的本体结构和音乐播放装置，即机器人的躯干、手臂、腿部结构、关节以及播放喇叭，以执行从主控系统接收的各种指令。

主控系统包括主控芯片，内存等部分，主控芯片接收到来自外界的输入指令后将信息传给执行装置，实现总控功能；内存中则含有信号理解数据库，当输入信号来到主控系统后，就在信号理解数据库中进行寻找比对，确定该信号所代表的动作意义后，主控芯片对相应的执行装置发出启动信号。

计时系统主要是为了确定操作者注视命令的有效性，当摄像头捕捉到瞳孔的一种位置状态时，它就发出信号，使计时系统开始计时，当计时系统计时超过五秒后就确定该命令有效，发出输入信号给主控芯片。

输入装置这里主要指机器人头部的液晶屏幕和屏幕上方的摄像头，它们接收来自用户的信息，决定着主控芯片的控制信号，实现用户与机器人交流的工具。

信号识别装置是信号输入的关键，它能判断出用户注视时瞳孔的位置，以确定用户看向哪个指令。

信号转换传输装置时机器人各系统中比较重要的一部分，从摄像头及计时系统出来的信号还是图像信号，不能直接发送给主控芯片，故需要信号转换装置来将图像信号转成电信号，随后通过信号传输装置把信号传给主控芯片。

对于人的眼睛，当往左看的时候，黑色的瞳孔就会在左边；往右看的时候，黑色的瞳孔就在右边；直视前方的时候瞳孔就在中间位置。这里默认机器人的初始静止状态就是人直视的时候，即瞳孔位于中间位置，此时机器人不执行任何指令，只在人的正前方处于待机状态。

机器人的“眼睛”就是正对着操作人眼睛的摄像头，它拍下操作人的眼睛，形成图像信号后在机器人的信号理解数据库中识别，若识别出图像区域中黑色瞳孔位于中间，则不进行任何动作；若识别出图像区域中黑色瞳孔位于左边，则执行屏幕上左边的“播放歌曲”指令；若识别出图像区域中黑色瞳孔位于右边，则执行屏幕上右边的“舞蹈”指令。

机器人的高度必须是确定的，以便让操作人的视线正确地投射到屏幕上，对机器人进行控制。

机器人最主要的结构就是其头部结构，头部结构有一块液晶屏幕，屏幕上有对机器人的两个指令，左边是“播放歌曲”指令，右边是“舞蹈”指令。当操作者的视线投向哪个指令时，机器人就执行哪个指令。

但在人们的日常生活中，操作人有可能只转动眼珠而身体没有转动，也有可能会转动头部去进行指令，这时候机器人内部就必须有识别装置进行识别，若检测到人的头部转动则不必对瞳孔进行分辨，如人的头部偏向左边，则执行左边的指令；如人的头部偏向右边，则执行右边的指令。

另外执行舞蹈指令后机器人可能稍微偏离初始状态，这时机器人要有自动复位的功能，以便操作者能进行下一次的指令。

参照图1所示，该图是信号流动的总图，信号的传输即按图中的流程来。

例如对于“播放歌曲”这个指令，当人的视线落到图2中液晶屏幕上“播放歌曲”的图标上时，图2中摄像头捕捉到人的瞳孔位于左边位置，它随之立即将图像信号发给计时系统，计算该信号持续的时间。若计时系统持续接收该信号的时间超过5秒，则进行下一动作。若在5秒内计时系统又接收到另一信号，则放弃该信号的计时，转而对另一信号计时。判断完指令的有效性后，计时系统将图像信号发送给信号转换装置，将图像信号转换成电信号，电信号通过信号传输装置来到主控系统，主控系统中的内存包含有信号理解数据库。信号到达主控系统后，与信号理解数据库中的信号进行对比，最终确定该信号的代表意义。主控系统确定了信号的意义是播放歌曲后，就发送信号给喇叭的控制装置，读取内存中的歌曲进行播放。

又例如对于“舞蹈”这个指令，当用户的视线落在图2中液晶屏幕上“舞蹈”的图标上时，图2中摄像头可捕捉到用户的瞳孔在右边位置，它将该图像信号传给计时系统，计时系统随之开始计时，当持续时间超过5秒，即判定该指令有效，将其发送给信号转换装置。反之，若该指令的时间未持续5秒，随即被另一不同信号取代，就判定该指令无效，归为无意识的一瞥，不执行指令。信号装换装置接收到信号后，就把图像信号转换为主控芯片能接收的电信号，然后通过信号传输装置来到主控系统。主控系统首先对该信号进行判断，将其与信号理解数据库中的信号进行比较后就可判定该信号代表“舞蹈”的指令，随之主控系统就发送信号给机器人的执行装置，控制机器人的各关节、手臂、躯干和腿部运动，实现舞蹈动作。在机器人执行舞蹈动作时，它可能会偏离原来的初始状态而使用户不便进行下一指令，这时机器人能执行自动复位功能，自动回到初始状态。

图2中是机器人的头部结构，其中包含了机器人的输入装置：摄像头和液晶屏幕。

Claims (6)

1.一种用视线控制服务机器人的方法，其特征在于该方法的步骤如下：

1)机器人头部的摄像头将当前操作者的眼睛图像拍摄下来，作为图像信号传送给机器人体内的信号识别系统；

2)信号识别系统接收到眼睛图像信号后，对眼睛图像信号进行识别，判断眼睛图像上操作者眼睛的瞳孔位于哪个位置，左边或者右边，判断完以后将眼睛图像信号发送给机器人体内的计时系统，开始计时；

3)计时系统自接到眼睛图像信号时开始计时，若持续接收同种眼睛图像信号超过5秒，则将眼睛图像信号传给体内的信号转换系统；若在5秒内接收到不同眼睛图像信号，则机器人不动；

4)信号转换系统接收到眼睛图像信号后，信号转换系统将眼睛图像信号转换成眼睛图像电子信号，又传输给机器人的主控系统；

5)主控系统中的主控芯片接收眼睛图像电子信号后，对眼睛图像电子信号进行判断，确定眼睛图像电子信号的代表意义，随后向机器人的执行装置发送执行的电子信号；

6)执行装置接收到电子信号后就执行操作者看向的指令。

2.根据权利要求1所述的用视线控制服务机器人的方法，其特征在于：所述的机器人的头部带有液晶显示屏，并在屏幕上显示对机器人的指令，在操作者看向哪个指令时机器人就会执行哪个指令，实现视线对指令的控制。

3.根据权利要求2所述的用视线控制服务机器人的方法，其特征在于：所述的摄像头安装在屏幕上方，以捕捉操作者眼球中瞳孔位置，在捕捉到眼球中瞳孔位于不同位置时对不同的指令发出输入信号。

4.根据权利要求1所述用视线控制服务机器人的方法，其特征在于：所述的机器人能自动捕捉操作者的视线，在机器人执行指令后离开操作者的视线范围，它能自己再回到操作者的面前，以方便操作者给出下个操作指令，在机器人体内设定机器人的初始状态，假如设定其初始状态为摄像头捕捉的眼球瞳孔位于摄像头的正前方，则在执行了任何状态后机器人都必须回到初始状态，即回到操作者正前方。

5.根据权利要求1所述的用视线控制服务机器人的方法，其特征在于：为有效区别操作者无意识的一瞥和注视下命令，根据操作者注视某地点的时间长短来判断是否执行指令，在机器人体内设定计时系统的时间设定为5秒，当操作者注视时间超过5秒就执行注视的指令。

6.根据权利要求3所述的用视线控制服务机器人的方法，其特征在于：摄像头捕捉到的瞳孔位置图像信号必须经过信号转换系统变成眼睛图像电子信号，成为主控芯片的输入信号。

Images