CN105929827B

CN105929827B - 移动机器人及其定位方法

Info

Publication number: CN105929827B
Application number: CN201610341566.XA
Authority: CN
Inventors: 陈本东; 徐厚畅; 程烈; 张芊; 牛建伟; 都大龙; 潘复平
Original assignee: Beijing Horizon Robotics Technology Research and Development Co Ltd
Current assignee: Beijing Luobu Shell Technology Co ltd
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2020-03-10
Anticipated expiration: 2036-05-20
Also published as: CN105929827A

Abstract

本发明提供一种移动机器人及其定位方法，所述方法包括：采集用户的语音信息，根据所述语音信息定位所述用户的方向；转动所述移动机器人以使图像定位单元朝向所述方向；采集图像序列，识别所述图像序列中所述用户的特征部位；根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。本发明通过语音定位为图像采集导向，再通过识别所采集图像序列中用户的特征部位，并根据所述特征部位的位置校准用户的方向、定位用户的距离，从而实现对作为声源的用户的准确定位；并进一步通过识别用户的召唤或跟踪命令，在对用户进行准确定位后驱动移动机器人移动至用户面前。

Description

移动机器人及其定位方法

技术领域

本申请涉及人机交互技术领域，具体涉及一种移动机器人及其定位方法。

背景技术

现有的机器人对说话的用户进行定位的定位方式，通常采用单纯的声源定位方法，由于声源定位在实际应用中时常存在一定方向误差，例如5°-10°的角度误差，同时无法准确定位距离，而导致无法对用户进行准确定位。

进一步地，对于服务类的机器人，在人机交互中存在一个非常重要的场景：呼唤机器人，让机器人知道说话的用户在什么方向，多远的距离。机器人在获取方向和距离的定位信息之后，可以转向用户，移动至用户面前，和用户进行面对面的交互。由于现有定位方式不够准确，方向的误差会导致机器人向错误的方向移动，无法准确的将机器人召唤到用户面前。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种通过结合图像和语音定位对用户进行准确定位的移动机器人及其定位方法。

第一方面，本发明提供一种移动机器人，所述移动机器人包括：

语音定位单元，用于采集用户的语音信息，根据所述语音信息定位所述用户的方向；

驱动单元，用于转动所述移动机器人以使图像定位单元朝向所述方向；

图像定位单元，用于采集图像序列，识别所述图像序列中所述用户的特征部位，根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。

第二方面，本发明提供一种移动机器人的定位方法，所述方法包括：

采集用户的语音信息，根据所述语音信息定位所述用户的方向；

转动所述移动机器人以使图像定位单元朝向所述方向；

采集图像序列，识别所述图像序列中所述用户的特征部位；

根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。

本发明诸多实施例提供的移动机器人及其定位方法通过语音定位为图像采集导向，再通过识别所采集图像序列中用户的特征部位，并根据所述特征部位的位置校准用户的方向、定位用户的距离，从而实现对作为声源的用户的准确定位；

本发明一些实施例提供的移动机器人及其定位方法进一步通过识别用户的召唤或跟踪命令，在对用户进行准确定位后驱动移动机器人移动至用户面前；

本发明一些实施例提供的移动机器人及其定位方法进一步通过结合基于同步定位和地图构建生成的环境定位信息，规划移动机器人前进的路线以规避障碍物等路障；

本发明一些实施例提供的移动机器人及其定位方法进一步通过预存用户的声纹和特征部位的对应关系，通过识别语音信息的声纹识别对应的特征信息，实现了在采集的图像序列中存在多个用户时准确识别和定位对应的用户。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中移动机器人的结构示意图。

图2为本发明一实施例中移动机器人的定位方法的流程图。

图3为图2所示定位方法的一种优选实施方式的流程图。

图4为图3所示定位方法的一种优选实施方式的流程图。

图5为图2所示定位方法的一种优选实施方式的流程图。

图6为图5所示的步骤S73中所述特征部位的水平位置触发预设的校准阈值的示意图。

图7为图2所示定位方法的一种优选实施方式中步骤S10的流程图。

图8为图1所示移动机器人的一种优选实施方式的结构示意图。

图9为图2所示定位方法的一种优选实施方式的流程图。

图10为图9所示定位方法的一种优选实施方式中步骤S90的流程图。

图11为图10所示的步骤S91中所述特征部位的上下位置触发预设的前进阈值的示意图。

图12为图8所示移动机器人的一种优选实施方式的结构示意图。

图13为图10所示步骤S90的一种优选实施方式的流程图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明一实施例中移动机器人的结构示意图。

如图1所示，在本实施例中，本发明提供的移动机器人10包括语音定位单元11、驱动单元12和图像定位单元13。

语音定位单元11用于采集用户的语音信息，根据所述语音信息定位所述用户的方向；驱动单元12用于转动移动机器人10以使图像定位单元13朝向所述方向；图像定位单元13用于采集图像序列，识别所述图像序列中所述用户的特征部位，根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。

图2为本发明一实施例中移动机器人的定位方法的流程图。图2所示的定位方法可对应应用于图1所示的移动机器人中。

如图2所示，在本实施例中，本发明提供的移动机器人的定位方法包括：

S10：采集用户的语音信息，根据所述语音信息定位所述用户的方向；

S30：转动所述移动机器人以使图像定位单元朝向所述方向；

S50：采集图像序列，识别所述图像序列中所述用户的特征部位；

S70：根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。

具体地，在本实施例中，语音定位单元11包括用于采集用户语音信息的麦克风阵列，和用于根据所述语音信息定位所述用户的方向的语音定位子单元。图像定位单元13包括用于采集图像序列的摄像头，和用于识别所述图像序列中所述用户的特征部位、根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离的图像定位子单元。

在更多实施例中，语音定位单元11可根据实际需求采用不同的声音采集装置，图像定位单元13可根据实际需求采用不同的图像采集装置，只要声音采集装置能通过至少两点不同位置的采集终端采集语音信息，以供语音定位子单元定位用户的方向，图像采集装置能采集图像序列，即可实现相同的技术效果，未超出上述技术方案的设计思想和保护范围。

在本实施例中，步骤S10中，当用户甲说话时，语音定位单元11中的麦克风阵列采集用户甲的语音信息，语音定位子单元根据所述语音信息定位用户甲的第一方向；

步骤S30中，驱动单元12转动移动机器人10以使图像定位单元13朝向所述第一方向；

步骤S50中，图像定位单元13的摄像头采集所述第一方向的图像序列，图像定位子单元识别所述图像序列中用户甲的脸部；

步骤S70中，所述图像定位子单元根据用户甲的脸部的位置判断出所述第一方向与用户甲的实际方向存在偏差角度，通过控制驱动单元12转动移动机器人10以使图像定位单元13对准用户甲的实际方向以实现校准所述第一方向，并根据用户甲的脸部的位置定位用户甲与移动机器人10之间的距离。

在本实施例中，步骤S70中通过控制驱动单元12转动移动机器人10，使图像定位单元13对准用户甲的实际方向以实现校准所述第一方向，在更多实施例中，图像定位单元13还可通过先计算出所述第一方向与用户甲的实际方向之间的偏差角度，再控制驱动单元12驱动移动机器人10旋转所述偏差角度，以实现校准所述第一方向，可实现相同的技术效果。

上述实施例通过语音定位为图像采集导向，再通过识别所采集图像序列中用户的特征部位，并根据所述特征部位的位置校准用户的方向、定位用户的距离，从而实现对作为声源的用户的准确定位。

在一优选实施例中，驱动单元12还用于在图像定位单元13未识别出所述特征部位时驱动移动机器人10向所述方向前进，直至图像定位单元13识别出所述特征部位或驱动单元12根据预设策略停止驱动前进。

图3为图2所示定位方法的一种优选实施方式的流程图。图3所示的定位方法可对应应用于上述优选实施例的移动机器人中。

如图3所示，在一优选实施例中，步骤S50之后还包括：

若未识别出所述特征部位，执行步骤S53：驱动所述移动机器人向所述方向前进，直至识别出所述特征部位或根据预设策略停止驱动前进。

具体地，当移动机器人10与用户甲距离较远时，由于摄像头的采集范围有限，可能无法采集到用户甲的图像，导致图像定位单元13无法从采集的图像序列中识别出用户甲的特征部位。此时驱动单元12驱动移动机器人10向所述方向前进，直至图像定位单元13在持续采集的图像序列中识别出用户甲的特征部位，或者根据预设策略判断停止驱动前进。所述预设策略具体包括通过环境定位判断出无法继续前进(例如已到墙边)，或因接收到新的语音命令而中断当前定位等。

在一优选实施例中，图像定位单元13还用于在未识别出所述特征部位时识别移动机器人10转动过程中所采集的图像序列中的所述用户的特征部位。

图4为图3所示定位方法的一种优选实施方式的流程图。图4所示的定位方法可对应应用在上述优选实施例的移动机器人中。

如图4所示，在一优选实施例中，步骤S53之前还包括：

S51：识别所述移动机器人转动过程中所采集的图像序列中的所述用户的特征部位：若识别出，则跳转至步骤S70。

具体地，图像定位单元13未识别出用户甲的特征部位的另一种可能的原因在于所述方向与用户甲的实际方向之间的偏差角度较大，因此在驱动单元12驱动移动机器人10向所述方向前进之前先对步骤S30的转动过程中，图像定位单元13所采集的图像进行识别，可以有效的提高定位的成功率。

在一优选实施例中，所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离包括：

根据所述特征部位在所述图像序列中的水平位置校准所述用户的方向；判断所述水平位置是否触发预设的校准阈值：若触发，则转动所述移动机器人以使图像定位单元朝向校准后的方向；根据所述特征部位在所述图像序列中的位置定位所述用户的距离。

图5为图2所示定位方法的一种优选实施方式的流程图。图5所示的定位方法可对应应用在上述优选实施例的移动机器人中。

如图5所示，在一优选实施例中，步骤S70包括：

S71：根据所述特征部位在所述图像序列中的水平位置校准所述用户的方向；

S73：判断所述水平位置是否触发预设的校准阈值：若触发，则跳转至步骤S30以使以使图像定位单元朝向校准后的方向；

S75：根据所述特征部位在所述图像序列中的位置定位所述用户的距离。

具体地，在步骤S71中，当所述方向与用户甲的实际方向之间存在偏差角度，即所述特征部位的水平位置不位于图像序列的中央位置时，根据所述水平位置校准所述方向。

在本实施例中，摄像头的分辨率为640*480、镜头视角为58°，图像定位子单元根据以下公式计算语音定位的方向与所述用户的实际方向之间的偏差角度angle：

其中，box.centerX()为所述特征部位的中心点的横坐标，在本实施例中即用户甲的脸部的中心点横坐标；FOV为图像采集装置的镜头视角，在本实施例中即摄像头的镜头视角。

例如，当检测到用户甲的脸部的水平位置位于图像序列的中央位置，其中心点横坐标为320时，通过上述公式计算得到angle＝0°，无需对所述方向进行校准；

当检测到用户甲的脸部的水平位置位于图像序列的右侧位置，其中心点横坐标为480时，通过上述公式计算得到angle＝14.5°，从而对所述方向采取(移动机器人10视角的顺时针方向的)14.5°的方向校准。

当检测到用户甲的脸部的水平位置位于图像序列的左侧位置，其中心点横坐标为160时，通过上述公式计算得到angle＝345.5°，从而对所述方向采取(移动机器人10视角的顺时针方向的)345.5°的方向校准。

在本实施例中，摄像头的分辨率为640*480、镜头视角为58°，采用上述公式对语音定位的方向进行校准，在更多实施例中，可根据实际需求采用不同分辨率和不同镜头视角的图像采集装置，以及不同的公式对语音定位的方向进行校准，应具有相同的技术效果，未超出本发明技术方案的设计构思和保护范围。

图6为图5所示的步骤S73中所述特征部位的水平位置触发预设的校准阈值的示意图。如图6所示，本实施例中预设的校准阈值如图6中的中央虚线区域所示。

在步骤S73中，当图像定位单元13检测到所识别的人脸的水平位置偏出中央虚线区域，即触发了预设的校准阈值，跳转至步骤S30，控制驱动单元12转动移动机器人10，使图像定位单元13对准用户甲的实际方向。

在步骤S75中，图像定位单元13根据人脸在图像序列中的位置定位用户甲和移动机器人10之间的距离。

在一优选实施例中，移动机器人10预存有用户的声纹和特征部位的对应关系。语音定位单元11还用于识别所述语音信息的声纹。所述识别所述图像序列中所述用户的特征部位包括：识别所述图像序列中对应于所识别出声纹的特征部位。

图7为图2所示定位方法的一种优选实施方式中步骤S10的流程图。图7所示的定位方法可对应应用在上述优选实施例的移动机器人中。

如图7所示，在一优选实施例中，所述移动机器人预存有用户的声纹和特征部位的对应关系，步骤S10包括：

S11：采集用户的语音信息；

S13：识别所述语音信息的声纹；

S15：根据所述语音信息定位所述用户的方向。

具体地，步骤S13和S15不存在固定的先后顺序，在不同实施例中可以互换先后顺序，也可以同时执行。

在本实施例的场景中，图像定位单元13所采集的图像序列中同时存在用户甲和乙。通过步骤13对采集的语音信息进行声纹识别，识别出该语音信息是用户甲发出的，在步骤S50中调用用户甲的人脸特征信息对采集的图像序列进行识别，从而实现了对图像序列中同时存在的甲和乙进行区分。

上述实施例进一步通过预存用户的声纹和特征部位的对应关系，通过识别语音信息的声纹识别对应的特征信息，实现了在采集的图像序列中存在多个用户时准确识别和定位对应的用户。

如图8所示，在一优选实施例中，语音定位单元11还用于根据所述语音信息识别所述用户的命令。

移动机器人10还包括：

交互单元14，用于根据所述命令生成交互信息并输出，执行所述命令。

图9为图2所示定位方法的一种优选实施方式的流程图。图9所示的定位方法可对应应用在上述优选实施例的移动机器人中。

如图9所示，在一优选实施例中，步骤S10还包括：根据所述语音信息识别所述用户的命令。

步骤S70之后还包括：

S90：执行所述命令。

具体地，在一优选实施例中，步骤S10中识别出用户的命令之后，还可以实时输出响应信息，以通知用户已收到命令。例如输出语音信息“好哒”、“收到”等，或以其它各类不同方式通知用户。

在一优选实施例中，所述命令为召唤命令或跟踪命令，例如“过来”或“跟我来”等。所述执行所述命令包括：控制图像定位单元13判断所述特征部位在所述图像序列中的上下位置是否触发预设的前进阈值：若未触发，驱动单元12驱动移动机器人10向校准后的方向前进；若触发，驱动单元12停止驱动移动机器人10前进。

图10为图9所示定位方法的一种优选实施方式中步骤S90的流程图。图10所示定位方法可对应应用于上述优选实施例的移动机器人中。

如图10所示，在一优选实施例中，所述命令为召唤命令或跟踪命令，步骤S90包括：

S91：判断所述特征部位在所述图像序列中的上下位置是否触发预设的前进阈值：

若未触发，执行步骤S93：驱动所述移动机器人向校准后的方向前进；

若触发，执行步骤S95：停止驱动所述移动机器人前进。

如图11所示，在步骤S91中，当移动机器人10距离用户甲较远时，人脸在图像序列中的位置靠近下方，未触发虚线所示的前进阈值，执行步骤S93，控制驱动单元12驱动移动机器人10向校准后的方向前进；

当移动机器人10移动至用户甲附近，距离用户甲较近时，人脸在图像序列中的位置靠近上方，超出预设的前进阈值，执行步骤S95，控制驱动单元12停止驱动移动机器人10前进。

上述实施例进一步通过识别用户的召唤或跟踪命令，在对用户进行准确定位后驱动移动机器人移动至用户面前。

如图12所示，在一优选实施例中，移动机器人10还包括：

环境定位单元15，用于通过同步定位和地图构建生成环境定位信息；

路线规划单元16，用于根据所述环境定位信息、校准后的方向和定位的距离规划移动机器人10前进的路线。

图13为图10所示步骤S90的一种优选实施方式的流程图。图13所示的定位方法可对应应用于图12所示的移动机器人中。

如图13所示，在一优选实施例中，步骤S93之前还包括：

S92：通过同步定位和地图构建生成环境定位信息，根据所述环境定位信息、校准后的方向和定位的距离规划所述移动机器人前进的路线。

具体地，在本实施例中，环境定位单元15为即时定位与地图构建(simultaneouslocalization and mapping，简称SLAM)单元，在更多实施例中可根据实际需求采用其它生成环境定位信息的装置或组件。

上述实施例进一步通过结合基于同步定位和地图构建生成的环境定位信息，规划移动机器人前进的路线以规避障碍物等路障。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，语音定位子单元和图像定位子单元可以是设置在移动机器人处理单元中的软件程序，也可以是单独进行语音定位和单独进行图像定位的硬件芯片。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，图像定位单元13还可以被描述为“用于定位跟踪用户的跟踪摄像单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种移动机器人，其特征在于，所述移动机器人包括：

驱动单元，用于转动所述移动机器人以使图像定位单元朝向所述用户的方向；

图像定位单元，用于采集所述用户的方向的图像序列，识别所述图像序列中所述用户的特征部位，根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离，所述图像定位单元还用于在未识别出所述特征部位时识别所述移动机器人转动过程中所采集的图像序列中的所述用户的特征部位；

其中，所述移动机器人预存有用户的声纹和特征部位的对应关系；

所述语音定位单元还用于识别所述语音信息的声纹；

所述识别所述图像序列中所述用户的特征部位包括：识别所述图像序列中对应于所识别出声纹的特征部位。

2.根据权利要求1所述的移动机器人，其特征在于，所述驱动单元还用于在所述图像定位单元未识别出所述特征部位时驱动所述移动机器人向所述用户的方向前进，直至所述图像定位单元识别出所述特征部位或所述驱动单元根据预设策略停止驱动前进。

3.根据权利要求1所述的移动机器人，其特征在于，所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离包括：

根据所述特征部位在所述图像序列中的水平位置校准所述用户的方向；

判断所述水平位置是否触发预设的校准阈值；若触发，则转动所述移动机器人以使图像定位单元朝向校准后的方向；

根据所述特征部位在所述图像序列中的位置定位所述用户的距离。

4.根据权利要求1-3任一项所述的移动机器人，其特征在于，所述语音定位单元还用于根据所述语音信息识别所述用户的命令；

所述移动机器人还包括：

交互单元，用于根据所述命令生成交互信息并输出，执行所述命令。

5.根据权利要求4所述的移动机器人，其特征在于，所述命令为召唤命令或跟踪命令；

所述执行所述命令包括：

控制所述图像定位单元判断所述特征部位在所述图像序列中的上下位置是否触发预设的前进阈值：若未触发，所述驱动单元驱动所述移动机器人向校准后的方向前进；若触发，所述驱动单元停止驱动所述移动机器人前进。

6.根据权利要求5所述的移动机器人，其特征在于，所述移动机器人还包括：

环境定位单元，用于通过同步定位和地图构建生成环境定位信息；

路线规划单元，用于根据所述环境定位信息、校准后的方向和定位的距离规划所述移动机器人前进的路线。

7.一种移动机器人的定位方法，其特征在于，所述方法包括：

转动所述机器人以使图像定位单元朝向所述用户的方向；

采集图像序列，识别所述用户的方向的图像序列中所述用户的特征部位；

根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离；

其中，所述采集图像序列，识别所述图像序列中所述用户的特征部位之后还包括：

若未识别出所述特征部位，驱动所述移动机器人向所述用户的方向前进直至识别出所述特征部位或根据预设策略停止驱动前进，

其中，所述驱动所述移动机器人向所述用户的方向前进之前还包括：

识别所述移动机器人转动过程中所采集的图像序列中的所述用户的特征部位：若识别出，则跳转至所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离；

且其中，所述移动机器人预存有用户的声纹和特征部位的对应关系；

所述采集用户的语音信息，根据所述语音信息定位所述用户的方向还包括：识别所述语音信息的声纹；

8.根据权利要求7所述的定位方法，其特征在于，所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离包括：

9.根据权利要求7-8任一项所述的定位方法，其特征在于，所述采集用户的语音信息，根据所述语音信息定位所述用户的方向还包括：

根据所述语音信息识别所述用户的命令；

所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离之后还包括：

执行所述命令。

10.根据权利要求9所述的定位方法，其特征在于，所述命令为召唤命令或跟踪命令；

所述执行所述命令包括：

判断所述特征部位在所述图像序列中的上下位置是否触发预设的前进阈值；

若未触发，驱动所述移动机器人向校准后的方向前进；

若触发，停止驱动所述移动机器人前进。

11.根据权利要求10所述的定位方法，其特征在于，所述驱动所述移动机器人向校准后的方向前进之前还包括：

通过同步定位和地图构建生成环境定位信息，根据所述环境定位信息、校准后的方向和定位的距离规划所述移动机器人前进的路线。