CN108903521B - 一种应用于智能画框的人机交互方法、智能画框 - Google Patents

Abstract

本发明公开了一种应用于智能画框的人机交互方法、智能画框；所述方法包括：采集当前用户输入的第一语音，从所述第一语音中提取语音关键字；确定与所述语音关键字对应的目标用户；确定所述目标用户的所处城市，获取所述所处城市的天气数据；获取与所述天气数据关联的反馈内容；输出所述天气数据和所述反馈内容。本发明通过采集的当前用户语音中的语音关键字确定目标用户，并进一步通过智能画框输出与目标用户所处城市的天气关联的反馈内容，为不同关系的用户提供了基于智能画框的互动方式，有效的拓展了智能画框的使用功能，实现了更佳的人机交互效果。

Description

一种应用于智能画框的人机交互方法、智能画框

技术领域

本发明涉及显示技术和人机交互技术领域，特别是指一种应用于智能画框的人机交互方法、智能画框。

背景技术

智能画框已经越来越多的出现在人们的日常生活之中，但对于现有的智能画框的使用普遍还停留在基本的显示功能上，即通过其显示屏显示本地或网络侧的图像内容。虽然现有的智能画框设置有摄像头、麦克风、扬声器等输入输出设备，但其仅仅是用于图像信息采集、语音信息采集，并将上述采集的信息简单的用于选择显示内容或是播放特定的声音，这造成了现有的智能画框存在功能单一、人机交互效果差的问题。

发明内容

有鉴于此，本发明的目的在于提出一种应用于智能画框的人机交互方法、智能画框，有效拓展智能画框的使用功能，实现更佳的人机交互效果。

基于上述目的，本发明提供了一种应用于智能画框的人机交互方法，包括：

采集当前用户输入的第一语音，从所述第一语音中提取语音关键字；

确定与所述语音关键字对应的目标用户；

确定所述目标用户的所处城市，获取所述所处城市的天气数据；

获取与所述天气数据关联的反馈内容；

输出所述天气数据和所述反馈内容。

在一些实施方式中，所述输出所述天气数据和所述反馈内容，包括：

根据所述天气数据，生成天气播报语音，播放所述天气播报语音。

在一些实施方式中，所述输出所述天气数据和所述反馈内容之后，还包括：

输出语音采集提示：

采集所述当前用户输入的第二语音，将所述第二语音发送至与所述目标用户绑定的目标终端。

在一些实施方式中，所述将所述第二语音发送至与所述目标用户绑定的目标终端，包括：

将所述第二语音转化为文本数据，将所述文本数据以文本短消息的方式发送至所述目标终端。

在一些实施方式中，所述方法还包括：

采集所述当前用户的实时图像，使用所述实时图像对所述当前用户进行身份认证；

若认证成功，则实时记录所述当前用户处于智能画框前的持续时间；

当所述持续时间超过预设的时间阈值时，生成并输出超时提示。

在一些实施方式中，所述使用所述实时图像对所述当前用户进行身份认证，包括：

确定所述实时图像中的人脸部分；

根据所述实时图像中的人脸部分，与至少一副模版图像进行匹配；

若存在匹配的所述模版图像，则判定所述当前用户认证成功。

在一些实施方式中，所述实时记录所述当前用户处于智能画框前的持续时间，包括：

确定匹配的所述模版图像中的人像部分，获取第一用户位置坐标；

确定所述实时图像中的人像部分，获取第二用户位置坐标；

对比所述第一用户位置坐标与所述第二用户位置坐标，获得用户位置坐标差值，若所述用户位置坐标差值小于预设的坐标阈值，则进一步确定匹配的所述模版图像中的人脸部分，获取第一人眼位置坐标；

根据所述实时图像中的人脸部分，获取第二人眼位置坐标；

对比所述第一人眼位置坐标和所述第二人眼位置坐标，若所述第二人眼位置坐标中的纵坐标数值大于等于所述第一人眼位置坐标中的纵坐标数值，则开始记录所述持续时间。

在一些实施方式中，所述生成并输出超时提示，包括：

向与所述目标终端发送超时告警；

接收所述目标终端返回的超时提示；

输出所述超时提示。

在一些实施方式中，所述超时提示包括：超时提示文本；

所述输出所述超时提示，包括：

使用预设的声音模版，将所述超时提示文本转化为超时提示语音；

输出所述超时提示语音，或输出所述超时提示语音和所述超时提示文本。

另一方面，本发明还提供了一种智能画框，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。

从上面所述可以看出，本发明提供的应用于智能画框的人机交互方法、智能画框，通过采集的当前用户语音中的语音关键字确定目标用户，并进一步通过智能画框输出与目标用户所处城市的天气关联的反馈内容，为不同关系的用户提供了基于智能画框的互动方式，有效的拓展了智能画框的使用功能，实现了更佳的人机交互效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的应用于智能画框的人机交互方法流程图；

图2为本发明实施例中主动发送语音的方法流程图；

图3为本发明实施例中超时提示方法流程图；

图4为本发明实施例中的身份认证方法流程图；

图5为本发明实施例中的确定开始记录持续时间方法流程图；

图6为本发明实施例中的生成并输出超时提示方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

参考图1，为本发明实施例的应用于智能画框的人机交互方法流程图。智能画框一般会设置在用户的居室中，其一般会更多的与家庭中的不停成员进行互动，本发明实施例中，将以家庭成员身份的用户来介绍本发明的具体实施方式。显然，本发明实施例中，用户的身份和不同用户间的关系，并不对本发明的应用场景构成限定。

所述应用于智能画框的人机交互方法，包括以下步骤：

步骤101、采集当前用户输入的第一语音，从所述第一语音中提取语音关键字。

本实施例中，所述的当前用户为当前处于智能画框前正在关注的智能画框的用户。具体的，通过用户的预先设置，智能画框会存储若干的用户信息，该用户信息可以是用户的图像信息、声音信息；通过预先设置的用户信息可以令智能画框采集用户的图像或声音并与上述用户信息对比判断来确认用户的身份。

本步骤中，经过身份认证，确认了当前用户后，开始通过智能画框的麦克风实时采集当前用户的语音，当采集到当前用户输入的第一语音时，通过预设的关键词提取策略，对第一语音进行关键词提取，若第一语音包含有与关键词提取策略对应的语音内容，则成功提取语音关键字。该语音关键字被预设为与一个用户对应。

步骤102、确定与所述语音关键字对应的目标用户。

本步骤中，根据预设的语音关键字与用户的对应关系，通过前述步骤提取到的提取语音关键字确定一个目标用户。

基于步骤101至102，在一个具体的应用场景中，当前用户与目标用户为具有亲属关系的两个用户(如父母和子女)，且当前用户与目标用户所处在不同的城市。当前用户处在家中的智能画框前，可能会有意或无意的说出带有目标用户名字的话语，其中，目标用户的名字即设置为语音关键字。如采集到的当前用户输入的第一语音为“不知道小明那边怎么样”；则通过关键字提取后，提取到语音关键字为“小明”，进一步即可根据语音关键字“小明”确定所述的目标用户。

步骤103、确定所述目标用户的所处城市，获取所述所处城市的天气数据。

本步骤中，在确定目标用户后，根据预存的数据，进一步确定目标用户的所处城市，然后由网络侧的数据源获取目标用户所处城市的天气数据。该天气数据一般可以包括：天气类型、温度、湿度、风力、空气质量等。

步骤104、获取与所述天气数据关联的反馈内容。

本步骤中，根据天气数据，获取与该天气数据关联的反馈内容；该反馈内容用于通过智能画框进行输出。其中，所述的反馈内容包括：图片、视频、音频中的一种或多种；且反馈内容所呈现的内容与天气数据相关联。

如在前述的应用场景中，目标用户“小明”的所处城市为北京，获取到的北京的天气数据中的天气类型为下雨，则获取的反馈内容为雨天的图片、视频，或者是下雨的音效。又如，取到的北京的天气数据中的风力较大，则获取的反馈内容为表现大风的图片、视频，或者是刮风的音效。

步骤105、输出所述天气数据和所述反馈内容。

本步骤中，将前述步骤中获取到的反馈内容通过智能画框输出。具体的，若反馈内容包括图片、视频，则通过智能画框的显示屏进行显示；若反馈内容包括音频，则通过智能画框的扬声器进行播放。对于所述的天气数据，则直接通过智能画框的显示屏进行显示。

可见，通过智能画框输出天气数据和反馈内容，使当前用户能够形象、准确的获知目标用户所处成的天气情况，实现了基于智能画框的出色的人机互动效果，也更加充分的利用的智能画框的既有部件，有效扩展了智能画框的使用功能。

进一步的，输出所述天气数据时，还可以通过以下步骤实现：根据所述天气数据，生成天气播报语音，播放所述天气播报语音。本步骤中，为进一步提升天气数据输出的效果，使用天气数据生成天气播报语音，将天气数据包含的内容通过语音的形式通过智能画框的扬声器播放，使当前用户能够更加清晰准确的获知目标用户所处成的天气情况。

参考图2，作为一个可选的实施例，在前述实施例的基础上，于步骤104之后，还为当前用户提供了主动向目标用户发送语音的方法，该方法包括以下步骤：

步骤201、输出语音采集提示。

本步骤中，通过智能画框输出了目标用户所处城市的天气数据和反馈内容后，进一步迦输出语音采集提示，该语音采集提示用于提示当前用户可以进行语音输入。语音采集提示可以为通过智能画框的显示屏显现提示文字，或者是通过智能画框的扬声器播放提示语音。

步骤202、采集所述当前用户输入的第二语音，将所述第二语音发送至与所述目标用户绑定的目标终端。

本步骤中，通过智能画框的麦克风采集当前用户接收到语音采集提示后输入的第二语音，并将该第二语音发送至与所述目标用户绑定的目标终端。该与所述目标用户绑定的目标终端一般是目标用户随时的移动智能终端，如手机、智能手环等。具体的，可直接将第二语音以语音短消息或其他通讯APP内的语音消息的形式发送给目标终端。此外，在向目标终端发送第二语音时，还可以通过语音识别技术，将第二语音转化为文本数据，然后将文本数据以文本短消息的方式发送至目标终端。

基于步骤201至202的方法，当前用户在获知目标用户所处成的天气情况后，若天气情况不佳，则能够主动的通过智能画框向目标用户的目标终端发送用作关心提示的第二语音。

参考图3，作为一个可选的实施例，在前述实施例的基础上，本发明的应用于智能画框的人机交互方法，还包括以下步骤：

步骤301、采集所述当前用户的实时图像，使用所述实时图像对所述当前用户进行身份认证；

步骤302、若认证成功，则实时记录所述当前用户处于智能画框前的持续时间；

步骤303、当所述持续时间超过预设的时间阈值时，生成并输出超时提示。

本实施例中，通过当前用户的实时图像，对当前用户进行准确的身份认证，在认证成功时，开始记录当前用户处于智能画框前、保持观看智能画框的持续时间，当持续时间过长(如超过15分钟)时，对其进行超时提示。在一个具体的应用场景中，当前用户为家中年龄较长的父母，而目标用户年龄较轻的子女。年龄较长的父母并不适合长时间的处于智能画框前，特别是长时间站立于智能画框前，故本实施例可以通过智能画框判断父母是否长时间处于智能画框前，若是则对其进行提示。

进一步的，于步骤301中，需要对当前用户进行准确的身份认证，参考图4，认证过程包括以下步骤：

步骤3011、确定所述实时图像中的人脸部分。

步骤3012、根据所述实时图像中的人脸部分，与至少一副模版图像进行匹配；

步骤3013、若存在匹配的所述模版图像，则判定所述当前用户认证成功。

本实施例中，通过图像分割提取技术，从实时图像中的人脸部分。然后使用人脸部分，通过人脸识别匹配技术，将实时图像中的人脸部分与至少一副存储在本地或是网络侧的模版图像进行匹配。若存在匹配的模版图像，则判定当前用户认证成功。其中，模版图像为用户预先通过智能画框的摄像头采集的标准图像，在模版图像中，用户站立于距离智能画框一定距离的位置处，本实施例中称之为标准位置，其中所述的距离优选为1米；人们在观看智能画框时，根据观看的清晰、舒适度的考虑，一般会需要较为类似的观看位置，故所述的标准位置具有一定的一般性。

进一步的，参考图5，于步骤302中，需要记录当前用户处于智能画框前的持续时间，具体的需要确定开始记录的时点，则确定开始记录持续时间的方法包括以下步骤：

步骤3021、确定匹配的所述模版图像中的人像部分，获取第一用户位置坐标；

步骤3022、确定所述实时图像中的人像部分，获取第二用户位置坐标；

步骤3023、对比所述第一用户位置坐标与所述第二用户位置坐标，获得用户位置坐标差值，若所述用户位置坐标差值小于预设的坐标阈值，则进一步确定匹配的所述模版图像中的人脸部分，获取第一人眼位置坐标；

在步骤3021至3023中，首先对当前用户的位置进行判定，由于在模版图像为用户处于智能画框前的所述标准位置采集得到，则需要才采集实时图像时，使当前用户也处于标准位置或近似的位置上。而采集的图像中的人像位置可以较佳的反应用户处于智能画框前的位置，故本实施例中，将对应于匹配的所述模版图像中的人像部分的第一用户位置坐标与对应于实时图像中的人像部分的第二用户位置坐标进行对比，若二者的用户位置坐标差值小于预设的坐标阈值，则认为当前用户处于了标准位置。

步骤3024、根据所述实时图像中的人脸部分，获取第二人眼位置坐标；

步骤3025、对比所述第一人眼位置坐标和所述第二人眼位置坐标，若所述第二人眼位置坐标中的纵坐标数值大于等于所述第一人眼位置坐标中的纵坐标数值，则开始记录所述持续时间。

在步骤3024至3025中，确认当前用户处于标准位置后，则进一步判断当前用户是否为站立状态。则相应的，将匹配的所述模版图像的人脸部分中获取的第一人眼位置坐标与实时图像的人脸部分中获取的第二人眼位置坐标进行对比，而人眼位置坐标中的纵坐标对应人眼的高度位置，其能够反应当前用户的站立状态，即若第二人眼位置坐标中的纵坐标数值大于等于第一人眼位置坐标中的纵坐标数值，则判定当前用户正处于站立状态，相应的开始记录所述持续时间。

进一步的，参考图6，于步骤303中，生成并输出超时提示包括以下步骤：

步骤3031、向与所述目标终端发送超时告警；

步骤3032、接收所述目标终端返回的超时提示；

步骤3033、输出所述超时提示。

本实施例中，当记录的持续时间超过预设的时间阈值时，认为作为父母的当前用户已经站立于智能画框前的时间过长，则向作为子女的目标用户的目标终端发送超时告警，用于提示目标用户；该超时告警可以语音或文本形式发送至目标终端。目标用户通过目标终端接收到该超时告警，可以编辑生成一用于提醒当前用户的超时提示并返回给智能画框。智能画框接收到该超时提示后将其输出，用以提示当前用户不要长时间站立于智能画框前。具体的，超时提示可以通过文本显示或是语音播报。

作为可选的，目标用户通过目标终端返回所述的超时提示仅为文本的形式，即超时提示文本。为进一步提升提示效果，智能画框在接收到超时提示文本后，使用预设的声音模版，将超时提示文本转化为超时提示语音。其中，预设的声音模版可以为根据目标用户的声纹特征设置，这样在播放超时提示语音时，将会以目标用户的语气口吻播放，能够显著增加当前用户的情切感，有效提升超时提升的效果。

基于同一发明构思，本发明实施例还提供一种智能画框，该智能画框包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上任意实施例所述的应用于智能画框的人机交互方法。

具体的，本实施例所述的智能画框包括：MIC阵列板、SOC主板、摄像头、电源板、TCON板、WIFI天线、扬声器。其中，MIC阵列板作为声音采集部件，用于接收语音信息和主板的唤醒；SOC主板用作前述的处理器，用于进行数据处理、执行上述的计算机程序，并通过WIFI天线与云端服务器进行数据通信；摄像头作为图像采集部件；扬声器用于播放语音；TCON板用于驱动智能画框的显示屏；电源板用于为各个部件供电。

上述实施例的智能画框用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种应用于智能画框的人机交互方法，其特征在于，包括：

采集当前用户输入的第一语音，从所述第一语音中提取语音关键字；

确定与所述语音关键字对应的目标用户；

确定所述目标用户的所处城市，获取所述所处城市的天气数据；

获取与所述天气数据关联的反馈内容；其中，所述的反馈内容包括：图片、视频、音频中的一种或多种，且反馈内容所呈现的内容与天气数据相关联；

输出所述天气数据和所述反馈内容；

采集所述当前用户的实时图像，使用所述实时图像对所述当前用户进行身份认证；

若认证成功，则实时记录所述当前用户处于智能画框前的持续时间；

当所述持续时间超过预设的时间阈值时，生成并输出超时提示；

其中，所述使用所述实时图像对所述当前用户进行身份认证，包括：确定所述实时图像中的人脸部分；根据所述实时图像中的人脸部分，与至少一副模版图像进行匹配；若存在匹配的所述模版图像，则判定所述当前用户认证成功；

所述实时记录所述当前用户处于智能画框前的持续时间，包括：确定匹配的所述模版图像中的人像部分，获取第一用户位置坐标；确定所述实时图像中的人像部分，获取第二用户位置坐标；对比所述第一用户位置坐标与所述第二用户位置坐标，获得用户位置坐标差值，若所述用户位置坐标差值小于预设的坐标阈值，则进一步确定匹配的所述模版图像中的人脸部分，获取第一人眼位置坐标；根据所述实时图像中的人脸部分，获取第二人眼位置坐标；对比所述第一人眼位置坐标和所述第二人眼位置坐标，若所述第二人眼位置坐标中的纵坐标数值大于等于所述第一人眼位置坐标中的纵坐标数值，则开始记录所述持续时间。

2.根据权利要求1所述的应用于智能画框的人机交互方法，其特征在于，所述输出所述天气数据和所述反馈内容，包括：

根据所述天气数据，生成天气播报语音，播放所述天气播报语音。

3.根据权利要求1所述的应用于智能画框的人机交互方法，其特征在于，所述输出所述天气数据和所述反馈内容之后，还包括：

输出语音采集提示：

采集所述当前用户输入的第二语音，将所述第二语音发送至与所述目标用户绑定的目标终端。

4.根据权利要求3所述的应用于智能画框的人机交互方法，其特征在于，所述将所述第二语音发送至与所述目标用户绑定的目标终端，包括：

将所述第二语音转化为文本数据，将所述文本数据以文本短消息的方式发送至所述目标终端。

5.根据权利要求3所述的应用于智能画框的人机交互方法，其特征在于，所述生成并输出超时提示，包括：

向所述目标终端发送超时告警；

接收所述目标终端返回的超时提示；

输出所述超时提示。

6.根据权利要求5所述的应用于智能画框的人机交互方法，其特征在于，所述超时提示包括：超时提示文本；

所述输出所述超时提示，包括：

使用预设的声音模版，将所述超时提示文本转化为超时提示语音；

输出所述超时提示语音，或输出所述超时提示语音和所述超时提示文本。

7.一种智能画框，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的方法。

Images