[go: up one dir, main page]

CN111367403A - 一种交互方法及装置 - Google Patents

一种交互方法及装置 Download PDF

Info

Publication number
CN111367403A
CN111367403A CN201811641999.2A CN201811641999A CN111367403A CN 111367403 A CN111367403 A CN 111367403A CN 201811641999 A CN201811641999 A CN 201811641999A CN 111367403 A CN111367403 A CN 111367403A
Authority
CN
China
Prior art keywords
expression type
user
expression
preset
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811641999.2A
Other languages
English (en)
Inventor
王俨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuomi Private Ltd
Original Assignee
Hong Kong LiveMe Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong LiveMe Corp ltd filed Critical Hong Kong LiveMe Corp ltd
Priority to CN201811641999.2A priority Critical patent/CN111367403A/zh
Publication of CN111367403A publication Critical patent/CN111367403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种交互方法,该方法包括在接收到模式开启指令后,采集针对用户的待识别图像;对所述待识别图像进行表情识别,确定所述用户的表情类型;判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作;其中,所述预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作;返回所述采集针对用户的待识别图像的步骤。这样,可以从采集到的待识别图像中识别用户的表情,然后,判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,也就是说,可以通过获取用户的表情类型与用户进行交互,而不需要通过用户对屏幕的手动操作与用户进行交互,较为便捷。

Description

一种交互方法及装置
技术领域
本发明涉及软件应用技术领域,特别是涉及一种交互方法及装置。
背景技术
一些场景中,电子设备需要与用户进行交互,从而获知用户的喜好,进而可以根据用户的喜好,确定下一步要执行的操作。
相关技术中,与用户进行交互的方式,主要是通过用户对屏幕的手动操作,比如,设定当用户在屏幕上左滑时,表示喜欢当前所展示的内容,当用户在屏幕上右滑时,表示不喜欢当前所展示的内容。
但是,这种交互方式需要用户手动进行操作,较为不便。
发明内容
本发明实施例的目的在于提供一种交互方法及装置,以提高与用户进行交互的便捷性。
具体技术方案如下:
本发明实施例提供了一种交互方法,所述方法包括:
在接收到模式开启指令后,采集针对用户的待识别图像;
对所述待识别图像进行表情识别,确定所述用户的表情类型;
判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作;其中,所述预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作;
返回所述采集针对用户的待识别图像的步骤。
可选的,所述在接收到模式开启指令后,采集针对用户的待识别图像,包括:
在接收到模式开启指令后,采集多张针对用户的待识别图像;
所述对所述待识别图像进行表情识别,确定所述用户的表情类型,包括:
针对每张待识别图像,对该张待识别图像进行表情识别;
按照预设的分类规则,将所述多张待识别图像的表情识别结果分为多种表情类型,并分别统计每一表情类型的识别次数;
根据每一表情类型的识别次数,确定所述用户的表情类型。
可选的,所述在接收到模式开启指令后,采集多张针对用户的待识别图像,包括:
在接收到模式开启指令后,在预设时长内,采集多张针对用户的待识别图像。
可选的,所述根据每一表情类型的识别次数,确定所述用户的表情类型,包括:
针对每一表情类型,判断该表情类型的识别次数是否大于预设阈值;
若大于,则将该表情类型作为所述用户的表情类型。
可选的,所述根据每一表情类型的识别次数,确定所述用户的表情类型,包括:
确定所述识别次数最大的表情类型,作为所述用户的表情类型。
可选的,所述预设表情类型包括:第一表情类型和第二表情类型,其中,所述第一表情类型表示所述用户喜欢当前展示内容,所述第二表情类型表示所述用户不喜欢当前展示内容,所述当前展示内容为候选聊天对象的信息;
所述判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作,包括:
若所述表情类型为第一表情类型,则进入与所述候选聊天对象的聊天页面;
若所述表情类型为第二表情类型,则切换展示下一聊天候选聊天对象的信息。
本发明实施例还提供了一种交互装置,所述装置包括:
采集模块,用于在接收到模式开启指令后,采集针对用户的待识别图像;
识别模块,用于对所述待识别图像进行表情识别,确定所述用户的表情类型;
判断模块,用于判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作;其中,所述预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作。
可选的,所述采集模块,具体用于在接收到模式开启指令后,采集多张针对用户的待识别图像;
所述识别模块,具体用于针对每张待识别图像,对该张待识别图像进行表情识别;按照预设的分类规则,将所述多张待识别图像的表情识别结果分为多种表情类型,并分别统计每一表情类型的识别次数;根据每一表情类型的识别次数,确定所述用户的表情类型。
可选的,所述采集模块,具体用于在预设时长内,采集多张针对用户的待识别图像。
可选的,所述识别模块,具体用于针对每一表情类型,判断该表情类型的识别次数是否大于预设阈值;若大于,则将该表情类型作为所述用户的表情类型。
可选的,所述识别模块,具体用于确定所述识别次数最大的表情类型,作为所述用户的表情类型。
可选的,所述预设表情类型包括:第一表情类型和第二表情类型,其中,所述第一表情类型表示所述用户喜欢当前展示内容,所述第二表情类型表示所述用户不喜欢当前展示内容,所述当前展示内容为候选聊天对象的信息;
所述判断模块,具体用于若所述表情类型为第一表情类型,则进入与所述候选聊天对象的聊天页面;若所述表情类型为第二表情类型,则切换展示下一聊天候选聊天对象的信息。
本发明实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述的交互方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的交互方法。
本发明实施例提供的交互方法及装置,在接收到模式开启指令后,采集针对用户的待识别图像,然后,对待识别图像进行表情识别,确定用户的表情类型,判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,其中,预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作,并返回采集针对用户的待识别图像的步骤。这样,可以从采集到的待识别图像中识别用户的表情,然后,判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,也就是说,可以通过获取用户的表情类型与用户进行交互,而不需要通过用户对屏幕的手动操作与用户进行交互,较为便捷。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交互方法的流程示意图;
图2为本发明实施例提供的第二种交互方法的流程示意图;
图3为本发明实施例提供的一种交互装置的结构示意图;
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一些场景中,电子设备需要与用户进行交互,从而获知用户的喜好,进而可以根据用户的喜好,确定下一步要执行的操作。
相关技术中,与用户进行交互的方式,主要是通过用户对屏幕的手动操作,比如,设定当用户在屏幕上左滑时,表示喜欢当前所展示的内容,当用户在屏幕上右滑时,表示不喜欢当前所展示的内容。
但是,上述与用户进行交互的方式需要用户手动进行操作,较为不便。
为了解决上述技术问题,本发明提供了一种交互方法,该方法可以应用于电子设备,如计算机、移动终端等等,本发明实施例对此不做限定。
下面从总体上对本发明实施例提供的交互方法进行说明。
一种实现方式中,上述交互方法包括:
在接收到模式开启指令后,采集针对用户的待识别图像;
对所述待识别图像进行表情识别,确定所述用户的表情类型;
判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作;其中,所述预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作;
返回所述采集针对用户的待识别图像的步骤。
由以上可见,本发明实施例提供的交互方法,可以从采集到的待识别图像中识别用户的表情,然后,判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,也就是说,可以通过获取用户的表情类型与用户进行交互,而不需要通过用户对屏幕的手动操作与用户进行交互,较为便捷。
下面通过具体实施例,对本发明实施例提供的交互方法进行详细说明。
如图1所示,为本发明实施例提供的一种交互方法的流程示意图,包括如下步骤:
S101:在接收到模式开启指令后,采集针对用户的待识别图像。
举例而言,模式开启指令可以是用户发送的,比如,当用户在页面上点击某一指示按钮之后,就向电子设备(执行主体)发送了模式开启指令;或者,模式开启指令也可以是根据预先获取的配置信息生成的,比如,可以默认当浏览器或客户端的展示某一页面时,自动生成模式开启指令,开始采集针对用户的待识别图像,具体不做限定。
其中,待识别图像可以是针对用户采集的单张图像,也可以是针对用户连续采集的多张图像,还可以是针对用户采集的一段视频中的某一帧或某几帧,在待识别图像中,包括用户的人脸信息。
一种实现方式中,待识别图像可以是多张针对用户的待识别图像,这样,相比于根据单张待识别图像与用户进行交互的方式,可以根据多张待识别图像进行进一步的分析,减少了由于对某一单张待识别图像的误判,或某一单张待识别图像中用户表情的偶然性导致的交互错误,使得本发明实施例提供的交互方法更加准确。
其中,多张待识别图像可以是在预设时长内采集的,比如,可以将预设时长设置为1.5秒,通过设定预设时长,一方面,可以避免由于时间过短,导致采集到的待识别图像的数量较少,与用户交互的准确度降低,另一方面,可以避免由于时间过长,导致与用户进行交互的反应时间过慢,影响用户的体验。
待识别图像可以是电子设备(执行主体)直接通过图像采集设备采集得到的,比如,在一种实现方式中,可以在接收到模式开启指令后,开启图像采集设备,然后,利用图像采集设备,采集针对用户的待识别图像,或者,也可以在接收到模式开启指令之后,从针对用户采集的监控视频中获取当前采集的一帧或多帧监控图像,作为待识别图像,等等。
其中,图像采集设备可以是电子设备(执行主体)自身配置的前置摄像头,或者,也可以是与电子设备(执行主体)通过网络通信连接的网络摄像机、监控探头等等。
在采集到针对用户的图像之后,可以直接将采集到的图像作为待识别图像,或者,也可以先对采集到的图像进行人脸检测,并根据检测结果对采集到的图像进行裁剪,进而将裁剪得到的人脸图像作为待识别图像,从而提高后续识别操作的准确度,具体不做限定。
其中,可以利用不同的算法对采集到的图像进行人脸检测,从而得到待识别图像,比如,可以利用矩形特征级联分类器、基于直方图粗分割和奇异值特征的人脸检测算法、特征脸方法以及基于二进小波变换的人脸检测算法等等,本发明实施例对此不做限定。
S102:对待识别图像进行表情识别,确定用户的表情类型。
其中,对待识别图像进行表情识别得到的用户表情可以包括笑容、皱眉、哭泣、恐惧等等,在本发明实施例中,可以将识别到的每一种表情分别作为一种表情类型,或者,也可以根据预设规则,进一步将用户表情分为几大类表情类型,等等,具体不做限定。
在待识别图像是单张针对用户的待识别图像的情况下,可以直接对该张待识别图像进行表情识别,根据识别出的用户表情,确定用户的表情类型。
在待识别图像是多张针对用户的待识别图像的情况下,可以针对每张待识别图像,分别对该张待识别图像进行表情识别,然后,按照预设的分类规则,将多张待识别图像的表情识别结果分为多种表情类型,并分别统计每一表情类型的识别次数,进而,根据每一表情类型的识别次数,确定用户的表情类型。
其中,根据每一表情类型的识别次数,确定用户的表情类型的方式,可以是针对每一表情类型,判断该表情类型的识别次数是否大于预设阈值,若大于,则将该表情类型作为用户的表情类型,比如,如果某一表情类型的识别次数超过了30次,那么,可以将该表情类型作为用户的表情类型。
或者,也可以是确定识别次数最大的表情类型,作为用户的表情类型,比如,如果在所有表情类型中,“笑容”这一表情类型的被识别出的次数最大,那么,可以将“笑容”这一表情类型作为用户的表情类型。
可以理解,对多张待识别图像进行表情识别时,可能会识别出多种表情类型,这种情况下,如果识别出的某一表情类型的识别次数大于预设阈值,或该表情类型的被识别出的次数最大,表明该表情类型可以真实体现用户心情的概率较高,从而便于更准确的与用户进行交互。举例来说,如果识别出的表情类型为笑容的次数大于预设阈值,那么,可以判断用户喜欢当前展示内容,因此,可以将该表情类型作为用户表情类型,进而以此为依据与用户进行交互。
在对待识别图像进行表情识别时,可以采用基于神经网络的表情识别方法,或者,也可以预先构建多种表情模型,将待识别图像与这多种表情模型进行匹配,根据匹配结果确定图像中的表情,具体不做限定。
S103:判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作;其中,预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作。
可以理解,用户的表情通常是复杂的,而与用户进行交互时,并不是每一种用户表情类型都可以体现用户的心理活动,比如,当用户微笑时,可以推断用户对当前所展示的内容是喜欢的,而当用户皱眉时,则可以推断用户对当前所展示的内容是不喜欢的。
在这种情况下,可以预设一些表情类型,在确定用户的表情类型之后,可以进一步判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,从而实现与用户之间的交互。这样,可以提高与用户进行交互的有效性,减少不必要的交互操作。
举例而言,在应用于聊天软件的情况下,如果当前展示内容为候选聊天对象的信息,那么,预设表情类型可以包括第一表情类型和第二表情类型,其中,第一表情类型表示用户喜欢当前展示内容,比如,可以为笑容,第二表情类型表示用户不喜欢当前展示内容,比如,可以为皱眉,这样,若识别出用户表情类型为第一表情类型,则可以进入与候选聊天对象的聊天页面,若识别出用户表情类型为第二表情类型,则可以切换展示下一聊天候选聊天对象的信息。
这样,相比于传统聊天软件中,根据用户在屏幕上的左滑或右滑操作确定用户是否同意与候选聊天对象进行聊天的方式,可以解放用户的双手,交互更为便捷。
另外,也可以直接将用户表情类型与某一固定操作相对应,比如,如果用户表情类型为眨左眼,则上滑当前页面,如果用户表情类型为眨右眼,则下滑当前页面,如果用户表情类型为闭眼,则关闭当前页面,等等,具体不做限定。
S104:返回采集针对用户的待识别图像的步骤。
在执行用户的表情类型对应的操作之后,可以返回采集针对用户的待识别图像的步骤,继续与用户进行交互。
由以上可见,本发明实施例提供的交互方法,可以从采集到的待识别图像中识别用户的表情,然后,判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,也就是说,可以通过获取用户的表情类型与用户进行交互,而不需要通过用户对屏幕的手动操作与用户进行交互,较为便捷。
如图2所示,为本发明实施例提供的交互方法的第二种流程示意图,包括如下步骤:
S201:在接收到模式开启指令后,采集多张针对用户的待识别图像。
举例而言,模式开启指令可以是用户发送的,比如,当用户在页面上点击某一指示按钮之后,就向电子设备(执行主体)发送了模式开启指令;或者,模式开启指令也可以是根据预先获取的配置信息生成的,比如,可以默认当浏览器或客户端的展示某一页面时,自动生成模式开启指令,开始采集针对用户的待识别图像,具体不做限定。
其中,待识别图像可以是针对用户连续采集的多张图像,还可以是针对用户采集的一段视频中的某几帧,在待识别图像中,包括用户的人脸信息。相比于根据单张待识别图像与用户进行交互的方式,可以根据多张待识别图像进行进一步的分析,减少了由于对某一单张待识别图像的误判,或某一单张待识别图像中用户表情的偶然性导致的交互错误,使得本发明实施例提供的交互方法更加准确。
其中,多张待识别图像可以是在预设时长内采集的,比如,可以将预设时长设置为1.5秒,通过设定预设时长,一方面,可以避免由于时间过短,导致采集到的待识别图像的数量较少,与用户交互的准确度降低,另一方面,可以避免由于时间过长,导致与用户进行交互的反应时间过慢,影响用户的体验。
待识别图像可以是电子设备(执行主体)直接通过图像采集设备采集得到的,比如,在一种实现方式中,可以在接收到模式开启指令后,开启图像采集设备,然后,利用图像采集设备,采集针对用户的待识别图像,或者,也可以在接收到模式开启指令之后,从针对用户采集的监控视频中获取当前采集的一帧或多帧监控图像,作为待识别图像,等等。
其中,图像采集设备可以是电子设备(执行主体)自身配置的前置摄像头,或者,也可以是与电子设备(执行主体)通过网络通信连接的网络摄像机、监控探头等等。
在采集到针对用户的图像之后,可以直接将采集到的图像作为待识别图像,或者,也可以先对采集到的图像进行人脸检测,并根据检测结果对采集到的图像进行裁剪,进而将裁剪得到的人脸图像作为待识别图像,从而提高后续识别操作的准确度,具体不做限定。
其中,可以利用不同的算法对采集到的图像进行人脸检测,从而得到待识别图像,比如,可以利用矩形特征级联分类器、基于直方图粗分割和奇异值特征的人脸检测算法、特征脸方法以及基于二进小波变换的人脸检测算法等等,本发明实施例对此不做限定。
S202:针对每张待识别图像,对该张待识别图像进行表情识别。
其中,在对待识别图像进行表情识别时,可以采用基于神经网络的表情识别方法,或者,也可以预先构建多种表情模型,将待识别图像与这多种表情模型进行匹配,根据匹配结果确定图像中的表情,具体不做限定。
S203:按照预设的分类规则,将多张待识别图像的表情识别结果分为多种表情类型,并分别统计每一表情类型的识别次数。
其中,对待识别图像进行表情识别得到的用户表情可以包括笑容、皱眉、哭泣、恐惧等等,在本发明实施例中,可以将识别到的每一种表情分别作为一种表情类型,或者,也可以根据预设规则,进一步将用户表情分为几大类表情类型,等等,具体不做限定。
S204:根据每一表情类型的识别次数,确定用户的表情类型。
其中,根据每一表情类型的识别次数,确定用户的表情类型的方式,可以是针对每一表情类型,判断该表情类型的识别次数是否大于预设阈值,若大于,则将该表情类型作为用户的表情类型,比如,如果某一表情类型的识别次数超过了30次,那么,可以将该表情类型作为用户的表情类型。
或者,也可以是确定识别次数最大的表情类型,作为用户的表情类型,比如,如果在所有表情类型中,“笑容”这一表情类型的被识别出的次数最大,那么,可以将“笑容”这一表情类型作为用户的表情类型。
可以理解,对多张待识别图像进行表情识别时,可能会识别出多种表情类型,这种情况下,如果识别出的某一表情类型的识别次数大于预设阈值,或该表情类型的被识别出的次数最大,表明该表情类型可以真实体现用户心情的概率较高,从而便于更准确的与用户进行交互。举例来说,如果识别出的表情类型为笑容的次数大于预设阈值,那么,可以判断用户喜欢当前展示内容,因此,可以将该表情类型作为用户表情类型,进而以此为依据与用户进行交互。
S205:判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作;其中,预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作。
可以理解,用户的表情通常是复杂的,而与用户进行交互时,并不是每一种用户表情类型都可以体现用户的心理活动,比如,当用户微笑时,可以推断用户对当前所展示的内容是喜欢的,而当用户皱眉时,则可以推断用户对当前所展示的内容是不喜欢的。
在这种情况下,可以预设一些表情类型,在确定用户的表情类型之后,可以进一步判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,从而实现与用户之间的交互。这样,可以提高与用户进行交互的有效性,减少不必要的交互操作。
举例而言,在应用于聊天软件的情况下,如果当前展示内容为候选聊天对象的信息,那么,预设表情类型可以包括第一表情类型和第二表情类型,其中,第一表情类型表示用户喜欢当前展示内容,比如,可以为笑容,第二表情类型表示用户不喜欢当前展示内容,比如,可以为皱眉,这样,若识别出用户表情类型为第一表情类型,则可以进入与候选聊天对象的聊天页面,若识别出用户表情类型为第二表情类型,则可以切换展示下一聊天候选聊天对象的信息。
这样,相比于传统聊天软件中,根据用户在屏幕上的左滑或右滑操作确定用户是否同意与候选聊天对象进行聊天的方式,可以解放用户的双手,交互更为便捷。
另外,也可以直接将用户表情类型与某一固定操作相对应,比如,如果用户表情类型为眨左眼,则上滑当前页面,如果用户表情类型为眨右眼,则下滑当前页面,如果用户表情类型为闭眼,则关闭当前页面,等等,具体不做限定。
S206:返回采集针对用户的待识别图像的步骤。
在执行用户的表情类型对应的操作之后,可以返回采集针对用户的待识别图像的步骤,继续与用户进行交互。
由以上可见,本发明实施例提供的交互方法,可以从采集到的待识别图像中识别用户的表情,然后,判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,也就是说,可以通过获取用户的表情类型与用户进行交互,而不需要通过用户对屏幕的手动操作与用户进行交互,较为便捷。而且,相比于根据单张待识别图像与用户进行交互的方式,可以根据多张待识别图像进行进一步的分析,减少了由于对某一单张待识别图像的误判,或某一单张待识别图像中用户表情的偶然性导致的交互错误,使得本发明实施例提供的交互方法更加准确。
本发明实施例还提供了一种交互装置,如图3所示,为本发明实施例提供的交互装置的结构示意图,该装置包括:
采集模块301,用于在接收到模式开启指令后,采集针对用户的待识别图像;
识别模块302,用于对所述待识别图像进行表情识别,确定所述用户的表情类型;
判断模块303,用于判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作;其中,所述预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作。
一种实现方式中,所述采集模块301,具体用于在接收到模式开启指令后,采集多张针对用户的待识别图像;
所述识别模块302,具体用于针对每张待识别图像,对该张待识别图像进行表情识别;按照预设的分类规则,将所述多张待识别图像的表情识别结果分为多种表情类型,并分别统计每一表情类型的识别次数;根据每一表情类型的识别次数,确定所述用户的表情类型。
一种实现方式中,所述采集模块301,具体用于在预设时长内,采集多张针对用户的待识别图像。
一种实现方式中,所述识别模块302,具体用于针对每一表情类型,判断该表情类型的识别次数是否大于预设阈值;若大于,则将该表情类型作为所述用户的表情类型。
一种实现方式中,所述识别模块302,具体用于确定所述识别次数最大的表情类型,作为所述用户的表情类型。
一种实现方式中,所述预设表情类型包括:第一表情类型和第二表情类型,其中,所述第一表情类型表示所述用户喜欢当前展示内容,所述第二表情类型表示所述用户不喜欢当前展示内容,所述当前展示内容为候选聊天对象的信息;
所述判断模块303,具体用于若所述表情类型为第一表情类型,则进入与所述候选聊天对象的聊天页面;若所述表情类型为第二表情类型,则切换展示下一聊天候选聊天对象的信息。
由以上可见,本发明实施例提供的交互装置,可以从采集到的待识别图像中识别用户的表情,然后,判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,也就是说,可以通过获取用户的表情类型与用户进行交互,而不需要通过用户对屏幕的手动操作与用户进行交互,较为便捷。
本发明实施例还提供了一种电子设备,如图4所示,包括处理器401、通信接口402、存储器403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信,
存储器403,用于存放计算机程序;
处理器401,用于执行存储器403上所存放的程序时,实现如下步骤:
在接收到模式开启指令后,采集针对用户的待识别图像;
对所述待识别图像进行表情识别,确定所述用户的表情类型;
判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作;其中,所述预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作;
返回所述采集针对用户的待识别图像的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由以上可见,本发明实施例提供的交互方法,可以从采集到的待识别图像中识别用户的表情,然后,判断表情类型是否为预设表情类型,若是,则执行预设表情类型对应的操作,也就是说,可以通过获取用户的表情类型与用户进行交互,而不需要通过用户对屏幕的手动操作与用户进行交互,较为便捷。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的交互方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的交互方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种交互方法,其特征在于,所述方法包括:
在接收到模式开启指令后,采集针对用户的待识别图像;
对所述待识别图像进行表情识别,确定所述用户的表情类型;
判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作;其中,所述预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作;
返回所述采集针对用户的待识别图像的步骤。
2.根据权利要求1所述的方法,其特征在于,所述在接收到模式开启指令后,采集针对用户的待识别图像,包括:
在接收到模式开启指令后,采集多张针对用户的待识别图像;
所述对所述待识别图像进行表情识别,确定所述用户的表情类型,包括:
针对每张待识别图像,对该张待识别图像进行表情识别;
按照预设的分类规则,将所述多张待识别图像的表情识别结果分为多种表情类型,并分别统计每一表情类型的识别次数;
根据每一表情类型的识别次数,确定所述用户的表情类型。
3.根据权利要求2所述的方法,其特征在于,所述在接收到模式开启指令后,采集多张针对用户的待识别图像,包括:
在接收到模式开启指令后,在预设时长内,采集多张针对用户的待识别图像。
4.根据权利要求2所述的方法,其特征在于,所述根据每一表情类型的识别次数,确定所述用户的表情类型,包括:
针对每一表情类型,判断该表情类型的识别次数是否大于预设阈值;
若大于,则将该表情类型作为所述用户的表情类型。
5.根据权利要求2所述的方法,其特征在于,所述根据每一表情类型的识别次数,确定所述用户的表情类型,包括:
确定所述识别次数最大的表情类型,作为所述用户的表情类型。
6.根据权利要求1所述的方法,其特征在于,所述预设表情类型包括:第一表情类型和第二表情类型,其中,所述第一表情类型表示所述用户喜欢当前展示内容,所述第二表情类型表示所述用户不喜欢当前展示内容,所述当前展示内容为候选聊天对象的信息;
所述判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作,包括:
若所述表情类型为第一表情类型,则进入与所述候选聊天对象的聊天页面;
若所述表情类型为第二表情类型,则切换展示下一聊天候选聊天对象的信息。
7.一种交互装置,其特征在于,所述装置包括:
采集模块,用于在接收到模式开启指令后,采集针对用户的待识别图像;
识别模块,用于对所述待识别图像进行表情识别,确定所述用户的表情类型;
判断模块,用于判断所述表情类型是否为预设表情类型,若是,则执行所述预设表情类型对应的操作;其中,所述预设表情类型包括一种或多种,每种预设表情类型分别对应不同的操作。
8.根据权利要求7所述的装置,其特征在于,
所述采集模块,具体用于在接收到模式开启指令后,采集多张针对用户的待识别图像;
所述识别模块,具体用于针对每张待识别图像,对该张待识别图像进行表情识别;按照预设的分类规则,将所述多张待识别图像的表情识别结果分为多种表情类型,并分别统计每一表情类型的识别次数;根据每一表情类型的识别次数,确定所述用户的表情类型。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN201811641999.2A 2018-12-29 2018-12-29 一种交互方法及装置 Pending CN111367403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811641999.2A CN111367403A (zh) 2018-12-29 2018-12-29 一种交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811641999.2A CN111367403A (zh) 2018-12-29 2018-12-29 一种交互方法及装置

Publications (1)

Publication Number Publication Date
CN111367403A true CN111367403A (zh) 2020-07-03

Family

ID=71207885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811641999.2A Pending CN111367403A (zh) 2018-12-29 2018-12-29 一种交互方法及装置

Country Status (1)

Country Link
CN (1) CN111367403A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783728A (zh) * 2020-07-15 2020-10-16 网易(杭州)网络有限公司 信息交互方法、装置和终端设备
CN114093352A (zh) * 2021-10-12 2022-02-25 北京声智科技有限公司 交互方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103079034A (zh) * 2013-01-06 2013-05-01 北京百度网讯科技有限公司 一种感知拍摄方法及系统
CN104622655A (zh) * 2014-12-23 2015-05-20 上海工程技术大学 一种用于康复护理机器人床的控制方法和设备
CN104902212A (zh) * 2015-04-30 2015-09-09 努比亚技术有限公司 一种视频通信方法及装置
CN106572299A (zh) * 2016-10-31 2017-04-19 北京小米移动软件有限公司 摄像头开启方法及装置
CN108287738A (zh) * 2017-12-21 2018-07-17 维沃移动通信有限公司 一种应用程序控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103079034A (zh) * 2013-01-06 2013-05-01 北京百度网讯科技有限公司 一种感知拍摄方法及系统
CN104622655A (zh) * 2014-12-23 2015-05-20 上海工程技术大学 一种用于康复护理机器人床的控制方法和设备
CN104902212A (zh) * 2015-04-30 2015-09-09 努比亚技术有限公司 一种视频通信方法及装置
CN106572299A (zh) * 2016-10-31 2017-04-19 北京小米移动软件有限公司 摄像头开启方法及装置
CN108287738A (zh) * 2017-12-21 2018-07-17 维沃移动通信有限公司 一种应用程序控制方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783728A (zh) * 2020-07-15 2020-10-16 网易(杭州)网络有限公司 信息交互方法、装置和终端设备
CN114093352A (zh) * 2021-10-12 2022-02-25 北京声智科技有限公司 交互方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111539443B (zh) 一种图像识别模型训练方法及装置、存储介质
CN110321845B (zh) 一种从视频中提取表情包的方法、装置及电子设备
CN110826006A (zh) 基于隐私数据保护的异常采集行为识别方法和装置
CN111127508B (zh) 一种基于视频的目标跟踪方法及装置
WO2017084541A1 (zh) 会话中实现表情图像发送的方法和装置
CN112559800A (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN111368786A (zh) 动作区域提取方法、装置、设备及计算机可读存储介质
CN111814913A (zh) 图像分类模型的训练方法、装置、电子设备及存储介质
CN110856037A (zh) 一种视频封面确定方法、装置、电子设备及可读存储介质
CN110597965B (zh) 文章的情感极性分析方法、装置、电子设备及存储介质
CN112115950A (zh) 酒标识别方法、酒品信息管理方法、装置、设备及存储介质
CN114140852B (zh) 图像检测方法和装置
CN111367403A (zh) 一种交互方法及装置
CN114360053A (zh) 一种动作识别方法、终端及存储介质
CN111695357B (zh) 文本标注方法及相关产品
CN116071613A (zh) 一种图像分类模型的训练方法、装置、计算机设备及介质
CN115390969A (zh) 一种弹窗控制方法及系统
CN111414073A (zh) 一种人机交互方法、装置、电子设备及可读存储介质
CN114627875A (zh) 自动语音识别技术的清洗方法、装置以及电子设备
CN114531290A (zh) 登录信息管理方法、登录信息管理装置和电子设备
WO2021098754A1 (zh) 数据对象、表情包的生成方法、计算机设备、存储介质
CN110069648A (zh) 一种图像检索方法及装置
WO2025002123A1 (zh) 数据分类方法、装置、设备、介质及程序产品
CN108235810B (zh) 智能处理应用事件的方法、装置与计算机可读存储介质
CN113312554B (zh) 用于评价推荐系统的方法及装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210527

Address after: 25, 5th floor, shuangjingfang office building, 3 frisha street, Singapore

Applicant after: Zhuomi Private Ltd.

Address before: Room 1101, Santai Commercial Building, 139 Connaught Road, Hong Kong, China

Applicant before: HONG KONG LIVE.ME Corp.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703

RJ01 Rejection of invention patent application after publication