[go: up one dir, main page]

CN116566758A - 音视频会议快速响应、教学提问响应方法和电子设备 - Google Patents

音视频会议快速响应、教学提问响应方法和电子设备 Download PDF

Info

Publication number
CN116566758A
CN116566758A CN202310536951.XA CN202310536951A CN116566758A CN 116566758 A CN116566758 A CN 116566758A CN 202310536951 A CN202310536951 A CN 202310536951A CN 116566758 A CN116566758 A CN 116566758A
Authority
CN
China
Prior art keywords
information
terminal
dialog box
listener
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310536951.XA
Other languages
English (en)
Inventor
刘成锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310536951.XA priority Critical patent/CN116566758A/zh
Publication of CN116566758A publication Critical patent/CN116566758A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种音视频会议快速响应、教学提问响应方法、设备和介质,据本申请实施例提供的方案,能够提高音视频会议的流畅性和用户体验。其中,音视频会议快速响应方法包括:在音视频会议过程中,对所述会议发言人的发言进行识别,获得识别结果;根据所述识别结果,在多个预设的发言意图中,获得命中的目标意图;根据所述目标意图,向收听人的终端发送对话框启动信息,以对收听人弹出对话框;接收所述收听人对所述对话框的响应信息;对所述响应信息进行统计,展示所述响应信息的统计结果。

Description

音视频会议快速响应、教学提问响应方法和电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种音视频会议快速响应、教学提问响应方法和电子设备。
背景技术
随着计算机技术和网络技术的发展,用户可以利用终端和网络进行语音和画面的实时交流。比如,用户能够加入网络会议,通过网络传输音频和画面信号进行会议召开。在音视频会议过程中,会议发言人经常会通过语音沟通确认收听人是否能够收听到发言。收听人需要点击音视频会议应用程序的麦克风按钮,打开参会终端的麦克风,语音回答会议发言人的发问,以表示自己能够正常收听到会议发言人的发言。但是,在有些情况下,如果语音传输存在问题,则会议发言人无法及时收听到收听人的回答,或者收听人无法收听到发言因而也无法及时确认自己不能听到发言。从而,需要消耗较长的时间进行音频、视频等信号接收的确认和测试,给用户通过终端和网络进行语音和画面的交流带来不便。
发明内容
本申请实施例提供一种音视频会议快速响应、教学提问响应方法和电子设备,以实现提高音视频会议等在线音频和视频沟通活动的便利性和用户体验。
第一方面,本申请实施例提供了一种音视频会议快速响应方法,应用于终端,包括:在音视频会议过程中,对所述会议发言人的发言进行识别,获得识别结果;根据所述识别结果,确定命中的目标意图;根据所述目标意图,向收听人的终端发送对话框启动信息,以对收听人弹出对话框;接收所述收听人对所述对话框的响应信息。
第二方面,本申请实施例还提供一种音视频会议快速响应方法,应用于收听人的终端,包括:在音视频会议过程中,根据目标意图,弹出对话框;所述目标意图是根据会议发言人的终端接收的发言得到的;接收所述收听人对所述对话框的响应信息;将所述响应信息发送至所述会议发言人的终端。
第三方面,本申请实施例还提供一种音视频会议快速响应方法,应用于服务器端,包括:接收根据会议发言人的发言生成的对话框启动信息;所述对话框启动信息用于对收听人弹出对话框;向所述收听人的终端发送所述对话框启动信息;接收所述收听人对所述对话框的响应信息;将所述响应信息发送给所述会议发言人的终端。
第四方面,本申请实施例还提供一种教学提问响应方法,应用于教学授课终端,包括:根据教学授课人员的教学提问语音,获得识别结果;根据所述识别结果,在多个预设的知识点中,获得命中的目标知识点;根据所述目标知识点,获得至少一个匹配的题目;根据对所述至少一个匹配的题目的选择信息,确定至少一个选中题目;向教学听课终端发送所述选中题目。
第五方面,本申请实施例还提供一种教学提问响应方法,应用于教学听课终端,包括:接收教学授课终端发送的选中题目;根据所述选中题目,弹出对话框,在所述对话框中展示所述选中题目和答题信息输入框;根据在所述答题信息输入框中的输入操作,获得答题信息;向所述教学授课终端发送所述答题信息。
第六方面,本申请实施例还提供一种签到方法,应用于签到负责人终端,包括:接收签到负责人的语音;在识别出所述语音为签到发起语音的情况下,生成签到启动信息;将签到启动信息发送到活动参加人的终端,使得活动参加人的终端能够根据所述签到启动信息弹出签到对话框;所述签到对话框用于接收活动参加人对活动进行签到的输入信息;接收所述活动参加人的终端根据所述输入信息发送的签到信息。
第七方面,本申请实施例还提供一种签到方法,应用于待签到活动的活动参加人的终端,包括:接收签到负责人终端发送的签到启动信息;根据所述签到启动信息,弹出签到对话框;根据所述活动参加人对所述签到对话框的输入信息,生成签到信息;将所述签到信息发送到所述签到负责人终端。
第八方面,本申请实施例还提供一种游戏互动信息响应方法,应用于游戏终端,包括:对游戏过程中的互动语音进行识别,获得识别结果和互动对象;根据所述识别结果,在多个预设的游戏交互意图中,获得命中的目标交互意图;根据所述目标交互意图,向所述互动对象的游戏终端发送对话框启动信息;所述对话框启动信息用于在所述互动对象的游戏终端启动对话框并展示所述目标交互意图。
第九方面,本申请实施例提供一种音视频会议快速响应方法,应用于会议发言人的终端,包括:在音视频会议过程中,对会议发言人的发言进行识别,获得识别结果;根据所述识别结果,在多个预设的发言意图中,获得命中的目标意图;根据所述目标意图,确定对收听人的终端启动的功能;所述功能启动时用于获取收听人对所述发言的响应信息;发送功能启动信息以在所述收听人的终端启动所述功能。
第十方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,处理器在执行计算机程序时实现上述任一项的方法。
第十一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述任一项的方法。
与现有技术相比,本申请具有如下优点:
本申请实施例通过对音视频会议过程中的会议发言人进行实时的发言识别,在会议发言人希望得到一些常见的响应信息的情况下,能够在收听人对应的终端生成对话框,同时收听人能够对对话框进行直接操作,生成对发言的响应信号,方便收听人进行响应,方便会议发言人接收响应信号,在音频信号或者视频信号传输存在问题的情况下,能够缩短会议发言人和收听人相互确认、发现问题的时间。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,可依照说明书的内容予以实施,并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请的一些实施方式,而不应将其视为是对本申请范围的限制。
图1A为本申请实施例的音视频会议快速响应方法的应用场景示意图;
图1B为本申请实施例的音视频会议快速响应方法的应用场景示意图;
图2为本申请实施例的音视频会议快速响应处理方法的流程示意图;
图3为本申请实施例的一种弹窗示意图;
图4为音视频会议过程中的部分界面示意图;
图5为本申请一种示例的音视频会议快速响应方法流程示意图;
图6A为本申请一种示例的音视频会议界面示意图;
图6B为本申请一种示例的音视频会议界面示意图;
图6C为本申请一种示例的音视频会议界面示意图;
图7A为本申请一种示例的音视频会议中的会议发言人侧界面示意图;
图7B为本申请一种示例的音视频会议中的收听人侧界面变化示意图;
图8A为本申请实施例的音视频会议快速响应装置示意图;
图8B为本申请实施例中的一种音视频会议快速响应系统结构示意图;
图8C为本申请实施例的一种教学体提问应装置示意图;以及
图9为用来实现本申请实施例的电子设备的框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的构思或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的,而非限制性的。
为便于理解本申请实施例的技术方案,以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合,其均属于本申请实施例的保护范围。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等,比如前述实施例中的记录数据),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
图1A为示例性的实现本申请实施例的方法的应用场景的示意图。如图1A所示,本申请实施例的音视频会议快速响应方法可以应用于与云端服务器101连接的多个参会终端102。该参会终端102可以是与云端服务器101连接的计算设备,比如台式计算机、笔记本电脑、平板电脑、智能可穿戴设备、掌上电脑等具有数据处理、信号收发功能的设备。在参会终端102为台式计算机等计算设备的情况下,参会终端102还可以连接音视频采集装置,比如摄像头103、麦克风104。不同的用户通过参会终端102,连接到云端服务器101,同时参会终端102自身或者通过连接的音视频采集装置采集音频信号和视频信号,将音频信号和视频信号通过云端服务器101发送至其他的参会终端,使得用户作为参会人员能够通过各自的参会终端进行会议召开。
如图1B所示,本申请实施例的方法还可以应用于客服对顾客进行在线服务的场景。客服人员可以在客服终端105与使用顾客终端106的顾客进行沟通。在客服人员发出语音的情况下,可以对语音进行实时检测,根据对语音的检测结果,可以对顾客终端106的对应功能进行调用,无需客服人员指导顾客进行手动调用,节省了沟通时间,提高了客服人员的服务效率。
本申请实施例提供音视频会议快速响应方法,应用于会议发言人的终端,包括如图2所示的流程,包括步骤S201-S204。
在步骤S201,在音视频会议过程中,对会议发言人的发言进行识别,获得识别结果。
本实施例中,音视频会议,可以包括通过音频和/或音频结合视频的信号进行网络在线传输,实现两个或两个以上用户通过各自的终端进行交流、沟通的在线会议。在线会议又可以称为网络会议或是远程协同办公,用户利用互联网实现不同地点多个用户的数据共享,通过在线会议来实现在线销售、远程客户支持、IT技术支持、远程培训、在线市场活动等多项用途。在线会议系统可有效地提高对全球各地的客户、合作伙伴以及同事在线协同合作的效率,让产品演示、共享应用程序以及开展专案协作就如同近在咫尺那样容易。
在本申请另一种实施例中,音视频会议还可以包括通过预先录制的音频或者音频与视频结合的文件召开的会议。
音视频会议过程,可以是从线会议室构建之后,参会人员进入在线会议室,到参会人员离开在线会议室的过程。
音视频会议可以包括两个或两个以上参会人员,会议发言人可以为参会人员中的任意至少一人,收听人可以为参会人中能够通过自己的终端收听到发言的其他人。参会人员可以通过各自的终端参加会议,各个终端可以包括麦克风、摄像头等用于获取音频或视频数据的装置。可以通过麦克风的打开状态以及麦克风是否接收到语音信号,来判断一个参会人员是否为会议发言人,在一个参会人员正在讲话的状态下,可以认为该参会人员为会议发言人。
在一种实施方式中,对会议发言人的发言进行识别,可以包括采用自然语言处理(NLP,Natural Language Processing)的方式,对发言的语言内容进行识别。
在步骤S202,根据识别结果,在多个预设的发言意图中,获得命中的目标意图。
本实施例中,识别结果可以包括对发言的自然语言进行机器阅读,得到的关于发言的总结。也可以包括对发言进行自然语言的识别,提取其中的关键词,还可以按照对发言的分析,排列出关键词的顺序或者获得关键词的相关程度信息,将关键词、关键词的顺序或相关程度信息作为识别结果。
多个预设的发言意图,可以按照会议过程中一般可能高频出现的发言意图进行设定。比如,音视频会议过程中可能存在为了确认信号连接情况,而询问信号接收状况的发言,对应确认参会人员是否能够收听的发言意图、确认参会人员是否能够看见共享平面的发言意图、确认参会人员是否能够看见视频信号的发言意图,具体发言内容可以包括“能听见吗”、“听得到吗”、“能看见吗”、“能看见这个XXX吗”等等。在其他实施例中,发言意图还可以包括询问参会人员是否到场的意图、询问参会人员是否还有其他疑问的意图等。发言与发言意图之间的对应关系,可以通过预先配置确定,例如,可以参照后续的表4中的对应关系,设定将至少一句话语(或者同语义不同表达的其他话语)识别为目标意图。
在另一种实施例中,音视频会议进行时可能会存在多个参会人员之间的互动。比如,参会人员A询问“B人员,请介绍一下XXXX技术”,对应的发言意图可能是邀请指定人员进行发言的意图。
目标意图为多个预设的发言意图之一。根据识别结果,在多个预设的发言意图中,获得命中的目标意图,可以包括,将识别结果和多个预设的发言意图进行匹配,获得匹配程度最高的发言意图,作为目标意图。
在另一种实施方式中,根据识别结果,在多个预设的发言意图中,获得命中的目标意图,还可以包括,在根据识别结果判定设定的时间内反复命中目标意图的情况下,将反复命中的目标意图进行合并处理。在会议过程中,为了确认信号传输情况,会议发言人会反复确定有无听到信号,比如,会议发言人在确认音频信号接收情况时,讲出“喂,喂,听到了吗?听到了吗”在这种情况下,如果每次命中目标意图均向收听人发送对话框启动信息,则会发送过多重复的信息导致对收听人造成干扰。因此,在获得命中的目标意图时,如果判定会议发言人的连续发言属于基于单次询问目的,重复多次表达相同的目标意图,则将重复命中的目标意图进行合并。
在步骤S203,根据目标意图,向收听人的终端发送对话框启动信息,以对收听人弹出对话框。
在一种实现方式中,对收听人弹出对话框,可以包括:在收听人的音视频会议应用程序界面上弹出对话框。对话框可以用于在收听人的终端接收收听人对发言的响应信息。目标意图与对话框启动信息具有对应关系,对话框启动信息进一步对应不同的对话框。对话框可以包括表示目标意图的展示文字和表示响应信息的选项按钮。
在另一种实施方式中,对话框还可以包括表示目标意图的信息,以及输入响应信息的输入框。在对话框包括输入响应信息的输入框的情况下,在收听人的终端弹出对话框时,可以启动键盘,便于收听人直接输入。
对话框展示的内容也可以根据目标意图而有所不同。如表1所示。
表1
表1中的信息1-6可以是具体的指令。目标意图、对话框启动信息、对话框不限于上表中所列举的例子,还可以根据实际需要进行变化。表1中确认是否在场的选项,具体用于在参会人员登录在线会议室,但是参会人员本身可能不在会议设备附近的情况下,确认参会人员是否在会议设备附近。
在步骤S204,接收收听人对对话框的响应信息。
收听人对对话框的响应信息,可以是收听人在其终端操作对话框后生成的。比如,在对话框包括选项按钮的情况下,收听人操作点击按钮时,产生响应信息。再如,在对话框包括响应信息输入框的情况下,收听人在信息输入框中输入信息后,产生响应信息。
对于收听人的终端,在设定时间内没有接收到响应信息的情况下,生成默认的响应信息,向会议发言人的终端发送默认的响应信息,从而在会议发言人的终端接收的响应信息可以包括默认的响应信息。
在一种实施方式中,默认的响应信息可以表示没有回复,或者根据默认的答案对发言进行回复。例如,会议发言人询问,是否能够收听到声音。根据发言,收听人的终端上弹出对话框,会议发言人并未操作对话框进行回复,则可以生成表示“未回复”的默认的响应信息,或者可以生成默认为能够听到的回复。
在一种实施方式中,在图2的基础上,音视频会议快速响应方法还可以包括步骤:对响应信息进行统计,展示响应信息的统计结果。
对响应信息进行统计,可以表示根据响应信息内容的不同种类,对响应信息进行统计。比如,在收听人点击对话框上的选项按钮时,每个选项按钮对应一种响应信息,选项按钮“是”和选项按钮“否”分别对应不同的响应信息。那么,在统计响应信息时,可以统计表达“是”的响应信息数量,和表达“否”的响应信息数量。参照图6C所示,会议发言人可以在音视频会议界面上直观观看到,针对“大家都能听见吗”的发言,响应信息表示“是”的数量、响应信息表示“否”的数量和名称信息。一般情况下,询问“是否能够听见”之类的问题时,会议发言人更加关心具体有哪些人不能听见声音。在图6C所示的实施例中,统计能够听见发言的声音的响应信息数量,同时展示不能听见发言的响应信息数量和具体名称信息,会议发言人能够一目了然地得知具体哪些人员不能听见声音。
本申请实施例通过对音视频会议过程中的会议发言人进行实时的发言识别,在会议发言人希望得到一些常见的响应信息的情况下,能够在需要对发言进行响应的目标终端,启动对话框以获得收听人的响应信息,使得不同的参会人员之间交流的流畅性尽可能接近真实的线下到场会议场景,提升响应效率、会议整体效率和用户体验。在音频信号不能够正常传输时,通过对话框进行视觉提示,保证会议发言人的意图能够传达。同时,在音视频会议过程中,如果出现点名提问的情况,通过本申请实施例提供的方法,能够自动检测到点名事件,并识别出被点名参会人员对应的目标终端,自动在目标终端启动用于接收响应信息的对话框,减少参会人员手动操作。
在一种实施方式中,所述向收听人的终端发送对话框启动信息,包括:在所述会议发言人的发言中包含名称信息的情况下,获得所述名称信息;根据所述名称信息,生成所述对话框启动信息;向收听人的终端发送所述对话框启动信息,所述对话框启动信息用于对所述名称信息对应的收听人弹出对话框。
本实施例中,名称信息对应参会人员,每个参会人员可以对应设置至少一个名称信息,名称信息可以是参会账号的账号名、参会人员姓名、终端的设备名、参会人员的一般尊称(比如张总、李总等)、终端的IP地址等。
在发言中包含名称信息的情况下,根据名称信息启动对话框,从而有针对性地提示收听人对发言进行响应,比如,会议发言人讲“下面请张总进行讲话,请问张总能否听到?”,这种情况下,在名称信息“张总”对应的收听人终端进行对话框启动的操作,避免在所有参会人员的音视频会议界面上无差别地启动对话框而对不相关的参会人员造成干扰。
在一种实施方式中,音视频会议快速响应方法还包括:获得所述音视频会议的参会人员名称列表;所述参会人员名称列表包括根据各参会终端的账号名称所获得的至少一个名称信息,和/或根据名称列表设置信息获得的至少一个名称信息,和/或根据参会人员的参会设备编号获得的至少一个名称信息,和/或根据各参会终端的参会IP(InternetProtocol,网际互连协议)地址获得的至少一个名称信息。
在一种实施方式中,可以在参会终端存储参会人员名称列表,一个参会人员可以拥有至少一个名称信息,参会人员名称列表可以如下表2所示。
表2
表2中的相当于名称列表设置信息。在音视频会议持续过程中,可以对会议发言人的发言进行实时检测,识别发言中所包含的名称信息,在发言中,可以使用参会人员名称列表中的任意一种名称信息与发言进行匹配,在发言命中表2的9个参会人员的任意一种名称信息时,就可以判定目标意图为针对名称信息对应的人员的意图。比如,会议发言人发表发言“请问周工在场吗?”,进行语义识别或者文本模板匹配,得出识别结果,可以经过匹配得到表1中“确认是否在场”的目标意图,以及识别出“周工”的名称信息,发送表1中的信息2到编号为9的收听人的终端,以使得在其音视频会议界面上展示:会议发言人正在询问“在吗?”,以及表示“是”和“否”的两个选项按钮。在编号为9的收听人点击“是”的选项按钮后,在会议发言人的音视频会议界面上呈现“周工回答是”。
基于表2,会议发言人也可以通过询问“Sohyuejk在吗”、“北城不夏在吗”、“周X在吗”、“221.112.001.110在吗”、“Table333在吗”中的任意一个语句或其同义语句实现同样的效果。此外,会议发言人还可以在名称列表设置信息中的任意一种名称信息后加称谓,起到针对性询问的效果,比如,会议发言人可以询问“周X老师在吗”、“周X工程师在吗”,本申请实施例的方法仍然能够从中识别出编号为9的收听人的名称信息。
本实施例中,能够根据各种不同的信息识别收听人,在会议发言人对其中个别参会人员进行点名时,不会生成面向所有参会人员的询问信息对话框,避免每次会议发言人讲出匹配发言意图的言语后,在全部参会人员的音视频会议界面上生成提示信息,进而对与当前发言无关的参会人员造成不必要的干扰。
在一种实施方式中,对会议发言人的发言进行识别,获得识别结果,包括:在会议发言人对应的终端获得发言对应的音频信号;对音频信号进行识别,获得识别结果。
本实施例中,能够在会议发言人对应的终端对采集到的音频信号进行实时识别,从而节省网络传输音频信号所消耗的传输资源,同时提高发言的保密性。
在一种实施方式中,音视频会议快速响应方法还包括:在所述会议发言人的发言中不包含名称信息的情况下,根据收听人的信息,生成所述对话框启动信息;发送所述对话框启动信息,所述对话框启动信息用于对所述收听人弹出对话框。
在发言中不包含名称信息的情况下,可以认为发言为面向当前所有收听人的,从而在所有收听人的终端生成对话框。
在另一种实施例中,匹配发言意图时,可以进一步对匹配程度进行分析,如果匹配程度低于设定阈值,则在会议发言人的音视频会议界面上生成提示信息,请会议发言人确认是否正在询问全体参会人员或识别出的参会人员,在会议发言人确认的情况下,再向收听人发送对话框启动信息,避免同音、同字、不同义的发言被错误识别,导致在会议进行过程中多次对收听人启动对话框,扰乱正常的会议过程。
在一种实施方式中,所述对话框包括肯定选项按钮和否定选项按钮;所述对所述响应信息进行统计,展示所述响应信息的统计结果,包括:统计点击所述肯定选项按钮的第一响应信息的数量,和点击所述否定选项按钮的第二响应信息的数量;根据所述第一响应信息的数量和所述第二响应信息的数量,展示统计结果。
在另一种实施方式中,如果收听人在设定时间内没有对对话框进行响应,则按照默认内容生成响应信息。从而,在统计时,还可以统计表示默认内容的第三响应信息的数量。
一般情况下,会议发言人会关注响应信息表示当前状况非正常、或者需要后续进一步交流的参会人员,比如,会议发言人询问“大家能听见吗”,在这种情形下,会议发言人往往关注的是,有哪些参会人员不能听见声音。再如,会议发言人询问“大家还有别的问题吗”,在这种情形下,会议发言人关注的是,哪些人有进一步的问题以及问题是什么。
因此,针对每个预设的发言意图,可以预先配置统计项目的优先级。针对第一优先统计的响应信息,配置需要详细展示的项目。比如,针对表1中所记录的发言意图,可以参照表3,配置对应的项目优先级以及需要详细展示的项目。此外,针对不同优先级的响应信息,均需要统计响应信息的数量。
表3
通过上述表格可以得知,针对“确认是否能够听到声音”的发言意图,会议发言人音视频会议界面展示的响应信息统计结果可以是:3人选择是,A、B、C、D、E5人选择否。针对不同优先级的响应信息统计结果,可以采用不同的展示方式进行展示,比如,当前不能听见发言的人员统计结果,可以采用醒目的颜色或者字体展示。
通过本申请实施例提供的方法,会议发言人在进行询问时,能够在最短的时间内查看到直观的响应内容。
在一种实施方式中,音视频会议快速响应方法还包括:获得发言识别功能提示的触发事件;根据所述触发事件,获得预先存储的发言识别功能提示信息;所述发言识别功能提示信息包括发言内容与预设的发言意图之间的对应关系;在会议发言人的终端展示所述发言识别功能提示信息。
在一种实施方式中,发言识别功能提示信息可以如下表4所示,多种不同内容的发言能够识别为一种发言意图。
表4
除了表4所示的内容,发言意图还可以对应其它的发言内容,可以通过语义识别与发言识别功能提示信息中的发言内容进行匹配,也可以选择发言内容中的关键词进行匹配,还可以在每种发言意图对应的发言识别功能提示信息中增设其它发言内容。
本申请实施例还提供一种音视频会议快速响应方法,应用于收听人的终端,包括:在音视频会议过程中,根据目标意图,弹出对话框;所述目标意图是根据会议发言人的终端获得的发言得到的;接收收听人对所述对话框的响应信息;将所述响应信息发送至所述会议发言人的终端。
接收收听人对所述对话框的响应信息,可以包括,在设定时间内收到收听人对对话框的输入信息的情况下,根据输入信息获得响应信息;在设定时间内未接收到收听人对对话框的输入信息的情况下,将默认响应信息,作为收听人对对话框的响应信息。
在一种实施方式中,所述根据目标意图,弹出对话框之前,还包括:获得所述会议发言人的音视频会议终端发送的所述发言;对所述发言的音频信号进行识别,获得识别结果;根据所述识别结果,获得所述目标意图。
上述实施例中,能够将会议发言人的发言传输到收听人的终端,在收听人的终端进行音频信号的识别,从而若收听人的终端上没有弹出对话框,则可检测出传输线路存在问题。
在一种实施方式中,所述根据目标意图,弹出对话框,包括:在所述发言中包含名称信息的情况下,判断所述名称信息与所述收听人的终端中记录的名称信息是否一致;在一致的情况下,弹出用于展示所述目标意图的对话框;或者,在所述发言中不包含名称信息的情况下,弹出用于展示所述目标意图的对话框。
在会议过程中,每个收听人的终端侧都可以执行对发言进行判断的操作,检测出包含本终端的收听人的名称信息时,弹出对话框。
本申请实施例中,发言中包含名称信息,包括发言的音频信号转换的文本,与名称信息对应的文本一致的情况,以及发言的音频信号与名称信息的音频信号一致的情况。比如,参照表2,发言转换为文本后,其中如果包括表2第二行第二列至最后一行最后一列的表项中的任意一个,则判定发言包含名称信息。在编号为7的参会人员对应的终端,如果判定发言中的名称信息包括:“Panda”、“奇迹”、“小明”、“何XX”、“111.000.000.000”、“Legend000”中的任意一种,则在编号为7的参会人员对应的终端弹出对话框,而在编号为1-6、8、9的参会人员对应的终端不弹出对话框。
本申请实施例还提供一种音视频会议快速响应方法,应用于音视频会议服务器端,包括:接收根据会议发言人的发言生成的对话框启动信息;所述对话框启动信息用于对收听人弹出对话框;向所述收听人的终端发送所述对话框启动信息;接收所述收听人对所述对话框的响应信息;将所述响应信息发送给所述会议发言人的终端。
本申请实施例还提供一种教学提问响应方法,应用于教学授课终端,包括:根据教学授课人员的教学提问语音,获得识别结果;根据所述识别结果,在多个预设的知识点中,获得命中的目标知识点;根据所述目标知识点,获得至少一个匹配的题目;根据对所述至少一个匹配的题目的选择信息,确定至少一个选中题目;向教学听课终端发送所述选中题目。
如下表5所示,在教学授课人员讲授分数、比和百分数的知识点时,如果检测到教学提问语音,则可以在题库中进行检索,获得下列与“分数、比和百分数”相关的题目。
表5
在教学过程中,还可以实时对教学授课人员的教学内容进行记录,在检测到教学提问语音的情况下,可以启动对知识点的识别和针对知识点的题目检索。
在一种实施方式中,教学提问语音可以是“下面我们来做一道题”、“我们现在请同学做一道题”、“现在请做一道题,小明同学请准备”,或者与之含义一致的语音。
在一种实施方式中,所述向教学听课终端发送所述选中题目,包括:在所述教学听课终端包括多个的情况下,根据所述教学提问语音确定多个教学听课终端中的目标教学听课终端;向所述目标教学听课终端发送所述选中题目。
本申请实施例中,如果教学提问语音前后预设时长的语音中包含预设的多个名称信息中的至少一个,则可以认定,教学提问语音为针对个别听课人员所发出的,从而根据名称信息确定多个教学听课终端中的至少一个为接收选中题目的目标教学听课终端。
在一种实施方式中,教学提问响应方法还包括:接收对所述选中题目的答题信息;根据所述答题信息,显示对话框。
在教学授课终端,授课人员可以根据显示的对话框,查看听课人员的答题状况。在选中题目为选择题的情况下,还可以对答题信息进行统计,确定选择各个选项对应的听课人员的人数。
在另外一种实施方式中,针对有些听课人员可能长时间不能完成答题的情况,可以在设定时间内,确定没有答题的听课人员,并在教学授课终端的界面进行显示,比如,可以对没有在设定时间内完成答题的听课人员的头像进行特殊显示。答题时间也可以在选中题目后,有教学授课人员进行认为设置。
本申请实施例还提供一种教学提问响应方法,应用于教学听课终端,包括:接收教学授课终端发送的选中题目;根据所述选中题目,弹出对话框,在所述对话框中展示所述选中题目和答题信息输入框;根据在所述答题信息输入框中的输入操作,获得答题信息;向所述教学授课终端发送所述答题信息。教学听课终端,即听课人员使用的终端。
本申请实施例还提供一种签到方法,应用于签到负责人终端,包括:接收签到负责人的语音;在识别出签到负责人的语音为签到发起语音的情况下,生成签到启动信息;将签到启动信息发送到活动参加人的终端,使得活动参加人的终端能够根据所述启动信息弹出签到对话框;所述签到对话框用于接收活动参加人对活动进行签到的输入信息;接收所述活动参加人的终端根据所述输入信息发送的签到信息。
本实施例中的签到方法,可以应用于教学点名、课堂签到,也可以应用于各种会议签到、活动签到等其它场景。签到发起语音可以是包含有预设的签到指令的语音,比如“现在开始签到”、“请问大家都到了吗”等。签到负责人可以是对需要签到的活动进行签到统计、管理的人员,比如,教学活动中的班长、会议助理。
本申请实施例还提供一种签到方法,应用于待签到活动的活动参加人的终端,包括:接收签到负责人终端发送的签到启动信息;根据所述签到启动信息,弹出签到对话框;根据所述活动参加人对所述签到对话框的输入信息,生成签到信息;将所述签到信息发送到所述签到负责人终端。
在本申请上述实施例中,发送签到启动信息的签到负责人,可以是对需要签到的活动进行签到统计、管理的人员,也可以是机器人、虚拟人。在签到负责人为虚拟人或机器人的情况下,签到负责人终端可以是会议设备管理终端。
本申请实施例还提供一种游戏互动信息响应方法,应用于游戏终端,包括:对游戏过程中的互动语音进行识别,获得识别结果和互动对象;根据所述识别结果,在多个预设的游戏交互意图中,获得命中的目标交互意图;根据所述目标交互意图,向所述互动对象的游戏终端发送对话框启动信息;所述对话框启动信息用于在所述互动对象的游戏终端启动对话框并展示所述目标交互意图。
本实施例中,预设的游戏交互意图,可以包括对各个环节的执行意图,或者执行游戏过程中的某种设定操作的意图,比如“出发”、“准备”、“进攻”、“暂停一下”等。互动对象可以是多人参加的游戏中的一位游戏参加者。在对话框启动信息发送到交互对象的游戏终端后,交互对象的游戏终端可以弹出对话框,在需要交互对象回复的情况下,对话框中可以包括回复按钮,比如“收到”按钮。在无需交互对象回复的情况下,对话框也仅包括目标交互意图的提示信息,在展示设定时间后,对话框自动关闭。
本申请实施例提供一种音视频会议快速响应方法,应用于会议发言人的终端,包括:在音视频会议过程中,对会议发言人的发言进行识别,获得识别结果;根据所述识别结果,在多个预设的发言意图中,获得命中的目标意图;根据所述目标意图,确定对收听人的终端启动的功能;所述功能启动时用于获取收听人对所述发言的响应信息;发送功能启动信息以在所述收听人的终端启动所述功能。
在一种实施方式中,在收听人的终端启动的功能与不同的发言意图可以存在对应关系,如表6所示。
发言意图 启动的功能
确认是否能够听到声音 弹出对话框的功能
确认是否在场 弹出对话框的功能
确认是否能够看见视频画面 弹出对话框的功能
确认是否能够看见共享屏幕 弹出对话框的功能
开启问答环节 弹出对话框的功能,以及打开键盘的功能
表6
在一种实施方式中,对会议发言人的发言进行识别,获得识别结果,包括:在发言人对应的终端获得发言对应的音频信号;通过音视频会议服务器端将音频信号发送到收听人的终端;在收听人的终端,对音频信号进行识别,获得识别结果。
针对会议发言人发出的音频信号,可以在会议发言人的终端获取对应的音频信号,对音频信号进行识别,获得识别结果。也可以从会议发言人的终端获取后,传输到收听人的终端进行识别。
在一种实施方式中,对音频信号进行识别,获得识别结果,包括:将音频信号转换为文本,将文本作为识别结果;或者,获取音频信号中的音频特征,将音频特征作为识别结果。
本实施例中,将音频信号转换为文本后进行识别,从而缩小识别过程中处理的数据量,加快处理速度。
在音视频会议中,主持人身份的参会人员入会后或参会人员在屏幕共享后,可能会询问其他参会人员是否能听到自己的声音或者屏幕。除了会议发言人以外,其他参会人员的麦克风通常是关闭的,回复需要先开启麦克风回复完再关闭麦克风。参照图4所示,用户只能知道自己的状态,并不清楚其他参会者是否能正常听到或看到。通过本申请实施例,以语音识别和简单交互的方法,开启麦克风或者通过其他方式快速获得参会人员对音视频会议过程中一些常见问题的响应信息,从而解决上述问题。
本申请实施例还提供一种音视频会议快速响应方法,应用于音视频会议服务器端,包括:在音视频会议过程中,获得对会议发言人的发言进行识别的识别结果;根据识别结果,在多个预设的发言意图中,获得命中的目标意图;将目标意图,发送至收听人的终端,使得收听人的终端能够根据目标意图确定启动的功能并启动功能,以获取收听人对发言的响应信息。
在一种实施方式中,获得对会议发言人的发言进行识别的识别结果,包括:获得会议发言人的终端发送的发言;对发言进行识别,获得识别结果;或者,获得会议发言人的终端发送的识别结果。
本申请实施例还提供一种音视频会议快速响应方法,应用于服务器端,包括:在音视频会议过程中,获得对会议发言人的发言进行识别的识别结果;根据识别结果,在多个预设的发言意图中,获得命中的目标意图;根据目标意图,确定对目标终端启动的功能;生成功能的启动信息;将启动信息发送给目标终端,以在目标终端启动功能。
在一种示例中,音视频会议快速响应方法包括如图5所示的具体步骤S501-S505。
在步骤S501,采集会议发言人语音。会议发言人入会后需要询问其他参会者是否能听到自己的声音或是否能看到自己的共享屏幕,通过麦克风进行音频收集。
在步骤S502,语音识别。将收集的音频进行语音识别(ASR,Automatic SpeechRecognition)获得识别结果,采用目前流行的端到端语音识别,即直接将音频序列转化为文字序列。
在步骤S503,判断是否命中发言意图。查看语音识别的结果输入到训练模型(提前将语料和意图进行训练)是否命中预设的发言意图,如:能听到我说话吗?——对应的发言意图:询问声音;大家能听见吗?——对应的发言意图:询问声音;你能看到我的屏幕吗?对应的发言意图:询问共享屏幕。将命中的发言意图作为命中意图。
在步骤S504,意图触发对应技能。本步骤中,询问的发言会对应在除发言者的其他参会者左下角出现询问对话框,参会者根据实际情况进行答复,如图6A所示。
在步骤S505,其他参会者(参会人员)进行交互。本步骤中,其他参会者进行交互后,询问者在左下角会看到反馈(如图6B所示),然后进行后续操作。
在步骤S506,会议发言人收到反馈。在会议发言人对应的显示界面,可以依次滚动显示其他各参会人员对发言的响应,或者显示收到响应的语音的提示信息。
本申请示例在音视频会议场景下,对发言者的音频进行语音识别(ASR),并识别用户意图,实现对应技能;通过对发言者的音频进行语音识别获取用户意图,并实现对应的技能,让其他参会者简单快捷的交互,达到以下效果:对于询问者,收到的反馈更加直观;对于其他参会者,无需多次开关麦克风。同时,本申请实施例交互方式创新,减少用户操作步骤。
在本申请另一种示例中,如图7A、7B所示。在会议发言人对应的终端的界面,可以滚动显示其他参会人员对会议发言人的相关问题的回答信息。当其他参会人员通过弹窗选项选择能够收听到会议发言人的发言,则在会议发言人界面显示“A能够听到您的声音”。当其他参会人员通过麦克风发出声音以回应会议发言人的询问,则在会议发言人界面显示“B通过语音回复了您”。在其他参会人员的界面,会议发言人发出询问之前,其他参会人员观看到的界面为会议进行中的正常界面。在会议发言人发出询问之时,被询问的其他参会人员的终端麦克风打开,同时弹出弹窗对其他参会人员进行提示。在本申请实施例的方法应用于教学、游戏等场景时,用户界面也可参照音视频会议界面。
本申请实施例还提供一种教学提问响应方法,应用于教学授课终端,包括:根据教学授课人员的教学提问语音,获得识别结果;根据识别结果,在多个预设的教学意图中,获得命中的目标教学意图;根据目标教学意图,确定对教学听课终端启动的功能;在教学听课终端启动前述功能,以获取对教学提问语音的响应信息。
除了教学场景之外,本申请实施例提供的响应方法的原理还可以用于其他场景,如询问客服/IT远程协助场景。
本申请实施例中,预设的教学意图,可以为教学过程中经常出现的意图。比如下表5所示。
表7
针对每种教学意图,均可启动对应的功能,以接收对教学提问语音的响应信息。从而,本申请实施例提供的教学提问响应方法,不仅有助于听课人员采用更少的操作步骤,在最短的时间内对教学人员(教师)的提问语音进行及时回应,特别适用于远程教学、在线教学场景,有效提高了教学质量和效果。同时,在远程教学、在线教学过程中,教学人员难以像现场教学那样,随时能够观察到听课人员的听课状态。而在本申请实施例中,教学人员讲课过程中可以对全体学员进行概括性地询问,或者对部分学员进行有针对性地询问,根据教学人员的教学提问语音,在对应的听课人员的目标终端启动用于响应教学提问语音的功能,使得各听课人员受到更多的束缚,对听课人员的听课状态能够采用简单的方式进行查看,有助于教学人员掌握听课人员的听课状况,提高课堂的互动性。在一种实现方式中,在教学听课终端启动的功能可以包括,在教学听课终端弹出对话框。
在一种实施方式中,目标教学意图包括点名意图,对教学听课终端启动的功能包括对话框功能;在教学听课终端启动前述功能,以获取对教学提问语音的响应信息,包括:根据目标教学意图,确定授课发言对应的听课人员;在听课人员对应的教学终端界面上,展示点名反馈信息的对话框;其中,点名反馈信息的对话框用于呈现关于点名反馈信息的选项;根据对选项的操作,获取听课人员对教学提问语音的响应信息。
在一种实施方式中,目标教学意图包括课堂问答意图,在教学听课终端启动的功能包括输入框功能;在教学听课终端启动功能,以获取对教学提问语音的响应信息,包括:根据目标教学意图,确定对应的听课人员;在听课人员对应的教学界面上,启动回答信息的输入框;根据对输入框的输入操作,确定听课人员对教学提问语音的响应信息。
在一种实施方式中,目标教学意图包括出题意图;根据目标教学意图,确定对教学听课终端启动的功能,包括:根据出题意图,确定对教学听课终端启动的功能包括展示题目的功能和答题信息输入功能;在教学听课终端启动前述功能之前,还包括:在教学授课终端启动查找功能,以在题库中获得关于出题意图的多个题目;在教学授课终端展示多个题目;根据对多个题目的选择信息,确定选中的题目。
本申请实施例中,能够根据教学人员的教学提问,启动题目查找功能,从而使得教学授课人员无需提前准备教学过程中随堂布置的题目,便于教学授课人员根据课堂实际进度判断听课人员的需求,根据听课人员的需求灵活、实时确定如何出题,无需教学授课人员记忆所有不同种类的题目,减轻教学负担。
在一种实施方式中,在教学授课终端展示多个题目,还可以包括:根据题目的出现频率,展示多个题目,优先展示出现频率较低的题目。从而,避免听课人员只会解答一种题目类型,从多个角度掌握知识。前述题目的出现频率,可以是题目在一个班级的出现频率、或者已出现次数。
本申请实施例还提供一种游戏互动信息响应方法,应用于游戏终端,包括:对游戏互动信息的语音进行识别,获得识别结果;根据识别结果,在多个预设的游戏交互意图中,获得命中的目标交互意图;根据目标交互意图,确定对目标游戏终端启动的功能;在目标游戏终端启动前述功能,以获取对游戏互动信息的响应信息。
在另一种实施方式中,本申请实施例还提供一种客服信息响应方法,可以应用于客服终端;包括如下步骤:在客服与顾客通话过程中,对客服人员的话语进行识别,获得识别结果;根据识别结果,进行意图匹配,确定目标意图;根据目标意图确定客服人员需要调用的终端功能;向顾客的终端发送启动信息,以在客服人员的终端上,启动前述终端功能,或者在顾客的终端上,启动前述终端功能。
在另一种实施方式中,本申请实施例还提供一种客服信息响应方法,可以应用于顾客的终端;包括如下步骤:在客服与顾客通话的过程中,接收客服终端发送的启动信息;该启动信息用于在顾客的终端启动客服人员需要调用的终端功能;客服人员需要调用的终端功能是根据对客服人员的话语进行识别得到的识别结果,与预定的多个意图进行匹配得到的。
通过在客服人员的终端上启动目标意图对应的终端功能,能够减少客服人员在对顾客问题进行语音解答和服务的过程中,查找终端功能或者手动调用终端功能所消耗的时间。通过在顾客的终端上启动目标意图对应的终端功能,能够根据客服人员与顾客之间的语言交流过程的推进,直接在终端上配合地启动需要调用的终端功能,减少顾客不熟悉终端操作从而客服人员口头指导顾客进行手动操作所消耗的查找时间,节省客服时间,提高客服效率。
在一种实施方式中,客服过程结束之后,还可以针对客服过程中调用的终端功能进行详细解释,向顾客介绍涉及的终端功能具体如何查找、调用路径是什么,以确保顾客在需要的情况下,能够对调用终端功能的方式进行学习。
在另一种实施方式中,本申请实施例提供的客服信息响应方法还可以用于客服服务器端,包括在客服与顾客通话的过程中,根据目标意图,转发客服终端对顾客的终端所调用的功能的启动信息;目标意图是是根据对客服人员的话语进行识别得到的识别结果,与预定的多个意图进行匹配得到的。
在另一种实施方式中,本申请实施例提供的方法还可以应用于远程IT交互过程,远程IT交互过程中,实施交互的人员通过访问终端,请求连接主终端,对主终端进行操作,从而解决主终端上与IT相关的问题。本申请实施例的远程IT交互方法可以包括在远程交互终端执行的如下步骤:在远程IT交互的过程中,对实施交互的人员输入的信息进行识别,获得识别结果;其中输入的信息可以包括指令和语音中的至少一种;根据识别结果,确定实施交互的人员需要实现的远程交互意图;根据远程交互意图,确定在主终端启动的至少一种功能,并启动至少一种功能。远程交互终端包括主终端和访问终端。在远程交互的过程中,实施交互的人员需要通过访问终端对主终端实施操作,以在主终端上实现安装软件、解决设备使用问题、对设备进行配置等目的。而实施交互的人员对主终端的系统配置、文件夹存储路径等均不熟悉,如果由实施交互的人员进行主动查找,则会严重影响交互效率。通过上述实施例,能够使得实施交互的人员快速调用主终端的功能,节省远程交互、远程协助过程中查找相应功能模块所消耗的时间。
在另一种实施方式中,本申请实施例提供的远程IT交互方法可以包括在远程交互服务器执行的如下步骤:在远程交互的过程中,根据远程交互意图,向主终端发送启动信息;启动信息用于在主终端启动与远程交互意图对应的功能;远程交互意图为对实施交互的人员输入的信息进行识别获得的识别结果与预设意图进行匹配得到的;实施交互的人员输入的信息可以包括指令和语音中的至少一种。
本申请实施例还提供一种音视频会议快速响应装置,应用于会议发言人的终端,如图8A所示,包括:识别结果获得模块801,用于在音视频会议过程中,对所述会议发言人的发言进行识别,获得识别结果;意图匹配模块802,用于根据所述识别结果,在多个预设的发言意图中,获得命中的目标意图;对话框启动信息发送模块803,用于根据所述目标意图,向收听人的终端发送对话框启动信息,以对收听人弹出对话框;响应信息接收模块804,用于接收所述收听人对所述对话框的响应信息。在一种实施方式中,音视频会议快速响应装置还可以包括:统计结果展示模块805,用于对所述响应信息进行统计,展示所述响应信息的统计结果。
本申请实施例还提供一种音视频会议快速响应系统,如图8B所示,包括应用于终端807的音视频会议快速响应装置和应用于服务器端806的音视频会议快速响应装置。
在一种实施方式中,对话框启动信息发送模块包括:名称信息单元,用于在所述发言中包含名称信息的情况下,获得所述名称信息;对话框启动信息生成单元,用于根据所述名称信息,生成所述对话框启动信息;信息发送单元,用于向收听人的终端发送所述对话框启动信息,所述对话框启动信息用于对所述名称信息对应的收听人弹出对话框。
在一种实施方式中,音视频会议快速响应装置还包括:列表获得模块,用于获得所述音视频会议的参会人员名称列表;所述参会人员名称列表包括根据各参会终端的账号名称所获得的至少一个名称信息,和/或根据名称列表设置信息获得的至少一个名称信息,和/或根据参会设备编号获得的至少一个名称信息,和/或根据各参会终端的参会网际互连协议地址获得的至少一个名称信息。
在一种实施方式中,音视频会议快速响应装置还包括:对话框启动信息模块,用于在所述会议发言人的发言中不包含名称信息的情况下,根据收听人的信息,生成所述对话框启动信息;对话框启动信息发送模块,用于发送所述对话框启动信息,所述对话框启动信息用于对所述收听人弹出对话框。
在一种实施方式中,所述对话框包括肯定选项按钮和否定选项按钮;所述统计结果展示模块包括:统计单元,用于统计点击所述肯定选项按钮的第一响应信息的数量,和点击所述否定选项按钮的第二响应信息的数量;展示单元,用于根据所述第一响应信息的数量和所述第二响应信息的数量,展示统计结果。
在一种实施方式中,音视频会议快速响应装置还包括:触发事件获得模块,用于获得发言识别功能提示的触发事件;提示信息获得模块,用于根据所述触发事件,获得预先存储的发言识别功能提示信息;所述发言识别功能提示信息包括发言内容与预设的发言意图之间的对应关系;提示信息展示模块,用于在所述会议发言人的终端展示所述发言识别功能提示信息。
本申请实施例还提供一种音视频会议快速响应装置,应用于收听人的终端,包括:对话框弹出模块,用于在音视频会议过程中,根据目标意图,弹出对话框;所述目标意图是根据会议发言人的终端接收的发言得到的;响应信息接收模块,用于接收所述收听人对所述对话框的响应信息;发送模块,用于将所述响应信息发送至所述会议发言人的终端。
在一种实施方式中,音视频会议快速响应装置还包括:发言接收模块,用于接收所述发言人的终端发送的所述发言;识别模块,用于对所述发言的音频信号进行识别,获得识别结果;目标意图获得模块,用于根据所述识别结果,获得所述目标意图。
在一种实施方式中,对话框弹出模块还包括:第一弹出单元,用于在所述发言中包含名称信息的情况下,判断所述名称信息与所述收听人的终端中记录的名称信息是否一致;在一致的情况下,弹出用于展示所述目标意图的对话框;或者,第二弹出单元,用于在所述发言中不包含名称信息的情况下,弹出用于展示所述目标意图的对话框。
本申请实施例还提供一种音视频会议快速响应装置,应用于服务器端,包括:对话框启动信息接收模块,用于接收根据会议发言人的发言生成的对话框启动信息;所述对话框启动信息用于对收听人弹出对话框;对话框启动信息发送模块,用于向所述收听人的终端发送所述对话框启动信息;响应信息接收模块,用于接收所述收听人对所述对话框的响应信息;响应信息发送模块,用于将所述响应信息发送给所述会议发言人的终端。
本申请实施例还提供一种教学提问响应装置,应用于教学授课终端,如图8C所示,包括:识别结果获得模块808,用于根据教学授课人员的教学提问语音,获得识别结果;知识点模块809,用于根据所述识别结果,在多个预设的知识点中,获得命中的目标知识点;题目模块810,用于根据所述目标知识点,获得至少一个匹配的题目;选中模块811,用于根据对所述至少一个匹配的题目的选择信息,确定至少一个选中题目;题目发送模块812,用于向教学听课终端发送所述选中题目。
在一种实施方式中,题目发送模块包括:目标教学听课终端单元,用于在所述教学听课终端包括多个的情况下,根据所述教学提问语音确定多个教学听课终端中的目标教学听课终端;发送单元,用于向所述目标教学听课终端发送所述选中题目。
在一种实施方式中,音视频会议快速响应装置还包括:答题信息接收模块,用于接收对所述选中题目的答题信息;对话框显示模块,用于根据所述答题信息,显示对话框。
本申请实施例还提供一种教学提问响应装置,应用于教学听课终端,包括:选中题目接收模块,用于接收教学授课终端发送的选中题目;对话框弹出模块,用于根据所述选中题目,弹出对话框,在所述对话框中展示所述选中题目和答题信息输入框;答题信息获得模块,用于根据在所述答题信息输入框中的输入操作,获得答题信息;答题信息发送模块,用于向所述教学授课终端发送所述答题信息。
本申请实施例还提供一种签到装置,应用于签到负责人终端,包括:语音接收模块,用于接收签到负责人的语音;签到启动模块,用于在识别出所述语音为签到发起语音的情况下,生成签到启动信息;签到启动信息发送模块,用于将签到启动信息发送到活动参加人的终端,使得活动参加人的终端能够根据所述签到启动信息弹出签到对话框;所述签到对话框用于接收活动参加人对活动进行签到的输入信息;签到信息接收模块,用于接收所述活动参加人的终端根据所述输入信息发送的签到信息。
本申请实施例还提供一种签到装置,应用于待签到活动的活动参加人的终端,包括:签到启动信息接收模块,用于接收签到负责人终端发送的签到启动信息;签到对话框弹出模块,用于根据所述签到启动信息,弹出签到对话框;签到信息生成模块,用于根据所述活动参加人对所述签到对话框的输入信息,生成签到信息;签到信息发送模块,用于将所述签到信息发送到所述签到负责人终端。
本申请实施例还提供一种游戏互动信息响应装置,应用于游戏终端,包括:语音识别模块,用于对游戏过程中的互动语音进行识别,获得识别结果和互动对象;目标交互意图获得模块,用于根据所述识别结果,在多个预设的游戏交互意图中,获得命中的目标交互意图;对话框启动信息发送模块,用于根据所述目标交互意图,向所述互动对象的游戏终端发送对话框启动信息;所述对话框启动信息用于在所述互动对象的游戏终端启动对话框并展示所述目标交互意图。
本申请实施例还提供一种音视频会议快速响应装置,应用于会议发言人的终端,包括:识别结果获得模块,用于在音视频会议过程中,对会议发言人的发言进行识别,获得识别结果;目标意图命中模块,用于根据所述识别结果,在多个预设的发言意图中,获得命中的目标意图;功能确定模块,用于根据所述目标意图,确定对收听人的终端启动的功能;所述功能启动时用于获取收听人对所述发言的响应信息;功能启动模块,用于发送功能启动信息以在所述收听人的终端启动所述功能。
本申请实施例各装置中的各模块的功能可以参见上述装置中的对应描述,并具备相应的有益效果,在此不再赘述。
图9为用来实现本申请实施例的电子设备的框图。如图9所示,该电子设备包括:存储器610和处理器620,存储器610内存储有可在处理器620上运行的计算机程序。处理器620执行该计算机程序时实现上述实施例中的方法。存储器610和处理器620的数量可以为一个或多个。
该电子设备还包括:
通信接口630,用于与外界设备进行通信,进行数据交互传输。
如果存储器610、处理器620和通信接口630独立实现,则存储器610、处理器620和通信接口630可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器610、处理器620及通信接口630集成在一块芯片上,则存储器610、处理器620及通信接口630可以通过内部接口完成相互间的通信。
本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片,该芯片包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,处理器用于执行申请实施例提供的方法。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(Advanced RISC Machines,ARM)架构的处理器。
进一步地,可选的,上述存储器可以包括只读存储器和随机访问存储器。该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以包括随机访问存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM均可用。例如,静态随机访问存储器(Static RAM,SRAM)、动态随机访问存储器(Dynamic Random Access Memory,DRAM)、同步动态随机访问存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机访问存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机访问存储器(Enhanced SDRAM,ESDRAM)、同步链接动态随机访问存储器(Sync link DRAM,SLDRAM)和直接内存总线随机访问存储器(DirectRambus RAM,DR RAM)。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生依照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中描述的或在此以其他方式描述的任何过程或方法可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
在流程图中描述的或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本申请的示例性实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请记载的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种音视频会议快速响应方法,应用于会议发言人的终端,其特征在于,包括:
在音视频会议过程中,对所述会议发言人的发言进行识别,获得识别结果;
根据所述识别结果,在多个预设的发言意图中,获得命中的目标意图;
根据所述目标意图,向收听人的终端发送对话框启动信息,以对收听人弹出对话框;
接收所述收听人对所述对话框的响应信息。
2.根据权利要求1所述的方法,其特征在于,还包括:
对所述响应信息进行统计,展示所述响应信息的统计结果。
3.根据权利要求1所述的方法,其特征在于,所述向收听人的终端发送对话框启动信息,包括:
在所述发言中包含名称信息的情况下,获得所述名称信息;
根据所述名称信息,生成所述对话框启动信息;
向收听人的终端发送所述对话框启动信息,所述对话框启动信息用于对所述名称信息对应的收听人弹出对话框。
4.根据权利要求2所述的方法,其特征在于,所述对话框包括肯定选项按钮和否定选项按钮;所述对所述响应信息进行统计,展示所述响应信息的统计结果,包括:
统计点击所述肯定选项按钮的第一响应信息的数量,和点击所述否定选项按钮的第二响应信息的数量,展示统计结果。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获得发言识别功能提示的触发事件;
根据所述触发事件,获得预先存储的发言识别功能提示信息;所述发言识别功能提示信息包括发言内容与预设的发言意图之间的对应关系;
在所述会议发言人的终端展示所述发言识别功能提示信息。
6.一种音视频会议快速响应方法,其特征在于,应用于收听人的终端,包括:
在音视频会议过程中,根据目标意图,弹出对话框;所述目标意图是根据会议发言人的终端接收的发言确定的;
接收所述收听人对所述对话框的响应信息;
将所述响应信息发送至所述会议发言人的终端。
7.一种音视频会议快速响应方法,应用于服务器端,其特征在于,包括:
接收根据会议发言人的发言生成的对话框启动信息;所述对话框启动信息用于对收听人弹出对话框;
向所述收听人的终端发送所述对话框启动信息;
接收所述收听人对所述对话框的响应信息;
将所述响应信息发送给所述会议发言人的终端。
8.一种教学提问响应方法,其特征在于,应用于教学授课终端,包括:
根据教学授课人员的教学提问语音,获得识别结果;
根据所述识别结果,在多个知识点中,获得命中的目标知识点;
根据所述目标知识点,获得至少一个匹配的题目;
根据对所述至少一个匹配的题目的选择信息,确定至少一个选中题目;
向教学听课终端发送所述选中题目。
9.一种教学提问响应方法,其特征在于,应用于教学听课终端,包括:
接收教学授课终端发送的选中题目;
根据所述选中题目,弹出对话框,在所述对话框中展示所述选中题目和答题信息输入框;
根据在所述答题信息输入框中的输入操作,获得答题信息;
向所述教学授课终端发送所述答题信息。
10.一种签到方法,其特征在于,应用于签到负责人终端,包括:
接收签到负责人的语音;
在识别出所述语音为签到发起语音的情况下,生成签到启动信息;
将签到启动信息发送到活动参加人的终端,使得活动参加人的终端能够根据所述签到启动信息弹出签到对话框;所述签到对话框用于接收活动参加人对活动进行签到的输入信息;
接收所述活动参加人的终端根据所述输入信息发送的签到信息。
11.一种签到方法,其特征在于,应用于待签到活动的活动参加人的终端,包括:
接收签到负责人终端发送的签到启动信息;
根据所述签到启动信息,弹出签到对话框;
根据所述活动参加人对所述签到对话框的输入信息,生成签到信息;
将所述签到信息发送到所述签到负责人终端。
12.一种游戏互动信息响应方法,其特征在于,应用于游戏终端,包括:
对游戏过程中的互动语音进行识别,获得识别结果和互动对象;
根据所述识别结果,在多个预设的游戏交互意图中,获得命中的目标交互意图;
根据所述目标交互意图,向所述互动对象的游戏终端发送对话框启动信息;所述对话框启动信息用于在所述互动对象的游戏终端启动对话框并展示所述目标交互意图。
13.一种音视频会议快速响应方法,其特征在于,应用于会议发言人的终端,包括:
在音视频会议过程中,对会议发言人的发言进行识别,获得识别结果;
根据所述识别结果,在多个预设的发言意图中,获得命中的目标意图;
根据所述目标意图,确定对收听人的终端启动的功能;所述功能启动时用于获取收听人对所述发言的响应信息;
发送功能启动信息以在所述收听人的终端启动所述功能。
14.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器在执行所述计算机程序时实现权利要求1-13中任一项所述的方法。
CN202310536951.XA 2023-05-11 2023-05-11 音视频会议快速响应、教学提问响应方法和电子设备 Pending CN116566758A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310536951.XA CN116566758A (zh) 2023-05-11 2023-05-11 音视频会议快速响应、教学提问响应方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310536951.XA CN116566758A (zh) 2023-05-11 2023-05-11 音视频会议快速响应、教学提问响应方法和电子设备

Publications (1)

Publication Number Publication Date
CN116566758A true CN116566758A (zh) 2023-08-08

Family

ID=87501431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310536951.XA Pending CN116566758A (zh) 2023-05-11 2023-05-11 音视频会议快速响应、教学提问响应方法和电子设备

Country Status (1)

Country Link
CN (1) CN116566758A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118013014A (zh) * 2024-03-08 2024-05-10 北京百度网讯科技有限公司 会议助手模型训练方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862337B1 (ko) * 2007-06-07 2008-10-13 한국과학기술정보연구원 온라인 브레인스토밍 시스템 및 그 제어방법
US10424297B1 (en) * 2017-02-02 2019-09-24 Mitel Networks, Inc. Voice command processing for conferencing
CN111554000A (zh) * 2020-04-29 2020-08-18 深圳供电局有限公司 进行会议的方法、装置及系统、计算机设备
CN115474017A (zh) * 2022-11-01 2022-12-13 北京九一云科技有限公司 会议场景的建立方法、装置、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862337B1 (ko) * 2007-06-07 2008-10-13 한국과학기술정보연구원 온라인 브레인스토밍 시스템 및 그 제어방법
US10424297B1 (en) * 2017-02-02 2019-09-24 Mitel Networks, Inc. Voice command processing for conferencing
CN111554000A (zh) * 2020-04-29 2020-08-18 深圳供电局有限公司 进行会议的方法、装置及系统、计算机设备
CN115474017A (zh) * 2022-11-01 2022-12-13 北京九一云科技有限公司 会议场景的建立方法、装置、终端及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118013014A (zh) * 2024-03-08 2024-05-10 北京百度网讯科技有限公司 会议助手模型训练方法和装置

Similar Documents

Publication Publication Date Title
Jepson Conversations—and negotiated interaction—in text and voice chat rooms
Van der Zwaard et al. Video call or chat? Negotiation of meaning and issues of face in telecollaboration
JP3930022B2 (ja) 遠隔教育システム、受講確認方法および受講確認プログラム
JP6042015B1 (ja) オンライン面接評価装置、方法およびプログラム
US11183187B2 (en) Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog
US12052391B2 (en) Methods and systems for automatic queuing in conference calls
JP7754248B2 (ja) システム、方法、制御装置
US20150154960A1 (en) System and associated methodology for selecting meeting users based on speech
US10872609B2 (en) Method, apparatus, and program of dialog presentation steps for agents
Traum et al. Incremental dialogue understanding and feedback for multiparty, multimodal conversation
KR102462219B1 (ko) 화자 분리 기술을 이용한 회의록 자동 생성 방법
US20220231873A1 (en) System for facilitating comprehensive multilingual virtual or real-time meeting with real-time translation
Jenks et al. Synchronous voice-based computer-mediated communication
US10964323B2 (en) Acquisition method, generation method, system therefor and program for enabling a dialog between a computer and a human using natural language
Sindoni Multimodality and translanguaging in video interactions
Visser et al. A model for incremental grounding in spoken dialogue systems
KR102412823B1 (ko) 번역 기능을 제공하는 실시간 양방향 온라인 회의 시스템
CN116566758A (zh) 音视频会议快速响应、教学提问响应方法和电子设备
CN112309183A (zh) 适用于外语教学的交互式听说练习系统
CN118567602A (zh) 人机交互方法、装置、电子设备及计算机存储介质
CN111798872B (zh) 用于在线互动平台的处理方法、装置及电子设备
JP2007030050A (ja) ロボット制御装置、ロボット制御システム、ロボット装置、およびロボット制御方法
Jokić Metadiscourse in ELF spoken discourse of Erasmus students in Austria
Min et al. Exploring Emotion Expression Through Silent Speech Interface in Public VR/MR: Effects of Automation on User Experience
Kourieos et al. Lack of Eye Gaze and Its Effects on Spoken Interaction in Synchronous Online Communication.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination