[go: up one dir, main page]

CN111312240A - 数据控制方法、装置、电子设备及存储介质 - Google Patents

数据控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111312240A
CN111312240A CN202010085395.5A CN202010085395A CN111312240A CN 111312240 A CN111312240 A CN 111312240A CN 202010085395 A CN202010085395 A CN 202010085395A CN 111312240 A CN111312240 A CN 111312240A
Authority
CN
China
Prior art keywords
control instruction
avatar
voice signal
electronic device
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010085395.5A
Other languages
English (en)
Inventor
王智博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reach Best Technology Co Ltd
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Priority to CN202010085395.5A priority Critical patent/CN111312240A/zh
Publication of CN111312240A publication Critical patent/CN111312240A/zh
Priority to US17/139,893 priority patent/US11631408B2/en
Priority to EP21156430.7A priority patent/EP3862869A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种数据控制方法、装置、电子设备及存储介质,所述方法包括:接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号;对所述第一语音信号进行解析识别,得到第一识别结果;根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作;将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。本公开能够通过语音交互方式控制虚拟形象进行直播互动的过程,减少用户的操作,提高用户的使用体验。

Description

数据控制方法、装置、电子设备及存储介质
技术领域
本公开涉及互联网技术领域,尤其涉及一种数据控制方法、装置、电子设备及存储介质。
背景技术
随着技术的发展,在线直播已经成为网络时代人们休闲互动的场景之一,直播间作为主要实现场景,承接了平台用户互动的主要目标。在实时网络直播过程中,主播可以通过在直播间云饲养的虚拟形象实现与观众的简单互动,但通过虚拟形象进行互动的方式都是在终端上预先设置好的,目前通过虚拟形象进行互动的过程通常是:主播用户对提供的虚拟形象相关控件进行操作,实现控制虚拟形象进行互动的过程,比如点击虚拟形象后,终端控制该虚拟形象做指定动作等;以上通过虚拟形象进行互动的方式较为单一,并且操作上较为繁琐,不利于用户的使用体验。
发明内容
有鉴于此,本公开实施例提供一种数据控制方法、装置、电子设备、系统及计算机可读存储介质。
本公开的技术方案如下:
本公开的第一方面提供了一种数据控制方法,应用于服务端,包括:
接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号;
对所述第一语音信号进行解析识别,得到第一识别结果;
根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作;
将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
可选地,所述控制指令包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;
所述控制指令具体用于:控制所述虚拟形象执行与所述动作指令对应的动作,以及控制所述第一电子设备执行针对于虚拟空间功能的操作指令;所述动作与所述虚拟空间功能关联。
可选地,在所述接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号之前,还包括:
响应于所述第一电子设备发送的虚拟形象查看请求,获取所述虚拟形象查看请求指向的虚拟形象信息;所述虚拟形象查看请求用于从所述服务端获取与所述虚拟形象相关的虚拟形象信息;
将所述虚拟形象信息发送至所述第一电子设备以及所述第二电子设备。
可选地,在所述将所述虚拟形象信息发送至所述第一电子设备以及所述第二电子设备之后,且在所述接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号之前,还包括:
接收所述第一电子设备识别出指定唤醒词的第二语音信号;
对所述第二语音信号进行解析识别,得到第二识别结果;
当识别到所述第二识别结果包括所述指定唤醒词时,生成唤醒确定指令;所述唤醒确认指令用于通过语音方式控制所述虚拟形象;
将所述唤醒确认指令发送至所述第一电子设备。
可选地,当识别到所述第二识别结果包括所述指定唤醒词时,还包括:
获取所述第二识别结果中在所述指定唤醒词之后的内容;
根据所述内容生成所述控制指令;
将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
可选地,还包括:
将所述唤醒确认指令发送至所述第二电子设备;所述唤醒确认指令还用于指示所述第一电子设备以及所述第二电子设备以预存的唤醒形象显示所述虚拟形象。
根据本公开实施例的第二方面,提供一种数据控制方法,应用于第一电子设备,包括:
将针对于显示的虚拟形象采集的第一语音信号发送至服务端;
接收所述服务端提供的控制指令,所述控制指令为通过识别所述第一语音信号得到的指令;
使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
可选地,所述控制指令包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;
所述使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作,包括:
使用所述动作指令控制所述虚拟形象执行与所述动作指令对应的动作,以及执行针对于虚拟空间功能的操作指令;所述动作与所述直播虚拟空间功能关联。
可选地,在所述将针对于显示的虚拟形象采集的第一语音信号发送至服务端之前,还包括:
获取虚拟形象查看请求,所述虚拟形象查看请求用于从服务端获取与所述虚拟形象相关的虚拟形象信息;
将所述虚拟形象查看请求发送至所述服务端;
获取所述服务端反馈的所述虚拟形象信息;
使用所述虚拟形象信息渲染并显示所述虚拟形象。
可选地,在所述使用所述虚拟形象信息渲染并显示所述虚拟形象之后,以及在所述将针对于显示的虚拟形象采集的第一语音信号发送至服务端之前,还包括:
采集第二语音信号并进行识别;
若识别的结果包括指定唤醒词,向所述服务端发送所述第二语音信号;所述第二语音信号用于触发所述服务端识别所述第二语音信号中是否包括所述指定唤醒词;
接收所述服务端返回的唤醒确认指令,所述唤醒确认指令由所述服务端在识别出所述指定唤醒词之后生成的;所述唤醒确认指令用于通过语音方式控制所述虚拟形象。
可选地,所述接收所述服务端返回的唤醒确认指令,包括:
接收所述服务端返回的控制指令以及所述唤醒确认指令,所述控制指令还通过所述第二识别结果中在所述指定唤醒词之后的内容生成。
可选地,所述唤醒确认指令还用于指示所述第一电子设备以预存的唤醒形象显示所述虚拟形象。
可选地,在所述接收所述服务端返回的唤醒确认指令之后,还包括:
当采集到针对于所述虚拟形象的所述第一语音信号时,以预存的聆听形象显示所述虚拟形象。
根据本公开实施例的第三方面,提供一种数据控制装置,应用于服务端,包括:
第一语音信号接收模块,用于接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号;
第一识别结果获取模块,用于对所述第一语音信号进行解析识别,得到第一识别结果;
控制指令生成模块,用于根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作;
控制指令发送模块,用于将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
可选地,所述控制指令包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;
所述控制指令具体用于:控制所述虚拟形象执行与所述动作指令对应的动作,以及控制所述第一电子设备执行针对于虚拟空间功能的操作指令;所述动作与所述虚拟空间功能关联。
可选地,在所述第一语音信号接收模块之前,还包括:
虚拟形象信息获取模块,用于响应于所述第一电子设备发送的虚拟形象查看请求,获取所述虚拟形象查看请求指向的虚拟形象信息;所述虚拟形象查看请求用于从所述服务端获取与所述虚拟形象相关的虚拟形象信息;
虚拟形象信息发送模块,用于将所述虚拟形象信息发送至所述第一电子设备以及所述第二电子设备。
可选地,在所述虚拟形象信息发送模块之后,且在所述第一语音信号接收模块之前,还包括:
第二语音信号接收模块,用于接收所述第一电子设备识别出指定唤醒词的第二语音信号;
第二识别结果获取模块,用于对所述第二语音信号进行解析识别,得到第二识别结果;
唤醒确定指令生成模块,用于当识别到所述第二识别结果包括所述指定唤醒词时,生成唤醒确定指令;所述唤醒确认指令用于通过语音方式控制所述虚拟形象;
唤醒确认指令发送模块,用于将所述唤醒确认指令发送至所述第一电子设备。
可选地,还包括:
内容获取模块,用于获取所述第二识别结果中在所述指定唤醒词之后的内容;
所述控制指令生成模块,还用于根据所述内容生成所述控制指令;
所述控制指令发送模块,还用于将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
可选地,所述唤醒确认指令发送模块,还用于将所述唤醒确认指令发送至所述第二电子设备;所述唤醒确认指令还用于指示所述第一电子设备以及所述第二电子设备以预存的唤醒形象显示所述虚拟形象。
根据本公开实施例的第四方面,提供一种数据控制装置,应用于第一电子设备,包括:
第一语音信号发送模块,用于将针对于显示的虚拟形象采集的第一语音信号发送至服务端;
控制指令接收模块,用于接收所述服务端提供的控制指令,所述控制指令为通过识别所述第一语音信号得到的指令;
控制指令使用模块,用于使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
可选地,所述控制指令包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;
所述控制指令使用模块包括:
使用所述动作指令控制所述虚拟形象执行与所述动作指令对应的动作,以及执行针对于虚拟空间功能的操作指令;所述动作与所述虚拟空间功能关联。
可选地,在所述第一语音信号发送模块之前,还包括:
查看请求获取模块,用于获取虚拟形象查看请求,所述虚拟形象查看请求用于从服务端获取与所述虚拟形象相关的虚拟形象信息;
查看请求发送模块,用于将所述虚拟形象查看请求发送至所述服务端;
虚拟形象信息获取模块,用于获取所述服务端反馈的所述虚拟形象信息;
虚拟形象信息使用模块,用于使用所述虚拟形象信息渲染并显示所述虚拟形象。
可选地,在所述虚拟形象信息使用模块之后,以及在所述第一语音信号发送模块之前,还包括:
第二语音信号采集识别模块,用于采集第二语音信号并进行识别;
第二语音信号发送模块,用于若识别的结果包括指定唤醒词,向所述服务端发送所述第二语音信号;所述第二语音信号用于触发所述服务端识别所述第二语音信号中是否包括所述指定唤醒词;
唤醒确认指令接收模块,用于接收所述服务端返回的唤醒确认指令,所述唤醒确认指令由所述服务端在识别出所述指定唤醒词之后生成的;所述唤醒确认指令用于通过语音方式控制所述虚拟形象。
可选地,所述唤醒确认指令接收模块包括:
接收所述服务端返回的控制指令以及所述唤醒确认指令,所述控制指令还通过所述第二识别结果中在所述指定唤醒词之后的内容生成。
可选地,所述唤醒确认指令还用于指示所述第一电子设备以预存的唤醒形象显示所述虚拟形象。
可选地,还包括:
虚拟形象显示模块,用于当采集到针对于所述虚拟形象的所述第一语音信号时,以预存的聆听形象显示所述虚拟形象。
根据本公开实施例的第五方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行第一方面或第二方面中任一所述的方法。
根据本公开实施例的第六方面,还提供了一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行时实现第一方面或第二方面中任一所述方法的步骤。
根据本公开实施例的第七方面,提供一种计算机程序产品,包括第一方面或第二方面中任一所述方法的步骤。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开实施例中,主播用户无需在所述第一电子设备上进行额外的操作,只需说出想要虚拟形象做什么的话语,由所述第一电子设备针对在所述第一设备上显示的虚拟形象采集相应的第一语音信号,并发送至所述服务端,然后所述服务端对所述第一语音信号进行解析识别,得到第一识别结果,再根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作,最后将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备,从而所述第一电子设备和所述第二电子设备可以使用控制指令控制所述虚拟形象行与所述控制指令对应的动作,实现通过服务端远程控制虚拟形象的过程,也实现了主播用户通过语音方式控制虚拟形象与观众用户进行互动的场景,同时也减少了直播用户的操作步骤,进一步方便用户,有利于优化用户的使用体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
图1为本公开根据一示例性实施例示出的一种直播互动的应用场景示意图;
图2为本公开根据一示例性实施例示出的第一种数据控制方法的流程图;
图3为本公开根据一示例性实施例示出的以打招呼的3D形象展示所述虚拟形象的示意图;
图4为本公开根据一示例性实施例示出的第二种数据控制方法的流程图;
图5为本公开根据一示例性实施例示出的第三种数据控制方法的流程图;
图6为本公开根据一示例性实施例示出的以微笑的3D形象展示所述虚拟形象的示意图;
图7为本公开根据一示例性实施例示出的第四种数据控制方法的流程图;
图8A为本公开根据一示例性实施例示出的以预存的聆听形象显示所述虚拟形象的示意图;
图8B为本公开根据一示例性实施例示出的显示第一识别结果的示意图;
图9为本公开根据一示例性实施例示出的第一电子设备与服务端之间通过语音交互的时序图;
图10为本公开实施例根据一示例性实施例示出的数据控制装置的第一个实施例框图;
图11为本公开实施例根据一示例性实施例示出的数据控制装置的第二个实施例框图;
图12为本公开根据一示例性实施例示出的一种电子设备的框图;
图13为本公开根据一示例性实施例示出的一种直播系统的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开实施例的方案,可以应用于网络直播等任何涉及直播互动的场景中,如图1所示,是本公开根据一示例性实施例示出的一种直播互动的应用场景示意图,图1中包括作为服务端的服务器、以及作为客户端的智能手机、平板电脑和个人计算机等电子设备。其中,所述电子设备还可以是PDA(Personal Digital Assistant,个人数字助理)、多媒体播放器、可穿戴设备等智能设备;所述服务端设备还可以是云服务器等大型计算设备。
图1中的服务端向各客户端提供直播服务,用户可以使用智能电子设备安装直播客户端,通过该直播客户端获得该直播服务,也可以使用智能电子设备安装浏览器客户端,通过浏览器客户端登录服务器所提供的直播页面,获得直播服务。通常,直播过程中涉及两类用户,一类用户为主播用户,另一类用户为观众用户。客户端提供有主播直播功能和直播收看功能,主播用户可以使用客户端提供的直播功能进行视频直播,而观众用户可以使用客户端提供的收看功能观看主播用户的直播内容,为了方便区别,以下将作为主播用户客户端的电子设备称为第一电子设备,将作为观众用户客户端的电子设备称为第二电子设备,其中,主播用户可以使用第一电子设备上的直播客户端的直播功能建立直播间,观众用户可以通过第二电子设备上的直播客户端的收看功能进入所述主播用户建立的直播间,主播用户在第一电子设备上直播的内容会广播到处于同一直播间的观众用户的第二电子设备上,从而实现视频直播与观看的过程。
在实时网络直播过程中,主播可以通过在直播间云饲养的虚拟形象实现与观众的简单互动,但通过虚拟形象进行互动的方式都是在终端上预先设置好的,目前通过虚拟形象进行互动的过程通常是:主播用户对提供的虚拟形象相关控件进行操作,实现控制虚拟形象进行互动的过程,比如点击虚拟形象后,终端控制该虚拟形象做指定动作等;以上通过虚拟形象进行互动的方式较为单一,并且操作上较为繁琐,不利于用户的使用体验。
基于上述问题,请参阅图2,为本公开根据一示例性实施例示出的第一种数据控制方法的流程图,应用于服务端,所述服务端可以是服务器、云服务器等大型计算设备,所述方法包括:
在步骤S101中,接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号。
在步骤S102中,对所述第一语音信号进行解析识别,得到第一识别结果。
在步骤S103中,根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作。
在步骤S104中,将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
在本公开实施例中,主播用户可以通过语音方式实现对在第一电子设备上显示的虚拟形象的控制,针对于所述虚拟形象,主播用户可以说出相应的话语,然后由第一电子设备采集针对于所述虚拟形象的第一语音信号,然后将采集的第一语音信号发送至服务端,所述服务端接收所述第一语音信号之后,对所述第一语音信号进行解析识别,得到第一识别结果;可以理解的是,本公开实施例对于语音识别的具体实现算法不做任何限制,可根据实际应用场景进行具体选择,例如可以是基于隐马尔可夫模型(HMM)的语音识别算法,或者基于神经网络的语音识别算法等等。
接着,在获取所述第一识别结果之后,所述服务端根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作,然后将生成的控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备,从而所述第一电子设备可以使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作,以及所述第二电子设备可以使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作,实现了主播用户通过语音方式控制虚拟形象与观众用户进行互动的场景,不仅减少了主播用户的操作步骤,也提升了直播互动的趣味性,有利于提高用户参与互动的积极性。
在一个例子中,比如所述第一电子设备采集到“跟观众打招呼”的第一语音信号并发送至所述服务端,所述服务端对所述第一语音信号进行解析识别,得到第一识别结果“跟观众打招呼”,所述服务端根据该第一识别结果生成用于控制所述虚拟形象执行打招呼动作的控制指令,并将该控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备,请参阅图3,为本公开根据一示例性实施例示出的虚拟形象打招呼的示意图,实现了主播用户通过语音方式控制虚拟形象与观众用户进行互动的场景。
本实施例中,主播用户无需在所述第一电子设备上进行额外的操作,只需说出想要虚拟形象做什么的话语,由所述第一电子设备采集相应的第一语音信号,并发送至所述服务端,然后所述服务端进对其行识别分析后,生成相应的控制指令,从而通过控制指令控制所述虚拟形象行与所述控制指令对应的动作,实现通过服务端远程控制虚拟形象的过程,也实现了主播用户通过语音方式控制虚拟形象与观众用户进行互动的场景,同时也减少了直播用户的操作步骤,进一步方便用户,有利于优化用户的使用体验。
其中,主播用户可以通过语音方式控制所述虚拟形象执行不同的动作,比如打招呼动作、微笑动作、比爱心动作等等,所述第一电子设备可以采集到不同的第一语音信号并发送至所述服务端,所述服务端可以根据不同的第一语音信号生成不同的控制指令,从而控制所述虚拟形象跟观众用户进行不同的互动方式,多样化的互动方式有利于优化用户的使用体验。
在一种可能的实现方式中,所述第一电子设备和所述第二电子设备上可以预存所述虚拟形象多个不同的动作数据,在接收到所述控制指令之后,所述电子设备和所述第二电子设备可以根据所述控制指令确定相应的动作数据,并运行针对于虚拟形象的所述动作数据,使得所述虚拟形象能够执行与所述控制指令对应的动作。
在另一种可能的实现方式中,所述服务端在向处于同一虚拟控件的所述第一电子设备以及若干第二电子设备发送所述控制指令时,可以一并发送与所述控制指令相应的动作数据,从而所述第一电子设备以及若干第二电子设备可以根据所述控制指令运行针对于虚拟形象的所述动作数据,使得所述虚拟形象能够执行与所述控制指令对应的动作。
可以理解的是,本公开实施例对于所述虚拟形象的展示形式不做任何限制,可以依据实际应用场景进行具体设置,例如可以以2D形象或者3D形象进行展示,形象化的虚拟形象有助于提升直播趣味性,从而提高用户参与互动的积极性。
在一实施例中,可以在所述第一电子设备和所述服务端之间建立一个用于传输所述第一语音信号的Socket通道,所述第一电子设备将采集的所述第一语音信号进行预处理之后,对所述第一语音信号进行分包处理,获取若干个数据包,每一数据包包括有唯一的标识符,所述第一电子设备将所述数据包通过所述Socket通道发送至所述服务端,所述服务端在接收到所有数据包之后,按照所述唯一的标识符将所有数据包有序还原成语音信号,并进行识别解析,得到所述第一识别结果,作为其中一种可能的实现方式,所述服务端还可以将所述第一识别结果通过该Socket通道返回给所述第一电子设备;其中,可以理解的是,本实施例对于所述预处理的具体操作不做任何限制,可依据实际情况进行具体设置,比如可以是降噪操作等。
在一实施例中,还可以在第一电子设备与服务端之间、第二电子设备与服务端之间建立另一个用于传输控制指令的Socket通道,所述服务端生成的所述控制指令可以通过protobuf协议处理,以二进制的形式通过该Socket通道传输给所述第一电子设备以及所述第二电子设备,所述第一电子设备和所述第二电子设备在接收到二进制形式的控制指令之后,通过protobuf协议解析出所述控制指令并使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
在一些实施例中,所述控制指令可以包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;所述控制指令具体用于:控制所述虚拟形象执行与所述动作指令对应的动作,以及控制所述第一电子设备执行针对于虚拟空间功能的操作指令;所述动作与所述虚拟空间功能关联,即是说,所述第一电子设备在接收到所述控制指令之后,所述第一电子设备可以使用所述动作指令控制所述虚拟形象执行与所述动作指令对应的动作,以及执行针对于虚拟空间功能的操作指令,所述动作与所述直播间功能关联,从而实现了虚拟形象帮助主播用户实现虚拟空间功能的场景,不仅减少了用户的操作步骤,实现通过语音方式控制虚拟空间功能,而且提升了直播的趣味性,增加用户参与互动的积极性。
可以理解的是,本公开实施例对于所述虚拟空间的功能不做任何限制,可依据实际应用场景进行具体设置,例如所述虚拟空间功能包括以下任意一个或多个:音乐播放功能、前后置相机翻转功能以及连麦互动功能等。
在一个例子中,比如所述服务端识别解析所述第一语音信号得到的第一识别结果为“小快,播放音乐”,则可以根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述动作指令对应的动作,以及控制所述第一电子设备执行音乐播放功能的操作指令;所述动作与所述音乐播放功能关联,比如所述动作可以是“虚拟形象点击音乐播放控件(所述音乐播放控件提供音乐播放功能的入口)的动作”,所述服务端将所述控制指令发送给第一电子设备,使得第一电子设备可以使用所述动作指令控制所述虚拟形象执行与所述动作指令对应的动作,以及执行音乐播放功能的操作指令;所述动作与所述音乐播放功能关联,比如所述动作可以是“虚拟形象点击音乐播放控件(所述音乐播放控件提供音乐播放功能的入口)的动作”,实现一种虚拟形象帮助主播用户实现虚拟空间功能的场景,不仅减少用户的操作步骤,进一步方便用户使用,而且提升了直播的趣味性,增加用户参与互动的积极性。
请参阅图4,为本公开根据一示例性实施例示出的第二种数据控制方法的流程图,应用于服务端,所述服务端可以是服务器、云服务器等大型计算设备,所述方法包括:
在步骤S201中,响应于所述第一电子设备发送的虚拟形象查看请求,获取所述虚拟形象查看请求指向的虚拟形象信息;所述虚拟形象查看请求用于从所述服务端获取与所述虚拟形象相关的虚拟形象信息。
在步骤S202中,将所述虚拟形象信息发送至所述第一电子设备以及所述第二电子设备。
在步骤S203中,接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号。与步骤S101类似,此处不再赘述。
在步骤S204中,对所述第一语音信号进行解析识别,得到第一识别结果。与步骤S102类似,此处不再赘述。
在步骤S205中,根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作。与步骤S103类似,此处不再赘述。
在步骤S206中,将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。与步骤S104类似,此处不再赘述。
在本实施例中,在直播的时候,主播用户如果想要通过虚拟形象实现与用户之间的互动,可以在其第一电子设备上对指定的虚拟形象查看控件进行操作,其中,所述虚拟形象查看控件提供获取虚拟形象信息的入口;另外,可以理解的是,本公开实施例对所述操作不做任何限制,可依据实际情况进行具体设置,比如可以是点击、长按等操作。
所述第一电子设备检测到虚拟形象查看控件的触发操作,生成发送至所述服务端的虚拟形象查看请求,所述服务端在接收所述第一电子设备的虚拟形象查看请求之后,获取所述虚拟形象的信息,即是说,所述虚拟形象查看请求用于从所述服务端获取与所述虚拟形象相关的虚拟形象信息;然后所述服务端将其发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备,从而所述第一电子设备以及若干第二电子设备在获取所述虚拟形象信息之后,可以使用所述虚拟形象信息渲染并显示所述虚拟形象;本实施例实现向观众用户展示直播用户的虚拟形象的过程,从而可以通过虚拟形象实现直播互动的过程,进而无需主播用户对虚拟形象进行任何操作,所述第一电子设备可以实时采集主播用户的语音信号,并将采集的语音信号发送至所述服务端,通过所述服务端远程控制所述虚拟形象与观众用户进行进一步地互动,不仅减少了用户的操作步骤,而且有利于提升直播的趣味性。
请参阅图5,为本公开根据一示例性实施例示出的第三种数据控制方法的流程图,应用于服务端,所述服务端可以是服务器、云服务器等大型计算设备,所述方法包括:
在步骤S301中,响应于所述第一电子设备发送的虚拟形象查看请求,获取所述虚拟形象查看请求指向的虚拟形象信息;所述虚拟形象查看请求用于从所述服务端获取与所述虚拟形象相关的虚拟形象信息。与步骤S201类似,此处不再赘述。
在步骤S302中,将所述虚拟形象信息发送至所述第一电子设备以及所述第二电子设备。与步骤S202类似,此处不再赘述。
在步骤S303中,接收所述第一电子设备识别出指定唤醒词的第二语音信号。
在步骤S304中,对所述第二语音信号进行解析识别,得到第二识别结果。
在步骤S305中,当识别到所述第二识别结果包括所述指定唤醒词时,生成唤醒确定指令;所述唤醒确认指令用于通过语音方式控制所述虚拟形象。
在步骤S306中,将所述唤醒确认指令发送至所述第一电子设备。
在步骤S307中,接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号。与步骤S101类似,此处不再赘述。
在步骤S308中,对所述第一语音信号进行解析识别,得到第一识别结果。与步骤S102类似,此处不再赘述。
在步骤S309中,根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作。与步骤S103类似,此处不再赘述。
在步骤S310中,将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。与步骤S104类似,此处不再赘述。
在本实施例中,所述第一电子设备在使用所述虚拟形象信息渲染并显示所述虚拟形象之后,实时采集主播用户的语音信号,但为了保证语音识别的准确性,所述第一电子设备并不会将采集到的第二语音信号立即发送给所述服务端,而是在所述第一电子设备上对采集的第二语音信号进行识解析识别,若识别的结果中包括有指定唤醒词,则将本次识别的第二语音信号发送至所述服务端进行二次识别,所述服务端在接收到所述第一电子设备识别出指定唤醒词的第二语音信号之后,对所述第二语音信号进行解析识别,得到第二识别结果。
当识别到所述第二识别结果包括所述指定唤醒词时,则表示主播用户想要在第一电子设备上通过语音方式控制虚拟形象的意图,则所述服务端生成发送至所述第一电子设备的唤醒确认指令,所述唤醒确认指令用于指示所述第一电子设备可以通过语音方式控制所述虚拟形象,即是说,在所述第一电子设备接收所述唤醒确认指令之后,所述第一电子设备可以根据所述唤醒确认指令采集针对于所述虚拟形象的第一语音信号,由所述服务端根据所述第一语音信号生成控制指令,从而所述虚拟形象可以执行与所述控制指令对应的动作;当识别到所述第二识别结果没有包括所述指定唤醒词时,所述第一电子设备持续采集用户的第二语音信号直到在第一电子设备和服务端均识别出指定唤醒词;本实施例中,通过对指定唤醒词在第一电子设备以及在服务端的两次识别确认过程,有利于保证唤醒确认过程的准确性,从而保证后续语音识别以及控制指令生成的准确性,同时也避免了采集过多无效的语音信号发送至所述服务端,造成服务端识别资源的浪费。
可以理解的是,本公开实施例对于所述指定唤醒词不做任何限制,可依据实际情况进行具体设置,比如唤醒词可以是“小快真唤醒”等。
在一实施例中,所述第一电子设备上可以包括一预设的语音识别模型,用于识别采集的第二语音信号中是否包括有指定唤醒词,若所述第一电子设备通过所述语音识别模型识别出指定唤醒词,则将本次识别的第二语音信号发送至所述服务端进行二次识别,所述服务端也包括一预设的语音识别模型,用于识别接收的第二语音信号中是否包括有指定唤醒词,本实施例中第一电子设备和服务端的两次唤醒词识别过程有利于保证唤醒确认的准确性;其中,所述第二语音信号可以通过上述提到的在第一电子设备和服务端之间建立的用于传输语音信号的Socket通道进行传输;可以理解的是,本公开实施例对于所述语音识别模型的具体形式不做任何限制,可依据实际情况进行具体设置。
在一实施例中,在直播的时候,为了让观众用户和主播用户可以知道是否成功唤醒虚拟形象,所述服务端还可以将所述唤醒确认指令发送至所述第二电子设备,所述唤醒确认指令还用于指示所述第一电子设备以及所述第二电子设备以预存的唤醒形象显示所述虚拟形象,从而让观众用户和主播用户知道虚拟形象已唤醒成功,起到良好的提醒作用,有利于提升用户的使用体验。
在一个例子中,请参阅图6,在第一电子设备接收到所述唤醒确认指令之后,可以以不同于之前的形象比如微笑的3D形象展示所述虚拟形象,从而让主播用户得知虚拟形象已唤醒成功,起到良好的提醒作用,有利于提升用户的使用体验。
在另一实施例中,所述唤醒确认指令中还可以包括文字信息,比如“小快已唤醒成功”,所述第一电子设备以及所述第二电子设备可以根据所述唤醒确认指令显示相应的文字信息,从而提醒观众用户和主播用户虚拟形象已唤醒成功。
在一些实施例中,所述第一电子设备实时采集主播用户的第二语音信号并对其进行识别,作为其中一种实现方式,在采集所述第二语音信号的过程中,所述第一电子每次识别指定时间段内采集的第二语音信号;可以理解的是,本公开实施例对于所述指定时间段不做任何限制,可依据实际应用场景进行具体设置,在一个例子中,所述指定时间段为1秒,即是说,所述第一电子采集到1秒的第二语音信号之后,即对该第二语音信号进行识别解析。
则在一种可能的实现方式中,主播用户说出指定唤醒词之后可能一并说出控制所述虚拟形象的话语,即是说,所述指定时间段内采集的第二语音信号中可能包括用于生成所述控制指令的内容,为了提高语音识别的准确性,所述第一电子设备对采集的第二语音信号进行识解析识别,若识别的结果中包括有指定唤醒词,则将本次识别的第二语音信号发送至所述服务端进行二次识别,所述服务端在接收到所述第一电子设备识别出指定唤醒词的第二语音信号之后,对所述第二语音信号进行解析识别,得到第二识别结果,当识别到所述第二识别结果包括所述指定唤醒词时,生成唤醒确定指令;并且所述服务端获取所述第二识别结果中在所述指定唤醒词之后的内容,然后根据所述内容生成所述控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作,然后将所述唤醒确定指令以及所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备,使得在所述第一电子设备以及所述第二电子设备上,所述虚拟形象在被唤醒之后,立即响应于主播用户的话语,执行与所述控制指令对应的动作;本实施例有利于提高语音信号识别的准确性,同时也切实考虑用户的说话习惯,实现对用户的语音信号的准确响应,方便用户使用,进一步减少了用户的操作步骤,同时提升直播的趣味性,调动用户参与互动的积极性。
请参阅图7,为本公开根据一示例性实施例示出的第四种数据控制方法的流程图,应用于第一电子设备,所述第一电子设备可以是电脑、平板或者手机等设备,所述方法包括:
在步骤S401中,将针对于显示的虚拟形象采集的第一语音信号发送至服务端。
在步骤S402中,接收所述服务端提供的控制指令,所述控制指令为通过识别所述第一语音信号得到的指令。
在步骤S403中,使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
在一实施例中,所述控制指令包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;
所述使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作,包括:使用所述动作指令控制所述虚拟形象执行与所述动作指令对应的动作,以及执行针对于虚拟空间功能的操作指令;所述动作与所述直播虚拟空间功能关联。
在一实施例中,在所述将针对于显示的虚拟形象采集的第一语音信号发送至服务端之前,还包括:
获取虚拟形象查看请求,所述虚拟形象查看请求用于从服务端获取与所述虚拟形象相关的虚拟形象信息;
将所述虚拟形象查看请求发送至所述服务端;
获取所述服务端反馈的所述虚拟形象信息;
使用所述虚拟形象信息渲染并显示所述虚拟形象。
在一实施例中,在所述使用所述虚拟形象信息渲染并显示所述虚拟形象之后,以及在所述将针对于显示的虚拟形象采集的第一语音信号发送至服务端之前,还包括:
采集第二语音信号并进行识别;
若识别的结果包括指定唤醒词,向所述服务端发送所述第二语音信号;所述第二语音信号用于触发所述服务端识别所述第二语音信号中是否包括所述指定唤醒词;
接收所述服务端返回的唤醒确认指令,所述唤醒确认指令由所述服务端在识别出所述指定唤醒词之后生成的;所述唤醒确认指令用于通过语音方式控制所述虚拟形象。
在一实施例中,所述接收所述服务端返回的唤醒确认指令,包括:
接收所述服务端返回的控制指令以及所述唤醒确认指令,所述控制指令还通过所述第二识别结果中在所述指定唤醒词之后的内容生成。
在一实施例中,所述唤醒确认指令还用于指示所述第一电子设备以预存的唤醒形象显示所述虚拟形象。
在一实施例中,在所述接收所述服务端返回的唤醒确认指令之后,还包括:
当采集到针对于所述虚拟形象的所述第一语音信号时,以预存的聆听形象显示所述虚拟形象。
所述第一电子设备在采集所述第一语音信号的过程中,请参阅图8A,可以以预存的聆听形象显示所述虚拟形象,给主播用户营造一种虚拟形象在听他说话的场景,实现主播用户与虚拟形象之间的互动,增加直播的趣味性,从而提高用户参与互动的积极性。
进一步地,请参阅图8B,所述第一电子设备将采集的第一语音信号发送至所述服务端,所述服务端还可以将识别所述第一语音信号得到的第一识别结果传输给所述第一电子设备,以使所述第一电子设备可以显示所述第一识别结果,进而所述第一电子设备根据所述服务端发送的控制指令控制所述虚拟形象执行与所述控制指令对应的动作,给主播用户营造一种虚拟形象在根据主播用户的语音命令与观众用户进行互动的场景,增加直播的趣味性,从而提高用户参与互动的积极性。
请参阅图9,为第一电子设备与服务端之间通过语音交互的时序图,图9所示的实施例包括:
11:第一电子设备发送虚拟形象查看请求;
12:服务端响应于所述虚拟形象查看请求,获取虚拟形象信息并返回;
13:第一电子设备使用所述虚拟形象信息渲染并显示所述虚拟形象;
14:第一电子设备采集第二语音信号并进行识别,在识别出指定唤醒词之后,发送该第二语音信号;
15:服务端对所述第二语音信号进行识别,得到第二识别结果,当识别到所述第二识别结果包括所述指定唤醒词时,生成唤醒确定指令并返回;
16:第一电子设备以预存的唤醒形象显示所述虚拟形象;
17:第一电子设备采集针对于所述虚拟形象的第一语音信号并发送;
18:服务端识别所述第一语音信号得到第一识别结果,根据第一识别结果生成控制指令并返回;
19:第一电子设备使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
与本公开的数据控制方法的实施例相对应,本公开还提供了数据控制装置、电子设备、直播系统以及计算机可读存储介质的实施例。
请参阅图10,为本公开实施例提供的数据控制装置的第一个实施例框图,该装置应用于服务端,包括:
第一语音信号接收模块501,用于接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号。
第一识别结果获取模块502,用于对所述第一语音信号进行解析识别,得到第一识别结果。
控制指令生成模块503,用于根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作。
控制指令发送模块504,用于将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
在一实施例中,所述控制指令包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;
所述控制指令具体用于:控制所述虚拟形象执行与所述动作指令对应的动作,以及控制所述第一电子设备执行针对于虚拟空间功能的操作指令;所述动作与所述虚拟空间功能关联。
在一实施例中,在所述第一语音信号接收模块501之前,还包括:
虚拟形象信息获取模块,用于响应于所述第一电子设备发送的虚拟形象查看请求,获取所述虚拟形象查看请求指向的虚拟形象信息;所述虚拟形象查看请求用于从所述服务端获取与所述虚拟形象相关的虚拟形象信息。
虚拟形象信息发送模块,用于将所述虚拟形象信息发送至所述第一电子设备以及所述第二电子设备。
在一实施例中,在所述虚拟形象信息发送模块之后,且在所述第一语音信号接收模块501之前,还包括:
第二语音信号接收模块,用于接收所述第一电子设备识别出指定唤醒词的第二语音信号。
第二识别结果获取模块,用于对所述第二语音信号进行解析识别,得到第二识别结果。
唤醒确定指令生成模块,用于当识别到所述第二识别结果包括所述指定唤醒词时,生成唤醒确定指令;所述唤醒确认指令用于通过语音方式控制所述虚拟形象。
唤醒确认指令发送模块,用于将所述唤醒确认指令发送至所述第一电子设备。
在一实施例中,还包括:
内容获取模块,用于获取所述第二识别结果中在所述指定唤醒词之后的内容。
所述控制指令生成模块,还用于根据所述内容生成所述控制指令。
所述控制指令发送模块,还用于将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
在一实施例中,所述唤醒确认指令发送模块,还用于将所述唤醒确认指令发送至所述第二电子设备;所述唤醒确认指令还用于指示所述第一电子设备以及所述第二电子设备以预存的唤醒形象显示所述虚拟形象。
请参阅图11,为本公开实施例提供的数据控制装置的第二个实施例框图,该装置应用于第一电子设备,包括:
第一语音信号发送模块601,用于将针对于显示的虚拟形象采集的第一语音信号发送至服务端。
控制指令接收模块602,用于接收所述服务端提供的控制指令,所述控制指令为通过识别所述第一语音信号得到的指令。
控制指令使用模块603,用于使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
在一实施例中,所述控制指令包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;
所述控制指令使用模块包括:使用所述动作指令控制所述虚拟形象执行与所述动作指令对应的动作,以及执行针对于虚拟空间功能的操作指令;所述动作与所述虚拟空间功能关联。
在一实施例中,在所述第一语音信号发送模块601之前,还包括:
查看请求获取模块,用于获取虚拟形象查看请求,所述虚拟形象查看请求用于从服务端获取与所述虚拟形象相关的虚拟形象信息。
查看请求发送模块,用于将所述虚拟形象查看请求发送至所述服务端。
虚拟形象信息获取模块,用于获取所述服务端反馈的所述虚拟形象信息。
虚拟形象信息使用模块,用于使用所述虚拟形象信息渲染并显示所述虚拟形象。
在一实施例中,在所述虚拟形象信息使用模块之后,以及在所述第一语音信号发送模块601之前,还包括:
第二语音信号采集识别模块,用于采集第二语音信号并进行识别。
第二语音信号发送模块,用于若识别的结果包括指定唤醒词,向所述服务端发送所述第二语音信号;所述第二语音信号用于触发所述服务端识别所述第二语音信号中是否包括所述指定唤醒词。
唤醒确认指令接收模块,用于接收所述服务端返回的唤醒确认指令,所述唤醒确认指令由所述服务端在识别出所述指定唤醒词之后生成的;所述唤醒确认指令用于通过语音方式控制所述虚拟形象。
在一实施例中,所述唤醒确认指令接收模块包括:
接收所述服务端返回的控制指令以及所述唤醒确认指令,所述控制指令还通过所述第二识别结果中在所述指定唤醒词之后的内容生成。
在一实施例中,所述唤醒确认指令还用于指示所述第一电子设备以预存的唤醒形象显示所述虚拟形象。
在一实施例中,还包括:
虚拟形象显示模块,用于当采集到针对于所述虚拟形象的所述第一语音信号时,以预存的聆听形象显示所述虚拟形象。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
图12是根据一示例性实施例示出的一种用于执行上述任一项方法的电子设备70的框图,所述电子设备70包括有处理器71;用于存储可执行指令的存储器72,所述存储器72包括计算机程序73;其中,处理器71被配置为执行上述任一项方法中的步骤。
所述处理器71执行所述存储器72中包括的计算机程序73,所述处理器71可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器72存储上述任一项方法的计算机程序,所述存储器72可以包括至少一种类型的存储介质,存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且,设备可以与通过网络连接执行存储器的存储功能的网络存储装置协作。存储器72可以是设备70的内部存储单元,例如设备70的硬盘或内存。存储器72也可以是设备70的外部存储设备,例如设备70上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器72还可以既包括设备70的内部存储单元也包括外部存储设备。存储器72用于存储计算机程序73以及设备所需的其他程序和数据。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
这里描述的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器中并且由控制器执行。
电子设备70包括但不限于以下存在形式:(1)移动终端:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等;(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad;(3)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于只要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高;(4)其他具有计算功能的电子设备。设备可包括,但不仅限于,处理器71、存储器72。本领域技术人员可以理解,图12仅仅是电子设备70的示例,并不构成对电子设备70的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如设备还可以包括输入输出设备、网络接入设备、总线、摄像设备等。
上述设备中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器72,上述指令可由电子设备70的处理器71执行以完成上述任一项方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,其上存储有指令,当存储介质中的指令由终端的处理器执行时,使得终端能够执行上述数据控制方法。
在示例性实施例中,还提供了一种计算机程序产品,包括可执行程序代码,其中,所述程序代码在通过上述装置执行时实施上述任意一项的方法实施例。
相应地,请参阅图13,为本公开根据一示例性实施例示出的一种直播系统的结构图,包括服务端81、第一电子设备82以及第二电子设备83;
其中,所述服务端81、所述第一电子设备82分别用于执行上述的数据控制方法,所述服务端81、以及所述第一电子设备82的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
其中,所述第二电子设备83用于接收所述服务端发送的控制指令,使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
所述第二电子设备83还用于接收所述服务端发送的所述虚拟形象信息;使用所述虚拟形象信息渲染并显示所述虚拟形象。
所述第二电子设备83还用于根据接收到的唤醒确认指令,以预存的唤醒形象显示所述虚拟形象。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据控制方法,其特征在于,应用于服务端,包括:
接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号;
对所述第一语音信号进行解析识别,得到第一识别结果;
根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作;
将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
2.根据权利要求1所述的方法,其特征在于,所述控制指令包括针对于所述虚拟形象的动作指令以及针对于虚拟空间功能的操作指令;
所述控制指令具体用于:控制所述虚拟形象执行与所述动作指令对应的动作,以及控制所述第一电子设备执行针对于虚拟空间功能的操作指令;所述动作与所述虚拟空间功能关联。
3.根据权利要求1所述的方法,其特征在于,在所述接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号之前,还包括:
响应于所述第一电子设备发送的虚拟形象查看请求,获取所述虚拟形象查看请求指向的虚拟形象信息;所述虚拟形象查看请求用于从所述服务端获取与所述虚拟形象相关的虚拟形象信息;
将所述虚拟形象信息发送至所述第一电子设备以及所述第二电子设备。
4.根据权利要求3所述的方法,其特征在于,在所述将所述虚拟形象信息发送至所述第一电子设备以及所述第二电子设备之后,且在所述接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号之前,还包括:
接收所述第一电子设备识别出指定唤醒词的第二语音信号;
对所述第二语音信号进行解析识别,得到第二识别结果;
当识别到所述第二识别结果包括所述指定唤醒词时,生成唤醒确定指令;所述唤醒确认指令用于通过语音方式控制所述虚拟形象;
将所述唤醒确认指令发送至所述第一电子设备。
5.根据权利要求4所述的方法,其特征在于,当识别到所述第二识别结果包括所述指定唤醒词时,还包括:
获取所述第二识别结果中在所述指定唤醒词之后的内容;
根据所述内容生成所述控制指令;
将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
6.一种数据控制方法,其特征在于,应用于第一电子设备,包括:
将针对于显示的虚拟形象采集的第一语音信号发送至服务端;
接收所述服务端提供的控制指令,所述控制指令为通过识别所述第一语音信号得到的指令;
使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
7.一种数据控制装置,其特征在于,应用于服务端,包括:
第一语音信号接收模块,用于接收第一电子设备针对在所述第一设备上显示的虚拟形象采集的第一语音信号;
第一识别结果获取模块,用于对所述第一语音信号进行解析识别,得到第一识别结果;
控制指令生成模块,用于根据所述第一识别结果生成控制指令,所述控制指令用于控制所述虚拟形象执行与所述控制指令对应的动作;
控制指令发送模块,用于将所述控制指令发送至处于同一虚拟空间的所述第一电子设备以及若干第二电子设备。
8.一种数据控制装置,其特征在于,应用于第一电子设备,包括:
第一语音信号发送模块,用于将针对于显示的虚拟形象采集的第一语音信号发送至服务端;
控制指令接收模块,用于接收所述服务端提供的控制指令,所述控制指令为通过识别所述第一语音信号得到的指令;
控制指令使用模块,用于使用所述控制指令控制所述虚拟形象执行与所述控制指令对应的动作。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1至5、或6任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有指令,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至5、或6中任一项所述的方法。
CN202010085395.5A 2020-02-10 2020-02-10 数据控制方法、装置、电子设备及存储介质 Pending CN111312240A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010085395.5A CN111312240A (zh) 2020-02-10 2020-02-10 数据控制方法、装置、电子设备及存储介质
US17/139,893 US11631408B2 (en) 2020-02-10 2020-12-31 Method for controlling data, device, electronic equipment and computer storage medium
EP21156430.7A EP3862869A1 (en) 2020-02-10 2021-02-10 Method and device for controlling data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010085395.5A CN111312240A (zh) 2020-02-10 2020-02-10 数据控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111312240A true CN111312240A (zh) 2020-06-19

Family

ID=71146892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085395.5A Pending CN111312240A (zh) 2020-02-10 2020-02-10 数据控制方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US11631408B2 (zh)
EP (1) EP3862869A1 (zh)
CN (1) CN111312240A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601098A (zh) * 2020-11-09 2021-04-02 北京达佳互联信息技术有限公司 直播互动方法、内容推荐方法及装置
CN113313797A (zh) * 2021-06-22 2021-08-27 广州虎牙科技有限公司 虚拟形象驱动方法、装置、电子设备和可读存储介质
CN113987142A (zh) * 2021-10-13 2022-01-28 上海星阑信息科技有限公司 与虚拟人偶的语音智能交互方法、装置、设备及存储介质
CN114079800A (zh) * 2021-09-18 2022-02-22 深圳市有伴科技有限公司 虚拟角色演出方法、装置、系统及计算机可读存储介质
CN115410571A (zh) * 2022-08-26 2022-11-29 深圳市酷开网络科技股份有限公司 人机交互方法、装置、智能设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111312240A (zh) * 2020-02-10 2020-06-19 北京达佳互联信息技术有限公司 数据控制方法、装置、电子设备及存储介质
CN113873314B (zh) * 2021-09-30 2024-12-03 北京有竹居网络技术有限公司 直播互动方法、装置、可读介质及电子设备
CN114020676B (zh) * 2021-11-01 2024-12-03 北京航天飞行控制中心 数据发送方法、其装置、电子设备及计算机程序产品
CN114501054B (zh) * 2022-02-11 2023-04-21 腾讯科技(深圳)有限公司 直播互动方法、装置、设备及计算机可读存储介质
CN114567661A (zh) * 2022-02-25 2022-05-31 阿波罗智联(北京)科技有限公司 交通照明装置的控制方法、装置、电子设备和介质
CN114615514B (zh) * 2022-03-14 2023-09-22 深圳幻影未来信息科技有限公司 一种虚拟人直播互动系统
CN115243096A (zh) * 2022-07-27 2022-10-25 北京字跳网络技术有限公司 直播间展示方法、装置、电子设备及存储介质
CN115942023B (zh) * 2022-10-09 2024-11-26 北京达佳互联信息技术有限公司 虚拟对象的展示方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107333086A (zh) * 2016-04-29 2017-11-07 掌赢信息科技(上海)有限公司 一种在虚拟场景中进行视频通信的方法及装置
CN107423809A (zh) * 2017-07-07 2017-12-01 北京光年无限科技有限公司 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN107438183A (zh) * 2017-07-26 2017-12-05 北京暴风魔镜科技有限公司 一种虚拟人物直播方法、装置及系统
CN109874021A (zh) * 2017-12-04 2019-06-11 腾讯科技(深圳)有限公司 直播互动方法、装置及系统
CN110119700A (zh) * 2019-04-30 2019-08-13 广州虎牙信息科技有限公司 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN110610699A (zh) * 2019-09-03 2019-12-24 北京达佳互联信息技术有限公司 语音信号处理方法、装置、终端、服务器及存储介质

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5819225A (en) * 1996-05-30 1998-10-06 International Business Machines Corporation Display indications of speech processing states in speech recognition system
US9329832B2 (en) * 2011-05-09 2016-05-03 Robert Allen Blaisch Voice internet system and method
US8781841B1 (en) * 2011-06-07 2014-07-15 Cisco Technology, Inc. Name recognition of virtual meeting participants
US9424840B1 (en) * 2012-08-31 2016-08-23 Amazon Technologies, Inc. Speech recognition platforms
KR101967917B1 (ko) * 2012-10-30 2019-08-13 삼성전자주식회사 음성을 인식하는 전자 장치 및 방법
US20140176314A1 (en) * 2012-12-21 2014-06-26 International Business Machines Corporation Smart Device to Media Device Coupling to Create Virtual Control Environment
CN105122353B (zh) * 2013-05-20 2019-07-09 英特尔公司 用于语音识别的计算装置和用于计算装置上的语音识别的方法
US10134395B2 (en) * 2013-09-25 2018-11-20 Amazon Technologies, Inc. In-call virtual assistants
US9804820B2 (en) * 2013-12-16 2017-10-31 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) * 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9875081B2 (en) * 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
CN105931645A (zh) * 2016-04-12 2016-09-07 深圳市京华信息技术有限公司 虚拟现实设备的控制方法、装置及虚拟现实设备、系统
US10230774B2 (en) * 2016-05-19 2019-03-12 Microsoft Technology Licensing, Llc Virtual meeting attendee
US10248189B2 (en) * 2016-07-29 2019-04-02 Lenovo (Singapore) Pte. Ltd. Presentation of virtual reality object based on one or more conditions
US10448115B1 (en) * 2016-09-28 2019-10-15 Amazon Technologies, Inc. Speech recognition for localized content
KR102793520B1 (ko) * 2016-10-17 2025-04-09 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
US10282908B2 (en) * 2016-12-16 2019-05-07 Lenovo (Singapore) Pte. Ltd. Systems and methods for presenting indication(s) of whether virtual object presented at first device is also presented at second device
US10593328B1 (en) * 2016-12-27 2020-03-17 Amazon Technologies, Inc. Voice control of remote device
US11024304B1 (en) * 2017-01-27 2021-06-01 ZYUS Life Sciences US Ltd. Virtual assistant companion devices and uses thereof
WO2018141144A1 (zh) * 2017-02-06 2018-08-09 华为技术有限公司 一种文本和语音信息的处理方法以及终端
US10573171B2 (en) * 2017-05-23 2020-02-25 Lenovo (Singapore) Pte. Ltd. Method of associating user input with a device
US20190304446A1 (en) * 2017-09-29 2019-10-03 Axwave, Inc. Artificial intelligence assistant recommendation service
US20190196779A1 (en) * 2017-12-21 2019-06-27 Harman International Industries, Incorporated Intelligent personal assistant interface system
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US20190251750A1 (en) * 2018-02-09 2019-08-15 Tsunami VR, Inc. Systems and methods for using a virtual reality device to emulate user experience of an augmented reality device
US10616726B1 (en) * 2018-02-22 2020-04-07 Amazon Technologies, Inc. Outputing notifications using device groups
US10425780B1 (en) * 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
US10620981B2 (en) * 2018-03-09 2020-04-14 Bank Of America Corporation Network error detection using virtual reality display devices
US10777203B1 (en) * 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
US11188199B2 (en) * 2018-04-16 2021-11-30 International Business Machines Corporation System enabling audio-based navigation and presentation of a website
US10958600B1 (en) * 2018-05-18 2021-03-23 CodeObjects Inc. Systems and methods for multi-channel messaging and communication
US10950233B2 (en) * 2018-07-11 2021-03-16 Hyundai Motor Company Dialogue system, vehicle having the same and dialogue processing method
JP7271925B2 (ja) * 2018-12-07 2023-05-12 コニカミノルタ株式会社 音声操作システム、音声操作方法および音声操作プログラム
US20200184963A1 (en) * 2018-12-07 2020-06-11 At&T Intellectual Property I, L.P. Virtual assistant augmentation system
US11132992B2 (en) * 2019-05-05 2021-09-28 Microsoft Technology Licensing, Llc On-device custom wake word detection
US11170774B2 (en) * 2019-05-21 2021-11-09 Qualcomm Incorproated Virtual assistant device
WO2021040092A1 (ko) * 2019-08-29 2021-03-04 엘지전자 주식회사 음성 인식 서비스 제공 방법 및 장치
CN110634483B (zh) * 2019-09-03 2021-06-18 北京达佳互联信息技术有限公司 人机交互方法、装置、电子设备及存储介质
US20210141892A1 (en) * 2019-11-11 2021-05-13 Iq2 Holdings, Inc. System and method for user authentication
CN111312240A (zh) * 2020-02-10 2020-06-19 北京达佳互联信息技术有限公司 数据控制方法、装置、电子设备及存储介质
US11328722B2 (en) * 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US20220197403A1 (en) * 2021-06-10 2022-06-23 Facebook Technologies, Llc Artificial Reality Spatial Interactions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107333086A (zh) * 2016-04-29 2017-11-07 掌赢信息科技(上海)有限公司 一种在虚拟场景中进行视频通信的方法及装置
CN107423809A (zh) * 2017-07-07 2017-12-01 北京光年无限科技有限公司 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN107438183A (zh) * 2017-07-26 2017-12-05 北京暴风魔镜科技有限公司 一种虚拟人物直播方法、装置及系统
CN109874021A (zh) * 2017-12-04 2019-06-11 腾讯科技(深圳)有限公司 直播互动方法、装置及系统
CN110119700A (zh) * 2019-04-30 2019-08-13 广州虎牙信息科技有限公司 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN110610699A (zh) * 2019-09-03 2019-12-24 北京达佳互联信息技术有限公司 语音信号处理方法、装置、终端、服务器及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601098A (zh) * 2020-11-09 2021-04-02 北京达佳互联信息技术有限公司 直播互动方法、内容推荐方法及装置
CN113313797A (zh) * 2021-06-22 2021-08-27 广州虎牙科技有限公司 虚拟形象驱动方法、装置、电子设备和可读存储介质
CN114079800A (zh) * 2021-09-18 2022-02-22 深圳市有伴科技有限公司 虚拟角色演出方法、装置、系统及计算机可读存储介质
CN113987142A (zh) * 2021-10-13 2022-01-28 上海星阑信息科技有限公司 与虚拟人偶的语音智能交互方法、装置、设备及存储介质
CN115410571A (zh) * 2022-08-26 2022-11-29 深圳市酷开网络科技股份有限公司 人机交互方法、装置、智能设备及存储介质

Also Published As

Publication number Publication date
EP3862869A1 (en) 2021-08-11
US20210249008A1 (en) 2021-08-12
US11631408B2 (en) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111312240A (zh) 数据控制方法、装置、电子设备及存储介质
CN112714330B (zh) 基于连麦直播的礼物赠送方法、装置及电子设备
CN109618181B (zh) 直播交互方法及装置、电子设备、存储介质
CN110446115B (zh) 直播互动方法、装置、电子设备及存储介质
CN111683263B (zh) 直播指导方法、装置、设备及计算机可读存储介质
CN112653902B (zh) 说话人识别方法、装置及电子设备
CN113453029B (zh) 直播互动方法、服务器及存储介质
CN109525851A (zh) 直播方法、装置和存储介质
CN111343473B (zh) 直播应用的数据处理方法、装置、电子设备及存储介质
WO2019165877A1 (zh) 消息推送方法、装置、设备及存储介质
CN110691281B (zh) 视频播放处理方法、终端设备、服务器及存储介质
CN113766340B (zh) 连麦直播下的舞曲互动方法、系统、装置及计算机设备
CN111083517B (zh) 直播间互动方法、装置、电子设备、系统及存储介质
CN105551498A (zh) 一种语音识别的方法及装置
CN109151598B (zh) 直播间话题的确定方法,装置、计算机设备及存储介质
EP4057631A1 (en) Method and apparatus for live streaming, server, system and storage medium
CN114666671B (zh) 直播点赞互动方法、装置、设备及存储介质
CN115134623A (zh) 基于主副画面显示的虚拟礼物互动方法、装置及电子设备
CN113840177A (zh) 直播互动方法、装置、存储介质与电子设备
CN114449301B (zh) 物品发送方法、装置、电子设备和计算机可读存储介质
CN118890497B (zh) 直播方法、设备及存储介质
CN111210819B (zh) 信息处理方法、装置和电子设备
US20250392791A1 (en) Video playing method, apparatus and device, and storage medium
CN116320519B (zh) 直播互动方法、装置、电子设备及存储介质
CN113438491B (zh) 直播互动方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination