CN111816168B - 一种模型训练的方法、语音播放的方法、装置及存储介质 - Google Patents
一种模型训练的方法、语音播放的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111816168B CN111816168B CN202010714263.4A CN202010714263A CN111816168B CN 111816168 B CN111816168 B CN 111816168B CN 202010714263 A CN202010714263 A CN 202010714263A CN 111816168 B CN111816168 B CN 111816168B
- Authority
- CN
- China
- Prior art keywords
- voice
- voice data
- model
- trained
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 253
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000003860 storage Methods 0.000 title claims abstract description 33
- 238000013480 data collection Methods 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 41
- 238000012797 qualification Methods 0.000 claims description 33
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 24
- 230000004044 response Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 241000272517 Anseriformes Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 241000272525 Anas platyrhynchos Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/34—Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了一种模型训练的方法、语音播放的方法、装置及存储介质,应用于人工智能云服务领域。本申请方法包括:获取待训练语音数据集合;当N满足语音训练数量阈值,获取语音模型训练指令;响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取预测语音数据集合;基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型;发送目标语音模型,以使得终端设备存储目标语音模型。本申请提升语音模型生成的灵活性,且满足用户对声音的定制需求,其次,用户进行语音播放时语音模型选择可能性提升,从而提升语音播放的灵活性,进而提升用户的语音播放体验以及灵活性。
Description
技术领域
本申请涉及人工智能云服务领域,尤其涉及一种模型训练的方法、语音播放的方法、装置及存储介质。
背景技术
随着互联网信息技术的快速发展,以及生活质量的不断提高,智能化的终端设备广泛应用于人们的生活中,而用户对智能化的终端设备的需求也日渐增加。为了满足用户在不同终端设备的个性化体验,产生了基于人工智能完成语音播放的方式。
目前,语音播放的方式通常是通过将发声人(比如某公众明星)语音模型数据集成于终端设备,通过用户选择想要的发声人,终端设备将用户所选择的发声人的声音与所需语音播放的文本信息进行合成,从而得到目标语音数据,使得终端设备播放该目标语音数据,从而完成进行语音播放。
然而,由于语音模型集成于终端设备,用于仅能选择集成于终端设备的语音模型,因此降低语音模型的可选择性以及灵活性,从而降低了语音播放的灵活性。
发明内容
本申请实施例提供了一种模型训练的方法、语音播放的方法、装置及存储介质,用于提升语音模型生成的灵活性,且用户进行语音播放时语音模型选择可能性提升,从而提升语音播放的灵活性。
有鉴于此,本申请一方面提供一种模型训练的方法,包括:
获取待训练语音数据集合,其中,待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数;
当N满足语音训练数量阈值,获取语音模型训练指令;
响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取预测语音数据集合,其中,预测语音数据集合包括N个预测语音数据,且预测语音数据与待训练语音数据具有对应关系;
基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型;
发送目标语音模型,以使得终端设备存储目标语音模型。
本申请另一方面提供一种语音播放的方法,包括:
检测针对于语音播放的操作,发送语音播放请求,以使得服务器基于待解析语音数据获取服务内容文本数据,根据服务内容文本数据获取无音色语音数据,其中,语音播放请求携带待解析语音数据,服务内容文本数据是根据待解析语音数据获取的,无音色语音数据是对服务内容文本数据进行语音合成后得到的;
接收无音色语音数据;
根据无音色语音数据以及目标语音模型生成目标语音数据,其中,目标语音模型是基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练得到的,预测语音数据集合是服务器响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取的;
播放目标语音数据。
本申请另一方面提供一种模型训练装置,包括:
获取模块,用于获取待训练语音数据集合,其中,待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数;
获取模块,还用于当N满足语音训练数量阈值,获取语音模型训练指令;
获取模块,还用于响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取预测语音数据集合,其中,预测语音数据集合包括N个预测语音数据,且预测语音数据与待训练语音数据具有对应关系;
训练模块,用于基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型;
发送模块,用于发送目标语音模型,以使得终端设备存储目标语音模型。
在一种可能的设计中,在本申请实施例的另一方面的一种实现方式中,
获取模块,具体用于获取语音服务请求;
响应于语音服务请求,向终端设备发送语音数据收集指令,以使得终端设备响应于语音数据收集指令,获取待检测语音数据,其中,待检测语音数据是基于语音训练文本得到的,语音训练文本是根据语音数据收集指令获取的;
当待检测语音数据满足语音训练合格条件,确定待训练语音数据;
基于待训练语音数据,生成待训练语音数据集合。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
训练模块,具体用于基于预测语音数据集合以及待训练语音数据集合,根据目标损失函数更新待训练语音模型的模型参数;
若目标损失函数达到收敛,则根据模型参数生成目标语音模型。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,还用于获取语音播放请求,其中,语音播放请求携带待解析语音数据;
获取模块,还用于根据待解析语音数据获取服务内容文本数据,其中,服务内容文本数据与待解析语音数据对应;
获取模块,还用于根据服务内容文本数据获取无音色语音数据,其中,无音色语音数据是对服务内容文本数据进行语音合成后得到的;
发送模块,还用于向终端设备发送无音色语音数据,以使得终端设备根据无音色语音数据以及目标语音模型生成目标语音数据,并播放目标语音数据。
本申请另一方面提供一种语音播放装置,包括:
发送模块,用于检测针对于语音播放的操作,发送语音播放请求,以使得服务器基于待解析语音数据获取服务内容文本数据,根据服务内容文本数据获取无音色语音数据,其中,语音播放请求携带待解析语音数据,服务内容文本数据是根据待解析语音数据获取的,无音色语音数据是对服务内容文本数据进行语音合成后得到的;
获取模块,用于获取无音色语音数据;
生成模块,用于根据无音色语音数据以及目标语音模型生成目标语音数据,其中,目标语音模型是基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练得到的,预测语音数据集合是服务器响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取的;
播放模块,用于播放目标语音数据。
在一种可能的设计中,在本申请实施例的另一方面的一种实现方式中,
发送模块,还用于检测针对于语音服务的操作,发送语音服务请求;
获取模块,还用于当服务器响应于语音服务请求,获取语音数据收集指令;
获取模块,还用于响应于语音数据收集指令,且待检测语音数据满足噪声合格条件时,获取待检测语音数据,其中,待检测语音数据是基于语音训练文本得到的,语音训练文本是根据语音数据收集指令获取的;
发送模块,还用于发送待检测语音数据,以使得服务器基于待检测语音数据,生成待训练语音数据集合,待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,语音播放装置还包括存储模块,
发送模块,还用于当N满足语音训练数量阈值,发送语音模型训练指令,以使得服务器得到目标语音模型;
获取模块,还用于获取目标语音模型;
存储模块,用于存储目标语音模型。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,还用于获取语音数据收集状态信息,其中,语音数据收集状态信息用于指示正在获取待检测语音数据;
获取模块,还用于获取语音数据收集完成状态信息,其中,语音数据收集完成状态信息用于指示语音数据已完成获取,且可以开始训练目标语音模型;
获取模块,还用于获取目标语音模型训练状态信息,其中,目标语音模型训练状态信息用于指示正在对待训练语音模型进行训练;
获取模块,还用于获取目标语音模型完成状态信息,其中,目标语音模型完成状态信息用于指示目标语音模型进行已完成训练。
本申请的另一方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本申请的另一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各个方面的各种可选实现方式中提供的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种模型训练的方法,服务器先获取包括N个待训练语音数据的待训练语音数据集合,当N满足语音训练数量阈值,即获取语音模型训练指令,再响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取预测语音数据集合,进一步地,基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型,向终端设备发送目标语音模型,以使得终端设备存储目标语音模型。采用上述方式,由于目标语音模型是基于预测语音数据集合以及待训练语音数据集合对待训练语音模型进行训练得到的,因此终端设备可以由用户所提供的待训练语音数据得到用户所需求的目标语音模型,提升语音模型生成的灵活性,且满足用户对声音的定制需求,其次,用户进行语音播放时语音模型选择可能性提升,从而提升语音播放的灵活性,进而提升用户的语音播放体验以及灵活性。
附图说明
图1为本申请实施例中模型训练的一个架构示意图;
图2为本申请实施例中模型训练的另一架构示意图;
图3为本申请实施例中模型训练的方法一个流程示意图;
图4为本申请实施例中模型训练的方法一个实施例示意图;
图5为本申请实施例中模型训练的方法另一流程示意图;
图6为本申请实施例中语音播放的方法一个流程示意图;
图7为本申请实施例中语音播放的方法一个实施例示意图;
图8为本申请实施例中针对于语音播放的操作一个实施例示意图;
图9为本申请实施例中语音播放的方法另一实施例示意图;
图10为本申请实施例中语音播放的方法另一流程示意图;
图11为本申请实施例中语音播放的方法另一实施例示意图;
图12为本申请实施例中模型训练装置一个实施例示意图;
图13为本申请实施例中语音播放装置一个实施例示意图;
图14为本申请实施例中服务器一个实施例示意图;
图15为本申请实施例中终端设备一个实施例示意图。
具体实施方式
本申请实施例提供了一种模型训练的方法、语音播放的方法、装置及存储介质,用于提升语音模型生成的灵活性,且满足用户对声音的定制需求,其次,用户进行语音播放时语音模型选择可能性提升,从而提升语音播放的灵活性,进而提升用户的语音播放体验以及灵活性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着互联网信息技术的快速发展以及生活质量的不断提高,智能化的终端设备广泛应用于人们的生活中,而用户对智能化的终端设备的需求也日渐增加。为了满足用户在不同终端设备的个性化体验,产生了基于人工智能完成语音播放的方式。本申请所提供的方法可以应用于人工智能云服务领域的各个场景,例如,在开车行驶时驾驶员向终端设备请求语音导航,或者在婴幼儿终端设备以语音朗读睡前故事,或者在双手进行其他日程操作时,终端设备语音播放新闻或者小说等,应理解,在实际应用中,人工智能云服务还可以应用于其他更多场景中,因此此处不对应用场景进行穷举。
为了在前述场景中提升语音播放的灵活性,本申请提出了一种模型训练的方法以及语音播放的方法,该方法应用于图1所示的模型训练系统,请参阅图1,图1为本申请实施例中模型训练系统的一个架构示意图,如图所示,模型训练系统中包括服务器以及终端设备,且客户端部署于终端设备上。本申请涉及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,其次,虽然图1中仅示出了六个终端设备,一个网络以及一个服务器,但应当理解,图1中的示例仅用于理解本方案,具体终端设备,网络和服务器的数量均应当结合实际情况灵活确定。
具体地,在用户播放目标语音数据之前,需要先对目标语音模型进行获取,终端设备检测针对于语音服务的操作,向服务器发送语音服务请求服务器响应于语音服务请求,向终端设备发送语音数据收集指令,终端设备响应于语音数据收集指令,获取待检测语音数据,并且在待检测语音数据满足噪声合格条件时,向服务器发送待检测语音数据,服务器基于待训练语音数据,生成包括N个待训练语音数据的待训练语音数据集合,当N满足语音训练数量阈值,获取终端设备发送的语音模型训练指令,服务器响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取预测语音数据集合,再基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型,最后服务器向终端设备发送目标语音模型,以使得终端设备存储目标语音模型,并且在需要播放目标语音数据时,检测针对于语音播放的操作,向服务器发送语音播放请求,以使得服务器获取无音色语音数据,并且向终端设备发送,终端设备即可根据无音色语音数据以及目标语音模型生成目标语音数据,并且播放该目标语音数据。由于目标语音模型是基于预测语音数据集合以及待训练语音数据集合对待训练语音模型进行训练得到的,因此终端设备可以由用户所提供的待训练语音数据得到对应的目标语音模型,提升语音模型生成的灵活性,且用户进行语音播放时语音模型选择可能性提升,从而提升语音播放的灵活性。
进一步地,请参阅图2,图2为本申请实施例中模型训练系统的另一架构示意图,如图所示,终端设备集成有腾讯语音服务(tencent voice service,TVS)-软件开发工具包(software development kit,SDK)以及语音合成技术(text to speech,TTS)-SDK,且TVS-SDK中集成有模型管理模块以及消息模块,而TTS-SDK中集成有模型管理模块以及声音合成。具体地,TVS-SDK以及TTS-SDK可以与服务器中的TVS服务交互,集成于TVS-SDK中的模型管理模块与服务器中的TVS-网页(web)服务交互,具体用于语音数据、模型数据等数据的传输,集成于TVS-SDK中的消息模块则与服务器中的消息推送服务交互,实现各类消息的推送。
其次,服务器包括TVS服务,TVS-web服务,TTS定制服务,离线训练服务,消息推送服务以及数据库,其中TVS服务可以提供语音服务,如自动语音识别技术(automaticspeech recognition,ASR),语音合成技术,语义解析以及技能服务等,终端设备通过语义查询,获取TVS特定的服务,如查询新闻、小说、播放音乐、导航等服务,TVS-web服务是一个网关服务,对外提供非语音交互的接口,声音定制的接口通过该服务往外提供,TTS定制服务负责接收终端设备发起的训练请求,收集终端设备的语音数据,并创建和触发离线训练任务,并把任务记录写入数据库,返回任务提交成功状态,同时会不断查询任务状态,若任务完成,则通过消息推送服务给终端设备发消息,通知终端设备目标模型训练已经完成,离线训练服务通过AI深度学习方法,对待训练语音数据进行特征抽取和训练,最终得到目标语音模型,并更新数据库,保存目标训练模型数据,并且任务状态变更为成功状态,消息推送服务具有向终端设备推送消息的通道,本申请实施例中使用该通道能力,可以使得终端设备得知目标语音模型的训练结果。因此,终端设备接收到服务器中消息推送服务器所推送的消息后,通过消息跳转到模型页面,选择目标语音模型选择后可以触发TTS-SDK把训练好的目标语音模型存储至本地,当终端设备触发TVS服务,如小说播报时,TTS-SDK结合目标语音模型以及服务器中TTS数据合成的无音色语音数据,生成目标语音数据,并对目标语音数据进行播放,实现语音播报。
由于本申请实施例是应用于云技术领域的,在对本申请实施例提供的语音播放的方法开始具体介绍之前,先对云技术领域的一些基础概念进行介绍。云技术(Cloudtechnology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
随着云技术研究和进步,云技术在多种方向展开研究,而人工智能(ArtificialIntelligence,AI)云服务,一般也被称作是人工智能即服务(AI as a Service,AIaaS)。这是目前主流的一种人工智能平台的服务方式,具体来说AIaaS平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城,所有的开发者都可以通过应用程序编程接口(Application Programming Interface,API)的方式来接入使用平台提供的一种或者是多种人工智能服务,部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
其次,人工智能云服务是需要人工智能应用领域进行,因此对人工智能的一些基础概念进行介绍。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多种方向展开研究,语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。而自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
基于此,下面将介绍语音播放的方法,请参阅图3,图3为本申请实施例中模型训练的方法一个流程示意图,如图所示,具体地:
在步骤S1中,终端设备向服务器发送待训练语音数据,该待训练语音数据为用户通过语音输入获取的语音数据。
在步骤S2中,当终端设备向服务器发送的待训练语音数据数量满足语音训练数量阈值时,终端设备还可以向服务器发送语音模型训练指令。
在步骤S3中,服务器通过前述步骤可以获取到包括N个待训练语音数据的待训练语音数据集合,然后服务器响应于语音模型训练指令,将待训练语音数据集合作为待训练语音模型的输入,通过待训练语音模型获取包括N个预测语音数据的预测语音数据集合。
在步骤S4中,服务器基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型。
在步骤S5中,服务器向终端设备发送目标语音模型。
在步骤S6中,终端设备存储目标语音模型。
在步骤S7中,当用户需要进行语音播放时,终端设备检测针对于语音播放的操作,并通过语音输入待解析语音数据,生成携带待解析语音数据的语音播放请求,并向服务器发送该语音播放请求。
在步骤S8中,服务器基于语音播放请求中携带的待解析语音数据获取服务内容文本数据,并且根据服务内容文本数据获取无音色语音数据。
在步骤S9中,服务器向终端设备发送无音色语音数据。
在步骤S10中,终端设备获取无音色语音数据后,根据所获取的无音色语音数据以及存储的目标语音模型生成目标语音数据。
在步骤S11中,播放目标语音数据。
本申请实施例提供的方案涉及云技术中的人工智能云服务技术,结合上述介绍,下面将对本申请中语音播放的方法进行介绍,请参阅图4,图4为本申请实施例中模型训练的方法一个实施例示意图,如图所示,本申请实施例中模型训练的方法一个实施例包括:
101、获取待训练语音数据集合,其中,待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数;
本实施例中,服务器获取包括N个待训练语音数据的待训练语音数据集合,即可以接收终端设备实时发送的待训练语音数据集合,也可以从终端设备的数据库中获取待训练语音数据集合,或者从服务器的数据库中获取待训练语音数据集合,具体此处不对获取待训练语音数据集合的方式进行限定。
应理解,服务器通过步骤101获取待训练语音数据集合后,若用户需要进行其他语音模型的训练,还可以继续使得服务器获取其他语音模型所需的语音数据集合,即不需要目标语音模型完成训练再开始获取。
102、当N满足语音训练数量阈值,获取语音模型训练指令;
本实施例中,当待训练语音数据集合中的待训练语音数据数量达到语音训练数量阈值时,终端设备可以获取语音数据收集完成状态信息,根据语音数据收集完成状态信息可以得知终端设备语音数据已完成获取,可以开始训练目标语音模型,因此向服务器发送语音模型训练指令,由此服务器可以获取到终端设备所发送的语音模型训练指令。
具体地,本实施例中语音训练数量阈值为20,即待训练语音数据集合包括20个待训练语音数据后,终端设备可以向服务器发送语音模型训练指令,由此服务器获取语音模型训练指令,应理解,在实际应用中语音训练数量阈值还可以为15,25以及30等其他正整数,具体语音训练数量阈值的数值应该根据待训练语音模型的实际情况以及需求灵活确定。
103、响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取预测语音数据集合,其中,预测语音数据集合包括N个预测语音数据,且预测语音数据与待训练语音数据具有对应关系;
本实施例中,服务器接收到步骤102所获取的语音模型训练指令后,可以得知终端设备需要对待训练语音模型进行训练,因此可以响应于语音模型训练指令,将步骤101中获取的待训练语音数据集合作为待训练语音模型的输入,待训练语音模型可以输出包括N个预测语音数据的预测语音数据集合,且预测语音数据与待训练语音数据具有对应关系。
示例性地,待训练语音数据集合中包括待训练语音数据A至待训练语音数据T,共20个待训练语音数据,那么将该待训练语音数据集合作为待训练语音模型的输入后,待训练语音模型的输出的预测语音数据集合中包括预测语音数据A至预测语音数据T,共20个预测语音数据,且待训练语音数据A与预测语音数据A对应,即单独将待训练语音数据A作为待训练语音模型的输入,待训练语音模型可以输出预测语音数据A,而待训练语音数据T也与预测语音数据T对应,其他对应关系也与前述类似,具体不再赘述。
104、基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型;
本实施例中,服务器通过离线训练模块,通过深度学习算法结合步骤103获取的预测语音数据集合,以及步骤101获取的待训练语音数据集合进行特征抽取,对待训练语音模型进行训练,当满足训练条件时,即可以得到目标语音模型,并且在训练完成后将得到的目标语音模型存储至服务器中的数据库。
示例性地,若用户将“爸爸”的声音作为待训练语音数据,那么训练得到的目标语音模型可以为“爸爸”对应声音的语音模型,若用户将“妈妈”的声音作为待训练语音数据,那么训练得到的目标语音模型可以为“妈妈”对应声音的语音模型,具体目标语音模型需要通过待训练语音数据的实际输入情况灵活确定。
105、发送目标语音模型,以使得终端设备存储目标语音模型。
本实施例中,服务器通过步骤104得到目标语音模型后,还可以向终端设备发送目标语音模型,终端设备接收到目标语音模型后,可以存储目标语音模型,即终端设备通过所集成的TTS-SDK将目标语音模型加载到终端设备的数据结构中,当终端设备需要根据目标语音播放时,可以根据存储的目标语音模型生成目标语音数据,从而完成语音播放。
本申请实施例中,提供了一种模型训练的方法,采用上述方式,由于目标语音模型是基于预测语音数据集合以及待训练语音数据集合对待训练语音模型进行训练得到的,因此终端设备可以由用户所提供的待训练语音数据得到对应的目标语音模型,提升语音模型生成的灵活性,且满足用户对声音的定制需求,其次,用户进行语音播放时语音模型选择可能性提升,从而提升语音播放的灵活性,进而提升用户的语音播放体验以及灵活性。
可选地,在上述图4对应的实施例的基础上,本申请实施例提供的模型训练的方法一个可选实施例中,获取待训练语音数据集合,具体包括如下步骤:
获取语音服务请求;
响应于语音服务请求,向终端设备发送语音数据收集指令,以使得终端设备响应于语音数据收集指令,获取待检测语音数据,其中,待检测语音数据是基于语音训练文本得到的,语音训练文本是根据语音数据收集指令获取的;
当待检测语音数据满足语音训练合格条件,确定待训练语音数据;
基于待训练语音数据,生成待训练语音数据集合。
本实施例中,提供了一种获取待训练语音数据集合的方法,当用户需要进行语音模型训练时,可以对终端设备进行针对于语音服务的操作,该操作包括但不限于单击语音训练接口,双击语音训练接口,滑动语音训练接口,应理解,在实际应用中,该操作还可以为通过语音进行控制以及手势进行控制。例如,对于语音控制而言,该操作可以为用户通过语音输入装置触发语音服务(例如,用户说出“定制我的声音”),对于手势控制而言,该操作可以为通过用户相应手势触发手势指令,具体此处不对该操作进行限定。
因此,服务器可以获取到语音服务请求,得知终端设备需要进行语音模型的需求,触发服务器中的TVS服务,并响应于语音服务请求,生成语音数据收集指令,由此向终端设备发送语音数据收集指令,终端设备根据语音数据收集指令可以得知服务器需要获取用于训练的语音数据,此时终端设备需要判断待检测语音数据是否满足噪声合格条件,若满足噪声合格条件,才根据语音数据收集指令获取对应的语音训练文本,然后用户可以针对于语音训练文本进行语音输入,终端设备得到用户语音输入的待检测语音数据,然后向服务器发送待检测语音数据,服务器获取到待检测语音数据后,通过TVS-web接口向TTS定制模块传输待检测语音数据,然后判断待检测语音数据是否满足语音训练合格条件,若满足即确定该待检测语音数据为待训练语音数据,若不满足终端设备继续基于用户语音输入获取对应的待检测语音数据,并向服务器发送待检测语音数据,使得服务器根据前述类似步骤对该待检测语音数据进行判断,由此通过上述类似步骤获取N个待训练语音数据后,即可生成待训练语音数据集合。
具体地,语音训练合格条件为待检测语音数据与语音训练文本之间的相似度大于预设阈值,本实施例中待检测语音数据与语音训练文本之间的相似度应大于95%,在实际应用中,语音训练合格条件还可以为待检测语音数据与语音训练文本之间的相似度应大于98%,或者待检测语音数据与语音训练文本之间的相似度应大于90%等,具体语音训练合格条件需要通过实际情况以及需求灵活确定。为了便于理解,以语音训练合格条件为待检测语音数据与语音训练文本之间的相似度大于95%作为一个示例进行说明,语音训练文本为“跟着我一起跳”,若用户通过语音输入的待检测语音数据通过语义识别后得到的文本数据为“跟着我一起跳”,那么可以说待检测语音数据与语音训练文本之间的相似度为100%,即满足语音训练合格条件。其次,语音训练文本为“八百标兵奔北坡,北坡炮兵并排跑”,而用户通过语音输入的待检测语音数据通过语义识别后得到的文本数据为“八百标兵奔北坡,北坡标兵不用跑”,那么待检测语音数据与语音训练文本之间的相似度即小于95%,不满足语音训练合格条件。
为了便于理解,请参阅图5,图5为本申请实施例中模型训练的方法另一流程示意图,如图所示,在步骤A1中,终端设备向服务器发送语音服务请求,在步骤A2中,服务器接收到语音服务请求后,响应于语音服务请求,向终端设备发送语音数据收集指令,在步骤A3中,终端设备接收到语音数据收集指令后,响应于语音数据收集指令,先判断待检测语音数据是否满足噪声合格条件,在满足的情况下根据语音数据收集指令获取语音训练文本,然后用户基于语音训练文本进行语音输入得到待检测语音数据,使得终端设备获取到待检测语音数据,在步骤A4中,向服务器发送获取到的待检测语音数据,在步骤A5中,服务器判断待检测语音数据满足语音训练合格条件时,确定该待检测语音数据为待训练语音数据,在步骤A6中,然后重复步骤A1至步骤A5,基于所确定的待训练语音数据,生成待训练语音数据集合。
应理解,前述示例仅用于理解本方案,在实际应用中,语音训练文本需要通过语音模型的实际需求与设计确定,而待检测语音数据则基于用户语音输入的情况确定,因此是否满足语音训练合格条件需要通过语音训练文本以及待检测语音数据的实际情况灵活确定。
本申请实施例中,提供了一种获取待训练语音数据集合的方法,采用上述方式,通过语音数据收集指令获取待检测语音数据,并且将满足语音训练合格条件的待检测语音数据确定为待训练语音数据,由此可以生成包括至少一个待训练语音数据的待训练语音数据集合,从而提供待训练语音模型的输入数据,从而提升本方案的可行性。
可选地,在上述图4对应的实施例的基础上,本申请实施例提供的模型训练的方法另一可选实施例中,基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型,具体包括如下步骤:
基于预测语音数据集合以及待训练语音数据集合,根据目标损失函数更新待训练语音模型的模型参数;
若目标损失函数达到收敛,则根据模型参数生成目标语音模型。
本实施例中,提供了一种训练目标语音模型的方法,由于服务器需要以待训练语音数据集合为目标,对待训练语音模型的模型参数进行训练,因此服务器在获取到预测语音数据集合中的一个预测语音数据之后,可以从待训练语音数据集合中获取与前述一个预测语音数据所对应的一个待训练语音数据,进而可以根据预测语音数据以及与之对应的待训练语音数据,生成目标损失函数的值,根据目标损失函数的值判断目标损失函数是否达到收敛条件,若未达到收敛条件,则利用目标损失函数的值更新待训练语音模型的模型参数。由此可知,待训练语音模型每生成一个预测语音数据,服务器均可以执行一次前述操作,直至目标损失函数达到收敛条件,则根据最后一次对模型参数进行更新后获得的模型参数生成目标语音模型。
其中,目标损失函数可以为预测语音数据以及与之对应的待训练语音数据之间差值的总和,也可以为预测语音数据以及与之对应的待训练语音数据之间差值的绝对值的总和,也可以为预测语音数据以及与之对应的待训练语音数据之间差值的总和的平方,还可以为采用其他形式的目标损失函数等,具体目标损失函数的选择可以根据实际情况确定,此处不做限定。目标损失函数的收敛条件可以为目标损失函数的值小于或等于第一预设阈值,作为示例,例如第一预设阈值的取值可以为0.005、0.01、0.02或其它趋近于0的数值;也可以为目标损失函数的相邻两次的值的差值小于或等于第二预设阈值,第二阈值的取值可以与第一阈值的取值相同或不同,作为示例,例如第二预设阈值的取值可以为0.005、0.01、0.02或其它趋近于0的数值等,服务器还可以采用其它收敛条件等,此处不做限定。
本申请实施例中,提供了一种训练目标语音模型的方法,基于预测语音数据集合以及待训练语音数据集合,根据目标损失函数更新待训练语音模型的模型参数,若目标损失函数达到收敛即根据模型参数生成目标语音模型,采用上述方式,提供了服务器对待训练语音模型的参数进行更新的一种具体实现方式,并由此生成目标语音模型,因此提高了本方案的可实现性。
可选地,在上述图4对应的实施例的基础上,本申请实施例提供的模型训练的方法另一可选实施例中,模型训练的方法还包括如下步骤:
获取语音播放请求,其中,语音播放请求携带待解析语音数据;
根据待解析语音数据获取服务内容文本数据,其中,服务内容文本数据与待解析语音数据对应;
根据服务内容文本数据获取无音色语音数据,其中,无音色语音数据是对服务内容文本数据进行语音合成后得到的;
向终端设备发送无音色语音数据,以使得终端设备根据无音色语音数据以及目标语音模型生成目标语音数据,并播放目标语音数据。
本实施例中,当用户需要进行语音播放时,终端设备可以检测针对于语音播放的操作,并通过语音输入待解析语音数据,由此生成携带待解析语音数据的语音播放请求,并向服务器发送语音播放请求,服务器由此获取到语音播放请求,并将语音播放请求中携带的待解析语音数据进行语音识别,具体语音识别可以为语义转文本以及语义理解等,然后通过语音识别确定用户的意图以及需求,从而确定服务内容文本数据,再对服务内容文本数据进行语音合成,完成文本数据到语音数据的转换,由此得到无音色语音数据,服务器向终端发送TTS指令,TTS指令中携带有无音色语音数据,因此终端在获取到携带有无音色语音数据的TTS指令后,可以根据无音色语音数据以及存储的目标语音模型生成目标语音数据,并且播放目标语音数据,从而完成语音播放。
示例性,以语音播放请求中所携带的待解析语音数据为“我要听丑小鸭”作为一个示例进行介绍,请参阅图6,图6为本申请实施例中语音播放的方法一个流程示意图,如图所示,在步骤F1中,用户根据需求对终端设备发起语音播放请求,语音播放请求中所携带的待解析语音数据为“我要听丑小鸭”,在步骤F2中终端设备向服务器放语音播放请求,在步骤F3中,服务器中的TVS服务通过语义转文本、语义理解等语音识别的过程后,可以确定用户的意图是想听故事,并且想听的内容为“丑小鸭故事”,因此以向TVS服务中技能服务发起请求,具体为儿童故事内容服务发起请求,然后技能服务可以反馈儿童故事内容中“丑小鸭故事”的服务内容文本数据,在步骤F4中,服务器将服务内容文本数据“丑小鸭故事”进行文本到声音的转换,从而得到无音色语音数据,该无音色语音数据为语音内容为童话故事“丑小鸭”无音调音色的无音色语音数据,然后在步骤F5中,服务器向终端设备发送无音色语音数据,在步骤F6中,终端设备根据无音色语音数据以及目标语音模型生成目标语音数据,并在步骤F7中播放目标语音数据,即通过目标声音播放“丑小鸭”的故事内容,例如,“从前,有一只丑小鸭……”。应理解,前述示例仅用于理解本方案,在实际应用中,具体无音色语音数据需要根据待解析语音数据的实际情况灵活确定。
本申请实施例中,提供了一种基于目标语音模型播放语音数据的方法,服务器获根据语音播放请求中携带待解析语音数据获取服务内容文本数据,并向终端设备发送根据服务内容文本数据获取的无音色语音数据,采用上述方式,终端设备可以根据无音色语音数据与目标语音模型生成目标语音数据,并对目标语音数据进行播放,因此提高了本方案的可行性。
下面将对本申请中语音播放的方法进行介绍,请参阅图7,图7为本申请实施例中语音播放的方法一个实施例示意图,如图所示,本申请实施例中语音播放的方法一个实施例包括:
201、检测针对于语音播放的操作,发送语音播放请求,以使得服务器基于待解析语音数据获取服务内容文本数据,根据服务内容文本数据获取无音色语音数据,其中,语音播放请求携带待解析语音数据,服务内容文本数据是根据待解析语音数据获取的,无音色语音数据是对服务内容文本数据进行语音合成后得到的;
本实施例中,当用户需要进行语音播放时,终端设备可以检测针对于语音播放的操作,并通过语音输入接口进行语音输入从而获取待解析语音数据,生成携带待解析语音数据的语音播放请求,然后终端设备可以通过TVS-SDK向服务器发送语音播放请求,以使得服务器总的TVS语音服务对语音播放请求中携带的待解析语音数据进行语音识别得到服务内容文本数据,再对服务内容文本数据进行语音合成得到无音色语音数据。
具体地,针对于语音播放的操作包括但不限于单击语音训练接口,双击语音训练接口,滑动语音训练接口,为了便于理解,以终端设备为手机,且针对于语音播放的操作为单击语音训练接口作为一个示例进行介绍,请参阅图8,图8为本申请实施例中针对于语音播放的操作一个实施例示意图,如图所示,B1用于指示语音播放接口,B2用于指示语音输入接口,图8中(A)图用于指示用户对语音播放接口B1进行单击操作的界面,然后即可跳转至图8中(B)图所示界面,图8中(B)图用于指示用户通过语音输入接口B2进行语音输入的界面,例如用户在图8中(B)图所示界面点击语音输入接口B2后,对终端设备说“我要听丑小鸭”,那么终端设备获取到待解析语音数据“我要听丑小鸭”。应理解,前述示例仅用于理解本方案,在实际应用中,该操作还可以为通过语音进行控制以及手势进行控制。例如,对于语音控制而言,该操作可以为用户通过语音输入装置触发语音服务(例如,用户说出“语音播放”),对于手势控制而言,该操作可以为通过用户相应手势触发手势指令,具体此处不对该操作进行限定。其次,在实际应用中,语音播放接口以及语音输入接口的形状,大小,位置和对应的文本信息需要根据实际情况灵活确定。
202、获取无音色语音数据;
本实施例中,在步骤201中服务器得到无音色语音数据后,向终端设备发送该无音色语音数据,终端设备中集成的TVS-SDK由此获取无音色语音数据。例如,待解析语音数据为“我要听丑小鸭”,通过前述实施例可知,无音色语音数据为语音内容为童话故事“丑小鸭”无音调音色的语音数据,若待解析语音数据为“我要听丑八怪”,与前述实施例类似,无音色语音数据可以为语音内容为歌曲“丑八怪”无音色的语音数据。应理解,前述示例仅用于理解本方案,在实际应用中,具体待解析语音数据需要根据用户需求的实际情况灵活确定,而具体无音色语音数据则需要根据待解析语音数据的实际情况灵活确定。
203、根据无音色语音数据以及目标语音模型生成目标语音数据,其中,目标语音模型是基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练得到的,预测语音数据集合是服务器响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取的;
本实施例中,终端设备中集成的TVS-SDK获取无音色语音数据后,把无音色语音数据传送给TTS-SDK,用户此时可以选择目标语音模型,通过前述实施例可知,目标语音模型是基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练得到的,预测语音数据集合是服务器响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取的,因此在此不再赘述。
示例性地,用户将“爸爸”的声音作为待训练语音数据,那么目标语音模型可以为“爸爸”对应声音的语音模型,若用户将“妈妈”的声音作为待训练语音数据,那么目标语音模型可以为“妈妈”对应声音的语音模型。若用户选择的目标语音模型为“妈妈”对应声音的语音模型,那么然后TTS-SDK将无音色语音数据作为目标语音模型的输入,目标语音模型输出目标语音数据,即输出“妈妈”的音色音调对应的语音数据。应理解,前述示例仅用于理解本方案,在实际应用中,具体目标语音数据需要根据无音色语音数据以及用户所选择的目标语音模型的实际情况灵活确定。
204、播放目标语音数据。
本实施例中,终端设备获取目标语音数据后,即可播放目标语音数据。为了便于理解,以目标语音模型为“妈妈”对应声音的语音模型作为一个示例进行说明,请参阅图9,图9为本申请实施例中语音播放的方法另一实施例示意图,如图所示,C1用于指示语音输入接口,用户在点击语音输入接口C1后,对终端设备说“我要听丑小鸭”,那么终端设备获取到待解析语音数据“我要听丑小鸭”,通过前述实施例的步骤可以得到文本内容为童话故事“丑小鸭”的目标语音数据,因此终端设备设备以“妈妈”的音色音调播放目标语音数据“从前,有一只丑小鸭……”。应理解,前述示例仅用于理解本方案,在实际应用中,具体目标语音数据需要根据无音色语音数据以及用户所选择的目标语音模型的实际情况灵活确定。
本申请实施例中,提供了一种语音播放的方法,采用上述方式,终端设备可以根据无音色语音数据与目标语音模型生成目标语音数据,由于目标语音模型是由用户所提供的待训练语音数据得到的,因此提升语音模型生成的灵活性,从而提升生成目标语音数据的灵活性,其次,对生成的目标语音数据进行播放,由于生成目标语音数据的灵活性的提高,从而可以提高语音播放的灵活性。
可选地,在上述图7对应的实施例的基础上,本申请实施例提供的语音播放的方法一个可选实施例中,语音播放的方法还包括如下步骤:
检测针对于语音服务的操作,发送语音服务请求;
当服务器响应于语音服务请求,获取语音数据收集指令;
响应于语音数据收集指令,且待检测语音数据满足噪声合格条件时,获取待检测语音数据,其中,待检测语音数据是基于语音训练文本得到的,语音训练文本是根据语音数据收集指令获取的;
发送待检测语音数据,以使得服务器基于待检测语音数据,生成待训练语音数据集合,待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数。
本实施例中,提供了一种发送待检测语音数据的方法,当用户需要进行语音模型训练时,可以对终端设备进行针对于语音服务的操作,终端设备检测针对于语音服务的操作,向服务器发送语音服务请求,服务器可以获取到语音服务请求,得知终端设备需要进行语音模型的需求,触发服务器中的TVS服务,并响应于语音服务请求,生成语音数据收集指令,由此向终端设备发送语音数据收集指令,终端设备根据语音数据收集指令可以得知服务器需要获取用于训练的语音数据,然后先判断待检测语音数据是否满足噪声合格条件,在满足的情况下根据语音数据收集指令获取对应的语音训练文本,然后用户可以针对于语音训练文本进行语音输入,终端设备得到用户语音输入的待检测语音数据。
进一步地,终端设备向服务器发送待检测语音数据,服务器获取到待检测语音数据后,通过TVS-web接口向TTS定制模块传输待检测语音数据,并判断待检测语音数据是否满足语音训练合格条件,若满足即确定该待检测语音数据为待训练语音数据,若不满足则终端设备继续向服务器发送满足噪声合格条件的待检测语音数据,服务器根据前述类似步骤对待检测语音数据进行判断,由此通过上述类似步骤获取N个待训练语音数据后,即可生成待训练语音数据集合。
具体地,噪声合格条件为环境噪声低于分贝的预设阈值,本实施例中噪声合格条件为环境噪声低于45分贝,应理解,在实际应用中,若需要更准确的待检测语音数据,噪声合格条件还可以为环境噪声低于40分贝,或者需要更快速的获取待检测语音数据,噪声合格条件还可以为环境噪声低于50分贝,具体噪声合格条件根据实际情况以及需求灵活确定。
为了便于理解,请参阅图10,图10为本申请实施例中语音播放的方法另一流程示意图,如图所示,步骤D1中,用户进行针对于语音服务的操作,从而生成语音服务请求,在步骤D2中,终端设备检测针对于语音服务的操作,向服务器发送语音服务请求,在步骤D3中,服务器响应于语音服务请求,向终端设备发送语音数据收集指令,在步骤D4中,终端设备响应于语音数据收集指令,判断待检测语音数据是否满足噪声合格条件,若满足执行步骤D5,在步骤D5中,终端设备根据语音数据收集指令获取语音训练文本,用户基于语音训练文本语音输入待检测语音数据,在步骤D6中,向服务器发送待检测语音数据,在步骤D7中,服务器判断待检测语音数据满足语音训练合格条件时,确定该待检测语音数据为待训练语音数据,并基于所确定的待训练语音数据,生成待训练语音数据集合,在步骤D8中,当待训练语音数据集合中的待训练语音数据数量达到语音训练数量阈值时,终端设备可以获取语音数据收集完成状态信息,根据语音数据收集完成状态信息可以得知终端设备语音数据已完成获取,可以开始训练目标语音模型,因此服务器向服务器发送语音模型训练指令。在步骤D9中,服务器接收到语音模型训练指令后,可以得知终端设备需要对待训练语音模型进行训练,因此可以响应于语音模型训练指令,进行模型训练从而得到目标语音模型,在步骤D10中服务器向终端设备发送目标语音模型,在步骤D11中终端设备存储目标语音模型。在步骤D12中,当用户需要定制语音播放时,终端设备可以向服务器发送语音播放请求,在步骤D13中,服务器根据待解析语音数据获取服务内容文本数据,在步骤D14中,服务器根据服务内容文本数据获取无音色语音数据,然后在步骤D15中服务器向终端设备发送无音色语音数据,在步骤D16中,终端设备根据无音色语音数据以及目标语音模型生成目标语音数据,在步骤D17中,终端设备播放目标语音数据。前述步骤中的具体方式已在前述实施例进行介绍,因此在此不再赘述。应理解,前述示例仅用于理解本方案,在实际应用中,具体待检测语音数据是否想服务器发送需要根据用户语音输入的情况灵活确定。
本申请实施例中,提供了一种发送待检测语音数据的方法,采用上述方式,在满足噪声合格条件时,通过用户需求获取待检测语音数据,并向服务器发送待检测语音数据,由此提升待检测语音数据的准确度,以方便待训练语音模型对待检测语音数据的特征提取,由此提升生成目标语音模型的准确度以及效率,从而提升语音播放的准确度以及效率。
可选地,在上述图7对应的实施例的基础上,本申请实施例提供的语音播放的方法另一可选实施例中,语音播放的方法还包括如下步骤:
当N满足语音训练数量阈值,发送语音模型训练指令,以使得服务器得到目标语音模型;
获取目标语音模型;
存储目标语音模型。
本实施例中,提供了一种存储目标语音模型的方法,终端设备通过前述步骤向服务器发送待检测语音数据后,当服务器确定待训练语音数据集合中的待训练语音数据数量达到语音训练数量阈值时,终端设备可以获取语音数据收集完成状态信息,根据语音数据收集完成状态信息可以得知终端设备语音数据已完成获取,可以开始进行模型训练,因此向服务器发送语音模型训练指令,服务器响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取预测语音数据集合,并基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型,再向终端设备发送目标语音模型,终端设备存储所获取的目标语音模型。当终端设备需要根据目标语音播放时,可以根据存储的目标语音模型生成目标语音数据,从而完成语音播放。
本申请实施例中,提供了一种存储目标语音模型的方法,采用上述方式,可以通过用户需求开始目标语音模型的训练,且由此存储所得到的目标语音模型,在需要语音播放时通过目标语音模型生成目标语音数据,从而完成语音播放,提升本方案的可行性。
可选地,在上述图7对应的实施例的基础上,本申请实施例提供的语音播放的方法另一可选实施例中,语音播放的方法还包括如下步骤:
获取语音数据收集状态信息,其中,语音数据收集状态信息用于指示正在获取待检测语音数据;
获取语音数据收集完成状态信息,其中,语音数据收集完成状态信息用于指示语音数据已完成获取,且可以开始训练目标语音模型;
获取目标语音模型训练状态信息,其中,目标语音模型训练状态信息用于指示正在对待训练语音模型进行训练;
获取目标语音模型完成状态信息,其中,目标语音模型完成状态信息用于指示目标语音模型进行已完成训练。
本实施例中,终端设备还可以获取到不同的状态信息,基于不同的状态信息得知模型训练的状态,具体地,终端设备可以获取语音数据收集状态信息,语音数据收集完成状态信息,目标语音模型训练状态信息以及目标语音模型完成状态信息。其中,终端设备通过语音数据收集状态信息可以得知正在获取待检测语音数据,而终端设备通过语音数据收集完成状态信息可以得知语音数据已完成获取,即N满足语音训练数量阈值,可以开始训练目标语音模型,因此终端设备基于语音数据收集完成状态信息向服务器发送语音模型训练指令。进一步地,终端设备通过目标语音模型训练状态信可以得知服务器正在对待训练语音模型进行训练,而终端设备通过目标语音模型完成状态信息可以得知服务器目标语音模型进行已完成训练,即服务器已得到目标语音模型,且目标语音模型保存在服务器的数据中,然后服务器向终端设备发送目标语音模型,终端设备存储已完成训练的目标语音模型,当用户通过针对于语音播放的操作请求TTV服务的时,终端设备可以使用存储的目标语音模型与无音色语音数据合成目标语音数据。
为了便于理解,请参阅图11,图11为本申请实施例中语音播放的方法另一实施例示意图,如图所示,在步骤E1中,终端设备持续向服务器请求检测模型训练状态信息,若正在获取待检测语音数据,在步骤E2中,终端设备可以获取到语音数据收集状态信息。若服务器生成包括N个待训练语音数据的待训练语音数据集合,且N满足语音训练数量阈值时,在步骤E2中,终端设备可以获取到语音数据收集完成状态信息。此时,终端设备向服务器发送语音模型训练指令,服务器开始进行模型训练,在步骤E3中,TTS定制服务向数据库请求模型状态信息,若模型训练完成得到目标语音模型,执行步骤E4,若模型训练未完成,执行步骤E2,在步骤E2中,向终端设备发送目标语音模型训练状态信息。在步骤E4中,离线训练服务向数据库发送目标语音模型,此时TTS定制服务可以得知模型已完成训练,因此在步骤E5中,TTS定制服务向消息推送服务发送目标语音模型完成状态信息,此时,在步骤E2中,服务器中的消息推送服务向终端设备发送目标语音模型完成状态信息。其次终端设备的TVS-SDK收到目标语音模型完成状态信息后,还可以触发调用TTS-SDK的接口检查模型状态,通过目标语音模型完成状态信息确定已生成目标语音模型后,模型管理模块获取目标语音模型,并保存至本地模型库,当用户选择使用目标语音模型时,TTS-SDK把标语音模型加载到数据结构中,以用于与无音色语音数据生成目标语音数据。
本申请实施例中,提供了另一种语音播放的方法,采用上述方式,终端设备通过不同的状态信息能够确定模型训练的进程,因此可以及时提供目标语音模型所需数据,以及在完成训练后及时获取目标语音模型并进行存储,由此提升后续生成目标语音数据的效率。
下面对本申请中模型训练装置进行详细描述,请参阅图12,图12为本申请实施例中模型训练装置一个实施例示意图,如图所示,模型训练装置30包括:
获取模块301,用于获取待训练语音数据集合,其中,待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数;
获取模块301,还用于当N满足语音训练数量阈值,获取语音模型训练指令;
获取模块301,还用于响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取预测语音数据集合,其中,预测语音数据集合包括N个预测语音数据,且预测语音数据与待训练语音数据具有对应关系;
训练模块302,用于基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练,得到目标语音模型;
发送模块303,用于发送目标语音模型,以使得终端设备存储目标语音模型。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的模型训练装置30的另一实施例中,
获取模块301,具体用于获取语音服务请求;
响应于语音服务请求,向终端设备发送语音数据收集指令,以使得终端设备响应于语音数据收集指令,获取待检测语音数据,其中,待检测语音数据是基于语音训练文本得到的,语音训练文本是根据语音数据收集指令获取的;
当待检测语音数据满足语音训练合格条件,确定待训练语音数据;
基于待训练语音数据,生成待训练语音数据集合。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的模型训练装置30的另一实施例中,
训练模块302,具体用于基于预测语音数据集合以及待训练语音数据集合,根据目标损失函数更新待训练语音模型的模型参数;
若目标损失函数达到收敛,则根据模型参数生成目标语音模型。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的模型训练装置30的另一实施例中,
获取模块301,还用于获取语音播放请求,其中,语音播放请求携带待解析语音数据;
获取模块301,还用于根据待解析语音数据获取服务内容文本数据,其中,服务内容文本数据与待解析语音数据对应;
获取模块301,还用于根据服务内容文本数据获取无音色语音数据,其中,无音色语音数据是对服务内容文本数据进行语音合成后得到的;
发送模块303,还用于向终端设备发送无音色语音数据,以使得终端设备根据无音色语音数据以及目标语音模型生成目标语音数据,并播放目标语音数据。
下面对本申请中语音播放装置进行详细描述,请参阅图13,图13为本申请实施例中语音播放装置一个实施例示意图,如图所示,语音播放装置40包括:
发送模块401,用于检测针对于语音播放的操作,发送语音播放请求,以使得服务器基于待解析语音数据获取服务内容文本数据,根据服务内容文本数据获取无音色语音数据,其中,语音播放请求携带待解析语音数据,服务内容文本数据是根据待解析语音数据获取的,无音色语音数据是对服务内容文本数据进行语音合成后得到的;
获取模块402,用于获取无音色语音数据;
生成模块403,用于根据无音色语音数据以及目标语音模型生成目标语音数据,其中,目标语音模型是基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练得到的,预测语音数据集合是服务器响应于语音模型训练指令,基于待训练语音数据集合,通过待训练语音模型获取的;
播放模块404,用于播放目标语音数据。
可选地,在上述图13所对应的实施例的基础上,本申请实施例提供的语音播放装置40的另一实施例中,
发送模块401,还用于检测针对于语音服务的操作,发送语音服务请求;
获取模块402,还用于当服务器响应于语音服务请求,获取语音数据收集指令;
获取模块402,还用于响应于语音数据收集指令,且所述待检测语音数据满足噪声合格条件时,获取待检测语音数据,其中,待检测语音数据是基于语音训练文本得到的,语音训练文本是根据语音数据收集指令获取的;
发送模块401,还用于发送待检测语音数据,以使得服务器基于待检测语音数据,生成待训练语音数据集合,待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数。
可选地,在上述图13所对应的实施例的基础上,本申请实施例提供的语音播放装置40的另一实施例中,语音播放装置40还包括存储模块405,
发送模块401,还用于当N满足语音训练数量阈值,发送语音模型训练指令,以使得服务器得到目标语音模型;
获取模块402,还用于获取目标语音模型;
存储模块405,用于存储目标语音模型。
可选地,在上述图13所对应的实施例的基础上,本申请实施例提供的语音播放装置40的另一实施例中,
获取模块402,还用于获取语音数据收集状态信息,其中,语音数据收集状态信息用于指示正在获取待检测语音数据;
获取模块402,还用于获取语音数据收集完成状态信息,其中,语音数据收集完成状态信息用于指示语音数据已完成获取,且可以开始训练目标语音模型;
获取模块402,还用于获取目标语音模型训练状态信息,其中,目标语音模型训练状态信息用于指示正在对待训练语音模型进行训练;
获取模块402,还用于获取目标语音模型完成状态信息,其中,目标语音模型完成状态信息用于指示目标语音模型进行已完成训练。
本申请实施例还提供了一种服务器,请参阅图14,图14为本申请实施例中服务器的一个结构示意图,如图所示,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)522(例如,一个或一个以上处理器)和存储器532,一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器522可以设置为与存储介质530通信,在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口558,和/或,一个或一个以上操作系统541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器结构。
本申请实施例还提供了一种终端设备,终端设备上部署有客户端,如图15所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。终端设备可以包括但不限于智能手机、平板电脑、笔记本电脑、掌上电脑、个人电脑、智能手表、电视机等任意终端设备,以终端设备为手机为例:
图15示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图15,如图所示,手机包括:射频(Radio Frequency,RF)电路610、存储器620、输入单元630、显示单元640、传感器630、语音电路660、无线保真(wireless fidelity,WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解,图15中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图15对手机的各个构成部件进行具体的介绍:
RF电路610可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器680处理;另外,将设计上行的数据发送给基站。通常,RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器620可用于存储软件程序以及模块,处理器680通过运行存储在存储器620的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如语音数据、电话本等)等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元630可包括触控面板631以及其他输入设备632。触控面板631,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器680,并能接收处理器680发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631,输入单元630还可以包括其他输入设备632。具体地,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板641。进一步的,触控面板631可覆盖显示面板641,当触控面板631检测到在其上或附近的触摸操作后,传送给处理器680以确定触摸事件的类型,随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图15中,触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器630,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板641的亮度,接近传感器可在手机移动到耳边时,关闭显示面板641和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
语音电路660、扬声器661,传声器662可提供用户与手机之间的语音接口。语音电路660可将接收到的语音数据转换后的电信号,传输到扬声器661,由扬声器661转换为声音信号输出;另一方面,传声器662将收集的声音信号转换为电信号,由语音电路660接收后转换为语音数据,再将语音数据输出处理器680处理后,经RF电路610以发送给比如另一手机,或者将语音数据输出至存储器620以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图15示出了WiFi模块670,但是可以理解的是,其并不属于手机的必须构成。
处理器680是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器620内的软件程序和/或模块,以及调用存储在存储器620内的数据,执行手机的各种功能和处理数据。可选的,处理器680可包括一个或多个处理单元;优选的,处理器680可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器680中。
手机还包括给各个部件供电的电源690(比如电池),优选的,电源可以通过电源管理系统与处理器680逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端设备所包括的处理器680可以执行前述实施例中的功能,此处不再赘述。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如前述实施例描述的方法中终端设备所执行的步骤,或者,使得计算机执行如前述实施例描述的方法中服务器所执行的步骤。
本申请实施例中还提供一种包括程序的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述实施例描述的方法中终端设备所执行的步骤,或者,使得计算机执行如前述实施例描述的方法中服务器所执行的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (16)
1.一种模型训练的方法,其特征在于,包括:
获取待训练语音数据集合,其中,所述待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数;
当N满足语音训练数量阈值,获取语音模型训练指令;
响应于所述语音模型训练指令,将所述待训练语音数据集合作为待训练语音模型的输入,通过所述待训练语音模型获取预测语音数据集合,其中,所述预测语音数据集合包括N个预测语音数据,且所述预测语音数据与所述待训练语音数据具有对应关系;
基于所述预测语音数据集合以及所述待训练语音数据集合,根据目标损失函数更新所述待训练语音模型的模型参数;所述目标损失函数是根据所述预测语音数据与所述待训练语音数据之间的差值确定的;
若所述目标损失函数达到收敛,则根据所述模型参数生成目标语音模型;
发送所述目标语音模型,以使得终端设备存储所述目标语音模型;
获取语音播放请求,其中,所述语音播放请求携带待解析语音数据;
根据所述待解析语音数据获取服务内容文本数据,其中,所述服务内容文本数据与所述待解析语音数据对应;
根据所述服务内容文本数据获取无音色语音数据,其中,所述无音色语音数据是对所述服务内容文本数据进行语音合成后得到的;
向终端设备发送所述无音色语音数据,以使得所述终端设备将所述无音色语音数据作为所述目标语音模型的输入,通过所述目标语音模型输出目标语音数据,并播放所述目标语音数据。
2.根据权利要求1所述的方法,其特征在于,所述获取待训练语音数据集合,包括:
获取语音服务请求;
响应于所述语音服务请求,向所述终端设备发送语音数据收集指令,以使得所述终端设备响应于所述语音数据收集指令,获取待检测语音数据,其中,所述待检测语音数据是基于语音训练文本得到的,所述语音训练文本是根据所述语音数据收集指令获取的;
当所述待检测语音数据满足语音训练合格条件,确定待训练语音数据;
基于所述待训练语音数据,生成所述待训练语音数据集合。
3.一种语音播放的方法,其特征在于,包括:
检测针对于语音播放的操作,发送语音播放请求,以使得服务器基于待解析语音数据获取服务内容文本数据,根据所述服务内容文本数据获取无音色语音数据,其中,所述语音播放请求携带待解析语音数据,所述服务内容文本数据是根据所述待解析语音数据获取的,所述无音色语音数据是对所述服务内容文本数据进行语音合成后得到的;
获取所述无音色语音数据;
将所述无音色语音数据作为目标语音模型的输入,通过所述目标语音模型输出目标语音数据,其中,所述目标语音模型是基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练得到的,所述预测语音数据集合是服务器响应于语音模型训练指令,将所述待训练语音数据集合作为待训练语音模型的输入,通过所述待训练语音模型获取的;所述基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练包括:基于所述预测语音数据集合以及所述待训练语音数据集合,根据目标损失函数更新所述待训练语音模型的模型参数;所述目标损失函数是根据所述预测语音数据与所述待训练语音数据之间的差值确定的;若所述目标损失函数达到收敛,则根据所述模型参数生成所述目标语音模型;
播放所述目标语音数据。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
检测针对于语音服务的操作,发送语音服务请求;
当服务器响应于所述语音服务请求,获取语音数据收集指令;
响应于所述语音数据收集指令,且待检测语音数据满足噪声合格条件时,获取所述待检测语音数据,其中,所述待检测语音数据是基于语音训练文本得到的,所述语音训练文本是根据所述语音数据收集指令获取的;
发送所述待检测语音数据,以使得服务器基于所述待检测语音数据,生成待训练语音数据集合,所述待训练语音数据集合包括N个所述待训练语音数据,N为大于,或者等于1的正整数。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当N满足语音训练数量阈值,发送语音模型训练指令,以使得服务器得到目标语音模型;
获取目标语音模型;
存储所述目标语音模型。
6.根据权利要求3至5中任一项所述的方法,其特征在于,所述方法还包括:
获取语音数据收集状态信息,其中,所述语音数据收集状态信息用于指示正在获取待检测语音数据;
获取语音数据收集完成状态信息,其中,所述语音数据收集完成状态信息用于指示语音数据已完成获取,且可以开始训练所述目标语音模型;
获取目标语音模型训练状态信息,其中,所述目标语音模型训练状态信息用于指示正在对所述待训练语音模型进行训练;
获取目标语音模型完成状态信息,其中,所述目标语音模型完成状态信息用于指示所述目标语音模型进行已完成训练。
7.一种模型训练的装置,其特征在于,包括:
获取模块,用于获取待训练语音数据集合,其中,所述待训练语音数据集合包括N个待训练语音数据,N为大于,或者等于1的正整数;
所述获取模块,还用于当N满足语音训练数量阈值,获取语音模型训练指令;
所述获取模块,还用于响应于所述语音模型训练指令,将所述待训练语音数据集合作为待训练语音模型的输入,通过所述待训练语音模型获取预测语音数据集合,其中,所述预测语音数据集合包括N个预测语音数据,且所述预测语音数据与所述待训练语音数据具有对应关系;
训练模块,用于基于所述预测语音数据集合以及所述待训练语音数据集合,根据目标损失函数更新所述待训练语音模型的模型参数;所述目标损失函数是根据所述预测语音数据与所述待训练语音数据之间的差值确定的;
所述训练模块,还用于若所述目标损失函数达到收敛,则根据所述模型参数生成目标语音模型;
发送模块,用于发送所述目标语音模型,以使得终端设备存储所述目标语音模型;
所述获取模块,还用于获取语音播放请求,其中,所述语音播放请求携带待解析语音数据;
所述获取模块,还用于根据所述待解析语音数据获取服务内容文本数据,其中,所述服务内容文本数据与所述待解析语音数据对应;
所述获取模块,还用于根据所述服务内容文本数据获取无音色语音数据,其中,所述无音色语音数据是对所述服务内容文本数据进行语音合成后得到的;
所述发送模块,还用于向终端设备发送所述无音色语音数据,以使得所述终端设备将所述无音色语音数据作为所述目标语音模型的输入,通过所述目标语音模型输出目标语音数据,并播放所述目标语音数据。
8.根据权利要求7所述的装置,其特征在于,所述获取模块,具体用于:
获取语音服务请求;
响应于所述语音服务请求,向所述终端设备发送语音数据收集指令,以使得所述终端设备响应于所述语音数据收集指令,获取待检测语音数据,其中,所述待检测语音数据是基于语音训练文本得到的,所述语音训练文本是根据所述语音数据收集指令获取的;
当所述待检测语音数据满足语音训练合格条件,确定待训练语音数据;
基于所述待训练语音数据,生成所述待训练语音数据集合。
9.一种语音播放的装置,其特征在于,包括:
发送模块,用于检测针对于语音播放的操作,发送语音播放请求,以使得服务器基于待解析语音数据获取服务内容文本数据,根据所述服务内容文本数据获取无音色语音数据,其中,所述语音播放请求携带待解析语音数据,所述服务内容文本数据是根据所述待解析语音数据获取的,所述无音色语音数据是对所述服务内容文本数据进行语音合成后得到的;
获取模块,用于获取所述无音色语音数据;
生成模块,用于将所述无音色语音数据作为目标语音模型的输入,通过所述目标语音模型输出目标语音数据,其中,所述目标语音模型是基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练得到的,所述预测语音数据集合是服务器响应于语音模型训练指令,将所述待训练语音数据集合作为待训练语音模型的输入,通过所述待训练语音模型获取的;所述基于预测语音数据集合以及待训练语音数据集合,对待训练语音模型进行训练包括:基于所述预测语音数据集合以及所述待训练语音数据集合,根据目标损失函数更新所述待训练语音模型的模型参数;所述目标损失函数是根据所述预测语音数据与所述待训练语音数据之间的差值确定的;若所述目标损失函数达到收敛,则根据所述模型参数生成所述目标语音模型;
播放模块,用于播放所述目标语音数据。
10.根据权利要求9所述的装置,其特征在于,
所述发送模块,还用于检测针对于语音服务的操作,发送语音服务请求;
所述获取模块,还用于当服务器响应于所述语音服务请求,获取语音数据收集指令;
所述获取模块,还用于响应于所述语音数据收集指令,且待检测语音数据满足噪声合格条件时,获取所述待检测语音数据,其中,所述待检测语音数据是基于语音训练文本得到的,所述语音训练文本是根据所述语音数据收集指令获取的;
所述发送模块,还用于发送所述待检测语音数据,以使得服务器基于所述待检测语音数据,生成待训练语音数据集合,所述待训练语音数据集合包括N个所述待训练语音数据,N为大于,或者等于1的正整数。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:存储模块;
所述发送模块,还用于当N满足语音训练数量阈值,发送语音模型训练指令,以使得服务器得到目标语音模型;
所述获取模块,还用于获取目标语音模型;
所述存储模块,用于存储所述目标语音模型。
12.根据权利要求9至11中任一项所述的装置,其特征在于,
所述获取模块,还用于获取语音数据收集状态信息,其中,所述语音数据收集状态信息用于指示正在获取待检测语音数据;
所述获取模块,还用于获取语音数据收集完成状态信息,其中,所述语音数据收集完成状态信息用于指示语音数据已完成获取,且可以开始训练所述目标语音模型;
所述获取模块,还用于获取目标语音模型训练状态信息,其中,所述目标语音模型训练状态信息用于指示正在对所述待训练语音模型进行训练;
所述获取模块,还用于获取目标语音模型完成状态信息,其中,所述目标语音模型完成状态信息用于指示所述目标语音模型进行已完成训练。
13.一种服务器,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,所述处理器用于根据所述程序中的指令执行权利要求1至2中任一项所述的方法;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
14.一种终端设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,所述处理器用于根据所述程序中的指令执行权利要求3至6中任一项所述的方法;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行权利要求1至2中任一项所述的方法,或,权利要求3至6中任一项所述的方法。
16.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中;计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行权利要求1至2中任一项所述的方法,或,权利要求3至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010714263.4A CN111816168B (zh) | 2020-07-21 | 2020-07-21 | 一种模型训练的方法、语音播放的方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010714263.4A CN111816168B (zh) | 2020-07-21 | 2020-07-21 | 一种模型训练的方法、语音播放的方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111816168A CN111816168A (zh) | 2020-10-23 |
| CN111816168B true CN111816168B (zh) | 2025-01-21 |
Family
ID=72862205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010714263.4A Active CN111816168B (zh) | 2020-07-21 | 2020-07-21 | 一种模型训练的方法、语音播放的方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111816168B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409805B (zh) * | 2020-11-02 | 2024-06-07 | 腾讯科技(深圳)有限公司 | 人机交互方法、装置、存储介质及终端设备 |
| CN112133278B (zh) * | 2020-11-20 | 2021-02-05 | 成都启英泰伦科技有限公司 | 一种个性化语音合成模型网络训练及个性化语音合成方法 |
| CN115376521A (zh) * | 2021-05-21 | 2022-11-22 | 佛山市顺德区美的电子科技有限公司 | 声纹识别方法、装置和计算机可读存储介质 |
| CN113870830A (zh) * | 2021-09-27 | 2021-12-31 | 平安科技(深圳)有限公司 | 基于人工智能的语音合成方法、装置、设备及存储介质 |
| CN115966202A (zh) * | 2022-03-29 | 2023-04-14 | 广州读音智能科技有限公司 | 一种支持本地模型训练的离线语音识别设备 |
| CN119943026A (zh) * | 2023-11-02 | 2025-05-06 | 广州视源电子科技股份有限公司 | 语音互动方法、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109036374A (zh) * | 2018-07-03 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 数据处理方法和装置 |
| CN110838286A (zh) * | 2019-11-19 | 2020-02-25 | 腾讯科技(深圳)有限公司 | 一种模型训练的方法、语种识别的方法、装置及设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105185372B (zh) * | 2015-10-20 | 2017-03-22 | 百度在线网络技术(北京)有限公司 | 个性化多声学模型的训练方法、语音合成方法及装置 |
| CN108630190B (zh) * | 2018-05-18 | 2019-12-10 | 百度在线网络技术(北京)有限公司 | 用于生成语音合成模型的方法和装置 |
| CN109686359B (zh) * | 2018-12-28 | 2023-11-10 | 西藏联萨智能科技有限公司 | 语音输出方法、终端及计算机可读存储介质 |
| CN110276075B (zh) * | 2019-06-21 | 2024-12-03 | 腾讯科技(深圳)有限公司 | 模型训练方法、命名实体识别方法、装置、设备及介质 |
| CN110751941B (zh) * | 2019-09-18 | 2023-05-26 | 平安科技(深圳)有限公司 | 语音合成模型的生成方法、装置、设备及存储介质 |
| CN110600000B (zh) * | 2019-09-29 | 2022-04-15 | 阿波罗智联(北京)科技有限公司 | 语音播报方法、装置、电子设备及存储介质 |
| CN110853616A (zh) * | 2019-10-22 | 2020-02-28 | 武汉水象电子科技有限公司 | 一种基于神经网络的语音合成方法、系统与存储介质 |
| CN111276120B (zh) * | 2020-01-21 | 2022-08-19 | 华为技术有限公司 | 语音合成方法、装置和计算机可读存储介质 |
-
2020
- 2020-07-21 CN CN202010714263.4A patent/CN111816168B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109036374A (zh) * | 2018-07-03 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 数据处理方法和装置 |
| CN110838286A (zh) * | 2019-11-19 | 2020-02-25 | 腾讯科技(深圳)有限公司 | 一种模型训练的方法、语种识别的方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111816168A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111816168B (zh) | 一种模型训练的方法、语音播放的方法、装置及存储介质 | |
| US11670302B2 (en) | Voice processing method and electronic device supporting the same | |
| CN112735418B (zh) | 一种语音交互的处理方法、装置、终端及存储介质 | |
| CN110381388B (zh) | 一种基于人工智能的字幕生成方法和装置 | |
| CN108021572B (zh) | 回复信息推荐方法和装置 | |
| CN110399474B (zh) | 一种智能对话方法、装置、设备及存储介质 | |
| JP2022537011A (ja) | 人工知能に基づく音声駆動アニメーション方法及び装置、デバイス及びコンピュータプログラム | |
| CN110570840B (zh) | 一种基于人工智能的智能设备唤醒方法和装置 | |
| CN110162603B (zh) | 一种智能对话方法、动态存储方法和装置 | |
| CN110209778A (zh) | 一种对话生成的方法以及相关装置 | |
| CN111522592A (zh) | 一种基于人工智能的智能终端唤醒方法和装置 | |
| CN111611369B (zh) | 基于人工智能的交互方法和相关装置 | |
| CN110430475A (zh) | 一种互动方法和相关装置 | |
| CN111324409B (zh) | 基于人工智能的互动方法和相关装置 | |
| CN110597973A (zh) | 一种人机对话的方法、装置、终端设备和可读存储介质 | |
| CN112138410B (zh) | 一种虚拟对象的交互方法以及相关装置 | |
| CN116933149A (zh) | 一种对象意图预测方法、装置、电子设备和存储介质 | |
| CN117991908B (zh) | 一种与虚拟形象的交互方法、装置、设备及存储介质 | |
| CN111723783B (zh) | 一种内容识别方法和相关装置 | |
| CN113569043A (zh) | 一种文本类别确定方法和相关装置 | |
| CN116959407A (zh) | 一种读音预测方法、装置及相关产品 | |
| CN120281981A (zh) | 评论互动方法、装置、电子设备及存储介质 | |
| HK40035257B (zh) | 一种虚拟对象的交互方法以及相关装置 | |
| HK40028081A (zh) | 基於人工智能的交互方法和相关装置 | |
| HK40035257A (zh) | 一种虚拟对象的交互方法以及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TG01 | Patent term adjustment | ||
| TG01 | Patent term adjustment |