CN106303118A - 智能终端实现麦克风功能的方法、音频播放方法、设备及系统 - Google Patents

Abstract

本发明涉及一种智能终端实现能抑制啸叫的麦克风功能的方法，包括：智能终端与多媒体设备建立数据连接；实时采集近端音频信号；对近端音频信号进行啸叫抑制处理得到音频数据包；将音频数据包发送至所述多媒体设备，由多媒体设备输出所述音频数据包。同时本发明还提供一种音频播放方法、智能终端实现麦克风功能的设备及系统，可通过较为普及的智能手机、平板电脑等智能终端实现麦克风的功能；同时具有啸叫抑制功能和数字效果器功能。

Description

智能终端实现麦克风功能的方法、音频播放方法、设备及系统

技术领域

本发明涉及多媒体技术领域，尤其涉及一种智能终端实现麦克风的方法、音频播放方法、设备及系统。

背景技术

麦克风，学名为传声器，是将声音信号转换为电信号的能量转换器件，经常用于一些公共场合的扩声系统或者在一些数字视听场所的歌声输入。

现有数字视听场所内的麦克风一般只有两个，多人合唱等场景下麦克风就不够用，这种情况会给用户带来极大的不便。如果通过较为普及的智能手机、平板电脑等智能终端实现麦克风的功能，将能解决上述问题。

包含麦克风的扩声系统尤其在室内使用时经常产生啸叫，原因是声音放大发射出去后，直接或经过障碍物发射间接被麦克风拾取，形成了回声，回声再次进入扩声系统进行了放大，这样如果在某些频点形成正反馈，重复多次便产生了强烈的刺耳的啸叫。回声可以分为直接回声和间接回声。产生啸叫的根本原因是回声。

啸叫破坏了扩声系统的稳定，是常见的令使用者头疼的问题。因为啸叫严重遮盖了原始声音，扩声效果无从谈起，严重者会造成设备损坏。所以啸叫问题是扩声系统使用中的一个重要问题。

在数字视听场所内使用智能终端实现无线麦克风的场景中，吸音材料的使用使间接回声得到较好消除，而由于智能终端的软件系统和数据无线传输的延迟，导致使得直接回声大大增加，啸叫的问题更加严重，智能终端的硬件多样性和无线数字传输的不稳定，导致这个问题变得异常复杂。解决回声、啸叫是此应用场景不可绕开的问题。

声学回声消除(Acoustic Echo Canceller，AEC)的工作原理是通过远端信号和真实回声的相关性进行建模，并不断修改滤波器参数，使估计值更加逼近真实回声，然后将回声估计值从麦克风拾取的近端信号中剔除，从而达到消除回声的目的。远端信号越接近真实回声，AEC的工作效率就越高，效果越好。

效果器是提供各种声场效果的音响周边器材，广泛应用于现场扩声系统，用于对麦克风的声音信号的音色加以润色。数字视听场所内的麦克风一般要经过效果器处理后再播放出来。在数字视听场所内使用智能终端实现无线麦克风的场景中，如果在智能终端能直接实现效果器功能，就不需要再通过外置效果器设备，简化系统结构，使系统更易于实施。

发明内容

本发明实施例所要解决的技术问题在于，提供一种在数字视听场所内智能终端实现麦克风的方法、音频播放方法、设备及系统，可通过较为普及的智能手机、平板电脑等智能终端实现麦克风的功能；同时具有啸叫抑制功能功能。

为了解决上述技术问题，本发明提供了一种智能终端实现麦克风功能的方法，包括：

智能终端与多媒体设备建立数据连接；

实时采集近端音频信号；

对近端音频信号进行啸叫抑制处理得到音频数据包；

将音频数据包发送至所述多媒体设备，由多媒体设备输出所述音频数据包。

进一步地，所述对近端音频信号进行啸叫抑制处理得到音频数据包，将音频数据包发送至所述多媒体设备，由多媒体设备输出所述音频数据包，包括：

接收所述多媒体设备发送的回馈数据包，根据回馈数据包还原成与多媒体设备播放的音频流时间同步的远端音频信号；

以远端音频信号为参考，对近端音频信号作消回声处理后得到音频数据包；

将音频数据包发送至所述多媒体设备，由多媒体设备输出所述音频数据包并对智能终端发送回馈数据包；

其中，所述近端音频信号是指智能终端采集到的音频信号，所述远端音频信号是指多媒体设备播放的音频信号。

进一步地，所述对近端音频信号进行啸叫抑制处理后，再进行音效处理得到音频数据包。

进一步地，所述消回声处理，是采用NLMS算法以及NLP算法，用于从近端音频信号中消除回声，以达到回声消除或啸叫抑制。

进一步地，所述智能终端或多媒体设备为一个以上。

相应地，本发明还提供了一种音频播放方法，包括：

多媒体设备接收所述实现能抑制啸叫的麦克风功能的智能终端的开始消息，准备音频数据包接收和播放；

接收到所述实现能抑制啸叫的麦克风功能的智能终端发送的音频数据包，输出所述音频数据包到播放的音频流。

进一步地，将播放的音频流的数据信息转化为回馈数据包，并回传给所述实现能抑制啸叫的麦克风功能的智能终端，用于还原成智能终端进行啸叫抑制处理的远端音频信号；所述回馈数据包与播放的音频流的数据时间同步。

进一步地，所述输出所述音频数据包到当前播放的音频流，还包括：将所述实现能抑制啸叫的麦克风功能的智能终端传输的所述音频信号与本多媒体设备当前待播的音频信号进行混音处理得到当前播放的音频流，播放所述音频流。

进一步地，所述智能终端或多媒体设备为一个以上。

相应地，本发明还提供了一种智能终端，包括：

连接建立模块，智能终端与多媒体设备建立数据连接；

录音模块，实时采集近端音频信号；

接收模块，接收所述多媒体设备发送的回馈数据包，根据回馈数据包还原成与多媒体设备播放的音频流时间同步的远端音频信号；

啸叫抑制模块，以远端音频信号为参考，对近端音频信号进行啸叫抑制处理；

音效处理模块，对近端音频信号进行啸叫抑制处理后,再进行音效处理后得到音频数据包；

发送模块，将所述音频数据包发送至所述多媒体设备，由所述多媒体设备输出所述音频数据包并向智能终端发送回馈数据包。

相应地，本发明还提供了一种多媒体设备，包括：

数据传输模块，用于与实现能抑制啸叫的麦克风功能的智能终端建立数据连接和进行数据传输；

播放模块，用于接收到所述能抑制啸叫的麦克风功能的智能终端发送的音频数据时，处理并播放所述音频数据。

进一步地，所述播放模块包括：

接收单元，用于接收到所述实现能抑制啸叫的麦克风功能的智能终端发送的音频数据；

混音处理单元，用于将所述接收单元接收到的音频数据与待播的音频数据进行混音处理到当前输出的音频流；

输出单元，用于输出所述音频数据包到播放的音频流；

发送单元，用于将播放的音频流的数据信息转化为回馈数据包，并回传给所述实现能抑制啸叫的麦克风功能的智能终端，用于还原成智能终端进行啸叫抑制处理的远端音频信号。

相应地，本发明一种音频播放系统，包括：

至少一个智能终端和至少一个多媒体设备，其中，

所述至少一个智能终端，和所述多媒体设备建立数据连接，并将采集到的语音信号经啸叫抑制模块和音效处理模块处理后发送至所述至少一个多媒体设备；

所述至少一个多媒体设备，用于接收到所述至少一个智能终端发送的音频数据，输出所述音频数据包到播放的音频流，将播放的音频流的数据信息转化为回馈数据包，并回传给所述至少一个智能终端，用于还原成智能终端进行啸叫抑制处理的远端音频信号。

本发明的优点在于：

通过智能终端和多媒体设备相配合，可在智能手机、平板电脑等可随身携带的智能终端中实现麦克风功能，能够避免数字视听场所内由于麦克风数量不足给用户带来的不便，满足了用户的使用需求；其具备的啸叫抑制功能，使得此功能在容易产生回声啸叫的场合真正得以实用。其具备的数字效果器功能，可实现多种音色润色效果，无需额外设备，简化系统结构，使系统更易于实施。

附图说明

图1是本发明实施例的一种智能终端实现麦克风的方法的流程示意图；

图2是本发明实施例的一种音频播放方法的流程示意图；

图3是本发明实施例的一种智能终端的结构示意图；

图4是本发明实施例的一种多媒体设备的结构示意图；

图5是本发明实施例的一种音频播放系统的结构示意图；

图6是本发明实施例的所采用的一种回声消除的原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，是本发明实施例的一种智能终端实现能抑制啸叫的麦克风的方法的流程示意图；

本发明实施例中的所述智能终端可以为手机、平板电脑等具备录音功能的设备，而多媒体设备则可以为KTV点唱机、个人电脑、智能电视机等具备Wi-Fi、蓝牙等接入功能的音视频播放机，本实施例的所述方法包括：

S101：智能终端与多媒体设备建立数据连接。具体为：向所述多媒体设备发送开始消息，以通知所述多媒体设备准备接收音频数据包。

智能终端在所述S101中利用Wi-Fi、蓝牙等接入功能和多媒体设备建立数据连接，智能终端可以同时选择多个多媒体设备分别建立数据连接。连接请求中同时将设定的录音采样率、通道数等信息通知所述多媒体设备。

S102：实时采集近端音频信号。具体为：利用所述智能终端自带的录音功能，分段采集近端音频信号。

智能终端在所述S102中利用内置麦克风进行录音，以队列方式分段获取采样的PCM(Pulse-codemodulation，脉冲编码调制)数据。采用PCM采样，得到的音频数据的数据量相对较小，能够满足在数字视听场所的演唱实时性较高的要求。

本发明中，所提到的数字视听场所可以是公共的K歌场所，例如KTV、酒吧、夜总会等场所；还可以是家庭环境下的K歌应用。

S103：接收所述多媒体设备发送的回馈数据包，根据回馈数据包还原成与多媒体设备播放的音频流时间同步的远端音频信号。

智能终端在所述S103中接收所述多媒体设备发送的回馈数据包，从中解析出音频数据的大小、内容，作为啸叫抑制模块的远端音频信号。

S104：以远端音频信号为参考，对近端音频信号进行啸叫抑制处理。

智能终端在所述S104中使用声学回声消除算法对近端音频数据进行处理。

如图6所示，回声消除采用一个自适应滤波器来模拟回声通道，得到回声估计值r’(n)，r(n)代表智能终端拾取到的声音(包括实际的回声和背景噪声，还可能包含近端讲话者的语音信号)，从r(n)中减去r’(n)，即得到去除回声后的语音信号。主要流程为：

1、将远端语音信号y(n)和近端信号x(n)经过语音检测单元进行对比，判断当前远近两端的讲话状态。

2、自适应滤波器将远端信号y(n)作为输入，根据语音检测的结果进行相应地处理，得到回声估计值r’(n)；滤波器的处理具体为：当语音检测为近端音频信号，滤波器系数不更新，滤波器不滤波；当语音检测为远端音频信号，滤波器系数更新，滤波器滤波；当语音检测为双端音频信号，滤波器系数不更新，滤波器滤波。

3、从r(n)中减去r’(n)，得到去除回声后的语音信号。

4、最后对上一步骤的结果作残余回声抑制。

本发明自适应滤波器采用NLMS算法，残余回声抑制采用NLP算法。

所述NLMS算法基于传统LMS算法的一种改进，两种算法的不同在于LMS算法中采用固定步长，而NLMS算法中采用了可变的步长，可以加快滤波器的收敛速度。

所述NLP算法，是一种非线性处理器，用于降低回声和处理非线性效应，掩盖自适应滤波算法的不足。

S105：对近端音频信号进行啸叫抑制处理后,再进行音效处理后得到音频数据包。

智能终端在所述S105中使用软件算法实现音效处理。音效处理包括参量均衡、混响、镶边、合唱、变声、变调等效果，变声包括在男声、女声、老年人声和童声之间的互相转换。通过音效处理以增加用户演唱的趣味性，并且更好的活跃数字视听场所的气氛。

S106：将音频数据包发送至所述多媒体设备，由所述多媒体设备输出所述音频数据包并向智能终端发送回馈数据包。

智能终端在所述S106中将所述音频数据包发送至所述多媒体设备，具体的，可以直接发送PCM数据，也可以选择压缩所述PCM数据，再最后将压缩后的音频数据发送至所述多媒体设备，由所述多媒体设备解压缩后输出所述音频数据，来减小传输的数据量。

在上述方法中，所述智能终端或多媒体设备可以为一个以上。

当智能终端是多个时，可实现多人合唱的功能，扩展体验方式。当智能终端是多个时，多个智能终端实时采集近端音频信号，各自对近端音频信号进行啸叫抑制处理得到对应的音频数据后，然后均发送给多媒体设备，多媒体设备将接收的多个音频数据进行混合后播放，并对每个智能终端发送回馈数据包。

当多媒体设备是多个时，设置一个主多媒体设备，其他均为辅助多媒体设备，其具体过程为：智能终端实时采集近端音频信号；并对近端音频信号进行啸叫抑制处理得到音频数据包；将音频数据包发送至每个多媒体设备，由每个多媒体设备输出所述音频数据包。由于在一些空间较大的数字视听场所，若只设一个多媒体设备，音频播放效果有限，部分数字视听场所内的用户会听不到音频。设置多个多媒体设备同时进行播放，增强播放效果，避免了上述情况的发生。

再请参见图2，是本发明实施例的一种音频播放方法的流程示意图；本发明实施例以多媒体设备侧接收到作为麦克风的手机等智能终端的音频数据进行处理来进行说明，

具体的，本发明实施例的所述方法包括：

S201：接收实现麦克风功能的智能终端的开始消息，准备音频数据包接收和播放。

所述的实现麦克风功能的智能终端即带有麦克风功能的智能手机、平板电脑等设备。

多媒体设备监听并响应智能终端数据连接请求，建立连接，按连接请求中的录音采样率、通道数等信息准备接收数据、准备混音、播放。

S202：接收到所述实现能抑制啸叫的麦克风功能的智能终端发送的音频数据包，输出所述音频数据包到当前播放的音频流。所述音频数据是所述实现能抑制啸叫的麦克风功能的智能终端将采集到的语音信号进行转换得到的音频数据。

所述多媒体设备在接收到所述音频数据后先将所述音频数据进行混音处理到当前输出的音频流后，再输出至功放、扬声器等装置。

如果多媒体设备接收到的音频数据为压缩后的音频数据，则所述多媒体设备先根据与智能终端匹配的解压缩方式将所述音频设备解压缩后，再行输出播放。

S203：将当前播放的音频流的数据信息转化为回馈数据包，并回传给所述实现能抑制啸叫的麦克风功能的智能终端，用于还原成智能终端进行啸叫抑制处理的远端音频信号。

所述回馈数据包与多媒体设备播放的音频流同步。

所述回馈数据包，可以是标记信息，也可以是播放的音频数据；

若是标记信息，则智能终端在发送音频数据前，需对音频数据作标记，比如根据发送顺序，标记为1,2,3...,并封装成音频数据包，音频数据包发送完毕后将音频数据加入到队列中，当多媒体终端接收到音频数据包，解析该数据包的标记信息，并播放音频数据，将标记信息作为回馈数据包发送回智能终端；当智能终端接收到回馈数据包后，从队列中同步地获取对应标记的音频数据，作为啸叫抑制的远端信号输入。

若是播放的音频数据，当智能终端接收到回馈数据包后，直接将该数据包作为啸叫抑制的远端信号输入。

下面对本发明的一种智能终端、多媒体设备、音频播放系统进行详细描述。

请参见图3，是本发明实施例所述的一种智能终端的结构示意图；本实施例的所述智能终端可以为手机、平板电脑等设备，具备话筒等语音信号采集模块，具体的，所述智能终端包括：

连接建立模块11，用于智能终端与多媒体设备建立数据连接；具体为：向所述多媒体设备发送开始消息，以通知所述多媒体设备准备接收音频数据包。

录音模块12，用于实时采集近端音频信号；具体为：向所述多媒体设备发送开始消息，以通知所述多媒体设备准备接收音频数据包。

接收模块13，同于接收所述多媒体设备发送的回馈数据包，根据回馈数据包还原成与多媒体设备播放的音频流时间同步的远端音频信号；

啸叫抑制模块14，用于以远端音频信号为参考，对近端音频信号进行啸叫抑制处理；

音效处理模块15，同于对近端音频信号进行啸叫抑制处理后,再进行音效处理后得到音频数据包；

发送模块16，用于将所述音频数据包发送至所述多媒体设备，由所述多媒体设备输出所述音频数据包并向智能终端发送回馈数据包。

再请参见图4，是本发明实施例的一种多媒体设备的结构示意图；本发明实施例的所述多媒体设备可以为KTV点唱机、个人电脑、智能电视机等音视频播放，其具体可以包括：

数据传输模块21，用于与实现麦克风功能的智能终端建立数据连接和进行数据传输；

播放模块22，用于接收到所述智能终端发送的音频数据时，处理并播放所述音频数据。

具体的，所述播放模块22可以包括：

接收单元221，用于接收到所述智能终端发送的音频数据；

混音处理单元222，用于将所述接收单元接收到的音频数据与当前待播的音频数据进行混音处理到当前输出的音频流；

输出单元223，用于输出所述音频数据包到当前播放的音频流。

发送单元224，用于将当前播放的音频流的数据信息转化为回馈数据包，并回传给所述智能终端。用于还原成智能终端进行啸叫抑制处理的远端音频信号。

再请参见图5，是本发明实施例的一种音频播放系统的结构示意图。本发明实施例的所述音频播放系统具体可以包括至少一个智能终端，以图5中的智能终端100为例进行说明，和至少一个多媒体设备，以图5中的多媒体设备200为例进行说明。

所述智能终端100，建立到所述多媒体设备的数据连接，并将采集到的语音信号转换为音频数据，经啸叫抑制和数字效果器处理后发送至所述至少一个多媒体设备；

所述多媒体设备200接收到所述实现麦克风功能的智能终端发送的音频数据时，处理并输出所述音频数据，即输出到现有的扬声设备中，并将当前播放的音频流的数据信息转化为回馈数据包，并回传给所述智能终端。用于还原成智能终端进行啸叫抑制处理的远端音频信号号输入。

所述的智能终端100上装有上述图3的智能终端，而所述的多媒体设备200则为图4对应的多媒体设备。

智能终端100可以连接一个或者多个多媒体设备。

多媒体设备200可以连接一个或者多个智能终端。

Claims (13)

1.一种智能终端实现麦克风功能的方法，其特征在于，包括：

智能终端与多媒体设备建立数据连接；

实时采集近端音频信号；

对近端音频信号进行啸叫抑制处理得到音频数据包；

将音频数据包发送至所述多媒体设备，由多媒体设备输出所述音频数据包。

2.如权利要求1所述的方法，其特征在于，所述对近端音频信号进行啸叫抑制处理得到音频数据包，将音频数据包发送至所述多媒体设备，由多媒体设备输出所述音频数据包，包括：

接收所述多媒体设备发送的回馈数据包，根据回馈数据包还原成与多媒体设备播放的音频流时间同步的远端音频信号；

以远端音频信号为参考，对近端音频信号作消回声处理后得到音频数据包；

将音频数据包发送至所述多媒体设备，由多媒体设备输出所述音频数据包并对智能终端发送回馈数据包；

所述近端音频信号是指智能终端采集到的音频信号，所述远端音频信号是指多媒体设备播放的音频信号。

3.如权利要求1或2所述的方法，其特征在于，所述对近端音频信号进行啸叫抑制处理后，再进行音效处理得到音频数据包。

4.如权利要求2所述的方法，其特征在于，所述消回声处理，是采用NLMS算法以及NLP算法，用于从近端音频信号中消除回声，以达到回声消除或啸叫抑制。

5.如权利要求1-4任一项所述的方法，其特征在于，所述智能终端或多媒体设备为一个以上。

6.一种音频播放方法，其特征在于，包括：

多媒体设备接收所述实现能抑制啸叫的麦克风功能的智能终端的开始消息，准备音频数据包接收和播放；

接收到所述实现能抑制啸叫的麦克风功能的智能终端发送的音频数据包，输出所述音频数据包到播放的音频流。

7.如权利要求6所述的方法，其特征在于，还包括：

将播放的音频流的数据信息转化为回馈数据包，并回传给所述实现能抑制啸叫的麦克风功能的智能终端，用于还原成智能终端进行啸叫抑制处理的远端音频信号；所述回馈数据包与播放的音频流的数据时间同步。

8.如权利要求7所述的方法，其特征在于，所述输出所述音频数据包到当前播放的音频流，还包括：将所述实现能抑制啸叫的麦克风功能的智能终端传输的所述音频信号与本多媒体设备当前待播的音频信号进行混音处理得到当前播放的音频流，播放所述音频流。

9.如权利要求7-8任一项所述的方法，其特征在于，所述智能终端或多媒体设备为一个以上。

10.一种智能终端，其特征在于，包括：

连接建立模块，智能终端与多媒体设备建立数据连接；

录音模块，实时采集近端音频信号；

接收模块，接收所述多媒体设备发送的回馈数据包，根据回馈数据包还原成与多媒体设备播放的音频流时间同步的远端音频信号；

啸叫抑制模块，以远端音频信号为参考，对近端音频信号进行啸叫抑制处理；

音效处理模块，对近端音频信号进行啸叫抑制处理后,再进行音效处理后得到音频数据包；

发送模块，将所述音频数据包发送至所述多媒体设备，由所述多媒体设备输出所述音频数据包并向智能终端发送回馈数据包。

11.一种多媒体设备，其特征在于，包括：

数据传输模块，用于与实现能抑制啸叫的麦克风功能的智能终端建立数据连接和进行数据传输；

播放模块，用于接收到所述能抑制啸叫的麦克风功能的智能终端发送的音频数据时，处理并播放所述音频数据。

12.如权利要求11所述的多媒体设备，其特征在于，所述播放模块包括：

接收单元，用于接收到所述实现能抑制啸叫的麦克风功能的智能终端发送的音频数据；

混音处理单元，用于将所述接收单元接收到的音频数据与待播的音频数据进行混音处理到当前输出的音频流；

输出单元，用于输出所述音频数据包到播放的音频流；

发送单元，用于将播放的音频流的数据信息转化为回馈数据包，并回传给所述实现能抑制啸叫的麦克风功能的智能终端，用于还原成智能终端进行啸叫抑制处理的远端音频信号。

13.一种音频播放系统，其特征在于，包括：

至少一个智能终端和至少一个多媒体设备，其中，

所述至少一个智能终端，和所述多媒体设备建立数据连接，并将采集到的语音信号经啸叫抑制模块和音效处理模块处理后发送至所述至少一个多媒体设备；

所述至少一个多媒体设备，用于接收到所述至少一个智能终端发送的音频数据，输出所述音频数据包到播放的音频流，将播放的音频流的数据信息转化为回馈数据包，并回传给所述至少一个智能终端，用于还原成智能终端进行啸叫抑制处理的远端音频信号。