CN116016835A - 音频数据处理方法、系统、会议终端及无线音频采集设备 - Google Patents

Abstract

本申请提供一种音频数据处理方法、系统、会议终端及无线音频采集设备。该方法应用于音频数据处理系统，系统中的会议终端通过有线连接发送无线配对信息、音频处理参数及音频采集参数给无线音频采集设备，该无线音频采集设备基于接收到的无线配对信息与会议终端建立无线连接，并根据该音频处理参数对基于音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据，并基于该无线连接发送该第一处理音频数据至会议终端。该方法通过会议终端计算得到配对信息和参数，并通过有线的方式往无线音频采集设备迁移，在系统各端的配对信息和参数同步的前提下，提高了系统各端连接配对的可靠性，并实现了系统各端音质效果的一致性。

Description

音频数据处理方法、系统、会议终端及无线音频采集设备

技术领域

本申请涉及音视频技术领域，尤其涉及一种音频数据处理方法、系统、会议终端及无线音频采集设备。

背景技术

随着音视频会议设备的广泛应用，对拾音范围的需求也越来越高。由于单个设备往往无法很好的满足需求，因此，需要结合无线麦克风来拓展拾音范围，以较好的实现语音会议效果。

然而，当前无线麦克风和会议终端的连接配对和音频处理参数的一致性问题成为了亟需解决的难题。具体地，当前连接配对大多是通过蓝牙或超声波等方式进行的，这种方式成本较高，且很容易受到无线干扰、可靠性较差；此外，由于无线麦克风自身硬件功能的局限性，其往往只有声音采集功能，没有声音播放功能，导致了一些依赖于声学反馈的功能无法实现，此时的无线麦克风会缺少类似于回声消除、去混响等音频处理功能，从而使得会议终端和无线麦克风的音频处理参数无法保持一致性，也就导致会议终端和无线麦克风等的音频数据无法保持音质效果上的一致性。

因此，当前音频数据处理方法存在连接配对方式的可靠性较差、音频数据音质效果的一致性无法保持的技术问题，需要改进。

发明内容

本申请提供一种音频数据处理方法、系统、会议终端及无线音频采集设备，用于解决当前音频数据处理方法存在的连接配对方式的可靠性较差、音频数据音质效果的一致性无法保持的技术问题。

为了解决上述技术问题，本申请提供以下技术方案：

本申请提供一种音频数据处理方法，应用于音频数据处理系统，所述音频数据处理系统包括会议终端和至少一个无线音频采集设备；该方法包括：

所述会议终端通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；

所述无线音频采集设备基于所述无线配对信息与所述会议终端建立无线连接；

所述无线音频采集设备根据所述音频处理参数，对基于所述音频采集参数采集到的所述音频数据进行预处理，得到第一处理音频数据，并基于所述无线连接发送所述第一处理音频数据至所述会议终端。

相应的，本申请还提供一种音频数据处理方法，应用于音频数据处理系统中的会议终端，所述音频数据处理系统包括会议终端和至少一个无线音频采集设备；该方法包括：

通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；

接收所述无线音频采集设备基于无线连接发送的第一处理音频数据。

相应的，本申请还提供一种音频数据处理方法，应用于音频数据处理系统中的无线音频采集设备，所述音频数据处理系统包括会议终端和至少一个无线音频采集设备；该方法包括：

接收所述会议终端通过有线连接发送的无线配对信息、音频处理参数以及音频采集参数；

基于所述无线配对信息与所述会议终端建立无线连接；

根据所述音频处理参数，对基于所述音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据；

基于所述无线连接发送所述第一处理音频数据至所述会议终端。

相应的，本申请还提供一种音频数据处理系统，所述音频数据处理系统包括会议终端和至少一个无线音频采集设备，其中：

所述会议终端，用于通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；还用于接收所述无线音频采集设备基于无线连接发送的第一处理音频数据；

所述无线音频采集设备，用于接收所述会议终端通过有线连接发送的无线配对信息、音频处理参数以及音频采集参数；还用于基于所述无线配对信息与所述会议终端建立无线连接，根据所述音频处理参数，对基于所述音频采集参数采集到的所述音频数据进行预处理，得到第一处理音频数据，并基于所述无线连接发送所述第一处理音频数据至所述会议终端。

同时，本申请还提供一种会议终端，包括：

第一发送单元，用于通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；

第一接收单元，用于接收所述无线音频采集设备基于无线连接发送的第一处理音频数据。

此外，本申请还提供一种无线音频采集设备，包括：

第二接收单元，用于接收所述会议终端通过有线连接发送的无线配对信息、音频处理参数以及音频采集参数；

无线单元，用于基于所述无线配对信息与所述会议终端建立无线连接；

预处理单元，用于根据所述音频处理参数，对基于所述音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据；

第二发送单元，用于基于所述无线连接发送所述第一处理音频数据至所述会议终端。

有益效果：该方法依托于会议终端的全功能性，获取了无线配对信息和音频处理参数，又通过有线连接的方式实现了无线配对信息和音频处理参数往无线音频采集设备的迁移，消除了无线音频采集设备自身硬件设计上的局限性，相比于传统的蓝牙或超声波等无线配对方式，避免了由于无线干扰或者频段占用导致的连接问题，提高了连接配对方式的可靠性，且由于会议终端和无线声音采集设备是基于相同的音频采集参数采集的音频数据，其音频处理参数也相同，因此保持了会议终端和无线音频采集设备音质效果的一致性。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1是本申请实施例提供的音频数据处理系统的系统架构图。

图2是本申请实施例提供的音频数据处理方法的流程示意图。

图3是本申请实施例提供的会议终端和无线音频采集设备的交互示意图。

图4是本申请实施例提供的会议终端的结构示意图。

图5是本申请实施例提供的无线音频采集设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含；本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。

本申请提供一种音频数据处理方法、系统、会议终端及无线音频采集设备。

请参阅图1，图1是本申请实施例提供的音频数据处理系统的系统架构图，如图1所示，该音频数据处理系统可以包括终端以及设备，终端之间、设备之间、以及终端与设备之间通过各种网关组成的互联网等方式连接通信，其中，该音频数据处理系统中至少包括会议终端101和至少一个无线音频采集设备102：

会议终端101可以包括笔记本电脑、会议平板等终端设备。会议终端101可以包括第一接口单元、音频采集单元以及自动识别单元，其中，第一接口单元用于提供和无线音频采集设备进行有线连接的第三方接口(例如USB接口等)；自动识别单元用于自动识别当前环境的物理特性和空间特性，从而得到音频处理参数(例如音频混响参数和回声参数)和音频采集参数(例如麦克风增益、低/中/高频声音能量的调整、声音能量的调整增益等)，还用于自动扫描预设的无线频段范围，从而得到当前环境中空闲的无线频段(也即无线配对信息)。

无线音频采集设备102可以包括各类音视频采集设备，例如麦克风等。无线音频采集设备102包括第二接口单元，第二接口单元用于提供和会议终端进行有线连接的第三方接口(例如USB接口等)。需要说明的是，该第三方接口还可以用于和电源连接，以给无线音频采集设备充电，当无线音频采集设备102通过第三方接口与会议终端101建立有线连接时，无线音频采集设备102自动切换为数据传输模式，用于底层的信息交互和传递。

具体地，该会议终端101用于与无线音频采集设备102建立有线连接，在建立有线连接后，会议终端101通过该有线连接发送无线配对信息、音频处理参数以及音频采集参数至无线音频采集设备102；该无线音频采集设备102用于与会议终端101建立有线连接，接收该会议终端101通过有线连接发送的无线配对信息、音频处理参数以及音频采集参数；还用于基于无线配对信息与会议终端101建立无线连接，根据音频处理参数，对基于该音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据，并基于无线连接发送第一处理音频数据至会议终端101。此外，该会议终端101还可以用于根据该音频处理参数，对其音频采集单元基于该音频采集参数采集到的音频数据进行预处理，得到第二处理音频数据会议终端101；该会议终端101还可以用于接收无线音频采集设备102基于无线连接发送的第一处理音频数据。

需要说明的是，会议终端的自动识别单元也可以在与无线音视频采集设备建立有线连接前，通过自动识别单元自动识别当前环境的物理特性和空间特性，从而得到音频处理参数(例如音频混响参数和回声参数)和音频采集参数(例如麦克风增益、低/中/高频声音能量的调整参数、声音能量的调整增益等)，从而将该音频采集参数应用于其自身的音频采集单元的音频数据的采集，并利用音频处理参数实现对采集到的音频数据进行预处理(例如去混响和消除回声等处理)。

在上述音频数据处理过程中，依托于会议终端的全功能性，基于会议终端获取了无线配对信息和音频处理参数，又通过有线连接的方式通过会议终端将无线配对信息和音频处理参数往无线音频采集设备迁移，消除了无线音频采集设备自身硬件设计上的局限性，相比于传统的蓝牙或超声波等无线配对方式，避免了由于无线干扰或者频段占用导致的连接问题，提高了连接配对方式的可靠性。且在实际应用中，由于会议终端和无线音频采集设备是两个独立的个体，二者都有各自的运行参数，因此当将二者配合使用时，其音质效果是有差异的，当在同一个环境中发生二者的切换时，参会终端方的用户能够明显的听出声音的差异，因此，本申请实施例通过有线连接的方式将会议终端音频处理参数和音频采集参数迁移至无线音频采集设备，此时，由于会议终端和无线声音采集设备采用了相同的音频采集参数采集的音频数据，且二者的音频处理参数也相同，因此保持了最终处理得到的第一处理音频数据和第二处理音频数据的一致性，从而消除了这种声音的差异，确保音频采集切换前后会议终端和无线音频采集设备音质效果的一致性。

需要说明的是，图1所示的系统架构图仅仅是一个示例，本申请实施例描述的终端、设备以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

在本申请实施例中，请参阅图2所示，图2是本申请实施例提供的音频数据处理方法的流程示意图，该音频数据处理方法应用于音频数据处理系统，该音频数据处理系统包括会议终端和至少一个无线音频采集设备。该方法至少包括以下步骤：

S201：会议终端通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至无线音频采集设备。

在一种实施例中，步骤S201包括：会议终端与无线音频采集设备建立有线连接；无线音频采集设备基于有线连接发送设备标识至会议终端；会议终端接收设备标识，并根据设备标识判断无线音频采集设备是否为可识别设备，得到判断结果；在判断结果表征无线音频采集设备为可识别设备时，会议终端获取无线配对信息、音频处理参数以及音频采集参数；会议终端通过有线连接的通信协议指令，发送无线配对信息、音频处理参数以及音频采集参数至无线音频采集设备。其中，设备标识指的是用于区别无线音频采集设备的标识，例如，在无线音频采集设备为USB设备时，其可以包括供应商ID(VID)和产品识别码(PID)；无线配对信息指的是设备间进行无线配对连接时需要使用到的信息，其可以包括无线频段信息，也即当前空闲频段；音频处理参数指的是处理采集到的音频数据时使用的参数，其可以包括音频混响参数和回声参数；音频采集参数指的是应用于音频采集的参数，其可以包括麦克风增益、根据声学属性确定的低/中/高频声音能量的调整参数(EQ)、和声音能量的调整增益(DRC)。

需要说明的是，EQ的基本作用是通过对声音某一个或多个频段进行增益或衰减，达到调整音色的目的；将DRC应用于音频采集是因为输出的音频信号过大会引起削峰，从而引起音频失真，并且损坏喇叭，所以需要有DRC的作用来将输出限制在一定的范围内。

由于目前已知的一些会议终端与无线音频采集设备的连接配对手段是通过NFC或蓝牙方式，但这种方式需要相关的芯片支持并且会带来额外的成本。因此，本申请实施例提出了通过有线连接的方式进行无线配对信息和音频处理参数的传递，从而提高抗干扰性能。具体的，会议终端通过第一接口单元与无线音频采集设备的第二接口单元相连，从而建立起有线连接。其中，第一接口单元可以包括USB接口，可选的，其还可以是Type-C接口等其他第三方接口，相同的，第二接口单元也可以包括USB接口，可选的，其还可以是Type-C接口等其他第三方接口。需要说明的是，会议终端与无线音频采集设备通过第一接口单元和第二接口单元建立连接时，其接口应该适配；此外，无线音频采集设备的第二接口单元还可以是预留的电池充电接口。

根据上述描述，由于无线音频采集设备和会议终端建立了有线连接，此时无线音频采集设备会自动切换至数据传输模式，用于底层的接口信息交互和传递，当第二接口单元为USB接口时，传输的信息包括但不限于设备标识(USB VID(供应商ID)或者USB PID(产品识别码))。具体的，在该音频数据处理系统中，无线音频采集设备可以作为客户端角色，而会议终端可以作为服务端角色，无线音频采集设备基于有线连将设备标识发送至会议终端，会议终端接收到设备标识后，通过设备标识来判断该无线音频采集设备是否为可识别设备，如果是，则获取无线配对信息、音频处理参数以及音频采集参数，并通过当前有线连接的通信协议指令将该无线配对信息、音频处理参数以及音频采集参数发送至无线音频采集设备，其中，当有线连接是通过USB接口进行连接时，该通信协议指令可以是USB HID协议指令；如果不是，则终止流程。

在上述过程中，会议终端通过有线连接的方式，将无线配对信息、音频处理参数以及音频采集参数传递给无线音频采集设备，既避免了由无线干扰或频段占用导致的连接问题，实现了二者的快速无线配对连接，又确保了会议终端自身的音频采集单元能和无线音频采集设备使用相同的一组音频采集参数采集音频数据，并用相同的一组音频处理参数对采集到的音频数据进行处理，从而从采集过程和处理过程上双重保证了二者音质效果的一致性。

在一种实施例中，在判断结果表征无线音频采集设备为可识别设备时，会议终端获取无线配对信息、音频处理参数以及音频采集参数的步骤包括：会议终端基于当前环境自动扫描预设的无线频段范围，并根据扫描结果确定无线配对信息；会议终端根据预设高频音和当前环境的物理空间特性，确定音频处理参数；会议终端根据预设声学属性和实时音频能量，确定音频采集参数。其中，预设的无线频段范围指的是无线音频采集设备和会议终端支持的无线连接的频段，一般的，采用2.4G无线频段；预设音频属性指的是会议终端上人为或者系统默认的与音频采集单元有关的音频属性设置，例如麦克风增益属性、降噪属性以及背景抑制属性。

具体的，会议终端通过自动识别单元采用无线扫描的方式，在预设的无线频段范围内(例如，2.4G无线频段的频段范围为2.405GHz至2.485GHz)，查找空闲或者当前可用的最佳的无线频段，并将该最佳的无线频段作为无线配对信息；接着，会议终端通过自身的音频播放单元(例如扬声器)播放预设高频音，并结合当前环境的物理空间特性，确定音频处理参数(其可以包括音频混响参数和回声参数)，同时，会议终端读取预设音频属性，并根据该预设音频属性确定麦克风增益和低/中/高频声音能量的调整参数(EQ)，会议终端还需要根据采集到的实时音频的能量确定声音能量的调整增益(DRC)。例如，根据麦克风增益属性确定麦克风增益、根据声学属性确定低/中/高频声音能量的增加或减弱(EQ)、根据采集到的音频的能量动态调整增益(DRC)等等。

需要说明的是，也可以将会议终端通过自动识别单元自动识别当前环境的物理特性和空间特性，从而得到音频处理参数(例如音频混响参数和回声参数)和音频采集参数(例如麦克风增益、低/中/高频声音能量的调整、声音能量的调整增益等)，且通过自动识别单元自动扫描预设的无线频段范围，从而得到当前环境中空闲的无线频段(也即无线配对信息)至于步骤S201之前，即在和无线音频采集设备建立有线连接之前就通过自动识别单元获取了无线配对信息、音频处理参数以及音频采集参数。此种方式为步骤S201至S203的执行提供了依据和数据来源。

在一种实施例中，会议终端还包括音频播放单元，会议终端根据预设高频音和所述当前环境的物理空间特性，确定音频处理参数的步骤包括：会议终端在所述当前环境的物理空间特性中，通过音频播放单元播放预设高频音，并记录播放时刻；会议终端通过音频采集单元，采集预设高频音的反射波，并记录采集时刻；会议终端根据播放时刻和采集时刻，计算预设高频音和反射波之间的时间差；会议终端根据参数计算操作和所述时间差，确定音频处理参数，音频处理参数包括音频混响参数和回声参数。

具体的，会议终端通过自身的音频播放单元(例如扬声器)播放预设高频音，同时记录播放该预设高频音的播放时刻t₁，该预设高频音经过空间的传递和反射后，形成预设高频音的反射波，该反射波最终又会被自身的音频采集单元(例如自身的麦克风)采集到，当音频采集单元采集到该反射波时，记录采集到反射波的采集时刻t₂，会议终端根据该播放时刻t₁和采集时刻t₂，即能计算出该预设高频音从播放到采集到反射波之间的时间差Δt，会议终端根据参数计算操作(例如相关的算法进行校正处理操作)和该时间差Δt，得出具体环境中的音频处理参数。需要说明的是，该音频处理参数将用于后续采集到的音频数据的预处理(例如去混响处理和回声消除处理等)。

S202：无线音频采集设备基于无线配对信息与会议终端建立无线连接。

根据前述步骤，会议终端将依托其自身完成会场环境的检测和参数的计算得到的无线配对信息和音频处理参数通过有线连接发送给无线音频采集设备。具体的，无线音频采集设备先是对该有线连接的通信协议指令进行解析，从而得到无线配对信息和音频处理参数，然后无线音频采集设备应用该无线配对信息与会议终端建立无线连接，例如，通过最佳无线频段与会议终端进行无线通信。

这种通过会议终端基于有线连接发送无线配对信息的方式，使得无线音频采集设备可以快速基于该无线配对信息与会议终端建立无线连接，避免了由于无线干扰或频段占用导致的连接问题。

S203：无线音频采集设备根据音频处理参数，对基于音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据，并基于无线连接发送第一处理音频数据至会议终端。

在一种实施例中，步骤S203包括：无线音频采集设备基于音频采集参数采集音频数据，得到第一音频采集数据；无线音频采集设备根据音频处理参数对第一音频采集数据进行预处理，得到第一处理音频数据；其中，预处理包括去混响的音频算法预处理和回声消除的音频算法预处理；无线音频采集设备基于无线连接发送第一处理音频数据至所述会议终端。

根据前述步骤，会议终端将依托其自身完成会场环境的检测和参数的计算得到的音频处理参数和音频采集参数通过有线连接发送给无线音频采集设备后，无线音频采集设备先是对该有线连接的通信协议指令进行解析，从而得到音频处理参数和音频采集参数，首先将音频采集参数应用于音频采集，从而得到第一音频采集数据，然后将音频处理参数作为配置导入，从而实现第一音频采集数据的预处理。其中，音频采集参数包括麦克风增益、低/中/高频声音能量的调整参数(EQ)、声音能量的调整增益(DRC)，将其应用于音频数据的采集，具体包括根据麦克风增益调整采集到的原始音频的声音的响度，根据EQ对采集到的原始音频的低/中/高能量进行特定的调整，以及在采集到的原始音频的声音较小时根据DRC动态调整增益；预处理指的是应用音频处理参数，通过音频算法的方式来对音频数据进行处理的方式，具体的，预处理包括去混响的音频算法预处理和回声消除的音频算法预处理，其中，去混响的音频算法预处理指的是通过音频混响参数来消除由于空间反射导致的声音叠加(即混响)，回声消除的音频算法预处理指的是通过回声参数和来消除回声，以提高音频的清晰度和可辨识度。

需要说明的是，目前的无线配对连接方式，不包含音频数据的去混响、调整麦克风增益、EQ以及DRC等功能，而在上述过程中，通过会议终端实现了音频处理参数和音频采集参数的迁移，丰富了无线音频采集设备的音频采集和音频处理功能。

在一种实施例中，在步骤S203之前还包括：会议终端发送功能关闭指令至无线音频采集设备；无线音频采集设备接收并执行功能关闭指令，关闭无线音频采集设备的预置采集音频处理功能。其中，功能关闭指令指的是关闭无线音频采集设备的预置音频处理功能，该预置音频处理功能可以是无线音频采集设备出厂是自带的。

具体的，会议终端可以根据实际的音频处理需要通过有线连接的通信协议发送功能关闭指令至无线音频采集设备，以指示无线音频采集设备关闭其预置音频处理功能(包括降噪功能、背景抑制功能等)，无线音频采集设备接收到会议终端的指令，动态关闭预置音频处理功能。通过这种方式，可以确保无线音频采集设备获取到的音频数据为原始数据，避免由于引入音频处理参数后的数据失真和偏差。

在一种实施例中，在步骤S203之后还包括：会议终端接收第一处理音频数据，并根据音频处理参数，对基于音频采集参数采集到的音频数据进行预处理，得到与第一处理音频数据一致的第二处理音频数据；其中，预处理包括去混响的音频算法预处理和回声消除的音频算法预处理；会议终端对第一处理音频数据和第二处理音频数据进行融合处理，得到融合音频数据；会议终端将融合音频数据发送至参会终端。

基于前述步骤，会议终端依托自身的全功能性得到了音频处理参数和音频采集参数，为了保证两端音频数据的一致性，会议终端将音频采集参数应用于其自身音频采集单元的音频采集，从而得到第二音频采集数据，再根据该音频处理参数对该第二音频采集数据进行预处理，从而得到第二处理音频数据。其中，音频采集参数包括麦克风增益、低/中/高频声音能量的调整参数(EQ)、声音能量的调整增益(DRC)，将其应用于音频数据的采集，具体包括根据麦克风增益调整采集到的原始音频的声音的响度，根据EQ对采集到的原始音频的低/中/高能量进行特定的调整，以及在采集到的原始音频的声音较小时根据DRC动态调整增益；预处理指的是应用音频处理参数，通过音频算法的方式来对音频数据进行处理的方式，具体的，预处理包括去混响的音频算法预处理和回声消除的音频算法预处理，其中，去混响的音频算法预处理指的是通过音频混响参数来消除由于空间反射导致的声音叠加(即混响)，回声消除的音频算法预处理指的是通过回声参数和来消除回声，以提高音频的清晰度和可辨识度。

需要说明的是，DRC的作用是当输出的音频信号不是很大的时候，系统会按照原来的设定输出，但是当输出的音频信号过大的时候，为了保护喇叭DRC会将输出信号的幅度进行压缩将其限制在一个范围内。

由于会议终端和无线音频采集设备的音源相同，且应用了相同的音频采集参数采集音频数据，则采集到的音频数据也相同，然后又通过相同的音频处理参数对采集到的音频数据进行了预处理，因此无线音频采集设备得到的第一处理音频数据和会议终端得到的第二处理音频数据的音质效果大体上是一致的。

经过前述处理，无线音频采集设备的第一处理音频数据和会议终端的第二处理音频数据的音质效果将很大程度上保持一致，且会议终端和无线音频采集设备之间通过无线配对信息建立了可靠的无线连接，二者之间可以传递音频数据，无线音频采集数据将其第一处理音频数据发送至会议终端，会议终端在接收到第一处理音频数据后，将其与第一处理音频数据进行了融合处理，其中，融合处理指的是通过算法将两路音频数据通过编解码等处理融合为一路音频数据。具体的，在进行融合处理时，分别对第一处理音频数据和第二处理音频数据进行解码，得到第一解码音频数据和第二解码音频数据，由于第一处理音频数据和第二处理音频数据一致，因此，在对相同时间点对应解码音频数据进行融合运算时，可以迅速得到融合后的解码音频数据，再对解码音频数据进行编码，即能得到融合音频数据，最后会议终端将该融合音频数据发送至参会终端，使得参会终端方的用户可以清晰的听到会议中发言人发出的音频，该过程既减轻了会议终端的处理压力，又保证了整体音质效果的一致性。需要说明的是，若两路音频数据不一致，在进行融合处理时则还需要通过算法进行对混合损失进行补偿等处理，增加了处理难度，且得到的音频音质较差。

通过上述各实施例可知，本申请音频数据处理方法通过有线连接实现会议终端与无线音频采集设备之间的配对和连接，以及依托于会议终端完成会场环境的检测和参数的计算，得到无线配对信息、音频处理参数以及音频采集参数，并通过有线连接的通信协议传递给无线音频采集设备进行设置和使用，实现了会议终端与无线音频采集设备的快速无线配对和连接，避免由于无线干扰或频段占用导致的连接问题；同时，无线音频采集设备基于会议终端发送的音频采集参数采集音频数据，并基于会议终端发送的音频处理参数开启采集到的音频数据的预处理，既降低会议终端的处理压力，又达到了会议终端与无线音频采集设备音质效果的一致性。

为了更清晰的描述音频数据处理系统中终端和设备的交互情况，请参阅图3，图3为本申请实施例提供的会议终端和无线音频采集设备的交互示意图。其交互流程如下所示：

S301：会议终端与无线音频采集设备建立有线连接；无线音频采集设备与会议终端建立有线连接。

会议终端通过第一接口单元与无线音频采集设备的第二接口单元相连，从而建立起有线连接。其中，第一接口单元可以包括USB接口，可选的，其还可以是Type-C接口等其他第三方接口，相同的，第二接口单元也可以包括USB接口，可选的，其还可以是Type-C接口等其他第三方接口。需要说明的是，会议终端与无线音频采集设备通过第一接口单元和第二接口单元建立连接时，其接口应该适配。

S302：无线音频采集设备发送设备标识给会议终端。

无线音频采集设备和会议终端通过第二接口单元建立了有线连接，此时无线音频采集设备会自动切换至数据传输模式，用于底层的接口信息交互和传递。在该音频数据处理系统中，无线音频采集设备可以作为客户端角色，而会议终端可以作为服务端角色，无线音频采集设备基于有线连将设备标识发送至会议终端，其中，当第二接口单元为USB接口时，传输的信息包括但不限于设备标识(USB VID(供应商ID)或者USB PID(产品识别码))。

S303：会议终端接收设备标识。

会议终端基于该有线连接，接收到无线音频采集设备发送的设备标识。

S304：会议终端根据设备标识判断无线音频采集设备是否为可识别设备。

由于设备标识指的是用于区别无线音频采集设备的标识，因此，会议终端可以根据该设备标识对该无线音频采集设备的可识别性进行判断。

若该无线音频采集设备不是可识别设备，则执行S305。

S305：终止流程。

若该无线音频采集设备是可识别，则执行S306。

S306：发送无线配对信息、音频处理参数以及音频采集参数至无线音频采集设备。

由于无线音频采集设备此时处于数据传输模式，因此，会议终端在获取到了无线配对信息、音频处理参数以及音频采集参数后，可以通过有线连接的通信协议指令将其发送至无线音频采集设备。

需要说明的是，会议终端通过自动识别单元获取无线配对信息、音频处理参数以及音频采集参数的具体步骤在前文的步骤S202中已经进行了详细的描述，在此不再赘述。此外，也可以将会议终端通过自动识别单元获取无线配对信息、音频处理参数以及音频采集参数的步骤至于步骤S301之前，即在和无线音频采集设备建立有线连接之前就获取了无线配对信息、音频处理参数以及音频采集参数，通过将获取步骤前置的方式，为步骤S301至S314的执行提供了依据和数据来源。

S307：无线音频采集设备接收无线配对信息、音频处理参数以及音频采集参数。

由于无线音频采集设备此时处于数据传输模式，因此无线音频采集设备可以接收该通信协议指令，并对该通信协议指令进行解析，得到指令携带的无线配对信息、音频处理参数以及音频采集参数。

S308：无线音频采集设备基于无线配对信息与会议终端建立无线连接；会议终端基于无线配对信息与无线音频采集设备建立无线连接。

无线音频采集设备应用该无线配对信息与会议终端建立无线连接，例如，通过最佳无线频段与会议终端进行无线通信；同时，会议终端也应用该无线配对信息与无线音频采集设备建立无线连接，此时，会议终端和无线音频采集设备可以基于无线连接相互通信。

S309：无线音频采集设备基于音频采集参数采集音频，得到第一音频采集数据。

为了保证两端采集的音频数据的一致性，无线音频采集设备将音频采集参数应用于音频采集，从而得到第一音频采集数据。其中，音频采集参数包括麦克风增益、低/中/高频声音能量的调整参数(EQ)、声音能量的调整增益(DRC)，将其应用于音频数据的采集，具体包括根据麦克风增益调整采集到的原始音频的声音的响度，根据EQ对采集到的原始音频的低/中/高能量进行特定的调整，以及在采集到的原始音频的声音较小时根据DRC动态调整增益。

S310：无线音频采集设备根据音频处理参数对第一音频采集数据进行预处理，得到第一处理音频数据。

无线音频采集设备将音频处理参数作为配置导入，从而实现音频数据的预处理，得到第一处理音频数据，以消除环境中由于反射形成的音频混响，提升主音源的声学响度和辨识度。其中，预处理指的是应用音频处理参数，通过音频算法的方式来对音频数据进行处理的方式，预处理包括去混响的音频算法预处理和回声消除的音频算法预处理，其中，去混响的音频算法预处理指的是通过音频混响参数来消除由于空间反射导致的声音叠加(即混响)，回声消除的音频算法预处理指的是通过回声参数和来消除回声。

S311：无线音频采集设备发送第一处理音频数据至会议终端。

由于会议终端和无线音频采集设备可以基于无线连接相互通信，无线音频采集设备基于该无线连接将第一处理音频数据发送至会议终端。

S312：会议终端接收第一处理音频数据。

会议终端基于该无线连接，接收到无线音频采集设备发送的第一处理音频数据。由于会议终端和无线音频采集设备的音源相同，且应用了相同的音频采集参数采集音频数据，则采集到的音频数据也相同，然后通过相同的音频处理参数对采集到的音频数据进行了预处理，因此无线音频采集设备得到的第一处理音频数据和会议终端得到的处理音频数据的音质效果将在很大程度上保持一致。

S313：会议终端通过音频采集单元基于音频采集参数采集音频数据，得到第二音频采集数据。

为了保证两端采集的音频数据的一致性，会议终端将音频采集参数应用于其自身音频采集单元的音频采集，从而得到第二音频采集数据。其中，音频采集参数包括麦克风增益、低/中/高频声音能量的调整参数(EQ)、声音能量的调整增益(DRC)，将其应用于音频数据的采集，具体包括根据麦克风增益调整采集到的原始音频的声音的响度，根据EQ对采集到的原始音频的低/中/高能量进行特定的调整，以及在采集到的原始音频的声音较小时根据DRC动态调整增益。

S314：会议终端根据音频处理参数对第二音频采集数据进行预处理，得到第二处理音频数据。

为了进一步保证两端音频数据的一致性，会议终端将基于该音频处理参数对其自身音频采集单元采集到的第二音频采集数据进行预处理，从而得到第二处理音频数据。其中，预处理指的是应用音频处理参数，通过音频算法的方式来对音频数据进行处理的方式，预处理包括去混响的音频算法预处理和回声消除的音频算法预处理，其中，去混响的音频算法预处理指的是通过音频混响参数来消除由于空间反射导致的声音叠加(即混响)，回声消除的音频算法预处理指的是通过回声参数和来消除回声，以提高音频的清晰度和可辨识度。

S315：会议终端对第一处理音频数据和第二处理音频数据进行融合处理，得到融合音频数据。

会议终端在接收到第一处理音频数据后，将其与第一处理音频数据进行了融合处理，其中，融合处理指的是通过算法将两路音频数据通过编解码等处理融合为一路音频数据。具体的，在进行融合处理时，分别对第一处理音频数据和第二处理音频数据进行解码，得到第一解码音频数据和第二解码音频数据，由于第一处理音频数据和第二处理音频数据一致，因此，在对相同时间点对应解码音频数据进行融合运算时，可以迅速得到融合后的解码音频数据，再对解码音频数据进行编码，即能得到融合音频数据。该过程既减轻了会议终端的处理压力，又保证了整体音质效果的一致性。

基于上述实施例的内容，本申请实施例提供了一种会议终端，具体地，请参阅图4，该会议终端包括：

第一发送单元401，用于通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；

第一接收单元402，用于接收所述无线音频采集设备基于无线连接发送的第一处理音频数据。

需要说明的是，第一接收单元指的是集成在无线单元上的数据接收单元。其中，无线单元属于短距离无线传输技术，会议终端通过无线单元可以传输音频数据，其为用户提供了无线的宽带互联网访问。

此外，该会议终端还可以包括：

第一接口单元，用于与无线音频采集设备建立有线连接。

其中，第一接口单元可以包括USB接口，可选的，其还可以是Type-C接口等其他第三方接口。

在一种实施例中，第一发送单元401包括：

第一判断单元，用于接收所述设备标识，并根据所述设备标识判断所述无线音频采集设备是否为可识别设备，得到判断结果；

自动识别单元，用于在所述判断结果表征所述无线音频采集设备为可识别设备时，获取无线配对信息、音频处理参数以及音频采集参数；

信息发送单元，用于通过所述有线连接的通信协议指令，发送所述无线配对信息、所述音频处理参数以及音频采集参数至所述无线音频采集设备。

在一种实施例中，自动识别单元包括：

自动扫描单元，用于基于当前环境自动扫描预设的无线频段范围，并根据扫描结果确定无线配对信息；

处理参数确定单元，用于根据预设高频音和所述当前环境的物理空间特性，确定音频处理参数；

采集参数确定单元，用于根据预设声学属性和实时音频能量，确定音频采集参数。

在一种实施例中，该会议终端还包括音频播放单元和音频采集单元，其中：

音频播放单元，用于在所述当前环境的物理空间特性中，播放预设高频音；

音频采集单元，用于采集所述预设高频音的反射波。

在一种实施例中，处理参数确定单元包括：

第一记录单元，用于记录音频播放单元播放预设高频音的播放时刻；

第二记录单元，用于记录音频采集单元采集反射波的采集时刻；

时间差计算单元，用于所述会议终端根据所述播放时刻和所述采集时刻，计算所述预设高频音和所述反射波之间的时间差；

参数确定子单元，用于根据参数计算操作和所述时间差，确定音频处理参数，所述音频处理参数包括音频混响参数和回声参数。

在一种实施例中，音频采集单元还用于基于所述音频采集参数采集音频数据，得到第二音频采集数据。

在一种实施例中，会议终端还包括：

数据处理单元，用于根据所述音频处理参数对所述第二音频采集数据进行预处理，得到第二处理音频数据；其中，所述预处理包括去混响的音频算法预处理和回声消除的音频算法预处理。

在一种实施例中，会议终端还包括：

关闭指令发送单元，用于发送功能关闭指令至所述无线音频采集设备。

在一种实施例中，会议终端还包括：

数据融合单元，用于接收无线音频采集设备发送的第一处理音频数据，并对所述第一处理音频数据和所述第二处理音频数据进行融合处理，得到融合音频数据；

音频发送单元，用于将所述融合音频数据发送至参会终端。

区别于当前的技术，本申请提供的会议终端设置了第一发送单元，通过第一发送单元基于有线连接将其自身获取的无线配对信息、音频处理参数以及音频采集参数往无线音频采集设备迁移，消除了无线音频采集设备自身硬件设计上的局限性，相比于传统的蓝牙或超声波等无线配对方式，避免了由于无线干扰或者频段占用导致的连接问题，提高了连接配对方式的可靠性，同时也降低了会议终端本身的处理压力。

此外，本申请实施例提供了一种无线音频采集设备，具体地，请参阅图5，该无线音频采集设备包括：

第二接收单元501，用于接收所述会议终端通过有线连接发送的无线配对信息、音频处理参数以及音频采集参数；

无线单元502，用于基于所述无线配对信息与所述会议终端建立无线连接；

预处理单元503，用于根据所述音频处理参数，对基于所述音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据；

第二发送单元504，用于基于所述无线连接发送所述第一处理音频数据至所述会议终端。

其中，无线单元属于短距离无线传输技术，会议终端通过无线单元可以传输音频数据，其为用户提供了无线的宽带互联网访问。

此外，该无线音频采集设备还可以包括第二接口单元，用于与会议终端建立有线连接。其中，第二接口单元可以包括USB接口，可选的，其还可以是Type-C接口等其他第三方接口。需要说明的是，无线音频采集设备的第二接口单元应与会议终端的第一接口单元适配，当无线音频采集设备通过第二接口单元与会议终端建立有线连接后，无线音频采集设备会自动切换至数据传输模式。

在一种实施例中，无线音频采集设备还包括：

第三发送单元，用于基于有线连接发送设备标识至会议终端。

在一种实施例中，无线音频采集设备还包括：

第三接收单元，用于接收会议终端通过有线连接的通信协议指令发送的无线配对信息、音频处理参数以及音频采集参数。

在一种实施例中，无线音频采集设备还包括：

采集单元，用于基于所述音频采集参数采集所述音频数据，得到第一音频采集数据；

第二数据处理单元，用于根据所述音频处理参数对所述第一音频采集数据进行预处理，得到第一处理音频数据；其中，所述预处理包括去混响的音频算法预处理和回声消除的音频算法预处理。

在一种实施例中，无线音频采集设备还包括：

关闭指令执行单元，用于接收并执行功能关闭指令，关闭无线音频采集设备的预置音频采集处理功能。

除此之外，该无线音频采集设备还可以包括电源模块；电源模块(比如电池)可以用于给无线音频采集设备的各个部件供电，优选的，电源可以通过电源管理系统与无线音频采集设备的处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源模块还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。需要说明的是，电源模块可以满足无线音频采集设备无电源工作以及可移动的要求，此外，该无线音频采集设备可以通过第二接口单元与其他可供电设备相连进而实现供电，此时无线音频采集设备处于充电模式。

区别于当前的技术，本申请提供的无线音频采集设备设置了第二接收单元以及预处理单元，通过第二接收单元接收了依托于会议终端完成会场环境的检测和参数的计算得到无线配对信息、音频处理参数以及音频采集参数，通过有线传输的无线配对信息实现了会议终端与无线音频采集设备的快速无线配对和连接，避免由于无线干扰或频段占用导致的连接问题；同时，通过预处理单元基于会议终端发送的音频处理参数开启音频数据的预处理，既降低会议终端的处理压力，又达到了会议终端与无线音频采集设备音频效果的一致性。

以上对本申请实施例所提供的音频数据处理方法、系统、会议终端及无线音频采集设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种音频数据处理方法，其特征在于，应用于音频数据处理系统，所述音频数据处理系统包括会议终端和至少一个无线音频采集设备；所述方法包括：

所述会议终端通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；

所述无线音频采集设备基于所述无线配对信息与所述会议终端建立无线连接；

所述无线音频采集设备根据所述音频处理参数，对基于所述音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据，并基于所述无线连接发送所述第一处理音频数据至所述会议终端。

2.根据权利要求1所述的音频数据处理方法，其特征在于，所述会议终端通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备的步骤，包括：

所述会议终端与所述无线音频采集设备建立有线连接；

所述无线音频采集设备基于所述有线连接发送设备标识至所述会议终端；

所述会议终端接收所述设备标识，并根据所述设备标识判断所述无线音频采集设备是否为可识别设备，得到判断结果；

在所述判断结果表征所述无线音频采集设备为可识别设备时，所述会议终端获取无线配对信息、音频处理参数以及音频采集参数；

所述会议终端通过所述有线连接的通信协议指令，发送所述无线配对信息、所述音频处理参数以及所述音频采集参数至所述无线音频采集设备。

3.根据权利要求2所述的音频数据处理方法，其特征在于，所述在所述判断结果表征所述无线音频采集设备为可识别设备时，所述会议终端获取无线配对信息、音频处理参数以及音频采集参数的步骤，包括：

所述会议终端基于当前环境自动扫描预设的无线频段范围，并根据扫描结果确定无线配对信息；

所述会议终端根据预设高频音和所述当前环境的物理空间特性，确定音频处理参数；

所述会议终端根据预设声学属性和实时音频能量，确定音频采集参数。

4.根据权利要求3所述的音频数据处理方法，其特征在于，所述会议终端还包括音频播放单元，所述会议终端根据预设高频音和所述当前环境的物理空间特性，确定音频处理参数的步骤，包括：

所述会议终端在所述当前环境的物理空间特性中，通过所述音频播放单元播放预设高频音，并记录播放时刻；

所述会议终端通过所述音频采集单元，采集所述预设高频音的反射波，并记录采集时刻；

所述会议终端根据所述播放时刻和所述采集时刻，计算所述预设高频音和所述反射波之间的时间差；

所述会议终端根据参数计算操作和所述时间差，确定音频处理参数，所述音频处理参数包括音频混响参数和回声参数。

5.根据权利要求1所述的音频数据处理方法，其特征在于，所述无线音频采集设备根据所述音频处理参数，对基于所述音频采集参数采集到的所述音频数据进行预处理，得到第一处理音频数据，并基于所述无线连接发送所述第一处理音频数据至所述会议终端的步骤，包括：

所述无线音频采集设备基于所述音频采集参数采集所述音频数据，得到第一音频采集数据；

所述无线音频采集设备根据所述音频处理参数对所述第一音频采集数据进行预处理，得到第一处理音频数据；其中，所述预处理包括去混响的音频算法预处理和回声消除的音频算法预处理；

所述无线音频采集设备基于所述无线连接发送所述第一处理音频数据至所述会议终端。

6.根据权利要求1所述的音频数据处理方法，其特征在于，在所述无线音频采集设备根据所述音频处理参数，对基于所述音频采集参数采集到的所述音频数据进行预处理，得到第一处理音频数据，并基于所述无线连接发送所述第一处理音频数据至所述会议终端的步骤之前，还包括：

所述会议终端发送功能关闭指令至所述无线音频采集设备；

所述无线音频采集设备接收并执行所述功能关闭指令，关闭所述无线音频采集设备的预置音频采集处理功能。

7.根据权利要求1所述的音频数据处理方法，其特征在于，在所述无线音频采集设备根据所述音频处理参数，对基于所述音频采集参数采集到的所述音频数据进行预处理，得到第一处理音频数据，并基于所述无线连接发送所述第一处理音频数据至所述会议终端的步骤之后，还包括：

所述会议终端接收所述第一处理音频数据，并根据所述音频处理参数，对基于所述音频采集参数采集到的所述音频数据进行预处理，得到与所述第一处理音频数据一致的第二处理音频数据；其中，所述预处理包括去混响的音频算法预处理和回声消除的音频算法预处理；

所述会议终端对所述第一处理音频数据和所述第二处理音频数据进行融合处理，得到融合音频数据；

所述会议终端将所述融合音频数据发送至参会终端。

8.一种音频数据处理方法，其特征在于，应用于音频数据处理系统中的会议终端，所述音频数据处理系统包括会议终端和至少一个无线音频采集设备；所述方法包括：

通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；

接收所述无线音频采集设备基于无线连接发送的第一处理音频数据。

9.一种音频数据处理方法，其特征在于，应用于音频数据处理系统中的无线音频采集设备，所述音频数据处理系统包括会议终端和至少一个无线音频采集设备；所述方法包括：

接收所述会议终端通过有线连接发送的无线配对信息、音频处理参数以及音频采集参数；

基于所述无线配对信息与所述会议终端建立无线连接；

根据所述音频处理参数，对基于所述音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据；

基于所述无线连接发送所述第一处理音频数据至所述会议终端。

10.一种音频数据处理系统，其特征在于，所述音频数据处理系统包括会议终端和至少一个无线音频采集设备，其中：

所述会议终端，用于通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；还用于接收所述无线音频采集设备基于无线连接发送的第一处理音频数据；

所述无线音频采集设备，用于接收所述会议终端通过有线连接发送的无线配对信息、音频处理参数以及音频采集参数；还用于基于所述无线配对信息与所述会议终端建立无线连接，根据所述音频处理参数，对基于所述音频采集参数采集到的所述音频数据进行预处理，得到第一处理音频数据，并基于所述无线连接发送所述第一处理音频数据至所述会议终端。

11.一种会议终端，其特征在于，包括：

第一发送单元，用于通过有线连接发送无线配对信息、音频处理参数以及音频采集参数至所述无线音频采集设备；

第一接收单元，用于接收所述无线音频采集设备基于无线连接发送的第一处理音频数据。

12.一种无线音频采集设备，其特征在于，包括：

第二接收单元，用于接收所述会议终端通过有线连接发送的无线配对信息、音频处理参数以及音频采集参数；

无线单元，用于基于所述无线配对信息与所述会议终端建立无线连接；

预处理单元，用于根据所述音频处理参数，对基于所述音频采集参数采集到的音频数据进行预处理，得到第一处理音频数据；

第二发送单元，用于基于所述无线连接发送所述第一处理音频数据至所述会议终端。

Images