CN111984219A - 基于fpga的音频处理器及音频处理方法 - Google Patents
基于fpga的音频处理器及音频处理方法 Download PDFInfo
- Publication number
- CN111984219A CN111984219A CN201910423748.5A CN201910423748A CN111984219A CN 111984219 A CN111984219 A CN 111984219A CN 201910423748 A CN201910423748 A CN 201910423748A CN 111984219 A CN111984219 A CN 111984219A
- Authority
- CN
- China
- Prior art keywords
- audio
- module
- fpga
- audio signal
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于FPGA的音频处理器及音频处理方法，该音频处理器包括：音频输入模块，包括光纤输入端口、计算机输入端口和网络输入端口，分别用于接收相应通道的数字音频信号；音频选择模块，其对音频输入模块接收的音频信号进行选择并输出给下级模块；音效合成模块，其对音频选择模块输出的音频信号进行合成；音频输出模块，其将音效合成模块合成的音频信号进行输出。本发明利用现场可编程门阵列FPGA芯片进行音频处理，可接收多种渠道的数字音频信号，在传输高采样率、多通道数字音频信号时，保证传输的连续性及稳定性。
Description
技术领域
本发明涉及音频传输技术领域。
背景技术
现有的音频传输系统主要分为两类，一是模拟系统，一是数字系统。在模拟系统中，音频的传输，交换和选择，音量衰减和增加均以纯模拟方式实现，这适合于短距离音频传输，且音频通道较少的情况。在现有的数字系统中，音频信号的处理不再局限于模拟技术，在音频传输环节和处理环节，均以数字技术实现，比如蓝牙技术，以太网技术；这适合于多通道音频和远距离传输，因为数字信号在传输过程中不易出现衰减和突变，且传输带宽可以很大，比如千兆以太网。
传统的模拟传输系统由于整个系统由模拟器件组成，较容易受到周围环境的干扰，远距离传输信号质量保证难度较大；当音频轨道数量增加时，模拟传输系统的复杂度会大大增加。
现有输出传输系统所传输的音频内容包括压缩之后的音频、未压缩的音频等，压缩后的音频内容采样位数或采样频率会受到影响，导致数字内容质量下降，影响用户体验，传输前后还需要相应的编解码电路配合，会增加系统设计的复杂度；传输未压缩的音频内容能够保证良好的用户体验，但是也能让原创数字音频内容很轻松获得，无法保证音频原作者版权；现有数字音频传输系统所采用接口速率偏低，在传输高采样率、多通道数字音频内容时，较难保证传输的连续性及稳定性。
现有音频处理模块多采用嵌入式处理器作为主控，嵌入式处理器运算能力在应对多通道、高采样率音频信号时，可能受到性能制约导致处理实时性下降，甚至处理时间不固定等问题。
发明内容
为了解决上述问题，本发明提供一种基于FPGA的音频处理器及音频处理方法，利用现场可编程门阵列FPGA芯片进行音频处理，可接收多种渠道的数字音频信号，在传输高采样率、多通道数字音频信号时，保证传输的连续性及稳定性。
本发明的基于FPGA的音频处理器，包括：
音频输入模块，包括光纤输入端口、计算机输入端口和网络输入端口，分别用于接收相应通道的数字音频信号；
音频选择模块，其对音频输入模块接收的音频信号进行选择并输出给下级模块；
音效合成模块，其对音频选择模块输出的音频信号进行合成；
音频输出模块，其将音效合成模块合成的音频信号进行输出。
优选地，光纤输入端口包括数据恢复和重组模块，将接收的数字音频信号直接输出为多轨音频信号，并直接传送给音频选择模块。
优选地，计算机输入接口接收计算机下发的数据，使用FPGA的PCIE IP核解析出PCIE所下发的TLP包，并根据PCIE总线通讯协议标准，对计算机下发数据进行解析。
优选地，网络输入接口通过网线进行传输，使用FPGA的MAC IP接收从PHY芯片传输的网络数据流，并将网络数据流转换为FPGA处理的信号。
优选地，本发明的基于FPGA的音频处理器，还包括版权保护模块，其对接收的加密的音频信号进行解密，并对音效合成后的音频信号进行加密处理。
优选地，计算机输入端口和所述网络输入端口分别将接收的加密的音频信号传送给所述版权保护模块进行解密。
优选地，本发明的基于FPGA的音频处理器，还包括音频解析模块，其将版权保护模块解密的音频信号解析出各轨音频并传送给音频选择模块。
优选地，光纤输入端口、计算机输入端口和网络输入端口分别可接收8轨48KHz采样数字音频信号。
优选地，音频合成模块包括滤波器和加权模块，其使用输入的6轨音频合成出两轨音频，并与原有6轨音频一起发送到后级输出接口。
优选地，音频输出模块包括光纤发送端口、计算机发送端口和网络发送端口。光纤发送端口直接输出8轨加密音频数据；计算机发送端口使用FPGA内部模拟的协议栈及高速串行接口将数据上传至计算机；网络发送端口使用FPGA内部的MAC层IP发送UDP协议包，经由板载PHY芯片转化为网络电平信号输出。
本发明还涉及一种基于FPGA的音频处理方法，包括以下步骤：
分别接收光纤输入的数字音频信号、计算机输入的数字音频信号和网络输入的数字音频信号；
对接收的数字音频信号进行选择并输出给下级模块；
对选择的数字音频信号进行合成；
将合成的音频信号输出给下级设备。
优选地，分别接收光纤输入的数字音频信号、计算机输入的数字音频信号和网络输入的数字音频信号包括：
对接收的光纤输入的数字音频信号进行数据恢复和数据重组，直接输出为多轨音频信号；
接收计算机下发的数据，使用FPGA的PCIE IP核解析出PCIE所下发的TLP包，并根据PCIE总线通讯协议标准，对计算机下发数据进行解析；
使用FPGA的MAC IP接收从PHY芯片传输的网络数据流，并将网络数据流转换为FPGA处理的信号。
优选地，对选择的数据音频信号进行合成包括：
对音频数据进行滤波和加权求和处理，其使用输入的6轨音频合成出两轨音频，并与原有6轨音频一起发送到后级输出接口。
优选地，将合成的音频信号输出给下级设备包括：
直接通过光纤输出8轨加密音频数据；
使用FPGA内部模拟的协议栈及高速串行接口将数据上传至计算机；
使用FPGA内部的MAC层IP发送UDP协议包，经由板载PHY芯片转化为网络电平信号输出。
本发明的基于FPGA的音频处理器和音频处理方法，接收多渠道的数字音频信号，利用现场可编程门阵列FPGA芯片进行音频处理，在传输高采样率、多通道数字音频信号时，保证传输的连续性及稳定性。通过对音频数据进行加密处理，便于音频的版权保护；同时，通过对音频的处理，给用户带来全方位的声音体验。
附图说明
下面参考附图描述本发明的优选实施例，附图为了说明本发明的优选实施例而不是为了限制本发明的目的。附图中，
图1为本发明实施例的音频处理器的功能框图；
图2为本发明实施例的音频处理方法的流程框图。
具体实施方式
本发明的具体实施方式用来具体说明本发明，但并不局限于该具体实施方式。
图1为本发明实施例的音频处理器的功能框图。
如图1所示，本实施例的基于FPGA的音频处理器，包括：音频输入模块，音频选择模块，音效合成模块和音频输出模块。
音频输入模块，包括光纤输入端口、计算机输入端口和网络输入端口，分别用于接收相应通道的数字音频信号。每个输入端口均可接收8轨48KHz采样数字音频信号。
音频选择模块，其对音频输入模块接收的音频信号进行选择并输出给下级模块。
音效合成模块，其对音频选择模块输出的音频信号进行合成。
音频输出模块，其将音效合成模块合成的音频信号进行输出。
光纤输入端口包括数据恢复和重组模块，将接收的数字音频信号直接输出为多轨音频信号，并直接传送给音频选择模块。光纤输入端口可以采用ADAT接口，ADAT信号经过模块集成ADAT数据接收模块后，进入FPGA芯片管脚，FPGA直接采样接收到ADAT数字信号。模块集成ADAT数据接收模块完成数据恢复及重组功能，所输出数据内容为多轨音频信号，并直接送入音频选择模块。
计算机输入端口接收计算机下发的数据，使用FPGA的PCIE IP核解析出PCIE所下发的TLP包，并根据PCIE总线通讯协议标准，对计算机下发数据进行解析。计算机输入端口可以采用PCI-E X4接口，解析出计算机下发的音频数据如果为原始数据，则直接输出，输出内容包括6轨音频数据和模块当前所要处理数据的数据源选择，一同送入音频选择模块。模块能够通过PCI-E接口与通用计算机直接或带有PCIE接口的服务器通信，部署简单，通用性强。
网络输入端口通过网线进行传输，使用FPGA的MAC IP接收从PHY芯片传输的网络数据流，并将网络数据流转换为FPGA处理的信号。网络音频流通过网线进行传输，采用的传输协议为UDP协议。网络音频首先进入RJ45网口，该网口自带变压器，将网络信号电平转换为适合以太网PHY处理的电平标准，PHY芯片型号为88E1111，其在适配对方传输速率的同时，将网络信号解析转换成了便于FPGA处理的信号。
FPGA内部自带的三速以太网MAC IP接收从PHY芯片传输过来的网络数据流，将之解析成适合用户处理的数据流；IP_RX模块包含三速以太网IP及解析网络数据包的功能，其把网络包的头部信息提取后，保留了数据包长度信息，其余信息丢弃，而网络包的负载部分则保留下来。
以上三路音频数据及数据源选择配置进入音频选择模块后，音频选择模块根据源选择配置，将相应音频源所传输的数据输出到音效合成模块。
在一个具体实施例中，本发明的基于FPGA的音频处理器，还包括版权保护模块，其对接收的加密的音频信号进行解密，并对音效合成后的音频信号进行加密处理。
计算机输入端口和所述网络输入端口分别将接收的加密的音频信号传送给所述版权保护模块进行解密。
计算机输入端口如果解析出计算机下发的音频数据是加密数据，则先通过版权保护模块对数据进行解密处理，再将解密后的音频数据，输送给音频选择模块。
网络输入端口解析网络数据包后，保留的网络包负载如果是加密数据包，则通过版权保护模块将加密了的网络包负载部分解密，还原出原始的音频数据流。
进一步地，本发明的基于FPGA的音频处理器，还包括音频解析模块，其将版权保护模块解密的音频信号解析出各轨音频并传送给音频选择模块。
音频合成模块包括滤波器和加权模块，其使用输入的6轨音频合成出两轨音频，并与原有6轨音频一起发送到后级输出接口，即音频输出模块。
音频合成模块输入为六轨音频数据，分别为：左、右、左后、右后、中置、低频等声道；输出为声场包围的左、右声道两轨数据。六轨音频数据在进入音频合成模块后，分别进入相应的高阶FIR滤波器进行滤波操作，各个滤波器阶数相同，但其频率响应各不相同，滤波操作改变输入音频流的相位，增加音频信号的方向感；滤波器输出信号仍为六轨音频信号，并通过加权模块进行处理，加权模块内部采用加权求和的方式，将六轨音频信号，合成为两轨音频信号，在左右两个声场包围声道加权求和过程中，所有六轨音频信号权值均小于一，以确保求和之后值不会溢出。
音频输出模块包括光纤发送端口、计算机发送端口和网络发送端口。
光纤发送端口直接输出8轨加密音频数据。音频可以通过版权保护模块进行加密，FPGA控制板卡上集成的ADAT发送接口将八轨加密音频数据发送出去。
计算机发送端口使用FPGA内部模拟的协议栈及高速串行接口将数据上传至计算机。计算机发送端口可以采用PCI-E接口，PCI-E接口发送与接收过程类似，音频经打包后，通过版权保护模块对音频数据进行加密，使用FPGA内部模拟的PCI-E协议栈及高速串行接口IP，将数据上传至计算机。
网络发送端口使用FPGA内部的MAC层IP发送UDP协议包，经由板载PHY芯片转化为网络电平信号输出。网络发送端口发送与接收类似，将八轨音频打包后，在通过版权保护模块对音频进行加密，然后使用FPGA内部的MAC层IP，发送UDP协议包，经由板载PHY芯片转化为网络电平信号发送出去。
图2为本发明实施例的音频处理方法的流程框图。
本发明还涉及一种基于FPGA的音频处理方法，包括以下步骤：
步骤S1，分别接收光纤输入的数字音频信号、计算机输入的数字音频信号和网络输入的数字音频信号。
步骤S2，对接收的数字音频信号进行选择并输出给下级模块；
步骤S3，对选择的数字音频信号进行合成；
步骤S4，将合成的音频信号输出给下级设备。
在步骤S1中，分别接收光纤输入的数字音频信号、计算机输入的数字音频信号和网络输入的数字音频信号包括：
步骤S11，对接收的光纤输入的数字音频信号进行数据恢复和数据重组，直接输出为多轨音频信号。
步骤S12，接收计算机下发的数据，使用FPGA的PCIE IP核解析出PCIE所下发的TLP包，并根据PCIE总线通讯协议标准，对计算机下发数据进行解析。
步骤S13，使用FPGA的MAC IP接收从PHY芯片传输的网络数据流，并将网络数据流转换为FPGA处理的信号。
在步骤S2中，对选择的数据音频信号进行合成包括：
对音频数据进行滤波和加权求和处理，其使用输入的6轨音频合成出两轨音频，并与原有6轨音频一起发送到后级输出接口。
在步骤S4中，将合成的音频信号输出给下级设备包括：
直接通过光纤输出8轨加密音频数据；
使用FPGA内部模拟的协议栈及高速串行接口将数据上传至计算机；
使用FPGA内部的MAC层IP发送UDP协议包，经由板载PHY芯片转化为网络电平信号输出。
通过本发明的基于FPGA的音频处理器和音频处理方法，能同时接收光纤输入音频信号、计算机音频信号及网络音频信号，并根据使用需求选择相应的输出模式。在网络传输过程中，对音频流进行加密处理，有效保障音频的版权。通过PCI-E接口与通用计算机直接或带有PCIE接口的服务器通信，部署简单，通用性强。并且，通过对音频信号的处理，改善了用户体验。
Claims (10)
1.一种基于FPGA的音频处理器，其特征在于，包括：
音频输入模块，包括光纤输入端口、计算机输入端口和网络输入端口，分别用于接收相应通道的数字音频信号；
音频选择模块，其对所述音频输入模块接收的音频信号进行选择并输出给下级模块；
音效合成模块，其对所述音频选择模块输出的音频信号进行合成；
音频输出模块，其将所述音效合成模块合成的音频信号进行输出。
2.根据权利要求1所述的基于FPGA的音频处理器，其特征在于，所述光纤输入端口包括数据恢复和重组模块，将接收的数字音频信号直接输出为多轨音频信号，并直接传送给所述音频选择模块。
3.根据权利要求1所述的基于FPGA的音频处理器，其特征在于，所述计算机输入接口接收计算机下发的数据，使用FPGA的PCIE IP核解析出PCIE所下发的TLP包，并根据PCIE总线通讯协议标准，对计算机下发数据进行解析。
4.根据权利要求1所述的基于FPGA的音频处理器，其特征在于，所述网络输入接口通过网线进行传输，使用FPGA的MAC IP接收从PHY芯片传输的网络数据流，并将网络数据流转换为FPGA处理的信号。
5.根据权利要求3或4所述的基于FPGA的音频处理器，其特征在于，还包括版权保护模块，其对接收的加密的音频信号进行解密，并对音效合成后的音频信号进行加密处理。
6.根据权利要求5所述的基于FPGA的音频处理器，其特征在于，
所述计算机输入端口和所述网络输入端口分别将接收的加密的音频信号传送给所述版权保护模块进行解密。
7.根据权利要求6所述的基于FPGA的音频处理器，其特征在于，还包括音频解析模块，其将所述版权保护模块解密的音频信号解析出各轨音频并传送给所述音频选择模块。
8.根据权利要求1-4任一项所述的基于FPGA的音频处理器，其特征在于，所述光纤输入端口、计算机输入端口和网络输入端口分别可接收8轨48KHz采样数字音频信号，所述音频合成模块包括滤波器和加权模块，其使用输入的6轨音频合成出两轨音频，并与原有6轨音频一起发送到后级输出接口。
9.根据权利要求1-4任一项所述的基于FPGA的音频处理器，其特征在于，
所述音频输出模块包括光纤发送端口、计算机发送端口和网络发送端口，
所述光纤发送端口直接输出8轨加密音频数据；
所述计算机发送端口使用FPGA内部模拟的协议栈及高速串行接口将数据上传至计算机；
所述网络发送端口使用FPGA内部的MAC层IP发送UDP协议包，经由板载PHY芯片转化为网络电平信号输出。
10.一种基于FPGA的音频处理方法，其特征在于，包括以下步骤：
分别接收光纤输入的数字音频信号、计算机输入的数字音频信号和网络输入的数字音频信号；
对接收的数字音频信号进行选择并输出给下级模块；
对选择的数字音频信号进行合成；
将合成的音频信号输出给下级设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910423748.5A CN111984219A (zh) | 2019-05-21 | 2019-05-21 | 基于fpga的音频处理器及音频处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910423748.5A CN111984219A (zh) | 2019-05-21 | 2019-05-21 | 基于fpga的音频处理器及音频处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111984219A true CN111984219A (zh) | 2020-11-24 |
Family
ID=73435845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910423748.5A Pending CN111984219A (zh) | 2019-05-21 | 2019-05-21 | 基于fpga的音频处理器及音频处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111984219A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201450583U (zh) * | 2009-05-05 | 2010-05-05 | 南京莱斯信息技术股份有限公司 | 多路输入音频混合交换装置 |
| CN106331955A (zh) * | 2016-10-26 | 2017-01-11 | 深圳市米尔声学科技发展有限公司 | 音频信号的处理方法、装置和系统及发送设备和接收设备 |
| CN206117991U (zh) * | 2016-08-10 | 2017-04-19 | 深圳市米尔声学科技发展有限公司 | 音频处理设备 |
| CN106936847A (zh) * | 2017-04-11 | 2017-07-07 | 深圳市米尔声学科技发展有限公司 | 音频数据的处理方法及处理器 |
| CN108667845A (zh) * | 2018-05-18 | 2018-10-16 | 中电科航空电子有限公司 | 一种低延迟的处理机载以太网音频流的系统和方法 |
-
2019
- 2019-05-21 CN CN201910423748.5A patent/CN111984219A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201450583U (zh) * | 2009-05-05 | 2010-05-05 | 南京莱斯信息技术股份有限公司 | 多路输入音频混合交换装置 |
| CN206117991U (zh) * | 2016-08-10 | 2017-04-19 | 深圳市米尔声学科技发展有限公司 | 音频处理设备 |
| CN106331955A (zh) * | 2016-10-26 | 2017-01-11 | 深圳市米尔声学科技发展有限公司 | 音频信号的处理方法、装置和系统及发送设备和接收设备 |
| CN106936847A (zh) * | 2017-04-11 | 2017-07-07 | 深圳市米尔声学科技发展有限公司 | 音频数据的处理方法及处理器 |
| CN108667845A (zh) * | 2018-05-18 | 2018-10-16 | 中电科航空电子有限公司 | 一种低延迟的处理机载以太网音频流的系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101008506B1 (ko) | 오디오 비디오 브리징이 있는 이더넷을 이용하는 중앙집중형 차량용 전자 시스템을 위한 방법 및 시스템 | |
| CN105099828B (zh) | 一种高性能网络测试仪的实现方法 | |
| CN102291291B (zh) | 用于可获知时间的内置远程镜像的方法 | |
| JP6245795B2 (ja) | ネットワークメディアアダプタ | |
| CN104254007B (zh) | 一种音频处理方法及装置 | |
| US7111208B2 (en) | On-chip standalone self-test system and method | |
| US20140068716A1 (en) | Method and system for a gigabit ethernet ip telephone chip with integrated security module | |
| EP1331561A3 (en) | Program, network system, terminal apparatus, and server apparatus | |
| CN101686185B (zh) | 一种在分组网络中传送tdm业务的方法、装置及系统 | |
| US7411946B2 (en) | Network monitor and method | |
| CN115022776A (zh) | 一种机载综合音频处理单元 | |
| US7555574B2 (en) | Asymmetric data path media access controller | |
| CN101527724A (zh) | 用于在高速互联网协议网络中传送数据的数据传输容器 | |
| CN100452885C (zh) | 一种基于pci的高速码流播放和接收装置 | |
| CN111984219A (zh) | 基于fpga的音频处理器及音频处理方法 | |
| JP3748376B2 (ja) | 送信装置、ソースパケット生成装置、パケット形態決定方法、及び記録媒体 | |
| CN116996590B (zh) | Fpga原型验证平台的以太网降速器及数据传输方法 | |
| JP3389747B2 (ja) | 伝送装置および伝送記録装置および再生伝送装置 | |
| CN104333546A (zh) | 一种基于sdi总线进行数据传输的隔离方法及装置 | |
| CN103428047B (zh) | 业务传输时延的测试方法、设备及系统 | |
| CN111988703A (zh) | 音频处理器及音频处理方法 | |
| CN112116915A (zh) | 基于fpga的数字音频信号解码器及解码方法 | |
| WO2016172765A1 (en) | A system for multiplexing a plurality of payloads and a method for multiplexing a plurality of payloads | |
| US20250211518A1 (en) | Hardware-based and efficient forwarding of data | |
| CN120110618A (zh) | 网络音频传输装置、方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20241213 |