CN109036455B - 直达声与背景声提取方法、扬声器系统及其声重放方法 - Google Patents
直达声与背景声提取方法、扬声器系统及其声重放方法 Download PDFInfo
- Publication number
- CN109036455B CN109036455B CN201811072475.6A CN201811072475A CN109036455B CN 109036455 B CN109036455 B CN 109036455B CN 201811072475 A CN201811072475 A CN 201811072475A CN 109036455 B CN109036455 B CN 109036455B
- Authority
- CN
- China
- Prior art keywords
- signal
- sound
- background
- direct
- sound signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 title claims description 21
- 230000005236 sound signal Effects 0.000 claims abstract description 61
- 238000000926 separation method Methods 0.000 claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 102000003712 Complement factor B Human genes 0.000 description 2
- 108090000056 Complement factor B Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
本发明涉及一种直达声与背景声提取方法,能够较好地区分直达声与背景声。本发明还涉及一种扬声器系统及其声重放方法。一种直达声与背景声提取方法,包括如下步骤:S1、分别将左声道信号xL(n)和右声道信号xR(n)进行短时傅里叶变换得到分别对应左声道信号和右声道信号的XL(m,k)和XR(m,k),其中n表示时域采样点,m和k分别表示离散时间和离散频率;S2、引入空间因子,将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号,并分别对XL(m,k)和XR(m,k)进行能量估计,得出左右声道的能量PL(m,k)和PR(m,k);S3、设定空间因子的值,进行信号分离得出时频域的直达声信号的估计左声道背景声信号的估计和右声道背景声信号的估计S4、经过逆傅里叶变换得到时域的直达声信号左声道背景声信号和右声道背景声信号
Description
技术领域
本发明涉及立体声双通道信号转换为多通道信号的方法,具体涉及一种基于频域空间分解的直达声与背景声提取方法、扬声器系统及其声重放方法。
背景技术
目前大多数的音源仍然是立体声的,包括CD、MP3、广播信号等都是双通道输出,仅有左右通道(L、R),所有的特征信息,比如直达声信号、混响声信号、声源位置、声场空间大小等都包含在两个通道内。当采用多个扬声器重放立体声音源时,如果直接将左右通道信号馈给各个扬声器,会造成空间声场的混乱。因此,需要采用数字信号处理技术将立体声信号转换为多通道信号,通过多个扬声器系统进行重放,以构建真实的空间声场。
传统处理方法一般采用时域逐点计算的方法,在分离直达声和背景声信号时,由于相关系数是采用逐点计算的方法,容易引入误差,导致直达声与背景声不能很好的区分。
如美国专利US6496584B2和中国专利ZL01802081.X公开的基于主成分分析(PCA)的方法,采用最小均方误差法计算左右通道的加权因子,分离出语言声与背景声,通过计算左右通道间的相关系数,确定在三维坐标下声信号的矢量关系,然后根据能量守恒原则将语言声与背景声分为左、中、右和环绕四个信号,再通过去相关滤波器把环绕信号分为左后和右后环绕,实现双通道到5通道的转换。这种方法从时域上进行计算,方法简单,运算速度快,但是通过PCA分析只能分离出一个环绕信号,而利用去相关滤波器分离左后和右后环绕的方法会产生一定的误差。
发明内容
针对上述问题,本发明旨在提出一种直达声与背景声提取方法,能够较好地区分直达声与背景声。本发明还旨在提出一种基于该直达声与背景声提取方法进行声重放的扬声器系统及其声重放方法。
根据本发明的第一个方面,本发明采用的技术方案为:
一种直达声与背景声提取方法,包括如下步骤:
S1、分别将左声道信号xL(n)和右声道信号xR(n)进行短时傅里叶变换得到分别对应左声道信号和右声道信号的XL(m,k)和XR(m,k),其中n表示时域采样点,m和k分别表示离散时间和离散频率;
S2、引入空间因子,将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号,并分别对XL(m,k)和XR(m,k)进行能量估计,得出左右声道的能量PL(m,k)和PR(m,k);
在一实施例,步骤S1中,
在一实施例中,步骤S2具体包括:
S21、在某一时间m和某一频段k,只存在一个声源Si,则
其中,AL、AR分别表示直达声信号分配给左右通道信号的系数;
S22、引入空间因子BL(m,k)和BR(m,k),得出如下表达式,NL(m,k)=BL(m,k)N(m,k),NR(m,k)=BR(m,k)N(m,k),
则,XL(m,k)和XR(m,k)分别简化为:
XL(m,k)=AL(m,k)S(m,k)+BL(m,k)N(m,k)
XR(m,k)=AR(m,k)S(m,k)+BR(m,k)N(m,k)
左右声道信号之间的相关系数
其中,E{}表示信号的期望;
S23、从能量角度可以得出左右声道的能量PL(m,k)和PR(m,k)分别为:
优选地,步骤S3具体包括:设定空间因子的值,得到PS(m,k),PN(m,k),AL(m,k),AR(m,k)的解析解,计算出下式(1)和(2)
根据本发明的第二个方面,本发明采用的技术方案为:
一种扬声器系统的声重放方法,采用如上所述的直达声与背景声提取方法分离出直达声信号和背景声信号,将直达声信号和背景声信号分配给扬声器系统的各个扬声器,以进行声重放。
具体地,根据立体声信号中声像的方位及所述扬声器系统的扬声器数量和位置,将直达声信号和背景声信号分配给扬声器系统的各个扬声器。
根据本发明的第三个方面,本发明采用的技术方案为:
一种扬声器系统,包括多个扬声器,其特征在于,所述扬声器系统还包括用于执行如上所述的直达声与背景声提取方法的提取装置。
具体地,所述提取装置包括包括依次连接的STFT模块、能量估计模块、信号分离模块及ISTFT模块,
所述STFT模块的输入为左声道信号xL(n)和右声道信号xR(n),用于进行短时傅里叶变换后输出对应左声道信号和右声道信号的XL(m,k)和XR(m,k);
所述能量估计模块,用于接收STFT模块输出的XL(m,k)和XR(m,k),并引入空间因子,将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号,并分别对XL(m,k)和XR(m,k)进行能量估计,得出左右声道的能量PL(m,k)和PR(m,k)并输出至所述信号分离模块;
本发明采用以上方案,相比现有技术具有如下优点:
通过定义左右声道信号之间的空间因子变量,以表征背景声信号在声传播过程中由于房间混响、空间大小等因素引起的左右通道之间的差异;可以分离出左右通道的背景声信号,而传统方法只能分离出一个背景信号。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明的直达声与背景声提取方法的信号处理流程图;
图2示出了左右声道信号;
图3示出了左右声道信号在某个时刻的相关系数;
图4a、4b、4c分别示出了分离后的直达声信号、左声道背景声信号、右声道背景声信号。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域的技术人员理解。在此需要说明的是,对于这些实施方式的说明用于帮助理解本发明,但并不构成对本发明的限定。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以互相结合。
本实施例提供一种直达声与背景声提取方法,参照图1所示的信号流程图,该提取方法包括如下步骤:
S1、分别将左声道信号xL(n)和右声道信号xR(n)进行短时傅里叶变换(STFT)得到分别对应左声道信号和右声道信号的XL(m,k)和XR(m,k),其中n表示时域采样点,m和k分别表示离散时间和离散频率;
S2、引入空间因子,将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号,并分别对XL(m,k)和XR(m,k)进行能量估计,得出左右声道的能量PL(m,k)和PR(m,k);
具体地,如图2所示,左、右声道信号分别为:
S1、经过短时傅里叶变换后(STFT),得到
其中,m和k分别表示时间和频率。
S2、有两个假设:
S22、引入空间因子B,将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号,类似于直达声信号的表达方式,即NL(m,k)=BL(m,k)N(m,k),NR(m,k)=BR(m,k)N(m,k)
这样,上述公式可以简化为
XL(m,k)=AL(m,k)S(m,k)+BL(m,k)N(m,k)
XR(m,k)=AR(m,k)S(m,k)+BR(m,k)N(m,k)
左右声道信号之间的相关系数(如图3所示)定义为
S23、从能量角度可以得出左右通道的能量分别为:
于是,可以计算出S(m,k),N(m,k)
再将空间因子BL(m,k)和BR(m,k)代入其中,可以得到NL(m,k),NR(m,k)。
该提取方法中,(1)通过定义左右声道信号之间的空间因子变量,以表征背景声信号在声传播过程中由于房间混响、空间大小等因素引起的左右通道之间的差异;(2)可以分离出左右通道的背景声信号,而传统方法只能分离出一个背景信号;(3)加入空间因子后的计算过程比较简单,可以得到直达声与背景声的解析解。
本实施例还提供一种扬声器系统的声重放方法,该扬声器系统包括多个扬声器,各扬声器分别布放在不同位置。该声重放方法是一种立体声转换多通道声信号的方法,具体包括:采用如上所述的直达声与背景声提取方法分离出直达声信号和背景声信号,根据立体声信号中声像的方位及所述扬声器系统的扬声器数量和位置,将直达声信号和背景声信号分配给扬声器系统的各个扬声器,从而完成声重放。
本实施例还提供一种扬声器系统,包括多个扬声器,所述扬声器系统还包括用于执行如上所述的直达声与背景声提取方法的提取装置。结合图1所示,该提取装置具体包括依次连接的STFT模块、能量估计模块、信号分离模块及ISTFT模块。其中,STFT模块的输入为左声道信号xL(n)和右声道信号xR(n),进行短时傅里叶变换后输出对应左声道信号和右声道信号的XL(m,k)和XR(m,k);能量估计模块接收STFT模块输出的XL(m,k)和XR(m,k),并引入空间因子,将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号,并分别对XL(m,k)和XR(m,k)进行能量估计,得出左右声道的能量PL(m,k)和PR(m,k)以及AL、AR并输出至信号分离模块;信号分离模块还设定空间因子的值,进行信号分离得出和并输出至ISTFT模块;ISTFT模块分别进行逆傅里叶变换,输出直达声信号左声道背景声信号和右声道背景声信号
上述实施例只为说明本发明的技术构思及特点,是一种优选的实施例,其目的在于熟悉此项技术的人士能够了解本发明的内容并据以实施,并不能以此限定本发明的保护范围。
Claims (8)
1.一种直达声与背景声提取方法,其特征在于,包括如下步骤:
S1、分别将左声道信号xL(n)和右声道信号xR(n)进行短时傅里叶变换得到分别对应左声道信号和右声道信号的XL(m,k)和XR(m,k),其中n表示时域采样点,m和k分别表示离散时间和离散频率;
S2、引入空间因子,将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号,并分别对XL(m,k)和XR(m,k)进行能量估计,得出左右声道的能量PL(m,k)和PR(m,k);
其中,步骤S2具体包括:
S21、在某一时间m和某一频段k,只存在一个声源Si,则
S22、引入空间因子BL(m,k)和BR(m,k),得出如下表达式,NL(m,k)=BL(m,k)N(m,k),NR(m,k)=BR(m,k)N(m,k),
其中,NL(m,k)和NR(m,k)分别表示左右通道的背景信号的时频域表达式,N(m,k)表示时频域的背景信号,bL(m,k)、bR(m,k)分别表示左右通道空间因子的幅度,分别表示左右通道空间因子的相位;
则,XL(m,k)和XR(m,k)分别简化为:
XL(m,k)=AL(m,k)S(m,k)+BL(m,k)N(m,k)
XR(m,k)=AR(m,k)S(m,k)+BR(m,k)N(m,k)
左右声道信号之间的相关系数
其中,E{}表示信号的期望;
S23、从能量角度可以得出左右声道的能量PL(m,k)和PR(m,k)分别为:
5.一种扬声器系统的声重放方法,其特征在于,采用如权利要求1-4任一项所述的直达声与背景声提取方法分离出直达声信号和背景声信号,将直达声信号和背景声信号分配给扬声器系统的各个扬声器,以进行声重放。
6.根据权利要求5所述的声重放方法,其特征在于,根据立体声信号中声像的方位及所述扬声器系统的扬声器数量和位置,将直达声信号和背景声信号分配给扬声器系统的各个扬声器。
7.一种扬声器系统,包括多个扬声器,其特征在于,所述扬声器系统还包括用于执行权利要求1-4任一项所述的直达声与背景声提取方法的提取装置。
8.根据权利要求7所述的扬声器系统,其特征在于:所述提取装置包括包括依次连接的STFT模块、能量估计模块、信号分离模块及ISTFT模块,
所述STFT模块的输入为左声道信号xL(n)和右声道信号xR(n),用于进行短时傅里叶变换后输出对应左声道信号和右声道信号的XL(m,k)和XR(m,k);
所述能量估计模块,用于接收STFT模块输出的XL(m,k)和XR(m,k),并引入空间因子,将背景声信号表达为一个信号经过房间内的不同传递路径而产生的信号,并分别对XL(m,k)和XR(m,k)进行能量估计,得出左右声道的能量PL(m,k)和PR(m,k)并输出至所述信号分离模块;
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811072475.6A CN109036455B (zh) | 2018-09-17 | 2018-09-17 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
| PCT/CN2019/075368 WO2020057050A1 (zh) | 2018-09-17 | 2019-02-18 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811072475.6A CN109036455B (zh) | 2018-09-17 | 2018-09-17 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109036455A CN109036455A (zh) | 2018-12-18 |
| CN109036455B true CN109036455B (zh) | 2020-11-06 |
Family
ID=64621766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811072475.6A Active CN109036455B (zh) | 2018-09-17 | 2018-09-17 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109036455B (zh) |
| WO (1) | WO2020057050A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109036455B (zh) * | 2018-09-17 | 2020-11-06 | 中科上声(苏州)电子有限公司 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
| CN111669697B (zh) * | 2020-05-25 | 2021-05-18 | 中国科学院声学研究所 | 一种多通道信号的相干声与环境声提取方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101622669A (zh) * | 2007-02-26 | 2010-01-06 | 高通股份有限公司 | 用于信号分离的系统、方法及设备 |
| CN105409247A (zh) * | 2013-03-05 | 2016-03-16 | 弗劳恩霍夫应用研究促进协会 | 用于音频信号处理的多声道直接-周围分解的装置及方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1286333B1 (en) * | 2001-08-21 | 2004-10-06 | Culturecom Technology (Macau) Ltd. | Method and apparatus for processing a sound signal |
| EP1761110A1 (en) * | 2005-09-02 | 2007-03-07 | Ecole Polytechnique Fédérale de Lausanne | Method to generate multi-channel audio signals from stereo signals |
| JP5082327B2 (ja) * | 2006-08-09 | 2012-11-28 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
| US8385556B1 (en) * | 2007-08-17 | 2013-02-26 | Dts, Inc. | Parametric stereo conversion system and method |
| US8103005B2 (en) * | 2008-02-04 | 2012-01-24 | Creative Technology Ltd | Primary-ambient decomposition of stereo audio signals using a complex similarity index |
| EP2360681A1 (en) * | 2010-01-15 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information |
| CN101894559B (zh) * | 2010-08-05 | 2012-06-06 | 展讯通信(上海)有限公司 | 音频处理方法及其装置 |
| CN103000179B (zh) * | 2011-09-16 | 2014-11-12 | 中国科学院声学研究所 | 一种多通道音频编解码系统及其方法 |
| CN102610237A (zh) * | 2012-03-21 | 2012-07-25 | 山东大学 | 两通道卷积混合语音信号盲分离算法的dsp实现系统 |
| CN104078051B (zh) * | 2013-03-29 | 2018-09-25 | 南京中兴软件有限责任公司 | 一种人声提取方法、系统以及人声音频播放方法及装置 |
| CN107146630B (zh) * | 2017-04-27 | 2020-02-14 | 同济大学 | 一种基于stft的双通道语声分离方法 |
| CN109036455B (zh) * | 2018-09-17 | 2020-11-06 | 中科上声(苏州)电子有限公司 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
-
2018
- 2018-09-17 CN CN201811072475.6A patent/CN109036455B/zh active Active
-
2019
- 2019-02-18 WO PCT/CN2019/075368 patent/WO2020057050A1/zh not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101622669A (zh) * | 2007-02-26 | 2010-01-06 | 高通股份有限公司 | 用于信号分离的系统、方法及设备 |
| CN105409247A (zh) * | 2013-03-05 | 2016-03-16 | 弗劳恩霍夫应用研究促进协会 | 用于音频信号处理的多声道直接-周围分解的装置及方法 |
Non-Patent Citations (3)
| Title |
|---|
| DIRECT-AMBIENT DECOMPOSITION AND UPMIX OF SURROUND SIGNALS;Andreas Walther et al.;《2011 IEEE WASPAA》;20111118;全文 * |
| Upmixing and Downmixing Two-channel Stereo Audio for Consumer Electronics;Mingsian R.Bai et al.;《ISMW 2007》;20080321;全文 * |
| 基于最小二乘法的均匀扩声技术研究;刘力等;《应用声学》;20150131;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109036455A (zh) | 2018-12-18 |
| WO2020057050A1 (zh) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105264911B (zh) | 音频设备 | |
| US10382849B2 (en) | Spatial audio processing apparatus | |
| US9860668B2 (en) | Audio signal processing method and device | |
| US8705750B2 (en) | Device and method for converting spatial audio signal | |
| JP2011517547A (ja) | マイクロホン配列からのサラウンド・サウンド生成 | |
| CN111131970B (zh) | 过滤音频信号的音频信号处理装置和方法 | |
| CN108293165A (zh) | 增强音场的装置和方法 | |
| CN101924317B (zh) | 双声道处理装置及其方法与声音播放系统 | |
| US9820073B1 (en) | Extracting a common signal from multiple audio signals | |
| CN109089203B (zh) | 汽车音响系统的多声道信号转换方法及汽车音响系统 | |
| JP2024026465A (ja) | スペクトル直交オーディオ成分を用いたサブバンド空間処理およびクロストーク処理 | |
| WO2014034555A1 (ja) | 音声信号再生装置、方法、プログラム、及び記録媒体 | |
| CN109036455B (zh) | 直达声与背景声提取方法、扬声器系统及其声重放方法 | |
| CN111869239A (zh) | 用于低音管理的方法和装置 | |
| JP2020508590A (ja) | マルチチャネル・オーディオ信号をダウンミックスするための装置及び方法 | |
| CA3094815C (en) | Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels | |
| CN100444695C (zh) | 一种实现串音消除的方法及滤波器生成装置和播放装置 | |
| JP6920144B2 (ja) | バイノーラル再生用の係数行列算出装置及びプログラム | |
| JP6630599B2 (ja) | アップミックス装置及びプログラム | |
| CN119516985B (zh) | 基于消原音的便捷伴奏播放方法、装置、介质及电子设备 | |
| WO2024216494A1 (en) | Method for multichannel audio reconstruction and speaker system using the method | |
| CN111757240B (zh) | 音频处理方法与音频处理系统 | |
| CN121099251A (zh) | 音频的虚拟环绕处理方法、计算机程序产品及电子设备 | |
| KR20150005438A (ko) | 오디오 신호 처리 방법 및 장치 | |
| CN119252274A (zh) | 一种音频主伴唱分离方法、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 660, Room 959, Jiayuan Road, Yuanhe Street, Xiangcheng District, Suzhou City, Jiangsu Province Applicant after: Zhongke Shangsheng (Suzhou) Electronics Co., Ltd. Address before: 215000 Third Floor, 101PARK17 Building, 158 Jinfeng Road, Science and Technology City, Huqiu District, Suzhou City, Jiangsu Province Applicant before: Zhongke Shangsheng (Suzhou) Electronics Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |