[go: up one dir, main page]

CN101828219A - 解码音频信号的方法和装置 - Google Patents

解码音频信号的方法和装置 Download PDF

Info

Publication number
CN101828219A
CN101828219A CN200880112172A CN200880112172A CN101828219A CN 101828219 A CN101828219 A CN 101828219A CN 200880112172 A CN200880112172 A CN 200880112172A CN 200880112172 A CN200880112172 A CN 200880112172A CN 101828219 A CN101828219 A CN 101828219A
Authority
CN
China
Prior art keywords
signal
component signal
unit
output unit
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880112172A
Other languages
English (en)
Other versions
CN101828219B (zh
Inventor
吴贤午
李铭勋
郑亮源
克里斯托夫·法勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN101828219A publication Critical patent/CN101828219A/zh
Application granted granted Critical
Publication of CN101828219B publication Critical patent/CN101828219B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本发明包括音频信号接收单元,接收具有包括环绕分量信号和源分量信号的多个信道信号的音频信号;环绕分量信号提取单元,基于信道信号之间的相关性来提取每个信道的环绕分量信号;环绕分量信号修改单元,使用围绕效果信息来修改环绕分量信号;源分量信号提取单元,基于信道信号之间的相关性来提取每个信道的源分量信号;第一信号输出单元,输出修改的环绕分量信号和源分量信号;和第二信号输出单元,输出音频信号或者源分量信号。因此,在根据本发明用于解码音频信号的装置及其方法中,基于相关性来提取和修改环绕分量信号,并且分别使用不同的信号输出单元来输出修改的环绕和源分量信号。因此,本发明增强了音频信号的立体声效果。并且,用于输出环绕分量信号的信号输出单元被布置成具有与用于输出源分量信号的另一个信号输出单元的输出方向不同的输出方向,由此可以向收听者提供环绕声音增强的音频信号。

Description

解码音频信号的方法和装置
技术领域
本发明涉及用于解码音频信号的方法和装置,并且更具体地,涉及用于编码/解码音频信号的装置及其方法。虽然本发明适合于宽的应用范围,但是它特别适合于使得多信道音频信号能够具有声场效果。
背景技术
近来,音频技术已经建立了用于利用多信道的规范。但是,由于诸如宽大的2信道老的内容、新的多信道内容的生产成本、消费者的实际使用模式等等原因,2信道立体声系统仍然在全世界使用。
发明内容
技术问题
然而,在使用这样的立体声系统的情况下,音频仅仅在用户面前被再现。因此,对用户的限制在于给用户提供足够的现场气氛。另外,音频不能由支持多信道的多媒体系统使用。抽样音频被再现而不能向用户提供立体声效果。
技术解决方案
因此,本发明针对一种用于解码音频信号的装置及其方法,它们基本上消除了由于相关技术的限制和缺点而造成的一个或多个问题。
本发明的一个目的是提供一种用于解码音频信号的装置及其方法,由此可以以从输入信号中提取环绕分量信号并且然后修改所提取的信号的方式给予该音频信号现场气氛。
本发明的另一个目的是提供一种用于解码音频信号的装置及其方法,由此以分别地经由不同的输出单元输出修改的环绕分量信号和从中移除了环绕分量信号的源分量信号的方式来增强音频信号的立体声效果。
有益效果
因此,本发明提供了以下的效果或者优点。
首先,在根据本发明用于解码音频信号的装置及其方法中,环绕分量信号是基于相关性从输入的音频信号中提取的,并且然后使用围绕效果信息来修改。因此,本发明提供增强音频信号的立体声效果的效果。
其次,在根据本发明用于解码音频信号的装置中,修改的环绕分量信号和源分量信号分别使用不同的信号输出单元输出。因此,本发明可以增强音频信号的立体声效果。
第三,在根据本发明用于解码音频信号的装置中,用于输出环绕分量信号的信号输出单元被布置成具有与用于输出源分量信号的另一个信号输出单元的输出方向不同的输出方向。因此,本发明能够向收听者提供加强了环绕声音的音频信号。
附图说明
附图被包括以提供对本发明进一步的理解,并且被合并在该说明书中和构成该说明书的一部分,附图图示了本发明的实施例,并且与描述一起用于解释本发明的原理。
在附图中:
图1和图2是一般立体声记录环境的示意图;
图3是用于布置供输出通过在图1或图2中示出的方法记录的立体声信号的一般输出单元的示意图;
图4是根据本发明的一个实施例的输出音频信号的方法的示意图;
图5是根据本发明的一个实施例的用于分析立体声信号的时间-频率域的图形;
图6是用于增益因子A、源分量信号S和与增益因子和源分量信号的乘法运算相对应的归一化功率AS的图形;
图7是根据本发明的一个实施例用于权重ω1、ω2
Figure GPA00001102758500031
的后缩放因子的图形;
图8是根据本发明的一个实施例用于权重ω3、ω4的后缩放因子的图形;
图9是根据本发明的一个实施例用于权重ω5、ω6
Figure GPA00001102758500033
的后缩放因子的图形;
图10是根据本发明的一个实施例在中心处收听的音频信号的环绕分解的图形;
图11是根据本发明的一个实施例用于解码音频信号的装置的示意框图;
图12是用于一般5.1信道配置和引入到收听者中的信号的路径的示意框图;
图13是根据本发明的一个实施例用于包括修改的环绕分量信号的立体声信号的输出的图;
图14是根据本发明的一个实施例具有源分量修改单元的音频信号解码装置的示意框图;
图15是根据本发明的一个实施例具有源分量信号扩展单元的音频信号解码装置的示意部分框图;
图16是根据本发明的一个实施例用于解码音频信号的装置的示意框图;
图17是根据本发明的一个实施例用于部署包括在用于解码音频信号的装置中的第一和第二信号输出单元的图形;
图18和图19是根据本发明的一个实施例用于供解码音频信号的装置的输出信号的传输路径的示意图;
图20是根据本发明的一个实施例用于解码音频信号的装置的示意图;
图21是根据本发明的一个实施例的输出单元的图;
图22是根据本发明的一个实施例用于解码音频信号的装置的示意图;以及
图23至25是根据本发明的一个实施例用于解码音频信号的装置的示意框图。
具体实施方式
本发明的附加的特征和优点将在随后的描述中阐述,并且部分从该描述中将显而易见,或者可以通过实施本发明获悉。通过在书面描述及其权利要求以及附图中特别指出的结构,将实现和获得本发明的目的和其他优点。
为了实现这些和其他的优点,以及根据本发明的目的,如在此处体现和广义描述的,一种根据本发明的解码音频信号的方法,包括步骤:接收具有多个信道信号的音频信号,多个信道信号包括环绕分量信号和源分量信号;基于信道信号之间的相关性来提取每个信道的环绕分量信号和源分量信号;使用围绕效果信息来修改环绕分量信号;以及使用修改的环绕分量信号和源分量信号来产生包括多个信道的音频信号。
根据本发明,相关性在预定时间和每个预定的频带上估算。
根据本发明,环绕分量信号是在包括在每个信道中的分量信号之间具有低相关性的信号。
根据本发明,围绕效果信息是应用于环绕分量信号的电平信息。
根据本发明,围绕效果信息是应用于环绕分量信号的时间延迟、增益值、滤波器或者相位信息。
根据本发明,该方法进一步包括使用扩展效果信息来修改源分量信号的步骤。
根据本发明,源分量信号是通过从所接收到的音频信号中除去所提取的环绕分量信号来获得的。
为了进一步实现这些和其他的优点,以及根据本发明的目的,一种用于解码音频信号的装置,包括:音频信号接收单元,该音频信号接收单元接收多个信道信号,多个信道信号包括环绕分量信号和源分量信号;环绕分量信号提取单元,该环绕分量信号提取单元基于信道信号之间的相关性来提取每个信道的环绕分量信号和源分量信号;环绕分量信号修改单元,该环绕分量信号修改单元使用围绕效果信息来修改环绕分量信号;源分量信号提取单元,该源分量信号提取单元基于信道信号之间的相关性来提取每个信道的源分量信号;以及信号输出单元,该信号输出单元输出环绕分量信号和源分量信号。
为了进一步实现这些和其他的优点,以及根据本发明的目的,一种用于解码音频信号的装置,包括:音频信号接收单元,该音频信号接收单元接收具有多个信道信号的音频信号,多个信道信号包括环绕分量信号和源分量信号;环绕分量信号提取单元,该环绕分量信号提取单元基于信道信号之间的相关性来提取每个信道的环绕分量信号;环绕分量信号修改单元,该环绕分量信号修改单元使用围绕效果信息来修改环绕分量信号;源分量信号提取单元,该源分量信号提取单元基于信道信号之间的相关性来提取每个信道的源分量信号;第一信号输出单元,该第一信号输出单元输出修改的环绕分量信号和源分量信号;以及第二信号输出单元,该第二信号输出单元输出所接收到的音频信号或者源分量信号。
根据本发明,第一信号输出单元具有与第二信号输出单元不平行的输出方向。
根据本发明,第一信号输出单元具有位于与第二信号输出单元的输出方向相同的平面中的输出方向。
根据本发明,第一信号输出单元和第二信号输出单元可以配置为单个输出单元。
根据本发明,第一和第二信号输出单元中的每个包括分别输出不同的频带的信号的多个单元。
根据本发明,第一信号输出单元具有与包括第二信号输出单元的输出方向的平面垂直的输出方向。
根据本发明,第一信号输出单元根据特征信息来转换输出方向。
根据本发明,该装置进一步包括产生环境信息的环境信息产生单元,其中,环绕分量信号修改单元使用围绕效果信息和环境信息来修改环绕分量信号以具有规定的立体声效果。
根据本发明,环境信息产生单元基于在第一信号输出单元和第二信号输出单元之间的环绕特性和收听位置来产生环境信息。
根据本发明,环境信息产生单元能够使用第一和第二输出单元的输出信号的反射位置和反射量来产生环境信息,反射位置和反射量使用检测传感器来估算。
根据本发明,环境信息产生单元采取先前存储的环境信息中的一个。
根据本发明,第一信号输出单元进一步包括延迟环绕分量信号的输出时间的输出延迟单元。
根据本发明,第二信号输出单元进一步包括将扩展效果应用于源分量信号的输出的扩展效果应用单元。
为了进一步实现这些和其他的优点,以及根据本发明的目的,一种计算机可读记录介质包括在其中记录的程序,以执行以下的步骤:接收具有多个信道信号的音频信号,多个信道信号包括环绕分量信号和源分量信号;基于信道信号之间的相关性来提取每个信道的环绕分量信号和源分量信号;使用围绕效果信息来修改环绕分量信号;以及分别经由不同的输出单元来输出所修改的环绕分量信号和源分量信号。
应当理解,上文的概述和下面的详细描述是示例性和说明性的,并且意在提供对所要求保护的本发明的进一步的解释。
发明模式
现在将详细地参考本发明的优选实施例,在附图中图示了优选实施例的示例。
首先,在本发明中“编码”应当理解为包括编码和解码两者的概念。
其次,在本公开中,“信息”是覆盖值、参数、系数、要素等等的术语,并且在一些情况下可以不同地解释,本发明的示例不限于此。虽然在本公开中立体声信号用作音频信号的示例,但是音频信号可以具有至少三个或更多的信道。
通常,在使用具有用于立体声信号的立体声信道的输出单元的情况下,收听者从左和右信道接收音频信号。音频信号大体上可以被分成左信道信号和右信道信号。该信道信号中的每个可以包括具有方向性的信号和没有方向性的给予立体声效果的环绕分量信号。
例如,源分量信号例如可以是在舞台上歌手的声音、在舞台上乐器的声音等等。在电影的情况下,源分量信号可以在收听者前方执行对话、各种音响效果等等以使得收听者能够感知声音的方向。相反地,环绕分量信号可以包括归因于收听者所位于的物理环境的回响声、观众的喝彩声、噪声等等。并且,环绕分量信号在使得收听者能够感知当前所位于的空间、立体声效果等等的感觉中起作用。即,源分量信号是在特定的方向上听到的信号,并且通常在收听者的前方产生。并且,环绕分量信号是没有方向性的在所有方向上听到的声音。
在本公开中使用的该术语“前面”表示正面或者前侧。例如,设备(或者单元)的前面表示由设备(或者单元)的屏幕部分看到的前侧。在横向后侧中部署输出设备(或者单元)意指该输出设备(或者单元)被部署成参考其中存在音频信号的解码设备的屏幕部分的平面具有45°~135°的输出方向。并且,在横向前侧中部署输出单元意指该输出设备(或者单元)被部署成参考其中存在音频信号的解码设备的屏幕部分的平面具有0°~45°或者135°~180°的输出方向。
图1和图2是一般立体声记录环境的示意图。
参考图1,通过设置环境和收听者可以位于的位置能够记录立体声信道的信号。参考图2,在已经使用服务器麦克风从产生源分量信号的实体获取信号之后,通过恰当地使用混频器混合所获取的信号能够产生立体声信号。
图3是用于布置供输出通过图1或者图2中示出的方法记录的立体声信号的一般输出单元的示意图。
参考图3,当再现立体声信号的时候,由于立体声信号的输出单元(30a,30b)通常位于收听者的前面,所以收听者识别立体声信号仿佛所有声音来自于前侧。在这种情况下,虽然将位于前面的源分量信号无失真地递送给收听者,但是在记录环境中不能递送来自收听者的横向和后侧的环绕分量信号。当然,当从输出单元(30a,30b)输出的立体声信号根据收听者所位于的环境而反射或者吸收时,可以听到回响声。但是,这与记录环境的环绕分量信号不同。因此,收听者在记录时不能听到环绕分量信号。
在根据本发明用于解码音频信号的装置及其方法中,包括在立体声信号中的环绕分量信号被提取和使用。因此,能够获得具有增强的立体声效果的音频信号。
图4是根据本发明的一个实施例用于输出音频信号的方法的示意图。
如在先前的描述中提及的,源分量信号具有方向性特性,而环绕分量信号不具有方向性。当相同的信号以电平差或者时间差,或者以电平差和时间差两者到达收听者的两个耳朵的时候,收听者能够识别方向性。因此,具有方向性的源分量信号在包括源分量信号的两个信道之间具有高的相关性,而环绕分量信号使得两个信道能够具有低的相关性。为了提取环绕分量信号,根据本发明一个实施例的解码音频信号的方法从包括在立体声信道中的分量信号中提取具有低的信道间相关性的分量信号。
在图4中,源分量信号s表示代表位于由增益因子a确定的方向上的直达声音的信号。环绕分量信号n1和n2表示在记录环境中的环绕声音。并且,“x1”和“x2”分别表示立体声信号的左和右信道的输出信号。另外,立体声信号可以输出到具有特定的方向信息的立体声信道。并且,方向信息可以包括电平差信息、时间差信息等等。相反地,环绕分量信号可以通过再现环境、可感觉到的听觉宽度等等来确定。在图4中示出的输出信号可以使用用于确定源分量信号的方向的源分量信号s、环绕分量信号n1和n2以及增益因子a表示为公式1。
[公式1]
x1(n)=s(n)+n1(n)
x2(n)=as(n)+n2(n)
为了有效地分析包括多个同时地激活的目标信号的非线性立体声信号,公式1应当使用复数个划分的频带和时间域来独立地分析。在这种情况下,x1(n)和x2(n)可以表示如下。
[公式2]
X1(i,k)=S(i,k)+N1(i,k)
X2(i,k)=A(i,k)S(i,k)+N2(i,k)
“i”表示频带索引,并且“k”表示时间带索引。
图5是用于分析立体声信号的时间-频率域的图形。每个时间-频率域包括索引i和k。并且,源分量信号S、环绕分量信号N1和N2以及增益因子A可以独立地估算。在以下的描述中,频带索引i和时间带索引k将被省略。
并且,能够使用如公式3这样的信号模型。
[公式3]
x L = Σ i = 1 N h head _ Li * S i + Σ i = 1 N h tail _ Li * S i + n L
x L = Σ i = 1 N h head _ Ri * S i + Σ i = 1 N h tail _ Ri * S i + n R
在这种情况下,h_head_Li和h_head_Ri对应于表示第i个实体包括在信道L和R中的关系的传递函数的头部部分。h_tail_Li和h_tail_Ri对应于传递函数的尾部部分,并且包括引入到各个信道中的s_i的回响分量。并且,“*”表示卷积。在这种情况下,该环绕分量信号对应于在公式3中右侧的
Figure GPA00001102758500113
此外,可以通过各种信号模型来对源分量信号和环绕分量信号进行数学建模。但是,在本发明的音频信号解码装置和方法中,使用表示为公式1和公式2的信号模型来估算和修改源分量信号和环绕分量信号,这不限制本发明的各种各样的示例。
用于分析立体声信号的频带的带宽可以选择成等于特定频带带宽,并且可以根据立体声信号的特性来确定。在每个频带中,S、N1、N2和A可以每t毫秒估算。如果X1和X2作为立体声信号给出,则S、N1、N2和A的估算值可以根据每个时间-频率域的分析来确定。并且,X1的功率可以如公式4来估算。
[公式4]
PX1(i,k)=E{X1 2(i,k)}
在公式4中,E{.}表示平均。
假设N1和N2的功率彼此相等。并且,假设具有外部影响的从属信号在立体声信道的左和右信道中具有相同的功率(PN=PN1=PN2)。
除PN=PN1=PN2之外,例如能够使用诸如A2PN1=PN2这样的假设等等。
另外,如果立体声信号被表示为时间-频率域,则能够估算增益信息(A)、源分量信号的功率(Ps)、环绕分量信号的功率(PN)和归一化的互相关性(φ)。在立体声信道之间的该归一化的互相关性(φ)可以表示为公式5。
[公式5]
φ ( i . k ) = E { X 1 ( i , k ) X 2 ( i , k ) } E { X 1 1 ( i , k ) } E { X 2 2 ( i , k ) }
能够使用Px1、PX2、φ来确定A、PS、PN。并且,用于Px1、PX2、φ的关系公式可以表示为公式6。
[公式6]
PX1=PS+PN
PX2=A2PS+PN
φ = AP S P X 1 P X 2
用于A、PS、PN的公式6被概括成公式7。
[公式7]
A = B 2 C ,
P S = 2 C 2 B ,
P N = X 1 - 2 C 2 B
并且,B和C的值可以表示为公式8。
[公式8]
B = P X 2 - P X 1 + ( P X 1 - P X 2 ) 2 + 4 P X 1 P X 2 φ 2 ,
C = φ P X 1 P X 2
源分量信号S以及N1和N2的最小平方估算值作为A、PS和PN的函数来计算。并且,对于i和k中的每个,源分量信号S可以估算如下。
[公式9]
S ^ = ω 1 X 1 + ω 2 X 2 = ω 1 ( S + N 1 ) + ω 2 ( AS + N 2 )
在公式9中,ω1和ω2是实际的权重。在这种情况下,估算误差可以表示为公式10。
[公式10]
E=(1-ω12A)S-ω1N12N2
当该估算误差E正交于X1和X2的时候,权重ω1和ω2在最小均方上变得最优。
[公式11]
E{EX1}=0  并且  E{EX2}=0
即,当E{EX1}=0和E{EX2}=0的时候,能够从公式10和公式11中获得公式12的两个等式。
[公式12]
(1-ω12A)PS1PN=0
A(1-ω12A)PS2PN=0
从公式12中,权重ω1和ω2可以计算成公式13。
[公式13]
ω 1 = P S P N ( A 2 + 1 ) P S P N + P N 2
ω 2 = AP S P N ( A 2 + 1 ) P S P N + P N 2
类似地,N1和N2可以被估算。所估算的N1的值表示为公式14。
[公式14]
N ^ 1 = ω 3 X 1 + ω 4 X 2 = ω 3 ( S + N 1 ) + ω 4 ( AS + N 2 )
并且,估算误差可以计算如下。
[公式15]
E=(-ω34A)S-(1-ω3)N12N2
权重ω1和ω2以估算误差E正交于X1和X2的方式被计算为公式16。
[公式16]
ω 3 = A 2 P S P N + P N 2 ( A 2 + 1 ) P S P N + P N 2
ω 4 = - A P S P N ( A 2 + 1 ) P S P N + P N 2
另外,所估算的N2的值以类似于N1的方式被计算。N2被表示为公式17,并且N2的权重如公式18被计算。
[公式17]
N ^ 2 = ω 5 X 1 + ω 6 X 2 = ω 5 ( S + N 1 ) + ω 6 ( AS + N 2 )
[公式18]
ω 5 = - A P S P N ( A 2 + 1 ) P S P N + P N 2
ω 6 = P S P N + P N 2 ( A 2 + 1 ) P S P N + P N 2
因此,在已经计算了
Figure GPA00001102758500157
的最小平方估算值之后,它们被后缩放,使得估算值
Figure GPA00001102758500158
的功率变为与PS和PN=PN1=PN2相同。PS的功率可以表示为公式19。
[公式19]
P S ^ = ( ω 1 + a ω 2 ) 2 P S + ( ω 1 2 + ω 2 2 ) P N
为了获得具有在公式19示出的功率PS的S的估算值,
Figure GPA00001102758500162
被称作公式20。
[公式20]
S ^ ′ = P N ( ω 1 + a ω 2 ) 2 P S + ( ω 1 2 + ω 2 2 ) P N S ^
以用于相同的方式,
Figure GPA00001102758500165
可以如公式21和公式22缩放。
[公式21]
N ^ 1 ′ = P N ( ω 3 + a ω 4 ) 2 P S + ( ω 3 2 + ω 4 2 ) P N N ^ 1
[公式22]
N ^ 2 ′ = P N ( ω 5 + a ω 6 ) 2 P S + ( ω 5 2 + ω 6 2 ) P N N ^ 2
同时,图6至10是在获得
Figure GPA00001102758500169
Figure GPA000011027585001610
以前计算的各种变量的关系的图形。首先,增益因子A、S和AS的归一化功率可以表示为立体声信号的电平差和归一化的互相关性Φ的函数。这在图6中示出。
在图7中,用于计算S的最小平方估算值的权重ω1和ω2表示为立体声信号的电平差和归一化的互相关性Φ的函数,并且分别示出在两个上方的图形上。并且,在公式19中用于
Figure GPA000011027585001611
的后缩放因子在图7中表示为下方的图形。
在图8中,用于计算N1的最小平方估算值的权重ω3和ω4表示为立体声信号的电平差和归一化的互相关性Φ的函数,并且分别地示出在两个上方的图形上。并且,在公式19中用于
Figure GPA00001102758500171
的后缩放因子在图8中表示为下方的图形。
在图9中,用于计算N2的最小平方估算值的权重ω5和ω6表示为立体声信号的电平差和归一化的互相关性Φ的函数,并且分别地示出在两个上方的图形上。并且,在公式19中用于
Figure GPA00001102758500172
的后缩放因子在图9中表示为下方的图形。
图10是当立体声信号经由输出单元输出的时候,包括在中心收听的语音(例如,声音、语音)的立体声信号(例如,民歌)的环绕分解的图形。并且,所估算的s、A、n1和n2在图10中示出。源分量信号s(例如,声音)和环绕分量信号n1和n2(例如,背景音乐(BGM))在时间域上图示。并且,增益因子A在所有时间-频率平铺显示上图示。
参考图10,与环绕分量信号n1和n2相比,所估算的源分量信号s注意到是比较强的。这与源分量信号在记录时在中心占主要地位的事实匹配。因此,对本领域技术人员显而易见的是,包括在记录的立体声信号中的源和环绕分量信号可以通过根据本发明的音频信号解码方法来估算。
如在以上的描述中提及的,根据本发明用于解码音频信号的装置估算环绕分量信号和源分量信号,使用所估算的信号来提取环绕分量信号,并且然后修改所提取的环绕分量信号。因此,能够获得进一步增强了立体声效果的音频信号。
图11是根据本发明的用于解码音频信号的装置1100的示意框图。
首先,音频信号接收单元1110接收从音频信号解码装置的外面输入的音频信号。所输入的音频信号包括多个信道,多个信道可以对应于立体声信道,或者包括至少三个信道的多信道。并且,音频信号可以包括环绕分量信号和源分量信号。并且,可以包括这些信号以与信道分别相对应。例如,在音频信号包括两个源分量信号(例如,声音1和声音2)的情况下,源分量信号中的每个被包括在具有时间差和/或电平差的相应的信道中。
环绕分量信号提取单元1120接收音频信号,并且然后基于彼此对应包括的信号之间的相关性来提取每个信道的环绕分量信号。为此,环绕分量信号提取单元1120能够使用公式1至22来估算环绕分量信号,本发明的示例不受限于此。在提取环绕分量信号中使用的相关性可以每个预定时间或者每个预定频带地估算。通常,环绕分量信号在包括在每个信道中的分量信号之间具有低的相关性,而源分量信号具有高的相关性。
环绕分量信号修改单元1130接收所提取的环绕分量信号,并且然后能够使用围绕效果信息来修改环绕分量信号以具有规定的立体声效果。在这种情况下,围绕效果信息可以包括在表示输入给音频信号接收单元1110的音频信号的比特流中,或者可以存储在本发明的音频信号解码装置的环绕分量信号修改单元1130中。此外,围绕效果信息可以由收听者经由收听者输入设备(在该图中未示出)输入。
围绕效果信息可以包括应用于环绕分量信号的电平信息,或者延迟效果、滤波器和增益值中的至少一个。通过修改环绕分量信号,能够改善当立体声信号如图3所示仅仅在前侧再现的时候产生的立体声效果的退化。电平信息使得能够产生环绕分量信号,它的电平是低的,或者通过对所提取的环绕分量信号施加电平大小来修改。围绕效果信息可以是应用于环绕分量信号的相位信息。并且,相位信息可以通过调整环绕分量信号的相位来增强环绕分量信号的立体声效果。特别地,能够通过对环绕分量信号施加延迟效果(这是围绕效果信息的示例)以延迟环绕分量信号的输出的方式通过提高回响来增强音频信号的立体声效果。在以下的描述中将参考图12和图13来解释环绕分量信号修改单元1130的相应的详细功能和作用。
源分量信号提取单元1140接收输入给音频信号接收单元1110的音频信号,和由环绕分量信号提取单元1120提取的环绕分量信号,并且然后通过从音频信号中除去环绕分量信号来提取源分量信号。并且,能够使用所估算的源分量信号(S)作为由源分量信号提取单元1140提取的源分量信号,它是通过对输入给音频信号接收单元1110的音频信号执行公式1至22的过程来估算的。
信号输出单元1150通过将由源分量信号提取单元1140提取的源分量信号和由环绕分量信号修改单元1130修改的环绕分量信号接收和组合在一起,将立体声信号输出给音频信号解码装置的外部环境。信号输出单元1150能够输出由音频信号接收单元1110接收到的音频信号,即,信道信号,而不是由源分量信号提取单元1140提取的源分量信号,并且还能够与环绕分量信号一起输出源分量信号和所接收到的音频信号。并且,由音频信号接收单元1110接收到的音频信号可以包括表示信号输出单元1150是否输出源分量信号和音频信号中的至少一个的标记信息。信号输出单元1150可以包括单个输出单元或者可以包括至少两个输出单元。在信号输出单元1150包括至少两个输出单元的情况下,输出单元的功能和配置可以彼此不同,并且可以以各种配置来部署。关于信号输出单元1150的细节稍后将参考图16至25进行解释。
在根据本发明另一个实施例的用于解码音频信号的装置中,环绕信息信号修改单元1130将滤波器应用于环绕信息信号(这是围绕效果信息的示例),然后,能够修改由信号输出单元1150输出的立体声信号以类似于由收听者收听的一般5.1信道输出信号的信号(L0,R0)。
图12是用于一般5.1信道配置和引入收听者的信号的路径的示意图。如图12所示,GX_Y表示用于将信号从扬声器X传输到耳朵Y的传递函数。例如,GL_R表示用于使信道L的声音进入收听者的右耳朵的传递函数,并且GC_R表示用于使信道C的声音进入收听者的右耳朵的传递函数。并且,GX_Y称作头部相关的传递函数(在下文中称作“HRTF”)。
进入收听者耳朵的信号(L0,R0)参考图12可以表示为公式23。
[公式23]
L0=L*GL_L+C*GC_L+R*GR_L+LS*GLS_L+RS*GRS_L
R0=L*GL_R+C*GC_R+R*GR_R+LS*GLS_R+RS*GRS_R
通过对此进行参考,从本发明的音频信号解码装置输出的立体声信号(L′,R′)可以表示为公式24。
[公式24]
L′=D(L)+G_L*A(L)
R′=D(R)+G_R*A(R)
L′和R′分别表示信道的输出信号。D(L)和D(R)分别表示信道L和R输入信号的源分量信号。A(L)和
Figure GPA00001102758500201
表示环绕分量信号。G_L和G_R分别表示应用于信道的环绕声音分量的滤波器。
因此,环绕分量信号修改单元1130能够使用应用于相应的环绕分量信号的滤波器来修改环绕分量信号以具有规定的环绕效果。滤波器可以包括在表示输入给音频信号接收单元1110的音频信号的比特流中。滤波器可以存储在本发明的音频信号解码装置的环绕分量信号修改单元1130中。滤波器可以由收听者经由输入设备(在该图中未示出)输入。G_X可以是固定值或者根据收听者的请求而变化的可变值。G_X可以提供环绕分量信号在随机虚拟的位置而不是常规的输出单元L或者R的位置上再现的效果。因此,G_X可以使用HRTF,或者可以通过考虑HRTF的串音来配置,本发明的示例不受限于此。
图13是用于包括使用公式24的滤波器修改的环绕分量信号的立体声信号输出的图。
参考图13,在根据本发明的一个实施例解码的音频信号由两个输出单元1310和1320输出的情况下,收听者能够从部署在收听者前方的输出单元1310和1320听到源分量信号。相反地,收听者感知应用了滤波的环绕分量信号,仿佛它们分别地是从虚拟的输出单元1330和1340的位置输出的一样。由于使用用于环绕分量信号的侧面/后面输出单元另外获得了增强立体声效果的效果,所以收听者能够有效地使用立体声信号和设备欣赏立体声。
根据本发明另一个实施例的音频信号解码装置能够通过修改提取的源分量对音频信号给出立体声效果。并且,相应的音频信号解码装置参考图14和图15解释如下。
图14是根据本发明的另一个实施例的具有源分量修改单元的音频信号解码装置1400的示意框图。
首先,音频信号解码装置1400主要包括环绕分量信号提取单元1420、环绕分量信号修改单元1430、源分量信号提取单元1440、源分量信号修改单元1450和信号输出单元1460。由于环绕分量信号提取单元1420、环绕分量信号修改单元1430、源分量信号提取单元1440和信号输出单元1460起到与具有图11所示的以前的音频信号解码装置1100的相同名称的单元相同的功能和作用,所以在以下描述中将省略它们的细节。
源分量信号修改单元1420接收由源分量信号提取单元1440提取的源分量信号,并且然后能够修改该源分量信号以增强立体声效果。源分量信号修改单元1420能够使用能够对源分量信号给出围绕效果或者扩展效果的滤波器,本发明的示例不受限于此。
图15是用于使用供给出扩展效果的滤波器来修改源分量信号的音频信号解码装置的一部分的部分示意框图。在本发明中,扩展效果意指在空间中提高包括在信道信号中的源分量信号的距离的效果。并且,包括应用了扩展效果的源分量信号的输出信号可以提供立体声效果,仿佛是在诸如礼堂、露天大型运动场等等的宽阔的空间中收听一样。源分量信号提取单元1540的功能和作用相当于以前的源分量信号提取单元1140的功能和作用,源分量信号提取单元1540从所输入的音频信号中提取源分量信号。同时,源分量信号扩展单元1550接收源分量信号,并且然后通过对所接收到的源分量信号应用给予扩展效果的滤波来产生源分量信号,其中在源分量之间的距离被扩展。
因此,在根据本发明的音频信号解码装置中,环绕分量信号和/或源分量信号从音频信号中提取,并且然后被修改。所修改的环绕和/或源分量信号被混合,并且然后被输出。因此,能够在记录环境中提高通过环绕或者环境影响产生的立体声效果。并且,能够仅仅使用立体声信号和设备,仿佛使用多信道一样来获得具有增强的立体声效果的音频信号。
与用于以将修改的环绕分量信号和修改的源分量信号混合在一起并且然后经由单个输出单元输出所混合的信号的方式来进一步增强立体声信号的立体声效果的以前的实施例不同,本发明的另一个实施例提出了一种具有输出单元的音频信号解码装置,该输出单元用于输出从包括源分量信号和/或信道信号的音频信号分离出来的环绕分量信号。
图16是根据本发明的另一个实施例用于解码音频信号的装置1600的示意框图。
参考图16,音频信号解码装置1600具有部分地与图11中示出的以前的解码装置1100相同的功能和作用。因此,在以下的描述中省略了音频信号接收单元1601、环绕分量信号提取单元1620、环绕分量信号修改单元1630和源分量信号提取单元1640的细节。并且,音频信号解码装置1600可以进一步包括源分量信号修改单元(在该图中未示出),该源分量信号修改单元用于通过从源分量信号提取单元1640接收源分量信号并且然后应用滤波用于给予扩展效果或者围绕效果来增强源分量信号的立体声效果。
由环绕分量信号修改单元1630修改的环绕分量信号经由第一信号输出单元1650输出,并且由音频信号接收单元1610接收到的源分量信号或者音频信号经由第二信号输出单元1660输出。并且,源分量信号和音频信号两者可以经由第二信号输出单元1660输出。另外,由音频信号接收单元1610接收到的音频信号可以包括表示源分量信号和音频信号中的至少一个是否由信号输出单元1650输出的标记信息。在以下的描述中,第二信号输出单元1660不局限于输出源分量信号的功能,而是理解为输出源分量信号和音频信号或者音频信号。并且,本发明的音频信号包括含有源分量信号和环绕分量信号的多个信道信号。
第一信号输出单元1650和第二信号输出单元1660中的每个以单个单元来配置,或者可以以至少两个单元来配置。例如,在音频信号的输出系统是立体声系统的情况下,第一信号输出单元1650可以包括分别与左和右信道相对应的两个第一信号输出单元。并且,第二信号输出单元1660可以包括分别与左和右信道相对应的两个第二信号输出单元。
虽然本发明涉及音频信号的输出系统包括立体声系统的情形,但是可以是以第一和第二信号输出单元1650和1660中的每个包括至少三个单元的方式来配置的多信道系统。
根据本发明的一个实施例,该音频信号解码装置进一步包括用于仅仅输出修改的环绕分量信号的第一信号输出单元,以及用于输出音频信号或者源分量信号的第二输出单元,从而增强音频信号的立体声效果。另外,通过部署第一信号输出单元和第二信号输出单元在输出方向上彼此不同,使得收听者能够收听具有增强的立体声效果的音频信号。用于提供立体声效果增强的音频信号的第一和第二信号输出单元参考图17至22解释如下。
首先,在诸如TV、音频系统等等的音频信号解码装置中,只要使用了与解码装置分离的单独的输出单元,信号输出单元就应当被部署在有限的空间内。通常,用于输出音频信号或者源分量信号的第二信号输出单元具有朝向收听者的输出方向(在下文中称为“前侧”)。并且,如果用于输出环绕分量信号的第一信号输出单元被部署在收听者的后面或者侧面,则这是递送立体声效果的效果。但是,由于部署在有限空间内,所以第一信号输出单元被部署在第二信号输出单元周围。
图17是用于部署第一和第二信号输出单元的图形。第二信号输出单元1710具有X方向的输出方向。并且,第一信号输出单元1720a和1720b具有与第二信号输出单元1710的输出方向不同的输出方向。
参考图17,输出环绕分量信号的第一信号输出单元1720a可以被部署成具有与第二信号输出单元1710的输出方向不平行的输出方向,并且可以不离开第二信号输出单元1710所位于的平面。另外,参考图17,第一信号输出单元1720b位于第二信号输出单元1710所位于的X-Y平面的相同的位置上,并且可以具有与第二信号输出单元1710的输出方向不平行的输出方向。
第二信号输出单元1710负责音频信号或者源分量信号的再现,并且具有与第二信号输出单元1710的输出方向不平行的输出方向的第一信号输出单元1720a或者1720b负责环绕分量信号的再现。因此,与仅仅使用第二信号输出单元1710来再现立体声信号的情形相比,这种情形可以向收听者提供具有增强的立体声效果的音频信号。
图18和图19示意性示出一种音频信号解码装置和使用该音频信号解码装置来再现音频信号的方法,在该音频信号解码装置中,用于输出环绕分量信号的第一信号输出单元被部署成具有与用于输出音频信号或者源分量信号的第二信号输出单元的输出方向不同的输出方向。在图18和图19中,信道信号是输入给本发明的音频信号接收单元的音频信号的示例,包括环绕分量信号和源分量信号,并且表示在每个信道上输出的信号。
参考图18,第一信号输出单元1850a和1850b参考第二信号输出单元1860a和1860b的输出方向分别具有朝向横向后侧方向的输出方向。环绕分量信号分别从环绕分量信号修改单元1830输入给第一信号输出单元1850a和1850b。来自源分量信号提取单元1840的源分量信号或者来自音频信号接收单元(在该图中未示出)的音频信号被输入给第二信号输出单元1860a和1860b。环绕分量信号修改单元1830和源信号分量提取单元1840相当于在图11中示出的以前的环绕分量信号修改单元1130和以前的源分量信号提取单元1140,在以下的描述中将省略其细节。
由于第一信号输出单元1850a/1850b具有朝向横向后侧方向的输出方向,所以在横向后面方向上输出的环绕分量信号通过后面或者横向侧的壁的反射可以具有增强的效果。另外,用于向收听者递送环绕分量信号的路径可以以更多各种方法来提供,由此由于自然延迟效果等等可以增强音频信号的立体声效果。
参考图19,第一信号输出单元1950a和1950b参考图18中示出的第一信号输出单元1850a和1850b的输出方向和第二信号输出单元1960a和1960b的输出方向分别具有朝向横向前侧方向的输出方向。环绕分量信号分别从环绕分量信号修改单元1930输入给第一信号输出单元1950a和1950b。来自源分量信号提取单元1940的源分量信号,或者来自音频信号接收单元(在该图中未示出)的音频信号被输入给第二信号输出单元1960a和1960b。在以下的描述中将省略环绕分量信号修改单元1930和源信号分量提取单元1940的细节。
由于第一信号输出单元1950a/1950b具有朝向横向前侧方向的输出方向,所以在横向正面方向上输出的环绕分量信号可以具有通过横向侧的壁反射的进一步增强的效果。另外,与图18中示出的以前的音频信号解码装置相比,由于第一信号输出单元1950a和1950b以及第二信号输出单元1960a和1960b所需要的空间是窄的,所以本发明对于具有供输出单元窄的空间的音频信号解码装置更加有用。
在根据本发明的音频信号解码装置中,用于输出环绕分量信号和源分量信号的第一和第二信号输出单元可以接续地配置单个输出单元。图20示出包括音频信号解码装置的TV,该音频信号解码装置具有以单个输出单元配置的第一和第二信号输出单元。在本公开中,以TV为例。但是,它可以广泛地应用于包括音频信号解码器的设备。
参考图20,输出单元2010和2020包括两个单元L和R,它们部署在垂直方向上。输出单元2010和202包括用于输出环绕分量信号的第一信号输出单元,和用于输出音频信号或者源分量信号的第二信号输出单元。并且,用于位于屏幕部分左侧的输出单元2101的放大的内部图在图20的下面部分中示出。左侧的输出单元2010包括第一信号输出单元2011和第二信号输出单元2012。并且,能够在输出方向上将第一和第二信号输出单元2011和2012部署为彼此不同。例如,第二信号输出单元2012的输出方向被部署朝向前侧的方向,而第一信号输出单元2011的输出方向被部署朝向横向后侧或者横向前侧的方向。
另外,能够基于特性信息来转移或者转换第一和第二信号输出单元2011和2012的输出方向。特性信息可以根据其声源或者操作模式的特性来确定。声源的特性或者操作模式可以包括在表示输入给音频信号解码装置的音频信号的比特流中,或者可以存储在根据本发明的音频信号解码装置的环绕分量信号修改单元1130中。另外,声源的特性或者操作模式可以经由收听者输入设备(在该图中未示出)由收听者来输入。
例如,在收听者尝试仅仅再现没有围绕效果的立体声信号的情况下,收听者使用远程控制器等等来输入预置的2ch模式。如果是这样的话,则音频信号解码装置对其进行接收,并且然后能够转移第一信号输出单元2011的部署的方向,使得第一信号输出单元2011的输出方向与第二信号输出单元2012的输出方向相同。所部署的方向的换向可以通过机械旋转或者通过信号处理方法来获得。
根据本发明的另一个实施例,包括第一和第二信号输出单元的输出单元可以具有各种配置。图21示出了输出单元的示例。该输出单元可以包括多个单元。并且,多个单元中的每个可以包括第一信号输出单元或者第二信号输出单元。参考图21,具有圆柱形配置的输出单元容易地可旋转,通过向每个分割区域输出不同的信号来提高立体声效果,并且根据特性信息来控制每个单元的输出方向。如果每个示例包括以可旋转配置的多个单元,则输出单元的圆柱形配置不仅限于本发明的示例。
在根据本发明的音频信号解码装置中,第一信号输出单元或者第二信号输出单元可以包括多个单元以及输出单元。在这种情况下,多个单元可以输出不同频带的信号,并且单元中的每个的输出方向可以根据单元特性信息来调整。单元特性信息可以根据声源的特性来确定。声源的特性可以包括在表示输入给音频信号解码装置的音频信号的比特流中,或者可以存储在根据本发明的音频信号解码装置的环绕分量信号修改单元1130中。另外,声源的特性可以经由收听者输入设备(在该图中未示出)由收听者输入。
根据本发明的进一步的实施例,能够以在屏幕部分上部署用于输出环绕分量信号的第一信号输出单元的方式来增强音频信号的立体声效果。图22示出了在屏幕部分所位于的前侧中作为具有彼此垂直部署的第一和第二信号输出单元的音频信号解码装置的示例的TV,其中第一信号输出单元被部署在屏幕部分上。参考图22,输出单元包括用于输出环绕分量信号的第一信号输出单元2210,以及用于输出源分量信号的第二信号输出单元2220和2230。并且,第二信号输出单元可以位于屏幕部分2240的左侧和右侧。第一信号输出单元2210位于第二信号输出单元2220和2230以及屏幕部分2240的相同的平面中,并且可以部署在与第二信号输出单元2220和2230垂直的屏幕部分2240上。
参考图22,当TV的第一信号输出单元2210与第二信号输出单元2220和2230垂直地部署在屏幕部分2240上的时候,环绕分量信号从第一信号输出单元2210输出,并且然后使用天花板来反射。因此,与第一信号输出单元位于横向后部或者第二信号输出单元的前面的情形相比,第一信号输出单元2210位于上部的情形进一步包括由于与天花板碰撞而反射的步骤,由此可以进一步增强音频信号的立体声效果。另外,第一信号输出单元2210不仅位于屏幕部分2240上以与第二信号输出单元2220和2230垂直,而且通过配置各种角度而部署在屏幕部分2240上。
在图22中,示出的是第一信号输出单元2210位于在屏幕部分2240上的情形。第一信号输出单元2210可以位于在与包括屏幕部分和第二信号输出单元的前侧垂直的音频解码装置上,或者可以位于在与前侧相对的背部上。并且,第一信号输出单元可以使用物理或者电子方法来部署以形成与平面特定的角度。
根据本发明的进一步的实施例,提出了一种用于通过考虑使用音频信号解码装置的环境以重新修改环境分量信号的方式来增强音频信号的立体声效果的解码装置和方法。参考图23对此详细地解释如下。
参考图23,根据本发明的用于解码音频信号的装置主要地包括音频信号提取单元2310、环境分量信号提取单元2320、环境信息产生单元2330、环境分量信号修改单元2340、源分量信号提取单元2350、第一信号输出单元2360和第二信号输出单元2370。音频信号提取单元2310、环境分量信号提取单元2320、源分量信号提取单元2350、第一信号输出单元2360和第二信号输出单元2370具有与图11或者图16中示出的音频信号提取单元1110、环境分量信号提取单元1120、源分量信号提取单元1140、第一信号输出单元1650和第二信号输出单元1660相同的功能和作用。并且,在以下的描述中将省略它们的细节。该音频信号解码装置进一步包括用于修改提取的源分量信号的源分量信号修改单元(在该图中未示出),由此可以增强音频信号的立体声效果。
环境信息产生单元2330将各种预置的模式传输给收听者输入设备(在该图中未示出),并且然后能够输出与收听者选择的模式相对应的预置的环境信息。作为预置模式的示例,在TV的情况下,存在壁装式的模式,或者竖立模式。环境信息产生单元2330将与壁装式模式或者竖立模式相对应的环境信息输出给环境信息信号修改单元2340。与壁装式模式而不是竖立模式相对应的环境信息可以被设置成在音频信号解码装置和反射面之间更窄的距离。同时,收听者能够将环境信息直接输入给环境信息产生单元2330。例如,收听者能够使用输入设备来输入在音频信号解码装置的背部和反射平面之间的距离、在该装置的顶边和天花板之间的距离、在该装置的横向侧和反射平面之间的距离等等。并且然后,环境信息产生单元2330能够产生环境信息。
另外,环境信息可以包括关于在音频信号解码装置和收听位置之间的环绕特性的信息。例如,关于环绕特性的信息可以包括在解码装置和收听位置之间的距离。用于最大化音频信号的立体声效果的最佳收听位置可以通过在音频信号解码装置和收听位置之间的距离而改变。因此,环境信息产生单元2330经由收听者输入设备来接收该距离,产生环境信息,并且然后能够将所产生的环境信息输出给环境分量信号修改单元2340。另外,环境信息产生单元2330能够使用单独的检测设备(在该图中未示出)来估算收听者的位置。例如,环境信息产生单元2330能够使用诸如麦克风、远程控制器器等等这样的单独的声音传感器来估算在音频信号解码装置和收听者之间的距离。
根据本发明的音频信号解码装置和方法可以基于以上产生的环境信息以修改环境分量信号的方式来进一步增强音频信号的立体声效果。
根据本发明的进一步的实施例,通过比源分量信号更加延迟地输出环绕分量信号,或者通过向源分量信号给予扩展效果,能够增强音频信号的立体声效果。图24是进一步包括输出延迟单元2451的音频信号解码装置的示意图。参考图24,用于输出环绕分量信号的第一信号输出单元2450包括输出延迟单元2451和输出单元2452,并且能够在延迟了超过由第二信号输出单元2460输出的源分量信号的时间上输出环绕分量信号。因此,给予立体声效果的效果可以通过最大化音频信号的回响效果来获得。
图25是进一步包括扩展效果应用单元2561的音频信号解码装置的示意图。参考图25,用于输出源分量信号的第二信号输出单元2560包括扩展效果应用单元2561和输出单元2562。扩展效果应用单元2561带来扩展从第二信号输出单元2560输出的每个源分量信号的距离的效果,由此可以在宽的空间中收听音频信号。
另外,根据本发明的音频信号解码装置既包括在第一信号输出单元内的输出延迟单元,又包括在第二信号输出单元内的扩展效果应用单元,从而增强了音频信号的立体声效果。
根据本发明,以上描述的解码/编码方法可以在作为计算机可读代码的程序记录介质中实现。计算机可读的介质包括各种各样的记录设备,其中存储了计算机系统可读的数据。计算机可读的介质例如包括ROM、RAM、CD-ROM、磁带、软性磁盘、光数据存储设备等等,并且还包括载波型实现(例如,经由因特网的传送)。并且,通过编码方法产生的比特流存储在计算机可读记录介质中,或者可以经由有线/无线通信网络来传送。
虽然已经在此处参考本发明的优选实施例描述和说明了本发明,但是对于本领域技术人员显而易见的是,不脱离本发明的精神和范围的情况下,可以在其中进行各种修改和变化。因此,本发明意在覆盖归入权利要求和其等同物的范围之内的本发明的修改和变化。
工业实用性
因此,本发明适用于音频信号的编码和解码。

Claims (15)

1.一种用于解码音频信号的装置,包括:
音频信号接收单元,所述音频信号接收单元接收具有多个信道信号的音频信号,所述多个信道信号包括环绕分量信号和源分量信号;
环绕分量信号提取单元,所述环绕分量信号提取单元基于所述信道信号之间的相关性来提取所述信道中的每个信道的所述环绕分量信号;
环绕分量信号修改单元,所述环绕分量信号修改单元使用围绕效果信息来修改所述环绕分量信号;
源分量信号提取单元,所述源分量信号提取单元基于所述信道信号之间的相关性来提取所述信道中的每个信道的所述源分量信号;
第一信号输出单元,所述第一信号输出单元输出所述修改的环绕分量信号和所述源分量信号;以及
第二信号输出单元,所述第二信号输出单元输出所述音频信号或者所述源分量信号。
2.根据权利要求1所述的装置,其中,所述围绕效果信息包括电平信息、增益值、时间延迟、滤波器和相位信息中的至少一个。
3.根据权利要求1所述的装置,其中,所述第一信号输出单元具有与所述第二信号输出单元的输出方向不平行的输出方向。
4.根据权利要求3所述的装置,其中,所述第一信号输出单元具有位于与所述第二信号输出单元的所述输出方向相同的平面中的输出方向。
5.根据权利要求3所述的装置,其中,所述第一信号输出单元和所述第二信号输出单元包括分别输出不同频带的信号的多个单元。
6.根据权利要求3所述的装置,其中,所述第一信号输出单元具有与包括所述第二信号输出单元的所述输出方向的平面垂直的输出方向。
7.根据权利要求1所述的装置,其中,所述第一信号输出单元根据特性信息来转换所述输出方向。
8.根据权利要求1所述的装置,进一步包括产生环境信息的环境信息产生单元,其中,所述环绕分量信号修改单元使用所述围绕效果信息和所述环境信息来修改所述环绕分量信号以具有立体声效果。
9.根据权利要求8所述的装置,其中,所述环境信息产生单元基于在所述第一信号输出单元和所述第二信号输出单元之间的环绕特性和收听位置来产生所述环境信息。
10.根据权利要求8所述的装置,其中,所述环境信息产生单元采用来自先前存储的环境信息的环境信息。
11.根据权利要求1所述的装置,其中,所述第一信号输出单元进一步包括延迟所述环绕分量信号的输出时间的输出延迟单元。
12.根据权利要求1所述的装置,其中,所述第二信号输出单元进一步包括将扩展效果应用到所述源分量信号的输出的扩展效果应用单元。
13.根据权利要求1所述的装置,其中,所述音频信号经由数字介质来接收。
14.一种解码音频信号的方法,包括:
接收具有多个信道信号的音频信号,所述多个信道信号包括环绕分量信号和源分量信号;
基于所述信道信号之间的相关性来提取所述信道中的每个信道的所述环绕分量信号和所述源分量信号;
使用围绕效果信息来修改所述环绕分量信号;以及
分别经由不同的输出单元来输出所述修改的环绕分量信号和所述源分量信号。
15.一种计算机可读记录介质,包括记录在其中的程序以执行权利要求14所述的步骤。
CN2008801121720A 2007-09-06 2008-09-08 解码音频信号的方法和装置 Expired - Fee Related CN101828219B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US97052407P 2007-09-06 2007-09-06
US60/970,524 2007-09-06
US98471307P 2007-11-01 2007-11-01
US60/984,713 2007-11-01
US7876108P 2008-07-07 2008-07-07
US61/078,761 2008-07-07
PCT/KR2008/005292 WO2009031871A2 (en) 2007-09-06 2008-09-08 A method and an apparatus of decoding an audio signal

Publications (2)

Publication Number Publication Date
CN101828219A true CN101828219A (zh) 2010-09-08
CN101828219B CN101828219B (zh) 2012-05-09

Family

ID=40429078

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008801121720A Expired - Fee Related CN101828219B (zh) 2007-09-06 2008-09-08 解码音频信号的方法和装置
CN2008801124983A Expired - Fee Related CN101836249B (zh) 2007-09-06 2008-09-08 解码音频信号的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008801124983A Expired - Fee Related CN101836249B (zh) 2007-09-06 2008-09-08 解码音频信号的方法和装置

Country Status (10)

Country Link
US (2) US8532306B2 (zh)
EP (2) EP2191462A4 (zh)
JP (2) JP2010538571A (zh)
KR (2) KR101569032B1 (zh)
CN (2) CN101828219B (zh)
AU (1) AU2008295723B2 (zh)
BR (1) BRPI0816669A2 (zh)
CA (1) CA2699004C (zh)
MX (1) MX2010002572A (zh)
WO (2) WO2009031871A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111034225A (zh) * 2017-08-17 2020-04-17 高迪奥实验室公司 使用立体混响信号的音频信号处理方法和装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5541928B2 (ja) 2007-03-09 2014-07-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
KR20080082917A (ko) 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
CA2699004C (en) 2007-09-06 2014-02-11 Lg Electronics Inc. A method and an apparatus of decoding an audio signal
JP5538425B2 (ja) * 2008-12-23 2014-07-02 コーニンクレッカ フィリップス エヌ ヴェ スピーチ取り込み及びスピーチレンダリング
KR101196410B1 (ko) * 2009-07-07 2012-11-01 삼성전자주식회사 Tv 설치타입에 기초한 자동 환경 설정방법 및 이를 적용한 tv
JP5307770B2 (ja) * 2010-07-09 2013-10-02 シャープ株式会社 音声信号処理装置、方法、プログラム、及び記録媒体
TWI665659B (zh) 2010-12-03 2019-07-11 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
US9253574B2 (en) * 2011-09-13 2016-02-02 Dts, Inc. Direct-diffuse decomposition
CN104737557A (zh) * 2012-08-16 2015-06-24 乌龟海岸公司 多维参数音频系统和方法
JP6186436B2 (ja) * 2012-08-31 2017-08-23 ドルビー ラボラトリーズ ライセンシング コーポレイション 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング
WO2014036121A1 (en) 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
JP5591423B1 (ja) 2013-03-13 2014-09-17 パナソニック株式会社 オーディオ再生装置およびオーディオ再生方法
EP2878515B1 (en) * 2013-11-29 2017-03-08 Harman Becker Automotive Systems GmbH Generating an audio signal with a configurable distance cue
US10468036B2 (en) * 2014-04-30 2019-11-05 Accusonus, Inc. Methods and systems for processing and mixing signals using signal decomposition
JP6463955B2 (ja) * 2014-11-26 2019-02-06 日本放送協会 三次元音響再生装置及びプログラム
CN105898667A (zh) 2014-12-22 2016-08-24 杜比实验室特许公司 从音频内容基于投影提取音频对象
CN109036456B (zh) * 2018-09-19 2022-10-14 电子科技大学 用于立体声的源分量环境分量提取方法
CN109640242B (zh) * 2018-12-11 2020-05-12 电子科技大学 音频源分量及环境分量提取方法
CN118398020A (zh) * 2019-05-15 2024-07-26 苹果公司 用于回放捕获的声音的方法和电子设备
KR102836019B1 (ko) * 2020-10-02 2025-07-18 구글 엘엘씨 실시간 및 파일 기반 오디오 데이터 프로세싱
CN113518299B (zh) * 2021-04-30 2022-06-03 电子科技大学 一种改进的源分量及环境分量提取方法、设备及计算机可读存储介质
CN113194400B (zh) * 2021-07-05 2021-08-27 广州酷狗计算机科技有限公司 音频信号的处理方法、装置、设备及存储介质

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3783192A (en) * 1971-12-30 1974-01-01 Sansui Electric Co Decoder for use in matrix four-channel system
JPS5192101U (zh) * 1975-01-23 1976-07-23
JPS5192101A (en) 1975-02-10 1976-08-12 Jidodochojushinki ni okeru shuhasuhojikairo
US4251688A (en) * 1979-01-15 1981-02-17 Ana Maria Furner Audio-digital processing system for demultiplexing stereophonic/quadriphonic input audio signals into 4-to-72 output audio signals
JPH03163997A (ja) 1989-11-21 1991-07-15 Mitsubishi Electric Corp 多チャンネル音声信号再生装置
US6026167A (en) * 1994-06-10 2000-02-15 Sun Microsystems, Inc. Method and apparatus for sending secure datagram multicasts
JP2766466B2 (ja) 1995-08-02 1998-06-18 株式会社東芝 オーディオ方式、その再生方法、並びにその記録媒体及びその記録媒体への記録方法
JP2993418B2 (ja) * 1996-01-19 1999-12-20 ヤマハ株式会社 音場効果装置
DE19646055A1 (de) 1996-11-07 1998-05-14 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher
US6026168A (en) 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
JP3743640B2 (ja) 1997-11-28 2006-02-08 日本ビクター株式会社 オーディオディスク及びオーディオ信号のデコード装置
WO1999053479A1 (en) * 1998-04-15 1999-10-21 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Fast frame optimisation in an audio encoder
US7103187B1 (en) * 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
SE514214C2 (sv) * 1999-05-28 2001-01-22 Sca Hygiene Prod Ab Absorberande alster med förbättrad vätskehanteringsförmåga
JP3307375B2 (ja) * 1999-10-04 2002-07-24 日本電気株式会社 半導体装置の製造方法
JP4277151B2 (ja) * 2000-01-31 2009-06-10 ソニー株式会社 全地球測位システムの受信装置及び復調処理制御方法
EP1134724B1 (en) 2000-03-17 2008-07-23 Sony France S.A. Real time audio spatialisation system with high level control
EP2299735B1 (en) * 2000-07-19 2014-04-23 Koninklijke Philips N.V. Multi-channel stereo-converter for deriving a stereo surround and/or audio center signal
JP4775529B2 (ja) 2000-12-15 2011-09-21 オンキヨー株式会社 遊戯機
US7095455B2 (en) * 2001-03-21 2006-08-22 Harman International Industries, Inc. Method for automatically adjusting the sound and visual parameters of a home theatre system
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
AU2002358225A1 (en) * 2001-12-05 2003-06-17 Koninklijke Philips Electronics N.V. Circuit and method for enhancing a stereo signal
EP1523862B1 (en) 2002-07-12 2007-10-31 Koninklijke Philips Electronics N.V. Audio coding
EP1427252A1 (en) 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
JP2004193877A (ja) 2002-12-10 2004-07-08 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
EP1611772A1 (en) * 2003-03-04 2006-01-04 Nokia Corporation Support of a multichannel audio extension
JP4124702B2 (ja) 2003-06-11 2008-07-23 日本放送協会 立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラム
US7257372B2 (en) * 2003-09-30 2007-08-14 Sony Ericsson Mobile Communications Ab Bluetooth enabled hearing aid
US6937737B2 (en) * 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
JP2005286828A (ja) * 2004-03-30 2005-10-13 Victor Co Of Japan Ltd オーディオ再生装置
US7490044B2 (en) * 2004-06-08 2009-02-10 Bose Corporation Audio signal processing
JP2006003580A (ja) 2004-06-17 2006-01-05 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置及びオーディオ信号符号化方法
WO2006022124A1 (ja) 2004-08-27 2006-03-02 Matsushita Electric Industrial Co., Ltd. オーディオデコーダ、方法及びプログラム
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
JP2006211206A (ja) 2005-01-27 2006-08-10 Yamaha Corp サラウンドシステム
JP4414905B2 (ja) * 2005-02-03 2010-02-17 アルパイン株式会社 オーディオ装置
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
JP4935091B2 (ja) 2005-05-13 2012-05-23 ソニー株式会社 音響再生方法および音響再生システム
US8577686B2 (en) * 2005-05-26 2013-11-05 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP4711743B2 (ja) 2005-05-26 2011-06-29 Ntn株式会社 軸継手
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2007004828A2 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
JP2007008715A (ja) 2005-07-04 2007-01-18 Fujifilm Holdings Corp 平版刷版の自動供給装置
JP4778737B2 (ja) 2005-07-05 2011-09-21 昭和電工株式会社 圧力容器
EP1920439A4 (en) 2005-07-29 2010-01-06 Lg Electronics Inc METHOD FOR GENERATING A CODED AUDIO SIGNAL AND METHOD FOR PROCESSING AN AUDIO SIGNAL
TWI396188B (zh) 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
JP2007058930A (ja) 2005-08-22 2007-03-08 Funai Electric Co Ltd ディスク再生装置
JP4402632B2 (ja) 2005-08-29 2010-01-20 アルパイン株式会社 オーディオ装置
WO2007055464A1 (en) 2005-08-30 2007-05-18 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
WO2007034806A1 (ja) 2005-09-22 2007-03-29 Pioneer Corporation 信号処理装置、信号処理方法、信号処理プログラムおよびコンピュータに読み取り可能な記録媒体
KR100754220B1 (ko) * 2006-03-07 2007-09-03 삼성전자주식회사 Mpeg 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
JP5451394B2 (ja) * 2006-09-29 2014-03-26 韓國電子通信研究院 多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法
PL2068307T3 (pl) 2006-10-16 2012-07-31 Dolby Int Ab Udoskonalony sposób kodowania i odtwarzania parametrów w wielokanałowym kodowaniu obiektów poddanych procesowi downmiksu
ATE539434T1 (de) * 2006-10-16 2012-01-15 Fraunhofer Ges Forschung Vorrichtung und verfahren für mehrkanalparameterumwandlung
CN101553866B (zh) 2006-12-07 2012-05-30 Lg电子株式会社 用于处理音频信号的方法和装置
WO2008089593A1 (fr) 2007-01-18 2008-07-31 Standard Chem. & Pharm. Co., Ltd. Preparation de tamsulosine a liberation prolongee et procede de production associe
CA2699004C (en) 2007-09-06 2014-02-11 Lg Electronics Inc. A method and an apparatus of decoding an audio signal
WO2009093866A2 (en) 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing an audio signal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111034225A (zh) * 2017-08-17 2020-04-17 高迪奥实验室公司 使用立体混响信号的音频信号处理方法和装置
CN111034225B (zh) * 2017-08-17 2021-09-24 高迪奥实验室公司 使用立体混响信号的音频信号处理方法和装置

Also Published As

Publication number Publication date
US8422688B2 (en) 2013-04-16
AU2008295723A1 (en) 2009-03-12
US8532306B2 (en) 2013-09-10
EP2191463A4 (en) 2010-09-01
CN101828219B (zh) 2012-05-09
JP2010538572A (ja) 2010-12-09
EP2191462A4 (en) 2010-08-18
KR20100063092A (ko) 2010-06-10
US20100250259A1 (en) 2010-09-30
KR20100081300A (ko) 2010-07-14
AU2008295723B2 (en) 2011-03-24
CN101836249B (zh) 2012-11-28
US20100241438A1 (en) 2010-09-23
KR101572894B1 (ko) 2015-11-30
WO2009031870A1 (en) 2009-03-12
BRPI0816669A2 (pt) 2015-03-17
CA2699004C (en) 2014-02-11
JP2010538571A (ja) 2010-12-09
MX2010002572A (es) 2010-05-19
EP2191462A2 (en) 2010-06-02
CA2699004A1 (en) 2009-03-12
WO2009031871A2 (en) 2009-03-12
KR101569032B1 (ko) 2015-11-13
CN101836249A (zh) 2010-09-15
WO2009031871A3 (en) 2009-04-30
EP2191463B1 (en) 2016-01-13
EP2191463A1 (en) 2010-06-02

Similar Documents

Publication Publication Date Title
CN101836249B (zh) 解码音频信号的方法和装置
CN104335606B (zh) 任意配置的扬声器的立体声拓宽
CN102972047B (zh) 用于再现立体声的方法和设备
CA2835463C (en) Apparatus and method for generating an output signal employing a decomposer
US20080069366A1 (en) Method and apparatus for extracting and changing the reveberant content of an input signal
TW201119420A (en) Virtual audio processing for loudspeaker or headphone playback
TW200837718A (en) Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program
JP2002078100A (ja) ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体
US20250365552A1 (en) Binaural signal post-processing
US20060008100A1 (en) Apparatus and method for producing 3D sound
KR100849030B1 (ko) 복수 채널 스피커 환경에서 가상 스피커 기술을 사용한입체음향 재생 장치
KR100802339B1 (ko) 스테레오 스피커 환경에서 가상 스피커 기술을 사용한입체음향 재생 장치 및 방법
CN109036456B (zh) 用于立体声的源分量环境分量提取方法
Pihlajamäki Multi-resolution short-time fourier transform implementation of directional audio coding
CN118741404A (zh) 基于自适应lms的音频处理方法、装置、设备和存储介质
AU2015255287B2 (en) Apparatus and method for generating an output signal employing a decomposer
Pras et al. Qualitative evaluation of Wave Field Synthesis with expert listeners
Amplifiers AES 133rd Convention Program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120509

Termination date: 20180908