CN103038819B - 用以使用补丁边界对准处理输入音频信号的装置及方法 - Google Patents
用以使用补丁边界对准处理输入音频信号的装置及方法 Download PDFInfo
- Publication number
- CN103038819B CN103038819B CN201180023444.1A CN201180023444A CN103038819B CN 103038819 B CN103038819 B CN 103038819B CN 201180023444 A CN201180023444 A CN 201180023444A CN 103038819 B CN103038819 B CN 103038819B
- Authority
- CN
- China
- Prior art keywords
- patch
- border
- frequency
- frequency band
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Auxiliary Devices For Music (AREA)
- Networks Using Active Elements (AREA)
Abstract
一种用于使用高频部分的参数数据处理一音频信号以产生具有所述高频部分及一低频部分的一带宽扩展信号的装置,参数数据与高频部分的频带有关,所述装置包含:一补丁边界计算器(2302),用于计算一补丁边界,以使得所述补丁边界与所述频带中的频带边界一致。该装置还包括一补丁器(2312),用于使用所述音频信号(2300)及所述补丁边界产生一补丁信号。
Description
技术领域
本发明涉及音频源编码系统,该系统利用一用于高频重建(HFR)的谐波移调方法,且涉及数字效果处理器,例如所谓的激励器,其中谐波失真的产生增加了经处理的信号的亮度,并且涉及时间展宽器,其中信号的持续时间被延长同时维持原始的频谱内容。
背景技术
在PCT WO98/57436中,移调的概念被建立作为一种从一音频信号的一低频带再产生一高频带的方法。通过在音频编码中使用该概念可以获得位率的大量节约。在一基于HFR的音频编码系统中,被一核心波形编码器处理一低频带宽信号,且利用对描述解码器侧的目标频谱形状的极低位率进行移调及添加旁侧信息来再生较高频率。对于低位率,在核心编码信号的带宽窄的情况下,再生一具有感知愉悦特性的高频带变得越来越重要。在PCTWO98/57436中定义的谐波移调在具有低交叉频率的情形中对复杂音乐材料执行得很好。谐波移调的原理是一具有频率ω的正弦曲线映射到一具有频率Tω的正弦曲线,其中T>1是一定义移调阶的整数。与此相比,基于单边带调制(SSB)为的HFR方法将一具有频率ω的正弦曲线映射到一具有频率ω+△ω的频率的正弦曲线,其中△ω是一固定频移。假设一核心信号具有低频带宽,SSB移调可能导致产生一不协和的振铃伪差。
为了达到尽可能好的音频质量,最新的高质量谐波HFR方法使用复杂的调制滤波器组,例如短时间傅立叶变换(STFT),以高频分辨率以及一高度过采样来达到期望的音频质量。需要精细分辨率来避免因非线性处理正弦曲线总和所引起的不想要互调制失真。在足够高频分辨率的情况下,即窄的子频带,高质量方法目的在于使每一子频带中具有一正弦曲线极大点。需要时间上的高度过采样以避免混叠型失真,且需要频率上的一定程度过采样以避免瞬时信号的预回声。明显的不足在于计算的复杂度会变高。
基于子频带区块的谐波移调是用于抑制互调制产物的另一HFR方法,在此情况下,采用一具有较粗频率分辨率及一低程度过采样的滤波器组,例如一多通道QMF组。在该方法中,一复子频带样本的时间区块被一普通整相器处理而数个调整试样的叠加形成一输出子频带样本。这具有抑制互调制产物的净效应,否则在输入子频带信号由数个正弦曲线组成时该互调制产物将会出现。基于以区块为基础的子频带处理的移调在计算复杂度上比高质量移调器低很多且对许多信号取得几乎相同的质量。然而,复杂度仍然远高于普通基于SSB的HFR方法,这是因为在一典型的HFR应用中需要多个分析滤波器组,各个滤波器组处理不同移调阶T的信号,以合成需要的带宽。此外,一通常的方式是使输入信号的采样率适配一具有固定大小的分析滤波器组,尽管滤波器组处理不同移调阶的信号。同时,也属常见的是对输入信号使用带通滤波器以获得经由不同移调阶处理、具有非重叠频谱密度的输出信号。
音频信号的存储或传输时常受到严格的位率限制。在过去,当只有一非常低的位率可利用时,编码器被迫大幅减少传输的音频带宽。现代音频编解码器现在能通过使用带宽扩展(BWE)方法[1-12]编码带宽信号。这些算法依赖高频成分(HF)的一参数表示,该高频成分是通过移调至HF频谱区域中(「修补」)且应用一参数驱动后处理从解码信号的低频部分(LF)生成。LF部分通过任何音频或语音编码器编码。举例而言,在[1-4]中描述的带宽扩展方法依赖单边带调制(SSB),通常也称为「复制」方法,以产生多个HF补丁。
近来,一种使用用于产生不同补丁的相位声码器组[15-17]的新算法已经被提出[13](参见图20)。此一方法已被开发用来避免听觉粗糙,听觉粗糙通常在经过SSB带宽扩展的信号上观察到。尽管对许多音调信号为有利的,但称作“谐波带宽扩展”(HBE)的该方法容易发生包含在音频信号中的瞬时质量劣化[14],原因在于在标准相位声码器算法中,不确定子频带之上的垂直一致性被保存,以及此外,必须地对变换(或可替换地,滤波器组)的时间区块进行相位重新计算。因此,对含有瞬时的信号部分需要特殊处理。
然而,因为BWE算法在一编解码器链的解码器侧执行,所以计算的复杂度是一严重问题。最先进的方法,尤其是基于相位声码器的HBE,与基于SSB方法相比,是以一大大增加的计算复杂度为代价之下得到的。
如同以上概略说明,现有的带宽扩展方案对一给定的信号区块仅应用一次修补方法,它是基于SSB的修补[1-4]或基于HBE声码器的修补[15-17]。另外,现代的音频编解码器[19-20]提供基于时间区块在可选择的修补方案之间全局切换修补方法的可能性。
SSB复制形成补丁将不必要的粗糙度引入音频信号,但是计算简单并且保留了瞬态的时间包络。在采用HBE补丁的音频编解码器中,瞬时再生质量经常是不理想的。此外,计算复杂度显著地增加而超过计算非常简单的SSB复制方法。
在论及复杂度减少时,采样率具有特殊的重要性。这是由于一高采样率意味着高复杂度,且一低采样率由于所需要的操作数目减少而通常意味着具有低复杂度。然而,另一方面,在带宽扩展应用的情形尤其如此而使得核心编码器输出信号的采样率将典型地低到使得对一全带宽信号的采样率过低。以不同方式陈述,当解码器输出信号的采样率例如是2或者2.5乘以核心编码器输出信号的最大频率时,则一例如因子为2的带宽扩展意味着需要一上采样操作,使得带宽扩展采样信号的采样率高到使采样能「涵盖」另外产生的高频成分。
另外,诸如分析滤波器组和合成滤波器组的滤波器组,负责相当大量的处理操作。因此,滤波器组的大小,即滤波器组是一32通道滤波器组、一64通道滤波器组还是甚至更高数目的滤波器组将显著地影响音频处理算法的复杂度。通常可以说,一高编号的滤波器组通道需要较多的处理操作,且因而比数目较少的滤波器组通道复杂度高。有鉴于此,在带宽扩展应用以及还在不同的采样率是一关键的其它音频处理应用(诸如在类似声码器的应用或任何其它音频效果应用)中,在复杂度与采样率或音频带宽之间具有一特定的互相依存性,意指当为特定的操作选择错误的工具或者算法时,上采样或子频带滤波的操作能在正面意义上未特别影响音频质量之前大幅增加复杂度。
在带宽扩展的背景下,使用参数数据集合来执行频谱包络调整及对补丁操作(即,从源范围(即,在带宽扩展处理器的输入端可利用的带宽扩展信号的低频带部分)提取一些数据并然后将该数据映射到高频范围的操作)所产生的信号执行其它处理。频谱包络调整可在将低频带信号实际上映射至高频范围之前,或在将源范围映射至高频范围之后进行。
典型地,参数数据集合设置有某种频率分辨率,亦即,参数数据是指高频部分的频带。另一方面,从低频带至高频带频带的补丁(亦即,使用哪个源范围来获得哪个目标或高频范围)是与分辨率无关的操作,其中参数数据集合关于频率而提供。在某种意义上,所传输的参数数据与实际上用作补丁算法的参数数据无关的事实是一项重要特征,原因在于这允许解码器侧具有高的灵活性,亦即当谈及带宽扩展处理器的实施时。此处,可使用不同补丁算法,但可以执行一个且相同的频谱包络调整。换言之,在带宽扩展应用中,高频重建处理器或频谱包络调整处理器不需要具有关于所应用的补丁算法的信息来执行频谱包络调整。
然而,该处理的缺点在于会出现频带间的不对准,对于此,由于一方面提供参数数据集合,另一方面提供补丁的频谱边界。具体地,在频谱能量于补丁边界附近剧烈变化的情况下,特别在此区域会出现伪差,这会使带宽扩展信号的质量劣化。
发明内容
本发明的一目的是提供一改进的音频处理概念,该一音频处理概念得到一良好音频质量。
此一目的通过根据权利要求1所述的一种处理一音频信号的装置,或通过根据权利要求15所述的一种处理一音频信号的方法,或根据权利要求16所述的一种计算机程序来实现。
本发明的实施方式涉及一种用于处理一音频信号以产生具有一高频部分及一低频部分的一带宽扩展之信号的装置,其中使用高频部分的参数数据,及其中参数数据与高频部分的频带有关。该装置包含一补丁边界计算器,用以计算一补丁边界,以使得补丁边界与频带的一频带边界相一致。该装置还包含一补丁器,用于使用音频信号及所算出的补丁边界产生一补丁信号。在一实施方式中,补丁边界计算器被配置为计算补丁边界来作为与高频部分相对应的一合成频率范围内的一频率边界。在该背景下,该补丁器被配置为使用一移调因子及补丁边界来选择低频带部分的一频率部分。在又一实施方式中,补丁边界计算器被配置为使用与频带的频带边界不一致的一目标补丁边界来计算补丁边界。然后,补丁边界计算器被配置为设定与目标补丁边界相异的补丁边界以获得对准。具体地,在使用不同移调因子的多个补丁的背景下,该补丁边界计算器被配置为例如对三个不同移调因子计算补丁边界,以使得各补丁边界与高频部分的频带中的一频带边界一致。然后,该补丁器被配置为使用三个不同移调因子来产生该补丁信号,以使得两相邻补丁之间的边界和与参数数据相关的两相邻频带间的边界一致。
本发明对于由于避免一方面的补丁边界与另一方面的参数数据的频带不对准引起的伪差(artifacts)特别有用。相反,由于完美对准,甚至强烈改变的信号或在补丁边界区具有强烈改变部分的信号也具有良好质量的带宽扩展。
此外,本发明的优点在于其仍然允许高的灵活性,原因在于编码器无需对将施加在解码器侧的补丁算法进行处理。一方面的补丁及另一方面的频谱包络调整(亦即,使用带宽扩展编码器所产生的参数数据)间的不相关性被保持;并允许应用不同补丁算法或甚至不同补丁算法的组合。这是可行的,原因在于补丁边界对准最终确保一方面的补丁数据和另一方面的参数数据集合关于频带(也称作比例因子频带)为彼此匹配。
根据所算出的补丁边界(补丁边界例如与目标范围(即,最终获得的带宽扩展信号的高频部分)有关),确定了用于从音频信号的低频带部分确定补丁源数据的相应源范围。转而只要求音频信号的低频带部分的某个(小的)带宽,原因在于在一些实施方式中应用谐波移调。因此,为了从低频带音频信号高效地提取此部分,使用仰赖于级联(cascade)各个滤波器组的一特定分析滤波器组结构。
这些实施方式依赖分析和/或合成滤波器组的特定级联布局来在不牺牲音频质量之下获得低复杂度重采样。在一实施方式中,处理一输入音频信号的装置包含一合成滤波器组,用以从输入音频信号合成一音频中间信号,其中该输入音频信号是以由一在处理方向上置于合成滤波器之前的分析滤波器组所产生的多个第一子频带信号表示,其中该合成滤波器组的滤波器组通道数目小于该分析滤波器组的通道数目。中间信号进一步由用于从该音频中间信号产生多个第二子频带信号的另一分析滤波器组处理,其中该另一分析滤波器组的通道数目不同于该合成滤波器组的通道数目,使得该多个子频带信号中的子频带信号的采样率不同于由该分析滤波器组所产生的多个第一子频带信号中第一子频带信号的采样率。
一合成滤波器组与一随后连接的另一分析滤波器组的级联提供一采样率转换,且另外提供已输入合成滤波器组的原始音频输入信号的带宽部分至基带的调制。现在提取自原始输入音频信号的该时间中间信号目前优选表示成调制至基带的一临界采样信号,该原始输入音频信号例如可为一带宽扩展方案的一核心解码器的输出信号,且已发现该表示(即,该重采样输出信号)当被另一分析滤波器组处理以获得一子频带表示时,容许进一步处理操作的低复杂度处理,该进一步处理操作可能会或可能不会发生,且该进一步处理操作例如是与带宽扩展相关的处理操作,诸如非线性子频带操作之后的高频率重建处理及在最后合成滤波器组中子频带的合并。
本申请提供在带宽扩展的背景下及在与带宽扩展无关的其它音频应用背景下处理音频信号的装置、方法或计算机程序的不同方面。接着描述的特征以及要求保护的各个方面可以部分或全部合并,但也能互相独立地使用,这是因为各个方面在一计算机系统或微处理器中被实施时已经提供有关感觉质量、计算复杂度以及处理器/存储器资源的优点。
实施方式提供一种方法,该方法用以通过对至HFR分析滤波器组分析级的输入信号进行高效的滤波及采样率转换来减少一基于子频带区块的谐波HFR方法的计算复杂度。此外,应用至输入信号的带通滤波器可以被示出为在一基于子频带区块的移调器中是无用的。
本实施方式通过在一单一分析与合成滤波器组对的架构中高效地实施基于子频带的移调的数个阶来促进减少基于子频带区块的谐波移调的计算复杂度。根据感觉质量与计算复杂度的此消彼长关系,在一滤波器组中可共同执行地仅移调的阶的适当子集或移调的所有阶。此外,一组合的移调方案中仅一些移调阶是被直接算出的而剩下的带宽是由可利用的(即,先前算出的移调阶(例如第二阶)和/或核心编码带宽的复制填充。在此情况下,可使用用于复制的可利用的源范围的每一可能组合来执行修补。
另外,实施方式提供一种方法,该方法通过HFR工具的频谱对准来改善高质量谐波HFR方法以及基于子频带区块的谐波HFR方法。具体地,通过将HFR产生信号的频谱边界与包络调整频率表的频谱边界对准来实现性能增强。此外,限制器工具的频谱边界是以同一原则被对准到HFR产生信号的频谱边界。
进一步的实施方式被配置为用来改进瞬时的感觉质量并同时例如通过应用一修补方案而减少计算复杂度,该修补方案应用由谐波修补与复制修补所组成的混合修补。
在特定的实施方式中,级联滤波器组结构的各个滤波器组是正交镜像滤波器组(QMF),所有皆依赖于使用定义滤波器组通道的中心频率的调制频率的集合调制的低通原型滤波器或窗。优选地,所有的窗函数或原型滤波器以具有不同尺寸(滤波器组通道)的滤波器组中的滤波器也彼此依赖的方式彼此依赖。优选地,滤波器组级联构造中的最大滤波器组在一实施方式中包含一第一分析滤波器组、一随后连接的滤波器组、一另一分析滤波器组以及稍后处理状态中的一最后合成滤波器组,该合成滤波器组包含具有特定数目窗函数或原型滤波器系数的窗函数或原型滤波器响应。较小尺寸的滤波器组皆为该窗函数的子采样版本,意指其他滤波器组的窗函数是「大」窗函数的子采样版本。举例而言,如果一滤波器组具有大滤波器组的一半大小,则窗函数具有一半数目的系数,而且尺寸较小的滤波器组的系数通过子采样得到。在该情形下,子采样意指例如每一第二滤波器系数被视为具有一半大小的较小滤波器组。然而,当非整数的滤波器组大小之间有其它关系时,则执行窗系数的一某种内插,使得最后,较小滤波器组的窗再次是较大滤波器组的窗的子采样版本。
本发明的实施方式在进一步处理需要输入音频信号的仅一部分的情形下特别有用,且此情形在谐波带宽扩展的场合下尤其发生。在此场合中,声码器之类的处理操作是特别优选的。
实施方式的一个优点在于实施方式通过高效的时域与频域操作提供一QMF移调器较低的复杂度,且利用频谱对准为基于QMF和DFT的谐波频谱带复制提供了改善的音频质量。
实施方式涉及一种音频源编码系统,该系统使用例如基于子频带区块的谐波移调方法用于高频重建(HFR),以及涉及数字效果处理器(例如所谓的激励器),其中谐波失真的产生增加了处理信号的亮度,及涉及时间展宽器,其中信号的持续时间被延长同时保持原始的频谱成分。实施方式提供了一种通过在HFR滤波器组分析级之前对输入信号进行高效滤波及采样率转换来减少基于子频带区块的谐波HFR方法的计算复杂度的方法。更进一步,实施方式示出了应用于输入信号的传统带通滤波器在一基于子频带区块的HFR系统中是无用的。另外地,实施方式提供了一种方法,该方法通过HFR工具的频谱对准来改善高质量谐波HFR方法和基于子频带区块的谐波HFR方法。具体地,实施方式教导了如何通过将HFR产生的信号的频谱边界与包络调整频率表的频谱边界对准来实现性能的增强。更进一步,限制器工具的频谱边界是以相同的原理对准至HFR产生信号的频谱边界的。
附图说明
现在,将参照附图以说明性示例的方式描述本发明,说明性示例不对本发明的范围进行限制,附图中:
图1示出了在一HFR增强型解码器架构中使用2、3及4阶移调的一基于区块的移调器的操作;
图2示出了图1中的非线性子频带展宽单元的操作;
图3示出了图1的基于区块的移调器的高效实施,其中使用多速率时域重采样器及基于QMF的带通滤波器来实施HFR分析滤波器组之前的重采样器和带通滤波器;
图4示出了用于高效实施图3的多速率时域重采样器的一构建块的示例;
图5示出了对于2阶移调通过图4中的不同块处理的一信号示例的效果;
图6示出了图1的基于区块的移调器的高效实施,在HFR分析滤波器组之前的重采样器和带通滤波器被更换成对从一32-频带分析滤波器组中选出的子频带操作的小的子采样合成滤波器组;
图7示出了对于2阶移调图6中的一子采样合成滤波器组处理的一示例信号的效果;
图8示出了一因子2的高效多速率时域下采样器的实施块;
图9示出了一因子3/2的高效多速率时域下采样器的实施块;
图10示出了在一HFR增强型编码器中HFR移调器信号的频谱边界与包络调整频带的边界的对准;
图11示出了由于未对准的HFR移调器信号频谱边界而出现伪差的情形;
图12示出了由于HFR移调器信号的对准频谱边界而避免图11的伪差的情形;
图13示出了限制器工具中的频谱边界至HFR移调器信号的频谱边界的调整;
图14示出了基于子频带区块的谐波移调的原理;
图15示出了在一HFR增强型音频编码器中使用移调的数个阶来应用基于子频带区块的移调的示例情形;
图16示出了每个移调阶应用一分离的分析滤波器组的基于多阶子频带区块的移调的操作的现有技术示例情形;
图17示出了应用一单个64频带QMF分析滤波器组进行一基于多阶子频带区块的移调的高效操作的一发明示例情形;
图18示出了用于形成子频带信号明智处理的另一示例;
图19示出了单边带调制SSB)修补;
图20示出了一谐波带宽扩展(HBE)修补;
图21示出了一混合修补,第一修补是通过频率扩展而产生且第二修补是通过一低频部分的SSB拷贝而产生;
图22示出了对一SSB拷贝操作利用第一HBE修补以产生一第二修补的可选择的混合修补;
图23示出了根据实施方式的用以使用频谱频带对准来处理音频信号的装置的综论;
图24a示出了图23的补丁边界计算器的一优选实施;
图24b示出了通过本发明的实施方式执行的一系列步骤的另一综论;
图25a示出了用于示出补丁边界对准的背景下补丁边界计算器的更多细节以及关于频谱包络调整的更多细节的一块图;
图25b示出了图24a指示的处理作为伪代码的流程图;
图26示出了在一带宽扩展处理背景下架构的概况;以及
图27示出了通过图23的另一分析滤波器组处理子频带信号输出的一优选实施。
具体实施方式
下述的实施方式仅为说明性的,且可通过高效的时域和频域操作来提供QMF移调器的一低复杂度,以及通过频谱对准提供基于QMF和DFT的谐波SBR的改善的音频质量。可理解的是,本文中所描述的修改以及配置变化及细节对于本领域中的普通技术人员是显而易见的。因此仅限制于权利要求的范围而不受限于由本文中实施方式的描述与说明提出的特定细节。
图23示出了一种使用高频部分的参数数据,来处理音频信号2300以产生具有高频部分和低频部分的带宽扩展信号的装置的实施方式,其中参数数据与高频部分的频带有关。装置包含补丁边界计算器2302,用于优选使用与频带的频带边界不一致的目标补丁边界2304,计算补丁边界。关于高频部分的频带的信息2306例如可取自于适用于带宽扩展的编码数据流中。在又一实施方式,补丁边界计算器不仅对单个补丁计算单个补丁边界,同时也对属于不同移调因子的数个不同补丁计算数个补丁边界,其中关于移调因子的信息被提供给补丁边界计算器2302,如以2308所表示的。补丁边界计算器被配置为计算补丁边界,以使得补丁边界与频带的频带边界相一致。优选地,当补丁边界计算器接收到关于目标补丁边界的信息2304时,于是补丁边界计算器被配置为设定补丁边界与目标补丁边界不同以获得对准。补丁边界计算器在线2310向补丁器2312输出与目标补丁边界不同的所算出的补丁边界。补丁器2312使用低频带音频信号2300及在2310的补丁边界,在输出2314产生一补丁信号或数个补丁信号,而在执行多次移调的实施方式中,使用线2308上的移调因子。
图23中的表示出了用于说明基本构想的一数值示例。举例言之,当假设低频带音频信号具有从0Hz扩展至4千赫兹(kHz)的低频部分(显然,源范围实际上不始于0Hz而是接近0,诸如20Hz)。此外,用户意图执行4kHz信号带宽扩展至16kHz带宽扩展信号。此外,用户指出用户期望使用具有移调因子2、3及4的三个谐波补丁来执行带宽扩展。于是,补丁的目标边界可被设定为自4kHz扩展至8kHz的第一补丁,自8kHz扩展至12kHz的第二补丁,及自12kHz扩展至16kHz的第三补丁。如此,当假设与低频带信号的最大频率或交叉频率一致的第一补丁边界不变时,补丁边界为8、12及16。然而,如果根据需要,改变第一补丁的该边界也落入于本发明的实施方式的范围内。对移调因子2,目标边界将对应于2至4kHz的源范围,对移调因子3,将对应于2.66至4kHz的源范围,及对移调因子4,将对应于3至4kHz的源范围。更明确言之,源范围是通过将目标边界除以实际使用的移调因子算出的。
对23图的示例,假设边界8、12、16和与参数输入数据相关的频带的频带边界不一致。如此,补丁边界计算器计算对准的补丁边界,且不立即应用目标边界。这会导致对第一补丁为7.7kHz的上补丁边界,对第二补丁为11.9kHz的上补丁边界,及对第三补丁为15.8kHz的上补丁边界。然后,再度为各个补丁使用移调因子,一些“已调整的”源范围被算出,且被用于进行补丁,这在图23中以示例的方式示出。
虽然已经概述了源范围与目标范围一起变化,但对于其它实施方式,还可操控移调因子,及维持源范围或目标边界;或对其它应用,甚至可改变源范围及移调因子来最终到达已调整的补丁边界,其与和描述原始信号的高频带部分的频谱包络的参数带宽扩展数据相关的频带的频带边界相一致。
图14示出了基于子频带区块的移调的原理。输入时域信号被馈给到提供大量复值子频带信号的分析滤波器组1401。这些复值子频带信号被馈给到子频带处理单元1402。该大量的复值输出子频带被馈给到合成滤波器组1403,其进而输出修改的时域信号。子频带处理单元1402执行基于非线性区块的子频带处理操作,以使得修改的时域信号是对应于移调阶T>1的输入信号的一移调版本。基于区块的子频带处理的观念通过包含一次对多于一个子频带样本的区块进行的非线性操作来定义,其中后续的区块被窗化且重叠相加以产生输出子频带信号。
滤波器组1401和1403可以是任何复指数调制型,诸如QMF或窗化DFT。他们在调制中可被偶数或奇数叠加,且可由一宽范围的原型滤波器或窗定义。重要的是知道以物理单位测量出的下列两个滤波器组参数的商数。
●ΔfS:分析滤波器组1401的子频带频率间距;
●ΔfA:合成滤波器组1403的子频带频率间距。
对于子频带处理1402的配置,需要找出源和目标子频带索引之间的对应关系。观察到,一物理频率Ω的输入正弦曲线将导致在具有指标m≈T·Ω/ΔfS的输入子频带出现主要贡献。需要移调的物理频率T·Ω的输出正弦曲线将通过馈给具有指标m≈T·Ω/ΔfS的合成子频带产生。因此,一特定目标子频带指标m的子频带处理的适当源子频带指标值必需遵守
图15示出了在一增强型HFR音频编解码器中使用数阶移调的基于子频带区块的移调的应用的一示例方案。一传输比特流被核心解码器1501接收,该核心解码器以采样频率fs提供一低频带宽解码的核心信号。低频通过一64频带QMF合成组(反向QMF)1505之前的一复调制32频带QMF分析组1502重采样到输出采样频率2fs。此二滤波器组1502和1505具有相同的物理分辨率参数ΔfS=ΔfA,且HFR处理单元1504仅使对应于低带宽核心信号的未修改较低子频带通过。输出信号的高频成分通过向64频带QMF合成组1505的较高子频带馈给来自多重移调器单元1503的、由HFR处理单元1504执行了频谱成形和修改的输出频带来获得。多重移调器1503将解码的核心信号当做输入且输出表示若干移调信号成分的叠加或组合的64QMF频带分析的多个子频带信号。目的是如果HFR处理被略过,则每一成分相当于核心信号的一整数物理移调,(T=2,3…)。
图16示出了基于子频带区块的多阶移调1603的操作的现有技术示例方案,该操作每一移调阶应用一单独的分析滤波器组。此处,在以2fs采样率操作的64频带QMF的域中将产生三个移调阶T=2、3、4且三个移调阶T=2、3、4被输出。合并单元1604仅选择并将来自每一移调因子支路的相关子频带合并成为一将被馈给HFR处理单元的单个QMF子频带组。
首先考虑T=2的情形,具体地,目的是一64频带QMF分析1602-2、一子频带处理单元1603-2以及一64频带QMF合成1505的处理链产生一T=2的物理移调。图14中将这三个块标识为1401、1402和1403,发现ΔfS/ΔfA=2使得根据(1)导致1603-2的具体为源n与目标子频带m之间的对应关系被给出为n=m。
至于T=3的情形,示例性系统包括一采样率转换器1601-3,其将输入采样率下变频一因子3/2使得由fs变为2fs/3。具体地,目的是该64频带QMF分析1602-3、该子频带处理单元1603-3以及一64频带QMF合成1505的处理链造成T=3的物理移调。图14中将这三个块标识为1401、1402和1403,发现由于重采样ΔfS/ΔfA=3,使得(1)提供1603-3的具体为源n与目标子频带m之间的对应关系再次被给出为n=m。
对于T=4的情形,示例性系统包括一采样率转换器1601-4,其将输入采样率下变频一因子2,由fs变为fs/2。具体地,目的是该64频带QMF分析1602-4、该子频带处理单元1603-4以及一64频带QMF合成1505的处理链造成一T=4的物理移调。图14中将这三个块标识为1401、1402和1403,发现由于重采样ΔfS/ΔfA=4,使得(1)提供1603-4的具体为源n与目标子频带m之间的对应关系也被给出为n=m。
图17示出了应用一单个64频带QMF分析滤波器组的基于子频带区块的多阶移调的高效操作的发明示例方案。实际上,图16中使用三个单独的QM F分析组和两个采样率转换器造成一相当高的计算复杂度,以及由于采样率转换1601-3造成的基于帧(frame)处理造成一些实施上的缺点。目前的实施方式教导了分别以子频带处理1703-3和1703-4取代二支路1601-3→1602-3→1603-3和1601-4→1602-4→1603-4,然而支路1602-2→1603-2与图16相比保持不变。所有的三阶移调目前必需在一参照图14的滤波器组域中执行,其中ΔfS/ΔfA=2。就T=3的情形而言,由(1)给出的1703-3的具体是源n与目标子频带m之间的对应关系被给出为n≈2m/3。就T=4的情形而言,由(1)给出的1703-4的具体是源n与目标子频带m之间的对应关系被给出为n≈2m。为了更进一步减少复杂度,一些移调阶可通过复制已算出的移调阶或核心解码器的输出来产生。
图1示出了在一HFR增强型解码器架构(诸如SBR[ISO/IEC14496-3:2009,信息技术-音视对象的编码-第三部分:音频])中,使用2、3及4移调阶的基于子频带区块的移调器的操作。比特流被核心解码器101解码至时域且被传送到HFR模块103,其由基带核心信号产生一高频信号。在产生后,HFR产生的信号通过传送的侧信息被动态地调整为尽可能接近地匹配原始信号。由HFR处理器105对从一个或数个分析QMF组所获得的子频带信号执行该调整。一个典型的方案是其中核心解码器对以一输入和输出信号的一半频率采样的一时域信号进行操作,即,HFR解码器模块将高效地重采样核心信号达两倍采样频率。此样本率转换通常是通过一32频带分析QMF组102对核心编码器信号进行滤波的第一步骤102获得。所谓的交叉频率以下的子频带(即,含有全部核心编码器信号能量的32个子频带的较低子集)与携带HFR产生信号的子频带的集合组合。通常,如此组合的子频带数目是64,在经由合成QMF组106滤波后产生一与来自HFR模块的输出组合的采样率转换的核心编码器信号。
在HFR模块103的基于子频带区块的移调器中,三个移调阶T=2、3和4将在以输出采样率2fs操作的64频带QMF的域中产生并被传送。输入时域信号在块103-12、103-13和103-14中被带通滤波。进行此动作以使被不同移调阶处理的输出信号具有非重叠的频谱成分。信号被进一步下采样(103-23、103-24),以将输入信号的采样率调整为适合一固定大小(本情况下为64)的分析滤波器组。注意,从fs到2fs的采样率的增加可由采样率转换器使用下采样因子T/2而非T的事实来解释,其中后者将产生具有与输入信号相等的采样率的移调子频带信号。下采样信号被馈给分离的HFR分析滤波器组(103-32、103-33和103-34),一个用于每一移调阶,该滤波器组提供多个复值子频带信号。这些信号被馈给非线性子频带展宽单元(103-42、103-43和103-44)。多个复值输出子频带与子采样分析组102的输出一起被馈给合并/组合模块104。合并/组合单元仅将来自核分析滤波器组102的子频带和每一展宽因子支路合并成一将被馈给至HFR处理单元105内的一的单个QMF子频带组。
当来自不同的移调阶的信号频谱被设定成不重叠时,亦即,第T个移调阶信号的频谱应起始于T-1阶信号的频谱终止处,移调的信号需要具有带通特性。图1中的传统带通滤波器103-12-103-14由此而来。然而,经由合并/组合单元104在可利用子频带中的一简单排除选择,单独的带通滤波器是多余的且可被撤除。替代地,由QMF组所提供的固有带通特性通过将移调器支路的不同贡献独立地馈给104中的不同子频带而被利用。仅对在104中被组合的频带应用时间展宽也满足需求。
图2示出了一非线性子频带展宽单元的操作。区块提取器201从复值输入信号采样一样本的一有限帧。帧是由一输入指针位置定义。此一帧在202中接受非线性处理且接着在203中被有限长度窗窗化。产生的样本在重叠及加法单元204中被加入先前输出样本,其中输出帧位置由一输出指针位置定义。输入指针以一固定量增加且输出指针以该子频带展宽因子乘上相同量增加。此一操作链的重复将造成一持续时间为子频带展宽因子乘上输入子频带信号时间的输出信号,输出信号的持续时间高达合成窗的长度。
虽然SBR[ISO/IEC14496-3:2009,信息技术-音视对象的编码-第三部分:音频]使用的SSB移调器典型地利用第一子频带除外的整个基带来产生高频带信号,但谐波移调器通常使用核心编码器频谱的一较小部分。所使用的量(所谓源范围)取决于移调阶、带宽扩展因子以及适用于组合结果的规则,例如是否允许由不同移调阶产生的信号频谱重叠。因此,谐波移调器就一特定移调阶的输出频谱的仅一有限部分将实际上被HFR处理模块105使用。
图18示出了用于处理单个子频带信号的示例性处理实施的另一个实施方式。单个子频带信号在被一未示于图18中的分析滤波器组滤波之前或之后,接收任何类型的抽取。因此,单个子频带信号的时间长度比形成抽取之前的时间长度短。单个子频带信号被输入至一区块提取器1800中,该提取器可与区块抽取器201相同,但亦能以不同方式实施。图18中的区块提取器1800使用一示例性地称为e的样本/区块预先值操作。该样本/区块预先值可以是变量或者可以是固定设定的,且在图18中示出为一指向区块提取器块1800内的箭头。在区块提取器1800的输出,存在多个个提取区块。这些区块是高度地重叠,这是因为样本/区块预先值e显著地小于区块提取器的区块长度。一示例是区块提取器提取12个样本的区块。第一区块包含样本0-11,第二区块包含样本1-12,第三个区块包含样本2-13,等等。在此实施方式中,样本/区块预先值e等于1,且有一11重的重叠。
各个区块被输入窗口器1802,以针对每一区块使用一窗函数使区块窗化。另外,设置相位计算器1804,其计算每一区块的一相位。相位计算器1804可在窗化之前或窗化之后使用各个区块。然后,相位调整值pxk被计算且被输入一相位调整器1806内。相位调整器将调整值应用至区块中的每个样本。此外,因子k等于带宽扩展因子。举例而言,当获得一因子为2的带宽扩展时,则针对区块提取器1800提取的一区块计算的相位p被乘以2且在相位调整器1806中应用至区块的每一样本的调整值是p乘以2。此为一示例值/规则。或者,合成的修正相位是k*p,p+(k-1)*p。因此在此一示例中,如果被乘算,校正因子是2,如果被加算,则是1*p。其它值/规则可被适用于计算相位校正值。
在一实施方式中,单一子频带信号是一复子频带信号,而一区块的相位可以以多种不同方法计算。一种方法是采用区块中间或区块中间周围的样本,且计算该多个样本的相位。还可以针对每一样本计算相位。
虽然在图18中示出了一相位调整器在窗口器之后操作,此二块也能互换,使得对区块提取器所提取的区块执行相位调整,且接着执行窗化操作。由于二操作,即窗化和相位调整是实值或复值乘算法,这两个操作能通过使用一复乘算法因子归纳成一单个操作,该复乘算法因子本身是相位调整乘算法因子与一窗化因子的乘积。
相位调整区块被输入一重叠/相加及振幅校正块1808,其中该窗化及调整相位的区块被重叠相加。然而,更重要的是,块1808中的样本/区块预先值不同于区块提取器1800中使用的值。特别地,块1808中的样本/区块预先值大于块1800中使用的值e,所以获得块1808输出的信号的时间展宽。因此,块1808输出的已处理子频带信号的长度比输入至块1800中的子频带信号的长度长。当要获得一为二的带宽扩展时,则使用样本/区块预先值,该预先值是块1800中的对应值的两倍。此导致一因子为二的时间展宽。然而,当需要其它时间展宽因子时,则可使用其它的样本/区块预先值,以使块1808的输出具有所需要的时间长度。
为了解决重叠问题,优选地执行振幅校正,以解决块1800和1808中的不同重叠的问题。然而,此振幅校正也可以引入窗口器/相位调整器乘算法因子中,但振幅校正也能在重叠/处理之后执行。
在上述一区块长度为12且块提取器中的样本/区块预先值为一的示例中,当执行因子为2的带宽扩展时,重叠/相加块1808的样本/区块预先值将等于二。此仍将造成五个区块的重叠。当将执行因子为3的带宽扩展时,则块1808使用的样本/区块预先值将等于三,且重叠将会下降至3个重叠。当将执行四倍带宽扩展时,则重叠/相加块1808必需使用为四的样本/区块预先值,其仍将造成多于二个区块的重叠。
通过将至移调器支路的输入信号限制成只包含源范围可实现大量计算节约,且此在一采样率之下适应于每一移调阶。这种系统的用于一基于子频带区块的HFR产生器的基本块设计在图3中示出。输入核心编码信号由在HFR分析滤波器组之前的专用下采样器处理。
各下采样器的实质作用是滤除源范围信号,且将其以可能最低的采样率传送至分析滤波器组。此处,“可能最低”指的是仍适于下游处理的最低采样率,不必是避免抽取后的混叠的最低采样率。采样率转换可以以各种方式获得。在不限制本发明范围的前提下,将提供两个示例:第一示例给出由多速率时域处理进行的重采样,且第二示例示出通过QMF子频带处理所实现的重采样。
图4示出了一移调阶为二的多速率时域下采样器中的块的一示例。具有带宽B赫兹且采样频率为fs的输入信号被一复指数(401)调制,以使源范围的开始频移到DC频率,如下:
调制后的一输入信号与频谱的示例在图5(a)及(b)中示出。调制信号被插值(402)且被一复值低通滤波器以带通限制0和B/2赫兹滤波(403)。各个步骤后的频谱示出于图5(c)和(d)中。滤波信号接着被抽取(404),且信号的实部被计算(405)。这些步骤后的结果示出在图5(e)和(f)图中。在此特别的示例中,当T=2,B=0.6时(在一归一化标度上,也就是fs=2),为了安全涵盖源范围,P2被选择为24。下采样因子得到:
其中分数已用公因子8化简,因此,插值因子是3(如图5(c)可见),且抽取因子是8。通过使用Noble恒等式[“Multirate Systems And FilterBanks,”P.P.Vaidyanathan,1993,Prentice Hall,Englewood Cliffs],在图4中抽取器能被一直移动到左方,且插值器能被一直移动到右方。如此,以可能最低的采样率进行调制和滤波,且计算复杂度被进一步降低。
另一途径是使用在SBRHFR方法中已存在的子采样32频带分析QMF组102的子频带输出。涵盖不同移调器支路的源范围的子频带被HFR分析滤波器组之前的小子采样的QMF组合成至时域。这种HFR系统在图6中示出。小QMF组由子采样原始的64频带QMF组来得到,其中原型滤波器系数通过原始原型滤波器的线性插值法被找出。注意图6中的符号,在第二阶移调器支路前的合成QMF组具有Q2=12个频带(在32频带QMF中具有零基索引8至19的子频带)。为了避免合成处理中的混叠,第一(索引8)和最后(索引19)频带被设为零。产生的频谱输出在图7示出。注意,基于区块的移调器分析滤波器组具有2Q2=24个频带,即,与以多速率时域下采样器为基础的示例(图3)中的频带的数目相同。
在图1中概略说明的系统可被视为图3与图4中概述的重采样的一简化特例。为了简化配置,省略调制器。更进一步,使用64频带的分析滤波器组获得所有的HFR分析滤波。因此,图3的P2=P3=P4=64,且第二、第三和第4阶移调器支路的下采样因子分别是1、1.5和2。
在图8(a)中示出了因子为2的下采样器的块图。新的实值低通滤波器可被写成H(z)=B(z)/A(z),其中B(z)是非递归部分(FIR)且A(z)是递归部分(IIR)。然而,为了高效实施,使用Noble恒等式以降低计算复杂度,设计其中所有极点具有重数2(双极点)(如A(z2))的滤波器是有益的。因此滤波器可以被分解成图8(b)所示。使用Noble恒等式1,递归部分可被移动抽取器,如图8(c)中。非递归滤波器B(z)可使用标准的2成分多相分解被实施为:
因此,下采样器可被构造成如图8(d)所示。在使用Noble恒等式1之后,以可能最低采样率计算FI R部分,如图8(e)所示。从图8(e)可以容易看出,FIR操作(延迟、抽取及多相成分)可被视为一使用二样本输入步长的窗-相加操作。对于二输入样本,一个新输出样本将被生成,以高效地实现因子2的下采样。
因子1.5=3/2下采样器的一块图示出在图9(a)中。实值低通滤波器可以再度被写成H(z)=B(z)/A(z),其中B(z)是非递归部分(FIR)且A(z)是递归部分(IIR)。如同前述,为了高效实施,使用Noble恒等式以减少计算复杂度,设计其中所有极点或具有重数2(双极点)或重数3(三极点)(如A(z2)或A(z3))的一滤波器是有益的。此处,双极点被选择作为低通滤波器的设计算法是更加高效的,但三极点方式相比,递归部分实际上在实施上具有1.5倍复杂度。因此滤波器可被分解成如图9(b)所示。使用Noble恒等式2,递归部分可以移动在插值器之前,如图9(c)所示。非递归滤波器B(z)可使用标准2·3=6成分多相分解被实施为:
因此,下采样器可被构造成如图9(d)中所示。在使用Noble恒等式1和2之后,以可能最低采样率计算FIR部分,如图9(e)中所示。从图9(e)容易看出,使用较低组的三个多相滤波器E0(z),E2(z),E4(z)计算偶数索引输出样本,而较高组E1(z),E3(z),E5(z)计算奇数索引样本。每组(延迟链,抽取器和多相元件)的操作可被视为使用三样本的输入步长的窗-相加操作。上方组使用的窗系数是奇数索引系数,而下方组使用来自原始滤波器B(z)的奇数索引系数。因此,对于一三个输入样本的组,将产生两个新输出样本将被生成,高效地造成因子1.5的下采样。
来自核心解码器(图1中的101)的时域信号还通过在核心解码器中使用一较小的子采样合成变换被子采样。使用一较小的合成变换提供更进一步计算复杂度的降低。根据交叉频率(即核心编码器信号的带宽),合成变换尺度与标称尺度Q(Q<1)的比将导致产生一具有采样率Qfs的核心编码器输出信号。在本应用中概述的示例中,为了处理子采样核心编码器信号,图1中的所有分析滤波器组1(102,103-32,103-33和103-34),连同图3的下采样器(301-2,301-3和301-T)、图4的抽取器404以及图6的分析滤波器组601需要以因子Q比例缩放。显然地,Q必须被选择成所有滤波器组大小是整数。
图10示出了HFR移调信号的频谱边界与一HFR增强型解码器(诸如SBR[ISO/IEC14496-3:2009,信息技术-音视对象的编码-第三部分:音频])中的包络调整频率表的对准。图10(a)示出了包含包络调整表的频带的格式图,所称的比例因子频带涵盖从交叉频率kx到终止频率ks的频率范围。比例因子频带构成在一HFR增强型编码器中调整再生高频带频率之上的能量水平时所使用的频率格网(即频率包络)。为了调整包络,对一受比例因子频带边界与所选时间边界限制的时间/频率区块内的信号能量进行平均。
更明确言之,图10在上部分中示出了对频带100的分割,从图10显而易见的,频带随频率而增加,其中横轴对应于频率且在图10的标号中具有滤波器组通道k,其中滤波器组可被实施为QMF滤波器组,诸如64通道滤波器组,或可通过数字傅里叶变换实现,其中k对应于DFT应用的某个频率窗口(bin)。因此,DFT应用的频率频率窗口及QMF应用的滤波器组通道在本描述的背景下具有相同指示。如此,对频率频率窗口100或频带的高频部分102赋予参数数据。最终带宽扩展信号的低频部分以104表示。图10的中间示出说明了第一补丁1001、第二补丁1002及第三补丁1003的补丁范围。各补丁在二补丁边界间延伸,其中对于第一补丁具有下补丁边界1001a及上补丁边界1001b。1001b所指示的第一补丁的上边界对应于1002a所指示的第二补丁的下边界。如此,参考符号1001b与1002a实际上指一个且相同的频率。第二补丁的上补丁边界1002b还对应于第三补丁的下补丁边界1003a,及第三补丁也具有高补丁边界1003b。优选的是,各补丁间不存在有孔隙,但此并非根本要求。从图10可知,补丁边界1001b、1002b与频带100的相应边界不一致,而是在某个频带101之内。图10的下部线示出了具有对准边界1001c的不同补丁,其中第一补丁的上边界1001c的对准表示第二补丁的下边界1002c自动地对准,反之亦然。此外,图10的第一条线指示,第二补丁的上边界1002d现在对准频带101的下频带边界,因此,指示第三补丁的下边界1003c也自动对准。
在10图的实施方式中,示出了对准的边界被对准至匹配频带101的下频带边界,但对准也可在不同方向实施,亦即补丁边界1001c、1002c被对准至频带101的上频带边界而非对准至其下频带边界。根据实际实施,可应用这些可行方式之一,甚至对不同补丁可具有两种可行性的组合。
如果由不同移调阶产生的信号不对准比例因子频带,如图10(b)中所示,由于包络调整处理将保持比例因子频带中的频谱结构,所以若频谱能量在移调频带边界附近急剧变化,则会引起伪差。因此,所提出的解决方案是使移调信号的频率边界适应图10(c)中所示的比例因子频带的边界。在此图中,由移调阶2与3(T=2,3)产生的信号的上边界与图10(b)相比低于一小量,以使移调频带的频率边界对准现有的比例因子频带边界。
图11中示出了当使用非对准边界时表现出潜在伪差的实际情形。图11(a)还示出了比例因子频带边界。图11(b)示出了移调阶T=2,3和4的未调整HFR产生的信号以及核心解码基带信号。图11(c)示出了当采用一平坦目标包络时的包络调整信号。具有网纹区域的区块表示具有高频带内能量变化的比例因子频带,其可引起输出信号的异常。
图12示出了图11的情形,但此次使用对准的边界。图12(a)示出了比例因子频带边界,图12(b)示出了移调阶T=2,3和4的未调整HFR产生的信号以及核心解码基带信号,且与图11(c)一致,图12(c)示出了当采用一平坦目标包络时的包络调整信号。从该图中可见,因移调信号频带与比例因子频带的未对准,导致不存在具有高频带内能量的比例因子频带,且因此潜在伪差被减少。
图25a示出了根据优选实施方式的补丁边界计算器2302及补丁器及这些元件在带宽扩展情形下的位置的实现的综论。更明确言之,设置输入接口2500,其接收低频带数据2300及参数数据2302。参数数据可为例如从ISO/IEC 14496-3:2009为已知的带宽扩展数据,通过引用将其全部结合于本文中,具体地,关于带宽扩展的章节,即章节4.6.18“SBR工具”。章节4.6.18中特别有关的部分为章节4.6.18.3.2“频带表”,及具体为一些频率表fmaster、fTableHigh、fTableLow、fTableNoise及fTableLim的计算。更明确言之,该项标准的章节4.6.18.3.2.1定义主频带表的计算,及章节4.6.18.3.2.2定义从主频带表导算出的频带表的计算,及具体输出信号fTableHigh、fTableLow及fTableNoise如何计算。章节4.6.18.3.2.3定义限制器频带表的计算。
低分辨率频率表fTableLow用于低分辨率参数数据,而高分辨率频率表fTableHigh用于高分辨率参数数据,这两者在MPEG-4SBR工具的环境下都是可行的,如所述标准中讨论;而参数数据是为低分辨率参数数据还是高分辨率参数数据取决于编码器实施方式。输入接口2500确定参数数据是低还是高分辨率数据,将此信息提供给频率表计算器2501。然后,频率表计算器计算主表,或通常导算高分辨率表2502及低分辨率表2503,且将它们提供给补丁边界计算器核2504,其另外包含或与限制器频带计算器2505协作。元件2504及2505产生对准的合成补丁边界2506及与合成范围相关的相应限制器频带边界。该信息2506被提供给源频带计算器2507,其为某个补丁计算低频带音频信号的源范围,使得连同相应移调因子,在使用例如谐波移调器2508作为补丁器后获得对准的合成补丁边界2506。
更明确言之,谐波移调器2508可执行不同补丁算法,诸如基于DFT的补丁算法或基于QMF的补丁算法。谐波移调器2508可被实施为执行类似声码器的处理,其在关于基于QMF的谐波移调器实施方式的图26及27的背景下进行了描述,但也可使用其它移调器操作,诸如基于DFT的谐波移调器,以在类似声码器结构中产生高频部分。对基于DFT的移调器,源频带计算器计算低频范围的频率窗。对于基于QMF的实施方式,源频带计算器2507计算各补丁所要求的源范围的QMF频带。源范围由低频带音频数据2300定义,低频带音频数据通常以编码形式提供,并且被输入接口2500传输给核心解码器2509。核心解码器2509将其输出数据馈至分析滤波器组2510,分析滤波器组可以是QMF实施或DFT实施。在QMF实施中,分析滤波器组2510可具有32个滤波器组通道,这些32个滤波器组通道定义“最大”源范围,及然后谐波移调器2508从这32个频带中选出组成由源频带计算器2507所定义的经调整的源范围的实际频带,以例如满足图23的表中经调整的源范围数据,假设图23的表中的频率值被转换成合成滤波器组子频带指标。对基于DFT的移调器可进行类似的处理,基于DFT的移调器接收用于各个补丁的低频范围的某个窗,然后该窗被传送至DFT块2510,以根据块2504算出的经调整的或经对准的合成补丁边界来选择源范围。
谐波移调器2508所输出的移调信号2509被传送至包络调整器及增益限制器2510,其接收高分辨率表2502及低分辨率表2503、经调整的限制频带2511及自然地参数数据2302作为输入。线2512上的包络调整的高频带然后被输入至合成滤波器组2514,其另外地典型地以与核心解码器2509输出的形式相同的形式接收低频带。两项贡献被合成滤波器组2514合并以最终获得线2515上的高频重建信号。
显然,高频带与低频带的合并可以以不同的方式进行,例如通过在时域而非频域执行合并。此外,显然,可改变合并顺序,而与合并及包络调整的实施无关,亦即使得某个频率范围的包络调整可在合并之后执行,或可替换地在合并之前执行,其中后一种情况在图25a中示出。进一步概述的,包络调整甚至可在移调器2508中进行移调前执行,使得移调器2508及包络调整器2510的顺序也可与图25a举例说明的实施方式不同。
如已经在块2508的背景下所概述的,基于DFT的谐波移调器或基于QMF的谐波移调器可应用于实施方式中。两种算法根据相位声码器频率展宽。使用经修改的相位声码器结构来对核心编码器时域信号进行带宽扩展。带宽扩展通过时间扩展来执行,时间扩展之后执行抽取,即,在一共享分析/合成移调阶段,使用若干移调因子(t=2、3、4)进行移调。移调器的输出信号将具有的采样率为输入信号的采样率的两倍,这意味着移调因子2,信号将被时间延展而不被抽取,高效地产生与输入信号相等的持续时间的信号,但具有两倍的采样频率。组合的系统可被解译为分别使用2、3及4的移调因子的三个并行移调器,其中抽取因子为1、1.5及2。为了降低复杂度,因子3及4的移调器(第三及第四阶移调器)利用插值法而整合入因子为2的移调器(第二阶移调器)中,如稍后在图27的背景下所讨论的。
对每个帧(frame),移调器的标称“完整大小”的变换大小根据单个自适应性频域过采样来确定,单个自适应性频域过采样可被用于改进瞬时响应,或其可被关断。在图24a中,该值被指示为FFTSizeSyn。然后,对窗化的输入样本区块进行变换,其中对于该区块提取,执行更少数样本的一区块预先值或分析步长值来具有各区块的显著重叠。DFT根据信号自适应性频域过采样控制信号,将所提取的区块变换至频域。根据所使用的三个移调因子,对复值DFT系数的相位进行修改。对于第二阶移调,相位加倍;对于第三及第四阶移调,相位为三倍、四倍或从两个接续DFT系数进行内插得到的。随后利用DFT将修改的系数变换回时域,重叠-加法通过使用与输入步长不同的输出步长对其进行窗化及组合。然后,使用图24a示出的算法,补丁边界被算出并被写入数组xOverBin。然后,使用补丁边界来计算时域变换窗以用于DFT移调器应用。对于QMF移调器源范围,基于在合成范围内算出的补丁边界计算通道数目。优选地,这实际上发生在移调之前,原因在于需要此作为用以产生移调频谱的控制信息。
接着,结合示出补丁边界计算器的一个优选实施方式的图25b中的流程图,讨论图24a中示出的伪代码。在步骤2520,基于输入数据(诸如高或低分辨率表),计算频率表。如此,块2520对应于图25a的块2501。然后,在步骤2522,基于移调因子确定目标合成补丁边界。更明确言之,目标合成补丁边界对应于图24a的补丁值与fTableLow(0)的乘法结果,其中fTableLow(0)指示带宽扩展范围的第一通道或频率窗口,亦即高于交叉频率的第一频带,低于交叉频率则输入音频数据2300被赋予高分辨率。在步骤2524,检查目标合成补丁边界在对准范围内是否与低分辨率表中的项目匹配。更明确言之,3的对准范围优选为图24a的2525所表示。但其它范围也是有用的,诸如小于或等于5的范围。当在步骤2524确定该目标与低分辨率表中的项目匹配时,则提取该匹配项目作为新的补丁边界来替代目标补丁边界。然而,当确定没有项目在对准范围内时,应用步骤2526,其中以高分辨率表进行相同的检验,还如图24a的2527所指示。当在步骤2526确定确实存在对准范围内的表项目时,则提取匹配项目作为新补丁边界来替代目标合成补丁边界。然而,当在步骤2526确定即便在高分辨率表中,也不存在在对准范围内的任何值,则应用步骤2528,其中使用目标合成边界,而不进行任何对准。这还在图24a中的2529中指示出。因此,步骤2528可视为退路,使得在带宽扩展解码器不会留在回路内的任何情况下都能被保证,而在即便对频率表及目标范围有极为特别且成问题的选择时,无论如何都能够解决。
关于图24a中的伪代码,概述了以2531表示的代码线执行某些预处理来确保全部变量在有用范围内。此外,检查目标是否匹配对准范围以内的低分辨率表中的项目被执行为计算如下差值(行2525、2527):由图25b中的接近块2522与线2525、2527所指示的积所算出的目标合成补丁边界与线2525的参数sfbH或线2527的参数sfbL(sfb=比例因子频带)所定义的实际表项目之间的差值。当然,也可执行其它检查运算。
此外,对预定对准范围时,并非必须寻找对准范围内的匹配的情况。取而代之,可进行表内搜索来找出最佳匹配表项目,亦即,最接近目标频率值的表项目,而与二者间的差值大小无关。
其它实施方式设计表内的搜索,诸如最高边界的fTableLow或fTableHigh不超过HFR对移调因子T所产生的信号的(基本)带宽极限。然后,使用所找到的该最高边界作为HFR对移调因子T所产生的频率极限。在本实施方式,无需图25b中接近块2522指示的目标计算。
图13示出了HFR限制器频带边界(如,例如在[SBR[ISO/IEC14496-3:2009,信息技术-音视对象的编码-第三部分:音频]中描述]对一HFR增强型编码器中的谐波修补的适应。限制器对具有远粗于比例因子频带的分辨率的频带操作,但操作原理非常相同。在限制器中,每个限制器频带的平均增益值被计算。个别增益值(即,针对每一比例因子频带计算出的包络增益值)不允许超过限制器平均增益值的一特定乘算因子以上。限制器的目的是抑制每一限制器频带内的比例因子频带增益的大变化。虽然移调器产生频带对比例因子频带的适应确保一比例因子频带内的频带内能量变化小,但根据本发明,限制器频带边界对移调器频带边界的适应解决了经移调器处理的频带间的较大尺度能量差。图13(a)示出了移调阶T=2,3和4的HFR产生信号的频率限制。不同移调信号的能量水平差可以实质上不同。图13(b)示出了限制器的频带,该限制器典型地是关于一对数频标具有固定宽度。移调器频带边界被相加作为固定的限制器边界,且剩下的限制器边界被重新计算以将对数关系保持尽可能接近,如在图13(c)的示例中所示出的。
其他的实施方式使用图21中示出的一混合修补系统,其中执行一时间块内的混合修补方法。为了完全涵盖HF频谱的不同区域,BWE包含数个修补。在HBE中,较高的修补需要相位声码器内的高移调因子,此特别地降低瞬时的感觉质量。
因此,实施方式优选地通过计算上高效的SSB复制修补产生占据上方频谱区域的较高阶修补,并优选地通过HBE修补产生涵盖中间频谱区域的较低阶修补,其中对于中间频谱区域,期望保持谐波结构。修补方法的个别混合可以随时间经过是静态的,或优选地是在比特流中获得信号。
关于复制操作,可使用低频信息,如图21所示。或者,来自使用HBE方法产生的修补的数据可如同图21所示被使用。后者导致对于较高修补的较不密集音调结构。除这两个示例之外,复制和HBE的每种组合都是可想象的。
所提出概念的优点是
·改进瞬时感觉质量
·减少计算复杂度
图26示出了用于带宽扩展的一优选处理链,其中在块1020a、1020b表示的非线性子频带处理中可以执行不同的处理操作。在实施中,处理的时域信号(诸如带宽扩展信号)的频带选择性处理是在时域而非子频带域中执行的,该子频带域存在于合成滤波器组2311之前。
图26示出了根据另一实施方式的从一低频带信号1000产生带宽扩展音频信号的装置。装置包含一分析滤波器组1010、一子频带明智非线性子频带处理器1020a,1020b、一随后连接的包络调整器1030或,就一般而言,对高频重建参数(例如,输入在参数线1040上的)进行操作的高频重建处理器。包络调整器,或就一般而言,高频重建处理器处理每一子频带的各个子频带信号,且将用于每一子频带通道的处理子频带信号输入合成滤波器组1050中。合成滤波器组1050在其较低通道接收输入信号,低频带核心解码器信号的子频带表示。根据实施,低频带还可以从图26中的分析滤波器组1010的输出导出。移调子频带信号被馈给至合成滤波器组的较高滤波器组通道,以执行高频重建。
滤波器组1050最后输出一移调器输出信号,其包含移调因子2,3和4的带宽扩展,且块1050输出的信号不再被带宽限制于交叉频率,即不再被限制于相当于SBR或HFR产生的信号成分的最低频率的核心编码器信号的最高频率。图26的分析滤波器组1010对应于图25a的分析滤波器组2510,及合成滤波器组1050可对应于图25a中的合成滤波器组2514。更明确言之,如在图27的背景下所讨论的,使用由块2504及2505算出的对准的合成补丁边界及限制器频带边界,在非线性子频带处理1020a、1020b内执行图25a中的块2507所示的源频带计算。
关于限制器频带表,应注意,限制器频带表可被构建为具有在整个重建范围内的一个限制器频带或每倍频程约1.2、2或3个频带,由ISO/IEC14496-3:2009,4.6.18.3.2.3定义的位流元素bs_limiter_bands信号通知。频带表可包含与高频产生器补丁相对应的另外频带。该表可维持合成滤波器组子频带的指标,其中元素的个数等于频带数目加1。当谐波移调为主动时,则确保限制器频带计算器引入与补丁边界计算器2504所限定的补丁边界一致的限制器频带边界。此外,其余限制器频带边界在对补丁边界“固定”设定的限制器频带边界间计算。
在图26实施方式中,分析滤波器组执行两次以上采样,且具有一特定的分析子频带间距1060。合成滤波器组1050具有一合成子频带间距1070,在本实施方式,此使分析子频带间距大小加倍,这将导致稍后将在图27的背景中讨论的移调贡献。
图27示出了图26中的非线性子频带处理器1020a的优选实施方式的详细实施。图27示出的电路接收单个子频带信号108作为一输入,该单个子频带信号1080将在三个“支路”中被处理:上支路110a是用来以一移调因子2移调。位于图27中间以110b表示的支路用来以一移调因子3移调,且图27中以参考标号110c表示的下支路用于以一移调因子4移调。然而,由图27中的每个处理元件所获得的实际移调对支路110a仅是1(即没有移调)。由图27中示出的处理元件对于中间支路110b所获得的实际移调等于1.5且对下支路110c所获得的实际移调等于2。这以位于图27左边括号中的数字表示,其中表示移调因子T。1.5和2移调表示通过在支路110b,110c中进行抽取操作及通过重叠与相加处理器进行时间展宽所获得的第一移调贡献。第二贡献(即移调的加倍)是通过合成滤波器组105获得的,该合成滤波器组105具有一两倍于分析滤波器组子频带间距的合成子频带间距1070。因此,因为合成滤波器组具有两倍合成子频带间距,所以在支路110a中不发生任何抽取功能。
然而,支路110b具有一抽取功能以获得一1.5的移调。由于合成滤波器组具有两倍于分析滤波器组的物理子频带间距,一获得移调因子3,如标示在图27中第二支路110b的区块提取器的左方。
类似地,第三支路有一对应于移调因子2的抽取功能,且分析滤波器组与合成滤波器组中的不同子频带间距的最终贡献对应于第三支路110c的移调因子4。
特别地,每个支路具有一区块提取器120a、120b、120c,且这些区块提取器中的每一个可与图18的区块提取器1800类似。此外,每一支路具有一相位计算器122a、122b和122c,且相位计算器可与图18的相位计算器1804类似。再者,每一支路具有一相位调整器124a、124b、124c,且相位调整器可与图18的相位调整器1806类似。此外,每一支路具有一窗口器126a、126b、126c,其中这些窗口器的每一个可与图18的窗口器1802类似。然而,窗口器126a、126b、126c还可被配置成连同一些“补零”一起应用于一矩形窗。在图11的实施方式中,每一支路110a、110b、110c中的移调或修补信号被输入加法器128,加法器128将来自每一支路的贡献加到当前子频带信号,以最终在加法器128的输出得到所谓的移调区块。然后,在重叠-加法器130中执行一重叠-相加处理,且重叠-加法器130可与图18的重叠/相加块1808相似。重叠-加法器应用一重叠相加预先值2·e,其中e是区块提取器120a、120b、120c的重叠-预先值或“步长值”,且重叠加法器130输出移调的信号,其在图27的实施方式中是一通道k(即,当前观察到的子频带通道)的单个子频带输出。对于每一分析子频带或对于一特定分析子频带组执行图27中示出的处理,且如图26中示出,移调的子频带信号在由块103处理之后被输入到合成滤波器组105,而最后在块105的输出获得移调器输出信号,如图26中所述。
在实施方式中,第一移调器支路110a的区块提取器120a提取10个子频带样本,且随后,执行这10个QMF子频带样本至极坐标的转换。由相位调整器124a产生的该输出接着被发送到窗口器126a,窗口器126a对于区块的第一值与最后值以零扩展输出,其中,该操作等同于一长度10的矩形窗的(合成)窗化。在支路110a中的区块提取器120a不执行抽取。因此,由区块提取器提取的样本以他们被提取的相同样本间距被映射至所提取的区块。
然而,对于支路110b和110c这是不同的。区块提取器120b优选地提取一8个子频带样本的区块,且将提取区块中的这8个子频带样本以不同的子频带样本间距分布。通过插值法获得提取区块的非整数子频带样本项,且如此得到的QMF样本连同插值的样本一起被转换到极坐标并被相位调整器处理。然后,再度执行窗口器126b中的窗化,以对于最初的两个样本及最后的两个样本将相位调整器124b输出的区块扩展零,此操作等同于一长度8的矩形窗的(合成)窗化.
区块提取器120c被配置成用于提取一具有6子频带样本的时间宽度且执行一抽取因子为2的抽取,执行QMF样本至极坐标的转换,且再度执行相位调整器124b中的操作,且输出再次以零扩展,然而目前是针对最初三个子频带样本与最后三个子频带样本。此一操作等价于一长度6的矩形窗的(合成)窗化。
每一支路的移调输出接着被进行相加,以形成由加法器128输出的组合QMF,且组合QMF输出最后在块130中使用重叠加法器被叠加,其中该重叠相加预先值或步长值为前文所述的区块提取器120a、120b、120c的步长值的两倍。
图27还示出了图25a的源频带计算器2507所执行的功能,此时认为参考标号108示出用于补丁的可用分析子频带信号,亦即由图26的分析滤波器组1010所输出的以图26中的1080所指示的信号。从分析子频带信号中选择正确子频带,或在其它实施方式中,关于DFT移调器,由区块提取器120a、120b及120c执行正确分析频率窗的应用。为此,对于每个移调分支,表示用于每个补丁的第一子频带信号、最后子频带信号以及介于其间的子频带信号的补丁边界被提供给区块提取器。最终,导致T=2的移调因子的第一分支以其区块提取器120a接收xOverQmf(0)至xOverQmf(1)间的全部子频带指标,然后区块提取器120a从由此选出的分析子频带提取一区块。注意,补丁边界被给定作为以k指示的合成范围的通道指标,及分析频带关于其子频带通道以n指示。因此,因n是通过将2k除以T算出的,故如在图26的背景下所讨论的,由于合成滤波器组的双倍频率间隔,使得分析频带n的通道数目等于合成范围的通道数目。对第一区块提取器120a或通常对第一移调器分支110a,这被指示在区块120a上方。然后,对第二补丁分支110b,区块提取器接收xOverQmf(1)至xOverQmf(2)间的全部合成范围通道指数。更明确言之,区块提取器须从其中提取区块用于进一步处理的源范围通道指标,是从所确定的补丁边界所给定的合成范围通道指标将k乘以因子2/3算出的。然后,此计算的整数部分被作为分析通道数目n,然后区块提取器从其中提取区块来经元件124b、126b进一步处理。
对第三分支110c,区块提取器120c再度接收补丁边界,并且从与由xOverQmf(2)至xOverQmf(3)间所限定的合成频带相对应的子频带执行区块抽取。分析数目n是通过将2乘以k算得的,这是用于从合成信道数目计算分析信道数目的计算规则。在该背景下,概述了xOverQmf对应于图24a的xOverBin,但图24a对应于基于DFT的补丁器,而xOverQmf对应于基于QMF的补丁器。用以确定xOverQmf(i)的计算规则以与图24a示出的相同方式确定的,但不需要因子fftSizeSyn/128来计算xOverQmf。
对于图27的实施方式,用以确定补丁边界来计算分析范围的处理还在图24中示出。在第一步骤2600,补丁的补丁边界对应于移调因子2、3、4及可选择地,甚至如在图24a或图25a的背景下讨论而计算。然后,DFT补丁器的源范围频域窗或QMF补丁器的源范围子频带通过在块120a、120b及120c的背景下讨论的方程式计算,其还示出在块2602右侧。然后通过计算移调信号以及通过将移调信号映射至高频(如块2604中示出的)来执行补丁,在图27的处理中特别示出移调信号的计算,其中通过区块重叠加法130所输出的移调信号对应于在图24b的块2604中的处理所产生的补丁的结果。
实施方式包含通过使用基于子频带区块的谐波移调解码音频信号的方法,该方法包含通过一M-频带分析滤波器组对一核心解码信号进行滤波,以获得子频带信号的集合;通过具有一减少子频带数目的子采样合成滤波器对所述子频带信号的一子集进行合成,以获得子采样源范围信号。
一实施方式涉及一种用于将HFR产生信号的频谱带边界与参数处理中所利用的频谱边界对准的方法。
一实施方式涉及一种用于将HFR产生信号的频谱带边界与包络调整频率表的频谱边界对准的方法,该方法包含:在包络调整频率表中搜索不超过移调因子T的HFR产生信号的基本带宽限制的最高边界;且使用所找到的最高边界作为移调因子T的HFR产生信号的频率限制。
一实施方式涉及一种用于将限制器工具的频谱边界与HFR产生信号的频谱边界对准的方法,该方法包含:将HFR产生信号的频率边界相加到创建限制器工具所使用的频带边界时所使用的边界表;且迫使限制器使用相加后的频率边界作为恒定边界并相应地调整剩余的边界。
一实施方式涉及一音频信号的组合移调,包含在一低分辨率滤波器组域中的一些整数移调阶,其中对子频带信号的时间区块执行该移调操作。
一另一实施方式涉及组合移调,其中大于2的移调阶被嵌入一2阶移调环境中。
一另一实施方式涉及组合移调,其中大于3的移调阶被嵌入一3阶移调环境中,而低于4的移调阶被分离地执行。
一另一实施方式涉及组合移调,其中移调阶(例如移调阶大于2)通过复制包含核心编码带宽的先前算出的移调阶(即,尤其是较低阶)来创建。可利用的移调阶与核心带宽阶的每一可想到的组合皆可行,而不是限制性的。
一实施方式设计由于移调所需要的分析滤波器组数目减少所导致的计算复杂度减少。
一实施方式涉及从一输入音频信号产生一带宽扩展信号的装置,该装置包括一修补器,用于修补一输入音频信号以获得一第一修补信号和一第二修补信号,该第二修补信号具有与第一修补信号不同的一修补频率,其中该第一修补信号使用一第一修补算法产生,且该第二修补信号使用一第二修补算法产生;以及一组合器,用于组合第一修补信号和第二修补信号,以获得带宽扩展信号。
另一实施方式涉及根据前述的装置,其中第一修补算法是一谐波修补算法,且第二修补算法是一非谐波的修补算法。
另一实施方式涉及前述装置,其中,第一修补频率低于第二修补频率或反之亦然。
又一实施方式涉及前述装置,其中输入信号包含一修补信息;且其中修补器被配置成由从输入信号提取的修补信息控制,以根据修补信息改变第一修补算法或第二修补算法。
另一实施方式涉及前述装置,其中,修补器用于修补音频信号样本的随后区块,且其中修补器被配置成将第一修补算法和第二修补算法应用至音频样本的相同区块。
另一实施方式涉及前述装置,其中,修补器以任意顺序包含一由带宽扩展因子控制的抽取器、一滤波器组和一用于滤波器组子频带信号的展宽器。
又一实施方式涉及前述装置,展宽器包含区块提取器,用于根据一提取预先值提取一些重叠区块;相位调整器或窗口器,用于基于一窗函数或一相位校正调整每一区块中的子频带样本值;以及重叠/加法器,用于使用一大于提取预先值的重叠预先值执行窗化及相位调整区块的一重叠相加处理。
另一实施方式涉及用于对音频信号进行带宽扩展的装置包含:滤波器组,用于滤波音频信号以获得下采样子频带信号;多个不同子频带处理器,用于以不同方式处理不同子频带信号,该子频带处理器使用不同的展宽因子执行不同的子频带信号时间展宽操作;以及合并器,用于将多个不同的子频带处理器输出的处理子频带合并以获得一带宽扩展音频信号。
另一实施方式涉及一种用于对音频信号进行下采样的装置包含一调制器;使用一插值因子的一插值器;一复低通滤波器;以及一使用一抽取因子的抽取器,其中该抽取因子高于插值因子。
一实施方式涉及一种用于对音频信号进行下采样的装置,包含:第一滤波器组,用于从音频信号产生多个子频带信号,其中该子频带信号的采样率小于音频信号的采样率;至少一个合成滤波器组,位于分析滤波器组之后,并用于执行样本率转换,该合成滤波器组具有的通道数目不同于分析滤波器组的通道数目;时间展宽处理器,用于处理样本率转换信号;以及组合器,用于将时间展宽信号和一低频带信号或一不同时间展宽信号组合。
另一实施方式设计用于通过一非整数下采样因子下采样一音频信号的装置,包含:一数字滤波器;一具有一插值因子的插值器;一具有奇数与偶数抽头的多相元件;及一具有大于插值因子的一抽取因子的抽取器,该抽取因子与插值因子被选择成使得插值因子与抽取因子的比是非整数。
一实施方式涉及一种用于处理一音频信号的装置,包含:核心解码器,该核心解码器的一合成变换大小比标称变换大小小一因子,使得由一采样率小于对应于标称变换大小的标称采样率的核心解码器产生一输出信号;以及一具有一个或多个滤波器组、一个或多个时间展宽器及一合并器的后处理器,其中该一个或多个滤波器组的滤波器组通道数目相比于由标称变换大小确定的数目少。
另一实施方式涉及一种用于处理一低频带信号的装置,包含:一修补产生器,用于利用低频带音频信号产生多个修补;包络调整器,用于使用对于具有比例因子频带边界的邻接比例因子频带所给定的比例因子调整信号的包络,其中该修补产生器被配置成用于执行多次修补,使得相邻修补之间的边界与频标中相邻比例因子频带间的边界一致。
一实施方式涉及一种用来处理一低频带音频信号的装置,包含:修补产生器,用以使用低频带音频信号产生多个修补;及包络调整限制器,用于通过在具有限制器频带边界的相邻限制器频带中进行限制来限制一信号的包络调整值,其中该修补产生器被配置成执行多次修补,以使得相邻修补之间的边界与一频标中的相邻限制器频带间的边界一致。
本发明的处理对于增强依赖于带宽扩展方案的音频编解码器是有用的,尤其是,若在给定的位率下一最佳的感觉质量是高度重要的,且同时处理电力为一受限制资源。
最突出的应用是音频解码器,通常被实施在手持装置上且因而以一电池电源操作。
本发明的编码音频信号可被存储在一数字存储媒体上,或可在诸如一无线传输媒体或一有线传输媒体的一传输媒体(诸如因特网)上被传输。
根据特定的实施需求,本发明的实施方式可以以硬件或软件中实施。实施可利用一数字存储媒体执行,举例而言,一软盘、一DVD、一CD、ROM、一PROM、一EPROM、EEPROM或者闪存,其上存储有电可读控制信号,其与一可编程计算机系统协作(或能够协作),以使得能够执行各个方法。
根据本发明的一些实施方式包含一具有电可读控制信号的数据载体,该控制信号能够与一可编程计算机系统协作,使得能够执行本文中所描述的诸方法之一。
通常,本发明的实施方式可被实施成一具有程序代码的计算机程序产品,该程序代码用于在计算机程序产品在一计算机上运行时来执行诸方法中之一者。程序代码例如可存储在一机器可读载体上。
其它实施方式包含用于执行本文所描述的方法的、存储在一机器可读载体上的计算机程序。
换句话说,本发明方法的一实施方式因此是一具有程序代码的计算机程序,当计算机程序在一计算机上运行时该程序代码用来执行本文所述的诸方式中之一。
本发明方法的又一实施方式因此是一数据载体(或一数字存储媒体,或一计算机可读媒体),包含记录于其上用于执行本文所描述的诸方法之一的计算机程序。
本发明方法的另一实施方式因此是一表示用于执行本文中所描述的方法之一的计算机程序的数据流或一信号序列。数据流或信号序列例如可被配置成经由一数据通信连接(例如经由因特网)被传送。
另一实施方式包含一处理设备,例如一计算机、或一可编程的逻辑器件,该逻辑器件被配置或用于执行本文所描述的诸方法中之一。
又一实施方式包含其上安装有用于执行本文描述的诸方法之一的计算机程序的计算机。
在一些实施方式中,一可编程逻辑器件(例如现场可编程逻辑门阵列)可用来执行本文描述的方法中的一些或全部功能。在一些实施方式中,一现场可编程逻辑门阵列可与一微处理器协作以执行本文所描述的诸方法之一。通常,方法优选由任一硬件装置执行。
上述的实施方式仅用于说明本发明的原理,应当理解,本文所描述的配置以及细节的修改和变型对于本领域的技术人员是显而易见的。因此,意指仅由随后的专利权利要求限定,而不是由以本文中的实施方式的描述和说明的方式给出的具体细节限定。
文献:
[1]M.Dietz,L.Liljeryd,K.and O.Kunz,“Spectral Band Replication,anovel approach in audio coding,″in 112th AES Convention,Munich,May 2002.
[2]S.Meltzer,R.and F.Henn,“SBR enhanced audio codecs for digitalbroadcasting such as“Digital Radio Mondiale”(DRM),”in 112th AESConvention,Munich,May 2002.
[3]T.Ziegler,A.Ehret,P.Ekstrand and M.Lutzky,“Enhancing mp3 with SBR:Features and Capabilities of the new mp3PRO Algorithm,”in 112th AESConvention,Munich,May 2002.
[4]International Standard ISO/IEC 14496-3:2001/FPDAM 1,“BandwidthExtension,″ISO/IEC,2002.Speech bandwidth extension method andapparatus Vasu Iyengar et al
[5]E.Larsen,R.M.Aarts,and M.Danessis.Efficient high-frequencybandwidth extension of music and speech.In AES 112th Convention,Munich,Germany,May 2002.
[6]R.M.Aarts,E.Larsen,and O.Ouweltjes.A unified approach to low-andhigh frequency bandwidth extension.In AES 115th Convention,New York,USA,October 2003.
[7]K.A Robust Wideband Enhancement for Narrowband SpeechSignal.Research Report,Helsinki University of Technology,Laboratory ofAcoustics and Audio Signal Processing,2001.
[8]E.Larsen and R.M.Aarts.Audio Bandwidth Extension-Application topsychoacoustics,Signal Processing and Loudspeaker Design.John Wiley &Sons,Ltd,2004.
[9]E.Larsen,R.M.Aarts,and M.Danessis.Efficient high-frequencybandwidth extension of music and speech.In AES 112th Convention,Munich,Germany,May 2002.
[10]J.Makhoul.Spectral Analysis of Speech by Linear Prediction.IEEETransactions on Audio and Electroacoustics,AU-21(3),June 1973.
[11]United States Patent Application 08/951,029,Ohmori,et al.Audioband width extending system and method
[12]United States Patent 6895375,Malah,D & Cox,R.V.:System forbandwidth extension of Narrow-band speech
[13]Frederik Nagel,Sascha Disch,″Aharmonic bandwidth extensionmethod for audio codecs,″ICASSP International Conference on Acoustics,Speech and Signal Processing,IEEE CNF,Taipei,Taiwan,April 2009
[14]Frederik Nagel,Sascha Disch,Nikolaus Rettelbach,″A phase vocoderdriven bandwidth extension method with novel transient handling for audiocodecs,”126th AES Convention,Munich,Germany,May 2009
[15]M.Puckette.Phase-Iocked Vocoder.IEEE ASSP Conference onApplications of Signal Processing to Audio and Acoustics,Mohonk 1995.″,A.:Transient detection and preservation in the phase vocoder;citeseer.ist.psu.edu/679246.html
[16]Laroche L.,Dolson M.:“Improved phase vocoder timescalemodification of audio″,IEEE Trans.Speech and Audio Processing,vol.7,no.3,pp.323--332,
[17]United States Patent 6549884 Laroche,J.& Dolson,M.:Phase-vocoder pitch-shifting
[18]Herre,J.;Faller,C.;Ertel,C.;Hilpert,J.;A.;Spenger,C,″MP3Surround:Efficient and Compatible Coding of Multi-Channel Audio,″116thConv.Aud.Eng.Soc.,May 2004
[19]Neuendorf,Max;Gournay,Philippe;Multrus,Markus;Lecomte,Jérémie;Bessette,Bruno;Geiger,Ralf;Bayer,Stefan;Fuchs,Guillaume;Hilpert,Johannes;Rettelbach,Nikolaus;Salami,Redwan;Schuller,Gerald;Lefebvre,Roch;Grill,Bernhard:Unified Speech and Audio Coding Scheme for HighQuality at Lowbitrates,ICASSP 2009,April 19-24,2009,Taipei,Taiwan[20]Bayer,Stefan;Bessette,Bruno;Fuchs,Guillaume;Geiger,Ralf;Gournay,Philippe;Grill,Bernhard;Hilpert,Johannes;Lecomte,Jérémie;Lefebvre,Roch;Multrus,Markus;Nagel,Frederik;Neuendorf,Max;Rettelbach,Nikolaus;Robilliard,Julien;Salami,Redwan;Schuller,Gerald:A Novel Scheme for LowBitrate Unified Speech and Audio Coding,
126th AES Convention,May 7,2009,München
Claims (12)
1.一种用于使用高频部分(102)的参数数据(2302)处理一音频信号以产生具有所述高频部分(102)及一低频部分(104)的一带宽扩展信号的装置,所述参数数据与所述高频部分(102)的频带(100,101)有关,所述装置包含:
一补丁边界计算器(2302),用于计算多个补丁边界中的一补丁边界(1001c,1002c,1002d,1003c,1003b),以使得所述补丁边界与所述高频部分(102)的所述频带(100,101)的频带边界一致;及
一补丁器(2312),用于使用所述音频信号(2300)及所述补丁边界(1001c,1002c,1002b,1003c,1003b)产生一补丁信号,其中,所述补丁边界与所述带宽扩展信号的所述高频部分(102)有关;
其中,所述补丁边界计算器(2302)被配置为:
使用所述参数数据或其它配置输入数据来计算(2520)用于定义所述高频部分(102)的所述频带的一频率表;
使用至少一个移调因子来设定(2522)一与所述补丁边界不同的目标合成补丁边界;
在所述频率表中搜索(2524)在预定匹配范围内具有与所述目标合成补丁边界一致的匹配边界的匹配频带或搜索一频带边界最接近所述目标合成补丁边界的所述频带;及
选择(2525,2527)所述匹配频带作为所述补丁边界,其中所述匹配频带在所述预定匹配范围内具有与所述目标合成补丁边界相一致的匹配边界,或具有最接近所述目标合成补丁边界的频带边界。
2.根据权利要求1所述的装置,其中,所述补丁边界计算器(2302)被配置为对三个不同移调因子计算补丁边界,使得各补丁边界与所述高频部分的所述频带的一频带边界(100,101)一致,及
其中,所述补丁器(2312)被配置为使用所述三个不同移调因子(2308)产生所述补丁信号,使得相邻补丁之间的边界与两相邻频带(100,101)之间的边界一致。
3.根据权利要求1所述的装置,其中,所述补丁边界计算器(2302)被配置为计算所述补丁边界来作为与所述高频部分(102)相对应的一合成频率范围内的一频率边界(k),及
其中,所述补丁器(2312)被配置为使用一移调因子及所述补丁边界来选择所述低频部分(104)的一频率部分。
4.根据权利要求1所述的装置,进一步包含:
高频重建器(1030,2510),用于使用所述参数数据(2302)来调整所述补丁信号(2509),所述高频重建器被配置为对一频带或一频带组,计算用来加权所述补丁信号(2509)的相应频带或相应频带组的一增益因子。
5.根据权利要求1所述的装置,其中,所述预定匹配范围被设定为小于或等于所述高频部分(102)的5个QMF频带或40个频率窗口的值。
6.根据权利要求1所述的装置,其中,所述参数数据包含一频谱包络数据值,其中为每个频带赋予一不同的频谱包络数据值,其中所述装置进一步包含一高频重建器(2510,1030),其用于使用该频带的频谱包络数据值来对所述补丁信号的各频带进行频谱包络调整。
7.根据权利要求1所述的装置,其中,所述补丁边界计算器(2302)被配置为在所述频率表中搜索最高边界,所述最高边界不超过一移调因子的一高频再生信号的带宽极限,并被配置为使用所找到的最高边界作为所述补丁边界。
8.根据权利要求7所述的装置,其中,所述补丁边界计算器(2302)被配置为对于多个不同移调因子中的各个移调因子,接收一不同目标补丁边界。
9.根据权利要求1所述的装置,进一步包含限制器工具(2505,2510),用于计算用于调整所述补丁信号的限制增益值中所使用的限制器频带,所述装置进一步包含一限制器频带计算器,被配置为设定一限制器边界,以使得由所述补丁边界计算器(2302)所确定的补丁边界也被设定为一限制器边界。
10.根据权利要求9所述的装置,其中,所述限制器频带计算器(2505)被配置为计算另一限制器边界,以使得所述另一限制器边界与所述高频部分(102)的所述频带的频带边界一致。
11.根据权利要求1所述的装置,其中,所述补丁器(2312)被配置为使用不同的移调因子(2308)来产生多个补丁,
其中,所述补丁边界计算器(2302)被配置为计算所述多个补丁中的各补丁的补丁边界,使得所述补丁边界与所述高频部分(102)的频带的不同频带边界一致,
其中,所述装置进一步包含一包络调整器(2510),用于在进行修补之后调整所述高频部分(102)的一包络,或在进行修补之前,使用为比例因子频带所赋予的所述参数数据中所包含的比例因子,调整所述高频部分。
12.一种用于使用高频部分(102)的参数数据(2302)处理一音频信号以产生具有所述高频部分(102)及低频部分(104)的带宽扩展信号的方法,所述参数数据与所述高频部分(102)的频带(100,101)有关,所述方法包含:
计算(2302)一补丁边界(1001c,1002c,1002d,1003c,1003b),以使得多个补丁边界中的所述补丁边界与所述高频部分(102)的所述频带(100,101)的频带边界一致;及
使用所述音频信号(2300)及所述补丁边界(1001c,1002c,1002b,1003c,1003b)产生(2312)一补丁信号,其中,所述补丁边界与所述带宽扩展信号的所述高频部分(102)有关
其中,计算(2302)补丁边界的步骤包括:
使用所述参数数据或其它配置输入数据来计算(2520)用于定义所述高频部分(102)的所述频带的一频率表;
使用至少一个移调因子来设定(2522)一与所述补丁边界不同的目标合成补丁边界;
在所述频率表中搜索(2524)在预定匹配范围内具有与所述目标合成补丁边界一致的匹配边界的匹配频带或搜索一频带边界最接近所述目标合成补丁边界的所述频带;及
选择(2525,2527)所述匹配频带作为所述补丁边界,其中所述匹配频带在所述预定匹配范围内具有与所述目标合成补丁边界相一致的匹配边界,或具有最接近所述目标合成补丁边界的频带边界。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US31212710P | 2010-03-09 | 2010-03-09 | |
| US61/312,127 | 2010-03-09 | ||
| PCT/EP2011/053313 WO2011110499A1 (en) | 2010-03-09 | 2011-03-04 | Apparatus and method for processing an audio signal using patch border alignment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103038819A CN103038819A (zh) | 2013-04-10 |
| CN103038819B true CN103038819B (zh) | 2015-02-18 |
Family
ID=43987731
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180023443.7A Active CN102939628B (zh) | 2010-03-09 | 2011-03-04 | 用以使用级联滤波器组处理输入音频信号的装置及方法 |
| CN201180023444.1A Active CN103038819B (zh) | 2010-03-09 | 2011-03-04 | 用以使用补丁边界对准处理输入音频信号的装置及方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180023443.7A Active CN102939628B (zh) | 2010-03-09 | 2011-03-04 | 用以使用级联滤波器组处理输入音频信号的装置及方法 |
Country Status (18)
| Country | Link |
|---|---|
| US (7) | US9792915B2 (zh) |
| EP (6) | EP4148729B1 (zh) |
| JP (2) | JP5588025B2 (zh) |
| KR (2) | KR101414736B1 (zh) |
| CN (2) | CN102939628B (zh) |
| AR (2) | AR080476A1 (zh) |
| AU (2) | AU2011226212B2 (zh) |
| BR (5) | BR122021019082B1 (zh) |
| CA (2) | CA2792450C (zh) |
| ES (3) | ES2522171T3 (zh) |
| HU (1) | HUE070311T2 (zh) |
| MX (2) | MX2012010416A (zh) |
| MY (1) | MY154204A (zh) |
| PL (3) | PL3570278T3 (zh) |
| RU (1) | RU2586846C2 (zh) |
| SG (1) | SG183967A1 (zh) |
| TW (2) | TWI446337B (zh) |
| WO (2) | WO2011110499A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11664038B2 (en) | 2015-03-13 | 2023-05-30 | Dolby International Ab | Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5422664B2 (ja) * | 2009-10-21 | 2014-02-19 | パナソニック株式会社 | 音響信号処理装置、音響符号化装置および音響復号装置 |
| EP2362376A3 (en) * | 2010-02-26 | 2011-11-02 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for modifying an audio signal using envelope shaping |
| BR122021019082B1 (pt) * | 2010-03-09 | 2022-07-26 | Dolby International Ab | Aparelho e método para processar um sinal de áudio de entrada usando bancos de filtro em cascata |
| JP5850216B2 (ja) * | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| ES2565959T3 (es) | 2010-06-09 | 2016-04-07 | Panasonic Intellectual Property Corporation Of America | Método de extensión del ancho de banda, aparato de extensión del ancho de banda, programa, circuito integrado y aparato de decodificación de audio |
| US8958510B1 (en) * | 2010-06-10 | 2015-02-17 | Fredric J. Harris | Selectable bandwidth filter |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| IL313284B2 (en) | 2010-09-16 | 2025-05-01 | Dolby Int Ab | Method and system for cross product enhanced subband block based harmonic transposition |
| US8620646B2 (en) * | 2011-08-08 | 2013-12-31 | The Intellisis Corporation | System and method for tracking sound pitch across an audio signal using harmonic envelope |
| EP2777042B1 (en) | 2011-11-11 | 2019-08-14 | Dolby International AB | Upsampling using oversampled sbr |
| TWI478548B (zh) * | 2012-05-09 | 2015-03-21 | Univ Nat Pingtung Sci & Tech | 對等網路串流傳輸方法 |
| EP2709106A1 (en) | 2012-09-17 | 2014-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
| CN103915104B (zh) * | 2012-12-31 | 2017-07-21 | 华为技术有限公司 | 信号带宽扩展方法和用户设备 |
| US9530430B2 (en) * | 2013-02-22 | 2016-12-27 | Mitsubishi Electric Corporation | Voice emphasis device |
| EP2975890A4 (en) * | 2013-03-14 | 2017-01-04 | LG Electronics Inc. | Method for receiving signal by using device-to-device communication in wireless communication system |
| CN105393553B (zh) * | 2013-03-26 | 2019-07-09 | 拉克伦·保罗·巴拉特 | 虚拟采样率增加的音频滤波 |
| US9305031B2 (en) * | 2013-04-17 | 2016-04-05 | International Business Machines Corporation | Exiting windowing early for stream computing |
| JP6305694B2 (ja) * | 2013-05-31 | 2018-04-04 | クラリオン株式会社 | 信号処理装置及び信号処理方法 |
| US9454970B2 (en) * | 2013-07-03 | 2016-09-27 | Bose Corporation | Processing multichannel audio signals |
| EP2830064A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection |
| TWI548190B (zh) * | 2013-08-12 | 2016-09-01 | 中心微電子德累斯頓股份公司 | 根據控制法則來控制功率轉換器的功率級之控制器及方法 |
| CA2887124C (en) * | 2013-08-28 | 2015-09-29 | Mixgenius Inc. | System and method for performing automatic audio production using semantic data |
| TWI557726B (zh) | 2013-08-29 | 2016-11-11 | 杜比國際公司 | 用於決定音頻信號的高頻帶信號的主比例因子頻帶表之系統和方法 |
| ES2932422T3 (es) | 2013-09-17 | 2023-01-19 | Wilus Inst Standards & Tech Inc | Método y aparato para procesar señales multimedia |
| US10083708B2 (en) | 2013-10-11 | 2018-09-25 | Qualcomm Incorporated | Estimation of mixing factors to generate high-band excitation signal |
| WO2015060654A1 (ko) | 2013-10-22 | 2015-04-30 | 한국전자통신연구원 | 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치 |
| CN104681034A (zh) * | 2013-11-27 | 2015-06-03 | 杜比实验室特许公司 | 音频信号处理 |
| JP6425097B2 (ja) * | 2013-11-29 | 2018-11-21 | ソニー株式会社 | 周波数帯域拡大装置および方法、並びにプログラム |
| JP6151866B2 (ja) | 2013-12-23 | 2017-06-21 | ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド | オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置 |
| MX2016008172A (es) | 2013-12-27 | 2016-10-21 | Sony Corp | Metodo y aparato de decodificacion, y programa. |
| CN108600935B (zh) | 2014-03-19 | 2020-11-03 | 韦勒斯标准与技术协会公司 | 音频信号处理方法和设备 |
| KR101856540B1 (ko) | 2014-04-02 | 2018-05-11 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
| US9306606B2 (en) * | 2014-06-10 | 2016-04-05 | The Boeing Company | Nonlinear filtering using polyphase filter banks |
| EP2963646A1 (en) | 2014-07-01 | 2016-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal |
| EP2980795A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
| EP2980794A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
| KR101523559B1 (ko) * | 2014-11-24 | 2015-05-28 | 가락전자 주식회사 | 토폴로지를 이용한 오디오 스트림 형성 장치 및 방법 |
| WO2016142002A1 (en) | 2015-03-09 | 2016-09-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal |
| TWI732403B (zh) * | 2015-03-13 | 2021-07-01 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| US10129659B2 (en) | 2015-05-08 | 2018-11-13 | Doly International AB | Dialog enhancement complemented with frequency transposition |
| KR101661713B1 (ko) * | 2015-05-28 | 2016-10-04 | 제주대학교 산학협력단 | 파라메트릭 어레이 응용을 위한 변조 방법 및 장치 |
| US9514766B1 (en) * | 2015-07-08 | 2016-12-06 | Continental Automotive Systems, Inc. | Computationally efficient data rate mismatch compensation for telephony clocks |
| CN111970629B (zh) | 2015-08-25 | 2022-05-17 | 杜比实验室特许公司 | 音频解码器和解码方法 |
| CN108140396B (zh) * | 2015-09-22 | 2022-11-25 | 皇家飞利浦有限公司 | 音频信号处理 |
| CN109074813B (zh) | 2015-09-25 | 2020-04-03 | 杜比实验室特许公司 | 处理高清晰度音频数据 |
| EP3171362B1 (en) * | 2015-11-19 | 2019-08-28 | Harman Becker Automotive Systems GmbH | Bass enhancement and separation of an audio signal into a harmonic and transient signal component |
| EP3182411A1 (en) * | 2015-12-14 | 2017-06-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an encoded audio signal |
| US10157621B2 (en) * | 2016-03-18 | 2018-12-18 | Qualcomm Incorporated | Audio signal decoding |
| US10825467B2 (en) * | 2017-04-21 | 2020-11-03 | Qualcomm Incorporated | Non-harmonic speech detection and bandwidth extension in a multi-source environment |
| US10848363B2 (en) | 2017-11-09 | 2020-11-24 | Qualcomm Incorporated | Frequency division multiplexing for mixed numerology |
| US11315584B2 (en) * | 2017-12-19 | 2022-04-26 | Dolby International Ab | Methods and apparatus for unified speech and audio decoding QMF based harmonic transposer improvements |
| WO2019145955A1 (en) | 2018-01-26 | 2019-08-01 | Hadasit Medical Research Services & Development Limited | Non-metallic magnetic resonance contrast agent |
| TWI702594B (zh) * | 2018-01-26 | 2020-08-21 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建技術之回溯相容整合 |
| CA3098064A1 (en) | 2018-04-25 | 2019-10-31 | Dolby International Ab | Integration of high frequency audio reconstruction techniques |
| IL319703A (en) | 2018-04-25 | 2025-05-01 | Dolby Int Ab | Combining high-frequency reconstruction techniques with reduced post-processing delay |
| US20230085013A1 (en) * | 2020-01-28 | 2023-03-16 | Hewlett-Packard Development Company, L.P. | Multi-channel decomposition and harmonic synthesis |
| CN111768793B (zh) * | 2020-07-11 | 2023-09-01 | 北京百瑞互联技术有限公司 | 一种lc3音频编码器编码优化方法、系统、存储介质 |
| TWI834408B (zh) * | 2022-12-02 | 2024-03-01 | 元智大學 | 兩階濾波器 |
| WO2025201625A1 (en) * | 2024-03-25 | 2025-10-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder and decoder |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030187663A1 (en) * | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| US20040176961A1 (en) * | 2002-12-23 | 2004-09-09 | Samsung Electronics Co., Ltd. | Method of encoding and/or decoding digital audio using time-frequency correlation and apparatus performing the method |
| US20070071116A1 (en) * | 2003-10-23 | 2007-03-29 | Matsushita Electric Industrial Co., Ltd | Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof |
| WO2009078681A1 (en) * | 2007-12-18 | 2009-06-25 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| CN101471072A (zh) * | 2007-12-27 | 2009-07-01 | 华为技术有限公司 | 高频重建方法、编码模块和解码模块 |
| WO2010003557A1 (en) * | 2008-07-11 | 2010-01-14 | Frauenhofer- Gesellschaft Zur Förderung Der Angewandten Forschung E. V. | Apparatus and method for generating a bandwidth extended signal |
Family Cites Families (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS55107313A (en) | 1979-02-08 | 1980-08-18 | Pioneer Electronic Corp | Adjuster for audio quality |
| US5455888A (en) | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
| US6766300B1 (en) | 1996-11-07 | 2004-07-20 | Creative Technology Ltd. | Method and apparatus for transient detection and non-distortion time scaling |
| SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| US6549884B1 (en) | 1999-09-21 | 2003-04-15 | Creative Technology Ltd. | Phase-vocoder pitch-shifting |
| SE0001926D0 (sv) | 2000-05-23 | 2000-05-23 | Lars Liljeryd | Improved spectral translation/folding in the subband domain |
| JP4152192B2 (ja) | 2001-04-13 | 2008-09-17 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | オーディオ信号の高品質タイムスケーリング及びピッチスケーリング |
| AU2002318813B2 (en) | 2001-07-13 | 2004-04-29 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
| US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
| JP4313993B2 (ja) | 2002-07-19 | 2009-08-12 | パナソニック株式会社 | オーディオ復号化装置およびオーディオ復号化方法 |
| JP4227772B2 (ja) | 2002-07-19 | 2009-02-18 | 日本電気株式会社 | オーディオ復号装置と復号方法およびプログラム |
| SE0202770D0 (sv) | 2002-09-18 | 2002-09-18 | Coding Technologies Sweden Ab | Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks |
| US7372907B2 (en) * | 2003-06-09 | 2008-05-13 | Northrop Grumman Corporation | Efficient and flexible oversampled filterbank with near perfect reconstruction constraint |
| US20050018796A1 (en) * | 2003-07-07 | 2005-01-27 | Sande Ravindra Kumar | Method of combining an analysis filter bank following a synthesis filter bank and structure therefor |
| US7337108B2 (en) | 2003-09-10 | 2008-02-26 | Microsoft Corporation | System and method for providing high-quality stretching and compression of a digital audio signal |
| JP4254479B2 (ja) * | 2003-10-27 | 2009-04-15 | ヤマハ株式会社 | オーディオ帯域拡張再生装置 |
| DE102004046746B4 (de) | 2004-09-27 | 2007-03-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten |
| PL1810281T3 (pl) * | 2004-11-02 | 2020-07-27 | Koninklijke Philips N.V. | Kodowanie i dekodowanie sygnałów audio z wykorzystaniem banków filtrów o wartościach zespolonych |
| CN1668058B (zh) * | 2005-02-21 | 2011-06-15 | 南望信息产业集团有限公司 | 基于递归最小平方差的子带回声抵消器 |
| KR100933548B1 (ko) | 2005-04-15 | 2009-12-23 | 돌비 스웨덴 에이비 | 비상관 신호의 시간적 엔벨로프 정형화 |
| JP2007017628A (ja) | 2005-07-06 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 復号化装置 |
| US7565289B2 (en) | 2005-09-30 | 2009-07-21 | Apple Inc. | Echo avoidance in audio time stretching |
| JP4760278B2 (ja) | 2005-10-04 | 2011-08-31 | 株式会社ケンウッド | 補間装置、オーディオ再生装置、補間方法および補間プログラム |
| WO2007069150A1 (en) | 2005-12-13 | 2007-06-21 | Nxp B.V. | Device for and method of processing an audio data stream |
| US7676374B2 (en) * | 2006-03-28 | 2010-03-09 | Nokia Corporation | Low complexity subband-domain filtering in the case of cascaded filter banks |
| FR2910743B1 (fr) * | 2006-12-22 | 2009-02-20 | Thales Sa | Banque de filtres numeriques cascadable, et circuit de reception comportant une telle banque de filtre en cascade. |
| DE102008015702B4 (de) | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
| AU2009225027B2 (en) | 2008-03-10 | 2012-09-20 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Device and method for manipulating an audio signal having a transient event |
| US9147902B2 (en) | 2008-07-04 | 2015-09-29 | Guangdong Institute of Eco-Environmental and Soil Sciences | Microbial fuel cell stack |
| CN101836253B (zh) | 2008-07-11 | 2012-06-13 | 弗劳恩霍夫应用研究促进协会 | 一种使用频谱倾斜控制成帧技术来计算带宽扩展数据的装置及方法 |
| EP2301028B1 (en) | 2008-07-11 | 2012-12-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus and a method for calculating a number of spectral envelopes |
| EP2224433B1 (en) | 2008-09-25 | 2020-05-27 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
| EP2169665B1 (en) | 2008-09-25 | 2018-05-02 | LG Electronics Inc. | A method and an apparatus for processing a signal |
| BRPI0917762B1 (pt) * | 2008-12-15 | 2020-09-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | Codificador de áudio e decodificador de extensão de largura de banda |
| EP2392005B1 (en) * | 2009-01-28 | 2013-10-16 | Dolby International AB | Improved harmonic transposition |
| EP2214165A3 (en) | 2009-01-30 | 2010-09-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for manipulating an audio signal comprising a transient event |
| PL4542546T3 (pl) | 2009-10-21 | 2025-12-08 | Dolby International Ab | Nadpróbkowanie w banku filtrów połączonym z modułem transpozycji |
| US8321216B2 (en) | 2010-02-23 | 2012-11-27 | Broadcom Corporation | Time-warping of audio signals for packet loss concealment avoiding audible artifacts |
| BR122021019082B1 (pt) * | 2010-03-09 | 2022-07-26 | Dolby International Ab | Aparelho e método para processar um sinal de áudio de entrada usando bancos de filtro em cascata |
| BR112012022745B1 (pt) | 2010-03-09 | 2020-11-10 | Fraunhofer - Gesellschaft Zur Föerderung Der Angewandten Forschung E.V. | dispositivo e método para resposta de magnitude aperfeiçoada e alinhamento temporal em um vocoder de fase com base no método de extenção da largura de banda para sinais de áudio |
-
2011
- 2011-03-04 BR BR122021019082-8A patent/BR122021019082B1/pt active IP Right Grant
- 2011-03-04 CA CA2792450A patent/CA2792450C/en active Active
- 2011-03-04 BR BR122021014312-9A patent/BR122021014312B1/pt active IP Right Grant
- 2011-03-04 MX MX2012010416A patent/MX2012010416A/es active IP Right Grant
- 2011-03-04 EP EP22203358.1A patent/EP4148729B1/en active Active
- 2011-03-04 PL PL19179788.5T patent/PL3570278T3/pl unknown
- 2011-03-04 MX MX2012010415A patent/MX2012010415A/es active IP Right Grant
- 2011-03-04 KR KR1020127026332A patent/KR101414736B1/ko active Active
- 2011-03-04 CN CN201180023443.7A patent/CN102939628B/zh active Active
- 2011-03-04 EP EP24209945.5A patent/EP4475124B1/en active Active
- 2011-03-04 BR BR122021014305-6A patent/BR122021014305B1/pt active IP Right Grant
- 2011-03-04 EP EP19179788.5A patent/EP3570278B1/en active Active
- 2011-03-04 HU HUE22203358A patent/HUE070311T2/hu unknown
- 2011-03-04 EP EP11707400A patent/EP2545548A1/en not_active Ceased
- 2011-03-04 ES ES11715452.6T patent/ES2522171T3/es active Active
- 2011-03-04 ES ES22203358T patent/ES3010370T3/es active Active
- 2011-03-04 KR KR1020127026267A patent/KR101425154B1/ko active Active
- 2011-03-04 AU AU2011226212A patent/AU2011226212B2/en active Active
- 2011-03-04 JP JP2012556463A patent/JP5588025B2/ja active Active
- 2011-03-04 EP EP25211120.8A patent/EP4661004A2/en active Pending
- 2011-03-04 CN CN201180023444.1A patent/CN103038819B/zh active Active
- 2011-03-04 CA CA2792452A patent/CA2792452C/en active Active
- 2011-03-04 AU AU2011226211A patent/AU2011226211B2/en active Active
- 2011-03-04 PL PL22203358.1T patent/PL4148729T3/pl unknown
- 2011-03-04 EP EP11715452.6A patent/EP2545553B1/en active Active
- 2011-03-04 WO PCT/EP2011/053313 patent/WO2011110499A1/en not_active Ceased
- 2011-03-04 JP JP2012556464A patent/JP5523589B2/ja active Active
- 2011-03-04 PL PL11715452T patent/PL2545553T3/pl unknown
- 2011-03-04 MY MYPI2012004003A patent/MY154204A/en unknown
- 2011-03-04 WO PCT/EP2011/053315 patent/WO2011110500A1/en not_active Ceased
- 2011-03-04 ES ES19179788T patent/ES2935637T3/es active Active
- 2011-03-04 BR BR112012022740-8A patent/BR112012022740B1/pt active IP Right Grant
- 2011-03-04 BR BR112012022574-0A patent/BR112012022574B1/pt active IP Right Grant
- 2011-03-04 RU RU2012142732/08A patent/RU2586846C2/ru active
- 2011-03-04 SG SG2012066544A patent/SG183967A1/en unknown
- 2011-03-08 TW TW100107724A patent/TWI446337B/zh active
- 2011-03-08 TW TW100107715A patent/TWI444991B/zh active
- 2011-03-09 AR ARP110100723A patent/AR080476A1/es active IP Right Grant
- 2011-03-09 AR ARP110100724A patent/AR080477A1/es active IP Right Grant
-
2012
- 2012-09-05 US US13/604,364 patent/US9792915B2/en active Active
- 2012-09-05 US US13/604,336 patent/US9305557B2/en active Active
-
2017
- 2017-03-15 US US15/459,520 patent/US10032458B2/en active Active
-
2018
- 2018-06-22 US US16/016,284 patent/US10770079B2/en active Active
-
2020
- 2020-05-19 US US16/878,313 patent/US11495236B2/en active Active
-
2022
- 2022-10-21 US US18/048,810 patent/US11894002B2/en active Active
-
2023
- 2023-12-27 US US18/397,158 patent/US12308036B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030187663A1 (en) * | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| US20040176961A1 (en) * | 2002-12-23 | 2004-09-09 | Samsung Electronics Co., Ltd. | Method of encoding and/or decoding digital audio using time-frequency correlation and apparatus performing the method |
| US20070071116A1 (en) * | 2003-10-23 | 2007-03-29 | Matsushita Electric Industrial Co., Ltd | Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof |
| WO2009078681A1 (en) * | 2007-12-18 | 2009-06-25 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| CN101471072A (zh) * | 2007-12-27 | 2009-07-01 | 华为技术有限公司 | 高频重建方法、编码模块和解码模块 |
| WO2010003557A1 (en) * | 2008-07-11 | 2010-01-14 | Frauenhofer- Gesellschaft Zur Förderung Der Angewandten Forschung E. V. | Apparatus and method for generating a bandwidth extended signal |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11664038B2 (en) | 2015-03-13 | 2023-05-30 | Dolby International Ab | Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element |
| US11842743B2 (en) | 2015-03-13 | 2023-12-12 | Dolby International Ab | Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element |
| US12094477B2 (en) | 2015-03-13 | 2024-09-17 | Dolby International Ab | Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element |
| US12260869B2 (en) | 2015-03-13 | 2025-03-25 | Dolby International Ab | Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103038819B (zh) | 用以使用补丁边界对准处理输入音频信号的装置及方法 | |
| HK40116415A (zh) | 用於对音频信号进行下采样的方法 | |
| HK40084150A (zh) | 用於对音频信号进行下采样的设备 | |
| HK40084150B (zh) | 用於对音频信号进行下采样的设备 | |
| HK40011519A (zh) | 使用级联滤波器组的输入音频信号的高频重构 | |
| HK40011519B (zh) | 使用级联滤波器组的输入音频信号的高频重构 | |
| HK1181180B (zh) | 用以使用补丁边界对准处理输入音频信号的装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Munich, Germany Patentee after: Fraunhofer Application and Research Promotion Association Patentee after: Dolby Int AB Address before: Munich, Germany Patentee before: Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Patentee before: Dolby Int AB |