[go: up one dir, main page]

BRPI1003636B1 - aparelho e processo para a geração de um sinal de áudio de síntese e para a codificação de um sinal de áudio - Google Patents

aparelho e processo para a geração de um sinal de áudio de síntese e para a codificação de um sinal de áudio Download PDF

Info

Publication number
BRPI1003636B1
BRPI1003636B1 BRPI1003636-9A BRPI1003636A BRPI1003636B1 BR PI1003636 B1 BRPI1003636 B1 BR PI1003636B1 BR PI1003636 A BRPI1003636 A BR PI1003636A BR PI1003636 B1 BRPI1003636 B1 BR PI1003636B1
Authority
BR
Brazil
Prior art keywords
frequency band
spectral
patching
audio signal
band
Prior art date
Application number
BRPI1003636-9A
Other languages
English (en)
Inventor
Frederik Nagel
Markus Multrus
Jérémie Lecomte
Stefan Bayer
Guillaume Funchs
Johannes Hilpert
Julien Robilliard
Original Assignee
Fraunhofer-Gesellschaft Zur Fõrderung Der Angewandten Forschung E.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft Zur Fõrderung Der Angewandten Forschung E.V. filed Critical Fraunhofer-Gesellschaft Zur Fõrderung Der Angewandten Forschung E.V.
Publication of BRPI1003636A2 publication Critical patent/BRPI1003636A2/pt
Publication of BRPI1003636B1 publication Critical patent/BRPI1003636B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Complex Calculations (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Stored Programmes (AREA)

Abstract

APARELHO E PROCESSO PARA A GERAÇÃO DE UM SINAL DE ÁUDIO DE SÍNTESE E PARA A CODIFICAÇÃO DE UM SINAL DE ÁUDIO Um aparelho para geração de sinal de áudio de síntese usando um sinal de controlo de patching compreende um primeiro conversor, um gerador de patch no domínio espectral, um manipulador de reconstrução de alta frequência e um combinador. O primeiro conversor é configurado para converter uma porção do tempo de um sinal de áudio em uma representação espectral.

Description

A presente invenção se refere a um processamento de sinal de áudio, e em particular, a um aparelho e üm método para a geração de um sinal de áudio de sintese, um aparelho e um método para a codificação de um sinal. de áudio e de um sinal de áudio codificado.
A armazenagem e a transmissão de sinais de áudio estão geralmente sujeitas a rígidas restrições de taxa de bits. Essas restrições são geralmente superadas por uma codificação intermediária do sinal. No passado, os codificadores eram forçados a reduzir drasticamente a largura de banda do áudio transmitido quando somente era disponivel uma taxa muito baixa de bits. Os modernos codecs de áudio podem codificar sinais de banda larga usando métodos de extensão de largura de banda (BWE), como descrito em M Dietz, L. Liljeryd, K. Kjõrling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding" in 112^ AES Convention, Munich, May 2002; S. Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM),V in 112"' AES Convention, Munich, May 2002; T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112in AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002. Speech bandwidth extension method and apparatus Vasu Iyengar et al. US Patent 5,455,888; E. Larsen, R. and M. Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002; R.M. Aarts, E. Larsen, and O, Ouweltjes. A unified approach to low-and high frequency bandwidth extension. In AES 115th Convention, New York, USA, October 2003; K. Kayhko. A Robust Wideband Enhancement for Narrowband Speech Signal. Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001; E. Larsen and R.M. Aarts. Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004; E. Larsen, R.M. Aarts, and M. Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002; J. Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEE Transactions of Audio and Electroacoustics, AU-21(3), June 1973; United States Patent Application 08/951,029, Ohmori, et al. Audio band width extending system and method; United States Patent 6895375, Malah, D & Cox, R. V. : System for bandwidth extension of Narrow-band speech, and Frederik Nagel, Sascha Disch,"A harmonic bandwidth extension method for audio codecs," ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009.
Esses algoritmos se baseiam em uma representação paramétrica do conteúdo de alta frequência (HF). Esta representação é gerada a partir da parte de baixa frequência (LF) do sinal decodificado por meio da transposição na região espectral HF ("patching") e a aplicação de um parâmetro acionado pós- process ament o.
Na técnica, são usados os métodos de extensão de largura de banda como a replicaçào de banda espectral (SBR) como um método eficiente para a geração de sinais de alta frequência em um codec de base HFR (reconstrução de alta frequência).
A replicação de banda espectral (SBR), como descrita em M Dietz, L. Liljeryd, K. Kjôrling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding" in 112th AES Convention, Munich, May 2002, usa urn banco de filtro em espelho de quadratura (QMF) para a geração das informações HF. Com o denominado "patching", são copiados sinais de banda QMF mais baixos em bandas QMF mais altas, levando à uma replicação das informações da parte LF na parte HF. A parte HF gerada é posteriormente adaptada à parte HF original com a ajuda de parâmetros que ajustam o envelope espectral e a tonalidade.
Em SBR, como padronizada em HE-AAC, todas as operações que incluem o patching por meio de cópia simples, sào sempre feitas dentro do domínio QMF. Entretanto, podem ser feitos outros métodos diferentes de patching em diferentes domínios, como o domínio FFT ou o domínio do tempo. É possível imaginar a habilitação de SBR para escolher de forma alternativa um algoritmo de patching que opere tanto no domínio FFT como no domínio do tempo, e que precise de uma transformação adicional para a alimentação da etapa de análise QMF.
Em puro SBR, somente é disponível um algoritmo de patching que não leve em conta as necessidades de hardware ou de software especiais nem características de sinais. Assim, o SBR não pode adaptar o algoritmo de patching. Pode-se imaginar a simples escolha entre dois distintos algoritmos de patching. Como os dois métodos de patching funcionam em domínios diferentes, as áreas de transição podem produzir problemas de bloqueio, o que torna a comutação de grãos finos entre os dois métodos praticamente impossível.
A WO 98/57436 revela os métodos de transposição asados na replicação de banda espectral, que são combinados com o ajuste do envelope espectral.
A WO 02/052545 ensina que os sinais podem ser classificados tanto de forma tipo trem de pulsos como a não tipo trem de pulsos e, baseado nessa classificação, é proposto ura transposer de comutação adaptaciva. O transposer de comutação realiza dois algoritmos de patching em paralelo e a unidade de mixagem combina ambos os sinais patched dependentes da classificação (trem de pulsos ou não trem de pulsosj . A comutação real entre ou a mixagem dos transposers é feita em um banco de filtros de ajuste de envelope em resposta aos dados de envelope e controle. Além disso, para sinais do tipo trem de pulsos, o sinal base é transformado em um dominio de banco de filtros, é feita uma operação de translação de frequências realizada em um ajuste de envelope do resultado da translação de frequências, Este é um procedimento de patching combinado/processamento adicional. Para sinais do tipo não trem de pulsos, é provido um transposer no dominio da frequência (transposer FD) e o resultado do transposer no dominio da frequência é então transformado no dominio de banco de filtros, onde é feito o ajuste de envelope. Assim, a implementação e a flexibilidade deste procedimento, que tem em uma alternativa, uma abordagem de patching combinado/processamento adicional, e que tem na outra alternativa, o transposer no dominio da frequência, que é posicionado fora do banco de filtros onde ocorre o ajuste de envelope, é problemático com relação às possibilidade de flexibilidade e implementação.
É um objetivo da presente invenção prover um conceito para a geração de um sinal de áudio de síntese permitindo uma melhor qualidade e uma eficiente implementação.
Este objetivo é alcançado por meio de um aparelho para a geração de um sinal de áudio de síntese de acordo com a reivindicação 1, um aparelho para a codificação de um sinal de áudio de acordo com a reivindicação 10, um método para a geração de acordo com a reivindicação 12, um método para a codificação de acordo com a reivindicação 13, um sinal de áudio codificado de acordo com a reivindicação 14 ou um programa de computador de acordo com a reivindicação 15.
A presente invenção se sustenta na idéia básica de que a recém mencionada melhor qualidade e/ou a implementação eficiente podem ser obtidas quando uma porção do tempo de um sinal de áudio ê convertida em uma representação espectral antes de realizar uma pluralidade de diferentes algoritmos de patching no domínio espectral, em que cada algoritmo de patching gera uma representação espectral modificada compreendendo componentes espectrais em uma banda superior de frequência obtida a partir dos componentes espectrais correspondentes em uma banda de frequência núcleo do sinal de áudio, e selecionando um primeiro algoritmo de patching no domínio espectral a partir de uma pluralidade de algoritmos de patching de uma primeira porção do tempo e um segundo algoritmo de patching no dominio espectral da pluralidade de algoritmos de patching de uma segunda porção do tempo diferente de acordo com um sinal de controle de patching para obter a representação espectral modificada. Com essa medida, pode ser evitada a qualidade e/ou flexibilidade reduzidas devido à comutação entre dois algoritmos de patching em domínios diferentes e, portanto o processamento pode ser menos complexo, mantendo a qualidade de percepção.
De acordo com uma configuração da presente invenção, um aparelho para a geração de um sinal de áudio de síntese usando um sinal de controle de patching compreende um primeiro conversor, um gerador de patch no domínio espectral, um manipulador de reconstrução de alta frequência e um combinador. O primeiro conversor é configurado para converter uma porção do tempo de um sinal de áudio em uma representação espectral. O gerador de patch no domínio espectral é configurado para realizar uma pluralidade de diferentes algoritmos de patching no domínio espectral, onde cada algoritmo de patching gera uma representação espectral modificada compreendendo componentes espectrais em uma banda superior de frequência obtida a partir dos componentes espectrais correspondentes em uma banda de frequência núcleo do sinal de áudio. 0 gerador de patch no domínio espectral é também configurado para selecionar um primeiro algoritmo de patching no domínio espectral a partir da pluralidade de algoritmos de patching de uma primeira porção do tempo e um segundo algoritmo de patching no domínio espectral a partir da pluralidade de algoritmos de patching da segunda porção do tempo diferente de acordo com o sinal de controle de patching para a obtenção da representação espectral modificada, 0 manipulador de reconstrução de alta frequência é configurado para manipular a representação espectral modificada ou um sinal obtido a partir da representação espectral modificada de acordo com o parâmetro de replicaçâo de banda espectral para obter um sinal ampliado de largura de banda. O combinador é configurado para combinar o sinal de áudio tendo componentes espectrais na banda de frequência núcleo ou um sinal obtido a partir do sinal de áudio com o sinal ampliado de largura de banda para obter o sinal de áudio de síntese.
De acordo com outra configuração da presente invenção, um aparelho para a codificação de um sinal de áudio compreende um codificador núcleo, um extrator paramétrico e um calculador paramétrico. O sinal de áudio compreende uma banda de frequência núcleo e uma banda superior de frequência. 0 codificador núcleo é configurado para a codificação do sinal de áudio dentro da banda de frequência núcleo. 0 extrator paramétrico é configurado para a extração de um sinal de controle de patching do sinal de áudio, o sinal de controle de patching indicando um algoritmo de patching selecionado a partir da pluralidade de diferentes algoritmos de patching no dominio espectral, o algoritmo de patching selecionado a ser feito em um dominio espectral para a geração de um sinal de áudio de síntese em um decodificador de extensão de largura de banda. 0 calculador paramétrico é configurado para calcular o parâmetro de replicaçâo de banda espectral da banda superior de frequência.
De acordo com outra configuração, um fluxo de dados de sinal de áudio codificado compreende um sinal de áudio codificado no interior de uma banda de frequência núcleo, um sinal de controle de patching, o sinal de controle de patching indicando um algoritmo de patching selecionado a partir de uma pluralidade de diferentes algoritmos de patching no dominio espectral, o algoritmo de patching selecionado a ser feito no domínio espectral para a geração de um sinal de áudio de síntese em um decodificador de extensão de largura de banda e um parâmetro de replicaçâo de banda espectral calculado a partir de uma banda superior de frequência do sinal de áudio.
Portanto, as configurações da presente invenção se referem a um conceito para a comutação entre pelo menos dois diferentes algoritmos de patching no domínio espectral de um grupo de algoritmos de patching no domínio espectral. O grupo de algoritmos de patching pode compreender um primeiro algoritmo de patching compreendendo uma transposição harmônica baseada em um vocoder de fase simples e de funcionalidades SBR de cópia não harmônica, um segundo algoritmo de patching compreendendo uma transposição harmônica baseada em um vocoder de fase múltipla, um terceiro algoritmo de patching compreendendo funcionalidades SBR de cópia não harmônica e um quarto algoritmo de patching compreendendo uma distorção não linear. Além disso, a extensão de largura de banda pode ser feita de maneira que o sinal ampliado de largura de banda compreenda a banda superior de frequência tendo uma frequência máxima de pelo menos quatro vezes a frequência de cruzamento na banda de frequência núcleo.
Como resultado, pela comutação entre os pelo menos dois diferentes algoritmos de patching no domínio espectral, pode ser obtida uma complexidade reduzida com a mesma qualidade de percepção como dentro de um cenário de extensão de largura de banda.
Outras configurações da presente invenção se referem a um aparelho não compreendendo um transformador tempo/frequência para a transformação de um sinal de domiulo do tempo obtido a partir de uma representação espectral modificada no domínio espectral. Portanto, as configurações permitem que o manipulador de reconstrução de alta frequência possa operar em uma representação espectral modificada diretamente sem exigir outra transformação (por exemplo, uma análise QMF) do domínio do tempo para o dominio espectral, como no caso de uma abordagem de patching combinado/processamento adicional sendo operativa nos domínios diferentes.
Outras configurações da presente invenção se referem a um extrator paramétrico que é configurado para determinar a partir da pluralidade de diferentes algoritmos de patching no domínio espectral um algoritmo de patching selecionado. Aqui, o algoritmo de patching selecionado se baseia em uma comparação do sinal de áudio ou de um sinal obtido a partir do sinal de áudio com uma pluralidade de sinais ampliados de largura de banda tendo sido obtidos pela realização da pluralidade de algoritmos de patching no domínio espectral e a manipulação de uma representação espectral modificada de uma porção do tempo do sinal de áudio. Portanto, as configurações provêem um método de seleção do algoritmo de patching ideal para a geração de um sinal de áudio de síntese em um decodificador de extensão de largura de banda.
Podem ser usados parâmetros de controle para decidir qual patching é o mais adequado. Para obter isso, pode ser usado um estágio de análise por síntese; isto é, todos os patches podem ser aplicados, sendo escolhido o melhor de acordo com um objetivo. No modo preferido da invenção, o objetivo é obter a melhor qualidade de percepção da restituição. Em modos alternativos, uma função do objetivo deve ser otimizada. Por exemplo, o objetivo pode ser o de preservar a planicidade espectral dos HFs originais da forma mais verdadeira possível.
Por um lado, a seleção de patching pode ser feita somente no codificador considerando o sinal original, o sinal sintetizado ou ambos. A decisão (sinal de controle de patching) é então transmitida ao decodificador. Por outro lado, a seleção pode ser feita de forma sincrônica nos lados do codificador e do decodificador considerando somente a largura de banda núcleo do sinal sintetizado. O último método não precisa gerar uma informação auxiliar adicional.
A seguir, são esclarecidas as configurações da presente invenção com referência aos desenhos de acompanhamento, onde: A Fig. la mostra um diagrama de blocos de uma configuração de um aparelho para a geração de um sinal de áudio de síntese usando um sinal de controle de patching; A Fig. lb mostra um diagrama de blocos de uma implementação de um gerador de patch no domínio espectral da Fig. La; A Fig. 2a mostra um diagrama de blocos de outra configuração de um aparelho para a geração de um sinal de áudio de síntese; A Fig. 2b mostra uma ilustração esquemática de um esquema de extensão de largura de banda; A Fig. 3 mostra uma ilustração esquemática de um primeiro algoritmo de patching exemplar; A Fig. 4 mostra uma ilustração esquemática de um segundo algoritmo de patching exemplar; A Fig. 5 mostra uma ilustração esquemática de um terceiro algoritmo de patching exemplar; 5 A Fig. 6 mostra uma ilustração esquemática de um quarto algoritmo de patching exemplar; A Fig. 7 mostra um diagrama de blocos de uma configuração da Fig. la sem um transformador tempo/frequência colocado depois do gerador de patch no domínio espectral; 10 A Fig. 8 mostra um diagrama de blocos de uma configuração da Fig. la com um segundo conversor (conversor frequência/tempo); A Fig. 9 mostra um diagrama de blocos de uma configuração de um aparelho para a codificação um sinal de áudio; 15 A Fig. 10 mostra um diagrama de blocos de outra configuração de um aparelho para a codificação de um sinal de áudio; e A Fig. 11 mostra uma visão geral de uma configuração de um esquema de patching em um domínio da 20 frequência.
A Fig. la mostra um diagrama de blocos de um aparelho 100 para a geração de um sinal de áudio de sintese 145 usando um sinal de controle de patching 119 de acordo com uma configuração da presente invenção. O aparelho 100 compreende um 25 primeiro conversor 110, a gerador de patch no domínio espectral 120, um manipulador de reconstrução de alta frequência 130 e um combinador 140. 0 primeiro conversor 110 é configurado para converter uma porção do tempo de Um sinal de áudio 105 em uma representação espectral 115. 0 gerador de patch no domínio espectral 120 é configurado para realizar uma pluralidade 117-1 de diferentes algoritmos de patching no domínio espectral, em que cada algoritmo de patching gera uma representação espectral modificada 125 compreendendo componentes espectrais em uma banda superior de frequência obtida a partir dos componentes espectrais correspondentes em uma banda de frequência núcleo do sinal de áudio 105. Como mostrado na Fig. lb, o gerador de patch no domínio espectral 120 pode ser configurado para selecionar um primeiro algoritmo de patching no domínio espectral 117-2 a partir da pluralidade 117-1 de algoritmos de patching de uma primeira porção do tempo 107-1 e um segundo algoritmo de patching no domínio espectral 117-3 a partir da pluralidade 117-1 de algoritmos de patching de uma segunda porção do tempo diferente 107-2 de acordo com o sinal de controle de patching 119 para obter uma representação espectral modificada 125. 0 manipulador de reconstrução de alta frequência 130 é configurado para manipular a representação espectral modificada 125 ou um sinal obtido a partir da representação espectral modificada 125 de acordo com. um parâmetro de replicação de banda espectral 127 para a obtenção de um sinal ampliado de largura de banda 135. 0 sinal obtido a partir da representação espectral modificada 125 pode, por exemplo, ser um sinal em um domínio QMF tendo sido obtido após a aplicação de uma análise QMF a um sinal de domínio do tempo modificado baseando-se em uma representação espectral modificada 125. O combinador 140 é configurado para combinar o sinal de áudio 105 tendo componentes espectrais na banda de frequência núcleo ou um sinal obtido a partir do sinal de áudio 105 com o sinal ampliado de largura de banda 135 para obter o sinal de áudio de síntese 145. Aqui, o sinal obtido a partir do sinal de áudio 105 pode, por exemplo, ser um sinal de baixa frequência decodificado que tenha sido obtido após a decodificação de um sinal de áudio codificado dentro da banda de frequência núcleo. Como pode ser visto na Fig. la, o gerador de patch no domínio espectral 120 do aparelho 100 é implementado para operar em um dominio espectral e não em um domínio do tempo. A Fig. 2a mostra um diagrama de blocos de outra configuração de um aparelho 200 para a geração do sinal de áudio de sintese 145. Aqui, os componentes do aparelho 200 da Fig. 2a, que são os mesmos do aparelho 100 da Fig. la, são omitidos e não mostrados ou descritos novamente, Na configuração como mostrada na Fig. 2a, o gerador de patch no domínio espectral 120 do aparelho 200 é configurado para realizar pelo menos dois diferentes algoritmos de patching no domínio espectral a partir de um grupo 203 de algoritmos de patching no dominio espectral. O grupo 203 de algoritmos de patching compreende um primeiro algoritmo de patching 205-1 compreendendo uma transposição harmônica com base em um vocoder de fase simples e funcionalidades SER de cópia não harmônica, um segundo algoritmo de patching 205-2 compreendendo uma transposição harmônica com base em um vocoder de fase múltipla, um terceiro algoritmo de patching 205-3 compreendendo funcionalidades SER de cópia não harmónica e um quarto algoritmo de patching 205-4 compreendendo uma distorção não linear. Como mostrado na Fig. 2b, o aparelho 200 pode ser que o sinal ampliado de largura de banda 135 compreenda a banda superior de frequência 220 tendo uma frequência máxima 225 de pelo menos quatro vezes a frequência de cruzamento 215 na banda de frequência núcleo 210. No contexto de SBR, o valor tipico da frequência de cruzamento 215 definida como a maior frequência da banda de frequência núcleo 210 pode, por exemplo, estar em uma faixa abaixo de 4 kHz, 5 kHz ou 6 kHz. Consequentemente, a frequência máxima 225 da banda superior de frequência 220 pode, por exemplo, ser cerca de 16 kHz, 20 kHz ou 24 kHz. A Fig. 3 mostra uma ilustração esquemática de um primeiro algoritmo de patching exemplar 205-1. Em particular, o gerador de patch no domínio espectral 120 é configurado para realizar um algoritmo de patching selecionado a partir de pelo menos dois diferentes algoritmos de patching no domínio espectral, o algoritmo de patching selecionado compreendendo o primeiro algoritmo de patching 205-1. O primeiro algoritmo de patching 205- 1 compreende a transposição harmônica com base em um vocoder de fase simples 305 compreendendo um fator de extensão de largura de banda(o) de dois, controlando uma transformada de uma banda de frequência fonte 310 extraída da banda de frequência núcleo 210 em uma primeira banda de frequência alvo 310'. Aqui, as fases dos componentes espectrais na banda de frequência fonte 310 são multiplicadas pelo fator de extensão de largura de banda(o) de maneira que a primeira banda de frequência alvo 310 tenha frequências que variem da frequência de cruzamento (fx) até o dobro da frequência de cruzamento (f^l. O primeiro algoritmo de patching 205-1 ainda compreende funcionalidades SBR de cópia não harmônica 315 para a transformação dos componentes espectrais na primeira banda de frequência alvo 310' em uma segunda banda de frequência alvo 320' por uma primeira copia, de maneira que a segunda banda de frequência alvo 320' tenha frequências que variem do dobro da frequência de cruzamento (fx) a três vezes a 5 frequência de cruzamento (fx) e para outras transformações dos componentes espectrais na segunda banda de frequência alvo 320' em uma terceira banda de frequência alvo 330' por uma segunda cópia de maneira que a terceira banda de frequência alvo 330' tenha frequências que variem de três vezes a frequência de cruzamento 10 (fj a quatro vezes a frequência de cruzamento (fx) incluida na banda superior de frequência 220, a banda superior de frequência 220 compreendendo a primeira 310', a segunda 320' e a terceira 330' bandas de frequência alvo. Em particular, como mostrado na Fig. 3, o sinal ampliado de largura de banda 135 compreende a 15 banda superior de frequência 220 gerada a partir da banda de frequência núcleo 210, onde a banda superior de frequência 220 tem uma frequência máxima de quatro vezes a frequência de cruzamento ( fx) , A Fig. 4 mostra uma ilustração esquemática de um segundo algoritmo de patching exemplar 205-2. Aqui, em particular, o gerador de patch no dominio espectral 120 é configurado para realizar um algoritmo de patching selecionado a partir de pelo menos dois diferentes algoritmos de patching no domínio espectral, o algoritmo de patching selecionado compreendendo o segundo algoritmo de patching 205-2. O segundo algoritmo de patching 205-2 compreende uma transposição harmônica com base em um vocoder de fase múltipla 405 compreendendo um primeiro fator de extensão de primeira banda de frequência fonte 410 extraída da banda de frequência núcleo 210 em uma primeira banda de frequência alvo 410' . Aqui, as fases dos componentes espectrais na primeira banda de frequência fonte 410 são multiplicadas pelo primeiro fator de extensão de largura de banda(aj, de maneira que a primeira banda de frequência alvo 410' tenha frequências que variem da frequência de cruzamento (fx) até o dobro da frequência de cruzamento (fj . O segundo algoritmo de patching 205-2 ainda compreende um segundo fator de extensão de largura de banda (o2) de 3, controlando uma transformada de uma segunda banda de frequência fonte 420-1, 420-2 extraída da banda de frequência núcleo 210 em uma segunda banda de frequência alvo 420', 420''. Aqui, as fases dos componentes espectrais na segunda banda de frequência fonte 420-1, 420-2 são multiplicadas pelo segundo fator de extensão de largura de banda (cj de maneira que a segunda banda de frequência alvo 420', 4 20'' tenha frequências que variem do dobro da frequência de cruzamento (fx) a três vezes a frequência de cruzamento (fj ou variando entre a frequência de cruzamento (f*) a três vezes a frequência de cruzamento (fx) , respectivamente. Finalmente, o segundo algoritmo de patching 205-2 ainda compreende um terceiro fator de extensão de largura de banda (c^) de 4, controlando uma transformada de uma terceira banda de frequência fonte 430-1, 430- 2 extraída da banda de frequência núcleo 210 em uma terceira banda de frequência alvo 430', 430''. Aqui, as fases dos componentes espectrais na terceira banda de frequência fonte 430-1, 430-2 são multiplicadas pelo terceiro fator de extensão de largura de cruzamento (fx) a quatro vezes a frequência de cruzamento (fz) ou variando entre a frequência de cruzamento (fe) a quatro vezes a frequência de cruzamento (fx) incluída na banda superior de frequência 220, respectivamente. Como no primeiro algoritmo de patching 205-1 mostrado na Fig. 3, a banda superior de frequência 220 do sinal ampliado de largura de banda 135 compreende a primeira 410', a segunda 420', 420'' e a terceira 430', 430'' bandas de frequência alvo tendo uma frequência máxima de quatro vezes a frequência de cruzamento (fj. . A Fig. 5 mostra uma ilustração esquemática de um terceiro algoritmo de patching exemplar 205-3. Na configuração da Fig. 5, o gerador de patch no dominio espectral 120 é configurado para realizar um algoritmo de patching selecionado a partir de pelo menos dois diferentes algoritmos de patching no dominio espectral, o algoritmo de patching selecionado compreendendo o terceiro algoritmo de patching 205-3. 0 terceiro algoritmo de patching 205-3 compreende funcionalidades SBR de cópia não harmônica 5Ò5 para a transformação dos componentes espectrais em uma banda de frequência fonte 510 sendo a banda de frequência núcleo 210 em uma banda de frequência alvo 510' por uma primeira cópia de maneira que a primeira banda de frequência alvo 510' tenha frequências que variem da frequência de cruzamento (fx) até o dobro da frequência de cruzamento (f J . Componentes espectrais na primeira banda de frequência alvo 510' ainda são transformados em uma segunda banda de frequência alvo 520' por uma segunda cópia, de maneira que a segunda banda de frequência alvo 520' tenha frequências que variem do dobro da frequência de cruzamento (fK) a três vezes a frequência de cruzamento (fx) . Finalmente, componentes espectrais na segunda banda de frequência alvo 520' são ainda transformados em uma terceira banda de frequência alvo 530' por uma terceira cópia, de maneira que a terceira banda de frequência alvo 530' tenha frequências que variem de três vezes a frequência de cruzamento a quatro vezes a frequência de cruzamento (fx) incluida na banda superior de frequência 220. Outra vez, a banda superior de frequência 220 do sinal ampliado de largura de banda 135 compreende a primeira 510', segunda 520' e terceira 530' bandas de frequência alvo tendo uma frequência máxima de quatro vezes a frequência de cruzamento (fx) , A Fig. 6 mostra uma ilustração esquemática de um quarto algoritmo de patching exemplar 205-4. Na configuração da Fig. 6, o gerador de patch no domínio espectral 120 é configurado para realizar um algoritmo de patching selecionado a partir de pelo menos dois diferentes algoritmos de patching no domínio espectral, o algoritmo de patching selecionado compreendendo o quarto algoritmo de patching 205-4. Aqui, o quarto algoritmo de patching 205-4 compreende uma distorção não linear para a geração de componentes espectrais na banda superior de frequência 220 tendo frequências variando da frequência de cruzamento (f J a quatro vezes a frequência de cruzamento (fx) .
Em geral, nas configurações das Figs. 3-6 como descritas acima, os algoritmos de patching no dominio espectral 205-1; 205-2; 205-3; 205-4 são realizados com o gerador de patch no dominio espectral 120 sendo configurado para transformar uma componente espectral em uma banda inicial 310, 310', 320',* 410, 420-1, 420-2, 430-1, 430-2; 510, 510', 520' obtida a partir da banda de frequência núcleo 210 ou de uma banda superior de frequência não incluída na banda de frequência núcleo 210 em uma componente espectral alvo na banda superior de frequência 220 de maneira que a componente espectral alvo seja diferente para cada um dos algoritmos de patching no dominio espectral.
Em particular, o gerador de patch no dominio espectral 120 pode compreender um filtro de passagem de banda para a extração da banda inicial da banda de frequência núcleo 210 ou uma banda superior de frequência 220, em que uma característica de passagem de banda do filtro de passagem de banda possa ser selecionada, de maneira que a banda inicial seja transformada nas bandas de frequência alvo correspondentes 310', 320' , 330'; 410', 420', 420'', 430', 430''; 510', 520', 530' como mostrado nâ Figs. 3-6.
Os diferentes algoritmos de patching no domínio espectral 205-1; 205-2; 205-3; 205-4 podem ser realizados de acordo com um desempenho exigido, como dentro do esquema de extensão de largura de banda da Fig. 2b.
Especificamente, empregando um vocoder de fase simples ou de fase múltipla como mostrado por exemplo na Fig. 3 ou na Fig. 4, respectivamente, a estrutura da frequência é harmônica e corretamente ampliada no dominio da alta frequência, porque a banda base (por exemplo, a banda de frequência núcleo 210) é espectràlmente dispersa por um múltiplo par tpor exemplo, Oi = 2, O; = 3, ch = 4) , ê porque os componentes espectrais na banda base são combinados com os componentes espectrais adicionais gerados,
Um algoritmo de patching baseado em vocoder de fase pode ser vantajoso se a banda base jã estiver fortemente limitada na largura de banda, por exemplo, usando somente uma taxa de bits muito baixá. Assim, a reconstrução dos componentes da frequência superior já começa em uma frequência relativamente baixa. A frequência de cruzamento tipica é, nesse caso, menor que cerca de 5 KHz (ou até menor que 4 KHz) . Nessa região, o ouvido humano é muito sensivel a dissonâncias, devido aos harmônicos incorretamente posicionados. Isto pode resultar em uma impressão de tons "não naturais". Além disso, tons com espaçamentos espectralmente próximos (com a dissonância espectral de cerca de 30 Hz a 300 Hz) são percebidos como tons grosseiros. A continuação harmônica da estrutura da frequência da banda base evita essas impressões auditivas incorretas e desagradáveis.
Além disso, empregando as funcionalidades SBR de cópia não harmônica como mostrado, por exemplo na Fig. S, as regiões espectrais podem ser copiadas como subbandas a uma região de maior frequência ou na região de frequência a ser replicada. Também a cópia se baseia na observação, o que é verdade para todos os métodos de patching, que as propriedades espectrais dos sinais de maior frequência sejam similares em muitos aspectos às propriedades dos sinais da banda base. Existem somente poucos desvios entre eles. Além disso, o ouvido humano não é tipicamente muito sensivel â alta frequência (tipicamente iniciando em cerca de 5 KHz), especialmente em relação a um mapeamento espectral não preciso. Realmente, esta é em geral a idéia principal da replicação de banda espectral. Copiar em particular, compreende a vantagem de que è fácil e rápido para implementar. Este algoritmo de patching também tem uma alta flexibilidade em relação aos limites do patch, já que a cópia do espectro pode ser feita em qualquer limite de subbanda.
Finalmente, o algoritmo de patching de distorção não linear (ver, por exemplo, Fig. 6) pode compreender uma geração de harmônicos por corte, limitação, quadratura, etc. Se, por exemplo, um sinal difundido for ocupado espectralmente de forma 5 muito fina (por exemplo, após a aplicação do algoritmo de patching do vocoder de fase acima mencionado), é possível que o espectro difundido possa ser opcional e adicionalmente suplementado por um sinal distorcido para evitar buracos indesejados de frequência.
Deve ser notado que além dos algoritmos de 10 patching acima mencionados do grupo 203 de algoritmos de patching (ver Fig. 2a), podem ser realizados outros algoritmos de patching no dominio espectral como o espelhamentó espectral.
Na configuração da Fig. 7, um aparelho 700 é mostrado nào compreendendo um transformador tempo/frequência, como 15 indicado pelo bloco tracejado 710 para a transformação de um sinal de dominio do tempo 705 obtida a partir da representação espectral modificada 125 no dominio espectral. Isto significa que, nesse caso, o manipulador de reconstrução de alta frequência 130 receberá em sua entrada uma representação espectral modificada 125 20 e não um sinal de dominio da frequência 715, presente na saida deste transformador tempo/frequência 710.
A configuração descrita pode ser vantajosa, porque nesse caso o novo processamento da representação espectral modificada 125 realizado pelo manipulador de reconstrução de alta 25 frequência 130 pode ocorrer prontamente no mesmo domínio (por exemplo, no dominio FFT ou QMF) em que o algoritmo de patching realizado pelo gerador de patch no domínio espectral 120 é domínios diferentes como uma transformada do dominio do tempo para o dominio espectral (por exemplo, uma análise QMF), que leva a uma implementação mais fácil.
Ma configuração da Fig. B, é mostrado um aparelho 800 ainda compreendendo um segundo conversor 810 para a conversão de uma representação espectral modificada 125 no dominio do tempo. Novamente, são omitidos os componentes do aparelho 900 da Fig. 8, que podem corresponder aos do aparelho 100 da Fig. la. Como mostrado na Fig. B, o segundo conversor 810 pode ser adaptado para aplicar uma síntese combinada a uma análise aplicada pelo primeiro conversor 110. Aqui, o primeiro conversor 110 é configurado para fazer uma conversão tendo um primeiro comprimento de conversão 111, enquanto o segundo conversor 610 é configurado para fazer uma conversão tendo um segundo comprimento de conversão. Em particular, o segundo comprimento de conversão pode depender de uma característica da extensão de largura de banda onde são levados em conta a razão da frequência máxima (F^J na banda superior de frequência 220 e a frequência de cruzamento (fx) na banda de frequência núcleo 210 e o primeiro comprimento de conversão 111.
Nas configurações da presente invenção, o primeiro conversor 110 pode, por exemplo, ser implementado para realizar uma transformada rápida de Fourier (FFT), uma transformada breve de Fourier (STFT), uma transformada discreta de Fourier (DFT) Ou uma análise QMF, enquanto o segundo conversor 810 pode, por exemplo, ser implementado para realizar uma transformada inversa rápida de Fourier (IFFT), uma transformada inversa breve de Fourier (ISTFT), uma transformada inversa discreta de Fourier (IDFT) ou uma síntese QMF.
Especificamente, o segundo comprimento de conversão pode ser escolhido de maneira que seja igual à razão fmax/ÍT multiplicada pelo primeiro comprimento de conversão 111. Assim, o segundo comprimento de conversão ou resolução de frequência aplicada ao segundo conversor 810 será pròntamente adaptada à característica da extensão de largura de banda do esquema de extensão de largura de banda como mostrado na Eig. 2b. Isto ocorre uma vez que a característica da extensão de largura de banda é essencialmente regida pela razão acima (fma√fj correspondendo a uma maior taxa efetiva de amostragem de acordo com o principio de Nyquist.
A Fig. 9 mostra um diagrama de blocos de uma configuração de um aparelho 900 para a codificação de um sinal de áudio 105. O sinal de áudio 105 compreende uma banda de frequência núcleo 210 e uma banda superior de frequência 220. Em particular, o aparelho 900 para a codificação compreende um codificador núcleo 910, um extrator paramétrico 920 e um calculador paramétrico 930. O codificador núcleo 910 é configurado para a codificação do sinal de áudio 105 dentro da banda de frequência nücleo 210 para obter um sinal de áudio codificado 915 codificado dentro da banda de frequência núcleo 210. Além disso, o extrator paramétrico 920 é configurado para extrair um sinal de controle de patching 119 do sinal de áudio 105, o sinal de controle de patching 119 indicando um algoritmo de patching selecionado a partir da pluralidade 117-1 de diferentes algoritmos de patching no dominio espectral. Especificamente, o algoritmo de patching selecionado pode ser realizado em um dominio espectral para a geração do sinal de áudio de síntese em um decodificador de extensão de largura de banda. Finalmente, o calculador paramétrico 930 é configurado para calcular um parâmetro SBR 127 da banda superior de frequência 220, O parâmetro SBR 127 calculado da banda superior de frequência 220, o sinal de controle de patching 119 indicando o algoritmo de patching selecionado e o sinal de áudio codificado 915 codificado dentro da banda de frequência núcleo 210 podem constituir um sinal de áudio codificado 935 a ser armazenado ou transmitido dentro de um fluxo de bits.
Na configuração da Fig. 9, o extrator paramétrico 920 pode ser configurado para analisar o sinal de áudio 105 ou um sinal obtido a partir do sinal de áudio 105 para determinar o sinal de controle de patching 119 com base em uma caracter!stica de sinal do sinal analisado. Por exemplo, o sinal de controle de patching 119 pode indicar um primeiro algoritmo de patching de uma primeira porção do tempo 107-1 do sinal analisado sendo caracterizado como 'fala' e um segundo algoritmo de patching para uma segunda porção do tempo 107-2 do sinal analisado sendo caracterizado como 'música estacionária'.
Assim, no caso de um sinal de fala, pode ser usado um processamento baseado em um modelo de origem de fala ou um modelo de geração de informações, como dentro de um domínio LPC (codificação preditiva linear), enquanto no caso da música estacionária, pode ser usado um modelo de origem estacionário ou um modelo de escoadouro de informações. Enquanto que no primeiro caso, é descrito o som que gera o sistema de fala humana/geração sonora, no último caso, é descrito o som que recebe o sistema de audição humano.
Além disso, pode ser implementado um esquema de processamento dependente do sinal pela comutação entre a transposição harmônica da porção do tempo compreendendo um evento transiente e uma operação de cópia não harmônica para a porção do tempo não compreendendo um evento transiente.
O procedimento acima correspondente a um loop aberto se baseia em uma análise direta do sinal de áudio 105 ou de um sinal obtido a partir do sinal de áudio 105 com relação à sua característica de sinal. Alternativamente, o extrator paramétrico 920 também pode operar em um loop fechado correspondente a uma implementação "análise por síntese"'.
Na configuração da Fig. 10, é ilustrado um aparelho 1000 para a codificação de um sinal de áudio 105 dentro de uma implementação análise por síntese. Especificamente, o extrator paramétrico 920 do aparelho 1000 para a codificação pode ser configurado para determinar a partir da pluralidade 117-1 de diferentes algoritmos de patching no dominio espectral do algoritmo de patching selecionado. Aqui, o algoritmo de patching selecionado pode se basear em uma comparação do sinal de áudio 105 ou de um sinal obtido a partir do sinal de áudio 105 com a pluralidade 1005 de sinais ampliados de largura de banda tendo sido obtidos pela realização da pluralidade 117-1 de algoritmos de patching no dominio espectral e a manipulação da representação espectral modificada 125 de uma porção do tempo do sinal de áudio 105. A comparação pode, por exemplo, ser feita por meio de uma unidade de seleção do algoritmo de patching 1010 calculando ps parâmetros (SFMjooj)da medida de planicidade espectral (SFM) a partir da pluralidade 1005 de sinais ampliados de largura de banda e do sinal de audio 105 (SFMrsf) , comparando os parâmetros SFM calculados SFM!15fl5. e SFMca:t e selecionando a partir da pluralidade 117-1 de algoritmos de patching um algoritmo de patching especifico (ideal) , para o qual seja mínimo o desvio nos parâmetros SEN comparados. Finalmente, o algoritmo de patching ideal selecionado pode ser indicado pelo sinal de controle de patching 119 presente na saída do extrator paramétrico 920. ft Fig. 11 mostra uma visão geral de uma configuração de um esquema de patching em um domínio da frequência. Em particular, é mostrado um aparelho 1100 para a geração de um sinal ampliado de largura de banda como dentro do esquema de extensão de largura de banda da Fig. 2b. Na configuração da Fig. 11, o sinal de áudio 105 é representado por dados PCM 1101 (modulação de código de pulso) tendo um comprimento de frame de 1024 amostras ('frame: 1024'). Os dados PCM 1101 podem, por exemplo, ser um sinal de baixa frequência decodificado compreendendo uma banda base obtida a partir do sinal de áudio codificado 935, o sinal de áudio codificado 935 tendo sido transmitido de um aparelho para a codificação, como o codificador 900. Depois, pode ser usado um redutor da taxa de amostragem 1110 para fazer a redução da taxa de amostragem dos dados PCM 1101 por um fator de 2, por exemplo, para obter um sinal com taxa de amostragem reduzida 1115. O sinal com taxa de amostragem reduzida 1115 é ainda enviado a um janelador de análise 1120 indicado por um bloco denominado "janela" que pode ser configurado para gerar pluralidade de blocos consecutivos janelados de superposição de amostras de áudio. Aqui, cada bloco a partir da pluralidade de blocos consecutivos pode, por exemplo, compreender 512 amostras de áudio, Além disso, uma primeira distância de tempo entre dois blocos consecutivos de amostras de áudio pode, por exemplo, ser ajustada para corresponder a 64 amostras indicadas por "Inc = 64". A sobreposição dos blocos consecutivos de amostras de áudio pode também ser controlada selecionando uma função de janela de análise (ideal) adequada a partir da pluralidade de diferentes funções de janelas de análise aplicadas pelo janelador de análise 1120. A porção do tempo 1125 do sinal de áudio 105, que pode corresponder a um bloco consecutivo a partir da pluralidade de blocos consecutivos de amostras de áudio, é ainda fornecido para o primeiro conversor 110 que pode ser implementado como, por exemplo, um processador FFT 1130 tendo o primeiro comprimento de conversão 111 de N = 512. 0 processador FFT 1130 pode ser configurado para converter a porção do tempo 1125 em uma representação espectral 115 que pode, por exemplo, ser implementada sob forma polar 1135-1. Em particular, esta representação espectral 1135-1 compreende informações de magnitude 1135-2 e informações de fase 1135-3 que são ainda processadas por um gerador de patch no dominio espectral 1141, que pode corresponder ao gerador de patch no dominio espectral 120 da Fig. 2a. 0 gerador de patch no domínio espectral 1141 da Fig. 11 pode compreender um primeiro algoritmo de patching 1141-1 indicado por "vocoder de fase mais cópia" correspondendo ao primeiro algoritmo de patching 205-1, um segundo algoritmo de patching 1143-1 indicado por "vocoder de fase" correspondendo ao segundo algoritmo de patching 205-2, um terceiro algoritmo de patching indicado por "função tipo SBR" correspondendo ao terceiro algoritmo de patching 205-3, e um quarto algoritmo de patching 1147-1 indicado por "outra função, por exemplo, distorção não linear" correspondendo ao quarto algoritmo de patching 205-4 do grupo 203 de algoritmos de patching como mostrado na Fig. 2a.
Como descrito de forma correspondente no contexto da Fig. 2a anteriormente, o primeiro algoritmo de patching 1141-1 compreende um vocoder de fase simples 1141-2 e funcionalidades de cópia não harmônica 1141-3, 1141-4. Além disso, o segundo algoritmo de patching 1143-1, com base em uma operação de vocoder de fase múltipla compreende um primeiro vocoder de fase 1143-2, um segundo vocoder dè fase 1143-3 e um terceiro vocoder de fase 1143- 4. Além disso, o terceiro algoritmo de patching 1145-1 compreende funcionalidades S.BR de cópia não harmônica realizando uma primeira operação de cópia 1145-2, uma segunda operação de cópia 1145-3 e uma terceira operação de cópia 1145-4. Finalmente, o quarto algoritmo de patching 1147-1 compreende uma funcionalidade de distorção não linear.
Particularmente, na configuração da Fig. 11, os sub-componentes dos blocos do algoritmo de patching 1141-1, 1143- 1, 1145-1, 1147-1 podem corresponder àqueles blocos 205-1, 205-2, 205-3, 205-4 da Fig. 2a. Além disso, o símbolo Ç ('banda xover') pode corresponder à frequência de cruzamento (fj .
Além disso, pode ser usado um seletor de patch 1150 para prover um sinal de controle de patching 1155 correspondendo ao sinal de controle de patching 119 para controlar o gerador de patch no domínio espectral 1141 de maneira que sejam realizados pelo menos dois diferentes algoritmos de patching no domínio espectral do grupo 1141-1, 1143-1, 1145-1, 1147-1 de algoritmos de patching, levando a uma representação espectral modificada 1149 correspondendo a uma representação espectral modificada 125.
A representação espectral modificada 1149 pode ser (opcionalmente) processada por um interpolador subsequente 1160 para obter uma representação espectral interpolada modificada 1165. A representação espectral interpolada modificada 1165 pode então ser fornecida ao segundo conversor 810, que pode, por exemplo, ser implementado como um processador iFFT 1170 tendo um segundo comprimento de conversão de N = 2048. Aqui, como descrito de forma correspondente na Fig. 8, o segundo comprimento de conversão de N = 2048 é ajustado para ser exatamente quatro vezes maior que o primeiro comprimento de conversão de N = 512. Assim, pode ser considerada a característica da extensão de largura de banda do esquema de extensão de largura de banda como realizada com diferentes algoritmos de patching no dominio espectral, que foram explicados no detalhe anterior.
O processador iFFT 1170 pode ser configurado para converter a representação espectral interpolada modificada 1165 em um sinal modificado no dominio do tempo 1175 correspondendo ao sinal modificado no dominio do tempo 815 da Fig. 8. O sinal modificado no dominio do tempo 1175 pode então ser enviado a um janelador de sintese 1180 para a aplicação de uma função de janela de síntese ao sinal modificado no domínio do tempo 1175 para obter um sinal modificado no dominio do tempo janelado 1185. Aqui, a função de janela de sintese é combinada com a função de janela de anãlise de maneira que o efeito da aplicação da função de janela de análise é compensada pela aplicação da função de janela de síntese.
Como o sinal modificado no dominio do tempo janelado 1185 deve ser amostrado na maior taxa efetiva de amostragem (por exemplo, 32 KHz) conforme comparado com a razão de amostragem original (por exemplo, 8 KHz) devido à extensão de largura de banda, o sinal modificado no dominio do tempo janelado 1185 pode finalmente ser adicionado por sobreposição em um bloco 1190 indicado por "sobrepor e somar" já que a razão de uma segunda distância de tempo de, por exemplo, 256 amostras, indicada por "Inc = 256" aplicada ao bloco 1190 e a primeira distância de tempo de, por exemplo 64 amostras, aplicada pelo janelador de análise 1120 (por exemplo, razão = 4) será igual à razão da maior taxa efetiva de amostragem e á razão de amostragem original. Assim, um sinal de saída 1195 pode ser obtido e que tenha a mesma característica de sobreposição que o sinal original (com taxa de amostragem reduzida) 1115. O sinal de saida 1195 provido pelo aparelho 1100 pode ainda ser processado iniciando a partir do manipulador de reconstrução de alta frequência 130 como mostrado na Fig. la para finalmente obter um sinal replicado estendido em largura de banda.
Deve ser notado que na configuração da Fig. 11, todos os diferentes algoritmos de patching são feitos no mesmo domínio, por exemplo, no dominio da frequência. 0 domínio pode ser o domínio QMF, já que ê feito em SBR ou em qualquer outro domínio, como o Fourier transposto. A geração real de dados de patch pode ser feita em um domínio diferente. Entretanto, nesse caso, todo o patching, é sempre feito no mesmo domínio.
Além disso, diferentes modelos fonte podem ser associados ao patching considerado na seleção. Por exemplo, um modelo de origem de fala usado na extensão de largura de banda de fala, como descrito em Frederik Nagel, Sascha Disch,"A harmonic bandwidth extension method for audio codecs," ICASSP international Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009,pode ser escolhido para sinais de fala, enquanto um modelo de origem estacionário pode ser adotado para música estacionária. Da mesma forma, como antes descrito, transientes podem ter seus modelos próprios para o patching.
Além disso, por meio de análise de sobreposição e de janelas de síntese para a transposição tempo-frequência, são garantidas transições suaves entre diferentes esquemas de patching. Alternativamente, podem ser usadas janelas especiais para análise e síntese para tornar possível a sobreposição mais baixa.
Em resumo, na configuração da Fig. 11, os métodos de patching podem ser selecionados entre uma simples operação de cópia das seções das frequências vizinhas, um esquema de transposição harmônica baseado em vocoder de fase, e um esquema de transposição harmônica baseado em vocoder de fase que inclua a cópia das seções das frequências vizinhas.
Apesar de a presente invenção ter sido descrita no contexto dos diagramas de blocos onde os blocos representam componentes reais ou lógicos de hardware, a presente invenção também pode ser implementada por um método computadorizado. Nesse último caso, os blocos representam as etapas correspondentes do método, onde essas etapas significam as funcionalidades realizadas pelos correspondentes blocos lógicos ou físicos de hardware.
As configurações descritas são meramente ilustrativas dos princípios da presente invenção. Entende-se que modificações e alterações das disposições e dos detalhes aqui descritos ficarão aparentes para os técnicos no assunto. Pretende- se, portanto, que seja somente limitada pelo escopo das reivindicações da patente pendente, e não pelos detalhes específicos apresentados como descrição e explicação das configurações apresentadas.
Dependente de determinadas exigências de implementação do método do invento, o método do invento pode ser implementado em hardware ou em software. A implementação pode ser feita usando uma midia de armazenagem digital, em particular um disco, um DVD ou um CD dotado de sinais de controle de leitura eletrônica, que cooperem com os sistemas de computador programável, de maneira que os métodos do invento sejam realizados. Em geral, a presente invenção pode, portanto ser implementada como um produto de programa de computador, com. um programa armazenado em um portador de leitura por máquina, o código do programa sendo operado para a realização dos métodos do invento quando o produto de programa de computador opera em um computador. Em outras palavras, os métodos do invento são, portanto, um programa de computador tendo um código de programa para a realização de pelo menos um dos métodos do invento quando o programa de computador opera em um computador. O sinal de áudio codificado do invento pode ser armazenado em qualquer midia de armazenagem de leitura por máquina, como uma mídia de armazenagem digital.
As configurações da presente invenção permitem que a extensão de largura de banda leve em conta o som, o hardware 33133 e características de sinal para o processo de patching. A decisão sobre o melhor patching que pode se adequar pode ser tomada dentro de loops abertos ou fechados. Portanto, a qualidade de restituição pode ser controlada e aperfeiçoada. 5 0 conceito apresentado também tem a vantagem de poder ser facilmente alcançada uma transição suave entre os diferentes algoritmos de patching, permitindo uma adaptação rápida e precisa da extensão de largura de banda com base no sinal.
As aplicações mais importantes são os decodificadores de áudio, que são geralmente implementados em dispositivos manuais, operando assim com baterias.

Claims (13)

1. "APARELHO PARA A GERAÇÃO DE UM SINAL DE ÁUDIO DE SÍNTESE E PARA A CODIFICAÇÃO DE UM SINAL DE ÁUDIO", sendo o aparelho (100; 200; 700; 800; 1100) para a geração de um sinal de áudio de sintese (145) usando um sinal de controle de patching (119; 1155), o aparelho (100; 200; 700; 800; 1100) compreendendo: um primeiro conversor (110; 1130) para a conversão de um primeiro ou segundo periodo de tempo(107-1; 107-2; 1125) de um sinal de áudio (105; 1101) em uma representação espectral (115: 1135-1); um gerador de patch no dominio espectral (120; 1141) para a realização de uma pluralidade (117-1) de diferentes algoritmos de patching no dominio espectral, caracterizado por cada algoritmo de patching gerar uma representação espectral modificada (125; 1149) compreendendo componentes espectrais em uma banda superior de frequência (220) obtida a partir dos componentes espectrais correspondentes em uma banda de frequência de núcleo (210) do sinal de áudio (105; 1101), e onde o gerador de patch no dominio espectral (120; 1141) é configurado para selecionar um primeiro algoritmo de patching no dominio espectral (117-2) a partir da pluralidade (117-1) de algoritmos de patching para o primeiro periodo de tempo (107-1) e um segundo algoritmo de patching no dominio espectral (117-3) a partir da pluralidade (117-1) de algoritmos de patching para um segundo periodo de tempo (107-2) que é diferente do primeiro periodo de tempo (107-1) de acordo com o sinal de controle de patching (119; 1155) para obter uma representação espectral modificada (125; 1149); um manipulador de reconstrução de alta frequência (130) para a manipulação de uma representação espectral modificada (125; 1149) ou um sinal obtido a partir de uma representação espectral modificada (125; 1195) de acordo com um parâmetro de replicaçâo de banda espectral (127) para obter um sinal ampliado de largura de banda (135); e um combinador (140) para combinar o sinal de áudio (105; 1101) tendo componentes espectrais na banda de frequência de núcleo (210) ou um sinal obtido a partir do sinal de áudio (105; 1101) com o sinal ampliado de largura de banda (135) para obter o sinal de áudio de sintese (145), onde o gerador de patch no dominio espectral (120) é configurado para realizar pelo menos dois diferentes algoritmos de patching no dominio espectral a partir de um grupo (203) de algoritmos de patching no dominio espectral, o grupo (203) de algoritmos de patching compreendendo: um primeiro algoritmo de patching (205-1) compreendendo uma transposição harmônica baseada em um vocoder de fase simples e em funcionalidades de replicaçâo de banda espectral de cópia não harmônica, um segundo algoritmo de patching (205-2) compreendendo uma transposição harmônica baseada em um vocoder de fase múltipla, um terceiro algoritmo de patching (205-3) compreendendo funcionalidades de replicação de banda espectral de cópia não harmônica, e um quarto algoritmo de patching (205-4) compreendendo uma distorção não linear
2. Aparelho (100; 200; 700; 800; 1100), de acordo com a reivindicação 1, caracterizado por o gerador de patch no dominio espectral (120; 1141) ser implementado para operar em um dominio espectral e não em um dominio do tempo.
3. Aparelho, de acordo com a reivindicação 1, caracterizado por o primeiro algoritmo de patching (205- 1) compreender, como a transposição harmônica baseada em um vocoder de fase simples (305), o uso de um fator de extensão de largura de banda(o) de dois controlando uma transformada de uma banda de frequência fonte (310) extraida da banda de frequência de núcleo (210) em uma primeira banda de frequência alvo (310'), onde as fases das componentes espectrais na banda de frequência fonte (310) são multiplicadas pelo fator de extensão de largura de banda(o) de maneira que a primeira banda de frequência alvo (310) tenha frequências que variam da frequência de cruzamento (fx) até o dobro da frequência de cruzamento (fx) ,e onde o primeiro algoritmo de patching (205- 1) compreende, como as funcionalidades de replicação de banda espectral de cópia não harmônica (315) , a transformação dos componentes espectrais na primeira banda de frequência alvo (310') em uma segunda banda de frequência alvo (320' ) por meio de uma primeira cópia, de maneira que a segunda banda de frequência alvo (320') tenha frequências que variem do dobro da frequência de cruzamento (fx) a três vezes a frequência de cruzamento (fx) , e a transformação dos componentes espectrais na segunda banda de frequência alvo (320') em uma terceira banda de frequência alvo (330' ) por meio de uma segunda cópia de maneira que a terceira banda de frequência alvo (330') tenha frequências que variem de três vezes da frequência de cruzamento (fx) a quatro vezes da frequência de cruzamento (fx) incluidas na banda superior de frequência (220), e onde a banda superior de frequência (220) compreende a primeira banda de frequência alvo (310' ) , a segunda banda de frequência alvo (320') e a terceira banda de frequência alvo (330').
4. Aparelho, de acordo com a reivindicação 1, caracterizado por o segundo algoritmo de patching (205- 2), o segundo algoritmo de patching (205-2) compreender, como a transposição harmônica com base em um vocoder de fase múltipla (405), o uso de um primeiro fator de extensão de largura de banda (Oi) de dois controlando uma transformada a partir de uma primeira banda de frequência (410) extraida da banda de frequência de núcleo (210) em uma primeira banda de frequência alvo (410'), em que fases dos componentes espectrais na primeira banda de frequência fonte (410) são multiplicadas pelo primeiro fator de extensão de largura de banda (oi) de maneira que a primeira banda de frequência alvo (410') tenha frequências que variem da frequência de cruzamento (fx) até o dobro da frequência de cruzamento (fx) , onde o segundo algoritmo de patching (205- 2) compreende o uso de um segundo fator de extensão de largura de banda(02) de três, controlando uma transformada de uma segunda banda de frequência fonte (420-1, 420-2) extraida da banda de frequência de núcleo (210) em uma segunda banda de frequência alvo (420', 420''), em que fases das componentes espectrais na segunda banda de frequência fonte (420-1, 420-2) são multiplicadas pelo segundo fator de extensão de largura de banda (02) de maneira que a segunda banda de frequência alvo (420', 420'') tenha frequências que variem do dobro da frequência de cruzamento (fx) a três vezes a frequência de cruzamento (fx) ou variando entre a frequência de cruzamento (fx) a três vezes a frequência de cruzamento (fx) , onde o segundo algoritmo de patching (205- 2) compreende o uso de um terceiro fator de extensão de largura de banda(o3) de quatro, controlando uma transformada de uma terceira banda de frequência fonte (430-1, 430-2) extraida da banda de frequência de núcleo (210) em uma terceira banda de frequência alvo (430', 430''), em que as fases dos componentes espectrais na terceira banda de frequência fonte (430', 430'') são multiplicadas pelo terceiro fator de extensão de largura de banda(03) de maneira que a terceira banda de frequência alvo (430', 430'’) tenha frequências que variem de três vezes a frequência de cruzamento (fx) a quatro vezes a frequência de cruzamento (fx) ou variando entre a frequência de cruzamento (fx) a quatro vezes a frequência de cruzamento (fx) incluida na banda superior de frequência (220), e onde a banda superior de frequência (220) compreende a primeira banda de frequência alvo (410' ) , a segunda banda de frequência (420', 420'') e a terceira banda de frequência alvo (430', 430'').
5. Aparelho, de acordo com a reivindicação 1, caracterizado por o terceiro algoritmo de patching (205- 3) compreender, como as funcionalidades de replicação de banda espectral de cópia não harmônica (505), a transformação dos componentes espectrais em uma banda de frequência fonte (510) sendo a banda de frequência de núcleo (210) em uma primeira banda de frequência alvo (510') por meio de uma primeira cópia de maneira que a primeira banda de frequência alvo (510') tenha frequências que variem da frequência de cruzamento (fx) até o dobro da frequência de cruzamento (fx) , a transformação dos componentes espectrais na primeira banda de frequência alvo (510') em uma segunda banda de frequência alvo (520' ) por meio de uma segunda cópia, de maneira que a segunda banda de frequência alvo (520') tenha frequências que variem do dobro da frequência de cruzamento (fx) a três vezes a frequência de cruzamento (fx), e a transformação dos componentes espectrais na segunda banda de frequência alvo (520') em uma terceira banda de frequência alvo (530' ) por meio de uma terceira cópia, de maneira que a terceira banda de frequência alvo (530') tenha frequências que variem de três vezes a frequência de cruzamento (fx) a quatro vezes a frequência de cruzamento (fx) incluida na banda superior de frequência (220), e onde a banda superior de frequência (220) compreende a primeira banda de frequência alvo (510' ) , a segunda banda de frequência alvo (520') e a terceira banda de frequência alvo (530').
6. Aparelho, de acordo com a reivindicação 1, caracterizado por o quarto algoritmo de patching (205-4) compreender, como a distorção não linear, a geração de componentes espectrais na banda superior de frequência (220) com frequências variando entre a frequência de cruzamento (fx) até quatro vezes a frequência de cruzamento (fx) •
7. Aparelho (700), de acordo com uma das reivindicações anteriores, caracterizado por o aparelho (700) não compreendendo um transformador tempo/frequência (710) para a transformação de um sinal de dominio do tempo (705) obtida a partir da representação espectral modificada (125) no dominio espectral.
8. Aparelho (800), de acordo com uma das reivindicações anteriores, o aparelho (800) ainda compreendendo: um segundo conversor (810) para a conversão de uma representação espectral modificada (125) no dominio do tempo, caracterizado por o segundo conversor (810) ser adaptado para adaptar uma sintese combinada a uma análise aplicada pelo primeiro conversor (110), onde o primeiro conversor (110) é configurado para fazer uma conversão tendo um primeiro comprimento de conversão (111), e onde o segundo conversor (810) é configurado para fazer uma conversão tendo um segundo comprimento de conversão, o segundo comprimento de conversão dependendo de uma característica da extensão de largura de banda em que são levados em conta uma razão da frequência máxima (fmax) na banda superior de frequência (220) e a frequência de cruzamento (fx) na banda de frequência de núcleo (210) e o primeiro comprimento de conversão (111) .
9. Aparelho (900; 1000) para a codificação de um sinal de áudio (105) caracterizado por o sinal de áudio (105) compreender uma banda de frequência de núcleo (210) e uma banda superior de frequência (220), o aparelho (900; 1000) compreendendo: um codificador núcleo (910) para a codificação do sinal de áudio (105) dentro da banda de frequência de núcleo (210); um extrator paramétrico (920) para a extração de um sinal de controle de patching (119) do sinal de áudio (105) , o sinal de controle de patching (119) indicando um algoritmo de patching selecionado a partir da pluralidade (117-1) de diferentes algoritmos de patching no dominio espectral, o algoritmo de patching selecionado a ser realizado em um dominio espectral para a geração de um sinal de áudio de sintese em um decodificador de extensão de largura de banda; e um calculador paramétrico (930) para o cálculo de um parâmetro de replicaçâo de banda espectral (127) da banda superior de frequência (220) .
10. Aparelho (1000) para a codificação de acordo com a reivindicação 9, caracterizado por o extrator paramétrico (920) ser configurado para determinar a partir da pluralidade (117-1) de diferentes algoritmos de patching no dominio espectral do algoritmo de patching selecionado, o algoritmo de patching selecionado baseando-se em uma comparação do sinal de áudio (105) ou de um sinal obtido a partir do sinal de áudio (105) com uma pluralidade (1005) de sinais ampliados de largura de banda tendo sido obtidos pela realização da pluralidade (117-1) de algoritmos de patching no dominio espectral e a manipulação de uma representação espectral modificada (125) de uma periodo de tempo do sinal de áudio (105).
11. Processo (100; 200; 700; 800; 1100) para a geração de um sinal de áudio de sintese (145) usando um sinal de controle de patching (190; 1155) em que (100; 200; 700; 800; 1100) compreender: a conversão (110; 1130) de uma primeira ou segunda periodo de tempo (107-1; 107-2; 1125) de um sinal de áudio (105; 1101) em uma representação espectral (115; 1135-1); a realização de (120; 1141) uma pluralidade (117-1) de diferentes algoritmos de patching no dominio espectral, caracterizado por cada algoritmo de patching gerar uma representação espectral modificada (125; 1149) compreendendo componentes espectrais em uma banda superior de frequência (220) obtida a partir dos componentes espectrais correspondentes em uma banda de frequência de núcleo (210) do sinal de áudio (105; 1101), e selecionando (120; 1141) um primeiro algoritmo de patching no dominio espectral (117-2) a partir da pluralidade (117-1) de algoritmos de patching para um primeiro periodo de tempo (107-1) e um segundo algoritmo de patching no dominio espectral (117-3) a partir da pluralidade (117-1) de algoritmos de patching para um segundo periodo de tempo (107-2) que é diferente do primeiro periodo de tempo (107- 1) de acordo com o sinal de controle de patching (119; 1155) para obter uma representação espectral modificada (125; 1149); a manipulação (130) de uma representação espectral modificada (125; 1149) ou de um sinal obtido a partir de uma representação espectral modificada (125; 1195) de acordo com um parâmetro de replicação de banda espectral (127) para a obtenção de um sinal ampliado de largura de banda (135); e a combinação (140) do sinal de áudio (105; 1101) tendo componentes espectrais na banda de frequência de núcleo (210) ou de um sinal obtido a partir do sinal de áudio (105; 1101) com o sinal ampliado de largura de banda (135) para obter o sinal de áudio de sintese (145), onde a realização (120; 1141) da pluralidade (117-1) de diferentes algoritmos de patching no dominio espectral compreende a realização de pelo menos dois diferentes algoritmos de patching no dominio espectral a partir de um grupo (203) de algoritmos de patching no dominio espectral, o grupo (203) de algoritmos de patching compreendendo: um primeiro algoritmo de patching (205-1) compreendendo uma transposição harmônica baseada em um vocoder de fase simples e em funcionalidades de replicaçâo de banda espectral de cópia não harmônica, um segundo algoritmo de patching (205-2) compreendendo uma transposição harmônica baseada em um vocoder de fase múltipla, um terceiro algoritmo de patching (205-3) compreendendo funcionalidades de replicaçâo de banda espectral de cópia não harmônica, e um quarto algoritmo de patching (205-4) compreendendo uma distorção não linear
12. Processo (900; 1000) para a codificação de um sinal de áudio (105) , caracterizado por o sinal de áudio (105) compreender uma banda de frequência de núcleo (210) e uma banda superior de frequência (220), o método (900; 1000) compreendendo: a codificação (910) do sinal de áudio (105) dentro da banda de frequência de núcleo (210); a extração (920) de um sinal de controle de patching (119) do sinal de áudio (105), o sinal de controle de patching (119) indicando um algoritmo de patching selecionado a partir da pluralidade (117-1) de diferentes algoritmos de patching no dominio espectral, o algoritmo de patching selecionado para ser realizado em um dominio espectral para a geração de um sinal de áudio de sintese em um decodificador de extensão de largura de banda; e o cálculo (930) de um parâmetro de replicação de banda espectral (127) da banda superior de frequência (220) .
13. Sinal de áudio codificado (935) caracterizado por compreender: um sinal de áudio codificado (915) codificado no interior de uma banda de frequência de núcleo (210) ; um sinal de controle de patching (119), o sinal de controle de patching (119) indicando um algoritmo de patching selecionado a partir da pluralidade (117-1) de diferentes algoritmos de patching no dominio espectral, o algoritmo de patching selecionado a ser realizado em um dominio espectral para a geração de um sinal de áudio de sintese (145) em um decodificador de extensão de largura de banda; e um parâmetro de replicação de banda espectral (127) calculado a partir de uma banda superior de frequência (220) do sinal de áudio (105).
BRPI1003636-9A 2009-04-09 2010-04-01 aparelho e processo para a geração de um sinal de áudio de síntese e para a codificação de um sinal de áudio BRPI1003636B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16806809P 2009-04-09 2009-04-09
US61/168,068 2009-04-09
EP09181008.5 2009-12-30
EP09181008A EP2239732A1 (en) 2009-04-09 2009-12-30 Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
PCT/EP2010/054434 WO2010115845A1 (en) 2009-04-09 2010-04-01 Apparatus and method for generating a synthesis audio signal and for encoding an audio signal

Publications (2)

Publication Number Publication Date
BRPI1003636A2 BRPI1003636A2 (pt) 2019-07-02
BRPI1003636B1 true BRPI1003636B1 (pt) 2020-11-24

Family

ID=42123165

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1003636-9A BRPI1003636B1 (pt) 2009-04-09 2010-04-01 aparelho e processo para a geração de um sinal de áudio de síntese e para a codificação de um sinal de áudio

Country Status (20)

Country Link
US (15) US9697838B2 (pt)
EP (3) EP2239732A1 (pt)
JP (2) JP5227459B2 (pt)
KR (2) KR101207120B1 (pt)
CN (2) CN102177545B (pt)
AR (3) AR076199A1 (pt)
AT (1) ATE534119T1 (pt)
AU (2) AU2010233858B9 (pt)
BR (1) BRPI1003636B1 (pt)
CA (2) CA2721629C (pt)
CO (1) CO6311123A2 (pt)
EG (1) EG26400A (pt)
ES (2) ES2396686T3 (pt)
MX (2) MX2010012343A (pt)
MY (2) MY151346A (pt)
PL (2) PL2351025T3 (pt)
RU (1) RU2501097C2 (pt)
SG (1) SG174113A1 (pt)
TW (2) TWI492222B (pt)
WO (2) WO2010112587A1 (pt)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2374486T3 (es) 2009-03-26 2012-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositivo y método para manipular una señal de audio.
RU2452044C1 (ru) * 2009-04-02 2012-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот
EP2239732A1 (en) 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
KR102691176B1 (ko) 2010-01-19 2024-08-07 돌비 인터네셔널 에이비 고조파 전위에 기초하여 개선된 서브밴드 블록
AU2015203065B2 (en) * 2010-01-19 2017-05-11 Dolby International Ab Improved subband block based harmonic transposition
EP2362376A3 (en) * 2010-02-26 2011-11-02 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an audio signal using envelope shaping
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5554876B2 (ja) * 2010-04-16 2014-07-23 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム
ES2565959T3 (es) 2010-06-09 2016-04-07 Panasonic Intellectual Property Corporation Of America Método de extensión del ancho de banda, aparato de extensión del ancho de banda, programa, circuito integrado y aparato de decodificación de audio
SG10202107800UA (en) 2010-07-19 2021-09-29 Dolby Int Ab Processing of audio signals during high frequency reconstruction
US12002476B2 (en) 2010-07-19 2024-06-04 Dolby International Ab Processing of audio signals during high frequency reconstruction
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
FI3998607T3 (fi) * 2011-02-18 2024-04-22 Ntt Docomo Inc Puhedekooderi
DE102011106034A1 (de) * 2011-06-30 2013-01-03 Zte Corporation Verfahren und Vorrichtung zur Spektralbandreplikation und Verfahren und System zur Audiodecodierung
US9349380B2 (en) * 2011-06-30 2016-05-24 Samsung Electronics Co., Ltd. Apparatus and method for generating bandwidth extension signal
US20130006644A1 (en) * 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
CN103035248B (zh) * 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
EP2777042B1 (en) 2011-11-11 2019-08-14 Dolby International AB Upsampling using oversampled sbr
EP3029672B1 (en) * 2012-02-23 2017-09-13 Dolby International AB Method and program for efficient recovery of high frequency audio content
EP2682941A1 (de) 2012-07-02 2014-01-08 Technische Universität Ilmenau Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne
ES2549953T3 (es) * 2012-08-27 2015-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para la reproducción de una señal de audio, aparato y método para la generación de una señal de audio codificada, programa de ordenador y señal de audio codificada
EP2709106A1 (en) 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
US9258428B2 (en) 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
PT3070713T (pt) 2013-01-29 2018-04-24 Fraunhofer Ges Forschung Codificador de áudio, descodificador de áudio, método para fornecer uma informação de áudio codificada, método para fornecer uma informação de áudio descodificada, programa de computador e representação codificada utilizando uma extensão da largura de banda adaptável ao sinal
CN103971693B (zh) * 2013-01-29 2017-02-22 华为技术有限公司 高频带信号的预测方法、编/解码设备
CN109509483B (zh) 2013-01-29 2023-11-14 弗劳恩霍夫应用研究促进协会 产生频率增强音频信号的译码器和产生编码信号的编码器
KR102243688B1 (ko) * 2013-04-05 2021-04-27 돌비 인터네셔널 에이비 인터리브된 파형 코딩을 위한 오디오 인코더 및 디코더
CN104217727B (zh) * 2013-05-31 2017-07-21 华为技术有限公司 信号解码方法及设备
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
CN105531762B (zh) 2013-09-19 2019-10-01 索尼公司 编码装置和方法、解码装置和方法以及程序
KR101852749B1 (ko) * 2013-10-31 2018-06-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 주파수 도메인에서의 시간적인 사전-형상화된 잡음의 삽입에 의한 오디오 대역폭 확장
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
MX2016008172A (es) 2013-12-27 2016-10-21 Sony Corp Metodo y aparato de decodificacion, y programa.
KR102244612B1 (ko) * 2014-04-21 2021-04-26 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
EP2963646A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
KR102306537B1 (ko) 2014-12-04 2021-09-29 삼성전자주식회사 소리 신호를 처리하는 방법 및 디바이스.
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
TWI758146B (zh) 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016149085A2 (en) * 2015-03-13 2016-09-22 Psyx Research, Inc. System and method for dynamic recovery of audio data and compressed audio enhancement
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックIpマネジメント株式会社 音声信号復号装置及び音声信号復号方法
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
CN109036457B (zh) * 2018-09-10 2021-10-08 广州酷狗计算机科技有限公司 恢复音频信号的方法和装置
TWI742486B (zh) * 2019-12-16 2021-10-11 宏正自動科技股份有限公司 輔助歌唱系統、輔助歌唱方法及其非暫態電腦可讀取記錄媒體
EP3971892A1 (en) * 2020-09-18 2022-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for combining repeated noisy signals
GB202203733D0 (en) * 2022-03-17 2022-05-04 Samsung Electronics Co Ltd Patched multi-condition training for robust speech recognition
US12469506B2 (en) * 2023-06-13 2025-11-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for audio decoding supporting two spectral band replication modes

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5127054A (en) 1988-04-29 1992-06-30 Motorola, Inc. Speech quality improvement for voice coders and synthesizers
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JPH10124088A (ja) 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
SE9700772D0 (sv) * 1997-03-03 1997-03-03 Ericsson Telefon Ab L M A high resolution post processing method for a speech decoder
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6549884B1 (en) 1999-09-21 2003-04-15 Creative Technology Ltd. Phase-vocoder pitch-shifting
US7742927B2 (en) 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
US6584438B1 (en) * 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
JP2001309160A (ja) 2000-04-26 2001-11-02 Matsushita Electric Ind Co Ltd オーバレイ表示制御装置
SE0001926D0 (sv) 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
US20020016698A1 (en) * 2000-06-26 2002-02-07 Toshimichi Tokuda Device and method for audio frequency range expansion
JP2002082685A (ja) * 2000-06-26 2002-03-22 Matsushita Electric Ind Co Ltd 音声帯域拡張装置及び音声帯域拡張方法
SE0004818D0 (sv) * 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
US20020128839A1 (en) 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
JP2003108197A (ja) * 2001-07-13 2003-04-11 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置およびオーディオ信号符号化装置
AU2002318813B2 (en) 2001-07-13 2004-04-29 Matsushita Electric Industrial Co., Ltd. Audio signal decoding device and audio signal encoding device
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
JP3926726B2 (ja) * 2001-11-14 2007-06-06 松下電器産業株式会社 符号化装置および復号化装置
WO2003042979A2 (en) 2001-11-14 2003-05-22 Matsushita Electric Industrial Co., Ltd. Encoding device and decoding device
US7469206B2 (en) 2001-11-29 2008-12-23 Coding Technologies Ab Methods for improving high frequency reconstruction
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
FR2841031B1 (fr) 2002-06-17 2005-02-11 Hurel Hispano Le Havre Procede de fabrication d'un panneau acoustique a double resonateur
TWI288915B (en) 2002-06-17 2007-10-21 Dolby Lab Licensing Corp Improved audio coding system using characteristics of a decoded signal to adapt synthesized spectral components
US20040138876A1 (en) 2003-01-10 2004-07-15 Nokia Corporation Method and apparatus for artificial bandwidth expansion in speech processing
KR100917464B1 (ko) 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
FI119533B (fi) 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
EP1798724B1 (en) 2004-11-05 2014-06-18 Panasonic Corporation Encoder, decoder, encoding method, and decoding method
JP2006243041A (ja) 2005-02-28 2006-09-14 Yutaka Yamamoto 高域補間装置及び再生装置
US7953605B2 (en) 2005-10-07 2011-05-31 Deepen Sinha Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension
KR20070115637A (ko) 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8417532B2 (en) 2006-10-18 2013-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoding an information signal
EP1970900A1 (en) 2007-03-14 2008-09-17 Harman Becker Automotive Systems GmbH Method and apparatus for providing a codebook for bandwidth extension of an acoustic signal
CN101276587B (zh) * 2007-03-27 2012-02-01 北京天籁传音数字技术有限公司 声音编码装置及其方法和声音解码装置及其方法
CA2698031C (en) * 2007-08-27 2016-10-18 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for noise filling
CN101393743A (zh) * 2007-09-19 2009-03-25 中兴通讯股份有限公司 一种可配置参数的立体声编码装置及其编码方法
JP5098569B2 (ja) 2007-10-25 2012-12-12 ヤマハ株式会社 帯域拡張再生装置
CA2704807A1 (en) 2007-11-06 2009-05-14 Nokia Corporation Audio coding apparatus and method thereof
CN101896967A (zh) 2007-11-06 2010-11-24 诺基亚公司 编码器
JP5400059B2 (ja) 2007-12-18 2014-01-29 エルジー エレクトロニクス インコーポレイティド オーディオ信号処理方法及び装置
CN101836253B (zh) * 2008-07-11 2012-06-13 弗劳恩霍夫应用研究促进协会 一种使用频谱倾斜控制成帧技术来计算带宽扩展数据的装置及方法
US8880410B2 (en) * 2008-07-11 2014-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a bandwidth extended signal
MX2011000372A (es) 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Sintetizador de señales de audio y codificador de señales de audio.
EP2224433B1 (en) 2008-09-25 2020-05-27 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
MY208222A (en) 2009-01-16 2025-04-25 Dolby Int Ab Cross product enhanced harmonic transposition
DK2211339T3 (en) 2009-01-23 2017-08-28 Oticon As listening System
EP2239732A1 (en) 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
RU2452044C1 (ru) 2009-04-02 2012-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот
WO2011035813A1 (en) 2009-09-25 2011-03-31 Nokia Corporation Audio coding
EP2513899B1 (en) * 2009-12-16 2018-02-14 Dolby International AB Sbr bitstream parameter downmix

Also Published As

Publication number Publication date
USRE50780E1 (en) 2026-02-03
USRE50676E1 (en) 2025-11-25
ES2396686T3 (es) 2013-02-25
EP2269189B1 (en) 2011-11-16
CA2721629A1 (en) 2010-10-07
US20250225993A1 (en) 2025-07-10
CA2734973C (en) 2016-10-18
CA2734973A1 (en) 2010-10-14
CN102177545B (zh) 2013-03-27
US9697838B2 (en) 2017-07-04
KR20110005865A (ko) 2011-01-19
PL2269189T3 (pl) 2012-04-30
AU2010233858B2 (en) 2013-05-16
US20120010880A1 (en) 2012-01-12
TWI492222B (zh) 2015-07-11
TW201044378A (en) 2010-12-16
AU2010230129B2 (en) 2011-09-29
ATE534119T1 (de) 2011-12-15
US20250225989A1 (en) 2025-07-10
EG26400A (en) 2013-10-09
BR122021012145A2 (pt) 2023-01-03
BR122021012125A2 (pt) 2023-01-03
RU2011109670A (ru) 2012-09-27
CO6311123A2 (es) 2011-08-22
US20130090934A1 (en) 2013-04-11
WO2010115845A1 (en) 2010-10-14
JP2012504781A (ja) 2012-02-23
JP2011520146A (ja) 2011-07-14
AR076199A1 (es) 2011-05-26
MY151346A (en) 2014-05-15
AR076237A1 (es) 2011-05-26
USRE50692E1 (en) 2025-12-09
SG174113A1 (en) 2011-10-28
PL2351025T3 (pl) 2013-04-30
BRPI1003636A2 (pt) 2019-07-02
USRE50767E1 (en) 2026-01-27
EP2239732A1 (en) 2010-10-13
US20250225992A1 (en) 2025-07-10
JP5165106B2 (ja) 2013-03-21
CN102027537A (zh) 2011-04-20
TWI416507B (zh) 2013-11-21
MY153798A (en) 2015-03-31
US9076433B2 (en) 2015-07-07
USRE50601E1 (en) 2025-09-23
EP2351025A1 (en) 2011-08-03
MX2011002419A (es) 2011-04-05
CN102027537B (zh) 2012-10-03
US20250225994A1 (en) 2025-07-10
TW201044379A (en) 2010-12-16
AU2010233858B9 (en) 2013-05-30
KR101207120B1 (ko) 2012-12-03
KR101248321B1 (ko) 2013-03-27
BRPI1001239A2 (pt) 2022-11-22
WO2010112587A1 (en) 2010-10-07
AU2010233858A1 (en) 2010-10-14
RU2501097C2 (ru) 2013-12-10
USRE50693E1 (en) 2025-12-09
CA2721629C (en) 2015-10-13
ES2377551T3 (es) 2012-03-28
AU2010230129A1 (en) 2010-10-07
USRE50710E1 (en) 2025-12-23
KR20110081292A (ko) 2011-07-13
US20250225991A1 (en) 2025-07-10
EP2351025B1 (en) 2012-11-14
AR097531A2 (es) 2016-03-23
BR122021012290A2 (pt) 2023-01-03
BR122021012115A2 (pt) 2023-01-03
MX2010012343A (es) 2011-02-23
US20250225990A1 (en) 2025-07-10
BR122021012137A2 (pt) 2023-01-03
HK1159842A1 (en) 2012-08-03
JP5227459B2 (ja) 2013-07-03
CN102177545A (zh) 2011-09-07
EP2269189A1 (en) 2011-01-05

Similar Documents

Publication Publication Date Title
USRE50692E1 (en) Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
US8386268B2 (en) Apparatus and method for generating a synthesis audio signal using a patching control signal
AU2010268160B2 (en) Bandwidth extension encoder, bandwidth extension decoder and phase vocoder
AU2013207549B2 (en) Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
AU2014201331B2 (en) Bandwidth extension encoder, bandwidth extension decoder and phase vocoder
HK1159842B (en) Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
BR122021012125B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BR122021012115B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BR122021012137B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BR122021012145B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BR122021012290B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: G10L 21/02 , G10L 19/14

Ipc: G10L 19/008 (2013.01), G10L 19/18 (2013.01), G10L

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 24/11/2020, OBSERVADAS AS CONDICOES LEGAIS.