[go: up one dir, main page]

BRPI0915358B1 - método e aparelho para a ocultação de erro de quadro em dados de áudio codificados usando codificação de extensão - Google Patents

método e aparelho para a ocultação de erro de quadro em dados de áudio codificados usando codificação de extensão Download PDF

Info

Publication number
BRPI0915358B1
BRPI0915358B1 BRPI0915358A BRPI0915358A BRPI0915358B1 BR PI0915358 B1 BRPI0915358 B1 BR PI0915358B1 BR PI0915358 A BRPI0915358 A BR PI0915358A BR PI0915358 A BRPI0915358 A BR PI0915358A BR PI0915358 B1 BRPI0915358 B1 BR PI0915358B1
Authority
BR
Brazil
Prior art keywords
frame
values
error
parameter values
spectrum
Prior art date
Application number
BRPI0915358A
Other languages
English (en)
Inventor
Vasilache Adriana
Rämö Anssi
Laaksonen Lasse
Tammi Mikko
Original Assignee
Nokia Corp
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp, Nokia Technologies Oy filed Critical Nokia Corp
Publication of BRPI0915358A2 publication Critical patent/BRPI0915358A2/pt
Publication of BRPI0915358B1 publication Critical patent/BRPI0915358B1/pt

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

método e aparelho para a ocultação de erro de quadro em dados de áudio codificados usando codificação de extensão. um método de ocultação de erro de quadro em dados de áudio codificados que compreende o recebimento de dados de áudio codificados em uma pluralidade de quadros; e o uso de um ou mais valores de parâmetro salvos de um ou mais quadros anteriores para a reconstrução de um quadro com erro de quadro. o uso de um ou mais valores de parâmetro salvos compreende os valores de derivação de parâmetro com base em pelo menos parte de um ou mais valores de parâmetro salvos e a aplicação dos valores derivados ao quadro com erro de quadro.

Description

(54) Título: MÉTODO E APARELHO PARA A OCULTAÇÃO DE ERRO DE QUADRO EM DADOS DE ÁUDIO CODIFICADOS USANDO CODIFICAÇÃO DE EXTENSÃO (51) Int.CI.: G10L 19/00; G10L 21/02.
(30) Prioridade Unionista: 13/06/2008 US 61/061,572.
(73) Titular(es): NOKIA TECHNOLOGIES ΟΥ.
(72) Inventor(es): MIKKO TAMMI; LASSE LAAKSONEN; ADRIANA VASILACHE; ANSSI RÃMÕ.
(86) Pedido PCT: PCT FI2009050403 de 15/05/2009 (87) Publicação PCT: WO 2009/150290 de 17/12/2009 (85) Data do Início da Fase Nacional: 13/12/2010 (57) Resumo: MÉTODO E APARELHO PARA A OCULTAÇÃO DE ERRO DE QUADRO EM DADOS DE ÁUDIO CODIFICADOS USANDO CODIFICAÇÃO DE EXTENSÃO. Um método de ocultação de erro de quadro em dados de áudio codificados que compreende o recebimento de dados de áudio codificados em uma pluralidade de quadros; e o uso de um ou mais valores de parâmetro salvos de um ou mais quadros anteriores para a reconstrução de um quadro com erro de quadro. O uso de um ou mais valores de parâmetro salvos compreende os valores de derivação de parâmetro com base em pelo menos parte de um ou mais valores de parâmetro salvos e a aplicação dos valores derivados ao quadro com erro de quadro.
1/25
Relatório Descritivo da Patente de Invenção para: “MÉTODO E APARELHO PARA A OCULTAÇÃO DE ERRO DE QUADRO EM DADOS DE ÁUDIO CODIFICADOS USANDO CODIFICAÇÃO DE EXTENSÃO”.
CAMPO DA INVENÇÃO [001] Esta invenção refere-se à codificação e decodificação de dados de áudio. Em particular, a presente invenção refere-se à ocultação de erros em dados de áudio codificados.
FUNDAMENTOS DA INVENÇÃO [002] Esta seção é destinada ao fornecimento de um fundamento ou contexto para a invenção que é relatado nas reivindicações. A descrição na presente invenção pode incluir conceitos que poderiam ser seguidos, mas não são necessariamente os que foram concebidos ou seguidos anteriormente. Portanto, a menos que seja indicado o contrário na presente invenção, o que é descrito nesta seção não se trata da técnica anterior para a descrição e reivindicações neste pedido e não se admite ser técnica anterior através da inclusão nesta seção.
[003] A codificação de taxa variável embutida, também chamada de codificação em camadas, em geral refere-se a um algoritmo de codificação de discurso que produz um fluxo de bits de forma que um subconjunto do fluxo de bits pode ser decodificado com boa qualidade. Tipicamente, um codificador/decodificador de núcleo opera em uma taxa de bits baixa e um número de camadas é usado no topo do núcleo a fim de aperfeiçoar a qualidade de saída (incluindo, por exemplo, a extensão possível da largura da banda de frequência ou aperfeiçoamento da granularidade da codificação). No decodificador, apenas a parte do fluxo de bits que corresponde ao codificador/decodificador de núcleo, ou adicionalmente as partes de ou o fluxo de bits inteiro que corresponde a uma ou mais das camadas do topo do núcleo, pode ser decodificada para a produção de sinal de saída.
[004] O Setor de Padronização de Telecomunicação da União de Telecomunicação Internacional (ITU-T) está no processo de desenvolvimento de super banda larga (SWB) e extensões de estéreo para G.718 (conhecido como EV-VBR) e G.729.1 empregou codificação e decodificação de voz de taxa variável. A
Petição 870190126802, de 02/12/2019, pág. 15/19
2/25 extensão de SWB, que estende a largura da banda de frequência da codificação e decodificação de EV-VBR de 7 kHz a 14 kHz, e a extensão de estéreo que será padronizado une o intervalo entre a codificação de áudio e voz. O G.718 e G.729.1 são exemplos de codificadores/decodificadores de núcleo no topo do qual uma extensão pode ser aplicada.
Os erros de canal ocorrem em redes de comunicação sem fio e comutações de pacote. Estes erros podem fazer com que alguns dos segmentos de dados cheguem ao receptor que será corrompido (por exemplo, contaminado por erros de bit), e alguns dos segmentos de dados podem ser completamente perdidos ou apagados. Por exemplo, no caso de codificações e decodificações de G.718 e G.729.1, os erros de canal resultam em uma necessidade de lidar com o apagamento de quadros. Não é necessário o fornecimento de robustez de erro do canal na extensão SWB (e estéreo), particularmente a partir do ponto de vista de G.718.
SUMÁRIO DA INVENÇÃO
Em um aspecto da invenção, um método de ocultação de erro de quadro em dados de áudio codificados compreende o recebimento de dados de áudio codificados em uma pluralidade de quadros; e o uso de um ou mais valores de parâmetro salvos a partir de um ou mais quadros anteriores, a fim de reconstruir um quadro com erro de quadro. O uso dos um ou mais valores de parâmetro salvos compreende valores de parâmetro derivados com base em pelo menos parte dos um ou mais valores de parâmetro salvos e a aplicação de valores derivados ao quadro com erro de quadro.
Em uma modalidade, os valores de parâmetro salvos correspondem a valores de parâmetro de um ou mais quadros anteriores sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro do quadro anterior mais recente sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem a valores de parâmetro de um quadro reconstruído anteriormente com erros.
Em uma modalidade, os valores de parâmetro salvos são escalados
3/25 para manter os componentes periódicos em frequências superiores.
Em uma modalidade, os valores de parâmetro salvos incluem valor do espectro de transformação discreta do cosinus modificado (MDCT). Os valores de espectro de MDCT podem ser escalados para toda a faixa de frequência mais alta de acordo com:
Para k = 0;k < Lhighspectrum;k + + m(k + Llowspectrum) mprev (k) fa'^spect
Em uma modalidade, os valores de parâmetro salvos incluem valores de componentes sinusóides. Os valores de componentes sinusóides podem ser escalados de acordo com:
Para k = (Y,k < N^k + + '«Um W + L^pectrum )= ^^v(p^sí„ fr))*/«Csin '
Em uma modalidade, a escalação é configurada para reduzir gradualmente a atividade de energia para rompimentos de erro mais longos.
Em outro aspecto da invenção, um aparelho compreende um decodificador configurado para receber dados de áudio codificados em uma pluralidade de quadros; e usa os valores de parâmetro salvos a partir de um quadro anterior para reconstruir um quadro com erro de quadro. O uso dos valores de parâmetro salvos inclui a escalação dos valores de parâmetro salvos e a aplicação dos valores escalados ao quadro com erro de quadro.
Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um ou mais quadros anteriores sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro do quadro anterior mais recente sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um quadro reconstruído anteriormente com erros.
Em uma modalidade, os valores de parâmetro salvos são escalados para manter os componentes periódicos em frequências superiores.
Em uma modalidade, os valores de parâmetro salvos incluem o valor do espectro de transformação discreta do cosinus modificado (MDCT). Os valores
4/25 de espectro de MDCT podem ser escalados para toda a faixa de frequência mais alta de acordo com:
Para £ = 0; £ < Lhighspectrum -,k + + m{k + LloWSpeClrun}= mPreÁk¥ fac.spect '
Em uma modalidade, os valores de parâmetro salvos incluem valores de componentes sinusóides. Os valores de componentes sinusóides podem ser escalados de acordo com:
Para k = Q-,k<Nàn’,k + +
Ap°bm ’
Em uma modalidade, a escalação é configurada para reduzir gradualmente a atividade de energia para rompimentos de erro mais longos.
Em outro aspecto, a invenção refere-se a um aparelho que compreende um processador e uma unidade de memória conectada comunicavelmente ao processador. A unidade de memória inclui o código do computador para o recebimento de dados de áudio codificados em uma pluralidade de quadros; e o código do computador para o uso de valores de parâmetro salvos a partir de um quadro anterior a fim de reconstruir um quadro com erro de quadro. O código do computador para uso dos valores de parâmetro salvos inclui o código do computador para a escalação de valores de parâmetro salvos e aplicação de valores escalados ao quadro com erro de quadro.
Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um ou mais quadros anteriores sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro do quadro anterior mais recente sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um quadro reconstruído anteriormente com erros.
Em uma modalidade, os valores de parâmetro salvos são escalados para manter os componentes periódicos em frequências superiores.
Em uma modalidade, os valores de parâmetro salvos incluem o valor
5/25 do espectro de transformação discreta do cosinus modificado (MDCT). O código do computador para escalação pode ser configurado para escalar os valores de espectro de MDCT para toda a faixa de frequência mais alta de acordo com:
Para k = Q-k<T -k + + m(k + Spectrum )= ™prM* faspecl '
Em uma modalidade, os valores de parâmetro salvos incluem valores de componentes sinusóides. O código do computador para escalação pode ser configurado para escalar valores de componentes sinusóides de acordo com:
Para k = 0;k<Nsin;k + + m(p°sM+L!ompectrum)= mpJj>oss^k))*facsin '
Em uma modalidade, a escalação do código do computador é configurada para reduzir gradualmente a atividade de energia para rompimentos de erro mais longos.
Em outro aspecto, um produto de programa de computador, incorporado em um meio legível por computador, compreende um código do computador para o recebimento de dados de áudio codificados em uma pluralidade de quadros, e um código do computador para uso de valores de parâmetro salvos a partir de um quadro anterior a fim de reconstruir um quadro com erro de quadro. O código do computador para uso dos valores de parâmetro salvos inclui o código do computador para escalação dos valores de parâmetro salvos e a aplicação dos valores escalados ao quadro com erro de quadro.
Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um ou mais quadros anteriores sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro do quadro anterior mais recente sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um quadro reconstruído anteriormente sem erros.
Em uma modalidade, os valores de parâmetro salvos são escalados para manter os componentes periódicos em frequências superiores.
6/25
Em uma modalidade, os valores de parâmetro salvos incluem o valor do espectro de transformação discreta do cosinus modificado (MDCT). O código do computador para escalação pode ser configurado para escalar os valores de espectro de MDCT para toda a faixa de frequência mais alta de acordo com:
Para k = Q-k<L -k + + m(k + Llo^pectrum ) = mprev W * faCspect '
Em uma modalidade, os valores de parâmetro salvos incluem os valores de componentes sinusóides. O código do computador para escalação pode ser configurado para escalar os valores de componentes sinusóides de acordo com:
Para £ = 0;£ < Nsin;£ + + m(pos.M+L lowspectrum )^mpreV(p°SsM)*faCsin'
Em uma modalidade, a escalação do código do computador é configurada para reduzir gradualmente a atividade de energia para rompimentos de erro mais longos.
Estas e outras vantagens e características de diversas modalidades da presente invenção, juntamente com a organização e maneira de operação da mesma, se tornarão aparente a partir da descrição detalhada quando tida em conjunto com os desenhos anexados.
DESCRIÇÃO BREVE DOS DESENHOS
As modalidades exemplificadoras da invenção são descritas através de referências aos desenhos anexados, nos quais:
A Figura 1 é um fluxograma que ilustra um método exemplificador de ocultação de erro de quadro de acordo com uma modalidade da presente invenção;
As Figuras 2A e 2B ilustram a aplicação do método de ocultação de erro de quadro de acordo com uma modalidade da presente invenção em um quadro genérico;
As Figuras 3A e 3B ilustram a aplicação do método de ocultação de
7/25 erro de quadro de acordo com uma modalidade da presente invenção em um quadro tonal;
A Figura 4 é um diagrama de visão geral de um sistema no qual diversas modalidades da presente invenção podem ser empregadas;
A Figura 5 ilustra uma vista em perspectiva de um dispositivo exemplificador eletrônico que pode ser utilizado de acordo com as diversas modalidades da presente invenção;
A Figura 6 é uma representação esquemática do sistema de circuito elétrico que pode ser incluído no dispositivo eletrônico da Figura 5; e
A Figura 7 é uma representação gráfica de um sistema de comunicação multimídia genérico no qual diversas modalidades podem ser empregadas.
DESCRIÇÃO DETALHADA DAS VÁRIAS MODALIDADES
Na descrição a seguir, com propósitos de explicação e não limitação, os detalhes e descrições são estabelecidos para fornecer uma compreensão completa da presente invenção. Entretanto, ficará aparente para as pessoas versadas na técnica que a presente invenção pode ser praticada em outras modalidades que se afastam destes detalhes e descrições.
O apagamento de quadros pode alterar a saída de codificador/decodificador de núcleo. Apesar de os efeitos de percepção de apagamento de quadros terem sido minimizados através da existência de mecanismos usados nas codificações e decodificações, como G.718, o formato do sinal tanto no domínio de tempo quanto de freqüência pode ser consideravelmente afetado, particularmente no número extensivo de perdas de quadro. Um exemplo da abordagem usada para a codificação da extensão é o mapeamento do conteúdo de frequência inferior para as frequências superiores. Em tal abordagem, o apagamento de quadros no conteúdo de frequência inferior pode afetar, ainda, a qualidade do sinal das frequências superiores. Isto pode levar a distorção perturbante e audível no sinal de saída reconstruído.
Uma modalidade exemplificadora do enquadramento da codificação
8/25 da extensão para um codificador/decodificador de núcleo, como as codificações e decodificações de G.718 e G.729.1 mencionadas acima, pode utilizar dois modos. Um modo pode ser um modo de codificação tonal otimizado para o processamento de sinais tonais que apresentam uma faixa periódica de frequência mais alta. O segundo modo pode ser um modo de codificação genérico que lida com outros tipos de quadros. A codificação da extensão pode operar, por exemplo, no domínio de transformação discreta do cosinus modificado (MDCT). Em outras modalidades, outras transformações, como Fast Fourier Transform (FFT), podem ser usadas. No modo de codificação tonal, os sinusóides que aproximam os componentes de sinal perceptivamente mais relevantes são inseridos para transformar o espectro de domínio (por exemplo, o espectro de MDCT). No modo de codificação genérico, a faixa de frequência mais alta é dividida em uma ou mais bandas de frequência e a área de baixa frequência que mais se assemelha ao conteúdo de alta frequência em cada banda de frequência é mapeada nas frequências superiores que utilizam um conjunto de fatores de ganho (por exemplo, dois fatores de ganho separados). Esta uma variação da técnica é, em geral, chamada de uma “extensão de comprimento de banda.”
As modalidades da presente invenção utilizam os parâmetros de codificação da extensão do enquadramento exemplificador descrito acima (isto é, um enquadramento) que empregam modos de codificação tonais e genéricos, para ocultação de erro de quadro a fim de minimizar o número de artefatos perturbadores e a fim de manter as características de sinal de percepção da parte de extensão durante os erros de quadro.
Em uma modalidade, a ocultação de erro é empregada como uma parte do enquadramento da codificação da extensão, incluindo uma classificação com base em quadro, um modo de codificação genérico (por exemplo, um modo de extensão de comprimento de banda) onde a faixa de frequência superior é construída através do mapeamento das frequências inferiores para as frequências superiores, e um modo de codificação tonal onde o quadro é codificado através da inserção de um número de componentes sinusóides. Em outra modalidade, a
9/25 ocultação de erro é empregada como parte de um enquadramento da codificação da extensão que emprega uma combinação destes métodos (isto é, uma combinação dos mecanismos usados no modo de codificação genérico e o modo de codificação tonal) em todos os quadros sem uma etapa de classificação. Ainda, em outra modalidade, os modos de codificação adicionais para o modo genérico e o modo tonal podem ser empregados.
A codificação da extensão empregada em conjunto com certa codificação de núcleo, por exemplo, com o codificador/decodificador de núcleo G.718, fornece diversos parâmetros que podem ser utilizados para a ocultação de erro de quadro. Os parâmetros disponíveis no enquadramento da codificação da extensão podem compreender: modo de codificador/decodificador de codificação de núcleo, modo de codificação da extensão, modo de codificação genérico parâmetros (por exemplo, índices de atraso para bandas, sinais, um conjunto de ganhos para o mapeamento da banda de frequência, parâmetros de ajuste de energia de domínio-tempo e parâmetros similares aos usados no modo tonal), e parâmetros de modo tonal (amplitude, sinais e posições sinusóides). Além disso, o sinal processado pode consistir tanto em canal único quanto em canais múltiplos (por exemplo, sinal estéreo ou binaural).
As modalidades da presente invenção permitem que as frequências superiores sejam mantidas perceptivamente similares ao quadro precedente para erros de quadro individual, apesar de o decréscimo de energia para rompimentos de erro mais longos. Dessa forma, as modalidades da presente invenção podem ser usadas também na comutação de um sinal que inclui a contribuição de extensão (por exemplo, um sinal SWB) para um sinal que consiste apenas na saída de codificador/decodificador de núcleo (por exemplo, sinal WB), que pode ocorrer, por exemplo, em uma transmissão ou codificação escalável empregada quando o bitstream é picado antes da decodificação.
Já que o modo tonal é, em geral, usado para partes do sinal que tem uma natureza periódica nas frequências superiores, certas modalidades da presente invenção utilizam a hipótese de que estas qualidades devem ser
10/25 preservadas no sinal também durante os erros de quadro, em vez de produzir um ponto de descontinuidade. Apesar de mudança abrupta dos níveis de energia em alguns quadros poder criar efeitos perceptivelmente perturbadores, o objetivo nos quadros genéricos pode ser a atenuação de saídas errôneas. De acordo com certas modalidades da presente invenção, o decréscimo de energia é feito lentamente mantendo, assim, as características de percepção do quadro anterior ou quadros para erros de quadro únicos. Nesta questão, as modalidades da presente invenção podem ser úteis na comutação da saída de codificação/decodificação de extensão para a saída única de codificador/decodificador de núcleo (por exemplo, de SWB para WB, quando as camadas de SWB são picadas). Devido à natureza de adição-sobreposição do MDCT, a contribuição do quadro anterior (válido) influencia o primeiro quadro apagado (ou o quadro imediatamente após a picagem do bitstream), e a diferença entre um decréscimo lento de energia e a inserção de um quadro que consiste em amostras com valor zero pode não ser necessariamente pronunciada para alguns sinais.
A referência é feita agora à Figura 1 que ilustra um processo exemplificador 200 para a ocultação de erro de quadro, de acordo com uma modalidade da presente invenção. Para o emprego de diversas modalidades da presente invenção, o espectro de MDCT de camada superior e as informações sobre os componentes sinusóides, por exemplo, posições, sinais e amplitudes, de um ou mais quadros anteriores podem ser mantidas na memória que será usada no próximo quadro caso haja um erro de quadro (bloco 202). No bloco 204, o processo procede para o próximo quadro e determina se um erro de quadro existe (bloco 206). Se não existir nenhum erro, o processo retorna para o bloco 202 e economiza os parâmetros mencionados acima. Durante um erro de quadro, o espectro de MDCT do um ou mais quadros anteriores fica, dessa forma, disponível e pode ser processado, por exemplo, reduzido, e passado adiante conforme a contribuição de alta frequência para o quadro atual. Além disso, as informações em relação aos componentes sinusóides, por exemplo, posições, sinais e amplitudes,
11/25 no espectro de MDCT também são conhecidas. Consequentemente, um quadro reconstruído pode ser gerado (bloco 208).
As Figuras 2A, 2B, 3A e 3B ilustram os empregos do exemplo de ocultação de erro de quadro, de acordo com as modalidades da presente invenção. As Figuras 2A e 2B ilustram o efeito da aplicação de uma ocultação de erro de quadro para um quadro genérico. Neste caso, a Figura 2A ilustra um espectro de um quadro válido 210 sem erro de quadro. Conforme dito acima, as informações do componente sinusóide e o espectro de MDCT de camada superior de um ou mais quadro válidos 210 anteriores podem ser salvas. A Figura 2B ilustra um exemplo de um espectro de um quadro reconstruído 220 que substitui um quadro faltoso após a aplicação da ocultação de erro de quadro, de acordo com as modalidades da presente invenção. Conforme pode ser observado nas Figuras 2A e 2B, a energia do conteúdo derivado do(s) quadro(s) anterior(s) (Figura 2A) é atenuada mais fortemente, apesar de uma atenuação mais fraca ser aplicada aos componentes sinusóides 212, 214, 222, 224.
As Figuras 3A e 3B ilustram a aplicação de uma ocultação de erro de quadro em um quadro tonal. Neste caso, a Figura 3A ilustra um quadro válido 230 sem erro de quadro, e a Figura 3B ilustra um quadro reconstruído 240 usado para substituir um quadro faltoso após a aplicação da ocultação de erro de quadro, de acordo com as modalidades da presente invenção. Para um quadro tonal 230, 240, uma atenuação ainda mais fraca do que a dos componentes sinusóides 212, 214, 222, 224 do sinal genérico das Figuras 2A e 2B é aplicada.
Dessa forma, de acordo com as modalidades da presente invenção, o processamento do espectro de MDCT pode ser descrito conforme a seguir. Uma primeira escalação é executada para toda a faixa de frequência mais alta:
Para & = 0;£<ZA^ecíram;£ + + m(k + Ll0WSpectrum )= mprM* fac sped
Uma segunda escalação é aplicada nos componentes sinusóides conforme mostrado em:
12/25
Para k = 0;k < Nsin;k + + m(p°ssinW+ Llompectrum) = ™ prev(possm(*))*fac-n
Em outras modalidades, em vez da aplicação de um fator de escalação constante em todos os componentes de frequência, também é possível utilizar a função de escalação que, por exemplo, atenua a parte superior da faixa de alta frequência mais do que a parte inferior.
De acordo com as modalidades da presente invenção, os valores de fator de escalação podem ser decididos com base nas informações, como os tipos de quadro precedentes usados para a ocultação de erro processamento. Em uma modalidade, apenas o modo de codificação da extensão— por exemplo, o modo SWB- do quadro válido precedente é considerado. Se for um quadro genérico, os fatores de escalação de, por exemplo, 0,5 e 0,6 são usados. Para um quadro tonal, um fator de escalação de 0,9 para as amplitudes dos componentes sinusóides pode ser usado. Dessa forma, nesta modalidade, não há outro conteúdo no espectro de MDCT em quadros tonais, exceto pelos componentes sinusóides, e o processo para obtenção do espectro de MDCT para o quadro atual, m(k), portanto, poderíam ser consideravelmente simplificados. Em outras modalidades, pode haver conteúdo diferente de sinusóides no que pode ser considerado o modo tonal.
Observa-se que, em certas modalidades, os dados de mais de um dos quadros anteriores podem ser considerados. Adicionalmente, algumas modalidades podem usar, por exemplo, os dados provenientes de um único quadro anterior que não o quadro mais recente. Ainda em outra modalidade, os dados provenientes de um ou mais quadros futuros podem ser considerados.
Após o espectro de MDCT do quadro faltoso ser construído, pode-se processar em uma maneira similar a um quadro válido. Dessa forma, uma transformação inversa pode ser aplicada para a obtenção de sinal de domíniotempo. Em certas modalidades, o espectro de MDCT proveniente do quadro faltoso também pode ser salvo para ser usado no quadro seguinte, caso o quadro também esteja faltando e o processamento de ocultação de erro precise ser executado.
13/25
Em certas modalidades da presente invenção, a escalação adicional, agora no domínio-tempo, pode ser aplicada ao sinal. No enquadramento usado aqui como um exemplo, que pode ser usado, por exemplo, em conjunto com as codificações e decodificações G.718 ou G.729.1, a redução de escala do sinal pode ser executada no domínio de tempo, por exemplo, em uma base subquadro por subquadro sobre 8 subquadros em cada quadro, dado que isto é necessário no lado do codificador. De acordo com as modalidades da presente invenção, a fim de evitar a introdução desnecessária de conteúdo forte de energia nas frequências superiores, dois exemplos de medidas que podem ser utilizadas para evitar isto são apresentados a seguir.
Primeiro, caso o quadro válido precedente seja uma codificação genérica, uma redução de escala subquadro por subquadro pode ser executada. A mesma pode utilizar, por exemplo, os valores de escalação do quadro válido precedente ou um esquema de escalação específico projetado para o apagamento de quadros. O último pode ser, por exemplo, um decréscimo simples da energia de alta frequência de quadro atual.
Segundo, a contribuição na banda de frequência superior pode ser diminuída com a utilização de uma janela plana sobre um ou mais quadros faltosos (reconstruídos). Em diversas modalidades, esta ação pode ser executada, além disso, às escalações domínio-tempo anteriores ou em vez delas.
Esta lógica de decisão para o esquema de escalação pode ser mais complexa ou menos complexa em modalidades diferentes da presente invenção. Em particular, em algumas modalidades, o modo de codificador/decodificador de codificação de núcleo pode ser considerado junto com o modo de codificação da extensão. Em algumas modalidades, alguns dos parâmetros do codificador/decodificador de núcleo podem ser considerados. Em uma modalidade, a sinalização do modo tonal é comutada para zero após o primeiro quadro faltoso a fim de atenuar os componentes sinusóides mais rápido caso o estado de apagamento de quadro seja maior do que um quadro.
Dessa forma, as modalidades da presente invenção fornecem um
14/25 desempenho melhorado durante o apagamento de quadros sem a introdução de qualquer artefato perturbador.
A Figura 4 mostra um sistema 10 no qual diversas modalidades da presente invenção podem ser utilizadas, sendo que a mesma compreende dispositivos múltiplos de comunicação que podem se comunicar através de uma ou mais redes. O sistema 10 pode compreender qualquer combinação de redes com ou sem fio incluindo, mas não se limitando a, uma rede de telefone móvel, uma Rede de Área Local sem fio (LAN), uma Rede de área pessoal para transferência por Bluetooth, um Ethernet LAN, LAN de redes em anel, uma rede de área ampla, Internet, etc. o sistema 10 pode incluir tanto dispositivos de comunicação com ou sem fio.
Para exemplificação, o sistema 10 mostrado na Figura 4 inclui uma rede de telefone móvel 11 e Internet 28. A conectividade à Internet 28 pode incluir, mas não se limita a, conexões sem fio de longo alcance, conexões sem fio de curto alcance e diversas conexões com fio incluindo, mas não se limitando a, linhas de telefone, linhas de cabo, linhas de energia e similares.
Os dispositivos de comunicação exemplificadores do sistema 10 podem incluir, mas não se limitam a, um dispositivo eletrônico 12 sob a forma de um telefone móvel, um assistente digital pessoal de combinação (PDA) e o telefone móvel 14, um PDA 16, um dispositivo de mensagem integrado (IMD) 18, um computador de mesa 20, um computador tipo notebook 22, etc. os dispositivos de comunicação podem ser fixos ou móveis, como os carregados por pessoas que estão se movimentando. Os dispositivos de comunicação podem ser localizados também em um modo de transporte, incluindo, mas não se limitando a, um automóvel, um caminhão, um táxi, um ônibus, um trem, um barco, um avião, uma bicicleta, uma motocicleta, etc. alguns ou todos os dispositivos de comunicação podem enviar e receber ligações e mensagens e se comunicam com prestadores de serviço através de uma conexão sem fio25 para uma estação base 24. A estação base 24 pode ser conectada a um servidor de rede 26 que permite que a comunicação entre a rede de telefone móvel 11 e a Internet 28. O sistema 10 pode
15/25 incluir dispositivos adicionais de comunicação e dispositivos de comunicação de tipos diferentes.
Os dispositivos de comunicação podem se comunicar com o uso de diversas tecnologias de transmissão incluindo, mas não se limitando a, acesso múltiplo da divisão de código (CDMA), Comunicação Móvel para Sistema Global (GSM), Sistema de Telecomunicações Móvel Universal (UMTS), Acesso Múltiplo de Divisão de Tempo (TDMA), Acesso Múltiplo de Divisão de Frequência (FDMA), Protocolo de Controle de Transmissão/Protocolo de Internet (TCP/IP), Serviço de Mensagem (SMS), Serviço de Mensagem Multimídia (MMS), e-mail, Serviço de Mensagem Instantânea (IMS), Bluetooth, IEEE 802.11, etc. Um dispositivo de comunicação envolvido no emprego de diversas modalidades da presente invenção pode se comunicar com o uso de diversos meios incluindo, mas não se limitando a, radio, infravermelho, laser, conexão por cabo e similares.
As Figuras 5 e 6 mostram um dispositivo eletrônico representativo 28 que pode ser usado como um nó de rede de acordo com as diversas modalidades da presente invenção. Deve-se compreender, entretanto, que o escopo da presente invenção não é destinado a ser limitador para um tipo particular de dispositivo. O dispositivo eletrônico 28 das Figuras 5 e 6 inclui um alojamento 30, uma tela 32 na forma de uma tela de cristal líquido, um teclado 34, um microfone 36, uma peça para ouvido 38, uma bateria 40, uma porta de infravermelho 42, uma antena 44, uma placa inteligente 46 na forma de um UICC de acordo com uma modalidade, um leitor de cartão 48, sistema de circuito elétrico de interface de rádio 52, sistema de circuito elétrico de codificação/decodificação 54, um controlador 56 e uma memória 58. Os componentes descritos acima permitem que o dispositivo eletrônico 28 envie/receba diversas mensagens para/de outros dispositivos que podem estar em uma rede de acordo com as diversas modalidades da presente invenção. Os elementos e circuitos individuais são todos de um tipo bem conhecido na técnica, por exemplo, na faixa de Nokia de telefones móveis.
A Figura 7 é uma representação gráfica de um sistema de
16/25 comunicação multimídia genérico dentro do qual várias modalidades podem ser empregadas. Conforme mostrado na Figura 7, uma fonte de dados 100 fornece um sinal de fonte em um formato analógico, digital não comprimido ou digital comprimido, ou qualquer combinação destes formatos. Um codificador 110 codifica o sinal de fonte no interior de um bitstream de mídia codificado. Deve-se observar que um bitstream que será decodificado pode ser recebido direta ou indiretamente a partir de um dispositivo remoto localizado virtualmente dentro de qualquer tipo de rede. Adicionalmente, o bitstream pode ser recebido a partir de um hardware ou software local. O codificador 110 pode ser capaz de codificar mais de um tipo de mídia, como áudio e vídeo, ou mais de um codificador 110 pode ser exigido para codificar os tipos diferentes de mídia do sinal de fonte. O codificador 110 pode obter sinteticamente, ainda, a entrada produzida, como gráficos e texto, ou pode ser capaz de produzir bitstreams codificados de mídia sintética. A seguir, apenas o processamento de um bitstream de mídia codificado de um tipo de mídia é considerado a fim de simplificar a descrição. Deve-se compreender, entretanto, que tipicamente os serviços de transmissão em tempo real compreendem diversos fluxos (tipicamente pelo menos um fluxo de áudio, vídeo e legenda de texto). Deve-se perceber, ainda, que o sistema pode incluir diversos codificadores, mas na Figura 7 apenas um codificador 110 é representado a fim de simplificar a descrição saem falta de generalidade. Deve-se compreender adicionalmente que, embora o texto e exemplos aqui contidos possam descrever especificamente um processo de codificação, a pessoa versada na técnica compreendería que os mesmos conceitos e princípios se aplicam também ao processo de decodificação existente e vice versa.
O bitstream de mídia codificado é transferido para um armazenador 120. O armazenador 120 pode compreender qualquer tipo de memória em massa para armazenar o bitstream de mídia codificado. O formato do bitstream de mídia codificado no armazenador 120 pode ser um formato de bitstream auto-contido básico, ou um ou mais bitstreams de mídia codificados podem ser encapsulados em um arquivo de container. Alguns sistemas operam “ao vivo”, isto é omitem o
17/25 . bitstream de mídia armazenador e de transferência codificados do codificador 110 diretamente para o remetente 130. O bitstream de mídia codificado é, então, transferido para o remetente 130, também chamado de servidor, em uma base de necessidade. O formato usado na transmissão pode ser um formato de bitstream auto-contido básico, um formato de fluxo de pacote, ou um ou mais bitstreams de mídia codificados podem ser encapsulados em um arquivo de container. O codificador 110, o armazenador 120 e o servidor 130 podem estar no mesmo dispositivo físico ou podem ser incluídos em dispositivos separados. O codificador 110 e servidor 130 podem operar com conteúdo ao vivo em tempo real, nesse caso o bitstream de mídia codificado não é, tipicamente, armazenado de forma permanente, e sim armazenado temporariamente por períodos de tempo curtos no codificador de conteúdo 110 e/ou no servidor 130 a fim de aplainar as variações no atraso de processamento, atraso de transferência e taxa de bits de mídia codificada.
O servidor 130 envia o bitstream de mídia codificado com o uso de uma pilha de protocolo de comunicação. A pilha pode incluir, mas não se limita a, Protocolo de Transporte em Tempo Real (RTP), Protocolo de Conjunto de Dados do Usuário (UDP) e Protocolo de Internet (IP). Quando a pilha de protocolo de comunicação é orientada por pacote, o servidor 130 encapsula o bitstream de mídia codificado em pacotes. Por exemplo, quando o RTP é usado, o servidor 130 encapsula o bitstream de mídia codificado em pacotes de RTP, de acordo com um formato de carga útil de RTP. Tipicamente, cada tipo de mídia tem um formato de carga útil de RTP dedicado. DeveOse notar novamente que um sistema pode conter mais que um servidor 130, mas pela simplicidade, a descrição a seguir considera apenas um servidor 130.
O servidor 130 pode ou não ser conectado a uma porta de ligação 140 através de uma rede de comunicação. A porta de ligação 140 pode executar tipos diferentes de funções, como tradução de um fluxo de pacote, de acordo com uma pilha de protocolo de comunicação para outra pilha de protocolo de comunicação, unido e dividindo os fluxos de dados, e a manipulação de fluxo de
18/25 dados, de acordo com as habilidades de enlace descendente e/ou receptora, como o controle de taxa de bits do fluxo transferido, de acordo com as condições ’ prevalecentes de rede de enlace descendente. Os exemplos de portas de ligação 140 incluem MCUs, portas de ligação entre telefonia em vídeo comutada por pacote e comutada por circuito, servidores de serviço PoC (PoC), encapsulador de IP em sistemas de transmissão de vídeo digital portátil (DVB-H) ou set-top boxes que transferem transmissões por difusão de forma local para redes sem fio domésticas. Quando o RTP é usado, a porta de ligação 140 é chamada de uma mescla de RTP ou um tradutor de RTP e, tipicamente, age como um ponto final de uma conexão de RTP.
O sistema inclui um ou mais receptores 150 tipicamente capazes de receber, de-modular, e de-capsular o sinal transmitido em um bitstream de mídia codificado. O bitstream de mídia codificado é transferido para um armazenador de gravação 155. O armazenador de gravação 155 pode compreender qualquer tipo de memória em massa a fim de armazenar o bitstream de mídia codificado. O armazenador de gravação 155 pode, alternativamente ou adicionalmente, compreender memória de computação, como memória de acesso aleatório. O formato do bitstream de mídia codificado no armazenador de gravação 155 pode ser um formato de bitstream auto-contido básico, ou um ou mais bitstreams de mídia codificados podem ser encapsulados em um arquivo de container. Se houver bitstreams de mídia codificados múltiplos, como um fluxo de áudio e um fluxo de vídeo, associados um ao outro, um arquivo de container é tipicamente usado e o receptor 150 compreende ou é fixado a um gerador de arquivo de container que produz um arquivo de container a partir de fluxos de entrada. Alguns sistemas operam “ao vivo,” isto é omitem o armazenador de gravação 155 e transferem o bitstream de mídia codificado a partir do receptor 150 diretamente para o decodificador 160. Em alguns sistemas, apenas a parte mais recente do fluxo gravado, por exemplo, o excerto dos últimos 10 minutos de fluxo gravado, é mantida no armazenador de gravação 155, enquanto quaisquer dados gravados anteriormente são descarados do armazenador de gravação 155.
19/25
O bitstream de mídia codificado é transferido a partir do armazenador de gravação 155 para o decodificador 160. Se houver muitos bitstreams de mídia codificados, como um fluxo de áudio e a fluxo de vídeo, associados um ao outro e encapsulados em um arquivo de container, um analisador de ficheiro (não mostrado na figura) é usado para desencapsular cada bitstream de mídia codificado do arquivo de container. O armazenador de gravação 155 ou um decodificador 160 pode compreender o analisador de ficheiro, ou o analisador de ficheiro é fixado ou ao armazenador de gravação 155 ou ao decodificador 160.
O bitstream de mídia codificado é, tipicamente, processado adicionalmente por um decodificador 160, cuja saída é um ou mais fluxos de mídia descomprimidos. Finalmente, um compositor 170 pode reproduzir os fluxos de mídia descomprimidos com um alto-falante ou uma tela, por exemplo. O receptor 150, o armazenador de gravação 155, o decodificador 160 e o compositor 170 podem estar no mesmo dispositivo físico ou eles podem ser incluídos em dispositivos separados.
Um remetente 130, de acordo com diversas modalidades, pode ser configurado para selecionar as camadas transmitidas por diversos motivos, como para responder pedidos do receptor 150 ou superar condições da rede sobre a qual o bitstream é conduzido. Um pedido do receptor pode ser, por exemplo, um pedido para uma mudança de camadas para a tela ou uma mudança de um dispositivo compositor que tem habilidades diferentes se comparado ao anterior.
Diversas modalidades aqui descritas são descritas no contexto geral das etapas ou processos do método, que podem ser empregadas em uma modalidade por um produto de programa de computador, empregada em um meio legível por computador, incluindo instruções executáveis por computador, como código de programa, executadas por computadores em ambientes de rede. Um meio legível por computador pode incluir dispositivos armazenadores removíveis e não removíveis incluindo, mas não se limitando a, Memória Somente de Leitura (ROM), Memória de Acesso Aleatório (RAM), discos compactos (CDs), discos digitais versáteis (DVD), etc. Em geral, os módulos de programa podem incluir
20/25 rotinas, programas, objetos, componentes, estruturas de dados, etc. que realizam tarefas particulares ou empregam tipos de dados abstratos particulares. As instruções executáveis por computador, associadas às estruturas de dados, e módulos de programa representam os exemplos de código de programa para a execução das etapas dos métodos aqui apresentados. A sequência particular de tais instruções executáveis ou estruturas de dados associadas representam os exemplos de atos correspondentes para o emprego de funções descritas em tais etapas ou processos.
As modalidades da presente invenção podem ser empregadas em software, hardware, lógica de aplicação ou uma combinação de software, hardware e lógica de aplicação. O software, lógica de aplicação e/ou hardware podem estar, por exemplo, em um chipset, um dispositivo móvel, uma área de trabalho, um laptop ou um servidor. O software e empregos de rede de diversas modalidades podem ser alcançados com técnicas de programação padrões com lógica baseada em regras e outras lógicas a fim de alcançar diversos processos ou etapas de busca em banco de dados, processos ou etapas de correlação, processos ou etapas de comparação e processos ou etapas de decisão. Diversas modalidades também podem ser completamente ou parcialmente empregadas dentro dos módulos ou elementos de rede. Deve-se notar que as palavras “componente” e “módulo,” conforme aqui usado e nas reivindicações a seguir, são destinadas a incluir empregos com o uso de uma ou mais linhas de código de software, e/ou empregos de hardware, e/ou equipamento para recebimento de entradas manuais.
A descrição anterior das modalidades foi apresentada com propósitos de ilustração e descrição. A descrição anterior não se destina a ser complete ou a limitar as modalidades da presente invenção com a forma precisa apresentada e modificações e variações são possíveis devido aos ensinamentos acima ou podem ser adquiridas a partir da prática de diversas modalidades. As modalidades aqui discutidas foram escolhidas e descritas a fim de explicar os princípios e a natureza de diversas modalidades e suas aplicações práticas, para permitir que uma pessoa versada na técnica utilize a presente invenção em diversas modalidades e com
21/25 diversas modificações, conforme adequado ao uso particular observado. As características das modalidades aqui descritas podem ser combinadas em todas as combinações possíveis de métodos, aparelho, módulos, sistemas, e produto de programa de computadores.
Em um aspecto da invenção, um método de ocultação de erro de quadro em dados de áudio codificados compreende o recebimento de dados de áudio codificados em uma pluralidade de quadros; e o uso de um ou mais valores de parâmetro salvos de um ou mais quadros anteriores, a fim de reconstruir um quadro com erro de quadro. O uso dos um ou mais valores de parâmetro salvos compreende os valores derivados de parâmetro com base em pelo menos parte dos um ou mais valores de parâmetro salvos e a aplicação dos valores derivados ao quadro com erro de quadro.
Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um ou mais quadros anteriores sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro do quadro anterior mais recente sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um quadro reconstruído anteriormente com erros.
Em uma modalidade, os valores de parâmetro salvos são escalados para manter componentes periódicos em frequências superiores.
Em uma modalidade, os valores de parâmetro salvos incluem o valor do espectro de transformação discreta do cosinus modificado (MDCT). Os Valores de espectro de MDCT podem ser escalados para toda a faixa de frequência mais alta de acordo com:
Para k = Q-k <Lhighspectrum,k + + + Llowspecmim )= mprev(kY facspect ’
Em uma modalidade, os valores de parâmetro salvos incluem valores de componentes sinusóides. Os valores de componentes sinusóides podem ser escalados de acordo com:
22/25
Para £ = 0;£ < 7Vsin;£ + + m(p°s sin (k)+L lowspectrum )= mprev(p°ssM)* facin'
Em uma modalidade, a escalação é configurada para reduzir gradualmente uma atividade energia para rompimentos de erro mais longos.
Em outro aspecto da invenção, um aparelho compreende um decodificador configurado para receber dados de áudio codificados em uma pluralidade de quadros; e usar valores de parâmetro salvos a partir de um quadro anterior para reconstruir um quadro com erro de quadro. O uso dos valores de parâmetro salvos inclui a escalação dos valores de parâmetro salvos e a aplicação dos valores escalados ao quadro com erro de quadro.
Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um ou mais quadros anteriores sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro do quadro anterior mais recente sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um quadro reconstruído anteriormente com erros.
Em uma modalidade, os valores de parâmetro salvos são escalados para manter componentes periódicos em frequências superiores.
Em uma modalidade, os valores de parâmetro salvos incluem o valor do espectro de transformação discreta do cosinus modificado (MDCT). Os Valores de espectro de MDCT podem ser escalados para toda a faixa de frequência mais alta de acordo com:
Para k — 0‘,k < Lhighspeclrum; k + + m(k + Llowspectnim )= mPrM* faCSpect '
Em uma modalidade, os valores de parâmetro salvos incluem os valores de componentes sinusóides. Os valores de componentes sinusóides podem ser escalados de acordo com;
Para
23/25 for k = 0;k<Nsip,k++ m(p°ssm (k) + Llowspeclrum ) = mprev (possin (&))* fac sm '
Em uma modalidade, a escalação é configurada para reduzir gradualmente uma atividade energia para rompimentos de erro mais longos.
Em outro aspecto, a invenção refere-se a um aparelho que compreende um processador e uma unidade de memória conectada comunicavelmente ao processador. A unidade de memória inclui o código do computador para o recebimento de dados de áudio codificados em uma pluralidade de quadros; e o código do computador para uso de valores de parâmetro salvos provenientes de um quadro anterior a fim de reconstruir um quadro com erro de quadro. O código do computador para o uso dos valores de parâmetro salvos inclui o código do computador para a escalação dos valores de parâmetro salvos e aplicação dos valores escalados ao quadro com erro de quadro.
Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um ou mais quadros anteriores sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro do quadro anterior mais recente sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um quadro reconstruído anteriormente com erros.
Em uma modalidade, os valores de parâmetro salvos são escalados para manter componentes periódicos em frequências superiores.
Em uma modalidade, os valores de parâmetro salvos incluem o valor do espectro de transformação discreta do cosinus modificado (MDCT). O código do computador para a escalação pode ser configurado para escalar os valores de espectro de MDCT para toda a faixa de frequência mais alta de acordo com:
Para k = Q;k < highspectrum + + + Llowspeclrum )= mprJk)* facspect'
Em uma modalidade, os valores de parâmetro salvos incluem os valores de componentes sinusóides. O código do computador para a escalação pode ser configurado para escalar os valores de componentes sinusóides de
24/25
- acordo com:
Para k -Q;k < Nsin;k + + m(possin (k)+ Llowspectrum) = mprev (possin (fc))* /«csin
Em uma modalidade, a escalação do código do computador é configurada para reduzir gradualmente uma atividade energia para rompimentos de erro mais longos.
Em outro aspecto, um produto de programa de computador, incorporado a um meio legível por computador, compreende um código do computador para o recebimento de dados de áudio codificados em uma pluralidade de quadros; e um código do computador para uso de valores de parâmetro salvos provenientes de um quadro anterior a fim de reconstruir um quadro com erro de quadro. O código do computador para uso dos valores de parâmetro salvos inclui o código do computador para escalação dos valores de parâmetro salvos e aplicação dos valores escalados ao quadro com erro de quadro.
Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um ou mais quadros anteriores sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro do quadro anterior mais recente sem erros. Em uma modalidade, os valores de parâmetro salvos correspondem aos valores de parâmetro de um quadro reconstruído anteriormente com erros.
Em uma modalidade, os valores de parâmetro salvos são escalados para manter os componentes periódicos em frequências superiores.
Em uma modalidade, os valores de parâmetro salvos incluem o valor do espectro de transformação discreta do cosinus modificado (MDCT). O código do computador para a escalação pode ser configurado para escalar os valores de espectro de MDCT para toda a faixa de frequência mais alta de acordo com:
Para k = 0;k < Lhighspectrum;k + + m(k + Llowspeclnim ) = m PreV W* faC spect
25/25
Em uma modalidade, os valores de parâmetro salvos incluem os valores de componentes sinusóides. O código do computador para escalação pode ser configurado para escalar os valores de componentes sinusóides de acordo com:
Para k = Q-k < Nsin;£ + + ™(^sin(k)+ Llowspectrum)=mprev(jjossin(fc))* fac sm '
Em uma modalidade, a escalação do código do computador é configurada para reduzir gradualmente uma atividade energia para rompimentos de erro mais longos.
1/3

Claims (4)

  1. REIVINDICAÇÕES
    1. Método para a ocultação de erro de quadro em dados de áudio codificados usando codificação de extensão em que o conteúdo de frequência inferior é mapeado para frequências superiores, caracterizado por compreender:
    o recebimento (204) de dados de áudio codificados em uma pluralidade de quadros; e a reconstrução (206), (208) de ao menos um parâmetro para um quadro com erro com base em ao menos um valor de parâmetro salvo de ao menos um outro quadro da pluralidade de quadros, em que a reconstrução de ao menos um parâmetro compreende: valores de espectro de transformação discreta do cosseno modificado derivados, m, para uma faixa de frequência maior, de acordo com para k = 0; k< Lhighspectrum; k++ m(k + Llowspectrum)= mprev (k)* fac spect, em que mprev denota, ao menos, um valor de espectro de transformação discreta do cosseno modificado salvo, Lhighspectrum denota o número de valores de espectro de transformação discreta do cosseno modificado sobre o alto espectro, Liowspectrum denota o número de valores de espectro de transformação discreta do cosseno modificado sobre o baixo espectro e facspect denota fator de escalação respectivo;
    valores derivados para um subconjunto de valores de espectro de transformação discreta do cosseno modificado para faixas de frequências maiores de acordo com para k = 0; k< NSin; k++ m(possin (k) + Llowspectrum)= mprev (possin (k))* facsin , em que mprev denota dito, ao menos, um espectro de transformação discreta do cosseno modificado salvo, facsin denota fator de escalação
    Petição 870190126802, de 02/12/2019, pág. 16/19
  2. 2/3 respectivo e possin é uma variável descritiva das posições com m e mprev; e aplicando os valores derivados ao quadro com erro de quadro.
    2. Método para a ocultação de erro de quadro em dados de áudio codificados usando codificação de extensão em que o conteúdo de frequência inferior é mapeado para frequências superiores, de acordo com a reivindicação 1, caracterizado por pelo fato de que pelo menos um valor de parâmetro salvo compreende pelo menos um dentre:
    ao menos um valor de parâmetro de ao menos um quadro anterior sem erros;
    ao menos um valor de parâmetro do quadro anterior mais recente sem erros;
    ao menos um valor de parâmetro de ao menos um quadro reconstruído anteriormente sem erro; e ao menos um valor de parâmetro de ao menos um quadro futuro.
  3. 3. Aparelho para ocultação de erro de quadro em dados de áudio codificado usando codificação de extensão em que conteúdo de frequência inferior é mapeado para altas frequências, caracterizado por:
    um decodificador (160) configurado para:
    receber os dados de áudio codificados em uma pluralidade de quadros; e reconstruir ao menos um parâmetro para um quadro com erro de quadro com base em ao menos um valor de parâmetro salvo de ao menos um outro quadro da pluralidade de quadros;
    em que a reconstrução de ao menos um parâmetro compreende:
    os valores de espectro de transformação discreta do cosseno modificado derivado de acordo com para k = 0; k< Lhighspectrum! k++ m(k + Llowspectrum)= mprev (k)* fac spect, em que mprev denota, ao menos, um valor de espectro de transformação discreta do cosseno modificado salvo, Lhighspectrum denota o
    Petição 870190126802, de 02/12/2019, pág. 17/19
    3/3 número de valores de espectro de transformação discreta do cosseno modificado sobre o espectro superior, Liowspectrum denota o número de valores de espectro de transformação discreta do cosseno modificado sobre o baixo espectro e facspect denota fator de escalação respectivo;
    valores derivados para um subconjunto de valores de espectro de transformação discreta do cosseno modificado para faixas de frequências superiores de acordo com para k = 0; k< Nsin; k++ m(pOSsin (k) + Llowspectrum)= mprev (pOSsin (k))* fac sin, em que mprev denota dito, ao menos, um espectro de transformação discreta do cosseno modificado salvo, facsin denota fator de escalação respectivo e posSin é uma variável descritiva das posições com m e mprev; e aplicando os valores derivados ao quadro com erro de quadro.
  4. 4. Aparelho para ocultação de erro de quadro em áudio codificado usando codificação de extensão em que conteúdo de frequência inferior é mapeado para altas frequências, de acordo com a reivindicação 3, caracterizado por ao menos um valor de parâmetro salvo compreende ao menos um de ao menos um valor de parâmetro de ao menos um quadro anterior sem erros, ao menos um valor de parâmetro do quadro anterior mais recente sem erro, ao menos um valor de parâmetro de ao menos um quadro reconstruído anterior com erro, e ao menos um valor de parâmetro de ao menos um quadro futuro.
    Petição 870190126802, de 02/12/2019, pág. 18/19
    1/6
    Figure BRPI0915358B1_C0001
BRPI0915358A 2008-06-13 2009-05-15 método e aparelho para a ocultação de erro de quadro em dados de áudio codificados usando codificação de extensão BRPI0915358B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US6157208P 2008-06-13 2008-06-13
PCT/FI2009/050403 WO2009150290A1 (en) 2008-06-13 2009-05-15 Method and apparatus for error concealment of encoded audio data

Publications (2)

Publication Number Publication Date
BRPI0915358A2 BRPI0915358A2 (pt) 2015-11-03
BRPI0915358B1 true BRPI0915358B1 (pt) 2020-04-22

Family

ID=41416403

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0915358A BRPI0915358B1 (pt) 2008-06-13 2009-05-15 método e aparelho para a ocultação de erro de quadro em dados de áudio codificados usando codificação de extensão

Country Status (10)

Country Link
US (1) US8397117B2 (pt)
EP (1) EP2301015B1 (pt)
KR (1) KR101228165B1 (pt)
CN (1) CN102057424B (pt)
AU (1) AU2009256551B2 (pt)
BR (1) BRPI0915358B1 (pt)
RU (1) RU2475868C2 (pt)
TW (1) TWI466102B (pt)
WO (1) WO2009150290A1 (pt)
ZA (1) ZA201100279B (pt)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489403B1 (en) * 2010-08-25 2013-07-16 Foundation For Research and Technology—Institute of Computer Science ‘FORTH-ICS’ Apparatuses, methods and systems for sparse sinusoidal audio processing and transmission
EP3518234B1 (en) * 2010-11-22 2023-11-29 NTT DoCoMo, Inc. Audio encoding device and method
TWI585747B (zh) * 2011-10-21 2017-06-01 三星電子股份有限公司 訊框錯誤修補方法與裝置、音訊解碼方法與裝置
JP6139685B2 (ja) * 2012-09-13 2017-05-31 エルジー エレクトロニクス インコーポレイティド 損失フレーム復元方法及びオーディオ復号化方法とそれを利用する装置
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
WO2014108738A1 (en) * 2013-01-08 2014-07-17 Nokia Corporation Audio signal multi-channel parameter encoder
BR112015017082B1 (pt) * 2013-02-13 2021-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Método de ocultação de erro de quadro com base em quadros incluindo vetores de coeficiente de transformada, meio legível por computador, decodificador, e, terminal de usuário
FR3004876A1 (fr) * 2013-04-18 2014-10-24 France Telecom Correction de perte de trame par injection de bruit pondere.
EP3011555B1 (en) * 2013-06-21 2018-03-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Reconstruction of a speech frame
PT3011554T (pt) 2013-06-21 2019-10-24 Fraunhofer Ges Forschung Estimação de atraso de tom.
CN103646647B (zh) * 2013-12-13 2016-03-16 武汉大学 混合音频解码器中帧差错隐藏的谱参数代替方法及系统
CN104751849B (zh) 2013-12-31 2017-04-19 华为技术有限公司 语音频码流的解码方法及装置
US9911423B2 (en) 2014-01-13 2018-03-06 Nokia Technologies Oy Multi-channel audio signal classifier
CN107369454B (zh) 2014-03-21 2020-10-27 华为技术有限公司 语音频码流的解码方法及装置
CN105374367B (zh) * 2014-07-29 2019-04-05 华为技术有限公司 异常帧检测方法和装置
JP6754764B2 (ja) 2014-12-09 2020-09-16 ドルビー・インターナショナル・アーベー Ｍｄｃｔ領域の誤り隠蔽
CN109313905B (zh) * 2016-03-07 2023-05-23 弗劳恩霍夫应用研究促进协会 隐藏音频帧丢失的错误隐藏单元、音频解码器及相关方法
ES2870959T3 (es) 2016-03-07 2021-10-28 Fraunhofer Ges Forschung Unidad de ocultación de error, decodificador de audio y método relacionado y programa informático que usa características de una representación decodificada de una trama de audio decodificada apropiadamente
US10217467B2 (en) * 2016-06-20 2019-02-26 Qualcomm Incorporated Encoding and decoding of interchannel phase differences between audio signals
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
WO2019091573A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
WO2020164752A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs
WO2020165265A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
WO2020207593A1 (en) 2019-04-11 2020-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for determining a set of values defining characteristics of a filter, methods for providing a decoded audio representation, methods for determining a set of values defining characteristics of a filter and computer program
CN117354585A (zh) * 2023-12-06 2024-01-05 深圳感臻智能股份有限公司 一种针对视频网络丢包的优化方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148487A (en) 1990-02-26 1992-09-15 Matsushita Electric Industrial Co., Ltd. Audio subband encoded signal decoder
US5144671A (en) * 1990-03-15 1992-09-01 Gte Laboratories Incorporated Method for reducing the search complexity in analysis-by-synthesis coding
JP3102015B2 (ja) * 1990-05-28 2000-10-23 日本電気株式会社 音声復号化方法
TW241350B (pt) * 1991-11-07 1995-02-21 Rca Thomson Licensing Corp
JP3085606B2 (ja) * 1992-07-16 2000-09-11 ヤマハ株式会社 ディジタルデータの誤り補正方法
IT1257065B (it) * 1992-07-31 1996-01-05 Sip Codificatore a basso ritardo per segnali audio, utilizzante tecniche di analisi per sintesi.
DE4331376C1 (de) * 1993-09-15 1994-11-10 Fraunhofer Ges Forschung Verfahren zum Bestimmen der zu wählenden Codierungsart für die Codierung von wenigstens zwei Signalen
SE504397C2 (sv) * 1995-05-03 1997-01-27 Ericsson Telefon Ab L M Metod för förstärkningskvantisering vid linjärprediktiv talkodning med kodboksexcitering
US5797121A (en) * 1995-12-26 1998-08-18 Motorola, Inc. Method and apparatus for implementing vector quantization of speech parameters
US5825320A (en) * 1996-03-19 1998-10-20 Sony Corporation Gain control method for audio encoding device
RU2214047C2 (ru) * 1997-11-19 2003-10-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для масштабируемого кодирования/декодирования аудиосигналов
US6810377B1 (en) * 1998-06-19 2004-10-26 Comsat Corporation Lost frame recovery techniques for parametric, LPC-based speech coding systems
FI106325B (fi) * 1998-11-12 2001-01-15 Nokia Networks Oy Menetelmä ja laite tehonsäädön ohjaamiseksi
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
US6959274B1 (en) * 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
US6438518B1 (en) * 1999-10-28 2002-08-20 Qualcomm Incorporated Method and apparatus for using coding scheme selection patterns in a predictive speech coder to reduce sensitivity to frame error conditions
US7069208B2 (en) * 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
US20030135374A1 (en) * 2002-01-16 2003-07-17 Hardwick John C. Speech synthesizer
US7047187B2 (en) * 2002-02-27 2006-05-16 Matsushita Electric Industrial Co., Ltd. Method and apparatus for audio error concealment using data hiding
US6985856B2 (en) * 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
EP1589330B1 (en) * 2003-01-30 2009-04-22 Fujitsu Limited Audio packet vanishment concealing device, audio packet vanishment concealing method, reception terminal, and audio communication system
FI118550B (fi) * 2003-07-14 2007-12-14 Nokia Corp Parannettu eksitaatio ylemmän kaistan koodaukselle koodekissa, joka käyttää kaistojen jakoon perustuvia koodausmenetelmiä
US7546508B2 (en) * 2003-12-19 2009-06-09 Nokia Corporation Codec-assisted capacity enhancement of wireless VoIP
US7356748B2 (en) 2003-12-19 2008-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Partial spectral loss concealment in transform codecs
WO2005104094A1 (ja) * 2004-04-23 2005-11-03 Matsushita Electric Industrial Co., Ltd. 符号化装置
JP2008502577A (ja) * 2004-06-10 2008-01-31 アイメリーズ カオリン，インコーポレーテッド 超低残分、高固形分のウェットケーキ生成物およびこれを製造する方法
CN101120398B (zh) * 2005-01-31 2012-05-23 斯凯普有限公司 通信系统中用于帧连接的方法
US20060184363A1 (en) * 2005-02-17 2006-08-17 Mccree Alan Noise suppression
US8892448B2 (en) * 2005-04-22 2014-11-18 Qualcomm Incorporated Systems, methods, and apparatus for gain factor smoothing
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
US8326638B2 (en) * 2005-11-04 2012-12-04 Nokia Corporation Audio compression
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
WO2009059631A1 (en) * 2007-11-06 2009-05-14 Nokia Corporation Audio coding apparatus and method thereof

Also Published As

Publication number Publication date
WO2009150290A1 (en) 2009-12-17
KR101228165B1 (ko) 2013-01-30
BRPI0915358A2 (pt) 2015-11-03
US8397117B2 (en) 2013-03-12
ZA201100279B (en) 2012-06-27
EP2301015A4 (en) 2016-04-13
US20100115370A1 (en) 2010-05-06
RU2010154191A (ru) 2012-07-20
KR20110040835A (ko) 2011-04-20
TWI466102B (zh) 2014-12-21
CN102057424A (zh) 2011-05-11
EP2301015B1 (en) 2019-09-04
AU2009256551A1 (en) 2009-12-17
CN102057424B (zh) 2015-06-17
TW201005730A (en) 2010-02-01
RU2475868C2 (ru) 2013-02-20
EP2301015A1 (en) 2011-03-30
AU2009256551B2 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
BRPI0915358B1 (pt) método e aparelho para a ocultação de erro de quadro em dados de áudio codificados usando codificação de extensão
JP5405659B2 (ja) 消去されたスピーチフレームを再構成するためのシステムおよび方法
US8612219B2 (en) SBR encoder with high frequency parameter bit estimating and limiting
ES2858423T3 (es) Método y dispositivo para el llenado de huecos espectrales
KR101548846B1 (ko) 워터마킹된 신호의 적응적 인코딩 및 디코딩을 위한 디바이스
JP6553025B2 (ja) 冗長フレーム情報を通信するシステムおよび方法
JP6474874B2 (ja) ハーモニックオーディオ信号の帯域幅拡張
US10504525B2 (en) Adaptive forward error correction redundant payload generation
TWI476759B (zh) 用於編碼及解碼浮水印信號之裝置
ES2778076T3 (es) Método y disposición para suavizar ruido estacionario de fondo
TW200818124A (en) Encoding an audio signal
BR112016019838B1 (pt) Codificador de áudio, decodificador de áudio, método de codificação, método de decodificação e mídia de registro legível por computador não transitória
TWI854237B (zh) 音訊訊號的編解碼方法、裝置、設備、儲存介質及電腦程式
EP3252763A1 (en) Low-delay audio coding

Legal Events

Date Code Title Description
B25A Requested transfer of rights approved

Owner name: NOKIA TECHNOLOGIES OY (FI)

B15K Others concerning applications: alteration of classification

Ipc: G10L 19/00 (2013.01), G10L 21/02 (2013.01)

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 22/04/2020, OBSERVADAS AS CONDICOES LEGAIS.