EP3020043B1 - Optimized scale factor for frequency band extension in an audiofrequency signal decoder - Google Patents
Optimized scale factor for frequency band extension in an audiofrequency signal decoder Download PDFInfo
- Publication number
- EP3020043B1 EP3020043B1 EP14749907.3A EP14749907A EP3020043B1 EP 3020043 B1 EP3020043 B1 EP 3020043B1 EP 14749907 A EP14749907 A EP 14749907A EP 3020043 B1 EP3020043 B1 EP 3020043B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- frequency
- filter
- band
- frequency band
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/72—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
Definitions
- the present invention relates to the field of coding / decoding and audio-frequency signal processing (such as speech, music or other signals) for their transmission or storage.
- the invention relates to a method and an apparatus for determining an optimized scale factor for adjusting the level of an excitation signal or, in a similar manner, a filter during a band extension. frequency in a decoder or a processor performing audio-frequency signal enhancement.
- state of the art audio signal coding (mono) consists of perceptual encoding by transform or subband, with parametric coding of high frequencies by tape replication.
- a review of conventional speech and audio coding methods can be found in the books WB Kleijn and KK Paliwal (Eds.), Speech Coding and Synthesis, Elsevier, 1995 ; M. Bosi, RE Goldberg, Introduction to Digital Audio Coding and Standards, Springer 2002 ; J. Benesty, MM Sondhi, Y. Huang (Eds.), Handbook of Speech Processing, Springer 2008 .
- 3GPP AMR-WB Adaptive Multi-Rate Wideband codec (decoder and decoder), which operates at an input / output frequency of 16 kHz and in which the signal is divided into two sub-bands, the low band (0-6.4 kHz) which is sampled at 12.8 kHz and coded by CELP model and the high band (6.4-7 kHz) which is parametrically reconstructed by " band extension " ( or BWE for "Bandwidth Extension” with or without additional information depending on the mode of the current frame.
- band extension or BWE for "Bandwidth Extension
- the limitation of the coded band of the AMR-WB codec at 7 kHz is essentially related to the fact that the transmit frequency response of the broadband terminals has been approximated at the time of standardization (ETSI / 3GPP then ITU-T T) according to the frequency mask defined in the ITU-T P.341 standard and more precisely by using a so-called "P341" filter defined in the ITU-T G.191 standard. which cuts frequencies above 7 kHz (this filter respects the mask defined in P.341).
- a signal sampled at 16 kHz may have a defined audio band of 0 to 8000 Hz; the AMR-WB codec thus introduces a limitation of the high band in comparison with the theoretical bandwidth of 8 kHz.
- the 3GPP AMR-WB speech codec was standardized in 2001 mainly for circuit-mode (CS) telephony applications over GSM (2G) and UMTS (3G). This same codec was also standardized in 2003 in the ITU-T as Recommendation G.722.2 "Wideband coding speech at around 16kbit / s using Adaptive Multi-Rate Wideband (AMR-WB)".
- the principle of band extension in the AMR-WB codec is rather rudimentary. Indeed, the high band (6.4-7 kHz) is generated by formatting a white noise through a temporal envelope (applied in the form of gains per subframe) and frequency (by the application of a linear prediction synthesis filter or LPC for "Linear Predictive Coding").
- This band extension technique is illustrated in figure 1 .
- the present invention improves the situation.
- an additional filter of a lower order than the filter of the first frequency band to be equalized makes it possible to avoid overestimations of energy in the high frequencies which could result from local fluctuations of the envelope and which can disrupt the equalization of the prediction filters.
- the band extension method comprises a step of applying the optimized scaling factor to the extended excitation signal.
- the application of the optimized scaling factor is combined with the filtering step in the second frequency band.
- the coefficients of the additional filter are obtained by truncation of the transfer function of the linear prediction filter of the first frequency band to obtain a lower order.
- the coefficients of the additional filter are modified according to a criterion of stability of the additional filter.
- the optimized scaling factor is calculated to avoid annoying artifacts that might arise in the event that the higher order filter frequency response of the first band near the common frequency would reveal a peak or a valley. of the signal.
- additional information can be used to improve the quality of the extended signal for a predetermined mode of operation.
- the invention relates to a decoder comprising a device as described.
- It relates to a computer program comprising code instructions for implementing the steps of the method of determining an optimized scale factor as described, when these instructions are executed by a processor.
- the invention relates to a storage medium, readable by a processor, integrated or not to the device for determining an optimized scaling factor, possibly removable, storing a computer program implementing a method of determining a optimized scaling factor as previously described.
- the figure 3 illustrates an exemplary decoder, compatible with the AMR-WB / G.722.2 standard, in which there is a band extension comprising a determination of an optimized scale factor according to one embodiment of the method of the invention, implemented implemented by the tape extension device illustrated by block 309.
- AMR-WB decoding which operates with an output sampling frequency of 16 kHz
- the CELP decoding (BF for low frequencies) still operates at the internal frequency of 12.8 kHz, as in AMR-WB, and the band extension (HF for high frequencies) used for the invention operates at the frequency of 16 kHz
- the syntheses BF and HF are combined (block 312) at the frequency fs after adequate resampling (block 306 and internal processing block 311).
- the combination of the low and high bands may be done at 16 kHz, after resampling the low band of 12.8 to 16 kHz, before resampling the combined signal at the frequency fs .
- the decoder makes it possible to extend the decoded low band (50-6400 Hz taking into account the high-pass filtering at 50 Hz at the decoder, 0-6400 Hz in the general case) with an extended band whose width varies, ranging from approximately 50-6900 Hz to 50-7700 Hz depending on the mode implemented in the current frame.
- the extension of the excitation is carried out in the frequency domain in a band of 5000 to 8000 Hz, to allow bandpass filtering of width 6000 to 6900 or 7700 Hz.
- the HF gain correction information (0.8 kbit / s) transmitted at 23.85 kbit / s is decoded here. Its use is detailed below, with reference to the figure 4 .
- the high band synthesis part is performed in block 309 representing the band extension device used for the invention and which is detailed in FIG. figure 7 in one embodiment.
- a delay (block 310) is introduced to synchronize the outputs of the blocks 306 and 307 and the high band synthesized at 16 kHz is resampled from 16 kHz to the fs frequency (block output 311).
- the value of the delay T depends on how to synthesize the high band signal, the frequency fs as well as the post-processing of the low frequencies. Thus, in general, the value of T in the block 310 will have to be adjusted according to the specific implementation.
- the low and high bands are then combined (added) in block 312 and the resulting synthesis is post-processed by high-order 50 Hz (type IIR) high-pass filtering whose coefficients depend on the frequency fs (block 313) and output postprocessing with optional "noisegate” application similar to G.718 (block 314).
- high-order 50 Hz type IIR
- the block 400 from a decoded excitation signal in a first frequency band u ( n ), performs a band extension to obtain an extended excitation signal u HB ( n ) on at least a second frequency band.
- the optimized scale factor estimation according to the invention is independent of how to obtain the signal u HB ( n ) .
- a condition regarding its energy is important, however. Indeed, it is necessary that the energy of the high band of 6000 to 8000 Hz is at a level similar to the energy of the band 4000 to 6000 Hz of the decoded excitation signal at the output of the block 302. since the low-band signal is de-emphasized (block 305), it is also necessary to apply the de-emphasis to the high-band excitation signal, either by using an own de-emphasis filter or by multiplying by a constant factor which corresponds to a mean attenuation of mentioned filter. This condition does not apply to the 23.85 kbit / s rate that uses the additional information transmitted by the encoder. In this case, the energy of the high band excitation signal must be consistent with the signal energy corresponding to the encoder, as explained later.
- the frequency band extension may for example be implemented in the same way as for the AMR-WB decoder described with reference to FIG. figure 1 in blocks 100 to 102, from a white noise.
- this band extension can be performed from a combination of a white noise and a decoded excitation signal as illustrated and subsequently described for blocks 700 to 707 of FIG. figure 7 .
- the tape expansion module may also be independent of the decoder and may extend a band of an existing audio signal stored or transmitted to the expansion module, with an analysis of the audio signal to extract one excitation and a LPC filter.
- the excitation signal at the input of the extension module is no longer a decoded signal but a signal extracted after analysis, as well as the coefficients of the linear prediction filter of the first frequency band used in the method of determining the optimized scale factor in an implementation of the invention.
- the determination of the optimized scale factor is also performed by the determination (in 401a) of a linear prediction filter called additional filter, of a lower order than the linear prediction filter of the first frequency band 1 / ⁇ (z ), the coefficients of the additional filter being obtained from the parameters decoded or extracted from the first frequency band.
- the optimized scaling factor is then calculated (at 401b) based on at least one of these coefficients to be applied to the extended excitation signal u HB ( n ).
- an extended excitation signal u HB (n) is obtained during a frequency band extension method E601 which comprises a decoding or extraction step, in a first so-called low band frequency band, an excitation signal and parameters of the first frequency band, for example the coefficients of the linear prediction filter of the first frequency band.
- a step E602 determines a linear prediction filter called additional filter, of a lower order than that of the first frequency band. To determine this filter, the parameters of the first decoded or extracted frequency band are used.
- this step is performed by truncation of the transfer function of the linear prediction filter of the low band to obtain a lower filter order, for example 2. These coefficients can then be modified according to a criterion of stability as explained above with reference to the figure 4 .
- a step E603 is implemented to calculate the optimized scale factor to be applied to the extended excitation signal.
- This optimized scale factor is for example calculated from the frequency response of the additional filter at a common frequency between the low band (first frequency band) and the high band (second frequency band). A minimum value that can be chosen between the frequency response of this filter and those of the low band and high band filters. This avoids the overestimation of energy that could exist in state-of-the-art methods.
- This step of calculating the optimized scale factor is for example described above with reference to the figure 4 and to Figures 5a and 5b .
- Step E604 performed by block 402 or 409 (depending on the decoding rate) for the band extension, applies the optimized scaling factor thus calculated to the extended excitation signal so as to obtain an extended excitation signal.
- the optimized scaling factor device 708 is integrated in a tape expansion device described now with reference to the figure 7 .
- This optimized scale factor determination device illustrated by block 708 implements the method of determining the optimized scale factor described above with reference to FIG. figure 6 .
- the band extension block 400 of the figure 4 includes blocks 700 to 707 of the figure 7 described now.
- a decoded or analytically estimated low band excitation signal is received ( u ( n )).
- the band extension here uses the decoded excitation at 12.8 kHz (exc2 or u ( n )) at the output of the block 302 of the figure 3 .
- the generation of the oversampled and extended excitation is carried out in a frequency band ranging from 5 to 8 kHz including a second frequency band (6.4-8kHz) greater than the first band of frequency (0-6.4 kHz).
- the generation of an extended excitation signal is effected at least on the second frequency band but also on a part of the first frequency band.
- this signal is transformed to obtain an excitation signal spectrum U ( k ) by the time-frequency transformation module 500.
- the DCT-IV transformation is implemented by FFT according to the algorithm called " Evolved DCT (EDCT)" described in the article by DM Zhang, HT Li, A Low Complexity Transform - Evolved DCT, IEEE 14th International Conference on Computational Science and Engineering (CSE), Aug. 2011, pp. 144-149 , and implemented in ITU-T G.718 Annex B and G.729.1 Annex E.
- EDCT Evolved DCT
- the DCT-IV transformation may be replaced with other short-term time-frequency transformations of the same length and in the field of excitation, such as an FFT (for " Fast Fourier Transform "in English ) or DCT-II ( Discrete Cosine Transform - Type II).
- FFT Fast Fourier Transform
- DCT-II Discrete Cosine Transform - Type II
- MDCT for "Modified Discrete Cosine Tranform" in English.
- the delay T in the block 310 of the figure 3 should be adjusted (reduced) adequately according to the additional delay due to the analysis / synthesis by this transform.
- This approach preserves the original spectrum in this band and avoids introducing distortions in the 5000-6000 Hz band during the addition of HF synthesis with BF synthesis - particularly the signal phase (implicitly represented in the DCT-IV domain) in this band is preserved.
- the band 6000-8000 Hz of U HB 1 ( k ) is here defined by copying the 4000-6000 Hz band of U ( k ) since the value of start_band is preferably fixed at 160.
- the value of start_band can be made adaptive around the value of 160.
- the details of the adaptation of the value start_band are not described here because they go beyond the scope of the invention without changing the scope.
- the noise generation block 702 For some broadband signals (sampled at 16 kHz), the high band (> 6 kHz) may be noisy, harmonic or have a mixture of noise and harmonics. In addition, the level of harmonicity in the 6000-8000 Hz band is generally correlated with that of the lower frequency bands.
- the noise in the 6000-8000 Hz band
- U HBN k - 1 + 13849 k 240 , ⁇ , 319 with the convention that U HBN (239) in the current frame corresponds to the value U HBN (319) of the previous frame.
- this noise generation can be replaced by other methods.
- the combination block 703 can be realized in different ways.
- G HBN is a normalization factor for equalizing the energy level between the two signals
- the coefficient ⁇ (between 0 and 1) is adjusted according to parameters estimated from the decoded low band and the coefficient ⁇ (between 0 and 1) depends on ⁇ .
- N ( k 1 , k 2 ) is the set of indices k for which the index coefficient k is classified as being associated with noise.
- This set can be obtained for example by detecting the local peaks in U '( k ) verifying
- and considering that these lines are not associated with noise, ie (by applying the negation of the previous condition): NOT at b at ⁇ k ⁇ b
- other methods of calculating the noise energy are possible, for example by taking the median value of the spectrum on the band in question or by applying a smoothing to each frequency line before calculating the energy per band.
- the calculation of ⁇ may be replaced by other methods.
- different parameters by limiting its value between 0 and 1.
- the factors ⁇ and ⁇ may be adapted to take account of the fact that noise injected into a given band of the signal is generally perceived as stronger than a harmonic signal at the same energy in the same band.
- block 703 realizes the equivalent of block 101 of the figure 1 to normalize the white noise according to an excitation which is on the other hand here in the frequency domain, already extended to the rate of 16 kHz; in addition, the mix is limited to the band 6000-8000 Hz.
- an embodiment of block 703 may be considered, where the spectra, U HB 1 ( k ) or G HBN U HBN ( k ), are selected (switched) adaptively, which amounts to allowing only the values 0 or 1 for ⁇ ; this approach amounts to classifying the type of excitation to be generated in the 6000-8000 Hz band
- the block 704 optionally carries out a dual operation of application of bandpass filter frequency response and deemphasis filtering (or deemphasis) in the frequency domain.
- the deemphasis filtering may be performed in the time domain, after block 705 or even before block 700; however, in this case, bandpass filtering performed in block 704 may leave some low frequency components of very low levels that are amplified by de-emphasis, which may slightly discern the decoded low band. For this reason, it is preferred here to perform the deemphasis in the frequency domain.
- the HF synthesis is not de-emphasized.
- the high frequency signal is on the contrary de-emphasized so as to bring it back into a domain consistent with the low signal. frequencies (0-6.4 kHz) coming out of block 305 of the figure 3 . This is important for the estimation and subsequent adjustment of the energy of the HF synthesis.
- the de-emphasis can be performed in an equivalent way in the time domain after inverse DCT.
- band-pass filtering is applied with two separate parts: one fixed high-pass, the other adaptive low-pass (flow-rate function).
- This filtering is performed in the frequency domain.
- bandpass filtering can be adapted by defining a single filtering step combining the high-pass and low-pass filtering.
- the bandpass filtering may be performed in an equivalent manner in the time domain (as in block 112 of the present invention). figure 1 ) with different filter coefficients according to the flow rate, after a reverse DCT step.
- this step it is advantageous to carry out this step directly in the frequency domain because the filtering is carried out in the field of LPC excitation and therefore the problems of circular convolution and edge effects are very limited in this field. .
- This excitation sampled at 16 kHz is then optionally scaled by gains defined by subframe of 80 samples (block 707).
- the realization of the block 706 differs from that of the block 101 of the figure 1 because the energy at the current frame is taken into account in addition to that of the sub-frame. This makes it possible to have the ratio of the energy of each sub-frame with respect to the energy of the frame. Energy ratios (or relative energies) are compared rather than the absolute energies between low band and high band.
- this scaling step makes it possible to keep in the high band the energy ratio between the subframe and the frame in the same way as in the low band.
- the block 708 then performs a scaling factor calculation by subframe of the signal (steps E602 to E 603 of the figure 6 ), as previously described with reference to the figure 6 and detailed in figure 4 and 5 .
- this filtering can be done in the same way as that described for block 111 of the figure 1 of the AMR-WB decoder, however the order of the filter goes to 20 at the rate of 6.6, which does not significantly change the quality of the synthesized signal.
- the step of filtering by a linear prediction filter 710 for the second frequency band is combined with the application of the optimized scaling factor, which reduces the processing complexity.
- the filtering steps 1 / ⁇ (z / ⁇ ) and the application of the optimized scaling factor g HB 2 are combined with a single filtering step g HB 2 / ⁇ (z / ⁇ ) to reduce the processing complexity. .
- the coding of the low band (0-6.4 kHz) may be replaced by a CELP coder other than that used in AMR-WB, for example the CELP coder in G.718 to 8. kbit / s.
- a CELP coder other than that used in AMR-WB, for example the CELP coder in G.718 to 8. kbit / s.
- other encoders in wide band or operating at frequencies higher than 16 kHz in which the coding of the low band operates at an internal frequency at 12.8 kHz could be used.
- the invention can be obviously adapted to other sampling frequencies than 12.8 kHz, when a low frequency encoder operates at a sampling frequency lower than that of the original or reconstructed signal.
- the low band decoding does not use a linear prediction, it does not have an excitation signal to be extended, in this case it will be possible to carry out an LPC analysis of the reconstructed signal in the current frame and calculate an LPC excitation. so as to be able to apply the invention.
- the excitation ( u ( n )) is resampled, for example by linear interpolation or "spline" cubic, from 12.8 to 16 kHz before transformation (for example DCT-IV)
- This variant has the defect of being more complex, because the transform (DCT-IV) of the excitation is then calculated over a greater length and the resampling is not carried out in the field of the transformed.
- all the calculations necessary for the estimation of the gains can be carried out in a logarithmic domain.
- the low band excitation u ( n ) and the LPC 1 / ⁇ (z) filter will be estimated per frame, by LPC analysis of a low band signal whose band must be extended.
- the low band excitation signal is then extracted by analyzing the audio signal.
- the low band audio signal is resampled before the excitation extraction step, so that the excitation extracted from the audio signal (by linear prediction) is already resolved. sampled.
- the illustrated tape extension at figure 7 applies in this case to a low band which is not decoded but analyzed.
- the figure 8 represents an embodiment of a device for determining an optimized scale factor 800 according to the invention. This may be an integral part of an audio-frequency signal decoder or equipment receiving decoded or non-decoded audio signals.
- This type of device comprises a PROC processor cooperating with a memory block BM having a memory storage and / or work MEM.
- a PROC processor cooperating with a memory block BM having a memory storage and / or work MEM.
- Such a device comprises an input module E adapted to receive a decoded or extracted excitation audio signal in a first so-called low band frequency band ( u ( n ) or U ( k )) and the parameters of a linear prediction synthesis filter ( ⁇ ( z )). It comprises an output module S adapted to transmit the synthesized and optimized high frequency signal (u HB '(n)) for example to a filtering module such as block 710 of FIG. figure 7 or a resampling module like module 311 of the figure 3 .
- a filtering module such as block 710 of FIG. figure 7 or a resampling module like module 311 of the figure 3 .
- the memory block may advantageously comprise a computer program comprising code instructions for carrying out the steps of the method for determining an optimized scale factor to be applied to an excitation signal or to a filter within the meaning of FIG. invention, when these instructions are executed by the processor PROC, and in particular the steps of determination (E602) of a linear prediction filter called additional filter, of order less than the linear prediction filter of the first frequency band, the coefficients additional filter being obtained from the parameters decoded or extracted from the first frequency band, calculation (E603) of an optimized scale factor according to at least the coefficients of the additional filter.
- the description of the figure 6 takes the steps of an algorithm of such a computer program.
- the computer program can also be stored on a memory medium readable by a reader of the device or downloadable in the memory space thereof.
- the memory MEM generally records all the data necessary for the implementation of the method.
- the device thus described may also include the functions of applying the optimized scaling factor to the extended excitation signal, frequency band extension, low band decoding and other processing functions. described for example in figure 3 and 4 in addition to the optimized scale factor determination functions according to the invention.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
Description
La présente invention se rapporte au domaine du codage/décodage et du traitement de signaux audiofréquences (comme des signaux de parole, de musique ou autres) pour leur transmission ou leur stockage.The present invention relates to the field of coding / decoding and audio-frequency signal processing (such as speech, music or other signals) for their transmission or storage.
Plus particulièrement, l'invention concerne un procédé et un dispositif de détermination d'un facteur d'échelle optimisé servant à ajuster le niveau d'un signal d'excitation ou de façon équivalent d'un filtre lors d'une extension de bande de fréquence dans un décodeur ou un processeur réalisant une amélioration de signal audiofréquence.More particularly, the invention relates to a method and an apparatus for determining an optimized scale factor for adjusting the level of an excitation signal or, in a similar manner, a filter during a band extension. frequency in a decoder or a processor performing audio-frequency signal enhancement.
De nombreuses techniques existent pour compresser (avec perte) un signal audiofréquence comme la parole ou la musique.Many techniques exist to compress (with loss) an audiofrequency signal such as speech or music.
Les méthodes classiques de codage pour les applications conversationnelles sont en général classifiées en codage de forme d'onde (MIC pour "Modulation par Impulsion et codage", MICDA pour "Modulation par Impulsion et Codage Différentiel Adaptatif', codage par transformée...), codage paramétrique (LPC pour "Linear Prédictive Coding" en anglais, codage sinusoïdal...) et codage hybride paramétrique avec une quantification des paramètres par "analyse par synthèse" dont le codage CELP (pour "Code Excited Linear Prédiction" en anglais) est l'exemple le plus connu.Conventional methods of coding for conversational applications are generally classified in waveform coding (MIC for "Pulse and Coding Modulation", ADPCM for "Pulse Modulation and Adaptive Differential Coding", transform coding ...). , parametric coding (LPC for "Linear Predictive Coding" in English, sinusoidal coding ...) and parametric hybrid coding with a quantification of the parameters by "analysis by synthesis" whose coding CELP (for "Code Excited Linear Prediction" in English) is the best known example.
Pour les applications non conversationnelles, l'état de l'art en codage de signal audio (mono) est constitué par le codage perceptuel par transformée ou en sous-bandes, avec un codage paramétrique des hautes fréquences par réplication de bande.
Une revue des méthodes classiques de codage de parole et audio se trouve dans les ouvrages
A review of conventional speech and audio coding methods can be found in the books
On s'intéresse ici plus particulièrement au codec (codeur et décodeur) normalisé 3GPP AMR-WB (pour "Adaptive Multi-Rate Wideband" en anglais) qui fonctionne à une fréquence d'entrée/sortie de 16 kHz et dans lequel le signal est divisé en deux sous-bandes, la bande basse (0-6.4 kHz) qui est échantillonnée à 12.8 kHz et codée par modèle CELP et la bande haute (6.4-7 kHz) qui est reconstruite de façon paramétrique par « extension de bande » (ou BWE pour "Bandwidth Extension" en anglais) avec ou sans information supplémentaire selon le mode de la trame courante. On peut noter ici que la limitation de la bande codée du codec AMR-WB à 7kHz est essentiellement liée au fait que la réponse en fréquence en émission des terminaux en bande élargie a été approximée au moment de la normalisation (ETSI/3GPP puis UIT-T) selon le masque fréquentiel défini dans la norme UIT-T P.341 et plus précisément en utilisant un filtre dit « P341 » défini dans la norme UIT-T G.191 qui coupe les fréquences au-dessus de 7 kHz (ce filtre respecte le masque défini dans P.341). Cependant, en théorie, il est bien connu qu'un signal échantillonné à 16 kHz peut avoir une bande audio définie de 0 à 8000 Hz ; le codec AMR-WB introduit donc une limitation de la bande haute en comparaison à la largeur de bande théorique de 8 kHz.Of particular interest here is the 3GPP AMR-WB ("Adaptive Multi-Rate Wideband") codec (decoder and decoder), which operates at an input / output frequency of 16 kHz and in which the signal is divided into two sub-bands, the low band (0-6.4 kHz) which is sampled at 12.8 kHz and coded by CELP model and the high band (6.4-7 kHz) which is parametrically reconstructed by " band extension " ( or BWE for "Bandwidth Extension" with or without additional information depending on the mode of the current frame. It can be noted here that the limitation of the coded band of the AMR-WB codec at 7 kHz is essentially related to the fact that the transmit frequency response of the broadband terminals has been approximated at the time of standardization (ETSI / 3GPP then ITU-T T) according to the frequency mask defined in the ITU-T P.341 standard and more precisely by using a so-called "P341" filter defined in the ITU-T G.191 standard. which cuts frequencies above 7 kHz (this filter respects the mask defined in P.341). However, in theory, it is well known that a signal sampled at 16 kHz may have a defined audio band of 0 to 8000 Hz; the AMR-WB codec thus introduces a limitation of the high band in comparison with the theoretical bandwidth of 8 kHz.
Le codec de parole 3GPP AMR-WB a été normalisé en 2001 principalement pour les applications de téléphonie en mode circuit (CS) sur GSM (2G) et UMTS (3G). Ce même codec a été aussi normalisé en 2003 à l'UIT-T en tant que recommandation G.722.2 "Wideband coding speech at around 16kbit/s using Adaptive Multi-Rate Wideband (AMR-WB)".The 3GPP AMR-WB speech codec was standardized in 2001 mainly for circuit-mode (CS) telephony applications over GSM (2G) and UMTS (3G). This same codec was also standardized in 2003 in the ITU-T as Recommendation G.722.2 "Wideband coding speech at around 16kbit / s using Adaptive Multi-Rate Wideband (AMR-WB)".
Il comprend neuf débits, appelés modes, de 6.6 à 23.85 kbit/s, et comprend des mécanismes de transmission continue (DTX pour "Discontinuous Transmission") avec détection d'activité vocale (VAD pour "Voice Activity Détection") et génération de bruit de confort (CNG pour "Confort Noise Génération") à partir de trames de description de silence (SID pour "Silence Insertion Descriptor"), ainsi que des mécanismes de correction de trames perdues (FEC pour "Frame Erasure Concealment", parfois appelé PLC pour "Packet Loss Concealment").It includes nine speeds, called modes, from 6.6 to 23.85 kbit / s, and includes continuous transmission mechanisms (DTX for "Discontinuous Transmission") with voice activity detection (VAD for "Voice Activity Detection") and noise generation of comfort (CNG for "Comfort Noise Generation") from frames of silence description (SID for "Silence Insertion Descriptor"), as well as mechanisms of correction of lost frames (FEC for "Frame Erasure Concealment", sometimes called PLC for "Packet Loss Concealment").
On ne reprend pas ici les détails de l'algorithme de codage et de décodage AMR-WB, une description détaillée de ce codec se trouve dans les spécifications 3GPP (TS 26.190, 26.191, 26.192, 26.193, 26.194, 26.204) et UIT-T-G.722.2 (et les Annexes et Appendice correspondantes) ainsi que dans l'article de
Le principe de l'extension de bande dans le codec AMR-WB est assez rudimentaire. En effet, la bande haute (6.4-7 kHz) est générée en mettant en forme un bruit blanc par le biais d'une enveloppe temporelle (appliquée sous la forme de gains par sous-trame) et fréquentielle (par l'application d'un filtre de synthèse de prédiction linéaire ou LPC pour "Linear Prédictive Coding"). Cette technique d'extension de bande est illustrée à la
Un bruit blanc, u HB1(n), n = 0,..., 79, est généré à 16 kHz par sous-trame de 5 ms par générateur congruentiel linéaire (bloc 100). Ce bruit u HB1(n) est mis en forme dans le temps par application de gains par sous-trame ; cette opération est décomposée en deux étapes de traitement (blocs 102, 106 ou 109) :
- Un premier facteur est calculé (bloc 101) pour mettre le bruit blanc u HB1(n) (bloc 102) à un niveau semblable à celui de l'excitation, u(n), n = 0..., 63, décodée à 12.8 kHz dans la bande basse :
- A first factor is calculated (block 101) to set the white noise u HB 1 ( n ) (block 102) to a level similar to that of the excitation, u ( n ), n = 0 ..., 63, decoded at 12.8 kHz in the low band:
On peut noter ici que la normalisation des énergies se fait en comparant des blocs de taille différente (64 pour u(n) et 80 pour u HB1(n)), sans compensation des différences de fréquences d'échantillonnage (12.8 ou 16 kHz).
- L'excitation dans la bande haute est ensuite obtenue (
bloc 106 ou 109) sous la forme : où le gain ĝHB est obtenu différemment selon le débit. Si le débit de la trame actuelle est <23.85 kbit/s, le gain ĝHB est estimé « en aveugle » (c'est-à-dire sans information supplémentaire); dans ce cas, lebloc 103 filtre le signal décodé en bande basse par un filtre passe-haut ayant une fréquence de coupure à 400 Hz pour obtenir un signal ŝhp (n), n = 0,..., 63 - ce filtre passe-haut élimine l'influence des très basses fréquences qui peuvent biaiser l'estimation faite dans le bloc 104 - puis on calcule le « tilt » (indicateur de pente spectrale) noté etilt du signal ŝhp(n) par autocorrélation normalisée (bloc 104): et enfin on calcule ĝHB sous la forme : où gSP = 1 - etilt est le gain appliqué dans les trames actives de parole (SP pour speech), gBG = 1.25gSP est le gain appliqué dans les trames inactives de parole associées à un bruit de fond (BG pour Background) et wSP est une fonction de pondération qui dépend de la détection d'activité vocale (VAD). On comprend que l'estimation du tilt (etilt ) permet d'adapter le niveau de la bande haute en fonction de la nature spectrale du signal ; cette estimation est particulièrement importante quand la pente spectrale du signal décodé CELP est telle que l'énergie moyenne décroît quand la fréquence augmente (cas d'un signal voisé où etilt est proche de 1, donc gSP = 1 - etilt est ainsi réduit). A noter aussi que le facteur ĝHB dans le décodage AMR-WB est borné pour prendre des valeurs dans l'intervalle [0.1, 1.0]. En effet, pour les signaux dont énergie croît quand la fréquence augmente (etilt proche de -1, gSP proche de 2), le gain ĝHB est d'habitude sous-estimé.
- The excitation in the high band is then obtained (
block 106 or 109) in the form: where the gain ĝ HB is obtained differently depending on the flow rate. If the rate of the current frame is <23.85 kbit / s, the gain ĝ HB is estimated to be "blind" (ie without additional information); in this case, theblock 103 filters the decoded low-band signal by a high-pass filter having a cut-off frequency at 400 Hz to obtain a signal ŝ hp ( n ), n = 0, ..., 63 - this filter high pass eliminates the influence of the very low frequencies which can bias the estimate made in the block 104 - then one calculates the "tilt" (indicator of spectral slope) noted e tilt of the signal ŝ hp (n) by autocorrelation normalized ( block 104): and finally we calculate ĝ HB in the form: where g SP = 1 - e tilt is the gain applied in active speech frames (SP for speech), g BG = 1.25 g SP is the gain applied in inactive speech frames associated with background noise (BG for Background ) and w SP is a weighting function that depends on Voice Activity Detection (VAD). It is understood that the estimate of the tilt ( e tilt ) makes it possible to adapt the level of the high band according to the spectral nature of the signal; this estimate is particularly important when the spectral slope of the decoded signal CELP is such that the average energy decreases when the frequency increases (case of a voiced signal where e tilt is close to 1, so g SP = 1 - e tilt is thus reduced). Note also that the factor ĝ HB in the AMR-WB decoding is bounded to take values in the interval [0.1, 1.0]. Indeed, for signals whose energy increases when the frequency increases ( e tilt close to -1, g SP close to 2), the gain ĝ HB is usually underestimated.
A 23.85 kbit/s, une information de correction est transmise par le codeur AMR-WB et décodée (blocs 107, 108) afin d'affiner le gain estimé par sous-trame (4 bits toutes les 5ms, soit 0.8 kbit/s). L'excitation artificielle uHB (n) est ensuite filtrée (bloc 111) par un filtre de synthèse LPC (bloc 111) de fonction de transfert 1/AHB (z) et fonctionnant à la fréquence d'échantillonnage de 16 kHz. La réalisation de ce filtre dépend du débit de la trame courante:
- A 6.6 kbit/s, le
filtre 1/AHB (z) est obtenu en pondérant par un facteur γ=0.9 un filtre LPC d'ordre 20, 1/Âext (z) qui « extrapole » le filtre LPC d'ordre 16, 1/Â(z), décodé dans la bande basse (à 12.8 kHz) - les détails de l'extrapolation dans le domaine des paramètres ISF (pour "Imittance Spectral Frequency" en anglais) sont décrits dans la norme G.722.2 à la section 6.3.2.1; dans ce cas, - Aux débits > 6.6 kbit/s, le
filtre 1/AHB (z) est d'ordre 16 et correspond simplement à : où γ=0.6. A noter que dans ce cas lefiltre 1/Â(zlγ) est utilisé à 16 kHz, ce qui résulte en un étalement (par homothétie) de la réponse en fréquence de ce filtre de [0, 6.4 kHz] à [0, 8 kHz].
- At 6.6 kbit / s, the
filter 1 / A HB ( z ) is obtained by weighting by a factor γ = 0.9 an LPC filter of 20, 1 / Â ext ( z ) which "extrapolates" the order LPC filter. 16, 1 / Â (z), decoded in the low band (at 12.8 kHz) - the details of the extrapolation in the domain of the ISF parameters (for "Imittance Spectral Frequency") are described in the G.722.2 standard in section 6.3.2.1; in that case,order - At rates> 6.6 kbit / s, the
filter 1 / A HB ( z ) is oforder 16 and simply corresponds to: where γ = 0.6. Note that in this case thefilter 1 / Â ( zlγ ) is used at 16 kHz, which results in a spread (by homothety) of the frequency response of this filter from [0, 6.4 kHz] to [0.8] kHz].
On peut identifier plusieurs inconvénients à la technique d'extension de bande du codec AMR-WB, en particulier :
- L'estimation de gains par sous-trame (
101, 103 à 105) n'est pas optimale. Pour partie, elle se base sur une égalisation de l'énergie « absolue » par sous-trame (bloc 101) entre des signaux à des fréquences différentes : l'excitation artificielle à 16 kHz (bruit blanc) et un signal à 12.8 kHz (excitation ACELP décodée). On peut noter en particulier que cette approche induit implicitement une atténuation de l'excitation bande haute (par un ratio 12.8/16=0.8) ; en fait, on notera également qu'aucune désaccentuation (ou déemphase) n'est effectuée sur la bande haute dans le codec AMR-WB, ce qui induit implicitement une amplification relative proche de 0.6 (qui correspond à la valeur de la réponse en fréquence de 1/(1-0.68z -1) à 6400 Hz). En fait, les facteurs de 1/0.8 et de 0.6 se compensent approximativement.bloc
- Sur la parole, les tests de caractérisation du codec 3GPP AMR-WB documentés dans le rapport 3GPP TR 26.976 ont montré que le mode à 23.85 kbit/s a une qualité moins bonne qu'à 23.05 kbit/s, sa qualité est en fait similaire à celle du mode à 15.85 kbit/s. Ceci montre en particulier que le niveau du signal HF artificiel doit être contrôlé de façon très prudente, car la qualité est dégradée à 23.85 kbit/s alors que les 4 bits par trame sont sensés permettre de mieux approcher l'énergie des hautes fréquences originales.
- Le filtre passe-bas à 7 kHz (bloc 113) introduit un décalage de près de 1 ms entre les bandes basses et hautes, ce qui peut potentiellement dégrader la qualité de certains signaux en désynchronisant légèrement les deux bandes à 23.85 kbit/s - cette désynchronisation peut également poser problème lors d'une commutation de débit de 23.85 kbit/s à d'autres modes.
Dans le codec AMR-WB+, le signal d'entrée (mono) échantillonné à la fréquence Fs (en Hz) est divisés en deux bandes de fréquences disjointes, dans lesquelles deux filtres LPC sont calculés et codés séparément:
- un filtre LPC, noté A(z), dans la bande basse (0-Fs/4) - sa version quantifiée est notée Â(z)
- un autre filtre LPC, noté AHF (z), dans la bande haute repliée spectralement (Fs/4-Fs/2) - sa version quantifiée est notée ÂHF (z)
Il est important de remarquer que cette extension dans AMR-WB+ nécessite la transmission d'informations supplémentaires : les coefficients du filtre ÂHF (z) en 204 et un gain de mise en forme temporelle par sous-trame (bloc 201). Une particularité de l'algorithme d'extension de bande dans AMR-WB+ est que le gain par sous-trame est quantifié par une approche prédictive ; autrement dit, on ne code pas les gains directement, mais plutôt des corrections de gain qui sont relatives à une estimation du gain notée gmatch . Cette estimation, gmatch, correspondant en fait à un facteur d'égalisation du niveau entre les filtres Â(z) et ÂHF (z) à la fréquence de séparation entre bande basse et bande haute (Fs/4). Le calcul du facteur gmatch (bloc 203) est détaillé à la figure 10 de la spécification 3GPP TS 26.290 reprise ici à la
en se rappelant que le filtre ÂHF (z) modélise une bande haute repliée spectrale (à cause des propriétés spectrales du banc de filtre séparant les bandes basse et haute). Puisque les filtres sont interpolés par sous-trames, le gain gmatch n'est calculé qu'une fois par trame, et il est interpolé par sous-trames.
La technique de codage des gains d'extension de bande dans AMR-WB+, et plus précisément la compensation de niveaux des filtres LPC en leur point de jonction, est une méthode adaptée dans le contexte d'une extension de bande par modèles LPC en bande basse et haute, et on peut remarquer qu'une telle compensation de niveau entre filtres LPC n'est pas présente dans l'extension de bande du codec AMR-WB. Cependant, on peut vérifier dans la pratique que l'égalisation directe du niveau entre les deux filtres LPC à la fréquence de séparation n'est pas une méthode optimale et peut provoquer une surestimation d'énergie en bande-haute et des artefacts audibles dans certains cas ; on rappelle qu'un filtre LPC représente une enveloppe spectrale, ainsi le principe de l'égalisation du niveau entre deux filtres LPC pour une fréquence donnée revient à ajuster le niveau relatif de deux enveloppes LPC. Or un telle égalisation réalisée en une fréquence précise n'assure pas une complète continuité et cohérence globale de l'énergie (en fréquence) au voisinage du point d'égalisation lorsque l'enveloppe fréquentielle du signal fluctue de façon significative dans ce voisinage. Une façon mathématique de poser le problème consiste à remarquer que la continuité entre deux courbes peut être assurée en les forçant à se rejoindre en un même point, mais rien ne garantit que les propriétés locales (dérivées successives) coïncident de façon à assurer une cohérence plus globale. Le risque en assurant une continuité ponctuelle entre des enveloppes LPC bandes basse et haute est de fixer l'enveloppe de LPC en bande haute à un niveau relatif trop fort ou trop faible, le cas d'un niveau trop fort étant plus dommageable car il résulte en des artefacts plus gênants.
Par ailleurs, la compensation de gain dans AMR-WB+ est avant tout une prédiction du gain connue au codeur et au décodeur et qui sert à réduire le débit nécessaire à la transmission d'information de gain mettant à l'échelle le signal d'excitation bande haute. Or, dans le contexte d'une amélioration du codage/décodage AMR-WB de façon interopérable, il n'est pas possible de modifier le codage existant des gains par sous-trames (0.8 kbit/s) de l'extension de bande dans le mode 23.85 kbit/s d'AMR-WB. De plus, pour les débits strictement inférieurs à 23.85 kbit/s, la compensation de niveaux de filtres LPC en bandes basse et haute peut être appliquée dans l'extension de bande d'un décodage compatible avec AMR-WB, cependant l'expérience montre que cette seule technique dérivée du codage AMR-WB+, appliquée sans optimisation, peut engendrer des problèmes de surestimation d'énergie de la bande haute (>6 kHz).
Il existe donc un besoin pour améliorer la compensation de gains entre des filtres de prédiction linéaire de bande de fréquences différentes pour l'extension de bande de fréquence dans un codec de type AMR-WB ou une version interopérable de ce codec sans pour autant surestimer l'énergie dans une bande de fréquence et sans nécessiter d'informations supplémentaires du codeur.Several disadvantages can be identified with the AMR-WB codec band extension technique, in particular:
- The estimation of gains per subframe (block 101, 103 to 105) is not optimal. In part, it is based on an equalization of the "absolute" energy per sub-frame (block 101) between signals at different frequencies: the artificial excitation at 16 kHz (white noise) and a signal at 12.8 kHz ( ACELP excitation decoded). It may be noted in particular that this approach implicitly induces an attenuation of the excitation band high (by a ratio 12.8 / 16 = 0.8); in fact, it will also be noted that no deemphasis (or deemphasis) is performed on the high band in the AMR-WB codec, which implicitly induces a relative amplification close to 0.6 (which corresponds to the value of the frequency response from 1 / (1-0.68 z -1 ) to 6400 Hz). In fact, the factors of 1 / 0.8 and 0.6 compensate each other approximately.
- On the talk, the 3GPP AMR-WB codec characterization tests documented in the 3GPP TR 26.976 report showed that the 23.85 kbit / sa mode is not as good as 23.05 kbit / s, its quality is actually similar to that of the 15.85 kbit / s mode. This shows in particular that the level of artificial RF signal must be controlled very carefully, because the quality is degraded to 23.85 kbit / s while the 4 bits per frame are supposed to better approach the energy of the original high frequencies.
- The 7 kHz low-pass filter (block 113) introduces an offset of almost 1 ms between the low and high bands, which can potentially degrade the quality of some signals by slightly desynchronizing the two bands at 23.85 kbit / s - this Desynchronization can also be a problem when switching from 23.85 kbit / s to other modes.
In the AMR-WB + codec, the input signal (mono) sampled at the frequency Fs (in Hz) is divided into two disjointed frequency bands, in which two LPC filters are calculated and separately coded:
- an LPC filter, denoted A (z), in the low band (0, Fs / 4) - its quantized version is denoted  (z)
- another LPC filter, denoted A HF (z), in the upper spectrally folded strip (Fs / 4-Fs / 2) - its quantized version is denoted  HF (z)
It is important to note that this extension in AMR-WB + requires the transmission of additional information: the coefficients of the filter  HF (z) 204 and a temporal shaping gain per subframe (block 201). A peculiarity of the band extension algorithm in AMR-WB + is that subframe gain is quantified by a predictive approach; in other words, we do not code gains directly, but rather gain corrections that relate to an estimate of the gain noted g match . This estimate, g match , actually corresponds to a level equalization factor between the λ (z) and λ HF (z) filters at the separation frequency between low band and high band (Fs / 4). The calculation of the g match factor (block 203) is detailed in Figure 10 of the 3GPP specification TS 26.290, reproduced here at
remembering that the HF filter (z) models a spectral folded high band (because of the spectral properties of the filter bank separating the low and high bands). Since the filters are interpolated by subframes, the gain g match is calculated only once per frame, and it is interpolated by subframes.
The technique of coding bandwidth gains in AMR-WB +, and more specifically the level compensation of LPC filters at their junction point, is a suitable method in the context of band-based LPC bandwidth expansion. low and high, and it can be noticed that such level compensation between LPC filters is not present in the band extension of the AMR-WB codec. However, it can be verified in practice that the direct equalization of the level between the two LPC filters at the separation frequency is not an optimal method and can cause an overestimation of high-band energy and audible artifacts in some case; It is recalled that an LPC filter represents a spectral envelope, so the principle of equalizing the level between two LPC filters for a given frequency amounts to adjusting the relative level of two LPC envelopes. However, such equalization performed at a precise frequency does not ensure complete continuity and overall coherence of the energy (in frequency) in the vicinity of the equalization point when the frequency envelope of the signal fluctuates significantly in this vicinity. A mathematical way of posing the problem consists in noting that the continuity between two curves can be assured by forcing them to meet at the same point, but there is no guarantee that the local properties (successive derivatives) coincide in order to ensure a more coherent overall. The risk in ensuring point-to-point continuity between low and high band LPC envelopes is to set the LPC envelope in band high at a relative level too strong or too weak, the case of a too strong level being more damaging because it results in more troublesome artifacts.
Furthermore, the gain compensation in AMR-WB + is primarily a prediction of the known gain to the encoder and the decoder and which serves to reduce the bit rate necessary for the transmission of gain information scaling the excitation signal. high band. However, in the context of improved interoperable AMR-WB coding / decoding, it is not possible to modify the existing coding of subframe gains (0.8 kbit / s) of the band the 23.85 kbit / s mode of AMR-WB. In addition, for bit rates strictly below 23.85 kbit / s, high and low band LPC filter level compensation can be applied in the bandwidth of an AMR-WB compatible decoding, however the experiment shows that this technique derived from the AMR-WB + coding, applied without optimization, can cause problems of overestimation of energy of the high band (> 6 kHz).
There is therefore a need to improve the gain compensation between linear frequency band prediction filters of different frequencies for the frequency band extension in an AMR-WB codec or an interoperable version of this codec without overestimating the energy in a frequency band and without requiring additional information from the coder.
La présente invention vient améliorer la situation.The present invention improves the situation.
A cet effet, l'invention vise un procédé de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation ou à un filtre lors d'un procédé d'extension de bande de fréquence d'un signal audiofréquence, le procédé d'extension de bande comportant une étape de décodage ou d'extraction, dans une première bande de fréquence, d'un signal d'excitation et de paramètres de la première bande de fréquence comprenant des coefficients d'un filtre de prédiction linéaire, une étape de génération d'un signal d'excitation étendu sur au moins une deuxième bande de fréquence et une étape de filtrage par un filtre de prédiction linéaire pour la deuxième bande de fréquence. Le procédé de détermination est tel qu'il comporte les étapes suivantes:
- détermination d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence, les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence; et
- calcul du facteur d'échelle optimisé en fonction au moins des coefficients du filtre additionnel.
- determining a linear prediction filter called additional filter, of order less than the linear prediction filter of the first frequency band, the coefficients of the additional filter being obtained from the parameters decoded or extracted from the first frequency band; and
- calculating the scaling factor optimized according to at least the coefficients of the additional filter.
Ainsi, l'utilisation d'un filtre additionnel d'ordre inférieur au filtre de la première bande de fréquence à égaliser, permet d'éviter les surestimations d'énergie dans les hautes fréquences qui pourraient résulter de fluctuations locales de l'enveloppe et qui peuvent perturber l'égalisation des filtres de prédiction.Thus, the use of an additional filter of a lower order than the filter of the first frequency band to be equalized makes it possible to avoid overestimations of energy in the high frequencies which could result from local fluctuations of the envelope and which can disrupt the equalization of the prediction filters.
L'égalisation de gains entre les filtres de prédiction linéaire de la première et deuxième bande de fréquence est ainsi améliorée.The equalization of gains between the linear prediction filters of the first and second frequency band is thus improved.
Dans une application avantageuse du facteur d'échelle optimisé ainsi obtenu, le procédé d'extension de bande comprend une étape d'application du facteur d'échelle optimisé au signal d'excitation étendu.In an advantageous application of the optimized scale factor thus obtained, the band extension method comprises a step of applying the optimized scaling factor to the extended excitation signal.
Dans un mode de réalisation adapté, l'application du facteur d'échelle optimisé est combinée à l'étape de filtrage dans la deuxième bande de fréquence.In a suitable embodiment, the application of the optimized scaling factor is combined with the filtering step in the second frequency band.
Ainsi les étapes de filtrage et d'application du facteur d'échelle optimisé sont combinées à une seule étape de filtrage pour réduire la complexité de traitement.Thus the steps of filtering and applying the optimized scaling factor are combined with a single filtering step to reduce the processing complexity.
Dans un mode de réalisation particulier, les coefficients du filtre additionnel sont obtenus par troncature de la fonction de transfert du filtre de prédiction linéaire de la première bande de fréquence pour obtenir un ordre inférieur.In a particular embodiment, the coefficients of the additional filter are obtained by truncation of the transfer function of the linear prediction filter of the first frequency band to obtain a lower order.
Ce filtre additionnel d'ordre inférieur est donc obtenu de façon simple.This additional low-order filter is thus obtained in a simple manner.
De plus, de façon à obtenir un filtre stable, les coefficients du filtre additionnel sont modifiés en fonction d'un critère de stabilité du filtre additionnel.In addition, in order to obtain a stable filter, the coefficients of the additional filter are modified according to a criterion of stability of the additional filter.
Dans un mode de réalisation particulier, le calcul du facteur d'échelle optimisé comporte les étapes suivantes:
- calcul des réponses en fréquence des filtres de prédiction linéaire des première et deuxième bandes de fréquence pour une fréquence commune;
- calcul de la réponse en fréquence du filtre additionnel pour cette fréquence commune;
- calcul du facteur d'échelle optimisé en fonction des réponses en fréquence ainsi calculées.
- calculating the frequency responses of the linear prediction filters of the first and second frequency bands for a common frequency;
- calculating the frequency response of the additional filter for this common frequency;
- calculation of the optimized scale factor according to the frequency responses thus calculated.
Ainsi, le facteur d'échelle optimisé est calculé de façon à éviter les artefacts gênants qui pourraient survenir dans le cas où la réponse en fréquence de filtre d'ordre supérieur de la première bande à proximité de la fréquence commune révèlerait un pic ou une vallée du signal.Thus, the optimized scaling factor is calculated to avoid annoying artifacts that might arise in the event that the higher order filter frequency response of the first band near the common frequency would reveal a peak or a valley. of the signal.
Dans un mode de réalisation particulier, le procédé comprend en outre les étapes suivantes, mises en oeuvre pour un débit de décodage prédéterminé:
- première mise à l'échelle du signal d'excitation étendu par un gain calculé par sous-trame fonction d'un rapport d'énergie entre le signal d'excitation décodé et le signal d'excitation étendu;
- deuxième mise à l'échelle du signal d'excitation issu de la première mise à l'échelle par un gain de correction décodé;
- ajustement de l'énergie de l'excitation pour la sous-trame courante par un facteur d'ajustement calculé en fonction de l'énergie du signal obtenu après la deuxième mise à l'échelle et en fonction du signal obtenu après application du facteur d'échelle optimisé.
- first scaling of the extended excitation signal by a subframe calculated gain as a function of an energy ratio between the decoded excitation signal and the extended excitation signal;
- second scaling of the excitation signal from the first scaling by a decoded correction gain;
- adjusting the excitation energy for the current subframe by an adjustment factor calculated as a function of the energy of the signal obtained after the second scaling and as a function of the signal obtained after applying the factor d optimized scale.
Ainsi, des informations supplémentaires peuvent être utilisées pour améliorer la qualité du signal étendu pour un mode de fonctionnement prédéterminé.Thus, additional information can be used to improve the quality of the extended signal for a predetermined mode of operation.
L'invention vise également un dispositif de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation ou à un filtre dans un dispositif d'extension de bande de fréquence d'un signal audiofréquence, le dispositif d'extension de bande comprenant un module de décodage ou d'extraction, dans une première bande de fréquence, d'un signal d'excitation et de paramètres de la première bande de fréquence comprenant des coefficients d'un filtre de prédiction linéaire, un module de génération d'un signal d'excitation étendu sur au moins une deuxième bande de fréquence et un module de filtrage par un filtre de prédiction linéaire pour la deuxième bande de fréquence. Le dispositif de détermination est tel qu'il comprend:
- un module de détermination d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence, les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence; et
- un module de calcul du facteur d'échelle optimisé en fonction au moins des coefficients du filtre additionnel.
- a module for determining a linear prediction filter called additional filter, of a lower order than the linear prediction filter of the first frequency band, the coefficients of the additional filter being obtained from the parameters decoded or extracted from the first band of frequency; and
- a module for calculating the scaling factor optimized according to at least the coefficients of the additional filter.
L'invention vise un décodeur comportant un dispositif tel que décrit.The invention relates to a decoder comprising a device as described.
Elle vise un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de détermination d'un facteur d'échelle optimisé tel que décrit, lorsque ces instructions sont exécutées par un processeur.It relates to a computer program comprising code instructions for implementing the steps of the method of determining an optimized scale factor as described, when these instructions are executed by a processor.
Enfin l'invention se rapporte à un support de stockage, lisible par un processeur, intégré ou non au dispositif de détermination d'un facteur d'échelle optimisé, éventuellement amovible, mémorisant un programme informatique mettant en oeuvre un procédé de détermination d'un facteur d'échelle optimisé tel que décrit précédemment.Finally, the invention relates to a storage medium, readable by a processor, integrated or not to the device for determining an optimized scaling factor, possibly removable, storing a computer program implementing a method of determining a optimized scaling factor as previously described.
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
- la
figure 1 illustre une partie d'un décodeur de type AMR-WB mettant en oeuvre des étapes d'extension de bande de fréquence de l'état de l'art et tel que décrit précédemment; - les
figures 2a et 2b présentent le codage de la bande haute dans le codec AMR-WB+ selon l'état de l'art et tel que décrit précédemment; - la
figure 3 illustre un décodeur interopérable avec le codage AMR-WB et intégrant un dispositif d'extension de bande utilisé selon un mode de réalisation de l'invention ; - la
figure 4 illustre un dispositif de détermination d'un facteur d'échelle optimisé par sous-trame en fonction du débit, selon un mode de réalisation de l'invention; et - les
figures 5a et 5b illustrent les réponses en fréquences des filtres utilisées pour le calcul du facteur d'échelle optimisé selon un mode de réalisation de l'invention; - la
figure 6 illustre sous forme d'organigramme, les étapes principales d'un procédé de détermination d'un facteur d'échelle optimisé selon un mode de réalisation de l'invention; - la
figure 7 illustre un mode de réalisation dans le domaine fréquentiel d'un dispositif de détermination de facteur d'échelle optimisé lors d'une extension de bande; - la
figure 8 illustre une réalisation matérielle d'un dispositif de détermination de facteur d'échelle optimisé lors d'une extension de bande selon l'invention.
- the
figure 1 illustrates a part of an AMR-WB type decoder implementing frequency band extension steps of the state of the art and as described above; - the
Figures 2a and 2b present the coding of the high band in the AMR-WB + codec according to the state of the art and as previously described; - the
figure 3 illustrates an interoperable decoder with the AMR-WB encoding and incorporating a band extension device used according to an embodiment of the invention; - the
figure 4 illustrates a device for determining a subframe-optimized scale factor as a function of the flow rate, according to one embodiment of the invention; and - the
Figures 5a and 5b illustrate the frequency responses of the filters used for calculating the optimized scale factor according to one embodiment of the invention; - the
figure 6 illustrates in flowchart form the main steps of a method for determining an optimized scale factor according to an embodiment of the invention; - the
figure 7 illustrates a frequency domain embodiment of an optimized scale factor determination device during a band extension; - the
figure 8 illustrates a hardware realization of an optimized scale factor determination device during a band extension according to the invention.
La
Contrairement au décodage AMR-WB qui fonctionne avec une fréquence d'échantillonnage de sortie de 16 kHz, on considère ici un décodeur qui peut fonctionner avec un signal de sortie (synthèse) à la fréquence fs = 8, 16, 32 ou 48 kHz. A noter qu'on suppose ici que le codage a été effectué selon l'algorithme AMR-WB avec une fréquence interne de 12.8 kHz pour le codage CELP en bande basse et à 23.85 kbit/s avec un codage de gain par sous-trame à la fréquence de 16 kHz ; même si l'invention est décrite ici au niveau du décodage, on suppose ici que le codage peut aussi fonctionner avec un signal d'entrée à la fréquence fs = 8, 16, 32 ou 48 kHz et des opérations de ré-échantillonnage adéquate, dépassant le cadre de l'invention, sont mises en oeuvre au codage en fonction de la valeur de fs. On peut noter que quand fs=8 kHz, dans le cas d'un décodage compatible avec AMR-WB, il n'est pas nécessaire d'étendre la bande basse 0-6.4 kHz, car la bande audio reconstruite à la fréquence fs est limitée à 0-4000 Hz.Unlike AMR-WB decoding which operates with an output sampling frequency of 16 kHz, we consider here a decoder that can operate with an output signal (synthesis) at the frequency fs = 8, 16, 32 or 48 kHz. Note that it is assumed here that the coding was performed according to the AMR-WB algorithm with an internal frequency of 12.8 kHz for the CELP coding in low band and 23.85 kbit / s with a gain coding per subframe to the frequency of 16 kHz; even if the invention is described here at the decoding level, it is assumed here that the coding can also operate with an input signal at the frequency fs = 8, 16, 32 or 48 kHz and adequate resampling operations, beyond the scope of the invention, are implemented in coding as a function of the value of fs. It can be noted that when fs = 8 kHz, in the case of a decoding compatible with AMR-WB, it is not necessary to extend the low band 0-6.4 kHz, because the audio band reconstructed at the frequency fs is limited to 0-4000 Hz.
A la
Le décodage selon la
- Démultiplexage des paramètres codés (bloc 300) en cas de trame correctement reçue (bfi=0 où bfi est le « bad frame indicator » valant 0 pour une trame reçue et 1 pour une trame perdue)
- Décodage des paramètres ISF avec interpolation et conversion en coefficients LPC (bloc 301) comme décrit dans la clause 6.1 de la norme G.722.2.
- Décodage de l'excitation CELP (bloc 302), avec une partie adaptative et fixe pour reconstruire l'excitation (exc ou u'(n)) dans chaque sous-trame de longueur 64 à 12.8 kHz:
en suivant les notations de la clause 7.1.2.1 de la recommandation ITU-T G.718 d'un décodeur interopérable avec le codeur/décodeur AMR-WB, concernant le décodage CELP, où v(n) et c(n) sont respectivement les mots de code des dictionnaires adaptatif et fixe, et ĝp et ĝc sont les gains décodés associés. Cette excitation u'(n) est utilisée dans le dictionnaire adaptatif de la sous-trame suivante ; elle est ensuite post-traitée et on distingue comme dans G.718 l'excitation u'(n) (aussi notée exc) de sa version post-traitée modifiée u(n) (aussi notée exc2) qui sert d'entrée au filtre de synthèse, 1/Â(z), dans lebloc 303. - Filtrage de synthèse
par 1/Â(z) (bloc 303) où le filtre LPC décodé Â(z)est d'ordre 16 - Post-traitement bande étroite (bloc 304) selon la clause 7.3 de G.718 si fs=8 kHz.
- Désaccentuation (bloc 305)
par le filtre 1/(1 - 0.68z -1) - Post-traitement des basses fréquences (dit « bass posfilter ») (bloc 306) atténuant le bruit inter-harmonique en basses fréquences tel que décrit à la clause 7.14.1.1 de G.718. Ce traitement introduit un retard qui est pris en compte dans le décodage de la bande haute (>6.4 kHz).
- Ré-échantillonnage de la fréquence interne de 12.8 kHz à la fréquence de sortie fs (bloc 307). Plusieurs réalisations sont possibles. Sans perte de généralité, on considère ici à titre d'exemple que si fs=8
ou 16 kHz, le ré-échantillonnage décrit dans la clause 7.6 de G.718 est repris ici, et si fs=32 ou 48 kHz, des filtres à réponse impulsionnelle finie (FIR) supplémentaires sont utilisés. - Calcul des paramètres du "noise gate" (bloc 308) qui est réalisé de façon préférentielle comme décrit dans la clause 7.14.3 de G.718 pour « améliorer » la qualité des silences par réduction du niveau.
On peut noter que l'utilisation des
On notera également que le décodage de la bande basse décrit ci-dessus suppose une trame courante dite « active » avec un débit entre 6.6 et 23.85 kbit/s. En fait, quand le mode DTX (transmission continue en français) est activé, certaines trames peuvent être codées comme « inactives » et dans ce cas on peut soit transmettre un descripteur de silence (sur 35 bits) soit ne rien transmettre. En particulier, on rappelle que la trame SID décrit plusieurs paramètres : paramètres ISF moyennés sur 8 trames, énergie moyenne sur 8 trames, flag de "dithering" pour la reconstruction de bruit non stationnaire. Dans tous les cas, au décodeur, on retrouve le même modèle de décodage que pour une trame active, avec une reconstruction de l'excitation et d'un filtre LPC pour la trame courante, ce qui permet d'appliquer l'extension de bande même sur des trames inactives. Le même constat s'applique pour le décodage de « trames perdues » (ou FEC, PLC) dans lequel le modèle LPC est appliqué.Decoding according to the
- Demultiplexing the coded parameters (block 300) in the case of a correctly received frame ( bfi = 0 where bfi is the " bad frame indicator " equal to 0 for a received frame and 1 for a lost frame)
- Decoding ISF parameters with interpolation and conversion to LPC coefficients (block 301) as described in clause 6.1 of G.722.2.
- CELP excitation decoding (block 302), with an adaptive and fixed part to reconstruct the excitation (exc or u ' ( n )) in each subframe of
length 64 to 12.8 kHz: by following the notation of clause 7.1.2.1 of ITU-T Recommendation G.718 of an interoperable decoder with the AMR-WB encoder / decoder, concerning CELP decoding, where v (n) and c ( n ) are respectively the adaptive and fixed dictionaries codewords, and ĝ p and ĝ c are the associated decoded gains. This excitation u ' ( n ) is used in the adaptive dictionary of the following subframe; it is then post-processed and one discerns as in G.718 the excitation u ' ( n ) (also noted exc) of its modified post-processed version u ( n ) (also noted exc2) which serves as input to the filter synthesis, 1 /  (z), inblock 303. - Synthetic filtering by 1 /  (z) (block 303) where the decoded LPC filter  (z) is of
order 16 - Aftertreatment narrow band (block 304) according to clause 7.3 of G.718 if fs = 8 kHz.
- Deactivation (block 305) by the
filter 1 / (1 - 0.68 z -1 ) - Low-frequency post-processing (so-called " bass posfilter ") (block 306) attenuating inter-harmonic noise at low frequencies as described in clause 7.14.1.1 of G.718. This processing introduces a delay which is taken into account in the decoding of the high band (> 6.4 kHz).
- Resampling of the internal frequency from 12.8 kHz to the output frequency fs (block 307). Several achievements are possible. Without loss of generality, we consider here as an example that if fs = 8 or 16 kHz, the resampling described in clause 7.6 of G.718 is repeated here, and if fs = 32 or 48 kHz, filters Finite Impulse Response (FIR) are used.
- Calculation of the "noise gate" parameters (block 308) which is preferably performed as described in clause 7.14.3 of G.718 to "improve" the quality of the silences by reducing the level.
It can be noted that the use of
Note also that the decoding of the low band described above assumes a current frame called "active" with a rate between 6.6 and 23.85 kbit / s. In fact, when the DTX (Continuous Transmission in French) mode is activated, some frames can be coded as "inactive" and in this case you can either transmit a silence descriptor (on 35 bits) or not transmit anything. In particular, it is recalled that the SID frame describes several parameters: ISF parameters averaged over 8 frames, average energy over 8 frames, "dithering" flag for the non-stationary noise reconstruction. In all cases, at the decoder, we find the same decoding model as for an active frame, with a reconstruction of the excitation and an LPC filter for the current frame, which makes it possible to apply the band extension. even on inactive frames. The same applies for the decoding of "lost frames" (or FEC, PLC) in which the LPC model is applied.
Dans le mode de réalisation décrit ici et en référence à la
A 23.85 kbit/s, l'information de correction de gain HF (0.8 kbit/s) transmise à 23.85 kbit/s est ici décodée. Son utilisation est détaillée plus loin, en référence à la
Afin d'aligner les bandes basses et hautes décodées, un retard (bloc 310) est introduit pour synchroniser les sorties des blocs 306 et 307 et la bande haute synthétisée à 16 kHz est ré-échantillonnée de 16 kHz à la fréquence fs (sortie de bloc 311). La valeur du retard T dépend de la façon de synthétiser le signal bande haute, de la fréquence fs de même que du post-traitement des basses fréquences. Ainsi, de façon générale la valeur de T dans le bloc 310 devra être ajustée en fonction de la mise en oeuvre spécifique.In order to align the decoded low and high bands, a delay (block 310) is introduced to synchronize the outputs of the
Les bandes basse et haute sont ensuite combinées (ajoutées) dans le bloc 312 et la synthèse obtenue est post-traitée par filtrage passe-haut à 50 Hz (de type IIR) d'ordre 2 dont les coefficients dépendent de la fréquence fs (bloc 313) et post-traitement de sortie avec application optionnelle du "noisegate"de façon similaire à G.718 (bloc 314).The low and high bands are then combined (added) in
En référence à la
Ainsi, le bloc 400, à partir d'un signal d'excitation décodé dans une première bande de fréquence u(n), effectue une extension de bande pour obtenir un signal d'excitation étendu uHB (n) sur au moins une deuxième bande de fréquence.Thus, the
On notera ici, que l'estimation de facteur d'échelle optimisé selon l'invention est indépendante de la façon d'obtenir le signal uHB (n). Une condition concernant son énergie est cependant importante. En effet, il faut que l'énergie de la bande haute de 6000 à 8000 Hz soit à un niveau similaire à l'énergie de la bande de 4000 à 6000 Hz du signal d'excitation décodé à la sortie du bloc 302. De plus, puisque le signal bande basse est désaccentué (bloc 305), il faut aussi appliquer la désaccentuation au signal d'excitation bande haute, soit en utilisant un filtre de désaccentuation propre, soit en multipliant par un facteur constant qui correspond à une atténuation moyenne du filtre mentionné. Cette condition ne s'applique pas au cas du débit 23.85 kbit/s qui utilise les informations supplémentaires transmises par le codeur. Dans ce cas l'énergie du signal d'excitation bande haute doit être cohérente avec l'énergie du signal correspondant au codeur, comme expliqué plus tard.It will be noted here that the optimized scale factor estimation according to the invention is independent of how to obtain the signal u HB ( n ) . A condition regarding its energy is important, however. Indeed, it is necessary that the energy of the high band of 6000 to 8000 Hz is at a level similar to the energy of the
L'extension de bande de fréquence peut par exemple être mise en oeuvre de la même façon que pour le décodeur de type AMR-WB décrit en référence à la
Dans un autre mode de réalisation, cette extension de bande peut s'effectuer à partir d'une combinaison d'un bruit blanc et d'un signal d'excitation décodé comme illustré et décrit ultérieurement pour les blocs 700 à 707 de la
D'autres méthodes d'extension de bande de fréquence avec conservation du niveau d'énergie entre le signal d'excitation décodé et le signal d'excitation étendu comme décrit ci-dessous, peuvent bien sur être envisagées pour le bloc 400.Other frequency band extension methods with conservation of the energy level between the decoded excitation signal and the extended excitation signal as described below, can of course be envisaged for the
De plus, le module d'extension de bande peut également être indépendant du décodeur et peut effectuer une extension de bande d'un signal audio existant stocké ou transmis au module d'extension, avec une analyse du signal audio pour en extraire une excitation et un filtre LPC. Dans ce cas, le signal d'excitation en entrée du module d'extension, n'est plus un signal décodé mais un signal extrait après analyse, de même que les coefficients du filtre de prédiction linéaire de la première bande de fréquence utilisés dans le procédé de détermination du facteur d'échelle optimisé dans une mise en oeuvre de l'invention.In addition, the tape expansion module may also be independent of the decoder and may extend a band of an existing audio signal stored or transmitted to the expansion module, with an analysis of the audio signal to extract one excitation and a LPC filter. In this case, the excitation signal at the input of the extension module is no longer a decoded signal but a signal extracted after analysis, as well as the coefficients of the linear prediction filter of the first frequency band used in the method of determining the optimized scale factor in an implementation of the invention.
Dans l'exemple illustré à la
Dans un mode de réalisation alternatif, on pourra garder le filtre de synthèse HF extrapolé 1/Âext (z/γ) tel que mis en oeuvre dans le décodeur AMR-WB ou un décodeur interopérable avec le codeur/décodeur AMR-WB, par exemple selon la recommandation ITU-T G.718, au lieu du filtre 1/Â(z/γ). La compensation selon l'invention s'effectue alors à partir des filtres 1/Â(z) et 1/Âext (z/γ).
La détermination du facteur d'échelle optimisé s'effectue aussi par la détermination (en 401a) d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence 1/Â(z), les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence. Le facteur d'échelle optimisé est ensuite calculé (en 401b) en fonction au moins de ces coefficients pour être appliqué au signal d'excitation étendu uHB (n).In the example shown in
In an alternative embodiment, it will be possible to keep the extrapolated
The determination of the optimized scale factor is also performed by the determination (in 401a) of a linear prediction filter called additional filter, of a lower order than the linear prediction filter of the
Le principe de la détermination du facteur d'échelle optimisé, mis en oeuvre dans le bloc 401 est illustré aux
Les
La première étape consiste à calculer les réponses en fréquences R et P respectivement du filtre de prédiction linéaire de la première bande de fréquence (bande basse) et de la deuxième bande de fréquence (bande haute) à la fréquence de 6000 Hz. On calcule d'abord :
En fait la troncature directe à l'ordre conduit au filtre 1 + â 1 + â 2, ce qui peut poser problème car rien ne garantit en général que ce filtre d'ordre 2 est stable. Dans un mode de réalisation privilégiée, on détecte donc la stabilité du filtre 1 + â 1 + â 2 et on utilise un filtre 1 + â 1' + â 2',
dont les coefficients sont tirés de 1 + â 1 + â 2 en fonction de la détection d'instabilité. Plus précisément, on initialise :
Les coefficients de 1 + â 1' + â 2' sont alors obtenus par:
Sans perte de généralité, on pourra calculer les coefficients du filtre d'ordre 2 autrement, par exemple en appliquant au filtre LPC Â(z) d'ordre 16 la procédure de réduction de l'ordre LPC dite
Pour certains signaux, la quantité Q, calculée à partir des 3 premiers coefficients LPC décodés, prend mieux en compte l'influence de la pente spectrale (ou tilt) dans le spectre et évite l'influence de pics ou de vallées « parasites » proches de 6000 Hz qui peuvent biaiser ou élever la valeur de la quantité R, calculée à partir de tous les coefficients LPC.
Dans un mode de réalisation privilégié, le facteur d'échelle optimisé est déduit des quantités pré-calculées R, P, Q de façon conditionnelle, comme suit :
- Si le tilt (calculé comme dans AMR-WB dans le
bloc 104, par autocorrélation normalisée sous la forme r(1)/r(0) où r(i) est l'autocorrélation) est négatif (tilt <0 comme représenté à lafigure 5b ), le calcul du facteur d'échelle se fait de la façon suivante:- Pour éviter des artefacts dus à des variations trop brusques d'énergie de la bande haute, on applique un lissage à la valeur de R . Dans un mode de réalisation privilégié, un lissage exponentiel est effectué avec un facteur fixe dans le temps (0.5) sous la forme :
où Rprev correspond à la valeur de R dans la sous-trame précédente et le facteur 0.5 est optimisé de façon empirique - bien entendu, le facteur 0.5 pourra être changé pour une autre valeur et d'autres méthodes de lissage sont également possibles. A noter que le lissage permet de réduire les variantes temporelles et évite donc des artéfacts.
- Pour éviter des artefacts dus à des variations trop brusques d'énergie de la bande haute, on applique un lissage à la valeur de R . Dans un mode de réalisation privilégié, un lissage exponentiel est effectué avec un facteur fixe dans le temps (0.5) sous la forme :
- La quantité R est lissée de façon adaptative dans le temps, avec un lissage plus fort quand R est faible - comme dans le cas précédent, ce lissage permet de réduire les variantes temporelles et évite donc des artéfacts:
Ensuite, le facteur d'échelle optimisé est donné par :
On prend ici le minimum de R, P, Q afin d'éviter de surestimer le facteur d'échelle.
Dans une variante, la condition ci-dessus dépendant uniquement du tilt pourra être étendue pour tenir compte non seulement du paramètre de tilt mais également d'autres paramètres afin d'affiner la décision. De plus, le calcul de g HB2(m) pourra être ajusté en fonction de ces dits paramètres supplémentaires.
Un exemple de paramètre supplémentaire est le nombre de passage par zéro (ZCR, zero crossing rate) qui peut être défini comme :
Dans une variante, on pourra utiliser une fonction d'un paramètre tilthp où tilthp est le tilt calculé pour le signal synthétisé s(n) filtré par un filtre passe haut avec une fréquence de coupure par exemple à 4800 Hz ; dans ce cas, la réponse 1/Â(z/γ) de 6 à 8 kHz (appliquée à 16 kHz) correspond à la réponse pondérée de 1/Â(z) de 4.8 à 6.4 kHz.
ou par max(1,(1 - tilthp )2 + 0.6 quand tilt <0.The principle of determining the optimized scaling factor implemented in
The
The first step is to calculate the R and P frequency responses respectively of the linear prediction filter of the first frequency band (low band) and the second frequency band (high band) at the frequency of 6000 Hz. 'on board :
In fact the direct truncation order led to the filter + 1 to 1 + to 2, which can be a problem because there is no guarantee that in
whose coefficients are derived from a 1 + a 1 + a 2 as a function of the detection of instability. More precisely, we initialize:
The coefficients of + 1 to 1 '+ to 2' are then obtained by:
Without loss of generality, we can calculate the order of
For some signals, the quantity Q , calculated from the first 3 decoded LPC coefficients, takes better account of the influence of the spectral slope (or tilt) in the spectrum and avoids the influence of nearby "parasitic" peaks or
In a preferred embodiment, the optimized scaling factor is derived from the precalculated quantities R, P, Q conditionally as follows:
- If the tilt (calculated as in AMR-WB in
block 104, by normalized autocorrelation in the form r (1) / r (0) where r (i) is autocorrelation) is negative (tilt <0 as shown in FIG.figure 5b ), the calculation of the scale factor is as follows:- To avoid artefacts due to abrupt changes in energy of the high band, a smoothing is applied to the value of R. In a preferred embodiment, an exponential smoothing is performed with a fixed factor in time (0.5) in the form:
where R prev corresponds to the value of R in the preceding sub-frame and the factor 0.5 is optimized empirically - of course, the factor 0.5 can be changed to another value and other smoothing methods are also possible. Note that smoothing reduces temporal variations and therefore avoids artifacts.
- To avoid artefacts due to abrupt changes in energy of the high band, a smoothing is applied to the value of R. In a preferred embodiment, an exponential smoothing is performed with a fixed factor in time (0.5) in the form:
- The quantity R is smoothed adaptively over time, with a stronger smoothing when R is weak - as in the previous case, this smoothing makes it possible to reduce the temporal variants and thus avoids artifacts:
Then the optimized scaling factor is given by:
Here we take the minimum of R, P, Q in order to avoid overestimating the scale factor.
Alternatively, the above tilt-only condition may be extended to take into account not only the tilt parameter but also other parameters to refine the decision. In addition, the calculation of g HB 2 ( m ) can be adjusted according to these additional parameters.
An example of an additional parameter is the zero crossing rate (ZCR) which can be defined as:
In a variant, it is possible to use a function of a parameter tilt hp where tilt hp is the tilt calculated for the synthesized signal s ( n ) filtered by a high-pass filter with a cut-off frequency, for example at 4800 Hz; in this case, the 1 / Â (z / γ ) response of 6 to 8 kHz (applied at 16 kHz) corresponds to the weighted response of 1 / Â (z) from 4.8 to 6.4 kHz. Since 1 / Â (z / γ ) has a more flattened response, you have to compensate for this change in tilt. Function The scale factor according to tilt hp is then given in one embodiment by: (1 - tilt hp ) 2 + 0.6. We then multiply Q and R by min (1, (1 - tilt hP ) 2 + 0.6) when tilt > 0
or by max (1, (1 - tilt hp ) 2 + 0.6 when tilt <0.
On considère maintenant le cas du débit de 23.85kbit/s, pour lequel une correction de gain est réalisée par les blocs 403 à 408. Cette correction de gain pourrait d'ailleurs faire l'objet d'une invention séparée. Dans ce mode particulier selon l'invention, l'information de correction de gain, notée gHBcorr (m), transmise par le codage (compatible) AMR-WB avec un débit de 0.8 kbit/s est utilisée pour améliorer la qualité à 23.85 kbit/s.
On suppose ici que le codage (compatible) AMR-WB a effectué une quantification de gain de correction sur 4 bits comme décrit dans la clause UIT-T G.722.2/5.11 ou de façon équivalente dans la clause 3GPP TS 26.190/5.11.
Dans le codeur AMR-WB, le gain de correction est calculé en comparant l'énergie du signal original échantillonné à 16 kHz et filtré par un filtre passe-bande 6-7 kHz, sHB (n) avec l'énergie du bruit blanc à 16 kHz filtré par un filtre de synthèse 1/Â(z/γ) et un filtre passe-bande 6-7 kHz (avant le filtrage l'énergie du bruit est mis à un niveau semblable à celui de l'excitation à 12.8 kHz), s HB2(n). Le gain est la racine du ratio d'énergie du signal original sur l'énergie du bruit divisé par deux. Dans un mode possible de réalisation on pourra changer le filtre passe-bande pour un filtre avec une bande plus large (par exemple de 6 à 7.6 kHz).
où le facteur 5 au dénominateur sert à compenser la différence de largeur de bande entre le signal u(n) et le signal uHB (n), sachant qu'au codage AMR-WB l'excitation HF est un bruit blanc sur la bande 0-8000 Hz.
L'indice de 4 bits par sous-trame, noté indexHF_gain(m), envoyé à 23.85 kbit/s est démultiplexé du train binaire (bloc 405) et décodé par le bloc 406 de la façon suivante :
Dans un mode de réalisation particulier, qui sera décrit en détail plus tard en référence à la
On suppose que dans le bloc 408 on dispose d'une information sur le tilt du signal bande basse - dans un mode de réalisation privilégié ce tilt est calculé comme dans le codec AMR-WB selon les blocs 103 et 104, cependant d'autres méthodes d'estimation du tilt sont possibles sans changer le principe de l'invention.
Si fac(m) >1 ou tilt <0, on prend :
- Le facteur d'échelle optimisé est calculé directement à partir des fonctions de transfert des filtres LPC sans impliquer de filtrage temporel. Ceci simplifie le procédé.
- L'égalisation est faite de préférence à une fréquence différente de la fréquence de Nyquist (6400 Hz) associée à la bande basse. En effet, la modélisation LPC représente implicitement l'atténuation du signal typiquement causée par les opérations de ré-échantillonnage et donc la réponse en fréquence d'un filtre LPC peut subir à la fréquence de Nyquist une diminution qui ne se retrouve pas à la fréquence commune choisie.
- L'égalisation repose ici sur un filtre d'ordre moins élevé (ici d'ordre 2) en plus des 2 filtres à égaliser. Ce filtre additionnel permet d'éviter les effets de fluctuations spectrales locales (pic ou vallée) qui peuvent être présentes à la fréquence commune pour le calcul de la réponse en fréquence des filtres de prédiction.
Le dispositif de détermination du facteur d'échelle optimisé tel qu'illustré par les
It is assumed here that the (compatible) AMR-WB encoding performed 4-bit correction gain quantization as described in clause ITU-T G.722.2 / 5.11 or equivalently in clause 3GPP TS 26.190 / 5.11.
In the AMR-WB encoder, the correction gain is calculated by comparing the energy of the sampled original signal at 16 kHz and filtered by a 6-7 kHz bandpass filter, s HB ( n ) with white noise energy at 16 kHz filtered by a
where the factor 5 at the denominator serves to compensate for the difference in bandwidth between the signal u ( n ) and the signal u HB ( n ), knowing that at the AMR-WB coding the HF excitation is a white noise on the band 0-8000 Hz.
The index of 4 bits per subframe, denoted HF index _g ain ( m ), sent at 23.85 kbit / s is demultiplexed from the bitstream (block 405) and decoded by
In a particular embodiment, which will be described in detail later with reference to the
It is assumed that in
If fac ( m )> 1 or tilt <0, we take:
- The optimized scaling factor is calculated directly from the transfer functions of the LPC filters without involving temporal filtering. This simplifies the process.
- The equalization is preferably done at a frequency different from the Nyquist frequency (6400 Hz) associated with the low band. Indeed, the LPC model implicitly represents the attenuation of the signal typically caused by resampling operations and therefore the frequency response of an LPC filter can undergo a decrease at the Nyquist frequency which is not found at the frequency chosen commune.
- The equalization here is based on a lower order filter (here of order 2) in addition to the 2 filters to equalize. This additional filter makes it possible to avoid the effects of local spectral fluctuations (peak or valley) that may be present at the common frequency for calculating the frequency response of the prediction filters.
The device for determining the optimized scale factor as illustrated by
Les étapes principales sont mises en oeuvre par le bloc 401.The main steps are implemented by
Ainsi, un signal d'excitation étendu uHB(n) est obtenu lors d'un procédé d'extension de bande de fréquence E601 qui comporte une étape de décodage ou d'extraction, dans une première bande de fréquence dite bande basse, d'un signal d'excitation et de paramètres de la première bande de fréquence comme par exemple les coefficients du filtre de prédiction linéaire de la première bande de fréquence.Thus, an extended excitation signal u HB (n) is obtained during a frequency band extension method E601 which comprises a decoding or extraction step, in a first so-called low band frequency band, an excitation signal and parameters of the first frequency band, for example the coefficients of the linear prediction filter of the first frequency band.
Une étape E602 détermine un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur à celui de la première bande de fréquence. Pour déterminer ce filtre, les paramètres de la première bande de fréquence décodés ou extraits sont utilisés.A step E602 determines a linear prediction filter called additional filter, of a lower order than that of the first frequency band. To determine this filter, the parameters of the first decoded or extracted frequency band are used.
Dans un mode de réalisation cette étape est effectuée par troncature de la fonction de transfert du filtre de prédiction linéaire de la bande basse pour obtenir un ordre de filtre inférieur, par exemple 2. Ces coefficients peuvent ensuite être modifiés en fonction d'un critère de stabilité comme expliqué précédemment en référence à la
A partir des coefficients du filtre additionnel ainsi déterminé, une étape E603 est mise en oeuvre pour calculer le facteur d'échelle optimisé à appliquer au signal d'excitation étendu. Ce facteur d'échelle optimisé est par exemple calculé à partir de la réponse en fréquence du filtre additionnel à une fréquence commune entre la bande basse (première bande de fréquence) et la bande haute (deuxième bande de fréquence). Une valeur minimale pouvant être choisie entre la réponse en fréquence de ce filtre et celles des filtres bande basse et bande haute.
Ceci évite donc les surestimations d'énergie qui pouvaient exister dans les méthodes de l'état de l'art.From the coefficients of the additional filter thus determined, a step E603 is implemented to calculate the optimized scale factor to be applied to the extended excitation signal. This optimized scale factor is for example calculated from the frequency response of the additional filter at a common frequency between the low band (first frequency band) and the high band (second frequency band). A minimum value that can be chosen between the frequency response of this filter and those of the low band and high band filters.
This avoids the overestimation of energy that could exist in state-of-the-art methods.
Cette étape de calcul du facteur d'échelle optimisé est par exemple décrite précédemment en référence à la
L'étape E604 réalisée par le bloc 402 ou 409 (selon le débit de décodage) pour l'extension de bande, applique le facteur d'échelle optimisé ainsi calculée au signal d'excitation étendu de façon à obtenir un signal d'excitation étendu optimisé uHB'(n). Step E604 performed by
Dans un mode de réalisation particulier, le dispositif de détermination du facteur d'échelle optimisé 708 est intégré dans un dispositif d'extension de bande décrit maintenant en référence à la
Dans ce mode de réalisation, le bloc 400 d'extension de bande de la
Ainsi, à l'entrée du dispositif d'extension de bande, un signal d'excitation bande basse décodé ou estimé par analyse est reçu (u(n)). L'extension de bande utilise ici l'excitation décodée à 12.8 kHz (exc2 ou u(n)) en sortie du bloc 302 de la
On notera que dans ce mode de réalisation, la génération de l'excitation suréchantillonné et étendu s'effectue dans une bande de fréquence allant de 5 à 8 kHz incluant donc une deuxième bande de fréquence (6.4-8kHz) supérieure à la première bande de fréquence (0-6.4 kHz).Note that in this embodiment, the generation of the oversampled and extended excitation is carried out in a frequency band ranging from 5 to 8 kHz including a second frequency band (6.4-8kHz) greater than the first band of frequency (0-6.4 kHz).
Ainsi, la génération d'un signal d'excitation étendu s'effectue au moins sur la deuxième bande de fréquence mais aussi sur une partie de la première bande de fréquence.Thus, the generation of an extended excitation signal is effected at least on the second frequency band but also on a part of the first frequency band.
Bien évidemment, les valeurs définissant ces bandes de fréquences peuvent être différentes selon le décodeur ou le dispositif de traitement dans lequel l'invention s'applique.Of course, the values defining these frequency bands may be different depending on the decoder or the processing device in which the invention applies.
Pour cet exemple de réalisation, ce signal est transformé pour obtenir un spectre de signal d'excitation U(k) par le module de transformation temps-fréquence 500.
Dans un mode de réalisation particulier, la transformée utilise une DCT-IV (pour "Discrete Cosine Transform" - Type IV en anglais) (bloc 700) sur la trame courante de 20 ms (256 échantillons), sans fenêtrage, ce qui revient à transformer directement u(n) avec n = 0, ..., 255 selon la formule suivante :
On note ici que la transformation sans fenêtrage (ou de façon équivalente avec une fenêtre rectangulaire implicite de la longueur de la trame) est possible car le traitement est effectué dans le domaine de l'excitation, et non le domaine du signal, si bien qu'aucun artefact (effets de bloc) n'est audible, ce qui constitue un avantage important de ce mode de réalisation de l'invention.For this exemplary embodiment, this signal is transformed to obtain an excitation signal spectrum U ( k ) by the time-frequency transformation module 500.
In a particular embodiment, the transform uses a DCT-IV (for "Discrete Cosine Transform" - Type IV in English) (block 700) on the current frame of 20 ms (256 samples), without windowing, which amounts to directly transform u ( n ) with n = 0, ..., 255 according to the following formula:
We note here that the transformation without windowing (or equivalently with a rectangular window implicit in the length of the frame) is possible because the processing is performed in the field of excitation, and not the domain of the signal, so that no artifact (block effects) is audible, which is an important advantage of this embodiment of the invention.
Dans ce mode de réalisation, la transformation DCT-IV est mise en oeuvre par FFT suivant l'algorithme dit « Evolved DCT (EDCT) » décrit dans l'article de
Dans des variantes de l'invention et sans perte de généralité, la transformation DCT-IV pourra être remplacée par d'autres transformations temps-fréquences court-terme de même longueur et dans le domaine de l'excitation, comme une FFT (pour "Fast Fourier Transform" en anglais) ou une DCT-II (Discrete Cosine Transform - Type II). De façon alternative, on pourra remplacer la DCT-IV sur la trame par une transformation avec recouvrement-addition et fenêtrage de longueur supérieure à la longueur de la trame courante, par exemple en utilisant une MDCT (pour "Modified Discrete Cosine Tranform" en anglais). Dans ce cas le retard T dans le bloc 310 de la
Le spectre DCT, U(k), de 256 échantillons couvrant la bande 0-6400 Hz (à 12.8 kHz), est ensuite étendu (bloc 701) en un spectre de 320 échantillons couvrant la bande 0-8000 Hz (à 16 kHz) sous la forme suivante :
Le bloc 701 fonctionne comme module de génération d'un signal d'excitation sur-échantillonné et étendu et réalise un ré-échantillonnage de 12.8 à 16 kHz dans le domaine fréquentiel, en rajoutant ¼ d'échantillons (k = 240, ..., 319) au spectre, le ratio entre 16 et 12.8 étant de 5/4.The
De plus, le bloc 701 réalise un filtrage passe-haut implicite dans la bande 0-5000 Hz puisque les 200 premiers échantillons de U HB1(k) sont mis à zéro ; comme expliqué plus tard, ce filtrage passe-haut est également complété par une partie d'atténuation progressive des valeurs spectrales d'indices k = 200, ..., 255 dans la bande 5000-6400 Hz, cette atténuation progressive est mise en oeuvre dans le bloc 704 mais pourrait être réalisée séparément en dehors du bloc 704. De façon équivalente et dans des variantes de l'invention, la mise en oeuvre du filtrage passe-haut séparée en blocs de coefficients d'indice k = 0, ..., 199 mis à zéro, de coefficients k = 200, ..., 255 atténués, dans le domaine transformé, pourra donc être effectué en une seule étape.In addition, block 701 performs high pass filtering implicit in the 0-5000 Hz band since the first 200 samples of U HB 1 ( k ) are set to zero; as explained later, this high-pass filtering is also completed by a progressive attenuation part of the spectral values of indices k = 200,..., 255 in the band 5000-6400 Hz, this progressive attenuation is implemented in the
Dans cet exemple de réalisation et selon la définition de U HE1(k), on remarque que la bande 5000-6000 Hz de U HB1(k) (qui correspond aux indices k = 200, ..., 239) est copiée à partir de la bande 5000-6000 Hz de U(k). Cette approche permet de conserver le spectre original dans cette bande et elle évite d'introduire des distorsions dans la bande 5000-6000 Hz lors de l'addition de la synthèse HF avec la synthèse BF - en particulier la phase du signal (implicitement représentée dans le domaine DCT-IV) dans cette bande est préservée.In this exemplary embodiment and according to the definition of U HE 1 ( k ), it is noted that the 5000-6000 Hz band of U HB 1 ( k ) (which corresponds to the indices k = 200, ..., 239) is copied from the 5000-6000 Hz U ( k ) band. This approach preserves the original spectrum in this band and avoids introducing distortions in the 5000-6000 Hz band during the addition of HF synthesis with BF synthesis - particularly the signal phase (implicitly represented in the DCT-IV domain) in this band is preserved.
La bande 6000-8000 Hz de U HB1(k) est ici définie en copiant la bande 4000-6000 Hz de U(k) puisque la valeur de start_band est fixée préférentiellement à 160.The band 6000-8000 Hz of U HB 1 ( k ) is here defined by copying the 4000-6000 Hz band of U ( k ) since the value of start_band is preferably fixed at 160.
Dans une variante du mode de réalisation, la valeur de start_band pourra être rendue adaptative autour de la valeur de 160. Les détails de l'adaptation de la valeur start_band ne sont pas décrits ici car ils dépassent le cadre de l'invention sans en changer la portée.In a variant of the embodiment, the value of start_band can be made adaptive around the value of 160. The details of the adaptation of the value start_band are not described here because they go beyond the scope of the invention without changing the scope.
Pour certains signaux en bande élargie (échantillonnés à 16 kHz), la bande haute (>6 kHz) peut être bruitée, harmonique ou comporter un mélange de bruit et d'harmoniques. De plus, le niveau d'harmonicité dans la bande 6000-8000 Hz est généralement corrélé à celui des bandes de fréquences inférieures. Ainsi le bloc 702 de génération de bruit, réalise une génération de bruit dans le domaine fréquentiel, U HBN(k) pour k = 240, ..., 319 (80 échantillons) correspondant à une deuxième bande de fréquence dite haute fréquence afin de combiner ensuite ce bruit avec le spectre U HB1(k) dans le bloc 703.For some broadband signals (sampled at 16 kHz), the high band (> 6 kHz) may be noisy, harmonic or have a mixture of noise and harmonics. In addition, the level of harmonicity in the 6000-8000 Hz band is generally correlated with that of the lower frequency bands. Thus, the
Dans un mode de réalisation particulier, le bruit (dans la bande 6000-8000 Hz) est généré de façon pseudo-aléatoire avec un générateur congruentiel linéaire sur 16 bits :
Le bloc 703 de combinaison peut être réalisé de différentes façons. De façon privilégiée, on considère un mixage additif adaptatif de la forme :
Dans un mode de réalisation privilégié on calcule l'énergie du bruit dans trois bandes : 2000-4000 Hz, 4000-6000 Hz et 6000-8000 Hz, avec
On fixe α de telle sorte que le ratio entre l'énergie du bruit dans les bandes 4-6 kHz et 6-8 kHz soit le même qu'entre les bandes 2-4 kHz et 4-6 kHz :
Dans un mode de réalisation privilégié, on prend
Dans une variante les facteurs β et α pourront être adaptés pour tenir compte du fait qu'un bruit injecté dans une bande donnée du signal est perçu en général comme plus fort qu'un signal harmonique à la même énergie dans la même bande. Ainsi on pourra modifier les facteurs β et α comme suit:
Dans d'autres variantes de l'invention on pourra prendre :
On remarque donc ici que le bloc 703 réalise l'équivalent du bloc 101 de la
We set α so that the ratio between the noise energy in the 4-6 kHz and 6-8 kHz bands is the same as between the 2-4 kHz and 4-6 kHz bands:
In a preferred embodiment, we take
In a variant, the factors β and α may be adapted to take account of the fact that noise injected into a given band of the signal is generally perceived as stronger than a harmonic signal at the same energy in the same band. Thus we can modify the factors β and α as follows:
In other variants of the invention, it will be possible to take:
We note here that block 703 realizes the equivalent of
Dans une variante simple, on peut considérer une réalisation du bloc 703, où les spectres, U HB1(k) ou GHBNUHBN (k), sont sélectionnés (commutés) de façon adaptative, ce qui revient à n'autoriser que les valeurs 0 ou 1 pour α; cette approche revient à classifier le type d'excitation à générer dans la bande 6000-8000 HzIn a simple variant, an embodiment of
Le bloc 704 réalise de façon optionnelle, une double opération d'application de réponse en fréquence de filtre passe-bande et de filtrage de désaccentuation (ou déemphase) dans le domaine fréquentiel.The
Dans une variante de l'invention, le filtrage de désaccentuation pourra être réalisé dans le domaine temporel, après le bloc 705 voire avant le bloc 700 ; cependant, dans ce cas, le filtrage passe-bande réalisé dans le bloc 704 peut laisser certaines composantes basses fréquences de très faibles niveaux qui se voient amplifier par désaccentuation, ce qui peut modifier de façon légèrement perceptible la bande basse décodée. Pour cette raison, on préfère ici réaliser la désaccentuation dans le domaine fréquentiel. Dans le mode de réalisation privilégié, les coefficients d'indice k = 0, ...,199 sont mis à zéro, ainsi la désaccentuation est limitée aux coefficients supérieurs.
L'excitation est d'abord désaccentuée selon l'équation suivante :
On note que la désaccentuation est appliquée en deux phases pour k = 200,...,255 correspondant à la bande de fréquence 5000-6400 Hz, où la réponse 1/(1-0.68z -1) est appliquée comme à 12.8 kHz, et pour k = 256,...,319 correspondant à la bande de fréquence 6400-8000 Hz, où la réponse est étendue de 16 kHz ici à une valeur constante dans la bande 6.4-8 kHz.In a variant of the invention, the deemphasis filtering may be performed in the time domain, after
The excitation is first de-emphasized according to the following equation:
It is noted that the deemphasis is applied in two phases for k = 200, ..., 255 corresponding to the frequency band 5000-6400 Hz, where the
On peut noter que dans le codec AMR-WB la synthèse HF n'est pas désaccentuée. Dans le mode de réalisation présenté ici, le signal hautes fréquences est au contraire désaccentué de manière à le ramener dans un domaine cohérent avec le signal basses fréquences (0-6.4 kHz) qui sort du bloc 305 de la
Dans une variante du mode de réalisation, afin de réduire la complexité, on pourra fixer Gdeemph (k) à une valeur constante indépendante de k, en prenant par exemple Gdeemph (k) = 0.6 ce qui correspond approximativement à la valeur moyenne de Gdeemph (k) pour k = 200,...,319 dans les conditions du mode de réalisation décrit ci-dessus.In a variant of the embodiment, in order to reduce the complexity, it is possible to fix G deemph ( k ) to a constant value independent of k , taking for example G deemph ( k ) = 0.6 which corresponds approximately to the average value of G deemph ( k ) for k = 200, ..., 319 under the conditions of the embodiment described above.
Dans une autre variante du mode de réalisation du dispositif d'extension, la désaccentuation pourra être réalisée de façon équivalente dans le domaine temporel après DCT inverse.In another variant of the embodiment of the extension device, the de-emphasis can be performed in an equivalent way in the time domain after inverse DCT.
En plus de la désaccentuation, un filtrage passe-bande est appliqué avec deux parties séparées : l'une passe-haut fixe, l'autre passe-bas adaptative (fonction du débit).In addition to de-emphasis, band-pass filtering is applied with two separate parts: one fixed high-pass, the other adaptive low-pass (flow-rate function).
Ce filtrage est effectué dans le domaine fréquentiel.This filtering is performed in the frequency domain.
Dans le mode de réalisation privilégiée, on calcule la réponse partielle de filtre passe-bas dans le domaine fréquentiel comme suit:
On notera aussi que le filtrage passe-bande pourra être adapté en définissant une seule étape de filtrage combinant les filtrages passe-haut et passe-bas.Note also that the bandpass filtering can be adapted by defining a single filtering step combining the high-pass and low-pass filtering.
Dans un autre mode de réalisation, le filtrage passe-bande pourra être réalisé de façon équivalente dans le domaine temporel (comme dans le bloc 112 de la
On notera aussi que dans le cas du débit de 23.85 kbit/s on n'effectue pas la désaccentuation de l'excitation UHB2 (k) pour rester en accord avec la façon dont le gain de correction est calculé dans le codeur AMR-WB et pour éviter les doubles multiplications. Dans ce cas block 704 réalise seulement le filtrage passe-bas.It will also be noted that in the case of the 23.85 kbit / s rate, the deemphasis of the excitation U HB2 ( k ) is not carried out in order to remain in agreement with the way in which the correction gain is calculated in the AMR-WB encoder. and to avoid double multiplications. In this case block 704 only performs the low-pass filtering.
Le bloc 705 de transformée inverse réalise une DCT inverse sur 320 échantillons pour trouver l'excitation haute-fréquence échantillonnée à 16 kHz. Sa mise en oeuvre est identique au bloc 700, car la DCT-IV est orthonormée, sauf que la longueur de la transformée est de 320 au lieu de 256, et on obtient:
Dans un mode de réalisation privilégié, on calcule d'abord (bloc 706) un gain gHB1(m) par sous-trame par des ratios d'énergie des sous-trames tel que dans chaque sous-trame d'indice m=0, 1, 2 ou 3 de la trame courante:
Le bloc 707 effectue la mise à l'échelle du signal combiné selon l'équation suivante:
In a preferred embodiment, a gain g HB1 (m) per sub-frame is first calculated (block 706) by sub-frame energy ratios such as in each sub-frame of index m = 0 , 1, 2 or 3 of the current frame:
On notera que la réalisation du bloc 706 diffère de celle du bloc 101 de la
Ainsi, cette étape de mise à l'échelle permet de conserver dans la bande haute le ratio d'énergie entre la sous-trame et la trame de la même façon que dans la bande basse.Thus, this scaling step makes it possible to keep in the high band the energy ratio between the subframe and the frame in the same way as in the low band.
On notera ici que dans le cas du débit 23.85 kbit/s les gains g HB1(m) sont calculés mais appliqués dans l'étape suivante, comme expliqué en référence à la
Selon l'invention, le bloc 708 effectue ensuite un calcul de facteur d'échelle par sous-trame du signal (étapes E602 à E 603 de la
Enfin, l'excitation corrigée uHB '(n) est filtrée par le module de filtrage 710 qui peut être réalisé ici en prenant comme fonction de transfert 1/Â(z/γ), où γ = 0.9 à 6.6 kbit/s et γ =0.6 aux autres débits, ce qui limite l'ordre du filtre à l'ordre 16.
Dans une variante, ce filtrage pourra être réalisé de la même façon que ce qui est décrit pour le bloc 111 de la
In a variant, this filtering can be done in the same way as that described for
Dans une variante de réalisation, l'étape de filtrage par un filtre 710 de prédiction linéaire pour la deuxième bande de fréquence est combinée à l'application du facteur d'échelle optimisé, ce qui permet de réduire la complexité de traitement. Ainsi les étapes de filtrage 1/Â(z/γ) et d'application du facteur d'échelle optimisé g HB2 sont combinées à une seule étape de filtrage g HB2/Â(z/γ) pour réduire la complexité de traitement.In an alternative embodiment, the step of filtering by a
Dans des variantes de réalisation de l'invention, le codage de la bande basse (0-6.4 kHz) pourra être remplacé par un codeur CELP autre que celui utilisé dans AMR-WB, comme par exemple le codeur CELP dans G.718 à 8 kbit/s. Sans perte de généralité d'autres codeurs en bande élargie ou fonctionnant à des fréquences supérieurs à 16 kHz, dans lesquels le codage de la bande basse fonctionne à une fréquence interne à 12.8 kHz pourraient être utilisés. Par ailleurs, l'invention peut être adaptée de façon évidente à d'autres fréquences d'échantillonnage que 12.8 kHz, lorsqu'un codeur de basses fréquences fonctionne à une fréquence d'échantillonnage inférieure à celle du signal original ou reconstruit. Lorsque le décodage en bande basse n'utilise pas de prédiction linéaire, on ne dispose pas d'un signal d'excitation à étendre, dans ce cas on pourra réaliser une analyse LPC du signal reconstruit dans la trame courante et on calculera une excitation LPC de manière à pouvoir appliquer l'invention.In alternative embodiments of the invention, the coding of the low band (0-6.4 kHz) may be replaced by a CELP coder other than that used in AMR-WB, for example the CELP coder in G.718 to 8. kbit / s. Without loss of generality other encoders in wide band or operating at frequencies higher than 16 kHz, in which the coding of the low band operates at an internal frequency at 12.8 kHz could be used. Moreover, the invention can be obviously adapted to other sampling frequencies than 12.8 kHz, when a low frequency encoder operates at a sampling frequency lower than that of the original or reconstructed signal. When the low band decoding does not use a linear prediction, it does not have an excitation signal to be extended, in this case it will be possible to carry out an LPC analysis of the reconstructed signal in the current frame and calculate an LPC excitation. so as to be able to apply the invention.
Enfin, dans une autre variante de l'invention, l'excitation (u(n)) est ré-échantillonnée, par exemple par interpolation linéaire ou "spline" cubique, de 12.8 à 16 kHz avant transformation (par exemple DCT-IV) de longueur 320. Cette variante a le défaut d'être plus complexe, car la transformée (DCT-IV) de l'excitation est alors calculée sur une plus grande longueur et le ré-échantillonnage n'est pas effectué dans le domaine de la transformée.Finally, in another variant of the invention, the excitation ( u ( n )) is resampled, for example by linear interpolation or "spline" cubic, from 12.8 to 16 kHz before transformation (for example DCT-IV) This variant has the defect of being more complex, because the transform (DCT-IV) of the excitation is then calculated over a greater length and the resampling is not carried out in the field of the transformed.
De plus, dans des variantes de l'invention, tous les calculs nécessaires à l'estimation des gains ( GHBN , g HB1(m), g HB2(m), gHBN , ...) pourront être effectués dans un domaine logarithmique.Moreover, in variants of the invention, all the calculations necessary for the estimation of the gains ( GHBN , g HB 1 ( m ), g HB 2 ( m ), g HBN , ...) can be carried out in a logarithmic domain.
Dans des variantes de l'extension de bande, l'excitation en bande basse u(n) et le filtre LPC 1/Â(z) seront estimés par trame, par analyse LPC d'un signal en bande basse dont la bande doit être étendue. Le signal d'excitation bande basse est alors extrait par analyse du signal audio.In variants of the band extension, the low band excitation u ( n ) and the
Dans un mode possible de réalisation de cette variante, le signal audio bande basse est ré-échantillonné avant l'étape d'extraction de l'excitation, si bien que l'excitation extraite du signal audio (par prédiction linéaire) est déjà ré-échantillonnée.In a possible embodiment of this variant, the low band audio signal is resampled before the excitation extraction step, so that the excitation extracted from the audio signal (by linear prediction) is already resolved. sampled.
L'extension de bande illustrée à la
La
Ce type de dispositif comporte un processeur PROC coopérant avec un bloc mémoire BM comportant une mémoire de stockage et/ou de travail MEM.
Un tel dispositif comporte un module d'entrée E apte à recevoir un signal audio d'excitation décodé ou extrait dans une première bande de fréquence dite bande basse (u(n) ou U(k))
et les paramètres d'un filtre de synthèse de prédiction linéaire (Â(z)). Il comporte un module de sortie S apte à transmettre le signal haute fréquence synthétisé et optimisé (uHB'(n)) par exemple à un module de filtrage comme le bloc 710 de la
Such a device comprises an input module E adapted to receive a decoded or extracted excitation audio signal in a first so-called low band frequency band ( u ( n ) or U ( k ))
and the parameters of a linear prediction synthesis filter ( λ ( z )). It comprises an output module S adapted to transmit the synthesized and optimized high frequency signal (u HB '(n)) for example to a filtering module such as
Le bloc mémoire peut avantageusement comporter un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation ou à un filtre au sens de l'invention, lorsque ces instructions sont exécutées par le processeur PROC, et notamment les étapes de détermination (E602) d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence, les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence, de calcul (E603) d'un facteur d'échelle optimisé en fonction au moins des coefficients du filtre additionnel.The memory block may advantageously comprise a computer program comprising code instructions for carrying out the steps of the method for determining an optimized scale factor to be applied to an excitation signal or to a filter within the meaning of FIG. invention, when these instructions are executed by the processor PROC, and in particular the steps of determination (E602) of a linear prediction filter called additional filter, of order less than the linear prediction filter of the first frequency band, the coefficients additional filter being obtained from the parameters decoded or extracted from the first frequency band, calculation (E603) of an optimized scale factor according to at least the coefficients of the additional filter.
Typiquement, la description de la
La mémoire MEM enregistre de manière générale, toutes les données nécessaires à la mise en oeuvre du procédé.The memory MEM generally records all the data necessary for the implementation of the method.
Dans un mode possible de réalisation, le dispositif ainsi décrit peut également comporter les fonctions d'application du facteur d'échelle optimisé au signal d'excitation étendu, d'extension de bande de fréquence, de décodage bande basse et autre fonctions.de traitement décrites par exemple en
Claims (11)
- Method for determining an optimized scale factor to be applied to an excitation signal or to a filter in an audio frequency signal frequency band extension method, the band extension method (E601) comprising a step of decoding or of extraction, in a first frequency band, of an excitation signal and of parameters of the first frequency band comprising coefficients of a linear prediction filter, a step of generation of an extended excitation signal on at least one second frequency band and a step of filtering, by a linear prediction filter, for the second frequency band, the determination method being characterized in that it comprises the following steps:- determination (E602) of a linear prediction filter called additional filter, of lower order than the linear prediction filter of the first frequency band, the coefficients of the additional filter being obtained from the parameters decoded or extracted from the first frequency band; and- computation (E603) of the optimized scale factor as a function at least of the coefficients of the additional filter.
- Method according to Claim 1, characterized in that the band extension method comprises a step of application (E604) of the optimized scale factor to the extended excitation signal.
- Method according to Claim 2, characterized in that the application of the optimized scale factor is combined with the step of filtering in the second frequency band.
- Method according to Claim 1, characterized in that the coefficients of the additional filter are obtained by truncation of the transfer function of the linear prediction filter of the first frequency band to obtain a lower order.
- Method according to Claim 4, characterized in that the coefficients of the additional filter are modified as a function of a stability criterion of the additional filter.
- Method according to Claim 1, characterized in that the computation of the optimized scale factor comprises the following steps:- computation of the frequency responses of the linear prediction filters of the first and second frequency bands for a common frequency;- computation of the frequency response of the additional filter for this common frequency;- computation of the optimized scale factor as a function of the duly computed frequency responses.
- Method according to Claim 1, characterized in that it further comprises the following steps, implemented for a predetermined decoding bit rate:- first scaling of the extended excitation signal by a gain computed for each subframe as a function of an energy ratio between the decoded excitation signal and the extended excitation signal;- second scaling of the excitation signal obtained from the first scaling by a decoded correction gain;- adjustment of the energy of the excitation for the current subframe by an adjustment factor computed as a function of the energy of the signal obtained after the second scaling and as a function of the signal obtained after application of the optimized scale factor.
- Device for determining an optimized scale factor to be applied to an excitation signal or to a filter in an audio frequency signal frequency band extension device, the band extension device (400) comprising a module for decoding or extracting, in a first frequency band, an excitation signal and parameters of the first frequency band comprising coefficients of a linear prediction filter, a module for generating an extended excitation signal on at least one second frequency band and a module for filtering, by a linear prediction filter, for the second frequency band, the determination device being characterized in that it comprises:- a module (401a) for determining a linear prediction filter called additional filter, of lower order than the linear prediction filter of the first frequency band, the coefficients of the additional filter being obtained from the parameters decoded or extracted from the first frequency band; and- a module (401b) for computing the optimized scale factor as a function at least of the coefficients of the additional filter.
- Audio frequency signal decoder, characterized in that it comprises a device for determining an optimized scale factor according to Claim 8.
- Computer program comprising code instructions for implementing the steps of the method for determining an optimized scale factor according to one of Claims 1 to 7, when these instructions are executed by a processor.
- Storage medium that can be read by a device for determining an optimized scale factor on which is stored a computer program comprising code instructions for the execution of steps of the method for determining an optimized scale factor according to one of Claims 1 to 7.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1356909A FR3008533A1 (en) | 2013-07-12 | 2013-07-12 | OPTIMIZED SCALE FACTOR FOR FREQUENCY BAND EXTENSION IN AUDIO FREQUENCY SIGNAL DECODER |
| PCT/FR2014/051720 WO2015004373A1 (en) | 2013-07-12 | 2014-07-04 | Optimized scale factor for frequency band extension in an audiofrequency signal decoder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP3020043A1 EP3020043A1 (en) | 2016-05-18 |
| EP3020043B1 true EP3020043B1 (en) | 2017-02-08 |
Family
ID=49753286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP14749907.3A Active EP3020043B1 (en) | 2013-07-12 | 2014-07-04 | Optimized scale factor for frequency band extension in an audiofrequency signal decoder |
Country Status (11)
| Country | Link |
|---|---|
| US (8) | US10446163B2 (en) |
| EP (1) | EP3020043B1 (en) |
| JP (4) | JP6487429B2 (en) |
| KR (4) | KR102423081B1 (en) |
| CN (4) | CN107527629B (en) |
| BR (4) | BR122017018553B1 (en) |
| CA (4) | CA3108924A1 (en) |
| FR (1) | FR3008533A1 (en) |
| MX (1) | MX354394B (en) |
| RU (4) | RU2668058C2 (en) |
| WO (1) | WO2015004373A1 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2631906A1 (en) * | 2012-02-27 | 2013-08-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Phase coherence control for harmonic signals in perceptual audio codecs |
| CN105976830B (en) * | 2013-01-11 | 2019-09-20 | 华为技术有限公司 | Audio signal encoding and decoding method, audio signal encoding and decoding device |
| FR3008533A1 (en) * | 2013-07-12 | 2015-01-16 | Orange | OPTIMIZED SCALE FACTOR FOR FREQUENCY BAND EXTENSION IN AUDIO FREQUENCY SIGNAL DECODER |
| TWI557726B (en) * | 2013-08-29 | 2016-11-11 | 杜比國際公司 | System and method for determining a master scale factor band table for a highband signal of an audio signal |
| US20160323425A1 (en) * | 2015-04-29 | 2016-11-03 | Qualcomm Incorporated | Enhanced voice services (evs) in 3gpp2 network |
| US9830921B2 (en) * | 2015-08-17 | 2017-11-28 | Qualcomm Incorporated | High-band target signal control |
| US10825467B2 (en) * | 2017-04-21 | 2020-11-03 | Qualcomm Incorporated | Non-harmonic speech detection and bandwidth extension in a multi-source environment |
| US20190051286A1 (en) * | 2017-08-14 | 2019-02-14 | Microsoft Technology Licensing, Llc | Normalization of high band signals in network telephony communications |
| TWI684368B (en) * | 2017-10-18 | 2020-02-01 | 宏達國際電子股份有限公司 | Method, electronic device and recording medium for obtaining hi-res audio transfer information |
| TWI809289B (en) * | 2018-01-26 | 2023-07-21 | 瑞典商都比國際公司 | Method, audio processing unit and non-transitory computer readable medium for performing high frequency reconstruction of an audio signal |
| CN110660409A (en) * | 2018-06-29 | 2020-01-07 | 华为技术有限公司 | Method and device for spreading spectrum |
| BR112021019785A2 (en) * | 2019-04-03 | 2021-12-07 | Dolby Laboratories Licensing Corp | Media server for scalable voice scenes |
| US11184617B2 (en) * | 2019-09-19 | 2021-11-23 | Qualcomm Incorporated | Transform unit design for video coding |
| CN115136236A (en) | 2020-02-25 | 2022-09-30 | 索尼集团公司 | Signal processing device, signal processing method, and program |
| RU2747368C1 (en) * | 2020-07-13 | 2021-05-04 | федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации | Method for monitoring and managing information security of mobile communication network |
| CN114333856B (en) * | 2021-12-24 | 2024-08-02 | 南京西觉硕信息科技有限公司 | Method, device and system for solving second half frame voice signal when linear prediction coefficient is given |
| WO2025201625A1 (en) * | 2024-03-25 | 2025-10-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder and decoder |
Family Cites Families (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2240252T3 (en) * | 1991-06-11 | 2005-10-16 | Qualcomm Incorporated | VARIABLE SPEED VOCODIFIER. |
| US5455888A (en) * | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
| SE502244C2 (en) * | 1993-06-11 | 1995-09-25 | Ericsson Telefon Ab L M | Method and apparatus for decoding audio signals in a system for mobile radio communication |
| JP3189614B2 (en) * | 1995-03-13 | 2001-07-16 | 松下電器産業株式会社 | Voice band expansion device |
| US6002352A (en) * | 1997-06-24 | 1999-12-14 | International Business Machines Corporation | Method of sampling, downconverting, and digitizing a bandpass signal using a digital predictive coder |
| US7072832B1 (en) * | 1998-08-24 | 2006-07-04 | Mindspeed Technologies, Inc. | System for speech encoding having an adaptive encoding arrangement |
| US6453287B1 (en) * | 1999-02-04 | 2002-09-17 | Georgia-Tech Research Corporation | Apparatus and quality enhancement algorithm for mixed excitation linear predictive (MELP) and other speech coders |
| JP4792613B2 (en) * | 1999-09-29 | 2011-10-12 | ソニー株式会社 | Information processing apparatus and method, and recording medium |
| FI119576B (en) | 2000-03-07 | 2008-12-31 | Nokia Corp | Speech processing device and procedure for speech processing, as well as a digital radio telephone |
| US6889182B2 (en) * | 2001-01-12 | 2005-05-03 | Telefonaktiebolaget L M Ericsson (Publ) | Speech bandwidth extension |
| AUPR433901A0 (en) * | 2001-04-10 | 2001-05-17 | Lake Technology Limited | High frequency signal construction method |
| US6732071B2 (en) * | 2001-09-27 | 2004-05-04 | Intel Corporation | Method, apparatus, and system for efficient rate control in audio encoding |
| US7512535B2 (en) * | 2001-10-03 | 2009-03-31 | Broadcom Corporation | Adaptive postfiltering methods and systems for decoding speech |
| US6895375B2 (en) * | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
| EP1440300B1 (en) * | 2001-11-02 | 2005-12-28 | Matsushita Electric Industrial Co., Ltd. | Encoding device, decoding device and audio data distribution system |
| BR0305555A (en) * | 2002-07-16 | 2004-09-28 | Koninkl Philips Electronics Nv | Method and encoder for encoding an audio signal, apparatus for providing an audio signal, encoded audio signal, storage medium, and method and decoder for decoding an encoded audio signal |
| US7299190B2 (en) * | 2002-09-04 | 2007-11-20 | Microsoft Corporation | Quantization and inverse quantization for audio |
| JP4676140B2 (en) * | 2002-09-04 | 2011-04-27 | マイクロソフト コーポレーション | Audio quantization and inverse quantization |
| EP1672618B1 (en) * | 2003-10-07 | 2010-12-15 | Panasonic Corporation | Method for deciding time boundary for encoding spectrum envelope and frequency resolution |
| EP2221808B1 (en) * | 2003-10-23 | 2012-07-11 | Panasonic Corporation | Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof |
| CA2457988A1 (en) * | 2004-02-18 | 2005-08-18 | Voiceage Corporation | Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization |
| ATE475964T1 (en) * | 2004-03-01 | 2010-08-15 | Dolby Lab Licensing Corp | MULTI-CHANNEL AUDIO DECODING |
| FI119533B (en) * | 2004-04-15 | 2008-12-15 | Nokia Corp | Coding of audio signals |
| US20070147518A1 (en) * | 2005-02-18 | 2007-06-28 | Bruno Bessette | Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX |
| US20090319277A1 (en) * | 2005-03-30 | 2009-12-24 | Nokia Corporation | Source Coding and/or Decoding |
| US8332228B2 (en) * | 2005-04-01 | 2012-12-11 | Qualcomm Incorporated | Systems, methods, and apparatus for anti-sparseness filtering |
| US8892448B2 (en) * | 2005-04-22 | 2014-11-18 | Qualcomm Incorporated | Systems, methods, and apparatus for gain factor smoothing |
| FR2888699A1 (en) * | 2005-07-13 | 2007-01-19 | France Telecom | HIERACHIC ENCODING / DECODING DEVICE |
| US7974713B2 (en) * | 2005-10-12 | 2011-07-05 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Temporal and spatial shaping of multi-channel audio signals |
| US8332216B2 (en) * | 2006-01-12 | 2012-12-11 | Stmicroelectronics Asia Pacific Pte., Ltd. | System and method for low power stereo perceptual audio coding using adaptive masking threshold |
| US7831434B2 (en) * | 2006-01-20 | 2010-11-09 | Microsoft Corporation | Complex-transform channel coding with extended-band frequency coding |
| JP5117407B2 (en) * | 2006-02-14 | 2013-01-16 | フランス・テレコム | Apparatus for perceptual weighting in audio encoding / decoding |
| US20080004883A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Scalable audio coding |
| US8032371B2 (en) * | 2006-07-28 | 2011-10-04 | Apple Inc. | Determining scale factor values in encoding audio data with AAC |
| US8260609B2 (en) * | 2006-07-31 | 2012-09-04 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband encoding and decoding of inactive frames |
| US9454974B2 (en) * | 2006-07-31 | 2016-09-27 | Qualcomm Incorporated | Systems, methods, and apparatus for gain factor limiting |
| CN101140759B (en) * | 2006-09-08 | 2010-05-12 | 华为技术有限公司 | Bandwidth extension method and system for voice or audio signal |
| KR101565919B1 (en) | 2006-11-17 | 2015-11-05 | 삼성전자주식회사 | Method and apparatus for encoding and decoding high frequency signal |
| KR100905585B1 (en) * | 2007-03-02 | 2009-07-02 | 삼성전자주식회사 | Bandwidth expansion control method and apparatus of voice signal |
| US8392198B1 (en) * | 2007-04-03 | 2013-03-05 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Split-band speech compression based on loudness estimation |
| ES2663269T3 (en) * | 2007-06-11 | 2018-04-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder for encoding an audio signal that has a pulse-like portion and a stationary portion |
| KR101373004B1 (en) * | 2007-10-30 | 2014-03-26 | 삼성전자주식회사 | Apparatus and method for encoding and decoding high frequency signal |
| US8515767B2 (en) * | 2007-11-04 | 2013-08-20 | Qualcomm Incorporated | Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs |
| US20090201983A1 (en) * | 2008-02-07 | 2009-08-13 | Motorola, Inc. | Method and apparatus for estimating high-band energy in a bandwidth extension system |
| CN101281748B (en) * | 2008-05-14 | 2011-06-15 | 武汉大学 | Method for filling opening son (sub) tape using encoding index as well as method for generating encoding index |
| BRPI0915450B1 (en) * | 2008-07-10 | 2020-03-10 | Voiceage Corporation | Device and method for inversely quantizing and quantizing lpc filters in a superframe |
| WO2010031049A1 (en) * | 2008-09-15 | 2010-03-18 | GH Innovation, Inc. | Improving celp post-processing for music signals |
| US8463599B2 (en) * | 2009-02-04 | 2013-06-11 | Motorola Mobility Llc | Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder |
| JP4932917B2 (en) | 2009-04-03 | 2012-05-16 | 株式会社エヌ・ティ・ティ・ドコモ | Speech decoding apparatus, speech decoding method, and speech decoding program |
| US8571231B2 (en) * | 2009-10-01 | 2013-10-29 | Qualcomm Incorporated | Suppressing noise in an audio signal |
| AU2010309838B2 (en) * | 2009-10-20 | 2014-05-08 | Navigate Llc | Audio signal encoder, audio signal decoder, method for encoding or decoding an audio signal using an aliasing-cancellation |
| CA2683983A1 (en) | 2009-10-21 | 2011-04-21 | Carbon Solutions Inc. | Stabilization and remote recovery of acid gas fractions from sour wellsite gas |
| US8484020B2 (en) * | 2009-10-23 | 2013-07-09 | Qualcomm Incorporated | Determining an upperband signal from a narrowband signal |
| CN102044250B (en) | 2009-10-23 | 2012-06-27 | 华为技术有限公司 | Band spreading method and apparatus |
| US8380524B2 (en) * | 2009-11-26 | 2013-02-19 | Research In Motion Limited | Rate-distortion optimization for advanced audio coding |
| US8455888B2 (en) * | 2010-05-20 | 2013-06-04 | Industrial Technology Research Institute | Light emitting diode module, and light emitting diode lamp |
| CN103026407B (en) * | 2010-05-25 | 2015-08-26 | 诺基亚公司 | Bandwidth extender |
| US8600737B2 (en) * | 2010-06-01 | 2013-12-03 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for wideband speech coding |
| US8862465B2 (en) * | 2010-09-17 | 2014-10-14 | Qualcomm Incorporated | Determining pitch cycle energy and scaling an excitation signal |
| US8924200B2 (en) * | 2010-10-15 | 2014-12-30 | Motorola Mobility Llc | Audio signal bandwidth extension in CELP-based speech coder |
| CN103035248B (en) * | 2011-10-08 | 2015-01-21 | 华为技术有限公司 | Encoding method and device for audio signals |
| EP2791937B1 (en) * | 2011-11-02 | 2016-06-08 | Telefonaktiebolaget LM Ericsson (publ) | Generation of a high band extension of a bandwidth extended audio signal |
| US9589576B2 (en) * | 2011-11-03 | 2017-03-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Bandwidth extension of audio signals |
| US8909539B2 (en) * | 2011-12-07 | 2014-12-09 | Gwangju Institute Of Science And Technology | Method and device for extending bandwidth of speech signal |
| CN102930872A (en) * | 2012-11-05 | 2013-02-13 | 深圳广晟信源技术有限公司 | Method and device for postprocessing pitch enhancement in broadband speech decoding |
| JP6096934B2 (en) * | 2013-01-29 | 2017-03-15 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | Decoder for generating frequency-extended audio signal, decoding method, encoder for generating encoded signal, and encoding method using compact selection side information |
| FR3008533A1 (en) * | 2013-07-12 | 2015-01-16 | Orange | OPTIMIZED SCALE FACTOR FOR FREQUENCY BAND EXTENSION IN AUDIO FREQUENCY SIGNAL DECODER |
| CN108172239B (en) * | 2013-09-26 | 2021-01-12 | 华为技术有限公司 | Method and device for expanding frequency band |
| CN105761723B (en) * | 2013-09-26 | 2019-01-15 | 华为技术有限公司 | A kind of high-frequency excitation signal prediction technique and device |
| US10163447B2 (en) * | 2013-12-16 | 2018-12-25 | Qualcomm Incorporated | High-band signal modeling |
| US9542955B2 (en) * | 2014-03-31 | 2017-01-10 | Qualcomm Incorporated | High-band signal coding using multiple sub-bands |
| US9697843B2 (en) * | 2014-04-30 | 2017-07-04 | Qualcomm Incorporated | High band excitation signal generation |
| JP2017145792A (en) | 2016-02-19 | 2017-08-24 | 株式会社ケーヒン | Sensor mounting structure for intake manifold |
| RU2636700C1 (en) | 2016-03-18 | 2017-11-27 | Акционерное общество "Лаборатория Касперского" | Method for eliminating vulnerabilities of devices having access to internet |
| TWI596952B (en) * | 2016-03-21 | 2017-08-21 | 固昌通訊股份有限公司 | In-ear earphone |
-
2013
- 2013-07-12 FR FR1356909A patent/FR3008533A1/en active Pending
-
2014
- 2014-07-04 RU RU2016104466A patent/RU2668058C2/en active
- 2014-07-04 RU RU2017144515A patent/RU2756435C2/en active
- 2014-07-04 US US14/904,555 patent/US10446163B2/en active Active
- 2014-07-04 MX MX2016000255A patent/MX354394B/en active IP Right Grant
- 2014-07-04 BR BR122017018553-5A patent/BR122017018553B1/en active IP Right Grant
- 2014-07-04 BR BR112016000337-3A patent/BR112016000337B1/en active IP Right Grant
- 2014-07-04 EP EP14749907.3A patent/EP3020043B1/en active Active
- 2014-07-04 BR BR122017018557-8A patent/BR122017018557B1/en active IP Right Grant
- 2014-07-04 KR KR1020177024526A patent/KR102423081B1/en active Active
- 2014-07-04 JP JP2016524867A patent/JP6487429B2/en active Active
- 2014-07-04 CN CN201710730366.8A patent/CN107527629B/en active Active
- 2014-07-04 KR KR1020167003307A patent/KR102315639B1/en active Active
- 2014-07-04 RU RU2017144518A patent/RU2751104C2/en active
- 2014-07-04 KR KR1020177024532A patent/KR102343019B1/en active Active
- 2014-07-04 CN CN201710729750.6A patent/CN107527628B/en active Active
- 2014-07-04 CA CA3108924A patent/CA3108924A1/en active Pending
- 2014-07-04 CA CA3108921A patent/CA3108921C/en active Active
- 2014-07-04 RU RU2017144519A patent/RU2756434C2/en active
- 2014-07-04 CA CA2917795A patent/CA2917795C/en active Active
- 2014-07-04 CN CN201480039594.5A patent/CN105378837B/en active Active
- 2014-07-04 CN CN201710730367.2A patent/CN107492385B/en active Active
- 2014-07-04 CA CA3109028A patent/CA3109028C/en active Active
- 2014-07-04 WO PCT/FR2014/051720 patent/WO2015004373A1/en not_active Ceased
- 2014-07-04 KR KR1020177024524A patent/KR102319881B1/en active Active
- 2014-07-04 BR BR122017018556-0A patent/BR122017018556B1/en active IP Right Grant
-
2017
- 2017-07-27 JP JP2017145792A patent/JP6515147B2/en active Active
- 2017-09-13 JP JP2017175593A patent/JP6515158B2/en active Active
- 2017-09-13 JP JP2017175592A patent/JP6515157B2/en active Active
- 2017-09-26 US US15/715,785 patent/US10354664B2/en active Active
- 2017-09-26 US US15/715,819 patent/US10438600B2/en active Active
- 2017-09-26 US US15/715,733 patent/US10438599B2/en active Active
-
2019
- 2019-08-16 US US16/542,440 patent/US10943593B2/en active Active
- 2019-08-21 US US16/546,898 patent/US10943594B2/en active Active
- 2019-08-28 US US16/553,595 patent/US10672412B2/en active Active
- 2019-08-30 US US16/556,332 patent/US10783895B2/en active Active
Non-Patent Citations (1)
| Title |
|---|
| None * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3020043B1 (en) | Optimized scale factor for frequency band extension in an audiofrequency signal decoder | |
| EP3014611B1 (en) | Improved frequency band extension in an audio signal decoder | |
| EP3330966B1 (en) | Improved frequency band extension in an audio frequency signal decoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| 17P | Request for examination filed |
Effective date: 20160210 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| DAX | Request for extension of the european patent (deleted) | ||
| RIN1 | Information on inventor provided before grant (corrected) |
Inventor name: RAGOT, STEPHANE Inventor name: KANIEWSKA, MAGDALENA |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| INTG | Intention to grant announced |
Effective date: 20161123 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP Ref country code: AT Ref legal event code: REF Ref document number: 867179 Country of ref document: AT Kind code of ref document: T Effective date: 20170215 |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602014006746 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
| REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20170208 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 4 |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 867179 Country of ref document: AT Kind code of ref document: T Effective date: 20170208 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 602014006746 Country of ref document: DE Owner name: KONINKLIJKE PHILIPS N.V., NL Free format text: FORMER OWNER: ORANGE, PARIS, FR |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170509 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170508 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170608 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: NL Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170208 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170508 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20170824 AND 20170830 |
|
| RAP2 | Party data changed (patent owner data changed or rights of a patent transferred) |
Owner name: KONINKLIJKE PHILIPS N.V. |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602014006746 Country of ref document: DE |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| 26N | No opposition filed |
Effective date: 20171109 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170731 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170731 Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170704 |
|
| REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20170731 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170704 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 5 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170731 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20140704 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170208 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170608 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 602014006746 Country of ref document: DE Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R039 Ref document number: 602014006746 Country of ref document: DE Ref country code: DE Ref legal event code: R008 Ref document number: 602014006746 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: S72Z Free format text: COUNTERCLAIM LODGED; COUNTERCLAIM FOR REVOCATION LODGED AT THE PATENTS COURT ON 30 SEPTEMBER 2022 (HP-2020-000010) |
|
| P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230527 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R040 Ref document number: 602014006746 Country of ref document: DE |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20250728 Year of fee payment: 12 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20250722 Year of fee payment: 12 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20250725 Year of fee payment: 12 |