DE19617654C1

DE19617654C1 - Stereo or multi=channel sound signal coding method

Info

Publication number: DE19617654C1
Application number: DE1996117654
Authority: DE
Inventors: Andreas Silzle
Original assignee: Institut fuer Rundfunktechnik GmbH
Current assignee: Institut fuer Rundfunktechnik GmbH
Priority date: 1996-05-03
Filing date: 1996-05-03
Publication date: 1997-07-24
Anticipated expiration: 2016-05-04

Abstract

The coding method involves digitising each channel signal before splitting into a number of partial band signals. Each partial band signal is normalised using a scale factor determined from the maximum signal level over a block length for the partial band signal . The normalised partial band signals are quantised using a psychoacoustic model obtained from a frequency analysis of the tone signal, and combined, with a formation of two data streams with and without dynamic crosstalk, and subjected to a separate decoding and frequency analysis. The results of the frequency analysis are compared and the scale factor is corrected, for the formation of a data stream with the new scale factor.

Description

Die Erfindung bezieht sich auf ein Verfahren zur Codierung mehrkanaliger Tonsignale gemäß der DE 42 09 544 C2.The invention relates to a method for coding multi-channel audio signals according to DE 42 09 544 C2.

In der DE 42 09 544 C2 sind grundsätzliche Blockschaltbilder für einen Encoder und einen Decoder gezeigt, welche in den Fig. 1 und 2 nochmals wiedergegeben sind. Wie man aus Fig. 1 erkennt, wird das mehrkanalige Tonsignal mit einer Filterbank 10 in i Teilbänder aufgeteilt. In diesen Teilbandsignalen wird für eine Blocklänge der Maximalwert ermittelt. Dies ist der Skalenfaktor SCF. Das Teilbandsignal wird mit dem Skalenfaktor SCF in Normierstufen 12 normiert. Mit einem psychoakustischen Modell 15, das auf einer Frequenzanalyse, der Anwendung der psychoakustischen Eigenschaften des menschlichen (Gehörs (Mithörschwelle, Ruhehörschwelle) und einem Vergleich zwischen den Kanälen entsprechend den binauralen Höreigenschaften des menschlichen (Gehörs beruht, wird die Quantisierung der normierten Teilbänder in Quantisierungsstufen 13 gesteuert. Die quantisierten, normierten Teilbandsignale, die Skalenfaktoren SCF und Nebeninformationen DAL und COM werden in einem Multiplexer 14 zu einem Datenstrom MUX zusammengefaßt. In dem Decoder gemäß Fig. 2 wird der Datenstrom durch einen Demultiplexer 24 wieder in Teilbandsignale, Skalenfaktoren und Nebeninformationen getrennt. Die Nutzsignale werden in Dequantisierungsstufen 23 dequantisiert und in einem nachfolgenden Dekombinierer in die ursprünglichen, normierten Teilbandsignale rückgewandelt. In einer Denormierungsstufe 22 wird die Normierung rückgängig gemacht, worauf die Teilbandsignale in einer Rekonstruktionsfilterbank 20 wieder zu breitbandigen Kanalsignalen S₁′′ bis S_n′′ zusammengefügt werden.DE 42 09 544 C2 shows basic block diagrams for an encoder and a decoder, which are shown again in FIGS. 1 and 2. As can be seen from FIG. 1, the multi-channel audio signal is divided into i subbands with a filter bank 10 . The maximum value for a block length is determined in these subband signals. This is the scale factor SCF. The subband signal is normalized with the scale factor SCF in standardization levels 12 . With a psychoacoustic model 15 , which is based on a frequency analysis, the application of the psychoacoustic properties of the human (hearing (listening threshold, resting hearing threshold) and a comparison between the channels according to the binaural listening properties of the human (hearing), the quantization of the standardized subbands in quantization levels 13 controlled. the quantized, normalized subband signals, the scale factors SCF and side information DAL and COM are combined in a multiplexer 14 into a data stream MUX. in the decoder of FIG. 2, the data stream is again separated into sub-band signals, scale factors and side information by a demultiplexer 24th the useful signals are dequantized in Dequantisierungsstufen 23 and converted back into a subsequent decombiner in the original, normalized subband signals. in a Denormierungsstufe 22, the normalization is undone, whereupon the sub-band signals in a reconstruction filter bank 20 again to broadband channel signals S₁ '' to S _n '' are combined.

Um die Redundanz in den Kanälen S₁ bis S_n des mehrkanaligen Tonsignals zu einer weiteren Bitratenreduktion auszunutzen, läßt sich bei dem bekannten Verfahren die Codiermethode des dynamischen Übersprechens (englisch: "Dynamic Crosstalk") anwenden, welche in der DE 42 09 544 C2 als "Punktierung" bezeichnet ist. Bei dem dynamischen Übersprechen wird davon ausgegangen, daß für die räumliche Abbildung mehrkanaliger Signale im höherfrequenten Bereich die Unterschiede der Hüllkuven ausreichen. Diese Hüllkuven können durch die zeitliche Folge der Skalenfaktoren SCF angenähert werden. Dafür werden encoderseitig im Kombinierer 11 aus den Teil bandsignalen, d. h. den Eingangssignalen des Kombinierers 11 Summensignale erzeugt. Bei einem aus zwei oder mehreren Teilbandsignalen gebildeten Summensignal braucht nur noch dieses Summensignal anstelle der beiden Teilbandsignale der Normierung und Quantisierung unterzogen zu werden. Diese Summensignalbildung wird, wie aus Fig. 1 hervorgeht, kanal- und teilbandweise von dem psychoakustischen Modell 15 mittels des Steuersignals COS gesteuert. Die für den Decoder (Fig. 2) benötigte, entsprechende Steuerinformation wird als Nebeninformation COM von dem psychoakustischen Modell 15 an den Multiplexer 14 übertragen.In order to utilize the redundancy in the channels S 1 to S _{n of} the multi-channel audio signal for a further bit rate reduction, the coding method of dynamic crosstalk (English: "Dynamic Crosstalk") can be used in the known method, which is described in DE 42 09 544 C2 as " Puncturing ". Dynamic crosstalk assumes that the differences in the envelopes are sufficient for the spatial imaging of multichannel signals in the higher-frequency range. These envelopes can be approximated by the temporal sequence of the scale factors SCF. For this purpose, sum signals are generated on the encoder side in the combiner 11 from the subband signals, ie the input signals of the combiner 11 . In the case of a composite signal formed from two or more subband signals, only this composite signal needs to be subjected to normalization and quantization instead of the two subband signals. As can be seen from FIG. 1, this sum signal formation is controlled in channels and sub-bands by the psychoacoustic model 15 by means of the control signal COS. The corresponding control information required for the decoder ( FIG. 2) is transmitted as secondary information COM from the psychoacoustic model 15 to the multiplexer 14 .

Mit Hilfe der Codiermethode des dynamischen Übersprechens läßt sich gegenüber einer mehrfachen monofonen Codierung der einzelnen Kanalsignale eine deutliche Reduzierung der Datenrate erreichen. Zur Durchführung des Verfahrens gemäß der DE 42 09 544 C2 ist gemäß ISO 13818-3 eine Filterbank 10 festgelegt, welche mit einer Filterbandbreite von 750Hz und einer Abtastrate von 1,5kHz, d. h., mit kritischer Abtastung arbeitet. Infolge der kritischen Abtastung entstehen in jedem Teilband große Spiegelanteile (Aliasing) aus den jeweils benachbarten oberen und unteren Teilbändern. Diese Spiegelanteile heben sich aufgrund des normierten Filteraufbaus in der Rekonstruktionsfilterbank 20 wieder heraus. Dies gilt jedoch nur dann, wenn die Teilbandsignale pegelmäßig zwischen Filterbank 10 und Rekonstruktionsfilterband 20 nicht verändert werden. Diese Voraussetzung läßt sich indessen bei Anwendung der Codiermethode des dynamischen Übersprechens nicht einhalten. Es ergeben sich vielmehr in den decodierten Kanalsignalen hörbare Fehler, wie sie beispielhaft aus einem Vergleich der Spektrogramme gemäß Fig. 3 und 4 ersichtlich sind. Dabei sind ein und dasselbe Signal das eine Mal ohne dynamisches Übersprechen (Fig. 3) und das andere Mal mit dynamischem Übersprechen (Fig. 4) codiert. Für die Darstellungen wurde ein Signal verwendet, welches aus drei Paaren verschiedener frequenzmodulierter Sinustöne besteht, wobei zur besseren Darstellung die drei Sinustonpaare zeitversetzt in den Spektrogrammen gemäß Fig. 3 und 4 aufgetragen sind. Jedes Spektrogramm besteht aus einer Aneinanderreihung von Proben (FFT′s), die jeweils mittels einer Primfaktoren-Fast-Fourier-Analyse gewonnen wurden. Jede FFT hat eine Analyselänge von 384 Abtastwerten entsprechend einer Länge von 8ms bei einer Abtastrate von 48kHz. Die Frequenzmodulation jedes Sinustones erkennt man anhand seines rampenförmigen zeitlichen Signalverlaufs. Aus dem Vergleich der Spektrogramme nach den Fig. 3 und 4 erkennt man, daß infolge der Codierung mit dynamischem Übersprechen in Fig. 4 zusätzlich zu den Sinustönen Störsignalanteile vorhanden sind. Diese Störsignalanteile entstehen durch die Summenbildung im Kombinierer 11 und die Erzeugung von Aliasing in der Rekonstruktionsfilterbank 20, was durch die Steuerung der Denormierungsstufen 22 durch die Skalenfaktoren nicht beeinflußt werden kann.With the aid of the coding method of dynamic crosstalk, a significant reduction in the data rate can be achieved compared to multiple monophonic coding of the individual channel signals. In order to carry out the method according to DE 42 09 544 C2, a filter bank 10 is defined according to ISO 13818-3, which operates with a filter bandwidth of 750 Hz and a sampling rate of 1.5 kHz, that is, with critical scanning. As a result of the critical scanning, large mirror components (aliasing) arise in each subband from the respectively adjacent upper and lower subbands. These mirror components stand out due to the standardized filter structure in the reconstruction filter bank 20 . However, this only applies if the level of the subband signals between the filter bank 10 and the reconstruction filter band 20 is not changed. However, this requirement cannot be met when using the coding method of dynamic crosstalk. Rather, there are audible errors in the decoded channel signals, as can be seen, for example, from a comparison of the spectrograms according to FIGS. 3 and 4. One and the same signal is coded one time without dynamic crosstalk ( FIG. 3) and the other time with dynamic crosstalk ( FIG. 4). A signal was used for the representations, which consists of three pairs of different frequency-modulated sine tones, the three sine tone pairs being plotted in the spectrograms according to FIGS. 3 and 4 for a better representation. Each spectrogram consists of a series of samples (FFT's), which were obtained using a prime factor fast Fourier analysis. Each FFT has an analysis length of 384 samples corresponding to a length of 8ms at a sampling rate of 48kHz. The frequency modulation of each sinus tone can be recognized by its ramp-shaped signal curve over time. From the comparison of the spectrograms according to FIGS. 3 and 4 it can be seen that, as a result of the coding with dynamic crosstalk in FIG. 4, interference signal components are present in addition to the sine tones. These interference signal components result from the formation of sums in the combiner 11 and the generation of aliasing in the reconstruction filter bank 20 , which cannot be influenced by the scale factors through the control of the denormalization stages 22 .

Die Differenz zwischen den Spektrogrammen gemäß Fig. 3 und 4 ist in Fig. 5 veranschaulicht. Die Färbung Grau bedeutet in der Darstellung nach Fig. 5 die Differenz Null, d. h., es liegt kein Fehler vor. Eine Färbung in Richtung Schwarz ist ein positiver Fehler, eine Färbung in Richtung Weiß ein negativer Fehler. Die Länge eines Skalenfaktors entspricht der FFT-Länge von 384 Abtastwerten bzw. 8ms. Sechs Energie-FFT-Linien (Abtastfrequenz von 48kHz) ergeben 750Hz, d. h., die Filterbandbreite eines Teilbandfilters der Filterbänke 10 und 20. Es sind in Fig. 5 deutlich die von Grau abweichenden Fehler zu erkennen. Da diese Fehlerwerte die Differenzen der Energien repräsentieren, können sie auch hörbar sein.The difference between the spectrograms according to FIGS. 3 and 4 is illustrated in FIG. 5. The color gray in the illustration according to FIG. 5 means the difference zero, ie there is no error. Coloring in the direction of black is a positive error, coloring in the direction of white is a negative error. The length of a scale factor corresponds to the FFT length of 384 samples or 8 ms. Six energy FFT lines (sampling frequency of 48 kHz) result in 750 Hz, ie the filter bandwidth of a subband filter of filter banks 10 and 20 . There are five clearly seen in Fig. Which differ from Gray mistakes. Since these error values represent the differences in energies, they can also be audible.

Die Aufgabe der Erfindung besteht darin, ein Codierverfahren der genannten Art dahingehend zu verbessern, daß bei Anwendung der Codiermethode des dynamischen Übersprechens die hörbaren Fehler deutlich verringert werden. The object of the invention is to provide a coding method of the type mentioned to improve in that when using the coding method of dynamic Crosstalk the audible errors are significantly reduced.

Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruchs gelöst.This object is achieved by the characterizing features of Claim resolved.

Vorteilhafte Ausgestaltungen und Weiterbildungen des erfindungsgemaßen Verfahrens ergeben sich aus den Unteransprüchen.Advantageous refinements and developments of the method according to the invention result from the subclaims.

Die Lösung der Aufgabe beruht auf der Überlegung, vor einer endgültigen Codierung der Teilbandsignale die durch das dynamische Übersprechen erzeugten Fehler zu erfassen und mit Hilfe eines Regelkreises in die endgültige Codierung gegenläufig einzubeziehen. Hierzu wird in den Encoder ein Decoder eingebaut, mit dem das vorläufig nach der Methode des dynamischen Übersprechens codierte Signal decodiert wird. Ferner wird als Sollwert ein ohne dynamisches Übersprechen codiertes Signal erzeugt und mit dem Istwert, also dem fehlerhaft codierten Tonsignal, verglichen. Der ermittelte Fehler wird bei der endgültigen Codierung gegenläufig berücksichtigt, wodurch sich bei der Decodierung der Gesamtfehler wesentlich verringert. Auf diese Weise kann die Anzahl der Teilbänder, in denen dynamisches Übersprechen eingesetzt wird, stark erhöht werden, um die erzielbare Datenreduktion entsprechend zu erhöhen.The solution to the problem is based on the consideration before a final coding of the subband signals to the errors generated by the dynamic crosstalk record and counter with the help of a control loop in the final coding to involve. For this purpose, a decoder is built into the encoder, with which the Signal temporarily coded using the dynamic crosstalk method becomes. Furthermore, a signal coded without dynamic crosstalk is used as the setpoint generated and compared with the actual value, ie the incorrectly coded audio signal. Of the the errors determined are taken into account in the final coding, which significantly reduces the total error during decoding. To this Way, the number of subbands in which dynamic crosstalk is used will be greatly increased in order to increase the achievable data reduction accordingly.

Die Erfindung wird anhand der Zeichnungen näher erläutert. Es zeigt:The invention is explained in more detail with reference to the drawings. It shows:

Fig. 6 ein Flußdiagramm zur Erläuterung des erfindungsgemäßen Codier verfahrens und Fig. 6 is a flow chart for explaining the coding method according to the invention and

Fig. 7 ein Flußdiagramm einer weiteren Ausführungsform des er findungsgemäßen Codierverfahrens. Fig. 7 is a flowchart of another embodiment of the inventive coding method.

Das anhand von Fig. 6 veranschaulichte Codierungsverfahren arbeitet wie folgt:The coding method illustrated with reference to FIG. 6 works as follows:

Es wird ausgegangen von einem bekannten Encoder 61, wie er in der DE 42 09 544 C2 beschrieben und in Fig. 1 in seinem grundsätzlichen Aufbau dargestellt ist. Der Encoder 61 erzeugt 2 codierte Signale, und zwar eine Signalversion ohne dynamisches Übersprechen und eine Signalversion mit dynamischem Übersprechen. Beide Signalversionen werden vollständig mit Hilfe jeweils eines Decoders 62a bzw. 62b decodiert, dessen grundsätzlicher Aufbau in Fig. 2 dargestellt ist. Danach erfolgt in Funktionsstufen 63a bzw. 63b eine Frequenzanalyse für jede decodierte Signalversion. Bei dem Vergleich (Stufe 64) der spektralanalysierten, decodierten Signalversionen erkennt man den Unterschied zwischen der Codierung ohne dynamisches Übersprechen und der Codierung mit dynamischem Übersprechen. Dabei stellt die Decodierung mit dynamischem Übersprechen den Istwert, die Decodierung ohne dynamischem Übersprechen den Sollwert dar. Die Frequenzanalyse erfolgt in der oben anhand von Fig. 5 beschriebenen Weise, also exakt für den Bereich, welcher einem Skalenfaktor entspricht, d. h., bei einer Abtastrate von 48kHz für eine Länge von 8ms und einer Breite von 750Hz. Die normierte Summation von 6 Energie-FFT-Linien ergibt ein Maß für den Energiegehalt unter dieser Fläche. Der Fehler ist die Differenz der Werte aus den beiden unterschiedlichen Codierungen. Diese Differenz wird zu den Skalenfaktoren der zu korrigierenden Kanäle hinzuaddiert (65). Diese neuen Skalenfaktoren werden in den bestehenden Datenstrom eingefügt. Dies ergibt das korrigierte Signal.It is assumed that a known encoder 61 , as described in DE 42 09 544 C2 and shown in Fig. 1 in its basic structure. The encoder 61 generates 2 coded signals, namely a signal version without dynamic crosstalk and a signal version with dynamic crosstalk. Both signal versions are completely decoded with the aid of a decoder 62 a or 62 b, the basic structure of which is shown in FIG. 2. This is followed by a frequency analysis for each decoded signal version in function stages 63 a and 63 b. The comparison (stage 64 ) of the spectrally analyzed, decoded signal versions shows the difference between the coding without dynamic crosstalk and the coding with dynamic crosstalk. The decoding with dynamic crosstalk represents the actual value, the decoding without dynamic crosstalk represents the setpoint. The frequency analysis is carried out in the manner described above with reference to FIG. 5, that is to say exactly for the range which corresponds to a scale factor, ie at a sampling rate of 48kHz for a length of 8ms and a width of 750Hz. The standardized summation of 6 energy FFT lines gives a measure of the energy content under this area. The error is the difference between the values from the two different encodings. This difference is added to the scale factors of the channels to be corrected ( 65 ). These new scale factors are inserted into the existing data stream. This gives the corrected signal.

Um Rechenzeit einzusparen, kann für die Frequenzanalyse des Signals ohne dynamisches Übersprechen auch die schon für die Psychoakustik benutzten FFT verwendet werden. Siehe Bild 7. Es kann damit gegenüber der vorherigen Beschreibung die Hälfte an Rechenzeit eingespart werden, weil die Hälfte der Rückfilterungen und Frequenzanalysen entfällt. Die noch verbleibende FFT (63) muß aus Vergleichsgründen natürlich dieselbe 1024er FFT mittig zum 24ms Frame sein, die auch vorher in der Psychoakustik verwendet wurde. Weil dann nur eine Frequenzanalyse für 24ms zur Verfügung steht, müssen drei Skalenfaktoren mit einem Wert korrigiert werden.In order to save computing time, the FFT already used for psychoacoustics can also be used for frequency analysis of the signal without dynamic crosstalk. See Fig. 7. Compared to the previous description, half of the computing time can be saved because half of the back-filtering and frequency analyzes are omitted. For comparison reasons, the remaining FFT ( 63 ) must of course be the same 1024 FFT in the center of the 24ms frame that was previously used in psychoacoustics. Because only one frequency analysis is then available for 24ms, three scale factors must be corrected with one value.

Bei speziellen Signalen (insbesondere künstlich erzeugten, siehe Bild 3) kann der Fall eintreten, daß ein Skalenfaktor geändert werden soll, der gar nicht existiert. In the case of special signals (in particular artificially generated, see Figure 3), it may happen that a scale factor that does not exist should be changed.

Teilbänder, die keine Bitzuweisung erhalten haben, haben auch keinen Skalenfaktor. In ihnen kann aber sehr wohl im Decoder durch Aliasing ein deutlich hörbares Fehlersignal entstehen, das man durch die Skalenfaktoren reduzieren möchte. Das Einführen dieses Skalenfaktors bei der Codierung mit dynamischer Datenrate ist kein Problem. Bei der Codierung mit einer festen Datenrate muß u. U. die Bitzuweisung neu erfolgen, da kein Platz mehr für diesen Skalenfaktor ist.Subbands that have not been assigned a bit also have no scale factor. In however, they can be clearly audible in the decoder through aliasing Error signal arise that you want to reduce by the scale factors. The Introducing this scale factor when coding with dynamic data rate is not Problem. When coding with a fixed data rate u. The bit allocation may be new because there is no more space for this scale factor.

Claims

1. Method for coding a two- or multi-channel audio signal, with the following method steps:

a) Each channel signal is digitized and split into a number of subband signals, the individual subbands adjoining one another in an overlapping manner;
b) in each subband signal the maximum level value is determined for a block length, which represents the scale factor SCF for the relevant subband signal;
c) each subband signal is standardized with the determined, associated scale factor SCF;
d) each standardized subband signal is quantized in accordance with a psychoacoustic model which is based on a frequency analysis of the multi-channel audio signal;
e) from different channel signals, higher-frequency subband signals with a corresponding subband range are added to subband sum signals, the subband regions and channels affected by the summation being selected by the psychoacoustic model in accordance with the dynamic crosstalk method and this selection being identified in the form of secondary information;
f) the quantized, low- and medium-frequency subband signals and the subband sum signals are combined together with the scale factors SCF and the secondary information to form a first data stream, characterized by the following further features:
g) A second data stream is generated from the multi-channel audio signal without using the method of dynamic crosstalk according to steps;
h) the two data streams are decoded separately;
i) the channel signals decoded from the first data stream and the channel signals decoded from the second data stream are spectrally analyzed;
j) for the same channels and the same subbands of the multi-channel sound signals obtained from the decoding of both data streams, the spectral drives are compared with one another;
k) a third data stream is generated using the dynamic crosstalk method, the error signals obtained from the comparison according to step j) being used to correct the scale factors SCF, and
l) the third data stream is further used as the coding result.

2. The method according to claim 1, characterized in that the generation of the second data stream according to step g) and its decoding according to step b) using a Fast Fourier Transform (FFT).