[go: up one dir, main page]

RU2834349C2 - Audio decorrelator, processing system and method for decorrelation of audio signal - Google Patents

Audio decorrelator, processing system and method for decorrelation of audio signal Download PDF

Info

Publication number
RU2834349C2
RU2834349C2 RU2023125800A RU2023125800A RU2834349C2 RU 2834349 C2 RU2834349 C2 RU 2834349C2 RU 2023125800 A RU2023125800 A RU 2023125800A RU 2023125800 A RU2023125800 A RU 2023125800A RU 2834349 C2 RU2834349 C2 RU 2834349C2
Authority
RU
Russia
Prior art keywords
decorrelator
frequency representation
audio signal
delay
signal
Prior art date
Application number
RU2023125800A
Other languages
Russian (ru)
Other versions
RU2023125800A (en
Inventor
Саша ДИШ
Карлотта АНЕМЮЛЛЕР
Юрген ХЕРРЕ
Original Assignee
Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. filed Critical Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Publication of RU2023125800A publication Critical patent/RU2023125800A/en
Application granted granted Critical
Publication of RU2834349C2 publication Critical patent/RU2834349C2/en

Links

Abstract

FIELD: processing data.
SUBSTANCE: present invention relates to an audio signal decorrelator. Decorrelator comprises a plurality of delay units, wherein each delay unit is configured to receive a portion of the frequency representation based on an audio signal, wherein each delay unit is configured to delay the received portion to provide a delayed portion. Decorrelator comprises an envelope generator configured to receive and combine signals based on delayed portions of the frequency representation. Envelope generator receives a frequency representation of the audio signal and is configured to adjust the energy of the delayed portions with respect to the frequency representation of the audio signal. Envelope generator is configured to provide a frequency representation of the combined shape. Transient parts of the signal are handled by the adapted operation of the decorrelator.
EFFECT: enabling low processing delay and/or decorrelation with low complexity and high perceptual quality, particularly when processing signals containing transients.
41 cl, 10 dwg

Description

Настоящее изобретение относится к декоррелятору для аудиосигнала, к системе обработки, имеющей такой декоррелятор, к способу декорреляции и к компьютерному программному продукту. Настоящее изобретение, в частности, относится к декоррелятору аудиосигналов.The present invention relates to a decorrelator for an audio signal, to a processing system having such a decorrelator, to a decorrelation method and to a computer program product. The present invention relates in particular to an audio signal decorrelator.

В перцепционном аудиокодировании, декорреляторы представляют собой важный строительный блок для параметрического пространственного аудиокодирования. Известные решения относятся к декорреляторам, известным из параметрического пространственного аудиокодирования, такого как параметрический стереоподход или стандарт объемного звучания MPEG. Декорреляторы, как описано в [1] или в [2], используют вычислительно затратные реверберационные (reverb) фильтры временной области с длительным импульсным откликом. Декорреляторы, к примеру, описанные в [3] или [4], требуют использования гребенки квадратурных зеркальных фильтров (QMF) со значительной задержкой при обработке и вычислительно дорогих решетчатых фильтров.In perceptual audio coding, decorrelators are an important building block for parametric spatial audio coding. Known solutions are decorrelators known from parametric spatial audio coding, such as the parametric stereo approach or the MPEG surround standard. Decorrelators, as described in [1] or in [2], use computationally expensive time-domain reverb filters with long impulse response. Decorrelators, such as those described in [3] or [4], require the use of a quadrature mirror filter bank (QMF) with significant processing delay and computationally expensive lattice filters.

В силу этого существует потребность в декорреляторе, в системе обработки, имеющей такой декоррелятор, и в способе для декорреляции частей аудиосигнала, обеспечивающих возможность декорреляции с низкой задержкой обработки и/или с низкой вычислительной сложностью.There is therefore a need for a decorrelator, a processing system having such a decorrelator, and a method for decorrelating portions of an audio signal that enables decorrelation with low processing latency and/or low computational complexity.

Цель настоящего изобретения заключается в том, чтобы обеспечивать декоррелятор, систему обработки и способ для декорреляции, обеспечивающие возможность низкой задержки обработки и/или декорреляции с низкой сложностью и высоким перцепционным качеством, в частности, при обработке сигналов, содержащих транзиенты.The object of the present invention is to provide a decorrelator, a processing system and a method for decorrelation that enable low processing latency and/or decorrelation with low complexity and high perceptual quality, in particular when processing signals containing transients.

Это цель достигается посредством предмета изобретения, определенного в независимых пунктах формулы изобретения.This objective is achieved by means of the subject matter of the invention defined in the independent claims of the invention.

Результатом настоящего изобретения является то, что разделение частотного представления на множество частей и обработка, т.е. задержка каждой из частей отдельным модулем задержки, обеспечивают возможность низкой задержки обработки, поскольку вычисление различных частей может выполняться параллельно. Одновременно, такие операции в частотной области требуют низкой вычислительной сложности.The result of the present invention is that dividing the frequency representation into multiple parts and processing, i.e. delaying each of the parts by a separate delay module, enables low processing delay, since the calculation of different parts can be performed in parallel. At the same time, such operations in the frequency domain require low computational complexity.

Согласно варианту осуществления, декоррелятор содержит множество модулей задержки, при этом каждый модуль задержки выполнен с возможностью приема части частотного представления, основанного на аудиосигнале, при этом каждый модуль задержки выполнен с возможностью задержки принимаемой части, чтобы обеспечивать задержанную часть. Декоррелятор содержит формирователь огибающей, выполненный с возможностью приема и комбинирования сигналов, основанных на задержанных частях частотного представления, с возможностью приема частотного представления аудиосигнала, с возможностью регулирования энергии задержанных частей в отношении частотного представления аудиосигнала и с возможностью обеспечения частотного представления комбинированной формы.According to an embodiment, the decorrelator comprises a plurality of delay modules, wherein each delay module is configured to receive a part of a frequency representation based on an audio signal, wherein each delay module is configured to delay the received part in order to provide a delayed part. The decorrelator comprises an envelope shaper configured to receive and combine signals based on delayed parts of the frequency representation, with the ability to receive a frequency representation of the audio signal, with the ability to regulate the energy of the delayed parts in relation to the frequency representation of the audio signal and with the ability to provide a frequency representation of a combined form.

Согласно варианту осуществления, различные части частотного представления содержат одинаковое или различное число частотных бинов (bins). При этом одинаковое число частотных бинов может обеспечивать возможность одинакового времени обработки, различное число частотных бинов может обеспечивать возможность адаптации к требованиям приложения.According to an embodiment, the different parts of the frequency representation contain the same or different number of frequency bins. In this case, the same number of frequency bins can provide the possibility of the same processing time, and a different number of frequency bins can provide the possibility of adaptation to the requirements of the application.

Согласно варианту осуществления, декоррелятор содержит фазосдвигатель, выполненный с возможностью фазового сдвига частотного представления аудиосигнала или с возможностью фазового сдвига аудиосигнала во временной области для получения фазосдвинутого аудиосигнала. Фазовый сдвиг может обеспечивать возможность воспринимаемой реверберации и в силу этого высокого качества звучания.According to an embodiment, the decorrelator comprises a phase shifter, configured to phase shift the frequency representation of the audio signal or to phase shift the audio signal in the time domain to obtain a phase-shifted audio signal. The phase shift can provide the possibility of perceptible reverberation and, due to this, high sound quality.

Согласно варианту осуществления, фазосдвигатель выполнен с возможностью фазового сдвига частотного представления аудиосигнала и содержит множество всепропускающих (allpass) фильтров, при этом каждый всепропускающий фильтр выполнен с возможностью фазового сдвига ассоциированной части частотного представления аудиосигнала. Таким образом, всепропускающий фильтр может быть ассоциироваться и адаптироваться к соответствующей части аудиосигнала, что позволяет обеспечивать возможность высокого общего качества звучания.According to an embodiment, the phase shifter is configured to phase shift the frequency representation of the audio signal and comprises a plurality of all-pass filters, wherein each all-pass filter is configured to phase shift an associated part of the frequency representation of the audio signal. Thus, the all-pass filter can be associated and adapted to the corresponding part of the audio signal, which makes it possible to provide high overall sound quality.

Согласно варианту осуществления, всепропускающий фильтр из множества всепропускающих фильтров содержит набор структур всепропускающих фильтров, последовательно соединенных между собой, т.е. используются IIR(БИХ)-фильтры Шредера. Структуры всепропускающих фильтров выполнены с возможностью обеспечения различных временных задержек. Альтернативно или дополнительно, структуры всепропускающих фильтров содержат вложенную структуру всепропускающих фильтров.According to an embodiment, the all-pass filter of the plurality of all-pass filters comprises a set of all-pass filter structures connected in series with each other, i.e., IIR Schroeder filters are used. The all-pass filter structures are designed to provide different time delays. Alternatively or additionally, the all-pass filter structures comprise a nested all-pass filter structure.

Согласно варианту осуществления, число структур всепропускающих фильтров и/или схема структуры всепропускающих фильтров являются эквивалентными или отличаются между различными всепропускающими фильтрами. Это обеспечивает возможность высокой гибкости декоррелятора.According to an embodiment, the number of all-pass filter structures and/or the structure scheme of the all-pass filters are equivalent or different between different all-pass filters. This allows for high flexibility of the decorrelator.

Согласно варианту осуществления, различные временные задержки основаны на простом числе, кратном локальной частоте дискретизации, используемой для получения частотного представления аудиосигнала. Это обеспечивает возможность высокого воспринимаемого качества звучания.According to an embodiment, the various time delays are based on a prime multiple of the local sampling frequency used to obtain the frequency representation of the audio signal. This enables high perceived sound quality.

Согласно варианту осуществления, набор структур всепропускающих фильтров содержит структуры всепропускающих фильтров в числе четырех и они выполнены с возможностью обеспечения задержки в 1, 2, 3 и 5 единиц времени. Такая единица времени может быть основана на размере блока преобразования в частотную область. Например, при использовании размера блока в 256 с 50%-м перекрытием, единица времени может приводить к 128 выборкам @ 48 кГц=2,7 мс. Обоснованные другие единицы времени, например, могут составлять 32 или 64 выборки либо другие значения. Единицы времени предпочтительно являются достаточно короткими для того, чтобы обеспечивать возможность достаточного временного разрешения при последующем временном/частотном формировании огибающей. В альтернативном решении, задержка в 1, 3, 5 и 7 обеспечивается посредством четырех структур всепропускающих фильтров. Это позволяет не допускать перекрытий во временной области.According to an embodiment, the set of all-pass filter structures comprises four all-pass filter structures and they are configured to provide a delay of 1, 2, 3 and 5 time units. Such a time unit may be based on the size of the block of the transformation to the frequency domain. For example, when using a block size of 256 with 50% overlap, a time unit may result in 128 samples @ 48 kHz = 2.7 ms. Reasonable other time units, for example, can be 32 or 64 samples or other values. The time units are preferably short enough to allow sufficient time resolution in the subsequent time/frequency envelope shaping. In an alternative solution, a delay of 1, 3, 5 and 7 is provided by four all-pass filter structures. This allows for no overlaps in the time domain.

Согласно варианту осуществления, коэффициент усиления всепропускающего фильтра адаптируется к значению с абсолютной величиной, т.е. с положительными или отрицательными значениями, в 0,7 в пределах диапазона допусков. Диапазон допусков, например, составляет 20%, 10% или 5%.According to an embodiment, the gain of the all-pass filter is adapted to a value with an absolute value, i.e. with positive or negative values, of 0.7 within a tolerance range. The tolerance range is, for example, 20%, 10% or 5%.

Согласно варианту осуществления, фазосдвигатель выполнен с возможностью фазового сдвига аудиосигнала во временной области, при этом фазосдвигатель содержит набор структур всепропускающих фильтров, последовательно соединенных между собой, при этом структуры всепропускающих фильтров выполнены с возможностью обеспечения различных временных задержек. Альтернативно или дополнительно, структуры всепропускающих фильтров содержат вложенную структуру всепропускающих фильтров.According to an embodiment, the phase shifter is configured to phase shift the audio signal in the time domain, wherein the phase shifter comprises a set of all-pass filter structures connected in series with each other, wherein the all-pass filter structures are configured to provide different time delays. Alternatively or additionally, the all-pass filter structures comprise a nested all-pass filter structure.

Согласно варианту осуществления, различные всепропускающие временные задержки основаны на простом числе, кратном обратной величине частоты дискретизации, используемой для получения частотного представления аудиосигнала. Аналогично частотной области, соответствующее преимущество также может получаться во временной области. Во временной области, различные временные задержки могут быть основаны на простом числе, получаемом посредством умножения каждого из набора минимальных простых чисел, например, 1, 2, 3 и 5 в качестве одного примерного набора или 1, 3, 5 и 7 в качестве другого примерного набора, на коэффициент понижающей дискретизации, используемый для формирования частей частотного представления аудиосигнала, чтобы получать промежуточный результат, и для использования следующего простого числа относительно промежуточного результата. В качестве следующего простого числа, может пониматься ближайшее расстояние, например, чтобы получать следующее большее или следующее меньшее простое значение. В данном примере, значения в 131, 257, 383 и 641 могут получаться для первого набора и в 131, 383, 641 и 907 могут получаться для второго примерного набора. Здесь, одна единица времени может составлять 1 выборку. Выборка может быть связана с частотой дискретизации, составляющей, например, 48 кГц. В других вариантах осуществления, частота дискретизации также может составлять 44,1 кГц или 32 кГц либо другие значения.According to an embodiment, the various all-pass time delays are based on a prime number that is a multiple of the reciprocal of the sampling frequency used to obtain the frequency representation of the audio signal. Similar to the frequency domain, a corresponding advantage can also be obtained in the time domain. In the time domain, the various time delays can be based on a prime number that is obtained by multiplying each of a set of minimal prime numbers, such as 1, 2, 3 and 5 as one example set or 1, 3, 5 and 7 as another example set, by a downsampling factor used to form parts of the frequency representation of the audio signal, in order to obtain an intermediate result, and to use the next prime number relative to the intermediate result. The next prime number can be understood as the closest distance, such as to obtain the next higher or the next lower prime value. In this example, the values 131, 257, 383 and 641 may be obtained for the first set and 131, 383, 641 and 907 may be obtained for the second exemplary set. Here, one unit of time may be 1 sample. A sample may be associated with a sampling frequency of, for example, 48 kHz. In other embodiments, the sampling frequency may also be 44.1 kHz or 32 kHz or other values.

Согласно варианту осуществления, декоррелятор содержит первый модуль преобразования для получения частотного представления аудиосигнала из аудиосигнала для формирователя огибающей и содержит второй модуль преобразования для получения частотного представления из реверберированного аудиосигнала, при этом части частотного представления составляют части частотного представления из реверберированного аудиосигнала. Это позволяет генерировать используемый сигнал, формируемый непосредственно в декорреляторе.According to an embodiment, the decorrelator comprises a first conversion module for obtaining a frequency representation of the audio signal from the audio signal for the envelope shaper and comprises a second conversion module for obtaining a frequency representation from the reverberated audio signal, wherein parts of the frequency representation constitute parts of the frequency representation from the reverberated audio signal. This makes it possible to generate a usable signal formed directly in the decorrelator.

Согласно варианту осуществления, декоррелятор выполнен с возможностью дополнительной реализации одинаковой и предварительно заданной задержки для поднабора или всех частей частотного представления. Таким образом, задержка, которая равна для соответствующих частей или линий задержки, также может обычно применяться в общем блоке задержки, который обеспечивает возможность простых модулей задержки в соответствующих линиях задержки для ассоциированной части.According to an embodiment, the decorrelator is configured to additionally implement the same and predetermined delay for a subset or all parts of the frequency representation. Thus, a delay that is equal for the corresponding parts or delay lines can also be typically applied in a common delay unit that enables simple delay modules in the corresponding delay lines for the associated part.

Согласно варианту осуществления, модули задержки, ассоциированные со спектральной частью множества модулей задержки, выполнены с возможностью задержки ассоциированной части частотного представления по-другому по сравнению с модулями задержки, ассоциированными с другими спектральными частями. Это обеспечивает возможность высокого воспринимаемого качества посредством обработки различных частотных частей по-разному.According to an embodiment, the delay modules associated with a spectral part of the plurality of delay modules are configured to delay the associated part of the frequency representation differently compared to the delay modules associated with other spectral parts. This enables high perceptual quality by processing different frequency parts differently.

Согласно варианту осуществления, модуль задержки выполнен с возможностью задержки частей частотного представления, содержащих более низкие частоты с более высокой временной задержкой по сравнению с частями частотного представления, содержащими более высокие частоты.According to an embodiment, the delay module is configured to delay parts of the frequency representation containing lower frequencies with a higher time delay compared to parts of the frequency representation containing higher frequencies.

Согласно варианту осуществления, взаимосвязь между различными временными задержками является линейной, логарифмической и/или основанной на округлении по подполосным выборкам. Это обеспечивает возможность высокого воспринимаемого качества.According to an embodiment, the relationship between the different time delays is linear, logarithmic and/or based on rounding over subband samples. This enables high perceived quality.

Согласно варианту осуществления, декоррелятор содержит модуль преобразования для приема и преобразования аудиосигнала или реверберированной версии аудиосигнала в части посредством выполнения повременно-блочного дискретного преобразования Фурье (DFT) или кратковременного преобразования Фурье (STFT), при этом модуль преобразования выполнен с возможностью преобразования блоков, имеющих перекрытие в 50% в пределах диапазона допусков. Такое поблочное преобразование обеспечивает возможность малых задержек соответствующей получаемой части и возможность параллельной обработки различных частей.According to an embodiment, the decorrelator comprises a conversion module for receiving and converting an audio signal or a reverberated version of the audio signal into parts by performing a time-block discrete Fourier transform (DFT) or a short-time Fourier transform (STFT), wherein the conversion module is configured to convert blocks having an overlap of 50% within a tolerance range. Such block-by-block conversion ensures the possibility of small delays of the corresponding received part and the possibility of parallel processing of different parts.

Согласно варианту осуществления, формирователь огибающей выполнен с возможностью работы в подполосной области и с временным разрешением менее 4 миллисекунд.According to an embodiment, the envelope shaper is designed to operate in the subband region and with a time resolution of less than 4 milliseconds.

Согласно варианту осуществления, декоррелятор содержит каскад обработки сигнала, выполненный с возможностью приема сигнала, основанного на частотном представлении комбинированной формы, например, в качестве моносигнала и с возможностью обработки моносигнала, по меньшей мере, в стереосигнал. Это обеспечивает возможность улучшенного восприятия у слушателя.According to an embodiment, the decorrelator comprises a signal processing stage configured to receive a signal based on a frequency representation of a combined form, for example, as a mono signal and to process the mono signal into at least a stereo signal. This provides the possibility of improved perception by the listener.

Согласно варианту осуществления, декоррелятор содержит каскад обработки сигнала, выполненный с возможностью обработки частотного представления комбинированной формы, по меньшей мере, в стереосигнал и с возможностью моделирования протяженности источника на основе, по меньшей мере, стереосигнала, например, в частотной области.According to an embodiment, the decorrelator comprises a signal processing stage configured to process a frequency representation of the combined form into at least a stereo signal and to model the extent of the source based on at least the stereo signal, for example in the frequency domain.

Согласно варианту осуществления, система обработки содержит декоррелятор, описанный в данном документе, и каскад обработки для преобразования среднего/бокового разложенного сигнала в левый/правый разложенный сигнал.According to an embodiment, the processing system comprises a decorrelator as described herein and a processing stage for converting the mid/side decomposed signal into a left/right decomposed signal.

Согласно вариантам осуществления, система обработки может выполнять подавление транзиента для того, чтобы подавлять эхо-сигналы, например, предэхо и/или постэхо, вызываемые посредством транзиента. Такая обработка транзиента может содержать глушение вывода декоррелятора и, соответственно, усиление вывода модуля компенсации задержки, обеспечивающего часть левого/правого разложенного сигнала и расположенного параллельно с декоррелятором и соединенного с каскадом обработки.According to embodiments, the processing system may perform transient suppression in order to suppress echo signals, such as pre-echo and/or post-echo, caused by the transient. Such transient processing may comprise muting the output of the decorrelator and, accordingly, amplifying the output of the delay compensation module providing a part of the left/right decomposed signal and located in parallel with the decorrelator and connected to the processing stage.

Согласно варианту осуществления, способ содержит прием множества частей частотного представления, основанного на аудиосигнале, задержку каждой из принимаемых частей для обеспечения множества задержанных частей, и прием и комбинирование сигналов, основанных на задержанных частях частотного представления. Способ содержит прием частотного представления аудиосигнала и регулирование энергии задержанных частей в отношении частотного представления аудиосигнала. Частотное представление комбинированной формы обеспечивается.According to an embodiment, the method comprises receiving a plurality of parts of a frequency representation based on an audio signal, delaying each of the received parts to provide a plurality of delayed parts, and receiving and combining signals based on the delayed parts of the frequency representation. The method comprises receiving a frequency representation of an audio signal and adjusting the energy of the delayed parts with respect to the frequency representation of the audio signal. The frequency representation of the combined form is provided.

Согласно варианту осуществления, компьютерная программа или компьютерный программный продукт, или нетранзиторный носитель данных, имеющий сохраненные инструкции, чтобы выполнять соответствующие инструкции, обеспечивается для осуществления этого способа, при выполнении на компьютере.According to an embodiment, a computer program or computer program product, or a non-transient data carrier having stored instructions to execute corresponding instructions, is provided for implementing this method, when executed on a computer.

Дополнительные преимущественные варианты осуществления задаются в зависимых пунктах формулы изобретения.Additional advantageous embodiments are given in dependent claims.

Преимущественные варианты осуществления подробнее описываются со ссылкой на прилагаемые чертежи, на которых:Preferred embodiments are described in more detail with reference to the accompanying drawings, in which:

Фиг. 1 показывает принципиальную блок-схему декоррелятора согласно варианту осуществления;Fig. 1 shows a block diagram of a decorrelator according to an embodiment;

Фиг. 2 показывает принципиальную блок-схему декоррелятора, содержащего модуль преобразования для формирования частотного представления сигнала временной области, согласно варианту осуществления;Fig. 2 shows a block diagram of a decorrelator comprising a transform module for generating a frequency representation of a time domain signal, according to an embodiment;

Фиг. 3 показывает принципиальную блок-схему декорреляции, дополнительно содержащей предзадержку, согласно варианту осуществления;Fig. 3 shows a block diagram of a decorrelation further comprising a pre-delay, according to an embodiment;

Фиг. 4 показывает принципиальную блок-схему всепропускающего фильтра согласно варианту осуществления;Fig. 4 shows a schematic block diagram of an all-pass filter according to an embodiment;

Фиг. 5 показывает принципиальную блок-схему вложенной структуры всепропускающих фильтров согласно варианту осуществления;Fig. 5 shows a basic block diagram of a nested structure of all-pass filters according to an embodiment;

Фиг. 6 показывает принципиальную блок-схему декоррелятора, содержащего фазосдвигатель, выполненный с возможностью работать во временной области согласно варианту осуществления;Fig. 6 shows a block diagram of a decorrelator comprising a phase shifter configured to operate in the time domain according to an embodiment;

Фиг. 7 показывает принципиальную блок-схему декоррелятора, соединенного с моделированием протяженности источника, согласно варианту осуществления;Fig. 7 shows a block diagram of a decorrelator coupled to source extent modeling, according to an embodiment;

Фиг. 8 показывает принципиальную блок-схему системы обработки согласно варианту осуществления;Fig. 8 shows a basic block diagram of a processing system according to an embodiment;

Фиг. 9 показывает принципиальную блок-схему системы обработки, выполненной с возможностью обработки транзиента, согласно варианту осуществления; иFig. 9 shows a block diagram of a processing system configured to process a transient, according to an embodiment; and

Фиг. 10 показывает принципиальную блок-схему способа согласно варианту осуществления.Fig. 10 shows a basic block diagram of a method according to an embodiment.

Идентичные или эквивалентные элементы, или элементы с идентичной или эквивалентной функциональностью обозначаются в нижеприведенном описании посредством идентичных или эквивалентных ссылочных обозначений даже при появлении на различных чертежах.Identical or equivalent elements, or elements with identical or equivalent functionality, are designated in the description below by identical or equivalent reference signs even when appearing in different drawings.

В нижеприведенном описании, множество деталей изложено для обеспечения более полного пояснение вариантов осуществления настоящего изобретения. Тем не менее, специалистам в данной области техники должно быть понятно, что варианты осуществления настоящего изобретения могут быть использованы на практике без этих конкретных деталей. В других случаях, известные структуры и устройства показаны в форме блок-схемы, а не подробно, чтобы не затруднять понимание вариантов осуществления настоящего изобретения. Помимо этого, признаки различных вариантов осуществления, описанных далее, могут комбинироваться друг с другом, если прямо не указано иное.In the following description, many details are set forth to provide a more complete explanation of the embodiments of the present invention. However, it will be understood by those skilled in the art that the embodiments of the present invention can be practiced without these specific details. In other cases, known structures and devices are shown in block diagram form rather than in detail so as not to obscure the understanding of the embodiments of the present invention. In addition, the features of the various embodiments described below can be combined with each other unless otherwise expressly indicated.

Фиг. 1 показывает принципиальную блок-схему декоррелятора 10 согласно варианту осуществления. Декоррелятор 10 содержит модули 121-12n задержки в числе по меньшей мере двух, где n>1. Хотя фиг. 1 иллюстрирует модули 12 задержки в числе двух, это число предпочтительно является более высоким, например, 4, 8, 16 или другие значения, которые должны получаться с помощью степени 2, при этом варианты осуществления не ограничены такими числами. Таким образом, варианты осуществления также могут содержать число в 3, 5, 7 или 9 модулей 12 задержки. Каждый модуль задержки выполнен с возможностью приема ассоциированной части 141-14n частотного представления 14, основанного на аудиосигнале. Например, частотное представление 14 может представлять собой или может содержать спектр, получаемый посредством преобразования Фурье, к примеру, дискретного преобразования Фурье (DFT) или кратковременного преобразования Фурье (STFT). Части 141-14n могут получаться, например, в качестве подполосы частот спектра, т.е. части представления в частотной области. Например, такая часть 141-14n может получаться посредством использования соответствующего окна.Fig. 1 shows a basic block diagram of a decorrelator 10 according to an embodiment. The decorrelator 10 comprises at least two delay modules 12 1 -12 n , where n>1. Although Fig. 1 illustrates two delay modules 12, this number is preferably higher, for example 4, 8, 16 or other values that are to be obtained by a power of 2, while the embodiments are not limited to such numbers. Thus, the embodiments may also comprise 3, 5, 7 or 9 delay modules 12. Each delay module is configured to receive an associated portion 14 1 -14 n of a frequency representation 14 based on an audio signal. For example, the frequency representation 14 may be or may comprise a spectrum obtained by means of a Fourier transform, for example a discrete Fourier transform (DFT) or a short-time Fourier transform (STFT). The parts 14 1 -14 n can be obtained, for example, as a frequency subband of the spectrum, i.e. a part of the representation in the frequency domain. For example, such a part 14 1 -14 n can be obtained by using an appropriate window.

Каждый модуль 121-12n задержки выполнен с возможностью задержки принимаемой части 141-14n с тем, чтобы обеспечивать задержанную часть 14'1-14'n, т.е. чтобы иметь задержку во временной области.Each delay module 12 1 -12 n is configured to delay the received portion 14 1 -14 n in order to provide a delayed portion 14' 1 -14' n , i.e. to have a delay in the time domain.

Декоррелятор 10 дополнительно содержит формирователь 16 огибающей, выполненный с возможностью приема сигналов, основанных на задерживаемых частях 14'1-14'n. Такие сигналы могут представлять собой непосредственно задержанные части 14'1-14'n или их обработанные варианты. Формирователь 16 огибающей выполнен с возможностью комбинирования принимаемых сигналов. Помимо этого, формирователь огибающей выполнен с возможностью приема частотного представления 14 аудиосигнала. Формирователь 16 огибающей выполнен с возможностью регулирования энергии задержанных частей 14'1-14'n в отношении частотного представления 14 аудиосигнала. Формирователь 16 огибающей выполнен с возможностью обеспечения частотного представления 18 комбинированной формы. В частотном представлении 18 комбинированной формы, соответствующие части 141-14n, сигналы, получающиеся в их результате, соответственно, могут декоррелироваться относительно друг друга и/или относительно частотного представления 14.The decorrelator 10 further comprises an envelope shaper 16 configured to receive signals based on the delayed portions 14' 1 -14' n . Such signals may be directly the delayed portions 14' 1 -14' n or processed versions thereof. The envelope shaper 16 is configured to combine the received signals. In addition, the envelope shaper is configured to receive a frequency representation 14 of the audio signal. The envelope shaper 16 is configured to regulate the energy of the delayed portions 14' 1 -14' n with respect to the frequency representation 14 of the audio signal. The envelope shaper 16 is configured to provide a frequency representation 18 of a combined form. In the frequency representation 18 of the combined form, the signals corresponding to the portion 14 1 -14 n , resulting from them, respectively, can be decorrelated with respect to each other and/or with respect to the frequency representation 14.

Хотя формирователь 16 огибающей проиллюстрирован таким образом, что он принимает комбинированное частотное представление 14, в качестве альтернативы, формирователь 16 огибающей может принимать соответствующую информацию посредством приема возможно незадержанных или обычным образом обрабатываемых частей 141-14n.Although the envelope shaper 16 is illustrated in such a way that it receives the combined frequency representation 14, as an alternative, the envelope shaper 16 may receive the corresponding information by receiving possibly non-delayed or normally processed portions 14 1 -14 n .

Фиг. 2 показывает принципиальную блок-схему декоррелятора 20 согласно варианту осуществления. Декоррелятор 20 выполнен с возможностью приема аудиосигнала 22. Декоррелятор 20 может содержать модуль 24 преобразования, выполненный с возможностью формирования частотного представления 14, показанного на фиг. 1. Модуль 24 преобразования может обеспечивать части 141-1416, получаемые посредством примерного STFT. Например, частотное представление может содержать частотные бины в числе, в общей сложности, 129. Альтернативно, могут использоваться 128 бинов. Например, могут использоваться цифровые преобразования Фурье (DFT) двух типов, так называемые "с четным помещением в стек" и "с нечетным помещением в стек". Например, в качестве "стандартного" DFT, может рассматриваться версия с четным помещением в стек, имеющая, в приведенном примере, 129 полос частот (127 комплексных, одну действительную и одну мнимую). Версия с нечетным помещением в стек может содержать 128 (комплексных) полос частот. Оба преобразования могут использоваться в вариантах осуществления, описанных в данном документе. Части 141-1416 могут содержать, частично или полностью, одинаковое или различное число бинов. Например, часть 141 может содержать первый-девятый бин, например, 9 бинов. Часть 142 содержит, например, бины 10-19 и в силу этого бины в числе 10. Адаптация или выбор относительно числа бинов может быть основана на частоте дискретизации, в проиллюстрированном примере составляющей 48 кГц, на перекрытии, т.е., например, в 50%, и/или на числе частей 141-1416, которые должны формироваться. Части 141-1416 могут содержать равное или различное число частотных бинов, так что некоторые или все части 141-1416 также могут формироваться таким образом, что они содержат одинаковое число частотных бинов.Fig. 2 shows a basic block diagram of a decorrelator 20 according to an embodiment. The decorrelator 20 is configured to receive an audio signal 22. The decorrelator 20 may comprise a transform module 24 configured to generate a frequency representation 14 shown in Fig. 1. The transform module 24 may provide portions 14 1 -14 16 obtained by means of an exemplary STFT. For example, the frequency representation may comprise frequency bins in a total of 129. Alternatively, 128 bins may be used. For example, two types of digital Fourier transforms (DFT) may be used, so-called "even-stacked" and "odd-stacked". For example, as a "standard" DFT, an even-stacked version may be considered, having, in the given example, 129 frequency bands (127 complex, one real and one imaginary). The odd-stacked version may contain 128 (complex) frequency bands. Both transforms may be used in the embodiments described herein. The portions 14 1 - 14 16 may contain, partially or completely, the same or different numbers of bins. For example, the portion 14 1 may contain the first to the ninth bin, for example 9 bins. The portion 14 2 contains, for example, bins 10 - 19 and therefore bins in number 10. The adaptation or selection regarding the number of bins may be based on the sampling frequency, in the illustrated example 48 kHz, on the overlap, i.e., for example, 50%, and/or on the number of portions 14 1 - 14 16 that are to be generated. Portions 14 1 -14 16 may contain an equal or different number of frequency bins, so that some or all of portions 14 1 -14 16 may also be formed such that they contain the same number of frequency bins.

Декоррелятор 20 дополнительно содержит секцию 25 задержки, имеющую линии 121-1216 задержки, причем каждая линия 121-1216 задержки ассоциирована с одной конкретной частью 141-1416 и выполнена с возможностью приема упомянутой части, ее обработанной версии, соответственно. Модули 121-1216 задержки могут быть ассоциированы с соответствующей спектральной частью 141-1416. Такой модуль 121-1216 задержки может быть выполнен с возможностью задержки ассоциированной части частотного представления 14 по-другому по сравнению с модулями задержки, ассоциированными с другими спектральными частями. Альтернативно или дополнительно, взаимосвязь между различными временными задержками может быть одной из линейной, логарифмической и/или основанной на округлении по суперполосным выборкам.The decorrelator 20 further comprises a delay section 25 having delay lines 12 1 -12 16 , wherein each delay line 12 1 -12 16 is associated with one particular portion 14 1 -14 16 and is configured to receive said portion, its processed version, respectively. The delay modules 12 1 -12 16 can be associated with a corresponding spectral portion 14 1 -14 16 . Such a delay module 12 1 -12 16 can be configured to delay the associated portion of the frequency representation 14 differently compared to the delay modules associated with other spectral portions. Alternatively or additionally, the relationship between the different time delays can be one of linear, logarithmic and/or based on rounding over superband samples.

Декоррелятор 20 дополнительно содержит фазосдвигатель 26, соединенный с секцией 25 задержки, причем фазосдвигатель 26 выполнен с возможностью приема задержанных частей 14'1-14'16. Фазовый сдвиг с использованием фазосдвигателя 26 может обеспечивать возможность реверберации в частях сигнала. Тем не менее, согласно вариантам осуществления, последовательность из секции 25 задержки и секции 26 реверберации также может изменяться таким образом, чтобы соответствующая часть 141-1416 могла сначала подвергаться обработке реверберационным фильтром и задерживаться после нее.The decorrelator 20 further comprises a phase shifter 26 connected to the delay section 25, wherein the phase shifter 26 is configured to receive the delayed portions 14' 1 -14' 16 . The phase shift using the phase shifter 26 can provide the possibility of reverberation in the portions of the signal. However, according to embodiments, the sequence of the delay section 25 and the reverberation section 26 can also be changed in such a way that the corresponding portion 14 1 -14 16 can first be subjected to processing by the reverberation filter and delayed thereafter.

Фазосдвигатель 26 может быть выполнен с возможностью фазового сдвига частотного представления 14 аудиосигнала, его обработанной, например задержанной, версии. Фазовый сдвиг также может выполняться до преобразования аудиосигнала 22 в частотную область, соответствующий фазосдвигатель может быть выполнен с возможностью фазового сдвига аудиосигнала 22 во временной области для получения фазосдвинутого аудиосигнала. В короткой конфигурации, в которой фазосдвигатель 26 выполнен с возможностью фазового сдвига частотного представления 14 аудиосигнала, его задержанной версии, соответственно, фазосдвигатель может содержать множество всепропускающих фильтров 281-2816. В показанном примере, всепропускающие фильтры 281-2816 выполнены с возможностью принимать задержанные части 14'1-14'16. Термин "всепропускающий фильтр" должен пониматься так, что частотный диапазон, который должен пропускаться, соответствует частотному диапазону соответствующей части 141-1416. При этом означенное может включать в себя примеры, в которых каждый из всепропускающих фильтров 281-2816 пропускает полный частотный диапазон, обеспеченный в частотном представлении, полоса пропускания различных всепропускающих фильтров 281-2816 также может отличаться друг от друга на основе различных частотных бинов, содержащихся в соответствующих частях 141-1416.The phase shifter 26 can be configured to phase shift the frequency representation 14 of the audio signal, its processed, for example delayed, version. The phase shift can also be performed before converting the audio signal 22 into the frequency domain, the corresponding phase shifter can be configured to phase shift the audio signal 22 in the time domain to obtain a phase-shifted audio signal. In a short configuration, in which the phase shifter 26 is configured to phase shift the frequency representation 14 of the audio signal, its delayed version, respectively, the phase shifter can comprise a plurality of all-pass filters 281-2816. In the example shown, all-pass filters 281-2816are designed to accept detained parts 14'1-14'16. The term "all-pass filter" shall be understood to mean that the frequency range to be passed corresponds to the frequency range of the relevant part 141-1416. In this case, the above may include examples in which each of the all-pass filters 281-2816passes the full frequency range provided in the frequency representation, the passband of various all-pass filters 281-2816may also differ from each other based on the different frequency bins contained in the corresponding parts 141-1416.

Каждый из всепропускающих фильтров 281-2816 выполнен с возможностью фазового сдвига ассоциированной части частотного представления аудиосигнала.Each of the all-pass filters 28 1 -28 16 is configured to phase shift the associated portion of the frequency representation of the audio signal.

Таким образом, число структур всепропускающих фильтров и/или схема структуры всепропускающих фильтров могут быть одинаковыми, т.е. равными или сравнимыми, либо могут, альтернативно, отличаться между различными всепропускающими фильтрами 281-2816.Thus, the number of all-pass filter structures and/or the design of the all-pass filter structure may be the same, i.e. equal or comparable, or may, alternatively, differ between different all-pass filters 28 1 -28 16 .

Временная задержка, обеспечиваемая посредством линий 121-1216 задержки, может быть одинаковой или может отличаться для различных частей 141-1416. Как указано на фиг. 2, части частотного представления, содержащие более низкие частоты, могут задерживаться с более высокой временной задержкой по сравнению с частями частотного представления, содержащими более высокие частоты. От бина 1 к более высоким бинам, представляемая частота может увеличиваться. Как представляется в z-области, временная задержка может снижаться с увеличением частот.The time delay provided by the delay lines 12 1 -12 16 may be the same or may differ for the different portions 14 1 -14 16 . As indicated in Fig. 2, portions of the frequency representation containing lower frequencies may be delayed with a higher time delay compared to portions of the frequency representation containing higher frequencies. From bin 1 to higher bins, the represented frequency may increase. As represented in the z-domain, the time delay may decrease with increasing frequencies.

Сигналы 321-3216 могут содержать результат задержки и фазового сдвига, например, в качестве вывода всепропускающих фильтров 281-2816.Signals 32 1 -32 16 may contain the result of delay and phase shift, for example as the output of all-pass filters 28 1 -28 16 .

Формирователь 16 огибающей может быть выполнен с возможностью приема сигналов 321-3216 и их нефильтрованной и незадержанной версии, т.е. частей 141-1416, т.е. частотного представления аудиосигнала 22. Части 141-1416 могут пониматься как подполосы частот. Формирователь 16 огибающей может быть выполнен с возможностью работы в подполосной области. Например, временное разрешение формирователя 16 огибающей может составлять самое большее или меньше 4 миллисекунд, например, 4 миллисекунды, 3,5 миллисекунды, 3 миллисекунды или меньше.The envelope shaper 16 can be configured to receive signals 32 1 -32 16 and their unfiltered and non-delayed version, i.e. parts 14 1 -14 16 , i.e. a frequency representation of the audio signal 22. The parts 14 1 -14 16 can be understood as frequency sub-bands. The envelope shaper 16 can be configured to operate in the sub-band region. For example, the time resolution of the envelope shaper 16 can be at most or less than 4 milliseconds, such as 4 milliseconds, 3.5 milliseconds, 3 milliseconds or less.

Декоррелятор 20 может содержать другой модуль 35 преобразования, который может обеспечивать обратную операцию по сравнению с модулем 24 преобразования. Например, модуль 34 преобразования может выполнять обратное кратковременное преобразование Фурье (iSTFT). Частотное представление 18 комбинированной формы может содержать информацию относительно частотной области, которая присутствует в каждом из бинов таким образом, что частотное представление 18 комбинированной формы может обрабатываться согласно выводу модуля 24 преобразования. Таким образом, модуль 34 преобразования может принимать обработанные версии частей 141-1416 частотного представления 14 и синтезировать синтезируемый сигнал 36 из обработанных версий 14'1-14'16, например, на основе процедуры суммирования с перекрытием. Сигнал 36 может обеспечиваться, например, в интерфейсе 38 декоррелятора 20.The decorrelator 20 may comprise another transform module 35, which may provide an inverse operation compared to the transform module 24. For example, the transform module 34 may perform an inverse short-time Fourier transform (iSTFT). The frequency representation 18 of the combined form may comprise information regarding the frequency domain, which is present in each of the bins in such a way that the frequency representation 18 of the combined form can be processed according to the output of the transform module 24. Thus, the transform module 34 can receive processed versions of the parts 14 1 -14 16 of the frequency representation 14 and synthesize a synthesized signal 36 from the processed versions 14' 1 -14' 16 , for example, based on an overlap summation procedure. The signal 36 can be provided, for example, at the interface 38 of the decorrelator 20.

Формирователь 16 огибающей может быть выполнен с возможностью формирования спектральных бинов во времени и/или по частоте. Формирование может выполняться посредством формирователя 26 огибающей для отдельных бинов и/или для групп бинов, например, посредством реализации взаимозависимой или, по меньшей мере, групповой общей обработки формирования.The envelope shaper 16 can be configured to shape the spectral bins in time and/or frequency. The shaping can be performed by means of the envelope shaper 26 for individual bins and/or for groups of bins, for example by implementing interdependent or at least group common shaping processing.

Снова ссылаясь на модуль 24 преобразования, он может быть выполнен с возможностью приема и преобразования аудиосигнала 22 либо его реверберированной версии в части 141-1416, при этом число 16 представляет собой только пример. Реверберированная версия аудиосигнала 22 может представлять собой ввод в случае, если фазосдвигатель 26 работает во временной области и в силу этого может размещаться выше по потоку относительно модуля 24 преобразования. Модуль 24 преобразования может выполнять повременно-блочное дискретное преобразование Фурье (DFT) или кратковременное преобразование Фурье (STFT). Модуль преобразования может быть выполнен с возможностью преобразования блоков, имеющих перекрытие, например, в 50% в пределах диапазона допусков. Например, диапазон допусков может быть равен 0% в максимально возможной степени, самое большее 5%, самое большее 10%, самое большее 15% или больше.Referring again to the conversion module 24, it can be configured to receive and convert the audio signal 22 or a reverberated version thereof into a portion 14 1 -14 16 , wherein the number 16 is only an example. The reverberated version of the audio signal 22 can be an input in case the phase shifter 26 operates in the time domain and can therefore be located upstream of the conversion module 24. The conversion module 24 can perform a time-block discrete Fourier transform (DFT) or a short-time Fourier transform (STFT). The conversion module can be configured to convert blocks having an overlap of, for example, 50% within a tolerance range. For example, the tolerance range can be 0% to the maximum possible extent, at most 5%, at most 10%, at most 15% or more.

Блоки могут содержать длину блока, например, в 128 выборок, 256 выборок или 512 выборок, при этом значение 256 может быть предпочтительным.Blocks may contain a block length of, for example, 128 samples, 256 samples, or 512 samples, with 256 being preferred.

Фиг. 3 показывает принципиальную блок-схему декорреляции 30. По сравнению с декоррелятором 20, декоррелятор 30 дополнительно может содержать предзадержку 42, при этом термин "предзадержка" не ограничивает задержку реализацией непосредственно до или после относительно любого конкретного блока. Предзадержка 42 может быть расположена в любом каскаде до формирователя 16 огибающей, предпочтительно и при работе в частотной области, после модуля 24 преобразования. Таким образом, например, последовательность между всепропускающими фильтрами реверберации или фазосдвигателя 26 и предзадержкой 42 может переставляться по сравнению с иллюстрацией на фиг. 3. Предзадержка 42 или блок 42 задержки могут быть выполнены с возможностью дополнительной реализации одинаковой и предварительно заданной задержки для поднабора или всех частей 141-1416 частотного представления. Это может обеспечить возможность реализации одинаковой задержки для каждой части 141-1416 либо их группы для комбинирования обработки в этом каскаде, а также возможность использовать линии 121-1216 задержки для добавления, вероятно, отдельной задержки, чтобы она отличалась от общей задержки, реализуемой в блоке 42. В одном примере, предзадержка 42 выполнена с возможностью обеспечивать постоянную предзадержку для всех полос частот спектра.Fig. 3 shows a basic block diagram of the decorrelation 30. Compared with the decorrelator 20, the decorrelator 30 can additionally comprise a predelay 42, wherein the term "predelay" does not limit the delay to being implemented immediately before or after with respect to any particular block. The predelay 42 can be located in any stage before the envelope shaper 16, preferably also when operating in the frequency domain, after the transform module 24. Thus, for example, the sequence between the all-pass filters of the reverberation or phase shifter 26 and the predelay 42 can be rearranged compared to the illustration in Fig. 3. The predelay 42 or the delay block 42 can be designed with the possibility of additionally implementing the same and predetermined delay for a subset or all parts 14 1 -14 16 of the frequency representation. This may provide the ability to implement the same delay for each part 14 1 -14 16 or group thereof for combining processing in this stage, and also the ability to use delay lines 12 1 -12 16 to add, possibly, a separate delay so that it differs from the overall delay implemented in block 42. In one example, predelay 42 is configured to provide a constant predelay for all frequency bands of the spectrum.

Фиг. 4 показывает принципиальную блок-схему всепропускающего фильтра 40 согласно варианту осуществления, который может работать, по меньшей мере, в качестве части одного из фильтров 281-2816 декоррелятора 20 и/или 30. Всепропускающий фильтр 40 может содержать структуру IIR-фильтра Шредера, например, и может содержать прямую ветвь 46 в комбинации с обратной ветвью 48 в комбинации с блоком 52 задержки, чтобы обеспечивать соответствующий выходной сигнал 54, основанный на входном сигнале 44 всепропускающего фильтра 40. Всепропускающий фильтр 28 декоррелятора 20 и/или 30 может содержать один или более таких всепропускающих фильтров 40, соединенных последовательно друг с другом. Чтобы обеспечивать различные временные задержки в различных всепропускающих фильтрах 281-2816, различное число структур всепропускающих фильтров 14 может последовательно соединяться.Fig. 4 shows a basic block diagram of an all-pass filter 40 according to an embodiment, which can operate as at least part of one of the filters 28 1 -28 16 of the decorrelator 20 and/or 30. The all-pass filter 40 can comprise a Schroeder IIR filter structure, for example, and can comprise a forward branch 46 in combination with a reverse branch 48 in combination with a delay unit 52 to provide a corresponding output signal 54 based on an input signal 44 of the all-pass filter 40. The all-pass filter 28 of the decorrelator 20 and/or 30 can comprise one or more such all-pass filters 40 connected in series with each other. In order to provide different time delays in different all-pass filters 28 1 -28 16 , a different number of all-pass filter structures 14 can be connected in series.

Другими словами, фиг. 4 показывает каскад всепропускающих фильтров.In other words, Fig. 4 shows a cascade of all-pass filters.

Фиг. 5 показывает принципиальную блок-схему структуры 50 всепропускающих фильтров, представляющую собой вложенную структуру всепропускающих фильтров. Альтернативно или в дополнение к структуре 40 всепропускающих фильтров, одна или более структур 50 всепропускающих фильтров могут составлять, по меньшей мере, часть всепропускающего фильтра 281-2816 декоррелятора 20 и/или 30. Хотя показано два блока 521 и 522 задержки, другое и, в частности, более высокое число блоков 52 задержки может присутствовать, что в результате приводит, возможно, к увеличенному числу прямых ветвей 46 и/или обратных ветвей 48. Дополнительно, усиления g1/-g1 и/или g2/-g2 могут применяться.Fig. 5 shows a basic block diagram of an all-pass filter structure 50, which is a nested all-pass filter structure. Alternatively or in addition to the all-pass filter structure 40, one or more all-pass filter structures 50 may form at least part of an all-pass filter 28 1 -28 16 of the decorrelator 20 and/or 30. Although two delay units 52 1 and 52 2 are shown, another and, in particular, a higher number of delay units 52 may be present, which as a result, possibly leads to an increased number of forward branches 46 and/or backward branches 48. Additionally, gains g 1 /-g 1 and/or g 2 /-g 2 may be applied.

При рассмотрении, например, последовательного соединения блоков 52 задержки в одной или более структур 40 всепропускающих фильтров и/или в одной или более структур 50 всепропускающих фильтров, различные всепропускающие фильтры 281-2816 могут реализовываться таким образом, чтобы они содержали другую временную задержку по сравнению с другими всепропускающими фильтрами. Например, различные задержки различных структур всепропускающих фильтров и/или схемы структур всепропускающих фильтров могут быть основаны на простом числе, кратном локальной частоте дискретизации, например, 48 кГц, используемой для получения частотного представления 14 аудиосигнала 22. Например, набор структур всепропускающих фильтров, составляющих, по меньшей мере, часть всепропускающего фильтра, может содержать структуры всепропускающих фильтров в числе четырех, например, структуры 40 всепропускающих фильтров. Различные блоки задержки в них могут выполняться с возможностью обеспечения задержки в 1, 2, 3 и 5. Согласно другому примеру, структуры всепропускающих фильтров в числе четырех могут обеспечивать задержку в 1, 3, 5 и 7 единиц в z-области. Эти значения могут формировать набор простых значений, т.е. простые значения в числе 2, 3, 4, 5 или более могут группироваться.When considering, for example, a series connection of the delay units 52 in one or more all-pass filter structures 40 and/or in one or more all-pass filter structures 50, different all-pass filters 28 1 -28 16 can be implemented in such a way that they contain a different time delay compared to other all-pass filters. For example, different delays of different all-pass filter structures and/or the designs of the all-pass filter structures can be based on a prime multiple of a local sampling frequency, for example, 48 kHz, used to obtain the frequency representation 14 of the audio signal 22. For example, a set of all-pass filter structures constituting at least a part of an all-pass filter can contain all-pass filter structures in the number of four, for example, the all-pass filter structure 40. The various delay units in them can be implemented with the ability to provide delays of 1, 2, 3 and 5. According to another example, the structures of all-pass filters in the number of four can provide delays of 1, 3, 5 and 7 units in the z-domain. These values can form a set of prime values, i.e. prime values in the number of 2, 3, 4, 5 or more can be grouped.

При переводе, в этом варианте осуществления, наборов простых значений, соответственно, в возможные операции всепропускающих фильтров во временной области, временные задержки основываются на простом числе, кратном обратной величине частоты дискретизации, используемой для получения частотного представления аудиосигнала в варианте осуществления. Например, различные временные задержки могут быть основаны на простом числе, получаемом посредством умножения каждого из набора простых чисел, как упомянуто выше, например, 1, 2, 3 и 5 или 1, 3, 5 и 7 на коэффициент понижающей дискретизации, используемый для формирования частей частотного представления аудиосигнала, чтобы получать промежуточный результат. Вместо промежуточного результата, может использоваться следующее простое число относительно промежуточного результата. Например, с учетом коэффициента понижающей дискретизации в 128 и при рассмотрении вышеприведенных наборов простых чисел, такой результат может представлять собой задержку в 131, 257, 383 и 641, с одной стороны, и в 131, 383, 641 и 907, с другой стороны, при этом каждая задержка может быть связана с умножением на 1 выборку на частоте дискретизации, которая, для частоты дискретизации в 48 кГц, составляет приблизительно 20,8 мкс. Другие наборы простых чисел являются возможными без ограничения.When translating, in this embodiment, sets of prime values, respectively, into possible operations of all-pass filters in the time domain, the time delays are based on a prime number that is a multiple of the inverse of the sampling frequency used to obtain the frequency representation of the audio signal in the embodiment. For example, the different time delays can be based on a prime number obtained by multiplying each of a set of prime numbers, as mentioned above, for example 1, 2, 3 and 5 or 1, 3, 5 and 7 by a downsampling factor used to form parts of the frequency representation of the audio signal, in order to obtain an intermediate result. Instead of an intermediate result, the next prime number relative to the intermediate result can be used. For example, given a downsampling factor of 128 and considering the prime numbers above, such a result could represent a delay of 131, 257, 383, and 641 on one side, and 131, 383, 641, and 907 on the other side, each delay being associated with a multiplication by 1 sample at the sampling rate, which, for a sampling rate of 48 kHz, is approximately 20.8 μs. Other prime numbers are possible without limitation.

Ссылаясь, например, на фиг. 4, коэффициент g усиления всепропускающего фильтра может адаптироваться к значению 0,7 в пределах диапазона допусков, например, ±20%, ±10% или ±5%. Тем не менее, значение усиления также может иметь отрицательное значение, например, в -0,7 в пределах упомянутого диапазона допусков. Таким образом, коэффициент усиления может адаптироваться к значению с абсолютной величиной в 0,7 в пределах диапазона допусков.Referring to, for example, Fig. 4, the gain factor g of the all-pass filter can be adapted to a value of 0.7 within a tolerance range of, for example, ±20%, ±10% or ±5%. However, the gain value can also have a negative value, for example, of -0.7 within the said tolerance range. Thus, the gain factor can be adapted to a value with an absolute value of 0.7 within the tolerance range.

Другими словами, помимо пропускающей конфигурации с последовательным выходом по фиг. 4, также может реализовываться вложенная конфигурация, в которой элемент задержки внешней всепропускающей конфигурации Шредера заменяется посредством другой внутренней всепропускающей конфигурации, либо комбинация обеих конфигураций. Фиг. 5 показывает простой вложенный каскад всепропускающих фильтров.In other words, in addition to the series-output pass configuration of Fig. 4, a nested configuration can also be implemented in which the delay element of the external all-pass Schroeder configuration is replaced by another internal all-pass configuration, or a combination of both configurations. Fig. 5 shows a simple nested cascade of all-pass filters.

Фиг. 6 показывает принципиальную блок-схему декоррелятора 60 согласно варианту осуществления. Декоррелятор 60 содержит фазосдвигатель 26, выполненный с возможностью работать во временной области. Структура 28' всепропускающих фильтров может быть выполнена с возможностью использования соответствующих следующих простых чисел по сравнению с наборами простых чисел, как описано в связи с декоррелятором 20 и/или 30. Для обеспечения точной работы декоррелятора 60, он может содержать модули 241 и 242 преобразования. Тогда как модуль 241 преобразования может обеспечивать частотное представление аудиосигнала, модуль 242 преобразования может принимать реверберированный или фазосдвинутый аудиосигнал 22', обеспечиваемый посредством фазосдвигателя 28'. Получаемые части 14''1-14''16 могут задерживаться посредством модулей 121-1216 задержки, достигающих сравнимого ввода для формирователя 16 огибающей по сравнению с декоррелятором 20 и/или 30, при одновременном обеспечении возможности реверберации во временной области. Таким образом, части частотного представления могут составлять части частотного представления из реверберированного аудиосигнала 22'.Fig. 6 shows a basic block diagram of the decorrelator 60 according to an embodiment. The decorrelator 60 comprises a phase shifter 26, which is configured to operate in the time domain. The all-pass filter structure 28' may be configured to use the corresponding next primes compared to the sets of primes, as described in connection with the decorrelator 20 and/or 30. To ensure accurate operation of the decorrelator 60, it may comprise modules 241and 242transformations. While the module 241conversion can provide frequency representation of the audio signal, module 242transformations can receive a 22' reverberated or phase-shifted audio signal provided by a 28' phase shifter. The resulting parts are 14''1-14''16can be delayed by modules 121-1216delays that achieve comparable input for the envelope shaper 16 compared to the decorrelator 20 and/or 30, while simultaneously providing the possibility of reverberation in the time domain. In this way, the frequency representation parts can form the frequency representation parts of the reverberated audio signal 22'.

Согласно вариантам осуществления, декоррелятор, как описано в данном документе, может комбинироваться с дополнительной функциональностью, т.е. выходной сигнал может обрабатываться дополнительно.According to embodiments, the decorrelator as described herein may be combined with additional functionality, i.e. the output signal may be further processed.

Другими словами, фиг. 6 показывает альтернативную реализацию декоррелятора относительно фиг. 2.In other words, Fig. 6 shows an alternative implementation of the decorrelator relative to Fig. 2.

Дополнительно, изобретенные декорреляторы могут комбинироваться с обработкой для обращения с транзиентами. Транзиенты могут вызывать артефакты в декоррелированном стереосигнале, такие как постэхо или эффекты нежелательного панорамирования. Чтобы смягчать это, обращение с транзиентами может комбинироваться с декоррелятором, описанным в данном документе. Обращение с транзиентами может глушить вывод декоррелятора, чтобы сохранять форму сигнала непосредственного начала и подавлять постэхо, вызываемое предзадержкой.Additionally, the invented decorrelators can be combined with transient handling processing. Transients can cause artifacts in the decorrelated stereo signal, such as post-echo or unwanted panning effects. To mitigate this, transient handling can be combined with the decorrelator described in this document. Transient handling can dampen the output of the decorrelator to preserve the immediate onset waveform and suppress post-echo caused by the pre-delay.

Фиг. 7 показывает принципиальную блок-схему декоррелятора 70 согласно варианту осуществления. Декоррелятор 70 содержит, по меньшей мере, часть декоррелятора 10, при этом альтернативно или дополнительно, по меньшей мере, части декоррелятора 20, 30 и/или 60 могут размещаться. Декоррелятор 70 может содержать каскад 56 обработки сигнала, выполненный с возможностью обработки частотного представления 18 комбинированной формы либо сигнала на его основе. Частотное представление 18 комбинированной формы может рассматриваться как моносигнал, т.е. оно может представлять один канал. Из принимаемого моносигнала, каскад обработки может обеспечивать, по меньшей мере, сигналы 581 и 582, представляющие стереосигнал.Fig. 7 shows a basic block diagram of a decorrelator 70 according to an embodiment. The decorrelator 70 comprises at least a part of the decorrelator 10, whereby alternatively or additionally at least parts of the decorrelators 20, 30 and/or 60 can be arranged. The decorrelator 70 can comprise a signal processing stage 56 adapted to process the frequency representation 18 of the combined form or a signal based on it. The frequency representation 18 of the combined form can be considered as a mono signal, i.e. it can represent one channel. From the received mono signal, the processing stage can provide at least signals 58 1 and 58 2 representing a stereo signal.

Модуль 58 протягивания источника, который моделирует перцепционный эффект пространственно протяженного источника звука из моносигнала точечного источника и его декоррелированной версии, может соединяться с декоррелятором 70. Модуль 58 протягивания источника может содержать фильтры 641-642, обеспечивающие возможность моделирования протяженности источника на основе стереосигнала, имеющего сигналы 581 и 582. Моделирование протяженности источника может выполняться, например, в частотной области и может приводить к выходным стереосигналам 641, например, левому каналу, и 642, например, правому каналу. Следует отметить, что модуль 58 протягивания источника также может составлять часть декоррелятора 70.The source pulling module 58, which models the perceptual effect of a spatially extended sound source from a mono signal of a point source and its decorrelated version, can be connected to the decorrelator 70. The source pulling module 58 can comprise filters 64 1 -64 2 , which provide the possibility of modeling the extension of the source based on a stereo signal having signals 58 1 and 58 2 . The modeling of the extension of the source can be performed, for example, in the frequency domain and can lead to output stereo signals 64 1 , for example, the left channel, and 64 2 , for example, the right channel. It should be noted that the source pulling module 58 can also form part of the decorrelator 70.

Другими словами, фиг. 7 показывает принципиальную блок-схему обработки обеспечения протяженности источника.In other words, Fig. 7 shows a basic block diagram of the source extension provision processing.

Фиг. 8 показывает принципиальную блок-схему системы 80 обработки согласно варианту осуществления. Система 80 обработки может содержать декоррелятор 10. Альтернативно или дополнительно, декоррелятор 20, 30, 60 и/или 70 может размещаться. Система 80 обработки содержит каскад 66 обработки, выполненный с возможностью преобразования среднего/бокового разложенного сигнала 68 в левый/правый разложенный сигнал 72. Таким образом, средний/боковой разложенный сигнал 68 может содержать, по меньшей мере, первый сигнал 741, например, представляющий одну из средней (mid) или боковой (side) части, и второй сигнал 742, представляющий другую часть. Каскад 66 обработки может быть выполнен с возможностью преобразования сигналов 741-742 и возможно дополнительных сигналов, по меньшей мере, в сигналы 761-762, представляющие левый канал и правый канал. Один канал, например, левый канал L, может получаться, например, посредством суммирования среднего компонента M и бокового компонента M+S; при этом другой, например, правый канал может получаться посредством вычитания одного компонента из другого, например, M-S. Согласно другому подходу, оба канала могут получаться посредством использования 50% либо коэффициента в 0,5 для означенного, т.е. 0,5(M+S) и 0,5(M-S). Другие коэффициенты и/или правила определения являются возможными.Fig. 8 shows a basic block diagram of a processing system 80 according to an embodiment. The processing system 80 may comprise a decorrelator 10. Alternatively or additionally, a decorrelator 20, 30, 60 and/or 70 may be arranged. The processing system 80 comprises a processing stage 66 configured to transform a mid/side decomposed signal 68 into a left/right decomposed signal 72. Thus, the mid/side decomposed signal 68 may comprise at least a first signal 74 1 , for example representing one of a mid or a side portion, and a second signal 74 2 , representing the other portion. The processing stage 66 may be configured to transform signals 74 1 -74 2 and possibly additional signals into at least signals 76 1 -76 2 , representing a left channel and a right channel. One channel, for example the left channel L, can be obtained, for example, by summing the middle component M and the side component M+S; while the other, for example the right channel, can be obtained by subtracting one component from the other, for example MS. According to another approach, both channels can be obtained by using 50% or a factor of 0.5 for the said, i.e. 0.5(M+S) and 0.5(MS). Other factors and/or definition rules are possible.

Согласно варианту осуществления, сигнал 741 обеспечивается посредством декоррелятора системы 80 обработки. Другой сигнал 742 может обеспечиваться посредством модуля 78 компенсации задержки, который соединяется параллельно с декоррелятором 10 и выполнен с возможностью также приема аудиосигнала 22. Модуль 78 компенсации задержки в силу этого соединяется с каскадом 66 обработки. Модуль 78 компенсации задержки может быть выполнен с возможностью обеспечения временной задержки, которая является сравнимой с декоррелятором. Предпочтительно, для вариантов осуществления в частотной области, задержка равна задержки обработки, вводимой посредством STFT-анализа/синтеза декоррелятора. Тем не менее, декоррелятор 10 может обеспечивать дополнительную обработку сигнала, приводящую к декорреляции таким образом, что сигнал 742 может содержать аналогичную задержку по сравнению с сигналом 741. Согласно варианту осуществления, сигнал 742 может быть не обработанным за исключением временной задержки.According to an embodiment, a signal 74 1 is provided by a decorrelator of the processing system 80. Another signal 74 2 may be provided by a delay compensation module 78, which is connected in parallel with the decorrelator 10 and is configured to also receive the audio signal 22. The delay compensation module 78 is thereby connected to the processing stage 66. The delay compensation module 78 may be configured to provide a time delay that is comparable to the decorrelator. Preferably, for frequency domain embodiments, the delay is equal to the processing delay introduced by the STFT analysis/synthesis of the decorrelator. However, the decorrelator 10 may provide additional signal processing resulting in decorrelation such that the signal 74 2 may contain a similar delay compared to the signal 74 1 . According to an embodiment, the signal 74 2 may be unprocessed except for the time delay.

Декоррелятор 10 в системе 80 обработки может обеспечивать частотное представление комбинированной формы в качестве по меньшей мере одной части среднего/бокового разложенного сигнала в каскад 66 обработки. Каскад 66 обработки может преобразовывать частотное представление комбинированной формы вместе с сигналом 742 задержки в левый/правый разложенный сигнал в частотной области. Вывод каскада 66 обработки может представлять собой L/R-сигнал 72. Сам декоррелятор 10 может формировать моносигнал S (боковой, компонента 18), причем в этом отношении он представляет собой только его часть. При обращении с транзиентами, прямая часть M (742; 74'2), и вывод S декоррелятора (сигнал 18) могут становиться тесно связанными, поскольку сигнал S будет глушиться и "заменяться" посредством усиленного M-сигнала (сигнала 74'2). Как следствие, оба модуля, декоррелятор и "модуль 66 повышающего микширования", тесно связаны, и в силу этого каскад 66 обработки, в завершение, обеспечивает декоррелированный стереосигнал. Если декоррелятор должен работать автономно с моновыводом, например, без каскада 66 обработки, то прямой сигнал с компенсацией задержки, вообще без масштабирования, должен суммироваться непосредственно с моновыводом, чтобы заполнять заглушенный промежуток и обеспечивать "полный" сигнал.The decorrelator 10 in the processing system 80 may provide a frequency representation of the combined waveform as at least one part of the middle/side decomposed signal to the processing stage 66. The processing stage 66 may transform the frequency representation of the combined waveform together with the delay signal 74 2 into a left/right decomposed signal in the frequency domain. The output of the processing stage 66 may be the L/R signal 72. The decorrelator 10 itself may form a mono signal S (side, component 18), and in this respect it represents only a part of it. When handling transients, the direct part M (74 2 ; 74' 2 ) and the output S of the decorrelator (signal 18) may become closely related, since the signal S will be damped and "replaced" by the amplified M signal (signal 74' 2 ). As a consequence, both modules, the decorrelator and the "upmix module 66", are tightly coupled, and as a result, the processing stage 66 finally provides a decorrelated stereo signal. If the decorrelator is to operate autonomously with the mono output, for example, without the processing stage 66, then the direct signal with delay compensation, without any scaling, must be summed directly to the mono output to fill the blanked gap and provide the "full" signal.

Другими словами, фиг. 8 показывает декоррелятор в M/S-в-L/R-компоновке с компенсацией задержки моноввода (среднего сигнала).In other words, Fig. 8 shows the decorrelator in M/S-to-L/R arrangement with mono input (average signal) delay compensation.

Фиг. 9 показывает принципиальную блок-схему системы 90 обработки согласно варианту осуществления. По сравнению с системой 80 обработки, система 90 обработки содержит модуль 82 подавления транзиента, выполненный с возможностью обнаружения транзиента в аудиосигнале 22 либо его частотном представлении 14 на входе декоррелятора. Модуль подавления транзиента может содержать модуль 84 обнаружения транзиента, выполненный с возможностью приема аудиосигнала 22 либо его частотного представления. Модуль 84 обнаружения транзиента может обнаруживать транзиент в аудиосигнале, например, посредством обработки аудиосигнала 22. Модуль 82 подавления транзиента может дополнительно содержать модуль 86 глушения, выполненный с возможностью приема частотного представления 18 комбинированной формы и его глушения на основе управляющего сигнала. Тем не менее, следует отметить, что одинаковый или сравнимый эффект также может получаться при управлении декоррелятором 10 или декоррелятором, содержащимся в системе 90 обработки, чтобы глушить вывод декоррелятора. Таким образом, модуль 86 глушения также может составлять часть декоррелятора. Тем не менее, сигнал 741, формирующий ввод каскада 66 обработки, может глушиться на основе обнаруженного транзиента в аудиосигнале 22. Модуль 82 подавления транзиента может быть выполнен с возможностью временного глушения части, обеспечиваемой посредством декоррелятора, чтобы подавлять эхо-сигналы в каскаде 66 обработки, при этом эхо-сигналы могут быть связаны с предэхо и/или постэхо. При работе во временной области, окно может использоваться для мягкого глушения, чтобы не допускать дополнительных транзиентов, которые будут побуждаться глушения. При выполнении в частотной области, оконное STFT-взвешивание, описанное в связи с декорреляторами 20, 30 и 60, может обеспечивать такой эффект автоматически, т.е. синергетически.Fig. 9 shows a basic block diagram of a processing system 90 according to an embodiment. Compared to the processing system 80, the processing system 90 comprises a transient suppression module 82 configured to detect a transient in the audio signal 22 or its frequency representation 14 at the input of the decorrelator. The transient suppression module may comprise a transient detection module 84 configured to receive the audio signal 22 or its frequency representation. The transient detection module 84 may detect the transient in the audio signal, for example, by processing the audio signal 22. The transient suppression module 82 may further comprise a muting module 86 configured to receive the frequency representation 18 of the combined form and to mute it based on the control signal. However, it should be noted that the same or comparable effect can also be obtained by controlling the decorrelator 10 or the decorrelator contained in the processing system 90 to mute the output of the decorrelator. Thus, the muting module 86 can also form part of the decorrelator. However, the signal 74 1 forming the input of the processing stage 66 can be muted on the basis of a detected transient in the audio signal 22. The transient suppression module 82 can be configured to temporarily mute the part provided by the decorrelator to suppress echo signals in the processing stage 66, wherein the echo signals can be associated with pre-echo and/or post-echo. When operating in the time domain, a window can be used for soft muting in order to prevent additional transients that will be induced by muting. When performed in the frequency domain, the windowed STFT weighting described in connection with decorrelators 20, 30, and 60 can provide this effect automatically, i.e. synergistically.

Относительно каскада 66 обработки, глушение вывода декоррелятора 10 может приводить к нежелательному сдвигу во входной энергии каскада 66 обработки сигнала. Чтобы не допускать отрицательных эффектов, усилитель 82 может включаться между модулем 78 компенсации задержки и каскадом 66 обработки сигнала, чтобы временно усиливать сигнал 742, чтобы получать усиленный сигнал 74'2. Усиление сигнала 742 может быть условным по отношению к глушению вывода декоррелятора 10. Таким образом, модуль 82 подавления транзиента может быть выполнен с возможностью усиления части модуля 78 компенсации задержки согласно глушению части декоррелятора.With respect to the processing stage 66, the muting of the output of the decorrelator 10 may lead to an undesirable shift in the input energy of the signal processing stage 66. In order to prevent negative effects, the amplifier 82 may be connected between the delay compensation module 78 and the signal processing stage 66 to temporarily amplify the signal 74 2 in order to obtain an amplified signal 74' 2 . The amplification of the signal 74 2 may be conditional with respect to the muting of the output of the decorrelator 10. Thus, the transient suppression module 82 may be configured to amplify a portion of the delay compensation module 78 according to the muting of a portion of the decorrelator.

Уровень усиления может быть фиксированным или им можно управлять. Согласно одному примеру, если применяется, коэффициент усиления усилителя 82 может составлять коэффициент:The gain level may be fixed or controlled. According to one example, if used, the gain of amplifier 82 may be a factor of:

, ,

по сравнению с незаглушенной частью декоррелятора. Таким образом, при глушении вывода декоррелятора, усилитель 88 может усиливать сигнал 742 на:compared to the unmuffled part of the decorrelator. Thus, when the decorrelator output is muted, the amplifier 88 can amplify the signal 74 2 by:

, ,

при не усилении сигнала 742 в течение моментов времени, когда глушение выключено, т.е. g=1.when the signal is not amplified 74 2 during moments of time when the jamming is turned off, i.e. g=1.

Необязательно, а также для того, чтобы не допускать нежелательных эффектов во время подавления транзиента, модуль 82 подавления транзиента может быть выполнен с возможностью подавления обнаруженного транзиента в аудиосигнале и с возможностью подавления следующего транзиента не ранее предварительно заданного времени запрета. Например, модуль 82 подавления транзиента может содержать модуль 92 управления, выполненный с возможностью управления и/или применения времени удержания, гистерезиса и/или времени запрета. Например, время удержания может быть меньшим по сравнению со временем запрета. Время удержания может быть связано со временем, в течение которого вывод декоррелятора 10 глушится в ответ на обнаруженный транзиент, т.е. свойство, определяемое посредством модуля 84 обнаружения транзиента. Время запрета может быть более длительным по сравнению со временем удержания, чтобы не допускать нежелательных эффектов. Например, счетчик удержания, т.е. времени для глушения, может составлять 1, 2, 4, 6, 7 или 8 блоков, хотя время запрета может по меньшей мере в два раза превышать это время, например составлять по меньшей мере 14, по меньшей мере 20, по меньшей мере 30 или 56 блоков либо любую другую временную длительность.Optionally, and also in order to avoid unwanted effects during the transient suppression, the transient suppression module 82 can be configured to suppress the detected transient in the audio signal and to suppress the next transient not earlier than a predetermined inhibit time. For example, the transient suppression module 82 can comprise a control module 92 configured to control and/or apply a hold time, a hysteresis and/or an inhibit time. For example, the hold time can be shorter than the inhibit time. The hold time can be related to the time during which the output of the decorrelator 10 is muted in response to the detected transient, i.e. a property determined by the transient detection module 84. The inhibit time can be longer than the hold time in order to avoid unwanted effects. For example, a hold counter, i.e. The time for jamming may be 1, 2, 4, 6, 7, or 8 blocks, although the ban time may be at least twice that time, such as at least 14, at least 20, at least 30, or 56 blocks, or any other time duration.

Согласно примеру, модуль 92 управления также может обеспечивать гистерезис, чтобы уменьшать переключение включения/выключения подавления транзиентов для аудиосигналов, таких как цепочки низкоскоростных импульсов. Таким образом, время запрета, обеспечиваемое посредством модуля 92 управления, может представлять собой первое время запрета. Модуль 82 подавления транзиента может быть выполнен с возможностью перезапуска времени запрета в качестве второго времени запрета, превышающего первое время запрета, в случае, если транзиент возникает в течение первого времени запрета. Таким образом, даже если время удержания истекло, но время запрета еще не истекло, и в случае, если новый транзиент определяется (независимо от того, истекло время удержания или нет), таймер запрета может быть перезапущен. Необязательно, перезапущенный таймер запрета может быть более длительным по сравнению с отмененным таймером запрета. Другими словами, когда самый первый транзиент обнаруживается, тогда счетчик удержания и счетчик запрета оба запускаются. Транзиент может глушиться до тех пор, пока счетчик удержания не достигнет своей величины для прекращения, например, 8 блоков. Затем счетчик удержания может сбрасываться, и глушение может прекращаться. Счетчик запрета может достигать своего количества для прекращения/сбрасываться гораздо позднее во времени, например, через 56 блоков. Если в ходе упомянутого продолжающегося процесса подсчета запрета обнаруживается новый транзиент, то только счетчик запрета перезапускается, но с более высоким значением количества для прекращения, например, в 64 блока. Таким образом, гистерезис реализуется посредством условного переключения и модификаций количества для прекращения. Таким образом, во время работы счетчика запрета, новое инициирование подавления или глушения транзиента может деактивироваться.According to an example, the control module 92 can also provide a hysteresis to reduce the switching on/off of the transient suppression for audio signals, such as low-speed pulse trains. Thus, the inhibit time provided by the control module 92 can be a first inhibit time. The transient suppression module 82 can be configured to restart the inhibit time as a second inhibit time greater than the first inhibit time, in case a transient occurs during the first inhibit time. Thus, even if the hold time has expired, but the inhibit time has not yet expired, and in case a new transient is detected (regardless of whether the hold time has expired or not), the inhibit timer can be restarted. Optionally, the restarted inhibit timer can be longer compared to the canceled inhibit timer. In other words, when the very first transient is detected, then the hold counter and the inhibit counter are both started. The transient may be muted until the hold counter reaches its abort count, e.g. 8 blocks. Then the hold counter may be reset and the muting may be terminated. The inhibit counter may reach its abort count/be reset much later in time, e.g. after 56 blocks. If a new transient is detected during said ongoing inhibit counting process, only the inhibit counter is restarted, but with a higher abort count, e.g. 64 blocks. In this way, hysteresis is implemented by conditional switching and modifications of the abort count. Thus, during the inhibit counter operation, a new initiation of suppression or muting of the transient may be deactivated.

Модуль 82 подавления транзиента может быть выполнен с возможностью работы в частотной области. Альтернативно или дополнительно, модуль 82 подавления транзиента может быть выполнен с возможностью глушения части декоррелятора в течение большего времени по сравнению с предзадержкой декоррелятора. Таким образом, в случае если транзиент обнаруживается в аудиосигнале 22, в таком случае глушение по-прежнему должно иметь силу, когда транзиент достигает вывода декоррелятора.The transient suppression module 82 may be configured to operate in the frequency domain. Alternatively or additionally, the transient suppression module 82 may be configured to mute a portion of the decorrelator for a longer time than the pre-delay of the decorrelator. Thus, if a transient is detected in the audio signal 22, then the mute should still be in effect when the transient reaches the output of the decorrelator.

Другими словами, декорреляторы согласно вариантам осуществления работают в области кратковременного преобразования Фурье (STFT) на перекрывающихся блоках преобразования с небольшой длительностью. Это обеспечивает небольшую задержку обработки в несколько миллисекунд, например, 2,7 миллисекунды, при условии размера преобразования в 256 и частоты дискретизации в 48 кГц, в противоположность высокой задержке PS/MDS-декоррелятора, описанного в [2] или [3], который может достигать времени задержки в 13,3 миллисекунд при частоте дискретизации в 48 кГц. Кроме того, описанные декорреляторы могут реализовываться с использованием всепропускающих фильтров очень низкой вычислительной сложности и в силу этого могут быть вычислительно гораздо более эффективными, чем декорреляция во временной области, описанная в [1] или в [2]. Если дополнительная нижележащая спектральная обработка необходима или желательна, например, моделирование протяженности источника, описанные декорреляторы могут сопрягаться с помощью интерфейса непосредственно с этим каскадом обработки в STFT-области, чтобы достигать низкой вычислительной сложности.In other words, the decorrelators according to the embodiments operate in the short-time Fourier transform (STFT) domain on overlapping transform blocks of short duration. This provides a small processing delay of a few milliseconds, for example 2.7 milliseconds, assuming a transform size of 256 and a sampling frequency of 48 kHz, in contrast to the high delay of the PS/MDS decorrelator described in [2] or [3], which can achieve a delay time of 13.3 milliseconds at a sampling frequency of 48 kHz. In addition, the described decorrelators can be implemented using all-pass filters of very low computational complexity and can therefore be computationally much more efficient than the time-domain decorrelation described in [1] or [2]. If additional underlying spectral processing is needed or desired, such as source extension modeling, the described decorrelators can be interfaced directly to this processing cascade in the STFT domain to achieve low computational complexity.

Декорреляторы, описанные в данном документе, в силу этого могут обеспечивать малую задержку обработки и среднюю вычислительную сложность. Декорреляторы могут комбинироваться с дополнительной нижележащей обработкой, чтобы моделировать аудиообъекты, имеющие пространственную размерность, так называемые пространственно протяженные источники звука (SESS) с перцепционным свойством "протяженности источника".The decorrelators described in this paper can therefore provide low processing latency and medium computational complexity. The decorrelators can be combined with additional underlying processing to model audio objects that have spatial dimensions, so-called spatially extended sound sources (SESS), with the perceptual property of "source extension".

Другими словами, фиг. 2 и фиг. 9 показывают предпочтительные варианты осуществления настоящего изобретения. Во-первых, входной сигнал или аудиосигнал (звук точечного источника, например) может подаваться в декоррелятор 20, содержащий повременно-блочное DFT, например, с длиной блока в 256 выборок и, например, с 50%-м перекрытием. Далее спектральные бины DFT задерживаются по времени на частотно-зависимую длительность, при этом низкие частоты могут иметь более высокую задержку, и высокие частоты могут иметь более низкую задержку. Например, задержка может составлять 16 подполосных выборок (42,7 миллисекунды при 48 кГц) для низких частот и может снижаться вниз до 1 подполосной выборки для наиболее высоких бинов, т.е. z-1. Снижение задержки со временем может быть линейным, логарифмическим или иным с округлением до целых чисел подполосных выборок. Затем, каждый бин отправляется через всепропускающий фильтр, предпочтительно содержащий цепочку простых всепропускающих фильтров или вложенную структуру всепропускающих фильтров. Примерный всепропускающий фильтр показан на фиг. 4. Другая структура показывается на фиг. 5. Относительно фиг. 4, одна возможная цепочка может содержать или состоять из четырех таких всепропускающих фильтров. Параметр g может выбираться как составляющий, например, 0,7, и задержки Mi могут быть простыми числами. Следует отметить, что фиг. 4 показывает самую первую часть цепочки, т.е. M1. Поскольку эти фильтры могут работать с подвергнутыми понижающей дискретизации полосами частот спектра, например, с коэффициентом понижающей дискретизации в 128, задержки могут быть очень низкими, например, составлять простые числа 1, 2, 3 и 5 или, в качестве другого примера, 1, 3, 5 и 7. Далее может применяться временное/частотное формирование огибающей. Входные сигналы в формирование огибающей могут представлять собой DFT-бины непосредственно и их задержанные и фильтрованные версии. В завершение, IDFT с суммированием с перекрытием может синтезировать выходной сигнал. Выходной сигнал может дополнительно обрабатываться во временной области для получения левого/правого стереосигнала из входного моносигнала в конфигурации, показанной на фиг. 8. Альтернативно, левый/правый стереосигнал может собираться в частотной DFT-области и дополнительно обрабатываться в частотной области, например, для моделирования протяженности источника/SESS посредством быстрой свертки, если преимущественно для общей вычислительной эффективности. Конфигурация для моделирования протяженности источника показана на фиг. 7. В отличие от других вариантов осуществления, альтернативный вариант осуществления, имеющий задержки Mi, может выбираться в качестве простых чисел, приблизительно в 128 раз (согласно вышеуказанному коэффициенту понижающей дискретизации) больших, чем простые числа, выбираемые в подполосной области, например, 131, 257, 383 и 641 (для набора простых значений 1, 2, 3 и 5) или 131, 383, 641 и 907 (для набора простых значений 1, 3, 5 и 7). Для различных наборов простых значений с различным числом простых чисел и/или с различными простыми числами, могут выбираться соответствующие значения. Дополнительно, альтернативный вариант осуществления может требовать дополнительного STFT, чтобы получать прямой сигнал, вводимый во временной/частотный формирователь огибающей.In other words, Fig. 2 and Fig. 9 show preferred embodiments of the present invention. First, an input signal or audio signal (point source sound, for example) can be fed to a decorrelator 20 comprising a time-block DFT, for example with a block length of 256 samples and, for example, with 50% overlap. Next, the spectral bins of the DFT are delayed in time by a frequency-dependent duration, whereby low frequencies can have a higher delay and high frequencies can have a lower delay. For example, the delay can be 16 subband samples (42.7 milliseconds at 48 kHz) for low frequencies and can be reduced down to 1 subband sample for the highest bins, i.e. z -1 . The delay reduction over time can be linear, logarithmic, or otherwise rounded to integer numbers of subband samples. Then, each bin is sent through an all-pass filter, preferably comprising a chain of simple all-pass filters or a nested structure of all-pass filters. An exemplary all-pass filter is shown in Fig. 4. Another structure is shown in Fig. 5. With reference to Fig. 4, one possible chain may comprise or consist of four such all-pass filters. The parameter g may be chosen to be a component of, for example, 0.7, and the delays Mi may be prime numbers. It should be noted that Fig. 4 shows the very first part of the chain, i.e. M 1 . Since these filters may operate on downsampled frequency bands of the spectrum, for example with a downsampling factor of 128, the delays may be very low, for example, prime numbers 1, 2, 3, and 5, or, as another example, 1, 3, 5, and 7. Time/frequency envelope shaping may then be applied. The input signals to the envelope shaping may be the DFT bins themselves and their delayed and filtered versions. Finally, an overlap-sum IDFT may synthesize the output signal. The output signal may be further processed in the time domain to obtain a left/right stereo signal from the input mono signal in the configuration shown in Fig. 8. Alternatively, the left/right stereo signal may be collected in the frequency DFT domain and further processed in the frequency domain, e.g. for source extension/SESS modeling via fast convolution, if advantageous for overall computational efficiency. The configuration for source extension modeling is shown in Fig. 7. Unlike other embodiments, an alternative embodiment having delays Mi may be selected as prime numbers approximately 128 times (according to the above-mentioned downsampling factor) larger than the prime numbers selected in the subband domain, for example 131, 257, 383 and 641 (for the set of prime values 1, 2, 3 and 5) or 131, 383, 641 and 907 (for the set of prime values 1, 3, 5 and 7). For different sets of prime values with different numbers of prime numbers and/or with different prime numbers, corresponding values may be selected. Additionally, the alternative embodiment may require an additional STFT to obtain a direct signal input to the time/frequency envelope shaper.

Фиг. 9 показывает примерный декоррелятор в M/S-в-L/R-компоновке с обработкой для обращения с транзиентами. Аспекты этих вариантов осуществления заключаются в следующем:Fig. 9 shows an exemplary decorrelator in an M/S-to-L/R arrangement with processing for handling transients. Aspects of these embodiments are as follows:

- Обнаружение транзиента обнаруживает присутствие изолированного транзиента.- Transient detection detects the presence of an isolated transient.

- Если транзиент обнаруживается, декоррелированный звук глушится в течение "времени удержания", и прямой сигнал с компенсацией задержки усиливается соответствующим образом. Чтобы компенсировать эффект когерентного суммирования, коэффициент в 2/sqrt(2) применяется для того, чтобы усиливать прямой сигнал, причем он заменяет декоррелированный сигнал.- If a transient is detected, the decorrelated sound is muted during the "hold time" and the delay-compensated direct signal is amplified accordingly. To compensate for the coherent summation effect, a factor of 2/sqrt(2) is applied to amplify the direct signal, replacing the decorrelated signal.

- Чтобы не допускать инициирования в цепочках быстрых импульсов, которые воспринимаются как тона, запрет предотвращает инициирование посредством следующего транзиента в течение определенного "времени запрета"; время запрета перезапускается посредством каждого нового обнаружения транзиента в течение "времени удержания".- To prevent initiation in fast pulse trains that are perceived as tones, inhibition prevents initiation by the next transient for a certain "inhibition time"; the inhibition time is restarted by each new transient detection during the "hold time".

- Гистерезис предотвращает переключение обнаружения транзиента (например, посредством увеличения "времени запрета" в случае повторно инициированного запрета).- Hysteresis prevents the transient detection from switching (e.g. by increasing the "inhibit time" in case of a re-initiated inhibition).

- Обнаружение транзиента, глушение, усиление прямого звука, запрет обнаружения и гистерезис могут преимущественно реализовываться в STFT-области:- Transient detection, muting, direct sound amplification, detection inhibition and hysteresis can be implemented predominantly in the STFT domain:

○ перекрытие STFT-блоков обеспечивает сглаженный плавный переход,○ overlapping STFT blocks provides a smooth transition,

○ время глушения превышает предзадержку декоррелятора,○ the damping time exceeds the decorrelator pre-delay,

○ счетчик блоков глушения, чтобы глушить декоррелированный сигнал и усиливать прямой сигнал,○ jamming block counter to jam the decorrelated signal and amplify the direct signal,

○ счетчик блоков запрета, чтобы запрещать обнаружение транзиента,○ Block inhibit counter to inhibit transient detection,

○ гистерезис, чтобы не допускать переключения при обнаружении транзиентов.○ hysteresis to prevent switching when transients are detected.

Варианты осуществления настоящего изобретения относятся к:Embodiments of the present invention relate to:

- устройству/способу для декорреляции аудиосигнала,- a device/method for decorrelation of an audio signal,

- декоррелятору, включающему в себя:- decorrelator, which includes:

○ DFT/IDFT-пару (необязательную, при непосредственном сопряжении с помощью интерфейса с SESS-обработкой в частотной области),○ DFT/IDFT pair (optional, when directly interfaced with SESS frequency domain processing),

○ задержки в подполосной области; предпочтительно низкие частоты имеют более высокую задержку, и высокие частоты имеют более низкую задержку; распределение задержки вдоль частоты: линейное, логарифмическое и т.д.,○ subband delays; preferably low frequencies have higher delays and high frequencies have lower delays; delay distribution along frequency: linear, logarithmic, etc.,

○ всепропускающие фильтры в подполосной области; необязательно: низкие частоты могут иметь более высокую задержку/порядок, и высокие частоты имеют более низкую задержку/порядок; всепропускающие фильтры высшего порядка могут реализовываться посредством каскада всепропускающих фильтров низшего порядка,○ subband all-pass filters; optional: low frequencies can have higher delay/order, and high frequencies have lower delay/order; higher-order all-pass filters can be realized by cascading lower-order all-pass filters,

▪ короткие IIR-фильтры Шредера в (подвергнутой понижающей дискретизации) подполосной DFT-области с использованием простых чисел с небольшой целочисленной задержкой в комбинации с частотно-зависимыми задержками,▪ short IIR Schroeder filters in the (downsampled) subband DFT domain using primes with small integer delay in combination with frequency-dependent delays,

○ модуль В/Ч регулирования огибающей с высоким временным разрешением (<4 мс), работающий в подполосной области; измерение энергии до и после обработки задержки/всепропускающей обработки; регулирование энергии подполосного сигнала таким образом, чтобы она (в максимально возможной степени) совпадала с энергией исходного подполосного сигнала,○ High-temporal-resolution (<4 ms) RF envelope control module operating in the subband domain; measures energy before and after delay/all-pass processing; controls the energy of the subband signal so that it matches (as closely as possible) the energy of the original subband signal,

- декоррелятор с низкой задержкой в качестве части моделирования/обработки "протяженности источника" (в противоположность декоррелятору на основе стандарта объемного звучания MPEG),- a low-latency decorrelator as part of the "source extent" modeling/processing (as opposed to a decorrelator based on the MPEG surround standard),

- интерфейс с нижележащей обработкой протяженности источника во временной или в частотной DFT-области для вычислительной эффективности,- interface with underlying source extent processing in the time or frequency DFT domain for computational efficiency,

- альтернативная реализация: всепропускающие фильтры перед задержками ("постзадержки").- alternative implementation: all-pass filters before delays ("post-delays").

Фиг. 10 показывает принципиальную блок-схему способа 1000 согласно варианту осуществления, который может реализовываться, например, посредством декоррелятора, описанного в данном документе. Способ 1000 содержит этап 1010, на котором принимаются множество частей, которые основаны на аудиосигнале. На 1020, каждая из принимаемых частей задерживается, чтобы обеспечивать множество задержанных частей. 1030 содержит прием и комбинирование сигналов, основанных на задержанных частях частотного представления. 1040 содержит прием частотного представления аудиосигнала. 1050 содержит регулирование энергии задержанных частей в отношении частотного представления аудиосигнала. 1060 содержит обеспечение частотного представления комбинированной формы, например, с использованием формирователя 16 огибающей.Fig. 10 shows a basic block diagram of a method 1000 according to an embodiment, which can be implemented, for example, by means of a decorrelator described in this document. The method 1000 comprises a step 1010, in which a plurality of parts are received, which are based on an audio signal. At 1020, each of the received parts is delayed to provide a plurality of delayed parts. 1030 comprises receiving and combining signals based on the delayed parts of the frequency representation. 1040 comprises receiving the frequency representation of the audio signal. 1050 comprises adjusting the energy of the delayed parts with respect to the frequency representation of the audio signal. 1060 comprises providing a frequency representation of a combined shape, for example, using an envelope shaper 16.

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.Although some aspects are described in the context of a device, it is obvious that these aspects also represent a description of the corresponding method, wherein the block or device corresponds to a step of the method or a feature of a step of the method. Similarly, aspects described in the context of a step of the method also represent a description of the corresponding block or element, or a feature of the corresponding device.

Изобретенный кодируемый аудиосигнал может сохраняться на цифровом носителе данных либо может передаваться по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, к примеру, Интернет.The invented encoded audio signal may be stored on a digital storage medium or may be transmitted over a transmission medium such as a wireless transmission medium or a wired transmission medium such as the Internet.

В зависимости от определенных требований к реализации, варианты осуществления данного изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, хранящего электронночитаемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.Depending on the specific implementation requirements, embodiments of the present invention may be implemented in hardware or software. The implementation may be performed using a digital storage medium, such as a floppy disk, DVD, CD, ROM, PROM, EPROM, EEPROM or flash memory, storing electronically readable control signals that interact (or are capable of interacting) with a programmable computer system such that the corresponding method is performed.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.Some embodiments of the invention include a data carrier having electronically readable control signals that are capable of interacting with a programmable computer system such that one of the methods described herein is performed.

В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код, например, может сохраняться на машиночитаемом носителе.In general, embodiments of the present invention may be implemented as a computer program product with a program code, wherein the program code is configured to perform one of the methods when the computer program product is executed on a computer. The program code may, for example, be stored on a machine-readable medium.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.Other embodiments comprise a computer program for implementing one of the methods described herein stored on a machine-readable medium.

Другими словами, вариант осуществления изобретенного способа в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа выполняется на компьютере.In other words, an embodiment of the invented method is therefore a computer program having a program code for implementing one of the methods described in this document when the computer program is executed on a computer.

Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель данных (цифровой запоминающий носитель или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе.Accordingly, a further embodiment of the inventive methods is a data carrier (digital storage medium or machine-readable medium) containing a recorded computer program for implementing one of the methods described in this document.

Следовательно, дополнительный вариант осуществления изобретенного способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью его/ее передачи через соединение для передачи данных, например, через Интернет.Therefore, a further embodiment of the inventive method is a data stream or a sequence of signals representing a computer program for implementing one of the methods described in this document. The data stream or sequence of signals, for example, can be configured to be transmitted via a data connection, such as the Internet.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.An additional embodiment comprises a processing means, such as a computer or a programmable logic device, configured to perform one of the methods described herein.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.An additional embodiment comprises a computer having a computer program installed for implementing one of the methods described herein.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного оборудования.In some embodiments, a programmable logic device (e.g., a field programmable gate array) may be used to perform some or all of the functionalities of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein. In general, the methods are preferably implemented by any hardware.

Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, будут очевидны для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.The above-described embodiments are merely illustrative of the principles of the present invention. It should be understood that modifications and changes to the arrangements and details described herein will be obvious to those skilled in the art. Therefore, they are intended to be limited only by the scope of the claims below and not by the specific details presented by way of description and explanation of the embodiments herein.

Список источниковList of sources

[1] W. Oomen, E. Schuijers, B. den Brinker и J. Breebaart "Advances in Parametric Coding for High-Quality Audio", статья 5852 (март 2003 года).[1] W. Oomen, E. Schuijers, B. den Brinker, and J. Breebaart, “Advances in Parametric Coding for High-Quality Audio,” paper 5852 (March 2003).

[2] J. Breebaart, S. van de Par, A. Kohlrausch и E. Schuijers "High-quality Parametric Spatial Audio Coding at Low Bitrates", статья 6072 (май 2004 года).[2] J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, “High-quality Parametric Spatial Audio Coding at Low Bitrate,” paper 6072 (May 2004).

PS в QMF-области:PS in QMF area:

[3] H. Purnhagen, J. Engdegard, J. Roden и L. Liljeryd "Synthetic Ambience in Parametric Stereo Coding", статья 6074 (май 2004 года).[3] H. Purnhagen, J. Engdegard, J. Roden, and L. Liljeryd, “Synthetic Ambience in Parametric Stereo Coding,” paper 6074 (May 2004).

[4] J. Herre, K. Kjörling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Rödén, W. Oomen, K. Linzmeier и KO. SE. Chong "MPEG Surround-The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", J. Audio Eng. Soc., издание 56, номер 11, стр. 932-955 (ноябрь 2008 года).[4] J. Herre, K. Kjörling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Rödén, W. Oomen, K. Linzmeier and K.O. SE. Chong "MPEG Surround-The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", J. Audio Eng. Soc., Vol. 56, No. 11, pp. 932-955 (November 2008).

Claims (58)

1. Декоррелятор для системы аудиообработки, причем декоррелятор содержит:1. A decorrelator for an audio processing system, wherein the decorrelator comprises: - множество модулей (12) задержки, при этом каждый модуль (12) задержки выполнен с возможностью приема части (141-14n) частотного представления, основанного на аудиосигнале (22); при этом каждый модуль (12) задержки выполнен с возможностью задержки принимаемой части (141-14n), чтобы обеспечивать задержанную часть (14'1-14'n); и- a plurality of delay modules (12), wherein each delay module (12) is configured to receive a portion (14 1 -14 n ) of a frequency representation based on an audio signal (22); wherein each delay module (12) is configured to delay the received portion (14 1 -14 n ) in order to provide a delayed portion (14' 1 -14' n ); and - формирователь (16) огибающей, выполненный с возможностью приема и комбинирования сигналов, основанных на задержанных частях (14'1-14'n) частотного представления; с возможностью приема частотного представления аудиосигнала (22); с возможностью регулирования энергии задержанных частей (14'1-14'n) в отношении частотного представления аудиосигнала (22); и с возможностью обеспечения частотного представления комбинированной формы.- an envelope former (16) configured to receive and combine signals based on delayed portions (14' 1 -14' n ) of a frequency representation; with the ability to receive a frequency representation of an audio signal (22); with the ability to regulate the energy of the delayed portions (14' 1 -14' n ) in relation to the frequency representation of the audio signal (22); and with the ability to provide a frequency representation of a combined form. 2. Декоррелятор по п. 1, в котором различные части (141-14n) частотного представления содержат одинаковое или различное число частотных бинов.2. The decorrelator according to claim 1, wherein the different parts (14 1 -14 n ) of the frequency representation contain the same or different numbers of frequency bins. 3. Декоррелятор по п. 1 или 2, дополнительно содержащий фазосдвигатель (26), выполненный с возможностью фазового сдвига частотного представления (14) аудиосигнала (22); или с возможностью фазового сдвига аудиосигнала (22) во временной области для получения фазосдвинутого аудиосигнала (22).3. The decorrelator according to claim 1 or 2, additionally comprising a phase shifter (26) configured to phase shift the frequency representation (14) of the audio signal (22); or to phase shift the audio signal (22) in the time domain to obtain a phase-shifted audio signal (22). 4. Декоррелятор по п. 3, в котором фазосдвигатель (26) выполнен с возможностью фазового сдвига частотного представления аудиосигнала (22) и содержит множество всепропускающих фильтров, при этом каждый всепропускающий фильтр (28) выполнен с возможностью фазового сдвига ассоциированной части (141-14n) частотного представления аудиосигнала (22).4. The decorrelator according to claim 3, wherein the phase shifter (26) is configured to phase shift the frequency representation of the audio signal (22) and comprises a plurality of all-pass filters, wherein each all-pass filter (28) is configured to phase shift an associated portion (14 1 -14 n ) of the frequency representation of the audio signal (22). 5. Декоррелятор по п. 4, в котором всепропускающий фильтр (28) из множества всепропускающих фильтров содержит набор структур (40; 50) всепропускающих фильтров, таких как IIR-фильтры Шредера, последовательно соединенных между собой; при этом структуры (40; 50) всепропускающих фильтров выполнены с возможностью обеспечения различных временных задержек; или5. The decorrelator of claim 4, wherein the all-pass filter (28) of the plurality of all-pass filters comprises a set of all-pass filter structures (40; 50), such as Schroeder IIR filters, connected in series with each other; wherein the all-pass filter structures (40; 50) are configured to provide different time delays; or при этом структуры (40; 50) всепропускающих фильтров содержат вложенную структуру всепропускающих фильтров.whereby the structures (40; 50) of all-pass filters contain a nested structure of all-pass filters. 6. Декоррелятор по п. 5, в котором число структур (40; 50) всепропускающих фильтров и/или схема структуры всепропускающих фильтров равны или отличаются между различными всепропускающими фильтрами (28).6. The decorrelator according to claim 5, wherein the number of all-pass filter structures (40; 50) and/or the structure scheme of the all-pass filters are equal to or different between different all-pass filters (28). 7. Декоррелятор по п. 5 или 6, в котором различные временные задержки основаны на простом числе, кратном локальной частоте дискретизации, используемой для получения частотного представления аудиосигнала (22).7. A decorrelator according to claim 5 or 6, wherein the different time delays are based on a prime multiple of the local sampling frequency used to obtain the frequency representation of the audio signal (22). 8. Декоррелятор по одному из пп. 5-7, в котором набор структур (40; 50) всепропускающих фильтров содержит структуры (40; 50) всепропускающих фильтров в числе четырех и они выполнены с возможностью обеспечения задержки в 1, 2, 3 и 5 или 1, 3, 5 и 7, соответственно.8. The decorrelator according to one of claims 5-7, wherein the set of all-pass filter structures (40; 50) comprises four all-pass filter structures (40; 50) and they are configured to provide a delay of 1, 2, 3, and 5 or 1, 3, 5, and 7, respectively. 9. Декоррелятор по одному из пп. 4-8, в котором коэффициент усиления всепропускающего фильтра (28) адаптируется к значению с абсолютной величиной в 0,7 в пределах диапазона допусков, например, 20%.9. A decorrelator according to one of paragraphs 4-8, in which the gain of the all-pass filter (28) is adapted to a value with an absolute value of 0.7 within a tolerance range, for example 20%. 10. Декоррелятор по п. 3, в котором фазосдвигатель (26) выполнен с возможностью фазового сдвига аудиосигнала (22) во временной области; при этом фазосдвигатель (26) содержит набор структур (40; 50) всепропускающих фильтров, таких как IIR-фильтры Шредера, последовательно соединенных между собой; при этом структуры (40; 50) всепропускающих фильтров выполнены с возможностью обеспечения различных временных задержек; или10. The decorrelator according to claim 3, wherein the phase shifter (26) is configured to phase shift the audio signal (22) in the time domain; wherein the phase shifter (26) comprises a set of all-pass filter structures (40; 50), such as Schroeder IIR filters, connected in series with each other; wherein the all-pass filter structures (40; 50) are configured to provide different time delays; or - при этом структуры (40; 50) всепропускающих фильтров содержат вложенную структуру всепропускающих фильтров.- in this case, the structures (40; 50) of all-pass filters contain a nested structure of all-pass filters. 11. Декоррелятор по п. 10, в котором различные всепропускающие временные задержки основаны на простом числе, кратном обратной величине частоты дискретизации, используемой для получения частотного представления аудиосигнала (22).11. The decorrelator of claim 10, wherein the various all-pass time delays are based on a prime multiple of the reciprocal of the sampling frequency used to obtain the frequency representation of the audio signal (22). 12. Декоррелятор по п. 10 или 11, в котором различные временные задержки основаны на простом числе, получаемом посредством умножения каждого из набора минимальных простых чисел, например, 1, 2, 3 и 5; или 1, 3, 5 и 7, на коэффициент понижающей дискретизации, используемый для формирования частей (141-14n) частотного представления аудиосигнала (22), чтобы получать промежуточный результат; и для использования следующего простого числа относительно промежуточного результата, например, в качестве 131, 257, 383, 641 или 131, 383, 641, 907.12. The decorrelator of claim 10 or 11, wherein the different time delays are based on a prime number obtained by multiplying each of a set of minimal prime numbers, such as 1, 2, 3 and 5; or 1, 3, 5 and 7, by a downsampling factor used to form parts (14 1 -14 n ) of the frequency representation of the audio signal (22) to obtain an intermediate result; and for using the next prime number relative to the intermediate result, such as 131, 257, 383, 641 or 131, 383, 641, 907. 13. Декоррелятор по одному из пп. 10-12, содержащий первый модуль (24) преобразования для получения частотного представления аудиосигнала (22) из аудиосигнала (22) для формирователя (16) огибающей; и содержащий второй модуль (34) преобразования для получения частотного представления из реверберированного аудиосигнала (22); при этом части (141-14n) частотного представления формируют части (141-14n) частотного представления из реверберированного аудиосигнала (22).13. The decorrelator according to one of claims 10-12, comprising a first conversion module (24) for obtaining a frequency representation of the audio signal (22) from the audio signal (22) for the envelope generator (16); and comprising a second conversion module (34) for obtaining a frequency representation from the reverberated audio signal (22); wherein the parts (14 1 -14 n ) of the frequency representation form parts (14 1 -14 n ) of the frequency representation from the reverberated audio signal (22). 14. Декоррелятор по одному из предшествующих пунктов, в котором части (141-14n) частотного представления содержат равное или различное число частотных бинов.14. The decorrelator according to one of the preceding claims, wherein the parts (14 1 -14 n ) of the frequency representation contain an equal or different number of frequency bins. 15. Декоррелятор по одному из предшествующих пунктов, выполненный с возможностью получения частей (141-14n) частотного представления в числе 16.15. A decorrelator according to one of the preceding claims, configured to obtain parts (14 1 -14 n ) of the frequency representation in the number 16. 16. Декоррелятор по одному из предшествующих пунктов, выполненный с возможностью получения частотного представления с частотными бинами в числе 128 или 129.16. A decorrelator according to one of the preceding claims, configured to obtain a frequency representation with frequency bins in the number 128 or 129. 17. Декоррелятор по одному из предшествующих пунктов, при этом декоррелятор выполнен с возможностью дополнительно реализовывать одинаковую и предварительно заданную задержку для поднабора или всех частей (141-14n) частотного представления.17. A decorrelator according to one of the preceding claims, wherein the decorrelator is configured to additionally implement the same and predetermined delay for a subset or all parts (14 1 -14 n ) of the frequency representation. 18. Декоррелятор по одному из предшествующих пунктов, в котором модули (12) задержки, ассоциированные со спектральной частью (141-14n), из множества модулей (12) задержки, выполнены с возможностью задержки ассоциированной части (141-14n) частотного представления по-другому по сравнению с модулями (12) задержки, ассоциированными с другими спектральными частями (141-14n).18. A decorrelator according to one of the preceding claims, wherein the delay modules (12) associated with the spectral portion (14 1 -14 n ) of the plurality of delay modules (12) are configured to delay the associated portion (14 1 -14 n ) of the frequency representation differently compared to the delay modules (12) associated with other spectral portions (14 1 -14 n ). 19. Декоррелятор по одному из предшествующих пунктов, в котором множество модулей (12) задержки выполнено с возможностью задержки частей (141-14n) частотного представления, содержащих более низкие частоты, с более высокой временной задержкой по сравнению с частями (141-14n) частотного представления, содержащими более высокие частоты.19. A decorrelator according to one of the preceding claims, wherein the plurality of delay modules (12) are configured to delay portions (14 1 -14 n ) of the frequency representation containing lower frequencies with a higher time delay compared to portions (14 1 -14 n ) of the frequency representation containing higher frequencies. 20. Декоррелятор по п. 19, в котором взаимосвязь между различными временными задержками является одной из линейной, логарифмической и/или основанной на округлении по подполосным выборкам.20. The decorrelator of claim 19, wherein the relationship between the different time delays is one of linear, logarithmic, and/or based on subband sample rounding. 21. Декоррелятор по одному из предшествующих пунктов, содержащий модуль (24) преобразования для приема и преобразования аудиосигнала (22) или реверберированной версии аудиосигнала (22) в части (141-14n) посредством выполнения повременно-блочного дискретного преобразования Фурье (DFT) или кратковременного преобразования Фурье (STFT); при этом модуль (24) преобразования выполнен с возможностью преобразования блоков, имеющих перекрытие в 50% в пределах диапазона допусков.21. A decorrelator according to one of the preceding claims, comprising a transform module (24) for receiving and transforming an audio signal (22) or a reverberated version of the audio signal (22) into parts (14 1 -14 n ) by performing a time-block discrete Fourier transform (DFT) or a short-time Fourier transform (STFT); wherein the transform module (24) is configured to transform blocks having an overlap of 50% within a tolerance range. 22. Декоррелятор по одному из предшествующих пунктов, содержащий модуль (24) преобразования для приема и преобразования аудиосигнала (22) или реверберированной версии аудиосигнала (22) в части (141-14n) посредством выполнения повременно-блочного дискретного преобразования Фурье (DFT) или кратковременного преобразования Фурье (STFT); при этом блоки содержат длину блока в 256 выборок.22. A decorrelator according to one of the preceding claims, comprising a transform module (24) for receiving and transforming the audio signal (22) or a reverberated version of the audio signal (22) into parts (14 1 -14 n ) by performing a time-block discrete Fourier transform (DFT) or short-time Fourier transform (STFT); wherein the blocks comprise a block length of 256 samples. 23. Декоррелятор по одному из предшествующих пунктов, содержащий модуль (34) обратного преобразования для приема обработанных версий частей частотного представления (14) и для синтезирования синтезированного сигнала из обработанных версий на основе процедуры суммирования с перекрытием.23. A decorrelator according to one of the preceding claims, comprising an inverse transform module (34) for receiving processed versions of portions of the frequency representation (14) and for synthesizing a synthesized signal from the processed versions based on an overlap summation procedure. 24. Декоррелятор по одному из предшествующих пунктов, в котором формирователь (16) огибающей выполнен с возможностью работы в подполосной области и с временным разрешением менее 4 мс.24. A decorrelator according to one of the preceding claims, in which the envelope shaper (16) is designed to operate in the subband region and with a time resolution of less than 4 ms. 25. Декоррелятор по одному из предшествующих пунктов, содержащий интерфейс (38) для обеспечения сигнала (36) на основе частотного представления комбинированной формы.25. A decorrelator according to one of the preceding claims, comprising an interface (38) for providing a signal (36) based on a frequency representation of the combined form. 26. Декоррелятор по одному из предшествующих пунктов, в котором формирователь (16) огибающей должен формировать спектральные бины во времени и/или по частоте отдельно или в качестве группы, например, посредством реализации взаимозависимой или, по меньшей мере, групповой общей обработки формирования.26. A decorrelator according to one of the preceding claims, wherein the envelope shaper (16) is to shape the spectral bins in time and/or frequency individually or as a group, for example by implementing interdependent or at least group common shaping processing. 27. Декоррелятор по одному из предшествующих пунктов, содержащий каскад (66) обработки сигнала, выполненный с возможностью приема сигнала, основанного на частотном представлении комбинированной формы, в качестве моносигнала и с возможностью обработки моносигнала, по меньшей мере, в стереосигнал.27. A decorrelator according to one of the preceding claims, comprising a signal processing stage (66) adapted to receive a signal based on a frequency representation of a combined form as a mono signal and to process the mono signal into at least a stereo signal. 28. Декоррелятор по одному из предшествующих пунктов, содержащий каскад (66) обработки сигнала, выполненный с возможностью обработки частотного представления комбинированной формы, по меньшей мере, в стереоаудиосигнал; и с возможностью моделирования протяженности источника на основе, по меньшей мере, стереосигнала, например, в частотной области.28. A decorrelator according to one of the preceding claims, comprising a signal processing stage (66) adapted to process a frequency representation of the combined form into at least a stereo audio signal; and adapted to model the extent of the source based on at least the stereo signal, for example in the frequency domain. 29. Система аудиообработки, содержащая:29. An audio processing system comprising: - декоррелятор по одному из предшествующих пунктов; и- a decorrelator according to one of the preceding points; and - каскад (66) обработки для преобразования среднего/бокового разложенного сигнала в левый/правый разложенный сигнал.- a processing cascade (66) for converting the middle/side decomposed signal into a left/right decomposed signal. 30. Система обработки по п. 29, в которой одна часть (741) среднего/бокового разложенного сигнала обеспечивается посредством декоррелятора, и другая часть (742) обеспечивается посредством модуля (78) компенсации задержки, соединенного параллельно с декоррелятором и соединенного с каскадом (66) обработки.30. The processing system according to claim 29, in which one part (74 1 ) of the middle/side decomposed signal is provided by means of a decorrelator, and the other part (74 2 ) is provided by means of a delay compensation module (78) connected in parallel with the decorrelator and connected to the processing cascade (66). 31. Система обработки по п. 30, содержащая модуль (82) подавления транзиента, выполненный с возможностью обнаружения транзиента в аудиосигнале (22) либо в его частотном представлении (14) во вводе декоррелятора;31. The processing system according to claim 30, comprising a transient suppression module (82) configured to detect a transient in the audio signal (22) or in its frequency representation (14) in the input of the decorrelator; - при этом модуль (82) подавления транзиента выполнен с возможностью временного глушения части (741), обеспеченной посредством декоррелятора, чтобы подавлять эхо-сигналы в каскаде обработки.- wherein the transient suppression module (82) is designed with the possibility of temporarily silencing the part (74 1 ) provided by means of the decorrelator in order to suppress echo signals in the processing cascade. 32. Система обработки по п. 31, в которой модуль (82) подавления транзиента выполнен с возможностью усиления части модуля компенсации задержки, соответствующего глушению части декоррелятора.32. The processing system according to claim 31, in which the transient suppression module (82) is configured to amplify a portion of the delay compensation module corresponding to the damping of a portion of the decorrelator. 33. Система обработки по п. 32, в которой модуль (82) подавления транзиента выполнен с возможностью усиления части модуля компенсации задержки на коэффициент:33. The processing system according to claim 32, in which the transient suppression module (82) is configured to amplify a portion of the delay compensation module by a factor of: , , по сравнению с незаглушенной частью декоррелятора.compared to the undamped part of the decorrelator. 34. Система обработки по одному из пп. 31-33, в которой модуль (82) подавления транзиента выполнен с возможностью подавления обнаруженного транзиента и с возможностью подавления следующего транзиента не ранее предварительно заданного времени запрета.34. The processing system according to one of paragraphs 31-33, in which the transient suppression module (82) is configured to suppress the detected transient and to suppress the next transient no earlier than a predetermined inhibition time. 35. Система обработки по одному из пп. 31-34, в которой время запрета представляет собой первое время запрета; при этом модуль (82) подавления транзиента выполнен с возможностью перезапуска времени запрета в качестве второго времени запрета, превышающего первое время запрета, в случае, если транзиент возникает в течение первого времени запрета.35. The processing system according to one of claims 31-34, wherein the inhibition time is a first inhibition time; wherein the transient suppression module (82) is configured to restart the inhibition time as a second inhibition time exceeding the first inhibition time if a transient occurs during the first inhibition time. 36. Система обработки по одному из пп. 31-35, в которой модуль (82) подавления транзиента выполнен с возможностью работы в частотной области.36. A processing system according to one of paragraphs 31-35, in which the transient suppression module (82) is designed with the ability to operate in the frequency domain. 37. Система обработки по одному из пп. 31-36, в которой модуль (82) подавления транзиента выполнен с возможностью глушения части декоррелятора в течение большего времени по сравнению с предзадержкой декоррелятора.37. The processing system according to one of paragraphs 31-36, in which the transient suppression module (82) is designed with the possibility of suppressing a part of the decorrelator for a longer time compared to the pre-delay of the decorrelator. 38. Система обработки по одному из пп. 29-37, в которой декоррелятор должен обеспечивать частотное представление комбинированной формы в качестве части среднего/бокового разложенного сигнала в каскад обработки; и каскад обработки должен преобразовывать частотное представление комбинированной формы и задержанную версию аудиосигнала (22) в левый/правый разложенный сигнал в частотной области.38. The processing system of any one of claims 29-37, wherein the decorrelator is to provide a frequency representation of the combined waveform as part of a mid/side decomposed signal to a processing stage; and the processing stage is to convert the frequency representation of the combined waveform and a delayed version of the audio signal (22) into a left/right decomposed signal in the frequency domain. 39. Способ для обработки аудиосигнала, содержащий этапы, на которых:39. A method for processing an audio signal, comprising the steps of: - принимают (1010) множество частей частотного представления, основанного на аудиосигнале;- receive (1010) a plurality of parts of a frequency representation based on an audio signal; - задерживают (1020) каждую из принимаемых частей для того, чтобы обеспечивать множество задержанных частей; и- delay (1020) each of the received parts in order to provide a plurality of delayed parts; and - принимают (1030) и комбинируют сигналы, основанные на задержанных частях частотного представления;- receive (1030) and combine signals based on delayed parts of the frequency representation; - принимают (1040) частотное представление аудиосигнала;- receive (1040) frequency representation of the audio signal; - регулируют (1050) энергию задержанных частей в отношении частотного представления аудиосигнала; и- regulate (1050) the energy of the delayed parts in relation to the frequency representation of the audio signal; and - обеспечивают (1060) частотное представление комбинированной формы.- provide (1060) frequency representation of the combined form. 40. Способ по п. 39, дополнительно содержащий этапы, на которых:40. The method according to claim 39, further comprising the steps of: - обнаруживают транзиент в аудиосигнале (22) либо в его частотном представлении (14);- detect a transient in an audio signal (22) or in its frequency representation (14); - временно глушат часть (741), обеспеченную посредством декоррелятора, чтобы подавлять эхо-сигналы в каскаде обработки.- temporarily mute the part (74 1 ) provided by the decorrelator in order to suppress echo signals in the processing cascade. 41. Машиночитаемый носитель, на котором сохранена компьютерная программа для осуществления, при выполнении на компьютере или процессоре, способа по п. 39 или 40.41. A machine-readable medium on which a computer program is stored for implementing, when executed on a computer or processor, the method according to paragraph 39 or 40.
RU2023125800A 2021-03-11 2022-03-09 Audio decorrelator, processing system and method for decorrelation of audio signal RU2834349C2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21162142.0 2021-03-11
EP21203832.7 2021-10-20

Publications (2)

Publication Number Publication Date
RU2023125800A RU2023125800A (en) 2023-10-23
RU2834349C2 true RU2834349C2 (en) 2025-02-06

Family

ID=

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012109384A1 (en) * 2011-02-10 2012-08-16 Dolby Laboratories Licensing Corporation Combined suppression of noise and out - of - location signals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012109384A1 (en) * 2011-02-10 2012-08-16 Dolby Laboratories Licensing Corporation Combined suppression of noise and out - of - location signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KULDIP PALIWAL et al., The importance of phase in speech enhancement, speech communication, Elsevier science publishers, Amsterdam, NL, v.53, no. 4", 06.12.2010. *

Similar Documents

Publication Publication Date Title
US20230421979A1 (en) Audio decorrelator, processing system and method for decorrelating an audio signal
US10043509B2 (en) Reverberator and method for reverberating an audio signal
RU2678161C2 (en) Reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
US9407993B2 (en) Latency reduction in transposer-based virtual bass systems
JP5753899B2 (en) Audio signal synthesizer
CN110998721B (en) Apparatus for encoding or decoding an encoded multi-channel signal using a filler signal generated by a wideband filter
EP1782417A1 (en) Multichannel decorrelation in spatial audio coding
JP5894347B2 (en) System and method for reducing latency in a virtual base system based on a transformer
RU2834349C2 (en) Audio decorrelator, processing system and method for decorrelation of audio signal
HK40097269A (en) Audio decorrelator, processing system and method for decorrelating an audio signal
HK40097269B (en) Audio decorrelator, processing system and method for decorrelating an audio signal
CN117157706A (en) Audio decorrelators, processing systems and methods for decorrelating audio signals
JP2024001324A (en) Down mixer and down mix method
RU2791673C1 (en) Downmix device and downmix method
HK40060438A (en) Audio downmixing
HK1099839B (en) Multichannel decorrelation in spatial audio coding