[go: up one dir, main page]

RU2018121757A - Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала - Google Patents

Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала Download PDF

Info

Publication number
RU2018121757A
RU2018121757A RU2018121757A RU2018121757A RU2018121757A RU 2018121757 A RU2018121757 A RU 2018121757A RU 2018121757 A RU2018121757 A RU 2018121757A RU 2018121757 A RU2018121757 A RU 2018121757A RU 2018121757 A RU2018121757 A RU 2018121757A
Authority
RU
Russia
Prior art keywords
component
dominant
audio
estimate
presentation
Prior art date
Application number
RU2018121757A
Other languages
English (en)
Other versions
RU2018121757A3 (ru
RU2722391C2 (ru
Inventor
Дирк Ерун БРЕБАРТ
Дэвид Мэттью КУПЕР
Марк Ф. ДЭВИС
Дэвид С. МАКГРАТ
Кристофер ЧЕРЛИНГ
Харальд МУНДТ
Ронда Дж. УИЛСОН
Original Assignee
Долби Лэборетериз Лайсенсинг Корпорейшн
Долби Интернэшнл Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Долби Лэборетериз Лайсенсинг Корпорейшн, Долби Интернэшнл Аб filed Critical Долби Лэборетериз Лайсенсинг Корпорейшн
Priority claimed from PCT/US2016/062497 external-priority patent/WO2017087650A1/en
Publication of RU2018121757A publication Critical patent/RU2018121757A/ru
Publication of RU2018121757A3 publication Critical patent/RU2018121757A3/ru
Application granted granted Critical
Publication of RU2722391C2 publication Critical patent/RU2722391C2/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Claims (39)

1. Способ кодирования входного аудиосигнала, основывающегося на канале или объекте, для воспроизведения, каковой способ содержит этапы, на которых
(a) выполняют первоначальный рендеринг входного аудиосигнала, основывающегося на канале или объекте, в начальное выходное представление;
(b) определяют оценку доминантного аудиокомпонента из входного аудиосигнала, основывающегося на канале или объекте, и определяют последовательность весовых компонентов доминантного аудиокомпонента для отображения начального выходного представления в доминантный аудиокомпонент, с тем чтобы обеспечить возможность использования весовых коэффициентов доминантного аудиокомпонента и начального выходного представления для определения оценки доминантного компонента;
(c) определяют оценку направления или положения доминантного аудиокомпонента; и
(d) кодируют начальное выходное представление, весовые коэффициенты доминантного аудиокомпонента, направление или положение доминантного аудиокомпонента как кодированный сигнал для воспроизведения.
2. Способ по п. 1, дополнительно содержащий этап, на котором определяют оценку остаточного микса, представляющую собой начальное выходное представление за вычетом рендеринга либо доминантного аудиокомпонента, либо его оценки.
3. Способ по п. 1, дополнительно содержащий этап, на котором генерируют безэховый бинауральный микс входного аудиосигнала, основывающегося на канале или объекте, и определяют оценку остаточного микса, причем оценкой остаточного микса является безэховый бинауральный микс за вычетом либо рендеринга доминантного аудиокомпонента, либо его оценки.
4. Способ по п. 2 или 3, дополнительно содержащий этап, на котором определяют последовательность остаточных матричных коэффициентов для отображения начального выходного представления в оценку остаточного микса.
5. Способ по любому из предшествующих пунктов, в котором начальное выходное представление содержит представление посредством наушников или громкоговорителя.
6. Способ по любому из предшествующих пунктов, в котором входной аудиосигнал, основывающийся на канале или объекте, разбивается на элементы разбиения по времени и частоте, и упомянутый этап кодирования повторяется в отношении последовательности временных шагов и последовательности полос частот.
7. Способ по любому из предшествующих пунктов, в котором начальное выходное представление содержит микс стереогромкоговорителей.
8. Способ декодирования кодированного аудиосигнала, причем кодированный аудиосигнал включает в себя:
начальное выходное представление;
весовые коэффициенты доминантного аудиокомпонента и направления доминантного аудиокомпонента;
при этом способ содержит этапы, на которых:
(a) используют весовые коэффициенты доминантного аудиокомпонента и начальное выходное представление, чтобы определить оценочный доминантный компонент;
(b) выполняют рендеринг оценочного доминантного компонента с бинаурализацией в пространственном местоположении относительно целевого слушателя в соответствии с направлением доминантного аудиокомпонента, чтобы сформировать отрендеренный бинаурализированный оценочный доминантный компонент;
(c) реконструируют оценку остаточного компонента из начального выходного представления; и
(d) объединяют отрендеренный бинаурализированный оценочный доминантный компонент и оценку остаточного компонента для формирования выходного пространственно ориентированного кодированного аудиосигнала.
9. Способ по п. 8, в котором кодированный аудиосигнал дополнительно включает в себя последовательность остаточных матричных коэффициентов, представляющих остаточный аудиосигнал, и этап (c) дополнительно содержит этап, на котором
(c1) применяют упомянутые остаточные матричные коэффициенты к начальному выходному представлению, чтобы реконструировать оценку остаточного компонента.
10. Способ по п. 8, в котором оценка остаточного компонента реконструируется вычитанием отрендеренного бинаурализированного оценочного доминантного компонента из начального выходного представления.
11. Способ по любому из пп. 8-10, в котором этап (b) включает в себя начальный поворот оценочного доминантного компонента в соответствии с входным сигналом слежения за движением головы, указывающим ориентацию головы целевого слушателя.
12. Способ декодирования и воспроизведения аудиопотока для слушателя, использующего наушники, каковой способ содержит этапы, на которых
(a) принимают поток данных, содержащий первую аудиопрезентацию и дополнительные данные аудиопреобразования;
(b) принимают данные ориентации головы, представляющие ориентацию слушателя;
(c) создают один или более вспомогательных сигналов на основе первой аудиопрезентации и принятых данных преобразования;
(d) создают вторую аудиопрезентацию, состоящую из сочетания первой аудиопрезентации и вспомогательного сигнала(ов), где один или более вспомогательных сигналов модифицированы в ответ на данные ориентации головы; и
(e) выводят вторую аудиопрезентацию в качестве выходного аудиопотока.
13. Способ по п. 12, в котором упомянутая модификация вспомогательных сигналов состоит из моделирования акустического пути прохождения от положения источника звука до ушей слушателя.
14. Способ по п. 12 или 13, в котором упомянутые данные преобразования состоят из коэффициентов матрицирования и по меньшей мере одного из положения источника звука и направления источника звука.
15. Способ по любому из пп. 12-14, в котором процесс преобразования применяется как функция времени или частоты.
16. Способ по любому из пп. 12-15, в котором упомянутые вспомогательные сигналы представляют по меньшей мере один доминантный компонент.
17. Способ по любому из пп. 12-16, в котором положение или направление источника звука, принятое как часть данных преобразования, поворачивается в качестве реакции на данные ориентации головы.
18. Способ по п. 17, в котором максимальная величина поворота ограничивается значением менее 360 градусов по азимуту или по углу места.
19. Способ по любому из пп. 12-17, в котором вторичная презентация получается из первой презентации путем матрицирования в области преобразования или блока фильтров.
20. Способ по любому из пп. 12-19, в котором данные преобразования дополнительно содержат добавочные коэффициенты матрицирования, и этап (d) дополнительно содержит этап, на котором модифицируют первую аудиопрезентацию в качестве реакции на эти добавочные коэффициенты матрицирования, до объединения первой аудиопрезентации и вспомогательного аудиосигнала(ов).
21. Аппаратура, содержащая одно или более устройств, выполненных с возможностью осуществления способа по любому из пп. 1-20.
22. Машиночитаемый носитель, содержащий программу, состоящую из команд, которые при их исполнении одним или более процессорами предписывают одному или более устройствам выполнять способ по любому из пп. 1-20.
RU2018121757A 2015-11-17 2016-11-17 Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала RU2722391C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562256462P 2015-11-17 2015-11-17
US62/256,462 2015-11-17
EP15199854.9 2015-12-14
EP15199854 2015-12-14
PCT/US2016/062497 WO2017087650A1 (en) 2015-11-17 2016-11-17 Headtracking for parametric binaural output system and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2020116816A Division RU2818687C2 (ru) 2015-11-17 2016-11-17 Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала

Publications (3)

Publication Number Publication Date
RU2018121757A true RU2018121757A (ru) 2019-12-19
RU2018121757A3 RU2018121757A3 (ru) 2020-03-25
RU2722391C2 RU2722391C2 (ru) 2020-05-29

Family

ID=69005065

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018121757A RU2722391C2 (ru) 2015-11-17 2016-11-17 Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала

Country Status (5)

Country Link
JP (1) JP6964703B2 (ru)
ES (1) ES2779603T3 (ru)
IL (1) IL274432B (ru)
MX (1) MX384922B (ru)
RU (1) RU2722391C2 (ru)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116648931A (zh) * 2020-10-13 2023-08-25 弗劳恩霍夫应用研究促进协会 在下混期间使用方向信息对多个音频对象进行编码的装置和方法或使用优化的协方差合成进行解码的装置和方法
CN115379339A (zh) * 2022-08-29 2022-11-22 歌尔科技有限公司 音频处理方法、装置和电子设备
KR20250103037A (ko) * 2023-12-28 2025-07-07 삼성전자주식회사 오디오 처리를 위한 전자 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016473A (en) * 1998-04-07 2000-01-18 Dolby; Ray M. Low bit-rate spatial coding method and system
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
CN102768836B (zh) * 2006-09-29 2014-11-05 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
UA94117C2 (ru) * 2006-10-16 2011-04-11 Долби Свиден Ав Усовершенстованное кодирование и отображение параметров многоканального кодирования микшированных объектов
AU2008243406B2 (en) * 2007-04-26 2011-08-25 Dolby International Ab Apparatus and method for synthesizing an output signal
RU2011147119A (ru) * 2009-04-21 2013-05-27 Конинклейке Филипс Электроникс Н.В. Синтез аудиосигнала
KR101567461B1 (ko) * 2009-11-16 2015-11-09 삼성전자주식회사 다채널 사운드 신호 생성 장치
BR112014017457A8 (pt) * 2012-01-19 2017-07-04 Koninklijke Philips Nv aparelho de transmissão de áudio espacial; aparelho de codificação de áudio espacial; método de geração de sinais de saída de áudio espacial; e método de codificação de áudio espacial
US10204614B2 (en) * 2013-05-31 2019-02-12 Nokia Technologies Oy Audio scene apparatus

Also Published As

Publication number Publication date
RU2018121757A3 (ru) 2020-03-25
JP2020110007A (ja) 2020-07-16
RU2020116816A (ru) 2020-07-28
IL274432B (en) 2021-05-31
RU2722391C2 (ru) 2020-05-29
IL274432A (en) 2020-06-30
MX2018006075A (es) 2019-10-14
ES2779603T3 (es) 2020-08-18
JP6964703B2 (ja) 2021-11-10
MX384922B (es) 2025-03-14

Similar Documents

Publication Publication Date Title
JP7781978B2 (ja) 2dセットアップを使用したオーディオ再生のためのアンビソニックス・オーディオ音場表現を復号する方法および装置
KR102829373B1 (ko) 파라메트릭 바이너럴 출력 시스템 및 방법을 위한 머리추적
US9984694B2 (en) Method and device for improving the rendering of multi-channel audio signals
JP6047240B2 (ja) 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整
US11856389B2 (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using direct component compensation
US8407059B2 (en) Method and apparatus of audio matrix encoding/decoding
RU2018121757A (ru) Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала
KR20220093158A (ko) 방향성 메타데이터를 사용한 멀티채널 오디오 인코딩 및 디코딩
KR100763919B1 (ko) 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2 채널의 바이노럴 신호로 복호화하는 방법 및 장치
EP3984027B1 (en) Packet loss concealment for dirac based spatial audio coding
CA3246833A1 (en) APPARATUS, METHODS AND COMPUTER PROGRAMS INTENDED TO ENABLE SPATIAL AUDIO RENDERING
RU2807473C2 (ru) Маскировка потерь пакетов для пространственного кодирования аудиоданных на основе dirac
RU2024111576A (ru) Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала
JP2011002574A (ja) 3次元音響符号化装置、3次元音響復号装置、符号化プログラム及び復号プログラム
RU2818687C2 (ru) Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала
HK40052040A (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using direct component compensation
HK40052040B (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using direct component compensation
Favrot et al. Reproduction of nearby sound sources using high-order ambisonics: Implementation and evaluation
HK40052468B (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using diffuse compensation
HK40052468A (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using diffuse compensation
HK40052467A (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using low-order, mid-order and high-order components generators
HK40052467B (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using low-order, mid-order and high-order components generators