RU2018121757A - Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала - Google Patents
Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала Download PDFInfo
- Publication number
- RU2018121757A RU2018121757A RU2018121757A RU2018121757A RU2018121757A RU 2018121757 A RU2018121757 A RU 2018121757A RU 2018121757 A RU2018121757 A RU 2018121757A RU 2018121757 A RU2018121757 A RU 2018121757A RU 2018121757 A RU2018121757 A RU 2018121757A
- Authority
- RU
- Russia
- Prior art keywords
- component
- dominant
- audio
- estimate
- presentation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims 27
- 230000005236 sound signal Effects 0.000 claims 11
- 239000011159 matrix material Substances 0.000 claims 6
- 238000009877 rendering Methods 0.000 claims 4
- 238000006243 chemical reaction Methods 0.000 claims 3
- 210000005069 ears Anatomy 0.000 claims 1
- 230000004886 head movement Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 238000012986 modification Methods 0.000 claims 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Claims (39)
1. Способ кодирования входного аудиосигнала, основывающегося на канале или объекте, для воспроизведения, каковой способ содержит этапы, на которых
(a) выполняют первоначальный рендеринг входного аудиосигнала, основывающегося на канале или объекте, в начальное выходное представление;
(b) определяют оценку доминантного аудиокомпонента из входного аудиосигнала, основывающегося на канале или объекте, и определяют последовательность весовых компонентов доминантного аудиокомпонента для отображения начального выходного представления в доминантный аудиокомпонент, с тем чтобы обеспечить возможность использования весовых коэффициентов доминантного аудиокомпонента и начального выходного представления для определения оценки доминантного компонента;
(c) определяют оценку направления или положения доминантного аудиокомпонента; и
(d) кодируют начальное выходное представление, весовые коэффициенты доминантного аудиокомпонента, направление или положение доминантного аудиокомпонента как кодированный сигнал для воспроизведения.
2. Способ по п. 1, дополнительно содержащий этап, на котором определяют оценку остаточного микса, представляющую собой начальное выходное представление за вычетом рендеринга либо доминантного аудиокомпонента, либо его оценки.
3. Способ по п. 1, дополнительно содержащий этап, на котором генерируют безэховый бинауральный микс входного аудиосигнала, основывающегося на канале или объекте, и определяют оценку остаточного микса, причем оценкой остаточного микса является безэховый бинауральный микс за вычетом либо рендеринга доминантного аудиокомпонента, либо его оценки.
4. Способ по п. 2 или 3, дополнительно содержащий этап, на котором определяют последовательность остаточных матричных коэффициентов для отображения начального выходного представления в оценку остаточного микса.
5. Способ по любому из предшествующих пунктов, в котором начальное выходное представление содержит представление посредством наушников или громкоговорителя.
6. Способ по любому из предшествующих пунктов, в котором входной аудиосигнал, основывающийся на канале или объекте, разбивается на элементы разбиения по времени и частоте, и упомянутый этап кодирования повторяется в отношении последовательности временных шагов и последовательности полос частот.
7. Способ по любому из предшествующих пунктов, в котором начальное выходное представление содержит микс стереогромкоговорителей.
8. Способ декодирования кодированного аудиосигнала, причем кодированный аудиосигнал включает в себя:
начальное выходное представление;
весовые коэффициенты доминантного аудиокомпонента и направления доминантного аудиокомпонента;
при этом способ содержит этапы, на которых:
(a) используют весовые коэффициенты доминантного аудиокомпонента и начальное выходное представление, чтобы определить оценочный доминантный компонент;
(b) выполняют рендеринг оценочного доминантного компонента с бинаурализацией в пространственном местоположении относительно целевого слушателя в соответствии с направлением доминантного аудиокомпонента, чтобы сформировать отрендеренный бинаурализированный оценочный доминантный компонент;
(c) реконструируют оценку остаточного компонента из начального выходного представления; и
(d) объединяют отрендеренный бинаурализированный оценочный доминантный компонент и оценку остаточного компонента для формирования выходного пространственно ориентированного кодированного аудиосигнала.
9. Способ по п. 8, в котором кодированный аудиосигнал дополнительно включает в себя последовательность остаточных матричных коэффициентов, представляющих остаточный аудиосигнал, и этап (c) дополнительно содержит этап, на котором
(c1) применяют упомянутые остаточные матричные коэффициенты к начальному выходному представлению, чтобы реконструировать оценку остаточного компонента.
10. Способ по п. 8, в котором оценка остаточного компонента реконструируется вычитанием отрендеренного бинаурализированного оценочного доминантного компонента из начального выходного представления.
11. Способ по любому из пп. 8-10, в котором этап (b) включает в себя начальный поворот оценочного доминантного компонента в соответствии с входным сигналом слежения за движением головы, указывающим ориентацию головы целевого слушателя.
12. Способ декодирования и воспроизведения аудиопотока для слушателя, использующего наушники, каковой способ содержит этапы, на которых
(a) принимают поток данных, содержащий первую аудиопрезентацию и дополнительные данные аудиопреобразования;
(b) принимают данные ориентации головы, представляющие ориентацию слушателя;
(c) создают один или более вспомогательных сигналов на основе первой аудиопрезентации и принятых данных преобразования;
(d) создают вторую аудиопрезентацию, состоящую из сочетания первой аудиопрезентации и вспомогательного сигнала(ов), где один или более вспомогательных сигналов модифицированы в ответ на данные ориентации головы; и
(e) выводят вторую аудиопрезентацию в качестве выходного аудиопотока.
13. Способ по п. 12, в котором упомянутая модификация вспомогательных сигналов состоит из моделирования акустического пути прохождения от положения источника звука до ушей слушателя.
14. Способ по п. 12 или 13, в котором упомянутые данные преобразования состоят из коэффициентов матрицирования и по меньшей мере одного из положения источника звука и направления источника звука.
15. Способ по любому из пп. 12-14, в котором процесс преобразования применяется как функция времени или частоты.
16. Способ по любому из пп. 12-15, в котором упомянутые вспомогательные сигналы представляют по меньшей мере один доминантный компонент.
17. Способ по любому из пп. 12-16, в котором положение или направление источника звука, принятое как часть данных преобразования, поворачивается в качестве реакции на данные ориентации головы.
18. Способ по п. 17, в котором максимальная величина поворота ограничивается значением менее 360 градусов по азимуту или по углу места.
19. Способ по любому из пп. 12-17, в котором вторичная презентация получается из первой презентации путем матрицирования в области преобразования или блока фильтров.
20. Способ по любому из пп. 12-19, в котором данные преобразования дополнительно содержат добавочные коэффициенты матрицирования, и этап (d) дополнительно содержит этап, на котором модифицируют первую аудиопрезентацию в качестве реакции на эти добавочные коэффициенты матрицирования, до объединения первой аудиопрезентации и вспомогательного аудиосигнала(ов).
21. Аппаратура, содержащая одно или более устройств, выполненных с возможностью осуществления способа по любому из пп. 1-20.
22. Машиночитаемый носитель, содержащий программу, состоящую из команд, которые при их исполнении одним или более процессорами предписывают одному или более устройствам выполнять способ по любому из пп. 1-20.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562256462P | 2015-11-17 | 2015-11-17 | |
| US62/256,462 | 2015-11-17 | ||
| EP15199854.9 | 2015-12-14 | ||
| EP15199854 | 2015-12-14 | ||
| PCT/US2016/062497 WO2017087650A1 (en) | 2015-11-17 | 2016-11-17 | Headtracking for parametric binaural output system and method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020116816A Division RU2818687C2 (ru) | 2015-11-17 | 2016-11-17 | Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2018121757A true RU2018121757A (ru) | 2019-12-19 |
| RU2018121757A3 RU2018121757A3 (ru) | 2020-03-25 |
| RU2722391C2 RU2722391C2 (ru) | 2020-05-29 |
Family
ID=69005065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018121757A RU2722391C2 (ru) | 2015-11-17 | 2016-11-17 | Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP6964703B2 (ru) |
| ES (1) | ES2779603T3 (ru) |
| IL (1) | IL274432B (ru) |
| MX (1) | MX384922B (ru) |
| RU (1) | RU2722391C2 (ru) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116648931A (zh) * | 2020-10-13 | 2023-08-25 | 弗劳恩霍夫应用研究促进协会 | 在下混期间使用方向信息对多个音频对象进行编码的装置和方法或使用优化的协方差合成进行解码的装置和方法 |
| CN115379339A (zh) * | 2022-08-29 | 2022-11-22 | 歌尔科技有限公司 | 音频处理方法、装置和电子设备 |
| KR20250103037A (ko) * | 2023-12-28 | 2025-07-07 | 삼성전자주식회사 | 오디오 처리를 위한 전자 장치 및 방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6016473A (en) * | 1998-04-07 | 2000-01-18 | Dolby; Ray M. | Low bit-rate spatial coding method and system |
| US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
| CN102768836B (zh) * | 2006-09-29 | 2014-11-05 | 韩国电子通信研究院 | 用于编码和解码具有各种声道的多对象音频信号的设备和方法 |
| UA94117C2 (ru) * | 2006-10-16 | 2011-04-11 | Долби Свиден Ав | Усовершенстованное кодирование и отображение параметров многоканального кодирования микшированных объектов |
| AU2008243406B2 (en) * | 2007-04-26 | 2011-08-25 | Dolby International Ab | Apparatus and method for synthesizing an output signal |
| RU2011147119A (ru) * | 2009-04-21 | 2013-05-27 | Конинклейке Филипс Электроникс Н.В. | Синтез аудиосигнала |
| KR101567461B1 (ko) * | 2009-11-16 | 2015-11-09 | 삼성전자주식회사 | 다채널 사운드 신호 생성 장치 |
| BR112014017457A8 (pt) * | 2012-01-19 | 2017-07-04 | Koninklijke Philips Nv | aparelho de transmissão de áudio espacial; aparelho de codificação de áudio espacial; método de geração de sinais de saída de áudio espacial; e método de codificação de áudio espacial |
| US10204614B2 (en) * | 2013-05-31 | 2019-02-12 | Nokia Technologies Oy | Audio scene apparatus |
-
2016
- 2016-11-17 MX MX2018006075A patent/MX384922B/es unknown
- 2016-11-17 ES ES16806384T patent/ES2779603T3/es active Active
- 2016-11-17 RU RU2018121757A patent/RU2722391C2/ru active
-
2020
- 2020-03-24 JP JP2020052041A patent/JP6964703B2/ja active Active
- 2020-05-04 IL IL274432A patent/IL274432B/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| RU2018121757A3 (ru) | 2020-03-25 |
| JP2020110007A (ja) | 2020-07-16 |
| RU2020116816A (ru) | 2020-07-28 |
| IL274432B (en) | 2021-05-31 |
| RU2722391C2 (ru) | 2020-05-29 |
| IL274432A (en) | 2020-06-30 |
| MX2018006075A (es) | 2019-10-14 |
| ES2779603T3 (es) | 2020-08-18 |
| JP6964703B2 (ja) | 2021-11-10 |
| MX384922B (es) | 2025-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7781978B2 (ja) | 2dセットアップを使用したオーディオ再生のためのアンビソニックス・オーディオ音場表現を復号する方法および装置 | |
| KR102829373B1 (ko) | 파라메트릭 바이너럴 출력 시스템 및 방법을 위한 머리추적 | |
| US9984694B2 (en) | Method and device for improving the rendering of multi-channel audio signals | |
| JP6047240B2 (ja) | 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整 | |
| US11856389B2 (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using direct component compensation | |
| US8407059B2 (en) | Method and apparatus of audio matrix encoding/decoding | |
| RU2018121757A (ru) | Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала | |
| KR20220093158A (ko) | 방향성 메타데이터를 사용한 멀티채널 오디오 인코딩 및 디코딩 | |
| KR100763919B1 (ko) | 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2 채널의 바이노럴 신호로 복호화하는 방법 및 장치 | |
| EP3984027B1 (en) | Packet loss concealment for dirac based spatial audio coding | |
| CA3246833A1 (en) | APPARATUS, METHODS AND COMPUTER PROGRAMS INTENDED TO ENABLE SPATIAL AUDIO RENDERING | |
| RU2807473C2 (ru) | Маскировка потерь пакетов для пространственного кодирования аудиоданных на основе dirac | |
| RU2024111576A (ru) | Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала | |
| JP2011002574A (ja) | 3次元音響符号化装置、3次元音響復号装置、符号化プログラム及び復号プログラム | |
| RU2818687C2 (ru) | Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала | |
| HK40052040A (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using direct component compensation | |
| HK40052040B (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using direct component compensation | |
| Favrot et al. | Reproduction of nearby sound sources using high-order ambisonics: Implementation and evaluation | |
| HK40052468B (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using diffuse compensation | |
| HK40052468A (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using diffuse compensation | |
| HK40052467A (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using low-order, mid-order and high-order components generators | |
| HK40052467B (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using low-order, mid-order and high-order components generators |