[go: up one dir, main page]

RU2018100128A - Способ и система для разложения акустического сигнала на звуковые объекты, а также звуковой объект и его использование - Google Patents

Способ и система для разложения акустического сигнала на звуковые объекты, а также звуковой объект и его использование Download PDF

Info

Publication number
RU2018100128A
RU2018100128A RU2018100128A RU2018100128A RU2018100128A RU 2018100128 A RU2018100128 A RU 2018100128A RU 2018100128 A RU2018100128 A RU 2018100128A RU 2018100128 A RU2018100128 A RU 2018100128A RU 2018100128 A RU2018100128 A RU 2018100128A
Authority
RU
Russia
Prior art keywords
digital
frequency
signal
audio
instantaneous
Prior art date
Application number
RU2018100128A
Other languages
English (en)
Other versions
RU2018100128A3 (ru
RU2731372C2 (ru
Inventor
Адам ПЛЮТА
Original Assignee
Саунд Обджект Текнолоджиз С.А.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Саунд Обджект Текнолоджиз С.А. filed Critical Саунд Обджект Текнолоджиз С.А.
Publication of RU2018100128A publication Critical patent/RU2018100128A/ru
Publication of RU2018100128A3 publication Critical patent/RU2018100128A3/ru
Application granted granted Critical
Publication of RU2731372C2 publication Critical patent/RU2731372C2/ru

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/145Sound library, i.e. involving the specific use of a musical database as a sound bank or wavetable; indexing, interfacing, protocols or processing therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • G10L2025/906Pitch tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Stereophonic System (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Auxiliary Devices For Music (AREA)

Claims (30)

1. Способ разложения акустического сигнала на цифровые звуковые объекты, причем цифровой звуковой объект представляет компонент акустического сигнала, который имеет форму волны, содержащий этапы, на которых выполняют:
- преобразование аналогового акустического сигнала в цифровой входной сигнал (PIN), который содержит отсчеты акустического сигнала;
- определение, для каждого отсчета, мгновенной частотной составляющей цифрового входного сигнала с использованием банка цифровых фильтров, содержащего цифровые фильтры (n);
- определение, для каждого отсчета, мгновенной амплитуды мгновенной частотной составляющей;
- определение, для каждого отсчета, мгновенной фазы цифрового входного сигнала, связанной с мгновенной частотой;
- создание по меньшей мере одного цифрового звукового объекта на основе определенной мгновенной частоты, фазы и амплитуды; и
- сохранение цифрового звукового объекта в базе данных звуковых объектов,
отличающийся тем, что
для каждого отсчета, для каждого фильтра (n), определяют местоположение частот, присутствующих в акустическом сигнале, на основе пересечения значения угловой частоты на выходе каждого фильтра (n) и его номинальной угловой частоты.
2. Способ по п. 1, в котором цифровой фильтр в банке цифровых фильтров имеет длину окна, пропорциональную его центральной частоте.
3. Способ по п. 2, в котором центральные частоты банка цифровых фильтров распределены в соответствии с логарифмической шкалой.
4. Способ по п. 1, отличающийся тем, что
- операцию, улучшающую разрешение в частотной области упомянутого отфильтрованного сигнала, выполняют отсчет за отсчетом.
5. Способ по п. 1, в котором этап определения мгновенной частотной составляющей принимает во внимание одну или более мгновенных частотных составляющих, определенных с использованием соседних цифровых фильтров банка цифровых фильтров.
6. Способ по п. 1, в котором мгновенную частоту отслеживают по последовательным отсчетам цифрового входного сигнала.
7. Способ по п. 6, отличающийся тем, что
- значения огибающей амплитуды и значения частоты, а также соответствующие им моменты времени определяют для создания характеристических точек с координатами в пространстве время-частота-амплитуда, описывающих форму волны упомянутого звукового объекта.
8. Способ по п. 7, отличающийся тем, что значения определяют не реже одного раза за период длительности окна W(n) данного фильтра (20).
9. Способ по п. 6, дополнительно содержащий этап корректировки амплитуды и/или частоты выбранных звуковых объектов, чтобы уменьшить ожидаемое искажение в упомянутых звуковых объектах, которое вносится упомянутым банком цифровых фильтров.
10. Способ по п. 3, отличающийся тем, что улучшение разрешения в частотной области упомянутого отфильтрованного сигнала дополнительно включает в себя этап увеличения длины окна выбранных фильтров.
11. Способ по п. 4, отличающийся тем, что операция улучшения разрешения в частотной области упомянутого отфильтрованного сигнала дополнительно включает в себя этап вычитания ожидаемого спектра расположенных по-соседству звуковых объектов из спектра на выходе фильтров.
12. Способ по п. 4, отличающийся тем, что операция улучшения разрешения в частотной области упомянутого отфильтрованного сигнала дополнительно содержит этап вычитания звукового сигнала, сгенерированного на основе расположенных по-соседству звуковых объектов, из упомянутого входного сигнала.
13. Цифровой звуковой объект, содержащий по меньшей мере один набор параметров, представляющий форму колебания по меньшей мере одного компонента акустического сигнала, генерируемого способом по одному из пп. 1-12.
14. Энергонезависимый машиночитаемый носитель информации, хранящий звуковой объект по п. 13.
15. Способ генерации звукового сигнала, содержащий этапы:
- приема цифрового звукового объекта по п. 13;
- декодирования цифрового звукового объекта для извлечения по меньшей мере одного набора параметров, описывающего форму сигнала по меньшей мере одного компонента звукового сигнала;
- генерацию формы волны из набора параметров;
- синтезирование звукового сигнала на основе сгенерированной формы сигнала;
и вывод звукового сигнала.
RU2018100128A 2015-07-24 2016-07-22 Способ и система для разложения акустического сигнала на звуковые объекты, а также звуковой объект и его использование RU2731372C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15002209.3A EP3121814A1 (en) 2015-07-24 2015-07-24 A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use
EP15002209.3 2015-07-24
PCT/EP2016/067534 WO2017017014A1 (en) 2015-07-24 2016-07-22 A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use

Publications (3)

Publication Number Publication Date
RU2018100128A true RU2018100128A (ru) 2019-08-27
RU2018100128A3 RU2018100128A3 (ru) 2019-11-27
RU2731372C2 RU2731372C2 (ru) 2020-09-02

Family

ID=53757953

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018100128A RU2731372C2 (ru) 2015-07-24 2016-07-22 Способ и система для разложения акустического сигнала на звуковые объекты, а также звуковой объект и его использование

Country Status (11)

Country Link
US (1) US10565970B2 (ru)
EP (2) EP3121814A1 (ru)
JP (1) JP2018521366A (ru)
KR (1) KR20180050652A (ru)
CN (1) CN107851444A (ru)
AU (1) AU2016299762A1 (ru)
BR (1) BR112018001068A2 (ru)
CA (1) CA2992902A1 (ru)
MX (1) MX2018000989A (ru)
RU (1) RU2731372C2 (ru)
WO (1) WO2017017014A1 (ru)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3121814A1 (en) * 2015-07-24 2017-01-25 Sound object techology S.A. in organization A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use
GB2541910B (en) * 2015-09-03 2021-10-27 Thermographic Measurements Ltd Thermochromic composition
US10186247B1 (en) * 2018-03-13 2019-01-22 The Nielsen Company (Us), Llc Methods and apparatus to extract a pitch-independent timbre attribute from a media signal
FR3086451B1 (fr) * 2018-09-20 2021-04-30 Sagemcom Broadband Sas Filtrage d'un signal sonore acquis par un systeme de reconnaissance vocale
CN109389992A (zh) * 2018-10-18 2019-02-26 天津大学 一种基于振幅和相位信息的语音情感识别方法
KR102277952B1 (ko) * 2019-01-11 2021-07-19 브레인소프트주식회사 디제이 변환에 의한 주파수 추출 방법
WO2020243517A1 (en) * 2019-05-29 2020-12-03 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for acoustic simulation
CA3139465A1 (en) 2019-06-20 2020-12-24 Barrie A. Loberg Voice communication system within a mixed-reality environment
CN110277104B (zh) * 2019-06-21 2021-08-06 上海松鼠课堂人工智能科技有限公司 单词语音训练系统
TWI718716B (zh) * 2019-10-23 2021-02-11 佑華微電子股份有限公司 樂器音階觸發的偵測方法
JP2021081615A (ja) * 2019-11-20 2021-05-27 ヤマハ株式会社 演奏操作装置
WO2021126155A1 (en) * 2019-12-16 2021-06-24 Google Llc Amplitude-independent window sizes in audio encoding
CN111343540B (zh) * 2020-03-05 2021-07-20 维沃移动通信有限公司 一种钢琴音频的处理方法及电子设备
KR102877083B1 (ko) * 2020-09-15 2025-10-24 삼성전자주식회사 영상의 음질을 향상시키는 디바이스 및 방법
CN112948331B (zh) * 2021-03-01 2023-02-03 湖南快乐阳光互动娱乐传媒有限公司 音频文件的生成方法、解析方法、生成器及解析器
US20220386062A1 (en) * 2021-05-28 2022-12-01 Algoriddim Gmbh Stereophonic audio rearrangement based on decomposed tracks
KR20240169591A (ko) * 2022-03-30 2024-12-03 엘지전자 주식회사 소리 제어 장치를 구비하는 차량
CN116612788B (zh) * 2023-05-19 2025-09-26 平安科技(深圳)有限公司 音频数据的情感识别方法、装置、设备及介质
EP4478362A1 (en) 2023-06-12 2024-12-18 Vivid Mind PSA Method of recognition of the characteristic features of the sound timbre based on sound objects and system, computer program and computer program product therefor
CN119805188B (zh) * 2024-12-20 2025-08-01 通辽第二发电有限责任公司 一种高压开关智慧声纹监测诊断分析系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797926A (en) * 1986-09-11 1989-01-10 American Telephone And Telegraph Company, At&T Bell Laboratories Digital speech vocoder
JP2775651B2 (ja) * 1990-05-14 1998-07-16 カシオ計算機株式会社 音階検出装置及びそれを用いた電子楽器
US5214708A (en) 1991-12-16 1993-05-25 Mceachern Robert H Speech information extractor
US6900381B2 (en) * 2001-05-16 2005-05-31 Telefonaktiebolaget Lm Ericsson (Publ) Method for removing aliasing in wave table based synthesizers
US6952482B2 (en) * 2001-10-02 2005-10-04 Siemens Corporation Research, Inc. Method and apparatus for noise filtering
ITTO20020306A1 (it) * 2002-04-09 2003-10-09 Loquendo Spa Metodo per l'estrazione di caratteristiche di un segnale vocale e relativo sistema di riconoscimento vocale.
JP3928468B2 (ja) * 2002-04-22 2007-06-13 ヤマハ株式会社 多チャンネル録音再生方法、録音装置、及び再生装置
DE10230809B4 (de) * 2002-07-08 2008-09-11 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von Audiosignalen nach dem Verfahren der priorisierenden Pixelübertragung
CN1212602C (zh) * 2003-09-12 2005-07-27 中国科学院声学研究所 基于语音增强的语音识别方法
SG120121A1 (en) * 2003-09-26 2006-03-28 St Microelectronics Asia Pitch detection of speech signals
FR2898725A1 (fr) * 2006-03-15 2007-09-21 France Telecom Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
JP4469986B2 (ja) * 2006-03-17 2010-06-02 国立大学法人東北大学 音響信号分析方法および音響信号合成方法
US7807915B2 (en) * 2007-03-22 2010-10-05 Qualcomm Incorporated Bandwidth control for retrieval of reference waveforms in an audio device
GB2467668B (en) * 2007-10-03 2011-12-07 Creative Tech Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
ES2898865T3 (es) * 2008-03-20 2022-03-09 Fraunhofer Ges Forschung Aparato y método para sintetizar una representación parametrizada de una señal de audio
WO2010003557A1 (en) * 2008-07-11 2010-01-14 Frauenhofer- Gesellschaft Zur Förderung Der Angewandten Forschung E. V. Apparatus and method for generating a bandwidth extended signal
CN101393429B (zh) * 2008-10-21 2010-12-08 松翰科技股份有限公司 利用音调的自动控制系统及自动控制装置
WO2011011413A2 (en) * 2009-07-20 2011-01-27 University Of Florida Research Foundation, Inc. Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
US8954320B2 (en) * 2009-07-27 2015-02-10 Scti Holdings, Inc. System and method for noise reduction in processing speech signals by targeting speech and disregarding noise
BE1019445A3 (fr) * 2010-08-11 2012-07-03 Reza Yves Procede d'extraction d'information audio.
WO2012063185A1 (en) * 2010-11-10 2012-05-18 Koninklijke Philips Electronics N.V. Method and device for estimating a pattern in a signal
JP5789993B2 (ja) * 2011-01-20 2015-10-07 ヤマハ株式会社 楽音信号発生装置
JP5898534B2 (ja) * 2012-03-12 2016-04-06 クラリオン株式会社 音響信号処理装置および音響信号処理方法
US9344828B2 (en) * 2012-12-21 2016-05-17 Bongiovi Acoustics Llc. System and method for digital signal processing
JP6176132B2 (ja) * 2014-01-31 2017-08-09 ヤマハ株式会社 共鳴音生成装置及び共鳴音生成プログラム
EP3121814A1 (en) * 2015-07-24 2017-01-25 Sound object techology S.A. in organization A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use

Also Published As

Publication number Publication date
EP3304549A1 (en) 2018-04-11
KR20180050652A (ko) 2018-05-15
US20180233120A1 (en) 2018-08-16
RU2018100128A3 (ru) 2019-11-27
MX2018000989A (es) 2018-08-21
CA2992902A1 (en) 2017-02-02
JP2018521366A (ja) 2018-08-02
AU2016299762A1 (en) 2018-02-01
EP3121814A1 (en) 2017-01-25
RU2731372C2 (ru) 2020-09-02
WO2017017014A1 (en) 2017-02-02
CN107851444A (zh) 2018-03-27
US10565970B2 (en) 2020-02-18
BR112018001068A2 (pt) 2018-09-11

Similar Documents

Publication Publication Date Title
RU2018100128A (ru) Способ и система для разложения акустического сигнала на звуковые объекты, а также звуковой объект и его использование
RU2012140707A (ru) Устройство и способ модификации аудио сигнала, используя захват гармоник
RU2012142732A (ru) Устройство и способ обработки входного звукового сигнала с помощью каскадированного банка фильтров
AU2009341793B2 (en) Time domain electromagnetic interference monitoring method and system
RU2013130742A (ru) Устройство обработки сигналов, способ и программа
RU2015104268A (ru) Система и способ для оценки и ослабления шума в сейсмических данных
RU2016133008A (ru) Гармоническое расширение полосы аудиосигналов
JP2019120892A5 (ja) 音声合成方法、音声合成システムおよびプログラム
KR20120037954A (ko) 음성의 표적화 및 잡음의 무시에 의한 음성 신호의 프로세싱에 있어서 잡음 감소를 위한 시스템 및 방법
JP2018077213A (ja) 可変ブラインド信号源分離フィルタを並列処理及びパイプライン処理するためのシステムと方法
RU2016136008A (ru) Улучшенное расширение диапазона частот в декодере звукового сигнала
Barnhart et al. Analysis of sunspot variability using the Hilbert–Huang transform
JP2019500148A5 (ru)
JP2018170717A (ja) 収音装置、プログラム及び方法
CN104022761B (zh) 一种脉冲调制信号的测试方法
US9178479B2 (en) Dynamic range control apparatus
JP2016500847A (ja) デジタルプロセッサベースの複素音響共鳴デジタル音声分析システム
RU2012145420A (ru) Способ и система для идентификации событий цифрового сигнала
CN109799284B (zh) 一种超声回波信号的多次谐波自适应分离方法
CN103795473A (zh) 消除工频干扰的方法和系统
RU2822612C1 (ru) Гармоническое преобразование на основе блока поддиапазонов, усиленное перекрестными произведениями
RU2810281C1 (ru) Гармоническое преобразование на основе блока поддиапазонов, усиленное перекрестными произведениями
JP5821161B2 (ja) 波形解析を行うための方法、装置およびプログラム
JP2016131755A5 (ru)
Laurenti et al. A method for spectrum separation and envelope estimation of the residual in spectrum modeling of musical sound