[go: up one dir, main page]

DE102009029615A1 - Method for processing audio data of e.g. guitar, involves removing spectral property from spectrum of audio data, and impressing another spectral property on audio data, where another spectrum is formed corresponding to latter property - Google Patents

Method for processing audio data of e.g. guitar, involves removing spectral property from spectrum of audio data, and impressing another spectral property on audio data, where another spectrum is formed corresponding to latter property Download PDF

Info

Publication number
DE102009029615A1
DE102009029615A1 DE102009029615A DE102009029615A DE102009029615A1 DE 102009029615 A1 DE102009029615 A1 DE 102009029615A1 DE 102009029615 A DE102009029615 A DE 102009029615A DE 102009029615 A DE102009029615 A DE 102009029615A DE 102009029615 A1 DE102009029615 A1 DE 102009029615A1
Authority
DE
Germany
Prior art keywords
spectrum
audio data
spectral
filter
spectral property
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102009029615A
Other languages
German (de)
Other versions
DE102009029615B4 (en
Inventor
Frank Elting
Gunnar Eisenberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Native Instruments GmbH
Original Assignee
Native Instruments GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Native Instruments GmbH filed Critical Native Instruments GmbH
Priority to DE102009029615.8A priority Critical patent/DE102009029615B4/en
Priority to US12/883,001 priority patent/US8750530B2/en
Publication of DE102009029615A1 publication Critical patent/DE102009029615A1/en
Application granted granted Critical
Publication of DE102009029615B4 publication Critical patent/DE102009029615B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G10H1/125Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/031Spectrum envelope processing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

The method involves removing a spectral property from a spectrum of audio data. Another spectral property is impressed on the audio data, where another spectrum is formed corresponding to the latter spectral property. A minimal-phase filter is generated with cepstral-transformation of a linear-phase filter. The spectrums are determined by analyzing the audio data by interpolating maxima of a spectral representation of the audio data. A power intensity spectrum is generated from the spectral representation of the audio data before the interpolation. Independent claims are also included for the following: (1) an arrangement for processing audio data, comprising a chip (2) a computer program comprising a set of instructions to perform a method for processing audio data.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Verarbeitung von Audiodaten sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium, welche insbesondere einsetzbar sind auf dem Gebiet der Audiosoftware und des Samplings.The invention relates to a method and an arrangement for processing audio data as well as a corresponding computer program and a corresponding computer-readable storage medium, which can be used in particular in the field of audio software and sampling.

Die Klänge von natürlichen Instrumenten bilden in Abhängigkeit von der Anspielstärke ihre Lautstärke sowie ihre Klangfarbe aus. Je stärker ein Ton angespielt wird, desto lauter und heller erklingt er. Dieses wesentliche Merkmal der Expression trägt deutlich zum Klangeindruck eines Instruments bei.The sounds of natural instruments depict their volume and timbre depending on the intensity of the attack. The stronger a note is played, the louder and brighter it sounds. This essential feature of expression contributes significantly to the sound impression of an instrument.

In bisherigen Samplern werden Klänge abhängig von ihrer Anspielstärke oftmals lediglich in ihrer Lautstärke variiert, was zu einem statischen und daher sehr unnatürlichen Klangeindruck führt. Teilweise werden auch einfache Filterstrukturen verwendet, die beispielsweise bei leisen Tönen über Tiefpassfilter Obertöne ausfiltern. Auch dies verbessert den Klangeindruck jedoch nur unwesentlich.In previous samplers, sounds are often only varied in their volume depending on their playing strength, resulting in a static and therefore very unnatural sound impression. In some cases, simple filter structures are also used which, for example, filter out overtones via low-pass filters for quiet sounds. However, this also improves the sound impression only insignificantly.

Andere herkömmliche Verfahren arbeiten mit einer Vielzahl von Samples, die jeweils für unterschiedliche Anspielstärken verwendet werden. Beim Übergang zwischen diesen Samples entstehen im Allgemeinen allerdings hörbare Klangunterschiede. Um diese zu vermeiden wird häufig zwischen den Samples übergeblendet, was allerdings den Nachteil hat, dass zwei Samples zur gleichen Zeit erklingen. Dies erzeugt Schwebungen, was ebenfalls einen unnatürlichen Klangeindruck erzeugt.Other conventional methods use a variety of samples, each used for different Anspielstärken. In the transition between these samples, however, generally audible sound differences arise. To avoid this is often faded between the samples, but this has the disadvantage that two samples sound at the same time. This creates beats, which also creates an unnatural sound impression.

Natürliche Instrumente prägen allen mit ihnen erzeugbaren Klängen eine bestimmte Formantstruktur auf, die durch bestimmte Resonanzen vorgegeben ist. Diese Resonanzen bleiben unabhängig von der Grundfrequenz eines gespielten Tons erhalten und stellen eine wesentliche Charakteristik des Instruments dar. Werden natürliche Instrumente gesamplet, schlägt sich diese Charakteristik in jedem einzelnen Audiosample wieder. Der Einfluss dieser Charakteristik wird im folgenden als spektraler Fingerprint bezeichnet.Natural instruments imprint a specific formant structure on all sounds that can be generated by them, which is determined by specific resonances. These resonances remain independent of the fundamental frequency of a played sound and are an essential characteristic of the instrument. When natural instruments are sampled, this characteristic is reflected in each individual audio sample. The influence of this characteristic is referred to below as a spectral fingerprint.

Wird ein Klang innerhalb eines Samplers direkt transponiert, so wird die Formantstruktur mittransponiert, was zu unnatürlichen Klangergebnissen führt. Um dies zu verhindern muss mit einer Formantkorrektur gearbeitet werden. Diese sorgt bei der Erfindung dafür, dass die Formantresonanzen vor der Transponierung über Filter nivelliert und nach der Transponierung wieder eingebracht werden.If a sound is directly transposed within a sampler, the formant structure is also transposed, which leads to unnatural sound results. To prevent this, a formant correction must be used. In the case of the invention, this ensures that the formantresonances are leveled by means of filters before the transposition and are introduced again after the transposition.

Auf dem Gebiet der Erfindung werden im Stand der Technik auch Verfahren eingesetzt, um innerhalb eines Samplers die Klangfarben der einzelnen Samples zu manipulieren und ineinander zu überführen. Ein Teil dieser Verfahren verwendet eine Filterbank aus EQ-Filtern (EQ = Equalizer). Diese sind in IIR-Technologie (IIR = Infinite Impulse Response) implementiert und stellen weitestgehend eine klassische Filterbank dar, wie sie auch aus Mischpulten oder Effektgeräten bekannt ist. Das Einstellen der Filter wird bei dieser Lösung durch den Nutzer vorgenommen.In the field of the invention, methods are also used in the prior art to manipulate the tone colors of the individual samples within a sampler and to convert them into one another. Some of these methods use a filter bank of EQ filters (EQ = equalizer). These are implemented in IIR technology (IIR = Infinite Impulse Response) and represent as far as possible a classical filter bank, as it is also known from mixing consoles or effect devices. The setting of the filters is made in this solution by the user.

Des weiteren sind Anwendungen bekannt für das Mastering komplexer Musiksignale, wobei einem fertigen Mix eine EQ-Kurve eines anderen Signals aufgeprägt wird. Als Filter wird hierbei auch ein FFT-basiertes FIR-Filter (FFT = Fast Fourier Transformation, FIR = Finite Impulse Response) verwendet, wobei bei dieser Lösung nur ein einzelnes Filter genutzt wird. Die Analyse bei diesen Anwendungen geht von komplexen Musiksignalen aus und analysiert deshalb keine Obertöne und damit verbundene Formantstrukturen. Eine alternative Lösung für das Mastering komplexer Musiksignale sieht vor, ein Spektrum, das über eine FFT analysiert wurde, in eine 30 Band Filterbank zu überführen.Furthermore, applications are known for the mastering of complex music signals, wherein a finished mix an EQ curve of another signal is impressed. The filter used here is also an FFT-based FIR (Fast Fourier Transformation, FIR) filter, whereby only a single filter is used in this solution. The analysis in these applications is based on complex music signals and therefore does not analyze overtones and associated formant structures. An alternative solution for mastering complex music signals is to convert a spectrum that has been analyzed via an FFT into a 30-band filter bank.

Die Aufgabe der Erfindung besteht somit darin, ein Verfahren und eine Anordnung zur Verarbeitung von Audiodaten sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium bereitzustellen, welche die Nachteile der bekannten Lösungen beheben sowie insbesondere einen natürlichen Klangeindruck bei synthetischen Instrumenten erzeugen.The object of the invention is therefore to provide a method and an arrangement for processing audio data as well as a corresponding computer program and a corresponding computer-readable storage medium which eliminate the disadvantages of the known solutions and in particular produce a natural sound impression in synthetic instruments.

Diese Aufgabe wird erfindungsgemäß durch die Merkmale in den Ansprüchen 1, 2, 20 und 25 bis 27 gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen enthalten.This object is achieved by the features in claims 1, 2, 20 and 25 to 27. Advantageous embodiments of the invention are contained in the subclaims.

Ein besonderer Vorteil der Erfindung besteht unter anderem darin, dass die Variationsbreite der Klangfarbe abhängig von der Anspielstärke abgebildet wird, ohne die oben genannten Nachteile in Kauf zu nehmen. Dies wird dadurch erreicht, dass bei dem Verfahren zur Verarbeitung von Audiodaten erfindungsgemäß mindestens ein erstes Spektrum mindestens einer ersten spektralen Eigenschaft aus dem Spektrum der Audiodaten entfernt wird. Vorzugsweise wird das mindestens eine erste Spektrum der ersten spektralen Eigenschaft aus dem Spektrum der Audiodaten herausgefiltert. Nachdem das mindestens eine erste Spektrum der ersten spektralen Eigenschaft aus dem Spektrum der Audiodaten entfernt wurde, wird in einer ersten Alternative der Erfindung dem Spektrum der Audiodaten mindestens ein zweites Spektrum mindestens einer zweiten spektrale Eigenschaft aufgeprägt. Auch dieses Aufprägen erfolgt vorzugsweise unter Verwendung eines Filters.One particular advantage of the invention consists, inter alia, in the fact that the range of variation of the timbre is mapped depending on the attacking strength, without accepting the abovementioned disadvantages. This is achieved in that in the method for processing audio data according to the invention at least a first spectrum of at least one first spectral property is removed from the spectrum of the audio data. Preferably, the at least one first spectrum of the first spectral characteristic is filtered out of the spectrum of the audio data. After the at least one first spectrum of the first spectral property has been removed from the spectrum of the audio data, in a first alternative of the invention at least one second spectrum of at least one second spectral property is impressed on the spectrum of the audio data. This imprinting is preferably carried out using a filter.

Bei der mindestens einen ersten und/oder zweiten spektralen Eigenschaft kann es sich beispielsweise um die Klangfarbe eines bestimmten Instruments handeln. Auf diese Weise kann den Audiodaten die Klangfarbe eines anderen Klanges aufgeprägt werden, ohne dass, wie in den herkömmlichen Lösungen, z. B. Schwebungen durch das Überblenden von zwei Samples entstehen. The at least one first and / or second spectral property may, for example, be the timbre of a particular instrument. In this way, the sound of another sound can be impressed on the audio data without, as in the conventional solutions, for. B. beats caused by the blending of two samples.

Eine andere Alternative der Erfindung sieht vor, dass nach dem Entfernen des mindestens einen ersten Spektrums der mindestens einen ersten spektralen Eigenschaft das Spektrum der Audiodaten verändert wird, z. B. indem die Frequenz bzw. Tonhöhe der Audiodaten verändert wird. Nach einer solchen Veränderung des Spektrums der Audiodaten wird dem veränderten Spektrum wenigstens ein Teil des mindestens einen ersten Spektrums der mindestens einen ersten spektralen Eigenschaft und/oder mindestens ein zweites Spektrum mindestens einer zweiten spektrale Eigenschaft aufgeprägt. Damit wird erreicht, dass ein Audiosample hinsichtlich der Tonhöhe, Lautstärke oder anderer Klangparameter verändert werden kann, wobei jeweils die natürliche Klangfarbe durch das aufgeprägte Spektrum der spektralen Eigenschaft erzielt wird, so dass ein natürlicher Klangeindruck entsteht. Mit demselben Verfahren kann auch beispielsweise einem Audiosample eines Pianos die Klangfarbe (Klangcharakteristik) einer Gitarre aufgeprägt werden.Another alternative of the invention provides that after removing the at least one first spectrum of the at least one first spectral property, the spectrum of the audio data is changed, for. B. by the frequency or pitch of the audio data is changed. After such a change in the spectrum of the audio data, at least part of the at least one first spectrum of the at least one first spectral property and / or at least one second spectrum of at least one second spectral property is impressed on the altered spectrum. This ensures that an audio sample can be changed in terms of pitch, volume or other sound parameters, in each case the natural timbre is achieved by the impressed spectrum of the spectral property, so that a natural sound impression is created. With the same method, for example, an audio sample of a piano, the tone (sound characteristic) of a guitar can be impressed.

Bei der ersten und zweiten spektralen Eigenschaft kann es sich beispielsweise um die spektrale Eigenschaft am Anfang bzw. Ende einer gewünschten oder realisierbaren Variationsbreite der Audiodaten handeln. So kann beispielsweise die erste spektrale Eigenschaft die Klangfarbe von sehr leisen oder sehr tiefen Klängen und die zweite spektrale Eigenschaft die Klangfarbe von sehr lauten oder sehr hohen Klängen repräsentieren. Beim Aufprägen der ersten und zweiten spektralen Eigenschaft werden die Spektren vorzugsweise gewichtet in Abhängigkeit davon, an welcher Position der Variationsbreite der Audiodaten das Zielsample liegt. Liegt das Zielsample beispielsweise nahe am leisen Ende der Variationsbreite, so wird das mindestens eine Spektrum, welches die Klangfarben leiser Klänge repräsentiert, höher gewichtet, das mindestens eine Spektrum, welches die Klangfarben lauter Klänge repräsentiert, geringer gewichtet. Die Wichtung kann beispielsweise durch Vorgabe einer entsprechenden Anspielstärke erfolgen.The first and second spectral properties may, for example, be the spectral property at the beginning or end of a desired or realizable variation width of the audio data. For example, the first spectral characteristic can represent the timbre of very soft or very deep sounds and the second spectral feature the timbre of very loud or very high sounds. In imposing the first and second spectral characteristics, the spectra are preferably weighted depending on where the variation width of the audio data is the target sample. For example, if the target sample is close to the quiet end of the range of variation, then the at least one spectrum representing the tones of soft sounds is weighted higher, and the at least one spectrum representing the tones of loud sounds is weighted less. The weighting can be done for example by specifying a corresponding Anspielstärke.

Wie erwähnt, werden in einer bevorzugten Ausführungsform die Spektren der (mindestens einen) ersten spektralen Eigenschaft durch Filterung aus dem Spektrum der Audiodaten entfernt und die Spektren der (mindestens einen) zweiten spektralen Eigenschaft dem Spektrum der Audiodaten aufgeprägt. In einer vorteilhaften Ausführungsform der Erfindung wird zum Entfernen des mindestens einen ersten Spektrums das invertierte mindestens eine erste Spektrum als Filterspektrum verwendet. In einer anderen vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass als Filterspektrum zum Aufprägen das, gegebenenfalls gewichtete, Spektrum der aufzuprägenden spektralen Eigenschaft direkt verwendet wird. Eine bevorzugte Ausführungsform der Erfindung sieht vor, dass die Filterspektren in den Zeitbereich transformiert werden, beispielsweise durch eine IFFT. Die in den Zeitbereich transformierten Spektren bilden die Impulsantwort. Als vorteilhaft erweist es sich, wenn die Impulsantwort ein linearphasiges Filter darstellt. Es kann sich weiter als vorteilhaft erweisen, wenn zum Entfernen und/oder Aufprägen des mindestens einen ersten oder zweiten Spektrums der ersten bzw. zweiten spektralen Eigenschaft ein minimalphasiges Filter verwendet wird. Ein solches minimalphasiges Filter kann aus dem linearphasigen Filter durch Cepstraltransformation gewonnen werden.As mentioned, in a preferred embodiment the spectra of the (at least one) first spectral property are removed by filtering from the spectrum of the audio data and the spectra of the (at least one) second spectral characteristic are impressed on the spectrum of the audio data. In an advantageous embodiment of the invention, to remove the at least one first spectrum, the inverted at least one first spectrum is used as the filter spectrum. In another advantageous embodiment of the invention, it is provided that the spectrum of the spectral property to be imprinted is used directly as the filter spectrum for imprinting, optionally weighted spectrum. A preferred embodiment of the invention provides that the filter spectra are transformed into the time domain, for example by an IFFT. The transformed into the time domain spectra form the impulse response. It proves to be advantageous if the impulse response represents a linear-phase filter. It may also prove advantageous if a minimum-phase filter is used to remove and / or impress the at least one first or second spectrum of the first or second spectral property. Such a minimal-phase filter can be obtained from the linear-phase filter by cepstral transformation.

Eine bevorzugte Ausführungsform der Erfindung sieht vor, dass das mindestens eine erste Spektrum der mindestens einen ersten spektralen Eigenschaft und/oder das mindestens eine zweite Spektrum der mindestens einen zweiten spektralen Eigenschaft gewonnen wird, indem Audiodaten analysiert werden. Bei den zu analysierenden Audiodaten kann es sich beispielsweise um die bereits erwähnten Samples am Anfang bzw. Ende der Variationsbreite der Audiodaten handeln. In diesem Falle würde man z. B. durch die Analyse die Klangfarbe von sehr leisen und/oder sehr tiefen (Anfang der Variationsbreite) bzw. sehr lauten und/oder sehr hohen (Ende der Variationsbreite) erhalten. Vorzugsweise umfasst die Analyse die Ermittlung von Obertönen.A preferred embodiment of the invention provides that the at least one first spectrum of the at least one first spectral property and / or the at least one second spectrum of the at least one second spectral property is obtained by analyzing audio data. The audio data to be analyzed can be, for example, the already mentioned samples at the beginning or end of the variation width of the audio data. In this case you would z. B. by the analysis, the tone of very soft and / or very deep (beginning of the variation) or very loud and / or very high (end of the range of variation) received. The analysis preferably includes the determination of harmonics.

In einer bevorzugten Ausführungsform ist vorgesehen, dass zumindest ein Teil der Analyse im Spektralbereich erfolgt. Vorzugsweise erfolgt die Analyse im Spektralbereich unter Verwendung einer Fourier-Transformation, insbesondere einer Short-Time-Fourier-Transformation (STFT). Dabei können Teile der Audiodaten (Sample) dieser Analyse unterzogen werden, vorzugsweise aber wird die STFT auf das gesamte Sample angewandt.In a preferred embodiment it is provided that at least part of the analysis takes place in the spectral range. The analysis in the spectral range preferably takes place using a Fourier transformation, in particular a short-time Fourier transformation (STFT). In this case, parts of the audio data (sample) can be subjected to this analysis, but preferably the STFT is applied to the entire sample.

Eine weitere bevorzugte Ausführungsform der Erfindung sieht vor, dass die Ermittlung der Obertöne anhand von (lokalen) Maxima (Peaks bzw. Spitzen) im Spektrum der Audiodaten erfolgt. Als vorteilhaft erweist es sich, wenn durch zumindest einen Teil der (lokalen) Maxima eine Interpolationskurve gelegt wird. Vorzugsweise bleiben dabei die (lokalen) Maxima auch als (lokalen) Maxima der Interpolationskurve erhalten. Da durch die Maxima die Harmonischen abgebildet werden, wird durch diese Interpolationskurve der Formantcharakter des analysierten Samples erfasst. Zur Gewinnung einer Klangfarbe beispielsweise einer Gitarre können somit Samples von Gitarrenklängen analysiert werden.A further preferred embodiment of the invention provides that the determination of the harmonics is based on (local) maxima (peaks) in the spectrum of the audio data. It proves to be advantageous if an interpolation curve is laid through at least part of the (local) maxima. Preferably, the (local) maxima also remain as (local) maxima of the interpolation curve. Since the harmonics are imaged by the maxima, this form of interpolation curve detects the formant character of the analyzed sample. To obtain a timbre For example, a guitar can be analyzed samples of guitar sounds.

Die solcherart gewonnenen Spektren der Klangfarbe, d. h. die ersten oder zweiten Spektren der ersten bzw. zweiten spektralen Eigenschaft, können nun genutzt werden, um, wie oben beschrieben, beispielsweise einem Pianosample die Klangfarbe einer Gitarre aufzuprägen, indem beispielsweise dem Pianosample die Klangfarbe des Pianos entzogen wird durch Entfernen des ersten Spektrums, welches in diesem Falle die spektrale Eigenschaft ,Klangfarbe des Pianos' darstellt, und anschließendem Aufprägen des zweiten Samples, welches die spektrale Eigenschaft ,Klangfarbe der Gitarre' darstellt.The spectra of timbre thus obtained, d. H. The first or second spectrums of the first and second spectral characteristics can now be used to impose, for example, a piano sample the timbre of a guitar, for example, by removing the timbre of the piano from the piano sample by removing the first spectrum, which in this case the spectral property 'tone color of the piano', and then imprinting the second sample, which represents the spectral property 'tone color of the guitar'.

Für jedes Sample lassen sich beliebig viele Spektrale Figerprints definieren, die jeweils den spektralen Charakter eines festgelegten zeitlichen Abschnitts beschreiben.For each sample, you can define as many Spectral Figerprints as you want, each describing the spectral character of a defined time segment.

Für die Gewinnung des normierten Quellsignals kann das Quellsignal, abhängig von seiner Abspielposition, durch eine als jeweils zugehörig definierte gewichtete Kombination der Normierungsfilter der verschiedenen zeitlichen Abschnitte geschickt werden, deren Ausgänge auf einem Normierungsbus zusammengefasst sind. Eine vorteilhafte Ausführung sieht dabei die kontinuierliche Überblendung zwischen zwei benachbarten Abschnitten vor. Vom Normierungsbus aus kann das so normierte Quellsignal in eine beliebige Kombination verschiedener Denormierungsfilter geschickt werden. Die Denormierungsfilter können aus anderen Zielsignalen stammen, jedoch auch aus dem Quellsignal selbst. Kombinationen der Denormierungsfilter können beispielsweise den zeitlichen spektralen Verlauf des Zielsignals abbilden. Dabei ist, wie bei der Normierung, eine zeitliche Überblendung zwischen benachbaren Abschnitten von Vorteil.For obtaining the normalized source signal, the source signal can be sent, depending on its playback position, by a weighted combination of the normalization filters of the different temporal sections defined as belonging to each, the outputs of which are combined on a standardization bus. An advantageous embodiment provides for the continuous cross-fading between two adjacent sections. From the normalization bus, the thus standardized source signal can be sent to any combination of different denormalizing filters. The denormalization filters can originate from other target signals, but also from the source signal itself. Combinations of the denormalization filters can, for example, map the temporal spectral course of the target signal. In this case, as with standardization, a temporal blending between adjacent sections of advantage.

Als Beispielanwendung kann hier ein Saxophonklang dienen, mit dem ein Decrescendo gespielt wird. Hier könnten die folgenden vier Fingerprints definiert werden:

  • 1. Direkt am Anfang des Signals bildet sich ein prägnanter Rauschcharakter beim Einschwingen der stationären Grundschwingung aus.
  • 2. Direkt nach dem Einsetzen der lauten, stationären Grundschwingung ist die Klangfarbe recht hell und obertonreich.
  • 3. In der Mitte des Signals zeigt sich die Klangfarbe aufgrund der durch das Decrescendo nachlassenden Lautstärke weniger obertonreich.
  • 4. Kurz vor dem Ende des Klangs ist die Klangfarbe aufgrund der durch das Decrescendo nachlassenden Lautstärke recht dumpf und hat kaum noch Obertöne.
As an example application here can serve a saxophone sound, with which a Decrescendo is played. Here the following four fingerprints could be defined:
  • 1. Directly at the beginning of the signal forms a peculiar noise character when settling the stationary fundamental.
  • 2. Immediately after inserting the loud, stationary fundamental, the timbre is quite bright and rich in overtones.
  • 3. In the middle of the signal, the timbre is less overtone-rich due to the declining volume of the decrescendo.
  • 4. Shortly before the end of the sound, the timbre is quite dull due to the declining sound of the decrescendo and barely has overtones.

Um ein optimal angepasstes, normiertes Quellsignal zu erhalten, kann das Quellsignal zeitabhängig gewichtet in die zu den verschiedenen Fingerprints gehörenden Normierungsfilter geleitet werden.In order to obtain an optimally adapted, normalized source signal, the source signal can be weighted in a time-dependent manner into the standardization filter belonging to the various fingerprints.

Für die Denormierung könnte das Signal nun aus dem Normierungsbus in Echtzeit je nach gewünschtem Effekt zeitabhängig gewichtet zurück in die Denormierungsfilter geleitet werden. Somit könnte beispielsweise mitten im Signal wieder kontinuierlich in den Klangeindruck der Einschwingphase übergeblendet werden.For the denormalization, the signal could now be routed from the normalization bus in real time, depending on the desired effect, weighted back into the denorming filter. Thus, for example, in the middle of the signal again continuously in the sound impression of the transient phase could be blended.

Statt das Signal in einige wenige Abschnitte zu unterteilen (wie im vorangegangenen Beispiel die Hüllkurvenabschnitte) kann das Signal auch lückenlos über seine gesamte Laufzeit erfasst werden. Dazu werden für alle aneinander grenzenden Zeitabschnitte eigene Spektren erzeugt. Auch kann diese „Spektralabtastung” mit überlappenden Zeitbereichen erfolgen, was eine zeitliche Auflösung weiter erhöht.Instead of subdividing the signal into a few sections (as in the previous example, the envelope sections), the signal can also be detected completely over its entire duration. For this purpose, separate spectra are generated for all adjoining periods. Also, this "spectral scanning" can be done with overlapping time ranges, which further increases temporal resolution.

In einer weiteren bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass die aus der Fourier-Transformation resultierenden Samples, insbesondere die aus der STFT resultierenden Samples in Leistungsdichtespektren überführt werden. Als vorteilhaft erweist es sich, wenn die Leistungsdichtespektren gemittelt und in ein gemitteltes Spektrum zurück überführt werden. Weiter erweist es sich als vorteilhaft, wenn die Spektraldarstellung der Audiodaten vor der Auswertung der Peaks zur Detektion der Obertöne in ein Constant-Q-Spektrum gewandelt wird. Vorzugsweise erfolgt die Wandlung aus dem gemittelten Spektrum, d. h. dem Ergebnis der Rücküberführung aus den gemittelten Leistungsdichtespektren. Weiter vorzugsweise erfolgt die Wandlung energieerhaltend.In a further preferred embodiment of the invention, it is provided that the samples resulting from the Fourier transformation, in particular the samples resulting from the STFT, are converted into power density spectra. It proves to be advantageous if the power density spectra are averaged and converted back into an averaged spectrum. Furthermore, it proves to be advantageous if the spectral representation of the audio data before the evaluation of the peaks for the detection of overtones is converted into a constant-Q spectrum. Preferably, the conversion is from the averaged spectrum, i. H. the result of the return transfer from the averaged power density spectra. Further preferably, the conversion is energy conserving.

Eine Anordnung nach der Erfindung weist mindestens einen Chip und/oder Prozessor auf und ist derart eingerichtet, dass ein Verfahren zur Verarbeitung von Audiodaten ausführbar ist, wobei mindestens ein erstes Spektrum mindestens einer ersten spektralen Eigenschaft aus dem Spektrum der Audiodaten entfernt und dem Spektrum der Audiodaten mindestens ein zweites Spektrum mindestens einer zweiten spektrale Eigenschaft aufgeprägt wird.An arrangement according to the invention comprises at least one chip and / or processor and is arranged such that a method for processing audio data can be executed, wherein at least a first spectrum of at least one first spectral property is removed from the spectrum of the audio data and the spectrum of the audio data at least a second spectrum of at least one second spectral property is impressed.

Eine bevorzugte Ausführungsform der Erfindung sieht vor, dass die Anordnung mindestens ein Filter zum Entfernen des mindestens einen ersten Spektrums und/oder mindestens ein Filter zum Aufprägen des zumindest einen ersten Spektrums und/oder des mindestens einen zweiten Spektrums umfasst.A preferred embodiment of the invention provides that the arrangement comprises at least one filter for removing the at least one first spectrum and / or at least one filter for impressing the at least one first spectrum and / or the at least one second spectrum.

Eine weitere bevorzugte Ausführungsform der Erfindung sieht vor, dass die Ausgänge des mindestens einen Filters zum Entfernen des mindestens einen ersten Spektrums und die Eingänge des mindestens einen Filters zum Aufprägen des zumindest einen ersten Spektrums und/oder des mindestens einen zweiten Spektrums über einen Bus verbunden sind.A further preferred embodiment of the invention provides that the outputs of the at least one filter for removing the at least a first spectrum and the inputs of the at least one filter for impressing the at least one first spectrum and / or the at least one second spectrum are connected via a bus.

Als vorteilhaft erweist es sich ebenfalls, wenn die Anordnung derart eingerichtet ist, dass die Filterung wenigstens zum Teil mittels schneller Faltung im Overlap-Add- und/oder Overlap-Save-Verfahren erfolgt.It also proves to be advantageous if the arrangement is set up such that the filtering takes place at least in part by means of rapid folding in the overlap-add and / or overlap-save method.

Ein Computerprogramm zur Verarbeitung von Audiodaten ermöglicht es einer Datenverarbeitungseinrichtung, nachdem es in den Speicher der Datenverarbeitungseinrichtung geladen worden ist, ein Verfahren zur Verarbeitung von Audiodaten durchzuführen, wobei mindestens ein erstes Spektrum mindestens einer ersten spektralen Eigenschaft aus dem Spektrum der Audiodaten entfernt und dem Spektrum der Audiodaten mindestens ein zweites Spektrum mindestens einer zweiten spektrale Eigenschaft aufgeprägt wird.A computer program for processing audio data allows a data processing device, after being loaded into the memory of the data processing device, to perform a method for processing audio data, wherein at least a first spectrum of at least one first spectral property is removed from the spectrum of the audio data and the spectrum of the Audio data at least a second spectrum of at least one second spectral property is impressed.

In einer weiteren bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass das erfindungsgemäße Computerprogramm modular aufgebaut ist, wobei einzelne Module auf verschiedenen Datenverarbeitungseinrichtungen installiert sind.In a further preferred embodiment of the invention, it is provided that the computer program according to the invention is modular in construction, with individual modules being installed on different data processing devices.

Vorteilhafte Ausführungsformen sehen zusätzlich Computerprogramme vor, durch welche weitere in der Beschreibung angegebene Verfahrensschritte oder Verfahrensabläufe ausgeführt werden können.Advantageous embodiments additionally provide computer programs by which further method steps or method sequences specified in the description can be executed.

Solche Computerprogramme können beispielsweise (gegen Gebühr oder unentgeltlich, frei zugänglich oder passwortgeschützt) downloadbar in einem Daten- oder Kommunikationsnetz bereitgestellt werden. Die so bereitgestellten Computerprogramme können dann durch ein Verfahren nutzbar gemacht werden, bei dem ein Computerprogramm nach Anspruch 25 aus einem elektronischen Datennetz, wie beispielsweise aus dem Internet, auf eine an das Datennetz angeschlossene Datenverarbeitungseinrichtung heruntergeladen wird.Such computer programs can be made available for download (for a fee or free of charge, freely accessible or password-protected) in a data or communication network, for example. The computer programs thus provided can then be made usable by a method in which a computer program according to claim 25 is downloaded from an electronic data network, such as for example from the Internet, to a data processing device connected to the data network.

Um das erfindungsgemäße Verfahren zur Verarbeitung von Audiodaten durchzuführen, ist vorgesehen, ein computerlesbares Speichermedium einzusetzen, auf dem ein Programm gespeichert ist, das es einer Datenverarbeitungseinrichtung ermöglicht, nachdem es in den Speicher der Datenverarbeitungseinrichtung geladen worden ist, ein Verfahren zur Verarbeitung von Audiodaten durchzuführen, wobei mindestens ein erstes Spektrum mindestens einer ersten spektralen Eigenschaft aus dem Spektrum der Audiodaten entfernt und dem Spektrum der Audiodaten mindestens ein zweites Spektrum mindestens einer zweiten spektrale Eigenschaft aufgeprägt wird.In order to carry out the method according to the invention for processing audio data, it is provided to use a computer-readable storage medium on which a program is stored which, after being loaded into the memory of the data processing device, allows a data processing device to carry out a method for processing audio data. wherein at least a first spectrum of at least one first spectral property is removed from the spectrum of the audio data and the spectrum of the audio data is impressed on at least one second spectrum of at least one second spectral property.

Mit der Erfindung können somit Klänge in ihrer Klangfarbe dynamisch manipuliert werden, indem ihnen die Klangfarben von anderen Klängen aufgeprägt werden. Dies ermöglicht insbesondere eine Expressionskontrolle durch das Überblenden der Klangfarben von Klängen mit unterschiedlicher Lautstärke, sowie eine Formantkorrektur durch das Überblenden der Klangfarben von Klängen mit unterschiedlicher Tonhöhe.Thus, with the invention, sounds can be dynamically manipulated in their timbre by imprinting the timbres on other sounds. This allows in particular an expression control by blending the timbres of sounds with different volume, as well as a Formantkorrektur by blending the timbres of sounds with different pitch.

Die Erfindung stellt eine sehr genaue Formantkorrektur dar, die sich von anderen herkömmlichen Verfahren abhebt, da sie Obertöne deutlich exakter behandelt.The invention represents a very accurate Formantkorrektur, which stands out from other conventional methods, since it treats overtones much more accurate.

Zusammenfassend lässt sich die Erfindung wie folgt beschreiben:
Jedem Sample ist ein oder sind mehrere Spektren einer spektralen Eigenschaft, im folgenden auch als spektrale Fingerprints bezeichnet, zugeordnet, die die Klangfarbe als spektrale Zustände des Samples beschreiben. Die spektralen Fingerprints werden in einem Analyseschritt ermittelt.
In summary, the invention can be described as follows:
Each sample is assigned one or more spectra of a spectral property, also referred to below as spectral fingerprints, which describe the timbre as spectral states of the sample. The spectral fingerprints are determined in an analysis step.

Die Klangfarbenmanipulation geschieht dann in einem zweistufigen Prozess unter Verwendung eines Normierungsfilters und eines Denormierungsfilters.The tone color manipulation is then done in a two-step process using a normalization filter and a denormalization filter.

Dem Quellsample (z. B. ein Sample eines ersten Instruments) wird über ein Normierungsfilter die durch einen spektralen Fingerprint beschriebene Klangfarbe entzogen, indem alle Resonanzen nivelliert werden. Somit ergibt sich ein Signal, dessen Obertöne einen Pegel von etwa 0 dB aufweisen. Der Klangeindruck dieses normierten Samples erinnert an weißes Rauschen, das mit einem Kammfilter gefiltert wurde.The source sample (eg a sample of a first instrument) is deprived of the timbre described by a spectral fingerprint via a normalization filter, by leveling all the resonances. This results in a signal whose harmonics have a level of about 0 dB. The sound impression of this normalized sample is reminiscent of white noise, which was filtered with a comb filter.

Über ein Denormierungsfilter kann diesem normierten Sample anschließend eine durch einen weiteren spektralen Fingerprint beschriebene Klangfarbe eines Zielsamples (z. B. eines Samples mit einer anderen Klangfarbe, die beispielsweise durch eine andere Anspielstärke hervorgerufen wird, oder eines Samples eines zweiten Instruments) aufgeprägt werden. Hierbei werden die Obertöne auf die für den Klangeindruck charakteristischen Pegel gesetzt.A denormalization filter can then be used to impress on this normalized sample a timbre of a target sample described by another spectral fingerprint (eg a sample with a different timbre, which is caused, for example, by another intonation or a sample from a second instrument). Here, the harmonics are set to the level characteristic of the sound impression.

Spektrale Fingerprints:Spectral fingerprints:

Die Gewinnung der spektralen Fingerprints geschieht in einer beispielhaften Ausführungsform über den folgenden Analyseprozess:

  • – Short-Time Fourier Transform (STFT) des gesamten Samples;
  • – Überführung der einzelnen Spektral-Frames in Leistungsdichtespektren (LDS);
  • – Mittelung der LDS unter Vernachlässigung von Frames mit zu geringer Gesamtleistung;
  • – Rücküberführung der gemittelten LDS in ein mittleres Spektrum;
  • – energieerhaltende Überführung des linearen Spektrums in ein Constant-Q-Spektrum;
  • – Obertondetektion als Maxima des Spektrums in festgelegten Bereichen rund um die Vielfachen des Grundtons;
  • – Interpolation der einzelnen Peaks, wobei die Stützstellen exakt wiedergegeben werden.
The extraction of the spectral fingerprints takes place in an exemplary embodiment via the following analysis process:
  • Short-time Fourier Transform (STFT) of the entire sample;
  • - transfer of the individual spectral frames into power density spectra (LDS);
  • - averaging the LDS neglecting frames with too low overall performance;
  • - return of averaged LDS to a medium range;
  • - energy conserving conversion of the linear spectrum into a constant Q spectrum;
  • - overtone detection as maxima of the spectrum in defined ranges around the multiples of the fundamental;
  • - Interpolation of the individual peaks, whereby the interpolation points are reproduced exactly.

Die durch diesen Prozess gewonnenen spektralen Fingerprints stellen aus technischer Sicht somit klassische Amplitudenspektren dar, die über bekannte Verfahren der FFT oder Filterung weiterverarbeitet werden können.From a technical point of view, the spectral fingerprints obtained by this process thus represent classical amplitude spectra which can be further processed by known methods of FFT or filtering.

(De-)Normierungsfilter(De-) Scaling filter

Der Aufbau der zum Normieren und Denormieren verwendeten Filter ist bis auf eine Abweichung in der Verarbeitung der spektralen Fingerprints identisch:The structure of the filter used for normalizing and denormalizing is identical except for a deviation in the processing of the spectral fingerprints:

Die Abweichung besteht darin, dass

  • – als Filterspektrum für das Denormierungsfilter das Spektrum des Spectral Fingerprints H(jw) direkt verwendet wird, und
  • – als Filterspektrum für das Normierungsfilter hingegen das invertierte Spektrum des spektralen Fingerprints H(jw)–1 verwendet wird.
The deviation is that
  • - the spectrum of the spectral fingerprint H (jw) is used directly as filter spectrum for the denormalization filter, and
  • On the other hand, the inverted spectrum of the spectral fingerprint H (jw) -1 is used as the filter spectrum for the normalization filter.

Die gleichen Verarbeitungsschritte umfassen folgendes:

  • – das (Filter-)Spektrum wird über eine IFFT in den Zeitbereich zurücktransformiert und bildet die Ausgangsimpulsantwort;
  • – die Ausgangsimpulsantwort wird vorzugsweise um die halbe Blocklänge verschoben, um die Energie der Impulsantwort in der Mitte zu konzentrieren.
  • – Soll die Impulsantwort gekürzt werden, geschieht dies vorzugsweise symmetrisch von den Blockgrenzen her, wenn nötig auch mit einer anschließenden, zusätzlichen Fensterung zur Glättung der Blockgrenzen.
  • – Die so entstandene Impulsantwort stellt ein linearphasiges Filter dar und kann über die reellwertige Cepstraltransformation in ein minimalphasiges Filter überführt werden.
The same processing steps include the following:
  • The (filter) spectrum is transformed back into the time domain via an IFFT and forms the output impulse response;
  • The output impulse response is preferably shifted by half the block length to concentrate the energy of the impulse response in the middle.
  • If the impulse response is to be shortened, this is preferably done symmetrically from the block boundaries, if necessary also with a subsequent, additional windowing for smoothing the block boundaries.
  • - The resulting impulse response represents a linear-phase filter and can be converted via the real-valued cepstral transformation into a minimal-phase filter.

Filterungfiltering

Durch die Unterteilung der Filterung in die zwei Schritte der Normierung und Denormierung kann die beschriebene Klangfarbentransformation mit vertretbarem Aufwand durchgeführt werden. Dies erlaubt eine Echtzeitverarbeitung, die bei der Verwendung eines einzelnen Filters unmöglich bzw. nur durch das vorhergehende Berechnen aller möglichen individuellen Transformationsfilter möglich gemacht wird. Dies führt allerdings zu einem Rechenaufwand und Speicherbedarf quadratischer oder höherer Ordnung.By subdividing the filtering into the two steps of normalization and denormalization, the described tone color transformation can be carried out with reasonable effort. This allows for real-time processing, which is impossible with the use of a single filter or made possible only by the preceding calculation of all possible individual transformation filters. However, this leads to a computational effort and storage requirements square or higher order.

In einer bevorzugten Ausführungsform der Erfindung sind die Filter derart verschaltet, dass die Ausgänge aller Normierungsfilter auf einen Normierungsbus gehen. Dieser Normierungsbus ist mit allen Eingängen der Denormierungsfilter verbunden. Die eigentliche Filterung erfolgt in allen Filtern mittels schneller Faltung, beispielsweise im Overlap-Add oder Overlap-Save Verfahren.In a preferred embodiment of the invention, the filters are connected in such a way that the outputs of all normalization filters go to a normalization bus. This normalization bus is connected to all inputs of the denormalization filters. The actual filtering takes place in all filters by means of fast convolution, for example in the overlap-add or overlap-save method.

Durch den Aufbau mit Denormierungs- und Normierungsfilter liegt zu jedem Zeitpunkt ein idealerweise rauschartiges Signal auf dem Normierungsbus. Dieses lässt sich in Echtzeit anteilig über jedes andere Denormierungsfilter in eine andere Klangfarbe überführen. Diese Echtzeitfähigkeit ist nur durch den Aufbau mit einem Normierungsbus realisierbar. Wäre dieser Bus nicht vorhanden, müsste jede mögliche Klangfarbentransformation im Vorfeld bekannt sein und in einem eigenen Filter realisiert werden. Dies wäre aufgrund des sich potenzierenden Aufwands jedoch nur sehr eingeschränkt möglich.Due to the design with denormalization and normalization filters, an ideally noisy signal is present on the standardization bus at all times. This can be converted in real time proportionally over any other Denormierungsfilter in a different timbre. This real-time capability can only be realized by the setup with a standardization bus. If this bus were not available, any possible tone color transformation would have to be known in advance and implemented in a separate filter. However, this would only be possible to a very limited extent due to the increasing effort.

Die Qualität der Normierung hängt hierbei von der Konstanz der jeweiligen Klangfarbe ab. So hat beispielsweise ein (De-)Crescendo oder ein starkes Vibrato keine einheitliche Klangfarbe bzw. nur näherungsweise eine einheitliche Klangfarbe. Die Erfindung erlaubt jedoch, durch die oben genannte Verwendung von mehreren Fingerprints in der Normierung beliebig genau zu werden.The quality of the standardization depends on the constancy of the respective timbre. For example, a (de) crescendo or a strong vibrato does not have a uniform timbre or only an approximate uniform timbre. However, the invention allows to be arbitrarily accurate by the above-mentioned use of multiple fingerprints in the normalization.

Innerhalb eines Samplers kann das erfindungsgemäße Verfahren verwendet werden, um die Übergänge zwischen unterschiedlichen Samples hinsichtlich unterschiedlicher Tonhöhen und unterschiedlicher Anspielstärken zu vereinheitlichen. Klassischerweise werden die Samples innerhalb eines Samplers in einer Sample-Map angeordnet, wobei unterschiedliche Tonhöhen horizontal und unterschiedliche Anspielstärken vertikal angeordnet sind. Im Moment des Tastendrucks sind nun die Tonhöhe und die Anspielstärke klar definiert, so dass ein bestimmtes Sample aus der Map abgespielt werden kann.Within a sampler, the inventive method can be used to standardize the transitions between different samples in terms of different pitches and different Anspielstärken. Classically, the samples are arranged within a sampler in a sample map, with different pitches arranged horizontally and different pitch strengths vertically. The moment you press the key, the pitch and the attacking power are now clearly defined so that a particular sample can be played from the map.

Soll das angespielte Sample in seiner Klangfarbe nun in ein anderes Sample überführt werden, wird oftmals eine Überblendung der Zeitsignale verwendet. Dies führt allerdings zu Schwebungen. Um die Klangfarbe anzupassen, werden oftmals auch einfache Hoch- oder Tiefpassfilter verwendet, diese sind den erfindungsgemäßen Normierungs- und Denormierungsfiltern jedoch deutlich unterlegen.If the sampled sample in its timbre is now transferred to another sample, a crossfade of the time signals is often used. However, this leads to beats. To adjust the timbre, often too However, they are clearly inferior to the normalization and denormation filters according to the invention.

Durch das erfindungsgemäße Verfahren kann über die Sample Map eine zusätzliche Fingerprint-Map gelegt werden. Diese besteht aus Fingerprints, wobei jedem Sample ein oder mehrere Fingerprints zugeordnet ist. Ist nur ein Fingerprint zugeordnet, so beschreibt dieser die Klangfarbe des gesamten Samples, sind mehrere Fingerprints zugeordnet, beschreiben sie jeweils die Klangfarbe eines Signalabschnitts oder Zeitpunkts. Jeder Fingerprint wird hierbei im Vorfeld jeweils in ein Normierungs- und ein Denormierungsfilter überführt.The inventive method can be placed on the sample map an additional fingerprint map. This consists of fingerprints, each sample being assigned one or more fingerprints. If only one fingerprint is assigned, this describes the timbre of the entire sample. If several fingerprints are assigned, they each describe the timbre of a signal segment or time. Each fingerprint is in this case transferred in advance to a normalization and a denormalization filter.

Wird nun eine Note angespielt steht im Moment des Tastendrucks wie beim herkömmlichen Sampler die Tonhöhe und die Anspielstärke fest. Das diesen Parametern zugrundeliegende Sample wird nun jedoch nicht direkt abgespielt. Vielmehr wird das Quellsignal (zeitabhängig) anteilig in die seiner Position innerhalb der Fingerprint-Map entsprechenden Normierungsfilter gespeist, deren Ausgänge auf dem Normierungsbus zusammenlaufen. Das auf dem Normierungsbus liegende Signal wird anschließend anteilig in die Denormierungsfilter geleitet, die einem beliebigen Punkt innerhalb der Fingerprint-Map am nächsten liegen. Dieser Punkt kann in Echtzeit moduliert werden, was direkt die Klangfarbe überblendet und eine große Stärke des erfindungsgemäßen Verfahrens ausmacht.If a note is played now, the pitch and the sticking strength are fixed at the moment of pressing the key as in the conventional sampler. However, the sample underlying these parameters will not play directly. Rather, the source signal (time-dependent) is proportionally fed into the normalization filter corresponding to its position within the fingerprint map, the outputs of which converge on the normalization bus. The signal on the normalization bus is then routed proportionately to the denormalization filters that are closest to any point within the fingerprint map. This point can be modulated in real time, which directly blends the timbre and constitutes a great strength of the method according to the invention.

Die Erfindung wird nachfolgend unter Bezugnahme auf die Figuren der Zeichnungen an verschiedenen Ausführungsbeispielen näher erläutert.The invention will be explained in more detail below with reference to the figures of the drawings of various embodiments.

Es zeigen:Show it:

1: Veranschaulichung einer beispielhaften Analyse eines Audiosamples zur Ermittlung eines spektralen Fingerprints, 1 : Illustration of an exemplary analysis of an audio sample for determining a spectral fingerprint,

2a: Veranschaulichung einer beispielhaften Bearbeitung eines Audiosamples, dem zur Gewinnung eines normierten Quellsignals ein Quellfingerprint entzogen wird, und 2a FIG. 2 illustrates an exemplary processing of an audio sample to which a source fingerprint is withdrawn in order to obtain a normalized source signal, and FIG

2b: Veranschaulichung einer beispielhaften Bearbeitung eines normierten Quellsignals, dem zur Gewinnung eines transformierten Quellsignals ein Zielfingerprint aufgeprägt wird. 2 B : Illustration of an exemplary processing of a normalized source signal to which a target fingerprint is impressed in order to obtain a transformed source signal.

Anhand von 1 soll die Gewinnung eines spektralen Fingerprints 100 durch ein beispielhaftes Analyseverfahren beschrieben werden.Based on 1 intended to obtain a spectral fingerprint 100 be described by an exemplary analysis method.

In einem ersten Schritt wird auf das Eingangssignal 104 eine STFT angewandt (Schritt 106), wodurch ein mittleres Spektrum 108 erzeugt wird. In Schritt 110 werden die einzelnen Spektral-Frames des mittleren Spektrums 108 in Leistungsdichtespektren 112 überführt. In einem anschließenden Schritt 114 werden die Einzelspektren gemittelt und in ein mittleres Spektrum zurück überführt, und in Schritt 116 geglättet und in ein Constant-Q-Spektrum 118 überführt.In a first step is on the input signal 104 an STFT applied (step 106 ), creating a mid-range 108 is produced. In step 110 become the individual spectral frames of the middle spectrum 108 in power density spectra 112 transferred. In a subsequent step 114 the single spectra are averaged and converted back to a middle spectrum, and in step 116 smoothed and into a constant Q spectrum 118 transferred.

In einem nächsten Schritt 120 erfolgt die Detektion der Obertöne als Spitzen (Maxima) des Constant-Q-Spektrums 118. Durch diese Maxima wird in Schritt 122 eine Interpolationskurve gelegt, wobei die Interpolationskurve exakt durch die Maxima als Stützstellen verläuft. Diese Interpolationskurve stellt den spektralen Fingerprint 100 dar.In a next step 120 the detection of the overtones takes place as peaks (maxima) of the constant-Q spectrum 118 , Through these maxima will step in 122 placed an interpolation curve, the interpolation curve runs exactly through the maxima as support points. This interpolation curve represents the spectral fingerprint 100 represents.

Bei dem Eingangssignal 104 kann es sich um ein Audiosignal eines beliebigen Klanges oder Instruments handeln. Es kann sich insbesondere um sehr leise, sehr laute, sehr tiefe, sehr hohe Klänge handeln oder allgemein um Klänge, die im wesentlichen an den Grenzen eines Variationsbereiches des Audiosignals bzw. Klanges liegen.At the input signal 104 it can be an audio signal of any sound or instrument. In particular, it may be very quiet, very loud, very deep, very high sounds, or generally sounds that are essentially at the limits of a range of variation of the audio signal or sound.

Anhand der 2a und 2b soll nun die Änderung einer spektralen Eigenschaft, beispielsweise durch die Änderung der Anspielstärke, eines Quellsignals 200 näher erläutert werden. Bei dem in 2a dargestellten beispielhaften Quellsignal 200 handelt es sich um einen kräftig gespielten Ton mit vielen Obertönen. Dieses Quellsignal 200 wird in eine Spektraldarstellung 202 überführt. Anschließend wird auf dieses Quellsignal 200 ein Normierungsfilter angewendet, wobei als Filterspektrum das Spektrum 206 des invertierten spektralen Fingerprints des Quellsignals 200 verwendet wird (der Fingerprint 204 selbst ist in 2a zusammen mit der Spektraldarstellung 202 des Quellsignals 200 dargestellt).Based on 2a and 2 B Now is the change of a spectral property, for example, by the change of the Anspielstärke, a source signal 200 be explained in more detail. At the in 2a illustrated exemplary source signal 200 it is a powerfully played sound with many overtones. This source signal 200 becomes a spectral representation 202 transferred. Subsequently, this source signal 200 a normalization filter is applied, with the spectrum being the filter spectrum 206 of the inverted spectral fingerprint of the source signal 200 is used (the fingerprint 204 himself is in 2a together with the spectral representation 202 of the source signal 200 shown).

Aus der Filterung resultiert ein normiertes Quellsignal 208 mit zugehörigem Spektrum 210. Wie aus der zu entnehmen ist, weisen die Obertöne des Spektrums 210 des normierten Quellsignals 208 einen annähernd einheitlichen Pegel von 0 dB auf. Das Spektrum 210 des normierten Quellsignals 208 kann nun transformiert werden, ohne den Effekt, dass die spektralen Eigenschaften in unerwünschter Weise von der Transformation mit betroffen werden, da sie vorher herausgefiltert wurden. Beispielsweise kann die Lautstärke des Quellsignals 200 verringert werden. Das normierte Quellsignal 208 wird nun unter Verwendung eines Denormierungsfilters gefiltert, wobei als Filterspektrum der spektrale Fingerprint 212 des Zielsignals verwendet wird, dessen Spektrum 214 in 2b wiedergegeben ist. Bei dem Zielsignal kann es sich wie in diesem Beispiel um einen nur schwachgespielten Ton handeln. Im Ergebnis dieser Filterung erhält man das transformierte Quellsignal 216 mit dem zugehörigen Spektrum 218. Das transformierte Quellsignal 216 repräsentiert ein Signal, dem die Klangfarbe eines leise gespielten Tones (Zielsignal) aufgeprägt wurde (in der Abbildung durch die vergleichsweise wenigen Obertöne des transformierten Quellsignals 216 verdeutlicht). Anschließend kann unabhängig vom beschriebenen Verfahren zur Veränderung der Klangfarbe die Lautstärke des transformierten Quellsignals 216 verringert werden.The filtering results in a normalized source signal 208 with associated spectrum 210 , Like from the can be seen, the overtones of the spectrum 210 of the normalized source signal 208 an approximately uniform level of 0 dB. The spectrum 210 of the normalized source signal 208 can now be transformed without the effect that the spectral properties are undesirably affected by the transformation since they were previously filtered out. For example, the volume of the source signal 200 be reduced. The normalized source signal 208 is now filtered using a denormalization filter, using the spectral fingerprint as the filter spectrum 212 of the target signal is used, its spectrum 214 in 2 B is reproduced. The target signal may, as in this example, be a weakly played sound. As a result of this filtering, the transformed source signal is obtained 216 with the associated spectrum 218 , The transformed source signal 216 represents a signal to which the timbre of a softly played sound (target signal) has been impressed (in the figure by the comparatively few overtones of the transformed source signal) 216 illustrated). Then, regardless of the described method for changing the timbre, the volume of the transformed source signal 216 be reduced.

In einer anderen beispielhaften Ausführungsform ist vorgesehen, auf das normierte Quellsignal 208, das gegebenenfalls durch weitere Bearbeitungsschritte (wie z. B. Lautstärke- oder Tonhöhenänderung) verändert wurde, mindestens zwei Filter anzuwenden, wobei als Filterspektren die Spektren verschiedener Fingerprints verwendet werden. Eine bevorzugte Ausführungsform sieht vor, dass diese Spektren gewichtet werden. Wenn es sich bei der Transformation beispielsweise um die Änderung der Klangfarbe entsprechend einer Lautstärkeänderung handelt, und das transformierten Quellsignal 216 in der Mitte des Variationsbereichs liegen soll, könnten als Filterspektren das Spektrum des Fingerprints des leisesten Tons und das Spektrum des Fingerprints des lautesten Tons verwendet werden, jeweils gewichtet mit ca. 50%.In another exemplary embodiment, it is provided that the normalized source signal 208 optionally modified by further processing steps (such as volume or pitch change) to apply at least two filters, using the spectra of different fingerprints as filter spectra. A preferred embodiment provides that these spectra are weighted. For example, if the transformation is the change in timbre according to a change in volume, and the transformed source signal 216 should lie in the middle of the range of variation, could be used as filter spectra, the spectrum of the fingerprint of the quietest tone and the spectrum of the fingerprint of the loudest tone, each weighted with about 50%.

Die Erfindung beschränkt sich in ihrer Ausführungsform nicht auf die vorstehend angegebenen bevorzugten Ausführungsbeispiele. Vielmehr ist eine Anzahl von Varianten denkbar, die von der erfindungsgemäßen Anordnung und dem erfindungsgemäßen Verfahren sowie dem entsprechenden Computerprogramm und dem entsprechenden computerlesbares Speichermedium auch bei grundsätzlich anders gearteten Ausführungen Gebrauch macht.The invention is not limited in its embodiment to the above-mentioned preferred embodiments. Rather, a number of variants is conceivable that make use of the inventive arrangement and the method according to the invention and the corresponding computer program and the corresponding computer-readable storage medium even with fundamentally different types of use.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100
spektraler Fingerprintspectral fingerprint
104104
Eingangssignalinput
106106
Schrittstep
108108
mittleres Spektrummedium spectrum
110110
Schrittstep
112112
LeistungsdichtespektrenPower density spectra
114114
Schrittstep
116116
Schrittstep
118118
Constant-Q-SpektrumConstant-Q spectrum
120120
Schrittstep
122122
Schrittstep
200200
Quellsignalsource signal
202202
Spektraldarstellung des QuellsignalsSpectral representation of the source signal
204204
spektraler Fingerprint des Quellsignalsspectral fingerprint of the source signal
206206
invertierter spektraler Fingerprint des Quellsignalsinverted spectral fingerprint of the source signal
208208
normiertes Quellsignalnormalized source signal
210210
Spektrum des normierten QuellsignalsSpectrum of the normalized source signal
212212
Spektrum des spektralen Fingerprints des ZielsignalsSpectrum of the spectral fingerprint of the target signal
214214
Spektrum des ZielsignalsSpectrum of the target signal
216216
transformiertes Quellsignaltransformed source signal
218218
Spektrum des transformierten QuellsignalsSpectrum of the transformed source signal

Claims (27)

Verfahren zur Verarbeitung von Audiodaten, wobei in einem ersten Schritt mindestens ein erstes Spektrum mindestens einer ersten spektralen Eigenschaft aus dem Spektrum der Audiodaten entfernt und in einem zweiten Schritt den Audiodaten mindestens eine zweite spektrale Eigenschaft aufgeprägt wird, wobei der mindestens einen zweiten spektralen Eigenschaft mindestens ein zweites Spektrum entspricht.Method for processing audio data, wherein in a first step removes at least a first spectrum of at least one first spectral property from the spectrum of the audio data and in a second step, the audio data is impressed on at least one second spectral property, the at least one second spectral property corresponding to at least one second spectrum. Verfahren zur Verarbeitung von Audiodaten, wobei mindestens ein erstes Spektrum mindestens einer ersten spektralen Eigenschaft aus dem Spektrum der Audiodaten entfernt, nach Entfernung des mindestens einen ersten Spektrums das Audiosignal, das dem aus der Entfernung des mindestens einen ersten Spektrums resultierenden Spektrum der Audiodaten entspricht, transformiert, und dem transformierten Audiosignal eine oder mehrere der mindestens einen ersten spektralen Eigenschaft und/oder mindestens eine zweite spektrale Eigenschaft aufgeprägt wird.A method of processing audio data, wherein at least a first spectrum removes at least a first spectral property from the spectrum of the audio data, after removal of the at least one first spectrum, transforming the audio signal corresponding to the spectrum of the audio data resulting from the removal of the at least one first spectrum, and one or more of the at least one first spectral property and / or at least one second spectral property is impressed on the transformed audio signal. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Audiosignal in zeitliche Abschnitte unterteilt und für zumindest einen Teil der zeitlichen Abschnitte jeweils ein abschnittspezifisches erstes und/oder zweites Spektrum der ersten bzw. zweiten spektralen Eigenschaft definiert wird.A method according to claim 1 or 2, characterized in that the audio signal is divided into temporal sections and for at least a portion of the temporal sections in each case a section-specific first and / or second spectrum of the first and second spectral property is defined. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass sich die zeitlichen Abschnitte überlappen.A method according to claim 3, characterized in that the temporal sections overlap. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass zum Entfernen des mindestens einen ersten Spektrums das invertierte mindestens eine erste Spektrum als Filterspektrum verwendet wird.Method according to one of the preceding claims, characterized in that to remove the at least one first spectrum, the inverted at least one first spectrum is used as a filter spectrum. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass zum Aufprägen des zumindest einen ersten Spektrums und/oder des mindestens einen zweiten Spektrums die entsprechenden Spektren als Filterspektren verwendet werden.Method according to one of the preceding claims, characterized in that for impressing the at least one first spectrum and / or the at least one second spectrum, the corresponding spectra are used as filter spectra. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das Filter erzeugt wird, indem das invertierte mindestens eine erste Spektrum und/oder das mindestens eine erste Spektrum und/oder das mindestens ein zweites Spektrum in den Zeitbereich transformiert werden.A method according to claim 5 or 6, characterized in that the filter is generated by the inverted at least one first spectrum and / or the at least one first spectrum and / or the at least one second spectrum are transformed into the time domain. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass es sich bei dem Filter um ein linearphasiges Filter handelt.A method according to claim 7, characterized in that it is the filter is a linear phase filter. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ein minimalphasiges Filter erzeugt wird durch Cepstraltransformation des linearphasigen Filters.Method according to Claim 8, characterized in that a minimal-phase filter is produced by cepstral transformation of the linear-phase filter. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass zumindest ein Teil der aufzuprägenden Spektren gewichtet wird.A method according to claim 8, characterized in that at least a part of the spectra to be recorded is weighted. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine erste Spektrum und/oder das mindestens eine zweite Spektrum durch Analysieren von Audiodaten ermittelt wird.Method according to one of the preceding claims, characterized in that the at least one first spectrum and / or the at least one second spectrum is determined by analyzing audio data. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Analyse eine Detektion von Obertönen umfasst.A method according to claim 11, characterized in that the analysis comprises a detection of harmonics. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Analyse eine Analyse im Spektralbereich umfasst.A method according to claim 11 or 12, characterized in that the analysis comprises an analysis in the spectral range. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Ermittlung des mindestens einen ersten und/oder des mindestens einen zweiten Spektrums eine Interpolation von Maxima einer Spektraldarstellung der Audiodaten umfasst.Method according to one of the preceding claims, characterized in that the determination of the at least one first and / or the at least one second spectrum comprises an interpolation of maxima of a spectral representation of the audio data. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass vor der Interpolation aus der Spektraldarstellung der Audiodaten mindestens ein Leistungsdichtespektrum erzeugt wird.A method according to claim 14, characterized in that at least one power density spectrum is generated before the interpolation from the spectral representation of the audio data. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass eine Mittelung des mindestens einen Leistungsdichtespektrums oder eines Teils der Leistungsdichtespektren erfolgt.A method according to claim 15, characterized in that an averaging of the at least one power density spectrum or a part of the power density spectra is carried out. Verfahren nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass die Spektraldarstellung vor oder nach der Detektion der Obertöne in ein Constant-Q-Spektrum überführt wird.Method according to one of claims 14 to 16, characterized in that the spectral representation is converted before or after the detection of the harmonics in a constant-Q spectrum. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Überführung in das Constant-Q-Spektrum nach einer Rücküberführung des mindestens einen Leistungsdichtespektrums in ein mittleres Spektrum erfolgt.A method according to claim 17, characterized in that the conversion into the constant-Q spectrum after a return transfer of the at least one power density spectrum is carried out in a middle spectrum. Verfahren nach einem der Ansprüche 5 bis 18, dadurch gekennzeichnet, dass die Filterung wenigstens zum Teil mittels schneller Faltung im Overlap-Add- und/oder Overlap-Save-Verfahren erfolgt.Method according to one of claims 5 to 18, characterized in that the filtering takes place at least in part by means of rapid folding in the overlap-add and / or overlap-save method. Anordnung mit mindestens einem Chip und/oder Prozessor, wobei die Anordnung derart eingerichtet ist, dass ein Verfahren gemäß einem der Ansprüche 1 bis 19 ausführbar ist.Arrangement with at least one chip and / or processor, wherein the arrangement is set up such that a method according to one of claims 1 to 19 can be executed. Anordnung nach Anspruch 20. dadurch gekennzeichnet, dass die Anordnung mindestens ein Filter zum Entfernen des mindestens einen ersten Spektrums und/oder mindestens ein Filter zum Aufprägen des zumindest einen ersten Spektrums und/oder des mindestens einen zweiten Spektrums umfasst.Arrangement according to claim 20, characterized in that the arrangement comprises at least one filter for removing the at least one first spectrum and / or at least one filter for impressing the at least one first spectrum and / or the at least one second spectrum. Anordnung nach Anspruch 21. dadurch gekennzeichnet, dass die Ausgänge des mindestens einen Filters zum Entfernen des mindestens einen ersten Spektrums und die Eingänge des mindestens einen Filters zum Aufprägen des zumindest einen ersten Spektrums und/oder des mindestens einen zweiten Spektrums über einen Bus verbunden sind.Arrangement according to claim 21, characterized in that the outputs of the at least one filter for removing the at least one first spectrum and the inputs of the at least one filter for impressing the at least one first spectrum and / or the at least one second spectrum are connected via a bus. Anordnung nach einem der Ansprüche 20 bis 22. dadurch gekennzeichnet, dass die Anordnung einen Sampler umfasst.Arrangement according to one of claims 20 to 22, characterized in that the arrangement comprises a sampler. Anordnung nach Anspruch 23. dadurch gekennzeichnet, dass in dem Sampler erste und/oder zweite Spektren der ersten bzw. zweiten spektralen Eigenschaft abgelegt sind, welche Samples des Samplers zugeordnet sind.Arrangement according to claim 23, characterized in that stored in the sampler first and / or second spectra of the first and second spectral characteristic, which are assigned to samples of the sampler. Computerprogramm, das es einer Datenverarbeitungseinrichtung ermöglicht, nachdem es in Speichermittel der Datenverarbeitungseinrichtung geladen worden ist, ein Verfahren gemäß einem der Ansprüche 1 bis 19 durchzuführen.Computer program that allows a data processing device, after it has been loaded into storage means of the data processing device to perform a method according to any one of claims 1 to 19. Computerlesbares Speichermedium, auf dem ein Programm gespeichert ist, das es einer Datenverarbeitungseinrichtung ermöglicht, nachdem es in Speichermittel der Datenverarbeitungseinrichtung geladen worden ist, ein Verfahren gemäß einem der Ansprüche 1 bis 19 durchzuführen.A computer-readable storage medium having stored thereon a program that allows a data processing device, after being loaded into storage means of the data processing device, to perform a method according to any one of claims 1 to 19. Verfahren, bei dem ein Computerprogramm nach Anspruch 25 aus einem elektronischen Datennetz, wie beispielsweise aus dem Internet, auf eine an das Datennetz angeschlossene Datenverarbeitungseinrichtung heruntergeladen wird.Method in which a computer program according to claim 25 is downloaded from an electronic data network, such as for example from the Internet, to a data processing device connected to the data network.
DE102009029615.8A 2009-09-15 2009-09-18 Method and arrangement for processing audio data and a corresponding computer program and a corresponding computer-readable storage medium Active DE102009029615B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102009029615.8A DE102009029615B4 (en) 2009-09-18 2009-09-18 Method and arrangement for processing audio data and a corresponding computer program and a corresponding computer-readable storage medium
US12/883,001 US8750530B2 (en) 2009-09-15 2010-09-15 Method and arrangement for processing audio data, and a corresponding corresponding computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009029615.8A DE102009029615B4 (en) 2009-09-18 2009-09-18 Method and arrangement for processing audio data and a corresponding computer program and a corresponding computer-readable storage medium

Publications (2)

Publication Number Publication Date
DE102009029615A1 true DE102009029615A1 (en) 2011-03-31
DE102009029615B4 DE102009029615B4 (en) 2018-03-29

Family

ID=43662298

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009029615.8A Active DE102009029615B4 (en) 2009-09-15 2009-09-18 Method and arrangement for processing audio data and a corresponding computer program and a corresponding computer-readable storage medium

Country Status (1)

Country Link
DE (1) DE102009029615B4 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003120B1 (en) * 1998-10-29 2006-02-21 Paul Reed Smith Guitars, Inc. Method of modifying harmonic content of a complex waveform
DE60031812T2 (en) * 1999-08-05 2007-09-13 Yamaha Corp., Hamamatsu Apparatus and method for sound synthesis
US20080075292A1 (en) * 2006-09-22 2008-03-27 Hon Hai Precision Industry Co., Ltd. Audio processing apparatus suitable for singing practice

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5536902A (en) 1993-04-14 1996-07-16 Yamaha Corporation Method of and apparatus for analyzing and synthesizing a sound by extracting and controlling a sound parameter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003120B1 (en) * 1998-10-29 2006-02-21 Paul Reed Smith Guitars, Inc. Method of modifying harmonic content of a complex waveform
DE60031812T2 (en) * 1999-08-05 2007-09-13 Yamaha Corp., Hamamatsu Apparatus and method for sound synthesis
US20080075292A1 (en) * 2006-09-22 2008-03-27 Hon Hai Precision Industry Co., Ltd. Audio processing apparatus suitable for singing practice

Also Published As

Publication number Publication date
DE102009029615B4 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
EP2099024B1 (en) Method for acoustic object-oriented analysis and note object-oriented processing of polyphonic sound recordings
DE60024501T2 (en) Improvement of Perceptual Quality of SBR (Spectral Band Replication) AND HFR (Radio Frequency Reconstruction) Coding method by adaptively adding noise floor and limiting the noise substitution
DE69904640T2 (en) METHOD FOR CHANGING THE OVERWEYLLE CONTENT OF A COMPLEX WAVE SHAPE
DE60103086T2 (en) IMPROVEMENT OF SOURCE DELIVERY SYSTEMS BY ADAPTIVE TRANSPOSITION
EP1371055B1 (en) Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function
DE69901606T2 (en) BROADBAND VOICE SYNTHESIS OF NARROW-BAND VOICE SIGNALS
DE69607223T2 (en) Pitch recognition methods, especially for plucking or percussion instruments
EP1280138A1 (en) Method for audio signals analysis
DE10232916A1 (en) Device and method for characterizing an information signal
DE69629934T2 (en) REVERSED TRANSFORM NARROW / BROADBAND TONSYNTHESIS
EP1388145B1 (en) Device and method for analysing an audio signal in view of obtaining rhythm information
DE60031812T2 (en) Apparatus and method for sound synthesis
DE69317802T2 (en) Method and device for sound enhancement using encapsulation of multiband pass filtered signals in comb filters
US8750530B2 (en) Method and arrangement for processing audio data, and a corresponding corresponding computer-readable storage medium
DE2636032A1 (en) CIRCUIT ARRANGEMENT FOR EXTRACTING THE BASIC FREQUENCY FROM A VOICE SIGNAL
DE10157454B4 (en) A method and apparatus for generating an identifier for an audio signal, method and apparatus for building an instrument database, and method and apparatus for determining the type of instrument
DE102004028694B3 (en) Apparatus and method for converting an information signal into a variable resolution spectral representation
DE102004028693B4 (en) Apparatus and method for determining a chord type underlying a test signal
DE102021103175A1 (en) METHOD AND AUDIO PROCESSING UNIT FOR DETECTING A SOUND
DE4218623C2 (en) Speech synthesizer
DE102009029615B4 (en) Method and arrangement for processing audio data and a corresponding computer program and a corresponding computer-readable storage medium
DE102007011436B4 (en) Apparatus and method for forming a digital audio signal
DE102004020326B4 (en) Waveform adjustment system for a music file
EP1130577A2 (en) Method for the reconstruction of low speech frequencies from mid-range frequencies
DE2515524C3 (en) Device for the electronic generation of sound signals

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H03G0005180000

Ipc: H03G0005240000

R020 Patent grant now final