DE102022124486B3

DE102022124486B3 - Method and audio reproduction device for compensating for noise in an interior of a motor vehicle and associated motor vehicle

Info

Publication number: DE102022124486B3
Application number: DE102022124486.5A
Authority: DE
Inventors: Benjamin Poppinga
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2022-09-23
Filing date: 2022-09-23
Publication date: 2024-02-01
Anticipated expiration: 2042-09-24

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Audiowiedergabevorrichtung (12) in einem Kraftfahrzeug (10), wobei durch die Audiowiedergabevorrichtung (12) ein Ausgabesignal (25) in einem Innenraum (18) des Kraftfahrzeugs (10) als Ausgabeschall (16) an einen Benutzer (11) ausgegeben wird. Die Erfindung sieht vor, dass durch eine Kompensationseinrichtung (23) ein Geräuschklassesignal (28), das eine aus mehreren vorgegebenen Geräuschklassen eines in dem Innenraum (18) vorhandenen und/oder erwarteten Geräuschs (19) beschreibt, ermittelt wird und das Ausgabesignal (25) aus einem Nutzsignal (14), welches eine dem Benutzer (11) über den Ausgabeschall (16) zu vermittelnde Information enthält, erzeugt wird, wobei durch die Kompensationseinrichtung (23) beim Erzeugen des Ausgabesignals (25) eine Kompensationsfunktion (24) mittels des Geräuschklassesignals (28) konfiguriert wird, sodass das Verändern des Frequenzgangs des Nutzsignals (14) abhängig von einem durch das Geräuschklassesignal (28) beschriebenen Frequenzgang des Geräuschs (19) erfolgt, und durch Anwenden der konfigurierten Kompensationsfunktion (24) auf das Nutzsignal (14) das Ausgabesignal (25) erzeugt wird.The invention relates to a method for operating an audio playback device (12) in a motor vehicle (10), wherein the audio playback device (12) transmits an output signal (25) in an interior (18) of the motor vehicle (10) as an output sound (16) to a user (11) is output. The invention provides that a noise class signal (28), which describes one of several predetermined noise classes of a noise (19) present and/or expected in the interior (18), is determined by a compensation device (23), and the output signal (25) is generated from a useful signal (14), which contains information to be conveyed to the user (11) via the output sound (16), wherein the compensation device (23) produces a compensation function (24) by means of the noise class signal when generating the output signal (25). (28) is configured so that the frequency response of the useful signal (14) is changed depending on a frequency response of the noise (19) described by the noise class signal (28), and by applying the configured compensation function (24) to the useful signal (14). Output signal (25) is generated.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Audiowiedergabevorrichtung in einem Kraftfahrzeug. Eine solche Audiowiedergabevorrichtung kann beispielsweise durch eine Stereoanlage oder allgemein eine Musikanlage des Kraftfahrzeugs realisiert sein, wie sie beispielsweise Bestandteil eines Infotainment-Systems (Informations-Unterhaltungssystems) des Kraftfahrzeugs sein kann. Das Verfahren geht davon aus, dass in dem Kraftfahrzeug mittels der Audiowiedergabevorrichtung ein Nutzsignal wiedergegeben werden soll, beispielsweise Musik und/oder eine Radiosendung, und währenddessen in einem Innenraum des Kraftfahrzeugs ein Geräusch vorhanden ist, das mittels des Verfahrens für einen Benutzer erträglich oder weniger störend gemacht werden soll, was hier als „kompensieren“ bezeichnet ist. Das Geräusch muss also nicht entfernt werden, sondern es soll insbesondere beim Wiedergeben des Nutzsignals berücksichtigt oder in das Klangereignis des Audiowiedergabe integriert werden. Die Erfindung umfasst auch eine Audiowiedergabevorrichtung, die gemäß dem Verfahren betrieben werden kann, sowie ein Kraftfahrzeug mit einer solchen Audiowiedergabevorrichtung.The invention relates to a method for operating an audio playback device in a motor vehicle. Such an audio playback device can be implemented, for example, by a stereo system or generally a music system of the motor vehicle, as can, for example, be part of an infotainment system (information entertainment system) of the motor vehicle. The method assumes that a useful signal is to be reproduced in the motor vehicle by means of the audio playback device, for example music and/or a radio broadcast, and during this time there is a noise in an interior of the motor vehicle that can be made tolerable or less disturbing for a user by means of the method should be done, which is referred to here as “compensating”. The noise does not have to be removed, but rather it should be taken into account when playing back the useful signal or integrated into the sound event of the audio playback. The invention also includes an audio playback device that can be operated according to the method, as well as a motor vehicle with such an audio playback device.

Medientypen enthalten ein Nutzsignal mit Audioinformationen, z. B. Musik, Podcasts, Hörbücher. Das Hören von Audio insbesondere während der Fahrt in einem Kraftfahrzeug führt aber dazu, dass sich die ursprünglichen Audiosignalwellen mit verschiedenen externen Klängen und Geräuschen überlagern, z. B. von vorbeifahrenden Lastwagen/Zügen/Autos, Hupen, Motorgeräuschen. Für den Nutzer wirkt sich dies negativ auf das gesamte Hörerlebnis aus und schränkt im Falle von gesprochenen Nutzsignalen das Verstehen des Inhalts ein.Media types contain a useful signal with audio information, e.g. E.g. music, podcasts, audio books. However, listening to audio, particularly while driving in a motor vehicle, results in the original audio signal waves being superimposed with various external sounds and noises, e.g. B. from passing trucks/trains/cars, honking, engine noise. For the user, this has a negative impact on the entire listening experience and, in the case of spoken signals, limits the ability to understand the content.

Stand der Technik in der Audiosignalverarbeitung ist es, mit Hilfe von Rauschunterdrückungsansätzen eventuelle Störgeräusche vom originalen Nutzsignal zu subtrahieren. Dabei werden die Störwellen z.B. über ein Mikrofon gemessen und ein invertiertes Signal an den Hörer abgegeben - zusätzlich zum Nutzsignal. Die Signalwellentheorie führt zu einer Auslöschung des Rauschsignals, so dass es für den Hörer nicht hörbar ist. Als Alternative zur traditionellen digitalen Signalverarbeitung können auch Deep-Learning-Algorithmen eingesetzt werden, z. B. in Form von überwachtem Lernen. Die subtraktive Rauschunterdrückung ist mit mehreren Nachteilen verbunden.The state of the art in audio signal processing is to use noise reduction approaches to subtract any interference noise from the original useful signal. The interference waves are measured, for example, via a microphone and an inverted signal is sent to the listener - in addition to the useful signal. The signal wave theory leads to the cancellation of the noise signal so that it is not audible to the listener. As an alternative to traditional digital signal processing, deep learning algorithms can also be used, e.g. B. in the form of supervised learning. Subtractive noise reduction has several disadvantages.

Lösungen aus dem Stand der Technik beziehen sich somit auf ein zeitgenau zu erzeugendes Kompensationssignal, das per Definition das Rauschsignal überwindet, indem es ein invertiertes Rauschsignal zum Referenzsignal, z. B. einer Medienwiedergabe, hinzufügt. Das invertierte Rauschsignal und das eigentliche Rauschsignal heben sich gegenseitig auf (destruktive Interferenz), sodass kein Rauschen / Geräusch wahrgenommen wird. Dieser Ansatz hat die wesentliche Einschränkung, dass die Positionen der Ohren des Benutzers bekannt sein müssen, damit die Wellenauslöschung an der richtigen Stelle erfolgt, d. h. dort, wo ein hörender Benutzer beide Signale parallel empfängt, und folglich das Rauschen / Geräusch für den Hörer unhörbar ist. Positiv ist, dass dies der technisch optimale Ansatz ist, da das Rauschen in der Theorie vollständig unhörbar wird. In der Praxis weist dieser Ansatz jedoch mehrere Mängel auf, z. B. eine begrenzte Genauigkeit bei der Ohrerkennung oder Echtzeitbeschränkungen bei digitalen Signalprozessoren.Solutions from the prior art therefore refer to a compensation signal that is to be generated at exactly the same time and which, by definition, overcomes the noise signal by producing an inverted noise signal to the reference signal, e.g. B. a media playback. The inverted noise signal and the actual noise signal cancel each other out (destructive interference), so that no noise/noise is perceived. This approach has the significant limitation that the positions of the user's ears must be known in order for wave cancellation to occur at the correct location, i.e. H. where a hearing user receives both signals in parallel, and consequently the hiss/noise is inaudible to the listener. On the positive side, this is the technically optimal approach, as in theory the noise becomes completely inaudible. However, in practice, this approach has several shortcomings, e.g. B. limited accuracy in ear detection or real-time limitations in digital signal processors.

Aus der US 10,511,908 B1 ist bekannt, ein Geräusch in einem Signal dadurch zu entfernen, dass ein Signal in ein Spektrogramm umgewandelt wird und das Spektrogramm graphisch repräsentiert wird, sodass mittels des künstlichen neuronalen Netzwerks anhand einer graphischen Analyse Sprachsignalanteile von einem Rauschanteil unterschieden werden können.From the US 10,511,908 B1 It is known to remove a noise in a signal by converting a signal into a spectrogram and representing the spectrogram graphically, so that speech signal components can be distinguished from a noise component using the artificial neural network using a graphical analysis.

Aus der US 2021/0287087 A1 ist bekannt, Audiodaten mittels eines künstlichen neuronalen Netzwerks zu verarbeiten, um hierdurch ein Audiosignal zu klassifizieren, das heißt dem durch das Audiosignal repräsentierten Klang oder Geräusch eine Klasse zuzuordnen. Als künstliches neuronales Netzwerk kann hierfür beispielsweise ein GAN - Generative Adversarial Network verwendet werden.From the US 2021/0287087 A1 It is known to process audio data using an artificial neural network in order to thereby classify an audio signal, that is to say to assign a class to the sound or noise represented by the audio signal. A GAN - Generative Adversarial Network, for example, can be used as an artificial neural network for this purpose.

Aus der DE 10 2020 119 700 A1 ist eine aktive Störgeräuschunterdrückung bekannt, die ein Betriebssignal betreffend Strom und/oder eine elektrische Spannung einer elektrischen Antriebsmaschine empfängt und daraus ein von der elektrischen Maschine erwartungsgemäß erzeugtes Geräusch schätzt, das mittels eines Kompensationssignals in der eingangs beschriebenen Weise ausgelöscht werden soll. Es kann alternativ vorgesehen sein, das Geräusch mittels eines Mikrofons zu erfassen und ein zu dem erfassten Geräusch phaseninverses Kompensationssignal für die eingangs beschriebenen Auslöschung zu erzeugen.From the DE 10 2020 119 700 A1 an active noise suppression system is known, which receives an operating signal relating to current and/or an electrical voltage of an electric drive machine and from this estimates a noise generated as expected by the electric machine, which is to be extinguished by means of a compensation signal in the manner described at the outset. Alternatively, it can be provided to detect the noise using a microphone and to generate a compensation signal that is phase-inverse to the detected noise for the cancellation described above.

Aus der DE 10 2020 104 301 A1 ist eine Geräuschunterdrückungseinheit für ein Kraftfahrzeug bekannt, die eine Geräuschinformation in Bezug auf ein zu erwartendes zukünftiges Störgeräusch an einer vorausliegenden Fahrzeugposition ermittelt und eine entsprechende Geräuschunterdrückung vorbereitet, wobei zum Einsparen von Energie die Geräuschunterdrückung deaktiviert bleibt, wenn keine vorausliegende Geräuschquelle erkannt wird.From the DE 10 2020 104 301 A1 a noise suppression unit for a motor vehicle is known, which determines noise information in relation to an expected future noise at a vehicle position ahead and prepares a corresponding noise suppression, the noise suppression remaining deactivated to save energy if no noise source ahead is detected.

Aus der DE 10 2005 009 070 A1 ist ein Verfahren zum Verbessern der Schallwiedergabe über Lautsprecher in störgeräusch-belasteten Räumen bekannt, insbesondere in der Fahrgastzelle eines Kraftfahrzeugs, bei dem der Amplituden-Frequenzgang eines über Lautsprecher abgestrahlten Audio-Netzsignals als Funktion des Störgeräusches verändert wird, um Verdeckungseffekte des Störgeräusches in Bezug auf das über Lautsprecher abgestrahlte Audio-Nutzsignal auszugleichen.From the DE 10 2005 009 070 A1 a method for improving sound reproduction via loudspeakers in rooms subject to noise is known, in particular in the passenger compartment of a motor vehicle, in which the amplitude-frequency response of an audio network signal emitted via loudspeakers is changed as a function of the noise in order to mask the effects of the noise in relation to to compensate for the useful audio signal emitted via loudspeakers.

Aus der DE 10 2020 107 775 A1 ist ein Verfahren zur Erkennung und Interpretation akustischer Signale und Ereignisse im Fahrzeugaußen- oder Innenraum bekannt. Das Verfahren weist ein Erfassen akustischer Informationen in einem Umfeld des Fahrzeugs auf. Ferner weist das Verfahren ein Eingeben der Information in ein neuronales Netz, Klassifizieren der Information mittels des neuronalen Netzes und ein Ausgeben der klassifizierten Information zum Steuern des Fahrzeugs auf.From the DE 10 2020 107 775 A1 a method for detecting and interpreting acoustic signals and events in the vehicle exterior or interior is known. The method includes detecting acoustic information in an environment of the vehicle. The method further comprises inputting the information into a neural network, classifying the information using the neural network and outputting the classified information to control the vehicle.

Aus der EP 1 808 853 B1 ist eine Beschallungsanlage mit einem ersten Audioeingang für Nutzsignale, mit einem zweiten Audioeingang für Störsignale, mit einem Audioausgang für modifizierte Nutzsignale und mit einer Abgleichvorrichtung, die programm- und/oder schaltungstechnisch für den Abgleich der Nutzsignale mit den Störsignalen ausgebildet ist, bekannt, so dass die modifizierten Nutzsignale erzeugbar sind und/oder erzeugt werden, sowie ein entsprechendes Verfahren und Computerprogramm.From the EP 1 808 853 B1 a public address system is known with a first audio input for useful signals, with a second audio input for interference signals, with an audio output for modified useful signals and with a balancing device, which is designed in terms of program and/or circuitry to compare the useful signals with the interference signals, so that the modified useful signals can be generated and/or are generated, as well as a corresponding method and computer program.

Das Anwenden einer Geräuschkompensation mittels des phaseninversen Kompensationssignals einer ANC-Einheit (Acoustic Noise Cancelling) ist technisch dahingehend aufwändig, als das ein zeitlicher Verlauf des Geräuschs am jeweiligen Ohr des Benutzers geschätzt werden muss und ein phaseninverses Kompensationssignal in Echtzeit erzeugt werden muss, das an dem Ohr zum selben Zeitpunkt wie das Geräusch eintrifft, um den Kompensationseffekt zu erhalten. Schätzfehler beim Schätzen des zeitlichen Signals des Geräuschs und/oder eine Bewegung des Kopfes des Benutzers führen zu Kompensationsfehlern und damit zu hörbaren Artefakten, die vom Benutzer als störend empfunden werden können.Applying noise compensation using the phase-inverse compensation signal of an ANC unit (Acoustic Noise Canceling) is technically complex in that a time course of the noise must be estimated at the user's respective ear and a phase-inverse compensation signal must be generated in real time, which is transmitted to the user's ear ear at the same time as the sound arrives to obtain the compensation effect. Estimation errors when estimating the temporal signal of the noise and/or a movement of the user's head lead to compensation errors and thus to audible artifacts that can be perceived as disturbing by the user.

Der Erfindung liegt die Aufgabe zugrunde, in einem Kraftfahrzeug in der eingangs beschriebenen Art eine Kompensation eines Geräuschs dahingehend zu bewirken, dass das Geräusch beim Anhören eines Nutzsignals, beispielsweise einer Radiosendung und/oder eines Telefonats, als weniger störend empfunden wird.The invention is based on the object of compensating for a noise in a motor vehicle in the manner described at the outset so that the noise is perceived as less disturbing when listening to a useful signal, for example a radio broadcast and/or a telephone call.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.The task is solved by the subject matter of the independent patent claims. Advantageous further developments of the invention are described in the dependent claims, the following description and the figures.

Der Kern dieser Idee besteht darin, eine additive Rauschintegration zu verwenden, d.h. eine Manipulation des Nutzsignals, so dass das Rauschsignal in das Nutzsignal eingebettet und weitgehend unhörbar wird oder sich mit dem manipulierten Nutzsignal ergänzt. Zur Umsetzung dieser Lösung kann Deep-Learning verwendet werden, falls eine manuelle Modellierung zu komplex erscheint.The core of this idea is to use additive noise integration, i.e. a manipulation of the useful signal so that the noise signal is embedded in the useful signal and becomes largely inaudible or complements the manipulated useful signal. Deep learning can be used to implement this solution if manual modeling seems too complex.

Als eine Lösung umfasst die Erfindung ein Verfahren zum Betreiben einer Audiowiedergabevorrichtung in einem Kraftfahrzeug. Eine solche Audiowiedergabevorrichtung kann, wie eingangs beschrieben, durch eine Musikanlage realisiert sein, wie sie beispielsweise als Bestandteil eines Infotainment-Systems des Kraftfahrzeugs vorgesehen sein kann. Die Audiowiedergabevorrichtung kann einen Ausgabeschall als Stereosignal oder allgemein als mehrkanaliges Audiosignal oder als Monosignal ausgeben. Die Audiowiedergabevorrichtung kann hierzu einen oder mehrere Lautsprecher, allgemein eine Lautsprecheranordnung, aufweisen. Die Position der Ohren des Hörers oder Benutzers kann unbekannt bleiben.As a solution, the invention includes a method for operating an audio playback device in a motor vehicle. Such an audio playback device can, as described above, be implemented by a music system, such as can be provided, for example, as part of an infotainment system of the motor vehicle. The audio reproduction device can output an output sound as a stereo signal or generally as a multi-channel audio signal or as a mono signal. For this purpose, the audio playback device can have one or more loudspeakers, generally a loudspeaker arrangement. The position of the listener's or user's ears may remain unknown.

Die Erfindung geht davon aus, dass beim Durchführen des Verfahrens die Audiowiedergabevorrichtung in Betrieb ist, das heißt dass durch die Audiowiedergabevorrichtung durch Ansteuern der Lautsprecheranordnung des Kraftfahrzeugs ein Ausgabesignal in einem Innenraum des Kraftfahrzeugs als Ausgabeschall an einen Benutzer oder mehrere Benutzer ausgegeben wird. Das Ausgabesignal kann beispielsweise Musik und/oder einen Sprecher und/oder Sänger enthalten, also allgemein ein Nutzsignal, das dem Benutzer eine Information, beispielsweise Musik und/oder Nachrichten und/oder ein Hörbuch und/oder Sprache, vermittelt.The invention assumes that when the method is carried out, the audio playback device is in operation, that is to say that an output signal is output as an output sound to a user or several users in an interior of the motor vehicle by the audio playback device by controlling the loudspeaker arrangement of the motor vehicle. The output signal can, for example, contain music and/or a speaker and/or singer, i.e. generally a useful signal that conveys information to the user, for example music and/or news and/or an audio book and/or speech.

Durch eine Kompensationseinrichtung der Audiowiedergabevorrichtung wird ein Geräuschklassesignal ermittelt oder erzeugt, das eine aus mehreren vorgegebenen Geräuschklassen eines in dem Innenraum vorhandenen und/oder erwarteten Geräuschs beschreibt. Das Geräusch ist von dem Nutzsignal verschieden und/oder stammt nicht von der Lautsprecheranordnung, sondern z.B. von einem Straßenverkehr in der Umgebung des Kraftfahrzeugs. Das Geräuschklassesignal ist insbesondere kein Mikrofonsignal oder digitalisiertes Audiosignal, das einen zeitlichen Verlauf eines Schallpegels des Geräuschs wiedergibt. Stattdessen beschreibt das Geräuschklassesignal insbesondere lediglich eine Geräuschklasse des Geräuschs, beispielsweise eine der folgenden Geräuschklassen: „Abrollgeräusch und/oder Motorgeräusch und/oder Windgeräusch des eigenen Kraftfahrzeugs“, „Vorbeifahrendes Fremdfahrzeug“, „Vorbeifahrender Laster“, „Regenplätschern auf der Frontscheibe“, um nur Beispiele für Geräuschklassen zu nennen. Wie bereits ausgeführt, enthält das Ausgabesignal das Nutzsignal, das heißt, das Ausgabesignal wird aus dem Nutzsignal erzeugt, welches die dem Benutzer über den Ausgabeschall zu vermittelnde Information enthält. Das Nutzsignal kann aus einem Radio und/oder einem Medienstream und/oder einen Navigationssystem stammen.A compensation device of the audio playback device determines or generates a noise class signal that describes one of several predetermined noise classes of a noise present and/or expected in the interior. The noise is different from the useful signal and/or does not come from the loudspeaker arrangement, but rather, for example, from traffic in the area surrounding the motor vehicle. The noise class signal is in particular not a microphone signal or a digitized audio signal that reproduces a time course of a sound level of the noise. Instead, the noise class signal describes in particular only one noise class of the noise, for example one of the following noise classes: “rolling noise and/or engine noise and/or Wind noise from your own vehicle”, “another vehicle driving past”, “a truck driving past”, “rain splashing on the windscreen”, to name just a few examples of noise classes. As already stated, the output signal contains the useful signal, that is, the output signal is generated from the useful signal, which contains the information to be conveyed to the user via the output sound. The useful signal can come from a radio and/or a media stream and/or a navigation system.

An den Benutzer dringt also der Ausgabeschall mit der zu vermittelnden Information zusammen mit dem Geräusch, das beispielsweise von außerhalb des Kraftfahrzeugs in den Innenraum des Kraftfahrzeugs gelangt. Der Benutzer hört also das Ausgabesignal zeitgleich mit dem Geräusch.The output sound with the information to be conveyed reaches the user together with the noise that, for example, comes from outside the motor vehicle into the interior of the motor vehicle. The user therefore hears the output signal at the same time as the noise.

Durch die Kompensationseinrichtung wird beim Erzeugen des Ausgabesignals (aus welchem durch Ansteuern der Lautsprecheranordnung der Ausgabeschall im Innenraum erzeugt wird) eine Kompensationsfunktion angewendet. Die Kompensationsfunktion wird allerdings mittels des Geräuschklassesignals konfiguriert oder angepasst, das heißt, die Kompensationsfunktion ist parametrierbar oder anpassbar und wird gemäß dem Geräuschklassesignal an die jeweils vorliegende oder erkannte Geräuschklasse angepasst. Allgemein ist die Kompensationsfunktion ausgelegt, mittels des Verzerrungsmoduls und/oder Modulationsmoduls einen Frequenzgang des Nutzsignals zu verändern. Der Frequenzgang kann den Betragsgang und/oder Phasengang des Nutzsignals betreffen. Die Kompensationsfunktion enthält dazu ein Verzerrungsmodul, beispielsweise einen Filter und/oder eine Filterbank, um eine unterschiedliche relative Veränderung von Pegeln z.B. in Frequenzbändern und/oder Zeitabschnitten in dem Nutzsignal zu bewirken, sowie zusätzlich oder alternativ dazu ein Modulationsmodul, um eine zeitliche oder eine spektrale Modulation des Nutzsignals zu bewirken, also eine Verschiebung.The compensation device applies a compensation function when generating the output signal (from which the output sound is generated in the interior by controlling the loudspeaker arrangement). However, the compensation function is configured or adjusted using the noise class signal, that is, the compensation function can be parameterized or adjusted and is adapted to the existing or detected noise class in accordance with the noise class signal. In general, the compensation function is designed to change a frequency response of the useful signal by means of the distortion module and/or modulation module. The frequency response can relate to the magnitude response and/or phase response of the useful signal. For this purpose, the compensation function contains a distortion module, for example a filter and/or a filter bank, in order to effect a different relative change in levels, for example in frequency bands and/or time periods in the useful signal, as well as additionally or alternatively a modulation module in order to achieve a temporal or a spectral To cause modulation of the useful signal, i.e. a shift.

Durch das Konfigurieren der Kompensationsfunktion wird die Kompensationsfunktion für das Verändern des Nutzsignals abhängig von einem durch das Geräuschklassesignal beschriebenen Frequenzgang des Geräuschs eingestellt. Anhand der Geräuschklasse gemäß Geräuschklassesignal ist also bekannt, welchen Frequenzgang das Geräusch aufweist, das der Benutzer während des Hörens des Ausgabeschalls auch im Innenraum des Kraftfahrzeugs ebenfalls hören wird. Deshalb wird das Nutzsignal entsprechend vorbereitet oder adaptiert, damit es zusammen mit dem Geräusch beim Benutzer einen Höreindruck vermittelt, der dem Benutzer eine geringere Höranstrengung und/oder einen angenehmeren oder verbesserten Höreindruck vermitteln soll (im vergleicht zum unveränderten Nutzsignal). Hierzu wird durch Anwenden der konfigurierten Kompensationsfunktion auf das Nutzsignal dieses zu dem Ausgabesignal verändert oder anders gesagt aus dem Nutzsignal das beschriebene Ausgabesignal erzeugt, mittels welchem dann durch Ansteuern der Lautsprecheranordnung der Ausgabeschall im Innenraum des Kraftfahrzeugs erzeugt wird. Das Ausgabesignal weist dabei in der beschriebenen Weise im Unterschied zum originalen Nutzsignal eine Veränderung des Frequenzgangs des Nutzsignals auf. Diese Veränderung ist dabei abhängig oder als Funktion des Geräuschklassesignals eingestellt, sodass ein Frequenzgang des Geräuschs in der Kompensationsfunktion berücksichtigt oder eingestellt ist.By configuring the compensation function, the compensation function for changing the useful signal is set depending on a frequency response of the noise described by the noise class signal. Based on the noise class according to the noise class signal, it is known which frequency response the noise has that the user will also hear while listening to the output sound in the interior of the motor vehicle. Therefore, the useful signal is prepared or adapted accordingly so that, together with the noise, it conveys to the user a hearing impression which is intended to give the user less listening effort and/or a more pleasant or improved hearing impression (compared to the unchanged useful signal). For this purpose, by applying the configured compensation function to the useful signal, this is changed to the output signal or, in other words, the output signal described is generated from the useful signal, by means of which the output sound is then generated in the interior of the motor vehicle by controlling the loudspeaker arrangement. In contrast to the original useful signal, the output signal has a change in the frequency response of the useful signal in the manner described. This change is dependent on or set as a function of the noise class signal, so that a frequency response of the noise is taken into account or set in the compensation function.

Durch die Erfindung ergibt sich der Vorteil, dass kein phaseninverses Kompensationssignal notwendig ist, das sich am Ohr des Benutzers zeitlich phasengenau mit dem Geräusch überlagern muss, um den eingangs beschriebenen Kompensationseffekt auf Grundlage von ANC zu bewirken. Vielmehr wird der Frequenzgang des Nutzsignals derart an das Geräusch angepasst, dass sich die Frequenzgänge des Nutzsignals und des Geräuschs zu einem Gesamthöreindruck ergänzen. Der Frequenzgang des Nutzsignals wird dazu an den Frequenzgang des Geräuschs mittels der konfigurierbaren Kompensationsfunktion in Bezug auf Verzerrung und/oder Modulation angepasst. Somit wird eine Möglichkeit geschaffen, das Geräusch in den Höreindruck zu integrieren, indem das Nutzsignal in Frequenzbändern, in welchen das Geräusch vorhanden ist, angepasst oder verändert wird.The invention has the advantage that no phase-inverse compensation signal is necessary, which has to be superimposed on the user's ear in exactly the same phase as the noise in order to bring about the compensation effect described above based on ANC. Rather, the frequency response of the useful signal is adapted to the noise in such a way that the frequency responses of the useful signal and the noise complement each other to form an overall auditory impression. The frequency response of the useful signal is adapted to the frequency response of the noise using the configurable compensation function with regard to distortion and/or modulation. This creates a possibility of integrating the noise into the auditory impression by adapting or changing the useful signal in frequency bands in which the noise is present.

Gemäß einem Aspekt der Erfindung weist die beschriebene Kompensationseinrichtung mit ihrem Kompensationsfilter auch ein Modell des maschinellen Lernens auf. Dieses Modell kann beispielsweise auf der Grundlage eines künstlichen neuronalen Netzwerks und/oder eines Entscheidungsbaums (Decision-Tree) realisiert sein. Das Modell ist darauf trainiert, durch Erzeugen und Ausgeben von Konfigurationswerten an die Kompensationsfunktion (also Konfigurationswerten für das Verzerrungsmodul und/oder das Modulationsmodul) mittels dieser ein Ausgabesignal zu erzeugen, dessen Frequenzgang bei einer sich im Innenraum ergebenden Überlagerung mit dem Frequenzgang des Geräuschs einen überlagerten Gesamtfrequenzgang ergibt, der einem vorgegebenen statistischen Modell eines Referenz-Nutzsignals entspricht. Mit anderen Worten ist ein statistisches Modell vorgegeben, das beschreibt, wie ein Nutzsignal (im Unterschied zu einem Geräusch) einer vorbestimmten Nutzsignalklasse (z.B. Gesang oder Sprache oder Musik) im statistischen Mittel oder als statistische Beschreibung aussehen soll. Das tatsächlich auszugebende Nutzsignal weist ohne Geräusch einen Frequenzgang auf, der dem statistischen Modell entspricht. Wird nun allerdings im Innenraum der Kraftfahrzeugs der Frequenzgang des Geräuschs überlagert, so ergibt sich ohne Anwendung der Kompensationsfunktion ein Gesamtfrequenzgang, der in seiner Form und/oder seinem zeitlichen Verlauf durch das statistische Modell nicht als Referenz-Nutzsignal erkannt oder bestätigt oder klassifiziert wird, weil der Rauschanteil des Geräuschs in dem Gesamtfrequenzgang eine Abweichung von dem statistischen Modell des Referenz-Nutzsignals ergibt. Wird nun aber das Nutzsignal mittels des Kompensationsfilter verändert oder verformt, so kann hierdurch beispielsweise durch Dämpfen von Frequenzanteilen des Nutzsignals erreicht werden, dass „Platz geschaffen wird“, d.h. durch die anschließende Überlagerung mit dem Geräusch sich ein Gesamtfrequenzgang ergibt, dessen Form und/oder zeitlicher Verlauf trotz Gegenwart oder Anwesenheit des Geräuschs dem statistischen Modell eines Referenz-Nutzsignals entspricht. Es muss nicht demselben Referenz-Nutzsignal entspreche, wie das ursprüngliche Nutzsignal, sondern das Modell muss lediglich signalisieren oder bestätigen können, dass es überhaupt als Referenz-Nutzsignal klassifiziert wird. Das Geräusch wird also derart in das Nutzsignal „eingepasst“ oder „eingefügt“, dass der Gesamtfrequenzgang der Überlagerung wieder dem statistischen Modell eines Referenz-Nutzsignals entspricht. Ein solches statistisches Modell kann beispielsweise auf der Grundlage eines künstlichen neuronalen Netzwerks und/oder einer Gauß-Kernel-Funktion implementiert werden. Das Konfigurieren oder Trainieren des statistischen Modells kann mit „geräuschfreien“ Audioaufnahmen von Referenz-Nutzsignalen erfolgen. Auch die Nutzsignalklasse kann durch einen Klassifizierer in Form z.B. eines künstlichen neuronalen Netzes und/oder Decision-Trees aus dem Nutzsignal geschätzt werden und dem Modell des Maschinellen Lernens zum Schätzen der Konfigurationswerte bereitgestellt werden. Es kann für solche Klassifizierer auf den eingangs genannten Stand der Technik zurückgegriffen werden.According to one aspect of the invention, the compensation device described also has a machine learning model with its compensation filter. This model can be implemented, for example, on the basis of an artificial neural network and/or a decision tree. The model is trained to generate and output configuration values to the compensation function (i.e. configuration values for the distortion module and/or the modulation module) using this to generate an output signal whose frequency response is superimposed on the frequency response of the noise when superposed in the interior Overall frequency response results that corresponds to a predetermined statistical model of a reference useful signal. In other words, a statistical model is specified that describes what a useful signal (in contrast to a noise) of a predetermined useful signal class (e.g. singing or speech or music) should look like in statistical average or as a statistical description. The actual useful signal to be output has a frequency without noise which corresponds to the statistical model. However, if the frequency response of the noise is now superimposed in the interior of the motor vehicle, then without using the compensation function, an overall frequency response results which, in terms of its shape and/or its time course, is not recognized or confirmed or classified as a reference useful signal by the statistical model, because the noise component of the noise in the overall frequency response results in a deviation from the statistical model of the reference useful signal. However, if the useful signal is now changed or deformed by means of the compensation filter, it can be achieved, for example by attenuating frequency components of the useful signal, that “space is created”, that is, the subsequent superimposition with the noise results in an overall frequency response whose shape and/or time course despite the presence or presence of the noise corresponds to the statistical model of a reference useful signal. It does not have to correspond to the same reference useful signal as the original useful signal, but the model only needs to be able to signal or confirm that it is classified as a reference useful signal at all. The noise is “fitted” or “inserted” into the useful signal in such a way that the overall frequency response of the superposition again corresponds to the statistical model of a reference useful signal. Such a statistical model can be implemented, for example, based on an artificial neural network and/or a Gaussian kernel function. Configuring or training the statistical model can be done with “noise-free” audio recordings of reference useful signals. The useful signal class can also be estimated from the useful signal by a classifier in the form of, for example, an artificial neural network and/or decision trees and provided to the machine learning model for estimating the configuration values. For such classifiers, the prior art mentioned at the beginning can be used.

Gemäß einem weiteren Aspekt der Erfindung weist die Kompensationseinrichtung als Modell des maschinellen Lernens ein GAN (Generative Adversarial Network) auf. Ein solches GAN weist zwei künstliche neuronale Netzwerke auf, nämlich ein Diskriminator-Netzwerk und ein Generator-Netzwerk, die während eines Trainings oder mittels eines Trainings des GAN gegenseitig einen Trainingsfortschritt bewirken, wie es an sich aus dem Stand der Technik bekannt ist. Vorliegend wird dabei das GAN in folgender Weise betrieben oder bereitgestellt. Das Diskriminator-Netzwerk ist dazu trainiert, eine vorbestimmte Menge an Referenz-Nutzsignalen von davon verschiedenen Signalen, beispielsweise Geräuschen, zu unterscheiden. Ein Referenz-Nutzsignal ist in der beschriebenen Weise insbesondere jeweils ein unverrauschtes Nutzsignal einer vorgegebenen Nutzsignal-Klasse, wie beispielsweise Musik und/oder Sprachansagen und/oder Gesang. Das Generator-Netzwerk ist dazu trainiert, in Abhängigkeit von dem Geräuschklassesignal (und optional der Nutzsignalklasse des Nutzsignals) die Kompensationsfunktion anzusteuern, also Konfigurationswerte für die Kompensationsfunktion zu erzeugen. Das Trainingsziel ist dabei, dass das Generator-Netzwerk solche Konfigurationswerte erzeugt, dass mittels der Kompensationsfunktion (bei Anwenden auf das Nutzsignal) durch das Verändern des Nutzsignals das resultierende Ausgabesignal derartig erzeugt wird, dass nach einem Addieren des Geräuschs auf das Ausgabesignal (wie es der Schallüberlagerung im Innenraum des Kraftfahrzeugs für den Ausgabeschall und den Schall des Geräuschs entspricht) ein Summensignal ergibt (also der Gesamtschall am Ohr des Benutzers), welches dazu eingerichtet ist, von dem Diskriminator-Netzwerk als zu der Menge der Referenz-Nutzsignale gehörig klassifiziert zu werden. Somit wird also das Diskriminator-Netzwerk als das beschriebene statistische Modell eines Referenz-Nutzsignals verwendet. Das Diskriminator-Netzwerk empfängt also das Summensignal, wie es für das Training des GAN beispielsweise mittels einer Prozessorschaltung berechnet werden kann, indem die Konfigurationswerte aus dem Generator-Netzwerk dazu verwendet werden, die Kompensationsfunktion zu konfigurieren, um anschließend die Kompensationsfunktion auf ein Nutzsignal anzuwenden, dem dann anschließend nach seiner Veränderung, also dem veränderten Nutzsignal, ein Audiosignal eines Geräuschs überlagert oder aufsummiert wird, sodass mittels des resultierenden Summensignals durch das Diskriminator-Netzwerk eine Klassifikation in Bezug auf die Zugehörigkeit dieses Summensignals zu der Menge der Referenz-Nutzsignale berechnet werden kann. Signalisiert das Diskriminator-Netzwerk, dass es ein Referenz-Nutzsignal erkannt hat, so entspricht dies in der obigen Beschreibung, dass das statistische Modell des Referenz-Nutzsignals bestätigt, dass das Summensignal zu dem statistischen Modell gehört oder als Referenz-Nutzsignal angesehen werden kann.According to a further aspect of the invention, the compensation device has a GAN (Generative Adversarial Network) as a machine learning model. Such a GAN has two artificial neural networks, namely a discriminator network and a generator network, which mutually effect training progress during training or by means of training of the GAN, as is known from the prior art. In the present case, the GAN is operated or provided in the following manner. The discriminator network is trained to distinguish a predetermined set of reference useful signals from different signals, for example noises. In the manner described, a reference useful signal is in particular a noiseless useful signal of a predetermined useful signal class, such as music and/or voice announcements and/or singing. The generator network is trained to control the compensation function depending on the noise class signal (and optionally the useful signal class of the useful signal), i.e. to generate configuration values for the compensation function. The training goal is that the generator network generates such configuration values that the resulting output signal is generated by means of the compensation function (when applied to the useful signal) by changing the useful signal in such a way that after adding the noise to the output signal (as the Sound superposition in the interior of the motor vehicle for the output sound and the sound of the noise corresponds) results in a sum signal (i.e. the total sound at the user's ear), which is set up to be classified by the discriminator network as belonging to the set of reference useful signals . The discriminator network is therefore used as the described statistical model of a reference useful signal. The discriminator network therefore receives the sum signal, as can be calculated for training the GAN, for example using a processor circuit, by using the configuration values from the generator network to configure the compensation function in order to then apply the compensation function to a useful signal, which then, after its change, i.e. the changed useful signal, an audio signal of a noise is superimposed or summed up, so that a classification can be calculated by the discriminator network using the resulting sum signal in relation to the membership of this sum signal to the set of reference useful signals . If the discriminator network signals that it has recognized a reference useful signal, this corresponds in the above description to the statistical model of the reference useful signal confirming that the sum signal belongs to the statistical model or can be viewed as a reference useful signal.

Das Diskriminator-Netzwerk oder allgemein das statistische Modell modelliert oder simuliert somit einen Benutzer dahingehend, ob der Benutzer das Summensignal als Nutzsignal bewerten oder klassifizieren würde. Das statistische Modell und/oder das Diskriminator-Netzwerk kann beispielsweise als Input Merkmalssignale nutzen, die beispielsweise auf cepstralen Koeffizienten und/oder Koeffizienten einer Hauptkomponentenanalyse (PCA - Principal Component Analysis) beruhen, die jeweils als Vektor aus Signalabschnitten des Summensignal bzw. der Trainingssignale berechnet werden können, wie aus dem Stand der Technik bekannt. Ein solcher Signalschnitt kann beispielsweise eine Länge in einem Bereich von 10 ms bis 100 ms aufweisen und die in diesem Zeitraum im Summensignal beziehungsweise Nutzsignal sich ergebenden Abtastwerte zusammenfassen. Eine Repräsentation oder Klassifikation eines Audiosignals mittels eines künstlichen neuronalen Netzwerks ist, wie bereits erwähnt, in dem eingangs beschriebenen Stand der Technik verfügbar.The discriminator network or generally the statistical model thus models or simulates a user as to whether the user would evaluate or classify the sum signal as a useful signal. The statistical model and/or the discriminator network can, for example, use feature signals as input, which are based, for example, on cepstral coefficients and/or coefficients of a principal component analysis (PCA), which are each calculated as a vector from signal sections of the sum signal or the training signals can be, as known from the prior art. Such a signal cut can, for example, have a length in a range of 10 ms to 100 ms and summarize the sample values resulting in the sum signal or useful signal during this period. A representation or classification of an audio signal using an artificial neural network is, as already mentioned, available in the prior art described at the beginning.

Die Erfindung umfasst auch Weiterentwicklungen, durch die sich zusätzliche Vorteile ergeben.The invention also includes further developments that result in additional advantages.

Eine Weiterentwicklung betrifft das Trainieren des GANs, wobei vorgesehen ist, dass eine Gesamtmenge an Referenz-Nutzsignalen bereitgestellt wird, also beispielsweise Nutzsignale unterschiedlicher Nutzsignalklassen (betreffend Musik und/oder Radiosendungen und/oder Hörbücher und/oder Gesang, um nur beispielsweise zu nennen). Pro Nutzsignalklasse können mehrere Referenz-Nutzsignale bereitgestellt werden. Das Diskriminator-Netzwerk wird mit einigen oder allen der Referenz-Nutzsignale trainiert und zwar dahingehend, dass diese als zur Gesamtmenge oder zu den Referenz-Nutzsignalen gehörig wiedererkannt werden. Hierzu kann auch vorgesehen sein, zumindest ein nicht zur Gesamtmenge gehöriges Signal im Rahmen des Trainings ebenfalls zu verwenden, beispielsweise zumindest ein Referenz-Geräusch zumindest einer Geräuschklasse und/oder zumindest ein verrauschtes Referenz-Nutzsignal. Das Training kann in an sich bekannter Weise beispielsweise auf der Grundlage des an sich bekannten Back-Propagation-Algorithmus erfolgen.A further development concerns the training of the GAN, whereby it is provided that a total amount of reference useful signals is provided, for example useful signals of different useful signal classes (concerning music and/or radio broadcasts and/or audio books and/or singing, to name but one example). Several reference useful signals can be provided per useful signal class. The discriminator network is trained with some or all of the reference useful signals in such a way that they are recognized as belonging to the total set or to the reference useful signals. For this purpose, it can also be provided that at least one signal that is not part of the total quantity is also used as part of the training, for example at least one reference noise of at least one noise class and/or at least one noisy reference useful signal. The training can be carried out in a manner known per se, for example on the basis of the back propagation algorithm known per se.

Das Generator-Netzwerk wird dazu trainiert, die Kompensationsfunktion durch Einstellen oder Vorgeben von Konfigurationswerten anzusteuern, also Konfigurationswerte für die Kompensationsfunktion vorzugeben, sodass die Kompensationsfunktion für einige oder alle der Referenz-Nutzsignale bei Anwendung der konfigurierten Kompensationsfunktion auf das jeweilige Referenz-Nutzsignal jeweils ein Ausgabesignal erzeugt, das jeweils mit einem Audiosignal eines Geräuschs kombiniert oder überlagert dann wiederum das beschriebene Summensignal ergibt, und dieses Summensignal wird dem Diskriminator-Netzwerk zur Klassifikation bereitgestellt, wobei das Trainingsziel für das Generator-Netzwerk ist, dass das mit dem Audiosignal des Geräuschs kombinierte veränderte Referenz-Nutzsignal von dem Diskriminator-Netzwerk als zur Gesamtmenge der Referenz-Nutzsignale gehörig erkannt wird, also als eine Form eines Referenz-Nutzsignals klassifiziert wird. Die Gewichtungswerte für die künstlichen neuronalen Netzwerke des Diskriminator-Netzwerks und des Generator-Netzwerks können dabei gegenseitig zwischen den beiden Netzwerken mittels einer entsprechenden Kostenfunktion für das gemeinsame Training im Rahmen eines GAN-Algorithmus in an sich bekannter Weise berechnet werden. Die Konfigurationswerte für die Kompensationsfunktion stellen dabei Werte an der Ausgabeschicht des Generator-Netzwerks dar, die dann in der Kompensationsfunktion eingesetzt werden oder verwendet werde und aus der konfigurierten Kompensationsfunktion ein Filter oder eine Veränderungsfunktion zum Anwenden auf das jeweilige Referenz-Nutzsignal ergeben.The generator network is trained to control the compensation function by setting or specifying configuration values, i.e. to specify configuration values for the compensation function, so that the compensation function produces an output signal for some or all of the reference useful signals when the configured compensation function is applied to the respective reference useful signal generated, which is combined or superimposed with an audio signal of a noise and then in turn results in the sum signal described, and this sum signal is provided to the discriminator network for classification, the training goal for the generator network being that the combined with the audio signal of the noise changes Reference useful signal is recognized by the discriminator network as belonging to the total amount of reference useful signals, i.e. is classified as a form of a reference useful signal. The weighting values for the artificial neural networks of the discriminator network and the generator network can be calculated mutually between the two networks using a corresponding cost function for joint training within the framework of a GAN algorithm in a manner known per se. The configuration values for the compensation function represent values at the output layer of the generator network, which are then used or used in the compensation function and result in a filter or a change function from the configured compensation function for application to the respective reference useful signal.

Gemäß einer Weiterentwicklung kann hierzu die Kompensationsfunktion durch zumindest ein mittels der Konfigurationswerte konfigurierbares Filters bereitgestellt sein. Beispielsweise kann die Kompensationsfunktion mittels zumindest einer Filterbank und/oder eines Modulators realisiert sein.According to a further development, the compensation function can be provided by at least one filter that can be configured using the configuration values. For example, the compensation function can be implemented using at least one filter bank and/or a modulator.

Gemäß einer Weiterentwicklung sieht die Kompensationsfunktion als mögliche Veränderungen des Nutzsignals zumindest eine Veränderung in einem oder einigen oder allen der folgenden Signaleigenschaften vor: eine Veränderung des Betragsgangs (also frequenzabhängiges Dämpfen oder Verstärken von Frequenzbändern des Nutzsignals), eine Einseitenbandmodulation (also Verschieben von Frequenzinformationen entlang der Frequenz), eine Dämpfung von Frequenzbändern, in welchen das Geräusch Leistung aufweist (wie es beispielsweise mittels einer Filterbank möglich ist). Hierdurch sind Veränderungen ermöglicht, die es erlauben, in dem Nutzsignal „Platz“ zu schaffen, um das Geräusch einzufügen, ohne dass sich der Frequenzgang, insbesondere der Betragsgang, des Summensignals von dem Frequenzgang, insbesondere des Betragsgangs, des Nutzsignals verändert. Zusätzlich oder alternativ dazu kann das Nutzsignal im Frequenzbereich derart frequenzaufwärts oder frequenzabwärts verschoben werden, dass es in einem Frequenzband oder Frequenzbereich angeordnet wird, in welchem das Geräusch einen geringeren Pegel aufweist als in demjenigen Frequenzbereich, in dem das ursprüngliche Nutzsignal vorhanden war.According to a further development, the compensation function provides as possible changes to the useful signal at least a change in one or some or all of the following signal properties: a change in the magnitude response (i.e. frequency-dependent attenuation or amplification of frequency bands of the useful signal), a single-sideband modulation (i.e. shifting frequency information along the Frequency), an attenuation of frequency bands in which the noise has power (as is possible, for example, using a filter bank). This enables changes that make it possible to create “space” in the useful signal in order to insert the noise without the frequency response, in particular the absolute value response, of the sum signal changing from the frequency response, in particular the absolute value response, of the useful signal. Additionally or alternatively, the useful signal can be shifted up or down in frequency in the frequency range in such a way that it is arranged in a frequency band or frequency range in which the noise has a lower level than in the frequency range in which the original useful signal was present.

Die Kompensationsfunktion ist gemäß einer Weiterentwicklung insbesondere phasen-invariant ausgelegt, das heißt, sie ist nicht darauf angewiesen, einen exakten zeitlichen Verlauf des Geräuschs zu kennen, wie es dagegen bei dem eingangs beschriebenen ANC notwendig wäre. Hierzu kann die Geräuschklasse das Geräusch insbesondere durch zeitliche Mittelwerte und/oder einen Betragsgang beschreiben, anstelle eines Wellensignals.According to a further development, the compensation function is designed to be phase-invariant in particular, which means that it is not dependent on knowing an exact temporal progression of the noise, as would be necessary with the ANC described at the beginning. For this purpose, the noise class can describe the noise in particular by means of temporal average values and/or a magnitude response, instead of a wave signal.

Gemäß einer Weiterentwicklung wird die Geräuschklasse durch eine Schätzeinheit der Audiowiedergabevorrichtung erzeugt, die anhand zumindest eines Umgebungssignals mittels eines Geräuschklassifikators das Geräuschklassesignal aus mehreren vorgegebenen, möglichen Geräuschklassesignalen auswählt. Das Umgebungssignal beschreibt hierbei eine aktuelle Umgebung des Kraftfahrzeugs und/oder ein aktuelles und/oder ein sich anbahnendes Umgebungsereignis in der Umgebung des Kraftfahrzeugs. Aus dem jeweiligen aktuellen Signalwert des Umgebungssignals kann dann der Geräuschklassifikator ermitteln, welche Geräuschklasse in dem Innenraum zu erwarten ist. Der Geräuschklassifikator kann beispielsweise auf der Grundlage eines künstlichen neuronalen Netzwerks und/oder eines statistischen Schätzers, beispielsweise eines Gauß-Kernel-Schätzers und/oder eines SVN (Support Vector Machine) und/oder eines K-Means-Klassifikators implementiert sein, um den aktuellen Signalwert auf eine Geräuschklasse zu schätzen. Das Geräuschklassesignal oder die darin angegebene Geräuschklasse fasst also das aktuelle Geräusch als eine Klassenangabe zusammen, beispielsweise in der beschriebenen Weise „Regengeräusch“, „Verkehrslärm“, um nur Beispiele zu nennen.According to a further development, the noise class is generated by an estimation unit of the audio playback device, which uses at least one environmental signal using a noise classifier to determine the noise class signal from several predetermined, possible noises class signals. The environmental signal here describes a current environment of the motor vehicle and/or a current and/or an impending environmental event in the surroundings of the motor vehicle. From the respective current signal value of the ambient signal, the noise classifier can then determine which noise class is to be expected in the interior. The noise classifier can be implemented, for example, based on an artificial neural network and/or a statistical estimator, for example a Gaussian kernel estimator and/or an SVN (Support Vector Machine) and/or a K-means classifier, in order to determine the current Estimate signal value to a noise class. The noise class signal or the noise class specified therein summarizes the current noise as a class information, for example in the manner described “rain noise”, “traffic noise”, to name just examples.

Das Umgebungssignal, auf dessen Grundlage die Geräuschklasse durch den Geräuschklassifikator geschätzt wird, ist gemäß einer Weiterentwicklung ein Bildsignal einer Umfeldkamera des Kraftfahrzeugs. Mit anderen Worten kann zumindest ein Umgebungsobjekt in der Umgebung auf Grundlage des Bildsignals erkannt werden und ein dem Objekt zugeordnetes Geräusch als Geräuschklasse angegeben werden, beispielsweise das Geräusch eines Lastwagens, wenn in dem Bildsignal ein an dem Kraftfahrzeug vorbeifahrender Lastwagen erkannt wird. Zusätzlich oder alternativ dazu kann als Umgebungssignal ein Geopositionssignal eines fahrzeugeigenen Empfängers eines Positionssignals eines GNSS (Global Navigation Satellite System), insbesondere des GPS (Global Positioning System), genutzt werden. Anhand des Geopositionssignals und einer Straßenkarte und/oder Umgebungskarte kann ermittelt werden, in welcher Umgebung sich das Kraftfahrzeug befindet, und es kann eine der Umgebung zugeordnete Geräuschklasse signalisiert werden. Zusätzlich oder alternativ dazu kann ein Mikrofonsignal eines Mikrofons des Kraftfahrzeugs als Umgebungssignal genutzt werden, wobei der Geräuschklassifikator anhand des Mikrofonsignals die Geräuschklasse in der eingangs beschriebenen Weise schätzen kann.According to a further development, the environmental signal, on the basis of which the noise class is estimated by the noise classifier, is an image signal from an environmental camera of the motor vehicle. In other words, at least one environmental object in the environment can be recognized based on the image signal and a noise associated with the object can be specified as a noise class, for example the noise of a truck if a truck driving past the motor vehicle is recognized in the image signal. Additionally or alternatively, a geoposition signal from a vehicle's own receiver of a position signal from a GNSS (Global Navigation Satellite System), in particular the GPS (Global Positioning System), can be used as an environmental signal. Using the geoposition signal and a road map and/or map of the surroundings, it is possible to determine the surroundings in which the motor vehicle is located, and a noise class assigned to the surroundings can be signaled. Additionally or alternatively, a microphone signal from a microphone of the motor vehicle can be used as an environmental signal, with the noise classifier being able to estimate the noise class in the manner described above based on the microphone signal.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise with the method and that are not explicitly described here, it can be provided that an error message and/or a request to enter user feedback and/or a standard setting and/or a predetermined one can be issued according to the method Initial state is set.

Um in dem Kraftfahrzeug in dessen Innenraum ein Geräusch in der beschriebenen Weise mit einem Nutzsignal kombinieren zu können, sieht die Erfindung als weitere Lösung eine Audiowiedergabevorrichtung für ein Kraftfahrzeug vor, wobei die Audiowiedergabevorrichtung eine Prozessorschaltung aufweist, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung darstellen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein. Die Prozessorschaltung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen.In order to be able to combine a noise in the interior of the motor vehicle with a useful signal in the manner described, the invention provides as a further solution an audio playback device for a motor vehicle, the audio playback device having a processor circuit which is set up to provide an embodiment of the method according to the invention to carry out. The processor circuit can represent a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor circuit can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor circuit can have program code that is designed to carry out the embodiment of the method according to the invention when executed by the processor circuit. The program code can be stored in a data memory of the processor circuit. The processor circuit can, for example, have at least one circuit board and/or at least one SoC (System on Chip).

Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Programmcode, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nichtflüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.As a further solution, the invention also includes a computer-readable storage medium comprising program code which, when executed by a processor circuit of a computer or a computer network, causes it to carry out an embodiment of the method according to the invention. The storage medium can, for example, be provided at least partially as a non-volatile data storage (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data storage (e.g. as a RAM - random access memory). The storage medium can be arranged in the processor circuit in its data memory. The storage medium can also be operated on the Internet as a so-called app store server, for example. The computer or computer network can provide a processor circuit with at least one microprocessor. The program code can be provided as binary code or assembler and/or as source code of a programming language (e.g. C) and/or as a program script (e.g. Python).

Als weitere Lösung umfasst die Erfindung ein Kraftfahrzeug aufweisend eine Lautsprecheranordnung zum Ausgeben eines Ausgabeschalls in einen Innenraum des Kraftfahrzeugs, also insbesondere in den Fahrgastraum, sowie aufweisend eine Ausführungsform der erfindungsgemäßen Audiowiedergabevorrichtung. Die Lautsprecheranordnung kann in an sich bekannter Weise diejenige einer Klangausgabe oder einer mehrkanaligen Musikwiedergabe sein, also auf der Grundlage zumindest eines Lautsprechers, insbesondere mehrerer Lautsprecher, sowie eines zugehörigen oder zugeordneten Audioverstärkers für die Lautsprecher beruhen. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.As a further solution, the invention includes a motor vehicle having a loudspeaker arrangement for emitting an output sound into an interior of the motor vehicle, i.e. in particular into the passenger compartment, and having an embodiment of the audio playback device according to the invention. The loudspeaker arrangement can be that of a sound in a manner known per se delivery or multi-channel music playback, i.e. based on at least one loudspeaker, in particular several loudspeakers, as well as an associated or assigned audio amplifier for the loudspeakers. The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combinations of the features of the described embodiments. The invention therefore also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments have not been described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs;
2 ein Diagramm zur Veranschaulichung eines Trainings einer Kompensationseinrichtung einer Audiowiedergabevorrichtung des Kraftfahrzeugs von 1;
3 ein Diagramm mit schematisierten Verläufen von Frequenzgängen zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens;
4 ein Diagramm mit schematisierten Verläufen von Frequenzgängen gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens.

Examples of embodiments of the invention are described below. This shows:

1 a schematic representation of an embodiment of the motor vehicle according to the invention;
2 a diagram to illustrate training of a compensation device of an audio playback device of the motor vehicle 1 ;
3 a diagram with schematic curves of frequency responses to illustrate an embodiment of the method according to the invention;
4 a diagram with schematic curves of frequency responses according to a further embodiment of the method according to the invention.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that can be viewed independently of one another and which also further develop the invention independently of one another. Therefore, the disclosure is intended to include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference numerals designate functionally identical elements.

1 zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen, handeln kann. In dem Kraftfahrzeug 10 kann ein Benutzer 11 als Fahrer oder Passagier fahren. Es können auch mehrere Benutzer 11 in dem Kraftfahrzeug 10 fahren, wobei dann die im Folgenden beschriebenen Vorgänge für alle Benutzer 11 zutreffen. 1 shows a motor vehicle 10, which can be a motor vehicle, in particular a passenger car. In the motor vehicle 10, a user 11 can drive as a driver or passenger. Several users 11 can also drive in the motor vehicle 10, in which case the processes described below apply to all users 11.

In dem Kraftfahrzeug 10 kann für den Benutzer 11 eine Audiowiedergabevorrichtung 12 bereitgestellt sein, beispielsweise in Form eines Infotainmentsystems oder einer Musikanlage, damit der Benutzer 11 aus einer Medienquelle 13 ein Nutzsignal 14 anhören kann. Die Medienquelle 13 kann beispielsweise ein Radio oder ein Internet-Streaming-Dienst oder eine Medienwiedergabevorrichtung, beispielsweise für MP3-Dateien, sein. Zum Anhören des Nutzsignals 14 kann die Audiowiedergabevorrichtung 12 in an sich bekannter Weise eine Lautsprecheranordnung 15 betreiben oder ansteuern, um eine in dem Nutzsignal 14 enthaltene Information als Ausgabeschall 16 hörbar zu machen. Der Ausgabeschall 16 kann dann an Ohren 17 des Benutzers 11 gelangen, sodass während der Fahrt im Kraftfahrzeug 10 der Benutzer 11 die Information aus dem Nutzsignal 14 anhören kann. Währenddessen kann aber in einem Innenraum 18 des Kraftfahrzeugs 10, beispielsweise dem Passagierraum, in welchem sich der Benutzer 11 aufhalten kann, auch ein Geräusch 19 eindringen, das beispielsweise von einem vorbeifahrenden Fremdfahrzeug 20, in dem Beispiel ist symbolisch ein Laster dargestellt, herrühren und verursacht werden kann. Somit dringt an die Ohren 17 des Benutzers 11 eine Überlagerung oder ein Summensignal 21 aus dem Ausgabeschall 16 und dem Geräusch 19. Durch das Geräusch 19 kann der Benutzer 11 das Anhören des Ausgabeschalls 16 mit der Information aus dem Nutzsignal 14 als störend oder anstrengend empfinden.In the motor vehicle 10, an audio playback device 12 can be provided for the user 11, for example in the form of an infotainment system or a music system, so that the user 11 can listen to a useful signal 14 from a media source 13. The media source 13 can be, for example, a radio or an Internet streaming service or a media playback device, for example for MP3 files. To listen to the useful signal 14, the audio playback device 12 can operate or control a loudspeaker arrangement 15 in a manner known per se in order to make information contained in the useful signal 14 audible as output sound 16. The output sound 16 can then reach the ears 17 of the user 11, so that the user 11 can listen to the information from the useful signal 14 while driving in the motor vehicle 10. Meanwhile, in an interior 18 of the motor vehicle 10, for example the passenger compartment in which the user 11 can stay, a noise 19 can also penetrate, which comes from and is caused, for example, by a passing foreign vehicle 20, in the example a truck is symbolically shown can be. Thus, a superposition or a sum signal 21 from the output sound 16 and the noise 19 reaches the ears 17 of the user 11. Due to the noise 19, the user 11 may find listening to the output sound 16 with the information from the useful signal 14 annoying or stressful.

Dies kann mittels der Audiowiedergabevorrichtung 12 vermieden oder zumindest reduziert werden.This can be avoided or at least reduced by means of the audio playback device 12.

Hierzu kann die Audiowiedergabevorrichtung 12 das Nutzsignal 14 mittels einer Kompensationseinrichtung 23 für das Geräusch 19 anpassen oder vorbereiten. Die Audiowiedergabevorrichtung 12 kann hierzu beispielsweise eine Prozessorschaltung aufweisen, in welcher die Kompensationseinrichtung 23 als ein Programmmodul oder als eine Software implementiert sein kann. Die Kompensationseinrichtung 23 kann eine konfigurierbare oder parametrierbare Kompensationsfunktion 24 aufweisen, mittels welcher das Nutzsignal 14 gefiltert oder allgemein verändert werden kann oder einer Veränderung unterworfen werden kann, um hierdurch ein Ausgabesignal 25 zu erzeugen, mittels welchem die Lautsprecheranordnung 15 angesteuert werden kann, um den Ausgabeschall 16 zu erzeugen. Der Ausgabeschall 16 gibt also den zeitlichen Verlauf des Ausgabesignals 25 wieder. Die Veränderung durch die Kompensationsfunktion 24 kann gesteuert oder konfiguriert werden mittels Konfigurationswerten 26, die mittels eines Modells 27 des maschinellen Lernens oder mittels einer Look-up-Tabelle erzeugt werden können. Mittels des Modells 27 oder der Look-up-Tabelle können Konfigurationswerte 26 erzeugt oder ausgewählt werden in Abhängigkeit von einem Geräuschklassesignal 28, welches angibt, welcher aus mehreren möglichen Geräuschklassen das Geräusch 19 zugeordnet werden kann oder entspricht.For this purpose, the audio playback device 12 can adapt or prepare the useful signal 14 for the noise 19 by means of a compensation device 23. For this purpose, the audio playback device 12 can, for example, have a processor circuit in which the compensation device 23 can be implemented as a program module or as software. The compensation device 23 can have a configurable or parameterizable compensation function 24, by means of which the useful signal 14 can be filtered or generally changed or can be subjected to a change in order to thereby generate an output signal 25, by means of which the loudspeaker arrangement 15 can be controlled in order to produce the output sound 16 to generate. The output sound 16 therefore reflects the time course of the output signal 25. The change through the Compensation function 24 can be controlled or configured using configuration values 26, which can be generated using a machine learning model 27 or using a look-up table. Using the model 27 or the look-up table, configuration values 26 can be generated or selected depending on a noise class signal 28, which indicates which of several possible noise classes the noise 19 can be assigned or corresponds to.

Das Geräuschklassesignal 28 kann durch einen Geräuschklassifikator 29 erzeugt werden, der aus einer Umgebungsüberwachungseinrichtung 30 ein zumindest ein Umgebungssignal 31 empfangen kann. Die Umgebungsüberwachungseinrichtung 30 kann beispielsweise eine Umfeldkamera zum Überwachen einer Umgebung 32 des Kraftfahrzeugs 10 und/oder ein Geopositionssignal aus einem Empfänger für ein Positionssignal 33 eines GNSS und/oder ein Mikrofon zum Ermitteln des Geräuschs 19 umfassen. Das mittels der Umgebungsüberwachungseinrichtung 30 erzeugte mindestens eine Umgebungssignal 31 kann von dem Geräuschklassifikator 29 empfangen werden und in Bezug auf eine Geräuschklasse aus mehreren möglichen Geräuschklassen klassifiziert werden. Die hierdurch ermittelte Geräuschklasse kann dann durch das Geräuschklassesignal 28 an das Modell 27 oder die Look-up-Tabelle signalisiert werden. In dem Modell 27 oder der Look-up-Tabelle kann dann eine Zuordnung von Geräuschklasse zu einem Satz von Konfigurationswerten 26 erfolgen.The noise class signal 28 can be generated by a noise classifier 29, which can receive at least one environmental signal 31 from an environmental monitoring device 30. The environmental monitoring device 30 can, for example, include an environmental camera for monitoring an environment 32 of the motor vehicle 10 and/or a geoposition signal from a receiver for a position signal 33 of a GNSS and/or a microphone for determining the noise 19. The at least one environmental signal 31 generated by the environmental monitoring device 30 can be received by the noise classifier 29 and classified with respect to a noise class from several possible noise classes. The noise class determined in this way can then be signaled to the model 27 or the look-up table by the noise class signal 28. The noise class can then be assigned to a set of configuration values 26 in the model 27 or the look-up table.

Dier Geräuschklassifikator 29 kann beispielsweise auf einem weiteren Modell des maschinellen Lernens beruhen.The noise classifier 29 can, for example, be based on another machine learning model.

2 veranschaulicht, wie ein geeignetes Modell 27 erzeugt oder bereitgestellt werden kann. 2 illustrates how a suitable model 27 can be created or provided.

Das Modell 27 kann ein Modell des maschinellen Lernens, insbesondere ein GAN sein. Für das GAN können zwei Trainingsphase T1 und T2 vorgesehen sein. Für die Trainingsphase T1 kann aus einer Gesamtmenge 40 von vorgegebenen Audioaufnahmen von Nutzsignalen, die hier als Referenz-Nutzsignale 41 bezeichnet sind, eine Auswahl an Menge 42 für das Training der Trainingsphase T1 ausgewählt werden, was beispielsweise durch eine Zufallsauswahl oder durch eine Auswahl durch einen Bediener sein kann. Die Referenz-Nutzsignale 41 aus der Menge 42 können dann jeweils in an sich bekannter Weise beispielsweise einem Merkmalsextraktor 43 zugeführt werden, welcher das jeweilige Audiosignal des Referenz-Nutzsignals 41 dahingehend analysiert oder zerlegt, dass daraus Merkmale 44 zum Verarbeiten durch einen Diskriminator-Netzwerk 45 des GAN bereitgestellt werden. Die Merkmale 44 können das Referenz-Nutzsignal 41 selber enthalten oder darstellen oder daraus extrahierte Merkmale, wie beispielsweise kepstrale Koeffizienten und/oder Hauptkomponenten einer Hauptkomponentenanalyse, um nur Beispiele zu nennen.The model 27 may be a machine learning model, in particular a GAN. Two training phases T1 and T2 can be planned for the GAN. For the training phase T1, a selection of quantity 42 for training the training phase T1 can be selected from a total set 40 of predetermined audio recordings of useful signals, which are referred to here as reference useful signals 41, which can be done, for example, by a random selection or by a selection by one operator can be. The reference useful signals 41 from the set 42 can then each be fed in a manner known per se to a feature extractor 43, for example, which analyzes or decomposes the respective audio signal of the reference useful signal 41 in such a way that features 44 are derived from it for processing by a discriminator network 45 of the GAN. The features 44 can contain or represent the reference useful signal 41 itself or features extracted therefrom, such as cepstral coefficients and/or principal components of a principal component analysis, to name just examples.

Das Diskriminator-Netzwerk 45 kann in an sich bekannter Weise eine Eingangsschicht 46, eine oder mehrere sogenannte versteckte Schichten 47 und eine Ausgabeschicht 48 aufweisen, die in an sich bekannter Weise als künstliche Neuronen 49 mit Gewichtungs-Verknüpfungen 50 implementiert sein können (der Übersichtlichkeit halber sind nur einmal Bezugszeichen 49, 50 vergeben). Aus einer Menge 52 aus Referenz-Geräuschen oder Geräuschen 53 (also AudioAufnahmen von Geräuschen, wie beispielsweise dem Geräusch 19) kann vorgesehen sein, dass daraus ebenfalls (getrennt von dem Referenz-Nutzsignal 41) Merkmale 44 erzeugt werden. Mittels eines Trainingsalgorithmus, beispielsweise des an sich bekannten Back-Propagation-Algorithmus, kann das Diskriminator-Netzwerk 45 trainiert werden, zwischen den Referenz-Nutzsignalen 41 aus der Menge 42 einerseits und anderen Signalen, insbesondere den Geräuschen 53 aus der Menge 52, zu unterscheiden, also eine Klassifikation durchzuführen, durch welche aus der Ausgabeschicht 48 ein Klassifikationsergebnis 56 erzeugt wird, die angibt, ob die Merkmale 44 ein Referenz-Nutzsignal 41 oder kein solches Referenz-Nutzsignal 41 darstellen. Durch das Diskriminator-Netzwerk 45 ist somit ein statistisches Modell gegeben, das angibt, ob Merkmale 44 ein Referenz-Nutzsignal 41 beschreiben oder nicht.The discriminator network 45 can have, in a manner known per se, an input layer 46, one or more so-called hidden layers 47 and an output layer 48, which can be implemented in a manner known per se as artificial neurons 49 with weighting links 50 (for the sake of clarity reference numbers 49, 50 are only assigned once). From a set 52 of reference noises or noises 53 (i.e. audio recordings of noises, such as noise 19), it can be provided that features 44 are also generated therefrom (separately from the reference useful signal 41). Using a training algorithm, for example the known back-propagation algorithm, the discriminator network 45 can be trained to distinguish between the reference useful signals 41 from the set 42 on the one hand and other signals, in particular the noises 53 from the set 52 , i.e. to carry out a classification, through which a classification result 56 is generated from the output layer 48, which indicates whether the features 44 represent a reference useful signal 41 or no such reference useful signal 41. The discriminator network 45 thus provides a statistical model that indicates whether features 44 describe a reference useful signal 41 or not.

In der zweiten Trainingsphase T2 kann in einem gemeinsamen Training des Diskriminator-Netzwerks 45 und eines Generator-Netzwerks 57 des Modells 27 (im Falle eines GAN) folgendes durchgeführt werden. Das Generator-Netzwerk 57 kann hierzu, wie bereits für das Diskriminator-Netzwerk 45 beschrieben, eine Eingangsschicht 58, eine oder mehrere Zwischenschichten 59 und eine Ausgabeschicht 60 umfassen, die jeweils durch künstliche Neuronen und deren gewichtete Verknüpfungen in an sich bekannter Weise gebildet sein kann.In the second training phase T2, the following can be carried out in a joint training of the discriminator network 45 and a generator network 57 of the model 27 (in the case of a GAN). For this purpose, the generator network 57 can, as already described for the discriminator network 45, include an input layer 58, one or more intermediate layers 59 and an output layer 60, which can each be formed by artificial neurons and their weighted connections in a manner known per se .

Für die Trainingsphase T2 kann vorgesehen sein, dass aus der Gesamtmenge 40 der Referenz-Nutzsignale 41 alle Referenz-Nutzsignale 41 oder nur eine Teilmenge davon, wie es für ein Training bekannt ist, ausgewählt wird und die einzelnen Referenz-Nutzsignale 41 durch einen Merkmalsextraktor 43`, der dem Merkmalsextraktor 43 entsprechen oder mit diesem identisch sein kann, dahingehend analysiert werden, dass Merkmale 44` des jeweiligen Referenz-Nutzsignals 41 extrahiert oder erzeugt werden, also entweder das Referenz-Nutzsignal 41 selbst und/oder beispielsweise cepstrale Koeffizienten und/oder Komponenten einer Hauptkomponentenanalyse PCA, und diese als Input für das Generator-Netzwerk 57 bereitgestellt werden. Das Referenz-Nutzsignal 41 selbst kann der Kompensationsfunktion 24 als Input bereitgestellt werden, die beispielsweise durch Anwenden zumindest eines Verzerrungsmoduls 61 (z.B. eines Filters) und/oder Modulationsmoduls 62 aus dem Nutzsignal 41 das Ausgabesignal 25 erzeugen kann. Die Kompensationsfunktion 24 kann hierbei in der beschriebenen Weise durch Konfigurationswerte 26 konfiguriert werden. Die Konfigurationswerte 26 können hierbei die Ausgabe oder den Output der Ausgabeschicht 60 des Generator-Netzwerks 57 darstellen. Das Ausgabesignal 25 kann mit jeweils einem der Geräusche 53 aus der Menge 52 mittels einer additiven Überlagerung 65 zu einem Summensignal 66 kombiniert werden. Es können also korrespondierende Samples aus dem Ausgabesignal 25 und dem Audiosignal des Geräuschs 53 addiert werden. Das Summensignal 66 kann in der beschriebenen Weise durch den Merkmalsextraktor 43 in Merkmale 44 analysiert oder extrahiert werden, die dann dem Diskriminator-Netzwerk 45 zur Klassifikation übergeben werden. Das Klassifikationsergebnis 56 kann dann angeben, ob das Diskriminator-Netzwerk 45 das Summensignal 66 immer noch oder trotz des Überlagerns des Geräuschs 53 als Referenz-Nutzsignal klassifiziert. Dies kann seinen Grund darin haben, dass das Summensignal 66 alle charakteristischen Eigenschaften eines Nutzsignals aufweisen kann.For the training phase T2, it can be provided that all reference useful signals 41 or only a subset thereof, as is known for training, are selected from the total set 40 of the reference useful signals 41 and the individual reference useful signals 41 are selected by a feature extractor 43 `, which can correspond to or be identical to the feature extractor 43, can be analyzed to the extent that features 44` of the respective reference useful signal 41 are extracted or generated, i.e. either the reference useful signal 41 itself and/or, for example, cepstral coefficients tens and/or components of a principal component analysis PCA, and these are provided as input for the generator network 57. The reference useful signal 41 itself can be provided as input to the compensation function 24, which can generate the output signal 25 from the useful signal 41, for example by applying at least one distortion module 61 (eg a filter) and/or modulation module 62. The compensation function 24 can be configured in the manner described by configuration values 26. The configuration values 26 can represent the output of the output layer 60 of the generator network 57. The output signal 25 can be combined with one of the noises 53 from the set 52 by means of an additive superposition 65 to form a sum signal 66. Corresponding samples from the output signal 25 and the audio signal of the noise 53 can therefore be added. The sum signal 66 can be analyzed or extracted in the manner described by the feature extractor 43 into features 44, which are then passed on to the discriminator network 45 for classification. The classification result 56 can then indicate whether the discriminator network 45 still classifies the sum signal 66 as a reference useful signal or despite the superposition of the noise 53. The reason for this may be that the sum signal 66 can have all the characteristic properties of a useful signal.

In diesem Fall sind die Konfigurationswerte 26 erfolgreich oder akzeptabel, das heißt, das Generator-Netzwerk 57 muss nicht adaptiert werden. Erkennt dagegen anhand des Klassifikationsergebnisses 56 das Diskriminator-Netzwerk 45, dass das Summensignal 66 keinem Referenz-Nutzsignal entspricht, so kann eine Adaption 69, also eine Veränderung der an sich bekannten Gewichtungs-Verknüpfungen 50, beispielsweise mittels des Back-Propagation-Algorithmus, vorgenommen werden und damit das Generator-Netzwerk 57 in einem Trainingsschritt der Trainingsphase T2 trainiert werden. Somit wird das Generator-Netzwerk 57 dahingehend angepasst, dass zu einem Referenz-Nutzsignal 41 anhand von Merkmalen 44` zu einem gegebenen Referenz-Nutzsignal 41 geeignete Konfigurationswerte 26 erzeugt werden.In this case, the configuration values 26 are successful or acceptable, that is, the generator network 57 does not need to be adapted. On the other hand, if the discriminator network 45 recognizes based on the classification result 56 that the sum signal 66 does not correspond to a reference useful signal, an adaptation 69, i.e. a change to the known weighting links 50, for example using the back propagation algorithm, can be carried out and thus the generator network 57 can be trained in a training step of the training phase T2. The generator network 57 is thus adapted in such a way that configuration values 26 suitable for a reference useful signal 41 are generated based on features 44' for a given reference useful signal 41.

Zusätzlich oder alternativ zu den Merkmalen 44' kann als Eingabe oder Input für das Generator-Netzwerk 57 auch das Geräuschklassesignal 28 vorgegeben werden, das zusammen mit den Geräuschen 53 in der Menge 52 für jedes Geräusch 53 bereitgestellt sein kann. Somit kann zusätzlich oder alternativ zu den Merkmalen 44 auch in Abhängigkeit von dem Geräuschklassesignal 28 durch das Generator-Netzwerk 57 ein geeigneter Satz an Konfigurationswerten 26 zum Konfigurieren der Kompensationsfunktion 24 bereitgestellt werden. Auch hier kann durch die Trainingsphase T2 das Generator-Netzwerk 57 dahingehend trainiert werden, dass es zu einem gegebenen Geräuschklassesignal 28 Konfigurationswerte 26 erzeugt, durch welche ein Ausgabesignal 25 erzeugt wird, bei welchem das resultierende Summensignal 66 (Summe aus Ausgabesignal 25 und Geräusch 53) durch das Diskriminator-Netzwerk 45 in dem Klassifikationsergebnis 56 als Referenz-Nutzsignal 41 klassifiziert oder erkannt wird.In addition or as an alternative to the features 44', the noise class signal 28 can also be specified as an input for the generator network 57, which can be provided for each noise 53 together with the noises 53 in the set 52. Thus, in addition or as an alternative to the features 44, a suitable set of configuration values 26 for configuring the compensation function 24 can also be provided by the generator network 57 depending on the noise class signal 28. Here too, the training phase T2 can be used to train the generator network 57 in such a way that it generates configuration values 26 for a given noise class signal 28, through which an output signal 25 is generated, in which the resulting sum signal 66 (sum of output signal 25 and noise 53) is classified or recognized as a reference useful signal 41 by the discriminator network 45 in the classification result 56.

Im Betrieb der Audiowiedergabevorrichtung 12 ist dann anstelle des Referenz-Nutzsignals 41 natürlich das Nutzsignal 14 aus der Medienquelle 13 gegeben. 1 nicht die Variante, bei welcher auch das Nutzsignal 14 dem Modell 27 bereitgestellt werden kann, um die Merkmale 44' zu erzeugen. Dies ist aber bei dem Beispiel von 1 ebenfalls eine Ausführungsvariante.During operation of the audio playback device 12, the useful signal 14 from the media source 13 is of course given instead of the reference useful signal 41. 1 not the variant in which the useful signal 14 can also be provided to the model 27 in order to generate the features 44 '. But this is the case with the example of 1 also an embodiment variant.

3 und 4 zeigen mögliche Veränderungen in einem Nutzsignal 41 zum Adaptieren oder Anpassen des Nutzsignals 41 an ein gegebenes Geräusch 53, indem aus dem Nutzsignal 41 mittels der Kompensationsfunktion 24 ein angepasstes Nutzsignal 41, das heißt ein Ausgabesignal 25, erzeugt wird. 3 and 4 show possible changes in a useful signal 41 for adapting or adapting the useful signal 41 to a given noise 53 by generating an adapted useful signal 41, that is, an output signal 25, from the useful signal 41 using the compensation function 24.

Welche Veränderungen an dem Nutzsignal 41 möglich sind, kann durch die Wahl der Verzerrungsmodule 61 und/oder Modulationsmodule 62 der Kompensationsfunktion 24 durch den Fachmann vorgegeben werden. Das Generator-Netzwerk 57 steuert dann mittels der Konfigurationswerte 26 die Verzerrungsmodule 61 und/oder die Modulationsmodule 62.Which changes to the useful signal 41 are possible can be specified by the person skilled in the art by selecting the distortion modules 61 and/or modulation modules 62 of the compensation function 24. The generator network 57 then controls the distortion modules 61 and/or the modulation modules 62 using the configuration values 26.

3 zeigt, wie ein Spektrum oder Frequenzgang, hier dargestellt ein Betragsgang B des Nutzsignals 41 (bzw. Nutzsignal 14 im eigentlichen Betrieb im Kraftfahrzeug)mittels der Kompensationsfunktion 24 in ein Ausgabesignal 25 verwendet werden kann, bei welchem zu einem gegebenen Geräusch 53 eine Maskierung 70 des Geräuschs 53 durch Anheben oder Verstärken eines Frequenzbands 71 des Nutzsignals 41 vorgenommen werden kann. Zusätzlich oder alternativ dazu kann eine Einbettung 72 erfolgen, indem in einem Frequenzband 73 das Nutzsignal 41 gedämpft oder im Betrag verringert werden kann, um durch die Summe des Ausgabesignals 25 mit dem gedämpften Frequenzband 73 und dem Geräusch 53 wieder einen Pegel im Betragsgang B zu erhalten, welcher dem Pegel des Nutzsignals 41 entspricht. Veränderungen wie die Maskierung 70 und/oder die Einbettung 72 können mittels eines Verzerrungsmoduls 61, beispielsweise mittels einer Filterbank, erreicht werden. 3 shows how a spectrum or frequency response, shown here is an amount response B of the useful signal 41 (or useful signal 14 in actual operation in the motor vehicle) can be used by means of the compensation function 24 in an output signal 25, in which a masking 70 of the given noise 53 Noise 53 can be made by increasing or amplifying a frequency band 71 of the useful signal 41. Additionally or alternatively, an embedding 72 can take place in that the useful signal 41 can be dampened or reduced in magnitude in a frequency band 73 in order to obtain a level in the magnitude response B again by the sum of the output signal 25 with the damped frequency band 73 and the noise 53 , which corresponds to the level of the useful signal 41. Changes such as masking 70 and/or embedding 72 can be achieved using a distortion module 61, for example using a filter bank.

4 veranschaulicht, wie mittels eines Modulationsmoduls 62 erreicht werden kann, dass über der Frequenz f in einem Spektrum, hier dargestellt als Betragsgang B, das Nutzsignal 41 (bzw. Nutzsignal 14 im eigentlichen Betrieb im Kraftfahrzeug) aus einem Frequenzbereich 74, beispielsweise mittels einer Einseitenbandmodulation 75 heraus, moduliert werden kann, um als Ausgabesignal 25 in einem Frequenzband 76 die Information aus dem Nutzsignal darzustellen, in welchem das Geräusch 53 nicht signifikant ist. Zwar ist dann das Nutzsignal 41 dahingehend verfremdet, dass es sich bei einer anderen Frequenz im Ausgabesignal 25 befindet oder anhört, aber dennoch kann dies von dem Benutzer 11 weiterhin als ein Nutzsignal oder es kann die Informationen im Nutzsignal klar oder mit geringer Höranstrengung wahrgenommen werden, was ebenfalls bei einem Diskriminator-Netzwerk 45 dazu führen kann, dass ein solches Ausgabesignal 25 als ein Referenz-Nutzsignal 41 im Klassifikationsergebnis 56 signalisiert wird. 4 illustrates how, by means of a modulation module 62, it can be achieved that the useful signal 41 (or useful signal 14 in actual operation in the motor vehicle) from a frequency range 74 over the frequency f in a spectrum, shown here as magnitude response B, for example by means of a single-sideband modulation 75 out, can be modulated in order to represent the information from the useful signal as an output signal 25 in a frequency band 76 in which the noise 53 is not significant. Although the useful signal 41 is then distorted in such a way that it is located or sounds at a different frequency in the output signal 25, the user 11 can still perceive this as a useful signal or the information in the useful signal can be perceived clearly or with little listening effort. which can also, in the case of a discriminator network 45, result in such an output signal 25 being signaled as a reference useful signal 41 in the classification result 56.

Somit ergibt sich insbesondere die Idee, eine additive Geräuschunterdrückung zu entwickeln. Diese additive Geräuschunterdrückung kann durch Deep-Learning-Ansätze implementieren werden (falls keine andere Lösung in der Lage wäre, ein derart komplexes Problem zu bewältigen). Die Idee kann die Nutzung von Kontextinformationen, z. B. bald hörbare Fahrzeuge, bei der Vorbereitung des Geräuschunterdrückungskonzepts vorsehen.This gives rise to the idea of developing additive noise suppression. This additive noise cancellation can be implemented through deep learning approaches (if no other solution would be able to handle such a complex problem). The idea can be the use of contextual information, e.g. E.g. vehicles that will soon be audible, should be taken into account when preparing the noise suppression concept.

Im Gegensatz zum Stand der Technik umfasst oder inkludiert diese Lösung das Rauschsignal und versucht nicht, es aufzuheben oder zu überwinden. Stattdessen wird das Rauschsignal als additive Komponente zum Referenzsignal betrachtet, das seinerseits moduliert wird, um das Rauschsignal so unhörbar wie möglich zu machen.In contrast to the prior art, this solution encompasses or includes the noise signal and does not attempt to cancel or overcome it. Instead, the noise signal is viewed as an additive component to the reference signal, which in turn is modulated to make the noise signal as inaudible as possible.

Das Rauschen selbst muss nicht moduliert werden, stattdessen wird vorgeschlagen, das Referenzsignal zu verändern, z.B. zu modulieren. Zu diesem Zweck kann die Verwendung von Architekturen und Ansätzen eines Generative Adversarial Networks (GAN) vorgenommen werden, insbesondere bedingte GANs oder CycleGANs. Zum Trainieren und Ausführen dieser Modelle kann auf das Referenz-Audiomaterial (Ground Truth) und das tatsächlich hörbare kombinierte Tonsignal (Summensignal), d.h. modulierte Referenz plus Rauschen, zurückgegriffen werden. Beide Informationen werden benötigt, um einen Loss-Wert einer Kostenfunktion oder Loss-Funktion für das Training zu berechnen. Eine vorteilhafte Umsetzung dieses Ansatzes würde darüber hinaus mit einem Geräuschantizipator ausgestattet sein, der vorhersagt, welche Geräuschinformationen in den nächsten Zeiteinheiten auftreten. Dies kann z. B. durch eine Audioanalyse geschehen, die in der Lage ist, Muster von typischen vorangehenden Ereignisse (z.B. ein Anschwellen des Geräuschs) zu erkennen, oder durch den Einsatz optischer Kameras, die einen lauten Lkw, den das eigene Fahrzeug passieren wird, bereits einige Sekunden vor dessen tatsächlicher Hörbarkeit erkennen könnten. Die Berücksichtigung dieser vorausschauenden Informationen ermöglicht es, das Referenzsignal im Voraus vorzubereiten und sich rechtzeitig auf die bevorstehende Situation einzustellen. Dies führt zu einer sanfteren und weniger hörbaren Einbindung der Geräuschsignale und zu einem weiter verbesserten Hörerlebnis.The noise itself does not have to be modulated; instead, it is suggested to change the reference signal, e.g. to modulate it. For this purpose, the use of Generative Adversarial Network (GAN) architectures and approaches can be made, in particular conditional GANs or CycleGANs. To train and run these models, the reference audio material (ground truth) and the actually audible combined audio signal (sum signal), i.e. modulated reference plus noise, can be used. Both pieces of information are needed to calculate a loss value of a cost function or loss function for training. An advantageous implementation of this approach would also be equipped with a noise anticipator that predicts which noise information will occur in the next time units. This can e.g. This can be done, for example, through audio analysis that is able to recognize patterns of typical previous events (e.g. an increase in noise), or through the use of optical cameras that detect a loud truck that your vehicle is about to pass for just a few seconds before its actual audibility. Taking this predictive information into account makes it possible to prepare the reference signal in advance and prepare for the upcoming situation in a timely manner. This leads to a gentler and less audible integration of the sound signals and a further improved listening experience.

Die Idee bevorzugt somit, nicht explizit ein Kompensationssignal zu erzeugen, das dann im Referenzmaterial enthalten ist. Stattdessen wird das Referenzsignal selbst moduliert, so dass es das Rauschsignal besser aufnehmen kann, wenn auch nicht explizit in technisch optimaler Weise (was dann von den verwandten Patenten abgedeckt würde). Für diese Anpassung/Hosting schlage ich die Verwendung von Deep-Learning-Algorithmen vor, z. B. GANs. Mit diesem Ansatz könnte man potenzielle Lösungen für das Problem erforschen, die nicht global optimal, sondern lokal optimal sind. Das bedeutet, dass das Rauschen selbst zwar noch identifizierbar bleibt, sich aber so in das Referenzmaterial einfügt, dass der eigentliche Inhalt des Referenzmaterials erhalten bleibt. Obwohl nicht explizit beschrieben oder vorweggenommen, könnte dies z. B. eine Verschiebung des Frequenzspektrums, das die menschliche Sprache abdeckt, nach oben/unten sein, was zu einer potenziell höheren Stimme führen würde, die besser zum Motorengeräusch passt.The idea therefore prefers not to explicitly generate a compensation signal that is then contained in the reference material. Instead, the reference signal itself is modulated so that it can better accommodate the noise signal, although not explicitly in a technically optimal manner (which would then be covered by the related patents). For this customization/hosting I suggest using deep learning algorithms e.g. B. GANs. This approach could be used to explore potential solutions to the problem that are not globally optimal, but locally optimal. This means that the noise itself remains identifiable, but blends into the reference material in such a way that the actual content of the reference material is preserved. Although not explicitly described or anticipated, this could e.g. For example, there could be an up/down shift in the frequency spectrum covering human speech, resulting in a potentially higher pitched voice that better matches the engine noise.

Sobald dieses künstliche neuronale Netz mit allen Kombinationen von Geräuschen und Referenzsignalen aufgesetzt und trainiert wurde, kann die Inferenz potenziell ohne tatsächlich gemessene Informationen über das Geräuschsignal gesteuert werden. Es könnte zum Beispiel festgelegt werden, dass das Referenzmaterial angepasst werden soll, um ein Motorgeräusch aufzunehmen, und das tiefe neuronale Netz könnte eine lokal optimale Lösung implementieren. Dies ermöglicht das, was ich im letzten Absatz meiner Erfindung erklärt habe, nämlich dass Kameras diese Information erkennen und dem Netz im Voraus zur Verfügung stellen könnten - ohne die Notwendigkeit, das möglicherweise unhörbare Geräuschsignal zu messen.Once this artificial neural network has been set up and trained with all combinations of sounds and reference signals, the inference can potentially be controlled without any actual measured information about the sound signal. For example, it could be specified that the reference material should be adjusted to record an engine noise, and the deep neural network could implement a locally optimal solution. This enables what I explained in the last paragraph of my invention, namely that cameras could detect this information and provide it to the network in advance - without the need to measure the potentially inaudible noise signal.

Insgesamt zeigen die Beispiele, wie ein Geräusch als additiver Anteil eines Nutzsignals durch dessen Filterung mit einem Kompensationsfilter genutzt werden kann.Overall, the examples show how a noise can be used as an additive component of a useful signal by filtering it with a compensation filter.

Claims

Method for operating an audio playback device (12) in a motor vehicle (10), wherein an output signal (25) is output as an output sound (16) to a user (11) in an interior (18) of the motor vehicle (10) by the audio playback device (12) by controlling a loudspeaker arrangement (15) of the motor vehicle (10), thereby characterized in that a noise class signal (28), which describes one of several predetermined noise classes of a noise (19) present and/or expected in the interior (18), is determined by a compensation device (23) of the audio playback device (12) and the output signal ( 25) is generated from a useful signal (14), which contains information to be conveyed to the user (11) via the output sound (16), a compensation function (24) being provided by the compensation device (23) when generating the output signal (25), which contains a distortion module and/or a modulation module for respectively changing a frequency response of the useful signal (14), is configured by means of the noise class signal (28), wherein by configuring the compensation function (24) the frequency response of the useful signal (14) is changed depending on a The frequency response of the noise (19) described by the noise class signal (28) is adjusted, and the output signal (25) is generated by applying the configured compensation function (24) to the useful signal (14), wherein a) the compensation device (23) creates a model ( 27) of machine learning and the model (27) is trained to generate the output signal (25) by generating configuration values (26) for the distortion module and / or the modulation module of the compensation function (24), the frequency response of which is at a Interior (18) resulting superposition (65) with the frequency response of the noise (19) results in a superimposed overall frequency response, which corresponds to a predetermined statistical model (27) of a reference useful signal (41) and / or b) the compensation device (23) as a model (27) of machine learning has a GAN, in which a discriminator network (45) is trained to distinguish a predetermined set (42) of reference useful signals (41) from different signals, and in which a generator network (57) is trained to control the compensation function (24) depending on the noise class signal (28) and thereby generate the output signal (25) by means of the compensation function (24) by changing the useful signal (14), which after adding the noise (19) results in a sum signal (66) which is set up to be classified by the discriminator network (45) as belonging to the set (42) of the reference useful signals (41).

Procedure according to Claim 1 at least according to feature b), wherein for training the GAN a total amount (40) of reference useful signals (41) is provided and the discriminator network (45) is trained with some or all of the reference useful signals (41), these as for To properly recognize the total quantity (40), and the generator network (57) is trained to control the compensation function (24) by generating configuration values (26) of the compensation function (24), so that the compensation function (24) for some or all of the reference Useful signals (41) each generate an output signal (25), which, combined with an audio signal of the noise (19), is recognized by the discriminator network (45) as belonging to the total amount (40).

Method according to one of the preceding claims, wherein the compensation function (24) is provided by at least one filter that can be configured using configuration values (26).

Method according to one of the preceding claims, wherein the compensation function (24) provides for the changes in the useful signal (14) in one or some or all of the following signal properties: • a change in the amount, • a single sideband modulation (75), • an attenuation of frequency bands in which the noise (19) has power.

Method according to one of the preceding claims, wherein the compensation function (24) carries out the changes in the useful signal (14) in a phase-invariant manner.

Method according to one of the preceding claims, wherein the noise class signal (28) is generated by an estimation unit of the audio playback device (12), which for this purpose contains at least one environmental signal (31), which is a current environment (32) of the motor vehicle (10) and / or a current and/or characterizes an impending environmental event, receives it and selects the noise class signaled by the noise class signal (28) from several predetermined, possible noise classes based on the respective current signal value of the environmental signal (31) by means of a noise classifier (29).

Procedure according to Claim 6 , wherein the environmental signal (31) comprises an image signal from an environment camera of the motor vehicle (10) and / or a geoposition signal (33) from a vehicle-specific receiver of a position signal (33) from a GNSS and / or a microphone signal from a microphone of the motor vehicle (10).

Audio playback device (12) for a motor vehicle (10), wherein the audio playback device (12) has a processor circuit which is set up to carry out a method according to one of the preceding claims.

Motor vehicle (10) having a loudspeaker arrangement (15) for emitting an output sound (16) into an interior (18) of the motor vehicle (10) and having an audio playback device (12). Claim 8 .