DE102024105511B3

DE102024105511B3 - Method for controlling an output of an audio data stream of a video data stream in an audio zone of a vehicle, computer-readable medium, system, and vehicle

Info

Publication number: DE102024105511B3
Application number: DE102024105511.1A
Authority: DE
Inventors: Yannick Forster; Eva Baseler
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2024-02-27
Filing date: 2024-02-27
Publication date: 2025-03-20
Anticipated expiration: 2044-02-28

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs, das Verfahren umfassend: Bereitstellen eines ersten Videodatenstroms auf einem ersten Anzeigegerät in einem Innenraum des Fahrzeugs; Bereitstellen eines zweiten Videodatenstroms auf einem zweiten Anzeigegerät in dem Innenraum des Fahrzeugs; Bestimmen einer Aufmerksamkeit eines ersten Insassen der Audiozone des Fahrzeugs bezüglich des ersten Videodatenstroms auf dem ersten Anzeigegerät und des zweiten Videodatenstroms des zweiten Anzeigegeräts; Bestimmen einer Aufmerksamkeit eines zweiten Insassen der Audiozone des Fahrzeugs bezüglich des ersten Videodatenstroms des ersten Anzeigegeräts und des zweiten Videodatenstroms des zweiten Anzeigegeräts; und Steuern einer Ausgabe des Audiodatenstroms des ersten Videodatenstroms und des Audiodatenstroms des zweiten Videodatenstroms in der Audiozone des Fahrzeugs in Abhängigkeit der Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs und der Aufmerksamkeit des zweiten Insassen der Audiozone des Fahrzeugs.

The invention relates to a method for controlling an output of an audio data stream of a video data stream in an audio zone of a vehicle, the method comprising: providing a first video data stream on a first display device in an interior of the vehicle; providing a second video data stream on a second display device in the interior of the vehicle; determining an attention of a first occupant of the audio zone of the vehicle with respect to the first video data stream on the first display device and the second video data stream of the second display device; determining an attention of a second occupant of the audio zone of the vehicle with respect to the first video data stream of the first display device and the second video data stream of the second display device; and controlling an output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone of the vehicle depending on the attention of the first occupant of the audio zone of the vehicle and the attention of the second occupant of the audio zone of the vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs. Die Erfindung betrifft ferner ein computerlesbares Medium zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs, ein System zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs, sowie ein Fahrzeug umfassend das System zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs.The invention relates to a method for controlling the output of an audio data stream of a video data stream in an audio zone of a vehicle. The invention further relates to a computer-readable medium for controlling the output of an audio data stream of a video data stream in an audio zone of a vehicle, a system for controlling the output of an audio data stream of a video data stream in an audio zone of a vehicle, and a vehicle comprising the system for controlling the output of an audio data stream of a video data stream in an audio zone of a vehicle.

Aktuelle Fahrzeuge können einen Bildschirm für ein Beifahrerentertainment und einen oder mehrere Bildschirme in einer zweiten Sitzreihe aufweisen, auf denen unterschiedliche Inhalte, beispielsweise unterschiedliche Videodatenströme angezeigt werden können. Allerdings weisen aktuelle Fahrzeuge eine kleinere Anzahl an auditiven Zonen im Vergleich zu einer Anzahl an Bildschirmen auf, mit denen Inhalte angezeigt werden können. Dies kann dazu führen, dass Interferenzen zwischen auditiven Zonen auftreten können und für eine auditive Zone festgelegt werden muss, welcher Audiodatenstrom zu einer Vielzahl von Videodatenströme an die Insassen der auditiven Zone ausgegeben werden soll.Current vehicles may have a screen for passenger entertainment and one or more screens in a second row of seats that can display different content, such as different video streams. However, current vehicles have a smaller number of auditory zones compared to the number of screens that can display content. This can lead to interference between auditory zones, and for each auditory zone, it is necessary to determine which audio stream among multiple video streams should be output to the occupants of the auditory zone.

DE 10 2021 126 916 A1 beschreibt ein Verfahren zum Betreiben eines Infotainment-Systems eines Fahrzeugs. Das Verfahren umfasst ein Ermitteln, ob ein Mitfahrer des Fahrzeugs auf dem Beifahrersitz oder einem Rücksitz ein Endnutzergerät benutzt; und ein Einstellen eines Ausgabemodus des Infotainment-Systems am Sitzplatz des Mitfahrers in Abhängigkeit der ermittelten Nutzung des Endnutzergerätes. DE 10 2021 126 916 A1 describes a method for operating a vehicle infotainment system. The method includes determining whether a passenger of the vehicle in the front passenger seat or a rear seat is using an end-user device; and adjusting an output mode of the infotainment system at the passenger's seat depending on the determined use of the end-user device.

US 2013/0030645 A1 beschreibt ein Infotainmentsystem zur Bereitstellung von Inhalten für mehrere Insassen eines Fahrzeugs. Das Infotainmentsystem umfasst einen Insassendetektor, der dazu konfiguriert ist, charakteristische Daten der Fahrzeuginsassen zu empfangen und für jeden Insassen des Fahrzeugs ein Profil zu erstellen, eine Empfehlungsmaschine, die die Profile der Fahrzeuginsassen analysiert, und eine Inhaltsübermittlungsmaschine, die einem oder mehreren Fahrzeuginsassen entsprechend der Analyse der Profile der Fahrzeuginsassen Inhalte übermittelt. US 2013/0030645 A1 describes an infotainment system for delivering content to multiple occupants of a vehicle. The infotainment system includes an occupant detector configured to receive characteristic data of the vehicle occupants and create a profile for each occupant of the vehicle, a recommendation engine that analyzes the profiles of the vehicle occupants, and a content delivery engine that delivers content to one or more vehicle occupants based on the analysis of the vehicle occupant profiles.

Es ist daher eine Aufgabe der Erfindung, eine Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs effizient zu verbessern. Insbesondere ist eine Aufgabe der Erfindung, eine Ausgabe eines Audiodatenstroms zu einer Vielzahl von Videodatenströme in einer Audiozone eines Fahrzeugs effizient zu verbessern.It is therefore an object of the invention to efficiently improve the output of an audio data stream of a video data stream in an audio zone of a vehicle. In particular, an object of the invention is to efficiently improve the output of an audio data stream to a plurality of video data streams in an audio zone of a vehicle.

Gelöst wird diese Aufgabe durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.This object is achieved by the features of the independent claims. Advantageous embodiments and further developments of the invention emerge from the dependent claims.

Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs. Das Verfahren kann ein computerimplementiertes Verfahren und/oder ein steuergeräteimplementiertes Verfahren sein. Das Fahrzeug kann ein Kraftfahrzeug sein. Das Verfahren umfasst ein Bereitstellen eines ersten Videodatenstroms auf einem ersten Anzeigegerät in einem Innenraum des Fahrzeugs, und ein Bereitstellen eines zweiten Videodatenstroms auf einem zweiten Anzeigegerät in dem Innenraum des Fahrzeugs. Weiter umfasst das Verfahren ein Bestimmen einer Aufmerksamkeit eines ersten Insassen der Audiozone des Fahrzeugs bezüglich des ersten Videodatenstroms auf dem ersten Anzeigegerät und des zweiten Videodatenstroms des zweiten Anzeigegeräts, ein Bestimmen einer Aufmerksamkeit eines zweiten Insassen der Audiozone des Fahrzeugs bezüglich des ersten Videodatenstroms des ersten Anzeigegeräts und des zweiten Videodatenstroms des zweiten Anzeigegeräts. Weiterhin umfasst das Verfahren ein Steuern einer Ausgabe des Audiodatenstroms des ersten Videodatenstroms und des Audiodatenstroms des zweiten Videodatenstroms in der Audiozone des Fahrzeugs in Abhängigkeit der Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs und der Aufmerksamkeit des zweiten Insassen der Audiozone des Fahrzeugs.According to a first aspect, the invention is characterized by a method for controlling an output of an audio data stream of a video data stream in an audio zone of a vehicle. The method can be a computer-implemented method and/or a control unit-implemented method. The vehicle can be a motor vehicle. The method comprises providing a first video data stream on a first display device in an interior of the vehicle, and providing a second video data stream on a second display device in the interior of the vehicle. The method further comprises determining an attention of a first occupant of the audio zone of the vehicle with respect to the first video data stream on the first display device and the second video data stream of the second display device, and determining an attention of a second occupant of the audio zone of the vehicle with respect to the first video data stream of the first display device and the second video data stream of the second display device. Furthermore, the method comprises controlling an output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone of the vehicle depending on the attention of the first occupant of the audio zone of the vehicle and the attention of the second occupant of the audio zone of the vehicle.

Vorteilhafterweise kann das Verfahren für einzelne Insassen des Fahrzeugs einen Audiodatenstrom aufmerksamkeitsbasiert und dynamisch steuern. Der Komfort bei einer Audioausgabe von einer Vielzahl von Videodatenströmen auf Anzeigegräten im Innenraum kann hiermit effizient verbessert werden.Advantageously, the method can dynamically control an audio data stream for individual vehicle occupants based on their attention. This can efficiently improve the comfort of audio output from a multitude of video data streams on displays in the interior.

Gemäß einer vorteilhaften Ausgestaltung kann das Verfahren weiterhin ein Ermitteln eines Inhaltstyps des ersten Videodatenstroms, ein Ermitteln eines Inhaltstyps des zweiten Videodatenstroms, und ein Steuern einer Ausgabe des Audiodatenstroms des ersten Videodatenstroms oder des zweiten Videodatenstroms in der Audiozone des Fahrzeugs in Abhängigkeit der Aufmerksamkeit des ersten Insassen des Fahrzeugs, der Aufmerksamkeit des zweiten Insassen des Fahrzeugs, des Inhaltstyps des ersten Videodatenstroms und des Inhaltstyps des zweiten Videodatenstroms. Hiermit kann die Ausgabe des Audiodatenstroms präziser gesteuert werden.According to an advantageous embodiment, the method can further comprise determining a content type of the first video data stream, determining a content type of the second video data stream, and controlling an output of the audio data stream of the first video data stream or the second video data stream in the audio zone of the vehicle depending on the attention of the first occupant of the vehicle, the attention of the second occupant of the vehicle, the content type of the first video data stream, and the content type of the second video data stream. the output of the audio data stream can be controlled more precisely.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das erste Anzeigegerät und/oder das zweite Anzeigegerät ein Display, ein Head-Up-Display, ein mit dem Fahrzeug gekoppeltes, mobiles Endgerät, und/oder ein Projektionsanzeige im Innenraum des Fahrzeugs sein. Hiermit kann die Audioausgabe für eine Vielzahl von Anzeigegeräten effizient gesteuert werden. According to a further advantageous embodiment, the first display device and/or the second display device can be a display, a head-up display, a mobile device coupled to the vehicle, and/or a projection display in the interior of the vehicle. This allows the audio output for a variety of display devices to be efficiently controlled.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs und/oder des zweiten Insassen der Audiozone des Fahrzeugs in Abhängigkeit einer Blickrichtung des jeweiligen Insassen auf den ersten Videodatenstrom des ersten Anzeigegeräts und/oder den zweiten Videodatenstroms des zweiten Anzeigegeräts bestimmt werden, wobei die Blickrichtung des jeweiligen Insassen der Audiozone des Fahrzeugs vorzugsweise mit einer oder mehrerer Innenraumkameras des Fahrzeugs erfasst werden kann. Hiermit kann die Aufmerksamkeit mehrerer Insassen bezüglich mehrerer Videodatenströme von Anzeigegräten des Fahrzeugs effizient bestimmt werden.According to a further advantageous embodiment, the attention of the first occupant of the vehicle's audio zone and/or the second occupant of the vehicle's audio zone can be determined depending on the respective occupant's viewing direction toward the first video data stream of the first display device and/or the second video data stream of the second display device. The viewing direction of the respective occupant of the vehicle's audio zone can preferably be captured using one or more interior cameras of the vehicle. This allows the attention of multiple occupants with respect to multiple video data streams from display devices of the vehicle to be efficiently determined.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs und/oder des zweiten Insassen der Audiozone des Fahrzeugs in Abhängigkeit einer Anzahl an Fixationen des jeweiligen Insassen auf den ersten Videodatenstrom des erstens Anzeigegeräts und/oder den zweiten Videodatenstroms des zweiten Anzeigegeräts bestimmt werden, wobei die Anzahl an Fixationen des jeweiligen Insassen der Audiozone des Fahrzeugs mit einer oder mehreren Innenraumkameras des Fahrzeugs erfasst werden kann. Hiermit kann die Aufmerksamkeit mehrerer Insassen bezüglich mehrerer Videodatenströme von Anzeigegräten des Fahrzeugs effizient bestimmt werden.According to a further advantageous embodiment, the attention of the first occupant of the vehicle's audio zone and/or the second occupant of the vehicle's audio zone can be determined depending on the number of fixations of the respective occupant on the first video data stream of the first display device and/or the second video data stream of the second display device. The number of fixations of the respective occupant of the vehicle's audio zone can be recorded using one or more interior cameras of the vehicle. This allows the attention of multiple occupants with respect to multiple video data streams from display devices of the vehicle to be efficiently determined.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann Verfahren weiterhin ein Ermitteln einer Anzahl an Fixationen des ersten Insassen auf den ersten Videodatenstroms des ersten Anzeigegeräts und/oder auf den zweiten Videodatenstrom des zweiten Anzeigegeräts relativ zu einer Gesamtzahl an Fixationen des ersten Insassen innerhalb eines gleitenden Zeitintervalls mit einer vorgegebenen Zeitdauer, und ein Ermitteln einer Anzahl an Fixationen des zweiten Insassen auf den ersten Videodatenstroms des ersten Anzeigegeräts und/oder auf den zweiten Videodatenstrom des zweiten Anzeigegeräts relativ zu einer Gesamtzahl an Fixationen des zweiten Insassen innerhalb eines gleitenden Zeitintervalls mit einer vorgegebenen Zeitdauer umfassen. Die Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs bezüglich des ersten Videodatenstroms des ersten Anzeigegeräts und des zweiten Videodatenstroms des zweiten Anzeigegeräts kann der ermittelten Anzahl an Fixationen des ersten Insassen auf den ersten Videodatenstroms des ersten Anzeigegeräts und/oder auf den zweiten Videodatenstrom des zweiten Anzeigegeräts relativ zu der Gesamtzahl an Fixationen des ersten Insassen innerhalb des gleitenden Zeitintervalls mit der vorgegebenen Zeitdauer entsprechen. Die Aufmerksamkeit des zweiten Insassen der Audiozone des Fahrzeugs bezüglich des ersten Videodatenstroms des ersten Anzeigegeräts und des zweiten Videodatenstroms des zweiten Anzeigegeräts kann der ermittelten Anzahl an Fixationen des zweiten Insassen auf den ersten Videodatenstroms des ersten Anzeigegeräts und/oder auf den zweiten Videodatenstrom des zweiten Anzeigegeräts relativ zu der Gesamtzahl an Fixationen des zweiten Insassen innerhalb des gleitenden Zeitintervalls mit der vorgegebenen Zeitdauer entsprechen. Hiermit kann die Aufmerksamkeit mehrerer Insassen bezüglich mehrerer Videodatenströme von Anzeigegräten des Fahrzeugs effizient bestimmt werden.According to a further advantageous embodiment, the method may further comprise determining a number of fixations of the first occupant on the first video data stream of the first display device and/or on the second video data stream of the second display device relative to a total number of fixations of the first occupant within a sliding time interval with a predetermined time duration, and determining a number of fixations of the second occupant on the first video data stream of the first display device and/or on the second video data stream of the second display device relative to a total number of fixations of the second occupant within a sliding time interval with a predetermined time duration. The attention of the first occupant of the audio zone of the vehicle with respect to the first video data stream of the first display device and the second video data stream of the second display device can correspond to the determined number of fixations of the first occupant on the first video data stream of the first display device and/or on the second video data stream of the second display device relative to the total number of fixations of the first occupant within the sliding time interval with the predetermined time duration. The attention of the second occupant of the audio zone of the vehicle with respect to the first video data stream of the first display device and the second video data stream of the second display device can correspond to the determined number of fixations of the second occupant on the first video data stream of the first display device and/or on the second video data stream of the second display device relative to the total number of fixations of the second occupant within the sliding time interval with the predetermined time duration. This allows the attention of multiple occupants with respect to multiple video data streams from display devices of the vehicle to be efficiently determined.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Anzahl an Fixationen des jeweiligen Insassen der Audiozone des Fahrzeugs und die Gesamtanzahl der Fixationen des jeweiligen Insassen der Audiozone des Fahrzeugs innerhalb des gleitenden Zeitintervalls mit der vorgegebenen Zeitdauer mit einer oder mehreren Innenraumkameras des Fahrzeugs erfasst werden. Hiermit können Fixationen eines Blicks von Insassen bezüglich Videodatenströmen von Anzeigegeräten des Fahrzeugs effizient erfasst werden.According to a further advantageous embodiment, the number of fixations of the respective occupant in the audio zone of the vehicle and the total number of fixations of the respective occupant in the audio zone of the vehicle within the sliding time interval with the predetermined time duration can be recorded using one or more interior cameras of the vehicle. This allows for efficient recording of occupant gaze fixations with respect to video data streams from the vehicle's display devices.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Steuern der Ausgabe des Audiodatenstroms des ersten Videodatenstroms und des Audiodatenstroms des zweiten Videodatenstroms in der Audiozone des Fahrzeugs in Abhängigkeit der Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs und der Aufmerksamkeit des zweiten Insassen der Audiozone des Fahrzeugs ein Ausgeben des Audiodatenstroms zugehörig zu dem ersten Videodatenstrom oder dem zweiten Videodatenstrom in der Audiozone des Fahrzeugs umfassen, dessen Insasse die höchste Aufmerksamkeit aller Insassen der Audiozone bezüglich des ersten Videodatenstroms oder des zweiten Videodatenstroms aufweist. Hiermit kann die Ausgabe des Audiodatenstroms effizient gesteuert werden.According to a further advantageous embodiment, controlling the output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone of the vehicle depending on the attention of the first occupant of the audio zone of the vehicle and the attention of the second occupant of the audio zone of the vehicle can comprise outputting the audio data stream associated with the first video data stream or the second video data stream in the audio zone of the vehicle whose occupant has the highest attention of all occupants of the audio zone with regard to the first video data stream or the second video data stream. This allows the output of the audio data stream to be controlled efficiently.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Steuern der Ausgabe des Audiodatenstroms des ersten Videodatenstroms und des Audiodatenstroms des zweiten Videodatenstroms in der Audiozone des Fahrzeugs in Abhängigkeit der Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs und der Aufmerksamkeit des zweiten Insassen der Audiozone des Fahrzeugs ein Ausgeben des Audiodatenstrom zugehörig zu dem ersten Videodatenstrom oder dem zweiten Videodatenstrom auf einem mit dem Fahrzeug gekoppelten, mobilen Audioausgabegerät des jeweiligen Insassen umfassen, falls die Aufmerksamkeit des jeweiligen Insassen nicht der höchsten Aufmerksamkeit aller Insassen der Audiozone des Fahrzeugs entspricht. Hiermit kann die Ausgabe des Audiodatenstroms effizient gesteuert werden.According to a further advantageous embodiment, the control of the output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone of the vehicle can be carried out depending on the attention of the first occupant of the audio zone of the vehicle and the attention of the second occupant of the vehicle's audio zone, may include outputting the audio data stream associated with the first video data stream or the second video data stream on a mobile audio output device of the respective occupant coupled to the vehicle if the attention of the respective occupant does not correspond to the highest level of attention of all occupants of the vehicle's audio zone. This allows the output of the audio data stream to be controlled efficiently.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Steuern der Ausgabe des Audiodatenstroms des ersten Videodatenstroms und des Audiodatenstroms des zweiten Videodatenstroms in der Audiozone des Fahrzeugs in Abhängigkeit der Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs und der Aufmerksamkeit des zweiten Insassen der Audiozone des Fahrzeugs ein Verzögern eines Wechsels des Audiodatenstroms des ersten Videodatenstroms und des Audiodatenstroms des zweiten Videodatenstroms in der Audiozone des Fahrzeugs umfassen, falls die Aufmerksamkeit des Insassen des Fahrzeugs mit der höchsten Aufmerksamkeit aller Insassen der Audiozone für ein vorgegebenes Verzögerungszeitintervall nicht mehr der höchsten Aufmerksamkeit aller Insassen des Fahrzeugs entspricht. Hiermit kann die Ausgabe des Audiodatenstroms effizient gesteuert werden.According to a further advantageous embodiment, controlling the output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone of the vehicle depending on the attention of the first occupant of the audio zone of the vehicle and the attention of the second occupant of the audio zone of the vehicle can comprise delaying a change in the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone of the vehicle if the attention of the vehicle occupant with the highest attention of all occupants of the audio zone no longer corresponds to the highest attention of all occupants of the vehicle for a predetermined delay time interval. This allows the output of the audio data stream to be controlled efficiently.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein computerlesbares Medium zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs, wobei das computerlesbare Medium Instruktionen umfasst, die, wenn ausgeführt auf einem Computer und/oder einem Steuergerät, das oben beschriebene Verfahren ausführen.According to a further aspect, the invention is characterized by a computer-readable medium for controlling an output of an audio data stream of a video data stream in an audio zone of a vehicle, wherein the computer-readable medium comprises instructions which, when executed on a computer and/or a control unit, carry out the method described above.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein System zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs, wobei das System dazu ausgebildet ist, das oben beschriebene Verfahren auszuführen.According to a further aspect, the invention is characterized by a system for controlling an output of an audio data stream of a video data stream in an audio zone of a vehicle, wherein the system is designed to carry out the method described above.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein Fahrzeug umfassend das oben beschriebene System zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone des Fahrzeugs.According to a further aspect, the invention is characterized by a vehicle comprising the above-described system for controlling an output of an audio data stream of a video data stream in an audio zone of the vehicle.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention emerge from the claims, the figures, and the description of the figures. All features and combinations of features mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and/or shown alone in the figures, can be used not only in the respective combinations specified, but also in other combinations or even on their own.

Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung. Im Einzelnen zeigen schematisch

1 ein beispielhaftes Verfahren zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs, und
2 ein beispielhaftes System zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs.

A preferred embodiment of the invention is described below with reference to the accompanying drawings. Further details, preferred embodiments, and developments of the invention will emerge from these. In detail, schematically

1 an exemplary method for controlling an output of an audio data stream of a video data stream in an audio zone of a vehicle, and
2 an exemplary system for controlling an output of an audio stream of a video stream in an audio zone of a vehicle.

Im Detail zeigt 1 ein Verfahren 100 zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone eines Fahrzeugs. Das Verfahren kann die Ausgabe des Audiodatenstroms eines Videodatenstroms an eine Aufmerksamkeit von Insassen des Fahrzeugs koppeln. Die Audiozone des Insassen mit der höchsten Aufmerksamkeit bezüglich eines Videodatenstroms eines Anzeigegeräts des Fahrzeugs kann durch das Verfahren für die Ausgabe des Audiodatenstroms des Videodatenstroms ermittelt werden.In detail, 1 a method 100 for controlling an output of an audio stream of a video stream in an audio zone of a vehicle. The method can couple the output of the audio stream of a video stream to an attention level of vehicle occupants. The audio zone of the occupant with the highest attention level regarding a video stream of a vehicle display device can be determined by the method for outputting the audio stream of the video stream.

Das Verfahren 100 kann einen ersten Videodatenstroms auf einem ersten Anzeigegerät in einem Innenraum des Fahrzeugs bereitstellen. Beispielsweise kann der erste Anzeigegerät ein Anzeigegerät eines Entertainmentsystems einer zweiten Sitzreihe eines Fahrzeugs sein. Beispielsweise kann das erste Anzeigegerät ein Anzeigegerät eines Entertainmentsystems eines Beifahrers des Fahrzeugs sein. Das Verfahren 100 kann einen zweiten Videodatenstroms auf einem zweiten Anzeigegerät in dem Innenraum des Fahrzeugs bereitstellen 104. Beispielsweise kann der zweite Anzeigegerät ein Anzeigegerät eines Entertainmentsystem einer zweiten Sitzreihe eines Fahrzeugs sein. Beispielsweise kann das zweite Anzeigegerät ein Anzeigegerät eines Entertainmentsystems eines Beifahrers des Fahrzeugs sein.The method 100 may provide a first video data stream on a first display device in an interior of the vehicle. For example, the first display device may be a display device of an entertainment system of a second row of seats in a vehicle. For example, the first display device may be a display device of an entertainment system of a front passenger of the vehicle. The method 100 may provide 104 a second video data stream on a second display device in the interior of the vehicle. For example, the second display device may be a display device of an entertainment system of a second row of seats in a vehicle. For example, the second display device may be a display device of an entertainment system of a front passenger of the vehicle.

Das Verfahren 100 kann eine Aufmerksamkeit eines ersten Insassen der Audiozone des Fahrzeugs bezüglich des ersten Videodatenstroms auf dem ersten Anzeigegerät und des zweiten Videodatenstroms des zweiten Anzeigegeräts bestimmen 106. Weiter kann das Verfahren 100 eine Aufmerksamkeit eines zweiten Insassen der Audiozone des Fahrzeugs bezüglich des ersten Videodatenstroms des ersten Anzeigegeräts und des zweiten Videodatenstroms des zweiten Anzeigegeräts bestimmen 108. Die Aufmerksamkeit kann durch eine oder mehrere Innraumkameras des Fahrzeugs bestimmt werden. Mit der Innenraumkamera bzw. den Innenraumkameras kann detektiert werden, wie aufmerksam Insassen einen oder mehrere Videodatenströme im Fahrzeug verfolgen. Konkret kann die Aufmerksamkeit unter Verwendung einer Anzahl von Fixationen eines Insassen des Fahrzeugs bezüglich einen Videodatenstroms eines Anzeigegeräts ermittelt werden. Eine Fixation kann als ein ungefähr 0,3 Sekunden dauerndes Verweilen eines Auges eines Insassen des Fahrzeugs an einem Fixationspunkt festgelegt werden. Ein Fixationspunkt kann ein Punkt im Bereich eines Anzeigegeräts sein, welches einen Videodatenstrom anzeigt. Für jeden Insassen und/oder für jedes Anzeigegerät mit einem Videodatenstrom kann eine Aufmerksamkeit unter Verwendung der Anzahl an Fixationen ermittelt werden. Beispielsweise kann für ein gleitendes Zeitintervall die Anzahl an Fixationen auf ein Anzeigegerät relativ zu einer Gesamtzahl von Fixationen für einen Insassen detektiert werden. Dieser Wert kann für jeden Insassen einer Audiozone detektiert werden. Durch einen Vergleich dieses Werts kann der Insasse ermittelt werden, der den höchsten Anteil an Fixationen bezüglich eines Anzeigegeräts in dem gleitenden Intervall aufweist. Der Insasse mit dem höchsten Anteil an Fixationen bezüglich eines Anzeigegeräts in dem gleitenden Intervall kann als Insasse mit der höchsten Aufmerksamkeit bezüglich eines Anzeigegeräts bestimmt werden.The method 100 may determine 106 an attention of a first occupant of the audio zone of the vehicle with respect to the first video stream on the first display device and the second video stream of the second display device. Further, the method 100 may determine an attention of a second occupant of the audio zone of the vehicle with respect to the first video stream of the first display device and the second video stream of the second display device 108. Attention can be determined by one or more interior cameras of the vehicle. The interior camera(s) can be used to detect how attentively occupants follow one or more video data streams in the vehicle. Specifically, attention can be determined using a number of fixations of a vehicle occupant with respect to a video data stream from a display device. A fixation can be defined as an eye of a vehicle occupant remaining at a fixation point for approximately 0.3 seconds. A fixation point can be a point in the area of a display device that displays a video data stream. For each occupant and/or for each display device with a video data stream, attention can be determined using the number of fixations. For example, for a sliding time interval, the number of fixations on a display device relative to a total number of fixations for an occupant can be detected. This value can be detected for each occupant in an audio zone. By comparing this value, the occupant with the highest proportion of fixations on a display device in the sliding interval can be determined. The occupant with the highest proportion of fixations on a display device in the sliding interval can be determined as the occupant with the highest attention to a display device.

Das Verfahren 100 kann schließlich eine Ausgabe des Audiodatenstroms des ersten Videodatenstroms und des Audiodatenstroms des zweiten Videodatenstroms in der Audiozone des Fahrzeugs in Abhängigkeit der Aufmerksamkeit des ersten Insassen der Audiozone des Fahrzeugs und der Aufmerksamkeit des zweiten Insassen der Audiozone des Fahrzeugs steuern 110. Das Verfahren 100 kann den Audiodatenstrom desjenigen Videodatenstroms in der Audiozone von mehreren Insassen ausgeben, dessen Aufmerksamkeit bezüglich des Videodatenstroms eines Anzeigegeräts am höchsten ist. Weitere Insassen der Audiozone können die Videodatenströme nur visuell wahrnehmen oder über einen gekoppeltes, mobiles Audioausgabegerät, beispielsweise über einen, mit dem Fahrzeug gekoppelten Kopfhörer, einen Audiodatenstrom zugehörig zu einem weiteren Videodatenstrom anhören.Finally, the method 100 can control 110 an output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone of the vehicle depending on the attention of the first occupant of the audio zone of the vehicle and the attention of the second occupant of the audio zone of the vehicle. The method 100 can output the audio data stream of that video data stream in the audio zone of multiple occupants whose attention is highest with respect to the video data stream of a display device. Other occupants of the audio zone can only visually perceive the video data streams or listen to an audio data stream associated with another video data stream via a coupled mobile audio output device, for example, via headphones coupled to the vehicle.

Im Detail zeigt 2 ein beispielhaftes System 200 zum Steuern einer Ausgabe eines Audiodatenstroms eines Videodatenstroms in einer Audiozone 204, 206 eines Fahrzeugs 202. Das Fahrzeug kann zwei Audiozonen 204, 206 umfassen. Weiter kann das Fahrzeug mehrere Anzeigegräte 208, 210, 212 umfassen. Im Innenraum des Fahrzeugs können sich mehrere Insassen 214, 216, 218, 220 befinden. Die Insassen können durch einen Innenraumkamera 222 erfasst werden. Die Insassen 214, 216, 218, 220 können auf verschiedene Anzeigegeräte 208, 210, 212 blicken. Die Innenraumkamera 222 kann die Blicke, die Blickrichtung und/oder Fixationen der Insassen 214, 216, 218, 220 des Fahrzeug 202. Auf jedem Anzeigegerät 208, 210, 212 kann ein Videodatenstrom bereitgestellt werden, wobei sich der Videodatenstrom auf jedem Anzeigegerät 208, 210, 212 unterscheiden kann. Beispielsweise kann die Innenraumkamera 222 Fixationen 226, 228, 230 des Insassen 220 der Audiozone 206 für die Anzeigegräte 208, 210, 212 erfassen. Beispielsweise kann die Innenraumkamera 222 Fixationen 232, 234 des Insassen 218 der Audiozone 206 für die Anzeigegräte 208, 210 erfassen. Beispielsweise kann die Innenraumkamera 222 Fixationen 224 des Insassen 216 der Audiozone 204 für das Anzeigegräte 212 erfassen. Das System 200 kann das Verfahren 100 in dem Fahrzeug 202 ausführen, um einen entsprechenden Audiodatenstrom zugehörig zu einem Videodatenstrom eines Anzeigegeräts 208, 210, 212 in der jeweiligen Audiozone 204, 206 bereitzustellen.In detail, 2 An exemplary system 200 for controlling an output of an audio data stream of a video data stream in an audio zone 204, 206 of a vehicle 202. The vehicle may include two audio zones 204, 206. Furthermore, the vehicle may include multiple display devices 208, 210, 212. Multiple occupants 214, 216, 218, 220 may be located in the interior of the vehicle. The occupants may be captured by an interior camera 222. The occupants 214, 216, 218, 220 may view different display devices 208, 210, 212. The interior camera 222 can capture the gazes, gaze direction, and/or fixations of the occupants 214, 216, 218, 220 of the vehicle 202. A video data stream can be provided on each display device 208, 210, 212, wherein the video data stream can differ on each display device 208, 210, 212. For example, the interior camera 222 can capture fixations 226, 228, 230 of the occupant 220 of the audio zone 206 for the display devices 208, 210, 212. For example, the interior camera 222 can capture fixations 232, 234 of the occupant 218 of the audio zone 206 for the display devices 208, 210. For example, the interior camera 222 may capture fixations 224 of the occupant 216 of the audio zone 204 for the display device 212. The system 200 may execute the method 100 in the vehicle 202 to provide a corresponding audio data stream associated with a video data stream of a display device 208, 210, 212 in the respective audio zone 204, 206.

BezugszeichenlisteList of reference symbols

100100: VerfahrenProceedings
102102: Bereitstellen eines ersten VideodatenstromsProviding a first video data stream
104104: Bereitstellen eines zweiten VideodatenstromsProviding a second video stream
106106: Bestimmen einer AufmerksamkeitDetermining attention
108108: Bestimmen einer AufmerksamkeitDetermining attention
110110: Steuern einer Ausgabe eines AudiodatenstromsControlling an output of an audio stream
200200: Systemsystem
202202: Fahrzeugvehicle
204204: AudiozoneAudio zone
206206: AudiozoneAudio zone
208208: AnzeigegerätDisplay device
210210: AnzeigegerätDisplay device
212212: AnzeigegerätDisplay device
214214: Insasseinmate
216216: Insasseinmate
218218: Insasseinmate
220220: Insasseinmate
222222: InnenraumkameraInterior camera
224224: FixationenFixations
226226: FixationenFixations
228228: FixationenFixations
230230: FixationenFixations
232232: FixationenFixations
234234: FixationenFixations

Claims

A method (100) for controlling the output of an audio data stream or a video data stream in an audio zone (204, 206) of a vehicle (202), the method (100) comprising: Providing (102) a first video data stream on a first display device (208, 210, 212) in an interior of the vehicle (202); Providing (104) a second video data stream on a second display device (208, 210, 212) in the interior of the vehicle (202); Determining (106) an attention level of a first occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) with respect to the first video data stream on the first display device (214, 216, 218, 220) and the second video data stream of the second display device (214, 216, 218, 220); Determining (106) an attention level of a second occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) with respect to the first video data stream of the first display device (214, 216, 218, 220) and the second video data stream of the second display device (214, 216, 218, 220); and controlling (110) an output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone (204, 206) of the vehicle (202) depending on the attention of the first occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) and the attention of the second occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202), wherein controlling the output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone (204, 206) of the vehicle (202) depending on the attention of the first occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) and the attention of the second occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) comprises: Outputting the audio data stream associated with the first video data stream or the second video data stream in the audio zone (204, 206) of the vehicle (202) whose occupant (214, 216, 218, 220) has the highest attention of all occupants (214, 216, 218, 220) of the audio zone (204, 206) with respect to the first video data stream or the second video data stream.

Procedure (100) according to Claim 1 , the method further comprising: determining a content type of the first video data stream; determining a content type of the second video data stream; and controlling an output of the audio data stream of the first video data stream or the second video data stream in the audio zone (204, 206) of the vehicle (202) depending on the attention of the first occupant (214, 216, 218, 220) of the vehicle (202), the attention of the second occupant (214, 216, 218, 220) of the vehicle (202), the content type of the first video data stream and the content type of the second video data stream.

Method according to one of the preceding claims, wherein the first display device (208, 210, 212) and/or the second display device (208, 210, 212) is a display, a head-up display, a mobile terminal coupled to the vehicle, and/or a projection display in the interior of the vehicle (202).

Method according to one of the preceding claims, wherein the attention of the first occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) and/or of the second occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) is determined as a function of a viewing direction of the respective occupant (214, 216, 218, 220) to the first video data stream of the first display device (208, 210, 212) and/or the second video data stream of the second display device (208, 210, 212); wherein the viewing direction of the respective occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) is preferably detected with one or more interior cameras (222) of the vehicle (202).

Method (100) according to one of the preceding claims, wherein the attention of the first occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) and/or of the second occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) is determined as a function of a number of fixations of the respective occupant (214, 216, 218, 220) on the first video data stream of the first display device (208, 210, 212) and/or the second video data stream of the second display device (208, 210, 212); wherein the number of fixations of the respective Occupants (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) are detected with one or more interior cameras (222) of the vehicle (202).

The method (100) according to any one of the preceding claims, the method (100) comprising: Determining a number of fixations of the first occupant (214, 216, 218, 220) on the first video data stream of the first display device (208, 210, 212) and/or on the second video data stream of the second display device (208, 210, 212) relative to a total number of fixations of the first occupant (214, 216, 218, 220) within a sliding time interval with a predetermined time duration; Determining a number of fixations of the second occupant (214, 216, 218, 220) on the first video data stream of the first display device (208, 210, 212) and/or on the second video data stream of the second display device (208, 210, 212) relative to a total number of fixations of the second occupant (214, 216, 218, 220) within a sliding time interval with a predetermined time duration; wherein the attention of the first occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) with respect to the first video data stream of the first display device (208, 210, 212) and the second video data stream of the second display device (208, 210, 212) corresponds to the determined number of fixations of the first occupant (214, 216, 218, 220) on the first video data stream of the first display device (208, 210, 212) and/or on the second video data stream of the second display device (208, 210, 212) relative to the total number of fixations of the first occupant (214, 216, 218, 220) within the sliding time interval with the predetermined time duration; and/or wherein the attention of the second occupant (214, 216, 218, 220) of the audio zone of the vehicle with respect to the first video data stream of the first display device (208, 210, 212) and the second video data stream of the second display device (208, 210, 212) corresponds to the determined number of fixations of the second occupant (214, 216, 218, 220) on the first video data stream of the first display device (208, 210, 212) and/or on the second video data stream of the second display device (208, 210, 212) relative to the total number of fixations of the second occupant (214, 216, 218, 220) within the sliding time interval with the predetermined time duration.

Procedure according to Claim 6 , wherein the number of fixations of the respective occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) and the total number of fixations of the respective occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) within the sliding time interval with the predetermined time duration are recorded with one or more interior cameras (222) of the vehicle (202).

The method according to any one of the preceding claims, wherein controlling the output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone (204, 206) of the vehicle (202) depending on the attention of the first occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) and the attention of the second occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) comprises: Outputting the audio data stream associated with the first video data stream or the second video data stream on a mobile audio output device of the respective occupant (214, 216, 218, 220) coupled to the vehicle (202) if the attention of the respective occupant (214, 216, 218, 220) does not correspond to the highest level of attention of all occupants (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202).

The method of any preceding claim, wherein controlling the output of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone (204, 206) of the vehicle (202) depending on the attention of the first occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) and the attention of the second occupant (214, 216, 218, 220) of the audio zone (204, 206) of the vehicle (202) comprises: Delaying a change of the audio data stream of the first video data stream and the audio data stream of the second video data stream in the audio zone (204, 206) of the vehicle (202) if the attention of the occupant (214, 216, 218, 220) of the vehicle (202) with the highest attention of all occupants (214, 216, 218, 220) of the audio zone (204, 206) no longer corresponds to the highest attention of all occupants (214, 216, 218, 220) of the vehicle (202) for a predetermined delay time interval.

A computer-readable medium for controlling an output of an audio data stream of a video data stream in an audio zone (204, 206) of a vehicle (202), wherein the computer-readable medium comprises instructions which, when executed on a computer and/or a control unit, implement the method (100) according to one of the Claims 1 until 9 carry out.

System (200) for controlling an output of an audio data stream of a video data stream in an audio zone (204, 206) of a vehicle (202), wherein the system (200) is designed to carry out the method (100) according to one of the Claims 1 until 9 to execute.

Vehicle comprising the system (200) for controlling an output of an audio data stream of a video data stream in an audio zone (204, 206) of the vehicle (202) according to Claim 11 .