DE102023111967A1

DE102023111967A1 - Device of a vehicle and method

Info

Publication number: DE102023111967A1
Application number: DE102023111967.2A
Authority: DE
Inventors: Alexander Nock; Tobias Sattler
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2023-05-08
Filing date: 2023-05-08
Publication date: 2024-11-14

Abstract

Eine Vorrichtung eines Fahrzeugs (102) umfasst mindestens eine Anzeigeeinheit (110, 122, 124, 126), die dazu ausgebildet ist, einem Fahrzeugführer (104) des Fahrzeugs (102) eine visuelle Information anzuzeigen, und mindestens eine Bilderfassungseinheit (112, 120), die dazu ausgebildet ist, mindestens ein Bild mit einer Abbildung eines weiteren Verkehrsteilnehmers (146) außerhalb des Fahrzeugs (102) zu erfassen und dem Bild entsprechende Bilddaten zu erzeugen. Die Vorrichtung umfasst ferner eine Steuereinheit (138), die dazu ausgebildet ist, auf Grundlage der Bilddaten eine Handgeste des weiteren Verkehrsteilnehmers (146) zu erkennen und die Anzeigeeinheit (110, 122, 124, 126) derart anzusteuern, dass die Anzeigeeinheit (110, 122, 124, 126) dem Fahrzeugführer (104) eine Mitteilung anzeigt, die den Fahrzeugführer (104) über die Handgeste des weiteren Verkehrsteilnehmers (146) informiert.

A device of a vehicle (102) comprises at least one display unit (110, 122, 124, 126) which is designed to display visual information to a driver (104) of the vehicle (102), and at least one image capture unit (112, 120) which is designed to capture at least one image with a depiction of another road user (146) outside the vehicle (102) and to generate image data corresponding to the image. The device further comprises a control unit (138) which is designed to recognize a hand gesture of the other road user (146) on the basis of the image data and to control the display unit (110, 122, 124, 126) such that the display unit (110, 122, 124, 126) displays a message to the driver (104) which informs the driver (104) about the hand gesture of the other road user (146).

Description

Die Erfindung betrifft eine Vorrichtung eines Fahrzeugs. Die Erfindung betrifft ferner ein Verfahren um einem Fahrzeugführer des Fahrzeugs eine Handgeste eines weiteren Verkehrsteilnehmers anzuzeigen.The invention relates to a device of a vehicle. The invention further relates to a method for displaying a hand gesture of another road user to a driver of the vehicle.

Die DE 10 2017 208 728 A1 offenbart ein Verfahren zum Erzeugen einer Fahranweisung für ein autonomes Fahrzeug. Bei dem Verfahren wird eine Geste oder Pose eines Verkehrspostens erkannt und eine der Geste bzw. Pose entsprechende Fahranweisung erzeugt.The DE 10 2017 208 728 A1 discloses a method for generating a driving instruction for an autonomous vehicle. In the method, a gesture or pose of a traffic officer is recognized and a driving instruction corresponding to the gesture or pose is generated.

Aus der DE 10 2018 004 113 A1 ist eine Vorrichtung zum Ermitteln eines für ein Fahrzeug erforderlichen Freiraumes bekannt. Die Vorrichtung ist dazu ausgebildet, Gesten anderer Verkehrsteilnehmer zu erfassen und zu ermitteln, ob diese Gesten eine Aufforderung loszufahren oder zu stoppen darstellen.From the DE 10 2018 004 113 A1 A device for determining the clearance required for a vehicle is known. The device is designed to detect gestures from other road users and to determine whether these gestures represent an instruction to drive off or to stop.

Die DE 10 2021 204 608 A1 offenbart ein Verfahren zum Betreiben eines Assistenzsystems eines Fahrzeugs. Bei dem Verfahren wird eine Geste in der Umgebung des Fahrzeugs erfasst, um eine Funktion des Fahrzeugs durchzuführen, beispielsweise eine Heckklappe des Fahrzeugs zu öffnen.The DE 10 2021 204 608 A1 discloses a method for operating an assistance system of a vehicle. In the method, a gesture in the surroundings of the vehicle is detected in order to carry out a function of the vehicle, for example to open a tailgate of the vehicle.

Im Straßenverkehr wird an vielen Stellen mit Handgesten kommuniziert, beispielsweise um die Vorfahrt unter den Verkehrsteilnehmern zu regeln. Daher ist es wichtig, dass ein Fahrzeugführer die Handgesten weiterer Verkehrsteilnehmer wahrnimmt. Werden Handgesten durch einen Fahrzeugführer übersehen oder falsch interpretiert, kann ein die Verkehrssicherheit gefährdendes Missverständnis entstehen.Hand gestures are used in many areas of road traffic to communicate, for example to regulate right of way between road users. It is therefore important that a driver is aware of the hand gestures of other road users. If a driver overlooks or misinterprets hand gestures, this can lead to a misunderstanding that endangers road safety.

Aufgabe der Erfindung ist es, eine Vorrichtung eines Fahrzeugs und ein Verfahren anzugeben, die einen Fahrzeugführer des Fahrzeugs unterstützen und damit die Verkehrssicherheit erhöhen.The object of the invention is to provide a device of a vehicle and a method which support a driver of the vehicle and thus increase road safety.

Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 und durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.This object is achieved by a device having the features of claim 1 and by a method having the features of the independent method claim. Advantageous further developments are specified in the dependent claims.

Die vorgeschlagene Vorrichtung eines Fahrzeugs umfasst mindestens eine Anzeigeeinheit, die dazu ausgebildet ist, einem Fahrzeugführer des Fahrzeugs eine visuelle Information anzuzeigen, und mindestens eine Bilderfassungseinheit, die dazu ausgebildet ist, mindestens ein Bild mit einer Abbildung eines weiteren Verkehrsteilnehmers außerhalb des Fahrzeugs zu erfassen und dem Bild entsprechende Bilddaten zu erzeugen. Die Vorrichtung umfasst ferner eine Steuereinheit, die dazu ausgebildet ist, auf Grundlage der Bilddaten eine Handgeste des weiteren Verkehrsteilnehmers zu erkennen und die Anzeigeeinheit derart anzusteuern, dass die Anzeigeeinheit dem Fahrzeugführer eine Mitteilung anzeigt, die den Fahrzeugführer über die Handgeste des weiteren Verkehrsteilnehmers informiert.The proposed device of a vehicle comprises at least one display unit which is designed to display visual information to a driver of the vehicle, and at least one image capture unit which is designed to capture at least one image with a depiction of another road user outside the vehicle and to generate image data corresponding to the image. The device further comprises a control unit which is designed to recognize a hand gesture of the other road user on the basis of the image data and to control the display unit such that the display unit displays a message to the driver informing the driver of the hand gesture of the other road user.

Die Anzeigeeinheit kann eine Anzeigeeinheit des Fahrzeugs sein. Alternativ kann die Anzeigeeinheit auch Teil eines mobilen Endgerätes sein, das durch den Fahrzeugführer in den Fahrzeuginnenraum eingebracht wurde, beispielsweise eine Augmented-Reality-Brille. Insbesondere kann die Vorrichtung auch mehrere Anzeigeeinheiten umfassen, beispielsweise eine Anzeigeeinheit des Fahrzeugs und eine Anzeigeeinheit eines mobilen Endgerätes. Die Bilderfassungseinheit kann ebenfalls Teil des Fahrzeugs oder eines durch den Fahrzeugführer eingebrachten mobilen Endgerätes sein. Vorzugsweise umfasst die Vorrichtung mehrere Bilderfassungseinheiten, insbesondere eine Bilderfassungseinheit des Fahrzeugs und eine Bilderfassungseinheit eines mobilen Endgerätes.The display unit can be a display unit of the vehicle. Alternatively, the display unit can also be part of a mobile terminal that was brought into the vehicle interior by the driver, for example augmented reality glasses. In particular, the device can also comprise several display units, for example a display unit of the vehicle and a display unit of a mobile terminal. The image capture unit can also be part of the vehicle or of a mobile terminal brought in by the driver. Preferably, the device comprises several image capture units, in particular an image capture unit of the vehicle and an image capture unit of a mobile terminal.

Im Straßenverkehr werden nicht immer alle Handgesten anderer Verkehrsteilnehmer durch den Fahrzeugführer wahrgenommen, insbesondere wenn der Blick des Fahrzeugführers nicht in Richtung der anderen Verkehrsteilnehmer gerichtet ist. Die vorgeschlagene Vorrichtung ist ein Assistenzsystem, dass die Aufmerksamkeit des Fahrzeugführers auf Handgesten anderer Verkehrsteilnehmer lenkt. Hierzu erfasst die Vorrichtung das Bild des weiteren Verkehrsteilnehmers, d.h. insbesondere ein Bild eines Bereichs außerhalb des Fahrzeugs. Die dem Bild entsprechenden Bilddaten werden durch die Steuereinheit der Vorrichtung verarbeitet, um die Handgeste des weiteren Verkehrsteilnehmers in dem Bild zu erkennen. Wird eine Handgeste erkannt, steuert die Steuereinheit die Anzeigeeinheit der Vorrichtung an, um den Fahrzeugführer durch die Mitteilung über die Handgeste zu informieren. Durch die Mitteilung wird die Aufmerksamkeit des Fahrzeugführers auf die Handgeste gelenkt. Der Fahrzeugführer kann die Handgeste dann interpretieren und entsprechend reagieren. Die Vorrichtung nimmt, anders als der Fahrzeugführer, alle in ihrem Blickfeld liegenden Handgesten gleichzeitig wahr. Durch die Vorrichtung wird der Fahrzeugführer daher auf alle Handgesten hingewiesen, egal worauf die Aufmerksamkeit des Fahrzeugführers momentan gerichtet ist. Die Vorrichtung erlaubt es dem Fahrzeugführer, auch in einer komplexen Verkehrssituation alle Handgesten von Verkehrsteilnehmer in der Umgebung des Fahrzeugs wahrzunehmen. Hierdurch leistet die Vorrichtung ihren Beitrag zu Verkehrssicherheit.In road traffic, not all hand gestures of other road users are always perceived by the driver, especially if the driver is not looking in the direction of the other road users. The proposed device is an assistance system that draws the driver's attention to hand gestures of other road users. To do this, the device captures the image of the other road user, i.e. in particular an image of an area outside the vehicle. The image data corresponding to the image are processed by the control unit of the device in order to recognize the hand gesture of the other road user in the image. If a hand gesture is recognized, the control unit controls the display unit of the device in order to inform the driver of the hand gesture by means of the message. The message draws the driver's attention to the hand gesture. The driver can then interpret the hand gesture and react accordingly. Unlike the driver, the device perceives all hand gestures in its field of vision at the same time. The device therefore draws the driver's attention to all hand gestures, regardless of what the driver's attention is currently focused on. The device allows the driver to perceive all hand gestures of road users in the vicinity of the vehicle, even in a complex traffic situation. In this way, the device makes a contribution to road safety.

Die Verarbeitung der Bilddaten durch die Steuereinheit erfolgt vorzugsweise unter Verwendung eines Maschinenlernverfahrens, beispielsweise unter Verwendung eines neuronalen Netzwerkes, insbesondere eines Convolutional Neural Network. Trainingsdaten für das Training eines solchen Maschinenlernverfahrens umfassen insbesondere Beispielbilder von Verkehrssituationen, in denen Handgesten von Verkehrsteilnehmern zu sehen sind.The processing of the image data by the control unit is preferably carried out using a machine learning method, for example using a neural network, in particular a convolutional neural network. Training data for training such a machine learning method include in particular example images of traffic situations in which hand gestures of road users can be seen.

Bei einer Ausführungsform ist der weitere Verkehrsteilnehmer ein Fahrzeugführer eines weiteren Fahrzeugs. Das Bild umfasst bei einer solchen Ausführungsform insbesondere ein Fahrerfenster, beispielsweise die Frontscheibe oder ein zwischen einer A-Säule und einer B-Säule des weiteren Fahrzeugs angeordnetes Fenster. Gerade in komplexen Verkehrssituationen achtet der Fahrzeugführer weniger auf die Fahrzeugführer anderer Fahrzeuge als auf die anderen Fahrzeuge selbst. Aber auch Reflexe an Scheiben können es dem Fahrzeugführer schwer machen, andere Fahrzeugführer in ihren Fahrzeugen wahrzunehmen. Dadurch, dass die Vorrichtung den Fahrzeugführer über Handgesten anderer Fahrzeugführer informiert, wird die Verkehrssicherheit weiter erhöht.In one embodiment, the other road user is a driver of another vehicle. In such an embodiment, the image includes in particular a driver's window, for example the windshield or a window arranged between an A-pillar and a B-pillar of the other vehicle. In complex traffic situations in particular, the driver pays less attention to the drivers of other vehicles than to the other vehicles themselves. But reflections on windows can also make it difficult for the driver to perceive other drivers in their vehicles. The fact that the device informs the driver about hand gestures of other drivers further increases road safety.

Bei einer weiteren Ausführungsform umfasst die Vorrichtung eine Augmented-Reality-Brille. Die Augmented-Reality-Brille umfasst die Anzeigeeinheit und die Anzeigeeinheit ist dazu ausgebildet, dem Fahrzeugführer eine erweiterte Realität anzuzeigen. Die Steuereinheit ist dazu ausgebildet, die Anzeigeeinheit derart anzusteuern, dass die Anzeigeeinheit die Mitteilung dem Fahrzeugführer als Teil der erweiterten Realität anzeigt. Eine Augmented-Reality-Brille, auch Smartglasses, Smartbrille oder Datenbrille genannt, ist ein mobiles Endgerät, dass von dem Fahrzeugführer wie eine Brille getragen wird. Die Anzeigeeinheit der Augmented-Reality-Brille ist dazu ausgebildet, dem Fahrzeugführer computererzeugte virtuelle Inhalte anzuzeigen, die der Wahrnehmung des Fahrzeugführers von der realen Welt überlagert werden. Diese virtuellen Inhalte bilden die erweiterte Realität. Bei dieser Ausführungsform wird die Mitteilung als ein solcher der Wahrnehmung des Fahrzeugführers von der realen Welt überlagerter virtueller Inhalt angezeigt. Hierdurch wird die Mitteilung immer im Sichtfeld des Fahrzeugführers angezeigt und ist durch den Fahrzeugführer besonders leicht wahrzunehmen.In a further embodiment, the device comprises augmented reality glasses. The augmented reality glasses comprise the display unit and the display unit is designed to show the driver an augmented reality. The control unit is designed to control the display unit in such a way that the display unit shows the message to the driver as part of the augmented reality. Augmented reality glasses, also called smart glasses, smart glasses or data glasses, are a mobile device that is worn by the driver like glasses. The display unit of the augmented reality glasses is designed to show the driver computer-generated virtual content that is superimposed on the driver's perception of the real world. This virtual content forms the augmented reality. In this embodiment, the message is displayed as virtual content that is superimposed on the driver's perception of the real world. As a result, the message is always displayed in the driver's field of vision and is particularly easy for the driver to perceive.

Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, die Anzeigeeinheit derart anzusteuern, dass die Anzeigeeinheit die Mitteilung gegenüber anderen Elementen der erweiterten Realität priorisiert anzeigt. Die Priorisierung der Mitteilung kann insbesondere durch eine Darstellung im Vordergrund gegenüber den virtuellen Inhalten der erweiterten Realität erfolgen. Alternativ oder zusätzlich, können andere virtuelle Inhalte, die in der Umgebung der Mitteilung dargestellt werden, ausgeblendet werden. Dieses Ausblenden anderer virtueller Inhalte in der Umgebung der Mittelung kann insbesondere dann erfolgen, wenn die Mitteilung dem Fahrzeugführer an einer Position im seinem Sichtfeld angezeigt wird, die der Position der Handgeste entspricht. Beim Einsatz von Augmented-Reality-Brillen kann es vorkommen, dass weitere Verkehrsteilnehmer durch die virtuellen Inhalte überblendet werden. Dadurch kann der Fahrzeugführer nur noch schlecht oder gar nicht erkennen, ob andere Verkehrsteilnehmer durch Handgesten kommunizieren wollen. Durch Priorisieren der Mitteilung wird die Aufmerksamkeit des Fahrzeugführers von anderen virtuellen Inhalten hin zu der Handgeste gelenkt. Hierdurch wird die Verkehrssicherheit weiter erhöht.In a further embodiment, the control unit is designed to control the display unit in such a way that the display unit displays the message with priority over other elements of the augmented reality. The prioritization of the message can be achieved in particular by displaying it in the foreground over the virtual content of the augmented reality. Alternatively or additionally, other virtual content that is displayed in the vicinity of the message can be hidden. This hiding of other virtual content in the vicinity of the message can be achieved in particular if the message is displayed to the driver at a position in his field of vision that corresponds to the position of the hand gesture. When using augmented reality glasses, it can happen that other road users are overshadowed by the virtual content. This makes it difficult or impossible for the driver to recognize whether other road users want to communicate using hand gestures. By prioritizing the message, the driver's attention is drawn from other virtual content to the hand gesture. This further increases road safety.

Bei einer weiteren Ausführungsform umfasst die Vorrichtung die Augmented-Reality-Brille, wobei die Augmented-Reality-Brille die Bilderfassungseinheit umfasst. Bei dieser Ausführungsform ist das Sichtfeld der Bilderfassungseinheit vergleichbar mit dem Sichtfeld des Fahrzeugführers. Dies ist insbesondere in Kombination mit zumindest einer weiteren Bilderfassungseinheite vorteilhaft, die stationär in dem Fahrzeug angeordnet ist. Durch einen Vergleich der Bilder, die von den beiden Bilderfassungseinheiten erfasst werden, kann die Steuereinheit ermitteln, ob die Handgeste durch den Fahrzeugführer wahrnehmbar ist.In a further embodiment, the device comprises the augmented reality glasses, wherein the augmented reality glasses comprise the image capture unit. In this embodiment, the field of view of the image capture unit is comparable to the field of view of the driver. This is particularly advantageous in combination with at least one further image capture unit that is arranged stationary in the vehicle. By comparing the images captured by the two image capture units, the control unit can determine whether the hand gesture is perceptible to the driver.

Bei einer weiteren Ausführungsform umfasst die Vorrichtung die Augmented-Reality-Brille. Die Augmented-Reality-Brille umfasst eine Blickerfassungseinheit, die dazu ausgebildet ist, eine Augenbewegung des Fahrzeugführers zu erfassen und der Augenbewegung entsprechende Augenbewegungsdaten zu erzeugen. Die Steuereinheit ist dazu ausgebildet, auf Grundlage der Augenbewegungsdaten zu ermitteln, ob der Fahrzeugführer die Handgeste des weiteren Verkehrsteilnehmers wahrgenommen hat und die Anzeigeeinheit zum Anzeigen der Mitteilung anzusteuern, wenn die Steuereinheit ermittelt hat, dass der Fahrzeugführer die Handgeste des weiteren Verkehrsteilnehmers nicht wahrgenommen hat. Bei dieser Ausführungsform erfolgt ein Eye-Tracking mit Hilfe der Augmented-Reality-Brille, um zuverlässig zu bestimmen, ob der Fahrzeugführer die Handgeste wahrnimmt. Wenn der Fahrzeugführer die Handgeste wahrgenommen hat, muss der Fahrzeugführer nicht mehr über die Handgeste informiert werden. Das Anzeigen der Mitteilung kann ausbleiben, um den Fahrzeugführer nicht von der Fahraufgabe abzulenken. Wenn der Fahrzeugführer die Handgeste hingegen nicht wahrgenommen hat, wird er durch die Mitteilung über die Handgeste informiert. Die Steuereinheit kann auf Grundlage der Augenbewegungsdaten insbesondere eine Blickrichtung des Fahrzeugführers ermitteln und auf Grundlage der Blickrichtung bestimmen, ob der Fahrzeugführer in Richtung der Handgeste blickt. Wenn der Fahrzeugführer zumindest einen vorbestimmten Zeitraum in Richtung der Handgeste blickt, kann davon ausgegangen werden, dass der Fahrzeugführer die Handgeste des weiteren Verkehrsteilnehmers wahrgenommen hat.In a further embodiment, the device comprises the augmented reality glasses. The augmented reality glasses comprise a gaze detection unit which is designed to detect an eye movement of the driver and to generate eye movement data corresponding to the eye movement. The control unit is designed to determine on the basis of the eye movement data whether the driver has perceived the hand gesture of the other road user and to control the display unit to display the message if the control unit has determined that the driver has not perceived the hand gesture of the other road user. In this embodiment, eye tracking is carried out using the augmented reality glasses in order to reliably determine whether the driver perceives the hand gesture. If the driver has perceived the hand gesture, the driver no longer needs to be informed about the hand gesture. The message can be omitted in order not to distract the driver from the driving task. If, on the other hand, the driver has not perceived the hand gesture, he is informed about the hand gesture by the message. The control unit can be based on the Eye movement data can be used to determine the driver's direction of gaze and, based on the direction of gaze, to determine whether the driver is looking in the direction of the hand gesture. If the driver looks in the direction of the hand gesture for at least a predetermined period of time, it can be assumed that the driver has perceived the hand gesture of the other road user.

Bei einer weiteren Ausführungsform umfasst die Vorrichtung eine weitere Bilderfassungseinheit, die dazu ausgebildet ist, eine Fahrerbildfolge zu erfassen, die mehrere zeitlich aufeinander folgende Bilder mit jeweils einer Abbildung des Fahrzeugführers umfasst, und der Fahrerbildfolge entsprechende Fahrerbilddaten zu erzeugen. Die Steuereinheit ist dazu ausgebildet, auf Grundlage der Fahrerbilddaten eine Bewegung des Fahrzeugführers, insbesondere eine Kopfbewegung und/oder eine Augenbewegung, zu erkennen, auf Grundlage der erkannten Bewegung zu ermitteln, ob der Fahrzeugführer die Handgeste des weiteren Verkehrsteilnehmers wahrgenommen hat und die Anzeigeeinheit zum Anzeigen der Mitteilung anzusteuern, wenn die Steuereinheit ermittelt hat, dass der Fahrzeugführer die Handgeste des weiteren Verkehrsteilnehmers nicht wahrgenommen hat. Die weitere Bilderfassungseinheit ist insbesondere eine Innenkamera des Fahrzeugs, die dazu ausgebildet ist, zweidimensionale Bilder des Fahrzeuginnenraums zu erfassen. Bei einer solchen Ausführungsform erfolgt ein Kopftracking und/oder ein Eye-Tracking mit Hilfe der Innenkamera des Fahrzeugs, um eine Blickrichtung des Fahrzeugführers zu bestimmen. Aus der Blickrichtung kann dann zuverlässig bestimmt werden, ob der Fahrzeugführer die Handgeste wahrnimmt. Die Innenkamera erfasst insbesondere Licht im optischen Spektrum und/oder im infraroten Spektrum. Die Erfassung von Licht im infraroten Spektrum hat den zusätzlichen Vorteil, dass die Innenkamera auch bei schlechten Lichtverhältnissen, beispielsweise nachts, die Bildfolge erfassen kann. Alternativ kann die weitere Bilderfassungseinheit auch eine Time-of-Flight-Kamera, ein Ultrabreitbandsensor, ein RADAR-System oder ein LIDAR-System sein, um dreidimensionale Bilder des Fahrzeuginnenraums zu erzeugen, insbesondere in Form einer Punktwolke. Aus den dreidimensionalen Bildern kann die Blickrichtung des Fahrzeugführers besonders zuverlässig bestimmt werden.In a further embodiment, the device comprises a further image capture unit which is designed to capture a driver image sequence which comprises a plurality of temporally successive images, each with an image of the vehicle driver, and to generate driver image data corresponding to the driver image sequence. The control unit is designed to detect a movement of the vehicle driver, in particular a head movement and/or an eye movement, on the basis of the driver image data, to determine on the basis of the detected movement whether the vehicle driver has perceived the hand gesture of the other road user and to control the display unit to display the message if the control unit has determined that the vehicle driver has not perceived the hand gesture of the other road user. The further image capture unit is in particular an interior camera of the vehicle which is designed to capture two-dimensional images of the vehicle interior. In such an embodiment, head tracking and/or eye tracking is carried out using the interior camera of the vehicle in order to determine a direction of gaze of the vehicle driver. From the direction of gaze it can then be reliably determined whether the vehicle driver perceives the hand gesture. The interior camera particularly captures light in the optical spectrum and/or in the infrared spectrum. Capturing light in the infrared spectrum has the additional advantage that the interior camera can capture the sequence of images even in poor lighting conditions, for example at night. Alternatively, the additional image capture unit can also be a time-of-flight camera, an ultra-wideband sensor, a RADAR system or a LIDAR system to generate three-dimensional images of the vehicle interior, particularly in the form of a point cloud. The driver's line of sight can be determined particularly reliably from the three-dimensional images.

Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, odometrische Daten des Fahrzeugs zu empfangen, auf Grundlage der odometrischen Daten zu ermitteln, ob der Fahrzeugführer die Handgeste des weiteren Verkehrsteilnehmers wahrgenommen hat und die Anzeigeeinheit zum Anzeigen der Mitteilung anzusteuern, wenn die Steuereinheit ermittelt hat, dass der Fahrzeugführer die Handgeste des weiteren Verkehrsteilnehmers nicht wahrgenommen hat. Bei dieser Ausführungsform bestimmt die Steuereinheit auf Grundlage der odometrischen Daten, ob der Fahrzeugführer auf die Handgeste des weiteren Verkehrsteilnehmers reagiert. Dies ist besonders vorteilhaft, wenn die Handgeste zum Ermitteln eines semantischen Gehalts klassifiziert wird, d.h. wenn ermittelt wird, was die Handgeste ausdrückt. Die Steuereinheit kann bei einer solchen Ausführungsform beispielsweise ermitteln, ob der Fahrzeugführer auf eine Handgeste reagiert, die dem Fahrzeugführer die Vorfahrt gewährt, in dem der Fahrzeugführer losfährt.In a further embodiment, the control unit is designed to receive odometric data of the vehicle, to determine on the basis of the odometric data whether the driver has perceived the hand gesture of the other road user, and to control the display unit to display the message if the control unit has determined that the driver has not perceived the hand gesture of the other road user. In this embodiment, the control unit determines on the basis of the odometric data whether the driver is reacting to the hand gesture of the other road user. This is particularly advantageous if the hand gesture is classified to determine a semantic content, i.e. if it is determined what the hand gesture expresses. In such an embodiment, the control unit can, for example, determine whether the driver is reacting to a hand gesture that gives the driver the right of way by the driver driving off.

Bei einer weiteren Ausführungsform umfasst die Vorrichtung eine Ausgabeeinheit, die dazu ausgebildet ist, dem Fahrzeugführer ein akustisches, optisches und/oder haptisches Warnsignal auszugeben. Die Steuereinheit ist dazu ausgebildet, die Ausgabeeinheit zum Ausgeben des Warnsignals anzusteuern, wenn die Steuereinheit ermittelt hat, dass der Fahrzeugführer die Handgeste des weiteren Verkehrsteilnehmers nicht wahrgenommen hat. Die Ausgabeeinheit umfasst zum Ausgeben des Warnsignals insbesondere mindestens eine der folgenden Funktionseinheiten des Fahrzeugs: einen Lautsprecher, einen Leuchtindikator, beispielsweise eine Signallampe oder eine leuchtende Fläche im Cockpit des Fahrzeugs, insbesondere auf einem Lenkrad des Fahrzeugs, und ein haptisches Ausgabeelement, beispielsweise eine Vibrationsfunktion eines Sitzes des Fahrzeugs. In manchen Fällen kann es nicht ausreichend sein, den Fahrzeugführer durch die Mitteilung über die Handgeste des weiteren Verkehrsteilnehmers zu informieren, beispielsweise wenn die Handgeste eine dringende Nachricht übermittelt, auf die der Fahrzeugführer reagieren muss. Insbesondere in solchen Fällen kann das Ausgeben des Warnsignals mit dazu beitragen, dass der Fahrzeugführer die Handgeste zeitig wahrnimmt und verkehrssicher reagieren kann.In a further embodiment, the device comprises an output unit which is designed to output an acoustic, optical and/or haptic warning signal to the driver. The control unit is designed to control the output unit to output the warning signal when the control unit has determined that the driver has not perceived the hand gesture of the other road user. The output unit comprises in particular at least one of the following functional units of the vehicle to output the warning signal: a loudspeaker, a light indicator, for example a signal lamp or a luminous surface in the cockpit of the vehicle, in particular on a steering wheel of the vehicle, and a haptic output element, for example a vibration function of a seat of the vehicle. In some cases it may not be sufficient to inform the driver of the hand gesture of the other road user by means of the message, for example if the hand gesture conveys an urgent message to which the driver must respond. In such cases in particular, the output of the warning signal can help the driver to perceive the hand gesture in good time and to react safely.

Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Bilddaten eine Position der Handgeste im Sichtfeld des Fahrzeugführers zu ermitteln und die Anzeigeeinheit derart anzusteuern, dass die Anzeigeeinheit die Mitteilung dem Fahrzeugführer an einer Position im Sichtfeld des Fahrzeugführers anzeigt, die der Position der Handgeste entspricht. Dies kann besonders vorteilhaft mit einer Ausgabe der Mitteilung durch die Augmented-Reality-Brille oder ein Head-Up-Display als Teil einer erweiterten Realität erfolgen. Dadurch, dass die Mitteilung dem Fahrzeugführer an der Position in seinem Sichtfeld angezeigt wird, die der Position der Handgeste entspricht, wird die Aufmerksamkeit des Fahrzeugführers unmittelbar auf die Handgeste gelenkt. Der Zeitraum zwischen der Mitteilung über die Handgeste und die Wahrnehmung der Handgeste durch den Fahrzeugführer wird hierdurch verkürzt. Dies reduziert die Ablenkung durch die Mitteilung und erhöht die Verkehrssicherheit.In a further embodiment, the control unit is designed to determine a position of the hand gesture in the field of vision of the driver on the basis of the image data and to control the display unit in such a way that the display unit displays the message to the driver at a position in the driver's field of vision that corresponds to the position of the hand gesture. This can be done particularly advantageously by outputting the message through the augmented reality glasses or a head-up display as part of an augmented reality. Because the message is displayed to the driver at the position in his field of vision that corresponds to the position of the hand gesture, the driver's attention is immediately drawn to the hand gesture. The time period between the notification of the hand gesture and the perception of the hand gesture by the driver This shortens the driver's time. This reduces distraction caused by the message and increases road safety.

Bei einer weiteren Ausführungsform ist die Bilderfassungseinheit eine Bilderfassungseinheit des Fahrzeugs, insbesondere eine Außenkamera des Fahrzeugs. Die Verwendung einer Außenkamera des Fahrzeugs als die Bilderfassungseinheit der Vorrichtung hat den Vorteil, dass die Handgeste auch dann erkannt werden kann, wenn diese aus Sicht des Fahrzeugführers durch einen Teil der Karosserie des Fahrzeugs verdeckt ist. Vorzugsweise weist die Vorrichtungen mehrere Bilderfassungseinheiten auf, die an verschiedenen Positionen des Fahrzeugs angeordnet sind. So kann die Vorrichtung die Handgeste aus mehreren Blickwinkeln betrachten, wodurch tote Winkel vermieden werden.In a further embodiment, the image capture unit is an image capture unit of the vehicle, in particular an external camera of the vehicle. The use of an external camera of the vehicle as the image capture unit of the device has the advantage that the hand gesture can be recognized even if it is obscured from the driver's perspective by part of the body of the vehicle. Preferably, the device has several image capture units that are arranged at different positions of the vehicle. The device can thus view the hand gesture from several angles, thereby avoiding blind spots.

Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Bilddaten zu ermitteln, ob die Handgeste durch den Fahrzeugführer wahrnehmbar ist, und die Anzeigeeinheit zum Anzeigen der Mitteilung anzusteuern, wenn die Steuereinheit ermittelt hat, dass die Handgeste durch den Fahrzeugführer nicht wahrnehmbar ist. Die Handgeste kann durch einen Teil der Karosserie des Fahrzeugs verdeckt sein, beispielsweise durch eine A-Säule des Fahrzeugs. Die Steuereinheit kann beispielsweise durch einen Vergleich der von der Außenkamera des Fahrzeugs und der Bilderfassungseinheit der Augmented-Reality-Brille bestimmen, ob die Handgeste durch den Fahrzeugführer nicht wahrnehmbar ist. Diese Ausführungsform der Vorrichtung macht ansonsten verdeckte Handgesten anderer Verkehrsteilnehmer für den Fahrzeugführer sichtbar und erhöht so die Verkehrssicherheit.In a further embodiment, the control unit is designed to determine, based on the image data, whether the hand gesture is perceptible to the driver, and to control the display unit to display the message if the control unit has determined that the hand gesture is not perceptible to the driver. The hand gesture can be hidden by a part of the body of the vehicle, for example by an A-pillar of the vehicle. The control unit can determine, for example, by comparing the images from the vehicle's external camera and the image capture unit of the augmented reality glasses, whether the hand gesture is not perceptible to the driver. This embodiment of the device makes otherwise hidden hand gestures of other road users visible to the driver, thus increasing road safety.

Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, die Handgeste auf Grundlage der Bilddaten zum Ermitteln eines semantischen Gehalts der Handgeste zu klassifizieren und die Anzeigeeinheit zum Anzeigen der Mitteilung derart anzusteuern, dass die Mitteilung das Ergebnis der Klassifizierung umfasst. Unter dem semantischen Gehalt der Handgeste wird die Bedeutung verstanden, welche die Handgeste im Kontext des Straßenverkehrs typischerweise hat. Die Klassifikation der Handgeste erfolgt vorzugsweise unter Verwendung eines Maschinenlernverfahrens, beispielsweise unter Verwendung eines neuronalen Netzwerkes, insbesondere eines Convolutional Neural Network. Trainingsdaten für das Training eines solchen Maschinenlernverfahrens umfassen insbesondere Beispielbilder von Handgesten, die entsprechend ihrer Bedeutung in Straßenverkehr klassifiziert worden sind. Bei dieser Ausführungsform muss der Fahrzeugführer die Handgeste nicht zwingend selbst interpretieren. Hierdurch verkürzt sich der Zeitraum, den der Fahrzeugführer benötigt, um die Handgeste zu interpretieren. Dies reduziert die Ablenkung durch die Mitteilung und erhöht somit die Verkehrssicherheit. In einem Beispiel umfasst die Mitteilung eine Liste mit möglichen Bedeutungen der Handgeste. In einem anderen Beispiel umfasst die Mitteilung lediglich die wahrscheinlichste Bedeutung der Geste. Insbesondere kann die Mitteilung die Bedeutung der Geste in piktografischer Form umfassen. In einem Beispiel gewährt der weitere Verkehrsteilnehmer dem Fahrzeugführer die Vorfahrt. Die Mitteilung kann ein Piktogramm umfassen, dass dem Fahrzeugführer mitteilt, dass er nun die Vorfahrt hat.In a further embodiment, the control unit is designed to classify the hand gesture on the basis of the image data to determine a semantic content of the hand gesture and to control the display unit to display the message in such a way that the message includes the result of the classification. The semantic content of the hand gesture is understood to mean the meaning that the hand gesture typically has in the context of road traffic. The hand gesture is preferably classified using a machine learning method, for example using a neural network, in particular a convolutional neural network. Training data for training such a machine learning method include in particular example images of hand gestures that have been classified according to their meaning in road traffic. In this embodiment, the driver does not necessarily have to interpret the hand gesture himself. This shortens the time that the driver needs to interpret the hand gesture. This reduces distraction caused by the message and thus increases road safety. In one example, the message includes a list of possible meanings of the hand gesture. In another example, the message only includes the most likely meaning of the gesture. In particular, the message may include the meaning of the gesture in pictographic form. In one example, the other road user yields the right of way to the driver. The message may include a pictogram that tells the driver that he now has the right of way.

Bei einer weiteren Ausführungsform umfasst die Anzeigeeinheit ein Head-Up-Display des Fahrzeugs. Das Head-Up-Display ist insbesondere ein Panorama-Head-Up-Display, das sich über die komplette Breite einer Frontscheibe des Fahrzeugs erstreckt. Insbesondere ist das Head-Up-Display dazu ausgebildet, dem Fahrzeugführer die Mitteilung als Teil der erweiterten Realität anzuzeigen. Die Anzeige der Mitteilung als Teil der erweiterten Realität hat die vorgenannten Vorteile. Alternativ kann die Vorrichtung auch eine andere Anzeigeeinheit des Fahrzeugs umfassen, beispielsweise ein graphisches Kombiinstrument, ein zentrales Informationsdisplay (CID) oder einen dem Fahrzeugführer zugewandter Bildschirm. Derartige Anzeigeeinheiten sind in den meisten modernen Fahrzeugen vorhanden. Die Vorrichtung kann somit leicht nachgerüstet werden.In a further embodiment, the display unit comprises a head-up display of the vehicle. The head-up display is in particular a panoramic head-up display that extends over the entire width of a windshield of the vehicle. In particular, the head-up display is designed to show the driver the message as part of the augmented reality. The display of the message as part of the augmented reality has the aforementioned advantages. Alternatively, the device can also comprise another display unit of the vehicle, for example a graphic instrument cluster, a central information display (CID) or a screen facing the driver. Such display units are present in most modern vehicles. The device can therefore be easily retrofitted.

Die Erfindung betrifft ferner ein Verfahren um einem Fahrzeugführer eines Fahrzeugs eine Handgeste eines weiteren Verkehrsteilnehmers anzuzeigen. Bei dem Verfahren wird ein Bild mit einer Abbildung des weiteren Verkehrsteilnehmers außerhalb des Fahrzeugs erfasst und es werden dem Bild entsprechende Bilddaten erzeugt. Auf Grundlage der Bilddaten wird die Handgeste des weiteren Verkehrsteilnehmers erkannt. Eine Anzeigeeinheit wird derart angesteuert, dass die Anzeigeeinheit dem Fahrzeugführer eine Mitteilung anzeigt, die den Fahrzeugführer über die Handgeste des weiteren Verkehrsteilnehmers informiert.The invention further relates to a method for displaying a hand gesture of another road user to a driver of a vehicle. In the method, an image with a depiction of the other road user is captured outside the vehicle and image data corresponding to the image is generated. The hand gesture of the other road user is recognized on the basis of the image data. A display unit is controlled in such a way that the display unit displays a message to the driver informing the driver of the hand gesture of the other road user.

Das Verfahren hat dieselben Vorteile wie die beanspruchte Vorrichtung. Insbesondere kann das Verfahren mit den Merkmalen der auf die Vorrichtung gerichteten abhängigen Ansprüche weitergebildet werden. Ferner kann die oben beschriebene Vorrichtung mit den Merkmalen weitergebildet werden, die in diesem Dokument im Zusammenhang mit dem Verfahren beschrieben sind.The method has the same advantages as the claimed device. In particular, the method can be further developed with the features of the dependent claims directed to the device. Furthermore, the device described above can be further developed with the features described in this document in connection with the method.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand der Figuren näher erläutert. Darin zeigen:

1 eine perspektivische schematische Darstellung eines Cockpits eines Fahrzeugs;
2 eine weitere perspektivische schematische Darstellung des Cockpits des Fahrzeugs; und
3 einen Ablaufplan des Verfahrens um einem Fahrzeugführer des Fahrzeugs eine Handgeste eines weiteren Verkehrsteilnehmers anzuzeigen.

Embodiments of the invention are explained in more detail below with reference to the figures, in which:

1 a perspective schematic representation of a cockpit of a vehicle;
2 another perspective schematic representation of the cockpit of the vehicle; and
3 a flow chart of the procedure for indicating a hand gesture of another road user to a driver of a vehicle.

1 zeigt eine perspektivische schematische Darstellung eines Cockpits 100 eines Fahrzeugs 102. 1 shows a perspective schematic representation of a cockpit 100 of a vehicle 102.

Ein Fahrzeugführer 104 sitzt auf einem Fahrersitz 106 des Fahrzeugs 102. Der Fahrzeugführer 104 trägt eine Augmented-Reality-Brille 108 mit einer Anzeigeeinheit 110 und einer ersten Bilderfassungseinheit 112. Die Anzeigeeinheit 110 der Augmented-Reality-Brille 108 ist dazu ausgebildet, dem Fahrzeugführer 104 computererzeugte virtuelle Inhalte anzuzeigen, die der Wahrnehmung des Fahrzeugführers 104 von seiner realen Umgebung überlagert werden. Die erste Bilderfassungseinheit 112 ist dazu ausgebildet, ein Bild mit einer Abbildung eines Bereichs vor dem Fahrzeugführer 104 zu erfassen, der im Wesentlichen dem Sichtfeld des Fahrzeugführers 104 entspricht. Die Augmented-Reality-Brille 108 umfasst ferner eine Blickerfassungseinheit 114, die dazu ausgebildet ist, eine Augenbewegung des Fahrzeugführers 104 zu erfassen und der Augenbewegung entsprechende Augenbewegungsdaten zu erzeugen. Auf Grundlage der Augenbewegungsdaten kann insbesondere eine Blickrichtung des Fahrzeugführers 104 ermittelt werden.A vehicle driver 104 sits on a driver's seat 106 of the vehicle 102. The vehicle driver 104 wears augmented reality glasses 108 with a display unit 110 and a first image capture unit 112. The display unit 110 of the augmented reality glasses 108 is designed to show the vehicle driver 104 computer-generated virtual content that is superimposed on the driver's 104 perception of his real environment. The first image capture unit 112 is designed to capture an image with a depiction of an area in front of the vehicle driver 104 that essentially corresponds to the field of vision of the vehicle driver 104. The augmented reality glasses 108 further comprise a gaze detection unit 114 that is designed to detect an eye movement of the vehicle driver 104 and to generate eye movement data corresponding to the eye movement. In particular, a viewing direction of the vehicle driver 104 can be determined on the basis of the eye movement data.

Im oberen Bereich einer Frontscheibe 116 des Fahrzeugs 102 ist eine Innenkamera 118 angeordnet. Die Innenkamera 118 ist derart angeordnet und dazu ausgebildet, eine Bildfolge aus mehreren zeitlich aufeinander folgenden Bildern zu erfassen, die jeweils eine Abbildung des Fahrzeugführers 104 umfassen, insbesondere des Kopfes des Fahrzeugführers 104. Die Innenkamera 118 ist ferner dazu ausgebildet, der Bildfolge entsprechende Bilddaten zu erzeugen. Aus den Bilddaten kann insbesondere eine Kopfbewegung und/oder eine Augenbewegung des Fahrzeugführers 104 extrahiert werden, auf deren Grundlage die Blickrichtung des Fahrzeugführers 104 ermittelt werden kann.An interior camera 118 is arranged in the upper area of a windshield 116 of the vehicle 102. The interior camera 118 is arranged and designed to capture an image sequence of several temporally successive images, each of which includes an image of the driver 104, in particular of the head of the driver 104. The interior camera 118 is also designed to generate image data corresponding to the image sequence. In particular, a head movement and/or an eye movement of the driver 104 can be extracted from the image data, on the basis of which the direction of gaze of the driver 104 can be determined.

In 1 ist rein schematisch eine zweite Bilderfassungseinheit 120 gezeigt, die rein beispielhaft als eine Außenkamera des Fahrzeugs 102 ausgeführt ist. Die zweite Bilderfassungseinheit 120 ist derart angeordnet und ausgerichtet, dass die zweite Bilderfassungseinheit 120 zumindest ein Bild mit einer Abbildung eines Bereichs außerhalb des Fahrzeugs 102 erfassen kann. Insbesondere ist die zweite Bilderfassungseinheit 120 derart ausgerichtet, einen Bereich vor dem Fahrzeug 102 zu erfassen. Auch die zweite Bilderfassungseinheit 120 kann dazu ausgebildet sein, eine Bildfolge aus mehreren zeitlich aufeinander folgenden Bildern zu erfassen, die jeweils eine Abbildung des Bereichs außerhalb des Fahrzeugs 102 umfassen. Die zweite Bilderfassungseinheit 120 ist ferner dazu ausgebildet, dem Bild bzw. der Bildfolge entsprechende Bilddaten zu erzeugen.In 1 a second image capture unit 120 is shown purely schematically, which is designed purely as an example as an external camera of the vehicle 102. The second image capture unit 120 is arranged and aligned such that the second image capture unit 120 can capture at least one image with a depiction of an area outside the vehicle 102. In particular, the second image capture unit 120 is aligned to capture an area in front of the vehicle 102. The second image capture unit 120 can also be designed to capture an image sequence from several temporally successive images, each of which includes a depiction of the area outside the vehicle 102. The second image capture unit 120 is also designed to generate image data corresponding to the image or image sequence.

In dem Cockpit sind zu dem ein zentrales Informationsdisplay (CID) 122, ein Head-Up-Display 124 und ein graphisches Kombiinstrument 126 angeordnet. Die vorgenannten Funktionseinheiten bilden jeweils eine Anzeigeeinheit 122, 124, 126 des Fahrzeugs 102 und sind dazu ausgebildet, dem Insassen visuelle Informationen anzuzeigen. Das Cockpit umfasst ferner ein Lenkrad 128 mit Bedienelementen 130, einen Gangwahlschalter 132, eine Pedalerie 134 und eine Eingabeeinheit 136 mit einem Drehrad und einer Drucktastenfunktion und/oder einem Touch-Eingabefeld. Diese Eingabeeinheit 136 wird auch als Ergo Commander bezeichnet.A central information display (CID) 122, a head-up display 124 and a graphic instrument cluster 126 are also arranged in the cockpit. The aforementioned functional units each form a display unit 122, 124, 126 of the vehicle 102 and are designed to show the occupant visual information. The cockpit also includes a steering wheel 128 with control elements 130, a gear selector switch 132, a pedal assembly 134 and an input unit 136 with a rotary wheel and a push button function and/or a touch input field. This input unit 136 is also referred to as an Ergo Commander.

Eine Steuereinheit 138 des Fahrzeugs 102 hat Datenausgänge 140 und Dateneingänge 142, die zur Verbindung mit den vorgenannten und weiteren Funktionseinheiten des Fahrzeugs 102 dienen. Die Steuereinheit 138 hat zudem eine Kommunikationsschnittstelle 144, die dazu ausgebildet ist, eine Verbindung mit der Augmented-Reality-Brille 108 bereitzustellen. Die Verbindung mit der Augmented-Reality-Brille 108 erfolgt zum Beispiel über eine drahtlose Schnittstelle, beispielsweise WLAN, Bluetooth® oder Nahfeldkommunikation (NFC), oder über eine kabelgebundene Schnittstelle, beispielsweise Ethernet oder USB.A control unit 138 of the vehicle 102 has data outputs 140 and data inputs 142, which serve to connect to the aforementioned and other functional units of the vehicle 102. The control unit 138 also has a communication interface 144, which is designed to provide a connection to the augmented reality glasses 108. The connection to the augmented reality glasses 108 is made, for example, via a wireless interface, for example WLAN, Bluetooth® or near-field communication (NFC), or via a wired interface, for example Ethernet or USB.

Die Steuereinheit 138 ist ferner dazu ausgebildet, ein Verfahren durchzuführen, um dem Fahrzeugführer 104 des Fahrzeugs 102 eine Handgeste eines weiteren Verkehrsteilnehmers anzuzeigen. Bei dem Verfahren steuert die Steuereinheit 138 zumindest eine der beiden Bilderfassungseinheiten 112, 120 zum Erzeugen von Bildern und von den Bildern entsprechenden Bilddaten an. Die Steuereinheit 138 verarbeitet diese Bilddaten, um die Handgeste des weiteren Verkehrsteilnehmers zu erkennen. Die Steuereinheit 138 steuert dann die Anzeigeeinheit 110 der Augmented-Reality-Brille 108 an, um dem Fahrzeugführer 104 eine Mitteilung als Teil der erweiterten Realität anzuzeigen, die den Fahrzeugführer 104 über die Handgeste des weiteren Verkehrsteilnehmers informiert.The control unit 138 is further designed to carry out a method to display a hand gesture of another road user to the driver 104 of the vehicle 102. In the method, the control unit 138 controls at least one of the two image capture units 112, 120 to generate images and image data corresponding to the images. The control unit 138 processes this image data to recognize the hand gesture of the other road user. The control unit 138 then controls the display unit 110 of the augmented reality glasses 108 to display a message to the driver 104 as part of the augmented reality, which informs the driver 104 about the hand gesture of the other road user.

In der in 1 gezeigten rein beispielhaften Situation ist der weitere Verkehrsteilnehmer ein Fahrzeugführer 146 eines weiteren Fahrzeugs 148. Das Fahrzeug 102 selbst kommt aus einer schmalen Straße an eine Rechts-Vor-Links-Kreuzung und wartet, dass das weitere Fahrzeug 148 von rechts in die schmale Straße einfährt, um anschließend selbst auf die Kreuzung zu fahren. Der Fahrzeugführer 104 schaut während des Wartens auf eine der Anzeigeeinheiten 122, 124, 126 des Fahrzeugs 102. Der Fahrzeugführer 104 sieht daher nicht, dass der Fahrzeugführer 146 des weiteren Fahrzeugs 148 eine Handgeste macht, um anzuzeigen, dass er auf seine Vorfahrt verzichten möchte, um besser in die schmale Straße einbiegen zu können. Um den Fahrzeugführer 104 auf die Handgeste aufmerksam zu machen, steuert die Steuereinheit 138 die Anzeigeeinheit 110 der Augmented-Reality-Brille 108 an, um dem Fahrzeugführer 104 einen leuchtenden Rahmen 150 um das Fahrerfenster des weiteren Fahrzeugs 148 als Teil der erweiterten Realität anzuzeigen. In anderen Worten, die Steuereinheit 138 zeigt dem Fahrzeugführer 104 eine Mitteilung über die Handgeste an einem Ort in seinem Sichtfeld an, die der Position der Handgeste entspricht. Dies lenkt die Aufmerksamkeit des Fahrzeugführers 104 auf die Handgeste des Fahrzeugführers 146 des weiteren Fahrzeugs 148, so dass dieser zufahren kann.In the 1 In the purely exemplary situation shown, the other road user is a driver 146 of another vehicle 148. The vehicle 102 itself comes out of a narrow Street to a right-before-left intersection and waits for the other vehicle 148 to enter the narrow street from the right in order to then drive onto the intersection himself. While waiting, the driver 104 looks at one of the display units 122, 124, 126 of the vehicle 102. The driver 104 therefore does not see that the driver 146 of the other vehicle 148 is making a hand gesture to indicate that he would like to give up his right of way in order to be able to turn into the narrow street more easily. In order to make the driver 104 aware of the hand gesture, the control unit 138 controls the display unit 110 of the augmented reality glasses 108 in order to show the driver 104 a glowing frame 150 around the driver's window of the other vehicle 148 as part of the augmented reality. In other words, the control unit 138 displays a notification of the hand gesture to the driver 104 at a location in his field of view that corresponds to the position of the hand gesture. This draws the attention of the driver 104 to the hand gesture of the driver 146 of the other vehicle 148 so that the driver can approach.

Die Steuereinheit 138 kann dazu ausgebildet sein, zu ermitteln, ob die Handgeste durch den Fahrzeugführer 104 wahrnehmbar ist. Beispielsweise kann die Handgeste durch einen Teil des Fahrzeugs 102, beispielsweise die rechte A-Säule 152, verdeckt sein. Um zu ermitteln, ob die Handgeste durch den Fahrzeugführer 104 wahrnehmbar ist, kann die Steuereinheit 138 die von den beiden Bilderfassungseinheiten 112, 120 erfassten Bilder vergleichen. Ist die Handgeste in dem von der ersten Bilderfassungseinheit 112 erfassten Bild nicht zu sehen, kann die Handgeste durch den Fahrzeugführer 104 nicht gesehen werden. Die Steuereinheit 138 kann auch dazu ausgebildet sein, zu ermitteln, ob der Fahrzeugführer 104 die Handgeste wahrgenommen hat. Dies kann insbesondere anhand der von der Innenkamera 118 erzeugten Bilddaten und/oder den Augenbewegungsdaten erfolgen, aus denen die Steuereinheit 138 die Blickrichtung des Fahrzeugführers 104 ermittelt. Auf Grundlage der Blickrichtung des Fahrzeugführers 104 kann die Steuereinheit 138 dann bestimmen ob und wie lange der Fahrzeugführer 104 auf die Handgeste blickt, um zu ermitteln, ob der Fahrzeugführer 104 die Handgeste wahrgenommen hat. Die Steuereinheit 138 kann insbesondere die Mitteilung über die Handgeste nur dann anzeigen, wenn die Handgeste durch den Fahrzeugführer 104 nicht wahrnehmbar ist und/oder wenn der Fahrzeugführer 104 die Handgeste nicht wahrgenommen hat.The control unit 138 can be designed to determine whether the hand gesture is perceptible to the driver 104. For example, the hand gesture can be obscured by a part of the vehicle 102, for example the right A-pillar 152. To determine whether the hand gesture is perceptible to the driver 104, the control unit 138 can compare the images captured by the two image capture units 112, 120. If the hand gesture is not visible in the image captured by the first image capture unit 112, the hand gesture cannot be seen by the driver 104. The control unit 138 can also be designed to determine whether the driver 104 has perceived the hand gesture. This can be done in particular based on the image data generated by the interior camera 118 and/or the eye movement data from which the control unit 138 determines the direction of gaze of the driver 104. Based on the direction of view of the vehicle driver 104, the control unit 138 can then determine whether and for how long the vehicle driver 104 is looking at the hand gesture in order to determine whether the vehicle driver 104 has perceived the hand gesture. In particular, the control unit 138 can only display the notification about the hand gesture if the hand gesture is not perceptible to the vehicle driver 104 and/or if the vehicle driver 104 has not perceived the hand gesture.

Ferner kann die Steuereinheit 138 dazu ausgebildet sein, die Handgeste auf ihre Bedeutung im Straßenverkehr hin zu klassifizieren und dem Fahrzeugführer 104 das Ergebnis der Klassifikation anzuzeigen. In dem gezeigten Beispiel hat die Steuereinheit 138 ermittelt, dass der Fahrzeugführer 146 des weiteren Fahrzeugs 148 auf seine Vorfahrt verzichtet. Die Steuereinheit 138 steuert daraufhin die Anzeigeeinheit 110 der Augmented-Reality-Brille 108 an, um dem Fahrzeugführer 104 dies piktografisch mitzuteilen. Hierzu zeigt die Anzeigeeinheit 110 das Verkehrszeichen 154 für Vorfahrt und einen Pfeil 156, der die Richtung der Vorfahrt angibt, als Teil der erweiterten Realität an.Furthermore, the control unit 138 can be designed to classify the hand gesture according to its significance in road traffic and to display the result of the classification to the driver 104. In the example shown, the control unit 138 has determined that the driver 146 of the other vehicle 148 is waiving his right of way. The control unit 138 then controls the display unit 110 of the augmented reality glasses 108 in order to communicate this to the driver 104 in a pictographic manner. To do this, the display unit 110 displays the traffic sign 154 for right of way and an arrow 156 indicating the direction of right of way as part of the augmented reality.

2 zeigt eine perspektivische schematische Darstellung des Cockpits des Fahrzeugs 102. 2 shows a perspective schematic representation of the cockpit of the vehicle 102.

In der in 2 dargestellten Situation trägt der Fahrzeugführer 104 nicht die Augmented-Reality-Brille 108. Die erweiterte Realität wird dem Fahrzeugführer 104 durch das Head-Up-Display 124 des Fahrzeugs 102 dargestellt, das als ein Panorama-Head-Up-Display 124 ausgeführt ist, das sich über die gesamte Breite der Frontscheibe 116 erstreckt. Die Mitteilung über die Handgeste des weiteren Verkehrsteilnehmers hat in 2 die Form eines Pfeils 200, der in Richtung der Handgeste weist. Zusätzlich weist die Mitteilung eine Textkomponente 202 auf. Die Textkomponente 202 kann beispielsweise das Ergebnis der Klassifikation der Handgeste umfassen oder einfach den Hinweis, dass eine Handgeste erkannt wurde.In the 2 In the situation shown, the driver 104 is not wearing the augmented reality glasses 108. The augmented reality is shown to the driver 104 by the head-up display 124 of the vehicle 102, which is designed as a panoramic head-up display 124 that extends over the entire width of the windscreen 116. The notification of the hand gesture of the other road user has in 2 the form of an arrow 200 pointing in the direction of the hand gesture. In addition, the message has a text component 202. The text component 202 can, for example, include the result of the classification of the hand gesture or simply the indication that a hand gesture was recognized.

3 zeigt einen Ablaufplan des Verfahrens um dem Fahrzeugführer 104 des Fahrzeugs 102 eine Handgeste des weiteren Verkehrsteilnehmers 146 anzuzeigen. 3 shows a flow chart of the method for indicating a hand gesture of the other road user 146 to the driver 104 of the vehicle 102.

In Schritt S300 wird das Verfahren gestartet. In Schritt S302 steuert die Steuereinheit 138 zumindest eine der beiden Bilderfassungseinheiten 112, 120 zum Erfassen der Bilder und zum Erzeugen der Bilddaten an. Die Bilddaten werden dann an die Steuereinheit 138 übertragen. In Schritt S304 verarbeitet die Steuereinheit 138 die Bilddaten, um die Handgeste des weiteren Verkehrsteilnehmers 146 in dem Bild bzw. den Bildern zu erkennen. Dies kann insbesondere unter Verwendung eines Maschinenlernverfahrens erfolgen, insbesondere eines auf die Bildverarbeitung spezialisierten Convolutional Neural Networks. In dem optionalen Schritt S306 verarbeitet die Steuereinheit 138 die Bilddaten, um zu ermitteln, ob die Handgeste durch den Fahrzeugführer 104 zu sehen ist. Beispielsweise kann die Steuereinheit 138 hierzu das von der ersten Bilderfassungseinheit 112 aufgenommene Bild mit dem von der zweiten Bilderfassungseinheit 120 aufgenommenen Bild vergleichen. Das Bild der ersten Bilderfassungseinheit 112 entspricht etwa dem Sichtfeld des Fahrzeugführers 104. Wenn die Handgeste also nur in dem Bild der zweiten Bilderfassungseinheit 120 zu sehen ist, kann davon ausgegangen werden, dass die Handgeste von dem Fahrzeugführer 104 nicht gesehen werden kann. In dem ebenfalls optionalen Schritt S308 verarbeitet die Steuereinheit 138 die Bilddaten, um zu ermitteln, ob der Fahrzeugführer 104 auf die Handgeste reagiert, beispielsweise weil der Fahrzeugführer 104 eine vorbestimmte Zeit auf die Handgeste geblickt hat. Insbesondere kann die Steuereinheit 138 auch anhand von odometrischen Daten ermitteln, ob der Fahrzeugführer 104 auf die Handgeste reagiert, beispielsweise indem er losfährt oder abbremst.The method is started in step S300. In step S302, the control unit 138 controls at least one of the two image capture units 112, 120 to capture the images and to generate the image data. The image data is then transmitted to the control unit 138. In step S304, the control unit 138 processes the image data to recognize the hand gesture of the other road user 146 in the image or images. This can be done in particular using a machine learning method, in particular a convolutional neural network specialized in image processing. In the optional step S306, the control unit 138 processes the image data to determine whether the hand gesture can be seen by the driver 104. For example, the control unit 138 can compare the image recorded by the first image capture unit 112 with the image recorded by the second image capture unit 120. The image of the first image capture unit 112 corresponds approximately to the field of vision of the driver 104. If the hand gesture can only be seen in the image of the second image capture unit 120, it can be assumed that the hand gesture was not made by the driver 104. can be seen. In the likewise optional step S308, the control unit 138 processes the image data to determine whether the vehicle driver 104 reacts to the hand gesture, for example because the vehicle driver 104 has looked at the hand gesture for a predetermined time. In particular, the control unit 138 can also use odometric data to determine whether the vehicle driver 104 reacts to the hand gesture, for example by driving off or braking.

In Schritt S310 steuert die Steuereinheit 138 eine der Anzeigeeinheiten 110, 122, 124, 126 zum Anzeigen der Mitteilung über die Handgeste an. Insbesondere steuert die Steuereinheit 138 die Anzeigeeinheit 110, 122, 124, 126 nur dann an, wenn die Steuereinheit 138 in dem optionalen Schritt S306 ermittelt hat, dass die Handgeste durch den Fahrzeugführer 104 nicht wahrnehmbar ist, oder wenn die Steuereinheit 138 in dem optionalen Schritt S308 ermittelt hat, dass der Fahrzeugführer 104 die Handgeste nicht wahrgenommen hat. Beispielsweise steuert die Steuereinheit 138 die Anzeigeeinheit 110 der Augmented-Reality-Brille 108 oder das Head-Up-Display 124 des Fahrzeugs 102 an, um die Mitteilung als Teil der erweiterten Realität anzuzeigen. Alternativ kann die Steuereinheit 138 auch jede andere Anzeigeeinheit 122, 126 des Fahrzeugs 102 zum Anzeigen der Mitteilung ansteuern. Das Verfahren wird dann in Schritt S312 beendet.In step S310, the control unit 138 controls one of the display units 110, 122, 124, 126 to display the message about the hand gesture. In particular, the control unit 138 controls the display unit 110, 122, 124, 126 only if the control unit 138 has determined in the optional step S306 that the hand gesture is not perceptible by the vehicle driver 104, or if the control unit 138 has determined in the optional step S308 that the vehicle driver 104 has not perceived the hand gesture. For example, the control unit 138 controls the display unit 110 of the augmented reality glasses 108 or the head-up display 124 of the vehicle 102 to display the message as part of the augmented reality. Alternatively, the control unit 138 can also control any other display unit 122, 126 of the vehicle 102 to display the message. The method is then terminated in step S312.

Bei dem anhand der 1 beschriebenen Ausführungsbeispiel bilden zumindest die Steuereinheit 138 und die Anzeigeeinheit 110 der Augmented-Reality-Brille 108 sowie zumindest eine der beiden Bilderfassungseinheiten 112, 120 eine Vorrichtung des Fahrzeugs 102, die dazu ausgebildet ist, dem Fahrzeugführer 104 des Fahrzeugs 102 die Handgeste des weiteren Verkehrsteilnehmers 146 anzuzeigen. Bei dem anhand der 2 beschriebenen Ausführungsbeispiel bilden zumindest die Steuereinheit 138, das Head-Up-Display 124 und die zweite Bilderfassungseinheit 120 die Vorrichtung. Weitere in den 1, 2 und 3 gezeigte und in der vorangegangenen Beschreibung genannte Elemente und Merkmale können Teil der beanspruchten Vorrichtung sein. Ebenso können anhand der Vorrichtung beschriebene Verfahrensschritte Teil des beanspruchten Verfahrens sein.In the case of the 1 In the embodiment described above, at least the control unit 138 and the display unit 110 of the augmented reality glasses 108 and at least one of the two image capture units 112, 120 form a device of the vehicle 102 which is designed to display the hand gesture of the other road user 146 to the driver 104 of the vehicle 102. In the embodiment described on the basis of the 2 In the embodiment described above, at least the control unit 138, the head-up display 124 and the second image capture unit 120 form the device. Further details in the 1 , 2 and 3 Elements and features shown and mentioned in the preceding description can be part of the claimed device. Likewise, method steps described with reference to the device can be part of the claimed method.

Bezugszeichenlistelist of reference symbols

100100: Cockpitcockpit
102102: Fahrzeugvehicle
104104: Fahrzeugführerdriver
106106: Fahrersitzdriver's seat
108108: Augmented-Reality-Brilleaugmented reality glasses
110110: Anzeigeeinheitdisplay unit
112112: Bilderfassungseinheitimage acquisition unit
114114: Blickerfassungseinheitgaze tracking unit
116116: Frontscheibewindshield
118118: Innenkameraindoor camera
120120: Bilderfassungseinheitimage acquisition unit
122122: zentrales Informationsdisplaycentral information display
124124: Head Up DisplayHead Up Display
126126: graphisches Kombiinstrumentgraphic instrument cluster
128128: Lenkradsteering wheel
130130: Bedienelementcontrol element
132132: Gangwahlschaltergear selector
134134: Pedaleriepedals
136136: Eingabeeinheitinput unit
138138: Steuereinheitcontrol unit
140140: Datenausgangdata output
142142: Dateneingangdata input
144144: Kommunikationsschnittellecommunication interface
146146: Fahrzeugführerdriver
148148: Fahrzeugvehicle
150150: RahmenFrame
152152: A-SäuleA-pillar
154154: Verkehrszeichentraffic signs
156156: PfeilArrow
200200: PfeilArrow
202202: Textkomponentetext component

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10 2017 208 728 A1 [0002]
DE 10 2018 004 113 A1 [0003]
DE 10 2021 204 608 A1 [0004]

Claims

Device of a vehicle (102), with at least one display unit (110, 122, 124, 126) which is designed to display visual information to a driver (104) of the vehicle (102); at least one image capture unit (112, 120) which is designed to capture at least one image with a depiction of another road user (146) outside the vehicle (102) and to generate image data corresponding to the image; and a control unit (138) which is designed to recognize a hand gesture of the other road user (146) on the basis of the image data and to control the display unit (110, 122, 124, 126) such that the display unit (110, 122, 124, 126) displays a message to the driver (104) which informs the driver (104) about the hand gesture of the other road user (146).

device according to claim 1 , wherein the further road user is a driver (146) of another vehicle (148).

device according to claim 1 or 2 , comprising augmented reality glasses (108); wherein the augmented reality glasses (108) comprise the display unit (110) and the display unit (110) is designed to display an augmented reality to the vehicle driver (104); and wherein the control unit (138) is designed to control the display unit (110) such that the display unit (110) displays the message to the vehicle driver (104) as part of the augmented reality.

device according to claim 3 , wherein the control unit (138) is designed to control the display unit (110) such that the display unit (110) displays the message with priority over other elements of the augmented reality.

Device according to one of the preceding claims, comprising augmented reality glasses (108), wherein the augmented reality glasses (108) comprise the image capture unit (112).

Device according to one of the preceding claims, comprising augmented reality glasses (108); wherein the augmented reality glasses (108) comprise a gaze detection unit (114) which is designed to detect an eye movement of the vehicle driver (104) and to generate eye movement data corresponding to the eye movement; wherein the control unit (138) is designed to determine, on the basis of the eye movement data, whether the vehicle driver (104) has perceived the hand gesture of the other road user (146) and to control the display unit (110) to display the message if the control unit (138) has determined that the vehicle driver (104) has not perceived the hand gesture of the other road user (146).

Device according to one of the preceding claims, comprising a further image capture unit (118) which is designed to capture a driver image sequence which comprises a plurality of temporally successive images, each with an image of the vehicle driver (104), and to generate driver image data corresponding to the driver image sequence; and wherein the control unit (138) is designed to recognize a movement of the vehicle driver (104), in particular a head movement and/or an eye movement, on the basis of the driver image data, to determine on the basis of the recognized movement whether the vehicle driver (104) has perceived the hand gesture of the further road user (146), and to control the display unit (110, 122, 124, 126) to display the message if the control unit (138) has determined that the vehicle driver (104) has not perceived the hand gesture of the further road user (146).

Device according to one of the preceding claims, wherein the control unit (138) is designed to receive odometric data of the vehicle (102), to determine on the basis of the odometric data whether the vehicle driver (104) has perceived the hand gesture of the other road user (146) and to control the display unit (110, 122, 124, 126) to display the message if the control unit (138) has determined that the vehicle driver (104) has not perceived the hand gesture of the other road user (146).

Device according to one of the Claims 6 until 8 , comprising an output unit which is designed to output an acoustic, optical and/or haptic warning signal to the vehicle driver (104); wherein the control unit (138) is designed to control the output unit to output the warning signal when the control unit (138) has determined that the vehicle driver (104) has not perceived the hand gesture of the other road user (146).

Device according to one of the preceding claims, wherein the control unit (138) is designed to determine a position of the hand gesture in the field of vision of the driver (104) on the basis of the image data and to control the display unit (110, 122, 124, 126) in such a way that the display unit (110, 122, 124, 126) displays the message to the Driver (104) at a position in the field of vision of the driver (104) that corresponds to the position of the hand gesture.

Device according to one of the preceding claims, wherein the image capture unit (120) is an image capture unit of the vehicle (102), in particular an external camera of the vehicle (102).

Device according to one of the preceding claims, wherein the control unit (138) is designed to determine on the basis of the image data whether the hand gesture is perceptible by the vehicle driver (104) and to control the display unit (110, 122, 124, 126) to display the message if the control unit (138) has determined that the hand gesture is not perceptible by the vehicle driver (104).

Device according to one of the preceding claims, wherein the control unit (138) is designed to classify the hand gesture on the basis of the image data to determine a semantic content of the hand gesture and to control the display unit (110, 122, 124, 126) to display the message such that the message includes the result of the classification.

Device according to one of the preceding claims, wherein the display unit (124) comprises a head-up display of the vehicle (102).

Method for displaying a hand gesture of another road user (146) to a driver (104) of a vehicle (102), comprising: Capturing an image with a depiction of the other road user (146) outside the vehicle (102); Generating image data corresponding to the image; Recognizing the hand gesture of the other road user (146) based on the image data; and Controlling a display unit (110, 122, 124, 126) so that the display unit (110, 122, 124, 126) displays a message to the driver (104) informing the driver (104) of the hand gesture of the other road user (146).