DE102024203249A1

DE102024203249A1 - Method for reducing parallax, computer program product, storage medium, data carrier signal, device and vehicle

Info

Publication number: DE102024203249A1
Application number: DE102024203249.2A
Authority: DE
Inventors: Josef Baumgartner
Original assignee: Continental Automotive Technologies GmbH
Current assignee: Aumovio Germany De GmbH
Priority date: 2024-04-10
Filing date: 2024-04-10
Publication date: 2025-10-16

Abstract

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren 230 zur Reduktion einer Parallaxe die bei Betrachtungen von Anzeigevorrichtungen 105 wie transparente A-Säulen oder Head-up Displays auftreten. Die Augen 140,145 eines Fahrers 135 eines Fahrzeuges 100 werden erfasst und es wird eine Perspektive des rechten Auges 335 und eine Perspektive des linken Auges 340 berechnet. Auf der Anzeigevorrichtungen 105 anzuzeigende Bilddaten 275 werden zuvor in die jeweilige Perspektive 335,340 der Augen 140,145 transformiert. Die so entstehenden rechten transformierten Bilddaten 345 werden von der Anzeigevorrichtung 105 nur für das rechte Auge 140 wahrnehmbar dargestellt. Die linken transformierten Bilddaten 350 werden von der Anzeigevorrichtung 105 nur für das linke Auge 145 wahrnehmbar dargestellt. Außerdem wird ein Computerprogrammprodukt 225, ein computerlesbares Speichermedium 215, ein Datenträgersignal, eine Vorrichtung 200 und ein Fahrzeug 100 offenbart. The present invention relates to a computer-implemented method 230 for reducing parallax that occurs when viewing display devices 105 such as transparent A-pillars or head-up displays. The eyes 140, 145 of a driver 135 of a vehicle 100 are detected, and a perspective of the right eye 335 and a perspective of the left eye 340 are calculated. Image data 275 to be displayed on the display device 105 are previously transformed into the respective perspectives 335, 340 of the eyes 140, 145. The resulting right-hand transformed image data 345 are displayed by the display device 105 so that they are perceptible only to the right eye 140. The left-hand transformed image data 350 are displayed by the display device 105 so that they are perceptible only to the left eye 145. Also disclosed are a computer program product 225, a computer-readable storage medium 215, a data carrier signal, a device 200, and a vehicle 100.

Description

Technisches GebietTechnical area

Die vorliegende Erfindung betrifft das Gebiet der Bildverarbeitung. Insbesondere betrifft die vorliegende Erfindung ein computerimplementiertes Verfahren zur Reduktion einer Parallaxe. Weiterhin betrifft die vorliegende Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium, ein Datenträgersignal, eine Vorrichtung und ein Fahrzeug.The present invention relates to the field of image processing. In particular, the present invention relates to a computer-implemented method for reducing parallax. Furthermore, the present invention relates to a computer program product, a computer-readable storage medium, a data carrier signal, a device, and a vehicle.

Technischer Hintergrund und AufgabeTechnical background and task

Die Verbesserung von Sicherheitsmaßnahmen für Autofahrer ist ein wichtiges Ziel für alle Fahrzeughersteller. Unsichere Verkehrssituationen können durch intransparente Strukturen der Fahrzeugkarosserie entstehen, so dass sie verkehrsrelevante Ereignisse für einen Fahrer verdecken können. Solche intransparenten Strukturen sind in der Regel Teile der Fahrzeugkarosserie, die im Falle eines Unfalls die für die Sicherheit der Insassen erforderliche mechanische Steifigkeit gewährleisten. Beispiele für solche intransparenten Strukturen sind die A-, B- und C-Säule sowie das Armaturenbrett oder der Kofferraum. Die intransparenten Strukturen stören das Sichtfeld des Fahrers, wodurch uneinsehbare Bereiche (sogenannte tote Winkel) entstehen. Verkehrssicherheitsrelevante Ereignisse oder Objekte wie ein Fußgänger, der die Straße überqueren will, einen Fahrradfahrer oder ein überholendes Auto können verdeckt werden und gegebenenfalls nicht rechtzeitig vom Fahrer erkannt. Die gegensätzlichen Anforderungen an eine hohe Steifigkeit der Fahrzeugkarosserie einerseits und ein großes Sichtfeld für den Fahrer andererseits erfordern in der Regel einen Kompromiss.Improving safety measures for drivers is an important goal for all vehicle manufacturers. Unsafe traffic situations can arise from opaque vehicle body structures, which can obscure traffic-relevant events for the driver. Such opaque structures are usually parts of the vehicle body that ensure the mechanical rigidity required for occupant safety in the event of an accident. Examples of such opaque structures are the A-, B-, and C-pillars, as well as the dashboard and trunk. These opaque structures disrupt the driver's field of vision, creating blind spots. Traffic safety-relevant events or objects such as a pedestrian crossing the road, a cyclist, or an overtaking car can be obscured and may not be detected by the driver in time. The conflicting requirements of high vehicle body rigidity on the one hand and a large field of vision for the driver on the other usually require a compromise.

Als Lösungen wurden transparente A-Säulen, Motorhauben oder Heckklappen vorgeschlagen. Dies sind Anzeigen, beispielsweise in Form von Flüssigkristallanzeigen (englisch: liquid crystal displa; LCD) oder organischen Leuchtdioden (englisch: organic light-emitting diode; OLED) -Anzeigen, welche im Inneren des Fahrzeugs zwischen der intransparenten Struktur und dem Fahrer platziert werden und Bilder anzeigen, die von einer Kamera stammen, welche außerhalb des Fahrzeugs angeordnet ist und dessen Sichtfeld den durch die Struktur verursachten uneinsehbaren Bereich erfasst. Eine solche Anordnung erzeugt die Illusion, dass die Struktur transparent ist.Transparent A-pillars, hoods, or tailgates have been proposed as solutions. These displays, for example in the form of liquid crystal displays (LCDs) or organic light-emitting diodes (OLEDs), are placed inside the vehicle between the opaque structure and the driver. They display images from a camera located outside the vehicle, whose field of view captures the obscured area caused by the structure. Such an arrangement creates the illusion that the structure is transparent.

Beispielsweise offenbart die EP 1 878 618 B1 eine Unterstützungseinheit zum Erfassen eines Bildes eines durch einen Fahrer uneinsehbaren Bereiches, der aufgrund des Vorhandenseins einer Säule eines Fahrzeugs entsteht.For example, the EP 1 878 618 B1 a support unit for capturing an image of an area obscured by a driver caused by the presence of a pillar of a vehicle.

Die im Stand der Technik offenbarten Lösungen haben den Nachteil, dass das angezeigte Bild, wenn es mit beiden Augen betrachtet wird, eine Parallaxe aufweist, da die beiden Augen aus leicht unterschiedlichen Perspektiven auf die Anzeige schauen. Dieser Effekt wird auch als Disparität bezeichnet und tritt auch bei Head-up Displays (HUD) auf. Der Effekt kann den Fahrer verwirren, da das Bild als unklar oder diffus wahrgenommen wird und sogar zu Kopfschmerzen führen. Es ist daher wünschenswert, Vorrichtungen und Verfahren zur Verfügung zu haben, welche den Parallaxeneffekt reduzieren.The solutions disclosed in the prior art have the disadvantage that the displayed image exhibits parallax when viewed with both eyes, as the two eyes view the display from slightly different perspectives. This effect is also known as disparity and also occurs in head-up displays (HUDs). This effect can confuse the driver, as the image is perceived as unclear or diffuse, and can even lead to headaches. It is therefore desirable to have devices and methods available that reduce the parallax effect.

Es ist daher die Aufgabe der Erfindung, ein computerimplementiertes Verfahren zur Reduktion einer Parallaxe bereitzustellen. Weitere Aufgaben der Erfindung sind es, Computerprogrammprodukt, ein computerlesbares Speichermedium, ein Datenträgersignal, eine Vorrichtung und ein Fahrzeug bereitzustellen.It is therefore the object of the invention to provide a computer-implemented method for reducing parallax. Further objects of the invention are to provide a computer program product, a computer-readable storage medium, a data carrier signal, a device, and a vehicle.

Offenbarung der ErfindungDisclosure of the invention

Die Aufgabe wird erfindungsgemäß durch die Merkmale der Hauptansprüche gelöst. Vorteilhafte Ausgestaltungen können den Unteransprüchen entnommen werden.The object is achieved according to the invention by the features of the main claims. Advantageous embodiments can be found in the subclaims.

Gemäß eines ersten Aspekts der Erfindung weist ein computerimplementiertes Verfahren zur Reduktion einer Parallaxe bei Betrachtung einer Anzeigevorrichtung durch einen Fahrer eines Fahrzeuges einen Schritt auf, in welchem Bilddaten erhalten werden, welche aus einer Bilddaten-Perspektive heraus erzeugt wurden. According to a first aspect of the invention, a computer-implemented method for reducing parallax when viewing a display device by a driver of a vehicle comprises a step of obtaining image data generated from an image data perspective.

Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug, ein Lastkraftwagen, ein Flugzeug, ein Helikopter, einen Zug oder dergleichen handeln. Die Bilddaten stammen beispielsweise aus einer Außenkamera, wenn eine transparente A-Säule realisiert werden soll. Die Bilddaten-Perspektive ist dann häufig bekannt, weil sie von einer fest am Fahrzeug installierten Kamera stammen, deren Position und Ausrichtung bekannt sind. Bei einem Head-up Display (HUD) können die Bilddaten auch künstlich erzeugte Bildinhalte wie Navigationspfeile, Text oder dergleichen sein. Bei der Erzeugung der Bilder ist dann eine bekannte Perspektive zugrunde gelegt worden und daher bekannt.The vehicle can be a motor vehicle, a truck, an aircraft, a helicopter, a train, or the like. The image data originates, for example, from an exterior camera when a transparent A-pillar is to be realized. The image data perspective is often known in such cases because it originates from a camera permanently installed on the vehicle, whose position and orientation are known. In the case of a head-up display (HUD), the image data can also be artificially generated image content such as navigation arrows, text, or the like. In this case, a known perspective was used to generate the images and is therefore known.

Die Parallaxe, welche zumindest reduziert wird, entsteht, weil der Fahrer auf die Anzeigevorrichtung aus unterschiedlichen Perspektiven schaut, nämlich aus der Perspektive seines rechten und linken Auges. Der Erfinder hat erkannt, dass die Parallaxe durch eine Darstellung unterschiedlicher Bilder für das linke und rechte Auge vermindert oder sogar behoben werden kann. Daher kommt für die Anzeigevorrichtung keine 2D-Anzeige in Frage, sondern ein Autostereoskopiedisplay wie etwa ein Bildschirm mit einer Parallaxenbarriere oder Linsenraster, oder eine 3D-Anzeige die auf Polaristationsfiltertechnik, Interferenzfiltertechnik oder dergleichen beruht. Für letztere werden allerdings häufig Brillen nötig, um funktionstüchtig zu sein.The parallax, which is at least reduced, occurs because the driver looks at the display from different perspectives, namely from the perspective of his right and left eye. The inventor recognized that the parallax can be reduced or even eliminated by displaying different images for the left and right eye. Therefore, the display For this device, a 2D display is not suitable, but rather an autostereoscopic display such as a screen with a parallax barrier or lenticular screen, or a 3D display based on polarization filter technology, interference filter technology, or the like. However, the latter often requires glasses to function.

Weiterhin weist das Verfahren einen Schritt auf, in welchem eine rechte Position eines rechten Auges des Fahrers erhalten wird. Diese Information kann beispielsweise durch einen Eye-Tracker erzeugt werden. Auch eine Innenraumkamera, welche gleichzeitig Entfernungen messen kann, kann Basis für diese Information sein. Generell können jedwede Entfernungsbildgebungskameras (TOF-Kamera; engl.: time of flight) eingesetzt werden zu diesem Zweck. Die Position ist in Bezug auf ein fahrzeugfestes Koordinatensystem bekannt, beispielsweise in Bezug auf die Kameraposition oder einen bestimmten Punkt des Fahrzeuges selbst.The method further includes a step in which the right position of the driver's right eye is obtained. This information can be generated, for example, by an eye tracker. An interior camera that can simultaneously measure distances can also serve as the basis for this information. In general, any distance imaging camera (TOF camera; English: time-of-flight) can be used for this purpose. The position is known with respect to a vehicle-fixed coordinate system, for example, with respect to the camera position or a specific point on the vehicle itself.

Weiterhin weist das Verfahren einen Schritt auf, in welchem eine rechte Perspektive aus der rechten Position bestimmt wird. Dies kann beispielsweise über die Position der Hornhautreflexion realisiert werden. Es ist auch möglich, die Perspektive als Richtungsvektor vom Auge zu einem in den Bilddaten detektierten Objekt oder zu einem Punkt (beispielsweise die Mitte) der Anzeigevorrichtung zu definieren.The method further includes a step in which a right perspective is determined from the right position. This can be achieved, for example, using the position of the corneal reflection. It is also possible to define the perspective as a direction vector from the eye to an object detected in the image data or to a point (e.g., the center) of the display device.

Weiterhin weist das Verfahren einen Schritt auf, in welchem rechte transformierte Bilddaten durch Transformation der Bilddaten aus der Bilddaten-Perspektive in die rechte Perspektive erzeugt werden. Dem Fachmann sind verschiedene gebräuchliche Methoden vertraut, mit denen er Bilddaten aus einer Perspektive in eine andere transformieren kann. Beispielsweise offenbart die US 10 832 372 B2 ein Verfahren zum Adaptieren eines Bildes basierend auf der Perspektive und auf einer Form einer Anzeigevorrichtung für ein Kraftfahrzeug.Furthermore, the method comprises a step in which right-transformed image data is generated by transforming the image data from the image data perspective into the right-transformed perspective. Those skilled in the art are familiar with various common methods for transforming image data from one perspective to another. For example, US 10 832 372 B2 a method for adapting an image based on perspective and shape of a display device for a motor vehicle.

Weiterhin weist das Verfahren einen Schritt auf, in welchem eine linke Position eines linken Auges des Fahrers erhalten wird.Furthermore, the method comprises a step in which a left position of a left eye of the driver is obtained.

Weiterhin weist das Verfahren einen Schritt auf, in welchem eine linke Perspektive aus der linken Position bestimmt wird.Furthermore, the method comprises a step in which a left perspective is determined from the left position.

Weiterhin weist das Verfahren einen Schritt auf, in welchem linke transformierte Bilddaten durch Transformation der Bilddaten aus der Bilddaten-Perspektive in die linke Perspektive erzeugt wird.Furthermore, the method comprises a step in which left transformed image data is generated by transforming the image data from the image data perspective into the left perspective.

Diese Schritte sind für das linke Auge also analog zu denen des rechten Auges.These steps are therefore analogous for the left eye to those for the right eye.

Weiterhin weist das Verfahren einen Schritt auf, in welchem die rechten transformierten Bilddaten und die linken transformierten Bilddaten auf der Anzeigevorrichtung des Fahrzeuges derart angezeigt werden, dass die rechten transformierten Bilddaten vom rechten Auge und die linken transformierten Bilddaten vom linken Auge wahrgenommen werden. Die Bilder für die unterschiedlichen Augenpositionen und damit Augen-Perspektiven werden also nur jeweils einem Auge präsentiert. Unter idealen Bedingungen (keine Verbautoleranzen im Fahrzeug, fehlerfreie Detektion der beteiligten Sensoren, etc) tritt keine Parallaxe mehr auf.The method further includes a step in which the right-hand transformed image data and the left-hand transformed image data are displayed on the vehicle's display device in such a way that the right-hand transformed image data is perceived by the right eye and the left-hand transformed image data by the left eye. The images for the different eye positions and thus eye perspectives are thus presented to only one eye at a time. Under ideal conditions (no installation tolerances in the vehicle, error-free detection of the sensors involved, etc.), parallax no longer occurs.

In vorteilhafter Ausführung wird eine Objekt-Position zur Erzeugung der Bilddaten-Perspektive verwendet, wobei die Objekt-Position mittels einer ersten Tiefenkarte bestimmt wird. Das Objekt kann beispielsweise mittels bekannter Methoden der Objekterkennung in den Bilddaten erkannt werden. Werden die Bilddaten mit Entfernungsdaten in Form einer Tiefenkarte korreliert, lässt sich eine Position des Objektes leicht bestimmen. Ein Lidar-Sensor kann beispielsweise Basis für eine solche Tiefenkarte sein.In an advantageous embodiment, an object position is used to generate the image data perspective, with the object position being determined using a first depth map. The object can be detected in the image data, for example, using known object detection methods. If the image data is correlated with distance data in the form of a depth map, the object's position can be easily determined. A lidar sensor, for example, can serve as the basis for such a depth map.

In vorteilhafter Ausführung wird die rechte Position und die linke Position mit Hilfe einer zweiten Tiefenkarte bestimmt werden. Wie auch schon die Objekt-Position, können die Augenpositionen mit einer Tiefenkarte bestimmt werden. Beispielsweise eignet sich dazu ein Punktprojektor oder ein Infrarotsensor.In an advantageous implementation, the right and left positions are determined using a second depth map. Like the object position, the eye positions can be determined using a depth map. A point projector or an infrared sensor, for example, is suitable for this purpose.

In vorteilhafter Ausführung entspricht die rechte Perspektive einem rechten Vektor von der rechten Position zur Objekt-Position und die linke Perspektive einem linken Vektor von der linken Position zur Objekt-Position. Mit anderen Worten, die Perspektive entspricht der Blickrichtung zu einem in den Bilddaten detektierten Objekt. Dies muss nicht der tatsächlichen Blickrichtung des Fahrers entsprechen.In an advantageous embodiment, the right perspective corresponds to a right vector from the right position to the object position, and the left perspective corresponds to a left vector from the left position to the object position. In other words, the perspective corresponds to the viewing direction toward an object detected in the image data. This does not necessarily correspond to the driver's actual viewing direction.

In vorteilhafter Ausführung wird eine rechte Blickrichtung des rechten Auges detektiert und die rechte Perspektive entspricht der rechten Blickrichtung. Eine linke Blickrichtung des linken Auges wird detektiert und die linke Perspektive entspricht der linken Blickrichtung. Hier wird eine tatsächliche Blickrichtung des Fahrers detektiert, welche die jeweilige Augen-Perspektiven definieren. Dies kann beispielsweise über weitere Bilderkennungsalgorithmen gelingen, welche die Hornhautreflektion und das Augenzentrum erkennen und daraus die Blickrichtung extrahieren können. Dem Fachmann sind solche Methoden bekannt. Beispielsweise offenbart die US 10 314 484 B2 ein System zum Bestimmen einer Blickrichtung mindestens eines Auges eines Benutzers.In an advantageous embodiment, a right gaze direction of the right eye is detected, and the right perspective corresponds to the right gaze direction. A left gaze direction of the left eye is detected, and the left perspective corresponds to the left gaze direction. Here, an actual gaze direction of the driver is detected, which defines the respective eye perspectives. This can be achieved, for example, using additional image recognition algorithms that can detect the corneal reflection and the eye center and extract the gaze direction from them. Such methods are known to those skilled in the art. For example, the US 10 314 484 B2 a system for determining a gaze direction of at least one eye of a user.

Gemäß eines zweiten Aspekts der Erfindung weist ein Computerprogrammprodukt Befehle auf, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein wie zuvor beschriebenes Verfahren auszuführen. Das Computerprogrammprodukt kann in einer Programmiersprache, beispielsweise Python oder C++, verfasst sein.According to a second aspect of the invention, a computer program product comprises instructions which, when executed by a computer, cause the computer to execute a method as described above. The computer program product can be written in a programming language, for example, Python or C++.

Gemäß eines dritten Aspekts der Erfindung weist ein computerlesbares Speichermedium Befehle auf, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein wie zuvor beschriebenes Verfahren auszuführen. Das computerlesbares Speichermedium kann beispielsweise als SSD (engl.: solid-state disk) oder als Flash Speicher ausgeführt sein. Das computerlesbare Speichermedium kann daneben noch andere Daten speichern, beispielsweise Sensordaten und/oder Daten, die während des Ausführens des Verfahrens (zwischen)gespeichert werden.According to a third aspect of the invention, a computer-readable storage medium comprises instructions that, when the program is executed by a computer, cause the computer to execute a method as described above. The computer-readable storage medium can be implemented, for example, as an SSD (solid-state disk) or as a flash memory. The computer-readable storage medium can also store other data, for example, sensor data and/or data that is (temporarily) stored during the execution of the method.

Gemäß eines vierten Aspekts der Erfindung überträgt ein Datenträgersignal das wie zuvor beschriebene Computerprogrammprodukt. Das Datenträgersignal kann kabelgebunden, beispielsweise mittels eines CAN-Bus (engl.: controller area network) oder Ethernet Kabels oder kabellos mittels Wifi, Bluetooth oder dergleichen, übertragen werden.According to a fourth aspect of the invention, a data carrier signal transmits the computer program product as described above. The data carrier signal can be transmitted via a cable, for example, via a CAN bus (controller area network) or Ethernet cable, or wirelessly via Wi-Fi, Bluetooth, or the like.

Gemäß eines fünften Aspekts der Erfindung weist eine Vorrichtung zur Reduktion einer Parallaxe bei Betrachtung einer Anzeigevorrichtung durch einen Fahrer eines Fahrzeuges eine Auswerteeinheit auf, welche ausgebildet ist, ein wie zuvor beschriebenes Verfahren auszuführen. Die Auswerteeinheit selbst kann beispielsweise einen Prozessor und flüchtige und/oder nicht-flüchtige Speichermedien aufweisen. Die einzelnen Bestandteile der Auswerteeinheit können in einem einzelnen Bauteil realisiert sein, beispielsweise in einer zentralen Recheneinheit (HPC, engl.: high performance computer). Die einzelnen Bauteile können aber auch dezentral verteilt sein, beispielsweise können Speichermedien auf einem Server ausgelagert werden.According to a fifth aspect of the invention, a device for reducing parallax when a driver of a vehicle views a display device comprises an evaluation unit configured to carry out a method as described above. The evaluation unit itself can, for example, comprise a processor and volatile and/or non-volatile storage media. The individual components of the evaluation unit can be implemented in a single component, for example, in a central processing unit (HPC, English: high-performance computer). However, the individual components can also be distributed decentrally; for example, storage media can be outsourced to a server.

Weiterhin weist die Vorrichtung eine Bilderzeugungseinheit auf, welche kommunikativ mit der Auswerteeinheit verbunden ist. Die Bilderzeugungseinheit kann beispielsweise durch eine Außenkamera an einem Außenspiegel des Fahrzeuges realisiert werden. Die Bilderzeugungseinheit kann beispielsweise auch durch eine Recheneinheit realisiert werden, welche künstliche Bilddaten wie Navigationspfeile, Karten oder dergleichen erzeugen kann.The device further comprises an image generation unit that is communicatively connected to the evaluation unit. The image generation unit can be implemented, for example, by an external camera on an exterior mirror of the vehicle. The image generation unit can also be implemented, for example, by a computing unit that can generate artificial image data such as navigation arrows, maps, or the like.

Weiterhin weist die Vorrichtung eine Innenraumkamera auf, welche kommunikativ mit der Auswerteeinheit verbunden und derart im Fahrzeug angeordnet ist, dass sie Augen des Fahrers erfassen kann. Beispiele für solche Innenraumkameras sind beispielsweise Eye-Tracker.The device also includes an interior camera that is communicatively connected to the evaluation unit and positioned in the vehicle in such a way that it can capture the driver's eyes. Examples of such interior cameras include eye trackers.

Weiterhin weist die Vorrichtung eine Anzeigevorrichtung auf, welche kommunikativ mit der Auswerteeinheit verbunden ist. Die Anzeigevorrichtung ist im Stande, zwei unterschiedliche Bilder gleichzeitig aber in unterschiedliche Richtungen anzuzeigen. Beispielsweise können dies Autostereoskopiedisplays oder 3D-Anzeigen.The device further comprises a display device that is communicatively connected to the evaluation unit. The display device is capable of displaying two different images simultaneously but in different directions. For example, these can be autostereoscopic displays or 3D displays.

Für die kommunikative Verbindung unter den einzelnen Bestandteilen der Auswerteeinheit eignet sich beispielsweise ein CAN-Bus oder Ethernet Kabel.A CAN bus or Ethernet cable, for example, is suitable for the communicative connection between the individual components of the evaluation unit.

In vorteilhafter Ausführung wird entspricht die Anzeigevorrichtung einem Autostereoskopiedisplay.In an advantageous embodiment, the display device corresponds to an autostereoscopy display.

In vorteilhafter Ausführung entspricht die Anzeigevorrichtung einem Head-up Display entspricht.In an advantageous embodiment, the display device corresponds to a head-up display.

Gemäß eines sechsten Aspekts der Erfindung weist ein Fahrzeug eine Vorrichtung wie zuvor beschriebene Vorrichtung auf. Dabei können einzelne Bestandteile der Vorrichtung mehrere Funktionen des Fahrzeuges zur Verfügung stehen. Die Innenraumkamera kann beispielsweise ebenso dazu genutzt werden, eine Müdigkeit des Fahrers zu erkennen.According to a sixth aspect of the invention, a vehicle comprises a device such as the one described above. Individual components of the device can be used to provide multiple functions of the vehicle. The interior camera, for example, can also be used to detect driver fatigue.

Kurzfassung der FigurenSummary of the characters

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen mit Hilfe von Figuren näher erläutert. Die Figuren zeigen:

1: Eine erste Szene aus einer Fahrerkabine zur Erläuterung des gewünschten Ergebnisses;
2: Eine Aufsicht auf ein Fahrzeug zur Erläuterung des der Erfindung zugrundeliegenden Problems;
3: Eine zweite Szene aus einer Fahrerkabine zur Erläuterung des der Erfindung zugrundeliegenden Problems;
4: Ein Ausführungsbeispiel einer Vorrichtung zur Reduktion einer Parallaxe;
5: Ein Flussdiagramm eines computerimplementierten Verfahrens zur Reduktion einer Parallaxe; und
6: Ein Flussdiagramm eines Ausführungsbeispiels des computerimplementierten Verfahrens aus 5.

The invention is explained in more detail below using exemplary embodiments and figures. The figures show:

1 : A first scene from a driver's cab to explain the desired result;
2 : A plan view of a vehicle to explain the problem underlying the invention;
3 : A second scene from a driver's cab to explain the problem underlying the invention;
4 : An embodiment of a device for reducing parallax;
5 : A flowchart of a computer-implemented method for reducing parallax; and
6 : A flowchart of an embodiment of the computer-implemented method of 5 .

Detaillierte Beschreibung der FigurenDetailed description of the characters

1 zeigt eine erste Szene aus einer Fahrerkabine zur Erläuterung des gewünschten Ergebnisses. 1 shows a first scene from a driver's cab to explain the desired result.

In 1 ist eine Szene aus einem Fahrzeug 100 heraus gezeigt. Das Fahrzeug 100 weist eine Anzeigevorrichtung 105 auf, welche auf einer A-Säule angeordnet ist. Die A-Säule versperrt einem Fahrer 135 des Fahrzeuges 100 die Sicht auf Personen 120 und Objekte 130, welche sich aus der Perspektive des Fahrers 135 hinter der A-Säule befinden. Der Zweck der Anzeigevorrichtung 105 ist es, diese Personen 120 und Objekte 130 für den Fahrer 135 sichtbar zu machen. Dabei sollen die digitalen Repräsentationen 125,170,175, welche auf der Anzeigevorrichtung 105 angezeigt werden, umweltsynchron erscheinen. Mit anderen Worten, dem Fahrer 135 sollte der einsehbare Bereich um die Anzeigevorrichtung 105 so erscheinen, als sei er eng mit ihr verbunden. In 1 ist die Anzeige auf der Anzeigevorrichtung 105 umweltsynchron, es gibt keinen Versatz oder einen Skalierungsfehler zwischen der Digitale Repräsentation der Person 125 und der Person 120, welche noch im vom Fahrer 135 einsehbaren Bereich liegt.In 1 A scene is shown from a vehicle 100. The vehicle 100 has a display device 105 arranged on an A-pillar. The A-pillar blocks a driver 135 of the vehicle 100 from seeing people 120 and objects 130 located behind the A-pillar from the perspective of the driver 135. The purpose of the display device 105 is to make these people 120 and objects 130 visible to the driver 135. The digital representations 125, 170, 175 displayed on the display device 105 should appear synchronous with the environment. In other words, the visible area around the display device 105 should appear to the driver 135 as if it were closely connected to it. 1 the display on the display device 105 is environmentally synchronous, there is no offset or scaling error between the digital representation of the person 125 and the person 120, which is still within the area visible to the driver 135.

Das Fahrzeug 100 weist eine Außenkamera 110 auf, welche mit ihrem Sichtfeld 115 den für den Fahrer 135 nicht-einsehbaren Bereich zumindest teilweise erfasst. Die Bilddaten 275 der Außenkamera 110 werden auf der Anzeigevorrichtung 105 dargestellt. Dabei werden sie zuvor transformiert, um beispielsweise einer ungefähren Perspektive des Fahrers 135 und einer Krümmung der Anzeigevorrichtung 105 Rechnung zu tragen.The vehicle 100 has an exterior camera 110, which, with its field of view 115, at least partially captures the area invisible to the driver 135. The image data 275 from the exterior camera 110 is displayed on the display device 105. They are previously transformed, for example, to account for an approximate perspective of the driver 135 and a curvature of the display device 105.

2 zeigt eine Aufsicht auf ein Fahrzeug 100 zur Erläuterung des der Erfindung zugrundeliegenden Problems. 2 shows a plan view of a vehicle 100 to explain the problem underlying the invention.

2 zeigt eine im Prinzip identische Szene wie 1, aber als Aufsicht. Der Fahrer 135 des Fahrzeuges 100 wird durch die A-Säule gehindert, ein Objekt 130 oder eine Person 120 vollständig zu sehen. Der Fahrer 135 weist ein rechtes Auge 140 und ein linkes Auge 145 auf, welche aus unterschiedlichen Perspektiven auf das Objekt 130 oder die Person 120 blicken, da sie einen Abstand zueinander aufweisen. Dadurch ergeben sich unterschiedliche Distanzen vom rechten Auge zum Objekt 150 und vom linken Auge zum Objekt 155. Die unterschiedlichen Perspektiven der Augen 140,145 führen durch eine unterschiedliche Ursprungsposition auch zu verschiedenen Positionen auf der Anzeigevorrichtung 105, wo das Objekt 130 oder die Person 120 angezeigt werden müssten, um vom jeweiligen Auge 140,145 perspektivisch korrekt und umweltsynchron wahrgenommen zu werden. Für das rechte Auge 140 müsste eine Objektposition für das rechte Auge 160, für das linke Auge 145 eine davon unterschiedliche Objektposition für das linke Auge 165 verwendet werden. Dies wird in derzeit verfügbaren Systemen aber nicht getan. Die Auswirkungen dieses Mangels werden mit Bezug auf 3 diskutiert. 2 shows a scene essentially identical to 1 , but as a top view. The driver 135 of the vehicle 100 is prevented by the A-pillar from fully seeing an object 130 or a person 120. The driver 135 has a right eye 140 and a left eye 145, which view the object 130 or the person 120 from different perspectives because they are spaced apart. This results in different distances from the right eye to the object 150 and from the left eye to the object 155. The different perspectives of the eyes 140, 145 also lead to different positions on the display device 105, where the object 130 or the person 120 would have to be displayed in order to be perceived by the respective eye 140, 145 with the correct perspective and in synchronization with the environment. For the right eye 140, an object position for the right eye 160 would have to be used, and for the left eye 145, a different object position for the left eye 165 would have to be used. However, this is not done in currently available systems. The effects of this deficiency are discussed with reference to 3 discussed.

3 zeigt eine zweite Szene aus einer Fahrerkabine zur Erläuterung des der Erfindung zugrundeliegenden Problems. 3 shows a second scene from a driver's cab to explain the problem underlying the invention.

In 3 lässt sich erkennen, wie die Darstellung einer Digitale Repräsentation der Person 125 wahrgenommen wird, wenn mit beiden Augen 140,145 die Anzeigevorrichtung 105 betrachtet wird. Durch die mangelnde Korrektur bezüglich der unterschiedlichen Perspektiven des rechten Auges 140 und des linken Auges 145, wird die digitale Repräsentation für das rechte Auge 170 und die digitale Repräsentation für das linke Auge 175 mit einem Abstand zueinander wahrgenommen. Diese Parallaxe oder Disparität kann den Fahrer 135 verwirren oder bei längerer Betrachtung zu Kopfschmerzen führen.In 3 It can be seen how the representation of a digital representation of the person 125 is perceived when the display device 105 is viewed with both eyes 140, 145. Due to the lack of correction for the different perspectives of the right eye 140 and the left eye 145, the digital representation for the right eye 170 and the digital representation for the left eye 175 are perceived as being spaced apart. This parallax or disparity can confuse the driver 135 or lead to headaches upon prolonged viewing.

Im weiteren werden nun Vorrichtungen 200 und Verfahren 230 diskutiert, welche zumindest zu einer Reduktion dieser Parallaxe führen.In the following, devices 200 and methods 230 are discussed which at least lead to a reduction of this parallax.

4 zeigt ein Ausführungsbeispiel einer Vorrichtung 200 zur Reduktion einer Parallaxe. 4 shows an embodiment of a device 200 for reducing parallax.

Die Vorrichtung 200 weist eine Außenkamera 110, eine Innenraumkamera 180 und eine Anzeigevorrichtung 105 auf. Weiterhin weist die Vorrichtung 200 eine Auswerteeinheit 205 auf. Diese wiederum weist einen Prozessor 210, einen flüchtigen Speicher 220 und einen nicht-flüchtigen Speicher 215 auf. Auf dem nicht-flüchtigen Speicher 215 ist ein Computerprogrammprodukt 225 gespeichert, welches Befehle aufweist, bei deren Ausführung durch den Prozessor 210 diesen veranlassen, ein Verfahren 230 zur Reduktion einer Parallaxe durchzuführen. Das Computerprogrammprodukt 225 ist beispielsweise in der Programmiersprache Python verfasst. Alle Elemente sind kommunikativ, beispielsweise mit einem Ethernet Kabel, verbunden.The device 200 comprises an external camera 110, an internal camera 180, and a display device 105. Furthermore, the device 200 comprises an evaluation unit 205. This, in turn, comprises a processor 210, a volatile memory 220, and a non-volatile memory 215. A computer program product 225 is stored on the non-volatile memory 215. The computer program product 225 comprises instructions which, when executed by the processor 210, cause the processor to perform a method 230 for reducing parallax. The computer program product 225 is written, for example, in the Python programming language. All elements are communicatively connected, for example, via an Ethernet cable.

5 zeigt ein Flussdiagramm eines computerimplementierten Verfahrens 230 zur Reduktion einer Parallaxe. 5 shows a flowchart of a computer-implemented method 230 for reducing parallax.

Im Verfahren 230 werden in einem ersten Erhaltungsschritt 235 Bilddaten 275 erhalten. In einem zweiten Erhaltungsschritt 240 wird eine rechte Position 320 eines rechten Auges 140 eines Fahrers 135 erhalten. In einem dritten Erhaltungsschritt 245 wird eine linke Position 325 eines linken Auges 145 des Fahrers 135 erhalten.In method 230, image data 275 is obtained in a first acquisition step 235. In a second acquisition step 240, a right position 320 of a right eye 140 of a driver 135 is obtained. In a third acquisition step 245, a left position 325 of a left eye 145 of the driver 135 is obtained.

In einem ersten Bestimmungsschritt 250 wird aus der rechten Position 320 eine rechte Perspektive 335 bestimmt. Aus der linken Position 325 wird in einem zweiten Bestimmungsschritt 260 eine linke Perspektive 340 bestimmt.In a first determination step 250, a right perspective 335 is determined from the right position 320. In a second determination step 260, a left perspective 340 is determined from the left position 325.

In einem ersten Erzeugungsschritt 255 werden rechte transformierte Bilddaten 345 erzeugt. Dies gelingt auf Basis der Bilddaten 275 durch Transformation aus der Bilddaten-Perspektive 310 in die rechte Perspektive 335. Analog dazu werden in einem zweiten Erzeugungsschritt 265 linke transformierte Bilddaten 350 durch Transformation aus der Bilddaten-Perspektive 310 in die linke Perspektive 340 erzeugt.In a first generation step 255, right-hand transformed image data 345 is generated. This is achieved on the basis of the image data 275 by transforming it from the image data perspective 310 to the right-hand perspective 335. Similarly, in a second generation step 265, left-hand transformed image data 350 is generated by transforming it from the image data perspective 310 to the left perspective 340.

Abschließend werden die rechten transformierten Bilddaten 345 und die linken transformierten Bilddaten 350 auf einer Anzeigevorrichtung 105 des Fahrzeuges 100 angezeigt. Dabei werden die rechten transformierten Bilddaten 345 vom rechten Auge 140 und die linken transformierten Bilddaten 350 vom linken Auge 145 wahrgenommen. Durch die korrekte Berücksichtigung der Perspektiven 335,340 und die Augenabhängige Anzeige wird die ansonsten auftretende Parallaxe zumindest reduziert, wenn nicht sogar gänzlich vermieden.Finally, the right transformed image data 345 and the left transformed image data 350 are displayed on a display device 105 of the vehicle 100. The right transformed image data 345 is perceived by the right eye 140, and the left transformed image data 350 is perceived by the left eye 145. By correctly considering the perspectives 335, 340 and the eye-dependent display, the parallax that would otherwise occur is at least reduced, if not completely eliminated.

6 zeigt ein Flussdiagramm eines Ausführungsbeispiels des computerimplementierten Verfahrens 230 aus 5. 6 shows a flowchart of an embodiment of the computer-implemented method 230 from 5 .

In 6 ist eine Außenkamera 110 gezeigt, welche neben Bildaufnahme- auch über Distanzmessungsfähigkeiten verfügt, da sie über ein Lidar (engl.: light detection and ranging) verfügt. Daher weist die Außenkamera 110 neben Außenkamera-Bilddaten 275 auch Lidar-Daten 280 auf.In 6 An outdoor camera 110 is shown, which, in addition to image capture, also has distance measurement capabilities, as it features a LIDAR (light detection and ranging) sensor. Therefore, the outdoor camera 110 has LIDAR data 280 in addition to outdoor camera image data 275.

Weiterhin ist in 6 eine Innenraumkamera 180 gezeigt, welche neben Bildaufnahme- ebenfalls über Distanzmessungsfähigkeiten verfügt, da sie einen Punkteprojektor aufweist. Daher weist die Innenraumkamera 180 neben Innenraumkamera-Bilddaten 285 auch Punktprojektor-Daten 290 auf.Furthermore, 6 An interior camera 180 is shown, which, in addition to image capture, also has distance measurement capabilities because it has a dot projector. Therefore, the interior camera 180 has dot projector data 290 in addition to interior camera image data 285.

6 zeigt eine Auswerteeinheit 205 mit einem Prozessor 210, einem flüchtigen Speicher 220 und einem nicht-flüchtigen Speicher 215. Die Elemente 210,215,220 der Auswerteeinheit 205 können bidirektional miteinander kommunizieren, wenn dies nötig ist. Auf dem nicht-flüchtigen Speicher 215 ist ein Computerprogrammprodukt 225 gespeichert. Dieses ist eine einer oder mehreren Programmiersprachen wie Python, C, C++, oder dergleichen verfasst und beschreibt Befehle, die es ermöglichen, das Verfahren 230 aus 5 auszuführen. Die Befehle werden durch den Prozessor 210 ausgeführt und nachgehend näher erläutert. Weiterhin ist in 6 eine Anzeigevorrichtung 105 gezeigt. Diese ist als LCD-Display mit einer Parallaxenbarriere ausgebildet, so dass bestimmte Pixel nur aus einem dem rechten Auge 140 entsprechenden Winkelbereich und andere Pixel nur aus einem dem linken Auge 145 entsprechenden Winkelbereich gesehen werden können. 6 shows an evaluation unit 205 with a processor 210, a volatile memory 220, and a non-volatile memory 215. The elements 210, 215, 220 of the evaluation unit 205 can communicate bidirectionally with each other if necessary. A computer program product 225 is stored on the non-volatile memory 215. This is written in one or more programming languages such as Python, C, C++, or the like and describes commands that enable the method 230 to be executed. 5 The instructions are executed by the processor 210 and are explained in more detail below. Furthermore, 6 A display device 105 is shown. This is designed as an LCD display with a parallax barrier, so that certain pixels can only be seen from an angular range corresponding to the right eye 140 and other pixels can only be seen from an angular range corresponding to the left eye 145.

Zunächst werden die Lidar-Daten 280 der Außenkamera 110 im Prozessor 210 zu einer Außenkamera-Tiefenkarte 295 verarbeitet. Diese korreliert jeden Pixel der Außenkamera-Bilddaten 275 mit einer Tiefe. Nach einer Objektdetektierung in den Außenkamera-Bilddaten 275 kann einem relevanten Objekt 130, beispielsweise einer Person 120, eine Objekt-Position 300 zugewiesen werden. Da die Außenkamera 110 derart angeordnet ist, dass ein vom Fahrer 135 des Fahrzeuges 100 nicht einsehbarer Bereich erfasst wird, sind insbesondere verletzliche Verkehrsteilnehmer oder Hindernisse als relevante Objekte 130 anzusehen.First, the lidar data 280 of the external camera 110 is processed in the processor 210 to create an external camera depth map 295. This map correlates each pixel of the external camera image data 275 with a depth. After an object is detected in the external camera image data 275, an object position 300 can be assigned to a relevant object 130, for example, a person 120. Since the external camera 110 is arranged such that an area invisible to the driver 135 of the vehicle 100 is captured, vulnerable road users or obstacles, in particular, are considered relevant objects 130.

Die Objekt-Position 300 liegt typischerweise zunächst in Relation zur Außenkamera 110 vor, kann aber mit Hilfe eines Außenkamera-Koordinatensystem 305, welches beispielsweise in Relation zu einem fahrzeugfesten Koordinatensystem definiert ist, auf einen anderen beliebigen Bezug umgerechnet werden. Die Bilddaten-Perspektive 310 wird nun errechnet als Vektor, welcher von der Außenkamera 110 zum detektierten Objekt 120 zeigt (siehe 2, Bezugszeichen 131). Die Bilddaten-Perspektive 310 kann aber auch statisch angenommen und durch die Ausrichtung der Außenkamera 110 gegeben sein.The object position 300 is typically initially present in relation to the external camera 110, but can be converted to any other arbitrary reference using an external camera coordinate system 305, which is defined, for example, in relation to a vehicle-fixed coordinate system. The image data perspective 310 is then calculated as a vector pointing from the external camera 110 to the detected object 120 (see 2 , reference numeral 131). However, the image data perspective 310 can also be assumed to be static and determined by the orientation of the external camera 110.

Parallel werden die Punktprojektor-Daten 290 im Prozessor 210 zu einer Innenraumkamera-Tiefenkarte 315 verarbeitet. In den Innenraumkamera-Bilddaten 285 wird der Kopf des Fahrers 135 und insbesondere seine Augen 140,145 erfasst. Dazu kann die Innenraumkamera 180 beispielsweise wie in 1 und 2 in einer Instrumententafel angeordnet sein, um mit ihrem Innenraumkamera-Sichtfeld 185 die Augen 140,145 zu erfassen. Andere Anordnungen, wie beispielsweise im Rückspiegel, sind ebenfalls realisierbar.In parallel, the point projector data 290 are processed in the processor 210 to form an interior camera depth map 315. The head of the driver 135 and in particular his eyes 140, 145 are recorded in the interior camera image data 285. For this purpose, the interior camera 180 can, for example, be positioned as shown in 1 and 2 be arranged in an instrument panel in order to capture the eyes 140, 145 with its interior camera field of view 185. Other arrangements, such as in the rearview mirror, are also feasible.

Mit Hilfe der Innenraumkamera-Tiefenkarte 315 und einer Objektdetektierung in den Innenraumkamera-Bilddaten 285, welche das rechte Auge 140 und das linke Auge 145 detektieren kann, kann eine Position des rechten Auges 320 und eine Position des linken Auges 325 gefunden werden. Üblicherweise sind diese Positionen relativ zur einem Innenraumkamera-Koordinatensystem 330. Dessen Verhältnis zu einem fahrzeugfesten Koordinatensystem ist aber typischerweise bekannt, daher kann auf ein anderes Koordinatensystem umgerechnet werden, falls nötig.Using the interior camera depth map 315 and object detection in the interior camera image data 285, which can detect the right eye 140 and the left eye 145, a position of the right eye 320 and a position of the left eye 325 can be found. Typically, these positions are relative to an interior camera coordinate system 330. However, its relationship to a vehicle-fixed coordinate system is typically known, so it can be converted to another coordinate system if necessary.

Aus der Position des rechten Auges 320 kann nun eine Perspektive des rechten Auges 335 ermittelt werden. Dies kann beispielsweise durch einfache geometrische Betrachtungen geschehen, in dem ein Vektor von der Position des rechten Auges 320 zum detektierten Objekt 130 errechnet wird. Im Beispiel von 6 wird allerdings in den Innenraumkamera-Bilddaten 285 eine Hornhautreflexion detektiert. Mit dieser kann die Perspektiven rechtes Auge 335 bestimmt werden, was dem Fachmann beispielsweise aus der US 2019/0206082 A1 bekannt ist.From the position of the right eye 320, a perspective of the right eye 335 can now be determined. This can be done, for example, by simple geometric considerations, in which a vector is calculated from the position of the right eye 320 to the detected object 130. In the example of 6 However, a corneal reflection is detected in the interior camera image data 285. This can be used to determine the perspective of the right eye 335, which the expert can determine, for example, from the US 2019/0206082 A1 is known.

Analog dazu wird aus der Position des linken Auges 325 eine Perspektive des linken Auges 340 ermittelt.Analogously, a perspective of the left eye 340 is determined from the position of the left eye 325.

Nun werden die Außenkamera-Bilddaten 275 zur Anzeige für das rechte Auge 140 vorbereitet. Hierzu werden sie aus der Bilddaten-Perspektive 310 mit Hilfe mathematischer Transformationen wie beschneiden, drehen, rotieren, verzerren und dergleichen, in die Perspektive des rechten Auges 335 transformiert. Das Ergebnis sind rechte transformierte Bilddaten 345. Analog werden auch linke transformierte Bilddaten 350 erstellt.The external camera image data 275 is now prepared for display for the right eye 140. For this purpose, it is transformed from the image data perspective 310 into the perspective of the right eye 335 using mathematical transformations such as cropping, rotating, twisting, and the like. The result is right-transformed image data 345. Left-transformed image data 350 is also created analogously.

Anschließend werden die rechten transformierten Bilddaten 345 und die linken transformierten Bilddaten 350 auf der Anzeigevorrichtung 105 dargestellt. Dies geschieht derart, dass jene Pixel der Anzeigevorrichtung 105, welche durch die Parallaxenbarriere nur für das rechte Auge 140 sichtbar sind, die rechten transformierten Bilddaten 345 darstellen. Die Pixel, die durch die Parallaxenbarriere nur für das linke Auge 140 sichtbar sind, zeigen die linken transformierten Bilddaten 350 an.Subsequently, the right transformed image data 345 and the left transformed image data 350 are displayed on the display device 105. This occurs in such a way that those pixels of the display device 105 that are visible only to the right eye 140 through the parallax barrier display the right transformed image data 345. The pixels that are visible only to the left eye 140 through the parallax barrier display the left transformed image data 350.

BezugszeichenlisteList of reference symbols

100100: Fahrzeugvehicle
105105: AnzeigevorrichtungDisplay device
110110: AußenkameraOutdoor camera
115115: Sichtfeld AußenkameraField of view outdoor camera
120120: Personperson
125125: Digitale Repräsentation der PersonDigital representation of the person
130130: Objektobject
131131: Distanz Außerkamera zu ObjektDistance from external camera to object
135135: Fahrerdriver
140140: Rechtes AugeRight eye
145145: Linkes AugeLeft eye
150150: Distanz rechtes Auge zu ObjektDistance right eye to object
155155: Distanz linkes Auge zu ObjektDistance left eye to object
160160: Objektposition für rechtes AugeObject position for right eye
165165: Objektposition für linkes AugeObject position for left eye
170170: Digitale Repräsentation für rechtes AugeDigital representation for the right eye
175175: Digitale Repräsentation für linkes AugeDigital representation for left eye
180180: InnenraumkameraInterior camera
185185: Sichtfeld InnenraumkameraField of view interior camera
190190: Distanz rechtes Auge zu InnenraumkameraDistance right eye to interior camera
195195: Distanz linkes Auge zu InnenraumkameraDistance left eye to interior camera
200200: Vorrichtungdevice
205205: AuswerteeinheitEvaluation unit
210210: Prozessorprocessor
215215: Nicht-flüchtigen SpeicherNon-volatile memory
220220: Flüchtigen SpeicherVolatile memory
225225: Computerprogrammproduktcomputer program product
230230: VerfahrenProceedings
235235: Erster ErhaltungsschrittFirst conservation step
240240: Zweiter ErhaltungsschrittSecond conservation step
245245: Dritter ErhaltungsschrittThird conservation step
250250: Erster BestimmungsschrittFirst determination step
255255: Erster ErzeugungsschrittFirst production step
260260: Zweiter BestimmungsschrittSecond determination step
265265: Zweiter ErzeugungsschrittSecond production step
270270: AnzeigeschrittDisplay step
275275: Bilddaten AußenkameraImage data outdoor camera
280280: Lidar-DatenLidar data
285285: Bilddaten InnenraumkameraImage data interior camera
290290: Punktprojektor-DatenDot projector data
295295: Tiefenkarte AußenkameraDepth map outdoor camera
300300: Objekt-PositionObject position
305305: Außenkamera-KoordinatensystemOutdoor camera coordinate system
310310: Bilddaten-PerspektiveImage data perspective
315315: Tiefenkarte InnenraumkameraDepth map indoor camera
320320: Position rechtes AugePosition right eye
325325: Position linkes AugePosition left eye
330330: Innenraumkamera-KoordinatensystemInterior camera coordinate system
335335: Perspektiven rechtes AugePerspectives right eye
340340: Perspektiven linkes AugePerspectives left eye
345345: Rechte transformierte BilddatenRights transformed image data
350350: Linke transformierte BilddatenLeft transformed image data

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 1 878 618 B1 [0004]
US 10 832 372 B2 [0013]
US 10 314 484 B2 [0022]
US 2019/0206082 A1 [0058]

Claims

A computer-implemented method (230) for reducing parallax when viewing a display device (105) by a driver (135) of a vehicle (100), comprising the steps of: a) obtaining (235) image data (275) generated from an image data perspective (310), b) obtaining (240) a right position (320) of a right eye (140) of the driver (135), c) determining (250) a right perspective (335) from the right position (320), d) generating (255) right-transformed image data (345) by transforming the image data (275) from the image data perspective (310) into the right perspective (335), e) obtaining (245) a left position (325) of a left eye (145) of the driver (135), f) determining (260) a left Perspective (340) from the left position (325), g) generating (265) left transformed image data (350) by transforming the image data (275) from the image data perspective (310) into the left perspective (340), and h) displaying (270) the right transformed image data (345) and the left transformed image data (350) on the display device (105) of the vehicle (100) such that the right transformed image data (345) is perceived by the right eye (140) and the left transformed image data (350) is perceived by the left eye (145).

Computer-implemented method according to Claim 1 , characterized in that an object position (300) is used to generate the image data perspective (310), wherein the object position (300) is determined by means of a first depth map (295).

Computer-implemented method according to Claim 1 or 2 , characterized in that the right position (320) and the left position (325) are determined with the aid of a second depth map (315).

Computer-implemented method according to Claim 2 , characterized in that the right perspective (335) corresponds to a right vector from the right position (320) to the object position (300) and the left perspective (340) corresponds to a left vector from the left position (325) to the object position (300).

Computer-implemented method according to one of the preceding claims, characterized in that a right gaze direction of the right eye (140) is detected and the right perspective (335) corresponds to the right gaze direction and in that a left gaze direction of the left eye (145) is detected and the left perspective (340) corresponds to the left gaze direction.

Computer program product (225) comprising instructions which, when the program is executed by a computer, cause the computer to carry out a method (230) according to one of the preceding claims

Computer-readable storage medium (215) comprising instructions which, when the program is executed by a computer, cause the computer to carry out a method (230) according to one of the Claims 1 until 5 to execute.

Data carrier signal which the computer program product (225) Claim 6 transmits.

Device (200) for reducing a parallax when viewing a display device (105) by a driver (135) of a vehicle (100), comprising: a) an evaluation unit (205) which is designed to carry out a method (230) according to one of the Claims 1 until 5 to carry out, b) an image generation unit (110) which is communicatively connected to the evaluation unit (205), c) an interior camera (180) which is communicatively connected to the evaluation unit (205), arranged in the vehicle (100) such that it can detect eyes (140,145) of the driver (135), and d) a display device (105) which is communicatively connected to the evaluation unit (205).

Device according to Claim 9 , characterized in that the display device (105) corresponds to an autostereoscopy display.

Device according to Claim 9 , characterized in that the display device (105) corresponds to a head-up display.

Vehicle (100) comprising a device (200) according to one of the Claims 9 until 11 has.