EP3685213A1

EP3685213A1 - Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug

Info

Publication number: EP3685213A1
Application number: EP18759927.9A
Authority: EP
Inventors: Vitalij SADOVITCH
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2017-09-21
Filing date: 2018-08-23
Publication date: 2020-07-29
Also published as: DE102017216774A1; US20210110791A1; CN111095078A; DE102017216774B4; US11250816B2; WO2019057439A1

Abstract

Ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Mittels einer geeigneten Methodik werden Störbewegungen des Kraftfahrzeugs detektiert (10). Zudem generiert (11) ein Grafikgenerator eine Markierung zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung, wobei die Markierung eine dynamische Ausgestaltung aufweist. Die generierte Markierung wird schließlich zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung ausgegeben (12).

Description

Beschreibung

Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein

Kraftfahrzeug

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality- Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Die Erfindung betrifft weiterhin ein Kraftfahrzeug, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.

Mit der stetigen Weiterentwicklung von Virtual und Augmented Reality-Technologien und - Anwendungen finden diese auch Einzug in das Automobil. Bei Augmented Reality (AR), auf Deutsch„erweiterte Realität", handelt es sich um die Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck„Augmented Reality" gegenüber dem Ausdruck„erweiterte Realität" durchgesetzt hat, wird im Folgenden ersterer benutzt.

Eine mögliche technische Realisierung, um den Fahrerarbeitsplatz entsprechend mit perspektivisch korrekten virtuellen Erweiterungen anzureichern, bietet das Head-Up-Display (HUD). Dabei werden die Lichtstrahlen eines im Armaturenbrett verbauten Displays über mehrere Spiegel und Linsen gefaltet und über eine Projektionsfläche in das Auge des Fahrers gespiegelt, sodass dieser ein virtuelles Bild außerhalb des Fahrzeuges wahrnimmt. Als Projektionsfläche dient im Automobilbereich oftmals die Frontscheibe, deren gekrümmte Form bei der Darstellung berücksichtigt werden muss. Als Alternative wird zum Teil auch eine zusätzliche Scheibe aus Glas oder Kunststoff genutzt, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Durch die optische Überlagerung von Anzeige und Fahrszene sind weniger Kopf- und Augenbewegungen zum Ablesen der Informationen notwendig. Zudem verringert sich der Adaptationsaufwand für die Augen, da abhängig von der virtuellen Distanz der Anzeige weniger bis gar nicht akkommodiert werden muss. Aktuelle Serien-HUDs beschränken sich jedoch auf Anzeigen direkt unter dem primären Sichtbereich des Fahrers und enthalten redundante Informationen, wie z.B. die Geschwindigkeitsanzeige, die auch an anderer stelle im Cockpit wiederzufinden sind. Diese Anzeigetechnologie reduziert zwar Blickabwendungen von der Straße, hat aber weiterhin den Nachteil, dass die präsentierten Informationen interpretiert und auf die reale Situation übertragen werden müssen, da sie nicht in der realen Szene registriert sind. Dies kann in komplexen Situationen einen mental beanspruchenden kognitiven Prozess darstellen. Durch Markieren von Objekten und Einblenden von Informationen an ihrem realen Bezugsort, d.h. durch eine kontaktanaloge Darstellung, lassen sich umweltbezogene Informationen im Sichtfeld des Fahrers direkt darstellen. Diese direkte grafische Anreicherung der Umwelt in Form von Augmented Reality kann die kognitiven Transferanforderungen erheblich reduzieren.

In diesem Zusammenhang offenbart die DE 10 2014 214 516 A1 eine Vorrichtung, insbesondere eine Datenbrille oder ein Head-Up-Display, zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs. Die Vorrichtung ist eingerichtet Daten, insbesondere visuelle Medieninhalte, in einem Bildausschnitt des Sichtfelds des Insassen wiederzugeben, welcher momentan und voraussichtlich auch zukünftig keine für den Verkehr um das Fahrzeug wesentliche Umgebungsinformation enthält.

Augmented Reality bietet vielfältige Anwendungsmöglichkeiten zur Unterstützung des Fahrers durch kontaktanaloge Markierung von Fahrbahnen und Objekten. Relativ

naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen in herkömmlichen Head-Up-Displays in der Regel schematische Darstellungen anzeigen, z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll, bieten AR- Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als„Teil der Umwelt" dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen durch den Nutzer möglich. In modernen Kraftfahrzeugen werden vielfältige Daten durch

Umfeldsensoren erfasst. Ziel aktueller Entwicklungen ist es, diese Daten sinnvoll in

Augmented-Reality-Darstellungen zu integrieren.

Eine Registrierung der virtuellen Informationen im realen Sichtfeld des Fahrers im Sinne von Augmented Reality stellt sehr hohe Anforderungen an die technische Umsetzung. Um virtuelle Inhalte ortsgenau und perspektivisch korrekt in der Realität darstellen zu können ist sehr detailliertes Wissen über die Umgebung und Eigenbewegung des Fahrzeuges notwendig. Damit die virtuelle Einblendung für den Fahrer perspektivisch korrekt in der Welt liegt, muss sie in Abhängigkeit von der Lage des Fahrzeugs im dreidimensionalen Raum positioniert und ausgerichtet sein, da das Head-Up-Display im Fahrzeug verbaut ist. Die Fahrzeuglage ändert sich durch Nick-, Wank- und Gierbewegungen permanent und hochdynamisch. Eine Erfassung durch Drehraten- und Beschleunigungssensoren ist hinreichend präzise möglich. Allerdings ist die Datenverarbeitungskette von der sensorischen Datenerfassung über die Datenverarbeitung und das 3D-Rendering bis hin zur Darstellung der Anzeige so lang, dass sich eine Latenz im Bereich von 100ms ergibt. Dabei werden in Augmented-Reality-Anwendungen bereits Latenzen im Bereich von 15ms als störend wahrgenommen.

Nickbewegungen des Fahrzeugs wirken sich am stärksten auf die Positionierung der virtuellen Anzeige aus. Die Anzeige erscheint auf und ab zu wandern. Da die relative Höhe ein starkes monokulares Tiefenkriterium darstellt werden Objekte, die weiter oben im

Sichtfeld angezeigt werden, vom Menschen als weiter entfernt wahrgenommen. Die

Nickbewegungen wirken sich daher direkt auf die empfundene Abbildungsdistanz aus. Im Ergebnis führen die Einflüsse der Fahrdynamik dazu, dass das virtuelle Bild als unruhig und nicht stabil verortet wahrgenommen wird.

Vor diesem Hintergrund beschreibt die DE 10 2014 221 608 A1 ein Verfahren zum

Deaktivieren einer kontaktanalogen Anzeige auf einer Datenbrille in einem Kraftfahrzeug. Zu diesem Zweck werden Daten zur Bewegung des Kraftahrzeugs, insbesondere zur

Querbeschleunigung des Kraftfahrzeugs; bereitgestellt. Solange die Fahrzeugbewegung des Kraftfahrzeugs einen vorbestimmten Schwellwert überschreitet wird das Anzeigen einer kontaktanalogen Darstellung auf der Datenbrille ausgesetzt.

Der obige Ansatz sorgt zwar dafür, dass das virtuelle Bild als relativ stabil verortet wahrgenommen wird, allerdings mit der zwingenden Einschränkung, dass bei größeren Fahrzeugbewegungen keine kontaktanaloge Darstellung erfolgt. Ein weiterer Ansatz zur Reduzierung der beschriebenen Problematik besteht darin, die auftretenden Latenzen durch Optimierungen der Hardware oder Software zu reduzieren. Beispielsweise kann in Hinblick auf die Hardware das Trackingverfahren durch Erhöhung der zeitlichen und räumlichen Abtastrate oder durch Synchronisationsverfahren [1] optimiert werden. In Hinblick auf die Software sind prädiktives Tracking [2], Late Latching [3] und Image Deflection [4] zu nennen. Allerdings sind die angeführten Ansätze mit einem nicht unerheblichen Kostenaufwand verbunden.

Es ist eine Aufgabe der Erfindung, alternative Lösungen für die Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug aufzuzeigen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 10 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 1 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug die Schritte:

- Generieren einer Markierung zur Anzeige durch die Augmented-Reality-Head-up-Display- Vorrichtung, wobei die Markierung eine dynamische Ausgestaltung aufweist; und

- Ausgeben der Markierung zur Anzeige durch die Augmented-Reality-Head-up-Display- Vorrichtung.

Gemäß einem weiteren Aspekt der Erfindung enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgende Schritte zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display- Vorrichtung für ein Kraftfahrzeug veranlassen:

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch

Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug auf:

- Einen Grafikgenerator zum Generieren einer Markierung zur Anzeige durch die

Augmented-Reality-Head-up-Display-Vorrichtung, wobei der Grafikgenerator eingerichtet ist, die Markierung mit einer dynamischen Ausgestaltung zu generieren; und

- Einen Ausgang zum Ausgeben der Markierung zur Anzeige durch die Augmented-Reality- Head-up-Display- Vorrichtung.

Unpassende Bewegungen der Anzeige werden von den Nutzern als störend empfunden, weil das visuelle System sehr sensitiv auf Bewegungen in einer ruhigen oder statischen Umgebung reagiert. Wird eine ruhige Anzeige erwartet, so heben sich Bewegungen von der visuellen Szene ab und stören auf diese Weise den Gesamteindruck. Erfindungsgemäß wird dieser Effekt durch eine dynamische bzw. bewegliche Ausgestaltung der Anzeige reduziert, weil sich dann zusätzliche störbedingte Bewegungen durch die Fahrdynamik nicht so salient von der korrekten Anzeige abheben, die bereits eine Grundbewegung beinhaltet. Mittels der dynamischen Ausgestaltung der Markierung wird somit die subjektive Wahrnehmung der Störbewegung reduziert.

Gemäß einem Aspekt der Erfindung ist die Markierung eine kontaktanaloge Markierung. Unpassende Bewegungen der Markierung sind bei kontaktanalogen Markierungen besonders auffällig, da dem Nutzer ein Referenzobjekt zur Verfügung steht, beispielsweise ein durch die Markierung hervorgehobenes Fahrzeug oder Verkehrszeichen. Die Anwendung der erfindungsgemäßen Lösung ist daher für kontaktanaloge Markierungen besonders vorteilhaft.

Gemäß einem Aspekt der Erfindung umfasst die dynamische Ausgestaltung der Markierung eine Ausgestaltung als Lauflicht oder ein Pulsieren der Markierung. Dabei entspricht eine Laufrichtung des Lauflichts vorzugsweise einer Richtung einer Störbewegungen des

Kraftfahrzeugs. Beide Gestaltungsmöglichkeiten lassen sich leicht realisieren, ohne übermäßig viel Bewegung und damit Unruhe in die Anzeige zu bringen.

Gemäß einem Aspekt der Erfindung weist die Markierung nur dann eine dynamische Ausgestaltung auf, wenn Störbewegungen des Kraftfahrzeugs detektiert werden. Da eine dynamische Anzeige ein höheres Ablenkungspotential aufweisen kann, ist es

empfehlenswert den Lösungsansatz nicht dauerhaft anzuwenden, sondern nur in Zeiten, in denen starke Bewegungen der Anzeige auftreten oder zu erwarten sind. Dabei ist vorzugsweise vorgesehen, dass die Markierung nur dann eine dynamische Ausgestaltung aufweist, wenn die Störbewegungen des Kraftfahrzeugs einen Schwellwert überschreiten. Auf diese Weise wird ein zu häufiges Wechseln zwischen einer statischen Ausgestaltung der Markierung und einer dynamischen Ausgestaltung der Markierung verhindert, welches andernfalls vom Nutzer als störend empfunden werden könnte.

Gemäß einem Aspekt der Erfindung handelt es sich bei den Störbewegungen um

Nickbewegungen des Kraftfahrzeugs. Wie eingangs beschrieben ergeben sich die

Störbewegungen der Anzeige überwiegend aus Nickbewegungen des Fahrzeuges in Kombination mit einer relativ hohen Systemlatenz. Je höher der Nickwinkel und die Nickrate des Fahrzeugs bei konstanter Latenz sind, desto größer sind die Auswirkungen auf die Anzeigebewegung. In der Praxis ist es daher ausreichend, lediglich die Nickbewegungen zu erfassen und zum Zwecke einer intelligenten Anwendung der dynamischen Ausgestaltung auszuwerten. Gemäß einem Aspekt der Erfindung werden die Störbewegungen des Kraftfahrzeugs mit einem Beschleunigungssensor erfasst oder aus einer Fahrbahnbeschaffenheit abgeleitet. Da die Latenz nahezu konstant ist, lässt sich die Stärke der Anzeigebewegung direkt aus den Fahrzeugbewegungen ableiten. Diese lassen sich verhältnismäßig einfach mittels eines Gyroskops erfassen. Bewegungen des Fahrzeugaufbaus werden jedoch nicht ausschließlich durch fahrdynamische Vorgänge wie Beschleunigen und Bremsen, sondern auch durch die Art der Fahrbahnbeschaffenheit angeregt. Daher ist vorzugsweise auch eine analytische Auswertung der Fahrbahnbeschaffenheit zum Zwecke einer intelligenten Anwendung dynamischer Anzeigeelemente vorgesehen.

Gemäß einem Aspekt der Erfindung wird die Fahrbahnbeschaffenheit mittels eines

Laserscanners oder einer Stereokamera detektiert oder aus Kartenmaterial entnommen. Modernes Kartenmaterial enthält teilweise bereits Informationen über die Art der Fahrbahn, so dass die Fahrbahnbeschaffenheit ohne weitere Sensorik direkt aus dem Kartenmaterial entnommen werden kann. Des Weiteren ist aber auch ein Abscannen der Fahrbahn mittels Stereokamera und Laserscanner möglich. Da derartige Sensoren zum Teil bereits für andere Anwendungen im Fahrzeug verbaut sind, kann ohne zusätzliche Kosten auf diese

Komponenten zurückgegriffen werden.

Besonders vorteilhaft werden ein erfindungsgemäßes Verfahren oder eine

erfindungsgemäße Vorrichtung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, eingesetzt.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt schematisch ein Verfahren zur Steuerung einer Anzeige einer Augmented- Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug;

Fig. 2 zeigt eine erste Ausführungsform einer Vorrichtung zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug;

Fig. 3 zeigt eine zweite Ausführungsform einer Vorrichtung zur Steuerung einer

Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug; Fig. 4 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;

Fig. 5 zeigt schematisch den allgemeinen Aufbau einer Head-up-Display-Vorrichtung für ein Kraftfahrzeug;

Fig. 6 zeigt ein Beispiel einer Augmented-Reality-Darstellung einer Head-up-Display- Vorrichtung;

Fig. 7 zeigt einen Systementwurf der erfindungsgemäßen Lösung zur Steuerung einer

Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug;

Fig. 8 zeigt ein erstes Beispiel einer dynamischen Ausgestaltung einer Markierung; und

Fig. 9 zeigt ein zweites Beispiel einer dynamischen Ausgestaltung einer Markierung.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Fig. 1 zeigt schematisch ein Verfahren zur Steuerung einer Anzeige einer Augmented- Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Mittels einer geeigneten Methodik werden Störbewegungen des Kraftfahrzeugs detektiert 10, insbesondere Nickbewegungen des Kraftfahrzeugs. Beispielsweise können die Störbewegungen des Kraftfahrzeugs mit einem Beschleunigungssensor erfasst oder aus einer Fahrbahnbeschaffenheit abgeleitet werden. Dabei kann die Fahrbahnbeschaffenheit mittels eines Laserscanners oder einer Stereokamera detektiert oder aus Kartenmaterial entnommen werden. Zudem generiert 1 1 ein Grafikgenerator eine Markierung zur Anzeige durch die Augmented-Reality-Head-up- Display-Vorrichtung, wobei die Markierung eine dynamische Ausgestaltung aufweist. Die dynamische Ausgestaltung kann dabei eine Ausgestaltung als Lauflicht oder ein Pulsieren der Markierung umfassen. Bei der Markierung kann es sich beispielsweise um eine kontaktanaloge Markierung handeln. Die generierte Markierung wird schließlich zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung an ein Steuergerät der Augmented-Reality-Head-up-Display-Vorrichtung ausgegeben 12. Vorzugsweise weist die Markierung nur dann eine dynamische Ausgestaltung auf, wenn Störbewegungen des Kraftfahrzeugs detektiert werden. Dabei kann vorgesehen sein, dass die Störbewegungen zudem einen Schwellwert überschreiten müssen. Anstelle einer Ausgabe der generierten Markierung an das Steuergerät kann alternativ lediglich eine Anweisung an das Steuergerät ausgegeben werden, eine Markierung mit einer dynamischen Ausgestaltung zu generieren. Ebenso ist es möglich, dass das beschriebene Verfahren vollständig vom Steuergerät der Augmented-Reality-Head-up-Display-Vorrichtung ausgeführt wird.

Fig. 2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display- Vorrichtung für ein Kraftfahrzeug. Die Vorrichtung 20 hat einen Eingang 21 , über den Informationen zu Bewegungen des Kraftfahrzeugs oder zu einer Fahrbahnbeschaffenheit von einem Sensorsystem 44 oder von einem Navigationssystem 45 empfangen werden können. Das Sensorsystem 44 kann einen Beschleunigungssensor aufweisen. Die

Bewegungen des Kraftfahrzeugs können alternativ auch aus der Fahrbahnbeschaffenheit abgeleitet werden. In diesem Fall kann das Sensorsystem 44 einen Laserscanner oder eine Stereokamera zum Detektieren der Fahrbahnbeschaffenheit aufweisen. Die

Fahrbahnbeschaffenheit kann auch aus Kartenmaterial entnommen werden.

Die Vorrichtung 20 hat zudem eine Analyseeinheit 22 zum Detektieren von Störbewegungen des Kraftfahrzeugs, insbesondere von Nickbewegungen des Kraftfahrzeugs. Ein

Grafikgenerator 23 generiert eine Markierung zur Anzeige durch die Augmented-Reality- Head-up-Display-Vorrichtung, wobei die Markierung eine dynamische Ausgestaltung aufweist. Über einen Ausgang 26 der Vorrichtung 20 wird die generierte Markierung an ein Steuergerät 42 der Augmented-Reality-Head-up-Display-Vorrichtung ausgegeben. Alternativ kann auch lediglich eine Anweisung an das Steuergerät 42 ausgegeben werden, eine Markierung mit einer dynamischen Ausgestaltung zu generieren. Das Steuergerät 42 kann dann die generierte Markierung in eine Anzeige der Augmented-Reality-Head-up-Display- Vorrichtung einfügen. Vorzugsweise weist die Markierung nur dann eine dynamische Ausgestaltung auf, wenn Störbewegungen des Kraftfahrzeugs detektiert werden. Dabei kann vorgesehen sein, dass die Störbewegungen zudem einen Schwellwert überschreiten müssen.

Die Analyseeinheit 22 und der Grafikgenerator 23 können von einer Kontrolleinheit 24 gesteuert werden. Über eine Benutzerschnittstelle 27 können gegebenenfalls Einstellungen der Analyseeinheit 22, des Grafikgenerators 23 oder der Kontrolleinheit 24 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 25 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die Analyseeinheit 22, der

Grafikgenerator 23 sowie die Kontrolleinheit 24 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU. Der Eingang 21 und der Ausgang 26 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein. Im beschriebenen Beispiel ist die Vorrichtung 20 eine eigenständige Komponente. Sie kann aber ebenso im Steuergerät 42 der Augmented-Reality-Head-up- Display-Vorrichtung integriert sein.

Fig. 3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display- Vorrichtung für ein Kraftfahrzeug. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der

beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise von Grafikdaten oder Informationen zu Störbewegungen. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.

Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.

Die Speicher 25, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und

Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.

Fig. 4 stellt schematisch ein Kraftfahrzeug 40 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Das Kraftfahrzeug 40 weist eine Augmented-Reality-Head-up-Display- Vorrichtung 41 mit einem zugehörigen Steuergerät 42 auf. Weiterhin weist das Kraftfahrzeug 40 eine Vorrichtung 20 zur Steuerung einer Anzeige der Augmented-Reality-Head-up- Display-Vorrichtung 41 auf. Die Vorrichtung 20 kann natürlich auch in die Augmented- Reality-Head-up-Display-Vorrichtung 41 oder in das Steuergerät 42 der Augmented-Reality- Head-up-Display-Vorrichtung 41 integriert sein. Weitere Komponenten des Kraftfahrzeugs 40 sind eine Kamera 43, ein Sensorsystem 44 zur Erfassung von Fahrzeugbewegungen, ein Navigationssystem 45, eine Datenübertragungseinheit 46 sowie eine Reihe von

Assistenzsystemen 47, von denen eines exemplarisch dargestellt ist. Mittels der

Datenübertragungseinheit 46 kann eine Verbindung zu Dienstanbietern aufgebaut werden, beispielsweise zum Abrufen von Kartendaten. Zur Speicherung von Daten ist ein Speicher 48 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs 40 erfolgt über ein Netzwerk 49.

Nachfolgend sollen bevorzugte Ausführungsformen der Erfindung anhand der Figuren 5 bis 9 beschrieben werden.

Fig. 5 zeigt schematisch eine Augmented-Reality-Head-up-Display-Vorrichtung 41 für ein Kraftfahrzeug 40, mit deren Hilfe Inhalte auf einer Projektionsfläche 52 des Kraftfahrzeugs 40 angezeigt werden können, beispielsweise auf der Frontscheibe oder auf einer zusätzlichen Scheibe aus Glas oder Kunststoff, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Die dargestellten Inhalte werden durch eine bildgebende Einheit 50 erzeugt und mit Hilfe eines optischen Moduls 51 auf die Projektionsfläche 52 projiziert. Typischerweise erfolgt die Projektion dabei in einen Bereich der Frontscheibe oberhalb des Lenkrades. Die bildgebende Einheit 50 kann beispielsweise ein LCD-TFT- Display sein. Die Augmented-Reality-Head-up-Display-Vorrichtung 41 ist in der Regel in einem Armaturenbrett des Kraftfahrzeugs 40 verbaut.

Fig. 6 zeigt ein Beispiel einer Augmented-Reality-Darstellung einer Augmented-Reality- Head-up-Display-Vorrichtung. Der tatsächlichen Umgebung ist beispielhaft eine Markierung 60 in kontaktanaloger Darstellung überlagert, die ein vorausfahrendes Fahrzeug 61 zur Visualisierung eines ACC-Systemstatus (ACC: Adaptive Cruise Control; Adaptive

Geschwindigkeitsregelung) markiert. Daneben können Navigationsinformationen,

Warnhinweise oder andere Elemente angezeigt werden. Nachteilig an der Markierung 60 ist, dass sie sich im Falle von Nickbewegungen des Kraftfahrzeugs für den Betrachter relativ zum vorausfahrenden Fahrzeug 61 auf und ab bewegt.

Fig. 7 zeigt einen Systementwurf der erfindungsgemäßen Lösung zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Ein Sensorsystem 44 übermittelt Sensordaten an die Vorrichtung 20 zur Steuerung der Anzeige der Augmented-Reality-Head-up-Display-Vorrichtung 41 . Alternativ oder zusätzlich werden von einem Navigationssystem 45 Kartendaten oder Informationen zur

Fahrbahnbeschaffenheit an die Vorrichtung 20 übermittelt. Eine Analyseeinheit 22 detektiert mittels dieser Informationen Störbewegungen. Angaben zum Auftreten von Störbewegungen werden von der Analyseeinheit 22 an einen Grafikgenerator 23 weitergegeben, der daraufhin eine dynamische Markierung generiert. Diese wird an ein Steuergerät 42 der Augmented- Reality-Head-up-Display-Vorrichtung 41 ausgegeben, das seinerseits die Head-up-Anzeige für die Augmented-Reality-Head-up-Display-Vorrichtung 41 generiert. Alternativ kann auch eine Anweisung an das Steuergerät 42 ausgegeben werden, seinerseits eine dynamische Markierung zu generieren. Zudem kann die Vorrichtung 20 auch Bestandteil des

Steuergeräts 42 sein.

Fig. 8 zeigt ein erstes Beispiel einer dynamischen Ausgestaltung einer Markierung 60. In diesem Beispiel ist die kontaktanaloge Markierung 60 des vorausfahrenden Fahrzeuges 61 als Lauflicht ausgestaltet. Dargestellt ist die zeitliche Entwicklung der Markierung 60 anhand dreier aufeinanderfolgender Zeitpunkte. Die Dichte der Füllung der Markierung 60 gibt dabei näherungsweise die Wahrnehmbarkeit der Markierung 60 an der entsprechenden Position an. Die Wahrnehmbarkeit kann beispielsweise über eine Leuchtstärke gesteuert werden. Die Bewegung des Lauflichts verläuft von oben nach unten, d.h. entlang der z-Achse des Kraftfahrzeugs. Das Lauflicht erzeugt somit eine Grunddynamik in derselben Richtung, in der sich auch das virtuelle Bild vor dem stabilen Hintergrund bewegt. Die Bildbewegung wird dadurch weniger sichtbar.

Fig. 9 zeigt ein zweites Beispiel einer dynamischen Ausgestaltung einer Markierung 60. In diesem Beispiel ist die kontaktanaloge Markierung 60 des vorausfahrenden Fahrzeuges 61 pulsierend ausgestaltet. Dargestellt ist wiederum die zeitliche Entwicklung der Markierung 60 anhand dreier aufeinanderfolgender Zeitpunkte. Die Dichte der Füllung der Markierung 60 gibt dabei erneut die Wahrnehmbarkeit der Markierung 60 an der entsprechenden Position an. Bei dieser Form der dynamischen Ausgestaltung ist die Dynamik zwar nicht mit einer Bewegungsrichtung verbunden, dennoch lenkt das Ab-und Aufblenden der Markierung 60 den Betrachter zu einem gewissen Grad von der relativen Bewegung des virtuellen Bilds vor dem stabilen Hintergrund ab.

Für die konkrete Umsetzung der dynamischen Ausgestaltung stehen dem Fachmann vielfältige Gestaltungsmöglichkeiten zur Verfügung. Neben dem beschriebenen Lauflicht oder dem Pulsieren kann eine Dynamik beispielsweise durch einen Farbwechsel der Markierung, durch ein Blinken (als extreme Form des Pulsierens) der Markierung oder durch ein räumliches Verschieben oder Springen der Markierung realisiert werden.

Bezugszeichenliste

Detektieren von Störbewegungen des Kraftfahrzeugs

Generieren einer dynamischen Markierung zur Anzeige

Ausgeben der generierten dynamischen Markierung

Vorrichtung

Eingang

Analyseeinheit

Grafikgenerator

Kontrolleinheit

Speicher

Ausgang

Benutzerschnittstelle

Vorrichtung

Speicher

Prozessor

Eingang

Ausgang

Kraftfahrzeug

Augmented-Reality-Head-up-Display-Vorrichtung

Steuergerät der Augmented-Reality-Head-up-Display-Vorrichtung

Kamera

Sensorsystem

Navigationssystem

Datenübertragungseinheit

Assistenzsystem

Speicher

Netzwerk

Bildgebende Einheit

Optisches Modul

Projektionsfläche

Markierung

Vorausfahrendes Fahrzeug Referenzen

[1] http://www.hizook.com/blog/2015/05/17/valves-lighthouse-tracking-system-may-b big-news-robotics

[2] https://developer3.oculus.com/blog/the-latent-power-of-prediction/

[3] https://developer3.oculus.com/blog/optimizing-vr-graphics-with-late-latching/

[4] Pelot: "Dynamic Blanking for Virtual Reality Image Displacement",

http://web.stanford.edu/class/ee267/Spring2016/report_pelot.pdf

Claims

Patentansprüche

1 . Verfahren zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display- Vorrichtung (41 ) für ein Kraftfahrzeug (40), mit den Schritten:

- Generieren (1 1 ) einer Markierung (60) zur Anzeige durch die Augmented-Reality- Head-up-Display-Vorrichtung (41 ); und

- Ausgeben (12) der Markierung (60) zur Anzeige durch die Augmented-Reality-Head- up-Display-Vorrichtung (41 );

dadurch gekennzeichnet, dass die Markierung (60) eine dynamische Ausgestaltung aufweist.

2. Verfahren gemäß Anspruch 1 , wobei die Markierung (60) eine kontaktanaloge

Markierung ist.

3. Verfahren gemäß Anspruch 1 oder 2, wobei die dynamische Ausgestaltung der

Markierung (60) eine Ausgestaltung als Lauflicht oder ein Pulsieren der Markierung (60) umfasst.

4. Verfahren gemäß Anspruch 3, wobei eine Laufrichtung des Lauflichts einer Richtung einer Störbewegungen des Kraftfahrzeugs (40) entspricht.

5. Verfahren gemäß einem der vorherigen Ansprüche, wobei die Markierung (60) nur dann eine dynamische Ausgestaltung aufweist, wenn Störbewegungen des

Kraftfahrzeugs (40) detektiert werden (10).

6. Verfahren gemäß Anspruch 5, wobei die Markierung (60) nur dann eine dynamische Ausgestaltung aufweist, wenn die Störbewegungen des Kraftfahrzeugs (40) einen Schwellwert überschreiten.

7. Verfahren gemäß einem der Ansprüche 4 bis 6, wobei die Störbewegungen des

Kraftfahrzeugs (40) Nickbewegungen sind.

8. Verfahren gemäß einem der Ansprüche 4 bis 7, wobei die Störbewegungen des

Kraftfahrzeugs (40) mit einem Beschleunigungssensor erfasst werden oder aus einer Fahrbahnbeschaffenheit abgeleitet werden.

9. Verfahren gemäß Anspruch 8, wobei die Fahrbahnbeschaffenheit mittels eines

Laserscanners oder einer Stereokamera detektiert wird oder aus Kartenmaterial entnommen wird.

10. Computerlesbares Speichermedium mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 9 zur Steuerung einer Anzeige einer Augmented-Reality-Head-up- Display-Vorrichtung (41 ) für ein Kraftfahrzeug (40) veranlassen.

1 1. Vorrichtung (20) zur Steuerung einer Anzeige einer Augmented-Reality-Head-up- Display-Vorrichtung (41 ) für ein Kraftfahrzeug (40), mit

- Einem Grafikgenerator (23) zum Generieren (1 1 ) einer Markierung (60) zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung (41 ); und

- Einem Ausgang (26) zum Ausgeben (12) der Markierung (60) zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung (41 );

dadurch gekennzeichnet, dass der Grafikgenerator (23) eingerichtet ist, die Markierung (60) mit einer dynamischen Ausgestaltung zu generieren (1 1 ).

12. Vorrichtung (20) gemäß Anspruch 1 1 , wobei der Grafikgenerator (23) eingerichtet ist, die Markierung (60) nur dann mit einer dynamischen Ausgestaltung zu generieren (1 1 ), wenn Störbewegungen des Kraftfahrzeugs (40) detektiert werden (10).

13. Kraftfahrzeug (40) mit einer Augmented-Reality-Head-up-Display-Vorrichtung (41 ), dadurch gekennzeichnet, dass das Kraftfahrzeug (40) eine Vorrichtung (20) gemäß Anspruch 1 1 oder 12 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 9 zur Steuerung einer Anzeige der Augmented-Reality-Head-up- Display-Vorrichtung (41 ) auszuführen.