-
Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und ein System zum Einmessen einer Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug. Die Erfindung betrifft zudem eine zur Verwendung mit dem Verfahren oder dem System geeignete Augmented-Reality-Brille.
-
Mit der stetigen Weiterentwicklung von Virtual- und Augmented-Reality-Technologien und -Anwendungen finden diese auch Einzug in das Automobil. Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck „Augmented Reality“ gegenüber dem Ausdruck „erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt. Synonym wird auch der Ausdruck „Mixed Reality“ verwendet.
-
Eine mögliche technische Realisierung, um den Fahrerarbeitsplatz entsprechend mit perspektivisch korrekten virtuellen Erweiterungen anzureichern, bieten Augmented-Reality-Brillen. Eine Augmented-Reality-Brille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann. Neue Technologien für Augmented-Reality-Brillen, beispielsweise Lichtfeldtechnologie, Fortschritte in der verwendeten Batterietechnik sowie der Einstieg großer Unternehmen in diese Technologien lassen eine steigende Akzeptanz dieser Geräte erwarten.
-
Vorzugsweise werden dem Träger Informationen oder Hinweise kontaktanalog angezeigt. Dabei erfolgt die Anzeige der Informationen oder Hinweise an einem Ort, der sich am Ort eines Objektes in der Umgebung orientiert, z.B. an das Objekt angrenzend oder dieses überlagernd. Durch die optische Überlagerung von Anzeige und Fahrszene sind weniger Kopf- und Augenbewegungen zum Ablesen der Informationen notwendig. Zudem verringert sich der Adaptationsaufwand für die Augen, da abhängig von der virtuellen Distanz der Anzeige weniger bis gar nicht akkommodiert werden muss. Durch Markieren von Objekten und Einblenden von Informationen an ihrem realen Bezugsort, d.h. durch die kontaktanaloge Darstellung, lassen sich umweltbezogene Informationen im Sichtfeld des Fahrers direkt darstellen. Da die Anzeigen als „Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen durch den Träger möglich. Diese direkte grafische Anreicherung der Umwelt in Form von Augmented Reality kann die kognitiven Transferanforderungen daher erheblich reduzieren.
-
Eine Registrierung der virtuellen Informationen im realen Sichtfeld des Fahrers im Sinne von Augmented Reality stellt sehr hohe Anforderungen an die technische Umsetzung. Um virtuelle Inhalte ortsgenau und perspektivisch korrekt in der Realität darstellen zu können, ist sehr detailliertes Wissen über die Umgebung und Eigenbewegung des Fahrzeuges notwendig. Insbesondere muss auch die Pose der Augmented-Reality-Brille bekannt sein, d.h. ihre Position und Ausrichtung relativ zum Fahrzeug.
-
Zur Posenbestimmung von Augmented-Reality-Brillen können inertiale Messsysteme genutzt werden, die auf Masseträgheit basieren. Die Sensoren solcher Messsysteme werden direkt an der Brille befestigt und messen die Bewegungen der Brille durch das Erfassen von Beschleunigungen.
-
Ein Nachteil der inertialen Systeme liegt darin, dass nur relative Messungen stattfinden und durch zweifache Integration des Messergebnisses eine Drift entsteht, die in kurzer Zeit das Trackingergebnis unbrauchbar macht. Daher müssen inertiale Systeme zwingend mit einem nicht-driftenden Messsystem gekoppelt werden.
-
In der Regel werden zur Posenbestimmung von Augmented-Reality-Brillen deshalb optische Messsysteme eingesetzt. Hierbei findet üblicherweise eine Beobachtung der zu verfolgenden Objekte von außen statt, weshalb man bei solchen Systemen von Outside-In Tracking spricht. Dafür steht beispielsweise im Fahrzeug ein zusätzliches Sensorsystem zur Verfügung, z.B. eine Kamera, welches Bewegungen der Augmented-Reality-Brille erfasst. Beim Outside-In Tracking sind die Positionen der messenden Systeme relativ zum überwachten Raum fest. Diese können dadurch einfach und hochgenau vermessen werden.
-
Beispielsweise beschreibt die Arbeit von Guy Berg: „Das Vehicle in the Loop - Ein Werkzeug für die Entwicklung und Evaluation von sicherheitskritischen Fahrerassistenzsystemen“ [1] eine Test- und Simulationsumgebung für Fahrerassistenzsysteme. Dabei wird eine Test- und Simulationsumgebung samt integrierter Verkehrssimulation mit einem realen Testfahrzeug verknüpft. Der Fahrer wird dabei mit Hilfe eines Head Mounted Displays (HMD) in eine erweiterte oder virtuelle Realität versetzt, so dass er eine direkte visuelle Rückmeldung aus der Simulationsumgebung sowie haptische, vestibuläre, somatosensorische und akustische Rückmeldungen von der realen Fahrzeuginteraktion erhält. Im Betrieb werden Position und Lage des Fahrzeugs auf einer Teststrecke geortet. Durch Kenntnis dieser in der realen Welt sind auch die entsprechende Position und Lage des Fahrzeugs in der virtuellen Welt bekannt. Zusätzlich wird mit Hilfe eines im Fahrzeug verbauten Sensors die Blickrichtung des Fahrers bestimmt. Mit Hilfe von Position und Lage des Fahrzeugs sowie der Blickrichtung des Fahrers wird in der Simulationssoftware das zur Realität korrespondierende Bild der virtuellen Welt erzeugt und dem Fahrer über das HMD visualisiert. Dabei wird ein optisches Tracking des Kopfes genutzt, das optische Marker nutzt.
-
Ein Nachteil der Outside-In-Systeme ist, dass zusätzlich zur Brille ein zweites Messsystem erforderlich ist. Zudem fällt das Tracking aus, wenn die Brille den Bereich der Sensoren des Messsystems verlässt.
-
Als Alternative zum Outside-In Tracking kann das sogenannte Inside-Out Tracking genutzt werden, bei dem das Messsystem in das zu verfolgende Objekt integriert ist, d.h. es wird die Umgebung aus Sicht des Objekts erfasst. Dabei ist das messende System selbst bewegt. Dies hat den Vorteil, dass die Brille überall genutzt werden kann. Es sind dazu keine externen Installationen notwendig.
-
Beispielsweise beschreibt die
DE 10 2014 217 963 A1 eine Datenbrille zur Verwendung in einem Kraftfahrzeug. Die Datenbrille umfasst eine Anzeige, eine Infrarot-Kamera, in deren Aufnahmen im Wesentlichen Infrarotlicht abgebildet wird, sowie elektronische Verarbeitungsmittel. Mithilfe der Kamera wird die Umgebung der Datenbrille aufgenommen. In den Aufnahmen wird dann ein vordefiniertes Muster erkannt. Dazu wird vorab ein Infrarot-Muster mithilfe einer Beschichtung im Fahrzeuginnenraum angebracht. In Abhängigkeit vom erkannten Muster wird schließlich die Pose der Datenbrille bestimmt.
-
Ein Nachteil des beschriebenen Systems besteht darin, dass man eine Möglichkeit benötigt, der Brille mitzuteilen, wo sich bestimmte Objekte im Raum befinden. Im Fahrzeug können dazu spezielle Marker angebracht werden, was im Hinblick auf die Gestaltung und Anmutung des Innenraums allerdings unerwünscht sein kann.
-
US 2016/0260251 A1 beschreibt ein Verfahren zum Verfolgen einer Position eines kopfmontierten Displays und zum Erzeugen zusätzlicher Virtual-Reality-Szenendaten, wenn der Benutzer mit der Virtual-Reality-Szene interagiert und sich relativ zu ihr bewegt. Eine anfängliche Position und Pose des kopfmontierten Displays wird mit einer Kamera, die am oder im kopfmontierten Display angebracht ist, bestimmt. Wenn das kopfmontierten Display in eine zweite Position und Pose bewegt wird, werden Bilder von zwei oder mehr festen Punkten von der Kamera erfasst, um einen Unterschied in der Position und Pose des kopfmontierten Displays zu bestimmen. Dieser Unterschied in Position und Pose wird verwendet, um die entsprechende Bewegung in der Virtual-Reality-Szene vorherzusagen und entsprechende zusätzliche Virtual-Reality-Szenendaten für die Darstellung auf dem kopfmontierten Display zu erzeugen.
-
Moderne Augmented-Reality-Brillen nutzen oftmals visuelle Systeme und maschinelles Lernen, um eine möglichst genaue Lage der Brille im Raum zu bestimmen und daraus lagerichtige Einblendungen für den Anwender zu generieren. Hierbei wird die Pose und Bewegung der Brille abhängig von markanten Ecken und Kanten im umliegenden Raum durch Verfahren der optischen Messtechnik bestimmt.
-
Eine wesentliche Herausforderung für das lagerichtige Einblenden von Objekten mittels Augmented-Reality-Brillen ist die korrekte Lagebestimmung der Brille relativ zum betrachteten Objekt. Der initiale Schritt, das Trackingsystem zu bekannten Objekten räumlich zu registrieren, wird als Einmessung bezeichnet. Dabei wird die mathematische Transformationsvorschrift vom Koordinatensystem des messenden Systems zum Koordinatensystem der interessierenden Objekte, beispielsweise einem Fahrzeug, ermittelt. Zur Einmessung ist es nötig, dass bekannte Punkte auf einem realen Objekt, z.B. einem einzelnen Bauteil eines Fahrzeugs oder dem gesamten Fahrzeug, aus mehreren Perspektiven betrachtet und in Bezug zu bekannten Punkten aus einem 3D-Modell des Objektes gesetzt werden. Dabei werden mehrere 3D-3D-Korrespondenzen aufgezeichnet. Üblicherweise werden dafür mehrere Punkte aus CAD-Daten (CAD: Computer Aided Design; rechnerunterstütztes Konstruieren) des Fahrzeugs ausgewählt, die dann mit 3D-Daten des Trackingsystems der Augmented-Reality-Brille in Bezug gebracht werden. Dies muss heute noch manuell durchgeführt werden, indem nacheinander diese realen Punkte in einem Kamerabild selektiert oder zur Deckung gebracht werden.
-
Die Qualität dieser Form der Einmessung ist ausreichend für die Anzeige von Augmented-Reality-Objekten im Fahrzeug, z.B. virtuellen Displays, die an einer definierten Position im Fahrzeug zu schweben scheinen. Allerdings entstehen vor der eigentlichen Anwendung der Brille im Fahrzeug bereits bei der Einmessung ins Fahrzeugkoordinatensystem Ungenauigkeiten aufgrund einer unzureichenden Messgenauigkeit der heute verfügbaren Trackingsysteme. Eine weitere Fehlerquelle sind menschliche Fehler bei der Durchführung der Einmessung. Die Ungenauigkeiten beim Einmessen bewirken, dass zwar Objekte innerhalb des Fahrzeugs ausreichend genau dargestellt sind, jedoch Objekte außerhalb des Fahrzeugs bereits durch kleine Winkelfehler falsch dargestellt werden.
-
Es ist eine Aufgabe der Erfindung, Lösungen zum Einmessen einer Augmented-Reality-Brille bereitzustellen, die Fehler während des Einmessens reduzieren.
-
Diese Aufgabe wird durch Verfahren mit den Merkmalen des Anspruchs 1, durch ein Computerprogramm mit Instruktionen gemäß Anspruch 9, durch ein System mit den Merkmalen des Anspruchs 10 sowie durch eine Augmented-Reality-Brille gemäß Anspruch 11 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Einmessen einer Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug die Schritte:
- - Einbringen des Kraftfahrzeugs in eine Kalibrierumgebung, wobei die Kalibrierumgebung Kalibrierpunkte mit bekannten 3D-Koordinaten außerhalb eines Innenraums des Kraftfahrzeugs aufweist und das Kraftfahrzeug in eine in Bezug auf die Kalibrierumgebung bekannte Position gebracht wird;
- - Sequenzielles Ausrichten der Augmented-Reality-Brille auf die Kalibrierpunkte, während sich die Augmented-Reality-Brille in einem Innenraum des Kraftfahrzeugs befindet;
- - Erfassen eines 3D-Trackingwerts eines Inside-Out-Trackingsystems der Augmented-Reality-Brille, wenn die Augmented-Reality-Brille auf einen Kalibrierpunkt ausgerichtet ist; und
- - Ermitteln einer Transformationsvorschrift für die Augmented-Reality-Brille aus den erfassten 3D-Trackingwerten und den 3D-Koordinaten der Kalibrierpunkte.
-
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Einmessen einer Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug veranlassen:
- - Einbringen des Kraftfahrzeugs in eine Kalibrierumgebung, wobei die Kalibrierumgebung Kalibrierpunkte mit bekannten 3D-Koordinaten außerhalb eines Innenraums des Kraftfahrzeugs aufweist und das Kraftfahrzeug in eine in Bezug auf die Kalibrierumgebung bekannte Position gebracht wird;
- - Sequenzielles Ausrichten der Augmented-Reality-Brille auf die Kalibrierpunkte, während sich die Augmented-Reality-Brille in einem Innenraum des Kraftfahrzeugs befindet;
- - Erfassen eines 3D-Trackingwerts eines Inside-Out-Trackingsystems der Augmented-Reality-Brille, wenn die Augmented-Reality-Brille auf einen Kalibrierpunkt ausgerichtet ist; und
- - Ermitteln einer Transformationsvorschrift für die Augmented-Reality-Brille aus den erfassten 3D-Trackingwerten und den 3D-Koordinaten der Kalibrierpunkte.
-
Das Einbringen des Kraftfahrzeugs in die Kalibrierumgebung kann dabei direkt vom Computer ausgeführt werden oder zumindest durch den Computer veranlasst werden, wobei das Kraftfahrzeug in diesem Fall von einem Fahrer gesteuert wird. Ebenso kann das sequenzielle Ausrichten der Augmented-Reality-Brille auf die Kalibrierpunkte durch den Computer vorgenommen werden, wenn die Augmented-Reality-Brille beispielsweise auf einem Roboterarm befestigt ist. Alternativ kann eine Testperson durch den Computer angewiesen werden, das sequenzielle Ausrichten durchzuführen.
-
Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch mobile Geräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
-
Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.
-
Gemäß einem weiteren Aspekt der Erfindung weist ein System zum Einmessen einer Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug auf:
- - eine Kalibrierumgebung für das Kraftfahrzeug, wobei die Kalibrierumgebung Kalibrierpunkte mit bekannten 3D-Koordinaten außerhalb eines Innenraums des Kraftfahrzeugs aufweist und das Kraftfahrzeug in eine in Bezug auf die Kalibrierumgebung bekannte Position einbringbar ist;
- - eine Steuerungseinheit zum Veranlassen eines sequenziellen Ausrichtens der Augmented-Reality-Brille auf die Kalibrierpunkte, während sich die Augmented-Reality-Brille in einem Innenraum des Kraftfahrzeugs befindet;
- - eine Datenerfassungseinheit zum Erfassen eines 3D-Trackingwerts eines Inside-Out-Trackingsystems der Augmented-Reality-Brille, wenn die Augmented-Reality-Brille auf einen Kalibrierpunkt ausgerichtet ist; und
- - eine Berechnungseinheit zum Ermitteln einer Transformationsvorschrift für die Augmented-Reality-Brille aus den erfassten 3D-Trackingwerten und den 3D-Koordinaten der Kalibrierpunkte.
-
Eine mögliche Ursache für die Positions- und Lagefehler von Augmented-Reality-Anzeigen in der Ferne liegt darin, dass die Position der Augmented-Reality-Objekte außerhalb des Kraftfahrzeugs nicht innerhalb des Wertebereichs der bei der Einmessung aufgenommenen Stützwerte liegt. Es muss somit extrapoliert werden. Je weiter ein Objekt entfernt liegt, desto größer wird entsprechend der Fehler bei der Extrapolation. Die für die Augmented-Reality-Anzeigen genutzten Augmented-Reality-Brillen haben derzeit Inside-Out-Trackingsysteme, die nur bis in einer Entfernung von ca. 5-10m Position und Lage bestimmen können.
-
Bei der erfindungsgemäßen Lösung wird das Kraftfahrzeug zunächst in einen Kalibrierraum eingebracht. Im Raum verteilt gibt es bekannte Koordinaten bzw. Messpunkte, die zwar vom Inside-Out-Trackingsystem der Augmented-Reality-Brille nicht erfasst werden können, jedoch anderweitig in Bezug zur Augmented-Reality-Brille gebracht werden können. Auf diese Weise wird der bei der Einmessung aufgenommene Wertebereich trotz der geringen Trackingreichweite der Augmented-Reality-Brille vergrößert. Daraus resultiert eine bessere Kollinearität der Achsen von Augmented-Reality-Brille und Kraftfahrzeug, sodass auch Augmented-Reality-Anzeigen in weiten Entfernungen fehlerfrei dargestellt werden können.
-
Gemäß einem Aspekt der Erfindung wird das Kraftfahrzeug in eine definierte Position der Kalibrierumgebung gebracht. Alternativ wird eine Position des Kraftfahrzeugs in der Kalibrierumgebung ermittelt. Beispielsweise kann die Position des Kraftfahrzeugs in der Kalibrierumgebung durch eine photogrammetrische Vermessung oder ein mechanisches Antasten bekannter Punkte des Kraftfahrzeugs ermittelt werden. Diese und weitere geeignete Messverfahren zur Bestimmung der aktuellen Position des Kraftfahrzeugs sind dem Fachmann bekannt.
-
Gemäß einem Aspekt der Erfindung erfolgt zusätzlich ein Ausrichten der Augmented-Reality-Brille auf die Kalibrierpunkte, während sich die Augmented-Reality-Brille außerhalb des Innenraums des Kraftfahrzeugs befindet. Es kann sinnvoll sein, bei der Einmessung mit der Brille bzw. dem Inside-Out-Trackingsystem auch das Kraftfahrzeug zu verlassen. Durch diese Maßnahme kann das Höhen-Basis-Verhältnis verbessert werden, was eine verbesserte Triangulation erlaubt.
-
Gemäß einem Aspekt der Erfindung werden zusätzlich zu den Kalibrierpunkten außerhalb des Innenraums des Kraftfahrzeugs auch bekannte Punkte im Innenraum des Kraftfahrzeugs mit 3D-Trackingwerten des Inside-Out-Trackingsystems der Augmented-Reality-Brille in Bezug gebracht. Durch diese Nutzung bekannter Punkte innerhalb des Kraftfahrzeugs für die Einmessung lässt sich die Anzahl der 3D-3D-Korrespondenzen erhöhen, die zum Ermitteln der Transformationsvorschrift zur Verfügung stehen. Die Korrespondenzen für die Punkte im Innenraum können wie oben beschrieben auf Basis von Kamerabildern ermittelt werden. Für das erforderliche Anpassen der Transformationsmatrix kann beispielsweise auf die Verfahren zurückgegriffen werden, die in dem Artikel von Jens Grubert et al.: „A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays“ [2] beschrieben werden.
-
Gemäß einem Aspekt der Erfindung basieren die 3D-Trackingwerte des Inside-Out-Trackingsystems der Augmented-Reality-Brille auf einem 3D-Modell des Kraftfahrzeugs. Derzeit erfassen die gängigen Augmented-Reality-Brillen in Kombination mit anderen Sensoren Bilder der Umgebung mittels Kameras. Die Bilder werden genutzt, um ein Wissensmodell der Umgebung zu erstellen. Dabei entstehen Dreiecksdaten, wie sie in der Computergrafik zur Visualisierung genutzt werden, z.B. zur Visualisierung von Fahrzeugen. Die Augmented-Reality-Brille erstellt bei dieser Ausführungsform nun nicht mehr ihre eigenen Dreiecksdaten der Umgebung, sondern sie führt ein modellbasiertes Tracking durch. Dazu wird ein 3D-Modell des Fahrzeugs bereitgestellt, in dem man sich die Brille gerade befindet. Dieses 3D-Modell wird als Trackingmodell in der Brille verwendet. Auf diese Weise entfällt das Einmessen in das Fahrzeugmodell, da das Tracking weiterhin ausgehend von den bereits bekannten Fahrzeugdaten durchgeführt wird. Zusätzlich ist auch die Kombination mit einem kantenbasierten oder einem merkmalsbasierten Tracking möglich. Das 3D-Modell kann z.B. in Form von CAD-Daten zur Verfügung gestellt werden. Alternativ kann ein Laserscan des Innenraums des Kraftfahrzeugs durchgeführt werden.
-
Gemäß einem Aspekt der Erfindung weist das Kraftfahrzeug einen Adapter zur Aufnahme der Augmented-Reality-Brille in einer definierten Ausrichtung zum Kraftfahrzeug auf. Der Adapter ist so gestaltet, dass er eine wiederholgenaue Aufnahme der Augmented-Reality-Brille an einer stets gleichen Position erlaubt. Der Adapter ist weiterhin so gestaltet, dass er automatisch die Achsen des Kraftfahrzeugs und der Augmented-Reality-Brille miteinander in Übereinstimmung bringt. Der größte Fehler beim Einmessen entsteht durch Ungenauigkeiten in den Rotationen über die Achsen, d.h. die Längsachse, die Querachse und die Vertikalachse. Wird der Adapter im Vorfeld in Einklang mit den Koordinatenachsen gebracht, reduziert dies die Fehler in den Winkeln bzw. beschränkt sie auf leicht handhabbare Größen, z.B. 90° oder den Vertausch von Achsen. Die Augmented-Reality-Brille wird demnach so ausgerichtet, dass die Fahrzeug-Koordinatensystemachsen und die Brillen-Koordinatensystemachsen in ihrer rotatorischen Ausrichtung exakt übereinander liegen, womit lediglich der translatorische Versatz zwischen den Fahrzeug-Koordinatenachsen und den Brillen-Koordinatenachsen erhalten bleibt. Der translatorische Versatz ergibt sich aus der Position des Adapters im Fahrzeugkoordinatensystem und lässt sich bei der Anbringung des Adapters bestimmen, z.B. photogrammetrisch oder auf Basis von CAD-Daten. Somit kann die Augmented-Reality-Brille stets an der gleichen Stelle im Kraftahrzeug gestartet werden und ihr eigenes Koordinatensystem in das Koordinatensystem des Fahrzeugs umgerechnet werden, da die Transformation zwischen Adapter und Kraftfahrzeug bekannt ist.
-
Gemäß einem Aspekt der Erfindung weist die Augmented-Reality-Brille eine Lichtquelle auf, die eingerichtet ist, einen kollimierten Lichtstrahl zu emittieren. Beispielsweise kann die Augmented-Reality-Brille mittels eines vermessenen Gestells einen Laserpointer tragen. Die Position des Laserpointers an der Augmented-Reality-Brille ist exakt bekannt, z.B. durch Vermessung mittels photogrammetrischer oder taktiler Verfahren. Die Ausrichtung des Laserpointers ist vorzugsweise so gewählt, dass der Laserpunkt, der sich auf einer (theoretisch) unendlich in der Ferne liegenden Wand abbildet, im Zentrum des Augmented-Reality-Displays liegt, d.h. dem mittleren Pixel des Displays am linken bzw. rechten Auge. Außerhalb des Fahrzeugs im Kalibrierraum sind an den Kalibrierpunkten Photodioden angebracht, deren Position eingemessen und in Fahrzeugkoordinaten bekannt ist. Durch Ausrichten der Augmented-Reality-Brille auf diese Messpunkte außerhalb des Kraftfahrzeugs, z.B. durch Ausrichten des Kopfes einer Testperson, wird bei Überstreifen des Laserpunktes über die Photodiode ein Signal an das Inside-Out-Trackingsystem der Augmented-Reality-Brille gesandt. Das Signal besagt, dass nun ein Kalibrierpunkt getroffen wurde. In dem Moment wird der aktuelle 3D-Trackingwert des Trackingsystems als Eingabewert aufgenommen. Dies wird mit jedem der notwendigen Punkte durchgeführt. Auf diese Weise werden sukzessive die für den Algorithmus notwendigen 3D-3D-Korrespondenzen aufgezeichnet. Die Refraktion in der Scheibe des Kraftfahrzeugs kann dabei vernachlässigt werden, da das einfallende Licht ebenso gebrochen wird wie das ausfallende Licht.
-
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.
- 1 veranschaulicht schematisch das Prinzip des Einmessens einer Augmented-Reality-Brille;
- 2 zeigt eine fehlerhaft positionierte Augmented-Reality-Anzeige;
- 3 zeigt schematisch ein Verfahren zum Einmessen einer Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug;
- 4 zeigt schematisch ein System zum Einmessen einer Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug;
- 5 zeigt schematisch eine Augmented-Reality-Brille zur Verwendung mit dem Verfahren aus 3 oder dem System aus 4;
- 6 zeigt schematisch ein Kraftfahrzeug mit einem Adapter für eine Augmented-Reality-Brille;
- 7 zeigt eine erste Ausführungsform einer Vorrichtung zum Unterstützen des Einmessens einer Augmented-Reality-Brille; und
- 8 zeigt eine zweite Ausführungsform einer Vorrichtung zum Unterstützen des Einmessens einer Augmented-Reality-Brille.
-
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
-
1 veranschaulicht schematisch das Prinzip des Einmessens einer Augmented-Reality-Brille 1. Für das Einmessen wird ein Objekt genutzt, im dargestellten Beispiel ein Kraftfahrzeug 40, von dem die 3D-Koordinaten einzelner Bauteile aus einem 3D-Modell bekannt sind. Die bekannten Punkte 53 sind in der Figur in Form von schwarzen Kreisen dargestellt. Für eine bessere Darstellbarkeit werden in 1 lediglich bekannte Punkte 53 der Karosserie des Kraftfahrzeugs 40 betrachtet, d.h. der Betrachter 60 befindet sich beim Einmessen außerhalb des Kraftfahrzeugs 40. Der Betrachter 60 trägt eine Augmented-Reality-Brille 1 und nimmt nacheinander eine Reihe von Einmesspositionen ein, d.h. er betrachtet die bekannten Punkte 53 aus mehreren Perspektiven. Die dabei für die verschiedenen Punkte 53 erfassten 3D-Daten des Trackingsystems der Augmented-Reality-Brille 1 können anschließend in Bezug zu den bekannten Punkten 53 gesetzt werden. Auf diese Weise werden mehrere 3D-3D-Korrespondenzen aufgezeichnet, aus denen schließlich eine Transformationsvorschrift bestimmt werden kann.
-
Die Qualität der in 1 gezeigten Einmessung ist ausreichend für die Anzeige von Augmented-Reality-Objekten im Innenraum des Fahrzeugs. Beispielsweise kann eine virtuelle Displayfläche erzeugt werden, die aus Sicht des Fahrers an einer fest definierten Position im Fahrzeug schwebt, z.B. über dem Beifahrersitz. Allerdings entstehen bereits bei der Einmessung ins Fahrzeugkoordinatensystem Ungenauigkeiten. Eine Ursache dafür ist die unzureichende Messgenauigkeit der derzeitigen Trackingsysteme. Diese Ungenauigkeiten bewirken, dass zwar Objekte innerhalb des Fahrzeugs ausreichend genau dargestellt werden, Objekte außerhalb des Fahrzeugs hingegen bereits durch kleine Winkelfehler falsch dargestellt werden. 2 zeigt ein Beispiel einer fehlerhaft positionierten Augmented-Reality-Anzeige 61. Es ist zu erkennen, dass die vor dem Fahrzeug eingeblendete Ideallinie einer Fahrstrecke in einer gewissen Entfernung vor dem Fahrzeug nicht mehr korrekt auf der Straße dargestellt wird. Eine Ursache für diese Positions- und Lagefehler von Augmented-Reality-Anzeigen 61 in der Ferne liegt darin, dass die Position der Augmented-Reality-Objekte außerhalb des Kraftfahrzeugs nicht innerhalb des Wertebereichs der Stützwerte liegt, die bei der Einmessung aufgenommenen wurden. Es muss somit für die Positionierung der Augmented-Reality-Anzeigen 61 extrapoliert werden. Je weiter ein angezeigtes Objekt entfernt liegt, desto größer wird der aus dem Extrapolieren resultierende Fehler.
-
3 zeigt schematisch ein Verfahren zum Einmessen einer Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug. In einem ersten Schritt wird das Kraftfahrzeug in eine Kalibrierumgebung eingebracht 10. Die Kalibrierumgebung weist eine Reihe von Kalibrierpunkten außerhalb eines Innenraums des Kraftfahrzeugs auf. Das Kraftfahrzeug wird dabei entweder in eine definierte Position der Kalibrierumgebung gebracht oder es wird eine Position des Kraftfahrzeugs in der Kalibrierumgebung ermittelt 11. Dies kann beispielsweise durch eine photogrammetrische Vermessung oder ein mechanisches Antasten bekannter Punkte des Kraftfahrzeugs erfolgen. Anschließend wird die Augmented-Reality-Brille sequenziell auf die Kalibrierpunkte ausgerichtet 12, während sie sich in einem Innenraum des Kraftfahrzeugs befindet. Sobald eine korrekte Ausrichtung der Augmented-Reality-Brille relativ zu einem Kalibrierpunkt detektiert wird 13, wird der zugehörige 3D-Trackingwert eines Trackingsystems der Augmented-Reality-Brille erfasst 14. Die 3D-Trackingwerte können gegebenenfalls auf einem 3D-Modell des Kraftfahrzeugs basieren. Zusätzlich kann auch ein Ausrichten 12 der Augmented-Reality-Brille auf die Kalibrierpunkte erfolgen, während sich die Augmented-Reality-Brille außerhalb des Innenraums des Kraftfahrzeugs befindet. Schließlich wird aus den erfassten 3D-Trackingwerten und den 3D-Koordinaten der Kalibrierpunkte eine Transformationsvorschrift für die Augmented-Reality-Brille ermittelt 15. Zusätzlich zu den Kalibrierpunkten können auch bekannte Punkte im Innenraum des Kraftfahrzeugs mit 3D-Trackingwerten des Trackingsystems der Augmented-Reality-Brille in Bezug gebracht werden.
-
4 zeigt schematisch ein System zum Einmessen einer Augmented-Reality-Brille 1 zur Verwendung in einem Kraftfahrzeug 40. Das System umfasst unter anderem eine Kalibrierumgebung 50 für das Kraftfahrzeug 40. Die Kalibrierumgebung 50 weist Kalibrierpunkte 51 auf, die sich außerhalb eines Innenraums des Kraftfahrzeugs 40 befinden. Im dargestellten Beispiel sind fünf Kalibrierpunkte 51 zu sehen. Das Kraftfahrzeug wird entweder in eine definierte Position P der Kalibrierumgebung 50 gebracht oder es wird eine Position P des Kraftfahrzeugs in der Kalibrierumgebung 50 ermittelt. Dies kann beispielsweise durch eine photogrammetrische Vermessung oder ein mechanisches Antasten bekannter Punkte des Kraftfahrzeugs erfolgen. Das System umfasst weiterhin eine Vorrichtung 20 zum Unterstützen des Einmessens der Augmented-Reality-Brille 1. Eine Steuerungseinheit dieser Vorrichtung 20 veranlasst ein sequenzielles Ausrichten der Augmented-Reality-Brille 1 auf die Kalibrierpunkte 51, während sich die Augmented-Reality-Brille 1 in einem Innenraum des Kraftfahrzeugs 40 befindet. Dazu können von der Vorrichtung 20 Anweisungen AW ausgegeben werden, z.B. an eine Testperson oder an einen Roboter. Zusätzlich kann auch ein Ausrichten 12 der Augmented-Reality-Brille 1 auf die Kalibrierpunkte 51 erfolgen, während sich die Augmented-Reality-Brille 1 außerhalb des Innenraums des Kraftfahrzeugs 40 befindet. Sobald die Vorrichtung 20 ein Signal S empfängt, dass eine korrekte Ausrichtung der Augmented-Reality-Brille 1 relativ zu einem Kalibrierpunkt 51 anzeigt, wird der zugehörige 3D-Trackingwert Ti eines Trackingsystems der Augmented-Reality-Brille 1 von einer Datenerfassungseinheit der Vorrichtung 20 erfasst. Die 3D-Trackingwerte Ti können gegebenenfalls auf einem 3D-Modell des Kraftfahrzeugs 40 basieren. Eine Berechnungseinheit der Vorrichtung 20 ermittelt schließlich eine Transformationsvorschrift für die Augmented-Reality-Brille 1 aus den erfassten 3D-Trackingwerten Ti und den 3D-Koordinaten Ki der Kalibrierpunkte 51. Zusätzlich zu den Kalibrierpunkten 51 können auch bekannte Punkte im Innenraum des Kraftfahrzeugs 40 mit 3D-Trackingwerten Ti des Trackingsystems der Augmented-Reality-Brille 1 in Bezug gebracht werden. Zum Detektieren einer korrekten Ausrichtung der Augmented-Reality-Brille 1 relativ zu einem Kalibrierpunkt 51 können an den Kalibrierpunkten 51 Photodioden 52 angebracht sein, deren Position eingemessen und in Fahrzeugkoordinaten bekannt ist. Bei Überstreifen eines von einer Lichtquelle der Augmented-Reality-Brille 1 emittierten kollimierten Lichtstrahls über die Photodiode wird ein Signal S an das Trackingsystem der Augmented-Reality-Brille 1 oder an die Vorrichtung 20 gesandt. Das Signal S besagt, dass soeben ein Kalibierpunkt 51 getroffen wurde.
-
5 zeigt schematisch eine Augmented-Reality-Brille 1 zur Verwendung mit dem Verfahren aus 3 oder dem System aus 4. Die Augmented-Reality-Brille 1 hat eine optische Erfassungsvorrichtung 2, die beispielsweise eine Kamera 3 aufweist, zum Erfassen von Umgebungsdaten einer Umgebung der Augmented-Reality-Brille 1. Mittels einer Schnittstelle 4 besteht eine Verbindung zu einem Trackingsystem 5 für die Augmented-Reality-Brille 1. Das Trackingsystem 5 kann natürlich auch Bestandteil der Augmented-Reality-Brille 1 sein. Mittels einer Grafikeinheit 6 kann die Anzeige der Augmented-Reality-Brille 1 entsprechend der aktuellen Pose der Augmented-Reality-Brille 1 unter Verwendung einer während des Einmessens ermittelten Transformationsvorschrift angepasst werden. Die Grafikeinheit 6 kann, wie im Beispiel dargestellt, Bestandteil der Augmented-Reality-Brille 1 sein oder über eine Schnittstelle mit der Augmented-Reality-Brille 1 verbunden sein. Die von der Grafikeinheit 6 generierte Anzeige wird durch eine Projektionseinheit 7 eingeblendet. Zusätzlich weist die Augmented-Reality-Brille 1 eine Lichtquelle 8 auf. Die Lichtquelle emittiert einen kollimierten Lichtstrahl 9, der während des Einmessens genutzt wird, um die korrekte Ausrichtung der Augmented-Reality-Brille 1 relativ zu einem Kalibrierpunkt zu detektieren. Beispielsweise kann die Lichtquelle 8 ein Laserpointer sein, der mittels eines vermessenen Gestells an der Augmented-Reality-Brille 1 befestigt ist. Die Ausrichtung des Laserpointers ist vorzugsweise so gewählt, dass der Laserpunkt, der sich auf einer (theoretisch) unendlich in der Ferne liegenden Wand abbildet, im Zentrum des Augmented-Reality-Displays liegt. Im Beispiel in 5 wird ein monokulares Display genutzt, d.h. nur vor einem Auge des Nutzers ist ein Display angeordnet. Es versteht sich, dass die Augmented-Reality-Brille 1 auch ein binokulares Display, bei dem pro Auge ein Display genutzt wird, oder ein binokulares Display, bei dem für beide Augen ein gemeinsames Display genutzt wird, nutzen kann.
-
6 zeigt schematisch ein Kraftfahrzeug 40 mit einem Adapter 41 für eine Augmented-Reality-Brille 1. Der Adapter 41 hat eine definierte Ausrichtung relativ zum Kraftfahrzeug 40 und ist so gestaltet, dass er eine wiederholgenaue Aufnahme der Augmented-Reality-Brille 1 an einer stets gleichen Position erlaubt. Durch den Adapter 41 werden die Achsen des Kraftfahrzeugs 40 und der Augmented-Reality-Brille 1 automatisch in Übereinstimmung gebracht. Die Augmented-Reality-Brille 1 wird so ausgerichtet, dass die Fahrzeug-Koordinatensystemachsen und die Brillen-Koordinatensystemachsen in ihrer rotatorischen Ausrichtung exakt übereinander liegen. Dadurch bleibt lediglich ein translatorischer Versatz zwischen den Fahrzeug-Koordinatenachsen und den Brillen-Koordinatenachsen erhalten.
-
Der translatorische Versatz ergibt sich aus der Position des Adapters 41 im Fahrzeugkoordinatensystem. Er kann bei der Anbringung des Adapters 41 bestimmt werden. Somit kann die Augmented-Reality-Brille 1 immer an der gleichen Stelle im Kraftahrzeug 40 gestartet werden. Dies erlaubt es, das Koordinatensystem der Brille in das Fahrzeugkoordinatensystem umzurechnen, da die Transformation zwischen Adapter 41 und Kraftfahrzeug 40 bekannt ist. Über eine Nutzerschnittstelle 42 können zudem Anweisungen an den Betrachter 60 ergehen. Z.B. kann der Betrachter 60 angewiesen werden, die Augmented-Reality-Brille 1 aufzusetzen und auf einen bestimmten Kalibrierpunkt auszurichten. Jedes Fahrzeug 40 wird mit Ungenauigkeiten im Millimeterbereich produziert. Diese Ungenauigkeiten werden jedoch durch eine geschickte Kombination zueinander passender Teile oder durch eine tolerante Auslegung der Teile für den Kunden praktisch unsichtbar. Bei der Einmessung spielen sie durch die großen Hebel dennoch eine Rolle. Daher sind für den Adapter 41 bevorzugt Teile als Basis zu verwenden, die möglichst nah am Fahrzeugursprung liegen, d.h. am Koordinatenursprung. Zudem sollte der Adapter 41 nicht an flexiblen Bauteilen aus Plastik oder Gummi befestigt sein. Die in der Figur gezeigt Anbringung oben an der Dachkonsole ist beispielsweise dann geeignet, wenn eine feste Verbindung zum Dachblech existiert. Tendenziell ist eine Anbringung am Mitteltunnel zu bevorzugen.
-
7 zeigt eine erste Ausführungsform einer Vorrichtung 20 zum Unterstützen des Einmessens einer Augmented-Reality-Brille. Die Vorrichtung 20 hat eine Steuerungseinheit 22, die eingerichtet ist, ein sequenzielles Ausrichten der Augmented-Reality-Brille auf die Kalibrierpunkte einer Kalibrierumgebung zu veranlassen, während sich die Augmented-Reality-Brille in einem Innenraum eines Kraftfahrzeugs befindet. Zu diesem Zweck kann die Steuerungseinheit 22 Anweisungen AW über einen Ausgang 27 der Vorrichtung ausgeben, z.B. an eine Testperson oder an einen Roboter. Zusätzlich kann auch ein Ausrichten der Augmented-Reality-Brille auf die Kalibrierpunkte erfolgen, während sich die Augmented-Reality-Brille außerhalb des Innenraums des Kraftfahrzeugs befindet. Eine Datenerfassungseinheit 23 der Vorrichtung 20 erfasst einen 3D-Trackingwert Ti eines Trackingsystems der Augmented-Reality-Brille, wenn die Augmented-Reality-Brille auf einen Kalibrierpunkt ausgerichtet ist. Die 3D-Trackingwerte Ti können über einen Eingang 21 der Vorrichtung 20 empfangen werden und können gegebenenfalls auf einem 3D-Modell des Kraftfahrzeugs basieren. Eine Berechnungseinheit 24 ermittelt eine Transformationsvorschrift für die Augmented-Reality-Brille aus den erfassten 3D-Trackingwerten Ti und den 3D-Koordinaten der Kalibrierpunkte. Diese können beispielsweise in einem Speicher 26 der Vorrichtung 20 abgelegt sein. Die ermittelte Transformationsvorschrift kann für eine weitere Verwendung über den Ausgang 27 bereitgestellt werden. Zusätzlich zu den Kalibrierpunkten können auch bekannte Punkte im Innenraum des Kraftfahrzeugs mit 3D-Trackingwerten Ti des Trackingsystems der Augmented-Reality-Brille in Bezug gebracht werden.
-
Die Steuerungseinheit 22, die Datenerfassungseinheit 23 und die Berechnungseinheit 24 können von einer Kontrolleinheit 25 gesteuert werden. Über eine Benutzerschnittstelle 28 können gegebenenfalls Einstellungen der Steuerungseinheit 22, der Datenerfassungseinheit 23, der Berechnungseinheit 24 oder der Kontrolleinheit 25 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf im Speicher 26 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die Steuerungseinheit 22, die Datenerfassungseinheit 23, die Berechnungseinheit 24 sowie die Kontrolleinheit 25 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 27 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.
-
8 zeigt eine zweite Ausführungsform einer Vorrichtung 30 zum Unterstützen des Einmessens einer Augmented-Reality-Brille. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise von 3D-Daten des Trackingsystems der Augmented-Reality-Brille. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
-
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
-
Die Speicher 26, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
-
Bezugszeichenliste
-
- 1
- Augmented-Reality-Brille
- 2
- Optische Erfassungsvorrichtung
- 3
- Kamera
- 4
- Schnittstelle
- 5
- Trackingsystem
- 6
- Grafikeinheit
- 7
- Projektionseinheit
- 8
- Lichtquelle
- 9
- Lichtstrahl
- 10
- Einbringen des Kraftfahrzeugs in eine Kalibrierumgebung
- 11
- Ermitteln der Position des Kraftfahrzeugs
- 12
- Sequenzielles Ausrichten auf Kalibrierpunkte
- 13
- Detektieren einer korrekten Ausrichtung
- 14
- Erfassen zugehöriger 3D-Trackingwerte
- 15
- Ermitteln einer Transformationsvorschrift
- 20
- Vorrichtung
- 21
- Eingang
- 22
- Steuerungseinheit
- 23
- Datenerfassungseinheit
- 24
- Berechnungseinheit
- 25
- Kontrolleinheit
- 26
- Speicher
- 27
- Ausgang
- 28
- Benutzerschnittstelle
- 30
- Vorrichtung
- 31
- Speicher
- 32
- Prozessor
- 33
- Eingang
- 34
- Ausgang
- 40
- Kraftfahrzeug
- 41
- Adapter
- 42
- Nutzerschnittstelle
- 50
- Kalibrierumgebung
- 51
- Kalibrierpunkte
- 52
- Photodiode
- 60
- Betrachter
- 61
- Augmented-Reality-Anzeige
- AW
- Anweisung
- Ki
- 3D-Koordinaten der Kalibrierpunkte
- P
- Position des Kraftfahrzeugs
- S
- Signal
- Ti
- 3D-Trackingwerte
-
Referenzen
-
- [1] Guy Berg: „Das Vehicle in the Loop - Ein Werkzeug für die Entwicklung und Evaluation von sicherheitskritischen Fahrerassistenzsystemen“, Dissertation an der Fakultät für Luft- und Raumfahrttechnik der Universität der Bundeswehr München (2014), http://athene-forschung.unibw.de/node?id=97267.
- [2] Jens Grubert et al.: „A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays“, IEEE Transactions on Visualization and Computer Graphics, Vol. 24 (2018), Seiten 2649-2662.