-
Die Erfindung betrifft ein Verfahren zum Bestimmen der Position einer Datenbrille relativ zum Kopf des Trägers sowie ein entsprechendes System.
-
Heutzutage sind Datenbrillen (manchmal auch Head-mounted Displays, HMD, genannt) bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als Augmented Reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung orientiert ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd. Zur Realisierung der Kontaktanalogie, muss typischerweise die Position des Objektes in der Umgebung, die Pose der Datenbrille in Relation zum Objekt sowie die Pose der Datenbrille zu den Augen bzw. dem Kopf des Trägers bekannt sein. Pose beschreibt hier sowohl die (dreidimensionale) Position der Datenbrille als auch die Ausrichtung (hierin auch Orientierung oder Drehung genannt) in bis zu drei Raumrichtungen der Datenbrille.
-
Datenbrillen können insbesondere in Fahrzeugen genutzt werden, um kontaktanaloge Informationen anzuzeigen. Diese Informationen können andere Verkehrsteilnehmer, Objekte im Umfeld des Fahrzeugs oder Objekte im Fahrzeug betreffen. Um kontaktanaloge Informationen anzeigen zu können, muss in den meisten Fällen auch hier die Pose der Datenbrille zu den Augen bzw. dem Kopf des Trägers bekannt sein.
-
Bekannt sind Inertialsensoren (Beschleunigung, Gyroskop, Magnetometer), die eine relative Orientierung eines elektronischen Geräts, u.a. auch typischerweise Datenbrillen, bestimmen können.
-
Weiterhin sind Verfahren zur Optical See Through Kalibration für kontaktanaloge Augmented Reality Anzeigen, z.B. Single-Point active alignment method (SPAAM) for optical see-through HMD calibration for augmented reality, bekannt, wie in „Single-Point active alignment method (SPAAM) for optical see-through HMD calibration for augmented reality", Tuceryan et al, Presence: Teleoperators and Virtual Environments, Volume 11 Issue 3, June 2002 beschrieben.
-
Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die insbesondere empfindlich für Infrarotlicht ist und die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise
WO 2013/012914 A2 .
-
Die kontaktanaloge Anzeige erfordert neben der Kenntnis der Pose der Datenbrille und der Position und manchmal auch Orientierung des Objektes auch eine Bestimmung von Position und manchmal auch Orientierung der Datenbrille (beides zusammen hierin auch Pose genannt) auf dem Kopf des Trägers relativ zum Kopf oder Auge. Zusätzlich können weitere Parameter, wie der Augenabstand, zur Verbesserung der kontaktanalogen Anzeige bestimmt werden. Die Orientierung der Datenbrille bezieht sich auf ein gekipptes oder schiefes Aufsetzen oder Verrutschen der Datenbrille. Die Position kann für einen zentralen Punkt der Brille bestimmt werden. Mithilfe des Wissens über die Position und ggf. auch Orientierung der Datenbrille wird die kontaktanaloge Anzeige überhaupt erst ermöglicht oder wesentlich verbessert.
-
Zusätzliche Einflüsse auf die Qualität einer kontaktanalogen Anzeige sind unter Anderem nicht identische sowie nicht statische Brennweiten, nicht euklidisch, planare virtuelle Anzeigen (z.B. radial verzerrte, virtuelle Bilder), optische Verzerrungen der Anzeige.
-
Selbst nach einer Bestimmung der Position und ggf. auch Orientierung der Datenbrille auf dem Kopf des Trägers ist eine erneute Bestimmung bzw. Nachverfolgung der Position und ggf. auch Orientierung der Datenbrille relativ zum Kopf oder Auge des Trägers immer nötig bei: jedem neuen Träger; jedem Neu-Aufsetzen; jeder Verstellung der Brillenposition auf dem Kopf.
-
-
Der Erfindung liegt die Aufgabe zugrunde, die Position und ggf. auch Orientierung einer Datenbrille in Bezug auf den Kopf des Trägers für den Träger komfortabel zu bestimmen und nachzuführen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen der Position einer Datenbrille relativ zum Kopf des Trägers, umfassend: Erfassen der Position eines physischen Merkmals des Kopfes des Trägers der Datenbrille relativ zu einem Fahrzeug; Erfassen der Position der Datenbrille relativ zum Fahrzeug; Bestimmen der Position der Datenbrille relativ zum Kopf des Trägers, insbesondere den Augen des Trägers, basierend auf der erfassten Position des physischen Merkmals und der Position der Datenbrille. Das physische Merkmal kann ein durch Bildverarbeitung gut identifizierbares Merkmal in Kameraaufnahmen sein, insbesondere Kanten, Endpunkte von Gesichtsfalten oder (Infrarot)Reflexionen, sog. Glints, in einem Auge aufgrund künstlicher (Infrarot)Beleuchtung.
-
Hierin wird also vorgeschlagen, die für augmented reality Darstellungen notwendige Bestimmung der Position der Datenbrille relativ zum Kopf des Trägers indirekt auszuführen. Dazu werden die Position der Augen bzw. des Kopfes und die Position der Datenbrille jeweils relativ zum Fahrzeug bestimmt. Aus diesen beiden Positionsbestimmungen wird dann die Position der Datenbrille relativ zu den Augen bzw. zum Kopf des Trägers bestimmt (Kalibrierung). Die Kalibrierung wird nachfolgend typischerweise zur Erzeugung einer kontaktanalogen Darstellung verwendet.
-
Das Verfahren erlaubt somit bei wechselnden Brillenträgern oder dem Neu-Aufsetzen der Brille eine schnelle, unkomplizierte und dennoch exakte Kalibrierung der Absolut- und Relativausrichtung Brille zu Auge/Kopf durchzuführen. Gleichzeitig wird ermöglicht, dass bei sich ändernder Positionierung der Datenbrille auf dem Kopf (z.B. Neujustage der Brille, Rutschen etc.) dies online (d.h. dauerhaft im Hintergrund) erfasst und die Kalibrierung nachgeführt werden kann. Die Erfindung ermöglicht die Durchführung dieser Kalibration in der Art und Weise, dass diese vom Träger weder aktiv wahrgenommen noch durchgeführt wird. Hierdurch wird die Akzeptanz von Datenbrillen verbessert.
-
Die Position der Datenbrille wird typischerweise mithilfe von Tracking Systeme ermittelt. Ein „outside-in tracking“ genanntes System basiert auf Sensorik im Fahrzeug zur Ermittlung der Position oder Pose einer Datenbrille im Fahrzeug. Beispielsweise erkennt ein Kamerasystem im Fahrzeuginnenraum aktive (emittierende) oder passive (reflektierende) Infrarotmarker an der Datenbrille und errechnet daraus die Position der Datenbrille. Ein „inside-out tracking“ genanntes System basiert auf Sensorik in der Datenbrille zur Ermittlung der Pose der Datenbrille im Fahrzeug. Ein solches System verwendet beispielsweise eine in der Datenbrille umfasste Kamera, um aktive oder passive (Infrarot)marker im Fahrzeuginnenraum zu erkennen.
-
Ferner kann die Datenbrille Beschleunigungs- und Drehratensensoren umfassen, um die Pose zu bestimmen oder fortzuschreiben. Ebenfalls denkbar ist die Erzeugung eines Magnetfeldes im Fahrzeug, das mit Sensoren der Datenbrille erfasst wird, um deren Pose zu bestimmen.
-
Die Position des Kopfes und insbesondere der Augen des Trägers der Datenbrille wird typischerweise mithilfe eines im Fahrzeuginnenraum installierten Kamerasystems aus einer oder mehreren Kameras bestimmt, die auch zu anderen Zwecken die Kopfposition durch ein „Tracking Verfahren“ aufzeichnen können. Das Kamerasystem nimmt den Kopf des Fahrers auf und ermittelt mithilfe von im Stand der Technik bekannten Verfahren die Position des Kopfes. In manchen Implementierungen wird die Augenposition mithilfe von Glints, also Reflexionen von künstlichen Infrarotquellen bestimmt.
-
Das Verfahren kann auch derart ausgestaltet sein, dass anstelle der Position die Pose der Datenbrille und des physischen Merkmals relativ zum Fahrzeug, also jeweils zusätzlich zur Position die Orientierung, erfasst werden. Dies ermöglicht, dass nicht nur die Position der Datenbrille relativ zum Kopf bestimmt wird, sondern auch die Orientierung (also insgesamt die Pose der Datenbrille relativ zum Kopf des Trägers der Datenbrille). Durch die Ermittlung der Pose der Datenbrille relativ zum Kopf wird eine genauere augmented reality Darstellung ermöglicht, in der der räumliche Bezug der Darstellung zum zu markierenden Objekt genauer ist. Mit anderen Worten: Das Verfahren umfasst ferner: Erfassen der Orientierung eines physischen Merkmals des Kopfes des Trägers der Datenbrille relativ zu einem Fahrzeug; Erfassen der Orientierung der Datenbrille relativ zum Fahrzeug; Bestimmen der Position und Orientierung der Datenbrille relativ zum Kopf des Trägers, insbesondere den Augen des Trägers, basierend auf der erfassten Position und Orientierung des physischen Merkmals und der Position und Orientierung der Datenbrille. Das Verfahren wird also so ausgestaltet, dass zum Erfassen der Position des physischen Merkmals des Kopfes ein Sensor des Fahrzeugs verwendet wird; wobei der Sensor des Fahrzeugs insbesondere ein Kamerasystem, insbesondere ein Kamerasystem, das im Infrarotbereich des Lichts betrieben wird, ist, und wobei mithilfe des Kamerasystems die Position eines oder beider Augen des Trägers der Datenbrille und/oder die Position des Gesichts des Trägers der Datenbrille erkannt wird.
-
Um eine kontaktanaloge Darstellung zu ermöglichen kann das Verfahren ferner umfassen: Bestimmen der Position eines zu markierenden Objektes im Umfeld des Fahrzeugs; wobei die anzuzeigende Darstellung zur Markierung des Objektes im Umfeld des Fahrzeugs ausgebildet ist; Wobei die Position des zu markierenden Objektes bei der Anzeige der Darstellung berücksichtigt wird. Die Position des Objektes im Umfeld des Fahrzeugs wird mithilfe von Fahrzeugsensorik wie Radar, Lidar oder Kameras erfasst. Verfahren hierzu sind im Stand der Technik bekannt.
-
Ein anderer Aspekt der Erfindung betrifft ein System umfassend eine Datenbrille mit Kamera, ein Fahrzeug mit Kamera und Rechenmittel; wobei das System dazu eingerichtet ist, eines der oben dargestellten Verfahren auszuführen.
-
KURZE BESCHREIBUNG DER ZEICHNUNG
-
- 1 zeigt schematisch eine Datenbrille in einem Fahrzeug gemäß einem Ausführungsbeispiel.
- 2 zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel.
-
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
-
1 zeigt schematisch eine Datenbrille 1 gemäß einem Ausführungsbeispiel. Die Datenbrille sitzt auf der Nase 7 des Trägers der Datenbrille auf und umfasst eine halbtransparente Anzeige mit den Teilanzeigen 2a und 2b, jeweils für das linke bzw. rechte Auge 5b bzw. 5a. Weiterhin umfasst die Datenbrille 1 eine Kamera 3, sowie eine Verarbeitungseinheit 4, die über eine Signalleitung mit den beiden Anzeigen 2a und 2b sowie der Kamera 3 verbunden ist. In manchen Implementierungen ist die Verarbeitungseinheit 4 separat von der Datenbrille und die Übertragung findet über eine längere Signalleitung oder drahtlos statt.
-
Die Datenbrille 1 umfasst ferner die Kamera 3, die in Richtung der zentralen Blickrichtung Aufnahmen bereitstellt, wenn der Träger der Datenbrille bestimmungsgemäß trägt. Auch die Kamera 3 ist mit der Verarbeitungseinheit 4 verbunden. Die Kamera 3 ist entsprechend der Symmetrieachse der Datenbrille ausgerichtet. Die Verarbeitungseinheit 4 empfängt im Betrieb fortlaufend die Aufnahmen der Kamera 3. Die Kamera 3 dient zur Bestimmung der Pose der Datenbrille relativ zum Fahrzeug, wobei die Pose durch eine dreidimensionale Raumposition und eine dreidimensionale Orientierung bestimmt wird (XFB YFB, ZFB, ALPHAFB, BETAFB, GAMMAFB). Dazu wird beispielsweise die Position und Orientierung von erkannten Elementen (Form des Armaturenbretts, Anordnung einer zentralen Fahrzeuganzeige, etc.) des Innenraums in den Aufnahmen der Kamera ausgewertet. Zur Bestimmung der Pose relativ zum Fahrzeug werden die im vornherein gespeicherten Positionen und Orientierungen der Elemente des Innenraums mit den erkannten Positionen und Orientierungen verglichen, Schritt S2 in 2. Verfahren hierzu sind im Stand der Technik bekannt.
-
Die Datenbrille 1 befindet sich in einem Fahrzeug (nicht dargestellt), das eine Kamera 4 zur Bestimmung der Kopfposition umfasst. Die Aufnahmen der Kamera 4 werden von einer Verarbeitungseinheit 6 des Fahrzeugs ausgewertet. Dabei wird die Position der Nase 7 und der Augen 5a und 5b in den Aufnahmen der Kamera 4 erkannt und daraufhin ausgewertet wie die Kopfpose relativ zum Fahrzeug ist, Schritt S1 in 2. Die Kopfpose wird wiederum durch eine dreidimensionale Raumposition und Raumorientierung angegeben (XFA, YFA, ZFA, ALPHAFA, BETAFA, GAMMAFA). Ergänzend oder alternativ kann auch nur die Augenposition und / oder der Augenabstand bestimmt werden, beispielsweise durch die Aufnahme von Glints oder der Erkennung der Pupille.
-
Die erkannte Pose oder Position des Kopfes des Trägers der Datenbrille wird über eine drahtlose Verbindung (WiFi, Bluetooth) von der Verarbeitungseinheit 6 an die Verarbeitungseinheit 4 gesendet.
-
Der Verarbeitungseinheit 4 liegen damit die Posen der Datenbrille und des Kopfes relativ zum Fahrzeug vor. Aus diesen beiden Posen errechnet die Verarbeitungseinheit 4 die Pose der Datenbrille relativ zum Kopf des Trägers insbesondere relativ zu den Augen des Trägers, Schritt S3 in 2. Dies kann beispielsweise durch Bestimmung der Transformation (Rotation und Translation) durch homogene Koordinaten erfolgen. Die errechnete Pose wird wiederum als dreidimensionale Raumposition und Raumorientierung angegeben (XDA, YDA, ZDA, ALPHADA, BETADA, GAMMAD-A). Die errechnete Pose ermöglicht die Anzeige von kontaktanalogen Darstellungen mit hoher Genauigkeit, Schritt S4 in 2.