-
Heutzutage sind Datenbrillen, manchmal auch Head-mounted Display (HMD) genannt, bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Heutzutage sind Datenbrillen im Forschungsstadium bekannt geworden, bei denen das anzuzeigende Bild direkt in das Auge (auf die Netzhaut) projiziert wird, beispielsweise mithilfe von schwachen Lasern. Typischerweise umfasst eine HMD-Datenbrille allerdings jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen und Hinweise in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Hinweise kontaktanalog angezeigt, was manchmal auch als augmented reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung oder einem Bereich in der Umgebung orientiert ist. Die Information kann darin bestehen, ein Objekt oder einen Bereich des Umfeldes mithilfe einer geometrischen Form zu markieren, die beispielsweise an das Objekt angrenzend oder dieses überlagernd dargestellt wird. Die geometrische Form kann (perspektivisch korrekt) an die Kontur des zu markierenden Objektes angepasst werden. Weiterhin kann die geometrische Form eine sogenannte Bounding Box sein, die als Rechteck (oder andere einfach geometrische Form) grob derart angeordnet wird, dass ein Objekt oder einen Bereich im Umfeld von ihr umschlossen wird (aus der Sicht des Trägers der Datenbrille). Weiterhin kann die markierende Information in Form von Text oder Piktogrammen sein, die in der Nähe oder das Objekt überlagernd angezeigt werden. Übelicherweise wird der Anzeigeort von kontaktanalogen Informationen nachgeführt, um Bewegungen der Datenbrille und des Objektes auszugleichen. Datenbrillen können auch in Fahrzeugen genutzt werden, um kontaktanaloge Hinweise für Objekte im Umfeld des Fahrzeugs anzuzeigen. Unter Objekten werden hierin Gegenstände, wie Verkehrsschilder oder Leitplanken verstanden aber auch andere Verkehrsteilnehmer wie Fahrzeuge und Fußgänger. Ebenfalls können Hinweise auch für Objekte im Interieur des Fahrzeugs oder einfach an einer bestimmten Stelle des Interieurs des Fahrzeugs angezeigt werden. Unter dem Begriff Eigenfahrzeug wird das Fahrzeug verstanden, in dem sich der Brillenträger befindet.
-
Zur Realisierung der Kontaktanalogie wird typischerweise die Position des Objektes in der Umgebung (des Brillenträgers und damit häufig des Eigenfahrzeugs) und die Pose der Datenbrille in Relation zum Objekt berücksichtigt, also die 3D Position der Datenbrille und die 3D Ausrichtung der Datenbrille. Für die Anwendung im Fahrzeug wird die Pose der Datenbrille typischerweise mithilfe eines Datenbrillen-Tracking-Systems festgestellt. Ein Datenbrillen-Tracking-System kann beispielsweise eine im Fahrzeug verbaute Kamera umfassen, die den Kopf des Fahrers mit der Datenbrille zusammen aufnimmt. Aus diesen Aufnahmen wird dann auf die Pose der Datenbrille im Fahrzeug geschlossen. Die Position und häufig auch die Dimension des kontaktanalog zu markierenden Objektes wird typischerweise mithilfe von im Fahrzeug verbauten Sensoren wie Radar, Lidar und/oder einem Kamerasystem bestimmt.
-
Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise
WO 2013/012914 A2 .
-
Für Datenbrillen mit Kameras ist als Alternative (oder zusätzlich) zum oben dargestellten Datenbrillen-Tracking-System vorgeschlagen worden, die Pose der Datenbrille anhand der Aufnahmen der Kamera zu bestimmen. Ein Verfahren dabei ist es, Infrarot-Marker im Fahrzeuginterieur zu verwenden. Infrarot-Marker können dabei aktive Marker wie Infrarot-LEDs oder passive Marker wie Infrarotlicht-Reflektoren sein, die mit Infrarot-Lichtquellen (beispielsweise auch LEDs) bestrahlt werden. Die Kamera der Datenbrille ist dazu eingerichtet, Aufnahmen im Infrarot-Bereich des Lichts zu machen. Gleichzeitig ist der Datenbrille die Anordnung der Marker bekannt, so dass mit im Stand der Technik bekannten Verfahren aus den Aufnahmen der Marker die Pose der Datenbrille berechnet werden kann. Unter Infrarotlicht wird hierin Licht im für den Menschen nicht sichtbaren Spektralbereich verstanden, insbesondere Licht mit einer Wellenlänge größer 700 nm, 800 nm, 850 nm oder 900 nm.
-
Allerdings weist die Verwendung von typischen Infrarot-Markern Nachteile auf: Sofern die Infrarot-Marker für den Menschen sichtbar sind, erfordert ihr Einsatz designrelevante Modifikationen im Interieur, insbesondere wenn eine große Anzahl Marker verwendet werden soll. Die Möglichkeit die Marker zu „verstecken“ wird dadurch erschwert, dass Fahrzeuginterieurausstattungen häufig im Wesentlichen einfarbig sind (beispielsweise schwarz). Ferner erhöht der Einsatz aktiver Marker (LEDs) den Integrationsaufwand in ein Fahrzeug signifikant. Eine Nachrüstlösung ist nicht oder nur mit entsprechendem Aufwand realisierbar und die Anzahl der Marker ist stark begrenzt. Je nach verwendeten Markern, Sichtwinkeln sowie optischen Eigenschaften und Materialeigenschaften können passive Infrarotmarker für das menschliche Auge sichtbar sein und als störend oder unästhetisch wahrgenommen werden.
-
Eine Möglichkeit diese Nachteile zu überkommen wäre beispielsweise eine ästhetisch geschickte Platzierung von passiven (ggf. länglichen) Infrarotmarkern. Beispielsweise entlang von Kanten, Fugen oder Rundungen des Fahrzeuginterieurs, insbesondere des Armaturenbretts, oder entlang des Randes der Windschutzscheibe. Ebenso sind Anordnungen auf Schaltern, Hebeln oder Lüftungsschlitzen denkbar. Diese Marker könnten durch versteckt angeordnete Infrarotlichtquellen bestrahlt werden.
-
-
Die Aufgabe, die der Erfindung zugrundeliegt, ist es, weiter alternative Marker bereitzustellen, die oben genannten Nachteile verringern.
-
Die Aufgabe der Erfindung wird durch eine transparente Scheibe, ein Kraftfahrzeug und ein Verfahren gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
-
In einem Aspekt der Erfindung betrifft eine transparente Scheibe, insbesondere Glasscheibe, umfassend ein Infrarotlicht-reflektierendes Muster, das dazu ausgebildet ist, von einem mobilen Endgerät, insbesondere einer Datenbrille, mit Infrarotlicht-Kamera erkannt zu werden und dazu ausgebildet ist, zur Bestimmung der Pose des mobilen Endgerätes relativ zum Muster zu dienen. Eine Infrarotlicht-Kamera ist eine Kamera, die im Wesentlichen Aufnahmen von Licht im Infrarotbereich bereitstellt. Als Muster werden hierin ein oder mehrere (passive) Marker verstanden. Diese können Streifen, Gitter, unregelmäßige Gitter, Punkte, Anordnungen von Punkten (mit Durchmessern von je z.B. 1 cm, 2 cm, 5 cm), symmetrischen oder unsymmetrischen Formen umfassen.
-
Hierin wird also vorgeschlagen ein Muster auf die Windschutzscheibe oder Seitenscheibe eines Fahrzeugs aufzubringen, das speziell dafür eingerichtet ist, Infrarotlicht zu reflektieren. Eine Datenbrille mit Infrarotlicht-Kamera ist dazu eingerichtet das reflektierte Infrarotlicht aufzufangen und mit anschließender Bildverarbeitung das Muster zu erkennen und die Pose der Datenbrille relativ zum Muster zu bestimmen. Das Muster ist dazu eingerichtet, dass die Datenbrille die Erkennung des Musters und die Posenbestimmung ausführen kann. Verfahren zum Bestimmen der Pose anhand erkannter Muster sind im Stand der Technik bekannt. Ein mobiles Endgerät bezeichnet hierin eine Datenbrille, ein Smartphone oder andere Geräte, die über eine Infrarotlicht-Kamera und eine Anzeige für den Benutzer verfügen.
-
Der Vorteil einer Aufbringung des Musters auf der Windschutzscheibe oder Seitenscheibe eines Fahrzeugs ist, dass das Muster bei einer typischen Kopfausrichtung der Innensassen besonders gut vor der Kamera einer Datenbrille ist platziert und dementsprechend gut aufgenommen werden kann.
-
Das Muster kann kleinere Abschnitte umfassen, die sich auf der gesamten Scheibe wiederholen und angeben, an welcher Stelle der Scheibe sie platziert sind. Auf diese Weise kann eine Posenbestimmung auch dann vorgenommen werden, wenn nur ein Teil des Musters erkannt und/oder von der Kamera aufgenommen wird. Das Muster kann eine Anordnung von einzelnen runden oder anders geformten Punkten (mit Durchmesser z.B. 1 cm, 2 cm, 5 cm) umfassen.
-
Die Transparenz der Scheibe bedeutet hierin, dass der sichtbare Teil des Lichts (ca. 850 nm bis 380 nm) die Scheibe (beispielsweise je nach Tönung der Scheibe um weniger als 30%, 50% oder 85% verringert) durchdringen kann. Eine typische transparente Scheibe ist beispielsweise die Windschutzscheibe oder (getönte) Seitenscheibe eines Fahrzeugs, insbesondere eines PKWs. Die Reflexion von Infrarotlicht bedeutet hierin, dass zumindest von einer Seite der Scheibe auf das Muster einfallendes Infrarotlicht zu mindestens 85%, 90%, 95%, 98% oder 99% reflektiert wird.
-
In einer bevorzugten Weiterbildung ist das Muster transparent für Licht im sichtbaren Bereich. Das bedeutet, das transparente Muster absorbiert weniger als beispielsweise 20%, 10%, 5%, 2% oder 1 % des einfallenden Lichts im sichtbaren Bereich. Die Begriffe der Transparenz der Scheibe und des Musters unterscheiden sich hierin.
-
Auf diese Weise ist das Muster für den menschlichen Betrachter auf der Scheibe im Prinzip nicht sichtbar. Gleichzeitig kann es dazu dienen, die Pose des mobilen Endgerätes zu bestimmen.
-
In einer Implementierung umfasst die Scheibe ferner eine Folie, die das Muster umfasst. Die Folie kann im Wesentlichen dieselbe Größe aufweisen, wie die Scheibe und nur an einigen Stellen, nämlich denen des Musters, dazu eingerichtet sein, Infrarotlicht zu reflektieren. Ansonsten kann die Folie, genauso wie das Muster, für sichtbares Licht transparent sein, also weniger als 20%, 10%, 5%, 2% oder 1% des einfallenden Lichts im sichtbaren Bereich absorbieren. Vorteilhafterweise absorbiert die Folie in allen Bereichen (also auch denen des Musters) gleich viel sichtbares Licht. Auf diese Weise ist das Muster für Menschen im Wesentlichen unsichtbar. Die Implementierung des Musters auf einer Folie bietet Vorteile in der Produktion und ermöglicht auch eine einfache Nachrüstlösung für bereits produzierte Fahrzeuge. Die Folie kann nachträglich auf die Scheibe geklebt werden oder bereits bei der Herstellung der Scheibe als Schicht integriert sein.
-
Die Scheibe mit umfassten Muster kann derart geformt sein, dass das Muster einfallendes Infrarotlicht derart spiegelt, dass das Muster der Kamera einer Datenbrille skaliert erscheint. Das Muster erscheint in den Aufnahmen der Kamera also nicht entsprechend seiner Originalgröße, sondern vergrößert oder verkleinert. Dies kann durch eine Biegung der Scheibe erreicht werden. Hierdurch wird der Raumbereich vergrößert, in dem die Kamera der Datenbrille das Muster aufnehmen kann.
-
Durch eine Biegung der Scheibe oder eine entsprechende Ausgestaltung des Infrarotlicht-reflektierenden Musters und einer das Muster umfassenden Folie können einzelne runde Punkte, die das Muster selbst sind oder einen Teil des Musters darstellen, in der Aufnahme der Kamera nicht als runde Form erscheinen, sondern beispielsweise eine ellipsenförmige Darstellung aufweisen. Zusätzlich können diese Punkte wie im vorhergehenden Absatz erläutert, skaliert erscheinen.
-
Der weiteren kann ein Muster vorgesehen sein, dass je nach Winkel, in dem die Kamera das Muster aufnimmt, eine andere Erscheinung aufweist, ähnlich den bekannten Linsenrasterbildern mithilfe der dort verwendeten Technik. Das Muster umfasst also mehrere verschiedene Teilmuster. Auf diese Weise können anhand des Musters, also welches Muster sichtbar ist bzw. aufgenommen wird, bereits Rückschlüsse auf Teile der Pose der Datenbrille gezogen werden bzw. eine grobe Pose bestimmt werden. Im Sinne eines mehrstufigen Verfahrens würde dann die Pose der Datenbrille bestimmt (auch assisted Tracking genannt). Dieses mehrstufige Verfahren kann die Zeit zur Bestimmung der Pose einer Datenbrille verkürzen, da eine grobe Ausrichtung bzw. Position bereits mit einfachen Bildverarbeitungsverfahren eingegrenzt bzw. bestimmt werden kann.
-
In einer weitere Komponenten umfassenden Implementierung umfasst die Scheibe auch einen Infrarotlicht-Projektor und das Muster ist als vollflächige Infrarotlichtreflektierende und streuende Folie ausgebildet. Ebenso kann das Muster auch nicht vollflächig sein, sondern selbst eine geometrische Gestalt haben, wie ein Gitter, Streifen oder Punkte. Der Infrarotlicht-Projektor kann entsprechend einem Projektor für sichtbares Licht aufgebaut sein, oder schlicht durch eine Maske vor einer Infrarotlicht-Quelle realisiert sein.
-
Ein anderer Aspekt der Erfindung umfasst ein Fahrzeug, umfassend die oben dargestellte transparente Scheibe und eine Infrarot-Lichtquelle, wobei die Infrarot-Lichtquelle Infrarotlicht in einen bestimmten Richtungsbereich abstrahlt und derart angeordnet ist, dass das Muster mit Infrarotlicht bestrahlt wird. Die Infrarotlichtquelle ist im Fahrzeuginneren insbesondere so angeordnet, dass sie kaum oder wenig sichtbar ist.
-
In einer Implementierung kann vorgesehen sein, dass die Folie derart ausgestaltet ist, dass sie an den Mustern (z.B. runde Punkte) im sichtbaren Bereich transparent ist. Gleichzeitig kann das Muster bei Einfall von Infrarotlicht von der Seite, die bei einem Einsatz im Fahrzeug dem Umfeld zugewandt ist, im Infrarotbereich transparent sein sowie auf der Seite, die dem Innenraum zugewandt ist, im Infrarotbereich spiegelnd sein. In diesem Fall wäre eine Beleuchtung durch Infrarotlicht aus dem Fahrzeuginneren nur dann nötig, wenn von außen nicht genug Infrarotlicht einfällt. Der ausreichende Infraroteinfall (tagsüber bei Sonnenschein) durch einen Sensor des Fahrzeugs oder die Kamera in der Datenbrille selbst detektiert werden und somit die Infrarotlichtquelle deaktiviert werden, was zu Energieeinsparungen führt.
-
Wieder ein anderer Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer Pose eines mobilen Endgerätes, insbesondere einer Datenbrille, umfassend: Bestrahlen eines Infrarotlicht-reflektierenden Musters, das auf einer transparenten Scheibe angeordnet ist, mit Infrarotlicht; Erkennen mithilfe einer Infrarotlicht erfassenden Kamera des mobilen Endgerätes das Muster in Aufnahmen der Kamera; Bestimmen der Pose des mobilen Endgerätes mittels der Abbildung des erkannten Musters in den Aufnahmen der Kamera.
-
Ebenso betrifft ein Aspekt der Erfindung die transparente Folie zur Bereitstellung eines Infrarotlicht-reflektierenden Musters, wobei die Folie für sichtbares Licht im Wesentlichen transparent ist und an den Stellen des Musters zumindest von einer Seite einfallendes Infrarotlicht im Wesentlichen reflektiert. Die Folie kann auch während der Herstellung der Scheibe aufgebracht werden und damit als Schicht im Aufbau der Scheibe vorhanden sein. Die Folie kann aufgedampft, geätzt oder durch Flüssigkeit bei der Herstellung der Scheibe in der Scheibe erzeugt werden.
-
KURZE BESCHREIBUNG DER ZEICHNUNG
-
- 1 zeigt schematisch eine Datenbrille und die Windschutzscheibe eines Fahrzeugs mit Muster gemäß einem Ausführungsbeispiel.
-
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
-
1 zeigt schematisch eine Datenbrille 1 und die Windschutzscheibe 5 eines Fahrzeugs mit Muster 6 gemäß einem Ausführungsbeispiel. Das Muster 6 ist in einer Folie (nicht gezeigt) umfasst und wird so auf die Windschutzscheibe aufgebracht. Für die Insassen sind das Muster und die Folie im Wesentlichen unsichtbar, da beide für sichtbares Licht im Wesentlichen gleich transparent sind. In 1 umfasst das Muster sich wiederholende Submuster aus zwei Rechtecken mit einem verbindenden Strich. Die Datenbrille kann schon basierend auf einem aufgenommenen Submuster ihre Pose bestimmen. Gleichzeitig umfasst jedes Submuster eine kleine Codierung (nicht dargestellt in 1) die die Anordnung innerhalb des Gesamtmusters beschreibt.
-
Die Datenbrille nimmt Teile des Musters auf und bestimmt anhand der Position und Streckung der Abbildung des Musters in den Aufnahmen die eigene Pose relativ zum Muster. Weiterhin ist der Datenbrille die Anordnung des Musters im Fahrzeug bekannt, so dass die Datenbrille ihre Pose im Fahrzeug bestimmen kann.
-
Basierend auf der so bestimmten Pose können dem Träger der Datenbrille kontaktanaloge Informationen angezeigt werden, sowohl zu Objekten oder Positionen innerhalb des Fahrzeugs als auch zu Objekten (beispielsweise anderen Verkehrsteilnehmern) außerhalb des Fahrzeugs.