DE102023201093A1

DE102023201093A1 - Verfahren zu einer Bestimmung einer momentanen Fokustiefe eines Nutzers einer Datenbrille und Datenbrille

Info

Publication number: DE102023201093A1
Application number: DE102023201093.3A
Authority: DE
Inventors: Johannes Meyer; Alexander Zimmer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2023-02-10
Filing date: 2023-02-10
Publication date: 2024-08-14
Also published as: WO2024165358A1; CN120677426A

Abstract

Es wird ein Verfahren zu einer Bestimmung einer momentanen Fokustiefe (10, 10', 10'') eines Nutzers einer Datenbrille (12), insbesondere zumindest mittels eines Einzelaugenverfolgungssystems vorgeschlagen, wobei in zumindest einem Verfahrensschritt (20) eine momentane Listing-Ebene (16) eines Nutzer-Auges (18, 18') gemessen wird, wobei in zumindest einem weiteren Verfahrensschritt (22) anhand der gemessenen momentanen Listing-Ebene (16) des Nutzer-Auges (18, 18') eine momentane Vergenz des Nutzer-Auges (18, 18') ermittelt wird, und wobei in zumindest einem zusätzlichen weiteren Verfahrensschritt (24) aus der ermittelten momentanen Vergenz des Nutzer-Auges (18, 18') die nutzerspezifische momentane Fokustiefe (10, 10', 10'') des Nutzer-Auges (18, 18') ermittelt wird.

Description

Stand der Technik
Es sind bereits Methoden zur Bestimmung von Fokustiefen bekannt, welche auf einer Verwendung einer Weltkamera mit Tiefeninformation beruhen, vorgeschlagen worden. Die Verwendung einer Weltkamera kann zu erhöhten Kosten und einem erhöhten Energieverbrauch von Datenbrillen führen.
Offenbarung der Erfindung
Es wird ein Verfahren zu einer Bestimmung einer momentanen Fokustiefe eines Nutzers einer Datenbrille, insbesondere zumindest mittels eines Einzelaugenverfolgungssystems, vorgeschlagen, wobei in zumindest einem Verfahrensschritt eine momentane Listing-Ebene eines Nutzer-Auges gemessen wird, wobei in zumindest einem weiteren Verfahrensschritt anhand der gemessenen momentanen Listing-Ebene des Nutzer-Auges eine momentane Vergenz des Nutzer-Auges ermittelt wird, und wobei in zumindest einem zusätzlichen weiteren Verfahrensschritt aus der ermittelten momentanen Vergenz des Nutzer-Auges die nutzerspezifische momentane Fokustiefe des Nutzer-Auges ermittelt wird. Dadurch können vorteilhaft Kosten und/oder Energieverbrauch gering gehalten werden, insbesondere da vorteilhaft auf eine kosten- und/oder energieintensive Verwendung einer Weltkamera verzichtet werden kann. Vorteilhaft kann eine Gesamtzahl an zur Bestimmung der momentanen Fokustiefe in einer Datenbrille, insbesondere einer als Mono-Eye-System ausgebildeten Datenbrille, nötigen Komponenten gering gehalten werden. Vorteilhaft können durch das vorgeschlagene Verfahren zur Bestimmung der Fokustiefe Applikationen ermöglicht werden, auf der Kenntnisse der Fokustiefe basieren, wie zum Beispiel eine fokustiefen-adaptive Manipulation eines Displays, insbesondere einer virtuellen Netzhautanzeige einer Datenbrille, eine Korrektur des Displays, insbesondere der virtuellen Netzhautanzeige der Datenbrille, basierend auf einer aktuellen Vergenz des Nutzer-Auges. Vorteilhaft könnte zudem bei Stereosystemen ein zweiter Messkanal bereitgestellt werden, welcher z.B. zur Kompensation von Augenfehlern, wie Nystagmus, verwendet werden könnte. Derartige Augenfehler würden bei einer einfachen Schätzung über den Schnittpunkt der aus dem Stereosystem ermittelten Gazevektoren nicht berücksichtigt werden können.
Unter einer Fokustiefe eines Nutzers soll insbesondere ein Abstand eines Fokuspunktes der Nutzer-Augen von den Nutzer-Augen verstanden werden. Insbesondere ist der Fokuspunkt der Nutzer-Augen als der Punkt im Raum vor den Nutzer-Augen zu verstehen, an welchem sich die Blickvektoren / Gaze-Vektoren der Nutzer-Augen schneiden. Unter einer „Datenbrille“ soll insbesondere ein Wearable (Head-Mounted Display) verstanden werden, mittels welchem Informationen zum Sichtfeld eines Nutzers hinzugefügt werden können. Vorzugsweise ermöglichen Datenbrillen Augmented-Reality- und/oder Mixed-Reality-Anwendungen. Datenbrillen werden landläufig auch als Smartglasses oder VR-Brillen oder AR-Brillen bezeichnet. Insbesondere weist die Datenbrille eine, insbesondere dem Fachmann geläufige, virtuelle Netzhautanzeige (auch Retinal Scan Display oder Lichtfelddisplay genannt) auf. Die virtuelle Netzhautanzeige ist insbesondere dazu eingerichtet, einen Bildinhalt sequentiell durch Ablenkung zumindest eines sichtbaren Laserstrahls zumindest einer zeitlich modulierten Lichtquelle, wie z.B. einer oder mehrerer (RGB-)Laserdioden eines Laserprojektors, abgerastert und durch optische Elemente direkt auf die Netzhaut (Retina) des Auges des Nutzers abzubilden. Ein Einzelaugenverfolgungssystem ist insbesondere dazu eingerichtet, eine Bewegung und/oder eine Geschwindigkeit eines einzelnen Nutzer-Auges zu verfolgen und/oder aufzuzeichnen. Unter „eingerichtet“ oder unter „vorgesehen“ soll insbesondere speziell programmiert, ausgelegt und/oder ausgestattet verstanden werden. Darunter, dass ein Objekt zu einer bestimmten Funktion vorgesehen oder eingerichtet ist, soll insbesondere verstanden werden, dass das Objekt diese bestimmte Funktion in zumindest einem Anwendungs- und/oder Betriebszustand erfüllt und/oder ausführt.
Nach dem sogenannten Listing-Gesetz liegen alle Rotationsachsen aller von einer Primärposition ausgehenden Sakkaden und langsamen Folgebewegungen des Nutzer-Auges in einer Ebene, der sogenannten Listing-Ebene des Nutzer-Auges. Bei einer Fixation entfernter Objekte durch die Nutzer-Augen werden somit nicht alle im dreidimensionalen Raum möglichen Augenstellungen eingenommen, sondern nur die, die auf die Rotation um Rotationsachsen in der Listing-Ebene beschränkt sind. insbesondere ist die Listing-Ebene als die Ebene ausgebildet, in der ausgehend von der Primärposition des Nutzer-Auges alle Rotationsachsen von allen möglichen durch Rotation der Augen erreichbaren Augenpositionen liegen. Die Lage der Listing-Ebene ist somit insbesondere von der jeweiligen Primärposition abhängig. Beispielsweise steht die Listing-Ebene bei einem Geradeausblick (Primärposition = Geradeausblick) etwa senkrecht zur Sehachse des Nutzer-Auges. Beispielsweise entspricht die Listing-Ebene bei einem Geradeausblick (Primärposition = Geradeausblick) einer Äquatorialebene des Nutzer-Auges. Bei einer Blickwendung aus einer anderen Ausgangsstellung als die Primärposition heraus, z.B. einem Aufblick um 30°, liegen die Rotationsachsen des Nutzer-Auges ebenfalls in einer Listing-Ebene, welche jedoch im Vergleich zu dem Geradeausblick nicht mehr senkrecht zur Blickrichtung steht, sondern in Richtung der Blickwendung verkippt ist, insbesondere um einen halben Winkel der Blickrichtung im Bezug zur Geradeausblick-Primärposition (hier: um 15°). Somit verkippt sich die Listing-Ebene auch in Abhängigkeit von der Vergenz, insbesondere proportional zur Fokustiefe. Folglich kann vorteilhaft aus der gemessenen Listing-Ebene eine momentane Vergenz des Nutzer-Auges bestimmt werden. Die Vergenz, insbesondere die Verkippung der Listing-Ebene bei einer Änderung einer Augenfokussierung, besitzt dadurch einen Einfluss auf die genaue Bewegungstrajektorie, z.B. der Pupille, bei der Augenbewegung des Nutzer-Auges. Die Kenntnis der Vergenz, insbesondere die Kenntnis der gegensinnigen Bewegung zweier Nutzer-Augen, erlaubt vorzugsweise eine Ermittlung des Schnittpunkts der Blickvektoren und/oder der momentanen Fokustiefe des Nutzer-Auges. Die momentane Vergenz ist insbesondere die momentane gegensinnige Augenbewegung der Nutzer-Augen.
Ferner wird vorgeschlagen, dass in dem Verfahrensschritt die momentane Listing-Ebene zumindest anhand einer Messung einer Drehachse einer Bewegung des Nutzer-Auges, insbesondere mittels einer Laser-Feedback-Interferometrie (LFI)-Sensoranordnung, ermittelt wird. Auf diese Weise können vorteilhaft Kosten und/oder Energieverbrauch gering gehalten werden, insbesondere da vorteilhaft auf eine kosten- und/oder energieintensive Verwendung einer Weltkamera verzichtet werden kann. Vorteilhaft können LFI-Sensoren zur Messung der Fokustiefe herangezogen werden.
Insbesondere umfasst die LFI-Sensoranordnung zumindest eine Mehrzahl, z.B. drei oder vier, einzelne LFI-Sensoren. Vorzugsweise sind die LFI-LaserSensoren der LFI-Sensoranordnung in die Datenbrille, z.B. in einen Brillenrahmen der Datenbrille, in ein Brillenglas der Datenbrille und/oder in einen Brillenbügel der Datenbrille integriert. Insbesondere sind die LFI-Sensoren der LFI-Sensoranordnung derart angeordnet, dass die Laserstrahlen, insbesondere die Infrarot-Laserstrahlen, der LFI-Sensoren auf das Nutzer-Auge des die Datenbrille tragenden Nutzers treffen. Gegebenenfalls können optische Umlenkelemente vorgesehen sein, die einen oder mehrere der Laserstrahlen auf das Nutzer-Auge umlenken. Über ein durch die LFI-Sensoren ermöglichtes, bekanntes Laser-Feedback-Interferometrie-Messverfahren, welches eine Modulation der Laser der LFI-Sensoren in deren Wellenlängen umfassen kann, kann vorteilhaft eine Dopplerverschiebung gemessen werden, die auf eine Rotation des jeweiligen Nutzer-Auges zurückzuführen ist. Zudem lässt sich mittels des bekannten LFI-Messverfahrens vorteilhaft ein Abstand d zwischen dem jeweiligen Nutzer-Auge und dem jeweiligen LFI-Sensor der LFI-Sensoranordnung ermitteln. Vorzugsweise wird aus diesen Messdaten des LFI-Messverfahrens für jeden der LFI-Sensoren der LFI-Sensoranordnung eine Oberflächengeschwindigkeit v des Nutzer-Auges in einer jeweiligen Laserstrahlrichtung sowie der Abstand d ermittelt. Durch eine Fusion der Messergebnisse von mindestens 3 LFI-Sensoren der LFI-Sensoranordnung lässt sich somit insbesondere eine Drehgeschwindigkeit des Nutzer-Auges ermitteln. Durch die Fusion der Messergebnisse von mindestens 3 LFI-Sensoren der LFI-Sensoranordnung lässt sich somit insbesondere eine Position des Nutzer-Auges in Relation zur Datenbrille ermitteln. Weiterhin lässt sich durch die Fusion der Messergebnisse der LFI-Sensoren der LFI-Sensoranordnung insbesondere eine aktuelle Drehachse e ermitteln. Außerdem lässt sich durch die Fusion der Messergebnisse der LFI-Sensoren der LFI-Sensoranordnung insbesondere ein Start Gaze-Vektor und/oder ein Ziel Gaze-Vektor der überwachten Augenbewegung ermitteln. Für die Bestimmung des Start Gaze-Vektors und/oder des Ziel Gaze-Vektors könnte alternativ auch eine Augenbeobachtungs-Kamera in das System integriert werden, welche vorzugsweise zu einer Videookulographie vorgesehen ist. In diesem alternativen Fall kann dann eine Fusion aus den Messwerten der Augenbeobachtungs-Kamera sowie der (statischen) Messwerte der LFI-Sensoranordnung erfolgen.
insbesondere muss zu einer Ermöglichung der Bestimmung der Drehachse, insbesondere über die Messdaten der LFI-Sensoranordnung, zunächst eine Relation der Koordinatensysteme des Nutzer-Auges und der Datenbrille bekannt sein (1. Schritt eines Algorithmus zur Bestimmung der Drehachse). Insbesondere sind die Positionen und die Orientierungen der Lasersensoren im Koordinatensystem der Datenbrille aus der Produktion bekannt, z.B. aus einer in der Produktion erfolgten End of Line-Messung oder aus in der Produktion vorgeschriebenen Montagegenauigkeiten. insbesondere sind die Positionen und die Orientierungen der Lasersensoren im Koordinatensystem der Datenbrille als unveränderlich anzunehmen. Zur Bestimmung eines Zentrums des Nutzer-Auges und/oder des Koordinatensystems des Nutzer-Auges wird vorzugsweise das Nutzer-Auge als eine Kugel mit einem definierten und bekannten Durchmesser r angenommen. Die Relation des Koordinatensystems der Datenbrille und des Koordinatensystems des Nutzer-Auges wird vorzugsweise als eine Kombination einer Rotation und einer Translation ausgedrückt. Für die Ermittlung der Relation des Koordinatensystems der Datenbrille und des Koordinatensystems des Nutzer-Auges wird somit vorzugsweise ein Triangulationsansatz verwendet, siehe insbesondere Gleichung (1). $x_{g, n}^{T} x_{g, n} + 2 x_{g, n}^{T} R^{T} t + t^{T} t - r^{2} = 0$
Dabei bezeichnet x_g einen Punkt im Koordinatensystem der Datenbrille, R eine Rotation, t eine Translation und r den Radius des Nutzer-Auges. Der Punkt x_g wird insbesondere über die Rotation R und die Translation t unter Berücksichtigung des Radius des Nutzer-Auges in das Koordinatensystem des Nutzer-Auges überführt, wobei der entsprechende Punkt insbesondere mit x_h bezeichnet ist. Dadurch ergibt sich die Gleichung (2) $x_{h} = R (θ, φ, r) x_{g} + t$
mit den Kugelkoordinaten θ, φ und r. Die Parameter R und t werden vorzugsweise mittels eines bekannten Trilaterationsverfahrens aus den Abstandsmessungen dreier LFI-Sensoren der LFI-Sensoranordnung bestimmt.
Nachdem Kenntnis über die Relation der Koordinatensysteme gewonnen wurde, werden in einem weiteren Schritt (2. Schritt des Algorithmus zur Bestimmung der Drehachse) Oberflächengeschwindigkeiten des Nutzer-Auges an den Auftreffpunkten der Laser der LFI-Sensoren ermittelt. Eine von einem n-ten LFI-Sensor gemessene Oberflächengeschwindigkeit lässt sich insbesondere aus einem Auftreffpunkt x_n auf der Kugeloberfläche des Nutzer-Auges, aus der zuvor ermittelten Orientierung des Sensors (Vektor p_n) sowie aus der über die Dopplerverschiebung gemessenen Geschwindigkeit v_n ermitteln, siehe Gleichung (3). $v_{n} = - p_{n}^{T} (\frac{\partial x_{n}}{\partial r} \dot{r} + \frac{\partial x_{n}}{\partial θ} \dot{θ} + \frac{\partial x_{n}}{\partial φ} \dot{φ}) = - p_{n}^{T} (\frac{x_{n}}{‖ x_{n} ‖} \dot{r} + \frac{\partial x_{n}}{\partial θ} + \frac{\partial x_{n}}{\partial φ})$
Hierbei sind die Oberflächengeschwindigkeiten als die Änderungen der Winkelgeschwindigkeiten um die Rotationsachse des Auges ausgeführt. Insbesondere kann eine Radiusänderung, also eine Verschiebung des Auftreffpunktes zu einer Geschwindigkeitsänderung führen, die kompensiert werden muss (dies gilt jedoch nicht für die Retina, da eine Rotation einer Kugel keine Änderung des Radius hervorruft).
Dadurch lässt sich insbesondere das die Rotationsachse e und die Winkelgeschwindigkeiten θ̇̇ und φ beinhaltende Gleichungssystem (4) aufstellen. $[- p_{n}^{T} (e_{θ} \times x_{n}) - p_{n}^{T} (e_{φ} \times x_{n})] [\begin{matrix} \dot{θ} \\ \dot{φ} \end{matrix}] = v_{n} - \frac{x_{n}}{‖ x_{n} ‖} {\dot{r}}_{n}$
In das Gleichungssystem (4) können nur die Messwerte der von dem n-ten LFI-Sensor an dessen Auftreffpunkt auf dem Nutzer-Auge gemessenen Geschwindigkeit v_n sowie der ermittelte Auftreffpunkt x_n einsetzen. Dieses Gleichungssystem (4) kann dann nach der unbekannten Drehachse e aufgelöst werden. Wenn nun nach der Winkelgeschwindigkeit integriert wird, lässt sich eine Rotation des Nutzer-Auges, insbesondere eine hochaufgelöste Bewegungstrajektorie des Nutzer-Auges (θ, φ) entlang der Rotationsachse e des Nutzer-Auges, insbesondere rein aus den Messungen der LFI-Sensoranordnung, bestimmen.
Zudem wird vorgeschlagen, dass in dem Verfahrensschritt die momentane Listing-Ebene zumindest anhand einer Messung einer Startposition einer Bewegung des Nutzer-Auges um die Drehachse und/oder anhand einer Messung einer Endposition einer Bewegung des Nutzer-Auges um die Drehachse, insbesondere mittels einer Laser-Feedback-Interferometrie (LFI)-Sensoranordnung der Datenbrille oder mittels einer Augenbeobachtungs-Kamera der Datenbrille, ermittelt wird (3.Schritt des Algorithmus zur Bestimmung der Drehachse). Auf diese Weise können vorteilhaft Kosten und/oder Energieverbrauch gering gehalten werden, insbesondere da vorteilhaft auf eine kosten- und/oder energieintensive Verwendung einer Weltkamera verzichtet werden kann. Vorteilhaft können ausschließlich die LFI-Sensoren zur Messung der Startposition und/oder der Endposition herangezogen werden. Alternativ ist jedoch auch die Bestimmung der Startposition und/oder der Endposition mittels der Augenbeobachtungs-Kamera und Videookulographie denkbar, welche jedoch die beschriebenen Vorteile nicht vollständig verwirklichen würde. Die Bewegung des Nutzer-Auges, zu der die Startposition und die Endposition zugehörig ist, kann bewusst oder durch eine Sakkade erfolgt sein.
insbesondere wird für die Bestimmung der (absoluten) Startposition und/oder der Endposition des Blickvektors während der Bewegung entlang der Bewegungstrajektorie des Nutzer-Auges eine Triangulation einer Iris-Ebene einer Iris des Nutzer-Auges im Raum vorgenommen. Dazu müssen insbesondere zumindest die Laserstrahlen von drei der LFI-Sensoren auf die Iris des Nutzer-Auges treffen. Insbesondere kann dann eine Absolut-Orientierung der Iris des Nutzer-Auges ermittelt werden. Die Iris wird vorzugsweise in dem zu Grunde liegenden Modell als scheibenförmig („Irisscheibe“) angenommen. Über die Gleichungen (5) bis (7) lassen sich dann insbesondere Absolut-Blickwinkel θ₀ und φ₀ bestimmen. $n_{I r i s}^{T} x = d_{I r i s}$
$θ_{0} = a r c s i n \frac{n_{I r i s, z}}{‖ n ‖}$
$φ_{0} = a r c t a n \frac{- n_{I r i s, x}}{n_{I r i s, y}}$
Ein in die Blickrichtung zeigender Normalenvektor n_Iris, ergibt sich dann vorzugsweise aus einer rekonstruierten Ebene, welche aus der Triangulation der Distanzmessungen der drei LFI-Sensoren, deren Laserstrahlen auf die Iris des Nutzer-Auges trafen erzeugt werden kann. Alternativ ließe sich die Absolut-Position des Nutzer-Auges auch aus der ggf. zusätzlich verbauten Augenbeobachtungs-Kamera unter Zuhilfenahme von Videookulographie-Algorithmen ermitteln. Aus den drei beschriebenen Schritten des Algorithmus zur Bestimmung der Drehachse ergeben sich somit zumindest die folgenden Parameter: a) Bewegungstrajektorie θ(t), φ(t) des Nutzer-Auges während einer Augenbewegung, b) Drehachse e, um die das Nutzer-Auge bei der Augenbewegung gedreht hat und c) Absolut-Position des Nutzer-Auges (θ₀, φ₀) zu einem Beginn und zu einem Ende der Augenbewegung.
Weiterhin wird vorgeschlagen, dass in dem Verfahrensschritt aus der erfassten Drehachse der Bewegung des Nutzer-Auges und aus den erfassten Start- und Endpositionen der Bewegung des Nutzer-Auges die Bewegungstrajektorie der Bewegung des Nutzer-Auges ermittelt wird. Dadurch kann vorteilhaft eine Bestimmung der Listing-Ebene des Nutzer-Auges, und damit insbesondere auch der Fokustiefe des Nutzer-Auges, mittels eines besonders geringe Kosten und/oder Energieverbräche verursachenden Systems ermöglicht werden. insbesondere bilden die Bewegungstrajektorien Orthodromen der jeweiligen zugehörigen Listing-Ebenen oder Halbwinkelebenen.
Außerdem wird vorgeschlagen, dass in dem Verfahrensschritt die Oberflächengeschwindigkeit, insbesondere eine Oberflächenrotationsgeschwindigkeit, des Nutzer-Auges mittels der LFI-Sensoranordnung der Datenbrille, vorzugsweise auf die vorbeschriebene Weise (vgl. v.a. die Gleichung (3)), erfasst wird und zur Bestimmung der Drehachse und/oder der Bewegungstrajektorie, insbesondere auf die vorbeschriebene Weise (vgl. v.a. die Gleichung (4)) ausgewertet wird. Dadurch kann vorteilhaft eine Bestimmung der Listing-Ebene des Nutzer-Auges, und damit insbesondere auch der Fokustiefe des Nutzer-Auges, mittels eines besonders geringe Kosten und/oder Energieverbräche verursachenden Systems ermöglicht werden.
Weiter wird vorgeschlagen, dass in dem weiteren Verfahrensschritt die momentane Vergenz anhand eines Listing-Ebenen-Winkels zwischen der gemessenen momentanen Listing-Ebene und einer, insbesondere initial bestimmten und/oder kalibrierten, (unverkippten) Listing-Ebene zu einer Primärposition eines ins Unendliche blickenden Nutzer-Auges ermittelt wird. Dadurch kann vorteilhaft eine Bestimmung der Fokustiefe des Nutzer-Auges mittels eines besonders geringe Kosten und/oder Energieverbräche verursachenden Systems ermöglicht werden. insbesondere wird eine Lage der Primärposition durch eine initiale Kalibration bestimmt. insbesondere wird ein Zusammenhang zwischen der Lage der momentanen Listing-Ebene und der Vergenz durch eine initiale Kalibration bestimmt. insbesondere kann es für eine gegebene Startposition eine Menge von Halbwinkelebenen geben, die jeweils aus einer bestimmten Verdrehung der Listing-Ebene folgen. Ist insbesondere die Drehachse bekannt, kann die Halbwinkelebene aus der Menge an Halbwinkelebenen, die diese Drehachse enthält, und damit die Lage der momentanen Listing-Ebene oder der tatsächlichen Primärposition in der Regel eindeutig ermittelt werden.
Des Weiteren wird vorgeschlagen, dass in dem weiteren Verfahrensschritt die momentane Vergenz aus einer bekannten, insbesondere im Vorfeld kalibrierten, Kennlinie oder Lookup-Tabelle, in welcher Vergenzen über Listing-Ebenen-Winkel aufgetragen sind, ausgelesen wird. Dadurch kann vorteilhaft eine Bestimmung der Fokustiefe des Nutzer-Auges mittels eines besonders geringe Kosten und/oder Energieverbräche verursachenden Systems ermöglicht werden. insbesondere beschreibt die Kennlinie oder die Lookup-Tabelle den (ggf. zu kalibrierenden) Zusammenhang zwischen der momentanen Listing-Ebene des Nutzer-Auges und der aktuellen Vergenz des Nutzer-Auges. In diesem Zusammenhang wird als Nebenbetrachtung angemerkt, dass, falls die Vergenz bekannt sein sollte (z.B. durch eine gleichzeitige Messung beider Augen), diese Information umgekehrt als Einschränkung zur Bestimmung der Drehachse des Nutzer-Auges genutzt werden könnte.
Darüber hinaus wird in dem zusätzlichen weiteren Verfahrensschritt die nutzerspezifische momentane Fokustiefe des Nutzer-Auges unter einer Anwendung von initialen Nutzer-Kalibrationsdaten, durch welche unterschiedliche Vergenzen mit unterschiedlichen nutzerspezifischen Fokustiefen des Nutzer-Auges verknüpft sind, ermittelt. Dadurch kann vorteilhaft eine Bestimmung der Fokustiefe des Nutzer-Auges mittels eines besonders geringe Kosten und/oder Energieverbräche verursachenden Systems ermöglicht werden. Aus den vorbeschriebenen Teilen des Verfahrens geht hervor, dass aus der gemessenen Bewegungstrajektorie sowie der Start- und Zielposition des Blickvektors und der Drehachse die Vergenz des Nutzer-Auges ermittelt werden kann. Um dies schlussendlich auf eine Fokustiefe der Nutzer-Augen überführen zu können, ist insbesondere eine (einmalige) Systemkalibrierung (pro Nutzer) erforderlich, insbesondere da die Datenbrille je nach Nutzer unterschiedlich auf einem Nutzer-Gesicht sitzen kann, somit das Koordinatensystem Datenbrille - Nutzer-Kopf unterschiedlich sein kann (z.B. abhängig von Kopfform, Nasenform, Pupillen-Abstand, etc.).
In diesem Zusammenhang wird vorgeschlagen, dass in einem dem zusätzlichen weiteren Verfahrensschritt zeitlich voranstehenden Nutzer-Kalibrationsschritt die initialen Nutzer-Kalibrationsdaten mittels einer Beobachtung zumindest eines bewegten realen Kalibrationsobjekts durch eine Weltkamera der Datenbrille und eine zeitgleiche Messung der Vergenz des dem bewegten realen Kalibrationsobjekt folgenden und auf das bewegte reale Kalibrationsobjekt fokussierten Nutzer-Auges durch eine LFI-Sensoranordnung der Datenbrille oder eine Augenbeobachtungs-Kamera der Datenbrille ermittelt werden, insbesondere indem bekannte geometrische Parameter des bewegten realen Kalibrationsobjekts bei verschiedenen Lagen und Abständen des bewegten realen Kalibrationsobjekts von der Weltkamera ausgewertet und gleichzeitig den gemessenen Vergenzen zugeordnet werden und/oder indem mittels eines Stereosystems und/oder eines strukturierten Lichtsystems verschiedene Lagen und Abstände des bewegten realen Kalibrationsobjekts von der Weltkamera ermittelt und gleichzeitig den gemessenen Vergenzen zugeordnet werden. Dadurch kann vorteilhaft eine Fokustiefenbestimmung für Datenbrillen ermöglicht werden. Das bewegbare reale Kalibrationsobjekt kann dabei insbesondere ein Finger, z.B. ein Zeigefinger, einer Nutzer-Hand sein. Beispielsweise streckt der Nutzer dazu seine Hand aus und zeigt mit dem Zeigefinger nach oben. In diesem Beispiel kann dann die Fingerspitze von der Weltkamera detektiert werden und aus geometrischen Bedingungen der Fingerspitze (z.B. einer Form oder einer Dicke des Fingers oder des Fingernagels des Fingers) oder durch ein Stereosystem oder ein strukturiertes Licht-System der Datenbrille (z.B. mehrere an unterschiedlichen Punkten der Datenbrille angeordnete steuerbare Lichtquellen) eine Fokustiefe zwischen Weltkamera (die fest im Koordinatensystem der Datenbrille verortet ist) und Nutzer-Auge oder Datenbrille ermittelt werden. Anschließend kann in diesem Beispiel der Nutzer den Finger langsam in Richtung der Weltkamera auf die Datenbrille zu bewegen, während die Nutzer-Augen den Finger fixieren. Beispielsweise durch eine Informationsausgabe eines Displays der Datenbrille oder durch ein akustisches Signal der Datenbrille veranlasst, stoppt der Nutzer bei einer bestimmten Fokustiefe die Bewegung des Fingers auf die Datenbrille zu und bewegt dann den Finger in der entsprechenden Fokustiefe parallel zum Nutzer-Kopf nach links und rechts, insbesondere um sogenannte „smooth pursuit eye movements“ des Nutzer-Auges bei der entsprechenden Fokustiefe hervorzurufen. Diese Bewegungen des Nutzer-Auges können dann von der Datenbrille erfasst und/oder erkannt werden und entsprechend kann dann eine Tiefeninformation aus der Weltkamera auf die Position der verschobenen momentanen Listing-Ebene, insbesondere im Vergleich auf die Primärposition des Nutzer-Auges, gemappt werden. Dieser Vorgang wird vorzugsweise wiederholt, bis ausreichend Kalibrierpunkte gesammelt sind (für eine lineare 2-Punkt-Kalibrierung sind z.B. mindestens zwei Kalibrierpunkte notwendig). Das reale Kalibrationsobjekt kann dabei wie beschrieben der Finger sein oder aber auch ein anderes, vorzugsweise in seinen Dimensionen etwa bekanntes Objekt. Insbesondere umfasst der Nutzer-Kalibrationsschritt auch eine Messung bei ins Unendliche blickenden Augen, d.h. bei einer Vergenz von Null.
Unter einer „Weltkamera“ soll insbesondere eine Kamera der Datenbrille verstanden werden, welche in eine von dem Nutzer-Gesicht wegweisende Richtung ausgerichtet ist. Vorzugsweise überlappt ein Sichtfeld der Weltkamera der Datenbrille zumindest zu einem Großteil mit einem Sichtfeld des Nutzers, der durch die Brillengläser der Datenbrille blickt.
Ergänzend wird dazu vorgeschlagen, dass in dem Nutzer-Kalibrationsschritt das reale Kalibrationsobjekt in verschiedenen (z.B. zwei, drei oder vier) Abständen von der Weltkamera jeweils in zu einer Bildebene der Weltkamera zumindest im Wesentlichen parallelen Abstandsebenen bewegt wird. Dadurch können vorteilhaft die beschriebenen „smooth pursuit eye movements“ des Nutzer-Auges bei den, den verschiedenen Abständen entsprechenden Fokustiefen hervorgerufen werden. Dadurch kann vorteilhaft die Tiefeninformation aus der Weltkamera auf die Position der verschobenen momentanen Listing-Ebene, insbesondere im Vergleich auf die Primärposition des Nutzer-Auges, gemappt werden. Die Bildebene der Weltebene ist insbesondere zumindest im Wesentlichen senkrecht zu einer Blickrichtung des Nutzer-Auges in der Primärposition ausgerichtet. Unter „im Wesentlichen parallel“ soll hier insbesondere eine Ausrichtung einer Richtung relativ zu einer Bezugsrichtung, insbesondere in einer Ebene, verstanden werden, wobei die Richtung gegenüber der Bezugsrichtung eine Abweichung insbesondere kleiner als 8°, vorteilhaft kleiner als 5° und besonders vorteilhaft kleiner als 2° aufweist. Der Ausdruck „im Wesentlichen senkrecht“ soll hier insbesondere eine Ausrichtung einer Richtung relativ zu einer Bezugsrichtung definieren, wobei die Richtung und die Bezugsrichtung, insbesondere in einer Projektionsebene betrachtet, einen Winkel von 90° einschließen und der Winkel eine maximale Abweichung von insbesondere kleiner als 8°, vorteilhaft kleiner als 5° und besonders vorteilhaft kleiner als 2° aufweist.
Außerdem wird ergänzend dazu vorgeschlagen, dass die Bewegung des realen Kalibrationsobjekts in dem Nutzer-Kalibrationsschritt manuell von dem Nutzer vorgenommen wird, wobei die Bewegung des realen Kalibrationsobjekts durch die Weltkamera überwacht wird und anhand der dabei erfassten Überwachungsdaten Bewegungsvorgaben und/oder Bewegungsbefehle ermittelt und akustisch und/oder optisch von der Datenbrille an den Nutzer ausgegeben werden. Dadurch kann vorteilhaft eine einfache und zuverlässige initiale Nutzer-Kalibration ermöglicht werden. Die optische Ausgabe der Bewegungsvorgaben und/oder Bewegungsbefehle kann dabei insbesondere mittels der virtuellen Netzhautanzeige der Datenbrille erfolgen.
Alternativ oder zusätzlich wird vorgeschlagen, dass in einem dem zusätzlichen weiteren Verfahrensschritt zeitlich voranstehenden alternativen oder zusätzlichen Nutzer-Kalibrationsschritt die initialen Nutzer-Kalibrationsdaten mittels einer Einblendung eines bewegten virtuellen Kalibrationsobjekts durch eine Anzeige der Datenbrille, insbesondere durch die virtuelle Netzhautanzeige der Datenbrille, und eine zeitgleiche Messung der Vergenz des dem bewegten virtuellen Kalibrationsobjekt folgenden und auf das bewegte virtuelle Kalibrationsobjekt fokussierten Nutzer-Auges durch die LFI-Sensoranordnung der Datenbrille oder die Augenbeobachtungs-Kamera der Datenbrille ermittelt werden. Dadurch kann vorteilhaft eine Fokustiefenbestimmung für Datenbrillen ermöglicht werden. Zudem kann dadurch vorteilhaft eine Bestimmung der Fokustiefe des Nutzer-Auges mittels eines besonders geringe Kosten und/oder Energieverbräche verursachenden Systems, welches insbesondere ohne eine Weltkamera auskommt, ermöglicht werden. Beispielsweise kann hierzu in verschiedenen Fokusebenen ein Stimulus (z.B. ein bewegender Punkt, ein Text, etc.) virtuell eingeblendet werden, z.B. mittels der virtuellen Netzhautanzeige der Datenbrille und entsprechend die Augenbewegungen über das System der Datenbrille, insbesondere über die LFI-Sensoranordnung der Datenbrille, rückgemessen werden. Dadurch kann vorteilhaft ein Mapping der momentanen (verschobenen) Listing-Ebene in Relation zur Primärposition auf die entsprechende Fokusebene ermöglicht werden. Diese Ausführung ist besonders vorteilhaft, da sie eine direkte Kalibrierung der Fokustiefe zu Displayinhalten der virtuellen Netzhautanzeige der Datenbrille ermöglicht.
Wenn wie bereits erwähnt in dem alternativen oder zusätzlichen Nutzer-Kalibrationsschritt das virtuelle Kalibrationsobjekt durch die Anzeige der Datenbrille, insbesondere durch die virtuelle Netzhautanzeige, in verschiedenen, insbesondere durch ein optisches System der Datenbrille, z.B. ein Linsensystem der Datenbrille oder den Laserprojektor der Datenbrille, erzeugten, Fokusabständen dargestellt und bewegt wird, kann vorteilhaft eine direkte Kalibrierung der Fokustiefe anhand von Displayinhalten der virtuellen Netzhautanzeige der Datenbrille und/oder zu Displayinhalten der virtuellen Netzhautanzeige der Datenbrille ermöglicht werden.
Außerdem wird eine Rechnereinheit zu der Bestimmung der momentanen Fokustiefe des Nutzers der Datenbrille vorgeschlagen, wobei die Rechnereinheit zumindest dazu eingerichtet ist, anhand einer, insbesondere zumindest mittels des Einzelaugenverfolgungssystems, gemessenen momentanen Listing-Ebene des Nutzer-Auges die momentane Vergenz des Nutzer-Auges zu ermitteln, und wobei die Rechnereinheit zumindest dazu eingerichtet ist, aus der ermittelten momentanen Vergenz des Nutzer-Auges die nutzerspezifische momentane Fokustiefe des Nutzer-Auges zu ermitteln. Dadurch können vorteilhaft Kosten und/oder Energieverbrauch gering gehalten werden. Vorteilhaft kann eine Gesamtzahl an zur Bestimmung der momentanen Fokustiefe in einer Datenbrille, insbesondere einer als Mono-Eye-System ausgebildeten Datenbrille, nötigen Komponenten gering gehalten werden. Die Rechnereinheit kann insbesondere Mikrocontroller oder dergleichen der Datenbrille sein. insbesondere kann die Rechnereinheit in diesem Fall als eine Einheit mit zumindest einer Steuerelektronik verstanden werden. Unter einer „Steuerelektronik“ soll insbesondere eine Einheit mit einem Prozessor und mit einem Speichermedium sowie mit einem in der Speichereinheit gespeicherten Betriebsprogramm verstanden werden. Alternativ kann die Rechnereinheit aber auch zumindest teilweise durch eine Cloud oder eine andere zentrale (z.B. ein mit der Datenbrille gekoppeltes Smartphone) oder dezentrale von der Datenbrille getrennte Recheninfrastruktur gebildet sein. In diesem Fall weist die Datenbrille vorzugsweise eine (drahtlose) Kommunikationsschnittstelle zur Kommunikation mit dem externen Teil der Rechnereinheit auf.
Ferner wird eine Datenbrille mit zumindest einer internen oder externen Rechnereinheit und mit einer Laser-Feedback-Interferometrie (LFI)-Sensoranordnung, vorgeschlagen, wobei die Datenbrille, insbesondere die Rechnereinheit, zumindest zu einer Bestimmung der momentanen Fokustiefe des Nutzers der Datenbrille eingerichtet ist. Dadurch können vorteilhaft Kosten und/oder Energieverbrauch gering gehalten werden, insbesondere da vorteilhaft auf eine kosten- und/oder energieintensive Verwendung einer Weltkamera verzichtet werden kann. Vorteilhaft kann eine Gesamtzahl an zur Bestimmung der momentanen Fokustiefe in einer Datenbrille, insbesondere einer als Mono-Eye-System ausgebildeten Datenbrille, nötigen Komponenten gering gehalten werden.
Das erfindungsgemäße Verfahren und die erfindungsgemäße Datenbrille sollen hierbei nicht auf die oben beschriebene Anwendung und Ausführungsform beschränkt sein. insbesondere kann das erfindungsgemäße Verfahren und die erfindungsgemäße Datenbrille zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten sowie Verfahrensschritten abweichende Anzahl aufweisen. Zudem sollen bei den in dieser Offenbarung angegebenen Wertebereichen auch innerhalb der genannten Grenzen liegende Werte als offenbart und als beliebig einsetzbar gelten.
Zeichnung
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.
Es zeigen:

1 eine schematische Teilansicht einer Datenbrille,
2 schematisch eine Vergenz von Nutzer-Augen eines Nutzers der Datenbrille,
3 ein schematisches Ablaufdiagramm eines Verfahrens zu einer Bestimmung einer momentanen Fokustiefe des Nutzers der Datenbrille,
4 eine schematische Seitenansicht der Datenbrille und eines realen Kalibrationsobjekts während eines Nutzer-Kalibrationsschritts des Verfahrens,
5a schematisch das ins Unendliche blickende Nutzer-Auge und eine zugehörige (unverkippte) Listing-Ebene,
5b schematisch eine momentane Listing-Ebene eines nicht ins unendliche blickenden Nutzer-Auges, d.h. eines fokussierten Nutzer-Auges und
6 schematisch beispielhafte Bewegungstrajektorien von Nutzer-Augen mit unterschiedlichen Primärpositionen.

Beschreibung des Ausführungsbeispiels
Die 1 zeigt eine schematische Teilansicht einer Datenbrille 12. Die Datenbrille 12 umfasst eine virtuelle Netzhautanzeige zu einer visuellen Darstellung von virtuellen Inhalten, z.B. Augmented-Reality-Inhalten, in einem Sichtfeld eines Nutzers 54 der Datenbrille 12. Die Datenbrille 12 ist in ihrer Grundfunktion und ihren Grundkomponenten vergleichbar zu bekannten Datenbrillen 12 mit virtuellen Netzhautanzeigen aufgebaut. Die Datenbrille 12 umfasst ein Einzelaugenverfolgungssystem („Mono-Eye-Tracking-System“). Die Datenbrille 12 umfasst eine Rechnereinheit 58. Die Rechnereinheit 58 ist beispielhaft als eine interne Rechnereinheit ausgebildet. Alternativ könnte die Rechnereinheit 58 jedoch auch zumindest teilweise getrennt von der Datenbrille 12 ausgebildet sein (z.B. als ein mit der Datenbrille 12 gekoppeltes mobiles Endgerät, wie ein Smartphone oder dergleichen). Die Datenbrille 12 umfasst eine Laser-Feedback-Interferometrie (LFI)-Sensoranordnung 26. Die LFI-Sensoranordnung 26 umfasst beispielhaft fünf LFI-Sensoren 60, 60', 60'', 60''', 60''''. Alternativ sind jedoch auch mehr oder weniger als fünf LFI-Sensoren 60, 60', 60'', 60''', 60'''' denkbar. Die Datenbrille 12 umfasst eine Augenbeobachtungs-Kamera 32. Die Augenbeobachtungs-Kamera 32 weist ein in Richtung eines Nutzer-Auges 18 des Nutzers 54 ausgerichtetes Sichtfeld auf. Die Augenbeobachtungs-Kamera 32 ist zu einer Beobachtung zumindest eines Nutzer-Auges 18 eingerichtet, insbesondere von dessen Position in einem Koordinatensystem der Datenbrille 12. Die Datenbrille 12, insbesondere die Rechnereinheit 58, ist zu einer Bestimmung einer momentanen Fokustiefe 10 (vgl. 2) des Nutzers 54 der Datenbrille 12 eingerichtet. Die Datenbrille 12 ist zu einer Durchführung eines Verfahrens zu einer Bestimmung der momentanen Fokustiefe 10 des Nutzers 54 der Datenbrille 12 eingerichtet. Die Datenbrille 12 kann eine Weltkamera 46 (siehe 4) aufweisen oder frei von einer Weltkamera ausgebildet sein.
Die 2 zeigt schematisch eine Vergenz der Nutzer-Augen 18, 18' des Nutzers 54 der Datenbrille 12. In der 2 sind beispielhaft die Nutzer-Augen 18, 18' bei drei verschiedenen Fokustiefen 10, 10', 10'' dargestellt. Bei einer Verringerung der Fokustiefe 10, 10', 10'' bewegen sich beide Blickrichtungen beider Nutzer-Augen 18, 18' aufeinander zu. Bei einer Vergrößerung der Fokustiefe 10, 10', 10'' bewegen sich beide Blickrichtungen beider Nutzer-Augen 18, 18' voneinander weg. Jeder Fokustiefe 10, 10', 10'' ist ein Fokuspunkt zugeordnet (in der 2 durch einen Kreis oder eine Raute gekennzeichnet).
Die 3 zeigt ein schematisches Ablaufdiagramm des Verfahrens zu der Bestimmung der momentanen Fokustiefe 10, 10', 10'' des Nutzers 54 der Datenbrille 12. Die Rechnereinheit 58, insbesondere die Datenbrille 12, ist zu einer Durchführung des Verfahrens zu der Bestimmung der momentanen Fokustiefe 10, 10', 10'' des Nutzers 54 eingerichtet. In zumindest einem Nutzer-Kalibrationsschritt 42 werden nutzerspezifische initiale Nutzer-Kalibrationsdaten ermittelt. Die Nutzer-Kalibrationsdaten werden mittels einer Beobachtung zumindest eines bewegten realen Kalibrationsobjekts 44 (vgl. 4) durch die Weltkamera 46 der Datenbrille 12 und eine zeitgleiche Messung der Vergenz des dem bewegten realen Kalibrationsobjekt 44 folgenden und auf das bewegte reale Kalibrationsobjekt 44 fokussierten Nutzer-Auges 18, 18' durch die LFI-Sensoranordnung 26 der Datenbrille 12 oder durch die Augenbeobachtungs-Kamera 32 der Datenbrille 12 ermittelt. Das reale Kalibrationsobjekt 44 ist in der 4 beispielhaft als ein Finger des Nutzers 54 ausgebildet. Zur Ermittlung der Nutzer-Kalibrationsdaten, insbesondere eines nutzerspezifischen Vergenzverhaltens werden in dem Nutzer-Kalibrationsschritt 42 bekannte geometrische Parameter des bewegten realen Kalibrationsobjekts 44 bei verschiedenen Lagen und Abständen 62, 62' des bewegten realen Kalibrationsobjekts 44 von der Weltkamera 46 ausgewertet und gleichzeitig den gemessenen Vergenzen zugeordnet. Alternativ könnten mittels eines Stereosystems und/oder eines strukturierten Lichtsystems 48 der Datenbrille 12 verschiedene Lagen und Abstände 62, 62' des bewegten realen Kalibrationsobjekts 44 von der Weltkamera 46 ermittelt und gleichzeitig den gemessenen Vergenzen zugeordnet werden. Der bekannte geometrische Parameter ist im Beispiel des Fingers eine Breite eines Fingernagels des Fingers. In dem Nutzer-Kalibrationsschritt 42 wird das reale Kalibrationsobjekt 44 zudem in den verschiedenen Abständen 62, 62' von der Weltkamera 46 jeweils in eine zu einer Bildebene 50 der Weltkamera 46 zumindest im Wesentlichen parallelen Abstandsebene 52 bewegt. Dabei wird die Bewegung des realen Kalibrationsobjekts 44 in dem Nutzer-Kalibrationsschritt 42 manuell von dem Nutzer 54 vorgenommen. In dem Nutzer-Kalibrationsschritt 42 wird zudem die Bewegung des realen Kalibrationsobjekts 44 durch die Weltkamera 46 überwacht und anhand der dabei erfassten Überwachungsdaten Bewegungsvorgaben und/oder Bewegungsbefehle ermittelt. In dem Nutzer-Kalibrationsschritt 42 werden zudem die ermittelten Bewegungsbefehle akustisch und/oder optisch von der Datenbrille 12 an den Nutzer 54 ausgegeben.
In zumindest einem alternativen oder zusätzlichen Nutzer-Kalibrationsschritt 56 werden die initialen Nutzer-Kalibrationsdaten mittels einer Einblendung eines bewegten virtuellen Kalibrationsobjekts durch die virtuelle Netzhautanzeige der Datenbrille 12 und eine zeitgleiche Messung der Vergenz des dem bewegten virtuellen Kalibrationsobjekt 44 folgenden und auf das bewegte virtuelle Kalibrationsobjekt 44 fokussierten Nutzer-Auges 18, 18' durch die LFI-Sensoranordnung 26 der Datenbrille 12 oder durch die Augenbeobachtungs-Kamera 32 der Datenbrille 12 ermittelt. In dem alternativen Nutzer-Kalibrationsschritt 56 wird das virtuelle Kalibrationsobjekt durch die Anzeige der Datenbrille 12 in verschiedenen, z.B. durch ein (nicht dargestelltes) optisches System der Datenbrille 12 erzeugten, Fokusabständen dargestellt und bewegt.
In zumindest einem Verfahrensschritt 20 wird eine momentane Listing-Ebene 16 (vgl. 5b) des Nutzer-Auges 18 gemessen. In dem Verfahrensschritt 20 wird die momentane Listing-Ebene 16 zumindest anhand einer Messung einer Drehachse 14 (vgl. 5a und 5b) einer Bewegung des Nutzer-Auges 18 mittels der LFI-Sensoranordnung 26 ermittelt. In dem Verfahrensschritt 20 wird eine Oberflächengeschwindigkeit des Nutzer-Auges 18 mittels der LFI-Sensoranordnung 26 der Datenbrille 12 erfasst und zur Bestimmung der Drehachse 14 ausgewertet. In dem Verfahrensschritt 20 wird die momentane Listing-Ebene 16 zumindest anhand einer Messung einer Startposition 28 (vgl. 6) einer Bewegung des Nutzer-Auges 18 um die Drehachse 14 mittels der LFI-Sensoranordnung 26 der Datenbrille 12 oder mittels der Augenbeobachtungs-Kamera 32 der Datenbrille 12 ermittelt. In dem Verfahrensschritt 20 wird die momentane Listing-Ebene 16 zumindest anhand einer Messung einer Endposition 30 (vgl. 6) der Bewegung des Nutzer-Auges 18 um die Drehachse 14 mittels der LFI-Sensoranordnung 26 der Datenbrille 12 oder mittels der Augenbeobachtungs-Kamera 32 der Datenbrille 12 ermittelt. In dem Verfahrensschritt 20 wird aus der erfassten Drehachse 14 der Bewegung des Nutzer-Auges 18 und aus den erfassten Start- und Endpositionen 28, 30 der Bewegung des Nutzer-Auges 18 eine Bewegungstrajektorie 34, 34' (vgl. 6) der Bewegung des Nutzer-Auges 18 ermittelt. In dem Verfahrensschritt 20 wird die Oberflächengeschwindigkeit des Nutzer-Auges 18 mittels der LFI-Sensoranordnung 26 der Datenbrille 12 erfasst und zur Bestimmung der Bewegungstrajektorie 34, 34' ausgewertet.
In zumindest einem weiteren Verfahrensschritt 22 wird anhand der gemessenen momentanen Listing-Ebene 16 des Nutzer-Auges 18 eine momentane Vergenz des Nutzer-Auges 18 ermittelt. In dem weiteren Verfahrensschritt 22 wird die momentane Vergenz anhand eines Listing-Ebenen-Winkels 36 (vgl. 5b) zwischen der gemessenen momentanen Listing-Ebene 16 und einer initial bestimmten und/oder kalibrierten Listing-Ebene 38 zu einer Primärposition 40 des ins Unendliche blickenden Nutzer-Auges 18 ermittelt. In dem weiteren Verfahrensschritt 22 wird die momentane Vergenz aus einer bekannten, im Vorfeld kalibrierten, Kennlinie, in welcher Vergenzen über Listing-Ebenen-Winkel 36 aufgetragen sind, ausgelesen.
In zumindest einem zusätzlichen weiteren Verfahrensschritt 24 wird aus der ermittelten momentanen Vergenz des Nutzer-Auges 18 die nutzerspezifische momentane Fokustiefe 10, 10', 10'' des Nutzer-Auges 18 ermittelt. In dem zusätzlichen weiteren Verfahrensschritt 24 wird die nutzerspezifische momentane Fokustiefe 10, 10', 10'' des Nutzer-Auges 18 unter einer Anwendung der einem der Nutzer-Kalibrationsschritte 42, 56 oder der in den beiden initialen Nutzer-Kalibrationsschritten 42, 56 ermittelten Nutzer-Kalibrationsdaten, durch welche unterschiedliche Vergenzen mit unterschiedlichen nutzerspezifischen Fokus-tiefen 10, 10', 10'' des Nutzer-Auges 18 verknüpft sind, ermittelt.
In zumindest einem weiteren Verfahrensschritt 70 wird die initiale Kalibrierung aus den Nutzer-Kalibrationsschritten 42, 56 kontinuierlich nachgeführt. Dies ist beispielsweise während eines Lesens von Inhalten in verschiedenen Abstandsebenen 52, 52' denkbar, um z.B. vorteilhaft eine Nachführung der Kalibrierfunktion beim Verrutschen der Datenbrille 12 zu ermöglichen. Denkbare Anwendungen des vorbeschriebenen Verfahrens sind beispielsweise eine Manipulation eines Nutzerinterfaces (Ul) der Datenbrille 12 bei einem Einzelaugenverfolgungssystem, redundante Messungen der Fokustiefen 10 im Stereosystem zur Berücksichtigung von Fehlsichtigkeiten, wie z.B. Nystagmus oder Schielen oder eine Adaption der virtuellen Netzhautanzeige der Datenbrille 12, z.B. eines VR-Headsets, auf Augenstellung (Augenfehlstellung).
Die 4 zeigt eine schematische Seitenansicht der Datenbrille 12 und des realen Kalibrationsobjekts 44 während des Nutzer-Kalibrationsschritts 42. Beispielhaft sind zwei verschiedene Abstände 62, 62' des realen Kalibrationsobjekts 44 von der Datenbrille 12 dargestellt.
Die 5a zeigt schematisch das ins Unendliche blickende Nutzer-Auge 18 und die zugehörige (unverkippte) Listing-Ebene 38. In der Listing-Ebene 38 liegen alle möglichen Drehachsen 14 des Nutzer-Auges 18 von Bewegungen des Nutzer-Auges 18 aus der ins Unendliche blickenden Augenstellung heraus. In der 5a befindet sich das Nutzer-Auge 18 in der Primärposition 40. Die Primärposition 40 ist durch den auf der Listing-Ebene 38 senkrecht stehenden in der 5a eingezeichneten Vektor gekennzeichnet. Bei dem Blick ins Unendliche entspricht der Vektor der Primärposition 40 einer Blickrichtung 64 des Nutzer-Auges 18.
Die 5b zeigt schematisch eine momentane Listing-Ebene 16 eines nicht ins unendliche blickenden Nutzer-Auges 18, d.h. eines fokussierten Nutzer-Auges 18. Die momentane Listing-Ebene 16 ist im Vergleich zu der Listing-Ebene 38 des ins Unendliche blickenden Auges 18 verkippt. Ein Kippwinkel der Verkippung der Listing-Ebene 16 im Vergleich zu der Listing-Ebene 38 der Primärposition 40 beträgt die Hälfte des Winkels zwischen der Blickrichtung 64' des fokussierten Auges 18 und der Primärposition 40 (dem die Primärposition 40 auszeichnenden Vektor). In der momentanen Listing-Ebene 16 des fokussierten Nutzer-Auges 18 liegen alle möglichen Drehachsen 14' von von diesem Punkt ausgehenden Augenbewegungen. Die Listing-Ebene 16 des fokussierten Nutzer-Auges 18 bildet eine Halbwinkelebene des Winkels zwischen der Blickrichtung 64' des fokussierten Nutzer-Auges 18 und der Blickrichtung 64 des ins Unendliche blickenden Nutzer-Auges 18.
Die 6 visualisiert schematisch beispielhafte Bewegungstrajektorien 34, 34' von Nutzer-Augen 18 mit unterschiedlichen Primärpositionen 40, 40'. Die Drehachsen 14, 14' sind unterschiedlich in Abhängigkeit von der zugehörigen Primärposition 40, 40'. Die Bewegungstrajektorien 34, 34' sind unterschiedlich in Abhängigkeit von der zugehörigen Primärposition 40, 40'. Im dargestellten Fall liegen die Augenmittelpunkte 66 der beiden Primärpositionen 40, 40' übereinander. Die Rotationen der zugehörigen Nutzer-Augen 18 erfolgen jeweils um den Augenmittelpunkt 66. Im Fall der ersten Bewegungstrajektorie 34 entspricht die Primärposition 40 dem Ausgangspunkt der Bewegung entlang der Bewegungstrajektorie 34 und der Blickrichtung 64 des ins Unendliche blickenden Nutzer-Auges 18. Aus der zugehörigen Drehachse 14 folgt die Bewegungstrajektorie 34 zum Zielpunkt 68 der Bewegung des Nutzer-Auges 18. Die Bewegungstrajektorie 34 entspricht in diesem Fall der Orthodrome des als kugelförmig angenommenen Nutzer-Auges 18. Im Fall der zweiten Bewegungstrajektorie 34' entspricht die Primärposition 40' nicht dem Ausgangspunkt der Bewegung entlang der Bewegungstrajektorie 34'. Der Ausgangspunkt der Bewegung entlang der beiden dargestellten Bewegungstrajektorien 34, 34' ist jedoch identisch. In dem Fall der zweiten Bewegungstrajektorie 34' liegt die Drehachse 14' in der Halbwinkelebene (Winkelhalbierendenebene) zwischen der Primärposition 40' und dem Ausgangspunkt der Bewegung entlang der zweiten Bewegungstrajektorie 34'. Folglich beschreibt die zweite Bewegungstrajektorie 34' einen anderen Weg, um denselben Zielpunkt 68 zu erreichen wie die erste Bewegungstrajektorie 34. Folglich ändert sich abhängig von der Vergenz der Nutzer-Augen 18 und damit den Primärpositionen 40, 40' die Bewegungstrajektorie 34, 34' für die gleichen Ausgangspunkte und die gleichen Zielpunkte 68.

Claims

Verfahren zu einer Bestimmung einer momentanen Fokustiefe (10, 10', 10'') eines Nutzers (54) einer Datenbrille (12), insbesondere zumindest mittels eines Einzelaugenverfolgungssystems, wobei in zumindest einem Verfahrensschritt (20) eine momentane Listing-Ebene (16) eines Nutzer-Auges (18, 18') gemessen wird, wobei in zumindest einem weiteren Verfahrensschritt (22) anhand der gemessenen momentanen Listing-Ebene (16) des Nutzer-Auges (18, 18') eine momentane Vergenz des Nutzer-Auges (18, 18') ermittelt wird, und wobei in zumindest einem zusätzlichen weiteren Verfahrensschritt (24) aus der ermittelten momentanen Vergenz des Nutzer-Auges (18, 18') die nutzerspezifische momentane Fokustiefe (10, 10', 10'') des Nutzer-Auges (18, 18') ermittelt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Verfahrensschritt (20) die momentane Listing-Ebene (16) zumindest anhand einer Messung einer Drehachse (14) einer Bewegung des Nutzer-Auges (18, 18'), insbesondere mittels einer Laser-Feedback-Interferometrie (LFI)-Sensoranordnung (26), ermittelt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in dem Verfahrensschritt (20) die momentane Listing-Ebene (16) zumindest anhand einer Messung einer Startposition (28) einer Bewegung des Nutzer-Auges (18, 18') um die Drehachse (14) und/oder anhand einer Messung einer Endposition (30) einer Bewegung des Nutzer-Auges (18, 18') um die Drehachse (14), insbesondere mittels einer Laser-Feedback-Interferometrie (LFI)-Sensoranordnung (26) der Datenbrille (12) oder mittels einer Augenbeobachtungs-Kamera (32) der Datenbrille (12), ermittelt wird.
Verfahren nach den Ansprüchen 2 und 3, dadurch gekennzeichnet, dass in dem Verfahrensschritt (20) aus der erfassten Drehachse (14) der Bewegung des Nutzer-Auges (18, 18') und aus den erfassten Start- und Endpositionen (28, 30) der Bewegung des Nutzer-Auges (18, 18') eine Bewegungstrajektorie (34, 34') der Bewegung des Nutzer-Auges (18, 18') ermittelt wird.
Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass in dem Verfahrensschritt (20) eine Oberflächengeschwindigkeit, insbesondere eine Oberflächenrotationsgeschwindigkeit, des Nutzer-Auges (18, 18') mittels der LFI-Sensoranordnung (26) der Datenbrille (12) erfasst und zur Bestimmung der Drehachse (14) und/oder der Bewegungstrajektorie (34, 34') ausgewertet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem weiteren Verfahrensschritt (22) die momentane Vergenz anhand eines Listing-Ebenen-Winkels (36) zwischen der gemessenen momentanen Listing-Ebene (16) und einer, insbesondere initial bestimmten und/oder kalibrierten, Listing-Ebene (38) zu einer Primärposition (40) eines ins Unendliche blickenden Nutzer-Auges (18, 18') ermittelt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in dem weiteren Verfahrensschritt (22) die momentane Vergenz aus einer bekannten, insbesondere im Vorfeld kalibrierten, Kennlinie, in welcher Vergenzen über Listing-Ebenen-Winkel (36) aufgetragen sind, ausgelesen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem zusätzlichen weiteren Verfahrensschritt (24) die nutzerspezifische momentane Fokustiefe (10, 10', 10'') des Nutzer-Auges (18, 18') unter einer Anwendung von initialen Nutzer-Kalibrationsdaten, durch welche unterschiedliche Vergenzen mit unterschiedlichen nutzerspezifischen Fokustiefen (10, 10', 10'') des Nutzer-Auges (18, 18') verknüpft sind, ermittelt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass in einem dem zusätzlichen weiteren Verfahrensschritt (24) zeitlich voranstehenden Nutzer-Kalibrationsschritt (42) die initialen Nutzer-Kalibrationsdaten mittels einer Beobachtung zumindest eines bewegten realen Kalibrationsobjekts (44) durch eine Weltkamera (46) der Datenbrille (12) und eine zeitgleiche Messung der Vergenz des dem bewegten realen Kalibrationsobjekt (44) folgenden und auf das bewegte reale Kalibrationsobjekt (44) fokussierten Nutzer-Auges (18, 18') durch eine LFI-Sensoranordnung (26) der Datenbrille (12) oder eine Augenbeobachtungs-Kamera (32) der Datenbrille (12) ermittelt werden, insbesondere indem bekannte geometrische Parameter des bewegten realen Kalibrationsobjekts (44) bei verschiedenen Lagen und Abständen (62, 62`) des bewegten realen Kalibrationsobjekts (44) von der Weltkamera (46) ausgewertet und gleichzeitig den gemessenen Vergenzen zugeordnet werden und/oder indem mittels eines Stereosystems und/oder eines strukturierten Lichtsystems (48) verschiedene Lagen und Abstände (62, 62`) des bewegten realen Kalibrationsobjekts (44) von der Weltkamera (46) ermittelt und gleichzeitig den gemessenen Vergenzen zugeordnet werden.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass in dem Nutzer-Kalibrationsschritt (42) das reale Kalibrationsobjekt (44) in verschiedenen Abständen (62, 62`) von der Weltkamera (46) jeweils in zu einer Bildebene (50) der Weltkamera (46) zumindest im Wesentlichen parallelen Abstandsebene (52) bewegt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Bewegung des realen Kalibrationsobjekts (44) in dem Nutzer-Kalibrationsschritt (42) manuell von dem Nutzer (54) vorgenommen wird, wobei die Bewegung des realen Kalibrationsobjekts (44) durch die Weltkamera (46) überwacht wird und anhand der dabei erfassten Überwachungsdaten Bewegungsvorgaben und/oder Bewegungsbefehle ermittelt und akustisch und/oder optisch von der Datenbrille (12) an den Nutzer (54) ausgegeben werden.
Verfahren nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass in einem dem zusätzlichen weiteren Verfahrensschritt (24) zeitlich voranstehenden alternativen oder zusätzlichen Nutzer-Kalibrationsschritt (56) die initialen Nutzer-Kalibrationsdaten mittels einer Einblendung eines bewegten virtuellen Kalibrationsobjekts durch eine Anzeige der Datenbrille (12) und eine zeitgleiche Messung der Vergenz des dem bewegten virtuellen Kalibrationsobjekt (44) folgenden und auf das bewegte virtuelle Kalibrationsobjekt (44) fokussierten Nutzer-Auges (18, 18') durch eine LFI-Sensoranordnung (26) der Datenbrille (12) oder eine Augenbeobachtungs-Kamera (32) der Datenbrille (12) ermittelt werden.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass in dem alternativen oder zusätzlichen Nutzer-Kalibrationsschritt (56) das virtuelle Kalibrationsobjekt durch die Anzeige der Datenbrille (12) in verschiedenen, insbesondere durch ein optisches System der Datenbrille (12) erzeugten, Fokusabständen dargestellt und bewegt wird.
Rechnereinheit (58) zu einer Bestimmung einer momentanen Fokustiefe (10, 10', 10'') eines Nutzers (54) einer Datenbrille, wobei die Rechnereinheit (58) zumindest dazu eingerichtet ist, anhand einer, insbesondere zumindest mittels eines Einzelaugenverfolgungssystems, gemessenen momentanen Listing-Ebene (16) eines Nutzer-Auges (18, 18') eine momentane Vergenz des Nutzer-Auges (18, 18') zu ermitteln, und wobei die Rechnereinheit (58) zumindest dazu eingerichtet ist, aus der ermittelten momentanen Vergenz des Nutzer-Auges (18, 18') die nutzerspezifische momentane Fokustiefe (10, 10', 10'') des Nutzer-Auges (18, 18') zu ermitteln.
Datenbrille (12) mit zumindest einer internen oder externen Rechnereinheit (58), insbesondere nach dem Anspruch 14, und mit einer Laser-Feedback-Interferometrie (LFI)-Sensoranordnung (26), dadurch gekennzeichnet, dass die Datenbrille (12), insbesondere die Rechnereinheit (58), zumindest zu einer Bestimmung einer momentanen Fokustiefe (10, 10', 10'') eines Nutzers (54) der Datenbrille (12) mittels eines Verfahrens nach einem der Ansprüche 1 bis 13 eingerichtet ist.