[go: up one dir, main page]

WO2024061654A1 - Verfahren und vorrichtung zur ermittlung einer brillenpose einer datenbrille mithilfe eines outside-in tracking - Google Patents

Verfahren und vorrichtung zur ermittlung einer brillenpose einer datenbrille mithilfe eines outside-in tracking Download PDF

Info

Publication number
WO2024061654A1
WO2024061654A1 PCT/EP2023/074726 EP2023074726W WO2024061654A1 WO 2024061654 A1 WO2024061654 A1 WO 2024061654A1 EP 2023074726 W EP2023074726 W EP 2023074726W WO 2024061654 A1 WO2024061654 A1 WO 2024061654A1
Authority
WO
WIPO (PCT)
Prior art keywords
glasses
data
pose
type
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2023/074726
Other languages
English (en)
French (fr)
Inventor
Manfred Pauli
Tobias Bauernfeind
Alan Keim
Wolfgang HABERL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to EP23768814.8A priority Critical patent/EP4591294A1/de
Publication of WO2024061654A1 publication Critical patent/WO2024061654A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to data glasses, particularly for use in mobile devices.
  • the invention further relates to measures for tracking a glasses pose based on a pose recognition system external to the glasses.
  • Data glasses also called head-mounted displays
  • a display device can display an image on one or two display surfaces in the field of vision of the wearer of the data glasses.
  • the display surfaces can correspond to reflective surfaces that direct images into the eyes of the wearer of the data glasses.
  • the viewing openings of the data glasses are transparent, so that the real environment can be perceived in the usual way through the data glasses.
  • the display surfaces are located in the viewing openings, so that information to be displayed, such as text, symbols, graphics, video displays and the like, can be displayed overlaying the perception of the surroundings.
  • the information is usually presented to the wearer of the data glasses as information objects in a contact-like manner, i.e. presented in such a way that these information objects are superimposed on a specific assigned object in the real environment or are oriented to this or that the information object to be displayed is in a specific orientation of the data glasses or whose carrier is displayed.
  • a contact-like manner On the display surfaces of the data glasses, it is necessary to know the position of the object in the environment and the user's viewing direction.
  • the user's viewing direction is permanently assigned to their pose, ie the 3D position as well as the 3D orientation of the data glasses.
  • the glasses pose of the data glasses can be determined by an external pose recognition device, in which an interior camera is directed at the head of the wearer of the data glasses and the data glasses and determines the glasses pose of the data glasses by evaluating the camera image.
  • the interior camera is usually an infrared camera to enable good coverage of the area of the data glasses even in poor lighting conditions.
  • Such a tracking method is called outside-in tracking and is usually based on a data-based pose recognition model, which is designed as a data-based pattern or object recognition model.
  • the pose recognition model can be designed in a manner known per se as an artificial neural network or the like and can be trained to assign one or more camera images on which data glasses are displayed to a glasses pose using a per se known pattern recognition method.
  • the glasses pose has a reference to a vehicle coordinate system, which is considered the reference reference system.
  • This glasses pose is then transmitted to the data glasses so that a contact-like display of an information object can be made.
  • the glasses pose provided externally to the glasses is often improved using sensor data fusion with detections from motion sensors internal to the glasses in order to provide glasses pose information that is as latency-free as possible in the data glasses.
  • the data-based pose recognition model can be trained to determine the glasses pose from a camera image in which one is on a user's head data glasses worn are shown.
  • Such pose recognition models are trained with training data sets that reflect reality in the best possible way.
  • data glasses for use in a vehicle are offered by different manufacturers and have individual, slightly different shapes, which are characterized by different shapes of the lenses, the frame, the color of the frame and the like.
  • This requires pose recognition models, which are based on pattern recognition based on the camera image, to recognize the different characteristics of the data glasses in order to reliably determine a glasses pose. To do this, the different types of data glasses from different manufacturers must be taken into account when training the pose recognition model.
  • a pose recognition model must be trained with the different glasses shapes from different manufacturers in order to enable reliable pose determination.
  • This task is achieved by the method for determining a glasses pose of data glasses in a mobile device using a data-based model system according to claim 1 and by the method for training a model system with a glasses type recognition model for the individual glasses type recognition of data glasses and a variety of pose recognition models for a pose determination of the data glasses solved according to the independent claim.
  • a method for determining a pose of at least one pair of data glasses in an interior of a mobile device is provided, with the following steps;
  • a data-based glasses type recognition model based on the captured camera image in order to determine a respective glasses type for at least one data glasses depicted in the camera image, the data-based glasses type recognition model being trained to assign a camera image to a respective glasses type of one or more data glasses;
  • the model system includes a glasses type recognition model, which first searches the camera image for data glasses located thereon and assigns a type of glasses depending on a shape and/or other characteristics of a recognized data glasses.
  • the glasses type recognition model therefore only needs to be trained to recognize data glasses of a certain type of glasses and to assign them to the recognized glasses type.
  • a corresponding pose recognition model can be selected from a large number of data-based pose recognition models, each assigned to a specific type of glasses, and then can be used to determine a glasses pose of the data glasses shown.
  • the data-based pose recognition model is trained precisely on the specific type of glasses and therefore does not take other types or shapes of glasses into account. Since only one type of glasses is used to train the data-based pose recognition model, i.e. H. a specific form of data glasses must be taken into account, this corresponding pose recognition model can be simpler and less complex and requires a smaller number of training data sets for training, which only take poses of the specific type of glasses into account.
  • the implementation for evaluating such a pose recognition model is also less complex.
  • a bounding box of the data glasses recognized in each case can be determined using the glasses type recognition model at the same time as the glasses type recognition, with the respective pose recognition model being applied to a section of the camera image that is determined by the bounding box.
  • the glasses type recognition model can determine a bounding box and thus enable a search space restriction, so that the pose recognition model is selected by specifying the glasses type and can then perform the pose determination in a simpler manner in a corresponding section of the captured camera image by specifying the search frame.
  • the pose of the at least one data glasses is transmitted to the respective data glasses, so that a contact-analog display can be displayed in the respective data glasses depending on their pose.
  • model parameters of the selected pose recognition model can be retrieved from a database and implemented to provide the corresponding pose recognition model.
  • the database can be located in a cloud, ie outside the mobile device.
  • a device for determining a pose of at least one pair of data glasses is provided in an interior of a mobile device, comprising: an interior camera that is designed to capture a camera image of an interior of the mobile device; a processor unit which is designed to evaluate a data-based glasses type recognition model based on the captured camera image in order to determine a respective glasses type for at least one data glasses depicted in the camera image, wherein the data-based glasses type recognition model is trained to assign a camera image to a respective one to assign the glasses type to one or more data glasses; o to select one of several data-based pose recognition models depending on the respective type of glasses recognized, the data-based pose recognition models each being trained on a specific type of glasses in order to determine a glasses pose of the corresponding data glasses depending on the camera image; and o to determine the glasses pose of the data glasses of the corresponding glasses type based on the selected pose recognition model.
  • a communication unit can be designed to transmit the glasses pose to the data glasses.
  • Figure 1 shows a display system with data glasses for use in a vehicle
  • Figure 2 shows a flowchart to illustrate a method for pose recognition of data glasses in an interior of a vehicle
  • Figure 3 different shapes of data glasses.
  • Figure 1 shows a schematic representation of a display system 1, particularly for use in a motor vehicle.
  • the display system 1 includes an assistance system 2, which is in communication connection 4 with data glasses 3.
  • the communication connection 4 is designed as a data transmission channel, for example in the form of a wireless communication connection or a wired communication connection.
  • the communication connection 4 is able to transmit any type of data and information between the assistance system 2 and the data glasses 3, for example based on packet-bound data transmission.
  • the communication connection 4 can be based, for example, on WiFi, Bluetooth, Bluetooth Low Energy or a comparable standardized radio protocol.
  • the assistance system 2 can be part of a vehicle assistance system and, in particular, can be provided in a stationary manner in the motor vehicle.
  • the assistance system 2 can be equipped with a communication unit 21, which enables the communication connection 4 between data glasses 3 and the assistance system 2.
  • the assistance system 2 can also be provided with an interior camera 22 as a camera aimed at the data glasses 3, which points to a likely area of the head of a user/wearer of the data glasses 3 is directed.
  • the interior camera 22 can z. B. include an RGB camera or an infrared camera.
  • the assistance system 2 can have a processor unit 23.
  • the processor unit 23 can implement a data-based model system, which is described in more detail below.
  • the model system includes a glasses type recognition model and a plurality of pose recognition models, each of which is trained to determine a glasses pose based on a camera image from the interior camera 22. The glasses pose is then transmitted to the data glasses 3 via the communication unit 21.
  • object information is generated which indicates the corresponding object position, object content and object type of the representation of the at least one virtual display object in the data glasses 3.
  • the data glasses 3 comprise two transparent viewing panes 32 which are enclosed in a frame 31 in a manner known per se.
  • the frame 31 is provided with temples 33 so that the data glasses 3 can be worn on the head of a user in a manner known per se.
  • One or both viewing panes 32 are furthermore provided with a transparent display surface 35, through which a display image for displaying virtual display objects is brought into the eye of the wearer of the data glasses 3 by a suitable device, such as a display device 36 arranged on the frame 31 can be projected.
  • the display device 36 can have a microprocessor or a comparable computing unit and a display unit, such as a projection device or the like.
  • the display unit can be designed to direct the electronically generated display image onto the display surface 35 and to image/display it there.
  • the electronically generated image can reflect the real environment that can be perceived through the display surface 35 overlay (represent augmented).
  • a virtual display object such as text, a symbol, video information, a graphic or the like, can be displayed on one or both display surfaces 35.
  • the object information defines the object position and representation of the at least one virtual display object in relation to the motor vehicle, ie in the vehicle coordinate system (reference system of the motor vehicle).
  • the data glasses 3 can be provided with a control unit 37.
  • the control unit 37 can be designed separately or together with the microprocessor of the display device 36.
  • the control unit 37 can be designed in a suitable manner to carry out or support data glasses functions and functions of the display system 1.
  • the assistance system 2 can be connected to the data glasses 3 in order to transmit the object information regarding virtual display objects to be displayed in a contact-analog or non-contact-analog manner and the glasses pose determined externally of the glasses in relation to the vehicle coordinate system to the data glasses 3.
  • the data glasses 3 can include a communication unit 39, which enables communication with the assistance system 2, in particular to detect a glasses pose ui determined externally to the glasses.
  • control unit 37 can read out movement information using a glasses inertial sensor system 38.
  • the movement information can be used to correct the latency information of the glasses pose determined externally of the glasses by sensor fusion and to provide a corrected glasses pose in the data glasses 3. This can then be used to display information objects in a contact-like manner.
  • Figure 2 schematically illustrates a method for pose recognition of data glasses 3 in a vehicle as a mobile device using a flowchart.
  • the pose recognition is carried out remotely and in particular in the assistance system 2.
  • the model system consists of a glasses type recognition model and a large number of glasses each assigned to a type of glasses Pose recognition models are stored in a database of the assistance system 2 in the form of model parameters.
  • the method initially provides for a camera image to be captured using the interior camera 22 in step S1.
  • this camera image is checked or searched for one or more data glasses.
  • a glasses type of at least one data glasses can be recognized in the camera image based on predetermined glasses shapes of data glasses, as shown, for example, in Figures 3a to 3c.
  • the type of glasses of the at least one data glasses 3 can be classified in the camera image, which is worn by one or more users in the vehicle.
  • the glasses type recognition model can be designed as an artificial neural network, in particular as a convolutional neural network (CNN), in order to recognize the type of glasses based on the shape of the glasses or the characteristics of the data glasses 3.
  • CNN convolutional neural network
  • a corresponding position in the interior of the vehicle can be recognized where the respective data glasses 3 are located, for example in the form of a bounding box that surrounds the recognized data glasses. This makes it possible to provide information about the at least one position of the at least one data glasses 3.
  • a pose recognition model trained on exactly this type of glasses is selected from a plurality of pose recognition models each assigned to a type of glasses.
  • the pose recognition model is also data-based and makes it possible to determine a pose of the data glasses 3 of the specific type of glasses based on one or more camera images in the interior of the vehicle.
  • the pose of the data glasses 3 is specified in relation to a vehicle coordinate system.
  • a pose of the data glasses 3 can be determined in a manner known per se using the respectively selected pose recognition model based on the camera image.
  • the selected pose recognition model can carry out the pose determination more reliably and quickly, since the search area in the camera image can be limited to the bounding box.
  • the previously selected pose recognition model can now be used continuously to determine the glasses pose.
  • the type of glasses is only determined when data glasses are recognized in the camera image for the first time.
  • the recognition of the type of glasses can be carried out regularly, so that in the event of a change, a correspondingly different pose recognition model can be selected immediately.
  • the glasses type can be determined if the pose recognition model was unable to determine a glasses pose of the data glasses 3 for a predetermined period of time, such as 5 seconds.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Pose mindestens einer Datenbrille in einem Innenraum einer mobilen Einrichtung, mit folgenden Schritten; - Erfassen eines Kamerabilds eines Innenraums der mobilen Einrichtung; - Auswerten eines datenbasierten Brillentyp-Erkennungsmodells basierend auf dem erfassten Kamerabild, um einen jeweiligen Brillentyp für mindestens eine in dem Kamerabild abgebildete Datenbrille zu bestimmen, wobei das datenbasierte Brillentyp-Erkennungsmodell trainiert ist, um ein Kamerabild einem jeweiligen Brillentyp einer oder mehrerer Datenbrillen zuzuordnen; - Jeweiliges Auswählen eines von mehreren datenbasierten Posenerkennungsmodellen abhängig von dem jeweils erkannten Brillentyp, wobei die datenbasierten Posenerkennungsmodelle jeweils auf einen Brillentyp trainiert sind, um eine Brillenpose der entsprechenden Datenbrille abhängig von dem Kamerabild zu bestimmen; - Jeweiliges Bestimmen der Brillenpose der Datenbrille des entsprechenden Brillentyps anhand des ausgewählten Posenerkennungsmodells.

Description

Beschreibung
Verfahren und Vorrichtung zur Ermittlung einer Brillenpose einer Datenbrille mithilfe eines Outside-In Tracking
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in mobilen Einrichtungen. Die Erfindung betrifft weiterhin Maßnahmen zum Nachverfolgen einer Brillenpose basierend auf einem brillenexternen Posenerkennungssystem.
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Bei sogenannten Augmented-Reality Datenbrillen können die Anzeigeflächen Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
Die Informationen werden dem Träger der Datenbrille in der Regel als Informationsobjekte kontaktanalog dargestellt, d.h. so dargestellt, dass diese Informationsobjekte einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass das anzuzeigende Informationsobjekt in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Um die Informationsobjekte entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
Die Brillenpose der Datenbrille kann durch eine externe Posenerkennungseinrichtung bestimmt werden, bei der eine Innenraumkamera auf den Kopf des Trägers der Datenbrille und die Datenbrille gerichtet ist und durch Auswertung des Kamerabildes die Brillenpose der Datenbrille ermittelt. Die Innenraumkamera ist in der Regel eine Infrarotkamera, um auch bei schlechten Lichtverhältnissen eine gute Erfassung des Bereichs der Datenbrille zu ermöglichen. Ein solches Tracking-Verfahren wird Outside-in-Tracking genannt und basiert in der Regel auf einem datenbasierten Posenerkennungsmodell, das als datenbasiertes Muster bzw. Objekterkennungsmodell ausgebildet ist.
Das Posenerkennungsmodell kann in an sich bekannter Weise als künstliches neuronales Netz oder dergleichen ausgebildet sein und trainiert sein, ein oder mehrere Kamerabilder, auf dem/denen eine Datenbrille dargestellt wird, mithilfe eines an sich bekannten Mustererkennungsverfahrens einer Brillenpose zuzuordnen. Die Brillenpose weist einen Bezug zu einem Fahrzeugkoordinatensystem auf, das als Referenzbezugssystem gilt. Diese Brillenpose wird anschließend an die Datenbrille übermittelt, so dass eine kontaktanaloge Anzeige eines Informationsobjekts vorgenommen werden kann. Diesbezüglich wird die von brillenextern bereitgestellte Brillenpose häufig mithilfe einer Sensordatenfusion mit Erfassungen von brilleninternen Bewegungssensoren verbessert, um eine möglichst latenzfreie Brillenposeninformation in der Datenbrille zur Verfügung zu stellen.
Zur Erkennung der Brillenpose von Datenbrillen aus Kamerabildern kann das datenbasiertes Posenerkennungsmodell trainiert werden, die Brillenpose aus einem Kamerabild zu ermitteln, auf dem eine am Kopf eines Benutzers getragene Datenbrille abgebildet ist. Derartige Posenerkennungsmodelle werden mit Trainingsdatensätzen trainiert, die die Realität bestmöglich abbilden. Datenbrillen für den Einsatz in einem Fahrzeug werden jedoch von verschiedenen Herstellern angeboten und weisen individuelle, leicht verschiedene Formen auf, die in unterschiedlichen Formen der Brillengläser, des Rahmens, der Farbe des Rahmens und dergleichen ausgeprägt sind. Dies erfordert von Posenerkennungsmodellen, die auf einer Mustererkennung basierend auf dem Kamerabild beruhen, dass diese die verschiedenen Ausprägungen der Datenbrillen erkennen, um eine Brillenpose zuverlässig zu ermitteln. Dazu müssen bereits beim Training des Posenerkennungsmodells die unterschiedlichen Datenbrillenformen verschiedener Hersteller berücksichtigt werden.
Daher muss ein Posenerkennungsmodell mit den unterschiedlichen Brillenformen der verschiedenen Hersteller trainiert werden, um eine zuverlässige Posenbestimmung zu ermöglichen.
Es ist Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Ermitteln einer Brillenpose basierend auf einem Posenerkennungsmodell zur Verfügung zu stellen, das in einfacher Weise zu trainieren ist und eine verringerte Komplexität aufweist.
Diese Aufgabe wird durch das Verfahren zum Bestimmen einer Brillenpose einer Datenbrille in einer mobilen Einrichtung mithilfe eines datenbasierten Modellsystems gemäß Anspruch 1 sowie durch das Verfahren zum Trainieren eines Modellsystems mit einem Brillentyp-Erkennungsmodell für die individuelle Brillentyp-Erkennung einer Datenbrille und einer Vielzahl von Posenerkennungsmodellen für eine Posenbestimmung der Datenbrille gemäß dem nebengeordneten Anspruch gelöst.
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben. Gemäß einem ersten Aspekt ist ein Verfahren zur Bestimmung einer Pose mindestens einer Datenbrille in einem Innenraum einer mobilen Einrichtung vorgesehen, mit folgenden Schritten;
Erfassen eines Kamerabilds eines Innenraums der mobilen Einrichtung, insbesondere mithilfe einer Innenraumkamera;
Auswerten eines datenbasierten Brillentyp-Erkennungsmodells basierend auf dem erfassten Kamerabild, um einen jeweiligen Brillentyp für mindestens eine in dem Kamerabild abgebildete Datenbrille zu bestimmen, wobei das datenbasierte Brillentyp-Erkennungsmodell trainiert ist, um ein Kamerabild einem jeweiligen Brillentyp einer oder mehrerer Datenbrillen zuzuordnen;
Jeweiliges Auswahlen eines von mehreren datenbasierten Posenerkennungsmodellen abhängig von dem jeweils erkannten Brillentyp, wobei die datenbasierten Posenerkennungsmodelle jeweils auf einen Brillentyp trainiert sind, um eine Brillenpose der entsprechenden Datenbrille abhängig von dem Kamerabild zu bestimmen;
Jeweiliges Bestimmen der Brillenpose der Datenbrille des entsprechenden Brillentyps anhand des ausgewählten Posenerkennungsmodells.
Eine Idee des obigen Verfahrens besteht darin, ein Modellsystem bereitzustellen, das eine Brillenpose einer Datenbrille in einem Innenraum einer mobilen Einrichtung mithilfe einer brillenexternen Innenraumkamera bestimmt. Das Modellsystem umfasst dazu ein Brillentyp-Erkennungsmodell, das zunächst das Kamerabild bezüglich darauf befindlichen Datenbrillen durchsucht und abhängig von einer Form und/oder sonstigen Ausprägung einer erkannten Datenbrille einen Brillentyp zuordnet. Das Brillentyp-Erkennungsmodell muss daher lediglich dafür trainiert sein, eine Datenbrille eines bestimmten Brillentyps zu erkennen und diese dem erkannten Brillentyp zuzuordnen. Abhängig von dem erkannten Brillentyp kann ein entsprechendes Posenerkennungsmodell aus einer Vielzahl von jeweils einem bestimmten Brillentyp zugeordneten datenbasierten Posenerkennungsmodellen ausgewählt und anschließend verwendet werden, um eine Brillenpose der dargestellten Datenbrille zu ermitteln.
Das datenbasierte Posenerkennungsmodell ist dabei genau auf den bestimmten Brillentyp trainiert und berücksichtigt daher andere Brillentypen bzw. Brillenformen nicht. Da für das Training des datenbasierten Posenerkennungsmodells lediglich nur ein Brillentyp, d. h. eine bestimmte Form der Datenbrille, berücksichtigt werden muss, kann dieses entsprechende Posenerkennungsmodell einfacher und weniger komplex aufgebaut sein und benötigt zum Training entsprechend eine geringere Anzahl von Trainingsdatensätzen, die lediglich Posen des bestimmten Brillentyps berücksichtigen. Auch ist die Implementierung zur Auswertung eines solchen Posenerkennungsmodells weniger aufwändig.
Gemäß einer weiteren Ausführungsform kann mithilfe des Brillentyp- Erkennungsmodells weiterhin gleichzeitig mit der Brillentyperkennung eine Bounding-Box der jeweils erkannten Datenbrille bestimmt wird, wobei das jeweilige Posenerkennungsmodell auf einen Ausschnitt des Kamerabilds angewendet wird, der durch die Bounding-Box bestimmt ist.
Somit kann das Brillentyp-Erkennungsmodell eine Bounding-Box ermitteln und damit eine Suchraumbeschränkung ermöglichen, so dass das Posenerkennungsmodell durch Vorgabe des Brillentyps ausgewählt wird und anschließend durch Vorgabe des Suchrahmens die Posenermittlung in einfacherer Weise in einem entsprechenden Ausschnitt des erfassten Kamerabilds durchführen kann.
Es kann vorgesehen sein, dass die Pose der mindestens einen Datenbrille an die jeweilige Datenbrille übermittelt wird, so dass in der jeweiligen Datenbrille abhängig von deren Pose eine kontaktanaloge Anzeige darstellbar ist.
Weiterhin können Modellparameter des jeweils ausgewählten Posenerkennungsmodells aus einer Datenbank abgerufen und implementiert werden, um das entsprechende Posenerkennungsmodell bereitzustellen. Die Datenbank kann sich in einer Cloud, d.h. außerhalb der mobilen Einrichtung befinden.
Gemäß einem weiteren Aspekt ist eine Vorrichtung zur Bestimmung einer Pose mindestens einer Datenbrille in einem Innenraum einer mobilen Einrichtung vorgesehen, umfassend: eine Innenraumkamera, die ausgebildet ist, um ein Kamerabild eines Innenraums der mobilen Einrichtung zu erfassen; eine Prozessoreinheit, die ausgebildet ist, o um ein datenbasiertes Brillentyp-Erkennungsmodell basierend auf dem erfassten Kamerabild auszuwerten, um einen jeweiligen Brillentyp für mindestens eine in dem Kamerabild abgebildete Datenbrille zu bestimmen, wobei das datenbasierte Brillentyp- Erkennungsmodell trainiert ist, um ein Kamerabild einem jeweiligen Brillentyp einer oder mehrerer Datenbrillen zuzuordnen; o um jeweils eines von mehreren datenbasierten Posenerkennungsmodellen abhängig von dem jeweils erkannten Brillentyp auszuwählen, wobei die datenbasierten Posenerkennungsmodelle jeweils auf einen bestimmten Brillentyp trainiert sind, um eine Brillenpose der entsprechenden Datenbrille abhängig von dem Kamerabild zu bestimmen; und o jeweils die Brillenpose der Datenbrille des entsprechenden Brillentyps anhand des ausgewählten Posenerkennungsmodells zu bestimmen.
Weiterhin kann eine Kommunikationseinheit ausgebildet sein, um die Brillenpose an die Datenbrille zu übermitteln.
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen: Figur 1 ein Anzeigesystem mit einer Datenbrille zur Verwendung in einem Fahrzeug;
Figur 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Posenerkennung einer Datenbrille in einem Innenraum eines Fahrzeugs; und
Figur 3 verschiedene Brillenformen von Datenbrillen.
Figur 1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Assistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Assistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
Das Assistenzsystem 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Kraftfahrzeug vorgesehen sein. Das Assistenzsystem 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und dem Assistenzsystem 2 ermöglicht.
Das Assistenzsystem 2 kann weiterhin mit einer Innenraumkamera 22 als einer auf die Datenbrille 3 gerichteten Kamera versehen sein, die auf einen wahrscheinlichen Bereich eines Kopfes eines Benutzers/Trägers der Datenbrille 3 gerichtet ist. Die Innenraumkamera 22 kann z. B. eine RGB-Kamera oder eine Infrarot-Kamera umfassen.
Das Assistenzsystem 2 kann eine Prozessoreinheit 23 aufweisen. Die Prozessoreinheit 23 kann ein datenbasiertes Modellsystem implementieren, das nachfolgend näher beschrieben wird. Das Modellsystem umfasst ein Brillentyp- Erkennungsmodell und eine Vielzahl von Posenerkennungsmodellen, die jeweils trainiert sind, um basierend auf einem Kamerabild der Innenraumkamera 22 eine Brillenpose zu ermitteln. Die Brillenpose wird dann über die Kommunikationseinheit 21 an die Datenbrille 3 übermittelt.
Zur Darstellung in der Datenbrille 3 wird eine Objektinformation generiert, die entsprechend Objektposition, Objektinhalt und Objektart der Darstellung des mindestens einen virtuellen Anzeigeobjekts in der Datenbrille 3 angibt.
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Anzeigeobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern (augmentiert darstellen). Mithilfe der Anzeigeeinrichtung 36 kann ein virtuelles Anzeigeobjekt, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden. Die Objektinformation definiert die Objektposition und Darstellung des mindestens einen virtuellen Anzeigeobjekts in Bezug auf das Kraftfahrzeug, d.h. in dem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann separat ausgebildet sein oder gemeinsam mit dem Mikroprozessor der Anzeigeeinrichtung 36 ausgebildet sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann das Assistenzsystem 2 mit der Datenbrille 3 in Verbindung stehen, um die Objektinformation betreffend kontaktanalog oder nicht-kontaktanalog anzuzeigenden virtuellen Anzeigeobjekten und die brillenextern in Bezug zu dem Fahrzeugkoordinatensystem ermittelte Brillenpose an die Datenbrille 3 zu übermitteln. Dazu kann die Datenbrille 3 eine Kommunikationseinheit 39 umfassen, die eine Kommunikation mit dem Assistenzsystem 2 ermöglicht, um insbesondere eine brillenextern ermittelte Brillenpose ui erfassen.
Beispielsweise kann die Steuereinheit 37 eine Bewegungsinformation mithilfe einer Brilleninertialsensorik 38 auslesen. Die Bewegungsinformation kann verwendet werden, um die latenzbehaftete Information der brillenextern ermittelten Brillenpose durch Sensorfusion zu korrigieren und eine korrigierte Brillenpose in der Datenbrille 3 bereitzustellen. Diese kann dann zur kontaktanalogen Anzeige von Informationsobjekten verwendet werden.
Figur 2 veranschaulicht schematisch anhand eines Flussdiagramms ein Verfahren zur Posenerkennung einer Datenbrille 3 in einem Fahrzeug als mobile Einrichtung. Die Posenerkennung wird brillenfern und insbesondere in dem Assistenzsystem 2 ausgeführt. Das Modellsystem aus Brillentyp- Erkennungsmodell und einer Vielzahl jeweils einem Brillentyp zugeordneten Posenerkennungsmodelle ist in Form von Modellparametern in einer Datenbank des Assistenzsystems 2 hinterlegt.
Das Verfahren sieht zunächst vor, in Schritt S1 ein Kamerabild mithilfe der Innenraumkamera 22 zu erfassen.
In Schritt S2 wird dieses Kamerabild nach einer oder mehreren Datenbrillen überprüft bzw. durchsucht. Mithilfe eines Bilderkennungsverfahrens bzw. Mustererkennungsverfahrens in Form des datenbasierten Brillentyp- Erkennungsmodells kann ein Brillentyp mindestens einer Datenbrille in dem Kamerabild erkannt werden basierend auf vorgegebenen Brillenformen von Datenbrillen, wie sie beispielsweise in den Figuren 3a bis 3c dargestellt sind. Mithilfe des implementierten Mustererkennungsverfahrens kann somit der Brillentyp der mindestens einen Datenbrille 3 in dem Kamerabild klassifiziert werden, der von einem oder mehreren Nutzern in dem Fahrzeug getragen wird.
Das Brillentyp-Erkennungsmodell kann als künstliches neuronales Netz, insbesondere als konvolutionelles neuronales Netz (CNN) ausgebildet sein, um den bri llentyp anhand der Brillenform oder der Ausprägung der Datenbrille 3 zu erkennen.
Zusätzlich kann mithilfe des Brillentyp-Erkennungsmodells eine entsprechende Position im Innenraum des Fahrzeugs erkannt werden, an der sich die jeweilige Datenbrille 3 befindet, z.B. in Form einer Bounding Box, die die erkannte Datenbrille umgibt. Dies ermöglicht es, eine Angabe zu der mindestens einen Position der mindestens einen Datenbrille 3 zur Verfügung zu stellen.
In einem nachfolgenden Schritt S3 wird abhängig von dem erkannten Brillentyp jeweils ein auf genau diesen Brillentyp trainiertes Posenerkennungsmodell aus einer Vielzahl jeweils einem Brillentyp zugeordneten Posenerkennungsmodellen ausgewählt. Das Posenerkennungsmodell ist ebenfalls datenbasiert ausgebildet und ermöglicht es, anhand eines oder mehrerer Kamerabilder eine Pose der Datenbrille 3 des bestimmten Brillentyps im Innenraum des Fahrzeugs zu ermitteln. Die Pose der Datenbrille 3 wird dabei bezogen auf ein Fahrzeugkoordinatensystem angegeben.
In Schritt S4 kann eine Pose der Datenbrille 3 mithilfe des jeweils ausgewählten Posenerkennungsmodells basierend auf dem Kamerabild in an sich bekannter Weise bestimmt werden.
Unter Vorgabe der Bounding Box für die bestimmte Datenbrille des entsprechenden Brillentyps kann das jeweils ausgewählte Posenerkennungsmodell die Posenermittlung zuverlässiger und schneller durchführen, da der Suchbereich im Kamerabild auf die Bounding Box eingeschränkt werden kann.
Das zuvor ausgewählte Posenerkennungsmodell kann nun im Folgenden kontinuierlich für die Ermittlung der Brillenpose benutzt werden.
Es kann vorgesehen sein, dass die Bestimmung des Brillentyps nur dann vorgenommen wird, wenn eine Datenbrille erstmalig in dem Kamerabild erkannt wird. Alternativ kann die Erkennung des Brillentyps regelmäßig durchgeführt werden, so dass bei einer Änderung unmittelbar ein entsprechend anderes Posenerkennungsmodell ausgewählt werden kann. Insbesondere kann die Bestimmung des Brillentyps dann vorgenommen werden, wenn das Posenerkennungsmodell für eine vorbestimmte Zeitdauer, wie z.B. von 5 Sekunden, keine Brillenpose der Datenbrille 3 ermitteln konnte.
Bezugszeichenliste
Anzeigesystem
Assistenzsystem
Datenbrille
Kommunikationsverbindung
Kommunikationseinheit
Innenraumkamera
Prozessoreinheit
Rahmen
Sichtscheiben
Brillenbügel
Anzeigefläche
Anzeigeeinrichtung
Steuereinheit
Brilleninertialsensorik
Kommunikationseinheit

Claims

Ansprüche Verfahren zur Bestimmung einer Pose mindestens einer Datenbrille (3) in einem Innenraum einer mobilen Einrichtung, mit folgenden Schritten:
- Erfassen (S1 ) eines Kamerabilds eines Innenraums der mobilen Einrichtung;
- Auswerten (S2) eines datenbasierten Brillentyp-Erkennungsmodells basierend auf dem erfassten Kamerabild, um einen jeweiligen Brillentyp für mindestens eine in dem Kamerabild abgebildete Datenbrille zu bestimmen, wobei das datenbasierte Brillentyp- Erkennungsmodell trainiert ist, um ein Kamerabild einem jeweiligen Brillentyp einer oder mehrerer Datenbrillen zuzuordnen;
- Jeweiliges Auswahlen (S3) eines von mehreren datenbasierten Posenerkennungsmodellen abhängig von dem jeweils erkannten Brillentyp, wobei die datenbasierten Posenerkennungsmodelle jeweils auf einen Brillentyp trainiert sind, um eine Brillenpose der entsprechenden Datenbrille abhängig von dem Kamerabild zu bestimmen;
- Jeweiliges Bestimmen (S4) der Brillenpose der Datenbrille (3) des entsprechenden Brillentyps anhand des ausgewählten Posenerkennungsmodells. Verfahren nach Anspruch 1 , wobei mithilfe des Brillentyp- Erkennungsmodells weiterhin eine Bounding-Box der jeweils erkannten Datenbrille (3) bestimmt wird, wobei das jeweilige Posenerkennungsmodell auf einen Ausschnitt des Kamerabilds angewendet wird, der durch die Bounding-Box bestimmt ist. Verfahren nach Anspruch 1 oder 2, wobei die Pose der mindestens einen Datenbrille (3) an die jeweilige Datenbrille (3) übermittelt wird, so dass in der jeweiligen Datenbrille abhängig von deren Pose eine kontaktanaloge Anzeige darstellbar ist. Verfahren nach einem der Ansprüche 1 bis 3, wobei Modellparameter des jeweils ausgewählten Posenerkennungsmodells aus einer Datenbank abgerufen und implementiert werden, um das entsprechende Posenerkennungsmodell bereitzustellen. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Modellparameter des Posenerkennungsmodells abhängig von einem erkannten Brillentyp von einer Cloud-Datenbank abgerufen werden. Vorrichtung zur Bestimmung einer Pose mindestens einer Datenbrille (3) in einem Innenraum einer mobilen Einrichtung, umfassend:
- eine Innenraumkamera (22), die ausgebildet ist, um ein Kamerabild eines Innenraums der mobilen Einrichtung zu erfassen;
- eine Prozessoreinheit (23), die ausgebildet ist, o um ein datenbasiertes Brillentyp-Erkennungsmodell basierend auf dem erfassten Kamerabild auszuwerten, um einen jeweiligen Brillentyp für mindestens eine in dem Kamerabild abgebildete Datenbrille zu bestimmen, wobei das datenbasierte Brillentyp-Erkennungsmodell trainiert ist, um ein Kamerabild einem jeweiligen Brillentyp einer oder mehrerer Datenbrillen zuzuordnen; o um jeweils eines von mehreren datenbasierten Posenerkennungsmodellen abhängig von dem jeweils erkannten Brillentyp auszuwählen, wobei die datenbasierten Posenerkennungsmodelle jeweils auf einen bestimmten Brillentyp trainiert sind, um eine Brillenpose der entsprechenden Datenbrille abhängig von dem Kamerabild zu bestimmen; und o jeweils die Brillenpose der Datenbrille (3) des entsprechenden Brillentyps anhand des ausgewählten Posenerkennungsmodells zu bestimmen. Vorrichtung nach Anspruch 6, wobei eine Kommunikationseinheit (21 ) ausgebildet ist, um die Brillenpose an die Datenbrille (3) zu übermitteln.
PCT/EP2023/074726 2022-09-21 2023-09-08 Verfahren und vorrichtung zur ermittlung einer brillenpose einer datenbrille mithilfe eines outside-in tracking Ceased WO2024061654A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP23768814.8A EP4591294A1 (de) 2022-09-21 2023-09-08 Verfahren und vorrichtung zur ermittlung einer brillenpose einer datenbrille mithilfe eines outside-in tracking

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022124273.0 2022-09-21
DE102022124273.0A DE102022124273A1 (de) 2022-09-21 2022-09-21 Verfahren und Vorrichtung zur Ermittlung einer Brillenpose einer Datenbrille mithilfe eines Outside-In Tracking

Publications (1)

Publication Number Publication Date
WO2024061654A1 true WO2024061654A1 (de) 2024-03-28

Family

ID=88020958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/074726 Ceased WO2024061654A1 (de) 2022-09-21 2023-09-08 Verfahren und vorrichtung zur ermittlung einer brillenpose einer datenbrille mithilfe eines outside-in tracking

Country Status (3)

Country Link
EP (1) EP4591294A1 (de)
DE (1) DE102022124273A1 (de)
WO (1) WO2024061654A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2058761B1 (de) * 2007-11-07 2011-12-28 Mitsubishi Electric Corporation Verfahren und System zur Bestimmung der dreidimensionalen Position eines Objekts in einer Szene
US20220113546A1 (en) * 2020-10-14 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft System and Method for Capturing a Spatial Orientation of a Wearable Device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2058761B1 (de) * 2007-11-07 2011-12-28 Mitsubishi Electric Corporation Verfahren und System zur Bestimmung der dreidimensionalen Position eines Objekts in einer Szene
US20220113546A1 (en) * 2020-10-14 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft System and Method for Capturing a Spatial Orientation of a Wearable Device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHOI JOON KOO: "Visual Object Perception in Unstructured Environments", 22 August 2014 (2014-08-22), XP093097440, Retrieved from the Internet <URL:https://people.ece.umn.edu/~cchoi/thesis/thesis_cchoi_chref.pdf> [retrieved on 20231102] *
HERNSOO HAHN ET AL: "Recognition of 3D Object Using Attributed Relation Graph of Silhouette's Extended Convex Hull", 1 January 2006, ADVANCES IN VISUAL COMPUTING LECTURE NOTES IN COMPUTER SCIENCE;;LNCS, SPRINGER, BERLIN, DE, PAGE(S) 126 - 135, ISBN: 978-3-540-48626-8, XP019050829 *

Also Published As

Publication number Publication date
EP4591294A1 (de) 2025-07-30
DE102022124273A1 (de) 2024-03-21

Similar Documents

Publication Publication Date Title
EP2157903B1 (de) Verfahren zur wahrnehmungsmessung
EP2987057B1 (de) Verfahren zum auswählen einer informationsquelle aus einer mehrzahl von informationsquellen zur anzeige auf einer anzeige einer datenbrille
EP3164756B1 (de) Lokalisierung eines hmd im fahrzeug
DE102022113343A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems in einer mobilen Einrichtung mit einer Datenbrille
WO2018077520A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
WO2022218698A1 (de) Verfahren und vorrichtung zur posenbestimmung in einer datenbrille
DE102019103360A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019105216A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
EP4591294A1 (de) Verfahren und vorrichtung zur ermittlung einer brillenpose einer datenbrille mithilfe eines outside-in tracking
WO2016184972A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
EP3568737B1 (de) Verfahren zum betreiben eines anzeigesystems mit einer datenbrille in einem kraftfahrzeug
DE102023108110A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer oder mehreren Datenbrillen in einem Fahrzeug
DE102023122867A1 (de) Verfahren und Vorrichtung zum Justieren einer Innenraumkamera für ein Outside-in Tracking einer Datenbrille
DE102022107297A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einer mobilen Einrichtung zur Anzeige von umgebungsbezogenen Anzeigeobjekten
WO2015155030A1 (de) Bestimmung der pose einer datenbrille im fahrzeug
DE102016225082A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102022115867A1 (de) Verfahren und Vorrichtung zum Trainieren eines Posenerkennungsmodells zur Erkennung einer Brillenpose einer Datenbrille in einer mobilen Einrichtung
DE102016225265A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102020129068A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille
DE102019112189A1 (de) Verfahren und Vorrichtung zur Anzeige eines Informationsobjektes in einer Augmented-Reality-Datenbrille
DE102019119532A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
DE102019102423A1 (de) Verfahren zur Live-Annotation von Sensordaten
DE102014202712A1 (de) Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen
DE102023118551A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23768814

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023768814

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023768814

Country of ref document: EP

Effective date: 20250422

WWP Wipo information: published in national office

Ref document number: 2023768814

Country of ref document: EP