[go: up one dir, main page]

DE102006006001B3 - Method and arrangement for inserting location-related information into a visual representation or view of a scene - Google Patents

Method and arrangement for inserting location-related information into a visual representation or view of a scene Download PDF

Info

Publication number
DE102006006001B3
DE102006006001B3 DE102006006001A DE102006006001A DE102006006001B3 DE 102006006001 B3 DE102006006001 B3 DE 102006006001B3 DE 102006006001 A DE102006006001 A DE 102006006001A DE 102006006001 A DE102006006001 A DE 102006006001A DE 102006006001 B3 DE102006006001 B3 DE 102006006001B3
Authority
DE
Germany
Prior art keywords
scene
measuring system
distance
distance measuring
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102006006001A
Other languages
German (de)
Inventor
Didier Dr. Ing. Stricker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority to DE102006006001A priority Critical patent/DE102006006001B3/en
Priority to PCT/EP2007/001108 priority patent/WO2007090660A1/en
Application granted granted Critical
Publication of DE102006006001B3 publication Critical patent/DE102006006001B3/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene (1), insbesondere Augmented Reality. Ein Abstands-Messsystem wird mit einer Darstellungseinrichtung (10) zur visuellen Darstellung der eingeblendeten Informationen verbunden. Von dem Abstands-Messsystem (11) wird elektromagnetische Strahlung auf die Szene (1) eingestrahlt, sodass die Szene (1) zumindest einen Teil der elektromagnetischen Strahlung in Richtung des Abstands-Messsystems (11) reflektiert. Von dem Abstands-Messsystem (11) werden wiederholt Bilder der von der Szene (1) reflektierten Strahlung aufgenommen und aus den Bildern Informationen werden jeweils über einen Abstand einer Mehrzahl von Elementen der Szene (1) gewonnen. Aus den Abstands-Informationen wird eine Position und Orientierung des Abstands-Messsystems (11) und/oder der Darstellungseinrichtung (10) in Bezug auf die Szene (1) ermittelt.The invention relates to a method and an arrangement for fading in location-related information in a visual representation or view of a scene (1), in particular augmented reality. A distance measuring system is connected to a display device (10) for the visual display of the information displayed. The distance measuring system (11) radiates electromagnetic radiation onto the scene (1) so that the scene (1) reflects at least part of the electromagnetic radiation in the direction of the distance measuring system (11). The distance measuring system (11) repeatedly records images of the radiation reflected from the scene (1) and information is obtained from the images in each case about a distance between a plurality of elements of the scene (1). A position and orientation of the distance measuring system (11) and / or the display device (10) in relation to the scene (1) is determined from the distance information.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene.The The invention relates to a method and an arrangement for fading location-related information in a visual representation or view a scene.

Die Erfindung betrifft insbesondere das technische Gebiet der Augmented Reality (AR).The The invention relates in particular to the technical field of augmented Reality (AR).

AR soll z.B. als neue Form der Interaktion von Mensch mit Maschine eingesetzt werden. Dabei können dem Anwender (Mensch) Informationen in sein Sichtfeld eingeblendet werden, so dass sie lagerichtig in der betrachteten Szene erscheinen. Die Informationen sind ortsbezogen mit der Szene verknüpft. Beispielsweise können Teile der Szene (etwa einzelne Komponenten einer Maschine) farblich markiert sein und/oder zugehöriger Text dargestellt werden. Bei einer konkreten Anwendung der AR wird z.B. während der Ausführung von Wartungs- oder Montagearbeiten der Servicetechniker bzw. Monteur dadurch unterstützt, dass Informationen zu den einzelnen Arbeitsschritten eingeblendet werden. Eine besondere Problematik von AR-Anwendungen liegt in dem so genannten Tracking der Bewegung des Menschen bzw. der Darstellungseinrichtung, die die eingeblendeten ortsbezogenen Informationen visuell darstellt. Bei der Darstellungseinrichtung kann es sich beispielsweise um eine teilweise transparente Datenbrille oder um ein ortsbewegliches Display (z.B. eines Hand-Held-Gerätes) handeln. Das Tracking ist erforderlich, um die ortsbezogene Information abhängig von der jeweiligen Position und Orientierung (insbesondere abhängig von der Blickrichtung des Anwenders oder der Orientierung des Displays) lagerichtig einblenden zu können. Der Anwender und/oder die Darstellungseinrichtung sollen bewegt werden können und dennoch soll die ortsbezogene Information lagerichtig dargestellt werden können.AR should e.g. as a new form of human-machine interaction be used. It can the user (human) information in his field of view so that they appear in the correct position in the viewed scene. The information is linked to the scene by location. For example can Parts of the scene (about individual components of a machine) in color be marked and / or associated Text will be presented. In a concrete application of the AR, e.g. while the execution of maintenance or installation work of the service technician or mechanic thereby support that information about the individual work steps appears become. A particular problem of AR applications lies in the so-called tracking of the movement of the person or the presentation device, which visualizes the displayed location-related information. The presentation device may be, for example, a partially transparent smart glasses or a portable display (e.g. a hand-held device) act. Tracking is required to get the location-related information dependent from the respective position and orientation (in particular depending on the viewing direction of the user or the orientation of the display) in the correct position to be able to show. The user and / or the presentation device should be moved can and yet the location-related information is displayed in the correct position can be.

Beispielsweise kann eine AR-Anordnung daher eine Kamera aufweisen, die mit der Darstellungseinrichtung so verbunden ist, dass beide während der Anwendung keine wesentlichen Bewegungen relativ zueinander ausführen können. Ferner kann eine beispielsweise kleine, tragbare Rechnereinheit vorgesehen sein, die die von der Kamera aufgenommenen Signale verarbeitet und das Einblenden der Informationen durch die Darstellungseinrichtung steuert. Dabei kann die Darstellungseinrichtung je nach Anwendung transparent sein (z.B. im Fall der Datenbrille, durch die der Anwender die Szene hindurch betrachten kann) oder zusätzlich zu den ortsbezogenen Zusatzinformationen auch ein Bild der Szene darstellen (z.B. im Fall des tragbaren Displays). Derartige Systeme, bei denen die Kamera mit der Darstellungseinrichtung verbunden ist, stellen einen Fortschritt gegenüber früheren Tracking-Systemen dar, die mit stationären Kameras oder anderen stationären Sensoren zum Verfolgen der Bewegung der Darstellungseinrichtung ausgestaltet waren.For example Therefore, an AR arrangement may have a camera compatible with the Representation device is connected so that both during the application can not perform any significant movements relative to each other. Further For example, a small, portable computer unit may be provided which processes the signals recorded by the camera and the display of the information by the presentation device controls. In this case, the presentation device depending on the application be transparent (e.g., in the case of data glasses, by which the user watch the scene) or in addition to the location-based Additional information may also be an image of the scene (e.g. Case of the portable display). Such systems where the camera connected to the display device, make progress across from earlier Tracking systems using stationary cameras or other stationary sensors designed to track the movement of the presentation device were.

Die Systeme mit den mitbewegten Kameras ermöglichen einen in der Regel wesentlich größeren Aktionsradius und sind weniger abhängig davon, dass der Aktionsraum, in dem die Anwendung ausgeführt werden soll, speziell vorbereitet ist. Allerdings sind auch Systeme mit mitbewegten Kameras derzeit noch nicht unabhängig von ihrem Umfeld. Üblicherweise werden spezielle Marker in der Umgebung angebracht, die von der Kamera erfasst werden, um das Tracking zu ermöglichen. Reine bildbasierte Trackingverfahren, die ohne Marker in der Szene auskommen und lediglich aus dem erfassten zweidimensionalen Bild sowohl Position als auch Orientierung im Raum berechnen, sind noch Gegenstand der Forschung. Derzeit ist die Berechnung der Kameraposition und -orientierung in der Regel noch numerisch instabil. Außerdem sind die Ergebnisse rauschempfindlich und häufig ungenau hinsichtlich der Identifizierung und Lokalisierung von Bildmerkmalen der Szene.The Systems with moving cameras usually allow one much larger range of action and are less dependent that the action space in which the application is running should, is specially prepared. However, systems are also included still moving cameras not yet independent of their environment. Usually special markers are placed in the area, which are used by the Camera can be detected to enable tracking. Pure image-based Tracking methods that manage without markers in the scene and only from the captured two-dimensional image both position and Calculating orientation in space are still the subject of research. Currently, the calculation of the camera position and orientation usually still numerically unstable. Besides, the results are sensitive to noise and frequent inaccurate regarding the identification and localization of image features the scene.

Der Artikel mit dem Titel „Augmented Reality for manufacturing planning" von F. Doil u. a., veröffentlicht in: ACM International Conference Proceeding Series; Vol. 39, 2003, Seiten 71–76, abrufbar im Internet unter der URL: http://portal.acm.org/citation.cfm?id=769962&jmp=citings&coll=&dl=acm&CFID =15151515&CFTOKEN=6184618 (Abrufdatum 12. Dezember 2006) beschreibt ein AR-System zum Planen einer Fabrik. Durch Verwendung einer intuitiven Benutzerschnittstelle soll der Planer verschiedene Produktionssysteme oder -Einrichtungen direkt der Fabrikhalle visualisieren. Die Visualisierung soll kontextabhängig sein und mit der realen Umgebung kongruent sein. Daher wird ein HMD (Head-Mounted Display) verwendet. Ein Marker-basiertes optisches Trackingsystem registriert die notwendigen Marker in der realen Umgebung. Jeder Marker kann einem verschiedenen virtuellen Objekt zugeordnet werden. Die Zuordnung wird durch ein einfaches Menü bewirkt, um die erforderliche Flexibilität zu unterstützen. Durch Verschieben eines Markers werden die virtuellen Elemente in der Szene bewegt. Gemäß Abschnitt 5.5 hat der Planer zusätzliche Informationen zu erfassen, während er die Fabrik besichtigt. Ein Beispiel ist die Aufgabe der Messung von Entfernungen oder Positionen von Maschinen. Um dieses zu unterstützen, ist eine einfache Messroutine in das System integriert. Um die gewünschte Entfernung zu messen, wählt der Benutzer des Systems zwei Punkte in einem Live-Video. Diese Punkte können entweder Punkte auf dem virtuellen Inhalt oder in der realen Umgebung sein. Das System ermittelt die Koordinaten der Punkte in Bezug auf das Koordinatensystem des Markers. Dann berechnet es die relative Entfernung der Punkte. Die implementierte Funktion kann verwendet werden, um grobe Schätzungen der geometrischen Proportionen und Entfernungen in der Fabrikumgebung zu erfassen.The article entitled "Augmented Reality for Manufacturing Planning" by F. Doil et al., Published in: ACM International Conference Proceeding Series; Vol. 39, 2003, pages 71-76, available on the Internet at the URL: http: // portal .acm.org / citation.cfm? id = 769962 & jmp = citings & coll = & dl = acm & CFID = 15151515 & CFTOKEN = 6184618 (Retrieved December 12, 2006) describes an AR system for planning a factory, using an intuitive user interface to enable the planner to run various production systems or The visualization should be context-sensitive and congruent with the real environment, so an HMD (Head-Mounted Display) is used.A marker-based optical tracking system registers the necessary markers in the real environment Assigned by a simple menu to support the flexibility required. Moving a marker moves the virtual elements in the scene. As per section 5.5 The planner has to gather additional information while visiting the factory. An example is the task of measuring distances or positions of machines. To support this, a simple measuring routine is integrated into the system. To measure the desired distance, the user of the system selects two points in a live video. These points can either be points on the virtual content or in the real environment. The system determines the coordinates of the points with respect to the marker's coordinate system. Then it calculates the relative distance of the points. The implemented function can be used to rough Estimates of geometric proportions and distances in the factory environment.

DE 101 16 331 A1 beschreibt ein AR-System mit mehreren Interaktionsgeräten. DE 101 16 331 A1 describes an AR system with multiple interaction devices.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene anzugeben, die eine genaue und stabile Berücksichtigung einer Bewegung der Darstellungseinrichtung und/oder des Anwenders in Bezug auf die Szene ermöglichen. Dabei soll auf eine spezielle Vorbereitung der Szene für das Tracking möglichst verzichtet werden können.It is an object of the present invention, a method and a Arrangement for inserting location-related information into a visual representation or view a scene that is accurate and stable consideration a movement of the presentation device and / or the user with respect to the scene. It should focus on a special preparation of the scene for tracking preferably can be dispensed with.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des beigefügten Patentanspruchs 1 und durch eine Anordnung mit den Merkmalen des beigefügten Patentanspruchs 7 gelöst.The The object is achieved by a method having the features of the appended patent claim 1 and by an arrangement having the features of the attached patent claim 7 solved.

Es wird vorgeschlagen, den Abstand von Elementen der Szene zu einer Messeinrichtung oder der Darstellungseinrichtung zu messen und daraus die momentane Position und Orientierung für das Einblenden der ortsbezogenen Informationen zu ermitteln. Insbesondere kann zur Messung des Abstandes eine speziell ausgestaltete Kamera verwendet werden. Vorzugsweise reicht dazu eine einzige Kamera aus. Die Verwendung einer stereotaktischen Anordnung mit zumindest zwei Kameras ist nicht erforderlich. Bei den Elementen der Szene handelt es sich z.B. um Bereiche, die einzelnen Pixeln einer digitalen Kamera bzw. eines Bildes einer digitalen Kamera entsprechen oder um Bereiche, die mehreren Pixeln des Bildes bzw. der Kamera entsprechen.It It is suggested that the distance of elements of the scene to one Measuring device or the display device to measure and from the current position and orientation for showing the location-related To determine information. In particular, to measure the distance a specially designed camera can be used. Preferably enough for a single camera. The use of a stereotactic arrangement with at least two cameras is not required. At the elements the scene is e.g. around areas, the individual pixels a digital camera or an image of a digital camera correspond or to areas that are multiple pixels of the image or correspond to the camera.

Auf diese Weise kann ein Bild mit zusätzlicher Tiefeninformation der Szene gewonnen werden. Insbesondere enthalten die von der Kamera gelieferten Bilddaten bereits (örtlich) dreidimensionale Positionsinformationen über die Szene. Mit diesen Informationen ist es möglich, die momentane Position und Orientierung der Kamera und/oder eines mit der Kamera verbundenen Gegenstandes (insbesondere der Darstellungseinrichtung zur visuellen Darstellung der eingeblendeten ortsbezogenen Informationen) zu ermitteln. Insbesondere wird vorgeschlagen, als Kamera des Abstands-Messsystems eine so genannte Flugdistanz-Kamera (Time-of-Flight Camera) zu verwenden. Derartige Kameras sind beispielsweise aus US 2004/0008394 A1 bekannt. Der Inhalt dieser US-Patentanmeldung wird hiermit vollinhaltlich als Ausführungsbeispiel für eine Flugdistanz-Kamera in die vorliegende Beschreibung aufgenommen. Insbesondere kann die Flugdistanz-Kamera wie ab Absatz 78 bis Absatz 90 auf Seite 6 der US-Anmeldung beschrieben ausgestaltet sein. Weiterhin kann die Tiefeninformation bzw. Information über den Abstand zu den Elementen der Szene wie in Absatz 95, Absatz 96 oder Absatz 97 der US-Anmeldung beschrieben aus den von der Flugdistanz-Kamera gewonnenen Bilddaten und Zusatzinformationen über die Zeitabhängigkeit der für die Beleuchtung der Szene verwendeten Strahlung ermittelt werden.In this way, an image with additional depth information of the scene can be obtained. In particular, the image data provided by the camera already contain (locally) three-dimensional position information about the scene. With this information, it is possible to determine the current position and orientation of the camera and / or of an object connected to the camera (in particular of the display device for the visual presentation of the displayed location-related information). In particular, it is proposed to use a so-called flight distance camera (time-of-flight camera) as the camera of the distance measuring system. Such cameras are known for example from US 2004/0008394 A1. The content of this US patent application is hereby incorporated by reference in its entirety as an exemplary embodiment of a flying distance camera in the present description. In particular, the flight distance camera as from paragraph 78 to paragraph 90 on page 6 of the US application. Furthermore, the depth information or information about the distance to the elements of the scene as in paragraph 95 , Paragraph 96 or paragraph 97 The US application described from the image obtained by the flight distance camera image data and additional information about the time dependence of the radiation used for the illumination of the scene are determined.

Weiterhin wird der Inhalt des folgenden Dokuments bezüglich der Beschreibung eines möglichen Ausführungsbeispiels einer Flugdistanz-Kamera in die vorliegende Beschreibung aufgenommen: T. Oggier, M. Lehmann et al., „3D Time-of-Flight Camera Demonstrator", veröffentlicht als CSEM Scientific and Technical Report 2003 im Internet unter http://www.csem.ch/corporate/Report2003/pdf/p45.pdf, veröffentlicht durch CSEM, Rue Jaquet-Droz 1, CH-2007 Neuchâtel, Schweiz. Insbesondere wird der Inhalt des einseitigen Dokuments bezüglich dem Aufbau der Kamera mit Beleuchtungseinheit und bezüglich der Auswertung der von der Kamera gelieferten Signale in diese Beschreibung mit aufgenommen.Farther becomes the content of the following document regarding the description of a potential embodiment a flying distance camera included in the present description: T. Oggier, M. Lehmann et al., "3D Time-of-Flight Camera Demonstrator ", published as CSEM Scientific and Technical Report 2003 on the Internet at http://www.csem.ch/corporate/Report2003/pdf/p45.pdf, released by CSEM, Rue Jaquet-Droz 1, CH-2007 Neuchâtel, Switzerland. Especially becomes the content of the one-page document regarding the construction of the camera Lighting unit and re the evaluation of the signals supplied by the camera in this description recorded with.

Insbesondere wird Folgendes vorgeschlagen:
Ein Verfahren zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene, insbesondere Augmented Reality Verfahren, wobei

  • – ein Abstands-Messsystem mit einer Darstellungseinrichtung zur visuellen Darstellung der eingeblendeten Informationen verbunden wird,
  • – von dem Abstands-Messsystem elektromagnetische Strahlung auf die Szene eingestrahlt wird, sodass die Szene zumindest einen Teil der elektromagnetischen Strahlung in Richtung des Abstands-Messsystems reflektiert,
  • – von dem Abstands-Messsystem wiederholt Bilder der von der Szene reflektierten Strahlung aufgenommen werden und aus den Bildern Informationen jeweils über einen Abstand einer Mehrzahl von Elementen der Szene gewonnen werden,
aus den Abstands-Informationen eine Position und Orientierung des Abstands-Messsystems und/oder der Darstellungseinrichtung in Bezug auf die Szene ermittelt wird.In particular, the following is proposed:
A method for inserting location-related information into a visual representation or view of a scene, in particular augmented reality method, wherein
  • A distance measuring system is connected to a display device for the visual display of the displayed information,
  • The electromagnetic radiation is radiated onto the scene by the distance measuring system so that the scene reflects at least part of the electromagnetic radiation in the direction of the distance measuring system,
  • Images of the radiation reflected by the scene are repeatedly recorded by the distance measuring system and information is obtained from the images in each case over a distance of a plurality of elements of the scene,
from the distance information, a position and orientation of the distance measuring system and / or the display device with respect to the scene is determined.

Das Einblenden der ortsbezogenen Information in die visuelle Darstellung oder Ansicht der Szene kann auf beliebige Weise erfolgen. Beispielsweise bei Verwendung einer Datenbrille können die zum Einblenden von Informationen üblichen Techniken angewandt werden. Bei Verwendung eines Displays kann die ortsbezogene Information unmittelbar durch das Display dargestellt werden. Dabei kann die ortsbezogene Information der Ansicht der Szene überlagert werden, d.h. die Szene und die überlagerte ortsbezogene Information bilden insgesamt diejenige Bildinformation, die auf dem Display dargestellt wird. Beim Einblenden der ortsbezogenen Information in eine Datenbrille oder eine andere semitransparente Darstellungseinrichtung betrachtet der Anwender dagegen das Bild der Szene durch die semitransparente Darstellungseinrichtung hindurch. Es sind weitere, andersartige Darstellungseinrichtungen denkbar, z.B. Darstellungseinrichtungen, von denen auch die Ansicht der Szene projiziert wird.The display of the location-related information in the visual representation or view of the scene can be done in any way. For example, when using smart glasses, the techniques common for fading information can be used. When using a display, the location-related information can be displayed directly through the display. In this case, the location-related information of the view of the scene can be superimposed, ie the scene and the superimposed location-related information in total form that image information that is displayed on the screen. When displaying the location-related information in By contrast, the user views the image of the scene through the semitransparent display device by using data glasses or another semitransparent display device. There are other, different presentation devices conceivable, for example display devices, of which the view of the scene is projected.

Gemeinsam ist den verschiedenen Typen von Darstellungseinrichtung, dass die ortsbezogene Information jeweils lagerichtig zu der visuellen Darstellung oder Ansicht der Szene dargestellt werden kann, wobei die Lage der ortsbezogenen Information von der aktuellen Position und Orientierung der Augen des Betrachters und/oder der aktuellen Position und Orientierung der Darstellungseinrichtung relativ zu der Szene abhängen.Together is the different types of presentation device that the location-related information in each case in the correct position to the visual representation or view of the scene can be represented, the location of the location-specific information of the current position and orientation the eyes of the beholder and / or the current position and orientation dependency of the presentation device relative to the scene.

Das Abstands-Messsystem (insbesondere eine Flugdistanz-Kamera) wird mit der Darstellungseinrichtung verbunden, so dass zumindest während eines Teil-Zeitraumes der Benutzung keine Änderung der Relativposition und relativen Orientierung stattfindet.The Distance measuring system (in particular a flight distance camera) is connected to the presentation device, so that at least during a Part-period the use no change of Relative position and relative orientation takes place.

Gemeinsam ist den oben genannten Flugzeitdistanz-Kameras, dass die Szene aktiv beleuchtet wird. Insbesondere kann elektromagnetische Strahlung auf die Szene eingestrahlt werden, wobei eine Strahlungsflussdichte der von dem Abstands-Messsystem emittierten Strahlung variiert wird, insbesondere periodisch variiert wird. Frequenzen dieser Modulation der für die Beleuchtung verwendeten Strahlung liegen z.B. im Bereich von 15 bis 25 MHz.Together is the above time-of-flight cameras that the scene is active is illuminated. In particular, electromagnetic radiation be irradiated to the scene, wherein a radiation flux density the radiation emitted by the distance measuring system is varied, is varied in particular periodically. Frequencies of this modulation the for the illumination used for illumination is e.g. In the range of 15 to 25 MHz.

Entsprechend der Variation der emittierten Strahlung variiert die von der Szene reflektierte Strahlung. Daraus kann der Abstand ermittelt werden, insbesondere aus einer Phase und/oder Intensität einer von dem Abstands-Messsystem empfangenen Strahlung. An sich ist bereits die Auswertung der Phase ausreichend. Zusatzinformationen kann jedoch auch die Auswertung der Stärke der empfangenen reflektierten Strahlung liefern, da die Stärke bzw. Strahlungsflussdichte proportional zu dem Quadrat des Abstandes zwischen Szene und Abstands-Messsystem abnimmt.Corresponding the variation of emitted radiation varies from that of the scene reflected radiation. From this, the distance can be determined in particular from a phase and / or intensity of the distance measuring system received radiation. In itself, the evaluation of the phase is already sufficient. However, additional information may also be the evaluation the strength the received reflected radiation, since the strength or radiation flux density proportional to the square of the distance between scene and distance measuring system decreases.

Vorzugsweise werden die Gewinnung der Abstands-Informationen und die Ermittlung der Position und Orientierung fortlaufend wiederholt, so dass das Einblenden der ortsbezogenen Informationen in Echtzeit oder quasi in Echtzeit entsprechend einer aktuellen Position und Orientierung möglich ist. Hierzu kann der Anwender einen Rechner des Abstands-Messsystems mit sich tragen. Der Anwender ist also mobil und kann daher nahezu jede mögliche Position relativ zu der Szene einnehmen. Alternativ kann der Rechner jedoch auch ortsfest sein und können die Daten der Kamera (insbesondere drahtlos) zu dem Rechner übertragen werden. Umgekehrt liefert der Rechner in diesem Fall die für das lagerichtige Darstellen der ortsbezogenen Informationen nötigen Daten zurück zu der Darstellungseinrichtung, die der Anwender trägt oder die im Bereich des Anwenders angeordnet ist.Preferably will be obtaining the distance information and the determination the position and orientation repeated continuously, so that the Show the location-related information in real time or quasi in real time according to a current position and orientation possible is. For this purpose, the user can use a computer of the distance measuring system carry with you. The user is therefore mobile and can therefore almost every possible position relative to the scene. Alternatively, however, the calculator can also be stationary and can transmit the data from the camera (in particular wirelessly) to the computer become. Conversely, the computer in this case supplies the for the correct position Representing the location-related information necessary data back to the Representation device that the user wears or in the area of User is arranged.

Zum Vergleich der aus dem Abstands-Messsystem erhaltenen dreidimensionalen Informationen über die Szene kann ein dreidimensionales Modell der Szene oder eines Teils der Szene verwendet werden. Ein solches dreidimensionales Modell kann mit an sich bekannten Mitteln erstellt werden, beispielsweise aus den Daten eines CAD-Systems, mit dem ein oder mehrere Objekte der Szene konstruiert wurden.To the Comparison of the obtained from the distance measuring system three-dimensional information about the scene can be a three-dimensional model of the scene or a Part of the scene to be used. Such a three-dimensional Model can be created by means known per se, for example from the data of a CAD system, with which one or more objects the scene were constructed.

Insbesondere wenn solche Planungsdaten nicht vorhanden sind, kann das Abstands-Messsystem während einer Initialisierungsphase dazu verwendet werden, ein dreidimensionales Modell der Szene zu gewinnen.Especially if such planning data are not available, the distance measuring system can while an initialization phase to be used, a three-dimensional Model of the scene to win.

Außerdem wird eine Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene vorgeschlagen, insbesondere Augmented Reality Anordnung, wobei die Anordnung Folgendes aufweist:

  • – eine Darstellungseinrichtung, die ausgestaltet ist, zumindest die eingeblendeten Informationen darzustellen,
  • – ein Abstands-Messsystem, das mit der Darstellungseinrichtung verbunden ist
wobei das Abstands-Messsystem eine Beleuchtungseinrichtung zur Erzeugung von elektromagnetischer Strahlung aufweist, die auf die Szene eingestrahlt werden kann, wobei das Abstands-Messsystem eine Bild-Aufnahmeeinrichtung zur Aufnahme von Bildern der Szene aufweist und wobei das Abstands-Messsystem eine Abstands-Ermittlungseinrichtung zur Ermittlung eines Abstandes einer Mehrzahl von Elementen der Szene zu der Darstellungseinrichtung und/oder zu der Bild-Aufnahmeeinrichtung aufweist.Also proposed is an arrangement for fading in location-related information into a visual representation or view of a scene, in particular an augmented reality arrangement, the arrangement comprising:
  • A display device which is designed to display at least the information displayed,
  • A distance measuring system connected to the display device
wherein the distance measuring system comprises an illumination device for generating electromagnetic radiation that can be irradiated onto the scene, wherein the distance measuring system has an image recording device for recording images of the scene, and wherein the distance measuring system comprises a distance determination device for detection a distance of a plurality of elements of the scene to the display device and / or to the image pickup device.

Wegen der Vorteile und weiterer Ausgestaltungen der Anordnung wird auf die vorangegangene Beschreibung des Verfahrens verwiesen und auf die folgende Beschreibung der Ausführungsbeispiele.Because of the advantages and further developments of the arrangement is on referenced the previous description of the method and on the following description of the embodiments.

Die Ausführungsbeispiele werden nun unter Bezugnahme auf die beigefügte Zeichnung beschrieben. Die einzelnen Fig. der Zeichnung zeigen:The embodiments will now be described with reference to the accompanying drawings. The individual figures of the drawing show:

1 schematisch eine Szene, die von einem Anwender betrachtet wird, 1 schematically a scene that is viewed by a user

2 die Anordnung gemäß 1 und zusätzlich eine transparente Darstellungseinrichtung, durch die der Anwender die Szene betrachtet, wobei die Darstellungseinrichtung mit einer Flugdistanz-Kamera verbunden ist, 2 the arrangement according to 1 and to in addition, a transparent display device, through which the user views the scene, wherein the display device is connected to a flight distance camera,

3 schematisch eine Anordnung, mit der lagerichtig ortsbezogene Information auf der in 2 dargestellten Darstellungseinrichtung dargestellt werden kann, wobei die Darstellung der ortsbezogenen Information von der Position und Orientierung der Kamera relativ zu der Szene abhängt, 3 schematically an arrangement with the positionally correct location information on the in 2 The display of the location-related information depends on the position and orientation of the camera relative to the scene,

4 ein erstes Flussdiagramm zur Darstellung eines Verfahrensablaufs zum lagerichtigen Einblenden der ortsbezogenen Information und 4 a first flowchart illustrating a process flow for the correct position fading in of the location-related information and

5 ein weiteres Flussdiagramm zur Darstellung von Schritten für das lagerichtige Einblenden der ortsbezogenen Information. 5 a further flowchart illustrating steps for the positionally correct fading in of the location-related information.

Die schematisch in 1 dargestellte Szene 1 weist eine Mehrzahl von Elementen 5, 6, 7, 8, 9 auf, die miteinander verbunden sein können und in der Regel zumindest über einen Zeitraum hinweg in einer unveränderlichen Relativposition zueinander angeordnet sind. Ein Beispiel für eine Szene ist die Anordnung von Objekten im Motorraum eines Straßen-Kraftfahrzeuges.The schematic in 1 represented scene 1 has a plurality of elements 5 . 6 . 7 . 8th . 9 on, which can be connected to each other and are usually arranged at least over a period of time in a fixed relative position to each other. An example of a scene is the arrangement of objects in the engine compartment of a road vehicle.

Einige der Objekte 59 der Szene 1 haben einen größeren Abstand vom Auge 3 eines Betrachters (Anwender 2) als andere. Beispielsweise ist in der in 1 und 2 gezeigten Momentaufnahme der Abstand zwischen dem Auge 3 und dem Objekt 5 größer als der Abstand zwischen dem Auge 3 und dem Objekt 6.Some of the objects 5 - 9 the scene 1 have a greater distance from the eye 3 of a viewer (user 2 ) than others. For example, in the in 1 and 2 snapshot shown the distance between the eye 3 and the object 5 greater than the distance between the eye 3 and the object 6 ,

Bei dem bevorzugten Ausführungsbeispiel der Erfindung, das hier anhand der 1 bis 5 erläutert wird, werden jedoch nicht nur Entfernungen zu ganzen Objekten der Szene berücksichtigt, sondern unter Umständen auch Teilbereiche der Objekte, die von einer Flugdistanz-Kamera 11 (2) aus sichtbar sind. Ob Teilbereiche berücksichtigt werden, hängt allein davon ab, wie die Bildauflösung der Kamera beschaffen ist und welche Teilbereiche oder Bereiche der Objekte 5 bis 9 in einer gegebenen momentanen Position der Kamera 11 für diese sichtbar sind. Die in 1 und 2 schematisch dargestellte Anordnung ist nicht maßstäblich zu verstehen. Vielmehr wird der Abstand zwischen dem Anwender 2 und der Szene 1 im Verhältnis zu der Ausdehnung der Szene 1 in der Praxis variieren.In the preferred embodiment of the invention, which here with reference to 1 to 5 However, not only distances to whole objects of the scene are taken into account, but under certain circumstances also subregions of the objects, that of a flying distance camera 11 ( 2 ) are visible from. Whether partial areas are taken into account depends solely on how the image resolution of the camera is designed and which partial areas or areas of the objects 5 to 9 in a given instantaneous position of the camera 11 are visible to them. In the 1 and 2 schematically illustrated arrangement is not to scale. Rather, the distance between the user 2 and the scene 1 in proportion to the extent of the scene 1 vary in practice.

Wie 2 zeigt, ist die Flugdistanz-Kamera 11 mit einer Darstellungseinrichtung 10 verbunden, durch die hindurch das Auge 3 des Anwenders 2 die Szene 1 betrachtet. Auf der Darstellungseinrichtung 10 kann die ortsbezogene Information eingeblendet werden, so dass der Anwender 2 die ortsbezogene Information lagerichtig zu der Ansicht der Szene dargestellt sieht. Unter ortsbezogen wird verstanden, dass die Information auf den Ort eines Objekts oder Elements der Szene bezogen ist. Die Ortsbezogenheit besteht somit z.B. in einem Koordinatensystem der Szene. Unter einer lagerichtigen Darstellung der ortsbezogenen Information wird verstanden, dass die jeweilige ortsbezogene Information bei einer gegebenen Relativposition zwischen dem Anwender (insbesondere zwischen dem Auge oder den Augen des Anwenders) einerseits und der Szene andererseits sowie bei einer gegebenen Ausrichtung der Blickrichtung des Anwenders so dargestellt wird, dass die ortsbezogene Information für den Anwender so erscheint bzw. so wahrnehmbar ist, dass sie dem richtigen Ort der Szene zugeordnet ist. Beispielsweise kann dem Objekt 5 der Szene 1 die Farbe Orange als zusätzliche Farbinformation zugeordnet sein, um das Objekt 5 gegenüber anderen Objekten der Szene 1 besonders hervorzuheben, obwohl das Objekt 5 eine andere Farbe hat, z.B. Grau. Bei der lagerichtigen Darstellung würde also ein Bereich auf der Darstellungseinrichtung orange eingefärbt, so dass der Gegenstand 5 für den Betrachter scheinbar eine orange Farbe hat. Es kann jedoch auch eine andere ortsbezogene Information eingeblendet werden, z.B. über einen Pfeil mit einem zugeordneten Objekt der Szene zugeordnete Schriftinformation, die dem Anwender mitteilt, dass eine bestimmte Aktion in Zusammenhang mit dem Gegenstand auszuführen ist.As 2 shows is the flying distance camera 11 with a presentation device 10 connected, through which the eye 3 of the user 2 the scene 1 considered. On the presentation device 10 the location-related information can be displayed so that the user 2 sees the location-related information in the correct position for the view of the scene. By location is meant that the information is related to the location of an object or element of the scene. The location-relatedness thus exists eg in a coordinate system of the scene. A positionally correct representation of the location-related information is understood to mean that the respective location-related information is displayed at a given relative position between the user (in particular between the eye or the eyes of the user) on the one hand and the scene on the other hand and with a given orientation of the user's line of sight in that the location-related information appears or can be perceived by the user in such a way that it is assigned to the correct location of the scene. For example, the object 5 the scene 1 The color orange may be associated as additional color information to the object 5 towards other objects of the scene 1 especially to emphasize, though the object 5 has a different color, eg gray. In the correct position representation, therefore, an area on the presentation device would be colored orange, so that the object 5 for the viewer apparently has an orange color. However, other location-related information may also be displayed, for example font information associated with an associated object of the scene via an arrow, which informs the user that a specific action is to be performed in connection with the object.

Um die ortsbezogene Information lagerichtig darstellen zu können, wird nun unter Verwendung der Kamera 11 die Position der Darstellungseinrichtung 10 in Bezug auf die Szene 1 sowie die Orientierung der Darstellungseinrichtung 10 ermittelt. Die Darstellungseinrichtung 10 ist wiederum in einer festen Position in einem mit dem Auge des Anwenders bewegten Koordinatensystem. Für eine derartige Darstellungseinrichtung eignet sich daher besonders eine Datenbrille.In order to display the location-related information in the correct position, is now using the camera 11 the position of the presentation device 10 in terms of the scene 1 as well as the orientation of the presentation device 10 determined. The presentation device 10 is again in a fixed position in a coordinate system moved with the eye of the user. For such a display device is therefore particularly suitable a data glasses.

Anders ist es bei einer Darstellungseinrichtung, auf der auch ein Bild der Szene dargestellt wird. Hierfür kann das von der Flugdistanz-Kamera erzeugte (konventionelle) zweidimensionale Bild verwendet werden. Die zusätzliche dreidimensionale (Tiefen-) Information der Flugdistanz-Kamera wird dann zusätzlich für die Bestimmung der relativen Lage und Ausrichtung verwendet. Der Vorteil einer solchen Anordnung ist, dass der Anwender sich relativ zu der Darstellungseinrichtung bewegen kann.Different it is at a presentation device on which also a picture the scene is shown. This can be done by the flying distance camera generated (conventional) two-dimensional image can be used. The additional Three-dimensional (depth) information of the flying distance camera is then additionally for the Determination of the relative position and orientation used. The advantage such an arrangement is that the user relative to the Can move presentation device.

Die in der 2 und 3 dargestellte Kamera 11 ist beispielsweise so ausgeführt, wie in der oben erwähnten Veröffentlichung von Oggier, Lehmann et al. beschrieben. 3 zeigt schematisch, dass die Kamera 11 mit einer Beleuchtungseinrichtung 13 verbunden ist, um die Szene aktiv auszuleuchten. Bevorzugtermaßen liegt die von der Beleuchtungseinrichtung 13 emittierte Strahlung im sichtbaren Wellenlängenbereich. Dies ist jedoch nicht zwingend der Fall, um die Entfernung bzw. die Tiefeninformation der Szene zu ermitteln. Wie in der zitierten Veröffentlichung von Oggier, Lehmann et al. beschrieben, können die Beleuchtungseinrichtung 13 und die Kamera 11 in einem gemeinsamen Gehäuse angeordnet sein oder auf andere Weise fest miteinander verbunden sein.The in the 2 and 3 illustrated camera 11 For example, it is carried out as described in the above-mentioned Oggier, Lehmann et al. described. 3 shows schematically that the camera 11 with a lighting device 13 is connected to actively illuminate the scene. Preferred dimensions is that of Be illumination unit 13 emitted radiation in the visible wavelength range. However, this is not necessarily the case in order to determine the distance or the depth information of the scene. As in the cited publication by Oggier, Lehmann et al. described, the lighting device 13 and the camera 11 be arranged in a common housing or otherwise connected firmly together.

Wie 2 weiter zeigt, kann mit Hilfe der Kamera 11 deren Entfernung zu den verschiedenen Objekten bzw. Bereichen der Szene 1 ermittelt werden. Als Beispiel für verschiedene Entfernungen sind die Entfernung d1 zu dem Objekt 5 und die Entfernung d2 zu dem Objekt 6 dargestellt. Die Verschiedenheit der Blickrichtungen der Kamera 11 und des Auges 3 ist im Vergleich zu praktischen Ausführungsformen übertrieben stark dargestellt.As 2 further shows, with the help of the camera 11 their distance to the different objects or areas of the scene 1 be determined. As an example of different distances are the distance d1 to the object 5 and the distance d2 to the object 6 shown. The difference of the viewing directions of the camera 11 and the eye 3 is exaggerated compared to practical embodiments.

3 zeigt ferner einen Rechner 14, der die Beleuchtungseinrichtung 13 ansteuert und von der Kamera 11 die von dieser aufgenommenen Bildsignale empfängt und auswertet. Die Verbindung zu der Beleuchtungseinrichtung 13 dient insbesondere dazu, dass der Rechner 14 für die Auswertung der Bildsignale die Phase und Frequenz der von der Beleuchtungseinrichtung 13 emittierten Strahlung kennt. 3 further shows a computer 14 that the lighting device 13 drives and from the camera 11 receives and evaluates the image signals recorded by this. The connection to the lighting device 13 serves in particular to the fact that the computer 14 for the evaluation of the image signals, the phase and frequency of the illumination device 13 knows radiation emitted.

Auch der Rechner 14 kann in einem gemeinsamen Gehäuse mit der Kamera 11 angeordnet sein. Bei einer miniaturisierten Ausführung der Kamera 11 ist der Rechner jedoch vorzugsweise wie in 3 dargestellt als separates Bauteil ausgeführt. In diesem Fall kann die Ermittlung der Tiefeninformation und/oder die im Folgenden noch zu beschreibende Bestimmung der Position und Orientierung in Bezug auf die Szene vom Rechner ausgeführt werden.Also the calculator 14 can be in a common housing with the camera 11 be arranged. In a miniaturized version of the camera 11 However, the computer is preferably as in 3 shown executed as a separate component. In this case, the determination of the depth information and / or the determination of the position and orientation with respect to the scene to be described below can be carried out by the computer.

Grundsätzlich ist es also möglich, dass nicht nur ein Rechner vorgesehen ist, sondern ein erster Rechner zur Ermittlung der Tiefeninformation aus den von der Kamera gelieferten Bildsignalen und ein zweiter Rechner zur Bestimmung der Relativposition und Orientierung. Darüber hinaus kann noch ein weiterer Rechner vorgesehen sein, um die lagerichtige Darstellung der ortsbezogenen Information auf der Darstellungseinrichtung 10 zu berechnen und/oder zu steuern. Schematisch zu verstehen ist daher die Darstellung von 3, in der all diese Rechenaufgaben von dem Rechner 14 ausgeführt werden.In principle, it is therefore possible that not only a computer is provided, but a first computer for determining the depth information from the image signals supplied by the camera and a second computer for determining the relative position and orientation. In addition, a further computer can be provided to display the correct position of the location-related information on the display device 10 to calculate and / or control. Schematically, therefore, is the representation of 3 in which all these arithmetic tasks from the calculator 14 be executed.

Um auf die Ausführungsvariante gemäß der Veröffentlichung von Oggier, Lehmann et al. zurückzukommen, erzeugt die Beleuchtungseinrichtung 13 aus einer Anordnung mit einer Mehrzahl von Leuchtdioden sichtbares Licht, dessen Strahlungsflussdichte mit einer Frequenz von 20 MHz moduliert wird. Die Kamera empfängt das reflektierte Licht aufgelöst für jedes Pixel des in CCD/COMS-Technologie ausgeführten Kamerasensors. Ein 12-Bit-A/D-Konverter der Kamera digitalisiert jeweils die analogen Ausgangssignale der Sensorpixel, und die Daten werden an ein FPGA (field programmable gate array) des Rechners übertragen. Dort werden die Signale verarbeitet und in einem RAM-Speicher abgelegt. Das FPGA steuert die gesamte Kamera. Es berechnet die Phasenverschiebung (zur Bestimmung der Entfernung zu dem jeweiligen Element der Szene), den Offset und die Amplitude zur Bestimmung der Intensität bzw. Strahlungsflussdichte am Empfänger.To refer to the embodiment according to the publication by Oggier, Lehmann et al. to come back, creates the lighting device 13 visible light of an arrangement with a plurality of light-emitting diodes whose radiation flux density is modulated at a frequency of 20 MHz. The camera receives the reflected light resolved for each pixel of the CCD / COMS technology camera sensor. A 12-bit A / D converter of the camera digitizes each of the analog output signals of the sensor pixels, and the data is transmitted to a FPGA (field programmable gate array) of the computer. There, the signals are processed and stored in a RAM memory. The FPGA controls the entire camera. It calculates the phase shift (to determine the distance to the respective element of the scene), the offset and the amplitude to determine the intensity or radiation flux density at the receiver.

Insbesondere kann die Tiefenbestimmung wie in US 2004/0008394 A1 beschrieben ausgeführt werden. Für weitere Details der Tiefenbestimmung wird auf dieses Dokument verwiesen.Especially For example, depth determination may be as described in US 2004/0008394 A1 be executed. For further Details of the depth determination are referred to this document.

In Bezug auf das Flussdiagramm von 4 entspricht die Ermittlung der dreidimensionalen Bildinformation über die Szene (klassische zweidimensionale Bildinformation mit zusätzlicher Tiefeninformation) Schritt S1. Gemäß dieser Ausführungsvariante des erfindungsgemäßen Verfahrens werden außerdem dreidimensionale Daten D eines Modells der Szene verwendet. In Schritt S2 findet ein Abgleich der von der Kamera gewonnenen 3D-Daten und der 3D-Daten aus dem Modell statt. Dabei wird insbesondere der Bereich des 3D-Modells ermittelt, der mit dem von der Kamera erfassten Bereich übereinstimmt.With respect to the flowchart of 4 corresponds to the determination of the three-dimensional image information about the scene (classic two-dimensional image information with additional depth information) step S1. According to this variant of the method according to the invention, three-dimensional data D of a model of the scene are also used. In step S2, an alignment of the 3D data obtained by the camera and the 3D data from the model takes place. In particular, the area of the 3D model that corresponds to the area covered by the camera is determined.

In Schritt S3, der auf Schritt S2 folgt, werden aus den beiden 3D-Datensätzen die aktuelle Position und Orientierung der Kamera und damit auch der Darstellungseinrichtung ermittelt. Dabei wird die Transformationsmatrix bestimmt, mit der einer der beiden Datensätze (insbesondere der Datensatz des Modells) in das Koordinatensystem des anderen Datensatzes transformiert werden kann. Ein solcher Vorgang wird allgemein als Registrierung bezeichnet. Vorzugsweise wird dabei ein ICP-(iterative closest point) Verfahren angewendet. Eine bevorzugte Ausführungsform des ICP-Verfahrens ist in der Veröffentlichung von Paul J. Besl und Neil D. McKay „A Method for Registration of 3-D Shapes" IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14 Nr. 2, Februar 1992, Seiten 239 bis 256 beschrieben. Der Inhalt dieser Veröffentlichung, insbesondere des Abschnitts III ab Seite 241 bis Ende Abschnitt IV auf Seite 246, wird hiermit vollinhaltlich in diese Beschreibung aufgenommen.In Step S3 following step S2 becomes the two 3D data sets current position and orientation of the camera and thus also the presentation device determined. The transformation matrix is determined with which one of the two datasets (especially the record of the model) in the coordinate system the other record can be transformed. Such a process is commonly referred to as registration. Preferably is doing an ICP (iterative closest point) method applied. A preferred embodiment of the ICP method is described in the publication by Paul J. Besl and Neil D. McKay "A Method for Registration of 3-D Shapes "IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, February 1992, pages 239 to 256 described. The content of this publication, in particular of Section III from page 241 to the end of Section IV on page 246, is hereby incorporated in full in this description.

Das ICP-Verfahren ist bereits, wie der Name sagt, ein iteratives Verfahren, das angewendet wird, um die Registrierung von 3D-Datensätzen zu optimieren. Als Ergebnis wird eine Lösung der Registrierung erhalten, bei der die Abweichung zwischen dem transformierten ersten 3D-Datensatz und dem zweiten 3D-Datensatz minimal ist. Um die von der Kamera gewonnen Bilddaten für das ICP-Verfahren zu verbessern, wird vorzugsweise eine Filterung (Glättung) der von der Kamera gewonnenen 3D-Daten vorgenommen. Die Filterung dient insbesondere dazu, statistische Schwankungen in den Sensorsignalen der einzelnen Pixel der Kamera auszugleichen (zu glätten).The ICP method is already, as the name implies, an iterative method that is used to optimize the registration of 3D datasets. As a result, a solution of the registration is obtained in which the deviation between the transformed first 3D data set and the second 3D data set is minimal. To those of the came ra gained image data for the ICP process, preferably a filtering (smoothing) of the 3D data obtained by the camera is made. The filtering serves, in particular, to compensate (smoothen) statistical fluctuations in the sensor signals of the individual pixels of the camera.

In Bezug auf den weiteren Ablauf des anhand von 4 beschriebenen Verfahrens folgt auf Schritt S3 Schritt S4, in dem die Lage der auf der Darstellungseinrichtung darzustellenden ortsbezogenen Information berechnet wird. Insbesondere wird dazu die dreidimensionale Information aus dem Modell der Szene, die ja nun mit der dreidimensionalen Information registriert ist, welche unter Verwendung der Kamera gewonnen wurde, auf die zweidimensionale Darstellungsebene der Darstellungseinrichtung 10 projiziert. Die Projektion kann für ausgewählte Objekte, Bereiche oder Teile davon erfolgen, denen die ortsbezogene Information zugeordnet ist. Ferner kann in einem optionalen zusätzlichen Schritt festgestellt werden, ob das Objekt, der Bereich oder der Teil davon, dem die jeweilige ortsbezogene Information zugeordnet ist, durch andere Teile der Szene verdeckt ist und daher in der Ebene der Darstellungseinrichtung nicht oder nur teilweise sichtbar ist. Insbesondere kann dann entschieden werden, dass die ortsbezogene Information zu verdeckten Teilen der Szene nicht dargestellt wird.Regarding the further course of the basis of 4 described method follows step S3 step S4, in which the position of the location-related information to be displayed on the display device is calculated. In particular, the three-dimensional information from the model of the scene, which is now registered with the three-dimensional information obtained using the camera, on the two-dimensional display plane of the display device 10 projected. The projection can be done for selected objects, areas or parts thereof to which the location-related information is assigned. Furthermore, it can be determined in an optional additional step whether the object, the area or the part thereof to which the respective location-related information is assigned is hidden by other parts of the scene and is therefore not or only partially visible in the plane of the presentation device. In particular, it can then be decided that the location-related information on hidden parts of the scene is not displayed.

In dem darauf folgenden Schritt S5 wird die ortsbezogene Information eingeblendet.In the subsequent step S5 becomes the location-related information appears.

Es wird nun das Verfahren gemäß dem Flussdiagramm von 5 beschrieben. Bei dem Verfahren handelt es sich um einen von vielen aufeinander folgenden iterativen Verfahrensabläufen, die während einer über einen Zeitraum hinweg ausgeführten AR-Anwendung durchlaufen werden. Ausgangspunkt für einen Verfahrensablauf ist jeweils, dass vorher bereits für einen vergangenen Zeitpunkt eine Registrierung der Daten des 3D-Modells der Szene mit den von der Kamera erzeugten 3D-Daten der Szene stattgefunden hat.The method according to the flowchart of FIG 5 described. The method is one of many consecutive iterative procedures that are run during an AR application running over a period of time. In each case, the starting point for a method sequence is that registration of the data of the 3D model of the scene with the 3D data of the scene generated by the camera has already taken place for a past time.

In Schritt S11 wird davon ausgehend für einen neuen, späteren Zeitpunkt wiederum ein 3D-Bild der Szene durch die Kamera 11 erfasst und die zugehörige Tiefeninformation ermittelt. Weiterhin kann wiederum eine Filterung ausgeführt werden.In step S11, a 3D image of the scene is again taken by the camera for a new, later point in time 11 recorded and determined the associated depth information. Furthermore, again filtering can be performed.

In den folgenden Schritten S12 und S13 findet nun wiederum der Abgleich zwischen zwei 3D-Datensätzen (Schritt S12) und die Bestimmung der Transformationsmatrix, vorzugsweise wiederum gemäß dem ICP-Verfahren, statt. Diesmal jedoch wird der Abgleich bzw. die Transformation zwischen dem in dem vorherigen Schritt und dem in dem jetzigen Schritt vorliegenden Kamerabild vorgenommen. Da sich die Position und Orientierung in der Regel zwischen Zeitpunkten, die in kurzem Abstand aufeinander folgen, nicht wesentlich geändert hat, ist die Transformation mit sehr viel geringerem Rechenaufwand zu ermitteln. Außerdem hat dies den Vorteil, dass mit hoher Sicherheit die richtige Transformationsmatrix gefunden wird und nicht lediglich eine Transformationsmatrix, die einer Nebenlösung entspricht, welche einem lokalen, aber nicht absoluten Minimum der Abstände entspricht.In The following steps S12 and S13 again find the adjustment between two 3D datasets (Step S12) and the determination of the transformation matrix, preferably again according to the ICP procedure, instead of. This time, however, the adjustment or the transformation between the one in the previous step and the one in the current step present camera image made. As is the position and orientation usually between times that are in close proximity to each other follow, not changed significantly has, the transformation is at a much lower computational cost to investigate. Furthermore this has the advantage that with great certainty the right transformation matrix is found and not just a transformation matrix, the a side solution which corresponds to a local but not absolute minimum of distances equivalent.

In dem folgenden Schritt S14 wird dann das aktuelle 3D-Bild des Verfahrensdurchlaufs zusammen mit der zugehörigen Transformationsinformation für den nächstfolgenden Verfahrensdurchlauf gespeichert.In The next step S14 is then the current 3D image of the process run along with the associated Transformation information for the next Process flow saved.

In den folgenden Schritten S15 und S16 wird wiederum die Lage der einzublendenden ortsbezogenen Information ermittelt (Schritt S15) und in Schritt S16 eingeblendet.In The following steps S15 and S16 again show the position of the one to be displayed Location-related information determined (step S15) and in step S16 appears.

Falls zu Beginn einer Anwendung noch kein 3D-Modell der zu betrachtenden Szene existiert, kann ein solches Modell unter Verwendung der Flugdistanz-Kamera und unter Verwendung der zugehörigen weiteren Komponenten der Anordnung (beispielsweise der anhand von 3 beschriebenen Anordnung) erstellt werden. Hierzu wird für eine Mehrzahl von unterschiedlichen relativen Positionen und Orientierungen der Kamera in Bezug auf die Szene während einer Initialisierung jeweils für jede Position und Orientierung der 3D-Datensatz ermittelt und abgespeichert. Außerdem wird jeweils Information z.B. von dem Anwender eingegeben. Vorzugsweise reicht es dabei aus, wenn der Anwender für jedes Objekt der Szene, zu dem ortsbezogene Information existiert, die Zuordnung zwischen dem Objekt bzw. Element der Szene und der ortsbezogenen Information herstellt sowie kontrolliert, dass die Zuordnung auch für die verschiedensten Relativpositionen und Orientierungen korrekt beibehalten wird. Letzteres wird dadurch erleichtert, dass die Unterschiede zwischen zwei aufeinander folgenden Relativpositionen und/oder Orientierungen nicht zu groß sind. Der Verfahrensablauf entspricht dabei dem anhand von 5 erläuterten iterativen Verfahrensablauf. Am Ende, nach Schritt S16, ist dann jeweils zu verifizieren, dass die Zuordnung der ortsbezogenen Information zu dem jeweiligen Objekt oder Element der Szene noch korrekt ist.If no 3D model of the scene to be considered exists at the beginning of an application, such a model can be constructed using the flying distance camera and using the associated further components of the arrangement (for example, the one based on FIG 3 described arrangement) are created. For this purpose, for a plurality of different relative positions and orientations of the camera with respect to the scene during an initialization, the 3D data record is determined and stored in each case for each position and orientation. In addition, in each case information is entered by the user, for example. Preferably, it is sufficient if the user establishes the association between the object or element of the scene and the location-related information for each object of the scene for which location-related information exists, and controls that the assignment is correct also for the most diverse relative positions and orientations is maintained. The latter is facilitated by the fact that the differences between two successive relative positions and / or orientations are not too great. The procedure corresponds to the basis of 5 explained iterative procedure. At the end, after step S16, it is then to be verified in each case that the assignment of the location-related information to the respective object or element of the scene is still correct.

Allgemein, Iosgelöst von den konkreten Ausführungsbeispielen, die unter Bezugnahme auf die beigefügten Figuren erläutert wurden, hat die Erfindung folgende Vorteile:
Durch Verwendung einer Kamera, die mit der Darstellungseinrichtung verbunden wird, ist der mobile Einsatz der Darstellungseinrichtung mit veränderlicher Relativposition und Orientierung in Bezug auf die Szene möglich.
Generally, solved by the specific embodiments, which have been explained with reference to the accompanying figures, the invention has the following advantages:
By using a camera connected to the display device, the mobile use of the display device is variable relative position and orientation with respect to the scene possible.

Die zusätzlich zu zweidimensionalen Kamerabildern verfügbare Tiefeninformation bzw. 3D-Information macht das Verfahren unabhängig von zusätzlichen Einrichtungen oder Maßnahmen an der Szene, wie beispielsweise das Anbringen von Markern in der Szene. Dabei bleibt der Rechenaufwand für die Ermittlung der Relativposition und Orientierung, verglichen mit Verfahren, die lediglich zweidimensionale Kamerabilder auswerten, gering und führt zu einer stabilen Lösung für das optische Tracking. Außerdem ist es bei dem bereits heute gegebenen hohen Miniaturisierungsgrad von Flugdistanz-Kameras und zugeordneter Hardware zur Auswertung der Kamerasignale möglich, sehr handliche, kompakte Ausführungen mit geringem Gewicht herzustellen, die die Darstellungseinrichtung und Kamera und optional sogar den Rechner enthalten.The additionally available to two-dimensional camera images depth information or 3D information makes the process independent of additional Facilities or measures at the scene, such as the placing of markers in the Scene. The computational effort for the determination of the relative position remains and orientation, compared to methods that are only two-dimensional camera images evaluate, low and leads to a stable solution for the optical tracking. Besides that is in the already high degree of miniaturization of Flight distance cameras and associated hardware for the evaluation of the camera signals possible, very handy, compact versions produce low weight, the presentation device and camera and optionally even the calculator included.

Claims (9)

Verfahren zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene (1), insbesondere Augmented Reality Verfahren, dadurch gekennzeichnet, dass – zumindest ein Teil (11) eines Abstands-Messsystems (11, 13, 14) mit einer Darstellungseinrichtung (10) zur visuellen Darstellung der eingeblendeten Informationen verbunden wird, – von dem Abstands-Messsystem (11, 13, 14) elektromagnetische Strahlung auf die Szene (1) eingestrahlt wird, sodass die Szene (1) zumindest einen Teil der elektromagnetischen Strahlung in Richtung des Abstands-Messsystems reflektiert, – von dem Abstands-Messsystem (11, 13, 14) wiederholt Bilder der von der Szene (1) reflektierten Strahlung aufgenommen werden und aus den Bildern Informationen jeweils über einen Abstand einer Mehrzahl von Elementen der Szene (1) zu der Darstellungseinrichtung (10) und/oder zu einer Bild-Aufnahmeeinrichtung (11) gewonnen werden, – aus den Abstands-Informationen eine Position und Orientierung des Abstands-Messsystems (11, 13, 14) oder des Teils (11) davon und/oder der Darstellungseinrichtung (10) in Bezug auf die Szene (1) ermittelt wird.Method for inserting location-related information into a visual representation or view of a scene ( 1 ), in particular augmented reality method, characterized in that - at least one part ( 11 ) of a distance measuring system ( 11 . 13 . 14 ) with a presentation device ( 10 ) is connected to the visual display of the displayed information, - by the distance measuring system ( 11 . 13 . 14 ) electromagnetic radiation on the scene ( 1 ), so that the scene ( 1 ) reflects at least part of the electromagnetic radiation in the direction of the distance measuring system, - by the distance measuring system ( 11 . 13 . 14 ) repeats pictures of the scene ( 1 ) reflected radiation and from the images information about a distance of a plurality of elements of the scene ( 1 ) to the presentation device ( 10 ) and / or to an image recording device ( 11 ), from the distance information a position and orientation of the distance measuring system ( 11 . 13 . 14 ) or part ( 11 ) thereof and / or the presentation device ( 10 ) in relation to the scene ( 1 ) is determined. Verfahren nach dem vorhergehenden Anspruch, wobei eine Strahlungsflussdichte der von dem Abstands-Messsystem (11, 13, 14) emittierten Strahlung variiert wird.Method according to the preceding claim, wherein a radiation flux density of the of the distance measuring system ( 11 . 13 . 14 ) emitted radiation is varied. Verfahren nach dem vorhergehenden Anspruch, wobei eine Strahlungsflussdichte der von der Szene (1) reflektierten Strahlung entsprechend der Variation der emittierten Strahlung variiert und wobei der Abstand aus einer Phase und/oder Intensität einer von dem Abstands-Messsystem (11, 13, 14) empfangenen Strahlung ermittelt wird.Method according to the preceding claim, wherein a radiation flux density of the of the scene ( 1 ) is varied in accordance with the variation of the emitted radiation and wherein the distance from a phase and / or intensity of one of the distance measuring system ( 11 . 13 . 14 ) received radiation is determined. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gewinnung der Abstands-Informationen und die Ermittlung der Position und Orientierung fortlaufend wiederholt wird, sodass das Einblenden der ortsbezogenen Informationen in Echtzeit oder quasi in Echtzeit entsprechend einer aktuellen Position und Orientierung möglich ist.Method according to one of the preceding claims, wherein obtaining the distance information and identifying the Position and orientation is repeated continuously, so the fade in the location-related information in real time or quasi in real time according to a current position and orientation is possible. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Ermittlung der Position und Orientierung in Bezug auf die Szene (1) ein dreidimensionales Modell (M) der Szene (1) oder eines Teils der Szene (1) verwendet wird.Method according to one of the preceding claims, wherein in determining the position and orientation with respect to the scene ( 1 ) a three-dimensional model (M) of the scene ( 1 ) or part of the scene ( 1 ) is used. Verfahren nach dem vorhergehenden Anspruch, wobei das dreidimensionale Modell (M) der Szene (1) unter Verwendung des Abstands-Messsystems während einer Initialisierungsphase gewonnen wird.Method according to the preceding claim, wherein the three-dimensional model (M) of the scene ( 1 ) is obtained using the distance measuring system during an initialization phase. Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene (1), insbesondere Augmented Reality Anordnung, wobei die Anordnung eine Darstellungseinrichtung (10) aufweist, die ausgestaltet ist, zumindest die eingeblendeten Informationen darzustellen, gekennzeichnet durch ein Abstands-Messsystem (11, 13, 14), das mit der Darstellungseinrichtung (10) verbunden ist, wobei das Abstands-Messsystem (11, 13, 14) eine Beleuchtungseinrichtung (13) zur Erzeugung von elektromagnetischer Strahlung aufweist, die auf die Szene (1) eingestrahlt werden kann, wobei das Abstands-Messsystem (11, 13, 14) eine Bild-Aufnahmeeinrichtung (11) zur Aufnahme von Bildern der Szene (1) aufweist und wobei das Abstands-Messsystem (11, 13, 14) eine Abstands-Ermittlungseinrichtung (14) zur Ermittlung eines Abstandes einer Mehrzahl von Elementen der Szene (1) zu der Darstellungseinrichtung (10) und/oder zu der Bild-Aufnahmeeinrichtung (11) aufweist.Arrangement for inserting location-related information into a visual representation or view of a scene ( 1 ), in particular an augmented reality arrangement, the arrangement comprising a display device ( 10 ), which is designed to display at least the information displayed, characterized by a distance measuring system ( 11 . 13 . 14 ) associated with the presentation device ( 10 ), wherein the distance measuring system ( 11 . 13 . 14 ) a lighting device ( 13 ) for generating electromagnetic radiation incident on the scene ( 1 ), wherein the distance measuring system ( 11 . 13 . 14 ) an image recording device ( 11 ) for taking pictures of the scene ( 1 ) and wherein the distance measuring system ( 11 . 13 . 14 ) a distance determination device ( 14 ) for determining a distance of a plurality of elements of the scene ( 1 ) to the presentation device ( 10 ) and / or to the image recording device ( 11 ) having. Anordnung nach dem vorhergehenden Anspruch, wobei das Abstands-Messsystem (11, 13, 14) ausgestaltet ist, eine Strahlungsflussdichte der von der Beleuchtungseinrichtung (13) erzeugten Strahlung zu variieren, insbesondere periodisch zu variieren.Arrangement according to the preceding claim, wherein the distance measuring system ( 11 . 13 . 14 ), a radiation flux density of the illumination device ( 13 ), in particular to vary periodically. Anordnung nach dem vorhergehenden Anspruch, wobei die Abstands-Ermittlungseinrichtung (14) ausgestaltet ist, den Abstand aus einer Phase und/oder Intensität einer von der Bild-Aufnahmeeinrichtung (11) empfangenen Strahlung zu ermitteln.Arrangement according to the preceding claim, wherein the distance determination device ( 14 ), the distance from a phase and / or intensity of one of the image recording device ( 11 ) to determine radiation received.
DE102006006001A 2006-02-08 2006-02-08 Method and arrangement for inserting location-related information into a visual representation or view of a scene Expired - Fee Related DE102006006001B3 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102006006001A DE102006006001B3 (en) 2006-02-08 2006-02-08 Method and arrangement for inserting location-related information into a visual representation or view of a scene
PCT/EP2007/001108 WO2007090660A1 (en) 2006-02-08 2007-02-05 Method and arrangement for blending location-related information into a visual representation or view of a scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006006001A DE102006006001B3 (en) 2006-02-08 2006-02-08 Method and arrangement for inserting location-related information into a visual representation or view of a scene

Publications (1)

Publication Number Publication Date
DE102006006001B3 true DE102006006001B3 (en) 2007-10-04

Family

ID=37963892

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006006001A Expired - Fee Related DE102006006001B3 (en) 2006-02-08 2006-02-08 Method and arrangement for inserting location-related information into a visual representation or view of a scene

Country Status (2)

Country Link
DE (1) DE102006006001B3 (en)
WO (1) WO2007090660A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014009608A1 (en) * 2014-06-27 2015-12-31 Audi Ag Operation of AR glasses in the motor vehicle
DE102014213021A1 (en) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Localization of an HMD in the vehicle
DE102010017630B4 (en) * 2010-06-29 2016-06-02 Leica Microsystems Cms Gmbh Method and device for light microscopic imaging of a sample structure
US10969579B2 (en) 2017-08-30 2021-04-06 Volkswagen Aktiengesellschaft Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
WO2025119433A2 (en) 2023-12-07 2025-06-12 Viega Technology Gmbh & Co.Kg Method for providing drinking water, drinking water supply assembly, and hot-water and flushing-function switching unit

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5211120B2 (en) 2010-07-30 2013-06-12 株式会社東芝 Information display device and information display method
US8315674B2 (en) 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
CN106199216B (en) * 2016-08-02 2019-05-03 海信集团有限公司 Radiate value display method and device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10116331A1 (en) * 2000-08-22 2002-03-14 Siemens Ag System and method for the combined use of different display / device types with system-controlled context-dependent information display

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3745117B2 (en) * 1998-05-08 2006-02-15 キヤノン株式会社 Image processing apparatus and image processing method
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10116331A1 (en) * 2000-08-22 2002-03-14 Siemens Ag System and method for the combined use of different display / device types with system-controlled context-dependent information display

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Doil,F., u.a.: Augmented Reality for manufacturing planning. In: ACM International Conference Pro- ceeding Series, Vol.39, 2003, P.71-67, [online]. Im Internet: URL: http://protal.acm.org/citiation. cfm?id=769962&coll=ACM&dl=ACM&CFID=2358194&CFTOKEN =49569151
Doil,F., u.a.: Augmented Reality for manufacturing planning. In: ACM International Conference Proceeding Series, Vol.39, 2003, P.71-67, [online]. Im Internet: URL: http://protal.acm.org/citiation. cfm?id=769962&coll=ACM&dl=ACM&CFID=2358194&CFTOKEN =49569151 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010017630B4 (en) * 2010-06-29 2016-06-02 Leica Microsystems Cms Gmbh Method and device for light microscopic imaging of a sample structure
US9772485B2 (en) 2010-06-29 2017-09-26 Leica Microsystems Cms Gmbh Method and device for light-microscopic imaging of a sample structure
DE102014009608A1 (en) * 2014-06-27 2015-12-31 Audi Ag Operation of AR glasses in the motor vehicle
DE102014213021A1 (en) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Localization of an HMD in the vehicle
US10162409B2 (en) 2014-07-04 2018-12-25 Bayerische Motoren Werke Aktiengesellschaft Locating a head mounted display in a vehicle
US10969579B2 (en) 2017-08-30 2021-04-06 Volkswagen Aktiengesellschaft Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
WO2025119433A2 (en) 2023-12-07 2025-06-12 Viega Technology Gmbh & Co.Kg Method for providing drinking water, drinking water supply assembly, and hot-water and flushing-function switching unit

Also Published As

Publication number Publication date
WO2007090660A1 (en) 2007-08-16

Similar Documents

Publication Publication Date Title
DE69729684T2 (en) Navigation device with shape change display function
DE69327390T2 (en) Arrangement for three-dimensional image display
EP2464098B1 (en) Vicinity presentation device, a vehicle with such a vicinity presentation device and method for displaying a panorama image
DE102013209415A1 (en) Dynamic Note Overlay with Image Pruning
DE102015006612B4 (en) Method for operating data glasses in a motor vehicle and system with data glasses
EP0805362B1 (en) Method for low-flying aircraft for warning of obstacle
WO2007090660A1 (en) Method and arrangement for blending location-related information into a visual representation or view of a scene
DE112012001022T5 (en) Alignment control in a head-worn augmented reality device
WO2009010195A1 (en) Method and system for determining the position and orientation of a camera relative to a real object
EP0799434A1 (en) Microscope, in particular a stereomicroscope, and a method of superimposing two images
DE102016217628B4 (en) A method of operating a surgical microscopy system, a motion sensing system for a surgical microscopy system, and an operating microscopy system
DE102011075703A1 (en) Method and device for calibrating a projection device of a vehicle
DE102012111345B4 (en) Mobile handset for aligning a sensor
DE102017010683A1 (en) Method for automatic restoration of a measured state of a projection system
DE102010011528A1 (en) Receiving arrangement for extracting geometric and photometric object data of e.g. objects, in accident site, has slope unit roatably coordinating at angle and connected with line camera, so that slope unit is moved in rotational axes
EP2350977B1 (en) Method for combining at least two images to form a panoramic image
DE102005011126A1 (en) Generation of virtual worlds based on a real environment
DE102013100569A1 (en) Method for displaying surrounding of vehicle of vehicle assembly and training system, involves detecting three-dimensional image data of surrounding by detection device arranged at vehicle
WO2020126240A1 (en) Method for operating an automation technology field device in an augmented-reality/mixed-reality environment
WO2019091688A1 (en) System and method for determining a pose of augmented reality glasses, system and method for calibrating augmented reality glasses, method for assisting a determination of the pose of augmented reality glasses and motor vehicle suitable for the method
DE102017220005A1 (en) Method and display device for guiding a work machine
DE102014116904A1 (en) Method for optically scanning and measuring a scene and automatically generating a video
DE102018206675A1 (en) Method for controlling a machine by means of at least one spatial coordinate as a control variable and control system of a machine
DE102007032471A1 (en) Position determining method for e.g. on-board camera system, involves establishing representation function specifying representation of object points, and determining unknown parameters of function using numerical resolution technique
DE60305345T2 (en) IMAGE PROCESSING DEVICE WITH DETECTION AND SELECTION OF LIGHT SOURCES

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee