DE102006006001B3 - Method and arrangement for inserting location-related information into a visual representation or view of a scene - Google Patents
Method and arrangement for inserting location-related information into a visual representation or view of a scene Download PDFInfo
- Publication number
- DE102006006001B3 DE102006006001B3 DE102006006001A DE102006006001A DE102006006001B3 DE 102006006001 B3 DE102006006001 B3 DE 102006006001B3 DE 102006006001 A DE102006006001 A DE 102006006001A DE 102006006001 A DE102006006001 A DE 102006006001A DE 102006006001 B3 DE102006006001 B3 DE 102006006001B3
- Authority
- DE
- Germany
- Prior art keywords
- scene
- measuring system
- distance
- distance measuring
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/51—Display arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
Die Erfindung betrifft ein Verfahren und eine Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene (1), insbesondere Augmented Reality. Ein Abstands-Messsystem wird mit einer Darstellungseinrichtung (10) zur visuellen Darstellung der eingeblendeten Informationen verbunden. Von dem Abstands-Messsystem (11) wird elektromagnetische Strahlung auf die Szene (1) eingestrahlt, sodass die Szene (1) zumindest einen Teil der elektromagnetischen Strahlung in Richtung des Abstands-Messsystems (11) reflektiert. Von dem Abstands-Messsystem (11) werden wiederholt Bilder der von der Szene (1) reflektierten Strahlung aufgenommen und aus den Bildern Informationen werden jeweils über einen Abstand einer Mehrzahl von Elementen der Szene (1) gewonnen. Aus den Abstands-Informationen wird eine Position und Orientierung des Abstands-Messsystems (11) und/oder der Darstellungseinrichtung (10) in Bezug auf die Szene (1) ermittelt.The invention relates to a method and an arrangement for fading in location-related information in a visual representation or view of a scene (1), in particular augmented reality. A distance measuring system is connected to a display device (10) for the visual display of the information displayed. The distance measuring system (11) radiates electromagnetic radiation onto the scene (1) so that the scene (1) reflects at least part of the electromagnetic radiation in the direction of the distance measuring system (11). The distance measuring system (11) repeatedly records images of the radiation reflected from the scene (1) and information is obtained from the images in each case about a distance between a plurality of elements of the scene (1). A position and orientation of the distance measuring system (11) and / or the display device (10) in relation to the scene (1) is determined from the distance information.
Description
Die Erfindung betrifft ein Verfahren und eine Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene.The The invention relates to a method and an arrangement for fading location-related information in a visual representation or view a scene.
Die Erfindung betrifft insbesondere das technische Gebiet der Augmented Reality (AR).The The invention relates in particular to the technical field of augmented Reality (AR).
AR soll z.B. als neue Form der Interaktion von Mensch mit Maschine eingesetzt werden. Dabei können dem Anwender (Mensch) Informationen in sein Sichtfeld eingeblendet werden, so dass sie lagerichtig in der betrachteten Szene erscheinen. Die Informationen sind ortsbezogen mit der Szene verknüpft. Beispielsweise können Teile der Szene (etwa einzelne Komponenten einer Maschine) farblich markiert sein und/oder zugehöriger Text dargestellt werden. Bei einer konkreten Anwendung der AR wird z.B. während der Ausführung von Wartungs- oder Montagearbeiten der Servicetechniker bzw. Monteur dadurch unterstützt, dass Informationen zu den einzelnen Arbeitsschritten eingeblendet werden. Eine besondere Problematik von AR-Anwendungen liegt in dem so genannten Tracking der Bewegung des Menschen bzw. der Darstellungseinrichtung, die die eingeblendeten ortsbezogenen Informationen visuell darstellt. Bei der Darstellungseinrichtung kann es sich beispielsweise um eine teilweise transparente Datenbrille oder um ein ortsbewegliches Display (z.B. eines Hand-Held-Gerätes) handeln. Das Tracking ist erforderlich, um die ortsbezogene Information abhängig von der jeweiligen Position und Orientierung (insbesondere abhängig von der Blickrichtung des Anwenders oder der Orientierung des Displays) lagerichtig einblenden zu können. Der Anwender und/oder die Darstellungseinrichtung sollen bewegt werden können und dennoch soll die ortsbezogene Information lagerichtig dargestellt werden können.AR should e.g. as a new form of human-machine interaction be used. It can the user (human) information in his field of view so that they appear in the correct position in the viewed scene. The information is linked to the scene by location. For example can Parts of the scene (about individual components of a machine) in color be marked and / or associated Text will be presented. In a concrete application of the AR, e.g. while the execution of maintenance or installation work of the service technician or mechanic thereby support that information about the individual work steps appears become. A particular problem of AR applications lies in the so-called tracking of the movement of the person or the presentation device, which visualizes the displayed location-related information. The presentation device may be, for example, a partially transparent smart glasses or a portable display (e.g. a hand-held device) act. Tracking is required to get the location-related information dependent from the respective position and orientation (in particular depending on the viewing direction of the user or the orientation of the display) in the correct position to be able to show. The user and / or the presentation device should be moved can and yet the location-related information is displayed in the correct position can be.
Beispielsweise kann eine AR-Anordnung daher eine Kamera aufweisen, die mit der Darstellungseinrichtung so verbunden ist, dass beide während der Anwendung keine wesentlichen Bewegungen relativ zueinander ausführen können. Ferner kann eine beispielsweise kleine, tragbare Rechnereinheit vorgesehen sein, die die von der Kamera aufgenommenen Signale verarbeitet und das Einblenden der Informationen durch die Darstellungseinrichtung steuert. Dabei kann die Darstellungseinrichtung je nach Anwendung transparent sein (z.B. im Fall der Datenbrille, durch die der Anwender die Szene hindurch betrachten kann) oder zusätzlich zu den ortsbezogenen Zusatzinformationen auch ein Bild der Szene darstellen (z.B. im Fall des tragbaren Displays). Derartige Systeme, bei denen die Kamera mit der Darstellungseinrichtung verbunden ist, stellen einen Fortschritt gegenüber früheren Tracking-Systemen dar, die mit stationären Kameras oder anderen stationären Sensoren zum Verfolgen der Bewegung der Darstellungseinrichtung ausgestaltet waren.For example Therefore, an AR arrangement may have a camera compatible with the Representation device is connected so that both during the application can not perform any significant movements relative to each other. Further For example, a small, portable computer unit may be provided which processes the signals recorded by the camera and the display of the information by the presentation device controls. In this case, the presentation device depending on the application be transparent (e.g., in the case of data glasses, by which the user watch the scene) or in addition to the location-based Additional information may also be an image of the scene (e.g. Case of the portable display). Such systems where the camera connected to the display device, make progress across from earlier Tracking systems using stationary cameras or other stationary sensors designed to track the movement of the presentation device were.
Die Systeme mit den mitbewegten Kameras ermöglichen einen in der Regel wesentlich größeren Aktionsradius und sind weniger abhängig davon, dass der Aktionsraum, in dem die Anwendung ausgeführt werden soll, speziell vorbereitet ist. Allerdings sind auch Systeme mit mitbewegten Kameras derzeit noch nicht unabhängig von ihrem Umfeld. Üblicherweise werden spezielle Marker in der Umgebung angebracht, die von der Kamera erfasst werden, um das Tracking zu ermöglichen. Reine bildbasierte Trackingverfahren, die ohne Marker in der Szene auskommen und lediglich aus dem erfassten zweidimensionalen Bild sowohl Position als auch Orientierung im Raum berechnen, sind noch Gegenstand der Forschung. Derzeit ist die Berechnung der Kameraposition und -orientierung in der Regel noch numerisch instabil. Außerdem sind die Ergebnisse rauschempfindlich und häufig ungenau hinsichtlich der Identifizierung und Lokalisierung von Bildmerkmalen der Szene.The Systems with moving cameras usually allow one much larger range of action and are less dependent that the action space in which the application is running should, is specially prepared. However, systems are also included still moving cameras not yet independent of their environment. Usually special markers are placed in the area, which are used by the Camera can be detected to enable tracking. Pure image-based Tracking methods that manage without markers in the scene and only from the captured two-dimensional image both position and Calculating orientation in space are still the subject of research. Currently, the calculation of the camera position and orientation usually still numerically unstable. Besides, the results are sensitive to noise and frequent inaccurate regarding the identification and localization of image features the scene.
Der
Artikel mit dem Titel „Augmented
Reality for manufacturing planning" von F. Doil u. a., veröffentlicht
in: ACM International Conference Proceeding Series; Vol. 39, 2003,
Seiten 71–76,
abrufbar im Internet unter der URL: http://portal.acm.org/citation.cfm?id=769962&jmp=citings&coll=&dl=acm&CFID =15151515&CFTOKEN=6184618
(Abrufdatum 12. Dezember 2006) beschreibt ein AR-System zum Planen
einer Fabrik. Durch Verwendung einer intuitiven Benutzerschnittstelle
soll der Planer verschiedene Produktionssysteme oder -Einrichtungen
direkt der Fabrikhalle visualisieren. Die Visualisierung soll kontextabhängig sein und
mit der realen Umgebung kongruent sein. Daher wird ein HMD (Head-Mounted
Display) verwendet. Ein Marker-basiertes optisches Trackingsystem
registriert die notwendigen Marker in der realen Umgebung. Jeder
Marker kann einem verschiedenen virtuellen Objekt zugeordnet werden.
Die Zuordnung wird durch ein einfaches Menü bewirkt, um die erforderliche
Flexibilität
zu unterstützen.
Durch Verschieben eines Markers werden die virtuellen Elemente in
der Szene bewegt. Gemäß Abschnitt
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene anzugeben, die eine genaue und stabile Berücksichtigung einer Bewegung der Darstellungseinrichtung und/oder des Anwenders in Bezug auf die Szene ermöglichen. Dabei soll auf eine spezielle Vorbereitung der Szene für das Tracking möglichst verzichtet werden können.It is an object of the present invention, a method and a Arrangement for inserting location-related information into a visual representation or view a scene that is accurate and stable consideration a movement of the presentation device and / or the user with respect to the scene. It should focus on a special preparation of the scene for tracking preferably can be dispensed with.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des beigefügten Patentanspruchs 1 und durch eine Anordnung mit den Merkmalen des beigefügten Patentanspruchs 7 gelöst.The The object is achieved by a method having the features of the appended patent claim 1 and by an arrangement having the features of the attached patent claim 7 solved.
Es wird vorgeschlagen, den Abstand von Elementen der Szene zu einer Messeinrichtung oder der Darstellungseinrichtung zu messen und daraus die momentane Position und Orientierung für das Einblenden der ortsbezogenen Informationen zu ermitteln. Insbesondere kann zur Messung des Abstandes eine speziell ausgestaltete Kamera verwendet werden. Vorzugsweise reicht dazu eine einzige Kamera aus. Die Verwendung einer stereotaktischen Anordnung mit zumindest zwei Kameras ist nicht erforderlich. Bei den Elementen der Szene handelt es sich z.B. um Bereiche, die einzelnen Pixeln einer digitalen Kamera bzw. eines Bildes einer digitalen Kamera entsprechen oder um Bereiche, die mehreren Pixeln des Bildes bzw. der Kamera entsprechen.It It is suggested that the distance of elements of the scene to one Measuring device or the display device to measure and from the current position and orientation for showing the location-related To determine information. In particular, to measure the distance a specially designed camera can be used. Preferably enough for a single camera. The use of a stereotactic arrangement with at least two cameras is not required. At the elements the scene is e.g. around areas, the individual pixels a digital camera or an image of a digital camera correspond or to areas that are multiple pixels of the image or correspond to the camera.
Auf
diese Weise kann ein Bild mit zusätzlicher Tiefeninformation
der Szene gewonnen werden. Insbesondere enthalten die von der Kamera
gelieferten Bilddaten bereits (örtlich)
dreidimensionale Positionsinformationen über die Szene. Mit diesen Informationen
ist es möglich,
die momentane Position und Orientierung der Kamera und/oder eines
mit der Kamera verbundenen Gegenstandes (insbesondere der Darstellungseinrichtung
zur visuellen Darstellung der eingeblendeten ortsbezogenen Informationen)
zu ermitteln. Insbesondere wird vorgeschlagen, als Kamera des Abstands-Messsystems
eine so genannte Flugdistanz-Kamera (Time-of-Flight Camera) zu verwenden.
Derartige Kameras sind beispielsweise aus US 2004/0008394 A1 bekannt.
Der Inhalt dieser US-Patentanmeldung wird hiermit vollinhaltlich
als Ausführungsbeispiel
für eine
Flugdistanz-Kamera in die vorliegende Beschreibung aufgenommen.
Insbesondere kann die Flugdistanz-Kamera wie ab Absatz
Weiterhin wird der Inhalt des folgenden Dokuments bezüglich der Beschreibung eines möglichen Ausführungsbeispiels einer Flugdistanz-Kamera in die vorliegende Beschreibung aufgenommen: T. Oggier, M. Lehmann et al., „3D Time-of-Flight Camera Demonstrator", veröffentlicht als CSEM Scientific and Technical Report 2003 im Internet unter http://www.csem.ch/corporate/Report2003/pdf/p45.pdf, veröffentlicht durch CSEM, Rue Jaquet-Droz 1, CH-2007 Neuchâtel, Schweiz. Insbesondere wird der Inhalt des einseitigen Dokuments bezüglich dem Aufbau der Kamera mit Beleuchtungseinheit und bezüglich der Auswertung der von der Kamera gelieferten Signale in diese Beschreibung mit aufgenommen.Farther becomes the content of the following document regarding the description of a potential embodiment a flying distance camera included in the present description: T. Oggier, M. Lehmann et al., "3D Time-of-Flight Camera Demonstrator ", published as CSEM Scientific and Technical Report 2003 on the Internet at http://www.csem.ch/corporate/Report2003/pdf/p45.pdf, released by CSEM, Rue Jaquet-Droz 1, CH-2007 Neuchâtel, Switzerland. Especially becomes the content of the one-page document regarding the construction of the camera Lighting unit and re the evaluation of the signals supplied by the camera in this description recorded with.
Insbesondere
wird Folgendes vorgeschlagen:
Ein Verfahren zum Einblenden
ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht
einer Szene, insbesondere Augmented Reality Verfahren, wobei
- – ein Abstands-Messsystem mit einer Darstellungseinrichtung zur visuellen Darstellung der eingeblendeten Informationen verbunden wird,
- – von dem Abstands-Messsystem elektromagnetische Strahlung auf die Szene eingestrahlt wird, sodass die Szene zumindest einen Teil der elektromagnetischen Strahlung in Richtung des Abstands-Messsystems reflektiert,
- – von dem Abstands-Messsystem wiederholt Bilder der von der Szene reflektierten Strahlung aufgenommen werden und aus den Bildern Informationen jeweils über einen Abstand einer Mehrzahl von Elementen der Szene gewonnen werden,
A method for inserting location-related information into a visual representation or view of a scene, in particular augmented reality method, wherein
- A distance measuring system is connected to a display device for the visual display of the displayed information,
- The electromagnetic radiation is radiated onto the scene by the distance measuring system so that the scene reflects at least part of the electromagnetic radiation in the direction of the distance measuring system,
- Images of the radiation reflected by the scene are repeatedly recorded by the distance measuring system and information is obtained from the images in each case over a distance of a plurality of elements of the scene,
Das Einblenden der ortsbezogenen Information in die visuelle Darstellung oder Ansicht der Szene kann auf beliebige Weise erfolgen. Beispielsweise bei Verwendung einer Datenbrille können die zum Einblenden von Informationen üblichen Techniken angewandt werden. Bei Verwendung eines Displays kann die ortsbezogene Information unmittelbar durch das Display dargestellt werden. Dabei kann die ortsbezogene Information der Ansicht der Szene überlagert werden, d.h. die Szene und die überlagerte ortsbezogene Information bilden insgesamt diejenige Bildinformation, die auf dem Display dargestellt wird. Beim Einblenden der ortsbezogenen Information in eine Datenbrille oder eine andere semitransparente Darstellungseinrichtung betrachtet der Anwender dagegen das Bild der Szene durch die semitransparente Darstellungseinrichtung hindurch. Es sind weitere, andersartige Darstellungseinrichtungen denkbar, z.B. Darstellungseinrichtungen, von denen auch die Ansicht der Szene projiziert wird.The display of the location-related information in the visual representation or view of the scene can be done in any way. For example, when using smart glasses, the techniques common for fading information can be used. When using a display, the location-related information can be displayed directly through the display. In this case, the location-related information of the view of the scene can be superimposed, ie the scene and the superimposed location-related information in total form that image information that is displayed on the screen. When displaying the location-related information in By contrast, the user views the image of the scene through the semitransparent display device by using data glasses or another semitransparent display device. There are other, different presentation devices conceivable, for example display devices, of which the view of the scene is projected.
Gemeinsam ist den verschiedenen Typen von Darstellungseinrichtung, dass die ortsbezogene Information jeweils lagerichtig zu der visuellen Darstellung oder Ansicht der Szene dargestellt werden kann, wobei die Lage der ortsbezogenen Information von der aktuellen Position und Orientierung der Augen des Betrachters und/oder der aktuellen Position und Orientierung der Darstellungseinrichtung relativ zu der Szene abhängen.Together is the different types of presentation device that the location-related information in each case in the correct position to the visual representation or view of the scene can be represented, the location of the location-specific information of the current position and orientation the eyes of the beholder and / or the current position and orientation dependency of the presentation device relative to the scene.
Das Abstands-Messsystem (insbesondere eine Flugdistanz-Kamera) wird mit der Darstellungseinrichtung verbunden, so dass zumindest während eines Teil-Zeitraumes der Benutzung keine Änderung der Relativposition und relativen Orientierung stattfindet.The Distance measuring system (in particular a flight distance camera) is connected to the presentation device, so that at least during a Part-period the use no change of Relative position and relative orientation takes place.
Gemeinsam ist den oben genannten Flugzeitdistanz-Kameras, dass die Szene aktiv beleuchtet wird. Insbesondere kann elektromagnetische Strahlung auf die Szene eingestrahlt werden, wobei eine Strahlungsflussdichte der von dem Abstands-Messsystem emittierten Strahlung variiert wird, insbesondere periodisch variiert wird. Frequenzen dieser Modulation der für die Beleuchtung verwendeten Strahlung liegen z.B. im Bereich von 15 bis 25 MHz.Together is the above time-of-flight cameras that the scene is active is illuminated. In particular, electromagnetic radiation be irradiated to the scene, wherein a radiation flux density the radiation emitted by the distance measuring system is varied, is varied in particular periodically. Frequencies of this modulation the for the illumination used for illumination is e.g. In the range of 15 to 25 MHz.
Entsprechend der Variation der emittierten Strahlung variiert die von der Szene reflektierte Strahlung. Daraus kann der Abstand ermittelt werden, insbesondere aus einer Phase und/oder Intensität einer von dem Abstands-Messsystem empfangenen Strahlung. An sich ist bereits die Auswertung der Phase ausreichend. Zusatzinformationen kann jedoch auch die Auswertung der Stärke der empfangenen reflektierten Strahlung liefern, da die Stärke bzw. Strahlungsflussdichte proportional zu dem Quadrat des Abstandes zwischen Szene und Abstands-Messsystem abnimmt.Corresponding the variation of emitted radiation varies from that of the scene reflected radiation. From this, the distance can be determined in particular from a phase and / or intensity of the distance measuring system received radiation. In itself, the evaluation of the phase is already sufficient. However, additional information may also be the evaluation the strength the received reflected radiation, since the strength or radiation flux density proportional to the square of the distance between scene and distance measuring system decreases.
Vorzugsweise werden die Gewinnung der Abstands-Informationen und die Ermittlung der Position und Orientierung fortlaufend wiederholt, so dass das Einblenden der ortsbezogenen Informationen in Echtzeit oder quasi in Echtzeit entsprechend einer aktuellen Position und Orientierung möglich ist. Hierzu kann der Anwender einen Rechner des Abstands-Messsystems mit sich tragen. Der Anwender ist also mobil und kann daher nahezu jede mögliche Position relativ zu der Szene einnehmen. Alternativ kann der Rechner jedoch auch ortsfest sein und können die Daten der Kamera (insbesondere drahtlos) zu dem Rechner übertragen werden. Umgekehrt liefert der Rechner in diesem Fall die für das lagerichtige Darstellen der ortsbezogenen Informationen nötigen Daten zurück zu der Darstellungseinrichtung, die der Anwender trägt oder die im Bereich des Anwenders angeordnet ist.Preferably will be obtaining the distance information and the determination the position and orientation repeated continuously, so that the Show the location-related information in real time or quasi in real time according to a current position and orientation possible is. For this purpose, the user can use a computer of the distance measuring system carry with you. The user is therefore mobile and can therefore almost every possible position relative to the scene. Alternatively, however, the calculator can also be stationary and can transmit the data from the camera (in particular wirelessly) to the computer become. Conversely, the computer in this case supplies the for the correct position Representing the location-related information necessary data back to the Representation device that the user wears or in the area of User is arranged.
Zum Vergleich der aus dem Abstands-Messsystem erhaltenen dreidimensionalen Informationen über die Szene kann ein dreidimensionales Modell der Szene oder eines Teils der Szene verwendet werden. Ein solches dreidimensionales Modell kann mit an sich bekannten Mitteln erstellt werden, beispielsweise aus den Daten eines CAD-Systems, mit dem ein oder mehrere Objekte der Szene konstruiert wurden.To the Comparison of the obtained from the distance measuring system three-dimensional information about the scene can be a three-dimensional model of the scene or a Part of the scene to be used. Such a three-dimensional Model can be created by means known per se, for example from the data of a CAD system, with which one or more objects the scene were constructed.
Insbesondere wenn solche Planungsdaten nicht vorhanden sind, kann das Abstands-Messsystem während einer Initialisierungsphase dazu verwendet werden, ein dreidimensionales Modell der Szene zu gewinnen.Especially if such planning data are not available, the distance measuring system can while an initialization phase to be used, a three-dimensional Model of the scene to win.
Außerdem wird eine Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene vorgeschlagen, insbesondere Augmented Reality Anordnung, wobei die Anordnung Folgendes aufweist:
- – eine Darstellungseinrichtung, die ausgestaltet ist, zumindest die eingeblendeten Informationen darzustellen,
- – ein Abstands-Messsystem, das mit der Darstellungseinrichtung verbunden ist
- A display device which is designed to display at least the information displayed,
- A distance measuring system connected to the display device
Wegen der Vorteile und weiterer Ausgestaltungen der Anordnung wird auf die vorangegangene Beschreibung des Verfahrens verwiesen und auf die folgende Beschreibung der Ausführungsbeispiele.Because of the advantages and further developments of the arrangement is on referenced the previous description of the method and on the following description of the embodiments.
Die Ausführungsbeispiele werden nun unter Bezugnahme auf die beigefügte Zeichnung beschrieben. Die einzelnen Fig. der Zeichnung zeigen:The embodiments will now be described with reference to the accompanying drawings. The individual figures of the drawing show:
Die
schematisch in
Einige
der Objekte
Bei
dem bevorzugten Ausführungsbeispiel der
Erfindung, das hier anhand der
Wie
Um
die ortsbezogene Information lagerichtig darstellen zu können, wird
nun unter Verwendung der Kamera
Anders ist es bei einer Darstellungseinrichtung, auf der auch ein Bild der Szene dargestellt wird. Hierfür kann das von der Flugdistanz-Kamera erzeugte (konventionelle) zweidimensionale Bild verwendet werden. Die zusätzliche dreidimensionale (Tiefen-) Information der Flugdistanz-Kamera wird dann zusätzlich für die Bestimmung der relativen Lage und Ausrichtung verwendet. Der Vorteil einer solchen Anordnung ist, dass der Anwender sich relativ zu der Darstellungseinrichtung bewegen kann.Different it is at a presentation device on which also a picture the scene is shown. This can be done by the flying distance camera generated (conventional) two-dimensional image can be used. The additional Three-dimensional (depth) information of the flying distance camera is then additionally for the Determination of the relative position and orientation used. The advantage such an arrangement is that the user relative to the Can move presentation device.
Die
in der
Wie
Auch
der Rechner
Grundsätzlich ist
es also möglich,
dass nicht nur ein Rechner vorgesehen ist, sondern ein erster Rechner
zur Ermittlung der Tiefeninformation aus den von der Kamera gelieferten
Bildsignalen und ein zweiter Rechner zur Bestimmung der Relativposition und
Orientierung. Darüber
hinaus kann noch ein weiterer Rechner vorgesehen sein, um die lagerichtige Darstellung
der ortsbezogenen Information auf der Darstellungseinrichtung
Um
auf die Ausführungsvariante
gemäß der Veröffentlichung
von Oggier, Lehmann et al. zurückzukommen,
erzeugt die Beleuchtungseinrichtung
Insbesondere kann die Tiefenbestimmung wie in US 2004/0008394 A1 beschrieben ausgeführt werden. Für weitere Details der Tiefenbestimmung wird auf dieses Dokument verwiesen.Especially For example, depth determination may be as described in US 2004/0008394 A1 be executed. For further Details of the depth determination are referred to this document.
In
Bezug auf das Flussdiagramm von
In Schritt S3, der auf Schritt S2 folgt, werden aus den beiden 3D-Datensätzen die aktuelle Position und Orientierung der Kamera und damit auch der Darstellungseinrichtung ermittelt. Dabei wird die Transformationsmatrix bestimmt, mit der einer der beiden Datensätze (insbesondere der Datensatz des Modells) in das Koordinatensystem des anderen Datensatzes transformiert werden kann. Ein solcher Vorgang wird allgemein als Registrierung bezeichnet. Vorzugsweise wird dabei ein ICP-(iterative closest point) Verfahren angewendet. Eine bevorzugte Ausführungsform des ICP-Verfahrens ist in der Veröffentlichung von Paul J. Besl und Neil D. McKay „A Method for Registration of 3-D Shapes" IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14 Nr. 2, Februar 1992, Seiten 239 bis 256 beschrieben. Der Inhalt dieser Veröffentlichung, insbesondere des Abschnitts III ab Seite 241 bis Ende Abschnitt IV auf Seite 246, wird hiermit vollinhaltlich in diese Beschreibung aufgenommen.In Step S3 following step S2 becomes the two 3D data sets current position and orientation of the camera and thus also the presentation device determined. The transformation matrix is determined with which one of the two datasets (especially the record of the model) in the coordinate system the other record can be transformed. Such a process is commonly referred to as registration. Preferably is doing an ICP (iterative closest point) method applied. A preferred embodiment of the ICP method is described in the publication by Paul J. Besl and Neil D. McKay "A Method for Registration of 3-D Shapes "IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, February 1992, pages 239 to 256 described. The content of this publication, in particular of Section III from page 241 to the end of Section IV on page 246, is hereby incorporated in full in this description.
Das ICP-Verfahren ist bereits, wie der Name sagt, ein iteratives Verfahren, das angewendet wird, um die Registrierung von 3D-Datensätzen zu optimieren. Als Ergebnis wird eine Lösung der Registrierung erhalten, bei der die Abweichung zwischen dem transformierten ersten 3D-Datensatz und dem zweiten 3D-Datensatz minimal ist. Um die von der Kamera gewonnen Bilddaten für das ICP-Verfahren zu verbessern, wird vorzugsweise eine Filterung (Glättung) der von der Kamera gewonnenen 3D-Daten vorgenommen. Die Filterung dient insbesondere dazu, statistische Schwankungen in den Sensorsignalen der einzelnen Pixel der Kamera auszugleichen (zu glätten).The ICP method is already, as the name implies, an iterative method that is used to optimize the registration of 3D datasets. As a result, a solution of the registration is obtained in which the deviation between the transformed first 3D data set and the second 3D data set is minimal. To those of the came ra gained image data for the ICP process, preferably a filtering (smoothing) of the 3D data obtained by the camera is made. The filtering serves, in particular, to compensate (smoothen) statistical fluctuations in the sensor signals of the individual pixels of the camera.
In
Bezug auf den weiteren Ablauf des anhand von
In dem darauf folgenden Schritt S5 wird die ortsbezogene Information eingeblendet.In the subsequent step S5 becomes the location-related information appears.
Es
wird nun das Verfahren gemäß dem Flussdiagramm
von
In
Schritt S11 wird davon ausgehend für einen neuen, späteren Zeitpunkt
wiederum ein 3D-Bild der Szene durch die Kamera
In den folgenden Schritten S12 und S13 findet nun wiederum der Abgleich zwischen zwei 3D-Datensätzen (Schritt S12) und die Bestimmung der Transformationsmatrix, vorzugsweise wiederum gemäß dem ICP-Verfahren, statt. Diesmal jedoch wird der Abgleich bzw. die Transformation zwischen dem in dem vorherigen Schritt und dem in dem jetzigen Schritt vorliegenden Kamerabild vorgenommen. Da sich die Position und Orientierung in der Regel zwischen Zeitpunkten, die in kurzem Abstand aufeinander folgen, nicht wesentlich geändert hat, ist die Transformation mit sehr viel geringerem Rechenaufwand zu ermitteln. Außerdem hat dies den Vorteil, dass mit hoher Sicherheit die richtige Transformationsmatrix gefunden wird und nicht lediglich eine Transformationsmatrix, die einer Nebenlösung entspricht, welche einem lokalen, aber nicht absoluten Minimum der Abstände entspricht.In The following steps S12 and S13 again find the adjustment between two 3D datasets (Step S12) and the determination of the transformation matrix, preferably again according to the ICP procedure, instead of. This time, however, the adjustment or the transformation between the one in the previous step and the one in the current step present camera image made. As is the position and orientation usually between times that are in close proximity to each other follow, not changed significantly has, the transformation is at a much lower computational cost to investigate. Furthermore this has the advantage that with great certainty the right transformation matrix is found and not just a transformation matrix, the a side solution which corresponds to a local but not absolute minimum of distances equivalent.
In dem folgenden Schritt S14 wird dann das aktuelle 3D-Bild des Verfahrensdurchlaufs zusammen mit der zugehörigen Transformationsinformation für den nächstfolgenden Verfahrensdurchlauf gespeichert.In The next step S14 is then the current 3D image of the process run along with the associated Transformation information for the next Process flow saved.
In den folgenden Schritten S15 und S16 wird wiederum die Lage der einzublendenden ortsbezogenen Information ermittelt (Schritt S15) und in Schritt S16 eingeblendet.In The following steps S15 and S16 again show the position of the one to be displayed Location-related information determined (step S15) and in step S16 appears.
Falls
zu Beginn einer Anwendung noch kein 3D-Modell der zu betrachtenden
Szene existiert, kann ein solches Modell unter Verwendung der Flugdistanz-Kamera und unter
Verwendung der zugehörigen
weiteren Komponenten der Anordnung (beispielsweise der anhand von
Allgemein,
Iosgelöst
von den konkreten Ausführungsbeispielen,
die unter Bezugnahme auf die beigefügten Figuren erläutert wurden,
hat die Erfindung folgende Vorteile:
Durch Verwendung einer
Kamera, die mit der Darstellungseinrichtung verbunden wird, ist
der mobile Einsatz der Darstellungseinrichtung mit veränderlicher
Relativposition und Orientierung in Bezug auf die Szene möglich.Generally, solved by the specific embodiments, which have been explained with reference to the accompanying figures, the invention has the following advantages:
By using a camera connected to the display device, the mobile use of the display device is variable relative position and orientation with respect to the scene possible.
Die zusätzlich zu zweidimensionalen Kamerabildern verfügbare Tiefeninformation bzw. 3D-Information macht das Verfahren unabhängig von zusätzlichen Einrichtungen oder Maßnahmen an der Szene, wie beispielsweise das Anbringen von Markern in der Szene. Dabei bleibt der Rechenaufwand für die Ermittlung der Relativposition und Orientierung, verglichen mit Verfahren, die lediglich zweidimensionale Kamerabilder auswerten, gering und führt zu einer stabilen Lösung für das optische Tracking. Außerdem ist es bei dem bereits heute gegebenen hohen Miniaturisierungsgrad von Flugdistanz-Kameras und zugeordneter Hardware zur Auswertung der Kamerasignale möglich, sehr handliche, kompakte Ausführungen mit geringem Gewicht herzustellen, die die Darstellungseinrichtung und Kamera und optional sogar den Rechner enthalten.The additionally available to two-dimensional camera images depth information or 3D information makes the process independent of additional Facilities or measures at the scene, such as the placing of markers in the Scene. The computational effort for the determination of the relative position remains and orientation, compared to methods that are only two-dimensional camera images evaluate, low and leads to a stable solution for the optical tracking. Besides that is in the already high degree of miniaturization of Flight distance cameras and associated hardware for the evaluation of the camera signals possible, very handy, compact versions produce low weight, the presentation device and camera and optionally even the calculator included.
Claims (9)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102006006001A DE102006006001B3 (en) | 2006-02-08 | 2006-02-08 | Method and arrangement for inserting location-related information into a visual representation or view of a scene |
| PCT/EP2007/001108 WO2007090660A1 (en) | 2006-02-08 | 2007-02-05 | Method and arrangement for blending location-related information into a visual representation or view of a scene |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102006006001A DE102006006001B3 (en) | 2006-02-08 | 2006-02-08 | Method and arrangement for inserting location-related information into a visual representation or view of a scene |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102006006001B3 true DE102006006001B3 (en) | 2007-10-04 |
Family
ID=37963892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102006006001A Expired - Fee Related DE102006006001B3 (en) | 2006-02-08 | 2006-02-08 | Method and arrangement for inserting location-related information into a visual representation or view of a scene |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102006006001B3 (en) |
| WO (1) | WO2007090660A1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014009608A1 (en) * | 2014-06-27 | 2015-12-31 | Audi Ag | Operation of AR glasses in the motor vehicle |
| DE102014213021A1 (en) * | 2014-07-04 | 2016-01-07 | Bayerische Motoren Werke Aktiengesellschaft | Localization of an HMD in the vehicle |
| DE102010017630B4 (en) * | 2010-06-29 | 2016-06-02 | Leica Microsystems Cms Gmbh | Method and device for light microscopic imaging of a sample structure |
| US10969579B2 (en) | 2017-08-30 | 2021-04-06 | Volkswagen Aktiengesellschaft | Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method |
| WO2025119433A2 (en) | 2023-12-07 | 2025-06-12 | Viega Technology Gmbh & Co.Kg | Method for providing drinking water, drinking water supply assembly, and hot-water and flushing-function switching unit |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5211120B2 (en) | 2010-07-30 | 2013-06-12 | 株式会社東芝 | Information display device and information display method |
| US8315674B2 (en) | 2010-10-08 | 2012-11-20 | Research In Motion Limited | System and method for displaying object location in augmented reality |
| CN106199216B (en) * | 2016-08-02 | 2019-05-03 | 海信集团有限公司 | Radiate value display method and device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10116331A1 (en) * | 2000-08-22 | 2002-03-14 | Siemens Ag | System and method for the combined use of different display / device types with system-controlled context-dependent information display |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3745117B2 (en) * | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
| GB2376397A (en) * | 2001-06-04 | 2002-12-11 | Hewlett Packard Co | Virtual or augmented reality |
-
2006
- 2006-02-08 DE DE102006006001A patent/DE102006006001B3/en not_active Expired - Fee Related
-
2007
- 2007-02-05 WO PCT/EP2007/001108 patent/WO2007090660A1/en not_active Ceased
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10116331A1 (en) * | 2000-08-22 | 2002-03-14 | Siemens Ag | System and method for the combined use of different display / device types with system-controlled context-dependent information display |
Non-Patent Citations (2)
| Title |
|---|
| Doil,F., u.a.: Augmented Reality for manufacturing planning. In: ACM International Conference Pro- ceeding Series, Vol.39, 2003, P.71-67, [online]. Im Internet: URL: http://protal.acm.org/citiation. cfm?id=769962&coll=ACM&dl=ACM&CFID=2358194&CFTOKEN =49569151 |
| Doil,F., u.a.: Augmented Reality for manufacturing planning. In: ACM International Conference Proceeding Series, Vol.39, 2003, P.71-67, [online]. Im Internet: URL: http://protal.acm.org/citiation. cfm?id=769962&coll=ACM&dl=ACM&CFID=2358194&CFTOKEN =49569151 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010017630B4 (en) * | 2010-06-29 | 2016-06-02 | Leica Microsystems Cms Gmbh | Method and device for light microscopic imaging of a sample structure |
| US9772485B2 (en) | 2010-06-29 | 2017-09-26 | Leica Microsystems Cms Gmbh | Method and device for light-microscopic imaging of a sample structure |
| DE102014009608A1 (en) * | 2014-06-27 | 2015-12-31 | Audi Ag | Operation of AR glasses in the motor vehicle |
| DE102014213021A1 (en) * | 2014-07-04 | 2016-01-07 | Bayerische Motoren Werke Aktiengesellschaft | Localization of an HMD in the vehicle |
| US10162409B2 (en) | 2014-07-04 | 2018-12-25 | Bayerische Motoren Werke Aktiengesellschaft | Locating a head mounted display in a vehicle |
| US10969579B2 (en) | 2017-08-30 | 2021-04-06 | Volkswagen Aktiengesellschaft | Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method |
| WO2025119433A2 (en) | 2023-12-07 | 2025-06-12 | Viega Technology Gmbh & Co.Kg | Method for providing drinking water, drinking water supply assembly, and hot-water and flushing-function switching unit |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007090660A1 (en) | 2007-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE69729684T2 (en) | Navigation device with shape change display function | |
| DE69327390T2 (en) | Arrangement for three-dimensional image display | |
| EP2464098B1 (en) | Vicinity presentation device, a vehicle with such a vicinity presentation device and method for displaying a panorama image | |
| DE102013209415A1 (en) | Dynamic Note Overlay with Image Pruning | |
| DE102015006612B4 (en) | Method for operating data glasses in a motor vehicle and system with data glasses | |
| EP0805362B1 (en) | Method for low-flying aircraft for warning of obstacle | |
| WO2007090660A1 (en) | Method and arrangement for blending location-related information into a visual representation or view of a scene | |
| DE112012001022T5 (en) | Alignment control in a head-worn augmented reality device | |
| WO2009010195A1 (en) | Method and system for determining the position and orientation of a camera relative to a real object | |
| EP0799434A1 (en) | Microscope, in particular a stereomicroscope, and a method of superimposing two images | |
| DE102016217628B4 (en) | A method of operating a surgical microscopy system, a motion sensing system for a surgical microscopy system, and an operating microscopy system | |
| DE102011075703A1 (en) | Method and device for calibrating a projection device of a vehicle | |
| DE102012111345B4 (en) | Mobile handset for aligning a sensor | |
| DE102017010683A1 (en) | Method for automatic restoration of a measured state of a projection system | |
| DE102010011528A1 (en) | Receiving arrangement for extracting geometric and photometric object data of e.g. objects, in accident site, has slope unit roatably coordinating at angle and connected with line camera, so that slope unit is moved in rotational axes | |
| EP2350977B1 (en) | Method for combining at least two images to form a panoramic image | |
| DE102005011126A1 (en) | Generation of virtual worlds based on a real environment | |
| DE102013100569A1 (en) | Method for displaying surrounding of vehicle of vehicle assembly and training system, involves detecting three-dimensional image data of surrounding by detection device arranged at vehicle | |
| WO2020126240A1 (en) | Method for operating an automation technology field device in an augmented-reality/mixed-reality environment | |
| WO2019091688A1 (en) | System and method for determining a pose of augmented reality glasses, system and method for calibrating augmented reality glasses, method for assisting a determination of the pose of augmented reality glasses and motor vehicle suitable for the method | |
| DE102017220005A1 (en) | Method and display device for guiding a work machine | |
| DE102014116904A1 (en) | Method for optically scanning and measuring a scene and automatically generating a video | |
| DE102018206675A1 (en) | Method for controlling a machine by means of at least one spatial coordinate as a control variable and control system of a machine | |
| DE102007032471A1 (en) | Position determining method for e.g. on-board camera system, involves establishing representation function specifying representation of object points, and determining unknown parameters of function using numerical resolution technique | |
| DE60305345T2 (en) | IMAGE PROCESSING DEVICE WITH DETECTION AND SELECTION OF LIGHT SOURCES |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8364 | No opposition during term of opposition | ||
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |