DE102008023439B4

DE102008023439B4 - Augmented reality binoculars for navigation support

Info

Publication number: DE102008023439B4
Application number: DE102008023439A
Authority: DE
Inventors: Reinhard Prof. Dr. Koch; Kristine Haase
Original assignee: Christian Albrechts Universitaet Kiel
Current assignee: Bauer Kristine De; KOCH, REINHARD, DE
Priority date: 2008-05-14
Filing date: 2008-05-14
Publication date: 2011-02-17
Anticipated expiration: 2028-05-15
Also published as: DE102008023439A1; WO2009138069A1

Abstract

Vorrichtung zur Augmentierung eines elektronischen Abbildes einer realen Szene mit Augmentierungsinformationen umfassend eine perspektivische elektronische Kamera, ein Display zur Wiedergabe des Abbildes der realen Szene, eine Einrichtung zur Bestimmung der Position der perspektivischen Kamera in einem globalen Koordinatensystem, eine Einrichtung zur kontinuierlichen Bestimmung der Verdrehung der perspektivischen Kamera bezüglich des globalen Koordinatensystems, eine Datenspeichereinheit enthaltend die Augmentierungsinformationen bezüglich des globalen Koordinatensystems, eine Recheneinheit ausgebildet zur Kommunikation mit der Datenspeichereinheit und den Einrichtungen zur Positions- und Verdrehungsbestimmung sowie mit der perspektivischen Kamera und dem Display, wobei die Recheneinheit dem Display Anweisungen zur Darstellung der Augmentierungsinformationen derart erteilt, dass diese Informationen sichtbaren Objekten im Abbild der realen Szene zugeordnet sind, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung der Verdrehung der perspektivischen Kamera folgende Komponenten umfasst
a. einen Sensor zur Messung der Schwerkraftrichtung in starrer Verbindung mit der perspektivischen Kamera,
b. eine sphärische Kamera in starrer Verbindung mit der perspektivischen Kamera,...Apparatus for augmenting an electronic image of a real scene with augmentation information comprising a perspective electronic camera, a display for reproducing the image of the real scene, means for determining the position of the perspective camera in a global coordinate system, means for continuously determining the rotation of the perspective A camera with respect to the global coordinate system, a data storage unit containing the global coordinate system augmentation information, a computing unit configured to communicate with the data storage unit and the position and rotation determination means, and the perspective camera and the display, wherein the computing unit provides the display with instructions to display the global coordinate system Augmentation information issued such that this information is associated with visible objects in the image of the real scene, characterized in that the device for determining the rotation of the perspective camera comprises the following components
a. a sensor for measuring the direction of gravity in rigid connection with the perspective camera,
b. a spherical camera in rigid connection with the perspective camera, ...

Description

Die Erfindung betrifft ein System und ein Verfahren zur Augmentierung eines elektronischen Abbildes einer realen Szene mit computergenerierten Informationen. Die Erfindung betrifft insbesondere eine vergrößernde elektronische Kamera mit daran angeordnetem binokularem Display ausgebildet nach Art eines Fernglases, wobei im Display computergenerierte Bildelemente dem Kamerabild einer realen Szene überlagert werden. Die Erfindung betrifft ein Verfahren, diese Einblendung der Symbole passgenau in Bezug auf vorab bekannte Objekte der realen Szene einzurichten unter Beachtung der aktuellen Kameraposition und -pose. Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Navigationsunterstützung insbesondere im Seeverkehrswesen.The The invention relates to a system and method for augmentation an electronic image of a real scene with computer generated Information. The invention particularly relates to a magnifying electronic Camera with binocular display arranged on it Type of binoculars, wherein the display computer-generated picture elements superimposed on the camera image of a real scene. The invention Regarding a method, this insertion of the symbols fits exactly in relation to previously known objects of the real scene taking into account the current camera position and pose. The invention relates to an apparatus and a method for navigation support in particular in maritime transport.

Eine Augmentierung ist das Einblenden von zusätzlichen Informationen in Aufnahmen der realen Umgebung des Benutzers. Die einfachste Form der Bildaugmentierung besteht im Einblenden von Informationen, die keinen direkten Bezug zur realen Szene haben, z. B. Datum und Uhrzeit in elektronischen Fotografien. Ein weiteres Beispiel ist das Einblenden aktueller Instrumentenanzeigen in das Sichtfeld eines Piloten, damit dieser seinen Blick nicht von einem Ziel im Unendlichen abwenden und auf die Instrumente fokussieren muss, um diese abzulesen. Er muss somit den Kopf auch nicht neigen, was einer solchen Vorrichtung die Bezeichnung „Head Up Display” (HUD) verschafft.A Augmentation is the insertion of additional information in recordings the real environment of the user. The simplest form of image augmentation consists of fading in information that is not directly related to the real scene, z. B. Date and time in electronic Photographs. Another example is the display of current Instrument displays in the field of view of a pilot for this do not turn his eyes away from a goal in the infinite and on to focus on the instruments in order to read them. He must therefore The head also does not tend, what such a device called "Head Up Display "(HUD) provides.

Sehr viel aufwendiger ist aber das Einblenden von Informationen über reale Objekte, die sich gerade im Sichtfeld des Beobachters befinden. Dies setzt voraus, dass die relative Position und Pose von Kamera zu Objekt bekannt sind oder ermittelt werden können, damit eine begrenzte Szenenrekonstruktion in einem Rechner erfolgen kann. Aufgabe der Szenenrekonstruktion ist zunächst festzustellen, ob sich das Objekt im Sichtfeld der Kamera befindet, und falls ja, an welcher Stelle – in Pixelkoordinaten – des elektronischen Bildes. Wünschenswert ist stets die Einblendung von Zusatzinformationen, z. B. ein Symbol (Icon) oder eine Objektbezeichnung, an oder unmittelbar neben der Position des Objekts im Bild.Very but much more complex is the fading in information about real Objects that are currently in the field of view of the observer. This assumes that the relative position and pose of camera are known or can be detected to object for a limited Scene reconstruction can be done in a computer. Task of Scene reconstruction is first determine if the object is in the field of view of the camera, and if so, where - in pixel coordinates - of the electronic Picture. Desirable is always the display of additional information, eg. For example, a symbol (Icon) or an object name, on or immediately next to the Position of the object in the image.

Die EP 0 722 601 B1 stellt ausführlich zweckmäßige Anwendungsmöglichkeiten von „Augmented Reality” (AR)-Sichtsystemen vor und gibt Hinweise auf den prinzipiellen Aufbau entsprechender Vorrichtungen. Unter anderem schlägt die Druckschrift auch vor, ein AR-Fernglas zur Unterstützung des Navigationsoffiziers eines Schiffes zu konzipieren. Eine nautische Peilung ist bisher nur bei Sichtkontakt zu ortsfesten Objekten möglich, wobei ein Abgleich mit Seekarten zur Identifikation der Objekte vorgenommen werden muss.The EP 0 722 601 B1 provides detailed useful applications of "Augmented Reality" (AR) -view systems and provides clues to the basic structure of such devices. Among other things, the document also proposes to design an AR binoculars in support of the navigation officer of a ship. A nautical bearing is so far only possible in visual contact with stationary objects, with a balance with nautical charts to identify the objects must be made.

Weitere hierfür geeignete Systeme sind auch aus der EP 1 501 051 A2 und der US 6 181 302 B1 bekannt.Other suitable systems are also from the EP 1 501 051 A2 and the US Pat. No. 6,181,302 B1 known.

Ein AR-Fernglas kann bei Nacht oder verdeckter Sicht zu den Objekten zur Identifikation der Navigationselemente beitragen und zusätzliche Informationen wie gegenwärtige Entfernung oder Eigenschaften wie Leuchtsignaltaktungen liefern. Die Positionen solcher Navigationselemente sowie zugeordnete Augmentierungsinformationen werden dafür aus digitalisierten, genormten Seekarten entnommen, die als elektronische Datenbasis kommerziell erhältlich sind.One AR binoculars can be used at night or obscured to view the objects contribute to the identification of navigation elements and additional Information like current ones To provide distance or characteristics such as luminous signal timings. The positions of such navigation elements as well as associated augmentation information be for it taken from digitized, standardized nautical charts, which serve as an electronic database commercially available are.

Der EP 0 722 601 B1 zufolge sind folgende Komponenten für das AR-System vorzusehen:

• elektronische Kamera
• Recheneinheit, z. B. Mikroprozessor,
• Vorrichtung zur Positionsbestimmung,
• Vorrichtung zur Bestimmung der Kamerapose, d. h. die Drehachsen und -winkel bezüglich eines Referenzkoordinatensystems (hier: mit dem Schiff bewegt)
• Datenbasis mit Eintragungen zu Objekten (hier: elektronische Seekarte)
• Display, in dem das Bild der realen Szene mit computergenerierten Einblendungen überlagert dargestellt wird.

Of the EP 0 722 601 B1 The following components are to be provided for the AR system:

• electronic camera
• arithmetic unit, z. B. microprocessor,
• device for position determination,
Device for determining the camera pose, ie the axes of rotation and angles with respect to a reference coordinate system (here: moved with the ship)
• Database with entries to objects (here: electronic nautical chart)
• Display in which the image of the real scene is overlaid with computer-generated overlays.

Um ein AR-Fernglas zu realisieren wird man bevorzugt ein binokulares Display verwenden wollen, schon um die gewöhnte Handhabung zu erleichtern. Die Kamera wird entweder zoomfähig oder aber mit einem fest gewählten Teleobjektiv zur Vergrößerung versehen sein. Die Recheneinheit wird ein handelsüblicher PC sein, in dem man vorzugsweise auch die Datenbasis gespeichert und vom Prozessor abrufbar vorhält.Around To realize an AR binoculars one is preferably a binocular Display, even to facilitate the accustomed handling. The camera is either zoomable or with a firmly chosen one Telephoto lens provided for enlargement be. The arithmetic unit will be a commercial PC in which one preferably also the database is stored and retrievable by the processor holds.

Als Vorrichtung zur Positionsbestimmung liegt ein GPS (Global Positioning System) Empfänger oder eine vergleichbare Einrichtung auf der Hand. Da Schiffe ohnehin mit einem solchen System und überdies mit einem hochgenauen Kompass ausgestattet sind, wird man die Daten zur Schiffsposition und den aktuellen Kurs („Heading”) des Schiffes der Recheneinheit zur Verfügung stellen wollen und können, um sie für das AR-System zu verwenden.As a device for position determination is a GPS (Global Positioning System) receiver or similar device is obvious. Since ships are equipped anyway with such a system and moreover with a high-precision compass, one gets the data to the ship position and the current Want to provide the heading of the ship of the arithmetic unit and can use it for the AR system.

Ein AR-Fernglas soll natürlich auf der Schiffsbrücke in die Hand genommen und an die Augen des Nutzers geführt werden können. Folglich ist die Bestimmung der Kamerapose in Echtzeit der kritische Faktor für die Brauchbarkeit des Systems. Der Nutzer wird das AR-Fernglas nicht ideal in einer festen Pose relativ zum Schiffsrumpf halten können, erst recht nicht bei Seegang, wenn er eine bestimmte Landmarke im Auge behalten will. Die Augmentierung muss seinen Bewegungen Schritt haltend angepasst werden, damit er sie sinnvoll nutzen kann.One AR binoculars should of course on the ship's bridge taken in the hand and led to the eyes of the user can. Consequently, the determination of the camera pose in real time is critical Factor for the Usability of the system. The user will not ideal the AR binoculars in a firm pose relative to the hull can hold, only not quite at sea, if he has a specific landmark in mind wants to keep. The augmentation has to step his movements be adjusted so that he can use it meaningfully.

Aus der EP 0 722 601 B1 ist zu entnehmen, dass die Vorrichtung zur Posebestimmung der Kamera in das handgehaltene Gerät zu integrieren ist und sich entweder auf die Messung des Erdmagnetfeldes oder auf eingebaute Gyrosensoren stützen soll. Die Magnetfeldmessung ist aber im vollständig metallischen Schiffsrumpf praktisch nicht möglich. Gyroskope oder Inertialsensoren erlauben nur relative Drehbestimmung und driften über die Zeit, sind somit nicht einsetzbar. Allein ein hochgenauer Kreiselkompass könnte dieses verhindern, ist aber im handgeführten AR-Fernglas nicht einbaubar.From the EP 0 722 601 B1 It can be seen that the device for determining the pose of the camera is to be integrated into the hand-held device and should be based either on the measurement of the earth's magnetic field or on built-in gyro sensors. The magnetic field measurement is practically impossible in the completely metallic hull. Gyroscopes or inertial sensors allow only relative rotation determination and drift over time, are therefore not applicable. But a high-precision gyro compass could prevent this, but is not installable in hand-held AR binoculars.

Eine Alternative offenbart beispielsweise die Druckschrift DE 10 2005 045 973 A1 , die sich ebenfalls mit der Ermittlung von Kameraposen und -positionen für Augmented Reality Anwendungen befasst. Es wird vorgeschlagen, Objektpunkte der Umgebung mit einer zusätzlichen Kamera, die mit der beweglichen AR-Systemkomponente (also hier mit dem AR-Fernglas) starr verbunden ist, zu erfassen. Diese zusätzliche Kamera soll i. F. als Tracking-Kamera bezeichnet werden. Die Bewegungen der Objektpunkte im von der Tracking-Kamera aufgezeichneten Bild während einer Translation oder Rotation der beweglichen AR-Systemkomponente können verfolgt („tracking”) und zur Bestimmung der Position und Pose in Echtzeit ausgewertet werden. Typisch ist auch die Installation von Markerobjekten an vorbekannten Positionen im Arbeitsbereich des AR-Systems (z. B. Industriehalle), die von allen Positionen der Tracking-Kamera aus möglichst gut sichtbar sind, um diese Auswertung zu vereinfachen.An alternative, for example, discloses the document DE 10 2005 045 973 A1 , which also deals with identifying camera poses and positions for augmented reality applications. It is proposed to capture object points of the environment with an additional camera which is rigidly connected to the movable AR system component (in this case to the AR binoculars). This additional camera should i. F. be referred to as a tracking camera. The movements of the object points in the image recorded by the tracking camera during translation or rotation of the movable AR system component can be tracked and evaluated in real time to determine position and pose. Also typical is the installation of marker objects at previously known positions in the working area of the AR system (eg industrial hall), which are as clearly visible as possible from all positions of the tracking camera in order to simplify this evaluation.

Besonders vorteilhaft ist das Ausbilden der Tracking-Kamera als sphärische oder halbsphärische Kamera, d. h. mit einem oder zwei Fischaugen-Objektiven zur Abbildung einer ca. 180° oder 360° Umgebung, wie die DE 10 2004 017 730 B4 lehrt. Verbindet man nämlich die bewegliche AR-Systemkomponente außer mit der Tracking-Kamera auch noch starr mit einem 3DOF-Rotationssensor, so ist es hiernach möglich, das von der Tracking-Kamera aufgezeichnete, sphärische Bild zeitlich Schritt haltend mit der Bewegung gegen die Rotation zu kompensieren, d. h. das sphärische Bild erscheint auf einem Monitor invariant gegenüber Verdrehungen der AR-Systemkomponente. Das rotationskompensierte Bild enthält nur noch Informationen über die Translation und kann separat ausgewertet werden, was in praktischen Anwendungen eine wesentliche Vereinfachung darstellt.Particularly advantageous is the formation of the tracking camera as a spherical or semi-spherical camera, ie with one or two fisheye lenses for imaging an approximately 180 ° or 360 ° environment, such as DE 10 2004 017 730 B4 teaches. After all, if the movable AR system component is also rigidly connected to a 3DOF rotation sensor in addition to the tracking camera, it is then possible to compensate the spherical image recorded by the tracking camera in a time-keeping manner with the movement against the rotation that is, the spherical image appears invariant on a monitor against rotations of the AR system component. The rotation-compensated image contains only information about the translation and can be evaluated separately, which represents a significant simplification in practical applications.

Für die Aufgabe, ein AR-Fernglas zum Einsatz auf einer Schiffsbrücke zu realisieren, reichen die vorgenannten Ansätze nicht aus.For the task, to realize an AR binoculars for use on a ship's bridge, range the aforementioned approaches not from.

Die erste Herausforderung liegt in der zu erreichenden Genauigkeit der Posebestimmung. Durch die Vergrößerung der Darstellung, wie sie für ein Fernglas charakteristisch ist, muss eine sehr viel höhere Genauigkeit als bei anderen Anwendungen erreicht werden, um trotzdem eine pixelgenaue Augmentierung gewährleisten zu können.The The first challenge lies in the accuracy that can be achieved Posebestimmung. By enlarging the Representation as they are for Binoculars are characteristic, a much higher accuracy can be achieved as with other applications to still be pixel-perfect Ensure augmentation to be able to.

Das zweite Problem in der Umsetzung einer Tracking-basierten Posebestimmung liegt darin, dass geeignete Tracking-Objekte, mithin also Marker, zweifellos im Nahbereich des AR-Fernglases, also auf der Schiffsbrücke, anzubringen sind, diese sich dann jedoch infolge des Seegangs in unvorhersehbarer Weise gegenüber dem interessierenden Koordinatensystem bewegen werden, in dem die Posebestimmung des AR-Fernglases letztlich erfolgen muss.The second problem in the implementation of a tracking-based pose determination This is because suitable tracking objects, ie markers, undoubtedly in the vicinity of the AR binoculars, So on the ship's bridge, are to be attached, but these then due to the sea in unpredictable way the coordinate system of interest in which the Pose determination of the AR binoculars must ultimately be made.

Es ist deshalb die Aufgabe der Erfindung, eine Vorrichtung zur Augmentierung des Bildes eines in der Hand gehaltenen Fernglases aus der Sicht einer Schiffsbrücke mit Informationen aus elektronischen Seekarten anzugeben sowie ein Verfahren zum Betreiben dieser Vorrichtung, das eine ausreichend genaue Posebestimmung des Fernglases erlaubt.It It is therefore the object of the invention to provide a device for augmenting the image of a hand-held binoculars from the viewpoint a ship's bridge with information from electronic nautical charts as well as a Method of operating this device, which is sufficient exact pose determination of the binoculars allowed.

Die Aufgabe wird gelöst durch eine Vorrichtung mit den Merkmalen des Anspruchs 1. Ein Nebenanspruch ist auf ein Verfahren zum Betreiben dieser Vorrichtung gerichtet. Die Unteransprüche geben vorteilhafte Ausgestaltungen an.The Task is solved by a device having the features of claim 1. An additional claim is directed to a method of operating this device. The dependent claims indicate advantageous embodiments.

Die erfindungsgemäße Vorrichtung umfasst eine perspektivische elektronische Kamera (Augmentierungskamera) mit einem Teleobjektiv (oder einem Zoomobjektiv) zur Aufnahme des Sichtfeldes des Benutzers, eine sphärische Kamera (Tracking-Kamera) zur Aufnahme von Markern in der lokalen Umgebung sowie einen Sensor zur Messung der Schwerkraftrichtung (künstlicher Horizont) und ein Display zur Darstellung der Augmentierung (i. F. wird die mobile Komponente des Gesamtsystems nur noch kurz AR-Fernglas genannt).The inventive device includes a perspective electronic camera (augmentation camera) with a telephoto lens (or a zoom lens) to record the Field of view of the user, a spherical camera (tracking camera) for recording markers in the local environment as well as a sensor for measuring the direction of gravity (artificial horizon) and a Display showing the augmentation (i Component of the overall system only briefly called AR binoculars).

Die erfindungsgemäße Vorrichtung umfasst weiterhin einen Rechner, z. B. einen PC, der aber nicht notwendig in das AR-Fernglas integriert ist. Der Rechner soll bevorzugt Informationen von den Navigationseinrichtungen des Schiffes (Position, Heading) erhalten und soll mit diesen eine Datenverbindung aufweisen. Der Rechner hält überdies elektronische Seekarten gespeichert vor und hat insbesondere Zugriff auf Positionen sichtbarer Objekte (Landmarken, Bojen etc.). Der Rechner muss mit dem AR-Fernglas Daten austauschen können. Dies kann nach dem Stand der Technik kabelgebunden, vorzugsweise aber auch kabellos erfolgen.The inventive device further includes a computer, for. As a PC, but not necessary integrated into the AR binoculars. The computer should preferably information from the navigation devices of the ship (position, heading) and should have a data connection with these. The computer also holds Electronic nautical charts are stored in front of and in particular have access on positions of visible objects (landmarks, buoys etc.). Of the Calculator must be able to exchange data with the AR binoculars. This can be wired according to the prior art, but preferably also be wireless.

Die letzte und sehr bedeutende Komponente der erfindungsgemäßen Vorrichtung ist eine Anordnung von wenigstens zwei Marker, die fest im Innern der Schiffsbrücke installiert sind. Die genauen Positionen dieser Marker sind – im Unterschied zum Stand der Technik der Bildrekonstruktion – eher unwichtig, aber sie müssen durch ihre relative Lage zueinander eine definierte Richtung relativ zum Schiff anzuzeigen. Vorzugsweise werden die Marker in einer Linie entlang dieser einmal gewählten Richtung angeordnet. Es ist besonders vorteilhaft, aber nicht notwendig, wenn die Marker entlang der Längsachse des Schiffes installiert werden, also die Heading-Richtung anzeigen.The last and very significant component of the device according to the invention is an arrangement of at least two markers that are fixed inside the ship bridge are installed. The exact positions of these markers are - in difference the state of the art of image reconstruction - rather unimportant, but they have to go through their relative position to each other a defined direction relative to Ship. Preferably, the markers are in line along this once chosen Direction arranged. It is particularly advantageous, but not necessary if the markers are along the longitudinal axis of the ship, so indicate the heading direction.

Es versteht sich, dass die erfindungsgemäße Vorrichtung nicht zwangsweise als in sich geschlossene Einheit ausgebildet sein muss. Vielmehr kann die erfindungsgemäße Vorrichtung als Anordnung von einzelnen Vorrichtungen/Einrichtungen bzw. als aus einzelnen Vorrichtungen/Einrichtungen bestehendes System ausgebildet sein.It It is understood that the device according to the invention is not necessarily must be designed as a self-contained unit. Much more can the device of the invention as an arrangement of individual devices / devices or as formed of individual devices / facilities existing system be.

Damit die Tracking-Kamera die Marker von möglichst vielen Positionen auf der Schiffsbrücke möglichst gut ausmachen kann, sollten die Marker bevorzugt an der Decke der Brücke etwa mittig angebracht werden.In order to the tracking camera picks up the markers from as many positions as possible the ship bridge preferably well, the markers should be preferred to the ceiling of the bridge be placed approximately in the middle.

Alle Marker sind in einer Ebene anzuordnen. Vorzugsweise liegt diese Ebene stets senkrecht zur Richtung des Schwerefeldes. Da dies aber auf einem fahrenden Schiff nicht zu gewährleisten ist, ist es eine besonders vorteilhafte Ausgestaltung, einen zweiten Schwerefeldsensor in der Nähe der Markeranordnung fest zu installieren. Die Aufgabe des zweiten Schweresensors besteht darin, eine etwaige Neigung der Markerebene gegen die – ideal gewünschte – Ebene senkrecht zur Schwerkraftrichtung zu messen und, z. B. in Form der Verdrehungswinkel bezüglich des Schwerefeldes, fortlaufend dem Rechner bereitzustellen.All Markers are to be arranged in a plane. Preferably, this is Plane always perpendicular to the direction of the gravitational field. But this on a moving ship is not guaranteed, it is one particularly advantageous embodiment, a second gravitational field sensor near to install the marker assembly firmly. The task of the second Schwerensensors consists of a possible inclination of the marker plane against the - ideal desired - level perpendicular to the direction of gravity to measure and, z. B. in the form of twist angle in terms of of the gravitational field, continuously provide to the computer.

Um Missverständnissen vorzubeugen, soll klargestellt werden, dass unter einem Marker im Sinne dieser Erfindung ein Objekt verstanden werden soll, welches nur einen Punkt im Raum indiziert. Für eine Richtungsangabe sind folglich wenigstens zwei Marker vorzusehen. Ein Schild mit einem aufgedruckten Pfeil etwa, welches für die Umsetzung der Erfindung gleichfalls brauchbar wäre, indiziert wenigstens zwei Pfeilendpunkte und wird im Sinne dieser Erfindung ebenfalls als Anordnung wenigstens zweier Marker aufgefasst.Around misunderstandings should be made clear that under a marker in the Meaning of this invention, an object to be understood, which only one point in the room indicated. For a direction indication are consequently provide at least two markers. A sign with a printed arrow about, which for the implementation of the invention would be equally useful indexes at least two arrow endpoints and is in the sense of this Invention also construed as an arrangement of at least two markers.

Die perspektivische Kamera indiziert die aktuelle Blickrichtung, während die Tracking-Kamera als halbsphärische Kamera um 90 Grad dazu verschwenkt mit der Blickrichtung nach oben montiert ist. Das Display ist in Anlehnung an ein übliches Fernglas als ein binokulares Display ausgebildet.The Perspective camera indicates the current line of sight while the Tracking camera as hemispheric Camera swiveled by 90 degrees with the view upward is mounted. The display is based on a usual Binoculars designed as a binocular display.

Die nachfolgenden Abbildungen dienen der Erläuterung des Verfahrens, mit dem die vorgenannte Vorrichtung Schritt haltend in der Lage ist, pixelgenau Zusatzinformationen in das von der perspektivischen Kamera aufgenommene Bild einzublenden. Dabei zeigt:The The following figures serve to explain the method, with in which the aforesaid device is capable of keeping up, pixel-precise additional information in the of the perspective camera to view the captured image. Showing:

1 eine Skizze der Horizontebene (Tangentialfläche an die Erdkugel), die das für die Augmentierung interessierende, kartesische Koordinatensystem (Horizontsystem) definiert; 1 a sketch of the horizontal plane (tangential surface to the globe), which defines the Cartesian coordinate system (horizon system) of interest for augmentation;

2 eine Skizze der möglichen Verdrehungen des AR-Fernglases gegenüber dem Horizontsystem; 2 a sketch of possible rotations of the AR binoculars relative to the horizon system;

3 eine Skizze der Abbildungseigenschaft eines sphärischen Objektivs (Fischauge); 3 a sketch of the imaging characteristic of a spherical lens (fish-eye);

4 eine Skizze der erfindungsgemäßen Vorrichtung mit einer exemplarischen Markeranordnung. 4 a sketch of the device according to the invention with an exemplary marker arrangement.

Den Anfang des Verfahrens bildet die Klarstellung der beteiligten Koordinatensysteme.The The beginning of the procedure clarifies the involved coordinate systems.

Die Position des Schiffes und damit der Schiffsbrücke ist durch die Navigationssysteme bekannt ebenso wie sein aktueller Kurs. Diese Angaben liegen als Längen und Breiten sowie als Winkel gegen die geographische bzw. magnetische Nordrichtung vor. Navigationsinstrumente wie auch die elektronische Seekarte müssen sich auf dieselbe Geoid-Definition der Erde stützen, die heute gängig durch WGS84 beschrieben wird. In einer lokalen Umgebung um irgendeine Position kann ein kartesisches Koordinatensystem durch die Richtung des Schwerefeldes und eine hierzu senkrechte Tangentialebene (Horizontebene, vgl. 1) aufgespannt werden, in dem sich die Positionen aller umgebenden Objekte nach an sich bekannten Transformationen auch kartesisch sehr genau darstellen lassen.The position of the ship and thus of the ship's bridge is known through the navigation systems as well as its current course. This information is available as lengths and latitudes as well as angles against the geographic or magnetic north direction. Navigation tools as well as the electronic nautical chart must be based on the same geoid definition of the earth that is commonly described today by WGS84. In a local environment around any position, a Cartesian coordinate system can be defined by the direction of the gravitational field and a tangential plane perpendicular thereto (horizontal plane, cf. 1 ), in which the positions of all surrounding objects can also be represented very accurately in cartesian terms according to known transformations.

Das kartesische Horizontsystem (i. F. kurz: H) wird man schon für Zwecke der Abstandsbestimmung verwenden wollen. Sein Ursprung liege o. B. d. A. auf der Schiffsbrücke, und während z. B. die z-Achse durch das lokale Schwerefeld festliegt, können sich x- und y-Achse um die z-Achse drehen allein infolge einer Kursänderung des Schiffes. Gleichwohl soll das Horizontsystem nicht als fest mit dem Schiffsrumpf verbunden gelten, denn Roll- und Stampfbewegungen des Schiffskörpers sollen das Horizontsystem nicht verändern. Sie verändern allerdings gleichwohl die absoluten Positionen der Marker auf der Brücke im Horizontsystem.The Cartesian horizon system (in the first short: H) one is already for purposes want to use the distance determination. Its origin lies o. B. d. A. on the ship's bridge, and while z. B. the z-axis is fixed by the local gravity field, can rotate the x and y axes about the z axis solely due to a course change of the ship. Nevertheless, the horizon system should not be considered fixed connected with the hull, because rolling and pitching movements of the hull should not change the horizon system. They change, however however, the absolute positions of the markers on the bridge in the horizon system.

Das zweite relevante Koordinatensystem ist das der Kamera (i. F. kurz: K). Es ist ebenfalls kartesisch (x', y', z'), starr mit der Kamera verbunden und vorzugsweise so definiert, dass eine seiner Achsen (z. B. die y'-Achse) mit der optischen Achse der Augmentierungskamera, also der Hauptblickrichtung, zusammenfällt. Die lichtsensitiven Pixel der Kamera liegen in der Bildebene, die hier in der (x', z')-Ebene liegen soll. Schließlich existiert noch als weitere Bildebene die der Tracking-Kamera, die parallel zur (x', y')-Ebene der Kamera angeordnet ist. In dieser Ebene liegen insbesondere Pixelkoordinaten (p_x', p_y') vor.The second relevant coordinate system is that of the camera (in short: K). It is also Cartesian (x ', y', z '), rigidly connected to the camera, and preferably defined so that one of its axes (eg, the y' axis) coincides with the optical axis of the augmentation camera, that is, the main view direction , coincides. The light-sensitive pixels of the camera lie in the image plane, which should lie here in the (x ', z') plane. Finally, the tracking camera still exists as a further image plane, which is arranged parallel to the (x ', y') plane of the camera. In particular, pixel coordinates (p _{x '} , p _y' ) are present in this plane.

Für die Zielsetzung eines AR-Fernglases sind einige vereinfachende Annahmen erlaubt.For the purpose of AR binoculars, some simplifying assumptions are allowed.

So ist zum einen die lokale Position des AR-Fernglases auf der Schiffsbrücke nicht genau bekannt, da der Benutzer sich bewegen kann. In einem herkömmlichen AR-Verfahren müsste diese Position an sich aufwendig berechnet werden. Aus der Entfernung der zu augmentierenden Objekte, die zwischen etwa einigen 100 m bis ungefähr 10 km vom Betrachter aus beträgt, ergibt sich hier jedoch, dass sowohl die verbleibende Unschärfe der Bestimmung der Schiffsposition (z. B. via GPS) als auch die unscharfe Festlegung der Position des AR-Fernglases „irgendwo auf der Brücke” im praktischen Betrieb keinen Einfluss auf die Genauigkeit der Augmentierung hat. Die lokale Translation des AR-Fernglases bezüglich der Brückenposition wird daher vernachlässigt. Dies impliziert, dass den Koordinatensystemen H und K ein gemeinsamer Ursprung unterstellt werden kann und insofern nur die Verdrehung der beiden zueinander zu bestimmen ist.So On the one hand, the local position of the AR binoculars on the bridge is not exactly known because the user can move. In a conventional AR method would have this position itself be calculated consuming. From the distance the objects to be augmented, which are between some 100 m until about 10 km from the viewer, here, however, that both the remaining blur of the Determination of the ship's position (eg via GPS) as well as the blurred Determining the position of the AR binoculars "somewhere on the bridge "in the practical Operation does not affect the accuracy of the augmentation. The local translation of the AR binoculars with respect to the bridge position is therefore neglected. This implies that the coordinate systems H and K have a common Origin can be assumed and insofar only the distortion of the two is to determine each other.

Zum anderen sind in das Koordinatensystem H die in der elektronischen Seekarte verzeichneten, real sichtbaren Objekte einzutragen. Die Koordinatentransformation wird mit wachsendem Abstand der Objekte zum Schiff fehlerhafter, da man natürlich der Erdkrümmung nicht Rechnung trägt. Der Fehler ist jedoch für die Zwecke der Augmentierung hinreichend klein, sofern man sich auf Objekte aus einem Umkreis von bis zu 15 km um die aktuelle Position beschränkt (Gloeckler, Joy, Simpson, Specht, Ackeret, „Handbook for Transformation of Datums, Projections, Grids and Common Coordinate Systems”, ARMY TOPOGRAPHIC ENGINEERING CENTER ALEXANDRIA VA, 1996).To the others are in the coordinate system H in the electronic Nautical chart recorded to enter real visible objects. The Coordinate transformation takes place with increasing distance of objects to the object Ship flawed, because of course the curvature of the earth does not take into account. The mistake, however, is for the purposes of augmentation sufficiently small, provided one is on objects within a radius of up to 15 km around the current position limited (Gloeckler, Joy, Simpson, Woodpecker, Ackeret, "Handbook for Transformation of Date, Projections, Grids and Common Coordinate Systems ", ARMY TOPOGRAPHIC ENGINEERING CENTER ALEXANDRIA VA, 1996).

Das AR-Fernglas weist ein vergrößerndes Objektiv für die perspektivische Kamera auf. Beispielhaft wird ein Teleobjektiv mit Vergrößerungsfaktor 7 benutzt, was der Vergrößerung nautischer Ferngläser entspricht. Im Prinzip kommt auch ein Zoomobjektiv, also eines mit variabler Vergrößerung, in Frage. Jedoch muss der Vergrößerungsfaktor der Recheneinheit bekannt sein, d. h. bei einer Änderung der Vergrößerung ist diese dann zu messen und der Recheneinheit zu übermitteln.The AR binoculars have a magnifying power Lens for the perspective camera on. An example is a telephoto lens with magnification factor 7 uses what the nautical extension Binoculars equivalent. In principle, a zoom lens, so one with variable magnification, in question. However, the magnification factor must be be known to the arithmetic unit, d. H. when changing the magnification is this then measure and transmit to the arithmetic unit.

Aus der Vergrößerung der Objekte ergibt sich auch eine erhöhte Anforderung an die Genauigkeit der Winkelmessung. Denn bei einer perspektivischen Kamera mit einer Auflösung von 640×480 Pixel bei einem Öffnungswinkel von 10 × 7 Grad bilden 60 Pixel gerade mal 1 Grad der Umgebung ab. Soll die Einblendung der Zusatzinformationen pixelgenau im Realbild erfolgen, muss die Bestimmung aller Winkel mit einer Präzision besser als 0.016 Grad möglich sein.Out the enlargement of the Objects also results in an increased requirement for accuracy the angle measurement. Because with a perspective camera with a resolution from 640 × 480 Pixels at an opening angle from 10 × 7 Degrees 60 pixels form just 1 degree of the environment. Should the Superimposing the additional information pixel-precise in the real image, The determination of all angles must be done with a precision better than 0.016 degrees possible be.

Drei Rotationswinkel der Kamera (System K) gegen das Koordinatensystem H sind zu bestimmen: Die Drehung um die vertikale Achse (z) wird dabei mit α (Azimutwinkel), die um die Achse der Blickrichtung wird mit ρ (Rollwinkel) und die Rotation um die horizontale Querachse – senkrecht zur Blickrichtung – mit ν (Nickwinkel) bezeichnet. 2 zeigt diese Winkel, wobei im Hintergrund die Horizontebene ((x, y)-Ebene in H) angedeutet wird.Three rotation angles of the camera (system K) against the coordinate system H are to be determined: The rotation about the vertical axis (z) becomes with α (azimuth angle), which becomes around the axis of the viewing direction with ρ (roll angle) and the rotation around the horizontal transverse axis - perpendicular to the line of sight - with ν (Nick angle). 2 shows these angles, whereby in the background the horizon plane ((x, y) -plane in H) is indicated.

In praktischen Anwendungen wird man keine pixelgenaue Augmentierung benötigen, aber gleichwohl ist eine sehr genaue Winkelbestimmung unvermeidbar, die vor allem in Echtzeit realisierbar sein muss.In Practical applications will not be pixel-precise augmentation need, but nevertheless a very accurate angle determination is unavoidable which must be realizable, above all, in real time.

Um dies zu gewährleisten, ist in dem AR-Fernglas ein Schwerefeldsensor eingebaut. Dieser misst die Komponente der maximalen Beschleunigung in Richtung des Erdmittelpunktes. Zwei der Rotationswinkel gegenüber H können so problemlos und schnell ermittelt werden. Die Ausgabe des Schwerefeldsentors wird man vorzugsweise so einrichten, dass sie direkt im Koordinatensystem K erfolgt, das sich mit der Kamera bewegt. Da man ja weiß, dass die Richtung des Schwerefeldvektors mit der z-Richtung von H übereinstimmt, geben x'- und y'-Komponenten des Schwerefeldvektors unmittelbar den Roll- und Nickwinkel der Kamera bezüglich H an. ρ = Arcsin(g_x'/g) und ν = Arcsin(g_y'/g) (1) To ensure this, a gravity field sensor is built into the AR binoculars. This measures the component of the maximum acceleration in the direction of the center of the earth. Two of the angles of rotation with respect to H can thus be determined easily and quickly. The output of the gravity field gate is preferably set up to take place directly in the coordinate system K which moves with the camera. Since one knows that the direction of the gravitational field vector coincides with the z direction of H, x 'and y' components of the gravitational field vector directly indicate the roll and pitch angles of the camera with respect to H. ρ = arcsine (g _{x '} / g) and ν = arcsine (g _y' / g) (1)

Es lässt sich auch sofort eine 3×3-Drehmatrix R angeben, die die Verdrehung des Kamerakoordinatensystems K gegenüber der Richtung des Schwerefeldes beschreibt:

It is also possible immediately to specify a 3 × 3 rotation matrix R which describes the rotation of the camera coordinate system K with respect to the direction of the gravitational field:

In den Gleichungen (1) und (2) sind mit g_x', g_y' und g_z' die Komponenten des gemessenen Schwerefeldvektors im System K bezeichnet, und es werden Abkürzungen g_P ² = g_x' ² + g_y' ² sowie der Betrag g = sqrt(g_P ² + g_z' ²) benutzt.In equations (1) and (2), g _{x '} , g _y', and g _{z '} denote components of the measured gravity field vector in system K, and abbreviations g _P ² = g _x' ² + g _{y '} ² and the amount g = sqrt (g _P ² + g _{z '} ² ) is used.

Die Rohdaten des Schwerefeldsensors sind üblich verrauscht und auch anfällig gegen ruckartige Bewegungen. Allerdings erzeugt der Sensor 100 Messungen pro Sekunde bei kurzer Messverzögerung, während die Kamera mit einer Wiederholrate von nur 25 Bildern pro Sekunde arbeitet, aber eine längere Messverzögerung (Delay) aufweist. Daher kann die höhere Messrate des Sensors zeitlich gefiltert werden, um die Messung zu stabilisieren und die Genauigkeit zu erhöhen. Die Sensormessungen werden zeitlich mit einem Filter mit Gauß-Fensterfunktion so gefiltert, dass der Erwartungswert der Sensormessungen mit der Bildaufnahme unter Berücksichtigung des Delays synchronisiert wird. Das Gauß-Fenster wird zeitlich asymmetrisch so gelegt, dass die systembedingten unterschiedlichen Zeitverzögerungen bei Bild- und Sensorerfassung berücksichtigt werden und keine Laufzeitverzögerung bei der Messung auftritt.The Raw data of the gravitational field sensor are usually noisy and also susceptible to jerky movements. However, the sensor 100 generates measurements per second with a short measurement delay, while the Camera works at a refresh rate of only 25 frames per second, but a longer one measurement delay (Delay). Therefore, the higher measuring rate of the sensor can be timed be filtered to stabilize the measurement and accuracy to increase. The sensor measurements are timed with a filter with Gaussian window function like this filtered that the expected value of the sensor measurements with the image acquisition considering of the delay is synchronized. The Gaussian window becomes asymmetric in time placed so that the systemic different time delays be taken into account in image and sensor detection and none Propagation delay occurs during the measurement.

Damit können zwei Winkel sehr akkurat gemessen werden. Der dritte wird mit Hilfe der Tracking-Kamera bestimmt, die die ausgerichtete Marker-Anordnung abbildet.In order to can two angles are measured very accurately. The third one will help The tracking camera determines the aligned marker arrangement maps.

Es hat sich als vorteilhaft erwiesen, die Marker in einer Linie entlang der Heading-Richtung des Schiffes anzuordnen. Dabei ist eine asymmetrische Anordnung vorteilhaft, um Bug- und Heckrichtung zu unterscheiden. Konkret werden hier 7 Markerpunkte benutzt, die in zwei Gruppen zu 3 oder 4 Markern entlang der Heading-Richtung platziert werden. Es sei aber wohl verstanden, dass jede Anordnung von Marker, die die Identifizierung der Heading-Richtung erlaubt, für die Zwecke der Erfindung möglich ist.It has proven to be beneficial to line the markers in a line to arrange the heading direction of the ship. This is an asymmetric Arrangement advantageous to distinguish bow and stern direction. Specifically, 7 marker points are used here, divided into two groups be placed to 3 or 4 markers along the heading direction. But it is well understood that any arrangement of markers, the the identification of the heading direction allowed, for the purposes of the invention possible is.

Wie eingangs erwähnt, haben alle Marker in einer Ebene zu liegen, bevorzugt sind alle an der Decke der Schiffsbrücke installiert. Es ist sehr vorteilhaft, aber nicht unbedingt erforderlich, einen zweiten Schwerefeldsensor in der Markerebene vorzusehen, der die Neigung dieser Markerebene gegenüber der (x, y)-Ebene des Horizontsystems H fortlaufend misst und an den Rechner übermittelt.As mentioned in the beginning, all markers have to lie in one plane, all are preferred on the ceiling of the ship's bridge Installed. It is very beneficial, but not essential to provide a second gravitational field sensor in the marker plane, the the slope of this marker plane relative to the (x, y) plane of the horizon system H continuously measures and transmits to the computer.

Da das System sowohl robust gegen die Bewegungen des Schiffpersonals als auch gegen Lichtveränderungen sein muss, ist es vorteilhaft, als Marker Infrarot-LEDs in Verbindung mit einem Infrarot-Passfilter in der Tracking-Kamera zu verwenden. Damit kann die Tracking-Kamera – außer bei starker Sonneneinstrahlung – das Tageslicht ausblenden, und durch die selbststrahlenden LEDs sind die Marker auch bei Nacht gut zu detektieren. Durch Anbringen der Marker an der Schiffsdecke kann zudem eine Behinderung des Personals wie auch des AR-Fernglas-Benutzers ausgeschlossen werden.Since the system is both robust against the movements of the ship's personnel and against Lichtver It must be used as a marker infrared LEDs in conjunction with an infrared pass filter in the tracking camera. This allows the tracking camera - except in strong sunlight - hide the daylight, and the self-illuminating LEDs, the markers are easy to detect even at night. By attaching the markers to the ship's ceiling, obstruction of the personnel as well as the AR-binoculars user can be excluded.

Der verbliebene Azimutwinkel α, um den die Kamera gegenüber der Heading-Richtung des Schiffes (y-Achse von H) verdreht ist, wird durch fortlaufende Verarbeitung der Bilder der sphärischen Tracking-Kamera bestimmt.Of the remaining azimuth angles α, around the camera opposite the heading direction of the ship (y-axis of H) is twisted, is made by continuously processing the images of the spherical Tracking camera determined.

Die Bildverarbeitung sucht zunächst nach möglichen Punktkorrespondenzen im Bild. Diese können die Anzahl der tatsächlichen Marker übertreffen, weshalb eine robuste Ausreißer-Erkennung erforderlich ist. Da die Geometrie des Markers bekannt ist, kann der Suchalgorithmus mit dieser Kenntnis optimiert werden. Beispielsweise werden für die lineare Markeranordnung Ausreißer durch Permutation der Kandidaten und Approximation einer Geraden erkannt. Dieser Teilschritt der Identifikation eines Satzes von Pixelkoordinaten p⁽ⁱ⁾ in der Bildebene der Tracking-Kamera, basierend auf dem projektiven Doppelverhältnis von Punkten auf einer Geraden, die mit den Marker in der realen Szene korrespondieren, ist dem Fachmann geläufig und soll hier nicht näher erläutert werden.The image processing first searches for possible point correspondences in the image. These may exceed the number of actual markers, which requires robust outlier detection. Since the geometry of the marker is known, the search algorithm can be optimized with this knowledge. For example, for the linear marker arrangement, outliers are detected by permutation of the candidates and approximation of a straight line. This sub-step of identifying a set of pixel coordinates p ⁽ⁱ⁾ in the image plane of the tracking camera based on the projective ratio of points on a straight line corresponding to the markers in the real scene is well known to those skilled in the art and is not intended to be more specific here be explained.

Der insofern gemessene Satz von Pixelkoordinaten wird vorzugsweise aufbereitet. Typisch erforderlich ist eine Fleckverkleinerung. Die verwendeten LEDs weisen eine charakteristische Verflachung der Linsen auf, wodurch ein größerer Ausstrahlwinkel erreicht wird. Damit sind die LEDs in der Bildaufnahme besser zu detektieren, als LEDs mit kleineren Ausstrahlwinkeln. Hinzu kommt, dass die LEDs immer als kreisförmige Korrespondenzen angenommen werden können, wo hingegen kleine Ausstrahlwinkel zu elliptischen Korrespondenzen führen können. Bei einem Abstand zur Decke von 1 m bis 2 m sind die LEDs mit ungefähr 15 Pixel großen Korrespondenzen zu detektieren. Für weitere Berechnungen ist dies zu ungenau. Man ermittelt stattdessen den Mittelpunkt des Markerabbildes sogar mit Subpixelgenauigkeit durch geeignetes Template Matching mit einer abgeflachten 2D-Gausstemplate-Filtermaske und verwendet die optimierten Pixelkoordinaten für das Weitere.Of the thus far measured set of pixel coordinates is preferably processed. Typically, a spot reduction is required. The used LEDs have a characteristic flattening of the lenses, thereby a larger beam angle is reached. This makes it easier to detect the LEDs in the image recording, as LEDs with smaller beam angles. In addition, the LEDs always as circular Correspondences can be accepted, where, however, small beam angle can lead to elliptical correspondences. At a distance to Ceiling from 1 m to 2 m are the LEDs with approximately 15 pixel correspondences to detect. For further calculations, this is too inaccurate. One determines instead the center of the marker image even with subpixel accuracy by suitable template matching with a flattened 2D Gausstemplate filter mask and uses the optimized pixel coordinates for the rest.

Durch die sphärische Projektion des Fischauges werden Objektpunkte auf einer Halbkugel (o. B. d. A. mit Radius Eins) um das Kamerazentrum auf eine Kreisscheibe in der Pixelebene abgebildet. Die natürlichen Koordinaten des Bildes sind dann ebene Polarkoordinaten (r, φ). Die optische Achse der Kamera verläuft senkrecht zur Pixelebene durch einen zentralen Pixel mit Koordinaten (x_H, y_H) (Kamera-Hauptpunkt). Jeder Objektpunkt auf der Halbkugel erscheint unter einem Winkel ϑ zur optischen Achse (z'-Achse von K) und ist zudem durch seine Azimutposition φ (φ = 0 entlang der positiven x'-Achse von K) gekennzeichnet.Due to the spherical projection of the fish's eye, object points on a hemisphere (or similar with radius one) around the camera center are imaged onto a circular disk in the pixel plane. The natural coordinates of the image are then plane polar coordinates (r, φ). The optical axis of the camera is perpendicular to the pixel plane through a central pixel with coordinates (x _H , y _H ) (camera main point). Each object point on the hemisphere appears at an angle θ to the optical axis (z'-axis of K) and is also characterized by its azimuth position φ (φ = 0 along the positive x'-axis of K).

Die Besonderheit der Fischaugen-Projektion besteht darin, dass der Winkel ϑ im idealen Fall linear auf den Radius der Kreisscheibe abgebildet wird. Dies ist in Praxis für kleine Winkel sehr gut erfüllt, aber für ϑ → 90° wird die Abbildung typisch nicht-linear. 3 zeigt exemplarisch die Kalibrierfunktion k(ϑ), die den jeweiligen Umrechnungsfaktor von Winkel (z. B. Radian) auf Pixelkoordinaten angibt und für jedes Objektiv einmal zu bestimmen ist.The special feature of the fisheye projection is that the angle θ in the ideal case is linearly mapped to the radius of the circular disc. This is very well accomplished in practice for small angles, but for θ → 90 ° the mapping typically becomes non-linear. 3 shows by way of example the calibration function k (θ), which indicates the respective conversion factor of angle (eg Radian) to pixel coordinates and is to be determined once for each objective.

Das sphärische Bild kann wegen der oben genannten Linearität durch die Polarkoordinaten (ϑ, φ) beschrieben werden. Lässt man die Problematik diskreter Pixel außer acht, da die Pixelkorrespondenzen ja mit Subpixelgenauigkeit bestimmt werden, so besitzt ein Objektpunkt auf der Halbkugel bei den Koordinaten (ϑ, φ) in der Pixelebene die Pixelkoordinaten: p_x' = x_H + k(ϑ)*ϑcos(φ) und p_y' = y_H + k(ϑ)*ϑsin(φ) (3) The spherical image can be described by the polar coordinates (θ, φ) because of the above-mentioned linearity. If one disregards the problem of discrete pixels, since the pixel correspondences are determined with subpixel accuracy, an object point on the hemisphere has the pixel coordinates at the coordinates (θ, φ) in the pixel plane: p _{x '} = x _H + k (θ) * θ cos (φ) and p _y' = y _H + k (θ) * θ sin (φ) (3)

Es ist praktisch und in der 3D-Bildverarbeitung gängig, die Pixelkoordinaten in die dritte Dimension zu erheben. Der Pixelkoordinatenvektor des i-ten Markers in K sei

und wegen (3) gilt dann

Hierbei kennzeichnet * die Matrixmultiplikation. Durch Multiplikation mit der Matrix

gelangt man schließlich zur Normdarstellung der Markerkoordinaten in sphärischen Polarkoordinaten (oder auch Kugelkoordinaten) über der Bildebene der Tracking-Kamera. Diese Normdarstellung enthält die wahren Winkel, unter Beseitigung des sphärischen Objektivs und seiner Verzerrungen, welche Verbindungsstrahlen vom Kamerazentrum in der Bildebene zu den einzelnen Markern mit den Achsen des Koordinatensystems K bei seiner aktuellen Pose einschließen. Multipliziert man nun weiter mit der zuvor bestimmten Matrix R aus Gleichung (2), so berechnet man die Normkoordinaten im Koordinatensystem K' (Achsen x'', y'', z''), dessen z''-Achse parallel zur z-Achse von H, also zur Richtung der Schwerkraft liegt.

p (i) / N = R*A⁽ⁱ⁾*(K (i) / F )^–1*p⁽ⁱ⁾ (7)

It is convenient and common in 3D image processing to elevate pixel coordinates into the third dimension. Let the pixel coordinate vector of the ith marker in K be

and because of (3) then applies

Where * indicates the matrix multiplication. By multiplication with the matrix

Finally, we arrive at the standard representation of the marker coordinates in spherical polar coordinates (or spherical coordinates) on the image plane of the tracking camera. This standard representation contains the true angles, with the elimination of the spherical lens and its distortions, which include connecting beams from the camera center in the image plane to the individual markers with the axes of the coordinate system K at its current pose. If one then multiplies further with the previously determined matrix R from equation (2), one calculates the norm coordinates in the coordinate system K '(axes x'',y'',z'') whose z''axis is parallel to the z axis. Axis of H, that is to the direction of gravity.

p (i) / N = R * A ⁽ⁱ⁾ * (K (i) / F) ^-1 * p ⁽ⁱ⁾ (7)

Bei Verwendung einer strikt linearen Markeranordnung, was eine besonders bevorzugte Ausgestaltung der Erfindung ist, weiß man, dass alle vorgenannten Verbindungsstrahlen in einer Ebene liegen, die die Marker und das Kamerazentrum enthält. Anhand der berechneten Markerdarstellungen in K' gemäß Gleichung (7) kann mit den bekannten Methoden der linearen Algebra nun die zugehörige Ebenengleichung aufgestellt werden – wofür natürlich im Prinzip nur zwei Markerpunkte erforderlich sind.at Using a strictly linear marker arrangement, which is a special preferred embodiment of the invention, it is known that all the above Connection beams lie in a plane containing the markers and the Camera Center contains. Based on the calculated marker representations in K 'according to equation (7) Now, with the well-known methods of linear algebra, you can use the corresponding plane equation be set up - of course, in the Principle, only two marker points are required.

Schließlich wird die Schnittgerade dieser berechneten Ebene mit der Ebene z'' = 1 (oder irgendeiner anderen beliebigen Ebene senkrecht zur z''-Achse, d. h. parallel zur (x, y)-Ebene des Horizontkoordinatensystems H) berechnet, und deren Richtungsvektor weist genau in Heading-Richtung des Schiffes. Aus den Koordinaten des Heading-Vektors im Koordinatensystem K' kann der Azimutwinkel α unmittelbar abgelesen werden.Finally will the intersection line of this calculated plane with the plane z "= 1 (or any other arbitrary Plane perpendicular to the z '' axis, d. H. parallel calculated to the (x, y) plane of the horizon coordinate system H), and whose direction vector points exactly in the heading direction of the ship. The azimuth angle α can be determined directly from the coordinates of the heading vector in the coordinate system K ' be read.

Aus der vollständigen Kenntnis der Verdrehung der Kamera K gegenüber dem Horizontsystem H ist die Bildaugmentierung des AR-Fernglases mm im Rahmen des Standes der Technik möglich. In einem experimentellen Labormuster, das die hier beschriebene Vorrichtung realisiert, werden die drei Drehwinkel 25 Mal pro Sekunde mit einer Genauigkeit von 0,025 Grad (Roll- und Nickwinkel) bzw. von 0,03 Grad (Azimutwinkel) bestimmt. Dies entspricht einer Pixelgenauigkeit von 3–4 Pixeln bei der Augmentierung, was für die meisten Zwecke ausreichend ist.Out the complete Knowledge of the rotation of the camera K with respect to the horizon system H is the Bildaugmentierung the AR binoculars mm in the context of the prior Technology possible. In an experimental laboratory sample that described the one described here Realized device, the three rotation angle are 25 times a second with an accuracy of 0.025 degrees (roll and pitch angle) or of 0.03 degrees (azimuth angle). This corresponds to pixel accuracy from 3-4 Pixels in the augmentation, which is sufficient for most purposes is.

In 4 ist ein Teil der erfindungsgemäßen Vorrichtung schematisch dargestellt, um die bevorzugte geometrische Anordnung zu verdeutlichen. Die handgehaltene Komponente der Vorrichtung umfasst die elektronische Kamera 10 mit perspektivischem, vergrößerndem Objektiv 12, einem starr verbundenen Schwerkraftsensor 14 und ein binokulares Display 16, in dem Realbilder mit Augmentierungsdaten überblendet dargestellt werden. Ebenfalls starr mit der Kamera 10 ist die sphärische Tracking-Kamera 18 verbunden, die nach oben sieht. Die – hier lineare – Markeranordnung 20 ist an der Decke eines Raumes (angedeutet durch den umgebenden Quader) fest installiert, d. h. sie bewegt sich bei einer Drehung des Raumes (z. B. beim Kurswechsel des Schiffes). Vorzugsweise beträgt der Abstand zwischen Tracking-Kamera und Markeranordnung 0,5 bis 2 Meter, wobei die Längenausdehnung der Markeranordnung bevorzugt zwischen 1,5 und 2,5 Meter betragen soll.In 4 is a part of the device according to the invention shown schematically to illustrate the preferred geometric arrangement. The handheld component of the device includes the electronic camera 10 with perspective, magnifying lens 12 , a rigidly connected gravity sensor 14 and a binocular display 16 in which real images are displayed with augmentation data faded out. Also rigid with the camera 10 is the spherical tracking camera 18 connected, which looks upwards. The - here linear - marker arrangement 20 is permanently installed on the ceiling of a room (indicated by the surrounding cuboid), ie it moves with a rotation of the room (eg when the ship changes course). Preferably, the distance between the tracking camera and marker assembly 0.5 to 2 meters, the length of the marker array is to be preferably between 1.5 and 2.5 meters.

Die Erfindung zielt ab auf die Vorrichtung und ein mit dieser durchführbares Verfahren, die Drehwinkel schnell und genau bereitzustellen, wobei die Schwierigkeit a priori darin besteht, dass das Horizontsystem H, in dem die Bildaugmentierung letztlich vorzunehmen ist, nicht starr mit dem Schiffsrumpf verbunden ist. Ein auf Marker-Tracking basierender Ansatz liegt deshalb nicht auf der Hand, da eine fortlaufende Bewegung der Marker bezüglich H infolge Seegangs zu unterstellen ist. Zudem versagt eine rein markerbasierte Tracking-Lösung über Bildverarbeitung durch Marker im Nahbereich der Brücke, da durch die Kopplung von Rotation und Translation im Nahbereich Korrelationen entstehen, welche eine hochgenaue Rotationsbestimmung verhindern. Durch die hybride Kopplung von Schweresensor und eindimensionaler bildbasierter Headingbestimmung kann dieses Problem gelöst werden.The invention is directed to the apparatus and to a method practicable therewith for providing the rotation angles quickly and precisely, the difficulty a priori being that the horizon system H, in which the image augmentation is ultimately to be performed, is not rigidly connected to the hull. A marker-tracking approach is therefore not obvious, as continuous movement of the markers with respect to H due to swell is to be postulated. In addition, a purely marker-based tracking solution via image processing by markers in the vicinity of the bridge fails, since the coupling of rotation and translation in the near field correlations arise, which prevent a highly accurate rotation determination. Due to the hybrid coupling of gravity sensor and one-dimensional image-based heading determination can this problem will be solved.

Die erfindungsgemäß bevorzugte Markeranordnung ist linear und entlang der Längsachse des Schiffes ausgerichtet. Sie wird vorteilhaft an der Decke der Schiffsbrüche installiert. Offenbar hat eine Rollbewegung des Schiffes dann keine Auswirkungen auf korrekte Richtungsweisung durch die Marker.The according to the invention preferred Marker assembly is linear and aligned along the longitudinal axis of the vessel. It is advantageously installed on the ceiling of the shipwrecks. Apparently a rolling motion of the ship then no effect on correct Direction through the markers.

Wenn das Schiff hingegen starke Stampfbewegungen vollführt, liegen die Marker nicht mehr in einer Ebene parallel zur (x, y)-Ebene von H. Dies führt zu Missweisungen, wie man sich folgendermaßen veranschaulicht. Stünde man auf der Schiffsbrücke mit Blick entlang der Schwerkraftrichtung zur Decke gerichtet, wo zwei parallel verlaufende Markeranordnungen installiert sind, so hätte man bei einer Neigung der Decke den optischen Eindruck, beide Linien würden aufeinander zu laufen. Die Tracking-Kamera kann deshalb die korrekte Heading-Richtung aus einer einzelnen, linearen Markeranordnung nur sicher erkennen, wenn sie sich direkt unter dieser Markeranordnung befindet. Dieser Sonderfall kann jedoch für praktische Anwendungen nicht vorausgesetzt werden.If the ship, however, performs strong pitching movements lie the markers are no longer in a plane parallel to the (x, y) plane of H. This leads to failures, as illustrated in the following. You would on the ship's bridge facing the direction of gravity towards the ceiling, where two parallel marker arrangements are installed, so you would have with a tilt of the ceiling the visual impression, both lines would to run towards each other. The tracking camera can therefore correct the Heading direction recognize only reliably from a single, linear marker arrangement, if it is directly under this marker arrangement. This However, special case may be for practical applications are not required.

Die Missweisung kann aber korrigiert werden, wenn man die Neigung der Markerebene fortlaufend bestimmt. Diese Neigung ist mit Hilfe der Tracking-Kamera allein ermittelbar, wenn man anstelle einer linearen eine zweidimensionale Markeranordnung verwendet, so dass sich perspektivische Verzerrungen aus der Kenntnis der wahren Geometrie der Marker erkennen lassen. Für das Beispiel der beiden parallel verlaufenden linearen Markeranordnungen wie oben beschrieben (jetzt aufgefasst als eine einzige zweidimensionale Anordnung) kann man etwa den Winkel zwischen den in die Bildebene der Kamera abgebildeten Linien bestimmen und hieraus auf die Neigung der Markerebene schließen. Allerdings sind solche Berechnungen womöglich zu ungenau, da die Winkel üblich recht klein sind.The But misinterpretation can be corrected, considering the inclination of the Marker level continuously determined. This inclination is with the help of Tracking camera alone detectable, if one instead of a linear one used two-dimensional marker arrangement, so that perspective Detecting distortions from knowing the true geometry of the markers to let. For the example of the two parallel linear marker arrangements as described above (now construed as a single two-dimensional Arrangement) you can about the angle between the in the image plane determine the lines imaged on the camera and from there to the slope close the marker level. However, such calculations may be too inaccurate since the angles are usually quite right are small.

Einen einfacheren Ausweg bietet hier die fortlaufende Messung der Neigung der Markerebene mit einem zweiten Schwerefeldsensor, der z. B. konkret einfach neben den Markern an der Decke der Schiffsbrücke fest angeordnet wird und sich folglich mit der Markerebene neigt. Es kann erforderlich sein, diesen einmalig zu kalibrieren in Bezug auf die tatsächliche Neigung der installierten Markerebene im ruhenden Schiff.a easier way out here is the continuous measurement of inclination the marker plane with a second gravitational field sensor, the z. B. specifically just stuck next to the markers on the ceiling of the ship's bridge is arranged and thus tilts with the marker plane. It may be necessary to calibrate this once on the actual Inclination of the installed marker plane in the stationary ship.

Man kann schließlich bei Kenntnis des Neigungswinkels der Markerebene wie oben beschrieben eine von Verbindungsstrahlen zum Kamerazentrum aufgespannte Ebene, deren Gleichung mittels einer Auswahl aus den zur Verfügung stehenden Markerkoordinaten berechenbar ist, mit einer parallel zur Markerebene geneigten Ebene schneiden lassen. Der Richtungsvektor der Schnittgerade hat dann eine von Null verschiedene z''-Komponente, die man aber ignorieren kann, denn die wahre Heading-Richtung ist allein aus x''- und y''-Komponente dieses Richtungsvektors abzulesen.you can finally knowing the angle of inclination of the marker plane as described above a plane spanned by connecting beams to the camera center, their equation by means of a selection from the available Marker coordinates is calculable, with a parallel to the marker plane cut inclined plane. The direction vector of the cut line then has a nonzero z "component, which you can ignore, because the true heading direction is solely from x '' and y '' components of this direction vector read.

Claims

Apparatus for augmenting an electronic image of a real scene with augmentation information comprising a perspective electronic camera, a display for reproducing the image of the real scene, means for determining the position of the perspective camera in a global coordinate system, means for continuously determining the rotation of the perspective A camera with respect to the global coordinate system, a data storage unit containing the global coordinate system augmentation information, a computing unit configured to communicate with the data storage unit and the position and rotation determination means, and the perspective camera and the display, wherein the computing unit provides the display with instructions to display the global coordinate system Augmentation information issued such that this information is associated with visible objects in the image of the real scene, characterized in that the device for determining the rotation of the perspective camera comprises the following components a. a sensor for measuring the direction of gravity in rigid connection with the perspective camera, b. a spherical camera in rigid connection with the perspective camera, wherein the image planes of the cameras are perpendicular to each other, c. a marker arrangement comprising at least two markers arranged in a marker plane rotatable with respect to the global coordinate system such that all markers are within the field of view of the spherical camera, the arrangement of the markers indicating a fixed direction in the marker plane, i. a device for continuously measuring the rotation of the indexed in the marker plane direction relative to a direction perpendicular to the direction of gravity axis direction of the global coordinate system.

Apparatus according to claim 1, characterized in that a second sensor for measuring the Gravity direction is provided rigidly connected to the marker plane, which continuously measures the inclination of the marker plane against the gravitational field and transmitted to the arithmetic unit.

Device according to one of the preceding claims, characterized characterized in that the marker arrangement as a single line formed by markers.

Device according to one of the preceding claims, characterized characterized in that the perspective camera is a telephoto lens and the display is a binocular display, both rigidly connected together and together as a mobile device by type a binoculars are formed.

Device according to one of the preceding claims, characterized characterized in that the markers are arranged on the ceiling of a ship's bridge are, so that this forms the marker level.

Device according to claims 3 and 5, characterized that the single line of markers along the ship's longitudinal axis is aligned.

Device according to claim 6, characterized in that that the device for continuously measuring the rotation of the in the marker plane indicated direction opposite to a direction perpendicular to the direction of gravity extending axis direction of the global coordinate system of Ship compass is that continuously transmits the ship's course to the arithmetic unit.

Device according to one of the preceding claims, characterized in that the markers are light-emitting diodes with a large emission angle are formed.

Device according to one of the preceding claims, characterized in that the markers are light emitting diodes emitting infrared light are formed and the spherical Camera has an infrared light passing spectral filter, the visible light is suppressed.

Device according to one of the preceding claims, characterized characterized in that the distance between marker arrangement and spherical Camera is between 0.5 and 2 meters, with the longitudinal extent the marker arrangement is between 1.5 and 2.5 meters.

A method for augmenting an image captured with an electronic perspective camera image of a real scene with augmentation information by displaying the image of the real scene in a display and superimposing the augmentation information in the display such that an assignment to visible objects in the scene, wherein the augmentation information in With respect to a global coordinate system H, and a determination of the position and the rotation of the camera with respect to the global coordinate system H are carried out continuously, characterized by the continuous measurement of the rotation of the camera, comprising the following steps: a. Providing a marker assembly of predetermined geometry in a marker plane rotatable relative to the global coordinate system, the marker assembly indicating a fixed direction in the marker plane, b. Determining the rotation of the indexed in the marker plane direction against a direction perpendicular to the direction of gravity axis of the global coordinate system H, c. Imaging the marker assembly with a spherical camera whose image plane is perpendicular to the image plane of the perspective camera, d. Identifying a set of pixel co-ordinates representing the markers in the image plane of the spherical camera, e. Measuring the direction of gravity in a co-ordinated with the perspective camera coordinate system K, f. Create a spin matrix that describes the rotation of K against the direction of gravity, g. Generating a second, three-dimensional coordinate set representing the markers from the set of pixel coordinates while eliminating the distortion of the spherical camera and compensating for the rotation of K against the direction of gravity with a linear transformation, h. Determining a plane passing through at least two markers and the center of the spherical camera, i. Determining a line of intersection of the previously determined plane with a plane parallel to the marker plane, j. Calculating the rotation of K against the direction indicated by the marker arrangement in the marker plane from the direction of the previously determined cutting line, k. Calculating the rotation of the camera about the axis of the direction of gravity against that in step b. selected axis of the global coordinate system.

Method according to claim 11, characterized in that that the method steps c. to k. at least 25 times a second be repeated.

Method according to one of claims 11 and 12, characterized that the measurement of the direction of gravity with a clock frequency greater than 25 Hz and that the individual measured values are timed with a Gaussian window function be filtered so that the expected value of the gravity measurements is synchronized with the image capture.

Method according to one of claims 11 to 13, characterized that the determination of all the rotation of the coordinate system K re H descriptive angle with an accuracy of ≤ 0.03 degrees he follows.