DE102023200507B4

DE102023200507B4 - Device and method for online georeferencing of camera images of map material with mobile devices

Info

Publication number: DE102023200507B4
Application number: DE102023200507.7A
Authority: DE
Inventors: Christoph Bodensteiner; Michael Arens
Original assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date: 2023-01-24
Filing date: 2023-01-24
Publication date: 2024-12-05
Anticipated expiration: 2043-01-25
Also published as: DE102023200507A1; EP4655559A1; WO2024156505A1

Abstract

Vorrichtung zur Georeferenzierung, umfassend:
eine Kartenabbildungs-Bereitstellungseinheit (110) zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung,
eine Korrespondenz-Bestimmungseinheit (120) zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird,
wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, eine Mehrzahl von Korrespondenzen zu bestimmen,
wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, eine Mehrzahl von Korrespondenzen zu bestimmen, deren Anzahl mindestens einem Schwellwert entspricht,
wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, wenn die Referenzkarte nicht ausreicht, um die Anzahl der Korrespondenzen zu bestimmen, die durch den Schwellwert vorgegeben sind, eine andere Referenzkarte zur Bestimmung von ein oder mehreren zusätzlichen Korrespondenzen zu verwenden, indem eine zusätzliche Korrespondenz der ein oder mehreren zusätzlichen Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der anderen Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der anderen Referenzkarte zugewiesen wird.

Device for georeferencing, comprising:
a map image providing unit (110) for providing a map image captured by a camera,
a correspondence determination unit (120) for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image in order to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image in order to determine the correspondence,
wherein the correspondence determination unit (120) is designed to determine a plurality of correspondences,
wherein the correspondence determination unit (120) is designed to determine a plurality of correspondences, the number of which corresponds to at least one threshold value,
wherein the correspondence determination unit (120) is designed, if the reference map is not sufficient to determine the number of correspondences predetermined by the threshold value, to use another reference map to determine one or more additional correspondences by determining an additional correspondence of the one or more additional correspondences by assigning a point of the other reference map to a point of the recorded map image or by assigning an area of the other reference map to an area of the recorded map image.

Description

Die Anmeldung betrifft eine Vorrichtung und ein Verfahren zur Online-Georeferenzierung von Kameraaufnahmen von Kartenmaterial mit mobilen Endgeräten.The application relates to a device and a method for online georeferencing of camera recordings of map material using mobile devices.

Oftmals zeigen Karten auf Schautafeln oder ausgedruckte Karten zusätzliche Informationen, z.B. Wanderwege, spezifische Orte und Informationen, etc., welche für den Nutzer einen Mehrwert aufweisen. Wünschenswert wäre es, wenn derartige Karten auf einem mobilen Endgerät nutzbar wären.Often, maps on display boards or printed maps show additional information, e.g. hiking trails, specific locations and information, etc., which provide added value for the user. It would be desirable if such maps could be used on a mobile device.

Generell können auf mobilen Endgeräten meist nur bereits georeferenzierte Karten verwendet werden. Die offline Georeferenzierung von analogen Karten oder anderweitigen Kartenmaterial ist hierbei mit mehreren Verfahren möglich, welche meist auf der Bestimmung von Passpunkten und eine daraus abgeleitete Transformation erfolgen.In general, only maps that are already georeferenced can be used on mobile devices. Offline georeferencing of analogue maps or other map material is possible using several methods, which are usually based on the determination of control points and a transformation derived from them.

So gibt es viele Arten der Registrierung von 2D-Kartenabbildungen. Hierbei können sowohl merkmalsbasierte, z.B. SIFT (scale invariant feature transform; deutsch: skalierungsinvariante Merkmalstransformation), SURF (speeded up robust features; deutsch: beschleunigte, robuste Merkmale) als auch intensitätsbasierte Verfahren zum Einsatz kommen. Diese Verfahren haben aber jedoch den Nachteil der fehlenden Robustheit (merkmalsbasierte Verfahren) als auch einen geringen Konvergenzradius und das Bestehen von lokalen Minima (intensitätsbasierte Verfahren wie beispielsweise Mutual-Information)There are many ways of registering 2D map images. Both feature-based methods, e.g. SIFT (scale invariant feature transform), SURF (speeded up robust features) and intensity-based methods can be used. However, these methods have the disadvantage of a lack of robustness (feature-based methods) as well as a small convergence radius and the existence of local minima (intensity-based methods such as mutual information).

Eine weitere Möglichkeit besteht in der Nutzung von Weginformationen als Quelle der Korrespondenz. Hierbei könnten mit Hilfe eines graphbasierten Ansatzes direkt die Wege aufeinander abgebildet werden. Dies setzt jedoch die robuste Extraktion des Weges auf der abfotografierten Karte voraus, was wiederum ein sehr schwieriges Bildverarbeitungsproblem darstellt.Another possibility is to use path information as a source of correspondence. Using a graph-based approach, the paths could be mapped directly onto one another. However, this requires the robust extraction of the path on the photographed map, which in turn represents a very difficult image processing problem.

Im Kontext der Georeferenzierung von Kartenmaterial ist unterschiedlicher Stand der Technik bekannt.In the context of georeferencing of map material, different levels of technology are known.

WO 01/ 73 690 A2 und US 7 167 187 B2 zeigen ein System und ein Verfahren zum Georeferenzieren digitaler Rasterkarten, indem spezifische Punkte auf der Rasterkarte entsprechenden Punkten auf einer georeferenzierten Vektorkarte oder einer anderen georeferenzierten Rasterkarte zugeordnet werden. Beispielsweise werden einem Benutzer gleichzeitig eine Rasterkarte und eine entsprechende Vektorkarte angezeigt. Der Benutzer lokalisiert dann einen gemeinsamen geografischen Punkt oder ein Merkmal auf jeder Karte und markiert jeden von ihnen als ein einzigartiges Punktpaar. Wenn der Benutzer mindestens zwei Punktpaare markiert hat, berechnet das System dann eine Georeferenzierungsfunktion, basierend auf den Pixelkoordinaten der auf der Rasterkarte markierten Punkte und den entsprechenden geographischen Koordinaten der Punkte auf der Vektorkarte. Danach können die geographischen Koordinaten jedes Punktes auf der Karte leicht berechnet werden. In einem Beispiel ist vorgesehen, dass, wenn mehr Punktpaare identifiziert werden, die Georeferenzierungsfunktion für eine erhöhte Genauigkeit modifiziert wird. WO 01/ 73 690 A2 and US 7 167 187 B2 show a system and method for georeferencing digital raster maps by mapping specific points on the raster map to corresponding points on a georeferenced vector map or another georeferenced raster map. For example, a user is shown a raster map and a corresponding vector map simultaneously. The user then locates a common geographic point or feature on each map and marks each of them as a unique point pair. Once the user has marked at least two point pairs, the system then calculates a georeferencing function based on the pixel coordinates of the points marked on the raster map and the corresponding geographic coordinates of the points on the vector map. Thereafter, the geographic coordinates of each point on the map can be easily calculated. In one example, it is provided that as more point pairs are identified, the georeferencing function is modified for increased accuracy.

US 7 038 681 B2 und US 2005 / 0 073 532 A1 zeigen, dass, nachdem Hochwasserkarten in Papierform in ein Computersystem eingescannt wurden, sie jeweils Seite an Seite mit dem relevanten Teil einer gespeicherten Vektorkarte angezeigt werden, die das geografische Gebiet abdeckt, das von allen Karten abgedeckt wird. Während der Anzeige werden entsprechende Punkte oder Punktpaare auf jeder Karte durch eine Tastatur oder eine Maus markiert. Die entsprechenden Punkte können z.B. Straßen, Flussbetten, Eisenbahnschienen, Kreuzungen, Gebäude, Berggipfel usw. sein, die auf jeder angezeigten Karte identifizierbar sind. Wenn zwei Punktpaare markiert werden, berechnet ein gespeicherter Algorithmus Georeferenzierungsfunktionen, die eine Übersetzung der x- und γ-Koordinaten der Rasterkarte in die Breiten- und Längen-Koordinaten der Vektorkarte und umgekehrt ermöglichen. Wenn mehr Punktpaare markiert werden, werden die Georeferenzierungsfunktionen verfeinert. Ein anderer Algorithmus entfernt scheinbar schlechte Punkte aus den Georeferenzierungsberechnungen, die Punkte können später wieder verwendet werden, wenn es scheint, dass sie nicht schlecht sind. US 7 038 681 B2 and US 2005 / 0 073 532 A1 show that after paper flood maps are scanned into a computer system, they are each displayed side by side with the relevant part of a stored vector map covering the geographic area covered by all maps. During display, corresponding points or pairs of points on each map are marked by a keyboard or a mouse. The corresponding points may be, e.g., roads, riverbeds, railway tracks, intersections, buildings, mountain peaks, etc., which are identifiable on each map displayed. When two pairs of points are marked, a stored algorithm calculates georeferencing functions that allow translation of the x and γ coordinates of the raster map into the latitude and longitude coordinates of the vector map and vice versa. As more pairs of points are marked, the georeferencing functions are refined. Another algorithm removes apparently bad points from the georeferencing calculations; the points can be reused later if they appear not to be bad.

US 2006 / 0 041 375 A1 zeigt ein System und Verfahren zum automatischen Georeferenzieren digitalisierter Bilder, die Bildmarkierungspunkte aus unterschiedlichen Quellen wählen und analysieren. Eine zusammengesetzte Ausrichtung von Rasterbildern und geografischen Zielvektoren wird automatisch unter Verwendung von Metadatenquellen zur Verwendung in geografischen Anzeige- und Bearbeitungsumgebungen generiert. Eine kartographische Ausrichtung von Rasterbildern an geographischen Vektordatensätzen wird durchgeführt, um Bilddaten mit geographischen Vektordatensätzen zusammen zu positionieren. Eine sinnvolle Überlagerung der Datensätze und einen verbesserten Vergleich von Vektordaten mit den Bildern basierend auf den physikalischen Beziehungen zwischen den Vektordaten und den zugrunde liegenden Bildmerkmalen wird ermöglicht. Durch die Integration von Metadaten zu Orientierungspunkten können Benutzer Zielvektoren abfragen, um Attribute der zugehörigen Orientierungspunkte anzuzeigen, und eine hochgenaue Flurstückkarte erstellen, um Bildinformationen in Gebieten zu validieren, in denen die Daten unter nicht optimalen Bedingungen erfasst wurden. US 2006 / 0 041 375 A1 shows a system and method for automatically georeferencing digitized images that select and analyze image landmarks from different sources. A composite alignment of raster images and geographic target vectors is automatically generated using metadata sources for use in geographic viewing and editing environments. A cartographic alignment of raster images to geographic vector datasets is performed to co-position image data with geographic vector datasets. Meaningful overlay of the datasets and improved comparison of vector data with the images based on the physical relationships between the vector data and the underlying image features is enabled. By integrating landmark metadata, users can query target vectors to display attributes of the associated landmarks and create a highly accurate parcel map to map image information into areas to validate cases in which the data were collected under non-optimal conditions.

US 2012 / 0 195 506 A1 zeigt ein Verfahren zur Extraktion regionaler Informationen, ein Verfahren zur Ausgabe regionaler Informationen und eine Vorrichtung hierzu. Das Verfahren zur Ausgabe regionaler Informationen umfasst das Erhalten eines regionalen Bildes durch die Verarbeitungseinheit, das Übertragen des regionalen Bildes an einen Server durch die Sende-/Empfangseinheit, das Empfangen regionaler Informationen zu einer geografischen Position, die ein aus dem regionalen Bild extrahiertes regionales Bildmerkmal darstellt, durch die Sende-/Empfangseinheit und das Ausgeben der regionalen Informationen durch die Ausgabeeinheit. US 2012 / 0 195 506 A1 shows a method for extracting regional information, a method for outputting regional information and an apparatus therefor. The method for outputting regional information comprises obtaining a regional image by the processing unit, transmitting the regional image to a server by the transmitting/receiving unit, receiving regional information on a geographic position representing a regional image feature extracted from the regional image by the transmitting/receiving unit and outputting the regional information by the output unit.

WO 01 / 20582 A2 zeigt ein geschlossenes Trackingsystem, das Ziele präzise verfolgt, indem es eine mobile Einheit auf Echtzeit- und historischer Basis nach Positionsdaten abfragt. Die abgefragten Daten werden gefiltert und korrigiert, bevor Titelkandidaten generiert werden. Das Tracking-System wählt dabei den besten Kandidaten für die Anzeige auf einer Karte aus. WO 01 / 20582 A2 shows a closed-loop tracking system that precisely tracks targets by querying a mobile unit for position data on a real-time and historical basis. The queried data is filtered and corrected before title candidates are generated, with the tracking system selecting the best candidate for display on a map.

US 8 823 513 B2 zeigt Systeme und Verfahren zur Verfolgung eines Tieres. Ein erstes Gerät wird von einem Tier getragen. Ein zweites Gerät wird von einem Benutzer getragen, um GPS-Daten vom ersten Gerät zu empfangen. US 8 823 513 B2 shows systems and methods for tracking an animal. A first device is worn by an animal. A second device is worn by a user to receive GPS data from the first device.

US 2022 / 0 291 373 A1 zeigt Techniken zur Standortbestimmung eines Mobilgeräts auf Grundlage einer visuellen Positionsbestimmungslösung. Ein Beispielverfahren zum Bestimmen einer Positionsschätzung eines Mobilgeräts umfasst das Erhalten von Sensorinformationen, das Erkennen eines oder mehrerer identifizierbarer Merkmale in den Sensorinformationen, das Bestimmen einer Reichweite zu mindestens einem der einen oder mehreren identifizierbaren Merkmale, das Erhalten von groben Karteninformationen, das Bestimmen eines Standorts von mindestens einem der einen oder mehreren identifizierbaren Merkmale basierend auf den groben Karteninformationen und das Bestimmen der Positionsschätzung für das Mobilgerät zumindest teilweise basierend auf der Reichweite zu mindestens einem der einen oder mehreren identifizierbaren Merkmale. US 2022 / 0 291 373 A1 shows techniques for determining the location of a mobile device based on a visual positioning solution. An example method for determining a location estimate of a mobile device includes obtaining sensor information, detecting one or more identifiable features in the sensor information, determining a range to at least one of the one or more identifiable features, obtaining coarse map information, determining a location of at least one of the one or more identifiable features based on the coarse map information, and determining the location estimate for the mobile device based at least in part on the range to at least one of the one or more identifiable features.

DE 10 2014 200 658 A1 zeigt ein Verfahren und ein System zur Navigation, das erlaubt, von externen Quellen bereitgestellte Umgebungskarten, die beispielsweise in Form von Schautafeln, in Printmedien oder als Bilddateien vorliegen, einzulesen, und Navigationsfunktionen basierend auf der eingelesenen Karte zur Verfügung zu stellen. DE 10 2014 200 658 A1 shows a method and a system for navigation that allows the reading of environmental maps provided by external sources, for example in the form of display boards, in print media or as image files, and to provide navigation functions based on the read map.

Wünschenswert wäre es, wenn verbesserte Konzepte bereitgestellt würden, die eine Verwendung von gedruckten Karten auf mobilen Endgeräten ermöglichen würden.It would be desirable if improved concepts were provided that would enable the use of printed maps on mobile devices.

Eine Vorrichtung nach Anspruch 1, ein Verfahren nach Anspruch 22 und ein Computerprogramm nach Anspruch 23 werden bereitgestellt.An apparatus according to claim 1, a method according to claim 22 and a computer program according to claim 23 are provided.

Eine Vorrichtung zur Georeferenzierung gemäß einer Ausführungsform wird bereitgestellt. Die Vorrichtung umfasst eine Kartenabbildungs-Bereitstellungseinheit zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung. Des Weiteren umfasst die Vorrichtung eine Korrespondenz-Bestimmungseinheit zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird.A device for georeferencing according to an embodiment is provided. The device comprises a map image provision unit for providing a map image recorded by a camera. Furthermore, the device comprises a correspondence determination unit for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the recorded map image to a point on the reference map to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence.

Ferner wird ein Verfahren zur Georeferenzierung gemäß einer Ausführungsform bereitgestellt. Das Verfahren umfasst:

- Bereitstellen einer von einer Kamera aufgenommenen Kartenabbildung.
- Bestimmen von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird.

Furthermore, a method for georeferencing according to an embodiment is provided. The method comprises:

- Providing a map image captured by a camera.
- Determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image in order to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image in order to determine the correspondence.

Des Weiteren wird ein Computerprogramm mit einem Programmcode zur Durchführung des oben beschriebenen Verfahrens gemäß einer Ausführungsform bereitgestellt. Furthermore, a computer program with a program code for carrying out the method described above according to an embodiment is provided.

Gemäß einer Ausführungsform werden Karten bzw. ein Foto der Karte mit einem mobilen Endgerät genutzt, indem eine Georeferenzierung des Fotos stattfindet. So kann in einer Ausführungsform beispielsweise der Standort des mobilen Endgeräts live auf dem Foto der Karte angezeigt werden.According to one embodiment, maps or a photo of the map are used with a mobile device by georeferencing the photo. In one embodiment, for example, the location of the mobile device can be displayed live on the photo of the map.

Gemäß einer Ausführungsform werden beispielsweise, um diese Georeferenzierung zu erreichen, auf dem Foto der Kartenabbildung georeferenzierte Punkte bestimmt. Diese Bestimmung kann z.B. sowohl mit Hilfe eines GPS-Empfängers im Endgerät und manueller Interaktion mit der aufgenommenen Karte oder mit Hilfe eines automatischen Verfahrens zur Bildregistrierung der abfotografierten Kartenabbildung mit einer bereits georeferenzierten Karte erfolgen. Hierbei wird in einer Ausführungsform die Georeferenzierung einer anderen Karte auf das Foto übertragen.According to one embodiment, for example, to achieve this georeferencing, georeferenced points are determined on the photo of the map image. This determination can be made, for example, This can be done either with the help of a GPS receiver in the terminal device and manual interaction with the recorded map or with the help of an automatic process for image registration of the photographed map image with an already georeferenced map. In one embodiment, the georeferencing of another map is transferred to the photo.

Manche Ausführungsformen lösen ein schwieriges Bildregistrierungsproblem, da auf dem Foto der Kartenabbildung in der Regel ganz andere Inhalte und andere Kartenstile als bei den Referenzkarten vorherrschend sind. In einer Ausführungsform werden moderne lernbasierte Verfahren eingesetzt, die eine robuste Korrespondenzfindung ermöglichen und somit diese Anwendung auf mobilen Endgeräten realisieren.Some embodiments solve a difficult image registration problem, since the photo of the map image usually contains completely different content and different map styles than the reference maps. In one embodiment, modern learning-based methods are used that enable robust correspondence finding and thus realize this application on mobile devices.

In Ausführungsformen erfolgt z.B. insbesondere eine Online-Nutzung von abfotografierten Karten mit mobilen Endgeräten.In particular, embodiments include online use of photographed maps with mobile devices.

Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.Preferred embodiments of the invention are described below with reference to the drawings.

In den Zeichnungen ist dargestellt:

1 zeigt eine Vorrichtung zur Georeferenzierung gemäß einer Ausführungsform.
2 zeigt ein Beispiel für eine aufgenommene Wanderkarte mit eingezeichnetem Weginformationen (links) und einer bereits georeferenzierten Karte (rechts) des relevanten Gebiets welches als Referenzkarte herangezogen wird.
3 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte.
4 zeigt ein Beispiel für die automatische Registrierung des Kartenbildes mit einer Referenz-Karte.
5 zeigt Beispiele für eine automatische Georeferenzierung (links) eines Kamerabildes einer Karte und den Kartenausschnitt (rechts).
6 zeigt ein weiteres Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte.
7 zeigt noch ein weiteres Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte.
8 zeigt ein weiteres Beispiel für eine automatische Georeferenzierung eines abfotografierten Kartenbildes mit einer Referenz-Karte.

The drawings show:

1 shows a device for georeferencing according to an embodiment.
2 shows an example of a recorded hiking map with marked route information (left) and an already georeferenced map (right) of the relevant area which is used as a reference map.
3 shows an example of found correspondences of a camera image with a reference map.
4 shows an example of the automatic registration of the map image with a reference map.
5 shows examples of automatic georeferencing (left) of a camera image of a map and the map section (right).
6 shows another example of found correspondences of a camera image with a reference map.
7 shows another example of found correspondences of a camera image with a reference map.
8 shows another example of automatic georeferencing of a photographed map image with a reference map.

1 zeigt eine Vorrichtung zur Georeferenzierung gemäß einer Ausführungsform. 1 shows a device for georeferencing according to an embodiment.

Die Vorrichtung umfasst eine Kartenabbildungs-Bereitstellungseinheit 110 zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung.The device includes a map image providing unit 110 for providing a map image captured by a camera.

Des Weiteren umfasst die Vorrichtung eine Korrespondenz-Bestimmungseinheit 120 zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird.Furthermore, the device comprises a correspondence determination unit 120 for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image in order to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image in order to determine the correspondence.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 ausgebildet ist, abhängig von einer Lokalisierung einer Position der Vorrichtung in der Referenzkarte eine Position der Vorrichtung in der aufgenommenen Karte zu bestimmen. Und/oder, wobei die Korrespondenz-Bestimmungseinheit 120 ausgebildet ist, abhängig von einer Lokalisierung einer Position eines anderen Geräts in der Referenzkarte eine Position des anderen Geräts in der aufgenommenen Karte zu bestimmen.According to one embodiment, the correspondence determination unit 120 is designed to determine a position of the device in the recorded map depending on a localization of a position of the device in the reference map. And/or, wherein the correspondence determination unit 120 is designed to determine a position of the other device in the recorded map depending on a localization of a position of another device in the reference map.

In einer Ausführungsform kann die Vorrichtung z.B. eine Lokalisierungseinheit aufweisen, die z.B. ausgebildet sein kann, eine Position der Vorrichtung in der Referenzkarte zu bestimmen. Dabei kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, abhängig von der Lokalisierung der Position der Vorrichtung in der Referenzkarte die Position der Vorrichtung in der aufgenommenen Karte zu bestimmen.In one embodiment, the device can, for example, have a localization unit, which can, for example, be designed to determine a position of the device in the reference map. The correspondence determination unit 120 can, for example, be designed to determine the position of the device in the recorded map depending on the localization of the position of the device in the reference map.

Gemäß einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, die Position der Vorrichtung in der Referenzkarte mittels GPS zu bestimmen.According to one embodiment, the localization unit can be designed, for example, to determine the position of the device in the reference map by means of GPS.

In einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, die Position der Vorrichtung in der Referenzkarte mittels Texterkennung von ein oder mehrere Ortsnamen und/oder ein oder mehrere Straßennahmen auf der aufgenommenen Karte zu bestimmen.In one embodiment, the localization unit can be designed, for example, to determine the position of the device in the reference map by means of text recognition of one or more place names and/or one or more street names on the recorded map.

Gemäß einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, abhängig von den mittels Texterkennung erkannten ein oder mehreren Ortsnamen und/oder ein oder mehreren Straßennamen Kartenmaterial zu bestimmen, das die ein oder mehreren Ortsnamen und/oder die ein oder mehreren Straßennamen enthält.According to one embodiment, the localization unit can be designed, for example, to determine map material containing the one or more place names and/or the one or more street names depending on the one or more place names and/or one or more street names recognized by means of text recognition.

In einer Ausführungsform kann es sich bei der Vorrichtung z.B. um ein mobiles Gerät handeln.In one embodiment, the device may be, for example, a mobile device.

Gemäß einer Ausführungsform kann das mobile Gerät z.B. einen Internet-Anschluss aufweisen, der ausgebildet ist, die Referenzkarte zu empfangen.According to one embodiment, the mobile device may, for example, have an Internet connection that is configured to receive the reference card.

In einer Ausführungsform kann es sich bei dem mobilen Gerät z.B. um ein Mobilfunkgerät handeln.In one embodiment, the mobile device may be, for example, a mobile radio device.

Gemäß einer Ausführungsform kann die Kartenabbildungs-Bereitstellungseinheit 110 z.B. die Kamera umfassen, die z.B. ausgebildet sein kann, eine Karte zu fotografieren oder anderweitig aufzunehmen, um die um aufgenommene Kartenabbildung zu erhalten.According to one embodiment, the map image providing unit 110 may, for example, comprise the camera, which may, for example, be configured to photograph or otherwise record a map to obtain the recorded map image.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 zur Bestimmung der ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und der Referenzkarte z.B. ausgebildet sein, ein lernbasiertes Verfahren einzusetzen, welches auf Kartenabbildungen trainiert wurde.In one embodiment, the correspondence determination unit 120 for determining the one or more correspondences between the captured map image and the reference map may be configured, for example, to use a learning-based method that has been trained on map images.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, für die aufgenommene Kartenabbildung eine Unterteilung in eine Mehrzahl von Bereichen der aufgenommenen Kartenabbildung vorzunehmen. Dabei kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die ein oder mehreren Korrespondenzen abhängig von der Unterteilung in die Mehrzahl von Bereichen vorzunehmen.According to one embodiment, the correspondence determination unit 120 can be designed, for example, to subdivide the recorded map image into a plurality of regions of the recorded map image. In this case, the correspondence determination unit 120 can be designed, for example, to carry out the one or more correspondences depending on the subdivision into the plurality of regions.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, abhängig von den ein oder mehreren Korrespondenzen eine Transformation zu bestimmen, die die Referenzkarte oder ein oder mehrere Bereiche der Referenzkarte auf die aufgenommene Kartenabbildung oder auf ein oder mehrere Bereiche der aufgenommenen Kartenabbildung abbildet.In one embodiment, the correspondence determination unit 120 may, for example, be configured to determine, depending on the one or more correspondences, a transformation that maps the reference map or one or more regions of the reference map to the recorded map image or to one or more regions of the recorded map image.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, zur Bestimmung als die ein oder mehreren Korrespondenzen eine Mehrzahl von Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer von zwei oder mehr Referenzkarten zu bestimmen, die die besagte Referenzkarte umfassen, indem zur Bestimmung einer Korrespondenz der Mehrzahl von Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt einer der zwei oder mehr Referenzkarten zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich einer der zwei oder mehr Referenzkarten zugeordnet wird, wobei die Mehrzahl von Korrespondenzen wenigstens zwei Korrespondenzen umfassen, die sich auf wenigstens zwei verschiedene der zwei oder mehr Referenzkarten beziehen.According to one embodiment, the correspondence determination unit 120 can, for example, be designed to determine a plurality of correspondences between the recorded map image and one of two or more reference maps comprising said reference map for determining as the one or more correspondences by assigning a point of one of the two or more reference maps to a point of the recorded map image for determining a correspondence of the plurality of correspondences, and/or by assigning an area of one of the two or more reference maps to an area of the recorded map image for determining the correspondence, wherein the plurality of correspondences comprise at least two correspondences that relate to at least two different ones of the two or more reference maps.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Mehrzahl von Korrespondenzen zu bestimmen.In one embodiment, the correspondence determination unit 120 may, for example, be configured to determine a plurality of correspondences.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die Mehrzahl von Korrespondenzen derart zu bestimmen, dass eine erste Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugewiesen wird, und dass eine weitere Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem weiteren Punkt der aufgenommenen Kartenabbildung ein Punkt einer weiteren Referenzkarte zugewiesen wird oder indem einem weiteren Bereich der aufgenommenen Kartenabbildung ein Bereich der weiteren Referenzkarte zugewiesen wird.According to one embodiment, the correspondence determination unit 120 can, for example, be designed to determine the plurality of correspondences in such a way that a first correspondence of the plurality of correspondences is determined by assigning a point of the reference map to a point of the recorded map image or by assigning an area of the reference map to an area of the recorded map image, and that a further correspondence of the plurality of correspondences is determined by assigning a point of a further reference map to a further point of the recorded map image or by assigning an area of the further reference map to a further area of the recorded map image.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Mehrzahl von Korrespondenzen zu bestimmen deren Anzahl mindestens einem Schwellwert entspricht. Dabei kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, wenn die Referenzkarte nicht ausreicht, um die Anzahl der Korrespondenzen zu bestimmen, die durch den Schwellwert vorgegeben sind, eine andere Referenzkarte zur Bestimmung von ein oder mehreren zusätzlichen Korrespondenzen zu verwenden, indem eine zusätzliche Korrespondenz der ein oder mehreren zusätzlichen Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der anderen Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der anderen Referenzkarte zugewiesen wird.In one embodiment, the correspondence determination unit 120 can be designed, for example, to determine a plurality of correspondences whose number corresponds to at least one threshold value. In this case, the correspondence determination unit 120 can be designed, for example, to use another reference map to determine one or more additional correspondences if the reference map is not sufficient to determine the number of correspondences specified by the threshold value, by determining an additional correspondence of the one or more additional correspondences, by assigning a point of the other reference map to a point of the recorded map image, or by assigning an area of the other reference map to an area of the recorded map image.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von Ähnlichkeiten zu bestimmen, die von der Mehrzahl der Referenzkarten und der aufgenommenen Karte abhängen.According to an embodiment, the correspondence determination unit 120 may, for example, be configured to determine an order in which a plurality of reference cards are used to determine the plurality of correspondences depending on similarities that depend on the plurality of reference cards and the captured card.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von einer Ähnlichkeitsfunktion von Kartenstilen zu bestimmen, welche auf Basis von bereits registrierten Karten und einer Anzahl von gefundenen, korrekten Korrespondenzen mittels eines Metrik Learning Ansatzes gefunden wurde.In one embodiment, the correspondence determination unit 120 may be formed, for example, be to determine the order in which a plurality of reference maps are used to determine the majority of correspondences, depending on a similarity function of map styles, which was found based on already registered maps and a number of found, correct correspondences using a metric learning approach.

Gemäß einer Ausführungsform kann die Mehrzahl von Referenzkarten z.B. zumindest eine der folgenden Arten von Karten umfassen:

- Karten mit Höhenprofilen,
- bereits georeferenzierte Wander- oder Straßenkarten,
- Karten welche auf Basis eines konditionellen GAN-Netzwerks aus bereits registrierten Referenz- und Anfragekarten gewonnen wurden.

According to one embodiment, the plurality of reference cards may comprise, for example, at least one of the following types of cards:

- maps with elevation profiles,
- already georeferenced hiking or road maps,
- Maps which were obtained based on a conditional GAN network from already registered reference and query maps.

In einer Ausführungsform kann die Vorrichtung z.B. eine Nutzerschnittstelle aufweisen, wobei, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle z.B. eine Nutzereingabe ermöglichen kann, durch die ein Nutzer einen Standort der Vorrichtung in der aufgenommenen Kartenabbildung angeben kann.For example, in one embodiment, the device may include a user interface, wherein when the device is in a manual mode, the user interface may, for example, enable user input by which a user may indicate a location of the device in the captured map image.

Gemäß einer Ausführungsform kann die Vorrichtung z.B. ausgebildet sein, ihren aktuellen Standort mittels GPS zu bestimmen und einem Nutzer anzuzeigen.According to one embodiment, the device can be designed, for example, to determine its current location by means of GPS and to display it to a user.

In einer Ausführungsform kann, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle an verschiedenen Positionen, an denen sich die Vorrichtung befindet, z.B. eine Nutzereingabe ermöglichten durch die ein Nutzer einen Standort der Vorrichtung an den verschiedenen Positionen in der aufgenommenen Kartenabbildung angeben kann.In one embodiment, when the device is in a manual mode, the user interface may enable user input at various locations where the device is located, e.g., by which a user may specify a location of the device at the various locations in the captured map image.

Nachfolgend werden spezielle Ausführungsformen der Erfindung beschrieben.Specific embodiments of the invention are described below.

Ausführungsformen basieren auf einer robusten und ausreichenden Bestimmung von 2D/2D Korrespondenzen, um damit eine Transformation eines Pixelkoordinatensystems in ein Geokoordinatensystem zu erreichen.Embodiments are based on a robust and sufficient determination of 2D/2D correspondences in order to achieve a transformation of a pixel coordinate system into a geocoordinate system.

Gemäß Ausführungsformen kann ein Algorithmus für eine automatische Georeferenzierung eines Fotos einer Kartenabbildung (z.B. Wanderkarte auf einer Tafel) z.B. einen mehrstufigen Prozess umfassen, der z.B. mittels zwei separaten Abläufen realisiert werden kann. Die Abläufe sind hierbei wechselseitig optional, mittels eins automatischen Verfahren und mittels eines manuellen Rückfall-Modus:

In manchen Ausführungsformen ist nur einer der beiden Abläufe realisiert, entweder das automatische Verfahren oder das manuelle Verfahren.

According to embodiments, an algorithm for automatic georeferencing of a photo of a map image (eg hiking map on a board) may comprise a multi-stage process, which may be implemented by means of two separate processes. The processes are mutually optional, by means of an automatic process and by means of a manual fallback mode:

In some embodiments, only one of the two processes is realized, either the automatic process or the manual process.

Andere Ausführungsformen stellen beide Verfahren bereit, also sowohl das automatische Verfahren und das manuelle Verfahren. In besonderen Ausführungsformen sind die Abläufe hierbei wechselseitig optional: Das automatischen Verfahren wird dabei bereitgestellt und zudem ein manueller Rückfall-Modus.Other embodiments provide both methods, i.e. both the automatic method and the manual method. In particular embodiments, the procedures are mutually optional: the automatic method is provided and also a manual fallback mode.

Nachfolgend wird zunächst das Verfahren für die automatische Georeferenzierung beschrieben:

Ein (automatischer) Ablauf ohne manuelle Interaktion kann beispielsweise wie folgt realisiert werden:
- Zunächst erfolgt ein Herstellen einer initialen Groblokalisierung. Dies kann beispielsweise über eine GPS Position des mobilen Endgeräts erfolgen; und/oder es erfolgt eine Texterkennung von Ortsnamen auf der abgebildeten Karte und eine Suche nach entsprechendem Kartenmaterial zur automatischen Bildregistrierung. Beispielsweise kann das aufgefundene Kartenmaterial als die Referenzkarte verwendet werden.

The procedure for automatic georeferencing is described below:

An (automatic) process without manual interaction can be realized, for example, as follows:
- First, an initial rough localization is established. This can be done, for example, using a GPS position of the mobile device; and/or text recognition of place names on the map shown is carried out and a search is carried out for corresponding map material for automatic image registration. For example, the map material found can be used as the reference map.

Basierend auf der initialen Groblokalisierung werden Karten vom Gebiet als Referenzkarte zur Bildregistrierung genutzt, bzw. erzeugt (siehe die 2 bis 5). Die Nutzung der Karten kann hierbei z.B. mittels eines kaskadierenden Ansatzes erfolgen. Falls mit einer Karte nicht ausreichend (die Bestimmung kann z.B. durch einen statistisch ermittelten Schwellwert erfolgen) viele Korrespondenzen gefunden werden - wird eine alternative Karte zur Registrierung herangezogen. Die Reihenfolge der Karten kann sich z.B. aus einer Ähnlichkeitsfunktion von Kartenstilen ergeben, welche auf Basis von bereits registrierten Karten und der Anzahl der der gefundenen, korrekten Korrespondenzen mittels eines Metrik Learning Ansatzes gefunden wurde. Die möglichen Referenzkarten, welche hierbei zur Auswahl kommen können, können dabei beispielsweise Karten mit Höhenprofilen, sowie bereits georeferenzierte Wander- und Straßenkarten und/oder Karten welche auf Basis eines konditionellen GANs (Generative Adversarial Networks; deutsch: erzeugende gegnerische Netzwerke) aus bereits registrierten Referenz- und Anfragekarten gewonnen wurden, umfassen.Based on the initial coarse localization, maps of the area are used or generated as a reference map for image registration (see the 2 until 5 ). The maps can be used, for example, using a cascading approach. If a map does not find enough correspondences (the determination can be made, for example, using a statistically calculated threshold), an alternative map is used for registration. The order of the maps can, for example, result from a similarity function of map styles, which was found using a metric learning approach on the basis of maps already registered and the number of correct correspondences found. The possible reference maps that can be selected here can include, for example, maps with elevation profiles, as well as already georeferenced hiking and road maps and/or maps that were obtained on the basis of a conditional GAN (Generative Adversarial Networks) from already registered reference and query maps.

Dann erfolgt eine Bestimmung von (z.B. 2D/2D) Korrespondenzen zwischen den georegistrierten Referenzkarten und der aufgenommenen Kartenabbildung. Die Bestimmung der Korrespondenzen kann z.B. mittels eines lernbasierten Verfahrens welches auf korrespondierenden Kartenabbildungen trainiert wurde, erfolgen. Die Bilder können hierbei z.B. in Zellen unterteilt werden, um den Speicherbedarf auf mobilen Endgeräten zu beschränken (siehe 3, 6 und 7).Then a determination of (eg 2D/2D) correspondences between the geo-registered reference maps and the recorded map image is carried out. The determination of the correspondences can be carried out eg by means of a learning-based procedure which is based on corresponding map images. The images can be divided into cells, for example, to limit the memory requirements on mobile devices (see 3 , 6 and 7 ).

Schließlich erfolgt eine Bestimmung einer 2D-Transformation auf Basis der in 3.2c. gefundenen 2D/2D Korrespondenzen. Diese Transformation kann beispielsweise, z.B. im Fall einer perspektivischen Entzerrung, 4-Freiheitsgrade aufweisen, z.B. Translation (x,y), Rotation und Skalierung, im Fall einer perspektivischer Entzerrung. Homographie bei fehlender perspektivischer Entzerrung kann z.B. realisiert werden. Ein parametrisches Transformationsfeld kann z.B. realisiert sein, falls geometrische Verzeichnungen ausgeglichen werden sollen. Mit Hilfe eines robusten Inlierverfahrens (z.B. RANSAC) können hierbei z.B. die geometrisch konsistenten Korrespondenzen selektiert und akkumuliert werden (siehe 4) was sowohl eine robuste Registrierung von stark abweichenden Kartenstilen als auch hochdimensionale Transformationsbestimmungen (z.B. Transformationsfelder) ermöglicht (siehe 4 und 8).Finally, a 2D transformation is determined based on the 2D/2D correspondences found in 3.2c. This transformation can, for example, have 4 degrees of freedom, eg translation (x,y), rotation and scaling, in the case of perspective rectification. Homography in the absence of perspective rectification can be realized, for example. A parametric transformation field can be realized, for example, if geometric distortions are to be compensated. With the help of a robust inlier method (eg RANSAC), the geometrically consistent correspondences can be selected and accumulated (see 4 ) which enables both a robust registration of strongly differing map styles and high-dimensional transformation determinations (e.g. transformation fields) (see 4 and 8 ).

Nun wird das manuelle Verfahren zur Georeferenzierung beschrieben:

Ein Ablauf mit manueller Interaktion (z.B. als Rückfall-Modus - falls keine automatische Georeferenzierung über eine Bildregistrierung erfolgen kann) kann beispielsweise wie folgt realisiert werden:
- Das aufgenommene Bild der Karte wird perspektivisch entzerrt (parallele Linien verlaufen, z.B. parallel im Bild; beispielsweise erreichbar durch die Detektion der Ränder des Bildes
- Position 1 wird mit einem eingebauten GPS Empfänger bestimmt und

Now the manual procedure for georeferencing is described:

A process with manual interaction (e.g. as a fallback mode - if automatic georeferencing via image registration cannot be performed) can be implemented as follows:
- The captured image of the map is perspectively corrected (parallel lines run parallel in the image; e.g. achievable by detecting the edges of the image
- Position 1 is determined with a built-in GPS receiver and

In dem aufgenommenen Bild der Karte annotiert der Nutzer den aktuellen Standort von Position 1.In the captured image of the map, the user annotates the current location of position 1.

An mindestens einer oder optional ein oder mehreren weiteren Positionen findet diese Lokalisierung und Annotation von ein oder mehreren Positionen statt (also die Bestimmung der Position mit dem eingebauten GPS-Empfänger und das Annotieren des aktuellen Standorts durch den Nutzer). Daraus kann z.B. eine ausgleichende Transformation (beispielsweise mittels Least-Squares-Optimierung) errechnet werden, auf Basis derer die Georegistrierung stattfinden kann.This localization and annotation of one or more positions takes place at at least one or optionally one or more additional positions (i.e. the determination of the position with the built-in GPS receiver and the annotation of the current location by the user). From this, for example, a compensating transformation (for example using least squares optimization) can be calculated, on the basis of which the geo-registration can take place.

Ausführungsformen stellen eine robuste 2D/2D Korrespondenzfindung von stark unterschiedlichen Kartenstilen für die Bestimmung der Georeferenzierung über Referenzkarten bereit.Embodiments provide robust 2D/2D correspondence finding of widely differing map styles for determining georeferencing across reference maps.

Hierzu kann beispielsweise ein lernbasiertes Verfahrens auf einer Vielzahl von korrespondierenden Kartenabbildungen trainiert werden. Die Trainingsdaten sind hierbei durch die Vielzahl von Kartenanbietern in großer Menge vorhanden und können im globalen Maßstab ohne größeren Aufwand genutzt werden, um einen hochrobusten Matcher für diese Anwendung zu trainieren. Da die angebotenen Karten meist jeweils georeferenziert sind, kann in einer Ausführungsform z.B. überwachtes Lernen eingesetzt werden. Beispielsweise kommen als Architekturen sog. dichte Korrespondenznetzwerke (z.B. auf Vision Transformer Basis in Kombination mit einem Kostenvolumen) zum Einsatz, welche eine vielfach höhere Korrespondenzleistung als merkmalsbasierte Verfahren (inklusive lernbasierte Verfahren, z.B. sparse feature matching; deutsch: dünn besetzte Merkmalsübereinstimmung) aufweisen.For example, a learning-based method can be trained on a large number of corresponding map images. The training data is available in large quantities thanks to the large number of map providers and can be used on a global scale without much effort to train a highly robust matcher for this application. Since the maps offered are usually georeferenced, supervised learning can be used in one embodiment. For example, so-called dense correspondence networks (e.g. based on a vision transformer in combination with a cost volume) are used as architectures, which have a much higher correspondence performance than feature-based methods (including learning-based methods, e.g. sparse feature matching).

In Ausführungsformen kann das Verfahren hierbei z.B. auf einem dichten Kostenvolumen arbeiten, welches z.B. rekursiv traversiert und auf geometrische Konsistenz analysiert wird. Die geometrische Konsistenz kann hierbei z.B. in einer Aggregationsphase analysiert und entsprechend mit Konsistenzwerten rekursiv kumuliert, angereichert und ausgewertet werden.In embodiments, the method can work on a dense cost volume, for example, which is traversed recursively and analyzed for geometric consistency. The geometric consistency can be analyzed in an aggregation phase, for example, and recursively cumulated, enriched and evaluated with consistency values.

Nachfolgend werden beispielhafte Anwendungsszenarien von Ausführungsformen unter Bezugnahme auf die 2 bis 8 beschrieben.In the following, exemplary application scenarios of embodiments are described with reference to the 2 until 8 described.

2 zeigt ein Beispiel für eine aufgenommene Wanderkarte mit eingezeichnetem Weginformationen (links) und einer bereits georeferenzierten Karte (rechts) des relevanten Gebiets welches als Referenzkarte herangezogen wird. Die Referenzkarte weist, wie zu erwarten, starke Differenzen im Erscheinungsbild auf, welche mittels des robusten Registrierungsverfahrens kompensiert werden müssen. 2 shows an example of a recorded hiking map with marked route information (left) and an already georeferenced map (right) of the relevant area which is used as a reference map. As expected, the reference map shows strong differences in appearance, which must be compensated by means of the robust registration process.

3 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt 3 hierbei alle gefundenen Korrespondenzen ohne geometrische Filterung. Hierbei ist die Robustheit des gelernten Verfahrens zu eindeutig herkömmlichen Verfahren überlegen. Hierbei wurde in diesem Beispiel noch keine geometrische Filterung der Korrespondenzen vorgenommen. 3 shows an example of found correspondences of a camera image with a reference map. 3 all correspondences found without geometric filtering. The robustness of the learned method is clearly superior to conventional methods. In this example, no geometric filtering of the correspondences was carried out.

4 zeigt ein Beispiel für die automatische Registrierung des Kartenbildes mit einer Referenz-Karte. Die Abbildung zeigt hierbei Überlagerungen der aufgenommenen Karte mit einer bereits georeferenzierten Karte des gleichen Gebiets (links mit Kantenüberlagerung, rechts mit wechselseitiger Schachbrettüberlagerung. 4 shows an example of the automatic registration of the map image with a reference map. The figure shows overlays of the recorded map with an already georeferenced map of the same area (left with edge overlay, right with alternating checkerboard overlay.

5 zeigt Beispiele für eine automatische Georeferenzierung (links) eines Kamerabildes einer Karte und den Kartenausschnitt (rechts). Um die abfotografierte Karte (links) und den Kartenausschnitt (rechts) mit einer Navigationsanwendung auf einem mobilen Endgerät verwenden zu können, wird diese Abbildung georeferenziert. 5 shows examples of automatic georeferencing (left) of a camera image of a map and the map section (right). In order to be able to use the photographed map (left) and the map section (right) with a navigation application on a mobile device, this image is georeferenced.

6 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt 6 hierbei alle gefundenen Korrespondenzen ohne geometrische Filterung. 6 shows an example of found correspondences of a camera image with a reference map. 6 all found correspondences without geometric filtering.

7 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt 7 hierbei alle gefundenen Korrespondenzen nach einer geometrischen Filterung. 7 shows an example of found correspondences of a camera image with a reference map. 7 all found correspondences after a geometric filtering.

8 zeigt ein Beispiel für eine automatische Georeferenzierung eines abfotografierten Kartenbildes mit einer Referenz-Karte. Die Abbildung zeigt hierbei eine Überlagerung der aufgenommenen Karte mit einer bereits georeferenzierten Karte des gleichen Gebiets. 8 shows an example of automatic georeferencing of a photographed map image with a reference map. The illustration shows an overlay of the recorded map with an already georeferenced map of the same area.

In Ausführungsformen können durch die robuste Korrespondenzfindung können sehr stark abweichende Kartenstile aufeinander registriert werden. Dies ermöglicht ein automatisches, robustes Funktionieren der Anwendung auf mobilen Endgeräten.In some embodiments, very different card styles can be registered with each other using robust correspondence finding. This enables the application to function automatically and robustly on mobile devices.

Gemäß Ausführunsformen können bei ausreichend vielen Korrespondenzen Abbildungsfehler, z.B. stark differierende Karteninhalte (Zusatzsymbole und abweichende zeitliche Inhalte in den Karten) und geometrische Verformungen (z.B. Wellen in Bücher etc.) ausgeglichen werden.According to embodiments, if there are enough correspondences, imaging errors, e.g. strongly differing map contents (additional symbols and deviating temporal contents in the maps) and geometric deformations (e.g. waves in books, etc.) can be compensated.

Manche Ausführungsformen realisieren eine automatische oder händische Prozedur auf Basis von Passpunkten.Some embodiments implement an automatic or manual procedure based on control points.

Ausführungsformen können beispielsweise im Rahmen von mobilen Endgeräten eingesetzt werden. So wird in Ausführungsformen wird eine mobile Lösung bereitgestellt, um Karten, bzw. Fotos von Karten direkt mit einem mobilen Endgerät nutzen zu können.Embodiments can be used, for example, in the context of mobile devices. In embodiments, a mobile solution is provided to be able to use maps or photos of maps directly with a mobile device.

Weitere Ausführungsformen können bei der Digitalisierung und Georeferenzierung von analogen Kartenabbildungen eingesetzt werden.Further embodiments can be used in the digitization and georeferencing of analog map images.

Manche Ausführungsformen können als App realisiert werden. Eine derartige App kann in speziellen Ausführungsformen in eine andere App z.B. im Bereich Navigation für Fußgänger/Wandern integriert werden.Some embodiments can be implemented as an app. In special embodiments, such an app can be integrated into another app, e.g. in the area of navigation for pedestrians/hiking.

In manchen, speziellen Ausführungsformen können gemachte Bilder beispielsweise gespeichert und für ein oder mehrere diverse Anwendungen und Dienste genutzt werden.In some specific embodiments, images taken can, for example, be stored and used for one or more various applications and services.

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder einer elektronischen Schaltung durchgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.Although some aspects have been described in the context of a device, it is to be understood that these aspects also represent a description of the corresponding method, so that a block or component of a device can also be understood as a corresponding method step or as a feature of a method step. Analogously, aspects described in the context of or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps can be performed by a hardware apparatus (or using a hardware apparatus), such as a microprocessor, a programmable computer, or an electronic circuit. In some embodiments, some or more of the key method steps can be performed by such an apparatus.

Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software oder zumindest teilweise in Hardware oder zumindest teilweise in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer BluRay Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem \programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software, or at least partially in hardware or at least partially in software. The implementation may be carried out using a digital storage medium, for example a floppy disk, a DVD, a BluRay disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard disk or another magnetic or optical memory on which electronically readable control signals are stored that can interact or interact with a programmable computer system in such a way that the respective method is carried out. Therefore, the digital storage medium may be computer readable.

Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.Some embodiments according to the invention thus comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is carried out.

Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product is run on a computer.

Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.The program code can, for example, also be stored on a machine-readable medium.

Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinen-lesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.Other embodiments include the computer program for carrying out one of the methods described herein, wherein the computer program is stored on a machine-readable medium. In other words, an embodiment of the method according to the invention is thus a computer program that has a program code for carrying out one of the methods described herein when the computer program runs on a computer.

Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger oder das digitale Speichermedium oder das computerlesbare Medium sind typischerweise greifbar und/oder nicht flüchtig.A further embodiment of the methods according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded. The data carrier or the digital storage medium or the computer-readable medium is typically tangible and/or non-transitory.

Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.A further embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents or represents the computer program for carrying out one of the methods described herein. The data stream or the sequence of signals can, for example, be configured to be transferred via a data communication connection, for example via the Internet.

Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.A further embodiment comprises a processing device, for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.

Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.A further embodiment comprises a computer on which the computer program for carrying out one of the methods described herein is installed.

Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.A further embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient. The transmission can be carried out electronically or optically, for example. The recipient can be, for example, a computer, a mobile device, a storage device or a similar device. The device or system can, for example, comprise a file server for transmitting the computer program to the recipient.

Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.In some embodiments, a programmable logic device (e.g., a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may interact with a microprocessor to perform any of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be general-purpose hardware such as a computer processor (CPU) or hardware specific to the method such as an ASIC.

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.The embodiments described above are merely illustrative of the principles of the present invention. It is understood that modifications and variations of the arrangements and details described herein will be apparent to others skilled in the art. Therefore, it is intended that the invention be limited only by the scope of the following claims and not by the specific details presented in the description and explanation of the embodiments herein.

Claims

Device for georeferencing, comprising: a map image provision unit (110) for providing a map image recorded by a camera, a correspondence determination unit (120) for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the recorded map image to a point of the reference map in order to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image in order to determine the correspondence, wherein the correspondence determination unit (120) is designed to determine a plurality of correspondences, wherein the correspondence determination unit (120) is designed to determine a plurality of correspondences, the number of which corresponds to at least one threshold value, wherein the correspondence determination unit (120) is designed to determine if the reference map is not sufficient to determine the number of correspondences determine, given the threshold value, to use another reference map to determine one or more additional correspondences by determining an additional correspondence of the one or more additional correspondences, by assigning a point of the captured map image to a point of the other reference map, or by assigning an area of the captured map image to an area of the other reference map.

device according to claim 1 , wherein the correspondence determination unit (120) is designed to determine a position of the device in the recorded map depending on a localization of a position of the device in the reference map, and/or wherein the correspondence determination unit (120) is designed to determine a position of the other device in the recorded map depending on a localization of a position of another device in the reference map.

device according to claim 2 , wherein the device has a localization unit which is designed to determine a position of the device in the reference map, wherein the correspondence determination unit (120) is designed to determine the position of the device in the recorded map depending on the localization of the position of the device in the reference map.

device according to claim 3 , wherein the localization unit is designed to determine the position of the device in the reference map by means of GPS.

device according to claim 3 or 4 , wherein the localization unit is designed to determine the position of the device in the reference map by means of text recognition of one or more place names and/or one or more street names on the recorded map.

device according to claim 5 , wherein the localization unit is designed to determine map material containing the one or more place names and/or the one or more street names depending on the one or more place names and/or one or more street names recognized by means of text recognition.

Device according to one of the preceding claims, wherein the device is a mobile device.

device according to claim 7 , wherein the mobile device has an Internet connection configured to receive the reference card.

device according to claim 7 or 8 , where the mobile device is a cellular device.

Apparatus according to one of the preceding claims, wherein the map image providing unit (110) comprises the camera configured to photograph or otherwise record a map to obtain the recorded map image.

Device according to one of the preceding claims, wherein the correspondence determination unit (120) for determining the one or more correspondences between the recorded map image and the reference map is designed to use a learning-based method which has been trained on map images.

Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to subdivide the recorded map image into a plurality of regions of the recorded map image, and wherein the correspondence determination unit (120) is designed to perform the one or more correspondences depending on the subdivision into the plurality of regions.

Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to determine, depending on the one or more correspondences, a transformation which maps the reference map or one or more regions of the reference map onto the recorded map image or onto one or more regions of the recorded map image.

Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to determine, for the purpose of determining as the one or more correspondences, a plurality of correspondences between the recorded map image and one of two or more reference maps comprising said reference map, by assigning a point of one of the two or more reference maps to a point of the recorded map image to determine a correspondence of the plurality of correspondences, and/or by assigning a region of a which is associated with two or more reference cards, wherein the plurality of correspondences comprise at least two correspondences relating to at least two different ones of the two or more reference cards.

Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to determine the plurality of correspondences in such a way that a first correspondence of the plurality of correspondences is determined by assigning a point of the reference map to a point of the recorded map image or by assigning an area of the reference map to an area of the recorded map image, and that a further correspondence of the plurality of correspondences is determined by assigning a point of a further reference map to a further point of the recorded map image or by assigning an area of the further reference map to a further area of the recorded map image.

Apparatus according to one of the preceding claims, wherein the correspondence determining unit (120) is configured to determine an order in which a plurality of reference cards are used to determine the plurality of correspondences depending on similarities that depend on the plurality of reference cards and the recorded card.

Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to determine the order in which a plurality of reference maps are used to determine the plurality of correspondences depending on a similarity function of map styles which was found on the basis of already registered maps and a number of found, correct correspondences by means of a metric learning approach.

device according to claim 16 or 17 , wherein the majority of reference maps comprise at least one of the following types of maps: - maps with elevation profiles, - already georeferenced hiking or road maps, - maps obtained on the basis of a conditional GAN network from already registered reference and query maps.

A device according to any preceding claim, wherein the device comprises a user interface, wherein, when the device is in a manual mode, the user interface enables user input by which a user can specify a location of the device in the captured map image.

device according to claim 19 , wherein the device is designed to determine its current location by means of GPS and to display it to a user.

device according to claim 19 or 20 wherein, when the device is in a manual mode, the user interface enables user input at various locations where the device is located, allowing a user to specify a location of the device at the various locations in the captured map image.

Method for georeferencing, comprising: providing a map image recorded by a camera, determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence, wherein a correspondence determination unit (120) determines a plurality of correspondences, wherein the correspondence determination unit (120) determines a plurality of correspondences, the number of which corresponds to at least one threshold value, wherein the correspondence determination unit (120), if the reference map is not sufficient to determine the number of correspondences specified by the threshold value, uses another reference map to determine one or more additional correspondences by determining an additional correspondence of the one or more additional correspondences by assigning a point on the captured map image to a point on the other reference map or by assigning an area on the other reference map to an area on the captured map image.

Computer program with a program code for carrying out the method according to claim 22 if the computer program is a computer or signal processor.