DE102023209883A1

DE102023209883A1 - Method for creating a localization map, robot unit, computer program product and localization system

Info

Publication number: DE102023209883A1
Application number: DE102023209883.0A
Authority: DE
Inventors: Thomas Kuebler; Philipp Wallisser; David Fleer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2023-10-10
Filing date: 2023-10-10
Publication date: 2025-04-10

Abstract

Es wird ein Verfahren zur Erstellung einer Lokalisationskarte (10) einer Robotereinheit (2) in einer Umgebung (13) vorgeschlagen, umfassend zumindest die Schrittea. Sensorisches Erfassen von ortsbezogenen Umgebungsinformationen (9) mittels der Robotereinheit (2);b. Speicherung der erfassten Umgebungsinformationen (9) in der Lokalisationskarte (10) in der Robotereinheit (2);c. Feststellen einer Kommunikationsmöglichkeit (11) zu einer weiteren Robotereinheit (2) und Übermitteln von Umgebungsinformationen (9);d. Verifizieren von erhaltenen Umgebungsinformationen (9) anhand mindestens eines vorgegebenen Kriteriums; unde. Aktualisierung der Lokalisationskarte (10) mit den erhaltenen Umgebungsinformationen (9), wenn dieses mindestens eine Kriterium erfüllt ist.Weiter werden Robotereinheiten (2), Computerprogramme und Lokalisationssysteme hierzu angegeben.A method for creating a localization map (10) of a robot unit (2) in an environment (13) is proposed, comprising at least the steps of: a. sensory detection of location-related environmental information (9) by means of the robot unit (2); b. storing the detected environmental information (9) in the localization map (10) in the robot unit (2); c. determining a communication option (11) to another robot unit (2) and transmitting environmental information (9); d. verifying received environmental information (9) based on at least one predetermined criterion; and e. updating the localization map (10) with the received environmental information (9) if this at least one criterion is met. Robot units (2), computer programs, and localization systems are also specified for this purpose.

Description

Die vorliegende Erfindung betrifft Verfahren zur Erstellung einer Lokalisationskarte, eine Robotereinheit (insbesondere ein autonomes Fahrzeug), ein Computerprogrammprodukt und ein Lokalisationssystem.The present invention relates to methods for creating a localization map, a robot unit (in particular an autonomous vehicle), a computer program product and a localization system.

Es ist bekannt, dass insbesondere zu Transportzwecken Fahrzeuge eigenständig durch eine vorbestimmte Umgebung navigieren, insbesondere anhand einer Navigationskarte, die die zu fahrenden Wege umfasst, und dabei auf ein Kartensystem, hier als Lokalisationskarte mit den Informationen zur Umgebung bezeichnet, zugreifen.It is known that, particularly for transport purposes, vehicles navigate independently through a predetermined environment, in particular using a navigation map that includes the routes to be traveled, and in doing so access a map system, referred to here as a localization map, with information about the environment.

Es existiert beispielsweise eine Lokalisierungssoftware für die zuverlässige Bestimmung der Position und Orientierung unterschiedlichster Fahrzeugtypen in sich verändernden Umgebungen. Ermöglicht wird dies durch einen leistungsstarken Algorithmus, der mit Hilfe eines Sensors am Fahrzeug automatisch die Umgebung erfasst, sich in einer aus den Umgebungsdaten erstellten digitalen Karte der Umgebung (Karte) lokalisiert und diese Lokalisierung in der Karte der Umgebung ständig erneuert (Map Update).For example, there is localization software for reliably determining the position and orientation of a wide variety of vehicle types in changing environments. This is made possible by a powerful algorithm that uses a sensor on the vehicle to automatically detect the surroundings, locates itself on a digital map of the surroundings (map) created from the environmental data, and continuously updates this location on the map (map update).

Mobile Roboter und/oder Gabelstapler (Fahrzeuge) nehmen ihre Umwelt durch Sensoren wahr. Gängige Beispiele solcher Sensoren sind Laser Scanner, Ultraschall-Sensoren, Kameras und/oder Schnittstellen zum Auslesen von QR-Codes.Mobile robots and/or forklifts (vehicles) perceive their environment through sensors. Common examples of such sensors include laser scanners, ultrasonic sensors, cameras, and/or interfaces for reading QR codes.

Die Karte dient dem Fahrzeug zur Orientierung. Durch einen Abgleich der unmittelbaren Umgebung mit der Karte kann das Fahrzeug seine Position bestimmen. Eine flexible Anpassung an sich verändernde Umgebungen wird durch eine automatische Aktualisierung der Karte ermöglicht. Die Lokalisierungssoftware erkennt automatisch Veränderungen in der Umgebung und aktualisiert kontinuierlich die Karte. Die Karte wird zentral auf einem Server verwaltet. Fahrzeuge übertragen ihre festgestellten Kartenabweichungen an den Server. Hier werden neu aufgenommene Karten gespeichert, sowie Aktualisierungen der Karten berechnet und an die Fahrzeuge weiterverteilt. Dazu ist eine WLAN-Verbindung (z.B. Wifi) zwischen Fahrzeug und Server notwendig. The map serves as a guide for the vehicle. By comparing its immediate surroundings with the map, the vehicle can determine its position. Automatic map updates enable flexible adaptation to changing environments. The localization software automatically detects changes in the environment and continuously updates the map. The map is managed centrally on a server. Vehicles transmit any map deviations they detect to the server. Newly recorded maps are stored there, and map updates are calculated and distributed to the vehicles. This requires a WLAN connection (e.g., Wi-Fi) between the vehicle and the server.

Die Karten werden aktuell auf einem zentralen Server verwaltet. Das erfordert eine regelmäßige, möglichst flächendeckende Netzwerkverbindung. Dazu wird in der Regel eine WLAN-Verbindung aufgebaut und betrieben. Die Fahrzeuge benötigen diese Verbindung, um eine aktuelle Karte zu erhalten und/oder Veränderungen der Karte hochzuladen. Es ist eine hohe Bandbreite notwendig, um alle generierten Veränderungen der Karte in Echtzeit auf den Server laden zu können und sie auf alle Fahrzeuge verteilen zu können. Fahren Fahrzeuge fast ausschließlich und/oder längere Zeit in Bereichen ohne und/oder mit nur schlechter WLAN-Verbindung, so sind keine Veränderungen der Karte für diese Fahrzeuge, sowie keine Veränderungen der Karte in diesem Bereich möglich.The maps are currently managed on a central server. This requires a regular, preferably comprehensive network connection. A Wi-Fi connection is usually established and operated for this purpose. The vehicles require this connection to receive an up-to-date map and/or to upload map changes. High bandwidth is required to upload all generated map changes to the server in real time and to distribute them to all vehicles. If vehicles drive almost exclusively and/or for extended periods in areas without and/or with a poor Wi-Fi connection, no map changes are possible for these vehicles, nor are any map changes possible in this area.

Das Aufstellen und sichere Betreiben eines Programms auf einem Server gestaltet sich umständlich und kompliziert.Setting up and securely running a program on a server is cumbersome and complicated.

Einen Anwendungsbereich bildet die Intralogistik also die logistischen Material- und Warenflüsse innerhalb eines Betriebsgeländes. Abzugrenzen ist die Intralogistik zum Warentransport, bei der Material- und Warenflüsse außerhalb eines Betriebsgeländes erfolgen.One area of application is intralogistics, which encompasses the logistical flow of materials and goods within a company's premises. Intralogistics must be distinguished from goods transport, in which material and goods flows take place outside of a company's premises.

Aufgabe der Erfindung ist es somit, die eingangs geschilderten Probleme zumindest teilweise zu lösen und insbesondere ein Verfahren bereitzustellen, mit dem eine Kartenaktualisierung zeitnah und ohne, dass eine hohe Bandbreite erforderlich ist, erfolgen kann. Auch ist es erforderlich, ein Verfahren bereitzustellen, bei dem Fahrzeuge Veränderungen einer Karte auch in Bereichen ohne und/oder mit nur schlechter WLAN-Verbindung empfangen und versenden können.The object of the invention is therefore to at least partially solve the problems described above and, in particular, to provide a method by which map updates can be carried out promptly and without requiring high bandwidth. It is also necessary to provide a method by which vehicles can receive and send map changes even in areas without and/or with only a poor Wi-Fi connection.

Zur Lösung dieser Aufgabe trägt ein Verfahren zur Erstellung einer Lokalisationskarte einer Robotereinheit in einer Umgebung bei, umfassend die Schritte

a. Sensorisches Erfassen von ortsbezogenen Umgebungsinformationen mittels der Robotereinheit;
b. Speicherung der erfassten Umgebungsinformationen in der Lokalisationskarte in der Robotereinheit;
c. Feststellen einer Kommunikationsmöglichkeit zu einer weiteren Robotereinheit und Übermitteln von Umgebungsinformationen;
d. Verifizieren von erhaltenen Umgebungsinformationen anhand mindestens eines vorgegebenen Kriteriums; und
e. Aktualisierung der Lokalisationskarte mit den erhaltenen Umgebungsinformationen, wenn dieses mindestens eine Kriterium erfüllt ist.

To solve this problem, a method for creating a localization map of a robot unit in an environment, comprising the steps

a. Sensory acquisition of location-related environmental information by means of the robot unit;
b. Storing the acquired environmental information in the localization map in the robot unit;
c. Determining a means of communication with another robot unit and transmitting environmental information;
d. Verifying received environmental information based on at least one specified criterion; and
e. Updating the localization map with the received environmental information if at least one of these criteria is met.

Damit ist insbesondere ein Verteilungsmechanismus für lokale Kartenveränderungen unter den Robotereinheiten ermöglicht. Das Verfahren ermöglicht, dass Veränderungen der Karte dezentral zwischen den Robotereinheiten kommuniziert und dann intern verwaltet werden können.This enables, in particular, a distribution mechanism for local map changes among the robot units. The method allows map changes to be communicated decentrally between the robot units and then managed internally.

Die Schritte a. bis e. können dabei zumindest einmal in vorgegebener Reihenfolge durchgeführt werden, dies ist aber nicht zwingend erforderlich. Es ist insbesondere möglich, dass sich die Schritte zumindest teilweise zeitlich überlagern bzw. gleichzeitig durchgeführt werden. Es ist weiter möglich, dass die Schritte unterschiedlich oft und/oder mit einer unterschiedlichen Wiederholrate im Rahmen des Verfahrens ausgeführt werden.Steps a. to e. can be performed at least once in a specified sequence, but this is not mandatory. In particular, it is possible for the steps to overlap at least partially or to be performed simultaneously. It is also possible for the steps to be performed with different frequencies and/or at different repetition rates within the method.

Eine Robotereinheit betrifft insbesondere einen mobilen Roboter und/oder ein mobiles Fahrzeug.A robot unit relates in particular to a mobile robot and/or a mobile vehicle.

Ein sensorisches Erfassen in Schritt a. kann insbesondere ein Scannen und/oder Filmen durch die Robotereinheit umfassen. Eine sensorische Erfassung der Umgebungsinformationen kann insbesondere die Ermittlung einer Lage, Ausrichtung und/oder Art von Hindernissen umfassen. Die Umgebungsinformation kann absolut und/oder relativ zu anderen Umgebungsbedingungen erfasst werden. Eine Lage und die Art von Hindernissen kann als Umgebungsinformation Hinweise darauf liefern, ob es sich um ein festes Hindernis, wie beispielsweise eine Mauer, oder ein bewegliches Hindernis handelt, wie beispielsweise einen Menschen oder ein Transportmittel.Sensory detection in step a. can, in particular, comprise scanning and/or filming by the robot unit. Sensory detection of the environmental information can, in particular, comprise determining the position, orientation, and/or type of obstacles. The environmental information can be detected absolutely and/or relative to other environmental conditions. The position and type of obstacles can, as environmental information, provide indications as to whether it is a fixed obstacle, such as a wall, or a moving obstacle, such as a person or a means of transport.

Auch kann die Information über die Lage und die Art von Hindernissen Aufschlüsse liefern, wie sensibel das Hindernis ist. Es können verschiedene Szenarien aufgestellt werden, nach denen sich die Robotereinheit in Notsituationen, in denen ein Zusammenstoß nicht mehr verhindert werden kann, zu verhalten hat. So wäre ein Zusammenstoß mit einem Menschen anders zu bewerten als ein Zusammenstoß mit einer soliden Wand.Information about the location and type of obstacles can also provide information about how sensitive the obstacle is. Different scenarios can be set up according to which the robot unit should behave in emergency situations where a collision can no longer be avoided. For example, a collision with a human would be assessed differently than a collision with a solid wall.

Schritt a. wird insbesondere während einer Bewegung und/oder während einer navigierten Bewegung einer Robotereinheit durchgeführt. Mit anderen Worten erfasst die Robotereinheit Umgebungsinformationen entlang des vorgegebenen bzw. abgefahrenen Pfades.Step a. is performed, in particular, during a movement and/or during a navigated movement of a robot unit. In other words, the robot unit acquires environmental information along the specified or traveled path.

Gemäß Schritt b. können diese erfassten Umgebungsinformationen in der eigenen Lokalisationskarte der Robotereinheit abgelegt werden. Das Speichern kann so erfolgen, dass die abgelegte Umgebungsinformation direkt oder ggf. nach einer Verifikation zur Navigation der Robotereinheit herangezogen bzw. berücksichtigt wird.According to step b, this captured environmental information can be stored in the robot unit's own localization map. This storage can be done in such a way that the stored environmental information is used or taken into account for the robot unit's navigation directly or, if necessary, after verification.

Es ist möglich, dass die Daten zu den Umgebungsinformationen gemeinsam mit Zusatzinformationen gespeichert werden. Zusatzinformationen können insbesondere ausgewählt sein aus der folgenden Gruppe: Zeitpunkt der Erfassung, Art des Mittels / Sensor zur Erfassung, Höhe eines Mittels / Sensor zur Erfassung über dem Boden, Ausrichtung eines Mittels / Sensor zur Erfassung.It is possible that the environmental information data may be stored together with additional information. Additional information may, in particular, be selected from the following group: time of acquisition, type of acquisition device/sensor, height of a acquisition device/sensor above the ground, and orientation of a acquisition device/sensor.

Der Zeitpunkt der Erfassung kann darüber Aufschluss geben, wie eine Umgebung sich zu einem Zeitpunkt im Vergleich zu einem anderen Zeitpunkt verhält. Ein Hindernis kann zu einem ersten Zeitpunkt an einem Ort vorhanden gewesen sein. Zu einem nachfolgenden zweiten Zeitpunkt wurde dieses Hindernis allerdings bewegt und befindet sich nicht mehr an dem vormals erfassten Ort. Die Information über den Zeitpunkt der Erfassung kann Aufschluss darüber geben, ob das Hindernis an einen Ort hin- oder von einem Ort wegbewegt wurde.The time of detection can provide information about how an environment behaves at one point in time compared to another. An obstacle may have been present at a certain location at a first point in time. However, at a subsequent second point in time, this obstacle has been moved and is no longer at the previously detected location. Information about the time of detection can provide information about whether the obstacle was moved toward or away from a location.

Die Art des Mittels der Erfassung kann eine präzisere Erfassung von Umgebungsinformationen ermöglichen. Mittel zur Erfassung von Umgebungsinformationen können insbesondere Laser-Scanner, Ultraschall-Sensoren, Kameras und/oder QR-Codes umfassen. Jedes dieser Mittel liefert unterschiedliche Daten, die in einen Kontext gebracht werden müssen, um richtig genutzt werden zu können. Es ist möglich mit dem Wissen über das Mittel der Erfassung mögliche Ungenauigkeiten in eine Erfassung der Umgebungsinformationen einzuberechnen und/oder unterschiedliche Mittel der Erfassung zu kombinieren, um Ungenauigkeiten zu verringern.The type of acquisition means can enable more precise acquisition of environmental information. Means for acquiring environmental information can include, in particular, laser scanners, ultrasonic sensors, cameras, and/or QR codes. Each of these means provides different data that must be placed in context to be used correctly. With knowledge of the acquisition means, it is possible to factor in potential inaccuracies in the acquisition of environmental information and/or to combine different acquisition means to reduce inaccuracies.

Informationen über eine Höhe und/oder eine Ausrichtung der Mittel zur Erfassung ermöglichen es, z. B. bei der Bildanalyse Verzerrungen zu berücksichtigen. Verzerrungen können beispielsweise dann entstehen, wenn die Mittel zur Erfassung Umgebungsinformationen nur teilweise oder in Randbereichen erkennen können. Verzerrungen können auch dann entstehen, wenn für die Aufnahme Umgebungsinformationen zu schnell erfasst wurden. Eine genaue Erfassung ist dann nicht möglich.Information about the height and/or orientation of the acquisition devices makes it possible, for example, to take distortions into account during image analysis. Distortions can occur, for example, if the acquisition devices can only partially detect environmental information or only in peripheral areas. Distortions can also occur if environmental information was acquired too quickly for the image to be captured. Accurate capture is then impossible.

Es ist möglich, mehrere Versionen der Lokalisationskarte - beispielsweise basierend auf unterschiedlicher Sensorik, unterschiedlichen Höhen und/oder Ausrichtungen der Sensoren und/oder unterschiedlichen Reflektoren - in unterschiedlichen Ebenen zu führen. Insbesondere können Robotereinheiten mit spezieller Sensorik, beispielsweise umfassend Kameras und/oder GPS, spezielle Kartenebenen führen, die nicht von allen Robotereinheiten geführt und aktualisiert werden müssen.It is possible to maintain multiple versions of the localization map in different layers – for example, based on different sensor technology, different heights and/or orientations of the sensors, and/or different reflectors. In particular, robot units with special sensor technology, for example, including cameras and/or GPS, can maintain special map layers that do not need to be maintained and updated by all robot units.

Es ist möglich, bewegliche Objekte und statische Objekte voneinander zu unterscheiden und Klassen für bewegliche Objekte und Klassen für statische Objekte zu definieren. Beweggliche Personen oder andere bewegliche Robotereinheiten wären so erkennbar und könnten mit einer Filterfunktion direkt lokalisiert werden. Dies könnte eine Erstellung einer Lokalisationskarte ermöglichen, die bewegliche Objekte ausschließt und sich lediglich auf (zumindest vorübergehend) stationäre bzw. unbewegliche Objekte konzentriert.It is possible to distinguish between moving and static objects and to define classes for moving objects and classes for static objects. Moving people or other moving robot units would thus be recognizable and could be directly localized using a filter function. This could enable the creation of a localization map that includes moving excludes objects and focuses only on (at least temporarily) stationary or immobile objects.

In Schritt c. wird eine Kommunikationsmöglichkeit festgestellt, wenn eine datenaustauschende Verbindung zwischen den Robotereinheiten möglich ist. Eine mögliche Verbindung wird insbesondere über eine Verfügbarkeit und eine Qualität einer Datenübermittlungsmöglichkeit geprüft bzw. bewertet. In einem ggf. festgelegten Nahbereich kann eine mögliche Verbindung gegeben sein bzw. als gegeben bewertet sein. In diesem Nahbereich kann einfach, weitgehend geschützt/störungsfrei und mit einem geringen energetischen Aufwand eine Kommunikation zwischen den Robotereinheiten realisiert werden. Insbesondere kann eine Kommunikation mittels Funk, insbesondere mittels Ad-Hoc Wifi, Bluetooth, Mobilfunk (insbesondere LTE, 5G, 6G) und/oder über ein Mesh Netzwerkerfolgen.In step c., a communication option is determined if a data-exchanging connection between the robot units is possible. A possible connection is checked or evaluated, in particular, based on the availability and quality of a data transmission option. A possible connection may exist or be assessed as existing within a possibly defined local area. Within this local area, communication between the robot units can be realized easily, largely protected/interference-free, and with low energy consumption. In particular, communication can take place via radio, in particular via ad-hoc Wi-Fi, Bluetooth, mobile communications (especially LTE, 5G, 6G), and/or via a mesh network.

Es ist möglich, dass ein Kommunikationsprozess eingeleitet wird, sobald eine Robotereinheit die Anwesenheit einer weiteren Robotereinheit im Nahbereich erkennt. Es ist möglich, dass die Robotereinheiten zunächst miteinander die Übermittlung von Umgebungsinformationen vorbereiten, z.B. über die Aktivierung geeigneter Kommunikationsmodule und/oder -kanäle. Es ist insbesondere möglich, dass auf Basis der Vorbereitungskommunikation von den Robotereinheiten entschieden wird, welche Robotereinheit welche Daten bzw. Umgebungsinformationen übermittelt. Es ist möglich, dass nur eine Robotereinheit Umgebungsinformationen sendet und die andere Robotereinheit Umgebungsinformationen nur empfängt.It is possible for a communication process to be initiated as soon as a robot unit detects the presence of another robot unit in the immediate vicinity. It is possible for the robot units to first prepare the transmission of environmental information with each other, e.g., by activating suitable communication modules and/or channels. In particular, it is possible for the robot units to decide, based on the preparatory communication, which robot unit transmits which data or environmental information. It is possible for only one robot unit to send environmental information, while the other robot unit only receives environmental information.

In Schritt c. kann insbesondere (auch) eine wechselseitige Kommunikation über die sensorische Erfassung von Umgebungsinformationen stattfinden. Eine wechselseitige Kommunikation liegt vor, wenn die Robotereinheiten im Rahmen einer Kommunikation sowohl Umgebungsinformationen senden als auch empfangen.In step c, mutual communication can also take place via the sensory acquisition of environmental information. Mutual communication occurs when the robot units both send and receive environmental information as part of a communication.

In Schritt c. kann zusätzlich eine Kommunikation über die sensorische Erfassung der Umgebungsinformationen erfolgen. Hierbei kann mindestens eine der vorstehend angeführten Zusatzinformationen kommuniziert werden.In step c, communication can also take place via sensory acquisition of environmental information. At least one of the additional information items listed above can be communicated.

In Schritt c. kann ein Austausch von Umgebungsinformationen so erfolgen, dass nur bei solchen Umgebungsinformationen, über die eine andere Robotereinheit noch nicht verfügt, eine Weitergabe erfolgt. Umgebungsinformationen, über die eine Robotereinheit bereits verfügt, müssen somit nicht übertragen werden.In step c, an exchange of environmental information can be carried out in such a way that only environmental information that another robot unit does not yet have is passed on. Environmental information that a robot unit already has does not need to be transmitted.

Gemäß Schritt d. liegt der Robotereinheit mindestens ein Kriterium vor, anhand dessen die Robotereinheit entscheiden kann, ob die erhaltene Umgebungsinformation Teil der zu verwendenden Lokalisationskarte werden soll oder nicht. Es ist möglich, dass mehrere Kriterien für diese Verifikation herangezogen werden. Insbesondere können dabei die vorstehend genannten ebenfalls erhaltenen Zusatzinformationen Berücksichtigung finden. Insbesondere kann eine Historie und/oder Kompatibilität der Umgebungsinformation verglichen und bewertet werden.According to step d, the robot unit has at least one criterion available, based on which it can decide whether or not the received environmental information should become part of the localization map to be used. It is possible for multiple criteria to be used for this verification. In particular, the additional information also received mentioned above can be taken into account. In particular, a history and/or compatibility of the environmental information can be compared and evaluated.

Es werden regelmäßig oder stets alle Umgebungsinformationen übertragen. Dies beinhaltet eine komplette Historie der ermittelten Umgebungsinformationen. Jede Umgebungsinformation wird als Paket gespeichert. In Schritt d. erfolgt daher insbesondere die Übertragung aller Pakete.All environmental information is transmitted regularly or constantly. This includes a complete history of the acquired environmental information. Each piece of environmental information is stored as a packet. Therefore, in step d., all packets are transmitted.

Ob eine Robotereinheit bereits über eine Umgebungsinformation verfügt, kann (ebenfalls) anhand vorgegebener Kriterien erkannt werden. Die Kriterien können insbesondere den Zeitpunkt und den Ort der Erfassung der Umgebungsinformation umfassen. So können beispielsweise zwei Robotereinheiten über Umgebungsinformationen von demselben Ort verfügen. Die Robotereinheit, die den Ort später passiert hat, verfügt somit über neuere Informationen. Diese Informationen werden an die Robotereinheit übertragen, die den Ort früher passiert hat. Bei in Konflikt zueinander stehenden Umgebungsinformationen, die sich auf denselben Ort beziehen, können ältere Umgebungsinformationen durch neue Umgebungsinformationen überschrieben werden. Eine solche Überschreibung nutzt Informationen über den Zeitpunkt der Erfassung einer Umgebungsinformation und ermittelt so, welche Information aktueller und somit relevanter ist. Ältere Informationen, die nicht mehr relevant sind, werden überschrieben.Whether a robot unit already has environmental information can (also) be detected based on predefined criteria. The criteria can include, in particular, the time and location at which the environmental information was acquired. For example, two robot units can have environmental information from the same location. The robot unit that passed the location later therefore has more recent information. This information is transferred to the robot unit that passed the location earlier. If there are conflicting pieces of environmental information relating to the same location, older environmental information can be overwritten by newer environmental information. Such an overwriting uses information about the time at which environmental information was acquired and thus determines which piece of information is more current and therefore more relevant. Older information that is no longer relevant is overwritten.

Insbesondere ausgehend von dem Ergebnis des Schrittes d. kann im Rahmen von Schritt e. die Aktualisierung der gesamten Lokalisationskarte oder nur eines Teils der Lokalisationskarte ausgeführt werden. Durch die Übertragung aller Pakete an Umgebungsinformationen ist es möglich, nur die Pakete in der Historie einer Lokalisationskarte auszutauschen, die sich verändert haben. Durch eine solche Übertragung aller Umgebungsinformationen, die auch die Historie der Erfassung beinhalten, können insbesondere auch Zwischenzustände erfasst sein, die einen Übergang von einem Zustand in einen anderen Zustand charakterisieren. So könnte in einem ersten Zustand beispielsweise (morgens) ein Lager gefüllt sein und in einem anderen Zustand (abends) das Lager leer sein. Alle Zwischenzustände während sich das Lager über den Tag leert, könnten somit auch erfasst sein.In particular, based on the result of step d., the entire localization map or just a part of the localization map can be updated in step e. By transmitting all packets of environmental information, it is possible to exchange only those packets in the history of a localization map that have changed. By transmitting all environmental information in this way, which also includes the acquisition history, intermediate states can also be recorded, which characterize a transition from one state to another. For example, in a first state (in the morning) a warehouse could be full and in a different state (in the evening) the warehouse could be empty. All intermediate states while the warehouse empties over the course of the day could thus also be recorded.

Vorteilhaft hierbei ist, dass die Pakete an Umgebungsinformationen sukzessive in eine Lokalisationskarte eingebaut werden können. Ein konsistenter Zustand der Lokalisationskarte kann somit sichergestellt und/oder validiert werden. So ist es möglich, beispielsweise den Verbleib einer Kiste, die zunächst an einen spezifizierten Ort bewegt und danach entfernt bzw. verfahren wird, zu verfolgen und nachzuvollziehen. Bei jeder übertragenen Umgebungsinformation kann entschieden werden, ob die Lokalisationskarte aktueller wird und ob sie noch konsistent ist. Insbesondere kann dabei die zeitliche Reihenfolge berücksichtigt werden, sodass Anpassungen der Lokalisationskarte korrekt erfolgen.The advantage here is that the packages of environmental information can be successively incorporated into a localization map. A consistent state of the localization map can thus be ensured and/or validated. For example, it is possible to track and trace the whereabouts of a box that is first moved to a specified location and then removed or moved. For each transmitted piece of environmental information, a decision can be made as to whether the localization map is becoming more up-to-date and whether it is still consistent. In particular, the chronological order can be taken into account, ensuring that adjustments to the localization map are made correctly.

Insbesondere können im Rahmen von Schritt c. festgelegt werden, dass nur solche Umgebungsinformationen übertragen werden, die relevant und verifiziert (also für die Verwendung bei der eigenen Lokalisationskarte geeignet) sind. Dadurch erfolgt eine geringere Anforderung an eine Übertragungsbandbreite.In particular, in step c., it can be specified that only relevant and verified environmental information (i.e., suitable for use in the localization map) is transmitted. This results in lower transmission bandwidth requirements.

Insbesondere wird mit diesem Verfahren ein Map-Update und/oder ein (lokales) Kartenupdate (automatisch) seitens der Robotereinheit erstellt.In particular, this procedure creates a map update and/or a (local) map update (automatically) by the robot unit.

Damit ist eine Kartenverwaltung mit Hilfe einer dezentralen Versionsverwaltung angegeben. Inkrementelle Kartenupdates werden Commited. Die Summe aller Commits, in der richtigen Reihenfolge aufeinander oder auf eine Initialkarte angewendet, ergeben eine aktuelle Gesamtkarte.This specifies map management using decentralized version control. Incremental map updates are committed. The sum of all commits, applied in the correct order to one another or to an initial map, results in the current overall map.

Es lässt sich zumindest eine der folgende Möglichkeiten realisieren: Austausch relevanter Commits bei einer drahtlosen Nahfeldbegegnung der mobilen Robotereinheiten, Verwaltung der Karte in unterschiedlichen semantischen Ebenen auf Basis von Sensortypen (Kamera, GPS, etc.), Verwaltung der Karte in z-Richtung-Ebenen (Höhen); Zuweisung von Metadaten zu Commits (Datum, Robotereinheit, weitere Attribute); Qualifizierung der Kartendaten durch Metadaten.At least one of the following options can be implemented: exchange of relevant commits during a wireless near-field encounter between mobile robot units, management of the map in different semantic levels based on sensor types (camera, GPS, etc.), management of the map in z-direction levels (heights); assignment of metadata to commits (date, robot unit, other attributes); qualification of the map data through metadata.

Zur Lösung dieser Aufgabe trägt eine Robotereinheit bei, aufweisend mindestens einen Sensor zur Erfassung von Umgebungsinformationen und einen Antrieb zur Bewegung der Robotereinheit. Weiter ist eine Recheneinheit vorgesehen, die zumindest eine Navigationseinheit und einen Speicher umfasst, und die zur Regelung des Antriebs eingerichtet ist. Zudem sind eine Kommunikationseinheit und Mittel vorgesehen, die eingerichtet sind, ein Verfahren zur Erstellung einer Lokalisationskarte einer Robotereinheit der hier vorgeschlagenen Weise auszuführen.To achieve this objective, a robot unit comprising at least one sensor for detecting environmental information and a drive for moving the robot unit contributes. Furthermore, a computing unit is provided, which comprises at least one navigation unit and a memory, and which is configured to control the drive. Furthermore, a communication unit and means are provided, which are configured to carry out a method for creating a localization map of a robot unit of the type proposed here.

Hinsichtlich der Ausgestaltung der Robotereinheit kann vollumfänglich auf die vorstehenden Erläuterungen und/oder die Erläuterungen im Zusammenhang mit den Figuren Bezug genommen werden.With regard to the design of the robot unit, reference can be made in full to the above explanations and/or the explanations in connection with the figures.

Ein Sensor zur Erfassung von Umgebungsinformationen kann insbesondere einen Laser Scanner, einen Ultraschall-Sensor, eine Kamera und/oder einen QR-Codeleser umfassen.A sensor for detecting environmental information can in particular comprise a laser scanner, an ultrasonic sensor, a camera and/or a QR code reader.

Ein Antrieb einer Robotereinheit kann insbesondere elektrische Antriebe, wie Akkumulatoren, umfassen, mit denen die Robotereinheit bewegt, verstellt und/oder verfahren werden kann. Der Antrieb bzw. dessen Betrieb bietet weitere Möglichkeiten zur Erfassung von Sensordaten. So kann die Geschwindigkeit genutzt werden, um eine Erfassung von Sensordaten darin zu unterstützen, dass (Bild-)Verzerrungen bei Umgebungsinformationen verringert werden können.A drive of a robot unit can, in particular, include electrical drives, such as accumulators, with which the robot unit can be moved, adjusted, and/or traversed. The drive or its operation offers further possibilities for acquiring sensor data. For example, the speed can be used to support the acquisition of sensor data by reducing (image) distortions in environmental information.

Eine Recheneinheit ermöglicht es, Sensordaten zu verarbeiten. Die Recheneinheit umfasst zumindest eine Navigationseinheit und einen Speicher. Die Regelung des Antriebs kann durch die Recheneinheit auf Basis von Daten aus der Navigationseinheit und dem Speicher erfolgen. Die Recheneinheit kann den Antrieb so regeln, dass er einer von der Navigationseinheit vorgegebenen Route folgt. Die Route kann modifiziert werden mit Umgebungsinformationen, die im Speicher abgelegt sein können.A computing unit enables sensor data to be processed. The computing unit comprises at least a navigation unit and a memory. The drive can be controlled by the computing unit based on data from the navigation unit and the memory. The computing unit can control the drive so that it follows a route specified by the navigation unit. The route can be modified using environmental information that can be stored in the memory.

Die Recheneinheit steht weiter mit einer Kommunikationseinheit in Verbindung und mit Mitteln, mit denen das Verfahren ausgeführt werden kann. Die Recheneinheit kann erhaltene Umgebungsinformationen von anderen Robotereinheiten verifizieren und eine Lokalisationskarte im Speicher mit den erhaltenen Umgebungsinformationen aktualisieren. Die Recheneinheit kann somit im Speicher eine aktualisierte Lokalisationskarte hinterlegen, mit der es möglich ist, eine Regelung des Antriebs zu verbessern.The computing unit is further connected to a communications unit and to means with which the method can be executed. The computing unit can verify environmental information received from other robot units and update a localization map in the memory with the received environmental information. The computing unit can thus store an updated localization map in the memory, which makes it possible to improve drive control.

Zur Lösung dieser Aufgabe trägt ein Computerprogrammprodukt bei, umfassend Befehle, die eine Robotereinheit veranlassen, das hier vorgeschlagene Verfahren auszuführen.A computer program product, comprising instructions that cause a robot unit to carry out the method proposed here, contributes to the solution of this problem.

Hinsichtlich der Ausgestaltung des Computerprogrammprodukts kann vollumfänglich auf die vorstehenden Erläuterungen und/oder die Erläuterungen im Zusammenhang mit den Figuren Bezug genommen werden.With regard to the design of the computer program product, reference can be made in full to the above explanations and/or the explanations in connection with the figures.

Zur Lösung dieser Aufgabe trägt ein Lokalisationssystem bei, umfassend eine Mehrzahl sich autonom in einer Umgebung mittels einer lokal gespeicherten Lokalisationskarte bewegender Robotereinheiten, wobei die Robotereinheiten Sensoren zur Erfassung von Umgebungsinformationen aufweisen und während der Bewegung Umgebungsinformation sensorisch erfassen und miteinander austauschen, wobei die Robotereinheiten eingerichtet sind, das Verfahren durchzuführen.A localization system contributes to the solution of this task, comprising a plurality of autonomously located in an environment by means of a locally stored localization map of moving robot units, wherein the robot units have sensors for detecting environmental information and, during the movement, detect environmental information by sensors and exchange it with one another, wherein the robot units are configured to carry out the method.

Hinsichtlich der Ausgestaltung des Lokalisationssystems kann vollumfänglich auf die vorstehenden Erläuterungen und/oder die Erläuterungen im Zusammenhang mit den Figuren Bezug genommen werden.With regard to the design of the localization system, reference can be made in full to the above explanations and/or the explanations in connection with the figures.

Die sich autonom in einer Umgebung mittels einer lokal gespeicherten Lokalisationskarte bewegende Robotereinheiten sind insbesondere so genannte „Automated Guided Vehicle“ (AGV).Robot units that move autonomously in an environment using a locally stored localization map are, in particular, so-called “Automated Guided Vehicles” (AGVs).

Die lokal gespeicherte Lokalisationskarte des Lokalisationssystems kann ausschließlich mit

(i.) selbst sensorisch erfassten und/oder
(ii.) direkt von anderen Robotereinheiten sensorisch erfassten und direkt und/oder indirekt kommunizierten Umgebungsinformationen

aktualisiert werden.The locally stored localization map of the localization system can only be accessed with

(i.) self-sensory and/or
(ii.) environmental information directly sensed by other robot units and communicated directly and/or indirectly

be updated.

Es ist möglich, direkt von anderen Robotereinheiten sensorisch erfasste Daten direkt und/oder indirekt als Umgebungsinformationen zu kommunizieren. So können die von einer Robotereinheit sensorisch erfassten Daten direkt als Umgebungsinformationen an eine weitere Robotereinheit weitergegeben werden, wenn eine Kommunikation zwischen zwei Robotereinheiten stattfindet. Auch ist es möglich, von einer Robotereinheit sensorisch erfasste Daten direkt als Umgebungsinformation erhaltene Daten weiterzugeben an eine dritte Robotereinheit. So kann eine dritte Robotereinheit Daten von einer ersten Robotereinheit über eine weitere Robotereinheit erhalten, die zunächst mit der ersten Robotereinheit und danach mit der dritten Robotereinheit kommuniziert.It is possible to communicate data acquired directly by sensors from other robot units directly and/or indirectly as environmental information. This means that the data acquired directly by sensors from one robot unit can be passed on directly to another robot unit as environmental information if communication takes place between two robot units. It is also possible to pass on data acquired directly by sensors from one robot unit directly to a third robot unit as environmental information. This means that a third robot unit can receive data from a first robot unit via another robot unit, which first communicates with the first robot unit and then with the third robot unit.

Die Erfindung lässt sich in anderen Worten auch wie folgt beschreiben: Ein dezentraler graph-basierter Verteilungsmechanismus für lokale Aktualisierungen der Lokalisationskarte ermöglicht das Führen und Aktualisieren einer Lokalisationskarte in einer so genannten „peer-to-peer“-Kommunikation. Es können sich einzelne Robotereinheiten dezentral, ohne einen Server, paarweise miteinander austauschen, ihre Karten gegeneinander abgleichen und die Lokalisationskarten auf Basis des geteilten Wissens aktualisieren. Auch in Bereichen ohne zentrale Netzwerkanbindung können so durch ein- und ausfahrende Robotereinheiten Aktualisierungen von Lokalisationskarten eingeführt und abgeholt werden.In other words, the invention can also be described as follows: A decentralized, graph-based distribution mechanism for local updates to the localization map enables the management and updating of a localization map in so-called "peer-to-peer" communication. Individual robot units can communicate with each other in pairs in a decentralized manner, without a server, compare their maps, and update the localization maps based on shared knowledge. Even in areas without a central network connection, updates to localization maps can be introduced and retrieved by robot units moving in and out.

Somit wird eine dezentrale Lokalisationskartenverwaltung vorgeschlagen, die Aktualisierungen der Lokalisationskarte speichert, anwendet und kombinieren kann. Dies entspricht einer Art Git-Versionsverwaltung für Lokalisationskarten. Die Versionsverwaltung kann kleinteilige Aktualisierungen der Lokalisationskarte (z.B. ein einzelner hinzukommender Container als Hindernis) als einen Commit abspeichern. Die Summe aller Commits, in der richtigen Reihenfolge und/oder auf einer initialen angewendet, ergibt die aktuelle Lokalisationskarte.Thus, a decentralized localization map management system is proposed that stores, applies, and combines updates to the localization map. This corresponds to a kind of Git version control for localization maps. The version control system can store small-scale updates to the localization map (e.g., a single container added as an obstacle) as a single commit. The sum of all commits, in the correct order and/or applied to an initial one, results in the current localization map.

Wenn sich zwei Robotereinheiten treffen, tauschen diese nur die relevanten Commits miteinander aus, also nur diejenigen, über die die andere Robotereinheit noch nicht verfügt und die dieser in seinen Graphen einbauen kann. Die Versionsverwaltung erlaubt dies in kleinen Datenpaketen zu tun, die auch einzeln anwendbar sind, falls die Verbindung nur kurz besteht. Außerdem können über dem Commit-Graphen schnell diejenigen Pakete identifiziert werden, die relevant sind.When two robot units meet, they exchange only the relevant commits—that is, only those that the other robot unit doesn't yet have and that it can incorporate into its graph. Version control allows this to be done in small data packets that can also be used individually if the connection is only brief. Furthermore, the commit graph allows for quick identification of the relevant packets.

Die gesamte Historie der Karte kann im Versionsverwaltungsgraphen mitgeführt werden, so dass neuere von älteren Änderungen unterscheidbar sind und zeitlich aufeinanderfolgend eingespielt werden können. Die für die Übertragung benötigte Bandbreite ist vergleichsweise gering. Es werden nur inkrementelle Änderungen übertragen.The entire map history can be stored in the version control graph, allowing newer changes to be distinguished from older ones and applied sequentially. The bandwidth required for transfer is comparatively low. Only incremental changes are transferred.

Ein zentraler Server kann weggelassen werden, was Administrationsaufwand spart und das System robust gegen Ausfälle der zentralen Softwarekomponente machen kann. Die Robotereinheiten können so auch beim Ausfall einer einzelnen Robotereinheit weiter operieren. Es ist auch möglich, dass Robotereinheiten unabhängig von einer vorhandenen Infrastruktur betrieben werden, und so auch in Bereichen ohne zentrale Funkverbindung operieren können und dort Aktualisierungen der Lokalisationskarte austauschen.A central server can be omitted, which saves administrative effort and makes the system robust against failures of the central software component. This allows the robot units to continue operating even if a single robot unit fails. It is also possible for robot units to operate independently of existing infrastructure, allowing them to operate in areas without a central radio connection and exchange localization map updates there.

Die von den Robotereinheiten erstellte Lokalisationskarte, sowie die Aktualisierungen der Lokalisationskarte können in einem Commit-Graphen ähnlich einer Git-Versionsverwaltung gespeichert werden. Dabei bildet jede Robotereinheit einen dezentralen Knoten. Es nimmt jeder Knoten bzw. jede Robotereinheit an der Verwaltung aller Lokalisationskarten teil. Alle Robotereinheiten überprüfen an den Knoten neue Daten und können somit an der Generierung einer neuen Lokalisationskarte teilhaben und diese überprüfen.The localization map created by the robot units, as well as updates to the localization map, can be stored in a commit graph similar to Git version control. Each robot unit forms a decentralized node. Each node or robot unit participates in the management of all localization maps. All robot units check new data at the nodes and can thus participate in and verify the generation of a new localization map.

Konflikte bei Aktualisierungen der Lokalisationskarte können durch das Führen eines „Nice-Wertes“ (Kriterium), bei denen Fahrzeuge gegenseitig die Qualität ihrer Lokalisationskarten bewerten können, vermieden werden.Conflicts during updates of the localization map can be avoided by maintaining a “Nice value” (criterion) where vehicles can mutually evaluate the quality of their localization maps.

Die Erfindung und das technische Umfeld werden nachfolgend anhand von drei Figuren näher erläutert. Dabei sind gleiche Bauteile mit gleichen Bezugszeichen gekennzeichnet. Die Darstellungen sind schematisch und nicht zur Veranschaulichung von Größenverhältnissen vorgesehen. Die mit Bezug auf einzelne Details einer Figur angeführten Erläuterungen sind extrahierbar und mit Sachverhalten aus anderen Figuren oder der vorstehenden Beschreibung frei kombinierbar, es sei denn, dass sich für einen Fachmann zwingend etwas anderes ergibt, bzw. eine solche Kombination explizit untersagt wird. Es zeigen schematisch:

1: Robotereinheit in einer Seitenansicht
2: eine Ausführungsform des Verfahrens anhand einer Historie in einer graphenbasierten Darstellungsform, und
3: eine Lokalisationskarte mit drei Robotereinheiten.

The invention and the technical environment are explained in more detail below with reference to three figures. Identical components are identified by identical reference numerals. The representations are schematic and not intended to illustrate proportions. The explanations given with reference to individual details of a figure are extractable and can be freely combined with facts from other figures or the above description, unless something else is necessarily obvious to a person skilled in the art or such a combination is explicitly prohibited. The figures schematically show:

1 : Robot unit in a side view
2 : an embodiment of the method based on a history in a graph-based representation, and
3 : a localization map with three robot units.

1 zeigt eine Robotereinheit 2 in einer Seitenansicht. Die Robotereinheit 2 weist einen Antrieb 7 sowie einen Sensor 1 auf. Schematisch werden auch die Recheneinheit 3, eine Navigationseinheit 4 und ein (Daten-)Speicher 5, eingerichtet zur Regelung des Antriebs 7, sowie eine Kommunikationseinheit 6. 1 shows a side view of a robot unit 2. The robot unit 2 has a drive 7 and a sensor 1. Also schematically shown are the computing unit 3, a navigation unit 4, and a (data) memory 5 configured to control the drive 7, as well as a communication unit 6.

2 veranschaulicht das Verfahren anhand einer Historie in einer graphenbasierten Darstellungsform ähnlich einer Git-Versionsverwaltung. Die Bewegungen 8 von drei Robotereinheiten 2 sind zu erkennen. Die Bewegungsrichtung 12 gibt den zeitlichen Verlauf der Ereignisse an. Die Robotereinheiten 2 nutzen zunächst eine eigene eingespeicherte Lokalisationskarte 10 (nicht eingezeichnet, siehe 3). Beim Feststellen einer Kommunikationsmöglichkeit 11 übermitteln die Robotereinheiten 2 Umgebungsinformationen 9 zueinander. Die erhaltenen Umgebungsinformationen 9 (nicht eingezeichnet, siehe 3) werden anhand mindestens eines Kriteriums verifiziert und die Lokalisationskarte 10 aktualisiert, wenn dieses mindestens eine Kriterium erfüllt ist. 2 illustrates the process using a history in a graph-based representation similar to Git version management. The movements 8 of three robot units 2 can be seen. The direction of movement 12 indicates the temporal progression of the events. The robot units 2 initially use their own stored localization map 10 (not shown, see 3 ). Upon detection of a communication possibility 11, the robot units 2 transmit environmental information 9 to each other. The received environmental information 9 (not shown, see 3 ) are verified based on at least one criterion and the localization map 10 is updated if this at least one criterion is met.

2 verdeutlicht auch, wie Umgebungsinformationen 9 an Robotereinheiten 2 weitergegeben werden können, wenn keine direkte Kommunikationsmöglichkeit 11 besteht. Umgebungsinformationen 9 können indirekt von einer ersten Robotereinheit 2 an eine zweite Robotereinheit 2 weitergegeben werden, wenn die Umgebungsinformationen 9 über eine dritte Robotereinheit 2 weitergetragen werden. 2 also illustrates how environmental information 9 can be passed on to robot units 2 when there is no direct communication option 11. Environmental information 9 can be passed on indirectly from a first robot unit 2 to a second robot unit 2 if the environmental information 9 is passed on via a third robot unit 2.

3 stellt eine Lokalisationskarte 10 mit drei Robotereinheiten 2 dar. Die Robotereinheiten 2 bewegen sich in einer Umgebung 13 und erfassen während der Bewegung Umgebungsinformationen 9. 3 represents a localization map 10 with three robot units 2. The robot units 2 move in an environment 13 and collect environmental information 9 during the movement.

Claims

A method for creating a localization map (10) of a robot unit (2) in an environment (13), comprising the steps of: a. Sensory acquisition of location-related environmental information (9) by means of the robot unit (2); b. Storing the acquired environmental information (9) in the localization map (10) in the robot unit (2); c. Determining a communication option (11) to another robot unit (2) and transmitting environmental information (9); d. Verifying the obtained environmental information (9) based on at least one predetermined criterion; and e. Updating the localization map (10) with the obtained environmental information (9) if this at least one criterion is met.

Method according to the preceding claim, wherein step a. is carried out during a movement (8) of a robot unit (2).

Method according to one of the preceding claims, wherein step b. leads to an update of the localization map (10).

Method according to one of the preceding claims, wherein in step c. a communication possibility (11) is determined if a connection between the robot units (2) is possible.

Method according to one of the preceding claims, wherein in step c. a mutual communication of environmental information (9) takes place.

Method according to one of the preceding claims, wherein in step c. additional communication takes place via the sensory detection of the environmental information (9).

Method according to one of the preceding claims, wherein step e. carries out the updating of only a part of the localization map (10).

Robot unit (2) comprising at least one sensor (1) for detecting environmental information (9), a drive (7) for moving the robot unit (2), a computing unit (3) comprising at least one navigation unit (4) and a memory (5), configured to control the drive (7), as well as a communication unit (6) and means configured to carry out a method according to the preceding claims.

Computer program product comprising instructions that a robot unit (2) can execute according to Claim 8 initiate the procedure according to one of the Claims 1 until 7 to execute.

Localization system, comprising a plurality of robot units (2) moving autonomously in an environment (13) by means of a locally stored localization map (10), wherein the robot units (2) have sensors (1) for detecting environmental information (9) and during the movement detect environmental information (9) by sensors and exchange it with one another, wherein the robot units (2) are set up to carry out a method according to one of the Claims 1 until 7 to carry out.

Localization system according to Claim 10 , wherein the locally stored localization map (10) is updated exclusively with (i.) environmental information (9) which is itself detected by sensors and/or (ii.) environmental information (9) which is directly detected by sensors and communicated by other robot units (2).