DE102024109194A1

DE102024109194A1 - Localization methods with different sensors

Info

Publication number: DE102024109194A1
Application number: DE102024109194.0A
Authority: DE
Inventors: Felix Endres
Original assignee: Continental Automotive Technologies GmbH
Current assignee: Aumovio Germany De GmbH
Priority date: 2024-04-02
Filing date: 2024-04-02
Publication date: 2025-10-02

Abstract

Die Erfindung betrifft ein verbessertes Lokalisierungsverfahren mit unterschiedlichen Sensoren, sowie ein Fahrzeug mit der verbessertes Lokalisierungsfunktion. Für die Lokalisierung werden mehrere Partikel, die jeweils einen geschätzten Bewegungszustand des Fahrzeugs angeben, erzeugt, die Bewegung der erzeugten Partikel wird mit einem Rauschen überlagert, wobei ein laufender Mittelwert für jeden Partikel gebildet wird, die überlagerten Partikel werden entsprechend einer Übereinstimmungs-Wahrscheinlichkeit gewichtet, und die Partikel werden entsprechend der Gewichte einem periodischen Re-Sampling unterworfen. Das Fahrzeug umfasst Mittel, die eine derartige Lokalisierungsfunktion ausführen.The invention relates to an improved localization method using various sensors, as well as to a vehicle with the improved localization function. For localization, several particles are generated, each indicating an estimated motion state of the vehicle. The motion of the generated particles is superimposed with noise, with a running average being formed for each particle. The superimposed particles are weighted according to a matching probability, and the particles are subjected to periodic resampling according to the weights. The vehicle comprises means for performing such a localization function.

Description

[Feld der Erfindung][Field of invention]

Die Erfindung bezieht sich auf ein Verfahren zur Lokalisierung eines Fahrzeugs mit unterschiedlichen Sensoren, sowie auf ein Fahrzeug, welches ein solches Verfahren ausführt.The invention relates to a method for locating a vehicle using different sensors, as well as to a vehicle that carries out such a method.

[Hintergrund][Background]

Die verlässliche und fehlerfreie Lokalisierung von Fahrzeugen ist für viele Anwendungen notwendig, insbesondere im Hinblick auf Fahrerassistenzsysteme bis hin zum automatisierten Fahren. Die reine Lokalisierung mittels satellitengestützter Navigationssysteme ist hierfür zu ungenau. Im Zusammenspiel mit weiteren Sensordaten, wie beispielsweise Odometrie Sensoren, kann die Lokalisierung verbessert werden. Allerdings können durch Verschleiß und Abnutzung Fehler in das System einschleichen, ändert sich beispielsweise der Radumfang in einem unbekannten Maß, liefert eine Radsensor-gestützte Lokalisierung dann auch systematisch falsche Werte.Reliable and error-free vehicle localization is essential for many applications, particularly with regard to driver assistance systems and even automated driving. Localization using satellite-based navigation systems alone is too imprecise for this purpose. In conjunction with additional sensor data, such as odometry sensors, localization can be improved. However, wear and tear can introduce errors into the system. For example, if the wheel circumference changes by an unknown amount, wheel sensor-based localization will then systematically deliver inaccurate values.

Um solche Fehler zu vermeiden, benötigt es oftmals manueller Intervention, beispielsweise muss durch eine manuelle Kalibrierung beispielsweise der genaue Radumfang oder die genaue Bewegung des Rades beim Abrollen gemessen werden, um darauf basierend Korrekturen vornehmen zu können.To avoid such errors, manual intervention is often required. For example, manual calibration requires measuring the exact wheel circumference or the exact movement of the wheel when rolling in order to be able to make corrections based on this.

Kalibrierungsparameter können auch während des Betriebs eines Fahrzeugs durch Auswählen und Optimieren des wahrscheinlichsten Wertes eines Kalibrierungsparameters gewonnen werden, sodass aktuell gemessene Sensordaten bestmöglich erklärt werden können. Eine derartige Kalibrierung benötigt allerdings zahlreiche Berechnungsschritte, um die besten Kalibrierungsparameter während des Betriebs des Fahrzeugs zu ermitteln.Calibration parameters can also be obtained during vehicle operation by selecting and optimizing the most probable value of a calibration parameter, thus providing the best possible explanation for currently measured sensor data. However, such a calibration requires numerous calculation steps to determine the best calibration parameters during vehicle operation.

In dem Artikel von Kümmerle, R., Grisetti, G., & Burgard, W.: „Simultaneous calibration, localization, and mapping“ 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (pp. 3716-3721 ) ist ein derartiger Ansatz beschrieben. Die Position eines Roboters wird durch Odometrie und ein lasergestütztes Verfahren ermittelt. Unter Verwendung von Hyper-Graphen und einer Maximum-Likelihood-Konfiguration erfolgt eine simultane Kalibrierung und Lokalisierung.In the article by Kümmerle, R., Grisetti, G., & Burgard, W.: “Simultaneous calibration, localization, and mapping” 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (pp. 3716-3721 ) describes such an approach. The position of a robot is determined using odometry and a laser-assisted method. Simultaneous calibration and localization are performed using hypergraphs and a maximum likelihood configuration.

Partikelfilter-basierte Lokalisierungs-Techniken haben Vorteile, beispielsweise Multimodalität und die Berücksichtigung von Nichtlinearitäten im betrachteten Zustandsraum und im Messmodell betreffend, weisen aber den Nachteil auf, dass der Rechenaufwand mit der Zahl der Dimensionen des Zustandsraums stark ansteigt. Daher sind die bekannten Verfahren und deren Umsetzungen sehr rechenaufwendig, wodurch eine Anwendung dieser Verfahren im Straßenverkehr nicht oder kaum möglich ist.Particle filter-based localization techniques have advantages, such as multimodality and the consideration of nonlinearities in the state space under consideration and in the measurement model, but have the disadvantage that the computational effort increases significantly with the number of dimensions of the state space. Therefore, the known methods and their implementations are very computationally intensive, making their application in road traffic impossible or almost impossible.

[Konzept der Erfindung][Concept of the invention]

Es ist daher Aufgabe der vorliegenden Erfindung, ein weniger Rechenleistung erforderndes Lokalisierungsverfahren anzugeben, dass auch bei den typischerweise hohen Geschwindigkeiten und komplexen Situationen im Straßenverkehr eingesetzt werden kann.It is therefore an object of the present invention to provide a localization method that requires less computing power and can also be used in the typically high speeds and complex situations in road traffic.

Die Aufgabe wird gelöst durch den Gegenstand der unabhängigen Ansprüche.The problem is solved by the subject matter of the independent claims.

Bevorzugte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben.Preferred embodiments are described in the dependent claims.

In einer Ausführungsform der vorliegenden Erfindung umfasst ein Verfahren das Erzeugen von mehreren Partikeln, die jeweils einen geschätzten Bewegungszustand des Fahrzeugs angeben, Überlagern der Bewegung der erzeugten Partikel mit einem Rauschen, wobei ein laufender Mittelwert für jeden Partikel gebildet wird, Gewichten der überlagerten Partikel entsprechend einer Übereinstimmungs-Wahrscheinlichkeit, und Periodisches Re-Sampling der Partikel entsprechend der Gewichte. Ein Partikel bezeichnet in diesem Fall eine Hypothese einer möglichen Lokalisierung.In one embodiment of the present invention, a method comprises generating a plurality of particles, each indicating an estimated motion state of the vehicle, superimposing the motion of the generated particles with noise, forming a running average for each particle, weighting the superimposed particles according to a matching probability, and periodically resampling the particles according to the weights. A particle, in this case, represents a hypothesis of a possible location.

In einer Ausführungsform umfassen die Sensordaten Objekte, die sich in der Umgebung des Fahrzeugs befinden. Dies hat den Effekt, dass basierend auf den Sensor Daten, ein Abgleich der erzeugten Partikel mit der Realität stattfinden kann. Die Objekte dienen als Orientierungspunkt. In one embodiment, the sensor data includes objects located in the vehicle's surroundings. This has the effect of allowing the generated particles to be compared with reality based on the sensor data. The objects serve as a reference point.

In einer Ausführungsform umfasst der Bewegungszustand des Fahrzeugs den Ort, die Geschwindigkeit oder die Gierrate des Fahrzeugs.In one embodiment, the state of motion of the vehicle includes the location, speed, or yaw rate of the vehicle.

In einer Ausführungsform weist das Rauschen eine Normalverteilung auf.In one embodiment, the noise has a normal distribution.

In einer Ausführungsform wird die Wahrscheinlichkeit einer Übereinstimmung anhand des Vergleichs der Partikel mit den zuvor erfassten Sensordaten ermittelt.In one embodiment, the probability of a match is determined by comparing the particles with the previously acquired sensor data.

In einer Ausführungsform erfolgt das periodische Re-Sampling, sodass Partikel mit höherer Gewichtung mit größerer Wahrscheinlichkeit ausgewählt werden.In one embodiment, periodic re-sampling occurs so that particles with higher weights are more likely to be selected.

In einer Ausführungsform weist das Rauschen eine Verteilung mit dem Mittelwert 0 auf.In one embodiment, the noise has a distribution with mean 0.

In einer Ausführungsform wird eine exponentielle Glättung des laufenden Mittelwerts verwendet. Dies hat den Effekt, dass die Anwendbarkeit des erfindungsgemäßen Verfahrens auf zeitveränderliche Kalibrationsfehler verbessert wird.In one embodiment, exponential smoothing of the running mean is used. This has the effect of improving the applicability of the inventive method to time-varying calibration errors.

In einer Ausführungsform werden die Partikel entsprechend Informationen über einen gemessenen Fahrzeugzustand propagiert.In one embodiment, the particles are propagated according to information about a measured vehicle condition.

In einer Ausführungsform wird der laufende Mittelwert mit einem Schwellenwert verglichen; und wenn der laufende Mittelwert größer als der Schwellenwert ist, wird der Fehlkalibration entgegengewirkt.In one embodiment, the running average is compared to a threshold; and if the running average is greater than the threshold, the miscalibration is counteracted.

In einer Ausführungsform weist ein Fahrzeug Einrichtungen auf, die das zuvor beschriebene Verfahren ausführen.In one embodiment, a vehicle comprises devices that carry out the method described above.

[Kurze Beschreibung der Abbildungen][Brief description of the illustrations]

In den Abbildungen wird das Konzept der Erfindung erläutert, wobei:

1 eine beispielhafte Situation gemäß einer Ausführungsform der vorliegenden Erfindung zeigt, und
2 ein Flussdiagramm gemäß der vorliegenden Erfindung zeigt.

The figures explain the concept of the invention, where:

1 shows an exemplary situation according to an embodiment of the present invention, and
2 shows a flow chart according to the present invention.

[Detaillierte Beschreibung der Abbildungen][Detailed description of the illustrations]

1 zeigt eine beispielhafte Situation, in der die vorliegenden Erfindung zum Einsatz kommen kann. Gezeigt ist ein Straßenabschnitt 100, auf den sich ein Fahrzeug 110 befindet, die Abbildung ist nicht maßstabsgetreu. Das Fahrzeug kann ein Personenkraftwagen, Lastkraftwagen, Omnibus, Motorrad oder auch ein E-Bike sein, es ist klar, dass die vorliegende Erfindung bei beliebigen Fahrzeugen implementiert werden kann. 1 shows an exemplary situation in which the present invention can be used. It shows a road section 100 on which a vehicle 110 is located; the illustration is not to scale. The vehicle can be a passenger car, truck, bus, motorcycle, or even an e-bike; it is clear that the present invention can be implemented in any vehicle.

Auch wenn in 1 ein gerader Straßenabschnitt 100 gezeigt ist, ist dem Fachmann klar, dass die vorliegende Erfindung auch in Kurven oder anderen Straßenabschnitten wie Kreuzungen oder Einmündungen eingesetzt werden kann.Even if in 1 a straight road section 100 is shown, it is clear to the person skilled in the art that the present invention can also be used in curves or other road sections such as intersections or junctions.

Um den Fahrzustand des Fahrzeugs 110 zu schätzen, werden von dem erfindungsgemäßen Algorithmus Hypothesen erzeugt, die den Fahrzeugzustand angeben. Die erzeugten Hypothesen werden auch als Partikel bezeichnet. Für die Erzeugung dieser Partikel kann ein Monte Carlo Algorithmus zum Einsatz kommen. Monte Carlo Techniken sind bekannt, daher wird werden diese im Rahmen dieser Anmeldung nicht näher beschrieben. Im Allgemeinen kommt bei Monte Carlo Verfahren ein Zufallsgenerator zum Einsatz, im Rahmen des erfinderischen Konzepts werden mittels diesem zufällige Fahrzeugzustände, die vorher erwähnten Partikel, erzeugt.To estimate the driving state of vehicle 110, the algorithm according to the invention generates hypotheses that indicate the vehicle state. The generated hypotheses are also referred to as particles. A Monte Carlo algorithm can be used to generate these particles. Monte Carlo techniques are known; therefore, they will not be described in detail in this application. Monte Carlo methods generally employ a random generator; within the scope of the inventive concept, this generator is used to generate random vehicle states, the aforementioned particles.

Im vorliegenden Fall ist dem Fahrzeug 110 dessen Position bekannt bzw. dessen Position kann initialisiert werden, da das Fahrzeug 110 über ein GNSS-Modul verfügt, mittels welchem eine satellitengestützte Lokalisierung erfolgt.In the present case, the vehicle 110 knows its position or its position can be initialized because the vehicle 110 has a GNSS module by means of which satellite-based localization takes place.

Des Weiteren kann das Fahrzeug 110 über eine Karte verfügen, insbesondere über eine hochauflösende Karte, die Informationen über die Umgebung des Fahrzeug 110 bereitstellt.Furthermore, the vehicle 110 may have a map, in particular a high-resolution map, which provides information about the surroundings of the vehicle 110.

Das Fahrzeug 110 kann Informationen über die eigene Bewegung auch und/oder ergänzend über Odometrie oder Lenkrad-Bewegungen ableiten und dies verwenden, um die eigene Bewegung zu bestimmen. Derartige Informationen können Fehlkalibrierungen aufweisen oder sich unter Umständen während des Betriebs verändern, beispielsweise durch eine Temperaturabhängigkeit des Reifendrucks.The vehicle 110 can also and/or additionally derive information about its own movement via odometry or steering wheel movements and use this to determine its own movement. Such information may be miscalibrated or may change during operation, for example, due to a temperature dependence of tire pressure.

Basierend auf der satellitengestützten Positionsangabe werden eine Vielzahl von Partikelhypothesen im Umfeld der ermittelten Position erzeugt. Diese Vielzahl von Hypothesen sind in 1 mittels der Elemente 131-136 angedeutet. Jedes dieser Elemente 131-136 stellt einen solchen Partikel dar, jeder Partikel besitzt Eigenschaften wie Ort, Ausrichtung und/oder Geschwindigkeit. Der Ort ist durch den Punkt gegeben, die Geschwindigkeit ist durch die Länge des Pfeils, der sich an den Punkt anschließt, angedeutet, und die Ausrichtung des Pfeils deutet die Ausrichtung des Fahrzeugs an.Based on the satellite-based position information, a multitude of particle hypotheses are generated in the vicinity of the determined position. These numerous hypotheses are 1 indicated by elements 131-136. Each of these elements 131-136 represents such a particle, each particle possessing properties such as location, orientation, and/or speed. The location is given by the dot, the speed is indicated by the length of the arrow following the dot, and the orientation of the arrow indicates the orientation of the vehicle.

Wie in 1 zu sehen ist, haben zwei der Partikel 131, 136 eine Ausrichtung nach oben, zwei Partikel 133,134 haben eine Ausrichtung nach unten, weist nach rechts, und ein Partikel 135 nach links. Die erratische Verteilung der Elemente und deren Ausrichtung und Pfeillänge soll die zufällige Auswahl eines Satzes von vermuteten Partikeln verdeutlichen, dies entspricht dem grundlegenden Konzept der Monte-Carlo-Simulation.As in 1 As can be seen, two of the particles 131 and 136 are oriented upwards, two particles 133 and 134 are oriented downwards, pointing to the right, and one particle 135 is oriented to the left. The erratic distribution of the elements, their orientation, and arrow length are intended to illustrate the random selection of a set of suspected particles, which corresponds to the basic concept of Monte Carlo simulation.

Der Ort des Partikels kann mit der ermittelten Position des Fahrzeugs 110 in Übereinstimmung gebracht werden, im Rahmen des verwendeten Monte-Carlo-Verfahrens kann sich die Übereinstimmung mit dem Ort des Fahrzeugs 110 auf den Mittelwert der Orte aller erzeugten Partikel beziehen.The location of the particle can be matched to the determined position of the vehicle 110; within the framework of the Monte Carlo method used, the match to the location of the vehicle 110 can refer to the mean value of the locations of all generated particles.

In 1 ist ein Verkehrsschild 150 gezeigt. Das Fahrzeug verfügt über einen Sensor, beispielsweise eine Kamera, mit der ein Orientierungspunkt wie das Verkehrsschild 150 erfasst werden kann. Wie im Folgenden deutlich wird, stellt das Verkehrsschild 150 einen Orientierungspunkt dar, mit Hilfe dessen die zuvor erzeugten Partikel hinsichtlich ihrer Übereinstimmung mit der Realität überprüft werden können. Anstelle eines Verkehrsschilds kann im Rahmen der vorliegenden Erfindung ein beliebiger Orientierungspunkt zum Einsatz kommen. Beispielsweise können markante ortsfeste Punkte wie Ampeln, Kreuzungen, Häuser, Brücken, Straßenmarkierungen oder Bäume verwendet werden, um in einem erfindungsgemäßen Verfahren zum Einsatz zu kommen. Die genaue Position eines solchen Orientierungspunkts, wie beispielsweise das Verkehrsschild 150, wird als bekannt angenommen und kann beispielsweise in zur Verfügung stehenden Kartenmaterial gespeichert sein.In 1 A traffic sign 150 is shown. The vehicle has a sensor, for example a camera, with which a landmark such as the traffic sign 150 can be detected. As will become clear below, the traffic sign 150 represents a landmark with the help of The previously generated particles can be checked for their correspondence with reality. Instead of a traffic sign, any landmark can be used within the scope of the present invention. For example, prominent fixed points such as traffic lights, intersections, houses, bridges, road markings, or trees can be used in a method according to the invention. The exact position of such a landmark, such as traffic sign 150, is assumed to be known and can, for example, be stored in available map material.

In einem nächsten Schritt wird, basierend auf der Sensormessung und für jeden der geschätzten Partikel, ermittelt, welche Position der Orientierungspunkt, hier das Verkehrsschild 150, in dem Koordinatensystem, welches für den jeweiligen betrachteten Partikel gilt, haben würde.In a next step, based on the sensor measurement and for each of the estimated particles, the position of the orientation point, here the traffic sign 150, would have in the coordinate system that applies to the respective particle under consideration is determined.

Die Sensormessung, beispielsweise mittels einer Kamera, liefert die Information, dass sich der Orientierungspunkt, in diesem Fall das Verkehrsschild 150, in der Nähe des Fahrzeugs befindet, und liefert auch die Relativ-Position des Orientierungspunkts, bezogen auf die Position des Sensors.The sensor measurement, for example by means of a camera, provides the information that the orientation point, in this case the traffic sign 150, is located near the vehicle, and also provides the relative position of the orientation point with respect to the position of the sensor.

In der in 1 gezeigten Situation befindet sich das Verkehrsschild 150 diagonal rechts vor dem Fahrzeug. Basierend auf den Sensorinformationen wird ermittelt, an welcher Stelle relativ zu dem Fahrzeug sich das Verkehrsschild 150 befindet. In Fahrzeugkoordinaten ausgedrückt bedeutet dies, dass sich das Verkehrsschild um eine gewisse Strecke A rechts von dem Fahrzeug und eine gewisse Strecke B vor dem Fahrzeug befindet.In the 1 In the situation shown, traffic sign 150 is located diagonally to the right of the vehicle. Based on the sensor information, the location of traffic sign 150 relative to the vehicle is determined. Expressed in vehicle coordinates, this means that the traffic sign is located a certain distance A to the right of the vehicle and a certain distance B in front of the vehicle.

Als nächstes wird für jeden der geschätzten Partikel errechnet, an welcher Stelle sich das Verkehrsschild befinden müsste, wenn der jeweilige Partikel der realen Position und Ausrichtung des Fahrzeugs entsprechen würde. Betrachtet man zum Beispiel Partikel 135, dessen Pfeil nach links zeigt, so ist für diesen Partikel angedeutet, dass sich das Verkehrsschild schräg rechts vor diesem befinden müsste. Die hypothetische Position des Verkehrsschilds ist durch ein ‚X‘ angedeutet, das sich um eine diagonal liegende Strecke versetzt vor dem Partikel befindet. In 1 ist dies durch die Hypotenuse des sich vor der Spitze des Pfeils des Partikels befindliche rechtwinklige Dreieck verdeutlicht, so dass sich die angenommene Position des Verkehrsschilds um die Strecke A nach rechts und Strecke B vor dem Fahrzeug befindet. Die angenommene Position des Verkehrsschildes befindet sich in diesem Fall allerdings fernab des realen Schildes 150, nämlich im Grünstreifen links neben der Fahrbahn, an der angenommenen Position X. Betrachtet man Partikel 131, so kommt die angenommene Position X des Verkehrsschilds der realen Position des Verkehrsschilds 150 recht nahe, relativ zum Partikel ist die angenommene Position wieder um die Strecke A nach rechts und um die Strecke B nach vorne verschoben und durch ein Kreuz angedeutet. Hier kann man sehen, dass die angenommene und reale Position verhältnismäßig nahe beieinanderliegen. Daher stellt dieser Partikel, im Rahmen dieser sehr vereinfachten Situation, die beste Schätzung dar.Next, for each of the estimated particles, the position of the traffic sign is calculated if the respective particle corresponded to the actual position and orientation of the vehicle. For example, if we consider particle 135, whose arrow points to the left, it is indicated that the traffic sign should be located diagonally in front of it to the right. The hypothetical position of the traffic sign is indicated by an 'X', which is offset diagonally in front of the particle. 1 This is illustrated by the hypotenuse of the right-angled triangle located in front of the tip of the particle's arrow, so that the assumed position of the traffic sign is distance A to the right and distance B in front of the vehicle. In this case, however, the assumed position of the traffic sign is far away from the real sign 150, namely in the grass verge to the left of the roadway, at the assumed position X. If one looks at particle 131, the assumed position X of the traffic sign is quite close to the real position of the traffic sign 150; relative to the particle, the assumed position is again shifted by distance A to the right and by distance B forward and indicated by a cross. Here one can see that the assumed and real positions are relatively close to one another. Therefore, this particle represents the best estimate in this very simplified situation.

Der Abstand des jeweiligen Kreuzes ‚X‘ eines jeden Partikel zu der realen Position des Verkehrsschildes 150 ist ein Maß dafür, wie gut der jeweilige Partikel den realen Gegebenheiten entspricht. Somit ist der Abstand ein anschauliches Maß für die Übereinstimmung-Wahrscheinlichkeit, dass angibt, wie gut der jeweilige Partikel die Realität widerspiegelt.The distance of each particle's respective cross 'X' to the actual position of traffic sign 150 is a measure of how well the respective particle corresponds to the real-world conditions. Thus, the distance is a descriptive measure of the probability of correspondence, indicating how well the respective particle reflects reality.

Um die Qualität der Lokalisierung zu verbessern, wird ein Bewegungsmodell auf die Partikel angewendet. Das Fahrzeug 110, das lokalisiert werden soll, bewegt sich mit einer gewissen Geschwindigkeit auf der Straße 100. Das erfindungsgemäße Lokalisierungsverfahren benötigt für die Ausführung der Schritte eine gewisse Zeit, sodass nach Abschluss eines Durchlaufs des Verfahrens sich das Fahrzeug nicht mehr an dem Ort befinden wird, an dem es war als mit der Ausführung des Verfahrens begonnen wurde. Somit kann sich ein geschwindigkeitsabhängiger Fehler einschleichen, um diesen Fehler zu minimieren, wird ein Bewegungsmodell verwendet, welches die Bewegung des Fahrzeugs 110 modelliert. Dieses Bewegungsmodell kann im einfachsten Fall die Berücksichtigung einer linearen Ortsänderung umfassen, es kann aber auch berücksichtigt werden, dass das Fahrzeug eine Kurve fährt, beschleunigt oder bremst, dies kann durch eine entsprechende Modellierung dargestellt werden.To improve the quality of localization, a motion model is applied to the particles. The vehicle 110 to be localized moves at a certain speed on the road 100. The localization method according to the invention requires a certain time to execute the steps, so that after completing one run of the method, the vehicle will no longer be at the location it was at when the method was started. Thus, a speed-dependent error can creep in. To minimize this error, a motion model is used that models the movement of the vehicle 110. In the simplest case, this motion model can include consideration of a linear change in location; however, it can also take into account the fact that the vehicle is cornering, accelerating, or braking; this can be represented by appropriate modeling.

Eine weitere Verbesserung kann erzielt werden, indem der Bewegung der erzeugten Partikel ein Rauschen überlagert wird. Dieses Rauschen weist bevorzugt den Mittelwert Null auf, dies kann beispielsweise durch Verwendung einer Gauß-Verteilung erreicht werden. Basierend auf dem verrauschten Bewegungszustand des Partikels wird ein gleitender Mittelwert gebildet, und wenn das Rauschen einen Mittelwert von Null aufweist, sollte der laufende Mittelwert einen Wert nahe Null aufweisen. Wenn der laufende Mittelwert nicht einen Wert nahe Null aufweist, ist dies ein Hinweis auf eine Fehlkalibrierung. Bevor auf eine Fehlkalibrierung geschlossen wird, kann es sinnvoll sein einen statistischen Signifikanztest durchzuführen, um zu ermitteln ob die Abweichung vom Wert Null nicht nur zufällig besteht. Bislang wurde festgestellt, dass das Partikel eine Fehlkalibrierung darstellt. Die Wahrscheinlichkeit des Partikels und damit die Wahrscheinlichkeit der Fehlkalibrierung kann wiederum festgestellt werden, wenn man unter Annahme der Positionshypothese die Umfeldsensorinformationen mit der Karte abgleicht oder indem man die Positionshypothese mit der GNSS-Position abgleicht. Bei der Ermittlung des Vorhandenseins einer Fehlkalibrierung kann, abhängig von der mit dem Partikel verbundenen Wahrscheinlichkeit, geschlossen werden, dass eine Fehlkalibrierung nur dann vorliegt, wenn das Partikel eine bestimmte Wahrscheinlichkeit aufweist.A further improvement can be achieved by superimposing noise on the movement of the generated particles. This noise preferably has a mean of zero; this can be achieved, for example, by using a Gaussian distribution. Based on the noisy motion state of the particle, a moving average is calculated. If the noise has a mean of zero, the running average should have a value close to zero. If the running average does not have a value close to zero, this is an indication of a miscalibration. Before concluding that a miscalibration is present, it may be useful to perform a statistical significance test to determine whether the deviation from the value zero is not due to chance. So far, it has been determined that the particle represents a miscalibration. The probability of the particle and thus the probability of Miscalibration can be detected by comparing the environmental sensor information with the map, assuming the position hypothesis, or by comparing the position hypothesis with the GNSS position. When determining the presence of miscalibration, depending on the probability associated with the particle, it can be concluded that miscalibration only exists if the particle has a certain probability.

Es kann für die beschriebenen Überlegungen die Annahme gemacht werden, dass die zum Einsatz kommenden Sensoren und Karte keinen substanziellen Offset haben, der sich mit der Zeit anhäuft. Generell kann dies für Karten angenommen werden, die basierend auf GNSS-Daten erzeugt wurden, auch gilt dies für GNSS-Sensoren. Fehlkalibrierung und von Kameras oder Radarsensoren führen lediglich zu einem statischen Offset, nicht zu einem zeitlich angehäuften Offset wie der, der bei einer fehlkalibrierten Ego-Bewegung auftritt, dies wird beispielsweise beim Dead-Reckoning in Navigationssystemen beobachtet.For the purposes of the above considerations, it can be assumed that the sensors and maps used do not have a substantial offset that accumulates over time. This can generally be assumed for maps generated based on GNSS data, and this also applies to GNSS sensors. Miscalibration of cameras or radar sensors only leads to a static offset, not to a temporally accumulated offset like that which occurs with a miscalibrated ego movement, which is observed, for example, in dead reckoning in navigation systems.

Bei der erneuten Erzeugung (Re-Sampling) eines neuen Satzes von Partikeln kann nun die Kenntnis einfließen, die sich aus den gewonnenen Übereinstimmung-Wahrscheinlichkeiten ergibt. Bei der zum Einsatz kommenden Monte-Carlo-Methode können unterschiedliche Verteilungen der Zufallswerte zugrunde liegen. Als einfachster Ansatz kann eine Gleichverteilung innerhalb gewisser Grenzen oder auch eine Verteilungsfunktion, wie beispielsweise eine Gaußverteilung, angenommen werden. Mit der Kenntnis der Übereinstimmung-Wahrscheinlichkeiten kann die Wahrscheinlichkeitsverteilung, die in die Monte-Carlo-Simulation einfließt, angepasst werden, sodass bevorzugt Partikel erzeugt werden, von denen ausgegangen werden kann, dass diese eine höhere Übereinstimmung mit der Realität haben. Dies geschieht beispielsweise durch das Anwenden einer Gewichtung für jeden der Partikel, wobei die Gewichtung umso höher ist, je näher der Partikel der Realität entspricht. Die genaue Ausgestaltung der Gewichtungsfunktion kann dem jeweiligen Anwendungszweck angepasst werden, generell gilt das eine bessere Übereinstimmung eine höhere Gewichtung, und eine schlechtere Übereinstimmung eine geringere Gewichtung mit sich bringt.When re-generating a new set of particles (resampling), the knowledge resulting from the obtained match probabilities can be incorporated. The Monte Carlo method used can be based on different distributions of the random values. The simplest approach is to assume a uniform distribution within certain limits or a distribution function, such as a Gaussian distribution. With knowledge of the match probabilities, the probability distribution used in the Monte Carlo simulation can be adjusted so that particles are preferentially generated that can be assumed to have a higher match with reality. This can be done, for example, by applying a weighting to each of the particles, whereby the weighting is higher the closer the particle corresponds to reality. The exact design of the weighting function can be adapted to the respective application; in general, a better match results in a higher weighting, and a poorer match results in a lower weighting.

2 zeigt ein Flussdiagramm der Schritte, die im Rahmen der vorliegenden Erfindung vorgenommen werden. Das hier geschilderte Verfahren entspricht dem Verfahren, das auch schon im Zusammenhang mit 1 erläutert wurde, daher wird hier eine Wiederholung vermieden, stattdessen wird auf die Ausführungen zu 1 verwiesen. 2 shows a flowchart of the steps carried out within the scope of the present invention. The method described here corresponds to the method that has already been described in connection with 1 explained, therefore a repetition is avoided here, instead reference is made to the explanations of 1 referred to.

Schritt S210 werden ein oder mehrere Partikel, die jeweils eingeschätzten Bewegungszustand des Fahrzeugs angeben, erzeugt. Wie zuvor beschrieben, erfolgt das Erzeugen der Partikel zufällig im Rahmen der hier verwandten Monte-Carlo-Simulationstechnik. Die erzeugten Partikel können jeweils einem geschätzten Bewegungszustand des Fahrzeugs entsprechen, wobei der Bewegungszustand den Ort, Geschwindigkeit und/oder Gierrate des Fahrzeugs umfasst. Der Ort kann in 2 oder in 3 Dimensionen angegeben sein, üblicherweise genügt es, den Ort in 2 Dimensionen anzugeben, da aufgrund der Bodenverbundenheit des Fahrzeugs im Zusammenspiel mit einer Karte, die auch Topographieinformationen umfassen kann, die Höhe sich zwangsläufig ergibt. Die Beschränkung auf die Simulation von 2 Ortskoordinaten bzw. auf 2 Geschwindigkeitskoordinaten hat den Vorteil, dass bei der hier verwandten Monte-Carlo-Technik der notwendige Rechenzeit- oder Speicher-Bedarf deutlich verringert wird.In step S210, one or more particles are generated, each indicating the estimated state of motion of the vehicle. As previously described, the particles are generated randomly within the framework of the Monte Carlo simulation technique used here. The generated particles can each correspond to an estimated state of motion of the vehicle, whereby the state of motion includes the vehicle's location, speed, and/or yaw rate. The location can be specified in 2 or 3 dimensions; usually, it is sufficient to specify the location in 2 dimensions, since the height is inevitably determined due to the vehicle's connection to the ground in conjunction with a map, which may also include topographical information. Limiting the simulation to 2 location coordinates or 2 speed coordinates has the advantage that the Monte Carlo technique used here significantly reduces the necessary computing time and memory requirements.

In Schritt S220 wird die Bewegung der erzeugten Partikel mit einem Rauschen überlagert. Dies bedeutet, dass den zufällig ermittelten Partikelwerten zusätzlich noch eine rein zufällige Komponente überlagert wird. Für jeden Partikel wird ein gleitender Mittelwert gebildet. Wie zuvor erwähnt, kann dies verwendet werden, um Fehlkalibrationen zu detektieren.In step S220, the movement of the generated particles is overlaid with noise. This means that a purely random component is additionally superimposed on the randomly determined particle values. A moving average is calculated for each particle. As mentioned previously, this can be used to detect miscalibrations.

In Schritt S230 werden die mit dem Rauschen überlagerten Partikel entsprechend einer Übereinstimmung-Wahrscheinlichkeit gewichtet. Beispielsweise kann festgestellt werden, dass die zuvor erzeugten Partikel mehr oder weniger gut mit der Realität übereinstimmen. Stimmt ein betrachteter Partikel mit der Realität nur wenig über ein, wird dieser Partikel mit einem geringen Gewicht versehen, stimmt ein betrachtete Partikel mit der Realität gut überein, so erhält dieser eine größere Gewichtung.In step S230, the particles overlaid with the noise are weighted according to a probability of agreement. For example, it can be determined whether the previously generated particles correspond more or less well to reality. If a particle under consideration only slightly corresponds to reality, it is assigned a low weight; if a particle under consideration corresponds well to reality, it is assigned a higher weight.

In Schritt S240 erfolgt ein erneutes Erzeugen von Partikeln, dieses Mal allerdings entsprechend den zuvor ermittelten Gewichten. Ein hoch gewichtet Partikel hat eine größere Wahrscheinlichkeit, bei dem erneuten Erzeugen der Partikel wieder erzeugt zu werden, ein Partikel mit einem geringeren Gewicht hat eine sehr geringe Chance darauf, bei der erneuten Erzeugung der Partikel wieder vorzukommen.In step S240, particles are generated again, but this time according to the previously determined weights. A highly weighted particle has a higher probability of being generated again during the next generation of particles, while a particle with a lower weight has a very low chance of being generated again during the next generation of particles.

Durch die Berücksichtigung der Gewichte wird die Wahrscheinlichkeitsverteilung, die bei der zuvor beschriebenen Monte-Carlo-Simulation verwendet wird, an die Realität angepasst, sodass auf Grundlage der veränderten Wahrscheinlichkeitsverteilung das Ergebnis von Schritt S210, der bei dem Re-Sampling erneut ausgeführt wird, näher an der Realität liegen wird.By taking the weights into account, the probability distribution used in the Monte Carlo simulation described above is adapted to reality, so that based on the changed probability distribution, the result of step S210, which is executed again during re-sampling, will be closer to reality.

Da der Schritt S240 vom Prinzip her dem Schritte S210 entspricht, mit dem Unterschied, dass in Schritt S240 eine angepasste Verteilungsfunktion bei der Erzeugung der Partikel zum Einsatz kommt. Somit handelt es sich hier um ein periodisch ausführbares Konzept, das ein Feedback von Informationen umfasst.Since step S240 is essentially the same as step S210, with the difference that in step S240, an adapted distribution function is used to generate the particles. Thus, this is a periodically executable concept that includes information feedback.

Auf diese Art und Weise ist es möglich, die Anzahl der zufällig erzeugten Partikel beim Re-Sampling geringer halten zu können, somit kann Rechenzeit und Speicher gespart werden.In this way, it is possible to keep the number of randomly generated particles lower during re-sampling, thus saving computing time and memory.

Auch wenn das erfindungsgemäße Verfahren im Kontext einer Verkehrssituation auf einer Straße beschrieben wurde, kann das Verfahren u.a. beim (teil-)automatisierten Fahren, in Fahrer-Assistenzsystemen, beim automatisierten Parken, bei sogenannten „Automated Guided Vehicles“ und auch bei Robotern, beispielsweise in der Logistik, zur Anwendung kommen.Even if the method according to the invention has been described in the context of a traffic situation on a road, the method can be used, among other things, in (partially) automated driving, in driver assistance systems, in automated parking, in so-called “automated guided vehicles” and also in robots, for example in logistics.

Abschließend wird darauf hingewiesen, dass Begriffe wie „aufweisend“, „umfassend“ etc. keine anderen Elemente oder Schritte ausschließen, und dass Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in Ansprüchen sind nicht als Einschränkung auszulegen.Finally, it should be noted that terms such as "comprising," "having," etc., do not exclude other elements or steps, and that terms such as "a" or "an" do not exclude a plurality. Reference signs in claims should not be construed as limitations.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

Kümmerle, R., Grisetti, G., & Burgard, W.: “Simultaneous calibration, localization, and mapping” 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (pp. 3716-3721 [0005]

Claims

A calibration method for a vehicle having sensor data, the method comprising: generating (S210) a plurality of particles, each indicating an estimated motion state of the vehicle, superimposing (S220) the motion of the generated particles with noise, forming a running average for each particle, weighting (S230) the superimposed particles according to a matching probability, and periodically resampling (S240) the particles according to the weights.

Procedure according to Claim 1 , where the sensor data includes objects located in the vehicle's surroundings.

A method according to any one of the preceding claims, wherein the state of motion of the vehicle comprises at least one of a location, a speed and a yaw rate.

Method according to one of the preceding claims, wherein the noise corresponds to a normal distribution.

Method according to one of the preceding claims, wherein the probability of match is determined based on a comparison of the particles with the sensor data.

Method according to one of the preceding claims, wherein the periodic re-sampling of the particles is carried out in such a way that particles with higher weighting are selected with greater probability.

Method according to one of the preceding claims, wherein the noise has a distribution with mean value 0.

Method according to one of the preceding claims, wherein exponential smoothing of the running mean is used.

A method according to any one of the preceding claims, further comprising: propagating the particles according to information about a measured vehicle condition.

A method according to any preceding claim, further comprising: comparing the running average with a threshold; and if the running average is greater than the threshold: counteracting the miscalibration.

Vehicle having devices designed to carry out a method according to one of the Claims 1 until 10 to execute.