DE112018007810T5

DE112018007810T5 - Objektverfolgung auf Grundlage von mehreren Messhypothesen

Info

Publication number: DE112018007810T5
Application number: DE112018007810.8T
Authority: DE
Inventors: Michael Aeberhard; Dominik Kellner
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2018-07-06
Filing date: 2018-07-06
Publication date: 2021-04-08
Also published as: WO2020007487A1; US11455736B2; CN112154481B; CN112154481A; US20210233261A1

Abstract

Ein Verfahren und ein System zum Integrieren mehrerer Messhypothesen in einem effizienten Labeled-Multi-Bernoulli(LMB)-Filter, wobei der LMB-Filter eine Vielzahl von Bahnen für eine Vielzahl von Objekten abschätzt, wobei jede Bahn der Vielzahl von Bahnen eine eindeutige Kennzeichnung, eine Wahrscheinlichkeit und einen Zustand aufweist, wobei jede Bahn der Vielzahl von Bahnen mit einem Objekt einer Vielzahl von zu verfolgenden Objekten assoziiert ist, wobei jedes Objekt einen Objektzustand aufweist, wobei das Verfahren umfasst: Empfangen einer oder mehrerer Messhypothesen der mehreren Messhypothesen für jedes Objekt der Vielzahl von Objekten; Aktualisieren jeder Bahn der Vielzahl von Bahnen auf Grundlage der jeweiligen Bahn und der einen oder der mehreren Messhypothesen der mehreren Messhypothesen; Ermitteln, für jede Kombination aus Bahn der Vielzahl von Bahnen und Messhypothese, einer Likelihood ηi(j, k); Beproben, für jede Iteration einer Vielzahl von Iterationen, einer Aktualisierungshypothese γ(t)auf Grundlage einer Assoziation jeder Bahn der Vielzahl von Bahnen mit einem von: einer Messhypothese, einer Erkennung von verpassten Ereignissen oder einer Erkennung einer abklingenden Bahn; Ermitteln des Zustands jeder Bahn der Vielzahl von Bahnen auf Grundlage ihrer jeweiligen Assoziationen in den aktualisierten Hypothesen y(t); Extrahieren, für jede Bahn der Vielzahl von Bahnen, einer Existenzwahrscheinlichkeit; Vorhersagen des Objektzustands jedes Objekts der Vielzahl von Objekten in Bezug auf eine nächste Messzeit; Ermitteln, ob eine weitere Aktualisierung durchzuführen ist; und falls eine weitere Aktualisierung durchzuführen ist, erneutes Wiederholen der Verfahrensschritte ab und einschließlich des Aktualisierens jeder Bahn der Vielzahl von Bahnen. Das System enthält eine Steuereinheit, die ausgelegt ist, das Verfahren durchzuführen. Ein Fahrzeug, das das System enthält, ist auch vorgesehen.

Description

Gebiet der Technik
Die vorliegende Offenbarung betrifft ein Verfahren und ein System zur Objektverfolgung, insbesondere zur Verwendung bei Objektverfolgung in Automobilanwendungen.
Stand der Technik
Die Erkennung und Bewegungsabschätzung einer unbekannten Anzahl von Objekten, zum Beispiel Verkehrsteilnehmern, in dichten Umgebungen voller Unordnung ist eine wesentliche Aufgabe für autonome Fahrsysteme. Jüngste Forschungen unter Verwendung von Random-Finite-Sets zeigen vielversprechende Ergebnisse und sind der Stand der Technik für Obj ektverfolgung.
Eine wesentliche Herausforderung für vollständig autonomes Fahren ist die Erkennung und Interpretation von dynamischen Objekten in der Umgebung. Insbesondere bieten urbane Situationen viele Herausforderungen mit einer großen Anzahl an Verkehrsteilnehmern, wie Autos, Fußgängern und Radfahrern, die zuverlässig erkannt werden müssen und deren oft stark dynamischer Bewegungszustand abgeschätzt werden muss. Eine dichte urbane Umgebung ist auch aufgrund des Vorhandenseins vieler verschiedener Objekte, wie von Gebäuden, geparkten Autos, Verkehrszeichen, Bäumen usw. anfälliger für Stördatenmessungen und falsche Erkennungen von Sensoren. Darüber hinaus ist es nicht immer möglich, eine einzelne richtige Messhypothese für jedes Objekt zu extrahieren, was zu mehreren, abhängigen Messwerten für ein einziges Objekt führt.
K. Granstrom, M. Baum und S. Reuter, „Extended object tracking: Introduction, overview and applications“, arXiv-Preprint arXiv: 1604.00970, 2016, beschreiben ausgedehnte Objekte, die als Objekte definiert sind, die mehrere räumlich verteilte Messwerte erzeugen können. Eine Laserscanner-Punktwolke ist ein derartiges Beispiel, wobei jeder Laserscannerpunkt als ein einzelner Messwert modelliert wird und physisch durch einen unterschiedlichen Teil eines Objekts erzeugt wird. Einige Objekterkennungstechniken extrahieren jedoch eine Messwertdarstellung auf hoher Ebene aus Rohdaten. Für derartige Messungen können sich mehrere Hypothesen für ein einziges Objekt ergeben, wobei die Messwerte von einem einzigen Objekt abhängig sind und nicht räumlich verteilt sind. Aktuelle Verfolgungsanwendungen vermeiden dieses Problem durch Auswählen der wahrscheinlichsten Messhypothese für ein einzelnes Objekt und Ignorieren des Rests.
Zwei typische Beispiele, bei denen mehrere Messhypothesen erzeugt werden, ist bei Erkennungsalgorithmen für Kamera- und Laserscannersensoren. Bildverarbeitungstechniken zur Objekterkennung erzeugen üblicherweise mehrere Erkennungshypothesen für ein einzelnes Objekt. A. Broggi, P. Cerri und P. C. Antonello, „Multi-resolution vehicle detection using artificial vision", in Intelligent Vehicles Symposium, 2004 IEEE. IEEE, 2004, S. 310-314, verwenden das vielversprechendste Fenster. In anderen Beispielen werden ähnliche Fenster zusammen gemittelt.
B. Li, „3d fully convolutional network for vehicle detection in point cloud", in Intelligent Robots and Systems (IROS), 2017 IEEE/RSJ International Conference on. IEEE, 2017, S. 1513-1518, und V. Vaquero, I. del Pino, F. Moreno-Noguer, J. Solà, A. Sanfeliu und J. Andrade-Cetto, „Deconvolutional networks for point-cloud vehicle detection and tracking in driving scenarios", in Mobile Robots (ECMR), 2017 European Conference on. IEEE, 2017, S. 1-7, beschreiben moderne Ansätze bei der Lidar-Objekterkennung, die faltende neuronale Netze verwenden, wobei die Ausgabe des Netzes üblicherweise mehrere Hypothesen für ein einziges Objekt erzeugt. Die vielversprechendsten Erkennungen werden wiederum üblicherweise durch Anwenden eines hinreichend hohen Schwellenwerts auf die Ausgabe des neuronalen Netzes vor Anwenden von zeitlichem Filtern extrahiert. Wichtige Informationen über ein Objekt können durch Ignorieren möglicherweise relevanter Hypothesen von derartigen Erkennungsalgorithmen verloren gehen.
Für Radarsensoren stellen die Doppler-Informationen genaue Informationen über den Bewegungszustand des Objekts bereit, insbesondere in Fällen, in denen es mehrere Radarerkennungen unter verschiedenen Azimutwinkeln gibt. D. Kellner, M. Barjenbruch, J. Klappstein, J. Dickmann und K. Dietmayer, „Tracking of extended objects with highresolution doppler radar", IEEE Transactions on Intelligent Transportation Systems, Band 17, Nr. 5, S. 1341-1353, 2016, beschreiben, dass das Profil der Doppler-Geschwindigkeit über den Azimutwinkel die Abschätzung des Bewegungszustands eines Objekts wesentlich verbessert. Trotzdem ist aufgrund des Mikro-Doppler-Effekts ein robuster Ansatz erforderlich, um dieses Geschwindigkeitsprofil zu extrahieren. Mikro-Doppler-Erkennungen sind vorhanden, falls sich Teile des Objekts mit einer anderen Geschwindigkeit als der Hauptkörper bewegen, z. B. Räder von Fahrzeugen oder Arme/Beine von Fußgängern. Mehrere Hypothesen des Geschwindigkeitsprofils, die mögliches Mikro-Doppler enthalten oder ausschließen, könnten als Messhypothesen verwendet werden, was ein zeitliches Filtern ermöglicht, um die richtige Hypothese aufzulösen, die mit der tatsächlichen Bewegung des Hauptkörpers des Objekts verbunden ist.
Nach Ausführungsformen der vorliegenden Erfindung wird eine Erweiterung des Labeled-Multi-Bernoulli-Filters (LMB-Filters) bereitgestellt, die die Integration mehrerer Messhypothesen ermöglicht.
Der Labeled-Multi-Bernoulli-Filter (LMB-Filter) beruht auf Random-Finite-Set-Statistik (RFS), um das Multi-Target-Verfolgungsproblem zu lösen. Der Filter schätzt die Anzahl von Objekten/Bahnen, die in der Umgebung vorhanden sind, sowie die Zustände der Objekte gemeinsam ab. Der LMB ist aus dem verallgemeinerten LMB (GLMB) abgeleitet, der eine lenkbare Lösung auf RFS-Basis mit mathematischen Prinzipien für das Multi-Target-Verfolgungsproblem zeigt. Durch Reduzieren der Anzahl von möglichen Aktualisierungshypothesen im Aktualisierungsschritt des Filters ist der LMB eine rechnerisch effiziente Näherung des GLMB.
B.-N. Vo, B.-T. Vo und H. G. Hoang, „An efficient implementation of the generalized labeled multi-bernoulli filter", IEEE Transactions on Signal Processing, Band 65, Nr. 8, S. 1975-1987, 2017, führen zwei Modifikationen ein, die die rechnerische Effizienz verbessern: die Integration von Vorhersage und Aktualisierung in einen einzigen Schritt (der weiter als gemeinsame Vorhersage und Aktualisierung bezeichnet wird) und einen effizienten Algorithmus zum Abschneiden der Aktualisierungshypothesen unter Verwendung von Gibbs-Sampling.
S. Reuter, A. Danzer, M. Stübler, A. Scheel und K. Granström, „A fast implementation of the labeled multi-bernoulli filter using gibbs sampling", in Intelligent Vehicles Symposium (IV), 2017 IEEE. IEEE, 2017, S. 765-772, das unter Bezugnahme in seiner Gesamtheit eingebunden ist (und mit „Reuter et al.“ referenziert wird), wendet beide Modifikationen auf den LMB an, wobei gezeigt wird, dass es möglich ist, dichte urbane Szenarien mit einer großen Anzahl von Verkehrsteilnehmern in Echtzeit zu verarbeiten. Nach Ausführungsformen der vorliegenden Erfindung wird eine Erweiterung dieses Algorithmus zum Handhaben mehrerer Messhypothesen und effizienten Aufnehmen dieser in den gemeinsamen Vorhersage- und Aktualisierungsschritt vorgeschlagen.
M. Beard, S. Reuter, K. Granström, B.-T. Vo, B.-N. Vo und A. Scheel, „Multiple extended target tracking with labeled random finite sets", IEEE Transactions on Signal Processing, Band 64, Nr. 7, S. 1638-1653, 2016, beschreiben eine Lösung zur Verfolgung mehrerer ausgedehnter Objekte unter Verwendung des GLMB, wird durch Handhaben mehrerer Partitionen von Messungen vorgeschlagen. Theoretisch könnte es in ein Problem mit mehrfachen Messhypothesen transformiert werden, durch Aufbauen von Partitionen, die alle Kombinationen von Hypothesen einer Messung individuell abdecken. Aber die Komplexität des Problems erhöht sich wesentlich, da die Partitionen alle Kombinationen von Hypothesen aus allen Messungen abdecken müssen. Auch falls es nur fünf Messungen mit jeweils fünf Hypothesen gibt und die Messungen jeweils durch einen Voraustastschritt mit einem einzelnen Objekt assoziiert werden können, müssen dennoch 5⁵ = 3125 Partitionen erstellt werden. Diese Partitionen und zusätzlichen Messungen von Unordnung müssen mit allen Aktualisierungshypothesen aus überlebenden und neu entstandenen Objekten kombiniert werden, was für Echtzeit-Anwendungen nicht machbar ist.
Nach Ausführungsformen der vorliegenden Erfindung wird insbesondere eine Erweiterung zum Labeled-Multi-Bernoulli-Filter (LMB) zum Handhaben mehrerer Messhypothesen bereitgestellt, wie sie bei Objekterkennung unter Verwendung von Lidar, Kameras und Radar auftreten können. Eine Echtzeit-Leistung wird unter Verwendung von effizientem Gibbs-Sampling erzielt, das direkt mehrere Messhypothesen handhabt. Der Algorithmus und seine Modifikationen werden unter Verwendung eines einfachen Beispiels ausführlich analysiert. Schließlich zeigen zwei Simulationen, dass der vorgeschlagene Algorithmus mehrere Messhypothesen besser als der Standard-LMB-Filter handhaben kann. Die Leistung steigt, auch wenn diese Hypothesen einen wesentlichen systematischen, nichtgaußschen Fehler aufweisen.
Darstellung der Erfindung
Eines oder mehrere der oben angegebenen Aufgaben werden im Wesentlichen durch Verfahren und Systeme zum Integrieren mehrerer Messhypothesen in einen effizienten Labeled-Multi-Bernoulli(LMB)-Filter nach irgendeinem der angefügten Ansprüche erfüllt, die einen oder mehrere der oben beschriebenen Nachteile verringern oder eliminieren und die einen oder mehrere der vorgenannten Vorteile realisieren.
Nach der Erfindung ist ein Verfahren und ein System zum Integrieren mehrerer Messhypothesen in einen effizienten Labeled-Multi-Bernoulli(LMB)-Filter vorgesehen, wobei der LMB-Filter eine Vielzahl von Bahnen für eine Vielzahl von Objekten abschätzt, wobei jede Bahn der Vielzahl von Bahnen eine eindeutige Kennzeichnung, eine Wahrscheinlichkeit und einen Zustand aufweist, wobei jede Bahn der Vielzahl von Bahnen mit einem Objekt einer Vielzahl von zu verfolgenden Objekten assoziiert ist, wobei jedes Objekt einen Objektzustand aufweist, wobei das Verfahren umfasst: Empfangen einer oder mehrerer Messhypothesen der mehreren Messhypothesen für jedes Objekt der Vielzahl von Objekten; Aktualisieren jeder Bahn der Vielzahl von Bahnen auf Grundlage der jeweiligen Bahn und der einen oder der mehreren Messhypothesen der mehreren Messhypothesen; Ermitteln, für jede Kombination aus Bahn der Vielzahl von Bahnen und Messhypothese, eine Likelihood η_i(j, k); Beproben, für jede Iteration einer Vielzahl von Iterationen, einer Aktualisierungshypothese γ^(t) auf Grundlage einer Assoziation jeder Bahn der Vielzahl von Bahnen mit einem von: einer Messhypothese, einer Erkennung von verpassten Ereignissen oder einer Erkennung einer abklingenden Bahn; Ermitteln des Zustands jeder Bahn der Vielzahl von Bahnen auf Grundlage ihrer jeweiligen Assoziationen in den aktualisierten Hypothesen γ^(t); Extrahieren, für jede Bahn der Vielzahl von Bahnen, einer Existenzwahrscheinlichkeit; Vorhersagen des Objektzustands jedes Objekts der Vielzahl von Objekten in Bezug auf eine nächste Messzeit; Ermitteln, ob eine weitere Aktualisierung durchzuführen ist; und falls eine weitere Aktualisierung durchzuführen ist, erneutes Wiederholen der Verfahrensschritte ab und einschließlich des Aktualisierens jeder Bahn der Vielzahl von Bahnen.
In einer bevorzugten Ausführungsform enthält das Beproben ferner: Ermitteln eines Gewichts p_G einer aktualisierten Hypothese auf Grundlage einer Likelihood der beinhalteten Assoziationen und/oder Ereignisse; und Löschen duplizierter Aktualisierungshypothesen γ aus dem Hypothesenvektor γ^(1...T).
In einer bevorzugten Ausführungsform ist das Beproben ausgelegt, einen Hypothesenvektor zu erstellen, der die jeweiligen Assoziationen enthält; und wobei das Ermitteln des Zustands jeder Bahn der Vielzahl von Bahnen ferner auf dem Gewicht p_G der Aktualisierungshypothesen γ beruht.
In einer bevorzugten Ausführungsform beruht das Extrahieren einer Existenzwahrscheinlichkeit für jede Bahn auf dem Gewicht p_G der Aktualisierungshypothesen γ, was die jeweilige Bahn entweder durch eine Messaktualisierung oder eine verpasste Erkennung bestätigt.
In einer bevorzugten Ausführungsform beruht das Aktualisieren jeder Bahn der Vielzahl von Bahnen bei einer ersten Aktualisierung auf der jeweiligen Bahn und allen Messhypothesen der mehreren Messhypothesen.
In einer bevorzugten Ausführungsform umfasst das Verfahren ferner Vorabaustasten jeder Bahn der Vielzahl von Bahnen, um für die jeweilige Bahn relevante Messwerte zu ermitteln und um jede Bahn der Vielzahl von Bahnen nur auf Grundlage von relevanten Messwerten zu aktualisieren; wobei optional das Ermitteln von relevanten Messwerten auf einer Distanz zwischen der jeweiligen Bahn der Vielzahl von Bahnen und dem jeweiligen Messwert beruht, wodurch Messwerte verworfen werden, die eine vorbestimmte Maximaldistanz überschreiten.
In einer bevorzugten Ausführungsform beruht das Ermitteln jeder Messhypothese der mehreren Messhypothesen auf einer gaußschen Mischung $Z_{j} \sum_{k = 1}^{K_{j}} w_{j}^{k} N (z; z_{j}^{k}, R_{j}^{k}),$
wobei $w_{j}^{k}$
die Wahrscheinlichkeit jeder Hypothese k = 1 ... K_j ist und $z_{j}^{k}$
$R_{j}^{k}$
der Messvektor und die Messkovarianz der Hypothese sind.
In einer bevorzugten Ausführungsform umfasst das Verfahren ferner ein Verwerfen einer oder mehrerer Messhypothesen der mehreren Messhypothesen auf Grundlage von positionsbasiertem Austasten, wobei optional das Verwerfen auf einer Assoziationslikelihood $g (z_{j}^{k} | x_{i})$
beruht.
In einer bevorzugten Ausführungsform beruht das Ermitteln, für jede Bahn der Vielzahl von Bahnen, einer Likelihood (η_i(j, k)) auf $η_{i} (j, k) = {\begin{array}{l} 1 - r_{i} abgeklungen γ_{i} = - 1 \\ (1 - p_{D} (x_{i})) r_{i} verfehlt γ_{i} = 0 \\ \frac{p_{D} (x_{i}) g (z_{j}^{k} | x_{i})}{κ (z_{(k, j)})} w_{j}^{k} r_{i}, aktualisiert γ_{i} = (k, j) \end{array},$
wobei p_D(x_i) eine Erkennungsrate ist, von der angenommen wird, dass sie nur von der Bahn abhängt, und wobei κ die Poisson-verteilte räumliche Unordnungsintensität bezeichnet.
In einer bevorzugten Ausführungsform beruht das Beproben, für jede Iteration t einer Anzahl von Iterationen T, einer Aktualisierungshypothese γ^(t) auf einem Gibbs-Sampling-Algorithmus.
In einer bevorzugten Ausführungsform empfängt der Gibbs-Sampling-Algorithmus als Eingabe die Anzahl von Iterationen T, eine Likelihood-Tabelle η und eine Nachschlagetabelle Λ, die assoziierte Messhypothesenkennzeichnungen (j_1...L, k_1...L) beinhaltet.
In einer bevorzugten Ausführungsform weist die Likelihood-Tabelle η eine Größe P × (L + 2) auf und ist auf Grundlage von $η = [\begin{matrix} η_{1} (- 1) & η_{1} (1) & η_{1} (j_{1}, k_{1}) & \dots & η_{1} (j_{L}, k_{L}) \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ η_{P} (- 1) & η_{1} (1) & η_{1} (j_{1}, k_{1}) & \dots & η_{P} (j_{L}, k_{L}) \end{matrix}]$
konstruiert, wobei L die wahrscheinlichsten Messhypothesen bezeichnet; wobei optional L so ausgewählt ist, dass zumindest alle Hypothesen von nahen Messungen enthalten sind.
In einer bevorzugten Ausführungsform ist die Nachschlagetabelle Λ auf Grundlage von $Λ= [\begin{matrix} - 1 & 0 & {(j_{1}, k_{1})}_{1} & \dots & {(j_{L}, k_{L})}_{L} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ - 1 & 0 & {(j_{1}, k_{1})}_{P} & \dots & {(j_{L}, k_{L})}_{P} \end{matrix}]$
konstruiert.
In einer bevorzugten Ausführungsform umfasst das Verfahren ferner ein Generieren einer oder mehrerer Messhypothesen der mehreren Messhypothesen für jedes Objekt der Vielzahl von Objekten; wobei optional die eine oder die mehreren Messhypothesen der mehreren Messhypothesen auf Grundlage eines Messwerts eines oder mehrerer Sensoren mit einem gleichen Gewicht oder mit unterschiedlichen Gewichten versehen sind.
In einer bevorzugten Ausführungsform enthalten der eine oder die mehreren Sensoren eines oder mehrere von: einem Radarsensor, einem optischen Sensor, insbesondere einer Kamera, einem Ultraschallsensor, einem Lidarsensor; und/oder die eine oder die mehreren Messhypothesen enthalten ein oder mehrere aus Bildern, die ein einzelnes reales Objekt darstellen, extrahierte Kästchen; und/oder die eine oder die mehreren Messhypothesen enthalten mehrere Kästchen, Ellipsen oder ähnliche andere Geometrien, die ein einzelnes reales Objekt darstellen; und/oder die eine oder die mehreren Messhypothesen beruhen auf einer einzelnen Radarmessung, wobei mehrere Dopplergeschwindigkeitsprofile von ausgedehnten realen Objekten generiert werden.
In einer bevorzugten Ausführungsform umfasst das Beproben ferner ein Assoziieren von nicht mehr als einer einzigen Messhypothese der mehreren Messhypothesen eines einzigen Objekts der Vielzahl von Objekten mit einer jeweiligen Bahn der Vielzahl von Bahnen.
Nach der Erfindung ist ferner ein System zum Integrieren von mehreren Messhypothesen in einem effizienten LMB-Filter vorgesehen, wobei das System eine Steuereinheit umfasst, die zum Durchführen des Verfahrens nach hierin dargelegten Ausführungsformen ausgelegt ist.
Nach der Erfindung ist ferner ein Fahrzeug vorgesehen, das das System nach hierin dargelegten Ausführungsformen umfasst.
Figurenliste
Die begleitenden Zeichnungen offenbaren beispielhafte und nicht einschränkende Gesichtspunkte nach Ausführungsformen der vorliegenden Erfindung.

1 zeigt eine beispielhafte Konfiguration, die drei Objekte und zwei Messungen und entsprechende Hypothesen nach Ausführungsformen der vorliegenden Erfindung veranschaulicht,
2 zeigt ein Diagramm, das veranschaulicht, wie eine Anzahl von Aktualisierungshypothesen und das Gewicht der wahrscheinlichsten Assoziation einer ersten Bahn von der Anzahl von Gibbs-Iterationen T nach Ausführungsformen der vorliegenden Erfindung abhängt, und
3 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens zum Integrieren mehrerer Messhypothesen nach Ausführungsformen der vorliegenden Erfindung.

Ausführliche Beschreibung
Der LMB-Filter schätzt eine Menge von statistisch unabhängigen Bahnen ab, die eine eindeutig Kennzeichnung (ID), eine Existenzwahrscheinlichkeit r und eine Zustandsrepräsentation aufweisen. Nach Ausführungsformen der vorliegenden Erfindung wird die Implementierung der gaußschen Mischung als der Zustand ausgewählt, wobei jede Bahn durch eine gaußsche Mischung beschrieben wird, die mehrere Mischungskomponenten mit jeweils einem Zustandsvektor, einer Kovarianz und einem Gewicht w^c aufweist. Das Gewicht über alle Mischungskomponenten für eine einzelne Bahn addiert sich auf eins.
Nach Ausführungsformen der vorliegenden Erfindung werden mehrere Messhypothesen berücksichtigt, was nur den Aktualisierungsschritt betrifft. Deshalb wird dieser Schritt ausführlich beschrieben.
Definition von mehreren Messhypothesen
Die mehreren Messhypothesen sind durch eine Menge von Messhypothesen definiert, die von einem einzelnen Objekt j ausgehen, unter Verwendung einer gaußschen Mischung $Z_{j} \sum_{k = 1}^{K_{j}} w_{j}^{k} N (z; z_{j}^{k}, R_{j}^{k}),$
wobei $w_{j}^{k}$
die Wahrscheinlichkeit jeder Hypothese k = 1 ... K_j ist und $z_{j}^{k},$
$R_{j}^{k}$
der Messvektor und die Messkovarianz einer bestimmten Hypothese sind. Eine einzelne Hypothese, was eine einzelne Komponente einer gaußschen Mischung aus mehreren Messhypothesen bezeichnet, kann eindeutig durch das Tupel (j, k) identifiziert werden. Im Allgemeinen ist nur eine der Hypothesen der beste Messwert für das Objekt, und es ist unbekannt, welche der Messhypothesen dieser sein könnte.
Für einen einzelnen Messrahmen können die insgesamt empfangenen Messwerte als $Z = C \cup [\cup_{j = 1}^{N_{z}} Z_{j}]$
definiert werden, wobei N_z die Anzahl von Objekten ist, die Messhypothesen generieren, und C zusätzliche Unordnungsmesshypothesen sind. Herkömmlicherweise werden Cluster- oder Erkennungsalgorithmen verwendet, um derartige Hypothesenmengen für ein einzelnes Objekt zu generieren, wobei durch einige Kriterien, wie der höchsten Bewertung, eine Auswahl des besten Messwerts in einer derartigen Menge getroffen wird. Nach Ausführungsformen der vorliegenden Erfindung wird nach dem Clustern von Hypothesen keine explizite Auswahl getroffen, sondern stattdessen werden alle Hypothesen für ein Messcluster Z_j dem LMB-Filter übermittelt, der mit der Zeit nach der besten Lösung auflöst. Die Hypothesenwahrscheinlichkeit $w_{j}^{k}$
stellt dann direkt das Vertrauen in die Hypothesen dar, wie es sich aus derartigen Cluster- oder Erkennungsalgorithmen ergibt.
LMB-Aktualisierung
Die Eingabe in den Aktualisierungsschritt ist eine Menge von vorhergesagten Bahnen (A-priori-Zustand) und neuen Messwerten Z. Am Beginn der Aktualisierung wird die Existenzwahrscheinlichkeit jeder Bahn mit einer Überlebenswahrscheinlichkeit multipliziert. Die Menge wird dann mit neuen Bahnen aus dem Entstehungsmodell erweitert, nach dem es i = 1 ... P Bahnen mit Existenzwahrscheinlichkeiten von r_i gibt. Zuerst werden alle Bahnen mit allen Messhypothesen aktualisiert. Um die Leistung zu erhöhen, wird positionsbasiertes Austasten durchgeführt, um die Berechnungszeit für sehr unwahrscheinlich Assoziationen zu sparen. Eine Assoziation ist durch γ_i = (j, k) gegeben und bezeichnet eine Assoziation einer Bahn i mit einer Messhypothese (j, k). Für jede wahrscheinliche Assoziation wird die Bahn mit der Messhypothese aktualisiert. Da mehrere Mischungskomponenten in einer Bahn vorhanden sein könnten, wird jede Komponente aktualisiert und ihr Gewicht entsprechend angepasst. Das Ergebnis ist die gaußsche A-posteriori-Mischung, die gespeichert wird und am Ende verwendet wird, um die A-posteriori-Bahn aufzubauen. Während der Aktualisierung wird die Wahrscheinlichkeit der Assoziation berechnet $g (z_{j}^{k} | x_{i}) .$
Zusätzlich werden die Likelihoods für eine abklingende Bahn γ_i = -1 und eine verpasste Erkennung γ_i = 0 berechnet. Es wird angenommen, dass die Erkennungsrate p_D(x_i) nur von der Bahn abhängt, wobei κ die Poisson-verteilte räumliche Unordnungsdichte bezeichnet: $η_{i} (j, k) = {\begin{array}{l} 1 - r_{i} abgeklungen γ_{i} = - 1 \\ (1 - p_{D} (x_{i})) r_{i} verfehlt γ_{i} = 0 \\ \frac{p_{D} (x_{i}) g (z_{j}^{k} | x_{i})}{κ (z_{(k, j)})} w_{j}^{k} r_{i}, aktualisiert γ_{i} = (k, j) \end{array} .$
Eine Likelihoodtabelle η mit einer Größe P × (L + 2) wird konstruiert, die die Likelihood eines Abklingens, einer verpassten Erkennung und der L wahrscheinlichsten Messhypothesen beinhaltet: $η = [\begin{matrix} η_{1} (- 1) & η_{1} (1) & η_{1} (j_{1}, k_{1}) & \dots & η_{1} (j_{L}, k_{L}) \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ η_{P} (- 1) & η_{1} (1) & η_{1} (j_{1}, k_{1}) & \dots & η_{P} (j_{L}, k_{L}) \end{matrix}],$
wobei L so ausgewählt werden sollte, dass zumindest alle Hypothesen der nahen Messungen enthalten sind. Um die Beziehung der Bahnen zu den Messwerten beizubehalten, wird eine Nachschlagetabelle Λ konstruiert, die die assoziierten Messhypothesenkennzeichnungen (j₁..._L, k_1...L) enthält: $Λ= [\begin{matrix} - 1 & 0 & {(j_{1}, k_{1})}_{1} & \dots & {(j_{L}, k_{L})}_{L} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ - 1 & 0 & {(j_{1}, k_{1})}_{P} & \dots & {(j_{L}, k_{L})}_{P} \end{matrix}] .$
Eine Kombination t von Assoziationen für alle Bahnen wird eine Aktualisierungshypothese genannt und wird als P-Tupel mit γ^(t) = (γ₁,...,γ_P) bezeichnet. In einer Aktualisierungshypothese kann jeder Messwert j nur mit einer Bahn assoziiert sein.
Für jede Aktualisierungshypothese γ^(t) kann die entsprechende Likelihood $w_{G}^{(t)}$
durch Multiplizieren der Likelihood der enthaltenen Bahnassoziationen abgeschätzt werden: $w_{G}^{(t)} = \prod_{i = 1... P} η_{i} (γ_{i}^{(t)})$
Es ist schwer machbar, alle Aktualisierungshypothesen zu berücksichtigen, da es viele Kombinationen aus überlebenden Bahnen, aus Bahnen, die nicht erkannt oder durch irgendeine Messhypothese aktualisiert werden, gibt. Eine machbare Lösung zum Generieren der Aktualisierungshypothesen ist Gibbs-Sampling.
Gibbs-Sampling
Das vorgeschlagene Gibbs-Sampling wird in Algorithmus 1 gezeigt (siehe unten). Für jede Gibbs-Iteration t aus 1 ... T wird eine Aktualisierungshypothese γ^(t) beprobt. Es gibt ein Array J, das die Messwertekennzeichnung j von aktuell assoziierten Messwerten hält. Zur Extrahierung der Messwertekennzeichnung j aus den Messhypothesen (j, k) ist die folgende Funktion definiert: $λ (γ_{i}) = {\begin{matrix} - 1, & γ_{i} = - 1 & abgeklungen \\ 0, & γ_{i} = 0 & verpasste Erkennung \\ j & γ_{i} = (j, k) & durch (j, k) aktualisiert \end{matrix} .$
In einer Gibbs-Iteration gibt es eine Schleife über alle Bahnen. Für jede Bahn wird zuerst der assoziierte Messwert des vorangehenden Rahmens von J freigegeben und als Zweites wird eine neue Assoziation beprobt. Sie wird aus allen verfügbaren Messhypothesen ((j, k) ∀j = [1 ... N_z], j ∈ J) und den zwei anderen Fällen, abgeklungen oder verpasste Erkennung, stichprobenmäßig beprobt. Nach dem Sampling T von Aktualisierungshypothesen werden alle Duplikate gelöscht und die verbleibenden Assoziationslikelihoods auf 1 normiert, was die Wahrscheinlichkeiten der Aktualisierungshypothese p_G ergibt. Die Komplexität des Gibbs-Sampling ist mit der Anzahl an Bahnen linear. Die zwei Parameter L (Maximalanzahl von Assoziationen pro Objekt) und T (maximale Gibbs-Iterationen) stellen einen Ausgleich zwischen Genauigkeit und Geschwindigkeit bereit.
In einigen Ausführungsformen wird optional eine Ungarische Assoziation als anfängliche Aktualisierungshypothese y⁽¹⁾ verwendet. Dies ist jedoch nicht notwendig. Im Allgemeinen wird als anfängliche Lösung angenommen, dass alle Bahnen abklingen (j = -1) (siehe 2). Eine alternative Option wäre, dass alle Bahnen eine verpasste Erkennung aufweisen, was bedeutet, dass sie weiterhin bestehen bleiben, aber im aktuellen Rahmen keine Messung generiert haben.
Auf Grundlage der beispielhaften Datensätze wird gezeigt, dass dies zu keiner wesentlichen Verbesserung führt, wenn eine hinreichende Anzahl an Gibbs-Iterationen verwendet wird. Die Ungarische Assoziation erfordert als Eingabe eine Kostenmatrix (siehe z. B. Reuter et al.), die zusätzlich berechnet werden muss. Ferner kann der Ungarische Standardalgorithmus nicht zwischen mehreren Messhypothesen unterscheiden, sodass die Lösung mehrere Hypothesen einer Messung j enthalten könnte, was unerwünscht ist.
LMB-Rekonstruktion
Um die Rekursion abzuschließen, werden die A-posteriori-LMB-Bahnen durch Approximieren der posterioren Mehrobjektdichte durch eine LMB-Dichte mit Parametern π_Z
+ (X) = {r,p}_l
+ ∈
aufgebaut, wobei (die Bezugszeichen (19), (20) und (21) beziehen sich auf Reuter et al.) $r (l_{+}) = \sum_{(I_{+}, θ_{+}) \in F (L_{+}) \times Θ_{+}} {\bar{w}}_{Z_{+}}^{((I_{+}, θ_{+}))} 1_{I_{+}} (l_{+}),$
$p (x_{+}, l_{+}) = \frac{1}{r (l_{+})} \sum_{\begin{matrix} (I_{+}, θ_{+}) \\ \in F (L_{+}) \times Θ_{+} \end{matrix}} {\bar{w}}_{Z_{+}}^{((I_{+}, θ_{+}))} 1_{I_{+}} (l_{+}) p_{Z_{+}}^{(θ_{+})} (x_{+}, l_{+}),$
${\bar{w}}_{Z_{+}}^{(I_{+}, θ_{+})} = \frac{w_{Z_{+}}^{(I_{+}, θ_{+})}}{\sum_{(I'_{+}, θ'_{+}) \in F (L_{+}) \times Θ_{+}} w_{Z_{+}}^{(I'_{+}, θ'_{+})}}$
Die Approximation stimmt genau mit dem ersten Moment der posterioren δ-GLMB-Verteilung, d. h. der räumlichen Verteilung der Bahnen, sowie dem Mittelwert der Kardinalitätshypothesen, die der empfangenen Messwertemenge widersprechen, überein (z. B. durch Modellieren des Verschwindens einer Bahn, die eine präzise Messung erhält).
Die posteriore Mehrobjektdichte ist den Aktualisierungshypothesen mit einer entsprechenden Wahrscheinlichkeit p_G äquivalent. Eine einzige for-Schleife über alle Aktualisierungshypothesen reicht aus. Falls eine Assoziation γ_i = (j, k) zum ersten Mal erscheint, werden die aktualisierten Mischungskomponenten in der A-posteriori-Bahn als Mischungskomponenten aufgenommen und ihre Gewichte $w_{i}^{c} (j, k)$
werden mit der Wahrscheinlichkeit der Aktualisierungshypothese p_G multipliziert. Die gaußsche A-posteriori-Mischung wurde zu Beginn dieses Abschnitts beim Berechnen der Aktualisierungslikelihood $g (z_{j}^{k} | x_{i})$
gespeichert. Falls die Assoziation γ_i bereits enthalten ist, werden nur die Gewichte $w_{i}^{c} (j, k)$
der entsprechenden Mischungskomponenten um das ursprüngliche Komponentengewicht multipliziert mit p_G erhöht. Die Komplexität dieser Transformation ist mit der Anzahl von Bahnen und der Anzahl von einzigartigen Aktualisierungshypothesen (maximal T) linear und hängt nicht von der Anzahl von Messwerten ab.
Schließlich wird die Existenzwahrscheinlichkeit jeder Bahn durch Aufsummieren der Gewichte ihrer Mischungskomponenten berechnet. Da die Mischungsgewichte vor dem Aktualisierungsschritt auf eins normiert werden, ist die Existenzwahrscheinlichkeit der Bahn der Summe der Wahrscheinlichkeit aller Aktualisierungshypothesen p_G, in denen die Bahn enthalten war, äquivalent, wobei j ≥ 0: $r_{i} = \sum_{t} p_{G}^{(t)} \forall t \in 1 ... T, λ (γ_{i}^{(t)}) \geq 0$
Die Gewichte der Mischungskomponenten sind der Summe der Wahrscheinlichkeiten aller Aktualisierungshypothesen äquivalent, in denen diese Assoziation enthalten ist: $w_{i}^{c} (j, k) = \sum_{t} p_{G}^{(t)} \forall t \in 1 ... T, γ_{i}^{(t)} = = (j, k)$
und sind auf eins normiert.
Eine weitere Optimierung könnte sein, Teilmengen von Messwerten in Kombination mit Bahnen z. B. unter Verwendung von Cluster-Techniken zu finden, wobei angenommen werden kann, dass der Aktualisierungsschritt unabhängig ist.
Es wurde gezeigt, dass die Existenzwahrscheinlichkeit r_i einer A-posteriori-Bahn konstant ist, wenn mehrere Messhypothesen hinzugefügt werden. Die Existenzwahrscheinlichkeit hängt direkt von den Wahrscheinlichkeiten der Aktualisierungshypothesen $p_{G}^{(t)}$
ab, in denen die Bahn enthalten ist. Deshalb ist es hinreichend, zu zeigen, dass die nicht normierte Wahrscheinlichkeit $(w_{G}^{(t)})$
konstant ist. Um die Existenzwahrscheinlichkeit beizubehalten, weisen alle Messhypothesen die gleiche Assoziationslikelihood g(z_j| x_i) auf. Durch Aufnehmen von K_j Messhypothesen wird eine einzige Aktualisierungshypothese γ^(t) in K_j Aktualisierungshypothesen aufgeteilt, die aufsummiert werden, um die Existenzwahrscheinlichkeit zu ermitteln. Im Folgenden wird der Messwert, mit dem die Bahn i = 1 assoziiert ist, in K_j Messhypothesen aufgeteilt: $w_{G} \sum_{k = 1}^{K_{j}} η_{1} (j, k) \prod_{i = 1... P} γ_{i},$
wobei die Summe gleich der Likelihood ohne Messhypothesen η₁(j) ist: $\sum_{k = 1}^{K_{j}} η_{1} (j, k) \overset{(3)}{=} \frac{p_{D} (x_{1}) g (z_{j} | x_{1})}{k (z)} r_{1} \sum_{k = 1}^{K_{j}} w_{j}^{k} = \frac{p_{D} (x_{1}) g (z_{j} | x_{1})}{k (z)} r_{1} = η_{1} (j)$
Obj ektextrahierung
In vielen Fällen wird anstatt der vollständigen Mischung eine vereinfachte Ausgabe pro Bahn bereitgestellt, die nur einen einzelnen Zustand und eine Kovarianz beinhaltet. Dies kann z. B. durch Berechnen des gewichteten Mittels aller Mischungskomponenten erzielt werden. Das Gewicht würde das Gewicht der Komponente $w_{i}^{c}$
sein. Nichtsdestotrotz, da mehrere Messhypothesen mit systematischen Fehlern eine multi-modale Mischungsverteilung verursachen, ist es angebracht, den gewichteten Mittelwert nicht zu verwenden. Das hat den Grund, dass, falls die systematischen Fehler der Hypothesen verzerrt sind, dann der extrahierte Zustand ebenfalls verzerrt wäre. Stattdessen sollte die Mischungskomponente mit dem größten Gewicht extrahiert werden, sodass der Einfluss von falschen Hypothesen unterdrückt wird. Eine weitere Option wäre, alle Mischungskomponenten in großer Nähe mit dem größten gemeinsamen Gewicht zu extrahieren.
Beispielhaftes Szenario
1 zeigt eine beispielhafte Konfiguration, die drei Objekte 120-1, 120-2 und 120-3 (ID1, ID2 und ID3) und zwei Messwerte 140, 150 und entsprechende Hypothesen nach Ausführungsformen der vorliegenden Erfindung veranschaulicht.
Die theoretische Abweichung des letzten Abschnitts wird in einem einfachen Beispiel in diesem Abschnitt gezeigt, das in 1 gezeigt ist. In diesem Szenario gibt es drei Bahnen und zwei Messwerte, wohingegen Messwert j = 2 aus drei Hypothesen besteht. Die Bahnen sind bereits vorhergesagt und ihre Existenzwahrscheinlichkeiten mit der Überlebenswahrscheinlichkeit multipliziert, sodass nur der Aktualisierungsschritt berücksichtigt wird. Der Einfachheit halber besteht jede Bahn nur aus einer einzigen Mischungskomponente.
1 zeigt eine Übersicht der beispielhaften Konfiguration mit drei Objekten 120-1, 120-2 und 120-3 (ID1, ID2 und ID3) und zwei Messwerte (Sterne) mit einer Hypothese 140-1 für Messwert 1 und drei Hypothesen 150-1, 150-2 und 150-3 für Messwert 2.
In einem ersten Schritt werden alle Bahnen mit allen Messhypothesen aktualisiert (siehe oben, „LMB-Aktualisierung“). Die Assoziationslikelihood $g (z_{j}^{k} | x_{i}),$
die die Distanz zwischen der vorhergesagten Bahn und dem Messwert und die Kovarianzmatrix berücksichtigt, ist in Tabelle I aufgeführt:
TABELLE I

ANNAHME VON ASSOZIATIONSLIKELIHOODS $g (z_{j}^{k} | x_{i})$

(j,k) (1,1) (2,1) (2,2) (2,3)

Bahn 1 1,0 0,2 0,1 0,2

Bahn 2 0,1 1,2 1,2 1,0

Bahn 3 0,5 0,1 0,05 1,5
Als Nächstes werden die Likelihoods η_i auf Grundlage von Gleichung (3) berechnet. Um die Eingabe für das Gibbs-Sampling (Algorithmus 1) vorzubereiten, werden die Likelihoodtabelle η auf Grundlage von Gleichung (4) und die entsprechende Abbildung Λ auf Grundlage von Gleichung (5) konstruiert (siehe Tabellen II und III). TABELLE II LIKELIHOODS VON ABGEKLUNGENER BAHN, VORHERSAGE UND L = 3 WAHRSCHEINLICHSTE ASSOZIATIONEN η

/ -1 0 1 2 3

Bahn i = 1 0,30 0,07 0,63 0,04 0,04

Bahn i = 2 0,30 0,07 0,25 0,25 0,21

Bahn i = 3 0,60 0,04 0,18 0,18 0,01

TABELLE III ASSOZIIERTE MESSHYPOTHESEN Λ FÜR ALLE EINTRÄGE VON η

l -1 0 1 2 3

i = 1 -1 0 1 (λ(1,1)) 2 (λ(2,1)) 2 (λ(2,3))

i = 2 -1 0 2 (λ(2,1)) 2 (λ(2,2)) 2 (λ(2,3))

i = 3 -1 0 2 (λ(2,3)) 1 (λ(1,1)) 2 (λ(2,1))
Es werden eine konstante Erkennungswahrscheinlichkeit p_D von 0,9 und eine Unordnungsrate κ von 1 angenommen und L = 3 wird verwendet. Es wird angenommen, dass alle Hypothesen des Messwerts j = 2 gleich gewichtet $(w_{2}^{k} = \frac{1}{3})$
sind.
Falls die Messhypothesen unabhängig $w_{2}^{k} = 1$
behandelt werden, würde sich die Assoziationslikelihood aller Kombinationen mit (2, k) in Tabelle II um einen Faktor von 3 erhöhen. Die Kennzeichnungen der Messwerte in Λ (Tabelle III) würden 1 bis 4 (1 ...4,1) sein. Aktualisierungshypothesen wie γ = [(1,1), (2,1), (2,3)] wären möglich. Diese Lösung wird auch im Folgenden als Standard-LMB ausgewertet.
Nach Durchführen des Gibbs-Sampling (siehe oben, „Gibbs-Sampling“) werden die Gewichte aller Aktualisierungshypothesen auf 1 normiert. Die wahrscheinlichste Aktualisierungshypothese ist γ¹ = [(1,1), -1, -1] mit Wahrscheinlichkeit p_G = 0,11. Die nächsten drei Hypothesen ändern sich nur in $γ_{2}^{2...4},$
mit den assoziierten Hypothesen (2,1), (2,2), (2,3) und Wahrscheinlichkeit 0,09,0,09,0,08. Die nächsten drei Hypothesen sind abklingende Bahn 1,3 und alle Messhypothesen j = 2 mit Bahn i = 2 (Wahrscheinlichkeit 0,05, 0,05, 0,04).
2 zeigt ein Diagramm 200, das veranschaulicht, wie die Anzahl von Aktualisierungshypothesen und das Gewicht der wahrscheinlichsten Assoziation der ersten Bahn von der Anzahl von Gibbs-Iterationen T abhängt. Diagramm 200 zeigt Ergebnisse einer Monte-Carlo-Simulation einer Anzahl von Gibbs-Iterationen: Einfluss auf das Gewicht der wahrscheinlichsten Bahn-mit-Messwert-Assoziation für die erste Bahn unter Verwendung von ,Ungarisch' als anfängliche Lösung (Graph 202) und ohne (Graph 204) und Einfluss auf die Anzahl von Aktualisierungshypothesen (Graph 206). Die Anzahl der Aktualisierungshypothesen ist die Extrahierung von eindeutigen Hypothesen aus T Hypothesen. Die Ungarische Lösung als Anfangsaktualisierungshypothese überschätzt das Gewicht, da die wahrscheinlichste Assoziation immer enthalten ist, wohingegen ein Beginnen mit abklingenden Bahnen (j = -1) eine Unterschätzung ergibt. Aber mit mehr als 50 Gibbs-Iterationen zeigen beide Ansätze identische Ergebnisse. Da das Gewicht mit ungefähr 1000 Iterationen konvergiert, weist die Ungarische Initialisierung in diesem Beispiel keinen Vorteil auf (siehe oben).
Der letzte Schritt ist die Umwandlung der Aktualisierungshypothesen in A-posteriori-Bahnen (siehe oben, „LMB-Rekonstruktion“). Die Existenzwahrscheinlichkeit der Bahn r wird durch Aufsummieren der Wahrscheinlichkeit aller Aktualisierungshypothesen p_G berechnet, in denen die Bahn aufgrund von Gleichung (8) enthalten ist, identifiziert durch die eindeutige Kennzeichnung. Die Ergebnisse sind in Tabelle IV gezeigt: TABELLE IV EXISTENZWAHRSCHEINLICHKEIT VON A-POSTERIORI-BAHNEN

Bahn i = 1 2 3

vorher 0,70 0,70 0,40

Mult.-Hyp.-LMB 0,67 0,66 0,27

Standard-LMB 0,75 0,87 0,55
Für Bahn 1 beträgt die Existenzwahrscheinlichkeit 0,67. Sie besteht hauptsächlich aus der Aktualisierungshypothese γ₁ = (1,1) (p_G = 0,58) und der Hypothese für verpasste Erkennung (p_G = 0,07). Offensichtlich verringert sich die Existenzwahrscheinlichkeit von Bahn 3, da alle Messwerte durchschnittliche näher bei anderen Bahnen liegen. Die Bahnen 1 und 2 weisen eine ähnliche Wahrscheinlichkeit auf, leicht aufgrund der nicht perfekten Messwerte verringert. Obwohl die Summen der Likelihoods in Tabelle I für Bahn 1 und 2 identisch sind, weist Bahn 1 eine höhere Wahrscheinlichkeit auf. Der Grund dafür ist, dass Bahn 3 eine höhere Likelihood mit Messwert 2 aufweist, die wahrscheinlicher mit Bahn 2 assoziiert ist.
Wenn die Messhypothesen als unabhängig behandelt werden (Standard-LMB), erhöhen sich die Existenzwahrscheinlichkeiten der Bahnen wesentlich, da mehr Aktualisierungshypothesen zulässig sind. Ferner sind mehr Messwerte als Bahnen verfügbar. Insbesondere ist die Kombination von Bahn 3 mit (2,3) und Bahn 2 mit (2,1) oder (2,2) möglich. Die Wahrscheinlichkeit von Bahn 3 erhöht sich wesentlich auf 0,55, anstatt sich zu verringern.

Der Zustand der A-posteriori-Bahn ist eine gaußsche Mischung, die alle zulässigen L Bahnzu-Messwert-Assoziationen als Mischungskomponenten beinhaltet. Die Gewichte der Komponenten werden auf Grundlage von Gleichung (9) berechnet und sind in Tabelle V gezeigt: TABELLE V

GEWICHT DER MISCHUNGSKOMPONENTEN $w_{i}^{c} (j, k)$ DER VORHERGESAGTEN (0) ODER AKTUALISIERTEN BAHN (AUF GRUNDLAGE EINER MESSUNG (j, k)
	0	(1,1)	(2,1)	(2,2)	(2,3)
Bahn i = 1	0,11	0,85	0,02	0,0	0,02
Bahn i = 2	0,13	0,0	0,30	0,30	0,26
Bahn i = 3	0,19	0,33	0,19	0,0	0,28

Eine Lösung für einen einzelnen Ausgabezustand würde sein, die Mischungskomponente mit dem höchsten Gewicht zu extrahieren. Für Bahn 1 würde dies die Mischungskomponente von der Assoziation mit Messhypothese (1,1) sein. Die Komponenten von den Assoziationen mit (2,1) und (2,2) weisen das höchste Gewicht für Bahn 2 auf.
Die Kardinalitätsverteilungen vor und nach der LMB-Aktualisierung sind in Tabelle VI gezeigt: TABELLE VI LMB-KARDINALITÄT (ÄQUIVALENT ZU GLMB-KARDINALITÄT)

Kardinalität 0 1 2 3 Durchschnitt

vorher 0,05 0,29 0,45 0,2 1,79

Mult.-Hyp.-LMB 0,06 0,35 0,54 0,06 1,59

Standard-LMB 0,01 0,15 0,47 0,36 2,18
Die Wahrscheinlichkeit einer Kardinalität von 1 oder 2 ist erhöht, wohingegen die Kardinalität von 0 und 3 verringert ist. Die durchschnittliche Kardinalität verringert sich leicht, da Bahn 3 nicht bestätigt ist und die Messwerte für Bahn 1 und 2 eine größere Verlagerung aufweisen.
Falls alle Hypothesen als unabhängige Messwerte behandelt werden, erhöht sich die durchschnittliche Kardinalität wesentlich auf 2,18 und insbesondere von einer Kardinalität von 3 auf 0,36.
3 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 300 zum Integrieren mehrerer Messhypothesen in einen effizienten Labeled-Multi-Bernoulli(LMB)-Filter nach Ausführungsformen der vorliegenden Erfindung. Der LMB-Filter schätzt eine Vielzahl von Bahnen i für eine Vielzahl von Objekten j ab. Jede Bahn i der Vielzahl von Bahnen weist eine eindeutige Kennzeichnung (ID), eine Wahrscheinlichkeit r und einen Zustand auf. Ferner ist jede Bahn i der Vielzahl von Bahnen mit einem Objekt j einer Vielzahl von zu verfolgenden Objekten assoziiert. Jedes Objekt j weist einen Objektzustand auf. Das Verfahren beginnt bei Schritt 301.
In Schritt 304, eine oder mehrere Messhypothesen (j, k) der mehreren Messhypothesen für jedes Objekt j der Vielzahl von Objekten werden empfangen. Hier werden eine oder mehrere Messhypothesen (j, k) empfangen. Tatsächlich kann es auch geschehen, dass ein Sensor gar kein Objekt erkennt, sodass überhaupt keine Messhypothese (j,k) empfangen wird. Im Allgemeinen wird angenommen, dass mindestens ein Objekt j erkannt wird.
In Schritt 306 wird jede Bahn i der Vielzahl von Bahnen auf Grundlage der jeweiligen Bahn i und der einen oder der mehreren Messhypothesen (j, k) der mehreren Messhypothesen aktualisiert. Tatsächlich werden nur bei der ersten Aktualisierung alle Messwerte mit allen Bahnen aktualisiert. Dies kann zum Berechnen der Messwertelikelihood erforderlich sein. In späteren Iterationen werden nur angemessene Messhypothesen (d. h. mit einer hohen Likelihood) vom LMB verarbeitet und unwahrscheinliche Messwert-Bahn-Aktualisierungen werden während des Gibbs-Sampling ausgeschieden (siehe Schritt 310). In weiterem Detail werden nur Messwert-Bahn-Aktualisierungen, die eine hohe Likelihood aufweisen, im Gibbs-Sampling verwendet (siehe Likelihood-Tabelle η und Nachschlagetabelle Λ, wie oben beschrieben). In einem Beispiel werden alle Messwert-Bahnen durchgeführt und die Likelihood ist in Tabelle I gezeigt (siehe oben). In diesem Beispiel werden für das Gibbs-Sampling nur die drei wahrscheinlichsten Messwert-Bahn-Aktualisierungen verwendet (siehe Tabelle III). Für die erste Bahn fehlt λ(2,2), was bedeutet, dass es sehr unwahrscheinlich ist, dass Bahn 1 mit Messhypothese (2,2) assoziiert ist. Folglich kann das Gibbs-Sampling diese Aktualisierung „ignorieren“. In einem weiteren praktischen Beispiel, falls es 100 Bahnen und 500 Messhypothesen gibt, würde es ziemlich mühsam sein, diese Aktualisierung für alle Kombinationen durchzuführen, sodass ein Voraustasten durchgeführt wird (siehe oben). Beispielsweise werden bei autonomem Fahren nur Messwerte berücksichtigt, die in einem bestimmten Bereich (z. B. 5 m) um die Bahn liegen. Für alle anderen Messwerte kann die Likelihood auf unendlich gesetzt werden, um derartige Messwerte zu ignorieren.
In Schritt 308 wird für jede Kombination aus Bahn (i) der Vielzahl von Bahnen und Messwert ((j, k)), eine Likelihood (η_i(j, k)) ermittelt.
In Schritt 310 wird für jede Iteration t einer Vielzahl von Iterationen T eine Aktualisierungshypothese γ^(t) beprobt, auf Grundlage einer Assoziation jeder Bahn i der Vielzahl von Bahnen mit einem von: einer Messhypothese (j, k), einer Erkennung von verpassten Ereignissen oder einer Erkennung einer abklingenden Bahn. Es wird jedoch angemerkt, dass für jeden Messwert j nur eine einzige Hypothese (j, k) assoziiert ist. Falls beispielsweise Messhypothese (5,3) mit Bahn 1 assoziiert ist, dürfen alle anderen Messhypothesen (5,1),(5,2),(5,...) von Messwert 5 in dieser Aktualisierungshypothese t nicht mit irgendeiner anderen Bahn i assoziiert sein.
In Schritt 312 wird der Zustand jeder Bahn i der Vielzahl von Bahnen auf Grundlage ihrer jeweiligen Assoziationen in den aktualisierten Hypothesen γ^(t) ermittelt. Im Allgemeinen bezeichnet „Objektzustand“ den Zustand des Objekts j (z. B. tatsächliche Geschwindigkeit eines Fahrzeugs) und der Zustand einer Bahn bezeichnet den geschätzten Zustand (z. B. eine geschätzte Geschwindigkeit). Es gibt mehrere Wege, den Bahnzustand zu beschreiben, falls ein Objekt mit mehreren Hypothesen aktualisiert wird. Nach Ausführungsformen der vorliegenden Erfindung wird eine gaußsche Mischung verwendet. Das bedeutet, dass jede zulässige Bahn-Messwert-Aktualisierung in y eine Gauß-Komponente mit einem entsprechenden Gewicht ergibt (siehe oben).
In Schritt 314 wird eine Existenzwahrscheinlichkeit für jede Bahn i extrahiert.
In Schritt 316 wird der Objektzustand jedes Objekts (j) der Vielzahl von Objekten in Bezug auf eine nächste Messzeit vorhergesagt. Üblicherweise, falls der nächste Messwert 100 ms später empfangen wird, werden bis zu diesem Zeitpunkt alle Zustände vorhergesagt. Falls die Bahn beispielsweise die x-Position 10 m und eine Geschwindigkeit von 5 m/s aufweist, sollte der Objektzustand beim nächsten Messwert 10,5 m (100 ms * 5 m/s) sein, wohingegen die Geschwindigkeit konstant bleibt. In einigen Ausführungsformen nach der vorliegenden Erfindung können andere Modelle eingesetzt werden, die zum Beispiel annehmen, dass sich die Geschwindigkeit ändert und die Beschleunigung konstant ist.
Danach wird ermittelt, ob eine weitere Aktualisierung durchzuführen ist. Falls eine weitere Aktualisierung durchzuführen ist, werden die Verfahrensschritte ab und einschließlich des Schritts 306 zum Aktualisieren jeder Bahn i der Vielzahl von Bahnen erneut wiederholt. Andernfalls endet das Verfahren bei Schritt 318.
Optional umfasst das Verfahren 300 ferner einen Schritt 302, in dem eine oder mehrere Messhypothesen (j, k) der mehreren Messhypothesen für jedes Objekt j der Vielzahl von Objekten generiert werden. Diese generierte eine oder diese generierten mehreren Messhypothesen (j, k) werden dann in Schritt 304 empfangen. Optional sind die eine oder die mehreren Messhypothesen (j, k) der mehreren Messhypothesen auf Grundlage eines Messwerts eines oder mehrerer Sensoren mit einem gleichen Gewicht oder mit unterschiedlichen Gewichten versehen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

A. Broggi, P. Cerri und P. C. Antonello, „Multi-resolution vehicle detection using artificial vision“, in Intelligent Vehicles Symposium, 2004 IEEE. IEEE, 2004, S. 310-314 [0005]
B. Li, „3d fully convolutional network for vehicle detection in point cloud“, in Intelligent Robots and Systems (IROS), 2017 IEEE/RSJ International Conference on. IEEE, 2017, S. 1513-1518, und V. Vaquero, I. del Pino, F. Moreno-Noguer, J. Solà, A. Sanfeliu und J. Andrade-Cetto, „Deconvolutional networks for point-cloud vehicle detection and tracking in driving scenarios“, in Mobile Robots (ECMR), 2017 European Conference on. IEEE, 2017, S. 1-7 [0006]
D. Kellner, M. Barjenbruch, J. Klappstein, J. Dickmann und K. Dietmayer, „Tracking of extended objects with highresolution doppler radar“, IEEE Transactions on Intelligent Transportation Systems, Band 17, Nr. 5, S. 1341-1353, 2016 [0007]
B.-N. Vo, B.-T. Vo und H. G. Hoang, „An efficient implementation of the generalized labeled multi-bernoulli filter“, IEEE Transactions on Signal Processing, Band 65, Nr. 8, S. 1975-1987, 2017 [0010]
S. Reuter, A. Danzer, M. Stübler, A. Scheel und K. Granström, „A fast implementation of the labeled multi-bernoulli filter using gibbs sampling“, in Intelligent Vehicles Symposium (IV), 2017 IEEE. IEEE, 2017, S. 765-772 [0011]
M. Beard, S. Reuter, K. Granström, B.-T. Vo, B.-N. Vo und A. Scheel, „Multiple extended target tracking with labeled random finite sets“, IEEE Transactions on Signal Processing, Band 64, Nr. 7, S. 1638-1653, 2016 [0012]

Claims

Verfahren (300) zum Integrieren mehrerer Messhypothesen in einem effizienten Labeled-Multi-Bernoulli(LMB)-Filter, wobei der LMB-Filter eine Vielzahl von Bahnen für eine Vielzahl von Objekten abschätzt, wobei jede Bahn (i) der Vielzahl von Bahnen eine eindeutige Kennzeichnung (ID), eine Wahrscheinlichkeit (r) und einen Zustand aufweist, wobei jede Bahn (i) der Vielzahl von Bahnen mit einem Objekt (j) einer Vielzahl von zu verfolgenden Objekten assoziiert ist, wobei jedes Objekt (j) einen Objektzustand aufweist, wobei das Verfahren umfasst: Empfangen (304) einer oder mehrerer Messhypothesen ((j, k)) der mehreren Messhypothesen für jedes Objekt (j) der Vielzahl von Objekten; Aktualisieren (306) jeder Bahn (i) der Vielzahl von Bahnen auf Grundlage der jeweiligen Bahn (i) und der einen oder der mehreren Messhypothesen ((j, k)) der mehreren Messhypothesen; Ermitteln (308), für jede Kombination aus Bahn (i) der Vielzahl von Bahnen und Messhypothese ((j, k)), einer Likelihood (η_i(j, k)); Beproben (310), für jede Iteration (t) einer Vielzahl von Iterationen (7), einer Aktualisierungshypothese γ^(t) auf Grundlage einer Assoziation jeder Bahn (i) der Vielzahl von Bahnen mit einem von: einer Messhypothese ((j, k)), einer Erkennung von verpassten Ereignissen oder einer Erkennung einer abklingenden Bahn; Ermitteln (312) des Zustands jeder Bahn (i) der Vielzahl von Bahnen auf Grundlage ihrer jeweiligen Assoziationen in den Aktualisierungshypothesen (γ); Extrahieren (314), für jede Bahn (i) der Vielzahl von Bahnen, einer Existenzwahrscheinlichkeit; Vorhersagen (316) des Obj ektzustands jedes Objekts (j) der Vielzahl von Objekten in Bezug auf eine nächste Messzeit; Ermitteln, ob eine weitere Aktualisierung durchzuführen ist; und falls eine weitere Aktualisierung durchzuführen ist, erneutes Wiederholen der Verfahrensschritte ab und einschließlich des Aktualisierens (306) jeder Bahn (i) der Vielzahl von Bahnen.
Verfahren nach dem vorangehenden Anspruch, wobei das Beproben (310) ferner enthält: Ermitteln eines Gewichts (p_G) einer aktualisierten Hypothese auf Grundlage einer Likelihood der beinhalteten Assoziationen und/oder Ereignisse; und Löschen duplizierter Aktualisierungshypothesen (γ) aus dem Hypothesenvektor (y^(1...T)).
Verfahren nach dem vorangehenden Anspruch, wobei das Beproben (306) ausgelegt ist, einen Hypothesenvektor (y^(1...T)) zu erstellen, der die jeweiligen Assoziationen enthält; und wobei das Ermitteln (312) des Zustands jeder Bahn (i) der Vielzahl von Bahnen ferner auf dem Gewicht (p_G) der Aktualisierungshypothesen (γ) beruht.
Verfahren nach einem der zwei vorangehenden Ansprüche, wobei das Extrahieren (314) einer Existenzwahrscheinlichkeit für jede Bahn (i) auf dem Gewicht (p_G) der Aktualisierungshypothesen (γ) beruht, was die jeweilige Bahn (i) entweder durch eine Messaktualisierung oder eine verpasste Erkennung bestätigt.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Aktualisieren (306) jeder Bahn (i) der Vielzahl von Bahnen bei einer ersten Aktualisierung (306) auf der jeweiligen Bahn (i) und allen Messhypothesen ((j, k)) der mehreren Messhypothesen beruht.
Verfahren nach einem der vorangehenden Ansprüche, ferner umfassend ein Vorabaustasten jeder Bahn (i) der Vielzahl von Bahnen, um für die jeweilige Bahn (i) relevante Messwerte zu ermitteln und um jede Bahn (i) der Vielzahl von Bahnen nur auf Grundlage von relevanten Messwerten zu aktualisieren; wobei optional das Ermitteln von relevanten Messwerten auf einer Distanz zwischen der jeweiligen Bahn (i) der Vielzahl von Bahnen und dem jeweiligen Messwert beruht, wodurch Messwerte verworfen werden, die eine vorbestimmte Maximaldistanz überschreiten.
Verfahren nach dem vorangehenden Anspruch, wobei das Ermitteln jeder Messhypothese (k) der mehreren Messhypothesen auf einer gaußschen Mischung $Z_{j} \sum_{k = 1}^{K_{j}} w_{j}^{k} N (z; z_{j}^{k}, R_{j}^{k}) beruth,$
wobei $w_{j}^{k}$
die Wahrscheinlichkeit jeder Hypothese k = 1 ... K_j ist und $z_{j}^{k},$
$R_{j}^{k}$
der Messvektor und die Messkovarianz der Hypothese sind.
Verfahren nach dem vorangehenden Anspruch, ferner umfassend ein Verwerfen einer oder mehrerer Messhypothesen ((j, k)) der mehreren Messhypothesen auf Grundlage von positionsbasiertem Austasten, wobei optional das Verwerfen auf einer Assoziationslikelihood $g (z_{j}^{k} | x_{i})$
beruht.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Ermitteln (306), für jede Bahn (i) der Vielzahl von Bahnen, einer Likelihood (η_i(j, k)) auf $η_{i} (j, k) = {\begin{array}{l} 1 - r_{i} abgeklungen γ_{i} = - 1 \\ (1 - p_{D} (x_{i})) r_{i} verfehlt γ_{i} = 0 \\ \frac{p_{D} (x_{i}) g (z_{j}^{k} | x_{i})}{κ (z_{(k, j)})} w_{j}^{k} r_{i}, aktualisiert γ_{i} = (k, j) \end{array}$
beruht, wobei p_D(x_i) eine Erkennungsrate ist, von der angenommen wird, dass sie nur von der Bahn (i) abhängt, und wobei κ die Poisson-verteilte räumliche Unordnungsdichte bezeichnet.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Beproben, für jede Iteration t einer Anzahl von Iterationen T, einer Aktualisierungshypothese γ^(t) auf einem Gibbs-Sampling-Algorithmus beruht.
Verfahren nach dem vorangehenden Anspruch, wobei der Gibbs-Sampling-Algorithmus als Eingabe die Anzahl von Iterationen T, eine Likelihood-Tabelle η und eine Nachschlagetabelle Λ, die assoziierte Messhypothesenkennzeichnungen (j_1...L, k_1...L) beinhaltet, empfängt.
Verfahren nach dem vorangehenden Anspruch, wobei die Likelihood-Tabelle η eine Größe P × (L + 2) aufweist und auf Grundlage von $η = [\begin{matrix} η_{1} (- 1) & η_{1} (1) & η_{1} (j_{1}, k_{1}) & \dots & η_{1} (j_{L}, k_{L}) \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ η_{P} (- 1) & η_{1} (1) & η_{1} (j_{1}, k_{1}) & \dots & η_{P} (j_{L}, k_{L}) \end{matrix}]$
konstruiert ist, wobei L die wahrscheinlichsten Messhypothesen bezeichnet; wobei optional L so ausgewählt ist, dass zumindest alle Hypothesen von nahen Messungen enthalten sind.
Verfahren nach einem der zwei vorangehenden Ansprüche, wobei die Nachschlagetabelle Λ auf Grundlage von $Λ= [\begin{matrix} - 1 & 0 & {(j_{1}, k_{1})}_{1} & \dots & {(j_{L}, k_{L})}_{L} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ - 1 & 0 & {(j_{1}, k_{1})}_{P} & \dots & {(j_{L}, k_{L})}_{P} \end{matrix}]$
konstruiert ist.
Verfahren nach einem der vorangehenden Ansprüche, ferner umfassend ein Generieren (302) einer oder mehrerer Messhypothesen ((j, k)) der mehreren Messhypothesen für jedes Objekt (j) der Vielzahl von Objekten; wobei optional die eine oder die mehreren Messhypothesen ((j, k)) der mehreren Messhypothesen auf Grundlage eines Messwerts eines oder mehrerer Sensoren mit einem gleichen Gewicht oder mit unterschiedlichen Gewichten versehen sind.
Verfahren nach dem vorangehenden Anspruch, wobei: der eine oder die mehreren Sensoren eines oder mehrere enthalten von: einem Radarsensor, einem optischen Sensor, insbesondere einer Kamera, einem Ultraschallsensor, einem Lidarsensor; und/oder die eine oder die mehreren Messhypothesen ((j, k)) ein oder mehrere aus Bildern, die ein einzelnes reales Objekt darstellen, extrahierte Kästchen enthalten; und/oder die eine oder die mehreren Messhypothesen ((j, k)) mehrere Kästchen, Ellipsen oder ähnliche andere Geometrien enthalten, die ein einzelnes reales Objekt darstellen; und/oder die eine oder die mehreren Messhypothesen ((j, k)) auf einer einzelnen Radarmessung beruhen, wobei mehrere Dopplergeschwindigkeitsprofile von ausgedehnten realen Objekten generiert werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Beproben (310) ferner ein Assoziieren von nicht mehr als einer einzigen Messhypothese ((j, k)) der mehreren Messhypothesen eines einzigen Objekts (j) der Vielzahl von Objekten mit einer jeweiligen Bahn (i) der Vielzahl von Bahnen umfasst.
System zum Integrieren von mehreren Messhypothesen in einem effizienten LMB-Filter, wobei das System eine Steuereinheit umfasst, die zum Durchführen des Verfahrens nach einem der vorangehenden Ansprüche ausgelegt ist.
Fahrzeug, das das System nach dem vorhergehenden Anspruch umfasst.