-
Die Erfindung betrifft ein Verfahren zur Prädiktion einer Bewegung eines Fußgängers gemäß Oberbegriff des Anspruchs 1, ein Computerprogrammprodukt und ein Fahrerassistenzsystem.
-
Systeme zur Vorhersage von Fußgängerbewegungen sind allgemein bekannt. Beispielsweise ist aus der
DE 10 2019 134 048 A1 ein Verfahren zur Vorhersage eines Verhaltens von Fußgängern für eine ADAS Anwendung bekannt, umfassend die Schritte: Erfassen von Bewegungsdaten (10) eines Fußgängers (6) mittels Fahrzeugsensoren (3) eines Fahrzeugs (2); zur Verfügung stellen von typischen Bewegungsmustern von Fußgängern; Erkennen der typischen Bewegungsmuster in den Bewegungsdaten (10) mittels Analysieren der Bewegungsdaten (10) durch ein neuronales Netz (4); Kategorisieren der Bewegungsdaten (10) zu kategorisierten Bewegungsdaten (11) anhand der erkannten typischen Bewegungsmuster; Ermitteln einer Vorhersage (12) eines zukünftigen Verhaltens des Fußgängers (6) basierend auf den kategorisierten Bewegungsdaten (11) durch eine Recheneinrichtung (5).
-
sind daher anfällig für dessen Auswirkungen. Daher kann jedes dieser Systeme durch eine robustere Darstellung der Fußgänger-Trajektorien verbessert werden (diese Erfindung).
-
Der Erfindung liegt die Aufgabe zu Grunde, ein robusteres Verfahren zur Prädiktion einer Bewegung eines Fußgängers sowie ein entsprechend verbessertes Computerprogrammprodukt und ein entsprechend verbessertes Fahrerassistenzsystem anzugeben.
-
Die erstgenannte Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Prädiktion einer Bewegung eines Fußgängers mit den Merkmalen des Anspruchs 1. Die zweitgenannte Aufgabe wird erfindungsgemäß gelöst durch ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 9. Die drittgenannte Aufgabe wird erfindungsgemäß gelöst durch ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 10.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Beim erfindungsgemäßen Verfahren zur Prädiktion einer Bewegung eines Fußgängers in einer Fahrzeugumgebung eines Fahrzeugs wird oder werden mindestens eine Position und/oder eine Bewegung des Fußgängers aus mehreren aufgenommenen Umgebungsbildern für einen bestimmten Beobachtungshorizont extrahiert, wobei beim Extrahieren der Position/en und/oder der Bewegung/en des Fußgängers aus dem oder den aufgenommenen Umgebungsbild/ern mindestens als ein erstes Begrenzungsrechteck (auch Bounding Box oder Bounding Volume genannt) ein Kopfbegrenzungsrechteck für einen Kopf des zu betrachtenden Fußgängers und als ein zweites Begrenzungsrechteck ein Körperbegrenzungsrechteck für einen Körper des Fußgängers, insbesondere positionsbezogen beziehungsweise bewegungsbezogen, erzeugt und einem Prädiktionsmodell zugeführt werden, welches anhand des mindestens einen Kopfbegrenzungsrechtecks und des mindestens einen Körperbegrenzungsrechtecks eine Trajektorie des Fußgängers prädiziert und ausgibt.
-
Mittels einer solchen Aufteilung eines erfassten Objekts, wie zum Beispiel des Fußgängers, in zwei oder mehrere das Objekt umgebende Begrenzungsrechtecke für Objektteile oder Objektabschnitte, wie zum Beispiel in das Kopfbegrenzungsrechteck und das Körperbegrenzungsrechteck des Fußgängers arbeitet das Prädiktionsmodul robust und stabil, da Volumen-/Rechteckänderungen und daraus resultierende sogenannte „Wobbling-Effekte“ (auch Wackeleffekte genannt) reduziert werden können. Dies ermöglicht eine genauere Vorhersage zukünftiger Trajektorien des Fußgängers in der Bildebene und ein sichereres Verhalten eines autonomen Fahrzeugs.
-
Der Erfindung liegt die Idee zugrunde, dass bei einer Bewegung eines Fußgängers ein Körperabschnitt im Bereich des Kopfes hinsichtlich seiner Umfanggrenzen oder seines Volumens (auch Kopfbegrenzungsrechteck genannt) im Wesentlichen unverändert bleibt, hingegen der Körperabschnitt im Bereich der Beine oder des Rumpfes hinsichtlich seiner Umfangsgrenzen oder seines Volumens (auch Körperbegrenzungsrechteck genannt) aufgrund von Bewegungen, wie zum Beispiel Laufen, Gehen, Springen oder dergleichen, veränderlich ist. Begrenzt man nun die Prädiktion nur auf den sich verändernden Körperabschnitt, welcher bestimmend für die beabsichtigte Bewegung und somit für eine Vorhersage der Bewegung ist, so arbeitet ein solches Verfahren effizienter, robuster und stabiler.
-
Insbesondere kann mittels der Erfindung das sogenannte Wackeln (= Veränderbarkeit der Größe/Abmessungen, insbesondere der Breite und/oder Höhe des zu betrachtenden Objekts) des das Objekt repräsentierenden Begrenzungsrechtecks reduziert werden, wodurch im Zusammenhang mit der Bestimmung von zukünftigen Fußgängerbewegungen, insbesondere deren Richtung und deren Weg, in egozentrischen Kameraansichten stabilere und sichere Vorhersagen ermöglicht sind.
-
Unter einem Begrenzungsrechteck wird insbesondere eine einfache geometrische Form verstanden, deren Achsen parallel zu den Achsen des Objekts verlaufen und die das Objekt umschließt, wie zum Beispiel ein Rechteck, das einen Fußgänger umschließt oder umgibt. Anstelle eines Begrenzungsrechtecks kann auch ein Begrenzungsquader oder ein Begrenzungsvolumen bei dem hier beschriebenen Verfahren verwendet werden. Um die Koordinaten des Begrenzungsrechtecks oder des Begrenzungsquaders zu berechnen, werden für das zu umschließende Objekt dessen minimalen und maximalen x-, y- und z-Koordinaten bestimmt, anhand derer dann alle vier Eckpunkte des Begrenzungsrechtecks oder all acht Eckpunkte des Begrenzungsquaders ermittelt werden.
-
Unter einem rekurrenten neuronalen Netzwerk (RNN) wird insbesondere ein rückgekoppeltes Netzwerk verstanden, das aus zeitlichen Abfolgen von Daten und Informationen (auch sequentielle Merkmale oder Eingabesequenz genannt) anhand von verwendeten Formen oder Mustern (auch einfache geometrische Formen, wie Rechtecke, Boxen, Quader oder dergleichen) ein nächstes wahrscheinliches Szenario (= Trajektorie oder Ausgabesequenz der verwendeten Formen) vorhersagen oder prädizieren. Ein rekurrentes neuronales Netzwerk umfasst Rückkopplungsschleifen, um eine Datenfolge oder Informationsfolge, wie eine Folge von Positionsdaten oder Bewegungsdaten, zu verarbeiten. Das rekurrente neuronale Netzwerk ist ein unidirektionales Netzwerk, welches die Abfolge von Daten oder Informationen, wie die Abfolge von zeitlich erfassten Positionsdaten oder Bewegungsdaten berücksichtigt und die Bewegung und ein daraus resultierendes wahrscheinliches Szenario, eine Trajektorie oder Ausgabesequenz, nur in eine Richtung nach vorne in die Zukunft betrachtet und prädiziert.
-
Unter einem Prädiktionsmodell (auch Vorhersagemodell genannt) wird insbesondere ein Modell für die Vorhersage einer oder mehrerer Ausgangsgrößen, insbesondere vorliegend einer Bewegungswahrscheinlichkeit des Fußgängers anhand einer Sequenz von zukünftigen Begrenzungsrechtecken verstanden. Das Prädiktionsmodell sagt insbesondere eine Bewegungswahrscheinlichkeit des Fußgängers auf Basis von linearen Zusammenhängen zwischen Modellkomponente, insbesondere einfache geometrische Formen, und einer Verhaltenswahrscheinlichkeit vorher.
-
Unter einer Trajektorie wird insbesondere ein Bewegungspfad, vorliegend eines Fußgängers, verstanden.
-
Eine mögliche Ausführungsform sieht vor, dass das Prädiktionsmodell eingerichtet ist oder wird, anhand der aufgenommenen Umgebungsbilder die Fahrzeugumgebung aus einer Kameraperspektive eines fahrenden Fahrzeugs zu betrachten und die Position und/oder die Bewegung des Fußgängers in Bezug auf Bildpositionen in der realen Umgebung zu prädizieren oder vorherzusagen.
-
Das Prädiktionsmodell kann darüber hinaus eingerichtet sein oder werden, Änderungen des Kopfbegrenzungsrechtecks und zeitgleiche Änderungen des Körperbegrenzungsrechtecks über einen Zeitraum zu bestimmen und miteinander zu vergleichen und bei der Prädiktion der Bewegung des Fußgängers zu berücksichtigen.
-
Eine Weiterbildung sieht einen Fußgängerdetektor vor, mittels welchem das Kopfbegrenzungsrechteck und das Körperbegrenzungsrechteck aus den erfassten Umgebungsbildern extrahiert werden.
-
Das Prädiktionsmodell kann beispielsweise als ein rekurrentes neuronales Netzwerkmodell mit zwei rekurrenten neuronalen Netzwerken in einer Encoder-Decoder-Architektur ausgebildet sein. Mit anderen Worten: Das neuronale Netzwerkmodell umfasst zwei rekurrente neuronale Netze, insbesondere ein rekurrentes neuronales Encoder-Netzwerk und ein rekurrentes neuronales Decoder-Netzwerk.
-
Beispielsweise werden die zeitlich erfassten Positionsinformationen und/oder Bewegungsinformationen des Fußgängers mittels des rekurrenten neuronalen Encoder-Netzwerk in eine zeitliche Abfolge von Kopfbegrenzungsrechtecken und Körperbegrenzungsrechtecken kodiert und als Eingabe für das rekurrente neuronale Decoder-Netzwerk verwendet, um mittels des rekurrenten neuronalen Netzwerkmodells zukünftige Bewegungen, insbesondere Trajektorien, des Fußgängers zu prädizieren oder vorherzusagen.
-
Darüber hinaus kann vorgesehen sein, dass das Prädiktionsmodell fortlaufend aktualisiert oder angepasst wird. Beispielsweise kann das Prädiktionsmodell anhand von aktuell ermittelten zeitlichen Abfolgen von Begrenzungsformen, wie Begrenzungsrechtecken und/oder Begrenzungsquadern, und/oder Referenzformen, wie Referenzbegrenzungsrechtecken und/oder Referenzbegrenzungsquadern, und/oder aktuellen Zuständen, wie Fahrzeugparametern, aktualisiert oder angepasst werden. Beispielsweise kann mittels eines solchen aktualisierbaren und anpassbaren Prädiktionsmodell ein vom eigenen Fahrzeug eingeleiteter Bremsvorgang oder Beschleunigungsvorgang bei der Prädiktion der Trajektorie des Fußgängers berücksichtigt werden.
-
Bevorzugt werden die Umgebungsbild/er mittels zumindest einer fahrzeugeigenen Kamera erfasst.
-
Ein weiterer Aspekt der Erfindung ist ein Computerprogrammprodukt, welches eingerichtet ist, alle Schritte des zuvor beschriebenen Verfahrens auszuführen.
-
Ein weiterer Aspekt der Erfindung ist Fahrerassistenzsystem, welches eingerichtet ist, alle Schritte des zuvor beschriebenen Verfahrens auszuführen
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigen:
- 1 schematisch ein Fahrzeug mit einem Fahrerassistenzsystem, das mit einer Umgebungserfassungseinheit und einer Ausgabeeinheit gekoppelt ist und das eingerichtet ist, ein Prädiktionsverfahren auszuführen,
- 2 schematisch eine zeitliche Abfolge von mittels der Umgebungserfassungseinheit aufgenommenen Umgebungsbildern und daraus extrahierten Begrenzungsrechtecken veränderlicher Breite, und
- 3 schematisch ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur Prädiktion einer Bewegung eines Fußgängers in einer Fahrzeugumgebung eines Fahrzeugs.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt schematisch ein Fahrzeug 1 mit einem Fahrerassistenzsystem 2, das signaltechnisch mit einer Umgebungserfassungseinheit 4 zur Erfassung einer Fahrzeugumgebung 3 und einer Ausgabeeinheit 6 gekoppelt ist.
-
Das Fahrerassistenzsystem 2 ist eingerichtet, ein Prädiktionsverfahren 200, wie in 3 dargestellt, auszuführen.
-
Das Fahrerassistenzsystem 2 ist zum Beispiel ein Steuergerät oder eine andere Recheneinheit im Fahrzeug 1. Das Fahrerassistenzsystem 2 umfasst ein Computerprogrammprodukt 5 (auch als Anwendungssoftware bezeichnet), welches eingerichtet ist, anhand eines Prädiktionsmodells 202 die Schritte des Prädiktionsverfahrens 200 (dargestellt in 3) auszuführen.
-
Die Umgebungserfassungseinheit 4 ist beispielsweise eine Kamera, insbesondere eine 360°-Kamera, eine Radareinheit oder dergleichen, zur Erfassung einer Umgebung 4.1 des Fahrzeugs 1. Die Ausgabeeinheit 6 ist beispielsweise eine Anzeigeeinheit im Fahrzeug, ein Steuergerät, ein anderes Fahrerassistenzmodul oder dergleichen.
-
Das Fahrerassistenzsystem 2 kann darüber hinaus mit Sensoren 8.n signaltechnisch gekoppelt sein, um Beispiel einen Fahrzeugzustand und/oder Fahrzustand zu ermitteln, wie zum Beispiel eine Fahrgeschwindigkeit, eine Fahrbeschleunigung, einen Bremsvorgang oder dergleichen.
-
Die Umgebungserfassungseinheit 4, zum Beispiel eine Kamera, erfasst die Fahrzeugumgebung 3 um das Fahrzeug 1 herum und insbesondere sich in dieser Fahrzeugumgebung 3 aufhaltende und/oder sich bewegende Objekte, zum Beispiel einen Fußgänger 10. Die Umgebungserfassungseinheit 4 ist eingerichtet, mehrere Umgebungsbilder 20.n zu erfassen und dem Fahrerassistenzsystem 2, insbesondere dem Prädiktionsmodell 202, zuzuführen.
-
Das Prädiktionsmodell 202 ist eingerichtet, als Ausgang eine Vorhersage von Fußgängerbewegungen, insbesondere eine Trajektorie 204 in egozentrischen Kameraansichten zu erzeugen und beispielsweise über die Ausgabeeinheit 6 auszugeben.
-
Unter einer egozentrischen Kameraansicht wird insbesondere verstanden, dass die Fahrzeugumgebung 3 aus der Kameraperspektive eines fahrenden Fahrzeugs 1 betrachtet und das Verhalten des oder der Fußgänger 10 in Bezug auf die Bildpositionen in realen Verkehrsszenen vorherzusagen. Mit anderen Worten: Der Fußgänger 10 wird als Zentrum der erfassten Umgebungsbilder 20.n betrachtet und dessen Bewegung in der realen Fahrzeugumgebung 3 prädiziert. Eine solche Umgebungserfassung ist insbesondere für autonomes Fahren des Fahrzeugs 1 geeignet.
-
Die Erfindung ermöglicht eine Vorhersage von Fußgängerbewegungen oder Fußgänger-trajektorien mit Kompensation von Wackeleffekten, indem es auf eine stabilere Erfassung, Kodierung und Dekodierung von Fußgängern 10 in erfassten Umgebungsbildern 20.n mittels des Prädiktionsmodells 202 in der Vergangenheit beruht.
-
2 zeigt schematisch eine zeitliche Abfolge 206 von mittels der Umgebungserfassungseinheit 4 aufgenommenen Umgebungsbildern 20.1 bis 20.n und daraus extrahierten Körperbegrenzungsrechtecken 22.1 bis 22.2 mit veränderlicher Breite 300 zu verschiedenen Zeitpunkten tn. Die Körperbegrenzungsrechtecke 22.1 bis 22.2 sind für eine in den Umgebungsbildern 20.1 bis 20.n erfassten Fußgänger 10 erzeugt und bilden einen Rahmen oder eine Box entsprechend den Umrissen des erfassten Fußgängers 10.
-
Beispielsweise wird eine beabsichtigte Fußgängerbewegung 208, insbesondere dessen geplanten Weg oder dessen Bahn, als eine Folge von mehreren Körperbegrenzungsrechtecken 22.1, 22.2 zu den verschiedenen Zeitpunkten tn in der Bildebene dargestellt.
-
Bedingt durch die Bewegung des Fußgängers 10, zum Beispiel kurze Schritte oder lange Schritte, kommt es zu Schwankungen in der Darstellung, insbesondere in der Breite 300 der jeweils extrahierten Begrenzungsrechtecken 22.1 bis 22.2 (auch Bounding Box genannt).
-
Diese Schwankungen in der Breite 300 sind insbesondere auf den natürlichen Gangzyklus von Fußgängern 10 zurückzuführen. Dieser Effekt wird als „Box Wobbling“ bezeichnet und ist in 2 dargestellt. Die Vemachlässigung dieses Effekts erschwert eine Vorhersage der Bewegungsabläufe von Fußgängern 10 und kann zu schlechteren Vorhersagen führen.
-
Zur Reduzierung dieses Effektes sieht die Erfindung vor, dass beim Extrahieren der momentanen Position und/oder Bewegung des Fußgängers 10 aus den aufgenommenen Umgebungsbildern 20.n jeweils mindestens als ein erstes Begrenzungsrechteck 22.1 ein Kopfbegrenzungsrechteck (im Weiteren Kopfbegrenzungsrechteck 22.1 bezeichnet) für den Kopf 10.1 des zu betrachtenden Fußgängers 10 und als ein zweites Begrenzungsrechteck 22.2 ein Körperbegrenzungsrechteck (im Weiteren Körperbegrenzungsrechteck 22.2) für den Körper 10.2 des Fußgängers 10 erzeugt und dem Prädiktionsmodell 202 zugeführt werden, welches anhand des Kopfbegrenzungsrechtecks 22.1 und des Körperbegrenzungsrechtecks 22.2 eine entsprechende Trajektorie 204 (dargestellt in 3) des Fußgängers 10 prädiziert und ausgibt.
-
Der Erfindung liegt die Idee zugrunde, Informationen über die Kopfposition von Fußgängern 10 in das Prädiktionsmodell 202 zur Vorhersage von Fußgängerwegen oder Trajektorien 204 des Fußgängers 10 einzubeziehen, da separate Kopfbegrenzungsrechtecke 22.1 desselben Kopfes 10.1 des Fußgängers 10 (separate Boundingboxen für den Kopf 10.1) zu den verschiedenen Zeitpunkten tn nicht die Eigenschaft haben, ihre Form zu verändern, wie dies in der Abfolge 206 gezeigt ist. Dies liegt in der Natur der Sache, da sich die Breite desselben Kopfes 10.1 nicht ändert, zumindest nicht wahrnehmbar ändert.
-
Hingegen können die zu den verschiedenen Zeitpunkten tn erzeugten und den Körper 10.2 desselben Fußgängers 10 repräsentierende Körperbegrenzungsrechtecke 22.2 (separate Boundingboxen für den Körper 10.2) aufgrund des Gangzyklus dieses Fußgängers 10 in der Breite 300 variieren, wie es in dem Ablauf 206 und dem zugehörigen Breiten-Zeit-Diagramm mit Breite 300 über die Zeit t gezeigt ist. An dem Zeitpunkt t3 weist das Körperbegrenzungsrechteck 22.2 des erfassten Fußgängers 10 aufgrund seiner Bewegungen eine geringere Breite auf als an den anderen Zeitpunkten t1, t2, t4 und tn.
-
Die Einbeziehung und Berücksichtigung geteilter Informationen des Fußgängers 10 durch die statischen Kopfbegrenzungsrechtecke 22.1 und die variierenden Körperbegrenzungsrechtecke 22.2 ermöglichen eine verbesserte Verarbeitung dieser mittels des Prädiktionsmodells 202, insbesondere eine Bewegungshistorie des Fußgängers 10 stabiler zu kodieren. Wackeleffekte der mittels des Prädiktionsmodells 202 zu verarbeitenden Begrenzungsrechtecke 22.n (dargestellt in 3), Kombination aus statischen Kopfbegrenzungsrechtecken 22.1 und variierenden Körperbegrenzungsrechtecken 22.2 können somit einfach reduziert werden.
-
3 zeigt schematisch ein Ablaufdiagramm 210 des Prädiktionsverfahrens 200 zur Prädiktion der Bewegung des Fußgängers 10 in der Fahrzeugumgebung 3 des Fahrzeugs 1.
-
In einem ersten Schritt 100 werden oder wird aus dem Umgebungsbild 20.n mindestens eine Position und/oder eine Bewegung des Fußgängers 10 extrahiert. Insbesondere werden beim Extrahieren der momentanen Position und/oder Bewegung des Fußgängers 10 aus den aufgenommenen Umgebungsbildern 20.n als Körperbegrenzungsrechtecken 22.n zumindest das Kopfbegrenzungsrechteck 22.1 für den Kopf 10.1 des zu betrachtenden Fußgängers 10 und das variierende Körperbegrenzungsrechteck 22.2 für den Körper 10.2 des Fußgängers 10 erzeugt und dem Prädiktionsmodell 202 zugeführt werden, welches anhand des statischen Kopfbegrenzungsrechtecks 22.1 und des variierenden Körperbegrenzungsrechtecks 22.2 die zukünftige Trajektorie 204 des Fußgängers 10 prädiziert und in dem realen Umgebungsbild 20.n ausgibt. Das Fahrerassistenzsystem 2 umfasst insbesondere einen Fußgängerdetektor, mittels welchem das Kopfbegrenzungsrechteck 22.1 und das Körperbegrenzungsrechteck 22.2 extrahiert werden.
-
Das Prädiktionsmodell 202 ist eingerichtet, anhand der aufgenommenen Umgebungsbilder 20.n die Fahrzeugumgebung 3 aus einer Kameraperspektive eines fahrenden Fahrzeugs 1 zu betrachten und die Position und/oder die Bewegung des Fußgängers 10 in Bezug auf Bildpositionen in der realen Umgebung 3 zu prädizieren.
-
Darüber hinaus ist das Prädiktionsmodell 202 eingerichtet, Änderungen des Kopfbegrenzungsrechtecks 22.1 und zeitgleiche Änderungen des Körperbegrenzungsrechtecks 22.2 über einen Zeitraum der Zeit t zu bestimmen und miteinander zu vergleichen und bei der Prädiktion der Trajektorie 204 des Fußgängers 10 zu berücksichtigen.
-
Das Prädiktionsmodell 202 ist beispielsweise als ein rekurrentes neuronales Netzwerkmodell 210 mit zwei rekurrenten neuronalen Netzwerken in einer Encoder-Decoder-Architektur ausgebildet. Beispielsweise umfasst das rekurrente neuronale Netzwerkmodell 210 ein rekurrentes neuronales Encoder-Netzwerk 210.1 und ein rekurrentes neuronales Decoder-Netzwerk 210.2.
-
Beispielsweise werden die zeitlich erfassten Positionsinformationen und/oder Bewegungsinformationen des Fußgängers 10, insbesondere die extrahierten Begrenzungsrechtecke 22.n, wie die Kopfbegrenzungsrechtecke 22.1 und die Körperbegrenzungsrechtecke 22.2, in einem Schritt 101 mittels des rekurrenten neuronalen Encoder-Netzwerk 210.1 in eine zeitliche Abfolge 206 von Kopfbegrenzungsrechtecken 22.1 und Körperbegrenzungsrechtecken 22.2 kodiert und als Eingabe für das rekurrente neuronale Decoder-Netzwerk 210.2 verwendet, welches im Schritt 102 zukünftige Bewegungen, insbesondere Trajektorien 204, des Fußgängers 10 im realen Umgebungsbild 20.n erzeugt und somit prädiziert oder vorhersagt. Anschließend werden dann die vom rekurrenten neuronalen Decoder-Netzwerk 210.2 erzeugten Trajektorien 204 im realen Umgebungsbild 20.n im Schritt 103 der Ausgabeeinheit 6 zugeführt und dort auszugeben.
-
Das Prädiktionsmodell 202 kann fortlaufend aktualisiert oder angepasst werden. Beispielsweise kann das Prädiktionsmodell 202 anhand von aktuell ermittelten zeitlichen Abfolgen 206 von Begrenzungsformen, wie Begrenzungsrechtecken 22.n und/oder Begrenzungsquadern, und/oder Referenzformen, wie Referenzbegrenzungsrechtecken und/oder Referenzbegrenzungsquadern, und/oder aktuellen Zuständen, wie Fahrzeugparametern, aktualisiert oder angepasst werden. Beispielsweise kann mittels eines solchen aktualisierbaren und anpassbaren Prädiktionsmodell 202 ein vom eigenen Fahrzeug 1 eingeleiteter Bremsvorgang oder Beschleunigungsvorgang bei der Prädiktion der Trajektorie 204 des Fußgängers 10 berücksichtigt werden.
-
Mit anderen Worten: Das Prädiktionsverfahren 210 ist ein mehrstufiges Verfahren zur Vorhersage der zukünftigen Trajektorien 204 oder Bewegungsabläufe von Fußgängern 10, die in der Fahrzeugumgebung 3 erfasst wurden. Zunächst wird die Bildpositionen der Fußgänger 10 aus Kamerabildern des fahrenden Fahrzeugs 1 für einen bestimmten Beobachtungshorizont extrahiert. Im Gegensatz zu anderen Systemen erzeugt, insbesondere extrahiert, und nutzt das Prädiktionsverfahren 210 sowohl Körperbegrenzungsrechtecke 22.2 (auch Body Bounding Boxes genannt) als auch Kopfbegrenzungsrechtecke 22.1 (auch Head Bounding Boxes genannt) der Fußgänger 10, um deren Positionen im Umgebungsbild 20.n zu bestimmen. Die Körper- und Kopf-Boundingboxen (= Kopfbegrenzungsrechtecke 22.1 und Körperbegrenzungsrechtecke 22.2) werden mit Hilfe eines Fußgängerdetektors extrahiert. Diese Informationen werden dann als Eingabe verwendet, um die Trajektorien 204 von Fußgängern 10 in den zukünftigen Umgebungsbildern 20.n vorherzusagen.
-
Das Hinzufügen und die Verwendung dieser zusätzlichen Kopfbegrenzungsrechtecke 22.1 als Headbox-Informationen beim Prädiktionsverfahren 200 führt zu einer genaueren Vorhersage der zukünftigen Trajektorien 204 von Fußgängern 10 in der Bildebene und ermöglicht ein sichereres Verhalten eines autonomen Fahrzeugs 1.
-
Die mit der Erfindung erzielten Vorteile bestehen in einer stabileren und robusteren Darstellung der Fußgänger-Trajektorien 204 im Bildraum des Umgebungsbilds 20.n sowie in einer genaueren Vorhersage zukünftiger Fußgängerwege.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 10 2019 134 048 A1 [0002]