-
Die Erfindung betrifft ein Verfahren und ein System zur Vorhersage eines Verhaltens von Fußgängern für eine ADAS Anwendung und ein Computerprogrammprodukt.
-
Die
DE 10 2018 132 813 offenbart ein Verfahren und ein System zum Verfügbarmachen von typischen Bewegungsmustern von Fußgängern.
-
Ein erfindungsgemäßes Verfahren zur Vorhersage eines Verhaltens von Fußgängern für eine ADAS Anwendung umfasst die Schritte:
- - Erfassen von Bewegungsdaten eines Fußgängers mittels Fahrzeugsensoren eines Fahrzeugs;
- - Zur Verfügung stellen von typischen Bewegungsmustern von Fußgängern;
- - Erkennen der typischen Bewegungsmuster in den Bewegungsdaten mittels Analysieren der Bewegungsdaten durch ein neuronales Netz;
- - Kategorisieren der Bewegungsdaten zu kategorisierten Bewegungsdaten anhand der erkannten typischen Bewegungsmuster;
- - Ermitteln einer Vorhersage eines zukünftigen Verhaltens des Fußgängers basierend auf den kategorisierten Bewegungsdaten durch eine Recheneinrichtung.
-
ADAS sollen hier Systeme sein, welche bei autonomen und/oder teilweise autonomen Fahrzeugen zur Steuerung eingesetzt werden. Sie unterstützen einen Fahrer des Fahrzeugs bei einer Fahrt. Die Unterstützung kann dabei verschiedene Grade erreichen bis hin zum autonomen Fahren. ADAS sind dabei fahrzeugintern, können aber auch auf Daten beispielsweise aus dem Internet zugreifen. Weiterhin können ADAS auch als Verkehrssysteme ausgebildet sein, welche in Städten eingesetzt werden, um den Verkehr dort zu regeln.
-
Bewegungsdaten sollen hier Bewegungen des Fußgängers umfassen, die für Fahrzeugsensoren wahrnehmbar sind. Dazu zählen Fortbewegungen des Fußgängers, Bewegungen von Gliedmaßen des Fußgängers und/oder Mimik des Fußgängers. Mimik soll hier auch Blickrichtungen des Fußgängers umfassen.
-
Typische Bewegungsmuster sollen hier Aktionen umfassen, die Fußgänger üblicherweise durchführen. Dazu zählt beispielsweise das Überqueren einer Straße durch Fußgänger. Typischerweise erfolgt vor der Überquerung der Straße ein Bewegen eines Fußgängers auf einem Bürgersteig, wobei eine Komponente der Bewegung auf die Straße hin ausgerichtet ist. Hier ergeben sich also beispielsweise zwei typischen Bewegungsmuster, die typischerweise nacheinander ausgeführt werden.
-
Zusätzlich umfassen die typischen Bewegungsmuster Gemütszustände von Fußgängern. Dazu zählen beispielsweise ruhig, hektisch und/oder unaufmerksam. Zudem umfassen die typischen Bewegungsmuster Informationen über Fußgängern. Dazu zählen beispielsweise Alter und/oder Geschlecht. Für ein typisches Bewegungsmuster werden die Aktionen beispielsweise den Gemütszuständen und den Informationen zu dem Fußgängern zugeordnet, so dass sich als ein typisches Bewegungsmuster beispielsweise ein unaufmerksames Bewegen entlang eines Bürgersteigs durch ein Kind ergibt.
-
Für die Kategorisierung werden bevorzugt die Bewegungsdaten mit den erkannten typischen Bewegungsmustern verknüpft.
-
Eine Vorhersage soll hier einen Zeitraum von einigen Sekunden in die Zukunft ab dem Zeitpunkt des Erfassens der Bewegungsdaten umfassen. Die Vorhersage umfasst hier das unaufmerksame Überqueren der Straße durch das Kind.
-
Dadurch, dass das Erkennen der typischen Bewegungsmuster durch ein neuronales Netz erfolgt, wird ein präzises Erkennen von typischen Bewegungsmustern in den Bewegungsdaten ermöglicht. Dadurch, dass die Vorhersage basierend auf den kategorisierten Bewegungsdaten erfolgt, basiert die Vorehrsage auch auf typischen Bewegungsmustern von Fußgängern. Dies ermöglicht eine präzise Vorhersage des zukünftigen Verhaltens des Fußgängers.
-
Bevorzugt werden typischen Bewegungsmuster anhand von realen Bewegungen realer Fußgänger ermittelt. Die realen Bewegungen realer Fußgänger werden bevorzugt mittels Sensoren, welche an den realen Fußgängern angebracht sind, erfasst. Dies ermöglicht eine sehr realitätsnahe Ermittlung typischer Bewegungsmuster und ein präzises Erkennen der typischen Bewegungsmuster in den Bewegungsdaten. Dadurch wird eine präzise Vorhersage ermöglicht.
-
Bevorzugt wird eine Warnstufe zu der Vorhersage des zukünftigen Verhaltens des Fußgängers zugeordnet. Die Warnstufe und/oder die Vorhersage werden bevorzugt dem Fahrzeug verfügbar gemacht. Dies ermöglicht ein frühzeitiges Eingreifen des Fahrzeugs und/oder eines Fahrers des Fahrzeugs, um Schaden an dem Fußgänger und/oder dem Fahrzeug zu vermindern und/oder zu verhindern. Dies ermöglicht eine Erhöhung der Sicherheit im Straßenverkehr.
-
Ein erfindungsgemäßes System zur Vorhersage von Verhalten von Fußgängern für eine ADAS Anwendung umfasst
- - ein Fahrzeug mit Fahrzeugsensoren zum Erfassen von Bewegungsdaten eines Fußgängers,
- - ein neuronales Netz zum Analysieren der Bewegungsdaten zur Detektion von typischen Bewegungsmustern und
- - eine Recheneinrichtung zum Ermitteln einer Vorhersage eines zukünftigen Verhaltens des Fußgängers basierend auf den typischen Bewegungsmustern.
-
Ein erfindungsgemäßes Computerprogrammprodukt umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren zur Vorhersage eines Verhaltens von Fußgängern für eine ADAS Anwendung durchzuführen.
-
Die Vorteile des erfindungsgemäßen Verfahrens ergeben sich in gleich Weise für das erfindungsgemäße System und das erfindungsgemäße Computerprogrammprodukt.
-
Die abhängigen Ansprüche beschreiben vorteilhafte Ausführungsformen der Erfindung.
-
Ein bevorzugtes Ausführungsbeispiel wird anhand der folgenden Figur näher erläutert. Dabei zeigt 1 schematisch ein Ausführungsbeispiel eines erfindungsgemäßen Systems 1. Das System 1 umfasst ein Fahrzeug 2 mit Fahrzeugsensoren 3 zum Erfassen von Bewegungsdaten 10 eines Fußgängers 6.
-
In diesem Ausführungsbeispiel fährt das Fahrzeug 2 eine Straße entlang. Die Fahrzeugsensoren sind als Kameras ausgebildet. Die Kamera erfasst einen Fußgänger 6 und seine Bewegungen als Bewegungsdaten 10. Alternativ sind die Fahrzeugsensoren 3 als Radar und/oder Lidar Systeme ausgebildet. Dies ermöglicht ein Erfassen der Bewegungsdaten 10 bei optisch schwierigen Bedingungen.
-
Der Fußgänger bewegt sich auf einem Bürgersteig, welcher sich an die Straße anschließt. Der Fußgänger bewegt sich auf die Straße zu. Die Bewegungsdaten umfassen räumliche und zeitliche Bewegungen des Fußgängers 6. Die Bewegungsdaten 10 umfassen zudem Gestik und Mimik des Fußgängers 6. Die Mimik umfasst die Blickrichtung des Fußgängers 6. Der Fußgänger blickt in Richtung eines dem Bürgersteigt gegenüberliegenden Bürgersteigs auf einer gegenüberliegenden Straßenseite.
-
Das System 1 umfasst ein neuronales Netz 4. Das neuronale Netz 4 erkennt typische Bewegungsmuster in den Bewegungsdaten 10 mittels Analysieren der Bewegungsdaten.
-
Typische Bewegungsmuster wurden anhand von realen Bewegungen realer Fußgänger nach einem Verfahren, offenbart in der
DE 10 2018 132 813 , von einer externen Quelle erfasst und zur dem neuronalen Netz
4 Verfügung gestellt.
-
Die realen Bewegungen realer Fußgänger wurden dort mittels Sensoren erfasst, welche an den realen Fußgängern angebracht waren. Die Sensoren umfassten Beschleunigungssensoren, welche an verschiedenen Stellen des Körpers der realen Fußgänger angebracht waren. Zusätzlich wurden die realen Fußgänger mit einer Brille ausgestattet, um Blickrichtungen und Kopfbewegungen zu erfassen. Weiterhin umfassten die Sensoren satellitengestützte Positionstracker. Die Fußgänger haben sich dann im realen Straßenverkehr möglichst natürlich bewegt, während die Sensoren Sensordaten erfassten. Danach wurden die typischen Bewegungsmuster mittels der Sensordaten ermittelt. Dadurch wurde eine realitätsnahe Erfassung von typischen Bewegungsmustern ermöglicht. Alternativ können die typischen Bewegungsmuster auch zusätzlich oder gänzlich manuell erstellt werden.
-
Aus den Bewegungsdaten 10 werden Beschleunigen von Köperteilen des Fußgängers 6 durch das neuronale Netz 4 ermittelt. Zudem werden Kopfbewegungen und Blickrichtungen ermittelt. Das Fahrzeug 2 umfasst eine satellitengestützte Positionsbestimmungseinrichtung, so dass aus Fokusdaten der Kamera in Verbindung mit der Position des Fahrzeugs 2 eine Positionsbestimmung des Fußgängers 6 ermittelt wird. Dadurch umfassen die Bewegungsdaten 10 wesentliche Bestandteile der Sensordaten. Dies ermöglicht eins präzises Erkennen der typischen Bewegungsmuster in den Bewegungsdaten 10.
-
In diesem Ausführungsbeispiel ist das erkannte typische Bewegungsmuster also das Vorbereiten zum Überqueren einer Straße.
-
Das neuronale Netz 4 kategorisiert die Bewegungsdaten 10 anschließend zu kategorisierten Bewegungsdaten 11 anhand der erkannten typischen Bewegungsmuster. Die Kategorien umfassen die typischen Bewegungsmuster, den Gemütszustand des Fußgängers 6 und weitere Informationen über den Fußgänger 6. In diesem Ausführungsbeispiel ist der Gemütszustand des Fußgängers 6 unaufmerksam. Die weiteren Informationen über den Fußgänger 6 umfassen, dass der Fußgänger 6 ein Kind ist. In diesem Ausführungsbeispiel werden die Bewegungsdaten 10 mit den Kategorien zu den kategorisierten Bewegungsdaten 11 ergänzt. Dies ermöglicht eine schnelle und wenig rechenintensive Kategorisierung der Bewegungsdaten 11. Alternativ werden die Kategorien als Metadaten an die Bewegungsdaten 11 angefügt.
-
Das System 1 umfasst zudem eine Recheneinrichtung 5. Die Recheneinrichtung 5 ermittelt eine Vorhersage 12 eines zukünftigen Verhaltens des Fußgängers 6 basierend auf den typischen Bewegungsmustern. Die Recheneinrichtung 5 ermittelt die Vorhersage 12 anhand der Kategorien, welche anhand der typischen Bewegungsmuster erstellt wurden. In diesem Ausführungsbeispiel ist die Vorhersage, dass das Kind die Straße unaufmerksam überqueren wird. Demnach wird es nicht auf herannahenden Verkehr achten, welcher auch das Fahrzeug 2 umfasst.
-
Die Recheneinrichtung 5 ordnet eine Warnstufe 13 zu der Vorhersage 12 des zukünftigen Verhaltens des Fußgängers 6 zu. Die Warnstufe 13 umfasst eine Risikobewertung für die Vorhersage 12 des zukünftigen Verhaltens des Fußgängers 6 und/oder für das Fahrzeug 2.
-
Da in diesem Ausführungsbeispiel die Vorhersage 12 über das Verhalten des Kindes ist, dass das Kind die Straße überqueren wird, ohne auf das herannahende Fahrzeug 2 zu achten, wird dieser Vorhersage 12 eine höchste Warnstufe zugeordnet.
-
In diesem Ausführungsbeispiel gibt es drei Warnstufen. Die höchste Warnstufe verlangt nach einer zeitlich kurzfristigen Anpassung von Aktionen des Fahrzeugs 2 an die Vorhersage 12. Eine mittlere Warnstufe führt zu einer kurzen Wartezeit von einigen Sekunden, um dann erneut Bewegungsdaten zu erfassen. Anhand der erneut erfassten Bewegungsdaten wird dann eine neue Vorhersage erstellt. Eine geringste Warnstufe verlangt nicht nach einer Anpassung der Aktionen des Fahrzeugs 2 an die Vorhersage 12.
-
Die Recheneinrichtung 5 macht die Vorhersage 12 und die Warnstufe für das Fahrzeug 2 und/oder ein ADAS System verfügbar. In diesem Ausführungsbeispiel ist das ADAS System ein ADAS System des Fahrzeugs 2. Das ADAS System ist in diesem Ausführungsbeispiel ein Notfallbremssystem.
-
Da der Vorhersage 12 die höchste Warnstufe zugeordnet ist, wird in diesem Ausführungsbeispiel ein Notfallbremssystem des Fahrzeugs 2 aktiviert. Dies ermöglicht eine frühzeitiges Bremsen, was eine Kollision des Fahrzeugs 2 mit dem Kind verhindert.
-
Zum Analysieren der Bewegungsdaten 10 und zum Ermitteln der Vorhersage 12 wird dasselbe neuronale Netz verwendet. Dies ermöglicht das Ermitteln einer Vorhersage mit nur einem einzigen neuronalen Netz 4. Dies ermöglicht es, dass Datentransfers zwischen verschiedenen neuronalen Netzen und/oder Recheneinrichtungen entfallen.
-
Alternativ umfasst die Recheneinrichtung 5 ein weiteres neuronales Netz. Dies ermöglicht eine sehr kurze Rechenzeiten für die Recheneinrichtung 5. In einer weiteren alternativen Ausführungsform sind das neuronale Netz 4 und das weitere neuronale Netz identisch.
-
Ein Ausführungsbeispiel eines erfindungsgemäßes Computerprogrammprodukt umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren zur Vorhersage eines Verhaltens von Fußgängern für eine ADAS Anwendung, wie in dem vorigen Ausführungsbeispiel beschrieben, durchzuführen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018132813 [0002, 0021]