-
Die Erfindung betrifft ein Verfahren zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen gemäß dem Oberbegriff des Anspruchs 1.
-
Aus dem Stand der Technik sind kamerabasierte Systeme zur Verkehrszeichenerkennung bekannt. Dabei ist bekannt, dass mit einer statistischen Auswertung von an einem Ort von vielen Fahrzeugen erkannten Verkehrsschildern Geschwindigkeitsbegrenzungen abgeleitet werden.
-
Aus der
DE 10 2021 005 438 A1 ist ein Verfahren zur Bestimmung von Streckenattributen in einer Straßenkarte eines Fahrzeugsystems aus Schilderbeobachtungen bekannt, bei welchem ein punktuell erkanntes Verkehrsschild einem Navigationsgerät übermittelt und in diesem einem vorgegebenen Streckenabschnitt der Straßenkarte als Streckenattribut zugewiesen wird. Das Straßenschild wird von einer in einem sich auf dem Streckenabschnitt bewegenden Fahrzeug positionierten Kamera detektiert, wobei alle von den Kameras der Fahrzeuge in einem bestimmten Gebiet in einem vorgegebenen Zeitraum erkannten Verkehrsschilder gesammelt werden und die durch die Verkehrsschilder ermittelten Punkte einschließlich einer Fahrtrichtung der Fahrzeuge einem Streckennetz der bestehenden Straßenkarte zugewiesen werden. Aus der Gesamtheit der punktuellen Informationen werden die von den jeweiligen Verkehrsschildern beeinflussten Streckenabschnitte ausgewählt und mit den aus der Schilderbeobachtung resultierenden Streckenattributen belegt, wobei die gewonnenen Streckenattribute den Fahrzeugsystemen der Fahrzeuge zur Nutzung bereitgestellt werden.
-
DE 102018200134 B3 beschreibt eine Erfassung von Trainingsdaten für ein Fahrerassistenzsystem eines Kraftfahrzeugs. Eine Vielzahl an Fahrzeugen erkennt dabei mit jeweils einem Fahrerassistenzsystem und einer Kamera auf einem Streckenabschnitt angeordnete Verkehrszeichen und bestimmen eine zulässige Höchstgeschwindigkeit für diesen Streckenabschnitt als Vergleichswert. Zudem wird mit dem Fahrerassistenzsystem des jeweiligen Fahrzeugs eine aktuell gefahrene Geschwindigkeit überwacht. Abweichungen zwischen tatsächlich gefahrenen Geschwindigkeiten und den mittels Kamera bestimmten Vergleichswerten werden erkannt und in der Form von Ereignisdaten zusammen mit der Position des jeweiligen Fahrzeugs an eine Servereinrichtung übermittelt. Von der Servereinrichtung wird sodann durch Auswerten der übermittelten Ereignisdaten eine Anomalie in einer Funktionsweise der Fahrerassistenzsysteme der Fahrzeuge detektiert. Auf Basis detektierter Anomalien bestimmt die Servereinrichtung ein Kriterium, womit weitere von den Fahrzeugen an die Servereinrichtung zu übermittelnden Daten charakterisiert werden.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen werden mittels an einer Vielzahl von Fahrzeugen angeordneten Kameras Bilder einer jeweiligen Fahrzeugumgebung erfasst, in einer Bildauswertung Verkehrszeichen in der jeweiligen Fahrzeugumgebung erkannt und erkannte Verkehrszeichen statistisch ausgewertet, um eine auf einem Streckenabschnitt gültige Geschwindigkeitsbegrenzung für Fahrzeuge zu bestimmen. Die mittels der kamerabasierten Verkehrszeichenerkennung bestimmte Geschwindigkeitsbegrenzung eines jeweiligen Streckenabschnitts wird mit in diesem Streckenabschnitt tatsächlich von Fahrzeugen gefahrenen Geschwindigkeiten abgeglichen. Anhand des Abgleichs werden plausible und unplausible bestimmte Geschwindigkeitsbegrenzungen identifiziert.
-
Erfindungsgemäß werden unplausible Geschwindigkeitsbegrenzungen an andere Fahrzeugsysteme nicht bereitgestellt und/oder bleiben bei einer Aktualisierung digitaler Straßenkarten ungenutzt und/oder werden bei der kamerabasierten Verkehrszeichenerkennung unterdrückt.
-
Es existieren Fälle, bei denen von kamerabasierten Systemen zur Verkehrszeichenerkennung Verkehrszeichen falsch erkannt werden. Beispielsweise können zur Seite gedrehte Verkehrszeichen als gültig erkannt werden. Werden daraus abgeleitete Geschwindigkeitsbegrenzungen in eine digitale Karte eingetragen und in Fahrzeugen eingesetzt, kann das bei Fahrerassistenzsystemen zu unerwünschtem Fahrverhalten führen, beispielsweise zu einem Abbremsen auf eine nicht gültige Geschwindigkeitsbegrenzung. In Fahrzeugen werden digitale Karten verwendet, welche aktuelle Geschwindigkeitsbegrenzungen enthalten, die von Messfahrzeugen zwar genau vermessen wurden, aber verhältnismäßig selten aktualisiert werden. Diese Karten können durch aktuellere Informationen zu Geschwindigkeitsbegrenzungen aus der Verkehrszeichenerkennung verbessert werden. Dabei soll jedoch vermieden werden, dass Kartenanteile durch möglicherweise falsch erkannte Verkehrszeichen verschlechtert werden. Außerdem sollen durch die gesammelte Verkehrszeichenerkennung Fahrzeugsysteme optimiert werden.
-
Dies ist mittels des vorliegenden Verfahrens möglich. Durch die Erkennung von unplausiblen Geschwindigkeitsbegrenzungen aus der Verkehrszeichenerkennung können Fahrzeug-Funktionen und die Verkehrszeichenerkennung weiter verbessert werden und Fehlfunktionen können zuverlässig vermieden werden. Außerdem wird vermieden, eine zugrundeliegende digitale Karte zumindest in Teilen zu verschlechtern.
-
Weiterhin ist es möglich, dass durch eine Analyse einer Vielzahl von Sensordaten an unplausiblen Verkehrszeichen Bilderkennungsalgorithmen verbessert werden können. Dazu kann beispielsweise auch eine Messkampagne in den Fahrzeugen gestartet werden, die dann weitere, sonst nicht zu übertragende Daten, wie beispielsweise hochaufgelöste Videodaten, überträgt.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
- 1 schematisch einen Ablauf eines Verfahrens zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen.
-
In der einzigen 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zur kamerabasierten Erkennung und Verifikation von Verkehrszeichen dargestellt.
-
In einem Verfahrensschritt S1 werden mittels an einer Vielzahl von Fahrzeugen angeordneten Kameras Bilder einer jeweiligen Fahrzeugumgebung erfasst und in einer Bildauswertung werden Verkehrszeichen in der jeweiligen Fahrzeugumgebung erkannt. Dann werden erkannte Verkehrszeichen statistisch ausgewertet, um eine auf einem Streckenabschnitt gültige Geschwindigkeitsbegrenzung für Fahrzeuge zu bestimmen.
-
Beispielsweise wird der Verfahrensschritt S1 gemäß dem in
DE 10 2021 005 438 A1 beschriebenen Verfahren durchgeführt, bei welchem ein punktuell erkanntes Verkehrszeichen einem Navigationsgerät übermittelt und in diesem einem vorgegebenen Streckenabschnitt einer digitalen Straßenkarte als Streckenattribut zugewiesen wird. Dabei wird das Verkehrszeichen von einer in einem sich auf dem Streckenabschnitt bewegenden Fahrzeug positionierten Kamera detektiert, wobei alle von den Kameras der Fahrzeuge in einem bestimmten Gebiet in einem vorgegebenen Zeitraum erkannten Verkehrszeichen gesammelt werden und die durch die Verkehrszeichen ermittelten Punkte einschließlich einer Fahrtrichtung der Fahrzeuge einem Streckennetz der bestehenden Straßenkarte zugewiesen werden. Aus der Gesamtheit der punktuellen Informationen werden die von den jeweiligen Verkehrszeichen beeinflussten Streckenabschnitte ausgewählt und mit den aus der Verkehrszeichenbeobachtung resultierenden Streckenattributen belegt, wobei die gewonnenen Streckenattribute Fahrzeugsystemen der Fahrzeuge zur Nutzung bereitgestellt werden.
-
Anschließend erfolgt in einem weiteren Verfahrensschritt S2 ein Abgleich der mittels der kamerabasierten Verkehrszeichenerkennung bestimmten Geschwindigkeitsbegrenzung eines jeweiligen Streckenabschnitts mit in diesem Streckenabschnitt tatsächlich von Fahrzeugen gefahrenen Geschwindigkeiten. Anhand des Abgleichs werden an den von den einzelnen Verkehrszeichen beeinflussten Streckenabschnitten plausible und unplausible bestimmte Geschwindigkeitsbegrenzungen identifiziert und markiert. Dies kann beispielsweise mittels des in der
DE 10 2022 002 337 B3 beschriebenen Verfahrens erfolgen. Anhand der kamerabasierten Verkehrszeichenerkennung bestimmte Geschwindigkeitsbegrenzungen sind beispielsweise dann unplausibel, wenn tatsächlich von Fahrzeugen in Streckenabschnitten gefahrene Geschwindigkeiten signifikant höher sind als in diesen Streckenabschnitten anhand der kamerabasierten Verkehrszeichenerkennung bestimmte Geschwindigkeitsbegrenzungen.
-
In einem weiteren Verfahrensschritt S3 werden beispielsweise folgende Maßnahmen durchgeführt, wenn unplausible bestimmte Geschwindigkeitsbegrenzungen identifiziert werden.
-
Beispielsweise werden in einer möglichen Maßnahme Informationen aus unplausiblen Geschwindigkeitsbegrenzungen nicht an Fahrzeugsysteme übertragen. Stattdessen können beispielsweise Informationen aus einer zugrundeliegenden digitalen Karte zum Betrieb der Fahrzeugsysteme verwendet werden. Das heißt, bei einer Aktualisierung digitaler Straßenkarten bleiben unplausible Geschwindigkeitsbegrenzungen ungenutzt.
-
In einer weiteren möglichen Maßnahme werden insbesondere bei sehr unplausiblen Geschwindigkeitsbegrenzungen, bei welchen beispielsweise an einer Position eine Geschwindigkeitsbegrenzung auf 40 km/h anstatt einer realen Höhenbeschränkung auf 4 m Höhe erkannt wird und an der Position regelmäßig Geschwindigkeiten von 120 km/h gefahren werden, die kamerabasiert erkannten Verkehrszeichen mit den Geschwindigkeitsbegrenzungen vollständig ignoriert. Insbesondere wird eine Information eines letzten entgegen einer Fahrtrichtung des Fahrzeugs gelegenen Verkehrszeichens weiter auf einen folgenden Streckenabschnitt ausgerollt.
-
In einer weiteren möglichen Maßnahme wird insbesondere bei sehr unplausiblen Geschwindigkeitsbegrenzungen zu den Fahrzeugsystemen eine Information übertragen, dass an einer Position durch die Kameras häufig ein bestimmtes Verkehrszeichen falsch erkannt wird. Im Fahrzeug können dann solche kamerabasierten Verkehrszeichenerkennungen unterdrückt werden.
-
In einer weiteren möglichen Maßnahme können durch eine Analyse einer Vielzahl von Sensordaten an unplausiblen Verkehrszeichen Bilderkennungsalgorithmen verbessert werden. Dazu kann beispielsweise auch eine Messkampagne in den Fahrzeugen gestartet werden, die dann weitere, sonst nicht zu übertragende Daten, wie beispielsweise hochaufgelöste Videodaten, überträgt.
-
Der in dem im Verfahrensschritt S2 durchgeführte Abgleich der bestimmten Geschwindigkeitsbegrenzungen mit den tatsächlich gefahrenen Geschwindigkeiten erfolgt beispielsweise folgendermaßen: Fahrzeuge erfassen ihre aktuell gefahrene Geschwindigkeit in fest vorgegebenen Orts- und Zeitabständen und übermitteln diese an eine fahrzeugexterne zentrale Recheneinheit. Gegebenenfalls erfolgt auch eine Speicherung der Geschwindigkeitswerte in den Fahrzeugen. Mittels der Recheneinheit werden von den Fahrzeugen gefahrene Trajektorien Verkehrswegen zugeordnet, wobei für vorgegebene Messpunkte auf den Verkehrswegen getrennt nach Fahrtrichtung die gefahrenen Geschwindigkeiten erfasst werden. Die Messpunkte sind beispielsweise Punkte mit festen Abständen von einer Straßenkreuzung zu einer anderen Straßenkreuzung oder beispielsweise in einer digitalen Karte in Form von Geokoordinaten enthaltene Zwischenpunkte auf den Verkehrswegen. In der Regel werden die Fahrzeuge nicht genau an diesen Messpunkten die Geschwindigkeit gemessen haben. Dann kann ein nächstgelegener vom Fahrzeug gemessener Punkt verwendet werden oder die gefahrene Geschwindigkeit zwischen den zwei am nächsten zu einem Kartenpunkt vom Fahrzeug gemessenen Punkten interpoliert werden.
-
Weiterhin kann eine Validierung der Geschwindigkeitsbegrenzungen aus den Werten an den Messpunkten nach einem der im Folgenden beschriebenen Methoden durchgeführt werden.
-
In einer möglichen Methode wird eine künstlichen Intelligenz verwendet. Hierbei werden mittels Modellen mit künstlicher Intelligenz aus verschiedenartigen Eingangsdaten als Ausgabe die an einem Messpunkt gültige Geschwindigkeitsbegrenzung vorhergesagt. Hierzu sind die Modelle trainiert, wozu zumindest in einem Teil des Streckennetzes die gültigen Geschwindigkeitsbegrenzungen vorgegeben werden. Das kann zum einen durch Messkampagnen erfolgen, in denen die gültigen Geschwindigkeitsbegrenzungen manuell bestimmt werden. Alternativ können aus Verkehrszeichenbeobachtungen ausgerollte Geschwindigkeitsbegrenzungen mit einer anderen Datenquelle, beispielsweise einem Hersteller einer digitalen Karte, verglichen werden. Dort, wo beide Quellen denselben Geschwindigkeitswert aufweisen, ist dieser Wert mit hoher Wahrscheinlichkeit richtig und kann somit bei der künstlichen Intelligenz in einem Trainings- und einem Testdatensatz verwendet werden.
-
In einer weiteren möglichen Methode erfolgt eine unabhängige Prognose einer gültigen Geschwindigkeitsbegrenzung an jedem Messpunkt. Dabei werden die von den einzelnen Fahrzeugen gemessenen Geschwindigkeiten jeweils an einem Punkt als Eingangsdaten für das Modell mit der künstlichen Intelligenz verwendet und eine gültige Geschwindigkeitsbegrenzung an diesem Punkt vorhergesagt. Je nach Modell können die Messwerte roh eingespeist werden oder als Häufigkeitsverteilung, beispielsweise als Anzahl der gemessenen Geschwindigkeiten in 5er-Blöcken (zum Beispiel 0 km/h bis 5 km/h, 5 km/h bis 10 km/h usw.). Dies entspricht insbesondere der in
DE 10 2022 002 337 B3 für jeden Messpunkt beschriebenen Vorgehensweise. Die Blöcke werden je nach Anwendungsfall logisch entsprechend bis zu einer Grenze von 130 km/h aufgeführt. Ab der Grenze werden alle darauffolgende Werte beispielsweise in einen Block, zum Beispiel > 130 km/h, eingeordnet. Hierbei ergibt sich aufgrund der entsprechenden Datengrundlage meist ein unausgewogener Trainingsdatensatz. Um dies zu umgehen, wird eine am häufigsten vorkommende Geschwindigkeitsbegrenzung mit einem so genannten (Random-)Undersampling-Verfahren reduziert. Die Häufigkeitsverteilung kann auch mit klassischen heuristischen Methoden zur Vorhersage der Geschwindigkeitsbegrenzung eingesetzt werden. Anschließend werden die Vorhersagen aller Messpunkte betrachtet, die in dem Bereich des Streckennetzes liegen, auf das ein erkanntes Verkehrszeichen ausgerollt wurde. Ein Verkehrszeichen kann dann als valide betrachtet werden, wenn bei einem gewissen Anteil von beispielsweise 50 % dieser Messpunkte dieselbe Geschwindigkeitsbegrenzung vorhergesagt wurde, die auch mit dem Verkehrszeichen erkannt wurde. Andernfalls ist das Verkehrszeichen nicht valide. Zusätzlich zur Anzahl der richtigen Vorhersagen kann je nach Modell mit künstlicher Intelligenz auch die Konfidenz der jeweiligen Vorhersage in die Entscheidung mit einbezogen werden.
-
In einer weiteren möglichen Methode erfolgt die Validierung einer Änderung einer Geschwindigkeitsbegrenzung durch Messpunkte in einer Umgebung eines Verkehrszeichens. Insbesondere bei einem Übergang von einer höheren zu einer geringeren Geschwindigkeitsbegrenzung kommt es zu einem charakteristischen Abbremsverhalten der Fahrzeuge. Deshalb können hier einige Messpunkte vor und hinter dem erkannten Verkehrszeichen als Eingangsdaten für die künstliche Intelligenz verwendet werden. Als Ausgabe wird dann der Wert des Verkehrszeichens vorhergesagt. Dabei können die gemessenen Geschwindigkeiten jeweils wieder roh oder als Häufigkeitsverteilungen verwendet werden.
-
In einer weiteren möglichen Methode erfolgt die Validierung anhand einer Verifikation bedingter Geschwindigkeitsbegrenzungen. Bedingte Geschwindigkeitsbegrenzungen können mit zusätzlichen Verkehrszeichen, auch als Zusatzschilder bezeichnet, angezeigt werden, auf welchen bestimmte Bedingungen, beispielsweise „bei Regen“ oder „zu bestimmten Uhrzeiten“, dargestellt sind. Wenn diese Bedingung nicht erfüllt ist, gilt jeweils eine andere Geschwindigkeitsbegrenzung, die mit einem weiteren Zeichen angezeigt werden kann, aus einem Straßentyp hervorgeht (beispielsweise 100 km/h auf Landstraßen in Deutschland) oder sich aus einem vorherigen Verkehrszeichen ergibt. Wenn mit den Geschwindigkeitsmessungen der Fahrzeuge weitere Daten erhoben werden, beispielsweise eine Uhrzeit oder ein Status eines Scheibenwischers, können an den Messpunkten die Geschwindigkeitsmessungen klassifiziert werden und beispielsweise bei einem angezeigten Regen-Limit getrennte Vorhersagen aus den Daten mit aktivem und nicht aktivem Scheibenwischer gemacht werden. Bei angezeigten Uhrzeiten für das Tempolimit können entsprechend Zeitbereiche aus den Messpunkten klassifiziert werden. Wenn in den Fahrzeugen aus der Bilderkennung die Zusatzschilder nicht vollständig ausgewertet werden können und beispielsweise nur die Information abgeleitet wird, dass eine zeitliche Einschränkung gilt, aber nicht eine konkrete Uhrzeit, kann mit Künstlichen-Intelligenz-Methoden in den Daten der Messpunkte nach mehreren für eine Geschwindigkeitsbegrenzung charakteristischen Verteilungen gesucht und damit die für die Einschränkung gültige Uhrzeit ermittelt werden.