-
Die Erfindung betrifft ein Verfahren zur Klassifikation eines Fahrbahnzustands auf der Basis von Bilddaten eines Fahrzeugkamerasystems und ein entsprechendes Fahrzeugkamerasystem.
-
Der technologische Fortschritt im Bereich der optischen Bilderfassung erlaubt den Einsatz von kamerabasierten Fahrerassistenzsystemen, die an unterschiedlichen Positionen am Fahrzeug platziert der visuellen Wahrnehmung des Fahrers entsprechend das Umfeld des Fahrzeugs erfassen. Die funktionalen Umfänge dieser Systeme erstrecken sich dabei von der Fernlichtautomatik über Erkennung und Anzeige von Geschwindigkeitsbegrenzungen bis hin zur Warnung bei Spurhaltefehlern oder drohender Kollision. Ausgehend von der reinen Vorfelderfassung bis hin zum vollständigen 360° Rundumblick bei sogenannten Surround View Systemen sind heute Kameras in vielfältigen Applikationen und unterschiedlichen Funktionen für Fahrerassistenzsysteme in modernen Fahrzeugen zu finden. Aufgabe der digitalen Bildverarbeitung als Stand-alone Funktion oder in Fusion mit Radar- oder Lidarsensoren ist es dabei primär, Objekte zu erkennen, zu klassifizieren und im Bildausschnitt zu verfolgen. Klassische Objekte sind in der Regel verschiedenste Fahrzeuge wie PKW, LKW, Zweiräder oder Fußgänger. Darüber hinaus übernehmen Kameras die Erfassung von Schildern, Fahrspurmarkierungen, Leitplanken, Freiräumen oder sonstigen generischen Objekten.
-
Das automatische Erlernen und Erkennen von Objektkategorien und deren Instanzen gehört zu den wichtigsten Aufgaben der digitalen Bildverarbeitung. Viele Methoden sind hierzu bekannt. Aufgrund der aktuell sehr weit fortgeschrittenen Verfahren, die diese Aufgaben beinahe so gut wie ein Mensch erfüllen können, hat sich inzwischen der Schwerpunkt von einer groben auf eine genaue Lokalisierung der Objekte verlagert.
-
Im Bereich moderner Fahrerassistenz werden unterschiedliche Sensoren u.a. auch Videokameras eingesetzt um das gesamte Fahrzeugumfeld möglichst genau und robust zu erfassen. Diese Umfeldinformationen zusammen mit den fahrdynamischen Informationen des Fahrzeugs über z.B. die Inertialsensorik verschaffen einen guten Eindruck über den aktuellen Fahrzustand des Fahrzeugs und die gesamte Fahrsituation. Daraus lässt sich die Kritikalität von Fahrsituationen ableiten und die entsprechenden Fahrerinformationen/-warnungen bis hin zu fahrdynamischen Eingriffen über Bremse und Lenkung initiieren.
-
Da der zur Verfügung stehende Reibbeiwert oder Fahrbahnzustand für Fahrerassistenzsysteme jedoch bislang nicht zur Verfügung steht bzw. nicht benannt werden kann, erfolgt die Auslegung der Warn- und Eingriffszeitpunkte grundsätzlich auf Basis einer trockenen Fahrbahn mit hohem Kraftschlusspotential zwischen Reifen und Fahrbahn. Der Reibbeiwert, auch Reibwert, Kraftschlussbeiwert, (Haft-) Reibungs-zahl oder Reibungskoeffizient gibt an, welche Kraft bezogen auf die Radlast zwischen einer Fahrbahnoberfläche und einem Fahrzeugreifen (z.B. in Tangentialrichtung) maximal übertragen werden kann und ist somit ein wesentliches Maß für die Fahrsicherheit. Neben dem Fahrbahn-zustand sind Eigenschaften des Reifens zu einer vollständigen Bestim-mung des Reibwerts erforderlich.
-
Daraus leitet sich die eigentliche Herausforderung für Fahrerassistenzsysteme aber auch für das Automatisierte Fahren ab. Die Fahrerwarnung bzw. der systemseitige Eingriff bei unfallvermeidenden oder -abschwächenden Systemen erfolgt so spät, dass es bei tatsächlich trockener Fahrbahn gerade noch zur Unfallvermeidung oder zur akzeptablen Unfallfolgenminderung reicht. Ist die Fahrbahn bei Nässe, Schnee oder gar Eis weniger griffig, kann der Unfall nicht mehr verhindert werden und auch die Minderung der Unfallfolgen erzielt nicht den gewünschten Effekt.
-
Wäre man also systemseitig in der Lage, den Fahrbahnzustand oder gar den zur Verfügung stehenden Reibbeiwert zu bestimmen, könnten Fahrerwarnungen und auch Systemeingriffe entsprechend zielgerichteter erfolgen. Die Wirksamkeit von unfallvermeidenden Fahrerassistenzsystemen würde sich damit deutlich erhöhen. Die Fahrbahnzustandsüberwachung bzw. die Reibwertschätzung ist eine elementare Voraussetzung für Systeme des Automatisierten Fahrens.
-
Eine Bildbasierte Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera zeigt z.B.
WO 2014/127777 A2 . Hier wird ein Bildbereich, der eine Abbildung der Fahrbahnoberfläche umfasst einem Klassifikator zugeführt.
-
Es ist eine Aufgabe der Erfindung, eine verbesserte kamerabasierte Klassifikation des Fahrbahnzustands und ggfs. auftretender witterungsbedingter Umwelteinflüsse anzugeben.
-
Ein Ausgangspunkt der vorliegenden Lösung ist die Erkenntnis, dass eine Unterscheidung nach diffusen und spiegelnden Reflexionen auf der Fahrbahnoberfläche in Kamerabilddaten charakteristisch für bestimmte Fahrbahnzustände ist. Ein solches Verfahren ist in
WO 2016/177371 A1 beschrieben. Insbesondere in einer Kombination aus verschiedenen Kameras und Kamerasystemen am Fahrzeug mit unterschiedlichen Blickwinkeln und Blickrichtungen mit Mitteln der Digitalen Bildverarbeitung und des maschinellen Lernens kann zunächst nach diffusen und spiegelnden Reflexionen auf der Fahrbahnoberfläche in Bildern oder in Teilbereichen der Bilder oder in einer Abfolge von Bildern unterschieden werden. Unterschiedliche Blickwinkel bietet beispielsweise eine einzelne Kamera, die infolge der Bewegung des Fahrzeugs zu unterschiedlichen Zeitpunkten unterschiedliche Blickwinkel auf einen Raumpunkt einnimmt. Zwei Kameras mit teilweise überlappendem Erfassungsbereich bieten als weiteres Beispiel bereits zu einem Zeitpunkt unterschiedliche Blickwinkel auf einen Raumpunkt im Überlappungsbereich.
-
Eine zweite wesentliche Charakteristik für den Zustand einer Fahrbahnoberfläche liefert die Ermittlung von Störungen in Bildern oder in Teilbereichen der Bilder oder in einer Abfolge von Bildern, die durch das Aufwirbeln von einer Fahrbahnauflage (z.B. Wasser oder Schnee) beim Überfahren bzw. infolge des Überrollens mit den Fahrzeugrädern des eigenen Fahrzeugs oder den Rädern anderer Fahrzeuge entstehen. Die Fahrbahnauflagen können nach ihrer Auswirkung im Bild bewertet werden. Durch Fahrzeugräder aufgewirbelte Partikel der Fahrbahnauflage verursachen Störungen im Bild bzw. in den Teilbereichen von Bildern bzw. in der Abfolge von Bildern mit unterschiedlichen Ausprägungen. Ein solches Verfahren ist in
WO 2015/070861 A1 beschrieben.
-
Beide Charakteristika können nun miteinander verknüpft und gemeinsam einem präzise definierten Fahrbahnzustand zugeordnet werden. Dadurch kann alleine auf Basis von Kamerabildern eine Unterscheidung von folgenden fünf relevanten Fahrbahnzuständen, gewährleistet werden:
- - Trockene Fahrbahn
- - Nasse Fahrbahn mit wenig Wasser
- - Nasse Fahrbahn mit viel Wasser (Aquaplaninggefahr)
- - Schneefahrbahn
- - Eisfahrbahn.
-
Die Unterscheidung erfolgt anhand der folgenden einfachen Kriterien:
- Trockene Fahrbahn: diffuse Reflexion, bei der durch die Fahrzeugräder keine Störung erfolgt;
- Nasse Fahrbahn mit wenig Wasser: Spiegelnde Reflexion mit wenigen Störungen;
- Nasse Fahrbahn mit viel Wasser (Aquaplaning-Risiko): Spiegelnde Reflexion mit viel Störung;
- Schneefahrbahn: Diffuse Reflexion mit Störung; und Eisfahrbahn: Spiegelnde Reflexion ohne Störung.
-
Eine Störung auf nasser Fahrbahn, die durch Spritzwasser verursacht wird, wird bevorzugt dadurch erkennbar, dass sich Helligkeits- und/oder Kontrast- und/oder Farb- als auch strukturelle Unterschiede im Vergleich mit einem ungestörten Bild bzw. mit ungestörten Teilbereichen des Bildes oder in der Abfolge von ungestörten Bildern ergeben.
Auf Schnee ergeben sich hingegen vorteilhaft keine Helligkeits- und/oder Kontrast und/oder Farbunterschiede. Der aufgewirbelte Schnee erzeugt lediglich strukturelle Unterschiede.
Eine trockene Fahrbahn zeichnet sich insbesondere durch eine diffuse Reflexion ohne Störungen aus.
Die Eisfahrbahn (Glatteis/„Black Ice“) zeigt typischerweise eine spiegelnde Reflexion ohne Störung.
-
Grundsätzlich lässt sich das Verfahren auf einzelne Kameras anwenden, sofern sie geeignet sind, Aufwirbelungen von den Rädern des eigenen Fahrzeugs oder anderer Fahrzeuge zu erfassen. Das Kamerasystem kann also aus einer einzelnen Kamera bestehen, sofern diese einen geeigneten Erfassungsbereich aufweist, in dem Störungen detektiert werden (falls diese auftreten) und in dem die Art der Reflexion bestimmt werden kann.
-
Dies gilt z.B. bevorzugt für eine (monokulare) Fahrzeugfrontkamera, die die vorausliegende Fahrbahn zumindest teilweise erfasst und eine Fahrbahnauflage dann erkennen kann, wenn ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug beim Überfahren der Fahrbahnauflage mit den Reifen diese z.B. in Form von Spritzwasser oder Schneewolken aufwirbelt.
-
Besonders bevorzugt erzeugt eine seitlich angeordnete Kamera, also z.B. eine auf ein Rad des eigenen Fahrzeugs, eine Fahrzeugseite des eigenen Fahrzeugs oder zumindest einen das Rad umgebenden Bereich gerichtete Kamera die Bilddaten. Mit anderen Worten befindet sich mindestens ein Rad oder das Radhaus, welches dieses eine Rad umgibt, oder eine Seite des Fahrzeugs im Sichtbereich (Englisch: field of view - FOV) der Seitenkamera. Dies gilt z.B. für eine erste Seitenkamera eines Rundumsichtkamerasystems (Surround View Systems) . Die auszuwertende Bildregion (Region of interest, ROI) betrifft vorzugsweise den Raum um das Vorderrad auf dieser Seite, wo der Effekt von auftretendem Spritzwasser oder aufgewirbeltem Schnee am größten ist. Alternativ bzw. zusätzlich kann als (zweite) ROI der Raum um das Hinterrad dienen.
Mit anderen Worten werden Bildstörungen in der wenigsten einen Region von besonderem Interesse (ROI) ermittelt, die dadurch hervorgerufen werden, dass das radnah beobachtete Fahrzeugrad die Fahrbahnauflage durch sein Überrollen aufwirbelt, was zu Störungen in der wenigstens einen Region von besonderem Interesse (ROI) führt.
-
Gemäß einer bevorzugten Weiterbildung erzeugt eine zweite seitlich angeordnete Kamera auf der gegenüberliegenden Fahrzeugseite in vergleichbarer Weise zweite Bilddaten. So können z.B. beide Vorderräder und/oder beide Hinterräder „überwacht“ werden.
-
In vorteilhafter Weise umfasst das Fahrzeugkamerasystem eine Heckkamera, die einen rückwärtigen Bereich des Fahrzeugs erfasst.
-
Vorzugsweise werden Bilddaten aus unterschiedlichen einzelnen Kameras eines Fahrzeugkamerasystems mit unterschiedlichen Blickrichtungen und/oder -winkeln bereitgestellt. Dadurch kann der Reflexionstyp der Fahrbahn robuster unterschieden werden. Auch die Störungsintensität kann robuster bestimmt werden.
-
Ein Rundumsichtkamerasystem mit mindestens oder genau vier weitwinklingen (bis zu 180° Bildwinkel) Kameras, die die Bereiche vorne, links, rechts und hinten bezüglich des Fahrzeugs und seiner Umgebung erfassen, würde vorteilhaft ideale Möglichkeiten zur robusten Detektion von Reflexionstyp und Störung bieten.
-
Bevorzugt werden Kamerabilder in multiple unterschiedliche Regionen von besonderem Interesse (ROIs) unterteilt, die je nach Inhalt gezielt unterschiedlich zur Bewertung von Reflexionstyp und Störung genutzt werden.
-
Vorzugsweise werden einzelne Kameras gezielt unterschiedlich zur Bewertung von Reflexionstyp und Störung genutzt. Beispielsweise kann eine Seitenkamera zur Bewertung der Störung im Bereich des Rads genutzt werden und eine Front- oder eine Heckkamera zur Bestimmung des Reflexionstyps.
-
Ein besonderer Vorteil einer bevorzugten Kombination verschiedener Kameras und Bildregionen liegt darin, dass in den verschiedenen Bildern und/oder Regionen ganz gezielt nach den Störungen durch die fahrzeugräderbedingten Verwirbelungen von Fahrbahnauflage gesucht werden kann.
Eine solche Kombination macht das Gesamtergebnis deutlich robuster und erhöht die Verfügbarkeit von Informationen.
-
Eine weitere vorteilhafte Ausprägung liegt darin, eine oder mehrere Frontkamera(s) mit den Kameras eines Surround View Systems zu kombinieren. Die Frontkamera biete für vorausliegende (entferntere) Umgebungsbereiche eine bessere Auflösung (und geringere Verzerrung) als eine vorwärtsgerichtete Satelittenkamera eines Rundumsichtkamerasystems.
-
Vorzugsweise können Fahrdynamik- und/oder andere Sensordaten und/oder Umfeldinformationen anderer nicht-kamerabasierter Umfeldsensoren eines Fahrzeugs und/oder Wetterinformationen als zusätzliche Entscheidungsgrundlage für die Bewertung bzw. Klassifikation des Fahrbahnzustands und der witterungsbedingten Umwelteinflüsse herangezogen werden.
-
Bevorzugt wird zur Unterscheidung der Fahrbahnzustände ein erstes maschinelles Lernverfahren anhand einer ersten Trainingsstichprobe trainiert. Das erste maschinelle Lernverfahren umfasst die Schritte:
- - Detektion und/oder Klassifikation des Reflexionstyps; und
- - Detektion und/oder Regression der Störungsintensität.
-
Gemäß einer bevorzugten Ausführungsform wird eine Abbildung von Reflexionstyp und Störungsintensität auf eine der Fahrbahnzustandsklassen mit Hilfe eines zweiten maschinellen Lernverfahrens anhand einer zweiten Trainingsstichprobe gelernt.
-
Bevorzugt werden Bildmerkmale aus der mindestens einen Region aus dem mindestens einen Kamerabild extrahiert werden, optional in eine Zwischenrepräsentation überführt, und mittels eines Regressors auf eine Störungsintensität oder mittels eines Klassifikators auf einen Reflexionstyp und/oder einen Fahrbahnzustand abgebildet.
-
Alternativ bevorzugt wird ein Neuronales Netz trainiert, welches anhand einer dritten Trainingsstichprobe eine Abbildung von einem oder mehreren Bildausschnitten aus einem oder mehreren Kamerabildern auf Fahrbahnzustände lernt. Dieses Ende-zu-Ende Klassifizieren kann insbesondere als Deep Learning Verfahren erfolgen, das Neuronale Netz kann ein Convolutional Neuronales Netz (CNN) sein.
-
Vorzugsweise werden Fahrdynamik- und/oder Sensordaten als zusätzliche Eingabe für ein maschinelles Lernverfahren bzw. Trainieren eines neuronalen Netzes verwendet.
-
Die Erfindung betrifft zudem ein Fahrzeugkamerasystem umfassend mindestens eine Kamera und eine Bilddatenauswertungseinheit. Die Kamera ist dazu konfiguriert (insbesondere angeordnet und wird angesteuert), mindestens einen Ausschnitt einer Umgebung außerhalb des Fahrzeugs abzubilden, wobei der Ausschnitt zumindest teilweise die Fahrbahn enthält, auf der das Fahrzeug fährt, und die Bilddaten der Bilddatenauswertungseinheit bereitzustellen. Die Bilddatenauswertungseinheit ist dazu konfiguriert, zwischen diffuser Reflexion und spiegelnder Reflexion der Fahrbahn zu unterscheiden durch Bewerten von Unterschieden der Erscheinungsbilder wenigstens eines Punktes der Fahrbahn in mindestens zwei Bildern des Kamerasystems, die aus unterschiedlichen Aufnahmeperspektiven aufgenommen wurden.
Die Bilddatenauswertungseinheit ist ferner dazu konfiguriert, zu ermitteln, ob in mindestens einem Bild des Kamerasystems Störungen vorliegen, die dadurch hervorgerufen worden sind, dass ein Rad eines Fahrzeugs eine Fahrbahnauflage beim Überrollen aufgewirbelt hat. Die Bilddatenauswertungseinheit ist ferner dazu konfiguriert, den Fahrbahnzustand unter Berücksichtigung der Ergebnisse aus Reflexionstyp und Störungsintensität in eine der folgenden fünf Fahrbahnzustandsklassen zu klassifizieren:
- a) Trockene Fahrbahn: Reflexionstyp diffus ohne Störung
- b) Normal nasse Fahrbahn: Reflexionstyp spiegelnd mit Störung
- c) Sehr nasse Fahrbahn mit Aquaplaningrisiko: Reflexionstyp spiegelnd mit viel Störung
- d) Schneefahrbahn: Reflexionstyp diffus mit Störung
- e) Eisfahrbahn (Glatteis): Reflexionstyp spiegelnd ohne Störung.
-
Insbesondere ist das Fahrzeugkamerasystem dazu eingerichtet, unter Verwendung von Algorithmen der digitalen Bildverarbeitung und des maschinellen Lernens, Fahrbahnzustände wie trocken, nass, schneebedeckt, vereist als auch Gefahrensituationen wie beispielsweise Aquaplaning robust zu detektieren und robust durch Kreuzvergleich von Reflexionstyp der Fahrbahn und Störungsintensität zu unterscheiden.
-
Die Bilddatenauswertungseinheit kann insbesondere einen Mikrocontroller oder -prozessor, einen Digital Signal Processor (DSP), einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen.
Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software implementiert sein.
-
Das Fahrzeugkamerasystem kann ferner eine Ausgabeeinheit zur Information des Fahrers oder zur Steuerung eines (teilweise oder vollständig) automatisiert fahrenden Fahrzeugs umfassen. Eine Recheneinheit zur Bewertung des Reibbeiwerts kann in das Fahrzeugkamerasystem bzw. in die Bilddatenauswertungseinheit integriert sein.
-
Ein weiterer Gegenstand der Erfindung betrifft ein Fahrzeug mit einem erfindungsgemäßen Fahrzeugkamerasystem. Das Fahrzeug umfasst bevorzugt Aktuatoren zum Eingriff in die Fahrdynamik des Fahrzeugs, die von dem Fahrzeugkamerasystem entsprechend dem ermittelten Fahrbahnzustand angesteuert werden.
-
Im Folgenden werden Ausführungsbeispiele und Fig. näher beschrieben. Dabei zeigen
- 1: unterschiedliche Erfassungsbereiche eines Fahrzeugkamerasystems mit mehreren einzelnen Kameras;
- 2: vier einzelne Bilder eines Rundumsichtkamerasystems mit vier Kameras mit Fischaugenoptiken
- 3: eine schematische Darstellung eines Fahrzeugreifens bei starker Nässe;
- 4: schematisch ein binarisiertes Kamerabild von einem Fahrzeugreifen beim Überfahren einer regennassen Fahrbahn;
- 5: drei Beispielbildausschnitte einer rechten Fahrzeugseitenkamera für jeweils eine Klasse einer Störungsintensität bei unterschiedlich nasser Fahrbahn;
- 6: eine schematische Darstellung einer Fahrzeugkameravorrichtung; und
- 7: ein schematisches Diagramm von Schritten eines Verfahrens zur Erkennung und Bewertung von Fahrbahnzuständen.
-
1 zeigt die Erfassungsbereiche (1a-1d, 2, 3) eines in bzw. an einem ersten Fahrzeug (E) angeordneten Kamerasystems. In Fahrtrichtung vor dem ersten Fahrzeug (E) befindet sich seitlich versetzt ein zweites Fahrzeug (F). Das Kamerasystem des ersten Fahrzeugs (E) umfasst drei unterschiedliche Kamerauntersysteme (1, 2 und 3) : ein Rundumsichtsystem (1) umfassend vier einzelne Kamerasensoren mit weitwinkligen Erfassungsbereichen (1a-1d), die zusammen eine 360°-Erfassung des Fahrzeugs ermöglichen, eine Frontkamera mit einem nach vorne gerichteten Erfassungsbereich (2) und eine Heckkamera mit einem nach hinten gerichteten Erfassungsbereich (3).
-
Mit Kamerasensoren, die einen in Fahrtrichtung nach vorne gerichteten Erfassungsbereich (1a, 2) aufweisen, können Störungen im Bild bzw. in einem Bildausschnitt detektiert werden, die auftreten bei Vorliegen einer Fahrbahnauflage beim Überfahren der Fahrbahn durch vorausfahrende Fahrzeugen (F) oder durch entgegenkommende Fahrzeuge (nicht dargestellt) ermittelt werden.
Die Bildverarbeitung zur Ermittlung einer Fahrbahnauflage kann sich vorteilhaft auf einen oder mehrere Bereiche des Kamerabilds beschränken, in dem sich eine Reifenkontaktzone der Fahrbahn befindet.
-
Mit Kamerasensoren, die einen zur Seite gerichteten Erfassungsbereich (1b, 1c) aufweisen, können Störungen im Bild durch eine Fahrbahnauflage beim Überfahren der Fahrbahn durch die Reifen des eigenen Fahrzeugs (E) ermittelt werden.
Der Vorteil hierbei ist, dass man nicht auf voraus- oder spurversetzt fahrende Fremdfahrzeuge (F) angewiesen ist, sondern anhand der Detektion und Ermittlung der durch das eigene Fahrzeug (E) hervorgerufenen Auswirkungen anhand einer seitlich ausgerichteten Sensorik unabhängig von anderen Fahrzeugen (F) eine aktuell relevante Fahrbahnauflage ermitteln kann. Da Fahrzeuge bereits heute zunehmend mit einer 360° Kamerasensorik ausgestattet werden, die einen Surround View erfasst, welcher dem Fahrer z.B. als „Top View“ in einer Vogelperspektive angezeigt werden kann, ist so die zuverlässige Ermittlung einer Fahrbahnauflage vorteilhaft gewährleitstbar.
-
2 zeigt beispielhaft vier einzelne Bilder eines Rundumsichtkamerasystems mit vier Kameras mit Fischaugenoptiken. Die Bilder oben (20a), links (20b), rechts (20c) und unten (20d) entsprechen den in 1 dargestellten Erfassungsbereichen vorne (1a), links (1b), rechts (1c) und hinten (1d) . Insbesondere in den Bildern der linken (20b) und rechten (20c) Seitenkamera sind die jeweiligen Vorder- und Hinterräder enthalten. Die entsprechenden Bildbereiche bzw. ROIs sollten ausgewählt und einer Klassifikation zugeführt werden, die eine Intensität von Bildstörungen in diesen Bereichen aufgrund von Fahrbahnauflagen ermittelt.
-
3 zeigt eine schematische Darstellung einer Situation mit Aquaplaning-Gefahr. Entscheidend ist der Kontakt zwischen einem Reifen 30 und einer Fahrbahn 35. Das auf der Fahrbahn 35 befindliche Wasser 37, also die Fahrbahnauflage, ist schraffiert dargestellt. Dabei kann die Kontaktfläche des Reifens 30 mit der Fahrbahn 35 in drei Bereiche 31-33 unterteilt werden. Bewegt sich das Fahrzeug und somit auch der Reifen 30 in die durch die Pfeilrichtung gekennzeichnete Fahrtrichtung, so bildet sich an dem Reifen zunächst eine Annäherungszone 31, in welcher sich etwa keilförmig Wasser zwischen dem Reifen 30 und der Fahrbahn 35 befindet. An diese Annäherungszone 31 schließt sich eine Übergangszone 32 an. Im Bereich der Kontaktzone 33, welche sich der Übergangszone 32 anschließt, steht der Reifen 30 in direktem Kontakt mit der Fahrbahn 35, wodurch eine entsprechende Haftwirkung erreicht werden kann. Mit zunehmendem Wasserstand und/oder zunehmender Fahrgeschwindigkeit verringert sich die Kontaktzone 33 und damit die Kontaktfläche zwischen Reifen 30 und Fahrbahn 35. Geht diese Ausdehnung der Kontaktzone 33 gegen Null, so steht die Gefahr von Aquaplanings unmittelbar bevor. Dieser Zustand wird daher als Mikroaquaplaning bezeichnet. Existiert keine Kontaktzone 33 mehr, das heißt es befindet sich zwischen dem Reifen 30 und der Fahrbahn 35 im gesamten Bereich Wasser, so tritt Aquaplaning auf, und ein Fahrzeug kann während dieses Zustandes nicht mehr kontrolliert gesteuert oder abgebremst werden.
-
In 4 ist eine schwarz-weiße (invertierte) Abbildung eines Kamerabilds von einem Fahrzeugreifen 30 beim Überfahren einer regennassen Fahrbahn dargestellt. Der Fahrzeugreifen 30 befindet sich auf einer Felge (weiß, kreisförmig) und das Fahrzeug bewegt sich nach links. Zu erkennen sind Wassertropfen und Wasserfäden 40 (weiße Punkte und Fäden), die beim Überfahren der mit Wasser bedeckten Fahrbahnoberfläche durch den Reifen verdrängt und beschleunigt werden. Beim Überfahren von nassen Straßen bildet sich nämlich Spritzwasser, ausgehend von den Fahrzeugreifen.
-
Durch die hohe Flächenpressung verdrängt der Reifen das auf der Fahrbahn stehende Wasser zu allen Seiten. Besonders ausgeprägt ist die Erscheinung bei LKW, deren Reifen entsprechend höhere Flächenpressung haben mehr Wasser als PKW verdrängen müssen. Das Spritzwasser befindet sich hauptsächlich in Fahrtrichtung gesehen hinter und seitlich neben dem Fahrzeugreifen. Dort kann es von einer Fahrzeugkamera detektiert werden und von einer Bildverarbeitung als Spritzwasser erkannt werden, woraus auf eine Regenwasserschicht als Fahrbahnauflage geschlossen werden kann.
Beim Vorliegen von Schneematsch auf der Fahrbahn entsteht in vergleichbarer Weise Spritzschneematsch, der als solcher detektiert und erkannt werden kann.
Je nach Fahrbahnauflage, z.B. bei feuchter statt nasser Fahrbahn, und der Struktur des Fahrbahnbelags tritt beim Überfahren kein Spritzwasser sondern nur Sprühnebel oder Gischt oder beides auf. Beim Überfahren von mit Neuschnee oder Pulverschnee bedeckten Straßen treten typische Schneeverwirbelungen auf, die sich an den Fahrzeugseiten und als Schneefahne am Fahrzeugheck ausbreiten. Jede aufgewirbelte Fahrbahnauflage sorgt somit für Störungen im einem radnahen Bildbereich und kann anhand der Intensität dieser Störungen identifiziert werden.
-
5 zeigt drei Beispielbildausschnitte einer (rechten) Fahrzeugseitenkamera bei unterschiedlich nasser Fahrbahn.
5a zeigt eine trockene Fahrbahn, bei der im an die Fahrzeugseite (unten) angrenzenden Bereich 51 die Fahrbahnoberfläche abgebildet und deren Struktur im Bild ungestört und somit erkennbar ist.
5b zeigt eine normal nasse Fahrbahn, bei der die Abbildung der Fahrbahnoberfläche durch einzelne erkennbare Spritzwassertropfen 52 gestört ist.
5c zeigt eine sehr nasse Fahrbahn (vgl. 3), bei der akute Aquaplaning-Gefahr vorliegt. Die Fahrbahnoberfläche ist hier kaum noch zu erkennen, da starke Spritzwassergischt 53 für gravierende Störungen in diesem Bildbereich sorgt.
-
6 zeigt eine schematische Darstellung einer Fahrzeugkameravorrichtung umfassend mindestens eine Kamera 10 und eine Bilddatenauswertungseinheit 60. Die Bilddatenauswertungseinheit 60 ermittelt den Reflexionstyp und die Störungsintensität und kann so den Fahrbahnzustand klassifizieren. Die Fahrbahnzustandsklasse kann an eine Fahrzeugaktuatorik 66, eine Fahrerwarneinrichtung oder eine Fahrerassistenzfunktionssteuereinheit ausgegeben werden.
-
7 zeigt ein schematisches Diagramm von Schritten eines Verfahrens zur Erkennung und Bewertung von Fahrbahnzuständen. In Schritt S12 werden Bilddaten durch ein Fahrzeugkamerasystem bereitgestellt. In Schritt S14 wird anhand der Bilddaten unterschieden, ob eine diffuse oder eine spiegelnde Reflexion durch die Fahrbahnoberfläche bzw. eine Fahrbahnauflage vorliegt. In Schritt S16 wird die Intensität von Störungen in einem Bildbereich ermittelt. In Schritt S18 wird anhand der Ergebnisse der Schritte S14 und S16 der Fahrbahnzustand klassifiziert. In einem optionalen Schritt S20 wird die Fahrbahnzustandsklasse ausgegeben.
-
Verfahren der Digitalen Bildverarbeitung und des maschinellen Lernen:
-
Eine vorteilhafte Ausführungsform verwendet Algorithmen der digitalen Bildverarbeitung und des maschinellen Lernens, mit dem Ziel Fahrbahnreflexionen in Verbindung mit potentiellen Aufwirbelungen von Fahrbahnauflage wie Wasser oder Schnee zur Erkennung von Fahrbahnzuständen wie trocken, nass, schneebedeckt, vereist als auch Gefahrensituationen wie beispielsweise Aquaplaning robust zu detektieren. Das Verfahren eignet sich in Auszügen sowohl für Mono-, Stereo- als auch Surround-View-Kameras und/oder deren Kombination.
-
Grundlage sind eine oder mehrere Regionen in einem oder mehreren Kamerabildern, welche statisch festgelegt oder automatisiert durch z.B. maschinelles Lernen bestimmt werden können. Hierbei ist wichtig, dass die Bildregionen Informationen zum Reflexionstyp als auch zum Vorhandensein oder Nichtvorhandensein von Aufwirbelungen der Fahrbahnauflage liefern. Oder, dass die Kombination aus mehreren Bildregionen und/oder mehreren Kameras mit mehreren Bildregionen die Informationen zum Refexionstyp als auch zum Vorhandensein oder Nichtvorhandensein von Aufwirbelungen, die zu Störungen in den Bildregionen führen, liefern.
-
Zur Detektion von Fahrbahnreflexionen wird eine oder mehrere Regionen in einem oder mehreren Kamerabildern verwendet, die die Fahrbahnoberfläche repräsentiert. Je nach Anforderung an Laufzeit und Genauigkeit kann dies ein segmentierter Ausschnitt sein oder in einer besonders vorteilhaften Ausführungsform ein Trapez, welches mit Hilfe einer geschätzten Homographie in eine rechtwinklige Draufsicht („Bird's-eye view“) transformiert wird. Wie in
WO 2016/177371 A1 vorgestellt, können nun verschiedene Fahrbahnreflexionstypen (diffuse und spiegelnde Reflexionen) z.B. aus dem zeitlichen Kontext bestimmt werden.
-
Zur Detektion von Aufwirbelungen der Fahrbahnauflage werden in einem oder mehreren Kamerabildern Regionen festgelegt, In einer besonders vorteilhaften Form sind dies die Bildausschnitte in einem SurroundView-Kamerasystem in der Nähe der Fahrzeugräder und/oder der Fahrzeugkarosserie aus seitlicher Sicht. Somit können auftretende Aufwirbelungen gezielt in einem eingeschränkten Bereich frei von Störeinflüssen aus dem Fahrzeugumfeld bestimmt werden. Eine weitere Möglichkeit bietet die Detektion von Fahrzeugrädern und/oder Radausschnitten in der Szene (eigenes und auch fremde Fahrzeuge) mittels maschinellen Lernens. Hierbei kann ein Detektor trainiert werden, welcher den gewünschten Bildausschnitt liefert.
-
Die Klassifikation in eine der gegebenen Fahrbahnzustandsklassen stellt einen zentralen Aspekt dar. Als Basis dienen die detektierten Bildausschnitte für potentiell auftretende Aufwirbelungen der Fahrbahnauflage und die Information über den aktuellen Reflexionstyp auf der Fahrbahn. Diese Daten werden nun einem maschinellen Lernsystem zugeführt, welches anhand einer Trainingsstichprobe eine Abbildung von Bildausschnitten, Reflexionstyp und Zusatzinformationen auf eine der definierten Fahrbahnzustände lernt. Es wird also ein Modell gebildet, welches zum einen strukturbasierte Merkmale zum Beschreiben von Aufwirbelungen der Fahrbahnauflage extrahiert/lernt und zum anderen eine geeignete Kombination aus diesen und dem Reflexionstyp und/oder Zusatzinformationen schätzt.
Tabelle 1: Klassifikation des Fahrbahnzustands durch Kreuzvergleich von Reflexionstyp und Störungsgrad
| Reflexion\Störung | Keine | Normale | Stark |
| Diffus | trocken | Schnee | - |
| Spiegelnd | Glatteis | Normal nass | Aquaplaninggefahr |
-
Darüberhinaus kann die Klassifikation durch Kontextwissen/Zusatzinformation gestützt werden. Besonders geeignet sind hierbei die Integration von Fahrdynamikdaten des Fahrzeugs sowie die Verwendung von verfügbaren Sensordaten (Temperatur, Luftfeuchtigkeit, Regensensor, Scheibenwischeraktivität etc).
-
Fisher-Vector-Encoding mit Front- und Surrondviewkamerasystem:
-
Die vorgeschlagene Methodik verlangt als Eingabe ein oder mehrere Kamerabilder, welche den für die Entscheidung wichtigen Bereich im Bild beinhaltet und zugleich unnötigen Hintergrund ausschließt. Dies ist wichtig, da durch Störungen von umgebender Infrastruktur und anderen Verkehrsteilnehmern das Verfahren beeinträchtigt werden kann.
Durch einen zu groß gewählten Bildausschnitt ist es sogar bei einer sehr kleinen Datenbasis möglich, dass die Entscheidung nicht anhand der gewünschten Aufwirbelungsstrukturen von Fahrbahnauflage getroffen wird, sondern basierend auf Hintergrunderscheinungen, welche zufällig in den individuellen Situationen auftreten.
Es werden nun aus den Eingabebildbereichen aller Trainingsbilder lokale Merkmale auf einem dichten Gitter extrahiert, welche Teile des Bildes durch ein Kantenhistogramm (u.a. HOG „Histogram of oriented gradients“, LBP „Local binary patterns“) beschreiben. Anschließend wird aus der gesamten Menge an Merkmalen ein Gauß'sches Mischverteilungsmodell geschätzt. Ein Einzelbild wird nun anhand von Statistiken höherer Ordnung aus dessen Merkmalsvektoren und dem Mischverteilungsmodell beschrieben, dem sogenannten Fisher-Vector-Encoding. Mit Hilfe der erhaltenen Bildrepräsentationen der gesamten Trainingsmenge wird abschließend ein linearer Klassifikator gelernt welcher zur Laufzeit probabilistische Klassenzugehörigkeiten für ein gegebenes Bilder liefert.
Eine besonders vorteilhafte Form ist die Verwendung von zwei Bildregionen aus der Frontkamera und die Verwendung von Bildausschnitten der Surroundviewkameras. Ein erster Bildbereich der Frontkamera dient dazu, auf der Fahrspur vorhandene Reflexionen zu typisieren. Ein weiterer größerer Bildausschnitt liefert darüber hinaus globalen Bildkontext zu Wetterbedingungen und als auch fahrbahnzustandsrelevante Effekte, welche durch Infrastruktur hervorgerufen werden (beispielsweise schneebedeckte Gehwege oder eben begrünter Randstreifen). Die Bildausschnitte der Surroundviewkamera liefern hingegen Informationen zu Aufwirbelungen der Fahrbahnauflage. Die Kombination dieser Bildausschnitte aus unterschiedlichen Kameras kann dann als Eingabe für das Fish-Vector-Encoding dienen.
-
Durch das Encoding können zum einen charakteristische Strukturen für das Aufwirbeln als auch das Verhältnis dieser zu Reflexionsinformationen und Zusatzinformationen abgebildet werden. Zusätzlich können auch strukturelle Merkmale vor und neben dem Fahrzeug erfasst werden, welche ebenfalls hilfreich bei der Unterscheidung der Fahrbahnzustände sein können (Fahrspuren bei schneebedeckter Fahrbahn).
-
Das Klassifikationsergebnis kann bei Bedarf durch eine Nachbearbeitung stabilisiert werden, indem die Schätzungen aus den Einzelbildern zeitlich geglättet werden. Alternativ kann auch ein Hysterese-Schwellwert-Verfahren unsichere Entscheidung filtern.
-
Deep Learning mit Front- und Surrondviewkamerasystem:
-
Klassisches maschinelles Lernen besteht, wie auch das Verfahren für die Fahrbahnzustandsschätzung mittels Fisher-Vector-Encoding (s.o.), aus mehreren Schritten, welche unabhängig voneinander ausgeführt werden. Als erstes werden Merkmale aus dem Bild extrahiert, welche entweder direkt genutzt oder in eine Zwischenrepräsentation überführt werden. Anschließend wird anhand der Merkmale oder der Zwischenrepräsentation ein Klassifikator gelernt, welcher eine Klassenentscheidung trifft.
-
Im Gegensatz dazu werden beim Deep Learning die Einzelschritte nicht explizit ausgeführt, sondern finden eher implizit mit wachsender Tiefe in einem neuronalen Netz statt. Dies wird als sogenanntes End-to-End-Learning bezeichnet, was eine gemeinsame Optimierung aller in einem System vorhandenen Parameter zur Folge hat. Dies bedeutet für die vorliegende Erfindung, dass Bildausschnitte oder ganze Bilder aus Front- und Surroundviewkameras als Eingabe für das neuronale Netz dienen. Zusätzlich können Reflexionstyp und Zusatzinformationen, wie Sensor- und Fahrdynamikdaten als Eingabe integriert werden. Anhand einer Trainingsstichprobe wird nun das Netz trainiert, ohne eine Merkmalsextraktion oder Zwischenrepräsentation explizit zu modellieren. Es wird lediglich eine Abbildung von Eingabedaten auf den dazugehörigen Fahrbahnzustand gelernt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2014/127777 A2 [0008]
- WO 2016/177371 A1 [0010, 0050]
- WO 2015/070861 A1 [0011]