DE102005035812A1 - Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe - Google Patents

Abstract

Kamera zur Erkennung von Verschmutzungen auf einer Schutzscheibe. Die Kamera ist auf eine Szene hinter der Schutzscheibe fokussiert und kann zur Verschmutzungserkennung und für weitere Anwendungen, z. B. zur Fahrspurerkennung und/oder Objekterkennung, genutzt werden. Zur Verschmutzungserkennung werden lediglich nacheinander aufgenommene Bilder ausgewertet, künstliche Referenzbilder oder Referenzobjekte werden nicht benötigt. Voraussetzung für eine erfolgreiche Messung ist, dass die Relativgeschwindigkeit v¶rel¶ von Kamera und zumindest einem aufgenommenen Objekt in der Umgebung ungleich Null ist und seine Trajektorie in der Abbildung prädiziert wird. Durch einen Vergleich der entsprechenden Bildausschnitte wird eine mögliche Verschmutzung auf Teilbereichen der Schutzscheibe erkannt.

Description

• Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung von Verschmutzungen auf einer Schutzscheibe. Anwendung findet diese Erfindung z. B. in Kraftfahrzeugen. Kamerasensoren werden hier in vermehrtem Umfang zur Umgebungserfassung, insbesondere zur Fahrspurerkennung und/oder Objekterkennung, mit Blick in Fahrrichtung oder in den Rückfahrtbereich eingesetzt. Die Kamerasensoren sind in der Regel im Inneren des Fahrzeugs hinter einer Windschutzscheibe angebracht. Eine fehlerfreie Funktion des Sensors ist nur gewährleistet, wenn die Sicht nicht durch Fremdobjekte auf der Scheibe verdeckt ist.
• Es sind zahlreiche Methoden zur Verschmutzungsmessung von Scheiben z.B. in Kraftfahrzeugen bekannt. In DE 10230200 wird ein Detektor zur Erkennung von Objekten auf einer Oberfläche eines transparenten Elements beschrieben. Dabei ist der Detektor zumindest annähernd auf die Oberfläche fokussiert und es wird zur Verschmutzungserkennung die Kontrastverteilung der aufgenommenen Bilder ausgewertet. Ein weiteres Verfahren zur Erkennung von auf einer Windschutzscheibe befindlichen Objekten wird in DE 19749331 dargestellt. Dazu wird ein Sensorarray auf die Außenseite der Windschutzscheibe fokussiert. Eine Analyse der Ortsfrequenzen im aufgenommenen Bild gibt Aufschluss über eine Verschmutzung der Windschutzscheibe. Beide Anordnungen können aufgrund der Fokussierung der Kamera auf die Oberfläche nicht für andere kamerabasierte Anwendungen, z.B. die Umgebungserfassung genutzt werden. In DE 19700665 wird ein kamerabasierter Sensor beschrieben, der Fremdmaterialen auf einer transparenten Scheibe detektiert. Dazu wird das Bild eines festinstallierten lichtemittierenden Referenzobjekts durch die Scheibe aufgenommen und mit einem Referenzbild verglichen. Nachteilig an dieser Anordnung ist, dass ein Referenzobjekt zur Verschmutzungsmessung benötigt wird.
• Die Aufgabe der Erfindung liegt darin, die Verschmutzung einer Schutzscheibe im Sichtfeld einer Kamera, die auch für andere Anwendungen insbesondere für die Umgebungserfassung genutzt wird, kostengünstig zu erkennen.
• Diese Aufgabe wird gemäß einem Verfahren nach Patentanspruch 1 gelöst. Die abhängigen Patentansprüche zeigen vorteilhafte Ausführungsformen und Weiterentwicklungen der Erfindung auf.
• Erfindungsgemäß wird die Aufgabe durch einen passiven kamerabasierten Ansatz gelöst. Hierfür ist eine Kamera vorgesehen, die auf eine Umgebung hinter einer transparenten Scheibe fokussiert ist. Vorteilhaft an dieser Anordnung ist, dass die Kamera zur Verschmutzungserkennung und zur Umgebungserfassung und genutzt werden kann. In einem vorgegebenen Takt werden Bilder aus der Kamera ausgelesen, z.B. 25 frames/s. Die aufgenommen Bilder werden hinsichtlich Verschmutzungen auf der Schutzscheibe ausgewertet. Es werden also keine weiteren künstlichen Referenzbilder oder Referenzobjekte benötigt, so dass hier für den Anwender keine weiteren Kosten und/oder Justageaufwand entsteht. Eine Verschmutzung ist nur dann nach dem vorgestellten Verfahren erkennbar, wenn die Relativgeschwindigkeit v_rel von Kamera und zumindest einem aufgenommenen Objekt in der Umgebung ungleich Null sein. Dies wird bei einer Anwendung z.B. im Kraftfahrzeug durch Eigengeschwindigkeit des Fahrzeugs v_Fahrzeug > 0m/s gewährleistet. Damit ist die Relativgeschwindigkeit zu statischen Objekten in der Fahrzeugumgebung v_rel > 0m/s. Objekte mit v_rel > 0m/s verändern ihre Position zur Kamera kontinuierlich und damit auch ihre Position im Bild. Der berechnete Verlauf dieser Bewegung im Bild wird im Folgenden als Trajektorie bezeichnet. Dasselbe Objekt wird also zeitlich versetzt in verschiedenen Bildausschnitten abgebildet. Wird nun ein Bildausschnitt durch eine Verschmutzung ganz oder teilweise verdeckt, so wird das Objekt verändert oder gar nicht abgebildet. Durch einen Vergleich von Bildausschnitten wird eine mögliche Verschmutzung auf Teilbereichen der Schutzscheibe erkannt. Um die zum Vergleich geeigneten Bildausschnitte auszuwählen, wird die Trajektorie von zumindest einem Objekt mit v_rel > 0 prädiziert.
• In einer vorteilhaften Ausgestaltung der Erfindung werden entlang der vorhergesagten Trajektorie von Objekten Messfenster gesetzt, sodass dasselbe Objekt bei einer geeigneten Auslesefrequenz und/oder einer geeigneten Anzahl der Mittlungen einer Messung nacheinander in den verschiedenen Messfenstern abgebildet wird. Das gleiche gilt für mehrere gleichartige Objekte, insbesondere Fahrbahnmarkierungen, entlang einer prädizierten Trajektorie. Auch sie sind bei geeigneten Auslesefrequenz und/oder einer geeigneten Anzahl der Mittlungen einer Messung in den Messfenstern entlang ihrer Trajektorie sichtbar. Ist der Abbildungsbereich eines Messfensters von einer Verschmutzung überdeckt, wird das Objekt verändert oder gar nicht in diesem Messfenster aufgenommen. Aus dem Vergleich der Objektabbildungen in korrespondierenden Messfenstern werden Verschmutzungen in Teilbereichen der Schutzscheibe erkannt. Als korrespondierende Messfenster werden hier Messfenster entlang einer prädizierten Trajektorie bezeichnet, in denen eine Objektabbildung laut Vorhersage erwartet wird.
• In einer vorteilhaften Ausgestaltung der Erfindung wird in einem Messfenster der Kontrast ausgewertet und/oder der Mittelwert der Helligkeit wird ermittelt. Der Mittelwert ist für eine Verschmutzungs-Erkennung nicht immer ausreichend. Schatten z.B. von Fahrzeugen, Bäumen, Gebäuden etc. können zu einer lokalen Änderung der Helligkeit der führen. Werden jedoch der Mittelwert und die Standardabweichung der Helligkeit betrachtet ist eine Aussage möglich, da ein Schatten vor der Kamera eine lokale Änderung des Mittelwertes hervorrufen, jedoch nicht zu einer größeren Änderung der Standardabweichung innerhalb des Messfensters führt. Die Grauwertdifferenzen können zusätzlich zu den anderen Werten oder ausschließlich ausgewertet werden. Überschreitet die Differenz der ermittelten Werte in korrespondierenden Messfenstern einen Schwellwert, wird eine Verschmutzung erkannt.
• Bei einer geradlinigen Eigenbewegung der Kamera verlaufen die Trajektorien von statischen Objekten im Abbildungsbereich der Kamera entlang von Geraden, die radial vom Fluchtpunkt des Bildes ausgehen. In einer bevorzugten Ausführungsform werden entlang der genannten Geraden Messfenster gesetzt. Bei einer nichtgeradlinigen Eigenbewegung der Kamera oder einer zu erwartenden ungradlinigen Bewegung wird in einer vorteilhaften Ausgestaltung der Erfindung die Trajektorie von Objekten ausgehend von Umgebungsmerkmalen und/oder der momentanen Kamerabewegung und/oder der Einbaulage der Kamera berechnet. Z.B. bei einer Nutzung der Kamera zur Verschmutzungsmessung in einem Kraftfahrzeug, kann eine Objekttrajektorie, insbesondere die eines statischen Objekts, aus den geschätzten Fahrspurparametern wie Krümmung und Offset, der Einbaulage der Kamera, ihre Höhe, Nick-, Gier- und Rollwinkel, sowie den intrinsischen Kameraparametern, der Brennweite, Hauptpunkt, etc. berechnet werden. Stehen keine Fahrspurparameter zur Verfügung, da das System aufgrund einer Verschmutzung oder fehlender Straßenmarkierungen nicht in der Lage ist eine Fahrspur zu schätzen, lässt sich die Krümmung anhand des Lenkwinkels ermitteln. Die Messfenster werden entlang der prädizierten Trajektorie angeordnet.
• Eine vorteilhafte Ausgestaltung der Erfindung ist ein Kraftfahrzeug mit einer Kamera zur Umgebungsbeobachtung, z.B. für Fahrspurerkennung und/oder Objekterkennung, mit Blick in Fahrrichtung oder in den Rückfahrtbereich, und zur Verschmutzungsmessung einzusetzen.
• Weitere Vorteile und Besonderheiten der Erfindung werden anhand eines Ausführungsbeispiels und zwei Abbildungen beispielhaft näher erläutert.
• Es zeigen:
• 1: Bestimmung der Spalte c eines in einer Zeile y platzierten Messfensters mit seitlichem Versatz x.
• 2: Bestimmung des Abstands eines Punktes d zur Kamera.
• Das Ausführungsbeispiel beschreibt ein Kraftfahrzeug mit einer Kamera zur Erkennung von Verschmutzungen auf einer Schutzscheibe. Die Kamera ist auf die Umgebung vor dem Fahrzeug und nicht auf die Schutzscheibe fokussiert und wird zur Umgebungserfassung genutzt. Das Fahrzeug bewegt sich im zeitlichen Mittel auf einer Geraden. Statische Objekte in der Umgebung bewegen sich somit im Abbildungsbereich der Kamera auf Geraden, die radial vom Fluchtpunkt des Bildes ausgehen. Dies gilt natürlich auch für den Mittelstreifen und die Seitenbegrenzungen einer Straße, den Verlauf der Fahrbahn und entgegenkommende Fahrzeuge. Werden Messfenster entlang der radial verlaufenden Geraden positioniert, ist unter idealen Bedingungen, d.h. keine Dämpfung oder Verschmutzung, in den korrespondierenden Messfenstern, z.B. im Abbildungsbereich des Mittelstreifens oder der Fahrbahn, mit identischen Kontrasten, Mittelwerten, Standardabweichungen und Grauwertdifferenzen zu rechnen. Befinden sich Störungen (Verschmutzungen) im Nahbereich der Kamera können diese anhand lokaler Diskontinuitäten erkannt werden. Im einfachsten Fall kann eine Störung anhand der Differenzen zwischen den entlang der Radialen gemittelten Messwerten und den in den Messfenstern zeitlich gemittelten Messwerten erkannt werden. Überschreit die Differenz eine Schwelle kann davon ausgegangen werden, dass das zugehörige Messfenster von einer Verschmutzung verdeckt ist. Die Stärke der Diskontinuität ist von den Fahrbahntexturen, dem Grad der Verschmutzung, der Beleuchtung, sowie der Größe der Messfenster abhängig.
• Es können aber auch nichtstatische Objekte mit einer Relativgeschwindigkeit ungleich Null z.B. entgegenkommende Fahrzeuge zur Verschmutzungsmessung herangezogen werden. Auch diese Objekte bewegen sich im Abbildungsbereich der Kamera auf Radialen, die vom Fluchtpunkt des Bildes ausgehen. Die Messfenster werden entlang der Radialen gesetzt, so dass das Objekt innerhalb einer Zeitspanne Δt bei einer geeigneten Auslesefrequenz und/oder einer geeigneten zeitlichen Mittlung der Messwerte in allen Messfenstern entlang der vorgegebenen Radialen abgebildet wird. Auch hier wird ausgehend von Diskontinuitäten eine Verschmutzung erkannt werden.
• Die Kamera kann auch, wie bereits oben dargestellt, zur Umgebungserfassung genutzt werden. Ist das Fahrzeug mit einem Umgebungserfassungsystem ausgestattet, kann der Verlauf der Fahrspur und der zugehörigen Markierungen vorausberechnet werden. Die Messfenster werden entlang der Spur gesetzt. Dafür wird zunächst das Kamerabild Kamerabild in NxM Bereiche unterteilt. Für jede vorausberechnete Objekttrajektorie werden die am nächsten liegenden Bereiche ermittelt und als Messfenster gesetzt. Wird in einem prädizierten Messfenster keine Markierung gefunden, wird ein Zähler r(n, m) inkrementiert. Wird im prädizierten Messfenster eine Markierung gefunden wird der Zähler r(n, m) zurückgesetzt. Überschreitet nun ein Zähler r(n, m) eine feste oder eine geschwindigkeitsabhängige Schwelle wird der Bereich (n, m) als verschmutzt klassifiziert.
• Zur Bestimmung von Größe und Position der Messfenster im Bild lässt sich die Fahrbahn in Bereiche äquidistanter Breite unterteilen. Größe und Position der Messfenster im Bild ergeben sich aus dem Abbildungsmodell der Kamera. In 1 ist der einfachste Fall einer nach unten gerichteten Kamera dargestellt. Die Spalte c eines in einer Zeile y platzierten Messfensters mit seitlichem Versatz x berechnet sich zu

  
• Hierbei ist d der Abstand eines Punktes von der Kamera, c die Bildspalte des Punktes, η die Pixelgröße und f die Kamerabrennweite. 2 stellt die Abstandsbestimmung eines Punktes d zur Kamera dar. Der Abstand wird aus h der Kameraeinbauhöhe, α dem Kameranickwinkel, y der Bildzeile des Punktes, η der Pixelgröße und f die Kamerabrennweite zu

  

Claims (6)

1. Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe, wobei eine Kamera, insbesondere geeignet zur Umgebungserfassung im Kraftfahrzeug, auf eine Szene hinter der Schutzscheibe fokussiert und ist, dadurch gekennzeichnet, dass • die Relativgeschwindigkeit v_rel von Kamera und zumindest einem aufgenommenen Objekt in der Umgebung ungleich Null ist, • die Trajektorie eines Objekts mit v_rel ungleich Null prädiziert wird und • die Übereinstimmung des in unterschiedlichen Bildbereichen aufgenommenen Objekts und/oder mehrerer gleichartiger Objekte analysiert und daraus eine Aussage über eine Verschmutzung der Scheibe abgeleitet wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass • Messfenster entlang der prädizierten Trajektorie gesetzt werden, • dasselbe Objekt in zeitlich versetzt aufgenommenen Bildern in mehr als einem Messfenstern erfasst wird und/oder • mehrere gleichartige Objekte, insbesondere Fahrbahnmarkierungen, entlang einer prädizierten Trajektorie in mehr als einem Messfenster erfasst werden.
3. Verfahren nach einem der vorherigen Ansprüche dadurch gekennzeichnet, dass in einem Messfenster • der Kontrast und/oder • die Bildhelligkeit und ggf. deren Standardabweichung und/oder • Grauwertdifferenzen ermittelt werden, wobei eine Verschmutzung erkannt wird, wenn die Differenz der Werte in korrespondierenden Messfenstern größer als ein vorgegebener Schwellwert ist.
4. Verfahren nach Anspruch 2 oder 3 dadurch gekennzeichnet, dass bei einer geradlinigen Eigenbewegung der Kamera, insbesondere bei einer Anwendung im Kraftfahrzeug bei einer geradlinigen Bewegung des Fahrzeugs, die Messfenster entlang von Geraden gesetzt sind, wobei die Geraden radial vom Fluchtpunkt des Kamerabildes ausgehen.
5. Verfahren nach einem der Ansprüche 1–3, dadurch gekennzeichnet, dass die Trajektorien von Objekten, insbesondere von statischen Objekten, ausgehend von a) Umgebungsmerkmalen und/oder b) der momentanen Kamerabewegung und/oder c) Einbaulage der Kamera vorhergesagt wird und Messfenster entlang mindestens einer Trajektorie angeordnet werden.
6. Kraftfahrzeug mit Kamera, wobei Bilddaten hinsichtlich Verschmutzungen auf der Windschutzscheibe mit einem Verfahren nach einem der Ansprüche 1–5 ausgewertet werden.