-
Die
Erfindung betrifft ein Verfahren zur Überwachung einer
Stereokameraanordnung, wobei mittels zwei Kameras als Bilddaten
Bildpunkte erfasst werden, welche mittels einer Verarbeitungseinheit stereoskopisch
zu miteinander korrespondierenden Bildpunkten eines Bildpaares verarbeitet
werden, wobei bei der Erfassung und/oder der Verarbeitung miteinander
korrespondierender Bildpunkte auftretende Fehler ermittelt werden.
-
Aus
der
DE 103 02 671
A1 sind ein Verfahren und eine Vorrichtung zur Einstellung
wenigstens eines Parameters eines Bildsensors einer Stereokamera
in einem Kraftfahrzeug bekannt. Die Stereokamera besteht aus zwei
Bildsensoren, die im Wesentlichen dieselbe Szene aufnehmen. Beim
Auftreten eines Fehlers bei einem der Bildsensoren wird wenigstens
ein Parameter dieses Bildsensors in Abhängigkeit wenigstens
eines Messwerts des fehlerfreien Bildsensors des Bildsensorsystems
eingestellt. In einem Ausführungsbeispiel ist der Parameter
wenigstens ein Belichtungsparameter des Bildsensors. Im Fehlerfall
eines Bildsensors der Stereokamera wird der wenigstens eine Belichtungsparameter
in Abhängigkeit wenigstens eines Messwerts des zweiten Bildsensors
eingestellt, wobei der Messwert ein Maß für die
Belichtung wenigstens eines Teils des Bilds des zweiten Bildsensors
ist.
-
Weiterhin
offenbart die
DE 101
49 115 A1 eine Objekterfassungsvorrichtung für
Fahrer-Assistenzsysteme in Kraftfahrzeugen mit mindestens zwei Sensorsystemen,
die Daten über den Ort und/oder Bewegungszustand von Objekten
in der Umgebung des Fahrzeugs messen und deren Detektionsbereiche
einander überlappen. Die Objekterfassungsvorrichtung umfasst
eine Fehlererkennungseinrichtung, die die von den Sensorsystemen
gemessenen Daten auf ihre Widerspruchsfreiheit prüft und
bei Erkennung eines Widerspruchs ein Fehlersignal ausgibt.
-
Der
Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem
Stand der Technik verbessertes Verfahren zur Überwachung
einer Stereokameraanordnung anzugeben. Der Erfindung liegt weiterhin
die Aufgabe zugrunde, eine Verwendung eines Verfahrens zur Überwachung
einer Stereokameraanordnung anzugeben.
-
Hinsichtlich
des Verfahrens wird die Aufgabe erfindungsgemäß durch
die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch
die im Anspruch 6 angegebenen Merkmale gelöst.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem Verfahren zur Überwachung einer Stereokameraanordnung
werden mittels zwei Kameras als Bilddaten Bildpunkte erfasst, welche
mittels einer Verarbeitungseinheit stereoskopisch zu miteinander
korrespondierenden Bildpunkten eines Bildpaares verarbeitet werden,
wobei bei der Erfassung und/oder der Verarbeitung miteinander korrespondierender
Bildpunkte auftretende Fehler ermittelt werden.
-
Erfindungsgemäß wird
in einer Plausibilitätsüberprüfung eine
reale Bewegung der Stereokameraanordnung mit einer aus den Bilddaten
anhand von Disparitätswerten und/oder optischen Flussdaten
ermittelten Bewegung verglichen, wobei Abweichungen zwischen der
realen Bewegung und der ermittelten Bewegung erfasst und überwacht
werden.
-
Die
Stereokamera ist dabei insbesondere Bestandteil eines Fahrzeugs.
Bei einer Abweichung zwischen der realen Bewegung, welche insbesondere
aus fahrzeugspezifischen Messwerten, wie der Fahrzeuggeschwindigkeit,
einer Gierrate, einem Gierwinkel und/oder Beschleunigungswerten
ermittelt wird und der aus den Bilddaten ermittelten Bewegung kann
in vorteilhafter Weise auf einen Fehler der Stereokameraanordnung
geschlossen werden. Als weiterer besonderer Vorteil ist es mit dem
erfindungsgemäßen Verfahren möglich,
neben Fehlern wie einem Ausfall einer oder beider Kameras, einer
Beeinträchtigung eines Bildsignals der Kameras durch teilweise
oder vollständige Verdeckung auch Synchronisationsfehler,
bei welchen einzelne Bilder der Kameras ”einfrieren” oder
bei welchen eine asynchrone Erfassung der Kameras vorliegt, in besonders
einfacher Art und Weise zu erfassen. Dabei ist es weiterhin vorteilhaft,
dass keine zusätzlichen Testeinheiten und/oder Testmuster
zur Ermittlung der Fehler erforderlich sind.
-
Ausführungsbeispiele
der Erfindung werden im Folgenden anhand einer Zeichnung näher
erläutert.
-
Dabei
zeigt:
-
1 schematisch
einen Verfahrensablauf zur Überwachung einer Stereokameraanordnung.
-
Die
einzige 1 zeigt einen möglichen
Verfahrensablauf zur Überwachung einer Stereokameraanordnung 1.
Die Stereokameraanordnung 1 ist dabei beispielsweise in
einem nicht näher dargestellten Fahrzeug angeordnet. Weiterhin
ist auch eine Verwendung der Stereokameraanordnung 1 und
des Verfahrens zur Überwachung der Stereokameraanordnung 1 in
anderen denkbaren mobilen und immobilen Anwendungen möglich.
Die Stereokameraanordnung 1 und das Verfahren zu dessen
Steuerung eignen sich dabei insbesondere zu einer Steuerung eines
Roboters, beispielsweise bei der Herstellung eines Fahrzeugs.
-
Die
Stereokameraanordnung 1 umfasst zwei, insbesondere horizontal
nebeneinander angeordnete Kameras 1.1, 1.2 zur
Erfassung von Bilddaten, d. h. von Bildern B1, B2 einer Umgebung
des Fahrzeugs. Die Bilder B1, B2 werden anschließend einer
Verarbeitungseinheit 1.3 zur stereoskopischen Bildverarbeitung
zugeführt.
-
Bei
dieser stereoskopischen Bildverarbeitung werden Korrespondenzen
von Bildpunkten BP1, BP2 (auch Pixel genannt) in den stereoskopisch
aufgenommenen Bildern B1, B2 bestimmt. Hierbei werden die Bilder
B1, B2 in einem Stereoalgorithmus derart verarbeitet, dass Koordinaten
eines Bildpunkts BP1 des einen Bilds B1 mit Koordinaten eines als
potentiell korrespondierend betrachteten Bildpunkts BP2 des anderen
Bilds B2 verglichen werden. Aus einem Abstand der Bildpunkte BP1
und BP2 zueinander, der so genannten Disparität, und einem
bekannten Abstand der horizontal nebeneinander angeordneten Kameras 1.1, 1.2,
der so genannten Basisbreite, wird der Abstand eines Objekts, welches
die Bildpunkte BP1 und BP2 aufweist, zu den Kameras 1.1, 1.2 bestimmt.
Nach diesem Algorithmus werden Disparitäten für
alle Bildpunkte BP1, BP2 der Bilder B1, B2 erzeugt und ein Disparitätsbild
D oder eine Disparitätskarte erzeugt, welche eine dreidimensionale
Repräsentation des Objekts in seinem Kontext darstellen.
Auf diese Weise wird die Entfernung und räumliche Lage
des Objekts im Verhältnis zu den Kameras 1.1, 1.2 ermittelt.
-
Die
Ermittlung des Disparitätsbilds D erfolgt beispielsweise
anhand eines so genannten, aus ”H. Hirschmüller:
Accurate and Efficient Stereo Processing by Semi-Global Matching
and Mutual Information; 2005 IEEE Computer Society Conference an Computer
Vision and Pattern Recognition (CVPR'05) – Volume 2, pp.
807–814” bekannten Semi-Global-Matching-Algorithmus,
wobei die Bilder B1, B2 abgetastet und Kosten entsprechend der Ähnlichkeit der
Bildpunkte BP1, BP2 horizontal, vertikal und diagonal akkumuliert
werden. Die Kostenberechnung basiert dabei auf einer Berechnung
der Transinformation, auf die einzelnen Bildpunkte BP1, BP2 der Bilder
B1, B2 bezogen.
-
Zusätzlich
werden vorzugsweise Sprünge in Disparitäten benachbarter
Bildpunkte BP1, BP2, wie sie beispielsweise an Grauwertkanten auftreten,
je nach ihrer Größe mit einem kleinen Strafterm
P1 oder einem großen Strafterm P2 belegt. Diese so genannte
Glattheitsbeschränkung, auch als smoothness constraint
bekannt, wird wiederum beispielsweise durch den aus ”H.
Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer
Society Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814” bekannten Semi-Global-Matching-Algorithmus
realisiert.
-
Aus
dem Disparitätsbild D sind weiterhin auch in einfacher
Weise Fehler der Stereokameraanordnung 1, wie ein Ausfall
einer oder beider Kameras 1.1, 1.2, eine Beeinträchtigung
der Bildsignale der Kameras 1.1, 1.2 durch teilweise
oder vollständige Verdeckung, z. B. hervorgerufen durch
Verschmutzung, Witterungseinflüsse oder einen Scheibenwischer,
detektierbar. Im Fehlerfall nimmt eine Qualität der dreidimensionalen
Repräsentation der Umgebung des Fahrzeugs insbesondere
in einem Nahbereich stark ab.
-
Um
jedoch auch Synchronisationsfehler, bei welchen einzelne Bilder
B1, B2 der Kameras 1.1, 1.2 ”einfrieren” oder
bei welchen eine asynchrone Erfassung der Kameras 1.1, 1.2 vorliegt,
Hardwarefehler, Kalibrierfehler und Störungen eines optischen
Kanals einschließlich Verschmutzungen und Niederschlägen,
wie Regen oder Schneefall, zu erfassen, werden zwei zeitlich aufeinander
folgende Bildpaare mittels der Verarbeitungseinheit 1.3 analysiert.
Bei den Bildpaaren muss es sich dabei nicht um unmittelbar nacheinander
aufgenommene Bildpaare handeln.
-
Während
dieser Analyse der Bildpaare mittels der Verarbeitungseinheit 1.3 wird
eine Bewegung der erfassten Bildpunkte BP1, BP2 zwischen einem ersten
Zeitpunkt und einem zweiten Zeitpunkt ermittelt. Diese Bewegung
wird vorzugsweise durch Berechnung von Flussdaten, d. h. eines so
genannten SceneFlows, welcher eine Abstandsänderung der Bildpunkte
BP1, BP2 zu den Kameras 1.1, 1.2 darstellt, ermittelt.
Die Berechnung des SceneFlows wird insbesondere anhand des aus ”A.
Wedel et al.: Efficient Dense Scene Flow from Sparse or Dense Stereo
Data; 10th European Conference an Computer Vision; Marseille” bekannten
Verfahrens ausgeführt.
-
Dabei
wird zu jedem Bildpunkt BP1, BP2 durch Berechnung des SceneFlows
die Abstandsänderung zu den Kameras 1.1, 1.2 ermittelt.
So ist es beispielsweise im fehlerfreien Fall so, dass die Mehrzahl
der Bildpunkte BP1, BP2 statisch ist, während sich nur
wenige Bildpunkte BP1, BP2 bewegen. Dabei wird eine Eigenbewegung
des Fahrzeugs bei der Auswertung kompensiert, wobei die Eigenbewegung insbesondere
aus den Bilddaten der Kameras 1.1, 1.2 geschätzt
wird.
-
In
einem Fehlerfall, in welchem beispielsweise aufgrund eines Synchronisationsfehlers
das Bild B1 der Kamera 1.1 ”eingefroren” ist,
d. h. dass ein zeitlich später erfasstes einem zeitlich
zuvor erfassten Bild gleicht, wird bei der Berechnung des SceneFlows
eine große Abstandsänderung eines großen Teils
der Bildpunkte BP1, BP2 erfasst, wobei die Abstandsänderung
insbesondere mit einer hohen Änderungsgeschwindigkeit erfolgt.
Dies deutet auf einen Sensorfehler hin, da ein derartiger Geschwindigkeitssprung
zwischen den beiden Auswerteschritten, d. h. zwischen den Bildern
B1, B2 den beiden nacheinander erfassten Bildpaaren, praktisch unmöglich
ist. Zur Analyse und Auswertung der SceneFlow Resultate und daraus
folgend zur sicheren Detektion des Fehlers eignet sich beispielsweise
die so genannte Medianauswertung der Geschwindigkeit der Weltpunkte
in Fahrrichtung des Fahrzeugs, d. h. die Medianauswertung der Änderungsgeschwindigkeit
der Bildpunkte BP1, BP2 in Fahrtrichtung des Fahrzeugs.
-
Zur
Ermittlung des Fehlers anhand der Berechnung des SceneFlows sind
deshalb ein Abstandsänderungsgrenzwert A und ein Geschwindigkeitsgrenzwert
G für die Abstandsänderung vorgegeben, wobei der
Fehler insbesondere bei einer Überschreitung des Abstandsänderungsgrenzwerts
A und eines Geschwindigkeitsgrenzwerts G detektiert wird. Mit anderen
Worten, wenn sich ein Bildpunkt BP1, BP2 zwischen dem ersten Zeitpunkt
und dem zweiten Zeitpunkt derart bewegt, dass der Abstandsänderungsgrenzwert
A und der Geschwindigkeitsgrenzwert G bei der Bewegung überschritten
werden, liegt ein Fehler vor und wird detektiert.
-
Wie
bereits erläutert, ist die Eigenbewegung des Fahrzeugs
anhand einer Vielzahl von bekannten Verfahren aus den Stereosequenzen
ermittelbar. Besonders bevorzugt wird zur Ermittlung der Eigenbewegung
des Fahrzeugs ein aus ”H. Badino: A Robust Approach
for Ego-Motion Estimation Using a Mobile Stereo Platform; International
Workshop an Complex Motion; Günzburg 2004, Germany” bekanntes
Verfahren verwendet.
-
Bei
dem dargestellten Fehler, bei welchem die Mehrzahl der Bildpunkte
BP1, BP2 bewegt erscheint, ist jedoch eine fehlerfreie Schätzung
der Eigenbewegung nicht möglich. Aus diesem Grund wird die
aus den Bilddaten, d. h. aus den Disparitäten und/oder
dem SceneFlow ermittelte Eigenbewegung zusätzlich mit einer
sensorisch ermittelten Eigenbewegung der Sensoranordnung 1,
d. h. des Fahrzeugs verglichen und gegebenenfalls berichtigt, wobei
die sensorisch ermittelte Eigenbewegung aus mittels einer Inertialsensorik
erfassten Kenngrößen ermittelt wird.
-
Bei
der Inertialsensorik handelt es sich insbesondere um Bewegungssensoren,
beispielsweise um einen Geschwindigkeitssensor, einen Gierratensensor,
einen Lenkwinkelsensor, einen Quer- und/oder Längsbeschleunigungssensor.
Aus diesem Vergleich resultiert ein sehr einfacher Test der gesamten
Stereokameraanordnung 1. Ist die bildbasierte Eigenbewegungsschätzung
Bestandteil der Bildanalyse, z. B. weil die ermittelten Größen
genauer als die der Inertialsensorik sind, kann der Test der Stereokameraanordnung 1 mit
sehr geringem Aufwand ausgeführt werden, da keine wesentliche
zusätzliche Rechenleistung erforderlich ist.
-
Bezugszeichenliste
-
- 1
- Stereokamerasystem
- 1.1
- Kamera
- 1.2
- Kamera
- 1.3
- Verarbeitungseinheit
- A
- Abstandsgrenzwert
- B1,
B2
- Bild
- BP1,
BP2
- Bildpunkt
- D
- Disparitätsbild
- G
- Geschwindigkeitsgrenzwert
- P1,
P2
- Strafterm
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 10302671
A1 [0002]
- - DE 10149115 A1 [0003]
-
Zitierte Nicht-Patentliteratur
-
- - H. Hirschmüller:
Accurate and Efficient Stereo Processing by Semi-Global Matching
and Mutual Information; 2005 IEEE Computer Society Conference an
Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814 [0016]
- - H. Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer
Society Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814 [0017]
- - A. Wedel et al.: Efficient Dense Scene Flow from Sparse or
Dense Stereo Data; 10th European Conference an Computer Vision;
Marseille [0020]
- - H. Badino: A Robust Approach for Ego-Motion Estimation Using
a Mobile Stereo Platform; International Workshop an Complex Motion;
Günzburg 2004, Germany [0024]