-
Die Erfindung betrifft einen optischen Umfeldsensor für ein Fahrzeug mit einem ersten und zweiten Linsensystem und einem gemeinsamen Bildsensor gemäß dem Oberbegriff des Patentanspruchs 1. Ferner betrifft die Erfindung ein Verfahren zum Betreiben eines solchen erfindungsgemäßen optischen Umfeldsensors sowie ein Fahrzeug mit einem solchen erfindungsgemäßen optischen Umfeldsensor.
-
Zur Realisierung von Fahrerassistenzsystemen, wie bspw. einer Verkehrszeichenerkennung oder eines Spurhalteassistenten werden Kamerasysteme, insbesondere Stereokameras oder optische Umfeldsensoren mit mehr als zwei Linsensystemen zur verbesserten Tiefenauflösung eingesetzt. Unter einer Stereokamera werden zwei Kameras mit jeweils einer Linsenoptik und einem Bildsensor verstanden, die in einem vorgegebenen Abstand versetzt zueinander bspw. an einer Windschutzscheibe des Fahrzeugs angebracht sind. Stereokameras oder optische Umfeldsensoren mit mehr als zwei Linsensystemen bieten den Vorteil, dass mit ihnen Entfernungen gemessen werden können.
-
Ein gattungsbildender optischer Umfeldsensor zur Scheinwerfersteuerung eines Fahrzeugs ist aus der
CA 2 333 596 C mit einem ersten und zweiten Linsensystem mit einem gemeinsamen Bildsensor bekannt. Die Sichtfenster der beiden Linsensysteme, die in vertikaler Richtung angeordnet sind, werden auf disjunkte Bereiche des Bildsensors, nämlich auf einen oberen Teilbereich und einen unteren Teilbereich des Bildsensors abgebildet, wobei die beiden Linsensysteme jeweils für unterschiedliche Wellenlängen ausgelegt sind. So ist ein Linsensystem mit einem Rotfilter ausgebildet, während das andere Linsensystem ein Filter für die zur Farbe Rot komplementären Farben aufweist. Als Öffnungswinkel des Sichtbereichs der beiden Linsensysteme wird ein Winkel in der Horizontalen mit 22° und ein Winkel in der Vertikalen mit 9° angegeben. Es wird auch vorgeschlagen, einen solchen optischen Umfeldsensor mit mehr als zwei, bspw. mit vier Linsensystemen zu realisieren. So können mit drei Linsensystemen mit entsprechenden Filtern die Farben rot, grün und blau detektiert werden, während mit dem vierten Linsensystem ungefiltertes Licht detektierbar ist.
-
Die Autoren Stephan Neumeier und Georg Färber beschreiben in dem Artikel „Sensor Auge nach dem Vorbild der Natur" (4. Münchener Wissenschaftstage im Jahr der Technik, 2004) eine Fahrzeugkamera mit einer Weitwinkel- und Teleoptik, mit welcher mittels Bildverarbeitung nach dem sogenannten 4D-Ansatz die eigenen Fahrspur detektiert sowie vorausfahrende Fahrzeuge erkannt werden. Der detaillierte Aufbau dieser Fahrzeugkamera wird jedoch nicht beschrieben.
-
Des Weiteren ist aus der
US 3 612 764 A eine Überwachungskamera mit einem Weitwinkel- und Teleobjektiv bekannt, deren Sichtbereiche auf eine fotoempfindliche Schicht einer Vidikon-Bildaufnahmeröhre abgebildet werden.
-
Ausgehend von diesem Stand der Technik ist es Aufgabe der Erfindung, einen optischen Umfeldsensor der eingangs genannten Art zu schaffen, der kostengünstig realisierbar ist und gleichzeitig alle Anforderungen zur Realisierung von Fahrerassistenzsystemen erfüllt.
-
Die Aufgabe wird gelöst durch einen optischen Umfeldsensor mit den Merkmalen des Patentanspruchs 1.
-
Ein solcher optischer Umfeldsensor für ein Fahrzeug, umfasst ein erstes Linsensystem, ein zum ersten Linsensystem beabstandetes zweites Linsensystem, wobei sich die Sichtfelder der Linsensysteme zumindest teilweise überlappen, und einen Bildsensor, wobei das Sichtfeld des ersten Linsensystems und das Sichtfeld des zweiten Linsensystems auf disjunkte Sensorbereiche abgebildet werden, zeichnet sich erfindungsgemäß dadurch aus, dass das zweite Linsensystem gegenüber dem ersten Linsensystem in wenigstens horizontaler oder vertikaler Richtung als Weitwinkelobjektiv ausgebildet ist.
-
Mit einer solchen Videokamera wird erreicht, dass eine Objektszene mit mindestens zwei zueinander unterschiedlichen Abbildungsmaßstäben aufgezeichnet werden kann, wobei das als Weitwinkelobjektiv ausgebildete zweite Linsensystem in wenigstens der horizontalen oder vertikalen Richtung zu einem deutlich größeren Sichtfeld führt als das erste Linsensystem. Die Weitwinkeleigenschaft des zweiten Linsensystems führt auch dazu, dass es eine deutlich kleinere Auflösung besitzt als das erste Linsensystem. Diese Videokamera stellt damit eine Monokamera mit mindestens zwei Linsensystemen dar, deren sich teilweise überlappenden Sichtbereiche disjunkt auf einen einzigen Bildsensor abgebildet werden.
-
Mit einer solchen Videokamera lassen sich die Unterschiede im horizontalen oder vertikalen Abbildung Strahlengang vorteilhaft ausnutzen.
-
Die Verwendung nur eines einzigen Bildsensors sowohl für das erste und zweite Linsensystem ermöglicht die Verwendung der sogenannten Rolling-Shutter-Methode, bei welcher der Bildsensor zeilenweise oder spaltenweise belichtet und ausgelesen wird und dadurch aufgrund der disjunkten Sensorbereiche der beiden Linsensysteme gleiche von den beiden Linsensystemen mit unterschiedlichem Abbildungsmaßstab aufgenommene Objektbereiche mit doppelter Framerate erfasst werden können. Diese doppelte Framerate kann für zeitkritische Funktionen vorteilhaft genutzt werden, da innerhalb einer 10/1000 Sekunde ein weiteres Bild der gleichen Szene direkt verarbeitet kann, während eine übliche Bildfolge eine Hundertstelsekunde benötigen würde. So können schnelle Objektannäherungen, insbesondere von Fußgängern, Radfahrern und Fahrzeugen, die von der Seite auf das Fahrzeug zukommen, genauer in Bezug auf einen Kollisionskurs detektiert und definiert werden.
-
Ein weiterer Vorteil bei der Anwendung dieser Rolling-Shutter-Methode besteht in der Durchführung einer Belichtungssteuerung zur Änderung der Integrationszeit während einem Durchlauf des Rolling Shutters durch das Bild. So kann auf der Basis des Weitwinkelbildes im Bruchteil einer Sekunde voraus für das Telebild die Integrationszeit angepasst oder geregelt werden, genauso das Telebild für das folgende Weitwinkelbild. Der Algorithmus kann eine in Bildbereichen vorgenommene statistische Auswertung wie Mittelwert, Median oder Histogrammbildung von Grauwerten sein oder auch eine komplexere Auswertung über FFT Algorithmen zur Kantenqualität in einem Bild mit einem hochdynamischen Bildsensor mit Dunkel- und Sättigungsgrenze. Durch eine solche auf der Basis der Rolling-Shutter-Methode realisierte adaptive Integrationszeit für das Weitwinkelbild und das Telebild ergänzen sich auch hier die von dem ersten und zweiten Linsensystem realisierten unterschiedlichen Abbildungspfade.
-
Auch kann ein Algorithmus zur Kompensation von Bewegungsunschärfe aufgrund der Interaktion zwischen den Bildern der von den beiden Linsensystemen realisierten unterschiedlichen Abbildungspfade realisiert werden.
-
Schließlich ist es auch möglich, eine Auswertung von Regen auf der Windschutzscheibe, von Beschlag auf der Innenscheibe des Fahrzeugs und eine Verschmutzung der optischen Pfade der beiden Linsensystemen durchzuführen, indem die durch bspw. durch Regen verursachte Bildartefakte auf den disjunkten Sensorbereichen der beiden Linsensystemen, die mit unterschiedlichen horizontalen oder vertikalen Abbildungsmaßstab abgebildet sind, miteinander verglichen werden.
-
Nach einer vorteilhaften Ausgestaltung der Erfindung ist ein drittes Linsensystem vorgesehen, dessen Sichtfeld auf einen zu den Sensorbereichen des ersten und zweiten Linsensystems disjunkten Sensorbereich abgebildet wird. Vorzugsweise ist dabei dieses dritte Linsensystem als Weitwinkelobjektiv ausgebildet, wobei dessen Sichtfeld in horizontaler Richtung einen kleineren Öffnungswinkel und in vertikaler Richtung einen größeren Öffnungswinkel aufweist als die Sichtfelder des ersten und zweiten Linsensystems.
-
Ein solcher mittels des dritten Linsensystems realisierter Abbildungspfad in ausgedehnter vertikaler Richtung und gleichzeitiger Komprimierung der geometrischen Auflösung und Einschränkungen im Sichtfeld in horizontaler Richtung ermöglicht die Erkennung von Lichtquellen, wie Ampeln oder oben angebrachten Verkehrszeichen und Schilderbrücken, die im ersten Linsensystem wie in deutlich besserer Qualität hinsichtlich spektraler, geometrischer oder lichtstärkere Auflösung erscheinen und dort in einem kleinen durch die Erkennung bereits bekannten Bildbereich gefunden, klassifiziert und vermessen werden können. So wird durch eine kombinierte Auswertung von drei Bilddaten dieser drei Linsensysteme ein verbessertes Systemergebnis hinsichtlich Performance, Rechenzeit und Energieverbrauch gegenüber bspw. einer Stereokamera mit zwei vollständigen Kameras erzielt.
-
Besonders vorteilhaft ist es, wenn weiterbildungsgemäß das erste Linsensystem als Teleobjektiv ausgebildet ist. Damit wird gegenüber dem als Weitwinkelobjektiv ausgebildeten zweiten Linsensystem in horizontaler oder vertikaler Richtung eine hohe Auflösung sichergestellt.
-
Nach einer weiteren bevorzugten Weiterbildung der Erfindung sind das erste und zweite Linsensystem in vertikaler Richtung angeordnet. Vorzugsweise ist dabei das dritte Linsensystem in horizontaler Richtung benachbart zum ersten und zweiten Linsensystem angeordnet.
-
Schließlich ist es weiterbildungsgemäß vorgesehen, dass das erste Linsensystem auf einen Fernbereich und das zweite Linsensystem auf einen Nahbereich fokussiert ist. Durch eine solche unterschiedliche Fokussierung des ersten und zweiten Linsensystems wird ermöglicht, dass eine gleiche Objektszene mit unterschiedlichen Abbildungsmaßstäben abgebildet wird und eine Schätzung der Objektentfernung durch Analyse von Kantensteilheiten oder durch Histogrammanalyse im erfassten Objekt ermöglicht wird. Insbesondere im Bereich der gemeinsamen Objektabbildung mit unterschiedlichen Abbildungsmaßstab können Genauigkeiten erreicht werden, die mit einem Monokameras System mit einem einzigen Abbildungspfad nur mittels kostenintensiven Komponenten erreichbar sind. Auch ist es möglich, ein zeitliches Tracking mit der Rolling-Shutter-Methode zur tiefen Berechnung durchzuführen.
-
Der erfindungsgemäße optische Umfeldsensor kann für Fahrerassistenzsysteme in Fahrzeugen eingesetzt werden.
-
Der erfindungsgemäße optische Umfeldsensor wird nachfolgend unter Bezugnahme auf die beigefügten Figuren näher erläutert. Es zeigen:
-
1 eine schematische Schnittdarstellung eines erfindungsgemäßen optischen Umfeldsensors mit zwei Linsensystemen eines Fahrzeugs,
-
2 eine schematische Darstellung eines Bildsensors mit disjunkten Sensorbereichen des optischen Umfeldsensors nach 1,
-
3 eine schematische Darstellung eines optischen Umfeldsensors mit drei Linsensystemen,
-
4 eine schematische Darstellung eines Bildsensors mit disjunkten Sensorbereichen des optischen Umfeldsensors nach 3, und
-
5 eine schematische Darstellung des Bildsensors nach 4 zur Darstellung eines Belichtungsverfahrens.
-
Der in 1 dargestellte erfindungsgemäße optische Umfeldsensor 1 (auch als kamerabasierter Umfelderfassungssensor bezeichnet) eines Fahrzeugs umfasst ein erstes Linsensystem 1.1 und ein zweites Linsensystem 1.2 mit einem gemeinsamen Bildsensor 3, der zusammen mit einem eine Blendenausprägung aufweisenden Linsenhalter 2 auf einer Trägerstruktur 4 angeordnet ist. Das erste Linsensystem 1.1 ist als Teleobjektiv und das zweite Linsensystem 1.2 als Weitwinkelobjektiv ausgebildet. Der Öffnungswinkel +/– α des Sichtbereichs des ersten Linsensystems 1.1 ist wesentlich kleiner als der Sichtbereich des als Weitwinkelobjektiv ausgebildeten zweiten Linsensystems 1.2 mit einem Öffnungswinkel von +/– β. Der Öffnungswinkel α liegt vorzugsweise bei +/– 30 bis 60°, während der Öffnungswinkel β vorzugsweise bei +/– > 90° liegt. Die Weitwinkeleigenschaft des zweiten Linsensystem 1.2 ist vorzugsweise in horizontaler Richtung ausgebildet. Je nach Anwendungsfall kann dieses zweite Linsensystem 1.2 auch nur in vertikaler Richtung eine Weitwinkeleigenschaft aufweisen oder natürlich auch in beiden Richtungen.
-
Die beiden Sichtbereiche des ersten und zweiten Linsensystem 1.1 und 1.2 werden auf disjunkte Sensorbereiche des Bildsensors 3 abgebildet, wie dies in 2 mit einer beispielhaften Objektszene dargestellt ist. Um die beiden Abbildungspfade voneinander zu trennen, ist gemäß 1 ein Blendenkörper 5 vorgesehen.
-
Insbesondere aus 2 ist ersichtlich, dass die beiden Linsensysteme 1.1 und 1.2 in vertikaler Richtung, also bezogen auf die Fahrzeughochrichtung des Fahrzeugs übereinander angeordnet sind. So wird gemäß dieser 2 der Sichtbereich des ersten Linsensystems 1.1 auf einen unteren Sensorbereich 3.1 des Bildsensors 3, während der Sichtbereich des zweiten Linsensystem Systems 1.2 auf einen oberen Sensorbereich 3.2 des Bildsensors 3 abgebildet wird.
-
Mit dem Teleobjektiv des ersten Linsensystems 1.1 wird eine aus einer Person P und einem Stern S bestehende Objektszene dargestellt. Diese Objektszene wird auch mit dem Weitwinkelobjektiv des zweiten Linsensystems 1.2 abgebildet, jedoch mit einem wesentlich größeren Öffnungswinkel, so dass zusätzlich eine Ampel A sowie zwei kreisförmige Objekte O1 und O2 in dem Sensorbereich 3.2 abgebildet werden.
-
Damit ist in beiden Sensorbereichen 3.1 und 3.2 des Bildsensors 3 die gleiche Objektszene, nämlich die Person P sowie der Stern S vorhanden. Durch die Verwendung der Rolling-Shutter-Methode zur Belichtung und zum Auslesen des Bildsensors 3 können diese beiden identischen Objektszenen mit doppelter Framerate erfasst werden. Hierzu werden die Zeilen oder die Spalten des Bildsensors 3 zeilenweise oder spaltenweise belichtet und ausgelesen. Es entsteht ein Zwischenframe, welches die Framerate deutlich erhöht, da für die beiden Objektszenen der identische Bildsensor, nämlich der Bildsensor 3 ausgelesen wird und keine Zwischeninitialisierungen erforderlich sind. Der Vorteil besteht in einer höheren zeitlichen Auflösung, die sowohl zum Objekttracking und zur Klassifikation als auch in der Vermessung verwendet werden kann.
-
Auf der Basis der Rolling-Shutter-Methode kann auch eine Belichtungssteuerung durchgeführt werden, indem auf der Basis des Weitwinkelbildes im Bruchteil einer Sekunde voraus für das Telebild die Integrationszeit angepasst oder geregelt wird, genauso das Telebild für das folgende Weitwinkelbild. Der Algorithmus kann eine in Bildbereichen vorgenommene statistische Auswertung wie Mittelwert, Median oder Histogrammbildung von Grauwerten sein oder auch eine komplexere Auswertung über FFT Algorithmen zur Kantenqualität in einem Bild mit einem hochdynamischen Bildsensor mit Dunkel- und Sättigungsgrenze. Durch eine solche auf der Basis der Rolling-Shutter-Methode realisierte adaptive Integrationszeit für das Weitwinkelbild und das Telebild ergänzen sich auch hier die von dem ersten und zweiten Linsensystem realisierten unterschiedlichen Abbildungspfade.
-
Das erste und zweite Linsensystem 1.1 und 1.2 stellen das Abbildungssystem des optischen Umfeldsensors 1 dar und kann mittels refraktiven Elementen, wie Einzellinsen oder einem Linsensystem, reflektiven Elementen, wie Einzelspiegel oder einem Spiegelsystem, jedoch nur in Kombination mit den vorgenannten Elementen, sowie mittels diffraktiven Elementen (Beugungsstrukturen) realisiert werden. Die Eigenschaften des ersten Linsensystems 1.1 als Teleobjektiv und die Eigenschaft des zweiten Linsensystem 1.2 als Weitwinkelobjektiv werden durch nicht rotationssymmetrische Formgebung der genannten Abbildungselemente in vertikaler und horizontaler Abbildungseigenschaft umgesetzt. Ferner ist es möglich, die beiden Linsensysteme 1.1 und 1.2 hinsichtlich der Sollwellenlängenbereiche durch Materialwahl und Formgebung zu optimieren, so dass der Sollwellenlängenbereich bei der Abbildung auf den Bildsensor 3 aus dem Eingangswellenlängenbereich gefiltert wird. Dies kann bei dem ersten und zweiten Linsensystem 1.1 und 1.2 in unterschiedlicher oder in identischer Weise umgesetzt sein.
-
Als Bildsensor 3 können bekannte Typen, wie bspw. CMOS- oder CCD-Sensoren eingesetzt werden. Auch Sensoren, die auf einer organischen Technologie beruhen, können verwendet werden. Die ausgelesenen Bilddaten des Bildsensors 3 werden zur Weiterverarbeitung einer Auswerteeinheit, wie bspw. einem Mikrocontroller, der als FPGA, ASIC oder DSP ausgeführt sein kann, zugeführt. Die Verarbeitungsschritte Detektion und Vorklassifizierung kann in dem Abbildungspfad des als Weitwinkelobjektiv ausgebildeten zweiten Linsensystems 1.2 realisiert werden, während die Verarbeitungsschritte Identifikation und Vermessung in dem Abbildungspfad des als Teleobjektiv ausgebildeten ersten Linsensystems 1.1 oder einem anderen geeigneten Abbildungspfad umgesetzt werden, um damit das Sollsignal der Objektszene (ROI) entweder örtlich, spektraler oder zeitlich besser aufgelöst zu erhalten.
-
Der Bildsensor 3 kann in den unterschiedlichen Sensorbereichen 3.1 und 3.2 unterschiedliche spektrale Sensitivitätseinstellungen haben, z. B. Bayer Pattern im Abbildungspfad der zweiten Linsensystems 1.2 und Monochrom oder French Pattern im horizontalen Weitwinkelabbildungspfad des zweiten Linsensystems 1.2.
-
Die Ausgestaltung der Blende der beiden Linsensystemen 1.1 und 1.2 kann gleich oder unterschiedlich sein. Insbesondere kann die Blendenstruktur aus transparentem und absorbierendem Material für die Arbeitswellenlänge bestehen, wobei speziell das transparente Material spektral unterschiedliche Eigenschaften haben kann.
-
Die Ausgestaltung der Blende mit transparentem und absorbierendem Material kann beim transparenten Material auch eine nicht planare Form beinhalten, die eine Abbildungseigenschaft ermöglicht und die Abbildungseigenschaft der beiden Linsensystemen 1.1 und 1.2 als Teleobjektiv und Weitwinkelobjektiv ersetzt oder ergänzt. Insbesondere Abbildungsfehler können durch geeignete Materialwahl reduziert oder im Falle des Ausnutzens von Farbfehler zur 3D-Auflösung verstärkt werden.
-
Bezugszeichenliste
-
- 1
- Optischer Umfeldsensor
- 1.1
- erstes Linsensystem des optischen Umfeldsensors 1
- 1.2
- zweites Linsensystem des optischen Umfeldsensors 1
- 1.3
- drittes Linsensystem des optischen Umfeldsensors 1
- 2
- Linsenhalter
- 3
- Bildsensor
- 3.1
- Sensorbereich des Bildsensors 3
- 3.2
- Sensorbereich des Bildsensors 3
- 3.3
- Sensorbereich des Bildsensors 3
- 4
- Trägerstruktur
- 5
- Blendenkörper
- α
- Öffnungswinkel des ersten Linsensystems 1.1
- β
- Öffnungswinkel des zweiten Linsensystems 1.2
- A
- Ampel
- O1
- Stern
- O2
- kreisförmiges Objekt
- O3
- kreisförmiges Objekt
- P
- Person
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- CA 2333596 C [0003]
- US 3612764 A [0005]
-
Zitierte Nicht-Patentliteratur
-
- „Sensor Auge nach dem Vorbild der Natur” (4. Münchener Wissenschaftstage im Jahr der Technik, 2004) [0004]