-
Die Erfindung betrifft ein Kamerasystem mit einer 3D-Kamera und einer aktiven Beleuchtung sowie ein Verfahren zum Betreiben einer solchen Kamera nach der Gattung der unabhängigen Ansprüche.
-
Aus dem Stand der Technik sind Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-of-flight-(TOF-) oder Laufzeitmesssysteme. Diese verwenden eine amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden dreidimensionalen Szenerie.
-
Mit Licht-Laufzeitmesssystem sollen insbesondere auch alle 3D-Kamerasystem mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als 3D-Kamera bzw. PMD-Kamera sind insbesondere so genannte Photomischdetektoren (PMD) geeignet, wie sie u. a. in den Anmeldungen
DE 196 35 932 ,
EP 1 777 747 ,
US 6 587 186 und auch
DE 197 04 496 beschrieben und beispielsweise von der Firma ,ifm electronic gmbh' als Frame-Grabber O3D101/M01594 zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
-
Aus der
DE 100 11 263 A1 ist ein Objektdirektionssystem bekannt, bei dem der Objektdetektor in einem ersten und zweiten Betriebsmodus umgeschaltet werden kann, um beispielsweise zwischen einem kleinen und großen Winkelerfassungsbereich umschalten zu können. Für den weit reichenden Bereich wird ein Radarsensor und für den Nahbereich ein Ultraschallsensor eingesetzt.
-
Aufgabe der Erfindung ist es, die Verarbeitungsgeschwindigkeit der 3D-Kamera zu verbessern.
-
Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße 3D-Kamera gelöst.
-
Vorteilhaft ist eine 3D-Kamera vorgesehen, mit einem Pixel-Array basieren auf einer Photomischdetektion, wobei einzelne Pixel des Pixel-Arrays zu Pixelblöcken. zusammenfassbar sind. Hierdurch ist es in vorteilhafter Weise möglich, für bestimmte Erfassungs- und Bildverarbeitungssituationen Pixelblöcke bereitzustellen.
-
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der in den unabhängigen Ansprüchen angegebenen Erfindung möglich.
-
Insbesondere ist es von Vorteil ein Verarbeitungsmodul derart auszugestalten, dass eine Größe, Positionen und/oder eine Anzahl der Pixelblöcke, in Abhängigkeit einer vorgegebenen Messaufgabe festgelegt und ausgewertet werden kann.
-
In einer weiteren Ausgestaltung ist es vorgesehen die Kamera zusätzlich mit einem Sicherheitsmodul auszugestalten, das unabhängig von dem Verarbeitungsmodul das Pixel-Array auswertet und das Ergebnis mit einem Ergebnis des Verarbeitungsmoduls vergleicht.
-
Ferner ist es auch möglich, dass das Sicherheitsmodul zur Überwachung Verarbeitungsmodul eine vom Verarbeitungsmodul abweichende Pixelblockgröße verwendet und auswertet.
-
Vorteilhaft ist ein Kamerasystem mit einer 3D-Kamera basierend auf einer Potomischdetektion und einer aktiven Beleuchtung zur Beleuchtung eines Erfassungsbereichs der 3D-Kamera vorgesehen, bei der die aktive Beleuchtung derart ausgestaltet ist, dass mindestens zwei Bereiche des Erfassungsbereichs der 3D-Kamera unterschiedlich beleuchtbar sind. Dieses Vorgehen hat den Vorteil, dass für bestimmte bevorzugte Erfassungsbereiche, beispielsweise Seitenstreifen oder entfernte Objekte die Beleuchtung entsprechend des gewünschten Erfassungsbedarfs angepasst werden kann.
-
Vorteilhaft ist ein Kamerasystem mit einer 3D-Kamera basierend auf einer Potomischdetektion und einer aktiven Beleuchtung zur Beleuchtung eines Erfassungsbereichs der 3D-Kamera vorgesehen, bei der die aktive Beleuchtung derart ausgestaltet ist, dass mindestens zwei Bereiche des Erfassungsbereichs der 3D-Kamera unterschiedlich beleuchtbar sind. Dieses Vorgehen hat den Vorteil, dass für bestimmte bevorzugte Erfassungsbereiche, beispielsweise Seitenstreifen oder entfernte Objekte die Beleuchtung entsprechend des gewünschten Erfassungsbedarfs angepasst werden kann
-
Vorzugsweise ist die aktive Beleuchtung in mehrere Beleuchtungsmodule aufgeteilt. Diese Beleuchtungsmodule können insbesondere in Gruppen zu einem oder mehreren Beleuchtungsmodulen aufgeteilt werden, wobei eine jeweilige Gruppe zur Ausleuchtung eines bestimmten Beleuchtungsbereiches ausgebildet ist.
-
Die Einteilung der Beleuchtungsmodule in Gruppen hat den Vorteil, dass die Beleuchtungsbereiche durch Ausrichtung der Module der entsprechenden Gruppe bereits angepasst werden kann. Alternativ oder ergänzend kann es auch vorgesehen sein mindestens eine Strahlführungsoptik eines Beleuchtungsmoduls für einen bestimmten Beleuchtungsbereich anzupassen.
-
Bezüglich des Verfahrens zum Betreiben des Kamerasystems kann es vorgesehen sein, dass die bestimmten Beleuchtungsbereiche entweder gleichzeitig oder sequenziell beleuchtet werden.
-
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
-
Es zeigen:
-
1 schematisch das grundlegende Prinzip der Photomischdetektion,
-
2 schematisch unterschiedliche Erfassungsbereiche einer PMD-Kamera
-
3 schematisch eine erfindungsgemäße Verarbeitung der Erfassungsbereiche,
-
4, ein Fahrzeug mit zwei Beleuchtungsmodulgruppen,
-
5, schematisch verschiedene Beleuchtungs- und Erfassungsbereiche,
-
6, eine seitliche Ansicht der verschiedenen Beleuchtungs- und Erfassungsbereiche,
-
7 und 8 eine serielle und sequenzielle Auswertung der unterschiedlichen Beleuchtungsbereiche.
-
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem TOF-Kamerasystem, wie es beispielsweise aus der
DE 197 04 496 bekannt ist.
-
Das TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. ein Beleuchtungsmodul 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3D-Kamera 200 mit einer Empfangsoptik 150 und einem Fotosensor 15. Der Fotosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven Elementen eingesetzt werden.
-
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Fotosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Fotosensor 15. Im Photosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt.
-
2 zeigt eine typische Messsituation der erfindungsgemäßen 3D-Kamera. Im dargestellten Beispiel ist eine 3D-Kamera in einem Fahrzeug 70 angeordnet und ermöglicht die Überwachung eines Gesamterfassungsbereichs E. Aufgrund bestimmter Beleuchtungssituationen oder Auswertealgorithmen ist es möglich, innerhalb des Gesamterfassungsbereichs E unterschiedliche Erfassungs- bzw. Überwachungsbereiche auszuwählen. Diese Erfassungsbereiche können sich insbesondere über so genannte „region-of-interest” (ROI) erstrecken oder solche beinhalten.
-
In 2a) ist ein erster Erfassungsbereich EB1 gezeigt, in dem vorzugsweise Objekte in mittlerer und/oder großer Entfernung erfasst werden. 2b) zeigt einen zweiten und dritten deckungsgleichen Erfassungsbereich EB2, EB3. Beide Bereiche EB2, 3 sind geeignet Objekte im Nahbereich zu erfassen. Die Bereiche unterscheiden sich vorzugsweise durch eine unterschiedliche Erfassung durch das Pixel-Array und/oder durch eine unterschiedliche Auswertung bzw. Bildverarbeitung.
-
3 zeigt schematisch eine mögliche Verarbeitung und Auswertung der unterschiedlichen Erfassungsbereiche EB1, 2, 3. Das Verarbeitungssystem besteht hier im Wesentlichen aus drei Modulen, zum einen dem PMD-Chip bzw. Pixel-Array 15, der den gesamten Erfassungsbereich erfasst und zum anderen aus einem Verarbeitungsmodul VM und einem Sicherheitsmodul SM. Das Verarbeitungsmodul VM erlaubt die Auswahl drei verschiedener Bildverarbeitungsmodi BVM1, 2, 3 zur individuellen Verarbeitung der unterschiedlichen Erfassungsbereiche EB1, 2, 3. Darüber hinaus ist das Verarbeitungsmodul derart ausgestaltet, dass beispielsweise abhängig vom verwendeten Bildverarbeitungsmodus bestimmte Eigenschaften des Pixel-Arrays 15 vorgegeben werden können. Im dargestellten Fall kann das Pixel-Array in einem hoch, mittel und niedrig auflösenden Modus H, M, L betrieben werden.
-
Die unterschiedlichen Auflösungen können vorzugsweise durch Zusammenfassen einzelner Pixel zu Pixelblöcken, dem so genannten binning, eingestellt werden. Weitere Einstellungen des Pixel-Arrays 15 bezüglich Pixel-Position, Größe und/oder Anzahl der Pixelblöcke sind möglich.
-
Im dargestellten Beispiel ist der zweite Erfassungsbereich gem. 2 einem Nahbereich vorzugsweise einem nahen Straßenbereich zugeordnet, in dem Objekte beispielsweise in ihren Abmessungen und Positionen erfasst werden sollen. Zu diesem Zweck ist es vorteilhaft, dass Pixel-Array in einer hohen Auflösung H zu betreiben und eine Bildverarbeitung mit einem geeignetem Algorithmus und geeigneter Parametrisierung auszuwählen.
-
Im dargestellten Fall ist für die Verarbeitung des ersten Erfassungsbereich EB1 vorgesehen, dass erste Bildverarbeitungmodul BVM1 in Kombination mit einer hohen Auflösung H des Pixel-Array zu verwenden. Als Ergebnis der Bildverarbeitung könnte beispielsweise eine Objektliste OL1, 2, 3 mit den erkannten Objekten und ihren Parameter erstellt werden. Es sind jedoch auch andere Objektlisten oder Signalausgänge denkbar.
-
Für den mittleren und/oder fernen zweiten Erfassungsbereich ist eine mittlere Auflösung M und das zweite Bildverarbeitungsmodul BVM2 vorgesehen. Dieses Modul ermittelt beispielsweise neben Position und Abmessung der Objekte auch deren Geschwindigkeit und Beschleunigung. Die Objektliste OL2 aus dieser Verarbeitung kann insbesondere als PreCrash-Information genutzt werden.
-
Der dritte Erfassungsbereich EB3 ist im dargestellten Beispiel für nahste Objekte vorgesehen, die sich vorzugsweise in unmittelbarer Nähe des Fahrzeugs bewegen können, beispielsweise querende Fußgänger oder Fahrradfahrer im Stadtverkehr. Dieser Erfassungsbereich ist einer niedrigen Auflösung L und dem dritten Bildverarbeitungsmodul BVM3 zugeordnet. Als Ergebnis könnte eine optionale Objektliste OL3' erstellt werden.
-
Aus Sicherheitsgründen ist es jedoch vorgesehen, das dritte Bildverarbeitungsmodul mit Hilfe eines Sicherheitsmoduls SM zu überwachen. Das Sicherheitsmodul SM verwendet hierbei dieselben Pixel-Array-Daten, wie sie auch dem Verarbeitungsmodul VM bzw. dem dritten Bildverarbeitungsmodul zur Verfügung standen. Die Verarbeitung der Daten erfolgt mit einem vierten Bildverarbeitungsmodul BVM4, dem vorzugsweise ein anderer Auswerte-Algorithmus und/oder eine andere Parametrisierung zugrunde liegen. Die Ergebnisse des dritten und vierten Bildverarbeitungsmoduls BVM3, 4 werden miteinander vergleichen und nur die sicher erkannten Objekte als dritte Objektliste OL3 weiter gegeben.
-
4 zeigt schematisch eine Frontansicht eines Kraftfahrzeuges. Im oberen Bereich der Windschutzscheibe ist eine 3D-Kamera 200 angeordnet in der Nähe der Frontscheinwerfer befinden sich auf der rechten und linken Seite des Kraftfahrzeuges verschiedene Beleuchtungsmodule. Die Beleuchtungsmodule 101 zur ersten Gruppe beleuchten einen ersten Beleuchtungsbereich B1 im Fernfeld des Kraftfahrzeuges. Die Beleuchtungsmodule 102 zur zweiten Gruppe beleuchten einen seitlichen Nahbereich des Kraftfahrzeuges in einem ersten und zweiten Beleuchtungsbereich B2, B3. Die seitlichen Beleuchtungsbereiche B2, B3 können beispielsweise zur Erkennung der Fahrbahnränder oder Fahrbahnmarkierung verwendet werden, während der Fernbereich B1 bezüglich einer Hinderniserkennung ausgewertet werden kann.
-
Die Beleuchtungsbereiche sind vorzugsweise so gewählt dass sie innerhalb des Erfassungsbereiches der 3D-Kamera 200 liegen, wie dies exemplarisch in der 5 dargestellt ist. In der 3 sind schematisch die verschiedenen Beleuchtungsgruppen 101 und 102 dargestellt. Das durch die erste Beleuchtungsgruppe 101 aufgespannte Beleuchtungsfeld beleuchtet den Erfassungsbereich E der 3D-Kamera vollständig und geht sogar darüber hinaus. Die Beleuchtungsbereiche B2, B3 der zweiten Beleuchtungsgruppe 102 liegen vollständig innerhalb des Erfassungsbereiches E der 3D-Kamera und sind zudem räumlich voneinander getrennt.
-
Diese zur Verfügungstellung verschiedener gegebenenfalls auch räumlich voneinander getrennten Beleuchtungsbereichen hat den Vorteil, dass mit nur einer einzigen 3D-Kamera mehrere und verschiedene Applikationen abgedeckt werden können. Insbesondere besteht die Möglichkeit die Applikationen nicht nur sequenziell sondern auch simultan einzusetzen.
-
Aus der Seitenansicht in 6 ist ferner zu entnehmen das die Beleuchtungsbereiche nicht nur in der Geometrie sondern auch in der Reichweite angepasst werden können. Im dargestellten Fall ist die erste Beleuchtungsgruppe für die Beleuchtung entfernter Objekte ausgebildet während die zweite Beleuchtungsgruppe 102 vornämlich den Nahbereich beleuchtet. Die 3D-Kamera ist vorzugsweise so ausgebildet, dass sie sowohl den Fernbereich als auch den Nahbereich gleichzeitig erfassen kann.
-
Die Beleuchtungsmodule können mit einer und mehreren Lichtquellen ausgestattet sein, wobei jede Lichtquelle mit einer eigenen Strahlführungsoptik vorzugsweise einem Reflektor ausgestattet ist. Prinzipiell ist es möglich die Strahlführungsoptik einer jeden Lichtquelle für den gewünschten Beleuchtungsbereich zu optimieren. In einer einfacheren Ausgestaltung ist es jedoch vorgesehen, die Strahlführungsoptiken der einzelnen Lichtquellen gleich auszugestalten und den Beleuchtungsbereich durch eine geeignete Gruppierung der Lichtquellen, Positionierung des Beleuchtungsmoduls oder bilden von Beleuchtungsmodulgruppen festzulegen. Ferner könnte ein Beleuchtungsmodul auch in eine vorhandene Beleuchtungseinheit, zum Beispiel dem PKW-Scheinwerfer, integriert werden.
-
Die unterschiedlich beleuchteten Bereiche können nun mit einer nachgelagerten Bildverarbeitung gegebenenfalls mit verschiedenen Algorithmen bzw. Parametrisierungen ausgewertet und/oder bewertet werden. Durch die gezielte Fokussierung des Lichts in die jeweiligen Beleuchtungsbereiche wird ferner sichergestellt, dass ausreichend Licht für eine geeignete Auswertung in diesem Beleuchtungsbereichen ankommt. Um Energie zu sparen oder die Belastung der Beleuchtungsmodule zu verringern, kann es insbesondere vorgesehen sein, bestimmte Beleuchtungsbereiche nur kurzfristig zu beleuchten.
-
Weiterhin ist es denkbar, dass bestimmte Beleuchtungsbereiche B1, B2, B3 nur dann beleuchtet werden, wenn dies eine bestimmte Messsituation erfordert.
-
Prinzipiell ist eine gleichzeitige oder sequenzielle Ausleuchtung der verschiedenen Beleuchtungsbereiche denkbar. Mögliche Auswertungen derartiger Beleuchtungssituationen sind exemplarisch in den 7 und 8 dargestellt.
-
7 zeigt eine gleichzeitige Erfassung der Beleuchtungsbereiche B1, B2, B3 während eines Zeitintervalls t1. Dieses Zeitintervall kann im vorliegenden Fall auch ein Dauerbetrieb sein. Die erfassten Daten der einzelnen Beleuchtungsbereiche werden einer nachfolgenden Bildverarbeitung zugeführt, wobei die Daten des ersten erfassten Bereiches einer ersten Bildverarbeitung BV1 und die Daten aus dem zweiten und dritten Beleuchtungsbereich einer zweiten Bildverarbeitung BV2 zugeführt werden.
-
Die Beleuchtungsbereiche B1, B2, B3 sind vorzugsweise so genannten Region-of-interest zugeordnet. Eine derartige „Region-of-interest” könnten beispielsweise ein Fernfeld oder ein Nahfeld sein. So kann beispielsweise für die erste Bildverarbeitung BV1 des ersten Beleuchtungsbereich B1 ein Algorithmus und eine Parametrisierung für die Erkennung von Hindernissen, Fahrzeugen, Verkehrsschildern etc. verwendetet werden, während für die zweite Bildverarbeitung BV2 des zweiten und dritten Beleuchtungsbereich B2, B3 der Algorithmus und/oder die verwendeten Parameter vorzugsweise für die Erkennung von Seitenstreifen und/oder Fahrbahnunebenheiten o. ä. optimiert sind.
-
Weiterhin ist es denkbar, für bestimmte Fahrsituationen oder Sicherheitsüberprüfungen die verschiedenen Beleuchtungsbereiche bzw. Region-of-interest mittels unterschiedlichen Bildverarbeitungen zu untersuchen. Im dargestellte Beispiel ist beispielhaft mit gestrichelter Linie eine optionale Auswertung des zweiten Beleuchtungsbereichs B2 mit der ersten Bildverarbeitung BV1 gezeigt. Beispielsweise könnte dieser Beleuchtungsbereich zunächst mit der zweiten Bildverarbeitung im Hinblick auf Erfassung eines Seitenstreifens untersucht werden und vorzugsweise parallel in der ersten Bildverarbeitung beispielsweise auf Hindernisse.
-
Selbstverständlich sind auch weitere Zuordnungen der Beleuchtungsbereiche zu den verschiedenen Bildverarbeitungen denkbar, wie auch die Verwendung weiterer Bildverarbeitungen mit verschiedenen Algorithmen und/oder Parametern.
-
Die von den Bildverarbeitungen BV1, BV2 gewonnen Daten können seriell oder auch parallel weiteren Prozessen zur Verfügung gestellt werden. Als Schnittstelle bzw. Datenbus kommen beispielsweise Ethernet, LVDS, CAN, Flexray etc. in Betracht.
-
8 zeigt im Wesentlichen die bereits in 7 dargestellte Bildverarbeitung, wobei die Beleuchtungsbereiche nicht zwingend parallel, sondern vorzugsweise sequentiell betrieben werden. Im dargestellten Beispiel ist es vorgesehen, den ersten Beleuchtungsbereich B1 in einem Zeitintervall t1 und den zweiten und dritten Beleuchtungsbereich B2, B3 in einem zweiten Zeitintervall t2 zu betreiben.
-
Die Zeitdauer und Häufigkeit der Zeitintervalle kann hierbei völlig unabhängig gewählt werden. So kann beispielsweise zunächst der erste Beleuchtungsbereich B1 und dann die beiden anderen Beleuchtungsbereiche B2, B3 betrieben und erfasst werden. Es ist jedoch auch möglich, den ersten Beleuchtungsbereich B1 dauerhaft zu betreiben und den zweiten oder dritten Beleuchtungsbereich B2, B3 nur bei Bedarf zuzuschalten und zu erfassen. Auch das Hinzunehmen weiterer Beleuchtungsbereiche oder Bildverarbeitungen sowie weiteren Zeitintervallen ist denkbar.
-
So kann es auch vorgesehen sein, je nach Auswerte-, Umgebungs- und/oder Fahrsituation unterschiedliche Zeitintervalle, Algorithmen, Parameter zu verwenden oder auch zwischen sequenzieller oder paralleler Beleuchtung oder Bildverarbeitung zu wechseln.
-
In einer weiterführenden Ausbaustufe ist es möglich, über einen externen Befehl, beispielsweise über CAM, Flexray, LIN, Ethernet, oder ähnliches, den auszuleuchtenden Bereich und den anzuwendenden Algorithmus oder die anzuwendende Algorithmus-Parametrisierung zu definieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 19635932 [0003]
- EP 1777747 [0003]
- US 6587186 [0003]
- DE 19704496 [0003, 0026]
- DE 10011263 A1 [0004]