-
Die Erfindung betrifft ein Verfahren zur Vermessung des Umfelds eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 und eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 6. Ferner betrifft die Erfindung einen Parkassistenten gemäß dem Oberbegriff des Anspruchs 10.
-
Verfahren und Vorrichtungen zur Vermessung des Umfelds eines Kraftfahrzeugs sind bekannt und werden in vielfältiger Form in heutigen modernen Kraftfahrzeugen eingesetzt. So sind beispielsweise Radarsysteme im Einsatz, um in ACC-Fahrerassistenzsystemen (ACC: Automatic Cruise Control) das vorwärtige Umfeld des Kraftfahrzeugs vermessen zu können. Ferner werden Kamerasysteme, Lasersysteme, Radar und Ultraschallsysteme zur Detektion und Vermessung von Parklücken bei Parkassistenten eingesetzt. Systeme zum Halten des Fahrzeugs in der eigenen Fahrspur, sogenannte Lane-Assists-Systeme, detektieren Fahrspurbegrenzungen bzw. Fahrspurmarkierungen und halten das Eigenfahrzeug durch geeignete Lenkmomente innerhalb der eigenen Fahrspur.
-
So sind zur Umfelderfassung Laserscanner mit einem mechanisch rotierenden Kopf bekannt, wobei durch Drehen des Kopfes mittels des Lasers die Umgebung abgetastet und erfasst wird.
-
In der Druckschrift H. G. Jung et al.: ”Light stripe projection based parking space detection for intelligent parking systems”, Proceedings of the 2007 IEEE Intelligent Vehicle's Symposium, Istanbul, Turkey, 13.–15. Juni, 2007, S. 962–968, wird zur Bestimmung von Parklücken in schlecht ausgeleuchteten Parkgaragen ein in einer waagerechten Ebene strahlender Linienlaser verwendet, dessen reflektiertes Licht von einer unter einem Winkel zum Laser stehenden Kamera detektiert wird. Aus dem Verlauf der reflektierten Linien kann auf eine mögliche Parklücke geschlossen werden.
-
Ferner sind auch Motion-Stereo-Verfahren zur Bestimmung von 3D-Daten bekannt, wie es beispielsweise in E. Wahl et al.: ”Realisierung eines Parkassistenten, basierend auf Motion-Stereo”, 16. Aachener Kolloquium Fahrzeug- und Motorentechnik 2007, S. 871–880, beschrieben ist, wobei mittels einer Kamera und der Bewegung des Fahrzeugs Parklücken vermessen werden, indem zwei Bilder von verschiedenen Betrachtungspunkten desselben Umgebungsgebiets verwendet werden, um mittels Stereo-Algorithmen Tiefeninformationen zu bestimmen, um so 3D-Daten der Kraftfahrzeugumgebung zu ermitteln.
-
Die Druckschrift
DE 101 54 861 A1 betrifft ein Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich eines optoelektronischen Sensors, insbesondere eines Laserscanners, zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene und im Sichtbereich eines Videosystems mit mindestens einer Videokamera liegt. Dabei werden von dem optoelektronischen Sensor erfasste Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfassten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte mit Lagekoordinaten der entsprechenden Gegenstandspunkte enthalten, und von dem Videosystem erfasste Videobilder eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit von dem Videosystem erfassten Daten umfassen, bereitgestellt. Auf der Basis der erfassten Lagekoordinaten wenigstens eines der Gegenstandspunkte wird wenigstens ein dem Gegenstandspunkt entsprechender, von dem Videosystem erfasster Bildpunkt bestimmt. Dem Bildpunkt des Videobildes entsprechende Daten und der Bildpunkt des Tiefenbildes und/oder die Lagekoordinaten des Gegenstandspunkts werden einander zugeordnet.
-
Die Druckschrift
DE 690 21 354 T2 betrifft ein Hindernis-Detektionssystem mit wenigstens einem passiven Sensor, einer Inertial-Navigationseinheit und einer Szenen-Analysiereinheit, die an die Intertial-Navigationseinheit angeschlossen ist. Weiter umfasst das Hindernis-Detektionssystem eine optische Fließeinheit, die an den passiven Sensor (
22) angeschlossen ist, um Bildrahmen in regelmäßigen Zeitintervallen zu sammeln, während der Sensor in Bewegung ist, und die ferner an die Inertial-Navigationseinheit angeschlossen ist, um eine Drehung des laufenden Bildrahmens gegenüber dem vorhergehenden Bildrahmen zu kompensieren, und die ferner an die Szenen-Analysiereinheit angeschlossen ist, um Entfernungswerte für Punkte in der Szene aus der Translationsbewegung zwischen den Bildrahmen zu bestimmen.
-
Die Druckschrift A. Schanz: ”Fahrerassistenz zum automatischen Parken”, VDI-Verl., 2005, beschreibt den Ablauf eines automatischen Einparkvorgangs. Nach dem Einschalten des Systems durch den Fahrer beginnt dieses geeignete Parklücken zu suchen, meldet diese und bittet den Fahrer anzuhalten. Der Fahrer wählt aus den Vorschlägen des Systems aus und aktiviert die eigentliche Einparkfunktion. Das Assistenzsystem plant eine kollisionsfreie Bahn vom momentanen Standort zur Parkposition und fährt diese dann längs- und quergeregelt ab. Dabei muss der Fahrer mit einem Bedienelement die Funktion ständig überwachen und kann den Ablauf jederzeit unterbrechen. Werden Hindernisse wie z. B. Fußgänger entlang der geplanten Bahn erkannt hält das Fahrzeug selbstständig an.
-
Die Druckschrift
DE 197 30 414 A1 bezieht sich auf ein Verfahren und eine Vorrichtung zur vorausschauenden Beurteilung der Fahrbahn, auf der Räder eines Kraftfahrzeugs abrollen, wobei ein Laser-Lichtmuster im Triangulationsverfahren ausgewertet wird.
-
Die Druckschrift
DE 10 2006 007 150 A1 betrifft ein Verfahren und eine Vorrichtung zur Parklückenvermessung. Dabei weist das eingesetzte Sensorsystem wenigstens zwei zueinander geneigte Messebenen auf, wobei beide Messebenen gegen die horizontale Lage der Fahrbahnebene geneigt sind und einen von der horizontalen Lage der Fahrbahnebene abweichenden Winkel aufweisen. Innerhalb der Messebenen erfolgt eine ortsaufgelöste Ermittlung der Abstandsdaten.
-
Weiterhin werden in der Fahrzeugserie Ultraschall-Sensoren sowohl zur Vermessung von Parklücken als auch zur Warnung des Fahrers vor möglichen Hindernissen während des Einparkvorgangs verwendet.
-
Der aktuelle Stand des Parklückenvermessens bietet jedoch mehrere Nachteile. So werden bei der Verwendung des oben geschilderten Laserverfahrens Bordsteine nicht erkannt, sofern diese niedriger als der abgestrahlte Linienlaser sind. Mit anderen Worten, sämtliche kleineren Objekte, die unterhalb des Linienlasers liegen, werden nicht erkannt. Ebenso können Fahrbahnmarkierungen nicht detektiert werden. Mittels Ultraschall-Sensoren sind Abstände zu Objekten, die im Erfassungsbereich des Ultraschalls liegen, messbar, jedoch ist nicht sichergestellt, dass diese erfassten Objekte auch tatsächlich im Fahrschlauch liegen. Daher kommt es bei Ultraschall-Sensoren oft zu Fehlauslösungen, da naheliegende Objekte als vermeintliche Hindernisse erkannt werden, obwohl sie nicht im Fahrschlauch liegen. Bei der Detektion von Parklücken mittel Motion-Stereo ist eine ausreichende Beleuchtung notwendig, um auswertungsfähige Kamerabilder zur Verfügung zu haben.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Vermessung der Umgebung eines Kraftfahrzeugs sowie einen entsprechenden Parkassistenten zu verbessern, wobei die 3D-Daten der Kraftfahrzeugumgebung einen geringeren Fehler aufweisen.
-
Diese Aufgabe wird durch ein Verfahren zur Vermessung der Umgebung eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 1, eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 6 sowie durch einen Parkassistenten mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei dem erfindungsgemäßen Verfahren zur Vermessung des Umfelds eines Kraftfahrzeugs werden mittels der von einer Kamera aufgenommenen Bildern der Umgebung des Kraftfahrzeugs die 3D-Umfelddaten des Kraftfahrzeugumfelds mittels einer Motion-Stereo-Analyse bestimmt. Ferner wird mittels eines scannenden Laserstrahls eines Lasersystems, das unter einem vorgegebenen Winkel zur Kamera angeordnet ist, von dem von der Kamera detektierten reflektierten Laserlicht unter Berücksichtigung des Winkels zwischen Kamera und Lasersystem und der räumlichen Ausrichtung des Laserstrahls zweite 3D-Umfelddaten des Kraftfahrzeugumfelds ermittelt, wobei der Laserstrahl eine vorgegebene räumliche Ausrichtung aufweist. Schließlich wird aus den ersten und zweiten 3D-Daten ein gemeinsamer 3D-Datensatz des Umfelds des Kraftfahrzeugs erzeugt. Mit anderen Worten, die 3D-Daten der Motion-Stereo-Analyse können durch die 3D-Daten des Lasersystems überprüft, verifiziert und gegebenenfalls verbessert werden, so dass das Zusammenführen der ersten und zweiten 3D-Datensätze zu einem gemeinsamen 3D-Datensatz die Qualität der 3D-Daten signifikant erhöht.
-
Ferner wird aus dem reflektierten Laserlicht die Reflektivität des jeweiligen Kraftfahrzeugumfelds bestimmt, wobei aus der gemessenen Reflektivität und den 3D-Daten des Motion-Stereo-Verfahrens auf Fahrbahnmarkierungen geschlossen werden kann, wenn die gemessene Reflektivität oberhalb einer vorgegebenen Schwelle liegt. Insbesondere kann auf diese Weise beispielsweise bei Parkassistenten gegebenenfalls vorhandene Parkplatzmarkierungen und deren Koordinaten, d. h. räumliche Anordnung, durch das Zusammenspiel des Motion-Stereo-Verfahrens und des Laserscannens präziser ermittelt werden.
-
Vorzugsweise wird die genannte räumliche Struktur des Laserstrahls durch eine senkrecht zur Fahrbahnebene verlaufende Linie gebildet. Mit anderen Worten, der Laserstrahl wird durch eine entsprechende Optik in eine Strahlebene aufgeweitet und bildet daher am Ort des Auftreffs keine Punktform, sondern eine Linienform. Derartige Laser werden auch durch den Begriff Linienlaser charakterisiert. Durch diese senkrecht verlaufende Linie werden beispielsweise alle Bodenunebenheiten vermessen. Ferner können durch die erhöhte Reflexivität der Fahrbahnmarkierungen diese erkannt werden, und da deren 3D-Position aufgrund der Motion-Stereo-Analyse bekannt ist, als Fahrbahnmarkierungen erkannt und klassifiziert werden.
-
Ferner kann die räumliche Struktur des Laserlichts durch mehrere, senkrecht zur Fahrbahnebene verlaufenden Linien gebildet werden, wodurch ein schnelleres Erkennen des Umfelds ermöglicht wird.
-
Vorzugsweise kann die räumliche Struktur des Laserlichts auch durch ein Raster, insbesondere durch ein Schachbrettmuster, gebildet werden. Mit anderen Worten, der Laser wird so aufgespaltet, dass er nicht eine Linie darstellt, sondern ein schachbrettartiges Muster, das so ausgerichtet ist, dass alle Linien des Rasters zu der verwendeten Kamera einen Winkel definieren. Durch die Verwendung eines solchen Rasters, insbesondere eines schachbrettartigen Musters, ist eine ganze Fläche des Kraftfahrzeugumfelds gleichzeitig, d. h. synchron, erfassbar.
-
Vorzugsweise scannt der Laserstrahl einen vorgegebenen Winkelbereich ab. Es ist daher möglich, den Scanbereich des Lasersystems durch die Bewegung des Kraftfahrzeugs festzulegen, es ist jedoch auch möglich, den Laserstrahl aktiv scannend über einen vorgegebenen Winkelbereich auszulegen. Beide Ausführungen können beispielsweise bei der Vermessung des seitlichen Umfelds des Kraftfahrzeugs verwendet werden, wie dies bei der Suche nach geeigneten Parkplätzen bei Parkassistenten notwendig ist.
-
Eine erfindungsgemäße Vorrichtung zur Durchführung des im vorangegangenen erläuterten Verfahrens umfasst mindestens eine Kamera und mindestens ein unter einem vorgegebenen Winkel zur Kamera angeordnetes Lasersystem, wobei das Lasersystem einen Laserstrahl mit einer vorgegebenen räumlichen Struktur erzeugt, sowie eine Auswerteeinrichtung zur Bestimmung von ersten 3D-Daten mittels einer Motion-Stereo-Analyse von Bildern der mindestens einen Kamera und eines zweiten 3D-Datensatzes aus dem von der Kamera ermittelten reflektierten Laserlichts und einer nachfolgenden Fusionseinheit zum Zusammenführen der ersten und der zweiten 3D-Daten zu einem gemeinsamen 3D-Datensatz der entsprechenden Umgebung des Kraftfahrzeugs.
-
Vorzugsweise wird die räumliche Struktur durch eine senkrecht zur Fahrbahnebene verlaufende Ebene des Laserlichts erzeugt, so dass das auf ein Hindernis auftreffende Laserlicht eine senkrecht verlaufende Linie bildet. Mit anderen Worten, der Laser ist ein sogenannter Linienlaser, dessen Licht durch eine geeignete Optik in eine Lichtebene aufgefächert wird. Andere räumliche Strukturen können vorzugsweise ebenso verwendet werden, beispielsweise eine Rasterstruktur oder eine Struktur mehrerer Laserstrahlebenen, wobei die Linien des Rastermusters bzw. die Laserstrahlebenen gegenüber der Kamera einen Winkel bilden. Ferner ist die Kamera von der Laserquelle um einen vorgegebenen Abstand beabstandet.
-
Weiter bevorzugt strahlt das Lasersystem im infraroten Wellenlängenbereich, wodurch eine Vermessung der Umgebung für das menschliche Auge nicht sichtbar wäre. Entsprechend muss dann die Kamera auch in der Lage sein, im infraroten Wellenlängenbereich des Lasers geeignet detektieren zu können.
-
Ein erfindungsgemäßes Parkassistenzsystem, welches die im Vorangegangenen erläuterte Vorrichtung verwendet, leuchtet mittels des Lasersystems zur Detektion und Vermessung von Parkplatzlücken die seitliche Umgebung des Kraftfahrzeugs aus und legt aufgrund der ermittelten fusionierten 3D-Daten eine Einparkstrategie fest und führt diese durch. Dabei kann das Parkassistenzsystem ein solches sein, welches dem Fahrer Hilfe anbietet, den Parkvorgang teilautomatisch durchführt oder ein autonomes Ein- bzw. Ausparken des Fahrzeugs in bzw. aus einer Parklücke durchführt.
-
Dabei bestimmt die Auswerteeinrichtung aus dem reflektierten Laserlicht die Reflektivität des jeweiligen Kraftfahrzeugumfelds, wobei aus der gemessenen Reflektivität und den 3D-Daten des Motion-Stereo-Verfahrens auf Fahrbahnmarkierungen geschlossen werden kann, wenn die gemessene Reflektivität oberhalb einer vorgegebenen Schwelle liegt.
-
Vorzugsweise ist bei einem derartigen Parkassistenzsystem die Kamera in einem rechten und/oder linken Seitenspiegel des Kraftfahrzeugs angeordnet, und das Lasersystem befindet sich in der Nähe des rechten und/oder linken Scheinwerfers oder das Lasersystem ist in der Nähe des rechten und/oder des linken Rücklichts angeordnet. Selbstverständlich kann das Parkassistenzsystem zwei Kameras bzw. zwei Lasersysteme aufweisen, wobei jeweils eine Kamera und ein Lasersystem auf der rechten und das zweite auf der linken Fahrzeugseite angeordnet ist, so dass das Parkassistenzsystem beide seitlichen Umgebungen des Kraftfahrzeugs beobachten kann.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
-
1 ein Kraftfahrzeug mit erfindungsgemäßem Parkassistenzsystem, und
-
2 eine schematische Darstellung der Funktionsweise der erfindungsgemäßen Vorrichtung.
-
1 zeigt in Draufsicht ein Kraftfahrzeug 1 mit linkem Seitenspiegel 2 und rechtem Seitenspiegel 3. In den beiden Seitenspiegeln 2, 3 ist jeweils eine nicht dargestellte Kamera angeordnet, die mit einer geeigneten Optik einen entsprechenden Sichtbereich 4, 5 der seitlichen Umgebung des Kraftfahrzeugs einsehen. In der Nähe der Rückspiegel sind seitlich Lasersysteme 6, 7 angeordnet, wie dies hier schematisch angedeutet ist. Dabei strahlen die Lasersysteme entweder in vorgegebenen festen Richtungen 8, 9 in seitlicher Richtung, oder sie scannen über einen vorgegebenen Winkelbereich 10, 11 die seitliche Umgebung des Kraftfahrzeugs. Bewegt sich nun das Kraftfahrzeug 1 in Vorwärtsrichtung 12, so können die seitlichen in den Rückspiegeln 2, 3 angeordneten Kameras mittels Motion-Stereo die linke und die rechte Umgebung des Kraftfahrzeugs vermessen und entsprechend 3D-Datensätze erstellen. Mittels der Lasersysteme 6, 7 können nun ebenfalls mittels des Winkels zwischen den Lasersystemen und der entsprechenden Kamera 3D-Daten erstellt werden. Bei fester Beobachtungsrichtung setzt dies neben dem Winkel und dem notwendigen Abstand zwischen Lasersystem und entsprechender Kamera eine Bewegung des Fahrzeugs voraus, um die gesamte seitliche Umgebung des Fahrzeugs scannen zu können, und so einen Abgleich zwischen den 3D-Daten durch Motion-Stereo und den Lasersystem-3D-Daten vornehmen zu können. Falls die Lasersysteme über einen vorgegebenen Winkelbereich 10, 11 scannen können, ist zur Erstellung von 3D-Daten mittels der Lasersysteme keine Bewegung des Fahrzeugs 1 notwendig, sondern die linken und rechten seitlichen Umgebungen des Kraftfahrzeugs können über den Scanverlauf ermittelt werden. Jedoch kann bei einem stehenden Fahrzeug keine Motion-Stereo-3D-Daten erzeugt werden.
-
Allerdings können so erste 3D-Datensätze bei einem stehenden Fahrzeug mittels der Lasersysteme erzeugt werden, die dann mit der Bewegung des Fahrzeugs durch Motion-Stereo ergänzt bzw. verbessert werden können.
-
Wie bereits erwähnt, sind die Lasersysteme Linienlaser mit senkrecht zur Fahrbahnebene verlaufenden Linien bzw. Strahlebenen. Aufgrund des senkrechten Verlaufs der Linie bzw. der Strahlebene können anhand des Linienverlaufs auch kleine Hindernisse in der Fahrbahnebene, wie Bordsteine usw., von den Linienlasern in Verbindung mit dem Kamerasystem erkannt werden. Messungen der Reflexivität des Laserlinienverlaufs als Funktion des Ortes, dessen Koordinaten durch die 3D-Daten der Motion-Stereo-Analyse bekannt sind, können zur Verbesserung der Erkennung von Fahrbahnen, insbesondere Parkplatzmarkierungen führen.
-
Insbesondere kann ein Infrarot-Linienlaser verwendet werden, so dass der Messvorgang für das menschliche Auge nicht sichtbar ist. Mit der Verwendung derartiger Infrarot-Wellenlängen kann der Linienverlauf im Kamerabild beispielsweise durch ein Subtraktionsverfahren von zwei entsprechenden ortsgleichen Kamerabildern durch eine Differenzbildung zwischen einem Kamerabild mit Laserlicht und einem entsprechenden Kamerabild ohne Laserlicht vorgenommen werden. Diese Differenzdaten können kann amplitudenmäßig analysiert werden, um die Reflexivität entlang der reflektierten Lichtlinie bestimmen zu können, um Orte hoher Reflexivität als Fahrbahnmarkierungen zu identifizieren.
-
Die Kombination des Linienlasersystemverfahrens mit dem Motion-Stereo-Verfahren ermöglicht die Erzeugung eines 3D-Datensatzes der linken oder rechten seitlichen Umgebung des Kraftfahrzeugs mit hoher Qualität.
-
2 zeigt den schematischen Aufbau der erfindungsgemäßen Vorrichtung, die vorzugsweise in einem Parkassistenzsystem eingesetzt werden kann. Dabei beobachtet eine Kamera 20 die Umgebung eines Krafffahrzeugs, welche gleichzeitig durch ein Lasersystem 21, vorzugsweise im lnfraroten, gescannt bzw. ausgeleuchtet wird. Aus den Bildern der Kamera zu verschiedenen Zeiten, d. h. zu verschiedenen Positionen des sich bewegenden Kraftfahrzeugs, wird mittels Motion-Stereo in einer Auswerteeinheit 22 ein 3D-Datensatz der beobachteten Umgebung des Kraftfahrzeugs ermittelt. Ferner wird mittels der von dem Lasersystem 21 unter einem vorgegebenen Abstand und einem vorgegebenen Winkel angeordneten Kamera 20 das reflektierte Bild des Linienlasers 21 aus dem Kamerabild extrahiert und in der Auswerteeinheit 22 analysiert. Die sich in der Auswerteeinheit 22 ergebenden 3D-Daten des Kamera-Lasersystem sowie die Motion-Stereo-3D-Daten der sich bewegenden Kamera in einer Fusionseinheit 23 zusammengeführt, und es ergeben sich fusionierte 3D-Daten 24, die aufgrund der redundanten Ermittlung eine höhere Genauigkeit aufweisen.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- linker Seitenspiegel
- 3
- rechter Seitenspiegel
- 4
- Sichtbereich Kamera links
- 5
- Sichtbereich Kamera rechts
- 6
- Lasersystem links
- 7
- Lasersystem rechts
- 8
- feste Beobachtungsrichtung Laser links
- 9
- feste Beobachtungsrichtung Laser echts
- 10
- Beobachtungsbereich Laser links
- 11
- Beobachtungsbereich Laser rechts
- 20
- Kamera
- 21
- Lasersystem
- 22
- Auswerteeinheit
- 23
- Fusionseinheit
- 24
- fusionierte 3D-Daten