DE102009038406A1

DE102009038406A1 - Method for determining environment of motor vehicle, involves arranging scanning laser beam of laser system under predetermined angle for camera

Info

Publication number: DE102009038406A1
Application number: DE102009038406A
Authority: DE
Inventors: Richard Dr. Auer; Stefan Dr. Brosig; Daniel Mossau; Dennis Rosebrock; Jens Spehr
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2009-08-24
Filing date: 2009-08-24
Publication date: 2011-03-03
Anticipated expiration: 2029-08-25
Also published as: DE102009038406B4

Abstract

Bei einem Verfahren bzw. Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs, wobei aus von einer Kamera aufgenommenen Bildern der Umgebung des Kraftfahrzeugs mittels Motion Stereo erste 3-D-Umfelddaten des Umfeldes bestimmt werden, mittels eines abtastenden Laserstrahls eines Lasersystems, welches unter einem vorgegebenen Winkel zur Kamera angeordnet ist, wobei der Laserstrahl eine vorgegebene räumliche Ausrichtung aufweist, aus dem von der Kamera detektierten reflektierten Laserlicht unter Berücksichtigung des Winkels zwischen Kamera und Lasersystem und der räumlichen Ausrichtung des Laserstrahls zweite 3-D-Daten des Kraftfahrzeugumfeldes ermittelt werden, und werden die ersten und die zweiten 3-D-Daten zu einem gemeinsamen 3-D-Datensatz des Umfeldes des Kraftfahrzeugs verarbeitet.In a method and device for measuring the surroundings of a motor vehicle, the first 3-D surroundings data of the surroundings being determined from images recorded by a camera of the surroundings of the motor vehicle by means of motion stereo, by means of a scanning laser beam from a laser system which is at a predetermined angle is arranged to the camera, the laser beam having a predetermined spatial orientation, and second 3D data of the motor vehicle environment are determined from the reflected laser light detected by the camera, taking into account the angle between the camera and laser system and the spatial orientation of the laser beam, and first and second 3-D data processed into a common 3-D data record of the environment of the motor vehicle.

Description

Die Erfindung betrifft ein Verfahren zur Vermessung des Umfelds eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 und eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 6. Ferner betrifft die Erfindung einen Parkassistenten gemäß dem Oberbegriff des Anspruchs 11.The invention relates to a method for measuring the surroundings of a motor vehicle according to the preamble of claim 1 and to a corresponding device according to the preamble of claim 6. Furthermore, the invention relates to a parking assistant according to the preamble of claim 11.

Verfahren und Vorrichtungen zur Vermessung des Umfelds eines Kraftfahrzeugs sind bekannt und werden in vielfältiger Form in heutigen modernen Kraftfahrzeugen eingesetzt. So sind beispielsweise Radarsysteme im Einsatz, um in ACC-Fahrerassistenzsystemen (ACC: Automatic Cruise Control) das vorwärtige Umfeld des Kraftfahrzeugs vermessen zu können. Ferner werden Kamerasysteme, Lasersysteme, Radar und Ultraschallsysteme zur Detektion und Vermessung von Parklücken bei Parkassistenten eingesetzt. Systeme zum Halten des Fahrzeugs in der eigenen Fahrspur, sogenannte Lane-Assists-Systeme, detektieren Fahrspurbegrenzungen bzw. Fahrspurmarkierungen und halten das Eigenfahrzeug durch geeignete Lenkmomente innerhalb der eigenen Fahrspur.Methods and devices for measuring the environment of a motor vehicle are known and are used in many forms in modern motor vehicles. For example, radar systems are used to measure the forward environment of the motor vehicle in ACC driver assistance systems (ACC: Automatic Cruise Control). Furthermore, camera systems, laser systems, radar and ultrasound systems are used to detect and measure parking spaces in parking assistants. Systems for holding the vehicle in its own lane, so-called lane-assists systems, detect lane boundaries or lane markings and keep the own vehicle by appropriate steering moments within its own lane.

So sind zur Umfelderfassung Laserscanner mit einem mechanisch rotierenden Kopf bekannt, wobei durch Drehen des Kopfes mittels des Lasers die Umgebung abgetastet und erfasst wird.For example, laser scanners with a mechanically rotating head are known for detecting the surroundings, the surroundings being scanned and detected by turning the head by means of the laser.

Aus der Druckschrift H. G. Jung et al.: ”Light stripe projection based parking space detection for intelligent parking Systems”, Proceedings of the 2007 IEEE Intelligent Vehicle's Symposium, Istanbul, Turkey, 13.–15. Juni, 2007, S. 962–968 , wird zur Bestimmung von Parklücken in schlecht ausgeleuchteten Parkgaragen ein in einer waagerechten Ebene strahlender Linienlaser verwendet, dessen reflektiertes Licht von einer unter einem Winkel zum Laser stehenden Kamera detektiert wird. Aus dem Verlauf der reflektierten Linien kann auf eine mögliche Parklücke geschlossen werden.From the publication HG Jung et al .: "Light stripe projection based parking space detection for smart parking systems", Proceedings of the 2007 IEEE Intelligent Vehicle's Symposium, Istanbul, Turkey, 13.-15. June, 2007, p. 962-968 In order to determine parking spaces in poorly lit parking garages, a line laser radiating in a horizontal plane is used, the reflected light of which is detected by a camera standing at an angle to the laser. From the course of the reflected lines can be closed to a possible parking space.

Ferner sind auch Motion-Stereo-Verfahren zur Bestimmung von 3D-Daten bekannt, wie es beispielsweise in E. Wahl et al.: ”Realisierung eines Parkassistenten, basierend auf Motion-Stereo”, 16. Aachener Kolloquium Fahrzeug- und Motorentechnik 2007, S. 871–880 , beschrieben ist, wobei mittels einer Kamera und der Bewegung des Fahrzeugs Parklücken vermessen werden, indem zwei Bilder von verschiedenen Betrachtungspunkten desselben Umgebungsgebiets verwendet werden, um mittels Stereo-Algorithmen Tiefeninformationen zu bestimmen, um so 3D-Daten, der Kraftfahrzeugumgebung zu ermitteln.Furthermore, motion stereo methods for the determination of 3D data are known, as for example in E. Wahl et al .: "Realization of a parking assistant, based on motion stereo", 16th Aachen Colloquium Vehicle and Engine Technology 2007, p. 871-880 Parking space is measured by means of a camera and the movement of the vehicle by two images from different viewpoints of the same surrounding area are used to determine by means of stereo algorithms depth information, so as to determine 3D data, the automotive environment.

Weiterhin werden in der Fahrzeugserie Ultraschall-Sensoren sowohl zur Vermessung von Parklücken als auch zur Warnung des Fahrers vor möglichen Hindernissen während des Einparkvorgangs verwendet.Furthermore, in the vehicle series ultrasonic sensors are used both for the measurement of parking spaces and to warn the driver of possible obstacles during the parking process.

Der aktuelle Stand des Parklückenvermessens bietet jedoch mehrere Nachteile. So werden bei der Verwendung des oben geschilderten Laserverfahrens Bordsteine nicht erkannt, sofern diese niedriger als der abgestrahlte Linienlaser sind. Mit anderen Worten, sämtliche kleineren Objekte, die unterhalb des Linienlasers liegen, werden nicht erkannt. Ebenso können Fahrbahnmarkierungen nicht detektiert werden. Mittels Ultraschall-Sensoren sind Abstände zu Objekten, die im Erfassungsbereich des Ultraschalls liegen, messbar, jedoch ist nicht sichergestellt, dass diese erfassten Objekte auch tatsächlich im Fahrschlauch liegen. Daher kommt es bei Ultraschall-Sensoren oft zu Fehlauslösungen, da naheliegende Objekte als vermeintliche Hindernisse erkannt werden, obwohl sie nicht im Fahrschlauch liegen. Bei der Detektion von Parklücken mittel Motion-Stereo ist eine ausreichende Beleuchtung notwendig, um auswertungsfähige Kamerabilder zur Verfügung zu haben.However, the current state of parking space measurement offers several disadvantages. Thus, curbs are not recognized when using the above-described laser method, provided that they are lower than the emitted line laser. In other words, all smaller objects that lie below the line laser are not recognized. Likewise, lane markings can not be detected. Ultrasonic sensors can be used to measure distances to objects that lie within the detection range of the ultrasound, but it is not certain that these detected objects actually lie in the travel tube. Therefore, ultrasound sensors often cause false triggering because nearby objects are recognized as supposed obstacles, even though they are not in the raceway. When detecting parking spaces using motion stereo, sufficient lighting is required to have evaluable camera images available.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Vermessung der Umgebung eines Kraftfahrzeugs sowie einen entsprechenden Parkassistenten zu schaffen, damit die 3D-Daten der Kraftfahrzeugumgebung einen geringeren Fehler aufweisen.The invention is therefore based on the object to provide a method and an apparatus for measuring the environment of a motor vehicle and a corresponding parking assistant, so that the 3D data of the automotive environment have a lower error.

Diese Aufgabe wird durch ein Verfahren zur Vermessung der Umgebung eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 1, eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 6 sowie durch einen Parkassistenten mit den Merkmalen des Anspruchs 11 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.This object is achieved by a method for measuring the surroundings of a motor vehicle having the features of claim 1, a corresponding device having the features of claim 6 and by a parking assistant having the features of claim 11. Preferred embodiments of the invention are subject of the dependent claims.

Bei dem erfindungsgemäßen Verfahren zur Vermessung des Umfelds eines Kraftfahrzeugs werden mittels der von einer Kamera aufgenommenen Bildern des Umgebung des Kraftfahrzeugs die 3D-Umfelddaten des Kraftfahrzeugumfelds mittels einer Motion-Stereo-Analyse bestimmt. Ferner wird mittels eines scannenden Laserstrahls eines Lasersystems, das unter einem vorgegebenen Winkel zur Kamera angeordnet ist, von dem von der Kamera detektierten reflektierten Laserlicht unter Berücksichtigung des Winkels zwischen Kamera und Lasersystem und der räumlichen Ausrichtung des Laserstrahls zweite 3D-Umfelddaten des Kraftfahrzeugumfelds ermittelt, wobei der Laserstrahl eine vorgegebene räumliche Ausrichtung aufweist. Schließlich werden aus den ersten und zweiten 3D-Daten ein gemeinsamer 3D-Datensatz des Umfelds des Kraftfahrzeugs erzeugt. Mit anderen Worten, die 3D-Daten der Motion-Stereo-Analyse können durch die 3D-Daten des Lasersystems überprüft, verifiziert und gegebenenfalls verbessert werden, so dass das Zusammenführen der ersten und zweiten 3D-Datensätze zu einem gemeinsamen 3D-Datensatz die Qualität der 3D-Daten signifikant erhöht.In the method according to the invention for measuring the surroundings of a motor vehicle, the 3D surroundings data of the motor vehicle environment are determined by means of a motion stereo analysis by means of the images of the surroundings of the motor vehicle recorded by a camera. Further, by means of a scanning laser beam of a laser system, which is arranged at a predetermined angle to the camera, from the detected by the camera reflected laser light taking into account the angle between the camera and the laser system and the spatial orientation of the laser beam second 3D environment data of the motor vehicle environment determined the laser beam has a predetermined spatial orientation. Finally, from the first and second 3D data, a common 3D data record of the environment of the motor vehicle is generated. In other words, the 3D data of the motion stereo analysis can be determined by the 3D data of the Laser systems are checked, verified and possibly improved, so that merging the first and second 3D data sets to a common 3D data set significantly increases the quality of the 3D data.

Vorzugsweise wird die genannte räumliche Struktur des Laserstrahls durch eine senkrecht zur Fahrbahnebene verlaufende Linie gebildet. Mit anderen Worten, der Laserstrahl wird durch eine entsprechende Optik in eine Strahlebene aufgeweitet und bildet daher am Ort des Auftreffs keine Punktform, sondern eine Linienform. Derartige Laser werden auch durch den Begriff Linienlaser charakterisiert. Durch diese senkrecht verlaufende Linie werden beispielsweise alle Bodenunebenheiten vermessen. Ferner können durch die erhöhte Reflexivität der Fahrbahnmarkierungen diese erkannt werden, und da deren 3D-Position aufgrund der Motion-Stereo-Analyse bekannt ist, als Fahrbahnmarkierungen erkannt und klassifiziert werden.Preferably, said spatial structure of the laser beam is formed by a line perpendicular to the roadway plane. In other words, the laser beam is widened by a corresponding optics in a beam plane and therefore forms at the place of impact no point shape, but a line shape. Such lasers are also characterized by the term line laser. By this vertical line, for example, all uneven floors are measured. In addition, due to the increased reflectivity of the lane markings, they can be recognized, and because their 3D position is known on the basis of motion stereo analysis, they can be recognized and classified as lane markings.

Ferner kann die räumliche Struktur des Laserlichts durch mehrere, senkrecht zur Fahrbahnebene verlaufenden Linien gebildet werden, wodurch ein schnelleres Erkennen des Umfelds ermöglicht wird.Furthermore, the spatial structure of the laser light can be formed by a plurality of lines running perpendicular to the roadway plane, whereby a faster recognition of the environment is made possible.

Vorzugsweise kann die räumliche Struktur des Laserlichts auch durch ein Raster, insbesondere durch ein Schachbrettmuster, gebildet werden. Mit anderen Worten, der Laser wird so aufgespaltet, dass er nicht eine Linie darstellt, sondern ein schachbrettartiges Muster, das so ausgerichtet ist, dass alle Linien des Rasters zu der verwendeten Kamera einen Winkel definieren. Durch die Verwendung eines solchen Rasters, insbesondere eines schachbrettartigen Musters, ist eine ganze Fläche des Kraftfahrzeugumfelds gleichzeitig, d. h. synchron, erfassbar.Preferably, the spatial structure of the laser light can also be formed by a grid, in particular by a checkerboard pattern. In other words, the laser is split so that it does not represent a line, but a checkered pattern that is oriented so that all lines of the grid define an angle to the camera used. By using such a grid, in particular a checkered pattern, an entire area of the motor vehicle environment is at the same time, d. H. synchronous, detectable.

Vorzugsweise scannt der Laserstrahl einen vorgegebenen Winkelbereich ab. Es ist daher möglich, den Scanbereich des Lasersystems durch die Bewegung des Kraftfahrzeugs festzulegen, es ist jedoch auch möglich, den Laserstrahl aktiv scannend über einen vorgegebenen Winkelbereich auszulegen. Beide Ausführungen können beispielsweise bei der Vermessung des seitlichen Umfelds des Kraftfahrzeugs verwendet werden, wie dies bei der Suche nach geeigneten Parkplätzen bei Parkassistenten notwendig ist.Preferably, the laser beam scans a predetermined angular range. It is therefore possible to determine the scanning range of the laser system by the movement of the motor vehicle, but it is also possible to actively design the laser beam over a predetermined angular range. Both versions can be used for example in the measurement of the lateral environment of the motor vehicle, as is necessary in the search for suitable parking spaces at parking assistants.

Eine erfindungsgemäße Vorrichtung zur Durchführung des im vorangegangenen erläuterten Verfahrens umfasst mindestens eine Kamera und mindestens ein unter einem vorgegebenen Winkel zur Kamera angeordnetes Lasersystem, wobei das Lasersystem einen Laserstrahl mit einer vorgegebenen räumlichen Struktur erzeugt, sowie eine Auswerteeinrichtung zur Bestimmung von ersten 3D-Daten mittels einer Motion-Stereo-Analyse von Bildern der mindestens einen Kamera und eines zweiten 3D-Datensatzes aus dem von der Kamera ermittelten reflektierten Laserlichts und einer nachfolgenden Fusionseinheit zum Zusammenführen der ersten und der zweiten 3D-Daten zu einem gemeinsamen 3D-Datensatz der entsprechenden Umgebung des Kraftfahrzeugs.A device according to the invention for carrying out the above-explained method comprises at least one camera and at least one laser system arranged at a predetermined angle to the camera, wherein the laser system generates a laser beam with a predetermined spatial structure, and an evaluation device for determining first 3D data by means of a Motion stereo analysis of images of the at least one camera and a second 3D data set from the laser light detected by the camera and a subsequent fusion unit for combining the first and the second 3D data into a common 3D data record of the corresponding environment of the motor vehicle ,

Vorzugsweise wird die räumliche Struktur durch eine senkrecht zur Fahrbahnebene verlaufende Ebene des Laserlichts erzeugt, so dass das auf ein Hindernis auftreffende Laserlicht eine senkrecht verlaufende Linie bildet. Mit anderen Worten, der Laser ist ein sogenannter Linienlaser, dessen Licht durch eine geeignete Optik in eine Lichtebene aufgefächert wird. Andere räumliche Strukturen können vorzugsweise ebenso verwendet werden, beispielsweise eine Rasterstruktur oder eine Struktur mehrerer Laserstrahlebenen, wobei die Linien des Rastermusters bzw. die Laserstrahlebenen gegenüber der Kamera einen Winkel bilden. Ferner ist die Kamera von der Laserquelle um einen vorgegebenen Abstand beabstandet.The spatial structure is preferably generated by a plane of the laser light extending perpendicularly to the roadway plane, so that the laser light striking an obstacle forms a perpendicular line. In other words, the laser is a so-called line laser whose light is fanned out by a suitable optics in a plane of light. Other spatial structures may preferably also be used, for example a grid structure or a structure of a plurality of laser beam planes, wherein the lines of the grid pattern or the laser beam planes form an angle relative to the camera. Further, the camera is spaced from the laser source by a predetermined distance.

Weiter bevorzugt strahlt das Lasersystem im infraroten Wellenlängenbereich, wodurch eine Vermessung der Umgebung für das menschliche Auge nicht sichtbar wäre. Entsprechend muss dann die Kamera auch in der Lage sein, im infraroten Wellenlängenbereich des Lasers geeignet detektieren zu können.More preferably, the laser system radiates in the infrared wavelength range, whereby a measurement of the environment would not be visible to the human eye. Accordingly, then the camera must also be able to detect suitable in the infrared wavelength range of the laser.

Vorzugsweise bestimmt die Auswerteeinrichtung aus dem reflektierten Laserlicht die Reflektivität des jeweiligen Kraftfahrzeugumfelds, wobei aus der gemessenen Reflektivität und den 3D-Daten des Motion-Stereo-Verfahrens auf Fahrbahnmarkierungen geschlossen werden kann, wenn die gemessene Reflektivität oberhalb einer vorgegebenen Schwelle liegt. Insbesondere kann auf diese Weise beispielsweise bei Parkassistenten gegebenenfalls vorhandene Parkplatzmarkierungen und deren Koordinaten, d. h., räumliche Anordnung, durch das Zusammenspiel des Motion-Stereo-Verfahrens und des Laserscannens präziser ermittelt werden.Preferably, the evaluation device determines the reflectivity of the respective motor vehicle environment from the reflected laser light, it being possible to infer road markings from the measured reflectivity and the 3D data of the motion stereo method if the measured reflectivity is above a predetermined threshold. In particular, in this way, for example, parking assistants may be present parking marks and their coordinates, d. h., Spatial arrangement, are determined by the interaction of the motion stereo method and the laser scanning more precise.

Ein erfindungsgemäßes Parkassistenzsystem, welches die im Vorangegangenen erläuterte Vorrichtung verwendet, leuchtet mittels des Lasersystems zur Detektion und Vermessung von Parkplatzlücken die seitliche Umgebung des Kraftfahrzeugs aus und legt aufgrund der ermittelten fusionierten 3D-Daten eine Einparkstrategie fest und führt diese durch. Dabei kann das Parkassistenzsystem ein solches sein, welches dem Fahrer Hilfe anbietet, den Parkvorgang teilautomatisch durchführt oder ein autonomes Ein- bzw. Ausparken des Fahrzeugs in bzw. aus einer Parklücke durchführt.A parking assistance system according to the invention, which uses the device explained above, illuminates the lateral environment of the motor vehicle by means of the laser system for detecting and measuring parking space gaps and determines a parking strategy on the basis of the determined merged 3D data and executes it. In this case, the parking assistance system may be one which offers assistance to the driver, carries out the parking operation semi-automatically or carries out autonomous parking or parking of the vehicle in or out of a parking space.

Vorzugsweise ist bei einem derartigen Parkassistenzsystem die Kamera in einem rechten und/oder linken Seitenspiegel des Kraftfahrzeugs angeordnet, und das Lasersystem befindet sich in der Nähe des rechten und/oder linken Scheinwerfers oder das Lasersystem ist in der Nähe des rechten und/oder des linken Rücklichts angeordnet. Selbstverständlich kann das Parkassistenzsystem zwei Kameras bzw. zwei Lasersysteme aufweisen, wobei jeweils eine Kamera und ein Lasersystem auf der rechten und das zweite auf der linken Fahrzeugseite angeordnet ist, so dass das Parkassistenzsystem beide seitlichen Umgebungen des Kraftfahrzeugs beobachten kann. In such a parking assistance system, the camera is preferably arranged in a right and / or left side mirror of the motor vehicle, and the laser system is located in the vicinity of the right and / or left headlight or the laser system is in the vicinity of the right and / or the left rear light arranged. Of course, the parking assistance system may comprise two cameras or two laser systems, wherein one camera and one laser system are arranged on the right and the second on the left side of the vehicle so that the parking assistance system can observe both lateral surroundings of the motor vehicle.

Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigtA preferred embodiment of the invention will be explained below with reference to the drawings. It shows

1 ein Kraftfahrzeug mit erfindungsgemäßem Parkassistenzsystem, und 1 a motor vehicle with inventive parking assistance system, and

2 eine schematische Darstellung der Funktionsweise der erfindungsgemäßen Vorrichtung. 2 a schematic representation of the operation of the device according to the invention.

1 zeigt in Draufsicht ein Kraftfahrzeug 1 mit linkem Seitenspiegel 2 und rechtem Seitenspiegel 3. In den beiden Seitenspiegeln 2, 3 ist jeweils eine nicht dargestellte Kamera angeordnet, die mit einer geeigneten Optik einen entsprechenden Sichtbereich 4, 5 der seitlichen Umgebung des Kraftfahrzeugs einsehen. In der Nähe der Rückspiegel sind seitlich Lasersysteme 6, 7 angeordnet, wie dies hier schematisch angedeutet ist. Dabei strahlen die Lasersysteme entweder in vorgegebenen festen Richtungen 8, 9 in seitlicher Richtung, oder sie scannen über einen vorgegebenen Winkelbereich 10, 11 die seitliche Umgebung des Kraftfahrzeugs. Bewegt sich nun das Kraftfahrzeug 1 in Vorwärtsrichtung 12, so können die seitlichen in den Rückspiegeln 2, 3 angeordneten Kameras mittels Motion-Stereo die linke und die rechte Umgebung des Kraftfahrzeugs vermessen und entsprechend 3D-Datensätze erstellen. Mittels der Lasersysteme 6, 7 können nun ebenfalls mittels des Winkels zwischen den Lasersystemen und der entsprechenden Kamera 3D-Daten erstellt werden. Bei fester Beobachtungsrichtung setzt dies neben dem Winkel und dem notwendigen Abstand zwischen Lasersystem und entsprechender Kamera eine Bewegung des Fahrzeugs voraus, um die gesamte seitliche Umgebung des Fahrzeugs scannen zu können, und so einen Abgleich zwischen den 3D-Daten durch Motion-Stereo und den Lasersystem-3D-Daten vornehmen zu können. Falls die Lasersysteme über einen vorgegebenen Winkelbereich 10, 11 scannen können, ist zur Erstellung von 3D-Daten mittels der Lasersysteme keine Bewegung des Fahrzeugs 1 notwendig, sondern die linken und rechten seitlichen Umgebungen des Kraftfahrzeugs können über den Scanverlauf ermittelt werden. Jedoch kann bei einem stehenden Fahrzeug keine Motion-Stereo-3D-Daten erzeugt werden. Allerdings können so erste 3D-Datensätze bei einem stehenden Fahrzeug mittels der Lasersysteme erzeugt werden, die dann mit der Bewegung des Fahrzeugs durch Motion-Stereo ergänzt bzw. verbessert werden können. 1 shows a motor vehicle in plan view 1 with left side mirror 2 and right side mirror 3 , In the two side mirrors 2 . 3 is in each case a camera, not shown, arranged with a suitable optics a corresponding field of view 4 . 5 See the side environment of the motor vehicle. Near the rearview mirror are laterally laser systems 6 . 7 arranged, as indicated schematically here. The laser systems radiate either in predetermined fixed directions 8th . 9 in the lateral direction, or they scan over a predetermined angular range 10 . 11 the lateral environment of the motor vehicle. Now moves the motor vehicle 1 in the forward direction 12 so can the side in the rear-view mirrors 2 . 3 arranged cameras by means of motion stereo measure the left and the right environment of the motor vehicle and create corresponding 3D data sets. By means of the laser systems 6 . 7 Now 3D data can also be created by means of the angle between the laser systems and the corresponding camera. In the fixed direction of observation, in addition to the angle and the necessary distance between the laser system and the corresponding camera, this requires a movement of the vehicle in order to scan the entire lateral environment of the vehicle, and thus a comparison between the 3D data through motion stereo and the laser system 3D data. If the laser systems over a predetermined angular range 10 . 11 can not scan the vehicle to create 3D data using the laser systems 1 necessary, but the left and right side environments of the motor vehicle can be determined via the scan process. However, with a stationary vehicle no motion stereo 3D data can be generated. However, the first 3D data sets can thus be generated in a stationary vehicle by means of the laser systems, which can then be supplemented or improved with the movement of the vehicle by means of motion stereo.

Wie bereits erwähnt, sind die Lasersysteme Linienlaser mit senkrecht zur Fahrbahnebene verlaufenden Linien bzw. Strahlebenen. Aufgrund des senkrechten Verlaufs der Linie bzw. der Strahlebene können anhand des Linienverlaufs auch kleine Hindernisse in der Fahrbahnebene, wie Bordsteine usw., von den Linienlasern in Verbindung mit dem Kamerasystem erkannt werden. Messungen der Reflexivität des Laserlinienverlaufs als Funktion des Ortes, dessen Koordinaten durch die 3D-Daten der Motion-Stereo-Analyse bekannt sind, können zur Verbesserung der Erkennung von Fahrbahnen, insbesondere Parkplatzmarkierungen führen.As already mentioned, the laser systems are line lasers with lines or beam planes running perpendicular to the roadway plane. Due to the vertical course of the line or the beam plane, small obstacles in the road surface, such as curbs, etc., can be detected by the line lasers in conjunction with the camera system based on the course of the line. Measurements of the reflectivity of the laser line as a function of the location whose coordinates are known by the 3D data of the motion stereo analysis, can lead to the improvement of the recognition of lanes, especially parking marks.

Insbesondere kann ein Infrarot-Linienlaser verwendet werden, so dass der Messvorgang für das menschliche Auge nicht sichtbar ist. Mit der Verwendung derartiger Infrarot-Wellenlängen kann der Linienverlauf im Kamerabild beispielsweise durch ein Subtraktionsverfahren von zwei entsprechenden ortsgleichen Kamerabildern durch eine Differenzbildung zwischen einem Kamerabild mit Laserlicht und einem entsprechenden Kamerabild ohne Laserlicht vorgenommen werden. Diese Differenzdaten können kann amplitudenmäßig analysiert werden, um die Reflexivität entlang der reflektierten Lichtlinie bestimmen zu können, um Orte hoher Reflexivität als Fahrbahnmarkierungen zu identifizieren.In particular, an infrared line laser can be used so that the measuring process is not visible to the human eye. With the use of such infrared wavelengths, the line pattern in the camera image can be made, for example, by a subtraction method of two correspondingly identical camera images by subtraction between a camera image with laser light and a corresponding camera image without laser light. These difference data may be analyzed in amplitude to determine reflectivity along the reflected line of light to identify high reflectivity locations as lane markers.

Die Kombination des Linienlasersystemverfahrens mit dem Motion-Stereo-Verfahren ermöglicht die Erzeugung eines 3D-Datensatzes der linken oder rechten seitlichen Umgebung des Kraftfahrzeugs mit hoher Qualität.The combination of the line laser system method with the motion stereo method allows the generation of a 3D data set of the left or right side environment of the motor vehicle with high quality.

2 zeigt den schematischen Aufbau der erfindungsgemäßen Vorrichtung, die vorzugsweise in einem Parkassistenzsystem eingesetzt werden kann. Dabei beobachtet eine Kamera 20 die Umgebung eines Kraftfahrzeugs, welches gleichzeitig durch ein Lasersystem, vorzugsweise im Infraroten, 21 gescannt bzw. ausgeleuchtet wird. Aus den Bildern der Kamera zu verschiedenen Zeiten, d. h., zu verschiedenen Positionen. des sich bewegenden Kraftfahrzeugs, wird mittels Motion-Stereo in einer Auswerteeinheit 22 ein 3D-Datensatz der beobachteten Umgebung des Kraftfahrzeugs ermittelt. Ferner wird mittels der von dem Lasersystem 21 unter einem vorgegebenen Abstand und einem vorgegebenen Winkel angeordneten Kamera 20 das reflektierte Bild des Linienlasers 21 aus dem Kamerabild extrahiert und in der Auswerteeinheit 22 analysiert. Die sich in der Auswerteeinheit 22 ergebenden 3D-Daten des Kamera-Lasersystem sowie die Motion-Stereo-3D-Daten der sich bewegenden Kamera in einer Fusionseinheit 23 zusammengeführt, und es ergeben sich fusionierte 3D-Daten 24, die aufgrund der Redundanten Ermittlung eine höhere Genauigkeit aufweisen. 2 shows the schematic structure of the device according to the invention, which can be preferably used in a parking assistance system. While watching a camera 20 the environment of a motor vehicle, which at the same time by a laser system, preferably in the infrared, 21 scanned or illuminated. From the pictures of the camera at different times, ie, to different positions. of the moving motor vehicle, by means of motion stereo in an evaluation unit 22 a 3D data set of the observed environment of the motor vehicle determined. Further, by means of the laser system 21 Camera arranged at a predetermined distance and a predetermined angle 20 the reflected image of the line laser 21 extracted from the camera image and in the evaluation unit 22 analyzed. Which is in the evaluation unit 22 resulting 3D data of the camera Laser system and the motion stereo 3D data of the moving camera in a fusion unit 23 merged, resulting in fused 3D data 24 , which have a higher accuracy due to the redundant determination.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Kraftfahrzeugmotor vehicle
22: linker Seitenspiegelleft side mirror
33: rechter Seitenspiegelright side mirror
44: Sichtbereich Kamera linksViewing area camera left
55: Sichtbereich Kamera rechtsViewing area camera right
66: Lasersystem linksLaser system on the left
77: Lasersystem rechtsLaser system on the right
88th: feste Beobachtungsrichtung Laser linksFixed observation direction laser left
99: feste Beobachtungsrichtung Laser echtsFixed observation direction Laser real
1010: Beobachtungsbereich Laser linksObservation area laser left
1111: Beobachtungsbereich Laser rechtsObservation area laser right
2020: Kameracamera
2121: Lasersystemlaser system
2222: Auswerteeinheitevaluation
2323: Fusionseinheitfusion unit
2424: fusionierte 3D-Datenmerged 3D data

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

HG Jung et al .: "Light stripe projection based parking space detection for smart parking systems", Proceedings of the 2007 IEEE Intelligent Vehicle's Symposium, Istanbul, Turkey, 13.-15. June, 2007, p. 962-968 [0004]
E. Wahl et al .: "Realization of a parking assistant, based on motion stereo", 16th Aachen Colloquium Automotive and Engine Technology 2007, p. 871-880 [0005]

Claims

Method for measuring the surroundings of a motor vehicle, wherein images taken from a camera of the surroundings of the motor vehicle ( 1 ) are determined by means of motion stereo first 3D environment data of the environment, characterized in that by means of a scanning laser beam of a laser system ( 6 . 7 ), which is arranged at a predetermined angle to the camera, wherein the laser beam has a predetermined spatial orientation, from the reflected laser light detected by the camera, taking into account the angle between the camera and the laser system ( 6 . 7 ) and the spatial orientation of the laser beam second 3D data of the motor vehicle environment are determined, and the first and the second 3D data to a common 3D data record of the environment of the motor vehicle ( 1 ) are processed.

A method according to claim 1, characterized in that the spatial structure of the laser light is formed by a line perpendicular to the road plane.

A method according to claim 1, characterized in that the spatial structure of the laser light are formed by a plurality of lines extending perpendicular to the road plane.

A method according to claim 1, characterized in that the spatial structure of the laser light is formed by a grid, in particular a checkerboard pattern.

Method according to one of the preceding claims, characterized in that the laser beam scans a predetermined angular range.

Device for carrying out the method according to one of the preceding claims, characterized in that the device is a camera ( 20 ) and at a predetermined angle to the camera arranged laser system ( 21 ), wherein the laser system ( 21 ) generates a laser beam having a predetermined spatial structure, and an evaluation device ( 22 for determining first 3D data by means of motion stereo and second 3D data from the camera data of the reflected laser light, and a fusion unit ( 23 ) for merging the first and second 3D data into a common 3D data set

Apparatus according to claim 6, characterized in that the spatial structure of the laser beam is generated by a plane perpendicular to the plane of the plane, so that incident on an obstacle laser light forms a perpendicular line.

Apparatus according to claim 6, characterized in that the spatial structure of the laser beam is formed by a grid structure, in particular by a checkerboard pattern, so that each form the lines of the grid structure to the camera an angle.

Device according to one of claims 6 to 8, characterized in that the laser system generates light in the infrared.

Device according to one of claims 6 to 9, characterized in that the evaluation device determines the reflectivity of the motor vehicle environment from the reflected laser light, wherein from the reflectivity and the 3D data of the motion stereo method is closed on road markings when the reflectivity above a predetermined threshold is.

A parking assist system of a motor vehicle using the apparatus of any one of claims 6 to 10, wherein the laser system illuminates the lateral environment of the motor vehicle.

Parking assistance system according to claim 11, characterized in that the camera is arranged in a right or left side mirror of the motor vehicle and the laser system in the vicinity of the right or left headlight or in the vicinity of the right or left tail light.