DE102017105879A1

DE102017105879A1 - Method and evaluation device for detecting an environment of a vehicle and vehicle

Info

Publication number: DE102017105879A1
Application number: DE102017105879.6A
Authority: DE
Inventors: Zdenek Kasl; Jan Svab
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2017-03-20
Filing date: 2017-03-20
Publication date: 2018-09-20
Also published as: WO2018172240A1

Abstract

Die vorliegende Erfindung schlägt ein Verfahren und eine Auswertevorrichtung 16 zum Erfassen einer Umgebung eines Fahrzeugs 10 vor. Ferner betrifft die vorliegende Erfindung ein Fahrzeug. Das Verfahren weist ein Bereitstellen mindestens eines Sensors 11 zum Erfassen der Umgebung des Fahrzeugs 10 auf. Ferner wird bei dem Verfahren ein Erfassen eines ersten Bildes mit dem Sensor 11 und ein Erfassen eines zweiten Bildes mit dem Sensor 11 zeitlich nach dem Erfassen des ersten Bildes vorgesehen. Weiterhin weist das Verfahren ein Ermitteln von statischen und dynamischen Bereichen innerhalb des ersten und des zweiten Bildes durch Vergleichen der beiden Bilder auf. Ferner ist vorgesehen, dass bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges 10 einbezogen werden, die von mindestens einem Sensor 14 des Fahrzeugs 10 bereitgestellt werden, wobei der Sensor ein Odometrie-Sensor ist, der Odometrie-Daten bereitstellt.

The present invention proposes a method and an evaluation device 16 for detecting an environment of a vehicle 10. Furthermore, the present invention relates to a vehicle. The method comprises providing at least one sensor 11 for detecting the surroundings of the vehicle 10. Furthermore, in the method, a capture of a first image with the sensor 11 and a capture of a second image with the sensor 11 are provided after the acquisition of the first image. Furthermore, the method comprises determining static and dynamic areas within the first and second images by comparing the two images. It is further provided that, when comparing the two images, position data of the vehicle 10 provided by at least one sensor 14 of the vehicle 10 is included, wherein the sensor is an odometry sensor providing odometry data.

Description

Die vorliegende Erfindung betrifft das Gebiet der Fahrzeugtechnik, insbesondere betrifft die Erfindung ein Verfahren und eine Auswertevorrichtung zum Erfassen einer Umgebung eines Fahrzeugs. Ferner betrifft die Erfindung ein Fahrerassistenzsystem, das mit der erfindungsgemäßen Auswertevorrichtung ausgestattet ist, und ein Fahrzeug, das mit der erfindungsgemäßen Auswertevorrichtung ausgestattet ist.The present invention relates to the field of vehicle technology, in particular the invention relates to a method and an evaluation device for detecting an environment of a vehicle. Furthermore, the invention relates to a driver assistance system that is equipped with the evaluation device according to the invention, and a vehicle that is equipped with the evaluation device according to the invention.

Es werden derzeit Systeme verwendet, um Fahrzeuge in einer Umgebung zu orten bzw. zu lokalisieren, um ausgehend von dieser Information das Fahrzeug zu navigieren oder zu steuern. Hierzu wird beispielsweise das Fahrzeug anhand von GPS-Daten (GPS = Global Positioning System) lokalisiert und zusätzlich mit Hilfe von optischen System die Umgebung des Fahrzeugs näher ermittelt. Hierbei ist es möglich, dass Hindernisse oder sonstige Ereignisse, die auf die Fahrtrichtung des Fahrzeuges einen Einfluss haben könnten, bei der Fahrzeugführung in Betracht gezogen werden, um Kollisionen oder andere Schäden zu verhindern.Systems are currently used to locate vehicles in an environment to navigate or control the vehicle based on this information. For this purpose, for example, the vehicle is localized on the basis of GPS data (GPS = Global Positioning System) and additionally determined by means of optical system, the environment of the vehicle closer. In this case, it is possible that obstacles or other events, which could have an influence on the direction of travel of the vehicle, are taken into account in the vehicle guidance in order to prevent collisions or other damage.

In der Veröffentlichung „Probabilistic Scheme for Laser Based Motion detection“ von Roman Katz, Juan Nieto, Eduardo Nebot, 2006, wird eine Methode zur Unterscheidung von statischen und sich bewegenden Objekten auf Basis von Bildpunkten bzw. Scanpunkten vorgeschlagen. Hierbei werden zunächst zu unterschiedlichen Zeitpunkten gemessene Bilder bzw. Scans übereinandergelegt. Mittels einer Vorgehensweise nach dem sogenannten „Iterative Closest Point“-Algorithmus (ICP-Algorithmus) wird iterativ eine Transformationsmatrix berechnet, die die Drehung und die Translation der Punkte zwischen den aufgenommenen Bildern bzw. Scans repräsentiert. Die Transformationsmatrix wird anschließend auf das erste Bild bzw. den ersten Scan angewendet. Durch Vergleich mit dem zweiten Bild bzw. zweiten Scan kann mittels Bestimmung der Mahalanobis-Distanz für das „Center of gravity“ bzw. für den Schwerpunkt für jeden korrespondierenden Bereich bzw. für jedes korrespondierende Cluster bestimmt werden, ob das Cluster bzw. der analysierte Bereich innerhalb des Bildes statisch oder dynamisch ist. Hierbei ist unter der Mahalanobis-Distanz ein Distanzmaß zwischen Punkten in einem mehrdimensionalen Vektorraum zu verstehen. Auf der Basis dieser Clustererkennung wird auf ein sich bewegendes Objekt oder auf ein statisches Objekt geschlossen.In the publication "Probabilistic Scheme for Laser Based Motion Detection" by Roman Katz, Juan Nieto, Eduardo Nebot, 2006, a method for distinguishing static and moving objects on the basis of pixels or scan points is proposed. Here, first of all, images or scans measured at different times are superimposed. By means of a procedure according to the so-called "Iterative Closest Point" (ICP) algorithm, a transformation matrix is calculated iteratively, which represents the rotation and the translation of the points between the recorded images or scans. The transformation matrix is then applied to the first image or scan. By comparison with the second image or second scan, it can be determined by determining the Mahalanobis distance for the "center of gravity" or for the center of gravity for each corresponding region or for each corresponding cluster, whether the cluster or the analyzed region is static or dynamic within the image. Here, the Mahalanobis distance is to be understood as a distance measure between points in a multidimensional vector space. On the basis of this cluster recognition, a moving object or a static object is closed.

Nachteilig bei dem bisher verwendeten Verfahren zur Aufnahme von Bilddaten in der Umgebung eines Fahrzeuges ist, dass es ressourcen-intensiv ist, insbesondere sind die Anforderungen an die Hardware bzw. die technischen Einheiten zur Bereitstellung der erforderlichen Daten hoch.A disadvantage of the previously used method for recording image data in the environment of a vehicle is that it is resource-intensive, in particular the demands on the hardware or the technical units for providing the required data are high.

Ziel der vorliegenden Erfindung ist es, eine Möglichkeit vorzuschlagen, um die Umgebung eines Fahrzeugs auf einfache Weise zu erfassen.The aim of the present invention is to propose a possibility to detect the environment of a vehicle in a simple manner.

Diese Aufgabe wird mit einem Verfahren gemäß dem Anspruch 1 gelöst. Ferner wird diese Aufgabe mit einer Auswertevorrichtung gemäß Anspruch 10, mit einem Fahrerassistenzsystem gemäß Anspruch 11 und mit einem Fahrzeug gemäß Anspruch 12 gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.This object is achieved by a method according to claim 1. Furthermore, this object is achieved with an evaluation device according to claim 10, with a driver assistance system according to claim 11 and with a vehicle according to claim 12. Advantageous developments of the invention will become apparent from the dependent claims.

Die vorliegende Erfindung schlägt ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs vor. Das Verfahren weist ein Bereitstellen mindestens eines Sensors zum Erfassen der Umgebung des Fahrzeugs auf. Ferner werden bei dem Verfahren ein Erfassen eines ersten Bildes mit dem Sensor und ein Erfassen eines zweiten Bildes mit dem Sensor zeitlich nach dem Erfassen des ersten Bildes vorgesehen. Weiterhin weist das Verfahren ein Ermitteln von statischen und dynamischen Bereichen innerhalb des ersten und des zweiten Bildes durch Vergleichen der beiden Bilder auf. Ferner ist vorgesehen, dass bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges einbezogen werden, die von mindestens einem Odometrie-Sensor des Fahrzeugs bereitgestellt werden, der Odometrie-Daten bereitstellt.The present invention proposes a method for detecting an environment of a vehicle. The method comprises providing at least one sensor for detecting the environment of the vehicle. Furthermore, in the method, a capture of a first image with the sensor and a capture of a second image with the sensor are provided temporally after the detection of the first image. Furthermore, the method comprises determining static and dynamic areas within the first and second images by comparing the two images. It is further provided that when comparing the two images position data of the vehicle are included, which are provided by at least one odometry sensor of the vehicle that provides odometry data.

Die vorliegende Erfindung schlägt ein Verfahren vor, um ein Fahrzeug in einer Umgebung verbessert fahren zu können, indem Bilddaten aus der Umgebung aufgenommen werden und diese ausschließlich mit Daten einer Fahrzeug-Sensor-Gruppe verrechnet werden. Hierzu werden Bild-Aufnahmen von beispielsweise einer Kamera verwendet, wobei die Kamera im oder an dem Fahrzeug installiert sein kann. Es können ferner eine 3D-Karten-Datenbank und Informationen von einer Fahrzeug-Sensor-Gruppe verwendet werden, wobei die Fahrzeug-Sensor-Gruppe mindestens einen Odometrie-Sensor aufweist, der Odometrie-Daten bereitstellt. Hierbei wird vor dem Durchführen des vorgeschlagenen Verfahrens auf der Grundlage von GPS-Daten eine relative Position des Fahrzeugs bestimmt, wobei auch eine Schätzung mit Hilfe der Fahrzeug-Sensor-Gruppe verwendet wird.The present invention proposes a method of being able to drive a vehicle in an environment improved by taking image data from the environment and these are charged exclusively with data of a vehicle sensor group. For this purpose, image recordings of, for example, a camera are used, wherein the camera can be installed in or on the vehicle. A 3D map database and information from a vehicle sensor group may also be used, the vehicle sensor group having at least one odometry sensor providing odometry data. Here, a relative position of the vehicle is determined prior to performing the proposed method based on GPS data, wherein an estimate using the vehicle sensor group is also used.

Mit der vorgeschlagenen Vorgehensweise ist es möglich, zwischen statischen und dynamischen Anteilen der Umgebung auf der niedrigsten Ebene zu unterscheiden. Dies wird erreicht, indem beispielsweise zwei zeitlich aufeinanderfolgende Bilder verglichen werden, beispielsweise als aufeinanderfolgende Laser-Scans.With the proposed approach, it is possible to distinguish between static and dynamic portions of the environment at the lowest level. This is achieved, for example, by comparing two temporally successive images, for example as successive laser scans.

Es werden demnach anhand von gewonnenen Daten basierend auf mindestens zwei Scans bzw. zwei aufgenommenen Bildern statische Objekte und sich bewegende Objekte in der untersuchten Umgebung eines Fahrzeuges ermittelt. Hierbei kann das bekannte verwendet werden, um einzelne Punkte auf den Bildern auszuwerten. Das „Iterative Closest Point“-Verfahren ermöglicht, überlappende Punktwolken aneinander anzupassen. Dazu werden die Punktwolken bereits vorab genähert zueinander ausgerichtet. Für die Punktwolken werden Koordinatentransformationen so bestimmt, dass die Abstände zwischen den Punktwolken minimiert werden. Dazu wird für jeden Punkt aus der einen Punktwolke der jeweils nächste Punkt (closest point) aus der anderen Punktwolke bestimmt. Die Summe der Quadrate der Abstände wird durch Anpassung von Transformationsparameter minimiert. Dieser Vorgang geschieht iterativ so lange, bis das Optimum gefunden ist. Das Berechnungsverfahren bzw. der Algorithmus kann vor allem zur relativen Orientierung (Registrierung) von Punktwolken verwendet werden, womit aus mehreren Punktwolken ein Gesamtmodell erzeugt werden kann. Die Einzelpunktwolken können dabei z.B. durch Laser-Scanning erzeugt werden.Accordingly, based on data obtained, at least two scans or two recorded images become static Objects and moving objects in the examined environment of a vehicle determined. Here, the known can be used to evaluate individual points on the images. The "Iterative Closest Point" method allows overlapping point clouds to match. For this purpose, the point clouds are already aligned in advance to each other. For the point clouds, coordinate transformations are determined so that the distances between the point clouds are minimized. For this purpose, the next point (closest point) from the other point cloud is determined for each point from the one point cloud. The sum of the squares of the distances is minimized by fitting transformation parameters. This process happens iteratively until the optimum is found. The calculation method or the algorithm can be used above all for the relative orientation (registration) of point clouds, with which a whole model can be generated from several point clouds. The single point clouds can be generated eg by laser scanning.

Die Besonderheit gegenüber den bisher verwendeten Methoden auf der Grundlage des „Iterative Closest Point“-Verfahren ist bei der vorliegenden Erfindung, dass das vorgeschlagene Verfahren und die vorgeschlagene Vorrichtung autark arbeiten kann, ohne dass externe Daten außerhalb des Fahrzeuges verwendet werden. Demnach werden lediglich ein Sensor zur Erzeugung von Bildern der Umgebung und mindestens ein Odometrie-Sensor verwendet, um Daten aus der Umgebung des Fahrzeuges zu erfassen. Unter einem Odometrie-Sensor wird ein Sensor am oder im Fahrzeug verstanden, der zur Ermittlung der Position und/oder Orientierung des Fahrzeugs geeignet ist und für den Zweck der Ermittlung der Umgebung verwendet werden kann. Typische Odometrie-Sensoren sind Radsensoren, bei denen Radumdrehungen zwischen zwei Messzeitpunkten gezählt werden können. Auf diese Weise können durch eine Bewegung eines oder mehrerer Reifen am Fahrzeug Odometrie-Daten gewonnen werden, welche der Radsensor als Odometrie-Sensor bereitstellt.The peculiarity over the previously used methods based on the "Iterative Closest Point" method in the present invention is that the proposed method and the proposed device can operate autonomously without external data being used outside the vehicle. Thus, only one sensor is used to generate images of the environment and at least one odometry sensor is used to acquire data from the environment of the vehicle. An odometry sensor is a sensor on or in the vehicle that is suitable for determining the position and / or orientation of the vehicle and that can be used for the purpose of determining the environment. Typical odometry sensors are wheel sensors in which wheel revolutions can be counted between two measurement times. In this way, by moving one or more tires on the vehicle, odometry data can be obtained, which the wheel sensor provides as an odometry sensor.

Mit der vorliegenden Erfindung kann die Genauigkeit der bisher bekannten Methoden beibehalten werden, beispielsweise, wie diese unter Verwendung des ICP-Algorithmus erreicht wird, jedoch werden gleichzeitig die Hardwareanforderungen bzw. Komponentenanforderungen reduziert, indem bewusst nicht auf externe Datenquellen, wie GPS-Daten, außerhalb des Fahrzeugs zugegriffen wird.The present invention can maintain the accuracy of the previously known methods, for example, how this is achieved using the ICP algorithm, but at the same time reduces the hardware requirements by deliberately not relying on external data sources, such as GPS data, outside the vehicle is accessed.

In einem vorteilhaften Ausführungsbeispiel kann vorgesehen werden, dass der mindestens eine Odometrie-Sensor Winkeldaten bereitstellt. Unter Winkeldaten sind Daten zu verstehen, die beispielsweise aufgrund von Rotationsbewegungen mindestens eines Fahrzeugrades vorhanden sind.In an advantageous embodiment it can be provided that the at least one odometry sensor provides angle data. Angular data is to be understood as meaning data that is present, for example, due to rotational movements of at least one vehicle wheel.

In einem bevorzugten Ausführungsbeispiel kann vorgesehen werden, dass der mindestens eine Odometrie-Sensor Positionsdaten bereitstellt. Dies bedeutet, dass eine Position des Fahrzeugs mit dem Odometrie-Sensor erfassbar ist. Beispielsweise kann dies erreicht werden, indem anhand eines Odometrie-Sensors zu zwei verschiedenen Zeitpunkten Messdaten gewonnen werden und diese dann verglichen werden.In a preferred embodiment it can be provided that the at least one odometry sensor provides position data. This means that a position of the vehicle with the odometry sensor can be detected. For example, this can be achieved by using a odometry sensor at two different times measured data are obtained and then compared.

Ferner kann in einem bevorzugten Ausführungsbeispiel vorgesehen werden, dass die Positionsdaten mit den Winkeldaten gemeinsam ausgewertet werden. Demnach kann vorgesehen werden, dass zwei verschiedene Datenarten, die auch von zwei unterschiedlichen Odometrie-Sensoren aufgenommen werden können, miteinander verrechnet werden, um beispielsweise eine Fahrtrichtung des Fahrzeugs berücksichtigen zu können.Furthermore, it can be provided in a preferred embodiment that the position data are evaluated together with the angle data. Accordingly, it can be provided that two different types of data, which can also be recorded by two different odometry sensors, are offset against each other in order to take into account, for example, a direction of travel of the vehicle.

In einem weiteren bevorzugten Ausführungsbeispiel kann vorgesehen werden, dass das Verfahren ferner ein Feststellen einer Bewegung des Fahrzeugs aufweist, wobei aufgrund dieser Bewegung eine Kompensation der Bewegung des Fahrzeugs durchgeführt wird, bevor die beiden Bilder verglichen werden. Demnach wird die Fahrzeugbewegung bei der Auswertung berücksichtigt, indem diese vor einem Vergleichen der beiden aufgenommenen Bilder herausgerechnet wird. Dies hat den Vorteil, dass danach auf einfache Weise die beiden zeitlich hintereinander aufgenommenen Bilder übereinander gelegt werden können und Unterschiede leicht erfassbar sind. Aus diesen Unterschieden können Punktwolken gebildet werden, die auf einen dynamischen Bereich im aufgenommenen Bild und auf einen statischen Bereich im aufgenommenen Bild hinweisen.In a further preferred embodiment, it may be provided that the method further comprises detecting a movement of the vehicle, wherein due to this movement, a compensation of the movement of the vehicle is performed before the two images are compared. Accordingly, the vehicle movement is taken into account in the evaluation by these is calculated before comparing the two images taken. This has the advantage that then in a simple manner, the two temporally successively recorded images can be superimposed and differences are easily detectable. From these differences, point clouds can be formed that indicate a dynamic range in the captured image and a static region in the captured image.

Wenn sich das Fahrzeug während des Aufnahmevorgangs der beiden zeitlich aufgenommen Bilder, bzw. des Scanvorgangs bewegt, ist es vorteilhaft, wenn die Fahrzeugbewegung kompensiert bzw. herausgerechnet wird, bevor der Vergleich von aufgenommenen Bildern durchgeführt wird. Gewöhnlich wird das Matching bzw. die Anpassung iterativ durchgeführt, indem beispielsweise ein ICP-Algorithmus verwendet wird. Bei der vorliegenden Erfindung werden die gescannten Bilder verglichen, indem Winkel- und/oder Positionsdifferenzen auf der Grundlage von Sensordaten geschätzt werden, die aus dem Fahrzeug stammen, insbesondere von einer Fahrzeug-Sensor-Gruppe, hier mindestens einem Odometrie-Sensor und nicht aus GPS-Daten.If the vehicle is moving during the recording process of the two temporally recorded images or the scanning process, it is advantageous if the vehicle movement is compensated before the comparison of recorded images is carried out. Usually, matching is done iteratively using, for example, an ICP algorithm. In the present invention, the scanned images are compared by estimating angular and / or positional differences based on sensor data originating from the vehicle, in particular a vehicle sensor set, here at least one odometry sensor and not GPS -Dates.

In einer weiteren bevorzugten Ausführungsform kann vorgesehen werden, dass bei dem Verfahren für die Ermittlung von statischen und dynamischen Bereichen eine Transformationsmatrix, ein Transformationsvektor und eine Rotationsmatix verwendet wird. Dies geschieht beispielsweise in Anlehnung an die vorbekannte Vorgehensweise nach dem „Iterative Closest Point“-Verfahren.In a further preferred embodiment it can be provided that in the method for the determination of static and dynamic ranges, a transformation matrix, a transformation vector and a rotation matrix is used. This happens, for example, in Based on the previously known procedure according to the "Iterative Closest Point" method.

Im Hinblick auf die Anwendung im Fahrzeugbereich kann vorgesehen werden, dass die Transformationsmatrix basierend auf Odometrie-Daten bestimmt wird, der Translationsvektor basierend auf Daten in Bezug auf einer Geschwindigkeit und eine Fahrtrichtung des Fahrzeuges bestimmt wird und die Rotationsmatrix basierend auf einer Gierrate des Fahrzeuges bestimmt wird. Demnach werden unterschiedliche Fahrzeugparameter bei der Ermittlung der statischen und dynamischen Bereiche verwendet. Dies hat den Vorteil, dass möglichst viele charakteristische Parameter der vorhandenen Fahrsituation mit in die Auswertung zur Erfassung der Fahrzeugumgebung einbezogen werden. Die Gierrate des Fahrzeugs (auch Giergeschwindigkeit) bezeichnet die Winkelgeschwindigkeit der Drehung eines Fahrzeuges um eine Hochachse. Zusammen mit den Raddrehzahlen und der Querbeschleunigung ist die Gierrate eine geeignete Messgröße für die Funktion eines Stabilitätssystems von Landfahrzeugen. Das Gierträgheitsmoment, der ebenfalls bei dem erfindungsgemäßen Verfahren als weiterer Parameter berücksichtigt werden kann, beschreibt das Trägheitsmoment um die Achse.With regard to vehicle application, it may be provided that the transformation matrix is determined based on odometry data, the translation vector is determined based on data related to a speed and direction of travel of the vehicle, and the rotation matrix is determined based on a yaw rate of the vehicle , Accordingly, different vehicle parameters are used in determining the static and dynamic ranges. This has the advantage that as many characteristic parameters of the existing driving situation are included in the evaluation for detecting the vehicle environment. The yaw rate of the vehicle (also yaw rate) denotes the angular velocity of the rotation of a vehicle about a vertical axis. Together with the wheel speeds and the lateral acceleration, the yaw rate is a suitable measure for the function of a stability system of land vehicles. The yaw moment of inertia, which can likewise be taken into account as a further parameter in the method according to the invention, describes the moment of inertia about the axis.

In einem weiteren Ausführungsbeispiel des Verfahrens wird vorteilhafterweise vorgesehen, dass die Ermittlung von statischen und dynamischen Bereichen ohne eine Verwendung von GPS-Daten durchgeführt wird. Dies bedeutet, dass möglicherweise für die Lokalisierung des Fahrzeuges GPS-Daten verwendet werden, nicht jedoch für die Ermittlung der Umgebung des Fahrzeuges, die lediglich auf Bilddaten eines Sensors und auf Odometrie-Daten beruht.In a further embodiment of the method, it is advantageously provided that the determination of static and dynamic ranges is performed without the use of GPS data. This means that GPS data may be used to locate the vehicle, but not for determining the environment of the vehicle based solely on sensor image data and odometry data.

Die Aufgabe der Erfindung wird ferner mit einer Auswertevorrichtung zum Erfassen der Umgebung eines Fahrzeugs gelöst. Hierzu weist die Auswertevorrichtung eine Empfangseinheit und eine Verarbeitungseinheit auf. Hierbei ist vorgesehen, dass mit der Empfangseinheit Daten mindestens eines Sensors des Fahrzeugs empfangbar sind. Ferner ist vorgesehen, dass die Empfangseinheit und die Verarbeitungseinheit in Wirkverbindung stehen und empfangene Daten von der Empfangseinheit an die Verarbeitungseinheit weiterleitbar sind. Hierbei sind mit der Verarbeitungseinheit statische und dynamische Bereiche von mindestens zwei aufgenommenen Bildern eines Sensors des Fahrzeugs durch Vergleichen der beiden Bilder ermittelbar. Ferner ist vorgesehen, dass die Verarbeitungseinheit bei dem Vergleichen der beiden Bilder Positionsdaten des Fahrzeuges einbezieht, die von dem mindestens einen Odometrie-Sensor des Fahrzeugs bereitgestellt werden, der Odometrie-Daten bereitstellt.The object of the invention is further achieved with an evaluation device for detecting the environment of a vehicle. For this purpose, the evaluation device has a receiving unit and a processing unit. It is provided that data of at least one sensor of the vehicle can be received by the receiving unit. It is further provided that the receiving unit and the processing unit are in operative connection and received data can be forwarded by the receiving unit to the processing unit. In this case, static and dynamic ranges of at least two recorded images of a sensor of the vehicle can be determined by comparing the two images with the processing unit. It is further provided that, in comparing the two images, the processing unit incorporates position data of the vehicle provided by the at least one odometry sensor of the vehicle providing odometry data.

Die erfindungsgemäße Auswertevorrichtung ist vorteilhafterweise innerhalb des Fahrzeugs installiert und kann mit der Empfangseinheit sowohl Odometrie-Daten wie auch Bilddaten eines installierten Sensors empfangen. Der Sensor kann hierbei als Abstandssensor, insbesondere als optischer Abstandssensor, ausgebildet sein, als Kamera, insbesondere einer Frontkamera, die beispielsweise als Laser-Kamera ausgeführt sein kann, als LIDAR-System, als RADAR-System oder als Ultraschall-System. Die Verbindungen zu den datengebenden Einrichtungen können drahtgebunden, beispielsweise als Feldbus ausgeführt sein, wie auch drahtlos ausgeführt sein, beispielsweise über eine drahtlose Funkverbindung. Dementsprechend kann die Empfangseinheit mindestens eine Funkschnittstelle aufweisen.The evaluation device according to the invention is advantageously installed inside the vehicle and can receive both odometry data and image data of an installed sensor with the receiving unit. In this case, the sensor can be designed as a distance sensor, in particular as an optical distance sensor, as a camera, in particular a front camera, which can be designed, for example, as a laser camera, as a LIDAR system, as a RADAR system or as an ultrasound system. The connections to the data-providing devices may be wired, for example, designed as a field bus, as well as wirelessly executed, for example via a wireless radio link. Accordingly, the receiving unit may have at least one radio interface.

Es wird auch ein Fahrerassistenzsystem mit einer solchen Auswerteinheit bereitgestellt. Insbesondere kann damit das oben genannte Verfahren ausgeführt werden.A driver assistance system with such an evaluation unit is also provided. In particular, so that the above-mentioned method can be performed.

Ferner wird erfindungsgemäß ein Fahrzeug vorgeschlagen, das eine erfindungsgemäße Auswerteinheit oder ein entsprechendes Fahrerassistenzsystem insbesondere zur Ausführung des vorgeschlagenen Verfahrens aufweist. Das Fahrzeug ist vorzugsweise ein bodengebundenes Fahrzeug, wie ein Kraftfahrzeug oder Roboter. Das Fahrzeug kann beispielsweise ein Personenkraftfahrzeug oder ein Lastkraftfahrzeug sein.Furthermore, according to the invention, a vehicle is proposed which has an evaluation unit according to the invention or a corresponding driver assistance system, in particular for carrying out the proposed method. The vehicle is preferably a ground-based vehicle, such as a motor vehicle or robot. The vehicle may be, for example, a passenger car or a truck.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively specified combination but also in other combinations, without departing from the scope of the invention , Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, but which emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the back references of the claims.

Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:

1 ein Ausführungsbeispiel eines Fahrzeugs, das mit Odometrie-Sensoren ausgerüstet ist und das erfindungsgemäße Verfahren durchführen kann; und
2 ein Ausführungsbeispiel für ein erfindungsgemäßes Verfahren.

The present invention will now be explained in more detail with reference to the accompanying drawings, in which:

1 an embodiment of a vehicle that is equipped with odometry sensors and can perform the method according to the invention; and
2 an embodiment of a method according to the invention.

Die nachfolgend näher geschilderten Ausführungsbeilspiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar.The Ausführungsbeilspiele described in more detail below represent preferred embodiments of the present invention.

1 zeigt ein Fahrzeug 10 mit einem installierten optischen Sensor 11 in Form einer Kamera, die mit Hilfe von optischen Strahlen, hier mit Laserstrahlen 12 das Umfeld oder die Umgebung des Fahrzeugs 10 erfassen kann. Insbesondere kann die Kamera 11 die Umgebung vordem Fahrzeug 10 erfassen, während sich das Fahrzeug 10 in eine Fahrtrichtung 13 in Vorwärtsrichtung des Fahrzeugs 10 bewegt. Ferner weist das Fahrzeug 10 eine Vielzahl von Odometrie-Sensoren 14 auf. Im vorliegenden Ausführungsbeispiel weist jedes Rad des Fahrzeugs einen Odometrie-Sensor 14 auf, der Odometrie-Daten über eine Übertragungsverbindung 15 an eine Auswertevorrichtung 16 bereitstellen kann. Ferner werden Kameradaten der Kamera 11 über eine weitere Übertragungsverbindung 17 der Auswertevorrichtung 16 bereitgestellt. Zum Empfang der Odometrie-Daten und der Kamera-Daten weist die Auswertevorrichtung 16 eine Empfangseinheit 18, die die empfangenen Daten an eine Verarbeitungseinheit 19 weiterleitet. Die Verarbeitungseinheit 19 kann die empfangenen Daten auswerten und die Auswerteergebnisse dem Fahrzeug 10 zur Verfügung stellen. Vorteilhafterweise ist die Auswertevorrichtung 16 in dem Fahrzeug 10 installiert. Alternativ können jedoch auch Auswertevorrichtungen 16 außerhalb des Fahrzeugs 10 verwendet werden, die beispielsweise in einer Service-Zentrale installiert sind und die mit dem Fahrzeug über eine drahtlose Verbindung, beispielsweise über eine WLAN-Internet-Anbindung mit dem Fahrzeug Informationen austauschen können. 1 shows a vehicle 10 with an installed optical sensor 11 in the form of a camera, using optical beams, here with laser beams 12 the environment or environment of the vehicle 10 can capture. In particular, the camera can 11 the environment in front of the vehicle 10 capture while the vehicle is moving 10 in a direction of travel 13 in the forward direction of the vehicle 10 emotional. Furthermore, the vehicle 10 has a plurality of odometry sensors 14 on. In the present embodiment, each wheel of the vehicle has an odometry sensor 14 on, the odometry data over a transmission link 15 to an evaluation device 16 can provide. Further camera data of the camera 11 via a further transmission connection 17 of the evaluation device 16 provided. The evaluation device has to receive the odometry data and the camera data 16 a receiving unit 18, which transmits the received data to a processing unit 19 forwards. The processing unit 19 can evaluate the received data and the evaluation results to the vehicle 10 provide. Advantageously, the evaluation device 16 is in the vehicle 10 Installed. Alternatively, however, also evaluation devices 16 outside the vehicle 10 used, for example, in a service center are installed and can communicate with the vehicle via a wireless connection, for example via a wireless Internet connection to the vehicle information.

2 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens 20 zur Erfassung einer Umgebung eines Fahrzeugs 10, wie es beispielsweise in 1 dargestellt ist. Das Verfahren 20 beginnt mit einer Ausgangssituation 21, in der eine Anfrage gestartet wird, um die Umgebung des Fahrzeugs 10 zu erfassen. Diese Anfrage kann beispielsweise manuell von dem Fahrer des Fahrzeuges eingeleitet werden oder durch eine Steuerungseinrichtung angefragt werden, die beispielsweise Teil eines Navigationssystems oder Teil einer Vorrichtung zum autonomen Fahren des Fahrzeuges 10 ist. 2 shows an embodiment of the method according to the invention 20 for detecting an environment of a vehicle 10 as it is for example in 1 is shown. The procedure 20 starts with a starting situation 21 in which a request is launched to the environment of the vehicle 10 capture. This request can for example be initiated manually by the driver of the vehicle or be requested by a control device, for example, part of a navigation system or part of a device for autonomous driving of the vehicle 10 is.

Bei dem Verfahren werden zunächst Daten erfasst, die sich auf die Erfassung von Bilddaten und auf die Erfassung von Odometrie-Daten beziehen. Hierbei ist die Erfassung der Daten symbolisch durch die Verfahrensschritte 22 und 23 gekennzeichnet. Hierbei können die Datenerfassungen 22, 23 zeitgleich oder zeitlich hintereinander geschehen, wobei die Reihenfolge der Verfahrensschritte 22,23 zeitlich auch umgekehrt sein kann. Demnach werden im Verfahrensschritt 22 mindestens zwei Bilder bzw. Scans der Umgebung mit einem optischen Sensor 11 aufgenommen, wie in 1 dargestellt ist. Ferner werden in dem Verfahrensschritt 23 Odometrie-Daten erfasst. Diese können beispielsweise von Odometrie-Sensoren an Fahrzeugreifen stammen, wie in 1 dargestellt ist.The method first collects data relating to the acquisition of image data and the acquisition of odometry data. In this case, the acquisition of the data is symbolic through the method steps 22 and 23 characterized. Here, the data acquisitions 22 . 23 at the same time or in chronological succession, wherein the order of the method steps 22, 23 may also be reversed in time. Accordingly, in the process step 22 at least two images or scans of the environment with an optical sensor 11 recorded as in 1 is shown. Further, in the process step 23 Odometry data recorded. For example, these can be from odometry sensors to vehicle tires, as in 1 is shown.

In einem weiteren Verfahrensschritt 24 werden die gewonnenen Daten aus den Verfahrensschritten 22, 23 verarbeitet. Hierzu werden zunächst die beiden aufgenommenen Bilder verglichen. Durch den Vergleich werden statische und dynamische Bereiche innerhalb des ersten und des zweiten Bildes ermittelt. Werden beispielsweise identische Objekte an gleicher Stelle des Bildes festgestellt, so kann es sich um statische Objekte in der Umgebung des Fahrzeuges handeln, wie beispielsweise Bäume oder Häuser. Unterscheiden sich jedoch verschiedene Bereiche in den beiden Bildern, so handelt es sich eher um sich bewegende Objekte, die dann einen dynamischen Bereich eines Bildes kennzeichnen. Bei dem Vergleich der beiden Bilder sollte auch berücksichtigt werden, dass sich das Fahrzeug möglicherweise bereits selbst in dem Zeitraum von der Aufnahme des ersten Bildes zur Aufnahme des zweiten Bildes bewegt hat. Diese Bewegung kann auf einfache Weise mit der Auswerteeinrichtung herausgerechnet werden, so dass tatsächlich nur statische und dynamische Bereiche der Umgebung erkannt werden. Durch die Verwendung von Odometrie-Sensoren am Fahrzeug ist es leicht möglich sehr genau die Umgebung zu erfassen, ohne dass die Auswertevorrichtung weitere Daten von außerhalb des Fahrzeugs 10 benötigt.In a further process step 24 the obtained data from the method steps 22, 23 are processed. For this purpose, the two recorded images are compared first. The comparison determines static and dynamic areas within the first and second images. For example, if identical objects are detected at the same location of the image, they may be static objects in the vicinity of the vehicle, such as trees or houses. However, if different areas in the two images are different, they are more likely to be moving objects, which then characterize a dynamic area of an image. When comparing the two images, it should also be considered that the vehicle may already have moved itself in the period from the capture of the first image to the acquisition of the second image. This movement can be calculated out in a simple manner with the evaluation device, so that in fact only static and dynamic areas of the environment are detected. By using odometry sensors on the vehicle, it is easily possible to very precisely detect the environment without the evaluation device receiving further data from outside the vehicle 10 needed.

Nach Abschluss der Auswertung in Verfahrensschritt 24 wird das Ergebnis der Auswertung dem Fahrzeug 10 zur weiteren Verwendung bereitgestellt, beispielsweise die Navigationseinrichtung, die die Anfrage einer Erfassung der Umgebung des Fahrzeugs gestartet hatte. Das Verfahren 20 mit den Schritten 21 - 25 kann beliebig oft wiederholt werden, so dass die Navigationseinrichtung zeitlich kontinuierlich über die Fahrsituation des Fahrzeuges über die ermittelte Umgebung informiert ist und entsprechend eingreifen kann.After completion of the evaluation in process step 24 becomes the result of the evaluation of the vehicle 10 provided for further use, for example, the navigation device that had started the request for detection of the environment of the vehicle. The procedure 20 with the steps 21 - 25 can be repeated as often as desired, so that the navigation device is continuously informed of the driving situation of the vehicle over the determined environment and can intervene accordingly.

Claims

A method for detecting an environment of a vehicle (10), comprising providing at least one sensor (11) for detecting the surroundings of the vehicle (10); Capturing a first image with the sensor (11); Capturing a second image with the sensor (11) temporally after acquiring the first image; Determining static and dynamic areas within the first and second images by comparing the two images; characterized in that in comparing the two images, positional data of the vehicle (10) provided by at least one odometry sensor (14) of the vehicle (10) providing odometry data is included.

Method according to Claim 1 , characterized in that the at least one odometry sensor (14) provides angle data.

Method according to Claim 1 or Claim 2 , characterized in that the at least one odometry sensor (14) provides position data.

Method according to Claim 3 , characterized in that the position data are evaluated together with the angle data.

Method according to one of Claims 1 to 4 characterized in that the method further comprises detecting a movement of the vehicle (10), compensating for the movement of the vehicle (10) due to said movement before comparing the two images.

Method according to one of Claims 1 to 5 , characterized in that a transformation matrix, a transformation vector and a rotation matrix is used for the determination of static and dynamic ranges.

Method according to Claim 6 characterized in that the transformation matrix is determined based on odometry data, the translation vector is determined based on data related to a speed and direction of travel of the vehicle, and the rotation matrix is determined based on a yaw rate of the vehicle (10).

Method according to one of Claims 1 to 7 , characterized in that the determination of static and dynamic ranges is performed without the use of GPS data.

Method according to one of Claims 1 - 8th , characterized in that a distance sensor, in particular an optical distance sensor (11), is provided as the sensor (11) for detecting the surroundings of the vehicle (10).

Evaluation device (16) for detecting the surroundings of a vehicle (10) comprising a receiving unit (18) and a processing unit (19), wherein the receiving unit (18) data of at least one sensor of the vehicle (10) are receivable; wherein the receiving unit (18) and the processing unit (19) are operatively connected and received data can be forwarded by the receiving unit (18) to the processing unit (19); wherein static and dynamic ranges of at least two recorded images of a sensor (11) of the vehicle (10) can be determined by comparing the two images with the processing unit (19); characterized in that the processing unit (19), when comparing the two images, includes position data of the vehicle (10) provided by the at least one odometry sensor (14) of the vehicle (10) providing odometry data.

Driver assistance system with an evaluation unit after Claim 10 , in particular for carrying out the method according to one of Claims 1 to 9 ,

Vehicle having an evaluation after Claim 10 or a driver assistance system Claim 11 in particular for carrying out the method according to one of Claims 1 to 9 ,