WO2015090691A1

WO2015090691A1 - Method for generating a model of the surroundings of a motor vehicle, driver assistance system and motor vehicle

Info

Publication number: WO2015090691A1
Application number: PCT/EP2014/072969
Authority: WO
Inventors: Lowik Chanussot; Brouk WEDAJO; Julien Rebut
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2013-12-21
Filing date: 2014-10-27
Publication date: 2015-06-25
Anticipated expiration: 2016-06-21
Also published as: DE102013021840A1

Abstract

The invention relates to a method for operating a driver assistance system of a motor vehicle (1), having the steps: – making available an image of an area surrounding the motor vehicle (1) by means of a camera of the driver assistance system, – detecting multiple objects (6) in the image by means of an image-processing device, – for each object (6), determining at least one property of the respective object (6) on the basis of the image by means of the image-processing device, – generating a surroundings model (11) of the area surrounding the motor vehicle (1) on the basis of the properties of the objects (6) using a predetermined optimization algorithm by means of the image-processing device, – comparing the properties of the objects (6) with the surroundings model (11) by means of the image-processing device, and – detecting incorrectly determined properties by means of the comparison.

Description

Verfahren zum Erzeugen eines Umgebungsmodells eines Kraftfahrzeugs, Method for generating an environment model of a motor vehicle,

Fahrerassistenzsystem und Kraftfahrzeug Driver assistance system and motor vehicle

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem ein Bild eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Fahrerassistenzsystems bereitgestellt wird und eine Mehrzahl von Objekten in dem Bild durch eine Bildverarbeitungseinrichtung detektiert wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem, welches zum Durchführen eines solchen Verfahrens ausgebildet ist, sowie ein Kraftfahrzeug mit einem solchen The invention relates to a method for operating a driver assistance system of a motor vehicle, in which an image of an environmental region of the motor vehicle is provided by means of a camera of the driver assistance system and a plurality of objects in the image is detected by an image processing device. The invention also relates to a driver assistance system, which is designed to carry out such a method, as well as a motor vehicle with such

Fahrerassistenzsystem. Driver assistance system.

Vorliegend richtet sich das Interesse insbesondere auf die Verfolgung von Zielfahrzeugen mit Hilfe einer Frontkamera eines Kraftfahrzeugs. Frontkameras für Kraftfahrzeuge sind dabei bereits aus dem Stand der Technik bekannt und erfassen üblicherweise Bilder eines Umgebungsbereichs vor dem Kraftfahrzeug. Diese Sequenz von Bildern wird mittels einer elektronischen Bildverarbeitungseinrichtung verarbeitet, welche in den Bildern Zielobjekte detektiert. Dazu werden die Bilder einem Objektdetektionsalgorithmus unterzogen. Solche Detektionsalgorithmen sind bereits Stand der Technik und basieren beispielsweise auf einer Mustererkennung. Um ein Zielobjekt zu detektieren, können zunächst so genannte charakteristische Punkte aus dem Bild extrahiert und anhand dieser charakteristischen Punkte dann ein Zielobjekt identifiziert werden. Als Beispiel können dabei folgende Algorithmen genannt werden: AdaBoost und HOG-SVM. In the present case, the interest is directed in particular to the tracking of target vehicles with the aid of a front camera of a motor vehicle. Front cameras for motor vehicles are already known from the prior art and usually capture images of a surrounding area in front of the motor vehicle. This sequence of images is processed by means of an electronic image processing device which detects target objects in the images. For this, the images are subjected to an object detection algorithm. Such detection algorithms are already state of the art and are based, for example, on pattern recognition. In order to detect a target object, so-called characteristic points can first be extracted from the image, and then a target object can be identified on the basis of these characteristic points. As an example, the following algorithms can be mentioned: AdaBoost and HOG-SVM.

Wird ein Zielobjekt in einem Bild der Kamera identifiziert, so kann dieses Zielobjekt auch über die nachfolgenden Bilder der Sequenz hinweg verfolgt werden. Das Zielobjekt wird dabei in jedem Bild detektiert, wobei die Detektion in dem aktuellen Bild der Detektion aus dem vorherigen Bild zugeordnet werden muss. Durch das Verfolgen des Zielobjekts sind die aktuelle Position des Zielobjekts in dem Bildrahmen und somit auch die aktuelle relative Position des Zielobjekts bezüglich des Kraftfahrzeugs stets bekannt. Als If a target object is identified in an image of the camera, then this target object can also be tracked over the subsequent images of the sequence. The target object is detected in each image, whereby the detection in the current image must be assigned to the detection from the previous image. By tracking the target object, the current position of the target object in the image frame and thus also the current relative position of the target object with respect to the motor vehicle are always known. When

Verfolgungsalgorithmus kann dabei beispielsweise die Lucas-Kanade-Methode genutzt werden. Tracing algorithm can be used, for example, the Lucas-Kanade method.

Ein genanntes Kamerasystem mit einer Frontkamera kann als Kollisionswarnungssystem genutzt werden, mittels welchem der Fahrer vor einer Kollisionsgefahr mit dem Zielobjekt gewarnt werden kann. Ein solches Kollisionswarnungssystem kann beispielsweise Warnsignale ausgeben, um den Fahrer über die detektierte Kollisionsgefahr akustisch und/oder optisch und/oder haptisch zu informieren. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem genutzt werden, welches dazu ausgelegt ist, aufgrund der detektierten Kollisionsgefahr automatische A named camera system with a front camera can be used as a collision warning system, by means of which the driver can be warned of a risk of collision with the target object. Such a collision warning system can output warning signals, for example, in order to inform the driver acoustically and / or visually and / or haptically about the detected risk of collision. In addition or alternatively, the Camera system can also be used as an automatic brake assist system, which is designed to automatic due to the detected risk of collision

Bremseingriffe des Kraftfahrzeugs vorzunehmen. Als Maß für die aktuelle Make braking interventions of the motor vehicle. As a measure of the current

Kollisionsgefahr kann dabei beispielsweise die so genannte Zeit bis zur Kollision (time to collision) genutzt werden, das heißt eine Zeitdauer, welche durch das Kraftfahrzeug voraussichtlich benötigt wird, um das Zielobjekt zu erreichen. Diese Zeit bis zur Kollision kann aus der eingeschätzten Entfernung des Zielobjekts sowie aus der relativen In this case, for example, the risk of collision can be used for the so-called time to collision, that is to say a time period which is presumably required by the motor vehicle in order to reach the target object. This time to collision may be determined from the estimated distance of the target object as well as from the relative

Geschwindigkeit berechnet werden. Speed can be calculated.

Die bekannten Detektionsalgorithmen, welche zur Detektion von Zielfahrzeugen im Bild dienen, geben als Ergebnis der Detektion üblicherweise einen rechteckigen The known detection algorithms which serve to detect target vehicles in the image usually give a rectangular result as a result of the detection

Begrenzungskasten (Bounding Box) aus, welcher das detektierte Zielfahrzeug umgibt. In diesem Begrenzungskasten ist das detektierte Zielfahrzeug also abgebildet, wobei der Begrenzungskasten die aktuelle Position sowie die Breite und die Höhe des Zielfahrzeugs in dem Bild angibt. Als nachteilig an den bekannten Detektionsalgorithmen Bounding box, which surrounds the detected target vehicle. In this bounding box, the detected target vehicle is thus depicted, wherein the bounding box indicates the current position as well as the width and the height of the target vehicle in the image. As a disadvantage of the known detection algorithms

(beispielsweise AdaBoost und HOG-SVM) kann der Umstand angesehen werden, dass der Begrenzungskasten die aktuelle Position des Zielfahrzeugs in dem Bild sowie die Breite und die Höhe des Zielfahrzeugs nur ungenau angibt. Die Größe des (eg, AdaBoost and HOG-SVM), the circumstance may be considered that the bounding box only vaguely indicates the current position of the target vehicle in the image and the latitude and the height of the target vehicle. The size of the

Begrenzungskastens kann auch über die Sequenz der Bilder hinweg variieren, was wiederum die Genauigkeit bei der Verfolgung des Zielfahrzeugs über die Bilder hinweg reduziert. Entsprechend kann somit auch die relative Position der Zielobjekte relativ zum Kraftfahrzeug nur ungenau bestimmt werden. Boundary box may also vary across the sequence of images, which in turn reduces the accuracy of tracking the target vehicle across the images. Accordingly, therefore, the relative position of the target objects relative to the motor vehicle can be determined only inaccurate.

Aus dem Dokument WO 2005/037619 A1 ist ein Verfahren zum Einleiten einer The document WO 2005/037619 A1 discloses a method for initiating a

Notbremsung bekannt, bei welchem die Umgebung eines Fahrzeugs erfasst wird und eine Objekterkennung durchgeführt und bei Eintritt eines vorgegebenen Ereignisses eine Notbremsung ausgelöst wird. Es wird ein Referenzobjekt vorgegeben, und die erkannten Objekte werden mit dem Referenzobjekt verglichen. Es werden nur Objekte für die Bewertung des Ereigniseintritts berücksichtigt, die größer sind als das Referenzobjekt. Emergency braking is known, in which the environment of a vehicle is detected and carried out an object detection and when a predetermined event emergency braking is triggered. A reference object is specified, and the detected objects are compared with the reference object. Only objects that are greater than the reference object are considered for the evaluation of the event occurrence.

Ein Kollisionswarnungssystem für ein Kraftfahrzeug ist des Weiteren aus dem Dokument US 8 412 448 B2 bekannt. Es wird hier ein dreidimensionales Modell einer A collision warning system for a motor vehicle is further known from document US 8 412 448 B2. It becomes here a three-dimensional model of a

Fahrzeugumgebung aus Bildern erzeugt, welche mittels einer Frontkamera bereitgestellt werden. Vehicle environment generated from images, which are provided by a front camera.

Ein Objekterkennungsverfahren, bei welchem ein Histogramm verwendet wird, ist aus dem Dokument US 8 121 348 B2 bekannt. Wie bereits ausgeführt, sind die bekannten Algorithmen zur Detektion von Objekten anhand eines Bilds relativ ungenau, und die Objekterkennung ist mit einem relativ großen Fehler behaftet. Diese Fehler betreffen insbesondere die Bestimmung der Position der Objekte relativ zum Kraftfahrzeug. So kann es nämlich beispielsweise vorkommen, dass nur ein Teilbereich eines Zielobjekts - beispielsweise eines Zielfahrzeugs - detektiert wird, was dann dazu führt, dass durch das System eine falsche Position dieses An object recognition method in which a histogram is used is known from the document US 8 121 348 B2. As already stated, the known algorithms for the detection of objects based on an image are relatively inaccurate, and the object recognition is associated with a relatively large error. These errors relate in particular to the determination of the position of the objects relative to the motor vehicle. For example, it may happen that only a subarea of a target object - for example, a target vehicle - is detected, which then leads to the system having an incorrect position of this

Zielobjekts relativ zum Kraftfahrzeug angenommen wird. Eine besondere Target object is assumed relative to the motor vehicle. A special

Herausforderung besteht nun darin, solche Detektionsfehler zu erkennen und nach Möglichkeit auch zu korrigieren. The challenge now is to detect such detection errors and, if possible, to correct them.

Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung Detektionsfehler bei der Detektion der Objekte besonders zuverlässig erkannt und das Fahrerassistenzsystem somit zuverlässig betrieben werden kann. It is an object of the invention to provide a solution as detected in a method of the type mentioned detection error in the detection of objects particularly reliable and thus the driver assistance system can be operated reliably.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein This object is achieved by a method by a

Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren. Driver assistance system and solved by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.

Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs. Mittels einer Kamera des Fahrerassistenzsystems wird ein Bild eines Umgebungsbereiches des Kraftfahrzeugs bereitgestellt. Durch eine An inventive method is used to operate a driver assistance system of a motor vehicle. By means of a camera of the driver assistance system, an image of a surrounding area of the motor vehicle is provided. By a

Bildverarbeitungseinrichtung wird dann eine Mehrzahl von Objekten in dem Bild detektiert, nämlich insbesondere unter Verwendung eines Detektionsalgorithmus. Es kann dabei grundsätzlich ein beliebiger Detektionsalgorithmus verwendet werden, so dass vorliegend auf den Detektionsalgorithmus nicht näher eingegangen wird. Image processing device is then detected a plurality of objects in the image, namely in particular using a detection algorithm. In principle, an arbitrary detection algorithm can be used, so that in the present case the detection algorithm will not be discussed in greater detail.

Beispielsweise kann ein Detektionsalgorithmus eingesetzt werden, welcher zu jedem detektierten Objekt einen sogenannten Begrenzungskasten (bounding box) ausgibt, in welchem das detektierte Objekt abgebildet ist. Zu jedem Objekt ermittelt die For example, a detection algorithm can be used which outputs for each detected object a so-called bounding box, in which the detected object is imaged. For each object, the

Bildverarbeitungseinrichtung zumindest eine Eigenschaft des jeweiligen Objekts anhand des Bilds. Als Eigenschaft kann beispielsweise die Position des jeweiligen Objekts relativ zum Kraftfahrzeug ermittelt werden. Die Bildverarbeitungseinrichtung erzeugt dann ein Umgebungsmodell zu dem Umgebungsbereich des Kraftfahrzeugs aus den Image processing device at least one property of the respective object based on the image. As a property, for example, the position of the respective object relative to the motor vehicle can be determined. The image processing device then generates an environment model to the surrounding area of the motor vehicle from the

Eigenschaften der detektierten Objekte. Das Umgebungsmodell wird dabei unter Verwendung eines vorbestimmten Optimierungsalgorithmus erzeugt, beispielsweise eines Fehlerminimierungsalgorithmus, welcher die Fehler zwischen dem erzeugten Properties of the detected objects. The environment model is under Using a predetermined optimization algorithm generated, for example, an error minimization algorithm, which the errors between the generated

Umgebungsmodell und den Eigenschaften der Objekte minimiert. Mit diesem optimierten Umgebungsmodell werden dann die ursprünglich ermittelten Eigenschaften der Objekte verglichen, und anhand des Vergleichs detektiert die Bildverarbeitungseinrichtung fehlerhaft ermittelte Eigenschaften. Environment model and the properties of the objects minimized. The originally determined properties of the objects are then compared with this optimized environment model, and based on the comparison, the image processing device detects incorrectly determined properties.

Um Fehler bei der Detektion der Objekte bzw. beim Ermitteln der zumindest einen Eigenschaft der Objekte (zum Beispiel der relativen Position) zu erkennen, wird demnach erfindungsgemäß vorgeschlagen, ein globales Umgebungsmodell des Kraftfahrzeugs unter Verwendung eines vorbestimmten Optimierungsalgorithmus (zum Beispiel des RANSAC-Algorithmus) bereitzustellen und die ursprünglich ermittelten Eigenschaften der Objekte mit diesem Umgebungsmodell zu vergleichen. Diejenigen Eigenschaften, welche sich von dem Umgebungsmodell in einem bestimmten Ausmaß unterscheiden, werden als Ausreißer und somit als fehlerhaft ermittelte Eigenschaften interpretiert und können optional korrigiert werden. Das erfindungsgemäße Verfahren hat somit insgesamt den Vorteil, dass die fehlerhaft ermittelten Eigenschaften und somit die fehlerhaften In order to detect errors in the detection of the objects or in determining the at least one property of the objects (for example the relative position), it is therefore proposed according to the invention to generate a global environment model of the motor vehicle using a predetermined optimization algorithm (for example the RANSAC algorithm). and compare the originally determined properties of the objects with this environment model. Those properties which differ from the environment model to a certain extent are interpreted as outliers and thus as incorrectly determined properties and can optionally be corrected. The inventive method thus has the overall advantage that the incorrectly determined properties and thus the faulty

Detektionen besonders zuverlässig erkannt und gegebenenfalls auch korrigiert werden können. Das Fahrerassistenzsystem kann somit besonders zuverlässig betrieben werden, da Applikationsfehler aufgrund von fehlerhaft ermittelten Eigenschaften der Objekte verhindert werden können. So kann beispielsweise verhindert werden, dass der Fahrer des Kraftfahrzeugs unnötig durch das Fahrerassistenzsystems gewarnt oder das Detections detected particularly reliable and possibly also can be corrected. The driver assistance system can thus be operated particularly reliably, since application errors due to incorrectly determined properties of the objects can be prevented. For example, it can be prevented that the driver of the motor vehicle is unnecessarily warned by the driver assistance system or that

Kraftfahrzeug unnötig automatisch abgebremst wird, obwohl tatsächlich keine Motor vehicle is braked automatically unnecessarily, although actually no

Kollisionsgefahr besteht. Andererseits können auch Situationen verhindert werden, in denen keine Warnung durch das System oder kein automatisches Abbremsen des Fahrzeugs trotz einer tatsächlich gegebenen Kollisionsgefahr erfolgt. Risk of collision exists. On the other hand, it is also possible to prevent situations in which no warning by the system or no automatic braking of the vehicle takes place despite a collision danger that is actually present.

Die Kamera ist vorzugsweise eine Frontkamera, welche insbesondere hinter einer Windschutzscheibe des Kraftfahrzeugs angeordnet ist, beispielsweise direkt an der Windschutzscheibe im Innenraum des Kraftfahrzeugs. Die Frontkamera erfasst dann die Umgebung in Fahrtrichtung bzw. in Fahrzeuglängsrichtung vor dem Kraftfahrzeug. Dies kann insbesondere bedeuten, dass eine senkrecht zur Ebene des Bildsensors The camera is preferably a front camera, which is arranged in particular behind a windshield of the motor vehicle, for example, directly on the windshield in the interior of the motor vehicle. The front camera then detects the environment in the direction of travel or in the vehicle longitudinal direction in front of the motor vehicle. This may mean in particular that one perpendicular to the plane of the image sensor

verlaufende Kameraachse parallel zur Fahrzeuglängsachse orientiert ist. extending camera axis is oriented parallel to the vehicle longitudinal axis.

Die Kamera ist vorzugsweise eine Video-Kamera, welche eine Vielzahl von Bildern (frames) pro Sekunde bereitstellen kann. Die Kamera kann eine CCD-Kamera oder eine CMOS-Kamera sein. Das Kamerasystem kann ein Kollisionswarnungssystem sein, mittels welchem ein Gefahrengrad bezüglich einer Kollision des Kraftfahrzeugs mit dem Zielfahrzeug bestimmt und abhängig von dem aktuellen Gefahrengrad ein Warnsignal ausgegeben wird, mit welchem die Kollisionsgefahr dem Fahrer signalisiert wird. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem ausgebildet sein, mittels welchem Bremseingriffe automatisch in Abhängigkeit von dem Gefahrengrad durchgeführt werden. Als Gefahrengrad kann dabei beispielsweise die Zeit bis zur Kollision und/oder eine Entfernung des Zielfahrzeugs von dem Kraftfahrzeug verwendet werden. The camera is preferably a video camera which can provide a plurality of frames per second. The camera can be a CCD camera or a CMOS camera. The camera system may be a collision warning system, by means of which a degree of danger with respect to a collision of the motor vehicle with the target vehicle is determined and depending on the current degree of danger a warning signal is output, with which the risk of collision is signaled to the driver. Additionally or alternatively, the camera system can also be designed as an automatic brake assist system, by means of which braking interventions are automatically performed as a function of the degree of danger. As a degree of danger, for example, the time to collision and / or removal of the target vehicle from the motor vehicle can be used.

Wie bereits ausgeführt, kann als Eigenschaft der Objekte eine Position der jeweiligen Objekte relativ zum Kraftfahrzeug ermittelt werden. Dies bedeutet, dass zu jedem detektierten Objekt die jeweilige Position relativ zum Kraftfahrzeug ermittelt wird und das Umgebungsmodell aus den relativen Positionen der Objekte erzeugt wird. Somit können Fehler in der Ermittlung der relativen Positionen der Objekte detektiert und optional dann korrigiert werden. As already stated, a position of the respective objects relative to the motor vehicle can be determined as a property of the objects. This means that for each detected object the respective position relative to the motor vehicle is determined and the environment model is generated from the relative positions of the objects. Thus, errors in determining the relative positions of the objects can be detected and optionally then corrected.

Die relative Position der Objekte bezüglich des Kraftfahrzeugs kann beispielsweise in Abhängigkeit von einer abgeschätzten Breite und/oder des ermittelten Typs des jeweiligen Objekts bestimmt werden. Die Schätzung der relativen Position der Objekte kann jedoch grundsätzlich auf eine beliebige Art und Weise anhand des Bilds The relative position of the objects with respect to the motor vehicle can be determined, for example, as a function of an estimated width and / or the determined type of the respective object. However, the estimate of the relative position of the objects can basically be made in any way based on the image

durchgeführt werden. be performed.

Ergänzend oder alternativ kann als Eigenschaft der Objekte auch eine geschätzte reale Breite des jeweiligen Objekts ermittelt werden. Diese Breite kann beispielsweise abhängig von der Breite des oben genannten Begrenzungskastens ermittelt werden, welcher durch den Detektionsalgorithmus ausgegeben wird. Ist die reale Breite des jeweiligen Objekts bekannt, so kann auch eine Entfernung des Objekts von dem Kraftfahrzeug abgeschätzt werden. Diese Ausführungsform hat daher den Vorteil, dass zum einen Fehler in der Bestimmung der realen Breite der Objekte und zum anderen auch Fehler in der Additionally or alternatively, an estimated real width of the respective object can also be determined as a property of the objects. This width can be determined, for example, depending on the width of the above-mentioned bounding box, which is output by the detection algorithm. If the real width of the respective object is known, a distance of the object from the motor vehicle can also be estimated. This embodiment therefore has the advantage that on the one hand an error in the determination of the real width of the objects and on the other hand also errors in the

Ermittlung der Entfernung der Objekte vom Kraftfahrzeug detektiert und gegebenenfalls korrigiert werden können. Determining the distance of the objects can be detected by the motor vehicle and optionally corrected.

Unter einer Breite des jeweiligen Objekts wird dabei bevorzugt eine Abmessung des Objekts in Fahrzeugquerrichtung verstanden. Weiterhin ergänzend oder alternativ kann als Eigenschaft der Objekte auch ein Typ des jeweiligen Objekts, insbesondere ein Fahrzeugtyp, ermittelt werden. Es kann zunächst grundsätzlich beispielsweise zwischen folgenden Typen der Objekte unterschieden werden: einem Zielfahrzeug, einem Fu ßgänger, einem Baum und dergleichen. Wird ein Zielfahrzeug detektiert, so kann beispielsweise zwischen einem Personenkraftwagen, einem Lastkraftwagen und einem Motorrad unterschieden werden. A width of the respective object is preferably understood to mean a dimension of the object in the vehicle transverse direction. Additionally or alternatively, a type of the respective object, in particular a vehicle type, can be determined as a property of the objects. In principle, for example, it is possible to distinguish between the following types of objects: a target vehicle, a pedestrian, a tree and the like. If a target vehicle is detected, it is possible, for example, to distinguish between a passenger car, a truck and a motorcycle.

Wie bereits ausgeführt, kann als Optimierungsalgorithmus ein As already stated, can be used as an optimization algorithm

Fehlerminimierungsalgorithmus verwendet werden, bei welchem der Fehler zwischen den ermittelten Eigenschaften der Objekte einerseits und dem Umgebungsmodell Error minimization algorithm can be used, in which the error between the determined properties of the objects on the one hand and the environment model

andererseits minimiert wird. Insbesondere wird dabei der RANSAC-Algorithmus implementiert, welcher den Vorteil hat, dass große Ausreißer nicht zu einer Verfälschung des Umgebungsmodells führen und der Algorithmus somit auf verrauschte Werte angewendet werden kann. Der RANSAC-Algrorithmus ist insgesamt sehr robust gegenüber Ausreißern. on the other hand is minimized. In particular, the RANSAC algorithm is implemented, which has the advantage that large outliers do not lead to a falsification of the environment model and the algorithm can thus be applied to noisy values. Overall, the RANSAC algorithm is very robust against outliers.

Allgemein gesagt, kann als Optimierungsalgorithmus ein Algorithmus eingesetzt werden, welcher auf der Regressionsanalyse und/oder Fitting-Analyse basiert. Generally speaking, an algorithm based on regression analysis and / or fitting analysis can be used as the optimization algorithm.

Anhand des Bilds können insbesondere Zielfahrzeuge als Objekte detektiert werden. Es sind nämlich typischerweise die Zielfahrzeuge, welche die größte Kollisionsgefahr für das Ego-Fahrzeug darstellen. Es ist somit besonders vorteilhaft, wenn die Eigenschaften von Zielfahrzeugen, und insbesondere die relative Position der Zielfahrzeuge, besonders präzise bestimmt und gegebenenfalls auftretende Fehler detektiert werden. On the basis of the image target vehicles can be detected as objects in particular. In fact, it is typically the target vehicles that pose the greatest collision risk to the ego vehicle. It is thus particularly advantageous if the characteristics of target vehicles, and in particular the relative position of the target vehicles, are determined particularly precisely and any errors occurring are detected.

Anhand des Bilds können ergänzend oder alternativ auch Längsmarkierungen einer Fahrbahn als Objekte detektiert werden, auf welcher sich das Kraftfahrzeug befindet .Die Detektion der Längsmarkierungen ermöglicht wiederum Rückschlüsse darauf, auf welcher Fahrspur sich aktuell das Kraftfahrzeug befindet und ob sich auf dieser Fahrspur auch weitere Objekte befinden, wie insbesondere andere Fahrzeuge. Additionally or alternatively, longitudinal markings of a carriageway can be detected as objects on which the motor vehicle is located. The detection of the longitudinal markings in turn allows conclusions to be drawn on which lane the motor vehicle currently is and whether there are also other objects on this lane , in particular other vehicles.

Beim Erzeugen des Umgebungsmodells können zusätzlich zu der zumindest einen Eigenschaft der Objekte auch Relationen zwischen den Objekten untereinander berücksichtigt werden. Auch diese Relationen können vorzugsweise anhand des Bilds bestimmt werden, wobei es ergänzend oder alternativ auch möglich ist, zur Ermittlung der gegenseitigen Relationen zwischen den Objekten Sensordaten anderer Sensoren zu verwenden, insbesondere Sensordaten von Abstandssensoren. Somit können insgesamt auch relative Beschränkungen bzw. Bedingungen zwischen den Objekten untereinander beim Erzeugen des Umgebungsmodells berücksichtigt werden. Diese Relationen zwischen den Objekten könne ohne viel Aufwand anhand des Bilds ermittelt werden, insbesondere anhand der ermittelten Position der Objekte relativ zum Kraftfahrzeug. Als Relation zwischen zwei Objekten kann beispielsweise ermittelt werden, welches der beiden Objekte sich näher dem Kraftfahrzeug befindet und welches der Objekte weiter von dem Kraftfahrzeug entfernt ist. Als Relation kann aber auch ermittelt werden, welches der Objekte sich weiter links oder weiter rechts bezüglich des Kraftfahrzeugs befindet und/oder welches der Objekte sich auf der Fahrbahn des Kraftfahrzeugs und welches der Objekte sich außerhalb dieser Fahrbahn befindet. Auch diese Relationen können als Eingangsparameter zur Erzeugung des Umgebungsmodells gemäß dem When creating the environment model, relationships between the objects can be taken into account in addition to the at least one property of the objects. These relations can also preferably be determined on the basis of the image, it being additionally or alternatively also possible to use sensor data from other sensors to determine the mutual relations between the objects, in particular sensor data from distance sensors. Thus, in total Also relative constraints or conditions between the objects are taken into account when creating the environment model. These relations between the objects can be determined without much effort on the basis of the image, in particular on the basis of the determined position of the objects relative to the motor vehicle. As a relation between two objects can be determined, for example, which of the two objects is closer to the motor vehicle and which of the objects is further away from the motor vehicle. However, as a relation it can also be determined which of the objects is located further to the left or further to the right with respect to the motor vehicle and / or which of the objects is located on the carriageway of the motor vehicle and which of the objects is outside this carriageway. These relations can also be used as input parameters for generating the environment model according to the

Optimierungsalgorithmus verwendet werden, um ein bestmögliches Umgebungsmodell finden zu können. Optimization algorithm can be used to find the best possible environment model.

Bei der Erzeugung des Umgebungsmodells können auch Eigenschaften der Objekte berücksichtigt werden, welche anhand von zeitlich vorhergehenden Bildern ermittelt wurden. Mittels der Kamera kann eine zeitliche Sequenz von Bildern des When generating the environment model, it is also possible to take into account properties of the objects which were determined on the basis of temporally preceding images. By means of the camera, a temporal sequence of images of the

Umgebungsbereiches dargestellt werden, und die Bildverarbeitungseinrichtung kann zu jedem Bild oder zu jedem n-ten Bild, mit n>1 , jeweils die zumindest eine Eigenschaft der Objekte ermitteln. Beim Erzeugen des Umgebungsmodells anhand des aktuellen Bilds können dann auch die Eigenschaften der Objekte aus vorherigen Bildern berücksichtigt werden. Auf diese Art und Weise kann eine zeitliche Filterung des Umgebungsmodells vorgenommen werden, was weiterhin die Genauigkeit bei der Erzeugung des aktuellen Umgebungsmodells und die Zuverlässigkeit der Fehlerdetektion verbessert. Surrounding area are shown, and the image processing device can for each image or every n-th image, with n> 1, each determine the at least one property of the objects. When creating the environment model based on the current image, the properties of the objects from previous images can then also be taken into account. In this way, a temporal filtering of the environment model can be made, which further improves the accuracy in the generation of the current environment model and the reliability of the error detection.

Vorzugsweise wird durch die Bildverarbeitungseinrichtung beim Erzeugen des Preferably, by the image processing device in generating the

Umgebungsmodells angenommen, dass sich das Kraftfahrzeug und die Objekte auf einer gemeinsamen Ebene befinden. Diese Annahme wird auch als„flat world assumption" bezeichnet. Als Basis für das Umgebungsmodell wird somit eine ebene Fläche verwendet, und es wird angenommen, dass sich alle Objekte sowie das Kraftfahrzeug selbst auf dieser gemeinsamen ebenen Fläche befinden. Dies reduziert den Aufwand bei der Erzeugung des Umgebungsmodells. Das Kraftfahrzeug selbst kann dabei einen Nickwinkel (pitch angle) ungleich Null und/oder einen Rollwinkel (roll angle) gleich Null aufweisen. Ambient model assumed that the motor vehicle and the objects are located on a common plane. This assumption is also referred to as "flat world assumption." Thus, a flat surface is used as the basis for the environment model, and it is assumed that all objects and the motor vehicle itself are located on this common flat surface The motor vehicle itself can have a pitch angle (non-zero) and / or a roll angle (zero).

In einer Ausführungsform ist vorgesehen, dass die Eigenschaften der Objekte jeweils mit einem zugeordneten Gewichtungsfaktor gewichtet werden und das Umgebungsmodell aus den gewichteten Eigenschaften erzeugt wird. Jedem Objekt kann dabei ein anderer Gewichtungsfaktor zugeordnet werden. Somit können wichtige Objekte und/oder Objekte mit größeren Konfidenzwerten stärker als andere Objekte beim Erzeugen des In an embodiment, it is provided that the properties of the objects are each weighted with an associated weighting factor and the environment model is generated from the weighted properties. Each object can be assigned a different weighting factor. Thus, important objects and / or objects having larger confidence values may be more powerful than other objects in generating the

Umgebungsmodells berücksichtigt werden. Bei der Detektion von Objekten im Bild berechnet der Detektionsalgorithmus üblicherweise auch sogenannte Konfidenzwerte, welche die Genauigkeit bzw. Wahrscheinlichkeit der Detektion angeben und somit ein Konfidenzmaß darstellen. Diese Konfidenzwerte können nun zur Bestimmung der Gewichtungsfaktoren herangezogen werden, wobei je größer der Konfidenzwert ist, desto größer kann der zugeordnete Gewichtungsfaktor sein. Ergänzend oder alternativ können zur Bestimmung der Gewichtungsfaktoren auch Informationen auf der Applikationsebene verwendet werden, insbesondere eine Entfernung des jeweiligen Objekts vom Environment model. When detecting objects in the image, the detection algorithm usually also calculates so-called confidence values, which indicate the accuracy or probability of the detection and thus represent a confidence measure. These confidence values can now be used to determine the weighting factors, the larger the confidence value, the larger the associated weighting factor can be. Additionally or alternatively, information on the application level can also be used to determine the weighting factors, in particular a distance of the respective object from

Kraftfahrzeug und/oder eine Zeitdauer, für welche das jeweilige Objekt seit seiner ersten Detektion durch das Fahrerassistenzsystem verfolgt wurde. Ein nahes Objekt, welches bereits für mehrere Minuten verfolgt wurde, kann einen größeren Gewichtungsfaktor aufweisen als ein entferntes Objekt oder aber ein gerade eben detektiertes Objekt. Das Umgebungsmodell kann somit noch präziser und bedarfsgerechter erzeugt werden. Motor vehicle and / or a period of time for which the respective object has been tracked since its first detection by the driver assistance system. A close object, which has already been tracked for several minutes, may have a larger weighting factor than a distant object or a newly detected object. The environment model can thus be generated even more precise and needs-based.

Die Erfindung betrifft au ßerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, mit zumindest einer Kamera zum Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs, und mit einer Bildverarbeitungseinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist. The invention additionally relates to a driver assistance system for a motor vehicle, with at least one camera for providing an image of an environmental region of the motor vehicle, and with an image processing device which is designed to carry out a method according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem. An inventive motor vehicle, in particular a passenger car, comprises a driver assistance system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten The preferred embodiments presented with reference to the process according to the invention

Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. Embodiments and their advantages apply correspondingly to the driver assistance system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüche, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Further features of the invention will become apparent from the claims, the figures and the description of the figures. All the features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures are not only in the respectively indicated combination but also in others

Kombinationen oder aber in Alleinstellung verwendbar. Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Combinations or used alone. The invention will be explained in more detail below with reference to a preferred embodiment and with reference to the accompanying drawings.

Es zeigen: Show it:

Fig. 1 in schematischer Darstellung ein Kraftfahrzeug mit einem 1 is a schematic representation of a motor vehicle with a

Fahrerassistenzsystem gemäß einer Ausführungsform der Erfindung; Driver assistance system according to an embodiment of the invention;

Fig. 2 in schematischer Darstellung ein beispielhaftes Bild, welches mittels einer 2 shows a schematic representation of an exemplary image, which by means of a

Kamera des Fahrerassistenzsystems bereitgestellt wird; Camera of the driver assistance system is provided;

Fig. 3 in schematischer Darstellung ein Umgebungsmodell, welches unter Fig. 3 is a schematic representation of an environment model, which under

Verwendung eines Optimierungsalgorithmus erzeugt wird; Using an optimization algorithm is generated;

Fig. 4 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der 4 is a flowchart of a method according to an embodiment of the

Erfindung; und Invention; and

Fig. 5 ein weiteres Flussdiagramm des Verfahrens, wobei die Detektion von fehlerhaft ermittelten Eigenschaften veranschaulicht wird. 5 shows a further flow chart of the method, wherein the detection of incorrectly determined properties is illustrated.

Ein in Fig. 1 gezeigtes Kraftfahrzeug 1 ist im Ausführungsbeispiel ein A motor vehicle 1 shown in FIG. 1 is a in the embodiment

Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches zum Beispiel als Kollisionswarnungssystem dient, mittels welchem der Fahrer des Kraftfahrzeugs 1 vor einer Kollisionsgefahr gewarnt werden kann. Ergänzend oder alternativ kann das Fahrerassistenzsystem 2 als automatisches Notbremssystem ausgebildet sein, mittels welchem das Kraftfahrzeug 1 aufgrund einer detektierten Kollisionsgefahr automatisch abgebremst wird. Passenger cars. The motor vehicle 1 comprises a driver assistance system 2, which serves, for example, as a collision warning system, by means of which the driver of the motor vehicle 1 can be warned of a risk of collision. Additionally or alternatively, the driver assistance system 2 may be formed as an automatic emergency braking system, by means of which the motor vehicle 1 is braked automatically due to a detected risk of collision.

Das Fahrerassistenzsystem 2 umfasst eine Kamera 3, welche als Frontkamera ausgebildet ist. Die Kamera 3 ist im Innenraum des Kraftfahrzeugs 1 an einer The driver assistance system 2 comprises a camera 3, which is designed as a front camera. The camera 3 is in the interior of the motor vehicle 1 at a

Windschutzscheibe des Kraftfahrzeugs 1 angeordnet und erfasst einen Windshield of the motor vehicle 1 is arranged and detects a

Umgebungsbereich 4 vor dem Kraftfahrzeug 1 . Die Kamera 3 ist beispielsweise eine CCD-Kamera oder eine CMOS- Kamera. Die Kamera 3 ist eine Video-Kamera, welche eine Sequenz von Bildern des Umgebungsbereichs 4 bereitstellt und an eine in den Figuren nicht dargestellte Bildverarbeitungseinrichtung übermittelt. Die Bildverarbeitungseinrichtung und die Kamera 3 können optional auch in ein gemeinsames Gehäuse integriert sein. Surrounding area 4 in front of the motor vehicle 1. The camera 3 is, for example, a CCD camera or a CMOS camera. The camera 3 is a video camera, which provides a sequence of images of the surrounding area 4 and transmits it to an image processing device, not shown in the figures. The Image processing device and the camera 3 can optionally also be integrated in a common housing.

Wie aus Fig. 1 hervorgeht, befindet sich auf einer Fahrbahn 5 vor dem Kraftfahrzeug 1 ein Objekt 6, hier in Form eines Zielfahrzeugs 7. Die Bildverarbeitungseinrichtung ist so eingerichtet, dass sie auf die Bilder des Umgebungsbereichs 4 einen As is apparent from Fig. 1, is located on a roadway 5 in front of the motor vehicle 1, an object 6, here in the form of a target vehicle 7. The image processing device is arranged so that it on the images of the surrounding area 4 a

Detektionsalgorithmus anwenden kann, welcher zur Detektion von Objekten 6 ausgelegt ist. Dieser Objektdetektionsalgorithmus kann beispielsweise in einem Speicher der Bildverarbeitungseinrichtung abgelegt sein und beispielsweise auf dem Algorithmus AdaBoost basieren. Solche Detektionsalgorithmen sind bereits Stand der Technik und werden hier nicht näher beschrieben. Wird das Objekt 6 detektiert, so kann dieses durch die Bildverarbeitungseinrichtung über die Zeit verfolgt werden. Auch dazu sind Detection algorithm can be applied, which is designed for the detection of objects 6. This object detection algorithm can be stored, for example, in a memory of the image processing device and based for example on the algorithm AdaBoost. Such detection algorithms are already state of the art and will not be described in detail here. If the object 6 is detected, this can be tracked by the image processing device over time. Also are

entsprechende Verfolgungsalgorithmen bekannt. corresponding tracking algorithms known.

Das Verfolgen des Zielfahrzeugs 7 über die Zeit bedeutet, dass in jedem Bild oder in jedem n-ten Bild der Sequenz (n>1 ) das Zielfahrzeug 6 detektiert wird und somit seine aktuelle Position in dem jeweiligen Bild bekannt ist. Das Zielfahrzeug 6 wird also über die Sequenz der Bilder hinweg verfolgt. Tracing the target vehicle 7 over time means that in each frame or nth frame of the sequence (n> 1) the target vehicle 6 is detected and thus its current position in the respective frame is known. The target vehicle 6 is thus tracked across the sequence of images.

Ein beispielhaftes Bild 8 der Kamera 3 ist in Fig. 2 gezeigt. Der Detektionsalgorithmus detektiert eine Mehrzahl von Objekten 6: Zielfahrzeuge 7a, 7b, 7c, 7d, 7e einerseits sowie Längsmarkierungen 10 der Fahrbahn 5 andererseits. Als Ergebnis der jeweiligen An exemplary image 8 of the camera 3 is shown in FIG. The detection algorithm detects a plurality of objects 6: target vehicles 7a, 7b, 7c, 7d, 7e on the one hand and longitudinal markings 10 of the roadway 5 on the other hand. As a result of each

Detektion wird dabei ein Begrenzungskasten 9a bis 9e ausgegeben, welcher die Position des jeweiligen Objekts 6 im Bild 8 charakterisiert. Detection while a boundary box 9a to 9e is output, which characterizes the position of the respective object 6 in Figure 8.

Die Bildverarbeitungseinrichtung ermittelt zu jedem Objekt 6 folgende Eigenschaften: The image processing device determines the following properties for each object 6:

- eine reale Breite des jeweiligen Objekts 6 - diese reale Breite kann anhand der Breite des jeweiligen Begrenzungskastens 9a bis 9e ermittelt werden; eine Position des jeweiligen Objekts 6 relativ zum Kraftfahrzeug 1 - bei der Bestimmung der relativen Position kann zunächst die Entfernung des jeweiligen Objekts 6 vom Kraftfahrzeug 1 in Abhängigkeit von der Breite des Objekts 6 ermittelt werden; - einen Typ des jeweiligen Objekts 6, insbesondere auch einen Fahrzeugtyp der Zielfahrzeuge 7a bis 7e - auch der Typ wird zur Ermittlung der genauen relativen Position des jeweiligen Objekts 6 relativ zum Kraftfahrzeug 1 herangezogen. a real width of the respective object 6 - this real width can be determined by the width of the respective bounding box 9a to 9e; a position of the respective object 6 relative to the motor vehicle 1 - in the determination of the relative position, the distance of the respective object 6 from the motor vehicle 1 can first be determined as a function of the width of the object 6; a type of the respective object 6, in particular also a vehicle type of the target vehicles 7a to 7e - also the type is used to determine the exact relative position of the respective object 6 relative to the motor vehicle 1.

Alle Eigenschaften aller detektierten Objekte 6 werden dann als Eingangsparameter für die Erzeugung eines Umgebungsmodells des Umgebungsbereichs 4 verwendet. All properties of all detected objects 6 are then used as input parameters for the generation of an environment model of the surrounding area 4.

Zusätzlich können auch Relationen zwischen den Objekten 6 untereinander zur In addition, relations between the objects 6 with each other for

Erzeugung des Umgebungsmodells herangezogen werden. Als Relation zwischen zwei Objekten 6 kann beispielsweise ermittelt werden, welches der Objekte sich näher und welches sich weiter weg vom Kraftfahrzeug 1 befindet und/oder welches der Objekte 6 sich weiter links und welches weiter rechts des Kraftfahrzeugs 1 befindet. Generation of the environment model are used. As a relation between two objects 6 it can be determined, for example, which of the objects is closer and which is farther away from the motor vehicle 1 and / or which of the objects 6 is further to the left and which further to the right of the motor vehicle 1.

Ein beispielhaftes Umgebungsmodell 1 1 ist dabei in Fig. 3 dargestellt. Das An exemplary environment model 1 1 is shown in Fig. 3. The

Umgebungsmodell 1 1 stellt dabei eine digitale Umgebungskarte des Kraftfahrzeugs 1 in einem zweidimensionalen Koordinatensystem x, y dar. Beim Erzeugen des Environment model 1 1 represents a digital environment map of the motor vehicle 1 in a two-dimensional coordinate system x, y. When generating the

Umgebungsmodells 1 1 wird dabei angenommen, dass sich das Kraftfahrzeug 1 sowie alle anderen Objekte 6 auf einer gemeinsamen Ebene 12 und somit auf einer Ambient model 1 1 is assumed that the motor vehicle 1 and all other objects 6 on a common plane 12 and thus on a

gemeinsamen ebenen Fahrbahn 5 befinden. Zur Erzeugung des Umgebungsmodells 1 1 wird ein Optimierungsalgorithmus genutzt, welcher auf die oben genannten common flat lane 5 are located. To generate the environment model 1 1, an optimization algorithm is used, which is based on the above

Eingangsparameter (die Eigenschaften der Objekte 6 und insbesondere auch die gegenseitigen Relationen) angewendet wird. Bevorzugt wird als Optimierungsalgorithmus der RANSAC-Algorithmus verwendet. Es kann aber auch ein anderer Fitting-Algorithmus und/oder Regressionsalgorithmus verwendet werden. Input parameters (the properties of the objects 6 and in particular the mutual relations) is applied. The RANSAC algorithm is preferably used as the optimization algorithm. However, it is also possible to use a different fitting algorithm and / or regression algorithm.

Beim Erzeugen des Umgebungsmodells 1 1 zum aktuellen Bild 8 der Kamera 3 können auch die Eigenschaften der Objekte 6 aus den vorherigen Bildern verwendet werden, d.h. die vorherigen Umgebungsmodelle 1 1 , welche zu den vorherigen Bildern erzeugt wurden. Somit findet auch eine zeitliche Filterung des Umgebungsmodells 1 1 statt. When generating the environment model 1 1 to the current image 8 of the camera 3, the properties of the objects 6 from the previous images can also be used, i. the previous environment models 1 1, which were created to the previous images. Thus, a temporal filtering of the environment model 1 1 takes place.

Es ist auch möglich, beim Erzeugen des Umgebungsmodells 1 1 die Eigenschaften der Objekte 6 mit einem Gewichtungsfaktor zu versehen und das Umgebungsmodell 1 1 aus den gewichteten Eigenschaften bereitzustellen. Jedem Objekt 6 kann dabei ein anderer und somit ein separater Gewichtungsfaktor zugeordnet werden, welcher beispielsweise abhängig von einem Konfidenzwert des jeweiligen detektierten Objekts 6 und/oder abhängig von einer Entfernung dieses Objekts 6 vom Kraftfahrzeug 1 und/oder abhängig von einer Zeitdauer bestimmt werden kann, für welche dieses Objekt 6 durch das It is also possible, when generating the environment model 1 1, to provide the properties of the objects 6 with a weighting factor and to provide the environment model 11 from the weighted properties. Each object 6 can be assigned a different and thus a separate weighting factor, which can be determined, for example, as a function of a confidence value of the respective detected object 6 and / or depending on a distance of this object 6 from the motor vehicle 1 and / or dependent on a time duration. for which this object 6 by the

Fahrerassistenzsystem 2 bereits verfolgt wurde. Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nun Bezug nehmend auf Fig. 4 näher erläutert. Beim Erzeugen des Umgebungsmodells 1 1 werden zunächst gemäß Schritt S1 mehrere Eingangsparameter bereitgestellt, welche dem Driver assistance system 2 has already been tracked. A method according to an embodiment of the invention will now be explained with reference to FIG. 4. When generating the environment model 1 1, several input parameters are initially provided according to step S1, which are the

Optimierungsalgorithmus zugrunde gelegt werden. Diesbezüglich werden gemäß Schritt S12 Kameraparameter der Kamera 3 bzw. ein sogenanntes Kameramodell bereitgestellt. Gemäß Schritt S13 werden in dem Bild 8 die Längsmarkierungen 10 detektiert und die Position relativ zum Kraftfahrzeug 1 ermittelt. Gemäß Schritt S14 werden die Optimization algorithm. In this regard, according to step S12 camera parameters of the camera 3 or a so-called camera model are provided. According to step S13, the longitudinal markings 10 are detected in the image 8 and the position relative to the motor vehicle 1 is determined. According to step S14, the

Fahrzeugtypen der Zielfahrzeuge 7a bis 7e ermittelt. Gemäß Schritt S15 wird die jeweilige reale Breite der Zielfahrzeuge 7a bis 7e ermittelt. Gemäß Schritt S16 wird die jeweilige Position der Zielfahrzeuge 7a bis 7e relativ zum Kraftfahrzeug 1 ermittelt. Gemäß Schritt S17 werden die oben genannten Relationen der Objekte 6 untereinander ermittelt. Vehicle types of the target vehicles 7a to 7e determined. According to step S15, the respective real width of the target vehicles 7a to 7e is determined. According to step S16, the respective position of the target vehicles 7a to 7e relative to the motor vehicle 1 is determined. According to step S17, the above-mentioned relations of the objects 6 with each other are determined.

Diese Eigenschaften werden dann einer globalen Optimierung gemäß Schritt S2 zugeführt. Gemäß Schritt S21 werden die benötigten Eingangsparameter ausgewählt. Die Schätzung des Umgebungsmodells 1 1 gemäß dem genannten Optimierungsalgorithmus erfolgt dann gemäß Schritt S22. Gemäß Schritt S23 vergleicht das These properties are then supplied to a global optimization according to step S2. In step S21, the required input parameters are selected. The estimation of the environment model 11 according to the said optimization algorithm then takes place according to step S22. In step S23, this compares

Fahrerassistenzsystem 2 die ermittelten Eigenschaften der Objekte 6 mit dem Driver assistance system 2, the determined properties of the objects 6 with the

bereitgestellten Umgebungsmodell 1 1 . Anhand dieses Vergleichs werden dann gemäß Schritt S3 Eigenschaften detektiert, welche fehlerhaft ermittelt wurden und somit provided environment model 1 1. On the basis of this comparison, then properties are detected according to step S3, which were determined incorrectly and thus

Ausreißer darstellen. Outliers pose.

Die ursprünglich ermittelten Eigenschaften der Objekte 6, welche zur Erzeugung des optimierten Umgebungsmodells 1 1 herangezogen wurden, werden somit nochmals dazu genutzt, um die Richtigkeit der Ermittlung dieser Eigenschaften feststellen zu können. Dazu werden die ursprünglich ermittelten Eigenschaften (zum Beispiel die relative Position der Objekte 6 bezüglich des Kraftfahrzeugs 1 ) mit dem Umgebungsmodell 1 1 verglichen, welches gemäß dem Optimierungsalgorithmus erzeugt wurde. The originally determined properties of the objects 6, which were used to generate the optimized environment model 11, are thus used again in order to determine the correctness of the determination of these properties. For this purpose, the originally determined properties (for example the relative position of the objects 6 with respect to the motor vehicle 1) are compared with the environment model 1 1, which was generated according to the optimization algorithm.

Dieses Verfahren ist zusätzlich auch in Fig. 5 veranschaulicht. Hier werden gemäß Schritt S101 die Eigenschaften der detektierten Objekte 6 ermittelt. Diese Eigenschaften werden dann gemäß Schritt S102 zur Erzeugung des optimierten Umgebungsmodells 1 1 verwendet. Die Eigenschaften werden dann mit dem ermittelten Umgebungsmodell gemäß Schritt S103 verglichen. Das Ergebnis dieses Vergleiches sind Eigenschaften, welche ursprünglich fehlerhaft ermittelt wurden und somit mit einem Fehler behaftet sind. Diese Eigenschaften stellen Ausreißer dar. Wie aus Fig. 5 hervorgeht, wurde im Ausführungsbeispiel die relative Position der Zielfahrzeuge 7c, 7d relativ zum Kraftfahrzeug 1 fehlerhaft bestimmt. Während die relative Position des Zielfahrzeugs 7c lediglich in x-Richtung fehlerhaft bestimmt wurde, ist die relative Position des Zielfahrzeugs 7d sowohl in x-Richtung als auch in y-Richtung mit einem Fehler behaftet. Diese Fehler werden anhand des Vergleichs der ermittelten relativen Positionen der Zielfahrzeuge 7c, 7d mit dem optimierten Umgebungsmodell 1 1 detektiert. This method is additionally illustrated in FIG. 5. Here, the properties of the detected objects 6 are determined according to step S101. These properties are then used in step S102 to generate the optimized environment model 11. The properties are then compared with the determined environment model according to step S103. The result of this comparison are properties that were originally determined incorrectly and thus have an error. These properties are outliers. As is apparent from Fig. 5, in the embodiment, the relative position of the target vehicles 7c, 7d relative to the motor vehicle 1 was determined incorrectly. While the relative position of the target vehicle 7c has been erroneously determined only in the x-direction, the relative position of the target vehicle 7d in both the x-direction and the y-direction is erroneous. These errors are detected on the basis of the comparison of the determined relative positions of the target vehicles 7c, 7d with the optimized environment model 11.

Claims

claims

1 . Method for operating a driver assistance system (2) of a motor vehicle (1), comprising the steps of:

Providing an image (8) of a surrounding area (4) of the motor vehicle (1) by means of a camera (3) of the driver assistance system (2),

Detecting a plurality of objects (6) in the image (8) by a

Image processing means,

for each object (6) determining at least one property of the respective object (6) based on the image (8) by the image processing device, generating an environment model (1 1) to the surrounding area (4) of the motor vehicle (1) from the properties of the objects ( 6) using a predetermined optimization algorithm by the

Image processing means,

- Comparing the properties of the objects (6) with the environment model (1 1) by the image processing device and

Detecting incorrectly determined properties based on the comparison.

2. The method according to claim 1,

characterized in that

as a property, a position of the respective objects (6) relative to the motor vehicle (1) is determined.

3. The method according to claim 1 or 2,

characterized in that

is determined as a property of at least one of the following parameters:

a type of the respective object (6), in particular a vehicle type, and / or

- A real width of the respective object (6).

4. The method according to any one of the preceding claims,

characterized in that

as an optimization algorithm, an error minimization algorithm, in particular the RANSAC algorithm, is used to generate the environment model (1 1).

5. Method according to one of the preceding claims,

characterized in that

Target vehicles (7) can be detected as objects (6) on the basis of the image (8).

6. The method according to any one of the preceding claims,

characterized in that

Longitudinal markings (10) of a roadway (5) can be detected as objects (6) on the basis of the image (8).

7. The method according to any one of the preceding claims,

characterized in that

when generating the environment model (1 1) in addition to the at least one property of the objects (6) also relations between the objects (6)

which are determined in particular from the image (8).

8. The method according to any one of the preceding claims,

characterized in that

by means of the camera (3) a temporal sequence of images (8) of the

Is provided for each image (8) or every nth image (8), where n> 1, in each case the at least one property of the objects (6), wherein when generating the environment model (1 1 ) on the basis of the current image (8) and the properties of the objects (6) from previous images (8) are taken into account.

9. The method according to any one of the preceding claims,

characterized in that

When the environment model (11) is generated by the image processing device, it is assumed that the motor vehicle (1) and the objects (6) are located on a common plane (12).

10. The method according to any one of the preceding claims,

characterized in that

the properties of the objects (6) each with an associated

Weighting factor are weighted and the environment model (1 1) is generated from the weighted properties.

1 1. A driver assistance system (2) for a motor vehicle (1), comprising at least one camera (3) for providing an image (8) of a surrounding area (4) of the motor vehicle (1), and image processing means for processing the image (8) Image processing device is designed to perform a method according to any one of the preceding claims.

12. Motor vehicle (1) with a driver assistance system (2) according to claim 1. 1