[go: up one dir, main page]

WO2015090691A1 - Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug - Google Patents

Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug Download PDF

Info

Publication number
WO2015090691A1
WO2015090691A1 PCT/EP2014/072969 EP2014072969W WO2015090691A1 WO 2015090691 A1 WO2015090691 A1 WO 2015090691A1 EP 2014072969 W EP2014072969 W EP 2014072969W WO 2015090691 A1 WO2015090691 A1 WO 2015090691A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
motor vehicle
image
properties
environment model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2014/072969
Other languages
English (en)
French (fr)
Inventor
Lowik Chanussot
Brouk WEDAJO
Julien Rebut
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of WO2015090691A1 publication Critical patent/WO2015090691A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the invention relates to a method for operating a driver assistance system of a motor vehicle, in which an image of an environmental region of the motor vehicle is provided by means of a camera of the driver assistance system and a plurality of objects in the image is detected by an image processing device.
  • the invention also relates to a driver assistance system, which is designed to carry out such a method, as well as a motor vehicle with such
  • the interest is directed in particular to the tracking of target vehicles with the aid of a front camera of a motor vehicle.
  • Front cameras for motor vehicles are already known from the prior art and usually capture images of a surrounding area in front of the motor vehicle.
  • This sequence of images is processed by means of an electronic image processing device which detects target objects in the images.
  • the images are subjected to an object detection algorithm.
  • object detection algorithms are already state of the art and are based, for example, on pattern recognition.
  • characteristic points can first be extracted from the image, and then a target object can be identified on the basis of these characteristic points.
  • AdaBoost AdaBoost
  • HOG-SVM HOG-SVM.
  • a target object is identified in an image of the camera, then this target object can also be tracked over the subsequent images of the sequence.
  • the target object is detected in each image, whereby the detection in the current image must be assigned to the detection from the previous image.
  • the current position of the target object in the image frame and thus also the current relative position of the target object with respect to the motor vehicle are always known.
  • Tracing algorithm can be used, for example, the Lucas-Kanade method.
  • a named camera system with a front camera can be used as a collision warning system, by means of which the driver can be warned of a risk of collision with the target object.
  • a collision warning system can output warning signals, for example, in order to inform the driver acoustically and / or visually and / or haptically about the detected risk of collision.
  • the Camera system can also be used as an automatic brake assist system, which is designed to automatic due to the detected risk of collision
  • the risk of collision can be used for the so-called time to collision, that is to say a time period which is presumably required by the motor vehicle in order to reach the target object.
  • This time to collision may be determined from the estimated distance of the target object as well as from the relative
  • the known detection algorithms which serve to detect target vehicles in the image usually give a rectangular result as a result of the detection
  • Bounding box which surrounds the detected target vehicle.
  • the detected target vehicle is thus depicted, wherein the bounding box indicates the current position as well as the width and the height of the target vehicle in the image.
  • the circumstance may be considered that the bounding box only vaguely indicates the current position of the target vehicle in the image and the latitude and the height of the target vehicle.
  • the size of the bounding box is a vaguely indicates the current position of the target vehicle in the image and the latitude and the height of the target vehicle.
  • Boundary box may also vary across the sequence of images, which in turn reduces the accuracy of tracking the target vehicle across the images. Accordingly, therefore, the relative position of the target objects relative to the motor vehicle can be determined only inaccurate.
  • WO 2005/037619 A1 discloses a method for initiating a
  • Emergency braking in which the environment of a vehicle is detected and carried out an object detection and when a predetermined event emergency braking is triggered.
  • a reference object is specified, and the detected objects are compared with the reference object. Only objects that are greater than the reference object are considered for the evaluation of the event occurrence.
  • a collision warning system for a motor vehicle is further known from document US 8 412 448 B2. It becomes here a three-dimensional model of a motor vehicle
  • Target object is assumed relative to the motor vehicle.
  • the challenge now is to detect such detection errors and, if possible, to correct them.
  • This object is achieved by a method by a
  • An inventive method is used to operate a driver assistance system of a motor vehicle.
  • a camera of the driver assistance system an image of a surrounding area of the motor vehicle is provided.
  • Image processing device is then detected a plurality of objects in the image, namely in particular using a detection algorithm.
  • a detection algorithm In principle, an arbitrary detection algorithm can be used, so that in the present case the detection algorithm will not be discussed in greater detail.
  • a detection algorithm can be used which outputs for each detected object a so-called bounding box, in which the detected object is imaged. For each object, the
  • Image processing device at least one property of the respective object based on the image.
  • a property for example, the position of the respective object relative to the motor vehicle can be determined.
  • the image processing device then generates an environment model to the surrounding area of the motor vehicle from the
  • the environment model is under Using a predetermined optimization algorithm generated, for example, an error minimization algorithm, which the errors between the generated
  • the driver assistance system can thus be operated particularly reliably, since application errors due to incorrectly determined properties of the objects can be prevented. For example, it can be prevented that the driver of the motor vehicle is unnecessarily warned by the driver assistance system or that
  • the camera is preferably a front camera, which is arranged in particular behind a windshield of the motor vehicle, for example, directly on the windshield in the interior of the motor vehicle.
  • the front camera then detects the environment in the direction of travel or in the vehicle longitudinal direction in front of the motor vehicle. This may mean in particular that one perpendicular to the plane of the image sensor
  • extending camera axis is oriented parallel to the vehicle longitudinal axis.
  • the camera is preferably a video camera which can provide a plurality of frames per second.
  • the camera can be a CCD camera or a CMOS camera.
  • the camera system may be a collision warning system, by means of which a degree of danger with respect to a collision of the motor vehicle with the target vehicle is determined and depending on the current degree of danger a warning signal is output, with which the risk of collision is signaled to the driver.
  • the camera system can also be designed as an automatic brake assist system, by means of which braking interventions are automatically performed as a function of the degree of danger.
  • a degree of danger for example, the time to collision and / or removal of the target vehicle from the motor vehicle can be used.
  • a position of the respective objects relative to the motor vehicle can be determined as a property of the objects. This means that for each detected object the respective position relative to the motor vehicle is determined and the environment model is generated from the relative positions of the objects. Thus, errors in determining the relative positions of the objects can be detected and optionally then corrected.
  • the relative position of the objects with respect to the motor vehicle can be determined, for example, as a function of an estimated width and / or the determined type of the respective object.
  • the estimate of the relative position of the objects can basically be made in any way based on the image
  • an estimated real width of the respective object can also be determined as a property of the objects.
  • This width can be determined, for example, depending on the width of the above-mentioned bounding box, which is output by the detection algorithm. If the real width of the respective object is known, a distance of the object from the motor vehicle can also be estimated. This embodiment therefore has the advantage that on the one hand an error in the determination of the real width of the objects and on the other hand also errors in the
  • Determining the distance of the objects can be detected by the motor vehicle and optionally corrected.
  • a width of the respective object is preferably understood to mean a dimension of the object in the vehicle transverse direction.
  • a type of the respective object in particular a vehicle type, can be determined as a property of the objects. In principle, for example, it is possible to distinguish between the following types of objects: a target vehicle, a pedestrian, a tree and the like. If a target vehicle is detected, it is possible, for example, to distinguish between a passenger car, a truck and a motorcycle.
  • Error minimization algorithm can be used, in which the error between the determined properties of the objects on the one hand and the environment model
  • the RANSAC algorithm is implemented, which has the advantage that large outliers do not lead to a falsification of the environment model and the algorithm can thus be applied to noisy values. Overall, the RANSAC algorithm is very robust against outliers.
  • an algorithm based on regression analysis and / or fitting analysis can be used as the optimization algorithm.
  • target vehicles can be detected as objects in particular. In fact, it is typically the target vehicles that pose the greatest collision risk to the ego vehicle. It is thus particularly advantageous if the characteristics of target vehicles, and in particular the relative position of the target vehicles, are determined particularly precisely and any errors occurring are detected.
  • longitudinal markings of a carriageway can be detected as objects on which the motor vehicle is located.
  • the detection of the longitudinal markings in turn allows conclusions to be drawn on which lane the motor vehicle currently is and whether there are also other objects on this lane , in particular other vehicles.
  • relationships between the objects can be taken into account in addition to the at least one property of the objects. These relations can also preferably be determined on the basis of the image, it being additionally or alternatively also possible to use sensor data from other sensors to determine the mutual relations between the objects, in particular sensor data from distance sensors. Thus, in total Also relative constraints or conditions between the objects are taken into account when creating the environment model. These relations between the objects can be determined without much effort on the basis of the image, in particular on the basis of the determined position of the objects relative to the motor vehicle. As a relation between two objects can be determined, for example, which of the two objects is closer to the motor vehicle and which of the objects is further away from the motor vehicle.
  • Optimization algorithm can be used to find the best possible environment model.
  • the image processing device can for each image or every n-th image, with n> 1, each determine the at least one property of the objects.
  • the properties of the objects from previous images can then also be taken into account. In this way, a temporal filtering of the environment model can be made, which further improves the accuracy in the generation of the current environment model and the reliability of the error detection.
  • the image processing device in generating the
  • Ambient model assumed that the motor vehicle and the objects are located on a common plane. This assumption is also referred to as "flat world assumption.” Thus, a flat surface is used as the basis for the environment model, and it is assumed that all objects and the motor vehicle itself are located on this common flat surface
  • the motor vehicle itself can have a pitch angle (non-zero) and / or a roll angle (zero).
  • the properties of the objects are each weighted with an associated weighting factor and the environment model is generated from the weighted properties.
  • Each object can be assigned a different weighting factor.
  • important objects and / or objects having larger confidence values may be more powerful than other objects in generating the
  • the detection algorithm When detecting objects in the image, the detection algorithm usually also calculates so-called confidence values, which indicate the accuracy or probability of the detection and thus represent a confidence measure. These confidence values can now be used to determine the weighting factors, the larger the confidence value, the larger the associated weighting factor can be. Additionally or alternatively, information on the application level can also be used to determine the weighting factors, in particular a distance of the respective object from
  • a close object which has already been tracked for several minutes, may have a larger weighting factor than a distant object or a newly detected object.
  • the environment model can thus be generated even more precise and needs-based.
  • the invention additionally relates to a driver assistance system for a motor vehicle, with at least one camera for providing an image of an environmental region of the motor vehicle, and with an image processing device which is designed to carry out a method according to the invention.
  • An inventive motor vehicle in particular a passenger car, comprises a driver assistance system according to the invention.
  • Embodiments and their advantages apply correspondingly to the driver assistance system according to the invention and to the motor vehicle according to the invention.
  • FIG. 1 is a schematic representation of a motor vehicle with a
  • FIG. 2 shows a schematic representation of an exemplary image, which by means of a
  • Fig. 3 is a schematic representation of an environment model, which under
  • FIG. 5 shows a further flow chart of the method, wherein the detection of incorrectly determined properties is illustrated.
  • a motor vehicle 1 shown in FIG. 1 is a in the embodiment
  • the motor vehicle 1 comprises a driver assistance system 2, which serves, for example, as a collision warning system, by means of which the driver of the motor vehicle 1 can be warned of a risk of collision. Additionally or alternatively, the driver assistance system 2 may be formed as an automatic emergency braking system, by means of which the motor vehicle 1 is braked automatically due to a detected risk of collision.
  • a driver assistance system 2 serves, for example, as a collision warning system, by means of which the driver of the motor vehicle 1 can be warned of a risk of collision.
  • the driver assistance system 2 may be formed as an automatic emergency braking system, by means of which the motor vehicle 1 is braked automatically due to a detected risk of collision.
  • the driver assistance system 2 comprises a camera 3, which is designed as a front camera.
  • the camera 3 is in the interior of the motor vehicle 1 at a
  • Windshield of the motor vehicle 1 is arranged and detects a
  • the camera 3 is, for example, a CCD camera or a CMOS camera.
  • the camera 3 is a video camera, which provides a sequence of images of the surrounding area 4 and transmits it to an image processing device, not shown in the figures.
  • the Image processing device and the camera 3 can optionally also be integrated in a common housing.
  • Fig. 1 is located on a roadway 5 in front of the motor vehicle 1, an object 6, here in the form of a target vehicle 7.
  • the image processing device is arranged so that it on the images of the surrounding area 4 a
  • Detection algorithm can be applied, which is designed for the detection of objects 6.
  • This object detection algorithm can be stored, for example, in a memory of the image processing device and based for example on the algorithm AdaBoost.
  • AdaBoost algorithm for example on the algorithm AdaBoost.
  • detection algorithms are already state of the art and will not be described in detail here. If the object 6 is detected, this can be tracked by the image processing device over time. Also are
  • Tracing the target vehicle 7 over time means that in each frame or nth frame of the sequence (n> 1) the target vehicle 6 is detected and thus its current position in the respective frame is known. The target vehicle 6 is thus tracked across the sequence of images.
  • FIG. 8 An exemplary image 8 of the camera 3 is shown in FIG.
  • the detection algorithm detects a plurality of objects 6: target vehicles 7a, 7b, 7c, 7d, 7e on the one hand and longitudinal markings 10 of the roadway 5 on the other hand.
  • the image processing device determines the following properties for each object 6:
  • a real width of the respective object 6 - this real width can be determined by the width of the respective bounding box 9a to 9e; a position of the respective object 6 relative to the motor vehicle 1 - in the determination of the relative position, the distance of the respective object 6 from the motor vehicle 1 can first be determined as a function of the width of the object 6; a type of the respective object 6, in particular also a vehicle type of the target vehicles 7a to 7e - also the type is used to determine the exact relative position of the respective object 6 relative to the motor vehicle 1.
  • All properties of all detected objects 6 are then used as input parameters for the generation of an environment model of the surrounding area 4.
  • Generation of the environment model are used.
  • a relation between two objects 6 it can be determined, for example, which of the objects is closer and which is farther away from the motor vehicle 1 and / or which of the objects 6 is further to the left and which further to the right of the motor vehicle 1.
  • FIG. 3 An exemplary environment model 1 1 is shown in Fig. 3. The
  • Environment model 1 1 represents a digital environment map of the motor vehicle 1 in a two-dimensional coordinate system x, y.
  • Ambient model 1 1 is assumed that the motor vehicle 1 and all other objects 6 on a common plane 12 and thus on a
  • Input parameters (the properties of the objects 6 and in particular the mutual relations) is applied.
  • the RANSAC algorithm is preferably used as the optimization algorithm. However, it is also possible to use a different fitting algorithm and / or regression algorithm.
  • the properties of the objects 6 from the previous images can also be used, i. the previous environment models 1 1, which were created to the previous images.
  • a temporal filtering of the environment model 1 1 takes place.
  • each object 6 can be assigned a different and thus a separate weighting factor, which can be determined, for example, as a function of a confidence value of the respective detected object 6 and / or depending on a distance of this object 6 from the motor vehicle 1 and / or dependent on a time duration. for which this object 6 by the
  • step S1 When generating the environment model 1 1, several input parameters are initially provided according to step S1, which are the
  • step S12 camera parameters of the camera 3 or a so-called camera model are provided.
  • step S13 the longitudinal markings 10 are detected in the image 8 and the position relative to the motor vehicle 1 is determined.
  • step S14 the position relative to the motor vehicle 1 is determined.
  • Vehicle types of the target vehicles 7a to 7e determined.
  • step S15 the respective real width of the target vehicles 7a to 7e is determined.
  • step S16 the respective position of the target vehicles 7a to 7e relative to the motor vehicle 1 is determined.
  • step S17 the above-mentioned relations of the objects 6 with each other are determined.
  • step S21 the required input parameters are selected.
  • step S22 the estimation of the environment model 11 according to the said optimization algorithm then takes place according to step S22.
  • step S23 this compares
  • the originally determined properties of the objects 6, which were used to generate the optimized environment model 11, are thus used again in order to determine the correctness of the determination of these properties.
  • the originally determined properties for example the relative position of the objects 6 with respect to the motor vehicle 1
  • the environment model 1 1, which was generated according to the optimization algorithm are compared with the environment model 1 1, which was generated according to the optimization algorithm.
  • the properties of the detected objects 6 are determined according to step S101. These properties are then used in step S102 to generate the optimized environment model 11. The properties are then compared with the determined environment model according to step S103. The result of this comparison are properties that were originally determined incorrectly and thus have an error. These properties are outliers.
  • the relative position of the target vehicles 7c, 7d relative to the motor vehicle 1 was determined incorrectly. While the relative position of the target vehicle 7c has been erroneously determined only in the x-direction, the relative position of the target vehicle 7d in both the x-direction and the y-direction is erroneous. These errors are detected on the basis of the comparison of the determined relative positions of the target vehicles 7c, 7d with the optimized environment model 11.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs (1), mit den Schritten: - Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs (1) mittels einer Kamera des Fahrerassistenzsystems, - Detektieren einer Mehrzahl von Objekten (6) in dem Bild durch eine Bildverarbeitungseinrichtung, - zu jedem Objekt (6) Ermitteln zumindest einer Eigenschaft des jeweiligen Objekts (6) anhand des Bilds durch die Bildverarbeitungseinrichtung, - Erzeugen eines Umgebungsmodells (11) zu dem Umgebungsbereich des Kraftfahrzeugs (1) aus den Eigenschaften der Objekte (6) unter Verwendung eines vorbestimmten Optimierungsalgorithmus durch die Bildverarbeitungseinrichtung, - Vergleichen der Eigenschaften der Objekte (6) mit dem Umgebungsmodell (11) durch die Bildverarbeitungseinrichtung und - Detektieren von fehlerhaft ermittelten Eigenschaften anhand des Vergleichs.

Description

Verfahren zum Erzeugen eines Umgebungsmodells eines Kraftfahrzeugs,
Fahrerassistenzsystem und Kraftfahrzeug
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem ein Bild eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Fahrerassistenzsystems bereitgestellt wird und eine Mehrzahl von Objekten in dem Bild durch eine Bildverarbeitungseinrichtung detektiert wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem, welches zum Durchführen eines solchen Verfahrens ausgebildet ist, sowie ein Kraftfahrzeug mit einem solchen
Fahrerassistenzsystem.
Vorliegend richtet sich das Interesse insbesondere auf die Verfolgung von Zielfahrzeugen mit Hilfe einer Frontkamera eines Kraftfahrzeugs. Frontkameras für Kraftfahrzeuge sind dabei bereits aus dem Stand der Technik bekannt und erfassen üblicherweise Bilder eines Umgebungsbereichs vor dem Kraftfahrzeug. Diese Sequenz von Bildern wird mittels einer elektronischen Bildverarbeitungseinrichtung verarbeitet, welche in den Bildern Zielobjekte detektiert. Dazu werden die Bilder einem Objektdetektionsalgorithmus unterzogen. Solche Detektionsalgorithmen sind bereits Stand der Technik und basieren beispielsweise auf einer Mustererkennung. Um ein Zielobjekt zu detektieren, können zunächst so genannte charakteristische Punkte aus dem Bild extrahiert und anhand dieser charakteristischen Punkte dann ein Zielobjekt identifiziert werden. Als Beispiel können dabei folgende Algorithmen genannt werden: AdaBoost und HOG-SVM.
Wird ein Zielobjekt in einem Bild der Kamera identifiziert, so kann dieses Zielobjekt auch über die nachfolgenden Bilder der Sequenz hinweg verfolgt werden. Das Zielobjekt wird dabei in jedem Bild detektiert, wobei die Detektion in dem aktuellen Bild der Detektion aus dem vorherigen Bild zugeordnet werden muss. Durch das Verfolgen des Zielobjekts sind die aktuelle Position des Zielobjekts in dem Bildrahmen und somit auch die aktuelle relative Position des Zielobjekts bezüglich des Kraftfahrzeugs stets bekannt. Als
Verfolgungsalgorithmus kann dabei beispielsweise die Lucas-Kanade-Methode genutzt werden.
Ein genanntes Kamerasystem mit einer Frontkamera kann als Kollisionswarnungssystem genutzt werden, mittels welchem der Fahrer vor einer Kollisionsgefahr mit dem Zielobjekt gewarnt werden kann. Ein solches Kollisionswarnungssystem kann beispielsweise Warnsignale ausgeben, um den Fahrer über die detektierte Kollisionsgefahr akustisch und/oder optisch und/oder haptisch zu informieren. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem genutzt werden, welches dazu ausgelegt ist, aufgrund der detektierten Kollisionsgefahr automatische
Bremseingriffe des Kraftfahrzeugs vorzunehmen. Als Maß für die aktuelle
Kollisionsgefahr kann dabei beispielsweise die so genannte Zeit bis zur Kollision (time to collision) genutzt werden, das heißt eine Zeitdauer, welche durch das Kraftfahrzeug voraussichtlich benötigt wird, um das Zielobjekt zu erreichen. Diese Zeit bis zur Kollision kann aus der eingeschätzten Entfernung des Zielobjekts sowie aus der relativen
Geschwindigkeit berechnet werden.
Die bekannten Detektionsalgorithmen, welche zur Detektion von Zielfahrzeugen im Bild dienen, geben als Ergebnis der Detektion üblicherweise einen rechteckigen
Begrenzungskasten (Bounding Box) aus, welcher das detektierte Zielfahrzeug umgibt. In diesem Begrenzungskasten ist das detektierte Zielfahrzeug also abgebildet, wobei der Begrenzungskasten die aktuelle Position sowie die Breite und die Höhe des Zielfahrzeugs in dem Bild angibt. Als nachteilig an den bekannten Detektionsalgorithmen
(beispielsweise AdaBoost und HOG-SVM) kann der Umstand angesehen werden, dass der Begrenzungskasten die aktuelle Position des Zielfahrzeugs in dem Bild sowie die Breite und die Höhe des Zielfahrzeugs nur ungenau angibt. Die Größe des
Begrenzungskastens kann auch über die Sequenz der Bilder hinweg variieren, was wiederum die Genauigkeit bei der Verfolgung des Zielfahrzeugs über die Bilder hinweg reduziert. Entsprechend kann somit auch die relative Position der Zielobjekte relativ zum Kraftfahrzeug nur ungenau bestimmt werden.
Aus dem Dokument WO 2005/037619 A1 ist ein Verfahren zum Einleiten einer
Notbremsung bekannt, bei welchem die Umgebung eines Fahrzeugs erfasst wird und eine Objekterkennung durchgeführt und bei Eintritt eines vorgegebenen Ereignisses eine Notbremsung ausgelöst wird. Es wird ein Referenzobjekt vorgegeben, und die erkannten Objekte werden mit dem Referenzobjekt verglichen. Es werden nur Objekte für die Bewertung des Ereigniseintritts berücksichtigt, die größer sind als das Referenzobjekt.
Ein Kollisionswarnungssystem für ein Kraftfahrzeug ist des Weiteren aus dem Dokument US 8 412 448 B2 bekannt. Es wird hier ein dreidimensionales Modell einer
Fahrzeugumgebung aus Bildern erzeugt, welche mittels einer Frontkamera bereitgestellt werden.
Ein Objekterkennungsverfahren, bei welchem ein Histogramm verwendet wird, ist aus dem Dokument US 8 121 348 B2 bekannt. Wie bereits ausgeführt, sind die bekannten Algorithmen zur Detektion von Objekten anhand eines Bilds relativ ungenau, und die Objekterkennung ist mit einem relativ großen Fehler behaftet. Diese Fehler betreffen insbesondere die Bestimmung der Position der Objekte relativ zum Kraftfahrzeug. So kann es nämlich beispielsweise vorkommen, dass nur ein Teilbereich eines Zielobjekts - beispielsweise eines Zielfahrzeugs - detektiert wird, was dann dazu führt, dass durch das System eine falsche Position dieses
Zielobjekts relativ zum Kraftfahrzeug angenommen wird. Eine besondere
Herausforderung besteht nun darin, solche Detektionsfehler zu erkennen und nach Möglichkeit auch zu korrigieren.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung Detektionsfehler bei der Detektion der Objekte besonders zuverlässig erkannt und das Fahrerassistenzsystem somit zuverlässig betrieben werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein
Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs. Mittels einer Kamera des Fahrerassistenzsystems wird ein Bild eines Umgebungsbereiches des Kraftfahrzeugs bereitgestellt. Durch eine
Bildverarbeitungseinrichtung wird dann eine Mehrzahl von Objekten in dem Bild detektiert, nämlich insbesondere unter Verwendung eines Detektionsalgorithmus. Es kann dabei grundsätzlich ein beliebiger Detektionsalgorithmus verwendet werden, so dass vorliegend auf den Detektionsalgorithmus nicht näher eingegangen wird.
Beispielsweise kann ein Detektionsalgorithmus eingesetzt werden, welcher zu jedem detektierten Objekt einen sogenannten Begrenzungskasten (bounding box) ausgibt, in welchem das detektierte Objekt abgebildet ist. Zu jedem Objekt ermittelt die
Bildverarbeitungseinrichtung zumindest eine Eigenschaft des jeweiligen Objekts anhand des Bilds. Als Eigenschaft kann beispielsweise die Position des jeweiligen Objekts relativ zum Kraftfahrzeug ermittelt werden. Die Bildverarbeitungseinrichtung erzeugt dann ein Umgebungsmodell zu dem Umgebungsbereich des Kraftfahrzeugs aus den
Eigenschaften der detektierten Objekte. Das Umgebungsmodell wird dabei unter Verwendung eines vorbestimmten Optimierungsalgorithmus erzeugt, beispielsweise eines Fehlerminimierungsalgorithmus, welcher die Fehler zwischen dem erzeugten
Umgebungsmodell und den Eigenschaften der Objekte minimiert. Mit diesem optimierten Umgebungsmodell werden dann die ursprünglich ermittelten Eigenschaften der Objekte verglichen, und anhand des Vergleichs detektiert die Bildverarbeitungseinrichtung fehlerhaft ermittelte Eigenschaften.
Um Fehler bei der Detektion der Objekte bzw. beim Ermitteln der zumindest einen Eigenschaft der Objekte (zum Beispiel der relativen Position) zu erkennen, wird demnach erfindungsgemäß vorgeschlagen, ein globales Umgebungsmodell des Kraftfahrzeugs unter Verwendung eines vorbestimmten Optimierungsalgorithmus (zum Beispiel des RANSAC-Algorithmus) bereitzustellen und die ursprünglich ermittelten Eigenschaften der Objekte mit diesem Umgebungsmodell zu vergleichen. Diejenigen Eigenschaften, welche sich von dem Umgebungsmodell in einem bestimmten Ausmaß unterscheiden, werden als Ausreißer und somit als fehlerhaft ermittelte Eigenschaften interpretiert und können optional korrigiert werden. Das erfindungsgemäße Verfahren hat somit insgesamt den Vorteil, dass die fehlerhaft ermittelten Eigenschaften und somit die fehlerhaften
Detektionen besonders zuverlässig erkannt und gegebenenfalls auch korrigiert werden können. Das Fahrerassistenzsystem kann somit besonders zuverlässig betrieben werden, da Applikationsfehler aufgrund von fehlerhaft ermittelten Eigenschaften der Objekte verhindert werden können. So kann beispielsweise verhindert werden, dass der Fahrer des Kraftfahrzeugs unnötig durch das Fahrerassistenzsystems gewarnt oder das
Kraftfahrzeug unnötig automatisch abgebremst wird, obwohl tatsächlich keine
Kollisionsgefahr besteht. Andererseits können auch Situationen verhindert werden, in denen keine Warnung durch das System oder kein automatisches Abbremsen des Fahrzeugs trotz einer tatsächlich gegebenen Kollisionsgefahr erfolgt.
Die Kamera ist vorzugsweise eine Frontkamera, welche insbesondere hinter einer Windschutzscheibe des Kraftfahrzeugs angeordnet ist, beispielsweise direkt an der Windschutzscheibe im Innenraum des Kraftfahrzeugs. Die Frontkamera erfasst dann die Umgebung in Fahrtrichtung bzw. in Fahrzeuglängsrichtung vor dem Kraftfahrzeug. Dies kann insbesondere bedeuten, dass eine senkrecht zur Ebene des Bildsensors
verlaufende Kameraachse parallel zur Fahrzeuglängsachse orientiert ist.
Die Kamera ist vorzugsweise eine Video-Kamera, welche eine Vielzahl von Bildern (frames) pro Sekunde bereitstellen kann. Die Kamera kann eine CCD-Kamera oder eine CMOS-Kamera sein. Das Kamerasystem kann ein Kollisionswarnungssystem sein, mittels welchem ein Gefahrengrad bezüglich einer Kollision des Kraftfahrzeugs mit dem Zielfahrzeug bestimmt und abhängig von dem aktuellen Gefahrengrad ein Warnsignal ausgegeben wird, mit welchem die Kollisionsgefahr dem Fahrer signalisiert wird. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem ausgebildet sein, mittels welchem Bremseingriffe automatisch in Abhängigkeit von dem Gefahrengrad durchgeführt werden. Als Gefahrengrad kann dabei beispielsweise die Zeit bis zur Kollision und/oder eine Entfernung des Zielfahrzeugs von dem Kraftfahrzeug verwendet werden.
Wie bereits ausgeführt, kann als Eigenschaft der Objekte eine Position der jeweiligen Objekte relativ zum Kraftfahrzeug ermittelt werden. Dies bedeutet, dass zu jedem detektierten Objekt die jeweilige Position relativ zum Kraftfahrzeug ermittelt wird und das Umgebungsmodell aus den relativen Positionen der Objekte erzeugt wird. Somit können Fehler in der Ermittlung der relativen Positionen der Objekte detektiert und optional dann korrigiert werden.
Die relative Position der Objekte bezüglich des Kraftfahrzeugs kann beispielsweise in Abhängigkeit von einer abgeschätzten Breite und/oder des ermittelten Typs des jeweiligen Objekts bestimmt werden. Die Schätzung der relativen Position der Objekte kann jedoch grundsätzlich auf eine beliebige Art und Weise anhand des Bilds
durchgeführt werden.
Ergänzend oder alternativ kann als Eigenschaft der Objekte auch eine geschätzte reale Breite des jeweiligen Objekts ermittelt werden. Diese Breite kann beispielsweise abhängig von der Breite des oben genannten Begrenzungskastens ermittelt werden, welcher durch den Detektionsalgorithmus ausgegeben wird. Ist die reale Breite des jeweiligen Objekts bekannt, so kann auch eine Entfernung des Objekts von dem Kraftfahrzeug abgeschätzt werden. Diese Ausführungsform hat daher den Vorteil, dass zum einen Fehler in der Bestimmung der realen Breite der Objekte und zum anderen auch Fehler in der
Ermittlung der Entfernung der Objekte vom Kraftfahrzeug detektiert und gegebenenfalls korrigiert werden können.
Unter einer Breite des jeweiligen Objekts wird dabei bevorzugt eine Abmessung des Objekts in Fahrzeugquerrichtung verstanden. Weiterhin ergänzend oder alternativ kann als Eigenschaft der Objekte auch ein Typ des jeweiligen Objekts, insbesondere ein Fahrzeugtyp, ermittelt werden. Es kann zunächst grundsätzlich beispielsweise zwischen folgenden Typen der Objekte unterschieden werden: einem Zielfahrzeug, einem Fu ßgänger, einem Baum und dergleichen. Wird ein Zielfahrzeug detektiert, so kann beispielsweise zwischen einem Personenkraftwagen, einem Lastkraftwagen und einem Motorrad unterschieden werden.
Wie bereits ausgeführt, kann als Optimierungsalgorithmus ein
Fehlerminimierungsalgorithmus verwendet werden, bei welchem der Fehler zwischen den ermittelten Eigenschaften der Objekte einerseits und dem Umgebungsmodell
andererseits minimiert wird. Insbesondere wird dabei der RANSAC-Algorithmus implementiert, welcher den Vorteil hat, dass große Ausreißer nicht zu einer Verfälschung des Umgebungsmodells führen und der Algorithmus somit auf verrauschte Werte angewendet werden kann. Der RANSAC-Algrorithmus ist insgesamt sehr robust gegenüber Ausreißern.
Allgemein gesagt, kann als Optimierungsalgorithmus ein Algorithmus eingesetzt werden, welcher auf der Regressionsanalyse und/oder Fitting-Analyse basiert.
Anhand des Bilds können insbesondere Zielfahrzeuge als Objekte detektiert werden. Es sind nämlich typischerweise die Zielfahrzeuge, welche die größte Kollisionsgefahr für das Ego-Fahrzeug darstellen. Es ist somit besonders vorteilhaft, wenn die Eigenschaften von Zielfahrzeugen, und insbesondere die relative Position der Zielfahrzeuge, besonders präzise bestimmt und gegebenenfalls auftretende Fehler detektiert werden.
Anhand des Bilds können ergänzend oder alternativ auch Längsmarkierungen einer Fahrbahn als Objekte detektiert werden, auf welcher sich das Kraftfahrzeug befindet .Die Detektion der Längsmarkierungen ermöglicht wiederum Rückschlüsse darauf, auf welcher Fahrspur sich aktuell das Kraftfahrzeug befindet und ob sich auf dieser Fahrspur auch weitere Objekte befinden, wie insbesondere andere Fahrzeuge.
Beim Erzeugen des Umgebungsmodells können zusätzlich zu der zumindest einen Eigenschaft der Objekte auch Relationen zwischen den Objekten untereinander berücksichtigt werden. Auch diese Relationen können vorzugsweise anhand des Bilds bestimmt werden, wobei es ergänzend oder alternativ auch möglich ist, zur Ermittlung der gegenseitigen Relationen zwischen den Objekten Sensordaten anderer Sensoren zu verwenden, insbesondere Sensordaten von Abstandssensoren. Somit können insgesamt auch relative Beschränkungen bzw. Bedingungen zwischen den Objekten untereinander beim Erzeugen des Umgebungsmodells berücksichtigt werden. Diese Relationen zwischen den Objekten könne ohne viel Aufwand anhand des Bilds ermittelt werden, insbesondere anhand der ermittelten Position der Objekte relativ zum Kraftfahrzeug. Als Relation zwischen zwei Objekten kann beispielsweise ermittelt werden, welches der beiden Objekte sich näher dem Kraftfahrzeug befindet und welches der Objekte weiter von dem Kraftfahrzeug entfernt ist. Als Relation kann aber auch ermittelt werden, welches der Objekte sich weiter links oder weiter rechts bezüglich des Kraftfahrzeugs befindet und/oder welches der Objekte sich auf der Fahrbahn des Kraftfahrzeugs und welches der Objekte sich außerhalb dieser Fahrbahn befindet. Auch diese Relationen können als Eingangsparameter zur Erzeugung des Umgebungsmodells gemäß dem
Optimierungsalgorithmus verwendet werden, um ein bestmögliches Umgebungsmodell finden zu können.
Bei der Erzeugung des Umgebungsmodells können auch Eigenschaften der Objekte berücksichtigt werden, welche anhand von zeitlich vorhergehenden Bildern ermittelt wurden. Mittels der Kamera kann eine zeitliche Sequenz von Bildern des
Umgebungsbereiches dargestellt werden, und die Bildverarbeitungseinrichtung kann zu jedem Bild oder zu jedem n-ten Bild, mit n>1 , jeweils die zumindest eine Eigenschaft der Objekte ermitteln. Beim Erzeugen des Umgebungsmodells anhand des aktuellen Bilds können dann auch die Eigenschaften der Objekte aus vorherigen Bildern berücksichtigt werden. Auf diese Art und Weise kann eine zeitliche Filterung des Umgebungsmodells vorgenommen werden, was weiterhin die Genauigkeit bei der Erzeugung des aktuellen Umgebungsmodells und die Zuverlässigkeit der Fehlerdetektion verbessert.
Vorzugsweise wird durch die Bildverarbeitungseinrichtung beim Erzeugen des
Umgebungsmodells angenommen, dass sich das Kraftfahrzeug und die Objekte auf einer gemeinsamen Ebene befinden. Diese Annahme wird auch als„flat world assumption" bezeichnet. Als Basis für das Umgebungsmodell wird somit eine ebene Fläche verwendet, und es wird angenommen, dass sich alle Objekte sowie das Kraftfahrzeug selbst auf dieser gemeinsamen ebenen Fläche befinden. Dies reduziert den Aufwand bei der Erzeugung des Umgebungsmodells. Das Kraftfahrzeug selbst kann dabei einen Nickwinkel (pitch angle) ungleich Null und/oder einen Rollwinkel (roll angle) gleich Null aufweisen.
In einer Ausführungsform ist vorgesehen, dass die Eigenschaften der Objekte jeweils mit einem zugeordneten Gewichtungsfaktor gewichtet werden und das Umgebungsmodell aus den gewichteten Eigenschaften erzeugt wird. Jedem Objekt kann dabei ein anderer Gewichtungsfaktor zugeordnet werden. Somit können wichtige Objekte und/oder Objekte mit größeren Konfidenzwerten stärker als andere Objekte beim Erzeugen des
Umgebungsmodells berücksichtigt werden. Bei der Detektion von Objekten im Bild berechnet der Detektionsalgorithmus üblicherweise auch sogenannte Konfidenzwerte, welche die Genauigkeit bzw. Wahrscheinlichkeit der Detektion angeben und somit ein Konfidenzmaß darstellen. Diese Konfidenzwerte können nun zur Bestimmung der Gewichtungsfaktoren herangezogen werden, wobei je größer der Konfidenzwert ist, desto größer kann der zugeordnete Gewichtungsfaktor sein. Ergänzend oder alternativ können zur Bestimmung der Gewichtungsfaktoren auch Informationen auf der Applikationsebene verwendet werden, insbesondere eine Entfernung des jeweiligen Objekts vom
Kraftfahrzeug und/oder eine Zeitdauer, für welche das jeweilige Objekt seit seiner ersten Detektion durch das Fahrerassistenzsystem verfolgt wurde. Ein nahes Objekt, welches bereits für mehrere Minuten verfolgt wurde, kann einen größeren Gewichtungsfaktor aufweisen als ein entferntes Objekt oder aber ein gerade eben detektiertes Objekt. Das Umgebungsmodell kann somit noch präziser und bedarfsgerechter erzeugt werden.
Die Erfindung betrifft au ßerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, mit zumindest einer Kamera zum Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs, und mit einer Bildverarbeitungseinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten
Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüche, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen
Kombinationen oder aber in Alleinstellung verwendbar. Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Es zeigen:
Fig. 1 in schematischer Darstellung ein Kraftfahrzeug mit einem
Fahrerassistenzsystem gemäß einer Ausführungsform der Erfindung;
Fig. 2 in schematischer Darstellung ein beispielhaftes Bild, welches mittels einer
Kamera des Fahrerassistenzsystems bereitgestellt wird;
Fig. 3 in schematischer Darstellung ein Umgebungsmodell, welches unter
Verwendung eines Optimierungsalgorithmus erzeugt wird;
Fig. 4 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der
Erfindung; und
Fig. 5 ein weiteres Flussdiagramm des Verfahrens, wobei die Detektion von fehlerhaft ermittelten Eigenschaften veranschaulicht wird.
Ein in Fig. 1 gezeigtes Kraftfahrzeug 1 ist im Ausführungsbeispiel ein
Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches zum Beispiel als Kollisionswarnungssystem dient, mittels welchem der Fahrer des Kraftfahrzeugs 1 vor einer Kollisionsgefahr gewarnt werden kann. Ergänzend oder alternativ kann das Fahrerassistenzsystem 2 als automatisches Notbremssystem ausgebildet sein, mittels welchem das Kraftfahrzeug 1 aufgrund einer detektierten Kollisionsgefahr automatisch abgebremst wird.
Das Fahrerassistenzsystem 2 umfasst eine Kamera 3, welche als Frontkamera ausgebildet ist. Die Kamera 3 ist im Innenraum des Kraftfahrzeugs 1 an einer
Windschutzscheibe des Kraftfahrzeugs 1 angeordnet und erfasst einen
Umgebungsbereich 4 vor dem Kraftfahrzeug 1 . Die Kamera 3 ist beispielsweise eine CCD-Kamera oder eine CMOS- Kamera. Die Kamera 3 ist eine Video-Kamera, welche eine Sequenz von Bildern des Umgebungsbereichs 4 bereitstellt und an eine in den Figuren nicht dargestellte Bildverarbeitungseinrichtung übermittelt. Die Bildverarbeitungseinrichtung und die Kamera 3 können optional auch in ein gemeinsames Gehäuse integriert sein.
Wie aus Fig. 1 hervorgeht, befindet sich auf einer Fahrbahn 5 vor dem Kraftfahrzeug 1 ein Objekt 6, hier in Form eines Zielfahrzeugs 7. Die Bildverarbeitungseinrichtung ist so eingerichtet, dass sie auf die Bilder des Umgebungsbereichs 4 einen
Detektionsalgorithmus anwenden kann, welcher zur Detektion von Objekten 6 ausgelegt ist. Dieser Objektdetektionsalgorithmus kann beispielsweise in einem Speicher der Bildverarbeitungseinrichtung abgelegt sein und beispielsweise auf dem Algorithmus AdaBoost basieren. Solche Detektionsalgorithmen sind bereits Stand der Technik und werden hier nicht näher beschrieben. Wird das Objekt 6 detektiert, so kann dieses durch die Bildverarbeitungseinrichtung über die Zeit verfolgt werden. Auch dazu sind
entsprechende Verfolgungsalgorithmen bekannt.
Das Verfolgen des Zielfahrzeugs 7 über die Zeit bedeutet, dass in jedem Bild oder in jedem n-ten Bild der Sequenz (n>1 ) das Zielfahrzeug 6 detektiert wird und somit seine aktuelle Position in dem jeweiligen Bild bekannt ist. Das Zielfahrzeug 6 wird also über die Sequenz der Bilder hinweg verfolgt.
Ein beispielhaftes Bild 8 der Kamera 3 ist in Fig. 2 gezeigt. Der Detektionsalgorithmus detektiert eine Mehrzahl von Objekten 6: Zielfahrzeuge 7a, 7b, 7c, 7d, 7e einerseits sowie Längsmarkierungen 10 der Fahrbahn 5 andererseits. Als Ergebnis der jeweiligen
Detektion wird dabei ein Begrenzungskasten 9a bis 9e ausgegeben, welcher die Position des jeweiligen Objekts 6 im Bild 8 charakterisiert.
Die Bildverarbeitungseinrichtung ermittelt zu jedem Objekt 6 folgende Eigenschaften:
- eine reale Breite des jeweiligen Objekts 6 - diese reale Breite kann anhand der Breite des jeweiligen Begrenzungskastens 9a bis 9e ermittelt werden; eine Position des jeweiligen Objekts 6 relativ zum Kraftfahrzeug 1 - bei der Bestimmung der relativen Position kann zunächst die Entfernung des jeweiligen Objekts 6 vom Kraftfahrzeug 1 in Abhängigkeit von der Breite des Objekts 6 ermittelt werden; - einen Typ des jeweiligen Objekts 6, insbesondere auch einen Fahrzeugtyp der Zielfahrzeuge 7a bis 7e - auch der Typ wird zur Ermittlung der genauen relativen Position des jeweiligen Objekts 6 relativ zum Kraftfahrzeug 1 herangezogen.
Alle Eigenschaften aller detektierten Objekte 6 werden dann als Eingangsparameter für die Erzeugung eines Umgebungsmodells des Umgebungsbereichs 4 verwendet.
Zusätzlich können auch Relationen zwischen den Objekten 6 untereinander zur
Erzeugung des Umgebungsmodells herangezogen werden. Als Relation zwischen zwei Objekten 6 kann beispielsweise ermittelt werden, welches der Objekte sich näher und welches sich weiter weg vom Kraftfahrzeug 1 befindet und/oder welches der Objekte 6 sich weiter links und welches weiter rechts des Kraftfahrzeugs 1 befindet.
Ein beispielhaftes Umgebungsmodell 1 1 ist dabei in Fig. 3 dargestellt. Das
Umgebungsmodell 1 1 stellt dabei eine digitale Umgebungskarte des Kraftfahrzeugs 1 in einem zweidimensionalen Koordinatensystem x, y dar. Beim Erzeugen des
Umgebungsmodells 1 1 wird dabei angenommen, dass sich das Kraftfahrzeug 1 sowie alle anderen Objekte 6 auf einer gemeinsamen Ebene 12 und somit auf einer
gemeinsamen ebenen Fahrbahn 5 befinden. Zur Erzeugung des Umgebungsmodells 1 1 wird ein Optimierungsalgorithmus genutzt, welcher auf die oben genannten
Eingangsparameter (die Eigenschaften der Objekte 6 und insbesondere auch die gegenseitigen Relationen) angewendet wird. Bevorzugt wird als Optimierungsalgorithmus der RANSAC-Algorithmus verwendet. Es kann aber auch ein anderer Fitting-Algorithmus und/oder Regressionsalgorithmus verwendet werden.
Beim Erzeugen des Umgebungsmodells 1 1 zum aktuellen Bild 8 der Kamera 3 können auch die Eigenschaften der Objekte 6 aus den vorherigen Bildern verwendet werden, d.h. die vorherigen Umgebungsmodelle 1 1 , welche zu den vorherigen Bildern erzeugt wurden. Somit findet auch eine zeitliche Filterung des Umgebungsmodells 1 1 statt.
Es ist auch möglich, beim Erzeugen des Umgebungsmodells 1 1 die Eigenschaften der Objekte 6 mit einem Gewichtungsfaktor zu versehen und das Umgebungsmodell 1 1 aus den gewichteten Eigenschaften bereitzustellen. Jedem Objekt 6 kann dabei ein anderer und somit ein separater Gewichtungsfaktor zugeordnet werden, welcher beispielsweise abhängig von einem Konfidenzwert des jeweiligen detektierten Objekts 6 und/oder abhängig von einer Entfernung dieses Objekts 6 vom Kraftfahrzeug 1 und/oder abhängig von einer Zeitdauer bestimmt werden kann, für welche dieses Objekt 6 durch das
Fahrerassistenzsystem 2 bereits verfolgt wurde. Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nun Bezug nehmend auf Fig. 4 näher erläutert. Beim Erzeugen des Umgebungsmodells 1 1 werden zunächst gemäß Schritt S1 mehrere Eingangsparameter bereitgestellt, welche dem
Optimierungsalgorithmus zugrunde gelegt werden. Diesbezüglich werden gemäß Schritt S12 Kameraparameter der Kamera 3 bzw. ein sogenanntes Kameramodell bereitgestellt. Gemäß Schritt S13 werden in dem Bild 8 die Längsmarkierungen 10 detektiert und die Position relativ zum Kraftfahrzeug 1 ermittelt. Gemäß Schritt S14 werden die
Fahrzeugtypen der Zielfahrzeuge 7a bis 7e ermittelt. Gemäß Schritt S15 wird die jeweilige reale Breite der Zielfahrzeuge 7a bis 7e ermittelt. Gemäß Schritt S16 wird die jeweilige Position der Zielfahrzeuge 7a bis 7e relativ zum Kraftfahrzeug 1 ermittelt. Gemäß Schritt S17 werden die oben genannten Relationen der Objekte 6 untereinander ermittelt.
Diese Eigenschaften werden dann einer globalen Optimierung gemäß Schritt S2 zugeführt. Gemäß Schritt S21 werden die benötigten Eingangsparameter ausgewählt. Die Schätzung des Umgebungsmodells 1 1 gemäß dem genannten Optimierungsalgorithmus erfolgt dann gemäß Schritt S22. Gemäß Schritt S23 vergleicht das
Fahrerassistenzsystem 2 die ermittelten Eigenschaften der Objekte 6 mit dem
bereitgestellten Umgebungsmodell 1 1 . Anhand dieses Vergleichs werden dann gemäß Schritt S3 Eigenschaften detektiert, welche fehlerhaft ermittelt wurden und somit
Ausreißer darstellen.
Die ursprünglich ermittelten Eigenschaften der Objekte 6, welche zur Erzeugung des optimierten Umgebungsmodells 1 1 herangezogen wurden, werden somit nochmals dazu genutzt, um die Richtigkeit der Ermittlung dieser Eigenschaften feststellen zu können. Dazu werden die ursprünglich ermittelten Eigenschaften (zum Beispiel die relative Position der Objekte 6 bezüglich des Kraftfahrzeugs 1 ) mit dem Umgebungsmodell 1 1 verglichen, welches gemäß dem Optimierungsalgorithmus erzeugt wurde.
Dieses Verfahren ist zusätzlich auch in Fig. 5 veranschaulicht. Hier werden gemäß Schritt S101 die Eigenschaften der detektierten Objekte 6 ermittelt. Diese Eigenschaften werden dann gemäß Schritt S102 zur Erzeugung des optimierten Umgebungsmodells 1 1 verwendet. Die Eigenschaften werden dann mit dem ermittelten Umgebungsmodell gemäß Schritt S103 verglichen. Das Ergebnis dieses Vergleiches sind Eigenschaften, welche ursprünglich fehlerhaft ermittelt wurden und somit mit einem Fehler behaftet sind. Diese Eigenschaften stellen Ausreißer dar. Wie aus Fig. 5 hervorgeht, wurde im Ausführungsbeispiel die relative Position der Zielfahrzeuge 7c, 7d relativ zum Kraftfahrzeug 1 fehlerhaft bestimmt. Während die relative Position des Zielfahrzeugs 7c lediglich in x-Richtung fehlerhaft bestimmt wurde, ist die relative Position des Zielfahrzeugs 7d sowohl in x-Richtung als auch in y-Richtung mit einem Fehler behaftet. Diese Fehler werden anhand des Vergleichs der ermittelten relativen Positionen der Zielfahrzeuge 7c, 7d mit dem optimierten Umgebungsmodell 1 1 detektiert.

Claims

Patentansprüche
1 . Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1 ), mit den Schritten:
Bereitstellen eines Bilds (8) eines Umgebungsbereichs (4) des Kraftfahrzeugs (1 ) mittels einer Kamera (3) des Fahrerassistenzsystems (2),
Detektieren einer Mehrzahl von Objekten (6) in dem Bild (8) durch eine
Bildverarbeitungseinrichtung,
zu jedem Objekt (6) Ermitteln zumindest einer Eigenschaft des jeweiligen Objekts (6) anhand des Bilds (8) durch die Bildverarbeitungseinrichtung, Erzeugen eines Umgebungsmodells (1 1 ) zu dem Umgebungsbereich (4) des Kraftfahrzeugs (1 ) aus den Eigenschaften der Objekte (6) unter Verwendung eines vorbestimmten Optimierungsalgorithmus durch die
Bildverarbeitungseinrichtung,
- Vergleichen der Eigenschaften der Objekte (6) mit dem Umgebungsmodell (1 1 ) durch die Bildverarbeitungseinrichtung und
Detektieren von fehlerhaft ermittelten Eigenschaften anhand des Vergleichs.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
als Eigenschaft eine Position der jeweiligen Objekte (6) relativ zum Kraftfahrzeug (1 ) ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
als Eigenschaft zumindest einer der folgenden Parameter ermittelt wird:
- ein Typ des jeweiligen Objekts (6), insbesondere ein Fahrzeugtyp, und/oder
- eine reale Breite des jeweiligen Objekts (6).
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
als Optimierungsalgorithmus ein Fehlerminimierungsalgorithmus, insbesondere der RANSAC-Algorithmus, zur Erzeugung des Umgebungsmodells (1 1 ) verwendet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
anhand des Bilds (8) Zielfahrzeuge (7) als Objekte (6) detektiert werden.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
anhand des Bilds (8) Längsmarkierungen (10) einer Fahrbahn (5) als Objekte (6) detektiert werden.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
beim Erzeugen des Umgebungsmodells (1 1 ) zusätzlich zu der zumindest einen Eigenschaft der Objekte (6) auch Relationen zwischen den Objekten (6)
berücksichtigt werden, die insbesondere anhand des Bilds (8) bestimmt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
mittels der Kamera (3) eine zeitliche Sequenz von Bildern (8) des
Umgebungsbereichs (4) bereitgestellt wird und zu jedem Bild (8) oder zu jedem n- ten Bild (8), mit n>1 , jeweils die zumindest eine Eigenschaft der Objekte (6) ermittelt wird, wobei beim Erzeugen des Umgebungsmodells (1 1 ) anhand des aktuellen Bilds (8) auch die Eigenschaften der Objekte (6) aus vorherigen Bildern (8) berücksichtigt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
beim Erzeugen des Umgebungsmodells (1 1 ) durch die Bildverarbeitungseinrichtung angenommen wird, dass sich das Kraftfahrzeug (1 ) und die Objekte (6) auf einer gemeinsamen Ebene (12) befinden.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Eigenschaften der Objekte (6) jeweils mit einem zugeordneten
Gewichtungsfaktor gewichtet werden und das Umgebungsmodell (1 1 ) aus den gewichteten Eigenschaften erzeugt wird.
1 1 . Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1 ), mit zumindest einer Kamera (3) zum Bereitstellen eines Bilds (8) eines Umgebungsbereichs (4) des Kraftfahrzeugs (1 ), und mit einer Bildverarbeitungseinrichtung zum Verarbeiten des Bilds (8), wobei die Bildverarbeitungseinrichtung dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
12. Kraftfahrzeug (1 ) mit einem Fahrerassistenzsystem (2) nach Anspruch 1 1 .
PCT/EP2014/072969 2013-12-21 2014-10-27 Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug Ceased WO2015090691A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013021840.3A DE102013021840A1 (de) 2013-12-21 2013-12-21 Verfahren zum Erzeugen eines Umgebungsmodells eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102013021840.3 2013-12-21

Publications (1)

Publication Number Publication Date
WO2015090691A1 true WO2015090691A1 (de) 2015-06-25

Family

ID=51845395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/072969 Ceased WO2015090691A1 (de) 2013-12-21 2014-10-27 Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug

Country Status (2)

Country Link
DE (1) DE102013021840A1 (de)
WO (1) WO2015090691A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110954111A (zh) * 2018-09-26 2020-04-03 罗伯特·博世有限公司 定量表征对象的对象属性误差的至少一个时间序列的方法
CN112001344A (zh) * 2020-08-31 2020-11-27 深圳市豪恩汽车电子装备股份有限公司 机动车目标检测装置及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016007389A1 (de) 2016-06-17 2016-12-15 Daimler Ag Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
DE102017207658A1 (de) * 2017-05-08 2018-11-08 Continental Automotive Gmbh Verfahren zum Identifizieren eines Fahrzeugs mit einem Zu-satzkennzeichen, und eine Vorrichtung zur Durchführung des Verfahrens
DE102017207958B4 (de) 2017-05-11 2019-03-14 Audi Ag Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zum Betreiben einer Recheneinrichtung sowie System
US12030507B2 (en) 2020-06-29 2024-07-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005037619A1 (de) 2003-09-24 2005-04-28 Daimlerchrysler Ag Notbremssystem
US20100315505A1 (en) * 2009-05-29 2010-12-16 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3d warping techniques and a proper object motion detection
US8121348B2 (en) 2006-07-10 2012-02-21 Toyota Jidosha Kabushiki Kaisha Object detection apparatus, method and program
EP2562681A1 (de) * 2011-08-25 2013-02-27 Delphi Technologies, Inc. Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
US8412448B2 (en) 2010-02-08 2013-04-02 Hon Hai Precision Industry Co., Ltd. Collision avoidance system and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19534230A1 (de) * 1995-09-15 1997-03-20 Daimler Benz Ag Verfahren zur Erkennung von Objekten in zeitveränderlichen Bildern
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE10324895A1 (de) * 2003-05-30 2004-12-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
DE102009033852A1 (de) * 2009-07-16 2010-05-06 Daimler Ag Verfahren und Vorrichtung zur Erfassung einer Umgebung eines Fahrzeugs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005037619A1 (de) 2003-09-24 2005-04-28 Daimlerchrysler Ag Notbremssystem
US8121348B2 (en) 2006-07-10 2012-02-21 Toyota Jidosha Kabushiki Kaisha Object detection apparatus, method and program
US20100315505A1 (en) * 2009-05-29 2010-12-16 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3d warping techniques and a proper object motion detection
US8412448B2 (en) 2010-02-08 2013-04-02 Hon Hai Precision Industry Co., Ltd. Collision avoidance system and method
EP2562681A1 (de) * 2011-08-25 2013-02-27 Delphi Technologies, Inc. Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PONSA D ET AL: "Multiple vehicle 3D tracking using an unscented Kalman filter", INTELLIGENT TRANSPORTATION SYSTEMS, 2005. PROCEEDINGS. 2005 IEEE VIENNA, AUSTRIA 13-16 SEPT. 2005, PISCATAWAY, NJ, USA,IEEE, 13 September 2005 (2005-09-13), pages 1108 - 1113, XP010843181, ISBN: 978-0-7803-9215-1, DOI: 10.1109/ITSC.2005.1520206 *
SAYANAN SIVARAMAN ET AL: "Integrated Lane and Vehicle Detection, Localization, and Tracking: A Synergistic Approach", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 14, no. 2, 1 June 2013 (2013-06-01), pages 906 - 917, XP011511531, ISSN: 1524-9050, DOI: 10.1109/TITS.2013.2246835 *
SIVARAMAN SAYANAN ET AL: "Looking at Vehicles on the Road: A Survey of Vision-Based Vehicle Detection, Tracking, and Behavior Analysis", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 14, no. 4, 1 December 2013 (2013-12-01), pages 1773 - 1795, XP011532563, ISSN: 1524-9050, [retrieved on 20131125], DOI: 10.1109/TITS.2013.2266661 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110954111A (zh) * 2018-09-26 2020-04-03 罗伯特·博世有限公司 定量表征对象的对象属性误差的至少一个时间序列的方法
CN112001344A (zh) * 2020-08-31 2020-11-27 深圳市豪恩汽车电子装备股份有限公司 机动车目标检测装置及方法

Also Published As

Publication number Publication date
DE102013021840A1 (de) 2015-06-25

Similar Documents

Publication Publication Date Title
DE102015209857B4 (de) Autonomes Notbremssystem und Verfahren zum Erkennen von Fußgängern in diesem
EP3038011B1 (de) Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
EP2888604B1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
DE102012216386A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE102016212326A1 (de) Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs
DE112009005424T5 (de) Objektdetektionsvorrichtung u nd Objektdetektionsverfahren
WO2014127777A2 (de) Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
EP2786166A1 (de) Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs
DE102019103368A1 (de) Erkennung durch fusion mehrerer sensoren
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE112020000325T5 (de) Schätzung von Anhängereigenschaften mit Fahrzeugsensoren
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP4088224A1 (de) Verfahren zur zusammenführung mehrerer datensätze für die erzeugung eines aktuellen spurmodells einer fahrbahn und vorrichtung zur datenverarbeitung
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102016220450A1 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Abschätzung einer Kollisionswahrscheinlichkeit zwischen einem Fortbewegungsmittel und einem Umgebungsobjekt
DE102010049216A1 (de) Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera
DE102015226116A1 (de) Verfahren zum Bewerten einer durch zumindest einen Sensor eines Fahrzeugs erfassten Gefahrensituation, Verfahren zum Steuern einer Wiedergabe einer Gefahrenwarnung und Verfahren zum Wiedergeben einer Gefahrenwarnung
DE102018201531A1 (de) Verfahren zum Erkennen eines Fahrschlauchs bei schienengebundenen Fahrzeugen
DE102013020947A1 (de) Verfahren zum Verfolgen eines Zielobjekts bei Helligkeitsänderung, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14792785

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14792785

Country of ref document: EP

Kind code of ref document: A1