DE102010006828A1

DE102010006828A1 - Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug

Info

Publication number: DE102010006828A1
Application number: DE102010006828A
Authority: DE
Inventors: Marc-Michael Dr.-Ing. 38524 Meinecke; Jan 38173 Effertz; Thorsten Dr. 38518 Graf; Dirk Dr. 30900 Stüker; Jörn Christian 38106 Knaup; Thien-Nghia 39116 Nguyen
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2010-02-03
Filing date: 2010-02-03
Publication date: 2011-08-04
Anticipated expiration: 2030-02-04
Also published as: DE102010006828B4

Abstract

Eine Erstellung eines Modells des Umfelds eines Fahrzeugs (10) wird beschrieben. Dabei werden mit Hilfe mindestens eines Sensors (4, 9) das Umfeld des Fahrzeugs (10) erfasst, und es werden ausgehend davon entsprechende Sensordaten erzeugt. Auf Grundlage dieser Sensordaten werden automatisch mindestens zwei Umfeldmodelle (1–3) erzeugt und zu dem Modell, welches das Umfeld des Fahrzeugs (10) beschreibt, kombiniert. Die mindestens zwei Umfeldmodelle sind dabei aus einer Menge ausgewählt, welche ein objektbasiertes Umfeldmodell (1), ein gitterbasiertes Umfeldmodell (2) und ein graphenbasiertes Umfeldmodell (3) umfasst. Das objektbasierte Umfeldmodell (1) beschreibt diskrete Objekte (11) in dem Umfeld des Fahrzeugs (10). Das gitterbasierte Umfeldmodell (2) beschreibt das Umfeld mittels eines Gitters, wobei Eigenschaften des Umfelds über Gitterzellen (5) des Gitters erfasst werden. Das graphenbasierte Umfeldmodell (3) beschreibt das Umfeld mit einem Graph, bei welchem Kanten des Graphen Fahrwegen entsprechen und Knoten (12) des Graphen jeweils am Ende der Kanten (13) angeordnet sind. Attribute der Kanten (13) stellen Eigenschaften des entsprechenden Fahrwegs dar, und Attribute der Knoten (12) stellen Eigenschaften über das entsprechende Ende der Kante (13) dar.

Description

Die vorliegende Erfindung betrifft ein Verfahren, um ein Umfeldmodell eines Fahrzeugs zu erstellen, sowie ein Fahrerassistenzsystem, welches mit diesem Umfeldmodell arbeitet. Darüber hinaus offenbart die vorliegende Erfindung ein Fahrzeug, welches das beschriebene Fahrerassistenzsystem aufweist.
Die DE 10 2007 012 458 A1 beschreibt ein Verfahren zur Objektbildung für eine Umfeldmodellierung.
Die DE 102 48 401 A1 betrifft ein Verfahren zur vorausschauenden Fahrzeugsteuerung durch Verarbeitung von Informationen, die von einer Vielzahl von Sensoren und/oder Aggregaten zur Erfassung des Fahrzeugzustandes, der Fahrzeugumgebung und der Fahrzeugposition stammen.
Die DE 10 2004 008 894 A1 beschreibt ein Unfallvermeidungssystem.
Die DE 10 2008 061 301 A1 beschreibt eine Fahrerassistenz mit fusionierten Sensordaten.
Für den Einsatz von Fahrerassistenz- und Sicherheitsfunktionen in komplexen Umgebungen (z. B. im Stadtverkehr und bei Baustellensituationen) ist ein umfassendes Umfeldmodell eines Fahrzeugs notwendig, welches als Grundlage für eine maschinelle Situationsinterpretation dient. Nach dem Stand der Technik werden in einem Fahrzeug überwiegend objektbasierte Umfeldmodelle eingesetzt. Bei diesen objektbasierten Umfeldmodellen wird die reale Umgebung des Fahrzeugs mittels weniger relevanter Objekte beschrieben, wobei diese Objekte unter Verwendung klassischer Zustandschätzverfahren (z. B. mit einem Kalmanfilter) durch von einem oder von mehreren Sensorsystemen (z. B. Radar oder LIDAR) erfassten Messdaten und durch eine entsprechende Bildverarbeitung aktualisiert werden.
Das objektbasierte Umfeldmodell erreicht bei nicht komplexen Umgebungen (z. B. bei einem Autobahn-Szenario) eine zufriedenstellende Güte und ermöglicht bekannte Fahrerassistenz-Applikationen, wie beispielsweise eine automatische Abstandsregelung. Die vereinfachende Objektdarstellung des objektbasierten Umfeldmodells scheitert jedoch bei komplexen Szenarien, insbesondere wenn neben den bewegten (dynamischen) Elementen der Fahrzeugumgebung auch Informationen über den statischen Randbereich des Fahrzeugs erforderlich sind, um beispielsweise eine Kollision mit einer Randbebauung einer Straße zu vermeiden. Eine Ursache für das Scheitern des objektbasierten Umfeldmodells bei komplexen Umgebungen ist die vereinfachende Objektmodellhypothese, bei welcher das jeweilige Objekt z. B. mit einem Quadermodell beschrieben wird, was nur für einen geringen Teil von real existierenden Hindernissen gültig ist.
In 1 ist ein objektbasiertes Umfeldmodell 1 dargestellt, bei welchem die Objekte 11, in diesem Fall andere Kraftfahrzeuge, mit einem Quader beschrieben oder dargestellt sind.
Im Bereich der mobilen Robotik und in letzter Zeit auch in einem Fahrzeug zum Einsatz bei Parkassistenzfunktionen hat sich ein gitterbasiertes Umfeldmodell etabliert. Bei dem gitterbasierten Umfeldmodell wird die Fahrzeugumgebung nicht durch einzelne, diskrete Objekte, sondern durch ein äquidistant oder nicht äquidistant aufgelöstes Gitter beschrieben. Ein Zustand oder Eigenschaften jeder Gitterzelle beschreiben dabei den realen Zustand des durch die jeweilige Gitterzelle beschriebenen Umgebungsausschnitts, welcher durch die Position und die Ausmaße der zugehörigen Gitterzelle definiert ist. Durch das gitterbasierte Umfeldmodell wird die Fahrzeugumgebung quasi vollständig mittels einer gitterartigen Karte dargestellt. Für die Aktualisierung der Eigenschaften der einzelnen Gitterzellen auf Basis neuer Messinformationen sind eine Reihe von Algorithmen bekannt (z. B. Bayes, Dempster-Shafer). Ein wichtiger Unterschied zum objektbasierten Umfeldmodell besteht in der Möglichkeit des gitterbasierten Umfeldmodells freie Bereiche (Bereiche ohne Hindernisse, d. h. Bereiche ohne die Fahrt des Fahrzeugs behindernde Objekte) explizit anzugeben, welche eine wichtige Grundlage für eine optimierte Trajektorienplanung oder Fahrwegplanung des Fahrzeugs im Rahmen einer Kollisionsvermeidung bilden.
In 2 ist ein gitterbasiertes Umfeldmodell 2 beispielhaft dargestellt.
Das gitterbasierte Umfeldmodell ist aufgrund seiner integrierenden Arbeitsweise insbesondere zur Darstellung statischer Umfeldmerkmale geeignet, da sich bewegende bzw. bewegte Objekte widersprüchliche Eigenschaften der entsprechenden Gitterzellen erzeugen und daher geeignet unterdrückt werden müssen.
Unter einem sich bewegenden oder bewegten Objekt wird dabei im Rahmen der vorliegenden Erfindung ein Objekt verstanden, welches sich selbst bewegt. Ein feststehendes Objekt, welches sich nur relativ zum Fahrzeug bewegt, da sich das Fahrzeug selbst bewegt, ist demnach kein sich bewegendes Objekt.
Im Bereich von Navigationssystemen wird darüber hinaus ein graphenbasiertes Umfeldmodell eingesetzt. Dabei wird das Straßennetz als ein Verbundnetz beschrieben, welches aus Knoten und Kanten besteht. Dabei kann es sich bei den Knoten z. B. um Positionsstützstellen und bei den Kanten um das Verbindungselement von zwei Knotenhandeln. Häufig besitzt eine Strecke eine Liste von Positionspunkten, die den Verlauf der Strecke angeben. In diesem Fall dienen die diese Positionspunkte definierenden Knoten nur als Verbindungselement der entsprechenden Kanten. Zusätzliche Attribute, wie beispielsweise Angaben über die Anzahl der Fahrspuren einer Straße oder die Breite einer Straße, verbessern einen Informationsgehalt des graphenbasierten Umfeldmodells.
In 3 ist beispielhaft ein graphenbasiertes Umfeldmodell 3 dargestellt, mit welchem, wie vorab beschrieben, ein Straßennetz über Knoten 12 und Kanten 13 beschrieben wird.
Mit dem graphenbasierten Umfeldmodell kann auch das aktuelle Umfeld des Fahrzeugs beschrieben werden, wenn das graphenbasierte Umfeldmodell auch sich rasch ändernde (dynamische) Information umfasst.
Da jedes der nach dem Stand der Technik bekannten Umfeldmodelle bestimmte Nachteile aufweist, stellt sich die vorliegende Erfindung die Aufgabe, ein Umfeldmodell eines Fahrzeugs zu erstellen, welches besser als die nach dem Stand der Technik bekannten Umfeldmodelle ist.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs nach Anspruch 1 oder Anspruch 8, durch ein Fahrerassistenzsystem für ein Fahrzeug nach Anspruch 10 und durch ein Fahrzeug nach Anspruch 12 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der vorliegenden Erfindung.
Im Rahmender vorliegenden Erfindung wird ein Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs bereitgestellt. Dabei wird das Umfeld des Fahrzeugs mit einem oder mit mehreren Sensoren erfasst, und mittels dieses einen oder dieser mehreren Sensoren werden Sensordaten erzeugt. Abhängig von diesen Sensordaten werden automatisch mindestens zwei Umfeldmodelle erzeugt und zu dem Umfeldmodell, welches das Umfeld des Fahrzeugs beschreibt, kombiniert. Dabei sind die mindestens zwei Umfeldmodelle aus einer Menge ausgewählt, welche umfasst:

• ein objektbasiertes Umfeldmodell,
• ein gitterbasiertes Umfeldmodell, und
• ein graphenbasiertes Umfeldmodell.

Bei diesen drei Umfeldmodellen handelt es sich um die vorab beschriebenen nach dem Stand der Technik bekannten Umfeldmodelle.
Durch die Kombination von zumindest zwei nach dem Stand der Technik bekannten Umfeldmodellen ist es vorteilhafterweise möglich, die jeweiligen Nachteile eines Umfeldmodells durch entsprechende Ergebnisse des jeweils anderen Umfeldmodells auszugleichen, so dass das kombinierte Umfeldmodell das Umfeld des Fahrzeugs besser beschreibt als das einzelne Umfeldmodell.
Das von dem gitterbasierten Umfeldmodell eingesetzte Gitter oder Gitternetz ist dabei insbesondere zweidimensional und überspannt bzw. beschreibt diejenige Ebene, auf welcher das Fahrzeug sich bewegt. Dabei kann das Gitternetz auch gekrümmt sein, um Erhebungen und Senken zu repräsentieren. Es ist allerdings erfindungsgemäß auch möglich, dass das gitterbasierte Umfeldmodell mit einem dreidimensionalen Gitter arbeitet oder dass das Gitter mehrere Gitterebenen umfasst, welche parallel zu der Ebene angeordnet sind.
Zur Kombination der Umfeldmodelle werden die Sensordaten insbesondere derart automatisch ausgewertet, dass sich bewegende Anteile der Sensordaten, welche von sich bewegenden Objekten erfasst werden, von denjenigen sich nicht bewegenden Anteilen der Sensordaten, welche von sich nicht bewegenden Objekten erfasst werden, unterschieden werden. Die sich bewegenden Anteile werden dabei in dem objektbasierten Umfeldmodell und die sich nicht bewegenden Anteile in dem gitterbasierten Umfeldmodell berücksichtigt.
Dadurch wird das gitterbasierte Umfeldmodell vorteilhafterweise zur Beschreibung stationärer Objekte oder Freibereiche und das objektbasierte Umfeldmodell oder Objekt-Tracking (Verfolgung von Objekten) zur Beschreibung von sich bewegenden Objekten eingesetzt. Mit anderen Worten wird zum einen jedes Umfeldmodell (d. h. das gitterbasierte und das objektbasierte Umfeldmodell) zur Darstellung derjenigen Information verwendet, welche das jeweilige Umfeldmodell am besten repräsentieren kann, während diejenigen Sensordaten, welche nach dem Stand der Technik für das jeweilige Umfeldmodell ausgefiltert werden, dem jeweils anderen Umfeldmodell zugeordnet werden.
Eine erfindungsgemäße Ausführungsform des gitterbasierten Umfeldmodells besteht insbesondere darin, neben der nach dem Stand der Technik bekannten Belegungswahrscheinlichkeit für einzelne Zellen weitere ortsbezogene Attribute (z. B. Konvergenzverhalten s. u.) abzulegen, die die Klassifikation von Sensordaten in dynamisch und statisch ermöglichen. Neue Sensordaten können so separiert werden in einen Anteil von potenziell sich bewegenden Objekten, die im objektbasierten Umfeldmodell verfolgt werden können und einen Anteil von potenziell statischen Objekten, die über Belegungswahrscheinlichkeiten eines Belegungsgitters repräsentiert werden können.
Gemäß einer erfindungsgemäßen Ausführungsform wird zur Klassifikation das Konvergenzverhalten des gitterbasierten Umfeldmodells mit Belegungswahrscheinlichkeiten ausgewertet. Ausgehend von einer initialen Belegungswahrscheinlichkeit (z. B. 0,5; umfeldabhängig kann auch eine kleinere oder größere initiale Wahrscheinlichkeit gewählt werden) kann eine einzelne Gitterzelle nach dem Einbringen neuer Sensordaten unterschiedliche Konvergenzverhalten zeigen:

• Eindeutige Konvergenz auf „frei”: Alle eingebrachten Sensordaten deuten darauf hin, dass sich in der betreffenden Gitterzelle keine Hindernisse befinden.
• Eindeutige Konvergenz auf „belegt”: Alle eingebrachten Sensordaten deuten darauf hin, dass sich in der betreffenden Gitterzelle ein Hindernis befindet.
• Keine Eindeutige Konvergenz/Widersprüchliche Sensorinformation: Die eingebrachten Sensordaten zeigen Widersprüche. So zeigten die Sensordaten beispielsweise zunächst hohe Belegungswahrscheinlichkeiten für eine Zelle und später geringe. Diese Information kann zur Klassifikation von sich bewegenden Objekten genutzt werden.

Gemäß einer weiteren erfindungsgemäßen Ausführungsform werden zur Klassifikation die Daten eines geschwindigkeitsmessenden Sensors genutzt (z. B. Radar). Diese Geschwindigkeitsinformationen können ebenfalls in einem gitterbasierten Umfeldmodell hinterlegt werden, um zu kennzeichnen, in welchen Raumbereichen mit sich bewegenden Objekten gerechnet werden muss. Die Daten eines zweiten nicht-geschwindigkeitsmessenden Sensors können somit über ihre räumliche Lage in diesem gitterbasierten Umfeldmodell separiert werden in Daten von potenziell sich bewegenden oder statischen Objekten.
Mittels der Eigenschaften Geschwindigkeit, Konvergenzverhalten und Belegungswahrscheinlichkeit bzw. Belegt-Wahrscheinlichkeit (Wahrscheinlichkeit, dass die Gitterzelle belegt ist) für jede Gitterzelle kann auch eine Aktualisierung oder Korrektur fehlerhaft interpretierter Sensordaten schneller vorgenommen werden, als es nach Stand der Technik möglich ist. Während nach dem Stand der Technik ein Wechsel der Informationen zwischen belegt und frei für dieselbe Gitterzelle in der Regel als Fehler angesehen wird, interpretiert die vorliegende Erfindung dies als eine Bewegung und weist die entsprechenden Sensordaten dem objektbasierten Umfeldmodell bzw. Objekt-Tracking zu. Sobald erfasst wird, dass sich das bewegende Objekt von der Gitterzelle entfernt hat, kann dann derselben Gitterzelle sehr rasch die korrekte Belegt-Wahrscheinlichkeit zugeordnet werden.
Bei einer erfindungsgemäßen Variante wird ein Stereosensor (z. B. eine Stereokamera) zur Erzeugung der Sensordaten eingesetzt. Dabei wird unter einem Stereosensor ein Sensor verstanden, welcher aus zwei Sensoren besteht, welche denselben Umgebungsbereich des Fahrzeugs aus unterschiedlichen Blickwinkeln erfassen. Aus einem Abstand zwischen demselben Bildinhalt in einem Bild des ersten Sensors und in einem zur selben Zeit erfassten Bild des zweiten Sensors kann auf eine Entfernung eines durch diesen Bildinhalt dargestellten Objekts von dem Stereosensor geschlossen werden. Daher können für einzelne Bildpunkte dreidimensionale Koordinaten von dem Stereosensor bestimmt werden.
Zusätzlich kann die Bewegung desselben Bildinhalts über die Zeit erfasst werden, indem ein Abstand zwischen einem Bildinhalt in einem Bild des ersten (oder zweiten) Sensors und demselben Bildinhalt in einem zu einer anderen Zeit erfassten Bild desselben Sensors bestimmt wird. Mit anderen Worten erfasst der Stereosensor für jeden Bildpunkt eine so genannte 6D-Information, welche neben den drei Ortkoordinaten des Bildpunkts einen dreidimensionalen Geschwindigkeitsvektor des entsprechenden Bildpunkts aufweist.
Mit Hilfe der 6D-Information kann für die Sensordaten direkt bestimmt werden, ob sie statisch sind und damit dem gitterbasierten Umfeldmodell zuzuordnen sind, oder ob sie dynamisch sind und damit dem objektbasierten Umfeldmodell zuzuordnen sind.
Darüber hinaus ist es anhand der 6D-Information möglich, eine Klassifikation von sich bewegenden Objekten vorzunehmen:

• Bewegen sich die zu demselben Objekt gehörenden Bildpunkte gleichmäßig durch den Raum, handelt es sich bei diesem Objekt mit großer Wahrscheinlichkeit um ein Fahrzeug.
• Treten bei den zu demselben Objekt gehörenden Bildpunkten differenzierte Bewegungsmuster auf, worunter auch gegenläufige Bewegungen der Bildpunkte fallen, so handelt es sich mit einiger Wahrscheinlichkeit um einen Fußgänger. Die gegenläufigen Bewegungen der Bildpunkte werden dabei von den Armen und Beinen des Fußgängers hervorgerufen.
• Treten bei den zu demselben Objekt gehörenden Bildpunkten differenzierte Bewegungsmuster auf, welche räumlich stärker eingegrenzt sind, als für den vorab beschriebenen Fall eines Fußgängers, so handelt es sich mit einiger Wahrscheinlichkeit um einen Fahrradfahrer.

Darüber hinaus können bezüglich des gitterbasierten Umfeldmodells unterschiedliche Sensordaten (z. B. Sensordaten von verschiedenen Sensoren) auf dem Gitter bzw. der Karte des gitterbasierten Umfeldmodells fusioniert werden.
Dazu kann eine Prognose über eine Sichtbarkeit von Objekten bei den diesen Objekten zugeordneten Gitterzellen abgespeichert werden. Dazu wird bei denjenigen Gitterzellen, welche aufgrund von Abschattungen durch andere von dem erfindungsgemäßen Verfahren bereits erfassten Objekten nicht sichtbar sind (d. h. der entsprechende Sensor kann von diesen Gitterzelle kein Signal erfassen), eine entsprechende Information hinterlegt.
Diese Information der Sichtbarkeit einer bestimmten Gitterzelle ist dabei sensorspezifisch, d. h. diese Information hängt von dem jeweils eingesetzten Sensor ab. Diese sensorspezifische Sichtbarkeit oder prognostizierte Detektierbarkeit kann auch derart in jeder Gitterzelle vermerkt werden, dass für die jeweilige Gitterzelle angegeben wird, ob erwartet wird, dass im nächsten Messzyklus des jeweiligen Sensors für diese Gitterzelle eine erfolgreiche Messung des Sensors bzw. ein Signal von dem Sensor erfasst wird.
Im Folgenden wird die Erfassung der Sichtbarkeitsinformation für Gitterzellen anhand verschiedener Sensorsysteme beispielhaft erläutert.
Optische Systeme, wie beispielsweise Kameras, können Objekte, welche auf der Sichtachse hinter anderen Objekten liegen, nicht wahrnehmen. Mit anderen Worten erhalten Gitterzellen, welche auf der am optischen System beginnenden Sichtachse hinter einem bereits, erfassten Objekt liegen, eine prognostizierte Detektierbarkeit oder Sichtbarkeit vom Wert 0.
Dagegen können Radarsysteme Fahrzeuge, welche sich hinter anderen Fahrzeugen befinden, durchaus wahrnehmen, so dass in diesem Fall die Sichtbarkeit von Gitterzellen, welche auf der Sichtsachse hinter bereits erfassten Fahrzeugen liegen, den Wert 1 erhält. Allerdings können Radarsysteme Fußgänger, welche sich in unmittelbarer Nähe eines sie überragenden Fahrzeugs, beispielsweise eines LKWs, befinden, meist nicht wahrnehmen, so dass die Sichtbarkeit von Gitterzellen, welche sich in unmittelbarer Nähe von solchen bereits als Fahrzeug erfassten Objekten befinden, den Wert 0,1 erhält, was bedeutet, dass mit einer Wahrscheinlichkeit von 10% im nächsten Messzyklus von dem Radarsystem ein Signal bezüglich dieser Gitterzellen erwartet wird.
Mit einem solchen Sichtbarkeits-Attribut pro Gitterzelle können Aussagen über eine Existenz von Objekten mit einer größeren Sicherheit vorgenommen werden, was zu einer deutlichen Verbesserung der Objekterkennungsmöglichkeiten des zu erstellenden Umfeldmodells des Fahrzeugs führt. Eine solche Information über die Sichtbarkeit wird beispielsweise verwendet, damit eine als abgeschattet markierte Gitterzelle nicht nur deshalb als frei gekennzeichnet wird, da aktuell kein Signal von ihr erfasst wird.
Gemäß einer weiteren erfindungsgemäßen Ausführungsform werden die Sensordaten abhängig von Informationen des graphenbasierten Umfeldmodells automatisch bewertet.
Wenn das objektbasierte und/oder das gitterbasierte Umfeldmodell in einem ortsfesten Koordinatensystem (z. B. in Form von GPS-Daten) vorliegen/t und der Zusammenhang zum Koordinatensystem des graphenbasierten Umfeldmodells bekannt ist, so kann das graphenbasierte Umfeldmodell vorteilhafterweise zur Auswertung der für das objektbasierte und/oder das gitterbasierte Umfeldmodell erfassten Sensordaten ausgewertet werden.
Der attributierte Graph des graphenbasierten Umfeldmodells umfasst dabei Fahrbahnen und Kreuzungen des Straßennetzes, auf welchen sich das Fahrzeug aktuell befindet. Die Basis dieses Graphen bilden dabei Daten aus einer Navigationsdatenbank. Dieses a priori Wissen wird zur Laufzeit mit den Sensordaten kombiniert und daraus gewonnene Informationen in dem attributierten Graphen abgelegt. Objekt- und Fahrstreifeninformationen aus der daraus resultierenden Objektfusion werden dazu mit weiteren in dem attributierten Graphen enthaltenen Informationen assoziiert. Darüber hinaus werden im Umfeld Informationen, wie beispielsweise Informationen über eine Befahrbarkeit oder eine Randbebauung einer Straße, aus den Sensordaten abstrahiert und ebenfalls mit dem vorhandenen Wissen in dem attributierten Graphen assoziiert. Das graphenbasierte Umfeldmodell ist somit Teil einer funktionsunabhängigen Situationsinterpretation. Es bietet darauf aufbauenden Funktionen ein Umfeldmodell mit einem relativ hohen Abstraktionsniveau aus dem akkumulierten Wissen aller vorhandenen Informationsquellen.
Im Rahmen der vorliegenden Erfindung wird auch ein weiteres Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs bereitgestellt. Dabei werden mittels mehrerer Sensoren das Umfeld des Fahrzeugs erfasst und entsprechende Sensordaten erzeugt. Ausgehend von diesen Sensordaten wird ein gitterbasiertes Umfeldmodell als das Modell des Umfelds des Fahrzeugs erstellt. Die Sensordaten der unterschiedlichen Sensoren werden dabei kombiniert. Mittels der kombinierten Sensordaten werden Bildpunkte lokalisiert. Beispielsweise können die Sensordaten einer Stereokamera mit den Sensordaten eines Laserscanners kombiniert werden. Dadurch werden die recht genauen Auflösungen der Sensordaten der Stereokamera hinsichtlich der lateralen Position der einzelnen Bildpunkte mit den recht genauen Auflösungen der Sensordaten des Laserscanners hinsichtlich der longitudinalen Position kombiniert.
Durch die Kombination der Sensordaten kann die Lokalisierung der Bildpunkte genauer durch geführt werden, als es anhand der Sensordaten nur eines Sensors möglich ist. Beispielsweise ist die Lokalisierung der Bildpunkte bei einer Kombination der Sensordaten der Stereokamera und des Laserscanners wesentlich genauer, als die Lokalisierung der Bildpunkte für den Fall wäre, wenn nur die Sensordaten der Stereokamera oder nur die Sensordaten des Laserscanners zur Lokalisierung der Bildpunkte verwendet werden könnten. Dadurch können die kombinierten Sensordaten sehr genau der korrekten Gitterzelle des gitterbasierten Umfeldmodells zugewiesen werden.
Diese erfinderische Idee, die Sensordaten eines Sensors, welcher hinsichtlich der lateralen Position der Bildpunkte eine höhere Genauigkeit aufweist als hinsichtlich der longitudinalen Position, mit den Sensordaten eines Sensors zu kombinieren, welcher hinsichtlich der longitudinalen Position der Bildpunkte eine höhere Genauigkeit aufweist als hinsichtlich der lateralen Position, ist dabei unabhängig von der eigentlichen Erfindung mehrere Umfeldmodelle zu kombinieren. Mit anderen Worten kann diese erfinderische Idee für sich allein eingesetzt werden, um nur das gitterbasierte Umfeldmodell hinsichtlich der Genauigkeit einer Lokalisierung von Bildpunkten zu verbessern. Natürlich ist es auch möglich, dass vorab beschriebene weitere erfindungsgemäße Verfahren im Rahmen des zuerst beschriebenen erfindungsgemäßen Verfahrens einzusetzen.
Im Rahmen der vorliegenden Erfindung wird auch ein Fahrerassistenzsystem für ein Fahrzeug bereitgestellt. Dabei umfasst das Fahrerassistenzsystem einen oder mehrere Sensoren, Auswertemittel und eine von den Auswertemitteln gesteuerte Vorrichtung zum Eingriff in einen Betrieb des Fahrzeugs. Mit Hilfe des einen oder der mehreren Sensoren erfasst das Fahrerassistenzsystem das Umfeld des Fahrzeugs und erzeugt entsprechende Sensordaten. Auf Grundlage der Sensordaten werden mindestens zwei der vorab beschriebenen Umfeldmodelle erzeugt und zu dem Modell, welches das Umfeld des Fahrzeugs beschreibt, kombiniert.
Die Vorteile des erfindungsgemäßen Fahrerassistenzsystems entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens, welche vorab im Detail ausgeführt worden sind, so dass hier auf eine Wiederholung verzichtet wird.
Schließlich wird im Rahmen der vorliegenden Erfindung ein Fahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem beschrieben.
Die vorliegende Erfindung ist insbesondere für den Einsatz bei Fahrerassistenzsystemen für ein Fahrzeug geeignet. Selbstverständlich ist die vorliegende Erfindung nicht auf diesen bevorzugten Anwendungsbereich beschränkt, da die vorliegende Erfindung auch zur Erstellung von Umfeldmodellen außerhalb des Fahrzeugbereichs sowie bei Schiffen, Flugzeugen und gleisgebundenen Fahrzeugen eingesetzt werden kann.
Im Folgenden wird die vorliegende Erfindung anhand bevorzugter erfindungsgemäßer Ausführungsformen im Detail mit Bezug zu den Figuren beschrieben.
1 stellt beispielhaft ein objektbasiertes Umfeldmodell dar.
2 stellt beispielhaft ein gitterbasiertes Umfeldmodell dar.
3 stellt beispielhaft ein graphenbasiertes Umfeldmodell dar.
In 4 ist die Kombination der in 1 bis 3 dargestellten Umfeldmodelle schematisch dargestellt.
In 5 sind von einer Stereokamera erfasste Daten in einem gitterbasierten Modell dargestellt.
In 6 sind von einem Laserscanner erfasste Daten in einem gitterbasierten Modell dargestellt.
In 7 sind die von einer Stereokamera und die von einem Laserscanner erfassten Daten fusioniert in einem gitterbasierten Modell dargestellt.
8 stellt schematisch ein erfindungsgemäßes Fahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem dar.
In 4 wird eine erfindungsgemäße Kombination eines gitterbasierten Umfeldmodells 2, eines objektbasierten Umfeldmodells 1 und eines graphenbasierten Umfeldmodells 3 zu einem gemeinsamen Umfeldmodell 14, welches eine funktionsunabhängige Situationsinterpretation ermöglicht, dargestellt. Dazu werden Sensordaten, welche mittels einer Sensorik 4, 9, die Objekte ableiten und dreidimensionale Informationen erstellen kann, einer Klassifikation 15 zugeführt welche zu sich bewegenden Objekten gehörende Sensordaten von sich nicht zu bewegenden Objekten gehörenden Sensordaten unterscheidet. Abhängig von dieser Bewegungsklassifikation 15, welche auch mit bereits in dem gitterbasierten Umfeldmodell 2 enthaltenen Informationen arbeitet, werden von den Sensordaten abgeleitete Informationen dem gitterbasierten Umfeldmodell 2 oder dem objektbasierten Umfeldmodell 1 zugeführt.
Darüber hinaus werden zur Erstellung des kombinierten Umfeldmodells 14 auch Informationen des attributierten Graphen des graphenbasierten Umfeldmodells 3 verwendet. Ein a priori Wissen des graphenbasierten Umfeldmodells 3 stammt dabei aus Navigationskarten 16 und Informationen von anderen Verkehrsteilnehmern oder Verkehrsinfrastrukturobjekten 17.
In 5 ist das gitterbasierte Umfeldmodell 2 für ein Objekt 11 dargestellt, wobei das Umfeldmodell 2 anhand von Sensordaten eines Stereokamera-Systems 4 erstellt worden ist. Da die Messgenauigkeit für ein Stereokamera-System 4 mit der Entfernung abnimmt, ist die Auflösung der longitudinalen Position bzw. Richtung des Objekts 11 nicht so genau wie die laterale Position bzw. Richtung, wie es in 5b dargestellt ist.
In 6 ist das gitterbasierte Umfeldmodell 2 für dasselbe Objekt 11 dargestellt, wobei diesmal das Umfeldmodell 2 anhand von Sensordaten eines Laserscanners 9 erstellt worden ist. Ein Laserscanner 9 bietet aufgrund seines Messprinzips eine gute Auflösung (oder Genauigkeit) bezüglich der longitudinalen Position, aber eine weniger genaue Auflösung bezüglich der lateralen Position, wie es in 6b dargestellt ist.
In 7 ist das gitterbasierte Umfeldmodell 2 für das Objekt 11 dargestellt, wobei das Umfeldmodell 2 durch eine Fusion oder Kombination der von der Stereokamera 4 und dem Laserscanner 9 erfassten Informationen abgeleitet ist, wodurch eine genauere Lokalisierung des Objektes 11 auf dem Gitternetz bzw. Gitter des gitterbasierten Umfeldmodells 2 erreicht wird. Diese Fusion der von der Stereokamera 4 und dem Laserscanner 9 erfassten Informationen erfolgt dabei insbesondere durch ein anpassendes Korrelationsverfahren (z. B. durch Faltung oder Addition).
In 8 ist ein erfindungsgemäßes Fahrzeug 10 mit einem erfindungsgemäßen Fahrerassistenzsystem 6 dargestellt. Dabei umfasst das Fahrerassistenzsystem 6 einen Sensor 4, Auswertemittel 7 und eine Vorrichtung 8 zum Eingriff in den Betrieb des Fahrzeugs 10.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007012458 A1 [0002]
DE 10248401 A1 [0003]
DE 102004008894 A1 [0004]
DE 102008061301 A1 [0005]

Claims

Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs (10), wobei mit Hilfe mindestens eines Sensors (4, 9) das Umfeld des Fahrzeugs (10) erfasst wird und entsprechende Sensordaten erzeugt werden, und wobei automatisch auf Grundlage der Sensordaten mindestens zwei Umfeldmodelle (1–3) erzeugt und zu dem Modell, welches das Umfeld des Fahrzeugs (10) beschreibt, kombiniert werden, wobei die mindestens zwei Umfeldmodelle ausgewählt sind aus einer Menge umfassend ein objektbasiertes Umfeldmodell (1), ein gitterbasiertes Umfeldmodell (2) und ein graphenbasiertes Umfeldmodell (3), wobei das objektbasierte Umfeldmodell (1) diskrete Objekte (11) in dem Umfeld des Fahrzeugs (10) beschreibt, wobei das gitterbasierte Umfeldmodell (2) das Umfeld mittels eines Gitters beschreibt, wobei Eigenschaften des Umfelds über Gitterzellen (5) des Gitters erfasst werden, und wobei das graphenbasierte Umfeldmodell (3) das Umfeld mit einem Graph beschreibt, bei welchem Kanten (13) des Graphen Fahrwegen entsprechen und Knoten (12) des Graphen jeweils am Ende der Kanten (13) angeordnet sind, wobei Attribute der Kanten (13) Eigenschaften des entsprechenden Fahrwegs darstellen und wobei Attribute der Knoten (12) Eigenschaften über das entsprechende Ende der Kante (13) darstellen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Sensordaten derart automatisch ausgewertet werden, dass sich bewegende Anteile der Sensordaten von sich nicht bewegenden Anteilen der Sensordaten unterschieden werden, dass die sich bewegenden Anteile in dem objektbasierten Umfeldmodell (1) berücksichtigt werden, und dass die sich nicht bewegenden Anteile in dem gitterbasierten Umfeldmodell (2) berücksichtigt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der mindestens eine Sensor (4, 9) einen eine Geschwindigkeit bestimmenden Sensor und einen weiteren Sensor umfasst, dass für die Gitterzellen (5) des gitterbasierten Modells (2) mittels des eine Geschwindigkeit erfassenden Sensors eine Geschwindigkeit bestimmt wird, dass Anteile der Sensordaten des weiteren Sensors, welche bezüglich Gitterzellen (5) erfasst worden sind, für die eine Geschwindigkeit oberhalb eines Schwellenwerts bestimmt worden ist, in dem objektbasierten Umfeldmodell (1) berücksichtigt werden, und dass die restlichen Anteile der Sensordaten desweiteren Sensors von dem gitterbasierten Umfeldmodell (2) berücksichtigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von den Sensordaten Belegungswahrscheinlichkeiten für die Gitterzellen (5) über mehrere Zeitpunkte bestimmt werden, so dass pro Zeitpunkt jeweils eine Belegungswahrscheinlichkeit abhängig von den für die jeweilige Gitterzelle (5) zu diesem Zeitpunkt bestimmten Sensordaten für die jeweilige Gitterzelle (5) bestimmt wird, dass auf ein sich bewegendes Objekt bezüglich einender Gitterzellen (5) geschlossen wird, • wenn für diese Gitterzelle zum einen eine erste Häufigkeit, mit welcher die Belegungswahrscheinlichkeiten dieser Gitterzelle (5) jeweils über einem Schwellenwert liegen, größer als ein erster weiterer Schwellenwert ist, und • wenn für diese Gitterzelle zum anderen eine zweite Häufigkeit, mit welcher die Belegungswahrscheinlichkeiten dieser Gitterzelle (5) jeweils unter dem Schwellenwert liegen, größer als ein zweiter weiterer Schwellenwert ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der mindestens eine Sensor (4, 9) einen Stereosensor umfasst, dass durch eine Auswertung von mehreren von dem Stereosensor mit einem zeitlichen Abstand erfassten Bildern des Umfelds pro Bildpunkt Ortkoordinaten des jeweiligen Bildpunkts und ein dreidimensionaler Geschwindigkeitsvektor des jeweiligen Bildpunkts abhängig von dem zeitlichen Abstand bestimmt werden, und dass abhängig von dem Geschwindigkeitsvektor pro Bildpunkt pro Gitterzelle (5) bestimmt wird, ob ein diese Gitterzelle (5) betreffender Anteil der Sensordaten in dem objektbasierten Umfeldmodell (1) oder in dem gitterbasierten Umfeldmodell (2) berücksichtigt wird.
Verfahren nach einem der Ansprüche 2–5, dadurch gekennzeichnet, dass bei einer Auswertung der Sensordaten eine sensorspezifische Sichtbarkeit der Gitterzellen (5) berücksichtigt wird, dass die sensorspezifische Sichtbarkeit für den jeweiligen des mindestens einen Sensors (4; 9) abhängig von bereits in dem Modell des Umfelds berücksichtigten Informationen bestimmt, welche Gitterzellen (5) für den jeweiligen Sensor (4; 9) sichtbar sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine automatische Analyse der Sensordaten in Abhängigkeit von Informationen des graphenbasierten Umfeldmodells (3) durchgeführt wird.
Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs (10), wobei mit Hilfe mehrerer Sensoren (4, 9) das Umfeld des Fahrzeugs (10) erfasst wird und entsprechende Sensordaten erzeugt werden, und wobei automatisch auf Grundlage der Sensordaten ein gitterbasiertes Umfeldmodell (2) als das Modell des Umfelds des Fahrzeugs (10) erstellt wird, wobei das gitterbasierte Umfeldmodell (2) das Umfeld mittels eines Gitters beschreibt, wobei Eigenschaften des Umfelds über Gitterzellen (5) des Gitters erfasst werden, dadurch gekennzeichnet, dass die Sensoren einen ersten Sensor (4) und einen zweiten Sensor (9) umfassen, dass der erste Sensor (4) die von ihm erzeugten Sensordaten mit einer besseren Auflösung in der lateralen Richtung erzeugt als der zweite Sensor (9), dass der zweite Sensor (9) die von ihm erzeugten Sensordaten mit einer besseren Auflösung in der longitudinalen Richtung erzeugt als der erste Sensor (4), und dass die Sensordaten des ersten Sensors (4) und des zweiten Sensors (9) automatisch miteinander kombiniert werden, um auf Grundlage der kombinierten Sensordaten eine Lokalisierung von Anteilen dieser Sensordaten in dem Gitter des gitterbasierten Umfeldmodells (2) durchzuführen.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der erste Sensor eine Kamera (4) und dass der zweite Sensor einen Laserscanner (9) umfasst.
Fahrerassistenzsystem für ein Fahrzeug (10), wobei das Fahrerassistenzsystem (6) mindestens einen Sensor (4, 9), Auswertemittel (7) und eine von den Auswertemitteln (7) gesteuerte Vorrichtung (8) zum Eingriff in einen Betrieb des Fahrzeugs (10) umfasst, wobei das Fahrerassistenzsystem (6) derart ausgestaltet ist, dass das Fahrerassistenzsystem (6) mit Hilfe des mindestens einen Sensors (4, 9) das Umfeld des Fahrzeugs (10) erfasst, entsprechende Sensordaten erzeugt, auf Grundlage der Sensordaten mindestens zwei Umfeldmodelle (1–3) erzeugt und zu dem Modell, welches das Umfeld des Fahrzeugs (10) beschreibt, kombiniert, wobei die mindestens zwei Umfeldmodelle ausgewählt sind aus einer Menge umfassend ein objektbasiertes Umfeldmodells (1), ein gitterbasiertes Umfeldmodell (2) und ein graphenbasiertes Umfeldmodells (3), wobei das objektbasierte Umfeldmodell (1) diskrete Objekte (11) in dem Umfeld des Fahrzeugs (10) beschreibt, wobei das gitterbasierte Umfeldmodell (2) das Umfeld mittels eines Gitters beschreibt, wobei Eigenschaften des Umfelds über Gitterzellen (5) des Gitters erfasst werden, und wobei das graphenbasierte Umfeldmodell (3) das Umfeld mit einem Graph beschreibt, bei welchem Kanten (13) des Graphen Fahrwegen entsprechen und Knoten (12) des Graphen jeweils am Ende der Kanten (13) angeordnet sind, wobei Attribute der Kanten (13) Eigenschaften des entsprechenden Fahrwegs darstellen und wobei Attribute der Knoten (12) Eigenschaften über das entsprechende Ende der Kante (13) darstellen.
Fahrerassistenzsystem nach Anspruch 10, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (6) zur Durchführung des Verfahrens nach einem der Ansprüche 1–9 ausgestaltet ist.
Fahrzeug mit einem Fahrerassistenzsystem (6) nach Anspruch 10 oder 11.