-
Die
Erfindung betrifft ein Verfahren zur Erkennung von Objekten im Umfeld
eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, bei dem wenigstens
ein Bildbereich eines Bildes aus der Fahrzeugumgebung, das durch
eine am Fahrzeug vorgesehene bildgebende Vorrichtung erfasst wurde,
mit einem oder mehreren Merkmalssätzen von einem oder mehreren
zu erkennenden Objekten verglichen wird.
-
Bei
bekannten Verfahren zur Objekterkennung im Umfeld eines Fahrzeugs
werden durch eine bildgebende Vorrichtung erfasste Bilder in der
Regel in einem ersten Schritt einer Bildaufbereitung in der Form
von Kantenglättungen, Flussberechnung und dergleichen unterzogen.
Anschließend wird mit den Bildern eine Objekterkennung
durchgeführt. Die Bilder des Umfelds des Fahrzeugs enthalten
dabei meist dreidimensionale Objekte, welche in den Bildern in verschiedenen
Perspektiven erscheinen, was ihre Erkennung als Objekt bzw. ihre
Klassifikation wesentlich erschwert.
-
Die
Dokumente
DE 10
2007 022 940 A1 und
DE 103 23 915 A1 offenbaren eine kamerabasierte Positionserkennung
für ein Fahrzeug, bei der für bereits erkannte
Objekte aus der Perspektive, in der diese Objekte mit einer Kamera
erfasst wurden, die reale Position der Objekte ermittelt wird.
-
Die
Druckschrift
WO 02/073535
A2 offenbart ein Verfahren zur Anzeige von mit einer Kamera
erfassten Objekten im Umfeld eines Fahrzeugs. Dabei werden die bereits
erkannten Objekte bzw. die entsprechenden Bildausschnitte zur verbesserten
Anzeige einer geometrischen Entzerrung basierend auf einer affinen
Transformation unterzogen. Gegebenenfalls wird mit den transformierten
Objekten eine Texterkennung durchgeführt. Bei der durchgeführten affinen
Transformation wird nicht die Perspektive berücksichtigt,
in der die Kamera das Objekt erfasst.
-
Wie
oben dargelegt, weisen bekannte Verfahren zur Objekterkennung den
Nachteil auf, dass die Bildbereiche, welche mit Merkmalen von bekannten
Objekten verglichen werden, in der Regel in unterschiedlichsten
Perspektiven aufgenommen sein können, was deren Vergleich
mit den Abbildungen von bekannten Objekten oder deren Merkmalen
erschwert.
-
Aufgabe
der Erfindung ist es deshalb, ein Verfahren zur Erkennung von Objekten
im Umfeld eines Fahrzeugs bzw. eine entsprechende Vorrichtung bzw.
ein Fahrzeug zu schaffen, mit denen eine zuverlässige Erkennung
von mit einer bildgebenden Vorrichtung des Fahrzeugs erfassten Objekten
erreicht wird.
-
Gelöst
wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs
1 bzw. eine Vorrichtung mit den Merkmalen des Anspruchs 16 bzw.
ein Fahrzeug mit den Merkmalen des Anspruchs 17. Vorteilhafte Ausführungen
und Weiterbildungen der Erfindung ergeben sich aus den abhängigen
Ansprüchen.
-
In
dem erfindungsgemäßen Verfahren wird ein Bildbereich
eines durch eine bildgebende Vorrichtung eines Fahrzeugs erfassten
Bilds der Fahrzeugumgebung mit einem oder mehreren Merkmalssätzen
von einem oder mehreren zu erkennenden Objekten verglichen. Der
Begriff „Merkmal” umfasst hierbei jedwede Art
von Bildinformation bzgl. einer bestimmten Eigenschaft. Insbesondere
umfasst der Begriff Merkmal Kantenstrukturen, Amplituden- und Frequenzspektren,
Pixelverteilungen, die zumindest im Hinblick auf einen Parameter
im Wesentlichen einem vorgegebenen Muster und/oder einer Gesetzmäßigkeit
entsprechen. Der erfinderische Gedanke ist dabei auf jede Art von
bildgebenden Vorrichtungen anwendbar. Unter bildgebenden Vorrichtungen
sind alle Vorrichtungen zu verstehen, die einen bildlichen Ausschnitt
der Fahrzeugumgebung bereitzustellen vermögen. Zu den bildgebenden
Vorrichtungen in diesem Sinne zählen sowohl solche, die
auf Kamerabildern (auch Infrarot) basieren, als auch solche, die
auf synthetischen Bildern (gegebenenfalls auch mit einer modellhaft
dargestellten Fahrzeugumgebung) basieren und die beispielsweise
durch ein Abtasten bzw. „Scannen” der Umgebung
durch eine Radar-Vorrichtung, eine Lidar-Vorrichtung oder ein ähnliches
Erfassungsmittel erzeugt werden. Auch solche Fälle einer realzeitmäßigen
Bilderzeugung auf Basis einer Sensierung der Umgebung sind von dem
verwendeten Begriff „Erfassung eines Bilds durch eine bildgebende
Vorrichtung” umfasst. Eine bildgebende Vorrichtung im obigen
Sinne kann auch aus mehreren Kameras und/oder anderen Sensoren bestehen,
deren Bilder zu einem einzigen Bild zusammengefügt werden.
-
Ein
Merkmalssatz eines zu erkennenden Objekts beschreibt ein oder mehrere
bestimmte, für das Objekt charakteristische Merkmale, insbesondere Merkmale
der Struktur, beispielsweise der räumlichen Ausdehnung,
der Grau- bzw. Farbwertverteilung der Pixel, etc. des Objekts, wobei
der Begriff „Objekt” weit auszulegen ist. Insbesondere
kann es sich um ein klar vorbestimmtes dediziertes Objekt handeln,
jedoch fällt unter den Begriff „Objekt” auch die
Spezifizierung einer vorbestimmten Objektklasse, unter der sich
eine Vielzahl von Objekten mit ähnlichen bzw. vergleichbaren
Merkmalen zusammenfassen lassen. Beispiele von Objektklassen im
Straßenverkehr sind Verkehrsschilder, Personenkraftwagen, Spurmarkierungen,
Fahrbahnen, Lastkraftwagen und dergleichen. Unter dem Begriff „Objekt” lassen
sich auch bestimmte Komponenten bzw. Teile von größeren
Objekten subsumieren, so dass durch einen Merkmalssatz gegebenenfalls
nicht ein gesamtes Objekts, sondern nur ein Ausschnitt des Objekts
beschrieben sein kann. Unter dem Begriff „Bildbereich eines
erfassten Bilds” kann insbesondere ein Ausschnitt dieses
Bildes verstanden werden, jedoch kann der Bildbereich gegebenenfalls
auch das gesamte Bild umfassen.
-
In
dem erfindungsgemäßen Verfahren werden ein oder
mehrere Verarbeitungsschritte zum Vergleich des Bildbereichs mit
einem Merkmalssatz durchgeführt. Der jeweilige Verarbeitungsschritt
enthält dabei einen ersten und einen zweiten Teilschritt, wobei
der erste Teilschritt vor dem zweiten Teilschritt durchgeführt
wird. Gegebenenfalls können weitere Teilschritte vor dem
ersten Teilschritt bzw. zwischen dem ersten und dem zweiten Teilschritt
bzw. nach dem zweiten Teilschritt vorgesehen sein. In dem ersten
Teilschritt werden zunächst der Bildbereich und/oder der
Merkmalssatz des zu erkennenden Objekts mittels einer perspektivischen
Transformation in eine virtuelle Perspektive transformiert. Hierdurch wird
ein zweiter Bildbereich erhalten, welcher, je nachdem ob der Bildbereich
transformiert wurde oder nicht, der transformierte oder der untransformierte Bildbereich
ist. Ferner wird ein zweiter Merkmalssatz erhalten, welcher, je
nachdem ob der Merkmalssatz transformiert wurde oder nicht, der
transformierte oder der untransformierte Merkmalssatz ist. Nach Durchführung
dieser perspektivischen Transformation wird in dem nachfolgenden
zweiten Teilschritt ein Ähnlichkeitsmaß zwischen
einem oder mehreren Merkmalen des Bildbereichs und einem oder mehreren
Merkmalen des Merkmalssatzes ermittelt, wobei bei dieser Ermittlung
nicht der ursprüngliche Bildbereich mit dem ursprünglichen
Merkmalssatz verglichen wird, sondern ein Vergleich des zweiten
Bildbereichs mit dem zweiten Merkmalssatz durchgeführt wird.
Unter Ähnlichkeitsmaß ist dabei der Grad der Übereinstimmung
zwischen zwei Merkmalen zu verstehen, wobei verschiedene Kriterien
für die Art an Übereinstimmung durch eine geeignete
Definition des Ähnlichkeitsmaßes festgelegt werden
können. Erfindungsgemäß können
dabei mehrere glei che oder auch unterschiedliche Ähnlichkeitsmaße
zwischen einzelnen Merkmalen oder Gruppen von mehreren Merkmalen
bestimmt werden. Basierend auf dem Ergebnis des zweiten Teilschritts,
z. B. anhand von einer ausreichenden Anzahl von Merkmalen mit einem Ähnlichkeitsmaß,
welches einen vorbestimmten Übereinstimmungsgrad überschreitet,
und/oder anhand der Art der Übereinstimmung gemäß den Ähnlichkeitsmaßen
kann dann ein Bildbereich als das zu erkennende Objekt identifiziert
werden. Somit ergibt sich eine vorteilhafte Objekterkennung, die eine
hohe Erkennungswahrscheinlichkeit bzw. Verlässlichkeit
der Erkennung bietet.
-
Die
Transformation des Bildbereichs bzw. des Merkmalssatzes kann mittels
einer vorausbestimmten Abbildungsfunktion und/oder vorausbestimmter
Parameter erfolgen. Die Transformation kann insbesondere mittels
einer zu ermittelnden Zuordnungstabelle für einzelne Bildbereiche
bzw. Pixel auch anhand von an sich bekannten Verfahren durchgeführt
werden.
-
Alle
verwendeten Transformationen haben gemeinsam, dass es sich um perspektivische
Transformationen handelt. Die Anwendung der perspektivischen Transformation
an sich ist dem Fachmann bekannt. Die perspektivische Transformation
berücksichtigt die Veränderung der Position bestimmter Bildbereiche
zueinander, die einer Veränderung des Beobachtungspunktes
entspricht, was insbesondere über eine lineare Skalierung,
Scherung und Rotation hinausgeht. Insbesondere umfasst die perspektivische
Transformation nichtlineare und/oder numerische mathematische Operationen,
die direkt auf einen Bildbereich und/oder Merkmalsatz oder z. B.
auf eine veränderbare Zuordnungstabelle angewandt werden,
mit deren Hilfe der Bildbereich und/oder Merkmalsatz transformiert
wird.
-
Die
Durchführung einer solchen perspektivischen Transformation
im erfindungsgemäßen Verfahren ist vorteilhaft,
weil somit die durch eine reale Verschiebung des Beobachtungspunktes
auftretende Veränderung im Bild im Wesentlichen nachgebildet werden
kann, so dass ein transformierter Bildbereich bzw. ein transformierter
Merkmalsatz entsteht, der mit einem großen Ähnlichkeitsmaß mit
dem realen, aus der verschobenen Perspektive aufgenommenen Bild übereinstimmt.
Somit liefert der im zweiten Teilschritt des erfindungsgemäßen
Verfahrens automatisch durchgeführte Vergleich ein Ähnlichkeitsmaß zwischen
dem zweiten Bildbereich und dem zweiten Merkmalsatz, das relativ
geringe Abweichungen von dem Ähnlichkeitsmaß aufweist,
das durch eine entsprechende reale Verschie bung der Perspektive durch
Verschiebung der bildgebenden Vorrichtung ermittelt worden wäre.
-
Bevorzugt
kann die perspektivische Transformation auch die geometrische Abbildungscharakteristik
der bildgebenden Vorrichtung berücksichtigen, z. B. die
optischen Verzeichnungen einer Kamera entzerren, und/oder zusammen
mit einem Entzerrungsalgorithmus ausgeführt werden. Dies
ist besonders vorteilhaft, da die Veränderung oder Korrektur der
Verzeichnung, z. B. einer Kamera nach dem Stand der Technik, ebenfalls
mittels Anwendung einer Zuordnungstabelle errechnet wird. Erfindungsgemäß können
die Korrektur der Abbildungscharakteristik der bildgebenden Vorrichtung
und die Anwendung einer perspektivischen Transformation mittels derselben
Zuordnungstabelle erfolgen, die in Abhängigkeit der Parameter
der perspektivischen Transformation verändert wird.
-
Die
Zuordnungstabelle kann veränderbar in Abhängigkeit
von den aktuell benötigten Parametern der Transformation
ausgestaltet sein und die Verschiebung bestimmter repräsentativer
Punkte des ursprünglichen Bildes zu den entsprechenden
Punkten des transformierten Bildes bestimmen. Die dazwischen liegenden
Punkte der Abbildung können auch mittels einer, durch ein
Interpolationsverfahren bestimmten Position ermittelt werden. Alternativ
können mehrere Zuordnungstabellen für unterschiedliche Variationen
der Perspektive angewendet werden.
-
In
dem erfindungsgemäßen Verfahren können
basierend auf beliebigen Kriterien in einem oder mehreren Verarbeitungsschritten
virtuelle Perspektiven gebildet werden, um hierdurch solche Merkmale in
dem Bildbereich zu ermitteln, welche mit einem entsprechenden zu
erkennenden Objekt übereinstimmen. Durch die Verwendung
verschiedener virtueller Perspektiven kann insbesondere die Vergleichbarkeit
der Merkmale des Merkmalssatzes mit denen des Bildbereichs erreicht
werden.
-
Ein
weiterer Vorteil des erfindungsgemäßen Verfahrens
besteht darin, dass bekannte Merkmalssätze von Objekten,
welche beispielsweise in einem Speicher im Fahrzeug hinterlegt sind,
zur Objekterkennung verwendet werden können. Insbesondere müssen
die Abbildungen von Objekte nicht in einer Vielzahl verschiedener
Perspektiven hinterlegt sein, da die aktuell benötigten
Perspektiven während der Durchführung des Verfahrens
erzeugt werden. Somit wird geringer Speicherplatz für die
Speicherung der Merkmalssät ze benötigt. Insbesondere
bei einer großen Vielfalt der zu erkennenden bzw. zu unterscheidenden
Objekte bietet dies einen großen Vorteil. Insbesondere
vorteilhaft ist die Anwendung des Verfahrens in sogenannten eingebetteten
Systemen, wie z. B. in einer Bildverarbeitungseinheit eines Fahrzeuges,
weil die Speicherressourcen solcher Einheiten teilweise strikt limitiert
sind.
-
In
einer bevorzugten Ausführungsform der Erfindung wird für
einen Verarbeitungsschritt eine virtuelle Perspektive basierend
auf Informationen über die räumliche Anordnung
der bildgebenden Vorrichtung in Bezug auf das zu erkennende Objekt und/oder über
die Beschaffenheit des Objekts ausgewählt. Die räumliche
Anordnung ist als räumliche Lage, insbesondere Entfernung
und/oder Ausrichtung des Objekts zu verstehen. Die Beschaffenheit
des Objekts, insbesondere auch seine geometrischen Eigenschaften,
kann auch z. B. aus einer vorangegangenen groben Klassifizierung
des Objektes, z. B. Zugehörigkeit zu einer Sammelklasse,
bekannt sein. Unter Berücksichtigung dieser Information
können besonders gut geeignete virtuelle Perspektiven zum Vergleich
von Merkmalen zwischen dem Bildbereich und dem Merkmalssatz bestimmt
werden. Somit kann eine höhere Aussagewahrscheinlichkeit
der z. B. durch einen Klassifikator ermittelten Ähnlichkeit erreicht
werden. Bei den Informationen über die Anordnung der bildgebenden
Vorrichtung in Bezug auf das zu erkennende Objekt muss es sich nicht zwangsläufig
um die gemessene Anordnung der bildgebenden Vorrichtung zum Objekt
handeln. Insbesondere können die Informationen über
die Anordnung der bildgebenden Vorrichtung in Bezug auf das zu erkennende
Objekt erwarteten und/oder angenommenen Werten entsprechen. Vorzugsweise
wird dabei auch eine Umgebung um die erwartete Lage des Objekts
in dem durch die bildgebende Vorrichtung erfassten Bild als Bildbereich
zum Vergleich mit einem Merkmalssatz verwendet. Bei der Bestimmung
der erwarteten Anordnung kann beispielsweise die Tatsache einfließen,
dass Verkehrszeichen als zu erkennendes Objekt im Regelfall neben
der Straße senkrecht zur Fahrtrichtung angeordnet sind.
Ferner kann dabei die Tatsache einfließen, dass Verkehrszeichenschilder
in der Regel flach sind. Ebenso kann bei der Verkehrszeichenerkennung
beispielsweise die Information berücksichtigt werden, dass
das Verkehrszeichen in einer oder mehreren vorbestimmten Höhen über
dem Boden angeordnet ist. Analog kann das erfindungsgemäße
Verfahren auch für die Erkennung beliebiger anderer Objekte
verwendet werden, beispielsweise für die Erkennung entgegenkommender
bzw. kreuzender Fahrzeuge. Die Informationen über die Anordnung
der bildgebenden Vorrichtung in Bezug auf das zu erkennende Objekt
können gegebenenfalls auch durch weitere Sensierungsmittel
des Fahrzeuges, beispielsweise ein Lidar, Radar, Laserscanner, Ultraschalsensoren
etc. ermittelt werden. Vorteilhafterweise kann sich das erfindungsgemäße Verfahren
auch der Information aus dem Navigationssystem des Fahrzeugs bedienen.
Die Anordnung von verkehrsrelevanten Stellen wie z. B. Kreuzungen,
Ampeln, Fußgängerübergänge,
Zufahrtstraßen etc. ist somit bekannt und kann in einer
Ausführungsform der Erfindung zur Ermittlung einer vorteilhaften Perspektive
genutzt werden, in die das mit dem Aufnahmemittel des Fahrzeuges
erfasste Objekt zum Zweck der automatischen Objekterkennung überführt
bzw. abgebildet wird.
-
In
einer besonders bevorzugten Ausführungsform der Erfindung
enthält ein Merkmalssatz bzw. ein Bildbereich jeweils Merkmale,
die das zu erkennende Objekt aus der speziellen bzw. vorgegebenen,
insbesondere zur Objekterkennung besonders geeigneten, bevorzugt
senkrechten Perspektive zeigen, wobei der Bildbereich bzw. der Merkmalssatz
in einem jeweiligen Verarbeitungsschritt in eine virtuelle Perspektive
transformiert werden, welche im Wesentlichen der vorgegebenen Perspektive
entspricht. Somit ist der Bedarf an Speicher zur Speicherung einer
Datenbank von Merkmalsätzen sehr gering. Zum Beispiel enthält
die Datenbank, in der die zu erkennenden Objekte hinterlegt sind,
lediglich die Abbildungen aller zu erkennenden bzw. zu unterscheidenden
Verkehrsteilnehmer aus einer oder mehreren ausgewählten
speziellen Perspektiven, z. B. jeweils senkrecht aufgenommenen frontalen
und seitlichen Perspektiven. Bei der erfindungsgemäßen
automatischen Erkennung von Verkehrsteilnehmern wird der durch die
bildgebende Vorrichtung aus einer verschobenen Perspektive erfasste
Bildbereich, der die Abbildung eines Verkehrsteilnehmers enthält,
in die genannte spezielle Perspektive überführt
und mit den Merkmalsätzen für die jeweilige Perspektive
verglichen. Insbesondere wenn die Position oder Ausrichtung des
Verkehrsteilnehmers zu der bildgebenden Vorrichtung zuvor, z. B.
mittels eines Laserscanners, ermittelt wurde, kann somit eine im
hohen Maße verlässliche Objekterkennung realisiert
werden. Die eine oder mehreren speziellen Perspektiven können
bevorzugt solche Perspektiven sein, die eine vereinfachte Erstellung
der Datenbank und/oder verlässlichere Objekterkennung erlauben.
-
In
einer besonders bevorzugten Ausführungsform werden an sich
bekannte Klassifikatoren zur Bestimmung der ähnlichen Merkmale
zwischen dem Bildbereich und dem Merkmalssatz des zu erkennenden
Objekts verwendet, wobei die Klassifikatoren nunmehr auf den zweiten
Bildbereich bzw. den zweiten Merkmalssatz nach Durchführung
der Trans formation in die virtuelle Perspektive angewendet werden.
Diese Klassifikatoren liefern vorzugsweise Aussagewahrscheinlichkeiten,
welche insbesondere die Zuverlässigkeit der Aussage über
das Ähnlichkeitsmaß der Merkmale wiedergeben.
Hierdurch werden weitere Informationen über die Zuverlässigkeit der
Objekterkennung erhalten. Die Klassifikatoren können dabei
als Positiv- oder Negativklassifikatoren ausgestaltet sein, wobei
sich in der detaillierten Beschreibung eine Definition dieser Klassifikatoren
findet.
-
In
einer besonders bevorzugten Ausführungsform wird die virtuelle
Perspektive eines zu erkennenden Objekts in Abhängigkeit
von den ermittelten Aussagewahrscheinlichkeiten von mindestens einem
Klassifikator verändert. Insbesondere können die
Parameter der virtuellen Perspektiven derart verändert
werden, dass der maximale Wert für das Ähnlichkeitsmaß zwischen
dem Objekt und dem Merkmalsatz bei der gleichen Aussagewahrscheinlichkeit und/oder
der maximale Wert für die Aussagewahrscheinlichkeit bei
dem gleichen ermittelten Wert für das Ähnlichkeitsmaß erreicht
wird. Mit anderen Worten werden dabei die Parameter der virtuellen
Perspektive, in die ein Bildbereich und/oder Merkmalsatz transformiert
wird, anhand der durch die eingesetzten Klassifikatoren ermittelten
Parameter zugunsten der Objekterkennung angepasst. Anstatt der Aussagewahrscheinlichkeit
kann die virtuelle Perspektive in Abhängigkeit von einem
weiteren Parameter verändert werden, der die Verlässlichkeit
der Aussage der Objekterkennung explizit oder implizit beinhaltet.
Das Auffinden der virtuellen Perspektive kann dabei vorteilhafterweise
mittels eines Reglers ausgestaltet sein, wobei zumindest ein Parameter
der virtuellen Perspektive bzw. der anzuwendenden Transformation
einer Stellgröße des Reglers entspricht. Somit kann
eine optimale Perspektive z. B. mit dem an sich bekannten PIT-Regler
sehr schnell und ohne bzw. nur mit minimalen Überschwingungseffekten
gefunden werden.
-
Ebenso
kann diejenige virtuelle Perspektive in einem Verarbeitungsschritt
verwendet werden, welche eine maximale Übereinstimmung
zwischen den Aussagen unterschiedlicher Klassifikatoren in einem
vorhergehenden Verarbeitungsschritt geliefert hat. Vorzugsweise
werden als unterschiedliche Klassifikatoren zumindest ein Positivklassifikator
und ein Negativklassifikator eingesetzt. Die Aussagen des Positivklassifikators
können z. B. eine Ähnlichkeit des Objekts mit
einer Objekt- oder Merkmalsklasse und die Aussagen des Negativklassifikators
eine Nichtähnlichkeit desselben Objekts mit mindestens einer
von weiteren möglichen Objektklassen (als eine gleichsinnige
Aussage) beinhalten. Das Auffinden der optimalen virtuellen Perspektive
und/oder das gesamte Verfahren kann auf die Ähnlichkeit
bzw. Nichtähnlichkeit und/oder die jeweiligen Aussagewahrscheinlichkeiten
optimiert werden. Durch die Verwendung von unterschiedlichen Klassifikatoren kann
die Objekterkennungsgenauigkeit weiter verbessert werden. Vorteilhafterweise
kann die Anwendung unterschiedlicher Klassifikatoren in Form parallel
oder quasiparallel ablaufender Verfahrensschritte ausgestaltet werden.
Somit kann die Realzeitfähigkeit des Verfahrens gesteigert
werden. Da die Anwendung z. B. eines Positivklassifikators und eines Negativklassifikators
unabhängig voneinander ausführbar ist, kann deren
Ausführung zeitgleich auf unterschiedlichen Teilen der
Recheneinheit, z. B. unterschiedlichen Prozessorenkernen, stattfinden.
-
In
einer vorteilhaften Ausgestaltung des erfindungsgemäßen
Verfahrens wird dieses auf ein dreidimensionales Bilds angewandt.
Bei dem dreidimensionalen Bild kann es sich um ein anhand von Sensierungsdaten
des Umfeldes des Fahrzeuges ermitteltes 3D-Pixelbild und/oder ein
automatisch ermitteltes Modell des mit der bildgebenden Vorrichtung
erfassten Objektes handeln. Dieses kann z. B. nur ein Teil eines
Objekts, z. B. den im Wesentlichen zum Fahrzeug hin gerichteten
Teil des Objekts, beinhalten. Die Umwandlung der Sensierungsdaten
in ein Modell kann z. B. in einer bildgebenden Vorrichtung erfolgen,
die als ein lidarbsiertes System ausgestaltet ist. Die Veränderung
der Perspektive kann dabei als eine virtuelle räumliche
Transformation, insbesondere als eine Koordinatentransformation
des Bildes und/oder des Merkmalsatzes, ausgestaltet sein. Das Bild
und/oder ein Merkmalsatz können zumindest bei einem Verfahrensschritt
auch in einer vektorbasierten Form vorliegen.
-
In
einer weiteren Ausführungsform des erfindungsgemäßen
Verfahrens wird die virtuelle Perspektive in einem Verarbeitungsschritt
basierend auf einer oder mehrerer Hypothesen über das zu
erkennende Objekt und/oder die Position des zu erkennenden Objekts
festgelegt. Eine Hypothese über die Position eines Objekts
kann dabei die in einer oben beschriebenen Ausführungsform
verwendete erwartete Anordnung des Objekts relativ zu der bildgebenden Vorrichtung
sein, die Hypothese kann jedoch auch festlegen, dass die Anordnung
eine beliebige Anordnung ist. Ebenso können beliebige Hypothesen über das
zu erkennende Objekt verwendet werden. Vorzugsweise wird die virtuelle
Perspektive in einem Verarbeitungsschritt basierend auf der oder
den Hypothesen derart festgelegt, dass hohe Aussagewahrscheinlichkeiten
des oder der Klassifikatoren erreicht werden. Im Falle mehrer Klassifikatoren
können ihre Aussagen mittels einer Gewichtungsformel bzw.
Gewichtungsfunktion bewertet werden.
-
In
einer besonders bevorzugten Ausführungsform wird bei der
Verwendung von Klassifikatoren zur Ermittlung von übereinstimmenden
Merkmalen die virtuelle Perspektive in einem Verarbeitungsschritt
basierend auf der oder den Hypothesen derart festgelegt, dass hohe
Aussagewahrscheinlichkeiten des oder der Klassifikatoren erreicht
werden. Das heißt, die verwendeten Hypothesen werden insbesondere
derart gewählt, dass a-priori bekannte Informationen in
Bezug auf das Objekt bzw. die räumliche Anordnung des Objekts
verwendet werden.
-
In
einer weiteren bevorzugten Ausführungsform werden die Hypothese
oder die Hypothesen basierend auf einer Verzerrung von einem oder
mehreren Merkmalen des Bildbereichs im Vergleich zu entsprechenden
Merkmalen des Merkmalssatzes des zu erkennenden Objekts bestimmt.
Z. B. wird mittels der Ermittlung der Verzerrung eines leicht zu
erkennenden Teils des Objekts in einem Bildbereich, z. B. des Rads
eines Fahrzeugs, eine Hypothese über die Perspektive gebildet,
aus der das gesamte Objekt (das entsprechende Fahrzeug) durch die
bildgebende Vorrichtung erfasst worden ist.
-
In
einer besonders bevorzugten Ausführungsform werden die
in den jeweiligen Verarbeitungsschritten verwendeten virtuellen
Perspektiven einer Plausibilisierungsprüfung unterzogen,
insbesondere hinsichtlich der Zugehörigkeit zu demselben Objekt.
Die Plausibilisierungsprüfung berücksichtigt insbesondere
die bekannte oder vermutete Beschaffenheit des zu erkennenden Objekts.
Auf diese Weise können unplausible Ergebnisse vermieden
werden und die Objekterkennung weiter verbessert werden.
-
In
einer weiteren bevorzugten Ausgestaltung der Erfindung wird nach
Durchführung eines Verarbeitungsschritts der Bildbereich
in der virtuellen Perspektive auf einer Anzeigeeinheit im Fahrzeuginneren
angezeigt, wobei die ermittelten übereinstimmenden, d.
h. ein vorbestimmtes Ähnlichkeitsmaß überschreitenden
Merkmale optisch hervorgehoben werden. Hierdurch wird dem Fahrer
mitgeteilt, welche Objekte durch das Verfahren erkannt wurden. Insbesondere
kann sich die virtuelle Perspektive, in die zumindest ein Bildbereich
zur Anzeige für den Fahrer transformiert wird, von der
virtuellen Perspektive, in der eine automatische Objekterkennung
stattfindet, unterscheiden. Die durch die automatische Ob jekterkennung
erkannte Merkmale (z. B. Umrisse oder Kanten eines Objekts) können
direkt in dem Bild graphisch angezeigt oder z. B. mittels einer
grafischen Überblendung, Veränderung der Farbe
etc. hervorgehoben werden. Insbesondere wenn sich dabei die Perspektive,
in die das Bild zur Anwendung der Objekterkennung transformiert
war, von der Perspektive, welche zur Anzeige für den Fahrer
verwendet wurde, unterscheidet, können die erkannten Merkmale
in die Perspektive, in der das Bild angezeigt wird, überführt
werden. Somit werden die hervorzuhebenden Merkmale unkompliziert
dem korrekten Platz im angezeigten Bild zugewiesen. Hierdurch kann
der Fahrer nebst einer vorteilhaften Darstellung eines transformierten
Bildbereichs am Bildschirm auch das Ergebnis der automatischen Objekterkennung
in demselben Bild sehen, selbst dann, wenn zur automatischen Objekterkennung
eine andere Perspektive als zur Anzeige angewandt worden ist.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens wird eine Folge von zeitlich aufeinander folgenden, mit
der bildgebenden Vorrichtung erfassten Bildern verarbeitet, wobei
basierend auf einer Veränderung von Merkmalen des Bildbereichs
zwischen Bildern der Folge eine virtuelle Perspektive für
einen Verarbeitungsschritt festgelegt wird. Somit können
die Parameter einer virtuellen Perspektive, die zur Objekterkennung
herangezogen wird, anhand der Ergebnisse von mindestens einem Klassifikator,
der auf die vorangegangenen Bilder mit ihren jeweiligen virtuellen
Perspektiven angewandt worden ist, ermittelt werden.
-
Neben
dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine
Vorrichtung zur Erkennung von Objekten im Umfeld eines Fahrzeugs, insbesondere
eines Kraftfahrzeugs, wobei die Vorrichtung eine Verarbeitungseinheit
umfasst, mit der jede der oben beschriebenen Varianten des erfindungsgemäßen
Verfahrens durchführbar ist. Die Erfindung umfasst ferner
ein Fahrzeug, insbesondere ein Kraftfahrzeug, welches eine solche
Vorrichtung zur Erkennung von Objekten enthält.
-
Im
Folgenden werden anhand der beigefügten Zeichnungen bevorzugte
Ausführungsbeispiele der Erfindung beschrieben. Daraus
ergeben sich weitere Details, bevorzugte Ausführungsformen
und Weiterbildungen der Erfindung. Die geschilderten Ausführungsbeispiele,
Ausführungsformen und Weiterbildungen sind, sofern nicht
anders angegeben und/oder technisch ausgeschlossen, sowohl einzeln als
auch in jeder beliebigen Kombination miteinander anwendbar und vorteilhaft.
Im Einzelnen zeigen:
-
1 eine
schematische Darstellung der in einer Ausführungsform des
erfindungsgemäßen Verfahrens durchgeführten
perspektivischen Transformation am Beispiel einer Verkehrszeichenerkennung;
-
2 ein
Beispiel für die Durchführung von mehreren perspektivischen
Transformationen gemäß einer Ausführungsform
der Erfindung zur Erkennung eines Kraftfahrzeugs;
-
3 eine
schematische Darstellung der Datenverarbeitung zur Objekterkennung
gemäß einer Ausführungsform des erfindungsgemäßen
Verfahrens;
-
4 und 5 Diagramme,
welche den Ablauf von bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens verdeutlichen.
-
Die
nachfolgend beschriebenen Ausführungsformen zur verbesserten
Objekterkennung im Umfeld eines Fahrzeugs verarbeiten Bilder, welche durch
eine bildgebende Vorrichtung des Kraftfahrzeugs aufgenommen wurden.
Der Begriff der bildgebenden Vorrichtung wurde bereits im Vorangegangenen
genau definiert. Insbesondere können Bilder einer bildgebenden
Vorrichtung sowohl Kamerabilder (auch Bilder einer Infrarotkamera)
als auch synthetische Bilder (auch mit einer modellhaft dargestellten Umgebung)
umfassen, die beispielsweise durch das Scannen der Umgebung durch
eine Radar- oder Lidar- oder Time-Of-Fligt- oder eine Ultraschallvorrichtung
oder einer vergleichbaren Vorrichtung erzeugt werden. Die bildgebende
Vorrichtung kann aus beispielsweise mehreren Kameras bestehen, deren
Bilder bzw. Daten zu einem Gesamtbild zusammengefügt werden.
-
In
der 1 ist schematisiert eine solche bildgebende Vorrichtung 1 angedeutet,
welche an einem in Draufsicht dargestellten Kraftfahrzeug 2 angeordnet
ist. In dem Szenario der 1 bewegt sich das Kraftfahrzeug
in eine Richtung R entlang einer (nicht gezeigten) Straße,
wobei am rechten Straßenrand ein Verkehrsschild 3 angeordnet
ist, welches eine Höchstgeschwindigkeit von 30 km/h anzeigt. Das
Fahrzeug 2 ist in dem Szenario der 1 gerade
dabei, dieses Verkehrsschild zu passieren. Mit Hilfe der bildgebenden
Vorrichtung 1 wird ein Bild des Verkehrsschilds 3 erfasst.
Ziel des erfindungsgemäßen Verfah rens in der speziellen
Anwendung der 1 ist es nunmehr, das Objekt 3 als
Verkehrsschild zu erkennen. Allgemein ist es Ziel des erfindungsgemäßen
Verfahrens, beliebige Arten von Objekten in einem durch eine bildgebende
Vorrichtung erfassten Bereich zu erkennen.
-
Gemäß dem
Stand der Technik erfolgt eine Objekterkennung basierend auf dem
durch die bildgebende Vorrichtung 1 erfassten Bild. Hierbei
ist es problematisch, dass es aufgrund des Versatzes des Blickwinkels
der bildgebenden Vorrichtung 1 gegenüber dem Verkehrsschild
zu einer Verzerrung des Verkehrsschilds im erfassten Bild kommt.
Bei einer herkömmlichen Objekterkennung wird das erfasste
Bild bzw. ein Teil des Bildes, in dem das zu erkennende Objekt vermutet
wird, mit bekannten Merkmalen eines Objekts verglichen, wobei die
bekannten Merkmale vorab in einem entsprechenden Speicher, beispielsweise
in der Form einer Datenbank, hinterlegt sind. Die Objekte sind in
dem Speicher in einer vorbestimmten Perspektive gespeichert, welche
in der Regel nicht mit der Perspektive übereinstimmt, in
der das Bild mit dem zu erkennenden Objekt aufgenommen wurde. Dies
führt zu dem Problem, dass Merkmale in dem erfassten Bild
oftmals nicht als Merkmale des Objekts erkannt werden.
-
Erfindungsgemäß wird
dieses Problem dadurch gelöst, dass eine perspektivische
Transformation des Bildes der bildgebenden Vorrichtung und/oder
der bekannten Merkmale des Objekts aus der Datenbank derart durchgeführt
wird, dass die Vergleichbarkeit der Objektteile in dem Bild mit
den bekannten Merkmalen erhöht wird. Es kann dabei das
Bild in die Perspektive des Objekts in der Datenbank transformiert
werden, jedoch ist es auch möglich, dass die zu erkennenden
Merkmale aus der Datenbank in die Perspektive des Bildes transformiert werden.
Ebenso besteht die Möglichkeit, dass sowohl das Bild als
auch das Objekt in der Datenbank derart transformiert werden, dass
sie beide in einer Perspektive dargestellt sind, welche die Vergleichbarkeit
des Bilds mit den bekannten Merkmalen ermöglicht.
-
Im
einfachsten Fall wird erfindungsgemäß das Bild
der bildgebenden Vorrichtung in eine virtuelle Perspektive transformiert,
welche eine verbesserte Objekterkennung ermöglicht. In
dem Szenario der 1 ist ein solcher Fall gezeigt,
wobei die Transformation in eine virtuelle Perspektive durch einen
gestrichelten Pfeil P und eine gestrichelte Darstellung 1' der
bildgebenden Vorrichtung angedeutet ist. Wie sich aus 1 ergibt,
wird eine solche perspektivische Transformation in eine virtuelle
Perspektive durchgeführt, dass das Verkehrsschild frontal
durch die bildgebende Vorrichtung erfasst wird. Durch diese Transformation
wird die sich durch die ursprüngliche Perspektive ergebende
Verzerrung des Verkehrsschilds kompensiert. Sofern die bekannten Merkmale
des Verkehrsschilds in einem entsprechenden Speicher auch in frontaler
Darstellung hinterlegt sind, wird durch den Vergleich des transformierten
Bilds mit den Merkmalen des Objekts in der Datenbank die Erkennungswahrscheinlichkeit
erhöht. Durch eine Transformation in eine frontale Perspektive
wird erfindungsgemäß auch die Objekterkennung
durch Vergleich mit zweidimensionalen Mustern ermöglicht.
Wie bereits erwähnt, können anstatt der Bildung
einer virtuellen Perspektive des Bilds genauso die zur Objekterkennung
einzusetzenden Merkmale einer entsprechenden inversen Transformation
unterzogen werden. Ein Vorteil des erfindungsgemäßen
Verfahrens besteht insbesondere darin, dass durch die Transformation
in eine virtuelle Perspektive die daran anschließende Objekterkennung
bzw. die dieser zu Grunde liegenden Modelle nicht verändert
werden müssen.
-
In
einer vorteilhaften Ausgestaltung des erfindungsgemäßen
Verfahrens kann eine a-piori bekannte, erfassbare oder ermittelbare
Information darüber, wie das zu erkennende Objekt relativ
zu der bildgebenden Vorrichtung ausgerichtet ist, dafür
benutzt werden, die bestmögliche Perspektive auszuwählen,
d. h. insbesondere diejenige Perspektive, mit der erreicht wird,
dass sowohl das im Bild zu erkennende Objekt als auch die bekannten
Merkmale des Objekts aus der Datenbank in der gleichen oder ähnlichen
Perspektive wiedergegeben sind. Mit anderen Worten wird zur Wahl
der bestmöglichen Perspektive eine Information über
die Position von mindestens einem Objekt relativ zu der bildgebende
Vorrichtung verwendet. Beispielsweise kann bei der in 1 gezeigten
Verkehrszeichenerkennung anhand der Position einer sog. Area-of-Interest,
d. h. des Bereichs, in dem das Verkehrszeichenerkennungssystem ein Verkehrszeichen
im Bild vermutet, und anhand einer bekannten Tatsache, dass die
Verkehrszeichen senkrecht zur Fahrtrichtung aufgestellt werden,
eine Ausrichtung des Verkehrszeichens relativ zum Fahrzeug errechnet
werden. Hierdurch kann eine geeignete Perspektive gebildet werden,
bei der ein Objekterkennungsalgorithmus ein Verkehrszeichen aus einer
virtuell gebildeten senkrechten Perspektive als solches erkennen,
auslesen und auf beliebige andere Weise verarbeiten kann. Die Information über
die Position von dem zu erkennenden Objekt im Raum kann auch anderweitig,
beispielsweise mit einem Laserscanverfahren, einem Navigationssystem
oder mittels weiterer Sensorik ermittelt werden. Das anhand der
Verkehrszeichener kennung beschriebene Prinzip ist genauso auf weitere
Anwendungsfälle anwendbar, beispielsweise auf die Detektion
von Gegenverkehr oder Kreuzungsverkehr.
-
Vorteilhafterweise
lässt sich die erfindungsgemäße Objekterkennung
auch ohne Informationen über die Position des zu erkennenden
Objekts verbessern. Dies ist insbesondere dann möglich,
wenn die zur Objekterkennung eingesetzten Klassifikatoren nicht
nur eine Aussage ausgeben, ob bzw. zu welchem Grad eine Übereinstimmung
eines Bildbereichs mit bekannten Merkmalen eines Objekts (auch als
eine Negativaussage) vorliegt, sondern auch die Aussagewahrscheinlichkeit
als die Information über die Zuverlässigkeit einer
solchen Aussage erzeugen. Dabei wird die Ausgabe der Objekterkennung
bezüglich des Übereinstimmungsgrads bzw. der Zuverlässigkeit
der Aussage dazu verwendet, eine bessere virtuelle Perspektive zu
finden. Vorteilhafterweise kann die Erkennungswahrscheinlichkeit
zusätzlich dadurch erhöht werden, dass mehrere
virtuelle Perspektiven auf das bestimmte Objekt gebildet werden, die
mit den jeweiligen bekannten Merkmalen des zu erkennenden Objekts
verglichen werden. Beispielsweise können auch zufällig
virtuelle Perspektiven gebildet werden und für diese Perspektiven
der Übereinstimmungsgrad ermittelt werden. Es können
somit beispielsweise iterativ für mehrere unterschiedliche Perspektiven Übereinstimmungsgrade
ermittelt werden, wobei ein Bildbereich dann als das Objekt erkannt
wird, wenn ein vorbestimmter Übereinstimmungsgrad erreicht
bzw. überschritten wird.
-
In
einer besonders bevorzugten Ausführungsform des erfindungsgemäßen
Verfahrens werden eine oder mehrere Hypothesen über die
Position eines zu erkennenden Objekts im Raum gebildet, wobei die
entsprechenden virtuellen Perspektiven verändert werden
und eine automatische Annäherung hin zu einer Maximierung
der Aussagewahrscheinlichkeit angestrebt wird. Dabei kann z. B.
eine iterative Annäherung oder Annäherung unter
Anwendung eines Reglers, z. B. eines an sich bekannten PIT-Reglers,
angewandt werden. Wird beispielsweise bei einem ersten Durchlauf
eines Objekterkennungsalgorithmus ein Objekt der Klasse Personenkraftwagen
erkannt, können hieraus entsprechende Hypothesen über
die Anordnung des Objekts in Relation zu der bildgebenden Vorrichtung
erstellt werden. Dabei wird die a-priori bekannte Information über
die Position von Personenkraftwagen im Raum verwendet, um sinnvolle
Richtungen für die Bildung der virtuellen Perspektiven
festzulegen. Im Falle eines Personenkraftwagens wird insbesondere
berücksichtigt, dass sich dieser Wagen nur in der Ebene bewegen
kann, da seine Höhe im Regelfall relativ konstant und vorhersagbar
ist. Wird ein Objekt der Klasse Verkehrszeichen zugeordnet, werden
virtuelle Perspektiven insbesondere in Richtungen nach oben und
nach rechts gebildet.
-
Vorteilhafterweise
können in einigen Fällen, die gerade im Straßenverkehr
eine wichtige Rolle spielen, die Hypothesen über die Objektposition
aus der geometrischen Verzerrung bestimmter leicht zu erkennender
Merkmale gewonnen werden, um mit Hilfe dieser Information eine virtuelle
Perspektive zur Erkennung von schwer zu erkennenden Merkmalen zu
bilden. Die Bildung der Hypothese wird somit aufgrund der Verzerrung
bestimmter Merkmale des Objekts im Bild der bildgebenden Vorrichtung
durchgeführt. Bei den Merkmalen kann es sich um a-priori
bekannte Merkmale bestimmter Objekte oder solche handeln, die leicht
automatisch ermittelt werden können. Die Hypothese kann
zur Bildung virtueller Perspektiven zur Erkennung weiterer Merkmale
des Objekts oder zur Erhöhung der Zuverlässigkeit
der Erkennung bestimmter Merkmale dienen. Im Bereich der Verkehrszeichenerkennung
kann beispielsweise anhand der Veränderung der Form des
Zeichens selbst (aus einem Kreis wird eine Ellipse, ein rechteckiges
Zeichen erscheint als Raute etc.) die aktuelle relative Perspektive
des Verkehrszeichens zu der bildgebenden Vorrichtung des Fahrzeugs
ermittelt werden. Diese Perspektive kann dann wiederum zur Bildung
einer entsprechenden virtuellen Perspektive benutzt werden, die
zur sicheren Interpretation des Inhalts des Verkehrszeichens, der
viel komplexer zu erkennen ist als die Vermessung der Abmessungen der
Kontur des Blechschilds, angewandt wird.
-
In
bestimmten Applikationen kann es sinnvoll sein, das Bild aus der
virtuellen Perspektive auf einer Anzeigeeinheit im Inneren des Kraftfahrzeugs
für den Fahrer anzuzeigen. Dieses Bild kann vorteilhafterweise
die überlagerten Elemente der automatisch erkannten Merkmale
enthalten. Beispielsweise kann im Falle der Verkehrszeichenerkennung
aus dem relativ weitwinkligen Bild der bildgebenden Vorrichtung
das eigentliche Verkehrszeichen herausgezoomt, seine Form aus der
realen Perspektive der bildgebenden Vorrichtung mit dem erfindungsgemäßen
Verfahren analysiert und automatisch in eine günstigere
virtuelle Perspektive überführt werden, um weitere
Details zu erkennen. Der Fahrer, dem der herausgezoomte Bereich
auf einer Anzeigeeinheit wiedergegeben wird, kann dann die weiteren
Details selbst interpretieren. Dabei kann sich die Perspektive,
in der das Bild zur Anzeige für den Fahrer dargestellt
wird, von der Perspektive, in der eine automatische Objekterkennung
stattfindet, unterscheiden. Wenn die automatische Objekter kennung
weitere Details erkennt, können diese ferner direkt in
dem Bild vermerkt oder graphisch angezeigt werden. Falls sich die
Perspektive, in die das Bild zur Anwendung der Objekterkennung transformiert
war, von der Perspektive, welche zur Anzeige für den Fahrer
herangezogen wurde, unterscheidet, können die erkannten
Merkmale in die Perspektive, in der das Bild angezeigt wird, überführt und
angezeigt werden. Eine von beiden Perspektiven kann auch einer physikalischen
Perspektive (untransformiertes Bild) entsprechen. Hierdurch kann der
Fahrer nebst einer vorteilhaften Darstellung eines transformierten
Bildbereichs am Bildschirm auch das Ergebnis der automatischen Objekterkennung
in demselben Bild sehen, und zwar selbst dann, wenn zur automatischen
Objekterkennung eine andere Perspektive als zur Anzeige angewandt
worden ist.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens kann die Zuverlässigkeit der Ergebnisse der
Objekterkennung verbessert werden, indem mehrere virtuelle Perspektiven
gebildet werden. Die Ergebnisse der Objekterkennung basierend auf
einem Vergleich der einen Perspektive eines Objekts mit dem entsprechenden
Merkmalsatz und die Ergebnisse der Objekterkennung basierend auf dem
Vergleich einer anderen virtuellen Perspektive desselben Objekts
mit dem anderen entsprechenden Merkmalsatz werden datentechnisch
fusioniert und/oder dienen zur gegenseitigen Plasusibilisierung der
Ergebnisse. Diese soeben beschriebene Bildung von mehreren virtuellen
Perspektiven kann auch lediglich zur Plausibilisierung der Ergebnisse
nach einer mit dem erfindungsgemäßen Verfahren
oder nach einer mit einem anderen Verfahren erfolgten Objekterkennung
angewandt werden. Die Plausibilisierung kann anhand einer a-priori
bekannten Beschaffenheit bestimmter Objektklassen durchgeführt werden. 2 zeigt
schematisch die Durchführung einer Plausibilisierung basierend
auf der Objektklasse eines Personenkraftwagens 3'. Das
zu erkennende Objekt 3' wurde dabei ursprünglich
in der Perspektive der bildgebenden Vorrichtung 1 entsprechend
ihrer physikalischen Anordnung aufgenommen. Unter der Annahme, dass
das zu erkennende Objekt 3' ein PKW ist, erfolgt eine Transformation
in eine erste virtuelle Perspektive, welche durch die versetzte
bildgebende Vorrichtung 1' angedeutet ist. Diese virtuelle
Perspektive ist optimiert zur Erkennung des PKW durch einen entsprechenden PKW-Frontansicht-Klassifikator.
Ferner wird eine zweite virtuelle Perspektive erzeugt, welche durch die
versetzte bildgebende Vorrichtung 1'' angedeutet ist und
optimiert ist zur Erkennung einer PKW-Seitenansicht. Wird nunmehr
sowohl durch den PKW-Fontansicht-Klassifikator als auch durch den
PKW-Seitenansicht-Klassifikator ein PKW erkannt, kann davon ausgegangen
werden, dass es sich bei dem durch die bildgebende Einrichtung 1 erfassten
Objekt 3' tatsächlich um einen PKW handelt. Dieser
kann auch mit Hilfe der transformierten Bildbereiche z. B. vermessen
werden. Ergeben sich jedoch Widersprüche, d. h. wird durch
einen der Klassifikatoren kein PKW erkannt, ist davon auszugehen,
dass die A-priori-Annahme, dass es sich bei dem Objekt um einen PKW
handelt, nicht richtig ist.
-
3 zeigt
eine schematische Darstellung der Datenverarbeitung basierend auf
einer Ausführungsform des erfindungsgemäßen
Verfahrens. Das durch eine bildgebende Vorrichtung 1 erfasste
Bild wird zunächst einer Bildvorverarbeitung unterzogen, welche
mit dem Bezugszeichen 4 bezeichnet ist. In dieser Bildvorverarbeitung
werden beispielsweise zwei verschiedene virtuelle Perspektiven aus
dem Bild der bildgebenden Vorrichtung gebildet. Das Bild der einen
virtuellen Perspektive wird einem Klassifikator 5 und das
Bild der anderen Perspektive einem Klassifikator 5' zugeführt.
Die Klassifikatoren führen eine Objekterkennung durch,
bei der sie z. B. basierend auf einem Matching-Verfahren bestimmte
Merkmale der Bilder der virtuellen Perspektive mit bekannten Merkmalen
aus einer Datenbank vergleichen. Die virtuelle Perspektive für
jeden Klassifikator wird iterativ oder mittels eines Reglers schließlich
dahingehend verändert, dass die Aussagewahrscheinlichkeit ein
Maximum erreicht. Es können auch unterschiedliche Gewichtungen
bzgl. der Ähnlichkeits- und Aussagewahrscheinlichkeitsaussage
eines Klassifikators benutzt werden. Die iterative Veränderung
der virtuellen Perspektive ist durch die Pfeile P1 und P2 in 3 angedeutet.
Schließlich erfolgt nach der Objekterkennung mit den Klassifikatoren
ein Datenverarbeitungsschritt, der mit dem Bezugszeichen 6 bezeichnet
ist. In diesem Schritt werden die Ergebnisse beider Klassifikatoren
miteinander verglichen und/oder gegenseitig plausibilisiert. Besonders
vorteilhaft ist es dabei, wenn das Verfahren auf die Maximierung
einer gewichteten Summe aus den Aussagen mehrerer Klassifikatoren
optimiert wird. Z. B. kann das Verfahren derart ausgestaltet sein,
dass ein Positivklassifikator, der einen Wert für die Ähnlichkeit des
Objektes mit einer bestimmten Objektklasse sowie einen Wert für
die Aussagewahrscheinlichkeit liefert, durch eine Aussage eines
Negativklassifikators mit derselben Aussagewahrscheinlichkeit überstimmt
wird. Die Klassifikatoren können als gleiche Softwarefunktionen,
gegebenenfalls mit unterschiedlichen Parametern, ausgestaltet sein,
die auf derselben Hardware laufen können. Hierdurch wird
der Vorteil einer relativ einfachen Umsetzung des erfindungsgemäßen
Verfahrens erreicht.
-
Bei
der Anwendung der in 3 gezeigten Datenverarbeitung
auf das in 2 gezeigte Szenario wird mittels
der Bildung der virtuellen Perspektive 1' und ihrer Optimierung
mittels Maximierung der Zuverlässigkeit der Erkennung durch
den Klassifikator 5 eine Frontansicht eines PKW erkannt.
Mit dem anderen Klassifikator 5' wird aus der virtuellen
Perspektive 1'' auf dieselbe Art und Weise das gleiche
Fahrzeug in Seitenansicht erkannt. Bei der Plausibilisierung der Perspektive
in Schritt 6 werden schließlich die Daten über
die erkannte Objektklasse und/oder die Position verschiedener erkannter
Objektdetails im Raum zueinander verglichen. Ist das Ergebnis des
automatisch durchgeführten Vergleichs plausibel, ergibt
sich eine hohe Zuverlässigkeit der Objekterkennung insgesamt,
was insbesondere für Anwendungen im Straßenverkehr
erforderlich ist.
-
Durch
die Bildung erfindungsgemäßer virtueller Perspektiven
lassen sich die Bilder einer bildgebenden Vorrichtung derart transformieren,
dass bestimmte Bereiche im Bild erscheinen, als wären sie aus
der Position der virtuellen Kamera aufgenommen worden. Die virtuelle
Ausrichtung der virtuellen Kamera kann hierbei jede Darstellung
berechnen, die zumindest einen Projektionspunkt des Originalbilds enthält.
Zuvor nicht sichtbare Bereiche lassen sich nicht ergänzen.
Trotzdem ergibt sich die Möglichkeit, z. B. einen schräg
zum Betrachter orientierten Objekt (z. B. ein Fahrzeug) so zu berechnen,
dass einzelne Ansichten unter einem 90°-Winkel zum Betrachter
erscheinen. Dies wiederum unterstützt die gängigen ansichtbasierten
Bildverarbeitungsalgorithmen. Teure Erweiterungen von Datenbanken,
die in einem eingebetteten System im Fahrzeug gespeichert werden müssen
und welche Objekte in vielen verschiedenen Ansichten enthalten,
lassen sich somit vermeiden.
-
Durch
die Berechnung von virtuellen Perspektiven unter einer bekannten
Ausrichtung lässt sich implizit auch die Ausrichtung des
Objekts bestimmen. Dies gilt sowohl für den Fall, dass
die virtuelle Kamera exakt auf ein Objekt ausgerichtet wurde, als
auch für den Fall, dass die Ausrichtung des Objekts durch
Interpolation zweier virtueller Kamerapositionen errechnet wurde.
Die Bestimmung der Ausrichtung eines Objekts ist insbesondere dann
von Vorteil, wenn Aussagen über die künftigen
Relationen zwischen Objekt und Betrachter getroffen werden sollen.
-
In
einer vorteilhaften Ausgestaltung der Erfindung kann die Information über
die Bewegung des Fahrzeugs in der Form von odometrischen Daten,
die Betrachtung der Historie der realen und virtuellen Perspektiven
sowie deren Extrapolation in die Zukunft dazu benutzt werden, geeignete
virtuelle Perspektiven zu bilden und die Ergebnisse der Objekterkennung
untereinander zu plausibilisieren. Der Vorteil liegt in der geeigneten
Ausnutzung von a-priori bekannten oder anderweitig automatisch erkannten Informationen.
Somit wird eine anzuwendende perspektivische Transformation aus
dem zeitlichen Verlauf der relativen Position der Objekte ermittelt.
Hierdurch kann eine weitere Erhöhung der Objekterkennungswahrscheinlichkeit
erreicht werden. Bei der Berücksichtigung des zeitlichen
Verlaufs der relativen Position von Objekten kann beispielsweise
die Annahme berücksichtigt werden, dass ein Verkehrszeichen
sich in Erdkoordinaten nicht bewegt. Ebenso kann mit derselben bildgebenden
Vorrichtung bestimmt werden, dass ein Lastwagen ruht oder sich mit
einer bestimmten Geschwindigkeit bewegt. Dann kann aus der Historie
der Veränderung bestimmter (leicht automatisch erkennbarer)
Merkmale eine für den nächsten Moment günstige
virtuelle Perspektive errechnet und frühzeitig verwendet
werden.
-
Bei
dem erfindungsgemäßen Verfahren ist lediglich
für Objekte mit einer komplexen dreidimensionalen Form
mit Fehlerkennungen zu rechnen, wie z. B. für ein Auto
mit einem Anhänger, der unterschiedliche Positionen zum
Auto annehmen kann, oder ein menschliches Gesicht, welches aus einer willkürlichen
Perspektive erkannt werden soll. Dies liegt daran, dass die verdeckten
Teile eines komplex geformten Objekts durch eine perspektivische
Transformation falsch interpretiert werden können.
-
Erfindungsgemäß kann
das Verfahren auch selektiv auf Teile bzw. Segmente eines Objekts
angewandt werden, wobei die Anwendung oder Nichtanwendung der virtuellen
Perspektive und deren Parameter für jedes Segment unterschiedlich
sein können. Eine selektive Anwendung des Verfahrens kann auch
den Rechenaufwand vermindern, indem es beispielsweise nur auf eine
entsprechende Area-of-Interest angewandt wird. Anschließend
können die einzelnen Ergebnisse der Objekterkennungen,
die auf die Teile eines Objekts oder des zu erkennenden Bereichs
angewandt worden sind, derart miteinander verrechnet bzw. miteinander
fusioniert werden, dass daraus eine resultierende Aussage über
die Erkennung des Objekts bzw. des Bereichs ermittelt wird, z. B.
die Zugehörigkeit des gesamten Objekts bzw. Bereichs zu
einer Objektklasse und die entsprechende Aussagewahrscheinlichkeit.
-
Wie
eingangs erwähnt, kann anstatt der perspektivischen Transformation
des Bildes einer bildgebenden Vorrichtung genauso eine inverse Transformation
der entsprechenden bekannten Merkmale aus einer Datenbank durchgeführt
werden, mit welchen die Merkmale des Objekts verglichen werden.
-
Das
in den vorangegangenen Ausführungsformen beschriebene erfindungsgemäße
Verfahren weist eine Reihe von Vorteilen auf. Es führt
zu einer wesentlichen Steigerung der Erkennungswahrscheinlichkeit
und Zuverlässigkeit objekterkennender Systeme. Das Verfahren
kann auf verschiedene Systeme angewandt werden, insbesondere auf
Park- und Rangiersysteme, Verkehrszeichenerkennungssysteme, eine
Innenraumkamera zur Bestimmung von Objektpositionen im Innenraum
eines Fahrzeuges und andere sensorbasierte Systeme, die eine Interpretation
räumlich angeordneter Objekte vornehmen.
-
Das
Verfahren bietet eine zusätzliche Möglichkeit
zur Plausibilisierung der Ergebnisse der Dateninterpretation. Die
Position der Objekte einer bestimmten Klasse im Raum kann somit
errechnet und plausibilisiert werden. Der Mehraufwand zur Systemumsetzung
ist relativ gering, insbesondere erhöht sich die Anzahl
der bildgebende Vorrichtungen nicht. Dafür kann die verwendete
Datenbank mit den bekannten Objektmerkmalen deutlich kleiner sein.
Insbesondere kann die Datenbank auch nur einfache zweidimensionale
Merkmale, die aus einer Standardperspektive erkennbar sind, enthalten.
Die Bildung virtueller Perspektiven kann auf ein zweidimensionales
Bild, z. B. Kamerabild und/oder auf die Merkmale, mit welchen es
verglichen wird, angewandt werden.
-
Nachfolgend
werden weitere bevorzugte Varianten des erfindungsgemäßen
Verfahrens erläutert.
-
Es
kann aus bestimmten Gründen, z. B. bei der Erstellung einer
Datenbank aus Merkmalssätzen von Objekten, zweckmäßig
sein, bestimmte schräge Ansichten auf die Objekte, z. B.
geneigt um 30° und geneigt um 45°, in der Datenbank
zu speichern. Dies kann beispielsweise durch die konkret verwendete Ausführungsform
des erfindungsgemäßen Verfahrens bedingt sein.
Ein weiterer Grund dafür, dass bestimmte schräge
Perspektiven für die zu erkennenden Objekte verwendet werden,
kann darin bestehen, dass bestimmte Objekte sich aus einer solchen Perspektive
besser erkennen lassen. Wenn die verwendete bildgebende Vorrichtung
bei der Erkennung ein Objekt derselben Klasse wie in der Da tenbank
erfasst, welches aber um 38° geneigt ist, wird der kleine Bildausschnitt
mit dem Objekt z. B. je Schritt um +/– 4° virtuell
gedreht, bis eine maximale Ähnlichkeit mit dem in der Datenbank
gespeicherten Objekt gefunden wird. Die Erkennungswahrscheinlichkeit
wird umso besser, wenn beide Ähnlichkeiten des jeweils um –2
solche Schritte und +3 solche Schritte transformierten Bildausschnitts
(jeweils mit dem Objekt aus der Datenbank zu 30° gedreht
und zu 45° gedreht) gefunden wird. In diesem Fall plausibilisieren
sich die beiden Objekte bei der Erkennung gegenseitig. Das Resultat
ist eine höhere Zuverlässigkeit der Erkennung.
-
4 zeigt
ein Beispiel des Ablaufs einer weiteren Ausführungsform
des erfindungsgemäßen Verfahrens. Zunächst
erfolgt eine Bildaufnahme bzw. Bilderzeugung, beispielsweise aus
Sensordaten. Das Bild wird einer Bildvorverarbeitung unterzogen und
anschließend werden relevante Bildbereich (Area-of-Interest)
aus dem Bild extrahiert, beispielsweise mit Hypothesenbildung. Der
daraus erhaltene Bildausschnitt bzw. Bildbereich wird, wie eingehend im
Vorangegangenen erläutert wurde, entsprechend transformiert,
wodurch virtuelle Perspektiven erzeugt werden. Das transformierte
Bild wird dann einer Objekterkennung unterzogen, bei der beliebige
Verfahren allein und in Kombination verwendet werden können,
insbesondere Merkmalsextraktion, Pattern-Matching, neuronale Netze
und/und Fuzzy-Logik. Das Ergebnis der Objekterkennung ist ein Objekt
bzw. eine Objektklasse, z. B. ein Fahrzeug, und diese Information
kann als Eingabe für Fahrerassistenzsysteme verwendet werden.
Ferner wird im Falle der Verwendung von Klassifikatoren eine Aussagewahrscheinlichkeit
ausgegeben, die wieder dazu verwendet werden kann, um verbesserte
neue virtuelle Perspektiven festzulegen, um die Objekterkennung
in einem nächsten Schritt nochmals zu verbessern. Das Verfahren
kann somit iterativ ausgestaltet sein, um hierdurch weitere Objekte
bzw. deren Merkmale erkennen zu können.
-
Erfindungsgemäß können
neben Positivklassifikatoren, die ein Maß der Ähnlichkeit
des Objekts z. B. mit einem Muster bzw. die Zugehörigkeit
des Objekts zu einer Klasse ermitteln, auch sog. Negativklassifikatoren
verwendet werden. Diese Klassifikatoren ermitteln ein Maß für
eine Nichtzugehörigkeit zu einer Klasse oder Nichtähnlichkeit
mit einem Muster. Ein Negativklassifikator kann in einem Verfahrensschritt
die Merkmale des Objekts suchen, die gegen die Zugehörigkeit
des Objekts zu einer Klasse sprechen. Negativklassifikatoren können
als ein Algorithmus ausgestaltet sein, der z. B. nach den Ausschlusskriterien
bei der Bewertung einer Hypothese sucht. Die Anwendung von Negativklassifikato ren
ist an sich bekannt. Auch eine Anwendung von Positivklassifikatoren
und Negativklassifikatoren auf dasselbe Bild als zwei Verfahrensschritte
im Rahmen eines Verfahrens ist an sich bekannt. Die jeweiligen Methoden,
die zur Ermittlung der Ähnlichkeit oder Nichtähnlichkeit
führen, können allerdings unterschiedlich starke
Abhängigkeiten von der Perspektive, auf der das Objekt
zu sehen ist, aufweisen. Erfindungsgemäß können
für die Anwendung von Positivklassifikatoren und Negativklassifikatoren
unterschiedliche Perspektiven eines Objektes, insbesondere in unterschiedliche
virtuelle Perspektiven transformierte Bilder (Ansichten auf ein
und dasselbe Objekt aus unterschiedlichen virtuellen Perspektiven),
herangezogen werden.
-
In
einer bevorzugten Ausgestaltung wird die virtuelle Perspektive ein
und desselben Objekts separat auf die maximale Aussagewahrscheinlichkeit unterschiedlicher
Klassifikatoren, bevorzugt zumindest eines Positivklassifikators
und eines Negativklassifikators, angepasst. In diesem Fall wird
die Perspektive separat für den Positivklassifikator und
Negativklassifikator angepasst, bis beide eine für den
jeweiligen Klassifikator jeweils bestmögliche Aussagensicherheit
liefern. Durch den Vergleich der Ergebnisse wird eine insgesamt
höhere gesamte Aussagensicherheit für die Objekterkennung
einschließlich Objektklassifizierung erreicht. Ein besonders
großer Vorteil ergibt sich, wenn zur automatischen Erkennung
der Ausschlusskriterien eine andere Perspektive besser geeignet
ist als für die Erkennung von Kriterien, die für
die Zugehörigkeitskriterien des Objekts zu einer Klasse
sprechen. Die virtuelle Perspektive kann allerdings auch derart
verändert werden, dass die Aussagen des Positiv- und Negativklassifikators stets
bei derselben virtuellen Perspektive ausgewertet werden.
-
5 zeigt
nochmals ein Diagramm, welches die soeben beschriebenen Ausführungsformen verdeutlicht.
Analog zu dem Diagramm der 4 erfolgt
zunächst wieder eine Bildaufnahme bzw. Bilderzeugung und
das Bild wird einer Bildvorverarbeitung unterzogen. Schließlich
wird wiederum ein relevanter Bildbereich (Area-of-Interest) ausgewählt.
Nunmehr werden parallel zwei unterschiedliche virtuelle Perspektiven
erzeugt und die Bilder entsprechend in diese Perspektiven transformiert.
Für die eine virtuelle Perspektive wird ein Positivklassifikator
und für die andere ein Negativklassifikator verwendet.
Basierend auf den jeweiligen Aussagewahrscheinlichkeiten werden
dann wiederum neue virtuelle Perspektiven jeweils für den
Positiv- und Negativklassifikator ausgewählt. Nach Abschluss
dieses iterativen Vorgehens erfolgt schließlich eine Entscheidungsfindung, insbe sondere
basierend auf einer Plausibilisierung, um die zuverlässig
erkannten Merkmale von Objekten festzulegen. Die erkannten Objekte
können dann im Fahrzeug weiterverarbeitet werden, beispielsweise
als Eingabe für ein Fahrerassistenzsystem.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens wird die bestmögliche Perspektive gesucht, die
zu einer insgesamt gesehen aussagekräftigsten Kombination
von angewendeten Klassifikatoren, vorzugsweise eines Positivklassifikators
und eines Negativklassifikators, führt. Das heißt,
es wird eine virtuelle Perspektive ausgewählt, bei der
die maximale Übereinstimmung zwischen den Aussagen von
mindestens zwei unterschiedlichen Klassifikatoren, bevorzugt mindestens einem
Positivklassifikator und mindestens einem Negativklassifikator,
gefunden wird. In diesem Fall wird nur eine Perspektive gefunden,
jedoch wurde iterativ die Perspektive basierend auf Aussagewahrscheinlichkeiten
von zwei Klassifikatoren verändert. Die Bewertung der Aussagewahrscheinlichkeiten
kann mit Hilfe einer vorgegebenen Funktion, Kennlinien oder einer
Kennlinienschar erfolgen. Besonders vorteilhaft ist eine Berechnung
eines resultierenden Wertes für Ähnlichkeit und/oder
Aussagewahrscheinlichkeit bezüglich der Ähnlichkeit,
welcher die betreffenden Aussagen unterschiedlicher Klassifikatoren
gewichtet. Somit kann ein Objekt einer Klasse zugewiesen werden,
wenn hierzu mehrere, zumindest teilweise unabhängige Kriterien
dafür sprechen, auch wenn eine Aussagewahrscheinlichkeit
jeder Aussage allein genommen nicht hinreichend groß ist.
Zu der Aussage eines Klassifikators kann insbesondere die Ähnlichkeit
zu dem vorgegebenen Merkmalsatz, die Wahrscheinlichkeit der Zugehörigkeit
des Objekts oder eines Teils eines Objekts zu einer bestimmten Klasse
sowie die Aussagewahrscheinlichkeit gehören. Ein Klassifikator
kann auch als ein nichtdeterministisches Verfahren zur Objekterkennung,
z. B. basierend auf neuronalen Netzen, ausgestaltet sein.
-
Die
im Vorangegangenen beschriebenen Varianten des erfindungsgemäßen
Verfahrens verbessern die Zuverlässigkeit der Objekterkennung.
Falls ein möglicher Fehler in der Objekterkennung z. B.
bei der Zuweisung des Objekts zu einer bestimmten Klasse zu verhältnismäßig
schwerwiegenderen Folgen führen würde als ein
anderer möglicher Fehler, kann das Kriterium der Entscheidung
der Zuordnung eines Objekts zu einer Klasse auch asymmetrisch ausgestaltet
sein. Somit können für die Zuweisung eines Objekts
in verschiedene Objektklassen unterschiedliche Mindestanforderungen
und/oder Zusammen hänge zwischen den Aussagen von Positiv-
und Negativklassifikatoren zu Grunde gelegt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102007022940
A1 [0003]
- - DE 10323915 A1 [0003]
- - WO 02/073535 A2 [0004]