DE102021206316A1

DE102021206316A1 - Verfahren und Vorrichtung zum Erkennen eines Objekts für ein eine Monokamera umfassendes Fahrzeug und Kamerasystem

Info

Publication number: DE102021206316A1
Application number: DE102021206316.0A
Authority: DE
Inventors: Michael MIKSCH; Gregor Schwarzenberg
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-06-21
Filing date: 2021-06-21
Publication date: 2022-12-22
Also published as: US20220406070A1; US12190598B2; CN115578701A

Abstract

Ein Verfahren zum Erkennen eines Objekts (105) umfasst ein Einlesen eines ersten Bildsignals (155), das ein von einer Monokamera (110) aufgenommenes erstes Kamerabild repräsentiert und eines zweiten Bildsignals (160), das ein von der Monokamera (110) aufgenommenes zweites Kamerabild repräsentiert. Auf einer Bildlinie des ersten Kamerabilds angeordnete erste Bildpunkte werden aus dem ersten Bildsignal (155) ausgewählt. Zweite Bildpunkte aus dem zweiten Bildsignal (160) werden identifiziert, wobei die zweiten Bildpunkte den ersten Bildpunkten entsprechen. Ein Flusssignal wird unter Verwendung der ersten Bildpunkte und der zweiten Bildpunkte gebildet, wobei das Flusssignal einen optischen Flussverlauf für die entlang der Bildlinie angeordneten ersten Bildpunkte repräsentiert. Der durch das Flusssignal repräsentierte Flussverlauf wird in eine Mehrzahl von Segmenten segmentiert, die jeweils eine Ebene in der Fahrzeugumgebung repräsentieren. Ein Objektsignal (170) wird unter Verwendung der Mehrzahl von Segmenten bestimmt, das ein erkanntes Objekt (105) repräsentiert.

Description

Stand der Technik
Der Ansatz geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
Im Bereich der Fahrassistenz werden Umfelderfassungseinrichtungen eingesetzt, welche dazu dienen, das Umfeld des Fahrzeugs zu überwachen. Für die Überwachung ist eine Objekterkennung wesentlich, beispielsweise zur Vermeidung von Auffahrunfällen.
Die DE 10 2016 014 783 A1 beschreibt ein Verfahren zur Detektion von Objekten, wobei mittels einer Stereokamera Bilder einer Umgebung erfasst werden, mittels einer Stereobildverarbeitung in den erfassten Bildern Objekte detektiert werden und zur Auswertung der Bilder zumindest ein lernbasiertes Auswerteverfahren verwendet wird.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen eines Objekts für ein eine Monokamera umfassendes Fahrzeug, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, ein Kamerasystem mit einer solchen Vorrichtung sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass unter Verwendung von Bilddaten von lediglich einer Monokamera für ein Fahrzeug ein Objekt erkannt werden kann, ohne Kenntnis über eine Eigenbewegung des Fahrzeugs und/oder einen Bewegungszustand des zu erkennenden Objekts.
Es wird ein Verfahren zum Erkennen eines Objekts für ein eine Monokamera umfassendes Fahrzeug vorgestellt. Das Verfahren weist einen Schritt des Einlesens eines ersten Bildsignals, einen Schritt des Einlesens eines zweiten Bildsignals, einen Schritt des Auswählens, einen Schritt des Identifizierens, einen Schritt des Bildens, einen Schritt des Segmentierens und einen Schritt des Bestimmens auf. Im Schritt des Einlesens des ersten Bildsignals wird ein erstes Bildsignal eingelesen, das ein von der Monokamera aufgenommenes erstes Kamerabild repräsentiert, das eine Fahrzeugumgebung des Fahrzeugs abbildet. Im Schritt des Einlesens des zweiten Bildsignals wird zumindest ein zweites Bildsignal eingelesen, das ein von der Monokamera aufgenommenes zweites Kamerabild repräsentiert, das die Fahrzeugumgebung des Fahrzeugs abbildet. Im Schritt des Auswählens werden auf einer Bildlinie des ersten Kamerabilds angeordnete erste Bildpunkte aus dem ersten Bildsignal ausgewählt. Im Schritt des Identifizierens werden zweite Bildpunkte aus dem zweiten Bildsignal identifiziert, wobei die zweiten Bildpunkte den ersten Bildpunkten entsprechen. Im Schritt des Bildens wird ein Flusssignal unter Verwendung der ersten Bildpunkte und der zweiten Bildpunkte gebildet, wobei das Flusssignal einen optischen Flussverlauf für die entlang der Bildlinie angeordneten ersten Bildpunkte repräsentiert. Im Schritt des Segmentierens wird der durch das Flusssignal repräsentierte Flussverlauf in eine Mehrzahl von Segmenten segmentiert, die jeweils eine Ebene in der Fahrzeugumgebung repräsentieren. Im Schritt des Bestimmens wird ein Objektsignal bestimmt, das ein erkanntes Objekt repräsentiert, unter Verwendung zumindest eines der Mehrzahl von Segmenten.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Unter Verwendung des beschriebenen Verfahrens ist das Erkennen des Objekts mittels optischen Flusses vorteilhafterweise während eines sehr frühen Bildbearbeitungszeitpunkts möglich. Dies wird durch eine Erkennung des Objekts direkt auf dem optischen Fluss der genannten Bildlinie des Kamerabilds ermöglicht. Die Bildlinie kann vorbestimmt sein. Es kann sich um eine Gerade handeln. Bei dem ersten Kamerabild und dem zweiten Kamerabild kann es sich um sequenziell aufeinanderfolgende, beispielsweise zeitlich direkt aufeinanderfolgende Kamerabilder der Monokamera handeln. Die zweiten Bildpunkte können in dem zweiten Kamerabild dieselben Objektpunkte wie die ersten Bildpunkte in dem ersten Kamerabild abbilden. Somit können Flussvektoren zwischen einander entsprechenden ersten Bildpunkten und zweiten Bildpunkten bestimmt werden. Im Schritt des Bildens kann das Flusssignal somit unter Verwendung der Positionen der ersten Bildpunkte in dem ersten Bild und der Positionen der zweiten Bildpunkte in dem zweiten Bild gebildet werden. Das Flusssignal kann einen optischen Fluss oder anders ausgedrückt vertikalen Flussverlauf für die entlang der Bildlinie angeordneten ersten Bildpunkte repräsentieren. Der Flussverlauf kann einen optischen Flusswert, beispielsweise einen Flussvektor, der ein Vorzeichen und eine Größe umfasst, für jeden entlang der Bildlinie angeordneten ersten Bildpunkt repräsentieren. Zum Segmentieren des Flussverlaufs können in dem Flussverlauf gleichförmige Abschnitte gesucht werden. Ein gleichförmiger Abschnitt kann beispielsweise ein zumindest annähernd geradliniger Abschnitt sein. Beispielsweise können die einzelnen Segmente geradlinige Abschnitte im Flussverlauf mit voneinander abweichenden Steigungen repräsentieren. Das Segmentieren kann unter Verwendung einer Segmentierungsvorschrift erfolgen, mit der gleichförmige Abschnitte in dem Flussverlauf gesucht und als Segmente ausgewählt werden können. Wenn eines der Segmente eine vorbestimmte einem Objekt zuordenbare Charakteristik aufweist, kann aus dem Vorhandensein dieses Segments auf das Vorhandensein eines Objekts geschlossen werden.
Im Schritt des Auswählens können aus dem ersten Bildsignal die ersten Bildpunkte ausgewählt werden, die auf der als eine Bildspalte ausgeformten Bildlinie des ersten Kamerabilds angeordnet sind. Indem nur sich in einer Bildspalte befindliche Bildpunkte des ersten Kamerabilds verwendet werden, kann die Objekterkennung mit einer minimalen Rechenleistung durchgeführt werden. Wenn die Monokamera hierbei beispielsweise auf einen mittig ausgerichteten frontalen Sichtbereich des Fahrzeugs ausgerichtet ist, kann hierbei ebenfalls eine mittig in dem Kamerabild angeordnete Bildspalte ausgewählt werden, um einen besonders aussagekräftigen Bereich des Kamerabilds zu berücksichtigen, nämlich jenen Bereich, auf den sich das Fahrzeug direkt zu bewegt.
Es ist weiterhin von Vorteil, wenn im Schritt des Segmentierens der Flussverlauf unter Verwendung eines über eine Homographie beschriebenen Modells segmentiert wird. Dies ermöglicht es, einen nichtlinearen Verlauf des optischen Flusses entlang der Bildspalte zu modellieren, anhand dessen ein Objekt gut identifizierbar ist. Beim Segmentieren segmentierte Segmente können sich in Parametern unterscheiden, die aus der Schätzung der Homographie resultieren. Unter Verwendung solcher unterschiedlichen Parameter können die Segmente unterschiedlichen in den Kamerabildern abgebildeten Kamerabildinhalten wie Hintergrund, Objekt oder Fahrbahn zugeordnet werden. Gerade die Modellierung über eine Homographie kann hier vorteilhaft sein, um eine Nichtlinearität in einem Segment zu erkennen und aus den Parametern der geschätzten Homographie abzuleiten, um was für ein Objekt es sich im aktuell betrachteten Bildausschnitt handelt.
Dabei kann die Homographie als Homographie-Parameter einen Winkel der Bildlinie, eine skalierte vertikale Translation und eine skalierte horizontale Translation aufweisen. Diese Homographie-Parameter können vorteilhafterweise zum Segmentieren des Flussverlaufs verwendet werden.
Die translatorischen Parameter beschreiben beispielsweise die Eigenbewegung die Monokamera tragenden Ego-Fahrzeugs. Dabei wird die tatsächliche Eigenbewegung in Bewegungsrichtung z und in Lotrichtung y mit der Distanz d zur beobachteten Ebene entlang deren Normalenvektor n skaliert. Zum anderen wird die Orientierung der Ebene geschätzt, also die Richtung des Normalenvektors in Bezug auf die z-Achse des Kamerasystems der Monokamera. Dabei kann ein Optimierer die Orientierung einer Linie, beispielsweise der Bildlinie schätzen, da durch die spaltenweise Betrachtung eine Dimensionsreduktion von Ebene auf Linie durchgeführt wird. Der Parameter hat folglich eine Aussagekraft darüber, ob der geschätzte Flussverlauf ein frontoparallel oder horizontal ausgerichtetes Objekt repräsentiert. Berechnet sich die Orientierung zu 0°_so deutet dies auf eine frontoparallel ausgerichtete Ebene hin respektive auf eine horizontale Ebene falls die Orientierung_90° beträgt. Die Information der Orientierung eines Segmentes kann also dazu genutzt werden, Stixels in die Klassen Objekt und Fahrbahn einzuordnen. Dabei repräsentiert ein Stixel einen Bildbereich, in dem der Fluss dieselbe Charakteristik aufweist.
Im Schritt des Segmentierens kann die Mehrzahl von Segmenten segmentiert werden, die jeweils als die Ebene eine einem Hintergrund zugeordnete Hintergrundebene, eine einem Objekt zugeordnete Objektebene und/oder eine einer Fahrbahn zugeordnet Fahrbahnebene repräsentieren. So können in unterschiedlichen Bildebenen unterschiedliche abgebildete Kamerabildinhalte wie Hintergrund, Objekt, Fahrbahn differenziert werden. Entlang der Bildspalte können Objektebenen beispielsweise zwischen der Fahrbahnebene und der Hintergrundebene angeordnet sein. Segmente, die sich den genannten Ebenen zuordnen lassen, können sich auf eine vorbekannte Weise voneinander unterscheiden. Entsprechende bekannte Unterscheidungsmerkmale können entsprechend bei der Segmentierung berücksichtigt werden.
Gemäß einer Ausführungsform kann im Schritt des Segmentierens der Flussverlauf in unterschiedliche Bereiche unterteilt werden, um die Mehrzahl von Segmenten zu bilden. Beispielsweise kann im Schritt des Segmentierens der Flussverlauf in unterschiedliche Bereiche segmentiert werden, die sich in aus der Homographie-Schätzung ergebenden Parametern unterscheiden können. Mittels der Homographie-Schätzung werden auch nicht-lineare Flussverläufe beschrieben oder modelliert. Die resultierenden Homographie-Parameter aus der Homographie-Schätzung können insbesondere für eine Zuordnung oder Klassifikation des jeweils betrachteten Segmentes herangezogen werden.
Schritte des beschriebenen Verfahrens können wiederholt ausgeführt werden, um weitere Bildsignale einzulesen und zumindest ein weiteres Objektsignal zu bestimmen. So kann das Verfahren in einer Ausführungsform einen Schritt des Einlesens eines dritten Bildsignals, einen Schritt des Einlesens eines vierten Bildsignals, einen Schritt des weiteren Auswählens, einen Schritt des weiteren Identifizierens, einen Schritt des weiteren Bildens, einen Schritt des weiteren Segmentierens und einen Schritt des weiteren Bestimmens aufweisen. Im Schritt des Einlesens des dritten Bildsignals wird ein drittes Bildsignal eingelesen, das ein von der Monokamera aufgenommenes drittes Kamerabild repräsentiert, das die Fahrzeugumgebung des Fahrzeugs abbildet. Im Schritt des Einlesens des vierten Bildsignals wird zumindest ein viertes Bildsignal eingelesen, das ein von der Monokamera aufgenommenes viertes Kamerabild repräsentiert, das die Fahrzeugumgebung des Fahrzeugs abbildet. Im Schritt des weiteren Auswählens werden auf einer weiteren Bildlinie des dritten Kamerabilds angeordnete dritte Bildpunkte aus dem dritten Bildsignal ausgewählt, wobei die weitere Bildlinie der Bildlinie entsprechen kann. Im Schritt des Identifizierens werden vierte Bildpunkte aus dem vierten Bildsignal identifiziert, wobei die vierten Bildpunkte den dritten Bildpunkten entsprechen. Im Schritt des weiteren Bildens wird ein weiteres Flusssignal unter Verwendung der dritten Bildpunkte und der vierten Bildpunkte gebildet, wobei das weitere Flusssignal einen optischen Flussverlauf für die entlang der weiteren Bildlinie angeordneten dritten Bildpunkte repräsentiert. Im Schritt des weiteren Segmentierens wird der durch das weitere Flusssignal repräsentierte Flussverlauf in eine Mehrzahl von weiteren Segmenten segmentiert, die jeweils eine weitere Ebene in der Fahrzeugumgebung repräsentieren. Im Schritt des weiteren Bestimmens wird das weitere Objektsignal bestimmt, das das erkannte Objekt oder ein weiteres erkanntes Objekt repräsentiert, unter Verwendung der Mehrzahl von weiteren Segmenten. Die Wiederholung der Verfahrensschritte kann kontinuierlich während des Betriebs des Fahrzeugs durchgeführt werden. Bei dem dritten Kamerabild und dem vierten Kamerabild kann es sich um sequenziell direkt aufeinanderfolgende Kamerabilder der Monokamera handeln. Ebenso kann es sich bei dem zweiten Kamerabild und dem dritten Kamerabild um sequenziell direkt aufeinanderfolgende Kamerabilder der Monokamera handeln. Durch das wiederholte Ausführen der Verfahrensschritte sind Distanzänderungen des Objekts in Bezug auf das Fahrzeug erkennbar, sodass beispielsweise eine ungewünscht starke Distanzverringerung, die zu einem Auffahrunfall führen kann, detektierbar ist.
Das Verfahren kann auch ferner einen Schritt des Bereitstellens aufweisen, in dem unter Verwendung des Objektsignals ein Warnsignal an eine Warneinrichtung des Fahrassistenzsystems bereitgestellt wird. Im Schritt des Bereitstellens kann beispielsweise unter Verwendung des Objektsignals und des weiteren Objektsignals das Warnsignal bereitgestellt werden, wenn im Schritt des Erkennens das Objekt erkannt wird, das eine definierte Distanzänderung, beispielsweise eine starke Distanzverringerung zu dem Fahrzeug, erfährt oder ausführt. Die Distanzänderung kann durch einen Vergleich des Objektsignals mit dem weiteren Objektsignal erkannt werden. Durch das Warnsignal kann dem Fahrer des Fahrzeugs ein beispielsweise akustisch, optisch und/oder haptisch wahrnehmbarer Hinweis auf eine gefährliche Situation gegeben werden.
Es ist weiterhin von Vorteil, wenn das Verfahren gemäß einer Ausführungsform einen Schritt des Ausgebens aufweist, in dem unter Verwendung des Objektsignals ein Bremssignal an eine Bremseinrichtung des Fahrzeugs ausgegeben wird, um das Fahrzeug zu bremsen. Beispielsweise kann im Schritt des Ausgebens unter Verwendung des Objektsignals und des weiteren Objektsignals das Bremssignal ausgegeben werden, wenn beispielsweise unter Verwendung eines Vergleichs des Objektsignals und des weiteren Objektsignals eine definierte Distanzänderung des Objekts zu dem Fahrzeug erkannt wird. Durch das Bremssignal kann das Fahrzeug in einer gefährlichen Situation durch beispielsweise eine Notfallbremsung automatisiert abgebremst werden.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Ein Kamerasystem weist eine solche Vorrichtung und die Monokamera zum Bereitstellen des ersten Bildsignals und zweiten Bildsignals auf. Eine solches Kamerasystem kann mit lediglich einer einzigen Monokamera zur sicheren Objekterkennung für ein Fahrzeug dienen.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen:

1 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiel zum Erkennen eines Objekts für eine Monokamera für ein Fahrassistenzsystem für ein Fahrzeug;
2 eine schematische Darstellung eines Flussverlaufs gemäß einem Ausführungsbeispiel;
3 eine schematische Darstellung eines Flussverlaufs gemäß einem Ausführungsbeispiel;
4 eine schematische Darstellung eines ersten Kamerabilds zur Verwendung mit einer Vorrichtung gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung eines Flussverlaufs gemäß einem Ausführungsbeispiel;
6 eine schematische Darstellung eines Flussverlaufs gemäß einem Ausführungsbeispiel;
7 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel zum Erkennen eines Objekts für eine Monokamera für ein Fahrassistenzsystem für ein Fahrzeug.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt ein Blockschaltbild einer Vorrichtung 100 gemäß einem Ausführungsbeispiel. Die Vorrichtung 100 lässt sich zum Erkennen eines Objekts 105 im Zusammenhang mit einer Monokamera 110 einsetzen. Beispielhaft wird die Monokamera 110 zum Erfassen von Daten für ein Fahrassistenzsystem 115 eines Fahrzeugs 120 verwendet.
Somit ist die Vorrichtung 100 gemäß diesem Ausführungsbeispiel lediglich beispielhaft an oder in dem Fahrzeug 120 angeordnet, hier beispielhaft in das Fahrassistenzsystem 115 des Fahrzeugs 120 implementiert. Die Vorrichtung 100 weist eine Einleseschnittstelle 125, eine Auswähleinrichtung 130, eine Identifiziereinrichtung 135, eine Bildeeinrichtung 140, eine Segmentiereinrichtung 145 und eine Bestimmeinrichtung 150 auf.
Die Einleseschnittstelle 125 ist ausgebildet, um ein erstes Bildsignal 155 einzulesen, das ein von der Monokamera 110 aufgenommenes erstes Kamerabild repräsentiert, und zumindest ein zweites Bildsignal 160 einzulesen, das ein von der Monokamera 110 aufgenommenes zweites Kamerabild repräsentiert. Beispielhaft bilden die Kamerabilder jeweils eine Fahrzeugumgebung des Fahrzeugs 120, hier ein Vorfeld des Fahrzeugs 120 ab. Das erste Kamerabild ist beispielsweise zu einem ersten Zeitpunkt und das zweite Kamerabild zu einem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt aufgenommen worden.
Die Auswähleinrichtung 130 ist ausgebildet, um auf einer Bildlinie des ersten Kamerabilds angeordnete erste Bildpunkte aus dem ersten Bildsignal 155 auszuwählen. Die Bildlinie ist gemäß einem Ausführungsbeispiel vorbestimmt, beispielsweise eine senkrecht verlaufende Gerade. Alternativ kann beispielsweise eine leicht schräg verlaufende Gerade verwendet werden.
Die Identifiziereinrichtung 135 ist ausgebildet, um zweite Bildpunkte aus dem zweiten Bildsignal 160 zu identifizieren, wobei die zweiten Bildpunkte den ersten Bildpunkten entsprechen. Beispielsweise können sich die ersten Bildpunkte und die zweiten Bildpunkte inhaltlich entsprechen. Es werden beispielsweise diejenigen Bildpunkt in dem zweiten Kamerabild herausgesucht, die dieselben Bereiche der Fahrzeugumgebung wie die ersten Bildpunkte abbilden. Die Bildeeinrichtung 140 ist ausgebildet, um ein Flusssignal 165 unter Verwendung der ersten Bildpunkte und der zweiten Bildpunkte zu bilden, wobei das Flusssignal 165 einen optischen Flussverlauf für die entlang der Bildlinie angeordneten ersten Bildpunkte repräsentiert. Sowohl zum Identifizieren der zweiten Bildpunkte als auch zum Bilden des Flusssignals 165 kann auf Vorgehensweisen bekannter Verfahren zum Bestimmen des optischen Flusses zurückgegriffen werden
Die Segmentiereinrichtung 145 ist ausgebildet, um den durch das Flusssignal 165 repräsentierten Flussverlauf in eine Mehrzahl von Segmenten zu segmentieren. Die Segmentierung wird dabei so ausgeführt, dass jedes der Segmente jeweils eine andere Ebene in der Fahrzeugumgebung repräsentiert.
Die Bestimmeinrichtung 150 ist ausgebildet, um zumindest eines der Segmente zum Bestimmen eines Objektsignal 170 zu verwenden. Beispielsweise wird eine Charakteristik der Segmente mit vorbestimmten Charakteristika verglichen, die darauf schließen lassen, dass das Segment einem zu erkennenden Objekt, hier dem Objekt 105 zugeordnet werden kann. Ein zu erkennendes Objekt kann beispielsweise eine für das Fahrassistenzsystem 115 relevante Person oder ein für das Fahrassistenzsystem 115 relevanter Gegenstand, wie ein vorausfahrendes Fahrzeug, sein. Wird ein solches zu erkennendes Objekt von der Monokamera 110 erfasst, in den Kamerabildern abgebildet und von der genannte Bildlinie geschnitten, so ergibt sich ein Flussverlauf mit einem Segment, das aufgrund seiner Charakteristik dem zu erkennenden Objekt zugeordnet werden kann.
Bei dem ersten Kamerabild und dem zweiten Kamerabild handelt es sich gemäß einem Ausführungsbeispiel um sequenziell direkt aufeinanderfolgende Kamerabilder der Monokamera 110. Die Bildeeinrichtung 140 ist gemäß diesem Ausführungsbeispiel ausgebildet, um das Flusssignal 165 unter Verwendung der Positionen der ersten Bildpunkte in dem ersten Bild und der Positionen der zweiten Bildpunkte in dem zweiten Bild zu bilden. Das Flusssignal 165 repräsentiert gemäß diesem Ausführungsbeispiel einen optischen Fluss oder anders ausgedrückt vertikalen Flussverlauf für die entlang der Bildlinie angeordneten ersten Bildpunkte. Der Flussverlauf repräsentiert gemäß einem Ausführungsbeispiel einen optischen Flusswert, beispielsweise einen Flussvektor, der ein Vorzeichen und eine Größe umfasst, für jeden entlang der Bildlinie angeordneten ersten Bildpunkte. Ein solcher vertikaler Flussverlauf für eine Ebene ist in den 2 bis 3 und für mehrere Ebenen ist in den 5 bis 6 gezeigt.
Die Auswähleinrichtung 130 ist gemäß einem Ausführungsbeispiel ausgebildet, um aus dem ersten Bildsignal 155 die ersten Bildpunkte auszuwählen, die auf der als eine Bildspalte ausgeformten Bildlinie des ersten Kamerabilds angeordnet sind. Somit ist die Auswähleinrichtung 130 beispielsweise ausgebildet, um nur die in einer vorbestimmten Bildspalte oder die in einer aktuell definierten Bildspalte angeordneten Bildpunkte als die ersten Bildpunkte auszulesen.
Wenn die Monokamera 110 wie gemäß einem Ausführungsbeispiel auf einen mittig ausgerichteten frontalen Sichtbereich des Fahrzeugs 120 ausgerichtet ist, wählt die Auswähleinrichtung 130 gemäß einem Ausführungsbeispiel ebenfalls eine mittig in dem ersten Kamerabild angeordnete Bildspalte aus, siehe hierzu auch 4.
Die Segmentiereinrichtung 135 ist gemäß einem Ausführungsbeispiel ausgebildet, um den Flussverlauf unter Verwendung eines über eine Homographie beschriebenen Modells zu segmentieren. Die Segmentiereinrichtung 135 ist ferner gemäß einem Ausführungsbeispiel ausgebildet, um die Mehrzahl von Segmenten zu segmentieren, die jeweils als eine einem Hintergrund zugeordnete Hintergrundebene, eine dem Objekt 105 zugeordnete Objektebene und/oder eine einer Fahrbahn zugeordnet Fahrbahnebene repräsentieren. Beispielsweise ist die Segmentiereinrichtung 135 ausgebildet, um die den Flussverlauf unter Verwendung einer Segmentierungsvorschrift zu segmentieren, in der für die jeweiligen Ebenen jeweils vorbestimmte charakteristische Verläufe, gespeichert sind. Wenn in dem Flussverlauf ein Abschnitt gefunden wird, der einem solchen vorbestimmten charakteristischen Verlauf zugeordnet werden kann, so wird dieser Abschnitt beispielsweise als ein Segment definiert. Zusätzlich oder alternativ ist die Segmentiereinrichtung 135 beispielsweise ausgebildet, um den Flussverlauf in unterschiedliche Bereiche als die Mehrzahl von Segmenten zu segmentieren. Beispielsweise segmentiert die Segmentiereinrichtung 135 den Flussverlauf in unterschiedliche Bereiche mit unterschiedlichen Homographie-Parametern, die aus der Schätzung der Homographie resultieren, siehe hierzu auch die 5 und 6.
Die Vorrichtung 100 ist gemäß einem Ausführungsbeispiel ausgebildet, um weitere Bildsignale einzulesen und entsprechend der vorangegangenen Beschreibung zumindest ein weiteres Objektsignal zu bestimmen. Dadurch lässt sich das Objekt 105 über einen längeren Zeitraum verfolgen. Auch können weitere Objekte erkannt werden oder die Erkennung des Objekts 105 kann abgesichert werden.
Gemäß einem Ausführungsbeispiel weist die Vorrichtung 100 ferner eine Bereitstellungseinrichtung 175 auf, die ausgebildet ist, um unter Verwendung des Objektsignals 170 und/oder eines weiteren Objektsignals ein Warnsignal 180 an eine Warneinrichtung 182 des Fahrassistenzsystems 115 bereitzustellen. Beispielsweise wird das Warnsignal 180 bereitgestellt, wenn das Objekt 105 als ein Fremdfahrzeug erkannt wird, das eine definierte Distanzänderung, beispielsweise eine starke Distanzverringerung zu dem Fahrzeug 120, erfährt oder ausführt. Die Distanzänderung wird gemäß einem Ausführungsbeispiel durch einen von der Bestimmeinrichtung 150 oder einer zusätzlichen Vergleichseinrichtung durchgeführten Vergleich des Objektsignals 170 mit dem weiteren Objektsignal oder durch ein Vorzeichen des dem Objekt 105 zugeordneten Segments des Flussverlaufs erkannt. Das Warnsignal 180 bewirkt gemäß einem Ausführungsbeispiel ein für den Fahrer des Fahrzeugs 120 akustisch, optisch und/oder haptisch wahrnehmbares Signal.
Gemäß einem Ausführungsbeispiel ist die Bereitstellungseinrichtung 175 ausgebildet, um unter Verwendung des Objektsignals 170 und/oder eines weiteren Objektsignals ein Bremssignal 185 an eine Bremseinrichtung 190 des Fahrzeugs 120 auszugeben, um das Fahrzeug 120 zu bremsen. Gemäß einem alternativen Ausführungsbeispiel weist die Vorrichtung 100 zum Ausgeben des Bremssignals 185 eine eigene Ausgabeeinrichtung auf. Gemäß einem Ausführungsbeispiel gibt die Bereitstellungseinrichtung 175 oder Ausgabeeinrichtung das Bremssignal 185 aus, wenn unter Verwendung eines Vergleichs des Objektsignals 170 und des weiteren Objektsignals eine definierte Distanzänderung des Objekts 105 zu dem Fahrzeug 120 erkannt wird. Unter Verwendung des Bremssignals 185 bewirkt die Bremseinrichtung 190 gemäß einem Ausführungsbeispiel eine Notfallbremsung des Fahrzeugs 120.
Ein gemeinsames System aus der Monokamera 110 und der hier vorgestellten Vorrichtung 100 kann auch als Kamerasystem 195 bezeichnet werden.
Die hier vorgestellte Vorrichtung 100 ermöglicht die Ausführung eines Verfahrens zur Detektion von Objekten 105 mittels optischen Flusses.
Anders als bekannte Objekterkennungsvorrichtungen benötigt die Vorrichtung 100 zur Objekterkennung keine Stereodaten, wofür zwei Kameras nötig wären, um Tiefen der Szene vor der Kamera rekonstruieren zu können. Die Objektbildung basiert auf der Modellierung der Szene vor der Kamera 110 als Ebenen bzw., entlang einer Dimension betrachtet, Spalten, welche allerdings bei der hier vorgestellten Vorrichtung 100 nicht über Geradenmodelle entlang der Tiefeninformation repräsentiert wird. Eine Abwandlung davon erfolgt durch den Einsatz einer Mono-Kamera, mit welcher in einem ersten Schritt Informationen über den optischen Fluss berechnet werden, also eine Schätzung der Bewegung im Bild jedes einzelnen Bildpunktes erfolgt. Dieser optische Fluss kann über Kenntnisse der Eigenbewegung in inverse Tiefeninformationen umgerechnet werden, welche für statische Objekte der Szene gleichbedeutend sind mit den Informationen, die aus einer Stereo-Kamera resultieren. Für einen solchen Einsatz einer Monokamera 110 ist jedoch eine sehr genaue Kenntnis über die Eigenbewegung notwendig. Fehler in der Eigenbewegungsschätzung oder - messung resultieren in stark verrauschte Tiefenwerte am „Focus of Expansion“, welcher typischerweise die Bildmitte bei Geradeausfahrt ist, und damit einhergehend in Störungen bei der Objekterkennung. Da für die Objekterkennung der zentrale Bildbereich sehr wichtig ist, um auf kollisionsrelevante Objekte 105 zu reagieren, ist dies von besonderem Nachteil. Außerdem resultiert die Umrechnung des optischen Flusses in die inverse Tiefe nur für statische Objekte in validen Tiefenwerten. Sobald ein Objekt 105 nicht mehr statisch, also fremdbewegt, ist, wie z. B. überholende Fahrzeuge oder kreuzende Fußgänger/Fahrradfahrer, muss die Objekterkennung auf andere Merkmale ausweichen, um eine robuste Objekterkennung zu gewährleisten. Die Abhängigkeit zur Eigenbewegungsschätzung wie auch die Bedingung, dass relevante Bereiche in der Szene statisch sein müssen, wird vorteilhafterweise unter Verwendung der Vorrichtung 100 dadurch umgangen, dass die Objektbildung direkt auf dem optischen Fluss ohne weitere Umrechnungen durchgeführt wird.
Die Objektbildung direkt auf dem optischen Fluss durchzuführen erfordert eine komplexere Modellierung als das bisherige Gerademodell, welches für die inversen Tiefen pro Spalte verwendet werden konnte. Das von der Vorrichtung 100 genutzte Modell wird gemäß diesem Ausführungsbeispiel über eine Homographie beschrieben, welche es ermöglicht, den nichtlinearen Verlauf des optischen Flusses entlang einer Spalte zu modellieren, siehe hierzu auch die 2 bis 6. Homographie, auch „Projektivität“ genannt, beschreibt in der Mathematik eine Kollineation des 2-dimensionalen reellen projektiven Raumes auf sich. Mit Kollineation bezeichnet man in den mathematischen Gebieten Geometrie und lineare Algebra eine bijektive Abbildung eines affinen oder projektiven Raumes auf sich selbst, bei der jede Gerade auf eine Gerade abgebildet wird, die also geradentreu ist. Die Menge der Kollineationen eines Raumes bildet eine Gruppe, insbesondere sind die Umkehrungen von Kollineationen stets Kollineationen. Eine Projektivität oder projektive Kollineation ist in der Geometrie eine besondere Kollineation einer projektiven Ebene oder eines projektiven Raums. Im einfachsten Fall ist eine Projektivität eine Zentralkollineation oder Perspektivität, d. h., es gibt einen Fixpunkt, der das Zentrum ist, und alle Geraden durch den Fixpunkt sind Fixgeraden.
Damit ist es unter Verwendung der Vorrichtung 100 also möglich eine Objektbildung zu erhalten, ohne den Bedarf einer Stereo-Kamera oder Eigenbewegungsschätzung, womit bei Monokameras 110 insbesondere der zentrale Bildbereich robust der Objektdetektion unterzogen werden kann. Die Modellierung über eine Homographie erlaubt es ferner auch fremdbewegte Objekte zu modellieren, da keine Annahme bezüglich der Bewegung der Fremdobjekte der Modellierung mittels Homographie zugrunde liegt.
Die Verwendung des von der Vorrichtung 100 durchgeführten Verfahrens ist beispielsweise mittels virtuellem Fluss durch z. B. einen Monitor oder aber den bekannten Flussmehrdeutigkeitsfällen Schattenwurf, Projektionen auf Flächen, drehende Objekte usw. nachweisbar.
2 zeigt eine schematische Darstellung eines Flussverlaufs 200 gemäß einem Ausführungsbeispiel. Dabei kann es sich um einen Flussverlauf 200 handeln, der unter Verwendung der anhand von 1 beschriebenen Vorrichtung 100 erzeugt wurde. Gezeigt ist ein vertikaler Flussverlauf 200 bezüglich einer Bildspalte. Der Flussverlauf 200 basiert beispielsweise auf Kamerabildern einer Monokamera die eine vor einem Fahrzeug liegende freie Fahrbahn abbilden. Die x-Achse kennzeichnet den vertikalen Fluss in Pixeln und die y-Achse kennzeichnet die Bildzeilen in Pixeln.
Der Flussverlauf 200 lässt sich in zwei Segmente 205, 207 segmentieren, die jeweils charakteristische Verläufe aufweisen. Das Segment 205 ist aufgrund seines charakteristischen Verlaufs der Fahrbahnebene zuordenbar. Das Segment 207 ist aufgrund seines annähernd senkrechten Verlaufs dem Horizont zuordenbar. Aus dem Flussverlauf 200 lässt sich schließen, dass in den Kamerabildern nur eine Fahrbahn oder andere relativ ebene Fläche und kein Objekt abgebildet wird. Gemäß diesem Ausführungsbeispiel ist insbesondere der Verlauf des Flusses auf der Straßenebene nichtlinear. Diese Nichtlinearität kann über die Homographie exakt beschrieben werden kann.
3 zeigt eine schematische Darstellung eines Flussverlaufs 200 gemäß einem Ausführungsbeispiel. Dabei kann es sich um den in 2 beschriebenen Flussverlauf 200 handeln, wobei das Segment 205 als eine durchgezogene Linie dargestellt ist, die den geschätzten Flussverlauf 200 für die abgebildete Fahrbahn repräsentiert.
4 zeigt eine schematische Darstellung eines ersten Kamerabilds 400 gemäß einem Ausführungsbeispiel. Dabei kann es sich um ein von der in 1 gezeigten Monokamera erfasstes Bild handeln, das zusammen mit einem zweiten von derselben Monokamera erfassten Bild zum Erkennen eines Objekts 105 verwendet wird.
Eine Bildlinie 405 ist beispielhaft mittig und senkrecht verlaufend in dem ersten Kamerabild 400 markiert. In diesem Fall liegen auf der Bildlinie 405 des ersten Kamerabilds 400 liegende erste Bildpunkte in einer Bildspalte 405 des ersten Kamerabilds 400.
In dem ersten Kamerabilds 400 ist eine beispielhafte Verkehrsszene abgebildet. In einem unteren Bildabschnitt des ersten Kamerabilds 400 verläuft die Bildlinie 405 durch eine Fahrbahnebene 410 der Fahrbahn. In einem mittleren Bildabschnitt des ersten Kamerabilds 400 verläuft die Bildlinie 405 durch eine Abbildung des Objekts 105, hier in Form eines weiteren Fahrzeugs, und somit durch eine Objektebene 415. In einem oberen Bildabschnitt des ersten Kamerabilds 400 verläuft die Bildlinie 405 durch eine Hintergrunddarstellung eines Hintergrunds und somit durch eine Hintergrundebene 420. Der sich aus dem ersten Kamerabild 400 und einem zweiten Kamerabild ergebende optische Flussverlauf für die Bildlinie 405 ist in den 5 und 6 gezeigt.
5 zeigt eine schematische Darstellung eines Flussverlaufs 200 gemäß einem Ausführungsbeispiel. Dabei kann es sich um den in 2 beschriebenen Flussverlauf 200 handeln, mit dem Unterschied, dass der Flussverlauf 200 für die Bildlinie des in 4 beschriebenen ersten Kamerabilds dargestellt ist, in nicht nur die Fahrbahn und der Horizont, sondern ferner das sich auf der Fahrbahn befindliche Objekt abgebildet ist. Der Flussverlauf 200 umfasst daher neben dem der Fahrbahnebene zuordenbaren Segment 205 und dem der Hintergrundebene zuordenbaren Segment 207 ein zusätzliches Segment 509, dass der Objektebene zuordenbar ist.
Gezeigt ist der korrespondierende vertikale Flussverlauf 200, der als Eingangsdaten beispielsweise in ein Verfahren eingeht, das von der in 1 gezeigten Vorrichtung durchgeführt wird. Gemäß diesem Ausführungsbeispiel segmentiert die Segmentiereinrichtung der Vorrichtung den Flussverlauf 200 in unterschiedliche Bereiche 511, 512, 513. Die Bereiche 511, 512, 513 weisen unterschiedliche Homographie-Parameter auf, die aus der Schätzung der Homographie resultieren. Diese Parameter geben z.B. eine Orientierung im Raum an, welche sich dann nutzen lässt, um die Segmente 205, 207, 509 zu klassifizieren, beispielsweise in „Straße“ oder „Objekt“.
Bei der Homographie handelt es sich hier um eine 1D-Homographie, da hier nicht die
Transformation einer Ebene, sondern nur einer Geraden betrachtet wird. Die Homographie hat drei Parameter, die die Homographie beschreiben. Bei diesen Homographie-Parametern handelt es sich um die Normalenrichtung, oder allgemein den Winkel, der aktuell betrachteten Bildlinie, beispielsweise einer Bildspalte, um eine skalierte vertikale Translation, sowie um eine skalierte horizontale Translation.
Um diese Parameter zu ermitteln, wird beispielsweise ein Optimierungsproblem gelöst,
welches die Parameter soweit anpasst, dass die entsprechende Homographie den
Flussverlauf in der Bildlinie bestmöglich beschreibt. Um festzustellen, wo eine Objektgrenze vorliegt, z.B. zwischen Objekt auf der Straße und der Straße selbst, sind viele Möglichkeiten vorhanden. Das Wichtige ist, dass die Möglichkeit bei der Optimierung besteht, die aktuell betrachtete Bildlinie, beispielsweise Spalte, in unterschiedliche Bereiche einzuteilen, die jeweils optimal mit der jeweiligen
Homographie beschrieben werden können. Beispielsweise können unter Verwendung einer Bottom-Up-Methode in verschiedenen Iterationsschritten Segmentabschnitte zu Segmenten zusammengeführt werden. Die genannten drei Homographie-Parameter werden gemäß einem Ausführungsbeispiel verwendet, um das entsprechende Segment zu charakterisieren. Beispielsweise wird die Normalenrichtung (Orientierung) als einfaches Klassifikationsmerkmal genommen. Beispielsweise kann unter Verwendung einer sogenannten Stixel-Repräsentation ein Segment einer Fahrbahn oder einem Objekt zugeordnet werden. Die Zuordnung eines Stixelsegmentes in eine der beiden Klassen erfolgt beispielsweise unter Anwendung eines Klassifikators, der auf Basis eines Orientierungsparameters eine Entscheidung trifft. Beispielsweise wird ein Stixel, für das eine Normalenrichtung von weniger als 45° gilt, als Objekt und ein Stixel für das eine Normalenrichtung von mehr als 45° gilt, als Fahrbahn-Stixel klassifiziert. Über die beiden anderen Parameter, also die skalierte vertikale und horizontale Translation, können auch noch weitere Plausibilisierungen durchgeführt werden, z.B. Abgleich mit anderweitig verfügbaren Informationen über die Straßenebene. Auch können diese anderen Parameter als Input verwendet werden für weitergehende Verarbeitungen, beispielsweise eine Entfernungsschätzung, Bewegtheitserkennung von Objekten, Schätzung des Verlaufs und/oder Struktur der Straßenoberfläche.
Durch die Kenntnis der Homographie-Parameter ist es beispielsweise möglich, die Bewegung von Punkten auf einer Ebene zu rekonstruieren. Demgemäß kann der vertikale Fluss anhand der Homographie-Abbildung modelliert werden.
Gemäß diesem Ausführungsbeispiel repräsentieren der erste Bereich 511, der zweite Bereich 512 und der dritte Bereich 513 als Resultat der Homographie-Schätzung unterschiedliche Steigungen bzw. Orientierungen der abgebildeten Ebenen. So ergeben sich aus der Homographie-Schätzung für den ersten Bereich 511 erste Parameter, durch die das Segment 205 der Fahrbahnebene zuordenbar ist, für den zweiten Bereich 512 zweite Parameter, durch die das Segment 509 der Objektebene zuordenbar ist, und für den dritten Bereich 513 dritte Parameter, durch die das Segment 207 der Hintergrundebene zuordenbar ist
Die unterschiedlichen Bereiche 511, 512, 513 zeigen je eine Distanz der einzelnen abgebildeten Kamerabildinhalte wie Hintergrund, Objekt, Fahrbahn zu dem Fahrzeug.
Gemäß einem Ausführungsbeispiel wird bei Erkennen des der Objektebene zuordenbaren zweiten Segments 509 das anhand von 1 beschriebene Objektsignal bereitgestellt, um ein erkanntes Objekt anzuzeigen.
Gemäß einem Ausführungsbeispiel wird mehr als eine Bildlinie eingesetzt. Unter Verwendung mehrerer Bildlinien können in unterschiedlichen Bereichen des Kamerabilds abgebildete Objekte erkannt werden. Beispielsweise verläuft eine erste Bildlinie durch einen eine erste Fahrspur abbildenden Bereich des ersten Kamerabilds und eine zweite Bildlinie durch einen eine zweite Fahrspur abbildenden Bereich des ersten Kamerabilds. Für beide Bildlinien und gegebenenfalls weitere Bildlinien kann wie beschrieben jeweils ein Flussverlauf gebildet, segmentiert und ausgewertet werden um von den jeweiligen Bildlinien geschnittene Abbilder von Objekten zu erkennen.
6 zeigt eine schematische Darstellung eines Flussverlaufs 200 gemäß einem Ausführungsbeispiel. Dabei kann es sich um den in 5 beschriebenen Flussverlauf 200 handeln, wobei die die Segmente 205, 207, 509 als zumindest teilweise durchgezogene Linien dargestellt sind, die jeweils eine Ebene, die Fahrbahnebene, die Hintergrundebene und die Objektebene repräsentieren. Als Ergebnis einer entsprechenden Bottom-Up-Methode sind in 6 entsprechend die finalen Segmente 205, 207, 509 dargestellt, die jeweils eine Ebene (Hintergrund, Objekt, Fahrbahn) repräsentieren.
7 zeigt ein Ablaufdiagramm eines Verfahrens 700 gemäß einem Ausführungsbeispiel zum Erkennen eines Objekts unter Verwendung einer Monokamera für ein Fahrzeug. Dabei kann es sich um ein Verfahren 700 handeln, das von der anhand der vorangegangenen Figuren beschriebenen Vorrichtung ausführbar ist.
Das Verfahren 700 weist einen Schritt 705 des Einlesens eines ersten Bildsignals, einen Schritt 710 des Einlesens eines zweiten Bildsignals, einen Schritt 715 des Auswählens, einen Schritt 720 des Identifizierens, einen Schritt 725 des Bildens, einen Schritt 730 des Segmentierens und einen Schritt 735 des Bestimmens auf.
Die in den Schritten 705, 710 eingelesenen Bildsignale werden beispielsweise über eine Schnittstelle zu der Monokamera eingelesen. Somit können das erste Bildsignal ein erstes Kamerabild und das zweite Bildsignal ein zweites Kamerabild darstellen. Im Schritt 715 des Auswählens werden auf einer Bildlinie des ersten Kamerabilds angeordnete erste Bildpunkte aus dem ersten Bildsignal ausgewählt. Beispielsweise wird dazu eine Bildspalte des ersten Kamerabilds ausgelesen und die ausgelesenen Bildpunkte werden als die ersten Bildpunkte verwendet. Im Schritt 720 des Identifizierens werden den ersten Bildpunkten entsprechende zweite Bildpunkte in dem zweiten Kamerabild gesucht und als die die zweiten Bildpunkte in dem zweiten Bildsignal identifiziert. Bezogen auf 4 bildet beispielsweise einer der ersten Bildpunkte des ersten Kamerabilds einen Abschnitt des gezeigten Nummernschilds des Fahrzeugs ab. Für diesen ersten Bildpunkt wird in dem zweiten Kamerabild ein korrespondierender zweiter Bildpunkt gesucht, der denselben Abschnitt des Nummernschilds in dem zweiten Kamerabild abbildet. In entsprechender Weise werden für alle ersten Bildpunkte korrespondierende zweite Bildpunkte gesucht und im Schritt 725 verwendet um ein Flusssignal zu bilden. Dazu wird beispielsweise für jedes Paar aus korrespondierenden ersten und zweiten Bildpunkten ein Flussvektor gebildet. Die Gesamtheit der Flussvektoren wird beispielsweise unter Verwendung des Flusssignals als ein optischer Flussverlauf für die entlang der Bildlinie angeordneten ersten Bildpunkte dargestellt. Im Schritt 730 des Segmentierens wird der durch das Flusssignal repräsentierte Flussverlauf in eine Mehrzahl von Segmenten segmentiert. Aufgrund unterschiedlicher Charakteristika der Segmente kann jedem der Segmente eine von dem ersten Kamerabild abgebildete und von der Bildlinie geschnittene Ebene in der Fahrzeugumgebung zugeordnet werden. Im Schritt 735 des Bestimmens werden die Segmente verwendet, um ein Objektsignal zu bestimmen, das ein erkanntes Objekt repräsentiert. Beispielsweise wird aus der Mehrzahl von Segmenten dasjenige Segment herausgesucht, dass einer Objektebene entspricht, und zum Bestimmen des Objektsignals verwendet.
Optional weist das Verfahren 700 gemäß diesem Ausführungsbeispiel ferner einen Schritt 740 des Bereitstellens und/oder einen Schritt 745 des Ausgebens auf. Im Schritt des Bereitstellens wird unter Verwendung des Objektsignals ein Warnsignal an eine Warneinrichtung des Fahrassistenzsystems bereitgestellt.
Im Schritt des Ausgebens wird unter Verwendung des Objektsignals ein Bremssignal an eine Bremseinrichtung des Fahrzeugs ausgegeben, um das Fahrzeug zu bremsen.
Das beschriebene Verfahren 700 kann wiederholt ausgeführt werden, um weitere Bildsignale einzulesen und zumindest ein weiteres Objektsignal zu bestimmen.
So weist das Verfahren 700 gemäß einem Ausführungsbeispiel ferner einen Schritt des Einlesens eines dritten Bildsignals, einen Schritt des Einlesens eines vierten Bildsignals, einen Schritt des weiteren Auswählens, einen Schritt des weiteren Identifizierens, einen Schritt des weiteren Bildens, einen Schritt des weiteren Segmentierens und einen Schritt des weiteren Bestimmens auf. Im Schritt des Einlesens des dritten Bildsignals wird ein drittes Bildsignal eingelesen, das ein von der Monokamera aufgenommenes drittes Kamerabild repräsentiert, das die Fahrzeugumgebung des Fahrzeugs abbildet. Im Schritt des Einlesens des vierten Bildsignals wird zumindest ein viertes Bildsignal eingelesen, das ein von der Monokamera aufgenommenes viertes Kamerabild repräsentiert, das die Fahrzeugumgebung des Fahrzeugs abbildet. Im Schritt des weiteren Auswählens werden auf einer weiteren Bildlinie des dritten Kamerabilds angeordnete dritte Bildpunkte aus dem dritten Bildsignal ausgewählt, wobei die weitere Bildlinie der Bildlinie entsprechen kann. Im Schritt des Identifizierens werden vierte Bildpunkte aus dem vierten Bildsignal identifiziert, wobei die vierten Bildpunkte den dritten Bildpunkten entsprechen. Im Schritt des weiteren Bildens wird ein weiteres Flusssignal unter Verwendung der dritten Bildpunkte und der vierten Bildpunkte gebildet, wobei das weitere Flusssignal einen optischen Flussverlauf für die entlang der weiteren Bildlinie angeordneten dritten Bildpunkte repräsentiert. Im Schritt des weiteren Segmentierens wird der durch das weitere Flusssignal repräsentierte Flussverlauf in eine Mehrzahl von weiteren Segmenten segmentiert, die jeweils eine weitere Ebene in der Fahrzeugumgebung repräsentieren. Im Schritt des weiteren Bestimmens wird das weitere Objektsignal bestimmt, das das erkannte Objekt oder ein weiteres erkanntes Objekt repräsentiert, unter Verwendung der Mehrzahl von weiteren Segmenten.
Bei dem dritten Kamerabild und dem vierten Kamerabild kann es sich um sequenziell direkt aufeinanderfolgende Kamerabilder der Monokamera handeln. Ebenso kann es sich bei dem zweiten Kamerabild und dem dritten Kamerabild um sequenziell direkt aufeinanderfolgende Kamerabilder der Monokamera handeln.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016014783 A1 [0003]

Claims

Verfahren (700) zum Erkennen eines Objekts (105) für ein eine Monokamera (110) umfassendes Fahrzeug (120), wobei das Verfahren (700) die folgenden Schritte aufweist: Einlesen (705) eines ersten Bildsignals (155), das ein von der Monokamera (110) aufgenommenes erstes Kamerabild (400) repräsentiert, das eine Fahrzeugumgebung des Fahrzeugs (120) abbildet; Einlesen (710) zumindest eines zweiten Bildsignals (160), das ein von der Monokamera (110) aufgenommenes zweites Kamerabild repräsentiert, das die Fahrzeugumgebung des Fahrzeugs (120) abbildet; Auswählen (715) von auf einer Bildlinie (405) des ersten Kamerabilds (400) angeordneten ersten Bildpunkten aus dem ersten Bildsignal (155); Identifizieren (720) von zweiten Bildpunkten aus dem zweiten Bildsignal (160), wobei die zweiten Bildpunkte den ersten Bildpunkten entsprechen; Bilden (725) eines Flusssignals unter Verwendung der ersten Bildpunkte und der zweiten Bildpunkte, wobei das Flusssignal einen optischen Flussverlauf (200) für die entlang der Bildlinie (405) angeordneten ersten Bildpunkte repräsentiert; Segmentieren (730) des durch das Flusssignal repräsentierten Flussverlaufs (200) in eine Mehrzahl von Segmenten (205, 207; 509), die jeweils eine Ebene (410, 415; 420) in der Fahrzeugumgebung repräsentieren; und Bestimmen (735) eines Objektsignals (170), das ein erkanntes Objekt (105) repräsentiert, unter Verwendung zumindest eines der Mehrzahl von Segmenten (205, 207; 509).
Verfahren (700) gemäß Anspruch 1, bei dem im Schritt (715) des Auswählens aus dem ersten Bildsignal (155) die ersten Bildpunkte ausgewählt werden, die auf der als eine Bildspalte ausgeformten Bildlinie (405) des ersten Kamerabilds (400) angeordnet sind.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (730) des Segmentierens der Flussverlauf (200) unter Verwendung eines über eine Homographie beschriebenen Modells segmentiert wird.
Verfahren (700) gemäß Anspruch 3, bei dem die Homographie als Homographie-Parameter einen Winkel der Bildlinie (405), eine skalierte vertikale Translation und eine skalierte horizontale Translation aufweist, wobei die Homographie-Parameter zum Segmentieren des Flussverlaufs (200) verwendet werden.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (730) des Segmentierens die Mehrzahl von Segmenten (205, 207; 509) segmentiert wird, die jeweils als die Ebene eine einem Hintergrund zugeordnete Hintergrundebene (420), eine dem Objekt (105) zugeordnete Objektebene (415) und/oder eine einer Fahrbahn zugeordnet Fahrbahnebene (410) repräsentieren.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (730) des Segmentierens der Flussverlauf (200) in unterschiedliche Bereiche (511, 512, 513) unterteilt wird, um die Mehrzahl von Segmenten (205, 207; 509) zu bilden.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, wobei die Schritte (705, 710, 715, 720, 725, 730, 735, 740, 745) des Verfahrens (700) wiederholt ausgeführt werden, um weitere Bildsignale einzulesen und zumindest ein weiteres Objektsignal zu bestimmen.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (740) des Bereitstellens, in dem unter Verwendung des Objektsignals (170) ein Warnsignal (180) an eine Warneinrichtung (182) des Fahrassistenzsystems (115) bereitgestellt wird.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (745) des Ausgebens, in dem unter Verwendung des Objektsignals (170) ein Bremssignal (185) an eine Bremseinrichtung (190) des Fahrzeugs (120) ausgegeben wird, um das Fahrzeug (120) zu bremsen.
Vorrichtung (100) zum Erkennen eines Objekts (105) für ein eine Monokamera (110) umfassendes Fahrzeug (120), wobei die Vorrichtung (100) eingerichtet ist, um die Schritte (705, 710, 715, 720, 725, 730, 735, 740, 745) des Verfahrens (700) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (125, 130, 135, 140, 145,150, 175) auszuführen und/oder anzusteuern.
Kamerasystem (195) mit einer Vorrichtung (100) gemäß Anspruch 10 und der Monokamera (110) zum Bereitstellen des ersten Bildsignals und zweiten Bildsignals.
Computerprogramm, das dazu eingerichtet ist, die Schritte (705, 710, 715, 720, 725, 730, 735, 740, 745) des Verfahrens (700) gemäß einem der Ansprüche 1 bis 9 auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist.