-
Die
Erfindung betrifft ein Verfahren zur geometrischen Transformation
der Bilder einer von einer bildgebenden Einrichtung eines Kraftfahrzeugs
erzeugten Bildfolge.
-
Aus
dem Stand der Technik sind verschiedenste Verfahren und Technologien
zur geometrischen Transformatieren von Bildfolgen bzw. Videobildern
bekannt, insbesondere das Ausschneiden eines bestimmten Bereiches
aus einem Videobild (Windowing), das elektronische Zoomen bzw. Stretchen
eines Videobildes und/oder das Verschieben der realen bzw. physikalischen
Bildaufnahmeperspektive in eine virtuelle Bildaufnahmeperspektive.
-
So
genannte Topview- oder Birdview-Darstellungen der Umgebung von Kraftfahrzeugen
als Ergebnis geometrischer Bildtransformationen sind in der Literatur,
insbesondere im Zusammenhang mit Einparkhilfen, bereits mehrfach
beschrieben worden.
-
Einen
Beleg der praktischen Realisierbarkeit solcher Bildtransformationen
in so genannte virtuelle Perspektiven stellt beispielsweise die
so genannte Topview- oder Birdview-Funktion dar, die für ausgewählte Fahrzeugmodelle
der Anmelderin bereits marktverfügbar
ist. Im Rahmen dieser Funktion wird dem Fahrer über eine Anzeigeeinheit im
Fahrzeuginneren ein virtuelles Bild dargestellt. Die Quelldaten für dieses
Bild werden durch Kameras in den Seitenspiegeln des Kraftfahrzeugs
erfasst. Das virtuelle Bild, das dem Fahrer nach entsprechender
geometrischer Transformation dargestellt wird, ist jedoch scheinbar
aus einer virtuellen Bildaufnahmeperspektive einige Meter (ca. 3
Meter) oberhalb des Fahrzeugs aufgenommen.
-
Eine
virtuelle Bildaufnahmeperspektive wird in der Regel dadurch realisiert,
dass Pixelwerte des virtuellen Ergebnisbildes derart aus Pixelwerten
des Ursprungs- bzw. Quellbildes ermittelt werden, dass das Ergebnisbild
im Wesentlichen wie aus einer anderen Bildaufnahmeperspektive aufgenommen
erscheint. Im einfachsten Fall kann hierzu die Position von Pixeln
eines Bildes z. B. mittels einer mathematischen Funktion, z. B.
affine oder nicht affine Bildtransformation oder mittels einer Look-up-Tabelle verschoben
werden. Dabei werden die geometrischen Verhältnisse bezogen auf die reale
bzw. physikalische Position der bildgebenden Einrichtung (z. B. Kamera)
berücksichtigt
und neue geometrische Verhältnisse (wie
diese bei einer Aufnahme aus der virtuellen Bildaufnahmeperspektive
bestehen würden) ermittelt.
-
Bekannte
Verfahren zur Nutzung virtueller Perspektiven in der Überwachung
der Umgebung eines Kraftfahrzeugs und/oder zur Nutzung virtueller Perspektiven
bei der Darstellung von Bildern der Fahrzeugumgebung im Fahrzeuginneren
weisen oft noch Nachteile auf, insbesondere bei der Darstellung komplexer
dreidimensionaler Objektkonstellationen. Diese Nachteile können dazu
führen,
dass Objektteile oder ganze Objekte in der Fahrzeugumgebung nicht
im virtuellen Ergebnisbild enthalten sind. Dies wiederum kann ein Übersehen
solcher Objektteile oder Objekte durch den Fahrzeugführer bedingen und
die Gefahr von Unfällen
erhöhen.
-
Es
ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur geometrischen
Transformation der Bilder einer von einer bildgebenden Einrichtung
eines Kraftfahrzeugs erzeugten Bildfolge anzugeben.
-
Gelöst wird
diese Aufgabe durch ein Verfahren gemäß Anspruch 1. Vorteilhafte
Ausführungsformen
und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Das
erfindungsgemäße Verfahren
zur geometrischen Transformation der Bilder einer von einer bildgebenden
Einrichtung eines Kraftfahrzeugs erzeugten Bildfolge umfasst die
nachfolgend dargestellten jeweils wiederholt durchgeführten Schritte:
Zunächst wird
durch die bildgebende Einrichtung, insbesondere eine Kamera, ein
Quellbild erzeugt bzw. aufgenommen, das zumindest Teile der Fahrzeugumgebung
darstellt. In der Umgebung des Kraftfahrzeugs wird zudem zumindest
ein Objekt durch Abstandssensoren des Kraftfahrzeugs detektiert
und es wird ein Abstand des Kraftfahrzeugs zu dem Objekt bestimmt.
In Abhängigkeit
von diesem Abstand wird eine gewünschte
virtuelle Bildaufnahmeperspektive bestimmt und das Quellbild wird
geometrisch transformiert in ein virtuelles Ergebnisbild, welches scheinbar
aus der virtuellen Bildaufnahmeperspektive aufgenommen ist.
-
Vorzugsweise
wird jeder der genannten Verfahrensschritte für jedes Bild der Bildfolge
einmalig ausgeführt.
-
Durch
die Erfindung kann die virtuelle Bildaufnahmeperspektive so festgelegt
werden, dass das detektierte Objekt, welches insbesondere ein Hindernis
oder ein anderer Verkehrsteilnehmer sein kann, im Ergebnisbild enthalten
ist.
-
Alternativ
oder zusätzlich
kann durch die Erfindung die virtuelle Bildaufnahmeperspektive so festgelegt
werden, dass das detektierte Objekt besonders gut im Ergebnisbild
erkennbar bzw. analysierbar ist.
-
Alternativ
oder zusätzlich
kann durch die Erfindung erreicht werden, dass der Betrachter des
Bildes, insbesondere der Fahrer des Kraftfahrzeugs, verbessert bei
der Steuerung seines Fahrzeugs relativ zu Objekten in der Umgebung
des Fahrzeugs unterstützt
wird.
-
Unter
einer Bildaufnahmeperspektive im Sinne der Erfindung sei nicht nur
die Bildaufnahmeposition (z. B. die Position der Kamera; beschreibbar
in drei Dimensionen, z. B. x, y, z) zu verstehen, sondern die Bildaufnahmeposition
zusammen mit einer Ausrichtung im Raum (z. B. Position und Ausrichtung
der Kamera; beschreibbar in sechs Dimensionen, z. B. x, y, z, Phi,
Theta, Psi).
-
Bilder
aus virtuellen Perspektiven können realisiert
werden durch die Anwendung von perspektivischen Transformationsverfahren,
die dem Fachmann an sich bekannt sind. Die perspektivische Transformation
berücksichtigt
die Veränderung
der Position bestimmter Bildbereiche zueinander, die einer Veränderung
des Beobachtungspunktes entspricht, was insbesondere über eine
lineare Skalierung, Scherung und Rotation hinausgeht. Insbesondere
umfasst die perspektivische Transformation in der Regel nichtlineare
und/oder numerische mathematische Operationen, die direkt auf einen
Bildbereich oder z. B. auf eine veränderbare Zuordnungstabelle
angewandt werden, mit deren Hilfe der Bildbereich transformiert
wird.
-
Die
Erfindung basiert auf der Erkenntnis, dass der Abstand zwischen
Kraftfahrzeug und Objekt entscheidenden Einfluss auf das Erreichen
insbesondere des oben erstgenannten, verhältnismäßig abstrakten Zieles (das
Objekt soll im Ergebnisbild enthalten sein) hat. Diese Erkenntnis
ermöglicht
die Festlegung eines besonders einfachen und effizienten Verfahrens
zur Lösung
der genannten Aufgabe.
-
1 demonstriert
die Abstandproblematik und stellt dazu schematisch dar: ein nur
teilweise in der Figur dargestelltes Kraftfahrzeug 1 mit
einer Kamera 2 zur Aufnahme der Fahrzeugumgebung, ein Hindernis 3 in
der Fahrzeugumgebung sowie zwei verschiedene virtuelle Bildaufnahmeperspektiven 4 und 5.
-
Im
Quellbild der Kamera 2 ist das Hindernis 3 aufgrund
seiner geometrischen Form und Anordnung im Raum nicht enthalten,
dennoch stellt es ein bedrohliches Hindernis für das Kraftfahrzeug 1 dar.
-
Wird
nun das Quellbild geometrisch in ein virtuelles, scheinbar aus der
virtuellen Bildaufnahmeperspektive 5 aufgenommenes Ergebnisbild
transformiert, so stellt dieses Ergebnisbild das Hindernis 3 prinzipbedingt
nicht dar (es beruht ja nur auf von der Kamera 2 gelieferten
Bilddaten). Ein (hypothetisch) tatsächlich physikalisch aus der
Bildaufnahmeperspektive 5 aufgenommenes Bild würde – wie 1 unschwer
erkennen lässt – das Hindernis
selbstverständlich
enthalten. Dem Fahrer des Kraftfahrzeugs 1 wird durch das
virtuelle, nur scheinbar aus der virtuellen Bildaufnahmeperspektive 5 aufgenommene Ergebnisbild
also eine trügerische,
tatsächlich
nicht gegebene Sicherheit vermittelt.
-
Wird – um ein
weiteres Beispiel anzugeben – das
Quellbild geometrisch in ein virtuelles, scheinbar aus der virtuellen
Bildaufnahmeperspektive 4 aufgenommenes Ergebnisbild transformiert,
so enthält
dieses Ergebnisbild das Hindernis 3 prinzipbedingt ebenfalls
nicht. Ein (hypothetisch) tatsächlich
physikalisch aus der Bildaufnahmeperspektive 4 aufgenommenes
Bild würde – wie 1 erkennen
lässt – das Hindernis
zumindest teilweise enthalten. Auch in diesem Fall wird dem Fahrer
des Kraftfahrzeugs 1 also durch das virtuelle, nur scheinbar
aus der virtuellen Bildaufnahmeperspektive 4 aufgenommene
Ergebnisbild eine trügerische,
tatsächlich
nicht gegebene Sicherheit vermittelt.
-
Das
anhand von 1 beispielhaft aufgezeigte Sicherheitsrisiko
ist besonders stark ausgeprägt,
wenn der Abstand zwischen Kraftfahrzeug und Hindernis sehr gering
ist. Hier setzt die Erfindung an. Durch ein intelligentes Verfahren
soll ein ausgeprägter
Perspektivenwechsel beispielsweise dann zugelassen werden, wenn
der Abstand groß und
das mit dem Perspektivenwechsel einhergehende Sicherheitsrisiko
gering ist. Hingegen soll ein Perspektivenwechsel unterbunden oder
zumindest in seinem Ausmaß verringert
werden, wenn der Abstand gering ist und der Perspektivenwechsel
mit einem Sicherheitsrisiko verbunden wäre.
-
Unter
dem Abstand zwischen Kraftfahrzeug und Objekt kann verstanden werden
der Abstand zumindest eines Teils des Kraftfahrzeugs zu zumindest einem
Teil des Objekts. Insbesondere der zumindest eine Teil des Kraftfahrzeugs,
der in die Auswertung eingeht, kann gegebenenfalls vorgegeben sein.
Bei komplexeren Umsetzungen können
gegebenenfalls auch mehrere Abstände
bzw. Abstandswerte – insbesondere
von unterschiedlichen Teilen des Kraftfahrzeugs zu unterschiedlichen
Teilen des Objekts – ausgewertet
werden.
-
Bei
der bildgebenden Einrichtung kann es sich insbesondere um eine Kamera
handeln. Das erfindungsgemäße Verfahren
ist jedoch auch auf sonstige bildgebende Einrichtungen bzw. deren
Bildfolgen anwendbar (z. B. Bildfolgen einer Infrarotkamera oder
Folgen/Sequenzen künstlich
erzeugter Modellbilder einer lidar-basierten und/oder radar-basierten und/oder
anderweitig sensorbasierten Einrichtung).
-
Gemäß einer
bevorzugten Ausführungsform der
vorliegenden Erfindung erfolgt die Detektion von Objekten in der
Umgebung des Kraftfahrzeugs auf Basis von Abstandssensoren, insbesondere
ultraschallbasierten Abstandssensoren.
-
Gemäß einer
alternativ oder zusätzlich
anwendbaren bevorzugten Ausführungsform
der vorliegenden Erfindung erfolgt die Detektion von Objekten in
der Umgebung des Kraftfahrzeugs auf Basis zumindest eines Quellbilds
der bildgebenden Einrichtung. Dabei kann es sich insbesondere um
das zuletzt aufgenommene Quellbild handeln. Es können aber alternativ oder zusätzlich auch
frühere
Quellbilder oder ganze Sequenzen von Quellbildern in die Umgebungsüberwachung
einbezogen werden. Ebenso können
Quellbilder eigens für
diesen Zweck aufgenommen (und nicht für die geometrische Transformation
genutzt) werden.
-
Gemäß einer
abermals alternativ oder zusätzlich
anwendbaren bevorzugten Ausführungsform der
vorliegenden Erfindung erfolgt die Detektion von Objekten in der
Umgebung des Kraftfahrzeugs auf Basis zumindest eines Ergebnisbilds.
Dabei kann es sich insbesondere um das zuletzt erzeugte Ergebnisbild
handeln. Es können
aber alternativ oder zusätzlich
auch frühere
Ergebnisbilder oder ganze Sequenzen von Ergebnisbildern in die Umgebungsüberwachung
einbezogen werden. Ebenso können
Ergebnisbilder eigens für
diesen Zweck erzeugt (und nicht für eine optische Ausgabe oder
eine sonstige Verwertung genutzt) werden.
-
Gemäß einer
bevorzugten Ausführungsform der
vorliegenden Erfindung wird die Bildaufnahmeperspektive in Abhängigkeit
von dem Abstand entlang einer relativ zum Kraftfahrzeug festgelegten Raumbahn
verschoben.
-
Dabei
wird die virtuelle Bildaufnahmeperspektive vorzugsweise (gegenüber der
Bildaufnahmeperspektive vorangehender Ergebnisbilder, die auf Basis
derselben Quellbildfolge erzeugt werden) mit abnehmendem Abstand
in Richtung einer „flacheren” Perspektive
verschoben. D. h. es wird mit abnehmendem Abstand der Elevationswinkel
betragsmäßig verringert
bzw. es wird tendenziell von einer Vogelperspektive zu einer waagrechten
Vorausschau übergegangen.
-
Alternativ
oder zusätzlich
kann es vorteilhaft sein, wenn die virtuelle Bildaufnahmeperspektive (gegenüber der
Bildaufnahmeperspektive vorangehender Ergebnisbilder, die auf Basis
derselben Quellbildfolge erzeugt werden) mit abnehmendem Abstand
derart verändert
wird, dass die virtuelle Bildaufnahmeposition hin zur physikalischen
Bildaufnahmeposition verschoben wird.
-
Ein
Sonderfall, der die beiden zuletzt genannten Herangehensweisen vorteilhaft
vereinigt, besteht darin, dass die virtuelle Bildaufnahmeperspektive
mit abnehmendem Abstand – sowohl
hinsichtlich Bildaufnahmeposition als auch hinsichtlich der Ausrichtung
im Raum – der
physikalischen Bildaufnahmeperspektive angenähert wird.
-
Bevor
zur Darstellung eines bevorzugten Ausführungsbeispiels übergegangen
wird, sollen in der Folge zwei Szenarien die Vorzüge der Erfindung belegen.
Aus der Darstellung der Szenarien ergeben sich weitere Details,
bevorzugte Ausführungsformen und
Weiterbildungen der Erfindung.
-
Szenario 1:
-
Gemäß einem
ersten Szenario wird bei einem erfindungsgemäßen Verfahren bzw. bei einem Kraftfahrzeug
mit erfindungsgemäß betriebenen
Einrichtungen die virtuelle Bildaufnahmeperspektive selbsttätig derart
verändert,
dass eine Darstellung eines hindernisfreien Teils der Fahrzeugumgebung
im Ergebnisbild größtenteils
vermieden wird, wenn sich in der direkten Blickrichtung von der
virtuellen Bildaufnahmeperspektive zu diesem hindernisfreien Teil der
Umgebung ein Hindernis befindet. Mit anderen Worten: Es darf kein
hindernisfreies virtuelles Ergebnisbild erzeugt werden, wenn ein
tatsächlich
physikalisch aus der entsprechenden Bildaufnahmeperspektive aufgenommenes
Bild nicht ebenfalls hindernisfrei wäre.
-
Dabei
verhält
sich die automatische Steuerung der virtuellen Bildaufnahmeperspektive
idealerweise derart, dass die durch die Bildung virtueller Perspektiven
erzielbaren Vorteile im größtmöglichen Maße ausgenutzt
werden, dabei aber die anhand 1 dargelegte
Problematik gezielt vermieden wird. Ohne Beschränkung der Allgemeinheit kann dies
beispielsweise bedeuten, dass dem Fahrer die vor ihm liegende Fahrbahn
solange aus einer bequemen virtuellen Perspektive, z. B. senkrecht
von oben, dargestellt wird bis eine Situation eintritt oder sich
anbahnt, die vergleichbar ist zu der Situation aus 1. Ist
dies der Fall, wird die virtuelle Perspektive (vorzugsweise kontinuierlich)
derart verändert,
dass das Problem vermieden wird, aber noch immer eine möglichst
gute bzw. komfortable Ansicht der Umgebung des Fahrzeugs ermöglicht wird.
-
Bevorzugt
können
dabei weitere Bedingungen berücksichtigt
werden, insbesondere kann die im Ergebnisbild enthaltene Fläche der
Fahrbahn maximiert werden. Somit werden die Vorteile einer virtuellen
Perspektive adaptiv so weit wie möglich aufgebaut, ohne dass
eventuelle Nachteile zu groß werden.
-
Es
kann auch vorteilhaft sein, Hindernisse nach ihrer Höhe, ihrer
Anordnung im Raum und/oder ihrer Gefährlichkeit etc. zu unterschieden,
um somit ein optimales Verhalten der automatischen Steuerung der
virtuellen Perspektive zu erzielen.
-
Szenario 2:
-
Gemäß einem
zweiten Szenario wird bei einem erfindungsgemäßen Verfahren bzw. bei einem Kraftfahrzeug
mit erfindungsgemäß betriebenen
Einrichtungen die virtuelle Bildaufnahmeperspektive selbsttätig derart
verändert,
dass ein detektiertes Hindernis stets zumindest teilweise im Ergebnisbild erscheint.
Vorzugsweise wird die Anpassung der Bildaufnahmeperspektive dabei
so ausgeführt,
dass der im Ergebnisbild enthaltene Teil des Hindernisses stets
kleiner ist als eine vordefinierte Bezugsgröße.
-
Praktisch
bedeutet dies, dass die virtuelle Bildaufnahmeperspektive stets
so gewählt
wird, dass das resultierende Sichtfeld bzw. der resultierende Blickkegel
nur so weit in die vorangestellte bzw. als (für die Unterstützung der
Fahraufgabe in der Regel) ideal erachtete Richtung geschwenkt wird,
dass das Hindernis nicht ganz aus diesem Sichtfeld verschwindet.
Somit kann der Nutzer stets erkennen und verstehen, warum sich die
Perspektive des ihm dargebotenen Ergebnisbildes verändert hat.
-
Wenn
(durch die Abstandssensorik und/oder bildverarbeitungsgestützt auf
Basis eines Kamerabilds) ein Hindernis erkannt wird, welches bei
ungünstiger
Festlegung der virtuellen Bildaufnahmeperspektive übersehen
werden könnte
(vgl. 1), wird die virtuelle Bildaufnahmeperspektive
also vorzugsweise derart angepasst, dass zumindest ein Teil des Hindernisses,
der kleiner ist als eine vordefinierte Bezugsgröße, im Ergebnisbild zu sehen
sein wird. Die Wahrscheinlichkeit einer Fehldeutung der dargebotenen
Umgebungsansicht durch den Fahrer wird somit verringert. In der
Situation gemäß 1 müsste die virtuelle
Bildaufnahmeperspektive hierzu, vorzugsweise kontinuierlich, in
Richtung zurück
zum Fahrzeug und/oder nach unten verschoben werden.
-
In
anderen Fällen
kann es – je
nach geometrischer Konstellation von Hindernissen – vorteilhaft sein,
die Bildaufnahmeperspektive alternativ oder zusätzlich nach rechts oder links,
oben oder unten zu verschieben, um das oben genannte Ziel zu erreichen.
-
Im
Folgenden wird anhand der weiteren beigefügten Zeichnungen ein bevorzugtes
Ausführungsbeispiel
der Erfindung beschrieben. Daraus ergeben sich weitere Details,
bevorzugte Ausführungsformen und
Weiterbildungen der Erfindung. Im Einzelnen zeigen schematisch
-
2 die
räumlichen
Verhältnisse
zwischen einem Kraftfahrzeug, einem Hindernis und verschiedenen
physikalischen und virtuellen Bildaufnahmeperspektiven und
-
3 eine
Bildschirmaufteilung bei einem beispielhaften Verfahren zur Darstellung
einer Umgebungsszene aus verschiedenen Bildaufnahmeperspektiven.
-
Um
die anhand von 1 aufgezeigten Sicherheitsrisiken
eines Perspektivenwechsels zu vermeiden, ist im nachfolgend vorgestellten
Beispielssystem die geometrische Transformation des Quellbilds einer
an einem Kraftfahrzeug angeordneten Kamera 2 in Abhängigkeit
von einer auf die Fahrzeugumgebung bezogenen Objekterkennung ausgestaltet.
-
Insbesondere
wird die virtuelle Bildaufnahmeperspektive, in welche die Quellbilder
der bildgebenden Einrichtung geometrisch transformiert werden, bei
dem Beispielsystem automatisch anhand der Ergebnisse der Umfelderkennung
eingestellt bzw. gesteuert bzw. festgelegt.
-
Die
Umfelderkennung kann grundsätzlich auf
unterschiedliche Art und Weise ausgestaltet sein. Es kann sich um
eine Hinderniserkennung handeln oder beispielsweise um eine Erkennung
von Fahrbahngrenzen oder Fahrbahnmarkierungen, gleichwohl aber auch
um eine Erkennung von befahrbaren oder nicht befahrbaren Fahrbahnabschnitten.
-
Durch
die automatische Steuerung bzw. Festlegung der virtuellen Bildaufnahmeperspektive kann
die virtuelle Bildaufnahmeperspektive für verschiedene Bilder einer
Bildfolge unterschiedlich festgelegt werden, ohne dass der Fahrer
des Kraftfahrzeugs oder ein anderer Bediener eingreifen muss. So kann
ein Hindernis – beispielsweise
bei einer gefährlichen
Annäherung
an dieses – dem
Fahrer aus einer anderen Perspektive gezeigt werden als bei größerem Abstand
zwischen Kraftfahrzeug und Hindernis. D. h. der vom Fahrer „gefühlte” Draufsichtwinkel
bzw. der durch die Festlegung der virtuellen Bildaufnahmeperspektive
eingestellte virtuelle Betrachtungswinkel wird automatisch bzw.
selbsttätig
abhängig von
der Entfernung zu dem Hindernis eingestellt.
-
Als
Sensorik zur Detektion von Objekten in der Umgebung des Kraftfahrzeugs
dienen Abstandssensoren, insbesondere ultraschallbasierte Abstandssensoren.
Solche Abstandssensoren sind in vielen modernen Kraftfahrzeugen
ohnehin vorhanden und müssen
nicht eigens für
die Zwecke der Erfindung bereitgestellt werden.
-
2 zeigt
die Komponenten eines entsprechenden Beispielsystems und die räumlichen
Verhältnisse
zwischen Kraftfahrzeug, Hindernis, physikalischer Bildaufnahmeperspektive
und virtuellen Bildaufnahmeperspektiven in einem Beispielszenario.
-
Zunächst vergleichbar
zu der Szene aus 1, zeigt 2 schematisch:
ein nur teilweise in der Figur dargestelltes Kraftfahrzeug 1 mit
einer Kamera 2 zur Aufnahme der Fahrzeugumgebung, ein Hindernis 9 in
der Fahrzeugumgebung sowie zwei verschiedene virtuelle Bildaufnahmeperspektiven 4 und 5.
-
Der
Abstandssensor 7 des Kraftfahrzeugs 1 (sowie eine
nachgeschaltete Auswerteeinheit) überwacht die Fahrzeugumgebung
und detektiert das Hindernis 9 in der Fahrzeugumgebung.
Auf Basis der Signale des Abstandssensors 7 wird insbesondere der
Abstand des Kraftfahrzeugs 1 vom Hindernis 9 bestimmt.
-
Abhängig von
den Resultaten der Umfeldüberwachung
kann nun eine virtuelle Bildaufnahmeperspektive, in welche die von
der Kamera 2 aufgenommenen Bilder transformiert werden,
im Raum festgelegt werden.
-
Im
in 2 dargestellten – noch verhältnismäßig einfachen – Beispielfall
wird die Bildaufnahmeperspektive in Abhängigkeit von dem Abstand zwischen
Kraftfahrzeug 1 und Hindernis 9 entlang der durch
den gestrichelten Pfeil 6 angedeuteten Raumbahn verschoben.
-
Bevorzugt
wird die automatische Verschiebung derart ausgeführt, dass die virtuelle Bildaufnahmeperspektive
mit abnehmendem Abstand in Richtung einer „flacheren” Perspektive verschoben wird, während bei
größerem Abstand
eher eine Draufsicht bzw. eine Ansicht aus der Vogelperspektive
dargeboten wird. So wird die weiter oben anhand von 1 dargelegte
Problematik wirkungsvoll vermieden.
-
Alternativ
kann die automatische Verschiebung aber auch – z. B. für die Bereitstellung einer
Lösung
in Sonderfällen – derart
ausgeführt
werden, dass die virtuelle Bildaufnahmeperspektive mit abnehmendem
Abstand in Richtung einer Draufsicht bzw. einer Ansicht aus der
Vogelperspektive verschoben wird, während bei größerem Abstand
eher eine „flachere” Perspektive
verwendet wird. So kann bewirkt werden, dass dem Fahrer bei größerem Abstand
ein verbesserter Blick in die weitere Fahrzeugumgebung ermöglicht wird,
während
er bei geringem Abstand zu einem Hindernis die Form des Hindernisses
verbessert anhand der Draufsicht abschätzen kann.
-
Aufwändigere
Ausgestaltungsvarianten der Erfindung sehen vor, die Umfelderkennung,
die Objektdetektion und/oder gegebenenfalls eine Szeneninterpretation
zumindest teilweise auf von der Kamera 2 aufgenommene Quellbilder
zu stützen.
-
Abermals
aufwändigere
Ausgestaltungsvarianten der Erfindung sehen vor, die Umfelderkennung,
die Objektdetektion und/oder gegebenenfalls eine Szeneninterpretation
zumindest teilweise auf virtuelle Ergebnisbilder zu stützen, die
durch geometrische Transformation von Quellbildern der Kamera 2 in
eine virtuelle Bildaufnahmeperspektive erzeugt worden sind.
-
Gegebenenfalls
können
für die
Zwecke der Umfelderkennung, der Objektdetektion und/oder gegebenenfalls
der Szeneninterpretation auch eigens zusätzliche Bilder durch die Kamera 2 aufgenommen werden.
Diese zusätzlichen
Bilder sind nicht für
die Darstellung an den Fahrer bestimmt und müssen – zumindest zu diesem Zweck – nicht
zwingend einer geometrischen Transformation unterzogen werden.
-
In
Sonderfällen
können
für die
Zwecke der Umfelderkennung, der Objektdetektion und/oder gegebenenfalls
der Szeneninterpretation auch eigens zusätzliche Bilder durch die Kamera 2 aufgenommen und
speziell für
die Zwecke der Umfelderkennung, der Objektdetektion und/oder gegebenenfalls
der Szeneninterpretation in eine hierfür geeignete virtuelle Bildaufnahmeperspektive
transformiert werden.
-
Werden
Kamerabilder sowohl für
die Umfeldsensierung/Objekterkennung/Hindernisdetektion als auch
zur optischen Ausgabe an den Fahrer (in ggf. transformierter Form)
verwendet, so wird dabei vorzugsweise die Umfeldsensierung, Objekterkennung,
Hindernisdetektion auf Basis eines wesentlich größeren Erfassungswinkels vorgenommen,
als die optische Ausgabe an den Fahrer.
-
Durch
die Anwendung der Umfelderkennung auf das bereits transformierte
Bild (welches wiederum von den Ergebnissen der Umfelderkennung abhängt), kann
eine Regelschleife gebildet werden, die eine automatische Maximierung
der Erkennungswahrscheinlichkeit bewirken kann.
-
Bei
geschickter Ausgestaltung eines auf diesen Techniken basierenden
Verfahrens kann ein in der Fahrzeugumgebung vorhandenes Hindernis
anhand der Umfeldsensierung lokalisiert werden und es kann anhand
dieser Lokalisierung der entsprechende Bildbereich aus dem gesamten
Quellbild der bildgebenden Vorrichtung ausgewählt und beispielsweise vergrößert dargestellt
werden. Dies bringt den Vorteil mit sich, dass der Fahrer – durch
die vergrößerte Darstellung – verbessert
auf Hindernisse aufgemacht wird und diese genauer analysieren kann.
-
Zusätzlich kann
auch der Bildausschnitt der bildgebenden Einrichtung in Abhängigkeit
von den Ergebnissen einer Umfeldüberwachung
bzw. Hinderniserkennung festgelegt werden.
-
Dabei
können
die entsprechenden Bildverarbeitungsprozeduren grundsätzlich in
beliebiger Reihenfolge ausgeführt
werden. Vorteilhaft erscheint es jedoch, die Durchführung der
Windowing- bzw. Zoom-Funktionalität (sofern enthalten) zuerst
durchzuführen
und erst dann die Anwendung der virtuellen perspektivischen Transformation
auf das Bild. Durch dieses Vorgehen kann die für das Gesamtverfahren aufzuwendende
Rechenleistung reduziert werden.
-
Wird
auf Basis der Erfindung ein virtuelles Ergebnisbild erzeugt, können sich
weitere Vorteile aus einer geschickten bzw. vorteilhaften optischen Ausgabe
desselben ergeben. Im Folgenden wird dabei ohne Beschränkung der
Allgemeinheit ausgegangen von der optischen Ausgabe auf einer Anzeigeeinheit
im Fahrzeuginneren.
-
Beispielsweise
kann dabei ein zusammengesetztes Bild erzeugt und dargestellt werden.
Es kann erzeugt werden als Kombination aus zumindest einem perspektivisch
transformierten Ergebnisbild und zumindest einem nicht perspektivisch
transformierten Quellbild.
-
Insbesondere
können
dabei beide Bilder, d. h. das zumindest eine Ergebnisbild und das
zumindest eine Quellbild, von ein und derselben bildgebenden Einrichtung
stammen bzw. auf Bilddaten ein und derselben bildgebenden Einrichtung
basieren.
-
Die
Darstellung des zumindest einen Ergebnisbilds und des zumindest
einen Quellbilds kann grundsätzlich
gleichzeitig oder abwechselnd erfolgen.
-
Vorzugsweise
basiert ein gleichzeitig mit einem Quellbild dargestelltes Ergebnisbild
auf Bilddaten dieses Quellbilds. Es kann jedoch auch auf Bilddaten
eines anderen Quellbilds basieren, das zeitlich eng benachbart zu
dem dargestellten Quellbild aufgenommen worden ist.
-
Durch
die Darstellung auch des Quellbilds (zusätzlich zu zumindest einem virtuellen
Ergebnisbild) verliert der Fahrer nicht den Bezug zu der physikalischen
Bildaufnahmeperspektive einer am Fahrzeug angebrachten Kamera.
-
Eine
eventuelle automatische Abwechslung zwischen einer Darstellung des
zumindest einen Ergebnisbilds und einer Darstellung des zumindest
einen Quellbilds kann in vergleichbarer Art und Weise zum Umschalten
der Kanäle
einer Videoüberwachungsanlage
erfolgen. Eine automatische Abwechslung kann zeitgesteuert vorgenommen
werden, oder – was
in der Regel zu bevorzugen sein dürfte – in Anhängigkeit von einer von dem
Fahrzeug seit der letzten Umschaltung gefahrenen Strecke. Auf diese
Weise ließe
sich die Geschwindigkeit des Fahrzeuges berücksichtigen und die Wahrscheinlichkeit
minimieren, dass veränderte
Umgebungsbedingungen durch die Umschaltvorgänge übersehen werden. Wahlweise
kann die Geschwindigkeit auch unmittelbar in die Abwechslungssteuerung
einbezogen werden.
-
Vorteilhaft
kann es auch sein, ein Ergebnisbild darstellungstechnisch in ein
Quellbild zu integrieren bzw. einzufügen oder – umgekehrt – ein Quellbild darstellungstechnisch
in ein Ergebnisbild zu integrieren bzw. einzufügen. Dabei kann insbesondere
das Bild das in das jeweils andere Bild eingefügt wird, verkleinert werden.
Indem dabei das verkleinerte Bild auf einen (bildverarbeitungsgestützt erkannten)
relevanten Bereich begrenzt wird, kann vermieden wird, dass die
Darstellung dieses relevanten Bereichs für den Betrachter allzu klein
ausfällt. Insbesondere
können
Ergebnisbild und Quellbild gemeinsam im Rahmen einer Bild-in-Bild-Einblendung angezeigt
werden.
-
Dabei
können
beispielsweise in einem „normal” interpretierbaren
Quellbild der Kamera vergrößerte Ausschnitte
einblendet werden, die Hindernisse in der Fahrzeugumgebung zeigen
und jeweils erfindungsgemäß als virtuelle,
perspektivisch transformierte Ergebnisbilder erzeugt sind. Die jeweilige
virtuelle Bildaufnahmeperspektive dieser Bilder wird dabei vorzugsweise
adaptiv in Anhängigkeit
vom Abstand zu dem jeweiligen Hindernis festgelegt.
-
3 zeigt
eine mögliche
Bildschirmansicht, erzeugt durch Bild-in-Bild-Einblendung.
-
Das
größte Bildfeld 11 zeigt
ein direkt von der aufnehmenden Kamera stammendes, nicht perspektivisch
transformiertes Quellbild. Die kleineren Bildfelder 12, 13 und 14 enthalten
Ansichten eines oder mehrerer Hindernisse aus einer oder mehreren
virtuellen Perspektiven.
-
Es
ist als Alternative zur Konstellation gemäß 3 auch vorstellbar,
ein Quellbild zusammen mit einer Vielzahl von kleineren, rund um
das Quellbild herum angeordneten, virtuell transformierten gezoomten
Ergebnisbildern eines ausgewählten
Objekts zu erzeugen und darzustellen.
-
Gemäß einer
vorteilhaften Ausgestaltung des Anzeigeschemas gemäß 3 wird
im Bildfeld 13, also oben mittig im Gesamtbild, ein Ergebnisbild mit
im Wesentlichen virtueller Perspektive „von oben” (d. h. oberhalb der physikalischen
Kameraposition) angezeigt, im Bildfeld 12 links oben ein
Ergebnisbild mit im Wesentlichen virtueller Perspektive „von oben links” und im
Bildfeld 14 rechts oben ein Ergebnisbild mit im Wesentlichen
virtueller Perspektive „von
oben rechts”.
Die Anordnung der einzelnen Ergebnisbilder orientiert sich also
an den virtuellen Bildaufnahmeperspektiven und unterstützt somit
die Interpretierbarkeit der Bildinhalte.
-
Im
Sinne einer Orientierung der Anordnung der einzelnen Ergebnisbilder
an den jeweiligen virtuellen Bildaufnahmeperspektiven kann es auch
vorteilhaft sein, diese innerhalb des größeren Quellbilds oder entlang
des Randbereiches des größeren Quellbilds
in Abhängigkeit
von einer sich verändernden Bildaufnahmeperspektive
des jeweiligen Ergebnisbilds zu verschieben.
-
Vorzugsweise
entspricht dabei die relative Position bzw. Anordnung der Bildfelder
zueinander der relativen Position bzw. Anordnung der jeweiligen Bildaufnahmeperspektiven
zueinander. Die Ergebnisbilder sind also zum Quellbild vorzugsweise
entsprechend der Anordnung der jeweiligen virtuellen Bildaufnahmeperspektiven
bezogen auf die physikalische Position der bildgebenden Einrichtung
angeordnet.
-
Wird
auf Basis der Erfindung ein virtuelles Ergebnisbild erzeugt, können sich
weitere Vorteile aus einer geschickten bzw. vorteilhaften Gestaltung der
zugehörigen
Mensch-Maschine-Schnittstelle
und den durch diese Mensch-Maschine-Schnittstelle eröffneten
Bedienmöglichkeiten
ergeben.
-
Gemäß einer
bevorzugten Ausgestaltung einer solchen Mensch-Maschine-Schnittstelle
wird dem Fahrer bzw. Bediener die Möglichkeit gegeben, umzuschalten
zwischen zwei verschiedenen Bild-in-Bild-Ansichten. Dabei ist bei
der ersten dieser beiden Bild-in-Bild-Ansichten zumindest ein (kleineres)
virtuelles Ergebnisbild eingefügt
in ein (größeres) „normales”, nicht
perspektivisch transformiertes Umgebungsbild, insbesondere das zum
Ergebnisbild gehörige
Quellbild. Die zweite dieser beiden Bild-in-Bild-Ansichten, zu welcher
der Fahrer bzw. Bediener umschalten kann, ist umgekehrt aufgebaut: das
(kleinere) „normale”, nicht
perspektivisch transformierte Umgebungsbild ist eingefügt in das
(größere) virtuelle
Ergebnisbild.
-
Die
zweite Bild-in-Bild-Ansicht stellt dabei gewissermaßen den
Ansichtsmodus „für Fortgeschrittene” dar. Die
Umschaltmöglichkeit
ist insbesondere auch deswegen vorteilhaft und sinnvoll, weil ein
erfindungsgemäß erzeugtes
Ergebnisbild, das eine Umgebungsszene bzw. ein Hindernis in der Fahrzeugumgebung
aus einer virtuellen Perspektive zeigt, für viele Bediener anfänglich oft
noch schwer interpretierbar, d. h. gewöhnungsbedürftig, ist. Bei Verfügbarkeit
einer Modusumschaltung kann ein solcher Bediener zunächst die
einfacher interpretierbare Darstellung (großes Bild aus physikalischer
Perspektive, kleine(s) Bild(er) aus virtueller Perspektive) nutzen
und erst nach einer gewissen Eingewöhnungszeit zu der unter Umständen für manche
Fahraufgaben nützlicheren
umgekehrten Darstellung umschalten.
-
Gemäß einer
anderen, jedoch mit den oben genannten Aspekten kombinierbaren,
bevorzugten Ausgestaltung einer Mensch-Maschine-Schnittstelle wird
dem Fahrer bzw. Bediener die Möglichkeit
gegeben, zumindest einen Parameter der virtuellen Perspektive und/oder
des Bildausschnittes mittels eines Bedienelements zu verändern. Somit
kann der Benutzer mittels eines Drehknopfs, Joysticks und/oder mittels
eines Gestikerkennungsbedienelement etc., gegebenenfalls auch durch
Sprachkommandos, eine automatisch voreingestellte Perspektive verändern (z.
B. Pilot-Funktion) und/oder zwischen der Ansicht beispielsweise
mehrerer hervorgehobener Objekte/Hindernisse navigieren.
-
Gemäß einer
abermals anderen, jedoch ebenfalls mit den oben genannten Aspekten
kombinierbaren, bevorzugten Ausgestaltung einer Mensch-Maschine-Schnittstelle
wird abhängig
von der Anzahl der Hindernisse und deren Geschwindigkeit automatisch
eine besonders passende bzw. geeignete Darstellungsart aus einer
Menge vordefinierter möglicher
Darstellungsarten ausgewählt.
-
Das
erfindungsgemäße Verfahren
kann – obwohl
sich weite Teile der vorliegenden Beschreibung auf die optische
Ausgabe an den Fahrer eines Kraftfahrzeugs beziehen – nicht
nur für
eine solche optische Ausgabe genutzt werden, sondern auch zum Zweck
der automatischen Weiterverarbeitung, insbesondere Objekterkennung.
-
In
Bezug zur Erfindung steht auch das nachfolgend beschriebene Beispielsystem
bzw. Beispielverfahren: Bei diesem Beispielsystem bzw. Beispielverfahren
wird die Wahl der virtuellen Bildaufnahmeperspektive in erster Linie
durch eine nachgeschaltete Bildverarbeitung getrieben, die entsprechend
der Detektions- bzw. Klassifikationsaufgabe die vorteilhafteste
Ansicht wählt.
Dies ermöglicht
automatisch einen virtuellen Fokus auf eine algorithmisch bestimmte
Region, welche im Laufe einer Sequenz von Bildern stabil gehalten
werden kann. Die auf diese Art und Weise gewonnene Bildstabilität ermöglicht es
einem menschlichen Betrachter, relevante Informationen schnell von
irrelevanten Informationen zu unterscheiden.
-
Veranschaulicht
werden soll dies zunächst an
einem Fahrzeug mit Rückfahrkamera,
dessen Anhängerkupplung
an einen Anhänger
angedockt werden soll. Unter Nutzung der Erfindung kann das Ziel, d.
h. der Anhänger
bzw. dessen Gegenstück
zur Anhängerkupplung,
zunächst
bildverarbeitungsgestützt detektiert
werden und auf Basis der Detektion eine Bildaufnahmeperspektive
derart festgelegt werden, dass der Anhänger in Frontalansicht dargestellt
wird. Diese Ansicht hätte
keine perspektivischen Verzerrungen und würde den Anhänger über das komplette Andockmanöver mittig
im Bild halten. Lenkanweisungen an den Fahrer können dabei beispielsweise durch Überlagerung,
d. h. über
ein Overlay, eingeblendet werden. Im Gegensatz zu reinen Bildstabilisierungsverfahren,
handelt es sich hierbei um eine Kombination von Stabilisierung und
gezielter Perspektivenkorrektur. Somit kann auch ein beliebiger
relevanter Bildbereich zur besseren Wahrnehmbarkeit aufbereitet
werden.
-
Veranschaulicht
werden soll dies ferner an einem Fahrzeug mit weitwinkliger Frontkamera,
dessen Fahrer einen Linksabbiegevorgang durchführen möchte. Die virtuelle Bildaufnahmeperspektive
wird dabei idealerweise so gewählt,
dass dem Fahrer im Fahrzeuginneren – gegebenenfalls zusätzlich zu
anderen Darstellungen – ein
Ergebnisbild dargestellt wird, durch welches dem Fahrer eine (scheinbar) frontale
Annäherung
eines Fremdfahrzeugs angezeigt wird. Dies hat den Vorteil einer
gezielten Steuerung der Aufmerksamkeit des Fahrers.