-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung
von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs für
einen Benutzer des Fahrzeugs aus der Perspektive eines Insassen,
insbesondere des Fahrers, des Fahrzeugs auf der Anzeige einer Anzeigevorrichtung.
-
Aus
dem Stand der Technik sind verschiedene Systeme zur Erkennung von
Straßenmarkierungen mit Hilfe von in einem Fahrzeug verbauten
Vorrichtungen bekannt. Insbesondere gibt es verschiedene Ausprägungen
von Spurführungsassistenten. Zur Erkennung der Spuren wird
in Spurführungsassistenten beispielsweise eine nach vorne
gerichtete monokulare Kamera verwendet. Alternativ können die
Spuren mittels von im Wesentlichen nach unten gerichteten Infrarot-Sensoren
erkannt werden. Spurführungsassistenten ermitteln dabei
die Zeit bis zu einer Markierungsüberschreitung durch das
Fahrzeug und geben in Abhängigkeit von weiteren Bedingungen
Warnungen an den Fahrer aus. Insbesondere kann in einigen Systemen
auch ein aktives, vom Fahrer jederzeit übersteuerbares
Drehmoment am Lenkrad generiert werden, sobald eine unbeabsichtigte Überschreitung
einer Fahrbahnmarkierung oder Fahrbahnbegrenzung droht.
-
Aus
dem Stand der Technik sind ferner objekterkennende Systeme zur Erkennung
von Hindernissen auf der Fahrbahn bekannt. Insbesondere ist eine
Fusion eines 3D-TOF-Sensors (TOF = Time of Flight) und einer monokularen
Kamera aus dem öffentlichen Forschungsprojekt „MIDIAS” bekannt.
Mit dem TOF-Sensor werden Objekte basierend auf den Laufzeiten des
ausgesendeten, von den Objekten reflektierten und anschließend
empfangenen Lichts gemessen und daraus die Entfernungen zu den Objekten
für unterschiedliche Raumwinkel ermittelt. Daraus wird
eine 3D-Karte der Szene erstellt. Bei der genannten Sensorfusion
werden die Sensordaten von dem TOF-Sensor und von der monokularen
Kamera über dieselben Raumwinkel durchgeführt.
Dabei können die Vorteile beider Sensortypen vereinigt
werden. Insbesondere wird der Vorteil der hohen Winkelauflösung
einer monokularen Kamera, welche jedoch nur wenig Information über
die Objektentfernung liefert, mit dem Vorteil der über
dieselben Objekte ermittelten Tiefeninformation des 3D-Sensors vereint,
der an sich eine relativ niedrige Winkelauflösung besitzt.
-
1 zeigt
schematisch den Aufbau eines Kamerasystems basierend auf einer solchen
Sensorfusion. Ein zu erkennendes Objekt O, welches beispielhaft
als eine Person dargestellt ist, wird dabei sowohl von einer monokularen
Kamera 101 als auch von einem entsprechenden TOF-Sensor 102 erfasst. Der
TOF-Sensor beinhaltet dabei entsprechende Mittel 103 zur
Aussendung von Infrarotstrahlung sowie ein Mittel 104 zum
Empfang der an entsprechenden Objekten reflektierten Infrarotstrahlung.
Die Daten der Kamera und des Sensors werden dann fusioniert, und
darauf aufbauend wird beispielsweise eine Umgebungskarte bzw. eine
Liste der erkannten Objekte ermittelt.
-
Aus
dem Stand der Technik sind ferner Nachtsicht-Systeme bekannt, bei
denen mit einer Ferninfrarotkamera ein Bild der Umgebung des Fahrzeugs
erfasst wird und auf einem Display im Fahrzeuginnenraum angezeigt
wird. Es werden hierdurch Hindernisse bzw. Objekte sichtbar, welche
durch das menschliche Auge bei Dunkelheit nicht gesehen werden können.
Es sind auch Objekterkennungssysteme bekannt, die basierend auf
einer im Infrarotspektrum erfassten Umgebung automatische Objekterkennung
durchführen. Somit können auch solche Objekte
automatisch erkannt werden, die im sichtbaren Spektrum nicht oder
nur wenig Licht abstrahlen oder reflektieren, aber eine von ihrer
Umgebung unterschiedliche Temperatur haben. Es ist außerdem bekannt,
dass eine automatische Erkennung von einem Objekt einer bestimmten
Klasse in der Umgebung des Fahrzeugs als eine Fahrerwarnung, z.
B. ein Piktogramm auf einer Anzeige im Innenraum des Fahrzeugs,
ausgegeben wird. Wird mit einem Nachtsicht-System beispielsweise
ein Fußgänger erkannt wird, erscheint auf dem
Display ein warnendes symbolisches Piktogramm, das einem Fußgänger
entspricht. Die mittels des Nachtsicht-Systems erkannten Hindernisse
können auch direkt im Bild des Nachtsicht-Systems auf dem
Display, z. B. mittels einer Umrandung oder Färbung des
Hindernisses, hervorgehoben werden.
-
In
der Druckschrift
DE
10 2005 062 151 A1 ist ein Verfahren und eine Vorrichtung
zur Unterstützung eines Fahrzeugführers bei der
Passage von Fahrwegsverengungen beschrieben. Dabei werden mittels
wenigstens einer Kamera Bilddaten von dem Verkehrsumfeld des Fahrzeugs
erfasst und ausgehend von den Abmessungen des Fahrzeugs eine Darstellung
der zukünftigen Positionen des Fahrzeugs generiert, welche
mit den Bilddaten der Kamera überlagert werden. Aus der
Darstellung kann der Fahrer erkennen, ob er mit seinem Fahrzeug
eine vor dem Fahrzeug liegende Fahrwegsverengung passieren kann.
-
In
der Druckschrift
DE
10 2005 020 772 A1 ist ein Anzeigesystem zur Darstellung
der Umgebung eines Kraftfahrzeugs beschrieben, wobei mittels einer
Ferninfrarotkamera die Fahrzeugumgebung erfasst wird. Dabei werden
erkannte Objekte, welche für das Fahrzeug als gefährlich
eingestuft werden, in einem Head-Up-Display des Kraftfahrzeugs hervorgehoben
dargestellt.
-
In
der Druckschrift
EP
1 647 807 A1 ist ein Fahrerassistenzsystem beschrieben,
bei welchem dem Fahrer zur Fahrunterstützung ein virtuelles,
vorausfahrendes Fahrzeug in einem Display, beispielsweise einem
Head-Up-Display, wiedergegeben wird und in Abhängigkeit
von der ermittelten Fahrsituation dem Fahrer auf dem Display Fahranweisungen
gegeben werden.
-
Bekannte
objekterkennende Systeme erzeugen oftmals eine Vielzahl von Warnungen
und sonstiger, durch den Benutzer zu beachtender Information. Auch
Kamerabilder, die umfangreiche Teile der Umgebung anzeigen, können
eine Informationsüberflutung bei einem Insassen und insbesondere
dem Fahrer des Fahrzeugs erzeugen. Der Insasse des Fahrzeugs hat
dabei die Schwierigkeit, eine zum Teil sehr große Menge
von Information wahrzunehmen und vor Allem die Hinweise und Warnungen
auf die reale Umgebung zu beziehen. Darüber hinaus wird durch
bekannte Systeme oftmals eine sehr große Anzahl an erkannten
Objekten wiedergegeben, wodurch die Wahrnehmung des Insassen und
insbesondere des Fahrers überlastet wird.
-
Bei
der Erfassung der Umgebung mittels eines Nachtsicht-Systems z. B.
basierend auf einer Wärmekamera im Wellenlängenbereich
von 8–10 μm wird die Umgebung einschließlich
von Hindernissen, wie z. B. Fußgängern und Tieren,
auf einem Display im Fahrzeuginnenraum dargestellt. Insbesondere warme
Objekte (Fußgänger, Tiere, bestimmte Teile anderer
Fahrzeuge) werden sehr deutlich sichtbar. Dennoch ist es für
den Fahrer meistens sehr schwer, die am Display sichtbaren Objekte
auf die Umgebung, insbesondere auf bestimmte Fahrbahnbereiche, wie
z. B. Spuren, zu beziehen, zumal Fahrbahnmarkierungen in dem durch
das Nachtsicht-System erfassten Bild oft nur sehr schwer automatisch
erkannt werden können. Das Betrachten eines mittels eines
Nachtsicht-Systems aufgenommenen Bildes im zentralen Display des
Fahrzeugs während der Fahrt ist für den Fahrer
relativ unbequem und unter Umständen gefährlich.
Dies liegt zum Teil daran, dass beim Schwenken der Aufmerksamkeit
des Fahrers von der relativ weit entfernten realen Fahrbahn zu dem
nahegelegenen Display eine erneute Akkomodation seiner Augen auf
die jeweilige Entfernung erforderlich ist. Das mittels eines Nachtsicht-Systems erfasste
Bild bildet zudem nur einen bestimmten Öffnungswinkel ab,
der dem variablen menschlichen Wahrnehmungsfeld nicht immer entsprechen
kann. Für den Fahrer ist es somit schwer, einen Überblick darüber
zu behalten, welcher Bereich der Straße aktuell auf dem
Display im Fahrzeuginnenraum zu sehen ist, um somit die erkannten
Hindernisse der realen Umgebung zuzuordnen. 2 verdeutlicht
nochmals die soeben dargelegte Problematik. In dieser Figur ist
ein Fahrzeug 1 sowohl in Draufsicht als auch in Seitenansicht
gezeigt, wobei der Öffnungswinkel einer Ferninfrarot-Kamera
eines Nachtsicht-Systems im vorderen Bereich des Fahrzeugs 1 durch
einen entsprechenden schraffierten Bereich B wiedergegeben ist.
Man erkennt, dass der Öffnungswinkel sich deutlich von
dem Sichtfeld des Fahrers unterscheidet. Der Verbau von einer Ferninfrarotkamera
innerhalb der Fahrgastzelle ist allerdings nicht möglich,
da die Windschutzscheibe des Fahrzeugs die Wärmestrahlung
dämpft.
-
Wie
bereits dargelegt, ist auch eine Darstellung der gesamten Umgebung
des Fahrzeugs als ein Videobild oder eine große Anzahl
von Symbolen, z. B. auf dem Head-Up-Display, sowohl technisch aufwändig
als auch für die Wahrnehmung durch den Menschen von Nachteil.
So würde eine denkbare Darstellung aller durch mehrere
Arten von Sensorik erkennbarer Objekte mittels einer oder mehreren
Anzeigevorrichtungen zu einer für die menschliche Wahrnehmung überlasteten
und schwer zu interpretierenden Darstellung führen.
-
Ein
weiteres Problem der Darstellung der mit einem objekterkennenden
System erfassten Umgebung besteht darin, dass die Darstellung der
Umgebung in der Regel auf einem Display erfolgt, welches im Fahrzeuginnenraum
versetzt gegenüber der Richtung, in der die Umgebung erfasst
wird, und gegebenenfalls relativ zu der normalen Blickrichtung des Fahrers
angeordnet ist. Hierdurch wird die Zuordnung der erkannten Objekte
zu der realen Umgebung nochmals zusätzlich erschwert. Insbesondere
erscheinen die erkannten Objekte aus einer anderen Perspektive,
als wie die Objekte für den Fahrer sichtbar sein sollten.
Die soeben dargestellte Problematik wird nochmals anhand von 3 verdeutlicht.
Diese Figur zeigt schematisch in Draufsicht die Position eines Fahrers
F sowie eines vor dem Fahrzeug liegenden Objekts O in der Form einer
Person, welche auf der Fahrbahn steht. Die Fahrtrichtung des Fahrzeugs ist
dabei durch den Pfeil P angedeutet. Fer ner ist eine Infrarot-basierende
objekterkennende Kamera am Fahrzeug in einer Position versetzt zur
Position des Fahrers vorgesehen. Diese Kamera ist mit Bezugszeichen 105 bezeichnet.
Das durch diese Kamera aufgenommene Bild wird in einem entsprechenden Display 106 im
Fahrzeuginnenraum angezeigt, welches versetzt zur Fahrerposition
angeordnet ist, so dass der Fahrer seinen Kopf verdrehen muss, um den
Inhalt des Displays 106 wahrzunehmen. In 3 ist
ferner das Sichtfeld des Fahrers durch einen Bereich B1 und der
Sichtwinkel der Kamera 105 durch einen Bereich B2 angedeutet.
Man erkennt, dass ein Versatz zwischen der Perspektive, aus der
die Kamera die Umgebung und die Hindernisse in dieser Umgebung darstellt,
und der Perspektive existiert, aus welcher der Fahrer diese Hindernisse
suchen muss. Dieser Versatz verursacht beim Fahrer eine verfälschte
Annahme über die Aufenthaltspositionen der Objekte vor
dem Fahrzeug. Je nach konkreter Anwendung kann der Unterschied zwischen
den genannten Perspektiven noch dramatischer ausfallen.
-
Die
Darstellung eines vollwertigen Videobildes auf einem Head-Up-Display
ist im Vergleich mit der Darstellung von scharfkantigen Grafiken
und Symbolen, wie dies nach dem Stand der Technik realisiert wird,
sehr problematisch. Diese Darstellung führt dazu, dass
der Benutzer im Raumwinkel, in dem sich die Abbildung des Head-Up-Displays
befindet, eine Überlagerung des realen Teils der Umgebung und
des Videobilds sieht, wobei das Videobild z. B. von einem Nachtsicht-System
stammt. Das reale Bild und das Videobild enthalten dabei zahlreiche
Graustufen bzw. Farbstufen und beide Bilder bewegen sich zudem relativ
zueinander bei der Fahrt. Das senkt die Wahrnehmbarkeit beider Bilder
erheblich und wirkt auf den Betrachter zum Teil belastend. Außerdem
kann das zur Wahrnehmung des Head-Up-Videobildes für alle
im Videobild enthaltenen Helligkeitsstufen bei allen Lichtbedingungen
notwendige Kontrastverhältnis kaum erreicht werden.
-
Aufgabe
der Erfindung ist es deshalb, eine Darstellung der Umgebung eines
Fahrzeugs für einen Benutzer des Fahrzeugs auf einer Anzeigevorrichtung
zu schaffen, mit welcher der Benutzer die Objekte in der Umgebung
des Fahrzeugs besser erfassen kann. Diese Aufgabe wird durch das
Verfahren gemäß Patentanspruch 1 bzw. die Vorrichtung gemäß Patentanspruch
29 gelöst. Weiterbildungen der Erfindung sind in den abhängigen
Ansprüchen definiert.
-
Unter
dem Begriff Fahrzeug kann insbesondere ein Kraftfahrzeug, ein Luftfahrzeug,
ein Wasserfahrzeug oder Amphibienfahrzeug gemeint sein. Außerdem
kann unter einem Fahrzeug im Sinne der Erfindung auch ein autonomes
Nutz- oder Erkundungsfahrzeug und/oder ein mobiler Roboter als Fahrzeug verstanden
werden. Insbesondere kann das Fahrzeug zumindest teilweise automatische
Manöver, z. B. Einparkmanöver, ausführen.
-
In
einer bevorzugten Variante der Erfindung entspricht der Benutzer
des Fahrzeugs dem Insassen des Fahrzeugs selbst. In dieser Variante
kann somit der nachfolgend verwendete Begriff des Benutzers gleichgesetzt
werden mit dem Insassen des Fahrzeugs, wobei der Insasse insbesondere
der Fahrer des Fahrzeugs ist. Es besteht gegebenenfalls jedoch auch
die Möglichkeit, dass der Benutzer des Fahrzeugs eine Person
ist, die das Fahrzeug von außen z. B. drahtlos steuert
und/oder Informationen von dem Fahrzeug drahtlos bekommt. In diesem
Sinne kann der Benutzer des Fahrzeugs z. B. ein zweiter Fahrer des
Fahrzeugs sein, der die Ausführung eines Manövers überwacht.
Es ist dabei möglich, dass sich in dem Fahrzeug gegebenenfalls
auch überhaupt kein Insasse befindet. In diesem Sinne ist
dann die Perspektive des Insassen die Perspektive eines virtuellen
Insassen an einer Position im Fahrzeuginnenraum.
-
Das
erfindungsgemäße Verfahren dient zur Darstellung
von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs
für einen Benutzer des Fahrzeugs aus der Perspektive eines
Insassen, insbesondere des Fahrers, des Fahrzeugs auf der Anzeige
einer Anzeigevorrichtung, wobei die Umgebung des Fahrzeugs zumindest
teilweise mit einer oder mehreren Objekterkennungsvorrichtungen
automatisch erkannt wurde und die von dem Benutzer des Fahrzeugs
wahrnehmbare Position der Anzeige der Anzeigevorrichtung außerhalb
des Fahrzeuginnenraums liegt. Die Anzeige kann dabei z. B. mittels eines
Head-Up-Displays oder einer Weiterbildung eines solchen ausgestaltet
sein. Alternativ kann die Anzeige z. B. mittels einer Projektion,
insbesondere einer holografischen Projektion, innerhalb oder außerhalb
des Fahrzeuginnenraums erfolgen. Die Anzeige kann aber im Falle,
dass der Benutzer nicht dem Insassen entspricht, auch als Einheit
ausgebildet sein, die sich nicht mit dem Fahrzeug bewegt und die
Daten zur Darstellung vom Fahrzeug drahtlos empfängt. Insbesondere
kann eine solche Anzeigevorrichtung als Teil einer mobilen Bedieneinheit,
z. B. von einem Mobiltelefon, ausgestaltet sein, welche zur Bedienung
und insbesondere zur Steuerung und/oder Überwachung der
vom Fahrzeug durchgeführten Manöver ausgestaltet
ist.
-
Erfindungsgemäß wird
eine virtuelle Fahrbahnebene, umfassend die mit einer der Objekterkennungsvorrichtungen
erkannten Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen generiert. Ferner
wird für ein oder mehrere weitere, durch eine der Objekterkennungsvorrichtungen
erkannte Objekte jeweils eine Position relativ zu der virtuellen
Fahrbahnebene ermittelt, bei der die geometrischen Verhältnisse
zwischen dem jeweiligen Objekt und den Fahrbahnbegrenzungen und/oder
Fahrbahnmarkierungen im Wesentlichen den realen geometrischen Verhältnissen
für die Perspektive des Insassen des Fahrzeugs entsprechen.
Falls der Benutzer nicht mit dem Insassen des Fahrzeugs übereinstimmt,
kann der Benutzer gegebenenfalls die Position des Insassen aus einer
Vielzahl von Positionen auswählen.
-
Insbesondere
entsprechen die relativen geometrischen Verhältnisse zwischen
zumindest insgesamt drei dargestellten Objekten im Wesentlichen den
realen geometrischen Verhältnissen zwischen den entsprechenden
Objekten in der Umgebung des Fahrzeugs für die Perspektive
des Insassen. Dabei können z. B. die Abstandsverhältnisse
zwischen den Positionen der Objekte auf der Darstellung den Abstandsverhältnissen
zwischen den betreffenden Objekten auf der Fahrbahn entsprechen,
wie der Insasse diese aus seiner Perspektive, insbesondere aus seiner
Augenposition, sehen würde. Anhand der ermittelten Positionen
des oder der weiteren Objekte wird dann die virtuelle Fahrbahnebene
und das oder die weiteren Objekte in Abhängigkeit von einem
oder mehreren Kriterien auf der Anzeige dargestellt. Als geometrische
Verhältnisse werden dabei insbesondere die Proportionen
von Distanzen, vorzugsweise zwischen den Objekten, d. h. zwischen
den weiteren Objekten bzw. den Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen,
und/oder die Winkelverhältnisse zwischen diesen Objekten
verstanden.
-
Erfindungsgemäß wird
somit eine Darstellung generiert, bei der durch den Fahrer sehr
schnell die Lage von erkannten Objekten in Bezug auf die Fahrbahn
erfasst werden kann, da die Objekte an den richtigen Positionen
relativ zur virtuellen Fahrbahnebene wiedergegeben werden. Durch
die Wiedergabe der virtuellen Fahrbahnebene, welche die erkannten
Fahrbahnmarkierungen und/oder Fahrbahnbegrenzungen umfasst, wird
darüber hinaus eine sehr gute Orientierungshilfe für
den Fahrer betreffend die angezeigten erkannten Objekte gegeben.
Insbesondere kann die Position eines Objekts relativ zu den Fahrbahnmarkierungen
bzw. Fahrbahnbegrenzungen auf einem relativ kleinen Bereich der Anzeige
der Anzeigevorrichtung, wie z. B. dem Head-up-Display, dargestellt
werden, wobei der Fahrer dennoch genau abschätzen kann,
an welchen Stellen der Fahrbahn sich z. B. ein Hindernis befindet.
Eine aufwändige Ausdehnung des Head-Up-Display auf die
große Teile der Windschutzscheibe oder das Vorhandensein
eines sog. kontaktanalogen Head-Up-Displays ist somit nicht notwendig.
Insbesondere erkennt der Fahrer sehr gut, sowohl auf welcher Spur
als auch an welcher Position innerhalb der Spur sich ein entsprechendes
Objekt befindet.
-
Die
virtuelle Fahrbahnebene wird bevorzugt als eine perspektivisch geneigte
Ebene dargestellt, deren Perspektive nicht der Perspektive der Aufnahmemittel
der Objekterkennungsvorrichtung entspricht. Dennoch werden die Objekte
derart dargestellt, dass die geometrischen Verhältnisse
zwischen den dargestellten Objekten und den Fahrbahnbegrenzungen
und/oder Fahrbahnmarkierungen der virtuellen Ebene im Wesentlichen
den realen geometrischen Verhältnissen aus der Perspektive
des Fahrers entsprechen.
-
In
einer bevorzugten Ausgestaltung des erfindungsgemäßen
Verfahrens erfasst wenigstens eine Objekterkennungsvorrichtung die
Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen und/oder weiteren
Objekte aus einer von der Position des Insassen des Fahrzeugs abweichenden
Position, insbesondere aus einer außerhalb der Fahrgastzelle
liegenden Position, wobei die erfassten Fahrbahnbegrenzungen und/oder
Fahrbahnmarkierungen und/oder weiteren Objekte in die Perspektive
der Position des Insassen, insbesondere des Fahrers, transformiert
werden. Somit kann der Verbauort der entsprechenden Sensoren bzw.
Bildsensoren unter Berücksichtigung weiterer fahrzeug-
und designspezifischer Kriterien optimiert werden.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens werden die Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen und/oder
die weiteren Objekte auf der Anzeige zumindest teilweise symbolhaft
wiedergegeben. Insbesondere kann die zumindest teilweise symbolische Darstellung
derart realisiert werden, dass unterschiedliche Teile des mit der
Objekterkennungsvorrichtung erfassten Bildes unterschiedlichen Bildverarbeitungsschritten
unterzogen werden. Auf diese Weise können insbesondere
die Teile des Bildes, die sichtbare und/oder nicht sichtbare Objekte
oder deren Teile, z. B. Kanten oder Randbereiche, enthalten, unterschiedlichen
Bildverarbeitungsoperationen unterzogen werden. Die symbolische
Darstellung kann auch durch eine eingeblendete oder dem Bild überblendete
Grafik und/oder ein entsprechendes Symbol erzeugt werden.
-
In
einer weiteren Variante des erfindungsgemäßen
Verfahrens wird ermittelt, welche weiteren Objekte für
den Insassen des Fahrzeugs sichtbar sind, wobei das oder die Kriterien
derart ausgestaltet sind, dass nur oder zumindest überwiegend
die Position von nicht sichtbaren weiteren Objekten, insbesondere
für den Insassen nicht unmittelbar sichtbaren weiteren
Objekten, auf der Anzeige wiedergegeben wird. Insbesondere wird
dabei nur die Position solcher Objekte und/oder Raumteile wiedergegeben, die
eine bestimmte Schwelle eines Sichtbarkeitsmaßes für
den Insassen des Fahrzeugs unterschreiten. Ist der Benutzer dabei
nicht der Insasse, erfolgt die Einstufung der Sichtbarkeit basierend
auf einem an der entsprechenden Insassenposition angenommenen virtuellen
Insassen. Die angenommene Position des virtuellen Insassen kann
eine durch den Benutzer ausgewählte oder eine vorgegebene
Position sein, welche innerhalb der geometrischen Grenzen des Fahrzeugs
und insbesondere innerhalb seines Innenraumes liegt.
-
Unter
dem Begriff „Objekt” ist erfindungsgemäß auch
ein Teil der Umgebung, z. B. ein Teil der Fahrbahn mit einer Fahrbahnmarkierung
bzw. Fahrbahnbegrenzung oder ein Teil von einem Gebäude, zu
verstehen. Unter nicht sichtbaren Objekten werden solche Objekte
verstanden, die beispielsweise aufgrund ihrer geringen Reflektanz
im für den Menschen sichtbaren Spektrum und/oder aufgrund
der Licht- und/oder Sichtverhältnisse und/oder z. B. aufgrund
der Färbung des Objekts für den Insassen des Fahrzeugs
nicht sichtbar sind oder mit einer erhöhten Wahrscheinlichkeit
nicht sichtbar sein können. So können z. B. Objekte,
die eine eindeutig erkennbare Abstrahlung im Ferninfrarot-Spektrum
haben, keine hinreichende Abstrahlung im sichtbaren Spektrum haben
und umgekehrt. Insbesondere sind nicht sichtbare Objekte solche
Objekte, die trotz einer Blickrichtung, die ihre Wahrnehmung an
sich erlauben würde, mit hoher Wahrscheinlichkeit übersehen
werden.
-
Die
Sichtbarkeit eines Objekts kann insbesondere abhängig von
den spektralen Eigenschaften des von ihm abgestrahlten Lichts, welches
mit einer Fahrzeugkamera im sichtbaren Spektrum erfasst wird, ermittelt
werden.
-
Die
Einteilung von erkannten Objekten in sichtbare und nicht sichtbare
Objekte kann insbesondere basierend auf der Ermittlung eines Sichtbarkeitsmaßes
erfolgen, wie es in der früheren
deutschen Patentanmeldung 10 2008 051
593.0 des Anmelders offenbart ist. Der gesamte Offenbarungsgehalt
dieser Patentanmeldung wird durch Verweis zum Inhalt der vorliegenden
Anmeldung gemacht. Die Prinzipien des in dieser früheren
Patentanmeldung beschriebenen Verfahrens können auch in
der hier beschriebenen Erfindung zur Identifikation eines sichtbaren
bzw. nicht sichtbaren Objekts eingesetzt werden. Im Unterschied
zu der früheren Patentanmeldung wird in der hier beschriebenen
Erfindung die Sichtbarkeit der automatisch erkannten Objekte jedoch
für die Position des Insassen, insbesondere des Fahrers,
des Fahrzeugs ermittelt. Demgegenüber wird in der früheren
Patentanmeldung die Sichtbarkeit des Fahrzeugs selbst aus verschiedenen
Raumwinkeln bzw. Beobachtungspositionen bestimmt.
-
Zur
Unterscheidung zwischen „sichtbar” und „nicht
sichtbar” wird für das ermittelte Sichtbarkeitsmaß insbesondere
eine geeignete Schwelle festgelegt, wobei bei Überschreiten
der Schwelle das Objekt für den Menschen als sichtbar und
beim Unterschreiten der Schwelle das Objekt für den Menschen als
nicht sichtbar eingestuft wird. Das Sichtbarkeitsmaß kann
dabei beispielsweise in der Form der Wahrscheinlichkeit ausgedrückt
werden, mit der das erkannte Objekt insbesondere durch ein statistisches,
menschliches oder tierisches Sehsystem gesehen bzw. übersehen
wird. Zur Ermittlung des Sichtbarkeitsmaßes kann in Analogie
zu der oben genannten früheren Patentanmeldung eine erste
Lichtverteilung umfassend eine Helligkeitsverteilung und/oder Spektralverteilung
von Leuchtflächen der jeweiligen erkannten Objekte und
gegebenenfalls in der Umgebung der erkannten Objekte ermittelt werden.
Diese Helligkeits- und/oder Spektralverteilung wird dabei insbesondere
mit entsprechenden Sensierungsmitteln im Fahrzeug bestimmt, wobei
diese Sensierungsmittel auch Teil des oder der erfindungsgemäß verwendeten
Objekterkennungsvorrichtungen sein kann.
-
Zur
Bestimmung eines geeigneten Sichtbarkeitsmaßes für
die Position des Insassen bzw. Fahrers des Fahrzeugs wird die erste
Lichtverteilung vorzugsweise in die Perspektive der Position des
Insassen bzw. Fahrers des Fahrzeugs transformiert, wodurch eine
zweite Lichtverteilung erhalten wird. Basierend auf dieser zweiten
Lichtverteilung kann dann ein Sichtbarkeitsmaß für
das jeweilige Objekt ermittelt werden. Dies ist vorteilhaft, da
somit das Sichtbarkeitsmaß des Objekts für die
Position des Insassen auch dann ermittelt werden kann, wenn die
Objekterkennungsvorrichtung das Objekt nicht aus der Position des Insassen
des Fahrzeugs, sondern z. B. aus dem vorderen Bereich der Karosserie
eines Kraftfahrzeugs, erfasst.
-
Unter
dem obigen Begriff einer Leuchtfläche kann sowohl eine
selbstleuchtende Fläche als auch eine reflektierende, lichtbrechende
oder fluoreszierende Fläche verstanden werden. Eine Leuchtfläche kann
auch eine Fläche sein, die sowohl selbst leuchtet als auch
das Licht reflektieren oder brechen kann, wie z. B. die Windschutzscheibe
eines Fahrzeugs. Eine Leuchtfläche kann auch eine Fahrzeugleuchte sein.
Die Unterteilung in Leuchtflächen kann z. B. nach geometrischen
Aspekten gemacht werden. So können z. B. Objekte, die sich
nahe voneinander befinden, oder deren Teile eine Leuchtfläche
bilden, während ein weiter beabstandet angeordnetes Objekt
oder ein Teil davon als andere Leuchtfläche eingestuft
wird. Es ist dabei besonders vorteilhaft, eine Punktmenge der ersten
Lichtverteilung mit ähnlichen Eigenschaften als eine Leuchtfläche
aufzufassen und/oder weiterzuverarbeiten. Die Leuchtflächen können
gegebenenfalls auch sehr kleine infinitesimale Flächen
sein. Die Leuchtflächen können beliebige Formen
aufweisen, insbesondere können sie auch gekrümmt
sein.
-
Durch
die erste Lichtverteilung wird somit eine räumliche Verteilung
der Leuchtflächen beschrieben. Die Lichtverteilung kann
als Winkel, Raumwinkel oder Winkelverhältnis zwischen den Leuchtflächen
ermittelt und/oder weiterverarbeitet werden.
-
Das
oben genannten Sichtbarkeitsmaß repräsentiert
insbesondere die Erkennbarkeit des Objekts und/oder seiner äußeren
Grenzen und/oder der räumlichen Ausrichtung des Objekts
für das visuelle System des Menschen. Des Weiteren kann
das Sichtbarkeitsmaß auch die Unterscheidbarkeit des jeweiligen
Objekts von anderen Objekten oder sonstigen Objekten berücksichtigen.
Insbesondere wird ein Objekt als sichtbar angenommen, wenn ein genügend
großer Anteil seiner Teile, die ebenfalls Objekte sein
können, insbesondere von Kanten und/oder Strukturen, sichtbar
sind und/oder wenn die Teile des Objekts an seinen räumlichen
Grenzen sichtbar sind. Ein Objekt wird insbesondere dann als insgesamt
unsichtbar angenommen, wenn diese Kriterien nicht erfüllt
sind.
-
Das
ermittelte Sichtbarkeitsmaß ist von verschiedenen Größen
abhängig, insbesondere von aktuellen Kontrastverhältnissen
sowie von der relativen Bewegung des jeweiligen Objekts zu üblichen
Lichtquellen bzw. anderen Objekten. So steigt z. B. im Allgemeinen die
Wahrscheinlichkeit, dass ein Objekt vom Insassen gesehen wird, wenn
sich das Objekt – aus der Position des Insassen gesehen – relativ
zum Hintergrund bewegt.
-
In
einer bevorzugten Variante des Verfahrens zur Ermittlung der Sichtbarkeit
liegt die ermittelte erste Lichtverteilung in einer solchen Form
vor, in der eine Winkelabhängigkeit der Parameter der Lichtverteilung
enthalten ist. Dies kann z. B. in Form einer durch Stützpunkte
beschriebenen Funktion der Abhängigkeit der einzelnen Parameter
der Lichtverteilung von der Richtung und gegebenenfalls auch vom Abstand
beschrieben werden. Vorzugsweise liegt die erste Lichtverteilung
in einem vektorbasierten Format vor, wobei ein Vektor in diesem
Format die Richtung anzeigt, in der sich die entsprechende Leuchtfläche befindet,
und als Attribut die zugehörigen Lichtparameter und/oder
entsprechende Abstrahlcharakteristika der jeweiligen Leuchtfläche
enthält.
-
Vorzugsweise
wird die zur Ermittlung des Sichtbarkeitsmaßes durchgeführte
Transformation der ersten Lichtverteilung basierend auf einer Koordinatentransformation
durchgeführt, welche die Position und/oder die Strahlenwinkel
der Leuchtflächen in die Perspektive des Insassen des Fahrzeugs
transformiert. Diese Transformation der ersten Lichtverteilung kann
dabei beispielsweise basierend auf einer Simulation der Lichtausbreitung
im System aus dem jeweiligen erkannten Objekt und zumindest Teilen der
Umgebung des Objekts durchgeführt werden. Es wird somit
rechnergestützt aus der ermittelten ersten Lichtverteilung
ein Modell der Lichtflächen mit ihren Abstrahlcharakteristika
räumlich erstellt, und dieses Modell kann dann wiederum
rechnergestützt mit bekannten Transformationen in die Perspektive
des Insassen des Fahrzeugs gewandelt werden.
-
In
einer bevorzugten Ausgestaltung des Verfahrens zur Ermittlung des
Sichtbarkeitsmaßes werden ein oder mehrere Kontrastverhältnisse
zwischen Leuchtflächen, insbesondere zwischen dem jeweiligen
erkannten Objekt und der Umgebung des erkannten Objekts, innerhalb
der zweiten Lichtverteilung ermittelt, wobei das Sichtbarkeitsmaß von
dem oder den Kontrastverhältnissen abhängt. Unter
dem Kontrastverhältnis ist dabei ein Maß für
den Unterschied zwischen den Helligkeits- und/oder Spektralverteilungen
von verschiedenen Leuchtflächen und/oder innerhalb einer
Leuchtfläche zu verstehen. Der Unterschied kann z. B. auch
in Form eines Gradienten ausgedrückt werden.
-
Das
Kontrastverhältnis kann gegebenenfalls auch über
eine Funktion ermittelt werden, welche die jeweiligen räumlichen
Verläufe der Helligkeit bzw. spektralen Verteilung der
einzelnen Leuchtflächen beschreibt, gegebenenfalls abhängig
vom Raumwinkel der Position des Insassen des Fahrzeugs bzw. der
Distanz zur Position des Insassen des Fahrzeugs. Das Kontrastverhältnis
kann somit auch den Unterschied zwischen den gemittelten Helligkeiten bzw.
gemittelten spektralen Verteilungen von zwei Leuchtflächen
repräsentieren, wobei die Helligkeit bzw. spektrale Verteilung über
die Ausdehnung der jeweiligen Leuchtfläche gemittelt ist.
Als Kontrastverhältnis wird insbesondere ein Kontrastverhältnis
zwischen dem jeweiligen erkannten Objekt und der Umgebung des Objekts
ermittelt. Insbesondere kann das Kontrastverhältnis zwischen
den Leuchtflächen des jeweiligen Objekts, welche die geometrischen Grenzen
bzw. die Abmessungen des Objekts kennzeichnen, und den Leuchtflächen
der Umgebung, insbesondere die nicht durch das jeweilige Objekt verdeckten
Leuchtflächen, bestimmt werden. Besonders vorteilhaft ist
die Ermittlung des Kontrastverhältnisses zwischen den Leuchtflächen,
die in Bezug auf die Position des Insassen des Fahrzeugs die geometrischen
Grenzen des jeweiligen Objekts bilden, und den Leuchtflächen
aus der Umgebung, die in einem im Wesentlichen benachbarten Raumwinkel
zu den geometrischen Grenzen des erkannten Objekts sichtbar sind.
Das Sichtbarkeitsmaß kann ferner auch aus lokalen Kontrastverhältnissen
von Teilbereichen innerhalb der zweiten Lichtverteilung bestimmt
werden.
-
Vorteilhafterweise
kann zusätzlich zu der Darstellung mindestens eines, insbesondere
nicht sichtbaren und vorzugsweise nicht unmittelbar für den
Insassen sichtbaren Objekts auf der Fahrbahnebene, die z. B. als
Symbol oder als ein hervorgehobenes Objekt ausgestaltet ist, eine
vergrößerte Darstellung dieses Objekts, z. B.
in einem anderen Bereich der Anzeigevorrichtung oder auf einer anderen
Anzeigevorrichtung, dargestellt werden. Somit kann sowohl eine relativ
große Ansicht des Objekts als auch die Position des Objekts
auf der Fahrbahnebene zur gleichen Zeit auf einer insgesamt verhältnismäßig kleinen
Anzeigefläche bzw. innerhalb eines kleinen Sichtwinkels
dargestellt werden. In einer bevorzugten Ausgestaltung des Verfahrens
kann die vergrößerte Objektansicht in einer anderen
Perspektive als die virtuelle Fahrbahnebene, z. B. in der untransformierten
Perspektive und/oder mit verändertem Aussehen, z. B. mit
betonten Kanten und Konturen, dargestellt werden.
-
Vorteilhafterweise
kann das Verfahren derart ausgestaltet ein, dass zusätzliche
grafische Elemente angezeigt werden, die den Bezug der vergrößerten Darstellung
zu der Position des Objekts auf der Anzeige anzeigen. Somit wird
dem Insassen die Zugehörigkeit der vergrößerten
Darstellung des Objekts mit der Objektdarstellung bzw. der Darstellung
der Position des Objekts auf der virtuellen Fahrbahnebene vermittelt.
Die grafischen Elemente können die Darstellung des Objekts
auf der virtuellen Fahrbahnebene, die z. B. als symbolische Darstellung ausgestaltet
ist, mit der vergrößerten Darstellung verbinden,
oder den Bezug zwischen den beiden Darstellungen durch die Richtung
einer Linie, die im Wesentlichen von einer Darstellung zu der anderen
Darstellung ausgerichtet ist, anzeigen.
-
In
einer weiteren Variante des erfindungsgemäßen
Verfahrens wird ein ausgewählter Fahrbahnabschnitt als
virtuelle Fahrbahnebene auf der Anzeige wiedergegeben, wobei der
Fahrbahnabschnitt in Abhängigkeit von odometrischen Daten
des Fahrzeugs und/oder einer ausgewerteten Verkehrssituation ausgewählt
wird. Vorteilhafterweise kann dabei die Länge des ausgewählten
Fahrbahnabschnitts bzw. die Breite des Fahrbahnabschnitts, wie z.
B. die Anzahl der dargestellten Spuren, von den odometrischen Daten
des Fahrzeugs und/oder von der automatisch erkannten Verkehrssituation
abhängen. Unter der Verkehrssituation kann dabei sowohl
eine konkrete Verkehrssituation, z. B. in Form bekannter Positionen
und Geschwindigkeiten zumindest eines weiteren Verkehrsteilnehmers,
als auch die Art der Verkehrssituation, z. B. Parken und Rangieren
auf einem Parkplatz, Befahren einer 30er-Zone, Schnellstraßen
etc. gemeint sein.
-
Somit
wird je nach automatisch ausgewerteter Verkehrssituation (z. B.
Parken und Rangieren, 30er-Zone, Schnellstraßen) ein jeweils
relevanter Bereich auf der Anzeige dargestellt. Der darzustellende
Bereich kann insbesondere von der abgeschätzten Position
bzw. Reichweite des Fahrzeugs in den nächsten Sekunden
abhängen. Es fließt hierbei die Überlegung
ein, dass bestimmte, z. B. an das Fahrzeug unmittelbar anliegende
Bereiche der Fahrbahn in vielen Verkehrssituationen nicht relevant sind.
Im Gegensatz dazu sind weiter entfernt gelegene Bereiche umso relevanter.
Bei einer Rangiergeschwindigkeit ist der unmittelbar an das Fahrzeug
anschließende Fahrbahnabschnitt mit einer Länge
von einigen Metern relevant, während bei einer Autobahngeschwindigkeit
die Darstellung erst in 20 m beginnt und die nächsten 30
m umfasst. Der auf der Anzeige dargestellte Fahrbahnabschnitt kann
auch in Abhängigkeit von den Daten eines Navigationssystems,
z. B. abhängig vom weiteren Straßenverlauf und/oder
dem eingestellten Ziel, ausgewählt werden.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens wird als Anzeige eine dreidimensionale Wiedergabe erzeugt
und/oder eine perspektivische Wiedergabe durch die schräge
Anordnung der Anzeige und/oder Teilen der Anzeige generiert. Hierdurch
wird eine besonders gut durch den Fahrer erfassbare Wiedergabe des
Fahrzeugumfelds und der damit verbundenen Verkehrssituation erreicht.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens wird die Anzeige mit einer für den Insassen
des Fahrzeugs wahrnehmbaren Tiefenwirkung derart versehen, dass
die Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen und/oder
das oder die weiteren Objekte in einer deren Position zum Fahrzeug
und/oder zueinander entsprechenden Tiefenwirkung wiedergegeben werden. Die
Darstellung auf der Anzeige ist somit derart ausgestaltet, dass
unterschiedliche Tiefenwirkung für unterschiedliche Teile
der Darstellung unterstützt wird, d. h. dass nicht nur
die gesamte Darstellung eine virtuelle, für den Fahrer
sichtbare Position besitzt, sondern auch die wahrgenommene Tiefe
unterschiedlicher Teile des dargestellten Bildes unterschiedlich ist.
-
In
einer bevorzugten Variante der Erfindung weist die Anzeige zur Erzeugung
der Tiefenwirkung mehrere Anzeigeebenen mit unterschiedlichen durch den
Benutzer wahrgenommenen Positionen zu einer vorbestimmten Blickrichtung
des Benutzers auf. Vorteilhafterweise können Darstellungsebenen
erzeugt werden, welche als derart geneigt wahrgenommen werden, dass
ihr jeweiliges oberes Ende als weiter vom Benutzer entfernt als
das untere Ende wahrgenommen wird. Die Darstellungsebenen können
auch im Wesentlichen unter demselben Winkel relativ zur Position
des Insassen, insbesondere des Fahrers, angeordnet sein wie die
Fahrbahn.
-
In
einer Variante der Erfindung können Teile der Darstellung,
insbesondere unterschiedliche Objekte, auf unterschiedlichen Anzeigeebenen
dargestellt werden, insbesondere auf solchen Anzeigeebenen, die
als unterschiedlich weit vom Insassen liegend und/oder als unterschiedlich
geneigt wahrgenommen werden. Somit wird dem Benutzer eine bessere
räumliche Vorstellung über die Position der Objekte
in der Umgebung des Fahrzeugs vermittelt. Folglich ist das Vorhandensein
einer vollständig 3D-fähigen Anzeigevorrichtung nicht
notwendig, um dem Benutzer z. B. intuitiv und anschaulich unterschiedliche
Neigungen einer virtuellen Fahrbahnebene zum Horizont darzustellen
oder zu zeigen, dass ein dargestelltes Objekt sich weiter vom Fahrzeug befindet
als ein anderes dargestelltes Objekt. Somit kann die Erfindung,
z. B. mittels eines Head-Up-Displays oder einer anderen Anzeigevorrichtung,
welche z. B. nur 3 bis 12 unterschiedliche Darstellungstiefen erlaubt,
realisiert werden.
-
Vorteilhafterweise
werden die Abschnitte der erkannten Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen
auf der virtuellen Fahrbahnebene derart dargestellt, dass sie aus
der Position des Benutzers als nach vorne geneigt gesehen werden.
Besonders vorteilhaft ist dabei eine empfundene Neigung der virtuellen
Fahrbahn, die zwischen der als parallel zur Fahrbahn wahrgenommenen
Ausrichtung und einem Winkel von 30° bis 60° zu
dieser Position verläuft. Die Neigung und/oder Raumposition
der virtuellen Fahrbahnebene kann insbesondere durch den Fahrer
des Fahrzeugs eingestellt werden.
-
Ein
solches Head-Up-Display kann erfindungsgemäß die
vom Insassen des Fahrzeugs als nach vorne geneigt wahrgenommene
Ebenen darstellen. Dies kann insbesondere durch eine schräge Anordnung
des Displays und/oder optischer Elemente des Head-Up-Displays und/oder
speziell gekrümmte optischen Elemente, z. B. Linsen oder
Spiegel, erreicht werden. Diese Optik kann z. B. auch adaptiv, insbesondere
veränderlich in Abhängigkeit von der aktuell erforderlichen
Eigenschaften der Anzeige, vorzugsweise dem Neigungsgrad der Ebene,
verändert werden. Somit kann die erfindungsgemäße
virtuelle Fahrbahnebene, auf der räumlich wahrnehmbaren,
in Abhängigkeit von den bestimmten Kriterien angeordneten
Ebene des Head-Up-Displays dargestellt werden.
-
In
einer weiteren Ausführungsform des erfindungsgemäßen
Verfahrens wird die räumliche Position der virtuellen Fahrbahnebene
in der Darstellung, insbesondere ihre Neigung, in Abhängigkeit
von einer ausgewerteten Verkehrssituation und/oder von odometrischen
Daten des Fahrzeugs, verändert. Diese Variante hat besondere
Vorteile in Kombination mit der obigen Ausführungsform,
bei der ein ausgewählter Fahrbahnabschnitt in der virtuellen
Fahrbahnebene auf der Anzeige wiedergegeben wird, wobei der Fahrbahnabschnitt
in Abhängigkeit von odometrischen Daten des Fahrzeugs und/oder
einer ausgewerteten Verkehrssituation ausgewählt wird. Insbesondere
wird dabei die virtuelle Fahrbahnebene in einem umso kleineren Winkel
zum Horizont dargestellt, je größer die sich aus
den odometrischen Daten ergebende Geschwindigkeit des Fahrzeugs
ist. Somit kann bei einem relativ kurzen darzustellenden Fahrbahnabschnitt,
insbesondere bei der langsamen Fahrt, eine relativ hoch stehende
Fahrbahnebene gezeigt werden, während z. B. bei einer höheren
Geschwindigkeit die Ebene als nahezu horizontal dargestellt wird.
Somit kann der Bereich der Fahrzeugumgebung, der abgebildet werden
soll, insbesondere in die Fahrtrichtung deutlich größer
gewählt werden. Auf diese Weise bleibt die Darstellung
für jede ausgewertete Verkehrssituation übersichtlich.
Durch diese adaptiven Eigenschaften kann insbesondere ein guter
Kompromiss zwischen dem darzustellenden Bereich und der Übersichtlichkeit
der Darstellung gefunden werden.
-
Ein
weiterer Vorteil der erfindungsgemäßen Darstellung
besteht darin, dass die Anzeige der Anzeigevorrichtung auch einen
großen Raumwinkel abbilden kann, ohne dafür auf
den vollen Sichtbereich des Fahrers bzw. des Insassen des Fahrzeugs
ausgedehnt werden zu müssen, denn die automatisch erkannten
Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen sind ausreichend,
um dem Insassen eine Orientierung zur Ortung der dargestellten Objekte
zu geben. Gegebenenfalls kann die dargestellte virtuelle Fahrbahnebene
in der Anzeige im Wesentlichen durch die Fahrbahnbegrenzungen oder
deren Umhüllende begrenzt sein. Insbesondere kann ein Insasse
bzw. der Fahrer des Fahrzeugs die Fahrbahnmarkierungen auch bei
schlechten Sichtverhältnissen unmittelbar sehen und unter
Berücksichtigung der in der Anzeige wiedergegebenen Fahrbahnmarkierungen
eine gute Zuordnung der angezeigten Objekte zu den realen Objekten
vornehmen. Auf diese Weise kann sich der Insasse des Fahrzeugs auch
bei einer verkleinerten Darstellung der Fahrzeugumgebung sofort
den Überblick darüber verschaffen, wo sich ein
erkanntes Objekt befindet, welches z. B. bei Nacht im Gegensatz
zu den Fahrbahnmarkierungen kaum sichtbar ist.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens ist die Wiedergabe in der Anzeige zumindest teilweise
eine 1-Bit-Grafik, insbesondere eine 1-Bit-Textur. Insbesondere
können zumindest Teile des zur Darstellung auf einer Anzeigevorrichtung
generierten Bildes in eine 1-Bit-Grafik gewandelt werden. Hierzu
können auch an sich bekannte Methoden zur Wandlung eines
Bildes in eine 1-Bit-Grafik eingesetzt werden. In der vorliegenden Erfindung
bietet diese Methode allerdings den zusätzlichen Vorteil,
dass keine, für den Benutzer des Fahrzeugs verwirrende Überlagerung
eines in der Anzeige wiedergegebenen Videobilds, welches eine Vielzahl
von Graustufen- oder Farbverläufen enthält, mit
der realen, durch die Windschutzscheibe gesehenen Umgebung stattfindet.
Die Umwandlung des Bildes kann eine Kantenextraktion oder Kantenbetonung
beinhalten. Dabei werden nur oder vorwiegend die nach bestimmten
Kriterien ausgewählten Kanten des Bildes wiedergegeben.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens werden verschiedene Teile der virtuellen Fahrbahnebene
und/oder verschiedene weitere Objekte in der Anzeige mit unterschiedlichen
Texturen gekennzeichnet. Somit werden diejenigen Teile der Darstellung,
die voneinander unterschieden werden sollen, als unterschiedliche Texturen
wiedergegeben, insbesondere falls sie z. B. unterschiedliche Arten
von erkannten Objekten oder unterschiedlich gefährliche
Zonen der Fahrbahn repräsentieren. Durch die Verwendung
von unterschiedlichen Texturen für unterschiedliche Objekte wird
auf einfache Art und Weise eine gute Unterscheidbarkeit zwischen
den Objekten erreicht. Dabei wird insbesondere der Tatsache Rechnung
getragen, dass die menschliche visuelle Wahrnehmung auf die Wahrnehmung
und Unterscheidung von Texturen spezialisiert ist. Ein Insasse des
Fahrzeugs kann somit Texturen aufgrund ihrer regelmäßigen
Struktur leicht sowohl untereinander als auch von der direkten Ansicht
auf die Umgebung des Fahrzeugs hinter der Darstellung unterscheiden.
Somit ist die Sichtbarkeit der dargestellten Textur auch bei relativ
geringem Helligkeits-Kontrast zur Umgebung gewährleistet.
-
Vorteilhafterweise
werden in einer Variante der Erfindung die befahrbaren, insbesondere
gefahrlos befahrbaren Abschnitte der Umgebung in der virtuellen
Fahrbahnebene, insbesondere der durch die Fahrbahnbegrenzungen begrenzte
Bereich der virtuellen Fahrbahnebene, durch eine andere Textur als der
Rest der virtuellen Fahrbahnebene wiedergegeben. Somit kann der
Benutzer des Fahrzeugs die befahrbaren bzw. nicht befahrbaren Flächen
in der Darstellung als solche erkennen bzw. diese voneinander unterscheiden.
-
In
einer weiteren Ausführungsform des erfindungsgemäßen
Verfahrens wird die Position des oder der weiteren Objekte relativ
zur virtuellen Fahrbahnebene mit Hilfe einer durch eine der Objekterkennungsvorrichtungen
ermittelten Tiefeninformation betreffend die reale Position der
weiteren Objekte relativ zum Fahrzeug bestimmt. Auf diese Weise
ergibt sich ein einfacher trigonometrischer Zusammenhang, der ressourcensparend
ermittelt werden kann. Die Entfernung zu dem entsprechenden Objekt
kann dabei mittels an sich bekann ter Verfahren bestimmt werden.
Besonders vorteilhaft ist die Umsetzung des Verfahrens mittels des
eingangs erwähnten MIDIAS-Kamerasystems, wobei die Tiefeninformation
des TOF-Sensors bezogen auf den betreffenden Raumwinkel zur Ermittlung
der Objektentfernung benutzt wird.
-
In
einer weiteren Variante des erfindungsgemäßen
Verfahrens wird auf der Anzeige eine Darstellung zumindest eines
Teils des Fahrzeugs generiert, wobei die Position des Fahrzeugs
relativ zur virtuellen Fahrbahnebene im gleichen Verhältnis
wiedergegeben wird, wie die reale Position des Fahrzeugs relativ
zur realen Fahrbahnebene liegt. Die generierte Darstellung zeigt
somit wenigstens einen Teil des Fahrzeugs als Grafik, insbesondere
als ein Symbol oder Modell. Die Lage eines solchen Fahrzeugmodells
zur virtuellen Fahrbahnebene entspricht dabei im Wesentlichen der
tatsächlichen Lage des Fahrzeugs relativ zur Fahrbahn,
insbesondere zu einer Fahrspur. In vorteilhafter Weise kann in der
Darstellung das Fahrzeug als Fahrzeugkontur auf der virtuellen Fahrbahnebene
wiedergegeben sein. Der Vorteil besteht in diesem Fall in der einfachen
Realisierung sowie darin, dass die Darstellung des eigenen Fahrzeugs
auch bei einer flach liegenden virtuellen Fahrbahn weitere dargestellte
Objekte auf der Fahrbahn nicht verdeckt. Bevorzugt stimmt dabei
der Abbildungsfaktor der auf der Fahrbahnebene abgebildeten Fahrbahnabschnitte
mit dem Abbildungsfaktor des zumindest unteren Teils des Fahrzeugs
bezogen auf dieselbe Länge in der Fahrtrichtung des Fahrzeugs überein.
-
In
einer weiteren Variante des erfindungsgemäßen
Verfahrens wird der zumindest eine Teil des Fahrzeugs auf der Anzeige
als räumlich wirkendes Fahrzeugmodell wiedergegeben, wobei
die Perspektive, in der das Fahrzeugmodell von dem Benutzer des
Fahrzeugs gesehen wird, der Perspektive entspricht, in welcher der
Rest der Anzeige wiedergegeben wird. Somit kann der Benutzer des
Fahrzeugs die Perspektive, in der die Fahrzeugumgebung dargestellt
wird, stets anhand der Perspektive des dargestellten Fahrzeugsmodells
erkennen. Vorteilhafterweise ist das Fahrzeugmodell eine räumlich
wirkende Grafik, die das eigene Fahrzeug darstellt, wobei insbesondere
an der Lage der Außenkanten des Modells und/oder an der
Abbildung typischer Designelemente des Fahrzeugs die räumliche
Ausrichtung des Modells erkennbar ist. Das Fahrzeugmodell kann besonders
betonte Kanten, insbesondere Außenkanten, enthalten, bevorzugt
solche, welche die räumliche Wirkung der Grafik verstärken.
Das Fahrzeugmodell kann die speziellen Eigenschaften eines Fahrzeugs,
wie z. B. dessen Farbe, modellspezifische Merkmale und dergleichen, zumindest
symbolhaft wiedergeben. Auf diese Art und Weise kann auch nur ein
Teil des Fahrzeugs, z. B. der Vorderteil oder nur die vorderen Stoßstangen,
dargestellt werden. Insbesondere wird eine solche Darstellung des Fahrzeugmodells
auf der Anzeige der Anzeigevorrichtung vorgesehen, die einen geometrischen,
insbesondere räumlichen Bezug der Position der dargestellten
Objekte zu bestimmten Kanten, insbesondere Außenkanten
und/oder Designelementen des Fahrzeugs, erlauben. Somit kann der
Benutzer des Fahrzeugs die Positionen der Objekte relativ zum Fahrzeug
besser einschätzen.
-
Die
perspektivische Wiedergabe des Fahrzeugmodells kann in einer bevorzugten
Variante des erfindungsgemäßen Verfahrens durch
eine zusätzliche Referenzfigur, z. B. einen Rahmen und/oder
eine zusätzlich generierte und dargestellte räumlich
wirkende grafische Abbildung, die von der Anzeigevorrichtung angezeigt
wird, verstärkt werden. Die Referenzfigur kann derart ausgestaltet
sein, dass sie die Ausdehnung und/oder Ausrichtung des virtuellen Raums
kennzeichnet. Somit hilft die Referenzfigur dem Benutzer bei der
Orientierung und verstärkt das räumliche Wahrnehmen
der übrigen Darstellung. Vorteilhafterweise kann als die
Referenzfigur ein Teil der herkömmlichen, aus dem Stand
der Technik bekannten Anzeigeebene des Head-Up-Displays verwendet
werden.
-
In
einer weiteren Ausführungsform des erfindungsgemäßen
Verfahrens wird eine Beschleunigung des Fahrzeugs durch eine gegenüber
den realen räumlichen Verhältnissen veränderte
Verschiebung der in der Anzeige generierten Darstellung des zumindest
einen Teils des Fahrzeugs wiedergegeben. Ebenso kann in einer weiteren
Variante eine Beschleunigung eines weiteren Objekts durch eine gegenüber
den realen räumlichen Verhältnissen veränderte
Verschiebung der in der Anzeige generierten Position des weiteren
Objekts wiedergeben werden. Somit kann eine Beschleunigung des Fahrzeugs bzw.
Veränderung des Abstands zu anderen erkannten Verkehrsteilnehmern
in der Grafik durch die Verschiebung der Position der Darstellung
des Fahrzeugs visualisiert werden, wohingegen bei einer Fahrt mit
annähernd konstanter Geschwindigkeit die Abbildung des
Fahrzeugs in der Darstellung steht. Beispielsweise kann bei der
Beschleunigung des Fahrzeugs die Abbildung der Fahrzeugkontur verschoben
werden, um die Tendenz der Bewegung oder der relativen Bewegung
z. B. zu einem vorausfahrenden Fahrzeug zu visualisieren. Durch
die oben beschriebenen Maßnahmen können somit
die Folgen der Beschleunigung, z. B. bei der Annäherung
an ein Hindernis, intuitiv und verständlich für
den Benut zer des Fahrzeugs, insbesondere einen Insassen und/oder
Fahrer des Fahrzeugs, dargestellt werden.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens wird ein Schwenk und/oder eine Umschaltung und/oder eine
Verschiebung des durch die virtuelle Fahrbahnebene wiedergegebenen
Fahrbahnbereichs, insbesondere auf eine benachbarte Fahrspur, in
Abhängigkeit von einem oder mehreren vorgegebenen Kriterien
generiert, insbesondere in Abhängigkeit von einer ausgewerteten
Verkehrssituation und/oder einer Bedienaktion des Benutzer des Fahrzeugs,
insbesondere einen Insassen und/oder Fahrer des Fahrzeugs. Dabei kann
in der erfindungsgemäßen Darstellung beispielsweise
eine seitliche benachbarte Fahrspur vergrößert
dargestellt werden. Die Änderung der Darstellung kann dabei
stufenlos, durch Übergangszustände oder als ein
Umschaltvorgang auf die benachbarte Spur ausgestaltet sein.
-
Die
soeben beschriebene Variante der Erfindung ist besonders vorteilhaft
bei der Verwendung eines Head-Up-Displays, da hierdurch auf der
knapp bemessenen Darstellungsfläche eines solchen Displays
jeweils die wichtigsten Bereiche dargestellt werden. Diese können
vom Fahrer gesehen werden, ohne dass dieser die Augen bzw. die Aufmerksamkeit auf
diese Bereiche, z. B. auf einen Seitenspiegel, richten muss. Bei
der Verwendung von Kamerasystemen, welche in Abhängigkeit
von bestimmten Ereignissen das Bild der Kamera virtuell schwenken,
ergibt sich ein weiterer Vorteil. Durch die Erkennung der Spuren
ist die Zielposition, z. B. die nächste Spur, bekannt.
Somit kann der Fahrer z. B. zwischen der eigenen Spur und den benachbarten
Spuren rechts und links hin- und herschalten, ohne dass ein deutlich länger
dauernder und eventuell störender Einschwenkvorgang vonstatten
geht. Anstatt der manuellen Umschaltung kann erfindungsgemäß insbesondere
auch ein automatisches System realisiert werden, welches z. B. eine Überwachung
eines Blind-Spot-Bereichs des Fahrzeugs (z. B. des toten Winkels
im Rückspiegel) durchführt. Beispielsweise kann
ein solches automatisches System auf die Darstellung einer Spur
umschalten, auf der das Fahrzeug von einem anderen Fahrzeug überholt
wird. Besonders vorteilhaft ist es dabei, dass beim Umschalten zwischen
den Darstellungen die perspektivischen Verhältnisse der
wiedergegebenen Grafiken untereinander erhalten bleiben, selbst
wenn die Darstellung insgesamt in eine andere Perspektive überführt
wird.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens wird die virtuelle Fahrbahnebene in Abhängigkeit
von einer ausgewerteten Verkehrssituation und/oder einer Bedienaktion
des Benutzer des Fahrzeugs, insbesondere einen Insassen und/oder
Fahrer des Fahrzeugs, gedreht und/oder gekippt, insbesondere um
eine zur virtuellen Fahrbahnebene vertikalen Achse, wobei der perspektivische
Zusammenhang in der hierdurch generierten Anzeige, insbesondere
der perspektivische Zusammenhang zwischen der virtuellen Fahrbahnebene
und dem Rest der Darstellung, im Wesentlichen erhalten bleibt. Z.
B. kann eine Verschiebung des durch die virtuelle Fahrbahnebene
wiedergegebenen Fahrbahnbereichs in Abhängigkeit von der
Betätigung des Blinksignals durch den Fahrer und von der Erkennung
eines Objektes auf einer Nachbarspur erfolgen.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens wird die reale Position der Fahrbahnbegrenzungen und/oder
Fahrbahnmarkierungen anhand von Informationen aus einem Navigationssystem
ermittelt, insbesondere durch Verrechnung von globalen Koordinaten,
vorzugsweise GPS-Koordinaten, der Fahrbahnbegrenzungen und/oder
Fahrbahnmarkierungen aus dem Navigationssystem mit odometrischen
Daten des Fahrzeugs.
-
In
einer vorteilhaften Ausgestaltung kann die erfindungsgemäße
Darstellung auf die Erkennung der Fahrbahngrenzen verzichten und
nur auf der Erkennung und Wiedergabe der mittleren Spurmarkierung
basieren. Dies ist einfacher zu realisieren, da die Markierungen,
insbesondere die Mittellinien, sehr einfach erkannt werden können,
gegebenenfalls auch aus Daten des Navigationssystems.
-
Die
oben beschriebenen Varianten des erfindungsgemäßen
Verfahrens weisen eine Reihe von Vorteilen auf. Die generierte Darstellung
erleichtert die Orientierung, da die Objekte „wie aus der
Fahrerposition” dargestellt werden, und nicht aus der Perspektive,
in der die Objekte mit der entsprechenden Objekterkennungsvorrichtung
aufgenommen wurden. Das erfindungsgemäße Verfahren
vermindert die Störung bzw. Ablenkung des Fahrerblicks
von der Fahrbahn. In vorteilhafter Weise kann die erfindungsgemäße
Darstellung auch auf einem Head-Up-Display mit einer geringen verfügbaren
Darstellungsgröße bzw. -winkel realisiert werden.
Der Fahrer des Fahrzeugs hat ferner optional die Möglichkeit,
zwischen einzelnen Spuren der Fahrbahn umzuschalten. Vorzugsweise
erfolgt die erfindungsgemäße Darstellung derart,
dass der Benutzer, insbesondere ein Insasse und/oder Fahrer, des
Fahrzeugs diese Darstellung vom realen Bild, gesehen aus der Windschutzscheibe,
unterscheiden kann. Die gegenseitigen Störungen zwischen
der realen Ansicht auf die Umgebung des Fahrzeugs und der Darstellung
sind somit sehr gering. Die Darstellung ist ferner intuitiv interpretierbar
und vorzugsweise ästhetisch vorteilhaft und hat somit auch
einen kommerziellen Vorteil.
-
In
einer Ausführungsform der Erfindung ist die Anzeigevorrichtung
Teil eines externen Geräts außerhalb des Fahrzeugs,
z. B. eines Mobiltelefons, wobei Informationen von dem Fahrzeug
an das externe Gerät übermittelt werden, insbesondere
drahtlos übermittelt werden. Vorzugsweise kann der Benutzer dabei
die Position eines Insassen, aus dessen Perspektive die Umgebung
des Fahrzeugs darzustellen ist, über das externe Gerät
aus mindestens zwei Positionen auswählen.
-
Neben
dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine
Anzeigevorrichtung zur Darstellung von zumindest teilweise erkannter Umgebung
eines Fahrzeugs für einen Benutzer des Fahrzeugs aus der
Perspektive eines Insassen, insbesondere des Fahrers, des Fahrzeugs,
wobei die Umgebung des Fahrzeugs zumindest teilweise mit einer oder
mehreren Objekterkennungsvorrichtungen automatisch erkannt wurde
und die von dem Benutzer des Fahrzeugs wahrnehmbare Position der Anzeige
der Anzeigevorrichtung außerhalb des Fahrzeuginnenraums
liegt. Die Anzeigevorrichtung umfasst dabei ein Mittel zur Generierung
einer virtuellen Fahrbahnebene umfassend die mit einer der Objekterkennungsvorrichtungen
erkannten Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen. Es ist
ferner ein Mittel vorgesehen, mit dem für ein oder mehrere
weitere, durch eine der Objekterkennungsvorrichtungen erkannten
Objekte jeweils eine Position relativ zu der virtuellen Fahrbahnebene
ermittelbar ist, bei der die geometrischen Verhältnisse
zwischen dem jeweiligen Objekt und den Fahrbahnbegrenzungen und/oder
Fahrbahnmarkierungen im Wesentlichen den realen geometrischen Verhältnissen
für die Perspektive des Insassen des Fahrzeugs entsprechen.
Die Anzeigevorrichtung ist dabei derart ausgestaltet, dass das oder
die weiteren Objekte an der oder den ermittelten Positionen und
die virtuelle Fahrbahnebene in Abhängigkeit von einem oder mehreren
Kriterien auf der Anzeige dargestellt werden. Mit der erfindungsgemäßen
Anzeigevorrichtung ist vorzugsweise jede Variante des oben beschriebenen
Verfahrens durchführbar. Die erfindungsgemäße Anzeigevorrichtung
kann in einem oder mehreren Steuergeräten oder -einheiten
des Fahrzeugs verbaut oder integriert werden.
-
Neben
der oben beschriebenen Anzeigevorrichtung betrifft die Erfindung
ferner ein Fahrzeug, welches eine solche Anzeigevorrichtung umfasst.
-
Ausführungsbeispiele
der Erfindung werden nachfolgend anhand der beigefügten
Figuren detailliert beschrieben.
-
Es
zeigen:
-
1 eine
schematische Darstellung des aus dem Stand der Technik bekannten
Kamerasystems nach MIDIAS;
-
2 eine
schematische Darstellung eines Fahrzeugs mit darin verbauter objekterkennender Kamera;
-
3 eine
schematische Darstellung zur Verdeutlichung der Perspektiven, aus
denen Objekte durch eine objekterkennende Kamera und einen Fahrer
gesehen werden;
-
4 eine
schematische Darstellung eines Ausführungsbeispiels des
erfindungsgemäßen Verfahrens;
-
5 ein
Beispiel einer mittels des erfindungsgemäßen Verfahrens
generierten Darstellung der Fahrzeugumgebung, und
-
6 ein
Beispiel einer mittels des erfindungsgemäßen Verfahrens
generierten Darstellung der Fahrzeugumgebung einschließlich
einer vergrößerten Objektansicht.
-
1 bis 3 wurden
bereits weiter oben bei der Darlegung der der Erfindung zu Grunde
liegenden Problemstellung detailliert erläutert, so dass auf
eine nochmalige Beschreibung dieser Figuren verzichtet wird.
-
4 zeigt
in schematischer Darstellung ein Beispiel einer Realisierung der
Erfindung. Dabei wird die Fahrzeugumgebung mit dem aus dem Stand
der Technik bekannten MIDIAS-Kamerasystem aufgenommen, welches zum
einen eine monokulare Kamera und zum anderen eine 3D-TOF-Kamera
bzw. einen 3D-TOF-Sensor umfasst, der den Abstand zu Objektpunkten über
Flugzeitmessung ermittelt. Das MIDIAS-Kamerasystem ist dabei im
vorderen Bereich des Fahrzeugs verbaut und erfasst somit einen vor
dem Fahrzeug liegenden Bereich der Fahrzeugumgebung. Wie bereits
weiter oben in Bezug auf 1 beschrieben wurde, werden
die Daten der monokularen Kamera und die Daten des 3D-TOF-Sensors
miteinander fusioniert. Mit Hilfe der Datenfusion können
z. B. verschiedene Klassen von Objekten erkannt werden. Basierend
auf den Daten der monokularen Kamera erfolgt in der dargestellten
Variante der Erfindung ferner eine Spurenerkennung der vor dem Fahrzeug
liegenden Fahrspuren, wobei die Informationen aus der Spurerkennung
auch bei der Datenfusion berücksichtigt werden.
-
Nach
der Datenfusion werden repräsentative Symbole und Texturen
generiert und ausgewählt, welche für die Darstellung
der Fahrzeugumgebung in der entsprechenden Anzeigevorrichtung eingesetzt werden.
Darüber hinaus wird aus dem über den 3D-TOF-Sensor
ermittelten Abstand zu den Objektpunkten, gegebenenfalls unter Berücksichtigung
von Informationen aus den fusionierten Daten, eine Positionsverschiebung
ermittelt, welche berücksichtigt, dass sich die Position
des Kamerasystems von der Fahrerposition unterscheidet, wie dies
beispielsweise auch in der Abbildung der 3 dargestellt
ist. Basierend auf der Positionsverschiebung wird eine Soll-Position
ermittelt, mit der die von dem Kamerasystem erkannten Objekte in
der Darstellung zur richtigen Wiedergabe der realen geometrischen
Verhältnisse positioniert sein sollen. Diese Soll-Position fließt
bei der Erzeugung der Darstellung ein, wobei die Darstellung beispielsweise
als eine 1-Bit-Grafik generiert wird und die erkannten Objekte an
den Soll-Positionen in der Form der generierten Symbole und Texturen
enthält. Darüber hinaus kann auch eine Tiefeninformation
bei der Generierung der Darstellung berücksichtigt werden,
welche sich aus dem Abstand zu den Objektpunkten ergibt, der über
den 3D-TOF-Sensor ermittelt wurde. In der generierten Darstellung
wird ferner eine virtuelle Fahrbahnebene erzeugt, welche basierend
auf den Spurenpositionen bestimmt wird, welche mittels der Spurerkennung
ermittelt wurden. Die Darstellung wird dabei in einem Head-Up-Display
(abgekürzt HUD) für den Fahrer wiedergegeben.
-
Zusammenfassend
wird somit eine Darstellung generiert, welche eine virtuelle Fahrbahnebene mit
entsprechend erkannten Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen
sowie weitere erkannte Objekte aus der Fahrzeugumgebung umfasst,
wobei die weiteren Objekte an Positionen angeordnet sind, bei denen
die geometrischen Verhältnisse zwischen dem jeweiligen
Objekt und den Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen den
realen geometrischen Verhältnissen für die Perspektive
des Fahrers des Fahrzeugs entspricht.
-
5 zeigt
beispielhaft eine mittels des erfindungsgemäßen
Verfahrens generierbare Darstellung. Man erkennt, dass die Darstellung
die virtuelle Fahrbahnebene mit zwei Fahrspuren 2 und 3 sowie Bereichen 4 und 5 neben
den Fahrspuren umfasst. In der Darstellung werden dabei die Bereiche
neben den Fahrspuren als entsprechende Texturen realisiert. Durch
ein objekterkennendes System wurde ein Objekt O in der Form einer
Person erfasst, welche sich auf der Fahrbahn befindet. Die Position
des Objekts, wie es aus der Verbauposition des objekterkennenden
Systems gesehen wird, ist dabei in 5 durch
das Objekt O' angedeutet, welches nicht Bestandteil der generierten
Darstellung ist. Erfindungsgemäß wird basierend
auf der Position des Objekts O' nunmehr die Position ermittelt,
in welcher das Objekt gesehen werden müsste, damit die
wiedergegebenen Proportionen gegenüber der realen Szene, wie
diese aus der Fahrerposition gesehen wird, eingehalten werden. Diese
korrigierte Objektposition entspricht der Position des Objekts O,
welches Teil der generierten Darstellung ist. Die neue Objektposition
wird dabei mittels einer Transformation berechnet, welche in 5 mit
einem entsprechenden Pfeil T angedeutet ist, der nicht Bestandteil
der Darstellung ist.
-
Die
in 5 gezeigte Darstellung kann insbesondere im Head-Up-Display
des Fahrzeugs erfolgen, und die erkannten Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen
können beispielsweise über ein entsprechendes
Spurführungsassistenzsystem ermittelt werden. Das dargestellte
Objekt kann beispielsweise basierend auf Daten des oben erwähnten
MIDIAS-Systems oder mit einem Nachtsicht-System erkannt werden.
In der Darstellung wird nicht das tatsächlich erfasste
Objekt, sondern ein entsprechendes Symbol für dieses Objekt
wiedergegeben, so dass der Fahrer sehr gut zwischen der realen Umgebung
und der virtuellen Darstellung unterscheiden kann.
-
Die
in 6 gezeigte Darstellung enthält zusätzlich
zu der Darstellung gemäß 5 eine vergrößerte
Darstellung 8 des Objekts O. Die Verbindungslinien 6 und 7 zeigen
dem Benutzer des Fahrzeugs, der in der hier beschriebenen Ausführungsform
der Fahrer ist, den Bezug zwischen der kleinen Darstellung des Objekts
auf der virtuellen Fahrbahn und der vergrößerten
Darstellung 8 des Objekts. Sowohl die Darstellung des Objekts
auf der virtuellen Ebene als auch die vergrößerte
Darstellung des Objekts sind dabei als ein Symbol ausgestaltet.
Die vergrößerte Darstellung des Objekts ist auf
einem weiteren Bereich der Anzeige als ein auf Basis der Erfassung
des Objekts im Infrarotspektrum generiertes Bild mit einer betonten
Kantenstruktur ausgebildet. Die Anzeige gemäß 6 vermittelt
somit dem Benutzer die relativen Positionen der Objekte durch eine
symbolhaft abgebildete Übersicht sowie eine vergrößerte
und für eine bessere Wahrnehmbarkeit verarbeitete Objektabbildung.
-
Wie
sich aus den obigen Ausführungen ergibt, kann mit einem
oder mehreren Objekterkennungssystemen nicht nur die Objekterkennung durchgeführt
werden, sondern auch eine Information zur Generierung der Darstellung
gewonnen werden. Dabei kann beispielsweise aus der verfügbaren
Tiefeninformation ermittelt werden, wie weit ein erkanntes Hindernis
vom Fahrzeug entfernt ist. Daraus wird wiederum der Versatz ermittelt,
mit welchem das in der Darstellung anzuzeigende Symbol für
dieses Hindernis relativ zu den Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen
verschoben werden soll. Die Ermittlung dieses Versatzes beruht dabei
auf der Kenntnis der geometrischen Zusammenhänge zwischen
der Fahrerposition, dem Verbauort der Vorrichtung, welche die Fahrspuren
erkennt (z. B. eine monokulare Kamera eines Spurführungsassistenzsystems),
und dem Verbauort der Vorrichtung, welche die Tiefeninformation
liefert (z. B. der 3D-TOF-Sensor des MIDIAS-Kamerasystems oder gegebenenfalls
ein entsprechender Radar-/Lidar-Sensor). Es wird somit das Symbol
für das Hindernis in der Darstellung an einer solchen Stelle
relativ zu den wiedergegebenen Fahrbahnmarkierungen bzw. Fahrbahnbegrenzungen
angezeigt, wie das reale Hindernis relativ zu den realen Fahrbahnmarkierungen
steht. Der Fahrer weiß somit, an welcher Stelle sich das
reale Hindernis befindet.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102005062151
A1 [0006]
- - DE 102005020772 A1 [0007]
- - EP 1647807 A1 [0008]
- - DE 102008051593 [0027]