DE102023002181B3

DE102023002181B3 - Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug

Info

Publication number: DE102023002181B3
Application number: DE102023002181.4A
Authority: DE
Inventors: Christian Schneider
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-05-30
Filing date: 2023-05-30
Publication date: 2024-03-14
Anticipated expiration: 2043-05-31
Also published as: WO2024245635A1; CN121241367A

Abstract

Die Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, wobei eine Recheneinheit (5) mittels einer Fahrerbeobachtungskamera (3) Fahrer-Blickrichtungen unter Bezug auf die Umgebung ermittelt und prüft, ob damit ein Objekt der Umgebung verfolgt wird, und im positiven Fall eine Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem Positions-Verlauf nach den Daten einer Umfeld-Sensoreinheit (1) in einem Projektionsbild ermittelt und zur Minimierung der Abweichung einen Filterparameter eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters anpasst, sowie die Anzeigeeinheit (7) zum gefilterten Anzeigen der zeitabhängigen Position des verfolgten Objekts ansteuert.

Description

Die Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, ein Fahrzeug mit einem solchen System, sowie ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs.
Im Stand der Technik ist es bekannt, ein aus Sensordaten gewonnenes Umfeldmodell zur Nachvollziehung von Sensordaten über Objekte im Umfeld als Bild zu erzeugen und zu rendern, und auf einer Anzeigevorrichtung anzuzeigen.
Die DE 10 2021 201 065 A1 betrifft in diesem Zusammenhang ein Verfahren zum Anzeigen eines Umfeldmodells einer Umgebung eines Kraftfahrzeugs mittels eines Umfelderfassungssystems des Kraftfahrzeugs, bei welchem mittels zumindest einer Erfassungseinrichtung des Umfelderfassungssystems die Umgebung des Kraftfahrzeugs erfasst wird und die erfasste Umgebung grafisch auf einer Anzeigeeinrichtung des Umfelderfassungssystems als das Umfeldmodell angezeigt wird, wobei im Umfeldmodell eine Mehrspurigkeit einer Fahrbahn, auf welcher sich das Kraftfahrzeug befindet und welche zumindest zwei in gleicher Richtung befahrbare Spuren aufweist, angezeigt wird, wobei von einer kraftfahrzeugexternen elektronischen Recheneinrichtung Schwarmdaten mittels einer Schwarmdatenempfangseinrichtung des Umfelderfassungssystems empfangen werden, wobei auf Basis der Schwarmdaten die Mehrspurigkeit der Fahrbahn erkannt und angezeigt wird.
Die DE 10 2018 112 345 A1 betrifft ferner ein Verfahren zur Erzeugung von Hochdynamikbereich-Bildern mit einem HDR-Kamerasystem, wobei das Verfahren umfasst ein Aufnehmen einer Vielzahl von Kamerabelichtungen mit einer Kamera des HDR-Kamerasystems, ein Erzeugen eines ersten HDR-Bilds aus einem ersten Unter-Satz der Vielzahl von Kamerabelichtungen, wobei jede Kamerabelichtung des ersten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist, und ein Erzeugen eines zweiten HDR-Bilds aus einem zweiten Unter-Satz der Vielzahl von Kamerabelichtungen, wobei der zweite Unter-Satz zumindest eine Belichtung aus dem ersten Unter-Satz und zumindest eine zusätzliche Belichtung, die vor kürzerer Zeit als die Belichtungen des ersten Unter-Satzes aufgenommen wurde, umfasst, wobei jede Belichtung des zweiten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist.
Eine Sensoreinheit im Fahrzeug weist dabei typischerweise den Zweck auf, Daten für ein Fahrerassistenzsystem zu gewinnen. Dies erfolgt im Rahmen der Umfeldperzeption, welche die primäre Aufgabe hat, Daten für Fahrerassistenzsysteme wie Fahrfunktionen oder Parkfunktionen des Fahrzeugs zu erzeugen. Dementsprechend sind die Sensordaten primär für solche Fahrerassistenzsysteme geeignet, nicht jedoch damit unbedingt auch optimal für eine Visualisierung eines Umfeldmodells mit bewegten und/oder statischen Objekten in der Umgebung um das Fahrzeug, welches mithilfe dieser Daten der Sensoreinheit ermittelt wird. Ein solches Umfeldmodell kann dabei beispielsweise aus den Daten der Sensoreinheit direkt bzw. mithilfe des Ergebnisses einer statischen oder dynamischen Sensordatenfusion erzeugt werden. Dieses Vorgehen wird auch genannt „Navistenz“. Dabei werden typischerweise ADAS (kurz für „advanced driver assistance system“) Sensordaten und Navigationsdaten auf einem zentralen Bildschirm dem Fahrer zur Anzeige gebracht.
Die Visualisierung des Umfeldmodells dient insbesondere dem Zweck, das Verhalten eines solchen Fahrerassistenzsystems für den Fahrer nachvollziehbar zu machen, während sich die Visualisierung selbst jedoch primär auf die Daten im Perzeptionskanal des Fahrzeugs stützt, welcher eine Vielzahl von Sensoren des Fahrzeugs einzeln oder in Datenfusion miteinander kombiniert verwenden kann. Wegen der oben genannten zum Teil vorliegenden mangelnden Geeignetheit der Daten über das Umfeldmodell zur Visualisierung können jedoch die visualisieren Daten einen hohen zeitlichen Jiitter oder einen räumlichen Offset aufweisen, jeweils mit der Folge einer räumlichen Instabilität eines angezeigten Objekts relativ zur Umgebung - für den betrachtenden Fahrer kann ein solches Verhalten durch wackelnde Objekte in der Darstellung in Erscheinung treten und störend wirken. Die Qualität der Objekterkennung kann stark von der Objektklasse (vor allem bei datengetriebenen Ansätzen) und den jeweiligen Umgebungsbedingungen abhängen. Es bietet sich daher zur Bereinigung des Verhaltens der Objekte bezüglich ihrer Position in ihrer Darstellung an, eine Filterkette zu verwenden (beispielsweise Boxfilter über mehrere Frames, oder Kalman Filter).
Die Störungen bzw. das Rauschen und Artefakte in der Visualisierung durch Filterschleifen zu entfernen ist tendenziell aufwändig. Dieser Ansatz führt ferner dazu, dass unabhängig von der Sensorgüte und den Umgebungsbedingungen der Filter sämtliche Objekte gleich filtert - und dies wiederum kann zu einer zu starken oder zu einer zu geringen Filterung der darzustellenden Objekte bezüglich ihrer Position führen. Eine solche Filterkette mit nicht optimalen Parametern kann sogar dazu führen, dass Objekte in der Visualisierung träge erscheinen. Dieser Effekt tritt insbesondere dann ein, wenn zeitliche Filter mit festen Fensterbreiten auf die Daten angewendet werden. Hierdurch weisen die Daten mitunter eine zeitliche Stabilität auf, wirken aber gleichermaßen für die Visualisierung träge. Es entsteht dementsprechend ein Zielkonflikt zwischen Artefaktbereinigung und realitätsgetreuer Anzeige auf einer Anzeigeeinheit.
Aufgabe der Erfindung ist es, eine Filterung von anzuzeigenden Informationen über Objekte in ihrer Lage in einem Umfeldmodell zu verbessem.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend eine Sensoreinheit zum Ermitteln von Sensordaten über die Objekte, eine Fahrerbeobachtungskamera, eine Recheneinheit und eine Anzeigeeinheit, wobei die Recheneinheit dazu ausgeführt ist, mittels der Daten der Fahrerbeobachtungskamera eine jeweils aktuelle Blickrichtung des Fahrers zu ermitteln, die jeweilige Blickrichtung auf ein betrachtetes Ziel in der Umgebung zu beziehen, und einen Verlauf der betrachteten Ziele daraufhin zu prüfen, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen, eine Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild zu ermitteln und zumindest einen Filterparameter eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so anzupassen, dass der durch die Anwendung des Filters auf der Anzeigeeinheit anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird, sowie die Anzeigeeinheit anschließend so anzusteuern, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit durch den angepassten Filterparameter bestimmt wird.
Die Aufgabe der Erfindung wird insbesondere dadurch gelöst, dass Augenbewegungen des Fahrers beobachtet werden und herangezogen werden, um die dadurch zur Verfügung stehenden Informationen mit denen aus dem Umfeld-Perzeptionskanal des Fahrzeugs zu kombinieren und zu harmonisieren. In anderen Worten werden die aus der Sensoreinheit gewonnenen Daten zur Anzeige von dynamischen und/oder statischen Objekten bezüglich der Umgebung des Fahrzeugs durch relevante Informationen aus den Augenbewegungen und daraus ableitbaren Blickrichtungen des Fahrers gestützt.
Insbesondere erfolgt diese Stützung dadurch, dass ein oder mehrere Parameter eines oder mehrerer Filter, welche insbesondere eine dynamische Bandbreite des einen oder mehrerer Filter bestimmt, als Optimierungsvariable dient, um einen Positions-Verlauf eines durch Blicke verfolgten Objekts für die Anzeige zu optimieren; dies erfolgt insbesondere so, dass dieser Positions-Verlauf eines durch Blicke verfolgten Objekts der Blick-Trajektorie im Bezug auf die Umgebung des Fahrzeugs und damit idealerweise dem Objekt selbst folgt. Dass dieses Folgeverhalten sich so ergibt, ist dem Wert des zumindest einen Filterparameters zuzurechnen, welcher entsprechend optimiert wird.
Es ist dabei prinzipiell unerheblich, ob ein Filterparameter eines oder mehrerer Filter angepasst wird, ob ein oder mehrere Filter verwendet werden, sowie ob viele Filterparameter eines Filters oder Filterparameter mehrerer Filter angepasst werden. Ausschlaggebend ist lediglich der Umstand, dass das Verhalten einer angewendeten Filterkette wie oben und im Folgenden erläutert angepasst wird. Als Filter kann insbesondere ein Kalmanfilter verwendet werden. Beispiele für verschiedene Filterparameter sind ein Filterfenster und die Filterfunktion.
Die Fahrerbeobachtungskamera erfasst unmittelbar die Augenbewegungen. Aus den Augenbewegungen kann eine Blickrichtung eines jeweiligen Auges ermittelt werden, womit auch der Fokus bekannt ist. Um die Blickrichtungen des Fahrers der Umgebung zuordnen zu können, ist ein entsprechend kompatibles Datenformat mit den Informationen aus der Sensoreinheit notwendig. Dies wird mittels des Projektionsbilds erreicht, in dem insbesondere die Informationen der Sensoreinheit über die Umgebung auf dieses bevorzugt zweidimensionale Projektionsbild abgebildet werden, und die Blickrichtungen entsprechenden Koordinaten in diesem Projektionsbild zugeordnet werden. Mit dem Projektionsbild ist damit eine gemeinsame Basis zum Vergleich der Informationen der Sensoreinheit über die Umgebung sowie die Blickrichtungen in die Umgebung geschaffen.
Als Projektionsbild wird bevorzugt ein sogenanntes „Range Image“ verwendet (dieses ist im Wesentlichen das Ergebnis einer Projektion einer 3D Umgebung auf eine 2D Ebene). Es können somit unmittelbare geometrische Vergleiche angestellt werden, welche Bahnen die Blickrichtungen des Fahrers in der Umgebung überstreichen, oder welchem gegenüber der übrigen Umgebung sich bewegenden Objekt sie folgen, und welche Informationen der Sensoreinheit bezüglich dieser Bahnen bzw. Objekte vorliegen.
Es wird dabei insbesondere von der Recheneinheit auf Basis dieser Blickrichtungen des Fahrers ermittelt, ob der Fahrer über einen vorgegebenen Zeitraum hin ein Objekt mit seinen Blicken verfolgt, d. h. über den vorgegebenen Zeitraum es fokussiert und seine Blickrichtung dem Objekt folgt. Die Recheneinheit stellt damit sicher, dass der Fahrer ein bewegliches Objekt konstant über eine längere Zeit beobachtet und fokussiert. Die Überprüfung findet insbesondere dadurch statt, dass ein Bereich um ein festes Fenster auf dem Projektionsbild wie einem „Range Image“ bestimmt wird. Ist der Bereich wiederkehrend konstant, kann davon ausgegangen werden, dass die gleiche objektbezogene Position fokussiert wird. Daraus kann ein Spline eines beweglichen Objekts auf der 2D Ebene des Projektionsbilds wie eines „Range Images“ abgeleitet werden. Ein jeweiliger Spline wird dann als Referenzspline genutzt, um den zumindest einen Filterparameter anzupassen.
Mit der Erfüllung dieser Voraussetzungen liegen relevante Informationen auf Basis der erfassten Augenbewegungen des Fahrers vor, welche zum weiteren Vorgehen weiterverwendet werden können. Es wird daher noch geprüft, ob das von den Blicken des Fahrers verfolgte Objekt auch mit ausreichend Informationen der Sensoreinheit erfasst wurde, und dieses Objekt an einer Anzeigeeinheit des Fahrzeugs, insbesondere einem zentralen Bildschirm im Innenraum des Fahrzeugs, so angezeigt werden soll, dass sich der Fahrer gemäß der Anzeigeeinheit ein räumliches Abbild der Umgebung mithilfe dem auf der Anzeigeeinheit dargestellten Umgebungsmodell machen könnte.
Sind diese Bedingungen erfüllt, wird nach dem oben beschriebenen Verfahren fortgefahren, nach dem im Projektionsbild eine geometrische Abweichung der Bahn des verfolgten Objekts gemäß den Daten aus der Fahrerbeobachtungskamera und dem Position-Verlauf gemäß der Sensoreinheit verglichen werden. Die Trajektorie eines relativ zur Umgebung bewegten Objekts im 3D Raum kann durch die Sensoreinheit aufgezeichnet und mittels des Filters angepasst werden. Jene aktualisierte Filterkette wird nun bevorzugt in das Projektionsbild projiziert und mit dem Referenzspline verglichen. Die resultierende Abweichung kann beispielsweise als die orthogonale L2 Distanz definiert werden.
Das Ziel der darauf folgenden Optimierung ist insbesondere die Minimierung jener Abweichung. Der zumindest eine Filterparameter wird dabei so angepasst, dass sich der Positions-Verlauf gemäß der Sensoreinheit an die verfolgte Trajektorie gemäß Blickverhalten des Fahrers anpasst. Damit ist ein verbesserter Filterparameter-Wert erhalten, und der Positions-Verlauf des Objekts kann zuverlässiger und realitätsnäher auf der Anzeigeeinheit dargestellt werden. Ist das entsprechende Minimum oder das Abbruchkriterium erreicht, wird die Optimierung beendet und das zugrunde liegende Filterset genutzt, um für einen entsprechenden Zeitraum die ADAS Perzeptions-Daten zu filtern und der Visualisierung zur Verfügung zu stellen.
Das Objekt, welches mit dem Filter mit dem zu ändernden Filterparameter zur Anzeige auf der Anzeige in seinem Verlauf beaufschlagt wird, ist insbesondere ein dynamisches Objekt, d. h. ein gegenüber der übrigen Umgebung bewegtes Objekt, wie ein weiterer Verkehrsteilnehmer. Gerade weitere Verkehrsteilnehmer bestimmen maßgeblich über das Verhalten eines Fahrerassistenzsystems, insbesondere wenn dieses reaktiv tätig wird, d. h. eine Reaktion auf den umgebenden Verkehr ausübt. Gerade solche Reaktionen sind für den Fahrer des Fahrzeugs von Interesse, sie nachzuvollziehen, wofür das Umfeldmodell mit den insbesondere bewegten Objekten in der Umgebung des Fahrzeugs an der Anzeigeeinheit dargestellt wird.
Eine Optimierungsschleife kann entweder in vorgegebenen Zeitabständen initialisiert werden oder aber an die Verfügbarkeit des Referenzsplines geknüpft werden; letzteres ist vor allem in ländlichen Umgebungen vorteilhaft. Ebenso ist eine Kopplung an ein Perzeptions-Gütemaß denkbar. Eine laufende Wiederholung der Optimierung ist typischerweise notwendig, da die Qualität der Sensordaten stark schwanken kann und unter Umständen abhängig vom Verschmutzungsgrad der Sensoren, der jeweiligen Lichtsituation oder Wetterverhältnissen sein kann.
Vorteilhafte Wirkungen der Erfindung sind, dass durch die adaptive Anpassung der Assistenzvisualisierung die Objekte in der Umgebung natürlicher auf der Anzeigeeinheit dargestellt werden, und dies unabhängig von Licht und Wetterverhältnissen. Werden bewegte Objekte in der Umgebung des Fahrzeugs dargestellt, können diese außerdem unabhängig von der statischen Szenerie verbessert dargestellt werden. Das beschriebene System und Verfahren kann zudem eine Vielzahl von Filterparameter in der Optimierung anpassen, und ist unabhängig von der konkreten Verwendung von Sensortypen in der Sensoreinheit, sowie ob diese miteinander fusioniert werden. Einzelne Sensoren der Sensoreinheit können beispielsweise sein: Kamera, Radar, Lidar.
Gemäß einer vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, zur Ermittlung der Abweichung Daten der Sensoreinheit in ein zweidimensionales Projektionsbild zu projizieren, und die Blickrichtungen den Koordinaten des Projektionsbilds zuzuordnen, sodass der Verlauf der betrachteten Ziele der Blickrichtungen im Projektionsbild und der Positions-Verlauf eines jeweiligen Objekts im Projektionsbild auf gleiche normierte Positionen der Umgebung bezogen sind und somit eine jeweilige direkte geometrische Differenz zur Bestimmung der Abweichung ermittelt werden kann.
Die geometrische Differenz wird bevorzugt als L2-Distanz berechnet, besonders bevorzugt als für einen jeweiligen Zeitpunkt gültiges Integral der Abstände zwischen dem Spline der fokussierten Blickpunkte auf dem verfolgten Objekt und dem auf dasselbe Referenz-Projektionsbild bezogenen Bahnverlauf des Objekts gegenüber der Umgebung gemäß der Sensordaten.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst der Filter zumindest einen der folgenden: Kalmanfilter, Boxfilter, Tiefpassfilter, gleitender-Mittelwert-Filter.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, ein jeweiliges Objekt, welches von der Sensoreinheit erfasst wird, zu klassifizieren, und abhängig vom Ergebnis der Klassifikation zur Darstellung des jeweiligen Objekts auf der Anzeigeeinheit klassenabhängig jeweils spezielle Filterparameter zu ermitteln und anzuwenden.
Verschiedene Klassen, in die insbesondere gegenüber der Umgebung bewegte Objekte eingeteilt werden können, sind beispielhaft: Fahrradfahrer, Personenkraftwagen, Lastkraftwagen, Fußgänger.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, den vorgegebenen Zeitraum abhängig von der Klassifikation des jeweiligen Objekts und/oder abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.
Gemäß einer weiteren vorteilhaften Ausführungsform weist das System weiterhin ein Kommunikationsmodul auf, wobei die Recheneinheit dazu ausgeführt ist, mittels des Kommunikationsmoduls an einen zentralen Rechner oder an einen weiteren Verkehrsteilnehmer, insbesondere einen weiteren Verkehrsteilnehmer in der gleichen Klasse wie das Fahrzeug, den zumindest einen angepassten Filterparameter zu übermitteln.
Die Klasseneinteilung des eigenen Fahrzeugs kann dabei erfolgen wie die Klassifikation der anderen Verkehrsteilnehmer. So können insbesondere die jeweiligen durch Optimierung ermittelten Filterparameter nur an weitere Personenkraftwagen weitergegeben werden, wenn das eigene Fahrzeug ein Personenkraftwagen ist.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit zur Prüfung ausgeführt, ob die Blickrichtungen während des vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und dazu, auszuwerten, ob die Ziele der Blickrichtungen zumindest während des vorgegebenen Zeitraums innerhalb eines in die Umgebung des Fahrzeugs projizierten flächigen Bereichs um ein jeweiliges Objekt liegen.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Größe des flächigen Bereichs abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit zur Prüfung ausgeführt, ob das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und dazu, einen bildanalytischen Ähnlichkeitsvergleich, insbesondere eine Ermittlung eines „structural similarity index measure“, auszuführen.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben. Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend die Schritte:

- Ermitteln von Sensordaten über die Objekte durch eine Sensoreinheit des Fahrzeugs, und jeweils durch eine Recheneinheit:
- Ermitteln mittels der Daten einer Fahrerbeobachtungskamera des Fahrzeugs einer jeweils aktuellen Blickrichtung des Fahrers;
- Beziehen der jeweiligen Blickrichtung auf ein betrachtetes Ziel in der Umgebung, und Prüfen eines Verlaufs der betrachteten Ziele daraufhin, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen:
- Ermitteln einer Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild;
- Anpassen zumindest eines Filterparameters eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so, dass der durch die Anwendung des Filters auf der Anzeigeeinheit anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird; und anschließendes
- Ansteuern der Anzeigeeinheit so, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit durch den angepassten Filterparameter bestimmt wird.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Verfahrens ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:

1: Ein System in einem Fahrzeug zum Anzeigen von Informationen über Objekte in der Umgebung des Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.
2: Ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
1 zeigt einen Ausschnitt eines Fahrzeug mit einem System zum Anzeigen von Informationen über Objekte in der Umgebung des Fahrzeugs. Das Fahrzeug weist als Teil des Systems eine Sensoreinheit 1 zum Erfassen von Sensordaten über die Umgebung des Fahrzeugs auf. In diesen Sensordaten werden daher auch entsprechende Informationen über bewegte Objekte wie weitere Verkehrsteilnehmer aufgenommen, welche sich in der erfassbaren Umgebung des Fahrzeugs befinden. Die Sensordaten dienen in erster Linie dazu, ein Fahrerassistenzsystem oder ein automatisches Fahrsteuerungssystem des Fahrzeugs mit jeweils aktuellen Informationen über die Umgebung und den darin auftretenden Verkehrsteilnehmern zu versorgen, sodass dieses entsprechende Reaktionen ausführen kann. Damit für den Fahrer des Fahrzeugs die Reaktionen nachvollziehbarer werden, werden die Daten über die Verkehrsteilnehmer an einer Anzeigeeinheit 7 des Fahrzeugs dargestellt und zwar so, dass reale Bewegungen der echten Verkehrsteilnehmer durch Bewegungen der Repräsentationen dieser Verkehrsteilnehmer auf der Anzeigeeinheit 7 abgebildet werden. Da die Sensordaten mit besonderer Eignung für die Verwendung in dem Fahrerassistenzsystem oder dem automatischen Fahrsteuerungssystem des Fahrzeugs konzipiert sind, nicht jedoch unbedingt für die Eignung zur Darstellung auf einer Anzeigeeinheit 7, werden ein oder mehrere Filter verwendet, um diese Sensordaten mit den Informationen über die weiteren Verkehrsteilnehmer und deren zeitlichen Positionsverlauf anzupassen, sodass ein realitätsnaher und glatter Positionsverlauf dieser Bewegungen der weiteren Verkehrsteilnehmer auf der Anzeigeeinheit 7 erreicht wird. Dieser zumindest eine Filter weist zumindest einen Filterparameter auf, und die Anwendung des Filters sowie die Ansteuerung der Anzeigeeinheit 7 wird durch eine Recheneinheit 5 des Systems, insbesondere aber nicht zwingend im Fahrzeug angeordnet, übernommen. Da ein im Voraus bestimmter Filterparameter nicht für alle Situationen optimal sein kann, wird vorteilhaft auf das Verhalten des Fahrers zurückgegriffen, wo dieses relevante Informationen enthält, um die Anzeige eines Positions-Verlaufs eines weiteren Verkehrsteilnehmers in der Umgebung des Fahrzeugs verbessern zu können. Dafür wird mittels einer Fahrerbeobachtungskamera 3 der zeitliche Verlauf von Blickrichtungen des Fahrers in die Umgebung erfasst, und die Blickrichtungen auf ein solches Projektionsbild der jeweils aktuellen Umgebung abgebildet, in welches auch die von der Sensoreinheit 1 erfassten Informationen abgebildet werden. Der Positionsverlauf, der durch das Streifen der Blickrichtungen über die Umgebung von der Recheneinheit 5 ermittelt wird, und der von der Sensoreinheit 1 ermittelte Positionsverlauf eines weiteren Verkehrsteilnehmers, ebenfalls abgebildet in das Projektionsbild, werden von der Recheneinheit 5 dann verglichen, wenn von der Recheneinheit 5 bereits ermittelt wurde, dass ein fokussierter Blickpunkt auf einem weiteren Verkehrsteilnehmer über einen vorgegebenen Zeitraum gehalten wird, was in der 1 als schwarzer ausgefüllter Kreis innerhalb eines rechteckigen definierten Bereichs um den weiteren Verkehrsteilnehmer skizziert ist. Der rechteckige definierte Bereich wird mittels der Sensordaten der Sensoreinheit 1 als derjenige Bereich definiert, welcher sich körperfest mit dem weiteren Verkehrsteilnehmer mitbewegt, und innerhalb dessen der Fokus der Blickrichtungen des Fahrers über einen vorgegebenen Zeitraum liegen muss, sodass von der Recheneinheit 5 erkannt werden kann, dass der Fahrer das Objekt für den vorgegebenen Zeitraum tatsächlich verfolgt. Ist dies der Fall, liegen nutzbare Informationen vor, um das Nachverfolgen des weiteren Verkehrsteilnehmers durch den Fahrer mit seinen Blicken ausnutzen zu können, um den Filter zu optimieren. Der Filterparameter wird dabei so optimiert, dass die Abweichung der mittels der Sensordaten der Sensoreinheit 1 berechneten Bewegungsdaten des weiteren Verkehrsteilnehmers möglichst denen entsprechen, die durch eine Verfolgung mit den Blickrichtungen des Fahrers des weiteren Verkehrsteilnehmers berechnet werden. Dementsprechend wird der Filterparameter angepasst und der so erhaltene Filterparameter dazu verwendet, die Bewegungsbahn des weiteren Verkehrsteilnehmers auf der Anzeigeeinheit 7 darzustellen. Weitere Details sind im Verfahren der 2 angegeben.
2 zeigt ein entsprechendes Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, welches in einem System, wie in der 1 beschrieben, ablaufen kann. In einem ersten Schritt des Verfahrens erfolgt ein Ermitteln S1 von Sensordaten über die Objekte durch eine Sensoreinheit 1 des Fahrzeugs zur Umfeldbeobachtung, hierbei können Kameras, Radar, Lidar, Ultraschallabstandssensoren und weitere typische Sensoren zum Einsatz kommen. Die Recheneinheit 5 ermittelt S2 mittels der Daten einer Fahrerbeobachtungskamera 3 des Fahrzeugs eine jeweils aktuelle Blickrichtung des Fahrers und bezieht S3 die jeweilige Blickrichtung auf ein betrachtetes Ziel in der Umgebung, indem ein Projektionsbild in Form eines sogenannten „Range Image“ bereitgestellt wird und eine Detektion der Fahrerblickrichtung auf dem zuvor abgeleiteten „Range Image“ erfolgt. Ferner erfolgt ein Prüfen eines Verlaufs der betrachteten Ziele daraufhin, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit 1 erfassten und an der Anzeigeeinheit 7 darzustellenden Objekt während des vorgegebenen Zeitraums entspricht. Prüfung ii) erfolgt durch die Bestimmung einer Korrespondenz zwischen dem fokussiertem Objekt durch den Fahrer und dem aus den Sensordaten abgeleiteten Objekt im 3D Raum mittels „structural similarity index measurement“, abgekürzt „SSIM“, der mit einem vorgegebene Grenzwert verglichen wird. Die Deckungsgleichheit wird anhand definierter Fehlermetriken geprüft. Dafür erfolgt eine wiederkehrende Bestimmung des Fahrerfokus um über mehrere Frames einen Referenzspline des Objekts auf Basis der Daten der Fahrerbeobachtungskamera 3 abzuleiten. Die Ableitung des Referenzsplines erfolgt aus den fokussierten „Range Images“. Schließlich folgt das Ermitteln S4 einer Abweichung zwischen dem Referenzspline auf Basis des Verlaufs der auf das verfolgte Objekt gerichteten Blickrichtungen, mit einem mittels der Sensoreinheit 1 auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts mit jeweiligen Bezügen auf das Projektionsbild; schließlich folgt das Anpassen S5 des zumindest einen Filterparameters zur Anzeige des vom Fahrer mit seinen Blicken angesehenen Verkehrsteilnehmers vor ihm mit dem auf die Sensordaten anzuwendenden Filter so, dass der durch die Anwendung des Filters auf der Anzeigeeinheit 7 anzuzeigende Positions-Verlauf des jeweiligen Objekts wie des Verkehrsteilnehmers aus 1 so geändert wird, dass die Abweichung verringert wird. Hierauf erfolgt das Ansteuern S6 der Anzeigeeinheit 7 so, dass tatsächlich die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit 7 durch den angepassten Filterparameter bestimmt und angezeigt wird.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste

1: Sensoreinheit
3: Fahrerbeobachtungskamera
5: Recheneinheit
7: Anzeigeeinheit
S1: Ermitteln
S2: Ermitteln
S3: Beziehen
S4: Ermitteln
S5: Anpassen
S6: Ansteuern

Claims

System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend eine Sensoreinheit (1) zum Ermitteln von Sensordaten über die Objekte, eine Fahrerbeobachtungskamera (3), eine Recheneinheit (5) und eine Anzeigeeinheit (7), wobei die Recheneinheit (5) dazu ausgeführt ist, mittels der Daten der Fahrerbeobachtungskamera (3) eine jeweils aktuelle Blickrichtung des Fahrers zu ermitteln, die jeweilige Blickrichtung auf ein betrachtetes Ziel in der Umgebung zu beziehen, und einen Verlauf der betrachteten Ziele daraufhin zu prüfen, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit (1) erfassten und an der Anzeigeeinheit (7) darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen, eine Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit (1) auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild zu ermitteln und zumindest einen Filterparameter eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so anzupassen, dass der durch die Anwendung des Filters auf der Anzeigeeinheit (7) anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird, sowie die Anzeigeeinheit (7) anschließend so anzusteuern, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit (7) durch den angepassten Filterparameter bestimmt wird.
System nach Anspruch 1, wobei die Recheneinheit (5) dazu ausgeführt ist, zur Ermittlung der Abweichung Sensordaten der Sensoreinheit (1) in ein zweidimensionales Projektionsbild zu projizieren, und die Blickrichtungen den Koordinaten des Projektionsbilds zuzuordnen, sodass der Verlauf der betrachteten Ziele der Blickrichtungen im Projektionsbild und der Positions-Verlauf eines jeweiligen Objekts im Projektionsbild auf gleiche normierte Positionen der Umgebung bezogen sind und somit eine jeweilige direkte geometrische Differenz zur Bestimmung der Abweichung ermittelt werden kann.
System nach einem der vorhergehenden Ansprüche, wobei der Filter zumindest einen der folgenden umfasst: Kalmanfilter, Boxfilter, Tiefpassfilter, gleitender-Mittelwert-Filter.
System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, ein jeweiliges Objekt, welches von der Sensoreinheit (1) erfasst wird, zu klassifizieren, und abhängig vom Ergebnis der Klassifikation zur Darstellung des jeweiligen Objekts auf der Anzeigeeinheit (7) klassenabhängig jeweils spezielle Filterparameter zu ermitteln und anzuwenden.
System nach Anspruch 4, wobei die Recheneinheit (5) dazu ausgeführt ist, den vorgegebenen Zeitraum abhängig von der Klassifikation des jeweiligen Objekts und/oder abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.
System nach einem der vorhergehenden Ansprüche, weiterhin aufweisend ein Kommunikationsmodul, wobei die Recheneinheit (5) dazu ausgeführt ist, mittels des Kommunikationsmoduls an einen zentralen Rechner oder an einen weiteren Verkehrsteilnehmer, insbesondere einen weiteren Verkehrsteilnehmer in der gleichen Klasse wie das Fahrzeug mit dem System, den zumindest einen angepassten Filterparameter zu übermitteln.
System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) zur Prüfung ausgeführt ist, ob die Blickrichtungen während des vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und dazu, auszuwerten, ob die Ziele der Blickrichtungen zumindest während des vorgegebenen Zeitraums innerhalb eines in die Umgebung des Fahrzeugs projizierten flächigen Bereichs um ein jeweiliges Objekt liegen.
System nach Anspruch 7, wobei die Recheneinheit (5) dazu ausgeführt ist, die Größe des flächigen Bereichs abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.
System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) zur Prüfung ausgeführt ist, ob das verfolgte Objekt einem mit der Sensoreinheit (1) erfassten und an der Anzeigeeinheit (7) darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und dazu, einen bildanalytischen Ähnlichkeitsvergleich, insbesondere eine Ermittlung eines „structural similarity index measure“, auszuführen.
Fahrzeug mit einem System nach einem der vorhergehenden Ansprüche.
Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend die Schritte: - Ermitteln (S1) von Sensordaten über die Objekte durch eine Sensoreinheit (1) des Fahrzeugs; und jeweils durch eine Recheneinheit (5): - Ermitteln (S2) mittels der Daten einer Fahrerbeobachtungskamera (3) des Fahrzeugs einer jeweils aktuellen Blickrichtung des Fahrers; - Beziehen (S3) der jeweiligen Blickrichtung auf ein betrachtetes Ziel in der Umgebung, und Prüfen eines Verlaufs der betrachteten Ziele daraufhin, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit (1) erfassten und an der Anzeigeeinheit (7) darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen: - Ermitteln (S4) einer Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit (1) auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild; - Anpassen (S5) zumindest eines Filterparameters eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so, dass der durch die Anwendung des Filters auf der Anzeigeeinheit (7) anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird; und anschließendes - Ansteuern (S6) der Anzeigeeinheit (7) so, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit (7) durch den angepassten Filterparameter bestimmt wird.