DE102011084367A1

DE102011084367A1 - Feststellen der fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes

Info

Publication number: DE102011084367A1
Application number: DE102011084367A
Authority: DE
Inventors: Felix Schwarz; Lutz Lorenz
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2011-10-12
Filing date: 2011-10-12
Publication date: 2013-04-18

Abstract

Ein Aspekt der Erfindung betrifft ein Verfahren zum Feststellen einer fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes. Gemäß dem Verfahren wird fahrzeugseitig die Position oder Richtung eines Objekts bestimmt. Alternativ oder zusätzlich kann die Position des Objekts auch mittels einer Funkeinrichtung empfangen werden. Außerdem wird die Blickrichtung des Fahrers bestimmt. Bei dem Verfahren wird geprüft, ob der Blick auf das Objekt trifft, d. h. ob der Fahrer den Blick auf das Objekt richtet. Hierzu wird die Blickrichtung und die Position und/oder Richtung des Objekts ausgewertet. Der Erfindung liegt die Erkenntnis zugrunde, dass die Feststellung, dass der Blick des Fahrers das Objekt trifft, noch keine verlässliche Aussage darüber zulässt, ob der Fahrer das Objekt auch tatsächlich wahrgenommen hat. Gemäß der Erfindung erfolgt die Feststellung, ob der Fahrer das Objekt wahrgenommen hat, d. h. dieses bemerkt hat, in Abhängigkeit eines oder mehrerer der folgenden Größen: – die Dauer, wie lange der Blick das Objekt trifft, – die Anzahl, wie oft der Blick das gleiche Objekt trifft, oder – die Frequenz, wie häufig der Blick des Fahrers das gleiche Objekt pro Zeiteinheit trifft.

Description

Die Erfindung betrifft das Feststellen einer fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes, beispielsweise eines anderen Kraftfahrzeugs, eines Radfahrers, eines Fußgängers oder eines unbeweglichen Hindernisses.
Aktuelle Fahrerassistenzsysteme zur Kollisionswarnung und/oder Kollisionsverhinderung erfassen mittels Sensoren andere Verkehrsteilnehmer und Hindernisse in der unmittelbaren Umgebung des Fahrzeugs. Mittels eines Videosensors im Fuße des Innenspiegels können beispielsweise Fahrspuren, die Fahrspuranzahl, andere Fahrzeuge oder Fußgänger vor dem Fahrzeug detektiert werden. Durch zusätzliche Radarsensoren sowohl für den Front- als auch Heckbereich kann die Umfelderfassung nach vorne robuster ausgelegt werden bzw. auf den hinteren Fahrzeugbereich erweitert werden. Seitliche Hindernisse können beispielsweise durch vom Parkassistenten her bekannte Ultraschall- oder Lasersensoren sowie durch weitere Videosensoren in den Außenspiegeln erfasst werden. Über Car2X-Kommunikation können entsprechend ausgestattete Verkehrsteilnehmer über Funk ihre Position kommunizieren.
Das Anzeige- und Bedienkonzept bei heutigen Fahrzeugen mit Fahrerassistenzsystemen zur Kollisionswarnung und/oder Kollisionsverhinderung ist typischerweise folgendermaßen ausgelegt: Ein Großteil der Fahrerassistenzsysteme warnen den Fahrer durch zeitlich eskalierte Warnstufen. So wird der Fahrer in der ersten Stufe meist rein visuell über die Fahrzeuganzeige oder das Head-Up-Display über eine mögliche Gefahr gewarnt. In der darauf folgenden zweiten Stufe ist die Wahrscheinlichkeit eines Unfalls höher, worauf die visuelle Ausgabe durch eine aufdringlichere akustische Warnung verstärkt wird. Diese Geräusche (typischerweise schmalbandige, hochfrequente Töne) sind bisher meist ungerichtet und für den Fahrer nur ungefähr aus Richtung der Fahrzeuganzeige ortbar (z. B. bei der Auffahrwarnung). In einer dritten Stufe erfolgt bei Systemen zur Kollisionsverhinderung im Fall ausbleibender oder zu geringer Fahrerreaktion ein fahrdynamischer Eingriff (beispielsweise eine Anbremsung). Sowohl Fahrerassistenzsysteme der Längsführung als auch Fahrerassistenzsysteme der Querführung nutzen häufig das Prinzip der zeitlich eskalierten Warnstufen.
Rein visuelle Warnungen der ersten Warnstufe werden häufig übersehen, wenn sich der Blick des Fahrers zum Zeitpunkt der Warnung nicht im Bereich der Anzeige befindet; dies ist besonders bei Ablenkung häufig der Fall. Weiterhin besteht in komplexen Verkehrssituationen eine zusätzliche Beanspruchung des Fahrers, falls er die visuelle Warnung zu stark fixiert. Die akustische Warnung der zweiten Warnstufe ist zwar aufmerksamkeitserregend, jedoch zeitlich häufig so spät, dass aufgrund der Reaktionszeit des Fahrers der Unfall möglicherweise nicht verhindert werden kann. Außerdem ist die Verzeihlichkeit – also die Akzeptanz von Falschwarnungen – einer solchen aufdringlichen akustischen Warnung sehr gering. Bei häufigen akustischen Falschwarnungen nimmt die Akzeptanz der Fahrer gegenüber solchen Systemen stark ab. Im schlimmsten Fall füllt sich der Fahrer so sehr von dem System gestört, dass der Fahrer es dauerhaft abschaltet. Hinzu kommt, dass die Anzahl von Assistenzsystemen immer mehr zunimmt. Der visuelle Kanal des Fahrers könnte bald durch die zunehmende Anzahl optischer Warnausgaben ausgelastet sein. Zusätzlich wird in den bisherigen Warnkonzepten der momentane Aufmerksamkeitsfokus des Fahrers meistens nicht berücksichtigt, d. h. die Warnstrategie ist unabhängig davon, wohin der Fahrer blickt.
Aus der Druckschrift DE 10 2009 041 187 A1 ist ein Verfahren zum Adaptieren von Parametern eines Fahrerassistenzsystems bekannt, wobei die einzustellenden Parameter eine Funktion des durch das Fahrerassistenzsystem erfassten Zustands des Fahrers sind. Hierzu wird die aktuelle Blickrichtung des Fahrers durch eine Blickerfassungseinrichtung erfasst. Aus der aktuellen Blickrichtung wird die Zeitdauer bestimmt, während welcher der Fahrer nicht auf die Straße schaut. Es erfolgt eine Adaptierung der Parameter, wenn die ermittelte Zeitdauer einen kritischen Zeitwert überschreitet. Beispielsweise kann die Warnung unterdrückt bzw. reduziert und/oder später eingeleitet werden, wenn der Fahrer auf die Straße sieht. Die Warnung kann bei Blickabwendung von der Straße verstärkt werden und automatische präventive Fahrzeugreaktionen können früher eingeleitet werden.
Aus der Druckschrift DE 10 2006 047 092 B4 wird eine Ist-Blickrichtung bestimmt und mit einer von der Ausweichrichtung bestimmten Referenz-Blickrichtung verglichen. Die Referenz-Blickrichtung entspricht typischerweise einer Ausweichrichtung. Wenn die Ist-Blickrichtung und die Referenz-Blickrichtung voneinander abweichen, wird ein Signal erzeugt, das die Referenzblickrichtung signalisiert. Dieses Signal kann ein akustisches Signal sein, welches örtlich im Fahrzeug dort erzeugt wird, wohin der Fahrer blicken soll, um die Referenzblickrichtung einzunehmen.
In der Druckschrift DE 100 39 795 A1 wird die Blickrichtung ermittelt und geprüft, ob die Blickrichtung mit der Richtung einer kritischen Situation übereinstimmt. In Abhängigkeit von dem Vergleich wird eine entsprechende Warnung beeinflusst.
Aus der Druckschrift „Road Safety Research Report No. 60 – Review oft he Looked but Failed to See Accident Causation Factor", I. D. Brown, November 2005, Department for Transport: London, ist das sogenannte ”Look but Failed to See”-Phänomen bekannt. Hiernach lässt ein Richten des Blicks in Richtung eines Objekts noch keine verlässliche Aussage darüber zu, ob der Fahrer dieses Objekt auch tatsächlich wahrgenommen hat, beispielsweise das Objekt als Gefahrenquelle erkannt hat.
Es ist Aufgabe der Erfindung, ein verbessertes Verfahren zur Auswertung der Blickrichtung anzugeben.
Die Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Feststellen einer fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes. Gemäß dem Verfahren wird fahrzeugseitig die Position oder Richtung eines Objekts, d. h. die Richtung aus Sicht des Eigenfahrzeugs, bestimmt. Alternativ oder zusätzlich kann die Position des Objekts auch mittels einer Funkeinrichtung empfangen werden, beispielsweise über eine Car2Car-Kommunikation. Außerdem wird die Blickrichtung des Fahrers bestimmt. Hierzu wird vorzugsweise das Bild einer Kamera ausgewertet, die den Fahrer aufnimmt.
Bei dem Verfahren wird geprüft, ob der Blick auf das Objekt trifft, d. h. ob der Fahrer den Blick auf das Objekt richtet. Hierzu werden die Blickrichtung und die Position (und/oder Richtung des Objekts) ausgewertet.
Der Erfindung liegt die Erkenntnis zugrunde, dass die Feststellung, dass der Blick des Fahrers das Objekt trifft, noch keine verlässliche Aussage darüber zulässt, ob der Fahrer das Objekt auch tatsächlich wahrgenommen hat. Gemäß der Erfindung erfolgt die Feststellung, ob der Fahrer das Objekt wahrgenommen hat, d. h. dieses bemerkt hat, in Abhängigkeit eines oder mehrerer der folgenden Größen:

– die Dauer, wie lange der Blick das Objekt trifft,
– die Anzahl, wie oft der Blick das gleiche Objekt trifft, oder
– die Frequenz, wie häufig der Blick des Fahrers das gleiche Objekt pro Zeiteinheit trifft.

Das erfindungsgemäße Verfahren ermöglicht eine verlässlichere Aussage darüber, ob der Fahrer, der auf ein Objekt gesehen hat, dieses auch tatsächlich bemerkt, d. h. wahrgenommen, hat.
Bei der Dauer handelt es sich vorzugsweise um die Dauer, wie lange der Blick das Objekt ohne Unterbrechung getroffen hat, insbesondere ohne zu einem anderen Objekt zu wandern. Alternativ kann es sich auch um die aufsummierte Gesamtdauer handeln, wie lange der Blick das Objekt getroffen hat, wobei hierbei Unterbrechungen möglich sind, insbesondere auch ein Wandern des Blicks auf andere Objekte.
Um entscheiden zu können, ob der Fahrer ein bestimmtes Objekt wahrgenommen hat, können ein oder mehrere der folgenden Kriterien geprüft werden:

– ob die Dauer einen Schwellwert erreicht oder überschritten hat,
– ob die Anzahl einen zweiten Schwellwert erreicht oder überschritten hat oder
– ob die Frequenz einen dritten Schwellwert erreicht oder überschritten hat.

Vorzugsweise wird der zeitliche Verlauf für das Treffen des Objekts durch den Blick gespeichert. Zur Feststellung einer fahrerseitigen Wahrnehmung des Objekts wird dieser Verlauf ausgewertet. In diesem gespeicherten Verlauf werden ein oder mehrere Parameter wie Dauer, Anzahl und Frequenz analysiert.
Dieser Verlauf deckt ein bestimmtes gleitendes Zeitfenster ab. Vorzugsweise wird der Verlauf innerhalb eines Zeitfensters mit einer Länge im Bereich von 1 bis 5 Sekunden gespeichert. Das Zeitfenster sollte nicht zu groß gewählt werden, da nach Verstreichen eines gewissen Zeitraums, beispielsweise 5 Sekunden, eine mit dem Objekt verbundene Gefahrensituation (z. B. ein Abbiegevorgang bei einem parallel zum Kraftfahrzeug fahrenden Fahrradfahrer) schon nicht mehr aktuell ist.
Vorzugsweise betrifft der zeitliche Verlauf eine Mehrzahl von Objekten. Der zeitliche Verlauf gibt also an, wann der Blick welches Objekt aus der Mehrzahl der Objekte getroffen hat.
Zur Prüfung, ob der Blick das jeweilige Objekt trifft, wird geprüft, ob eine durch die Blickrichtung definierte Blickgerade einen flächigen oder räumlichen Bereich an der Position des Objektes schneidet. Beispielsweise kann als Bereich eine Kugel mit einem bestimmten Radius r angesetzt werden, wobei der Mittelpunkt der Kugel den drei Koordinaten x, y, z der Position des Objekts entspricht. Bei der Position handelt es sich beispielsweise um die Koordinaten des Schwerpunkts des Objekts. Bei einer zweidimensionalen Betrachtung mit den Koordinaten x und y kann statt einer Kugel ein Kreis verwendet werden.
Eine Warnung vor dem Objekt hängt von der Feststellung ab, ob der Fahrer das Objekt wahrgenommen hat oder nicht. Beispielsweise kann dann, wenn der Fahrer das Objekt (beispielsweise einen Fahrradfahrer beim Abbiegen) nicht wahrgenommen hat und damit übersehen hat, der Fahrer gewarnt werden, wohingegen im Fall des Wahrnehmens des Objekts die Warnung überhaupt nicht, zeitlich später oder mit geringerer Intensität, beispielsweise mit geringerer Lautstärke, erfolgt.
Vorzugsweise wird der Fahrer akustisch vor dem Objekt gewarnt. In diesem Fall ist es von Vorteil, wenn die Warnung mittels eines Auditory Icons (auch Audicon) erfolgt. Ein Auditory Icon ist ein für das Objekt charakteristisches Geräusch, welches typischerweise einem Geräusch des Objekts nachempfunden ist, beispielsweise ein Fahrrad-Leerlauf-Geräusch bei einem Fahrradfahrer, Kinderstimmen oder Schritte bei einem Fußgänger und ein Reifen-, Wind- oder Motorengeräusch bei einem anderen Kraftfahrzeug.
Die akustische Warnung, insbesondere in Form eines Auditory Icon, sollte bereits als Teil der ersten Warnstufe zeitlich früh erfolgen, insbesondere mehr als 2 Sekunden vor einem angenommenen Kollisionszeitpunkt. Da die akustische Warnung gegenüber einer rein visuellen Warnung häufig mehr Aufmerksamkeit erregt, ist die Wirksamkeit einer frühen akustischen Warnung gegenüber einer rein visuellen Warnung höher.
Jedoch sollte die akustische Ausgabe in ihrer Ausprägung nicht so aufdringlich sein wie beispielsweise ein hochfrequenter Warnton, da dies der Kritikalität der Situation nicht entspräche und somit für den Fahrer nicht akzeptabel wäre. Das Warngeräusch, insbesondere das Auditory Icon, sollte vorzugsweise einer subtilen, zeitlich unkritischeren akustischen Information entsprechen, wodurch die Aufmerksamkeit auf potentielle Gefahren gelenkt wird, ohne den Fahrer zu stören. Vorzugsweise werden keine zeitkritischen oder aufdringlichen Auditory Icons verwendet (beispielsweise Fahrradklingeln, Bremsquietschen, Hupen etc.), sondern stattdessen ambiente Auditory Icons verwendet. Diese ambienten Auditory Icons entsprechen vorzugsweise einem natürlichen Fortbewegungs-Geräusch (z. B. ein Motorengeräusch) des Objekts und entsprechen vorzugsweise nicht dem Geräusch einer Warnvorrichtung (z. B. Hupe). Solche ambienten Auditory Icons werden vom Fahrer als Hintergrundgeräusch wahrgenommen und können auch über einen längeren Zeitraum eingespielt werden (beispielsweise über einen Zeitraum größer 2 Sekunden).
Es ist von Vorteil, wenn es sich bei dem Warngeräusch um ein räumlich gerichtetes Warngeräusch aus einem raumklangfähigen Audiosystem handelt (mindestens ein Stereo-Audiosystem, vorzugsweise jedoch ein Surroundsound fähiges Audiosystem). Das Warngeräusch kommt aus Sicht des Fahrers dabei aus der Richtung des Objektes und gibt die Richtung des Objekts an.
Hierbei kann ferner vorgesehen sein, dass sich die Lautstärke des Geräusches oder die Richtung im Fall eines räumlich gerichteten Geräusches während der Wiedergabe des Geräusches entsprechend der Bewegung des Objektes ändert, so dass der Fahrer die Trajektorie des Gefahrenobjektes über seine auditive Wahrnehmung grob einschätzen kann.
Nach einer Warnung (oder statt einer Warnung) kann auch ein fahrdynamischer Eingriff (z. B. Bremsen) des Fahrzeugs zur Verhinderung der Kollision mit dem Objekt ausgelöst werden. Vorzugsweise findet dies – ähnlich wie die vorstehend bereits im Zusammenhang mit der Warnung besprochen – in Abhängigkeit des Feststellens einer fahrerseitigen Wahrnehmung des Objekts statt.
Es wird darauf hingewiesen, dass einige der vorstehend beschriebenen Ansätze zur Warnung oder Auslösung eines Eingriffs prinzipiell auch ohne die erfinderische Lehre zur Feststellung einer fahrerseitigen Wahrnehmung eines Objekts anwendbar sind. Es wäre auch denkbar, lediglich zu prüfen, ob der Blick des Fahrers das Objekt getroffen hat oder nicht, und die Auslösung der Warnung davon abhängig zu machen.
Es ist auch denkbar, dass das Feststellen einer fahrerseitigen Wahrnehmung eines ersten Objekts davon abhängig ist, ob festgestellt wurde, dass der Blick ein zweites Objekt getroffen hat, oder ob festgestellt wurde, dass diese wahrgenommen wird. Die Wahrscheinlichkeit einer Wahrnehmung des ersten Objekts kann nämlich durch eine Blickfixation auf das zweite Objekt oder erkannte Wahrnehmung des zweiten Objekts verringert werden, da die Gefahr besteht, dass das zweite Objekt von dem ersten Objekt ablenkt. In ähnlicher Weise kann auch die Warnung vor dem ersten Objekt oder die Auslösung eines Eingriffs zur Verhinderung einer Kollision mit dem ersten Objekt davon abhängig gemacht werden, ob ein zweites Objekt wahrgenommen wurde, da bei Wahrnehmung des zweiten Objekts die Gefahr besteht, dass das zweite Objekt von dem ersten Objekt ablenkt.
Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zum Feststellen einer fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes. Die Vorrichtung kann Teil eines Fahrerassistenzsystems sein. Die Vorrichtung umfasst Mittel zum Bestimmen oder Empfangen der Position eines Objekts und/oder Bestimmen der Richtung des Objekts. Außerdem sind Mittel zum Bestimmen der Blickrichtung des Fahrers vorgesehen. Ferner ist die Vorrichtung eingerichtet, zu prüfen, ob der Blick des Fahrers das Objekt trifft, indem die Blickrichtung und die Position und/oder Richtung des Objekts ausgewertet werden. Ferner ist die Vorrichtung eingerichtet, eine fahrerseitige Wahrnehmung des Objekts in Abhängigkeit eines oder mehrere der nachfolgenden Größen festzustellen:

– die Dauer, wie lange der Blick des Fahrers das Objekt trifft,
– die Anzahl, wie oft der Blick des Fahrers das gleiche Objekt trifft, und/oder
– die Frequenz, wie häufig der Blick des Fahrers das gleiche Objekt pro Zeiteinheit trifft.

Die vorstehenden Ausführungen zum erfindungsgemäßen Verfahren nach dem ersten Aspekt der Erfindung gelten in entsprechender Weise auch für die erfindungsgemäße Vorrichtung nach dem zweiten Aspekt der Erfindung.
Die Erfindung wird nachfolgend unter Zuhilfenahme auf die beigefügten Zeichnungen anhand eines Ausführungsbeispiels beschrieben. In diesen zeigen:
1 ein Ausführungsbeispiel für ein erfindungsgemäßes Verfahren zum Feststellen einer fahrerseitigen Wahrnehmung einer Gefahrenquelle und zum Auslösen einer Warnung in Abhängigkeit hiervon;
2 ein Beispiel zur Prüfung, ob die Blickgerade in Richtung des Blickvektors einen Raum- oder Flächenbereich, der sich an den Koordinaten des Objektes befindet, schneidet;
3 einen beispielhaften zeitlichen Verlauf der Blick-Fixationen auf zwei verschiedene Gefahrenquellen; und
4 eine beispielhafte Linksabbiegesituation, bei der das erfindungsgemäße Verfahren Verwendung findet.
1 zeigt ein Ausführungsbeispiel für ein erfindungsgemäßes Verfahren zum Feststellen einer fahrerseitigen Wahrnehmung einer Gefahrenquelle und zum Auslösen einer Warnung in Abhängigkeit hiervon.
Bei dem Ausführungsbeispiel weist das Fahrzeug vorzugsweise ein Surroundsound fähiges System mit typischerweise mehr als zwei Lautsprechern auf (beispielsweise ein 5.1-System oder ein 5.0-System ohne Subwoofer-Kanal) auf, das zur Ausgabe eines räumlich gerichteten Geräusches aus der Richtung des Objekts fähig ist. Ferner ist es von Vorteil, wenn die Fahrgastzelle in Bezug auf Außengeräusche weitgehend isoliert ist, so dass Fremdfahrzeuge oder Radfahrer bei geschlossenen Fenstern innerhalb der Fahrgastzelle nicht gehört werden.
Ferner ist eine bordlokale Sensorik (beispielsweise ein Ultraschall-, Radar-, Laser- oder Kamerasystem oder eine Kombination hieraus) zum Erfassen von Objekten im Umfeld des Eigenfahrzeugs vorgesehen. Alternativ oder zusätzlich kann vorgesehen sein, dass das Eigenfahrzeug Informationen über weitere Verkehrsteilnehmer oder verdeckte Gefahren (Fahrzeuge in Kreuzungen oder Fußgänger zwischen parkenden Fahrzeugen) durch einen Funksystem im Fahrzeug empfängt. Mittels der bordlokalen Sensorik oder mittels des Funkempfängers hat das Fahrzeug Information über die Position von Objekten in der Umgebung, d. h. Information darüber, wo sich in der Umgebung relativ zu einem Fahrzeugreferenzpunkt potentielle Gefahrenquellen (Fahrzeuge, Radfahrer, Fußgänger usw.) befinden. Hierbei handelt es sich beispielsweise pro Objekt um Koordinaten in x-, y- und z-Richtung oder nur Koordinaten in x- und y-Richtung. Dies ist in Schritt 100 dargestellt.
Ferner verfügt das Fahrzeug über eine Vorrichtung zur Bestimmung der Blickrichtung des Fahrers (s. Schritt 110). Hierzu detektiert beispielsweise eine Innenraumkamera für jedes Auge die Pupillenposition des Fahrers und berechnet daraus für jedes Auge einen Augen-Blickrichtungsvektor mit den Koordinaten (x, y, z) bezüglich des Ursprungs im Pupillenmittelpunkt. Aus den beiden Augen-Richtungsvektoren wird ein Blickvektor durch Mittelung bestimmt, der beispielsweise seinen Ursprung im Kopfmittelpunkt hat.
Über lineare Vektorgeometrie kann nun in Schritt 120 ermittelt werden, ob der Fahrer eine Gefahrenquelle gesehen hat, nämlich ob der Blick das Objekt getroffen hat. Hierzu kann geprüft werden, ob die Blickgerade in Richtung des Blickvektors einen Raum- oder Flächenbereich an den Koordinaten des Objektes schneidet. Dies ist in 2 beispielhaft dargestellt.
Der Punkt 0 entspricht dem Ursprung des 3-dimensionalen Koordinatensystems, beispielsweise an der Stelle des Herstellerlogos auf der Motorhaube des Fahrzeugs F. Die Blickgerade
in Richtung des Blickvektors
ergibt sich anhand folgender Gleichung:
Hierbei beschreibt die Größe
die Koordinaten des Ursprungs des Blickvektors
beispielsweise den Kopfmittelpunkt. Die Größe I entspricht einem beliebigen Skalarwert. Die beispielsweise mittels eines Radarsensors oder Ultraschallsensors ermittelte Position der Gefahrenquelle wird durch den 3-dimensionalen Koordinatenvektor
beschrieben, hierbei handelt es sich beispielsweise um die Position des Schwerpunkts der Gefahrenquelle, beispielsweise eines Fahrradfahrers. An der Position
der Gefahrquelle wird ein flächiger oder räumlicher Körper gelegt, beispielsweise eine Toleranzkugel K mit dem Radius r und der Position
als Mittelpunkt. Bei einer Auswertung von zweidimensionalen Positionsinformationen kann stattdessen ein Toleranzkreis verwendet werden. Die Toleranzkugel K entspricht beispielsweise einer vereinfachten Abschätzung der Größe der Gefahrenquelle. Die Kugel K genügt folgender Kugelgleichung:
Zum Feststellen, ob der Blick das Objekt trifft, wird geprüft, ob die Blickgerade
den Körper K an der Position
der Gefahrenquelle schneidet, d. h. ob ein Schnittpunkt vorliegt. Die Gleichung der Blickgerade
lässt sich in die Gleichung des Körpers K (hier die Kugelgleichung) einsetzen:
Die vorstehende Vektor-Gleichung lässt sich in drei Teil-Gleichungen für die drei Koordinaten x, y und z aufgliedern, die wiederum nach 1 aufgelöst werden können. Zur Prüfung, ob ein Schnittpunkt vorliegt, kann geprüft werden, ob sich aus den drei skalaren Gleichungen eine gemeinsame Lösung für die Größe I ergibt, d. h. ob ein Schnittpunkt vorliegt. Falls sich eine Lösung für I ergibt, bedeutet dies, dass sich die Blickgerade
und die Gefahrenquelle schneiden. Falls sich keine Lösung für I ergibt, trifft die Blickgerade
die Gefahrenquelle nicht.
Nach dem „Looked but Failed to See”-Phänomen lässt jedoch eine Blickzuwendung in Richtung eines Objekts noch keine verlässliche Aussage darüber zu, ob der Fahrer dieses Objekt auch wahrgenommen hat. Hierfür wird die Anzahl und Dauer der Schnittpunkte aus Blick und Gefahrenquelle ausgewertet. Diese Schnittpunkte können auch als Blick-Fixationen auf die entsprechende Gefahrenquelle bezeichnet werden. Der Begriff „Blick-Fixation” bedeutet in dieser Anmeldung aber nicht unbedingt, dass der Blick auch auf der Gefahrquelle für eine gewisse Dauer verharrt.
Wenn festgestellt wird, dass der Blick eine Gefahrenquelle trifft (s. Schritt 120), wird dieser Treffer (d. h. diese Blick-Fixation) in einem zeitlichen Verlauf der Blick-Fixationen gespeichert (s. Schritt 130). Der Verlauf gibt an, wann es einen Schnittpunkt mit einer Gefahrenquelle gibt. Der zeitliche Verlauf der Fixationen auf Gefahrenquellen wird über ein gewisses gleitendes (d. h. mitlaufendes) Zeitfenster gespeichert (s. 3).
Das gleitende Zeitfenster erstreckt sich von dem aktuellen Zeitpunkt zu einem mitlaufenden Zeitpunkt in der Vergangenheit. Das gleitende Zeitfenster hat eine Länge im Bereich von 1 bis 5 Sekunden und sollte nicht zu groß gewählt werden, da ab einem gewissen Zeitraum die entsprechende Gefahrensituation (z. B. der Abbiegevorgang) schon nicht mehr aktuell ist.
Der Verlauf betrifft nicht nur eine einzige Gefahrenquelle, sondern – sofern vorhanden – verschiedene detektierte Gefahrenquellen (beispielsweise eine detektierte Gefahrenquelle 1 und eine detektierte Gefahrenquelle 2). Während der Zeitdauer Δt₁ und der Zeitdauer Δt₂ trifft der Blick die Gefahrenquelle 1, d. h. es liegt ein Schnittpunkt zwischen dem Blick und der Gefahrenquelle 1 vor. Während der Zeitdauer Δt₃ liegt ein Schnittpunkt mit der Gefahrenquelle 2 vor.
In diesem gespeicherten Verlauf werden verschiedene Parameter ausgewertet, beispielsweise

– die Dauer (Fixationsdauer), wie lange der Blick des Fahrers das Objekt trifft,
– die Anzahl (Fixationsanzahl), wie oft der Blick des Fahrers das gleiche Objekt trifft, und
– die Frequenz (Fixationsfrequenz), wie häufig der Blick des Fahrers das gleiche Objekt pro Zeiteinheit trifft, beispielsweise die Anzahl der Fixationen pro Sekunde.

Um entscheiden zu können, ob ein Fahrer eine detektierte Gefahrenquelle nicht nur gesehen hat, sondern auch tatsächlich wahrgenommen hat, wird anhand des Verlaufs überprüft, ob ein Wahrnehmungskriterium für die jeweilige Gefahrenquelle erfüllt ist, beispielsweise ob einer der drei vorstehend genannten Parametern eine jeweilige Schwelle überschreitet (s. Schritt 140). Wenn beispielsweise nur eine einzige der folgenden Kriterien erfüllt ist, gilt die entsprechende Gefahrenquelle als wahrgenommen:

1. wenn die Fixationsdauer (s. die Dauern Δt₁, Δt₂, Δt₃ in 3) einer einzigen Fixation größer als eine erste Schwelle (beispielsweise 0,4 Sekunden) ist,
2. wenn die Fixationsanzahl der Fixationen des gleichen Objekts größer als eine zweite Schwelle (beispielsweise 2) ist (in 3 beträgt die Fixationsanzahl für die Gefahrenquelle 1 genau 2 und die Fixationsanzahl für die Gefahrenquelle 2 genau 1), oder
3. wenn die Fixationsfrequenz der Fixationen des gleichen Objekts größer als eine dritte Schwelle (beispielsweise 2 mal pro Sekunde) ist.

Zusätzlich können optional auch softwarebasierte Schätzmethoden verwendet werden, um anhand der Fahrer-Fahrzeuginteraktion (beispielsweise das Lenkverhalten oder die Bedienung eines Fahrzeug-Controllers) geschätzt werden, ob der Fahrer das Objekt wahrgenommen hat oder nicht. Darüber hinaus kann auch anhand von hinterlegtem statistischem Wissen (beispielsweise aus Studien) entsprechend der Verkehrssituation (Position, Bewegungsgeschwindigkeit anderer Verkehrsteilnehmer) geschätzt werden, ob entsprechende Gefahrenquellen mit einer gewissen Wahrscheinlichkeit nicht wahrgenommen wurden.
In Abhängigkeit davon, ob die Gefahrenquelle wahrgenommen wurde oder nicht, wird ein insbesondere räumlich gerichtetes akustisches Geräusch zur Warnung vor der Gefahrenquelle ausgelöst (s. Schritt 150). So wird beispielsweise eine akustische Warnung vor einer Gefahrenquelle ausgelöst, wenn der Fahrer die Gefahrenquelle nicht wahrgenommen hat. Hierzu wird beispielsweise aber zusätzlich noch gefordert werden, dass die Gefahrenquelle einen bestimmten Abstand zum Fahrzeug unterschreitet. Bei der akustischen Warnung handelt es sich vorzugsweise um ein räumlich gerichtetes Geräusch, welches aus Sicht des Fahrers aus der Richtung der entsprechenden Gefahrenquelle kommt. Als Warnung wird vorzugsweise ein Auditory Icon verwendet, welches dem natürlichen Geräusch des Objekts nachempfunden ist. Es ist außerdem von Vorteil, wenn sich das Auditory Icon (beispielsweise die Lautstärke oder Richtung) entsprechend der Bewegungstrajektorie des Objektes in Relation zum Eigenfahrzeug ändert. Das Auditory Icon sollte zeitlich bereits sehr früh (beispielsweise mehr als 2 Sekunden vor einem potentiellen Kollisionszeitpunkt) ausgelöst werden. Jedoch sollte diese akustische Ausgabe in Ihrer Ausprägung nicht so aufdringlich sein, da dies der Kritikalität der Situation nicht entspräche und somit für den Fahrer nicht akzeptabel wäre.
Wie vorstehend beschrieben, kann das Wissen, ob eine Gefahrenquelle wahrgenommen wurde, für die Auslösung der oben beschriebenen akustischen Inszenierungen genutzt werden. Dies hat vor allem in komplexen Verkehrssituationen, wie z. B. Kreuzungen, in denen mehrere Konflikte parallel auftreten können, einen enormen Vorteil.
In 4 ist beispielhaft eine Linksabbiegesituation dargestellt. Wie vorstehend erläutert wird seitens des Fahrzeugs F geprüft, ob der Fahrer des Fahrzeugs F die Gefahrenquelle G1 (hier den Radfahrer) wahrgenommen hat.
In einer ersten Situation ist der Blick (s. die Blickgerade
mit dem Blickrichtungsvektor
im Wesentlichen auf die Gefahrenquelle G2 gerichtet; nur kurzfristig überstreift der Blick des Fahrers die Gefahrenquelle G1, wobei die Fixationsdauer kleiner als der Schwellwert bleibt. Der Fahrer wird von der Gefahrenquelle G2 abgelenkt, ohne dass der Fahrer die Gefahrenquelle G1 tatsächlich wahrgenommen hat. Das Fahrerassistenzsystem stellt fest, dass der Fahrer die Gefahrenquelle G1 nicht wahrgenommen hat, und löst ein Auditory Icon für die Gefahrenquelle G1 aus, beispielsweise ein Fahrrad-Leerlauf-Geräusch. Übersieht der Fahrer also beim Abbiegen beispielsweise einen Radfahrer G1, so kann über das Audiosystem unaufdringlich akustisch auf den Radfahrer G1 aufmerksam gemacht werden, so dass die Aufmerksamkeit des Fahrers intuitiv in die richtige Richtung gelenkt wird. Eine optische Warnung würde den visuellen Kanal des Fahrers nur zusätzlich belasten, da schon die Überwachung des Gegenverkehrs ein hohes Maß an Ressourcen auf diesem Kanal beansprucht. Da es sich um bereits gelernte Geräusche handelt, bekommt der Fahrer automatisch die Information, um welche Art von Gefahrenquelle es sich handelt, möglicherweise noch bevor er sie sehen kann. Die akustische Darbietung über das Audiosystem des Fahrzeugs sollte dabei ein so hohes Qualitätsmaß haben, dass der Fahrer die Richtung und Entfernung der jeweiligen Gefahrenquelle möglichst gut schätzen kann. Dadurch wird der visuelle Wahrnehmungskanal, der ohnehin schon beispielsweise durch den Abbiegevorgang ausgelastet ist (Überwachung Gegenverkehr, Lücke suchen usw.) entlastet und der relativ freie auditive Kanal besser genutzt.
In einer zweiten Situation ist der Blick (s. die Blickgerade
mit dem Blickrichtungsvektor
für eine ausreichende Fixationsdauer, die größer als der entsprechende Schwellwert ist, auf die Gefahrenquelle G1 gerichtet. Das System erkennt, dass der Fahrer die Gefahrenquelle G1 tatsächlich wahrgenommen hat, und löst kein Auditory Icon für die Gefahrenquelle G1 aus (oder löst das Auditory Icon später aus). Für den Fall, dass die Fixationsdauer für die Gefahrenquelle G2 zu kurz ist oder überhaupt keine Fixation der Gefahrenquelle G2 erfolgt ist, wird ein Warnsignal für die Gefahrenquelle G2 ausgelöst.
Es wäre auch denkbar, abhängig von der fahrerseitigen Wahrnehmung der Gefahr das Auditory Icon früher (bei Nichtwahrnehmung der Gefahrenquelle) oder später (bei Wahrnehmung der Gefahrenquelle) auszulösen. Alternativ oder zusätzlich könnte hierdurch auch die Lautstärke des Auditory Icons beeinflusst werden.
Parameter wie Aktivierungszeitpunkt oder Lautstärke können auch in Abhängigkeit der Situation variiert werden. Abhängig vom Abstand und/oder der Annäherungsgeschwindigkeit der Gefahr kann beispielsweise die Lautstärke angepasst werden (wenn sich beispielsweise ein Fahrzeug nähert, wird das Geräusch lauter).
Vorzugsweise ist die Fahrgastzelle in Bezug auf Außengeräusche weitgehend isoliert, so dass Fremdfahrzeuge oder Radfahrer bei geschlossenen Fenstern innerhalb der Fahrgastzelle nicht gehört werden. Damit kann die vom Fahrerassistenzsystem ausgelöste akustisch-ambiente Information als eine Filterung der Außenwelt verstanden werden, d. h. nur relevante akustische Informationen werden künstlich in den Fahrerinnenraum übermittelt.
Das vorstehend beschriebene Verfahren ermöglicht eine intuitive ambiente Aufmerksamkeitslenkung bei potentiellen Gefahren. Hierdurch können Unfälle vermieden werden, ohne den Fahrer zu bevormunden oder zu stören. Durch ein möglichst frühzeitiges Auslösen eines Auditory Icons wird die Fahrerassistenz öfter erlebbar.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102009041187 A1 [0005]
DE 102006047092 B4 [0006]
DE 10039795 A1 [0007]

Zitierte Nicht-Patentliteratur

„Road Safety Research Report No. 60 – Review oft he Looked but Failed to See Accident Causation Factor”, I. D. Brown, November 2005, Department for Transport [0008]

Claims

Verfahren zum Feststellen einer fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs (F) befindlichen Objektes (G1, G2), mit den Schritten: – Bestimmen (100) oder Empfangen der Position
eines Objekts (G1, G2) und/oder Bestimmen der Richtung des Objekts (G1, G2); – Bestimmen (110) der Blickrichtung
des Fahrers; – Prüfen (120), ob der Blick des Fahrers das Objekt trifft, durch Auswerten – der Blickrichtung
und – der Position
und/oder Richtung des Objekts (G1, G2); und – Feststellen (140) einer fahrerseitigen Wahrnehmung des Objekts in Abhängigkeit – der Dauer (Δt₁, Δt₂, Δt₃), wie lange der Blick des Fahrers das Objekt trifft, – der Anzahl, wie oft der Blick des Fahrers das gleiche Objekt trifft, und/oder – der Frequenz, wie häufig der Blick des Fahrers das gleiche Objekt pro Zeiteinheit trifft.
Verfahren nach Anspruch 1, wobei die Wahrnehmung des Objekts festgestellt wird, wenn – die Dauer (Δt₁, Δt₂, Δt₃) einen Schwellwert erreicht oder überschritten hat, – die Anzahl einen zweiten Schwellwert erreicht oder überschritten hat oder – die Frequenz einen dritten Schwellwert erreicht oder überschritten hat.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein zeitlicher Verlauf für das Treffen des Objekts (G1, G2) durch den Blick gespeichert wird und das Feststellen einer fahrerseitigen Wahrnehmung durch Auswerten des Verlaufs erfolgt.
Verfahren nach Anspruch 3, wobei der Verlauf über ein gleitendes Zeitfenster mit einer Länge im Bereich von 1 bis 5 Sekunden gespeichert wird.
Verfahren nach einem der Ansprüche 3–4, wobei der zeitliche Verlauf eine Mehrzahl von Objekten betrifft.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Prüfens umfasst: – Prüfen, ob eine durch die Blickrichtung
definierte Blickgerade
einen flächigen oder räumlichen Bereich (K), welcher sich an der Position
des Objektes befindet, schneidet.
Verfahren nach einem der vorhergehenden Ansprüche, umfassend den zusätzlichen Schritt: – Auslösen (150) einer Warnung des Fahrers vor dem Objekt (G1, G2) in Abhängigkeit von der Feststellung oder Nichtfeststellung einer fahrerweiseitigen Wahrnehmung des Objekts, wobei das Auslösen der Warnung überhaupt oder die Art und Weise der Warnung, insbesondere der Aktivierungspunkt der Warnung oder die Intensität des Warnung, hiervon abhängig ist.
Verfahren nach Anspruch 7, wobei die Warnung vor dem Objekt (G1, G2) nicht ausgelöst wird oder zeitlich später ausgelöst wird, wenn festgestellt wurde, dass der Fahrer das Objekt wahrgenommen hat.
Verfahren nach einem der Ansprüche 7–8, wobei die Warnung des Fahrers akustisch erfolgt, insbesondere durch ein dem Objekt zugeordnetes Auditory Icon.
Verfahren nach Anspruch 9, wobei zur Warnung ein räumlich gerichtetes Geräusch mit einem raumklangfähigen Audiosystem, insbesondere mit einem Surroundsound fähigem Audiosystem, erzeugt wird, welches dem Fahrer die Richtung des Objektes (G1, G2) angibt.
Verfahren nach einem der Ansprüche 9 oder 10, wobei sich das Warngeräusch während der Wiedergabe des Geräusches entsprechend der Bewegung des Objektes (G1, G2) ändert, insbesondere die Lautstärke des Geräusches und/oder Richtung im Fall eines räumlich gerichteten Geräusches.
Verfahren nach einem der vorhergehenden Ansprüche 9–11, wobei die akustische Warnung zu einem frühen Zeitpunkt erfolgt, der mehr als 2 Sekunden vor einem angenommenen Kollisionszeitpunkt liegt.
Verfahren nach einem der vorhergehenden Ansprüche, umfassend den zusätzlichen Schritt: – Auslösen eines Eingriffs des Fahrzeugs zur Verhinderung der Kollision mit dem Objekt (G1, G2) in Abhängigkeit von Feststellung oder Nichtfeststellung einer fahrerseitigen Wahrnehmung des Objekts, wobei das Auslösen des Eingriffs überhaupt oder die Art und Weise der Eingriffs hiervon abhängig ist.
Vorrichtung zum Feststellen einer fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs (F) befindlichen Objektes (G1, G2), umfassend: – Mittel zum Bestimmen oder Empfangen der Position
eines Objekts (G1, G2) und/oder Bestimmen der Richtung des Objekts (G1, G2) und – Mittel zum Bestimmen der Blickrichtung
des Fahrers, wobei die Vorrichtung eingerichtet ist, – zu prüfen, ob der Blick des Fahrers das Objekt trifft, durch Auswerten – der Blickrichtung
und – der Position
und/oder Richtung des Objekts, und – eine fahrerseitigen Wahrnehmung des Objekts festzustellen in Abhängigkeit – der Dauer (Δt₁, Δt₂, Δt₃), wie lange der Blick des Fahrers das Objekt trifft, – der Anzahl, wie oft der Blick des Fahrers das gleiche Objekt trifft, und/oder – der Frequenz, wie häufig der Blick des Fahrers das gleiche Objekt pro Zeiteinheit trifft.