DE10359125A1

DE10359125A1 - Verfahren zur Erkennung der Reaktionsbereitschaft eines Fahrers eines Kraftfahrzeugs

Info

Publication number: DE10359125A1
Application number: DE10359125A
Authority: DE
Inventors: Jörg Dr. Hilgenstock; Torsten Karnahl; Katharina Dr. Seifert
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2003-12-17
Filing date: 2003-12-17
Publication date: 2005-07-14

Abstract

Es wird ein Verfahren zur Erkennung der Reaktionsbereitschaft eines Fahrers (11) eines Kraftfahrzeugs (10) angegeben, das auf der Auswertung des Pupillenreflexes während der Fahrt basiert, wobei zur Vermeidung von Blendung für den Fahrer der Pupillenreflex in Bezug auf Veränderung der Umgebungshelligkeit untersucht wird, was den Vorteil hat, dass der Fahrer (11) durch die Überwachung des Pupillenreflexes bei seiner Fahraufgabe nicht gestört wird und dass die Überwachung kontinuierlich auch während längerer Fahrten durchgeführt werden kann, wobei im Falle eines nachlassenden, also unterhalb vorgegebener oder vorgebbarer Erwartungswerte liegenden, Pupillenreflexes ein Hinweis für den Fahrer (11), z. B. in Form eines optischen oder akustischen Alarms, ausgegeben wird.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung und zur Abschätzung der Reaktionsbereitschaft eines Fahrers eines Kraftfahrzeugs. Insbesondere bezieht sich die Erfindung auf die Erkennung evtl. Müdigkeit des Fahrers.

Der Pupillenreflex, also die Kontraktion der Pupille bei Lichteinfall, ist ein anerkanntes Maß für den Müdigkeitsgrad und damit die Reaktionsbereitschaft eines Fahrers. Nachteilig ist allerdings, dass für eine Auslösung des Pupillenreflexes eine Blendung des Auges mit Hilfe von einfallendem Licht, also z.B. Lichtblitzen, erforderlich ist, was den Fahrer bei der Fahraufgabe stören könnte. Daher wurden bisherige Untersuchungen mit dieser Methodik häufig vor und nach der Fahrt unter definierten Beleuchtungsbedingungen vorgenommen. Eine Beobachtung des Pupillenreflexes sowie dessen Auswertung während der Fahrt ist nach bestem Wissen der Anmelderin und der Erfinder bisher nicht bekannt geworden.

Aus der DE 35 41 726 A1 oder aus der US 4,950,069 ist jeweils ein Verfahren und eine Vorrichtung zur Überwachung und Messung von Augenbewegungen bekannt. Eine Auswertung des Pupillenreflexes ist aus diesen Dokumenten nicht bekannt.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Auswertung des Pupillenreflexes eines Fahrers eines Kraftfahrzeugs anzugeben, das auch während der Fahrt einsetzbar ist und damit insbesondere zur kontinuierlichen Überwachung der Reaktionsbereitschaft des Fahrers auch während der Fahrt sinnvoll eingesetzt werden kann.

Diese Aufgabe wird erfindungsgemäß mit den Merkmalen des Anspruchs 1 gelöst. Dazu ist bei einem Verfahren zur Erkennung der Reaktionsbereitschaft eines Fahrers eines Kraftfahrzeugs vorgesehen, dass eine Umgebungshelligkeit und Reaktionszeiten der Pupille des Fahrers auf Lichteinfall gemessen werden und dass Veränderungen der Umgebungshelligkeit zu Veränderungen der Reaktionszeit der Pupille des Fahrers auf die Veränderungen der Umgebungshelligkeit in Relation gesetzt werden.

Die Erfindung geht von der Erkenntnis aus, dass der Pupillenreflex, also die Kontraktion der Pupille bei Lichteinfall, etwa durch Steigerung der Leuchtdichte oder Blendung, ein anerkanntes Maß für den Müdigkeitsgrad des Fahrers eines Fahrzeugs ist.

Aus einer Veränderung der Reaktionszeit der Pupille (Adaptation) auf Lichteinfall lassen sich Schlussfolgerungen über die Reaktionsbereitschaft des Organismus ziehen. Dabei scheinen Akkomodationsvorgänge des Auges im Fahrzeug bei Dunkelfahrten vermutlich eine untergeordnete Rolle zu spielen, da die Augen annähernd konstant auf den ausgeleuchteten Bereich vor dem Fahrzeug akkomodiert sein sollten.

Werden nun die zufällig im Fahrtverlauf auftretenden Leuchtdichteveränderungen, die eine Pupillenreaktion nach sich ziehen, gemessen, können Erwartungswerte zu den anhand einer Baseline-Messung geschätzten Reaktionsparametern der Pupille in Relation zu diesen Leuchtdichteveränderungen gebildet werden. Bei einer Abweichung der Pupillenreaktion vom Erwartungswert kann eine verminderte organische Reaktionsbereitschaft unterstellt werden und dies in die automatische Müdigkeitseinschätzung als Schwellwert eingehen.

Um die Leuchtdichte in der Umgebung zu ermitteln, kann dieselbe Kamera verwendet werden, die als Lidschlusssensor zur Müdigkeitsdetektion eingesetzt wird. Die Leuchtdichteänderungen durch Gegenverkehr oder Straßenbeleuchtung können durch die Bildhelligkeitsunterschiede im Umgebungsbereich der Augen aus dem Kamerabild ermittelt werden und ebenso – bei einer entsprechend hochauflösenden Kamera – die Pupillenreaktion bzw. daraus abgeleitete Parameter wie Reaktionsgeschwindigkeit oder Dilationsgeschwindigkeit.

Der Vorteil der Erfindung besteht darin, dass die Ermittlung der Reaktionsbereitschaft des Fahrers anhand des Pupillenreflexes erstmals während der Fahrt ermittelbar ist. Im Falle einer durch Ermüdung oder Übermüdung drohenden verminderten Fahrtüchtigkeit oder einer Fahruntüchtigkeit des Fahrers kann direkt ein diesbezüglicher Hinweis für den Fahrer oder ein Alarm ausgegeben werden. Des Weiteren ist die Überwachung des Pupillenreflexes kontinuierlich möglich, so dass auch eine während längerer Fahrtstrecken ggf. nachlassende Reaktionsbereitschaft jederzeit erkennbar ist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand der Zeichnung näher erläutert.

Darin zeigt die einzige Figur ein schematisch vereinfachtes Fahrzeug mit einem Fahrer, dessen Gesicht im Bereich der Augen mittels einer Kamera erfasst wird.
1 zeigt in einer stilisierten und stark vereinfachten Darstellung ein Kraftfahrzeug 10, das von einem Fahrer 11 gesteuert wird. Im Bereich eines nicht dargestellten Armaturenbrettes, also oberhalb oder vom Fahrer 11 aus gesehen hinter einem Lenkrad 12 ist eine Kamera 13 angeordnet, die auf die Augen des Fahrers 11, zumindest aber auf dessen Gesicht gerichtet ist. Das von der Kamera 13 aufgenommene Bild wird an eine Bildverarbeitungseinheit 14 übermittelt.
Die Bildverarbeitungseinheit 14 ist zur Verarbeitung, Analyse und Auswertung der von der Kamera 13 aufgenommenen Bilder vorgesehen. Speziell ist die Bildverarbeitungseinheit 14 zum einen zum Erkennen von Veränderungen, insbesondere von Veränderungen der Helligkeit, in den aufgenommenen Bildern über der Zeit vorgesehen. Zum anderen ist die Bildverarbeitungseinheit 14 zum Ermitteln einer Reaktionszeit der Pupille des Fahrers 11 auf Lichteinfall vorgesehen.
Veränderungen der Helligkeit in den aufgenommenen Bildern über der Zeit können im Falle ortsfester oder im wesentlichen ortsfester Bildelemente, die in schwarz-weiss aufgenommen sind, in einfachster Form durch Subtraktion zweier zeitlich aufeinanderfolgender Bilder, also durch Subtraktion der Grauwerte jedes Pixels eines ersten Bildes vom Grauwert des entsprechenden Pixel eines zeitlich vorhergehenden oder zeitlich nachfolgenden Pixels, ermittelt werden. Bereiche, die auf beiden Bildern von ortsfesten Bildelementen eingenommen werden und die in beiden Bildern in gleicher Helligkeit erscheinen, löschen sich bei dieser Operation aus, d.h. es ergibt sich nach der Subtraktion ein resultierender Grauwert von "Null" oder in der Nähe von Null. Bei Bereichen mit unterschiedlicher Helligkeit ergibt sich diese Auslöschung nicht. Ist für das gesamte Bild oder für grossflächige Abschnitte des resultierenden Bild keine Auslöschung bemerkbar, ist der mittlere Zahlenwert der resultierenden Grauwerte ein gutes Maß für die Zunahme der Helligkeit.
Die in der oben beschriebenen oder einer ähnlichen Art und Weise ermittelte Veränderung der auf den Fahrer 11 einwirkenden Umgebungshelligkeit wird an eine der Bildverarbeitungseinheit 14 nachgeordnete Verarbeitungseinheit 15 übermittelt, die die Veränderung der Umgebungshelligkeit in Relation zu jeweils beobachteten Pupillenreflex setzt.
Zum Erkennen und Ermitteln der Reaktionszeiten der Pupille des Fahrers 11 auf Lichteinfall (Pupillenreflex) können gleichfalls an sich bekannte Verfahren der digitalen Bildverarbeitung eingesetzt werden. Je nach Größe der Pupille in den von der Kamera 13 aufgenommen Bildern ändert sich entsprechend auch der Flächeninhalt des zugehörigen Bildabschnitts. Dieser Flächeninhalt kann mit bekannten Algorithmen der digitalen Bildverarbeitung ermittelt und als Maß für die Reaktionszeiten der Pupille ebenfalls an die Verarbeitungseinheit 15 übermittelt werden.
Die Verarbeitungseinheit 15 setzt die Veränderungen der Umgebungshelligkeit zu Veränderungen der Reaktionszeit der Pupille des Fahrers 11 auf die Veränderungen der Umgebungshelligkeit in Relation zueinander und ermittelt auf diese Weise ein Maß für die Reaktionsbereitschaft des Fahrers 11, insbesondere als Maß für den Müdigkeitsgrad des Fahrers 11. Der dabei ermittelte Wert kann auf das über- oder unterschreiten bestimmter vorgegebener oder vorgebbarer Schwellwerte überwacht werden, wobei beim Über- oder Unterschreiten der jeweiligen Schwellwerte ein insbesondere optischer und/oder akustischer Alarm oder dergleichen ausgelöst wird, der den Fahrer auf seine beginnende oder bereits bestehende Fahruntüchtigkeit aufmerksam macht. Des Weiteren kann der ermittelte Wert auch als Schwellwert in eine automatische Müdigkeitseinschätzung eingehen, die ggf. ebenfalls von der Verarbeitungseinheit 15 durchgeführt wird.
Bildverarbeitungseinheit 14 und Verarbeitungseinheit 15 können zu einer Einheit zusammengefasst sein. Die Überwachung der Pupille des Fahrers 11 und der Umgebungshelligkeit kann kontinuierlich oder zu vorgegebenen, insbesondere äquidistanten Zeitpunkten erfolgen. Günstig ist auch eine Konstellation, bei der mit einem Photosensor oder dergleichen Änderungen der Umgebungshelligkeit gemessen werden und die oben beschrieben Auswertung durch ein vom Photosensor ableitbares elektrisches Signal immer dann gestartet wird, wenn die Umgebungshelligkeit bestimmte vorgegebene oder vorgebbare Schwellwerte über- oder unterschreitet.
Insgesamt lässt sich die Erfindung kurz wie folgt darstellen: Es wird ein Verfahren zur Erkennung der Reaktionsbereitschaft eines Fahrers 11 eines Kraftfahrzeugs 10 angegeben, das auf der Auswertung des Pupillenreflexes während der Fahrt basiert, wobei zur Vermeidung von Blendung für den Fahrer der Pupillenreflex in Bezug auf Veränderungen der Umgebungshelligkeit untersucht wird, was den Vorteil hat, dass der Fahrer 11 durch die Überwachung des Pupillenreflexes bei seiner Fahraufgabe nicht gestört wird und dass die Überwachung kontinuierlich auch während längerer Fahrten durchgeführt werden kann, wobei im Falle eines nachlassenden, also unterhalb vorgegebener oder vorgebbarer Erwartungswerte liegenden Pupillenreflexes ein Hinweis für den Fahrer 11, z.B. in Form eines optischen oder akustischen Alarms ausgegeben wird. Schlagwortartig lässt sich die Erfindung als "Pupillographie mit Umgebungslicht" beschreiben.

10: Fahrzeug
11: Fahrer
12: Lenkrad
13: Kamera
14: Bildverarbeitungseinheit
15: Verarbeitungseinheit

Claims

Verfahren zur Erkennung der Reaktionsbereitschaft eines Fahrers eines Kraftfahrzeugs wobei eine Umgebungshelligkeit und Reaktionszeiten der Pupille des Fahrers auf Lichteinfall gemessen werden und wobei Veränderungen der Umgebungshelligkeit zu Veränderungen der Reaktionszeit der Pupille des Fahrers auf die Veränderungen der Umgebungshelligkeit in Relation gesetzt werden.
Verfahren nach Anspruch 1, wobei anhand der ermittelten Relation ein Schwellwert für eine automatische Müdigkeitseinschätzung erzeugt wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Veränderungen der Umgebungshelligkeit mit einer Kamera auf den Fahrer, insbesondere mit einer auf mindestens ein Auge des Fahrers gerichteten Kamera, ermittelt werden.
Verfahren nach Anspruch 3, wobei die Veränderungen der Umgebungshelligkeit anhand von Bildhelligkeitsunterschieden eines von der Kamera gelieferten Bildes ermittelt werden.
Verfahren nach Anspruch 3 oder 4, wobei die Reaktionszeiten der Pupille des Fahrers anhand zeitlicher Veränderungen des von der Kamera gelieferten Bildes ermittelt werden.
Verfahren nach einem der Ansprüche 3 bis 5, wobei die Kamera zugleich als Lidschlusssensor zur Müdigkeitsdetektion eingesetzt wird.