DE19621435A1

DE19621435A1 - Verfahren und Vorrichtung zum Überwachen von Augen für die Erfassung eines Schläfrigkeitszustands

Info

Publication number: DE19621435A1
Application number: DE19621435A
Authority: DE
Inventors: Cheng-Chung Liang; Ming Fang; Ajit Singh
Original assignee: Siemens Corporate Research Inc
Current assignee: Siemens Corporate Research Inc
Priority date: 1995-06-02
Filing date: 1996-05-28
Publication date: 1996-12-05
Also published as: FR2734701A1; US5570698A

Description

Die vorliegende Erfindung bezieht sich auf die Bestimmung von Augenpositionen und insbesondere auf eine zuverlässige, nicht invasive Vorrichtung (System) zum Überwachen eines Individuums, zum Verarbeiten von Bildern des Individuums und zum Bereitstellen einer Rückkopplung zu dem Individuum.

Die Überwachung der Schläfrigkeit und des Schlafs ist traditionell für Psychologen und Neurophysiologen von Interesse, die die Auswirkungen von Schlafmangel, Schlafstörungen usw. auf das Verhalten untersuchen. Seit kurzem ist ein starkes Interesse hinsichtlich der Überwachung der Schläfrigkeit und der Müdigkeit bei der Arbeit, - und der menschlichen Fehler, die hieraus resultieren, vorhanden. Einige der Kategorien von Berufsgruppen, die dieses Interesse direkt hervorgerufen haben, sind niedergelassene Ärzte oder Klinikärzte, Fahrer von Lastwagen und Zügen, Flugzeugpiloten, Luftverkehrskontrolleure bzw. Flug zeuglotsen, Fließbandarbeiter, die mit monotonen Arbeiten beschäftigt sind, usw. Die nachstehenden Beispiele und statistischen Aussagen sind aus sich selbst heraus verständ lich: Im Jahr 1987 flog ein Handelsflugzeug, das auf dem Internationalen Flughafen von Los Angeles landen sollte, in einer Höhe von ca. 9600 Metern (32 000 Fuß) über den Flughafen hinweg und flog über den Pazifik weiter. Das Flugzeug, das mit Autopiloten geflogen wurde, befand sich bereits ungefahr 160 km (100 Meilen) entfernt über dem Ozean, bevor die Fluglotsen einen Weg fanden, in das Cockpit einen akustischen Alarm zu senden. Die gesamte Mannschaft war in dem Flugdeck eingeschlafen. In den Ver einigten Staaten von Amerika werden jedes Jahr geschätzt insgesamt 6500 Todesfälle in Verbindung mit Kraftfahrzeugen - 13% des jährlichen Tributs - durch Fahrer hervor gerufen, die am Lenkrad einschlafen. Die Ermüdung und menschliche Fehler stellen den überwiegenden Grund von Kraftfahrzeugunfällen dar. Während die Sicherheit von Fahrern und Passagieren von Fahrzeugen in den letzten Jahren verstärkte Aufmerksamkeit erfahren hat (Airbags und Bremsen mit ABS-Systemen wurden verfügbar und erschwinglich), haben die Hersteller von Fahrzeugen erst seit kurzem damit begonnen, sich der Erfassung der Müdigkeit zuzuwenden. Bei einer kürzlichen Umfrage von CNN bei 1000 Lastwagenfah rern gaben 3 von 5 Fahrern zu, daß sie in dem Monat, der der Umfrage vorherging, hinter dem Lenkrad eingeschlafen waren. Lastwagenfahrer überschreiten üblicherweise die zugelassene Maximalzahl von 80 Fahrstunden je Woche.

Auch wenn die soziologischen Probleme bei der Überwachung der Müdigkeit und des Schlafes bei der Arbeit ungewiß bleiben und ernsthafte Überlegungen erfordern, ist der technische Fortschritt bereits auf dem klaren Weg, eine solche Überwachung zu ermögli chen. Häufig wird ein Elektroencephalogramm (EEG) in Verbindung mit einem Elektroo kulogramm (EOG) zur Messung von Augenbewegungen sowie ein Elektromyogramm (EMG) zur Messung des Muskeltonus in dem Kinn eingesetzt. Dieser Sachverhalt ist in "Work Hours And Continuous Monitoring Of Sleep", von T. Akerstedt, R.J. In Broughton und R.D. Ogilvie, "Sleep, Arousal and Performance", Birkhauser, Boston, 1991, be schrieben. Insbesondere die Augenbewegungen sind bei der Erfassung des genauen Zeitpunkts des Einsetzens des Schlafs nützlich, wie es in "Eye Movements And The Detection Of Sleep Onset", von R.D. Ogilvie, D.M. McDonagh und S.N. Stone, "Psycho physiology", Vol. 25, Nr. 1, Seiten 81-91, 1988, beschrieben ist. Eine weitere Alternative wurde von Nissan entwickelt, die die Auswertung von speziellen Lenkmustern enthält, die von einem ermüdeten Fahrer hervorgerufen werden. Dies ist in "Electronic Applications For Enhancing Automotive Safety", von S. Aono, "Vehicle Electronics in the 90′s: Proceedings of the International Congress on Transportation Electronics", Seiten 179-186, Oktober 1990, erläutert.

Auch wenn technologische Fortschritte dazu geführt haben, daß eine Überwachung des Schlafs auf der Grundlage eines EEGs recht zweckmäßig geworden ist (es sind tragbare EEG-Schlaf-Rekorder in Taschengröße verfügbar), stellt dies im wesentlichen eine invasive Technik dar. Die Person trägt an seinem/ihrem Kopf angebrachte Elektroden. Bei Anwen dungen wie etwa der Überwachung des Schläfrigkeitszustands eines Fahrzeugführers ist eine nicht invasive Methode wünschenswerter. Eine visuelle Überwachung der Augen scheint die Aussicht mit sich zu bringen, eine derartige nicht invasive Methode bereitzu stellen. Von besonderem Interesse ist die Überwachung von Fahrern (von Autos, Lastwa gen, Zügen usw.) und die Fähigkeit, einen Alarm auszulösen, wenn der Fahrer schläfrig erscheint. Für eine visuelle Überwachung besteht eine offensichtliche und natürliche Wahl darin, die Bewegung des Auges einer Person dazu auszunutzen, den Müdigkeitszustand zu erfassen. Dieser Ansatz muß korrekt und zuverlässig durchgeführt werden.

Die Beziehung zwischen dem Verhalten des Auges und dem Schlaf reicht bis in die ersten Anfangstage der Schlafforschung zurück. Miles schrieb bereits 1929 in seinem grundlegen den Aufsatz: "Der Unterschied zwischen der Wachheit und der Müdigkeit ist nirgends evidenter als in dem Zustand und dem Verhalten des Auges . . . ". Miles hat rollende Augenbewegungen während der Müdigkeit gefilmt und diese zur Charakterisierung des Schlafs herangezogen. Während einige der früheren Arbeiten bezüglich der Überwachung der Augen visuell durchgeführt wurden (durch Aufzeichnung von Laufbildern bezüglich des Auges auf einem Film), wurde es bald durch die Überwachung auf der Grundlage von Elektroencephalogrammen oder Elektrookulogrammen ersetzt. Praktisch bei keiner der aktuellen Forschungen bezüglich des Schlafverhaltens wird eine visuelle Überwachung der Augen eingesetzt. Dies liegt teilweise daran, daß eine hohe Variabilität bei der Beziehung (Korrelation) zwischen dem externen Erscheinungsbild des Auges und den physiologischen Zuständen des Schlafes existiert, und auch daran, daß keine Ausstattung zur Verfügung steht, die quantitative Daten bereitstellen kann. Jedoch können auf der Grundlage der Beobachtung von schlafenden Personen sowie aufgrund der Interaktion mit einigen der Experten die nachstehenden Feststellungen bezüglich des Verhaltens des Auges während des Wachzustands, der Schläfrigkeit und dem Einsetzen des Schlafes getroffen werden:

1. In dem Zustand der Wachheit blinzeln die menschlichen Augen. Die durchschnittliche Blinzelrate (durchschnittliche Anzahl von Blinzelbewegungen bzw. Lidschlägen je Minute) verändert sich von Individuum zu Individuum beträchtlich. Jedoch kann sich auch bei einem jeweiligen wachen Individuum die Blinzelrate bzw. die Lidschlagrate als Funktion der Zeit in Abhängigkeit von Faktoren wie etwa einem nervösen Zustand verändern. Die Blinzeldauer bzw. Lidschlagdauer (die Zeit, die das Augenlid zum Schließen und zum erneuten Öffnen benötigt) liegt in der Größenordnung von einem Drittel einer Sekunde.
2. Die Lidschlagrate des Auges vergrößert sich während der Müdigkeit. Bei der An strengung zur Bekämpfung des Schlafes kneifen die Personen oftmals ihre Augen zu sammen bzw. schielen, und blinzeln häufig. Auch wenn sich die durchschnittlichen Lidschlagraten von Individuen beträchtlich unterscheiden, gibt es in der Bevölkerung einen markanten Wechsel der Lidschlagrate von dem wachen Zustand zum schläfrigen Zustand. Die Lidschlagrate kann sich vom wachen Zustand zum schläfrigen Zustand um einen Faktor von zwei oder mehr vergrößern.
3. Während des müden Zustands werden die Augenlider schwer und verhalten sich schwerfällig bzw. träge. Die Zeitdauer, die die Augenlider während des schläfrigen Zustands zum Schließen benötigen, ist sehr viel länger als die Blinzeldauer bzw. Lid schlagdauer; sie liegt in der Größenordnung von einigen wenigen Sekunden (in dem Bereich von einer bis vier Sekunden). Bei dem Einsetzen des Schlafs kann sich das Augenlid nach seinem Schließen öffnen oder nicht.
4. Es ist möglich, mit vollständig geöffneten Augen eingeschlafen zu sein. Ein kleiner Bruchteil der Bevölkerung zeigt dieses Verhalten.
5. Langsame Augenbewegungen (SEM = slow eye movements) treten während der Müdigkeit auf und verschwinden bei dem Beginn eines durch das Verhalten und physiolo gisch definierten Schlafes. Dieses Muster ist ein beständiger Anzeiger für den Schlafbeginn bei großen Bevölkerungen.

Für viele Anwendungen mit visueller Überwachung und Beobachtung ist es wichtig, die Positionen eines menschlichen Auges aus einer Bildfolge zu bestimmen, die ein mensch liches Gesicht enthält bzw. abbildet. Sobald die Positionen des menschlichen Auges bestimmt sind, können alle anderen wichtigen Merkmale des Gesichts wie etwa die Positionen der Nase und des Munds leicht bestimmt werden. Die grundlegende geome trische Gesichtsinformation wie etwa der Abstand zwischen zwei Augen, der Größe der Nase und des Munds lassen sich weiterhin herausgreifen. Diese geometrische Information kann dann für eine Vielzahl von Zwecken wie etwa für das Erkennen eines Gesichts aus einer gegebenen Gesichtsdatenbank eingesetzt werden. Das System zur Augenlokalisierung kann auch direkt für die Erfassung des Schläfrigkeitszustands bzw. Schlafzustands eines Fahrzeugführers eingesetzt werden.

Es existieren einige Methoden zur Lokalisierung des oder der Augen auf der Grundlage der Hough-Transformation, von Geometrie- und Symmetrieüberprüfungen und von deformierbaren Modellen. Die meisten dieser Methoden sind aber gegenüber Änderungen der Gestalt oder Form nicht ausreichend stabil. Diese Systeme erfordern weiterhin ein extensives Ausmaß an Computerverarbeitungszeit. Weiterhin kann keines dieser vorhande nen Systeme Augen lokalisieren, wenn die Augen geschlossen sind.

Die vorliegende Erfindung schafft ein zuverlässiges, nicht invasives System bzw. eine solchen Vorrichtung zur Überwachung der Augen einer Person, wobei das System bzw. die Vorrichtung eine menschliche Schnittstelle und auch einen Prozessor aufweist. Die menschliche Schnittstelle bzw. die Schnittstelle zum Menschen weist als Minimum eine Kamera zur Beobachtung einer Person und ein Warnsystem für die Alarmierung der Person bei dem Einsetzen des Schlafs auf. Der Prozessor wird zusammen mit der Kamera zur Transformierung oder Umwandlung einer Bildfolge in ein eindimensionales Signal durch Herausgreifen von relevanten Merkmalen aus den Bildern eingesetzt. Der Prozessor analysiert dann das erzeugte eindimensionale Signal zur Erfassung der Schläfrigkeit bzw. Einschlafbereitschaft. Die Umwandlung der Bildfolge beinhaltet die Lokalisierung des oder der Augen, die Augenverfolgung und die Erzeugung eines Augenbewegungssignals. Bei der Augenlokalisierung werden Filter eingesetzt, die die relativ hohe Horizontalkontrast- Dichte der Augenregion vorteilhaft ausnutzen, um die Augenpositionen in einem Graustu fenbild eines menschlichen Gesichts zu bestimmen. Die Filter beinhalten oder sind ein Filter zur Berechnung des horizontalen Kontrasts, ein Filter zur Bestimmung der Horizon talkontrastdichte, eine Beurteilung der Gesichtsgeometrie und eine Bestimmung der Augenposition.

Die Erfindung wird nachstehend anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.

Fig. 1 zeigt ein Ausführungsbeispiel der vorliegenden Erfindung.

Fig. 2 veranschaulicht den Prozessor, der bei der vorliegenden Erfindung eingesetzt wird,

Fig. 3 zeigt ein Ablaufdiagramm für die Verarbeitung bei der vorliegenden Erfindung,

Fig. 4 zeigt ein Ablaufdiagramm des Filters zur Augenlokalisierung bei der vorliegen den Erfindung,

Fig. 5 veranschaulicht die Effekte des Filters zur Augenlokalisierung gemäß der vorliegenden Erfindung,

Fig. 6 veranschaulicht experimentelle Ergebnisse der Filterung gemäß der vorliegen den Erfindung,

Fig. 7 zeigt die Positionsbestimmung des Auges unter Einsatz einer Graustufen- Augenlehre in Übereinstimmung mit der vorliegenden Erfindung,

Fig. 8 zeigt Teile einer Bildfolge, wobei der Verfolgungskasten oder -rahmen bzw. die Verfolgungsmarkierung den Bildern überlagert ist,

Fig. 9 zeigt die Verfolgung oder Verfolgungsmessung und die Messung des Block unterschieds bezüglich der in Fig. 8 dargestellten Bildfolge,

Fig. 10 zeigt ein normales Blinzeln des Auges bzw. einen normalen Augenlidschlag und die entsprechenden Kurven T und D und

Fig. 11 zeigt eine Abfolge, wenn die Person schläfrig ist, sowie die entsprechenden Kurve T und D.

Zur Festlegung der Anforderungen an das System für die visuelle Überwachung von menschlichen Augen für die Erfassung der Schläfrigkeit und des Schlafbeginns müssen gewisse Annahmen getroffen werden. Das für das System in Betracht gezogene Szenarium besteht in dem Führerhaus bzw. der Fahrgastzelle eines Wagens oder eines Lastwagens usw.

Die Beleuchtungsbedingungen im Inneren eines Führerhauses verändern sich mit dem Wetter, dem Umgebungslicht, der Färbung des Fensterglases, dem Monddach oder Sonnendach usw . . In der nachstehenden Tabelle ist als Beispiel eine vergleichende Betrach tung der Beleuchtungszustände bei manchen üblichen Situationen dargestellt.

Auf der Grundlage dieser Tabelle und der durchschnittlichen Geometrie eines Führerhauses bzw. der Fahrerzelle müssen die nachstehenden Anforderungen durch das in Überein stimmung mit der vorliegenden Erfindung stehende System zur Bildgewinnung erfüllt werden. 1) Das überwachende System muß imstande sein, bei Umgebungsbeleuchtungs- bzw. helligkeitsbedingungen zwischen 5 lux und 5000 lux zu funktionieren. Zum Zwecke der Bereitstellung einer minimal invasiven Umgebung muß eine aktive Beleuchtung, sofern überhaupt vorhanden, außerhalb des sichtbaren Bereichs, vorzugsweise im Infrarotbereich liegen. Die gegenwärtige Kamera eines Camcorders kann ein Bild aus einer Szene mit einer Beleuchtung von 1 lux gewinnen und kann sich auch an einen breiten dynamischen Bereich der Beleuchtungssituationen anpassen. 2) Falls eine CCD-Kamera als eine Ab bildungseinrichtung eingesetzt wird, sollten die Abbildungsparameter ein fokussiertes Bild des Gesichts des Fahrers aus einem Abstand von ungefähr 50 cm erzeugen und das Gesicht muß das Bild so weit wie möglich ausfüllen. Anders ausgedrückt sollte das Bild so wenig Hintergrund wie möglich enthalten, um die bestmögliche Auflösung auf dem Gesicht und den Augen zu erzielen. Jedoch sollte das Gesichtsfeld der Kamera auch ausreichend groß sein, um die Änderung der Positionen des Gesichts des Fahrers bezüglich der Kamera zu überdecken. 3) Die räumliche Auflösung der Kamera muß imstande sein, die Merkmale aufzulösen bzw. wiederzugeben, die die Information bezüglich der Schläfrigkeit bzw. Müdigkeit enthalten. Wie bereits in dem vorhergehenden Abschnitt erwähnt ist, schließen diese Merkmale die Augenlider und die Pupille ein. 4) Die zeitliche Auflösung der Kamera muß dazu imstande sein, das dynamische Verhalten der vorstehend erwähnten Merkmale aufzulösen bzw. wiederzugeben. Genauer gesagt sollte das Augenlid während eines Blinzelns (Lidschlag) nicht verschmiert sein (der Lidschlag kann bei normalen Personen sehr schnell sein und eine Drittel Sekunde betragen). Weiterhin kann es erforderlich sein, die Rollbewegung des Augapfels zu erfassen und zu messen, und zwar über die Bewegun gen der Pupille.

Auf der Grundlage des dynamischen Verhaltens des Auges während der Schläfrigkeit und dem Beginn des Schlafes sollte das Bildanalysesystem in Übereinstimmung mit der vor liegenden Erfindung die nachstehenden Anforderungen erfüllen. 1) Es muß dazu imstande sein, das Auge schnell zu lokalisieren und die Position kontinuierlich über die Zeit hinweg zu verfolgen. Die Lokalisierung und Verfolgung des oder der Augen sollte unanfällig gegenüber Änderungen der Form des Auges aufgrund einer perspektivischen Verzerrung sein. Falls Teile des Gesichts des Fahrers außerhalb des Gesichtsfelds liegen, wie etwa während des Rückwärtschauens oder Rückwärtsfahrens, des seitlichen Schauens während des Spurwechsels usw., muß das System imstande sein, das Auge erneut zu lokalisieren, sobald es sichtbar wird. Eine der Annahmen besteht darin, daß eine Person dann, wenn sie sich nahe beim Schläfrigkeitszustand befindet, dazu tendiert, bewegungslos zu sein. Dies ist für das Überwachungssystem gemäß der vorliegenden Erfindung wichtig, da die Gesichtsbilder in diesen Momenten sich nicht zu stark ändern, so daß das System die Verfolgung nicht verliert, das heißt die Verfolgung erhalten bleibt. Es ist möglich, daß das System die Verfolgung verliert, wenn eine Person eine große Bewegung durchführt. Jedoch ist zu diesem Zeitpunkt anzunehmen, daß die Person sehr wach ist. 2) Es muß imstande sein, das Schließen des Auges zu erfassen und die Zeitdauer von dem offenen zu dem geschlossenen Zustand zu messen. 3) Während der Zeit, in der das Auge offen ist, sollte es (vorzugsweise) dazu imstande sein, die momentane Geschwindigkeit der Pupille zu messen. 4) Auf der Grundlage der Merkmale gemäß (1), (2) und (3) sollte es imstande sein, zu entscheiden, ob der Fahrer wach oder schläfrig ist. 5) Die in den Punkten (1), (2) und (3) erwähnten Schritte ergeben eine "Merkmalsgewinnung" bzw. das Herausgreifen von Merkmalen. Die kombinierte "Rahmenrate" bzw. "Bild- oder Vollbildrate" für diese Schritte sollte ausreichend hoch sein, damit nicht relevante Merkmale versäumt werden. 6) Der Schritt beim Punkt (4) stellt auf der anderen Seite die Aufgabe bzw. den Arbeits vorgang der "Mustererkennung" dar. Die Verarbeitungszeit für diesen Schritt wird in Abhängigkeit von dem Verhalten der Person variabel sein.

Die vorliegende Erfindung kann mehrere Ausführungsformen aufweisen. Ein derartiges Ausführungsbeispiel ist in Fig. 1 gezeigt und wird im folgenden beschrieben. Ein Individu um (Person) 10 wird durch eine Kamera 12 abgetastet, die mit einem Prozessor 14 verbunden ist. Ein kleiner LCD-Schirm 16 mit ausreichend hoher Auflösung kann vor gesehen sein, um der Person 10 die klare Betrachtung seines eigenen Gesichts und der Augen zu ermöglichen. Weiterhin ermöglicht eine Steuereinrichtung 18 der Person die Einstellung des Betrachtungswinkels und der Betrachtungsrichtung der Kamera 12. Ein Anzeiger 20 für Verfolgung/verlorengegangene Verfolgung informiert die Person darüber, daß sich die Kamera 12 nicht im Verfolgungszustand befindet und eine Einjustierung durch die Steuereinrichtung 18 benötigt. Ein Warnsystem 22 informiert die Person oder eine andere Person über den Beginn des Schlafes.

Die vorliegende Erfindung sollte so kompakt wie möglich ausgeführt sein. Ein kunden spezifisch angepaßter VLSI-Chip (Chip mit sehr hohem Integrationsgrad) kann als Prozes sor 14 eingesetzt werden. Die hauptsächlichen Komponenten des Prozessors enthalten gemäß der Darstellung in Fig. 2 einen Graustufen-Korrelator 24, eine Zentraleinheit (CPU) 26 und einen Speicher 28. Ein Video-Anzeigechip 30 ist ebenfalls für die Anzeige des Bilds auf dem LCD-Schirm 16 (siehe Fig. 1) erforderlich. Die Kamera, die möglicher weise eine CDD-Kamera ist, sollte ausreichend klein sein, so daß sie die Sicht des Fahrers nicht behindert. Die Anbringung der Kamera sollte mit einem Aufhängesystem zum Vermeiden von übermäßigen Vibrationen versehen sein. Das System kann auch einen Ein/Aus-Schalter und einen Anzeiger für den Einschaltzustand aufweisen. Die Spannungs quelle sollte eine Gleichspannung von 12 V bereitstellen, falls die vorliegende Erfindung in das Fahrzeug integriert ist. Die Vorrichtung gemäß der vorliegenden Erfindung kann aber auch durch eine tragbare Batterie gespeist werden, falls es sich um eine eigenständige bzw. unabhängige Vorrichtung handelt. Der ideale Platz in dem Fahrzeug zur Anbringung dieser Vorrichtung befindet sich an der Oberseite der Armatur zwischen dem Lenkrad und dem Windschutzgitter bzw. der Windschutzscheibe.

Ein Ablaufdiagramm, das die in Übereinstimmung mit der vorliegenden Erfindung stehen de Verarbeitung zeigt, ist in Fig. 3 dargestellt. Der vorderseitige Abschnitt 32 wandelt eine Bildfolge in ein eindimensionales Signal (1-D-Signal) dadurch um, daß relevante Merkmale aus den Bildern herausgegriffen werden. Der rückseitige Abschnitt 34 analysiert das von dem vorderseitigen Abschnitt erzeugte Signal für eine Erfassung der Schläfrigkeit. Der vorderseitige Abschnitt kann in drei Aufgabenbereiche unterteilt werden: die Lokali sierung 36 des oder der Augen, die Augenverfolgung 38 und die Erzeugung 40 eines Signals für die Augenbewegung.

Aus den vorstehend erläuterten Annahmen erschließt sich, daß ein Bild ein Gesicht enthält. Es stellt ein Schlüsselelement der vorliegenden Erfindung dar, wie die Augenposition in diesem Bild zu lokalisieren ist. Variable sind die Haltung und die Bewegung eines Fahrers, die Beleuchtungsbedingungen, Schatten und Holpern bzw. Schaukeln auf der Straße. Alle diese sich verändernden Bedingungen beeinflussen die Robustheit bzw. Unanfälligkeit eines Verfahrens zur Erfassung der Augenposition.

Bei der vorliegenden Erfindung wird ein Augenlokalisierungsfilter eingesetzt, wie es in einer gleichfalls anhängigen US-Patentanmeldung beschrieben ist, die hiermit durch Bezugnahme in den Offenbarungsgehalt der vorliegenden Anmeldung eingegliedert wird. Die grundlegende Idee bei diesem Ansatz besteht in der Benutzung des relativ hohen lokalen Intensitätskontrast der Augenregion in Graustufenbildern, um hieraus die Augen position zu lokalisieren. Das Augenlokalisationsfilter besteht gemäß der Darstellung in Fig. 4 aus den vier nachstehend erläuterten Elementen. Das Graustufenbild des Gesichts wird durch ein Filter 22 zur Filterung des Horizontalkontrasts, ein Filter 44 für die Horizontal kontrastdichte, eine Abschätzung bzw. Beurteilung 46 der Gesichtsgeometrie und einen Bestimmungsabschnitt 48 zur Bestimmung der Augenposition geleitet, um die Positionen des linken und des rechten Auges festzustellen. Ein typisches Graustufenbild bzw. Grau skalabild eines Gesichts, wie es in Fig. 5(a) gezeigt ist, wird durch das Horizontalkon trastfilter geleitet, wobei das entsprechende Ausgangsbild, das heißt das binäre Masken- oder Maskierungsbild, in Fig. 5(b) gezeigt ist. Das binäre Maskierungsbild wird durch das Filter für die Horizontalkontrastdichte geleitet, wobei das Graustufen-Maskierungsbild, das die Ausgangsgröße des Horizontalkontrastfilters darstellt, in Fig. 5(c) gezeigt ist. Das Graustufen-Maskierungsbild wird dann durch die Gesichtsgeometriebeurteilung gefiltert, wobei eine a-priori-Information (vorhergehende Information) über die Geometrie von Merkmalen eines Gesichts benutzt wird, um die Augenpositionen zu erfassen und zu verifizieren. Die Ergebnisse der Beurteilung der Gesichtsgeometrie und das Graustufenbild werden durch die Augenpositionsbestimmung bzw. durch den Bestimmungsabschnitt für die Augenposition geleitet, der die Augenpositionen verfeinert bzw. feiner auflöst.

Diese Filterung benötigt ungefähr 200 Millisekunden auf einem "Sparc 10" bei einem Bild mit 256 × 256 Bildelementen (Pixel). Zwanzig Bilder von zehn Personen unter unter schiedlichen Beleuchtungen und Richtungen der Kamerabeobachtung wurden zum Testen dieser Filterung eingesetzt und es wurden alle Augen korrekt erfaßt. Einige experimentelle Ergebnisse sind in Fig. 6 gezeigt.

Der weitere wesentliche Teil der vorliegenden Erfindung ist die Augenverfolgung. Die Erfassung einer Augenbewegung von einem zum nächsten Bild (Vollbild) wird durch einen Suchvorgang (Suchprozeß) erreicht, bei dem ein Bildblock mit dem Bild in dem aktuellen Bild bzw. Vollbild mit unterschiedlichen Verlagerungen gegenüber der ursprünglichen Position korreliert wird. Dieser Prozeß ist in "A Feature Tracking Method For Motion Parameter Estimation In A Model-Based Coding Application", von J. F. S. Yau und N. D. Duffy, "3d International Conference on Image Processing and its Applications", Warwick, UK, Juli 1989, Seiten 531-535, beschrieben. Als Korrelationsmaß wird die Summe der quadrierten Unterschiede zwischen den Intensitäten von Bildelementen in dem Block und dem vorhergehenden Bild eingesetzt. Die Position des Bildblocks, die zu dem minimalen Wert des Korrelationsmaßes führt, wird als die neue Position des verfolgten Auges eingestuft. Im einzelnen sei hierbei angenommen, daß U, das heißt ein Bildblock mit der Größe M × N Bildelementen, ein Unterbild bzw. Bildteil des aktuellen Vollbilds I(t) ist, und daß U_r ein (M + 2p) × (N + 2p) Unterbild bzw. Bildteil aus dem nächsten Bild I(t + 1) ist, das bzw. der an der gleichen räumlichen Position wie U zentriert ist, wobei p die maximale zulässige Verlagerung in ganzen Zahlen von Bildelementen bzw. ganzzahligen Bildelementeinheiten darstellt.

Die Korrelationsfunktion zwischen U und U_r ist in folgender Weise definiert:

Hierbei gilt -p i, j p. D(i, j) ist eine mittlere Quadratfehlerfunktion. Die Richtung des minimalen Fehlers ist durch (i, j) gegeben, für die D(i, j) ein Minimum ist. Der Parameter p sollte groß genug gewählt werden, um die größtmögliche Bewegung ab zudecken. Mit diesem Schema kann die Augenbewegung bei einer vernünftig großen Bewegung verfolgt werden, wie es bei dem in Fig. 8 dargestellten Beispiel gezeigt ist. Die softwaremäßige Realisierung dieses Ansatzes auf einem "Sparc 10" benötigt ungefähr 800 Millisekunden je Bild (bei einer Auflösung von 256 × 256).

Der weitere wesentliche Teil der vorliegenden Erfindung und zugleich auch der letzte Teil des vorderseitigen Abschnitts der vorliegenden Erfindung besteht in der Erzeugung eines Augenbewegungssignals. Für diese Erzeugung eines Augenbewegungssignals wird erneut die Technik bzw. Methode eingesetzt, die bei der Augenverfolgung angewendet wurde, das heißt die Korrelationsfunktion. Jedoch liegt in diesem Fall eine Messung der Korrelation zwischen dem neuen verfolgten Bildblock in I(t) und dem wirklich ersten anfänglichen Block in I(0) vor, bei dem angenommen wird, daß das Auge offen ist. Die Kurve D (D- Kurve) in Fig. 9 ist das Ergebnis des Einsatzes dieser Messung bei der Folge gemäß Fig. 8. Die Kurve T (T-Kurve) in Fig. 9 zeigt die Messung des Unterschieds zwischen dem aktuellen Vollbild und dem vorhergehenden Vollbild. Da der anfängliche Block ein geöffnetes Auge enthält, zeigt ein großer Unterschied in der Kurve D an, daß sich das Auge schließt. Die Benutzung der Kurve T und der Kurve D wird nachstehend in größeren Einzelheiten erläutert.

Der beste Indikator für die Feststellung, ob das Auge geschlossen oder geöffnet ist, ist die Fläche des Auges. Eine Berechnung dieses Merkmals erfordert die exakte Position der Augengrenze. Falls jedoch lediglich die Blinzelrate bzw. Lidschlagrate und die Dauer von Interesse ist, ist die exakte Grenze des Auges nicht so wesentlich. Ein Modell für das offene Auge kann als eine Referenz gespeichert und für einen Vergleich mit dem Rest der Bilder bzw. Vollbilder in einer Bildsequenz benutzt werden. Der Unterschied zwischen dem Referenzbild und dem aktuellen Bild ist ein Indikator für den Zustand des Auges. Der Unterschied wird klein sein, wenn das Auge geöffnet ist, und groß sein, wenn das Auge geschlossen ist. Für diesen Indikator ist die exakte Grenze des Auges nicht erforderlich.

Alle Schemata oder Methoden für die exakte Lokalisierung der Augengrenze erfordern in berechnungsmäßiger Hinsicht sehr teure Operationen entweder bei der Vorverarbeitung oder bei der Verarbeitung selbst. Sie erfordern weiterhin ein sehr unanfälliges Heraus greifen von primitiven Merkmalen aus Bildern. Der auf der Grauskala-Augenlehre basie rende Ansatz ist einfach und effektiv, ist jedoch stufenempfindlich und auch beleuchtungs empfindlich. Ansätze, die auf einer Mehrzahl von Bildern und Kanälen basieren, stellen eine zusätzliche Information bereit, müssen aber die zweifache oder eine noch größere Datenmenge verarbeiten, verglichen mit dem auf einem einzelnen Bild beruhenden Ansatz. Eine Kombination von unterschiedlichen Ansätzen kann zur Verbesserung der Lokalisie rung eines Auges in störunanfälliger Weise eingesetzt werden.

Zum Ansprechen von Merkmalen bzw. Aspekten, die mit dem rückseitigen Abschnitt der vorliegenden Erfindung zusammenhängen, ist die Heranziehung der in Fig. 9 gezeigten graphischen Darstellung erforderlich. Diese kann als ein Signal betrachtet werden, das gleichartig ist wie ein EEG- oder EOG-Signal. Sie ist das visuelle Äquivalent, das zur Beobachtung von Schläfrigkeitsmustern herangezogen werden kann. Diese graphische Darstellung enthält zwei unterschiedliche Kurven. Die Kurve T zeigt die Verfolgung an, während die Kurve D den Bildunterschied anzeigt. Im Bereich um das Bild 3 oder 4 kann aus der Kurve D ein Blinzeln bzw. Lidschlag erkannt werden. Bei dem 25. Bild liegt ein großer Sprung sowohl bei der Kurve D als auch bei der Kurve T vor. Dies zeigt an, daß das Ziel eine relativ große Bewegung durchgeführt hat (bei diesem Beispiel hat sich die Person leicht nach hinten gelehnt). Zu diesem Zeitpunkt kann ein neues Referenzbild erforderlich sein, um eine gute Kurve D für die Lidschlagerfassung zu erhalten.

Wenn eine Person mit der Schläfrigkeit kämpft, treten manche der nachfolgend beschriebe nen Muster auf. Ein Individuum kann versuchen, die Augen weit zu öffnen, zu blinzeln oder zu schielen bzw. zusammenzukneifen. Die Lidschlagraten dieser Muster sind recht unterschiedlich gegenüber denjenigen der Lidschlagraten in einem wachen Zustand. Als Beispiel ist in Fig. 10 der normale Lidschlag eines Auges gezeigt und es sind die ent sprechenden Kurven T und D dargestellt. In Fig. 11 sind eine Abfolge, wenn eine Person schläfrig ist, und die entsprechenden Kurven T und D gezeigt. Bei Analyse dieser Kurven ist es offensichtlich, daß manche Unterschiede zwischen diesen beiden graphischen Darstellungen vorhanden sind. Wenn ein solcher Unterschied auftritt, wird ein Warnsignal von einem Warnsystem an das Individuum abgegeben. Ein persönliches Profil, das das Verhalten der unter Beobachtung stehenden Person charakterisiert, kann dazu eingesetzt werden, die Zuverlässigkeit der Erfassung zu verbessern.

Wenn die Augen eines Individuums durch eine Sonnenbrille oder eine Brille mit hohem Reflexionsgrad abgedeckt sind, können spezielle aktive Lichtquellen zur Durchdringung dieser Gläser eingesetzt werden, und es können spezielle Abbildungssensoren (Bildsenso ren) zur Aufzeichnung des Bilds aus dem reflektierten Licht herangezogen werden. Eine der Anforderungen, die an die aktive Lichtquelle gestellt werden, besteht darin, daß die Frequenz außerhalb des sichtbaren Farbspektrums liegen sollte. Eine weitere Alternative wird im folgenden beschrieben. Da die Person eine Brille trägt, kann eine winzige Licht quelle und ein winziger Sensor an dem inneren Rand der Brille angebracht werden, um ein normales Bild zu erhalten und die Verfolgung in der vorstehend beschriebenen Weise durchzuführen.

Aufgrund der nicht invasiven Natur der vorliegenden Erfindung ist diese für die kom merzielle Vermarktung attraktiver. Eine kleine Kamera, die sich wenige Fuß (in etwa wenige Drittel Meter) von dem Fahrer entfernt befindet, ist im Vergleich zu EEG-Elek troden, die an dem Kopf des Fahrers angebracht werden, sehr viel annehmlicher. Der eventuelle Markt für ein solches, nicht invasives System zur Überwachung der Schläfrig keit/Müdigkeit umfaßt eine breite Vielzahl von Einstellungen bzw. Anwendungen ein schließlich monotoner und ermüdender Tätigkeiten wie etwa derjenigen von Fließband arbeitern, Luftverkehrsteuerungspersonen bzw. Flugzeuglotsen, Flugzeugpiloten, Assi stenzärzten oder Krankenhausärzten usw. Die vorliegende Erfindung ist nicht auf die beschriebene Hardware- oder Softwareausgestaltung beschränkt.

Das beschriebene System zur Überwachung der Augen einer Person weist eine Schnittstelle zu dem Menschen, die zur Gewinnung von Bildern von der Person und zur Bereitstellung einer Rückkopplung zu der Person dient, und einen Prozessor für die Analyse der Bilder auf. Der Prozessor wandelt eine Bildfolge in ein eindimensionales Signal durch Heraus greifen von relevanten Merkmalen aus den Bildern um. Die Analyse des erzeugten Signals findet dann zur Erfassung der Schläfrigkeit statt. Eine Transformation der Bildfolge beinhaltet die Augenlokalisierung, die Augenverfolgung und die Erzeugung eines Augen bewegungssignals. Das System nutzt die relativ hohe Horizontalkontrastdichte der Augen region für die Ermittlung der Augenpositionen in einem Grauskala- bzw. Graustufenbild eines menschlichen Gesichts aus.

Claims

1. Vorrichtung zur Überwachung von Augen für die Erfassung eines Schlaf verhaltens oder eines Schlafzustands, mit
einer Schnittstellenvorrichtung (12, 16, 20, 22) als Mensch-Schnittstelle für die nicht invasive Überwachung der Augen einer Person, für die Bereitstellung von abgetaste ten Bildern und für die Erzeugung einer Rückkopplung zu der Person, und
einer Prozessoreinrichtung (14), die mit der Schnittstellenvorrichtung verbun den ist und zum Empfangen der abgetasteten Bilder von der Schnittstellenvorrichtung, zum Verarbeiten der abgetasteten Bilder und zum Zurückleiten von verarbeiten Daten zu der Schnittstellenvorrichtung für die Herstellung der Rückkopplung zu der Person ausgelegt ist.

2. System nach Anspruch 1, dadurch gekennzeichnet, daß die Prozessoreinrichtung (14)
eine Augenlokalisierungseinrichtung (36), die mit der Schnittstellenvorrichtung verbunden ist,
eine Augenverfolgungseinrichtung (38), die mit der Augenlokalisierungsein richtung verbunden ist,
eine Augenbewegungssignalerzeugungseinrichtung (40), die mit der Augenver folgungseinrichtung verbunden ist, und
eine Analysiereinrichtung (34) aufweist, die zwischen die Augenbewegungs signalerzeugungseinrichtung und die Schnittstellenvorrichtung geschaltet ist.

3. System nach Anspruch 2, dadurch gekennzeichnet, daß die Schnittstellenvorrichtung
eine Abbildungseinrichtung (12), die mit der Prozessoreinrichtung (14) ver bunden ist und zum Überwachen der Augen der Person dient, und
eine Warnsystemeinrichtung (21) aufweist, die mit der Prozessoreinrichtung (14) zum Empfangen der verarbeiteten Daten von der Prozessoreinrichtung und zur Erzeugung einer Alarmgabe für die Person verbunden ist.

4. System nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß die Augenlokalisierungseinrichtung
eine Horizontalkontrast-Berechnungsfiltereinrichtung,
eine Horizontalkontrast-Dichte-Bestimmungsfiltereinrichtung, die mit der Horizontalkontrast-Berechnungsfiltereinrichtung verbunden ist,
eine Beurteilungseinrichtung zur Beurteilung der Gesichtsgeometrie, die mit der Horizontalkontrast-Dichte-Bestimmungsfiltereinrichtung verbunden ist, und
eine Augenpositionsbestimmungseinrichtung aufweist, die mit der Beurteilungs einrichtung zur Beurteilung der Gesichtsgeometrie verbunden ist.

5. System nach einem der Ansprüche 2 bis 4, dadurch gekennzeich net, daß die Augenverfolgungseinrichtung eine Sucheinrichtung zum Korrelieren eines Bildblocks mit einem Bild in einem aktuellen Vollbild mit sich verändernden Verschiebun gen gegenüber einer ursprünglichen Position aufweist.

6. System nach einem der Ansprüche 2 bis 5, dadurch gekennzeich net, daß die Augenbewegungssignalerzeugungseinrichtung eine Meßeinrichtung zum Messen der Korrelation zwischen einem neuen, verfolgten Bildblock und einem allerersten, anfänglichen Block, bei dem ein Auge geöffnet ist, aufweist.

7. System nach einem der Ansprüche 2 bis 6, dadurch gekennzeich net, daß die Analyseeinrichtung einer Verfolgungskurve (T) und eine Bildunterschieds kurve (D) bewertet.

8. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, daß die Prozessoreinrichtung eine Grauskala-Korrelatoreinrichtung auf weist, die mit der Schnittstellenvorrichtung verbunden ist.

9. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, daß die Prozessoreinrichtung eine Videoanzeigechipeinrichtung aufweist, die mit der Schnittstellenvorrichtung verbunden ist.

10. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, daß die Schnittstellenvorrichtung eine Steuereinrichtung (18) aufweist, die mit der Abbildungseinrichtung (12) zur Ermöglichung der Einstellung des Betrachtungs winkels und der Betrachtungsrichtung der Abbildungseinrichtung durch die Person verbun den ist.

11. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, daß die Schnittstellenvorrichtung eine Anzeigereinrichtung (20) zur Anzei ge des Zustands Nachführung/verlorengegangene Nachführung aufweist, die dazu dient, die Person darüber zu informieren, daß die Abbildungseinrichtung einer Einstellung be darf.

12. System nach einem der Ansprüche 3 bis 11, dadurch gekennzeich net, daß die Abbildungseinrichtung eine CCD-Kamera (12) aufweist.

13. Verfahren zur Überwachung von Augen für die Erfassung eines Schlaf verhaltens bzw. eines Schlafzustands, mit den Schritten
nicht invasive Überwachung der Augen einer Person,
Erzeugen von abgetasteten Bildern,
Verarbeiten der abgetasteten Bilder und
Bereitstellen einer Rückkopplung zu der Person.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß der Schritt der Verarbeitung der abgetasteten Bilder die Schritte
Lokalisieren der Augen,
Verfolgung der Augen,
Erzeugen von Augenbewegungssignalen und
Analysieren der Augenbewegungssignale, umfaßt.

15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, daß der Schritt der Lokalisierung der Augen die Schritte
Horizontalkontrast-Berechnungsfilterung eines Graustufenbilds eines Gesichts zur Erzeugung eines binären Maskenbilds,
Horizontalkontrast-Dichte-Bestimmungsfilterung des binären Maskenbilds zur Erzeugung eines Graustufen-Maskenbilds,
Durchführung einer Gesichtsgeometriebeurteilung bei dem Graustufen-Masken bild für die Bereitstellung bzw. Ermittlung der ungefähren Positionen der beiden Augen, und
Durchführung einer Augenpositionsbestimmung bezüglich des Graustufenbilds eines Gesichts und der ungefähren Position der beiden Augen zu Bereitstellung bzw. Ermittlung der Positionen der beiden Augen aufweist.

16. System zur Überwachung von Augen für die Erfassung eines Schlafverhal tens bzw. eines Schlafzustands, mit
einer Mensch-Schnittstellenvorrichtung (12, 16, 20, 22) und
einer Prozessoreinrichtung (14), die mit der Mensch-Schnittstellenvorrichtung verbunden ist und aufweist:
eine Graustufen- bzw. Grauskala-Korrelatoreinrichtung, die mit der Mensch- Schnittstellenvorrichtung verbunden ist,
eine Augenlokalisierungseinrichtung, die mit der Grauskala-Korrelatoreinrich tung verbunden ist,
eine Augenverfolgungseinrichtung, die mit der Augenlokalisierungseinrichtung verbunden ist,
eine Augenbewegungssignalerzeugungseinrichtung, die mit der Augenver folgungseinrichtung verbunden ist, und
eine Analysiereinrichtung, die mit der Augenbewegungssignalerzeugungsein richtung und der Schnittstellenvorrichtung verbunden ist.

17. System nach Anspruch 16, dadurch gekennzeichnet, daß die Mensch-Schnittstellenvorrichtung
eine Abbildungseinrichtung, die mit der Grauskala-Korrelatoreinrichtung zur Überwachen der Augen einer Person verbunden ist, und
eine Warnsystemeinrichtung aufweist, die mit der Analysiereinrichtung zum Empfangen von analysierten Daten von der Analysiereinrichtung und zum Erzeugen einer Warnung oder Alarmgabe für die Person verbunden ist.

18. System nach Anspruch 17, dadurch gekennzeichnet, daß die Mensch-Schnittstellenvorrichtung
eine Steuereinrichtung, die mit der Abbildungseinrichtung zur Ermöglichung einer Einstellung des Betrachtungswinkels und der Betrachtungsrichtung der Abbildungs einrichtung durch die Person verbunden ist, und
eine Indikatoreinrichtung zur Anzeige des Zustands Verfolgung/verlorengegan gene Verfolgung aufweist, die dazu dient, die Person darüber zu informieren, daß die Abbildungseinrichtung einer Einstellung bedarf.

19. System nach Anspruch 16, 17 oder 18, dadurch gekennzeich net, daß die Prozessoreinrichtung eine Videoanzeigechipeinrichtung aufweist, die mit der Mensch-Schnittstelleneinrichtung verbunden ist.

20. System nach einem der Ansprüche 16 bis 19, dadurch gekenn zeichnet, daß die Augenlokalisiereinrichtung
eine Horizontalkontrast-Berechnungsfiltereinrichtung,
eine Horizontalkontrast-Dichte-Bestimmungsfiltereinrichtung, die mit der Horizontalkontrast-Berechnungsfiltereinrichtung verbunden ist,
eine Gesichtsgeometrie-Beurteilungseinrichtung oder Einschätzungseinrichtung, die mit der Horizontalkontrast-Dichte-Bestimmungsfiltereinrichtung verbunden ist, und
eine Augenpositionsbestimmungseinrichtung aufweist, die mit der Gesichts geometrie-Beurteilungseinrichtung verbunden ist.