DE19736995A1 - Vorrichtung zum Bestimmen eines Fixationspunktes - Google Patents

Description

Die Erfindung betrifft eine Vorrichtung zum Bestim­ men eines Fixationspunktes eines anthropomorph aufgebauten Auges beim Betrachten eines Gegen­ standes mit einer Augenreferenzpunktsdetektions­ einrichtung, mit der räumliche Augenreferenzpunkts­ koordinatenwerte eines Augenreferenzpunktes be­ stimmbar sind, mit einer Blickrichtungsdetektions­ einrichtung, mit der eine Blickrichtung des Auges als Blickrichtungsfunktion bestimmbar ist, und mit einer Recheneinrichtung, mit der aus der Blickrich­ tungsfunktion und den Augenreferenzpunktskoordina­ tenwerten der Fixationspunkt des Auges bestimmbar ist.

Eine derartige Vorrichtung ist aus dem Abschluß­ bericht zu dem von dem Bundesministerium für Bil­ dung, Wissenschaft, Forschung und Technologie unter dem Förderkennzeichen 01BK203/8 geförderten Projekt "Fernseh-Bildgüte bei dynamischem Blickverhalten", Anlage 2, bekannt. Bei der vorbekannten Vorrichtung ist als Augenreferenzpunktsdetektionseinrichtung ein raumfest angeordneter Kopfstellungssender und ein beispielsweise an einem brillenartigen Gestell an einem Kopf eines Anwenders angebrachten Kopf­ stellungsdetektor vorgesehen. Weiterhin verfügt die Vorrichtung über eine Recheneinrichtung, mit der die Relativlage des Kopfstellungsdetektors in bezug auf den Kopfstellungssender in Raumkoordinaten, nämlich der Abstand und die Verdrehung des Kopf­ stellungsdetektors zu dem Kopfstellungssender, berechenbar ist.

Weiterhin weist die vorbekannte Vorrichtung eine Blickrichtungsdetektionseinrichtung auf, die eben­ falls an dem Gestell angebracht und zum Erfassen einer Blickrichtungsfunktion eines Auges, dessen Fixationspunkt auf einem Bildschirm zu erfassen ist, eingerichtet ist. Dabei wird die Blickrich­ tungsfunktion mit Hilfe eines Kalibrierverfahrens aus der bekannten Tatsache gewonnen, daß die mittels zweier Meßwerte erfaßte Augenstellung ein­ deutig einer Blickrichtungsfunktion zugeordnet werden kann. Weiterhin wird bei der vorbekannten Vorrichtung beispielsweise durch Abschätzung ein Translationsvektor zwischen dem Kopfstellungsdetek­ tor und einem Augenreferenzpunkt, beispielsweise dem Pupillenmittelpunkt oder dem Augenmittelpunkt, ermittelt.

Zum Bestimmen des Fixationspunktes auf dem Bild­ schirm wird mittels der Recheneinrichtung verhält­ nismäßig rechenaufwendig die Blickrichtungsfunktion skaliert, um den Translationsvektor verschoben, mit einer die Verdrehung des Kopfes gegenüber dem Kopf­ stellungssender repräsentierenden Drehmatrix multi­ pliziert und um den Abstandsvektor zwischen dem Kopfstellungssender und dem Kopfstellungsdetektor korrigiert. Zur Berechnung des Skalierungsfaktors wird die die Kopfverdrehung repräsentierende Dreh­ matrix zum einen mit dem Translationsvektor zwischen dem Kopfstellungsdetektor und dem Augen­ referenzpunkt und zum anderen mit der vektoriellen Blickrichtungsfunktion mit nachfolgender Quotien­ tenbildung multipliziert und die beiden Multiplika­ tionsergebnisse miteinander dividiert.

Aus dem Artikel "Gaze Point Detection System Allowing Head Motion" von M. Iida und A. Tomono in Systems and Computers in Japan, Vol. 23, No. 6, 1992 ist eine ähnlich aufgebaute Vorrichtung mit einem an einem Kopf anzubringenden Gestell bekannt, an dem ein Kopfstellungssender zugeordneter Kopf­ stellungsdetektor, eine Augenreferenzpunktsdetek­ tionseinrichtung und eine Blickrichtungsdetektions­ einrichtung angebracht sind.

Aus der US-A-4,582,403 ist eine Vorrichtung be­ kannt, mit der durch Erfassen eines Referenzpunktes mittels einer Referenzpunktserfassungseinrichtung Kopfbewegungen beim Bestimmen eines Fixationspunk­ tes ausgleichbar sind. Bei Ausgestaltungen dieser Vorrichtung ist zum einen in für einen Anwender wenig komfortabler Weise ein brillenartiges Gestell vorgesehen, das einen Referenzpunktsdetektor zum Erfassen eines Referenzpunktes auf einem Bildschirm sowie eine Blickrichtungsdetektionseinrichtung trägt. Bei einer anderen Ausgestaltung ist vor­ gesehen, den zu beobachtenden Referenzpunkt bei­ spielsweise auf der Stirn eines Anwenders durch einen im infraroten Spektralbereich hochreflektiven Beschichtungspunkt auszugestalten. Allerdings be­ steht hier die Gefahr, daß sich der Beschichtungs­ punkt ablöst und die Vorrichtung vollkommen neu kalibriert werden muß.

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung der eingangs genannten Art anzugeben, die in einer für den Benutzer absolut störungs­ freien Art und Weise schnell die Erfassung eines Fixationspunktes auf einem betrachteten Gegenstand gestattet.

Diese Aufgabe wird bei einer Vorrichtung der ein­ gangs genannten Art erfindungsgemäß dadurch gelöst, daß die Augenreferenzpunktsdetektionseinrichtung einen als Flächendetektor ausgebildeten Augenrefe­ renzpunktsdetektor aufweist, mit dem das Auge innerhalb eines vorbestimmten Raumbereiches abbild­ bar ist, daß die Blickrichtungsdetektionseinrich­ tung über einen als Flächendetektor ausgebildeten Blickrichtungsdetektor verfügt, der auf einem in zwei überlagerbaren Richtungen schwenkbaren und neigbaren Schwenk/Neigeelement angebracht ist, wobei mit dem Blickrichtungsdetektor wenigstens die Pupille und die unmittelbare Pupillenumgebung ab­ bildbar ist und das Schwenk/Neigeelement von einer mit Steuersignalen aus der Augenreferenzpunkts­ detektionseinrichtung speisbaren und derart nach­ führbaren Nachführeinheit so einstellbar ist, daß bei Bewegen des Augenreferenzpunktes im Raum der Blickrichtungsdetektor auf den Augenreferenzpunkt ausgerichtet bleibt, und daß die Recheneinrichtung über eine Kompensationseinheit zur Kompensation der Bewegung des Augenreferenzpunktes verfügt, der dem Gegenstand zugeordnete Gegenstandskoordinatenwerte, dem Blickrichtungsdetektor zugeordnete Blickrich­ tungsdetektorkoordinatenwerte, der Blickrichtungs­ funktion in einem Blickrichtungskoordinatensystem zugeordnete Blickrichtungswerte, der Ausrichtung des Blickrichtungsdetektors zugeordnete Ausricht­ werte und die Augenreferenzpunktskoordinatenwerte zum Bestimmen des Fixationspunktes einspeisbar sind.

Dadurch, daß zum Bestimmen des Fixationspunktes lediglich das Auge eines Benutzers optisch berüh­ rungsfrei erfaßt und mittels der Kompensationsein­ heit Kopfbewegungen durch Verrechnung der der Kom­ pensationseinheit eingespeisten, durch den Augen­ referenzpunktsdetektor und den Blickrichtungsdetek­ tor sowie das Schwenk/Neigeelement gewonnenen Daten ist eine verhältnismäßig wenig rechenaufwendige Ermittlung des Fixationspunktes durch Ausführen eines Rotations-, eines Skalierungs- und eines Translationsrechenschrittes erzielt, die bei einem bevorzugten Ausführungsbeispiel mittels eines Rota­ tionskompensationsgliedes, eines Skalierungsgliedes und eines Translationskompensationsgliedes der Kompensationseinheit ausführbar sind.

Zu einer hochpräzisen Erfassung des Augenreferenz­ punktes ist vorgesehen, sowohl die Augenreferenz­ punktsdetektionseinrichtung als auch die Blickrich­ tungsdetektionseinrichtung jeweils mit einer Flä­ chenkamera als Flächendetektor auszustatten, wobei die Flächenkamera der Augenreferenzpunktsdetek­ tionseinrichtung vorzugsweise den Kopfbereich des Benutzers innerhalb eines Raumbereiches erfaßt, in dem Bewegungen zu erwarten sind, während die Flä­ chenkamera der Blickrichtungsdetektionseinrichtung den unmittelbaren Bereich um die Pupille des Auges hochaufgelöst erfaßt.

Bei einer weiteren Ausgestaltung ist vorgesehen, daß die Augenreferenzpunktsdetektionseinrichtung und die Blickrichtungsdetektionseinrichtung über eine gemeinsame Flächenkamera als Doppeldetektor hoher Auflösung verfügen, wobei die Flächenkamera als Autofokuskamera ausgebildet ist, deren Auto­ fokuseinstellungen der Recheneinheit zum Bestimmen des Abstandes des vorzugsweise aus der Pupille des Auges abgeleiteten Augenreferenzpunktes von der Detektorebene des Doppeldetektors einspeisbar sind. Dadurch ist der apparative Aufwand verhältnismäßig gering.

Weitere zweckmäßige Ausgestaltungen und Vorteile der Erfindung sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung von Ausfüh­ rungsbeispielen der Erfindung. Es zeigen:

Fig. 1 in einem Blockschaltbild ein Ausführungs­ beispiel einer erfindungsgemäßen Vorrich­ tung, bei dem eine Augenreferenzpunkts­ detektionseinrichtung und eine Blickrich­ tungsdetektionseinrichtung jeweils mit einem Flächendetektor ausgestattet sind,

Fig. 2 in einem Blockschaltbild den Aufbau einer Augenreferenzpunktsbewegungskompensations­ einheit der Vorrichtung gemäß Fig. 1,

Fig. 3 in einer schematischen Darstellung die bei der Vorrichtung gemäß Fig. 1 verwendeten Koordinatensysteme,

Fig. 4 in einer graphischen Darstellung einen Aus­ richtvorgang einer Blickrichtungsdetek­ tionseinrichtung des Ausführungsbeispieles gemäß Fig. 1,

Fig. 5 in einer graphischen Veranschaulichung die Funktionsweise von Teilschritten einer in der Augenreferenzpunktsbewegungskompensa­ tionseinheit gemäß Fig. 2 erfolgenden Kom­ pensationsschritten und

Fig. 6 in einem Blockschaltbild ein weiteres Aus­ führungsbeispiel einer Vorrichtung gemäß der Erfindung, bei der die Augenreferenz­ punktsdetektionseinrichtung und die Blick­ richtungsdetektionseinrichtung über einen gemeinsamen schwenkbar und neigbar gelager­ ten Flächendetektor verfügen.

Fig. 1 zeigt in einem Blockschaltbild ein Ausfüh­ rungsbeispiel einer Vorrichtung zum Bestimmen eines Fixationspunktes gemäß der Erfindung. Zum Bestimmen eines beispielsweise auf einem Bildschirm 1 eines Arbeitsplatzrechners als von einer Person 2 be­ trachteter Gegenstand gelegener Fixationspunkt 3, wobei unter Fixationspunkt 3 der Punkt auf dem Bildschirm 1 zu verstehen ist, der von einer Blick­ linie 4 eines Auges 5 der Person 2 getroffen wird, ist eine Augenreferenzpunktsdetektionseinrichtung vorgesehen, die über einen Augenreferenzpunkts­ detektor 6 verfügt. Der Augenreferenzpunktsdetektor 6 ist beispielsweise durch eine kurzbrennweitige Videokamera als Flächendetektor ausgeführt. Mit dem Augenreferenzpunktsdetektor 6 ist innerhalb eines vorbestimmten Raumbereiches beispielsweise der Kopf-Schulter-Bereich der Person 2 erfaßbar und in einem Kopfbildspeicher 7 als Bilddaten speicherbar. Der Kopfbildspeicher 7 ist an eine Flächenaugen­ referenzpunktsbestimmungseinheit 8 der Augenrefe­ renzpunktsdetektionseinrichtung angeschlossen, mit der ein Augenreferenzpunkt aus den Bilddaten des Kopfbildspeichers 7 bestimmbar ist. Aus meßtech­ nischen Gründen ist als Augenreferenzpunkt vorzugs­ weise der Pupillenmittelpunkt vorgesehen.

Weiterhin verfügt die Vorrichtung gemäß Fig. 1 über einen Blickrichtungsdetektor 9, der beispielsweise durch eine langbrennweitige Videokamera als Flä­ chendetektor gebildet und zusammen mit einer Be­ leuchtungseinheit 10 auf einer in zwei Raumrich­ tungen schwenkbaren und neigbaren Schwenk/Neige­ plattform 11 als Schwenk/Neigeelement angebracht ist. Die Beleuchtungseinheit 10 ist beispielsweise als im nahen infraroten Spektralbereich bei bei­ spielsweise etwa 880 Nanometer emittierendes Leuchtdiodenarray ausgebildet, dessen Ausgangs­ strahlung in die gleiche Richtung wie ein Sicht­ bereich des Blickrichtungsdetektors 9 abgegeben wird. Der Blickrichtungsdetektor 9 ist mit einem Autofokusmodul ausgestattet, das eine scharfe Ab­ bildung des Auges 5 auch bei Änderung des Abstandes zwischen dem Auge 5 und dem Blickrichtungsdetektor 9 gestattet. Der Blickrichtungsdetektor 9 ist auf das Auge 5 der Person 2 ausgerichtet, dessen Fixa­ tionspunkt 3 zu bestimmen ist. Dabei ist bei dem Ausführungsbeispiel gemäß Fig. 1 das Auge 5 mit der Pupille, der Hornhaut, üblicherweise auch Cornea genannt, und dem sichtbaren Teil des Glaskörpers erfaßbar.

Der Blickrichtungsdetektor 9 ist an einen Augen­ bildspeicher 12 angeschlossen, in dem dessen Bild­ daten speicherbar sind. In der Darstellung gemäß Fig. 1 sind als abgespeicherte Bilddaten schema­ tisch ein Bild des Auges 5 mit der Pupille 13 und die sie umgebende Regenbogenhaut 14, der sogenann­ ten Iris, mit dem sichtbaren Teil des Glaskörpers 15 als urimittelbare Pupillenumgebung dargestellt. Der Augenbildspeicher 12 ist an eine Flächenblick­ richtungsbestimmungseinheit 16 der Blickrichtungs­ bestimmungseinrichtung angeschlossen, mit der bei­ spielsweise nach der bekannten sogenannten "Cornea- Reflex-Methode", bei der aufgrund des monotonen Zusammenhanges zwischen einem durch Bestrahlung mit Ausgangslicht der Beleuchtungseinheit 10 auf der Hornhaut des Auges 5 erfaßten Reflexmittelpunktes 17 und dem Mittelpunkt der Pupille 13 als Meßwerte nach Durchführen eines Kalibriervorganges eine mit der Blickrichtung eineindeutig verknüpfte Blick­ richtungsfunktion berechenbar ist. Weiterhin sind mit der Flächenblickrichtungsbestimmungseinheit 16 in einem dem Blickrichtungsdetektor 9 zugeordneten Blickrichtungsdetektorkoordinatensystem die flächi­ gen zweidimensionalen Koordinaten des Augenrefe­ renzpunktes in der Detektorebene des Blickrich­ tungsdetektors 9 bestimmbar.

Die Augenreferenzpunktsdetektionseinrichtung der Vorrichtung gemäß Fig. 1 weist eine an die Flächen­ augenreferenzpunktsbestimmungseinheit 8 angeschlos­ sene Raumaugenreferenzpunktsbestimmungseinheit 18 auf, die an die Flächenblickrichtungsbestimmungs­ einheit 16 angeschlossen und mit Augenreferenz­ punktskoordinatenwerten in dem Blickrichtungskoor­ dinatensystem beaufschlagbar ist. Weiterhin ist die Raumaugenreferenzpunktsbestimmungseinheit 18 mit Ursprungsraumkoordinaten als Blickrichtungsdetek­ torkoordinatenwerte aus einem Blickrichtungsdetek­ torkoordinatenspeicher 19 beaufschlagbar, die den Ursprung des Blickrichtungskoordinatensystemes repräsentieren.

Die Raumaugenreferenzpunktsbestimmungseinheit 18 ist mit Parameterdaten aus einem Blickrichtungs­ detektorparameterspeicher 20 beaufschlagbar, die Abbildungseigenschaften des Blickrichtungsdetektors 9 zugeordnet sind. Schließlich ist die Raumaugen­ referenzpunktsbestimmungseinheit 18 mit einem Schwenkwinkelwert und einem Neigungswinkelwert aus einer Nachführeinheit 21 der Blickrichtungsdetek­ tionseinrichtung beaufschlagbar, mit denen über zugeordnete Stellsignale Verstellelemente der Schwenk/Neigeplattform 11 zum Ausrichten des Blick­ richtungsdetektors 9 und der Beleuchtungseinheit 10 auf das Auge 5 der Person 2 ansteuerbar sind.

An die Raumaugenreferenzpunktsbestimmungseinheit 18 sind weiterhin ein Augenreferenzpunktsdetektorpara­ meterspeicher 22 und ein Augenreferenzpunktsdetek­ torkoordinatenspeicher 23 angeschlossen, denen Geräteparameter des Augenreferenzpunktsdetektors 6 und Ursprungskoordinatenwerte eines dem Augenrefe­ renzpunktsdetektor 6 zugeordneten Augenreferenz­ punktsdetektorkoordinatensystems zum Berechnen von Augenreferenzpunktskoordinatenwerten einspeisbar sind.

Mit der Raumaugenreferenzpunktsbestimmungseinheit 18 sind räumliche Augenreferenzpunktskoordinaten­ werte sowohl in dem Blickrichtungskoordinatensystem als auch in einem dem Bildschirm 1 zugeordneten Displaykoordinatensystem berechenbar. Die Augen­ referenzpunktskoordinatenwerte in dem Blickrich­ tungskoordinatensystem sind über ein Rückführlei­ tung auf die Nachführeinheit 21 rückführbar und dienen zur Ermittlung von neuen Neigungswinkelwer­ ten und neuen Schwenkwinkelwerten zum nachführenden Ausrichten des Blickrichtungsdetektors 9 auf das Auge 5.

Augenreferenzpunktskoordinatenwerte in dem Display­ koordinatensystem sind über eine Raumaugenreferenz­ punktsleitung 18' einer an die Raumaugenreferenz­ punktsbestimmungseinheit 18 angeschlossenen Augen­ referenzpunktsbewegungskompensationseinheit 24 einer Recheneinheit einspeisbar, die weiterhin über eine Blickrichtungsleitung 16' an die Flächenblick­ richtungsbestimmungseinheit 16, über eine Blick­ richtungsdetektorkoordinatenleitung 19' an den Blickrichtungsdetektorkoordinatenspeicher 19, über eine Nachführleitung 21' an die Nachführeinheit 21 sowie über eine Bildschirmkoordinatenleitung 25' an einen Bildschirmkoordinatenspeicher 25 angeschlos­ sen ist. Mittels der Flächenblickrichtungsbestim­ mungseinheit 16 sind der Augenreferenzpunktsbe­ wegungskompensationseinheit 24 Blickrichtungsfunk­ tionswerte in dem Blickrichtungskoordinatensystem einspeisbar. Von der Nachführeinheit 21 sind der Augenreferenzpunktsbewegungskompensationseinheit 24 die Schwenkwinkelwerte und Neigungswinkelwerte des Blickrichtungsdetektors 9 zuführbar.

Schließlich sind der Augenreferenzpunktsbewegungs­ kompensationseinheit 24 die Ursprungskoordinaten­ werte für den Blickrichtungssensor 9 im zugeordne­ ten Blickrichtungskoordinatensystem aus dem Blick­ richtungsdetektorkoordinatenspeicher 19 und die räumlichen Koordinatenwerte des Bildschirmes 1 als Gegenstandskoordinatenwerte aus dem Bildschirmkoor­ dinatenspeicher 25 einspeisbar. Wie weiter unten näher erläutert ist, sind mit der Augenreferenz­ punktsbewegungskompensationseinheit 24 unter Kom­ pensation von beispielsweise durch Kopfdrehungen und/oder Kopfverschiebungen hervorgerufenen räum­ liche Änderungen des Augenreferenzpunktes die Blickrichtungsfunktionswerte in dem Blickrichtungs­ koordinatensystem in Fixationspunktskoordinaten­ werte des Fixationspunktes 3 in dem Displaykoor­ dinatensystem transformierbar und einer der Augen­ referenzpunktskompensationseinheit 24 nachgeord­ neten Fixationspunktskoordinatenauswerteeinheit 26 über eine Fixationspunktsleitung 24' einspeisbar. Mittels der Fixationspunktskoordinatenauswerteein­ heit 26 sind beispielsweise Schaltfunktionen zur Steuerung des den Bildschirm 1 aufweisenden Ar­ beitsplatzrechners auslösbar, wenn der Fixations­ punkt 3 in bestimmte Schaltfunktionen symbolisch darstellende Fensterbereiche fällt und dort über eine gewisse Zeit verbleibt.

Fig. 2 zeigt in einem Blockschaltbild die Augen­ referenzpunktsbewegungskompensationseinheit 24 gemäß Fig. 1, die über ein Rotationskompensations­ glied 27, ein Skalierungsglied 28 und ein Trans­ lationskompensationsglied 29 verfügt. Das Rota­ tionskompensationsglied 27 ist an die Blickrich­ tungsleitung 16', die Nachführwerteleitung 21' und die Bildschirmkoordinatenleitung 25' angeschlossen. Mit dem Rotationskompensationsglied 27 sind die Blickrichtungsfunktionswerte mittels einer Rota­ tionsmatrix, die den Neigungswinkelwert und den Schwenkwinkelwert des Blickrichtungsdetektors 9 sowie räumliche Koordinatenwerte des Bildschirmes 1 als Gegenstandskoordinatenwerte enthält, in ein bewegliches kopffestes Kopfkoordinatensystem trans­ formierbar.

Das dem Rotationskompensationsglied 27 nachgeord­ nete Skalierungsglied 28 ist an die Raumaugenrefe­ renzpunktsleitung 18', die Blickrichtungsdetektor­ koordinatenleitung 19' und die Bildschirmkoordina­ tenleitung 25' angeschlossen. Mit dem Skalierungs­ glied 28 sind die Blickrichtungsfunktionswerte in dem Kopfkoordinatensystem unter Berücksichtigung der Tatsache, daß die Abbildung der Blickrichtungs­ funktion auf den Blickrichtungsdetektor 9 propor­ tional zu dem Abstand zwischen dem Auge 5 und dem Blickrichtungsdetektor 9 und die Abbildung auf dem Bildschirm 1 proportional zu dem Abstand zwischen dem Auge 5 und dem Bildschirm 1 ist, mit einem Skalierungsfaktor zum Bestimmen der Abbildungsgröße der Blickrichtungsfunktionswerte auf dem Bildschirm 1 multiplizierbar.

Das dem Skalierungsglied 28 nachgeordnete Trans­ lationskompensationsglied 29 ist schließlich an die Raumaugenreferenzpunktsleitung 18' sowie die Bild­ schirmkoordinatenleitung 25' angeschlossen und zum Verschieben des Koordinatenursprunges des Kopfkoor­ dinatensystemes zu dem Ursprung des Displaykoordi­ natensystemes eingerichtet. Die somit bestimmten Fixationspunktskoordinaten in dem Displaykoordina­ tensystem sind über die Fixationspunktsleitung 24' der Fixationspunktskoordinatenauswerteeinheit 26 gemäß Fig. 1 einspeisbar.

Fig. 3 zeigt in einer schematischen Darstellung die bei der erfindungsgemäßen Vorrichtung relevanten Koordinatensysteme. Ein dem Bildschirm 1 zugeordne­ tes Displaykoordinatensystem 30 hat seinen Ursprung beispielsweise in der Darstellung gemäß Fig. 3 in der linken oberen Ecke des Bildschirmes 1. Ist der Bildschirm 1 raumfest angeordnet, ist es zweck­ mäßig, das Displaykoordinatensystem 30 als Welt­ koordinatensystem zu wählen. Die von der Blicklinie 4 beaufschlagte Displayoberfläche 31 liegt in der durch die x_D-Achse 32 und die y_D-Achse 33 des Dis­ playkoordinatensystems 30 aufgespannten x_D-y_D-Ebene Eine z_D-Achse 34 dem Displaykoordinatensystemes 30 ist in Richtung des Auges 5 gerichtet. Mit dem so gewählten Displaykoordinatensystem 30 hat ein Fixa­ tionspunkt 3 auf der Displayoberfläche 31 die Koor­ dinaten d_D=(d_DX, d_DY, 0).

Dem Augenreferenzpunktsdetektor 6 ist ein Augen­ referenzpunktskoordinatensystem 35 zugeordnet, dessen x_P-Achse 36 und y_P-Achse 37 in der Detektor­ ebene des Augenreferenzpunktsdetektors 6 liegen. Die z_P-Achse 38 des Augenreferenzpunktskoordinaten­ systemes 35 steht rechtwinklig auf der x_P-Achse 36 und der y_P-Achse 37.

Dem Blickrichtungsdetektor 9 ist ein Blickrich­ tungskoordinatensystem 39 zugeordnet, dessen x_B- Achse 40 sowie y_B-Achse 41 in der Detektorebene des Blickrichtungsdetektors 9 liegen und dessen z_B-Achse 42 in Richtung des aus meßtechnischen Gründen durch vorzugsweise aus dem Pupillenmittelpunkt, im Hin­ blick auf die Genauigkeit jedoch idealerweise durch den Augenmittelpunkt gebildeten Augenreferenz­ punktes ausgerichtet ist.

Der Ursprung des Augenreferenzpunktskoordinaten­ systemes 35 in Koordinaten des Displaykoordinaten­ systemes 30 liegt in dem Punkt p_D=(p_DX, p_DY, p_DZ). Der Ursprung des Blickrichtungskoordinatensystemes 39 in den Koordinaten des Displaykoordinatensystemes liegt in dem Punkt b_D=(b_DX, b_DY, b_DZ).

Das Blickrichtungskoordinatensystem 39 ist um eine Neigeachse 43 um einen Neigewinkel α und um eine Schwenkachse 44 um einen Schwenkwinkel β neigbar beziehungsweise schwenkbar gegenüber dem Display­ koordinatensystem 30 ausrichtbar.

Weiterhin wird ein bewegliches, kopffestes Kopf­ koordinatensystem 45 eingeführt, dessen Ursprung im Augenreferenzpunkt liegt. Der Ursprung des Kopf­ koordinatensystemes 45 hat im Displaykoordinaten­ system 30 die Koordinaten a_D=(a_DX, a_DY, a_DZ). Eine durch eine x_K-Achse 46 und eine y_K-Achse 47 aufgespannte x_K-y_K-Ebene des Kopfkoordinatensystemes 45 ist parallel zu der durch die x_B-Achse 40 und die y_B- Achse 41 des Blickrichtungskoordinatensystemes 39 aufgespannte Detektorebene ausgerichtet, während eine z_K-Achse 48 des Kopfkoordinatensystemes 45 parallel zu der z_B-Achse 42 des Blickrichtungskoor­ dinatensystemes 39 ausgerichtet ist.

Fig. 4 zeigt in einem Schaubild eine Nachführbe­ wegung des Blickrichtungsdetektors 9 bei Bewegen des Augenreferenzpunktes 49 mit den Koordinaten a_B=(a_BX, a_BY, a_BZ) im Blickrichtungskoordinatensystem 39 nach Neigen um den Neigewinkel α und Schwenken um den Schwenkwinkel β zusammen mit den Verschiebe­ strecken a_BX, a_BY und a_BZ. Bei der Neigung um den Neigewinkel α wird die X_B-Achse so gedreht, daß die z_B-Achse auf der Strecke Oa_YZ liegt. Bei der Schwenk­ bewegung um den Schwenkwinkel β wird das Blickrich­ tungskoordinatensystem so um die y_B-Achse 41 ge­ dreht, daß die z_B-Achse 41 auf der Strecke zwischen dem Ursprung O des Blickrichtungskoordinatensyste­ mes 39 und dem Augenreferenzpunkt 49 liegt. Dabei sind der Neigewinkel α durch die Gleichung

und der Schwenkwinkel β durch die Gleichung

gegeben.

Zum Bestimmen der Koordinaten des Fixationspunktes 3 in dem Displaykoordinatensystem 30 muß die in dem Blickrichtungskoordinatensystem 39 gemessene Blick­ richtungsfunktion f _B(g)=(f_BX(g_BX, g_BY), f_BY(g_BX, g_BY), a_BZ) nun in das Displaykoordinatensystem 30 transfor­ miert werden, wobei g_BX, g_BY für die die Blicklinie der Blickrichtungsfunktion f _B(g) festlegenden Meß­ werte stehen, f_BX und f_BY die Komponenten der Blick­ richtungsfunktion in der durch die x_B-Achse 40 und die y_B-Achse aufgespannte x_B-y_B-Ebene 50 sind und a_BZ der Abstand zwischen dem Augenreferenzpunkt 49 und der x_B-y_B-Ebene 50 ist.

Fig. 5 zeigt in einer schematischen Darstellung den Transformationsvorgang zum Transformieren der Blickrichtungsfunktion f _B(g) von dem Blickrich­ tungskoordinatensystem 39 in das Displaykoordina­ tensystem des Bildschirmes 1.

Zu Beginn dieser Transformation ist die durch die Blickrichtungsdetektionseinrichtung ermittelte Blickrichtungsfunktion f _B(g) in ihren Komponenten f_BX, f_BY und dem über die Raumaugenreferenzpunkts­ bestimmungseinheit 18 ermittelbaren Abstand a_BZ, die mittels der Augenreferenzpunktsdetektionseinrich­ tung ermittelten Raumkoordinaten a_D=(a_DX, a_DY, a_DZ) im Displaykoordinatensystem 30 sowie der Neigewinkel α und Schwenkwinkel β des Blickrichtungsdetektors 9 gegeben.

Bei einem ersten Transformationsschritt wird das Blickrichtungskoordinatensystem 39 zuerst um den Augenreferenzpunkt 49 um die Winkel -β, -α zurück­ rotiert, so daß die x_B-y_B-Ebene 50 des Blickrich­ tungsdetektors 9 und die in der Displayoberfläche 31 liegende, durch die x_D-Achse 32 und die y_D-Achse 33 des Displaykoordinatensystemes 30 aufgespannte x_D-y_D-Ebene 50 parallel zueinander stehen. Diese Rotationstransformation wird mittels des Rotations­ kompensationsgliedes 27 der Augenreferenzpunkts­ bewegungskompensationseinheit 24 gemäß Fig. 1 und Fig. 2 durchgeführt.

Die resultierende Blickrichtungsfunktion f'_B(g) hat nunmehr die Gestalt

f'_B( g)=(f'_BX, f'_BY, z'_B)=R.f _B(g), (3)

wobei R eine Rotationsmatrix und f _B(g) die im Blick­ richtungskoordinatensystem 39 gemessene Blickrich­ tungsfunktion ist.

Bei Zusammenfallen des Displaykoordinatensystemes 30 mit dem Weltkoordinatensystem, beispielsweise bei einem feststehenden Bildschirm 1, hat die Rota­ tionsmatrix R folgende Form:

wobei die Winkel α und β den Winkel gemäß obiger Gleichung (1) und Gleichung (2) entsprechen.

Diese Transformation stellt sich als Überführen der x_B-y_B-Ebene 50 in die parallel zu der Displayober­ fläche 31 ausgerichteten x'_B-y'_B-Ebene 51 gemäß Fig. 5 dar.

Dann wird in einem zweiten Transformationsschritt die Blickrichtungsfunktion f'_B(g) mit einem Faktor

mit a_DZ als dem Abstand zwischen dem Augenreferenz­ punkt 49 und der Displayoberfläche 31 und z'_B als dem Abstand zwischen dem Augenreferenzpunkt 49 und der x'_B-y'_B-Ebene 51 gemäß Fig. 5 skaliert. Die Größe z'_B berechnet sich gemäß

z'_B = (R.f _B(g))_Z, (6)

so daß die Blickrichtungsfunktion auf der Bild­ schirmoberfläche 31 nunmehr die Größe

(f'_B)_X,Y = F(R.f _B(g)_X,Y (7)

aufweist. Die Transformation gemäß Gleichung (7) wird mittels des Skalierungsgliedes 28 durchge­ führt.

In einem dritten Transformationsschritt, der mit dem Translationskompensationsglied 29 durchführbar ist, wird der Ursprung des Kopfkoordinatensystemes 45 auf den Ursprung des Displaykoordinatensystemes 30 verschoben. Die Koordinaten des Fixationspunktes 3 in dem Displaykoordinatensystem 30 lauten somit

Mit den drei Transformationsschritten, nämlich einer Rotation, einer Skalierung und einer Transla­ tion der x-y-Komponenten der Blickrichtungsfunktion ist eine effiziente, verhältnismäßig wenig rechen­ aufwendige Transformation erzielt. Da die Rota­ tionsmatrix R die Ist-Rotationswinkel α, β des Blickrichtungsdetektors 9 beschreibt, ist deren mechanisch präzise Erfassung in verhältnismäßig einfacher Weise möglich.

Die Abweichungen der Ist-Rotationswinkel α, β von den durch die Raumaugenreferenzpunktsbestimmungs­ einheit 18 erfaßten Soll-Winkeln lassen sich durch die Rückkopplung der Augenreferenzpunktskoordinaten von der Raumaugenreferenzpunktsbestimmungseinheit 18 auf die Nachführeinheit 21 weitgehend ver­ ringern.

In vielen Fällen ist eine Bewegung des Augen­ referenzpunktes 49 zum Blickrichtungsdetektor 9 und/oder zum Bildschirm 1 wesentlich kleiner als die Abstände z_B und a_DZ, so daß der Skalierungsfaktor F weitgehend von der Meßgenauigkeit des Augenrefe­ renzpunktsdetektors 6 unabhängig ist. Die Genauig­ keit der drei Transformationsschritte wird im we­ sentlichen durch die Genauigkeit der x-y-Komponente des Augenreferenzpunktes im Displaykoordinaten­ system 30 bestimmt. Diese Komponenten sind in der Regel genauer als die z-Komponente a_DZ gegeben.

Fig. 6 zeigt in einem Blockschaltbild ein weiteres Ausführungsbeispiel einer Vorrichtung gemäß der Erfindung, wobei sich bei den Ausführungsbeispielen gemäß Fig. 1, Fig. 2 und Fig. 6 entsprechende Bau­ elemente mit den gleichen Bezugszeichen versehen und im weiteren nicht näher erläutert sind. Bei dem Ausführungsbeispiel gemäß Fig. 6 ist vorgesehen, für den Flächendetektor der Augenreferenzpunkts­ detektionseinrichtung und Blickrichtungsdetektions­ einrichtung gemeinsam einen hochauflösenden Doppel­ detektor 52 vorzusehen, der auf der Schwenk/Neige­ plattform 11 schwenkbar sowie neigbar angebracht ist und ein Autofokusmodul aufweist, dessen Auto­ fokuswerte der Raumaugenreferenzpunktsbestimmungs­ einheit 18 einspeisbar sind.

Die in einem Doppelbildspeicher 53 speicherbaren beispielsweise dem Bildausschnitt des Blickrich­ tungsdetektors 9 gemäß Fig. 1 entsprechenden Bild­ daten sind zum einen der Flächenblickrichtungsbe­ stimmungseinheit 16 und zum anderen der Raumaugen­ referenzpunktsbestimmungseinheit 18 einspeisbar. In Abweichung von dem Ausführungsbeispiel gemäß Fig. 1 ist mit der Raumaugenreferenzpunktsbestimmungsein­ heit 18 gemäß Fig. 6 der Augenreferenzpunkt mittels der Parameterdaten des Blickrichtungsdetektorpara­ meterspeichers 20, die Abbildungseigenschaften des Doppeldetektors 52 zugeordnet sind, sowie der Auto­ fokuswerte bestimmbar. Das Ausführungsbeispiel gemäß Fig. 6 zeichnet sich durch einen verhältnis­ mäßig geringen apparativen Aufwand aus, da ledig­ lich ein Flächendetektor sowohl zur Bestimmung des Augenreferenzpunktes als auch dem Erfassen der Blickrichtung vorgesehen ist.

Claims (6)

1. Vorrichtung zum Bestimmen eines Fixationspunk­ tes eines anthropomorph aufgebauten Auges (5) beim Betrachten eines Gegenstandes (1) mit einer Augenreferenzpunktsdetektionseinrichtung, mit der räumliche Augenreferenzpunktskoordina­ tenwerte eines Augenreferenzpunktes (49) be­ stimmbar sind, mit einer Blickrichtungsdetek­ tionseinrichtung, mit der eine Blickrichtung des Auges als Blickrichtungsfunktion bestimmbar ist, und mit einer Recheneinrichtung, mit der aus der Blickrichtungsfunktion und den Augen­ referenzpunktskoordinatenwerten der Fixations­ punkt (3) des Auges (5) bestimmbar ist, dadurch gekennzeichnet, daß die Augenreferenzpunkts­ detektionseinrichtung einen als Flächendetektor ausgebildeten Augenreferenzpunktsdetektor (6) aufweist, mit dem das Auge (5) innerhalb eines vorbestimmten Raumbereiches abbildbar ist, daß die Blickrichtungsdetektionseinrichtung über einen als Flächendetektor ausgebildeten Blick­ richtungsdetektor (9) verfügt, der auf einem in zwei überlagerbaren Richtungen schwenkbaren und neigbaren Schwenk/Neigeelement (11) angebracht ist, wobei mit dem Blickrichtungsdetektor (9) wenigstens die Pupille (13) und die unmittel­ bare Pupillenumgebung (14, 15) abbildbar ist und das Schwenk/Neigeelement (11) von einer mit Steuersignalen aus der Augenreferenzpunkts­ detektionseinrichtung speisbaren und derart nachführbaren Nachführeinheit (21) so einstell­ bar ist, daß bei Bewegen des Augenreferenzpunk­ tes (49) im Raum der Blickrichtungsdetektor (9) auf den Augenreferenzpunkt (49) ausgerichtet bleibt, und daß die Recheneinrichtung über eine Kompensationseinheit (24) zur Kompensation der Bewegung des Augenreferenzpunktes (49) verfügt, der dem Gegenstand (5) zugeordnete Gegenstands­ koordinatenwerte, dem Blickrichtungsdetektor (9) zugeordnete Blickrichtungsdetektorkoordina­ tenwerte, der Blickrichtungsfunktion in einem Blickrichtungskoordinatensystem (39) zugeord­ nete Blickrichtungswerte, der Ausrichtung des Blickrichtungsdetektors (9) zugeordnete Aus­ richtwerte und die Augenreferenzpunktskoordi­ natenwerte zum Bestimmen des Fixationspunktes (3) einspeisbar sind.

2. Vorrichtung nach Anspruch 1, dadurch gekenn­ zeichnet, daß die Kompensationseinheit (24) über ein Rotationskompensationsglied (27), ein Skalierungsglied (28) und Translationskompensa­ tionsglied (29) verfügt, wobei mit dem Rota­ tionskompensationsglied (27) die Blickrich­ tungsfunktion um die Ausrichtwerte korrigierbar ist, mit dem Skalierungsglied (28) die Größe der drehkorrigierten Blickrichtungsfunktion bei Anblick des Gegenstandes (1) berechenbar und mit dem Translationskompensationsglied (29) der Versatz des Augenreferenzpunktes (49) gegenüber dem Ursprung eines Gegenstandskoordinatensyste­ mes (30) korrigierbar ist.

3. Vorrichtung nach Anspruch 2, dadurch gekenn­ zeichnet, daß an die Augenreferenzpunktsdetek­ tionseinrichtung und das Kompensationsglied (24) Speicher (19, 20, 22, 23, 25) angeschlos­ sen sind, mit denen interne gerätabhängige Parameter und Koordinatenwerte der Augenreferenz­ punktsdetektionseinrichtung und der Blick­ richtungsdetektionseinrichtung in bezug auf das Gegenstandskoordinatensystem (30) abspeicherbar sind.

4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Blickrichtungs­ detektionseinrichtung zum Ermitteln der Blick­ richtungsfunktion nach dem sogenannten "Cornea- Reflex"-Verfahren eingerichtet ist.

5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Augenreferenz­ punktsdetektionseinrichtung über eine Flächen­ augenreferenzpunktsbestimmungseinheit (8) ver­ fügt, mit der aus dem Bild des Augenreferenz­ punktsdetektors (9) der Augenreferenzpunkt (49) in Flächenkoordinaten eines Augenreferenz­ punktskoordinatensystemes (35) bestimmbar ist, und daß eine an die Flächenaugenreferenzpunkts­ bestimmungseinheit (8) angeschlossene Raum­ augenreferenzpunktsbestimmungseinheit (18) vor­ gesehen ist, die neben den Flächenkoordinaten aus der Flächenaugenreferenzpunktsbestimmungs­ einheit (8) mit Flächenkoordinaten in einem Blickrichtungskoordinatensystem (39) des Augen­ referenzpunktsdetektors (6) und des Blickrich­ tungsdetektors (9) sowie den Ausrichtwerten beaufschlagbar ist.

6. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Augenreferenz­ punktsdetektionseinrichtung und die Blickrich­ tungsdetektionseinrichtung über einen gemein­ samen, an das Schwenk/Neigeelement (11) ange­ brachte Flächendetektor (52) verfügt, mit dem das Auge (5) innerhalb des vorbestimmten Raum­ bereiches erfaßbar ist.