[go: up one dir, main page]

WO1999009880A2 - Vorrichtung zum bestimmen eines fixationspunktes - Google Patents

Vorrichtung zum bestimmen eines fixationspunktes Download PDF

Info

Publication number
WO1999009880A2
WO1999009880A2 PCT/DE1998/002580 DE9802580W WO9909880A2 WO 1999009880 A2 WO1999009880 A2 WO 1999009880A2 DE 9802580 W DE9802580 W DE 9802580W WO 9909880 A2 WO9909880 A2 WO 9909880A2
Authority
WO
WIPO (PCT)
Prior art keywords
reference point
eye
detector
eye reference
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE1998/002580
Other languages
English (en)
French (fr)
Other versions
WO1999009880A3 (de
Inventor
Jin Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Institut fuer Nachrichtentechnik Heinrich Hertz Institute HHI
Original Assignee
Fraunhofer Institut fuer Nachrichtentechnik Heinrich Hertz Institute HHI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Institut fuer Nachrichtentechnik Heinrich Hertz Institute HHI filed Critical Fraunhofer Institut fuer Nachrichtentechnik Heinrich Hertz Institute HHI
Priority to US09/486,584 priority Critical patent/US6553281B1/en
Publication of WO1999009880A2 publication Critical patent/WO1999009880A2/de
Publication of WO1999009880A3 publication Critical patent/WO1999009880A3/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • the invention relates to a device for determining a fixation point of an anthropomorphically constructed eye when viewing an object with an eye reference point detection device with which spatial eye reference point coordinate values of an eye reference point can be determined, with a viewing direction detection device with which a viewing direction of the eye can be determined as a gaze direction function, and with a computing device with which the gaze fixation point of the eye can be determined from the gaze direction function and the eye reference point coordinate values.
  • Such a device is known from the final report on the project "TV picture quality with dynamic gaze behavior", Appendix 2, funded by the Federal Ministry of Education, Science, Research and Technology under grant number 01BK203 / 8.
  • a spatially fixed head position transmitter and a head position detector for example attached to an eyeglass-like frame on a user's head, are provided as the eye reference point detection device.
  • the device has a computing device with which the relative position of the head position detector with respect to the head position transmitter in spatial coordinates, namely the distance and the rotation of the head position detector from the head position transmitter, can be calculated.
  • the known device has a viewing direction detection device, which is likewise attached to the frame and is set up to detect a viewing direction function of an eye, the fixation point of which is to be recorded on a screen.
  • the gaze direction function is obtained with the aid of a calibration method from the known fact that the eye position detected by means of two measured values can be clearly assigned to a gaze direction function.
  • a translation vector between the head position detector and an eye reference point for example the center of the pupil or the center of the eye, is determined, for example, by estimation.
  • the computing direction function is scaled using computationally computationally, shifted by the translation vector, multiplied by a rotation matrix representing the rotation of the head relative to the head position transmitter and corrected by the distance vector between the head position transmitter and the head position detector.
  • the rotation matrix representing the head rotation is multiplied on the one hand by the translation vector between the head position detector and the eye reference point and on the other hand by the vectorial direction of view function with subsequent quotient formation, and the two multiplication results are divided with one another.
  • a similarly constructed device is known with a frame to be attached to a head, on which a head position detector assigned to a head position transmitter, an eye reference point detection device and a line of sight detection device are attached.
  • a device is known with which head movements when determining a fixation point can be compensated by detecting a reference point by means of a reference point detection device.
  • a reference point detection device on the one hand, an eyeglass-like frame is provided which is not very comfortable for a user and which carries a reference point detector for detecting a reference point on a screen and a direction-of-view detection device.
  • Another embodiment provides for the reference point to be observed to be configured, for example, on the forehead of a user by a coating point that is highly reflective in the infrared spectral range. However, there is a risk here that the coating point will come off and the device will have to be completely recalibrated.
  • the invention has for its object to provide a device of the type mentioned, which allows the detection of a fixation point on an object under consideration in a manner that is absolutely trouble-free for the user.
  • This object is achieved according to the invention in a device of the type mentioned at the outset in that the eye reference point detection device has an eye reference point detector designed as a surface detector, with which the eye can be imaged within a predetermined spatial area, and that the viewing direction detection device has a viewing direction detector designed as a surface detector.
  • the pupil and the immediate pupil environment can be imaged with the line of sight detector and the swivel / tilt element can thus be adjusted by a tracking unit which can be fed with control signals from the eye reference point detection device and can be tracked in this way is that when the eye reference point is moved in space, the line of sight detector remains aligned with the eye reference point, and that the computing device has a compensation unit for compensating for the movement of the eye reference point, the object coordinate values assigned to the object, the direction detector detector coordinate values assigned to the direction of view detector, the direction values assigned to the direction function in a direction coordinate system, the orientation values assigned to the orientation of the direction detector and the eye reference point coordinates of the fixed coordinate are.
  • both the eye reference point detection device and the line of sight detection device are each equipped with a surface camera as a surface detector, the surface camera of the eye reference point detection device preferably detecting the head area of the user within a room area in which movements are to be expected, while the area camera of the direction-of-view detection device detects the immediate area around the pupil of the eye with high resolution.
  • the eye reference point detection device and the viewing direction detection device have a common area camera as a double detector of high resolution, the area camera being designed as an auto focus camera, the auto focus settings of the computing unit for determining the distance of the eye reference point, preferably derived from the pupil of the eye, from the Detector level of the double detector can be fed.
  • the outlay on equipment is relatively low.
  • FIG. 1 is a block diagram of an embodiment of a device according to the invention, in which an eye reference point detection device and a line of sight detection device are each equipped with an area detector,
  • FIG. 2 shows in a block diagram the structure of an eye reference point movement compensation unit of the device according to FIG. 1, FIG.
  • FIG. 3 shows a schematic illustration of the coordinate systems used in the device according to FIG. 1,
  • FIG. 4 shows a graphical representation of an alignment process of a line of sight detection device of the exemplary embodiment according to FIG. 1,
  • FIG. 5 is a graphic illustration of the functioning of partial steps of a compensation step and compensation step taking place in the eye reference point movement compensation unit according to FIG. 2 6 shows a block diagram of a further exemplary embodiment of a device according to the invention, in which the eye reference point detection device and the line of sight detection device have a common pivotable and tiltable surface detector.
  • FIG. 1 shows in a block diagram an exemplary embodiment of a device for determining a fixation point according to the invention.
  • a fixation point 3 for example located on a screen 1 of a workstation computer as an object viewed by a person 2, whereby fixation point 3 is to be understood as the point on the screen 1 that is met by a line of sight 4 of an eye 5 of the person 2 an eye reference point detection device is provided which has an eye reference point detector 6.
  • the eye reference point detector 6 is implemented, for example, as a surface detector by a short focal length video camera. With the eye reference point detector 6, for example, the head-shoulder area of the person 2 can be detected within a predetermined spatial area and stored in a head image memory 7 as image data.
  • the header image memory 7 is connected to a surface eye reference point determination unit 8 of the eye reference point detection device, with which an eye reference point can be determined from the image data of the header image memory 7.
  • the pupil center is preferably provided as the eye reference point.
  • the device according to FIG. 1 has a direction-of-view detector 9 which is formed, for example, by a video camera with a long focal length as a surface detector and, together with an illumination unit 10, is mounted on a pan / tilt platform 11 which can be pivoted and tilted in two spatial directions as a pan / tilt element.
  • the lighting unit 10 is designed, for example, as a light-emitting diode array that emits in the near infrared spectral range, for example, about 880 nanometers, the output radiation of which is emitted in the same direction as a viewing range of the viewing direction detector 9.
  • the line-of-sight detector 9 is equipped with an auto-focus module, which permits a sharp image of the eye 5 even when the distance between the eye 5 and the line-of-sight detector 9 changes.
  • the line of sight detector 9 is aligned with the eye 5 of the person 2, the fixation point 3 of which is to be determined. 1, the eye 5 with the pupil, the cornea, usually also called the cornea, and the visible part of the vitreous body can be detected.
  • the line of sight detector 9 is connected to an eye image memory 12 in which the image data thereof can be stored.
  • an image of the eye 5 with the pupil 13 and the surrounding iris 14, the so-called iris, with the visible part of the vitreous body 15 as the immediate pupil environment are shown schematically as stored image data.
  • the eye image memory 12 is connected to an area gaze direction determination unit 16 of the gaze direction Determination device connected, for example, according to the known so-called "cornea reflex method", in which due to the monotonous relationship between a center of reflection 17 detected on the cornea of the eye 5 by irradiation with output light from the illumination unit 10 and the center of the pupil 13 as measured values after performing a calibration process, a viewing direction function that is clearly linked to the viewing direction can be calculated. Furthermore, the flat two-dimensional coordinates of the eye reference point in the detector plane of the viewing direction detector 9 can be determined with the area gaze direction determination unit 16 in a gaze direction detector coordinate system assigned to the gaze direction detector 9.
  • the eye reference point detection device of the device according to FIG. 1 has a spatial eye reference point determination unit 18 connected to the surface eye reference point determination unit 8, which is connected to the surface eye direction determination unit 16 and can be acted upon with eye reference point coordinate values in the line of sight coordinate system. Furthermore, the spatial eye reference point determination unit 18 can be loaded with original spatial coordinates as gaze direction detector coordinate values from a gaze direction detector coordinate memory 19, which represent the origin of the gaze direction coordinate system.
  • the spatial eye reference point determination unit 18 can be loaded with parameter data from a viewing direction detector parameter memory 20 which Mapping properties of the line of sight detector 9 are assigned. Finally, the spatial eye reference point determination unit 18 can be acted upon with a swivel angle value and an inclination angle value from a tracking unit 21 of the line of sight detection device, with which adjustment elements of the swivel / tilt platform 11 for aligning the line of sight detector 9 and the lighting unit 10 to the eye 5 of the person 2 are assigned by means of assigned actuating signals are controllable.
  • spatial eye reference point coordinate values can be calculated both in the viewing direction coordinate system and in a display coordinate system assigned to the screen 1.
  • the eye reference point coordinate values in the viewing direction coordinate system can be traced back to the tracking unit 21 via a feedback line and are used to determine new inclination angle values and new pivoting angle values for the subsequent alignment of the viewing direction detector 9 with the eye 5.
  • Eye reference point coordinate values in the display coordinate system can be fed in via a room eye reference point line 18 'of an eye reference point movement compensation unit 24 connected to the room eye reference point determination unit 18, which further detects via a line of sight line 16 * to the surface line of sight determination unit 19' via an eye coordinate direction line 16 the line of sight detector coordinate memory 19 is connected to the tracking unit 21 via a tracking line 21 'and to a screen coordinate memory 25 via a screen coordinate line 25'.
  • the eye reference point movement compensation unit 24 gaze direction function values can be fed into the gaze direction coordinate system.
  • the swivel angle values and inclination angle values of the line of sight detector 9 can be fed from the tracking unit 21 to the eye reference point movement compensation unit 24.
  • the eye reference point movement compensation unit 24 can be fed the original coordinate values for the gaze direction sensor 9 in the assigned gaze direction coordinate system from the gaze direction detector coordinate memory 19 and the spatial coordinate values of the screen 1 as object coordinate values from the screen coordinate memory 25.
  • the eye reference point movement compensation unit 24 compensates for spatial changes in the eye reference point caused, for example, by head rotations and / or head displacements Gaze direction function values in the gaze direction coordinate system can be transformed into fixation point coordinate values of fixation point 3 in the display coordinate system and one of the fixation point coordinate evaluation units 26 arranged downstream of the eye reference point compensation unit 24 can be fed in via a fixation point line 24 '.
  • the fixation point coordinate evaluation unit 26 for example, switching functions for controlling the workstation computer having the screen 1 can be triggered if the fixation point 3 falls into window areas representing symbolic switching functions and remains there for a certain time.
  • FIG. 2 shows in a block diagram the eye reference point movement compensation unit 24 according to FIG. 1, which has a rotation compensation element 27, a scaling element 28 and a translation compensation element 29.
  • the rotation compensation element 27 is connected to the line of sight line 16 ', the tracking value line 21' and the screen coordinate line 25 '.
  • the viewing direction function values can be transformed into a movable head-fixed head coordinate system by means of a rotation matrix, which contains the tilt angle value and the swivel angle value of the viewing direction detector 9 as well as spatial coordinate values of the screen 1 as object coordinate values.
  • the scaling element 28, which is arranged downstream of the rotation compensation element 27, is connected to the room eye reference line 18 ′, the direction of view detector. coordinate line 19 'and the screen coordinate line 25' connected.
  • the line of sight function values in the head coordinate system are taking into account the fact that the image of the line of sight function on the line of sight detector 9 is proportional to the distance between the eye 5 and the line of sight detector 9 and the image on the screen 1 is proportional to the distance between the eye 5 and the screen 1 can be multiplied by a scaling factor for determining the image size of the direction of view function values on the screen 1.
  • the translation compensation element 29 arranged downstream of the scaling element 28 is finally connected to the spatial eye reference point line 18 'and the screen coordinate line 25' and set up to shift the coordinate origin of the head coordinate system to the origin of the display coordinate system.
  • the fixation point coordinates thus determined in the display coordinate system can be fed in via the fixation point line 24 ′ of the fixation point coordinate evaluation unit 26 according to FIG. 1.
  • a display coordinate system 30 assigned to the screen 1 has its origin, for example, in the illustration according to FIG. 3 in the upper left corner of the screen 1. If the screen 1 is arranged fixed in space, it is expedient to select the display coordinate system 30 as the world coordinate system.
  • the one from the line of sight 4 acted upon display surface 31 lies in the xy plane spanned by the x-axis 32 and the y D ⁇ axis 33 of the display coordinate system 30.
  • An eye reference point coordinate system 35 is assigned to the eye reference point detector 6, the x p axis 36 and y p axis 37 of which lie in the detector plane of the eye reference point detector 6.
  • the z p axis 38 of the eye reference point coordinate system 35 is perpendicular to the x axis 36 and the y p axis 37.
  • the viewing direction detector 9 is assigned a viewing direction coordinate system 39, the x axis 40 and y ⁇ axis 41 of which lie in the detector plane of the viewing direction detector 9 and the z ⁇ axis 42 in the direction of the for measuring reasons, preferably from the pupil center, with regard to the However, accuracy is ideally aligned by the eye reference point formed by the center of the eye.
  • the viewing direction coordinate system 39 can be tilted or pivoted relative to the display coordinate system 30 about a tilt axis 43 by a tilt angle ⁇ and about a pivot axis 44 by a pivot angle ⁇ .
  • a movable, head-fixed head coordinate system 45 is introduced, the origin of which lies in the eye reference point.
  • An x ⁇ -y ⁇ plane of the head coordinate system 45 spanned by an x ⁇ axis 46 and a y ⁇ axis 47 is aligned parallel to the detector plane spanned by the x B axis 40 and the y ⁇ axis 41 of the viewing direction coordinate system 39 while a z ⁇ axis 48 of the head coordinate system 45 is aligned parallel to the z ß axis 42 of the viewing direction coordinate system 39.
  • FIG. 4 shows in a diagram a tracking movement of the viewing direction detector 9 when the eye reference point 49 is moved with the coordinates in the viewing direction coordinate system 39 after tilting by the tilt angle a and pivoting by the pivot angle ß together with the displacement distances a ß ⁇ , a ß ⁇ and a ßZ .
  • the x ⁇ axis is rotated so that the z ⁇ axis lies on the distance Oa ⁇ z .
  • the viewing direction coordinate system is rotated about the y ⁇ axis 41 such that the z ⁇ axis 41 lies on the route between the origin 0 of the viewing direction coordinate system 39 and the eye reference point 49.
  • the viewing direction function f_ ( 2 ) (f ß ⁇ (g ß ⁇ , g ß ⁇ ), f ß ⁇ (g ß ⁇ , g ß ⁇ ), a ßZ ) measured in the viewing direction coordinate system 39 must now be in the display coordinate system 30 are transformed, where g ß ⁇ , g ß ⁇ stand for the measurement values defining the line of sight of the viewing direction function f_ B (c [), f ß ⁇ and f ß ⁇ the components of the viewing direction function in the by the x ß -axis 40 and the y - Axis spanned x ß -y B ⁇ plane 50 and a ßZ is the distance between the eye reference point 49 and the x ß -y ß plane 50.
  • Fig. 5 shows a schematic representation of the transformation process for transforming the line of sight function f_ B (3) processing coordinate system of the line of vision 39 in the display coordinate system of the screen.
  • the viewing direction coordinate system 39 is first rotated back around the eye reference point 49 by the angle - ⁇ , - ⁇ , so that the x ⁇ -y ⁇ plane 50 of the viewing direction detector 9 and the one lying in the display surface 31 by the x D ⁇ axis 32 and the y ⁇ axis 33 of the display coordinate system 30 spanned x ⁇ -y D plane 50 are parallel to one another.
  • This rotation transformation is carried out by means of the rotation compensation element 27 of the eye reference point movement compensation unit 24 according to FIGS. 1 and 2.
  • R is a rotation matrix and B f_ (g_) measured in the direction of view coordinate system 39 viewing direction function.
  • the rotation matrix R has the following form: __ (4) wherein the angles a and ß correspond to the angle according to equation (1) and equation (2) above.
  • This transformation is represented by the transfer of the x ⁇ -y ⁇ plane 50 into the x '-y' ⁇ plane 51, which is aligned parallel to the display surface 31, according to FIG. 5.
  • the size z ' ß is calculated according to
  • the deviations of the actual rotation angles ⁇ , ⁇ from the desired angles detected by the spatial eye reference point determination unit 18 can be largely reduced by the feedback of the eye reference point coordinates from the spatial eye reference point determination unit 18 to the tracking unit 21.
  • a movement of the eye reference point 49 to the line of sight detector 9 and / or to the screen 1 is significantly smaller than the distances z ⁇ and a DZ , so that the scaling factor F is largely independent of the measuring accuracy of the eye reference point detector 6.
  • the exact speed of the three transformation steps is essentially determined by the accuracy of the xy component of the eye reference point in the display coordinate system 30. These components are usually given more precisely than the z component a DZ .
  • FIG. 6 shows a block diagram of a further exemplary embodiment of a device according to the invention, in the exemplary embodiments according to FIGS. 1, 2 and 6 corresponding components being provided with the same reference numerals and not being explained in more detail below.
  • the eye reference point determination unit 18 according to FIG. 6 can be used to determine the eye reference point by means of the parameter data of the direction of view detector parameter memory 20, which are assigned imaging properties of the double detector 52, and the auto focus values.
  • the embodiment 6 is characterized by a relatively low expenditure on equipment, since only one area detector is provided both for determining the eye reference point and for detecting the viewing direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

Eine Vorrichtung zum Bestimmen eines Fixationspunktes (3) auf einem Bildschirm (1) besteht aus einem Augenreferenzpunktsdetektor (6) und einem auf einem Schwenk/Neigeelement (11) schwenkbar und neigbar gelagerten Blickrichtungsdetektor (9). Mittels dreier Transformationsschritte, nämlich einer Rotation, einer Skalierung und einer Translation, kann eine Blickrichtungsfunktion von einem dem Blickrichtungsdetektor (9) zugeordneten Blickrichtungskoordinatensystem in ein dem Bildschirm (1) hugeordneten Gegenstandskoordinaten system transformiert werden. Dadurch können beispielsweise durch Fixieren von sensibilisierten Berichen des Bildschirms (1) bestimmte Funktionen nach Art einer sogenannten Augenmaus ausgelöst werden.

Description

Vorrichtung zum Bestimmen eines Fixationspunktes
Die Erfindung betrifft eine Vorrichtung zum Bestim- en eines Fixationspunktes eines anthropomorph aufgebauten Auges beim Betrachten eines Gegenstandes mit einer Augenreferenzpunktsdetektions- einrichtung, mit der räumliche Augenreferenzpunkts- koordinatenwerte eines Augenreferenzpunktes be- stimmbar sind, mit einer Blickrichtungsdetektions- einrichtung, mit der eine Blickrichtung des Auges als Blickrichtungsfunktion bestimmbar ist, und mit einer Recheneinrichtung, mit der aus der Blickrichtungsfunktion und den Augenreferenzpunktskoordina- tenwerten der Fixationspunkt des Auges bestimmbar ist.
Eine derartige Vorrichtung ist aus dem Abschlußbericht zu dem von dem Bundesministerium für Bil- düng, Wissenschaft, Forschung und Technologie unter dem Förderkennzeichen 01BK203/8 geförderten Projekt "Fernseh-Bildgüte bei dynamischem Blickverhalten", Anlage 2, bekannt. Bei der vorbekannten Vorrichtung ist als Augenreferenzpunktsdetektionseinrichtung ein raumfest angeordneter Kopfstellungssender und ein beispielsweise an einem brillenartigen Gestell an einem Kopf eines Anwenders angebrachten Kopfstellungsdetektor vorgesehen. Weiterhin verfügt die Vorrichtung über eine Recheneinrichtung, mit der die Relativlage des KopfStellungsdetektors in bezug auf den Kopfstellungssender in Raumkoordinaten, nämlich der Abstand und die Verdrehung des Kopf- stellungsdetektors zu dem Kopfstellungssender, berechenbar ist. Weiterhin weist die vorbekannte Vorrichtung eine Blickrichtungsdetektionseinrichtung auf, die ebenfalls an dem Gestell angebracht und zum Erfassen einer Blickrichtungsfunktion eines Auges, dessen Fixationspunkt auf einem Bildschirm zu erfassen ist, eingerichtet ist. Dabei wird die Blickrichtungsfunktion mit Hilfe eines Kalibrierverfahrens aus der bekannten Tatsache gewonnen, daß die mittels zweier Meßwerte erfaßte Augenstellung ein- deutig einer Blickrichtungsfunktion zugeordnet werden kann. Weiterhin wird bei der vorbekannten Vorrichtung beispielsweise durch Abschätzung ein Translationsvektor zwischen dem KopfStellungsdetektor und einem Augenreferenzpunkt, beispielsweise dem Pupillenmittelpunkt oder dem Augenmittelpunkt, ermittelt.
Zum Bestimmen des Fixationspunktes auf dem Bildschirm wird mittels der Recheneinrichtung verhält- nismäßig rechenaufwendig die Blickrichtungsfunktion skaliert, um den Translationsvektor verschoben, mit einer die Verdrehung des Kopfes gegenüber dem Kopfstellungssender repräsentierenden Drehmatrix multipliziert und um den Abstandsvektor zwischen dem Kopfstellungssender und dem KopfStellungsdetektor korrigiert. Zur Berechnung des Skalierungs aktors wird die die Kopfverdrehung repräsentierende Drehmatrix zum einen mit dem Translationsvektor zwischen dem Kopfstellungsdetektor und dem Augen- referenzpunkt und zum anderen mit der vektoriellen Blickrichtungsfunktion mit nachfolgender Quotientenbildung multipliziert und die beiden Multiplikationsergebnisse miteinander dividiert. Aus dem Artikel "Gaze Point Detection System Allowing Head Motion" von M. Iida und A. Tomono in Systems and Computers in Japan, Vol. 23, No. 6, 1992 ist eine ähnlich aufgebaute Vorrichtung mit einem an einem Kopf anzubringenden Gestell bekannt, an dem ein Kopfstellungssender zugeordneter Kopfstellungsdetektor, eine Augenreferenzpunktsdetek- tionseinrichtung und eine Blickrichtungsdetektions- einrichtung angebracht sind.
Aus der US-A-4, 582, 403 ist eine Vorrichtung bekannt, mit der durch Erfassen eines Referenzpunktes mittels einer Referenzpunktserfassungseinrichtung Kopfbewegungen beim Bestimmen eines Fixationspunk- tes ausgleichbar sind. Bei Ausgestaltungen dieser Vorrichtung ist zum einen in für einen Anwender wenig komfortabler Weise ein brillenartiges Gestell vorgesehen, das einen Referenzpunktsdetektor zum Erfassen eines Referenzpunktes auf einem Bildschirm sowie eine Blickrichtungsdetektionseinrichtung trägt. Bei einer anderen Ausgestaltung ist vorgesehen, den zu beobachtenden Referenzpunkt beispielsweise auf der Stirn eines Anwenders durch einen im infraroten Spektralbereich hochreflektiven Beschichtungspunkt auszugestalten. Allerdings besteht hier die Gefahr, daß sich der Beschichtungspunkt ablöst und die Vorrichtung vollkommen neu kalibriert werden muß.
Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung der eingangs genannten Art anzugeben, die in einer für den Benutzer absolut störungsfreien Art und Weise schnell die Erfassung eines Fixationspunktes auf einem betrachteten Gegenstand gestattet. Diese Aufgabe wird bei einer Vorrichtung der eingangs genannten Art erfindungsgemäß dadurch gelöst, daß die Augenreferenzpunktsdetektionseinrichtung einen als Flächendetektor ausgebildeten Augenrefe- renzpunktsdetektor aufweist, mit dem das Auge innerhalb eines vorbestimmten Raumbereiches abbildbar ist, daß die Blickrichtungsdetektionseinrich- tung über einen als Flächendetektor ausgebildeten Blickrichtungsdetektor verfügt, der auf einem in zwei überlagerbaren Richtungen schwenkbaren und neigbaren Schwenk/Neigeelement angebracht ist, wobei mit dem Blickrichtungsdetektor wenigstens die Pupille und die unmittelbare Pupillenumgebung abbildbar ist und das Schwenk/Neigeelement von einer mit Steuersignalen aus der Augenreferenzpunkts- detektionseinrichtung speisbaren und derart nachführbaren Nachführeinheit so einstellbar ist, daß bei Bewegen des Augenreferenzpunktes im Raum der Blickrichtungsdetektor auf den Augenreferenzpunkt ausgerichtet bleibt, und daß die Recheneinrichtung über eine Kompensationseinheit zur Kompensation der Bewegung des Augenreferenzpunktes verfügt, der dem Gegenstand zugeordnete Gegenstandskoordinatenwerte, dem Blickrichtungsdetektor zugeordnete Blickrich- tungsdetektorkoordinatenwerte, der Blickrichtungsfunktion in einem Blickrichtungskoordinatensystem zugeordnete Blickrichtungswerte, der Ausrichtung des Blickrichtungsdetektors zugeordnete Ausrichtwerte und die Augenreferenzpunktskoordinatenwerte zum Bestimmen des Fixationspunktes einspeisbar sind.
Dadurch, daß zum Bestimmen des Fixationspunktes lediglich das Auge eines Benutzers optisch berüh- rungsfrei erfaßt und mittels der Kompensationsein- heit Kopfbewegungen durch Verrechnung der der Kompensationseinheit eingespeisten, durch den Augenreferenzpunktsdetektor und den Blickrichtungsdetektor sowie das Schwenk/Neigeelement gewonnenen Daten ist eine verhältnismäßig wenig rechenaufwendige Ermittlung des Fixationspunktes durch Ausführen eines Rotations-, eines Skalierungs- und eines Translationsrechenschrittes erzielt, die bei einem bevorzugten Ausführungsbeispiel mittels eines Rota- tionskompensationsgliedes, eines Skalierungsgliedes und eines Translationskompensationsgliedes der Kompensationseinheit ausführbar sind.
Zu einer hochpräzisen Erfassung des Augenreferenz- punktes ist vorgesehen, sowohl die Augenreferenz- punktsdetektionseinrichtung als auch die Blickrich- tungsdetektionseinrichtung jeweils mit einer Flächenkamera als Flächendetektor auszustatten, wobei die Flächenkamera der Augenreferenzpunktsdetek- tionseinrichtung vorzugsweise den Kopfbereich des Benutzers innerhalb eines Raumbereiches erfaßt, in dem Bewegungen zu erwarten sind, während die Flächenkamera der Blickrichtungsdetektionseinrichtung den unmittelbaren Bereich um die Pupille des Auges hochaufgelöst erfaßt.
Bei einer weiteren Ausgestaltung ist vorgesehen, daß die Augenreferenzpunktsdetektionseinrichtung und die Blickrichtungsdetektionseinrichtung über eine gemeinsame Flächenkamera als Doppeldetektor hoher Auflösung verfügen, wobei die Flächenkamera als Autofokuskamera ausgebildet ist, deren Autofokuseinstellungen der Recheneinheit zum Bestimmen des Abstandes des vorzugsweise aus der Pupille des Auges abgeleiteten Augenreferenzpunktes von der Detektorebene des Doppeldetektors einspeisbar sind. Dadurch ist der apparative Aufwand verhältnismäßig gering.
Weitere zweckmäßige Ausgestaltungen und Vorteile der Erfindung sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung. Es zeigen:
Fig. 1 in einem Blockschaltbild ein Ausführungs- beispiel einer erfindungsgemäßen Vorrichtung, bei dem eine Augenreferenzpunkts- detektionseinrichtung und eine Blickrich- tungsdetektionseinrichtung jeweils mit einem Flächendetektor ausgestattet sind,
Fig. 2 in einem Blockschaltbild den Aufbau einer Augenreferenzpunktsbewegungskompensat ions- einheit der Vorrichtung gemäß Fig. 1,
Fig. 3 in einer schematischen Darstellung die bei der Vorrichtung gemäß Fig. 1 verwendeten Koordinatensysteme,
Fig. 4 in einer graphischen Darstellung einen Aus- richtvσrgang einer Blickrichtungsdetek- tionseinrichtung des Ausführungsbeispieles gemäß Fig. 1,
Fig. 5 in einer graphischen Veranschaulichung die Funktionsweise von Teilschritten einer in der Augenreferenzpunktsbewegungskompensa- tionseinheit gemäß Fig. 2 erfolgenden Kompensationsschritten und Fig. 6 in einem Blockschaltbild ein weiteres Ausführungsbeispiel einer Vorrichtung gemäß der Erfindung, bei der die Augenreferenz- punktsdetektionseinrichtung und die Blick- richtungsdetektionseinrichtung über einen gemeinsamen schwenkbar und neigbar gelagerten Flächendetektor verfügen.
Fig. 1 zeigt in einem Blockschaltbild ein Ausfüh- rungsbeispiel einer Vorrichtung zum Bestimmen eines Fixationspunktes gemäß der Erfindung. Zum Bestimmen eines beispielsweise auf einem Bildschirm 1 eines Arbeitsplatzrechners als von einer Person 2 betrachteter Gegenstand gelegener Fixationspunkt 3, wobei unter Fixationspunkt 3 der Punkt auf dem Bildschirm 1 zu verstehen ist, der von einer Blicklinie 4 eines Auges 5 der Person 2 getroffen wird, ist eine Augenreferenzpunktsdetektionseinrichtung vorgesehen, die über einen Augenreferenzpunkts- detektor 6 verfügt. Der Augenreferenzpunktsdetektor 6 ist beispielsweise durch eine kurzbrennweitige Videokamera als Flächendetektor ausgeführt. Mit dem Augenreferenzpunktsdetektor 6 ist innerhalb eines vorbestimmten Raumbereiches beispielsweise der Kopf-Schulter-Bereich der Person 2 erfaßbar und in einem Kopfbildspeicher 7 als Bilddaten speicherbar. Der Kopfbildspeicher 7 ist an eine Flächenaugen- referenzpunktsbestimmungseinheit 8 der Augenrefe- renzpunktsdetektionseinrichtung angeschlossen, mit der ein Augenreferenzpunkt aus den Bilddaten des Kopfbildspeichers 7 bestimmbar ist. Aus meßtechnischen Gründen ist als Augenreferenzpunkt vorzugsweise der Pupillenmittelpunkt vorgesehen. Weiterhin verfügt die Vorrichtung gemäß Fig. 1 über einen Blickrichtungsdetektor 9, der beispielsweise durch eine langbrennweitige Videokamera als Flächendetektor gebildet und zusammen mit einer Be- leuchtungseinheit 10 auf einer in zwei Raumrichtungen schwenkbaren und neigbaren Schwenk/Neigeplattform 11 als Schwenk/Neigeelement angebracht ist. Die Beleuchtungseinheit 10 ist beispielsweise als im nahen infraroten Spektralbereich bei bei- spielsweise etwa 880 Nanometer emittierendes Leuchtdiodenarray ausgebildet, dessen Ausgangsstrahlung in die gleiche Richtung wie ein Sichtbereich des Blickrichtungsdetektors 9 abgegeben wird. Der Blickrichtungsdetektor 9 ist mit einem Autofokusmodul ausgestattet, das eine scharfe Abbildung des Auges 5 auch bei Änderung des Abstandes zwischen dem Auge 5 und dem Blickrichtungsdetektor 9 gestattet. Der Blickrichtungsdetektor 9 ist auf das Auge 5 der Person 2 ausgerichtet, dessen Fixa- tionspunkt 3 zu bestimmen ist. Dabei ist bei dem Ausführungsbeispiel gemäß Fig. 1 das Auge 5 mit der Pupille, der Hornhaut, üblicherweise auch Cornea genannt, und dem sichtbaren Teil des Glaskörpers erfaßbar.
Der Blickrichtungsdetektor 9 ist an einen Augen- bildspeicher 12 angeschlossen, in dem dessen Bilddaten speicherbar sind. In der Darstellung gemäß Fig. 1 sind als abgespeicherte Bilddaten schema- tisch ein Bild des Auges 5 mit der Pupille 13 und die sie umgebende Regenbogenhaut 14, der sogenannten Iris, mit dem sichtbaren Teil des Glaskörpers 15 als unmittelbare Pupillenumgebung dargestellt. Der Augenbildspeicher 12 ist an eine Flächenblick- richtungsbestimmungseinheit 16 der Blickrichtungs- bestimmungseinrichtung angeschlossen, mit der beispielsweise nach der bekannten sogenannten "Cornea- Reflex-Methode", bei der aufgrund des monotonen Zusammenhanges zwischen einem durch Bestrahlung mit Ausgangslicht der Beleuchtungseinheit 10 auf der Hornhaut des Auges 5 erfaßten Reflexmittelpunktes 17 und dem Mittelpunkt der Pupille 13 als Meßwerte nach Durchführen eines Kalibriervorganges eine mit der Blickrichtung eineindeutig verknüpfte Blick- richtungsfunktion berechenbar ist. Weiterhin sind mit der Flächenblickrichtungsbestimmungseinheit 16 in einem dem Blickrichtungsdetektor 9 zugeordneten Blickrichtungsdetektorkoordinatensystem die flächigen zweidimensionalen Koordinaten des Augenrefe- renzpunktes in der Detektorebene des Blickrichtungsdetektors 9 bestimmbar.
Die Augenreferenzpunktsdetektionseinrichtung der Vorrichtung gemäß Fig. 1 weist eine an die Flächen- augenreferenzpunktsbestimmungseinheit 8 angeschlossene Raumaugenreferenzpunktsbestimmungseinheit 18 auf, die an die Flächenblickrichtungsbestimmungs- einheit 16 angeschlossen und mit Augenreferenz- punktskoordinatenwerten in dem Blickrichtungskoor- dinatensystem beaufschlagbar ist. Weiterhin ist die Raumaugenreferenzpunktsbestimmungseinheit 18 mit Ursprungsraumkoordinaten als Blickrichtungsdetek- torkoordinatenwerte aus einem Blickrichtungsdetek- torkoordinatenspeicher 19 beaufschlagbar, die den Ursprung des Blickrichtungskoordinatensystemes repräsentieren.
Die Raumaugenreferenzpunktsbestimmungseinheit 18 ist mit Parameterdaten aus einem Blickrichtungs- detektorparameterspeicher 20 beaufschlagbar, die Abbildungseigenschaften des Blickrichtungsdetektors 9 zugeordnet sind. Schließlich ist die Raumaugen- referenzpunktsbestimmungseinheit 18 mit einem Schwenkwinkelwert und einem Neigungswinkelwert aus einer Nachführeinheit 21 der Blickrichtungsdetek- tionseinrichtung beaufschlagbar, mit denen über zugeordnete Stellsignale Verstellelemente der Schwenk/Neigeplattform 11 zum Ausrichten des Blickrichtungsdetektors 9 und der Beleuchtungseinheit 10 auf das Auge 5 der Person 2 ansteuerbar sind.
An die Raumaugenreferenzpunktsbestimmungseinheit 18 sind weiterhin ein Augenreferenzpunktsdetektorpara- meterspeicher 22 und ein Augenreferenzpunktsdetek- torkoordinatenspeicher 23 angeschlossen, denen Geräteparameter des Augenreferenzpunktsdetektors 6 und Ursprungskoordinatenwerte eines dem Augenreferenzpunktsdetektor 6 zugeordneten Augenreferenz- punktsdetektorkoordinatensystems zum Berechnen von Augenreferenzpunktskoordinatenwerten einspeisbar sind.
Mit der Raumaugenreferenzpunktsbestimmungseinheit 18 sind räumliche Augenreferenzpunktskoordinaten- werte sowohl in dem Blickrichtungskoordinatensystem als auch in einem dem Bildschirm 1 zugeordneten Displaykoordinatensystem berechenbar. Die Augenreferenzpunktskoordinatenwerte in dem Blickrichtungskoordinatensystem sind über ein Rückführlei- tung auf die Nachführeinheit 21 rückführbar und dienen zur Ermittlung von neuen Neigungswinkelwer- ten und neuen Schwenkwinkelwerten zum nachführenden Ausrichten des Blickrichtungsdetektors 9 auf das Auge 5. Augenreferenzpunktskoordinatenwerte in dem Display- koordinatensystem sind über eine Raumaugenreferenz- punktsleitung 18 ' einer an die Raumaugenreferenzpunktsbestimmungseinheit 18 angeschlossenen Augen- referenzpunktsbewegungskompensationseinheit 24 einer Recheneinheit einspeisbar, die weiterhin über eine Blickrichtungsleitung 16* an die Flächenblick- richtungsbestimmungseinheit 16, über eine Blick- richtungsdetektorkoordinatenleitung 19 ' an den Blickrichtungsdetektorkoordinatenspeicher 19, über eine Nachführleitung 21' an die Nachführeinheit 21 sowie über eine Bildschirmkoordinatenleitung 25 ' an einen Bildschirmkoordinatenspeicher 25 angeschlossen ist. Mittels der Flächenblickrichtungsbestim- mungseinheit 16 sind der Augenreferenzpunktsbe- wegungskompensationseinheit 24 Blickrichtungsfunk- tionswerte in dem Blickrichtungskoordinatensyste einspeisbar. Von der Nachführeinheit 21 sind der Augenreferenzpunktsbewegungskompensationseinheit 24 die Schwenkwinkelwerte und Neigungswinkelwerte des Blickrichtungsdetektors 9 zuführbar.
Schließlich sind der Augenreferenzpunktsbewegungs- kompensationseinheit 24 die Ursprungskoordinaten- werte für den Blickrichtungssensor 9 im zugeordneten Blickrichtungskoordinatensystem aus dem Blick- richtungsdetektorkoordinatenspeicher 19 und die räumlichen Koordinatenwerte des Bildschirmes 1 als Gegenstandskoordinatenwerte aus dem Bildschirmkoor- dinatenspeicher 25 einspeisbar. Wie weiter unten näher erläutert ist, sind mit der Augenreferenz- punktsbewegungskompensationseinheit 24 unter Kompensation von beispielsweise durch Kopfdrehungen und/oder Kopfverschiebungen hervorgerufenen räum- liehe Änderungen des Augenreferenzpunktes die Blickrichtungsfunktionswerte in dem Blickrichtungskoordinatensystem in Fixationspunktskoordinaten- werte des Fixationspunktes 3 in dem Displaykoordinatensystem transformierbar und einer der Augen- referenzpunktskompensationseinheit 24 nachgeord- neten Fixationspunktskoordinatenauswerteeinheit 26 über eine Fixationspunktsleitung 24' einspeisbar. Mittels der Fixationspunktskoordinatenauswerteein- heit 26 sind beispielsweise Schaltfunktionen zur Steuerung des den Bildschirm 1 aufweisenden Ar- beitsplatzrechners auslösbar, wenn der Fixationspunkt 3 in bestimmte Schaltfunktionen symbolisch darstellende Fensterbereiche fällt und dort über eine gewisse Zeit verbleibt.
Fig. 2 zeigt in einem Blockschaltbild die Augenreferenzpunktsbewegungskompensationseinheit 24 gemäß Fig. 1, die über ein Rotationskompensations- glied 27, ein Skalierungsglied 28 und ein Trans- lationskompensationsglied 29 verfügt. Das Rota- tionskompensationsglied 27 ist an die Blickrichtungsleitung 16', die Nachführwerteleitung 21' und die Bildschirmkoordinatenleitung 25' angeschlossen. Mit dem Rotationskompensationsglied 27 sind die Blickrichtungsfunktionswerte mittels einer Rotationsmatrix, die den Neigungswinkelwert und den Schwenkwinkelwert des Blickrichtungsdetektors 9 sowie räumliche Koordinatenwerte des Bildschirmes 1 als Gegenstandskoordinatenwerte enthält, in ein bewegliches kopffestes Kopfkoordinatensystem transformierbar.
Das dem Rotationskompensationsglied 27 nachgeord- nete Skalierungsglied 28 ist an die Raumaugenrefe- renzpunktsleitung 18 ' , die Blickrichtungsdetektor- koordinatenleitung 19' und die Bildschirmkoordinatenleitung 25' angeschlossen. Mit dem Skalierungsglied 28 sind die Blickrichtungsfunktionswerte in dem Kopfkoordinatensystem unter Berücksichtigung der Tatsache, daß die Abbildung der Blickrichtungsfunktion auf den Blickrichtungsdetektor 9 proportional zu dem Abstand zwischen dem Auge 5 und dem Blickrichtungsdetektor 9 und die Abbildung auf dem Bildschirm 1 proportional zu dem Abstand zwischen dem Auge 5 und dem Bildschirm 1 ist, mit einem Skalierungsfaktor zum Bestimmen der Abbildungsgröße der Blickrichtungsfunktionswerte auf dem Bildschirm 1 multiplizierbar.
Das dem Skalierungsglied 28 nachgeordnete Trans- lationskompensationsglied 29 ist schließlich an die Raumaugenreferenzpunktsleitung 18 ' sowie die Bild- schirmkoordinatenleitung 25' angeschlossen und zum Verschieben des Koordinatenursprunges des Kopfkoor- dinatensystemes zu dem Ursprung des Displaykoordi- natensystemes eingerichtet. Die somit bestimmten Fixationspunktskoordinaten in dem Displaykoordinatensystem sind über die Fixationspunktsleitung 24' der Fixationspunktskoordinatenauswerteeinheit 26 gemäß Fig. 1 einspeisbar.
Fig. 3 zeigt in einer schematischen Darstellung die bei der erfindungsgemäßen Vorrichtung relevanten Koordinatensysteme. Ein dem Bildschirm 1 zugeordne- tes Displaykoordinatensystem 30 hat seinen Ursprung beispielsweise in der Darstellung gemäß Fig. 3 in der linken oberen Ecke des Bildschirmes 1. Ist der Bildschirm 1 raumfest angeordnet, ist es zweckmäßig, das Displaykoordinatensystem 30 als Welt- koordinatensystem zu wählen. Die von der Blicklinie 4 beaufschlagte Displayoberfläche 31 liegt in der durch die x.-Achse 32 und die yD~Achse 33 des Dis- playkoordinatensystems 30 aufgespannten x-y -Ebene. Eine zD-Achse 34 des Displaykoordinatensystemes 30 ist in Richtung des Auges 5 gerichtet. Mit dem so gewählten Displaykoordinatensystem 30 hat ein Fixationspunkt 3 auf der Displayoberfläche 31 die Koordinaten dD=(dDχ,dDγ,0) .
Dem Augenreferenzpunktsdetektor 6 ist ein Augenreferenzpunktskoordinatensystem 35 zugeordnet, dessen xp-Achse 36 und yp-Achse 37 in der Detektorebene des Augenreferenzpunktsdetektors 6 liegen. Die zp-Achse 38 des Augenreferenzpunktskoordinaten- systemes 35 steht rechtwinklig auf der x -Achse 36 und der yp-Achse 37.
Dem Blickrichtungsdetektor 9 ist ein Blickrichtungskoordinatensystem 39 zugeordnet, dessen x - Achse 40 sowie yß-Achse 41 in der Detektorebene des Blickrichtungsdetektors 9 liegen und dessen zß-Achse 42 in Richtung des aus meßtechnischen Gründen durch vorzugsweise aus dem Pupillenmittelpunkt, im Hinblick auf die Genauigkeit jedoch idealerweise durch den Augenmittelpunkt gebildeten Augenreferenzpunktes ausgerichtet ist.
Der Ursprung des Augenreferenzpunktskoordinaten- systemes 35 in Koordinaten des Displaykoordinaten- systemes 30 liegt in dem Punkt P=(PDX,PDY,PDZ) • Der Ursprung des Blickrichtungskoordinatensystemes 39 in den Koordinaten des Displaykoordinatensystemes liegt in dem Punkt bD=(bDχ,bDγ,bDZ) . Das Blickrichtungskoordinatensystem 39 ist um eine Neigeachse 43 um einen Neigewinkel α und um eine Schwenkachse 44 um einen Schwenkwinkel ß neigbar beziehungsweise schwenkbar gegenüber dem Display- koordinatensystem 30 ausrichtbar.
Weiterhin wird ein bewegliches, köpffestes Kopfkoordinatensystem 45 eingeführt, dessen Ursprung im Augenreferenzpunkt liegt. Der Ursprung des Kopf- koordinatensystemes 45 hat im Displaykoordinaten- system 30 die Koordinaten aD= ( aDχ, aDγ, aßZ) . Eine durch eine xκ~Achse 46 und eine yκ~Achse 47 aufgespannte xκ-yκ-Ebene des Kopfkoordinatensystemes 45 ist parallel zu der durch die xB-Achse 40 und die yß- Achse 41 des Blickrichtungskoordinatensystemes 39 aufgespannte Detektorebene ausgerichtet, während eine zκ-Achse 48 des Kopfkoordinatensystemes 45 parallel zu der zß-Achse 42 des Blickrichtungskoor- dinatensystemes 39 ausgerichtet ist.
Fig. 4 zeigt in einem Schaubild eine Nachführbewegung des Blickrichtungsdetektors 9 bei Bewegen des Augenreferenzpunktes 49 mit den Koordinaten
Figure imgf000017_0001
im Blickrichtungskoordinatensystem 39 nach Neigen um den Neigewinkel a und Schwenken um den Schwenkwinkel ß zusammen mit den Verschiebestrecken aßχ, aßγ und aßZ. Bei der Neigung um den Neigewinkel α wird die xß-Achse so gedreht, daß die zß-Achse auf der Strecke Oaγz liegt. Bei der Schwenk- bewegung um den Schwenkwinkel ß wird das Blickrich- tungskoordinatensystem so um die yß-Achse 41 gedreht, daß die zß-Achse 41 auf der Strecke zwischen dem Ursprung 0 des Blickrichtungskoordinatensyste- mes 39 und dem Augenreferenzpunkt 49 liegt. Dabei sind der Neigewinkel durch die Gleichung α =-arctan- *BY
( 1 )
*BZ
und der Schwenkwinkel ß durch die Gleichung
Figure imgf000018_0001
gegeben.
Zum Bestimmen der Koordinaten des Fixationspunktes 3 in dem Displaykoordinatensystem 30 muß die in dem Blickrichtungskoordinatensystem 39 gemessene Blickrichtungsfunktion f_ (2)= ( fßχ(gßχ, gßγ) , fßγ( gßχ, gßγ) , aßZ) nun in das Displaykoordinatensystem 30 transformiert werden, wobei gßχ, gßγ für die die Blicklinie der Blickrichtungsfunktion f_B(c[) festlegenden Meßwerte stehen, fßχ und fßγ die Komponenten der Blickrichtungsfunktion in der durch die xß-Achse 40 und die y -Achse aufgespannte xß-yB~Ebene 50 sind und aßZ der Abstand zwischen dem Augenreferenzpunkt 49 und der xß-yß-Ebene 50 ist.
Fig. 5 zeigt in einer schematischen Darstellung den Transformationsvorgang zum Transformieren der Blickrichtungsfunktion f_B(3) von dem Blickrich- tungskoordinatensystem 39 in das Displaykoordinatensystem des Bildschirmes 1.
Zu Beginn dieser Transformation ist die durch die Blickrichtungsdetektionseinrichtung ermittelte Blickrichtungsfunktion _B(g_) in ihren Komponenten fßχ, fßγ und dem über die Raumaugenreferenzpunktsbestimmungseinheit 18 ermittelbaren Abstand aßZ, die mittels der Augenreferenzpunktsdetektionseinrich- tung ermittelten Raumkoordinaten aD=(aDχ,aDγ,aDZ) im Displaykoordinatensystem 30 sowie der Neigewinkel und Schwenkwinkel ß des Blickrichtungsdetektors 9 gegeben.
Bei einem ersten Transformationsschritt wird das Blickrichtungskoordinatensystem 39 zuerst um den Augenreferenzpunkt 49 um die Winkel -ß, -α zurückrotiert, so daß die xß-yß-Ebene 50 des Blickrich- tungsdetektors 9 und die in der Displayoberfläche 31 liegende, durch die xD~Achse 32 und die yß-Achse 33 des Displaykoordinatensystemes 30 aufgespannte xß-yD-Ebene 50 parallel zueinander stehen. Diese Rotationstransformation wird mittels des Rotations- kompensationsgliedes 27 der Augenreferenzpunkts- bewegungskompensationseinheit 24 gemäß Fig. 1 und Fig. 2 durchgeführt.
Die resultierende Blickrichtungsfunktion f_'B(c[) hat nunmehr die Gestalt
is) = {fL. firr. ) =& • £,, ( ) > <3>
wobei R eine Rotationsmatrix und f_B(g_) die im Blickrichtungskoordinatensystem 39 gemessene Blickrichtungsfunktion ist.
Bei Zusammenfallen des Displaykoordinatensystemes 30 mit dem Weltkoordinatensystem, beispielsweise bei einem feststehenden Bildschirm 1, hat die Rotationsmatrix R folgende Form: __ (4)
Figure imgf000020_0001
wobei die Winkel a und ß den Winkel gemäß obiger Gleichung (1) und Gleichung (2) entsprechen.
Diese Transformation stellt sich als Überführen der xß-yß-Ebene 50 in die parallel zu der Displayober- flache 31 ausgerichteten x ' -y ' ß-Ebene 51 gemäß Fig. 5 dar.
Dann wird in einem zweiten Transformationsschritt die Blickrichtungsfunktion f 'B(c[) mit einem Faktor
F = -^ (5) z B
mit aßZ als dem Abstand zwischen dem Augenreferenzpunkt 49 und der Displayoberfläche 31 und z'B als dem Abstand zwischen dem Augenreferenzpunkt 49 und der x ' -y ' ß-Ebene 51 gemäß Fig. 5 skaliert. Die Größe z'ß berechnet sich gemäß
zB' = (_S- j_B(s))_ . <6>
so daß die Blickrichtungsfunktion auf der Bildschirmoberfläche 31 nunmehr die Größe
( fB' ) Xt y - F (R * fB ^) ) χ y (7)
aufweist. Die Transformation gemäß Gleichung (7) wird mittels des Skalierungsgliedes 28 durchge- führt. In einem dritten Transformationsschritt, der mit dem Translationskompensationsglied 29 durchführbar ist, wird der Ursprung des Kopfkoordinatensystemes 45 auf den Ursprung des Displaykoordinatensystemes 30 verschoben. Die Koordinaten des Fixationspunktes 3 in dem Displaykoordinatensystem 30 lauten somit
Figure imgf000021_0001
Figure imgf000021_0002
Mit den drei Transformationsschritten, nämlich einer Rotation, einer Skalierung und einer Translation der x-y-Komponenten der Blickrichtungsfunktion ist eine effiziente, verhältnismäßig wenig rechenaufwendige Transformation erzielt. Da die Rotationsmatrix R die Ist-Rotationswinkel , ß des Blickrichtungsdetektors 9 beschreibt, ist deren mechanisch präzise Erfassung in verhältnismäßig einfacher Weise möglich.
Die Abweichungen der Ist-Rotationswinkel α, ß von den durch die Raumaugenreferenzpunktsbestimmungs- einheit 18 erfaßten Soll-Winkeln lassen sich durch die Rückkopplung der Augenreferenzpunktskoordinaten von der Raumaugenreferenzpunktsbestimmungseinheit 18 auf die Nachführeinheit 21 weitgehend verringern.
In vielen Fällen ist eine Bewegung des Augenreferenzpunktes 49 zum Blickrichtungsdetektor 9 und/oder zum Bildschirm 1 wesentlich kleiner als die Abstände zß und aDZ, so daß der Skalierungsfaktor F weitgehend von der Meßgenauigkeit des Augenrefe- renzpunktsdetektors 6 unabhängig ist. Die Genauig- keit der drei Transformationsschritte wird im wesentlichen durch die Genauigkeit der x-y-Komponente des Augenreferenzpunktes im Displaykoordinatensystem 30 bestimmt. Diese Komponenten sind in der Regel genauer als die z-Komponente aDZ gegeben.
Fig. 6 zeigt in einem Blockschaltbild ein weiteres Ausführungsbeispiel einer Vorrichtung gemäß der Erfindung, wobei sich bei den Ausführungsbeispielen gemäß Fig. 1, Fig. 2 und Fig. 6 entsprechende Bauelemente mit den gleichen Bezugszeichen versehen und im weiteren nicht näher erläutert sind. Bei dem Ausführungsbeispiel gemäß Fig. 6 ist vorgesehen, für den Flächendetektor der Augenreferenzpunkts- detektionseinrichtung und Blickrichtungsdetektions- einrichtung gemeinsam einen hochauflösenden Doppeldetektor 52 vorzusehen, der auf der Schwenk/Neigeplattform 11 schwenkbar sowie neigbar angebracht ist und ein Autofokusmodul aufweist, dessen Auto- fokuswerte der Raumaugenreferenzpunktsbestimmungseinheit 18 einspeisbar sind.
Die in einem Doppelbildspeicher 53 speicherbaren beispielsweise dem Bildausschnitt des Blickrich- tungsdetektors 9 gemäß Fig. 1 entsprechenden Bilddaten sind zum einen der Flächenblickrichtungsbe- stimmungseinheit 16 und zum anderen der Raumaugenreferenzpunktsbestimmungseinheit 18 einspeisbar. In Abweichung von dem Ausführungsbeispiel gemäß Fig. 1 ist mit der Raumaugenreferenzpunktsbestimmungseinheit 18 gemäß Fig. 6 der Augenreferenzpunkt mittels der Parameterdaten des Blickrichtungsdetektorpara- eterspeichers 20, die Abbildungseigenschaften des Doppeldetektors 52 zugeordnet sind, sowie der Auto- fokuswerte bestimmbar. Das Ausführungsbeispiel gemäß Fig. 6 zeichnet sich durch einen verhältnismäßig geringen apparativen Aufwand aus, da lediglich ein Flächendetektor sowohl zur Bestimmung des Augenreferenzpunktes als auch dem Erfassen der Blickrichtung vorgesehen ist.

Claims

PATENTANSPRÜCHE
1. Vorrichtung zum Bestimmen eines Fixationspunk- tes eines anthropomorph aufgebauten Auges (5) beim Betrachten eines Gegenstandes (1) mit einer Augenreferenzpunktsdetektionseinrichtung, mit der räumliche Augenreferenzpunktskoordina- tenwerte eines Augenreferenzpunktes (49) be- stimmbar sind, mit einer Blickrichtungsdetek- tionseinrichtung, mit der eine Blickrichtung des Auges als Blickrichtungsfunktion bestimmbar ist, und mit einer Recheneinrichtung, mit der aus der Blickrichtungsfunktion und den Augen- referenzpunktskoordinatenwerten der Fixationspunkt (3) des Auges (5) bestimmbar ist, dadurch gekennzeichnet, daß die Augenreferenzpunkts- detektionseinrichtung einen als Flächendetektor ausgebildeten Augenreferenzpunktsdetektor ( 6 ) aufweist, mit dem das Auge (5) innerhalb eines vorbestimmten Raumbereiches abbildbar ist, daß die Blickrichtungsdetektionseinrichtung über einen als Flächendetektor ausgebildeten Blickrichtungsdetektor (9) verfügt, der auf einem in zwei überlagerbaren Richtungen schwenkbaren und neigbaren Schwenk/Neigeelement (11) angebracht ist, wobei mit dem Blickrichtungsdetektor (9) wenigstens die Pupille (13) und die unmittelbare Pupillenumgebung (14, 15) abbildbar ist und das Schwenk/Neigeelement (11) von einer mit Steuersignalen aus der Augenreferenzpunkts- detektionseinrichtung speisbaren und derart nachführbaren Nachführeinheit (21) so einstellbar ist, daß bei Bewegen des Augenreferenzpunk- tes (49) im Raum der Blickrichtungsdetektor (9) auf den Augenreferenzpunkt (49) ausgerichtet bleibt, und daß die Recheneinrichtung über eine Kompensationseinheit (24) zur Kompensation der Bewegung des Augenreferenzpunktes (49) verfügt, der dem Gegenstand (5) zugeordnete Gegenstandskoordinatenwerte, dem Blickrichtungsdetektor ( 9 ) zugeordnete Blickrichtungsdetektorkoordina- tenwerte, der Blickrichtungsfunktion in einem Blickrichtungskoordinatensystem (39) zugeord- nete Blickrichtungswerte, der Ausrichtung des Blickrichtungsdetektors (9) zugeordnete Ausrichtwerte und die Augenreferenzpunktskoordi- natenwerte zum Bestimmen des Fixationspunktes (3) einspeisbar sind.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Kompensationseinheit (24) über ein Rotationskompensationsglied (27), ein Skalierungsglied (28) und Translationskompensa- tionsglied (29) verfügt, wobei mit dem Rotationskompensationsglied (27) die Blickrichtungsfunktion um die Ausrichtwerte korrigierbar ist, mit dem Skalierungsglied (28) die Größe der drehkorrigierten Blickrichtungsfunktion bei Anblick des Gegenstandes (1) berechenbar und mit dem Translationskompensationsglied (29) der Versatz des Augenreferenzpunktes (49) gegenüber dem Ursprung eines Gegenstandskoordinatensyste- mes (30) korrigierbar ist.
3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, daß an die Augenreferenzpunktsdetek- tionseinrichtung und das Kompensationsglied (24) Speicher (19, 20, 22, 23, 25) angeschlos- sen sind, mit denen interne gerätabhängige Parameter und Koordinatenwerte der Augenrefere- nzpunktsdetektionseinrichtung und der Blick- richtungsdetektionseinrichtung in bezug auf das Gegenstandskoordinatensystem (30) abspeicherbar sind.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Blickrichtungs- detektionseinrichtung zum Ermitteln der Blick- richtungsfunktion nach dem sogenannten "Cornea- Reflex"-Verfahren eingerichtet ist.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Augenreferenz- punktsdetektionseinrichtung über eine Flächen- augenreferenzpunktsbestimmungseinheit (8) verfügt, mit der aus dem Bild des Augenreferenz- punktsdetektors (9) der Augenreferenzpunkt (49) in Flächenkoordinaten eines Augenreferenz- punktskoordinatensystemes (35) bestimmbar ist, und daß eine an die Flächenaugenreferenzpunktsbestimmungseinheit ( 8 ) angeschlossene Raumaugenreferenzpunktsbestimmungseinheit (18) vorgesehen ist, die neben den Flächenkoordinaten aus der Flächenaugenreferenzpunktsbestimmungseinheit ( 8 ) mit Flächenkoordinaten in einem Blickrichtungskoordinatensystem (39) des Augenreferenzpunktsdetektors (6) und des Blickrichtungsdetektors ( 9 ) sowie den Ausrichtwerten beaufschlagbar ist.
6. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Augenreferenz- punktsdetektionseinrichtung und die Blickrich- tungsdetektionseinrichtung über einen gemein- samen, an das Schwenk/Neigeelement (11) angebrachte Flächendetektor (52) verfügt, mit dem das Auge ( 5 ) innerhalb des vorbestimmten Raumbereiches erfaßbar ist.
PCT/DE1998/002580 1997-08-26 1998-08-26 Vorrichtung zum bestimmen eines fixationspunktes Ceased WO1999009880A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US09/486,584 US6553281B1 (en) 1997-08-26 1998-08-26 Device for determining a fixation point

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE1997136995 DE19736995B4 (de) 1997-08-26 1997-08-26 Vorrichtung zum Bestimmen eines Fixationspunktes
DE19736995.2 1997-08-26

Publications (2)

Publication Number Publication Date
WO1999009880A2 true WO1999009880A2 (de) 1999-03-04
WO1999009880A3 WO1999009880A3 (de) 1999-06-24

Family

ID=7840124

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1998/002580 Ceased WO1999009880A2 (de) 1997-08-26 1998-08-26 Vorrichtung zum bestimmen eines fixationspunktes

Country Status (3)

Country Link
US (1) US6553281B1 (de)
DE (1) DE19736995B4 (de)
WO (1) WO1999009880A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
DE50002313D1 (de) * 2000-02-01 2003-06-26 Swisscom Mobile Ag System und verfahren zur verbreitung von bildobjekten
JP4149213B2 (ja) * 2002-07-12 2008-09-10 本田技研工業株式会社 指示位置検出装置及び自律ロボット
JP2006509256A (ja) * 2002-12-06 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 装置の自動位置決めに関する機器及び方法
DE10339314B3 (de) * 2003-08-27 2005-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit
US9652032B2 (en) * 2004-03-02 2017-05-16 Brian T. Mitchell Simulated training environments based upon fixated objects in specified regions
US8721341B2 (en) * 2004-03-02 2014-05-13 Optimetrics, Inc. Simulated training environments based upon foveated object events
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
WO2010003410A1 (en) * 2008-07-08 2010-01-14 It-University Of Copenhagen Eye gaze tracking
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
KR101983248B1 (ko) * 2012-06-13 2019-05-29 삼성디스플레이 주식회사 표시 패널 구동 방법, 이를 수행하기 위한 표시 패널 구동 장치 및 이 표시패널 구동 장치를 포함하는 표시 장치
KR102095765B1 (ko) * 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10499994B2 (en) 2014-02-27 2019-12-10 University Surgical Associates, Inc. Interactive display for surgery with mother and daughter video feeds
KR102193029B1 (ko) * 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
EP3009918A1 (de) 2014-10-13 2016-04-20 Thomson Licensing Verfahren zur Steuerung der Anzeige von Text zur Unterstützung des Lesens auf einer Anzeigevorrichtung und Vorrichtung zur Durchführung des Verfahrens und computerlesbares Speichermedium
WO2016058847A1 (en) 2014-10-13 2016-04-21 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium
KR101697286B1 (ko) * 2015-11-09 2017-01-18 경북대학교 산학협력단 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
CN106123819B (zh) * 2016-06-29 2018-07-24 华中科技大学 一种注意力焦点测量方法
US10564716B2 (en) * 2018-02-12 2020-02-18 Hong Kong Applied Science and Technology Research Institute Company Limited 3D gazing point detection by binocular homography mapping
US20210319585A1 (en) * 2018-08-31 2021-10-14 Eyeware Tech Sa Method and system for gaze estimation
EP4027220A1 (de) * 2021-01-08 2022-07-13 Eyeware Tech SA Verfahren zur kalibrierung einer augenverfolgungsvorrichtung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4582403A (en) 1984-03-05 1986-04-15 Weinblatt Lee S Head movement correction technique for eye-movement monitoring system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613219A (en) * 1984-03-05 1986-09-23 Burke Marketing Services, Inc. Eye movement recording apparatus
US4859050A (en) * 1986-04-04 1989-08-22 Applied Science Group, Inc. Method and system for generating a synchronous display of a visual presentation and the looking response of many viewers
US4755045A (en) * 1986-04-04 1988-07-05 Applied Science Group, Inc. Method and system for generating a synchronous display of a visual presentation and the looking response of many viewers
EP0240336B1 (de) * 1986-04-04 1992-03-11 Applied Science Group Inc. Verfahren und Gerät zur Entwicklung der Darstellung der Sehzeitverteilung wenn Leute Fernsehwerbung beobachten
US4789235A (en) * 1986-04-04 1988-12-06 Applied Science Group, Inc. Method and system for generating a description of the distribution of looking time as people watch television commercials
JP2501288B2 (ja) * 1993-06-21 1996-05-29 インターナショナル・ビジネス・マシーンズ・コーポレイション 注視点推定装置
US5587748A (en) * 1994-10-28 1996-12-24 Leica Inc. Joystick override control for an ophthalmic instrument
DE19731303B4 (de) * 1997-07-13 2009-02-26 Smi Senso Motoric Instruments Gmbh Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei Kopf- und Augenbewegungen
GB9722949D0 (en) * 1997-10-30 1998-01-07 Bid Instr Ltd Ocular testing and related projection apparatus and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4582403A (en) 1984-03-05 1986-04-15 Weinblatt Lee S Head movement correction technique for eye-movement monitoring system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking

Also Published As

Publication number Publication date
DE19736995B4 (de) 2009-05-07
US6553281B1 (en) 2003-04-22
DE19736995A1 (de) 1999-03-04
WO1999009880A3 (de) 1999-06-24

Similar Documents

Publication Publication Date Title
WO1999009880A2 (de) Vorrichtung zum bestimmen eines fixationspunktes
EP1228414B1 (de) Rechnerunterstütztes verfahren zur berührungslosen, videobasierten blickrichtungsbestimmung eines anwenderauges für die augengeführte mensch-computer-interaktion und vorrichtung zur durchführung des verfahrens
DE3433412C2 (de)
EP3557523B1 (de) Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers
DE102012217281B4 (de) Vergrösserungsbeobachtungsvorrichtung
DE60131827T2 (de) Methode für augenregistrierungskontrolle
DE102018206406B3 (de) Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems
DE4439557C2 (de) Verfahren und Einrichtung zum Eichen der Vergrößerung von Zoomoptik-Systemen
DE2753321C2 (de) Head-Up-Display-System
EP2737278B1 (de) Berührungslos bedienbare vermessungsvorrichtung und steuerverfahren für eine solche
EP2880853B1 (de) Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera
EP0799434A1 (de) Mikroskop, insbesondere stereomikroskop und verfahren zum überlagern zweier bilder
DE19937265A1 (de) Verfahren und Vorrichtung zur Positionierung eines Meßkopfes auf einer kontaktfreien dreidimensionalen Meßmaschine
CH692873A5 (de) Vorrichtung und Verfahren zur geometrischen Kalibrierung von CCD-Kameras.
DE102019131646A1 (de) Stativ für eine optische Beobachtungseinheit, optisches Beobachtungsgerät, Verfahren zum Kalibrieren eines optischen Beobachtungsgeräts sowie Computerprogramm
DE102016217628B4 (de) Verfahren zum Betreiben eines Operationsmikroskopiesystems, Bewegungsmesssystem für ein Operationsmikroskopiesystem und Operationsmikroskopiesystem
DE202019105838U1 (de) Anordnung mit einem Koordinatenmessgerät oder Mikroskop
WO2018138206A1 (de) Computerimplementiertes verfahren zur bestimmung von zentrierparametern
DE102004037296A1 (de) Verfahren zum Fokussieren des Aufnahmeobjektivs einer Laufbild- oder Videokamera
WO2013124056A1 (de) Vorrichtung zur berührungslosen temperaturmessung und temperaturmessverfahren
DE102016217792A1 (de) Justiersystem
DE102006005036A1 (de) Vorrichtung und Verfahren zur verbesserten Formcharakterisierung
DE10049103B4 (de) Vorrichtung zur Überlagerung von Röntgen- und Videobildern
DE102018008010A1 (de) Kalibrationsverfahren einer bildmessvorrichtung und zugehöriges computerprogrammprodukt
DE60310533T2 (de) Verbesserungen in bezug auf die kalibration von infrarotkameras

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
AK Designated states

Kind code of ref document: A3

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 09486584

Country of ref document: US

122 Ep: pct application non-entry in european phase