DE102007001738A1

DE102007001738A1 - Method for view detection of test person, involves identifying test person when test person directs view towards monitoring area, where spatially limited monitoring area is specified, and camera is arranged in monitoring area

Info

Publication number: DE102007001738A1
Application number: DE102007001738A
Authority: DE
Inventors: Michael Mischke; Stephan Dipl.-Psych. Hummel; Günther Dipl.-Ing. Knorr; Stefan Dipl.-Ing. Zettl
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2007-01-11
Filing date: 2007-01-11
Publication date: 2008-07-17
Anticipated expiration: 2027-01-12
Also published as: DE102007001738B4

Abstract

The method involves identifying a test person when the test person directs a view towards a monitoring area. A spatially limited monitoring area is specified (S1), where a camera is arranged in the monitoring area or in an immediate surrounding of the monitoring area (S2) to record an image. A graphic analysis of the image recording is accomplished with the help of a data processing system. An independent claim is also included for a computer program product for an analysis of a picture recording in a data processing system.

Description

Die Erfindung betrifft ein Verfahren zur Blickerfassung eines Probanden sowie ein auf einer Datenverarbeitungsvorrichtung ausführbares Computerprogrammprodukt zur Analyse von in digitaler Form vorliegenden Bildaufnahmen.The The invention relates to a method for viewing a subject and an executable on a data processing device Computer program product for analysis of digital form Image capture.

Für die Analyse menschlichen Verhaltens ist es nützlich, wenn mit Hilfe von technischen Hilfsmitteln analysierbar ist, wo Menschen zu welchen Zeitpunkten hinschauen. Insbesondere wenn der Mensch mit komplexen Aufgaben, wie beispielsweise mit der Führung eines Kraftfahrzeuges beschäftigt ist, ist es lebenswichtig, dass der Fahrzeugführer seine Aufmerksamkeit primär der Steuerung des Fahrzeuges mit Hilfe von Lenkrad und Pedalerie sowie der permanenten Erfassung der Verkehrssituation widmet. Nebentätigkeiten, welche den Fahrer von der Fahrzeugführung ablenken, beispielsweise das Bedienen eines Radios, eines Navigationssystems einer Klimaanlage oder die Vornahme sonstiger Einstellungen im Fahrzeug, sollen möglichst schnell und unkompliziert ablaufen, damit dem Fahrzeugführer nach möglichst kurzer Zeit wieder seine volle Aufmerksamkeit für Fahrzeugführung und Beobachtung des Verkehrs zur Verfügung steht.For the analysis human behavior it is useful if it is possible to analyze with the help of technical aids where To look at people at what times. Especially if the human with complex tasks, such as with the leadership of a Motor vehicle is busy, It is vital that the driver's attention is primarily to the driver's control of the vehicle with the help of steering wheel and pedals as well as the permanent Dedicated to capturing the traffic situation. Ancillary activities, which the driver from the vehicle guidance distract, for example, the operation of a radio, a navigation system of a Air conditioning or other settings in the vehicle, should as possible run fast and uncomplicated, so that the driver after preferably a short time back his full attention for vehicle guidance and observation of traffic to disposal stands.

Um dies zu erreichen, werden seit geraumer Zeit Versuche mit Fahrsimulationssystemen durchgeführt, bei welchen Versuchspersonen (Probanden) in realen Fahrzeugen sitzen, das Fahrzeug durch simulierte Fahrsituationen steuern und währenddessen verschiedene, vorgegebene Nebentätigkeiten durchführen. Durch eine Analyse des Verhaltens der Probanden und durch Variation des Fahrzeuginnenraumes kann beispielsweise ermittelt werden, durch welche Art und/oder Anordnung von Bedienelementen die Durchführung von Nebentätigkeiten besonders wenig Zeit in Anspruch nehmen.Around To achieve this, have been some time trials with driving simulation systems carried out, in which subjects (subjects) sit in real vehicles, controlling the vehicle through simulated driving situations and meanwhile perform various, prescribed secondary activities. By an analysis of the behavior of the subjects and by variation of the Vehicle interior can be determined, for example, by which Type and / or arrangement of controls the implementation of sideline take very little time.

Zur Analyse des Verhaltens der Probanden stehen unterschiedliche Kamerasysteme zur Verfügung. Ein aus der Praxis bekanntes System zeichnet das Verhalten des jeweiligen Probanden mit Hilfe von vier Kameras auf, wobei vor der Analyse jeder Versuchsperson drei Schritte zur Kalibration des Systems durchgeführt werden.to Analysis of the behavior of the subjects are different camera systems to disposal. A well-known system records the behavior of each Subjects using four cameras, taking care of the analysis Each subject should be taken three steps to calibrate the system.

In einem ersten Schritt muss die relative Lage der Kameras zueinander eingestellt werden.In a first step must be the relative position of the cameras to each other be set.

In einem zweiten Schritt muss das so genannte Kopfmodell des zu analysierenden Probanden erstellt werden, d. h. es müssen Fotos von dem Probanden aus verschiedenen Perspektiven gemacht werden, und in den Fotos müssen markante Punkte markiert werden.In In a second step, the so - called head model has to be analyzed Subjects are created, d. H. It must have photos of the subject be made from different perspectives, and in the photos have to marked points are marked.

In einem dritten Schritt muss das so genannte Weltmodell erstellt werden. Dazu werden den Kameras Bereiche oder Punkte vorgegeben, welche insofern von besonderem Interesse ist, als mit dem System erkannt werden soll, wenn der Proband während der Aufnahme seinen Blick in diesen Bereich bzw. auf diesen Punkt richtet.In In a third step, the so-called world model has to be created. For this, the cameras are given areas or points which is of particular interest insofar as recognized by the system should be when the subject during the recording of his view in this area or on this point directed.

Zu diesem hohen Kalibrationsaufwand kommt hinzu, dass das System sehr sensibel ist, d. h. dass bereits kleine Positionsveränderungen einzelner Kameras, welche beispielsweise durch das Schließen der Fahrzeugtür hervorgerufen werden können, zur Folge haben können, dass der erste und der dritte Schritt wiederholt werden müssen.To This high calibration effort adds that the system is very is sensitive, d. H. that already small position changes individual cameras, which, for example, by closing the vehicle door can be caused can result that the first and the third step must be repeated.

Ein weiterer Nachteil des bekannten Systems besteht darin, dass Probanden mit wenig kontrastreichem Gesicht und/oder Brillenträger häufig nur schlecht oder gar nicht analysiert werden können.One Another disadvantage of the known system is that subjects with little contrasting face and / or glasses wearer often only bad or impossible to analyze.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und ein Computerprogrammprodukt zur Verfügung zu stellen, welche den Kalibrationsaufwand für eine Blickerfassung reduzieren und welche eine zuverlässige Blickerkennung ermöglichen.Of the Invention is based on the object, a method and a computer program product for disposal to provide, which reduce the calibration effort for a gaze detection and which one reliable Enable eye recognition.

Die Lösung der Aufgabe erfolgt erfindungsgemäß mit den Merkmalen der Ansprüche 1 bzw. 12.The solution The object is achieved according to the invention with the features of claims 1 and 12th

Gemäß dem erfindungsgemäßen Verfahren zur Blickerfassung eines Probanden, mit welchem feststellbar ist, ob der Proband seinen Blick auf einen Beobachtungsbereich richtet, werden folgende Schritte durchgeführt:

a) Es wird ein räumlich begrenzter Beobachtungsbereich festgelegt,
b) in dem Beobachtungsbereich selbst oder in unmittelbarer Umgebung des Beobachtungsbereiches wird eine Kamera angeordnet,
c) mit der Kamera wird mindestens eine Bildaufnahme gemacht,
d) mit Hilfe einer Datenverarbeitungseinrichtung wird eine graphische Analyse der Bildaufnahme durchgeführt und
e) aufgrund der graphischen Analyse wird festgestellt, ob der Proband seinen Blick während der Bildaufnahme in den Beobachtungsbereich gerichtet hat.

According to the method according to the invention for detecting the gaze of a test person, with which it is possible to determine whether the subject directs his gaze to an observation area, the following steps are carried out:

(a) a limited area of observation shall be established;
b) a camera is arranged in the observation area itself or in the immediate vicinity of the observation area,
c) at least one image is taken with the camera,
d) with the aid of a data processing device, a graphical analysis of the image acquisition is performed and
e) based on the graphic analysis, it is determined whether the subject has his eyes in the observation area during image acquisition.

Die Erfindung ermöglicht es folglich, durch eine graphische Analyse, d. h. durch einfache Verarbeitung einer Bildaufnahme, unabhängig von Referenzaufnahmen oder Ähnlichem zu ermitteln, ob ein Proband seinen Blick während der Bildaufnahme in den Beobachtungsbereich gerichtet hat. Eine spezielle vorherige Kalibrierung ist dazu nicht erforderlich und auch eine geringfügige Umpositionierung der Kamera führt nicht unmittelbar dazu, dass die Ergebnisse unbrauchbar sind. Das Verfahren reduziert daher nicht nur den Kalibrationsaufwand, sondern ist darüber hinaus wesentlich unanfälliger für Störungen.The invention thus makes it possible to determine, by means of a graphic analysis, ie by simple processing of an image recording, independently of reference images or the like, whether a test person has directed his gaze into the observation area during the image recording. A special previous calibration is not required and even a slight repositioning of the camera does not immediately lead to the results being useless. The method therefore not only reduces the calibration effort, but is In addition, much less susceptible to interference.

Wenn ein Beobachtungszeitraum festlegt wird, während dessen mehrere Bildaufnahmen in periodischen Abständen gemacht werden wenn und aufgrund der graphischen Analyse festgestellt wird, zu welchen Zeitpunkten der Proband seinen Blick in den Beobachtungsbereich gerichtet hat, kann bei hinreichend klein gewählten periodischen Abständen mit hoher Wahrscheinlichkeit festgestellt werden, über welche Dauer der Proband seinen Blick in den Beobachtungsbereich gerichtet hat. Dazu kann beispielsweise eine Periodendauer von 100 Millisekunden gewählt und die Annahme getroffen werden, dass der Proband seinen Blick zwischen zwei aufeinander folgenden Bildaufnahmen permanent in den Beobachtungsbereich gerichtet hat, wenn anhand der graphischen Analyse ermittelt wurde, dass der Proband zum Zeitpunkt der ersten und zum Zeitpunkt der zweiten Bildaufnahme in den Beobachtungsbereich gerichtet hat. Die Periodendauer ist frei wählbar, wobei eine kürzere Periodendauer als 100 Millisekunden genauere Ergebnisse liefert und damit die Wahrscheinlichkeit steigt, dass die getroffene Annahme richtig ist. Eine längere Periodendauer als 100 Millisekunden hat den Vorteil, dass weniger Daten analysiert werden müssen und bei gleichen Systemvoraussetzungen der Datenverarbeitungseinrichtung daher kürzere Rechenzeiten benötigt werden.If an observation period is determined during which several image captures at periodic intervals be made if and on the basis of graphic analysis is, at which times the subject his gaze into the observation area may be at sufficiently small selected periodic intervals with high probability of being determined over what duration the subject has directed his gaze into the observation area. This can for example, selected a period of 100 milliseconds and the assumption is made that the subject's gaze between two consecutive pictures permanently in the observation area has been determined on the basis of the graphic analysis, that the subject at the time of the first and at the time of has directed second image capture in the observation area. The Period is freely selectable, being a shorter one Period as 100 milliseconds provides more accurate results and thus the probability increases that the assumption made correct is. A longer one Period duration than 100 milliseconds has the advantage that less Data must be analyzed and with the same system requirements of the data processing device therefore shorter Calculation times needed become.

In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird im Rahmen der mit der Datenverarbeitungseinrichtung durchgeführten Analyse für mindestens eine Bildaufnahme ermittelt, wie viele schwarze, im Wesentlichen kreisförmige Flächen mit einem Durchmesser zwischen 1 und 10 mm die Bildaufnahme aufweist. Jede Bildaufnahme kann dazu beispielsweise digitalisiert und in digitalisierter Form auf schwarze, im Wesentlichen kreisförmige Flächen mit einem Durchmesser zwischen 1 mm und 10 mm analysiert werden. Die Regenbogenhaut eines menschlichen Auges kann die Pupille bis auf 1,5 mm verengen oder bis auf 8 mm erweitern. Dementsprechend erscheinen auf Bildaufnahmen in der Augenmitte des Probanden schwarze Flächen, welche genau dann kreisförmig sind, wenn der Proband genau in die Kamera blickt und welche im Wesentlichen kreisförmig sind, wenn der Proband seinen Blick in einen Bereich nahe der Kamera richtet.In a preferred embodiment the method according to the invention is in the context of the analysis carried out with the data processing device for at least An image capture determines how many blacks, in essence circular surfaces with a diameter between 1 and 10 mm has the image recording. For example, each image acquisition can be digitized and stored in digitized form on black, substantially circular areas with a diameter between 1 mm and 10 mm are analyzed. The Iris of a human eye can up the pupil up Narrow 1.5 mm or expand to 8 mm. Accordingly appear on picture shots in the middle of the subject black areas, which then circular are when the subject looks directly into the camera and which in the Essentially circular are when the subject's gaze is in an area near the camera directed.

Was als schwarz im Sinne der Erfindung angesehen wird, kann frei definiert werden. Vorzugsweise werden an dem jeweiligen Versuchsort zunächst einige Probeaufnahmen gemacht und aufgrund dieser Probeaufnahmen festgestellt, welche Schwarztöne unter den Versuchsbedingungen auf den Bildaufnahmen zu erwarten sind. Auf dieser Grundlage kann dann ein Spektrum von Schwarztönen, welche gegebenenfalls auch dunkle Graustufen umfassen können, als schwarz im Sinne der Erfindung definiert werden.What is regarded as black within the meaning of the invention can be defined freely become. Preferably, some are first at the respective experimental location Made test shots and, based on these test recordings, which blacks expected under the experimental conditions on the image recordings are. On this basis can then be a spectrum of blacks, which may also include dark shades of gray, as black in the sense be defined the invention.

Bis zu welchem Maß Abweichungen von der Kreisform toleriert werden sollen, hängt von Größe des Beobachtungsbereiches und der relativen Position der Kamera zum Beobachtungsbereich ab. Je größer der Beobachtungsbereich gewählt wird und je weiter die Kamera von dem Beobachtungsbereich beabstandet ist, desto größer muss die zulässige Toleranz bezüglich der Kreisform sein.To to what extent deviations be tolerated by the circular shape, depends on the size of the observation area and the relative position of the camera to the observation area. The bigger the Observation area selected and the farther the camera is spaced from the viewing area is, the bigger it must be the permissible Tolerance regarding be the circular shape.

Um zu gewährleisten, dass der in der graphischen Analyse ermittelte Durchmesser des Auges den tatsächlichen Maßen entspricht, kann in gleicher Entfernung wie die Augen des Probanden in das Blickfeld der Kamera ein Referenzobjekt positioniert werden, welches durch graphische Analyse leicht ermittelbar und dessen tatsächliche Länge bekannt ist. So kann durch Vergleich der Länge des Referenzobjektes auf der Bildaufnahme und der tatsächlichen Länge des Referenzobjektes stets ermittelt werden, welchen Durchmesser schwarze, im Wesentlichen kreisförmige Flächen auf der Bildaufnahme haben müssen, wenn diese tatsächlich einen Durchmesser zwischen 1 mm und 10 mm haben sollen.Around to ensure, that the diameter of the eye determined in the graphic analysis is the actual moderation equivalent, may be at the same distance as the eyes of the subject be positioned in the field of view of the camera a reference object, which can be easily determined by graphical analysis and its actual Length known is. This can be done by comparing the length of the reference object the image capture and the actual length of the image Reference object can always be determined, which diameter black, essentially circular surfaces need to have on the image capture if these are actually should have a diameter between 1 mm and 10 mm.

Gemäß einer weiter bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird im Rahmen der mit der Datenverarbeitungseinrichtung durchgeführten Analyse für mindestens eine Bildaufnahme der Abstand zwischen den Mittelpunkten aller schwarzen, im Wesentlichen kreisförmigen Flächen ermittelt. Die gemessenen Abstände können als Auswahlkritierium herangezogen werden, wenn mehr als zwei schwarze, im Wesentlichen kreisförmige Flächen bei der graphischen Analyse ermittelt werden. Da der durchschnittliche menschliche Augenabstand ca. 62 mm beträgt und Abweichungen dieses Abstandes sehr gering sind, kann dementsprechend bei der graphischen Analyse berücksichtigt werden, dass ermittelte schwarze Flächen, deren tatsächlicher Abstand größer als 70 mm und kleiner als 50 mm ist, keine Augenpaare sein können. Zur Ermittlung des tatsächlichen Abstandes kann analog vorgegangen werden wie bei den Maßen des Durchmessers.According to one further preferred embodiment the method according to the invention is in the context of the analysis carried out with the data processing device for at least an image capture the distance between the centers of all black, determined essentially circular areas. The measured distances can as Selection criterion, if more than two black, essentially circular surfaces be determined during the graphical analysis. Because the average human eye distance is about 62 mm and deviations of this Distance are very small, can accordingly in the graphic Analysis considered be that determined black areas whose actual Distance greater than 70 mm and smaller than 50 mm, no pairs of eyes can be. For investigation of the actual Distance can be proceeded analogously as with the dimensions of Diameter.

Die Berücksichtigung der Abstände zwischen den Mittelpunkten aller schwarzen, im Wesentlichen kreisförmigen Flächen kann ferner zur Plausibilitätskontrolle eingesetzt werden, wenn genau zwei schwarze, im Wesentlichen kreisförmige Flächen ermittelt wurden. Liegt der tatsächliche Abstand dieser Flächen nicht in dem oben genannten Intervall zwischen 50 mm und 70 mm, ist eine der beiden Flächen kein Auge. Dann muss anhand weiterer Kriterien festgestellt werden, welche der Flächen gegebenenfalls das Auge des Probanden ist.The consideration the distances between the centers of all black, essentially circular surfaces in addition to the plausibility check be used when exactly two black, substantially circular areas determined were. Is the actual Distance of these surfaces not in the above interval between 50 mm and 70 mm, one of the two surfaces is not Eye. Then it has to be determined by further criteria which ones the surfaces where appropriate, the subject's eye.

Um ein weiteres Kriterium prüfen zu können, kann beispielsweise im Rahmen der mit der Datenverarbeitungseinrichtung durchgeführten Analyse für mindestens eine Bildaufnahme überprüft werden, ob die Bildaufnahme in einem sich um den Mittelpunkt einer schwarzen, im Wesentlichen kreisförmigen Fläche erstreckenden kreisförmigen Bereich mit einem Durchmesser von ca. 30 mm mindestens eine im Wesentlichen weiße Fläche aufweist. Denn obwohl alle Menschen um die Pupille herum verschiedenfarbige Ringe aufweisen, so ist Ihnen wiederum gemein, dass der jeweils individuelle Farbring von im Wesentlichen weißen Flächen umgeben ist. Daher muss in einem kreisförmigen Bereich mit einem Durchmesser von ca. 30 mm um den Mittelpunkt einer schwarzen, im Wesentlichen kreisförmigen Fläche eine im Wesentlichen weiße Fläche anzutreffen sein. Ist dieses Kriterium nicht erfüllt, kann gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens davon ausgegangen werden, dass es sich bei der schwarzen, im Wesentlichen kreisförmigen Fläche nicht um ein menschliches Auge handelt.Around to check another criterion to be able to for example, in the context of the data processing device conducted Analysis for at least a picture capture will be reviewed whether the image capture in a around the center of a black, essentially circular area extending circular Area with a diameter of about 30 mm at least one substantially white area having. For though all men around the pupil are rings of different colors have, in turn, you have in common that each individual Color ring is surrounded by essentially white surfaces. Therefore, must in a circular Area with a diameter of about 30 mm around the center of a black, substantially circular area to find a substantially white area be. If this criterion is not met, it can be determined according to a preferred embodiment the method according to the invention It can be assumed that the black, in essence circular area not a human eye.

Selbstverständlich können eine Vielzahl weiterer biometrischer Werte bei der graphischen Analyse berücksichtigt werden. Diese werden jedoch nicht im Einzelnen aufgeführt.Of course, one can Variety of other biometric values in the graphical analysis considered become. These are not listed in detail.

In einer weiter bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden zusätzlich Pro-Referenzaufnahmen von dem Kopf des Probanden gemacht und in der Datenverarbeitungseinrichtung gespeichert, wobei der Proband seinen Blick während der Pro-Referenzaufnahmen auf unterschiedliche Punkte innerhalb des Beobachtungsbereiches richtet. Solche Pro-Referenzaufnahmen eignen sich dazu, individuelle Besonderheiten von Probanden herauszufinden und in die graphische Analyse mit einfließen zu lassen. So kann beispielsweise mit Pro-Referenzaufnahmen der minimale und der maximale Durchmesser des Probanden in der zu untersuchenden Situation ermittelt und diese Information dazu genutzt werden, die Grenzwerte bei der Analyse anzupassen. Ebenso kann der Augenabstand exakt bestimmt und die Toleranzen bei der entsprechenden Abstandsbestimmung verkleinert werden. Ferner kann ermittelt werden, in welchem Maße Abweichungen von der Kreisform der Pupille bei Blicken in den Beobachtungsbereich vorkommen, und diese Abweichungen können bei der graphischen Analyse berücksichtigt werden.In a further preferred embodiment the method according to the invention be additional Pro reference shots made by the subject's head and in the data processing device stored, wherein the subject his look while the pro reference shots to different points within of the observation area. Such Pro reference recordings are suitable to find out individual peculiarities of subjects and to be included in the graphic analysis. So, for example with Pro reference shots the minimum and the maximum diameter determined by the subject in the situation under investigation and this Information to be used, the limits in the analysis adapt. Similarly, the eye relief can be determined exactly and the Tolerances reduced in the corresponding distance determination become. It can also be determined to what extent deviations from the circular shape of the pupil when looking into the observation area occur, and these deviations can occur in the graphical analysis considered become.

Schließlich können auch Teile der Referenzaufnahmen, etwa der Bereich um Augen und Nase, oder die vollständigen Pro-Referenzaufnahmen für einen Vergleich mit den Bildaufnahmen verwendet werden, um die Erfolgsquote zu erhöhen.Finally, too Parts of the reference shots, such as the area around the eyes and nose, or the complete Pro reference shots for one Comparison with the image taken used to the success rate to increase.

Analog zu Pro-Referenzaufnahmen können auch Contra-Referenzaufnahmen von dem Kopf des Probanden gemacht und in der Datenverarbeitungseinrichtung gespeichert werden, wobei der Proband seinen Blick während der Contra-Referenzaufnahmen auf unterschiedliche Punkte außerhalb des Beobachtungsbereiches richtet. Durch solche Contra-Referenzaufnahmen kann für jeden Probanden exakt ermittelt und berücksichtigt werden, welche Abweichungen der Kreisform gerade nicht mehr toleriert werden dürfen. Ferner können auch die Contra-Referenzaufnahmen teilweise oder vollständig für einen Vergleich mit den Bildaufnahmen verwendet werden, um die Erfolgsquote weiter zu erhöhen. Dies kann kumulativ oder alternativ zu einer Berücksichtigung der Pro-Referenzaufnahmen erfolgen.Analogous too Pro reference shots can also Contra-reference shots made by the subject's head and be stored in the data processing device, wherein the Test person his look while the contra reference shots on different points outside of the observation area. By such contra reference recordings can for Each subject is exactly determined and taken into account, which deviations the circular form just can not be tolerated anymore. Further can also the contra reference shots partially or completely for a comparison used with the image captures to further the success rate to increase. This may be cumulative or alternative to taking into account the Pro reference recordings respectively.

Besonders bevorzugt wird im Rahmen der mit der Datenverarbeitungseinrichtung durchgeführten Analyse überprüft, ob ein mindestens eine schwarze im Wesentlichen kreisförmige Fläche umfassender Bereich der Bildaufnahme im Wesentlichen mit einem Bereich einer Referenzaufnahme übereinstimmt. Eine solche Überprüfung ist besonders zeitsparend, da nur hochrelevante Bereiche der Aufnahmen miteinander verglichen werden.Especially is preferred in the context of the with the data processing device conducted Analysis checks if a at least one black substantially circular area comprising area of Image acquisition substantially coincides with a region of a reference image. Such a review is especially time-saving, as only highly relevant areas of the recordings compared with each other.

Wenn zur Durchführung des erfindungsgemäßen Verfahrens als Kamera eine Digitalkamera verwendet wird, liegen die Aufnahmen unmittelbar in digitaler Form vor und können ohne weiteren Zeitverlust analysiert werden.If to carry out the method according to the invention when the camera is a digital camera is used, the pictures are directly in digital form and can without further loss of time to be analyzed.

Wenn der Proband an einem festgelegten Ort positioniert wird und wenn die Kamera auf diesen Ort ausgerichtet und in ihrer Position fixiert wird, können viele gleich bleibende Daten bereits in der Kamera oder der Analysevorrichtung vorgespeichert werden. Zu diesen Daten zählt beispielsweise ein Referenzfaktor, welcher das Verhältnis zwischen einem Maß auf der Bildaufnahme und dem realen Maß eines Objektes für einen vorgegebenen Abstand zwischen Kamera und Objekt angegeben wird. Die Anordnung eines Referenzobjektes kann daher bei dieser Ausführungsvariante entfallen.If the subject is positioned at a specified location and if the camera aligned with this location and fixed in position will, can many consistent data already in the camera or analyzer be pre-stored. These data include, for example, a reference factor, which the ratio between a measure the image capture and the real measure of an object for a specified distance between camera and object is specified. The arrangement of a reference object can therefore in this embodiment omitted.

Der Proband kann gemäß einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens auf einem Sitz für ein Kraftfahrzeug gesetzt werden, wobei als Beobachtungsbereiche Bedienelemente und/oder eine Anzeige ausgewählt werden. Die Anzeige kann insbesondere zur Darstellung einer simulierten Fahrsimulation verwendet werden, und die Bedienelemente können Instrumente und Schalter eines Fahrzeugcockpits verwendet werden. Sofern die Größe der Bedienelemente ausreicht, um diese mit einer Kamera zu versehen oder um diese selbst vollständig oder teilweise als Kamera zu gestalten, kann die Kamera in den Beobachtungsbereich selbst angeordnet werden.Of the Subject can according to a particularly preferred embodiment the method according to the invention on a seat for a motor vehicle are set, being used as observation areas controls and / or an ad selected. In particular, the display can be used to display a simulated Driving simulation can be used, and the controls can be instruments and Switch of a vehicle cockpit can be used. Unless the size of the controls is sufficient to provide these with a camera or these themselves Completely or partially as a camera shape, the camera can in the observation area to be arranged by yourself.

Die Erfindung zeigt sich auch an einem auf einer Datenverarbeitungseinrichtung ausführbaren Computerprogrammprodukt zur Analyse von in digitaler Form vorliegenden Bildaufnahmen daraufhin, ob ein Proband seinen Blick während einer Bildaufnahme auf die Kamera oder auf einen unmittelbar in der Umgebung der befindlichen Beobachtungsbereich gerichtet hat. Das Computerprogrammprodukt weist ein Augenanalysemodul sowie ein Konfigurationsmodul auf. Mit dem Augenanalysemodul kann eine Bildaufnahme auf im Wesentlichen kreisförmige schwarze Flächen mit einem Durchmesser zwischen 1 und 10 mm hin analysiert werden. Mit dem Konfigurationsmodul ist definierbar, in welchem Maße Abweichungen von der Kreisform zulässig sind, damit Flächen von dem Analysemodul als im Wesentlichen kreisförmige Flächen erkannt werden. Die Definition, in welchem Maße Abweichungen von der Kreisform zulässig sind, mit Hilfe des Konfigurationsmoduls kann beispielsweise dadurch erfolgen, dass definiert wird, welches Verhältnis von maximalem zu minimalem Durchmesser bei einem „Kreis" toleriert wird. Es können auch elliptische Flächenformen vorgegeben werden, welche toleriert werden sollen. Ferner können alternativ oder kumulativ Pro- und/oder Contra-Referenzaufnahmen zur Verfügung gestellt werden, welche mit der Bildaufnahme verglichen werden.The invention is also evident in one a data processing device executable computer program product for the analysis of digital image recordings to determine whether a subject has his eyes during an image capture on the camera or on a directly in the vicinity of the observation area located. The computer program product has an eye analysis module and a configuration module. With the eye analysis module, an image acquisition can be analyzed for substantially circular black areas with a diameter between 1 and 10 mm. The configuration module can be used to define the extent to which deviations from the circular shape are permissible, so that surfaces are recognized by the analysis module as substantially circular surfaces. The definition of the extent to which deviations from the circular shape are permissible, with the aid of the configuration module, can be achieved, for example, by defining what ratio of maximum to minimum diameter is tolerated for a "circle." Elliptical surface shapes can also be specified Furthermore, alternative or cumulative pro- and / or contra reference recordings can be made available, which are compared with the image recording.

Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen sowie aus der Beschreibung im Zusammenhang mit den Zeichnungen.Further yield advantageous embodiments and refinements of the invention from the dependent claims as well as from the description in connection with the drawings.

Es zeigt:It shows:

1 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform. 1 a flow diagram of a method according to the invention in a preferred embodiment.

Das in 1 gezeigte Ablaufdiagramm wird anhand eines in einem Fahrsimulator für Kraftfahrzeuge durchgeführten Verfahrens beschrieben, gemäß welchem festgestellt wird, ob ein Proband seinen Blick auf einen Beobachtungsbereich gerichtet hat. Gemäß diesem Verfahren wird zur Blickerfassung eines Probanden in einem Schritt S1 ein räumlich begrenzter Beobachtungsbereich festgelegt. Ein solcher Beobachtungsbereich kann beispielsweise das Display und das Bedienfeld eines Navigationssystems in einem Kraftfahrzeugcockpit sein.This in 1 The flowchart shown is described with reference to a method performed in a driving simulator for motor vehicles, according to which it is determined whether a subject has his gaze directed to an observation area. According to this method, a spatially limited observation area is determined in a step S1 for the gaze detection of a subject. Such an observation area can be, for example, the display and the control panel of a navigation system in a motor vehicle cockpit.

In einem zweiten Schritt S2 wird dann in dem Beobachtungsbereich selbst oder in unmittelbarerer Umgebung eine Digitalkamera angeordnet. Dies kann beispielsweise dadurch erfolgen, dass unmittelbar neben das als Beobachtungsbereich festgelegte Navigationssystem eine Kamera in eine Mittelkonsole eines Kraftfahrzeuginnenraumes integriert wird.In a second step S2 is then in the observation area itself or arranged in the immediate vicinity of a digital camera. This can be done, for example, by being immediately next to the navigation system defined as the observation area is a camera integrated into a center console of a motor vehicle interior becomes.

In einem dritten Schritt S3 werden Pro-Referenzaufnahmen von dem Kopf des Probanden gemacht und in einer externen Datenverarbeitungseinrichtung, welche vorliegend ein Personalcomputer (PC) ist, gespeichert. Wäh rend der Pro-Referenzaufnahmen richtet der Proband seinen Blick auf unterschiedliche Punke innerhalb des Beobachtungsbereiches, so dass aufgrund der Pro-Referenzaufnahmen ermittelbar ist, welche Abweichungen die Pupille des Probanden von der Kreisform aufweist, wenn der Proband seinen Blick in den Beobachtungsbereich richtet. Dazu sind insbesondere solche Pro-Referenzaufnahmen von Interesse, während welcher der Proband seinen Blick auf Außengrenzen des Beobachtungsbereiches richtet.In a third step S3 becomes pro-reference shots of the head of the subject and in an external data processing device, which in the present case is a personal computer (PC) stored. During the Pro reference shots, the subject's attention to different Punke within the observation area, so due to the Pro reference recordings can be determined, which deviations the pupil of the Subjects of the circular shape exhibited when the subject's gaze directed into the observation area. These are in particular such Pro reference shots of interest, during which the subject his View of external borders of the observation area.

Analog zu Schritt S3 werden in einem Schritt S4 Contra-Referenzaufnahmen gemacht, während derer der Proband seinen Blick auf unterschiedliche Punkte außerhalb des Beobachtungsbereiches, insbesondere in der unmittelbaren Umgebung des Beobachtungsbereiches gerichtet hat. Die Contra-Referenzaufnahmen werden ebenfalls in dem PC gespeichert.Analogous to step S3, in a step S4, contra reference pictures are taken made while his the subject's gaze on different points outside the observation area, especially in the immediate vicinity has directed the observation area. The Contra reference shots are also stored in the PC.

In einem weiteren Schritt S5 wird mit der Digitalkamera eine Bildaufnahme gemacht, wobei eine Periodendauer t einstellbar ist, nach welcher der Schritt S5 wiederholt wird, bis eine Beobachtungszeitraum T beendet ist. In dem vorliegenden Beispiel ist eine Periodendauer von t = 20 ms gewählt.In a further step S5 is an image recording with the digital camera made, with a period t is adjustable, according to which the step S5 is repeated until an observation period T finished. In the present example is a period chosen from t = 20 ms.

Jede durch den Schritt S5 erstellte Bildaufnahme wird in einem Schritt S6 an den PC übermittelt und mit Hilfe eines Computerprogrammproduktes insoweit graphisch analysiert, als ermittelt wird, wie viele schwarze, im Wesentlichen kreisförmige Flächen mit einem Durchmesser zwischen 1 und 10 mm die Bildaufnahme aufweist, wobei als Durchmesser der reale Durchmesser der jeweiligen Fläche bezeichnet ist.each image acquisition created by step S5 becomes one step S6 transmitted to the PC and graphically analyzed with the help of a computer program product as is determined how many black, substantially circular areas with a diameter between 1 and 10 mm has the image recording, wherein the diameter of the real diameter of the respective surface is designated.

Die vorliegend verwendete Kamera ist dazu ausgebildet, den Abstand von schwarzen, im Wesentlichen kreisförmigen Fläche zu ermitteln und auf der Grundlage des ermittelten Abstandes und der Größe des jeweiligen Objektes auf der Bildaufnahme die realen Maße der jeweiligen Fläche zu bestimmen. Diese Informationen stehen also unmittelbar zur Verfügung. Aufgrund dieser Informationen wird zunächst eine Vorauswahl von schwarzen Flächen getroffen, welche innerhalb eines von der Digitalkamera aus bemessenen Entfernungsbereiches von 0,1 bis 1,5 m erfasst wurden. Dies ist der Bereich, in welchem ein Proband seinen Kopf typischerweise bewegt, um das Navigationssystem zu bedienen. Andere schwarze Flächen auf der Bildaufnahme werden nicht berücksichtigt.The Camera used here is designed to reduce the distance from to determine black, essentially circular area and on the Basis of the determined distance and the size of the respective object to determine the real dimensions of the respective surface on the image acquisition. These Information is thus immediately available. Because of this information becomes first one Preselection of black areas which are within a dimensioned by the digital camera Distance range of 0.1 to 1.5 m were recorded. This is the area in which a subject typically moves his head, to operate the navigation system. Other black areas on the image acquisition are not considered.

Die in Schritt S6 festgestellten schwarzen, im Wesentlichen kreisförmigen Flächen sind die Ausgangsbasis für weitere Analysen, welche in den nachfolgenden Schritten S7, S8 und S9 unabhängig voneinander durchgeführt werden.The black, substantially circular surfaces detected in step S6 are the off basis for further analyzes, which are carried out independently of each other in the following steps S7, S8 and S9.

In Schritt S7 wird der Abstand der Mittelpunkte aller schwarzen, im Wesentlichen kreisförmigen Flächen ermittelt, sofern mehr als eine Fläche ermittelt wurde. Für den Fall, dass aufgrund der Versuchsdurchführung bekannt ist, dass nur ein Proband von der Kamera erfasst werden kann und dass genau zwei schwarze, im Wesentlichen kreisförmige Flächen ermittelt wurden, kann eine Plausibilitätskontrolle erfolgen. Denn die zwei Flächen können nur dann die Pupillen eines Augenpaares sein, wenn deren Abstand zwischen 50 mm und 70 mm beträgt. Ist der Abstand größer oder kleiner, handelt es sich nicht um ein Augenpaar, und es muss eine Auswahl einer Fläche getroffen werden. Das gleiche gilt, wenn mehr als zwei Flächen ermittelt wurden und der Abstand zwischen keiner von zwei Flächen zwischen 50 mm und 70 mm beträgt.In Step S7 will be the distance of the centers of all black, im Determined essentially circular areas, provided more than one area was determined. For the case that is known due to the experimentation that only a subject can be detected by the camera and that exactly two black, essentially circular surfaces a plausibility check can be carried out. Because the two surfaces can only be the pupils of a pair of eyes, if their distance between 50 mm and 70 mm. Is the distance larger or Smaller, it is not a pair of eyes, and it has to be one Selection of a surface to be hit. The same applies if more than two surfaces determined were and the distance between any two surfaces between 50 mm and 70 mm.

In Schritt S8 wird die Bildaufnahme daraufhin überprüft, ob die Bildaufnahme in einem sich um den Mittelpunkt einer ermittelten schwarzen, im Wesentlichen kreisförmigen Fläche erstreckenden kreisförmigen Bereich mit einem Durchmesser von 30 mm mindestens eine im Wesentlichen weiße Fläche aufweist. Mit dieser Überprüfung erfolgt eine zusätzliche Kontrolle, ob es sich bei der ermittelten schwarzen, im Wesentlichen kreisförmigen Fläche um ein menschliches Auge oder um ein sonstiges Objekt handelt. Nur wenn in dem vorstehend genannten Bereich mindestens eine im Wesentlichen weiße Fläche ermittelbar ist, wird die ermittelte schwarze, im Wesentlichen kreisförmige Fläche als menschliches Auge angesehen.In Step S8, the image capture is checked to see if the image acquisition in one around the center of a detected black, essentially circular area extending circular Area with a diameter of 30 mm at least one substantially white area having. With this review done an additional control, whether the determined black, essentially circular surface is a human one Eye or any other object. Only if in the above at least one substantially white area can be determined is, the determined black, substantially circular area than viewed human eye.

In Schritt S9 erfolgt ein Vergleich der jeweiligen Bildaufnahme mit den bereits vorliegenden Pro- bzw. Contrareferenzaufnahmen. Durch einen solchen Vergleich stehen auf die jeweiligen Versuchsbedingungen angepasste Referenzen zur Verfügungen, mit welchen insbesondere die Toleranzen für das Schwarz der schwarzen, im Wesentlichen kreisförmigen Fläche und für das Weiß des mindestens einen weißen Bereichs gut konfigurierbar sind. Wenn ein besonders leistungsfähiger PC zur Verfügung steht, kann ein Einzelvergleich jeder Bildaufnahme mit sämtlichen Pro- und/oder Contrareferenzaufnahmen erfolgen, um auf der Grundlage von Vergleichen zu ermitteln, ob der Proband seinen Blick in den Beobachtungsbereich gerichtet hat oder nicht.In Step S9 is followed by a comparison of the respective image acquisition the already existing reference or contrast reference recordings. By Such a comparison is based on the respective experimental conditions customized references for disposals, with which in particular the tolerances for the black of the black, essentially circular area and for the white of the at least one white Range are well configurable. If a particularly powerful PC to disposal stands, can a single comparison of each image capture with all Pro and / or Contrareferenzaufnahmen done on the basis By comparing to determine whether the subject's gaze in the Observation area or not.

Wenn eine Analyse mit geringen technischen Mitteln erfolgen soll, können die Referenzaufnahmen dazu genutzt werden, Toleranzen aufgrund der Referenzaufnahmen vorzugeben, beispielsweise Toleranzen für Graustufen und/oder die Form von zu berücksichtigenden schwarzen, im Wesentlichen kreisförmigen Flächen.If An analysis should be carried out with little technical means, the Reference recordings are used, tolerances due to the reference recordings specify, for example, tolerances for grayscale and / or the shape from to be considered black, substantially circular surfaces.

Im Schritt S10 werden die in den Schritten S7, S8 und S9 ermittelten Informationen zusammengeführt und für ein endgültiges Ergebnis ermittelt, ob der Proband seinen Blick zum Zeitpunkt der Bildaufnahme in den Beobachtungsbereich gerichtet hat oder nicht. Nur wenn eine ermittelte schwarze, im Wesentlichen kreisförmige Fläche in allen Verfahrensschritten S6, S7, S8 und S9 als ein in den Beobachtungsbereich gerichtetes Auge eines Probanden ermittelt wurde, wird für die entsprechende Bildaufnahme der Blick als „in den entsprechenden Beobachtungsbereich gerichtet" gespeichert.in the Step S10 is determined in steps S7, S8 and S9 Information merged and for a final one Result determines if the subject's gaze at the time of Focusing on the observation area or not. Only if a determined black, essentially circular area in all Process steps S6, S7, S8 and S9 as a in the observation area directed eye of a subject is determined for the corresponding Image shot of the look as "in the corresponding observation area "stored.

Es können auch mehrere Beobachtungsbereiche gleichzeitig ausgewählt werden. In diesem Fall bietet es sich an, jede Bildaufnahme wie vorstehend beschrieben für den dazugehörigen Beobachtungsbereich separat auszuwerten und dann in einem weiteren Schritt (nicht dargestellt) zu überprüfen, dass für jeden Zeitpunkt nur ein Beobachtungsbereich ausgewählt wird. Falls mehrere Beobachtungsbereiche in Frage kommen, kann eine Auswahl beispielsweise aufgrund einer Erfolgswahrscheinlichkeit erfolgen.It can several observation areas can be selected simultaneously. In this case it makes sense to take every picture as described above for the associated To evaluate observation area separately and then in another Step (not shown) to check that for each When only one observation area is selected. If several observation areas For example, a selection may be due to a Probability of success.

Die im Zusammenhang mit 1 beschriebene Ausführungsvariante des erfindungsgemäßen Verfahrens ist lediglich beispielhaft und soll den Schutzbereich nicht einschränken. Das Verfahren ist in dem durch die Ansprüche vorgegebenen Rahmen beliebig veränderbar.The related to 1 described embodiment of the method according to the invention is merely exemplary and is not intended to limit the scope. The method can be changed as desired within the scope of the claims.

Claims

Method for detecting the gaze of a subject with which one can determine whether the test person his view of a Observation area, characterized by the following steps: a) It becomes a spatial limited observation area, b) in the observation area itself or in the immediate vicinity of the observation area a camera arranged, c) with the camera is at least one Picture taken, d) by means of a data processing device a graphical analysis of the image acquisition is performed and e) based on the graphic analysis, it is determined whether the subject his look while has directed the image capture in the observation area.

A method according to claim 1, characterized in that an observation period is determined, during which several image recordings are made at periodic intervals, wherein it is determined on the basis of the graphical analysis, at which times the test person his gaze in the Observation area.

Method according to claim 1 or 2, characterized that in the context of the analysis carried out with the data processing device for at least An image capture is determined, like many black ones, essentially circular Surfaces with a diameter between 1 and 10 mm has the image recording.

Method according to one of claims 1 to 3, characterized that in the context of the analysis carried out with the data processing device for at least an image shot of the distance between the centers of all black, im Essentially circular surfaces is determined.

Method according to one of claims 1 to 4, characterized that in the context of the analysis carried out with the data processing device for at least an image capture is checked, whether the image capture in a around the center of a black, essentially circular area extending circular Area with a diameter of about 30 mm at least one substantially white area having.

Method according to one of claims 1 to 5, characterized that in addition Pro reference shots made by the subject's head and in the data processing device are stored, wherein the Test person his look while the pro reference shots to different points within of the observation area.

Method according to one of claims 1 to 6, characterized that in addition Contra-reference shots made by the subject's head and be stored in the data processing device, wherein the Test person his look while the contra reference shots on different points outside of the observation area.

Method according to claim 6 or 7, characterized that is checked in the context of the analysis carried out with the data processing device, whether or not comprising at least one black substantially circular area Area of image acquisition essentially with an area of a Reference recording matches.

Method according to one of claims 1 to 8, characterized that a digital camera is used as a camera.

Method according to one of claims 1 to 9, characterized that the subject is positioned at a fixed location and that the camera is aligned and fixed on this place.

Method according to claim 10, characterized in that that the subject put on a seat for a motor vehicle is and as observation areas controls and / or a display selected become.

Executable on a data processing device Computer program product for analysis of digital form Imaging to determine if a subject's gaze is captured during an image capture on the camera or on an immediate location in the vicinity Observation area, characterized by an eye analysis module, by means of which an image recording on substantially circular black areas with a diameter between 1 and 10 mm can be analyzed as well as a configuration module by means of which is definable in which Dimensions deviations allowed by the circular shape are, so surfaces be recognized by the analysis module as substantially circular surfaces.

Computer program product according to claim 12, characterized characterized in that the eye analysis module is further adapted is, the distance between the determined substantially circular surfaces too determine.

Computer program product after 12 or 13, by characterized in that the eye analysis module is further adapted is to check the image capture to see if the center is around a black, substantially circular area extending circular area having a diameter of about 30 mm substantially white surfaces.

Computer program product according to one of claims 12 to 14, characterized in that the eye analysis module is a comparison module includes, which is adapted to reference images from a Memory retrieve and reference recordings with the recording or with selected ones Compare areas of recording.