DE102009002677A1

DE102009002677A1 - Blickfelderfassungseinheit sowie Verfahren zur automatisierten Blickdatenauswertung

Info

Publication number: DE102009002677A1
Application number: DE102009002677A
Authority: DE
Inventors: Christian Dr.-Ing. Lange; Martin Dipl.-Ing. Wohlfarter
Original assignee: ERGONEERS GmbH
Current assignee: ERGONEERS GmbH
Priority date: 2009-04-27
Filing date: 2009-04-27
Publication date: 2010-10-28

Abstract

Die Erfindung betrifft eine Blickfelderfassungseinheit (40) mit mindestens einer Blickfeldkamera (6), die das Blickfeld eines Benutzers (41) erfasst, und mindestens einem Marker (1, 10), der in der Umgebung angeordnet ist, wobei die Blickfeldkamera (6) mit diesem Marker (1, 10) zusammenwirkt. Erfindungsgemäß emittiert und/oder reflektiert der Marke (1, 10) Infrarotlich, wobei die Blickfeldkamera (6) dazu geeignet ist, dieses Licht zu erfassen. Des Weiteren betrifft die Erfindung ein Verfahren zur automatischen Blickdatenauswertung, insbesondere mit einer Blickfelderfassungseinheit (40), bei dem ein Aufmerksamkeitsanalysebereich (47) in der Umwelt identifiziert wird und eine Blickzuwendung eines Benutzers (41) auf den Aufmerksamkeitsanalysebereich (47) erkannt wird, wobei ein Marker (1, 10), der Infrarotlich emittiert und/oder reflektiert, von einer Blickfeldkamera (6) erkannt und die Lage des Aufmerksamkeitsanalysebereiches (47) in der Umwelt in Reverenz zum Marker (1, 10) berechnet wird.

Description

Die vorliegende Erfindung betrifft eine Blickfelderfassungseinheit mit mindestens einer Blickfeldkamera, die das Blickfeld eines Benutzers erfasst, und mindestens einem Marker, der in der Umgebung angeordnet ist, wobei die Blickfeldkamera mit diesem Marker zusammenwirkt sowie ein Verfahren zur automatischen Blickdatenauswertung, insbesondere mit einer Blickfelderfassungseinheit, bei dem ein Aufmerksamkeitsanalysebereich in der Umwelt identifiziert wird und eine Blickzuwendung eines Benutzers auf den Aufmerksamkeitsanalysebereich erkannt wird.
Bekannt sind Blickerfassungssysteme, die das Ziel haben das Blickverhalten eines Benutzers zu erfassen. Mit ihnen können Blickhäufigkeiten und Blickdauern auf bestimme Bereiche in der Umgebung gemessen werden. Diese Blickdaten geben Aufschluss über die Aufmerksamkeitsbindung eines Gegenstands in der Umgebung. Somit können beispielsweise im Rahmen von Probandenversuchen objektive Aussage über das Ablenkungspotenzial technischer Systeme sowie über die Attraktivität eines Gegenstandes getroffen werden. Ein wesentliches Problem solcher Systeme besteht darin, dass die Blickdatenauswertung nicht automatisiert und in Echtzeit erfolgt, sondern das Blickverhalten in einem sehr zeitaufwendigen Verfahren in einem nachgelagerten Prozess manuell analysiert werden muss. Hierbei wird nachträglich das während der Versuche aufgezeichnete Video stark verlangsamt von einer auswertenden Person analysiert, die manuell jede erkannte Blickzuwendung des Benutzers auf einen zuvor definierten Aufmerksamkeitsanalysebereich triggert. Dieses Verfahren ist sehr zeitaufwendig und teuer.
Aus der US 2006/0109238 A1 ist ein Blickerfassungssystem bekannt, dass den Blick eines Benutzers in Bezug auf ein Display erkennen kann. Des wei teren umfasst die Erfindung eine Bildauswahlvorrichtung, die basierend auf der Blickzuwendungsdauer des Benutzers ein bestimmtes Bild auf dem Display erkennen kann und die Blickdauer abspeichert. Nachteilig hierbei ist, dass die Blickerfassung ausschließlich auf das Display reduziert ist. Des weiteren wird dieses Blickerfassungssystem ausschließlich in geschlossenen Räumen, insbesondere einem Operationssaal, unter kontrollierbaren Lichtverhältnissen verwendet. Schlechte Lichtverhältnisse stellen folglich ein wesentliches Problem dar, so dass der zu analysierende Aufmerksamkeitsanalysebereich nur unzuverlässig vom Blickerfassungssystem erkannt wird. Dies hat diverse Messaussetzer zur Folge, so dass die Blickdatenanalyse fehlerhaft bzw. invalide wird.
Aufgabe der vorliegenden Erfindung ist es eine Blickfelderfassungseinheit sowie ein Verfahren zu schaffen, um schnell und zuverlässig, selbst bei schlechten Rahmenbedingungen, wie beispielsweise Dunkelheit, Dämmerung, starke Sonneneinstrahlung, Blendung oder stark und schnell schwankenden Lichtverhältnissen, eine robuste automatische Blickanalyse in einem sehr großen Benutzerumfeld zu gewährleisten. Des weiteren soll eine Vorrichtung sowie ein Verfahren geschaffen werden, um sowohl statische als auch dynamische Gegenstände in der Umwelt erfassen zu können.
Die Aufgabe wird gelöst, durch eine Blickfelderfassungseinheit sowie durch ein Verfahren zur automatischen Blickdatenauswertung mit den Merkmalen der unabhängigen Patentansprüche.
Erfindungsgemäß weist die Blickfelderfassungseinheit mindestens eine Blickfeldkamera, die das Blickfeld eines Benutzers erfasst, und mindestens einen Marker, der in der Umgebung angeordnet ist, auf, wobei die Blickfeldkamera mit dem Marker zusammenwirkt. Der Marker und die Blickfeldkamera sind des weiteren dadurch charakterisiert, dass der Marker Infrarotlicht emittiert und/oder reflektiert sowie die Blickfeldkamera dazu geeignet ist, dieses emittierte und/oder reflektierte Infrarotlicht zu erfassen. Der wesentliche Vorteil des infrarotlichtemittierenden und/oder -reflektierenden Markers besteht darin, dass er unabhängig von den vorherrschenden Lichtverhältnissen zuverlässig von der Blickfeldkamera erkannt wird. Aufgrund dessen eignet er sich hervorragend für den Einsatz bei schlechten Rahmenbedingungen, wie beispielsweise Dunkelheit, Dämmerung, starke Sonneneinstrahlung, Blendung oder stark und schnell schwankenden Lichtverhältnissen.
Derartig schlechte Untersuchungsbedingungen sind beispielsweise in einem Fahrsimulator oder einem Realfahrzeug zu finden. Bei Ersterem ist die Umgebungshelligkeit so gering, dass gewöhnliche Marker nur sehr schlecht von der Blickfeldkamera erfasst werden können. Dies hat häufige Messaussetzer zur Folge, so dass die durch die Blickfelderfassungseinheit gewonnen Blickdaten fehlerhaft und somit unzuverlässig sind. Durch den infrarotlichtemittierenden und/oder -reflektierenden Marker wird trotz schlechter Lichtverhältnisse genügend Licht in einem vom menschlichen Auge nicht wahrnehmbaren Wellenlängenspektrum von mehr als ca. 750 nm reflektiert, bzw. emittiert, so dass die Blickfeldkamera, die zur Erfassung dieses Infrarotlichts geeignete ist, problemlos den Marker in der Umwelt erkennt.
Auch im Realfahrzeug stellen schlechte Lichtverhältnisse, wie sie insbesondere nachts vorzufinden sind, kein Problem für den infrarotlichtemittierenden und/oder -reflektierenden Marker dar. Selbst Blendungen durch entgegenkommende Fahrzeuge beeinträchtigen die automatische Markererkennung nicht, da sich das vom Marker reflektierte und/oder emittierte Infrarotlicht hinsichtlich des verwendeten Wellenlängenspektrums merklich vom Scheinwerferlicht des entgegenkommenden Fahrzeugs unterscheidet und somit der infrarotlichtemittierende und/oder -reflektierende Marker von der Blickfeldkamera zuverlässig erkannt wird.
Aber auch am Tage können insbesondere im Realfahrzeug Lichtverhältnisse vorherrschen, bei denen bisherige Blickerfassungssysteme an ihre Grenzen stoßen. Die Rede ist von plötzlich eintretenden Leuchtdichteschwankungen, wie sie beispielsweise bei einer Fahrt durch eine Baumallee vorzufinden sind. Konventionelle Kameras, die in der Regel als Blickfeldkamera verwendet werden, können ihre Blende nicht schnell genug adaptieren, so dass gewöhnliche Marker nur mit unzureichender Zuverlässigkeit erkannt werden. In Abhängigkeit des infrarotlichtemittierenden und/oder -reflektierenden Markers kann die Blickfeldkamera so spezifiziert werden, dass sie insbesondere in dem vom Marker reflektierten und/oder emittierten Infrarotlichtspektrum empfindlich ist und das charakteristische Lichtspektrum der Störquellen dämpft oder völlig herausgefiltert. Somit ist eine zuverlässige Markerdetektion gewährleistet.
Ein weiterer Vorteil des infrarotlichtemittierenden und/oder -reflektierenden Markers besteht darin, dass er unabhängig von den Lichtverhältnissen überall in der Umgebung angebracht werden kann. Hierbei spielt es keine Rolle, ob es sich um einen statischen oder dynamischen Gegenstände handelt, so dass in einem sehr großen Benutzerumfeld eine sehr robuste automatische Blickanalyse gewährleistet ist.
Die Grundprämisse im Rahmen von experimentellen Untersuchungen besteht darin, den Probanden möglichst wenig vom eigentlichen Geschehen abzulenken. Insbesondere durch Versuchsaufbauten oder Messeinrichtungen besteht die Gefahr einer ungewollten Probandenablenkung und einer daraus resultierenden Ergebnisverfälschung. Ein Vorteil des infrarotlichtreflektierenden und/oder -emittierenden Markers besteht darin, dass er in einer besonders bevorzugten Ausprägung ausschließlich Licht in einem Wellenlängenspektrum von mehr als ca. 750 nm reflektiert bzw. emittiert. Die im Blickfeld des Benutzers angebrachten Marker können somit vom menschlichen Auge nicht wahrgenommen werden, so dass eine Ablenkung des Probanden weitgehend ausgeschlossen werden kann. Andererseits werden sie jedoch zuverlässig von der Blickfeldkamera erkannt, so dass darauf basierend eine robuste automatisierte Blickdatenauswertung erfolgen kann.
Besonders vorteilhaft ist es, wenn der Marker eine definierte Form aufweist, die in der Umgebung von einer Bildverarbeitungssoftware zu erkennen ist. Somit ist eine sehr gute Markererkennung gewährleistet, da die Bildverarbeitungssoftware die Umgebung ausschließlich nach der definierten Form des Markers analysiert und folglich davon abweichende Objektformen von der Analyseentscheidung ausschießen kann. Vorteilhafterweise resultiert hieraus eine sehr schnelle automatisierte Markererkennung.
Ebenso ist es vorteilhaft, wenn die definierte Form kantig ist, da dies die Markererkennung in der Umgebung durch die Verwendung eines Kantenfilters im Rahmen der Bildverarbeitungssoftware stark erleichtert.
Alternativ ist es vorteilhaft, wenn die definierte Form rund ist, da natürliche Gegenstände in der Umgebung meist eine davon abweichende Form aufweisen, so dass eine Verwechslung weitestgehend ausgeschlossen ist. Somit ist auch in diesem Fall eine robuste automatisierte Markerdetektion anhand einer entsprechend ausgelegten Bildverarbeitungssoftware einfacher zu realisieren.
Ist die definierte Form symmetrisch, so können vorteilhafterweise alle unsymmetrischen Objekte in der Umgebung für die automatisierte Markerdetektion ausgeschlossen werden. Hierdurch wird erneut der erlaubte Freiraum der definierten Form reduziert, so dass die automatisierte Markerdetektion durch die Bildverarbeitungssoftware schneller und robuster wird.
Besonders vorteilhaft ist es, dass mehrere Marker unterschiedlich definierte Formen aufweisen, so dass sie von der Bildverarbeitungssoftware anhand der definierten Form unterschieden werden können. Durch diese Formkodierung können auch mehrere Marker in der Umgebung angebracht werden, da die Bildverarbeitungssoftware hierdurch feststellen kann, um welchen Marker es sich in der Umgebung handelt und wo er sich in der Umgebung befindet.
In Abhängigkeit des Anwendungsumfeldes ist es vorteilhaft, wenn der Marker steif oder flexibel ist. Insbesondere bei einer Blickdatenanalyse eines flexiblen Dokumentes, hat ein flexibler Marker entscheidende Vorteile, da er sich an die beim Halten oder Umblättern auftretenden Formungen des Dokumentes anpasst. Der Proband wird somit in seinem Leseverhalten nicht negativ beeinflusst, so dass während der Blickdatenanalyse mit validen Ergebnissen zu rechnen ist.
Ebenso ist es vorteilhaft einen flexiblen Marker bei Freiformflächen zu verwenden, da er sich an die gegebene Objektoberfläche anpasst. Hierbei ist es des weiteren vorteilhaft, wenn die Rückseite des flexiblen Markers mit Kleber beschichtet ist, so dass er mit einem Objekt in der Umgebung wiederentfernbar oder irreversibel verklebt werden kann.
Alternativ ist es vorteilhaft, wenn der Marker steif ist, da somit die Oberfläche in Bezug zur Blickrichtung des Benutzers annähernd lotrecht ausgerichtet werden kann, so dass eine ideale Reflektion bzw. Emission von Infrarotlicht vorzufinden ist. Des weiteren finden im Falle eines steifen Markers keine Verformung der definierten Form und/oder des definierten Musters statt, so dass eine zuverlässige automatisierte Markerdetektion weitgehend gewährleistet ist.
Weist der Marker mindestens einen Infrarotlichtbereich, der Infrarotlicht reflektiert und/oder -emittiert, und mindestens einen Absorptionsbereich auf, der Infrarotlicht absorbiert, so hat dies den Vorteil, dass unabhängig von der definierten Form des Markers eine für die Blickfeldkamera erfassbare abweichende Form realisiert werden kann. Besitzt der Marker beispielsweise eine definierte Form, die quadratisch ist, so erfasst die infrarotempfindliche Blickfeldkamera eine davon abweichende Form, wenn der Infrarotlichtbereich beispielsweise ein Kreis ist und zugleich der Absorptionsbereich die Negativform bildet.
Besonders vorteilhaft ist es, wenn der Infrarotlichtbereich an den Absorptionsbereich angrenzt. Somit wird ein sehr guter Kontrastwert erzeugt, der die Erkennbarkeit des Markers durch die Blickfeldkamera begünstigt.
Bevorzugt ist es, wenn der Marker ein definiertes Muster aufweist, das durch die Anordnung mindestens eines Infrarotlichtbereiches zu mindestens einem Absorptionsbereich entsteht und von der Blickfeldkamera erfasst werden kann. Somit ist es möglich mehrere Marker mit identischer definierter Form zu verwenden, da sie von der Bildverarbeitungssoftware durch das individuelle definierte Muster differenziert werden können.
Besonders vorteilhaft ist es, wenn das definierte Muster kantig und/oder rund ist. In beiden Fällen ist eine besonders zuverlässige Markerdetektion durch die Bildverarbeitungssoftware gewährleistet.
Ebenso ist es vorteilhaft, wenn der Infrarotlichtbereich mit einem infrarotlichtreflektierenden Material beschichtet ist, da somit insbesondere in demjenigen Wellenlängenspektrum Licht reflektiert wird, das der Benutzer mit seinen Augen nicht wahrnehmen kann und zugleich von der Blickfeldkamera besonders gut erfasst wird.
Besonders vorteilhaft ist es, wenn der Infrarotlichtbereich mit einer infrarotlichtreflektierenden Klebefolie beklebt ist, da somit insbesondere die Herstellungskosten des infrarotlichtreflektierenden Markers stark reduziert werden können.
Insbesondere bei stark reduzierten Lichtverhältnissen ist es besonders vorteilhaft, wenn der Marker eine Beleuchtung, insbesondere eine Infrarot-LED aufweist, die Infrarotlicht emittiert. Durch dieses aktive Emittieren von Infrarotlicht hebt sich der Marker im Vergleich zur Umgebung, unsichtbar für das menschliche Auge jedoch hervorragend erkennbar für die Blickfeldkamera, besonders stark von der Umgebung ab. Infolgedessen wird eine automati sche Markererkennung durch die Bildverarbeitungssoftware begünstigt. Des weiteren stellt die Beleuchtung des Markers mittels einer LED eine besonders stromspaarende Methode da.
Im Weiteren ist es vorteilhaft, wenn der Marker aus lichtdurchlässigem Material, insbesondere Plexiglas oder Klarsichtfolie, besteht, da somit sehr einfach und kostengünstig eine flächige Beleuchtung des Marker realisiert werden kann. Aufgrund des lichtdurchlässigen Materials genügt lediglich eine Lichtquelle, insbesondere eine Infrarot-LED, um den gesamten Marker oder aber auch nur Teilbereiche zu beleuchten. Hierfür ist es vorteilhaft die Infrarotbeleuchtung, insbesondere die Infrarot-LED, auch mit optischen Elementen, wie beispielsweise Spiegeln, Linsen, Prismen, Diffusern und/oder Milchglasscheiben, zu kombinieren, um eine möglichst effiziente und homogene Ausleuchtung des Markers zu bewirken.
Eine solch flächige Beleuchtung des Markers hat wiederum den Vorteil, dass er auch auf größere Entfernungen gut von der Blickfeldkamera erfasst werden kann. Des weiteren können durch die flächige Beleuchtung des Markers viele unterschiedliche definierte Formen des Markers realisiert werden, die von der Blickfeldkamera erkannt werden können.
Ebenso ist es vorteilhaft, wenn der Marker eine Oberfläche aufweist, die im Absorptionsbereich lichtundurchlässig ist. Somit kann bei einem flächig beleuchteten Marker ein definiertes Muster erzeugt werden.
Besonders vorteilhaft ist es, wenn der Absorptionsbereich mit einem lichtundurchlässigen Material beschichtet ist, da dies eine sehr einfache Herstellung gewährleistet.
Ebenso ist es vorteilhaft, wenn der Absorptionsbereich mit einer lichtundurchlässigen Folie beschichtet ist, da somit das definierte Muster des Markers sehr einfach und schnell variiert werden kann. Des weiteren hat die lichtun durchlässige Folie den Vorteil, dass die Herstellungskosten stark reduziert werden.
Besonders bevorzugt ist es, wenn der Marker ein Gitterraster aufweist, das durch die Blickfeldkamera erfasst werden kann. Hierdurch kann sehr schnell und exakt auf die Lage des Markers in Relation zur Blickfeldkamera zurückgeschlossen werden. Insbesondere in Kombination mit einem flexiblen Marker hat dieses Gitterraster den Vorteil, dass über die Verformung des Gitterrasters auf die Verformung des Markers bzw. des Gegenstandes auf dem der Marker angebracht ist zurückgeschlossen werden kann. Wird beispielsweise auf einem leichtverformbaren Gegenstand, insbesondere einem Blatt Papier, ein Marker mit Gitterraster angebracht, so kann die Bildverarbeitungssoftware anhand der unterschiedlich gekrümmten Linien des Gitterrasters darauf zurückschließen, wie das Blatt Papier im Dreidimensionalenraum liegt bzw. verformt ist. Basierend auf dieser ermittelten Lage bzw. Verformung sind somit in Relation zum Marker alle Positionen der auf dem Blatt befindlichen Aufmerksamkeitsanalysebereiche bekannt, so dass eine sehr genaue Blickdatenanalyse durchgeführt werden kann.
Ebenso ist es vorteilhaft, wenn der Marker eine Befestigungseinheit zum Anbringen an einem Gegenstand aufweist. Somit kann der Marker schnell und einfach an einer gewünschten Position bzw. an einem gewünschten Objekt in der Umgebung befestigt werden. Zur Anbringung an metallischen Gegenständen in der Umgebung ist es besonders bevorzugt, wenn die Befestigungseinheit des Markers magnetisch ist. Alternativ kann der Marker mit einem Gegenstand in der Umgebung auch über Kleben, Klemmen, Schrauben oder Nieten verbunden sein.
Vorteilhaft ist es, wenn die Befestigungseinheit einen Justiermechanismus aufweist, so dass der Marker, nachdem er an einem Objekt befestigt worden ist, exakt ausgerichtet werden kann und diese exakte Position mittels Justiermechanismus fixierbar ist.
Vorteilhaft ist es, wenn der Marker in der Umgebung an einem dynamischen Gegenstand, insbesondere einer Buchseite oder einem Scrollbereich, und/oder statischen Gegenstand angebracht ist. Hierdurch wird sowohl bei statischen als auch bei sehr dynamischen Umweltbedingungen eine zuverlässige automatisierte Blickdatenauswertung in Echtzeit und/oder zu einem späteren Zeitpunkt gewährleistet, da sich zu jedem Zeitpunkt zumindest ein Marker eines dynamischen und/oder dynamischen Objektes im Erfassungsbereich der Blickfeldkamera befindet und somit auf die relevanten Aufmerksamkeitsanalysebereiche geschlossen werden kann. Beispielsweise kann jede Seite eines Buches einen infrarotlichtemittierenden und/oder -reflektierenden Marker mit unterschiedlich definierten Formen und/oder definierten Mustern aufweisen, so dass die Blickfeldkamera beim Durchblättern des Buches in Abhängigkeit der definierten Form und/oder des definierten Musters des erfassten infrarotlichtemittierenden und/oder -reflektierenden Markers exakt weiß, welche Seite des Buches zum aktuellen Zeitpunkt vom Benutzer betrachtet wird, sowie welche Aufmerksamkeitsanalysebereiche sich auf dieser Seite in Relation zum infrarotlichtemittierenden und/oder -reflektierenden Marker befinden. Ebenso ist es beispielsweise bei der Interaktion mit einem elektronischen Dokument, insbesondere einem PDF-Dokument, Word-Dokument oder einer Internetseite, vorteilhaft, wenn sich beim Scrollen des elektronischen Dokuments mindestens ein infrarotlichtemittierender und/oder -reflektierender Marker fest verankert mit einer Zeile des elektronischen Dokuments mitbewegt und auf dem Bildschirm von der Blickfeldkamera erfassbar ist. Somit kann vorteilhafterweise darauf zurückgeschlossen werden, welcher Bereich des elektronischen Dokuments auf dem Bildschirm sichtbar ist und letztendlich vom Benutzer betrachtet wird.
Besonders vorteilhaft ist es, wenn die Blickfeldkamera an einem bewegten Objekt montiert ist, da somit in Abhängigkeit vom Erfassungsbereich der Blickfeldkamera auf die Orientierung des bewegten Objektes in der Umgebung zurückgeschlossen werden kann. Vorteilhafterweise ist somit kein zu sätzliches technisches System zur Ermittlung der Stellung des bewegten Objektes im Raum notwendig.
Diesbezüglich ist es besonders vorteilhaft, wenn das bewegte Objekt ein Rollstuhl ist. Wenn die Blickfeldkamera fest mit diesem Rollstuhl verbunden ist, kann über den von der Blickfeldkamera erfassten Bereich auf die Orientierung des Rollstuhls in der Umgebung zurückgeschlossen werden.
Alternativ dazu ist es vorteilhaft, wenn das bewegte Objekt ein Kopftragegestell ist. Hierbei kann in Abhängigkeit der Blickfeldkameraorientierung auf die Kopfposition zurückgeschlossen werden.
Besonders vorteilhaft ist es, wenn in diesem Fall die Blickfeldkamera am Kopftragegestell mittig zwischen den beiden Augen des Benutzers befestigt ist. Diese Position entspricht exakt der Mittelaugposition, so dass die von der Blickfeldkamera erfasste Szenerie äquivalent zum Blickfeld des Benutzers ist.
Vorteilhaft ist es, wenn die Blickfeldkamera eine nahinfrarotempfindliche Kamera ist. Somit kann der infrarotlichtemittierende und/oder -reflektierende Marker besonders gut von der Blickfeldkamera erfasst werden. Ist die Blickfeldkamera ausschließlich im Nahinfrarotlichtbereich empfindlich, so können vorteilhafterweise störende Blendungen, oder aber auch Störeinflüsse aufgrund stark wechselnder Beleuchtungsstärken hervorragend kompensiert werden.
Alternativ können selbstverständlich auch Blickfeldkameras verwendet werden, die sowohl im Nahinfrarotlichtbereich als auch im sichtbaren Wellenlängenspektrum empfindlich sind. In diesem Fall besteht der wesentliche Vorteil darin, dass die Blickfeldkamera nicht nur ein monochromatisches Videobild liefert, sondern die Szenerie im gesamten farblichen Spektrum erfasst wird.
Vorteilhaft ist es, wenn die Blickfeldkamera mindestens einen Filter aufweist, insbesondere einen Polarisationsfilter, so dass die Qualität des von der Blickfeldkamera erfassten Videobildes verbessert wird.
Des weiteren ist es vorteilhaft, wenn die Blickfeldkamera mit einer Augenkamera zusammenwirkt. Die Augenkamera zeichnet die Bewegungen des Auges auf, so dass in Kombination mit der Blickfeldkamera, die insbesondere die Information des Benutzerblickfeldes liefert, auf den Fixationsort rückgeschlossen werden kann.
Besonders vorteilhaft ist es, wenn auf dem bewegten Objekt eine Lichtquelle insbesondere eine Infrarotlichtquelle, montiert ist. Diese Lichtquelle kann zum einen so ausgerichtet sein, dass sie das von der Blickfeldkamera erfasste Umfeld bestrahlt. Das von der Lichtquelle emittierte Licht wird von den Gegenständen in der Umgebung reflektiert und kann von der Blickfeldkamera sehr gut erfasst werden. Besonders vorteilhaft ist es, wenn es sich bei dem emittierten Licht um Infrarotlicht handelt, da dieses von einem infrarotlichtreflektierenden Marker besonders stark reflektiert wird und somit hervorragend von der nahinfrarotempfindlichen Blickfeldkamera erfasst werden kann. Des weiteren ist dieses Infrarotlicht vom menschlichen Auge nicht wahrnehmbar, so dass der Benutzer die gleichen Lichtverhältnisse vorfindet wie ohne Blickfelderfassungseinheit und somit nicht negativ beeinflusst wird.
Ebenso ist es vorteilhaft, wenn eine Infrarotlichtquelle am bewegten Objekt so montiert ist, dass das Auge des Benutzers beleuchtet wird. Somit kann die Augenkamera das Auge des Benutzers mit einer sehr guten Qualität erfassen, ohne dabei den Benutzer zu blenden.
Vorteilhaft ist es, wenn die Augenkamera an dem Kopftragegestell befestigt ist, so dass selbst bei Kopfbewegungen eine zuverlässige Erfassung des Auges gewährleistet ist.
Alternativ dazu ist es ebenso vorteilhaft, wenn die Augenkamera an dem Rollstuhl befestigt ist, so dass die Augen und/oder der Kopf des Rollstuhlfahrers berührungslos erfasst werden kann. Insbesondere bei Rollstuhlfahrern, die ab der Halswirbelsäule gelähmt sind, kann der Kopf nur in einem minimalen Bereich bewegt werden, so dass bei einer am Rollstuhl befestigten Augenkamera relativ zuverlässig mindestens ein Auge des Rollstuhlfahrers erfasst werden kann. Somit kann auf den Fixationsort in der Umgebung zurückgeschlossen werden, indem das von der Augenkamera aufgezeichnete Video dem von der Blickfeldkamera aufgezeichneten Video überlagert wird. Der wesentliche Vorteil dieser Methode besteht darin, dass der Rollstuhlfahrer keine unkomfortable Brille und/oder Gestell auf seinem Kopf tragen muss, sondern die Augenkamera an einem beliebigen Punkt des Rollstuhls befestigt sein kann, um mindestens ein Auge des Rollstuhlfahrers zu erfassen.
Ebenso ist es vorteilhaft, wenn die Augenkamera eine Nahinfrarotkamera ist, da somit das Auge und/oder der Kopf des Benutzers mit Infrarotlicht, insbesondere einer Infrarot-LED, beleuchtet werden kann, so dass die Nahinfrarotkamera das Auge des Benutzer mit einer sehr guten Qualität erfassen kann. Ein weiterer Vorteil besteht darin, dass das Auge des Benutzers mit Infrarotlicht beleuchtet werden kann, ohne den Benutzer zu blenden, da das Infrarotlicht außerhalb des sichtbaren Wellenlängenspektrums liegt.
Besonders vorteilhaft ist es, wenn die Blickfeldkamera und die Augenkamera mit einem Blickdatenrechner über eine Blickdatenübertragungseinheit zusammenwirken, da somit eine automatisierte Blickdatenanalyse in Echtzeit und/oder zu einem späteren Zeitpunkt ermöglicht wird.
Besonders vorteilhaft ist es, wenn die Blickdatenübertragungseinheit ein Kabel oder einen Funksender und Funkempfänger umfasst. Das Kabel hat den entscheidenden Vorteil, dass es eine sehr robuste sowie kostengünstige Lösung zur Datenübertragung darstellt. Die aus einem Funksender und Funkempfänger bestehende Blickdatenübertragungseinheit hat im Gegensatz da zu den Vorteil, dass der Aktionsradius nicht lokal begrenzt ist, sondern ein sehr großer Aktionsradius realisiert werden kann. Somit ist eine sehr flexible Versuchsplanung sowie ein sehr großer Applikationsfreiraum gewährleistet.
Besonders vorteilhaft ist es, wenn das Funksignal mindestens zweimal empfangen wird. Die redundanten Signale können hinsichtlich ihrer Qualität überprüft werden, so dass immer das qualitativ hochwertigere Signal dem Blickdatenrechner zur Verfügung gestellt wird. Hierdurch wird eine sehr hohe Datenzuverlässigkeit gewährleistet. Die Daten können sowohl analog als auch digital übertragen werden, wobei die digitale Datenübertragung eine höhere Reichweite und Datenqualität gewährleistet.
Vorteilhaft ist es auch, wenn der Funksender am Kopftragegestell oder am Rollstuhl montiert ist. Hierdurch wird die Handhabung sowie der Komfort gesteigert, da sowohl beim Kopftragegestell als auch beim Rollstuhl eine kompakte Einheit vorliegt, die weder die Bewegungsfreiheit noch den Komfort beeinträchtigt.
Für einen rutschfesten und zugleich komfortablen Sitz des Kopftragegestelles am Kopf des Benutzers ist es besonders vorteilhaft, wenn das Kopftragegestell eine Stirnauflage, einen Nasenbügel und/oder ein Kopfband aufweist. Das Kopfband ist hierbei elastisch ausgeführt, so dass die Stirnauflage des Kopftragegestelles gegen die Stirn des Benutzers gedrückt wird. Als dritten Lagerungspunkt dient der Nasenbügel, der auf der Nase des Benutzers aufliegt. Durch diese Befestigung des Kopftragegestelles am Kopf des Benutzers wird ein stabiler und zugleich komfortabler Sitz gewährleistet. Ein weiterer wesentlicher Vorteil dieser Kopftragegestellausführung besteht darin, dass durch die Stirnauflage der Nasenbügel von schräg vorne auf der Nase abgestützt wird. Durch diese Anordnung können auch Brillenträger problemlos das Kopftragegestell tragen, ohne ihre Brille abnehmen zu müssen.
Ebenso ist es vorteilhaft, wenn die Infrarotbeleuchtung, insbesondere eine Infrarot-LED, am Kopftragegestell so angeordnet ist, dass das Auge eines Brillenträgers nicht durch das Brillenglas hindurch beleuchtet wird, sondern vorzugsweise von schräg unten und/oder von der Seite. Somit werden Reflexionen am Brillenglas vermieden, so dass das Auge des Benutzers sehr hell mit Infrarotlicht beleuchtet ist.
Des weiteren ist es vorteilhaft, wenn die Augenkamera am Kopftragegestell so angeordnet ist, dass das Auge eines Brillenträgers nicht durch das Brillenglas hindurch erfasst wird, sondern vorzugsweise von schräg unten und/oder von der Seite, so dass eine qualitativ hochwertige Augenerfassung gewährleistet ist.
Besonders vorteilhaft ist es, wenn das Kopftragegestell, die Blickfeldkamera, die Augenkamera, die Infrarotbeleuchtung, die Stirnauflage, der Nasenbügel und/oder das Kopfband einen stufenlosen und/oder gerasteten Verstellmechanismus aufweisen, so dass für weitgehend jeden Benutzer eine individuelle Anpassung des Kopftragegestells erfolgen kann.
In einem erfindungsgemäßen Verfahren zur automatischen Blickdatenauswertung, insbesondere mit einer Blickfelderfassungseinheit, wird ein Aufmerksamkeitsanalysebereich in der Umwelt identifiziert und eine Blickzuwendung eines Benutzers auf einen Aufmerksamkeitsanalysebereich erkannt. Hierzu wird ein Marker, der Infrarotlicht emittiert und/oder reflektiert, von einer Blickfeldkamera erkannt und die Lage mindestens eines Aufmerksamkeitsanalysebereiches in der Umwelt in Referenz zum Marker berechnet. Der Vorteil dieses Verfahrens zur automatischen Blickdatenauswertung besteht darin, dass nicht der Marker selbst der Aufmerksamkeitsanalysebereich in der Umwelt ist, sondern der Marker eine definierte Position in der Umwelt markiert, so dass in Referenz hierzu schnell und einfach mit einer entsprechenden Software zumindest ein Aufmerksamkeitsanalysebereich festgelegt und erkannt werden kann. Vorteilhafterweise können auch mehrere Auf merksamkeitsanalysebereiche in Referenz zu einem einzigen Marker festgelegt werden. Des weiteren ist vorteilhafterweise in Referenz zum automatisch erkannten infrarotlichtemittierenden und/oder -reflektierenden Marker die exakte Position der Blickfeldkamera sowie des Objektes an dem die Blickfeldkamera montiert ist im Raum bekannt. Im Weiteren zeichnet sich dieses Verfahren zur automatischen Blickdatenauswertung durch seine hohe Robustheit und somit Datenzuverlässigkeit aus. Indem der Marker Infrarotlicht emittiert und/oder reflektiert, kann er von der Blickfeldkamera schnell und zuverlässig erkannt werden, so dass Datenaussetzer weitestgehend ausgeschlossen sind.
Besonders vorteilhaft ist es, dass ein Augenfilm aufgezeichnet wird, wobei eine Augenkamera das Auge des Benutzers erfasst und eine Bildverarbeitungssoftware über einen Bildverarbeitungsalgorithmus die Pupille erkennt. Hierüber kann vorteilhafterweise die Blickrichtung des Benutzers in Relation zur Augenkameraposition bestimmt werden.
Ebenso ist es vorteilhaft, dass ein Blickfilm aufgezeichnet wird, wobei mindestens eine Blickfeldkamera das Blickfeld des Benutzers erfasst und über eine Bildverarbeitungssoftware mindestens ein Marker, der Infrarotlicht emittiert und/oder reflektiert, erkannt wird. Vorteilhafterweise ist somit das Blickfeld des Benutzer sowie die in diesem Blickfeld befindlichen Aufmerksamkeitsanalysebereiche in Reverenz zum erkannten Marker bekannt.
Besonders vorteilhaft ist es, dass durch das Überlagern des Augenfilms und des Blickfilms die Blickzuwendung des Benutzers erkannt wird. Somit ist es vorteilhafterweise möglich, in Abhängigkeit der Blickzuwendung des Benutzers das Blickverhalten in Bezug auf die Aufmerksamkeitsanalysebereiche zu analysieren. Diese Analyse kann auf beliebig viele Aufmerksamkeitsanalysebereiche in der Umwelt ausgeweitet werden.
Besonders vorteilhaft ist es, dass mehrere Marker in der Umgebung angeordnet werden, so dass bei Bewegungen des Benutzers mindestens immer einer dieser Marker von der Bildverarbeitungssoftware erkannt wird. Somit muss der Benutzer nicht dazu angehalten werden, eine fixe Position einzuhalten, sondern kann sich frei im Raum bewegen, so dass eine hohe Flexibilität gewährleistet ist. In Abhängigkeit der Position des Benutzers in der Umwelt wird zumindest ein Marker in der Umwelt erkannt, dessen exakte Position bekannt ist. Infolgedessen kann auf die Kopfposition des Benutzers zurückgeschlossen werden, so dass eine automatische Blickdatenauswertung in Bezug auf einen in Relation zu dem Marker definierten Aufmerksamkeitsanalysebereich erfolgen kann.
Ebenso ist es vorteilhaft, wenn sowohl der Blickfilm als auch der Augenfilm gespeichert wird. Somit ist es möglich, auch nachträglich Auswertungen vorzunehmen. Des weiteren kann eine Neukalibrierung des Augenfilms und des Blickfilms erfolgen sowie vorhandene Datenaussetzer aufgrund von Liedschlag oder anderen Störeinflüsse nachträglich korrigiert werden.
Zur automatischen Blickdatenauswertung ist es besonders vorteilhaft, wenn eine Blickdauer gespeichert wird, solange der Benutzer auf den Aufmerksamkeitsanalysebereich blickt. Die Blickdauer kann beispielsweise Aufschluss über die Ablenkung eines Systems oder aber auch über die Aufmerksamkeitsbindung eines Gegenstandes, insbesondere einer Werbeanzeige, geben.
Neben der Blickdauer ist es ebenso vorteilhaft, wenn die Blickanzahl gespeichert wird. Hierbei werden innerhalb eines definierten Zeitfensters alle Blicke eines Aufmerksamkeitsanalysebereiches kumuliert. Vorteilhafterweise kann über die Blickanzahl auf die Ablenkung und/oder Attraktivität des Aufmerksamkeitsanalysebereiches zurückgeschlossen werden.
Besonders vorteilhaft ist es, dass die Marker im Blickfilm in Echtzeit erkannt werden, so dass ein Peripheriegerät angesteuert werden kann. Ein ab dem Halswirbel querschnittsgelähmter Rollstuhlfahrer, dem einzig und allein die Augen zur Interaktion mit seiner Umwelt zur Verfügung stehen, kann somit mit bloßer Blickzuwendung auf den Aufmerksamkeitsanalysebereich in Abhängigkeit seiner Blickdauer und/oder Blickanzahl ein Peripheriegerät bedienen. Hierbei ist eine Vielzahl von Kodierungen vorstellbar, um bei einem Aufmerksamkeitsanalysebereich unterschiedliche Funktionen aktivieren und/oder deaktivieren zu können. Beispielsweise wären eine Aktivierung und/oder Deaktivierung durch eine definierte Blickdauer, eine definierte Blickanzahl oder einer Kombination aus Blickdauer und Blickanzahl denkbar.
Ebenso ist es vorteilhaft, dass die Marker im Blickfeld nachträglich erkannt werden können, so dass eine Blickverhaltensanalyse durchgeführt werden kann. Somit könnten auch nachträglich noch relevante Aufmerksamkeitsanalysebereiche festgelegt werden, so dass in Bezug auf diese eine automatische Blickdatenauswertung durchgeführt werden könnte.
Weitere Vorteile sind in den nachfolgenden Ausführungsbeispielen beschrieben. Es zeigt:
1 eine Draufsicht eines infrarotlichtreflektierenden Markers, der mit einer Blickfeldkamera zusammenwirkt;
2 eine perspektivische Ansicht eines infrarotlichtemittierenden Markers aus Plexiglas mit einer Befestigungseinheit;
3 eine seitliche Ansicht eines infrarotlichtemittierenden Markers mit einem Gehäuse;
4 eine perspektivische Ansicht eines Anwendungsszenarios einer Blickfelderfassungseinheit, wobei die Blickfeldkamera an einem Rollstuhl montiert ist und mit mehreren infrarotlichtreflektierenden Markern in der Umgebung zusammenwirkt und
5 eine perspektivische Ansicht eines Kopftragegestells, an dem eine Blickfeldkamera montiert ist.
1 zeigt einen infrarotlichtreflektierenden Marker 1, der ein definiertes Muster 2 aufweist, dass durch die Anordnung eines Absorptionsbereiches 3 und Infrarotlichtbereichs 4 entsteht. Der Infrarotlichtbereich 4 ist mit einem infrarotlichtreflektierenden Material 5 beklebt, das von einer Blickfeldkamera 6 sehr zuverlässig erfasst werden kann, so dass die Blickfeldkamera 6 in Kombination mit dem Absorptionsbereich 3 das definierte Muster 2 erkennt. Das definierte Muster 2 ist charakteristisch für jeweils einen einzigen Marker in der Umgebung, dessen exakte Position bekannt ist. Alternativ kann der infrarotlichtreflektierende Marker 1 auch aus einem infrarotlichtreflektierenden Material bestehen, so dass, nicht wie im Ausführungsbeispiel dargestellt, die Infrarotlichtbereiche 4a, 4b und 4c mit einem infrarotlichtreflektierenden Material beklebt werden, sondern der Absorptionsbereich 3 mit einem infrarotlichtabsorbierenden Material 7 beklebt wird. Ebenso ist es natürlich auch denkbar, den Absorptionsbereich 3 mit einer infrarotlichtabsorbierenden Substanz zu beschichten.
2 zeigt einen infrarotlichtemittierenden Marker 10, der ein definiertes Muster 2 aufweist, wobei das Muster 2 analog zu 1 durch den Absorptionsbereich 3 und die Infrarotlichtbereiche 4a, 4b und 4c erzeugt wird. Der infrarotlichtemittierende Marker 10 besteht aus Plexiglas 11 und ist mit Ausnahme der Infrarotlichtbereiche 4a, 4b und 4c mit einem infrarotlichtabsorbierenden Material 7 beschichtet. Unter diesem infrarotlichtabsorbierenden Material 7 befindet sich ein infrarotlichtreflektierendes Material. Durch eine Infrarot-LED wird Infrarotlicht von einer Seite des infrarotlichtemittierenden Markers 10 eingeleitet. Dieses wird nicht absorbiert, sondern von der infrarotlichtreflektierenden Schicht solange im Körper des infrarotlichtemittierenden Mar kers 10 reflektiert, bis es im Infrarotlichtbereich 4a, 4b und 4c austritt und von der Blickfeldkamera 6 erfasst wird.
Des weiteren weist die Infrarot-LED 12 ein Kabel 13 mit einem Stecker 14 auf, um die Infrarot-LED 12 mit Strom zu versorgen. Alternativ oder redundant kann der infrarotlichtemittierende Marker 10 einen Akku und/oder eine Solarzelle aufweisen.
Zur Befestigung und Ausrichtung besitzt der infrarotlichtemittierende Marker 10 eine Befestigungseinheit 15, die eine Verbindungsvorrichtung 16 aufweist, mit der die Befestigungseinheit 15 an einer Oberfläche, beispielsweise einem Stativ oder einem Objekt in der Umgebung, befestigt werden kann. Die Verbindungsvorrichtung 16 kann ein Magnet, ein Klebeband und/oder ein Saugnapf sein. In Abhängigkeit der Rahmenbedingungen können unterschiedliche Verbindungsvorrichtungen 16 an der Befestigungseinheit 15 montiert werden. Des weiteren weist die Befestigungseinheit 15 Glieder 17a, 17b und 17c auf, die über Kugelgelenke 18a, 18b, 18c und 18d mit einander verbunden sind. Hierbei verbindet das Kugelgelenk 18a das Glied 17a mit dem infrarotlichtemittierenden Marker 10. Ist die Befestigungseinheit 15 fest mit einer Oberfläche über die Verbindungsvorrichtung 16 verbunden, so kann der infrarotlichtemittierende Marker 10 über die Glieder 17a, 17b und 17c und Kugelgelenke 18a, 18b, 18c und 18d in einem definierten Bereich um die Befestigungseinheit 15 frei bewegt werden. Ist der infrarotlichtemittierende Marker 10 ideal ausgerichtet, kann diese Position über einen Hebel 19 fixiert werden.
Eine alternative Ausführung eines infrarotlichtemittierenden Markers 10 ist in 3 dargestellt, mit einem Gehäuse 30 sowie einem Gehäusedeckel 31, wobei der Gehäusedeckel 31 mit dem Gehäuse 30 verbunden ist. Hierbei kann der Gehäusedeckel 31 an das Gehäuse 30 geklippst, geschraubt, geklebt oder genietet sein. Des weiteren ist am Gehäuse 30 eine Verbindungsvorrichtung 16 angebracht, mit der der infrarotlichtemittierende Marker 10 mit einem Objekt in der Umgebung temporär oder permanent verbunden sein kann. Das Gehäuse 30 nimmt eine Infrarot-LED 12, ein optisches Element 32, eine Diffuserplatte 33 sowie eine Mattscheibe 34 auf. Das von der Infrarot-LED 12 emittierte Infrarotlicht wird durch das optische Element 32, die Diffuserplatte 33 sowie die Mattscheibe 34 so adaptiert, dass der Gehäusedeckel 31 homogen und flächig beleuchtet wird. Der Gehäusedeckel 31 weist mindestens einen Absorptionsbereich 3 sowie einen Infrarotlichtbereich 4 (siehe 1) auf, so dass ein definiertes Muster 2 entsteht, das von der Blickfeldkamera 6 erfasst werden kann. Die Infrarot-LED 12 weist das Kabel 13 auf, an dessen anderem Ende der Stecker 14 befestigt ist. Alternativ kann auch in diesem Fall der infrarotlichtemittierende Marker 10 über eine autarke Stromversorgung in Form einer Solarzelle, einer Batterie und/oder einen Akku verfügen.
4 zeigt ein Anwendungsszenario zur automatischen Blickdatenauswertung in Echtzeit mit einer Blickfelderfassungseinheit 40, wobei ein Benutzer 41, insbesondere ein Rollstuhlfahrer, der ab dem Halswirbel gelähmt ist, über die Blickanzahl und die Blickdauer mit beliebig vielen Peripheriegeräten 42a, 42b und 42c kommunizieren kann, so dass Funktionen der Peripheriegeräte 42a, 42b und 42c aktiviert, deaktiviert und/oder eingestellt werden können. Idealerweise erfolgt eine Aktivierung und/oder Deaktivierung einer Funktion frühestens ab einer Blickzuwendungsdauer von 1,5 s und spätestens ab 2,5 s, vorzugsweise bei 2 Sekunden.
Zur Blickerfassung ist an einem Rollstuhl 43 eine Augenkamera 44 angebracht, so dass mindestens ein Auge 45 des Benutzers 41 erfasst wird. Des weiteren ist an dem Rollstuhl 43 eine Infrarotlichtquelle 46a angebracht, die die Augen 45 des Benutzers 41 mit Infrarotlicht beleuchten, so dass die Augenkamera 44 das Auge 45 in einer sehr guten Qualität zuverlässig erfassen kann. Der Benutzer 41 wird durch dieses Infrarotlicht nicht geblendet. Außerdem befindet sich an dem Rollstuhl 43 eine Blickfeldkamera 6, die das gesamte Blickfeld des Benutzers 41 erfasst. Da bei Querschnittslähmungen ab dem Halswirbel lediglich minimale Kopfbewegungen zu erwarten sind, kann die Blickfeldkamera 6 statisch in einer fixen Position am Rollstuhl 43 montiert sein. Alternativ ist es aber auch denkbar, dass über die Augenkamera 44 kontinuierlich die Kopfstellung des Benutzers 41 erfasst wird und in Abhängigkeit davon die Blickfeldkamera 6 dynamisch mitbewegt wird, so dass die Blickfeldkamera 6 stets das aktuelle Blickfeld des Benutzers 41 erfasst. Die Blickfeldkamera 6 wirkt mit den infrarotlichtreflektierenden Markern 1a, 1b zusammen, die an einer definierten Position in der Umgebung angebracht sind. Die infrarotlichtreflektierenden Marker 1a, 1b bestehen aus einer transparenten Klarsichtfolie, wobei die Rückseite mit Kleber beschichtet ist, so dass sie auf jede beliebige Fläche in der Umgebung geklebt werden können. Die Vorderseite weist mindestens einen Infratortbereich 4 (siehe 1) auf, der mit einem infrarotlichtreflektierenden Material beschichtet ist. Des weiteren weist der infrarotlichtreflektierende Marker 1 mindestens einen Absorptionsbereich 3 (siehe 1) auf, der mit einer Substanz beschichtet ist, die ausschließlich Infrarotlicht absorbiert.
Am Rollstuhl 43 ist des weiteren eine zweite Infrarotlichtquelle 46b angebracht, die das Blickfeld des Benutzers 41 mit Infrarotlicht ausleuchtet. Dieses wird insbesondere vom den Infrarotlichtbereichen 4 (siehe 1) der infrarotlichtreflektierenden Marker 1a, 1b reflektiert, so dass die Blickfeldkamera 6 die definierten Muster 2 (siehe 1, 2 und 3) erfassen kann. Somit ist die exakte Position mindestens eines infrarotlichtreflektierenden Markers 1a und 1b im Blickfeld des Benutzers 41 bekannt. In Referenz zu den infrarotlichtreflektierenden Markern 1a und 1b sind Aufmerksamkeitsanalysebereiche 47a, 47b und 47c definiert, wobei für jeden Eckpunkt eines Aufmerksamkeitsanalysebereichs 47a, 47b und 47c die exakte Position in Referenz zu mindestens einem infrarotlichtreflektierenden Marker 1a, 1b bekannt ist. Wird über die Blickfelderfassungseinheit 40 eine Blickzuwendung des Benutzers 41 auf einen der Aufmerksamkeitsanalysebereiche 47a, 47b, 47c erkannt, so wird ab einer Fixationsdauer von vorzugsweise 2 Sekunden eine Funktion des entsprechenden Peripheriegerätes 42a, 42b oder 42c aktiviert oder deaktiviert. Beispielsweise könnte es sich bei einem der Periphe riegeräte 42a, 42b und 42c um einen Lichtschalter handeln, wobei der Benutzer 41 durch eine längere Blickzuwendung auf den entsprechenden Aufmerksamkeitsanalysebereich 47a, 47b und 47c das Licht ein bzw. ausschalten kann.
Besonders vorteilhaft ist bei dieser alternativen Ausführung der infrarotlichtreflektierenden Marker 1a, 1b, dass sie weitgehend unsichtbar für das menschliche Auge sind. Lediglich die infrarotempfindliche Blickfeldkamera 6 kann die Infrarotlicht reflektierenden Marker 1a, 1b sehr gut erfassen. Somit können beispielsweise in einem Raum eine Vielzahl von infrarotlichtreflektierenden Markern 1a, 1b angebracht werden, ohne die optische Anmut von Möbeln bzw. der Innenarchitektur negativ zu beeinflussen.
5 zeigt ein Kopftragegestell 60, mit einer Blickfeldkamera 6, die am Kopftragegestell 60 mittig zwischen den beiden Augen 45a, 45b befestigt ist, sowie eine Augenkamera 44, die von schräg unten das Auge 45a erfasst. Des weiteren ist am Kopfteilgestell 60 eine Infrarotlichtquelle 46 angebracht, die das Auge 45a mit Infrarotlicht beleuchtet, ohne dabei das Auge 45a zu blenden. Des weiteren umfasst das Kopftragegestell 60 ein Funksendergehäuse 61, das mindestens einen Funksender aufnehmen kann. Alternativ kann der Funksender auch losgelöst vom Kopftragegestell 60 am Körper des Benutzers befestigt sein, oder in einer Tasche verstaut sein. Der Funksender übermittelt die Blickdaten, die von der Blickfeldkamera 6 und der Augenkamera 44 aufgezeichnet werden, an einen Funkempfänger, der mit einem Blickdatenrechner in Verbindung steht. Für einen rutschfreien festen Sitz umfasst das Kopftragegestell 60 eine Stirnauflage 62, einen Nasenbügel 63 sowie ein Kopfband 64. Das Kopftragegestell 60 ist über die Stirnauflage 62, den Nasenbügel 63 sowie das Kopfband 64 so auf dem Kopf des Benutzers gelagert, dass der Nasenbügel 63 von schräg vorne auf der Nase des Benutzers abgestützt wird. Somit ist gewährleistet, dass das Kopftragegestell 60 zusammen mit einer Brille getragen werden kann.
Die vorliegende Erfindung ist nicht auf das dargestellte und beschriebene Ausführungsbeispiel beschränkt. Abwandlungen im Rahmen der Patentansprüche sind ebenso möglich wie eine Kombination der Merkmale, auch wenn sie in unterschiedlichen Ausführungsbeispielen dargestellt und beschrieben sind.

1: infrarotlichtreflektierenden Marker
2: definiertes Muster
3: Absorptionsbereich
4: Infrarotlichtbereich
5: infrarotlichtreflektierendes Material
6: Blickfeldkamera
7: infrarotlichtabsorbierendes Material
10: infrarotlichtemittierender Marker
11: Plexiglas
12: Infrarot-LED
13: Kabel
14: Stecker
15: Befestigungseinheit
16: Verbindungsvorrichtung
17: Glieder
18: Kugelgelenke
19: Hebel
30: Gehäuse
31: Gehäusedeckel
32: optisches Element
33: Diffuserplatte
34: Mattscheibe
40: Blickfelderfassungseinheit
41: Benutzer
42: Peripheriegeräte
43: Rollstuhl
44: Augenkamera
45: Auge
46: Infrarotlichtquelle
47: Aufmerksamkeitsanalysebereiche
60: Kopftragegestell
61: Funksendergehäuse
62: Stirnauflage
63: Nasebügel
64: Kopfband

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 2006/0109238 A1 [0003]

Claims

Blickfelderfassungseinheit (40) mit mindestens einer Blickfeldkamera (6), die das Blickfeld eines Benutzers (41) erfasst, und mindestens einem Marker (1, 10), der in der Umgebung angeordnet ist, wobei die Blickfeldkamera (6) mit diesem Marker (1, 10) zusammenwirkt, dadurch gekennzeichnet, dass der Marker (1, 10) Infrarotlicht emittiert und/oder reflektiert und die Blickfeldkamera (6) dazu geeignet ist, dieses Licht zu erfassen.
Blickfelderfassungseinheit nach dem vorherigen Anspruch, dadurch gekennzeichnet, dass der Marker (1, 10) eine definierte Form aufweist, die von einer Bildverarbeitungssoftware in der Umgebung erkennbar ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die definierte Form kantig ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die definierte Form rund ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die definierte Form symmetrisch ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass mehrere Marker (1, 10) unterschiedliche definierte Formen aufweisen, so dass sie von der Bildverarbeitungssoftware unterschieden werden können.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) steif oder flexibel ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) mindestens einen Infrarotlichtbereich (4), der Infrarotlicht reflektiert und/oder emittiert, und mindestens einen Absorptionsbereich (3), der Infrarotlicht absorbiert, aufweist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Infrarotlichtbereich (4) an dem Absorptionsbereich (3) angrenzt.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) ein definiertes Muster (2) aufweist, das durch die Anordnung der Infrarotlichtbereiche (4) zu den Absorptionsbereichen (3) entsteht und von der Blickfeldkamera (6) erfasst werden kann.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass das definierte Muster (2) kantig und/oder rund ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Infrarotlichtbereich (4) mit einem infrarotlichtreflektierenden Material (5) beschichtet ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Infrarotlichtbereich (4) mit einer infrarotlichtreflektierenden Klebefolie beklebt ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) eine Beleuchtung, insbesondere eine Infrarot-LED (12), aufweist, die Infrarotlicht emittiert.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) aus lichtdurchlässigem Material, insbesondere Plexiglas (11) oder Klarsichtfolie, besteht.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) flächig beleuchtet ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) eine Oberfläche aufweist, die im Absorptionsbereich (3) lichtundurchlässig ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Absorptionsbereich (3) mit einem lichtundurchlässigen Material beschichtet ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Absorptionsbereich (3) mit einer lichtundurchlässigen Folie beklebt ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) ein Gitterraster aufweist, das durch die Blickfeldkamera (6) erfassbar ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) eine Befestigungseinheit (15) zum Anbringen an einem Gegenstand aufweist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Befestigungseinheit (15) einen Justiermechanismus aufweist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (1, 10) in der Umgebung an einem dynamischen, insbesondere Buchseiten und Scrollbereiche, und/oder statischen Gegenstand angebracht ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Blickfeldkamera (6) an einem bewegten Objekt montiert ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass das bewegte Objekt ein Rollstuhl (43) ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass das bewegte Objekt ein Kopftragegestell (60) ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Blickfeldkamera (6) am Kopftragegestell (60) mittig zwischen den beiden Augen (45) des Benutzer (41) befestigt ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Blickfeldkamera (6) eine nahinfrarotempfindliche Kamera ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Blickfeldkamera (6) mindestens einen Filter, insbesondere einen Polarisationsfilter, aufweist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Blickfeldkamera (6) mit einer Augenkamera (44) zusammenwirkt.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass an dem bewegten Objekt eine Lichtquelle, insbesondere eine Infrarotlichtquelle (46), montiert ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Augenkamera (44) an dem Kopftragegestell (60) befestigt ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Augenkamera (44) an dem Rollstuhl (43) befestigt ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Augenkamera (44) eine nahinfrarotempfindliche Kamera ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Blickfeldkamera (6) und die Augenkamera (44) mit einem Blickdatenrechner über eine Blickdatenübertragungseinheit zusammenwirken.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Blickdatenübertragungseinheit ein Kabel oder einen Funksender und Funkempfänger umfasst.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Funksender am Kopftragegestell (60) oder am Rollstuhl (43) montiert ist.
Blickfelderfassungseinheit nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Kopftragegestell (60) zur Befestigung am Kopf des Benutzers (41) eine Stirnauflage (62), einen Nasenbügel (63) und/oder ein Kopfband (64) aufweist.
Verfahren zur automatischen Blickdatenauswertung, insbesondere mit einer Blickfelderfassungseinheit (40) nach einem oder mehreren der vorherigen Ansprüche, bei dem ein Aufmerksamkeitsanalysebereich (47) in der Umwelt identifiziert wird und eine Blickzuwendung eines Benutzers (41) auf den Aufmerksamkeitsanalysebereich (47) erkannt wird, dadurch gekennzeichnet, dass ein Marker (1, 10), der Infrarotlicht emittiert und/oder reflektiert, von einer Blickfeldkamera (6) erkannt wird und dass die Lage des Aufmerksamkeitsanalysebereiches (47) in der Umwelt in Reverenz zum Marker (1, 10) berechnet wird.
Verfahren nach dem vorherigen Anspruch, dadurch gekennzeichnet, dass ein Augenfilm aufgezeichnet wird, wobei eine Augenkamera (44) das Auge (45) des Benutzers (41) erfasst und eine Bildverarbeitungssoftware über einen Bildverarbeitungsalgorithmus die Pupille erkennt.
Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein Blickfilm aufgezeichnet wird, wobei mindestens eine Blickfeldkamera (6) das Blickfeld des Benutzers (41) erfasst und über eine Bildverarbeitungssoftware mindestens ein Marker (1, 10) erkannt wird.
Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass durch das Überlagern des Augenfilms und des Blickfilms die Blickzuwendung des Benutzers (41) auf einen Aufmerksamkeitsanalysebereich (47) erkannt wird.
Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass mehrere Marker (1, 10) in der Umgebung angeordnet werden, so dass bei Bewegungen des Benutzers (41) immer mindestens einer dieser Marker (1, 10) von der Bildverarbeitungssoftware erkannt wird.
Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Blickfilm und der Augenfilm gespeichert werden.
Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Blickdauer gespeichert wird, solange der Benutzer (41) auf den Aufmerksamkeitsanalysebereich (47) blickt.
Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Blickanzahl gespeichert wird, indem jeder Blick des Benutzer (41) auf den Aufmerksamkeitsanalysebereich (47) aufsummiert wird.
Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass mindestens ein Marker (1, 10) im Blickfilm in Echtzeit erkannt wird, so dass ein Peripheriegerät (42) angesteuert werden kann, vorzugsweise über die Blickdauer und/oder die Blickanzahl des Benutzer (41).
Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Marker (1, 10) im Blickfeld nachträglich erkannt werden, so dass eine Blickverhaltensanalyse durchgeführt werden kann.