-
Die
vorliegende Erfindung betrifft allgemein das Gebiet der Blickrichtungsmessung
und insbesondere ein System und Verfahren zum Analysieren von Blickrichtungsmessungsdaten,
die von einem Benutzer gesammelt werden, der eine Anzeige von dynamischen
Multimedia-Seiten betrachtet.
-
Auf
verschiedenen Gebieten haben Psychologen und andere Forscher Blickrichtungs-Verfolgungsvorrichtungen
(oder Eyetracker) verwendet, um Blickfixierungen, Augenbewegungen
und Pupillenerweiterungen aufzuzeichnen als eine Möglichkeit,
daraus den geometrischen Ort des visuellen Augenmerks einer Person abzuleiten.
Dieser Rückschluss
wird im Allgemeinen als die "bewusster
Blick"-Annahme ("mind-eye assumption") bezeichnet. In
dieser Hinsicht finden sich Offenbarungen in Bezug auf Blickfixierungen,
Augenbewegungen und Dilatation in den U.S.-Patenten Nr. 5,471,542,
5,410,376 und 5,231,674. US-A-4,789,235 offenbart ein Verfahren
und System zum Erzeugen einer Beschreibung der Verteilung der Blickzeit,
wenn Personen Fernsehwerbung sehen. Dieses Bezugsdokument beschreibt
ein System, in dem die Blickrichtungsmessung verwendet wird, um
das Interesse einer Einzelperson an verschiedenen Bereichen von
unterschiedlichen Fernseh-Szenen zu messen.
-
Ein
grundlegendes Problem von Blickrichtungs-Verfolgungsvorrichtungen
betrifft das Zuordnen der Blickrichtungsmessungsdaten ("Blickpunkte") ("points-of-regard") zu Elementen der
Multimedia-Seiten, um damit die Elemente zu identifizieren, auf
die der Besucher fixiert/fokussiert war ("Blickelemente") ("elements-of-regard"). Das Zuordnen von
Blickpunkten zu Blickelementen wird hier als die "Punkte-Elemente"-Zuordnung ("points-to-elements" mapping) bezeichnet,
und diese Zuordnung stellt eine beträchtliche Schwierigkeit beim
Anwenden von Blickrichtungsmessungstechnologie auf Multimedia dar.
Im Allgemeinen überwachen Blickrichtungs-Verfolgungsvorrichtungen
den Blick des Auges des Benutzers und zeichnen ihn in einem Koordinatensystem
auf, das eine Überlagerung
eines Abschnitts von physikalischem Raum ist. Beispielsweise könnte eine
Blickrichtungs-Verfolgungsvorrichtung eine Gruppe von (x, y)-Koordinaten
aufzeichnen, die einen Raumabschnitt identifiziert, der dem Anzeigebildschirm
eines Rechners entspricht.
-
Wenn
die Informationselemente, die auf dem Bildschirm angezeigt werden,
fixiert sind, können
Analyseprogramme anschließend
die Beziehung der aufgezeichneten Augen-Blickdaten zu den angezeigten Elementen
leicht bestimmten.
-
Die
Natur von Multimedia selbst hat jedoch sehr häufige Änderungen auf dem Anzeigebildschirm
des Benutzers zur Folge, wodurch die Anwendung der gegenwärtigen Blickrichtungsmessungstechnologie
in hohem Maße
eingeschränkt
wird. Typischerweise muss der Benutzer in den Aktionen, die er/sie
ausführt,
eingeschränkt
werden. Beispielsweise würde
die Verwendung von Bildlaufleisten nicht gestattet, da ihre Verwendung
die Position der Elemente sofort verändern und damit die aufgezeichneten
Koordinaten ungenau machen würde.
Andernfalls müssen
die Forscher die Blickrichtungsmessungsdaten in mühsamer Weise
manuell aus Videoaufzeichnungen des Benutzers analysieren, um die
Beziehung von Koordinaten der Blickrichtungs-Verfolgungsvorrichtung
zu dem Inhalt abzuleiten, der angezeigt wurde, oder die Vorlagen,
die den Ort von Anzeige-Elementen beschreiben, müssen von Hand alle paar Sekunden
geändert
werden. Infolgedessen erfordert die Blickrichtungsmessungs-Forschung
bei Multimedia, wie beispielsweise dem WWW, einen Zeitaufwand, der den
Multimedia-Fachleuten zu hoch ist.
-
Diese
Analyse per Hand kann erleichtert werden, indem eine Datendatei
Szene für
Szene (oder Bildschirm für
Bildschirm) bereitgestellt wird, oder indem Werkzeuge bereitgestellt
werden, die es dem Analysten gestatten, räumliche Bereiche zu definieren
und zu kennzeichnen, die Bereichen von angezeigtem Inhalt entsprechen.
In US-A-4789235 muss die Szenendatendatei manuell erzeugt werden,
und daher ist eine sehr beträchtliche
Menge an manuellem Aufwand erforderlich, und es ist kein Zugriff
auf den semantischen Inhalt der Bereiche vorhanden. Analog dazu
kann eine Vorlage von definierten Inhaltsbereichen für jeden
Anzeigezustand angegeben werden, für absolut jede Ansicht von
WWW-Seiten, die der Benutzer besucht, um dadurch eine beschleunigtere
Datenverarbeitung zu gestatten. Wenn sich die Anzahl der Bildschirmänderungen
jedoch erhöht,
erhöht
sich auch die Anzahl der für
die Analyse erforderlichen Vorlagen. In dem Fall eines Web-Browsers
wäre eine
neue Vorlage für
jede Seite erforderlich und zwar für jede mögliche Position der Bildlaufleiste für jede Seite.
Daher ist eine solche Lösung
weder praktisch noch wirtschaftlich.
-
US-A-6,106,119
offenbart ein Verfahren, das Blickrichtungsmessungsdaten und entsprechende
Anzeige-Szenarios basierend auf einer vorgegebenen Bedingung offenbart,
wie beispielsweise Zeitintervall, Mess-Sequenz, eine Bildlauf-Erfassung
oder eine andere Aktivität.
Die Blickrichtungsmessungsdaten werden in Interpretationen auf höchster Ebene
umgewandelt, und ihnen wird ein Bewertungsvokabular zugewiesen. Die
gespeicherten Anzeige-Szenarios werden dann zusammen mit dem Bewertungsvokabular
angezeigt.
-
Bei
US-A-6106119 stellte sich heraus, dass nur ein begrenzter Vorteil
gegenüber
Blickrichtungsmessungsverfahren des bisherigen Stands der Technik
bereitgestellt wurde. Da die bereitgestellte Ausgabe interpretierte
Blickrichtungsmessungsdaten sind, die Screenshots überlagern,
muss ein menschlicher Analyst anschließend die Punkte-Elemente-Zuordnung
durchführen,
indem die Screenshots mit den darauf überlagerten Blickrichtungsmessungsdaten
betrachtet und analysiert werden, um zu identifizieren, welche Elemente
sich unter den Blickrichtungsmessungsdaten befinden. Daher ist immer
noch eine beträchtliche
Menge an menschlichem Aufwand erforderlich, um die Blickelement-Informationen
zu erhalten. Weil die Screenshots rein grafische Darstellungen sind,
kann des Weiteren keine zusätzliche
Datenverarbeitung mit den erhaltenen Daten durchgeführt werden.
Beispielsweise wäre
ein menschlicher Analyst erforderlich, um die Augenbewegungen eines
Benutzers zu einem bestimmten Element, Bild, Link, Text oder formatierten
Text usw. zu bestimmen. Vorlagen, die beim Identifizieren der Elemente
während
der Analyse der Blickrichtungsmessungsdaten helfen können, werden
verwendet. Allerdings muss eine beträchtliche Menge an menschlicher
Arbeit aufgewendet werden, um solche Vorlagen herzustellen, und
eine neue Vorlage würde
für jede
Bildschirmanzeige benötigt, wodurch
die vorgeschlagene Lösung
in einem Multimedia-Kontext,
in dem sich die Bildschirmanzeige ständig ändert, unausführbar wird.
-
US-A-5204703
offenbart eine Vorrichtung zum Überwachen
der Augenbewegung und des Pupillendurchmessers, während eine
Testperson visuellen Stimuli ausgesetzt wird. Die Vorrichtung und
das Verfahren verwenden eine Augen-/Blick-Erfassungsvorrichtung
(eye-look detector), um das visuelle Prüfen eines dargestellten Bilds
durch eine Testperson zu ermitteln, und mittels einer Rechneraufzeichnung überlagert
eine Analyse Symbole, welche die Ansichtspunkte (lookpoints) über das
Bild darstellen.
-
US-A-5886683
offenbart eine Vorrichtung, die bestimmt, welche für einen
Benutzer auf einem Rechner-Bildschirm dargestellte Information den
Benutzer am meisten interessiert. Die Erfindung verwendet diese Information,
um die Themen der angezeigten Information und das Interesse des
Benutzers zueinander in Beziehung zu setzen, um zusätzliche
Informationen für
den Benutzer auszuwählen.
Diese zusätzlichen
Informationen sind besser auf das Interesse des Benutzers abgestimmt.
-
Die
vorliegende Erfindung stellt ein verbessertes System und Verfahren
für die
Analyse von Blickrichtungsmessungsdaten bereit, die von einem Benutzer
gesammelt werden, der eine Anzeige von dynamischen Multimedia-Seiten
betrachtet. Des Weiteren wird mit der vorliegenden Erfindung die
Interaktion und der Aufwand von menschlichen Analysten minimiert,
und die Punkte-Elemente-Zuordnung kann im Wesentlichen automatisiert
werden.
-
Das
System und ein Informationen-Speichermedium zum Analysieren von
Blickrichtungsmessungsdaten, die von einem Benutzer gesammelt werden,
der eine Anzeige von dynamischen Multimedia-Seiten über einen
Browser mit einer Objektmodell-Schnittstelle betrachtet, umfasst
eine Blickrichtungs-Verfolgungsvorrichtung, ein Protokollierungswerkzeug
und ein Zuordnungswerkzeug. Die Blickrichtungs-Verfolgungsvorrichtung überwacht
Ort und Uhrzeit des Blicks des Benutzers und speichert Blickrichtungsmessungsdaten
des Orts und der Uhrzeit des Blicks des Benutzers in einer Datendatei
der Blickrichtungs-Verfolgungsvorrichtung. Das Protokollierungswerkzeug überwacht
die angezeigten Seiten und speichert den Inhalt der angezeigten
Seiten in einem Speicher. Das Zuordnungswerkzeug empfängt die
Blickrichtungsmessungsdaten von der Datendatei der Blickrichtungs-Verfolgungsvorrichtung,
verarbeitet die Blickrichtungsmessungsdaten in Fixierungsdaten, die
für das
Interesse des Benutzers indikativ sind, und stellt die aus dem Speicher
angezeigten Seiten wieder her. Das Zuordnungswerkzeug ordnet die
Fixierungsdaten auch zu den wiederhergestellten Seiten zu, um dadurch
Blickelemente, die der Benutzer fixiert hat, und deren Orte zu identifizieren
und speichert die Identifizierten Blickelemente und deren Orte in
einer Blickelemente-Datenbank. Die Fixierungsdaten sind wenigstens
eines von Informationen in Bezug auf Fixierungspunkte, auf die der
Benutzer den Blick fixiert hat, von Informationen in Bezug auf einen
Bereich in der Nähe
eines Fixierungspunkts, der innerhalb einer grafischen Begrenzungslinie
enthalten ist, oder von Informationen in Bezug auf einen Übergang,
der ein Cluster von Fi xierungspunkten ist, die über einen vorgegebenen Algorithmus
zueinander in Beziehung stehen. Das Protokollierungswerkzeug kann
auch auf die Objektmodell-Schnittstelle des Browsers zugreifen,
um Elemente der wiederhergestellten Seiten zu identifizieren, und
speichert die identifizierten Elemente der wiederhergestellten Seiten
in einer Elemente-Datenbank.
Das Protokollierungswerkzeug kann auch Ereignisse und Zeitdaten
der Ereignisse überwachen
und speichern, die eine in einem Ereignisprotokoll angezeigte Veränderung
in den Seiten verursachen, und kann die aus dem Speicher angezeigten
Seiten und die Ereignisdaten in dem Ereignisprotokoll wiederherstellen,
indem die Ereignisse der Ereignisdaten auf den wiederhergestellten
Seiten wiederholt werden. Das Zuordnungswerkzeug kann auch die Fixierungsdaten
mit den Ereignisdaten in dem Ereignisprotokoll zeitlich synchronisieren
und kann ein Koordinatensystem der Blickrichtungsmessungsdaten,
die in der Datendatei der Blickrichtungs-Verfolgungseinrichtung
gespeichert sind, auf ein Bildschirm-Koordinatensystem kalibrieren,
das beim Betrachten der Anzeige von dynamischen Multimedia-Seiten
verwendet wird. Das Protokollierungswerkzeug und das Zuordnungswerkzeug
können
Software-Programme sein, die in einem Informationen-Speichermedium
gespeichert sind.
-
In Übereinstimmung
mit einer anderen Ausführungsform
wird das Verfahren zum Analysieren von Daten, die von einem Benutzer
gesammelt werden, der eine Anzeige von dynamischen Multimedia-Seiten über einen
Browser mit einer Objektmodell-Schnittstelle betrachtet, einschließlich Überwachung
des Orts und der Uhrzeit des Blicks des Benutzers, Speichern von
Ort und Uhrzeit als Blickrichtungsmessungsdaten, Verarbeiten der
Blickrichtungsmessungsdaten in Fixierungsdaten, die für das Interesse
des Benutzers Indikativ sind, Überwachung
des Inhalts von angezeigten Seiten und Speichern des Inhalts der
angezeigten Seiten in einem Speicher, Wiederherstellen der angezeigten
Seiten aus dem Speicher, Zuordnen der Fixierungsdaten auf den wiederhergestellten
Seiten, um dadurch Blickelemente, die der Benutzer fixiert hat,
und deren Ort zu identifizieren, und Speichern der identifizierten
Blickelemente in einer Blickelemente-Datenbank bereitgestellt. In Übereinstimmung
mit einer Ausführungsform
umfasst das Verfahren auch das Zugreifen auf die Objektmodell-Schnittstelle
des Browsers, um Elemente der wiederhergestellten Seiten zu identifizieren
und die identifizierten Elemente der wiederhergestellten Seiten
in einer Elemente-Datenbank zu speichern. Das Verfahren kann auch Überwachen
und Speichern von Ereignissen und Zeitdaten der Ereignisse, die
eine Veränderung in
den Seiten verursachen, umfassen, die als Ereignisdaten angezeigt werden.
Die angezeigten Seiten können aus
dem Speicher und die Ereignisdaten durch erneutes Ausführen der
Ereignisse der Ereignisdaten auf den wiederhergestellten Seiten
wiederhergestellt werden. Das vorliegende Verfahren kann auch das
zeitliche Synchronisieren der Fixierungsdaten mit den Ereignisdaten
sowie Kalibrieren eines Koordinatensystems der Blickrichtungsmessungsdaten
auf ein Bildschirm-Koordinatensystem umfassen, das beim Betrachten
der Anzeige von dynamischen Multimedia-Seiten verwendet wird.
-
In Übereinstimmung
mit einer weiteren Ausführungsform
der vorliegenden Erfindung werden ein System und ein Informationen-Speichermedium
zum Analysieren von Blickrichtungsmessungsdaten, die von einem Benutzer
gesammelt werden, der eine Anzeige von dynamischen Multimedia-Seiten über einen
Browser mit einer Objektmodell-Schnittstelle betrachtet, einschließlich einer
Blickrichtungs-Verfolgungseinrichtung, einem Protokollierungswerkzeug
und einem Zuordnungswerkzeug bereitgestellt. Die Blickrichtungs-Verfolgungsvorrichtung überwacht
Ort und Uhrzeit des Blicks des Benutzers und speichert Blickrichtungsmessungsdaten
des Orts und der Uhrzeit des Blicks des Benutzers in einer Datendatei
der Blickrichtungs-Verfolgungsvorrichtung. Das Protokollierungswerkzeug überwacht
die angezeigten Seiten und speichert den Inhalt der angezeigten
Seiten in einem Speicher. Das Zuordnungswerkzeug empfängt die
Blickrichtungsmessungsdaten von der Datendatei der Blickrichtungs-Verfolgungsvorrichtung,
verarbeitet die Blickrichtungsmessungsdaten in Fixierungsdaten,
die für
das Interesse des Benutzers indikativ sind, und stellt die angezeigten
Seiten aus dem Speicher wieder her. Das Zuordnungswerkzeug ordnet
auch die Fixierungsdaten auf den wiederhergestellten Seiten zu.
Das Zuordnungswerkzeug greift auf die Objektmodell-Schnittstelle
des Browsers zu, um Elemente der wiederhergestellten Seiten zu identifizieren,
und speichert die identifizierten Elemente der wiederhergestellten
Seiten in einer Elemente-Datenbank.
Die Fixierungsdaten sind wenigstens eines von Informationen in Bezug
auf Fixierungspunkte, auf die der Benutzer den Blick fixiert hat,
von Informationen in Bezug auf einen Bereich neben einem Fixierungspunkt,
der in einer grafischen Begrenzungslinie enthalten ist, oder von
Informationen in Bezug auf einen Übergang, der ein Cluster von
Fixierungspunkten ist, die über
einen vorgegebenen Algorithmus zueinander in Beziehung stehen. Das
Protokollierungswerkzeug kann auch Ereignisse und Zeitdaten der
Ereignisse überwachen,
die eine Veränderung
in den Seiten verursachen, die als Ereignisdaten angezeigt werden,
und in einem Ereignisprotokoll speichern. Das Zuordnungs werkzeug
kann die angezeigten Daten aus dem Speicher und die Ereignisdaten
in dem Ereignisprotokoll durch erneutes Ausführen der Ereignisse der Ereignisdaten
auf den wiederhergestellten Seiten wiederherstellen. In anderen
Ausführungsformen kann
das Zuordnungswerkzeug die Blickrichtungsmessungsdaten mit den Ereignisdaten
in dem Ereignisprotokoll zeitlich synchronisieren und kann auch
ein Koordinatensystem der Blickrichtungsmessungsdaten, die in der
Datendatei der Blickrichtungs-Verfolgungsvorrichtung gespeichert
sind, auf ein Bildschirm-Koordinatensystem kalibrieren, das beim
Betrachten der Anzeige von dynamischen Multimedia-Seiten verwendet
wird.
-
In Übereinstimmung
mit einer weiteren Ausführungsform
der vorliegenden Erfindung wird ein Verfahren zum Analysieren von
Daten, die von einem Benutzer gesammelt werden, der eine Anzeige
von dynamischen Multimedia-Seiten über einen Browser mit einer
Objektmodell-Schnittstelle betrachtet, einschließlich Überwachung von Ort und Uhrzeit
des Blicks des Benutzers, Speichern des Orts und der Uhrzeit als
Blickrichtungsmessungsdaten, Verarbeiten der Blickrichtungsmessungsdaten
in Fixierungsdaten, die für
das Interesse des Benutzers indikativ sind, Überwachung des Inhalts von
angezeigten Seiten und Speichern des Inhalts der angezeigten Seiten
in einem Speicher, Wiederherstellen der angezeigten Seiten aus dem
Speicher, Zuordnen der Fixierungsdaten auf den wiederhergestellten
Seiten, Zugreifen auf die Objektmodell-Schnittstelle des Browsers,
um Elemente der wiederhergestellten Seiten zu identifizieren und
die identifizierten Elemente der wiederhergestellten Seiten in einer
Elemente-Datenbank zu speichern, bereitgestellt. Das Verfahren kann auch Überwachung
und Speichern von Ereignissen und Zeitdaten der Ereignisse umfassen,
die eine Veränderung
in den Seiten verursachen, die als Ereignisdaten angezeigt werden.
Die angezeigten Seiten können aus
dem Speicher wiederhergestellt werden, und die Ereignisdaten durch
erneutes Ausführen
der Ereignisse der Ereignisdaten auf den wiederhergestellten Seiten.
Des Weiteren kann das Verfahren auch das zeitliche Synchronisieren
der Fixierungsdaten mit den Ereignisdaten und Kalibrieren eines
Koordinatensystems der Blickrichtungsmessungsdaten auf ein Bildschirm-Koordinatensystem
umfassen, das beim Betrachten der Anzeige von dynamischen Multimedia-Seiten
verwendet wird.
-
Einige
Beispiele von erfindungsgemäßen Systemen
und Verfahren werden im Folgenden unter Bezugnahme auf die folgenden
begleitenden Zeichnungen beschrieben:
-
1 ist
eine schematische Darstellung eines Systems zum Analysieren von
Blickrichtungsmessungsdaten in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung;
-
2 ist
eine schematische Darstellung eines Systems zum Analysieren von
Blickrichtungsmessungsdaten in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung;
-
3 zeigt
Tabelle 1, die im Detail das Ereignisprotokollschema in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung angibt;
-
4 ist
eine teilweise Ausgabe einer Elemente-Datenbank in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung; und
-
5 ist
eine teilweise Ausgabe einer Blickelemente-Datenbank in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung.
-
Wie
aus der folgenden detaillierten Beschreibung hervorgeht, stellt
die vorliegende Erfindung ein verbessertes System und Verfahren
zum Analysieren von Blickrichtungsmessungsdaten bereit, die von
einem Benutzer gesammelt werden, der die Anzeige von dynamischen
Multimedia-Seiten betrachtet. Die beschriebene Erfindung minimiert
die Interaktion und den Aufwand eines menschlichen Analysten, indem
eine wesentliche Automatisierung der Punkte-Elemente-Zuordnung gestattet
wird, die verwendet werden kann, um Elemente zu identifizieren,
die der Benutzer fixiert hat, oder um Inhalt um die Elemente herum
zu identifizieren. Es wird des Weiteren offenkundig, dass vorliegendes
System und Verfahren eine umfassende Datenanalyse auf der Basis der
erhaltenen Daten gestatten, weil die vorliegende Erfindung den Inhalt
der Anzeige-Elemente ermittelt.
-
Die
gegenwärtigen
Anmelder haben erkannt, dass bessere Technologie und Techniken zum
Analysieren und besseren Verständnis
dessen erforderlich sind, wie die Aufmerksamkeit und die Aktionen
eines Benutzers von verschiedenen Gesichtspunkten von Multimedia
beeinflusst werden, wie beispielsweise Webseiten (oder "Websites") des World Wide
Web ("WWW", "Web" oder "Internet"). Wenn sich solche
Daten und Informationen problemlos erhalten lassen, lässt sich
die Funktionalität
der Multimedia beträchtlich verbessern und
besser auslegen. Beispielsweise könnten solche Daten und Informationen,
sofern sie problemlos erhalten werden können, dazu verwendet werden,
Fragen wie die Folgenden zu beantworten:
- – Achten
Benutzer zuerst oder häufiger
auf Elemente eines Typs im Vergleich zu einem anderen? Sehen Benutzer
beispielsweise zuerst oder häufiger
auf Abbildungen als auf textliche Link-Verankerungen? Ändert sich
dies mit den spezifischen Zielen und/oder der spezifischen Site
des Benutzers?
- – Sehen
Benutzer, wenn sie versuchen, einen Vorgang auszuführen, wie
Beispielsweise einen Kauf auf einer Website prüfen, den "Hilfe"-Link, wenn sie sich nicht zurechtfinden?
- – Zieht
eine Version oder Platzierung einer Werbung mehr Aufmerksamkeit
auf sich als eine andere? Führt eine
häufiger
zu einer nachfolgenden gewünschten
Aktion als die andere?
- – Wie
ist das optimale, von Links beanspruchte Raumverhältnis im
Vergleich zum "weißen Raum" ("white space") auf einer Webseite?
- – Welche
Wörter
sieht ein Benutzer bzw. sieht sie nicht, wenn sie in einer vorgegebenen
Aufgabe integriert sind? Ist eine Anordnung von Wörtern besser
als eine andere?
-
Um
die Sammlung solcher Daten und Informationen zu gestatten, wäre es erforderlich,
eine Möglichkeit
zu entwickeln, die Aufmerksamkeit des Benutzers in Bezug auf Hypertext-Elemente
oder -Objekte in einer Webseite aufzuzeichnen und zu analysieren,
auch wenn sich die Seiten häufig
verändern
können
und Abschnitte einer Seite durch den Bildlauf in das oder aus dem
Sehfeld des Benutzers gelangen. Demzufolge haben sich Forscher,
Ingenieure, Designer, Prüfer
und Vermarkter von Multimedia für
Technologien interessiert, die aufzeichnen können, wie ein Benutzer auf
Multimedia achtet und welche Aktionen sie während der Interaktion ausführen. Allerdings
ist keine effiziente Lösung
gefunden worden, um dieses Ziel zu erreichen, wobei die primären Probleme
im Folgenden erläutert
werden.
-
1 zeigt
eine schematische Darstellung eines Systems 2 zum Analysieren
von Blickrichtungsmessungsdaten in Übereinstimmung mit einer Ausführungsform
der vorliegenden Erfindung. Es sollte zu Beginn angemerkt werden,
dass das System 2 in 1 in einer
schematischen charakteristischen Form gezeigt ist, da die verschiedenen
Elemente des Systems 2 in Übereinstimmung mit der Ausführungsform
auf einem normalen Rechner oder einer anderen Verarbeitungseinheit
Software-implementiert sind. Dies sollte für den durchschnittlichen Computer-
und Software-Fachmann im Hinblick auf die folgende Erläuterung
offenkundig sein. Allerdings sollte angemerkt werden, dass die vorliegende
Erfindung auch in Hardware oder Hardware/Software implementiert
werden kann. Die analysierten Blickrichtungsmessungsdaten werden
während einer
Browser-Sitzung
von einem Benutzer gesammelt, der einen Anzeigebildschirm, wie beispielsweise
einen (nicht gezeigten) Monitor betrachtet, auf dem dynamische Multimedia-Seiten
angezeigt werden, wie beispielsweise eine Webseite im World Wide
Web über
einen Browser 4, wie beispielsweise den Internet Explorer® von Microsoft®,
der eine Objektmodell-Schnittstelle 6 umfasst, wie beispielsweise
die Komponentenobjektmodell-(COM)
Schnittstelle von Microsoft®, die ebenfalls im Folgenden
detaillierter erläutert
wird, da sie die vorliegende Erfindung betrifft. Unter diesem Aspekt
wird die vorliegende Erfindung hierin im Folgenden als auf das World
Wide Web 8 ("WWW". "Web" oder "Internet") angewendet beschrieben,
auf das sie insbesondere anwendbar ist. Es sollte jedoch klar sein,
dass die vorliegende Erfindung auch auf andere Anwendungen angewendet
werden kann. Des Weiteren können,
obwohl die Ausführungsform
der vorliegenden Erfindung speziell den Internet Explorer® von
Microsoft® für den Browser 4 und
die COM-Schnittstelle von Microsoft® für die Objektmodell-Schnittstelle 6 verwendet,
andere im Handel erhältliche
oder eigene Browser und/oder Objektmodell-Schnittstellen ebenfalls
problemlos verwendet werden.
-
Wie
deutlich zu sehen ist, umfasst das System 2 auch eine Blickrichtungs-Verfolgungsvorrichtung 12, ein
Protokollierungswerkzeug 16 und ein Zuordnungswerkzeug 22.
Die Blickrichtungs-Verfolgungsvorrichtung 12 überwacht
Ort und Uhrzeit des Blicks des Benutzers und speichert die Blickrichtungsmessungsdaten
in einer Datendatei 14 der Blickrichtungs-Verfolgungseinrichtung,
wobei die Blickrichtungsmessungsdaten die Blickpunkt-Informationen,
d.h. Informationen, die für
den Blick des Benutzers Indikativ sind, wenn der Benutzer eine Anzeige
von dynamischen Multimedia-Seiten, wie beispielswei se Webseiten,
auf dem Anzeigebildschirm betrachtet, sind. Selbstverständlich,
wie vorher angemerkt, muss die vorliegende Erfindung nicht ausschließlich zum
Analysieren von Daten von Webseiten verwendet werden, sondern kann
auch für
andere Anwendungen eingesetzt werden, wie beispielsweise andere
Multimedia-Anwendungen. Die Blickrichtungsmessungsdaten in der Datendatei 14 der
Blickrichtungs-Verfolgungsvorrichtung können in jeder geeigneten Weise
gesammelt werden, beispielsweise durch Verwendung von Einrichtungen
und Techniken, die vorher erläutert
wurden und dem Stand der Technik entsprechen und somit hier nicht
mehr detailliert erläutert
werden.
-
Das
Protokollierungswerkzeug 16 der vorliegenden Erfindung überwacht
und speichert oder "protokolliert" den Inhalt der auf
dem Anzeigebildschirm über
den Browser 4 angezeigten Webseiten in einem Speicher 18.
Das Protokollierungswerkzeug 16 kann ein rechnerimplementiertes
Software-Programm oder ein Software-Modul dann sein, das die Überwachungsfunktionen
ausführt
und die Inhaltsdaten der Seiten in den Speicher 18 speichert.
In dieser Hinsicht kann das Protokollierungswerkzeug 16 selbst
in einem Informationen-Speichermedium, wie beispielsweise allen
Variationen von Magnet-, optischen und Halbleiter-Speichern gespeichert
sein, einschließlich
Bildplatten, Disketten und sogar herunterladbaren Dateien auf einer
Festplatte eines Rechners, auf die über ein Netzwerk zugegriffen
werden kann. Der Speicher 18 kann jede Datenspeichereinrichtung
oder Zuordnungen dann sein, einschließlich aller Variationen von
Magnet-, optischen und Halbleiter-Speichern, wie beispielsweise
eine Festplatte eines Rechners. In der Ausführungsform ist der Speicher 18 eine
Zuordnung auf einer Festplatte eines Rechners, der das Protokollierungswerkzeug 16 ausführt. In
der dargestellten Ausführungsform überwacht
das Protokollierungswerkzeug 16 auch Ereignisse und Zeitdaten
der Ereignisse, die eine Veränderung
in den angezeigten Seiten verursachen, und speichert sie in einem
Ereignisprotokoll 20, das eine Textdatei ist, die ebenfalls
in einer Zuordnung auf der Festplatte des Rechners ist, der das
Protokollierungswerkzeug 16 ausführt. Diese Ereignisse können den
Bildlauf in den Seiten, das Aufrufen von Links und anderen Elementen,
die auf den Seiten angezeigt werden, sowie alle anderen Aktionen
umfassen, die eine Veränderung
in den angezeigten Seiten verursachen.
-
Wie
in 1 zu sehen ist, greift das Zuordnungswerkzeug 22 auf
die oben beschriebene Objektmodell-Schnittstelle 6 des
Browsers 4, die in der Datendatei 14 der Blickrichtungs-Verfolgungsvorrichtung
gespeicherten Blickrichtungsmessungsdaten, die im Speicher 18 gespeicherten
Seiten und das Ereignisprotokoll 20 zu, um damit eine wesentliche
Automatisierung der Punkte-Elemente-Zuordnung in der hierin beschriebenen Weise
zu gestatten. Insbesondere empfängt
das Zuordnungswerkzeug 22 die Blickrichtungsmessungsdaten der
Datendatei 14 der Blickrichtungs-Verfolgungsvorrichtung,
führt eine
Fixierungs-Zuordnung aus, welche die Blickrichtungsmessungsdaten
in Fixierungsdaten verarbeitet, die eine Identifizierung der für den Benutzer
interessanten Elemente und/oder Objekte, d.h. der Blickpunkte gestatten.
Es ist anzumerken, dass der Begriff Fixierungsdaten hierin verwendet
wird, um allgemein beliebige Informationen zu bezeichnen, die von
den Blickrichtungsmessungsdaten abgeleitet werden, einschließlich Informationen,
die von einer beliebigen Analysenebene der Blickrichtungsmessungsdaten
abgeleitet werden. In dieser Hinsicht kann der Begriff Fixierungsdaten
Informationen in Bezug auf die tatsächlichen Fixierungspunkte bedeuten,
auf die der Benutzer den Blick fixiert hat, (die für das Interesse
des Benutzers indikativ sind), Informationen in Bezug auf einen
Bereich in der Nähe
des Fixierungspunkts, der innerhalb einer grafischen Begrenzungslinie
enthalten ist, oder Informationen in Bezug auf einen Übergang,
der im Wesentlichen ein Cluster von Fixierungen ist, die über einen
vorgegebenen Algorithmus zueinander in Beziehung stehen. Daher sollte
beim Prüfen
der folgenden detaillierten Erläuterung
nicht vergessen werden, dass der im Folgenden hierin verwendete
Begriff Fixierungsdaten allgemeine beliebige Informationen bezeichnet,
die von den Blickrichtungsmessungsdaten abgeleitet werden.
-
Das
Zuordnungswerkzeug 22 generiert eine Fixierungsdatenliste 34 mit
den Fixierungsdaten, die von den Blickrichtungsmessungsdaten wie
oben beschrieben abgeleitet werden. Wenn die Blickrichtungsmessungsdaten
analysiert werden sollen, stellt das Zuordnungswerkzeug 22 die
Webseiten als genau diejenigen wieder her, die von dem Benutzer
während
der Betrachtungssitzung betrachtet wurden. Insbesondere wird dies
erreicht, indem die gespeicherten Seiten des Speichers 18 in
den Cache-Speicher des Browsers 4 geladen werden, und indem
das Ereignisprotokoll 20 über die Objektmodell-Schnittstelle 6 des
Browsers ausgeführt
wird, um damit ein präzises "Playback" dessen bereitzustellen,
was von dem Benutzer betrachtet worden ist. Selbstverständlich sind
Vorkehrungen getroffen, so dass der Analyst, der das vorliegende
System 2 verwendet, die Wiedergabe der wiederhergestellten
Seiten kontrollieren kann. Würde
die Wiedergabe durch erneuten direkten Zugriff auf die Webseiten über das
WWW erfolgen, könnte
eine ungenaue Wiedergabe erfolgen, wenn sich die Webseite geändert hat,
wobei eine solche Veränderung
in solchen Multimedia-Seiten eine allgemeine Erscheinung ist. Während Browser 4 typischerweise
einen Cache-Speicher aufweisen (oder zuordnen), um Webseiten, auf
die zugegriffen wurde, zu speichern, ist ein solcher Speicher des
Weiteren nicht sicher und kann leicht überschrieben werden. Daher
wird durch Wiederherstellen der Webseiten aus dem Speicher 18 das
Potenzial für
eine ungenaue Wiedergabe auf Grund eines dieser Faktoren eliminiert.
-
Das
Zuordnungswerkzeug 22 identifiziert auch Elemente der wiederhergestellten
Seiten in der oben erläuterten
Weise, indem auf die Objektmodell-Schnittstelle 6 des Browsers 4 zugegriffen
wird, und speichert die identifizierten Elemente und die damit zusammenhängenden
speziellen Informationen in einer Elemente-Datenbank 24.
Dies wird problemlos erreicht, indem auf die Objektmodell-Schnittstelle 6 des
Browsers 4 zugegriffen wird, der die Inhaltsinformationen
für jedes
der wiedergegebenen Elemente bereitstellt. Die "Elemente", auf die hierin Bezug genommen wird,
sind die für
den Benutzer interessanten semantischen Objekte auf Anwendungsebene,
die im Allgemeinen HTML-Elemente sind, die der Browser 4 auf
der Anzeigevorrichtung wiedergibt. Diese semantischen Objekte enthalten
Text, Bilder, Hyperlinks, Schaltflächen, Eingabefelder usw. Wie
das Protokollierungswerkzeug 16 kann das Zuordnungswerkzeug 22 ein
rechnerimplementiertes Software-Programm oder ein Software-Modul
dann sein, das die hierin beschriebenen Funktionen ausführt, wobei das
Software-Programm in einem Informationen-Speichermedium gespeichert
ist, wie beispielsweise allen Variationen von Magnet-, optischen
und Halbleiter-Speichern, einschließlich Bildplatten, Disketten
und sogar herunterladbaren Dateien auf einer Festplatte eines Rechners,
auf die über
ein Netzwerk zugegriffen werden kann.
-
Des
Weiteren ordnet das Zuordnungswerkzeug 22 die Fixierungsdaten
aus der oben beschriebenen Fixierungsdatenliste 34 zu der
wiederhergestellten Anzeige zu, um damit anzugeben, worauf der Blick
des Benutzers auf dem Anzeigebildschirm fixiert war. Verschiedene
Informationen in Bezug auf die zugeordnete Fixierung werden in einer
Blickelemente-Datenbank 26 gespeichert, wie beispielsweise
ein Datensatz für
jeden der Fixierungspunkte des Benutzers während der Browser-Sitzung,
oder jede andere Information, die von den Blickrichtungsmessungsdaten
abgeleitet wurde. In der Ausführungsform,
in der Fixierungspunkte in der Fixierungsdatenliste 34 enthalten
sind, enthalten die verschiedenen Informationen in Bezug auf die
zugeordnete Fixierung Uhrzeit und Dauer der Fixierung sowie den
Ort der Fixierung in relevanten Koordinatensystemen, wobei diese
im Folgenden detaillierter erläutert
werden. Daher automatisiert die vorliegende Erfindung im Wesentlichen
die Punkt-Element-Zuordnung, was vorher nicht erreicht worden ist.
Indem die Blickelemente-Datenbank 26 mit der oben erläuterten
Elemente-Datenbank 24 in Beziehung gesetzt wird, wozu Werkzeuge
wie beispielsweise Datenbankprogramme verwendet werden, ermöglicht es
die vorliegende Erfindung einem Analysten, schnell und einfach zu
bestimmen, welche Elemente der Benutzer fixiert hat (d.h. die tatsächlichen Blickelemente),
ohne die Anzeigebildschirme manuell zu prüfen, wie dies bei Systemen
und Verfahren des bisherigen Stands der Technik erforderlich war.
Weil des Weiteren der Inhalt und die Eigenschaften des Elements, (beispielsweise
sein HTML- oder XML-Tagname, seine grafische Begrenzungslinie auf
dem Bildschirm, sein Text, sein Bitmap und die URL), aufgezeichnet
werden, können
diese Daten weiter durchsucht, sortiert oder anderweitig analysiert
werden, um relevante Informationen zu erhalten, die sich auf die
vorher gestellten Fragen beziehen.
-
Es
sollte ebenfalls offenkundig sein, dass die vorliegende Erfindung
Browser 4 nutzt, wie beispielsweise den Internet Explorer® von
Microsoft®,
der Eigenschaften von Anzeige-Elementen
in symbolischer Form durch die Objektmodell-Schnittstelle, wie beispielsweise
die COM-Schnittstelle, bereitstellt. Die vorliegende Erfindung greift
auf den semantischen Inhalt der Elemente zu, um dadurch eine im
Wesentlichen automatische Ermittlung der Blickelemente zu gestatten,
und gestattet des Weiteren, dass die Datenanalyse gewünschte Informationen,
wie beispielsweise eine Schriftart und den Inhalt eines Worts bestimmt.
-
Die
vorliegende Erfindung stellt ein verbessertes System und Verfahren
zum Analysieren von Blickrichtungsmessungsdaten bereit, die die
Interaktion und den Aufwand des menschlichen Analysten minimieren, indem
eine wesentliche Automatisierung der Punkte-Elemente-Zuordnung gestattet
wird, die zum Identifizieren von Blickelementen verwendet werden
kann. Die vorliegende Erfindung gestattet des Weiteren eine umfassende
Datenanalyse auf der Basis der erhaltenen Daten, weil sie den Inhalt
der Anzeige-Elemente
ermittelt. Allerdings wird auf Grund der relativ hohen Ebene von
Rechnerressourcen, die erforderlich sind, um dem Benutzer das Betrachten
der Anzeige von dynamischen Multimedia-Seiten zu gestatten und die
Blickrichtungs-Verfolgungsvorrichtung aufzuzeichnen und zu analysieren
und wieder aufzuzeichnen, in Erwägung
gezogen, dass in einer alternativen Ausführungsform der vorliegenden
Erfindung ein getrennter Stimulus-Rechner zum Betrachten der Anzeige
getrennt von dem Blickrichtungs-Messungsrechner bereitgestellt wird,
so dass das Betrachten und/oder Sammeln von Daten nicht unterdrückt wird.
Wahlweise kann auch ein getrennter Rechner oder Prozessor verwendet
werden, um das Zuordnungswerkzeug zu implementieren. Wenn jedoch zwei
oder mehrere Rechner zum Implementieren der oben beschriebenen Ausführungsform
der vorliegenden Erfindung verwendet werden, treten spezielle Probleme
auf, weil die präzise
Uhrzeit und der Ort des Blicks des Benutzers von einem Rechner überwacht
und aufgezeichnet werden, wogegen die dynamische Multimedia-Seite
in einem anderen Rechner betrachtet und aufgezeichnet wird. Insbesondere
sind die Koordinatensysterne der Blickrichtungs-Verfolgungsvorrichtung
und der Anzeige des Stimulus-Rechners sehr wahrscheinlich nicht
die Gleichen. Des Weiteren ist es unwahrscheinlich, dass die Zeitinformationen
zwischen den verschiedenen Rechnern nicht die Gleichen sind, so
dass eine präzise
Wiederherstellung der angezeigten Seiten nicht möglich ist.
-
In
einer solchen Ausführungsform
kalibriert das Zuordnungswerkzeug das Koordinatensystem der in der
Datendatei 14 der Blickrichtungs-Verfolgungsvorrichtung
gespeicherten Blickrichtungsmessungsdaten auf das Koordinatensystem
des Anzeigebildschirms, der zum Betrachten der dynamischen Multimedia-Seiten
verwendet wird. Diese Kalibrierung gestattet es dem Zuordnungswerkzeug 22,
die Orte des Blicks des Benutzers sowie die auf der Webseite angezeigten
Elemente präzise
zu positionieren, trotz der Tatsache, dass getrennte Rechner verwendet
werden. Das Zuordnungswerkzeug 22 nimmt des Weiteren eine
zeitliche Synchronisierung in den Daten vor, die durch die getrennten
Rechner bereitgestellt werden, so dass eine präzise Wiederherstellung der
Anzeige ermöglicht
wird.
-
Die
obige Erläuterung
beschreibt allgemein die vorliegende Erfindung in ausreichendem
Detail für
einen durchschnittlichen Fachmann auf dem Gebiet von Rechnem und
Computer-Wissenschaft, um die vorliegende Erfindung auszuüben. Um
jedoch des Weiteren die Merkmale einer Ausführungsform der vorliegenden Erfindung
zu beschreiben, in der getrennte Rechner zur Betrachtung und Blickrichtungsmessung
verwendet werden, werden zusätzliche
spezifische Details hierin im Folgenden dargelegt. Wie offenkundig
wird, stellt die vorliegende Erfindung, wie sie im Folgenden erläutert wird,
weitere Details in Bezug auf die vorliegende Erfindung zusammen
mit verschiedenen Lösungen
für die oben
genannten Probleme beim Erreichen der Punkte-Elemente-Zuordnung
in Anwendungen bereit, bei denen mehr als ein Rechner verwendet
wird.
-
BROWSER und
OBJEKTMODELL-SCHNITTSTELLE
-
2 stellt
eine weitere Ausführungsform
des Systems 102 zum Analysieren von Blickrichtungsmessungsdaten
bereit, die von einem Benutzer gesammelt werden, der die Anzeige
von dynamischen Multimedia-Seiten betrachtet, wobei mehr als ein
Rechner verwendet wird. Wie ersichtlich ist, wird eine Web-Studie mit
Blickrichtungsmessung durch Überwachung
und Blickrichtungsverfolgung eines Benutzers während einer Browser-Sitzung
durchgeführt,
in deren Verlauf der Benutzer eine Anzeige von dynamischen Multimedia-Seiten über einen
Browser 104 betrachtet. Ein Stimulus-Rechner 150 wird
verwendet, um für
den Benutzer einen WWW-Zugriff 108 bereitzustellen, so
dass der Benutzer das Web durchsuchen kann. Der Benutzer betrachtet verschiedene
Webseiten über
den Browser 104, wie beispielsweise den Microsoft Internet
Explorer®,
auf einer Rechner-Anzeigevorrichtung des Stimulus-Rechners 150.
Wie auf dem Fachgebiet bekannt ist, ändert der Browser 104 die
Anzeige als Antwort auf die Aktionen des Benutzers, wie beispielsweise
das Navigieren zu verschiedenen Webseiten und/oder den Bildlauf.
Die für
den Benutzer interessanten semantischen Objekte auf Anwendungsebene
sind HTML- oder XML-Elemente, die der Browser auf der Anzeigevorrichtung
des Stimulus-Rechners wiedergibt, einschließlich Text, Bilder, Hyperlinks,
Schaltfläche,
Eingabefelder usw.
-
Das
Protokollierungswerkzeug 116 und das Zuordnungswerkzeug 122 in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung arbeiten nacheinander mit dem Browser 102,
wie beispielsweise dem Internet Explorer® von
Microsoft®,
der eine Objektmodell-Schnittstelle 106 aufweist. Der Internet
Explorer® stellt
einen großen
Teil von Funktionalität
für andere
Software-Teile über
die Komponentenobjektmodell-(COM) Technologie von Microsoft® bereit.
Die COM-Technologie gestattet es unabhängigen Software-Objekten, (d.h. Anwendungen
oder einer Anwendung untergeordneten Widgets), über eine Software-Schnittstelle
zu kommunizieren. In dieser Hinsicht wird die vorliegende Erfindung
als so implementiert beschrieben, dass sie die COM-Technologie von
Microsoft® verwendet,
doch sollte angemerkt werden, dass andere Objektmodelle, wie beispielsweise
CORBA, ebenfalls bei der Ausübung
der vorliegenden Erfindung verwendet werden können.
-
Da
sich die COM-Technologie von Microsoft® am
einfachsten durch Anwendungen nutzen lässt, die in Visual Basic geschrieben
sind, sind in einer Ausführungsform
das Protokollierungswerkzeug 116 und das Zuordnungswerkzeug 122 beide
in Visual Basic geschrieben. Die COM-Schnittstelle 106 des
Browsers 104 umfasst wie die COM-Schnittstelle jeder Software,
die COM unterstützt,
eine Liste von Methoden, Eigenschaften und Ereignissen. Methoden
sind Funktionen, die der Browser 104 von anderen Software-Teilen
angewiesen werden kann auszuführen,
wie beispielsweise die Navigation zu einer Webseite, Bildlauf im
Browser-Fenster, Anklicken des Fensters des Internet Explorers®,
Schreiben im Internet Explorer®-Fenster und Bewegen des Fensters.
Eigenschaften sind Datenelemente des Internet Explorers®, deren
Werte eingestellt werden können oder
auf die durch andere Software-Teile zugegriffen werden kann, wie
beispielsweise die Internetadresse (URL) der aktuell angezeigten
Webseite, Fenstergröße und -position
und die Position der Webseiten-Elemente in Bezug auf das Fenster
des Internet Explorers®. Ereignisse gestatten
es anderer Software, die Browser zu überwachen, da der Internet
Explorer® Ereignisse
bei gewissen Erscheinungen während
seiner Ausführung auslöst (fires).
Der Browser 104, wie beispielsweise der Internet Explorer® löst Ereignisse
aus, wenn er das Navigieren zu einer Webseite beginnt und beendet,
wenn er das Laden einer Webseite beginnt und beendet, wenn ein Benutzer
auf einer Seite einen Bildlauf ausführt, auf sie klickt oder schreibt,
und wenn ein Benutzer das Browser-Fenster bewegt oder dessen Größe anpasst.
Wie hierin im Folgenden detaillierter erläutert werden wird, verwendet
die vorliegende Erfindung diese Methoden, Eigenschaften und Ereigniskomponenten
der Objektmodell-Schnittstelle 106 (wie beispielsweise
COM von Microsoft®), um die angezeigte Seite
wiederherzustellen, den Blick des Benutzers zuzuordnen und die symbolische
Darstellung der anzeigten Elemente zu extrahieren, um dadurch eine
im Wesentlichen automatisierte Identifizierung der Blickelemente
zu gestatten.
-
BLICKRICHTUNGS-VERFOLGUNGSVORRICHTUNG
-
Der
Blick des Benutzers wird überwacht
und analysiert, wobei eine Reihe von Geräten verwendet wird, einschließlich einer
Blickrichtungs-Verfolgungsvorrichtung 112, die in der Fachwelt
bekannt ist. Eine typische Konfiguration für eine Blickrichtungs-Verfolgungsvorrichtung 112 umfasst
eine auf dem Tisch befestigte Kamera, die ein Bild des Auges eines
Benutzers an einen zweckgebundenen Blickrichtungsverfolgungs-Rechner sendet,
der von dem Stimulus-Rechner getrennt ist, den der Benutzer während der
Browser-Sitzung betrachtet. Dies wiederum ist auf die relativ hohe
Ebene von Rechner-Ressourcen
zurückzuführen, die
zum Analysieren und Aufzeichnen der Blickdaten des Benutzers erforderlich
ist. Jedoch kann mit der zunehmenden Rechenleistung und -kapazität der gleiche
Rechner verwendet werden, wie oben in Bezug auf die zuerst erläuterte Ausführungsform
beschrieben wurde. Die Blickrichtungs-Verfolgungsvorrichtung 112 überwacht
und analysiert den Blick des Benutzers und speichert wenigstens
den Ort und die Uhrzeit des Blicks des Benutzers, (d.h. den Blickpunkt)
alle 1/60 einer Sekunde in der Datendatei 114 der Blickrichtungs-Verfolgungsvorrichtung. Die
gespeicherten Blickrichtungsmessungsdaten können dann in Übereinstimmung
mit der vorliegenden Erfindung analysiert werden.
-
PROTOKOLLIERUNGSWERKZEUG
-
Wie
vorher oben beschrieben, überwacht
das Protokollierungswerkzeug 116 der vorliegenden Erfindung
Informationen, wie beispielsweise den Inhalt der über den
Browser 104 angezeigten Webseiten und speichert oder "protokolliert" sie im Speicher 118.
Wie ersichtlich ist, ist das Protokollierungswerkzeug 116 in
der vorliegenden Erfindung im Stimulus-Rechner 150 implementiert,
der von dem Blickrichtungsverfolgungs-Rechner 155 getrennt
ist. Wegen der sich ständig ändernden
Natur der dynamischen Multimedia-Seiten,
wie beispielsweise Webseiten, kann die Verfügbarkeit der exakt gleichen
Webseite in exakt der durch den Browser 104 angezeigten
Form nicht garantiert werden, wenn diese Seiten wiederhergestellt
werden müssen,
um die Blickrichtungsmessungsdaten oder davon abgeleitete Fixierungsdaten
zuzuordnen. Daher wird durch tatsächliches Speichern des Inhalts
der durch den Browser 104 angezeigten Webseiten im Speicher 118 diese
Verfügbarkeit
der exakt gleichen Webseiten sichergestellt. In dieser Ausführungsform
wird diese Überwachung und
das Speichern des Inhalts der Webseiten problemlos erreicht, indem
der Inhalt, der in dem lokalen plattenbasierten Cache-Speicher des
Browsers gespeichert ist, in ein "sicheres" Verzeichnis, wie beispielsweise den
Speicher 118 des Protokollierungswerkzeugs 116 kopiert
wird, wo die Inhalte nicht ohne Weiteres überschrieben werden können.
-
Das
Protokollierungswerkzeug 116 überwacht auch Ereignisse und
Zeitdaten der Ereignisse, die eine Veränderung in der angezeigten
Webseite verursachen, und speichert sie in einem Ereignisprotokoll 120.
Das Ereignisprotokoll 120 ist eine Textdatei, die ein Format
aufweist, das sich leicht in ein Standard-Datenbankprogramm importieren
lässt.
In einer Ausführungsform
der vorliegenden Erfindung zeichnet das Protokollierungswerkzeug 116 für jedes
Ereignis den Ereignisnamen, ereignisspezifische Parameter und die
Uhrzeit des Ereignisses in vier verschiedenen Formaten auf: gesamte
verstrichene Versuchszeit, Zeit seit dem letzten Ereignis, Tageszeit
in maschinenlesbarem Format und Tageszeit in für den Menschen lesbarem Format.
Das Datenbankkonzept für
jedes Ereignis, das beim Generieren des Ereignisprotokolls 120 in Übereinstimmung
mit der vorliegenden Ausführungsform
verwendet wird, wird in Tabelle 1: EREIGNISPROTOKOLL-KONZEPT in 3 erläutert. Demnach
speichert das Protokollierungswerkzeug 116 die vorgegebenen
Ereignisnamen, wie in 3 dargelegt, bei einem Auftreten
des entsprechenden Ereignisses in dem Ereignisprotokoll 120.
Wie vorher angemerkt, umfassen diese Ereignisse solche Ereignisse,
welche die angezeigte Webseite verändern (einschließlich Navigieren
und Herunterladen), den Abschnitt der angezeigten Seite (wie beispielsweise
beim Bildlauf), oder die Position und/oder Größe des Fensters des Browsers 104 in
Bezug auf den Anzeigebildschirm, sowie Ereignisse, die sich auf
räumliche
Kalibrierung und zeitliche Synchronisierung beziehen, die im Folgenden
im Detail erläutert
werden.
-
Zusätzlich zu
dem oben Genannten weist das Protokollierungswerkzeug 116 auch
eine integrierte Kalibrierungspunkt-Funktion auf, die hintereinander
mit der eigenen Kalibrierungsprozedur der Blickrichtungs-Verfolgungsvorrichtung 112 arbeitet.
Während
der räumlichen
Kalibrierungsprozedur setzt das Protokollierungswerkzeug 116 einen
Kalibrierungspunkt auf dem Anzeigebildschirm, (in diesem Beispiel
an gegenüberliegenden
Ecken), so dass der Benutzer auf sie blicken und sie fixieren kann.
Der Analyst, der das vorliegende System 102 verwendet,
gibt dann für
die Blickrichtungs-Verfolgungsvorrichtung 112 an, dass
der Benutzer einen gesetzten Kalibrierungspunkt fixiert. Die Blickrichtungs-Verfolgungsvorrichtung 122 sendet
dann die Koordinaten des Kalibrierungspunkts zu dem Protokollierungswerkzeug 116 in
dem Koordinatensystem der Blickrichtungs-Verfolgungsvorrichtung. Dieses Senden
der Koordinaten kann über
eine serielle Anschlussverbindung 117 oder eine andere
Datenverbindung erreicht werden. Da eigent lich das Protokollierungswerkzeug 116 den
Kalibrierungspunkt setzt, kennt es die Koordinaten des Punkts in
dem Bildschirm-Koordinatensystem bereits. Wenn das Protokollierungswerkzeug 116 die
Koordinaten des Kalibrierungspunkts in dem Koordinatensystem der
Blickrichtungs-Verfolgungsvorrichtung empfängt, schreibt es ein Ereignis
BLICKRICHTUNGS-VERFOLGUNGSVORRICHTUNGS-KALIBRIERUNG (EYETRACKERCALIBRATION)
für jeden
der Kalibrierungspunkte in das Ereignisprotokoll 120, wobei
die Koordinaten der Kalibrierungspunkte der Blickrichtungs-Verfolgungsvorrichtung
und des Bildschirms angegeben werden. Damit werden die Kalibrierungspunkte bereitgestellt,
die dann verwendet werden können,
um die angezeigten Seiten im Speicher 118 exakt wiederherzustellen
und die Blickrichtungsmessungsdaten oder die davon abgeleiteten
Fixierungsdaten zuzuordnen, wobei diese Gesichtspunkte im Folgenden
weiter ausgeführt
werden.
-
Des
Weiteren weist das Protokollierungswerkzeug 116 eine integrierte
Zeitpunkt-Synchronisierungsfunktion auf, mit der ein numerisches
Markierungszeichen zu der Datendatei 114 der Blickrichtungs-Verfolgungsvorrichtung
hinzugefügt
wird, um eine zeitliche Synchronisierung zwischen den im Speicher 118 gespeicherten
Seiten, dem Ereignisprotokoll 120 und den Blick-Informationen
des Benutzers in der Datendatei 114 der Blickrichtungs-Verfolgungsvorrichtung
zu gestatten. Insbesondere sendet das Protokollierungswerkzeug 116 ein
numerisches Markierungszeichen, wie beispielsweise eine Zahl, nach
jeweils einer vorgegebenen Zeitdauer, (wie beispielsweise eine Sekunde
oder eine andere Zeitgröße), an
die Blickrichtungs-Verfolgungsvorrichtung 112. Das numerische
Markierungszeichen wird jedes Mal um Eins (oder eine andere Größe) erhöht, wenn
es von dem Protokollierungswerkzeug 116 gesendet wird,
und wird durch die Blickrichtungs-Verfolgungsvorrichtung 112 als
Zeitinformation in der Datendatei 114 der Blickrichtungs-Verfolgungsvorrichtung
aufgezeichnet. Das Senden des numerischen Markierungszeichens wird
des Weiteren als ein BLICKRICHTUNGS-VERFOLGUNGSVORRICHTUNG-SYNCHRONISIERUNGS-Ereignis
(EYETRACKER-SYNC event) im Ereignisprotokoll 120 aufgezeichnet.
Die Übertragung
des numerischen Markierungszeichens von dem Protokollierungswerkzeug 116 zu
der Blickrichtungs-Verfolgungsvorrichtung 112 kann über die
gleiche serielle Anschlussverbindung 117 oder eine andere
Datenverbindung erreicht werden, die für die oben beschriebene räumliche
Kalibrierung verwendet wurde. Diese Zeitpunkt-Synchronisierungsfunktion
gestattet wiederum die zeitliche Synchronisierung zwischen den zwei
Rechnern, so dass eine exakte Wieder herstellung der angezeigten
Seiten und Zuordnung der Blickrichtungsmessungsdaten oder der davon
abgeleiteten Fixierungsdaten erreicht werden kann, wobei diese Gesichtspunkte
im Folgenden weiter erläutert
werden.
-
ZUORDNUNGSWERKZEUG
-
Wie
oben beschrieben greift das Zuordnungswerkzeug 122, wie
in 2 gezeigt, auf die oben beschriebene Objektmodell-Schnittstelle 106 des
Browsers 104, die in der Datendatei 114 der Blickrichtungs-Verfolgungsvorrichtung
gespeicherten Blickrichtungsmessungsdaten, die im Speicher 118 gespeicherten
angezeigten Bilder und das Ereignisprotokoll 120 zu, das
von dem Protokollierungswerkzeug 116 bereitgestellt wird, um
dadurch eine Punkte-Elemente-Zuordnung zu gestatten. Wegen der Rechner-Ressourcen,
die zur Implementierung des Zuordnungswerkzeugs 122 erforderlich
sind, implementiert die vorliegende Ausführungsform das Zuordnungswerkzeug 122 in
einem getrennten Rechner 160. Es sollte angemerkt werden,
dass das Zuordnungswerkzeug 122 selbstverständlich auch
in dem gleichen Rechner wie das Protokollierungswerkzeug 116 oder
sogar die Blickrichtungs-Verfolgungsvorrichtung 112 implementiert
werden kann, da die Zuordnung nach dem Erhalten der Blickrichtungsmessungsdaten
und der Ereignisdaten und nach dem Speichern der angezeigten Seiten
erfolgt. Andere Implementierungen des Zuordnungswerkzeugs 122 sind
ebenfalls möglich, wie
beispielsweise in einem Server/Client-Netzwerk oder verteilter oder
paralleler Verarbeitung. Wie vorher erläutert, führt das Zuordnungswerkzeug 122,
sobald die Betrachtungssitzung und Datensammlung abgeschlossen und
die Blickrichtungsmessungsdaten zu analysieren sind, eine Fixierungsanalyse
aus und stellt dann die Webseiten als genau diejenigen, die von
dem Benutzer während
der Betrachtungssitzung betrachtet wurden, in der Weise wieder her,
die in Bezug auf die erste Ausführungsform
vorher beschrieben wurde. Wie ebenfalls vorher beschrieben wurde,
identifiziert das Zuordnungswerkzeug 122 auch Elemente
der Seiten, die in der oben erläuterten
Weise wiederhergestellt wurden, indem auf die Objektmodell-Schnittstelle 106 des
Browsers 104 zugegriffen wird, und speichert die identifizierten
und die damit zusammenhängenden
Elemente in einer Elemente-Datenbank 124. Dies wird wiederum
problemlos erreicht durch Zugreifen auf die Objektmodell-Schnittstelle 6 des
Browsers, der Inhaltsinformationen für jedes der wiedergegebenen
Elemente bereitstellt. Außerdem
verarbeitet das Zuordnungswerkzeug 122 des Weiteren die
verfügbaren
Daten, um eine Blickelemente-Datenbank 126 bereitzustellen,
wie im Folgenden dargelegt wird. Schließlich führt das Zuordnungswerkzeug 122 auch
eine räumliche
Kalibrierung und eine Zeitsynchronisierung durch, die hierin im
Folgenden detaillierter erläutert
werden. Diese und andere Überlegungen
in Bezug auf die vorliegende Erfindung werden im Folgenden ausführlich behandelt.
-
Fixierungspunkt-Analyse
-
Wie
vorher angemerkt, wird der Begriff Fixierungsdaten hierin verwendet,
um allgemein alle Informationen zu bezeichnen, die von den Blickrichtungsmessungsdaten
abgeleitet wurden, einschließlich
Informationen, die von jeder Analysenebene der Blickrichtungsmessungsdaten
abgeleitet wurden. In den Ausführungsformen
der vorliegenden Erfindung, in denen die Blickrichtungsmessungsdaten
entweder die Fixierungspunkte sind, auf die der Benutzer den Blick
fixiert hat, oder der Bereich um die Fixierungspunkte herum, müssen die Fixierungspunkte
ausgehend von Blickpunkt-Daten ermittelt werden, die von der Blickrichtungs-Verfolgungsvorrichtung 112 bereitgestellt
werden. In diesem Zusammenhang ist eine Fixierung normalerweise
dann eingetreten, wenn der Blick der Augen des Benutzers während einer
gewissen Mindestzeitdauer innerhalb eines gewissen kleinen Bereichs
verbleibt, wodurch sichergestellt wird, dass der Blick des Benutzers
tatsächlich
auf ein für
den Benutzer interessantes Element fokussiert ist. Es sollte jedoch
verstanden werden, dass die Kriterien zum Ermitteln der Blickfixierung
auf dem Gebiet der Blickrichtungsverfolgung unterschiedlich sein
können, und
dass verschiedene Kriterien zum Ausüben der vorliegenden Erfindung
verwendet werden können.
Nachdem das Zuordnungswerkzeug 122 mit den Blickrichtungsmessungsdaten,
die in der Datendatei 114 der Blickrichtungs-Verfolgungsvorrichtung
gespeichert sind, als Eingabe versorgt ist, führt das Zuordnungswerkzeug daher
eine Fixierungsanalyse durch, um Fixierungsdaten bereitzustellen,
die in der später
verwendeten Fixierungsdatenliste 134 gespeichert werden.
Des Weiteren sollte angemerkt werden, dass die oben beschriebene Fixierungspunkt-Analyse
in anderen Ausführungsformen
der vorliegenden Erfindung nicht erforderlich sein kann, in denen
die Blickrichtungsmessungsdaten auf einer höheren Ebene verarbeitet werden,
wie beispielsweise die vorher beschriebenen Übergänge, bei denen Informationen
in Bezug auf ein Cluster von Fixierungen erhalten werden, die durch
einen vorgegebenen Algorithmus zueinander in Beziehung stehen.
-
Räumliche Kalibrierung
-
Wie
oben beschrieben wurde, wandelt die Fixierungsanalyse durch das
Zuordnungswerkzeug die Blickrichtungsmessungsdaten der Datendatei 114 der
Blickrichtungs-Verfolgungsvorrichtung in Fixierungsdaten der Fixierungsdatenliste 134 um.
Die Fixierungsdaten sind wiederum alle Informationen, die von den
Blickrichtungsmessungsdaten abgeleitet werden, gleichgültig, ob
es sich um Informationen in Bezug auf die Fixierungspunkte, den
Bereich in der Nähe
der Fixierungspunkte oder Übergänge handelt.
Die sich daraus ergebenden Fixierungsdaten befinden sich jedoch
immer noch in dem zweidimensionalen Koordinatensystem der Blickrichtungs-Verfolgungsvorrichtung 112 selbst.
Um zu verstehen, wie diese Daten mit den Elementen auf der getrennten
Anzeigevorrichtung des Stimulus-Rechners zusammenhängen, auf
die der Benutzer tatsächlich
geblickt hat, führt
das Zuordnungswerkzeug 122 der vorliegenden Erfindung eine
räumliche
Kalibrierung aus, bei der die Fixierungsdaten von dem Koordinatensystem
der Blickrichtungs-Verfolgungsvorrichtung in das Koordinatensystem
des Anzeigebildschirms umgewandelt werden.
-
Diese
räumliche
Kalibrierung wird mit Kalibrierungspunkten erreicht, die für die Blickrichtungs-Verfolgungsvorrichtung
112 und
für das
Ereignisprotokoll
120 durch das Protokollierungswerkzeug
116 bereitstellt werden,
wie vorher beschrieben. Das Zuordnungswerkzeug
122 ist
mit einem Protokolldatei-Syntaxanalysator
130, der so ausgelegt
ist, dass er das Ereignisprotokoll
120 analysiert, und
auch mit einem Daten-Syntaxanalysator
132 zum Analysieren
der Datendatei
114 der Blickrichtungs-Verfolgungsvorrichtung
ausgestattet. Insbesondere sucht der Protokolldatei-Syntaxanalysator
130 des
Zuordnungswerkzeugs
122 zwei BLICKRICHTUNGS-VERFOLGUNGSVORRICHTUNGSKALIBRIERUNGS-Ereignisse
(EYETRACKER-CALIBRATION event) als Kalibrierungspunkte an gegenüberliegenden
Ecken des Anzeigebildschirms, die in dem Ereignisprotokoll
120 während der
vorher erläuterten
Kalibrierung der Blickrichtungs-Verfolgungsvorrichtung
122 aufgezeichnet
wurden, und stellt die Koordinaten dieser Kalibrierungspunkte in
dem Koordinatensystem des Anzeigebildschirms bereit. In ähnlicher
Weise sucht der Daten-Syntaxanalysator
132 die entsprechenden
Koordinaten zu den zwei Kalibrierungspunkten in dem Koordinatensystem
der Blickrichtungs-Verfolgungsvorrichtung
122, die während der
Kalibrierung der Blickrichtungs-Verfolgungsvorrichtung
122 in
der Datendatei
114 der Blickrichtungs-Verfolgungsvorrichtung
aufgezeichnet wurden. Es sollte angemerkt werden, dass der Protokolldatei-Syntaxanalysator
130 und
der Daten- Syntaxanalysator
132 in
der vorliegenden Ausführungsform
Software-Module sind, die in dem Zuordnungswerkzeug
122 vorgesehen
sind. Es sollte verstanden werden, dass diese Syntaxanalysatoren
selbstverständlich
auch getrennte Programme außerhalb
des Zuordnungswerkzeugs
122 sein können. Wenn zwei (oder mehr)
solche Kalibrierungspunkte bekannt und identifiziert sind, kann das
Zuordnungswerkzeug
122 jeden Punkt aus dem Koordinatensystem
der Blickrichtungs-Verfolgungsvorrichtung in einen Punkt in dem
Koordinatensystem des Anzeigebildschirms umwandeln gemäß den folgenden Koordinatensystem-Umwandlungsformeln:
und
wobei
(x
1, y
1) ein willkürlicher
Punkt im Koordinatensystem
1 ist, (in diesem Fall beispielsweise
das Koordinatensystem der Blickrichtungs-Verfolgungsvorrichtung
112),
(X
A1, Y
A1) und (X
B1, Y
B1) verschiedene
Kalibrierungspunkte im Koordinatensystem
1 sind, und (X
A2, Y
A2) und (X
B2, Y
B2) die entsprechenden
Kalibrierungspunkte im Koordinatensystem
2 sind (in diesem
Fall beispielsweise im Koordinatensystem des Anzeigebildschirms). Der
Punkt (x
2, y
2) ist
die Umwandlung von (x
1, y
1)
in das Koordinatensystem
2. Unter Bezugnahme auf die oben bereitgestellten
Umwandlungsformeln sollte angemerkt werden, dass beide der Koordinatensystem
auf die gleiche Weise ausgerichtet sein sollten. Demnach sollten
zum Beispiel die Koordinatensysteme der Blickrichtungs-Verfolgungsvorrichtung
112 und
des Anzeigebildschirms beide positive Achsen aufweisen, die sich
vom Ursprung aus nach rechts und unten erstrecken. Des Weiteren
sollte ebenfalls angemerkt werden, dass andere Umwandlungstechniken
und/oder Formeln in Verbindung mit der vorliegenden Erfindung verwendet
werden können,
und dass die obigen speziellen Umwandlungsformeln nur als die Formeln
zum Erhalten der Umwandlung der Koordinatensysteme bereitgestellt
sind. Daher verwendet das Zuordnungswerkzeug
122 effizient
die Kalibrierungspunkte in dem Koordinatensystem, das von dem Protokollie rungswerkzeug
116 bereitgestellt wird,
und Umwandlungsformeln, beispielsweise wie die oben bereitgestellten
und erläuterten,
um damit Punkte aus dem Koordinatensystem der Blickrichtungs-Verfolgungsvorrichtung
112 in
das Koordinatensystem des Anzeigebildschirms umzuwandeln.
-
Zeitsynchronisierung
-
In Übereinstimmung
mit der vorliegenden Ausführungsform
der Erfindung beginnt die Blickrichtungs-Verfolgungsvorrichtung 112 damit,
Blickrichtungsmessungsdaten (d.h. Blickpunkte) auszugeben, wenn die
Blickrichtungs-Verfolgungsvorrichtung 112 in Betrieb ist
oder anderweitig angewiesen wird, mit dem Aufzeichnen zu beginnen.
Wie einem Fachmann klar ist, entspricht der Zeitpunkt, an dem die
Blickrichtungs-Verfolgungsvorrichtung 112 mit dem Ausgeben
der Blickrichtungsmessungsdaten beginnt, jedoch nicht notwendigerweise
dem Beginn der Browser-Sitzung des Benutzers. Dies kann in der vorliegenden
Ausführungsform
der Fall sein, da die Blickrichtungs-Verfolgungsvorrichtung 112 auf
einem anderen Rechner implementiert ist als das Protokollierungswerkzeug 116,
das auf dem Stimulus-Rechner implementiert ist, auf dem die Browser-Sitzung läuft. Des
Weiteren kann dies auch vorkommen unter der Bedingung, dass der
Beginn des Einsatzes der Blickrichtungs-Verfolgungsvorrichtung 122 und
des Protokollierungswerkzeugs 116 nicht simultan erfolgt. Demzufolge
beziehen sich die Zeitinformationen in den Fixierungsdaten aus der
oben erläuterten
Fixierungsanalyse auf den Beginn der Aufzeichnung der Blickrichtungs-Verfolgungsvorrichtung 112,
während
Uhrzeiten von Ereignissen im Ereignisprotokoll 120 sich
auf den Beginn der Browser-Sitzung beziehen. Zum exakten Zuordnen
der Fixierungsdaten zu den wiederhergestellten Daten müssen die
Fixierungsdaten zeitlich auf die Ereignisse in dem Ereignisprotokoll 120 aus
der Browser-Sitzung abgestimmt werden.
-
Diese
zeitliche Synchronisierung der Fixierungsdaten mit der Browser-Sitzung
wird erreicht, indem die Synchronisierungs-Zeitpunkte (d.h. der
Punkt zum Zeitpunkt eines numerischen Markierungszeichens, das vorher
beschrieben wurde) in der Datendatei 114 der Blickrichtungs-Verfolgungsvorrichtung,
die zeitlich einem bekannten Ereignis aus der Browser-Sitzung entsprechen,
verwendet werden. Dazu verwendet das Zuordnungswerkzeug 122 den
Protokolldatei-Syntaxanalysator 130, um ein numerisches
Markierungszeichen für ein
BLICKRICHTUNGS-VERFOLGUNGSVORRICHTUNGS-SYN CHRONISIERUNGS-Ereignis
(EYTRACKER-SYNC event) zu suchen, das in dem Ereignisprotokoll 120 gespeichert
ist, und verwendet auch den Daten-Syntaxanalysator 132,
um das entsprechende numerische Markierungszeichen in der Datendatei 114 der Blickrichtungs-Verfolgungsvorrichtung
zu suchen. Das BLICKRICHTUNGS-VERFOLGUNGSVORRICHTUNGS-SYNCHRONISIERUNGS-Ereignis
(EYTRACKER-SYNC event) und das entsprechende numerische Markierungszeichen
werden verwendet, um die Fixierungsdaten und die Ereigniszeitpunkte
der Browser-Sitzung auf den gleichen Takt abzustimmen, der hierin
als "Simulationstakt" bezeichnet wird.
Der Nullpunkt des Simulationstakts entspricht dem Beginn der Browser-Sitzung,
so dass Zeitdaten aus Ereignissen der Browser-Sitzung bereits auf
den Simulationstakt abgestimmt sind. Die zeitliche Abstimmung der
Fixierungsdaten auf den Simulationstakt wird unter Verwendung der
Synchronisierungspunkte erhalten. Durch Subtrahieren des Zeitpunkts
des Synchronisierungspunkts in den Daten der Browser-Sitzung vom
Zeitpunkt des Synchronisierungspunkts in den Daten der Blickrichtungs-Verfolgungsvorrichtung
kann ein "Synchronisierungs-Ausgangspunkt" ermittelt werden.
Der Synchronisierungs-Ausgangspunkt ist der Punkt in Bezug auf den
Beginn der Blickrichtungsmessung, der auf dem Simulationstakt Null
entspricht und daher dem Beginn der Browser-Sitzung entspricht.
Nach dem Ermitteln des Synchronisierungs-Ausgangspunkts wandelt
das Zuordnungswerkzeug 122 der vorliegenden Ausführungsform
die Zeiten für
alle Fixierungsdaten gemäß der folgenden
Formel in Zeiten auf dem Simulationstakt um: tsc = tet – t0 wobei tsc die
Zeit der Fixierung auf dem Simulationstakt ist, tet die
Zeit der Fixierung auf dem Takt der Blickrichtungs-Verfolgungsvorrichtung
ist und t0 die Zeit des Synchronisierungs-Ausgangspunkts
in Bezug auf den Beginn der Blickrichtungsmessung ist. Auf diese
Weise werden die Fixierungsdaten mit der Browser-Sitzung so synchronisiert,
dass alle Fixierungsdaten zu einem korrekten Zeitpunkt auf dem Simulationstakt
angezeigt und einem Element zugeordnet werden. Selbstverständlich können in Übereinstimmung
mit anderen Ausführungsformen
der vorliegenden Erfindung auch andere Techniken verwendet werden,
welche die gewünschte
zeitliche Synchronisierung erzielen.
-
Zustands-Wiederherstellung
-
Wie
vorher angemerkt, stellen das System 102 und das Verfahren
in Übereinstimmung
mit der vorliegenden Erfindung die angezeigten Seiten für eine vorgegebene
interessante Zeit wieder her und identifizieren die Elemente, wie
beispielsweise HTML-Elemente, die wiedergegeben wurden, und wo sie
auf dem Anzeigebildschirm wiedergegeben wurden. Um die angezeigten
Seiten korrekt wiederzugeben, wird jedes Ereignis, das die Anzeige
ab dem ersten Anfangszustand bis zu dem Augenblick von Interesse
verändert
hat, durch die vorliegende Erfindung "neu ausgeführt", das dann im "Playback" erneut angezeigt werden kann. Dies
wird durch das Zuordnungswerkzeug 122 erreicht, das die
im Speicher 118 gespeicherten Seiten und die Aufzeichnung
der Ereignisse, welche die Anzeige verändert haben, die im Ereignisprotokoll
gespeichert sind, verwendet. Es sollte beachtet werden, dass diese
Zustands-Wiederherstellung tatsächlich
kontinuierlich mit dem fortschreitenden Simulationstakt abläuft. Bevor
das Zuordnungswerkzeug 122 mit der Wiedergabe der wiederhergestellten
Seiten beginnt, nimmt das Zuordnungswerkzeug den Inhalt der im Speicher 118 gespeicherten
Seiten und stellt ihn im Cache-Speicher
des Browsers 4 erneut her. Dann identifiziert das Zuordnungswerkzeug 122 die
Elemente der Seiten durch Zugriff auf die Objektmodell-Schnittstelle 106 des
Browsers 104, wie beispielsweise die COM-Schnittstelle
von Microsoft® und
speichert die identifizierten Elemente und die damit verbundenen
spezifischen Informationen in der Elemente-Datenbank 124,
wie im Folgenden ausführlicher
beschrieben wird.
-
Damit
wird während
der Wiedergabe, wenn der Browser 104 auf eine dieser Seiten
zugreift, diese in der Cache-Speicher-Version bereitgestellt, die
mit derjenigen identisch ist, die vom Benutzer vorher während der
Browser-Sitzung betrachtet wurde, an Stelle einer Version aus dem
WWW, die unter Umständen
nicht mehr die gleiche sein kann. Nach diesen ersten Schritten kann
der Analyst, der mit dem Zuordnungswerkzeug 122 arbeitet,
damit beginnen, den Simulationstakt vorlaufen zu lassen, um die
Wiedergabe zu starten. Dazu sind Vorkehrungen getroffen, so dass
der Analyst, der das vorliegende System 102 verwendet,
die Wiedergabe der wiederhergestellten Seiten durch die Steuerung
des Simulationstakts oder durch andere Mittel kontrollieren kann.
Dazu arbeitet der Simulationstakt in Einheiten von Millisekunden,
da 1 ms eine Untergrenze des Zeitunterschieds zwischen zwei Ereignissen
im Ereignisprotokoll 120 oder zwischen zwei Fixierungspunkten
ist.
-
Fixierungs-Elemente-Zuordnung
-
Wie
vorher angemerkt, bedeutet der hierin verwendete Begriff Fixierungsdaten
allgemein alle Informationen, die von den Blickrichtungsmessungsdaten
abgeleitet werden, einschließlich
Informationen, die von beliebigen Analysenebenen der Blickrichtungsmessungsdaten
abgeleitet werden, wie beispielsweise Informationen in Bezug auf
die tatsächlichen
Fixierungspunkte, einen Bereich in der Nähe des Fixierungspunkts oder einen Übergang.
Die Fixierungsdaten können
dann in Übereinstimmung
mit der vorliegenden Erfindung zugeordnet werden, um eine Identifizierung
der für
den Benutzer interessanten Elemente und/oder Objekte, d.h. Blickelemente,
zu gestatten. Sobald diese Fixierungsdaten erhalten und in der Fixierungsdatenliste 134 gespeichert
sind, und in der oben beschriebenen Weise ermittelt wurde, wie die
Fixierungsdaten zeitlich und räumlich
dem entsprechen, was auf dem Anzeigebildschirm betrachtet wurde,
ordnet das Zuordnungswerkzeug 122 die Fixierungsdaten aus
der Fixierungsdatenliste 134 auf der wiederhergestellten
Anzeige zu, um Informationen darüber
bereitzustellen, worauf der Blick des Benutzers auf dem Anzeigebildschirm
fokussiert war. In Übereinstimmung
mit einer Ausführungsform
wird dies durch das Zuordnungswerkzeug 122 erreicht, das
auf die Objektmodell-Schnittstelle 106, wie beispielsweise
die COM-Schnittstelle zum Internet Explorer® von
Microsoft®,
in einer vorher erläuterten
Weise zugreift, um Elementinformationen zu erhalten, die im Folgenden
ausführlicher
beschrieben werden.
-
Während der
fortlaufenden Wiederherstellung und Wiedergabe durch den Analysten
und den Vorläufen
des Simulationstakts prüft
das Zuordnungswerkzeug 122 das nächste Ereignis im Ereignisprotokoll 120 und
die nächsten
Fixierungsdaten in der Fixierungsdatenliste 134. Wenn der
aktuelle Zeitpunkt des Simulationstakts gleich der verstrichenen
Zeit eines Ereignisses ist, das in dem Ereignisprotokoll 120 gespeichert
ist, weist das Zuordnungswerkzeug den Browser an, das Ereignis durch
Methoden und Eigenschaften in der Objektmodell-Schnittstelle 106 "neu auszuführen". Entsprechend den
im Ereignisprotokoll 120 gespeicherten Ereignissen ruft
das Zuordnungswerkzeug 122 die geeigneten Methoden auf.
Damit werden die Methoden für BILDLAUF-POSITION/BILDLAUF-AKTIV-Ereignisse
(SCROLL-POSITION/ACTIVE-SCROLL events), FENSTERPOSITION/VERSCHIEBEN-AKTIV-Ereignisse
(WINDOW-POSITION/ACTIVE MOVE events) und FENSTERGRÖSSE/ANPASSEN-AKTIV-Ereignisse
(WINDOW-SIZE/ACTIVE-RESIZE events) aufgerufen, um im Browser-Fenster
jeweils einen Bildlauf auszuführen,
es zu verschieben oder seine Größe anzupassen.
Bei DOKUMENT-FERTIG-Er eignissen (DOCUMENT-COMPLETE events) ruft
das Zuordnungswerkzeug 122 eine Methode auf, um zu veranlassen,
dass der Browser 104 zu der URL navigiert, die als der
Parameter zu dem DOKUMENT-FERTIG-Ereignis (DOCUMENT-COMPLETE event)
gespeichert ist.
-
Wenn
der aktuelle Zeitpunkt des Simulationstakts gleich dem Zeitpunkt
der Fixierungsdaten ist, wandelt das Zuordnungswerkzeug 122 die
Koordinaten der Fixierungsdaten unter Verwendung der vorher erläuterten
Koordinaten-Umwandlungsformeln in Bildschirm-Koordinaten um. Danach
wandelt das Zuordnungswerkzeug 122 die Bildschirm-Koordinaten in die
Fenster-Koordinaten des Browsers 104 um, wobei die Koordinaten-Umwandlungsformeln
mit den Ecken des Fensters des Browsers 104, (auf die über die
Eigenschaften der Objektmodell-Schnittstelle 106 zugegriffen
werden kann), als Kalibrierungspunkte verwendet werden. Mit den
Fensterkoordinaten der Fixierungsdaten aus der Fixierungsdatenliste 134 kann
das Zuordnungswerkzeug 122 eine der Methoden der Objektmodell-Schnittstelle 106 aufrufen,
die einen Adressenverweis auf das aktuelle, an einem bestimmten
Punkt/Ort in dem Fenster angezeigte Webseiten-Element zurückgibt.
Sobald das Zuordnungswerkzeug 122 über diesen Adressenverweis
auf das Webseiten-Element
verfügt,
kann es auf die Eigenschaften des Element zugreifen, wie beispielsweise
seinen HTML- oder XML-Tagnamen, seine grafische Begrenzungslinie
auf dem Bildschirm, seinen Text, (falls es sich um ein Textelement
handelt), sein Bitmap, (falls es sich um ein Bild handelt), und
die URL, zu der es führt,
(falls es sich um ein Hyperlink handelt).
-
Daher
nimmt diese Fixierungs-Elemente-Zuordnung Fixierungsdaten in den
Bildschirm-Koordinaten als
Eingabe und gibt die Stelle des HTML- oder XML-Elements aus, (sofern
vorhanden), das den Fixierungsdaten entsprechend wiedergegeben wird,
wodurch das Blickelement identifiziert wird. Diese Ausgaben werden in
der Blickelemente-Datenbank 126 gespeichert, die hierin
im Folgenden erläutert
wurde.
-
DATENBANKEN
-
Die
primäre
Ausgabe des Zuordnungswerkzeugs 122 ist eine Datenbank,
die in ein Datenbankprogramm importiert werden kann, wie beispielsweise
Microsoft® Access
oder andere im Handel erhältliche
oder eigene Datenbankprogramme. In der vorliegenden Ausführungsform
gibt das Zuordnungswerkzeug 122 zwei Datenbanken in der
Form von Textdateien aus. Insbesondere gibt das Zuordnungswerkzeug 122 eine
Elemente-Datenbank 124 aus, die den Datensatz jedes HTML-Elements
auf jeder angezeigten Seite enthält,
die während
der Browser-Sitzung betrachtet wurde. Des Weiteren gibt das Zuordnungswerkzeug 122 auch
eine Blickelemente-Datenbank 126 aus, die einen Datensatz
für jede
Blickfixierung enthält,
die während
der Browser-Sitzung vorgenommen wurde.
-
Teilweise
Ausgaben der Elemente-Datenbank 124 und der Blickelemente-Datenbank 126 in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung werden jeweils in den 4 und 5 dargestellt,
wobei die Fixierungsdaten die tatsächlichen Fixierungspunkte waren,
auf die der Benutzer fokussiert war. Das in 4 dargestellte
Beispiel von Daten 125, die in der Elemente-Datenbank 124 enthalten
sind, umfasst die folgenden Informationen für jedes Element:
- – Benutzerkennung
- – Aufgabenkennung
- – URL
- – Lokaler
Seitenspeicherort
- – Element-Kennnummer,
die für
jedes Element einer bestimmten Seite eindeutig ist
- – HTML-Tagname
- – Elementtext
- – Linke
Koordinate der oberen linken Ecke der grafischen Element-Begrenzungslinie
in logischem Seiten-Koordinatensystem
- – Oberste
Koordinate der oberen linken Ecke der grafischen Element-Begrenzungslinie
in logischem Seiten-Koordinatensystem
- – Breite
der grafischen Element-Begrenzungslinie in Bildschirm-Pixeln
- – Höhe der grafischen
Element-Begrenzungslinie in Bildschirm-Pixeln
-
Das
in 5 dargestellte Beispiel von Daten 127,
die in der Blickelemente-Datenbank 126 der gleichen Ausführungsform
enthalten sind, umfasst die folgenden Informationen für jedes
Element:
- – Benutzerkennung
- – Aufgabenkennung
- – Versuchsdatum
und -uhrzeit
- – URL
- – Lokaler
Seitenspeicherort
- – Verstrichene
Versuchszeit bei Beginn der Fixierung in Millisekunden
- – Fixierungsdauer
in Millisekunden
- – Fixiertes
Wort, falls vorhanden
- – Horizontale
Koordinate, logisches Seiten-Koordinatensystem
- – Vertikale
Koordinate, logisches Seiten-Koordinatensystem
- – Horizontale
Koordinate, Bildschirm-Koordinatensystem
- – Vertikale
Koordinate, Bildschirm-Koordinatensystem
- – Horizontale
Koordinate, Fenster-Koordinatensystem
- – Vertikale
Koordinate, Fenster-Koordinatensystem
- – Horizontale
Koordinate, Koordinatensystem der Blickrichtungs-Verfolgungsvorrichtung
- – Vertikale
Koordinate, Koordinatensystem der Blickrichtungs-Verfolgungsvorrichtung
-
Die
während
der Browser-Sitzung angezeigten Elemente, die in der Elemente-Datenbank 124 gespeichert
sind, und die identifizierten Blickelemente in der Blickelemente-Datenbank 126 können dann
zueinander in Beziehung gesetzt werden, indem ein Datenbankprogramm,
wie beispielsweise Microsoft® Access oder ein anderes
im Handel erhältliches
oder eigenes Datenbankprogramm verwendet wird, um damit die Elemente
zu identifizieren und auszugeben, die der Benutzer fixiert hat,
oder um andere angezeigte, für
den Benutzer interessante Objekte zu identifizieren. Dazu kann die
Element-Kennnummer,
die in der Blickelemente-Datenbank gespeichert ist, zu dem Element
in Beziehung gesetzt werden, das die gleiche Element-Kennnummer
in der Elemente-Datenbank 124 aufweist,
um damit spezifische Informationen auszugeben, die sich auf das
identifizierte Element beziehen, wie oben unter 4 erläutert. Daher
automatisiert die vorliegende Erfindung im Wesentlichen die Punkt-Element-Zuordnung,
was bisher nicht erreicht wurde. Durch die Korrelation der Blickelemente-Datenbank 126 mit
der oben erläuterten
Elemente-Datenbank 124 unter Verwendung von Werkzeugen, wie
beispielsweise Datenbankprogrammen, ermöglicht es die vorliegende Erfindung
dem Analysten, schnell und einfach zu ermitteln, welche Elemente
genau der Benutzer fixiert hat, (d.h. die tatsächlichen Blickelemente), ohne
die Anzeigebildschirme manuell zu prüfen, wie dies bei Systemen
und Verfahren des bisherigen Stands der Technik erforderlich war.
-
Weil
des Weiteren die tatsächlichen
Inhalte der Elemente in der Elemente-Datenbank 124 gespeichert sind,
sind Details und spezielle Informationen in Bezug auf die Elemente
bekannt und zur Datenanalyse problemlos zugänglich. Daher ist bekannt,
ob ein bestimmtes Element ein Bild, ein Link, ein Text, ein formatierter Text,
eine Schaltfläche,
Eingabefeld usw. ist, und die Elemente können identifiziert, sortiert
oder anderweitig analysiert werden auf der Basis solcher Merkmale
des Elements. Durch Bereitstellen zugänglicher Datenbanken, welche
die visuelle Fixierung des Benutzers und Aktion in Bezug auf die
Art, den Inhalt und den Ort der Multimedia-Elemente aufzeichnen,
ermöglicht
das System 102 zum Analysieren von Blickrichtungsmessungsdaten
in Übereinstimmung
mit der dargestellten Ausführungsform
der vorliegenden Erfindung eine umfassende Analyse der aufgezeichneten
Daten, um damit wertvolle Informationen und Antworten auf vorher
gestellte Fragen bereitzustellen. Beispielsweise lässt sich
aus der vorliegenden Erfindung die mittlere Augenmerk-Zeit ermitteln,
die einzelnen Elementen gewidmet wird. Durch Klassifizieren von
Elementen nach ihrer Art, beispielsweise "Überschriften" oder "Bilder", lässt sich
die Zeitdauer ermitteln, die verschiedenen Arten von Anzeige-Elementen
gewidmet wird. Des Weiteren kann ermittelt werden, ob Benutzer in
bestimmten Situationen gewisse Links bemerkt haben. Beispielsweise
lässt sich
ermitteln, ob Benutzer, die einen Einkauf im Web nicht erfolgreich
abschließen
konnten, den Link zu einer "Hilfe-Seite" überhaupt gesehen haben. Die
vorliegende Erfindung kann auch verwendet werden, um zu bestimmen,
wie das Beobachten von Werbung und die Dauer in Abhängigkeit
von der Platzierung auf der Seiten schwanken. Viele ähnliche
Analysen sind möglich.
-
Aus
dem Vorgenannten sollte es jetzt für einen durchschnittlichen
Fachmann offenkundig sein, wie die vorliegende Erfindung ein verbessertes
System und Verfahren zum Analysieren von Blickrichtungsmessungsdaten
bereitstellt, die von einem Benutzer gesammelt werden, der die Anzeige
von dynamischen Multimedia-Seiten betrachtet. Es sollte des Weiteren
offenkundig sein, dass die vorliegende Erfindung die Interaktion und
den Aufwand eines menschlichen Analysten minimiert, indem eine wesentliche
Automatisierung der Punkte-Elemente-Zuordnung gestattet wird, die
verwendet werden kann, um für
den Benutzer interessante Elemente zu identifizieren. Es sollte
ebenfalls offensichtlich sein, dass das vorliegende System und Verfahren
eine umfassende Datenanalyse auf der Basis der erhaltenen Daten
gestatten, weil die vorliegende Erfindung die Inhalte der Anzeige-Elemente
ermittelt.