[go: up one dir, main page]

DE10103922A1 - Interaktives Datensicht- und Bediensystem - Google Patents

Interaktives Datensicht- und Bediensystem

Info

Publication number
DE10103922A1
DE10103922A1 DE10103922A DE10103922A DE10103922A1 DE 10103922 A1 DE10103922 A1 DE 10103922A1 DE 10103922 A DE10103922 A DE 10103922A DE 10103922 A DE10103922 A DE 10103922A DE 10103922 A1 DE10103922 A1 DE 10103922A1
Authority
DE
Germany
Prior art keywords
information
eye
image
retina
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10103922A
Other languages
English (en)
Inventor
Edgar Jochheim
Heinrich A Eberl
Roland H C Eberl
David P Dickerson
Karsten Koenigstein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DICKERSON, DAVID, 85354 FREISING, DE
Original Assignee
PHYSOPTICS OPTO ELECTRONIC GMB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PHYSOPTICS OPTO ELECTRONIC GMB filed Critical PHYSOPTICS OPTO ELECTRONIC GMB
Priority to DE10103922A priority Critical patent/DE10103922A1/de
Priority to US10/066,292 priority patent/US7245273B2/en
Priority to JP2002022598A priority patent/JP2002278670A/ja
Publication of DE10103922A1 publication Critical patent/DE10103922A1/de
Priority to US11/783,408 priority patent/US7969383B2/en
Priority to US13/109,260 priority patent/US8686923B2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Lenses (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Beschrieben wird ein interaktives Datensicht- und Bediensystem, mit einer in der Art einer Brille von einer Bedienperson tragbaren optischen Vorrichtung (150), mit der die Netzhaut (281) scannbar und ein auf das Auge (280) einfallendes Bild, insbesondere ein Netzhautreflexbild aufnehmbar ist. Es ist eine Signalverarbeitungseinrichtung (140) vorgesehen, mit der die von der optischen Vorrichtung (150) erfassten Signale auswertbar sind und ein entsprechendes Ausgangssignal an eine Kommunikationsschnittstelle (196) übertragbar ist. Ferner ist eine Datenübertragungseinrichtung (140, 196, 197) vorhanden, mit der in Abhängigkeit vom Ausgangssignal und ggf. zusätzlicher Steuerbefehle der Bedienperson Daten von einer externen Informationsquelle, wie z. B. einer Datenbank, abrufbar sind. Schließlich ist eine Steuervorrichtung (196) vorgesehen, mit der auf der Basis der abgerufenen Daten und ggf. in Abhängigkeit zusätzlicher Steuerbefehle der Bedienperson die Singnalverarbeitungseinrichtung über die Kommunikationsschnittstelle (196) ansteuerbar ist, um entweder die optische Vorrichtung (150) zur Einspielung zusätzlicher Bildinformation auf die Netzhaut und/oder zumindest ein weiteres Informationswiedergabegerät, wie z. B. ein Kopfhörersystem zur Übertragung von zusätzlicher Information zur Bedienperson zu veranlassen.

Description

Die Erfindung betrifft ein interaktives Datensicht- und Bediensystem, das sich durch ein Höchstmaß an Tragekomfort, Leistungsfähigkeit und Flexibilität auszeichnet.
Aus den deutschen Offenlegungsschriften DE 196 31 414 A1 und DE 197 28 890, deren Offenbarungsgehalt hiermit ausdrücklich in die vorliegende Beschreibung einbezogen wird sind nach art einer Brille zu tragende optische Vorrichtungen bekannt, die eine Aufnahme des Netzhautreflexbildes und eine Überlagerung von Zusatzbildern im Auge ermöglichen. In zwei deutschen Patentanmeldungen, deren Einreichungstag und Anmelder mit dem dieser Anmeldung übereinstimmen, werden sowohl Weitergestaltungen dieser optischen Vorrichtungen als auch Systeme beschreiben, die diese Vorrichtungen ergänzen oder gar ersetzen. Insbesondere werden darin die Justierung der obengenannten optischen Vorrichtung sowie ein System beschrieben, das auf neue Art und Weise auch in der Lage ist, Bilder auf ein Auge zu Projizieren. Letzteres System basiert auf einer Projektion eines Bildes auf die Netzhaut des Auges, die gleichzeitig, jedoch nacheilend zu einer scanartigen Erfassung des Netzhautreflexbildes erfolgt.
Da die in den obengenannten Anmeldungen beschriebenen Vorrichtungen und Systeme bevorzugt in Form einer Brille ausgestaltet sind, werden sie nachfolgend der Einfachheit halber auch als Brillensystem bezeichnet. Diese Bezeichnung impliziert keine Einschränkung. Selbstverständlich sind auch andere Ausführungsformen solcher Vorrichtungen und Systeme in den unten beschriebenen Zusammenhängen anstelle des "Brillensystems" gleichfalls anwendbar.
In der DE 196 31 414 A1 werden zahlreichen Anwendungsmöglichkeiten des darin offenbarten Brillensystems angesprochen, ohne daß diese genauer beschrieben werden konnten. Der Miterfinder des bekannten Brillensystems hat jetzt in Zusammenarbeit mit einem Forschungsteam die Anwendungsmöglichkeiten der oben erwähnten Brillensysteme genauer untersucht, wobei aus Überlegungen der wirtschaftlichen Implementierbarkeit Weiterbildungen und Abänderungen der bisher offenbarten Brillensysteme entstanden sind, die im Rahmen dreier älterer Patentananmeldungen mit den Aktenzeichen PCT/EP00/09840, PCT/EP00/09841 und PCT/EP00/09843 am 6.11.2000 angemeldet wurden. Auch der Inhalt dieser Anmeldungen wird ausdrücklich durch Bezugnahme in diese Anmeldung einbezogen.
Aufgabe der vorliegenden Erfindung ist es, das Anwendungsgebiet der optischen Vorrichtung nach den deutschen Offenlegungsschriften DE 196 31 414 A1 und DE 197 28 890 und der inzwischen auf der Basis dieser Vorrichtungen weiter entwickelten Informationssysteme sinnvoll zu erweitern und zum Bestandteil eines neuen Systems zu machen, bei dem die Vorteile der die Retina scannenden und entsprechende bildverändernde oder - verbessernde optische Information auf die Retina einspielenden optischen Vorrichtung optimal genutzt werden.
Diese Aufgabe wird durch ein es auf durch ein interaktives Datensicht- und Bediensystem gemäß Patentanspruch 1 gelöst, das sich durch ein Höchstmaß an Tragekomfort, Leistungsfähigkeit und Flexibilität auszeichnet.
Erfindungsgemäß wird die in der Art einer Brille von einer Bedienperson tragbare optische Vorrichtung, mit der bis Frequenzen von 100 Hz die Netzhaut scanbar und ein auf das Auge einfallendes Bild, insbesondere ein Netzhautreflexbild aufnehmbar ist, zum Bestandteil eines interaktiven Datensicht- und Bediensystems, mit dem besonderen Vorteil, dass zur Bedienung des Systems ein geringstmöglicher Aufwand seitens der Bedienperson erforderlich wird. Die abzurufende Information kann mit kürzester Zeitverzögerung entweder in Form von Bildsignalen und/oder in Form von Signalen zur Ansteuerung weiterer Informationswiedergabegeräte, die beispielsweise auf akustischer oder sonstiger sensorischer Basis betrieben werden, zur Bedienperson weitergeleitet werden. Damit ergibt sich ein System, das sich durch ein Höchstmaß an Unmittelbarkeit des interaktiven Informationsaustauschs auszeichnet.
Dabei kann die Datenübertragungseinrichtung in jeder gängigen Ausgestaltung vorliegen. Eine besonders vorteilhafte Weiterbildung ergibt sich mit den Merkmalen des Anspruchs 2, wonach zwischen Datensicht- und Bediensystem und externer Infromationsquelle eine mobiles Kommunikationssystem geschaltet ist. Hierdurch wird das Einsatzgebiet des Systems zusätzlich erweitert. In diesem Fall kann die Datenübertragungseinrichtung ein Mobiltelefon oder einen Computer, wie z. B. LapTop oder PalmTop mit einer geeigneten DFÜ-Schnittstelle aufweisen.
Die den Informationsfluss steuernden zusätzlichen Steuerbefehle der Bedienperson können in verschiedenster Form vorliegen. Vorteilhafte Ausgestaltungen des Systems, wie sie Gegenstand des Anspruchs 5 sind, sehen vor, dass diese Steuerbefehle auf optischen Infromationssignalen basieren, die von der optischen Vorrichtung abgegeben werden. In diesem Fall wird beispielsweise der Bedienperson eine Menüleiste in das Sichtfeld eingespielt, indem über die optische Vorrichtung - wiederum mit einer Bildfrequenz von etwa bis zu 100 Hz Bildsignale auf die Netzhaut abgegeben werden. Die Auswahl eines Menüpunkts erfolgt entweder über eine Bedienmaus oder aber allein über die Fokussierung dieses ausgewählten Menüpunktes und unter Zuhilfenahme eines Wählsignals, das wiederum eine Taste oder aber ein Lidschlagsignal sein kann. Die Fokussierung kann mit einfachen Mitteln festgestellt werden, da sich in diesem Fall der auszuwählende Menüpunkt im Zentrum der Fovea Centralis befindet, was beim laufenden Scan der Netzhaut bzw. des auf das Auge einfallenden Bildes parallel festgestellt wird.
Die zusätzlichen Steuerbefehle der Bedienperson können - wie das Gegenstand des Anspruchs 6 ist - auch auf akustischen Infromationssignalen basieren, die von einer Spracheingabeeinheit abgegeben werden. In diesem Fall ist das System mit einem geeigneten Mikrofon und gegebenfalls mit einer Sprachanalysevorrichtung auszustatten.
Da erfindungsgemäß eine optische Vorrichtung Verwendung findet, die zyklisch die Netzhaut der Bedienperson abtastet, kann das System auf sehr wirtschaftliche Art und Weise dazu herangezogen werden, eine aktive Bedienperson- Kennung vorzunehmen. Dadurch ergibt sich die Möglichkeit, einerseits das System bzw. Operationen des Systems automatisch vor Benutzung durch Unberechtigte zu schützen, und andererseits eine automatische personalisierte Einstellung des Systems auf die das System tragende Bedienperson vorzunehmen. Zu diesem Zweck ist es lediglich erforderlich, die von der optischen Vorrichtung erfasste Struktur der Netzhaut in Form eines Datensatzes in der Signalverarbeitungseinrichtung zwischen zu speichern und mit einem bereits hinterlegten personenbezogenen Datensatz zu vergleichen.
Aufgrund der Kompaktheit und der kurzen Signalwege von der optischen Vorrichtung zum Auge einerseits und zur Kommunikationseinrichtung andererseits kann das System sehr vielseitig eingesetzt werden. Besonders vorteilhafte Anwendungen sind Gegenstand des Anspruchs 8, d. h. die Verwendung im medizinischen Bereich, insbesondere im Bereich der Ophthalmologie, als Therapie- oder Analysegerät.
Im übrigen ist das System mit jeder optischen Vorrichtung und in Verbindung mit jedem Informationssystem betreibbar, das in den älteren Anmeldungen DE 196 31 414 A1, DE 197 28 890 und PCT/EP00/09840, PCT/EP00/09841 und PCT/EP00/09843 beschrieben ist. Diese Kombinationen sind Gegenstand der weiteren Unteransprüche.
Zu den diese Weiterbildungen kennzeichnenden Systemmerkmalen, die in vielen der beschriebenen Ausführungsformen wiederkehren, gehören, daß das System: ein Hornhautreflexbild des Auge mindest teilweise erfaßt;
ein Teil des auf das Auge einfallenden Lichtes mittels einer sphärischen oder sphärisch wirkenden Reflektionsschicht in eine Sensorvorrichtung lenkt;
das Netzhautbild über den Oxidierungsgrad der Netzhautzäpfen und/oder der Netzhautstäbchen ermittelt;
lediglich eine partielle Erfassung eines Netzhautreflexbildes vornimmt; und/oder
eine Gesichtsfelderfassungsvorrichtung umfaßt, die sichtbares Licht aus dem natürlich wahrgenommenen Gesichtsfeld erfaßt, ohne ein Netzhautreflexbild zu erfassen.
Dabei kann das erfindungsgemäße System Teil eines Informationssystems werden, das
  • a) Informationen in Abhängigkeit von einem natürlich wahrgenommenen Gesichtsfeld eines Menschen zur Verfügung stellt;
  • b) Informationen in Abhängigkeit von aus einem Auge erfaßten Signale zur Verfügung stellt, diese jedoch nicht in das Auge projiziert, aus dem die Signale erfaßt worden sind; oder
  • c) Informationen in Abhängigkeit von aus einem Auge erfaßten Signale zur Verfügung stellt, wobei die Informationen zumindest teilweise in das Auge projiziert, die Signale jedoch nicht in der aus der DE 196 31 414 A1 bekannten Weise erfaßt werden.
Es sei zu erwähnen, daß viele Anwendungen dieser Brillensysteme auf einer Kombination mehrerer der obengenannten Grundkonzepte basieren, wodurch eine natürliche Verflechtung der zugehörigen drei Anmeldungen entsteht.
Die Einbettung des erfindungsgemäßen Systems in diese Informationssysteme ermöglicht es, der Bedienperson zusätzlich Informationen zur Verfügung zu stellen, die über unser persönliches Wissen und Sinnesempfindungen hinausgehen. Beispiele hierfür sind das Suchen einer Unterputz-Elektroleitung in einer Wand, die Navigation in einer fremden Stadt, das Sammeln von Wildpilzen und das Untersuchen eines möglicherweise gefährlichen Objekts mittels eines ferngesteuerten Roboters.
Die starke Abhängigkeit von sehenden Menschen an ihre Sehempfindungen trägt deutlich dazu bei, daß zusätzliche Informationen nur schwer zur Verfügung gestellt werden können. Denn die Tatsache, daß sehende Menschen vorwiegend mit den Augen wahrnehmen, macht es in vielen Fällen erforderlich, daß die Zusatzinformationen entweder über die Augen zugespeist oder anhand der gesehenen Informationen ermittelt werden. Bei einer Zuspeisung über die Augen muß jedoch die Ausrichtung der Augen genaustens berücksichtigt werden, um ein richtiges "Plazieren" und ein "Verwackeln" oder "Verwischen" der zugespeisten Informationen zu vermeiden. Zudem sollen die Informationen in vielen Fällen ohne gezielte Bewegung der Augenäpfel zugänglich gemacht werden; ein Autofahrer mag zwar eine Landkarte auf seinem Schoß haben, möchte aber ungern von der Straße wegschauen müssen.
Durch ihre Bindung an feste Medien, z. B. Papier, CRT- und LCD-Bildschirme, u. s. w., sind bisherige visuelle Informationssysteme nicht in der Lage gewesen, die Komfortbedürfnisse eines sehenden Menschen ausreichend nachzukommen. Nicht visuellen Informationssystemen fehlte bisher die für sehende Menschen selbstverständliche Kopplung an das Gesehene.
Mit der Eingliederung des interaktiven Datensicht- und Bediensystems in ein Informationssystem nach den Unteransprüchen wird ein System zur Verfügung gestellt, dessen Informationsdarbeitung den natürlichen Bedürfnissen eines sehenden Menschen auf bisher unerreichte Art und Weise nachkommt. Dabei ist das Informationssystem gengenüber dem Stand der Technik hinsichtlich Implementierbarkeit und Wirtschaftlichkeit verbessert.
In seiner allgemeinsten Form umfaßt das Informationssystem eine Signalerfassungsvorrichtung, die von einem eine Netzhaut aufweisenden Auge zurückreflektierte Signale erfaßt, eine Informationsvorrichtung und eine Ausgabevorrichtung, die in Zusammenarbeit mit der Informationsvorrichtung Informationen in Korrelation mit den erfaßten Signalen zur Verfügung stellt. Bevorzugt werden die Informationen in Abhängigkeit von den erfaßten Signalen und/oder in Abhängigkeit von aus dem natürlich wahrgenommenen Gesichtsfeld erfaßtem, sichtbarem Licht zur Verfügung gestellt.
Als Signalerfassungsvorrichtung dient vorzugsweise eines der oben besprochenen Brillensysteme, bei dem eine scannende Abtastvorrichtung ein Netzhautreflexbild der Netzhaut mindestens teilweise erfaßt. Eine Abwandlung dieser Abtastvorrichtung, die an der Hornhaut des Auges reflektiertes Licht anstelle des Netzhautreflexbildes erfaßt, ist insbesondere bei Infrarotanwendungen vorteilhaft, da die Hornhaut Licht mit einer Wellenlänge von ca. 1,1 µm stark reflektiert. Auch über die Erfassung der chemischen Veränderung der Stäbchen und/oder Zäpfchen ist es grundsätzlich möglich, entsprechend verwertbare Aussagen über das auf die Netzhaut einfallende Bild zu machen.
Es wurde auch festgestellt, daß eine der Erfassung aus dem Auge zurückreflektierter Signale komplementäre Erfassung des Gesichtsfelds besondere Vorteile mit sich bringt. Zwecks einer solchen komplementären Erfassung umfaßt die Gesichtsfelderfassungsvorrichtung und/oder die Informationsvorrichtung des erfindungsgemäßen Systems bevorzugt eine im wesentlichen konfokal zum Auge angeordnete, spärisch oder spärisch wirkende Reflektionsschicht, die ein Teil des auf das Auge gerichteten Lichtes in eine Sensorvorrichtung zur Erfassung ablenkt. Aufgrund des im Vergleich zum Netzhaut- oder Hornhautreflex um ein Vielfaches höheren Reflektionsgrads der Reflektionsschicht wird bei gleich empfindlichen Photosensoren ein wesentlicher Lichtgewinn erzielt. Auch ließen sich entsprechend kostengünstige Photosensoren in der Sensorvorrichtung verwenden. Es kann also Vorteile mit sich bringen, wenn das auf das Auge fallende Licht nicht nur, nur teilweise oder gar nicht über das Netzhautreflex erfaßt wird.
Je nach Zielanwendung müssen nicht sämtliche räumliche Bereiche des Gesichtsfelds erfaßt werden. Beispielsweise bei einer Anwendung, bei der Zusatzinformationen bezüglich eines mit dem Auge angepeilten Objektes durch das erfindungsgemäße Informationssystem zur Verfügung gestellt werden, könnte es ausreichen, das auf die Netzhautgrube (Fovea) fallende Licht zu erfassen und einer Mustererkennung oder sonstiger Analyse zu unterziehen. Denn ein mit dem Auge angepeiltes Objekt wird typischerweise auf die Netzhautgrube, die den Bereich des schärfsten Sehens darstellt, abgebildet. Somit wäre die Erfassung des auf diesen Teil der Netzhaut fallenden Lichtes möglicherweise ausreichend, um genügend viele charakterisierende Objektmerkmale ermitteln zu können.
Sinnvoll ist auch, wenn nur ein beschränkter Spektralbereich des auf das Auge fallenden Lichtes erfaßt wird. Wird, zum Beispiel das auf ein Auge fallende Infrarotlicht erfaßt, so kann auch bei Nacht die Orientierung des Auge bestimmt und/oder wertvolle Informationen aus dem Gesichtsfeld gewonnen werden.
Dementsprechend können jegliche Einschränkungen bezüglich der Erfassung des auf ein Auge fallenden Lichtes sinnvoll sein. Insbesondere werden Einschränkungen des erfaßten Spektralbereiches, des erfaßten Gesichtsfeldbereiches und der erfaßten Sehzeitabschnitte ggf. angewandt.
Zwecks der redundanten oder stereoskopischen Bilderfassung kann die dafür bestimmte Vorrichtung des erfindungsgemäßen Informationssystems derart ausgelegt sein, das auf mehrere Augen fallende Licht zu erfassen. Je nach Anwendungsgebiet müssen die Augen nicht zwangläufig einem einzelnen Person gehören. Zum Beispiel wäre es möglich, die von den Augen mehrerer Feuerwehrmänner wahrgenommenen - Bilder zuzüglich Positions- und aus einer Infrarotspektralanalyse der Bilder ermittelten Brandstärkeninformationen auf Monitore in einer Einsatzzentrale einzuspielen.
In der Ophthamologie wird zwischen den Begriffen "Gesichtsfeld" und "Blickfeld" unterschieden. Ein Gesichtsfeld ist der Teil eines Raumes, der mit unbewegtem Auge erfaßt werden kann. Ein Blickfeld ist das Gebiet, das mit den Augen erfaßt werden kann. Somit ist hier, wie im übrigen, das Gesichtsfeld als Verursacher des auf ein Auge natürlich fallenden Lichtes zu verstehen.
Die Gesichtsfelderfassung
Aufgrund der Einbindung einer Gesichtsfelderfassungsvorrichtung ist das Informationssystem in der Lage, sichtbares Licht aus dem dem Auge zugeordneten Gesichtsfeld in eine Qualität, d. h. mit einer Empfindlichkeit, einer Auflösung, einer Schärfe, u. s. w., zu erfassen, die die natürliche Wahrnehmung des Auges bei weitem übersteigt. Zudem ist es durch die erfindungsgemäße Korrelation des Informationzurverfügungstellens mit den von der Signalerfassungsvorrichtung erfaßten Signalen möglich, entsprechende Teile des erfaßten Lichts bei einer im Laufe des Informationzurverfügungstellens auftretende Bearbeitung so zu behandeln, als wären sie aus dem Auge erfaßte Reflexbilder, d. h. als wären sie das tatsächlich Gesehene. Eine derartige Ausführung des erfindungsgemäßen Informationssystems kombiniert somit die Vorteile eines Informationssystem, das hochwertige Gesichtsfeldinformationen direkt aus dem Gesichtsfeld gewinnt, mit den Vorteilen eines Informationssystems, das tatsächlich gesehene Gesichtsfeldinformationen aus dem Auge gewinnt.
Die Korrelation des Informationzurverfügungstellens mit den aus dem Auge zurückreflektierten, erfaßten Signalen kann beispielsweise dadurch erfolgen, daß mehrere Bildpunkte eines Augenreflexbildes, z. B. eines Hornhaut- oder Netzhautreflexbildes, erfaßt werden, die über eine Auswertevorrichtung mit entsprechenden Bildpunkten aus dem erfaßten Gesichtsfeld in Verbindung gebracht werden. Auch eine über die erfaßten Signale festgestellte Blickrichtung des Auges kann dazu dienen, eine Korrelation zwischen aus dem erfaßten Gesichtsfeld gewonnenen Gesichtsfeldinformationen und dem tatsächlich Gesehenen zu schaffen. Wie unten beschrieben wird, kann die Korrelation jedoch auch darin bestehen, gewonnene Gesichtsfeldinformationen in eine mit dem Gesehenen korrelierte Art und Weise auf die Retina zu projizieren.
Selbstverständlich muß die Gesichtfelderfassungsvorrichtung nicht auf eine Erfassung des Gesichtsfeldes beschränkt sein, sondern kann auch eine teilweise oder komplette Erfassung des Blickfeldes umfassen, die eine mindestens partielle Erfassung des Gesichtsfeldes beinhaltet.
Die hohe Qualität des aus dem Blick- bzw. Gesichtsfeld erfaßten Bildes kann auch als Grundlage für eine übersensorische Informationsdarbietung dienen. Zum Beispiel könnten Gesichtsfeldinformationen aus dem erfaßten Blickfeldlicht derart gewonnenen und auf die Netzhaut projiziert werden, daß das vom Auge wahrgenommene Bild mindestens teilweise schärfer, näher, weitwinkliger oder auf sonstige Art und Weise übersinnlich wirken.
Die Erfindung sieht eine Informationsquelle vor, die eine Datenbank, eine Sensorik, eine Informationsnetzanbindung und/oder eine Auswertevorrichtung umfassen kann.
Eine besonders interessante Ausführungsform der Erfindung umfaßt eine Sensorik als Informationsquelle. Denn hiermit kann eine übersinnliche Wahrnehmung in Verbindung mit dem Gesehenen gebracht werden. Bei dem erwähnten Beispiel des Suchens einer Elektroleitung könnte die erfindungsgemäße Informationsquelle Magnetfeldsensoren, die in der Lage sind, metallische Leitung bezüglich eines bekannten Koordinatensystems, beispielsweise das erfaßte Blickfeld, zu lokalisieren. Somit wäre es zum Beispiel mittels geeigneter Bildverarbeitungsssoftware möglich, den Verlauf vorhanderer Elektroleitungen mittels einer wie in den oben erwähnten Patentanmeldungen beschriebenen Projektion eines Zusatzbildes auf das vom Auge gesehene Bild zu überlagern.
Sämtliche Arten von bekannten Sensoren eignen sich zur Anwendung als Informationsquelle, insbesondere dann, wenn der Sensor anhand des erfaßten Lichtbildes aktiviert bzw. abgefragt wird. Zum Beispiel wäre es bei der Prüfung einer integrierten elektronischen Schaltung möglich, daß nach gezielten Anblick einer Leitung auf einem Schaltplan der Schaltung und einem Tastensdruck die Position dieser Leitung auf einem fertigen Chip berechnet wird, so daß die Strom- und Spannungswerte der Leitung mittels einer berührungslosen Meßgerät erfaßt und dem Anwender über das Brillensystem dargestellt werden.
Ein Beispiel für ein eine Datenbank und eine Informationsnetzanbindung umfassendes Informationssystem wäre ein betriebsinternes Postverteilungssystem, bei dem Akten mit Barcodeaufklebern versehen sind, die die jeweilige Akte eindeutig kennzeichnen. Soll eine Akte betriebsintern verschickt werden, gibt der Absender beispielsweise die Durchwahl des Empfängers und einen die Akte bezeichnenen Code mittels einer Software ein, die diese Daten in einer Datenbank auf einer der vielen bekannten Weisen entsprechend abspeichert. Bei einer späteren Sortierung der Akte wird der kennzeichnende Barcode über das einem Postverteilungsangestellten getragene Brillensystem beispielsweise bei gezieltem Blick und Tastenklick erfaßt und durch eine Erkennungsvorrichtung oder -software erkannt. Per Funkverbindung mit einem betriebsinternen Datennetz werden die der Akte zugeordneten, postverteilungsrelevanten Daten aus der Datenbank geholt und über eine geeignete Ausgabevorrichtungen nach evtl. Aufbereitung an den Postverteilungsangestellten, beispielsweise als Ansage über Kopfhörer "Hr. Schmidt, Finanzwesen, Gebäude G, 3. Stock, Zimmer 310", mitgeteilt.
Unter Auswertevorrichtung sind sämtliche Arten von Auswertevorrichtungen zu verstehen, insbesondere Bildverarbeitungsvorrichtungen. Solche Auswertevorrichtungen sind auch in den obigen Beispielen zur Sprache gekommen.
Erfindungsgemäß können die Informationen taktil, visuell, hörbar, riechbar und/oder geschmacklich zur Verfügung gestellt werden. Es gehört zur Aufgabe der Erfindung, eine Informationsdarbietung zu ermöglichen, die den Bedürfnissen eines sehenden Menschens auf bisher unerreichte Art und Weise nachzukommen. Hierzu kann gehören, daß die Informationen dem Menschen in geeigneter Weise, das heißt unter Ausnutzung eines oder mehrerer der fünf Sinne, zur Verfügung gestellt werden können. Die Informationen können jedoch auf beliebige Art und Weise zur Verfügung gestellt werden und bedürfen keinen bestimmten Adressant. Beispielsweise können die Informationen einem weiteren System zur Vefügung gestellt werden oder durch eine optische oder akustische Ausgabevorrichtung in die Umgebung ausgestrahlt werden. Schon durch die erfindungsgemäße Abhängigkeit zwischen dem Zurverfügungstellen von Informationen und dem auf das Auge fallenden Lichtbild wird erreicht, daß der vom sehenden Menschen erwartete Zusammenhang zwischen Gesehenem und zur Verfügung gestellten Informationen besteht.
Diese Abhängigkeit wird von der erfindungsgemäßen Vorrichtung bei der Ermittlung der Informationen, bei dem Zurverfügungstellen der Information oder während beider dieser inhärenten Vorgängen berücksichtigt. Beispiele für eine Berücksichtigung dieser Abhängigkeit bei der Ermittlung der Informationen sind oben angegeben. Beim Zurverfügungstellen der Informationen kann diese Abhängigkeit zum Beispiel dadurch berücksichtigt werden, daß die Informationen mittels einer Rückprojektion in das Auge auf eine Art und Weise in das gesehene Bild eingeblendet werden, daß ein zeitlicher, farblicher, räumlicher, kontrastbezogener, oder sonstiger sinnvoller Zusammenhang zwischen den Informationen und dem gesehenen Bild hergestellt wird. Insbesondere kann die Abhängigkeit darin bestehen, daß das erfaßte Lichtbild dazu verwendet wird, die Lage und Orientierung des Augapfels festzustellen, so daß ein zwecks eines Zurverfügungstellens der Informationen auf das Auge projiziertes Bild bei einer Bewegung des Auges festzustehen scheint, sich bei einer Bewegung des Auges mitzubewegen scheint oder sich auch bei einer Bewegung des Auges entsprechend einem vorgegebenen Verlauf zu bewegen scheint. Insbesondere läßt sich die Auswirkung der Sakkadenbewegungen des Auges auf diese Vorgänge berücksichtigen bzw. kompensieren.
Selbstverständlich müssen die Informationen nicht unbedingt einem Menschen sondern können auch einem anderen System zur Verfügung gestellt werden.
Tracking
Es ist also mit erfindungsgemäße Informationssystem möglich, die Lage und Ausrichtung mindestens eines Auges schnell, genau und mit geringem Aufwand zu ermitteln, z. B. mit einer Bestimmungsrate von 100 Hz, einer Positionsgenauigkeit von wenigen Mikrometern und einer Vorrichtung in tragbarer Bauweise. Unter Anwendung des erfindungsgemäßen Informationssystems bei der dynamischen Bestimmung der Orientierung des Auges kann die Verarbeitung derart rasch erfolgen, daß die Genauigkeit durch die Sakkadenbewegungen des Auges nicht verfälscht wird. Dies wird dadurch erreicht, daß das Informationsystem eine das Auge nicht berührende Signalerfassungsvorrichtung aufweist, die vom Auge zurückreflektierte Signale erfaßt. Reflektierbare Signale, zum Beispiel Schall- oder elektromagnetische Signale, erlauben eine hochfrequente Erfassung, so daß die Verarbeitungsgeschwindigkeit hauptsächlich von einer vom Informationssystem umfaßten Auswertevorrichtung bestimmt wird. Auf dem Gebiet der signalverarbeitenden Hardware sind jedoch erhebliche Fortschritte in den letzten Jahren bezüglich der Arbeitsgeschwindigkeit, des Stromverbrauchs und der Systemgröße erzielt worden. Die Erforschungen der Erfinder haben ergeben, daß ein Informationssystem durch eine derartige Gestaltung die erstrebte Verarbeitungsgeschwindigkeit erreichen kann.
Typischerweise dient ein Teil des Informationssystems selbst als Referenzkoordinatensystem. Allerdings ist auch möglich, daß das Informationssystem lediglich ein Bezugskoordinatensystem in einem anderen Referenzkoordinatensystem darstellt, und daß das Verhältnis zwischen dem Bezugskoordinatensystem und dem- Referenzkoordinatensystem beispielsweise durch die Auswertevorrichtung oder einen anderen Mechanismus ermittelt wird.
Bevorzugt erfaßt die Signalerfassungsvorrichtung vom Auge zurückreflektiertes Licht. Licht bildet ein vorzügliches Medium zur Übertragung der vom Auge zurückreflektierte Signale, da die Einsatzfähigkeit des Auge ein Vorhandensein von Licht voraussetzt. Allerdings ergibt sich eine Überlagerung der vom Licht aus dem Gesichtsfeld übertragenen Gesichtsfeldsignalinformationen mit der Augenreflexsignalinformation, die durch die Reflektion am Auge entsteht. Diese unterschiedlichen Informationen lassen sich jedoch unter Anwendung bekannter Signalverarbeitungsmethoden unterscheiden und sinnvoll zur Bestimmung der Orientierung des Auge verwenden. Dies ist insbesondere dann der Fall, wenn das Signalübertragungsmedium aus einer zum Informationssystem gehörenden Signalquelle stammt, das das Medium vor seiner Reflektion am Auge mit einem vorgegebenen Signal beaufschlagt.
Ähnlich kann die Erfassung von Signalen aus anderen Signalübertragungsmedien als Licht auch vorteilhaft sein. Zum Beispiel sind Bauteile zur Erzeugung und Erfassung von Schallwellen in verschiedenen kostengünstigen und kompakten Auführungen am Markt erhältlich. Solche Bauteile lassen sich auch als integrierte Elemente einer integrierten Schaltung verwirklichen. Ähnliche Überlegungen gelten den nicht sichtbaren Frequenzbereichen von elektromagnetischen Wellen.
Obwohl nicht vollständig erforscht, ist es denkbar, daß ein Informationssystem mit einer Mehrzahl an Signalerfassungsvorrichtungen, die Signale aus unterschiedlichen Medien oder Spektralbereichen erfassen, verbesserte Systemeigenschaften aufweisen könnte. Diese Erkenntnis liegt den Überlegungen zugrunde, daß die Auswertevorrichtung im Falle einer Unterbelastung auch andere Systemaufgaben übernehmen könnte, und daß die von der Auswertevorrichtung vorgenommene Signalbearbeitung stark vom Informationsgehalt des zu bearbeitenden Signals abhängt. So brächte es Vorteile, das Informationssystem auf einer Signalerfassung zu basieren, die zur Bewertung nur wenig Arbeitsleitung von der Auswertevorrichtung beansprucht, jedoch allein evtl. nicht die Basis für eine ausreichende Genauigkeit liefert, und diese bearbeitungsarme Signalerfassung derart durch die Ergebnisse einer genauen und bearbeitungsintensiven, jedoch nur intermittierend durchzuführenden Signalerfassung zu ergänzen bzw. kalibrieren, daß die notwendige Genauigkeit zu jeder Zeit erreicht wird.
Sinnvoll hat sich eine Netzhautreflexerfassung erwiesen, bei dem das Netzhautreflex natürlichen oder künstlichen Lichts als aus dem Auge zurückreflektiertes Signal intermittierend oder partiell erfaßt wird. Eine vollständige Erfassung des Netzhautreflexes ist sowohl Zeit- als auch arbeitsintensiv. Andererseits ist eine Erfassung des Netzhautreflexes insofern sinnvoll, als sie eine direkte Ermittlung des wahrgenommen Gesichtsfelds in Relation zur Netzhaut erlaubt. Denn, wie oben erwähnt, eine Aufbereitung des erfaßten Netzhautreflexes läßt sowohl Netzhautmerkmale, wie z. B. die Fovea centralis oder der blinde Fleck, als auch das Reflexbild des auf das Auge fallenden Lichts erkennen. Auch das in der Aderhaut vorhandene Blutgefäßnetz wird bei entsprechender Aufbereitung des Netzhautreflexbildes sichtbar, was eine sehr gute Grundlage zur Bestimmung der Orientierung des Augapfels liefert. Wird das Netzhautreflex deshalb intermittierend oder partiell erfaßt, so läßt sich der Bearbeitungsaufwand reduzieren, während auf eine genaue Ermittlung der Relation des wahrgenommenen Gesichtsfelds zur Netzhaut nicht verzichtet wird. Selbstverständlich lassen sich Netzhautmerkmale ohne eine Netzhautreflexerfassung verfolgen. Beispielsweise lassen sich die Blutgefäße der Aderhaut über ihren im Infrarotbereich sichtbaren Wärmeausstrahlung erkennen.
Die Erfindung wird nachstehend anhand der Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die Zeichnung näher beschrieben. Es werden viele Merkmale der Erfindung im engen Zusammenhang des jeweiligen, konkret dargestellten Ausführungsbeispiels erläutert. Selbstverständlich läßt sich jedes einzelnen Merkmal der Erfindung mit jedem anderen Merkmal kombinieren, soweit die resultierende Kombination nicht zu einem für den Fachmann als sofort unsinnig erkennbaren Ergebnis führt. Diese Aussage betrifft nicht die Bestimmung des gewerblichen Schutzbereichs dieser Patentanmeldung/Patent sofern einen Schutzbereich nach anwendbarem Recht durch die Ansprüche verliehen wird.
Es zeigen:
Fig. 1 ein interaktives Datensicht- und Bediensystem gemäß einem ersten Ausführungsbeispiel der Erfindung;
Fig. 2 eine detaillierte Ansicht eines Auges im Querschnitt;
Fig. 3 eine Ausführungsform eines bei der Erfindung zum Einsatz kommenden interaktiven Brillensystems, bei der eine Signalerfassungsvorrichtung in Form einer scannenden Augenabtastvorrichtung vorgesehen ist;
Fig. 4 eine Ausführungsform einer beim erfindungsgemäßen System verwendbaren interaktiven Brille, bei der eine Ausgabevorrichtung in Form einer scannenden Projektionsvorrichtung vorgesehen ist;
Fig. 5A eine interaktive Brille gemäß einem vierten Ausführungsbeispiel;
Fig. 5B eine Detailzeichung einer in der Fig. 5 dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung;
Fig. 6A eine interaktive Brille gemäß einem fünften Ausführungsbeispiel;
Fig. 6B eine Detailzeichung einer in der Fig. 6A dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung;
Fig. 7A eine interaktive Brille gemäß einem sechsten Ausführungsbeispiel;
Fig. 7B eine Detailzeichung einer in der Fig. 7A dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung;
Fig. 8 eine interaktive Brille gemäß einem siebten Ausführungsbeispiel;
Fig. 9 eine interaktive Brille gemäß einem achten Ausführungsbeispiel;
Fig. 10A eine Draufsicht einer Brille gemäß einem neunten Ausführungsbeispiel;
Fig. 10B eine Frontansicht einer Brille gemäß einem neunten Ausführungsbeispiel;
Fig. 11A das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem zehnten Ausführungsbeispiel gestalteten Informationssystems;
Fig. 11B das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem zehnten Ausführungsbeispiel gestalteten Informationssystems;
Fig. 11C eine schemenhafte Darstellung eines Abtastmusters;
Fig. 11D eine schemenhafte Darstellung eines abgeänderten Abtastmuster;
Fig. 12A das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem elften Ausführungsbeispiel gestalteten Informationssystems;
Fig. 12B das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem elften Ausführungsbeispiel gestalteten Informationssystems;
Fig. 12C das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem elften Ausführungsbeispiel gestalteten Informationssystems;
Fig. 12D das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem elften Ausführungsbeispiel gestalteten Informationssystems;
Fig. 12E das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem elften Ausführungsbeispiel gestalteten Informationssystems;
Fig. 13A das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem zwöfften Ausführungsbeispiel gestalteten Informationssystems;
Fig. 13B das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem zwöften Ausführungsbeispiel gestalteten Informationssystems;
Fig. 14A ein erfindungsgemäßes Informationssystem gemäß einem dreizehnten Ausführungsbeispiel;
Fig. 14B ein erfindungsgemäßes Informationssystem gemäß einem dreizehnten Ausführungsbeispiel;
Die Fig. 15 ein erfindungsgemäßes Informationssystem gemäß einem vierzehnten Ausführungsbeispiel;
Die Fig. 16 eine schematische Darstellung eines erfindungsgemäßen Informationssystems gemäß einem fünfzehnten Ausführungsbeispiel; und
Figure 17 ein optisches System gemäß einem sechzehnten Ausführungsbeispiel.
In der Beschreibung der Figuren werden ähnliche oder identische Gegenstände mit ähnlich oder gleich endenden Bezugsziffern bezeichnet. Viele der abgebildeten Gegenstände weisen symmetrische oder komplementäre Komponenten auf, die durch einen Zusatzbuchstaben, beispielsweise "L" für links und "R" für rechts, nach dem Bezugsziffer unterschieden werden. Betrifft die Aussage jede einzelne Komponente einer solchen symmetrischen oder komplementären Gruppierung, wird auf den Zusatzbuchstaben in manchen Fällen der Übersichtlichkeit halber verzichtet.
Fig. 1
Fig. 1 zeigt ein im weitesten Sinn als Informationssystem fungierendes interaktives Datensicht- und Bediensystem 100 gemäß einem ersten Ausführungsbeispiel der Erfindung. Das System 100 ist in Form eines interaktiven Brillensystems 120 bzw. einer interaktiven Brille 120 ausgeführt, die zwei optische Vorrichtungen 150 umfaßt. Bevorzugt befinden sich die optischen Vorrichtungen 150 jeweilig auf einer Innenseite eines linken 121L oder rechten 121R Bügelteils der Brille 120. Je nach Anwendungsbereich sind auch andere, die Sicht nicht störende Anordnungen der optischen Vorrichtungen, z. B. im Bereich eines über die Nasenwurzel eines Beneutzers verlaufenden Nasenstegs 122 der Brille 120, sinnvoll.
Die optische Vorrichtung 150 der Brille 120 ist über Verbindungsleitungen 101 an eine Signalverarbeitungseinrichtung in Form einer Prozessoreinheit 140 angeschlossen. Sind Photodetektoren und/oder Lichtquellen von den optischen Vorrichtungen umfaßt, dienen die Verbindungsleitungen zur Übertragung von elektrischen Detektor- bzw. Steuersignalen. Die Photodetektoren bzw. Lichtquellen können jedoch in der Prozessoreinheit 140 angeordnet und über lichtleitende Verbindungsleitungen 101 an die optischen Vorrichtungen 150 der Brille 120 angeschlossen werden. Dies trägt zur Gewichtsreduktion der Brille 120 bei.
Mit dem Bezugszeichen 196 ist eine strichpunktiert angedeutete Kommunikationsschnittstelle bezeichnet, an die entsprechende Ausgangssignale der Signalverarbeitungseinrichtung 140 gegeben werden, um über ein vorzugsweise mobiles Kommunikationssystem 197, die über eine Signalleitung 196a an die Schnittstelle 196 angeschlossen ist, mit einer externen Informationsquelle 198 in kommunizierende Verbindung zu treten.
Als mobiles Kommunikationssystem 197 kann beispielsweise ein tragbares Telefon, ein LapTop oder ein PlamTop dienen, wobei die Verbindung für die Datenfernübertragung auf der Basis aller gängigen Protokolle wie GSM, UMTS, CDMA, TDMA oder DECT erfolgen kann. Bei der externen Informationsquelle 198 handelt es sich im allgemeinsten Fall um eine Datenbank bzw. um Dateien, auf die durch geeignete Protokolle, wie z. B. über das Internet zugegriffen werden kann.
Die Signalleitung 196a ist bidirektional, so dass über sie im interaktiven Datenaustausch zwischen Kommunikationssystem 197 und Datenbank 198 entsprechende Anforderungssignale auf die Schnittstelle 196 und von dort auf die Signalverarbeitungseinrichtung 140 zurückgegeben werden. Eine nicht näher gezeigte und vorzugsweise in der Prozessoreinheit 140 integrierte Steuervorrichtung sorgt dafür, dass die Anforderungssignale in die gewünschten Operationssignale umgewandelt werden, mit denen entweder die optische Vorrichtung 150 zur Einspielung zusätzlicher Bildinformation auf die Netzhaut und/oder zumindest ein weiteres Informationswiedergabegerät, wie z. B. ein Kopfhörersystem 150a zur Übertragung von zusätzlicher Information zur Bedienperson veranlasst wird. Wenn ein weiteres Informationswiedergabegerät 150a vorgesehen ist, ist vorzugsweise eine weitere Signalleitung 101a vorhanden, die zur Prozessoreinheit 140 geführt ist.
Mit strichpunktierter Linie ist ein Mikrofon 150a angedeutet, das Bestandteil des Datensicht- und Bediensystems ist und über das eine Spracheingabe erfolgen kann. Eine entsprechende Signalleitung 101b ist vom Brillensystem zur Prozessoreinheit geführt. Über das Mikrofon kann eine sprachgesteuerte Bedienung des interaktiven Datensicht- und Bediensystems vorgenommen werden. Es können beispielsweise Steuervorgänge wie Blättern in Anzeigemenüs durchgeführt oder bestimmte Aktionen des Systems, wie z. B. das Auslösen von Anwahl- oder Abwahlvorgängen ausgelöst werden.
Auf diese Weise ist das System in der Lage, laufend und gleichzeitig Daten der optischen Vorrichtung und der Kommunikationseinrichtung zu verarbeiten und ggf. in Abhängigkeit zusätzlicher Steuerbefehle der Bedienperson, die entweder über die Leitung 101 oder die Leitung 101b auf die Prozessoreinheit gegeben werden, die Signalverarbeitungseinrichtung 140 über die Kommunikationsschnittstelle () und/oder das weitere Infromationswiedergabegerät 150a so anzusteuern, dass das gewünschte Ergebnis der interaktiven Kommunikation erzielbar ist. So ist es Beispielsweise möglich, blick- oder sprachgesteuert akustische oder Bildinformationen, die vom Internet über die Kommunikationseinrichtung heruntergeladen wurden, zu der Bedienperson zu leiten. Im Fall von optischen Informationen werden diese dem auf das Auge einfallenden Bild positionsgenau überlagert.
Eine weitere Möglichkeit der Ansteuerung der Datenübertragungs- und Signalverarbeitungseinrichtung - realisiert durch die. Komponenten 140, 196, 197 - besteht beispielsweise darin, dass über das optische System 150 ein Steuermenü auf die Netzhaut der Bedienperson eingespielt wird. Da das Bild auf der Netzhaut zyklisch, vorzugsweise mit einer Abtastfrequenz von 100 Hz abgestastet wird, kann das optische System 150 in Verbindung mit der Prozessoreinheit 140 zu jedem Zeitpunkt feststellen, welches Bild sich im Zentrum des Blickfeldes befindet. Denn dieses Bild kommt in der Fovea Centralis zu liegen. Wenn somit die Bedienperson einen bestimmten Menüpunkt oder eine eingespieltes Prigramm-Steuersymbol fokussiert und wenn zu diesem Zeitpunkt ein bestimmtes Auslösesignal erzeugt wird, wird die entsprechende Operation aufgerufen. Das Auslösesignal kann durch ein geeignete am System vorgesehene Taste, über das Spracheingabesystem (Mikrofon 150b in Verbindung mit Sprachdekoder in der Prozessoreinheit) oder aber auf optischem Weg erzeugt werden, indem z. B. der in dem Moment bewusst durchgeführte Lidschlag als Auslöser herangezogen wird.
Selbstverständlich sind Modifikationen des Systems denkbar, ohne den Grundgedanken der Erfindung zu verlassen. So kann selbstverständlich - wie durch die strichpunktierte Linie Z angedeutet - die mobile Datenübertragungseinrichtung 197 zusammen mit der Schnittstelle 196 und der Signalverarbeitungseinrichtung 140 zu einer Einheit zusammengefasst sein.
Die Datenübertragungseinrichtung kann einen vorzugsweise tragbaren Computer, wie z. B. einen LapTop oder PalmTop aufweisen, der mit einer geeigneten DFÜ-Schnittstelle ausgestattet ist.
Als Steuereinheit zur Aktivierung bestimmter Operationen des Systems kann auch eine elektromechanische Steuereinheit, wie z. B. einer Bedienmaus () vorgesehen sein.
Da die optische Vorrichtung die Netzhaut der Bedienperson ständig abtastet, kann sie - insbesondere wenn ein geeignetes Wellenlängenband, beispielsweise das Infrarotband, des Scanstrahls gewählt wird - die Struktur der Netzhaut erfassen, so dass auf die Bedienperson bezogene eineindeutig zuordenbare Benutzer- bzw. Träger- Kennungsdaten als Datensatz in der Signalverarbeitungseinrichtung 140 zwischengespeichert werden können. Der Datensatz kann dann zur Trägerkennung bzw. zur personalisierten Einstellung des Systems an die betreffende Bedienperson herangezogen werden.
Das System eignet sich in besonders vorteilhafter Weise zur Verwendung im medizinischen Bereich, insbesondere im Bereich der Ophthalmologie, als Therapie- oder Analysegerät, aber auch im militärischen Anwendungsbereich, wenn es darum geht, im mobilen Einsatz auf große Datenmengen zuzugreifen und entsprechende aus der Datenbank heruntergeladene Daten möglichst zeitgleich für die Bedienperson zu nutzen.
Im folgenden werden verschiedene Ausführungsbeispiele der optischen Vorrichtung beschrieben, die in vorteilhafter Weise in Verbindung mit dem erfindungsgemäßen Datensicht- und Bediensystem Anwendung findet. Ferner werden Informationssysteme beschrieben, die verschiedenene - ebenfalls einsetzbare - Modifikationen der optischen Vorrichtung beinhalten und mit dem Datensicht- und Bediensystem sinnvoll kombinierbar sind. Zum besseren Verständnis des Arbeitsweise der optischen Vorrichtung und des damit kombinierten Systems soll jedoch zunächst auf die Fig. 2 eingegangen und anhand dieser Darstellung der Aufbau des menschlichen Auges verdeutlicht werden
Fig. 2
Fig. 2 zeigt zwecks Verständnis der Erfindung eine detaillierte Ansicht eines Auges 280 im Querschnitt. Das Auge 280, das in einer aus Schädelknochen gebildeten Augenhöhle 20 (lat. Orbita) im Kopf eines Menschen untergebracht und hier im Sinne eines Augapfels 280 zu verstehen ist, besteht aus einer von einer lichtdurchlässigen Hornhaut 283 (lat. Kornea) und einer sichtlich weißen Lederhaut 28 (lat. Sklera) umgebenen Kammer. Die Lederhaut 28 ist auf seiner dem Inneren des Auges 280 zugewandten Seite von einer Aderhaut 287 (lat. Choroidea) überzogen, die auf seiner ebenfalls inneren Seite eine lichtempfindliche Netzhaut 281 (lat. Retina) trägt und diese mit Blut versorgt. Durch ihre Pigmentierung verhindert die Aderhaut 287 eine Steuung des darauffallenden Lichts, die das Sehvermögen stören könnte.
Das Gewebe der Netzhaut 281 umfaßt zwei Arten von Photorezeptorzellen, nämlich Stäbchen und Zapfen (beide nicht dargestellt), die dem Menschen den Sehsinn ermöglichen. Diese Photorezeptorzellen absorbieren das durch eine Augenlinse 282 gebündelte Licht in einem Wellenlängenbereich von ca. 380-760 nm und verwandeln es durch eine Reihe von chemischen Reaktionen in elektrische Nervensignale. Die Signale der verschiedenen Nervenzellen der Netzhaut 281 werden dann über einen Sehnerv 25 an das Gehirn weitergeleitet und dort zu einem wahrnehmbaren Bild verarbeitet. Die zahlreichen, ca. 120 Millionen zählenden und stark lichtempfindlichen Stäbchen sind auf die Signalaufnahme im Dämmerlicht (sogenanntes skotopisches Sehen) spezialisiert und liefern ein Graustufenbild. Die ca. 6,5 Millionen, vergleichsweise weniger lichtempfindlichen Zapfen dagegen sind für das Farbsehen bei Tageslicht (sogenanntes photopisches Sehen) zuständig. Bei der Lichtabsorbtion findet eine Oxidierung von Pigmenten in den Photorezeptorenzellen statt. Zur Regenerierung der Pigmente bedarf es bei den Zapfen ca. 6 Minuten und bei den Stäbchen ca. 30 Minuten. Eine Betrachtungsdauer von ca. 200 msec ist notwendig, bis der Sehreiz über die Photorezeptoren einsetzt und eine Informationsaufnahme über die Netzhaut 281 erfolgt.
Die Netzhaut 281 weist eine Vertiefung 286 auf, die durch ihre im Vergleich zur übrigen Netzhaut höher Dichte an Zapfen als etwas stärker pigmentiert erscheint. Diese Vertiefung 286, die üblicherweise Sehgrube 286 (Fovea centralis) genannt wird, liegt in einem als "gelber Fleck" (lat. Makula) bekannten Bereich der Netzhaut und stellt den Bereich des schärfsten Sehens dar. Die Fovea centralis 286 ist nur mit Zapfen besetzt, weist eine sehr hohe Zapfendichte auf und beansprucht lediglich ca. 0,01% der Netzhautoberfläche. An der mit dem Bezugszeichen 288 gekennzeichneten Stelle vis-à-vis der Linse 282 tritt das Sehnerv 25 durch eine siebartige Öffnung in der Lederhaut 28 in das Innere des Auges ein. Diese Stelle 288 weist keine Photorezeptorzellen auf, weshalb sie als "blinder Fleck" bezeichnet wird.
Die von der Hornhaut 283 und der Lederhaut 28 gebildeten Kammer ist durch eine verformbare Linse 282 und einen muskelösen Strahlenkörper 23 (auch Ziliarkörper genannt), der die Linse 282 trägt, unterteilt. Der zwischen der Linse 282 und der Netzhaut 281 liegende Teil der Kammer, der ca. 2/3 des Augapfels ausmacht, bildet einen sogenannten Glaskörper 21, ein gallertiges Gebilde, das zu über 98% aus Wasser besteht und die Netzhaut 281 stützt und schützt. Der als Vorderkammer 22 bezeichnete, zwischen der Hornhaut 283 und der Linse 282 liegende Teil der Kammer enthält eine Flüssigkeit, die die Hornhaut 283 ernährt. In ihrer Urform bricht die Linse 282 das auf das Auge fallende Licht typischerweise derart, daß das ferne Gesichtsfeld auf die Netzhaut 281 scharf abgebildet wird. Durch Anspannung/Entspannung der Muskeln des Ziliarkörper 23 kann die Form und somit auch die Brechungscharakteristik der Linse 282 über einen breiten Bereich verändert werden, um beispielsweise eine scharfe Abbildung nahliegender Gegenstände des Gesichtsfelds auf die Netzhaut 281 zu ermöglichen. Dieser Vorgang läuft in den meisten Fällen für den betroffenen Menschen unbewußt ab.
Unmittelbar vor der Linse 282 befindet sich in der Vorderkammer 22 eine aus gefärbtem Gewebe bestehende Blende 285 veränderbaren Durchmessers, die den Lichteinfall auf die lichtempfindlichen Teile des Auges 280 reguliert und dem Auge 280 seine charakteristische Färbung verleiht. Diese Blende 285 wird deshalb als Regenbogenhaut 285 (lat. Iris) bezeichnet. Aufgrund der geringen Lichtrückstrahlung der Linse 282, des Glaskörpers 21 und der Netzhaut 281 erscheint der zentrale Bereich der Iris 285 schwarz und wird Pupille 284 bezeichnet. Auch die Regulierung der Pupillengröße läuft für den Menschen unbewußt ab.
Das Auge 280 ist über sechs teils parallel, teils schräg zueinander verlaufende Muskeln 24 an die Schädel verbunden, die ein Schwenken des Auges 280 und folglich eine Änderung der Blickrichtung ermöglichen. Das binokular, ohne Bewegung der Augen 280 erfaßte Gesichtsfeld umfaßt horizontal ca. 170° und vertikal ca. 110°. Werden die Augen 280 bewegt, kann ein binokulares Blickfeld von horizontal ca. 290° und vertikal ca. 190° erfaßt werden. Der von der Fovea centralis 286 erfaßten Bereich des schärften Sehens umfaßt lediglich ca. 1°. Eine fiktive Achse durch die Mitte dieses Bereichs wird als Sehachse bezeichnet und entspricht der Blickrichtung. Auch eine Rotation des Auges um die Sehachse wird durch die Muskeln 24 ermöglicht.
Die sechs Muskeln 24 sind für sämtliche Augenbewegungen zuständig. Bei einer Betrachtung eines Fixpunkts finden sogenannte Mikrotremors des Auges 280 statt, bei denen das Augen 280 leicht zittert, um eine vorübergehende Erschöpfung der chemischen Reaktionfähigkeit der betroffenen Photorezeptorzellen beim gleichbleibenden Reiz zu vermeiden. Während eines Blickrichtungswechsels oder einer Kopfbewegung finden sogenannte Sakkadenbewegungen statt, mit deren Hilfe die Fovea centralis 286 auf ihr neues Fixationsziel gerichtet bzw. auf ihr bisheriges Fixationsziel gehalten wird. Bei dieser sehr komplex ablaufenden Bewegung wird das Auge 280 unwillentlich mit einer kleinen Amplitude von bis zu mehreren zehn Grad und einer extrem schnellen Winkelgeschwindigkeit von bis zu mehreren hundert Grad pro Sekunde hin und her bewegt. Bei der Verfolgung eines sich bewegenden Objekts erreicht das Auge 280 Winkelgeschwindigkeiten von lediglich eins bis zwei hundert Grad pro Sekunden.
Zum Schutz des Augapfels 280 hat der Mensch bewegliche Hautfalten, nämlich ein Oberlid 27a und ein Unterlid 27b, die ein Schließen der Augenhöhle 20 gegen äußere Einflüsse ermöglicht. Die Lider 27a und 27b schließen sich reflektorisch bei einfallenden Fremdkörpern und starker Blendung. Darüber hinaus sorgen die Lider 27a und 27b durch regelmäßigen, meist unwillkürlichen Lidschlag für einen gleichmäßig auf der Hornhaut 283 verteilten Tränenfilm, der die äußere Oberfläche der Hornhaut 283 vor einem Austrocknen wahrt und wäscht. Die Lider 27a und 27b weisen auch Wimpern 27c auf, die das Auge 280 ebenfalls vor Staub schützen. Eine Bindehaut 26 kleidet den Raum zwischen den Lidern 27a bzw. 27b, der Aughöhle 20 und dem Augapfel 280 aus. Die Bindehaut 26 geht einerseits in die Lidinnenseite über, andererseits in die Hornhaut 283, und stellt einen zweiten Schutzwall gegen das Eindringen von Keimen und Fremdkörpern dar.
Fig. 3
Fig. 3 zeigt im Detail eine erste Ausführungsform der optischen Vorrichtung des wie oben beschriebenen, interaktiven Brillensystems bzw. Brille 320 als Bestandteil des interaktiven Datensicht- und Bediensystems. Es ist eine Signalerfassungsvorrichtung in Form einer scannenden Augenabtastvorrichtung 350D vorgesehen ist. Dabei stellt die linke Bildhälfte eine Draufsicht auf den Kopf eines Benutzers 302 samt Brille 320 mit rechtem Bügelteil 321R dar, während die rechte Bildhälfte ein durch den linken Bügelteil 321L verlaufenden Querschnitt der Brille 320 wiedergibt. Außer der zur interaktiven Brille 320 gehörenden Vorrichtungen sind in der Fig. 3 keine weiteren Komponenten der erfindungsgemäßen Informationssystem 100 abgebildet.
Gemäß der abgebildeten Ausführungsform werden auf das Auge 380 fallende Lichtstrahlen 333a und 333b, die beispielsweise aus dem Gesichtsfeld stammen, von der Linse 382 auf der Netzhaut 381 als zusammenhängendes Bild scharf abgebildet und von ihr als Netzhautreflexbild zurückreflektiert. Ein so zurückreflektierter Lichtstrahl 331 passiert in ungekehrte Richtung erneut die Linse 382, wird über zwei, zum Spiegelsystem der Brille 320 gehörende konkave Spiegel 322 und 323 fokussiert und wie abgebildet auf eine scannende Augenabtastvorrichtung 350D gelenkt. Die Augenabtastvorrichtung 350D umfaßt eine Signalerfassungsvorrichtung 351 in Form eines Fotodetektors 351, der den von der Netzhaut 381 zurückreflektierten Lichtstrahl 331 erfaßt, sowie zwei bewegliche Flachspiegel 352H und 352 V, die eine horizontale bzw. vertikale Ablenkung des Lichtstrahls 331 auf den Fotodetektor 351 bewirken. Gemäß der Ausführung der Fig. 3 umfaßt die Brille 320 zusätzlich eine Lichtfalle 324, die einen Lichteinfall aus unerwünschten Einfallsrichtungen verhindert. Zur Vereinfachung des Spiegelsystem der Brille 320 kann der Spiegel 323 durch eine verspiegelte Innenoberflache des Brillenglases verwirklicht werden. Allerdings muß die Oberfläche eine bestimmte Form aufweisen, um eine Erfassung des gesamten Netzhautreflexbildes auch bei einer eventuellen verdrehten Stellung des Auges 380 zu ermöglichen. Dies schränkt wiederum die Gestaltungsmöglichkeiten der Brille 320 ein.
Durch die Kombination eines punktförmigen Detektors 351 mit entsprechender Steuerung der Flachspiegel 352H und 352V erfolgt eine serielle punktuelle Abtastung des Netzhautreflexbildes als Bildpunktfolge. Bevorzugt wird die Netzhaut 381, wie in der DE 196 31 414 A1 und der DE 197 28 890 beschrieben, mit einem kreis-, spiral- oder ellipsenförmigen Scanmuster abgetastet. Dies hat den Vorteil, daß die Flachspiegel 352 ohne rückartigen Bewegungen angetrieben werden können, und daß eine höhere Bildpunktdichte (Anzahl der Bildpunkte pro Flächeneinheit der Netzhaut) im Bereich der Fovea centralis 286 sich erfassen läßt.
Dem Aufnahmevorgang vorgeschaltet wird - soweit noch nicht in einem vorhergenden Projektionsvorgang geschehen - vorzugsweise ein geeigneter Synchronisationsvorgang zur Bestimmung der momentanen Sehachse, damit der Scanvorgang augenzentriert durchgeführt werden kann.
Fig. 4
Fig. 4 zeigt im Detail ein verwendbare Ausführungsform der interaktiven Brille 420, bei der eine Ausgabevorrichtung in Form einer scannenden Projektionsvorrichtung 450P vorgesehen ist. Dabei stellt die linke Bildhälfte eine Draufsicht auf den Kopf eines Benutzers 402 samt Brille 420 mit rechtem Bügelteil 421R dar, während die rechte Bildhälfte ein durch den linken Bügelteil 421L verlaufenden Querschnitt der Brille 420 wiedergibt. Außer der zur interaktiven Brille 420 gehörenden Vorrichtungen sind in der Fig. 4 keine weiteren Komponenten der erfindungsgemäßen Informationssystem 100 abgebildet.
Gemäß der abgebildeten Ausführungsform umfaßt die scannende Projektionsvorrichtung 450P eine einen Projektionslichtstrahl 432 emittierende Lichtquelle 453, beispielsweise eine Laserdiode oder eine über ein Linsensystem fokusierte LED, sowie zwei bewegliche Flachspiegel 454H und 454 V. Der Projektionslichtstrahl 432 wird über die beweglichen Flachspiegel 454H und 454V auf ein Spiegelsystem der Brille 420 gelenkt, das zwei konkave Spiegel 422 und 423 umfaßt, die den Projektionslichtstrahl 432 auf die Linse 482 eines Auges 480 und schließlich auf die Netzhaut 481 wirft. Zur Vereinfachung des Spiegelsystem der Brille 420 kann der Spiegel 423 durch eine verspiegelte Innenoberflache des Brillenglases verwirklicht werden. Allerdings muß die Oberfläche eine bestimmte Form aufweisen, um eine Projektion auf alle Bereiche der Netzhaut 481 auch bei einer eventuellen verdrehten Stellung des Auges 480 zu ermöglichen. Dies schränkt wiederum die Gestaltungsmöglichkeiten der Brille 420 ein. Zur Vermeidung störender Lichteinfälle läßt sich die Brille 420 mit einer Lichtfalle 424 ausstatten, die Lichteinfälle aus unerwünschten Einfallsrichtungen verhindert.
Durch die Kombination einer punktförmigen Lichtquelle 453 mit entsprechender Steuerung der Flachspiegel 452H und 452 V, die jeweils eine horizontale bzw. vertikale Ablenkung des Projektionslichtstrahls 432 bewirken, erfolgt eine serielle punktuelle Projektion eines Bildes. Bevorzugt erfolgt die Projektion, wie in der DE 196 31 414 A1 und der DE 197 28 890 beschrieben, mit einem kreis-, spiral- oder ellipsenförmigen Scanmuster. Dies hat den Vorteil, daß die Flachspiegel 452 ohne rückartigen Bewegungen angetrieben werden können, und daß sich eine höhere Bildpunktdichte im Bereich der Fovea centralis 286 auf die Netzhaut 481 projizieren läßt.
Projektion
Der Grad der Wahrnehmung eines in das Auge 480 projizierten Bildes kann im Verhältnis zum natürlich wahrgenommenen Bild durch die Helligkeit der projizierten Bildpunkte gesteuert werden. Allerdings ist die retinale Wahrnehmung ein zutiefst komplexer Vorgang, bei der auch psychologische Effekte eine sehr starke Rolle spielen. Hier wird auf die einschlägige Fachliteratur verwiesen.
Vereinfacht läßt sich jedoch sagen, daß die Retina 481 sich auf die Helligkeit des insgesamt auf sie fallenden Lichtes einstellt. Es ist zum Beispiel bekannt, daß das geringe Leuchten der Uhr eines Radioweckers, das bei Tageslicht gar nicht wahrgenommen wird, bei dunkler Nacht ein ganzes Zimmer zu erleuchten scheinen kann. Andersherum ist das starke Scheinwerferlicht entgegenkommender Fahrzeuge bei Tageslicht kaum wahrnehmbar. Es wird also die Helligkeit eines einzelnen Bildpunktes in Relation zu den ansonsten wahrgenommenen Bildpunkte empfunden. Auch lokal betrachtet, funktioniert die Retina 481 ähnlich. Übersteigt die Helligkeit eines auf einen Gebiet der Retina 481 projizierten Bildpunkt die Helligkeit des ansonsten auf dieses Gebiet fallenden Lichtes um ca. 10%, so wird effektiv lediglich der projizierte Bildpunkt anstelle des sonstigen Lichts von diesem Gebiet der Retina 481 wahrgenommen. Aufgrund psychologischer Effekte kann der genaue Wert statt bei 10% auch zwischen 5%-10%, 10%-15% oder gar 15%-20% liegen.
Dem Projektionsvorgang vorgeschaltet wird - soweit noch nicht in einem vorhergenden Scanvorgang geschehen - bei Bedarf vorzugsweise ein geeigneter Synchronisationsvorgang zur Bestimmung der momentanen Sehachse, damit der Projektionsvorgang augenzentriert durchgeführt werden kann.
Fig. 5
Fig. 5A zeigt eine interaktive Brille 520 gemäß einem vierten bevorzugten Ausführungsbeispiel, bei der eine kombinierte Signalerfassungs- und Projektionsvorrichtung 550 im Bereich des Nasenstegs 522 an die Brille 520 angebracht ist. Gemäß der Detailzeichung 5B umfaßt die kombinierte Signalerfassungs- und Projektionsvorrichtung 550 sowohl eine Projektionsvorrichtung 553 als auch eine Signalerfassungsvorrichtung, die zusammen in einem schützenden Gehäuse 558 untergebracht sind. Durch ein lichtdurchlässiges Fenster 559 in einer Außenwand des Gehäuses 558 gelingen Lichtstrahlen 530 in das Innere des Gehäuses 558 und umgekehrt. Das Abschließen des Gehäuses 558 durch das Fenster 559 verhindert jedoch, daß Staub, Schweiß und andere Fremdstöffe den Betrieb der kombinierte Signalerfassungs- und Projektionsvorrichtung 550 stört.
Analog den beschriebenen Systemen gemäß Fig. 3 und 4 werden Lichtstrahlen 530, 530a, 530b erfaßt bzw. projiziert. Die interaktive Brille 520 läßt sich jedoch in ihrem Aufbau dadurch vereinfachen, daß die im Stand der Technik getrennten Spiegel 352 bzw. 452 zur vertikalen bzw. horizontalen Ablenkung des jeweiligen Lichtstrahls 331 bzw. 432 durch einen Taumelspiegel 552 bzw. 554 ersetzt wird. Zwecks einer kompakten Bauweise kann ein teildurchlässiger Spiegel 556 dazu dienen, separate Strahlengänge innerhalb des Gehäuses 558 für das durch das Fenster 559 fallende bzw. projizierte Licht 530 zu ermöglichen. Bevorzugt wird die Innenseite des Brillenglases mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 523 versehen, die als Spiegel für den Strahlengang zwischen dem Auge 580 und dem kombinierten Signalerfassungs- und Projektionsvorrichtung 550 verwendet. Dies trägt zu einer Reduzierung der notwendigen Komponenten bei und führt in der abgebildeten Ausführungsform zu einem vereinfachten, lichtstarken Strahlengang 530, bei dem der Lichtstrahl 530 zwischen Auge 580 und Projektions- bzw. Signalerfassungsvorrichtung 553 bzw. 551 lediglich dreimal reflektiert wird. Wie oben beschrieben, ergibt sich jedoch hieraus eine Einschränkung der Gestaltungsmöglichkeiten der Brille 520.
Die für eine Taumelbewegung des Spiegels 552, 554 notwendige Bewegungsfreiheit läßt sich beispielsweise durch eine kardanische oder federnde Aufhängung des Spiegels 552, 554 erreichen. Mögliche Ausführungsarten eines derartigen Taumelspiegels sind dem Fachmann beispielsweise aus dem Gebiet der Mikrotechnik bekannt. Weitere Lösungen des vorliegenden Ablenkungsproblems, bei der der jeweilige Lichtstrahl 530 auf der Basis elektrochromer, holographischer, elektroholographischer oder sonstiger Lichtbrechungs- oder Lichtreflektionsmechanismen gelenkt wird, sind ohne weiteres denkbar und ebenfalls anwendbar.
Obwohl die interaktive Brille 520 in einer minimalistischen Ausführungsform gezeigt ist, bei der eine kombinierte Signalerfassungs- und Projektionsvorrichtung 550 lediglich für das linke Auge 580 vorgesehen ist, ist es selbstverständlich, daß eine spiegelverkehrt gebaute, zweite kombinierte Signalerfassungs- und Projektionsvorrichtung 550 im Bereich der rechten Hälfte des Nasenstegs 522 für das nicht dargestellte rechte Auge bei Bedarf vorgesehen werden kann.
Fig. 6
Fig. 6A zeigt in Form einer Abänderung der in den Fig. 5A und 5B dargestellten Brille 520 eine interaktive Brille 620 gemäß einem fünften bevorzugten Ausführungsbeispiel, bei der die linke kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L in dem zwischen dem linken Brillenglas 624L und dem linken Bügelteil 621L liegenden Bereich und die rechte kombinierte Signalerfassungs- und Projektionsvorrichtungen 650R in dem zwischen dem rechten Brillenglas 624R und dem linken Bügelteil 621R liegenden Bereich angeordnet sind.
Eine solche Anordnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L, 650R gegenüber den jeweiligen Brillengläsern 624L, 624R und den jeweiligen Augen 680 ist normalerweise mit der Notwendigkeit verbunden, entweder mehrere Spiegel entlang des Strahlengangs 630 vorzusehen (vgl. Spiegel 322 und 323 in Fig. 3) oder dem jeweiligen Brillenglas 624L, 624R eine besondere Form zu verleihen, um eine Erfassung aller Bereiche der Netzhaut 681 zu gewährleisten. Dies schränkt jedoch die Gestaltungsmöglichkeiten der Brille 620 erheblich ein. Um dieses Problem zu umgehen, sieht die interaktive Brille 620 gemäß Fig. 6 Brillengläser 624L, 624R vor, deren Innenseite mit einer jeweiligen holographischen Beschichtung 623L, 623R versehen sind. Solche holographischen Beschichtung 623 sind in der Lage, eine beliebige Reflektionstopologie zu emulieren. Zum Beispiel kann eine holographisch beschichtete, flache Oberfläche wie eine sphärisch gekrümmte Oberfläche wirken. Ebenso kann eine holographisch beschichtete, sphärisch gekrümmte Oberfläche wie eine flache Oberfläche wirken. Die Änderung der effektiven Reflektionstopologie hängt lediglich vom holographischen Inhalt der Beschichtung ab. Gemäß der Abbildung sind die holographischen Beschichtungen 623L und 623R spiegelsymmetrisch zueinander ausgebildet und angeordnet.
Fig. 6B enthält eine Detailzeichnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L. Analog der in der Fig. 5B dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung 550 umfaßt sie ein Gehäuse 658, eine Projektionsvorrichtung 653 und eine Signalerfassungsvorrichtung 651, jeweilige Taumelspiegel 652 und 654, einen teildurchlässigen Spiegel 656 und ein Gehäusefenster 659.
Fig. 7
Ähnlich den Fig. 6A und 6B zeigt Fig. 7A in Form einer Abänderung der in den Fig. 5A und 5B dargestellten Brille 520 eine interaktive Brille 720 gemäß einem sechsten bevorzugten Ausführungsbeispiel, bei der die linke kombinierte Signalerfassungs- und Projektionsvorrichtungen 750L in dem zwischen dem linken Brillenglas 724L und dem linken Bügelteil 721L liegenden Bereich und die rechte kombinierte Signalerfassungs- und Projektionsvorrichtungen 750R in dem zwischen dem rechten Brillenglas 724R und dem linken Bügelteil 721R liegenden Bereich angeordnet sind.
Fig. 7B enthält eine Detailzeichnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 750L. Analog der in der Fig. 5B dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung 550 umfaßt sie ein Gehäuse 758, eine Projektionsvorrichtung 753 und eine Signalerfassungsvorrichtung 751, jeweilige Taumelspiegel 752 und 754, einen teildurchlässigen Spiegel 756 und ein Gehäusefenster 759.
Das oben angesprochene Problem des Strahlengangs 730 wird bei diesem Ausführungsbeispiel durch besonders ausgestaltete Pads 725L und 72ER platzsparend gelöst. Typischerweise werden Brillen 720 entweder durch den Nasensteg 722 oder durch sogenannte Pads 725 auf der Nasenwurzel gestützt. In ihrem handelsüblichen Gestalt sind Pads relativ flach, leicht gekrümmt und oval. Zudem sind sie entweder schwenkbar oder taumelnd an einem vom Nasensteg 722 ausgehenden Vorsprung gelagert, um ein angenehmes Anliegen der Pads an die Seitenflächen der Nasenwurzel zu gewährleisten. Im abgebildeten Ausführungsbeispiel sind die Pads 725 als formfeste, längliche Einheiten ausgebildet, die im Bereich des Nasenstegs 722 von der Brille 720 in Richtung Auge 780 herausragen. Auf ihrer jeweiligen, der Nase zugewandten länglichen Seite bilden die Pads 725 die sich auf die Nasenwurzel stützende Aufliegefläche. In ihrem der Brille 720 gegenüber liegenden Endbereich weisen die Pads 725 auf der jeweilig dem Auge zugewandten Seite eine Tragfläche auf, die mit einem Spiegel oder einer spiegelnden Beschichtung, beispielsweise einer Metallbeschichtung oder einer holographischen Beschichtung, versehen ist.
Obwohl das Gestell der Brille 720, einschließlich die Pads 725, eine im Prinzip feste Form aufweist, treten sowohl quasi-statische, z. B. durch Materialermüdung und/oder Temperaturänderungen, als auch dynamische Verformungen des Gestells auf. Insbesondere beim Aufsetzen der Brille 720 und bei erschütterungsreichen Aktivitäten ergeben sich Veränderungen der relativen Anordnung der jeweiligen Brillenkomponenten zueinander. Auch ist die relative Anordnung der Brille 720 gegenüber dem Auge 780 keine Konstante. Demgemäß muß sowohl das optische System der Brille 720, d. h. diejenigen Systemkomponenten, die zur optischen Signalerfassung bzw. zur optischen Projektion beitragen, als auch ein eventuell daran angeschlossenes Verarbeitungssystem derart konzipiert und ausgelegt sein, daß solche Anordnungsveränderungen berücksichtigt und/oder kompensiert werden können bzw. keine außerordentlichen Betriebsstörungen verursachen. Dies gilt für alle Arten von interaktiven Brillensystemen.
Erfindungsgemäß läßt sich das zuvor angesprochene Problem insbesondere durch eine geeignete Signalverarbeitung der erfaßten und der zu erzeugenden Signale bewältigen. Es können auch fest am Brillengestell in der Nahe des üblichen Strahlengangs 730 angebrachte optische Markierung von der Signalerfassungsvorrichtung 751 zwecks Eichung ihres optischen Systems regelmäßig oder bei Bedarf mit erfaßt werden.
Fig. 8
Fig. 8 zeigt in Form einer Abänderung der in den Fig. 5A und 5B dargestellten Brille 520 eine interaktive Brille gemäß einem siebten bevorzugten Ausführungsbeispiel, bei der die Signalerfassungsvorrichtung 851 der kombinierten Signalerfassungs- und Projektionsvorrichtungen 850 in der Lage ist, das Hornhautreflexbild mindestens partiell zu erfassen.
Die Hornhaut ist normalerweise rotationssymmetrisch zur Sehachse ausgebildet. Strahlen, die senkrecht auf einen zentralen Bereich der Hornhaut fallen, sind somit konfokal zum optischen System des Auges 880 und bilden die Basis des von der Netzheut 881 tatsächlich wahrgenommenen Bildes. Zudem besteht die Hornhaut 883 zum größten Teil aus Wasser und weist aus diesem Grunde einen sehr hohen Reflektionsgrad bei einer Wellenlänge von ca. 1,1 µm auf. Da diese Wellenlänge im infraroten Spektralbereich liegt, eignet sich eine Erfassung des Hornhautreflexbildes vorwiegend für Infrarotanwendungen, beispielsweise bei Nachtsichtgeräten. Allerdings finden Reflektionen nicht nur an der äußeren, konkaven Hornhautoberfläche, sondern auch im Inneren der Hornhaut statt. Zudem bewirkt die Hornhaut 883 aufgrund ihrer Struktur keine spiegelartige, sondern eine diffuse Reflektion, die mit zunehmender Tiefe des Reflektionsereignisses im Inneren der Hornhaut diffuser wird.
Um ein sinnvolles Hornhautreflexbild zu erhalten, werden im abgebildeten Ausführungsbeispiel effektiv nur diejenigen Strahlen, die senkrecht auf einen zentralen Bereich der Hornhaut fallen, erfaßt. Dies wird durch mehrere Maßnahmen erreicht. Erstens weist das vor dem Auge gelagerte Brillenglas 824, dessen dem Auge 880 zugewandte Seite mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 823 versehen ist, eine besonders gestaltete Form auf, die das senkrecht von der Hornhaut reflektierte Licht derart bündelt, daß es als beinah parallel verlaufende Lichtstrahlen 834 auf die Signalerfassungsvorrichtung 851 fällt, während nicht senkrecht von der Hornhaut reflektiertes Licht in eine andere Richtung gelenkt wird. Alternative kann das Brillenglas 824 andersartig gestaltet sein, jedoch eine teilsdurchlässige holographisch reflektierende Schicht 823 aufweisen, die ebenfalls eine derartige Bündelung des senkrecht von der Hornhaut reflektierten Lichtes bewirkt, daß es als beinah parallel verlaufende Lichtstrahlen 834 auf die Signalerfassungsvorrichtung 851 fällt, während nicht senkrecht von der Hornhaut reflektiertes Licht in eine andere Richtung gelenkt wird. Zweitens wird eine Blende 857 kurz vor der Signalerfassungsvorrichtung 851 vorgesehen, die eine Erfassung derjenigen Lichtstrahlen verhindert, deren Einfallswinkel außerhalb einem engen Einfallswinkelbereich der wie oben beschriebenen, beinah parallel verlaufenden Lichtstrahlen 834 liegt.
Fig. 9
Fig. 9 zeigt in Form einer Abänderung der in den Fig. 5A und 5B dargestellten Brille 520 eine interaktive Brille gemäß einem achten bevorzugten Ausführungsbeispiel, bei der ein sphärisches oder sphärisch wirkendes teildurchlässiges spiegelndes Zusatzelement 929 zwischen dem Brillenglas 924 und dem Auge 980 angeordnet ist. Bevorzugt ist das Zusatzelement 929 konfokal zum optischen System des Auges 980 angeordnet.
Der Reflektionsgrad eines solchen Zusatzelements 929 läßt sich an die Bedürfnisse des Informationssystems anpassen. Es kann zwischen einem hohen Reflektionsgrad, was eine sehr gute Erfassung auf das Auge 980 gerichteter Lichtstrahlen 933a-933c ermöglicht, und einem niedrigen Reflektionsgrad, was eine Beeinträchtigung der durch das Auge 980 erfolgenden Wahrnehmung vermeidet, gewählt werden. Bevorzugt weist das Zusatzelement 929 einen niedrigen (beispielsweise unter 10%), über seine gesamte Reflektionsfläche homogen Reflektionsgrad auf. Dahingegen weisen reflektierende Organe des Auges 980, zum Beispiel die Kornea 983 oder die Retina 981, zum Teil sehr starke örtliche Reflektionsabhängigkeiten. Ähnliche Aussagen betreffen die spektralen Reflektionsabhängigkeiten des Zusatzelements bzw. der reflektierenden Organe des Auges 980. Während das Zusatzelement 929 bevorzugt derart ausgebildet werden kann, daß es einen homogenen Reflektionsgrad über alle relevanten Spektralbereiche aufweist, weisen die verschiedene Organe des Auges 980 sehr unterschiedliche Absorbtionsgrade auf, die in vielen Fällen auch starke örtliche Schwankungen unterworfen sind.
Außer der Teilreflektion soll das Zusatzelement 929 möglichst keine Auswirkung auf das darauf fallende Licht ausüben. Aus diesem Grund wird das Zusatzelement 929 bevorzugt aus einem homogenen lichtdurchlässigen und ungefärbten Material und mit einer in Richtung der auf den Augenmittelpunkt gerichteten Lichtstrahlen konstanten Dicke gefertigt. Durch das Aufbringen einer Antireflexbeschichtung auf der dem Auge 980 zugewandten Seite des Zusatzelements 929 läßt sich eine verbesserte Lichtdurchlässigkeit erzielen.
Die reflektierende Kontur eines solchen Zusatzelements 929 ist wohl definiert, und kann dem Informationssystem demgemäß als bekannte Information zur Verfügung gestellt werden, während die Kontur der relevanten reflektierenden Organe des Auges 980 erst ermittelt werden muß. Letzteres kann mit zum Teil nicht unerheblichem Aufwand verbunden sein. Die Erfassung auf das Auge 980 gerichteter Lichtstrahlen 933a-933c über ein solches Zusatzelement 929 kann somit hochwertige Bilder des Blickfeldes liefern.
Im abgebildeten Ausführungsbeispiel werden effektiv nur diejenigen Strahlen, die senkrecht auf das Zusatzelement 929 fallen, erfaßt. Dies wird durch die folgenden Maßnahmen erreicht:
Aufgrund der teilsreflektierenden Oberfläche des Zusatzelements 929 wird ein entsprechender Teil derjenigen Strahlen 933a-933c, die senkrecht auf die Oberfläche des Zusatzelements 929 fallen, senkrecht zurückreflektiert, während andere Strahlen von der Oberfläche des Zusatzelements 929 gemäß dem Reflektionsgesetz "Einfallswinkel gleich Reflektionswinkel" entsprechend schräg zurückreflektiert werden. Die senkrecht zur Oberfläche des Zusatzelements 929 zurückreflektierten Lichtstrahlen legen den gleichen Weg zurück, den sie gekommen sind, und treffen somit auf das dem Auge vorgelagerte Brillenglas 924. Die dem Auge 980 zugewandte Seite des Brillenglases 924 ist mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 923 versehen, und weist eine besonders gestaltete Form oder eine besonderes ausgebildete Beschichtung auf, die die senkrecht vom Zusatzelement reflektierten Lichtstrahlen derart bündelt, daß sie als beinah parallel verlaufende Lichtstrahlen 934 auf die Signalerfassungsvorrichtung 951 fallen, während nicht senkrecht vom Zusatzelement reflektierte Lichtstrahlen in eine andere Richtung gelenkt werden. Desweiteren wird eine Blende 957 kurz vor der Signalerfassungsvorrichtung 951 vorgesehen, die eine Erfassung derjenigen Lichtstrahlen verhindert, deren Einfallswinkel außerhalb einem engen Einfallswinkelbereich der wie oben beschriebenen, beinah parallel verlaufenden Lichtstrahlen 934 liegt.
Soll das über das Zusatzelement 929 erfaßte Bild des Gesichtsfeldes die Grundlage für eine mit dem tatsächlich wahrgenommenen Gesichtsfeld korrelierte Projektionen, so muß die Korrelation zwischen dem erfaßten Licht und dem wahrgenommenen Gesichtsfeld ermittelt werden. Gemäß dem dargestellten fünften Ausführungsbeispiel wird diese Korrelation durch eine bevorzugte konfokale Anordnung des Zusatzelements 929 zum optischen System des Auges 980 erreicht. Es wird deshalb bevorzugt, daß das Zusatzelement 929 über eine justierbare Aufhängung derart an der Brille befestigt ist, daß sich die Position des Zusatzelements 929 sowohl in vertikaler als auch in zwei horizontalen Richtungen nachjustieren läßt.
Konfokalität ist im grundegenommen dann gegeben, wenn das Zusatzelement 929, optisch gesehen, rotationssymmetrisch zur Sehachse und mit einem Abstand zur Linse 982 angeordnet ist, daß der optische Mittelpunkt des optischen Systems des Auges mit dem Mittelpunkt der durch das sphärische oder sphärisch wirkende Zusatzelement definierten Kugel übereinstimmt. Die Sehachse läßt sich zu diesem Zwecke ausreichend über die Ausrichtung der Pupille 984 bestimmen, die durch ihre scharfe Konturen leicht erkennbar ist, und deren Ausrichtung aufgrund ihrer runden Form licht bestimmbar ist. Zudem ist aufgrund der spärischen oder sphärisch wirkenden Form des Zusatzelements 929 keine Schwenkung des Zusatzelements 929 um die möglichen Schwenkachsen des Auges 980 notwendig, um Konfokalität zu gewährleisten. Denn auch bei einer Verdrehung des Auges bleibt durch eine entsprechende vertikale und/oder horizontale Verschiebung des Zusatzelements 929 zumindest ein wesentlicher Teil des Zusatzelements 929, optisch gesehen, rotationssymmetrisch zur Sehachse. Was den Abstand zur Linse 982 betrifft, gibt es verschiedene Möglichkeiten, den notwendigen Abstand zu bestimmen. Zum Beispiel kann eine optische oder akustische Vermessung der Hornhaut 983 vorgenommen werden, deren Krümmung einen sehr guten Richtwert für die richtige Anordnung des Zusatzelements 929 angibt. Es können auch Netzhaut- oder Hornhautreflexbilder zumindest partiell erfaßt werden, und anhand eines Vergleichs der Reflexbilder mit dem über das Zusatzelement 929 erfaßten Licht der richtige Abstand bestimmt werden.
Aufgrund der sphärischen oder sphärisch wirkenden Realisierung, beispielsweise durch eine holographische Beschichtung, der teilsreflektierenden Oberfläche des Zusatzelements 929 sowie durch diese konfokale Anordnung des Zusatzelements zum Auge 980 sind lediglich diejenigen Strahlen 933a-933c, die senkrecht auf die Oberfläche des Zusatzelements 929 fallen, konfokal zum optischen System des Auges 980 und stimmen somit mit den auf die Netzhaut fallenden Strahlen überein.
Fig. 10
Fig. 10 zeigt eine Draufsicht (Fig. 10A) und eine Frontansicht (Fig. 10B) einer Brille 1020 gemäß einem neunten Ausführungsbeispiel, bei dem zwei Sensorvorrichtung 1061R und 1061L, beispielsweise zwei Festkörper-Kameras, zum Beispiel CCD- oder TTL-Kameras, zwecks weiterer Signalerfassung, insbesondere aus dem sichtbaren Blickfeld, vorgesehen sind. Die Fig. 10B zeigt auch das linke und rechte Auge 1080L bzw. 1080R eines möglichen Trägers 1002 der Brille 1020. Der Übersichtlichkeit halber sind jedoch keine anderen Merkmale des Benutzers 1002 in der Fig. 10B dargestellt.
Um das Auftreten einer Parallaxe zwischen den von der jeweiligen Kamera 1061R, 1061L und dem ihr zugeordneten Auge erfaßten bzw. wahrgenommenen Bildern zu vermeiden, sollen die Kameras 1061 den Augen bezüglich ihrer "Sehachsen" möglichst achsengleich angeordnet sein. In Anbetracht der Systemgröße solcher Festkörper-Kameras 1061 hat es sich beim heutigen Stand der Technik als sinnvoll erwiesen, die Kameras 1061 wie abgebildet im vorderen Bereich der jeweiligen Bügelteile 1021L, 1021R anzuordnen. Auch eine Montage im Bereich des Nasenstegs 1022, z. B. in den Pads 1025, ist sinnvoll. Nach einer weiteren Miniaturisierung werden die Festkörper-Kameras 1061 im Brillengestell über den jeweiligen Brillengläser 1024L, 1024R angeordnet werden können, um eine weitere Achsengleichheit zu erreichen. Es ist absehbar, daß Festkörper- oder andersartige Lichterfassungssysteme in der Zukunft in das Brillenglas 1024, das selbstverständlich auch ein Kunststoff oder sonstiger lichtdurchlässiger Stoff sein kann, werden eingebaut werden können. Eine solche Anordnung der Kameras 1061 würde eine mit dem jeweiligen Auge 1080L, 1080R achsengleiche, beinah konfokale Signalerfassung ermöglichen.
Bei einer achsenungleichen Anordnung der Sensorvorrichtungen 1061 zu den jeweiligen Augen 1080L, 1080R sollen die aus den Sensorvorrichtungen 1061 gewonnenen Informationen gegebenenfalls in Korrelation mit den Augen 1080 gebracht werden. Eine solche Korrelation ist insbesondere dann wichtig, wenn die Sensorvorrichtungen 1061 durch Kameras 1061 realiziert werden, und ein Überlagerungsbild anhand aus den Kameras 1061 gewonnener Bildinformationen in das jeweilige Auge 1080L, 1080R projiziert werden sollen.
Wird das von den Kameras 1061 aufgenommene Bild einfach auf das jeweilige Auge 1080L, 1080R projiziert, so kommt es zur sogenannten Parallaxe, bei der das "Gesichtsfeld" der jeweiligen Kamera 1061L, 1061R nicht mit dem natürlich wahrgenommenen Gesichtsfeld übereinstimmt. Insbesondere bei einer von der Ruhestellung abweichenden Verdrehung der Augen 1080 oder bei im näheren Gesichtsfeld liegenden Gegenständen würde die Parallaxe bei einer Überlagerung zu einer abnormalen Wahrnehmung führen. Denn in solchen Fällen läge die Sehachse des Auges 1080 schräg zur "Sehachse" der jeweiligen Kamera 1061L, 1061R.
Bei der Korrelation in diesem Sinne wird nur der Teil des von den Kameras 1061 erfaßten Bildes in das jeweilige Auge 1080L, 1080R projiziert, der in entsprechender "Korrelation" zur Sehachse des jeweiligen Auges 1080L, 1080R liegt. Im einfachsten Fall wird durch die Signalerfassungsvorrichtung 1051 ein zumindest partielles Reflexbild des Gesichtsfeldes vom jeweiligen Auge 1080L, 1080R erfaßt. Kennzeichnende Bildpunkte, die sowohl im erfaßten Reflexbild als auch in den von den Kameras 1061 erfaßten Bilder aufzufinden sind, dienen dann als Referenzpunkte für eine perspektivisch richtige Projektion der von den Kameras 1061 erfaßten Bildinformationen auf das Auge 1080. Ähnlich können die aus dem Auge 1080 erfaßten Signale dazu dienen, die Blickrichtung des jeweiligen Auges 1080L, 1080R bezüglich dem Koordinatensystem der Brille 1020 zu bestimmen, um aus diesen Winkelinformationen eine mathematisch basierte Korrelation zu durchführen.
Allerdings ist eine Korrelation auch bei Systemanwendungen sinnvoll, bei denen die Augen 1080 an der Wahrnehmung des Gesichtsfeldes verhindert werden. Dies ist beispielsweise bei der Anwendung einer geschlossenen, sogenannten "virtual reality" Brille 1020 (wie abgebildet, allerdings mit lichtundurchlässigen Gläsern 1024) der Fall, bei der den Augen 1080 lediglich ein künstlich erzeugtes Bild präsentiert wird. Im einem solchen Fall könnte die besprochene Korrelation zum Beispiel darin bestehen, daß die Blickrichtung des Auges 1080 wie oben beschrieben erfaßt wird, und daß ein der Orientierung des jeweiligen Auges 1080L, 1080R entsprechendes, virtuell erzeugtes Bild hineinprojiziert wird. Allerdings dient hier die Brille 1020 als Koordinatensystem. Wird jedoch noch die Lage und Orientierung der Brille 1020, beispielsweise anhand der von der Kameras 1061 erfaßten Bildern, ermittelt, so kann eine Korrelation zwischen dem jeweiligen Auge 1080L, 1080R und der Umgebung hergestellt werden. Ein solches System ließe sich beispielsweise in einem virtuellen Erlebnishaus, ähnlich einem Geisterhaus, anwenden. Jedem, der gerade auf einem Laufbahn geht, könnte zum Beispiel ein virtuelles Bild in die Augen projiziert werden, das ihm das Gefühl verleiht, er liefe auf schwimmenden Baumstämmen inmitten eines wilden Flüsses.
Es soll an dieser Stelle hervorgehoben werden, dass das vorstehend anhand der Fig. 5 bis 10 beschriebene Informationssystem nicht unbedingt mit einer kombinierten Signalerfassungs- und Projektionsvorrichtung arbeiten muß. Es ist gleichermaßen möglich, mit einer Ausführung des Systems zu arbeiten, bei der die Signalerfassungsvorrichtung von der Projektionsvorrichtung getrennt ist bzw. bei dem eine der beiden Vorrichtungen fehlt.
Fig. 11
Gemäß einem zehnten Ausführungsbeispiel umfaßt das erfindungsgemäße Informationssystem Mittel, die das Bereitstellen einer Fernglasfunktion ermöglichen. Die Fig. 11A und 11B stellt den wahrnehmbaren Effekt der Fernglasfunktion an einen Benutzer dar. Fig. 11A zeigt das natürlich wahrgenommene Gesichtsfeld 1190 eines Benutzers eines gemäß dem zehnten Ausführungsbeispiel gestalteten Informationssystems. Obwohl das Gesichtfeld 1190 horizontal ca. 170° und vertikal ca. 110° der Umgebung einschließt, bildet lediglich ein kleiner Bereich 1191 von wenigen Grad um die Sehachse herum den Bereich des schärfsten Sehens 1191.
Durch seine Erfassung von Licht aus dem Gesichtsfeld und die zuvor beschriebene Möglichkeit einer Projektion von Bildinformationen in das Auge kann das Informationssystem derart ausgestaltet werden, daß dieser Bereich 1191 beispielsweise auf Knopfdruck nach entsprechender Bearbeitung der erfaßten Bildpunkte mittels einer von der Informationsvorrichtung umfaßten Auswertevorrichtung optisch vergrößert auf den Bereich des schärfsten Sehens 1191 projiziert wird. Wie zuvor beschrieben, kann der Grad der Wahrnehmung eines so projizierten Bildes im Verhältnis zum natürlich wahrgenommenen Bild durch die Helligkeit der projizierten Bildpunkte gesteuert werden. Wird das Gesichtsfeldlicht beispielsweise als Reflexbild aus dem Auge erfaßt, so gewährleistet eine räumliche oder zeitliche Trennung der Erfassung und der Projektion, daß die Projektion die Erfassung nicht beeinflußt. Bei einem handelsüblichen Fernglas geht dadurch, daß das gesamte Gesichtsfeld vergrößert dargestellt wird, den räumlichen Bezug zur Umgebung verloren. Als Konsequenz ist eine durch ein Fernglas schauende Person nicht in der Lage, sich gleichzeitig dabei fortzubewegen. Dieses Phenomen ist wohl bekannt.
Dadurch, daß das erfindungsgemäße Informationssystem durch seine Erfassung von Signalen aus dem Auge die Sehachse bzw. die Position der Fovea centralis relativ zum optischen System der Brille ermitteln kann, ist das Informationssystem in der Lage, diesen Nachteil eines handelsüblichen Fernglases zu vermeiden. Zum Beispiel kann die Projektion auf eine wie in Fig. 11B dargestellte Art erfolgen, bei der lediglich ein kleiner, im natürlichen Gesichtsfeld unmittelbar um die Sehachse liegender Bereich 1191 vergrößert auf die Fovea centralis projiziert wird, während keine projizierten Bildinformationen dem restlichen Gesichtsfeld überlagert werden. Somit bleibt die vom Benutzer peripher wahrgenommene Szene trotz teleskopischer Darbietung des relevantesten Bereichs des Gesichtsfeldes gleich. Um diesen Effekt zu erzielen, muß die Helligkeit der in das Auge hineinprojizierten Bildinformationen selbstverständlich so gewählt werd 66619 00070 552 001000280000000200012000285916650800040 0002010103922 00004 66500en, daß das gewünschte Wahrnehmungsverhältnis zwischen dem natürlichen und dem projizierten Bild entsteht. Dieses System hat auch den Vorteil, daß der für die Vergrößerung bildverarbeitungsmäßig notwendige Aufwand in Grenzen gehalten wird, denn es wird nur ein ausgewählter Bildbereich 1191 des Gesichtsfeldes 1190 bearbeitet.
Gemäß einer nicht dargestellten, eleganten Ausführungsform wird ein Vergrößerungsbild derart in das Auge hineinprojiziert, daß das projizierte Bild in einem ringförmigen Grenzbereich zwischen dem Bereich des schärfsten Sehens 1191 und dem restlichen Bereich der Netzhaut mit zunehmender Nähe zur Sehachse stärker vergrößert wird. Dabei wird am äußeren Rande gar nicht vergrößert und am inneren Rande mit dem gleichen "Zoomfaktor" vergrößert, wie das in das Innere des Rings, d. h. auf die Fovea centralis, projizierte Vergrößerungsbild. Bei entsprechend gewählter Helligkeit der projizierten Bildinformationen entsteht somit ein weicher Übergang zwischen der peripheren Szene und dem teleskopisch Gesehenen.
Die Fig. 11C und 11D stellen schemenhaft dar, wie eine Vergrößerung des auf die Fovea centralis natürlich fallenden Bildes durch eine Abänderung eines Abtastmusters 1138, 1139 bei der Abtastung eines Reflexbildes erreicht werden kann. Obwohl Projektionsmuster 1137 und Abtastmuster 1138, 1139 in den Fig. 11C und 11D der Erläuterung halber in einer gemeinsamen Ebene dargestellt sind, kann es bei dem erfindungsgemäßen Informationssystem durchaus sein, daß auf die Netzhaut projiziert wird, während die Abtastung beispielsweise von der Hornhaut erfolgt.
Fig. 11C stellt ein typisches Abtastmuster 1138 schematisch dar, das das das Gesichtsfeld reflektierende Gebiet 1189 der Hornhaut oder Netzhaut abtastet. Bei diesem stark vereinfachten Beispiel wird der Verständlichkeit halber davon ausgegangen, daß die jeweiligen Bildpunkte des sequentiell abgetasteten Bildes nach eventueller bildverarbeitender Aufbereitung ihrer Reihenfolge nach als korrespondierende Bildpunkte des sequentiell in das Auge projizierten Bildes zurückprojiziert werden. Im dargestellten Beispiel stimmt das Abtastmuster 1138 somit mit dem Projektionsmuster 1137 trotz eventueller räumlicher oder zeitlicher Trennung des Abtast- und des Projektionsstrahls überein. Ist eine Vergrößerung eines zentralen Bereichs des Gesichtsfeldes erwünscht, so kann die Abtastung gemäß einem abgeänderten Abtastmuster 1139 erfolgen, das in jenem zentralen Bereich eine Erhöhung der Dichte der abgetasteten Bildpunkte bewirkt. Werden diese mit erhöhter Dichte aufgenommenen Bildpunkte bei der Projektion korrespondierend, jedoch mit geringerer Dichte zurückprojiziert, so ergibt sich ein vergrößertes Bild.
Fig. 12
Gemäß einem elften Ausführungsbeispiel stellt das erfindungsgemäße Informationssystem ein Führungssystem dar. Zu diesem Zweck umfaßt die Informationsvorrichtung des Informationssysteme Lagesensoren, beispielsweise Beschleunigungsmeßvorrichtungen oder GPS-Empfänger, sowie eine Datenbank oder Datenbankanbindung, die Orientierungsdaten liefert. Eine derartige Datenbank läßt sich beispielsweise über einen die Daten tragenden CD-ROM, einen DVD oder ein anderes austauschbares Speichermedium in Verbindung mit einem entsprechenden Lesegerät realisieren. Verfahren und Vorrichtungen zur Gewinnung von Ortungsinformationen, die beispielsweise den Standort bestimmen oder deren Bestimmung ermöglichen, durch eine Kombination solcher Orientierungsdaten mit aus den Lagesensoren gewonnenen Daten sind bekannt. In einer typischen Vorrichtung umfassen die Orientierungsdaten Karteninformationen, die in Zusammenhang mit aus den Lagesensoren gelieferten Signalen zur Ortsbestimmung verwendet werden. Die Herstellung einer Korrelation oder einer Abhängigkeit beispielsweise bei der Gewinnung oder der Darstellung solcher Ortungsinformationen zwischen aus dem Auge erfaßten Signalen oder aus dem Gesichtsfeld erfaßten Licht und dem Zurverfügungstellen der Informationen übersteigt das Fachnotorische jedoch bei weitem.
Die Fig. 12A bis 12E zeigen das wahrgenommene Gesichtsfeld 1290 eines Benutzers eines gemäß dem elften Ausführungsbeispiel gestalteten Informationssystems. Bei einem solchen Informations- bzw. Führungsssystem wird das erfaßte Gesichtsfeldlicht in Anbetracht der gewonnenen Ortungsinformationen mittels einer Mustererkennung unter Berücksichtigung der für den ermittelten Aufenthaltort zur Verfügung stehenden Daten ausgewertet. Dabei werden für den ermittelten Aufenthaltort zu erwartende Orientierungshinweise, wie markante Bauten, Seitenstraße, o. ä., erkannt, so daß eine beispielsweise visuelle oder akustische Führung bzw. Identifizierung ggf. erfolgen kann.
Im dargestellten Beispiel gemäß Fig. 12A dient das Führungssystem der Navigation. Dabei wir beispielsweise anhand einer berechneten oder vorgegebenen Route, zur Verfügung stehender Karteninformation und des momentanen Aufenthaltortes festgestellt, daß in die übernächste Straße auf der rechten Seiten eingebogen werden soll. Diese Straße wird auf der Basis des erfaßten Gesichtsfeldlichts mittels einer Mustererkennung erkannt, woraufhin ein auf die Straße weisender Hinweispfeil per Projektion unter Berücksichtung der durch das System ermittelten Blickrichtung ortsgetreu in das Gesichtfeld eingeblendet wird. Ähnlich könnte das Führungssystem dem Verkehrsteilnehmer akustische Mitteilungen liefern, beispielsweise "Rechts abbiegen nach 50 m" oder "Jetzt rechts".
Im in den Fig. 12B und 12C dargestellten Beispiel dient das Führungssystem der Information. Zum Beispiel kann einem Benutzer Information über seine unmittelbare Umgebung wahlweise zur Verfügung gestellt werden. Gemäß Fig. 12B schaut ein das Informationssystem benutzender Tourist ein markantes Gebäude an und betätigt eine physikalisch vorhandene oder virtuell in das Gesichtsfeld eingeblendete Aktivierungstaste. Das Gebäude wird anschließend anhand des ermittelten Aufenthaltortes und einer auf das erfaßte Gesichtsfeldlicht basienden Mustererkennung oder eines die Kopfrichtung bestimmenden elektronischen Kompasses bestimmt, woraufhin Informationen zu dem Gebäude zur Verfügung gestellt werden. Diese können aus einer Datenbank oder sonstiger Informationsquelle stammen und ließen sich beispielsweise interaktiv über ein kontextabhängiges Menü, das die zur dem jeweiligen Gebäude zur Auswahl stehenden Informationen visuell oder akustisch auflistet, auswählen. Die Selektion könnte über eine Sprachsteuerung oder durch eine Fixierung mit den Augen erfolgen. Näheres zur augengesteuerten Menüführung wird in einem späteren Abschnitt dieser Beschreibung erläutert.
Gemäß Fig. 12B werden historische Daten per Projektion in das Gesichtsfeld eingeblendet. Dabei ermittelt das System aus dem erfaßten Gesichtfeldlicht eine geeignete Einblendestelle, beispielsweise vor einem eintönigen Dach oder vordem Himmel. Entsprechend der Einblendstelle werden die Daten eingeblendet. Typischerweise wird die Fovea centralis vorerst nicht auf die Einblendstelle gerichtet sein, weshalb die eingeblendeten Daten vorerst als unscharfe periphere Erscheinung wahrgenommen werden. Erst durch eine entsprechende Schwenkung der Blickrichtung gemäß Fig. 12C werden die ortsfest eingeblendeten Daten auf die Fovea centralis abgebildet. Wird der Blick auf ein anderes vom System erkanntes Gebäude gerichtet, so können sich die eingeblendeten Information gemäß den Fig. 12D und 12E ändern. In den Figuren stellt der Kreis 1290 das wahrgenommene Gesichtsfeld dar, während der Kreis 1291 den von der Fovea centralis erfaßten Bereich des Gesichtsfeldes kennzeichnet.
Durch eine wie in der Fig. 1 dargestellte, kompakte und tragbare Bauweise könnte ein solches Orientierungssystem von einem Füßgänger, einem Radfahrer, einem Motorradfahrer oder einem sonstigen Fahrzeugfahrer getragen werden.
Fig. 13
Gemäß einem in den Fig. 13A und 13B dargestellten, zwölften Ausführungsbeispiel fungiert das erfindungsgemäße Informationssystem als Fahrhilfe. Die Figuren zeigen das wahrgenommene Gesichtsfeld 1390 eines Benutzers eines solchen Systems.
Bevorzugt umfaßt die Informationsvorrichtung des Informationssystems einen Abstandssensor, beispielsweise einen optischen oder akustischen Abstandsmeßgerät oder eine Radarvorrichtung, oder ist an ein entsprechendes abstandmeßendes System angeschlossen, das den Abstand zwischen einem Fahrzeug und sich in Fahrtrichtung vor dem Fahrzeug befindlichen Gegenständen ermittelt. Bei einer stereoskopischen Erfassung von Licht aus dem Gesichtsfeld könnte der Abstand mittels einer Paralaxeberechnung ermittelt werden, bei der die Änderung der Position des Gegenstands in einem jeweilig links und rechts erfaßten Bild Auskunft über den Abstand vermittelt.
Wird zum Beispiel über eine ebenfalls von der Informationsvorrichtung umfaßte Auswertevorrichtung festgestellt, daß das Fahrzeug sich auf Kollisionskurse mit dem Gegenstand befindet, so kann beispielsweise ein Warnzeichen 1395 in den Bereich des schärfsten Sehens 1391 und ein Warnkreis 1394 um den gefährlichen Gegenstand mittels einer wie zuvor beschriebenen Projektion eingeblendet werden. Befindet sich der Gegenstand außerhalb oder am Rande des Bereichs des peripheren Sehens, so kann ein weiteres Warnzeichen 1395a darauf hinweisen, wo der Gefahr sich birgt. Dies ist in der Fig. 13A dargestellt.
Über Sensoren oder dem erfaßten Gesichtsfeldlicht lassen sich auch andere der Fahrsicherheit relevanten Informationen ermitteln. Zum Beispiel könnte eine Auswertevorrichtung die Fahrbahnmarkierungen einer innerhalb des Gesichtsfeldes liegenden Fahrbahn per Mustererkennung erkennen und daraus die höchstmögliche Geschwindigkeit, insbesondere bei Kurven, berechnen. Stellt das Informationssystem selbstständig oder durch Anbindung an das Instrumentensystem eines Fahrzeug fest, daß das Fahrzeug diese errechnete Höchstgeschwindigkeit überschritten hat, so kann ein Warnzeichen 1395 in den Bereich des schärfsten Sehens. 1391 eingeblendet werden. Dies ist in der Fig. 13B dargestellt. Der Vorteil einer Einblendung des Warnzeichens 1395 im Bereich des schärfsten Sehens 1391 liegt darin, daß das Zeichen 1395 dort erscheint, wo das Auge hinschaut, und leitet dem Auge deshalb nicht dazu, von der vorliegenden Szene wegzuschauen. Aus diesem Grunde soll die Helligkeit eingeblendeter Zeichen so gewählt werden, daß die Zeichen transluzent erscheinen. Auf die Gefahr kann auch akustisch hingewiesen werden.
Fig. 14
Die Fig. 14A und 14B zeigen ein erfindungsgemäßes Informationssystem gemäß einem dreizehnten Ausführungsbeispiel, das die Möglichkeiten eines komplexen, vielseitigen Informationsystem verdeutlicht. Im konkret dargestellten Beispiel weist das dargestellte Informationsystem eine mobile Feuerwehrleitzentrale 1410, die einen Kommandopult 1412 umfaßt, sowie mehrere Helmsysteme 1411 auf.
Jedes der Helmsysteme 1411 umfaßt eine wie zuvor beschriebene Signalerfassungsvorrichtung sowie eine Gesichtsfelderfassungsvorrichtung. Wahlweise kann jedes der Helmsysteme 1411 mit einer Projektionsvorrichtung, Infrarotsensoren und/oder Lagesensoren ausgestattet werden. Sie können auch mit weiteren Sensoren ausgestattet werden, die beispielsweise eine Bestimmung der Luftqualität ermöglichen. Zu Kommunikationszwecken ist jeder der Helme 1411 beispielsweise mit einem Funkübertragungssystem ausgestattet, das mit der Leitzentrale 1410 bzw. dem Kommandopult 1412 kommuniziert, und das durch sein Senden und Empfangen von Informationen sowohl Aufgaben einer Informationsvorrichtung als auch Aufgaben einer Ausgabevorrichtung übernimmt.
Bevorzugt werden die von den jeweiligen Helmen 1411 erfaßten Gesichtsfeldbilder, die auf der Basis der aus den Augen erfaßten Signale mit dem tatsächlich wahrgenommenen Gesichtsfeld des jeweiligen Feuerwehrmanns in Übereinstimmung gebracht werden können, an den Kommandopult 1412 übertragen und dort auf Monitore dargestellt. Zwecks einer Reduktion der zu übertragenden Datenmengen könnten Bediener des Kommandopults 1412 ebenfalls ein projizierendes Brillensystem tragen, damit lediglich die auf den Bereich der Fovea centralis des Bedieners fallenden Bilddaten in hoher Auflösung übertragen bzw. erfaßt werden müssen. In das Auge des Bedieners könnte ein korreliertes Gesichtsfeldbild eines einzelnen Feuerwehrmanns, oder ein Mosaik mehrerer Bilder hineinprojiziert werden. Dabei könnte der Bediener genau das sehen, was der Feuerwehrmann sieht, oder ein sich in Abhängigkeit von seinen eigenen Augenbewegungen veränderndes Bild aus dem Blickfeld des Feuerwehrmanns zur Verfügung gestellt bekommen.
Bei einer etwaigen Projektionen könnte dem Bediener und/oder dem Feuerwehrmann zusätzliches Information in das projizierte Bild hineingeflochten werden. Beispielsweise könnte durch die Lagesensoren bzw. Infrarotsensoren gewonnene Orientierungs- bzw. Temperaturinformationen in das Gesichtsfeld hineingeblendet werden. Die stetige Einblendung bestimmter Himmelsrichtungen, wie Nord und West, sowie von höhen Angaben wäre sowohl dem dem gesehenen Geschehen entfernten Bediener als auch dem durch Rauch und Qualm verschleierten Feuerwehrmann eine hilfreiche Bezugsangabe.
Durch eine entsprechende Aufbereitung der erfaßten Lageinformationen könnte aufgrund der inhärenten Vernetzung der Systemkomponenten jedem Feuerwehrmann die Position seiner Kollegen, beispielsweise mit einem kennzeichnendem "X", oder die Lage und Schwere der gesichteten oder auf sonstige Art erfaßten Feuerherde, beispielsweise mit einem der Feuerstärke entsprechend farbig gekennzeichneten Punkt, eingeblendet werden. Dies würde die Feuerbekämpfung erleichtern und die Wahrscheinlichkeit eines versehentlichen Verletztens eines hinter Rauch oder einer Wande unsichtbaren Kollegen verringern.
Fig. 15
Die Fig. 15 zeigt ein erfindungsgemäßes Informationssystem gemäß einem vierzehnten Ausführungsbeispiel, bei dem das Informationsystem dem Bedienen eines externes System, beispielsweise eines zur Bewegung von gefährlichen Gegenständen ausgelegten, ferngesteuerten Roboters 1570, dient.
Gemäß der Abbildung umfaßt der auf Räder beweglicher Robot 1570 eine Kammeravorrichtung 1571 sowie einen Greifarm 1572. Der Roboter 1570 ist beispielsweise über eine Funkverbindung mit einem von einem Benutzer 1502 getragenen Brillensystem 1520 verbunden. Die über die Kameravorrichtung 1571 mono- oder stereoskopisch erfaßten Bilder ließen sich mit einer vom Brillensystem 1520 umfaßten Projektionsvorrichtung mono- bzw. stereoskopisch auf die Netzhaut des Benutzers 1502 projizieren. Bei einer stereoskopischen Projektion wäre ein räumliches Sehen gewährleistet.
Verfügt die Kameravorrichtung 1571 über eine makroskopische Objektiv, die ein breiteres "Gesichtsfeld" aufweist, als das Gesichtsfeld des Benutzers 1502, so kann das vom Benutzer 1502 gesehene Gesichtsfeld durch eine entsprechende Auswahl eines Bildausschnitts aus dem von der Kameravorrichtung 1571 gelieferten Bild, wie zuvor beschrieben, in Abhängigkeit von den erfaßten Augenbewegen des Benutzers 1502 mit dem fernen Bild in Korrelation gehalten werden. Ansonsten ließe sich die Kameravorrichtung 1571 in Korrelation mit den Augenbewegungen schwenken. Es können auch über Lagesensoren die Bewegungen des Kopfes des Benutzers 1502 derart erfaßt werden, daß die Kameravorrichtung 1571 in Korrelation mit den Kopfbewegungen mitschwenkt. Das erfindungsgemäße Informationssystem bietet somit ein bisher unerreichtes Maß an visueller Echtheit bei der Wahrnehmung einer entfernten Szene, was die Steuerung eines solchen externen Systems 1570 erheblich erleichtert.
Durch das Anbringen einer Mikrofon, insbesondere einer in Abhängigkeit der Kopfposition oder der Blickrichtung ausgerichteten Richtmikrofon, an das externe System in Verbindung mit einer Kopfhöreranordnung am Brillensystem läßt sich eine weitere sensorische Dimension realisieren.
Um eine weitere Bedienung des Roboters 1570 zu ermöglichen, ist ein manuell bedienbarer Steuerknüppel 1525 beispielsweise über ein Kabel 1526 mit dem Brillensystem 1520 verbunden. Hierdurch ließe sich zum Beispiel den Greifarm 1572 oder die Fahrtrichtung des Roboters 1570 in mehrere Richtungen steuern.
Fig. 16
Die Fig. 16 stellt ein erfindungsgemäßes Informationssystem gemäß einem fünfzehnten Ausführungsbeispiel schematisch dar, bei dem ein Brillensystem 1620 als universelle Fernbedienung für ein oder mehrere Geräte fungiert, zum Beispiel ein Computer 1675, ein Videorekorder 1676, einen Drucker 1677, einen Diaprojektor 1678 und/oder ein Telefon 1679.
Im dargestellten System stellt das Brillensystem 1620 eine in zwei Richtungen übertragende Schnittstelle zwischen einem Benutzer 1602 und dem zu bedienenden Gerät 1675-1679. Zuerst muß das Gerät 1675-1679 erkannt werden. Dies erfolgt im Sinne der Erfindung grundsätzlich über ein Anvisieren des zu bedienenden Geräts 1675-1679 mit der Fovea centralis. Die Identität des anvisierten Geräts 1675-1679 läßt sich entweder mit oder ohne die Mithilfe des Geräts 1675-1679 bestimmen. Im folgenden wird davon ausgegangen, daß sowohl das Gerät 1675-1679 als auch die Brille 1620 mit den für die beschriebenen Vorgänge notwendigen Signalempfangs- bzw. -sendevorrichtung ausgestattet werden.
Wird die Identität mit der Mithilfe des Geräts 1675-1679 bestimmt, so strahlt dieses. Gerät 1675-1679 entweder in mehr oder minder regelmäßigen Intervallen ein Kennsignal aus, beispielsweise ein Infrarot- oder Ultraschallsignal, oder es wird von einer von der Brille 1620 ausgestrahlten Aufforderungssignal aufgefordet, ein Kennsignal auszustrahlen. Das Aufforderungssignal muß lokalisiert in Richtung Blickrichtung ausgestrahlt werden, um ein Ansprechen anderer Geräte zu vermeiden. Das vom Gerät 1675- 1679 ausgestrahlte Kennsignal wird von der Brille erkannt, woraus auf die Identität des Gerätes geschlossen wird.
Wird die Identität ohne die Mithilfe des Geräts 1675-1679 bestimmt, so nimmt die Brille 1620 in Zusammenarbeit mit einer Datenbank oder sonstige Informationsquelle 1640, die Mustererkennungsdaten für die jeweilig ansprechbaren Geräte 1675-1679 enthält, eine Mustererkennung des anvisierten Bereichs des Gesichtsfelds vor.
Anhand der Identität des Geräts 1675-1679 wird ein der möglichen Funktionen des Geräts angepaßtes Menü in das Gesichtsfeld des Benutzers 1602 ggf. auf Tastendruck oder Augenzwinkern ortsfest eingeblendet. Ist die Funktionalität der Brille nicht ohne weiteres bekannt, so werden zuerst die entsprechenden Informationen aus einer Datenbank oder einer sonstigen Informationsquelle 1640, beispielsweise durch standardisierte Abfrage des Geräts selbst, in Kenntnis gebracht. Hier kann eine in das Abfragesignal eingebettete Identifizierung des Geräts dafür sorgen, daß lediglich das gewünscht Gerät auf die Abfrage antwortet. Dadurch, daß das Menü ortsfest in das Gesichtsfeld eingeblendet wird, kann der Benutzer 1602 das ggf. hierarchische Menü durch geringfügige Augenbewegungen wie ein Computermenü bedienen.
Nachdem die gewünscht Funktion ausgewählt worden ist, wird ein der Funktion entsprechendes Signal von der Brille 1620 an das Gerät 1675-1679 gesandt. Hier kann eine in das Signal eingebettete Identifizierung des Geräts dafür sorgen, daß lediglich das gewünscht Gerät auf das Signal reagiert.
Auf diese Art und Weise könnte mit geringer Hardwareaufwand eine schnelle und einfache Bedienung vieler Geräte erzielt werden.
Fig. 17
Die Fig. 17 zeigt ein optisches System gemäß einem sechzehnten Ausführungsbeispiel, bei dem ein Kippspiegel 1755 ein Umschalten zwischen einer Aufnahme aus dem Gesichtsfeld und einer Aufnahme aus dem Auge 1780 oder einer Projektion auf die Netzhaut 1781 ermöglicht.
Der Vorteil dieses optischen Systems liegt darin, daß die gleichen Taumelspiegel 1754H und 1754V für eine Aufnahme aus dem Gesichtsfeld und für eine Projektion auf die Netzhaut 1781 verwendet werden kann, und daß der Strahlengang für eine Aufnahme aus dem Gesichtsfeld und der Strahlengang für eine Aufnahme aus dem Auge 1780 bzw. eine Projektion auf die Netzhaut 1781 dementsprechend zum Großteil identisch sind. So wird schon durch das optische System eine hohe Korrelation zwischen dem aus dem Gesichtsfeld erfaßte Licht und den aus dem Auge erfaßten Signale bzw. eine hohe Korrelation zwischen dem aus dem Gesichtsfeld erfaßte Licht und dem auf die Netzhaut projizierte Bild erzielt. Das heißt, es werden keine zusätzliche Korrelationsfehler dadurch versucht, daß die besprochenen Strahlengänge über verschiedene Taumelspiegel verlaufen, die unterschiedliche Rotationscharakteristika aufweisen könnten. Für Lichterfassung aus dem Gesichtsfeld und Lichterfassung aus dem Auge kann sogar die gleiche Lichterfassungvorrichtung 1751 verwendet werden. Lediglich durch die Reflektion am Brillenglas 1724 und das optische System des Auges 1780 kann die Korrelation negativ beeinflußt werden.
Nicht-dargestellte Ausführungsbeispiele
Ergänzend zu den in den Figuren dargestellten Ausführungsbeispielen werden nachstehend weitere möglichen Ausführungsformen eines Informationssystems beschrieben, das mit dem erfindungsgemäßen interaktiven Datensicht- und Bediensystem kombiniert werden kann.
TV/Zeitung
Bisherige elektronische Bücher bzw. Zeitungen haben den Nachteil, zu schwer und/oder zu unhandlich zu sein, und können außerdem nur eine begrenzte Informationsmenge pro Seite darstellen. Auch tragbare Video- und Fernsehgeräte sind schwer und/oder unhandlich. Wird das erfindungsgemäße Informationssystem derart ausgebildet, daß das Zuverfügungstellen von Informationen eine Projektion von Bildinformationen in das Auge umfaßt, so lassen sich verschiedene visuell bezogene Medien, beispielsweise elektronische Bücher oder Zeitungen, Fernsehen oder Videospiele, durch das Informationssystem verwirklichen. Dabei wird das erfindungsgemäße Informationssystem zum Beispiel, wie oben beschreiben, in Form einer tragbaren Brille realiziert, die über eine Kabel-, Infrarot- oder Funkverbindung beispielsweise an ein Informationsnetz, eine tragbare Speichervorrichtung, zum Beispiel ein CD-ROM- oder DVD-Lesegerät, oder eine sonstige Informationsquelle angeschlossen werden kann.
Ein Vorteil einer derartigen Ausbildung des erfindungsgemäßen Informationssystems liegt darin, daß seine Erfassung von Signalen aus dem Auge in Zusammenhang mit seiner Gesichtsfelderfassung eine Projektion ermöglicht, bei dem der projizierte Text bzw. die projizierte Bilder im Raum fixiert zu sein scheint. Zu diesem Zweck umfaßt die Informationsvorrichtung eine Auswertevorrichtung, die die Korrelation der Sehachse zum Blickfeld ermittelt, und die die Projektion entsprechend steuert, so daß die auf das Auge projizierten Informationen vis-à-vis dem Blickfeld trotz Bewegungen des Auges unbeweglich zu sein scheinen. Die Ermittlung der Korrelation der Sehachse zur Umgebung kann auch durch in der Brille angebrachte Lagesensoren unterstützt werden.
Der virtuelle Ort der Fixierung kann beispielsweise über eine Fixierung mit den Augen in Zusammenhang mit einem Augenzwinkern oder Tastendruck oder auch automatisch, zum Beispiel mittels einer bildverarbeitenden Auswertung des Blickfelds, die ein möglichst inhaltsarmes Gebiet des Blickfelds ermittelt, festgelegt werden. Die störende Wirkung des durch die Projektion der Informationen nicht notwendigerweise abgedeckten, natürlichen Gesichtsfeldes ließe sich durch ein farbkomplementäres "Auswischen" verringern, bei dem komplementärfarbige Bildpunkte anhand des aus dem Gesichtsfeld erfaßten Lichts ermittelt werden, deren korrelierte Projektion auf die jeweilig zugeordnete Gebiete der Netzhaut den natürlichen Hintergrund durch Farbaddition als weiß erscheinen läßt. Ist ein schwarzer Hintergrund erwünscht, so muß, wie zuvor beschrieben, die empfundene Gesamthelligkeit der Projektion die empfundene Gesamthelligkeit des natürlichen Gesichtsfeldes um ca. 10% bis 20% überschreiten, damit auch die hellsten Punkte des natürlichen Gesichtsfeldes als schwarz empfunden werden.
Zu Bedienungszwecken könnten Bildinformationen, die virtuelle Bedienungsknöpfe darstellen, derart in das Auge hineinprojiziert werden, daß sie in der Nähe des Textes bzw. Bildes im Gesichtsfeld ebenso fixiert erscheinen. Somit ließe sich das virtuelle Informationsmedium mittels Anvisieren des entsprechenden Bedienungsknopfes mit der Fovea centralis plus Tastendruck oder Augenzwinkern fernbedienen, d. h. Umblattern, Vorspulen, Zurückspulen, o. ä. Ähnlich könnte ein Zugriff auf Lexika, Datenbanken, u. s. w. durch das Anvisieren von dargestellten Wörtern oder Bildteile ermöglicht werden. Anstatt Bedienungsknöpfe ließe sich das Informationssystem beispielsweise auch über eine Menüführung bedienen, bei der Bedienmenüs bei der Betrachtung bestimmter Bildbereich "aufspringen", um ein augengesteuertes Auswählen aus dem ggf. hierarchisch aufgebauten Menü zu ermöglichen.
Ein weiterer Vorteil einer derartigen Ausbildung des erfindungsgemäßen Informationssystems liegt darin, daß die für eine ausreichende momentane Darstellung notwendige Datenmenge bei weitem geringer ist, als die Datenmenge, die für hochauflösende Darstellung des gesamten Gesichtsfeldes notwendig wäre. Dies liegt der Tatsache zugrunde, daß das Informationssystem den Bereich des schärfsten Sehens kennt. Somit müssen nur diejenigen Teile der Projektion mit hoher Auflösung erfolgen, die den Bereich der Fovea centralis betreffen. Auf sonstige Gebiete der Netzhaut genügt eine Projektion mit geringer Bildpunktdichte. Dementsprechend reduziert sich die für eine momentane Darstellung notwendige Datenmenge, was deutliche Systemvorteile mit sich bringt. Insbsondere läßt sich die empfundene Größe des projizierten Bildes beliebig wählen, ohne daß unbearbeitbar große Datenmengen zur Präsentation des momentanen Bildes die Folge sind.
Ist das projizierte Bild größer als das Gesichtsfeld, dann bestimmt die momentane Sehachse den Bildausschnitt. Die Projektion erfolgt derart, daß der aktuelle Bildausschnitt den gesamten aktiven Bereich der Netzhaut füllt. Durch Augenbewegung können weitere Ausschnitte des Bildes in das Gesichtsfeld hineingebracht werden. Ist das projizierte Bild kleiner als das Gesichtsfeld, so muß lediglich auf einen beschränkten Teil der Netzhaut projiziert werden. Wird der natürliche Gesichtfeldhintergrund nicht ausgeblendet, so ändert sich dieser bei Augenbewegungen. Insbesondere bei fernseh- oder kinoartigen Informationsdarstellungen ist eine das Gesichtsfeld genau füllende Projektion bevorzugt.
Werden Signale aus beiden Augen eines Benutzers erfaßt, so kann die Projektion stereoskopisch erfolgen, wobei jedem Auge ein derart geringfügig unterschiedliches Bild zugespeist wird, daß das Gehirn ein dreidimensionales Gesamtbild wahrzunehmen glaubt. Somit ließe sich eine optimale System-Mensch-Schnittstelle beispielsweise für 3D- Fernsehen, 3D-Videospiele, 3D-CAD-Anwendungen oder sonstige, insbesondere interaktive, 3D-Anwendungen verwirklichen. Bevorzugt umfaßt das Informationssystem weitere Bedienelemente, zum Beispiel ein Steuerknuppel, Pedal oder Lenkrad, die eine Navigation bzw. Perspektivwechsel innerhalb des dargestellten virtuellen Bildes oder eine sonstige Beeinflüssung der Informationsdarbietung oder eines mit der Informationssystem verbunden Systems ermöglicht. Wie zuvor beschrieben, kann auch das Auge selbst als Bedienelement fungieren.
Unter entsprechender Anwendung der vorstehend für die Positionierung einer elektronischen Zeitung an einem virtuellen Ort erforderlichen Maßnahmen ist es gleichermaßen möglich, dem Träger des erfindungsgemäßen Informationssystems andere Orientierungshilfen auf die Netzhaut zu spielen, wie z. B. einen künstlichen Horizont.
Ophthamologische Anwendungen/Sehhilfen
Aufgrund ihrer Erfassung aus dem Auge zurückreflektierter Signale eignet sich das erfindungsgemäße System hervorragend zur Ausgestaltung als ophthamologisches System. Zum Beispiel läßt sich das Informationssystem als Positioniersystem für die ophthamologische Chirugie, insbesondere für die ophthamologische Laserchirugie, realisieren. Auch als ophthamologisches Diagnosesystem, Sehhilfesystem und/oder Sehfehlerkorrektursystem findet das Informationssystem beispielsweise Anwendung.
Die meisten Strukturen oder Organe des Auges sind im Vergleich zu manuellen Bewegungen sehr klein. Erkrankungen und Beschädigungen dieser Strukturen bzw. Organe betreffen häufig nur einen kleinen, mikroskopischen Bereich. Im Gegensatz zu vielen anderen Körperpartien lassen sich die Augen jedoch nicht fixieren, was die Behandlung evtl. Erkrankungen oder Verletzungen des Auges besondere erschweren.
Aufgrund der Fähigkeit des erfinderungsgemäßen Systems, Bewegungen des Auges genau verfolgen und Informationen bezüglich der augenblicklichen Stellung des Auge auch anderen Systemen zur Verfügung stellen zu können, lassen sich diese Schwierigkeiten durch ein therapeutisches System auf der Basis des erfinderungsgemäßen Informationssystems überwinden. Zum Beispiel kann das therapierende System derart mit dem erfindungsgemäßen Informationssystem zwecks Informationsaustausch verbunden sein, daß Informationen bezüglich der augenblicklichen Stellung des Auge dem therapierenden System zur Verfügung gestellt werden, so daß eine punktgenaue automatisierte Therapie des Auges auch bei bewegten Augen erfolgen kann.
Gemäß einem anderen Ausführungsbeispiel wird ein therapierender Laserstrahl über das optische System des erfindungsgemäßen Informationssystem gelenkt. Eine Laserbehandlung des Auges, insbesondere der Netzhaut, kann somit auf gleiche Art wie eine wie zuvor beschriebene Projektion erfolgen. Beispielsweise können krankhafte Adern der Aderhaut dadurch verödet werden, daß ein photoempfindliches Mittel eingespritzt oder eingenommen wird, und daß krankhafte Stellen der Aderhaut über mehreren Zehn Sekunden punktgenau bestrahlt werden. Eine derartige Therapie läßt sich mit Hilfe der erfindungsgemäßen Informationssystem präzis ausführen.
Um als Sehhilfe- und/oder Sehfehlerkorrektursystem Anwendung zu finden, umfaßt die Ausgabevorrichtung des Informationssystems eine Projektionvorrichtung, die sichtverbessernde Bildinformationen auf die Netzhaut projiziert. Zudem wird die Informationsvorrichtung eine Auswertevorrichtung umfassen, die die sichtverbessernde Bildinformationen anhand des aus dem Gesichtsfeld erfaßten Lichts ermittelt. Die sichtverbessernden Bildinformationen werden bevorzugt derart in Korrelation mit den aus dem Auge erfaßten Signalen auf die Retina projiziert, daß das natürlich wahrgenommene Gesichtsfeld und die projizierten Bildinformationen als einheitliches Bild wahrgenommen werden. Im Extremfall werden die sichtverbessernden Bildinformationen derart auf die Retina projiziert, daß das ansonsten natürlich wahrgenommene Gesichtsfeld vom Auge gar nicht wahrgenommen wird. Wie zuvor beschrieben, kann der Grad der Wahrnehmung eines so projizierten Bildes im Verhältnis zum natürlich wahrgenommenen Bild durch die Helligkeit der projizierten Bildpunkte gesteuert werden.
Durch ein derartiges Informationssystem läßt sich beispielsweise eine Sehfehlerkorrektur für Kurz- oder Weitsichtige sowie bei Farbsehschwäche durchführen. Bei der Korrektur einer Kurz- bzw. Weitsichtigkeit kann das Informationssystem auf eine (quasi-)festen Korrektur eingestellt werden, eine veränderbare Korrektur ermöglichen, oder sich dynamisch auf den Sehfehler automatisch einstellen. Die Korrektur erfolgt über ein ggf. einstellbares optisches Fokussiersystem innerhalb der Projektionsvorrichtung oder durch bildverarbeitende Maßnahmen. Letzteres läßt sich mit geringem Systemaufwand realisieren.
Implementierungen mit (quasi-)fester oder veränderbarer Korrektur sind durch ihre inhärente Ähnlichkeit zu ähnlichen optischen Systemen für den Fachmann ohne weitere Erklärung verständlich. Eine Realisierung mit einer dynamischen, automatischen Korrektur des natürlichen Abbildungsfehlers umfaßt neben der oben beschriebenen Korrelation eine weitere Abhängigkeit zu den vom Auge erfaßten Signalen. Insbesondere wird dabei ein Netzhautreflexbild erfaßt, das durch Vergleich mit dem aus dem Gesichtsfeld erfaßten Licht und/oder durch eine bildverarbeitende Auswertung Auskunft über die Schärfe des auf der Netzhaut abgebildete Bild liefert. Entsprechend wird das aus dem Gesichtsfeld erfaßte Licht in sichtverbessernde Bildinformationen aufbearbeitet und auf die Retina projiziert. Durch Ausgabe des so ermittelten Korrekturwertes kann das Informationssystem als Diagnosesystem fungieren.
Durch seine Erfassung aus dem Auge zurückreflektierter Signale und aus dem Gesichtsfeld stammenden Lichtes ist das erfindungsgemäße Informationssystem mittels einer entsprechend programmierten Auswertevorrichtung in der Lage, Auskunft über viele ophthamologisch relevanten Eigenschaften des Auge zu geben. Zum Beispiel lassen sich Schielwinkel, Primär-Positionen (PP), Gesichtsfeldbestimmungen auch mit Farben, Schwellwerttests, standardisierte Testverfahren für Glaukomadiagnose, Prüfungen von Netzhautfunktionen (beispielsweise ERG und VEP) auch an ausgewälten Orten und Prüfungen der rezeptiven Felder durchführen bzw. bestimmen. Die hierzu zu erfassende Signale aus dem Auge, die hierzu notwendigen Gesichtsfeldreize und die hierzu notwendigen Bearbeitungsalgorithmen wählt der Fachmann auf der Basis seiner Fachkenntnis und unter Berücksichtigung der vorstehend beschriebenen Erfindung entsprechend aus.
Während beispielsweise die Sehschärfe sich durch eine Auswertung aus dem Auge zurückreflektierter Signale feststellen und anschließend korrigieren läßt, setzt die Korrektur manch anderer Sehfehler eine systemunabhängige Feststellung des Fehlers, zum Beispiel durch einen Augenarzt, voraus. Eine passende Einstellung der durch das Informationssystem vorgenommenen Korrektur kann rekursiv oder einfach durchgeführt werden.
Bei einem rekursiven Einstellvorgang wird eine Korrektur gemäß vorheriger Einstellung vom Informationssystem vorgenommen während das Sehvermögen der fehlsichtigen Person getestet wird. Anhand der Ergebnisse der Tests wird eine neue Einstellung des Informationssystems gewählt. Dieser Vorgang wird wiederholt durchgeführt, bis der Sehfehler ausreichend kompensiert worden ist. In diesem Sinne fungiert das Informationssystem gleichwohl als Diagnosesystem; denn anhand der bestkorrigierenden Endeinstellung kann der Sehfehler bestimmt werden.
Bei einem einfachen Einstellvorgang wird das Sehvermögen der fehlsichtigen Person ohne jeglicher Kompensation getestet. Anhand der Ergebnisse der Tests wird eine passende Einstellung des Informationssystems gewählt, das im späteren Einsatz das aus dem Gesichtsfeld erfaßte Licht dann gemäß dieser Einstellung in sichtverbessernde Bildinformationen aufbearbeitet und auf die Retina projiziert. Bei der Aufbereitung werden, der Einstellung, d. h. dem ursprünglichen Sehfehler, entsprechend, beispielsweise bestimmte Spektralkomponenten oder bestimmte Bereiche des Gesichtsfeldes hervorgehoben oder durch sonstige bildverarbeitenden Maßnahmen verändert.
Für Nachtblinde kann zum Beispiel eine Sehhilfe durch das erfindungsgemäße Informationssystem dadurch verwirklicht werden, daß das aus dem Gesichtsfeld, beispielsweise durch stark lichtempfindliche Photodetektoren, erfaßte Licht stark verstärkt auf die Retina projiziert wird. Dabei können die Zapfen derart angeregt werden, daß ein überwiegend farbiges, photopisches Sehen statt ein skotopisches Sehen stattfindet. Es wird auch die maximal erlaubte Helligkeit der einzelnen projizierten Bildpunkte auf einen vorgegebenen Schwellwert beschränkt, um ein Blenden durch hell leuchtende Gegenstände wie Straßenlaternen und entgegenkommenden Autos zu vermeiden. Ein solches System eignet sich also auch als Anti-Blend- System. Denn wird die Helligkeit des gesamten Gesichtsfelds gehoben, während die "übermäßige" Helligkeit einzelner Punkte unverändert bleibt, so werden die "übermäßig" helle Punkte nicht mehr als "übermäßig" hell empfunden. Umfaßt die Informationsvorrichtung auch einen Infrarotsensor, der Infrarotlicht aus dem Gesichtsfeld erfaßt, so lassen sich zusätzliche einfarbige Bildinformationen bezüglich des Gesichtsfelds bei Nacht oder Nebel gewinnen, die in den sichtbaren Spektralbereich transformiert werden können, um die schon mittels der Gesichtfelderfassungsvorrichtung und der Auswertevorrichtung gewonnen Bildinformationen aufzuwerten.
Auch im Allgemeinen kann das erfindungsgemäße Informationssystem dazu geeignet sein, die Sehfähigkeit zu verbessern. Beispielsweise bei starken oder schwachen Kontrasten oder bei geringer Helligkeit im Gesichtsfeld können in ihrer Helligkeit angepaßte Bildinformationen in das Auge projiziert werden, um eine verbesserte Sehfähigkeit zu ermöglichen.
Helme
Die Integration des erfindungsgemäßen interaktiven Datensicht- und Bediensystems mit und ohne das vorstehend beschribene Informationssystem in einem Feuerwehrmannhelm wurde oben erläutert. Ähnliche Ausgestaltungen, beispielsweise als Soldaten-, Fahrer-, Kranfahrer-, Sportler- oder Pilotenhelm oder -brille sind ebenfalls denkbar.
Ein Soldatenhelm bzw. -brille auf der Basis des erfindungsgemäßen Informationssystem könnte dem Soldaten zum Beispiel bei der Orientierung und/oder bei der Zielsuche behilflich sein. In einem solchen Fall umfaßt die Informationsvorrichtung des Informationssystem bevorzugt Sensoren und/oder Funkempfänger, eine übersinnliche Wahrnehmung der Umgebung und/oder das Empfangen von Informationen von einer Kommandozentrale ermöglichen. Die Ausgabevorrichtung wird Informationen bevorzugt visuelle, hörbar oder taktil, zum Beispiel in Form kurzer elektrischer Reizströme an der Haut, zur Verfügung stellen. Letzteres könnte dazu verwendet werden, einen Soldaten unmittelbar über die Richtung eines von hinten zubewegenden Fremdobjekts zu informieren.
Als Nachtsichtgerät würde das Informationssystem neben der Erfassung von sichtbarem Licht aus dem Gesichtsfeld auch Infrarotlicht aus dem Gesichtsfeld erfassen. Wie zuvor beschrieben, können Bildinformationen aus solch erfaßtem Infrarotlicht gewonnen und bei der Aufwertung von in das Auge zu projizierenden Bildinformationen eingesetzt werden.
Weist die Informationsvorrichtung beispielsweise einen GSP- Empfänger auf, so könnte der Helm Positionsinformationen oder Orientierungshilfen auf die Netzhaut projizieren. Bevorzugt erfolgt die Projektion solcher Informationen ins Auge ähnlich der Projektion einer elektronischen Zeitung. Das heißt, es wird eine Ablenkung des Soldaten dadurch vermieden, daß das Bild der Informationen im Raum oder vis- à-vis einer neutralen Stellung des Auges fixiert zu sein scheint. Auch eine Anpassung der Bildinformationen an den dahinter wahrgenommenen Hintergrund zwecks einer möglichst guten Lesbarkeit findet durch eine zur Informationsvorrichtung gehörende Auswertevorrichtung statt.
Auch wenn eine Funk- oder sonstige Datenübertragung vom Soldaten aus an eine Kommandozentrale aus strategischen Tarnungsgründen generell zu vermeiden gilt, könnte in bestimmten Fällen auch eine Übertragung von mit den Augenbewegungen des Soldaten korrelierte Gesichtfelddaten an eine Kommandozentrale sinnvoll sein.
In einer für Soldaten besonders interessanten Ausführungsform kann die mit dem interaktiven Datensicht- und Bediensystem kombinierbare Informationsvorrichtung eine oder mehrere Kameras aufweisen, die Bilder von außerhalb des Gesichtsfeldes erfassen. Die so gewonnenen Bildinformationen werden dann über eine Projektionsvorrichtung auf die Retina projiziert. Das auf das Gesichtsfeldbild projizierte Zusatzbild könnte zum Beispiel als Bild im Bild als kleines Bild in die Ecke des natürlichen oder projizierten Gesichtsfeldbildes projiziert werden oder als Längstreifen am unteren Rand erscheinen. Dabei dient die Erfassung von Signalen aus dem Auge zusammen mit der Gesichtsfelderfassung dazu, die projizierten Bilder in Korrelation mit den Bewegungen des Auges zu halten.
Beim Kranfahrer wäre es ebenfalls hilfreich, Zusatzbilder aus anderen Perspektiven in das Gesichtsfeld hineinzuprojizieren. Gleichfalls könnte das erfindungsgemäße Informationssystem Zusatzsensoren umfassen, mit deren Hilfe Entfernungs- oder Gewichtsinformationen ermittelt werden, um in das Gesichtsfeld hineinprojiziert zu werden. Solche Informationen können beispielsweise auch beim Anblick der Last in Kombination mit einem Tastenklick hörbar oder visuell zur Verfügung gestellt werden. Dabei dient das aus dem Gesichtsfeld ermittelte Licht als Grundlage der Bilderkennung während die Signale aus dem Auge wie zuvor beschrieben eine Korrelation des erfaßten Gesichtsfelds zur Sehachse ermöglichen.
Einem Piloten könnte das erfindungsgemäße Informationssystem viele verschiedenen Informationen zur Verfügung stellen. Durch eine Anbindung an das Informationssystem des Flugzeugs könnten zum Beispiel relevante Daten wie Flughöhe, Geschwindigkeit oder Flugrichtung oder auch ein künstlicher Horizont in das Gesichtsfeld des Piloten wie beschrieben eingeblendet werden. Beim Anflug könnten zudem Landehilfeinformationen eingeblendet werden, die einen virtuellen Landekorridor darstellen, oder Höhen- oder Richtungskorrekturwerte angeben. Bei militärischer Anwendung können dem Pilot Freund/Feind- und Zielhilfeinformationen zur Verfügung gestellt werden. Hier spielt die Blickrichtung des Piloten sowohl bei der räumlichen Einblendung der Informationen als auch bei der Informationsauswahl eine Rolle. Der Pilot möchte, daß ein Flugkörper, den er mit den Augen anvisiert, identifizert wird. Falls die Idenifizierung visuell erfolgt, möchte er, daß die Einblendung keine relevanten Bereiche seines Gesichtsfeldes überdecken. Dabei sind die gegenläufige Anforderungen zu berücksichtigen, daß die relevanten Bereiche des Gesichtsfeldes typischerweise auf der Fovea centralis abgebildet werden, aber auch, daß nur diejenigen Bilder, die auf die Fovea centralis projiziert werden, scharf abgebildet werden. Es muß also eine intelligente Einblendung erfolgen, bei der die relevanten Bereiche des Gesichtsfelds zum Beispiel über eine Bilderkennung und nicht lediglich über die Ausrichtung der Fovea centralis erkennt werden. In diesem Zusammenhang kann das erfindungsgemäße Informationssystem auch als Untersystem zum Informationssystem des Flugzeugs fungieren und diesem Informationenen zur Verfügung stellen. So könnten beispielsweise Informationen darüber, wo der Pilot hinschaut, vom erfindungsgemäßen Informationssystem an das Flugzeuginformationssystem geliefert werden und dort zur Zielerfassung beitragen. Im Ernstfall könnte das Informationsystem feindliche Radarstellung über Sensoren orten und ihre Position mit dem dazugehörigen Gelände dreidimensional darstellen.
Sportlern könnten durch das erfindungsgemäße Informationssystem wie in den vorhergehenden Beispielen verschiedene Informationen zur Verfügung gestellt werden. Mittels einer Projektion von Informationen in das Auge könnten beispielsweise Orientierungshilfen, Geschwindigkeitsinformation und/oder aufgewertete Gesichtfeldinformationen, die eine bessere Sicht bei Dämmerung, Nacht, Regengischt oder Nebel ermöglichen, zur Verfügung gestellt werden. Insbesondere bei gehaltsarmen Informationen eignet sich ein nicht visuelles Zurverfügungstellen der Informationen. Ähnlich den vorhergehenden Beispielen kann ein von einem Sportler getragenes erfindungsgemäßes Informationssystem als Untersystem eines Sportgerätes oder eines Fahrzeuges fungieren.
Reine Informationssysteme
Eine übersinnliche Wahrnehmung läßt sich durch Ausführungsformen des Informationsystems erzielen, bei den die Informationsvorrichtung einen oder mehrere Sensoren beispielsweise Magnetfelddetektoren, Drucksensoren, Thermometer, Spektralsensoren, optische oder akustische Interferenzmeßgeräte umfaßt. Insbesondere durch eine Überlagerung einer in das Auge projizierten, bildlichen Darstellung der aus den Sensoren gewonnenen Informationen auf das natürliche Gesichtsfeld entspricht die Darstellung den Bedürfnissen eines sehenden Menschen. Dabei kann das erfindungsgemäße Informationssystem als Bestandteil, insbesondere als Präsentationseinrichtung, einer komplexen Meßeinrichtung auftreten.
Als Beispiel eines solchen Systems gilt ein mit empfindlichen Magnetsensoren ausgestattetes Brillensystem, das in der Lage ist, stromführende oder metallische Gegenstände in Relation zur Brille zu orten. Werden solche georteten Gegenstände mittels einer wie zuvor beschriebenen Projektion ortsgetreu im natürlichen Gesichtsfeld farbig gekennzeichnet, so ließen sich beispielsweise unter Putz verlaufende Wasser- oder Stromleitungen sehr leicht auffinden. Ein ein solches Brillensystem tragender Monteur würde den Verlauf der Leitungen sozusagen "an der Wand gepinselt" sehen.
Wird ein zwei- oder dreidimensionales Array oder sonstige ein- oder mehrdimensionale Verteilung der Sensoren gewählt, so können auch beispielsweise sehr komplexe Vektorfelder oder Gradientenverläufe einem Betrachter bildlich über den dazugehörigen Gegenstand oder Anordnung sichtbar gemacht werden. Zum Beispiel könnte eine Anordnung von Drucksensoren um ein Testobjekt in einem Windtunnel herum Druckinformationen liefern, die durch das erfindungsgemäße Informationsystem wie zuvor beschrieben derart aufbereitet und in die Augen eines Betrachters, der das Testobjekt durch ein Fenster beobachtet, projiziert, daß er die durch das Testobjekt entstehenden Druckgradienten anhand entsprechender farbiger Kennzeichnung der Druckwerte dort sieht, wo sie vorhanden sind. Einem Schweißer könnten mittels einer Infrarotkamera gewonnenen Temperaturinformationen derart in sein Gesichtsfeld dargestellt werden, daß die örtliche Oberflächentemperatur entlang den bearbeiteten Gegenstände erkenntlich ist.
Ähnlich können Spektralsensoren dazu verwendet werden, einem Benutzer Auskunft über genaue Farbwerte oder Materialzusammensetzungen zu geben. Hier bietet es sich auch an, die ermittelten Informationen, in Abhängigkeit davon, wo der Benutzer genau hinschaut, hörbar zu präsentieren. In Zusammenarbeit mit einer Datenbank und einer Mustererkennung könnte ein solches System zum Beispiel dazu verwendet werden, Pilze oder Pflanzen zumindest annähernd zu identifizieren, indem der Benutzer bestimmte Teile des Pilzes bzw. der Pflanze auf Systemaufforderung anschaut bzw. den Sensoren zuwendet.
Zusammenfassung
Im folgenden werden anhand von Merkmalsgruppen die wesentlichen Punkte nochmals zusammengefasst, die für das erfindungsgemäße interaktive Datensicht- und Bediensystem jeweils für sich und in Kombination miteinander und mit Informationssystemen verschiednster Ausgestaltung von besonderer Bedeutung sind:
  • 1. Interaktives Datensicht- und Bediensystem, mit
    einer in der Art einer Brille von einer Bedienperson tragbaren optischen Vorrichtung (), mit der die Netzhaut () scanbar und ein auf das Auge () einfallendes Bild, insbesondere ein Netzhautreflexbild aufnehmbar ist,
    einer Signalverarbeitungseinrichtung (), mit der die von der optischen Vorrichtung () erfassten Signale auswertbar sind und ein entsprechendes Ausgangssignal an eine Kommunikationsschnittstelle () übertragbar ist,
    eine Datenübertragungseinrichtung (), mit der in Abhängigkeit vom Ausgangssignal und ggf. zusätzlicher Steuerbefehle der Bedienperson Daten von einer externen Informationsquelle, wie z. B. einer Datenbank abrufbar sind, und
    einer Steuervorrichtung (), mit der auf der Basis der abgerufenen Daten und ggf. in Abhängigkeit zusätzlicher Steuerbefehle der Bedienperson die Signalverarbeitungseinrichtung über die Kommunikationsschnittstelle () ansteuerbar ist, um entweder die optische Vorrichtung () zur Einspielung zusätzlicher Bildinformation auf die Netzhaut und/oder zumindest ein weiteres Informationswiedergabegerät, wie z. B. ein Kopfhörersystem zur Übertragung von zusätzlicher Information zur Bedienperson zu veranlassen.
  • 2. System nach Punkt 1, gekennzeichnet durch eine mobiles Kommunikationssystem zwischen Datensicht- und Bediensystem und externer Infromationsquelle.
  • 3. System nach Punkt 2, dadurch gekennzeichnet, dass die Datenübertragungseinrichtung ein Mobiltelefon () aufweist. 4. System nach Punkt 2 oder 3, dadurch gekennzeichnet, dass die Datenübertragungseinrichtung einen Computer aufweist, der mit einer geeigneten DFÜ-Schnittstelle ausgestattet ist.
  • 4. System nach einem der Punkte 1 bis 4, dadurch gekennzeichnet, dass die zusätzlichen Steuerbefehle der Bedienperson auf optischen Infromationssignalen basieren, die von der optischen Vorrichtung abgegeben werden.
  • 5. System nach einem der Punkte 1 bis 4, dadurch gekennzeichnet, dass die zusätzlichen Steuerbefehle der Bedienperson auf akustischen Infromationssignalen basieren, die von einer Spracheingabeeinheit () abgegeben werden.
  • 6. System nach einem der Punkte 1 bis 4, dadurch gekennzeichnet, dass die zusätzlichen Steuerbefehle der Bedienperson auf Infromationssignalen basieren, die von einer elektromechanischen Steuereinheit, wie z. B. einer Bedienmaus () abgegeben werden.
  • 7. System nach einem der Punkte 1 bis 7, dadurch gekennzeichnet, dass die von der optischen Vorrichtung () erfasste Struktur der Netzhaut in Form eines Datensatzes () in der Signalverarbeitungseinrichtung zwischengespeichert ist, wobei der Datensatz zur Trägerkennung bzw. zur personalisierten Einstellung des Systems an die betreffende Bedienperson herangezogen wird.
  • 8. System nach einem der Punkte 1 bis 8, gekennzeichnet durch die Verwendung im medizinischen Bereich, insbesondere im Bereich der Ophthalmologie, als Therapie- oder Analysegerät.
  • 9. System nach einem der Punkte 1 bis 9 als Informationssystem mit
    • - einer Signalerfassungsvorrichtung, die von einem eine Netzhaut aufweisenden Auge zurückreflektierte Signale erfaßt;
    • - eine Gesichtsfelderfassungsvorrichtung, die sichtbares Licht aus einem der Netzhaut zugeordneten Gesichtsfeld erfaßt, ohne ein Netzhautreflexbild der Netzhaut zu erfassen;
    • - eine Informationsvorrichtung; und
    • - einer Ausgabevorrichtung, die Informationen in Zusammenarbeit mit der Informationsvorrichtung, in Abhängigkeit vom erfaßten Licht und in Korrelation mit den erfaßten Signalen zur Verfügung stellt.
  • 10. System als Informationssystem nach Punkt 10, wobei
  • 11. die Informationsvorrichtung eine Auswertevorrichtung umfaßt, die Bildinformationen bezüglich des Gesichtsfeldes aus dem erfaßten Licht gewinnt; und
    • - die Ausgabevorrichtung eine Projektionsvorrichtung umfaßt, die die Bildinformation auf die Netzhaut derart in Korrelation mit den erfaßten Signalen projiziert, daß ein natürlich wahrgenommenes Gesichtsfeld und die projizierten Bildinformationen von der Netzhaut als einheitliches Bild wahrgenommen werden.
  • 12. System als Informationssystem nach einem der vorhergehenden Punkte, wobei die besagte Abhängigkeit eine zeitliche oder räumliche Korrelation zwischen dem Zurverfügungstellen der Informationen und dem erfaßten Licht umfaßt.
  • 13. System als Informationssystem nach einem der vorhergehenden Punkte, wobei die besagte Abhängigkeit eine mindestens einen Informationsschlüssel liefernde Musterkennung umfaßt, und die Informationsschlüssel einer durch die Informationsvorrichtung gestützten Informationsabfrage dienen.
  • 14. System als Informationssystem nach einem der vorhergehenden Punkte, wobei die Signalerfassungsvorrichtung eine scannende Vorrichtung umfaßt, die in einem ersten Scanvorgang eine mindestens partielle Erfassung des Netzhautreflexbildes aufnimmt und in einem späteren Scanvorgang eine weniger umfangreiche Erfassung des Netzhautreflexbildes vornimmt.
  • 15. System als Informationssystem nach einem der Punkte 10 bis 14, wobei die Signalerfassungsvorrichtung das Netzhautreflexbild nur teilweise oder gar nicht erfaßt.
  • 16. System als Informationssystem nach einem der vorhergehenden Punkte, wobei die Gesichtsfelderfassungsvorrichtung eine sphärisch oder sphärisch wirkende Reflektionsschicht aufweist, die ein Teil des auf das Auge gerichteten Lichts in eine Sensorvorrichtung zur Erfassung ablenkt.
  • 17. System als Informationssystem nach einem der vorhergehenden Punkte, wobei die Gesichtsfelderfassungsvorrichtung und/oder die Signalerfassungsvorrichtung das Hornhautreflexbild des Auges mindestens teilweise erfaßt.
  • 18. System als Informationssystem nach einem der vorhergehenden Punkte, wobei die Signalerfassungsvorrichtung und die Gesichtsfelderfassungsvorrichtung als tragbare Einheit ausgeführt sind.
  • 19. System als Informationssystem nach einem der vorhergehenden Punkte, wobei die Ausgabevorrichtung die Informationen taktil, visuell, hörbar, riechbar und/oder geschmacklich zur Verfügung stellt.
  • 20. System als Informationssystem nach einem der vorhergehenden Punkte, wobei die Informationsvorrichtung eine Datenbank, eine Sensorik, eine Informationsnetzanbindung und/oder eine Auswertevorrichtung aufweist.
  • 21. System als Informationssystem nach einem der vorhergehenden Punkte, wobei das Informationssystem in tragbarer Form ausgeführt wird.
  • 22. Verfahren zum Zurverfügungstellen von Informationen mit den Schritten:
    • - Erfassung von Signalen, die von einem eine Netzhaut aufweisenden Auge zurückreflektiert worden sind;
    • - Erfassung von sichtbarem Licht aus einem der Netzhaut zugeordneten Gesichtsfeld, ohne ein Netzhautreflexbild der Netzhaut zu erfassen; und
    • - Zurverfügungstellen der Informationen in Zusammenarbeit mit einer Informationsvorrichtung, in Abhängigkeit vom erfaßten Licht und in Korrelation mit den erfaßten Signalen.
  • 23. Verfahren nach Punkt 22, mit den Schritten:
    • - Gewinnung von Bildinformationen bezüglich des Gesichtsfeldes aus dem erfaßten Licht; und
    • - Projektion der Bildinformation auf die Netzhaut derart in Korrelation mit den erfaßten Signalen, daß das natürlich wahrgenommene Gesichtsfeld und die projizierten Bildinformationen von der Netzhaut als einheitliches Bild wahrgenommen werden.
  • 24. Verfahren nach Punkt 22 oder 23, wobei die besagte Abhängigkeit eine zeitliche oder räumliche Korrelation zwischen dem Zurverfügungstellen der Informationen und dem erfaßten Licht umfaßt.
  • 25. Verfahren nach einem der Punkte 22 bis 24, wobei die besagte Abhängigkeit eine mindestens einen Informationsschlüssel liefernde Musterkennung umfaßt, und die Informationsschlüssel einer durch die Informationsvorrichtung gestützten Informationsabfrage dienen.
  • 26. Verfahren nach einem der Punkte 22 bis 25, wobei die Signalerfassung Scanvorgänge umfaßt, wobei in einem ersten Scanvorgang eine mindestens partielle Erfassung des Netzhautreflexbildes erfolgt und in einem späteren Scanvorgang eine weniger umfangreiche Erfassung des Netzhautreflexbildes vorgenommen wird.
  • 27. Verfahren nach einem der Punkte 22 bis 25, wobei die Signalerfassung das Netzhautreflexbild nur teilweise oder gar nicht erfaßt.
  • 28. Verfahren nach einem der Punkte 22 bis 27, wobei die Erfassung von sichtbarem Licht über eine sphärisch oder sphärisch wirkende Reflektionsschicht erfolgt, die ein Teil des auf das Auge gerichteten Lichts in eine Sensorvorrichtung zur Erfassung ablenkt.
  • 29. Verfahren nach einem der Punkte 22 bis 28, wobei die Erfassung von sichtbarem Licht und/oder die Signalerfassung eine mindestens partielle Erfassung des Hornhautreflexbildes des Auges umfaßt.
  • 30. Verfahren nach einem der Punkte 22 bis 29, wobei das Zurverfügungstellen der Informationen taktil, visuell, hörbar, riechbar und/oder geschmacklich zur Verfügung stellt.
  • 31. Verfahren nach einem der Punkte 22 bis 30, wobei die Informationsvorrichtung eine Datenbank, eine Sensorik, eine Informationsnetzanbindung und/oder eine Auswertevorrichtung ist.
  • 32. Verfahren zur Überspielung von optischer Information auf die menschliche Netzhaut unter Verwendung eines vorzugsweise seriell arbeitenden, ein auf die Netzhaut einfallendes Bild aufnehmenden Scansystems und eines Informations-Projektionssystems, wobei der Abtast- und Projektionsstrahl ein vorbestimmtes Bewegungsmuster aufweist und wobei die Information vorzugsweise von den Signalen des Scanystems abhängt, dadurch gekennzeichnet, daß der Projektionsvorgang bei laufendem Abtastvorgang erfolgt.
  • 33. Verfahren nach Punkt 32, bei dem nach einem partiellen Abtasten des Bildes ein partieller Projektionsvorgang abläuft.
  • 34. Vorichtung zur Durchführung des Verfahrens nach Punkt 32 oder 33, mit einem vorzugsweise seriell arbeitenden Scansystems, mit dem ein auf die Netzhaut einfallendes Bild aufnehmbar ist, und mit einem Informations- Projektionssystem, wobei der Abtast- und Projektionsstrahl mittels einer Steuereinrichtung entsprechend einem vorbestimmten Bewegungsmuster steuerbar ist, gekennzeichnet durch eine Einrichtung, die den Projektionsvorgang bei laufendem Abrastvorgang erlaubt.
  • 35. Vorrichtung zur Überspielung von optischer Information auf die menschliche Netzhaut unter Verwendung eines seriell arbeitenden Scan- und Projektionssystems mit vorbestimmtem Bewegungsmuster des Abtast- und Projektionsstrahls, bei der der Strahl (846) des projizierten Lichts dem Strahl (843) des aufgenommenen Lichts nacheilt.
  • 36. Vorrichtung nach Punkt 35, bei der der minimale zeitliche Versatz zwischen Aufnahme und Projektion eines Bildpunkts im wesentlichen der Verarbeitungszeit des zuvor aufgenommenen Bildsignals entspricht.
  • 37. Vorrichtung nach Punkt 35 oder 36, bei der das Scan- und das Projektionssystem einen gemeinsamen oder unterschiedlichen Strahlengang haben.
  • 38. Vorrichtung nach Punkt 37 zur Überspielung von optischer Information auf die menschliche Netzhaut unter Verwendung eines seriell arbeitenden Scan- und Projektionssystems mit vorbestimmtem Bewegungsmuster des Abtast- und Projektionsstrahls, dadurch gekennzeichnet, daß die Bewegungsmuster (1502a, 1502b) des Abtast- und des Projektionsstrahls zueinander versetzt sind.
  • 39. Vorrichtung nach Punkt 30, bei der die Bewegungsmuster des Abtast- und des Projektionsstrahls zueinander um einen vorbestimmten kleinen Winkel versetzt sind.
  • 40. Vorrichtung nach Punkt 38, bei der die Bewegungsmuster des Abtast- und des Projektionsstrahls zueinander um einen vorbestimmten kleinen Abstand (11VA) radial versetzt sind. 41. Vorrichtung nach einem der vorangehenden Punkte, bei der das Scan- und das Abtastsystem getrennte Strahlengänge haben.
  • 41. Vorrichtung nach einem der vorangehenden Punkte, bei der das Scansystem das auf die Netzhaut einfallende Bild an einer der Netzhaut vorgeschalteten Stelle (929) des optischen Systems abtastet.
  • 42. Vorrichtung nach einem der vorangehenden Punkte, bei der das Bewegungsmuster des Abtast- und Projektionsstrahls einer Spirale entspricht.
  • 43. Vorrichtung nach einem der vorangehenden Punkte, bei der das Bewegungsmuster des Abtast- und Projektionsstrahls einem Kreis- oder Ellipsenscan entspricht.
  • 44. Vorrichtung nach einem der vorangehenden Punkte, unter Verwendung einer konstanten Abtastgeschwindigkeit, oder einer konstanten Winkelgeschwindigkeit des Abtast- und Projektionsstrahls, oder einer an die Dichte der Rezeptoren im menschlichen Auge angepassten Geschwindigkeit, so dass die pro Zeiteinheit von den Projektionsstrahlen überstrichenen Rezeptoren im wesentlichen konstant ist.
  • 45. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Analyse des Sehvermögens eines Patienten, indem mittels der Projektionseinheit auf der Netzhaut bzw. auf ausgewählten Bereichen der Netzhaut ein vorbestimmtes Muster bzw. eine vorbestimmte Musterverteilung generiert wird.
  • 46. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Analyse der Bewegungsmuster und/oder der Rauschfelder und/oder des räumlichen Sehvermögens eines Auges eines Patienten, indem für Prüfzwecke mittels der Projektionseinheit auf der Netzhaut Random-Dot-Muster generiert werden.
  • 47. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Bestimmung von Anomalien der Augapfel-Motorik, indem in das System eine Einrichtung zur Bestimmung und Überwachung der Lage und/oder Orientierung des Augapfels integriert ist.
  • 48. Verwendung und/oder Ausbildung zur Bestimmung des Schielwinkels, indem eine Einrichtung zur Bestimmung und Überwachung des Augenmittelpunkts beider Augen integriert ist.
  • 49. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Aufdeckung von parasysympathischen/sympathischen Efferenzen, indem die Pupillomotorik mittels einer Detektoreinrichtung überwacht und ausgewertet wird.
  • 50. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als Synoptophor oder Synoptometer ohne Apparatekonvergenz.
  • 51. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als Einrichtung zur Bestimmung der Zyklodeviation.
  • 52. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als Phasendifferenzhaploskop.
  • 53. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als Einrichtung zur sichtachsenidentischen Detektion von Phorien bei unterschiedlichen Blickrichtungen.
  • 54. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Funktionsprüfung der Netzhaut, unter Heranziehung eines Muster-Elektro-Retinogramms (ERG) und einer Korrellationseinrichtung, mit der ein auf die Netzhaut gespieltes Bild in Korrellation mit dem tatsächlich ermittelten ERG bringbar ist.
  • 55. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Messung der Kontrast-Empfindlichkeit des Sehvermögens eines Patienten vorzugsweise in Abhängigkeit von der Ortsfrequenz.
  • 56. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Rauschfeldampimetrie.
  • 57. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Bestimmung der Ausdehnung und der Lage zentraler Gesichtsfelddefekte (Skotome).
  • 58. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als VEP (Visual Enabling for Precision Surgery)-Gerät.
  • 59. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als SLO (Scanning Laser Ophthalmoloskop)-Gerät.

Claims (20)

1. Interaktives Datensicht- und Bediensystem, mit
einer in der Art einer Brille von einer Bedienperson tragbaren optischen Vorrichtung (150), mit der die Netzhaut (281) scanbar und ein auf das Auge (280) einfallendes Bild, insbesondere ein Netzhautreflexbild aufnehmbar ist,
einer Signalverarbeitungseinrichtung (140), mit der die von der optischen Vorrichtung (150) erfassten Signale auswertbar sind und ein entsprechendes Ausgangssignal an eine Kommunikationsschnittstelle (196) übertragbar ist,
eine Datenübertragungseinrichtung (140, 196, 197), mit der in Abhängigkeit vom Ausgangssignal und ggf. zusätz­ licher Steuerbefehle (101b) der Bedienperson Daten von einer externen Informationsquelle (198), wie z. B. einer Datenbank abrufbar sind, und
einer Steuervorrichtung (196), mit der auf der Basis der abgerufenen Daten und ggf. in Abhängigkeit zusätzlicher Steuerbefehle (101b) der Bedienperson die Signalverarbei­ tungseinrichtung (140) über die Kommunikationsschnittstelle (196) ansteuerbar ist, um entweder die optische Vorrichtung (150) zur Einspielung zusätzlicher Bildinformation auf die Netzhaut (281) und/oder zumindest ein weiteres Informa­ tionswiedergabegerät (150a), wie z. B. ein Kopfhörersystem zur Übertragung von zusätzlicher Information (101a) zur Bedienperson zu veranlassen. .
2. System nach Anspruch 1, gekennzeichnet durch eine mobiles Kommunikationssystem (197; E) zwischen Datensicht- und Bediensystem und externer Infromationsquelle (198).
3. System nach Anspruch 2, dadurch gekennzeichnet, dass die Datenübertragungseinrichtung ein Mobiltelefon (197) aufweist.
4. System nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Datenübertragungseinrichtung einen Computer auf­ weist, der mit einer geeigneten DFÜ-Schnittstelle ausge­ stattet ist.
5. System nach einem der Ansprüche 1 bis 4, dadurch ge­ kennzeichnet, dass die zusätzlichen Steuerbefehle (101) der Bedienperson auf optischen Infromationssignalen basieren, die von der optischen Vorrichtung (150) abgegeben werden.
6. System nach einem der Ansprüche 1 bis 4, dadurch ge­ kennzeichnet, dass die zusätzlichen Steuerbefehle der Bedienperson auf akustischen Infromationssignalen (101b) basieren, die von einer Spracheingabeeinheit (150b) abgege­ ben werden.
7. System nach einem der Ansprüche 1 bis 4, dadurch ge­ kennzeichnet, dass die zusätzlichen Steuerbefehle der Bedienperson auf Infromationssignalen basieren, die von einer elektromechanischen Steuereinheit, wie z. B. einer Bedienmaus abgegeben werden.
8. System nach einem der Ansprüche 1 bis 7, dadurch gekenn­ zeichnet, dass die von der optischen Vorrichtung (150) erfasste Struktur der Netzhaut (281) in Form eines Daten­ satzes in der Signalverarbeitungseinrichtung (140) zwischengespeichert ist, wobei der Datensatz zur Trägerken­ nung bzw. zur personalisierten Einstellung des Systems an die betreffende Bedienperson herangezogen wird.
9. System nach einem der Ansprüche 1 bis 8, gekennzeichnet durch die Verwendung im medizinischen Bereich, insbesondere im Bereich der Ophthalmologie, als Therapie- oder Analyse­ gerät.
10. System als Informationssystem nach einem der Ansprüche 1 bis 9, gekennzeichnet durch
eine Signalerfassungsvorrichtung, die von mindestens einem eine Netzhaut aufweisenden Auge zurückreflektierte Signale erfaßt; eine Gesichtsfelderfassungsvorrichtung, die sichtbares Licht aus einem der Netzhaut zugeordneten Gesichtsfeld erfaßt, ohne ein Netzhautreflexbild der Netz­ haut zu erfassen;
eine Informationsvorrichtung; und
eine Ausgabevorrichtung, die Informationen in Zusam­ menarbeit mit der Informationsvorrichtung, in Abhängigkeit vom erfaßten Licht und in Korrelation mit den erfaßten Signalen zur Verfügung stellt.
11. System nach Anspruch 10, wobei
die Informationsvorrichtung eine Auswertevorrichtung umfaßt, die Bildinformationen bezüglich des Gesichtsfeldes aus dem erfaßten Licht gewinnt; und
die Ausgabevorrichtung eine Projektionsvorrichtung umfaßt, die die Bildinformation auf die Netzhaut derart in Korrelation mit den erfaßten Signalen projiziert, daß ein natürlich wahrgenommenes Gesichtsfeld und die projizierten Bildinformationen von der Netzhaut als einheitliches Bild wahrgenommen werden.
12. System nach Anspruch 10 oder 11, wobei die besagte Abhängigkeit eine zeitliche oder räumliche Korrelation zwischen dem Zurverfügungstellen der Informationen und dem erfaßten Licht umfaßt.
13. System nach einem der Ansprüche 10 bis 12, wobei die besagte Abhängigkeit eine mindestens einen Informations­ schlüssel liefernde Musterkennung umfaßt, und die Informa­ tionsschlüssel einer durch die Informationsvorrichtung gestützten Informationsabfrage dienen.
14. System nach einem der vorhergehenden Ansprüche, wobei die Signalerfassungsvorrichtung eine scannende Vorrichtung umfaßt, die in einem ersten Scanvorgang eine mindestens partielle Erfassung des Netzhautreflexbildes aufnimmt und in einem späteren Scanvorgang eine weniger umfangreiche Erfassung des Netzhautreflexbildes vornimmt.
15. System nach einem der Ansprüche 10 bis 14, wobei die Signalerfassungsvorrichtung das Netzhautreflexbild nur teilweise oder gar nicht erfaßt.
16. System nach einem der Ansprüche 10 bis 14, wobei die Gesichtsfelderfassungsvorrichtung eine sphärisch oder sphärisch wirkende Reflektionsschicht aufweist, die ein Teil des auf das Auge gerichteten Lichts in eine Sensorvor­ richtung zur Erfassung ablenkt.
17. System nach einem der Ansprüche 10 bis 16, wobei die Gesichtsfelderfassungsvorrichtung und/oder die Signalerfas­ sungsvorrichtung das Hornhautreflexbild des Auges minde­ stens teilweise erfaßt.
18. System nach einem der Ansprüche 10 bis 17, wobei die Signalerfassungsvorrichtung und die Gesichtsfelderfassungs­ vorrichtung als tragbare Einheit ausgeführt sind.
19. System nach einem der Ansprüche 10 bis 18, wobei die Ausgabevorrichtung die Informationen taktil, visuell, hörbar, riechbar und/oder geschmacklich zur Verfügung stellt.
20. System nach einem der Ansprüche 10 bis 19, wobei die Informationsvorrichtung eine Datenbank, eine Sensorik, eine Informationsnetzanbindung und/oder eine Auswertevorrich­ tung.
DE10103922A 2001-01-30 2001-01-30 Interaktives Datensicht- und Bediensystem Withdrawn DE10103922A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE10103922A DE10103922A1 (de) 2001-01-30 2001-01-30 Interaktives Datensicht- und Bediensystem
US10/066,292 US7245273B2 (en) 2001-01-30 2002-01-30 Interactive data view and command system
JP2002022598A JP2002278670A (ja) 2001-01-30 2002-01-30 情報システム
US11/783,408 US7969383B2 (en) 2001-01-30 2007-04-09 Interactive data view and command system
US13/109,260 US8686923B2 (en) 2001-01-30 2011-05-17 Interactive data view and command system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10103922A DE10103922A1 (de) 2001-01-30 2001-01-30 Interaktives Datensicht- und Bediensystem

Publications (1)

Publication Number Publication Date
DE10103922A1 true DE10103922A1 (de) 2002-08-01

Family

ID=7672089

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10103922A Withdrawn DE10103922A1 (de) 2001-01-30 2001-01-30 Interaktives Datensicht- und Bediensystem

Country Status (3)

Country Link
US (3) US7245273B2 (de)
JP (1) JP2002278670A (de)
DE (1) DE10103922A1 (de)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10259123B3 (de) * 2002-12-18 2004-09-09 Dräger Safety AG & Co. KGaA Vorrichtung und Verfahren zur Überwachung des Einsatzes von Atemschutz-Geräteträgern
DE102004059166A1 (de) * 2004-12-08 2006-06-29 Siemens Ag Betriebsverfahren für eine Unterstützungseinrichtung für eine medizintechnische Anlage und hiermit korrespondierende Gegenstände
WO2006005094A3 (de) * 2004-07-13 2006-07-20 Ams Engineering Sticht Ges M B Einrichtung und verfahren zur handhabung von probenbehältern in einem labor
DE102005048398A1 (de) * 2005-10-10 2007-04-12 Sassin, Wolfgang, Dr. Assistenzsystem für den Fahrer eines Fahrzeugs, insbesondere eines Kraftfahrzeugs für den öffentlichen Straßenverkehr
US7274976B2 (en) 2002-02-28 2007-09-25 Oshkosh Truck Corporation Turret positioning system and method for a vehicle
US7302320B2 (en) 2001-12-21 2007-11-27 Oshkosh Truck Corporation Failure mode operation for an electric vehicle
US7412307B2 (en) 2002-08-02 2008-08-12 Oshkosh Truck Corporation Refuse vehicle control system and method
US7439711B2 (en) 2004-09-27 2008-10-21 Oshkosh Corporation Energy storage device including a status indicator
US7451028B2 (en) 2001-12-21 2008-11-11 Oshkosh Corporation Turret control system based on stored position for a fire fighting vehicle
US7522979B2 (en) 2000-02-09 2009-04-21 Oshkosh Corporation Equipment service vehicle having on-board diagnostic system
US7565139B2 (en) 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
DE102008009446A1 (de) 2008-02-15 2009-08-20 Volkswagen Ag Verfahren zur Prüfung eines komplexen Systems auf Abweichungen von Qualitätsvorgaben und/oder auf Fehlerhaftigkeit und Vorrichtung zur Unterstützung einer Prüfperson bei einer solchen Prüfung
DE102008027063A1 (de) * 2008-06-05 2010-01-07 Tsilpoglou, Vasileios Fahrrad-IR-Nachtsichtgerät
US7729831B2 (en) 1999-07-30 2010-06-01 Oshkosh Corporation Concrete placement vehicle control system and method
US7751805B2 (en) 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US7792618B2 (en) 2001-12-21 2010-09-07 Oshkosh Corporation Control system and method for a concrete vehicle
US7848857B2 (en) 2001-01-31 2010-12-07 Oshkosh Corporation System and method for braking in an electric vehicle
DE10313743B4 (de) * 2003-03-27 2011-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Fahrerinformationen
WO2011151803A3 (en) * 2010-06-03 2012-02-02 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi An electro-optical detector device
DE102012002393A1 (de) * 2012-02-08 2013-08-08 Andreas Hermann Kommunikationsbrille
US8549415B2 (en) 2007-05-04 2013-10-01 Apple Inc. Automatically adjusting media display in a personal display system
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
DE102013206739A1 (de) * 2013-04-16 2014-10-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bestimmung, ob ein Insasse eines Fahrzeugs relevante Objekte im Umfeld des Fahrzeugs bemerkt
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
DE102013021854A1 (de) 2013-12-21 2015-06-25 Audi Ag Sicht- und Bedienvorrichtung zur Durchführung eines Verfahrens zum Ermitteln eines Gefahrenpotentials in einem Fahrzeug
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US9645640B2 (en) 2013-12-21 2017-05-09 Audi Ag Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
US9845191B2 (en) 2013-08-02 2017-12-19 Oshkosh Corporation Ejector track for refuse vehicle
DE10357190B4 (de) * 2003-12-08 2020-06-18 Carl Zeiss Ag Anzeigevorrichtung und Anzeigeverfahren
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11806081B2 (en) 2021-04-02 2023-11-07 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US12236536B2 (en) 2020-08-17 2025-02-25 Russell Todd Nevins System and method for location determination using a mixed reality device and a 3D spatial mapping camera

Families Citing this family (399)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105740A1 (en) 2000-06-02 2012-05-03 Oakley, Inc. Eyewear with detachable adjustable electronics module
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US8218873B2 (en) 2000-11-06 2012-07-10 Nant Holdings Ip, Llc Object information derived from object images
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002065443A1 (en) * 2001-02-15 2002-08-22 Tveye Inc. Method and apparatus for low bandwidth transmission of data utilizing of the human eye anatomy
US7013009B2 (en) 2001-06-21 2006-03-14 Oakley, Inc. Eyeglasses with wireless communication features
US7959674B2 (en) * 2002-07-16 2011-06-14 Medtronic, Inc. Suture locking assembly and method of use
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
AU2003211555A1 (en) * 2002-08-29 2004-03-29 Kistem Co., Ltd Vision aid network server, vision aid network system, vision aid method, vision aid system, color sense function reporting system, program for reporting color sense function, method for reporting color sense function, color sense aid system, color sense aid program, and color sense aid method
FR2844083A1 (fr) * 2002-09-02 2004-03-05 Marc Didier Patrick Pettmann Robot mobile ou fixe de telesurveillance et de telemanipulation via internet, commandable par un terminal portable 3g:specifications et applications nouvelles
CN101317763B (zh) * 2002-10-15 2013-04-03 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
US8141159B2 (en) * 2002-12-31 2012-03-20 Portauthority Technologies Inc. Method and system for protecting confidential information
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8465151B2 (en) 2003-04-15 2013-06-18 Ipventure, Inc. Eyewear with multi-part temple for supporting one or more electrical components
US7500746B1 (en) 2004-04-15 2009-03-10 Ip Venture, Inc. Eyewear with radiation detection system
US8109629B2 (en) * 2003-10-09 2012-02-07 Ipventure, Inc. Eyewear supporting electrical components and apparatus therefor
US7922321B2 (en) 2003-10-09 2011-04-12 Ipventure, Inc. Eyewear supporting after-market electrical components
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7311723B2 (en) * 2003-07-11 2007-12-25 University Of Washington Scanning laser device and methods of use
US11033821B2 (en) 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
FI117217B (fi) * 2003-10-01 2006-07-31 Nokia Corp Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
US10345625B2 (en) 2003-10-09 2019-07-09 Ingeniospec, Llc Eyewear with touch-sensitive input surface
US11513371B2 (en) 2003-10-09 2022-11-29 Ingeniospec, Llc Eyewear with printed circuit board supporting messages
US10310296B2 (en) 2003-10-09 2019-06-04 Ingeniospec, Llc Eyewear with printed circuit board
US11630331B2 (en) 2003-10-09 2023-04-18 Ingeniospec, Llc Eyewear with touch-sensitive input surface
JP2005128301A (ja) * 2003-10-24 2005-05-19 Shimadzu Corp 頭部装着型表示システム
WO2005055189A1 (en) * 2003-12-01 2005-06-16 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
NZ529890A (en) * 2003-12-02 2004-02-27 Michael Andrew Buck Mobile geographical information display system
EP1709519B1 (de) * 2003-12-31 2014-03-05 ABB Research Ltd. Virtuelle steuertafel
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
WO2005081914A2 (en) * 2004-02-22 2005-09-09 Doheny Eye Institute Methods and systems for enhanced medical procedure visualization
US10039445B1 (en) * 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4838499B2 (ja) 2004-05-21 2011-12-14 オリンパス株式会社 ユーザ支援装置
US11644693B2 (en) 2004-07-28 2023-05-09 Ingeniospec, Llc Wearable audio system supporting enhanced hearing support
US11829518B1 (en) 2004-07-28 2023-11-28 Ingeniospec, Llc Head-worn device with connection region
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US11852901B2 (en) 2004-10-12 2023-12-26 Ingeniospec, Llc Wireless headset supporting messages and hearing enhancement
US8778022B2 (en) 2004-11-02 2014-07-15 E-Vision Smart Optics Inc. Electro-active intraocular lenses
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
EP1889113B1 (de) * 2005-05-30 2013-05-01 Durner, Andreas System mit elektronischer tag- und nachtsichtbrille
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
CN101243392A (zh) * 2005-08-15 2008-08-13 皇家飞利浦电子股份有限公司 用于终端用户编程的增强现实眼镜的系统、设备和方法
US20070081123A1 (en) * 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US20080082363A1 (en) * 2005-10-07 2008-04-03 Nader Habashi On-line healthcare consultation services system and method of using same
US9658473B2 (en) * 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US12044901B2 (en) 2005-10-11 2024-07-23 Ingeniospec, Llc System for charging embedded battery in wireless head-worn personal electronic apparatus
US11733549B2 (en) 2005-10-11 2023-08-22 Ingeniospec, Llc Eyewear having removable temples that support electrical components
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8956396B1 (en) * 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
WO2007070508A2 (en) 2005-12-13 2007-06-21 Marcio Marc Abreu Biologically fit wearable electronics apparatus and methods
US7810750B2 (en) 2006-12-13 2010-10-12 Marcio Marc Abreu Biologically fit wearable electronics apparatus and methods
US7917286B2 (en) 2005-12-16 2011-03-29 Google Inc. Database assisted OCR for street scenes and other images
US8200416B2 (en) * 2005-12-22 2012-06-12 The Boeing Company Methods and systems for controlling display of en-route maps
BRPI0706349A2 (pt) * 2006-01-06 2011-03-22 Marcio Marc Abreu aparelho eletrÈnico usável de ajuste biológico e métodos
EP1999741A4 (de) * 2006-03-30 2014-09-03 Arjuna Indraeswaran Rajasingham Virtuelle und reelle navigationssysteme
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US7920071B2 (en) * 2006-05-26 2011-04-05 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method providing status and control of unmanned vehicles
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US20080058681A1 (en) * 2006-08-30 2008-03-06 Casali Henry Eloy S Portable system for monitoring the position of a patient's head during videonystagmography tests (VNG) or electronystagmography (ENG)
DE102006041952B3 (de) * 2006-08-30 2008-04-30 Schmücker, Hartmut, Dr. Multifunktionales Kommunikationssystem am Kopf-Sicherheitsgurt
WO2008035612A1 (fr) * 2006-09-19 2008-03-27 Nikon Corporation Dispositif de sortie et écran pouvant être porté
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US10908421B2 (en) 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US9891435B2 (en) 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US7654716B1 (en) * 2006-11-10 2010-02-02 Doheny Eye Institute Enhanced visualization illumination system
WO2008076774A2 (en) 2006-12-14 2008-06-26 Oakley, Inc. Wearable high resolution audio visual interface
DE102006060045A1 (de) 2006-12-19 2008-06-26 Imi Intelligent Medical Implants Ag Sehhilfe mit dreidimensionaler Bilderfassung
US9104195B2 (en) 2006-12-20 2015-08-11 Lincoln Global, Inc. Welding job sequencer
US9937577B2 (en) 2006-12-20 2018-04-10 Lincoln Global, Inc. System for a welding sequencer
US10994358B2 (en) 2006-12-20 2021-05-04 Lincoln Global, Inc. System and method for creating or modifying a welding sequence based on non-real world weld data
US9217868B2 (en) * 2007-01-12 2015-12-22 Kopin Corporation Monocular display device
WO2008140630A2 (en) * 2007-01-12 2008-11-20 Kopin Corporation Monocular head-mounted display device being convertible from right to left eye display
WO2008106590A2 (en) * 2007-02-28 2008-09-04 Doheny Eye Institute Portable handheld illumination system
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
EP3515063A1 (de) * 2007-04-02 2019-07-24 Esight Corp. Verfahren zur sehverstärkung
CA2685947A1 (en) 2007-05-14 2008-11-27 Kopin Corporation Mobile wireless display for accessing data from a host and method for controlling
WO2009009690A2 (en) * 2007-07-10 2009-01-15 University Of Florida Research Foundation, Inc. Wavelength division sensing method and apparatus for doppler radar vital sign monitoring and mechanical vibration monitoring
US8721554B2 (en) 2007-07-12 2014-05-13 University Of Florida Research Foundation, Inc. Random body movement cancellation for non-contact vital sign detection
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US20090088822A1 (en) * 2007-09-27 2009-04-02 Led Healing Light, Llc Therapeutic pulse laser methods and apparatus
US8825200B2 (en) * 2007-11-07 2014-09-02 Siemens Industry, Inc. Method and system for tracking of items
US9013505B1 (en) 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
US8224020B2 (en) * 2007-11-29 2012-07-17 Kabushiki Kaisha Toshiba Appearance inspection apparatus, appearance inspection system, and appearance inspection appearance
JP4480755B2 (ja) * 2007-12-04 2010-06-16 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US20100253525A1 (en) * 2007-12-20 2010-10-07 Honeywell International Inc. Systems and methods for human performance augmentation
DE102007062341B3 (de) * 2007-12-22 2009-07-30 Metso Lindemann Gmbh Aufstromsichter
WO2009120984A1 (en) 2008-03-28 2009-10-01 Kopin Corporation Handheld wireless display device having high-resolution display suitable for use as a mobile internet device
US8355671B2 (en) 2008-01-04 2013-01-15 Kopin Corporation Method and apparatus for transporting video signal over Bluetooth wireless interface
US8290638B2 (en) * 2008-02-04 2012-10-16 Lockheed Martin Corporation Apparatus, program product, and methods for updating data on embedded control systems
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8437858B2 (en) 2008-03-18 2013-05-07 Imi Intelligent Medical Implants, Ag Visual prosthesis system for displaying video image and text data
WO2009128781A1 (en) * 2008-04-17 2009-10-22 Lundgren & Nordstrand Ab A method and a device for remote visualization
CA2720883A1 (en) * 2008-05-29 2009-12-03 Tomtom International B.V. A navigation device and method for altering map information related to audible information
US9483959B2 (en) 2008-08-21 2016-11-01 Lincoln Global, Inc. Welding simulator
US9196169B2 (en) 2008-08-21 2015-11-24 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US9280913B2 (en) 2009-07-10 2016-03-08 Lincoln Global, Inc. Systems and methods providing enhanced education and training in a virtual reality environment
US8851896B2 (en) 2008-08-21 2014-10-07 Lincoln Global, Inc. Virtual reality GTAW and pipe welding simulator and setup
US20100053069A1 (en) * 2008-08-26 2010-03-04 Symbol Technologies, Inc. Mobile computing system facilitating adaptive display of content among a plurality of display components including at least one virtual image display component
JP5293025B2 (ja) 2008-09-11 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010032399A1 (ja) * 2008-09-18 2010-03-25 パナソニック株式会社 立体視映像再生装置、及び立体視映像表示装置
JP5229327B2 (ja) * 2008-09-26 2013-07-03 コニカミノルタアドバンストレイヤー株式会社 映像表示装置、ヘッドマウントディスプレイおよびヘッドアップディスプレイ
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US8274013B2 (en) 2009-03-09 2012-09-25 Lincoln Global, Inc. System for tracking and analyzing welding activity
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
DE102009021026A1 (de) * 2009-05-13 2010-11-18 Siemens Aktiengesellschaft Positionsbestimmung von Body-Matrix-Spulen in MR-Anlagen
US20100302176A1 (en) * 2009-05-29 2010-12-02 Nokia Corporation Zoom-in functionality
US9773429B2 (en) 2009-07-08 2017-09-26 Lincoln Global, Inc. System and method for manual welder training
US9011154B2 (en) 2009-07-10 2015-04-21 Lincoln Global, Inc. Virtual welding system
US10748447B2 (en) 2013-05-24 2020-08-18 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding
US9728006B2 (en) 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
GB0913911D0 (en) 2009-08-10 2009-09-16 Optos Plc Improvements in or relating to laser scanning systems
US8310523B2 (en) * 2009-08-27 2012-11-13 Sony Corporation Plug-in to enable CAD software not having greater than 180 degree capability to present image from camera of more than 180 degrees
US8031560B1 (en) * 2009-09-17 2011-10-04 Kenneth Washington Open eyes alarm clock
AU2010302959B2 (en) * 2009-09-30 2015-11-12 National Ict Australia Limited Object tracking for artificial vision
US8569655B2 (en) 2009-10-13 2013-10-29 Lincoln Global, Inc. Welding helmet with integral user interface
US9468988B2 (en) 2009-11-13 2016-10-18 Lincoln Global, Inc. Systems, methods, and apparatuses for monitoring weld quality
CA3043204C (en) * 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
US8189964B2 (en) 2009-12-07 2012-05-29 Google Inc. Matching an approximately located query image against a reference image set
US8774527B1 (en) 2009-12-07 2014-07-08 Google Inc. Matching an approximately located query image against a reference image set using cellular base station and wireless access point information
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US20110157322A1 (en) 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
WO2011097564A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
KR20150008840A (ko) 2010-02-24 2015-01-23 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20120194550A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Sensor-based command and control of external devices with feedback from the external device to the ar glasses
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
JPWO2011111122A1 (ja) * 2010-03-12 2013-06-27 富士通株式会社 取付作業支援装置、方法、及びプログラム
ITBA20100021A1 (it) * 2010-04-20 2011-10-21 Alessia Fratta Modello speciale di occhiali avente per modalità d'uso la gestione e fruizione, in loco, della ricostruzione digitale di un parco o di un area archeologica.
EP2662057B1 (de) 2010-05-13 2018-10-17 Doheny Eye Institute Selbstständige Systeme mit beleuchteter Infusionskanüle
US8479009B2 (en) * 2010-09-17 2013-07-02 International Business Machines Corporation Wearable time-bracketed video authentication
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
WO2012040086A1 (en) 2010-09-20 2012-03-29 Kopin Corporation Miniature communications gateway for head mounted display
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US8736516B2 (en) 2010-09-20 2014-05-27 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
US8862186B2 (en) 2010-09-21 2014-10-14 Kopin Corporation Lapel microphone micro-display system incorporating mobile information access system
US9057874B2 (en) * 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
GB201100555D0 (en) * 2011-01-13 2011-03-02 Optos Plc Improvements in or relating to Ophthalmology
EP2499960B1 (de) * 2011-03-18 2015-04-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren zur Bestimmung von mindestens einem Parameter aus zwei Augen durch Einstellen der Datenraten und optische Messvorrichtung
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
EP2712432A4 (de) 2011-05-10 2014-10-29 Kopin Corp Headset-computer mit bewegungs- und sprachbefehlen zur steuerung einer informationsanzeige und entfernter vorrichtungen
US9509924B2 (en) * 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
JP5892360B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 ロボット指示装置、ロボット指示方法、プログラム、及び通信システム
US9405135B2 (en) 2011-09-15 2016-08-02 Ipventure, Inc. Shutter eyewear
US10624790B2 (en) 2011-09-15 2020-04-21 Ipventure, Inc. Electronic eyewear therapy
US9383579B2 (en) 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
US20150199081A1 (en) * 2011-11-08 2015-07-16 Google Inc. Re-centering a user interface
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
EP2783340A4 (de) 2011-11-21 2015-03-25 Nant Holdings Ip Llc Subskriptionsrechnungsdienst sowie systeme und verfahren dafür
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9183807B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
CN107665042B (zh) * 2012-03-26 2021-05-07 苹果公司 增强的虚拟触摸板和触摸屏
US9072465B2 (en) * 2012-04-03 2015-07-07 Johnson & Johnson Vision Care, Inc. Blink detection system for electronic ophthalmic lens
AR086047A1 (es) * 2012-04-24 2013-11-13 Sergio Martin Carabajal Anteojo con computadora incorporada
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US9378028B2 (en) 2012-05-31 2016-06-28 Kopin Corporation Headset computer (HSC) with docking station and dual personality
US9398844B2 (en) * 2012-06-18 2016-07-26 Microsoft Technology Licensing, Llc Color vision deficit correction
US20160093233A1 (en) 2012-07-06 2016-03-31 Lincoln Global, Inc. System for characterizing manual welding operations on pipe and other curved structures
US9767712B2 (en) 2012-07-10 2017-09-19 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
JP6069946B2 (ja) * 2012-08-17 2017-02-01 セイコーエプソン株式会社 画像表示装置および頭部装着型画像表示装置
US9998687B2 (en) 2012-09-12 2018-06-12 Bae Systems Information And Electronic Systems Integration Inc. Face mounted extreme environment thermal sensor system
USD713406S1 (en) 2012-11-30 2014-09-16 Kopin Corporation Headset computer with reversible display
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
WO2014089542A1 (en) 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
US9160064B2 (en) 2012-12-28 2015-10-13 Kopin Corporation Spatially diverse antennas for a headset computer
US9134793B2 (en) 2013-01-04 2015-09-15 Kopin Corporation Headset computer with head tracking input used for inertial control
US9620144B2 (en) 2013-01-04 2017-04-11 Kopin Corporation Confirmation of speech commands for control of headset computers
CN105027588B (zh) 2013-01-04 2019-08-06 寇平公司 自组织网络
US10359841B2 (en) 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US9208583B2 (en) * 2013-02-13 2015-12-08 Blackberry Limited Device with enhanced augmented reality functionality
EP2770783B1 (de) 2013-02-21 2018-06-20 Apple Inc. Tragbares Informationssystem mit mindestens einer Kamera
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
USD720632S1 (en) 2013-03-15 2015-01-06 Bae Systems Information And Electronic Systems Integration Inc. Thermal sensor
USD702831S1 (en) 2013-03-15 2014-04-15 Bae Systems Information And Electronic Systems Integration Inc. Gas mask with thermal sensor
USD700962S1 (en) 2013-03-15 2014-03-11 Bae Systems Information And Electronic Systems Integration Inc. Gas mask with thermal sensor
USD704328S1 (en) 2013-03-15 2014-05-06 Bae Systems Information And Electronic Systems Integration Inc. Gas mask with thermal sensor
USD706414S1 (en) 2013-03-15 2014-06-03 Bae Systems Information And Electronic Systems Integration Inc. Gas mask with thermal sensor
EP2973533A4 (de) 2013-03-15 2016-11-30 Oakley Inc Elektronische dekoration für brillen
USD700928S1 (en) 2013-03-15 2014-03-11 Bae Systems Information And Electronic Systems Integration Inc. Goggles and thermal sensor
USD704327S1 (en) 2013-03-15 2014-05-06 Bae Systems Information And Electronic Systems Integration Inc. Gas mask with thermal sensor
US10042186B2 (en) 2013-03-15 2018-08-07 Ipventure, Inc. Electronic eyewear and display
USD737955S1 (en) 2013-03-15 2015-09-01 Bae Systems Information And Electronic Systems Integration Inc. Gas mask with thermal sensor
CN105247861B (zh) 2013-03-22 2017-11-10 精工爱普生株式会社 红外视频显示眼镜
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
USD724614S1 (en) 2013-03-29 2015-03-17 Qmotion Incorporated Portion of a display screen with a graphical user interface
US10930174B2 (en) 2013-05-24 2021-02-23 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding
WO2014201213A1 (en) 2013-06-12 2014-12-18 Oakley, Inc. Modular heads-up display system
AT14754U3 (de) * 2013-06-18 2016-10-15 Kolotov Alexandr Alexandrovich Helm für Motorradfahrer und Menschen, die Extrem-Aktivitäten betreiben
EP3013042A4 (de) * 2013-06-19 2016-08-17 Panasonic Ip Man Co Ltd Bildanzeigevorrichtung und bildanzeigeverfahren
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
US20150033266A1 (en) * 2013-07-24 2015-01-29 United Video Properties, Inc. Methods and systems for media guidance applications configured to monitor brain activity in different regions of a brain
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
USD737852S1 (en) * 2013-08-27 2015-09-01 W.W. Grainger, Inc. Display screen or portion thereof with graphical user interface for entering an order quantity
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) * 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US20150072323A1 (en) 2013-09-11 2015-03-12 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
US11327302B2 (en) 2013-09-18 2022-05-10 Beth Holst Secure capture and transfer of image and audio data
US10008124B1 (en) 2013-09-18 2018-06-26 Beth Holst Method and system for providing secure remote testing
US10908417B2 (en) * 2013-09-19 2021-02-02 Magna Electronics Inc. Vehicle vision system with virtual retinal display
KR101685430B1 (ko) * 2013-10-07 2016-12-14 한국과학기술연구원 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10083627B2 (en) 2013-11-05 2018-09-25 Lincoln Global, Inc. Virtual reality and real welding training system and method
US9949637B1 (en) 2013-11-25 2018-04-24 Verily Life Sciences Llc Fluorescent imaging on a head-mountable device
ITPD20130331A1 (it) * 2013-12-05 2015-06-06 Claudio Tiso Dispositivo di visualizzazione e controllo per biciclette
CA2936233A1 (en) 2014-01-10 2015-07-16 Marcio Marc Abreu Wearable electronic device
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9448409B2 (en) * 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
DE102014000803B4 (de) * 2014-01-22 2019-05-09 Audi Ag Fahrzeug, Anzeigesystem und Verfahren zum Anzeigen einer verkehrsrelevanten Information
US9211064B2 (en) 2014-02-11 2015-12-15 Welch Allyn, Inc. Fundus imaging system
US9237847B2 (en) 2014-02-11 2016-01-19 Welch Allyn, Inc. Ophthalmoscope device
US20150235538A1 (en) * 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
USD737821S1 (en) * 2014-03-04 2015-09-01 Samsung Electronics Co., Ltd. Electronic device
FR3019317B1 (fr) * 2014-03-26 2016-05-27 Univ Pierre Et Marie Curie Paris 6 Dispositif de visualisation d'une sequence d'images et systeme de visualisation d'une scene
US10368802B2 (en) 2014-03-31 2019-08-06 Rovi Guides, Inc. Methods and systems for selecting media guidance applications based on a position of a brain monitoring user device
US10802582B1 (en) * 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
EP3140719B1 (de) 2014-05-09 2021-07-07 Google LLC Systeme und verfahren für augensignale auf biomechanischer basis zur interaktion mit echten und virtuellen objekten
US9531708B2 (en) 2014-05-30 2016-12-27 Rovi Guides, Inc. Systems and methods for using wearable technology for biometric-based recommendations
EP3111440A1 (de) 2014-06-02 2017-01-04 Lincoln Global, Inc. Trainingssystem und -verfahren für manuelle schweissvorrichtung
US10283007B2 (en) 2014-06-16 2019-05-07 Honda Motor Co., Ltd. Training system and method for motorcycle riding
JP6344084B2 (ja) * 2014-06-20 2018-06-20 オムロン株式会社 ロボット操作用の作業者端末
KR20160026143A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 통신 기능 제어 방법 및 이를 지원하는 전자 장치
US11051702B2 (en) 2014-10-08 2021-07-06 University Of Florida Research Foundation, Inc. Method and apparatus for non-contact fast vital sign acquisition based on radar signal
US9746913B2 (en) 2014-10-31 2017-08-29 The United States Of America As Represented By The Secretary Of The Navy Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
US9720233B2 (en) * 2014-11-07 2017-08-01 Honeywell International Inc. Compact proximity display utilizing image transfer
US11372479B2 (en) 2014-11-10 2022-06-28 Irisvision, Inc. Multi-modal vision enhancement system
US11546527B2 (en) 2018-07-05 2023-01-03 Irisvision, Inc. Methods and apparatuses for compensating for retinitis pigmentosa
US12504810B2 (en) 2014-11-10 2025-12-23 Irisvision, Inc. Method and system for remote clinician management of head-mounted vision assist devices
US11144119B2 (en) 2015-05-01 2021-10-12 Irisvision, Inc. Methods and systems for generating a magnification region in output video images
EP3218850A4 (de) 2014-11-10 2018-06-27 Visionize LLC Verfahren und vorrichtung zur sichterweiterung
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、系统、终端设备及穿戴式设备
WO2016090377A1 (en) * 2014-12-05 2016-06-09 Dykes Jeffrey L Directional indicator for protective face masks
CN104503107A (zh) * 2014-12-17 2015-04-08 河南智金电子科技有限公司 一种可拆卸的色盲眼镜装置
US9591022B2 (en) 2014-12-17 2017-03-07 The Boeing Company Computer defenses and counterattacks
US20160189341A1 (en) * 2014-12-29 2016-06-30 Sling Media Pvt Ltd Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear
US10108832B2 (en) * 2014-12-30 2018-10-23 Hand Held Products, Inc. Augmented reality vision barcode scanning system and method
US10247941B2 (en) 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
WO2016118643A1 (en) * 2015-01-21 2016-07-28 Tesseland Llc Display device with total internal reflection
ES2898471T3 (es) * 2015-02-24 2022-03-07 Aspire Zone Found Artilugio de cabeza protector que comprende un aparato de control de temperatura
US10799115B2 (en) 2015-02-27 2020-10-13 Welch Allyn, Inc. Through focus retinal image capturing
US11045088B2 (en) 2015-02-27 2021-06-29 Welch Allyn, Inc. Through focus retinal image capturing
US10142596B2 (en) 2015-02-27 2018-11-27 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus of secured interactive remote maintenance assist
US9880551B2 (en) * 2015-03-06 2018-01-30 Robotic Research, Llc Point-and-click control of unmanned, autonomous vehicle using omni-directional visors
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20160331592A1 (en) * 2015-05-11 2016-11-17 Lincoln Global, Inc. Interactive helmet with display of welding parameters
US9833200B2 (en) 2015-05-14 2017-12-05 University Of Florida Research Foundation, Inc. Low IF architectures for noncontact vital sign detection
US10365487B1 (en) * 2015-06-23 2019-07-30 Rockwell Collins, Inc. Night sky spatial orientation using color and surface fusion
US10136804B2 (en) 2015-07-24 2018-11-27 Welch Allyn, Inc. Automatic fundus image capture system
CN106470332A (zh) * 2015-08-19 2017-03-01 深圳富泰宏精密工业有限公司 监视系统及具有该监视系统的可穿戴装置
US10506165B2 (en) 2015-10-29 2019-12-10 Welch Allyn, Inc. Concussion screening system
US10772495B2 (en) 2015-11-02 2020-09-15 Welch Allyn, Inc. Retinal image capturing
US9864194B2 (en) * 2015-11-24 2018-01-09 Honeywell International Inc. Systems and methods for displaying FOV boundaries on HUDs
US10558043B2 (en) * 2015-12-02 2020-02-11 Rockwell Collins, Inc. Worn display using a peripheral view
JP6563798B2 (ja) * 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
EP3394663B1 (de) * 2015-12-22 2022-12-07 e-Vision Smart Optics, Inc. Kopfmontierte anzeige mit dynamische fokussierung
WO2017120217A1 (en) 2016-01-07 2017-07-13 Welch Allyn, Inc. Infrared fundus imaging system
KR20180104056A (ko) 2016-01-22 2018-09-19 코닝 인코포레이티드 와이드 필드 개인 디스플레이
JP6410987B2 (ja) * 2016-02-25 2018-10-24 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
JP6344417B2 (ja) * 2016-03-18 2018-06-20 トヨタ自動車株式会社 車両用表示装置
NL2016539B1 (nl) * 2016-04-04 2017-10-10 Chrono Eyewear B V Bril voorzien van een lichtbron, systeem omvattende een dergelijke bril alsmede brillendoos voor een dergelijke bril.
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
JP6210343B2 (ja) * 2016-04-13 2017-10-11 セイコーエプソン株式会社 虚像表示装置
US10010247B2 (en) 2016-04-26 2018-07-03 Optos Plc Retinal image processing
US9978140B2 (en) 2016-04-26 2018-05-22 Optos Plc Retinal image processing
JP6255524B2 (ja) * 2016-06-09 2017-12-27 株式会社Qdレーザ 画像投影システム、画像投影装置、画像投影方法、画像投影プログラム及びサーバ装置
WO2018057660A2 (en) 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
US10602926B2 (en) 2016-09-29 2020-03-31 Welch Allyn, Inc. Through focus retinal image capturing
US10285589B2 (en) 2016-09-30 2019-05-14 Welch Allyn, Inc. Fundus image capture system
EP3319066A1 (de) 2016-11-04 2018-05-09 Lincoln Global, Inc. Magnetische frequenzwahl für elektromagnetische positionsverfolgung
US10913125B2 (en) 2016-11-07 2021-02-09 Lincoln Global, Inc. Welding system providing visual and audio cues to a welding helmet with a display
US10878591B2 (en) 2016-11-07 2020-12-29 Lincoln Global, Inc. Welding trainer utilizing a head up display to display simulated and real-world objects
JP7274724B2 (ja) * 2016-12-31 2023-05-17 ルムス エルティーディー. 導光光学素子を介したレチナールイメージングに基づく目の追跡具
CN110431467B (zh) 2017-01-28 2025-10-28 鲁姆斯有限公司 增强现实成像系统
IL252582A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd A method and system for registration between the outside world and a virtual image
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US11122256B1 (en) 2017-08-07 2021-09-14 Apple Inc. Mixed reality system
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US10656706B2 (en) * 2017-12-04 2020-05-19 International Business Machines Corporation Modifying a computer-based interaction based on eye gaze
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US11380018B2 (en) 2017-12-19 2022-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
JP2019120979A (ja) * 2017-12-28 2019-07-22 Dynabook株式会社 電子機器
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
CN112534467A (zh) 2018-02-13 2021-03-19 弗兰克.沃布林 对比度敏感度补偿的方法和装置
US10481403B2 (en) * 2018-02-15 2019-11-19 Tectus Corporation Contact lens with retinal camera
WO2019159141A1 (en) * 2018-02-19 2019-08-22 Abraham Reichert Safety eyewear
US10777048B2 (en) 2018-04-12 2020-09-15 Ipventure, Inc. Methods and apparatus regarding electronic eyewear applicable for seniors
US11475792B2 (en) 2018-04-19 2022-10-18 Lincoln Global, Inc. Welding simulator with dual-user configuration
US11557223B2 (en) 2018-04-19 2023-01-17 Lincoln Global, Inc. Modular and reconfigurable chassis for simulated welding training
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US11096574B2 (en) 2018-05-24 2021-08-24 Welch Allyn, Inc. Retinal image capturing
US10955677B1 (en) 2018-08-06 2021-03-23 Apple Inc. Scene camera
DE102018123489A1 (de) * 2018-09-24 2020-03-26 Rheinmetall Electronics Gmbh Anordnung mit einer Mehrzahl von tragbaren elektronischen Geräten für eine Gruppe von Einsatzkräften und Verfahren zum Betreiben einer solchen Anordnung
WO2020092271A1 (en) * 2018-10-29 2020-05-07 Holosports Corporation Racing helmet with visual and audible information exchange
CN109671267A (zh) * 2018-11-26 2019-04-23 王星雨 一种智能色盲驾驶辅助穿戴设备的电路系统
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11740460B2 (en) * 2018-11-29 2023-08-29 Apple Inc. Optical systems with multi-layer holographic combiners
EP4360489A3 (de) 2018-12-20 2024-07-03 NS West Inc. Helm mit einer head-up-anzeige
US11112865B1 (en) * 2019-02-13 2021-09-07 Facebook Technologies, Llc Systems and methods for using a display as an illumination source for eye tracking
WO2020192941A1 (en) * 2019-03-28 2020-10-01 Pixium Vision Sa System for projecting a pattern of interest onto a retinal area of a human eye
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
KR102808965B1 (ko) * 2019-08-09 2025-05-20 엘지전자 주식회사 전자 디바이스
KR102570187B1 (ko) * 2019-09-30 2023-08-25 주식회사 엘지화학 헤드 마운티드 디스플레이
EP3799778A1 (de) * 2019-10-03 2021-04-07 Nokia Technologies Oy Warnmeldungen basierend auf hornhautreflexionen
JP2021089351A (ja) * 2019-12-03 2021-06-10 キヤノン株式会社 頭部装着システム及び情報処理装置
US11061526B2 (en) 2019-12-09 2021-07-13 Motorola Solutions, Inc. Incident card system
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
CA3210569A1 (en) * 2021-03-29 2022-10-06 Patrick Terry Stereoscopic imaging platform with continuous autofocusing mode
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
US12475662B2 (en) 2021-08-18 2025-11-18 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
EP4511809A1 (de) 2022-04-21 2025-02-26 Augmedics Ltd. Systeme und verfahren zur visualisierung medizinischer bilder
IL319523A (en) 2022-09-13 2025-05-01 Augmedics Ltd Augmented reality glasses for image-guided medical intervention

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0438362B1 (de) * 1990-01-19 1995-09-27 Sony Corporation Wiedergabeeinrichtung in Brillenform zur direkten Wiedergabe auf der Netzhaut
DE4326760C2 (de) * 1993-08-10 1996-09-12 Johannes Braeuning Vorrichtung zur Prüfung zentraler Sehfunktionen
DE19620658C1 (de) * 1996-05-22 1997-07-17 Mannesmann Ag Anzeigeeinrichtung, die am Kopf tragbar ist
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
US5912720A (en) * 1997-02-13 1999-06-15 The Trustees Of The University Of Pennsylvania Technique for creating an ophthalmic augmented reality environment
DE19502337C2 (de) * 1993-08-10 1999-06-17 Johannes Braeuning Vorrichtung und Verfahren zur Prüfung von Sehfunktionen
WO2000052536A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Bedien- und beobachtungssystem mit augmented reality-techniken
WO2000058799A1 (de) * 1999-03-25 2000-10-05 Siemens Aktiengesellschaft System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4213678A (en) 1977-09-29 1980-07-22 Retina Foundation Scanning ophthalmoscope for examining the fundus of the eye
FR2555039B1 (fr) 1983-11-21 1986-04-04 Centre Nat Rech Scient Ophtalmoscope catadioptrique a balayage
DD238915A1 (de) 1985-07-01 1986-09-10 Zeiss Jena Veb Carl Anordnung zur pruefung des refraktionszustandes des menschlichen auges
DE3638226A1 (de) 1986-11-08 1988-05-11 Rodenstock Instr Vorrichtung zur beobachtung der hinteren augenabschnitte
DE3607721A1 (de) 1986-03-08 1987-09-10 Rodenstock Instr Vorrichtung zur laserbehandlung des auges
US5177511A (en) 1986-11-08 1993-01-05 G. Rodenstock Instruments Gmbh Apparatus for producing images of an object and in particular for observing the rear portions of the eye
US4758080A (en) 1986-12-18 1988-07-19 Cornell Research Foundation, Inc. Pointspread retinoscope
US4991953A (en) 1989-02-09 1991-02-12 Eye Research Institute Of Retina Foundation Scanning laser vitreous camera
JP3000621B2 (ja) 1990-05-17 2000-01-17 ソニー株式会社 視覚補助装置
EP0473343B1 (de) 1990-08-20 1995-11-22 Sony Corporation Direktsicht-Bildwiedergabeapparat
US5331149A (en) * 1990-12-31 1994-07-19 Kopin Corporation Eye tracking system having an array of photodetectors aligned respectively with an array of pixels
CA2060406C (en) 1991-04-22 1998-12-01 Bruce Edward Hamilton Helicopter virtual image display system incorporating structural outlines
JPH05155291A (ja) * 1991-12-03 1993-06-22 Mitsubishi Electric Corp 車両用警報装置
DK0725939T3 (da) 1992-03-13 1999-11-15 Kopin Corp Skærmsystem til anbringelse på hovedet
EP0562742A1 (de) 1992-03-25 1993-09-29 Motorola, Inc. Direkte Abtastbildwiedergabe auf der Netzhaut
US5467104A (en) 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP2988178B2 (ja) * 1993-03-11 1999-12-06 日産自動車株式会社 視線方向計測装置
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
US7310072B2 (en) * 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
US5815126A (en) * 1993-10-22 1998-09-29 Kopin Corporation Monocular portable communication and display system
JPH07135623A (ja) * 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP3309615B2 (ja) 1994-12-21 2002-07-29 キヤノン株式会社 画像観察装置及びこれを用いた両眼画像観察装置
US5748264A (en) 1995-01-10 1998-05-05 Hughes Electronics Distortion Corrected display
US5644642A (en) 1995-04-03 1997-07-01 Carl Zeiss, Inc. Gaze tracking using optical coherence tomography
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US5838262A (en) * 1996-12-19 1998-11-17 Sikorsky Aircraft Corporation Aircraft virtual image display system and method for providing a real-time perspective threat coverage display
FR2762688B1 (fr) 1997-04-29 1999-07-16 Sextant Avionique Systeme optique combinant une presentation d'image et une analyse de l'oeil
US6523955B1 (en) * 1997-07-07 2003-02-25 Heinrich A. Eberl Method for improving optic perceptive faculty by modifying the retinal image
DE19730564A1 (de) 1997-07-17 1999-02-11 Daimler Benz Ag Verwendung eines holographischen Bildschirmes als Teil eines Beleuchtungssystems
JP3052286B2 (ja) * 1997-08-28 2000-06-12 防衛庁技術研究本部長 飛行システムおよび航空機用擬似視界形成装置
US5982555A (en) 1998-01-20 1999-11-09 University Of Washington Virtual retinal display with eye tracking
EP1056611A1 (de) 1998-02-20 2000-12-06 DaimlerChrysler AG Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
US6113243A (en) * 1998-06-19 2000-09-05 Saul; James D. Driver information lights
US6456261B1 (en) * 1998-11-23 2002-09-24 Evan Y. W. Zhang Head/helmet mounted passive and active infrared imaging system with/without parallax
DE60032979T8 (de) * 1999-09-06 2007-09-06 Honda Giken Kogyo K.K. Funksystem eines Fahrzeuges
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
CA2561287C (en) * 2004-04-01 2017-07-11 William C. Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0438362B1 (de) * 1990-01-19 1995-09-27 Sony Corporation Wiedergabeeinrichtung in Brillenform zur direkten Wiedergabe auf der Netzhaut
DE4326760C2 (de) * 1993-08-10 1996-09-12 Johannes Braeuning Vorrichtung zur Prüfung zentraler Sehfunktionen
DE19502337C2 (de) * 1993-08-10 1999-06-17 Johannes Braeuning Vorrichtung und Verfahren zur Prüfung von Sehfunktionen
DE19620658C1 (de) * 1996-05-22 1997-07-17 Mannesmann Ag Anzeigeeinrichtung, die am Kopf tragbar ist
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
US5912720A (en) * 1997-02-13 1999-06-15 The Trustees Of The University Of Pennsylvania Technique for creating an ophthalmic augmented reality environment
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
WO2000052536A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Bedien- und beobachtungssystem mit augmented reality-techniken
WO2000052540A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented-reality-system mit einsatz mobiler geräte
WO2000052538A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented-reality-system mit sprachbasierter erfassung von informationsdaten, insbesondere von serviceberichten
WO2000058799A1 (de) * 1999-03-25 2000-10-05 Siemens Aktiengesellschaft System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PEASE,Arthur F.: Realer als die Wirklichkeit. In: Forschung und Innovation II/99, S.6-11 *

Cited By (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729831B2 (en) 1999-07-30 2010-06-01 Oshkosh Corporation Concrete placement vehicle control system and method
US7715962B2 (en) 1999-07-30 2010-05-11 Oshkosh Corporation Control system and method for an equipment service vehicle
US7522979B2 (en) 2000-02-09 2009-04-21 Oshkosh Corporation Equipment service vehicle having on-board diagnostic system
US7848857B2 (en) 2001-01-31 2010-12-07 Oshkosh Corporation System and method for braking in an electric vehicle
US7451028B2 (en) 2001-12-21 2008-11-11 Oshkosh Corporation Turret control system based on stored position for a fire fighting vehicle
US8000850B2 (en) 2001-12-21 2011-08-16 Oshkosh Truck Corporation Failure mode operation for an electric vehicle
US7792618B2 (en) 2001-12-21 2010-09-07 Oshkosh Corporation Control system and method for a concrete vehicle
US7302320B2 (en) 2001-12-21 2007-11-27 Oshkosh Truck Corporation Failure mode operation for an electric vehicle
US7274976B2 (en) 2002-02-28 2007-09-25 Oshkosh Truck Corporation Turret positioning system and method for a vehicle
US7412307B2 (en) 2002-08-02 2008-08-12 Oshkosh Truck Corporation Refuse vehicle control system and method
US7725225B2 (en) 2002-12-09 2010-05-25 Oshkosh Corporation Refuse vehicle control system and method with footboard
US7324070B2 (en) 2002-12-18 2008-01-29 Dräger Safety AG & Co. KGaA Device and process for monitoring the deployment of respirator users
DE10259123B3 (de) * 2002-12-18 2004-09-09 Dräger Safety AG & Co. KGaA Vorrichtung und Verfahren zur Überwachung des Einsatzes von Atemschutz-Geräteträgern
DE10313743B4 (de) * 2003-03-27 2011-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Fahrerinformationen
DE10357190B4 (de) * 2003-12-08 2020-06-18 Carl Zeiss Ag Anzeigevorrichtung und Anzeigeverfahren
US7565139B2 (en) 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US7751805B2 (en) 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
WO2006005094A3 (de) * 2004-07-13 2006-07-20 Ams Engineering Sticht Ges M B Einrichtung und verfahren zur handhabung von probenbehältern in einem labor
US7439711B2 (en) 2004-09-27 2008-10-21 Oshkosh Corporation Energy storage device including a status indicator
US7848498B2 (en) 2004-12-08 2010-12-07 Siemens Aktiengesellschaft Operating method for a support facility for a medical engineering system and objects corresponding herewith
DE102004059166A1 (de) * 2004-12-08 2006-06-29 Siemens Ag Betriebsverfahren für eine Unterstützungseinrichtung für eine medizintechnische Anlage und hiermit korrespondierende Gegenstände
DE102005048398B4 (de) * 2005-10-10 2007-07-05 Sassin, Wolfgang, Dr. Assistenzsystem für den Fahrer eines Fahrzeugs, insbesondere eines Kraftfahrzeugs für den öffentlichen Straßenverkehr
DE102005048398A1 (de) * 2005-10-10 2007-04-12 Sassin, Wolfgang, Dr. Assistenzsystem für den Fahrer eines Fahrzeugs, insbesondere eines Kraftfahrzeugs für den öffentlichen Straßenverkehr
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
US12379833B2 (en) 2007-05-04 2025-08-05 Apple Inc. Automatically adjusting media display in a personal display system
US12182387B1 (en) 2007-05-04 2024-12-31 Apple Inc. Automatically adjusting media display in a personal display system
US8549415B2 (en) 2007-05-04 2013-10-01 Apple Inc. Automatically adjusting media display in a personal display system
US12175063B1 (en) 2007-05-04 2024-12-24 Apple Inc. Automatically adjusting media display in a personal display system
US8832557B2 (en) 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
US11733845B2 (en) 2007-05-04 2023-08-22 Apple Inc. Automatically adjusting media display in a personal display system
US9965157B2 (en) 2007-05-04 2018-05-08 Apple Inc. Automatically adjusting media display in a personal display system
US9880720B2 (en) 2007-05-04 2018-01-30 Apple Inc. Adjusting media display in a personal display system based on perspective
DE102008009446A1 (de) 2008-02-15 2009-08-20 Volkswagen Ag Verfahren zur Prüfung eines komplexen Systems auf Abweichungen von Qualitätsvorgaben und/oder auf Fehlerhaftigkeit und Vorrichtung zur Unterstützung einer Prüfperson bei einer solchen Prüfung
DE102008027063A1 (de) * 2008-06-05 2010-01-07 Tsilpoglou, Vasileios Fahrrad-IR-Nachtsichtgerät
DE102008027063B4 (de) * 2008-06-05 2011-05-12 Vasileios Tsilpoglou Fahrrad-Infrarot-Nachtsichtgerät
US9482869B2 (en) 2008-09-30 2016-11-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US11716412B2 (en) 2008-09-30 2023-08-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9595237B2 (en) 2008-09-30 2017-03-14 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9646573B2 (en) 2008-09-30 2017-05-09 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10897528B2 (en) 2008-09-30 2021-01-19 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9646574B2 (en) 2008-09-30 2017-05-09 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9749451B2 (en) 2008-09-30 2017-08-29 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10686922B2 (en) 2008-09-30 2020-06-16 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US12126748B2 (en) 2008-09-30 2024-10-22 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9429759B2 (en) 2008-09-30 2016-08-30 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US11089144B2 (en) 2008-09-30 2021-08-10 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10306037B2 (en) 2008-09-30 2019-05-28 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10306038B2 (en) 2008-09-30 2019-05-28 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10306036B2 (en) 2008-09-30 2019-05-28 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US11258891B2 (en) 2008-09-30 2022-02-22 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10530915B2 (en) 2008-09-30 2020-01-07 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10530914B2 (en) 2008-09-30 2020-01-07 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
ES2460367R1 (es) * 2010-06-03 2014-06-11 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Dispositivo detector electroóptico.
WO2011151803A3 (en) * 2010-06-03 2012-02-02 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi An electro-optical detector device
DE102012002393A1 (de) * 2012-02-08 2013-08-08 Andreas Hermann Kommunikationsbrille
DE102013206739A1 (de) * 2013-04-16 2014-10-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bestimmung, ob ein Insasse eines Fahrzeugs relevante Objekte im Umfeld des Fahrzeugs bemerkt
US9845191B2 (en) 2013-08-02 2017-12-19 Oshkosh Corporation Ejector track for refuse vehicle
US9645640B2 (en) 2013-12-21 2017-05-09 Audi Ag Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
DE102013021854B4 (de) * 2013-12-21 2017-12-14 Audi Ag Sicht- und Bedienvorrichtung zur Durchführung eines Verfahrens zum Ermitteln eines Gefahrenpotentials in einem Fahrzeug
DE102013021854A1 (de) 2013-12-21 2015-06-25 Audi Ag Sicht- und Bedienvorrichtung zur Durchführung eines Verfahrens zum Ermitteln eines Gefahrenpotentials in einem Fahrzeug
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US12461368B2 (en) 2015-09-10 2025-11-04 Connectivity Labs Inc. Sedentary virtual reality method and systems
US11803055B2 (en) 2015-09-10 2023-10-31 Connectivity Labs Inc. Sedentary virtual reality method and systems
US11125996B2 (en) 2015-09-10 2021-09-21 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10345588B2 (en) 2015-09-10 2019-07-09 Connectivity Labs Inc. Sedentary virtual reality method and systems
US9804394B2 (en) 2015-09-10 2017-10-31 Connectivity Labs Inc. Sedentary virtual reality method and systems
US12236536B2 (en) 2020-08-17 2025-02-25 Russell Todd Nevins System and method for location determination using a mixed reality device and a 3D spatial mapping camera
US12290271B2 (en) 2020-08-17 2025-05-06 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11806081B2 (en) 2021-04-02 2023-11-07 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US11871997B2 (en) 2021-04-02 2024-01-16 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US11610378B1 (en) 2021-10-04 2023-03-21 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras

Also Published As

Publication number Publication date
US20020101568A1 (en) 2002-08-01
US7245273B2 (en) 2007-07-17
US20110254698A1 (en) 2011-10-20
US8686923B2 (en) 2014-04-01
US20080157946A1 (en) 2008-07-03
JP2002278670A (ja) 2002-09-27
US7969383B2 (en) 2011-06-28

Similar Documents

Publication Publication Date Title
DE10103922A1 (de) Interaktives Datensicht- und Bediensystem
EP1430349B1 (de) Informationssystem
EP1405122B1 (de) Vorrichtung zur bestimmung der orientierung eines auges
EP1190667A2 (de) System zur Aufnahme des Netzhautreflexbildes
DE102006002001B4 (de) Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
EP1405123B1 (de) Informationssystem und Verfahren zur Zurverfügungstellen von Informationen unter Verwendung eines Holographischen Elements
DE102017108551B4 (de) Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
WO2002097511A1 (de) Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges
US12210230B1 (en) Personalized optics
Dennett Surprise, surprise
WO2023096713A1 (en) Personalized optics
EP1840627B1 (de) Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
EP1405121A1 (de) Informationssystem mit erfassung des bildes der aussenwelt auf der netzhaut
Manzotti et al. Does Functionalism really deal with the phenomenal side of experience?
EP1430350B1 (de) Informationssystem
Block Behaviorism revisited
Clark et al. Sensorimotor chauvinism?
Pylyshyn Seeing, acting, and knowing
Revonsuo Dreaming and the place of consciousness in nature
Blackmore Three experiments to test the sensorimotor theory of vision
Van Gulick Still room for representations
Bartolomeo et al. Visual awareness relies on exogenous orienting of attention: Evidence from unilateral neglect
Humphrey Doing it my way: Sensation, perception–and feeling red
Niebur Sensorimotor contingencies do not replace internal representations, and mastery is not necessary for perception
Pani Perceptual theories that emphasize action are necessary but not sufficient

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8139 Disposal/non-payment of the annual fee
8170 Reinstatement of the former position
8127 New person/name/address of the applicant

Owner name: DICKERSON, DAVID, 85354 FREISING, DE

8139 Disposal/non-payment of the annual fee