[go: up one dir, main page]

DE19631414A1 - Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge - Google Patents

Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge

Info

Publication number
DE19631414A1
DE19631414A1 DE19631414A DE19631414A DE19631414A1 DE 19631414 A1 DE19631414 A1 DE 19631414A1 DE 19631414 A DE19631414 A DE 19631414A DE 19631414 A DE19631414 A DE 19631414A DE 19631414 A1 DE19631414 A1 DE 19631414A1
Authority
DE
Germany
Prior art keywords
image
eye
retina
laser
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE19631414A
Other languages
English (en)
Inventor
Thorsteinn Dipl Ph Halldorsson
Horst Schmidt-Bischoffshausen
Heinrich Eberl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EBERL, HEINRICH ALEXANDER, 87463 DIETMANNSRIED, DE
Original Assignee
Daimler Benz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Benz AG filed Critical Daimler Benz AG
Priority to DE19631414A priority Critical patent/DE19631414A1/de
Priority to PCT/EP1997/004188 priority patent/WO1998005992A2/de
Priority to JP10507591A priority patent/JP2000515645A/ja
Priority to US09/230,996 priority patent/US6227667B1/en
Priority to AU44533/97A priority patent/AU4453397A/en
Priority to EP97942840A priority patent/EP0917661A2/de
Publication of DE19631414A1 publication Critical patent/DE19631414A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Description

Die Erfindung betrifft eine Vorrichtung, die es ermöglicht, das auf der Netz­ haut des menschlichen Auges projizierte Bild der Außenwelt in Rückstreuung aufzunehmen, dieses mit elektronischer Bildverarbeitung zu modifizieren, bzw. mit zusätzlichen Informationen zu ergänzen, und mit Hilfe einer Laserstrahl­ modulation und -ablenkung zurück ins Auge mit dem Originalbild zu überla­ gern.
Mit dem zunehmenden Bedarf an Informationen und ihrer übersichtlichen bild­ haften Visualisierung wachsen die technischen Anforderungen an die Aufnah­ me, Verarbeitung und Wiedergabe von Bildern. Der rasche Fortschritt auf die­ sen Gebieten geht Hand in Hand mit der immer schneller werdenden Bildver­ arbeitung durch Computer.
Das Hauptanwendungsgebiet der elektronischen Bildverarbeitung ist heute die Weiterverarbeitung von Bildern, die von Kameras, Abtastsystemen und Senso­ ren, sowohl im sichtbaren Lichtbereich, als auch in anderen Bereichen des elektromagnetischen Spektrums, wie z. B. im Intrarot-, Radio- und Röntgen­ bereich, aufgenommen werden. Nach der elektronischen Bearbeitung werden die Bilder als Einzelbilder, bzw. als bewegte Bilder auf einer Bilddarstellungs­ fläche (Display) zur Informationsaufnahme des Auges wiedergegeben.
Mit Hilfe der elektronischen Bildverarbeitung ist es einerseits möglich, beson­ dere Bildinhalte leichter erkennbar zu machen. Hierfür eingeführte Techniken, sind z. B. Ortsfrequenzfilterung, Kantenverschärfung, Bilddatenkompression, Bildkorrelation, Dynamikreduzierung und Falschfarbenkodierung. Andererseits befassen sich weitere Techniken mit der Überlagerung oder Subtraktion von Zusatzbildern aus verschiedenen Spektralbereichen, oder der Überlagerung von gespeicherten Plänen, Landkarten, und Zeichnungen in das Originalbild.
Für viele Anwendungen, ist eine praktisch verzögerungsfreie Bilddarstellung für das Auge von großem Vorteil, wie z. B. beim Führen eines Flugzeuges, ei­ nes Schiffes, eines Fahrzeuges oder bei der Steuerung und Überwachung von Prozessen und Fertigungsstraßen. Mit der Bildverarbeitung kann eine gezielte Erhöhung bzw. Reduktion des Informationsgehaltes des aktuellen direkten Bil­ des durchgeführt werden. Die Anwendungen reichen von Erhöhung des Bild­ kontrastes bis zur Einblendung von Zusatzinformationen und Kennzeichnung von Details und Gefahren.
In den meisten dieser Anwendungen ist es nachteilig, daß die elektronische Kamera ein von dem Auge des Menschen getrenntes "zweites Augensystem" darstellt, denn zum einen werden die Bilder von einem anderen Aufnahmeort aus gesehen und zum anderen werden auf dem Bildschirm an einem anderen Betrachtungsort als den des Auges dargestellt. Das menschliche Auge muß somit zwischen der direkten und der indirekten Beobachtung, mit unterschied­ lichen Betrachtungswinkeln, Bildausschnitten und Größenverhältnissen stän­ dig wechseln, was zu körperlichen Beeinträchtigungen und Verzögerungen bei Entscheidungsvorgängen führt.
Diese Einschränkung konnte zum Teil mit Hilfe der Technik des "Head-Up-Displays (HUD)", bei der Führung von Kampfflugzeugen dadurch gelöst wer­ den, daß wichtige Informationen wie Instumentenanzeigen und Zieldaten in die offene Brille des Pilotenhelmes und damit in das Gesichtsfeld des Piloten ein­ geblendet werden. Diese Technik wird auch versuchsweise in der Automobil­ industrie zur Einblendung von Instruinentenanzeigen in die Windschutzscheibe eingesetzt, damit der Fahrer von der Beobachtung der vor ihm liegenden Straße nicht abgelenkt wird.
Eine bekannte Weiterentwicklung dieser Technik ist die sogenannte "virtual realitv", oder "cyberspace". Hier werden in einer geschlossenen Brille, d. h. ei­ ner Brille in der die Sicht nach außen versperrt ist, mit dem HUD bewegte räumliche Vollbilder realitätsnah in das Auge projiziert und interaktiv mit den Körperbewegungen wie etwa der Fortbewegung, Armbewegung, Fingerbewe­ gung, Kopf- und Augenbewegung verändert.
In dem HUD wird das Bild auf einem Bildschirm generiert und nach Reflektion an der Brillenoberfläche in das Auge eingeblendet. Das Auge sieht sozusagen über die Brille als Vollspiegel auf das Display "um die Ecke herum" und bei der offenen Brille mit einem teildurchlässigen Spiegel gleichzeitig die Außen­ welt. Da das Display mit dem Kopf verbunden ist, folgt das Bild den Kopfbe­ wegungen.
Einige HUDs sind mit einem "eye tracker" ausgerüstet, der die Augenbewe­ gungen mit Hilfe eines Bewegungssensor am Augapfel oder einer Kamera die Bewegungen der Augenpupillen oder der Gefäßstruktur der Netzhaut verfolgt. Das im HUD projizierte Bild kann dann entsprechend den Bewegungen inner­ halb des Gesichtsfeldes elektronisch verschoben werden.
Zur akkommodationsfreien Entspannung des Auges kann das Bild des HUDs über die Projektionsoptik ins "Unendliche" versetzt werden. Mit der Einstel­ lung unterschiedlicher Blickwinkel der beiden Augen zum gleichen Gegen­ stand, wird ein stereoskopisches, d. h. räumliches Sehen ermöglicht.
Diese Anwendungen und Techniken verdeutlichen zum einen den hohen Stand der elektronischen Bildverarbeitung, die mit vertretbarem technischen Auf­ wand bereits in der Lage ist, bewegte Bilder mit akzeptabler Qualität fast ver­ zögerungsfrei zu verarbeiten, zum anderen den zunehmenden Bedarf an direk­ ter Bildübertragung ins Auge.
Der heutigen Technik der HUDs sind jedoch Grenzen gesetzt. Die Genauigkeit der automatischen Verfolgung der Augenbewegungen mit dem "eye tracker" ist wesentlich schlechter als die Ausrichtegenauigkeit und die Bildauflösung des Auges. Als Folge schwebt oder tanzt das eingeblendete Bild in dem Gesichts­ feld herum, was zu einer ungenauen Zielfindung und Ermüdung des Auges führt.
Aus diesem Grunde beschränkten sich die bisherigen Anwendungen der Voll­ bilddarstellung auf die geschlossene Brille, d. h. die ausschließliche Einblen­ dung von Fremdbildern. Die Anwendungen der offenen Brille mit der zusätzli­ chen Sicht nach außen sind dagegen noch auf die Einblendung einfacher Zu­ satzinformationen in Form von Texten, Symbolen oder Bildumrissen be­ schränkt.
Eine vollständige räumliche und zeitliche Überlappung von eingeblendeten Bildern auf das von dem Auge wahrgenommene reale Bild setzt die exakte räumliche und zeitliche Übereinstimmung der beiden Bilder auf der Netzhaut voraus. Diese kann erst durch eine direkte Aufnahme des Netzhautbildes und durch eine anschließende fast verzögerungsfreie deckungsgleiche Projektion des neuen Bildes auf das reale Bild hergestellt werden, was die Zielsetzung der Erfindung ist.
Es soll hier zunächst der Stand der Techniken der Aufnahme von Netzhautre­ flexbildern, der Bildabtastung aus dem Augeninneren und der Projektion von Laserbildern direkt ins Auge, von der die Erfindung ausgeht, dargestellt und diskutiert werden.
Die technische Realisierung einer kontinuierlichen Abbildung des Netzhautre­ flexes der Außenwelt setzt eine verwertbare optische Reflexion der Netzhaut voraus. Ihr Reflexionsvermögen ist z. B. von F.C. Delori und K.P. Pflibsen in der Arbeit "Spectral reflectance of the human ocular fundus", Applied Optics, Vol. 28, No. 6, (1989) ausführlich gemessen worden. Ab dem blauen sichtba­ ren Bereich (450 nm) mit dem niedrigen Wert von 0,2% nimmt das Refle­ xionsvermögen der Netzhautgrube bis 10% im langwelligen roten Bereich (750 nm) monoton zu. Im Bereich der größten Augenempfindlichkeit und des schärfsten Sehens im grün-gelben Bereich zwischen 500 nm und 600 nm liegt das Reflexionsvermögen dann zwischen 1% und 2%.
Ein Aufnahmesystem, für diesen Reflex, muß deshalb für eine um den Faktor 50-100 geringere Leuchtdichte der Netzhaut als des Gegenstandsraumes ausge­ legt sein. Eine weitere Beeinträchtigung der verfügbaren Lichtmenge ist durch die Größe der Augenpupille von 1-7 mm gegeben, die im Vergleich zu den üblichen technischen Aufnahmesystemen wie Photo- und Videokameras, rela­ tiv klein ist. Die Aufnahme des von der Netzhaut reflektierten Lichtes setzt aus diesen beiden Gründe einen besonders empfindlichen Lichtsensor voraus.
Es ist bekannt, daß ein strukturiertes Reflexbild im Bereich der Netzhautgrube oder Fovea centralis bei der Abbildung im Auge entsteht. Dies wird z. B. von Campell, F.W. and Green, D.G. in dem Artikel: "Optical and Retinal Factors Affecting Visual Resolution", J. Physiol. 181, 576-593 (1965) beschrieben. Hier wurde eine hell erleuchtete ausgedehnte Gitterstruktur auf die Netzhaut abgebildet und das durch das Auge reflektierte Bild mit einem Teilerspiegel aus dem Strahlengang abgelenkt und außerhalb des Auges in einer Bildebene scharf abgebildet. Die flächenhafte Abbildung des Gitters nach der Reflexion an der Netzhaut, d. h. nach zweimaligem Durchgang durch das Auge, diente der Bestimmung der Modulationsübertragungsfunktion des Auges. Die photometri­ sche Auswertung zeigte daß die Qualität des Reflexbildes, der von dem Auge selbst wahrgenommene Bildqualität sehr nahe kommt.
Die von Campell u.al. verwendete geschlossene statische Aufnahmevorrich­ tung mit extrem heller Bildbeleuchtung (Blitzlicht) am ruhig gestellten Auge ist nicht geeignet um die lichtschwachen dynamischen Bilder der Außenwelt auf der Netzhaut bei den raschen, natürlichen Eigenbewegungen des Auges aufzu­ nehmen. Dies erfordert lichtempfindliche, schnelle Detektoren und eine Auf­ nahmetechnik, die in dem offenen Strahlengang Fremdlicht sehr effizient unter­ drückt und Bilder mindestens mit der Wiederholfrequenz der üblichen Video­ normen aufnehmen kann.
Heute kommen dafür in Frage die CCD-Kameras, die alle Bildpunkte parallel nach einer festen Integrationszeit aufnehmen, und seriell scannende Bildauf­ nahmesysteme mit Einzeldetektoren (Photodioden oder Photomultipliern), in denen die Bildpunkte zeitlich hintereinander abgetastet werden. Beide Techni­ ken sind den üblichen Videonormen angepaßt.
Ein grundsätzlicher Vorteil der Verwendung der CCD-Aufnahmetechnik ist die lange Integrationszeit in jedem Bildpunkt von z. B. 20 ms, gegenüber der kur­ zen Verweildauer in jedem Bildpunkt von nur 40 ns beim Scannen. Die serielle Aufnahmetechnik hat jedoch für die Aufnahme der sehr schwachen, schnell veränderlichen Lichtsignalen bei dem stark verrauschtem Hintergrund gegen­ über der parallelen Aufnahmetechnik eine Reihe anderer Vorteile, die den Nachteil der kurzen Integrationszeit wettmachen. Diese sind:
  • - serielle Signalverarbeitung, die eine direkte analoge Weiterverarbeitung des Bildes in Echtzeit ermöglicht
  • - effiziente Streulichtunterdrückung durch das kleine momentane Ge­ sichtsfeld der Abtastung
  • - rauscharme hohe Vorverstärkung der verwendeten Avalanche-Photo­ dioden und Photomultipliern
  • - hohe Signaldynamik, die den starken Variationen der Bildhelligkeit auf der Netzhaut entgegenkommt
  • - effiziente analoge Rauschunterdrückung, z. B. durch phase-lock-in- Detektion bzw. Signal-Korrelation
  • - einfache Behebung von Abbildungsfehlern.
Für die Zielsetzung der Erfindung ist jedoch der entscheidende Vorteil der se­ riellen Bildabtastung die weitere Möglichkeit sie mit einer zeitversetzten syn­ chronen seriellen Laser-Bildprojektion ins Auge zu kombinieren eröffnet.
Wegen dieser Vorteile der seriellen Aufnahme gegenüber Film und Videoauf­ nahmen werden sie seit Anfang der fünfziger Jahre vor allem für die Bildauf­ nahme im Mikroskop eingesetzt. Eine serielle Abtastung kann dreierlei reali­ siert werden, erstens durch eine flächenhafte Beleuchtung des Gegenstandes und einer punktförmigen Abtastung mit einem Photoempfänger, zweitens der Abtastung des Gegenstandes mit einer punktförmigen Lichtquelle und flächen­ hafter Aufnahme mit dem Photoempfänger und drittens durch die punktförmige Beleuchtung und die gleichzeitige punktförmige Abtastung mit dem Photoemp­ fänger mit Verwendung der gleichen Scaneinrichtung. Die zwei ersten Metho­ den werden als "flying spot" und die dritte als "confocal scanning" Aufnahme­ technik bezeichnet.
In den beiden ersteren ist entweder die Quelle oder der Empfänger starr und dafür jeweils der Empfänger oder die Quelle auf dem Gegenstand in Bewe­ gung. In dem dritten werden Quelle und Empfänger gemeinsam in dem scan­ nenden Abtastpunkt (konfokal) abgebildet, aber sind gegeneinander unbeweglich.
Eine Aufnahme des flächenhaften Netzhautreflexes der Außenwelt mit einem scannendem Photoempfänger, wie die Erfindung vorschlägt, ist in diesem Sinne die erste Art der "flying spot" Bildaufnahmetechnik. Eine zeitversetzte syn­ chrone Laserbildprojekton mit Hilfe der gleichen Scaneinrichtung kann im Sin­ ne der gemeinsamen punktförmigen scannenden Abbildung von Beleuchtungs­ quelle und Photoempfänger auf der Netzhaut als eine konfokale scannende Technik aufgefaßt werden, aber keine konfokal scannende Aufnahmetechnik, weil die Rollen des Photoempfängers und des Lasers gegenüber der konventio­ nellen Anwendung vertauscht sind. In der Erfindung dienen die Empfangs­ signale zur zeitversetzten Modulation der Laserquelle, bei dem üblichen Ver­ fahren dient die Laserquelle zur Beleuchtung beim gleichzeitigen Empfang der Lichtsignale.
Um den Neuheitsgrad der Erfindung und ihrer technischen Ausführungen bes­ ser sichtbar zu machen, soll der Stand der Anwendungen der Bildaufnahme und Laserprojektion ins Auge nachfolgend genauer dargelegt werden.
O. Pomerntzeff und R.H. Webb haben als erste die zweite Art der "flying spot" Aufnahmetechnik mit Hilfe eines gescannten Laserstrahles als Beleuchtungs­ quelle und einem starren großflächigen Photomultiplier als Empfänger zur Auf­ nahme der Innenstruktur des Auges in dem US Patent 4,213,678 von Sept. 1980 "Scanning Ophthahnoscope for Examining the Fundus of the Eye" be­ schrieben.
Eine Erweiterung dieser Technik zu einer konfokalen Anordnung mit dem gleichzeitigen scannen der Laserstrahl und der Empfangsachse des Photomul­ tipliers, wurde von R. H. Webb, G. W. Hughes und F.C. Delori in dem Artikel "Confocal scanning laser ophthalmoscope" in Applied Optics, Vol. 26, No. 8, pp 1492-1499 (1987) vorgestellt.
In diesem Gerät wird die Netzhaut durch einen Laserstrahl rasterförmig abge­ tastet. Der Laserstrahl beleuchtet Punkt für Punkt und Zeile für Zeile die Vor­ lage. Der Photoempfänger (Photomultiplier) mißt das jeweils reflektierte Licht und setzt die Meßwertfolge in ein Videosignal um. Ein Fernsehmonitor stellt das Videosignal schließlich als Bild dar. Diese drei Vorgänge erfolgen exakt synchron. Während der Laserstrahl Zeile für Zeile den Augenhintergrund ab­ tastet, wird gleichzeitig das Fernsehsignal aufgebaut.
Der Laserstrahl durchläuft zunächst einen Modulator, über den die Beleuch­ tungsintensität gesteuert werden kann. Die horizontale Zeilen-Ablenkung wird meist mit einem schnell drehenden Polygonspiegel, die Vertikalablenkung durch einen Schwingspiegel durchgeführt. Der Drehpunkt der Abtastbewegung liegt in der Puppillenebene des Auges. Das vom Augenhintergrund reflektierte bzw. zurückgestreute Licht wird über die gesamte Pupillenöffnung gesammelt und dem Photoempfänger über eine Abbildungsoptik zugeleitet. Die Strahlablenkung wird dadurch rückgängig gemacht, und man erhält ein statio­ näres Lichtbündel, das auf einer kleinen Detektorfläche abgebildet wird.
Die Möglichkeit der Verwendung der konfokalen Abbildung im Ophthalmo­ skop zur Projektion von künstlichen Bildern mit Hilfe einer Laserprojektion in das Auge, wurde von Webb u. al. in dem obengenannten Artikel erkannt und wie folgt beschrieben: . . . "The laser beam is deflected by a fast (15-kHz) hori­ zontal scanner and a slow (60-Hz) vertical scanner to project a standard format TV raster on the retina. Modulation of the beam permits projection of graphics or even gray scale pictures in the raster. While the patient is seeing the TV picture projected on his/her retina, an image of the retina is displayed on a TV monitor . . .".
Die Direktprojektion von modulierten Lichtreizen und Mustern wird in den modernen Laser-Scan Ophthahnoskopen (wie z. B. von der Firma Rodenstock in München) hauptsächlich für Visusanalysen, Video-Visusbestimmungen und Kontrastempfindlichkeitsmessungen bei jeweils nur einer Laserwellenlänge verwendet.
Weitere Vorschläge zur direkten Bilderübertragung mit Lasern ins Auge sind aus den folgenden zwei Schriften bekannt:
In der europäischen Patentschrift 0 473 343 B1 von Nov. 1995 der Firma Sony Corporation mit dem Titel "Direct viewing picture image display apparatus" ist ein Direktsicht-Bildwiedergabegerät bekannt, das im wesentlichen nur die technischen Lösungswege aus den früher bekannten und hier bereits zitierten Veröffentlichungen der konfokalen Abbildung beinhaltet, und in den auf dem markteingeführten Laser Scanning-Ophthahnoscopen, wie der Firma Roden­ stock Instrumente in München realisiert worden sind.
Die technische Lösung zur Erweiterung der Bildübertragung von nur einer auf drei Farben, die in den Ansprüchen 10 und 11 dieses Patentes beschrieben wird, ist auch in anderen Laser-Display-Anlagen seit vielen Jahren realisiert und stellt deshalb ebenso keine Neuheit dar. Die Verschiebung der Tiefenlage der Bilder auf der Netzhaut, die in den Ansprüchen 12 bis 16 beschrieben ist, wird durch gleichartige Maßnahmen in den bereits existierenden Geräten durchgeführt.
Die Trennung von zwei Strahlen durch Polarisationsunterscheidung wie sie in Anspruch 16 bis 19 und in Fig. 6 des Patentes beschrieben wird, um ein glei­ ches Bild in beide Augen zu projizieren, ist grundsätzlich eine ungeeignete Methode um "echte" dreidimensionale Bilder darzustellen, da diese Bilder hier keinen perspektivistischen Unterschied aufweisen. Darüber hinaus erlaubt die­ se Methode keine dynamische und individuelle Anpassung an die Augenaus­ richtung und ist deshalb technisch schwer umsetzbar.
In einer zweiten europäischen Anmeldung der Firma Motorola Inc. Nr. 0 562 742 A1 mit der Bezeichnung "Direct retinal scan display" von August 1993 wird ein Direktsicht-Bildwiedergabegerät beschrieben, das wie das oben be­ schriebene Patent von Sony auch die direkte Bildübertragung auf die Netzhaut betrifft, jedoch mit dem Unterschied, daß die Projektion über die Umlenkung über eine dem Menschen aufgesetzte Brille durchgeführt wird.
Diese Patentanmeldung bringt gegenüber der lange bestehenden Technik keine neue Lösungsansätze. Die direkte Montage des gesamten Displays am Kopf des Betrachters im Anspruch 4 bzw. die Verwendung einer Umlenkung des Strahlenganges des Projektors über eine Brille im Anspruch 5 ist bei "virtual­ reality" Brillen bzw. bei Head-Up-Display im Pilotenhelmen bereits eingeführt.
Damit eine Abbildung auf der Netzhaut gelingt, müssen verschiedene optische Anforderungen an die Laserstrahlumlenkung erfüllt werden, die außer der be­ sonderen Auslegung der Strahlführung nach der Strahlablenkung, auch eine spezielle Brillenglaswölbung erfordert. Die Wege zur Lösung dieser grundle­ genden optischen Problematik werden in dieser letztgenannten Patentanmel­ dung jedoch nicht betrachtet oder erwähnt.
Beschreibung der Erfindung
Die Erfindung schlägt eine seriell arbeitende Aufnahme- und Projektionsvor­ richtung vor, die es ermöglicht, die auf der Netzhaut des menschlichen Auges beim natürlichen Sehvorgang erzeugten Bilder der Außenwelt aufzunehmen und mit elektronischer Bildverarbeitung zu modifizieren, bzw. zu ergänzen. Dieses Bild dann nachfolgend mit Hilfe von Laserstrahlbildprojektion zurück ins Auge zu projizieren und mit dem Originalbild synchron zu überlagern. Die Erfindung sieht ferner vor, daß sowohl bei der Aufnahme, als auch bei der Projektion gleichzeitig die Strahlung aller Grundfarben Rot, Grün und Blau detektiert bzw. projiziert wird.
Diese Aufgabe ist grundsätzlich eine andere als die eines konfokalen Laser-Scanning-Opthahnoskops bei dem die Netzhaut im gleichen Abtastvorgang gleichzeitig beleuchtet und abgebildet wird, denn in der Anordnung gemäß der Erfindung wird in einem ersten Abtastzyklus das flächenhafte Reflexbild der Außenwelt nach dem "flying spot" Verfahren abgetastet und erst in einem zweiten zeitlich getrennten Abtastzyklus das nachgearbeitete Laserbild auf die Netzhaut projiziert. In einem dritten Abtastvorgang wird wieder das Reflexbild gewonnen, in dem vierten wieder das Laserbild projiziert usw. Da diese Vor­ gänge zeitlich so schnell wechseln, entsteht für das Auge, wie bei der Betrach­ tung vom Fernsehen oder Film, ein kontinuierlicher Ablauf in dem das Laser­ bild synchron und deckungsgleich, unabhängig von den Augenbewegungen, dem Originalbild folgt.
Die Erfindung unterscheidet sich auch von allen dem Anmelder bekannten Vorschlägen zur direkten Laserprojektion ins Auge, sowohl der Projektion von Fremdbildern in der geschlossenen Brille (cyberspace), als auch der Zu­ satzbildern in einer offenen Brille (HUD), durch die hier zum ersten Male vor­ geschlagene direkte Koppelung der Projektion mit dem momentanen Bildinhalt der Außenwelt und die neuartigen technischen Ausführungen zu ihrer Realisie­ rung.
Die Aufnahme und bildhafte Weiterverarbeitung des Netzhautreflexes ist durch den raschen Fortschritte in der Aufnahme- und Verarbeitungstechnik von schwachen optischen Signalen möglich geworden. Die Bestrahlungsstärke die die Netzhaut in der natürlichen Umgebung ausgesetzt ist beträgt von der hell­ sten Außenbeleuchtung von 10-4 W cm-2 bis etwa 10-7 W cm-2. Bei schwa­ cher Innenbeleuchtung, unter Lesebedingungen beträgt sie 10-5 W cm-2 bis 10-6 W cm-2 (siehe z. B. "Safety with Lasers and Other Optical Sources", D. Sliney and M. Wolbarsht, 1980). Mit einem Photon-Counting Photomultiplier und punktueller Abtastung mit Lasern in einer TV-Norm wurde eine Empfind­ lichkeit bis zu 2 × 10-5 W cm-2 bei einem Signal-Rauschverhältnis von 5 er­ reicht (s. R.H. Webb et al., "Flying spot TV ophthalmoscope", Applied Optics, Vol. 19, No. 17, pp. 299 (1980).
Eine Erhöhung der Empfindlichkeit bis 10-7 W cm-2 kann z. B. erreicht werden durch verbesserte Rauschunterdrückung, eine verringerte Ortsauflösung, bzw. durch die Verwendung eines Spiral-Scans anstatt des TV-Rasterscans, der eine reduzierte Scan-Geschwindigkeit in der Mitte des Gesichtsfeldes und damit eine verlängerte Integrationszeit dort bietet.
Die Aufgabe der Erfindung wird durch die in Anspruch 1 und 2 angegebenen Merkmale gelöst. In den Unteransprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen angegeben.
In der nachfolgenden Beschreibung wird die Erfindung anhand von Ausfüh­ rungsbeispielen erläutert. Die Figuren ergänzen diese Erläuterungen. Es zeigt:
Fig. 1 ein Schemabild eines Ausführungsbeispieles der Aufnahme- und Projektionsvorrichtung ins Auge nach Ansprüchen 1 bis 5 in einer Ausführung wo die Abbildung zwischen dem Scanner und Auge über zwei konkave reflektierende Flächen einen Hilfspiegels HS und die Innenseite der Brille BG durchgeführt wird.
Fig. 2 ein Schemabild eines Ausführungsbeispieles der Aufnahme- und Projektionsvorrichtung ins Auge nach Ansprüchen 1 bis 4 und 6 in einer Ausführung wo die Abbildung zwischen dem Scanner und dem Auge an der konkaven Hilfsspiegelfläche BG′, einer konvexen Hilfs­ spiegel HS′ und der konkaven Innenseite des Brillenglases BG durchgeführt wird.
Fig. 3 ein Schemabild eines Ausführungsbeispieles des starren Strahlen­ ganges zwischen Aufnahme- und Projektionsvorrichtung mit Pho­ toempfängern und Lasermodulatoren nach Anspruch 14.
Fig. 4 ein Schemabild eines Ausführungsbeispieles der flexiblen Kopplung der Aufnahme und Projektionsvorrichtung an den Strahlumschalter und Scaneinheit mit Hilfe von flexiblen Glasfasern nach Anspruch 15.
Fig. 5 ein Schemabild eines Ausführungsbeispieles der Anbringung der Aufnahme- und Projektionsvorrichtung für beide Augen in einem Brillengestell.
Fig. 6 ein Schemabild eines Ausführungsbeispiel des Strahlenganges im Scanner bei Aufnahme des Netzhautreflexes und anschließender Projektion des Bildes auf die Gegenstände der Außenwelt, durch ei­ ne Umschaltung des horizontalen Scanspiegels um einen Winkel von 90° nach Anspruch 23.
Fig. 7 ein Schemabild der opto-elektronischen und elektronischen Unter­ einheiten und ihren Verbindungen.
Fig. 8 ein Schemabild des zeitlichen Ablaufs der Abtast- und Laserprojek­ tionsvorgänge
Fig. 9 ein Schemabild des in Mikrobauweise im Brillengestell integrierten Scanner mit Glasfaserkopplung zu einer tragbaren Empfangs- und Projektionseinheit und drahtloser Übertragung zum Bildverarbei­ tungscomputer.
Die Erfindung schlägt gemäß dem Anspruch 1 eine scannende Aufnahmevor­ richtung vor um den lichtschwachen Reflex von Gegenstände der Außenwelt AW auf der Netzhaut NH des Auges AA seriell aufzunehmen wie, in den Fig. 1 bis Fig. 3 dargestellt ist.
Die gleiche Abbildungs- und. Scanvorrichtung wird auch verwendet um das verarbeitete Bild mit Hilfe von Lasern und Bildmodulatoren über den entge­ gengesetzten Lichtweg auf die Netzhaut zeitversetzt gemäß Anspruch 2 zu projizieren, wie auch in Fig. 1 bis Fig. 3 dargestellt ist.
Der zentrale Gegenstand der Erfindung ist eine spezielle Brille, die einem Be­ trachter aufgesetzt wird, wie in Fig. 5, Fig. 6 und Fig. 9 gezeigt ist. Die Bril­ lengläser BG dienen als Strahlteiler. In Transmission, für das Licht aus der Au­ ßenwelt und in Reflexion, als eine Abbildungsfläche des von der Netzhaut durch das Auge rückgestreuten Lichtes, das mit Hilfe weiterer Abbildungsele­ mente und eines zweiachsigen Scanner für die Horizontal- HSS und Verti­ kalablenkung VSS einem Photoempfänger zugeführt wird (Fig. 1 bis Fig. 4).
Der Strahlengang wird gleichzeitig derart gestaltet daß die Verlängerung der Sichtlinie vom Detektor durch die Brille immer in der absorbierenden Schicht einer Strahlungssenke SS mündet. Die Verlängerung der Sichtlinie des Auges durch die Brille läuft dagegen zur Außenwelt AW (Fig. 1 bis Fig. 6).
Die einfachste Methode der Strahlteilung an den Brillengläsern BG ist die Verwendung von 50% transmittierenden und 50% reflektierenden Spiegelglä­ sern. Es können auch aktive elektronisch steuerbare Spiegel, die von vollständi­ ger Transmission bis vollständiger Reflexion in den beiden Abtastzyklen um­ schalten, eingesetzt werden.
Das Auge AA bildet von der Außenwelt AW parallele oder nahezu parallele Strahlbündel auf der Netzhaut ab. Der Drehpunkt der Strahlbündel bei unter­ schiedlichen Betrachtungswinkel zur Außenwelt liegt in der Pupille des Auges AP.
Die Erfindung geht von einer gleichzeitigen Aufnahme und Projektion in beide Augen wie in Fig. 5 und Fig. 6 gezeigt wird und damit einem weitgehend iden­ tischen Strahlengang für das linke und rechte Auge. Bei Fehlsichtigen, auch mit unterschiedlicher Brechkraft des linken und rechten Auges, sieht die Erfindung vor, daß entweder die Brillengläser in ihrer Brechung durch entsprechende un­ terschiedliche Auslegung der Wölbung der Außenseite und der Innenseite in­ dividuell angepaßt sind, bzw. daß Kontaktlinsen getragen werden. Für Nor­ malsichtige ist die Wölbung der Innen- und Außenseite der Brillengläser die Brillengläser BG identisch.
Das von jedem einzelnen Bildpunkt der Netzhaut aus dem Auge zurrückge­ streute Licht ist in gleicher Weise eine nahezu paralleles Strahlenbündel, der den identischen Weg wie das einfallende Licht in entgegengesetzter Richtung auf die Innenseite des teilweise reflektierenden Brillenglases BG fällt. Die Krümmung dieser Fläche wird so gestaltet, daß gemeinsam mit der Augenlinse ein zweites Bild des Bildpunktes auf der Netzhaut in der Zwischenebene ZE entsteht (Fig. 1). Ein Hilfsspiegel HS, kollimiert die Strahlen erneut und bildet sie so ab, daß sie über den gemeinsamen Drehpunkt (sie auf der anderen Seite durch die Augenpupille) auf der Achse des horizontalen Scannerspiegels HSS verläuft. Eine vertikale Ablenkung wird durch einen zweiten Scannerspiegel VSS durchgeführt.
Die Abbildung aus und ins Auge mit Hilfe der beiden Spiegel, Hilfsspiegel und Brillenglasspiegel bei gleichzeitiger freier Sicht durch das Brillenglas BG zur Außenwelt AW erfordert relativ starke Strahlablenkung. Die gegenläufige Um­ lenkung über zwei konkave Spiegelfläche hebt zum Teil die dabei auftretenden Abbildungsfehler auf. Der gegenläufige sonst identische Strahlengang von Bildaufnahme und Bildprojektion vermeidet auch zum großen Teil die Entste­ hung von Bildverzerrungen im Auge auf.
Bei sphärischen Spiegeln treten jedoch wegen ihren starken Abbildungsfehlern trotzt der relativ kleinen erforderlichen Ablenkwinkel von < ± 10° restliche Bildstörungen auf. Für die Abbildung und Umlenkung ins Auge sind deshalb hochwertigere Spiegelsysteme, wie konkave Parabolspiegel und elliptische Spiegel in Anspruch 5 vorgesehen. Eine effiziente Reduktion der Abbildungs­ fehler ist nach Anspruch 6 auch mit Hilfe der Spiegelung an zwei konkaven BG und BG′ und einer konvexen Fläche HS möglich. Hier kann als Vollspie­ gelfläche BG′ die zweite Hälfte des Brillenglases, gleicher konkaven Krüm­ mung wie BG verwendete werden.
Die Erfindung geht davon aus daß jede Art von zweiachsigen Bildscannern verwendet können wie z. B. Drehspiegel oder Polygonspiegel für Zeilenablen­ kung und Schwingspiegel für Vertikalablenkung bzw. akusto-optische Ablenk­ einheiten für beide Achsen.
Mit einer rasterförmigen Abtastspur mit getrennter horizontaler und vertikaler Ablenkung kann der Aufbau des Bildes konform mit den gebräuchlichen Vi­ deo-Normen wie VHS und NTSC und HDTV gestaltet werden (Anspruch 9).
Es können aber andere Abtastspuren, die dem Bildaufbau des Auges besser angepaßt sind als der Rasterscan, verwendet werden, wie z. B. ein Spiralscan. Die größte Sehscharfe in der Netzhaut (Retina) ist im Bereich der sogenannten Fovea centrales, die im Gesichtsfeld nur einen kleinen Winkelbereich von etwa ± 2° um die Sehachse aufnimmt. Wenn sich die Aufmerksamkeit auf ein Ob­ jekt richtet, werden die Augen normalerweise so bewegt, daß die vom fixierten Objekt ausgehenden Strahlen auf die Fovea centralis fallen.
Ein Spiralscan der Bildabtastung, in dem die Aufenthaltsdauer des Abtaststrah­ les in Richtung zur Sehachse kontinuierlich zunimmt, wäre dadurch wesentlich besser dem Aufbau der Netzhaut angepaßt als ein Rasterscan. Durch die ver­ längerte Aufenthaltsdauer wird dadurch auch ein entsprechend höheres Sig­ nal/Rauschen-Verhältnis in dem mittleren Bereich erreicht.
Die Erfindung sieht aus diesen Gründen außer der Verwendung eines Raster­ scans in Anspruch 9 auch in dem Anspruch 10 auch vor, daß durch eine ent­ sprechende Auslegung und Ansteuerung der beiden Strahlablenkeinheiten ein Spiralscan auch verwendet werden kann.
Wie in einem Laser-scanning-ophthalmoskop wird der Strahlengang zwischen dem Projektions- und Empfangskanal mit Hilfe eines Schaltspiegels SUS ge­ trennt. Da der Durchmesser des Projektionsstrahls wegen der guten Bündelung und dem kleinen Durchmesser der Laserstrahlen kleiner ausgelegt werden kann als der Empfangsstrahl bietet sich die Möglichkeit an einen Lochspiegel zur Trennung der beiden Strahlengänge wie in Fig. 3 und Fig. 4 dargestellt ist, zu verwenden. Eine effizientere Methode, die sich wegen der zeitlich alternie­ renden Verwendung der beiden Strahlengänge ergibt, ist der Einsatz eines Kippspiegels der die Strahlengänge synchron mit der Abtastung umschaltet. Diese Lösung hat die Vorteile der geringeren optischen Verluste im Empfangs­ kanal und der besseren optischen Abschirmung des direkten Übersprechens von Projektions- in den Empfangskanal.
Im Strahlgang der Projektionseinheit hinter dem Strahlschalter SUS ist wie in Fig. 3 gezeigt sieht die Erfindungsmeldung im Anspruch 17 eine Fokussierein­ richtung FE, die die Größe des Laserbildflecks in Anspruch 17 und des abge­ tasteten Flecks beim Empfang GFB in Fig. 3 auf der Netzhaut einstellt. Zur Einstellung des von den Photomultipliern gesehenen momentanen Gesichtsfel­ des dient nach Anspruch 18 eine gemeinsame Gesichtsfeldblende GFB im Strahlengang zweier Linsen. Die Einstellung der Gesichtsfeldblenden ist zur Anpassung an die Beleuchtungsverhältnisse an der Netzhaut und zur Einstel­ lung der erwünschten Ortsauflösung notwendig. Es ist vorgesehen, daß beide Einstellung über Aktoren automatisch nach Rechnerbefehl durchgeführt wer­ den können wie in Fig. 7 dargestellt wird.
Es ist in Anspruch 12 vorgesehen, daß der Netzhautreflex mit der Verwendung von dichroitischen Filtern (DFR, DFG und DFB) und drei getrennten Detekto­ ren (PMR, PMG und PMB) in bis zu drei Farbkanälen aufgeteilt ist und damit ein weitgehend unverfälschtes Farbbild aufgenommen werden kann. Auf der Laserseite wird ebenso mit dichroitischen Strahlteilern die Strahlen von bis zu drei Lasern im roten, grünen und blauen Spektralbereich (LR, LG, LB) nach der getrennten Bildmodulation jeder Farbe (MR, MG, MB) auf einer gemein­ samen Achse vereinigt.
Zur farbtreuen Bildaufnahme wird das optische Signal mit dichroitischen Fil­ tern DFR DFG und DKB im Empfangskanal in die drei Farbkomponenten vor den drei Photoempfängern, verzugsweise Photomultipliern PMR, PMG und PMB in die drei Grundfarben zerlegt und getrennt vermessen. Wegen der schwachen Lichtsignale werden vor allem Photon-counting Verfahren zum Einsatz kommen.
Die Erfindung sieht ferner vor, daß das von dem Detektor aufgenommene elektronische Bild nach einer Bildverarbeitung mit Hilfe von Laserstrahlquel­ len und -modulatoren wieder in ein serielles optisches Bild umgewandelt wird, und in einem zweiten Bildzyklus mit der gleichen optischen Einrichtung, - jetzt in der Funktion als Strahlablenkeinheit (Laser-Scanner) - nach Reflexion an der Brillenglasinnenfläche in das Auge synchron, aber zeitversetzt mit der Abta­ stung des Originalbildes zurückprojiziert wird.
Die Erfindung schlägt vor in Anspruch 20 die Perioden der Bildaufnahme und Bildprojektion zeitlich zu trennen, d. h. alternierend durchzuführen wie in Fig. 8 dargestellt ist, um eine Störung der Aufnahme des schwachen Netzhautbildes der Außenwelt durch die lichtstärkere Projektion zu vermeiden. In einem ersten Bildzyklus wird z. B. das Netzhautreflexbild aufgenommen und in dem zweiten wird das verarbeitete elektronische Bild in das Auge projiziert. In dem dritten Bildzyklus wird eine Aufnahme des Netzhautreflexbildes durchgeführt, in dem vierten wird wieder die Zurückprojektion durchgeführt, usw.
Wenn dieser Bildwechsel schnell genug ist, sorgt die Trägheit der Gesichtsin­ nes dafür, daß beide Bilder dem Betrachter überlagert erscheinen, vorausge­ setzt, daß die Zeitverzögerung für das in das Auge eingeblendete Bild unter­ halb der Bewegungsdauer und Wahrnehmungszeit des Auges liegt, und daß die Stabilität und Auflösung des eingeblendeten Bildes mit der Auflösung des Au­ ges vergleichbar ist.
Damit, sowohl die unbewußten schnellen Sakkadenbewegungen des Auges mit einer mittleren Amplitude von 5 Bogenminuten und einer Dauer zwischen 10 und 20 msec, als auch die schnellen Augenbewegungen von 20°-30°/sec beim Verfolgen eines bewegten Objektes über einen größeren Winkel erfaßt werden können, muß die Bildwiederholfrequenz ausreichend hoch sein. Mit einer Wie­ derholfrequenz zwischen 50 Hz bis 100 Hz, sowie in der Fernsehen- und Computertechnik, ist die Aufnahme den schnellsten Bewegungsvorgängen des Auges weitgehend angepaßt. Dies gilt, sowohl für einen Raster- als auch einen Spiralscan.
Weitere technische Anforderungen an die Aufnahmevorrichtung betreffen die Größe des erfaßten Gesichtsfeldes und die Bildauflösung der hier vorgeschla­ genen Vorrichtung. Für die meisten Anwendungen ist der Bereich des schärf­ sten Sehens mit einem Durchmesser von 10 und einer Anzahl von 7 Millionen Zapfen (Bildpixel) in der Netzhautgrube (Fovea) aber auch der angrenzende Bereich mit wesentlich geringerer Auflösung bis etwa 10° Durchmesser von Interesse. Für diese Unterschiedlichen Auflösungsanforderungen ist gerade der Spiralscan der Abtastspur besonders geeignet.
Als Lichtquellen zur Rückprojektion der Bilder ins Auge sind Halbleiterlaser bzw. miniaturisierte Festkörperlaser vorgesehen mit einer niedriger Dauer­ strichleistung (< 300 µW), die keine Gefährdung des Auges verursachen kön­ nen. Mit der Verwendung von Halbleiterlasern könnte die Bildmodulation di­ rekt über ihre Stromversorgung durchgeführt werden. Damit alle Farben er­ zeugt werden empfiehlt sich die Verwendung von drei Lasern mit den Grund­ farben rot, grün, blau. Wie das bekannte Farbdreieck des menschlichen Ge­ sichtsinnes zeigt können alle anderen Farben sowie die Unfarben grau und weiß durch Farbsummation von monochromatischen Laserlinien dieser Farben gebildet werden. Die Erfindung beinhaltet auch die Möglichkeit der Verwen­ dung von einzelnen Farben als monochromatische Lösung vor.
Die Erfindung sieht wie in Fig. 7 dargestellt einen Signal-Prozessor SP vor, der das direkte Bild von der Netzhaut elektronisch bearbeitet und alle Funktionen der Vorrichtung sowie die von Scannern VSS/HSS und Laserfleckeinstellung und Größe der Gesichtsfeldblende LAA/GFB synchron koordiniert. Der Bild­ verarbeitungscomputer BVC übernimmt dann die vom Auge wahrgenommenen Bild oder Bilder anderer technischer Sensoren die über einen externen An­ schluß EA dem Computer zugeführt werden und bearbeitet sie nach einer vor­ gegebenen Software SW, bevor sie mit Hilfe des Signalprozessors auf die La­ serstrahlen als Bildsignal aufmoduliert werden.
Die Laser-Projektion ermöglicht außer der Verarbeitung des aktuellen vom Computer verarbeitetes Bild in das Auge zu projizieren und mit dem Original­ bild zu verschmelzen, auch Fremdbilder, die dem Computer von extern zugelei­ tet werden, dem Außenbild im Auge synchron zu überlagern. Wenn die Zeit­ spanne zwischen Bildaufnahme und -Projektion im Vergleich zu den schnellen Augenbewegungen entsprechend kurz ist, wird das Auge, wie bei Betrachtung eines Fernsehschirmes, keine Bildunterbrechung mehr wahrnehmen.
Die getrennte aber gleichzeitige Bildabtastung an beiden Augen erfaßt auch die perspektivischen Unterschiede beider Bilder. Da diese bei der Laser- Zurückprojektion in beiden Augen erhalten bleiben, ist eine Wiederherstellung des räumlichen Sehens gewährleistet.
Außer der Projektion von den Netzhautbildern nach Bildverarbeitung zurück ins Auge ermöglicht die hier vorgeschlagene Einrichtung nach Anspruch 25 auch die Projektion dieser Laserbilder direkt auf die in der Umwelt befindli­ chen und vom Auge gesehenen Gegenstände. Dies Ausführung der Erfindung wird schematisch in Fig. 6 durch das Umklappen des Scanspiegels um einen Winkel von 90° schematisch dargestellt.
Die in der Erfindung verwendeten Bauelemente sind heute weitgehend minia­ turisiert und kostengünstig erhältlich. Die Strahlumlenkeinheit und Scanner können in einem einfachen Brillengestell B wie in Fig. 9 dargestellt ist unterge­ bracht werden. Mit Hilfe von Glasfaserleitung GFL können Laserprojektions­ einheit und Empfangseinheit abgesetzt in einem kleinen Gehäuse TOE, z. B. der Größe eines Taschenbuches mit Batterieversorgung untergebracht werden. Der Datenaustausch mit einem externen fest installierten Bildverarbeitungs­ rechner kann entweder über Radiowellen oder Infrarotstrahler erfolgen. Alle Elemente der Vorrichtung der Erfindung könnten nach dem heutigen Stand der Technik somit von einem Menschen mühelos getragen werden und der drahtlo­ se Bilddatenaustausch mit dem externen Rechner würde seine unbeschränkte Bewegungsfreiheit ermöglichen.
Die verschiedensten Einsatzbereiche der Erfindung können in den nachfolgen­ den vier Kategorien zusammengefaßt werden:
  • - Aufnahme von Bildern der Außenwelt, ihre Verarbeitung, Zurückprojek­ tion und Verschmelzung mit dem Originalbild im Auge.
  • - Überlagerung von Bildern anderer Aufnahmesysteme, z. B. in von der gleichen Szene in anderen Spektralbereichen auf das direkte Bild.
  • - Überlagerung von virtuellen Bildern, die alleine vom Computer hergestellt werden und
  • - Aufnahme von Bildern der Außenwelt und ihre Laser-Projektion nicht ins Auge, sondern auf die gleichen, vom Auge gesehenen Gegenstände der Außenwelt.
In der ersten Kategorie sind Anwendungen mit dem Ziel, das von dem Auge aufgenommene Bild durch gezielte Bildsummation zu verbessern, z. B. ein ver­ schwommenes oder lichtschwaches Bild zu verschärfen und verstärken, was für Sehbehinderte, aber auch für Normalsichtige von großer Hilfe wäre.
Andere mögliche Bildänderungen wären z. B. die Änderung der Farbe von Ob­ jekten durch neue Farbsummation. Diese Technik könnte zur gezielten Weiß­ färbung von bestimmten Bereichen des Sehfeldes, und damit zur Auslöschung oder Verminderung der optischen Informationen verwendet werden.
Die zweite Kategorie beinhaltet Überlagerung von Bildern der gleichen Szene z. B. aus dem unsichtbaren intraroten Bereich oder von Radargeräten. Diese Technik würde z. B. das Fahren oder Fliegen in der Nacht und bei Nebel oder Dunst wesentlich erleichtern.
In medizinischen Anwendungen könnten z. B. Röntgenbilder, akustische Bilder und Bilder vom Kernspintomographen dem direkten Bild des Körpers des Pa­ tentien oder seiner Organe zur Hilfestellung des Arztes bei der Diagnose und in der Chirurgie überlagert werden.
Die dritte Kategorie umfaßt Anwendungen, in denen das Bild durch virtuelle Zusatzeinblendungen ergänzt werden, wie z. B. in den Anwendungen der heuti­ gen HUDs bei dem Führen von Fahrzeugen. Die Erfindung bietet den zusätzli­ chen Vorteil der exakten Synchronisation der Einblendung mit dem Außenbild. Dadurch könnten Fremdbilder auf genau definierten freien Stellen innerhalb des Direktbildes, z. B. mit geringem Bildinhalt, oder als Stereobild in einer an­ deren Entfernung als die übrigen Gegenstände, eingeblendet werden.
Zu dieser dritten Kategorie gehören interaktive Anwendungen aus der Compu­ tertechnik, d. h. die Einblendung einer virtuellen Computermaus (Zielkreuzes), die alleine mit den Augenbewegungen (anstatt mit der Hand) über reale Ge­ genstände der Außenwelt (auch Display) geführt werden. Das Anklicken, oder ein Befehl könnte hier durch zusätzliche Augenbewegungen z. B. Augenlid­ schlag, oder Stimme oder mit Tastendruck ausgeführt werden.
Diese dritte Kategorie beinhaltet auch cyberspace-Anwendungen, d. h. die Einblendung von virtuellen Computervollbildern in die geschlossenen Brillen. Mit Hilfe der Erfindung könnten Aufnahmen des Netzhautbildes der einge­ blendeten virtuellen Bilder genutzt werden, um diese gegenüber den Augenbe­ wegungen zu stabilisieren.
Die vierte Kategorie beschreibt eine Art "aktives Sehen", d. h. eine vom Auge gesehene und von der Abtastvorrichtung aufgenommene Szene wird in dem nächsten Abtastzyklus mit einem Laser-Bildscheinwerfer seriell beleuchtet. Diese so beleuchtete Szene wird wieder vom Auge wahrgenommen und führt in dem darauffolgenden Zyklus zu einem verändertem zweiten Laser- Beleuchtungsvorgang, der von einem dritten Vorgang, usw. gefolgt wird.
In dieser Weise entsteht eine optische Rückkoppelungsschleife, die durch eine entsprechenden Auslegung der Beleuchtung als positive oder negative Rück­ koppelung für die verschiedensten Anwendungen genutzt werden kann, z. B. um schwach erkennbare Objekte zu erhellen, deren Kontrast zu erhöhen oder ihre Farbe zu ändern.

Claims (25)

1. Vorrichtung zur Aufnahme des auf der menschlichen Netzhaut des Auges abgebildeten Bildes der Außenwelt mit Hilfe einer scannenden Aufnahmevor­ richtung, dadurch gekennzeichnet, daß die Strahlen der Außenwelt durch die Gläser einer Brille transmittiert werden, die auf ihren Innenseiten als gewölbte abbildende Strahlteilerspiegel gestaltet sind und daß zur Aufnahme des von jedem Punkt der Netzhaut zurückgestreuten und aus dem Auge austretenden parallelen Strahlenbündel und zu ihrer Abbildung und Umlenkung eine zweiachsige Scanvorrichtung vorgesehen ist, die das Lichtbündel zu einem opto-elektronischen Detektor zur seriellen Aufnahme des Netzhautreflexes weiterleitet.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß mit Hilfe ei­ nes Strahlteilers Laserstrahlen über den gleichen Lichtweg, die gleiche Scan­ vorrichtung sowie Abbildung und Umlenkung an der Innenseite der gewölbten Brillengläser in umgekehrter Richtung wie das Reflexbild auf die Netzhaut ab­ gebildet werden.
3. Vorrichtung nach Anspruch 1 und 2, dadurch gekennzeichnet, daß mit Hilfe eines Strahlumschalters Laserstrahlen über den gleichen Lichtweg, die gleiche Scanvorrichtung sowie Abbildung und Umlenkung an der Innenseite der gewölbten Brillengläser in umgekehrter Richtung wie das Reflexbild auf die Netzhaut abgebildet werden.
4. Vorrichtung nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß die mo­ mentane optische Scanachse von Scanner aus gesehen in ihrer Verlängerung durch das Brillenglas immer in eine lichtabsorbierende Strahlungssenke ver­ läuft.
5. Vorrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß die Abbildung und Umlenkung der von Scanner ausgehenden Strahlenbündel vor der Umlenkung der Brille ins Auge mit Hilfe eines konkaven Hilfsspiegels ab­ gebildet und umgelenkt werden.
6. Vorrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß die Abbildung der von Scanner ausgehenden Strahlbündel vor der Umlenkung der Brille ins Auge sowohl mit Hilfe eines konkaven als auch konvexen Hilfsspie­ gels abgebildet und umgelenkt werden.
7. Vorrichtung nach Anspruch 1 und 2, dadurch gekennzeichnet, daß die Bildabtastung und Laserprojektion im Auge gegeneinander zeitlich getrennt und alternierend mit einer festen Bildfrequenz durchgeführt werden.
8. Vorrichtung nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß während der Periode der Bildabtastung zeitweise auch eine Laserbildprojektion ins Au­ ge durchgeführt wird.
9. Vorrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß die Ab­ tastspur über die Netzhaut entsprechend den bekannten Video-Normen mit der Ablenkeinheit geführt wird.
10. Eine Vorrichtung nach den Ansprüchen 1 bis 9, dadurch gekennzeichnet, daß die Abtastspur rasterförmig über die Netzhaut mit einer entsprechenden Auslegung und Ansteuerung der Scanvorrichtung durchgeführt wird.
11. Vorrichtung nach Anspruch 1 bis 9, dadurch gekennzeichnet, daß die Abtastspur spiralförmig über die Netzhaut mit einer entsprechende Auslegung und Ansteuerung der Scanvorrichtung geführt wird.
12. Vorrichtung nach Anspruch 1 bis 11, dadurch gekennzeichnet, daß im optischen Empfangskanal mit Hilfe von mehreren Strahlteilern und Photodetek­ toren mehrere spektrale Bereiche des Empfangssignals unabhängig voneinan­ der detektiert werden können.
13. Vorrichtung nach Anspruch 1 bis 12, dadurch gekennzeichnet, daß im Beleuchtungskanal mit Hilfe von Strahlteilern mehrere Laserstrahlen auf die gleiche Strahlachse gebracht werden können und dadurch gemeinsam auf die Netzhaut abgebildet werden können.
14. Vorrichtung nach Anspruch 1 bis 13, dadurch gekennzeichnet, daß der Strahlengang der Laserprojektionseinheit und Empfangseinheit mit einer star­ ren Strahlführung ausgelegt ist.
15. Vorrichtung nach Anspruch 1 bis 13, dadurch gekennzeichnet, daß der Strahlengang der Laserprojektionseinheit mit Lasern, Bildmodulatoren und Strahlteilern über eine Glasfaser an den Strahlumschalter geführt wird.
16. Vorrichtung nach Anspruch 1 bis 14, dadurch gekennzeichnet, daß der Strahlengang der Empfangseinheit mit Photoempfängern und Strahlteilern über eine Glasfaser an die Strahlumschalteinheit geführt wird.
17. Vorrichtung nach Anspruch 1 bis 16, dadurch gekennzeichnet, daß im Strahlengang der Laserprojektionseinheit eine Strahlfokussiereinrichtung inte­ griert ist womit die Größe des Bildflecks der Laser auf der Netzhaut variiert werden kann.
18. Vorrichtung nach Anspruch 1 bis 17, dadurch gekennzeichnet, daß im Strahlengang der Empfangseinheit eine variable Gesichtsfeldblende integriert ist womit die Größe des Abtastflecks auf der Netzhaut variiert werden kann.
19. Vorrichtung nach Anspruch 1 bis 18, dadurch gekennzeichnet, daß das von den Photoempfängern aufgenommene Bild einem Bildverarbeitungscompu­ ter zugeleitet wird der synchron mit der Bildabtastung die aufgenommenen Bil­ der bearbeitet.
20. Vorrichtung nach Anspruch 1 bis 19, dadurch gekennzeichnet, daß das von einem Bildverarbeitungscomputer verarbeitete Bild der Netzhaut, mit Hilfe von elektro-optischen Modulatoren im Strahlengang der einzelnen Laserstrah­ len ein Bild synchron aber zeitversetzt mit der Abtastung auf der Netzhaut entstehen läßt.
21. Vorrichtung nach Anspruch 1 bis 20, dadurch gekennzeichnet, daß Fremdbilder von anderen Sensoren als dem Auge in dem Bildverarbeitung­ scomputer mit dem dort abgespeicherten momentanen Netzhautbild örtlich und zeitlich synchronisiert wird und mit den Laserstrahlen zeitversetzt ins Auge projiziert werden.
22. Vorrichtung nach Anspruch 1 bis 21, dadurch gekennzeichnet, daß In­ formationen im Computer generiert in dem Bildverarbeitungscomputer mit dem dort abgespeicherten momentanen Netzhautbild örtlich und zeitlich synchroni­ siert wird und mit den Laserstrahlen ins Auge projiziert werden.
23. Vorrichtung nach Anspruch 1 bis 22, dadurch gekennzeichnet, daß mit Hilfe eines optischen Schalters das Außenlicht vor der Brille teilweise oder ganz zusperrt.
24. Vorrichtung nach Anspruch 1 bis 22, dadurch gekennzeichnet, daß bei verminderter oder gesperrter Sicht nach außen und bei Projektion von Laser­ bildern von fremden Sensoren oder Computern auf der Netzhaut auch während der Laserprojektion diese Bilder von den Detektoren aufgenommen und dem Bildverarbeitungscomputer zugeführt werden.
25. Vorrichtung nach Anspruch 1 bis 24, dadurch gekennzeichnet, daß die von der Netzhaut aufgenommenen Bilder der Außenwelt durch Umklappen des Strahlenganges um 180° gegenüber dem Achsenverlauf ins Auge den Strahl in die Außenwelt zur Beleuchtung der von dem Auge gesehenen Objekte mit dem vom Rechner abgeleiteten Laserbild verwenden.
DE19631414A 1996-08-05 1996-08-05 Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge Ceased DE19631414A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE19631414A DE19631414A1 (de) 1996-08-05 1996-08-05 Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
PCT/EP1997/004188 WO1998005992A2 (de) 1996-08-05 1997-08-01 Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge
JP10507591A JP2000515645A (ja) 1996-08-05 1997-08-01 網膜反射画像を撮影し、目の中で追加画像を重ね合わせるための装置
US09/230,996 US6227667B1 (en) 1996-08-05 1997-08-01 Apparatus for recording the retina reflex image and for superimposing of additional images in the eye
AU44533/97A AU4453397A (en) 1996-08-05 1997-08-01 Device for the capturing of the retinal reflex image and the superimposition of additional images in the eye
EP97942840A EP0917661A2 (de) 1996-08-05 1997-08-01 Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19631414A DE19631414A1 (de) 1996-08-05 1996-08-05 Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge

Publications (1)

Publication Number Publication Date
DE19631414A1 true DE19631414A1 (de) 1998-02-19

Family

ID=7801716

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19631414A Ceased DE19631414A1 (de) 1996-08-05 1996-08-05 Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge

Country Status (6)

Country Link
US (1) US6227667B1 (de)
EP (1) EP0917661A2 (de)
JP (1) JP2000515645A (de)
AU (1) AU4453397A (de)
DE (1) DE19631414A1 (de)
WO (1) WO1998005992A2 (de)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999003013A1 (de) * 1997-07-07 1999-01-21 Daimlerchrysler Ag Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
WO1999042315A1 (de) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
DE19807081A1 (de) * 1998-02-20 1999-09-02 Daimler Chrysler Ag Verfahren zum Bedienen von Systemen durch optische Erfassung der Bedienfunktion
DE19807065A1 (de) * 1998-02-20 1999-09-02 Daimler Benz Ag Verfahren zur Steuerung von Funktionen mobiler Systeme
DE19807271A1 (de) * 1998-02-20 1999-09-23 Daimler Chrysler Ag Verfahren zur Erfassung und Umsetzung von ortsfesten Bildinformationen
WO2001032472A1 (de) * 1999-11-03 2001-05-10 Robert Bosch Gmbh Assistenzvorrichtung in einem fahrzeug
EP1190667A2 (de) 2000-09-23 2002-03-27 Physoptics Opto-Electronic GmbH System zur Aufnahme des Netzhautreflexbildes
WO2002031580A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem
WO2002031579A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Verfahren und vorrichtung zur überspielung von optischen informationen auf die menschliche netzhaut
WO2002031578A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem
WO2002031577A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002095480A1 (de) * 2001-05-22 2002-11-28 Physoptics Opto-Electronic Gmbh Verfahren und system zum zurverfuegungstellen von informationen über das auge.
US6523955B1 (en) 1997-07-07 2003-02-25 Heinrich A. Eberl Method for improving optic perceptive faculty by modifying the retinal image
EP1301116A4 (de) * 2000-07-13 2005-02-09 Univ California Skotoma-erkennung mittels virtual-reality-peripheraler sicht
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
EP2157469A1 (de) * 2008-08-19 2010-02-24 Robert Bosch Gmbh Laserprojektionssystem zur Modulierung und/oder Abbildung von Laserstrahlen
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
DE102018215281B4 (de) * 2017-09-12 2020-03-12 Otos Wing. Co., Ltd. Protektor für einen Schweißer

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856750B2 (en) * 1997-12-08 2010-12-28 Horus Vision Llc Apparatus and method for calculating aiming point information
JP2000258723A (ja) * 1999-03-11 2000-09-22 Minolta Co Ltd 映像表示装置
JP3695217B2 (ja) * 1999-04-30 2005-09-14 オムロン株式会社 画像処理装置及び画像入力装置
DE19951001C2 (de) 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
JP4574774B2 (ja) * 2000-01-06 2010-11-04 オリンパス株式会社 映像表示装置
US6735328B1 (en) 2000-03-07 2004-05-11 Agilent Technologies, Inc. Personal viewing device with system for providing identification information to a connected system
DE10050174C1 (de) * 2000-10-11 2002-05-29 Bosch Gmbh Robert Vorrichtung zur Anzeige von Informationen in einem Fahrzeug
US6607527B1 (en) * 2000-10-17 2003-08-19 Luis Antonio Ruiz Method and apparatus for precision laser surgery
DE10121392A1 (de) * 2001-05-02 2002-11-21 Bosch Gmbh Robert Vorrichtung zur Steuerung von Geräten mittels Blickrichtung
DE10127366A1 (de) * 2001-06-06 2002-12-12 Klaus Dietrich Vorrichtung und Verfahren zur Laserprojektion eines Bildes auf die Netzhaut des Auges, überlagert mit einem Weitwinkelgesichtsfeld
DE10127367A1 (de) * 2001-06-06 2002-12-12 Klaus Dietrich Vorrichtung und Verfahren zur Laserprojektion hochauflösender Bilder auf die Netzhaut des Auges, überlagert mit dem Bildinhalt des Gesichtsfeldes
WO2004051344A1 (ja) * 2002-11-29 2004-06-17 Brother Kogyo Kabushiki Kaisha 画像表示装置
WO2005022237A1 (ja) * 2003-08-27 2005-03-10 Brother Kogyo Kabushiki Kaisha 網膜走査型ディスプレイ装置
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
JP4586393B2 (ja) * 2004-03-31 2010-11-24 ブラザー工業株式会社 網膜走査画像表示装置
US9155483B2 (en) 2004-12-03 2015-10-13 The Invention Science Fund I, Llc Vision modification with reflected image
US7334894B2 (en) * 2004-12-03 2008-02-26 Searete, Llc Temporal vision modification
US7486988B2 (en) * 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
US8244342B2 (en) * 2004-12-03 2012-08-14 The Invention Science Fund I, Llc Method and system for adaptive vision modification
US7390088B2 (en) * 2004-12-03 2008-06-24 Searete Llc Adjustable lens system with neural-based control
US8104892B2 (en) * 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
US7470027B2 (en) * 2004-12-03 2008-12-30 Searete Llc Temporal vision modification
US7931373B2 (en) * 2004-12-03 2011-04-26 The Invention Science Fund I, Llc Vision modification with reflected image
US7344244B2 (en) * 2004-12-03 2008-03-18 Searete, Llc Adjustable lens system with neural-based control
US7334892B2 (en) * 2004-12-03 2008-02-26 Searete Llc Method and system for vision enhancement
US7594727B2 (en) * 2004-12-03 2009-09-29 Searete Llc Vision modification with reflected image
US7656569B2 (en) * 2004-12-03 2010-02-02 Searete Llc Vision modification with reflected image
US7350919B2 (en) * 2004-12-03 2008-04-01 Searete Llc Vision modification with reflected image
EP1907918A2 (de) * 2005-07-05 2008-04-09 O-Pen ApS Touch-pad-system
JP2007094279A (ja) * 2005-09-30 2007-04-12 Brother Ind Ltd 光結合器及び画像表示装置
US8013845B2 (en) * 2005-12-30 2011-09-06 Flatfrog Laboratories Ab Optical touch pad with multilayer waveguide
US8262646B2 (en) * 2006-01-20 2012-09-11 Lensar, Inc. System and method for providing the shaped structural weakening of the human lens with a laser
US8031186B2 (en) * 2006-07-06 2011-10-04 Flatfrog Laboratories Ab Optical touchpad system and waveguide for use therein
US8094136B2 (en) * 2006-07-06 2012-01-10 Flatfrog Laboratories Ab Optical touchpad with three-dimensional position determination
US9063617B2 (en) * 2006-10-16 2015-06-23 Flatfrog Laboratories Ab Interactive display system, tool for use with the system, and tool management apparatus
US20080189046A1 (en) * 2007-02-02 2008-08-07 O-Pen A/S Optical tool with dynamic electromagnetic radiation and a system and method for determining the position and/or motion of an optical tool
US7916922B2 (en) * 2007-08-23 2011-03-29 Siemens Aktiengesellschaft X-ray image orientation in radiography and fluoroscopy
JP5568725B2 (ja) * 2007-12-10 2014-08-13 オプトス・ピーエルシー 大容量の網膜像及び良く記録された眼底像に基づいてマイクロ視野測定試験を行うための方法
RU2435221C2 (ru) * 2007-12-10 2011-11-27 Государственное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет Аэрокосмического приборостроения" Способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
JP5548026B2 (ja) * 2010-05-13 2014-07-16 ダイコク電機株式会社 遊技場用管理システム
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
FR2999302B1 (fr) * 2012-12-10 2017-12-22 Yahiatene Daniel Ait Dispositif permettant d'ameliorer la vision d'un etre humain
WO2014168567A1 (en) 2013-04-11 2014-10-16 Flatfrog Laboratories Ab Tomographic processing for touch detection
JP6209456B2 (ja) * 2013-05-31 2017-10-04 株式会社Qdレーザ 画像投影装置及び投射装置
WO2015005847A1 (en) 2013-07-12 2015-01-15 Flatfrog Laboratories Ab Partial detect mode
US9585557B1 (en) 2013-10-03 2017-03-07 Alvin Spivey Spectral flying spot eye-tracker and heads-up display
WO2015108479A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Light coupling in tir-based optical touch systems
US10126882B2 (en) 2014-01-16 2018-11-13 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
US10268041B2 (en) 2014-05-24 2019-04-23 Amalgamated Vision Llc Wearable display for stereoscopic viewing
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
DE102014012452A1 (de) * 2014-08-21 2016-02-25 Rodenstock Gmbh Ermittlung von Benutzerdaten unter Berücksichtigung von Bilddaten einer ausgewählten Brillenfassung
JP6402991B2 (ja) * 2014-10-02 2018-10-10 セイコーエプソン株式会社 画像表示装置
DE102015100765A1 (de) * 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
WO2016122385A1 (en) 2015-01-28 2016-08-04 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
EP3537269A1 (de) 2015-02-09 2019-09-11 FlatFrog Laboratories AB Optisches berührungssystem
WO2016140612A1 (en) 2015-03-02 2016-09-09 Flatfrog Laboratories Ab Optical component for light coupling
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
KR102400705B1 (ko) 2015-12-09 2022-05-23 플라트프로그 라보라토리즈 에이비 개선된 스타일러스 식별
JP6231585B2 (ja) * 2016-01-05 2017-11-15 株式会社Qdレーザ 画像投影装置
CN110100226A (zh) 2016-11-24 2019-08-06 平蛙实验室股份公司 触摸信号的自动优化
CN119847372A (zh) 2016-12-07 2025-04-18 平蛙实验室股份公司 触摸感测装置
CN116679845A (zh) 2017-02-06 2023-09-01 平蛙实验室股份公司 触摸感测装置
JP2018132685A (ja) * 2017-02-16 2018-08-23 富士フイルム株式会社 ヘッドアップディスプレイ装置
US20180275830A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Ab Object characterisation for touch displays
WO2018182476A1 (en) 2017-03-28 2018-10-04 Flatfrog Laboratories Ab Touch sensing apparatus and method for assembly
IL252582A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd A method and system for registration between the outside world and a virtual image
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
CN110753876B (zh) 2017-09-29 2022-04-15 Qd激光公司 图像投影装置
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
WO2019172826A1 (en) 2018-03-05 2019-09-12 Flatfrog Laboratories Ab Improved touch-sensing apparatus
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2020112197A2 (en) 2018-09-04 2020-06-04 Hvrt Corp. Reticles, methods of use and manufacture
US10979681B2 (en) * 2018-09-13 2021-04-13 Varjo Technologies Oy Display apparatus and method of displaying using light source and beam scanning arrangement
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
EP4066089B1 (de) 2019-11-25 2024-09-25 FlatFrog Laboratories AB Ein berührungsempfindliches gerät
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US12282653B2 (en) 2020-02-08 2025-04-22 Flatfrog Laboratories Ab Touch apparatus with low latency interactions
US11893189B2 (en) 2020-02-10 2024-02-06 Flatfrog Laboratories Ab Touch-sensing apparatus
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
WO2023021451A1 (en) 2021-08-18 2023-02-23 Augmedics Ltd. Augmented reality assistance for osteotomy and discectomy
EP4511809A1 (de) 2022-04-21 2025-02-26 Augmedics Ltd. Systeme und verfahren zur visualisierung medizinischer bilder
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3614153A1 (de) * 1985-07-01 1987-01-08 Jenoptik Jena Gmbh Anordnung zur pruefung des refraktionszustandes des menschlichen auges
DE3607721A1 (de) * 1986-03-08 1987-09-10 Rodenstock Instr Vorrichtung zur laserbehandlung des auges
WO1988003396A1 (fr) * 1986-11-08 1988-05-19 G. Rodenstock Instrumente Gmbh Dispositif pour la production d'images d'un objet et notamment pour l'observation des parties arriere de l'oeil
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
EP0722108A1 (de) * 1995-01-10 1996-07-17 Hughes Aircraft Company Anzeigegerät mit Verzerrungskorrektur

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4213678A (en) 1977-09-29 1980-07-22 Retina Foundation Scanning ophthalmoscope for examining the fundus of the eye
FR2555039B1 (fr) 1983-11-21 1986-04-04 Centre Nat Rech Scient Ophtalmoscope catadioptrique a balayage
US5177511A (en) 1986-11-08 1993-01-05 G. Rodenstock Instruments Gmbh Apparatus for producing images of an object and in particular for observing the rear portions of the eye
US4758080A (en) * 1986-12-18 1988-07-19 Cornell Research Foundation, Inc. Pointspread retinoscope
US4991953A (en) 1989-02-09 1991-02-12 Eye Research Institute Of Retina Foundation Scanning laser vitreous camera
JP3000621B2 (ja) * 1990-05-17 2000-01-17 ソニー株式会社 視覚補助装置
US5355181A (en) 1990-08-20 1994-10-11 Sony Corporation Apparatus for direct display of an image on the retina of the eye using a scanning laser
CA2060406C (en) 1991-04-22 1998-12-01 Bruce Edward Hamilton Helicopter virtual image display system incorporating structural outlines
EP0562742A1 (de) 1992-03-25 1993-09-29 Motorola, Inc. Direkte Abtastbildwiedergabe auf der Netzhaut
US5644642A (en) * 1995-04-03 1997-07-01 Carl Zeiss, Inc. Gaze tracking using optical coherence tomography

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3614153A1 (de) * 1985-07-01 1987-01-08 Jenoptik Jena Gmbh Anordnung zur pruefung des refraktionszustandes des menschlichen auges
DE3607721A1 (de) * 1986-03-08 1987-09-10 Rodenstock Instr Vorrichtung zur laserbehandlung des auges
WO1988003396A1 (fr) * 1986-11-08 1988-05-19 G. Rodenstock Instrumente Gmbh Dispositif pour la production d'images d'un objet et notamment pour l'observation des parties arriere de l'oeil
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
EP0722108A1 (de) * 1995-01-10 1996-07-17 Hughes Aircraft Company Anzeigegerät mit Verzerrungskorrektur

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEBB, HUGHES u. DELORI: Confocal scanning laser ophthalmoscope. In: Applied Optics, Vol.26, 15.April 1987, No.8, S.1492-1499 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6523955B1 (en) 1997-07-07 2003-02-25 Heinrich A. Eberl Method for improving optic perceptive faculty by modifying the retinal image
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
WO1999003013A1 (de) * 1997-07-07 1999-01-21 Daimlerchrysler Ag Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
WO1999042315A1 (de) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
DE19807081A1 (de) * 1998-02-20 1999-09-02 Daimler Chrysler Ag Verfahren zum Bedienen von Systemen durch optische Erfassung der Bedienfunktion
DE19807065A1 (de) * 1998-02-20 1999-09-02 Daimler Benz Ag Verfahren zur Steuerung von Funktionen mobiler Systeme
DE19807271A1 (de) * 1998-02-20 1999-09-23 Daimler Chrysler Ag Verfahren zur Erfassung und Umsetzung von ortsfesten Bildinformationen
DE19807081C2 (de) * 1998-02-20 2000-08-31 Daimler Chrysler Ag Verfahren zum Bedienen von Systemen durch optische Erfassung eines Bedienelements oder Gegenstands
DE19807065C2 (de) * 1998-02-20 2000-11-30 Daimler Chrysler Ag Verfahren zur Steuerung von Funktionen mobiler Systeme
WO2001032472A1 (de) * 1999-11-03 2001-05-10 Robert Bosch Gmbh Assistenzvorrichtung in einem fahrzeug
US7142696B1 (en) 1999-11-03 2006-11-28 Robert Bosch Gmbh Assistance device in a motor vehicle
EP1301116A4 (de) * 2000-07-13 2005-02-09 Univ California Skotoma-erkennung mittels virtual-reality-peripheraler sicht
EP1190667A3 (de) * 2000-09-23 2002-11-27 Physoptics Opto-Electronic GmbH System zur Aufnahme des Netzhautreflexbildes
EP1190667A2 (de) 2000-09-23 2002-03-27 Physoptics Opto-Electronic GmbH System zur Aufnahme des Netzhautreflexbildes
US6916096B2 (en) 2000-09-23 2005-07-12 Heinrich A. Eberl System and method for recording the retinal reflex image
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
US9427154B2 (en) 2000-10-07 2016-08-30 Metaio Gmbh Information system and method for providing information using a holographic element
WO2002031579A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Verfahren und vorrichtung zur überspielung von optischen informationen auf die menschliche netzhaut
WO2002031578A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem
US10188288B2 (en) 2000-10-07 2019-01-29 Apple Inc. Information system and method for providing information using a holographic element
WO2002031580A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem
US8944602B2 (en) 2000-10-07 2015-02-03 Metaio Gmbh Information system and method for providing information using a holographic element
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US8382285B2 (en) 2000-10-07 2013-02-26 Metaio Gmbh Device and method for determining the orientation of an eye
WO2002031577A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut
US8016421B2 (en) 2000-10-07 2011-09-13 Metaio Gmbh Information system and method for providing information using a holographic element
US8042947B1 (en) 2000-10-07 2011-10-25 Metaio Gmbh Information system
US7969383B2 (en) 2001-01-30 2011-06-28 Metaio Gmbh Interactive data view and command system
US8686923B2 (en) 2001-01-30 2014-04-01 Metaio Gmbh Interactive data view and command system
US7245273B2 (en) 2001-01-30 2007-07-17 David Parker Dickerson Interactive data view and command system
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002095480A1 (de) * 2001-05-22 2002-11-28 Physoptics Opto-Electronic Gmbh Verfahren und system zum zurverfuegungstellen von informationen über das auge.
EP2157469A1 (de) * 2008-08-19 2010-02-24 Robert Bosch Gmbh Laserprojektionssystem zur Modulierung und/oder Abbildung von Laserstrahlen
DE102018215281B4 (de) * 2017-09-12 2020-03-12 Otos Wing. Co., Ltd. Protektor für einen Schweißer
US11439538B2 (en) 2017-09-12 2022-09-13 Otos Wing.Co., Ltd. Protector for welder

Also Published As

Publication number Publication date
WO1998005992A8 (de) 2001-06-21
US6227667B1 (en) 2001-05-08
EP0917661A2 (de) 1999-05-26
WO1998005992A3 (de) 1998-04-30
WO1998005992A2 (de) 1998-02-12
JP2000515645A (ja) 2000-11-21
AU4453397A (en) 1998-02-25

Similar Documents

Publication Publication Date Title
DE19631414A1 (de) Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
DE10047237A1 (de) System zur Aufnahme des Netzhautreflexbildes
DE102020105652B4 (de) Verfolgungssystem mit infrarot-kamera
DE69433556T2 (de) Bildanzeigevorrichtung
EP1405122B1 (de) Vorrichtung zur bestimmung der orientierung eines auges
EP3411747B1 (de) Projektionsvorrichtung für eine datenbrille, verfahren zum darstellen von bildinformationen mittels einer projektionsvorrichtung und steuergerät
US6523955B1 (en) Method for improving optic perceptive faculty by modifying the retinal image
DE102021200893A1 (de) Optisches System für eine virtuelle Netzhautanzeige und Verfahren zum Projizieren von Bildinhalten auf eine Netzhaut
EP1430349B1 (de) Informationssystem
DE10204430A1 (de) Stereo-Mikroskopieverfahren und Stereo-Mikroskopiesystem
WO1995024152A1 (en) Electro-optical device for concurrent anterior and posterior ophthalmoscopy
DE102018209886B4 (de) Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges und Brilleneinrichtung mit zwei derartigen Einrichtungen
WO2002097511A1 (de) Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges
EP1840627B1 (de) Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
EP1000376A1 (de) Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
Cuschieri Visual display technology for endoscopic surgery
EP1405121A1 (de) Informationssystem mit erfassung des bildes der aussenwelt auf der netzhaut
EP1430350B1 (de) Informationssystem
DE69211822T2 (de) Anordnung zur Bestimmung desjenigen Teils eines Bildfeldes, das vom Auge eines Beobachters betrachtet wird
DE102019201766A1 (de) Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät
JP2001242417A (ja) 瞳孔位置検出装置及びそれを用いた画像表示装置
JPH07213487A (ja) 眼科装置
DE19734902C2 (de) Vorrichtung zur Verbesserung oder Wiederherstellung der Sehfähigkeit eines Auges mit geschädigtem Vorderabschnitt
TW200825455A (en) A method for tracking a virtual observer window and to a display device
DE102024201427A1 (de) Verfahren zum Betrieb einer Datenbrille und Datenbrille

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLER-BENZ AKTIENGESELLSCHAFT, 70567 STUTTGART,

8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70567 STUTTGART, DE EBERL, HEI

Q161 Has additional application no.

Ref document number: 19728890

Country of ref document: DE

8127 New person/name/address of the applicant

Owner name: EBERL, HEINRICH ALEXANDER, 87463 DIETMANNSRIED, DE

8131 Rejection