[go: up one dir, main page]

WO2008145169A1 - Mobiles gerät und verfahren zur virtuellen netzhautanzeige - Google Patents

Mobiles gerät und verfahren zur virtuellen netzhautanzeige Download PDF

Info

Publication number
WO2008145169A1
WO2008145169A1 PCT/EP2007/004843 EP2007004843W WO2008145169A1 WO 2008145169 A1 WO2008145169 A1 WO 2008145169A1 EP 2007004843 W EP2007004843 W EP 2007004843W WO 2008145169 A1 WO2008145169 A1 WO 2008145169A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
user
image
pose
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2007/004843
Other languages
English (en)
French (fr)
Inventor
Thomas Grosch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Priority to PCT/EP2007/004843 priority Critical patent/WO2008145169A1/de
Publication of WO2008145169A1 publication Critical patent/WO2008145169A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera

Definitions

  • the invention relates to a mobile device and a method for projecting an image on a retina of a user by means of a projection unit.
  • US 2007/0052672 A1 discloses a device for virtual retinal display (VNA) in the form of spectacles.
  • VNA virtual retinal display
  • a raster image can be projected directly onto the retina of a user's eye so that the user sees the raster image as projected onto a screen floating in the air in front of it.
  • the projection unit used for the display is rigidly coupled with respect to its position and position to the retina of the user.
  • tracking methods are known with which the position and position of a user or of a user-carried camera can be compared with respect to the real one he is considering Environment can be determined.
  • a method is known in which the position and orientation of a camera is determined by means of a video sequence recorded by the camera by means of electronic image processing.
  • the invention has for its object to provide a virtual retina display with a mobile device whose position and position is variable with respect to the user.
  • a mobile device having a tracking system for continuously determining the pose of the mobile device with respect to a user, a projection unit for projecting an image on a retina of a user, and
  • Control means for controlling the projection unit in accordance with the pose determined by the tracking system such that the image can be projected onto the retina.
  • the object is achieved by a method for projecting an image onto a retina of a user by means of a projection unit integrated in a mobile device, in which a tracking system of the mobile device continuously detects the pose of the mobile device with respect to the user, and the projection unit is controlled in accordance with the pose determined by the tracking system so that the image can be projected onto the retina.
  • the pose is understood as the combination of position and orientation in three-dimensional space. Accordingly, the position and orientation of the mobile device with respect to the user is understood here and in the entire document under the pose.
  • the invention is based on the recognition that a virtual retina display with a mobile device, which in no way rigid with a Eye of the user can be realized, if the position and orientation of the mobile device with respect to the user or its retina are constant. Since the position and the orientation can be changed during the display due to the mobile character of the device according to the invention, the pose is continuously detected with the aid of the tracking system. As soon as the pose changes, eg in which the user turns the mobile device or leads away from it, this is detected by the tracking system. With the help of the control means, this pose change is compensated, so that the image to be displayed can continue to be projected onto the retina of the user.
  • the mobile device is enabled to detect movements that it itself performs with respect to the user in three dimensions and to compensate for them with the aid of the control means. In this way, it is possible to dispense with the fixed positioning of the projection unit for the virtual retina display relative to the eye of the user.
  • the invention enables the incorporation of virtual retinal displays into any portable device, such as a mobile device. Mobile phones, PDAs, laptops, mobile control panels, etc.
  • the tracking system can use various tracking algorithms known, for example, from the area of augmented reality, in order to continuously determine the position and position of the mobile device in relation to the user.
  • the mobile device comprises a camera for recording the user's face and the mobile device has image recognition means for determining image features on the basis of the image.
  • the pose of the mobile device with respect to the user can be determined with the aid of image processing methods, such as those used in so-called markerless tracking in the augmented reality environment.
  • the mobile device has a display for simultaneously displaying the image characteristics and the face detected by means of the camera. In this way, the user is able to first put the mobile device in a so-called initial pose. Here it is assumed that the user has first created an image of his face with the help of the camera. Based on this image, the said image features are determined.
  • the camera first uses the camera to recapture his face and display it on the screen.
  • the previously extracted image features are shown in the display. The user now has the opportunity to change the mobile device in its position and its position until the image features are brought into line with the captured by the camera image of his face. Once this has been done, it is ensured that the mobile device is again almost in the initial position at which the user's face was first recorded.
  • the projection unit is set so that it can project the image onto the user's retina when the initial pose is taken, subsequent changes in the pose can be compensated with the aid of the tracking system as described above.
  • the subsequent continuous compensation of a Posen- change after the mobile device has been brought into the initial pose can be implemented in an advantageous embodiment of the invention in that the camera is designed for continuous detection of the face during the continuous determination of the pose and the tracking system Image processing means for continuously determining the pose by comparing the image features and the continuously detected face comprises.
  • the tracking system comprises motion sensors for the continuous determination of the pose.
  • the mobile device is designed as a mobile phone.
  • a mobile telephone which is equipped with the retina projection possibility according to the invention can take into account in an outstanding manner the general user wish of a portable device which is as small and handy as possible, nevertheless with good display characteristics.
  • the projection unit for the projection of the image is formed on both retinae of the user, so that the user can perceive the image 3-dimensionally.
  • the projection unit for the projection of the image is formed on both retinae of the user, so that the user can perceive the image 3-dimensionally.
  • the figure shows schematically a method in which an image is projected onto a retina of a user 2 with the aid of a mobile device 1 designed as a mobile telephone.
  • the mobile device 1 or the mobile phone comprises a
  • Projection unit 3 which is integrated in the mobile phone. Since the mobile phone is not in a fixed position to the eye of the user 2, it must be able to determine the position and the viewing direction of the user 2. This is done by using a markerless tracking method, as explained below.
  • a tracking system is implemented which uses features relevant to the tracking from the face of the user 2.
  • the user 2 has to take a picture of his face once with a camera integrated in the mobile device 1.
  • the mobile device 1 uses image processing algorithms known from the prior art to determine characteristic image features that can be used for later tracking.
  • the image features 4 are displayed in a conventional display of the mobile device 1.
  • the projection unit 3 of the mobile device 1 is calibrated so that it can project into a retina of the user in the pose in which the user 2 once takes the image of his face.
  • the user wants to use the mobile device 1 for virtual retina display, he will in turn record his face with the help of installed in the mobile device 1 camera. At this stage, his face is continuously picked up by the camera.
  • the image of its continuously recorded face is displayed together with the previously determined image features.
  • the user 2 now manually brings the mobile device 1 in the pose, in which the displayed image features are with his recorded face on the conventional display in cover. Once this has been done, it is ensured that the mobile device is again in the initial pose, in which the projection unit can project the image to be displayed onto the retina of the user 2. Subsequently, poses changes can be compensated with the help of the tracking system such that the virtual retina display continues to hit the user retina.
  • the distance of the mobile device 1 to the eye of the user can be determined optically based on the lens settings and the geometry of the camera. If the If the mobile device 1 leads the mobile device 1 farther away from its eye, the focal length of the camera objective can be adjusted in such a way that the image acquired by the user 2 continues to coincide with the superimposed image features. In turn, it is possible to draw conclusions about the extent to which the projection needs to be changed so that it can continue to project onto the retina of the user 2.
  • Movements of the mobile device 1 itself can be detected by a sensor installed in the mobile device 1.
  • the projection unit can be adapted to the movements performed by the mobile device 1 and thus compensate for them.
  • the user is projected a stable image on the retina, even if the distance to the mobile device 1 changes or the mobile device 1 itself changes its position or orientation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein mobiles Gerät (1) und ein Verfahren zur Projektion eines Bildes auf eine Netzhaut eines Anwenders (2). Um eine virtuelle Netzhautanzeige mit einem mobilen Gerät (1) zu ermöglichen, dessen Position und Lage in Bezug auf den Anwender (2) veränderbar ist, wird vorgeschlagen, dass mit einem Trackingsystem des mobilen Gerätes (1) kontinuierlich die Pose des mobilen Gerätes (1) in Bezug auf den Anwender (2) erfasst wird und die Projektionseinheit (3) entsprechend der vom Tracking-System bestimmten Pose derart gesteuert wird, dass das Bild auf die Netzhaut projizierbar ist.

Description

Beschreibung
Mobiles Gerät und Verfahren zur virtuellen Netzhautanzeige
Die Erfindung betrifft ein mobiles Gerät und ein Verfahren zur Projektion eines Bildes auf eine Netzhaut eines Anwenders mit Hilfe einer Projektionseinheit.
Durch die zunehmende Miniaturisierung verbreiten sich mobile Geräte mit visuellen Wiedergabemöglichkeiten im weiter. Mobiltelefone, PDA's sowie mobile Navigationssysteme besitzen in der Regel Displays, die auf der LCD-Technik basieren und an die immer höhere Anforderungen hinsichtlich ihrer Wiedergabeeigenschaften gestellt werden. Auf der einen Seite be- steht der Wunsch, diese tragbaren Geräte möglichst klein zu gestalten. Auf der anderen Seite sollen immer komplexere Grafiken oder Videos mit Hilfe der in den mobilen Geräten eingebauten Displays dargestellt werden. Da jedoch bei kompakten Geräten in der Regel nur einige wenige Quadratzentimeter Flä- che für die Bilddarstellung zur Verfügung stehen, stößt man bei dem Wunsch, die Qualität der Wiedergabe zu verbessern, sehr schnell an praktische Grenzen.
Aus US 2007/0052672 Al ist ein in Form einer Brille ausge- führtes Gerät zur virtuellen Netzhautanzeige (VNA) bekannt. Mit einem solchen Gerät kann ein Rasterbild direkt auf die Netzhaut des Auges eines Anwenders projiziert werden, so dass der Anwender das Rasterbild sieht, als wäre es auf eine Leinwand projiziert, die vor ihm in der Luft schwebt. Dadurch, dass die Vorrichtung zur virtuellen Netzhautanzeige in Form einer Brille ausgeführt ist, ist die für die Anzeige verwendete Projektionseinheit hinsichtlich ihrer Lage und Position starr mit der Netzhaut des Benutzers gekoppelt.
Aus dem Bereich der erweiterten Realität bzw. Augmented Rea- Iity sind sogenannte Trackingverfahren bekannt, mit denen die Position und die Lage eines Anwenders bzw. einer vom Anwender getragenen Kamera in Bezug auf die von ihm betrachtete reale Umgebung bestimmt werden können. So ist beispielsweise aus der US 2003/0012410 Al ein Verfahren bekannt, bei dem die Position und die Orientierung einer Kamera anhand einer von der Kamera aufgenommenen Videosequenz mittels elektronischer Bildverarbeitung bestimmt wird.
Der Erfindung liegt die Aufgabe zugrunde, eine virtuelle Netzhautanzeige mit einem mobilen Gerät zu ermöglichen, dessen Position und Lage in Bezug auf den Anwender veränderbar ist.
Diese Aufgabe wird durch ein mobiles Gerät gelöst, mit einem Trackingsystem zur kontinuierlichen Bestimmung der Pose des mobilen Gerätes in Bezug auf einen Anwender, - einer Projektionseinheit zur Projektion eines Bildes auf eine Netzhaut eines Anwenders und
Steuerungsmittel zur Steuerung der Projektionseinheit entsprechend der vom Trackingsystem bestimmten Pose derart, dass das Bild auf die Netzhaut projizierbar ist.
Ferner wird die Aufgabe durch ein Verfahren zur Projektion eines Bildes auf eine Netzhaut eines Anwenders mittels einer in ein mobiles Gerät integrierten Projektionseinheit gelöst, bei dem - mit einem Trackingsystem des mobilen Gerätes kontinuierlich die Pose des mobilen Gerätes in Bezug auf den Anwender erfasst wird und - die Projektionseinheit entsprechend der vom Trackingsystem bestimmten Pose derart gesteuert wird, dass das Bild auf die Netzhaut projizierbar ist.
Unter der Pose wird gemäß DIN EN ISO 8373 die Kombination von Position und Orientierung im dreidimensionalen Raum verstanden. Entsprechend wird hier sowie im gesamten Dokument unter der Pose die Position und Orientierung des mobilen Gerätes in Bezug auf den Anwender verstanden. Der Erfindung liegt die Erkenntnis zugrunde, das eine virtuelle Netzhautanzeige mit einem mobilen Gerät, welches in keiner Weise starr mit einem Auge des Anwenders gekoppelt ist, realisiert werden kann, wenn die Position und die Orientierung des mobilen Gerätes in Bezug auf den Anwender bzw. dessen Netzhaut konstant sind. Da die Position und die Orientierung aufgrund des mobilen Cha- rakters des erfindungsgemäßen Gerätes während der Anzeige verändert werden können, wird die Pose mit Hilfe des Tra- ckingsystems kontinuierlich erfasst. Sobald sich die Pose ändert, z.B. in dem der Anwender das mobile Gerät dreht oder weiter von sich wegführt, wird dies vom Trackingsystem er- kannt . Mit Hilfe der Steuerungsmittel wird diese Posenänderung kompensiert, so dass das darzustellende Bild weiterhin auf die Netzhaut des Anwenders projiziert werden kann.
Erfindungsgemäß wird also das mobile Gerät in die Lage ver- setzt, Bewegungen die es selbst in Bezug auf den Anwender ausführt, dreidimensional zu erfassen und diese mit Hilfe der Steuerungsmittel auszugleichen. Auf diese Art und Weise kann auf die fixe Positionierung der Projektionseinheit zur virtuellen Netzhautanzeige relativ zum Auge des Anwenders verzich- tet werden. Somit ermöglicht die Erfindung den Einbau virtueller Netzhautanzeigegeräte in beliebige tragbare Geräte wie z.B. Mobiltelefone, PDA's, Laptops, mobile Bedienpanel, etc..
Das Trackingsystem kann hierbei verschiedene beispielsweise aus dem Bereich der Augmented Reality bekannte Trackingalgo- rithmen verwenden, um kontinuierlich Position und Lage des mobilen Gerätes in Bezug auf den Anwender zu bestimmen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das mo- bile Gerät eine Kamera zur Aufnahme des Gesichtes des Anwenders und weist das mobile Gerät Bilderkennungsmittel zur Ermittlung von Bildmerkmalen anhand der Aufnahme auf. Auf diese Art und Weise kann die Pose des mobilen Gerätes in Bezug auf den Anwender mit Hilfe von Bildverarbeitungsverfahren wie sie beispielsweise auch beim sogenannten markerlosen Tracking im Augmented Realitiy Umfeld eingesetzt werden, bestimmt werden. In weiterer vorteilhafter Ausgestaltung weist das mobile Gerät ein Display zur gleichzeitigen Darstellung der Bildmerk- male und des mittels der Kamera erfassten Gesichtes auf . Auf diese Art und Weise ist der Anwender in der Lage, das mobile Gerät zunächst in eine sogenannte Initialpose zu versetzen. Hierbei sei angenommen, dass der Anwender zunächst ein Bild seines Gesichtes mit Hilfe der Kamera erzeugt hat. Anhand dieses Bildes werden die besagten Bildmerkmale ermittelt. Bewegt der Anwender das mobile Gerät anschließend in eine ver- änderte Pose und möchte er im Anschluss daran die virtuelle Netzhautanzeige starten, so wird mit Hilfe der Kamera zunächst sein Gesicht erneut erfasst und auf dem Bildschirm dargestellt. Zusätzlich werden die zuvor extrahierten Bildmerkmale in das Display eingeblendet. Der Anwender hat nun die Möglichkeit, das mobile Gerät derart in seiner Lage und seiner Position zu verändern, bis die Bildmerkmale mit dem von der Kamera erfassten Abbild seines Gesichtes in Deckung gebracht sind. Ist dies geschehen, so ist sichergestellt, dass das mobile Gerät sich wieder annähernd in der Initialpo- se befindet, bei der das Gesicht des Anwenders erstmalig aufgenommen wurde .
Unter der Voraussetzung, dass die Projektionseinheit derart eingestellt ist, dass sie bei eingenommener Initialpose das Bild auf die Netzhaut des Anwenders projizieren kann, können nachfolgende Veränderungen der Pose unter Zuhilfenahme des Trackingsystems, wie zuvor beschrieben, kompensiert werden.
Die anschließende kontinuierliche Kompensation einer Posen- Veränderung, nachdem das mobile Gerät in die Initialpose gebracht wurde, können in vorteilhafter Ausgestaltung der Erfindung dadurch umgesetzt werden, dass die Kamera zur kontinuierlichen Erfassung des Gesichtes während der kontinuierlichen Bestimmung der Pose ausgebildet ist und das Tracking- System Bildverarbeitungsmittel zur kontinuierlichen Bestimmung der Pose durch Vergleich der Bildmerkmale und des kontinuierlich erfassten Gesichtes umfasst. Alternativ oder auch zusätzlich zu der zuvor beschriebenen optischen markerlosen PosenbeStimmung ist eine Ausführungsform der Erfindung vorteilhaft, bei der das Trackingsystem Bewegungssensoren zur kontinuierlichen Bestimmung der Pose umfasst.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist das mobile Gerät als Mobiltelefon ausgebildet. Ein Mobiltelefon, welches mit der erfindungsgemäßen Netzhautprojektionsmöglich- keit ausgestattet ist, kann den allgemeinen Anwenderwunsch eines möglichst kleinen und handlichen tragbaren Gerätes mit trotzdem guten Displayeigenschaften in herausragender Art und Weise Rechnung tragen.
Im Folgenden wird die Erfindung anhand des in der Figur dargestellten Ausführungsbeispiels näher beschrieben und erläutert.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist die Projektionseinheit zur Projektion des Bildes auf beide Netzhäute des Anwenders ausgebildet ist, so dass der Anwender das Bild 3-dimensional wahrnehmen kann. Für eine 3-dimensionale Wahrnehmung benötigt der Anwender nach heutigem Stand teure und aufwändige Displays oder Spezialbrillen, die durch diese Ausführung der Erfindung nicht mehr notwendig sind.
Die Figur zeigt schematisch ein Verfahren, bei dem mit Hilfe eines als Mobiltelefon ausgeführten mobilen Gerätes 1 ein Bild auf eine Netzhaut eines Anwenders 2 projiziert wird. Das mobile Gerät 1 bzw. das Mobiltelefon umfasst hierfür eine
Projektionseinheit 3, die in das Mobiltelefon integriert ist. Da das Mobiltelefon nicht in eine fixe Position zum Auge des Anwenders 2 steht, muss es in der Lage sein, die Position und die Blickrichtung des Anwenders 2 zu bestimmen. Dies ge- schieht durch den Einsatz eines markerlosen Trackingverfah- rens, wie im Folgenden erläutert wird. In dem mobilen Gerät 1 ist ein Trackingsystem implementiert, welches für das Tracking relevante Merkmale aus dem Gesicht des Anwenders 2 verwendet . Zunächst muss der Anwender 2 einmalig mit einer im mobilen Gerät 1 integrierten Kamera ein Bild von seinem Gesicht aufnehmen. Aus dem aufgenommenen Bild ermittelt das mobile Gerät 1 mit Hilfe aus dem Stand der Technik bekannter Bildverarbeitungsalgorithmen charakteristische Bildmerkmale, die für das spätere Tracking verwendet werden können. Die Bildmerkmale 4 werden in ein konventionel- les Display des mobilen Gerätes 1 eingeblendet. Die Projektionseinheit 3 des mobilen Gerätes 1 ist so kalibriert, dass sie in der Pose, in der der Anwender 2 einmalig das Bild seines Gesichtes aufnimmt, in eine Netzhaut des Anwenders projizieren kann.
Will nun der Anwender das mobile Gerät 1 zur virtuellen Netzhautanzeige nutzen, so wird er wiederum sein Gesicht mit Hilfe der in dem mobilen Gerät 1 installierten Kamera aufnehmen. In dieser Phase wird sein Gesicht kontinuierlich von der Ka- mera aufgenommen.
Auf dem konventionellen Display des mobilen Gerätes 1 wird das Abbild seines kontinuierlich aufgenommenen Gesichtes zusammen mit den zuvor bestimmten Bildmerkmalen dargestellt. Der Anwender 2 bringt nun händisch das mobile Gerät 1 in die Pose, in der sich die eingeblendeten Bildmerkmale mit seinem aufgenommenen Gesicht auf dem konventionellen Display in Deckung befinden. Ist dies geschehen, so ist sichergestellt, dass sich das mobile Gerät wieder in der Initialpose befin- det, in der die Projektionseinheit das darzustellende Bild auf die Netzhaut des Anwenders 2 projizieren kann. Anschließend können Posenveränderungen mit Hilfe des Trackingsystems derart ausgeglichen werden, dass die virtuelle Netzhautanzeige auch weiterhin die Anwendernetzhaut trifft.
Beispielsweise kann die Entfernung des mobilen Gerätes 1 zum Auge des Benutzers optisch anhand der Objektiveinstellungen und der Geometrie der Kamera ermittelt werden. Wenn der An- wender 2 das mobile Gerät 1 von seinem Auge weiter wegführt, kann die Brennweite des Kameraobjektives derart nachgeführt werden, dass das vom Anwender 2 erfasste Bild weiterhin mit den eingeblendeten Bildmerkmalen in Deckung bleibt. Aus der hierfür notwendigen ObjektiwerStellung kann wiederum darauf rückgeschlossen werden, in wieweit die Projektion verändert werden muss, um weiterhin auf die Netzhaut des Anwenders 2 projizieren zu können.
Bewegungen des mobilen Gerätes 1 selbst können über eine im mobilen Gerät 1 verbaute Sensorik erfasst werden. Die Projektionseinheit kann an die vom mobilen Gerät 1 ausgeführten Bewegungen angepasst werden und diese somit kompensieren. Durch die Kombination der beschriebenen Maßnahmen wird dem Benutzer ein stabiles Bild auf die Netzhaut projiziert, auch dann, wenn sich der Abstand zum mobilen Gerät 1 verändert oder das mobile Gerät 1 selbst seine Position oder Orientierung verändert.

Claims

Patentansprüche
1. Mobiles Gerät (1) mit
- einem Trackingsystem zur kontinuierlichen Bestimmung der Pose des mobilen Gerätes (1) in Bezug auf einen Anwender (2), einer Projektionseinheit (3) zur Projektion eines Bildes auf eine Netzhaut eines Anwenders (2) und Steuerungsmittel zur Steuerung der Projektionseinheit (3) entsprechend der vom Trackingsystem bestimmten Pose derart, dass das Bild auf die Netzhaut projizierbar ist.
2. Mobiles Gerät (1) nach Anspruch 1, wobei das mobile Gerät (1) eine Kamera zur Aufnahme des Ge- sichtes des Anwenders (2) umfasst und wobei das mobile Gerät (1) Bilderkerkennungsmittel zur Ermittlung von Bildmerkmalen (4) anhand der Aufnahme aufweist.
3. Mobiles Gerät (1) nach Anspruch 2, wobei das mobile Gerät (1) ein Display zur gleichzeitigen
Darstellung der Bildmerkmale (4) und des mittels der Kamera erfassten Gesichtes aufweist.
4. Mobiles Gerät (1) nach Anspruch 2 oder 3, wobei die Kamera zur kontinuierlichen Erfassung des Gesichtes während der kontinuierlichen Bestimmung der Pose ausgebildet ist und das Trackingsystem Bildverarbeitungsmittel zur kontinuierlichen Bestimmung der Pose durch Vergleich der Bildmerkmale und des kontinuierlich erfassten Gesichtes umfasst.
5. Mobiles Gerät (1) nach einem der vorhergehenden Ansprüche, wobei das Trackingsystem BewegungsSensoren zur kontinuierlichen Bestimmung der Pose umfasst.
6. Mobiles Gerät (1) nach einem der vorhergehenden Ansprüche, wobei das mobile Gerät (1) als Mobiltelefon ausgebildet ist.
7. Mobiles Gerät (1) nach einem der vorhergehenden Ansprüche, wobei die Projektionseinheit (3) zur Projektion des Bildes auf beide Netzhäute des Anwenders (2) ausgebildet ist, so dass der Anwender (2) das Bild 3-dimensional wahrnehmen kann.
8. Verfahren zur Projektion eines Bildes auf eine Netzhaut eines Anwenders (2) mittels einer in ein mobiles Gerät (1) integrierten Projektionseinheit (3), bei dem - mit einem Trackingsystem des mobilen Gerätes (1) kontinuierlich die Pose des mobilen Gerätes (1) in Bezug auf den Anwender (2) erfasst wird und die Projektionseinheit (3) entsprechend der vom Trackingsystem bestimmten Pose derart gesteuert wird, dass das Bild auf die Netzhaut projizierbar ist.
9. Verfahren nach Anspruch 8, wobei mit einer Kamera des mobilen Gerätes eine Aufnahme des Gesichtes des Anwenders (2) gemacht wird und Bildmerkmale (4) anhand der Aufnahme ermittelt werden.
10. Verfahren nach Anspruch 9, wobei die Bildmerkmale (4) und das mittels der Kamera aufgenommene Gesicht auf einem Display des mobilen Gerätes (1) gemeinsam dargestellt werden.
11. Verfahren nach Anspruch 9 oder 10, wobei das Gesicht mit der Kamera kontinuierlich während der kontinuierlichen Bestimmung der Pose erfasst wird und die Pose durch Vergleich der Bildmerkmale und des kontinuierlich erfassten Gesichtes bestimmt wird.
12. Verfahren nach einem der Ansprüche 8 bis 11, wobei mittels Bewegungssensoren des Trackingsystems kontinuierlich die Pose bestimmt wird.
13. Verfahren nach einem der Ansprüche 8 bis 12, wobei das Bild auf beide Netzhäute des Anwenders (2) projiziert wird, so dass der Anwender (2) das Bild 3-dimensional wahrnehmen kann .
PCT/EP2007/004843 2007-05-31 2007-05-31 Mobiles gerät und verfahren zur virtuellen netzhautanzeige Ceased WO2008145169A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/004843 WO2008145169A1 (de) 2007-05-31 2007-05-31 Mobiles gerät und verfahren zur virtuellen netzhautanzeige

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/004843 WO2008145169A1 (de) 2007-05-31 2007-05-31 Mobiles gerät und verfahren zur virtuellen netzhautanzeige

Publications (1)

Publication Number Publication Date
WO2008145169A1 true WO2008145169A1 (de) 2008-12-04

Family

ID=38420629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/004843 Ceased WO2008145169A1 (de) 2007-05-31 2007-05-31 Mobiles gerät und verfahren zur virtuellen netzhautanzeige

Country Status (1)

Country Link
WO (1) WO2008145169A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5759044A (en) * 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
WO2001008414A1 (de) * 1999-07-22 2001-02-01 Swisscom Mobile Ag Verfahren und geeignete vorrichtungen, um nutzinformationen betreffend betrachtete objekte zu liefern
US20030234823A1 (en) * 2002-05-17 2003-12-25 Shigemi Sato Image processing apparatus and image processing method, and image processing program and recording medium of the same
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US20060197832A1 (en) * 2003-10-30 2006-09-07 Brother Kogyo Kabushiki Kaisha Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5759044A (en) * 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
WO2001008414A1 (de) * 1999-07-22 2001-02-01 Swisscom Mobile Ag Verfahren und geeignete vorrichtungen, um nutzinformationen betreffend betrachtete objekte zu liefern
US20030234823A1 (en) * 2002-05-17 2003-12-25 Shigemi Sato Image processing apparatus and image processing method, and image processing program and recording medium of the same
US20060197832A1 (en) * 2003-10-30 2006-09-07 Brother Kogyo Kabushiki Kaisha Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator

Similar Documents

Publication Publication Date Title
EP3394708B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
DE102014214516A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs
DE102017208806B3 (de) Externe Darstellung von Bildaufnahmen eines Fahrzeuginnenraums in einer VR-Brille
DE102014225222B4 (de) Bestimmung der Position eines HMD relativ zum Kopf des Trägers
DE102016212687A1 (de) Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
DE102016223179A1 (de) Koordinaten-Abgleichvorrichtung für ein Head-Up-Display
DE102014213285A1 (de) Kopfrichtungsabhängige Anzeige von Inhalten auf einer Datenbrille
DE102022113343A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems in einer mobilen Einrichtung mit einer Datenbrille
DE112020002727T5 (de) Videoverteilsystem, videoverteilverfahren und display-terminal
DE102015204745A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität
DE102015012720A1 (de) Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem
DE102015003948A1 (de) Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Virtual-Reality-Brille und Virtual-Reality-System
DE102018204325A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
DE102014009699B4 (de) Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung
DE102016221123A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019103360A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
WO2022218698A1 (de) Verfahren und vorrichtung zur posenbestimmung in einer datenbrille
DE102014018056A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und Virtual-Reality-Brille
EP3271774B1 (de) Vorrichtung und verfahren zur wiedergabe von daten in einer erweiterten realität
DE102015006610B4 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
WO2008145169A1 (de) Mobiles gerät und verfahren zur virtuellen netzhautanzeige
DE102020129068A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille
WO2019228780A1 (de) Konzept für die steuerung einer anzeige eines mobilen augmented-reality-gerätes
DE102016225262A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102015201642A1 (de) Vorrichtung und Verfahren zur Darstellung einer Umgebung eines Fahrzeuges

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07725724

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07725724

Country of ref document: EP

Kind code of ref document: A1