WO2009062492A2

WO2009062492A2 - Method for representing image objects in a virtual three-dimensional image space

Info

Publication number: WO2009062492A2
Application number: PCT/DE2008/001881
Authority: WO
Inventors: Thomas Schmitt; Steffen Bottcher; Wolfgang Opel
Original assignee: SPATIAL VIEW GmbH
Current assignee: SPATIAL VIEW GmbH
Priority date: 2007-11-15
Filing date: 2008-11-14
Publication date: 2009-05-22
Anticipated expiration: 2010-05-15
Also published as: DE102007057208A1; WO2009062492A3

Abstract

A method for representing image objects in a virtual three-dimensional image space, particularly for producing a virtual reality within the context of a simulation, is characterized in that the viewing direction of an observer of the image object is detected and is taken into account for representing the image objects and for interactions with the image objects.

Description

VERFAHREN ZUM DARSTELLEN VON BILDOBJEKTEN IN EINEM VIRTUELLEN DREIDIMENSIONALEN BILDRAUM METHOD FOR PRESENTING IMAGE OBJECTS IN A VIRTUAL THREE-DIMENSIONAL VIDEO

Die Erfindung betrifft ein Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, insbesondere zur Erzeugung einer virtuellen Realität im Sinne einer Simulation.The invention relates to a method for displaying image objects in a virtual three-dimensional image space, in particular for generating a virtual reality in the sense of a simulation.

In den verschiedensten Bereichen wird verstärkt versucht, Vorgänge in virtuellen Realitäten abzubilden, durchzuführen oder zu erproben, da dort insbesondere spezielle Arbeitsbedingungen gezielt simuliert werden können. Der Begriff "virtuelle Realität" (VR) bezeichnet dabei die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer meist in Echtzeit computergenerierten interaktiven - virtuellen - Umgebung. Auch wenn die technischen Möglichkeiten, beispielsweise hinsichtlich einer umfassenden Wahrnehmung physikalischer Eigenschaften, derzeit noch beschränkt sind, so sind die Einsatzmöglichkeiten dennoch überaus umfangreich. Beispielhaft sei auf deren Verwendung in Flugzeugsimulatoren bei der Ausbildung von Piloten, bei der Erstellung von virtuellen Prototypen in der Industrie, bei der Durchführung von Ergonomietests, bei der Visualisierung von Gebäuden, sowie in der medizinischen Diagnostik, bei der Simulation von Operationen, bei virtuellen Besuchen schwer erreichbarer Orte, beim Edutainment oder dergleichen verwiesen.In the most diverse areas an attempt is increasingly being made to map, carry out or test processes in virtual realities, since in particular specific working conditions can be purposefully simulated there. The term "virtual reality" (VR) refers to the representation and simultaneous perception of reality and its physical properties in a mostly real-time computer-generated interactive-virtual environment. Even though the technical possibilities, for example with regard to a comprehensive perception of physical properties, are currently still limited, the possible applications are nevertheless very extensive. Examples include their use in aircraft simulators in the training of pilots, in the creation of virtual prototypes in industry, in the performance of ergonomic tests, in the visualization of buildings, as well as in medical diagnostics, in the simulation of operations, in virtual visits difficult to reach places, referred to Edutainment or the like.

Besonderes Augenmerk bei der Generierung und Vermittlung virtueller Realitäten gilt dem Bestreben, einem Benutzer eine möglichst umfassende Immersion, d. h. ein Eintauchen in die virtuelle Realität, zu bieten. Hierbei nimmt eine möglichst realitätsnahe visuelle Wahrnehmung der virtuellen Realität einen besonderen Stellenwert ein. Dazu werden beispielsweise HMDs (Head-Mounted Displays), Großbildleinwände oder CAVEs (Cave Automatic Virtual Environments) genutzt. Für eine besonders realitätsnahe visuelle Wahrnehmung ist eine Darstellung mit erlebbarer räumlicher Tiefe von Vorteil.Particular attention is given to the generation and imparting of virtual realities to the endeavor to provide a user with the most comprehensive possible immersion, d. H. a plunge into virtual reality. In doing so, a visual perception of virtual reality that is as realistic as possible is of particular importance. For example, HMDs (Head-Mounted Displays), large screens or CAVEs (Cave Automatic Virtual Environments) are used. For a particularly realistic visual perception, a presentation with an experienced spatial depth is an advantage.

Zum Erzeugen eines räumlichen Eindrucks werden zwei Ansichten eines Objekts aus geringfügig unterschiedlichen Positionen erzeugt und dargestellt (Stereoprojek- tion). Der Abstand zwischen den beiden Positionen sollte dem Abstand der Augen des Betrachters entsprechen. Bei der Darstellung müssen die beiden Ansichten dem jeweiligen Auge zugeführt werden. Hierzu sind wiederum eine Reihe unterschiedlicher Technologien bekannt.To create a spatial impression, two views of an object are generated and displayed from slightly different positions (stereo projection). tion). The distance between the two positions should be equal to the distance of the viewer's eyes. In the illustration, the two views must be fed to the respective eye. Again, a number of different technologies are known.

Grundsätzlich kann zwischen aktiven und passiven Verfahren unterschieden werden. Zu den aktiven Verfahren gehören beispielsweise Shutter-Brillen, die mit hoher Geschwindigkeit transparent und dunkel geschaltet werden können. Diese werden zusammen mit einem Monitor eingesetzt, der wechselseitig ein Bild für das linke und ein Bild für das rechte Auge darstellt. Bei Synchronisation der Brille mit dem Monitor wird jedem Auge das korrekte Bild zugeleitet. Zu den passiven Verfahren zählen das Anaglyph- und das Polarisationsverfahren, bei denen zwei Ansichten eines Bildes mit geringfügigem Abstand zueinander in einem Bild überlagert sind. Unter Verwendung von Färb- oder Polarisationsfilterbrillen können diese Bildansichten wieder getrennt werden.Basically, a distinction can be made between active and passive procedures. The active methods include, for example, shutter glasses, which can be switched transparent and dark at high speed. These are used in conjunction with a monitor that alternately displays an image for the left eye and an image for the right eye. When the glasses are synchronized with the monitor, the correct image is transmitted to each eye. Passive techniques include the anaglyph and polarization techniques, in which two views of a small spaced image are superimposed in an image. Using color or polarized filter glasses, these image views can be separated again.

Darüber hinaus sind aus der Praxis autostereoskopische Monitore bekannt, die dem Benutzer eine Wahrnehmung räumlicher Tiefe der dargestellten Objekte ohne die Benutzung spezieller Hilfsmittel wie Brillen oder ähnliches ermöglichen. Ein autoste- reoskopischer Monitor weist eine sehr feine Bildmatrix auf, vor der unmittelbar ein optisches Mittel, meist in Form von Lentikular- oder Parallax-Barrierensystemen, angebracht ist.In addition, autostereoscopic monitors are known in practice, which allow the user a perception of spatial depth of the objects shown without the use of special aids such as glasses or the like. An autostereoscopic monitor has a very fine image matrix in front of which an optical means, usually in the form of lenticular or parallax barrier systems, is directly attached.

Durch die spezielle Geometrie des optischen Mittels wird erreicht, dass bestimmte Bildpunkte der Bildmatrix in eine definierte Raumrichtung abgestrahlt werden. Durch gezieltes Ansteuern der Bildpunkte können gleichzeitig und unabhängig voneinander Bilder für das linke und das rechte Auge dargestellt werden. Die Qualität des dreidimensionalen Eindrucks ist umso höher, je besser getrennt die beiden Ansichten wahrgenommen werden können. Dies kann durch eine Einschränkung des Raumwinkels, in dem eine dreidimensionale Wahrnehmung möglich ist, erreicht werden. Um dennoch ein komfortables Arbeiten am Monitor mit maximaler Bewegungsfreiheit des Betrachters zu erreichen, werden Tracking-Systeme verwendet, die die Position des Betrachters kontinuierlich erfassen. In Abhängigkeit der Position des Betrachters werden die Bildpunkte auf der Bildmatrix oder die Position des optischen Mittels durch geringfügiges Verschieben nachgesteuert, so dass der räumlich sehr enge Betrachtungswinkel dem Betrachter nachgeführt wird.Due to the special geometry of the optical means is achieved that certain pixels of the image matrix are emitted in a defined spatial direction. By selectively controlling the pixels, images for the left and the right eye can be displayed simultaneously and independently of each other. The quality of the three-dimensional impression is the higher, the better the two views can be perceived separately. This can be achieved by limiting the solid angle in which a three-dimensional perception is possible. In order nevertheless to achieve a comfortable working on the monitor with maximum freedom of movement of the viewer, tracking systems are used, which continuously detect the position of the viewer. Depending on the position of the observer, the pixels on the image matrix or the position of the optical means become readjusted by slight displacement, so that the spatially very narrow viewing angle is tracked to the viewer.

Eine Besonderheit autostereoskopischer Monitore besteht darin, dass alle Bildobjekte - unabhängig von ihrer scheinbaren räumlichen Entfernung vom Betrachter - in der Monitorebene abgebildet werden, und somit die Augen des Betrachters stets auf diese Monitorebene fokussiert bleiben (müssen) entgegen der natürlichen Akkomodation auf unterschiedliche Entfernungen betrachteter Objekte.A special feature of autostereoscopic monitors is that all image objects - regardless of their apparent spatial distance from the viewer - are displayed in the monitor plane, and thus the eyes of the beholder always remain focused on this monitor level (must) contrary to the natural accommodation on different distances of viewed objects ,

Zur Interaktion mit der virtuellen Realität werden bislang verschiedene Eingabegeräte verwendet. Beispielhaft sei auf die Verwendung von 3D-Mäusen, Datenhandschuhen, Joysticks oder besonderer Tastaturen hingewiesen. Allerdings ist es auch bereits bekannt, die Position realer Objekte mittels Tracking-Systemen zu erfassen und als Eingabegeräte zu benutzen. Ein derartiges System ist beispielsweise in der EP 1 025 520 B1 beschrieben.To date, various input devices have been used to interact with virtual reality. For example, reference is made to the use of 3D mice, data gloves, joysticks or special keyboards. However, it is already known to capture the position of real objects by means of tracking systems and to use them as input devices. Such a system is described for example in EP 1 025 520 B1.

Die bekannten Verfahren der zuvor genannten Art weisen jedoch den erheblichen Nachteil auf, dass die daraus resultierende Darstellung meist als unnatürlich und unkomfortabel empfunden wird. Derzeit liefern solche Systeme die natürlichsten Eindrücke, die die reale Welt vollständig kapseln. Dies geschieht beispielsweise bei HMDs, bei denen der Benutzer lediglich die virtuelle Realität sieht. Hier kann vollständig oder zumindest in weiten Teilen auf die Aktionen des Benutzers eingegangen werden. Allerdings sind HMDs meist schwer bzw. kompliziert anzubringen und relativ teuer. Zudem wird für die vollständige Kapselung der realen Welt eine umfangreiche Sensorik benötigt, mit der die Aktionen des Benutzers und insbesondere seine Blickrichtung erfasst werden. Andere Systeme wie Shutter-Brillen oder autostereoskopi- sche Displays kommen mit einer weit geringeren Menge an Sensorik aus und sind meist mit weit geringerem Aufwand aufzubauen. Allerdings leidet hier wiederum die Natürlichkeit der Wahrnehmung der virtuellen Realität durch die oben beschriebenen Einschränkungen bezüglich der Akkomodation. So möchte ein Betrachter eines dreidimensionalen Objekts nicht lediglich ein Objekt einer komplexen Szene möglichst natürlich betrachten, sondern auch andere Objekte, die sich in unterschiedlichen Entfernungen zum Betrachter und zu anderen Objekten zu befinden scheinen. Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der gattungsbildenden Art derart auszugestalten und weiterzubilden, dass eine möglichst realitätsnahe Darstellung von Bildobjekten in einem virtuellen Bildraum, insbesondere bei mehreren Bildobjekten in komplexen Szenen, möglich ist.However, the known methods of the aforementioned type have the considerable disadvantage that the resulting representation is usually perceived as unnatural and uncomfortable. Currently, such systems provide the most natural impressions that completely encapsulate the real world. This happens, for example, in HMDs where the user only sees the virtual reality. Here, the actions of the user can be fully or at least largely discussed. However, HMDs are usually difficult or complicated to install and relatively expensive. In addition, complete encapsulation of the real world requires extensive sensor technology that records the actions of the user and, in particular, his line of sight. Other systems, such as shutter glasses or autostereoscopic displays, use a much smaller amount of sensor technology and can usually be set up with far less effort. However, here again the naturalness of the perception of virtual reality suffers due to the above-described restrictions on accommodation. Thus, a viewer of a three-dimensional object not only wants to look at an object of a complex scene as naturally as possible, but also other objects that appear to be at different distances to the viewer and to other objects. The present invention is therefore based on the object of designing and further developing a method of the generic type in such a way that the representation of image objects in a virtual image space that is as realistic as possible, in particular in the case of several image objects in complex scenes, is possible.

Erfindungsgemäß ist die voranstehende Aufgabe durch die Merkmale des Patentanspruches 1 gelöst. Danach ist das in Rede stehende Verfahren dadurch gekennzeichnet, dass die Blickrichtung eines Betrachters des Bildobjekts erfasst und für die Darstellung der Bildobjekte sowie für Interaktionen mit den Bildobjekten berücksichtigt wird. Dabei sei angemerkt, dass sich die Lehre auch auf mehrere Betrachter an einem oder an mehreren Displays bezieht, wenngleich fortan - der Einfachheit halber - stets von dem Betrachter die Rede ist.According to the invention the above object is solved by the features of claim 1. Thereafter, the method in question is characterized in that the viewing direction of a viewer of the image object is detected and taken into account for the representation of the image objects and for interactions with the image objects. It should be noted that the doctrine also refers to several viewers on one or more displays, although from now on - for the sake of simplicity - is always talked about by the viewer.

In erfindungsgemäßer Weise ist zunächst erkannt worden, dass eine besonders realitätsnahe Darstellung nur dann möglich ist, wenn die Blickrichtung des Betrachters im Wesentlichen auf die Darstellung der virtuellen Realität übertragen werden kann.In accordance with the invention, it has first been recognized that a representation which is particularly close to reality is only possible if the viewing direction of the observer can essentially be transferred to the representation of the virtual reality.

Ändert ein Betrachter beispielsweise seine Blickrichtung von einem scheinbar weiter entfernten Objekt auf ein scheinbar näher liegendes Objekt, so erwartet er - analog zur realen Welt -, dass das nunmehr betrachtete Objekt schärfer abgebildet wird, während das nicht mehr betrachtete bzw. fokussierte Objekt nur noch unscharf im Hintergrund wahrgenommen wird.If a viewer, for example, changes his line of vision from an apparently more distant object to an apparently closer object, he expects - analogous to the real world - that the now viewed object will be sharper, while the object no longer being considered or focused will only be out of focus is perceived in the background.

Die Blickrichtung kann in vorteilhafter Weise auch als alleiniges Mittel zur Interaktion eingesetzt werden. Dies erfordert neben der Einrichtung zur Erfassung der Blickrichtung (Kamera(s)) lediglich eine geeignete Software und ist damit ein in vielerlei Hinsicht günstiges und insoweit vorteilhaftes „Eingabegerät". Wird durch die Analyse der Blickrichtung ein Objekt in einer räumlichen Szene identifiziert, so kann man diese Information nutzen, um mit dem Objekt zu interagieren.The viewing direction can also be advantageously used as the sole means of interaction. In addition to the device for detecting the viewing direction (camera (s)), this requires only suitable software and is therefore an advantageous "input device" in many respects you use this information to interact with the object.

In vorteilhafter Weise wird zur Darstellung der virtuellen Realität die Blickrichtung beider Augen unabhängig voneinander erfasst, um einen Konvergenzpunkt im realen wie im virtuellen Raum zu bestimmen und entsprechend berücksichtigen zu können. Dies ist von ganz besonderem Vorteil, beispielsweise bei der Darstellung von semi- transparenten Objekten, wie Gewebe, Flüssigkeiten oder bei der Darstellung von konvexen (lückenhaften, löchrigen) Objekten, die in einer komplexen Szene auftreten können. Des Weiteren sei angemerkt, dass der reale und der virtuelle Raum zwei unterschiedliche Koordinatensysteme haben, die zueinander kalibriert werden müssen.In an advantageous manner, the viewing direction of both eyes is detected independently of one another in order to represent the virtual reality in order to be able to determine a convergence point in real as well as in virtual space and to be able to take account accordingly. This is of particular advantage, for example in the presentation of semi- transparent objects, such as tissue, fluids or in the representation of convex (patchy, holey) objects that can occur in a complex scene. It should also be noted that the real and the virtual space have two different coordinate systems that need to be calibrated to each other.

Des Weiteren soll in weiter vorteilhafter Weise auch die Auswertung von „Augen- Gesten" einfließen können, wie z.B. ein- oder mehrmaliger Lidschluss, um damit alleinige oder kombinierte Interaktion mit dem Bildinhalt ohne weitere Hilfsmittel zu ermöglichen.Furthermore, the evaluation of "eye gestures", such as single or multiple eyelid closure, should also be able to flow in a further advantageous manner in order to allow sole or combined interaction with the image content without further aids.

Denkbar ist der Einsatz weiterer Mittel zur Interaktion, beispielsweiseIt is conceivable to use further means of interaction, for example

• Auswahl von Objekten einschließlich bekannter Interaktionselemente wie Schalter (Buttons), Menuelemente etc.,• Selection of objects including known interaction elements such as buttons, menu items, etc.

• Hervorhebung des betrachteten Objektes (durch Veränderung von Farbe, Markierung der Kanten, Aufblenden eines Rahmens etc.),• Highlighting of the observed object (by changing color, marking the edges, fading in a frame, etc.),

• Auswahl von Aktionen, die mit solchen Elemente verbunden sind,• selection of actions associated with such elements

• Veränderung des Abbildungsmaßstabes (Zoom),• change in magnification (zoom),

• Manipulation (z.B. Verschieben, Zoom, Ausführen kontextabhängiger Aktionen wie z.B. Textur- oder Beleuchtungs-Wechsel) der ausgewählten Objekte,Manipulation (e.g., moving, zooming, performing contextual actions such as texture or lighting changes) of the selected objects,

• aktive, kontinuierliche Navigation (ähnlich einem Flugsimulator) in beliebigen Darstellungen: 3D-Szenen, Karten, Bilder, Videos, Text,• active, continuous navigation (similar to a flight simulator) in any representation: 3D scenes, maps, pictures, videos, text,

• Navigation zum ausgewählten Objekt hin (mit Sprung oder kontinuierlicher Darstellung bis zum Zielpunkt, relativ passiv),• Navigation to the selected object (with jump or continuous presentation to the target point, relatively passive),

• Navigation durch Links im Sinne von Verkettungen von Daten, Bildern oder Informationen,• navigation through links in the sense of links of data, pictures or information,

• Einblenden von Informationen,• display information,

• Auslösen von hinterlegten Animationen, Videos etc.,• triggering of stored animations, videos etc.,

• Anbringung von Markierungen am Objekt,• application of markings on the object,

• Einbringen des Blickpunkt-Pfades in die Szene (Malen mit den Augen),• introducing the viewpoint path into the scene (painting with the eyes),

• Hinzufügen neuer Objekte in die Szene am Ort des Blickpunktes, z.B. zeitgesteuert (Verweildauer oder in festen Intervallen) oder aktiv z.B. durch Blinzeln bzw. (auch temporäres) Löschen/Ausblenden von Objekten, • die Auslösung der Interaktion in Abhängigkeit davon, wie lange der Blick des Betrachters auf einem ausgewählten Objekt ruht,• Adding new objects to the scene at the point of view, eg time-controlled (dwell time or at fixed intervals) or active eg by blinking or (even temporary) deleting / hiding of objects, The triggering of the interaction depending on how long the viewer's gaze rests on a selected object,

• Einsatz in kollaborativen 3D-Systemen, wobei mehrere Nutzer ggf. aus unterschiedlichen Positionen auf ein und dasselbe Objekt / ein und dieselbe Szene schauen und durch Blick auf bestimmte Bereiche Interaktionen auslösen, etc.• Use in collaborative 3D systems, where multiple users may look at the same object / scene from different positions, triggering interactions by looking at specific areas, etc.

Beliebige Kombinationen der zuvor aufgeführten Mittel sind denkbar und je nach Bedarf von Vorteil.Any combinations of the aforementioned agents are conceivable and advantageous as needed.

An dieser Stelle sei angemerkt, dass die blickgesteuerte Interaktion in Kombination mit anderen Interaktionsprinzipien erfolgen kann. Dazu folgendes:It should be noted that the view-controlled interaction can be combined with other interaction principles. In addition the following:

Verwendet ein Betrachter ein Werkzeug zur Interaktion mit dem Bildobjekt, beispielsweise in Form eines Auswahlvorgangs im virtuellen Bildraum, so wird erwartet, dass genau das Bildobjekt, mit dem interagiert wird, d.h. auf das der Betrachter sowohl seinen Blick als auch das Werkzeug richtet, scharf abgebildet wird, während andere Bildobjekte, die sich in scheinbar in anderer Entfernung zum Betrachter befinden, unscharf davor oder dahinter wahrgenommen werden. Dies ist bei autoste- reoskopischen Anzeigeeinrichtungen nicht zwangläufig gegeben. In vorteilhafter Weise ist daher erkannt worden, dass diese Problematik besonders einfach gelöst werden kann, wenn die Blickrichtung des Betrachters und/oder deren Veränderung aus der realen Welt in die virtuelle Realität abgebildet wird. Diese in den virtuellen Raum übertragene Blickrichtung oder Blickrichtungsveränderung wird dazu genutzt, zumindest eine virtuelle Kamera zu steuern, wobei eine virtuelle Kamera einer dem Betrachter dargestellten Ansicht entspricht. Im Falle einer autostereoskopischen Anzeigeeinrichtung sind mindestens zwei virtuelle Kameras vorzusehen, die die Ansichten für jeweils ein Auge des Betrachters erzeugen. Die Abbildungseigenschaften der virtuellen Kameras in dem virtuellen Raum korrespondieren mit den Abbildungseigenschaften der Augen des Betrachters.If a viewer uses a tool to interact with the image object, for example in the form of a selection operation in the virtual image space, it is expected that exactly the image object with which it is interacting, i. on which the viewer directs both his gaze and the tool is sharply displayed, while other image objects that are in apparent distance to the viewer, are perceived out of focus in front of or behind it. This is not necessarily the case with autostereoscopic displays. Advantageously, it has therefore been recognized that this problem can be solved particularly easily if the viewing direction of the viewer and / or their change from the real world is mapped into the virtual reality. This viewing direction or viewing direction change transmitted into the virtual space is used to control at least one virtual camera, wherein a virtual camera corresponds to a view displayed to the viewer. In the case of an autostereoscopic display device, at least two virtual cameras are to be provided, which generate the views for one eye each of the observer. The imaging characteristics of the virtual cameras in the virtual space correspond to the imaging properties of the viewer's eyes.

Durch Verwendung virtueller Kameras kann besonders einfach eine Blickrichtungsänderung eines Betrachters auf ein bestimmtes Bildobjekt "virtualisiert" werden. Insbesondere lassen sich die verschiedensten Vorgänge in die virtuelle Realität übertragen. Dabei können die zuvor skizzierten Aspekte, teilweise oder insgesamt, imp- lementiert oder einzelne Aspekte für die jeweilige Anwendung besonders vorteilhaft realisiert werden. Prinzipiell hängt es vom Aufbau und der Komplexität der Szene mit den verschiedenen Bildobjekten ab, wie die reale Blickrichtung beziehungsweise deren Veränderung mit der Darstellung des betrachteten Bildobjektes in dem virtuellen Bildraum korrespondiert. So kann bei einer Blickrichtungsänderung des Betrachters innerhalb einer Szene mit einer ausgeprägten räumlichen Staffelung vieler Bildobjekte eine sehr fein abgestimmte Anpassung der Abbildungsschärfe des momentan betrachteten Bildobjektes durchgeführt werden. In einer einfach gestalteten Szene ist eine Beschränkung auf eine grobe Anpassung der Abbildungsschärfe eines vordergründigen Bildobjektes oder des Hintergrundes denkbar.By using virtual cameras, it is particularly easy to "virtualize" a viewing direction change of a viewer to a specific image object. In particular, the most diverse processes can be transferred to virtual reality. In doing so, the aspects outlined above, in part or in lementsiert or individual aspects for the particular application can be realized particularly advantageous. In principle, it depends on the structure and the complexity of the scene with the different image objects, as the real direction of view or its change with the representation of the viewed image object in the virtual image space corresponds. Thus, when the viewer changes his sight within a scene with a pronounced spatial staggering of many image objects, a very finely tuned adaptation of the image sharpness of the currently viewed image object can be carried out. In a simply designed scene, a limitation to a coarse adaptation of the image sharpness of a superficial image object or the background is conceivable.

Grundsätzlich ist es für eine möglichst realitätsnahe Abbildung der realen Verhältnisse im virtuellen Bildraum sinnvoll, die Analogien der normalen Akkomodationsvorgänge des menschlichen Auges zu berücksichtigen und dazu entsprechend abzubilden. Dabei ist es prinzipiell unerheblich, für welche Art von Bildobjekten das erfindungsgemäße Verfahren eingesetzt wird. Sie können im Zusammenhang mit computergenerierten Objekten ebenso wie mit Fotografien, Videosequenzen oder dergleichen eingesetzt werden. Vorteilhafterweise wird ein Erfassen der Blickrichtung des Betrachters beziehungsweise deren Veränderung derart erfolgen, dass die Position der Augen des Betrachters erfasst sowie die Winkel der Sehachsen vermessen wird.Basically, it is useful for a realistic as possible mapping of the real conditions in the virtual image space to consider the analogies of the normal Akkomodationsvorgänge of the human eye and to map accordingly. It is in principle irrelevant for which type of image objects the inventive method is used. They can be used in conjunction with computer-generated objects as well as with photographs, video sequences or the like. Advantageously, a detection of the viewing direction of the observer or its change will be effected in such a way that the position of the eyes of the observer is detected and the angles of the visual axes are measured.

Für eine Blickrichtungsdetektion muss der Betrachter mit einer Kamera, vorteilhafter Weise einem Stereo-Kamerasystem, erfasst werden. In mehreren Berechnungsschritten wird die momentane Blickrichtung des Betrachters ermittelt und in eine Position auf der Anzeigeeinrichtung umgerechnet, welcher sich wiederum ein Bildobjekt in der dargestellten Szene zuordnen lässt. Durch eine derartige Bestimmung des momentan betrachteten Bildobjektes können die Ansichten des Betrachters von der dargestellten Szene sehr einfach und direkt bestimmt werden.For a viewing direction detection, the viewer must be detected with a camera, advantageously a stereo camera system. In several calculation steps, the current viewing direction of the observer is determined and converted into a position on the display device, which in turn can be associated with an image object in the scene shown. By such a determination of the currently viewed image object, the views of the viewer of the scene shown can be determined very easily and directly.

Die Darstellung dürfte dann besonders realistisch empfunden werden, wenn die Ansichten des Betrachters in Echtzeit berechnet werden. Dabei kann eine harte oder eine weiche Echtzeit vorliegen. Insbesondere bei schnellen Blickrichtungsänderun- gen des Betrachters dürfte eine weiche Echtzeit ausreichend sein, da hier beispielsweise fehlende Zwischenbilder nicht zu deutlich wahrgenommen werden.The presentation should then be perceived as particularly realistic if the views of the viewer are calculated in real time. There may be a hard or soft real time. Especially with fast sight changes For the viewer, a soft real time should be sufficient, since missing intermediate images, for example, are not perceived too clearly here.

Zum Erzielen eines möglichst realitätsnahen Eindrucks der Darstellung könnten die Ansichten des Bildobjekts bei Veränderung der Blickrichtung des Betrachters neu berechnet werden. Dabei werden die Blickrichtungsänderungen erfasst, einem betrachteten Objekt im virtuellen Bildraum zugeordnet und zur Steuerung einer oder mehrerer virtueller Kameras genutzt. Damit können die Ansichten der Szene für den Betrachter realitätsnah dargestellt werden.To achieve a realistic impression of the representation, the views of the image object could be recalculated when the viewer's viewing direction changes. Here, the viewing direction changes are detected, assigned to a viewed object in the virtual image space and used to control one or more virtual cameras. Thus, the views of the scene for the viewer can be displayed in a realistic manner.

Die Neuberechnung der Ansichten könnte in einer Ortsfrequenzfilterung ausgewählter Bereiche der Ansichten der Szene bestehen. Die Ortsfrequenz spielt eine wesentliche Rolle bei der Wahrnehmung von Schärfe in einem Bild. Bilder mit niedriger Ortsfrequenz sind unscharf und flächig, Bilder mit hoher Ortsfrequenz sind detail- und kontrastreich und mit betonten Umrissen. Entsprechende Algorithmen zur Ortfrequenzfilterung z.B. durch Fouriertransformation sind aus der Praxis bekannt.The recalculation of the views could be a spatial frequency filtering of selected areas of the views of the scene. The spatial frequency plays an essential role in the perception of sharpness in an image. Pictures with low spatial frequency are blurred and flat, pictures with high spatial frequency are rich in detail and contrast and with accented outlines. Corresponding algorithms for local frequency filtering e.g. Fourier transformation is known in practice.

Für Bildobjekte, die sich innerhalb der Szene in der Tiefe kontinuierlich erstrecken, sollte gewährleistet sein, dass auch bei der Berechnung der Ansichten der Bildobjekte die Bildschärfe einen kontinuierlichen Übergang aufweist. In vielen Fällen sind für die Berechnung der neuen Bildinformationen Informationen über die dreidimensionale Beschaffenheit des Objekts notwendig. Dazu könnte ein dreidimensionales Modell des Bildobjekts vorhanden sein. Dieses dreidimensionale Modell könnte auf die verschiedensten Arten realisiert sein. Ist das Bildobjekt beispielsweise als virtuelles Objekt generiert, so werden die dreidimensionalen Informationen sehr wahrscheinlich bereits in einfacher Art vorliegen.For image objects that extend continuously in depth within the scene, it should be ensured that the image sharpness also has a continuous transition when calculating the views of the image objects. In many cases, information about the three-dimensional nature of the object is necessary for the calculation of the new image information. For this purpose, a three-dimensional model of the image object could be present. This three-dimensional model could be realized in many different ways. For example, if the image object is generated as a virtual object, then the three-dimensional information will most likely already be in a simple manner.

Hier können bekannte Renderingfilter eingesetzt werden, um die Ansichten in der gewünschten Qualität darzustellen. Insbesondere bei besonders realitätsnahen und detailgenauen Darstellungen von Bildobjekten kann relativ schnell die Leistungsfähigkeit der eingesetzten Prozessoren erreicht sein. So kann es innerhalb einer realen Szene mit einer ausgeprägten räumlichen Staffelung vieler Bildobjekte vorteilhaft sein, vorberechnete, mit verschiedenen Ortsfrequenzfiltern bearbeitete Teilbereiche der Ansichten des Bildobjekts, der Fotografien oder der Videosequenzen für unter- schiedliche Akkomodationsverhältnisse in einem Speicher abzulegen. Diese Daten könnten dann in Abhängigkeit von der aktuellen Blickrichtung des Betrachters aus dem Speicher ausgelesen werden und auf der Anzeigeeinrichtung geeignet dargestellt werden. Um einen flüssigen Übergang zwischen den einzelnen gespeicherten Ansichten erreichen zu können, könnten Zwischenbilder zwischen den abgespeicherten Ansichten auf geeignete Weise - beispielsweise durch Morphing - berechnet werden. Derartige Berechnungsarten sind für sich gesehen ebenfalls aus der Praxis bekannt.Known rendering filters can be used here to display the views in the desired quality. Particularly in the case of particularly realistic and detailed representations of image objects, the performance of the processors used can be achieved relatively quickly. Thus, within a real scene with a pronounced spatial staggering of many picture objects, it may be advantageous to use precalculated sub-sections of the views of the picture object, the photographs or the video sequences for subimages processed with different spatial frequency filters. store different accommodation conditions in a memory. These data could then be read out of the memory as a function of the current viewing direction of the viewer and displayed appropriately on the display device. In order to be able to achieve a fluid transition between the individual stored views, intermediate images between the stored views could be calculated in a suitable manner, for example by morphing. Such types of calculation are also known in practice.

Vorzugsweise kommt das erfindungsgemäße Verfahren im Zusammenhang mit der Darstellung auf einer autostereoskopischen Anzeigeeinrichtung zum Einsatz. Dabei ist es von Vorteil, wenn neben der Berechnung der Ansichten in Abhängigkeit von der Blickrichtung sowie von der Position oder der Bewegung des Betrachters zusätzlich eine genaue Steuerung des Betrachtungswinkels vorgenommen wird. Dies geschieht - wie zuvor beschrieben - durch geeignetes Ansteuern der Leuchtpunkte hinter dem optischen Mittel der autostereoskopischen Anzeigeeinrichtung. Die Anpassung kann als Regelkreis parallel oder sequentiell zu der Neuberechnung der Ansichten durchgeführt werden. Dabei ist wichtig zu berücksichtigen, dass bei der Nachregelung lediglich in einem geringen Bereich Bildpunkte verschoben werden. Eine vollkommene Neuerzeugung von Ansichten des Bildobjekts erfolgt hierbei nicht.The method according to the invention is preferably used in connection with the representation on an autostereoscopic display device. It is advantageous if, in addition to the calculation of the views as a function of the viewing direction and of the position or the movement of the viewer in addition an accurate control of the viewing angle is made. This is done - as described above - by suitably driving the luminous dots behind the optical means of the autostereoscopic display device. The adaptation can be carried out as a control loop in parallel or sequentially to the recalculation of the views. It is important to consider that in the readjustment only in a small range pixels are moved. A complete recreation of views of the image object is not done here.

Das erfindungsgemäße Verfahren ist nicht zwangsläufig in Verbindung mit Anzeigeeinrichtungen zur dreidimensionalen Darstellung zu sehen. So ist es auch möglich, einen Standardmonitor zu verwenden und die Ansichten des Bildobjekts monosko- pisch darzustellen. Hier genügt eine virtuelle Ansicht, die lediglich eine Ansicht des Bildobjekts erzeugt. Nach einem anderen Aspekt der Erfindung kann das Verfahren auch zusammen mit einer Auswahleinrichtung eingesetzt werden, die eine Interaktion mit dem Bildobjekt oder Teilen davon erlaubt. Diese Auswahleinrichtung ist vorzugsweise frei im Bildraum bewegbar. Mit dieser Auswahleinrichtung kann das Bildobjekt oder Teile davon ausgewählt, markiert, verschoben, bearbeitet, gedreht oder in anderer Weise beeinflusst werden.The inventive method is not necessarily seen in conjunction with display devices for three-dimensional representation. It is thus also possible to use a standard monitor and monosize the views of the image object. All you have to do is create a virtual view that just creates a view of the image object. According to another aspect of the invention, the method may also be used in conjunction with a selector that allows interaction with the image object or parts thereof. This selection device is preferably freely movable in the image space. With this selection device, the image object or parts thereof can be selected, marked, moved, edited, rotated or otherwise influenced.

Die Auswahleinrichtung könnte durch ein beliebiges Objekt gebildet sein, dessen dreidimensionale Position und gegebenenfalls Orientierung mittels eines geeigneten Systems bestimmt wird. Hier könnte beispielsweise ein stereoskopisch arbeitendes Kamerasystem verwendet werden, mit dem das Objekt erfasst wird. Das zu verfolgende Objekt könnte durch einen Stift, ein beliebiges Werkzeug, mit dem der Betrachter mit dem Bildobjekt interagiert, oder dergleichen realisiert sein. Der Betrachter könnte auch einen Finger als Auswahleinrichtung verwenden. Damit kann besonders natürlich mit einzelnen Bereichen des Bildobjekts interagiert werden.The selection device could be formed by any object, its three-dimensional position and optionally orientation by means of a suitable object System is determined. Here, for example, a stereoscopically operating camera system could be used, with which the object is detected. The object to be tracked could be realized by a pen, any tool with which the viewer interacts with the image object, or the like. The viewer could also use a finger as a selector. This can be interacted naturally with individual areas of the image object.

Insbesondere bei autostereoskopischen Anzeigeeinrichtungen scheint das dargestellte Bildobjekt vor der Anzeigeeinrichtung zu schweben. Wählt ein Betrachter einen Punkt des Bildobjekts aus, kann man davon ausgehen, dass er seinen Blick auch auf diesen Punkt richtet. Bei Auswahl eines Punktes des Bildobjekts kann daher bestimmt werden, welche Bildbereiche der Betrachter hinter der Auswahleinrichtung liegend sieht. Diese Bildbereiche entsprechen auch den von der aktuellen Blickrichtung erfassten Bereichen. Dies hat zur Folge, dass zusätzlich zum Einbeziehen der Blickrichtung des Betrachters auch die Position des Betrachters und die Position der Auswahleinrichtung als Informationen zur Steuerung der Neuberechnung von Ansichten des Bildobjekts genutzt werden können.Particularly in the case of autostereoscopic display devices, the illustrated image object appears to float in front of the display device. If a viewer selects a point of the image object, one can assume that he is also looking at this point. When selecting a point of the image object, therefore, it can be determined which image areas the observer sees lying behind the selection device. These image areas also correspond to the areas covered by the current viewing direction. This has the consequence that in addition to the inclusion of the viewing direction of the viewer and the position of the viewer and the position of the selector can be used as information to control the recalculation of views of the image object.

Wegen den allgemein sehr hohen Anforderungen bei den Neuberechnungen der Ansichten könnte es sinnvoll sein, die Berechnungen nicht lediglich unter Verwendung standardmäßiger Computerprozessoren durchzuführen. Vielfach sind bei der Bilddarstellung für die Anzeigeeinrichtung hochleistungsfähige Grafikprozessoren im Einsatz. Werden die Bildansichten beispielsweise auf einem leistungsfähigen Standardrechner, beispielsweise einem Personal Computer, durchgeführt, so verfügen diese über eine Grafikkarte, die die Bilder für die Anzeigeeinrichtung in geeigneter Form darstellt. Die dort eingesetzten Grafikprozessoren verfügen bereits über geeignete Operationen, um dreidimensionale Transformationen einfacher und schneller durchführen zu können. Derartige Fähigkeiten könnten bei der Umsetzung des Verfahrens geeignet genutzt werden. Zusätzlich könnten Standard-Software- Komponenten, wie beispielsweise DirectX oder OpenGL, verwendet werden. Auch dadurch könnten die Fähigkeiten der entsprechend implementierten Software weiter verbessert und beschleunigt werden. In Ergänzung zu den voranstellenden Ausführungen sei angemerkt, dass es in Bezug auf unmittelbare Interaktionen von ganz besonderer Bedeutung ist, wenn diese weitestgehend kabel- und gerätefrei auslösbar sind. So lassen sich entsprechende Interaktionen beispielsweise durch akustische Kommandos, Spracheingabe, örtliche und zeitliche Gesten, Blinzeln, Gesichtsausdruck, etc. initiieren.Because of the generally high requirements for recalculating the views, it may be useful not to perform the calculations using only standard computer processors. In many cases, high-performance graphics processors are used in image display for the display device. If the image views, for example, on a powerful standard computer, such as a personal computer, carried out, they have a graphics card that displays the images for the display device in a suitable form. The graphics processors used there already have suitable operations to perform three-dimensional transformations easier and faster. Such skills could be suitably used in the implementation of the process. In addition, standard software components such as DirectX or OpenGL could be used. This could also further improve and accelerate the capabilities of the correspondingly implemented software. In addition to the above, it should be noted that it is of particular importance in terms of immediate interactions when they are largely wireless and device-free. Thus, corresponding interactions can be initiated, for example, by acoustic commands, voice input, local and temporal gestures, blinking, facial expression, etc.

Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die dem Patentanspruch 1 nachgeordneten Patentansprüche und andererseits auf die nachfolgende Erläuterung dreier Ausführungsbeispiele der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung der bevorzugten Ausführungsbeispiele der Erfindung anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigenThere are now various possibilities for designing and developing the teaching of the present invention in an advantageous manner. For this purpose, on the one hand to the claims subordinate to claim 1 and on the other hand to refer to the following explanation of three embodiments of the invention with reference to the drawings. In conjunction with the explanation of the preferred embodiments of the invention with reference to the drawings, also generally preferred embodiments and developments of the teaching are explained. In the drawing show

Fig. 1 bis 3 beispielhafte Anordnungen zur Anwendung des erfindungsgemäßen Verfahrens.Fig. 1 to 3 exemplary arrangements for applying the method according to the invention.

Auf einer Anzeigeeinrichtung 1 werden Bildobjekte 2a und 2b dargestellt. Die Anzeigeeinrichtung 1 umfasst eine autostereoskopische Anzeigeeinrichtung, bei der das Bildobjekt 2a zumindest teilweise vor der Anzeigeeinrichtung zu schweben scheint, während Bildobjekt 2b zumindest teilweise im Hintergrund hinter der Anzeigeeinrichtung wahrgenommen wird. Ein Betrachter, dessen Augen 3 in den Figuren angedeutet sind, betrachtet das Bildobjekt 2, das auf der Anzeigeeinrichtung 1 dargestellt wird.On a display device 1 image objects 2a and 2b are shown. The display device 1 comprises an autostereoscopic display device, in which the image object 2a appears to float at least partially in front of the display device, while the image object 2b is at least partially perceived in the background behind the display device. A viewer whose eyes 3 are indicated in the figures views the image object 2 displayed on the display device 1.

Eine Positionserfassung in Form eines stereoskopisch arbeitenden Kamerasystems ermittelt kontinuierlich die Position der Augen 3 des Betrachters in allen drei Raumrichtungen und seine Blickrichtung. Auf der Anzeigeeinrichtung 1 werden zwei Ansichten des Bildobjekts mit entsprechendem Versatz geeignet dargestellt, sodass vor der Anzeigeeinrichtung 1 ein virtueller dreidimensionaler Bildraum aufgespannt ist. In dem virtuellen Bildraum wird das Bildobjekt 2a scheinbar zumindest teilweise vor der Anzeigeeinrichtung dargestellt, während das Bildobjekt 2b zumindest teilweise hinter der Anzeigeeinrichtung dargestellt wird.A position detection in the form of a stereoscopically operating camera system continuously determines the position of the eyes 3 of the observer in all three spatial directions and his viewing direction. On the display device 1, two views of the image object are appropriately displayed with a corresponding offset, so that a virtual three-dimensional image space is spanned in front of the display device 1. In the virtual image space, the image object 2a is apparently at least partially in front of Display device displayed while the image object 2b is at least partially behind the display device.

Die durch die Positions- und Sehwinkelerfassung ermittelte Blickrichtung der Augen 3 des Betrachters wird in den virtuellen Bildraum übertragen. Da eine möglichst realistische Darstellung der Bildobjekte 2a und 2b auf der Anzeigeeinrichtung 1 erzielt werden soll, entspricht diese Blickrichtung in Fig. 1 einer Akkomodation der Augen 3 auf das Bildobjekt 2a. Dieses Bildobjekt wird scharf dargestellt, während das scheinbar weiter entfernte Bildobjekt 2b unscharf erscheint. Eine Veränderung der Blickrichtung der Augen 3 nach rechts hin zum Bildobjekt 2b - dargestellt in Fig. 2 - wird vom System erkannt, und es erfolgt eine Anpassung der Ansichten.The viewing direction of the eyes 3 of the observer determined by the position and visual angle detection is transmitted into the virtual image space. Since a representation of the image objects 2a and 2b which is as realistic as possible is to be achieved on the display device 1, this viewing direction in FIG. 1 corresponds to an accommodation of the eyes 3 on the image object 2a. This image object is displayed in sharp focus, while the seemingly farther away image object 2b appears out of focus. A change of the viewing direction of the eyes 3 to the right towards the image object 2b - shown in FIG. 2 - is recognized by the system and the views are adjusted.

Danach erfolgt die Darstellung entsprechend einer Akkomodation auf Bildobjekt 2b. Das Bildobjekt 2b wird scharf dargestellt während das scheinbar näher liegende Bildobjekt 2a unscharf erscheint. Die durch die beiden virtuellen Kameras erzeugten Ansichten werden wiederum in für die Anzeigeeinrichtung geeignete Bilder umgesetzt und auf der Anzeigeeinrichtung 1 dargestellt.Thereafter, the representation takes place according to an accommodation on image object 2b. The image object 2b is displayed sharply while the seemingly closer image object 2a appears out of focus. The views generated by the two virtual cameras are in turn converted into images suitable for the display device and displayed on the display device 1.

Fig. 3 zeigt den Fall, wonach ein Bildobjekt 2a mittels einer Auswahleinrichtung 4 markiert wird. Die Auswahleinrichtung 4 ist hier durch einen Finger der Hand des Betrachters gebildet. Der Betrachter hat in dem virtuellen Bildraum einen in Fig. 3 mit einem Kreis gekennzeichneten Bereich 5 markiert. Es wird davon ausgegangen, dass der Betrachter seinen Blick dabei auf die Auswahleinrichtung und auch auf den gekennzeichneten Bereich 5 richtet.FIG. 3 shows the case where an image object 2a is marked by means of a selector 4. The selector 4 is formed here by a finger of the hand of the observer. The viewer has in the virtual image space marked in Fig. 3 marked with a circle area 5. It is assumed that the viewer directs his gaze to the selection device and also to the marked area 5.

Eine Erfassungseinheit zum Erfassen der Position der Auswahleinrichtung 4 bestimmt zunächst die Position der Auswahleinrichtung in Bezug auf die Anzeigeeinrichtung 1. Unter Verwendung virtueller Kameras kann bestimmt werden, welcher Punkt 5 in dem virtuellen Bildraum durch die Auswahleinrichtung 4 markiert ist. Dieser markierte Bereich 5 entspricht dem Bereich, auf den die Augen des Betrachters beim Auswahlvorgang akkomodiert sind. Ein Teil des Bildobjektes 2a wird scharf dargestellt während scheinbar weiter entfernte Teile des Bildobjektes 2a sowie Bildobjekt 2b unscharf erscheinen. Bei der Berechnung der Ansichten der Bildobjekte 2a und 2b wird also nicht nur die Blickrichtung der Augen 3 des Betrachters berücksich- tigt, sondern auch der ausgewählte Bereich 5 sowie die Position der Augen 3 des Betrachters als Information verwendet.A detection unit for detecting the position of the selector 4 first determines the position of the selector with respect to the display 1. Using virtual cameras, it can be determined which point 5 in the virtual image space is marked by the selector 4. This marked area 5 corresponds to the area to which the eyes of the observer are accommodated during the selection process. A part of the image object 2a is displayed sharply while seemingly more distant parts of the image object 2a and image object 2b appear out of focus. In the calculation of the views of the image objects 2a and 2b, therefore, not only the viewing direction of the eyes 3 of the observer is taken into account. but also the selected area 5 and the position of the eyes 3 of the observer are used as information.

Hinsichtlich weiterer vorteilhafter Ausgestaltungen des erfindungsgemäßen Verfahrens wird zur Vermeidung von Wiederholungen auf den allgemeinen Teil der Beschreibung sowie auf die nachfolgenden Patentansprüche verwiesen.With regard to further advantageous embodiments of the method according to the invention, reference is made to avoid repetition to the general part of the specification and to the following claims.

Abschließend sei ganz besonders hervorgehoben, dass die zuvor beschriebenen Ausführungsbeispiele lediglich zur Erörterung der erfindungsgemäßen Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken. Finally, it should be particularly emphasized that the embodiments described above are merely for the purpose of discussion of the teaching according to the invention, but do not limit these to the exemplary embodiments.

Bezugszei chen l isteReference numeral

1 Anzeigeeinrichtung1 display device

2a Bildobjekt2a picture object

2b Bildobjekt2b image object

3 Augen des Betrachters3 eyes of the beholder

4 Auswahleinrichtung4 selection device

5 markierter Bereich 5 marked area

Claims

Patent claims

1. A method for representing image objects in a virtual three-dimensional image space, in particular for generating a virtual reality in the sense of a simulation, that the viewing direction of a viewer of the image object is captured and taken into account for the representation of the image objects and for interactions with the image objects.

2. The method according to claim 1, characterized in that the viewing direction of the viewer is included in a calculation or selection of views of the image object such that the viewer's real viewing direction and / or its change in the virtual image space and for controlling at least one virtual Camera is used, wherein each virtual camera is recorded (rendered) a corresponding to the viewer view of the image object.

3. The method of claim 1 or 2, characterized in that for representing the virtual reality, the viewing direction of both eyes is detected independently of each other to determine a convergence point in real as well as virtual space and to be able to take into account accordingly.

4. The method according to any one of claims 1 to 3, characterized in that the viewing direction and / or convergence point of the viewer is used for the selection of virtual objects within the virtual image space by the intersection with virtual image objects or the distance of the convergence point to virtual image objects is evaluated.

5. The method according to any one of claims 1 to 4, characterized in that the viewing direction or convergence point of the viewer is used as the sole means of interaction.

6. The method according to any one of claims 1 to 4, characterized in that in addition to the line of sight or the point of convergence of the viewer further natural or technical aids for interaction (for example, fingers, feet, computer mouse, etc.) may be used, which may additionally have a virtual equivalent.

7. The method according to claim 6, characterized in that the position of the aids in relation to the viewer, his eye vectors, the display and the virtual objects for representing the virtual reality is taken into account, wherein each virtual camera can be a separate representation, possibly at Overlaps also changed in shape and color.

8. The method according to any one of claims 1 or 7, characterized in that for displaying the virtual reality and the interaction, a stereoscopic SD display is used.

9. The method according to any one of claims 1 to 8, characterized in that in the representation of the virtual reality, the distribution of the sharpness of the image of the virtual objects is influenced according to their depth graduation or laterally to the viewing direction.

10. The method according to any one of claims 5 to 9, characterized in that on the one hand virtual objects and on the other hand known interaction elements, such as switches (buttons), menu items, etc., are selected.

11. The method according to any one of claims 6 to 10, characterized in that the observed object is highlighted in particular by changing color, marking the edges, fading a frame, etc.

12. The method according to any one of claims 6 to 11, characterized in that actions for connecting functional elements or of interaction elements are defined.

13. The method according to any one of claims 6 to 12, characterized in that the magnification is changed.

14. The method according to any one of claims 6 to 13, characterized in that the entire image, individual areas thereof or one or more objects is increased or decreased / are.

15. The method according to any one of claims 6 to 14, characterized in that the entire image, image area or individual objects is / are manipulated.

16. The method according to claim 15, characterized in that the manipulation functions such as moving, zooming, performing context-dependent actions, e.g. Texture or lighting change of the selected objects, includes.

17. The method according to any one of claims 6 to 16, characterized in that an active, preferably continuous navigation is performed.

18. The method according to claim 17, characterized in that the navigation in any representations, for example in 3D scenes, maps, images, videos and text, takes place.

19. The method according to claim 17 or 18, characterized in that a navigation to the selected object out, for example, with jump or continuous presentation to the target / object, passive or active, is made.

20. The method according to any one of claims 17 to 19, characterized in that navigation through links, preferably in the sense of a concatenation of data, images or other information is made.

21. The method according to any one of claims 6 to 20, characterized in that any information, in particular with respect to the objects and / or the interaction elements, optically displayed or communicated acoustically.

22. The method according to any one of claims 6 to 21, characterized in that deposited animations, videos, etc. are activated or triggered.

23. The method according to any one of claims 6 to 22, characterized in that be attached directly to the object markings.

24. The method according to any one of claims 6 to 23, characterized in that a viewpoint path in the respective scene, for example by painting or tracking with the eyes, is introduced.

25. The method according to any one of claims 6 to 24, characterized in that new objects in the overall scene, preferably at the location of the viewpoint, are inserted.

Method according to claim 25, characterized in that the insertion is timed, i. For example, with a predetermined residence time or at fixed intervals occurs.

27. The method according to claim 25 or 26, characterized in that the insertion takes place actively, for example by blinking.

28. The method according to any one of claims 6 to 27, characterized in that any additional input elements active, for example by blinking, can be realized.

29. The method according to any one of claims 6 to 28, characterized in that an at least temporary deletion / hiding of objects is possible.

30. The method according to any one of claims 6 to 28, characterized in that the triggering of interactions in dependence on the gaze of the observer, in particular of the time-dependent fixation of the gaze of the viewer to a selected object occurs.

31. The method according to any one of claims 6 to 30, characterized in that the method is used in collaborative 3D systems, wherein preferably several users, if necessary, look from different positions on one and the same object or on one and the same scene and by looking on certain areas or objects can trigger interactions.