DE102007057208A1

DE102007057208A1 - Method for displaying image objects in a virtual three-dimensional image space

Info

Publication number: DE102007057208A1
Application number: DE102007057208A
Authority: DE
Inventors: Thomas Dr. Schmitt; Steffen BÖTTCHER; Wolfgang Dipl.-Ing. Opel
Original assignee: SPATIAL VIEW GmbH
Current assignee: SPATIAL VIEW INC., CA; SPATIAL VIEW INC., TORONTO, CA
Priority date: 2007-11-15
Filing date: 2007-11-26
Publication date: 2009-05-28
Also published as: WO2009062492A3; WO2009062492A2

Abstract

Ein Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, insbesondere zur Erzeugung einer virtuellen Realität im Sinne einer Simulation, ist dadurch gekennzeichnet, dass die Blickrichtung eines Betrachters das Bildobjekt erfasst und für die Darstellung der Bildobjekte sowie für Interaktionen mit den Bildobjekten berücksichtigt wird.A method for representing image objects in a virtual three-dimensional image space, in particular for generating a virtual reality in the sense of a simulation, is characterized in that the viewing direction of a viewer captures the image object and is taken into account for the representation of the image objects and for interactions with the image objects.

Description

Die Erfindung betrifft ein Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, insbesondere zur Erzeugung einer virtuellen Realität im Sinne einer Simulation.The The invention relates to a method for displaying image objects in a virtual three-dimensional image space, in particular for Generation of a virtual reality in the sense of a simulation.

In den verschiedensten Bereichen wird verstärkt versucht, Vorgänge in virtuellen Realitäten abzubilden, durchzuführen oder zu erproben, da dort insbesondere spezielle Arbeitsbedingungen gezielt simuliert werden können. Der Begriff "virtuelle Realität" (VR) bezeichnet dabei die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer meist in Echtzeit computergenerierten interaktiven – virtuellen – Umgebung. Auch wenn die technischen Möglichkeiten, beispielsweise hinsichtlich einer umfassenden Wahrnehmung physikalischer Eigenschaften, derzeit noch beschränkt sind, so sind die Einsatzmöglichkeiten dennoch überaus umfangreich. Beispielhaft sei auf deren Verwendung in Flugzeugsimulatoren bei der Ausbildung von Piloten, bei der Erstellung von virtuellen Prototypen in der Industrie, bei der Durchführung von Ergonomietests, bei der Visualisierung von Gebäuden, sowie in der medizinischen Diagnostik, bei der Simulation von Operationen, bei virtuellen Besuchen schwer erreichbarer Orte, beim Edutainment oder dergleichen verwiesen.In the most diverse areas are increasingly being Depict processes in virtual realities, be carried out or tested, as there in particular special Working conditions can be specifically simulated. Of the Term "virtual reality" (VR) refers to the Representation and simultaneous perception of reality and its physical Properties in a mostly real-time computer-generated interactive-virtual-environment. Even if the technical possibilities, for example in terms of a comprehensive perception of physical properties, currently still limited, so are the applications nevertheless very extensive. Exemplary is on their Use in aircraft simulators in the training of pilots, in the creation of virtual prototypes in the industry, at performing ergonomic tests, visualization of buildings, as well as in medical diagnostics, at simulation of operations, difficult to access in virtual visits Places, referred to edutainment or the like.

Besonderes Augenmerk bei der Generierung und Vermittlung virtueller Realitäten gilt dem Bestreben, einem Benutzer eine möglichst umfassende Immersion, d. h. ein Eintauchen in die virtuelle Realität, zu bieten. Hierbei nimmt eine möglichst realitätsnahe visuelle Wahrnehmung der virtuellen Realität einen besonderen Stellenwert ein. Dazu werden beispielsweise HMDs (Head-Mounted Displays), Großbildleinwände oder CAVEs (Cave Automatic Virtual Environments) genutzt. Für eine besonders realitätsnahe visuelle Wahrnehmung ist eine Darstellung mit erlebbarer räumlicher Tiefe von Vorteil.special Attention to the generation and communication of virtual realities The aim is to give a user the most comprehensive possible Immersion, d. H. a dive into virtual reality, too Offer. This takes a realistic as possible visual Perception of virtual reality a special significance one. For this example, HMDs (Head-mounted displays), large screens or CAVEs (Cave Automatic Virtual Environments). For A particularly realistic visual perception is one Presentation with tangible spatial depth of advantage.

Zum Erzeugen eines räumlichen Eindrucks werden zwei Ansichten eines Objekts aus geringfügig unterschiedlichen Positionen erzeugt und dargestellt (Stereoprojektion). Der Abstand zwischen den beiden Positionen sollte dem Abstand der Augen des Betrachters entsprechen. Bei der Darstellung müssen die beiden Ansichten dem jeweiligen Auge zugeführt werden. Hierzu sind wiederum eine Reihe unterschiedlicher Technologien bekannt.To the Generating a spatial impression will be two views an object from slightly different positions generated and displayed (stereo projection). The distance between The two positions should be the distance of the eyes of the beholder correspond. When viewing the two views be supplied to the respective eye. These are in turn a number of different technologies known.

Grundsätzlich kann zwischen aktiven und passiven Verfahren unterschieden werden. Zu den aktiven Verfahren gehören beispielsweise Shutter-Brillen, die mit hoher Geschwindigkeit transparent und dunkel geschaltet werden können. Diese werden zusammen mit einem Monitor eingesetzt, der wechselseitig ein Bild für das linke und ein Bild für das rechte Auge darstellt. Bei Synchronisation der Brille mit dem Monitor wird jedem Auge das korrekte Bild zugeleitet. Zu den passiven Verfahren zählen das Anaglyph- und das Polarisationsverfahren, bei denen zwei Ansichten eines Bildes mit geringfügigem Abstand zueinander in einem Bild überlagert sind. Unter Verwendung von Farb- oder Polarisationsfilterbrillen können diese Bildansichten wieder getrennt werden.in principle can be distinguished between active and passive procedures. Active methods include, for example, shutter glasses, the transparent and dark switched at high speed can be. These are together with a monitor used alternately a picture for the left and represents a picture for the right eye. During synchronization the glasses with the monitor, the correct image is transmitted to each eye. The passive methods include the anaglyph and the Polarization method in which two views of an image with slightly spaced apart in an image are. Using color or polarization filter glasses can these image views are separated again.

Darüber hinaus sind aus der Praxis autostereoskopische Monitore bekannt, die dem Benutzer eine Wahrnehmung räumlicher Tiefe der dargestellten Objekte ohne die Benutzung spezieller Hilfsmittel wie Brillen oder ähnliches ermöglichen. Ein autostereoskopischer Monitor weist eine sehr feine Bildmatrix auf, vor der unmittelbar ein optisches Mittel, meist in Form von Lentikular- oder Parallax-Barrierensystemen, angebracht ist.About that In addition, autostereoscopic monitors are known from practice, giving the user a perception of spatial depth displayed objects without the use of special tools such as Glasses or similar allow. An autostereoscopic Monitor has a very fine image matrix, in front of the immediate an optical means, usually in the form of lenticular or parallax barrier systems, is appropriate.

Durch die spezielle Geometrie des optischen Mittels wird erreicht, dass bestimmte Bildpunkte der Bildmatrix in eine definierte Raumrichtung abgestrahlt werden. Durch gezieltes Ansteuern der Bildpunkte können gleichzeitig und unabhängig voneinander Bilder für das linke und das rechte Auge dargestellt werden. Die Qualität des dreidimensionalen Eindrucks ist umso höher, je besser getrennt die beiden Ansichten wahrgenommen werden können. Dies kann durch eine Einschränkung des Raumwinkels, in dem eine dreidimensionale Wahrnehmung möglich ist, erreicht werden. Um dennoch ein komfortables Arbeiten am Monitor mit maximaler Bewegungsfreiheit des Betrachters zu erreichen, werden Tracking-Systeme verwendet, die die Position des Betrachters kontinuierlich erfassen. In Abhängigkeit der Position des Betrachters werden die Bildpunkte auf der Bildmatrix oder die Position des optischen Mittels durch geringfügiges Verschieben nachgesteuert, so dass der räumlich sehr enge Betrachtungswinkel dem Betrachter nachgeführt wird.By the special geometry of the optical means is achieved that certain pixels of the image matrix in a defined spatial direction be radiated. By targeted driving the pixels can simultaneously and independently of each other images for the left and the right eye are displayed. The quality the three-dimensional impression is the higher, the better separated the two views can be perceived. This can be done by restricting the solid angle in which A three-dimensional perception is possible become. Nevertheless, a comfortable working on the monitor with maximum To achieve freedom of movement of the viewer, are tracking systems used, which continuously detect the position of the viewer. Depending on the position of the viewer, the Pixels on the image matrix or the position of the optical means by slight shifting nachgesteuert, so that the spatially very narrow viewing angles tracked the viewer becomes.

Eine Besonderheit autostereoskopischer Monitore besteht darin, dass alle Bildobjekte – unabhängig von ihrer scheinbaren räumlichen Entfernung vom Betrachter – in der Monitorebene abgebildet werden, und somit die Augen des Betrachters stets auf diese Monitorebene fokussiert bleiben (müssen) entgegen der natürlichen Akkomodation auf unterschiedliche Entfernungen betrachteter Objekte.A Special feature of autostereoscopic monitors is that all Picture objects - regardless of their apparent spatial distance from the viewer - in the Monitor level, and thus the eyes of the beholder Always stay focused on this monitor level of natural accommodation at different distances considered objects.

Zur Interaktion mit der virtuellen Realität werden bislang verschiedene Eingabegeräte verwendet. Beispielhaft sei auf die Verwendung von 3D-Mäusen, Datenhandschuhen, Joysticks oder besonderer Tastaturen hingewiesen. Allerdings ist es auch bereits bekannt, die Position realer Objekte mittels Tracking-Systemen zu erfassen und als Eingabegeräte zu benutzen. Ein derartiges System ist beispielsweise in der EP 1 025 520 B1 beschrieben.To date, various input devices have been used to interact with virtual reality. For example, reference is made to the use of 3D mice, data gloves, joysticks or special keyboards. However, it is already known to capture the position of real objects by means of tracking systems and to use them as input devices. Such a system is for example in the EP 1 025 520 B1 described.

Die bekannten Verfahren der zuvor genannten Art weisen jedoch den erheblichen Nachteil auf, dass die daraus resultierende Darstellung meist als unnatürlich und unkomfortabel empfunden wird. Derzeit liefern solche Systeme die natürlichsten Eindrücke, die die reale Welt vollständig kapseln. Dies geschieht beispielsweise bei HMDs, bei denen der Benutzer lediglich die virtuelle Realität sieht. Hier kann vollständig oder zumindest in weiten Teilen auf die Aktionen des Benutzers eingegangen werden. Allerdings sind HMDs meist schwer bzw. kompliziert anzubringen und relativ teuer. Zudem wird für die vollständige Kapselung der realen Welt eine umfangreiche Sensorik benötigt, mit der die Aktionen des Benutzers und insbesondere seine Blickrichtung erfasst werden. Andere Systeme wie Shutter-Brillen oder autostereoskopische Displays kommen mit einer weit geringeren Menge an Sensorik aus und sind meist mit weit geringerem Aufwand aufzubauen. Allerdings leidet hier wiederum die Natürlichkeit der Wahrnehmung der virtuellen Realität durch die oben beschriebenen Einschränkungen bezüglich der Akkomodation. So möchte ein Betrachter eines dreidimensionalen Objekts nicht lediglich ein Objekt einer komplexen Szene möglichst natürlich betrachten, sondern auch andere Objekte, die sich in unterschiedlichen Entfernungen zum Betrachter und zu anderen Objekten zu befinden scheinen.The However, known methods of the aforementioned type have the considerable Disadvantage on that the resulting representation mostly as unnatural and uncomfortable. Currently deliver such systems the most natural impressions that the real world completely encapsulate. This happens, for example, at HMDs where the user is just the virtual reality sees. Here can be complete or at least in large parts to discuss the actions of the user. However, they are HMDs usually difficult or complicated to install and relatively expensive. In addition, for the complete encapsulation of Real world needs a comprehensive sensor technology with the the actions of the user and in particular his line of vision be recorded. Other systems such as shutter glasses or autostereoscopic Displays can handle a much smaller amount of sensor technology and are usually build with far less effort. However suffers here again the naturalness of the perception of the virtual Reality through the restrictions described above with regard to accommodation. That's what a viewer wants a three - dimensional object not just an object of a view the complex scene as naturally as possible, but also other objects that are at different distances appear to be the viewer and other objects.

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der gattungsbildenden Art derart auszugestalten und weiterzubilden, dass eine möglichst realitätsnahe Darstellung von Bildobjekten in einem virtuellen Bildraum, insbesondere bei mehreren Bildobjekten in komplexen Szenen, möglich ist.Of the The present invention is therefore based on the object, a method the generic type to design and develop such that a realistic representation of image objects in a virtual image space, especially with multiple image objects in complex scenes, is possible.

Erfindungsgemäß ist die voranstehende Aufgabe durch die Merkmale des Patentanspruches 1 gelöst. Danach ist das in Rede stehende Verfahren dadurch gekennzeichnet, dass die Blickrichtung eines Betrachters des Bildobjekts erfasst und für die Darstellung der Bildobjekte sowie für Interaktionen mit den Bildobjekten berücksichtigt wird. Dabei sei angemerkt, dass sich die Lehre auch auf mehrere Betrachter an einem oder an mehreren Displays bezieht, wenngleich fortan – der Einfachheit halber – stets von dem Betrachter die Rede ist.According to the invention the above object by the features of claim 1 solved. Thereafter, the method in question is thereby characterized in that the viewing direction of a viewer of the image object captured and for the representation of the image objects as well as for Interactions with the image objects is taken into account. It should be noted that the doctrine also applies to several observers refers to one or more displays, although from now on For simplicity's sake - always talked about by the viewer is.

In erfindungsgemäßer Weise ist zunächst erkannt worden, dass eine besonders realitätsnahe Darstellung nur dann möglich ist, wenn die Blickrichtung des Betrachters im Wesentlichen auf die Darstellung der virtuellen Realität übertragen werden kann.In inventive way is first been recognized that a particularly realistic representation only possible if the viewing direction of the viewer essentially transferred to the representation of virtual reality can be.

Ändert ein Betrachter beispielsweise seine Blickrichtung von einem scheinbar weiter entfernten Objekt auf ein scheinbar näher liegendes Objekt, so erwartet er – analog zur realen Welt –, dass das nunmehr betrachtete Objekt schärfer abgebildet wird, während das nicht mehr betrachtete bzw. fokussierte Objekt nur noch unscharf im Hintergrund wahrgenommen wird.change a viewer, for example, his gaze from a seemingly more distant object on a seemingly closer Object, he expects - analogous to the real world -, that the now considered object is displayed sharper becomes while the no longer considered or focused object only blurred in the background is perceived.

Die Blickrichtung kann in vorteilhafter Weise auch als alleiniges Mittel zur Interaktion eingesetzt werden. Dies erfordert neben der Einrichtung zur Erfassung der Blickrichtung (Kamera(s)) lediglich eine geeignete Software und ist damit ein in vielerlei Hinsicht günstiges und insoweit vorteilhaftes „Eingabegerät". Wird durch die Analyse der Blickrichtung ein Objekt in einer räumlichen Szene identifiziert, so kann man diese Information nutzen, um mit dem Objekt zu interagieren.The Viewing direction can also be advantageous as the sole means be used for interaction. This requires in addition to the facility for detecting the viewing direction (camera (s)) only a suitable Software, making it affordable in many ways and insofar advantageous "input device" by analyzing the line of sight an object in a spatial Scene identified, so you can use this information to interact with to interact with the object.

In vorteilhafter Weise wird zur Darstellung der virtuellen Realität die Blickrichtung beider Augen unabhängig voneinander erfasst, um einen Konvergenzpunkt im realen wie im virtuellen Raum zu bestimmen und entsprechend berücksichtigen zu können. Dies ist von ganz besonderem Vorteil, beispielsweise bei der Darstellung von semi-transparenten Objekten, wie Gewebe, Flüssigkeiten oder bei der Darstellung von konvexen (lückenhaften, löchrigen) Objekten, die in einer komplexen Szene auftreten können. Des Weiteren sei angemerkt, dass der reale und der virtuelle Raum zwei unterschiedliche Koordinatensysteme haben, die zueinander kalibriert werden müssen.In Advantageously, the representation of the virtual reality the viewing direction of both eyes is detected independently of each other, to determine a point of convergence in real as in virtual space and be able to take into account accordingly. This is of very particular advantage, for example in the presentation of semi-transparent objects, such as tissue, fluids or in the representation of convex (patchy, holey) objects, that can occur in a complex scene. Furthermore It should be noted that the real and the virtual space are two different Have coordinate systems that need to be calibrated to each other.

Des Weiteren soll in weiter vorteilhafter Weise auch die Auswertung von „Augen-Gesten" einfließen können, wie z. B. ein- oder mehrmaliger Lidschluss, um damit alleinige oder kombinierte Interaktion mit dem Bildinhalt ohne weitere Hilfsmittel zu ermöglichen.Of Furthermore, in a further advantageous manner, the evaluation of "eye gestures", such as B. one or more eyelids, so as to sole or Combined interaction with the image content without further aids to enable.

Denkbar ist der Einsatz weiterer Mittel zur Interaktion, beispielsweise

• Auswahl von Objekten einschließlich bekannter Interaktionselemente wie Schalter (Buttons), Menuelemente etc.,
• Hervorhebung des betrachteten Objektes (durch Veränderung von Farbe, Markierung der Kanten, Aufblenden eines Rahmens etc.),
• Auswahl von Aktionen, die mit solchen Elemente verbunden sind,
• Veränderung des Abbildungsmaßstabes (Zoom),
• Manipulation (z. B. Verschieben, Zoom, Ausführen kontextabhängiger Aktionen wie z. B. Textur- oder Beleuchtungs-Wechsel) der ausgewählten Objekte,
• aktive, kontinuierliche Navigation (ähnlich einem Flugsimulator) in beliebigen Darstellungen: 3D-Szenen, Karten, Bilder, Videos, Text,
• Navigation zum ausgewählten Objekt hin (mit Sprung oder kontinuierlicher Darstellung bis zum Zielpunkt, relativ passiv),
• Navigation durch Links im Sinne von Verkettungen von Daten, Bildern oder Informationen,
• Einblenden von Informationen,
• Auslösen von hinterlegten Animationen, Videos etc.,
• Anbringung von Markierungen am Objekt,
• Einbringen des Blickpunkt-Pfades in die Szene (Malen mit den Augen),
• Hinzufügen neuer Objekte in die Szene am Ort des Blickpunktes, z. B. zeitgesteuert (Verweildauer oder in festen Intervallen) oder aktiv z. B. durch Blinzeln bzw. (auch temporäres) Löschen/Ausblenden von Objekten,
• die Auslösung der Interaktion in Abhängigkeit davon, wie lange der Blick des Betrachters auf einem ausgewählten Objekt ruht,
• Einsatz in kollaborativen 3D-Systemen, wobei mehrere Nutzer ggf. aus unterschiedlichen Positionen auf ein und dasselbe Objekt/ein und dieselbe Szene schauen und durch Blick auf bestimmte Bereiche Interaktionen auslösen, etc.

It is conceivable to use further means of interaction, for example

• Selection of objects including known interaction elements such as buttons, menu items, etc.
• Highlighting of the observed object (by changing color, marking the edges, fading in a frame, etc.),
• selection of actions associated with such elements
• change in magnification (zoom),
• manipulation (eg moving, zooming, performing context-sensitive actions such as texture or lighting changes) of the selected objects,
• active, continuous navigation (similar to a flight simulator) in any representation: 3D scenes, maps, pictures, videos, text,
• Navigation to the selected object (with jump or continuous presentation to the target point, relatively passive),
• navigation through links in the sense of links of data, pictures or information,
• display information,
• triggering of stored animations, videos etc.,
• application of markings on the object,
• introducing the viewpoint path into the scene (painting with the eyes),
• Adding new objects to the scene at the point of view, e.g. B. time-controlled (dwell time or at fixed intervals) or active z. Eg by blinking or (also temporary) deleting / hiding of objects,
The triggering of the interaction depending on how long the viewer's gaze rests on a selected object,
• Use in collaborative 3D systems, where multiple users may look at the same object / scene from different positions, triggering interactions by looking at specific areas, etc.

Beliebige Kombinationen der zuvor aufgeführten Mittel sind denkbar und je nach Bedarf von Vorteil.any Combinations of the previously listed agents are conceivable and as needed to advantage.

An dieser Stelle sei angemerkt, dass die blickgesteuerte Interaktion in Kombination mit anderen Interaktionsprinzipien erfolgen kann. Dazu folgendes:
Verwendet ein Betrachter ein Werkzeug zur Interaktion mit dem Bildobjekt, beispielsweise in Form eines Auswahlvorgangs im virtuellen Bildraum, so wird erwartet, dass genau das Bildobjekt, mit dem interagiert wird, d. h. auf das der Betrachter sowohl seinen Blick als auch das Werkzeug richtet, scharf abgebildet wird, während andere Bildobjekte, die sich in scheinbar in anderer Entfernung zum Betrachter befinden, unscharf davor oder dahinter wahrgenommen werden. Dies ist bei autostereoskopischen Anzeigeeinrichtungen nicht zwangläufig gegeben. In vorteilhafter Weise ist daher erkannt worden, dass diese Problematik besonders einfach gelöst werden kann, wenn die Blickrichtung des Betrachters und/oder deren Veränderung aus der realen Welt in die virtuelle Realität abgebildet wird. Diese in den virtuellen Raum übertragene Blickrichtung oder Blickrichtungsveränderung wird dazu genutzt, zumindest eine virtuelle Kamera zu steuern, wobei eine virtuelle Kamera einer dem Betrachter dargestellten Ansicht entspricht. Im Falle einer autostereoskopischen Anzeigeeinrichtung sind mindestens zwei virtuelle Kameras vorzusehen, die die Ansichten für jeweils ein Auge des Betrachters erzeugen. Die Abbildungseigenschaften der virtuellen Kameras in dem virtuellen Raum korrespondieren mit den Abbildungseigenschaften der Augen des Betrachters.It should be noted that the view-controlled interaction can be combined with other interaction principles. In addition the following:
If a viewer uses a tool for interacting with the image object, for example in the form of a selection process in the virtual image space, then it is expected that exactly the image object with which it interacts, that is to which the viewer directs both his view and the tool, will be in focus while other picture objects that appear to be at a different distance from the viewer are blurred in front of or behind them. This is not necessarily the case with autostereoscopic displays. Advantageously, it has therefore been recognized that this problem can be solved particularly easily if the viewing direction of the viewer and / or its change from the real world is mapped into the virtual reality. This viewing direction or viewing direction change transmitted into the virtual space is used to control at least one virtual camera, wherein a virtual camera corresponds to a view displayed to the viewer. In the case of an autostereoscopic display device, at least two virtual cameras are to be provided, which generate the views for one eye each of the observer. The imaging characteristics of the virtual cameras in the virtual space correspond to the imaging properties of the viewer's eyes.

Durch Verwendung virtueller Kameras kann besonders einfach eine Blickrichtungsänderung eines Betrachters auf ein bestimmtes Bildobjekt "virtualisiert" werden. Insbesondere lassen sich die verschiedensten Vorgänge in die virtuelle Realität übertragen. Dabei können die zuvor skizzierten Aspekte, teilweise oder insgesamt, implementiert oder einzelne Aspekte für die jeweilige Anwendung besonders vorteilhaft realisiert werden. Prinzipiell hängt es vom Aufbau und der Komplexität der Szene mit den verschiedenen Bildobjekten ab, wie die reale Blickrichtung beziehungsweise deren Veränderung mit der Darstellung des betrachteten Bildobjektes in dem virtuellen Bildraum korrespondiert. So kann bei einer Blickrichtungsänderung des Betrachters innerhalb einer Szene mit einer ausgeprägten räumlichen Staffelung vieler Bildobjekte eine sehr fein abgestimmte Anpassung der Ab bildungsschärfe des momentan betrachteten Bildobjektes durchgeführt werden. In einer einfach gestalteten Szene ist eine Beschränkung auf eine grobe Anpassung der Abbildungsschärfe eines vordergründigen Bildobjektes oder des Hintergrundes denkbar.By Using virtual cameras can be particularly easy to change the direction of view a viewer "virtualized" to a specific image object become. In particular, the most diverse processes can be transferred to virtual reality. It can implements the previously outlined aspects, in part or in full or individual aspects for the particular application particularly advantageous will be realized. In principle, it depends on the structure and the complexity of the scene with the different picture objects like the real direction of view or its change with the representation of the viewed image object in the virtual Picture space corresponds. So can at a change of sight the viewer within a scene with a pronounced spatial graduation of many picture objects a very fine Coordinated adjustment of the sharpness of focus of the currently considered Image objects are performed. In a simply designed Scene is a limitation to a rough adaptation of the Picture sharpness of a superficial picture object or the background conceivable.

Grundsätzlich ist es für eine möglichst realitätsnahe Abbildung der realen Verhältnisse im virtuellen Bildraum sinnvoll, die Analogien der normalen Akkomodationsvorgänge des menschlichen Auges zu berücksichtigen und dazu entsprechend abzubilden. Dabei ist es prinzipiell unerheblich, für welche Art von Bildobjekten das erfindungsgemäße Verfahren eingesetzt wird. Sie können im Zusammenhang mit computergenerierten Objekten ebenso wie mit Fotografien, Videosequenzen oder dergleichen eingesetzt werden. Vorteilhafterweise wird ein Erfassen der Blickrichtung des Betrachters beziehungsweise deren Veränderung derart erfolgen, dass die Position der Augen des Betrachters erfasst sowie die Winkel der Sehachsen vermessen wird.in principle Is it as realistic as possible Illustration of the real relationships in the virtual image space meaningful, the analogies of the normal Akkomodationsvorgänge of the human eye and accordingly map. It is in principle irrelevant, for which kind of image objects, the inventive method is used. They can be computer-related Objects as well as with photographs, video sequences or the like be used. Advantageously, a detection of the viewing direction the viewer or their change in such a way done that captures the position of the observer's eyes as well the angle of the visual axes is measured.

Für eine Blickrichtungsdetektion muss der Betrachter mit einer Kamera, vorteilhafter Weise einem Stereo-Kamerasystem, erfasst werden. In mehreren Berechnungsschritten wird die momentane Blickrichtung des Betrachters ermittelt und in eine Position auf der Anzeigeeinrichtung umgerechnet, welcher sich wiederum ein Bildobjekt in der dargestellten Szene zuordnen lässt. Durch eine derartige Bestimmung des momentan betrachteten Bildobjektes können die Ansichten des Betrachters von der dargestellten Szene sehr einfach und direkt bestimmt werden.For A viewing direction detection requires the viewer with a camera, advantageously a stereo camera system, are detected. In several calculation steps, the current viewing direction of Observer determined and in a position on the display device converted, which in turn is a picture object in the illustrated Assign scene. By such a provision of Currently viewed image objects may be the views the viewer of the scene shown very simple and direct be determined.

Die Darstellung dürfte dann besonders realistisch empfunden werden, wenn die Ansichten des Betrachters in Echtzeit berechnet werden. Dabei kann eine harte oder eine weiche Echtzeit vorliegen. Insbesondere bei schnellen Blickrichtungsänderungen des Betrachters dürfte eine weiche Echtzeit ausreichend sein, da hier beispielsweise fehlende Zwischenbilder nicht zu deutlich wahrgenommen werden.The Presentation should then be particularly realistic when the views of the viewer are calculated in real time become. There may be a hard or soft real time. Especially with rapid changes of sight of the viewer a soft real time should be sufficient, since here for example missing intermediate images are not perceived too clearly.

Zum Erzielen eines möglichst realitätsnahen Eindrucks der Darstellung könnten die Ansichten des Bildobjekts bei Veränderung der Blickrichtung des Betrachters neu berechnet werden. Dabei werden die Blickrichtungsänderungen erfasst, einem betrachteten Objekt im virtuellen Bildraum zugeordnet und zur Steuerung einer oder mehrerer virtueller Kameras genutzt. Damit können die Ansichten der Szene für den Betrachter realitätsnah dargestellt werden.To the Achieving a realistic impression The image may be accompanied by the views of the image object Change in the viewing direction of the viewer recalculated become. The sight changes are recorded assigned to a viewed object in the virtual image space and used to control one or more virtual cameras. In order to can change the views of the scene for the viewer be presented realistically.

Die Neuberechnung der Ansichten könnte in einer Ortsfrequenzfilterung ausgewählter Bereiche der Ansichten der Szene bestehen. Die Ortsfrequenz spielt eine wesentliche Rolle bei der Wahrnehmung von Schärfe in einem Bild. Bilder mit niedriger Ortsfrequenz sind unscharf und flächig, Bilder mit hoher Ortsfrequenz sind detail- und kontrastreich und mit betonten Umrissen. Entsprechende Algorithmen zur Ortfrequenzfilterung z. B. durch Fouriertransformation sind aus der Praxis bekannt.The Recalculating the views could be done in a spatial frequency filtering consist of selected areas of the views of the scene. The spatial frequency plays an essential role in the perception of Sharpness in a picture. Pictures with low spatial frequency are blurred and flat, images with high spatial frequency are rich in detail and contrast and with accented outlines. Appropriate Algorithms for local frequency filtering z. B. by Fourier transformation are known from practice.

Für Bildobjekte, die sich innerhalb der Szene in der Tiefe kontinuierlich erstrecken, sollte gewährleistet sein, dass auch bei der Berechnung der Ansichten der Bildobjekte die Bildschärfe einen kontinuierlichen Übergang aufweist. In vielen Fällen sind für die Berechnung der neuen Bildinformationen Informationen über die dreidimensionale Beschaffenheit des Objekts notwendig. Dazu könnte ein dreidimensionales Modell des Bildobjekts vorhanden sein. Dieses dreidimensionale Modell könnte auf die verschiedensten Arten realisiert sein. Ist das Bildobjekt beispielsweise als virtuelles Objekt generiert, so werden die dreidimensionalen Informationen sehr wahrscheinlich bereits in einfacher Art vorliegen.For Image objects that are continuous within the scene in depth should be guaranteed that also in the case of Calculating the views of the image objects the image sharpness has a continuous transition. In many cases are for the calculation of the new image information information about the three-dimensional nature of the object necessary. To a three-dimensional model of the image object could exist be. This three-dimensional model could be based on the most diverse Species be realized. For example, if the image object is virtual Object generated, so are the three-dimensional information most likely already in a simple way.

Hier können bekannte Renderingfilter eingesetzt werden, um die Ansichten in der gewünschten Qualität darzustellen. Insbesondere bei besonders realitätsnahen und detailgenauen Darstellungen von Bildobjekten kann relativ schnell die Leistungsfähigkeit der eingesetzten Prozessoren erreicht sein. So kann es innerhalb einer realen Szene mit einer ausgeprägten räumlichen Staffelung vieler Bildobjekte vorteilhaft sein, vorberechnete, mit verschiedenen Ortsfrequenzfiltern bearbeitete Teilbereiche der Ansichten des Bildobjekts, der Fotografien oder der Videosequenzen für unterschiedliche Akkomodationsverhältnisse in einem Speicher abzulegen. Diese Daten könnten dann in Abhängigkeit von der aktuellen Blickrichtung des Betrachters aus dem Speicher ausgelesen werden und auf der Anzeigeeinrichtung geeignet dargestellt werden. Um einen flüssigen Übergang zwischen den einzelnen gespeicherten Ansichten erreichen zu können, könnten Zwischenbilder zwischen den abgespeicherten Ansichten auf geeignete Weise – beispielsweise durch Morphing – berechnet werden. Derartige Berechnungsarten sind für sich gesehen ebenfalls aus der Praxis bekannt.Here Known rendering filters can be used to create the To represent views in the desired quality. Especially with particularly realistic and detailed details Representations of image objects can relatively quickly increase the performance reached the processors used. So it can be inside a real scene with a pronounced spatial Graduation of many image objects be advantageous, precalculated, with various spatial frequency filters edited subareas of the views the image object, the photographs or the video sequences for different accommodation conditions in a memory store. These data could then be dependent from the viewer's current line of sight from the memory be read and displayed appropriately on the display device become. To create a fluid transition between the to be able to reach individual saved views could intermediate pictures between the saved views in a suitable manner - for example by morphing - calculated become. Such types of calculation are considered in isolation also known from practice.

Vorzugsweise kommt das erfindungsgemäße Verfahren im Zusammenhang mit der Darstellung auf einer autostereoskopischen Anzeigeeinrichtung zum Einsatz. Dabei ist es von Vorteil, wenn neben der Berechnung der Ansichten in Abhängigkeit von der Blickrichtung sowie von der Position oder der Bewegung des Betrachters zusätzlich eine genaue Steuerung des Betrachtungswinkels vorgenommen wird. Dies geschieht – wie zuvor beschrieben – durch geeignetes Ansteuern der Leuchtpunkte hinter dem optischen Mittel der autostereoskopischen Anzeigeeinrichtung. Die Anpassung kann als Regelkreis parallel oder sequentiell zu der Neuberechnung der Ansichten durchgeführt werden. Dabei ist wichtig zu berücksichtigen, dass bei der Nachregelung lediglich in einem geringen Bereich Bildpunkte verschoben werden. Eine vollkommene Neuerzeugung von Ansichten des Bildobjekts erfolgt hierbei nicht.Preferably the method according to the invention is related with the representation on an autostereoscopic display device for Commitment. It is advantageous if, in addition to the calculation of Views depending on the viewing direction and of the position or movement of the viewer in addition precise control of the viewing angle is made. This is done - as described above - by suitable Driving the luminous dots behind the optical means of autostereoscopic Display means. The adaptation can be parallel or as a closed loop performed sequentially to the recalculation of the views become. It is important to take into account that at the Nachregelung only in a small range of pixels be moved. A perfect recreation of views of the Picture object does not take place here.

Das erfindungsgemäße Verfahren ist nicht zwangsläufig in Verbindung mit Anzeigeeinrichtungen zur dreidimensionalen Darstellung zu sehen. So ist es auch möglich, einen Standardmonitor zu verwenden und die Ansichten des Bildobjekts monoskopisch darzustellen. Hier genügt eine virtuelle Ansicht, die lediglich eine Ansicht des Bildobjekts erzeugt. Nach einem anderen Aspekt der Erfindung kann das Verfahren auch zusammen mit einer Auswahleinrichtung eingesetzt werden, die eine Interaktion mit dem Bildobjekt oder Teilen davon erlaubt. Diese Auswahleinrichtung ist vorzugsweise frei im Bildraum bewegbar. Mit dieser Auswahleinrichtung kann das Bildobjekt oder Teile davon ausgewählt, markiert, verschoben, bearbeitet, gedreht oder in anderer Weise beeinflusst werden.The inventive method is not inevitable in conjunction with display devices for three-dimensional representation to see. So it is also possible to use a standard monitor and to monoscopically represent the views of the image object. Here is enough a virtual view, the only one Generated view of the image object. According to another aspect of the invention The method can also be used together with a selection device Be that interacting with the image object or parts of it allowed. This selection device is preferably free in the image space movable. With this selection device, the image object or Parts of it selected, marked, moved, edited, be rotated or otherwise influenced.

Die Auswahleinrichtung könnte durch ein beliebiges Objekt gebildet sein, dessen dreidimensionale Position und gegebenenfalls Orientierung mittels eines geeigneten Systems bestimmt wird. Hier könnte beispielsweise ein stereoskopisch arbeitendes Kamerasystem verwendet werden, mit dem das Objekt erfasst wird. Das zu verfolgende Objekt könnte durch einen Stift, ein beliebiges Werkzeug, mit dem der Betrachter mit dem Bildobjekt interagiert, oder dergleichen realisiert sein. Der Betrachter könnte auch einen Finger als Auswahleinrichtung verwenden. Damit kann besonders natürlich mit einzelnen Bereichen des Bildobjekts interagiert werden.The Choosing device could be formed by any object be, its three-dimensional position and, where appropriate, orientation determined by a suitable system. Here could For example, a stereoscopic camera system used will be used to capture the object. The object to be tracked could by a pin, any tool, with the the viewer interacts with the image object, or the like be realized. The viewer could also have a finger to use as a selector. This can be especially natural interact with individual areas of the image object.

Insbesondere bei autostereoskopischen Anzeigeeinrichtungen scheint das dargestellte Bildobjekt vor der Anzeigeeinrichtung zu schweben. Wählt ein Betrachter einen Punkt des Bildobjekts aus, kann man davon ausgehen, dass er seinen Blick auch auf diesen Punkt richtet. Bei Auswahl eines Punktes des Bildobjekts kann daher bestimmt werden, welche Bildbereiche der Betrachter hinter der Auswahleinrichtung liegend sieht. Diese Bildbereiche entsprechen auch den von der aktuellen Blickrichtung erfassten Bereichen. Dies hat zur Folge, dass zusätzlich zum Einbeziehen der Blickrichtung des Betrachters auch die Position des Betrachters und die Position der Auswahleinrichtung als Informationen zur Steuerung der Neuberechnung von Ansichten des Bildobjekts genutzt werden können.Particularly in the case of autostereoscopic display devices, the illustrated image object appears to float in front of the display device. If a viewer selects a point of the image object, one can assume that he is also looking at this point. When selecting a point of the image object, therefore, it can be determined which image areas the observer sees lying behind the selection device. These image areas also correspond to those captured by the current viewing direction areas. This has the consequence that in addition to the inclusion of the viewing direction of the viewer and the position of the viewer and the position of the selector can be used as information to control the recalculation of views of the image object.

Wegen den allgemein sehr hohen Anforderungen bei den Neuberechnungen der Ansichten könnte es sinnvoll sein, die Berechnungen nicht lediglich unter Verwendung standardmäßiger Computerprozessoren durchzuführen. Vielfach sind bei der Bilddarstellung für die Anzeigeeinrichtung hochleistungsfähige Grafikprozessoren im Einsatz. Werden die Bildansichten beispielsweise auf einem leistungsfähigen Standardrechner, beispielsweise einem Personal Computer, durchgeführt, so verfügen diese über eine Grafikkarte, die die Bilder für die Anzeigeeinrichtung in geeigneter Form darstellt. Die dort eingesetzten Grafikprozessoren verfügen bereits über geeignete Operationen, um dreidimensionale Transformationen einfacher und schneller durchführen zu können. Derartige Fähigkeiten könnten bei der Umsetzung des Verfahrens geeignet genutzt werden. Zusätzlich könnten Standard-Software-Komponenten, wie beispielsweise DirectX oder OpenGL, verwendet werden. Auch dadurch könnten die Fähigkeiten der entsprechend implementierten Software weiter verbessert und beschleunigt werden.Because of the generally very high requirements in the recalculation of Views, it might be useful, the calculations are not using only standard computer processors perform. Many are in the image display for the display device high-performance graphics processors in use. For example, the image views on a powerful Standard computer, for example a personal computer, performed, so they have a graphics card that the Represents images for the display device in a suitable form. The graphics processors used there already have suitable ones Operations to simplify and make three-dimensional transformations to perform faster. Such skills could be suitably used in the implementation of the process become. Additionally, standard software components, such as DirectX or OpenGL. Also by it could have the skills implemented accordingly Software will be further improved and accelerated.

In Ergänzung zu den voranstehenden Ausführungen sei angemerkt, dass es in Bezug auf unmittelbare Interaktionen von ganz besonderer Bedeutung ist, wenn diese weitestgehend kabel- und gerätefrei auslösbar sind. So lassen sich entsprechende Interaktionen beispielsweise durch akustische Kommandos, Spracheingabe, örtliche und zeitliche Gesten, Blinzeln, Gesichtsausdruck, etc. initiieren.In Supplement to the above noted that it relates to immediate interactions of whole Of particular importance is when these largely cable and device-free are triggerable. This allows corresponding interactions for example, by acoustic commands, voice input, local and initiate temporal gestures, blinks, facial expression, etc.

Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die dem Patentanspruch 1 nachgeordneten Patentansprüche und andererseits auf die nachfolgende Erläuterung dreier Ausführungsbeispiele der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung der bevorzugten Ausführungsbeispiele der Erfindung anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigenIt Now there are different ways of teaching the present Invention in an advantageous manner and further develop. On the one hand is subordinate to the claim 1 Claims and on the other hand to the following explanation three embodiments of the invention with reference to the drawing to refer. In conjunction with the explanation of the preferred Embodiments of the invention with reference to the drawing are also generally preferred embodiments and developments explained the teaching. In the drawing show

1 bis 3 beispielhafte Anordnungen zur Anwendung des erfindungsgemäßen Verfahrens. 1 to 3 exemplary arrangements for the application of the method according to the invention.

Auf einer Anzeigeeinrichtung 1 werden Bildobjekte 2a und 2b dargestellt. Die Anzeigeeinrichtung 1 umfasst eine autostereoskopische Anzeigeeinrichtung, bei der das Bildobjekt 2a zumindest teilweise vor der Anzeigeeinrichtung zu schweben scheint, während Bildobjekt 2b zumindest teilweise im Hintergrund hinter der Anzeigeeinrichtung wahrgenommen wird. Ein Betrachter, dessen Augen 3 in den Figuren angedeutet sind, betrachtet das Bildobjekt 2, das auf der Anzeigeeinrichtung 1 dargestellt wird.On a display device 1 become picture objects 2a and 2 B shown. The display device 1 comprises an autostereoscopic display device in which the image object 2a at least partially seems to float in front of the display device while image object 2 B at least partially in the background behind the display device is perceived. A viewer whose eyes 3 are indicated in the figures, considered the image object 2 that on the display device 1 is pictured.

Eine Positionserfassung in Form eines stereoskopisch arbeitenden Kamerasystems ermittelt kontinuierlich die Position der Augen 3 des Betrachters in allen drei Raumrichtungen und seine Blickrichtung. Auf der Anzeigeeinrichtung 1 werden zwei Ansichten des Bildobjekts mit entsprechendem Versatz geeignet dargestellt, sodass vor der Anzeigeeinrichtung 1 ein virtueller dreidimensionaler Bildraum aufgespannt ist. In dem virtuellen Bildraum wird das Bildobjekt 2a scheinbar zumindest teilweise vor der Anzeigeeinrichtung dargestellt, während das Bildobjekt 2b zumindest teilweise hinter der Anzeigeeinrichtung dargestellt wird.Position detection in the form of a stereoscopically operating camera system continuously determines the position of the eyes 3 the viewer in all three spatial directions and his line of sight. On the display 1 two views of the image object are appropriately displayed with a corresponding offset, so that in front of the display device 1 a virtual three-dimensional image space is spanned. In the virtual image space, the image object becomes 2a apparently at least partially displayed in front of the display device while the image object 2 B at least partially displayed behind the display device.

Die durch die Positions- und Sehwinkelerfassung ermittelte Blickrichtung der Augen 3 des Betrachters wird in den virtuellen Bildraum übertragen. Da eine möglichst realistische Darstellung der Bildobjekte 2a und 2b auf der Anzeigeeinrichtung 1 erzielt werden soll, entspricht diese Blickrichtung in 1 einer Akkomodation der Augen 3 auf das Bildobjekt 2a. Dieses Bildobjekt wird scharf dargestellt, während das scheinbar weiter entfernte Bildobjekt 2b unscharf erscheint. Eine Veränderung der Blickrichtung der Augen 3 nach rechts hin zum Bildobjekt 2b – dargestellt in 2 – wird vom System erkannt, und es erfolgt eine Anpassung der Ansichten.The direction of the eyes determined by the position and visual angle detection 3 the viewer is transferred to the virtual image space. As a realistic representation of the image objects 2a and 2 B on the display device 1 is to be achieved, corresponds to this line of sight in 1 an accomodation of the eyes 3 on the picture object 2a , This image object is sharply displayed while the image object that is apparently farther away 2 B out of focus. A change in the line of sight of the eyes 3 to the right to the image object 2 B - shown in 2 - is recognized by the system and the views are adjusted.

Danach erfolgt die Darstellung entsprechend einer Akkomodation auf Bildobjekt 2b. Das Bildobjekt 2b wird scharf dargestellt während das scheinbar näher liegende Bildobjekt 2a unscharf erscheint. Die durch die beiden virtuellen Kameras erzeugten Ansichten werden wiederum in für die Anzeigeeinrichtung geeignete Bilder umgesetzt und auf der Anzeigeeinrichtung 1 dargestellt.Thereafter, the representation takes place according to an accommodation on image object 2 B , The picture object 2 B is displayed sharply while the seemingly closer image object 2a out of focus. The views generated by the two virtual cameras are in turn converted into images suitable for the display device and displayed on the display device 1 shown.

3 zeigt den Fall, wonach ein Bildobjekt 2a mittels einer Auswahleinrichtung 4 markiert wird. Die Auswahleinrichtung 4 ist hier durch einen Finger der Hand des Betrachters gebildet. Der Betrachter hat in dem virtuellen Bildraum einen in 3 mit einem Kreis gekennzeichneten Bereich 5 markiert. Es wird davon ausgegangen, dass der Betrachter seinen Blick dabei auf die Auswahleinrichtung und auch auf den gekennzeichneten Bereich 5 richtet. 3 shows the case where an image object 2a by means of a selection device 4 is marked. The selection device 4 is here formed by a finger of the hand of the beholder. The viewer has in the virtual image space in 3 area marked with a circle 5 marked. It is assumed that the viewer has his eyes on the selection device and also on the marked area 5 directed.

Eine Erfassungseinheit zum Erfassen der Position der Auswahleinrichtung 4 bestimmt zunächst die Position der Auswahleinrichtung in Bezug auf die Anzeigeeinrichtung 1. Unter Verwendung virtueller Kameras kann bestimmt werden, welcher Punkt 5 in dem virtuellen Bildraum durch die Auswahleinrichtung 4 markiert ist. Dieser markierte Bereich 5 entspricht dem Bereich, auf den die Augen des Betrachters beim Auswahlvorgang akkomodiert sind. Ein Teil des Bildobjektes 2a wird scharf dargestellt während scheinbar weiter entfernte Teile des Bildobjektes 2a sowie Bildobjekt 2b unscharf erscheinen. Bei der Berechnung der Ansichten der Bildobjekte 2a und 2b wird also nicht nur die Blickrichtung der Augen 3 des Betrachters berücksichtigt, sondern auch der ausgewählte Bereich 5 sowie die Position der Augen 3 des Betrachters als Information verwendet.A detecting unit for detecting the position of the selecting means 4 first determines the position of the selection device with respect to the display device 1 , Using virtual cameras, it can be determined which one Point 5 in the virtual image space by the selector 4 is marked. This marked area 5 corresponds to the area to which the eyes of the observer are accomodated during the selection process. Part of the image object 2a is displayed sharply while seemingly more distant parts of the image object 2a as well as picture object 2 B appear out of focus. When calculating the views of the image objects 2a and 2 B So it's not just the direction of the eyes 3 the viewer, but also the selected area 5 as well as the position of the eyes 3 used by the viewer as information.

Hinsichtlich weiterer vorteilhafter Ausgestaltungen des erfindungsgemäßen Verfahrens wird zur Vermeidung von Wiederholungen auf den allgemeinen Teil der Beschreibung sowie auf die nachfolgenden Patentansprüche verwiesen.Regarding further advantageous embodiments of the invention Procedure is used to avoid repetition on the general Part of the description and to the following claims directed.

Abschließend sei ganz besonders hervorgehoben, dass die zuvor beschriebenen Ausführungsbeispiele lediglich zur Erörterung der erfindungsgemäßen Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken.Finally be particularly emphasized that the embodiments described above merely to discuss the invention Doctrine serve, but not on the embodiments limit.

11: Anzeigeeinrichtungdisplay
2a2a: Bildobjektimage object
2b2 B: Bildobjektimage object
33: Augen des Betrachterseyes the viewer
44: Auswahleinrichtungselector
55: markierter Bereichmarked Area

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

- EP 1025520 B1 [0009]

Claims

Method for representing image objects in a virtual three-dimensional image space, in particular for generating a virtual reality in the sense of a simulation, characterized in that the viewing direction of a viewer of the image object is detected and taken into account for the representation of the image objects and for interactions with the image objects.

Method according to claim 1, characterized in that that the viewing direction of the viewer in a calculation or selection of views of the image object is included such that the real line of sight the viewer and / or their change in the virtual Picture space and to control at least one virtual Camera is used, with each virtual camera one the viewer corresponding image of the image object is recorded (rendered).

Method according to claim 1 or 2, characterized that for visualizing the virtual reality, the viewing direction both eyes is detected independently to one Determine convergence point in real as well as virtual space and be able to take into account accordingly.

Method according to one of claims 1 to 3, characterized in that the viewing direction and / or convergence point the viewer to select virtual objects within the virtual image space is / are used by the intersection point with virtual image objects or the distance of the convergence point is evaluated to virtual image objects.

Method according to one of claims 1 to 4, characterized in that the viewing direction or convergence point used by the viewer as the sole means of interaction becomes.

Method according to one of claims 1 to 4, characterized in that in addition to the viewing direction or the Point of convergence of the observer more natural or technical aids for interaction (for example, fingers, feet, computer mouse, etc.), which additionally has a virtual equivalent can have.

Method according to Claim 6, characterized that the location of the aids in relation to the viewer, his View vectors, the display and the virtual objects for display the virtual reality is taken into account, where each virtual camera can be displayed separately, if necessary also changed in form and color when overlapping.

Method according to one of claims 1 or 7, characterized in that for representing the virtual reality and the interaction uses a stereoscopic 3D display.

Method according to one of claims 1 to 8, characterized in that in the representation of the virtual Reality the distribution of sharpness of the picture the virtual objects according to their depth graduation or is influenced laterally to the viewing direction.

Method according to one of claims 5 to 9, characterized in that on the one hand virtual objects and on the other hand known interaction elements, such as switches (Buttons), menu items, etc., are selected.

Method according to one of claims 6 to 10, characterized in that the object under consideration in particular by changing color, marking the edges, fading in a frame, etc. is highlighted.

Method according to one of claims 6 to 11, characterized in that actions for connecting functional Elements or interaction elements are defined.

Method according to one of claims 6 to 12, characterized in that the magnification changed becomes.

Method according to one of claims 6 to 13, characterized in that the entire image, individual areas or one or more objects enlarged or is reduced / become.

Method according to one of claims 6 to 14, characterized in that the entire image, image area or individual objects is manipulated / become.

Method according to claim 15, characterized in that that the manipulation functions like moving, zooming, executing context-sensitive actions, such as B. texture or lighting change the selected objects.

Method according to one of claims 6 to 16, characterized in that an active, preferably continuous Navigation is done.

Method according to claim 17, characterized in that that navigation in any representations, for example in 3D scenes, maps, pictures, videos and text.

The method of claim 17 or 18, since characterized in that a navigation to the selected object out, for example, with jump or continuous presentation to the target / object, passive or active, is made.

Method according to one of claims 17 to 19, characterized in that navigation through links, preferably in the sense of a concatenation of data, images or other information, is made.

Method according to one of claims 6 to 20, characterized in that any information, in particular in terms of the objects and / or the interaction elements, optically be displayed or communicated acoustically.

Method according to one of claims 6 to 21, characterized in that deposited animations, videos, etc. be activated or triggered.

Method according to one of claims 6 to 22, characterized in that directly on the object markings be attached.

Method according to one of claims 6 to 23, characterized in that a viewpoint path in the respective Scene, for example by painting or following with the eyes, is introduced.

Method according to one of claims 6 to 24, characterized in that new objects in the overall scene, preferably at the point of view.

Method according to claim 25, characterized in that that the insertion is timed, d. H. for example with a predefinable residence time or at fixed intervals.

Method according to claim 25 or 26, characterized that the insertion is active, for example, by blinking, he follows.

Method according to one of claims 6 to 27, characterized in that any additional input elements active, for example by blinking, are feasible.

Method according to one of claims 6 to 28, characterized in that an at least temporary erasing / hiding of objects is possible.

Method according to one of claims 6 to 28, characterized in that the triggering of interactions depending on the gaze of the viewer, in particular from the time-dependent fixation of the viewer's gaze to a selected object.

Method according to one of claims 6 to 30, characterized in that the method in collaborative 3D systems is used, preferably several users possibly from different Positions on one and the same object or on one and the same Look at the scene and look at certain areas or objects Can trigger interactions.