WO2009062492A2

WO2009062492A2 - Verfahren zum darstellen von bildobjekten in einem virtuellen dreidimensionalen bildraum

Info

Publication number: WO2009062492A2
Application number: PCT/DE2008/001881
Authority: WO
Inventors: Thomas Schmitt; Steffen Bottcher; Wolfgang Opel
Original assignee: SPATIAL VIEW GmbH
Current assignee: SPATIAL VIEW GmbH
Priority date: 2007-11-15
Filing date: 2008-11-14
Publication date: 2009-05-22
Anticipated expiration: 2010-05-15
Also published as: DE102007057208A1; WO2009062492A3

Abstract

Ein Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, insbesondere zur Erzeugung einer virtuellen Realität im Sinne einer Simulation, ist dadurch gekennzeichnet, dass die Blickrichtung eines Betrachters des Bildobjekts erfasst und für die Darstellung der Bildobjekte sowie für Interaktionen mit den Bildobjekten berücksichtigt wird.

Description

VERFAHREN ZUM DARSTELLEN VON BILDOBJEKTEN IN EINEM VIRTUELLEN DREIDIMENSIONALEN BILDRAUM

Die Erfindung betrifft ein Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, insbesondere zur Erzeugung einer virtuellen Realität im Sinne einer Simulation.

In den verschiedensten Bereichen wird verstärkt versucht, Vorgänge in virtuellen Realitäten abzubilden, durchzuführen oder zu erproben, da dort insbesondere spezielle Arbeitsbedingungen gezielt simuliert werden können. Der Begriff "virtuelle Realität" (VR) bezeichnet dabei die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer meist in Echtzeit computergenerierten interaktiven - virtuellen - Umgebung. Auch wenn die technischen Möglichkeiten, beispielsweise hinsichtlich einer umfassenden Wahrnehmung physikalischer Eigenschaften, derzeit noch beschränkt sind, so sind die Einsatzmöglichkeiten dennoch überaus umfangreich. Beispielhaft sei auf deren Verwendung in Flugzeugsimulatoren bei der Ausbildung von Piloten, bei der Erstellung von virtuellen Prototypen in der Industrie, bei der Durchführung von Ergonomietests, bei der Visualisierung von Gebäuden, sowie in der medizinischen Diagnostik, bei der Simulation von Operationen, bei virtuellen Besuchen schwer erreichbarer Orte, beim Edutainment oder dergleichen verwiesen.

Besonderes Augenmerk bei der Generierung und Vermittlung virtueller Realitäten gilt dem Bestreben, einem Benutzer eine möglichst umfassende Immersion, d. h. ein Eintauchen in die virtuelle Realität, zu bieten. Hierbei nimmt eine möglichst realitätsnahe visuelle Wahrnehmung der virtuellen Realität einen besonderen Stellenwert ein. Dazu werden beispielsweise HMDs (Head-Mounted Displays), Großbildleinwände oder CAVEs (Cave Automatic Virtual Environments) genutzt. Für eine besonders realitätsnahe visuelle Wahrnehmung ist eine Darstellung mit erlebbarer räumlicher Tiefe von Vorteil.

Zum Erzeugen eines räumlichen Eindrucks werden zwei Ansichten eines Objekts aus geringfügig unterschiedlichen Positionen erzeugt und dargestellt (Stereoprojek- tion). Der Abstand zwischen den beiden Positionen sollte dem Abstand der Augen des Betrachters entsprechen. Bei der Darstellung müssen die beiden Ansichten dem jeweiligen Auge zugeführt werden. Hierzu sind wiederum eine Reihe unterschiedlicher Technologien bekannt.

Grundsätzlich kann zwischen aktiven und passiven Verfahren unterschieden werden. Zu den aktiven Verfahren gehören beispielsweise Shutter-Brillen, die mit hoher Geschwindigkeit transparent und dunkel geschaltet werden können. Diese werden zusammen mit einem Monitor eingesetzt, der wechselseitig ein Bild für das linke und ein Bild für das rechte Auge darstellt. Bei Synchronisation der Brille mit dem Monitor wird jedem Auge das korrekte Bild zugeleitet. Zu den passiven Verfahren zählen das Anaglyph- und das Polarisationsverfahren, bei denen zwei Ansichten eines Bildes mit geringfügigem Abstand zueinander in einem Bild überlagert sind. Unter Verwendung von Färb- oder Polarisationsfilterbrillen können diese Bildansichten wieder getrennt werden.

Darüber hinaus sind aus der Praxis autostereoskopische Monitore bekannt, die dem Benutzer eine Wahrnehmung räumlicher Tiefe der dargestellten Objekte ohne die Benutzung spezieller Hilfsmittel wie Brillen oder ähnliches ermöglichen. Ein autoste- reoskopischer Monitor weist eine sehr feine Bildmatrix auf, vor der unmittelbar ein optisches Mittel, meist in Form von Lentikular- oder Parallax-Barrierensystemen, angebracht ist.

Durch die spezielle Geometrie des optischen Mittels wird erreicht, dass bestimmte Bildpunkte der Bildmatrix in eine definierte Raumrichtung abgestrahlt werden. Durch gezieltes Ansteuern der Bildpunkte können gleichzeitig und unabhängig voneinander Bilder für das linke und das rechte Auge dargestellt werden. Die Qualität des dreidimensionalen Eindrucks ist umso höher, je besser getrennt die beiden Ansichten wahrgenommen werden können. Dies kann durch eine Einschränkung des Raumwinkels, in dem eine dreidimensionale Wahrnehmung möglich ist, erreicht werden. Um dennoch ein komfortables Arbeiten am Monitor mit maximaler Bewegungsfreiheit des Betrachters zu erreichen, werden Tracking-Systeme verwendet, die die Position des Betrachters kontinuierlich erfassen. In Abhängigkeit der Position des Betrachters werden die Bildpunkte auf der Bildmatrix oder die Position des optischen Mittels durch geringfügiges Verschieben nachgesteuert, so dass der räumlich sehr enge Betrachtungswinkel dem Betrachter nachgeführt wird.

Eine Besonderheit autostereoskopischer Monitore besteht darin, dass alle Bildobjekte - unabhängig von ihrer scheinbaren räumlichen Entfernung vom Betrachter - in der Monitorebene abgebildet werden, und somit die Augen des Betrachters stets auf diese Monitorebene fokussiert bleiben (müssen) entgegen der natürlichen Akkomodation auf unterschiedliche Entfernungen betrachteter Objekte.

Zur Interaktion mit der virtuellen Realität werden bislang verschiedene Eingabegeräte verwendet. Beispielhaft sei auf die Verwendung von 3D-Mäusen, Datenhandschuhen, Joysticks oder besonderer Tastaturen hingewiesen. Allerdings ist es auch bereits bekannt, die Position realer Objekte mittels Tracking-Systemen zu erfassen und als Eingabegeräte zu benutzen. Ein derartiges System ist beispielsweise in der EP 1 025 520 B1 beschrieben.

Die bekannten Verfahren der zuvor genannten Art weisen jedoch den erheblichen Nachteil auf, dass die daraus resultierende Darstellung meist als unnatürlich und unkomfortabel empfunden wird. Derzeit liefern solche Systeme die natürlichsten Eindrücke, die die reale Welt vollständig kapseln. Dies geschieht beispielsweise bei HMDs, bei denen der Benutzer lediglich die virtuelle Realität sieht. Hier kann vollständig oder zumindest in weiten Teilen auf die Aktionen des Benutzers eingegangen werden. Allerdings sind HMDs meist schwer bzw. kompliziert anzubringen und relativ teuer. Zudem wird für die vollständige Kapselung der realen Welt eine umfangreiche Sensorik benötigt, mit der die Aktionen des Benutzers und insbesondere seine Blickrichtung erfasst werden. Andere Systeme wie Shutter-Brillen oder autostereoskopi- sche Displays kommen mit einer weit geringeren Menge an Sensorik aus und sind meist mit weit geringerem Aufwand aufzubauen. Allerdings leidet hier wiederum die Natürlichkeit der Wahrnehmung der virtuellen Realität durch die oben beschriebenen Einschränkungen bezüglich der Akkomodation. So möchte ein Betrachter eines dreidimensionalen Objekts nicht lediglich ein Objekt einer komplexen Szene möglichst natürlich betrachten, sondern auch andere Objekte, die sich in unterschiedlichen Entfernungen zum Betrachter und zu anderen Objekten zu befinden scheinen. Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der gattungsbildenden Art derart auszugestalten und weiterzubilden, dass eine möglichst realitätsnahe Darstellung von Bildobjekten in einem virtuellen Bildraum, insbesondere bei mehreren Bildobjekten in komplexen Szenen, möglich ist.

Erfindungsgemäß ist die voranstehende Aufgabe durch die Merkmale des Patentanspruches 1 gelöst. Danach ist das in Rede stehende Verfahren dadurch gekennzeichnet, dass die Blickrichtung eines Betrachters des Bildobjekts erfasst und für die Darstellung der Bildobjekte sowie für Interaktionen mit den Bildobjekten berücksichtigt wird. Dabei sei angemerkt, dass sich die Lehre auch auf mehrere Betrachter an einem oder an mehreren Displays bezieht, wenngleich fortan - der Einfachheit halber - stets von dem Betrachter die Rede ist.

In erfindungsgemäßer Weise ist zunächst erkannt worden, dass eine besonders realitätsnahe Darstellung nur dann möglich ist, wenn die Blickrichtung des Betrachters im Wesentlichen auf die Darstellung der virtuellen Realität übertragen werden kann.

Ändert ein Betrachter beispielsweise seine Blickrichtung von einem scheinbar weiter entfernten Objekt auf ein scheinbar näher liegendes Objekt, so erwartet er - analog zur realen Welt -, dass das nunmehr betrachtete Objekt schärfer abgebildet wird, während das nicht mehr betrachtete bzw. fokussierte Objekt nur noch unscharf im Hintergrund wahrgenommen wird.

Die Blickrichtung kann in vorteilhafter Weise auch als alleiniges Mittel zur Interaktion eingesetzt werden. Dies erfordert neben der Einrichtung zur Erfassung der Blickrichtung (Kamera(s)) lediglich eine geeignete Software und ist damit ein in vielerlei Hinsicht günstiges und insoweit vorteilhaftes „Eingabegerät". Wird durch die Analyse der Blickrichtung ein Objekt in einer räumlichen Szene identifiziert, so kann man diese Information nutzen, um mit dem Objekt zu interagieren.

In vorteilhafter Weise wird zur Darstellung der virtuellen Realität die Blickrichtung beider Augen unabhängig voneinander erfasst, um einen Konvergenzpunkt im realen wie im virtuellen Raum zu bestimmen und entsprechend berücksichtigen zu können. Dies ist von ganz besonderem Vorteil, beispielsweise bei der Darstellung von semi- transparenten Objekten, wie Gewebe, Flüssigkeiten oder bei der Darstellung von konvexen (lückenhaften, löchrigen) Objekten, die in einer komplexen Szene auftreten können. Des Weiteren sei angemerkt, dass der reale und der virtuelle Raum zwei unterschiedliche Koordinatensysteme haben, die zueinander kalibriert werden müssen.

Des Weiteren soll in weiter vorteilhafter Weise auch die Auswertung von „Augen- Gesten" einfließen können, wie z.B. ein- oder mehrmaliger Lidschluss, um damit alleinige oder kombinierte Interaktion mit dem Bildinhalt ohne weitere Hilfsmittel zu ermöglichen.

Denkbar ist der Einsatz weiterer Mittel zur Interaktion, beispielsweise

• Auswahl von Objekten einschließlich bekannter Interaktionselemente wie Schalter (Buttons), Menuelemente etc.,

• Hervorhebung des betrachteten Objektes (durch Veränderung von Farbe, Markierung der Kanten, Aufblenden eines Rahmens etc.),

• Auswahl von Aktionen, die mit solchen Elemente verbunden sind,

• Veränderung des Abbildungsmaßstabes (Zoom),

• Manipulation (z.B. Verschieben, Zoom, Ausführen kontextabhängiger Aktionen wie z.B. Textur- oder Beleuchtungs-Wechsel) der ausgewählten Objekte,

• aktive, kontinuierliche Navigation (ähnlich einem Flugsimulator) in beliebigen Darstellungen: 3D-Szenen, Karten, Bilder, Videos, Text,

• Navigation zum ausgewählten Objekt hin (mit Sprung oder kontinuierlicher Darstellung bis zum Zielpunkt, relativ passiv),

• Navigation durch Links im Sinne von Verkettungen von Daten, Bildern oder Informationen,

• Einblenden von Informationen,

• Auslösen von hinterlegten Animationen, Videos etc.,

• Anbringung von Markierungen am Objekt,

• Einbringen des Blickpunkt-Pfades in die Szene (Malen mit den Augen),

• Hinzufügen neuer Objekte in die Szene am Ort des Blickpunktes, z.B. zeitgesteuert (Verweildauer oder in festen Intervallen) oder aktiv z.B. durch Blinzeln bzw. (auch temporäres) Löschen/Ausblenden von Objekten, • die Auslösung der Interaktion in Abhängigkeit davon, wie lange der Blick des Betrachters auf einem ausgewählten Objekt ruht,

• Einsatz in kollaborativen 3D-Systemen, wobei mehrere Nutzer ggf. aus unterschiedlichen Positionen auf ein und dasselbe Objekt / ein und dieselbe Szene schauen und durch Blick auf bestimmte Bereiche Interaktionen auslösen, etc.

Beliebige Kombinationen der zuvor aufgeführten Mittel sind denkbar und je nach Bedarf von Vorteil.

An dieser Stelle sei angemerkt, dass die blickgesteuerte Interaktion in Kombination mit anderen Interaktionsprinzipien erfolgen kann. Dazu folgendes:

Verwendet ein Betrachter ein Werkzeug zur Interaktion mit dem Bildobjekt, beispielsweise in Form eines Auswahlvorgangs im virtuellen Bildraum, so wird erwartet, dass genau das Bildobjekt, mit dem interagiert wird, d.h. auf das der Betrachter sowohl seinen Blick als auch das Werkzeug richtet, scharf abgebildet wird, während andere Bildobjekte, die sich in scheinbar in anderer Entfernung zum Betrachter befinden, unscharf davor oder dahinter wahrgenommen werden. Dies ist bei autoste- reoskopischen Anzeigeeinrichtungen nicht zwangläufig gegeben. In vorteilhafter Weise ist daher erkannt worden, dass diese Problematik besonders einfach gelöst werden kann, wenn die Blickrichtung des Betrachters und/oder deren Veränderung aus der realen Welt in die virtuelle Realität abgebildet wird. Diese in den virtuellen Raum übertragene Blickrichtung oder Blickrichtungsveränderung wird dazu genutzt, zumindest eine virtuelle Kamera zu steuern, wobei eine virtuelle Kamera einer dem Betrachter dargestellten Ansicht entspricht. Im Falle einer autostereoskopischen Anzeigeeinrichtung sind mindestens zwei virtuelle Kameras vorzusehen, die die Ansichten für jeweils ein Auge des Betrachters erzeugen. Die Abbildungseigenschaften der virtuellen Kameras in dem virtuellen Raum korrespondieren mit den Abbildungseigenschaften der Augen des Betrachters.

Durch Verwendung virtueller Kameras kann besonders einfach eine Blickrichtungsänderung eines Betrachters auf ein bestimmtes Bildobjekt "virtualisiert" werden. Insbesondere lassen sich die verschiedensten Vorgänge in die virtuelle Realität übertragen. Dabei können die zuvor skizzierten Aspekte, teilweise oder insgesamt, imp- lementiert oder einzelne Aspekte für die jeweilige Anwendung besonders vorteilhaft realisiert werden. Prinzipiell hängt es vom Aufbau und der Komplexität der Szene mit den verschiedenen Bildobjekten ab, wie die reale Blickrichtung beziehungsweise deren Veränderung mit der Darstellung des betrachteten Bildobjektes in dem virtuellen Bildraum korrespondiert. So kann bei einer Blickrichtungsänderung des Betrachters innerhalb einer Szene mit einer ausgeprägten räumlichen Staffelung vieler Bildobjekte eine sehr fein abgestimmte Anpassung der Abbildungsschärfe des momentan betrachteten Bildobjektes durchgeführt werden. In einer einfach gestalteten Szene ist eine Beschränkung auf eine grobe Anpassung der Abbildungsschärfe eines vordergründigen Bildobjektes oder des Hintergrundes denkbar.

Grundsätzlich ist es für eine möglichst realitätsnahe Abbildung der realen Verhältnisse im virtuellen Bildraum sinnvoll, die Analogien der normalen Akkomodationsvorgänge des menschlichen Auges zu berücksichtigen und dazu entsprechend abzubilden. Dabei ist es prinzipiell unerheblich, für welche Art von Bildobjekten das erfindungsgemäße Verfahren eingesetzt wird. Sie können im Zusammenhang mit computergenerierten Objekten ebenso wie mit Fotografien, Videosequenzen oder dergleichen eingesetzt werden. Vorteilhafterweise wird ein Erfassen der Blickrichtung des Betrachters beziehungsweise deren Veränderung derart erfolgen, dass die Position der Augen des Betrachters erfasst sowie die Winkel der Sehachsen vermessen wird.

Für eine Blickrichtungsdetektion muss der Betrachter mit einer Kamera, vorteilhafter Weise einem Stereo-Kamerasystem, erfasst werden. In mehreren Berechnungsschritten wird die momentane Blickrichtung des Betrachters ermittelt und in eine Position auf der Anzeigeeinrichtung umgerechnet, welcher sich wiederum ein Bildobjekt in der dargestellten Szene zuordnen lässt. Durch eine derartige Bestimmung des momentan betrachteten Bildobjektes können die Ansichten des Betrachters von der dargestellten Szene sehr einfach und direkt bestimmt werden.

Die Darstellung dürfte dann besonders realistisch empfunden werden, wenn die Ansichten des Betrachters in Echtzeit berechnet werden. Dabei kann eine harte oder eine weiche Echtzeit vorliegen. Insbesondere bei schnellen Blickrichtungsänderun- gen des Betrachters dürfte eine weiche Echtzeit ausreichend sein, da hier beispielsweise fehlende Zwischenbilder nicht zu deutlich wahrgenommen werden.

Zum Erzielen eines möglichst realitätsnahen Eindrucks der Darstellung könnten die Ansichten des Bildobjekts bei Veränderung der Blickrichtung des Betrachters neu berechnet werden. Dabei werden die Blickrichtungsänderungen erfasst, einem betrachteten Objekt im virtuellen Bildraum zugeordnet und zur Steuerung einer oder mehrerer virtueller Kameras genutzt. Damit können die Ansichten der Szene für den Betrachter realitätsnah dargestellt werden.

Die Neuberechnung der Ansichten könnte in einer Ortsfrequenzfilterung ausgewählter Bereiche der Ansichten der Szene bestehen. Die Ortsfrequenz spielt eine wesentliche Rolle bei der Wahrnehmung von Schärfe in einem Bild. Bilder mit niedriger Ortsfrequenz sind unscharf und flächig, Bilder mit hoher Ortsfrequenz sind detail- und kontrastreich und mit betonten Umrissen. Entsprechende Algorithmen zur Ortfrequenzfilterung z.B. durch Fouriertransformation sind aus der Praxis bekannt.

Für Bildobjekte, die sich innerhalb der Szene in der Tiefe kontinuierlich erstrecken, sollte gewährleistet sein, dass auch bei der Berechnung der Ansichten der Bildobjekte die Bildschärfe einen kontinuierlichen Übergang aufweist. In vielen Fällen sind für die Berechnung der neuen Bildinformationen Informationen über die dreidimensionale Beschaffenheit des Objekts notwendig. Dazu könnte ein dreidimensionales Modell des Bildobjekts vorhanden sein. Dieses dreidimensionale Modell könnte auf die verschiedensten Arten realisiert sein. Ist das Bildobjekt beispielsweise als virtuelles Objekt generiert, so werden die dreidimensionalen Informationen sehr wahrscheinlich bereits in einfacher Art vorliegen.

Hier können bekannte Renderingfilter eingesetzt werden, um die Ansichten in der gewünschten Qualität darzustellen. Insbesondere bei besonders realitätsnahen und detailgenauen Darstellungen von Bildobjekten kann relativ schnell die Leistungsfähigkeit der eingesetzten Prozessoren erreicht sein. So kann es innerhalb einer realen Szene mit einer ausgeprägten räumlichen Staffelung vieler Bildobjekte vorteilhaft sein, vorberechnete, mit verschiedenen Ortsfrequenzfiltern bearbeitete Teilbereiche der Ansichten des Bildobjekts, der Fotografien oder der Videosequenzen für unter- schiedliche Akkomodationsverhältnisse in einem Speicher abzulegen. Diese Daten könnten dann in Abhängigkeit von der aktuellen Blickrichtung des Betrachters aus dem Speicher ausgelesen werden und auf der Anzeigeeinrichtung geeignet dargestellt werden. Um einen flüssigen Übergang zwischen den einzelnen gespeicherten Ansichten erreichen zu können, könnten Zwischenbilder zwischen den abgespeicherten Ansichten auf geeignete Weise - beispielsweise durch Morphing - berechnet werden. Derartige Berechnungsarten sind für sich gesehen ebenfalls aus der Praxis bekannt.

Vorzugsweise kommt das erfindungsgemäße Verfahren im Zusammenhang mit der Darstellung auf einer autostereoskopischen Anzeigeeinrichtung zum Einsatz. Dabei ist es von Vorteil, wenn neben der Berechnung der Ansichten in Abhängigkeit von der Blickrichtung sowie von der Position oder der Bewegung des Betrachters zusätzlich eine genaue Steuerung des Betrachtungswinkels vorgenommen wird. Dies geschieht - wie zuvor beschrieben - durch geeignetes Ansteuern der Leuchtpunkte hinter dem optischen Mittel der autostereoskopischen Anzeigeeinrichtung. Die Anpassung kann als Regelkreis parallel oder sequentiell zu der Neuberechnung der Ansichten durchgeführt werden. Dabei ist wichtig zu berücksichtigen, dass bei der Nachregelung lediglich in einem geringen Bereich Bildpunkte verschoben werden. Eine vollkommene Neuerzeugung von Ansichten des Bildobjekts erfolgt hierbei nicht.

Das erfindungsgemäße Verfahren ist nicht zwangsläufig in Verbindung mit Anzeigeeinrichtungen zur dreidimensionalen Darstellung zu sehen. So ist es auch möglich, einen Standardmonitor zu verwenden und die Ansichten des Bildobjekts monosko- pisch darzustellen. Hier genügt eine virtuelle Ansicht, die lediglich eine Ansicht des Bildobjekts erzeugt. Nach einem anderen Aspekt der Erfindung kann das Verfahren auch zusammen mit einer Auswahleinrichtung eingesetzt werden, die eine Interaktion mit dem Bildobjekt oder Teilen davon erlaubt. Diese Auswahleinrichtung ist vorzugsweise frei im Bildraum bewegbar. Mit dieser Auswahleinrichtung kann das Bildobjekt oder Teile davon ausgewählt, markiert, verschoben, bearbeitet, gedreht oder in anderer Weise beeinflusst werden.

Die Auswahleinrichtung könnte durch ein beliebiges Objekt gebildet sein, dessen dreidimensionale Position und gegebenenfalls Orientierung mittels eines geeigneten Systems bestimmt wird. Hier könnte beispielsweise ein stereoskopisch arbeitendes Kamerasystem verwendet werden, mit dem das Objekt erfasst wird. Das zu verfolgende Objekt könnte durch einen Stift, ein beliebiges Werkzeug, mit dem der Betrachter mit dem Bildobjekt interagiert, oder dergleichen realisiert sein. Der Betrachter könnte auch einen Finger als Auswahleinrichtung verwenden. Damit kann besonders natürlich mit einzelnen Bereichen des Bildobjekts interagiert werden.

Insbesondere bei autostereoskopischen Anzeigeeinrichtungen scheint das dargestellte Bildobjekt vor der Anzeigeeinrichtung zu schweben. Wählt ein Betrachter einen Punkt des Bildobjekts aus, kann man davon ausgehen, dass er seinen Blick auch auf diesen Punkt richtet. Bei Auswahl eines Punktes des Bildobjekts kann daher bestimmt werden, welche Bildbereiche der Betrachter hinter der Auswahleinrichtung liegend sieht. Diese Bildbereiche entsprechen auch den von der aktuellen Blickrichtung erfassten Bereichen. Dies hat zur Folge, dass zusätzlich zum Einbeziehen der Blickrichtung des Betrachters auch die Position des Betrachters und die Position der Auswahleinrichtung als Informationen zur Steuerung der Neuberechnung von Ansichten des Bildobjekts genutzt werden können.

Wegen den allgemein sehr hohen Anforderungen bei den Neuberechnungen der Ansichten könnte es sinnvoll sein, die Berechnungen nicht lediglich unter Verwendung standardmäßiger Computerprozessoren durchzuführen. Vielfach sind bei der Bilddarstellung für die Anzeigeeinrichtung hochleistungsfähige Grafikprozessoren im Einsatz. Werden die Bildansichten beispielsweise auf einem leistungsfähigen Standardrechner, beispielsweise einem Personal Computer, durchgeführt, so verfügen diese über eine Grafikkarte, die die Bilder für die Anzeigeeinrichtung in geeigneter Form darstellt. Die dort eingesetzten Grafikprozessoren verfügen bereits über geeignete Operationen, um dreidimensionale Transformationen einfacher und schneller durchführen zu können. Derartige Fähigkeiten könnten bei der Umsetzung des Verfahrens geeignet genutzt werden. Zusätzlich könnten Standard-Software- Komponenten, wie beispielsweise DirectX oder OpenGL, verwendet werden. Auch dadurch könnten die Fähigkeiten der entsprechend implementierten Software weiter verbessert und beschleunigt werden. In Ergänzung zu den voranstellenden Ausführungen sei angemerkt, dass es in Bezug auf unmittelbare Interaktionen von ganz besonderer Bedeutung ist, wenn diese weitestgehend kabel- und gerätefrei auslösbar sind. So lassen sich entsprechende Interaktionen beispielsweise durch akustische Kommandos, Spracheingabe, örtliche und zeitliche Gesten, Blinzeln, Gesichtsausdruck, etc. initiieren.

Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die dem Patentanspruch 1 nachgeordneten Patentansprüche und andererseits auf die nachfolgende Erläuterung dreier Ausführungsbeispiele der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung der bevorzugten Ausführungsbeispiele der Erfindung anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigen

Fig. 1 bis 3 beispielhafte Anordnungen zur Anwendung des erfindungsgemäßen Verfahrens.

Auf einer Anzeigeeinrichtung 1 werden Bildobjekte 2a und 2b dargestellt. Die Anzeigeeinrichtung 1 umfasst eine autostereoskopische Anzeigeeinrichtung, bei der das Bildobjekt 2a zumindest teilweise vor der Anzeigeeinrichtung zu schweben scheint, während Bildobjekt 2b zumindest teilweise im Hintergrund hinter der Anzeigeeinrichtung wahrgenommen wird. Ein Betrachter, dessen Augen 3 in den Figuren angedeutet sind, betrachtet das Bildobjekt 2, das auf der Anzeigeeinrichtung 1 dargestellt wird.

Eine Positionserfassung in Form eines stereoskopisch arbeitenden Kamerasystems ermittelt kontinuierlich die Position der Augen 3 des Betrachters in allen drei Raumrichtungen und seine Blickrichtung. Auf der Anzeigeeinrichtung 1 werden zwei Ansichten des Bildobjekts mit entsprechendem Versatz geeignet dargestellt, sodass vor der Anzeigeeinrichtung 1 ein virtueller dreidimensionaler Bildraum aufgespannt ist. In dem virtuellen Bildraum wird das Bildobjekt 2a scheinbar zumindest teilweise vor der Anzeigeeinrichtung dargestellt, während das Bildobjekt 2b zumindest teilweise hinter der Anzeigeeinrichtung dargestellt wird.

Die durch die Positions- und Sehwinkelerfassung ermittelte Blickrichtung der Augen 3 des Betrachters wird in den virtuellen Bildraum übertragen. Da eine möglichst realistische Darstellung der Bildobjekte 2a und 2b auf der Anzeigeeinrichtung 1 erzielt werden soll, entspricht diese Blickrichtung in Fig. 1 einer Akkomodation der Augen 3 auf das Bildobjekt 2a. Dieses Bildobjekt wird scharf dargestellt, während das scheinbar weiter entfernte Bildobjekt 2b unscharf erscheint. Eine Veränderung der Blickrichtung der Augen 3 nach rechts hin zum Bildobjekt 2b - dargestellt in Fig. 2 - wird vom System erkannt, und es erfolgt eine Anpassung der Ansichten.

Danach erfolgt die Darstellung entsprechend einer Akkomodation auf Bildobjekt 2b. Das Bildobjekt 2b wird scharf dargestellt während das scheinbar näher liegende Bildobjekt 2a unscharf erscheint. Die durch die beiden virtuellen Kameras erzeugten Ansichten werden wiederum in für die Anzeigeeinrichtung geeignete Bilder umgesetzt und auf der Anzeigeeinrichtung 1 dargestellt.

Fig. 3 zeigt den Fall, wonach ein Bildobjekt 2a mittels einer Auswahleinrichtung 4 markiert wird. Die Auswahleinrichtung 4 ist hier durch einen Finger der Hand des Betrachters gebildet. Der Betrachter hat in dem virtuellen Bildraum einen in Fig. 3 mit einem Kreis gekennzeichneten Bereich 5 markiert. Es wird davon ausgegangen, dass der Betrachter seinen Blick dabei auf die Auswahleinrichtung und auch auf den gekennzeichneten Bereich 5 richtet.

Eine Erfassungseinheit zum Erfassen der Position der Auswahleinrichtung 4 bestimmt zunächst die Position der Auswahleinrichtung in Bezug auf die Anzeigeeinrichtung 1. Unter Verwendung virtueller Kameras kann bestimmt werden, welcher Punkt 5 in dem virtuellen Bildraum durch die Auswahleinrichtung 4 markiert ist. Dieser markierte Bereich 5 entspricht dem Bereich, auf den die Augen des Betrachters beim Auswahlvorgang akkomodiert sind. Ein Teil des Bildobjektes 2a wird scharf dargestellt während scheinbar weiter entfernte Teile des Bildobjektes 2a sowie Bildobjekt 2b unscharf erscheinen. Bei der Berechnung der Ansichten der Bildobjekte 2a und 2b wird also nicht nur die Blickrichtung der Augen 3 des Betrachters berücksich- tigt, sondern auch der ausgewählte Bereich 5 sowie die Position der Augen 3 des Betrachters als Information verwendet.

Hinsichtlich weiterer vorteilhafter Ausgestaltungen des erfindungsgemäßen Verfahrens wird zur Vermeidung von Wiederholungen auf den allgemeinen Teil der Beschreibung sowie auf die nachfolgenden Patentansprüche verwiesen.

Abschließend sei ganz besonders hervorgehoben, dass die zuvor beschriebenen Ausführungsbeispiele lediglich zur Erörterung der erfindungsgemäßen Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken.

Bezugszei chen l iste

1 Anzeigeeinrichtung

2a Bildobjekt

2b Bildobjekt

3 Augen des Betrachters

4 Auswahleinrichtung

5 markierter Bereich

Claims

P a t e n t a n s p r ü c h e

1. Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum, insbesondere zur Erzeugung einer virtuellen Realität im Sinne einer Simulation, d a d u r c h g e k e n n z e i c h n e t, dass die Blickrichtung eines Betrachters des Bildobjekts erfasst und für die Darstellung der Bildobjekte sowie für Interaktionen mit den Bildobjekten berücksichtigt wird.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Blickrichtung des Betrachters in eine Berechnung oder Auswahl von Ansichten des Bildobjekts derart einbezogen wird, dass die reale Blickrichtung des Betrachters und/oder deren Veränderung in den virtuellen Bildraum abgebildet und zur Steuerung mindestens einer virtuellen Kamera genutzt wird, wobei je virtuelle Kamera eine dem Betrachter entsprechende Ansicht des Bildobjekts aufgenommen (gerendert) wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Darstellung der virtuellen Realität die Blickrichtung beider Augen unabhängig voneinander erfasst wird, um einen Konvergenzpunkt im realen wie auch virtuellen Raum zu bestimmen und entsprechend berücksichtigen zu können.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass Blickrichtung und/oder Konvergenzpunkt des Betrachters zur Auswahl von virtuellen Objekten innerhalb des virtuellen Bildraumes herangezogen wird/werden, indem der Schnittpunkt mit virtuellen Bildobjekten oder der Abstand des Konvergenzpunkts zu virtuellen Bildobjekten ausgewertet wird.

5. Verfahren nach einem Ansprüche 1 bis 4, dadurch gekennzeichnet, dass Blickrichtung oder Konvergenzpunkt des Betrachters als alleiniges Mittel zur Interaktion verwendet wird.

6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass neben der Blickrichtung oder dem Konvergenzpunkt des Betrachters weitere natür- liche oder technische Hilfsmittel zur Interaktion (beispielsweise Finger, Fuß, Computermaus, etc.) verwendet werden, die zusätzlich eine virtuelle Entsprechung haben können.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Lage der Hilfsmittel in Relation zum Betrachter, seinen Blickvektoren, dem Display und den virtuellen Objekten zur Darstellung der virtuellen Realität berücksichtigt wird, wobei je virtueller Kamera eine separate Darstellung erfolgen kann, ggf. bei Überschneidungen auch in Form und Farbe verändert.

8. Verfahren nach einem der Ansprüche 1 oder 7, dadurch gekennzeichnet, dass zur Darstellung der virtuellen Realität und der Interaktion ein stereoskopisches SD- Display verwendet wird.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass bei der Darstellung der virtuellen Realität die Verteilung der Schärfe der Abbildung der virtuellen Objekte entsprechend ihrer Tiefenstaffelung oder lateral zur Blickrichtung beeinflusst wird.

10. Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, dass einerseits virtuelle Objekte und andererseits bekannte Interaktionselemente, beispielsweise Schalter (Buttons), Menuelemente, etc., ausgewählt werden.

11. Verfahren nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass das betrachtete Objekt insbesondere durch Veränderung von Farbe, Markierung der Kanten, Aufblenden eines Rahmens etc. hervorgehoben wird.

12. Verfahren nach einem der Ansprüche 6 bis 11 , dadurch gekennzeichnet, dass Aktionen zum Verbinden funktionaler Elemente bzw. von Interaktionselementen definiert werden.

13. Verfahren nach einem der Ansprüche 6 bis 12, dadurch gekennzeichnet, dass der Abbildungsmaßstab verändert wird.

14. Verfahren nach einem der Ansprüche 6 bis 13, dadurch gekennzeichnet, dass das gesamte Bild, einzelne Bereiche davon oder eines oder mehrere Objekte vergrößert oder verkleinert wird/werden.

15. Verfahren nach einem der Ansprüche 6 bis 14, dadurch gekennzeichnet, dass das gesamte Bild, Bildbereich oder einzelne Objekte manipuliert wird/werden.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Manipulation Funktionen wie Verschieben, Zoomen, Ausführen kontextabhängiger Aktionen, z.B. Textur- oder Beleuchtung-Wechsel der ausgewählten Objekte, umfasst.

17. Verfahren nach einem der Ansprüche 6 bis 16, dadurch gekennzeichnet, dass eine aktive, vorzugsweise kontinuierliche Navigation vorgenommen wird.

18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Navigation in beliebigen Darstellungen, beispielsweise in 3D-Szenen, Karten, Bildern, Videos und Text, erfolgt.

19. Verfahren nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass eine Navigation zum ausgewählten Objekt hin, beispielsweise mit Sprung oder kontinuierlicher Darstellung bis zum Ziel/Objekt, passiv oder aktiv, vorgenommen wird.

20. Verfahren nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass Navigation durch Links, vorzugsweise im Sinne einer Verkettung von Daten, Bildern oder sonstigen Informationen, vorgenommen wird.

21. Verfahren nach einem der Ansprüche 6 bis 20, dadurch gekennzeichnet, dass beliebige Informationen, insbesondere in Bezug auf die Objekte und/oder die Interaktionselemente, optisch eingeblendet oder akustisch mitgeteilt werden.

22. Verfahren nach einem der Ansprüche 6 bis 21 , dadurch gekennzeichnet, dass hinterlegte Animationen, Videos, etc. aktiviert bzw. ausgelöst werden.

23. Verfahren nach einem der Ansprüche 6 bis 22, dadurch gekennzeichnet, dass unmittelbar am Objekt Markierungen angebracht werden.

24. Verfahren nach einem der Ansprüche 6 bis 23, dadurch gekennzeichnet, dass ein Blickpunkt-Pfad in die jeweilige Szene, beispielsweise durch Malen bzw. Verfolgen mit den Augen, eingebracht wird.

25. Verfahren nach einem der Ansprüche 6 bis 24, dadurch gekennzeichnet, dass neue Objekte in die Gesamtszene, vorzugsweise am Ort des Blickpunktes, eingefügt werden.

26. Verfahren nach Anspruch 25, dadurch gekennzeichnet, dass die Einfügung zeitgesteuert, d.h. beispielsweise mit einer vorgebbaren Verweildauer oder in festen Intervallen, erfolgt.

27. Verfahren nach Anspruch 25 oder 26, dadurch gekennzeichnet, dass die Einfügung aktiv, beispielsweise durch Blinzeln, erfolgt.

28. Verfahren nach einem der Ansprüche 6 bis 27, dadurch gekennzeichnet, dass beliebige zusätzliche Eingabeelemente aktiv, beispielsweise durch Blinzeln, realisierbar sind.

29. Verfahren nach einem der Ansprüche 6 bis 28, dadurch gekennzeichnet, dass ein zumindest temporäres Löschen/Ausblenden von Objekten möglich ist.

30. Verfahren nach einem der Ansprüche 6 bis 28, dadurch gekennzeichnet, dass die Auslösung von Interaktionen in Abhängigkeit vom Blick des Betrachters, insbesondere von der zeitabhängigen Fixierung des Blicks des Betrachters auf ein ausgewähltes Objekt, erfolgt.

31. Verfahren nach einem der Ansprüche 6 bis 30, dadurch gekennzeichnet, dass das Verfahren in kollaborativen 3D-Systemen eingesetzt wird, wobei vorzugsweise mehrere Nutzer ggf. aus unterschiedlichen Positionen auf ein und dasselbe Objekt bzw. auf ein und dieselbe Szene schauen und durch Blick auf bestimmte Bereiche oder Objekte Interaktionen auslösen können.