DE69800884T2

DE69800884T2 - Verbesserungstechniken für dreidimensionale virtuelle Realität

Info

Publication number: DE69800884T2
Application number: DE69800884T
Authority: DE
Inventors: Alfred Vaino Aho; Sudhir Raman Ahuja; Gianpaolo U. Carraro; James Robert Ensor; Eugene J. Rosenthal
Original assignee: Lucent Technologies Inc
Current assignee: Nokia of America Corp
Priority date: 1997-08-04
Filing date: 1998-07-28
Publication date: 2001-12-06
Anticipated expiration: 2018-07-29
Also published as: EP0899691B1; JPH11134084A; CA2242170C; EP0899691A2; JP3592541B2; EP0899691A3; CA2242170A1; DE69800884D1

Description

Erfindungsgebiet

Die vorliegende Erfindung betrifft die Integrierung von Computergrafik und Video, um eine realistische dreidimensionale Erfahrung in virtueller Realität (virtual reality) zu liefern.

Allgemeiner Stand der Technik

Einem Betrachter eine dreidimensionale Welt anzuzeigen, erfordert beträchtliche Rechenleistung, und in der Regel ist es aufwendig, die dafür erforderlichen notwendigen sehr detaillierten Modelle zu entwickeln. Zur Vereinfachung des Problems kann ein Teil der Welt, der sich in der Ferne befindet, in nur zwei Dimensionen als ein auf einer Oberfläche, zum Beispiel einem Schirm, abgespieltes Video dargestellt werden. Unter Video wird hier die übliche Verwendung des Ausdrucks verstanden, zum Beispiel das Werfen oder Projizieren von vordefinierten Bildern auf die Oberfläche, zum Beispiel die elektronische Version von gefilmten beweglichen Bildern. Eine derartige Welt ist somit im wesentlichen von der Länge her auf den Schirm zugeschnitten, auf dem das Video abgespielt wird. Durch eine derartige Anordnung können die Rechenleistung und die Kosten stark reduziert werden.
In GB-A-2328102 (am 10. Februar 1999 veröffentlicht) wurde erkannt, daß eine derartige Welt begrenzt wird, wenn ein Objekt in dem durch das Video dargestellten Feld sich auf eine Bewegungsbahn begibt, die es zu einer Stelle in der Welt nimmt, die nicht durch das Video dargestellt wird, sondern stattdessen eine Stelle im Vordergrund ist, die durch Computergrafik dargestellt wird, nämlich ein beliebiger Teil des Objekts verschwindet, der sich nicht mehr auf dem Videoschirm befindet. Wenn ein Objekt in dem durch das Video dargestellten Feld sich auf eine Bewegungsbahn begibt, die es oder einen Teil von ihm zu einer Stelle in der Welt nimmt, die nicht durch das Video dargestellt wird, sondern stattdessen eine Stelle im Vordergrund ist, die durch Computergrafik dargestellt wird, kann daher bewirkt werden, daß ein derartiges Objekt oder ein Teil für den Benutzer weiterhin sichtbar ist und an der Stelle im Vordergrund anstatt durch ein Video durch Computergrafiktechniken dargestellt wird. Somit "springt" das Videoobjekt aus dem Video heraus und wird beispielsweise vor oder auf der Seite des Videoschirms sichtbar, anstatt unsichtbar zu werden, da es sich nicht länger auf dem Videoschirm befindet.
US-A-4,970,666 offenbart ein System und ein Verfahren zur Herstellung höchst realistischer Videobilder, die die Erscheinungsform einer simulierten Struktur in einer tatsächlichen Umgebung zeigen, und sorgt für die präzise Plazierung der Struktur in der Umgebung und eine Anpassung der Perspektive der Struktur an die der Umgebung, so daß ein höchst realistisches Ergebnis erzielt wird.
Aus Benford et al. in The Computer Journal, Band 37, Nr. [8], 1994, Seiten 653-668, 'Supporting Cooperative Work in Virtual Environments' ist ein System bekannt, das als DIVE (Distributed Interactive Virtual Environment) bekannt ist. Displays können zusammengesetzte Bilder enthalten, einschließlich beispielsweise einem Videoschirm innerhalb einer Computergrafikszene.

Kurze Darstellung der Erfindung

Es wurde folgendes gefunden: Bei einer Welt, von der ein Teil, der von dem Betrachtungspunkt des Benutzers entfernt ist, auf einem Videoschirm als ein Video in nur zwei Dimensionen dargestellt wird, ist es vorteilhaft, wenn sich ein Objekt auf dem Videoschirm auf eine Bewegungsbahn begibt, die mindestens ein Teil von ihm zu einer Stelle in der Welt nimmt, die nicht durch das Video dargestellt wird, sondern stattdessen eine Stelle in der Welt ist, die durch Computergrafik dargestellt wird, wenn zusätzlich dazu, daß man ein derartiges Objekt weiterhin sehen kann, wenn es aus dem Video in den Computergrafikteil der Welt springt, man mit einem derartigen Objekt auch interagieren kann. Gemäß den Grundlagen der Erfindung kann deshalb ein Objekt, das aus einem Video in den Computergrafikteil der Welt springt, durch einen Betrachter der Welt "untersucht" werden. Eine Möglichkeit, um dies zu erzielen, ist durch Empfangen einer Angabe einer Auswahl eines derartigen Objekts durch einen Benutzer und als Reaktion darauf, dem Benutzer zusätzliche Informationen über das ausgewählte Objekt zu liefern. Eine weitere Möglichkeit, um dies zu erzielen, ist durch Empfangen einer Angabe einer Auswahl eines derartigen Objekts durch einen Benutzer und als Reaktion darauf, den Benutzer das Innere des ausgewählten Objekts erforschen zu lassen.
Wenn der Benutzer beispielsweise mit dem Fahrrad die Champs Elysees in Paris, Frankreich, entlang fährt, so springt bei Annäherung an den La Place de l'Etoile, in dessen Mitte sich der von Napoleon Bonaparte erbaute Arc de Triomphe befindet, wenn der Radfahrer daran vorbeifährt, der Arc de Triomphe aus dem Video heraus und der Benutzer könnte den herausgesprungenen Arc de Triomphe anklicken, der sich nun in dem Computergrafikteil der Welt befindet, und historische Informationen über ihn beispielsweise in einem Fenster auf dem Schirm angezeigt bekommen. Als Alternative: wenn der Benutzer in der Welt als ein Avatar dargestellt ist, der auf einem Fahrrad fährt, könnte das Avatar des Benutzers als Reaktion auf entsprechende Befehle, wie etwa Mausclicks, dazu veranlaßt werden, von dem Fahrrad abzusteigen und den Arc de Triomphe näher zu untersuchen, zum Beispiel ihn zu betreten, eine Treppe hochzusteigen und von einem oder mehreren Aussichtspunkten hinauszuschauen. Der Benutzer könnte dann zu seinem Fahrrad zurückkehren und seine Fahrt in der Welt fortsetzen, von der ein Teil, der von dem Beobachtungspunkt des Benutzers entfernt ist, auf dem Videoschirm als ein Video in nur zwei Dimensionen und der Rest der Welt als Computergrafik dargestellt wird.
Ein weiteres Beispiel: der Benutzer könnte ein Geschäft betreten, das aus dem Video herausgesprungen ist, und dort virtuell einkaufen. Gemäß einem Aspekt der Erfindung kann das jeweilige Geschäft, das tatsächlich betreten wird, auf einen Benutzer zugeschnitten sein. Bei verschiedenen Benutzern, die den gleichen Weg einschlagen und die gleichen Darstellungen sehen, zum Beispiel ein Avatar eines Geschäfts oder eines Verkaufswagens, das bzw. der aus dem Video herausgesprungen ist, kann der jeweilige Verkäufer, der den Benutzer bedient und ihm die virtuelle Einkaufsdienstleistung liefert, bei verschiedenen Benutzern unterschiedlich sein. Gemäß einem Aspekt der Erfindung kann der jeweilige Verkäufer als eine Funktion der tatsächlichen geographische Stelle des Benutzers oder einer bestimmten Stelle, die dem Benutzer zugeordnet ist, ausgewählt werden. Wenn zwei oder mehr Benutzer die gleiche Welt gleichzeitig gemeinsam erforschen, wenn beispielsweise zwei Freunde zusammen radfahren, dann kann bzw. können gemäß einem Aspekt der Erfindung jeder Benutzer bzw. verschiedene Untergruppen der Benutzer von einem anderen Verkäufer bedient werden, zum Beispiel als Funktion spezifizierter Parameter, wie etwa ihren individuellen geographischen Stellen. Selbst wenn mehr als ein Benutzer vorhanden ist, und solche Benutzer würden ansonsten zum Beispiel als Funktion ihrer jeweiligen Stellen von verschiedenen Verkäufern bedient werden, könnten solche Benutzer gemäß einem Aspekt der Erfindung aber auch festlegen, daß eine Untergruppe von ihnen oder alle von einem einzigen Verkäufer bedient werden sollten.
Gemäß einem anderen Aspekt der Erfindung könnte, wenn der Inhaber eines virtuellen Geschäfts oder sein Repräsentant, zum Beispiel ein elektronischer Agent, erfaßt, daß sich das Avatar von einer oder mehreren Personen in der Nähe des Avatars eines Geschäfts befindet bzw. sich an ihm vorbei bewegt, für das das Geschäft eines derartigen Eigentümers dem virtuellen Geschäft für derartige sich vorbei bewegende Personen entspricht, eine Nachricht, wie etwa eine Werbung oder andere Kommunikation, wie beispielsweise das Öffnen eines Kommunikationskanals, zum Beispiel eines Chatservice- oder Sprachkommunikationskanals zu derartigen sich vorbei bewegenden Personen übertragen oder mit ihnen eingeleitet werden. Die Kommunikation kann von allgemeiner Art sein oder sie kann als Funktion von Informationen, die hinsichtlich der sich vorbei bewegenden Personen verfügbar sind, zugeschnitten werden. Vorteilhafterweise kann in der virtuellen Umgebung ein Gefühl von Gemeinschaft hervorgerufen werden.

Kurze Beschreibung der Zeichnung

In der Zeichnung zeigen:
Fig. 1-3 ein Beispiel eines aus einem Video "herausspringenden" Videoobjekts, das somit vor oder an der Seite des Videoschirms sichtbar wird;
Fig. 4 einen beispielhaften Prozeß, durch den Objekte in dem durch die Videooberfläche dargestellten Feld, die sich aufgrund ihrer projizierten Bewegung in der dreidimensionalen Welt befinden sollen, unter Verwendung von Computergrafiktechniken derart angezeigt werden, zum Beispiel "springt" das Objekt aus der Videooberfläche heraus;
Fig. 5 einen weiteren beispielhaften Prozeß, durch den Objekte in dem durch die Videooberfläche dargestellten Feld, die sich aufgrund ihrer projizierten Bewegung in der dreidimensionalen Welt befinden sollen, unter Verwendung von Computergrafiktechniken derart angezeigt werden; und
Fig. 6 Schritte eines Prozesses, mit dem Aspekte der Erfindung implementiert werden können.

Ausführliche Beschreibung

Bevor beschrieben wird, wie gemäß den Grundlagen der Erfindung ein Objekt, das aus einem Video heraus in den Computergrafikteil der Welt springt, durch einen Betrachter der Welt "untersucht" werden kann, wird in den Fig. 1-3 ein Beispiel eines Videoobjekts gezeigt, das aus dem Video "herausspringt" und vor oder über oder unter oder seitlich von dem Videoschirm sichtbar wird anstatt einfach unsichtbar zu werden, da es sich nicht länger auf dem Videoschirm befindet. Um die Terminologie zu vereinfachen, kann ein Teil eines Objekts einfach als ein Objekt bezeichnet werden, da jeder Teil eines Objekts für sich selbst als ein Objekt angesehen werden kann.
Fig. 1 zeigt die Welt 101, bei der es sich um die Champs Elysees in Paris, Frankreich, handelt, während man sich dem La Place de l'Etoile nähert, in dessen Mitte sich der von Napoleon Bonaparte erbaute Arc de Triomphe befindet. Die Welt 101 ist in zwei Teile unterteilt, Videoschirm 103, auf dem das aktuelle Einzelbild eines Videos gezeigt wird, und den Rest der Welt 105, der unter Verwendung von Computergrafiktechniken dargestellt wird und deshalb hier als Computergrafikteil (CG-Teil) 105 bezeichnet wird. Das auf dem Videoschirm 103 vorgeführte aktuelle Einzelbild des Videos enthält einen Polizeiwagen 113 und den Arc de Triomphe 115. In dem CG-Teil 105 liegen verschiedene Elemente vor, wie etwa ein Radfahrer 107, der den Benutzer darstellt, die Straße 109 und der Himmel 111.
Man beachte, daß sich der Blickpunkt des Benutzers tatsächlich hinter der Darstellung des Benutzers in Form des Radfahrers 107 befindet. Man beachte außerdem, daß sich der Polizeiwagen 113, der Teil des gerade auf dem Videoschirm 103 gezeigten aktuellen Videoeinzelbilds ist, langsamer bewegt als der Radfahrer 107, so daß der Polizeiwagen 113 schließlich von dem Radfahrer 107 überholt wird, während er weiter auf den Arc de Triomphe 115 zufährt.
Fig. 2 zeigt die Welt 101 von Fig. 1, aber zu einem späteren Zeitpunkt. Zum Zeitpunkt von Fig. 2 ist das gerade auf dem Schirm 103 gezeigte Videoeinzelbild von einem Blickpunkt aus aufgenommen, der sich näher an dem Arc de Triomphe 115 befindet. Ein derartiges Einzelbild kann sich beispielsweise dadurch ergeben haben, daß die das Video aufnehmende Kamera näher zu dem Arc de Triomphe 115 bewegt wurde. Infolge des Kamerastandorts zum Zeitpunkt der Aufnahme des Videoeinzelbilds auf Schirm 103, das in Fig. 2 gezeigt ist, wurde in dem Videoeinzelbild nur ein Teil des Polizeiwagens 113 erfaßt. Der Rest des Polizeiwagens 113 befand sich außerhalb des Blickfelds der Kamera und ist deshalb in dem in Fig. 2 gezeigten aktuellen Videoeinzelbild auf Schirm 103 nicht sichtbar. Vom Blickpunkt des Benutzers aus gesehen sollte jedoch bei Betrachtung der Welt 101, wie sie in Fig. 2 erscheint, der restliche Teil des Polizeiwagens 113, obwohl er sich nicht länger innerhalb der Grenzen des Videoschirms 103 befindet, sichtbar sein. Deshalb wird der restliche Teil des Polizeiwagens 113 unter Verwendung von Computergrafiktechniken in der Welt 101 als Element 201, das einen Teil des CG-Teils 105 darstellt, angezeigt.
Fig. 3 zeigt die Welt 101 von Fig. 1, aber zu einem noch späteren Zeitpunkt als Fig. 2. Zum Zeitpunkt von Fig. 3 ist das auf dem Schirm 103 gezeigte Videoeinzelbild von einem Blickpunkt aus aufgenommen, der noch näher an dem Arc de Triomphe 115 liegt als der von Fig. 2. Infolge des Kamerastandorts zum Zeitpunkt der Aufnahme des Videoeinzelbilds auf Schirm 103, das in Fig. 3 gezeigt ist, ist in dem in Fig. 3 gezeigten aktuellen Videoeinzelbild auf Schirm 103 von dem Polizeiwagen 113 nichts sichtbar. Vom Blickpunkt des Benutzers aus gesehen sollte jedoch bei Betrachtung der Welt 101, wie sie in Fig. 3 erscheint, der Polizeiwagen 113 links von dem Benutzer sichtbar sein, obwohl er sich nicht länger innerhalb der Grenzen des Videoschirms 103 befindet. Deshalb wird der ganze Polizeiwagen 113 unter Verwendung von Computergrafiktechniken in der Welt 101 als Element 201, das einen Teil des CG-Teils 105 darstellt, angezeigt.
Mindestens ein Teil des Elements 201 wird weiterhin als ein Teil des CG-Teils 105 angezeigt, bis das Element 201 völlig aus dem Blickfelds des Benutzers verschwindet.
Fig. 4 zeigt einen beispielhaften Prozeß, durch den Objekte in dem durch die Videooberfläche dargestellten Feld, die sich aufgrund ihrer projizierten Bewegung in der dreidimensionalen Welt befinden sollen, z. B. vor, über, unter oder seitlich von der Videooberfläche, unter Verwendung von Computergrafiktechniken derart angezeigt werden, so daß das Objekt aus der Videooberfläche "herausspringt". Bei typischen Ausführungsformen der Erfindung sind die unter Verwendung von Computergrafik anzuzeigenden Objekte im voraus definiert und ihre Stelle in dem Video und die ihrer Position in dem Video zugeordnete Zeit ist bekannt, so daß der Zeitpunkt und das Ausmaß, zu bzw. in dem das Objekt aus dem Video herausspringen muß, bekannt ist. Die Techniken der Erfindung können jedoch mit Computern und Software eingesetzt werden, die so hoch entwickelt sind, daß sie erkennbare Objekte in der Videooberfläche verfolgen und aus derartigen Videodarstellungen Computergrafikmodelle entwickeln können, damit die herausgesprungene Computergrafik erzeugt werden kann.
In den Prozeß wird in Schritt 401 eingetreten, wenn sich der Benutzer ein Video zur Betrachtung auswählt und das erste Einzelbild des Videos einem Benutzer angezeigt werden soll. In Schritt 403 wird das anzuzeigende Videoeinzelbild abgerufen. Dies kann dadurch erfolgen, daß Daten abgerufen werden, die das Einzelbild darstellen, auf das mit einem Zeiger gezeigt wird. Ein derartiger Einzelbildzeiger wird anfänglich, z. B. in Schritt 401, so gesetzt, daß er auf das erste Einzelbild des Videos zeigt. In Schritt 405 wird als nächstes bestimmt, ob sich in dem aktuellen Videoeinzelbild, das auf dem Videoschirm angezeigt werden soll, irgendwelche Objekte befinden, für die das Herausspringen eingeleitet werden muß. Dies kann dadurch erfolgen, daß zusätzliche, dem Einzelbild zugeordnete Informationen verwendet werden, die etwaige Objekte beschreiben, die herausspringen müssen. Zu solchen zusätzlichen Informationen können auch Daten zählen, die zur Wiedergabe des Objekts notwendig sind, sowie Bewegungsdaten, die den Weg des Objekts angeben. Dieser Schritt kann aber auch dadurch ausgeführt werden, daß der Inhalt des Videobilds, etwa in Verbindung mit vorausgegangenen Einzelbildern und zukünftigen Einzelbildern, analysiert wird, um zur Wiedergabe des Objekts notwendige Daten sowie Bewegungsdaten zu bestimmen, die den Weg des Objekts angeben. Außerdem kann der Blickpunkt, den der Benutzer durch das Gesamtdisplay erhält, in die Bestimmung mit einbezogen werden. Ein derartiger Blickpunkt wird durch Kamerasteuerungen bestimmt, die durch den Benutzer eingestellt werden können. Es kann natürlich auch eine Kombination aus den obigen Techniken zum Einsatz kommen. In Schritt 407 wird für jedes der in Schritt 405 bestimmten Objekte eine Computergrafik-Displaymaschinenroutine eingeleitet. Jede dieser Computergrafikroutinen erhält bei Verstreichen der Zeit mit jedem Einzelbild zur Anzeige auf der Videooberfläche die Informationen, die notwendig sind, um ihre jeweiligen Objekte zu erzeugen. Die für jedes Objekt gelieferten Informationen können beispielsweise die obenerwähnten Bewegungsdaten beinhalten, die den Weg des Objekts angeben.
Als nächstes werden im wesentlichen parallel zu Schritt 413 die Schritte 409 und 411 ausgeführt. Der zu erzielende Grad an Parallelität sollte es ermöglichen, daß die herausgesprungenen Objekte im wesentlichen dann angezeigt werden, wenn das Einzelbild angezeigt wird, so daß der Benutzer sie als zur gleichen Zeit zusammen angezeigt wahrnimmt.
In Schritt 409 wird für jedes der Objekte, für das eine Computergrafik-Displaymaschinenroutine abläuft, eine Stelle auf dem Sichtschirm bestimmt. Im Schritt 411 werden alle Objekte wiedergegeben, für die eine Computergrafik-Displaymaschinenroutine abläuft und die sich noch im Blickfeld des Betrachters befinden. Wahlweise kann die Computergrafik-Displaymaschinenroutine für jedes Objekt, das sich so bewegt hat, daß es sich nicht länger im Blickfeld des Betrachters befindet, gelöscht werden. Derartige Computergrafik- Displaymaschinenroutinen sollten jedoch nur dann gelöscht werden, wenn bekannt ist, daß der Bewegungsweg des Objekts oder der Blickpunkt des Betrachters dieses Objekt nicht wieder ins Blickfeld bringt.
Das Videoeinzelbild wird in Schritt 413 angezeigt. Die Steuerung geht dann von den beiden Schritten 411 und 413 zu Schritt 415 weiter. In Schritt 415 wird zu dem nächsten Videoeinzelbild weitergegangen, vorausgesetzt es existiert eines. Dies kann durch Erhöhen oder sonstiges Aktualisieren des Werts des Einzelbildzeigers geschehen. Danach geht die Steuerung zu Schritt 403 zurück, und der Prozeß läuft wie oben beschrieben weiter.
Bei einer anderen Implementierung des grundlegenden Prozesses von Fig. 4 bewegt sich der Videoschirm innerhalb der ganzen dreidimensionalen Welt, die dem Benutzer angezeigt wird. Anstatt zu bestimmen, bei welchen Objekten es erforderlich ist, das Herausspringen auf der Grundlage von Informationen über Objekte in dem gerade auf der Videooberfläche angezeigten Einzelbild einzuleiten, wie oben beschrieben, kann das Einleiten auf der aktuellen Stelle des Videoschirms in der dem Benutzer angezeigten gesamten dreidimensionalen Welt basieren. Falls der Videoschirm beispielsweise ein Video anzeigt, das dem Benutzer das Gefühl vermittelt, sich auf der Champs Elysees entlangzubewegen, dann stellt jedes aufeinanderfolgende Videoeinzelbild tatsächlich eine Darstellung des Blickfelds von einer Stelle dar, die entlang der Straße immer weiter hinten liegt. Während die Einzelbilder angezeigt werden und sich der Blickpunkt des Benutzers entlang der Straße immer weiter nach hinten bewegt, ist es möglicherweise notwendig, daß Objekte, zum Beispiel ein Bus, ein Fußgänger oder ein geparktes Auto, aus dem Videoschirm herausspringen und durch Computergrafik dargestellt werden. Die Computergrafik-Displaymaschinenroutine für jedes der Objekte kann als Funktion der Entfernung eingeleitet werden, die sich der Videoschirm entlang der Straße bewegt, was beispielsweise entweder in zusätzlichen, dem Einzelbild zugeordneten Informationen angegeben werden kann oder in einfachen Situationen als eine vorbestimmte Funktion der Zeit, die das Video gelaufen ist, bestimmt werden kann.
Bei einer anderen Ausführungsform der Erfindung wird in einem Speicher eine dreidimensionale Welt modelliert, die bereit ist, wiedergegeben zu werden, einschließlich aller Elemente, die aus der Videooberfläche herausspringen müssen. Die dreidimensionale Welt enthält Informationen wie etwa die Stelle, Größe und Orientierung im Raum für jedes der Elemente, das herausspringen muß. Es können auch Bewegungsinformationen für die Herausspringelemente enthalten sein. Bei dieser Ausführungsform bewegt sich der Videoschirm wie oben beschrieben in der dem Benutzer angezeigten ganzen dreidimensionalen Welt. Jedes Einzelbild des Videos besitzt räumliche Informationen, die die Stelle des Videoschirms in der im Speicher gespeicherten dreidimensionalen Welt beschreiben. Derartige Informationen können impliziert werden, wenn sich beispielsweise der Videoschirm mit einer konstanten Geschwindigkeit bewegt, oder sie können sich in separaten Informationen befinden, die dem Videoeinzelbild zugeordnet sind. Mit den Informationen über jedes Videoherausspringelement sowie den Informationen über die Stelle des Videoschirms kann die räumliche Stelle jedes Videoherausspringelements sowie der Teil jedes Videoherausspringelements, der nicht durch den Videoschirm blockiert wird und sich in dem Blickfeld des Benutzers befindet, für jedes Einzelbild bestimmt werden. Wenn sich der Videoschirm an einer bestimmten Stelle befindet, kann somit derjenige Teil eines beliebigen Videoherausspringelements, der vor, über, unter oder seitlich von dem Videoschirm sichtbar ist, auf dem Display wiedergegeben werden. Auf diese Weise kann zwischen dem, was auf dem Videoschirm zu sehen ist, und den Computergrafik- Herausspringelementen eine Übereinstimmung erzielt werden.
Ein Prozeß zur Implementierung dieser Ausführungsform ist in Fig. 5 in Form eines Flußdiagramms gezeigt. Man beachte, daß vor dem Eintritt in den in Fig. 5 gezeigten Prozeß eine dreidimensionale Welt, die alle Elemente enthält, die aus der Videooberfläche herausspringen müssen, im voraus erzeugt und im Speicher abgespeichert worden sein muß. Außerdem müssen räumliche Informationen, die die Stelle des Videoschirms in der dreidimensionalen Welt beschreiben, den Einzelbildern des Videos zugeordnet und in dem Speicher abgespeichert worden sein.
In den Prozeß wird in Schritt 501 eingetreten, wenn sich der Benutzer ein Video zur Betrachtung auswählt und das erste Einzelbild des Videos einem Benutzer angezeigt werden soll. In Schritt 503 wird das anzuzeigende Videoeinzelbild abgerufen. Dies kann dadurch erfolgen, daß Daten abgerufen werden, die das Einzelbild darstellen, auf das mit einem Zeiger gezeigt wird. Ein derartiger Einzelbildzeiger wird anfänglich, z. B. in Schritt 501, so gesetzt, daß er auf das erste Einzelbild des Videos zeigt. In Schritt 505 wird die Stelle des Videoschirms in der dreidimensionalen Welt bestimmt. Wie angemerkt können derartige Informationen impliziert werden, wenn sich beispielsweise der Videoschirm mit einer konstanten Geschwindigkeit bewegt, oder sie können sich in separaten Informationen befinden, die dem Videoeinzelbild zugeordnet sind. Als nächstes wird in Schritt 507 der sichtbare Teil von beliebigen Herausspringelementen als Funktion der aktuellen Stelle der Videooberfläche und des Blickpunkts des Benutzers bestimmt.
Danach werden die Schritte 507 und 509 im wesentlichen parallel ausgeführt. Der zu erzielende Grad an Parallelität sollte es ermöglichen, daß die herausgesprungenen Objekte im wesentlichen dann angezeigt werden, wenn das Einzelbild angezeigt wird, so daß der Benutzer sie als zur gleichen Zeit zusammen angezeigt wahrnimmt. In Schritt 507 wird der bestimmte sichtbare Teil jedes der Herausspringelemente wiedergegeben. Das Videoeinzelbild wird in Schritt 509 angezeigt. Die Steuerung geht dann von den beiden Schritten 507 und 509 zu Schritt 511 weiter. In Schritt 511 wird zu dem nächsten Videoeinzelbild weitergegangen, vorausgesetzt es existiert eines. Dies kann durch Erhöhen oder sonstiges Aktualisieren des Werts des Einzelbildzeigers geschehen. Danach geht die Steuerung zu Schritt 503 zurück, und der Prozeß läuft wie oben beschrieben weiter.
Oben wurde davon ausgegangen, daß das anzuzeigende Videoeinzelbild eingestellt ist, was die Stelle des Videoschirms in der dreidimensionalen Welt bestimmt. Es kann aber auch das Gegenteil implementiert werden, das heißt, die Stelle des Videoschirms in der dreidimensionalen Welt ist eingestellt, und dies bestimmt, welches Videoeinzelbild angezeigt werden soll. Dazu wird in Schritt 501 oder 511, in denen das nächste anzuzeigende Einzelbild bestimmt wird, die gewünschte Stelle des Videoschirms in der dreidimensionalen Welt festgestellt. Diese Stelle kann als Funktion einer Benutzereingabe spezifiziert werden. Falls die angezeigte Szene beispielsweise dem Blickfeld eines Benutzers auf einem Fahrrad entspricht, kann die Stelle des Videoschirms durch Sensoren bestimmt werden, die an einem stationären Fahrrad befestigt sind, was das Fahren des Fahrrades durch den Benutzer erfaßt. Um zu bestimmen, welches Einzelbild der aktuellen Stelle des Schirms entspricht, werden die Informationen gesucht, die die Stelle der Einzelbilder identifizieren, und der Einzelbildzeiger wird so gesetzt, daß er auf dieses Einzelbild zeigt.
Die verschiedenen Verfahren, um zu bestimmen, welches Einzelbild angezeigt wird, können je nach der Notwendigkeit der implementierten Anwendung getrennt oder zusammen verwendet werden.
Man beachte, daß Einzelbilder, bei denen bekannt ist, daß keine Herausspringelemente angezeigt werden, räumlichen Informationen, die die Stelle des Videoschirms in der im Speicher abgespeicherten dreidimensionalen Welt beschreiben, nicht zugeordnet sein müssen. Das Video wird einfach auf dem Videoschirm angezeigt, und es werden keine Herausspringelemente wiedergegeben.
Etwaige im voraus abgespeicherte Informationen, wie etwa Einzelbilder und diesen zugeordnete Informationen, und Modelle der dreidimensionalen Welt können in anderen Segmenten abgespeichert sein. Derartige Segmente können sich an einer einzelnen physischen Stelle, zum Beispiel innerhalb eines einzelnen Rechners, oder an verschiedenen physischen Stellen, wie etwa in unterschiedlichen Rechnern, die durch ein Netz verbunden sind, befinden und zur Verwendung mit Ausführungsformen der Erfindung zur Verfügung gestellt werden. Außerdem können die Elemente, die die Informationen zur Erzeugung des Displays verarbeiten, in einem einzelnen Rechner enthalten sein, müssen es aber nicht. Eine Möglichkeit, wie ein Objekt, das aus einem Video in den Computergrafikteil der Welt herausspringen kann, gemäß dem Grundlagen der Erfindung von einem Betrachter der Welt "untersucht" werden kann, besteht darin, eine Angabe einer Auswahl eines derartigen Objekts durch einen Benutzer zu empfangen und als Reaktion darauf dem Benutzer zusätzliche Informationen über das ausgewählte Objekt zu liefern. So könnten beispielsweise als Reaktion darauf, daß der Betrachter das Objekt auswählt, etwa mit einem Zeige- und Anclickauswahlsystem, das meistens in Form von Mäusen, Rollkugeln und Berührungsfeldern auftritt, zusätzliche Informationen auf dem Displayschirm angezeigt werden. Als Reaktion auf die Benutzerauswahl könnte aber auch ein zusätzliche Informationen enthaltendes neues Fenster dem Videodisplay überlagert werden. Eine andere Möglichkeit, wie dies erzielt werden kann, ist durch Empfang einer Angabe einer Auswahl eines derartigen Objekts durch einen Benutzer und als Reaktion darauf, den Benutzer das Innere des ausgewählten Objekts erforschen zu lassen. Dies kann im Kontext der Welt, die erforscht wird, oder außerhalb davon erfolgen. Eine Möglichkeit, wie dies erzielt werden kann, besteht darin, daß man einen Uniform Resource Locator (URL) hat, der dem Objekt in dem CG-Teil der Welt zugeordnet ist. Wenn das Objekt durch das Blickfeld ausgewählt wird, wird der Betrachter zu einer dem URL entsprechenden Seite oder Datei geführt. Der Betrachter kann aber auch zu einem anderen Weltmodell befördert werden, das dem weiter erforschten Objekt entspricht.
Wenn der Benutzer beispielsweise auf dem Fahrrad die Champs Elysees in Paris, Frankreich, wie oben beschrieben entlang fährt und der Arc de Triomphe, wenn der Radfahrer an ihm vorbeifährt, aus dem Video herausspringt, dann könnte der Benutzer den herausgesprungenen Arc de Triomphe, der sich nun in dem Computergrafikteil der Welt befindet, anklicken und z. B. in einem Fenster auf dem Schirm angezeigte historische Informationen über ihn erhalten. Als Alternative, falls der Benutzer in der Welt als ein Avatar dargestellt ist, der auf einem Fahrrad fährt, könnte das Avatar des Benutzers als Reaktion auf entsprechende Befehle, wie etwa Mausclicks, dazu veranlaßt werden, von dem Fahrrad abzusteigen und den Arc de Triomphe näher zu untersuchen, zum Beispiel ihn zu betreten, eine Treppe hochzusteigen und von einem oder mehreren Aussichtspunkten hinauszuschauen. Der Benutzer könnte dann bewirken, daß sein Avatar zu seinem Fahrrad zurückkehrt und seine Fahrt in der Welt fortsetzt, von der ein Teil, der von dem Beobachtungspunkt des Benutzers entfernt ist, auf dem Videoschirm als ein Video in nur zwei Dimensionen und der Rest der Welt als Computergrafik dargestellt wird.
Der Beschreibung des Inneren des Arc de Triomphe können direkt Informationen zugeordnet sein, die dazu verwendet werden, sie aus dem Video herausspringen zu lassen, oder Informationen, die auf die notwendige Beschreibung des Inneren des Arc de Triomphe hinweisen, wie etwa ein Zeiger zu einer anderen "Welt" oder einem URL, können direkt Informationen zugeordnet sein, die dazu verwendet werden, um den Arc de Triomphe aus dem Video herausspringen zu lassen.
Ein weiteres Beispiel: der Benutzer könnte ein Geschäft betreten, das aus dem Video herausgesprungen ist, und dort virtuell einkaufen. Gemäß einem Aspekt der Erfindung kann das jeweilige Geschäft, das tatsächlich betreten wird, auf einen Benutzer zugeschnitten sein. Bei verschiedenen Benutzern, die den gleichen Weg einschlagen und die gleichen Darstellungen sehen, zum Beispiel ein Avatar eines Geschäfts oder eines Verkaufswagens, das bzw. der aus dem Video herausgesprungen ist, kann der jeweilige Verkäufer, der den Benutzer bedient und ihm die virtuelle Einkaufsdienstleistung liefert, bei verschiedenen Benutzern unterschiedlich sein. Gemäß einem Aspekt der Erfindung kann der jeweilige Verkäufer als eine Funktion der tatsächlichen geographischen Stelle des Benutzers oder einer bestimmten Stelle, die dem Benutzer zugeordnet ist, ausgewählt werden. Wenn mehr als ein Benutzer vorliegt, die die gleiche Welt gleichzeitig gemeinsam erforschen, wenn beispielsweise zwei Freunde zusammen radfahren, dann kann gemäß einem Aspekt der Erfindung jeder Freund von einem anderen Verkäufer bedient werden, zum Beispiel als Funktion ihrer individuellen geographischen Stellen. Selbst wenn mehr als ein Benutzer vorhanden ist, und solche Benutzer würden ansonsten zum Beispiel als Funktion ihrer jeweiligen Stellen von verschiedenen Verkäufern bedient werden, könnten solche Benutzer gemäß einem Aspekt der Erfindung aber auch festlegen, daß eine Untergruppe von ihnen oder alle von einem einzigen Verkäufer bedient werden sollten.
Gemäß einem anderen Aspekt der Erfindung könnte, wenn der Inhaber eines virtuellen Geschäfts oder sein Repräsentant, zum Beispiel ein elektronischer Agent, erfaßt, daß sich das Avatar von einer oder mehreren Personen an dem Avatar eines Geschäfts vorbei bewegt, für das das Geschäft eines derartigen Eigentümers dem virtuellen Geschäft für derartige sich vorbei bewegende Personen entspricht, eine Nachricht, wie etwa eine Werbung oder andere Kommunikation, wie beispielsweise das Öffnen eines Kommunikationskanals, zum Beispiel eines Chatservice- oder Sprachkommunikationskanals zu derartigen sich vorbei bewegenden Personen übertragen oder mit ihnen eingeleitet werden. Die Kommunikation kann von allgemeiner Art sein oder sie kann als Funktion von Informationen, die hinsichtlich der sich vorbei bewegenden Personen verfügbar sind, zugeschnitten werden. Vorteilhafterweise kann in der virtuellen Umgebung ein Gefühl von Gemeinschaft hervorgerufen werden.
Fig. 6 zeigt Schritte eines Prozesses, durch den Aspekte der Erfindung implementiert werden können. In den Prozeß von Fig. 6 wird in Schritt 601 eingetreten, was beispielsweise nach vollständiger Ausführung von Schritt 411 von Fig. 4 oder Schritt S07 von Fig. 5 sein kann. Danach werden in Schritt 603 zusätzliche Informationen abgerufen, die erforderlich sind, um die zulässige Wechselwirkung zwischen dem Betrachter und dem herausgesprungenen Objekt zu unterstützen, und die über das hinausgehen, was notwendig ist, um einfach das visuelle Modell des Objekts in Computergrafik zu erzeugen. Derartige Informationen können zusammen mit den dem Video zugeordneten Informationen enthalten sein, die dazu verwendet werden, das Objekt aus dem Video herausspringen zu lassen. In Schritt 605 werden etwaige, dem Objekt zugeordnete geographische Funktionen gelöst. Wenn das Objekt, das aus dem Video heraussprang, beispielsweise ein Verkaufswagen war, wie er anzutreffen ist, wenn man in New York City durch den Central Park radelt, dann kann die geographische Funktion ein Restaurant des Typs spezifizieren, der die gleiche Art von Essen anbietet, die von dem Verkaufswagen erhältlich ist. Zu solchen Essen können beispielsweise Frankfurter Würstchen, Hamburger, alkoholfreie Getränke und Kleinigkeiten zählen. Die Art Restaurant, die dem Wagen entspricht, wird dann zusammen mit der tatsächlichen physischen Stelle in der realen Welt des Benutzers, z. B. Omaha, Nebraska, verwendet, um ein lokales Restaurant zu bestimmen, das Essen des gleichen Typs anbietet und einen Lieferdienst hat. Die durch Erforschen des Wagens erhaltenen Informationen werden dann mit Informationen verknüpft, die dem bestimmten Restaurant entsprechen, z. B. was als Menü angeboten wird und was es kostet. Der Betrachter kann sich dann durch Manipulieren von Objekten an dem Wagen von dem Restaurant etwas bestellen, und das Restaurant könnte es dann dem Betrachter direkt zuliefern. Vorteilhafterweise können Benutzern, die sich an verschiedenen Stellen in der realen Welt befinden, die aber gemeinsam eine virtuelle Welt erleben, im wesentlichen die gleichen Dienstleistungen zur Verfügung gestellt werden, was ihre Erfahrung in der virtuellen Welt verbessert. Wenn das Objekt mehr als einem Restaurant zugeordnet werden kann, kann die Auflösung des Objekts auch von dem Wissen über den Benutzer, wie es möglicherweise in einem Benutzerprofil gespeichert sein kann, abhängig gemacht werden.
Als nächstes kann in Schritt 607 ein Kommunikationskanal zwischen dem herausgesprungenen Objekt und einer Instanz, die wie oben beschrieben geographisch aufgelöst sein kann, aktiviert werden. Falls das herausgesprungene Objekt beispielsweise der oben beschriebene Verkaufswagen ist, dann kann zu dem entsprechenden Restaurant oder einem Agenten dafür ein Kommunikationskanal geöffnet werden. Das Restaurant kann eine Nachricht übermitteln, wie etwa "Kaufen Sie hier Ihre heißen Würstchen und kalten alkoholfreien Getränke". Die Nachricht kann dadurch manifestiert werden, daß ein Avatar eines Verkäufers hinter dem Wagen erscheint und die Nachricht spricht, wobei entweder Text-zu-Sprache verwendet wird oder indem eine Darstellung der Sprache direkt übertragen wird. Um zwischen dem Betrachter und dem Verkäufer eine bidirektionale Kommunikation zu ermöglichen, kann ein sogenannter "Chatdienst" verwendet werden.
Eine Reklametafel ist ein weiteres beispielhaftes Objekt, zu dem ein Kommunikationskanal geöffnet werden kann. Es gibt mehrere Möglichkeiten, wie derartige Reklametafeln funktionieren können. Beispielsweise kann gemäß einem Aspekt der Erfindung die Reklametafel, wenn sie herausspringt, einem Inserenten das Nahen eines möglichen Kunden ankündigen, und der Inserent kann als Reaktion darauf sofort an die Reklametafel eine Nachricht übermitteln. Der jeweilige ausgewählte Inserent kann für alle Betrachter weltweit festgelegt sein, oder er kann für jeden Betrachter geographisch aufgelöst sein. Als Alternative kann gemäß einem Aspekt der Erfindung die Reklametafel, wenn sie herausspringt, einem Inserenten das Nahen eines möglichen Kunden ankündigen und es dem Inserenten ermöglichen, an die Reklametafel eine Nachricht zu übermitteln, falls der Inserent zum Beispiel nach der Berücksichtigung von Informationen, die ihm über den Betrachter geschickt worden sind, dies möchte.
Der Prozeß wird in Schritt 609 verlassen, und die Prozesse der Fig. 4 oder 5 können dann wieder aufgenommen werden.
Der Prozeß von Fig. 6 muß nicht darauf begrenzt sein, daß er innerhalb der Zeitspanne eines Einzelbilds auftritt.
Der Durchschnittsfachmann erkennt, daß bei jeder Simulation einer gemeinsamen Erforschung einer Welt die Grundlagen der Erfindung zum Einsatz kommen können. Beispielsweise können eine Welt erforschende Benutzer zusammen in einem Kraftfahrzeug, einem Boot, einem Flugzeug, einem Zug und sogar in einem Raumschiff sitzen. Für Benutzer mit Rudermaschinen, die mit von den Benutzern gesehenen Bildern der Welt koordiniert sind, kann eine Fahrt im Ruderboot organisiert werden. Die Benutzer können aber auch zusammen durch die Welt wandern, z. B. wandert jeder Benutzer in seiner eigenen Tretmühle, die mit von den Benutzern gesehenen Bildern der Welt koordiniert ist. Analog können Benutzer aber auch zusammen Ski fahren, z. B. befindet sich jeder auf einem Skifahrsimulator, wie etwa einem Nordictrak, der mit von den Benutzern gesehenen Bildern der Welt koordiniert ist.
Außerdem kann man sich neben Einkaufen auch an anderen Formen von kommerziellen Transaktionen beteiligen. Wenn Benutzer beispielsweise in einem Kraftfahrzeug zusammen eine virtuelle Autobahn entlangfahren, können sie zu einer Mautstelle kommen, die aus dem Schirm herausspringt, und mindestens einer der Benutzer muß die Maut bezahlen, bevor die Erforschung der Welt weitergehen kann. Analog können sich Benutzer einer Attraktion, wie etwa einem virtuellen Vergnügungspark oder einer virtuellen Safari nähern. Zahlhäuschen, die auf dem Videoschirm erscheinen, können aus ihm herausspringen, und die Benutzer müssen dann jeweils eine Eintrittskarte erlangen, z. B. kaufen, bzw. für sich kaufen lassen, damit sie sich in die Attraktion begeben können.

Claims

1. Verfahren zum Zugreifen auf ein Objekt in einer dreidimensionalen Welt, bei dem ein erster Teil der Welt als Computergrafik modelliert ist und ein zweiter Teil der Welt durch ein Video dargestellt wird, mit den folgenden Schritten:

Bestimmen, daß sich ein Objekt, das durch ein Video dargestellt wurde, an eine Stelle bewegt hat, die als Computergrafik modelliert wird;

Ändern der Darstellung des Objekts von einer Videodarstellung zu einer als Computergrafik modellierten Darstellung;

Empfangen einer Angabe einer Auswahl des Objekts durch einen Benutzer; und

Zugreifen auf zusätzliche Informationen über das ausgewählte Objekt.

2. Verfahren nach Anspruch 1, bei dem die zusätzlichen Informationen aus auf das Objekt geschriebenem Text hergeleitet werden.

3. Verfahren nach Anspruch 1 oder 2, weiterhin mit dem Schritt des Öffnens eines Kommunikationskanals zwischen einem Betrachter der Welt und einer als Funktion der zusätzlichen Informationen definierten Stelle.

4. Verfahren nach Anspruch 1, bei dem es mehrere Benutzer gibt, und weiterhin mit dem folgenden Schritt:

Übertragen zusätzlicher Informationen über das ausgewählte Objekt zu zumindestens zwei getrennten Untergruppen der Benutzer;

wobei sich die zusätzlichen Informationen über das ausgewählte Objekt, die zu einer der Untergruppen von Benutzern übertragen werden, von den zusätzlichen Informationen über das ausgewählte Objekt unterscheiden, die zu einer anderen der Untergruppen von Benutzern übertragen werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem es sich bei den zusätzlichen Informationen um Informationen handelt, die nicht erforderlich sind, um das Objekt als Computergrafik für einen Betrachter mit einem außerhalb des Objekts liegenden Blickpunkt anzuzeigen.

6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die zusätzlichen Informationen Informationen zum Erzeugen einer Innenansicht des Objekts enthalten.

7. Verfahren zum Zugreifen auf ein Objekt in einer dreidimensionalen Welt, bei dem ein erster Teil der Welt als Computergrafik modelliert ist und ein zweiter Teil der Welt durch ein Video dargestellt wird, mit den folgenden Schritten:

Ändern der Darstellung des Objekts von einer Videodarstellung zu einer als Computergrafik modellierten Darstellung; und

Öffnen eines Kommunikationskanals, wenn sich ein Avatar eines Benutzers innerhalb einer festgelegten Entfernung von dem Objekt in dem ersten Teil der Welt befindet.

8. Verfahren nach Anspruch 7, bei dem der Kommunikationskanal den Benutzer und einen Akteur im Namen des Objekts verbindet.

9. Verfahren nach Anspruch 7, bei dem die Welt durch mehrere Benutzer erforscht wird und bei dem der Öffnungsschritt das Öffnen von mehreren Kommunikationskanälen umfaßt, wenn sich ein Avatar mindestens eines Benutzers innerhalb einer festgelegten Entfernung von dem Objekt in dem ersten Teil der Welt befindet.

10. Verfahren nach Anspruch 9, bei dem ein erster der Kommunikationskanäle einen Benutzer und einen Akteur im Namen eines durch das Objekt dargestellten Elements einer ersten realen Welt verbindet und ein zweiter der Kommunikationskanäle einen Benutzer und einen Akteur im Namen eines durch das Objekt dargestellten Elements einer zweiten realen Welt verbindet, wobei der erste und der zweite Akteur nicht identisch sind.