DE19906995A1 - Erzeugen von Anpaßdaten für einen virtuellen Szenenaufbau - Google Patents

Description

Die vorliegende Erfindung betrifft das Erzeugen von An­ paßdaten zum Kombinieren von realen und virtuellen Bil­ dern.

Einführung

Seit einigen Jahren werden Computer benutzt, um dreidi­ mensionale Darstellungen von Objekten und Räumen zu er­ zeugen, die in zunehmendem Maße für technische und künst­ lerische Anwendungen verwendet werden. Da die Leistung von Computern gesteigert wurde, ist es möglich geworden, Bildfolgen in Echtzeit oder nahezu in Echtzeit und mit zunehmender räumlicher Definition zu erzeugen. Folglich wurde viel Arbeit aufgewendet, was das Entwickeln compu­ tergenerierter, real erscheinender Bilder betrifft, und der Prozeß der Interaktion mit solchen Umgebungen ist als "virtuelle Realität" bekannt geworden.

Auf dem Gebiet der Computergrafik kann ein synthetisier­ ter dreidimensionaler Raum als virtuelle Raumwelt be­ zeichnet werden, in der eine zweidimensionale Ansicht in die Raumwelt von einer Position einer fiktiven virtuellen Kamera innerhalb des Raums erzeugt wird, die Eigenschaf­ ten hat, die ähnlich zu denen realer Kameras in der re­ alen Welt sind.

In dem auf den vorliegenden Anmelder übertragenen US-Pa­ tent Nr. 5,479,597 werden virtuelle oder synthetisierte Bilder mit realen Bildern kombiniert, um eine zusammenge­ setzte Ausgabe zu erzeugen. Somit wird ein Teil dieser Ausgabe von einer virtuellen Raumwelt abgeleitet, wobei der Rest der Ausgabe von einem realen Szenenaufbau abge­ leitet wird. Die Umgebung als Ganzes ist somit als vir­ tueller Szenenaufbau bekannt.

Ein Vorteil virtueller Szenenaufbauten besteht darin, daß relativ wenig realer Studioraum benötigt wird, da viel größere virtuelle Umgebungen in dem Szenenaufbau darge­ stellt werden können. Ferner können virtuelle Szenenauf­ bauten nahezu sofort geändert werden und stellen somit ein neues kreatives Werkzeug dar, das Eigenschaften auf­ weist, die über die Beschränkungen realer Studios hinaus­ gehen, während sie die Betriebskosten erheblich reduzie­ ren.

Das Erzeugen einer virtuellen Raumwelt zur Anwendung in einem virtuellen Szenenaufbau wird vorzugsweise als unab­ hängige kreative Anwendung durchgeführt, die Datensets für Produktionseinrichtungen zur Verfügung stellt. Ein Problem entsteht jedoch dadurch, daß die aktuelle Geome­ trie realer Szenenaufbauten variiert, so daß die durch einen virtuellen Datensatz definierte Geometrie viel­ leicht nicht so ausgerichtet ist, wie sie für die realen Beschränkungen eines virtuellen Studios sein sollte.

Virtuelle Szenenaufbauten unterscheiden sich von ge­ bräuchlichen Blue-Screen-Verfahren aufgrund des größeren Ausmaßes, mit dem Objekte und Akteure in der virtuellen Umgebung interagieren können. Damit diese Wechselwirkung die gewünschte Illusion erzeugt, ist es jedoch für die virtuelle Raumwelt wesentlich, daß sie hinsichtlich be­ stimmter Aspekte genau auf die Geometrie des realen Sze­ nenaufbaus ausgerichtet ist. Wenn man z. B. den Akteur auf einem Boden laufen sieht, ist es für einen in der virtu­ ellen Raumwelt definierten Boden wesentlich, daß er genau mit dem realen Boden des realen Szenenaufbaus ausgerich­ tet ist. Weitere Beschränkungen können dann hinsichtlich der Ausrichtung gelten, wenn der Akteur mit anderen vir­ tuellen Objekten in-dem Szenenaufbau interagieren soll.

Üblicherweise wurde die Anpassung der virtuellen Raumwelt an den realen Szenenaufbau manuell durch trial and error durchgeführt, wobei Modifikationen, die an den Daten der Raumwelt angebracht werden, resultieren, um sie mit einem bestimmten realen Szenenaufbau auszurichten. Dies hat zwei wesentliche Nachteile. Zum einen kann der Ausrich­ tungsprozeß sehr zeitaufwendig werden und erhebliches Ge­ schick seitens des Operators erfordern. Zum anderen hat jeder Ausrichtungsprozeß zur Folge, daß die Daten der Raumwelt für die Geometrie dieses bestimmten realen Sze­ nenaufbaus modifiziert werden.

Zusammenfassung der Erfindung

Nach einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Erzeugen von Anpaßdaten für einen vir­ tuellen Szenenaufbau bereitgestellt, in dem die Anpaßda­ ten eine Transformation für Daten einer virtuellen Szene definieren, um die Kombination der virtuellen Daten mit Bilddaten, die von einem realen Szenenaufbau abgeleitet sind, zu erleichtern, umfassend Schritte der Identifizie­ rung einer Ebene in einem realen Szenenaufbau, der Asso­ ziierung der realen Ebene mit einer Ebene, die in einer virtuellen Szene definiert ist, und der Bestimmung der Unterschiede in der Position zwischen der realen Ebene und der virtuellen Ebene, um Anpaßdaten zu produzieren.

In einer bevorzugten Ausführungsform werden Ebenen in dem realen Szenenaufbau durch Identifizieren der Position ei­ ner Mehrzahl von komplanaren Punkten definiert.

In einer bevorzugten Ausführungsform wird eine einzelne Ebene, vorzugsweise der Boden, für Anpaßzwecke benutzt, aber in einer alternativen Ausführungsform wird in dem realen Szenenaufbau eine Mehrzahl von Ebenen identifi­ ziert und jede dieser Ebenen wird mit einer jeweiligen Ebene in dem virtuellen Szenenaufbau assoziiert.

Die Daten der virtuellen Szene werden vorzugsweise durch einen Szenenbaum definiert, der eine Mehrzahl von Objek­ ten in bezug auf einen Wurzelursprung in Beziehung setzt.

Vorzugsweise beinhaltet der Schritt zur Bestimmung der Position das Entfernen von Skalierungseffekten aus der virtuellen Ebene in bezug auf einen Szenenbaum von Objek­ ten. In einer bevorzugten Ausführungsform beinhaltet der Schritt zur Bestimmung der Unterschiede auch das Bestim­ men einer Beziehung zwischen einer realen Ebene und einer korrespondierenden virtuellen Ebene in Termen von Trans­ lationen und Rotationen. Vorzugsweise werden die Rotatio­ nen und Translationen durch Matrizen definiert und wird eine Anpaßmatrix durch eine Verkettung von Rotations- und Translationsmatrizen erzeugt.

Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein virtueller Szenenaufbau (bzw. eine entsprechende Vorrichtung zum Erzeugen oder Verwenden eines virtuellen Szenenaufbaus) zum Herstellen von Bilddaten bereitge­ stellt, in dem Daten einer virtuellen Szene mit Bildern kombiniert werden, die von einem realen Szenenaufbau ab­ geleitet sind, umfassend ein Mittel zum Erzeugen eines Bildes des realen Szenenaufbaus, ein Wiedergabemittel zum Wiedergeben eines Bildes eines virtuellen Szenenaufbaus von den Daten der virtuellen Szene in Kombination mit An­ paßdaten und ein Kombinationsmittel zum Kombinieren des realen Bildes mit dem wiedergegebenen Bild, wobei die An­ paßdaten durch einen Prozeß bestimmt werden, bei dem ein Positionsattribut einer Ebene, die dem realen Szenenauf­ bau und dem virtuellen Szenenaufbau gemeinsam ist, auf­ einander abgebildet wird.

Vorzugsweise ist ein Mittel zum Bestimmen einer Beziehung zwischen einer realen Ebene und einer korrespondierenden virtuellen Ebene in Termen von Translationen und Rotatio­ nen enthalten. Vorzugsweise ist ein Mittel zum Definieren der Rotationen und Translationen in Form von Matrizen enthalten, einschließlich eines Mittels zum Erzeugen einer Anpaßmatrix durch Verkettung der Rotations- und Translationsmatrizen.

Kurze Beschreibung der Figuren

Fig. 1 zeigt einen virtuellen Szenenaufbau, in dem Fern­ sehbilder in Abhängigkeit von einem Akteur erzeugt wer­ den, der vor einem farbverschlüsselbaren Schirm angeord­ net ist, der es ermöglicht, virtuelle oder synthetisierte Bilder damit zu kombinieren.

Fig. 2 veranschaulicht eine Station zum Erzeugen virtu­ eller Bilder und zum Kombinieren der von dem in Fig. 1 dargestellten realen Studio abgeleiteten Bilder, ein­ schließlich eines Videowiedergabegeräts und eines Daten­ verarbeitungssystems.

Fig. 3 zeigt ein Dateiformat zum Speichern von Positi­ onsdaten, die die Position von Wänden in dem virtuellen Szenenaufbau darstellen.

Fig. 4 zeigt eine Darstellung des Blue Screen des virtu­ ellen Szenenaufbaus, der auf einem optischen Wiedergabe­ gerät wiedergegeben wird.

Fig. 5 veranschaulicht ein virtuelles Bild, das von gra­ phischen Daten erzeugt und einem Operator dargestellt wird.

Fig. 6 veranschaulicht, wie ein Szenenbaum für das in Fig. 5 dargestellte visuelle Bild durch das optische Wiedergabegerät einem Operator dargestellt wird.

Fig. 7 veranschaulicht Probleme, die mit dem Durchführen von Modifikationen an den Definitionen der Position eines virtuellen Bodens verbunden sind.

Fig. 8 zeigt Operationen, die durchgeführt werden, um den virtuellen Szenenaufbau zur Benutzung vorzubereiten, einschließlich eines Schrittes zum Erzeugen von Anpaßda­ ten.

Fig. 9 zeigt Einzelheiten des Schrittes zum Erzeugen von Anpaßdaten, der in Fig. 8 gezeigt ist, einschließlich eines Schrittes zum Erzeugen einer Matrix.

Fig. 10 veranschaulicht Gleichungen für die Ebenen des virtuellen Szenenaufbaus.

Fig. 11 zeigt Einzelheiten des in Fig. 9 beschriebenen Schrittes zum Erzeugen einer Anpaßmatrix, einschließlich eines Schrittes zum Bestimmen einer Translation und Rota­ tion.

Fig. 12 zeigt Einzelheiten des in Fig. 11 gezeigten Schrittes zur Bestimmung der Translation und Rotation für die Erzeugung von Transformationsmatrizen und die Erzeu­ gung einer Anpaßmatrix.

Fig. 13 veranschaulicht Transformationsmatrizen, die durch den in Fig. 12 dargestellten Prozeß erzeugt wur­ den.

Fig. 14 zeigt Einzelheiten einer Anpaßmatrix, die durch den in Fig. 12 dargestellten Prozeß hergestellt wurde.

Fig. 15 veranschaulicht ein Beispiel einer Anpaßmatrix, die als ASCII-Datei gespeichert ist.

Fig. 16 veranschaulicht einen Szenenbaum der in Fig. 6 dargestellten Art, wiedergegeben als ASCII-Datei.

Fig. 17 veranschaulicht eine Beziehung zwischen einem realen Boden und einem virtuellen Boden.

Fig. 18 veranschaulicht eine alternative Beziehung zwi­ schen Ebenen einer virtuellen Welt und Ebenen des realen Szenenaufbaus.

Detaillierte Beschreibung der bevorzugten Ausführungsfor­ men

Die Erfindung wird im folgenden beispielhaft unter Bezug­ nahme auf die beigefügten, oben genannten Figuren be­ schrieben.

Ein virtuelles Studio oder ein virtueller Szenenaufbau ist in der britischen Patentveröffentlichung GB 2,312,125 im Namen des vorliegenden Anmelders beschrieben. Der in diesem Dokument beschriebene virtuelle Szenenaufbau kom­ biniert interaktiv und in Echtzeit Bilder von einer vir­ tuellen Raumwelt mit realen Bildern, die von einem realen Szenenaufbau abgeleitet sind. Die Daten des Raumes der virtuellen Raumwelt werden offline erzeugt, und es ist notwendig, die virtuellen Bilder mit der realen Geometrie des virtuellen Szenenaufbaus auszurichten, um überzeu­ gende und akzeptable Resultate zu erzielen. Die vorlie­ gende Erfindung betrifft das Erleichtern der Anpassung der virtuellen Bilder an die realen Bilder, und die Tech­ nik kann bei einem virtuellen Szenenaufbau der in der vorstehend genannten britischen Patentpublikation genann­ ten Art verwendet werden.

Der Akteur im Vordergrund und die realen Objekte werden mit einem synthetisierten Hintergrund durch einen Prozeß der Farbverschlüsselung kombiniert. Deshalb beinhaltet der virtuelle Szenenaufbau selbst einen Boden 101, eine erste Wand 102 und eine zweite Wand 103, die alle einer Kamera 104 eine gesättigte blaue Farbe darstellen. Bei­ spielsweise laufen der in Fig. 1 gezeigte Boden und die Wände in Kanten und in einer Ecke zusammen, obwohl in ei­ nem bevorzugten virtuellen Szenenaufbau diese Diskonti­ nuitäten tatsächlich gerundet sind, um eine im wesentli­ che konstante Helligkeit für die Kamera 104 aufrecht zu erhalten und die Erzeugung von Schatten zu verhindern.

Die Fernsehkamera 104 ist mit einer Zoom-Linse 105 ausge­ stattet und auf einem festen Stativ 106 drehbar befe­ stigt, um ein Schwenken und Neigen zu ermöglichen. Die Kamera 104 erzeugt ein Videosignal, das über ein Videoka­ bel 107 einer Verarbeitungsausrüstung zugeführt wird. Die Kamera beinhaltet auch Sensoren, die derart ausgebildet sind, daß sie Signale erzeugen, die die aktuellen Schwenk-, Rotations-, Neigungs- und Zoomeigenschaften der Kamera angeben, um Positionsdaten zu erzeugen, die über ein serielles Datenkabel 108 ebenfalls der Verarbeitungs­ ausrüstung zugeführt werden. Beim Gebrauch ist es dem Ak­ teur in dem Szenenaufbau möglich, die resultierenden kom­ binierten realen und virtuellen Bilder mit Hilfe eines Videomonitors 109 zu betrachten, wodurch es dem Akteur möglich wird, mit der virtuellen Welt zu interagieren und so die Illusion aufrecht zu erhalten und zu verstärken.

Virtuelle Bilder werden mit Videofrequenz erzeugt und er­ fordern eine relativ hohe Definition, um realistische Er­ gebnisse zu produzieren. Folglich ist eine aufwendige Hardware zur Datenverarbeitung erforderlich und in der vorliegenden Ausführungsform ist der Prozeß ausgebildet, um auf einem von Silicon Graphics Inc. hergestellten Onyx II Computer zu laufen. In einer kommerziellen Umgebung ist es erforderlich, die Benutzung einer derartigen Aus­ rüstung zu optimieren. Deshalb tendiert man dazu, die Er­ zeugung der virtuellen Raumwelt zur Anwendung in dem vir­ tuellen Szenenaufbau als Offline-Prozeß durchzuführen, in dem Datendateien erzeugt werden, die dann für das Echt­ zeit-Verarbeitungssystem zugänglich gemacht werden. Die Daten der Raumwelt haben ihren eigenen Bezugsrahmen, und Objekte in der Raumwelt werden bezüglich ihrer Position in bezug auf einen lokalen Ursprung definiert. Die Illu­ sion wird durch Übertragen der räumlichen Umgebung der virtuellen Welt in den realen Szenenaufbau erzeugt. Es ist daher möglich, daß beispielsweise die Wände 102 und 103 nicht als Wände wahrgenommen werden, wenn sie mit den virtuellen Bildern kombiniert werden; ihre Anwesenheit dient lediglich dazu, einen Blue-Screen-Hintergrund zu liefern. Je größer die geforderte Interaktion zwischen der virtuellen Umgebung und dem realen Akteur jedoch ist, desto mehr wird es erforderlich, weitere Randbedingungen für die Kombination der realen Geometrie des Szenenauf­ baus mit der Geometrie der virtuellen Welt des syntheti­ sierten Bildes zu definieren.

Der Prozeß des Einrichtens der Art und Weise, wie ein re­ aler Szenenaufbau und eine virtuelle Raumwelt kombiniert werden, wird als Anpassen (in englisch: registration) be­ zeichnet. Somit ist es in allen außer den trivialsten An­ wendungen nur möglich, einen arbeitenden virtuellen Sze­ nenaufbau (in dem ein realer Akteur mit einem syntheti­ sierten Hintergrund interagiert) einzurichten, nachdem ein Anpassungsprozeß durchgeführt wurde, um bestimmte Da­ ten der virtuellen Raumwelt mit der Geometrie eines re­ alen Szenenaufbaus auszurichten. Der in Fig. 1 darge­ stellte Szenenaufbau stellt eine Situation dar, in der Ausrüstung für den folgenden Gebrauch kalibriert wird. Nachdem die Wände 101, 102 und 103 errichtet wurden, ist es notwendig, ihre genaue Position in dem dreidimensiona­ len Raum zu erfassen. Um dies zu erreichen, werden an den Wänden 101, 102 und 103 sichtbare Marken 110 angebracht, wobei an jeder Wand wenigstens drei Marken angebracht werden, um die Ebene eindeutig zu definieren. Vorzugswei­ se werden mehr als drei Marken an jeder Wand angebracht, um die Genauigkeit zu verbessern.

Die Position jeder Marke 110 wird durch Triangulation un­ ter Verwendung eines Theodoliten bestimmt, und die von dem Theodoliten bestimmten Werte werden einem Verarbeitungssystem der in Fig. 2 dargestellten Art zugeführt. Virtuelle Bilder mit hoher Definition, die von einem Ver­ arbeitungssystem 201 erzeugt werden, werden dem Monitor 109 und einem lokalen Videomonitor 202 zugeführt. Zusätz­ lich werden sie als Videoausgang bereitgestellt. Das Ver­ arbeitungssystem 201 wird durch einen Operator mittels einer Videowiedergabeeinheit 203, einer Tastatur 204 und einer Maus 205 gesteuert. Mittels eines Theodoliten be­ rechnete Positionsdaten werden dem Verarbeitungssystem 201 zugeführt und in dem System in Form einer Datei 301 der in Fig. 3 dargestellten Art gespeichert. Auf diese Weise wird eine erste Ebene durch die triangulierten Punkte 3101, 3102, 3103 und 3104 definiert. Die Position jedes Punktes ist durch seine Koordinaten in dem realen Raum RX, RY, RZ definiert, so daß der Punkt 3101 durch Koordinaten -0,6746, 0,0557 und -3,8372 identifiziert ist. Die Wahl des Ursprungs kann willkürlich sein, aber üblicherweise tendiert man dazu, den Ursprung in den Mit­ telpunkt des Bodens des Szenenaufbaus zu legen; dieser kann auch als eine bevorzugte Stelle für die Tätigkeit eines Akteurs innerhalb des Szenenaufbaus betrachtet wer­ den.

In ähnlicher Weise werden die Punkte der anderen Ebenen definiert, die wie in Fig. 3 dargestellt aus den Punkten 3201 bis 3216 für eine zweite Ebene und den Punkten 3301 bis 3307 für die dritte Ebene bestehen. Die Bestimmung der realen räumlichen Positionen von Ebenen, die den vir­ tuellen Szenenaufbau bilden, wird zu Beginn durchgeführt, wenn ein Szenenaufbau erzeugt wird, und dieser Prozeß muß nicht wiederholt werden, außer wenn sich die aktuelle Geometrie des Szenenaufbaus ändert. Diese Information wird benutzt, um die Kamera 104 zu kalibrieren und für eine feste Kamera des in Fig. 1 dargestellten Typs wird der Kalibrationsprozeß durch Einrichten der festen Kame­ raposition initiiert, so daß die Kalibration der Kamera einmal durchgeführt wird, nachdem ihre Position festge­ legt wurde, und weitere Kalibrationen erforderlich wären, wenn die Kamera in dem Szenenaufbau bewegt wird.

Die Datei 301 wird als die Blue-Screen-Beschreibung be­ trachtet und die Erzeugung dieser Datei kann als Blue- Screen-Beschreibungsprozeß betrachtet werden, in dem die aktuelle Geometrie des realen Szenenaufbaus definiert wird. Während die Lokalisierungspunkte 110 sichtbar blei­ ben, folgt diesem Prozeß eine Kamerakalibration, in der eine Auswahl von Punkten 1101 von der Kamera in Termen von Kameraausrichtung und Focus betrachtet werden. Die Kameraeinstellungen werden genau gemessen und Positions­ werte dem Verarbeitungssystem 201 zugeführt. Auf diese Weise ist es dem Verarbeitungssystem 201 möglich, die wahren Positionswerte der Lokalisierungspunkte 110 der Blue-Screen-Beschreibung mit von der Kamera erzeugten Werten in Abhängigkeit von Detektoren der Kamerapositio­ nen zu vergleichen. Auf diese Weise kann angegeben wer­ den, daß für ein bestimmtes Ausgangssignal, das von der Kamera erzeugt wird, eine bestimmte Position im realen Raum betrachtet wird, und anhand einer Sammlung von In­ formationen dieser Art ist es möglich, die Kamera zu ka­ librieren.

Nachdem der Kalibrationsprozeß durchgeführt worden ist, werden die Lokalisierungspunkte 110 effektiv für das Be­ trachten entfernt, oft durch das Anwenden zusätzlicher Blue-Screen-Farbe oder durch das Ergreifen entsprechender Maßnahmen. In alternativen Ausführungsformen können auf diese Weise mehrere Kameras kalibriert werden und in an­ deren alternativen Anordnungen können Kameras entlang von Schienen bewegt werden, vorausgesetzt, daß eine genaue Positionsinformation abgeleitet wird, wenn eine Bewegung dieser Art durchgeführt wird. Vorausgesetzt, daß es mög­ lich ist, die exakte Position einer Kamera zu bestimmen, kann eine Kamera entsprechend von einem Ausleger getragen werden, der eine relativ freie Bewegung in drei Dimensio­ nen ermöglicht.

Nachdem die Prozesse der Blue-Screen-Beschreibung und Ka­ merakalibration durchgeführt wurden, ist dem Verarbei­ tungssystem 201 der fiktive Beobachtungspunkt der Kamera 104 in bezug auf den gesamten Szenenaufbau genau bekannt. Beispielsweise erhält das System 201 Informationen, mit denen es möglich ist, die Positionen in dem virtuellen Szenenaufbau genau zu bestimmen, die aktuell von der Ka­ mera betrachtet werden, wenn die Kamera 104 eingerichtet wird, um einem Akteur in dem Szenenaufbau zu folgen. Die­ se Informationen können daher benutzt werden, um virtuel­ le Daten mit den von der Kamera 104 erhaltenen realen Da­ ten zu kombinieren.

Die in Fig. 3 dargestellte Blue-Screen-Beschreibung wird einem Operator mittels des Videowiedergabegerätes 203 in graphischer Form, wie in Fig. 4 veranschaulicht, darge­ stellt. Die realen Ebenen des realen Szenenaufbaus werden als wiedergegebene Bildebenen 401, 402 und 403 darge­ stellt und die in dem Blue-Screen-Beschreibungsprozeß be­ nutzten Lokalisierungspunkte werden in dem Bild ebenfalls als Lokalisierungspunkte 410 dargestellt.

Der Blue-Screen-Beschreibungsprozeß ermöglicht es, die Ebenen 401, 402 und 403 in einer unbeschränkten Weise zu definieren. Um einem Operator eine graphische Darstellung zu liefern, die mehr mit der aktuellen Geometrie des in Fig. 1 dargestellten Szenenaufbaus übereinstimmt, sind die Schnittlinien der Ebene entlang der Linie 411 ange­ deutet, wodurch ein teilweise beschränktes Volumen wie in Fig. 4 dargestellt definiert wird. Um die Manipulation des in Fig. 4 dargestellten Bildes zu erleichtern, sind ferner die RX-, RY- und RZ-Achsen 412 dargestellt, die von dem mittig angeordneten Ursprung 413 ausgehen.

In dem bisher beschriebenen Beispiel stellen die be­ schränkenden Ebenen eine kubische Struktur dar, obwohl in alternativen Ausführungsformen andere Geometrien angewen­ det werden können, beispielsweise eine hexagonale Struk­ tur, die zum Beispiel die Definition von sechs Ebenen einschließlich des Bodens erfordert.

Virtuelle Raumwelten sind nicht auf die aktuelle Geome­ trie des Szenenaufbaus beschränkt. Um realistische Ergeb­ nisse zu erzeugen, insbesondere wenn ein Akteur mit dem virtuellen Szenenaufbau interagiert, ist es jedoch für die virtuelle Umgebung und die reale Umgebung erforder­ lich, in einem gewissen Ausmaß aufeinander ausgerichtet zu sein, so daß reale physikalische Einschränkungen, wie Böden, in dem kombinierten virtuell-realen Bild berück­ sichtigt sind. Es ist daher erforderlich, manche Ein­ schränkungen hinsichtlich der Ausrichtung zwischen den virtuellen Bildern und dem realen Szenenaufbau anzuwen­ den, um einen bestimmten Grad an Realitätsnähe zu erzie­ len. Diese Ausrichtung der realen und virtuellen Umgebun­ gen wird als Anpassen bezeichnet und die Erfindung be­ trifft das Erzeugen von Anpaßdaten in einer systemati­ schen Weise, so daß die virtuelle Umgebung leicht mit der in dem realen Szenenaufbau wiedergegebenen Umgebung kom­ biniert werden kann. Insbesondere wird eine Mehrzahl von komplanaren Punkten in dem realen Szenenaufbau identifi­ ziert, wie durch die in Fig. 3 dargestellte Blue-Screen- Beschreibung definiert. Diese komplanaren Punkte werden mit einer Ebene assoziiert, die in einer virtuellen Raum­ welt definiert ist, wonach Unterschiede in der Position zwischen der realen Ebene und der virtuellen Ebene be­ stimmt werden, um Anpaßdaten zu erzeugen. Das Verarbei­ tungssystem 201 ist dazu ausgebildet, zweidimensionale Projektionen hoher Definition mit Videofrequenz in Abhän­ gigkeit von graphischen dreidimensionalen Daten zu erzeu­ gen. Ein Beispiel eines synthetisierten virtuellen Bil­ des, das auf einem Videowiedergabegerät 203 dargestellt wird, ist in Fig. 5 gezeigt. Beim Gebrauch wird das vir­ tuelle Bild mit dem realen Bild kombiniert, was zu Ausga­ bebilddaten führt, die auf einem Fernsehmonitor 202 dar­ gestellt werden können.

Das in Fig. 5 dargestellte virtuelle Bild hat im wesent­ lichen eine ähnliche Geometrie wie der in einem ähnlichen Bild darstellbare, in Fig. 4 gezeigte Szenenaufbau. Die­ se virtuellen Daten sind jedoch unabhängig von dem ak­ tuellen Szenenaufbau erzeugt worden, weshalb die Orien­ tierung der virtuellen Ebenen nicht genau mit Ebenen des realen Szenenaufbaus ausgerichtet sein wird, und ein Ver­ fahren der Anpassung ist erforderlich, bevor zwei Bilder kombiniert werden können. Entsprechend der Erfindung wer­ den die virtuellen Daten in bezug auf die Achsen VX, VY und VZ von einem Ursprung 501 bezeichnet, und dieser Ur­ sprung ist in die linke hintere Ecke des Bodens verscho­ ben und ist daher gegenüber dem Ursprung des realen Sze­ nenaufbaus versetzt, der wie oben beschrieben und in Fig. 4 dargestellt, im Mittelpunkt des Bodens angeordnet ist. Es ist somit eine erhebliche Translation erforder­ lich, um die Ursprünge der realen und virtuellen Welten aufeinander auszurichten.

Das Ausmaß, mit dem der Akteur mit den realen und virtu­ ellen Oberflächen interagiert, wird in Abhängigkeit von einem bestimmten Anwendungsfall variieren, aber in den meisten Anwendungen virtueller Szenenaufbauten wird man den Akteur auf dem Boden des Szenenaufbaus laufen sehen. Es ist daher wesentlich, daß die Ausrichtung zwischen dem Boden des realen Szenenaufbaus und dem durch das Bearbei­ tungssystem erzeugten virtuellen Boden erzielt wird. Ob­ wohl eine Fehlausrichtung zwischen einem virtuellen Bo­ den, wie dem Boden 502, und der tatsächlichen Oberfläche des Bodens 101 gering sein kann, wird jede geringe Fehl­ ausrichtung dieser Art daher nicht akzeptierbare Ergeb­ nisse liefern, vorausgesetzt, daß sogar kleine Fehler zur Folge haben, daß der Akteur über dem Boden schwebend oder in den Boden einsinkend wahrgenommen wird. In extremen Situationen ist die virtuelle Umgebung vielleicht derart erzeugt worden, daß sie wesentlich von dem realen Szenen­ aufbau abweicht und weitere Transformationsgrade können erforderlich sein, um die beiden aufeinander auszurich­ ten. Ein Vorteil der vorliegenden Technik besteht darin, daß das Ausmaß jeder Fehlausrichtung von geringer Bedeu­ tung ist, da das Verfahren die zwei Welten aufeinander ausrichtet, so daß ein Kombinationsprozeß stattfinden kann, unabhängig von dem Ausmaß einer vorliegenden Fehl­ ausrichtung.

Das in Fig. 5 dargestellte virtuelle Bild wird von einer Hierarchie von Objektdaten erzeugt, die als Szenenbaum, der auf dem in Fig. 6 dargestellten Monitor 203 darge­ stellt werden kann, bezeichnet wird. Wie in Fig. 6 dar­ gestellt, wird die virtuelle Umgebung somit von einer Mehrzahl von Objekten 601 bis 608 erzeugt. Das Objekt 601 stellt eine Wurzelposition dar, die die Orientierung der gesamten Raumwelt in bezug auf einen externen Ursprung definiert. Das Objekt 602 stellt die Charakteristiken ei­ ner virtuellen Hauptkamera dar, und der Anpaßprozeß ge­ währleistet, daß die Charakteristiken dieser Kamera, die in dem Objekt 602 definiert sind, dem Betrieb der realen Kamera 104 entsprechen. Die Hintergrundwände (Objekt 604) und die Umgebungslichter (Objekt 605) werden wie Kinder­ objekte zu einem elterlichen Zubehörobjekt 603 zusammen­ gruppiert. Auf diese Weise ist es möglich, kombinierte Operationen zu dem Blue-Screen und dem Umgebungslicht durch Modifikation der Definitionen innerhalb des Zube­ hörobjektes durchzuführen.

Ein Bodenobjekt 606 ist ein Kind zu dem Wurzelobjekt 601 mit einem Podestobjekt 607, das ebenfalls ein Kind zu der Wurzel 601 ist. Das Podestobjekt 607 selbst hat ein Kind in der Form eines Statuen-Objektes 608. Um den Boden 502 der virtuellen Welt mit dem Boden 101 des realen Szenen­ aufbaus auszurichten, wäre es möglich, Modifikationen an der Definition des Bodenobjektes 606 anzubringen. Alter­ nativ könnten Modifikationen an der Definition des Wur­ zelobjektes 601 durchgeführt werden, aber dann können Probleme hinsichtlich der Bestimmung der aktuellen Natur und des Ausmaßes von Modifikationen, die durchgeführt werden, auftreten.

Probleme, die mit dem Durchführen von Modifikationen an der Definition der Position des Bodens verbunden sind, sind in Fig. 7 dargestellt. Es ist ein Querschnitt senk­ recht zu der realen Z-Achse RZ dargestellt, so daß die reale X-Achse RX horizontal dargestellt ist und die reale Y-Achse RY sich davon erstreckt. Bei optimaler Ausrich­ tung zu der realen Achse wäre der virtuelle Boden 502 mit der realen X-Achse RX von der Position 701 zu der Posi­ tion 702 koinzident. Wie in Fig. 7 dargestellt, ergeben die aktuellen, vor dem Anpaßprozeß gegebenen Ausrichtun­ gen jedoch eine Ebene 502, die eine Position einnimmt, die nicht wie optimal erforderlich ist. Die virtuellen Daten wurden ohne bezug zu dem realen Szenenaufbau er­ zeugt, weshalb die Skalierungen verschieden sind, und in dem in Fig. 7 dargestellten Beispiel ist der virtuelle Boden 502 kleiner als der durch die Ausdehnung zwischen den Positionen 701 und 702 definierte. Um den Boden 502 in seine erforderliche Position zu bringen, muß er daher vergrößert werden. Durch die Auswahl verschiedener Ur­ sprünge zwischen den zwei Raumwelten wird der virtuelle Boden 502 wesentlich sowohl in der positiven RX- als auch der positiven RZ-Richtung verschoben. Weitere, kleinere Unterschiede bestehen hinsichtlich der aktuellen Orien­ tierung der Ebene, so daß die virtuelle Ebene effektiv um die reale X- und reale Z-Achsen rotiert ist.

Wenn die Achse der virtuellen Daten mit der Achse des re­ alen Szenenaufbaus überlagert und auf dem Monitor 203 dargestellt werden kann, ist es möglich, manuelle Modifi­ kationen an dem Szenenbaum wie in Fig. 6 dargestellt durchzuführen, um einen Grad an Ausrichtung zu erreichen. Ein solcher Prozeß führt dazu, daß die in dem Szenenbaum enthaltenen Daten modifiziert werden und nachdem dies durchgeführt ist, ist der resultierende Szenenbaum jetzt für eine Anwendung mit diesem speziellen realen Szenen­ aufbau und nur für die Anwendung mit dem speziellen rea­ len Szenenaufbau angepaßt. Ein mit diesem Verfahren ver­ bundenes Hauptproblem besteht jedoch darin, daß das Er­ reichen des erforderlichen Modifikationsgrads eine schwierige und zeitaufwendige Übung sein kann und beim Arbeiten mit Systemen hoher Qualität und hoher Definition wird ein solches Verfahren praktisch unmöglich.

In Fig. 8 sind Operationen dargestellt, die durchgeführt werden, um den virtuellen Szenenaufbau für den Gebrauch vorzubereiten. Die beschriebenen Techniken erlauben es, virtuelle Szenenaufbau-Einrichtungen externen Produzenten zur Verfügung zu stellen, die mit ihren eigenen, unabhän­ gig erzeugten virtuellen Designs an die Einrichtungen herantreten können. Die auf diese Weise erzeugten Daten der virtuellen Welt werden in das Verarbeitungssystem mittels konventioneller Datenübertragungsmedien wie ma­ gnetischer oder optischer Discs usw. geladen. Im Schritt 802 wird die Frage gestellt, ob Anpaßdaten verfügbar sind, und wenn diese Frage mit Nein beantwortet wird, werden Anpaßdaten im Schritt 803 erzeugt.

Im Schritt 804 werden die realen Bilddaten und die virtu­ ellen Bilddaten kombiniert, um die Umgebung des virtuel­ len Szenenaufbaus einzurichten. Wenn die im Schritt 802 gestellte Frage positiv beantwortet wurde, mit dem Ergeb­ nis, daß Anpaßdaten bereits verfügbar sind, wird der Schritt 804 gestartet, wonach es in dem Schritt 805 mög­ lich ist, die Videoausgangsergebnisse zu testen, um dem System den Betrieb zu ermöglichen, während Modifikationen an anderen geeigneten Parametern wie der Beleuchtung oder der Anwesenheit realer Objekte in dem Szenenaufbau durch­ geführt werden.

In dem Schritt 806 wird die Frage gestellt, ob eine an­ dere Szene zu betrachten ist. Falls ja, werden neue Daten einer virtuellen Welt in dem Schritt 801 geladen und die Schritte 802 bis 805 wiederholt. Somit werden diese Pro­ zeduren wiederholt, bis alle Szenen bearbeitet worden sind, was zur Folge hat, daß die in dem Schritt 802 ge­ stellte Frage negativ beantwortet wird. An dieser Stelle werden alle Szenen in dem Schritt 805 getestet sein, so daß das System in dem Schritt 807 anzeigt, daß sein Zu­ stand fertig zum Gebrauch ist, so daß Videoausgangssig­ nale zur Aufnahme oder zum Senden erzeugt werden können.

Der Schritt 803 zum Erzeugen von Anpaßdaten ist in Fig. 9 im einzelnen dargestellt. In dem Schritt 901 werden De­ finitionen für Ebenen in dem realen Szenenaufbau gelesen; diese Daten wurden während des Prozesses der Blue-Screen- Beschreibung erzeugt. In dem Schritt 902 wird eine Be­ zugsebene oder eine Mehrzahl von Bezugsebenen in dem re­ alen Szenenaufbau ausgewählt und in dem Schritt 903 wer­ den entsprechende Bezugsebenen in der virtuellen Raumwelt identifiziert. In dem Schritt 904 wird eine Anpaßmatrix berechnet, um assoziierte Bezugsebenen aufeinander abzu­ bilden. In der bevorzugten Ausführungsform wird eine ein­ zelne Bezugsebene (üblicherweise der Boden) gewählt. So­ mit würde in dem Schritt 902 der reale Boden des in Fig. 1 dargestellten realen Szenenaufbaus als reale Ebene und in dem Schritt 903 eine Ebene, die den Boden des Raumes der virtuellen Welt darstellt, ausgewählt. Danach wird die in dem Schritt 904 erzeugte Anpaßmatrix den virtuel­ len Boden auf den realen Boden in dem realen Szenenaufbau abbilden.

In dem Schritt 905 wird ein Operator dazu aufgefordert, innerhalb erlaubter Schranken Modifikationen an der Dar­ stellung des virtuellen Bildes anzubringen, so daß ein Operator in dem Schritt 906 das virtuelle Bild skalieren, verschieben oder drehen kann. Modifikationen dieser Art werden durch Verändern der Anpaßmatrix implementiert, so daß zusätzlich zu dem automatisierten Anpaßprozeß künst­ lerische Modifikationen innerhalb der Definition der Ma­ trix durchgeführt werden können. Danach wird in dem Schritt 907 die Anpaßmatrix der Produktionsmannschaft zur Verfügung gestellt.

Die in dem Schritt 901 gelesenen Definitionen beinhalten Ebenengleichungen in der in Fig. 10 beschriebenen Form. Eine Ebene kann durch eine Normale, die senkrecht zu der Ebene ist, dargestellt werden, und in drei Dimensionen wird dies durch eine Gleichung der Form ax + by + cz + d = 0 dargestellt. Eine Gleichung dieses Typs kann in bezug auf mindestens drei Koordinaten definiert werden, die von einer Messung bereitgestellt werden, die bezüglich des in Fig. 1 dargestellten realen Szenenaufbaus durchgeführt wurde. Die Gleichungen zum Bestimmen der Werte für a, b, c und d in der Ebenengleichung sind in Fig. 10 darge­ stellt. Es ist jedoch klar, daß mehr als drei Punkte in Kombination mit Gleichungen dieses Typs verwendet werden können, um genauere Werte für a, b, c und d zu erhalten, wenn ein kleiner Grad an Fehler bei der Messung der in Fig. 1 dargestellten Punkte 110 wahrscheinlich ist.

Der Schritt 904 zum Erzeugen der Anpaßmatrix ist in Fig. 11 im einzelnen dargestellt. In dem Schritt 1101 werden Werte bestimmt, die die Verschiebung zwischen dem Ur­ sprung der ausgewählten virtuellen Ebene (Boden 606) und dem Hauptwurzelursprung in Termen einer Translation defi­ nieren. In dem Szenenbaum wird die ausgewählte virtuelle Ebene als begrenztes Rechteck dargestellt, wenn Objekte in der virtuellen Umgebung mit endlicher Ausdehnung defi­ niert sind. Es ist Konvention, daß in dem in Fig. 6 dar­ gestellten Szenenbaum definierte Objekte absolute Koordi­ natenreferenzen haben, weshalb eine Verschiebung oder Translation durch Berechnen des Unterschiedes zwischen absoluten Positionen des Objektes und seines Ursprungs bestimmt werden kann. Somit werden in dem Schritt 1101 für das virtuelle Ebenenobjekt in bezug auf sein Wurzel­ objekt Translationswerte VX, VY und VZ bestimmt.

Die Eigenschaften des Szenenbaums erlauben es, an jedem Knoten Skalierungsfaktoren anzubringen, so daß die Ge­ samtskalierung für ein bestimmtes Objekt von einer Ver­ kettung der an jedem Verzweigungspunkt angebrachten Ska­ lierungsfaktoren bestimmt werden kann. In dem vorlie­ genden Prozeß ist es notwendig, Skalierungsfaktoren zu entfernen. Deshalb wird in dem Schritt 1102 eine rück­ wärts gerichtete Suche durch den Szenenbaum von dem vir­ tuellen Ebenenobjekt durchgeführt, um gesamte X-, Y- und Z-Skalierungsfaktoren zu ermitteln, die durch einen Pro­ zeß erhalten werden, in dem jeder beim Hochlaufen durch den Baum betroffene Skalierungsfaktor multipliziert wird. Somit werden in dem Schritt 1103 die Skalierungsfaktoren aus der Matrix der virtuellen Objekte entfernt, um die Matrix orthonormal zu machen.

In dem Schritt 1104 wird der Normalenvektor des Objektes der virtuellen Ebene mit der in Schritt 1103 bestimmten Matrix der orthonormalen Ebene multipliziert, um ein neues Objektnormal der virtuellen Ebene, das als NVX, NVY und NVZ dargestellt ist, zu erhalten. Diese Matrixmul­ tiplikation ergibt die Erzeugung eines Einheitsnormals, das eine Richtung angibt, die normal oder orthogonal zu der erforderlichen Position der virtuellen Ebene ist.

Nachdem die Beschaffenheit einer Translation, die erfor­ derlich ist, um die virtuelle Ebene in die Position der realen Ebene zu verschieben, in Schritt 1101 bestimmt worden ist, werden in dem Schritt 1104 Rotationen be­ stimmt. Diese Operationen werden dann in dem Schritt 1105 kombiniert, um die Gesamttransformation, die erforderlich ist, um die virtuelle Ebene auf die reale Ebene abzubil­ den, in Termen von einer Translation und zwei Rotationen zu bestimmen. Danach wird in dem Schritt 1106 die Anpaß­ matrix erzeugt, die effektiv die in dem Schritt 1105 be­ stimmte Transformation darstellt.

Der Schritt 1105 zur Bestimmung der Transformation ist im einzelnen in Fig. 12 dargestellt. In dem Schritt 1201 wird ein Scheitelpunkt der realen Ebene ausgewählt, der in der bevorzugten Ausführungsform auf der Auswahl des ersten Punktes auf dem Schnitt der Ebenen basiert, wenn man von der rechten Seite des Bildes zur linken Seite des Bildes läuft, um einen realen Koordinatenpunkt (RX, RY, RZ) zu identifizieren.

In dem Schritt 1202 wird durch Subtrahieren der realen Werte, die in dem Schritt 1201 ausgewählt wurden, von ih­ ren äquivalenten virtuellen Werten eine Translation zwi­ schen Scheitelpunkten berechnet, um zusammengesetzte Translationswerte zu ergeben. Somit ist der Translations­ wert in der X-Richtung durch die Differenz zwischen der virtuellen X-Position VX und der realen X-Position RX ge­ geben. Entsprechend ist TY durch VY minus RY und TZ durch VZ minus RZ gegeben. Die Werte für VX, VY und VZ sind die selben Werte wie in dem in Fig. 11 dargestellten Schritt 1101.

In dem Schritt 1203 werden Berechnungen durchgeführt, um Rotationen zu identifizieren, die erforderlich sind, um die virtuelle Ebene auf die reale Ebene abzubilden. Eine erste Berechnung wird durchgeführt, um eine Rotation um die reale X-Achse für die reale Ebene zu bestimmen, und diese ist durch den Arcustangens von (RZ/RY) gegeben, der durch den Winkel ARX bezeichnet ist. Eine entsprechende Berechnung wird durchgeführt, um einen Winkel ARZ zu er­ halten, der durch den Arcussinus von (RX) gegeben ist. Die Berechnung von ARZ wird durch die Kenntnis, daß die Normale des Ebenenobjektes eine Einheitslänge hat, ver­ einfacht.

Ein entsprechendes Rotationspaar wird in bezug auf die Orientierung des virtuellen Ebenenobjektes berechnet, was ein Paar von Winkeln AVX, der die Rotation um die X-Achse ist, und AVZ, der die Rotation um die Z-Achse ist, lie­ fert. An dieser Stelle wurden zwei gepaarte Winkel in dem realen Szenenaufbau berechnet, und dieses Winkelpaar ent­ spricht der Rotation, die erforderlich wäre, um den Boden des realen Szenenaufbaus mit den realen RX-, RY- und RZ- Achsen auszurichten. In dem virtuellen Szenenaufbau ent­ spricht das Rotationspaar der Rotation, die erforderlich wäre, um den virtuellen Boden mit den virtuellen Achsen VX, VY und VZ auszurichten. Somit ist durch Kombination dieser Paare von Winkeln, die den realen und virtuellen Rotationen entsprechen, die gesamte Rotation gegeben, die erforderlich ist, um den virtuellen Boden mit dem realen Boden auszurichten. Somit ist die gesamte Rotation AX um die X-Achse durch AVX minus ARX und die gesamte Rotation AZ um die Z-Achse durch AVZ minus ARZ gegeben.

Wenn in dem Schritt 1202 die Translationen TX, TY und TZ in jeder der drei Dimensionen und in dem Schritt 1203 die zwei Rotationen AX um die X-Achse und AZ um die Z-Achse berechnet wurden, ist es jetzt möglich, diese Werte zu bearbeiten, um die Anpaßmatrix zu erzeugen. Mit Bezug auf Fig. 13 wird die Anpaßmatrix durch die Verkettung einer Einheitsmatrix 1301 mit einer X-Rotationsmatrix 1302 und einer Z-Rotationsmatrix 1303 berechnet. Die letzte Spalte der Matrix wird dann durch die Translationswerte TX, TY, TZ und 1 ersetzt.

Die in Fig. 13 dargestellte X-Rotationsmatrix wird durch Berechnung des Kosinus und Sinus des X-Rotationswerts be­ stimmt, wonach wie bei 1302 dargestellt, geeignete Ein­ träge vorgenommen werden. Entsprechend wird die Z-Rotati­ onsmatrix aus dem Kosinus und Sinus des Z-Rotationswin­ kels bestimmt, wobei geeignete Ersetzungen wie in 1303 dargestellt durchgeführt werden. Mit Bezug auf Fig. 14 werden Matrixmanipulationen bei 1401 dargestellt, die zu einer bei 1402 dargestellten Anpaßmatrix führen.

Ein Beispiel einer durch das Verarbeitungssystem 201 als ASCII-Datei gespeicherten Anpaßmatrix ist in Fig. 15 veranschaulicht. Die Matrix ist als vier mal vier Array von Werten dargestellt, die bis zu einem geeigneten Ge­ nauigkeitsgrad gespeichert sind; in dem Beispiel ist je­ der Eintrag mit einer Genauigkeit von vier Dezimalstellen gespeichert.

Der in Fig. 6 veranschaulichte Szenenbaum ist durch eine in Fig. 16 veranschaulichte, von dem System 201 gespei­ cherte Datei dargestellt. Somit erlaubt es die virtuelle Graphikinformation, die in einer Datei des in Fig. 16 dargestellten Typs gespeichert ist, in Kombination mit ihrer assoziierten Anpaßmatrix, die in einer Datei des in Fig. 15 dargestellten Typs gespeichert ist, die virtu­ elle Umgebung und die reale Umgebung erfolgreich zu kom­ binieren. Die Anpaßmatrix in Fig. 15 liefert somit ef­ fektiv eine Brücke zwischen der unabhängig erzeugten vir­ tuellen Raumwelt und der realen Umgebung des Szenenauf­ baus. Ferner wird die in einer Datei des in Fig. 16 dar­ gestellten Typs gespeicherte virtuelle Graphikinformation nicht modifiziert und kann in Kombination mit anderen, in geeigneter Weise erzeugten Anpaßmatrizen in anderen unab­ hängigen Szenenaufbauten verwendet werden.

In der bevorzugten Ausführungsform wird ein Boden in der virtuellen Raumwelt an dem Boden des realen Szenenaufbaus angepaßt, so daß eine planare Koinzidenz zwischen den zwei Welten besteht. Diese Beziehung ist in Fig. 17 ver­ anschaulicht, in der der gesamte Szenenaufbau als teil­ weise oder zur Hälfte begrenzt betrachtet werden kann. Die X-, Y- und Z-Achsen 1701 stellen die Achsen des re­ alen Raumes dar, wogegen das Rechteck 1702 ein Objekt ist, das von der virtuellen Welt abgeleitet ist, die dem XZ-Boden des realen Raumes angepaßt ist. Somit definiert der virtuelle Boden eine Ebene, die koinzident mit einer in dem realen Szenenaufbau definierten Ebene ist. Modifi­ kationen können an der Anpassung durchgeführt werden, vorausgesetzt, daß die reale Ebene und die virtuelle Ebene koinzident bleiben. Somit kann die virtuelle Ebene um die Y-Achse rotiert werden oder sie kann sowohl in der X-, als auch der Z-Richtung skaliert werden, wie dies je­ weils durch Pfeile 1703 und 1704 angedeutet ist.

In alternativen Ausführungsformen können weitere Niveaus von Beschränkungen angewendet werden. In Fig. 18 wird die virtuelle Umgebung in einer ersten Ebene 1801 der re­ alen Umgebung angepaßt, entsprechend zu einer Ebene 1702 in Fig. 17. Zusätzlich wird die virtuelle Umgebung auch an eine zweite Ebene 1802 angepaßt. Die geometrische Be­ ziehung zwischen diesen zwei Ebenen ist nicht in sich selbst beschränkt, aber wenn die Beziehung in einer Umge­ bung, gebräuchlicherweise der realen Umgebung, beschränkt ist, ist es notwendig, daß die selbe Beschränkung in der virtuellen Umgebung angewendet wird. Wenn einmal auf die­ se Weise angepaßt wurde, ist der Umfang der Modifikation, die durchgeführt werden können, gegenüber den in der in Fig. 17 dargestellten Anordnung erlaubten Modifikations­ niveaus erheblich reduziert. In der in Fig. 18 darge­ stellten Anordnung sind die Ebenen sowohl in der Y- als auch der Z-Richtung eingeschränkt. Es ist jedoch möglich, Translationen und Skalierungen entlang des Schnittes der Ebenen 1801 und 1802 durchzuführen, wie durch Pfeile 1803 dargestellt.

Claims (24)

1. Ein Verfahren zum Erzeugen von Anpaßdaten für einen virtuellen Szenenaufbau, in dem die Anpaßdaten eine Transformation für Daten einer virtuellen Szene defi­ nieren, zum Erleichtern der Kombination der virtuel­ len Daten mit Bilddaten, die von einem realen Szenen­ aufbau abgeleitet sind, umfassend folgende Schritte:
Identifizieren einer Ebene in einem realen Szenenauf­ bau,
Assoziieren der realen Ebene mit einer Ebene, die in einer virtuellen Szene definiert ist, und
Bestimmen von Unterschieden in der Position zwischen der realen Ebene und der virtuellen Ebene, um Anpaß­ daten zu erzeugen.

2. Verfahren nach Anspruch 1, in dem Ebenen in dem re­ alen Szenenaufbau durch die Identifizierung der Posi­ tion einer Mehrzahl von komplanaren Punkten definiert werden.

3. Verfahren nach Anspruch 1, in dem eine Mehrzahl von Ebenen in dem realen Szenenaufbau identifiziert wird und jede der Ebenen mit einer entsprechenden Ebene in der virtuellen Szene assoziiert wird.

4. Verfahren nach Anspruch 1, in dem die Daten der vir­ tuellen Szene durch einen Szenenbaum definiert wer­ den, der eine Mehrzahl von Objekten mit Bezug auf einen Wurzelursprung verknüpft.

5. Verfahren nach Anspruch 1, in dem der Positionsbe­ stimmungsschritt das Entfernen von Skalierungseffek­ ten aus der virtuellen Ebene unter bezug auf einen Szenenbaum von Objekten umfaßt.

6. Verfahren nach Anspruch 1, in dem der Differenzbe­ stimmungsschritt das Bestimmen einer Beziehung zwi­ schen einer realen Ebene und einer entsprechenden virtuellen Ebene in Termen von Translationen und Ro­ tationen umfaßt.

7. Verfahren nach Anspruch 6, in dem die Rotationen und Translationen durch Matrizen definiert werden und eine Anpaßmatrix durch eine Verkettung der Rotations- und Translationsmatrizen erzeugt wird.

8. Verfahren zum Erzeugen von Anpaßdaten umfassend fol­ gende Schritte:
Identifizieren einer Ebene in einen realen Szenenauf­ bau mit Bezug auf einen ersten dreidimensionalen Ko­ ordinatenursprung,
Identifizieren einer Ebene in einem virtuellen Sze­ nenaufbau mit Bezug auf einen zweiten dreidimensiona­ len Koordinatenursprung,
Vergleichen eines Scheitelpunktes auf jeder der Ebe­ nen mit seinem jeweiligen Ursprung, um eine Transfor­ mation zu erhalten und
Kombinieren der Transformationen, um die Anpaßdaten zu erzeugen.

9. Verfahren nach Anspruch 8, in dem ferner die Anpaßda­ ten durch einen Operator modifiziert werden, so daß mehrere Sets an Anpaßdaten für eine einzige Kombina­ tion eines realen Szenenaufbaus mit einem virtuellen Szenenaufbau definiert werden können.

10. Verfahren nach Anspruch 8, in dem in dem realen und dem virtuellen Szenenaufbau eine Mehrzahl von Ebenen zur Kombination identifiziert wird.

11. Verfahren zum Erzeugen von Anpaßdaten für einen vir­ tuellen Szenenaufbau, umfassend folgende Schritte:
Identifizieren eines dreidimensionalen Anpaßobjektes in einem realen Szenenaufbau,
Identifizieren eines dreidimensionalen Modells des Anpaßobjektes in einem virtuellen Szenenaufbau und
Kombinieren der realen und virtuellen Positionen der Anpaßobjekte, um die Anpaßdaten zu erzeugen.

12. Verfahren zum Kombinieren von Daten einer virtuellen Szene mit Bildern von einem realen Szenenaufbau, um­ fassend folgende Schritte:
Erzeugen eines Bildes von einem realen Szenenaufbau,
Wiedergeben eines Bildes eines virtuellen Szenenauf­ baus von den Daten der virtuellen Szene in Kombina­ tion mit Anpaßdaten und
Kombinieren des realen Bildes mit dem wiedergegebenen Bild, wobei
die Registrierungsdaten durch einen Abbildungsprozeß eines Positionsattributes einer Ebene, die dem realen Szenenaufbau und dem virtuellen Szenenaufbau gemein­ sam ist, bestimmt werden.

13. Verfahren zum Herstellen von Bilddaten in einem vir­ tuellen Szenenaufbau, umfassend folgende Schritte:
Laden von Daten einer virtuellen Szene,
Erzeugen von Anpaßdaten und
Verwenden der Anpaßdaten zum Kombinieren realer und virtueller Bilder,
wobei der Schritt zum Erzeugen von Anpaßdaten umfaßt:
Identifizieren einer Ebene in dem realen Szenenauf­ bau,
Assoziieren der realen Ebene mit einer Ebene, die in einer virtuellen Szene definiert ist, und
Bestimmen von Unterschieden in der Position zwischen der realen Ebene und der virtuellen Ebene, um Anpaß­ daten zu erzeugen.

14. Virtueller Szenenaufbau zum Erzeugen von Bilddaten, in dem Daten einer virtuellen Szene mit von einem re­ alen Szenenaufbau abgeleiteten Bildern kombiniert werden, umfassend Mittel zum Erzeugen eines Bildes von dem realen Szenenaufbau,
Wiedergabemittel zum Wiedergeben eines Bildes eines virtuellen Szenenaufbaus von den Daten der virtuellen Szene in Kombination mit Anpaßdaten und
Kombinationsmittel zum Kombinieren des realen Bildes mit dem wiedergegebenen Bild, wobei die Anpaßdaten durch einen Prozeß der Abbildung eines Positionsat­ tributes einer Ebene, die dem realen Szenenaufbau und dem virtuellen Szenenaufbau gemeinsam ist, bestimmt werden.

15. Vorrichtung nach Anspruch 14, umfassend Mittel zum Identifizieren der Position einer Mehrzahl von kom­ planaren Punkten, um eine Ebene in dem realen Szenen­ aufbau zu definieren.

16. Vorrichtung nach Anspruch 14, umfassend Mittel zum Identifizieren einer Mehrzahl von Ebenen in dem re­ alen Szenenaufbau und Mittel zum Assoziieren jeder der Ebenen mit einer entsprechenden Ebene in der vir­ tuellen Szene.

17. Vorrichtung nach Anspruch 14, umfassend Mittel zum Definieren der Daten der virtuellen Szene durch einen Szenenbaum, wobei der Szenenbaum eine Mehrzahl von Objekten in bezug auf einen Wurzelursprung in Verbin­ dung setzt.

18. Vorrichtung nach Anspruch 14, umfassend Mittel zum Entfernen von Skalierungseffekten aus der virtuellen Ebene unter Bezug auf einen Szenenbaum von Objekten.

19. Vorrichtung nach Anspruch 14, umfassend Mittel zum Bestimmen einer Beziehung zwischen einer realen Ebene und einer entsprechenden virtuellen Ebene in Termen von Translationen und Rotationen.

20. Vorrichtung nach Anspruch 19, umfassend Mittel zum Definieren der Rotationen und Translationen in Form von Matrizen, einschließlich Mittel zum Erzeugen ei­ ner Anpaßmatrix durch Verkettung der Rotations- und Translationsmatrizen.

21. Computerlesbares Medium mit computerlesbaren Instruk­ tionen, die von einem Computer ausgeführt werden kön­ nen, um Anpaßdaten für einen virtuellen Szenenaufbau zu erzeugen, wobei die Anpaßdaten erforderlich sind, um das Ausrichten von Daten der virtuellen Szene mit Daten des realen Szenenaufbaus zu erleichtern, so daß der Computer folgende Schritte durchführt:
Lesen von Daten, die eine ausgewählte Bezugsebene in einem realen Szenenaufbau darstellen,
Identifizieren einer entsprechenden virtuellen Ebene von den Daten der virtuellen Szene und
Berechnen einer Anpaßmatrix, um die reale Bezugsebene auf die entsprechende virtuelle Ebene abzubilden.

22. Computerlesbares Medium mit computerausführbaren In­ struktionen zum Ausführen der Schritte gemäß Anspruch 21, wobei eine Translation zwischen Scheitelpunkten berechnet wird.

23. Computerlesbares Medium mit computerausführbaren In­ struktionen zum Ausführen der Schritte gemäß Anspruch 22, wobei Rotationen der virtuellen Ebene berechnet werden.

24. Computerlesbares Medium mit computerausführbaren In­ struktionen zum Ausführen der Schritte gemäß Anspruch 23, wobei die Anpaßdaten in Termen eines vier mal vier Arrays von Zeichen definiert werden.