DE102004045190A1

DE102004045190A1 - Tour recording and reproduction method for city tour or house inspection involves moving camera during part of recording process, in which viewer can move himself and select his line of sight freely

Info

Publication number: DE102004045190A1
Application number: DE200410045190
Authority: DE
Inventors: Andreas Hutter; Robert Dr. Kutka; Carlos Lucas Verdoy; Thomas Riegel
Original assignee: Siemens Corp
Current assignee: Siemens Corp
Priority date: 2004-09-17
Filing date: 2004-09-17
Publication date: 2005-12-15

Abstract

Die Erfindung betrifft ein Verfahren zur Aufnahme und Wiedergabe eines Rundgangs. Dabei wird der Rundgang mit einer Kamera aufgenommen. Hierbei wird die Kamera zumindest während einem Teil der Aufnahme geschwenkt. Weiterhin wird die Kamera zumindest während einem Teil der Aufnahme fortbewegt. Anschließend wird der Rundgang für einen Betrachter wiedergegeben, wobei der Betrachter durch den Rundgang navigieren und seine Blickrichtung wählen kann. Die Wiedergabe umfasst Kamerafahrten.The The invention relates to a method for recording and reproducing a Tour. The tour is taken with a camera. in this connection the camera will at least while pivoted a part of the recording. Furthermore, the camera will at least while a part of the recording moves. Subsequently, the tour for a Viewers play, taking the viewer through the tour navigate and choose his viewing direction. The playback includes Tracking shots.

Description

Die Erfindung betrifft ein Verfahren zur Aufnahme und Wiedergabe eines Rundgangs. Bei dem Rundgang kann es sich zum Beispiel um eine Stadtrundfahrt oder um eine Hausbesichtigung handeln. Der Rundgang zeigt also eine reale Szene, d. h. eine reale Umgebung, welche in der physischen Welt z. B. mit einer handelsüblichen Kamera aufgenommen wird. Zur Aufnahme kann ein mobiles Endgerät, zum Beispiel ein Videohandy, zum Einsatz kommen. Die Wiedergabe des Rundgangs kann beispielsweise auf dem Videohandy, einem handelsüblichen PC oder im Rahmen einer Virtual-Reality-Installation erfolgen.The The invention relates to a method for recording and reproducing a Tour. The tour can be, for example, a city tour or to do a house visit. So the tour shows a real scene, d. H. a real environment, which in the physical World z. B. with a commercial Camera is being recorded. For recording can be a mobile device, for example a video phone, are used. The playback of the tour For example, on the video phone, a commercial PC or as part of a virtual reality installation.

Ein bekanntes Produkt zur Wiedergabe von Rundgängen ist Quicklime VR [1] von Apple. Quicklime VR ermöglicht die Darstellung von dreidimensionalen Objekten in Außenansicht oder Panoramabildern in Innenansicht. Ein Panoramabild ist eine Abbildung, die den Betrachter perspektivisch umschließt. Im Vergleich zu aufwändiger virtueller Realität, bei der man tatsächlich den Eindruck erhält, Teil einer virtuellen Szene zu sein, bietet QuickTime VR nur eine gewöhnliche zweidimensionale Darstellung auf einem Bildschirm. Der Eindruck einer virtuellen Realität wird bei QuickTime VR dadurch erzeugt, dass der Betrachter eines Panoramabildes den sichtbaren Ausschnitt so verändern kann, als ob er sich in der gezeigten Szene drehen würde.One well-known product for the representation of round tours is Quicklime VR [1] of Apple. Quicklime VR allows the representation of three-dimensional objects in external view or panoramic pictures in interior view. A panorama picture is one Illustration that encloses the viewer in perspective. Compared too elaborate virtual reality, where you actually gets the impression Being part of a virtual scene, QuickTime VR is just an ordinary one two-dimensional representation on a screen. The impression a virtual reality in QuickTime VR, it creates the viewer of a panorama picture change the visible section so can, as if he would turn in the scene shown.

Die Panoramabilder, welche mit Hilfe von QuickTime VR angezeigt werden können, werden in der Regel aus Fotografien erzeugt, welche an einem bestimmten Punkt im Raum aufgenommen werden. Der Beobachtungsstandpunkt des Panoramabildes ist somit durch den festen Standpunkt der Kamera festgelegt. Der Betrachter des Panoramabildes kann sich nur drehen, nicht aber in der gezeigten Szene bewegen. Ein Bewegungseindruck kann nur durch ein Hineinzoomen in die Bilddarstellung, das heißt ein Vergrößern eines Ausschnitts des Panoramabildes, simuliert werden. Weiterhin können mit QuickTime VR unsichtbare Schaltflächen (Hot Spots) definiert werden. Durch Anwahl einer solchen Schaltfläche (zum Beispiel durch einen Mausklick) kann in ein anderes Panoramabild gesprungen werden. Auf diese Weise ist es dem Betrachter lediglich möglich, von einem Standpunkt zum nächsten zu springen. Die Wiedergabe ist daher eingeschränkt. Die Aufnahme und Aufbereitung eines Rundgangs zur Wiedergabe mittels QuickTime VR ist aufwändig, da sie erfordert, dass für jeden wiederzugebenden Standpunkt geeignete Fotografien für ein Panoramabild erzeugt werden.The Panoramic images displayed using QuickTime VR can, are usually generated from photographs that are at a particular Point to be included in the room. The observation point of the Panoramic image is thus determined by the fixed position of the camera. The viewer of the panorama picture can only turn, but not move in the scene shown. A movement impression can only by a Zooming in on the image, that is, zooming in on one Detail of the panoramic image, to be simulated. Furthermore, with QuickTime VR defines invisible buttons (hot spots) become. By selecting such a button (for example by a Mouse click) can be jumped into another panorama picture. On in this way, it is only possible for the viewer, from a standpoint to the next to jump. Playback is therefore limited. The recording and editing a tour of playing with QuickTime VR is time-consuming because she requires that for each viewpoint to be reproduced, suitable photographs for a panorama picture be generated.

Es stellt sich somit die Aufgabe, ein Verfahren zur Aufnahme und Wiedergabe eines Rundgangs bereitzustellen, welches gegenüber dem Stand der Technik eine vereinfachte Aufnahme und/oder eine erweiterte Wiedergabe erlaubt.It thus sets itself the task of a method for recording and playback to provide a tour, which over the prior art a simplified recording and / or extended playback allowed.

Diese Aufgabe wird durch den unabhängigen Verfahrensanspruch 1 gelöst. Bevorzugte Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.These Task is by the independent Method claim 1 solved. Preferred developments emerge from the dependent claims.

Bei dem Verfahren zur Aufnahme und Wiedergabe eines Rundgangs durch eine reale Szene wird der Rundgang mit einer Kamera aufgenommen. Dabei wird die Kamera zumindest während einem Teil der Aufnahme geschwenkt. Weiterhin wird die Kamera zumindest während einem Teil der Aufnahme fortbewegt. Anschließend wird der Rundgang für einen Betrachter wiedergegeben, wobei der Betrachter durch den Rundgang navigieren und seine Blickrichtung wählen kann. Die Wiedergabe umfasst Kamerafahrten.at the process of recording and playing back a tour a real scene, the tour is taken with a camera. there the camera will at least while pivoted a part of the recording. Furthermore, the camera will at least while a part of the recording moves. Subsequently, the tour for a Viewers play, taking the viewer through the tour navigate and choose his viewing direction. The playback includes Tracking shots.

Der Vorteil des erfindungsgemäßen Verfahrens liegt darin, dass eine echte Kamerafahrt, das heißt ein fließender Übergang der Bilddarstellung zwischen zwei Betrachter-Standpunkten mit perspektivischer Änderung, wiedergegeben werden kann. Weiterhin wird die Aufnahme des Rundgangs vereinfacht.Of the Advantage of the method according to the invention is that a real camera movement, that is, a smooth transition the image representation between two observer positions with perspective change, can be played. Furthermore, the recording of the tour is simplified.

Der Benutzer kann sich mit seiner Kamera auch im Raum fortbewegen.Of the User can also move in space with his camera.

Gemäß einer Ausführungsform wird die Kamera abwechselnd geschwenkt und fortbewegt.According to one embodiment The camera is alternately panned and moved.

Dies ermöglicht die intuitive Aufnahme eines Rundgangs durch abwechselnde Aufnahme von Kamerafahrten und Rundum-Schwenks.This allows the intuitive recording of a tour through alternating recording of camera shots and pan-pans.

In einer besonderen Ausführungsform kann die Kamera gleichzeitig geschwenkt und fortbewegt werden.In a particular embodiment The camera can be panned and moved at the same time.

Dies ermöglicht eine besonders freie und intuitive Aufnahme des Rundgangs, da sich der Benutzer bei der Aufnahme nun frei im Raum bewegen und drehen kann.This allows a particularly free and intuitive recording of the tour, since The user can now freely move and rotate in the room while recording can.

Gemäß einer Weiterbildung der Erfindung wird die Kamera im Rahmen der Aufnahme gemäß einer ersten Bewegungsfolge bewegt, welche Positions- und Blickrichtungsänderungen umfasst. Während der ersten Bewegungsfolge wird mindestens eine Videosequenz aufgenommen und gespeichert, welche aus Einzelbildern besteht. Für wenigstens einen Teil der Einzelbilder werden Position und/oder Ausrichtung der Kamera ermittelt. Der Betrachter wählt bei der Navigation durch den Rundgang seine Blickrichtung und/oder Position im Rundgang. Zur Wiedergabe des Rundgangs werden Einzelbilder oder Ausschnitte der mindestens einen Videosequenz gewählt, welche der jeweils aktuellen Position und/oder Blickrichtung des Betrachters am besten entsprechen. Aus den gewählten Einzelbildern oder Ausschnitten wird passend zur Navigation des Betrachters eine stehende oder bewegte Bilddarstellung erstellt und wiedergegeben.According to one embodiment of the invention, the camera is moved in the context of the recording in accordance with a first sequence of movements, which includes position and sight changes. During the first sequence of movements at least one video sequence is recorded and stored, which consists of individual images. For at least a portion of the frames, position and / or Orientation of the camera detected. The viewer chooses his direction of view and / or position during the tour through the tour. To reproduce the tour, individual images or sections of the at least one video sequence are selected which best correspond to the current position and / or viewing direction of the viewer. From the selected frames or excerpts, a stationary or moving image representation is created and reproduced in accordance with the navigation of the viewer.

Der Vorteil dieser Weiterbildung liegt darin, dass der Betrachter frei durch den Rundgang navigieren kann. So kann er sich durch den Rundgang fortbewegen und gleichzeitig seine Blickrichtung frei wählen. Insbesondere ermöglicht diese Wei terbildung das freie Schwenken der Blickrichtung während der Wiedergabe von Kamerafahrten.Of the The advantage of this development is that the viewer is free navigate through the tour. So he can move through the tour and at the same time freely choose his viewing direction. In particular, this allows Continuing the free swinging of the line of sight during the Playback of camera shots.

Gemäß einer bevorzugten Weiterbildung werden für die Erstellung der stehenden oder bewegten Bilddarstellung zusätzliche Einzelbilder erzeugt, indem zwischen geeigneten gespeicherten Einzelbildern interpoliert wird.According to one Preferred training will be for the creation of the standing or moving image display generates additional frames by is interpolated between suitable stored frames.

Der Vorteil dieser Weiterbildung liegt darin, dass das vorhandene Bildmaterial um Ansichten erweitert wird, für deren Position oder Blickrichtung kein Bildmaterial existiert. Auf diese Weise sind zusätzliche Ansichten oder fließendere Bildübergänge bei der Navigation des Betrachters möglich.Of the The advantage of this development is that the existing image material for views to be expanded, for whose position or viewing direction no image material exists. On this way are extra Views or more fluent Image transitions at the navigation of the viewer possible.

Gemäß einer Weiterbildung der Erfindung werden mehrere Videosequenzen gespeichert. Dies bietet den Vorteil, dass das Bildmaterial entsprechend der jeweiligen Kamera-Position oder -Ausrichtung neu organisiert und in geeigneten Videosequenzen abgelegt werden kann.According to one Further development of the invention, several video sequences are stored. This offers the advantage that the picture material corresponds to the reorganized and camera position or orientation can be stored in suitable video sequences.

Gemäß einer Ausführungsform der Erfindung erfolgt die Wiedergabe auf einem Bildschirm eines Personalcomputers. Hierbei navigiert der Betrachter über Eingabegeräte des Personalcomputers.According to one embodiment The invention is the playback on a screen of a Personal computer. Here, the viewer navigates via input devices of the personal computer.

Diese Ausführungsform ermöglicht die Betrachtung eines Rundgangs auf einem gängigen Personalcomputer.These embodiment allows the viewing of a tour on a common personal computer.

In einer bevorzugten Ausführungsform ist die Kamera die Kamera eines Videohandys. Da Videohandys eine hohe Mobilität des Benutzers erlauben, ist die Aufnahme eines Rundgangs mit einem Videohandy besonders wünschenswert.In a preferred embodiment the camera is the camera of a video cell phone. Because video phones one high mobility allow the user to take a tour of one Video mobile especially desirable.

Die Wiedergabe kann auf einem Bildschirm eines Videohandys erfolgen. Hierbei navigiert der Betrachter, indem er sich selbst oder das Videohandy bewegt oder andere Eingabemodalitäten des Videohandys nutzt.The Playback can be done on a screen of a video cell phone. Here, the viewer navigates by himself or the Video mobile moves or uses other input modalities of the video phone.

Gemäß einer Weiterbildung der Erfindung wird die Position oder Ausrichtung der Kamera aus der mindestens einen Videosequenz mit Hilfe von Videoanalysemethoden extrahiert.According to one Development of the invention, the position or orientation of Camera from the at least one video sequence using video analysis methods extracted.

Dies bietet den Vorteil, dass der Benutzer von der manuellen Eingabe entsprechender Informationen befreit wird. Weiterhin kann auf kostenintensive Systeme zur Positionsbestimmung (zum Beispiel GPS) verzichtet werden.This offers the advantage that the user of the manual input appropriate information is released. Furthermore, on costly Systems for determining position (for example GPS) are dispensed with.

Gemäß einer Ausführungsform der Erfindung wird die mindestens eine Videosequenz im .3GP-Dateiformat oder als SMIL-Skript gespeichert. Weiterhin erfolgt die Wiedergabe mit einem SMIL-Player oder einem 3GP-Player.According to one embodiment The invention provides the at least one video sequence in the .3GP file format or saved as a SMIL script. Furthermore, the playback takes place with a SMIL player or a 3GP player.

Diese Weiterbildung ermöglicht die Implementation der Aufnahme- und Wiedergabekette mit standardisierten, in der Regel auf mobilen Endgeräten verfügbaren Formaten. Dies führt zu einer erhöhten Interoperabilität und Kompatibilität und damit zu einer hohen Verbreitung der Technologie.These Continuing education possible the implementation of the recording and playback chain with standardized, usually on mobile devices available Formats. this leads to to an increased interoperability and compatibility and thus to a high prevalence of technology.

Gemäß einer Weiterbildung der Erfindung wird aus der mindestens einen Videosequenz mindestens ein Panoramabild erzeugt und wiedergegeben.According to one Development of the invention is made of at least one video sequence generates and plays back at least one panorama picture.

Der Vorteil dieser Weiterbildung liegt darin, dass das Panoramabild gegenüber der Videosequenz Platz sparend gespeichert und in Ruhe betrachtet werden kann.Of the Advantage of this development is that the panoramic picture across from Saves the video sequence space saving and considered in peace can be.

Gemäß einer anderen Weiterbildung wird aus der mindestens einen Videosequenz mindestens eine stereoskopische Ansicht erzeugt und wiedergegeben.According to one Another training will be from the at least one video sequence generated and reproduced at least one stereoscopic view.

Durch die stereoskopische Darstellung wird der perspektivische Eindruck der Bilddarstellung weiter verbessert.By the stereoscopic view becomes the perspective impression the image display further improved.

Gemäß einer Ausführungsform der Erfindung können zur Wiedergabe des Rundgangs erforderliche Informationen als MMS verschickt oder auf einem Server zum Herunterladen bereitgestellt werden.According to one embodiment of the invention information required to display the tour as MMS sent or made available on a server for download become.

Diese Ausführungsform erweist sich gerade bei Videohandys als vorteilhaft, da diese Geräte vorzugsweise zur Kommunikation verwendet werden.These embodiment proves to be particularly advantageous for video phones as these devices preferably used for communication.

Gemäß einer Ausführungsform der Erfindung wird ein Videohandy verwendet, um das erfindungsgemäße Verfahren auszuführen.According to one embodiment According to the invention, a video mobile phone is used to implement the method according to the invention perform.

Aufgrund ihrer hohen Verbreitung und der Ausstattung mit einer Kamera ist ein Videohandy für das erfindungsgemäße Verfahren besonders geeignet.Due to their high distribution and the equipment with a camera, a video cell phone is particularly suitable for the method according to the invention net.

Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert, die in den Figuren schematisch dargestellt sind. Gleiche Bezugsziffern in den einzelnen Figuren bezeichnen dabei gleiche Elemente. Im einzelnen zeigt:in the The invention will be explained in more detail below with reference to exemplary embodiments which are shown schematically in the figures. Same reference numbers in the individual figures designate the same elements. In detail shows:

1 eine diskrete Bewegungsfolge einer Kamera und eine ihr zugeordnete Videosequenz, 1 a discrete sequence of movements of a camera and a video sequence associated with it,

2 eine Aufbereitung der Bildinformationen, welche durch eine diskrete Bewegungsfolge gewonnen werden, zur späteren Wiedergabe, 2 a processing of the image information, which are obtained by a discrete sequence of movements, for later reproduction,

3 die Aufbereitung einer diskreten bzw. einer kontinuierlichen Bewegungsfolge zur späteren Wiedergabe durch Reorganisation der Bildinformationen. 3 the preparation of a discrete or a continuous motion sequence for later reproduction by reorganization of the image information.

1 zeigt eine diskrete Bewegungsfolge 1, welche die Bewegungen einer Kamera darstellt. Die Bewegungsfolge 1 ist unterteilt in Kameraschwenks 10 und Kamerafahrten 20. Anschaulich bedeutet dies, dass ein Benutzer die Kamera zunächst von einem festen Standpunkt aus schwenkt. 1 shows a discrete sequence of movements 1 representing the movements of a camera. The sequence of movements 1 is divided into pans 10 and camera shots 20 , Illustratively, this means that a user first pans the camera from a fixed position.

Ein solcher Kameraschwenk 10 kann zum Beispiel 180° oder 360° betragen. Dies Gradzahlen stellen jedoch nur ein Beispiel dar und müssen vom Benutzer nicht eingehalten werden.Such a camera pan 10 can be for example 180 ° or 360 °. However, these degrees are only an example and need not be followed by the user.

Nach jedem Kameraschwenk 10 wird die Kamera durch den Benutzer fortbewegt, wodurch eine Kamerafahrt 20 stattfindet. Gemäß dem in 1 gezeigten Ausführungsbeispiel mit der diskreten Bewegungsfolge 1 der Kamera wechseln sich Kameraschwenks 10 und Kamerafahrten 20 ab. Im Rahmen jeder Kamerafahrt 20 kann sich der Benutzer mit der Kamera fortbewegen.After every camera panning 10 the camera is moved by the user, allowing a camera movement 20 takes place. According to the in 1 shown embodiment with the discrete sequence of movements 1 camera pans alternate 10 and camera shots 20 from. As part of every camera movement 20 the user can move with the camera.

Ebenfalls in 1 gezeigt ist eine Videosequenz 3, welche durch die der diskreten Bewegungsfolge 1 unterzogene Kamera aufgenommen wird. Die Videosequenz 3 ist ebenfalls in Teilabschnitte unterteilt. Bei den Teilabschnitten handelt es sich um Schwenksequenzen 11, welche durch die Kameraschwenks 10 aufgenommen werden, sowie um Kamerafahrt-Sequenzen 21, welche durch die Kamerafahrten 20 aufgenommen werden.Also in 1 shown is a video sequence 3 , which by the discrete motion sequence 1 subjected camera is recorded. The video sequence 3 is also divided into subsections. The sections are panning sequences 11 , which through the camera pans 10 be recorded, as well as camera tracking sequences 21 , which by the camera movements 20 be recorded.

Die Kamera kann zum Beispiel Teil eines mobilen Endgerätes sein (zum Beispiel ein Videohandy). Weiterhin kann zur Aufnahme des Rundgangs auf dem mobilen Endgerät eine Anwendung gestartet werden. Der Benutzer gibt zum Beispiel durch Drücken einer Pause-Taste an, wann er einen Kameraschwenk 10 oder eine Kamerafahrt 20 beendet hat. Hierdurch werden die Grenzen zwischen den Schwenksequenzen 11 und Kamerafahrt-Sequenzen 21 in der Videosequenz 3 bestimmt. Eine solche Bestimmung der Grenzen zwischen Schwenksequenzen 11 und Kamerafahrt-Sequenzen 21 kann jedoch auch auf Grundlage von Videoanalysemethoden aus der aufgenommenen Videosequenz 3 extrahiert werden, zum Beispiel durch globale Bewegungsschätzung. Nach Ermittlung der Grenzen der Teilabschnitte der Videosequenz 3 wird auch deren Länge 8 bestimmt.The camera may for example be part of a mobile terminal (for example a video phone). Furthermore, an application can be started to record the tour on the mobile device. The user indicates, for example, by pressing a pause button when he pans a camera 10 or a tracking shot 20 has finished. This will change the boundaries between the panning sequences 11 and tracking sequences 21 in the video sequence 3 certainly. Such a determination of the boundaries between panning sequences 11 and tracking sequences 21 However, it can also be based on video analysis methods from the recorded video sequence 3 extracted, for example, by global motion estimation. After determining the boundaries of the subsections of the video sequence 3 is also their length 8th certainly.

2 zeigt die Aufbereitung der Bildinformationen für die spätere Wiedergabe des Rundgangs. Abgebildet ist zunächst wieder ein Rundgang mit einer diskreten Bewegungsfolge 1. Aus diesem wird in beschriebener Weise eine Videosequenz 3 mit Schwenksequenzen 11 und Kamerafahrtsequenzen 21 generiert. Weiterhin wird für jede Schwenksequenz 11 und jede Kamerafahrt-Sequenz 21 ein SMIL-Skript angelegt, welches in einer oder mehreren SMIL-Dateien 4 gespeichert wird. 2 shows the preparation of the image information for later playback of the tour. At first, a tour with a discrete sequence of movements is depicted 1 , For this, a video sequence is described in the manner 3 with panning sequences 11 and tracking shots 21 generated. Furthermore, for each pan sequence 11 and every tracking sequence 21 created a SMIL script, which in one or more SMIL files 4 is stored.

Zur späteren Wiedergabe wird der Rundgang gemäß einer Ausführungsform in einer Kombination aus SMIL-Skripten und 3GP-Dateien gespeichert. Hierbei wird die Videosequenz 3 zum Beispiel mit einer Aufnahme-Funktion eines Videohandys aufgenommen und in eine .3GP-Datei gespeichert. Falls Ton aufgenommen wird, kann dieser als zusätzliche Spur in der .3GP-Datei mit abgespeichert werden. Weiterhin werden für einige oder alle Einzelbilder Zeitstempel generiert und mit der .3GP-Datei abgespeichert. In der .3GP-Datei werden jeweils eigene Spuren für die Videosequenz 3, eine Audiosequenz und die SMIL-Skripte angelegt. Zu den Video- und Audiosequenzen können Zusatzinformationen, zum Beispiel Zeitstempel, gespeichert werden. Über die Zeitstempel ist es später möglich, bestimmte Abschnitte der Videosequenz 3 gezielt auszugeben. Dies ist gewünscht, um die Schwenksequenzen 11 und die Kamerafahrt-Sequenzen 21 gezielt ausgeben zu können.For later playback, the tour is stored in a combination of SMIL scripts and 3GP files, according to one embodiment. This is the video sequence 3 for example, recorded with a recording function of a video phone and stored in a .3GP file. If sound is recorded, it can be saved as an additional track in the .3GP file. Furthermore, time stamps are generated for some or all single images and saved with the .3GP file. Each of the .3GP files has its own tracks for the video sequence 3 , an audio sequence and the SMIL scripts created. Additional information, such as time stamps, can be stored for the video and audio sequences. Using the timestamps, it is possible later to use certain sections of the video sequence 3 to spend selectively. This is desired to the panning sequences 11 and the tracking sequences 21 to spend targeted.

In 2 ist der Aufbau einer .3GP-Datei 5 gezeigt. Sie setzt sich zusammen aus einer Spur 51 für die SMIL-Skripte sowie aus einer Spure 52 für die Videosequenz 3, welche mit Zeitstempeln oder auch der Länge 8 der einzelnen Schwenksequenzen 11 bzw. Kamerafahrt-Sequenzen 21 angereichert sein kann.In 2 is the structure of a .3GP file 5 shown. It is composed of one track 51 for the SMIL scripts as well as from a track 52 for the video sequence 3 , which with time stamps or also the length 8th the individual pan sequences 11 or tracking sequences 21 can be enriched.

Die Formate SMIL und .3GP können auf unterschiedliche Weise miteinander gekoppelt werden. In einer ersten Variante wird die Wiedergabe des Rundgangs über einen 3GP-Player gesteuert. In einer zweiten Variante wird die Wiedergabe des Rundgangs über einen SMIL-Player gesteuert. Je nach Funktionalität und verfügbaren Schnittstellen der auf der Zielplattform vorhan denen Player ist einer der beiden Varianten der Vorzug zu geben.The formats SMIL and .3GP can be coupled together in different ways. In a first variant, the tour is controlled via a 3GP player. In a second variant, the tour is controlled via a SMIL player. Depending on the functionality and interfaces available on the target platform, the player is one of the to give preference to both variants.

Gemäß einer Ausführungsform werden mehrere SMIL-Skripte angelegt. Das Start-Skript stellt den Startpunkt der Navigation dar. Über aktive Flächen (unsichtbare Schaltflächen, Hot Spots) kann die aktuelle Schwenksequenz 11 oder auch die nächste Kamerafahrt-Sequenz 21 angewählt und wiedergegeben werden. Für jeden weiteren Standpunkt wird ein SMIL-Skript mit analogem Aufbau erzeugt.In one embodiment, multiple SMIL scripts are created. The start script represents the starting point of the navigation. Active areas (invisible buttons, hot spots) can be used to select the current pan sequence 11 or the next tracking sequence 21 be selected and played back. For each further point of view, a SMIL script with analog structure is created.

Gemäß einer Weiterbildung der Erfindung wird aus jeder Schwenksequenz 11 jeweils ein Panoramabild generiert und in die .3GP-Datei 5 als zusätzliche Spur eingefügt. In den SMIL-Skripts wird dieses Panoramabild dann als optionale Alternative zur jeweiligen Schwenksequenz 11 angeboten. Aus den Schwenksequenzen 11 bzw. den Kamerafahrt-Sequenzen 21 lassen sich weiterhin stereoskopische Bilder berechnen. Diese können in gleicher Weise in die Wiedergabe des Rundgangs eingebunden werden. Die Generierung von stereoskopischen Ansichten aus Videosequenzen ist aus der Schrift [2] bekannt.According to one embodiment of the invention is made from each swivel sequence 11 each generated a panoramic image and in the .3GP file 5 inserted as additional track. In the SMIL scripts, this panorama image then becomes an optional alternative to the respective pan sequence 11 offered. From the panning sequences 11 or the tracking sequence 21 continue to calculate stereoscopic images. These can be integrated in the same way in the playback of the tour. The generation of stereoscopic views from video sequences is known from the publication [2].

Wenn die Wiedergabe mit einem SMIL-Player erfolgt, löst ein Überfahren der unsichtbaren Schaltflächen (Hot Spots) mit einem Zeigeinstrument (Mauszeiger oder Cursor) die Überlagerung einer halbtransparenten Grafik über die Bilddarstellung aus, welche anzeigt, welche Aktion bei ihrer Anwahl ausgeführt würde (z. B. Kamerafahrt, Kameraschwenk, Panorama-Bild ...). Zusätzlich kann die Möglichkeit gegeben sein, vorübergehend alle Aktionsmöglichkeiten bzw. unsichtbaren Schaltflächen anzuzeigen. Weiterhin kann an einer vorgegebenen Stelle auf dem Bildschirm die aktuelle Position auf dem Rundgang z. b. als Nummer eingeblendet sein. Hierzu wird die entsprechende Nummer bereits bei der Vorverarbeitung erzeugt und der entsprechenden Schwenksequenz 11 zugeordnet. In einer erweiterten Ausführungsform der Erfindung gibt der Benutzer über einen einfachen Editor während oder nach der Aufnahme einen Namen für die Standorte ein ("Marktplatz", "Wohnzimmer", ...).When playing back with a SMIL player, overriding the invisible buttons (hot spots) with a pointing device (mouse pointer or cursor) triggers the overlaying of a semi-transparent graphic over the image, indicating what action would be taken when selected B. Camera movement, panning, panorama picture ...). In addition, the possibility can be given to temporarily display all action options or invisible buttons. Furthermore, at a predetermined location on the screen, the current position on the tour, for example, be displayed as a number. For this purpose, the corresponding number is already generated during preprocessing and the corresponding swivel sequence 11 assigned. In an extended embodiment of the invention, the user enters a name for the locations via a simple editor during or after the capture ("marketplace", "living room", ...).

3 zeigt eine besondere Ausführungsform der Erfindung. Gezeigt ist die bei 1 und 2 beschriebene diskrete Bewegungsfolge 1 sowie eine kontinuierliche Bewegungsfolge 2. Bei der kontinuierlichen Bewegungsfolge 2 wird die Kamera fortbewegt und gleichzeitig geschwenkt. Hierbei wird die Position und die Ausrichtung der Kamera ermittelt. Dies kann z. B. durch kontinuierliches Verfolgen der Kamerabewegung oder durch aktive Eingaben des Benutzers erfolgen. So können aus dem Kamerabild mit Hilfe von Video-Analyse-Methoden Änderungen der Ausrichtungen und Position der Kamera extrahiert werden. Die aktuelle Position und Ausrichtung der Kamera kann aber auch durch den Benutzer manuell eingegeben werden. 3 shows a particular embodiment of the invention. Shown is the at 1 and 2 described discrete sequence of movements 1 as well as a continuous motion sequence 2 , In the continuous motion sequence 2 The camera is moved and panned at the same time. This determines the position and orientation of the camera. This can be z. B. by continuously tracking the camera movement or by active inputs of the user. This allows the camera image to be used to extract changes in camera orientation and position using video analysis methods. The current position and orientation of the camera can also be entered manually by the user.

Auf Grundlage der Informationen über Position und Ausrichtung der Kamera können aufgenommene Einzelbilder oder Sequenzen in ihrer Abfolge variiert und getrennt gespeichert werden. Dies gilt sowohl für die diskrete Bewegungsfolge 1 als auch für die kontinuierliche Bewegungsfolge 2. 3 zeigt die Extraktion 6 von Videosequenzen 31 bis 37 aus einer diskreten Bewegungsfolge 1 oder einer kontinuierlichen Bewegungsfolge 2. So wird aus allen Einzelbildern oder Teilsequenzen, welche mit einer Kameraausrichtung nach links aufgenommen werden, eine Videosequenz 31 zusammengestellt und gespeichert. Gleichermaßen wird aus allen Einzelbildern oder Sequenzen, bei denen die Kamera nach vorne ausgerichtet ist, eine Videosequenz 34 zusammengestellt und gespeichert. Die durch die Kamera aufgenommenen Einzelbilder werden also nach Blickrichtung und Aufnahmeposition sortiert und in Videosequenzen 30, welche jeweils einer Blickrichtung zugeordnet sind, gespeichert. Die Videosequenzen 30 können als Medien-Objekt-Elemente vom Typ Video in SMIL abgelegt werden. Die einzelnen Videosequenzen 31 bis 37 können in SMIL als Unter-Sequenzen mit den Schlüsselworten "Clipbegin" und "Clipend" abgelegt werden.Based on information about the position and orientation of the camera, captured frames or sequences may be varied in sequence and stored separately. This applies both to the discrete sequence of movements 1 as well as for the continuous movement sequence 2 , 3 shows the extraction 6 of video sequences 31 to 37 from a discrete sequence of movements 1 or a continuous motion sequence 2 , Thus, from all frames or sub-sequences, which are recorded with a camera orientation to the left, a video sequence 31 compiled and saved. Likewise, all frames or sequences with the camera facing forward become a video sequence 34 compiled and saved. The captured by the camera frames are thus sorted by viewing direction and recording position and in video sequences 30 , which are each associated with a viewing direction stored. The video sequences 30 can be dropped as media object elements of type Video in SMIL. The individual video sequences 31 to 37 can be placed in SMIL as subsequences with the keywords "Clipbegin" and "Clipend".

3 zeigt eine virtuelle Fahrt 7, welche aus der Navigation eines Betrachters durch den Rundgang entsteht. Hierbei kann der Betrachter seine Blickrichtung frei wählen und jederzeit ändern. Bei dem in 3 gezeigten Beispiel mit der virtuellen Fahrt 7 blickt der Betrachter zunächst nach links vorne. Er befindet sich noch am Anfang des Rundgangs (in 3 ganz unten). Entsprechend seiner Blickrichtung wird ihm ein Einzelbild gezeigt, welches am Anfang der diskreten Bewegungsfolge 1 oder der kontinuierlichen Bewegungsfolge 2 aufgenommen wurde und mit seiner Blickrichtung übereinstimmt. Der Betrachter kann nun den Rundgang beginnen, indem er einen entsprechenden Befehl oder eine entsprechende Schaltfläche anwählt. Der Rundgang kann aber auch vollautomatisch ablaufen. Entsprechend der Blickrichtung des Betrachters wird ihm zunächst ein Einzelbild oder ein Teil der Untersequenz 33 gezeigt. Während er sich im Rundgang fortbewegt, dreht der Betrachter seinen Blick weiter nach links, z. B. durch Anwahl einer entsprechenden Schaltfläche. Entsprechend der neuen Blickrichtung wird ihm nun ein Einzelbild oder ein Teil der Untersequenz 32 gezeigt. Anschließend ändert der Betrachter seine Blickrichtung zurück in Richtung Mitte. Dementsprechend werden ihm Einzelbilder der Untersequenzen 33 und 34 gezeigt. Im weiteren Verlauf lässt der Betrachter seinen Blick nach rechts schweifen. Dementsprechend werden ihm nun Einzelbilder oder Teilsequenzen der Untersequenzen 35 bis 37 gezeigt. Anschließend dreht er den Blick zurück nach links, wodurch ihm Teilsequenzen bzw. Einzelbilder der Untersequenzen 31 bis 36 gezeigt werden. Während dessen schreitet der Betrachter im Rundgang immer weiter voran oder dreht sich stehend. 3 shows a virtual ride 7 , which arises from the navigation of a viewer through the tour. Here, the viewer can freely choose his viewing direction and change it at any time. At the in 3 shown example with the virtual ride 7 the viewer looks first to the left front. He is still at the beginning of the tour (in 3 at the bottom). According to his perspective, he is shown a single image, which at the beginning of the discrete sequence of movements 1 or the continuous motion sequence 2 was recorded and coincides with his line of vision. The viewer can now begin the tour by selecting a corresponding command or a corresponding button. The tour can also run fully automatic. According to the viewing direction of the viewer, he is first a single image or a part of the subsequence 33 shown. As he moves around in the tour, the viewer turns his gaze further to the left, z. B. by selecting a corresponding button. According to the new perspective, he is now a single frame or part of the subsequence 32 shown. Then the viewer changes his line of sight back towards the middle. Accordingly, he is given individual images of the subsequences 33 and 34 shown. In the further course, the viewer lets his gaze wander to the right. Accordingly, he is now single images or subsequences of the subsequences 35 to 37 shown. He then turns his gaze back to the left, giving him partial sequences or frames of the subsequences 31 to 36 to be shown. During this the viewer progresses on the tour or turns standing.

Anschaulich wird zu jeder gewählten Blickrichtungs- und Positionskombination des Betrachters im virtuellen Raum des Rundgangs ein entsprechendes Standbild bzw. ein entsprechender Ausschnitt einer Untersequenz 31 bis 37 gewählt. Indem die Wiedergabe durch die verschiedenen Untersequenzen springt, wird der Rundgang entsprechend dem Blickrichtungswunsch des Betrachters dargestellt. Zur Verbesserung des visuellen Eindrucks kann in einer besonderen Ausführungsform zwischen den Übergängen der Untersequenzen interpoliert werden, wobei eine bewegungskompensierte Interpolation unter Berücksichtigung der räumlichen Bewegung zur Generierung einer ruckfreien, fließenden Szene führt.Illustratively, a corresponding still image or a corresponding section of a subsequence is added to each selected viewing direction and position combination of the viewer in the virtual space of the tour 31 to 37 selected. As the playback jumps through the various subsequences, the tour is displayed according to the viewing direction of the viewer. In order to improve the visual impression, in a particular embodiment interpolation between the transitions of the subsequences may be performed, with motion compensated interpolation taking account of the spatial motion leading to the generation of a jerk-free, flowing scene.

In 3 ist nur der Fall gezeigt, dass die Bewegung des Betrachters auf Vorwärtsbewegung und Stillstand beschränkt ist. Weiterhin wird davon ausgegangen, dass nur ein Blickwinkel von 180° nach vorne möglich ist.In 3 only the case is shown that the movement of the observer is limited to forward movement and standstill. Furthermore, it is assumed that only a viewing angle of 180 ° forward is possible.

In einer anderen Ausführungsform sind jedoch sowohl eine Fahrt als auch eine Blickrichtung in Rückrichtung möglich.In another embodiment However, both are a ride as well as a viewing direction in the return direction possible.

Zur Navigation kann dem Betrachter ermöglicht werden, über eine Schaltfläche "vor" den Standpunkt zu verändern und eine Kamerafahrt anzuzeigen. Dies führt technisch zum Aufruf eines neuen SMIL-Skripts bzw. eines neuen Unter-Skripts. Gleichermaßen kann dem Betrachter ermöglicht werden, über eine Schaltfläche "zurück" einen früheren Standpunkt einzunehmen, wobei technisch das vorherige SMIL-Skript bzw. das Unterskript aufgerufen wird. Weiterhin kann dem Betrachter ermöglicht werden, über eine Schaltfläche "Schwenk" eine Schwenksequenz für den aktuellen Standpunkt anzuzeigen. Schließlich kann über Anwahl von Schaltflächen "links" und "rechts" in Ansichten eines Panorama-Bildes des aktuellen Standpunkts geblättert werden. Über den Befehl "vor" kann der Betrachter den Rundgang nachverfolgen.to Navigation can be enabled to the viewer via a "Before" the viewpoint change and display a tracking shot. This leads technically to the call of a new SMIL scripts or a new sub-script. Likewise allows the viewer be over a "back" button an earlier point of view technically the previous SMIL script or the Sub script is called. Furthermore, the viewer can be enabled via a Button "pan" a pan sequence for the view current position. Finally, by selecting "left" and "right" buttons in views of one Panoramic image of the current position can be browsed. On the Command "before" the viewer can Track the tour.

Anstelle der Navigation über Schaltflächen, Tastatureingaben o. ä. kann die Navigation auch anders erfolgen. Wird der Rundgang auf einem mobilen Endgerät wiedergegeben, so kann sich der Betrachter mit dem mobilen Endgerät im Raum bewegen, um den Rundgang nachzuverfolgen. Hierbei werden die Bewegungen des mobilen Endgeräts ermittelt (z. B. aus dem Kamerabild oder über ein Gyroskop) und in Navigations-Interaktionen des Betrachters zur Darstellung des Rundgangs übersetzt. So kann sich der Betrachter auf dem Rundgang fortbewegen, indem er mit dem mobilen Endgerät nach vorne geht. Unterschiedliche Blickrichtungen sind anwählbar, indem der Benutzer das mobile Endgerät in unterschiedliche Richtungen hält.Instead of the navigation over Buttons, keystrokes o. Ä. Can the navigation also done differently. Will the tour on one mobile terminal reproduced, so the viewer can with the mobile device in the room move around to follow the tour. Here are the movements of the mobile terminal determined (eg from the camera image or via a gyroscope) and in navigation interactions Translated by the observer to illustrate the tour. That way the viewer can Move on the tour by moving it forward with the mobile device goes. Different view directions are selectable by the user mobile terminal keeps in different directions.

Der Rundgang kann in beschriebener Weise in SMIL und 3GP-Dateien gespeichert werden. Diese können auf einem Server zum interaktiven Abruf bereit gestellt werden. Weiterhin können die Dateien auch als MMS verschickt werden.Of the Tour can be saved as described in SMIL and 3GP files become. these can be provided on a server for interactive retrieval. Furthermore you can the files are also sent as MMS.

Falls zur Darstellung des Rundgangs stereoskopische Bilder berechnet werden, so können diese auf stereoskopischen Endgeräten (z. B. Bildschirme mit Linsenraster, Stereobrille, etc.) dargestellt werden.If to compute the tour of stereoscopic images, so can these on stereoscopic end devices (eg screens with Lenticular, stereo glasses, etc.).

Weiterhin ist es möglich, dass der Rundgang Verzweigungen enthält. Wenn sich der Rundgang gabelt, so kann dem Betrachter z. B. über eine zusätzliche Schaltfläche die Möglichkeit gegeben werden, sich zwischen den zwei Wegen zu entscheiden.Farther Is it possible, that the tour includes branches. When the tour forks, so the viewer z. B. via an additional button the possibility be given to decide between the two ways.

Die in 3 gezeigten Untersequenzen 31 bis 37 können einen linearen oder einen nicht-linearen Zeitverlauf aufweisen. Ein Fortschreiten der Zeit bedeutet hierbei ein Fortschreiten auf dem Rundgang. Im nicht-linearen Fall liegen für eine bestimmte Blickrichtung zu einem bestimmten Teil des Rundgangs proportional mehr Einzelbilder vor als zu einem anderen Teil. Dies kann z. B. darin begründet sein, dass der Benutzer den Rundgang mit unterschiedlichen Geschwindigkeiten aufgenommen hat. Entsprechende zeitliche oder räumliche Differenzen werden mit den Einzelbildern codiert, um ein flüssiges Abspielen gewährleisten zu können. Weiterhin können zusätzliche Einzelbilder eingefügt werden, um einen linearen Zeitverlauf für die Untersequenzen 30 herzustellen. Schließlich kann auch zwischen Einzelbildern interpoliert werden, falls keine Bildinformation vorliegt. Wenn zu viele Einzelbilder mit der richtigen Blickrichtung vorliegen, z. B., weil sich der Be nutzer so schnell bewegt, dass nicht alle Bildinformationen angezeigt werden können, so werden nicht benötigte Einzelbilder verworfen. Die Zeitinformation kann über einen Zeitstempel mit den Einzelbildern codiert werden.In the 3 shown subsequences 31 to 37 may have a linear or a non-linear time course. A progression of time means a progression on the tour. In the non-linear case, there are proportionally more individual images for a given line of sight for a particular part of the tour than for another part. This can be z. B. may be due to the fact that the user has taken the tour at different speeds. Corresponding temporal or spatial differences are coded with the individual images in order to ensure smooth playback. Furthermore, additional frames may be inserted to provide a linear time history for the subsequences 30 manufacture. Finally, it is also possible to interpolate between individual images if there is no image information. If there are too many frames with the correct viewing direction, eg. For example, because the user moves so fast that not all image information can be displayed, unneeded frames are discarded. The time information can be coded via a time stamp with the individual images.

Zitierte Literatur:Quoted literature:

[1] S.E. Chen (1995), "QuickTime VR - An Image-Based Approach to Virtual Environment Navigation ", in proc. SIGGRAPH 95, pages 29-38.
[2] S. Peleg and M. Ben-Ezra (1999), "Stereo panorama with a single camera" in Proc. computer Vision and Pattern Recognition Conf., CVPR 1999, pages 1395-1401

Claims

Method for recording and playing back a tour of a real scene, In which the tour is taken with a camera, wherein the camera is pivoted at least during a part of the recording, in which the camera is moved at least during a part of the recording, in which the tour is reproduced for a viewer, wherein the Navigate viewers through the tour and can choose his viewing direction, - in which the playback camera shots includes.

The method of claim 1, wherein the camera is alternating is panned and moved.

The method of claim 1, wherein the camera is simultaneously is panned and moved.

Method according to one of the preceding claims, - in which the camera as part of the recording according to a first movement sequence is moved, which position and gaze direction changes includes, - at during that recorded at least one video sequence of the first movement sequence and stored, which consists of individual images, - in which for at least a portion of the frames position and / or orientation of the camera is determined - at the viewers navigate through the tour and / or position in the tour, - in which to play the tour frames or excerpts of at least chose a video sequence which of the current position and / or line of sight best match the observer, - in the case of the selected frames or cutouts to match the viewer's navigation a standing or moving image representation is created and reproduced.

Method according to claim 4, wherein for the creation the still or moving image representation generates additional frames be interpolated by taking appropriate stored frames becomes.

The method of claim 4, wherein a plurality of video sequences get saved.

Method according to claim 1, - in which the playback on a screen of a personal computer, - in which the viewer over input devices navigated the personal computer.

The method of claim 1, wherein the camera is the Camera of a video cell phone is.

Method according to claim 1, - in which the playback on a screen of a video cell phone, - in which The viewer navigates by himself or the video phone moves or uses other input modalities of the video phone.

Method according to claim 4, wherein the position or alignment of the camera from the at least one video sequence with the help of video analysis methods is extracted.

Method according to claim 4, - where the at least one Video sequence in .3GP file format or saved as a SMIL script, - in which the playback with a SMIL player or a 3GP player.

The method of claim 4, wherein at least a video sequence generates at least one panoramic image and in the frame the tour is played.

The method of claim 1, wherein at least generates a video sequence at least one stereoscopic view and will be reproduced during the tour.

Method according to claim 1, in which for reproduction The tour required information will be sent as MMS or be made available on a server for download.

Video phone set up for a procedure according to one of the claims 1 to 6 and 8 to 14, respectively.