-
Die Erfindung betrifft ein System
und ein Verfahren zum Bewegen eines Objekts.
-
Es ist bekannt, zum Bewegen eines
Objekts, wie z.B. eines Modellfahrzeugs, das Fahrzeug mit einer
Kamera auszustatten, die aus dem Fahrzeug heraus die Umgebung in
Bewegungsrichtung des Fahrzeugs aufnimmt, und das Fahrzeug anhand
des zu einem Fernsehgerät übertragenen
Kamerabildes zu steuern.
-
Solche Systeme bilden aber keine
komplette Simulation eines realen Fahr-/Flugerlebnisses, da der
Betrachter nicht nur das Fernsehbild wahrnimmt, sondern auch noch
die Bereiche neben dem Fernseher. Er befindet sich somit nicht in
einer für
ihn abgeschlossenen visuellen Umgebung, die ihm das Fahr-/Flugerlebnis
möglichst
authentisch vermittelt.
-
Ausgehend hiervon ist es Aufgabe
der Erfindung, ein System zum Bewegen eines Objekts vorzusehen,
mit dem dem Benutzer möglichst
realitätsnah der
visuelle Eindruck vermittelt wird, daß er sich zusammen mit dem
Objekt bewegt, obwohl dies nicht der Fall ist. Ferner soll noch
ein entsprechendes Verfahren zum Bewegen eines Objektes bereitgestellt werden.
-
Die erfindungsgemäße Ausgabe wird durch ein System
zum Bewegen eines Objektes gelöst,
das eine am Objekt befestigte Bildaufnahmeeinrichtung zur Aufnahme
der Objektumgebung in Bewegungsrichtung des Objekts, eine Erfassungseinheit
zum Erfassen von zumindest einer Betriebszustandsgröße des Objekts,
einer von einem Benutzer zu tragende HMD-Vorrichtung, eine Fernsteuerung
zum Steuern des Objekts und eine Übertragungseinheit aufweist, die
eine Echtzeitaufnahme der Bildaufnahmeeinrichtung sowie ein Echtzeitwert
der erfaßten
Betriebszustandsgröße zu einer
Recheneinheit überträgt, die die
Echtzeitaufnahme und den Echtzeitwert so aufbereitet und zur HMD-Vorrichtung überträgt, daß mittels
der HMD-Vorrichtung
für den
Benutzer eine Kombination aus Echtzeitumgebung auf der Basis der Echtzeitaufnahme
und virtuell erzeugter Darstellung der Betriebszustandsgröße auf der
Basis des Echtzeitwertes dargestellt wird.
-
Durch den Einsatz der HMD-Vorrichtung (Head
Mounted Display-Vorrichtung), die eine Kombination der realen Echtzeitumgebung
des Objekts und der virtuell erzeugten Darstellung der Betriebszustandsgröße dem Benutzer
als in sich abgeschlossene visuelle Umgebung präsentiert, wird dem Benutzer
der Eindruck vermittelt, als ob er sich selbst im Modell befindet
und sich zusammen mit dem Objekt bewegt.
-
Anhand dieser visuellen Darstellung
steuert der Benutzer über
die Fernbedienung das Objekt. Dies führt zu der gewünschten
Bewegung des Objekts und damit auch zu einer Änderung der realen Umgebung
des Objekts, die mittels der Bildaufnahmeeinrichtung erneut aufgenommen
und in gleicher Weise dem Benutzer in Echtzeit wieder dargestellt werden.
Dies verstärkt
den Eindruck, sich mit dem Objekt zu bewegen. Es können natürliche mehrere Echtzeitaufnahmen
und -werte zur Recheneinheit übertragen
werden.
-
Die HMD-Vorrichtung erzeugt nur für den die HMD-Vorrichtung
tragenden Benutzer wahrnehmbare Bilder. Insbesondere kann sie so
ausgebildet sein, daß der
Benutzer nur noch die von der HMD-Vorrichtung erzeugten Bilder wahrnehmen
kann (in diesem Fall kann auch die Fernbedienung mittels der HMD-Vorrichtung
dargestellt werden) oder daß der Benutzer
neben den HMD-Bildern auch noch die Fernbedienung sehen kann. Auch
eine augmentierte Darstellung ist möglich. Die HMD-Vorrichtung
kann beispielsweise helmartig oder auch in Form einer abgeschlossenen
Brille ausgebildet sein.
-
Insbesondere kann es sich bei dem
Objekt um ein Fahrzeug mit einem Cockpit handeln, wobei die Bildaufnahmeeinrichtung
den Blick aus dem Cockpit heraus aufnimmt. Das Fahrzeug kann ein Land-,
Luft- oder Wasserfahrzeug sein, wobei das Cockpit immer der Bereich
ist, in dem sich der Fahrzeugführer
normalerweise bei Bewegung des Fahrzeugs aufhalten würde. Insbesondere
kann das Objekt (bzw. das Fahrzeug) ein Modellobjekt sein, wie z.B.
ein Modellflugzeug, ein Modellauto oder auch ein Modell-U-Boot.
-
Wenn es sich um ein Modellobjekt
handelt, kann mittels dem erfindungsgemäßen System eine ausgezeichnete
Simulation des Bewegungsverhaltens des Originalobjekts realisieren.
Wenn es sich bei dem Objekt selbst um das Originalobjekt handelt, kann
man das erfindungsgemäße System
insbesondere zur Steuerung des Objekts bei Notfällen einsetzen.
-
Besonders bevorzugt ist es, wenn
die virtuelle Darstellung mittels der HMD-Vorrichtung die Darstellung
des Cockpits umfaßt.
Dadurch wird der visuelle Eindruck für den Benutzer noch realitätsnäher.
-
Insbesondere wird die virtuelle Cockpit-Darstellung
ortsfest zu einem vorher festgelegten Punkt (beispielsweise ein
Punkt am Boden) erzeugt, so daß eine
Kopfdrehung des Benutzers dazu führt,
daß dem
Benutzer der Eindruck vermittelt wird, er schaue sich im Cockpit
um.
-
Eine besonders vorteilhafte Weiterbildung des
erfindungsgemäßen Systems
besteht darin, daß die
HMD-Vorrichtung eine Abschaltvorrichtung aufweist, mit der die HMD-Vorrichtung
auf volle Durchsicht schaltbar ist. Mittels dieser Abschaltvorrichtung kann
man sehr schnell sicherstellen, daß der Benutzer seine reale
Umgebung und nicht mehr die Darstellung mittels der HMD-Vorrichtung wahrnimmt. Dies
ist besonders in Notfällen
oder bei Störung
der Darstellung wichtig.
-
Insbesondere kann die Abschaltfunktion
mittels der Fernbedienung ausgelöst
werden. Damit läßt sich
die Abschaltung durch den Benutzer selbst schnell durchführen.
-
Alternativ zu der Abschaltfunktion
kann die HMD-Vorrichtung klappbar oder schwenkbar so vorgesehen
sein, daß sie
in einer ersten Stellung dem Benutzer die gewünschten Bilder darbietet, während sie
in einer zweiten Stellung den Sichtbereich des Benutzers vollständig freigibt.
Dies läßt sich
beispielsweise wie bei einem Visier eines Motorradhelms realisieren,
das geöffnet
werden kann.
-
Bei dem erfindungsgemäßen System
kann ferner noch eine oder mehrere Betriebszustandsgrößen der
Fernsteuerung mittels der HMD-Vorrichtung angezeigt werden. Dabei
kann es sich beispielsweise um die Sender-/Empfängerspannung handeln.
-
Die Übertragung zwischen dem Objekt
und der Recheneinheit einerseits und der Fernbedienung und dem Objekt
andererseits kann über
Kabel oder bevorzugt drahtlos durchgeführt werden. Die drahtlose Übertragung
kann je nach Abstand beispielsweise über eine sogenannte WLAN-Verbindung
(kürzere Abstände) oder
auch über
eine Mobilfunkverbindung oder eine Satellitenverbindung hergestellt
werden.
-
Die Recheneinheit kann insbesondere
so ausgebildet sein, daß die
Zeitabstände
zwischen den für
die HMD-Vorrichtung aufbereiteten Echtzeitaufnahmen so groß gewählt sind,
daß für den Benutzer ein
deutlich wahrnehmbares Ruckeln erkennbar ist. Dies stört zwar
das vermittelte Realitätsgefühl, führt aber
zu einem deutlich seltener Auftreten von Übelkeit bei den Benutzern, die
insbesondere auf die fehlende Übereinstimmung
der visuellen Eindrücke
mit den Eindrücken
des Gleichgewichtsorgans des Benutzers zurückzuführen sind.
-
Ferner kann das erfindungsgemäße System einen
Sitz für
den Benutzer aufweisen, wobei die Lage des Sitzes veränderbar
ist und er entsprechend der Objektbewegung angesteuert wird. Dies
erhöht den
Realitätseindruck
für den
Benutzer deutlich, da er die Bewegungen des Objekts nicht nur sieht,
sondern nun auch spürt.
-
Zur Steuerung des Sitzes kann in
dem zu bewegenden Objekt ein Gyrosensor vorgesehen sein, mit dem
die Ausrichtung des Objekts zum Boden erfaßbar ist. Die von dem Gyrosensor
abgegebenen Signale werden über
die Übertragungseinheit
zur Recheneinheit übertragen,
die aufgrund dieser Signale den Sitz ansteuert.
-
Das erfindungsgemäße System kann so weitergebildet
werden, daß die
Fernsteuerung nur möglich
ist, wenn vorgegebene Randbedingungen eingehalten werden. Dabei
kann es sich beispielsweise um einen maximalen Abstand zwischen
dem zu bewegenden Objekt und dem Benutzer bzw. der Fernsteuerung
und der Recheneinheit handeln. Dies ist insbesondere bei der Steuerung
von Modellflugzeugen wichtig, da somit die gesetzlich vorgeschriebene
maximale Sichtschutzenfternung eingehalten werden kann. Man kann
dies beispielsweise dadurch realisieren, daß eine optische Verbindung
(beispielsweise zwischen Infrarotleuchtdioden an der HMD-Vorrichtung
und einem Empfänger
am bewegten Objekt oder andersrum) vorhanden sein muß. Liegt
eine längere
Unterbrechung dieser optischen Verbindung vor, kann der Benutzer
gewarnt werden (beispielsweise optisch oder auch akustisch) und/oder
der automatische Rückflug
kann eingeleitet werden. Natürlich
kann statt der optischen Verbindung eine Funkverbindung genutzt
werden. Auch kann man bei Modellflugzeugen z.B. eine maximale Flughöhe vorgeben,
die das Modellflugzeug nicht übersteigen
darf.
-
Bei der Betriebszustandsgröße des Objekts kann
es sich, wenn das Objekt ein Modellflugzeug ist, um die Motordrehzahl,
den künstlichen
Horizont, die Höhe,
die Geschwindigkeit, den Kompaß (mit
Deviationstabelle) handeln. Auch kann man eine Anzeige für Einziehfahrwerke,
Landeklappen und Restkraftstoffmenge vorsehen. Diese Betriebszustandsgrößen können so
wie in einem echten Cockpit dargestellt werden und es ist auch möglich, freie
Anzeigeleuchten eines echten Cockpits für Betriebszustandsgrößen zu verwenden,
die üblicherweise
nicht angezeigt werden.
-
Die Betriebszustandsgrößen können entweder
direkt erfaßt
werden oder aus anderen erfaßten Größen abgeleitet
werden. Die Erfassung und Ableitung können im Objekt selbst durchgeführt werden. Die
Ableitung kann natürlich
auch erst in der Recheneinheit erfolgen. Neben der visuellen Darstellung können auch
noch akustische Signale erzeugt werden, um den Realitätseindruck
noch zu verbessern. In diesem Fall weist die HMD-Vorrichtung entsprechende
Lautsprecher (bevorzugt Kopfhörer)
auf.
-
Am Objekt können weitere Bildaufnahmeeinrichtungen
vorgesehen werden, um andere Aufnahmeperspektiven zu realisieren.
Insbesondere kann eine 360° Kamera
zur Orientierung eingesetzt werden. Die Aufnahmen dieser weiteren
Kamera bzw. dieser weiteren Kameras werden in gleicher Weise über die Übertragungseinheit
zur Recheneinheit übertragen,
die diese auswertet und zusätzlich
für den
Benutzer noch darstellen kann. Alternativ kann der Benutzer beispielsweise
an seiner Fernbedienung die gewünschte
Perspektive auswählen.
Wesentlich ist es, daß es
sich bei den Aufnahmen jeweils um Echtzeitaufnahmen handelt.
-
Die Fernsteuerung kann als klassische
Fernsteuerung (wie zur Steuerung von Modellflugzeugen) oder auch
zumindest teilweise als virtuelle Fernsteuerung ausgebildet sein.
Im letzteren Fall ist noch eine Eingabeeinheit, wie z. B. ein oder
mehrere Datenhandschuhe, vorgesehen, mittels der der virtuelle Teil der
Fernsteuerung bedienbar ist. Bei Datenhandschuhen wird beispielsweise
ihre Lage und Ausrichtung im Raum laufend bestimmt, so daß daraus
Aktionen ableitbar sind (wie z. B. Betätigen eines virtuellen Schalters
oder Bewegen eines virtuellen Steuerknüppels). Es kann somit ein virtuelles
Cockpit mittels der HMD-Vorrichtung dargestellt und mittels der Eingabeeinheit
bedient werden. Dies erhöht
den Realitätseindruck.
Natürlich
kann die Eingabeeinheit, wie dies dem Fachmann aus dem Gebiet der
virtuellen Realität
bekannt ist, noch eine Rückkopplungsfunktion
aufweisen, die beim (virtuellen) Betätigen eines Schalters, z. B.
eine Kraft auf den Finger des Benutzers ausübt, wodurch der Eindruck für den Benutzer
noch realistischer wird.
-
Insbesondere ist das erfindungsgemäße System
so ausgebildet, daß die
HMD-Vorrichtung, die Recheneinheit und die Fernsteuerung tragbar bzw.
mobil sind.
-
Die Aufgabe wird auch gelöst durch
ein Verfahren zum Bewegen eines Objekts, bei dem mit einer am Objekt
befestigten Bildaufnahmeeinrichtung eine Echtzeitaufrahme der Objektumgebung
in Bewegungsrichtung des Objekts durchgeführt wird, zumindest ein Echtzeitwert
einer Betriebzustandsgröße des Objekts
erfaßt
wird, die Echtzeitaufnahme sowie der Echtzeitwert aufbereitet und
zu einer von einem Benutzer zu tragenden HMD-Vorrichtung übertragen werden
und mittels der HMD-Vorrichtung für den Benutzer eine Kombination
aus Echtzeitumgebung auf der Basis der Echtzeitaufnahme und virtuell
erzeugter Darstellung der Betriebszustandsgröße auf Basis des Echtzeitwertes
dargestellt wird, so daß der
Benutzer anhand der HMD-Darstellung mittels einer Fernsteuerung
die Objektbewegung steuern kann.
-
Mit dem erfindungsgemäßen Verfahren
wird dem Benutzer aufgrund der Kombination der Echtzeitaufnahmen
mit dem virtuell erzeugten Betriebzustandsgrößen eine möglichst realitätsnahe Simulation
einer Bewegung mit dem Objekt vermittelt.
-
Insbesondere kann das Verfahren noch
zusätzlich
solche Schritte aufweisen, die mittels des erfindungsgemäßen Systems
und seiner Weiterbildung realisierbar sind.
-
Die Erfindung wird nachfolgend beispielhalber
anhand der einzigen Figur noch näher
erläutert.
-
Wie aus der schematischen Darstellung
der einzigen Figur ersichtlich ist, handelt es sich bei dem zu bewegenden
Objekt um ein Modellflugzeug 1, in dem eine Kamera 2 angeordnet
ist, die die Objektumgebung aus dem Cockpitfenster 3 des
Flugzeugs 1 in Bewegungsrichtung A des Flugzeugs 1 aufnimmt.
-
Diese Aufnahmen werden über eine
Erfassungseinheit 4 und eine Übertragungseinheit 5 drahtlos
zu einer am Boden angeordneten Recheneinheit 6 übertragen.
Die drahtlose Übertragung über Antennen 8, 9 ist
mit der Strichpunktlinie 7 angedeutet.
-
Die Erfassungseinheit 4 überträgt nicht
nur sofort und laufend die Echtzeitaufnahmen der Kamera 2 zur Übertragungseinheit 5,
sondern erfaßt
auch noch Betriebszustandsgrößen des
Flugzeugs 1, wie z.B. die Höhe des Flugzeugs, seine Geschwindigkeit und
den künstlichen
Horizont. Die Werte dieser Betriebszustandsgrößen werden wiederum sofort
und laufend mittels der Übertragungseinheit 5 zur
Recheneinheit 6 übertragen.
-
Das System enthält weiterhin eine HMD-Vorrichtung 10,
die helmartig ausgebildet ist und die der Benutzer B auf seinem
Kopf trägt.
Die HMD-Vorrichtung 10 ist über ein Verbindungskabel 11 mit
der Recheneinheit 6 verbunden. Natürlich kann statt einem Verbindungskabel
zwischen der Recheneinheit 6 und der HMD-Vorrichtung 10 auch
eine drahtlose Verbindung vorgesehen werden.
-
Der Benutzer trägt ferner eine Fernsteuerung 12,
mit der er über
eine drahtlose Verbindung 13 (die wiederum durch eine Stichpunktlinie
angedeutet ist) das Flugzeug 1 steuert.
-
Im Betrieb werden somit vom Flugzeug
Echtzeitaufnahmen aus dem Cockpit heraus mittels der Kamera 2 aufgenommen
und zusammen mit den erfaßten
Betriebzustandsgrößen laufend
zu der Recheneinheit 6 übertragen.
Die Recheneinheit 6 bereitet diese Daten so auf, daß mittels
der HMD-Vorrichtung 10 eine Kombination aus Echtzeitumgebung und
virtuellem Cockpit für den
Benutzer B dargestellt wird. Dem Benutzer wird somit der visuelle
Eindruck vermittelt, als ob er selbst im Flugzeug 1 sitzt.
-
Natürlich werden die Kameraaufnahmen
und auch die Cockpitdarstellungen ständig aktualisiert, so daß ein äußerst realer
Eindruck geschaffen wird.
-
Die Recheneinheit 6 muß nicht
als separate Einheit ausgebildet sein, sie kann in die HMD-Vorrichtung 10 oder
auch in die Fernsteuerung 12 integriert sein.
-
Natürlich können im Flugzeugcockpit auch zwei
Kameras im Augenabstand des Benutzers (bzw. in einem typischen Augenabstand)
angeordnet sein, deren Aufnahmen für eine dreidimensionale Darstellung
in der HMD-Vorrichtung benutzt werden.