[go: up one dir, main page]

DE20109937U1 - System für "Erweiterte Realität" mit mobilem Endgerät - Google Patents

System für "Erweiterte Realität" mit mobilem Endgerät

Info

Publication number
DE20109937U1
DE20109937U1 DE20109937U DE20109937U DE20109937U1 DE 20109937 U1 DE20109937 U1 DE 20109937U1 DE 20109937 U DE20109937 U DE 20109937U DE 20109937 U DE20109937 U DE 20109937U DE 20109937 U1 DE20109937 U1 DE 20109937U1
Authority
DE
Germany
Prior art keywords
data processing
portable terminal
image
signals
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE20109937U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE20109937U priority Critical patent/DE20109937U1/de
Publication of DE20109937U1 publication Critical patent/DE20109937U1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Television Signal Processing For Recording (AREA)

Description

System für "&Eacgr;&tgr;-we-i-hpT-hP- Bpal i -hai-" &tgr;&tgr;&igr;&tgr;-h
Die Erfindung liegt auf dem Gebiet der "Erweiterten Realität" (augmented reality). Insbesondere betrifft die Erfindung ein System zur Realisierung eines tragbaren Endgeräts (wearable device) für mobile Anwendungen der erweiterten Realität.
"Erweiterte Realität" ist ein neues Gebiet der Technik, bei der beispielsweise einer aktuellen optischen Wahrnehmung der realen Umgebung gleichzeitig zusätzliche visuelle Informationen überlagert werden. Dabei unterscheidet man zwischen "see-through"-Technik, bei der ein Anwender z.B. durch einen (variabel) durchlässigen Spiegel in die reale
_ 2 - P111906
Umgebung blickt, und "feed-through"-Technik, bei der die reale Umgebung durch eine Videokamera aufgenommen und vor der Wiedergabe auf einem Display mit einem computergenerierten Bild gemischt wird.
5
Ein Anwender nimmt im Ergebnis simultan die reale Umgebung und die z.B. durch Computergrafik erzeugten, virtuellen Bildbestandteile als kombinierte Darstellung (Summenbild) wahr. Diese Vermischung von Realität und virtuellen Bildbestandteilen zur "erweiterten Realität" ermöglicht dem Anwender seine Aktionen unter unmittelbarem Einbezug der überlagerten und damit gleichzeitig wahrnehmbaren Zusatzinformationen auszuführen.
Damit eine erweiterte Realität auch während mobiler Situationen möglich wird, werden Positionsveränderungen des Anwenders (z.B. durch Drehung, Standortwechsel, Änderung der Körperhaltung und Blickrichtung) meßtechnisch erfaßt (sog. "Tracking")und in die aktuell erzeugte Bildwiedergabe einbezogen.
Das Tracking des Anwenders wird üblicherweise unterschieden in Grob- und Feintracking. Grobtrackingmethoden dienen der ungefähren Bestimmung des Position und teilweise der Orientierung des Anwenders im Raum, beispielsweise über GPS-Techniken (Global Positioning System). Im Bereich des Feintracking, also des Tracking in kleinen Bereichen (einige Kubikmeter Meßvolumen) mit hoher Güte (Auflösung im Millimeter-Bereich, geringe Latenzen) werden verschiedene Techniken eingesetzt, z.B. mechanische, magnetische, optische, akustische Sensoren, deren Signale zur exakten Positionsund/ oder Orientierungsbestimmung ausgewertet werden. Von besonderem Interesse für Systeme der erweiterten Realität
_ 3 - P111906
mit tragbarem Endgerät sind Computer-Vision-(Video-) basierte Techniken. Diese Fein-Tracking-Verfahren benutzen optisch wahrnehmbare Elemente der realen Umwelt, um die Position und Orientierung des Anwenders zu bestimmen. SoI-ehe Elemente sind i.d.R. sog. "Marker11 (symbolische Zeichen, die speziell für das Tracking angefertigt, angebracht und kodiert werden) oder natürliche Merkmale von Gegenständen, z.B. Kanten, Ecken, geometrische Details usw.
Anwendungen von Systemen der erweiterten Realität mit tragbarem Endgerät bieten sich in verschiedenen Bereichen an, speziell dort, wo es darauf ankommt, einerseits möglichst schnell Zusatzinformationen verfügbar zu haben, andererseits die Mobilität des Anwenders nicht eingeschränkt werden soll. Hinzu tritt häufig die Forderung, dass die Handlungsfreiheit des Anwenders erhalten bleiben soll, um beispielsweise während der Wahrnehmung der erweiterten Realität gezielte Eingriffe (Reparatur, Steuerung, Justierung usw.) vornehmen zu können.
Um dies zu gewährleisten sind tragbare Endgeräte entwickelt worden, bei denen der Anwender ein sog. "head-set" am Kopf mit sich führt. Bei solchen Systemen für erweiterte Realität befinden sich üblicherweise an den Endgeräten Bildaufnahmeelemente, die die sichtbare Umgebung in Blickrichtung des Anwenders erfassen. Die von den Bildaufnahmeelementen erzeugten elektrischen Signale werden aufbereitet und als digitale Signale einem Computer zugeleitet. Nach Auswertung dieser Signale und erfolgter Bereitstellung entsprechender ZusatzInformationen wird ein vom Computer generiertes digitales Ausgangssignal einem Wiedergabeelement zur optischen Darstellung zugeführt.
_ 4 - P111906
Das Wiedergabeelement ist dabei am Endgerät so angeordnet, dass es - entweder über Spiegel oder direkt - im Sichtbereich des Anwenders liegt. Bekannt sind beispielsweise Systeme bei denen das tragbare Endgerät in Brillenform mit integriertem Display zur Bildwiedergabe ausgeführt ist.
Bei allen mobilen Systemen für erweiterte Realität ist zur Erfassung der vom Anwender anvisierten Umwelt zusammen mit den Tracking-Daten eine sehr hohe Rechnerleistung notwendig - nur dann kann die Computerauswertung aktuell genug erfolgen, d.h. idealerweise in "Realzeit". Dazu müssen sowohl die von den verschiedenen Tracking-Sensoren gelieferten Daten, als auch die von den Bildaufnahmeelementen übertragenen Signale (z.B. Analyse der Realbilder zur Bilderkennung und Identifizierung von Gegenständen im Sichtbereich des Anwenders) in kontinuierlichem Fluß ausgewertet werden.
Diese Anforderung an die Rechnerleistung wird noch verstärkt durch die vom Computer aus Datenbanken bereitzustellenden Informationen, die zur Erweiterung der realen Wahrnehmung hinzugefügt werden sollen, und deren Visualisierung durch Erzeugung von virtuellen Bildbestandteilen (z.B. farbliche Hervorhebungen, Skizzen, Detaildarstellungen, Computergrafiken, Animationen, Videosequenzen usw.). Erst mit entsprechender Verarbeitungsgeschwindigkeit entsteht so für den Anwender im Display ein Summenbild aus Realbild und computergenerierten Bildanteilen, das aufgrund geringer (d.h. für den Anwender unmerklicher) Verzögerung als erweiterte Realität wahrgenommen wird.
Computer, die die geforderte Leistungsfähigkeit aufweisen, sind aufgrund ihrer Größe, ihres Strombedarfs, notwendiger
5 _ P111906
Kühlungselemente und des damit resultierenden hohen Gewichts für ein tragbares Endgerät ungeeignet.
Leistungsfähige Systeme weisen daher verschiedene Komponenten zur Aufteilung der erforderlichen Datenverarbeitung auf: Ein Teil der Daten wird durch primäre datenverarbeitende Komponenten aufbereitet, z.B. Mini-Prozessoren oder mobile Klein-Computer, die als Teil des tragbaren Endgeräts vom Anwender mitgeführt werden.
Für die weitere Verarbeitung übertragen diese primären datenverarbeitenden Komponenten üblicherweise Daten zu einer leistungsfähigen stationären Datenverarbeitungsanlage (z.B. Host-Computer), wo die aufwendigen Berechnungen erfolgen.
Die dort erstellten Daten werden anschließend zusammen mit den für die Erzeugung der erweiterten Realität erforderlichen zusätzlichen Daten von der stationären Datenverarbeitungsanlage an das tragbare Endgerät übermittelt und dort von den primären datenverarbeitenden Komponenten für eine visuelle Darstellung umgewandelt.
Zur Erhaltung der Mobilität des Anwenders ist dabei üblicherweise die Verbindung zwischen den primären datenverarbeitenden Komponenten des tragbaren Endgeräts und der stationären Datenverarbeitungsanlage durch eine Sende/Empfangseinrichtung realisiert, über die die Daten drahtlos in beide Richtungen übertragen werden.
Ein solches System für erweiterte Realität als Kombination einer stationären Datenverarbeitungsanlage in drahtlosem Kontakt mit primären datenverarbeitenden Komponenten eines tragbarem Endgeräts wird beschrieben in der Veröffentlichung *Information Display for Mobile Augmented Reality"(W.
_ 6 _ P111906
Pasman, A. van der Schaaf, R.L. Lagendijk, F. W. Jansen), erschienen in "Workshop on Interactive Applications of Mobile Computing", Ubicom-Publication 1998.
Bei diesem System ist das tragbare Endgerät in Brillenform mit integriertem Display zur Bildwiedergabe ausgeführt, wobei mittels einer an der Brille befindlichen Videokamera die Umgebung in Blickrichtung des Anwenders aufgenommen wird.
Die von der Videokamera gelieferten Videosignale werden durch in dem Endgerät befindliche, primäre datenverarbeitende Komponenten aufbereitet und teilweise ausgewertet. Zur Verringerung der hohen Datenrate werden die Bilddaten in digitaler Form komprimiert und für die Weiterverarbeitung drahtlos auf einen stationären Computer übertragen. Dort findet die weitere Auswertung der Bilddaten statt, sowie die Hinzufügung von Informationen als virtuelle Bildbestandteile. Das so erzeugte digitale Summenbild wird wieder in komprimierter Form drahtlos zum tragbaren Endgerät übermittelt, wo die primären datenverarbeitenden Komponenten die für die Wiedergabe erforderlichen Bilddaten durch Dekompression der Eingangsdaten aufbereiten.
Zusätzlich übernehmen bei diesem System die primären datenverarbeitenden Komponenten Aufgaben des Fein-Tracking. Hierzu werden die von der Kamera gelieferten Videosignale für die Identifizierung spezieller Bildelemente (landmarks) analysiert.
Zudem werten die primären datenverarbeitenden Komponenten auch Signale aus, die von verschiedenen Sensoren (fast tracking devices) erzeugt werden, die im tragbaren Endgerät
_ &eegr; _ &Rgr;111906
angebracht sind. Die aktuelle Bildwiedergabe wird dann durch die primären datenverarbeitenden Komponenten in Abhängigkeit von der detektierten Körperhaltung und/oder Bewegungen des Anwenders, z.B. bei Kopfdrehungen, entsprechend modifiziert (Bildkorrektur).
Bei diesem System der erweiterten Realität mit tragbarem Endgerät werden wesentliche Prozesse zur Erzeugung einer erweiterten Realität von den primären datenverarbeitenden Komponenten im tragbaren Endgerät übernommen. Für eine akzeptable Qualität und Aktualität der im Display dargestellten Bilder müssen diese Prozesse entsprechend schnell erfolgen, d.h. die Anforderung an die Leistungsfähigkeit der primären datenverarbeitende Komponenten ist relativ hoch.
Damit entsteht der Nachteil, dass das tragbare Endgerät technisch entsprechend aufwendig aufgebaut ist. Auch ist die Qualität der erzeugten erweiterten Realität grundsätzlich begrenzt durch die maximal erreichbare Verarbeitungsgeschwindigkeit der primären datenverarbeitenden Komponenten des tragbaren Endgeräts.
Die vorliegende Erfindung geht von dem vorgestellten System als nächstliegendem Stand der Technik aus. Ihr liegt die Aufgabe zugrunde, ein System der erweiterten Realität mit tragbarem Endgerät zu entwickeln, wobei einerseits das tragbare Endgerät mit reduziertem technischen Aufwand erstellt werden kann und andererseits eine hohe Qualität der erzeugten erweiterten Realität möglich ist.
Diese Aufgabe wird gelöst durch eine Vorrichtung gemäß Oberbegriff des Anspruchs 1 in Verbindung mit den kennzeichnenden Merkmalen dieses Anspruchs. Weitere Ausgestal-
_ 8 _ P111906
tungen der Erfindung ergeben sich aus den Merkmalen der Unteransprüche.
Das erfindungsgemäße System wird nachfolgend am Beispiel einer bevorzugten Ausführung unter Bezugnahme auf die Zeichnungen beschrieben:
Figur 1 ist die schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems für erweiterte Realität mit tragbarem Endgerät.
Figur 2 zeigt eine erweiterte Ausführungsform mit Mitteln zur Erfassung von Position und Orientierung des Anwenders im Raum, sowie weiteren Mitteln zur Aufnahme bzw. Wiedergabe und Übertragung zusätz
licher Signale.
Das erfindungsgemäße System besteht aus einer stationären Datenverarbeitungsanlage (l), die mit dem tragbaren Endgerät (2) über eine bidirektionale Sende/Empfangseinrichtung (3a, 3b) in Verbindung steht. Über diese Verbindung werden die von einem am tragbaren Endgerät (2) befindlichen Bildaufnahmegerät (4), z.B. einer Videokamera, erzeugten Videosignale in analoger Form zur stationären Datenverarbeitungsanlage (1) übertragen und dort von einem Analog/Digital-Wandler (5) für die weitere Verarbeitung in digitale Daten umgewandelt.
Die stationäre Datenverarbeitungsanlage (1) übernimmt alle zur Erzeugung der erweiterten Realität erforderlichen Aufgaben der Bildgenerierung, bzw. auch des Video-basierten Fein-Trackings. Dazu gehört die Bildanalyse (Erfassung von Bildelementen, z.B. Markern oder Identifizierung von Ge-
_ 9 _ P111906
genständen durch Detektierung von Kanten, Ecken, geometrischen Details), Bereitstellung von szenenbezogenen Zusatzinformationen und deren grafische Aufbereitung zu virtuellen Bildbestandteilen (z.B. farbliche Hervorhebungen realer Bildbestandteile, Einblendung von Skizzen, Ziffern, Einspielung von Animationen, Videoclips usw.).
Je nach Ausführung der Bildwiedergabeelemente (6) des tragbaren Endgeräts als "see-trough"- oder "feed-through"-Display werden entweder nur diese virtuellen Bildbestandteile oder eine Kombination aus Realbild und virtuellen Bildbestandteilen als Videosignal von der stationären Datenverarbeitungsanlage zum tragbaren Endgerät übertragen.
Besonders vorteilhaft ist bei diesem System die bidirektionale Übertragung der Videosignale in analoger Form, da das tragbare Endgerät keine für eine digitale Umwandlung bzw. Bearbeitung der Videosignale (z.B. Digital-Analog-Konvertierung, Kompression bzw. Dekompression) erforderlichen primären datenverarbeitenden Komponenten aufweisen muß.
Damit läßt sich das tragbare Endgerät besonders kostengünstig realisieren: alle erforderlichen Bestandteile für Bildaufnahme (Videokamera), Bildwiedergabe (Display) und drahtlose Übertragung des analogen Videosignals (Analoger Standard Video-Sendef und Empfänger) sind als gängige Elemente der Video- und TV-Technik im Handel verfügbar.
Ein weiterer Vorteil besteht darin, dass diese Bestandteile auch in handelsüblicher "Miniatur"-Ausführung (z.B. Mini-Kamera, Brillendisplay) verfügbar sind, so das auch eine Integration aller Komponenten, insbesondere in einer Ausführung des tragbaren Endgeräts als "headset", kostengünstig möglich ist.
_ 10 - P111906
Die gegenüber dem Stand der Technik erhebliche Reduzierung aktiver Komponenten im tragbaren Endgerät führt darüber hinaus auch zu einem wesentlich geringeren Stromverbrauch. Damit kann ein entsprechend längerer mobiler Betrieb des tragbaren Endgeräts erfolgen. Auch ist ein Einsatz kleinerer Stromversorgungselemente möglich, was "neben geringerem Platzbedarf11 durch Reduzierung des Gewichts den Tragekomfort für den Anwender erhöht.
Ein wichtiger Aspekt ist die Erzeugung virtueller Bildanteile in hoher Qualität und möglichst ohne merkliche Verzögerungen (insbesondere bei Bewegungen des Anwenders, z.B. Kopfdrehungen). Durch Verlagerung sämtlicher bildverarbeitenden und bildgenerierenden Prozesse auf die stationäre Datenverarbeitungsanlage, können für die hierzu notwendigen aufwendigen und für dynamische erweiterte Realität besonders zeitkritischen Berechnungen höchste Computerleistungen zur Verfügung gestellt werden.
Ein weiterer wesentlicher Vorteil ist die Möglichkeit, die Leistungsfähigkeit der stationären Datenverarbeitungsanlage der technischen Entwicklung anzupassen, ohne dass Veränderungen des tragbaren Endgeräts erforderlich werden. Dies bezieht sich sowohl auf modernere Computer-Hardware als auch auf Neuentwicklung von Software, z.B. verbesserte Bilderkennungsverfahren oder Computergrafik und -animationsverfahren .
Generell zeichnet das tragbare Endgerät des erfindungsgemäßen Sytems eine geringere Störanfälligkeit aus, da weniger aktive Elemente vorhanden sind. Dies ist ein wesentlicher Vorteil bei einem mobilen Einsatz in verschiedenen
- H _ P111906
Umgebungen, bei denen Belastungen des tragbaren Endgeräts beispielsweise durch Stöße, Staub, thermische Schwankungen, Feuchtigkeit, magnetische oder elektrische Felder, Strahlung usw. auftreten können.
5
Eine weitere vorteilhafte Ausführung des erfindungsgemäßen Systems ist in Figur 2 schematisch dargestellt. Bei dieser Ausführung enthält das tragbare Endgerät zusätzliche Komponenten: So sind verschiedene Tracking-Sensoren (7a, 7b)) (z.B. GPS, elektronischer Kompass) zur Erfassung der Position und Orientierung des Anwenders im Raum als Teil des tragbaren Endgeräts vorhanden, deren Signale für die weitere Auswertung (Grob- bzw. Feintracking des Anwenders) zur stationären Datenverarbeitungsanlage übertragen werden.
Zusätzliche Sensoren für eine dynamische erweiterte Realität können als Teil des tragbaren Engeräts eingesetzt werden, beispielsweise zur Erfassung von Körperbewegungen (Drehungen) bzw. Kopfhaltung (z.B. Blick nach unten). Auch die von diesen Sensoren erzeugten Signale werden zur Auswertung an die stationäre Datenverarbeitungsanlage übertragen.
Auch andere am tragbaren Endgerät (2) durch entsprechende Aufnahmegeräte (8) (z.B. Mikrofone, Bewegungsdetektoren, Meßfühler für Umgebungsparameter wie z.B. Temperatur, Strahlung usw.) erzeugte Signale können zur Weiterverarbeitung über die Sende/Empfangsvorrichtung (3a, 3b, 3c) zur stationären Datenverarbeitungsanlage (1) übertragen werden. 30
In einer erweiterten Ausführungsform weist das tragbare Endgerät zusätzlich Eingabemittel (9a, 9b, 9c, 9d) auf, mit denen der Anwender Steuer-Signale erzeugen kann, die zur
- 12 - &Rgr;111906
stationären Datenverarbeitungsanlage übertragen werden. Dabei sind neben manuell bedienbaren Eingabemitteln (Schalter, Regler, Joystick, Trackball usw.) auch akustische möglich (z.B. Mikrofone für Spracheingabe) oder auch optische (Steuerung durch Gestik, Handbewegung usw.).
Über diese Eingabemittel kann der Anwender interaktiv Steuer u. Regelprozesse über die stationäre Datenverarbeitungsanlage auslösen bzw. beeinflussen. Bei einer entsprechenden Ausgestaltung der stationären Datenverarbeitungsanlage (Spracherkennung, Sprachgenerierung) und Erweiterung des tragbaren Endgeräts um Mittel zur akustischen Wiedergabe (10) (Lautsprecher, Kopfhörer) ist sogar eine natürlichsprachliche Kommunikation zwischen Anwender und stationärer Datenverarbeitungsanlage möglich.
Spezielle Anzeigen oder Signale, insbesondere solche, die separat, d.h. nicht als Teil der vom Anwender wahrgenommen erweiterten Realität innerhalb des Summenbildes dargestellt werden sollen, können durch zusätzlich am tragbaren Endgerät angebrachte Signalgeber (LED's, Ziffern- bzw. Skalenanzeiger, kleine LCD-Displays, "Piepser" usw.) wiedergegeben werden und auch über die drahtlose Verbindung von der stationären Datenverarbeitungsanlage angesteuert werden.
Vorteilhaft ist, dass eine elektronische Aufbereitung aller analogen Signale (z.B. Verstärkung, Dynamikbegrenzung, Filterung; Video: Färb- und Kontrastverstärkung, Kantenhervorhebung, Rauschunterdrückung usw.) wahlweise durch (analog-)elektronische Komponenten im stationären Teil des Systems oder im tragbaren Endgerät erfolgen kann. Je nach Konstruktionsvorgaben überwiegt im einen Fall die Anforderung bzgl. Minimierung der elektronischen Komponenten im tragbaren
»4 · r
- 13 -
P111906
Endgerät, im anderen Fall die Erhöhung der Leistungsfähigkeit des Systems für erweiterte Realität durch Übertragung elektronisch aufbereiteter (und damit präziser drahtlos übertragbarer) analoger Signale.
5
Zur Erhaltung der Mobilität des Anwenders erfolgt die Übertragung aller Signale zwischen stationärer Datenverarbeitungsanlage und tragbarem Endgerät in beide Richtungen drahtlos über Sende/Empfangseinrichtungen, beispielsweise per Funk oder Infrarot. Dabei können neben der Übertragung analoger Signale (Bildsignale, akustische Sprach-Ein/Ausgabe, u.a.) auch digitale Signale, beispielsweise über einen separaten Übertragungskanal (3c) (RS232-Sender), zwischen stationärer Datenverarbeitungsanlage und tragbarem Endgerät ausgetauscht werden. Digitale Signale können dabei auch durch digital-elektronische Komponenten (11) des tragbaren Endgeräts, z.B. One-Chip-Coraputer aufbereitet werden.

Claims (10)

1. Augmented-Reality-System mit stationärer Datenverarbeitungsanlage (1) und tragbarem Endgerät (2), wobei das tragbare Endgerät (2) Bildaufnahmeelemente (4)zur optischen Erfassung von Bereichen der Umwelt des Anwenders aufweist, sowie Bildwiedergabeelemente (6) zur Erzeugung eines um virtuelle Bildanteile erweiterten Abbildes des erfaßten Umweltbereichs, wobei die virtuellen Bildanteile von der stationären Datenverarbeitungsanlage (1) generiert werden und Bildsignale zwischen stationärer Datenverarbeitunganlage (1) und tragbarem Endgerät (2) drahtlos, z. B. durch Funk oder Infrarot, über eine bidirektionale Sende/Empfangseinrichtung (3a, 3b) übertragen werden, dadurch gekennzeichnet, dass die Bildsignale als analoge Signale übertragen werden.
2. System nach Anspruch 1, dadurch gekennzeichnet, dass das tragbare Endgerät (2) Sensoren (7a, 7b) aufweist, welche 'Tracking'-Parameter des Anwenders erfassen und beispielsweise in Abhängigkeit von der Position, Orientierung, Körperhaltung bzw. Bewegung des Anwenders elektrische Signale erzeugen.
3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das tragbare Endgerät (2) Eingabeelemente (8, 9a, 9b, 9c, 9d) aufweist, über die der Anwender z. B. manuell oder akustisch elektrische Steuer- und Kommandosignale erzeugen kann.
4. System nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass das tragbare Endgerät (2) Meßfühler aufweist, welche in Abhängigkeit von Umgebungsparametern (z. B. Temperatur, elektrische oder magnetische Felder, Gaskonzentrationen usw.) elektrische Signale erzeugen.
5. System nach Anspruch 2, 3 oder 4, dadurch gekennzeichnet, dass die erzeugten elektrischen Signale analog oder digital über die Sende/Empfangseinrichtung (3a, 3b, 3c) drahtlos zur stationären Datenverarbeitungsanlage (1) übertragen werden.
6. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von der tragbaren Einheit (2) übermittelten Signale von der stationären Datenverarbeitungsanlage (1) digital verarbeitet werden.
7. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die stationäre Datenverarbeitungsanlage (1) so eingerichtet ist, dass alle Aufgaben der Generierung einer erweiterten Realität in der stationären Datenverarbeitungsanlage (1) erfolgen, insbesondere
- Bildanalyse, Erfassung von Markern und/oder Gegenständen,
- Bereitstellung von szenenbezogenen Informationen und deren
- Visualisierung als virtuelle Bildanteile und
- Erzeugung analoger Bildsignale, die nach Übertragung an das tragbare Endgerät (2) von den Bildwiedergabeelementen direkt dargestellt werden können.
8. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die stationäre Datenverarbeitungsanlage (1) so eingerichtet ist, dass das 'Tracking' des Anwenders durch digitale Verarbeitung der von dem tragbaren Endgerät (2) übertragenen Signale in der stationären Datenverarbeitungsanlage (1) erfolgt.
9. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildwiedergabeelemente (6) des tragbaren Endgeräts (2) als Brillendisplay ausgeführt sind.
10. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das tragbare Endgerät (2) zusätzliche Mittel (10) zur Wiedergabe optischer oder akustischer Signale aufweist.
DE20109937U 2001-06-15 2001-06-15 System für "Erweiterte Realität" mit mobilem Endgerät Expired - Lifetime DE20109937U1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE20109937U DE20109937U1 (de) 2001-06-15 2001-06-15 System für "Erweiterte Realität" mit mobilem Endgerät

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE20109937U DE20109937U1 (de) 2001-06-15 2001-06-15 System für "Erweiterte Realität" mit mobilem Endgerät

Publications (1)

Publication Number Publication Date
DE20109937U1 true DE20109937U1 (de) 2001-09-13

Family

ID=7958128

Family Applications (1)

Application Number Title Priority Date Filing Date
DE20109937U Expired - Lifetime DE20109937U1 (de) 2001-06-15 2001-06-15 System für "Erweiterte Realität" mit mobilem Endgerät

Country Status (1)

Country Link
DE (1) DE20109937U1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10159610A1 (de) * 2001-12-05 2003-07-10 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
DE10256612B3 (de) * 2002-12-03 2004-07-08 Daimlerchrysler Ag Verfahren und Vorrichtung zum Fahrertraining
DE102008009446A1 (de) * 2008-02-15 2009-08-20 Volkswagen Ag Verfahren zur Prüfung eines komplexen Systems auf Abweichungen von Qualitätsvorgaben und/oder auf Fehlerhaftigkeit und Vorrichtung zur Unterstützung einer Prüfperson bei einer solchen Prüfung

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10159610A1 (de) * 2001-12-05 2003-07-10 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
DE10159610B4 (de) * 2001-12-05 2004-02-26 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
US7110909B2 (en) 2001-12-05 2006-09-19 Siemens Aktiengesellschaft System and method for establishing a documentation of working processes for display in an augmented reality system in particular in a production assembly service or maintenance environment
DE10256612B3 (de) * 2002-12-03 2004-07-08 Daimlerchrysler Ag Verfahren und Vorrichtung zum Fahrertraining
DE102008009446A1 (de) * 2008-02-15 2009-08-20 Volkswagen Ag Verfahren zur Prüfung eines komplexen Systems auf Abweichungen von Qualitätsvorgaben und/oder auf Fehlerhaftigkeit und Vorrichtung zur Unterstützung einer Prüfperson bei einer solchen Prüfung

Similar Documents

Publication Publication Date Title
Henderson et al. Augmented reality for maintenance and repair (armar)
Weibel et al. Let's look at the cockpit: exploring mobile eye-tracking for observational research on the flight deck
US6917715B2 (en) Foveal priority in stereoscopic remote viewing system
US20060284791A1 (en) Augmented reality system and method with mobile and interactive function for multiple users
US20190331914A1 (en) Experience Sharing with Region-Of-Interest Selection
US20040003409A1 (en) Rendering system and method for images having differing foveal area and peripheral view area resolutions
DE102007023640A1 (de) Virtueller Arbeitsplatz
JP6325126B2 (ja) ビデオ情報の表示
DE112019001257T5 (de) Stabilisierung von video zur verringerung von kamera- und gesichtsbewegung
DE112016004216T5 (de) Allgemeine Sphärische Erfassungsverfahren
EP3999939A1 (de) Verfahren zum betreiben eines mobilen endgeräts mittels einer gestenerkennungs- und steuereinrichtung, gestenerkennungs- und steuereinrichtung, kraftfahrzeug, und am kopf tragbare ausgabevorrichtung
DE102018116244A1 (de) Verformbares elektrisches Gerät und Verfahren und Systeme zum Steuern der verformten Benutzerschnittstelle
DE102016118647A1 (de) Augmented-Reality-Kommunikationssystem und Augmented-Reality-Interaktionsvorrichtung
DE102009049073A1 (de) Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
DE112012004773T5 (de) Konfigurierbare Armaturenanzeige
DE202018006448U1 (de) Skalieren eines Bilds eines Gesichts eines Sprechers basierend auf dem Abstand eines Gesichts und einer Grösse einer Anzeige
DE112017006836T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
Roth et al. Making maps & visualizations for mobile devices: A research agenda for mobile-first and responsive cartographic design
DE102014019637A1 (de) Anzeigeschaltverfahren, Datenverarbeitungsverfahren und elektronische Vorrichtung
Swan et al. Visually perceived distance judgments: Tablet-based augmented reality versus the real world
DE102018106108A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102013021978A1 (de) Verfahren und mobiles Endgerät zur augmentierten Darstellung mindestens eines realen Bedienelements und/oder... eines realen Objekts
DE102022110363A1 (de) Verfahren und vorrichtung zur debugging-programmausführung und inhaltswiedergabe
DE102018130085A1 (de) Erzeugen eines 2d-videos aus einem 360-video
Dakopoulos et al. Preserving visual information in low resolution images during navigation of visually impaired

Legal Events

Date Code Title Description
R207 Utility model specification

Effective date: 20011018

R150 Utility model maintained after payment of first maintenance fee after three years

Effective date: 20040728

R151 Utility model maintained after payment of second maintenance fee after six years

Effective date: 20070712

R158 Lapse of ip right after 8 years

Effective date: 20100101