DE20305278U1 - Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Bildinhalten auf 2D-Anzeigevorrichtungen - Google Patents

Description

DaimlerChrysler AG Lederer

28.03.2003

Vorrichtung zur Berücksichtigung der Betrachterposition

bei der Darstellung von 3D-Bildinhalten auf

2D-Anzeigevorrichtungen

Die Erfindung betrifft eine Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Objekten auf 2D-Anzeigevorrichtungen.

Die Darstellung dreidimensionaler Geometrien oder dreidimensionaler (kurz 3D-)Objekte oder Szenen mit Hilfe von Computer-Systemen spielt heute in zahlreichen Anwendungen eine Rolle. Der Anwendungsbereich für 3D-Darstellungen erstreckt sich von 3D-Produktpräsentationen im Internet (z.B. mittels VRML-Browser oder MuIti-Media-Player) über 3D-Computerspiele an herkömmlichen Personal-Computern oder Spielkonsolen bis zu Virtual-Reality-Systemen in industriellen und akademischen Bereichen.

Um für 3D-Szenen oder für 3D-Objekte eine optische Tiefenwirkung zu erzielen - d.h. einen räumlichen Eindruck, der neben der tatsächlichen zweidimensionalen Darstellung in der XY-0 Ebene auch ein Gefühl der dritten Dimension (Z-Richtung) vermittelt -, kommen verschiedene Verfahren und Systeme zum Einsatz: Perspektivische Projektion, Licht-, Schatten- und Nebeleffekte, Projektionssysteme mit unterschiedlichen Spezialbrillen zur stereoskopischen Darstellung und anderes mehr.

Dabei sind Projektionssysteme mit Spezialbrillen zur stereoskopischen Darstellung von besonderer Bedeutung, da sie einen

guten Tiefeneindruck dadurch vermitteln, dass sie für jedes Auge ein separates Bild darstellen. Die hierbei verwendeten Stereo-Brillen können grob nach Polarisations-, Shutter- und Farb-Systemen unterschieden werden. In jedem Fall benötigt der Benutzer beim Einsatz dieser Systeme eine entsprechende Brille, um den Tiefeneindruck zu erhalten. Der Stereo-Effekt kann aber auch durch spezielle Bildschirmoberflächen erzielt werden, die beispielsweise durch eine bestimmte Riffelung so gestaltet sind, dass jedes Auge eine separates Bild wahrnimmt.

Neben einer guten Tiefenwirkung ist für 3D-Anwendungen die Möglichkeit der virtuellen Selbstbewegung des Beobachters durch eine 3D-Szene bzw. die Betrachtung von 3D-Objekten von verschiedenen Seiten durch den Beobachter wichtig. Dreidimensionale Darstellungen von 3D-Objekten oder 3D-Szenen an herkömmlichen Computer-Arbeitsplätzen oder Spielkonsolen, ob stereoskopisch oder nicht, gehen von einem fixen Betrachterstandpunkt aus. Die Veränderung der Betrachterposition oder 0 Perspektive wird dabei virtuell dadurch erreicht, dass die Ansicht des virtuellen 3D-Objekts oder der virtuellen 3D-Szene mittels Mouse, Tastatur oder durch andere spezielle Eingabegeräte verändert wird. Für den Benutzer komfortabler ist die Nutzung von Tracking-Verfahren beispielsweise im Zusammenhang mit Head-Mounted-Displays (Datenhelme mit angebrachten Sensoren zur Lagebestimmung im Raum), weil dabei die dem Betrachter dargestellte Perspektive auf die virtuelle Szene oder auf das virtuelle Objekt unmittelbar seinen Bewegungen relativ zur Szene bzw. zum Objekt folgt.

Der breite Einsatz von Virtual-Reality-Anwendungen wird aber unter anderem durch die Notwendigkeit der soeben beschriebenen, teilweise teueren Spezialhardware verhindert. Insbeson-

P8023

dere die Anschaffung und das Tragen von 3D-Brillen stellt sich als grundsätzliche Barriere dar.

Die DE 196 13 618 C2 beschreibt eine Vorrichtung zur Einbeziehung einer gegenüber einer Anzeigevorrichtung veränderbaren Betrachterposition in die Darstellung von 3D-Objekten oder 3D-Szenen. Dabei wird die Position des Beobachters vor der Anzeigevorrichtung mithilfe einer lichtempfindlichen Sender-Empfänger-Einrichtung detektiert, wobei der Sender oder Lichtemitter dem Betrachter zugeordnet ist und der Empfänger, bestehend aus einem oder mehreren positionsempfindlichen Detektoren, sich in einer definierten räumlichen Zuordnung zur Anzeigevorrichtung befindet. Der Sender kann bspw. an einer Stereo-Brille, die zur Anzeigevorrichtung gehört, oder an einem Zeigestab angebracht sein. Die Vorrichtung kann auch für 2D-Anzeigevorrichtungen eingesetzt werden, so dass der Aufwand für stereoskopische Darstellungen nicht erforderlich ist. Allerdings handelt es sich bei der Vorrichtung selbst wiederum um eine Spezialhardware, die nicht standardmäßig zur 0 Ausrüstung von Personal-Computern, Work-Stations oder Lap-Tops gehört.

Aufgabe der Erfindung ist es, ausgehend vom Stand der Technik, eine preisgünstige und in gerätetechnischer Hinsicht möglichst unaufwändige Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Objekten oder 3D-Szenen auf 2D-Anzeigevorrichtungen zu schaffen.

Die Erfindung löst diese Aufgabe durch die Merkmale der unabhängigen Ansprüche 1 und 5. Vorteilhafte Ausgestaltungen finden sich in den Unteransprüchen.

Mit der erfindungsgemäßen Vorrichtung kann eine Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Objekten, worunter im weiteren auch Ansichten von 3D-Szenen verstanden werden sollen, auf 2D-Anzeigevorrichtungen durch

eine standardmäßig erhältliche Personalcomputer-, Notebookoder Workstation-Ausrüstung - also mit geringstmöglichen Aufwand - realisiert werden:

- Als 2D-Anzeigevorrichtung können alle herkömmlichen

Bildschirme wie zum Beispiel CRT- (Cathode Ray Tube) , LCD- (Liquid Crystal Display) oder TFT- (Thin-Film-Transistor) Bildschirme dienen.

- Als Kamera kann eine einfache Standard-Kamera, wie sie für Internet-Anwendungen üblich sind, eingesetzt werden; beispielsweise eine analoge Kamera, eine USB- {Universal Serial Bus) oder eine Firewire-Kamera („Firewire" bezeichnet ein bestimmtes Daten-Übertragungs-Protokoll).

Damit besteht die Möglichkeit auch mit herkömmlichen Personal-Computern oder Spielkonsolen auf 2D-Anzeigevorrichtungen einen räumlichen Eindruck 3D-Objekten zu erzeugen, wobei allerdings keine Stereo-Brille erforderlich ist, und in vielen Fällen auch auf manuelle Eingaben zur virtuellen Selbstbewegung des Betrachters verzichtet werden kann.

0 Die Kamera befindet sich bei der erfindungsgemäßen Vorrichtung in einer vorgegebenen räumlichen Zuordnung zur Anzeigevorrichtung. Über diese bekannte geometrische Zuordnung ist auch ein geometrischer Bezug der jeweiligen, von dieser Kamera zu bestimmenden, Betrachterposition zur Anzeigevorrichtung herstellbar. Diese Beziehung „Betrachterposition - Anzeigevorrichtung" wird für der Darstellung eines auf der Anzeigevorrichtung abgebildeten 3D-Objekts berücksichtigt. D.h. bewegt sich der Betrachter vor der Anzeigevorrichtung aus seiner Sicht nach links, wird das betrachtete Objekt nach rechts 0 gedreht dargestellt, so dass der Betrachter entsprechend seiner Nach-Links-Bewegung mehr von der linken Seite des Objekts sehen kann. Entsprechendes gilt für Bewegungen nach rechts, oben oder unten. Da mit der Kamera auch die Entfernung des

Betrachters von der Anzeigevorrichtung bestimmt werden kann, kann der jeweilige Bildausschnitt der gezeigten Objekte oder Szenen auch entsprechend dieser Entfernung vergrößert oder verkleinert {gezoomt) werden.
5

Die Kamera beobachtet den Kopf des Benutzers. Je geringer die Brennweite der Kamera ist, desto größer ist der Bereich, in welchem der Benutzer erfasst werden kann. Bei geeigneter Kamera kann ein Bereich von fast 0° bis nahezu 180° in X- und Y- Richtung erreicht werden.

Die Bestimmung der Betrachterposition durch die Kamera erfolgt durch Erkennung eines markierten Gegenstandes oder durch die Erkennung von markanten Gesichtsmerkmalen, wie zum Beispiel Nase und/oder Mund und/oder Augen. Durch bildanalytische Verfahren wird die 3D-Position (X-,Y- und Z- Koordinaten bezüglich des Projektionsmittelpunktes) des Betrachters oder des markierten Gegenstandes vor der Anzeigevorrichtung bestimmt.

Für eine schnellere oder robustere Berechnung der Betrachterposition können auch Markierungen am Kopf des Betrachters angebracht werden. Hierfür sind die Methoden des sogenannten Marker trackings besonders geeignet. Als Markierungen kommen beispielsweise gut reflektierende Papieretiketten in Frage, wie sie in jedem Büro zu finden sind. Sie können z.B. an einer Brille oder Mütze befestigt sein, oder der Betrachter kann sie beispielsweise auch direkt auf dem Gesicht befestigen. Durch die Verwendung von Markierungen ist es auch möglieh, die Betrachterposition, nach welcher die Darstellung der 3D-Szene oder des 3D-Objekts ausgerichtet wird, virtuell auf eine Zeigeeinrichtung zu verlagern, in dem ein geeigneter Gegenstand, beispielsweise ein Zeigestock, mit Markierungen versehen wird. Damit kann die auf der Anzeigevorrichtung ge-

zeigte Ansicht beispielsweise für eine Gruppe von Betrachtern auf einfache Weise gedreht und/oder gezoomt werden.

Neben der Bestimmung der Betrachterposition kann die Kamera simultan für andere Zwecke genutzt werden, beispielsweise für Video-Konferenzen, bei denen alle Teilnehmer das gleiche virtuelle 3D-Objekt oder die gleiche virtuelle 3D-Szene betrachten.

Die Berechnung einer der Betrachterposition gemäßen Darstellung eines 3D-Objektes oder einer 3D-Szene auf der 2D-Anzeigevorrichtung erfolgt mit Hilfe sogenannter variabler Sichtpyramiden. Die Sichtpyramide ist durch die vier Ecken bzw. die Grundebene der Anzeigevorrichtung und durch die vor der Anzeigevorrichtung liegende Beobachterposition - als Pyramidenspitze - bestimmt. Mit Hilfe der variablen Sichtpyramiden wird in Abhängigkeit von der variablen Betrachterposition eine schiefsymmetrische Projektion der Darstellung des betrachteten 3D-Objekts oder der 3D-Szene vorgenommen. Diese Vorgehensweise ist sowohl für monoskopische als auch für stereoskopische Systeme möglich. Für den Betrachter entsteht so, insbesondere auch bei monoskopischen Systemen, der Eindruck räumlicher Tiefe.

Mit der erfindungsgemäßen Vorrichtung wird eine deutliche Verbesserung des räumlichen Eindrucks bei der Betrachtung von 3D-0bjekten insbesondere auf 2D-Anzeigevorrichtungen erreicht, indem die Betrachterposition durch einfachste Mittel bestimmt und für die Darstellung der 3D-Objekte 0 berücksichtigt wird. Auf diese Weise kann in vielen Anwendungen, wie Desktop-Virtual-Reality oder bei Computerspielen, der räumliche Eindruck von 3D-Ansichten wesentlich erhöht werden, auch wenn auf die Anwendung von stereoskopischen Ver-

fahren und Systemen, insbesondere auf Brillen, vollständig verzichtet wird.

Die erfindungsgemäße Vorrichtung kann auch für die Darstellung einer sogenannten erweiterten Realität (Augmented .Reality) eingesetzt werden. Dies wird vorteilhaft so realisiert, dass eine Kamera (die nicht mit der Kamera zur Detektion der Beobachterposition identisch ist), die für den Betrachter von der Anzeigevorrichtung verdeckte Umgebung aufnimmt, und dieses Bild auf der Anzeigevorrichtung dargestellt wird, wodurch auf der Anzeigevorrichtung quasi eine Durchsicht (video-seethrough) in die reale Umgebung entsteht. Für eine der Betrachterposition entsprechende korrekte Darstellung dieser „Durchsicht" kann entweder das von dieser Kamera gewonnene Bild partiell modifiziert werden, indem nur die der Betrachterposition entsprechenden Ausschnitte in entsprechender Größe daraus gezeigt werden, oder die Kamera wird den Bewegungen des Betrachters, die von der Kamera zur Bestimmung der Beobachterposition ermittelt werden, gesteuert. Die Darstellung 0 der vide0-augr.me.r2 ti er ten Sicht auf der 2D-Anzeigevorrichtung erfolgt im Hintergrund der Darstellung der 3D-Objekte bzw. der 3D-Szene.

Für die Darstellung von erweiterter Realität wird die zusätzliehe Kamera vorteilhaft an der Rückseite der Anzeigevorrichtung montiert.

Der räumliche Eindruck von 3D-Objekten kann durch die erfindungsgemäße Vorrichtung weiter verstärkt werden, indem mehre-0 re solcher Vorrichtungen räumlich angeordnet werden. Bei einer Anordnung bspw. von vier großen Anzeigevorrichtungen im Quadrat kann für einen darin eingeschlossenen Betrachter eine nahezu vollständige Rundumsicht auf eine virtuelle 3D-Szene erreicht werden. Diese Anordnung kann auch durch eine fünfte Anzeigevorrichtung als Decke erweitert werden. Es ist gleich-

• ·· t·

falls denkbar vier kleinere Anzeigevorrichtungen - wiederum im Quadrat - anzuordnen, um die der Betrachter herumgehen kann, so dass er ein 3D-Objekt kontinuierlich von allen Seiten und, ggf. mit zwei weiteren Anzeigevorrichtungen zu einem Würfel ergänzt, sogar von oben oder unten betrachten kann. Natürlich sind noch beliebig viele andere Kombinationen solcher Anzeigevorrichtungen für verschiedene Anwendungen (z.B. auch in Videokonferenzen) in offenen oder geschlossenen Anordnungen denkbar.

Bei einer Anordnung mehrerer erfindungsgemäßer Vorrichtungen kann zur Positionserkennung des Betrachters vorteilhaft eine omnidirektionale Kamera, die separat von den 2D-Anzeigevorrichtungen untergebracht ist, verwendet werden. Auf diese Weise können die Kameras, die den einzelnen Anzeigevorrichtungen zugeordnet sind, durch eine einzige Kamera ersetzt werden, weil diese eine 360°-Aufnahme der Umgebung ermöglicht. Die Kamera ist dabei an einem in Bezug auf die Anordnung der Anzeigevorrichtungen günstigen Ort für die Detektion der Betrachterposition angebracht. So kann sich die Kamera z.B. bei einer quadratischen Anordnung der Anzeigevorrichtungen in ausreichender Höhe über dem Mittelpunkt des Quadrats befinden, wobei die Betrachterposition beispielsweise anhand einer vom Betrachter getragenen Mütze mit geeigneten Markierungen bestimmt wird. Die Befestigung der Kamera kann beispielsweise auf einem Stativ oder an einer Zimmerdecke erfolgen. Natürlich ist es auch möglich, die Beobachterposition durch eine Kombination von mehreren Kameras zu bestimmen.

0 Kommt nur eine erfindungsgemäße Vorrichtung zum Einsatz, ist es vorteilhaft, die Kamera zur Bestimmung der Beobachterposition unmittelbar an der 2D-Anzeigevorrichtung selbst zu befestigen; beispielsweise mittig oberhalb der Oberkante eines herkömmlichen Bildschirms. Eine solche Ausfuhrungsform ist in einfacher Weise als ein Standard-Desktop-Arbeitsplatz mit angeschlossener Web-Cam realisierbar. Aber auch bei einer An-

P802399/ÖE/*f»

Ordnung von mehreren 2D-Anzeigevorrichtungen, kann diese Ausstattungsform mit an der Anzeigevorrichtung montierter Kamera zur Positionserkennung gewählt werden.

Anhand der Zeichnung wird die Erfindung weiter erläutert. Die Figur skizziert eine räumliche Anordnung von vier 2D-Anzeigevorrichtungen.

Im einzelnen bezeichnen die Zeichen
1 eine 2D-Anzeigevorrichtung,

2 eine an der 2D-Anzeigevorrichtung 1 befestigte Kamera und 3 eine omnidirektionale Kamera.

Die beispielhaft gezeigte Anordnung von vier 2D-Anzeigevorrichtungen 1 kann so ausgeführt sein, dass ein Betrachter von den Anzeigevorrichtungen 1 umschlossen ist, und damit beispielsweise eine Rundumsicht auf eine ihn virtuell umgebende 3D-Szene hat. Die Anzeigevorrichtungen 1 können aber auch so ausgerichtet sein, dass sich der Betrachter außerhalb des von den Anzeigevorrichtungen 1 umstellten Raums befindet, 0 wobei er um ein virtuelles 3D-Objekt herumgehen kann, um es von allen Seiten zu betrachten.

Die Bestimmung der Position des Betrachters kann bei beiden beschriebenen Ausführungen durch Kameras 2, die jeweils auf den 2D^Anzeigevorrichtungen 1 befestigt sind, erfolgen, oder durch eine omnidirektionale Kamera 3, die unabhängig von den Anzeigevorrichtungen 1 an einer Stelle mit ausreichendem Überblick, an einem Stativ oder an der Decke befestigt ist. Für eine bessere Erkennung bzw. Bestimmung der Betrachterpo-0 sition, können am Betrachter Markierungen, beispielsweise auf einer Mütze oder auf einer Brille, angebracht sein. Die Berechnung der Betrachterposition und die entsprechende Darstellung der 3D-Ojekte oder der 3D-Szene erfolgt für jede Anzeigevorrichtung separat durch einen herkömmlichen Rechner -

• ·

• · t ·

• ·

• ·

nicht abgebildet - (z.B. Personal-Computer, Workstation, Lap-Top) an den eine Kamera 2 und die 2D-Anzeigevorrichtung 1 angeschlossen sind. Bei Verwendung einer omnidirektionalen Kamera 3 werden die Signale der Kamera 3 an die zu den vorhandenen Anzeigevorrichtungen 1 gehörenden Rechner übertragen.

Dies Ansicht der 3D-Objekte auf einem Anzeigegerät 1 kann auch mit Hilfe eines markierten Zeigestocks - nicht abgebildet - gesteuert werden, den ein Betrachter handhabt.

Die gezeigte Anordnung von 2D-Anzeigevorrichtungen 1 ist nur beispielhaft zu verstehen. Mit der erfindungsgemäßen Vorrichtung sind auch Anordnungen mit mehr oder weniger als vier 2D-Anzeigevorrichtungen 1 darstellbar.

Claims (6)

1. Vorrichtung zur Darstellung von 3D-Objekten auf einer 2D- Anzeigevorrichtung (1), wobei die 3D-Objekte unter Berücksichtigung einer gegenüber der 2D-Anzeigevorrichtung (1) veränderbaren Betrachterposition darstellbar sind, die Betrachterposition mittels einer Positionserkennungseinrichtung bestimmbar ist, und die Positionserkennungseinrichtung in einer vorgegebenen räumlichen Zuordnung zur 2D-Anzeigevorrichtung angebracht ist, dadurch gekennzeichnet, dass die Positionserkennungseinrichtung eine Kamera (2, 3) ist, mit der die Betrachterposition durch Erkennung eines markierten Gegenstandes oder durch Erkennung von Gesichtsmerkmalen eines Betrachters bestimmbar ist.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass eine zusätzliche Kamera ein Bild der von der Anzeigevorrichtung verdeckten Umgebung gleichzeitig mit den 3D-Objekten auf der 2D-Anzeigevorrichtung (1) darstellbar ist, sodass eine virtuelle Durchsicht auf die verdeckte Umgebung ermöglicht wird.

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass sich die zusätzliche Kamera an der Rückseite der 2D- Anzeigevorrichtung (1) befindet.

4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Kamera (2) zur Positionserkennung an der 2D- Anzeigevorrichtung (1) befestigt ist.

5. Vorrichtung zur Darstellung von 3D-Objekten auf 2D- Anzeigevorrichtungen (1), dadurch gekennzeichnet, dass mehrere Vorrichtungen gemäß einem der Ansprüche 1 bis 4 in einer räumlichen Anordnung aufgestellt sind.

6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Kamera zur Positionserkennung eine omnidirektionale Kamera (3) ist, die separat von den 2D-Anzeigevorrichtungen (1) untergebracht ist.