-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Verfahren zum Rendern und Generieren von Farbvideohologrammen aus dreidimensionalen Bilddaten mit Tiefeninformation in Echtzeit zur Erweiterung einer 3D-Rendering-Graphikpipeline.
-
Im Bereich des Renderns betrifft die Erfindung die so genannte 3D-Rendering-Pipeline oder Grafikpipeline, welche die Algorithmen von der vektoriellen, mathematischen Beschreibung einer 3D-Szene zum gerasterten Bild auf dem Monitor umfasst. Die dreidimensionalen Bilddaten beinhalten Tiefeninformation sowie in der Regel zusätzliche Beschreibungen zu Material- und Oberflächeneigenschaften.
-
In der 3D-Rendering-Graphikpipeline erfolgt beispielsweise die Umrechnung von Bildschirmkoordinaten in Gerätekoordinaten, Texturierung, Clipping, sowie das Antialiasing. Das gerasterte Bild, eine 2D-Projektion der 3D-Szene, das im Framebuffer eines Grafikadapters gespeichert wird, enthält nunmehr die Daten der Pixelwerte für die steuerbaren Pixel eines Monitors, beispielsweise eines LCD-Displays.
-
Die Erfindung betrifft ebenso ein analytisches Verfahren zur Berechnung von Hologrammwerten zur Farbdarstellung einer Szene auf einer holographischen Wiedergabeeinrichtung.
-
Einer derartigen holographischen Wiedergabeeinrichtung liegt im Wesentlichen das Prinzip zugrunde, dass mit mindestens einem Lichtmodulatormittel, in welches eine in Objektpunkte zerlegte Szene als Gesamthologramm kodiert wird und als Rekonstruktion von einem Sichtbarkeitsbereich aus zu sehen ist, der innerhalb eines Periodizitätsintervalls der Rekonstruierten des Videohologramms liegt, zusammen mit jedem zu rekonstruierenden Objektpunkt der Szene ein Subhologramm definiert und das Gesamthologramm aus einer Überlagerung von Subhologrammen gebildet wird. Dabei wird im Wesentlichen das Prinzip verfolgt, vorrangig jene Wellenfront, die ein Objekt aussenden würde, in ein oder mehrere Sichtbarkeitsregionen zu rekonstruieren.
-
Im Weiteren liegt einer derartigen Einrichtung das Prinzip zugrunde, dass die Rekonstruktion eines einzelnen Objektpunkts jeweils nur ein Subhologramm als Teilmenge des am Lichtmodulatormittel kodierten Gesamthologramms erfordert. Die holographische Wiedergabeeinrichtung enthält wenigstens ein Bildschirmmittel.
-
Dabei wird als Bildschirmmittel entweder der Lichtmodulator selbst bezeichnet, in dem das Hologramm einer Szene kodiert ist, oder ein optisches Element – beispielsweise Linse oder Spiegel –, auf das ein im Lichtmodulator kodiertes Hologramm oder eine im Lichtmodulator kodierte Wellenfront einer Szene abgebildet wird.
-
Die Festlegung des Bildschirmmittels und die zugehörigen Prinzipien zur Rekonstruktion der Szene in den Sichtbarkeitsbereich sind durch Dokumente des Anmelders beschrieben. In den Dokumenten
WO 2004/044659 A2 sowie
WO 2006/027228 A1 ist das Bildschirmmittel der Lichtmodulator selbst. Im Dokument
WO 2006/119760 A2 , Projektionsvorrichtung und Verfahren zur holographischen Rekonstruktion von Szenen, ist das Bildschirmmittel ein optisches Element, auf das ein im Lichtmodulator kodiertes Hologramm abgebildet wird.
-
In
DE 10 2006 004 300 A1 , Projektionsvorrichtung zur holographischen Rekonstruktion von Szenen, ist das Bildschirmmittel ein optisches Element, auf das eine im Lichtmodulator kodierte Wellenfront der Szene abgebildet wird.
WO 2006/066919 A1 des Anmelders beschreibt ein Verfahren zum Berechnen von Videohologrammen.
-
Die
US 2002/0008887 A1 beschreibt ein Verfahren und eine Einrichtung zum Darstellen eines computergenerierten Hologramms (CGH), wobei die Visualisierung holographischer Daten mit Hilfe der Pulsbreiten-Modulation erfolgt und die Daten durch den Einsatz von DMD digitalisiert dargestellt werden.
-
Die
WO 02/39194 A1 offenbart ein 3D Display, bei welchem das Berechnungsverfahren auf dem DS Algorithmus beruht und bei welchem in der Hologrammebene ortsfest vorgesehene Hologrammbereiche, sogenannte Hogel, mit Hologramminformationen kodiert werden.
-
Technischer Hintergrund und Stand der Technik
-
Ein “Sichtbarkeitsbereich“ ist ein begrenzter Bereich, durch welchen der Betrachter die gesamte rekonstruierte Szene mit ausreichend großer Sichtbarkeit ansehen kann. Innerhalb des Sichtbarkeitsbereichs überlagern sich die Wellenfelder so, dass die rekonstruierte Szene für den Betrachter sichtbar wird. Der Sichtbarkeitsbereich befindet sich auf den oder nahe den Augen des Betrachters. Der Sichtbarkeitsbereich kann in die Richtungen X, Y und Z bewegt werden und wird mit bekannten Positionserkennungs- beziehungsweise Nachführeinrichtungen der aktuellen Betrachterposition nachgeführt. Es ist möglich, zwei Sichtbarkeitsbereiche zu verwenden, nämlich eines für jedes Auge. Aufwändigere Anordnungen von Sichtbarkeitsbereichen sind ebenfalls möglich. Es ist ferner möglich, Videohologramme so zu kodieren, dass für den Betrachter einzelne Objekte oder die ganze Szene scheinbar hinter dem Lichtmodulator liegen.
-
In diesem Dokument wird als Lichtmodulatormittel beziehungsweise SLM eine Einrichtung zum Steuern der Intensität, Farbe und/oder Phase durch Schalten, Austasten oder Modulieren von Lichtstrahlen einer oder mehrerer unabhängiger Lichtquellen bezeichnet. Eine holographische Wiedergabeeinrichtung beinhaltet in der Regel eine Matrix steuerbarer Pixel, wobei die Pixel die Amplitude und/oder Phase von durchstrahlendem Licht verändern und so die Objektpunkte rekonstruieren. Ein Lichtmodulatormittel umfasst eine derartige Matrix. Das Lichtmodulatormittel kann beispielsweise diskret als akusto-optischer Modulator AOM oder auch kontinuierlich ausgeführt sein. Eine Ausführung zur Rekonstruktion der Hologramme durch Amplitudenmodulation kann mit einem Liquid Crystal Display (LCD) erfolgen. Die vorliegende Erfindung bezieht sich ebenso auf weitere steuerbare Vorrichtungen um hinreichend kohärentes Licht zu einer Lichtwellenfront oder zu einem Lichtwellenrelief zu modulieren.
-
Die Bezeichnung Pixel umfasst ein steuerbares Hologramm-Pixel des Lichtmodulators, repräsentiert einen diskreten Wert des Hologrammpunktes und ist einzeln adressiert und gesteuert. Jedes Pixel repräsentiert einen Hologrammpunkt des Hologramms. Im Falle eines LC-Displays bedeutet ein Pixel ein individuell ansteuerbares Display-Pixel. Für eine DLP ist ein Pixel ein individuell steuerbarer Mikrospiegel oder eine kleine Gruppe davon. Bei einem kontinuierlichen Lichtmodulator umfasst ein Pixel eine imaginäre Region, welche den Hologrammpunkt repräsentiert. Bei einer Farbdarstellung wird in der Regel ein Pixel in mehrere Subpixel unterteilt, welche die Grundfarben repräsentieren. Der Begriff "Transformation" ist so weit auszulegen, dass er jede mathematische oder rechnerische Technik einschließt, die einer Transformation gleichkommt oder diese annähert. Transformationen im mathematischen Sinne sind lediglich Annäherungen physikalischer Prozesse, die genauer durch die Maxwellschen Wellenausbreitungsgleichungen beschrieben werden. Transformationen wie etwa Fresneltransformationen oder die spezielle Gruppe von Transformationen, die als Fouriertransformationen bekannt sind, beschreiben Annäherungen zweiter Ordnung. Transformationen führen in der Regel auf algebraische und nicht differentielle Beschreibungen und können folglich rechentechnisch effizient und performant gehandhabt werden. Überdies können sie präzise als optische Systeme modelliert werden.
-
WO 2006/066919 A1 des Anmelders beschreibt ein Verfahren zum Berechnen von Videohologrammen. Es basiert im Wesentlichen darauf, eine Zerlegung der Szene in Ebenenschnitte parallel zur Ebene eines Lichtmodulators durchzuführen, alle Ebenenschnitte in einen Sichtbarkeitsbereich zu transformieren und dort aufzusummieren. Anschließend werden die summierten Ergebnisse in die Hologrammebene, in welcher auch der Lichtmodulator liegt, zurück transformiert und so die komplexen Hologrammwerte des Videohologramms ermittelt.
-
DE 10 2006 025 096 A1 beschreibt ein Verfahren zum Rendern und Generieren von Videohologrammen aus Bilddaten mit Tiefeninformation in Echtzeit, wobei in einem ersten Modus eine 3D-Rendering-Graphikpipeline, welche die Umwandlung einer 3D-Szene zu gerasterten Bilddaten als 2D-Projektion der 3D-Szene beschreibt und Pixelwerte für die steuerbaren Pixel eines Monitors generiert. Es ist dadurch gekennzeichnet, dass die Pipeline schaltbar derart erweitert ist, dass in einem zweiten Modus in mindestens einer holographischen Pipeline die Generierung komplexer Hologrammwerte als Pixelwerte für einen Spatial Light Modulator (SLM) erfolgt, wodurch gleichzeitig oder alternativ zur üblichen grafischen Darstellung durch das Ansteuern des Spatial-Light-Modulators mit den Hologrammwerten ein einfallendes Wellenfeld so moduliert wird, dass durch Interferenz im Raum die gewünschte dreidimensionale Szene rekonstruiert wird.
-
DE 10 2006 042 324 A1 beschreibt ein Verfahren zum Generieren von Videohologrammen in Echtzeit. Es nutzt das Prinzip, dass die Rekonstruktion eines einzelnen Objektpunkts nur ein Subhologramm als Teilmenge des auf dem SLM kodierten Gesamthologramms erfordert. Es ist dadurch charakterisiert, dass für jeden Objektpunkt die Beiträge der Subhologramme aus Look-Up-Tabellen bestimmbar sind und die Subhologramme zu einem Gesamthologramm zur Rekonstruktion der gesamten Szene akkumuliert werden.
-
Die genannten Verfahren erlauben eine rasche Generierung der Hologrammwerte. Es ist jedoch erforderlich, die 3D-Rendering-Graphikpipeline in weiterführende Betrachtungen einzubeziehen. Als Ergebnis einer 3D-Rendering-Graphikpipeline, welche die Umwandlung einer 3D-Szene zu gerasterten Bilddaten als 2D-Projektion der 3D-Szene beschreibt, liegt die Beschreibung in zwei Speicherbereichen, dem Framebuffer und dem Z-Buffer vor:
- – Der Framebuffer enthält die Farbwerte, die so genannte Color-Map der Szene, welche der Betrachter sieht
- – Der Z-Buffer enthält die Tiefenmap der Szene in einer normierten Darstellung, so wie sie vom Standort des Betrachters aus gesehen wird.
Diese Daten sind die Eingangsdaten für die nachfolgende holographische Pipeline, welche komplexe Hologrammwerte als Pixelwerte für den Lichtmodulator generiert.
-
Das erstgenannte Verfahren für die Generierung von Videohologrammen ist für die interaktive Echtzeitdarstellung nur mit hohem Aufwand an Ressourcen realisierbar. Als Folge der langen Berechnungszeit können Videosequenzen und interaktive 3D-Echtzeitanwendungen nicht in der gewünschten Wiederholfrequenz dargeboten werden. Analog zur herkömmlichen Videotechnik ist jedoch eine hohe Rate der Bildwiederholung für die Anzeige der computergenerierten Videohologramme wünschenswert und unerlässlich.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zu schaffen, welches die erforderliche Berechnungszeit für die Ermittlung der farbbezogenen Hologrammwerte signifikant reduziert. Die Echtzeitfähigkeit des Verfahrens soll nachhaltig untermauert werden. Gleichzeitig soll der wirtschaftliche und technische Aufwand für die Berechnungsmittel zur Durchführung des Verfahrens reduziert werden. Im Weiteren soll die Architektur aktueller Grafikkarten beziehungsweise 3D-Pipelines durch zusätzliche Hard- und Softwaremodule erweitert werden, um die Generierung der Farbvideohologramme in Echtzeit weiterführend zu unterstützen.
-
Zusammenfassung der Erfindung
-
Das erfindungsgemäße Verfahren zum Generieren von Videohologrammen ist für holographische Wiedergabeeinrichtungen gemäß Oberbegriff geeignet. Zum Generieren der Farbvideohologramme wird eine 3D-Rendering-Graphikpipeline, welche die Umwandlung der 3D-Szene zu gerasterten Bilddaten als 2D-Projektion der 3D-Szene beschreibt, erweitert. In der 3D-Rendering-Graphikpipeline erfolgt beispielsweise die Umrechnung von Bildschirmkoordinaten in Gerätekoordinaten, Texturierung, Clipping, sowie das Antialiasing. Die Bilddaten beinhalten Tiefeninformation sowie in der Regel zusätzliche Beschreibungen zu Material- und Oberflächeneigenschaften. Das gerasterte Bild, eine 2D-Projektion der 3D-Szene, das im Framebuffer eines Grafikadapters gespeichert wird, enthält nunmehr die Daten der Pixelwerte für die steuerbaren Pixel eines Monitors, beispielsweise eines LCD-Displays.
-
Als Ergebnis der 3D-Rendering-Graphikpipeline das Ergebnis in zwei Speicherbereichen, dem Framebuffer und dem Z-Buffer vor:
Der Framebuffer enthält die Farbinformation, die so genannte Color-Map der Szene, welche der Betrachter sieht und der Z-Buffer enthält die Tiefenmap der Szene, also die Tiefeninformation in einer normierten Darstellung, so wie sie vom Standort des Betrachters aus gesehen wird.
-
Im Weiteren erfolgt aus den Ergebnisdaten der 3D-Rendering-Graphikpipeline in einer holographischen Pipeline die Generierung komplexer Hologrammwerte als Pixelwerte für einen Lichtmodulator einer holographischen Anzeigevorrichtung.
-
Einer derartigen holographischen Wiedergabeeinrichtung mit entsprechenden Lichtmodulatormitteln liegt dabei ebenso das Prinzip zugrunde, vorrangig jene Wellenfront, die ein Objekt aussenden würde, in Richtung von Betrachteraugen beziehungsweise in einen Sichtbarkeitsbereich zu rekonstruieren. Die Begriffsbestimmungen zum Sichtbarkeitsbereich wurden bereits erläutert.
-
Im Weiteren wird das Prinzip genutzt, dass die Rekonstruktion eines einzelnen Objektpunkts einer Szene jeweils nur ein Subhologramm als Teilmenge des auf den Lichtmodulatormitteln kodierten Gesamthologramms erfordert. Dieses Prinzip ist gleichzeitig der erste Schritt des erfindungsgemäßen Verfahrens. Ein einzelner Objektpunkt wird jeweils durch ein Subhologramm erzeugt, dessen Lage von der Position des Objektpunkts und dessen Größe von der Position des Betrachters abhängt. Der Bereich des Subhologramms auf dem Lichtmodulatormittel wird nachfolgend als Modulatorbereich bezeichnet. Der Modulatorbereich ist jener Teilbereich des Lichtmodulatormittels, welcher erforderlich ist, um den Objektpunkt zu rekonstruieren. Der Modulatorbereich beschreibt gleichzeitig, welche Pixel auf dem Lichtmodulator entsprechend angesteuert werden müssen, um diesen Objektpunkt zu rekonstruieren. Die Position des Modulatorbereichs bleibt fest, wenn es sich um einen so genannten ortsfesten Objektpunkt handelt. Dabei ändert der zu rekonstruierende Objektpunkt seine Lage in Abhängigkeit von der Betrachterposition. Durch Änderung des Modulatorbereichs in Abhängigkeit der Betrachterposition wird erreicht, dass der Objektpunkt ortsfest kodiert wird, das heißt, er ändert seine räumliche Lage in Abhängigkeit der Betrachterposition nicht. In Bezug auf die Erfindung können diese Prinzipien analog behandelt werden. Im Weiteren liegt der Erfindung das Prinzip zugrunde, dass das Gesamthologramm, welches schließlich die gesamte Szene rekonstruiert, als Überlagerung der jeweiligen Subhologramme ermittelbar ist.
-
Der Erfindung liegt der Gedanke zugrunde, dass für jede Grundfarbe jeweils eine holographische Farbpipeline Hologrammwerte für die Lichtmodulatormittel generiert, wobei die holographischen Farbpipelines das jeweilige Subhologramm der Grundfarbe parallel ablaufend ermitteln.
-
Eine holographische Farbpipeline repräsentiert eine Grundfarbe (Primärfarbe), die durch eine charakteristische Wellenlänge repräsentiert ist. Im einfachsten Fall ist dies eine der bekannten RGB-Grundfarben, aus denen alle anderen Farben gemischt beziehungsweise durch Multiplexing geschaffen werden können.
-
Die einzelnen Farbhologramme eines Objektpunkts liegen somit gleichzeitig vor. Wunschgemäß liegen folglich auch die farbbezogenen Gesamthologramme der gesamten Szene gleichzeitig vor. Auch hier ist das zu einer Grundfarbe gehörige Gesamthologramm als Summe der jeweiligen farbbezogenen Subhologramme ermittelbar.
-
Nachfolgend werden die Verfahrensschritte anhand einer holographischen Farbpipeline erläutert. Das Prinzip ist für jede verwendete Grundfarbe analog übertragbar. Nachdem der Modulatorbereich eines Objektpunkts ermittelt wurde, wird das zugehörige Subhologramm ermittelt und das Subhologramm als Beitrag des Gesamthologramms aufaddiert. In einer bevorzugten Ausführungsform ist das Subhologramm eines Objektpunkts aus vorab erstellten Look-Up-Tabellen bestimmbar.
-
Die parallele Durchführung der holographischen Farbpipelines erfordert eine Erweiterung der 3D-Rendering-Graphikpipeline. Wie bereits erläutert, liegt das Ergebnis der 3D-Rendering-Graphikpipeline in zwei Speicherbereichen, dem Framebuffer und dem Z-Buffer vor:
Der Framebuffer enthält die Farbinformation, die so genannte Color-Map der Szene, welche der Betrachter sieht und der Z-Buffer enthält die Tiefenmap der Szene, also die Tiefeninformation in einer normierten Darstellung, so wie sie vom Standort des Betrachters aus gesehen wird. In einer ersten Detaillierung der Erfindung werden die Ergebnisse der 3D-Rendering-Graphikpipeline für jede Grundfarbe in separate Speicherbereiche abgelegt. Der Speicherinhalt wird entsprechend dupliziert, so dass jede holographische Pipeline über einen eigenen Framebuffer mit der ihm zugehörigen Farbe sowie über einen eigenen Z-Buffer verfügt. Damit ist gewährleistet, dass sich die holographischen Pipelines beim Zugriff auf die Eingangsdaten nicht behindern und somit hoch performant auf diese Daten zugreifen können.
-
In einer weiteren bevorzugten Detaillierung der Erfindung legt die 3D-Rendering-Graphikpipeline für jeden Objektpunkt die ermittelten Farbwerte in einen einzigen Framebuffer sowie die ermittelten Tiefenwerte analog in einen einzigen Z-Buffer ab. Zur Versorgung der holographischen Farbpipelines ist ein Multiplexer als Steuerungsmittel vorgesehen, welcher die Daten an die parallelen holographischen Farbpipelines verteilt und übermittelt.
-
Die generierten farbbezogenen Gesamthologramme werden in Speichermittel abgelegt oder an die holographische Wiedergabeeinrichtung übertragen. In der Wiedergabeeinrichtung werden aus den farbbezogenen Gesamthologrammen durch zeitliches oder räumliches Multiplexing Farbhologramme dargeboten.
-
Insbesondere durch die Verwendung der genannten Verfahren zur Ermittlung der Subhologramme wird die Anforderung an die Generierung der farbbezogenen Hologrammwerte in Echtzeit gesichert. Analog zur herkömmlichen Videotechnik kann eine hohe Rate der Bildwiederholung für die Anzeige der computergenerierten Videohologramme geboten werden, wobei auch kostengünstige und einfache Recheneinheiten die Generierung in Echtzeit gewährleisten können.
-
Nachfolgend wird das besonders bevorzugte Verfahren zur Berechnung der komplexen Hologrammwerte weiterführend erläutert. Dem Verfahren liegt der Gedanke zugrunde, dass die komplexen Hologrammwerte eines Subhologramms aus der Wellenfront des jeweils zu rekonstruierenden Objektpunkts in einem Modulatorbereich des Lichtmodulatormittels ermittelt werden, indem die Transmissions- oder Modulationsfunktionen eines im Modulatorbereich modellierten Abbildungselements, in dessen Brennpunkt der zu rekonstruierende Objektpunkt liegt, berechnet und ausgewertet werden. Das Abbildungselement befindet sich dabei in der Hologrammebene der holographischen Wiedergabeeinrichtung. Die Hologrammebene ist durch den Ort eines Bildschirmmittels festgelegt, wobei zur Vereinfachung in den nachfolgenden Erläuterungen das Bildschirmmittel der Lichtmodulator selbst ist.
-
In einer besonders bevorzugten Ausführungsform des Verfahrens umfasst das Abbildungselement eine in der Hologrammebene liegende Linse mit der Brennweite f, welche geneigt ist. Eine geneigte Linse ist eine Zusammensetzung aus einer in Bezug auf die Hologrammebene nicht geneigten Linse sowie einem vertikal und einem horizontal wirkenden Prisma. Streng genommen wird durch ein Prisma kein Subhologramm definiert, da durch die nichtfokale Prismenfunktion kein Objektpunkt rekonstruiert wird. Im Sinne der Klarheit des Erfindungsgedankens wird dies nachfolgend jedoch so bezeichnet, da das Prisma im Modulatorbereich ebenso einen Beitrag zu den komplexen Hologrammwerten liefert.
-
Zur Berechnung der komplexen Werte des Subhologramms umfasst diese Detaillierung des Verfahrens für jeden sichtbaren Objektpunkt der Szene die nachfolgenden Schritte:
A: Ermittlung der Größe und Lage des Modulatorbereichs, analog den oben genannten Ausführungen, jedoch wird nachfolgend dem Modulatorbereich ein lokales Koordinatensystem zugrunde gelegt, wobei der Ursprung des Systems im Zentrum liegt, die x-Koordinate die Abszisse und die y-Koordinate die Ordinate beschreibt. Für den Modulatorbereich wird “a“ als halbe Breite und “b“ als halbe Höhe als Bemaßung gewählt, wobei diese Intervallgrenzen in die nachfolgenden Terme eingehen.
-
B: Ermittlung des Subhologramms der Linse in der Hologrammebene:
B1: Bestimmung der Brennweite f der Linse:
Die Brennweite f der Linse ist vorzugsweise der Normalabstand des zu rekonstruierenden Objektpunkts von der Hologrammebene.
B2: Komplexe Werte des zugehörigen Subhologramms der Linse:
Die komplexen Werte des zugehörigen Subhologramms werden aus zL = exp{+/–i·[(π/λf)·(x2 + y2)]}, ermittelt, mit λ als Bezugswellenlänge, f als Brennweite und dem zugehörigen Koordinatenpaar (x, y). Das negative Vorzeichen folgt hier aus der Eigenschaft einer konkaven Linse. Eine konvexe Linse ist durch ein positives Vorzeichen gekennzeichnet.
B3: Aufgrund der Symmetrie in x und y ist es ausreichend, die komplexen Werte in einem Quadranten zu ermitteln und unter Beachtung der Vorzeichen die weiteren Werte auf die anderen Quadranten zu übertragen.
-
C: Ermittlung der Subhologramme der Prismen (P) in der Hologrammebene:
Die gewählten Prismen gehen dabei, siehe auch die nachfolgenden Figuren, durch die Abszisse beziehungsweise Ordinate.
C1: Bestimmung des Linearfaktors Cx des Prismas (PH) mit horizontaler Wirkungsrichtung, welcher im Intervall x ∊ [–a, a] beschrieben wird durch Cx = M·(2π/λ); mit M als Neigung des Prismas.
C2: Bestimmung des Linearfaktors Cy des Prismas (PV) mit vertikaler Wirkungsrichtung, welcher analog im Intervall y ∊ [–b, b] beschrieben wird durch Cy = N·(2π/λ); mit N als Neigung des Prismas.
C3: Ermittlung der komplexen Werte des zugehörigen Subhologramms der kombinierten Prismen:
Die komplexen Werte des zugehörigen Subhologramms werden aus der Überlagerung der beiden Prismenterme zP = exp{i·[ Cx·(x – a) + Cy·(y – b)]} ermittelt. Das überlagerte Prisma geht durch den Ursprung des lokalen Koordinatensystems.
C4: Ein entsprechender Prismenterm entfällt, wenn die holographische Wiedergabeeinrichtung die Eigenschaft aufweist, die Lichtquelle in den Sichtbarkeitsbereich abzubilden.
-
D: Modulation der Subhologramme für Linse und Prismen:
Zur Ermittlung des kombinierten Subhologramms werden die komplexen Werte der Linse und der Prismen komplex multipliziert: zSH = zL·zP beziehungsweise symbolisch SH = SHL·SHP
-
E: Anwendung der Zufallsphase
Jedem modulierten Subhologramm aus Schritt D wird eine zufallsverteilte Phase zugeordnet, um eine homogene Helligkeitsverteilung im Sichtbarkeitsbereich zu gewährleisten. Die Zufallsphase wird zum Subhologramm aufaddiert, indem eine komplexe Multiplikation ausgeführt wird: zSH := zSHexp(iΦ0) beziehungsweise symbolisch SH := SHexp(iΦ0) Die Zufallsphase wird jedem Subhologramm einzeln zugeordnet. Vorzugsweise sind insgesamt global betrachtet die Zufallsphasen aller Subhologramme gleich verteilt.
-
F: Intensitätsmodulation
Die komplexen Werte werden mit einem zusätzlichen Multiplikationsfaktor, welcher die Intensität beziehungsweise die Helligkeit repräsentiert, versehen. zSH = C·zSH beziehungsweise symbolisch SH := C·SH;
-
G: Wird das Gesamthologramm berechnet, so werden die Subhologramme zum Gesamthologramm überlagert. In einer einfachen Lösung werden die Subhologramme zum Gesamthologramm – unter Beachtung der Lage der Subhologramme – komplex aufaddiert.
Gesamthologramm = komplexe Summe der Subhologramme mit HΣSLM = ΣSHi beziehungsweise symbolisch zSLM = ΣzSHi (mit Bezug auf ein globales Koordinatensystem)
-
Das Verfahren wird vorzugsweise nur für sichtbare Objektpunkte angewendet. Die Sichtbarkeit des Objektpunkts wird im Zuge des Renderns der Szene von einer 3D-Rendering-Graphikpipeline bestimmt und folgt aus der Betrachterposition, also der entsprechenden Position der Pupillen und folglich aus der Position des Sichtbarkeitsbereichs, welcher der Position der Pupillen nachgeführt ist.
-
Die detaillierte Beschreibung bezieht sich darauf, die bestmögliche Lösung zu berechnen. Es ist selbstverständlich möglich, die genannten Funktionsterme durch einfachere zu ersetzen, wenn eine Verschlechterung der Rekonstruktion akzeptiert oder gar gewünscht wird. Auf der anderen Seite ist es ersichtlich, dass aufdatierte Verfahrensschritte angewendet werden, um die Qualität der Rekonstruktion zu erhöhen. Beispielsweise können Linsen beziehungsweise Prismen speziell gewählt werden, um Abberationen, toleranzbehaftete Lichtmodulatormittel oder dergleichen zu kompensieren. Dies gilt ebenso für die beispielhaft genannten Methoden, den Modulatorbereich zu bestimmen.
-
In einer Erweiterung des Verfahrens werden ausgehend von den komplexen Hologrammwerten des Gesamthologramms die Pixelwerte für eine bestimmte holografische Wiedergabeeinrichtung ermittelt. Beispielsweise werden die komplexen Hologrammwerte in Burckhardt-Komponenten, Zweiphasenkomponenten oder eine andere geeignete Kodierung umgewandelt.
-
Diesem Verfahren liegt der Vorteil zugrunde, dass die Lage des zu rekonstruierenden Objektpunkts innerhalb des Rekonstruktionsbereichs (Frustrum) beliebig ist und nicht durch eine Diskretisierung, wie beispielsweise Schnittebenen, angenähert ist. In Schritt (B1) wird die Brennweite f der Linse exakt bestimmt. Ebenso werden in Schritt (C) die Parameter der Prismen exakt bestimmt.
-
Neben einer Generierung der Hologrammwerte für die Darstellung auf einer holographischen Wiedergabeeinrichtung werden mit dem erfindungsgemäßen Verfahren bevorzugt Look-Up-Tabellen mit den generierten Subhologrammen befüllt. Dabei wird für einen Objektpunkt das zugehörige Subhologramm nach dem Verfahren ermittelt und in Look-Up-Tabellen abgelegt. Eine derartige Look-Up-Tabelle erlaubt es somit, das vorab berechnete Subhologramm eines Objektpunkts gemäß seiner Farb- und Tiefeninformation auszulesen und im Zuge der Generierung der Hologrammdaten zu verwenden. Vorzugsweise werden die Look-Up-Tabellen mit den Subhologrammen des Abbildungselements, also der kombinierten Linsen- und Prismenfunktion befüllt. Es ist jedoch denkbar, entsprechende Tabellen separat mit den auf die Linsen- beziehungsweise Prismenfunktion bezogenen Subhologrammen zu befüllen. Generell erlauben diese Look-Up-Tabellen eine nachhaltige Beschleunigung von Verfahren, wo analog dem erfindungsgemäßen Verfahren ebenso das Prinzip von Subhologrammen in vorteilhafter Weise genutzt wird. Derartige Look-Up-Tabellen erlauben beispielsweise weiterführende beziehungsweise rechenintensive Verfahren zu beschleunigen.
-
Mit Hilfe dieses Verfahrens können in Echtzeit für die interaktive holographische Darstellung Objektpunkte an beliebigen Positionen innerhalb des Rekonstruktionsraums mit heute verfügbaren Standardkomponenten der Hardware generiert werden. Bei höherer Leistung der Verarbeitungseinheit, welche das Verfahren durchführt, kann die Szene feiner strukturiert und die Qualität der Rekonstruktion signifikant erhöht werden. Das erfindungsgemäße Verfahren vermeidet ansonsten verwendete aufwändige Transformationen und ist durch einen einfachen Aufbau analytisch durchführbarer Schritte gekennzeichnet.
-
Damit ist die Echtzeitfähigkeit des erfindungsgemäßen Verfahrens nachhaltig untermauert.
-
Bevorzugte Ausführungsformen
-
Anhand von Ausführungsbeispielen wird die Erfindung nachstehend weiterführend erläutert. In den zugehörigen Figuren zeigen
-
1 das zugrunde liegende Prinzip einer holographischen Wiedergabeeinrichtung und einen Modulatorbereich eines Objektpunkts,
-
2a die Wiedergabeeinrichtung in einer Seitenansicht mit einem Abbildungselement aus Linse und Prisma,
-
2b einen Modulatorbereich und ein vertikal wirkendes Prisma,
-
2c einen Modulatorbereich und ein horizontal wirkendes Prisma,
-
3 einen Ablaufplan des erfindungsgemäßen Verfahrens und
-
4 eine Variante des Verfahrens zur Rekonstruktion eines Objektpunkts hinter der Hologrammebene
-
5 einen Ablaufplan einer bevorzugten Ausführungsform des Verfahrens und die farbbezogene Erweiterung einer 3D-Rendering-Graphikpipeline mit einer holographischen Pipeline.
-
1 veranschaulicht das zugrunde liegende Prinzip einer holographischen Wiedergabeeinrichtung (HAE) für einen Betrachter. Das Prinzip ist für mehrere Betrachter analog. Die Position eines Betrachters ist dabei durch die Position seiner Augen, respektive seiner Pupillen (VP) charakterisiert. Die Einrichtung enthält ein Lichtmodulatormittel (SLM), welches zur einfacheren Darstellung in dieser Ausführungsform gleich dem Bildschirmmittel (B) ist, und überlagert die mit Informationen von Objektpunkten einer Szene (3D-S) modulierten Wellenfronten in wenigstens einem Sichtbarkeitsbereich (VR). Der Sichtbarkeitsbereich ist den Augen nachgeführt. Die Rekonstruktion eines einzelnen Objektpunkts (OP) einer Szene (3D-S) erfordert dabei jeweils nur ein Subhologramm (SH) als Teilmenge des auf Lichtmodulatormitteln (SLM) kodierten Gesamthologramms (HΣSLM). Der Bereich des Subhologramms auf dem Lichtmodulator (SLM) ist der Modulatorbereich (MR). Wie aus dieser Figur ersichtlich, ist der Modulatorbereich (MR) nur ein kleiner Teilbereich des Lichtmodulatormittels (SLM). Das Zentrum des Modulatorbereichs (MR) liegt in einer einfachsten Lösungsmöglichkeit auf der Geraden durch den zu rekonstruierenden Objektpunkt (OP) und dem Zentrum des Sichtbarkeitsbereichs (MR). Die Größe des Modulatorbereichs (MR) wird in einer einfachsten Lösungsmöglichkeit mit Hilfe des Strahlensatzes ermittelt, wobei der Sichtbarkeitsbereich (VR) durch den zu rekonstruierenden Objektpunkt (OP) auf das Lichtmodulatormittel (SLM) zurückverfolgt wird. Im Weiteren ergeben sich dadurch die Indices jener Pixel auf dem Lichtmodulatormittel (SLM), die zur Rekonstruktion dieses Objektpunkts erforderlich sind. Wie aus der Figur ersichtlich, wird dem Modulatorbereich (MR) ein Koordinatensystem zugrunde gelegt, wobei der Ursprung des Systems im Zentrum liegt, die x-Koordinate die Abszisse und die y-Koordinate die Ordinate beschreibt. Der Modulatorbereich (MR) ist mit “a“ als halbe Breite und “b“ als halbe Höhe bemaßt.
-
2a zeigt die holographische Wiedergabeeinrichtung (HAE) in einer Seitenansicht und veranschaulicht das Grundprinzip des Verfahrens. Analog zu 1 wird der Modulatorbereich (MR) abgeleitet. Dieser Bereich ist in der Hologrammebene (HE), in welcher sich der Lichtmodulator (SLM) befindet. Im Modulatorbereich (MR) liegt das Abbildungselement (OS), welches hier eine Sammellinse (L) und ein Prisma (P) umfasst. Für das Prisma ist nur der vertikal wirkende Prismenkeil eingezeichnet und das Abbildungselement (OS) ist in der Figur zur besseren Sichtbarkeit vor dem Lichtmodulatormittel (SLM) liegend eingezeichnet.
-
2b zeigt einen horizontal wirkenden Prismenkeil (PH) vor dem Modulatorbereich (MR) mit den entsprechend verwendeten Koordinaten und Bemaßungen. Der Prismenkeil geht hier durch die Ordinate.
-
2c zeigt analog einen vertikal wirkenden, durch die Abszisse gehenden Prismenkeil (PV). Die beiden Prismenkeile werden, wie nachfolgend erläutert, überlagert.
-
3 zeigt einen Ablaufplan des erfindungsgemäßen Verfahrens. Ausgangspunkt des Verfahrens ist eine dreidimensionale Szene (3D-S), welche in eine Vielzahl von Objektpunkten (OP) strukturiert wird. Zu den Objektpunkten (OP) sind Farb- und Tiefeninformationen verfügbar. Anhand der Tiefeninformation des Objektpunkts wird dessen Sichtbarkeit gemäß der Betrachterposition, respektive der Pupillen des Betrachters, ermittelt. Für jeden sichtbaren Objektpunkt wird im Schritt (A) die Größe und Lage des zugehörigen Modulatorbereichs (MR) in der Hologrammebene (HE) beziehungsweise auf den Lichtmodulatormitteln bestimmt. Dem Gedanken der Erfindung folgend wird der zu rekonstruierende Objektpunkt (OP) als der Brennpunkt eines in der Hologrammebene liegenden Abbildungselements interpretiert und das Abbildungselement als Kombination einer Sammellinse (L) und, siehe 2b, 2c, von vertikal beziehungsweise horizontal wirkenden Prismen (PH, PV) aufgefasst. Die komplexen Hologrammwerte des Subhologramms (SH) werden aus der Wellenfront des jeweils zu rekonstruierenden Objektpunkts (OP) in einem Modulatorbereich (MR) des Lichtmodulatormittels ermittelt, indem die Transmissions- oder Modulationsfunktionen des im Modulatorbereich (MR) modellierten Abbildungselements (OS), in dessen Brennpunkt der zu rekonstruierende Objektpunkt (OP) liegt, berechnet und ausgewertet werden. Für jeden sichtbaren Objektpunkt wird somit im Schritt (B1) die Brennweite der Linse (L) als Normalabstand des Objektpunkts (OP) zur Hologrammebene (HE) ermittelt.
-
Die komplexen Werte für des zugehörigen Subhologramms (SHL) werden im Schritt (B2) aus zL = exp{–i·[(π/λf)·(x2 + y2)]} ermittelt, mit λ als Bezugswellenlänge, f als Brennweite, und dem zugehörigen lokalen Koordinatenpaar (x, y). Das Koordinatensystem ist wie eingangs beschrieben festgelegt.
-
Im Schritt (C) werden die Subhologramme (SHP) der Prismen (P) in der Hologrammebene ermittelt. Die Bestimmung des Linearfaktors Cx des Prismas (PH) mit horizontaler Wirkungsrichtung erfolgt durch Cx = M·(2π/λ); wobei M als Neigung des Prismas definiert ist. Dies erfolgt für das vertikale Prisma analog mit N als Neigung. Die komplexen Werte des zugehörigen Subhologramms (SHP) werden aus der Überlagerung der beiden Prismenterme SHP:= zP = exp{i·[Cx·(x – a) + Cy·(y – b)]} ermittelt. Ein Prismenterm entfällt, wenn die holographische Wiedergabeeinrichtung die Eigenschaft aufweist, die Lichtquelle in den Sichtbarkeitsbereich (VR) abzubilden.
-
Nachdem die Subhologramme (SHL) der Linse (L) und jener (SHP) der Prismen (P) nun vorliegen, werden sie überlagert, indem im Schritt (D) für das kombinierte Subhologramm (SH) die komplexen Werte der Linse und der Prismen mit
zSH = zL·zP beziehungsweise symbolisch SH = SHL·SHP
komplex multipliziert werden.
-
Im Schritt (E) wird das Subhologramm (SH) mit einer gleich verteilten Zufallsphase versehen.
-
Im Schritt (F) erfolgt eine Intensitätsmodulation, wobei das Subhologramm (SH) durch
zSH = C·zSH beziehungsweise symbolisch SH := C·SH
mit einem Intensitätsfaktor versehen wird.
-
Das kombinierte Subhologramm (SH) eines Objektpunkts (OP) liegt nun vollständig vor.
-
In einem weiteren Verfahrensschritt (G), welcher auch getrennt erfolgen kann, werden die Subhologramme der Objektpunkte zu einem Gesamthologramm (HΣ
SLM) aufaddiert. Die einzelnen Subhologramme (SH
i) der Objektpunkte sind superponierbar und werden zum Gesamthologramm (HΣ
SLM) komplex aufaddiert. Gesamthologramm = komplexe Summe der Subhologramme der Objektpunkte mit
HΣSLM = ΣSHi beziehungsweise z
SLM = Σz
SHi (mit Bezug auf ein globales Koordinatensystem). Das Gesamthologramm (HΣ
SLM) repräsentiert das Hologramm aller Objektpunkte. Es repräsentiert und rekonstruiert somit die gesamten Szene (3D-S). In einem abschließenden Schritt (H) kann, wie bereits erläutert, durch eine Kodierung das Gesamthologramm in Pixelwerte für eine holographische Wiedergabeeinrichtung, welche ebenso das Prinzip der Subhologramme in vorteilhafter Weise nutzt, umgewandelt werden. Insbesondere sind dies, analog bereits erfolgten Erläuterungen, Einrichtungen nach
WO 2004/044659 A2 ,
WO 2006/027228 A1 ,
WO 2006/119760 A2 , sowie
DE 10 2006 004 300 A1 .
-
4 veranschaulicht, dass durch das Verfahren Objektpunkte (OP), welche hinter der Hologrammebene (HE) liegen, prinzipiell analog rekonstruiert werden können. Das Abbildungselement (OS) umfasst in diesem Fall analog die genannten Prismen (P), jedoch ist in diesem Fall die Linse im Abbildungselement eine Streulinse (L), für welche die Wellenfront im Modulatorbereich analog ermittelt werden kann.
-
5 veranschaulicht das Verfahren zur Generierung des Gesamthologramms (HΣSLM) und zeigt wie eine 3D-Rendering-Graphikpipeline (RGP) mit einer holographischen Pipeline (HGP) erweitert wird, um aus den Bilddaten mit Tiefeninformationen die komplexen Hologrammwerte für den Lichtmodulator (SLM) der holographischen Wiedergabeeinrichtung (HAE) zu generieren.
-
In der 3D-Rendering-Graphikpipeline (RGP) erfolgt beispielsweise die Umrechnung von Bildschirmkoordinaten in Gerätekoordinaten, Texturierung, Clipping, sowie das Antialiasing. Als Ergebnis der 3D-Rendering-Graphikpipeline (RGP), welche die Umwandlung der Szene (3D-S) zu gerasterten Bilddaten als 2D-Projektion der Szene beschreibt liegt das Ergebnis in zwei Speicherbereichen vor:
- – Framebuffer (FB): enthält die Farbwerte, die so genannte Color-Map der Szene, welche der Betrachter sieht
- – Z-Buffer (ZB): enthält die so genannte Tiefenmap der Szene in einer normierten Darstellung, so wie sie vom Standort des Betrachters aus gesehen wird.
Zur besseren Erläuterung sind in 5 diese Speicherbereiche der Graphikpipeline, gesondert eingezeichnet und schematisch dargestellt. Diese Daten sind die Eingangsdaten für die nachfolgenden holographischen Farbpipelines (HGP), welche die komplexen Hologrammwerte für die gesamte Szene (3D-S) farbbezogen generieren. Wie aus der Figur ersichtlich, gibt es eine holographische Farbpipeline (HGP) pro Grundfarbe, hier RGB. Jeder dieser holographischen Farbpipeline ist eine charakteristische Wellenlänge zugeordnet. Diese farbbezogenen Graphikpipelines (HGP), welche in der Figur mit einem zusätzlichen Kennzeichen für die Grundfarbe versehen sind, arbeiten parallel. Damit wird gewährleistet, dass die einzelnen Farbhologramme eines Objektpunkts und schließlich die farbbezogenen Gesamthologramme der gesamten Szene gleichzeitig vorliegen. Um die einzelnen holographischen Pipelines mit den Daten des Framebuffers (FB) und des Z-Buffers (ZB) zu versorgen, ist ein Multiplexer (MX) als Steuerungsmittel vorgesehen, welcher die Daten entsprechend an die einzelnen farbbezogenen holographischen Pipelines überträgt. Wie bereits erläutert ist das farbbezogene Gesamthologramm (HΣSLM), welches schließlich die gesamte Szene (3D-S) rekonstruiert, als Summe der jeweiligen farbbezogenen Subhologramme durch HΣSLM = ΣSHi ermittelbar. In der holographischen Wiedergabeeinrichtung erfolgt die Farbdarstellung der gesamten Szene durch zeitliches oder räumliches Multiplexing der farbbezogenen Gesamthologramme.
-
In der oberen eingezeichneten holographischen Pipeline werden verschiedene Methoden, das Subhologramm eines Objektpunkts zu ermitteln, veranschaulicht. In einer ersten Variante wird das Subhologramm eines Objektpunkts aus einer oder mehreren vorab erstellten Look-Up-Tabellen (LUT) ermittelt. Eine weitere Variante ist durch das aus 1 bis 4 erläuterten Verfahren gegeben.
-
Eine in dieser Figur getrennte Darstellung der 3D-Rendering-Graphikpipeline und der holographischen Pipelines dient der besseren Erläuterung des zugrunde liegenden Prinzips, bedeutet aber nicht notwendigerweise, dass die implementierten Berechnungsmittel räumlich getrennt sind. Die Implementierung des Verfahrens erfolgt vorzugsweise auf demselben Prozessor beziehungsweise Graphikchip, wo bereits die 3D-Rendering-Graphikpipeline ausgeführt wird. Mit Vorteil wird die 3D-Rendering-Graphikpipeline entsprechend hard- und softwaremäßig erweitert. Die Implementierung der holographischen Pipelines auf einem zusätzlichen Chip ist ebenso vorteilhaft möglich. In einer vorteilhaften Ausgestaltung der Erfindung liefert die holographische Wiedergabeeinrichtung deren Konfigurationsdaten an die Einrichtung zum Durchführen des Verfahrens. Diese Daten beschreiben beispielsweise die Größe des Lichtmodulators, dessen Auflösung und gegebenenfalls beschreibende Daten zur Art der Kodierung, beispielsweise Burckhardt-Kodierung, Zwei-Phasen-Kodierung oder weitere geeignete Kodierungen. Damit kann die Generierung der Hologrammdaten auf die gegebene beziehungsweise erkannte holographische Wiedergabeeinrichtung parametriert und angepasst werden. Eine Einrichtung zur Durchführung des Verfahrens ist somit nicht nur auf eine spezielle holographische Wiedergabeeinrichtung beschränkt, sondern universell für Einrichtungen einsetzbar, welche in vorteilhafter Weise das Grundprinzip der Subhologramme nutzen.
-
Liste der verwendeten Bezugszeichen
-
-
- 3D-S
- durch Objektpunkte strukturierte Szene
- RGP
- 3D-Rendering-Graphikpipeline
- FB
- Framebuffer der 3D-Rendering-Graphikpipeline
- ZB
- Z-Buffer der 3D-Rendering-Graphikpipeline
- HGP
- holographische Pipeline
- MX
- Multiplexer
- HAE
- holographische Wiedergabeeinrichtung mit
- B
- Bildschirmmittel
- SLM
- Lichtmodulatormittel
- HE
- Hologrammebene
- VP
- Betrachteraugen/Betrachterposition
- VR
- Sichtbarkeitsregion(en)
- OP
- Objektpunkt, allgemein
- OPn
- Objektpunkt, speziell mit Bezugsindex
- SH
- Subhologramm, allgemein
- SHL
- Subhologramms einer Linse
- SHP
- Subhologramms eines Prismas
- MR
- Modulatorbereich
- SHi
- Subhologramm, allgemein, indiziert
- HΣSLM
- Gesamthologramm
- OS
- Abbildungselement
- L
- Linse
- P
- Prisma
- PH
- Prisma mit horizontaler Wirkungsrichtung
- PV
- Prisma mit vertikaler Wirkungsrichtung