DE10311389A1

DE10311389A1 - Autostereoscopic reproduction system for three-dimensional displays has coding unit controlled and raster plate dimensioned so that image strips appear free of overlapping for one or more observers

Info

Publication number: DE10311389A1
Application number: DE10311389A
Authority: DE
Inventors: Siegbert Prof. Dr.-Ing. Hentschke
Original assignee: Universitaet Kassel
Current assignee: Universitaet Kassel
Priority date: 2003-03-12
Filing date: 2003-03-12
Publication date: 2004-09-30
Anticipated expiration: 2023-03-13
Also published as: DE10311389B4

Abstract

The autostereoscopic reproduction system has a processor unit (3) for obtaining first and second image strip signals (10,11) for different observation directions, a display screen (1), a coding unit (6,9) and a raster plate in front of the screen. The coding unit is controlled and the raster plate is dimensioned so that image strips appear free of overlapping for one or more observers.

Description

Die Erfindung betrifft ein positionsadaptives, autostereoskopes 3D-Wiedergabesystem der in den Oberbegriffen der Ansprüche 1 und 2 angegebenen Gattungen, wobei eines der Wiedergabesysteme mit einer Linsenrasterscheibe und das andere mit einer Barrierenrastermaske arbeitet.The invention relates to a position adaptive, autostereoscopic 3D display system in the preambles of Expectations 1 and 2 specified genera, one of the playback systems with a lenticular screen and the other with a barrier screen mask is working.

Stereoskope Film- und Projektionsverfahren sind seit Jahren im Einsatz. Meist wird polarisiertes Licht (horizontal/vertikal, zirkular) benutzt, um das rechte und linke Bild zu trennen. Mit dem Fortschritt der LCD-Technik wurde es möglich, die Lichtdurchlässigkeit von Kristallen elektronisch zu steuern. Dies machte die Entwicklung der Shutter-Technik möglich, bei der synchron mit der Halbbildfrequenz abwechselnd das rechte und das linke Brillenglas lichtundurchlässig wird und synchron dazu rechte und linke Bilder sequentiell auf dem Bildschirm erscheinen. Dieses Verfahren nutzen auch autostereoskope Shutter-Monitore ([4]).Stereoscopic film and projection processes have been in use for years. Usually polarized light (horizontal / vertical, circular) used to separate the right and left image. With The progress of LCD technology has made it possible to increase light transmission of crystals to be controlled electronically. This was the development the shutter technology possible, the one on the right, synchronous with the field frequency and the left lens becomes opaque and in sync with it right and left images appear sequentially on the screen. This process is also used by autostereoscopic shutter monitors ([4]).

Seit einigen Jahren sind bereits autostereoskope Wiedergabesysteme mit TFT-Displays der eingangs bezeichneten Gattungen im Einsatz ([1],[2], [8],[9] und [10]), die zwei Ansichten, das rechte und linke Bild, auf dem Display horizontal gemultiplext darstellen und die räumlich separierten Ausstrahlrichtungen durch Barrieremasken oder Zylinderlinsen-Rasterscheiben erzeugen. Darüber hinaus wurden derartige Monitore unter Verwendung von Headtrackern ([2] und [13]) auch positionsadaptiv aufgebaut. Neben diesen stereoskopen Monitoren, die sich auf einen Nutzer beziehen, sind auch Multi-User-3D-Displays gebaut worden, die eine Vielzahl von Bildansichten in eine Vielzahl von Betrachterrichtungen ausstrahlen und so eine 3-dimensionale Sicht aus unterschiedlichen Richtungen gleichzeitig ermöglichen ([5] und [7]).Have been for several years autostereoscopic display systems with TFT displays of the aforementioned Genera in use ([1], [2], [8], [9] and [10]), the two views, the right and left picture, horizontally multiplexed on the display represent and the spatially separated emission directions by means of barrier masks or cylindrical lens grids produce. About that In addition, such monitors have been used using head trackers ([2] and [13]) also built in a position adaptive manner. In addition to these stereoscopes Monitors that refer to a user are also multi-user 3D displays built a variety of image views in a variety radiate from viewing directions and thus a 3-dimensional Allow view from different directions at the same time ([5] and [7]).

3-dimensionale Daten liegen heute bereits in vielen Anwendungsgebieten vor. Sie können in Standard-3D-Graphik-Karten in Echtzeit erzeugt oder in Stereo-Videokameras aufgenommen werden. Dies gilt z. B. in der Medizintechnik für die Computertomographie oder Stereo-Endoskopie, in der Architektur für Gebäude und Landschaftsanimationen, in der Computergraphik für virtuelle Reality-Inszenierungen und im Home-Computer-Bereich beispielsweise für 3D-Games. Für all diese Bereiche werden positionsadaptive 3D-Monitore bzw. -Wiedergabesysteme benötigt.3-dimensional data are available today already in many application areas. You can use standard 3D graphics cards generated in real time or recorded in stereo video cameras. This applies e.g. B. in medical technology for computer tomography or Stereo endoscopy, in architecture for buildings and landscape animations, in computer graphics for virtual reality productions and in the home computer area, for example for 3D games. For all these areas become position-adaptive 3D monitors or display systems needed.

Gegenüber 2-dimensionalen, konventionellen Darstellungen kommt eine 3-dimensionale Darstellung den natürlichen Sehgewohnheiten näher. Der Grad der Natürlichkeit kann durch eine autostereoskope und positionsadaptive Darstellung weiter gesteigert werden. Dabei sind unterschiedliche autostereoskope Darstellungsverfahren realisiert worden, die zur optischen Trennung von rechter und linker Darstellungsrichtung entweder Barrieremasken, Linsenrastermasken oder Prismenrastermasken benutzen, für die jeweils unterschiedliche Subpixeladaptionen erforderlich sind. Diese für 3D-Animationen, interaktive Spiele und Vektorformat-Filme benötigten Darstellungen in Echtzeit auf PCs zu erzeugen, ist bislang so nicht möglich gewesen. Das ist das erste Problem, das mit dieser Erfindung gelöst werden soll.Compared to 2-dimensional, conventional Representations come a 3-dimensional representation of the natural Viewing habits closer. The degree of naturalness can by an autostereoscope and position adaptive representation can be further increased. There are different autostereoscopes Representation processes have been implemented for optical separation from the right and left display direction either barrier masks, Use lenticular masks or prismatic masks, for each different sub-pixel adaptations are required. This for 3D animations, Interactive games and vector format films required real-time displays So far it has not been possible to generate on PCs. This is the first problem to be solved with this invention.

Bei der autostereoskopen Darstellung auf Flachbildschirmen wie TFT- oder Plasmaschirmen müssen rechte und linke Bilder räumlich horizontal gemultiplext und gleichzeitig nebeneinander codiert dargestellt werden, wobei für die Trennung von rechter und linker Bildinformation auch noch nicht voll nutzbare Streifen zur Verfügung gestellt werden müssen. Das bedeutet, dass für ein rechtes oder linkes Teilbild allein weniger als die Hälfte der Bildschirmpixel zur Verfügung stehen, so dass die Auflösung der einzelnen rechten und linken Bilder in horizontaler Richtung weniger als halb so gut ist als in vertikaler Richtung, da die Bildschirmpixel in der Regel ein quadratisches Format auf dem originalen Schirm selbst aufweisen. Auch dieses Handicap soll mit der vorliegenden Erfindung beseitigt werden.With autostereoscopic imaging on flat screens such as TFT or plasma screens, rights must be met and left pictures spatially multiplexed horizontally and simultaneously shown coded next to each other be, for the separation of right and left image information is not yet fully usable strips available must be asked. That means that for a right or left drawing file alone less than half of the Screen pixels available stand so that the resolution the individual right and left images in the horizontal direction is less than half as good as in the vertical direction because of the screen pixels usually a square format on the original screen have yourself. This handicap is also intended with the present Invention to be eliminated.

Um die Lesbarkeit einer kleinen Schrift einer herkömmlichen autostereoskopen Darstellung aufrecht erhalten zu können, müsste diese um mehr als den Faktor 2 gestreckt werden. Dies verändert den Schriftcharakter so stark, dass es störend ist. Auch diese Störung kann mit dem hier beschriebenen Verfahren vermieden werden.The legibility of a small font a conventional one To be able to maintain autostereoscopic imaging, this would have to be the case be stretched by more than a factor of 2. This changes the Character character so strong that it is annoying. This disorder can also can be avoided with the method described here.

Es sind bislang keine 3-D-Wiedergabesysteme bekannt geworden, die diese Probleme lösen.So far, they are not 3D playback systems become known who solve these problems.

Ausgehend davon liegt der vorliegenden Erfindung das technische Problem zugrunde, das positionsadaptive, autostereoskope 3D-Wiedergabesystem der eingangs bezeichneten Gattungen (z. B. PAM in [2]) dahingehend zu verbessern, daß es eine erhöhte Flexibilität besitzt, in Echtzeit betrieben werden kann und eine höhere Auflösung mit Fotoqualität ermöglicht.The present is based on this Invention based on the technical problem that position-adaptive, autostereoscopic 3D display system of the genera described at the beginning (e.g. PAM in [2]) so that it has increased flexibility, can be operated in real time and enables a higher resolution with photo quality.

Zur Lösung dieses Problems dienen die kennzeichnenden Merkmale der Ansprüche 1 und 2.Serve to solve this problem the characterizing features of claims 1 and 2.

Weitere vorteilhafte Merkmale der Erfindung ergeben sich aus den Unteransprüchen.Other advantageous features of Invention result from the subclaims.

Die Endung enthält u. a. eine die Auflösung auf einem Videomonitor deutlich verbessernde autostereoskope Codiereinrichtung zur positionsbezogenen 3-dimensionalen Darstellung von Objekten, Bildern sowie gespeicherten oder animierten Szenen in Echtzeit. Die räumlich gemultiplexte RGB-Subpixeldarstellung ist multifunktional zur Verwendung verschiedener Rastermasken vor einem Flachbildschirm geeignet und kann mittels Positionsdetektoren wie Head- oder Eye-Trackern adaptiv gemacht werden, einschließlich einer positionsabhängigen Generierung von Szenen in beispiels weise interaktiven 3D-Spielen. Die zur räumlichen Trennung von rechten und linken Teilbildern erforderlichen Masken vor dem Flachbildschirm (TFT oder Plasma) können einfache Barrieremasken, Prismen- oder spezielle Linsenrasterscheiben sein. Durch horizontales Multiplexen der rechten und linken Bildinformation und durch das erforderliche klare optische Separieren der rechten und linken Ausstrahlrichtungen stehen bisher insgesamt pro Teilbild nur noch etwa 1/3 bis maximal die Hälfte der Pixel zur Verfügung. Dieser horizontale Auflösungsverlust kann zum größten Teil mittels der erfindungsgemäß vorgeschlagenen Subpixel-Umcodierungseinrichtung wieder zurückgewonnen werden.The extension contains, among other things, an autostereoscopic coding device which significantly improves the resolution on a video monitor for the position-related 3-dimensional representation of objects, images and stored or animated scenes in real time. The spatially multiplexed RGB sub-pixel display is multifunctional for the use of different screen masks in front of a flat screen and can be made adaptive by means of position detectors such as head or eye trackers, including a position-dependent generation of scenes in, for example, interactive 3D games. The masks required for the spatial separation of right and left partial images in front of the flat screen (TFT or plasma) can be simple barrier masks, prismatic or special lenticular screens. Through horizontal mul Tiplexing the right and left image information and the required clear optical separation of the right and left beam directions so far only a total of about 1/3 to a maximum of half the pixels are available per field. This horizontal loss of resolution can largely be recovered again using the sub-pixel recoding device proposed according to the invention.

Die Erfindung wird nachfolgend in Verbindung mit den beiliegenden Zeichnungen an Ausführungsbeispielen näher erläutert. Es zeigen:The invention is hereinafter in Connection with the accompanying drawings of exemplary embodiments explained in more detail. It demonstrate:

1 ein Ablaufdiagramm eines erfindungsgemäßen 3D-Wiedergabesystems; 1 a flowchart of a 3D playback system according to the invention;

2 Strahlengänge für das rechte und linke Auge bei Anwendung einer kleinsten und einer größeren Linsenrasterscheibe; 2 Beam paths for the right and left eye when using a smallest and a larger lenticular screen;

3 Strahlengänge für das rechte und linke Auge bei autostereoskoper Sicht mit einer Barrierenraster- und einer Linsenrasterscheibe; 3 Beam paths for the right and left eye with an autostereoscopic view with a barrier screen and a lens screen;

4 das verkämmte Kopieren von rechten und linken Bildern bei der erfindungsgemäßen adaptiven HR-Subpixel-Codierung; und 4 the intermingled copying of right and left images in the adaptive HR sub-pixel coding according to the invention; and

5 eine RGB-Subpixelzeile auf einem TFT-Bildschirm mit nach der Erfindung und adaptiv ermittelten rechten und linken Subpixelstreifen. 5 an RGB sub-pixel line on a TFT screen with right and left sub-pixel strips determined according to the invention and adaptively.

Der positionsadaptive, hochauflösende, autostereoskope Subpixelcoder (PARSC) der vorliegenden Erfindung ist eine Weiterentwicklung des bekannten positionsadaptiven, autostereoskopen Monitors (PAM, [2]). Gegenüber diesem System werden durch die Erfindung die Flexibilität, die Echtzeitfähigkeit und die Auflösung verbessert. Die Flexibilität wird dadurch erhöht, dass bei der Initialisierung der Codiereinrichtung eine einmalige statische Information übergeben wird, wie die rechten und linken Bilder erzeugt und verkämmt, d.h. wie die Subpixel horizontal gemultiplext werden sollen. Hierfür sind folgende Systemoperations-Einstellungen vorgesehen, die an- oder abgeschaltete werden können:
(S1) Unterabgetastete Verkämmung,
(S2) Stauch- und Streckfilterung,
(S3) Barrierenverkämmung,
(S4) Positionsadaption,
(S5) Linsenraster-Verkämmung,
(S6) Hochauflösende Filterung.The position-adaptive, high-resolution, autostereoscopic sub-pixel encoder (PARSC) of the present invention is a further development of the known position-adaptive, autostereoscopic monitor (PAM, [2]). Compared to this system, the flexibility, the real-time capability and the resolution are improved by the invention. The flexibility is increased in that, when the coding device is initialized, unique static information is transferred as to how the right and left images are generated and intermeshed, ie how the subpixels are to be multiplexed horizontally. The following system operation settings are provided for this, which can be switched on or off:
(S1) subsampled comb,
(S2) compression and stretch filtering,
(S3) barrier combing,
(S4) position adaptation,
(S5) lenticular combing,
(S6) High resolution filtering.

Diese sechs Grundeinstellungen werden wie folgt näher erläutert. (S1) bedeutet, dass bei einer eingeschalteten Unterabtastung die rechten und linken Bilder für die vorhandene Bildschirmgröße und Pixelzahl generiert bzw. im Hauptspeicher bereit gestellt werden. Beim Verkämmen werden dann aus den beiden Bildern nur diejenigen Pixel bzw. Subpixel herausgegriffen, die an den jeweiligen Positionen des Bildschirms stehen. Diese herausgegriffenen Streifen werden dann räumlich gemultiplext auf dem Bildschirm dargestellt. Das bedeutet, dass die nicht genutzten Streifen beider Bilder nicht erscheinen und somit Alias-Störungen verursachen können. Wenn sich beispielsweise ein senkrechter Strich in einem solchen ausgelassen Streifen eines Teilbildes befindet, ist dieser nicht mehr zu sehen; er kann jedoch wieder erscheinen in einem adaptiven System, wenn der Betrachter seinen Kopf seitlich bewegt. Derartige Erscheinungen sind auch als Moirée-Effekte bekannt. Sie entstehen immer bei Unterabtastung.These six basic settings will be as follows closer explained. (S1) means that when subsampling is on, the right and left pictures for the existing screen size and number of pixels generated or made available in the main memory. When combing then only those pixels or subpixels are selected from the two images, that are at the respective positions on the screen. These picked out Stripes then become spatial multiplexed displayed on the screen. It means that the unused strips of both images do not appear and thus aliasing can cause. If, for example, there is a vertical line in such a line omitted strip of a sub-picture, this is not to see more; however, it can reappear in an adaptive System when the viewer moves his head sideways. such Apparitions are also known as moiré effects. They arise always with subsampling.

Die Version (S2) vermeidet diese Alias-Störungen, macht aber das Bild horizontal unschärfer durch eine horizontale Tiefpass-Filterung. Diese Filterung bewirkt, daß beispielsweise vertikale Striche, die nur ein Pixel breit sind, nicht mehr auftreten; sie werden verbreitert. Man kann diese Operation auch als Tiefpass-Stauchfilterung betreiben, derart, daß die Bilder horizontal auf den Anteil reduziert wird, der für die Verkämmung benötigt wird, beispielsweise ein Drittel. Die für die Verkämmung benötigten Subpixel können dann direkt aus den beiden gestauchten Bildern entnommen und auf den Bildschirm kopiert werden. Die gestauchten Bilder können aber auch wieder mittels eines Filters auf die ursprüngliche Breite gestreckt und dann nach (S1) verkämmt werden. Geeignete Koeffizienten für einen Tiefpass-Filter sind beispielsweise folgende: C1TP(I) = (3- |i|)/9 für i = -2 bis 2 (1). The version (S2) avoids these alias interferences, but makes the image horizontally less sharp by horizontal low-pass filtering. This filtering means that, for example, vertical lines that are only one pixel wide no longer appear; they are broadened. This operation can also be carried out as low-pass compression filtering, in such a way that the images are reduced horizontally to the portion that is required for the combing, for example a third. The subpixels required for combing can then be taken directly from the two compressed images and copied onto the screen. The compressed images can also be stretched to their original width using a filter and then combed according to (S1). Suitable coefficients for a low-pass filter are, for example, the following: C1 TP (I) = (3- | i |) / 9 for i = -2 to 2 (1).

Etwas günstiger wäre folgender Cosinusfilter:

The following cosine filter would be a little cheaper:

Seien P₀(f,i) die Farbpixel einer Zeile des rechten oder linken Originalbildes in der i-ten Spalte mit Einzelfarbwert R₀(i) = P₀(0,i), G₀(i) = P₀(1,i) und B₀(i) = P₀(2,i). Die Stauchfilterung kann dann pixelweise wie folgt ausgeführt werden:

Let P ₀ (f, i) be the color pixels of a row of the right or left original image in the i-th column with On color value R ₀ (i) = P ₀ (0, i), G ₀ (i) = P ₀ (1, i) and B ₀ (i) = P ₀ (2, i). The compression filtering can then be carried out pixel by pixel as follows:

Wenn die Verkämmung nach (S1) vorgenommen werden soll, kann die Tiefpass-Filterung ohne

If the combing is to be carried out according to (S1), the low-pass filtering can be done without

Aus dem gestauchten Bild kann unter Nutzung der Filterkoeffzienten C_F(i) = C_TP(i)/A = cos²(π·i/6) die entgegengesetzte Streckfilterung vorgenommen werden, die dann zu einem tiefpassgefilterten Bild mit den Pixeln P_TP'(f,i) führen. Ausgehend von null gesetzten Pixelwerten P_TP'(f,i)=0, erfolgt die Operation: PTP'(f,3i+k) : = PTP'(f,3i+k) + CF(k) PF(f,i), für k = -2 bis +2 und i = 1 bis NS/3 (5). The opposite stretch filtering can be carried out from the compressed image using the filter coefficients C _F (i) = C _TP (i) / A = cos ² (π · i / 6), which then results in a low-pass filtered image with the pixels P _TP ' (f, i) lead. Starting from zero pixel values P _TP '(f, i) = 0, the operation takes place: P TP '(f, 3i + k): = P TP '(f, 3i + k) + C F (k) P F (f, i), for k = -2 to +2 and i = 1 to N S / 3 (5).

Dabei wird auf ein erforderliches Nullsetzen oder Ergänzen im Randbereich nicht näher eingegangen.Doing so will require Zero or add not closer to the edge received.

Die Barrierenverkämmung nach (S3) wird zunächst nach 3 erläutert. Durch einen vertikalen Schlitz 53 durch die Barrierenmaske 42 sind für das rechte und linke Auge 40, 41 disjunkte Streifen auf dem Bildschirm 43, 45 sichtbar. Diejenigen Subpixel, die auf dem Bildschirm die i-ten sichtbaren Streifen überdecken, werden mit den rechten bzw. linken Subpixelwerten der i-Pixel des rechten bzw. linken gestauchten Bildes aufgefüllt. Dabei ist ein Schlitz in der Barrierenmaske ungefähr so breit wie drei Subpixel R,G,B oder BRG etc. ([2]).The barrier interlocking according to (S3) is initially after 3 explained. Through a vertical slot 53 through the barrier mask 42 are for the right and left eye 40 . 41 disjoint stripes on the screen 43 . 45 visible. Those sub-pixels that cover the i-th visible stripes on the screen are filled with the right and left sub-pixel values of the i-pixels of the right and left compressed image. A slot in the barrier mask is approximately as wide as three subpixels R, G, B or BRG etc. ([2]).

Um die zu den rechten bzw. linken sichtbaren Streifen 43, 45 gehörenden Subpixelnummern und Farben auf dem Bildschirm zu ermitteln, werden die genauen Anfangspositionen dieser Streifen berechnet. Entsprechend den Strahlengängen in 3 beginnt der erste rechte Streifen bei der Position startr 9 und der linke bei startl 10, vgl. 1. Die i-ten Streifen beginnen dann um i·scpitch, also um das i-fache der Bildschirmpitches 11 nach rechts verschoben. Seien Kr_SPB(i) und Kl_SpB(i) die bei 0 beginnende Subpixelnummer auf dem Bildschirm und spsize die Breite eines Sub pixels, dann beginnen die i-ten rechten und linken Streifen mit den folgenden Nummern: KrSPB(i) = int{(startr + i·scpitch)/spsize} (6) KlSPB(i) = Int{(startl + i·scpitch)/spsize} (7). Around the stripes visible to the right or left 43 . 45 To determine the corresponding sub-pixel numbers and colors on the screen, the exact starting positions of these strips are calculated. According to the beam paths in 3 the first right stripe begins at the position start 9 and the left one at startl 10 , see. 1 , The i-th stripes then begin by i · scpitch, ie by i times the screen pitches 11 shifted to the right. Let Kr _SPB (i) and Kl _SpB (i) be the subpixel number beginning on 0 on the screen and spsize the width of a sub pixel, then the i th right and left stripes start with the following numbers: Kr SPB (i) = int {(startr + i · scpitch) / spsize} (6) kl SPB (i) = Int {(startl + i · scpitch) / spsize} (7).

Dabei ist int{} die Integer-Funktion, die den ganzzahligen Anteil der rationalen Kommazahl ausdrückt. Der i-te rechte Streifen besteht dann aus Kl_SPB(i) – Kr_SPB(i) Subpixeln. Auf diese Subpixel werden die Werte R_Fr(i), G_Fr(i) und B_Fr(i) des i-ten Pixels des rechten gestauchten Bildes farbgetreu kopiert. Entsprechend wird mit den linken Streifen verfahren.Int {} is the integer function that expresses the integer part of the rational decimal number. The ith right stripe then consists of Kl _SPB (i) - Kr _SPB (i) subpixels. The values R _Fr (i), G _Fr (i) and B _Fr (i) of the i-th pixel of the right compressed image are copied true to color on these sub-pixels. The same procedure is followed with the left stripes.

In der Regel haben die Farben der Subpixel eines Pixels die Reihenfolge rot R (2), grün G (3) blau B (4). Aus der Nummer der Subpixels auf dem Schirm erhält man dessen Farbe über die module-3 Funktion: fr(i) = {KrSPB(i)}mod(3) = {KrSPB(i)} – 3·int{KrSPB(i)/3} (8). As a rule, the colors of the sub-pixels of a pixel have the order red R (2), green G (3), blue B (4). The color of the number of subpixels on the screen can be obtained via the module-3 function: f r (i) = {Kr SPB (i)} mod (3) = {Kr SPB (i)} - 3 · int {Kr SPB (i) / 3} (8).

Dabei steht dann f=0 für R, f=1 für G und f=2 für blau. Bei einer solchen fixen Verkämmung nach (S3) gibt es in der Regel drei feste Positionen, von denen aus die 3D-Sicht zufriedenstellend ist. Die Verkämm-Operation kann jedoch so schnell abgeändert ausgeführt werden, dass auch eine schnelle Adaption an veränderte Betrachterpositionen möglich ist. Für eine solche adaptive Lösung benötigt man jedoch einen Head- oder Eye-Tracker.Then f = 0 stands for R, f = 1 for G and f = 2 for blue. With such a fixed combing according to (S3) there is in usually three fixed positions, from which the 3D view is satisfactory is. The combing operation however can be changed so quickly accomplished that also a quick adaptation to changed viewer positions possible is. For such an adaptive solution needed but a head or eye tracker.

(S4) Adaptive Verkämmung: Die Position des Betrachters sei mit dem Vektor OP (Observer Position) oder mir OP(x), OP(y), OP(z) bezeichnet. Die meisten TFT-Bildschirme beginnen mit dem Bildaufbau und mit der Speicherung in der linken unteren Ecke. Deshalb sei der Ursprung des relativen Koordinatensystems in die linke untere Ecke des Bildschirms gelegt. Die x-Richtung sei die horizontale Richtung nach rechts, die y-Richtung auf dem Bildschirm nach oben und die z-Richtung sei die senkrecht zum Bildschirm nach vorn verlaufende Richtung. Der Abstand des Betrachters vom Bildschirm ist dann identisch mit OP(z). Für die Verkämmung der Bilder reicht es aus, die mittleren Positionen der Augen zu kennen, und für den idealen Abstand der Rastermaske vor dem Bildschirm ist neben der Standardposition OP0 auch der Augenabstand des Betrachter von Interesse EyeD = |Eyer – Eye|. Die Standard- oder Ausgangskoordinaten des Betrachters seien bezeichnet OP(x0), OP(y0), OP(z0). Der günstigste Abstand der Rastermaske vom Bildschirm RSD ergibt sich über den Raster-Maskenpitch rmpitch: RSD =rmpitch·OP(z0)/(2·EyeD) (9). (S4) Adaptive combing: The position of the viewer is denoted by the vector OP (observer position) or me OP (x), OP (y), OP (z). Most TFT screens start with the image construction and with storage in the lower left corner. Therefore, the origin of the relative coordinate system is placed in the lower left corner of the screen. The x-direction is the horizontal direction to the right, the y-direction on the screen upwards and the z-direction is the direction running perpendicular to the screen. The distance of the viewer from the screen is then identical to OP (z). Knowing the middle positions of the eyes is sufficient for combing the images, and for the ideal distance between the grid mask in front of the screen and the standard position OP0, the eye relief of the viewer is also of interest. EyeD = | Eyer - Eye |. The viewer's standard or output coordinates are designated OP (x0), OP (y0), OP (z0). The most favorable distance between the screen mask and the RSD screen results from the screen mask pitch rmpitch: RSD = rmpitchOP (z0) / (2EyeD) (9).

Dieser Abstand bleibt bei einer laufenden Positionsadaption konstant. Von der Betrachterposition aus vergrößert sich der Maskenpitch geringfügig bis zum Bildschirm und ergibt den Bildschirmpitch scpitch (screenpitch). Der variable Bildschirmpitch ist dann scpitch = rmpitch·{1 + RSD/OP(z)} (10). This distance remains constant during a current position adaptation. From the observer position, the mask pitch increases slightly up to the screen and results in the screen pitch scpitch (screenpitch). The variable screen pitch is then scpitch = rmpitch · {1 + RSD / OP (z)} (10).

Die Startposition des ersten sichtbaren rechten Streifens auf dem Bildschirm ist dann ebenfalls von der Betrachterposition abhängig: startr' = K0·scpitch – (OP(x) + EyeD/2)·RSD/OP(z) (11) bzw. für das linke Auge startl' = K0·scpitch – (OP(x) – EyeD/2)·RSD/OP(z) (12). The starting position of the first visible right stripe on the screen then also depends on the viewer position: startr '= K0scpitch - (OP (x) + EyeD / 2) RSD / OP (z) (11) or for the left eye startl '= K0scpitch - (OP (x) - EyeD / 2) RSD / OP (z) (12).

Mit K0 ist dabei eine kleinste ganze Zahl gemeint, mit der startr positiv wird, um negative Subpixelpositionen zu vermeiden.With K0 there is a smallest whole Number with which startr becomes positive by negative sub-pixel positions to avoid.

Um eine ausreichende Trennung zwischen rechts und links zu gewähren – auch in einem definierten Betrachterbereich – sind zwischen den sichtbaren Streifen 43, 45 (3) auch unsichtbare Streifen 44. In diesen Streifen ist die Darstellung frei. Deshalb wird später noch über eine flexible Zuordnung zu rechts oder links gesprochen – in Abhängigkeit von einer Bewegungsprädiktion für den Betrachter. Es wird deshalb schon an dieser Stelle eine mittlere Aufteilung der nicht nutzbaren Streifen vorgenommen, indem sich die Verkämmung an einer mittleren Augenposition orientiert und die Veränderung der projizierten Abstände nicht berücksichtigt. Daraus ergibt sich die mittlere Startposition: start = K0·scpitch – OP(x)·RSD/OP(z) (15). In order to ensure a sufficient separation between right and left - even in a defined viewing area - are between the visible stripes 43 . 45 ( 3 ) also invisible stripes 44 , The representation is free in these strips. That is why we will talk later about a flexible assignment to the right or left - depending on a movement prediction for the viewer. At this point, therefore, the stripes that cannot be used are divided into a medium section by orienting the combing at a central eye position and not taking into account the change in the projected distances. This results in the middle starting position: start = K0scpitch - OP (x) RSD / OP (z) (15).

Für den i-ten Streifen, beginnend mit i=0, erhält man dann folgende Nummern der Streifen-Start-Subpixel: KrSPStart(i) = int{(start – scpitch/4 + i·scpitch)spsize} (16) KlSPStart(i) = int{(start + scpitch/4 + i·scpitch)/spsize} (17). For the i-th stripe, starting with i = 0, the following numbers of the stripe start subpixels are then obtained: Kr SPStart (i) = int {(start - scpitch / 4 + i · scpitch) spsize} (16) kl SPStart (i) = int {(start + scpitch / 4 + i · scpitch) / spsize} (17).

Zur adaptiven Berechnung der Anfangs-Subpixel-Positionen der verkämmten Streifen werden also je Neubild (Frame) zwei variable Größen benötigt, die bis zu 100 mal je Sekunde aktualisiert werden müssen. Legt man einen maximal zulässigen Wert für diese beiden variablen Größen fest, so kann die erforderliche Genauigkeit in Bezug auf die Subpixelbreite angepaßt werden. Es zeigt sich, daß dann eine Quantisierung der Werte von "start" auf 8 bit = 1 Byte und für "scpitch" auf 16 bit = 2 Byte ausreichend ist. Daraus ergibt sich ein minimaler Update-Datenfluss von etwa 300 Byte/s.For adaptive calculation of the starting sub-pixel positions the combed Stripes are therefore two variable sizes needed for each new image (frame) need to be updated up to 100 times per second. If you put a maximum permissible Value for these two variable sizes fixed so can the required accuracy with respect to the subpixel width customized become. It turns out that then a quantization of the values from "start" to 8 bits = 1 byte and for "scpitch" to 16 bits = 2 bytes is sufficient. This results in a minimal update data flow of about 300 bytes / s.

(S5) Linsenrasterverkämmung: Die optische Strahlführung bei Verwendung einer Linsenrasterscheibe ist in 3 gezeigt. Der Vergleich mit der Barrierenrasterscheibe zeigt, daß sich gleiche rechte und linke Streifen sowie unsichtbare Bereiche bilden, aber es entstehen kontinuierliche rechte und linke Bilder ohne Störstreifen für die Augen. Es wird auch keine Helligkeit mehr absorbiert. Zur Ermittlung der Anfangspositionen für die Subpixel der rechten und linken Streifen auf dem Bildschirm kann der gleiche Algorithmus nach den Formeln (15) und (16) verwendet werden. Um eine erhöhte horizontale Auflösungsqualität zu erzielen, werden die einzelnen Subpixel aus den gestauchten Bildern in die vorgesehenen Streifen hinein kopiert, ohne daß innerhalb eines Streifens die Reihenfolge der Subpixel verändert wird. Das farbgetreue verkämmte Kopieren der gestauchten Bilder in Streifenbereiche macht eine zusätzliche Berechnung der zugeordneten Anfangssubpixel im gestauchten Bild zu den jeweiligen Anfangssubpixeln in den rechten und linken Streifen auf dem Bildschirm erforderlich. Das Linsenprofil der Rasterscheibe ist hier so berechnet, dass das Bild in der folgenden Linse mit der Subpixelfarbe fortfährt, mit der die erste aufhört. Tritt ein Sichtwechsel direkt zwischen zwei Subpixeln auf, so beginnt die Folgelinse mit der Folgefarbe, d.h. nach R kommt G, nach G kommt B, nach B kommt R. Diese Zuordnung wird durch den folgenden Algorithmus sichergestellt. Das erste Subpixel, das im gestauchten rechten Bild verwendet werden kann, ist das Farbsubpixel im ersten Pixel, das die Farbe des Anfangspixels ersten rechten Streifen auf dem Bildschirm hat: Fr0 = {KrSPStart(0)}mod(3) mit f=0 für R, f=1 für G und f=2 für B (18). (S5) Lenticular combing: The optical beam guidance when using a lenticular lens is in 3 shown. The comparison with the barrier screen shows that the right and left stripes are formed as well as invisible areas, but continuous right and left images are created without interference stripes for the eyes. Brightness is also no longer absorbed. The same algorithm according to formulas (15) and (16) can be used to determine the starting positions for the subpixels of the right and left stripes on the screen. In order to achieve an increased horizontal resolution quality, the individual subpixels are copied from the compressed images into the intended strips without the order of the subpixels being changed within a strip. The true-to-color combed copy of the ge compressed images in stripe areas require an additional calculation of the assigned initial subpixels in the compressed image to the respective initial subpixels in the right and left stripes on the screen. The lens profile of the grid is calculated here so that the image in the following lens continues with the sub-pixel color with which the first one ends. If a change of vision occurs directly between two subpixels, the subsequent lens begins with the subsequent color, ie after R comes G, after G comes B, after B comes R. This assignment is ensured by the following algorithm. The first subpixel that can be used in the squashed right image is the color subpixel in the first pixel that has the color of the starting pixel first right stripe on the screen: F r0 = {Kr SPStart (0)} mod (3) with f = 0 for R, f = 1 for G and f = 2 for B (18).

Der linke erste Streifen beginnt mit der Farbe f10 = {KlSPS tart(0)}mod(3) (19). The first strip on the left begins with the color f 10 = {Cl SPS tart (0)} mod (3) (19).

Diese Farbsubpixel werden also aus den ersten Pixeln der gestauchten Bilder entnommen. Die ersten Pixel haben i.a. die Nummer "0". In aufsteigender Reihenfolge werden nun die Subpixel aus den gestauchten Quellbildern in die Streifen hinein kopiert, bis der nächste Streifen beginnt mit den Subpixelnummern Kr_SPStart(1) bzw. Kl_SPStart(1). Die folgenden Nummern geben die Anfangsubpixel in den Quellbildern an: KrqSPStart(I) = int{(start – scpitch/4 + i·scpitch)/spsize – SPJ} (20)bzw. KlqSPStart(i) = int{(start + scpitch/4 + i·scpitch)/spsize – SPJ} (21). These color subpixels are therefore taken from the first pixels of the compressed images. The first pixels generally have the number "0". The subpixels from the compressed source images are then copied into the stripes in ascending order until the next stripe begins with the subpixel _numbers Kr _SPStart (1) or Kl _SPStart (1). The following numbers indicate the initial sub-pixels in the source images: KRQ SPStart (I) = int {(start - scpitch / 4 + i · scpitch) / spsize - SPJ} (20) respectively. klq SPStart (i) = int {(start + scpitch / 4 + i · scpitch) / spsize - SPJ} (21).

Dabei ist SPJ eine systemspezifische ganze Zahl, die Eins oder Vielfache von Drei annehmen kann und sicherstellt, daß beim Übergang von einer Linse zur nächsten die richtige Farbe getroffen wird. Für SPJ=0 ergibt sich die Zählung auf dem Bildschirm. 2 zeigt ein Beispiel für SPJ=1 in A) und SPJ=9 in B). Die Verkämmung ist zusätzlich in 4 veranschaulicht. Das Bild zeigt, daß beim Kopieren der Subpixel in die Streifen die Anfangs-Subpixel im Quellbild immer wieder weiter vorn anfangen, als sie im vorhergehenden Streifen beendet wurden. Dies gewährleistet die Kontinuität.SPJ is a system-specific integer that can take one or multiples of three and ensures that the correct color is struck when moving from one lens to the next. For SPJ = 0, the count is given on the screen. 2 shows an example for SPJ = 1 in A) and SPJ = 9 in B). The combing is also in 4 illustrated. The image shows that when the subpixels are copied into the strips, the initial subpixels in the source image always start again from the beginning than they ended in the previous strip. This ensures continuity.

Dieser die Reihenfolge der Subpixel beibehaltende Kopiervorgang wird im Rahmen der vorliegenden Erfindung als "HR-Verkämmung" oder kurz als "HR-SP" (High Resolution Space Multiplexing) bezeichnet.This is the order of the subpixels Preserving copying is within the scope of the present invention as "HR combing" or in short as "HR-SP" (High Resolution Space multiplexing).

Im Folgenden wird nun die letzte auflösungserhöhende Maßnahme der Erfindung beschrieben.Below is the last one resolution increasing measure of Invention described.

(S6) Hochauflösende Filterung (HR Sharp Filtering): Es wird davon ausgegangen, daß die originalen farbigen Quellbilder aus rechter und linker Blickperspektive in der vollen Auflösung des benutzten Monitors vorliegen, z.B. 1600 × 1200 Pixel. Die neuartige Eigenschaft der nachfolgend beschriebenen Filterung ist, daß die Helligkeitsinformation in der Bildern ganz anders als die Farbinformation gefiltert wird. Die gegenüber bisherigen Farbbilddarstellungen mögliche Auflösungserhöhung wird dadurch erreicht, daß eine optimale Anpassung an die visuellen physiologischen Wahrnehmungseigenschaften vorgenommen wird. Ausgenutzt wird dabei die nebeneinander liegende Anordnung der Subpixel auf einem TFT-Bildschirm. Die Basisidee ist dabei, die Helligkeitsinformation auf die Subpixel und die Farbinformation auf die Umgebung zu verteilen. Damit kann die Auflösung für die Helligkeit in horizontaler Richtung verdreifacht werden, während von der Farbinformation mehr als 2/3 der Information weggefiltert wird. Die unterschiedliche Wahrnehmung des menschlichen Auges für Helligkeit und Farbe ist auch dem Erfinder der PAL-Codierung entgegengekommen. Er konnte mit einem relativ kleinen Zusatzkanal eine hohe Farbqualität des Fernsehbildes erreichen. Bei der heutigen autostereoskopen Darstellung der Farbbilder wird die horizontale Richtung jedes Teilbildes durch die Zylinderlinsen etwa dreifach vergrößert. Das bedeutet: der ursprüngliche Informationsgehalt der Helligkeitsinformation kann beim Stauchfiltern weitgehend erhalten bleiben. Dadurch, daß bei der stereoskopen Darstellung ein rechtes und ein linkes Bild vorliegen, wird letzten Endes der Helligkeits-Informationsgehalt gegenüber einer herkömmlichen zweidimensionalen Darstellung verdoppelt. Auf diese Weise wird mit der hier beschriebenen Erfindung eine subjektive Verdopplung der Bildqualität erzielt, und mit dieser 3D-Fotoqualität wird auch der Sprung in die dreidimensionale Wahrnehmung mittels Flachdisplays erreicht.(S6) High resolution filtering (HR Sharp Filtering): It is assumed that the original colored source images from the right and left perspective in full resolution of the monitor used, e.g. 1600 × 1200 pixels. The new one The property of the filtering described below is that the brightness information in which the images are filtered very differently than the color information. The opposite previous color image displays possible increase in resolution is achieved that a optimal adaptation to the visual physiological perception properties is made. The adjacent one is used Arrangement of the subpixels on a TFT screen. The basic idea is the brightness information on the subpixels and the color information to distribute to the environment. So that the resolution for the brightness tripled in the horizontal direction, while more of the color information is filtered out as 2/3 of the information. The different Perception of the human eye for brightness and color is also accommodated the inventor of PAL coding. He could with a relatively small additional channel a high color quality of the television picture to reach. In today's autostereoscopic representation of the color images becomes the horizontal direction of each field through the cylindrical lenses magnified about three times. The means: the original Information content of the brightness information can be used in compression filtering largely preserved. The fact that in stereoscopic imaging a right and a left picture will ultimately become the Brightness information content compared to a conventional two-dimensional Presentation doubled. This way, the one described here Invention achieved a subjective doubling of the image quality, and with this 3D photo quality the leap into three-dimensional perception is also possible Flat displays reached.

1. Helligkeitsfilterung: Die Originalbilder seien bezeichnet mit P_or(f,i,k) und P_ol(f,i,k). Dabei sei k der Zähler für die Zahlen, i der für die Spalten und f der für die Farben R, G, B und die Helligkeit Y = (R+G+B)/3. I. a. läuft k von 0 bis 1199, i von 0 bis 1599 und f von 0 bis 3. Der erste Schritt ist eine pixelweise Filterung der Helligkeitswerte Y auf die Subpixel im gestauchten Bild P_HFr(f,m,n). Der Filter habe die Koeffizienten H_YF(v, μ). Es werden nun die Filtereigenschaften anhand zweier Beispiele näher beschrieben: eines, das nur innerhalb einer Zeile operiert, und eines, das die obere und untere Zeile einbezieht. Die erste Bedingung an die Koeffizienten ist, dass ein gleichbleibender Grauwert im Originalbild wieder den gleichbleibenden Grauwert im Zielbild liefert. Das bedeutet: Die Summe über alle Koeffizienten ist eins.1. Brightness filtering: The original pictures are labeled P _or (f, i, k) and P _ol (f, i, k). Let k be the counter for the numbers, i that for the columns and f that for the colors R, G, B and the brightness Y = (R + G + B) / 3. I. a. runs k from 0 to 1199, i from 0 to 1599 and f from 0 to 3. The first step is a pixel-by-pixel filtering of the brightness _values Y onto the subpixels in the compressed image P _HFr (f, m, n). The filter has the coefficients H _YF (v, μ). The filter properties are now described in more detail using two examples: one that only operates within one line and one that includes the top and bottom lines. The first requirement for the Koeffi is that a constant gray value in the original image provides the same gray value in the target image. That means: the sum over all coefficients is one.

Die zweite Bedingung ist die, dass ein weißes Pixel im Urbild in der Summe wieder ein weißes Bild liefert – in einer Umgebung des Zielpixels. Das führt auf folgende drei Bedingungen:

The second condition is that a white pixel in the original image delivers a white image in total - in the vicinity of the target pixel. This leads to the following three conditions:

Die Filteroperation kann mit f(m) = (m)mod(3)= m = 3·int{m/3} und i(m) = int{m/3} beschrieben werden zu:

The filter operation can be described with f (m) = (m) mod (3) = m = 3 · int {m / 3} and i (m) = int {m / 3} for:

Das folgende erste Zahlenbeispiel beschreibt einen Zeilenoperator, bei dem die Filterkoeffizienten null sind für v = + 1, –1:

Tab 1: Filterkoeffizienten für ein HR-Zeilfilter. The following first numerical example describes a line operator in which the filter coefficients are zero for v = + 1, -1:

Tab 1: Filter coefficients for an HR line filter.

Das nächste Beispiel beschreibt eine zeilenübergreifende Filteroperation:

Tab 2: Filterkoeffizienten für einen zeilenübergreifenden HR-Filter. The next example describes a cross-line filter operation:

Tab. 2: Filter coefficients for a cross-line HR filter.

Dieser zweidimensionale Filter ist so entworfen, daß die Koeffizienten reziprok mit dem Abstand zum Zentrum abnehmen. Der Entwurf mit H_YF(0,0)=1 ist ein extremes Beispiel, das dann bei natürlichen Bildern zum tragen kommt, wenn der ursprüngliche Kontrastbereich vorher verkleinert wurde, um ihn bei der HR-Filterung zur Schärfe-Anhebung wieder vergrößern zu können. Beispielweise könnte der Wertebereich der Quellbilder (0-255) komprimiert werden auf 40 bis 220. Das ist eine Methode, um zusätzlich die erzielbare Schärfewirkung gegenüber einer Kontrastwirkung abwägen zu können.This two-dimensional filter is designed so that the coefficients decrease reciprocally with the distance to the center. The design with H _YF (0.0) = 1 is an extreme example that comes into play with natural images if the original contrast range has been reduced beforehand in order to be able to enlarge it again during HR filtering to increase the sharpness. For example, the range of values of the source images (0-255) could be compressed to 40 to 220. This is a method to additionally weigh the achievable sharpness effect against a contrast effect.

Diese Helligkeits-HR-Filterung liefert im Mittel ein Graubild. Wird jedoch im Zielbild der zulässige Bereich zwischen 0 und 255 überschritten, so muß der Bereich zur Visualisierung wieder begrenzt werden auf den zulässigen Bereich. Dabei können dann Farbeffekte auftreten, die vom Bildinhalt abhängen.This brightness HR filtering delivers on the average a gray picture. However, the allowable range in the target image exceeded between 0 and 255, so the The area for visualization can again be limited to the permissible area. You can then color effects occur that depend on the image content.

2. Farbfilterung: In einem zweiten Schritt wird nun die Farbinformation mit einer reduzierten örtlichen Auflösung wieder hinzugefügt. Zu diesem Zweck kann das unter (S1) in Formel (3) erzeugte Stauchbild für rechts und links wieder herangezogen werden.2. Color filtering: in a second The step is now the color information with a reduced local resolution again added. For this purpose, the upsetting image generated under (S1) in formula (3) for right and be used again on the left.

In diesem Bild werden für rechts und links die Farbdifferenzwerte zum Helligkeitswert Y=(R+G+B)/3 erzeugt: DR=R-Y; DG=G-Y; DB=B-Y. Diese Operation wird in folgender Formel (27) ausgeführt:

In this picture, the color difference values for brightness value Y = (R + G + B) / 3 are generated for right and left: DR = RY; DG = GY; DB = BY. This operation is carried out in the following formula (27):

Die gleiche Operation wird für das linke gestauchte Bild vorgenommen. Die Differenzwerte werden dem HR-gefilterten Graubild wieder – auf die Umgebung verteilt – überlagert. Dies wird erneut mittels einer ein- oder auch zweidimensionalen Tiefpass-Filterung ausgeführt. Als Tiefpassfilter kann beispielsweise wieder der aus Formel (2) verwendet werden. Dies ergibt dann folgende Operation dreifach für f=0, 1, 2:

The same operation is done for the left compressed image. The difference values are again superimposed on the HR-filtered gray image - distributed over the surroundings. This is carried out again using one-dimensional or two-dimensional low-pass filtering. As a low-pass filter, for example, that from formula (2) can again be used. This results in the following operation three times for f = 0, 1, 2:

Günstiger wäre noch ein zweidimensionaler Tiefpassfilter C_TP3(i,k), z.B. für i, k von –1 bis 1, bei dem die Summe wieder 1 ergeben muß. Die Koeffizienzwerte könnten folgende der Tabelle 3 sein:

Tabelle 3: Einfacher 2-dimensionaler Tiefpassfilter zum Einfügen der Farben. A two-dimensional low-pass filter C _TP3 (i, k), for example for i, k from −1 to 1, in which the sum must again result in 1 would be more favorable. The coefficient values could be as follows in Table 3:

Table 3: Simple 2-dimensional low-pass filter for inserting the colors.

Die Filterung wäre dann die folgende Operation, die natürlich etwas aufwendiger auszuführen als die eindimensionale ist.The filtering would then be the following operation, the of course to do something more complex than the one-dimensional one.

Dabei steht das Zeichen ": =" für die programmiertechnische Bezeichnung des Ersetzens der gleichen Variablen auf der rechten Seite durch das Ergebnis auf der linken Seite.The symbol ": =" stands for the programming technology Name of the replacement of the same variable on the right Page by the result on the left.

Die gleiche Operation ist natürlich auch für das linke Bild auszuführen.The same operation is of course also for the execute left picture.

Am Schluß ist nun noch die Bereichsbegrenzung durchzuführen, und die Gleitkommazahlen sind auf ganze Zahlen zwischen 0 und 255 zu runden. Es stehen hierfür zwei Schritte zur Verfügung: 1. Ein evtl. zu großer Bereich kann gestaucht werden; 2. Zahlen unterhalb 0 und über 255 können auf 0 bzw. 255 gesetzt werden.At the end there is still the area limitation perform, and the floating point numbers are integers between 0 and 255 to round off. It stands for this two steps available: 1. A possibly too big Area can be compressed; 2. Numbers below 0 and above 255 can can be set to 0 or 255.

Zum Abschluß der Beschreibung der HR-Filterung wird noch eine alternative Darstellung der Farbpixel erwähnt, die als das h-c-Wahrnehmungsmodell bekannt ist (hue, color). Dieses Modell enthält auch Angaben über die Farbsättigung. Die R, G, B Pixelwerte können eindeutig in die h-c-Werte wie folgt umgerechnet und auch wieder zurück gewandelt werden:

At the end of the description of HR filtering, an alternative representation of the color pixels is mentioned, which is known as the hc perception model (hue, color). This model also contains information about the color saturation. The R, G, B pixel values can be clearly converted into the hc values as follows and also converted back:

Der minimale Weißanteil wird ermittelt: w = Min{R, G, B} und aus den Differenzwerten DR=R-w, DG=G-w, DB=G-w wird ein Farbwinkel berechnet, der zwischen 0 und 360 Grad liegt.The minimum amount of white is determined: w = Min {R, G, B} and from the difference values DR = Rw, DG = Gw, DB = Gw, a color angle is calculated that is between 0 and 360 degrees.

Je nachdem, welche Differenz verschwindet, gilt:

Depending on which difference disappears, the following applies:

Bei Verwendung des Farbmodells wird dann der Intensitätswert h so HR-gefiltert, wie vorher Y, und anschließend wird dann wieder die Farbe mit einem Tiefpaß gefiltert hinzugefügt.When using the color model then the intensity value h HR filtered like Y before, and then the color again added filtered with a low pass.

Die breite Markteinführung autostereoskoper Graphikcomputer wurde bislang durch zu hohe Preise und durch mangelnde Adaptivität und Echtzeitfähigkeit behindert. Aus diesem Grunde werden im erfindungsgemäßen System Hard- und Software-Komponenten so konzipiert, dass sie einem 4-stufigen Ausbaukonzept gerecht werden, bei dem vorhandene kommerzielle PCs oder Laptops mit TFT-Displays schrittweise kostengünstig aufgerüstet werden können zu 3D-Systemen. Folgende vier Ausbaustufen (AS) sind vorgesehen:

AS 1: Der Einstieg kann für den Endverbraucher kostenlos in einer Experimentierphase erfolgen. Eine nicht-adaptive Demo-3D-Coder-Software und Informationen über die zu seinem System passenden Rastermasken werden per Internet zum Herunterladen zur Verfügung gestellt. Eine erste Barrierenstreifen-Rastermaske kann der Verbraucher sich ggf. selbst auf einer durchsichtigen Folie drucken oder schicken lassen und vor einen Bildschirm montieren. Im E-Commerce angebotene Objekte kann sich der Interessent dann bereits in einer niedrigen autostereoskopen 3D-Qualität von allen Seiten betrachten.
AS 2: Die 3D-Bildqualität kann wesentlich verbessert werden, indem die provisorische Rasterfolie, die Streifen im Bild verursacht und die Helligkeit des Displays verringert, durch eine hochpräzise Linsenrasterscheibe ersetzt wird. Gleichzeitig kann die 3D-Demo-Software durch eine professionelle Software ersetzt werden. Es wird keiner mehr erwarten, dass diese gratis geliefert wird.
AS 3: Für die optimale 3D-Sicht musste bislang der Benutzer eine bestimmte Position vor dem Monitor einnehmen, die aber durch Teststreifen leicht gefunden wurde. Es kann ein externer Head- oder Eye-Tracker erworben werden, den die bereits installierte Software automatisch erkennt. Nach einer kurzen Eichprozedur kann das System dann adaptiv betrieben werden: Der Nutzer darf die Position im Abstand und seitlich verändern, ohne dass die 3D-Sicht eingeschränkt wird – in einem definierten Bereich. Gleichzeitig nutzt der Computer die bekannte Position des Betrachters, um die dazugehörigen Perspektiven in Echtzeit zu generieren.
AS 4: Das gesamte 3D-System ist ein fertiges, professionelles, adaptives Multi-Screen System, bei dem alle Komponenten optimal aufeinander abgestimmt sind, und das auch kundenspezifisch, z. B. für Krankenhäuser hergestellt wird.

The widespread market launch of autostereoscopic graphics computers has so far been hampered by high prices and a lack of adaptivity and real-time capability. For this reason, hardware and software components are designed in the system according to the invention in such a way that they do justice to a 4-stage expansion concept in which existing commercial PCs or laptops with TFT displays can be gradually upgraded to 3D systems at low cost. The following four expansion stages (AS) are planned:

AS 1: The end user can get started free of charge in an experimental phase. A non-adaptive demo 3D coder software and information about the matching grid masks are available for downloading from the Internet. If necessary, the consumer can have a first barrier strip grid mask printed or sent on a transparent film and mounted in front of a screen. Those interested in e-commerce can then view all sides in low autostereoscopic 3D quality.
AS 2: The 3D image quality can be significantly improved by replacing the provisional raster film, which causes stripes in the image and reduces the brightness of the display, with a high-precision lenticular screen. At the same time, the 3D demo software can be replaced by professional software. No one will expect it to be delivered free of charge.
AS 3: Until now, the user had to take a certain position in front of the monitor for an optimal 3D view, but this was easily found using test strips. An external head or eye tracker can be purchased, which the software already installed automatically recognizes. After a short calibration procedure, the system can then be operated adaptively: The user can change the position at a distance and from the side without restricting the 3D view - in a defined area. At the same time, the computer uses the known position of the viewer to generate the associated perspectives in real time.
AS 4: The entire 3D system is a finished, professional, adaptive multi-screen system, in which all components are optimally coordinated with one another, and also customer-specific, e.g. B. is produced for hospitals.

Applikationen:applications:

Die wichtigsten kurzfristigen Applikationen sind in der Medizintechnik zu sehen. Hier ist der Bezug auf eine Person auch kein Nachteil. Ohnehin beurteilt nur eine Person ein 3D-CT-Bild: der Arzt, der störende Brillen und eingeschränkte Blickfelder vermeiden muß. Sind mehrere Ärzte gleichzeitig tätig, so können mehrere Bildschirme benutzt werden. Will gleichzeitig ein Auditorium eine mikrochirurgische Operation stereoskop mitverfolgen, so kann dies über ein Projektionsverfahren mit z. B. polarisiertem Licht erfolgen.The most important short-term applications can be seen in medical technology. Here is the reference to one Person also no disadvantage. In any case, only one person assessed 3D CT image: the doctor, the disruptive Glasses and restricted Must avoid fields of vision. Are several doctors working simultaneously, so can multiple screens can be used. Want an auditorium at the same time a stereoscopic microsurgical operation can follow this about a projection method with z. B. polarized light.

Ein natürliches Einsatzgebiet ist die Architektur, in der heute bereit fertig entworfene Modelle in einem 3D-Format abgelegt sind. Diese können nun auch 3-dimensional auf einfachen Laptops dem Kunden 3-dimensional in Animationen vorgeführt und wunschgemäß abgeändert werden.A natural area of application is Architecture, in which ready-designed models in a 3D format are ready today are filed. these can now 3-dimensional on simple laptops for the customer 3-dimensional demonstrated in animations and be modified as desired.

Ein wichtiges Schlagwort ist heute Telepräsenz. In gefährlichen Räumen oder unzugänglichen Gebieten können fernsteuerbare Kameras und Roboter aufgestellt werden, bei denen man nicht mehr auf den natürlichen Tiefeneindruck verzichten muß.An important catchphrase is today Telepresence. In dangerous clear or inaccessible Areas can remote-controlled cameras and robots can be set up in which you no longer rely on the natural Depth impression has to do without.

Die mit dieser Erfindung gewonnene Echtzeitfähigkeit und Adaptivität der autostereoskopen Darstellung öffnet den großen Markt für 3D-Spiele in einer ganz neuen 3D-Qualität.The one obtained with this invention Real-time capability and adaptivity The autostereoscopic display opens the big market for 3D games in a whole new 3D quality.

Ein zukünftiges Fernsehsystem wird sicherlich eine 3D-Qualität erschließen. Aber solange keine preisgünstigen 3D-Monitore auf dem Markt sind, ist der Bedarf noch gering. Der Wunsch nach 3D-Darstellung und der Druck für eine Umstellung auf eine 3D-Aufnahmetechnik wird wachsen, wenn die Vorteile der 3D-Technik bekannt werden. Die heute verfügbaren TFT-Displays an PCs, Laptops und Workstations erlauben ein schnelles Umrüsten auf eine 3D-Fähigkeit. Auf Rechnern verfügbare 3-dimensionale Software kann dann genutzt werden, um eine 3D-Sicht zu ermöglichen, wenn die o.g. Zusatzausrüstung integriert wird.A future television system will certainly develop 3D quality. But as long as there are no inexpensive 3D monitors on the market, the demand is still low. The desire for 3D imaging and printing for a switch to 3D imaging technology will grow when the benefits of 3D technology become known. The TFT displays available today on PCs, laptops and workstations allow quick conversion to 3D capability. 3-dimensional software available on computers can then be used to enable a 3D view if the above-mentioned additional equipment is integrated.

Literaturliterature

[1] S. Hentschke: stereoscopic screen, patent application P 41 14 023.0 (1991).
[2] S. Hentschke: Position-adaptive autostereoscopic Monitor (PAM), United States patent, US 6,307,584 B1 , (2001).
[3] R. Börner: playback device for three-dimensional perception of images, autostereoscopic viewing device for creating three-dimensional perception of images, German patent no. DE 3921061 A1 (Note 1989).
[4] S. Hentschke: Observer-adaptive autostereoscopic shutter monitor (PAAS), United States patent, US 5,771,121 (1998), German patent DE 195 00 315 ,
5. Hentschke: 3D display including cylindrical lenses and binary coded micro fields (HOLDISP). United States patent US 6,212,007 B1 (2001).
[6] S. Hentschke: Position-adaptive 3D raster monitor (PARM), German patent DE 198 31 C2 (Note 1998).
[7] 4 Division Patent: Wavelength-selective filter array for multi-user 3D, patent application DE 100 03 326.1 , (1999).
[8] Großman: patent application DE 19827590 A1 from December 23, 1999.
[9] Van Berkel: Image Preparation for 3D-LCD, Philips Research Laboratories, UK, SPIE Vol. 3639 (1999), pp. 84-91.
[10] Schwerdtner: Arrangement for three-dimensional representation of information, published specification DE 198 22 342 A1 (1998).
[11] Jong-man Kim: Liquid crystal display device where in each scanning electrode includes three gate line corresponding separate pixels for displaying three dimensional image, Samsung Electronics Co., Ltd., Korean Patent No. 5,850.69 (1998).
[12] R. Börner: A family of single-user autostereoscopic displays with head-tracking capabilities, IEEE Trans. on Circuit and Systems for Video Technology, Vol. 10, H. 2, (2000), pp. 234-243.
[13] Andiel, Hentschke and others: Eye-Tracking for Autostereoscopic Displays using web cams; SPIE, Vol. 4660 (2002), pp. 200-206.
[14] Andiel, Hentschke: Position and Velocity Depending on Subpixel Correction for Spatial-Multiplexed Autostereoscopic Displays; released in SPIE, Vol. 5006, (2003).

Claims

Position-adaptive autostereoscopic 3D playback system for generating 3D images or scenes, consisting of a flat screen ( 1 ) with adjacent color subpixels (R, G, B), a lenticular screen ( 2 ), a coding device ( 7 . 8th ) and a processor unit ( 6 ) for generating perspective images, characterized in that the lenticular lens ( 2 ) is dimensioned such that for the two eyes of the viewer ( 27 . 28 ) the visible stripes ( 32 . 33 ) on the RGB sub-pixel surface ( 25 ) for a defined viewing area in front of the monitor ( 15 ) appear disjoint and / or that the coding device with an adaptive sub-pixel encoder ( 8th ) that usually also works in real time, ie that a combing operation is completed in at least 20 ms.

Playback system for generating 3D images or scenes, consisting of a flat screen ( 1 ) with adjacent color subpixels (R, G, B), a barrier screen mask ( 42 ), a coding device ( 7 . 8th ) and a processor unit ( 6 ) for generating perspective images, characterized in that the barrier grid mask ( 42 ) is dimensioned such that for the two eyes of the viewer ( 27 . 28 ) the visible stripes ( 43 . 45 ) on the RGB sub-pixel surface ( 25 ) for a defined viewing area in front of the monitor ( 15 ) always appear disjoint that the transparent slits ( 53 ) the barrier mask approximately the width of three subpixels ( 82 . 83 . 84 ) and / or that the coding device with an adaptive sub-pixel encoder ( 8th ) that usually also works in real time, ie that a combing operation is completed in at least 20 ms.

Playback system according to claim 1, characterized in that the lenticular disk ( 2 ) is mounted at a fixed distance in front of the display surface so that the visual jump on the sub-pixel level ( 57 . 58 ) from the end of the right (left) visible stripe to the beginning of the next right (or left) visible stripe is one sub-pixel, three sub-pixels or a multiple of three sub-pixels of the display.

Playback system according to claim 2, characterized in that the three sub-pixel values of the right and left i-th pixels of the compressed images ( 10 ) on the sub-pixels of the i-th right and left stripes ( 85 . 86 ) of the screen are copied true to color in correspondence with ( 43 ) and ( 45 ), the starting positions of the individual strips being calculated adaptively, for example according to formulas (F 20), (F 21), and a color which occurs twice in a screen strip is also occupied twice.

Playback system according to claim 1 or 2, characterized characterized that three dynamic words startr, startl and scpitch and the kth right stripe on the display with the subpixel begins, which is the integral part of the product (startr + k) * scpitch corresponds to, called int {(startr + k) * scpitch}, and the left one starts with the subpixel, the integer part of the product (startl + k) * scpitch.

Playback system according to one of Claims 1 to 5, characterized in that a constant horizontal compression factor stretch0 (e.g. stretch0 = 0.33) and the value scpitch in an integer constant part sp0 and a dynamic scpitchv with scpitch = sp0 + scpitchv, the following subpixels of the right compressed image, sfr0 + int {k * scpitchv} to sfr0 + int {k * scpitchv} + spon0, in the right kth screen strip according to claim (2) are copied in the same ascending order, whereby sfr0 so chosen is that the color of the first subpixel in the kth right stripe that of the first sub-pixel from the right compressed image sfr0 + int (k * strechv) and spon0 is chosen so large that the entire kth right stripe on the screen is covered, and that with the left strip is moved accordingly.

Playback system according to claim 2 and 4, characterized in that only the first three subpixels of a kth stripe be copied in and the rest of the kth right or left Stripes on black, i.e. 0, can be set.

Playback system according to one of Claims 1 to 7, characterized in that the subpixels spr0 + int {startr + k * scpitch} to spr0 + int {startl + k * scpitch} -1 of the right un-compressed image be copied true to color into the kth stripe and into the kth left stripe the subpixels spl0 + int {startl + k * scpitch} to spl0 + int {startr + (k + 1) * scpitch} -1, with spr0 and spl0 for the whole Picture chosen once that color-accurate copying is guaranteed.

Playback system according to one of Claims 1 to 8, characterized in that a fourth word passed dynamically stretch is generated and the original size right and left pictures are compressed by the factor stretch, to then again by a constant factor 1 / stretch0 or the dynamic Factor 1 / stretch to be stretched filtering and then accordingly Claim 6 to the right and left stripes of the screen dynamically interdigitated be copied.

Playback system according to one of Claims 1 to 9, characterized in that right and left original pictures ( 9 ) generated or made available in full pixel resolution and from these images according to system setting (S6) HR compressed images are generated, in which the brightness values Y = (R + G + B) / 3 of the original bids on the subpixels by means of an HR filter H _YF (i, k) are filtered according to formula (P26), the sum of all filter coefficient inks being equal to 1 (F22), while the parts of the coefficients operating on the same colors have the sum 1/3 (F23; 24.25).

Playback system according to one of Claims 1 to 10, characterized in that right and left original pictures ( 9 ) generated in full pixel resolution or made available and from these images horizontally compressed to 1/3 images using a suitable low pass C _TP (i), [z. B. (F1, 2)] are generated according to (F3), and that they are combed according to (S5) in such a way that the sub-pixels belonging to the respective partial images are copied into the right and left stripes in unchanged orders, the beginning Subpixel according to (F20) or (F21) are determined using the number SPJ mentioned in claim 3.

Playback system according to one of Claims 1 to 11, characterized in that right and left original images ( 9 ) generated in full pixel resolution or made available and from these images horizontally compressed to 1/3 images using a suitable low pass C _TP (i) [z. B. (F1, 2)] are generated according to (F3), and that from these compressed images the color difference values DR = RY, DG = GY and DB = BY are formed, these are superimposed on the HR compressed images formed according to claim 11 in a low-pass filter [e.g. B. according to (F28), (F27)] and as in claim 12 according to (S5).

Playback system according to one of Claims 1 to 12, characterized in that right and left Images in original size and conventional resolution are generated or made available, but they do not exhaust the entire brightness value range from 0 to 255, but rather a restricted, e.g. B. between 30 and 240, which can also be achieved by weakening the contrast, and that a gray basic value is added to the compressed and HR-filtered image [e.g. B. the value 30], so that when filtering according to claims 11 and 12 also negative brightness values from negative filter coefficients can be taken into account as long as they do not fall below the basic value in the negative direction.

Playback system according to one of Claims 1 to 13, characterized in that in the HR compression filtering after Claim 12 and color overlay according to claim 13, sub-pixels of adjacent lines are also included, as shown, for example, in Tables 2 and 3.

Playback system according to one of Claims 1 to 14, characterized in that black and white patterns or font funds according to one of the above Process created in compressed HR format, saved and insertable to be provided.

Playback system according to one of Claims 1 to 15, characterized in that from the dynamic parameters startr, startl and scpitch reconstructed the observer positions and the object scenes automatically from the adjusted accordingly Camera positions are generated.

Playback system according to one of Claims 1 to 16, characterized in that the dynamic position adaptation can also be stopped, stopped or switched off and that the Parameters scpitch and others can also be exactly twice the size of a color sub-pixel.

Playback system according to one of Claims 1 to 17, characterized in that right and left color images in original size and resolution are generated or made available in R, G, B and h, w, c format (F29) (F30), the w component (white) is HR-filtered according to claims 8, 9 or 10 and the two color values f1 = c · cos (Θ) and f2, = c · sin (Θ) appearing in the h component on the associated color subpixels in the surroundings of the subpixel S _op , on which the subpixel filter operates, are added, are filtered over a coefficient sum of 1, the coefficient weights being approximately reciprocal to the distances to the central subpixel S _op , and if the color of the central subpixel S _op occurs, a filter with the coefficient sum S _Ko = O is used, the coefficient of which has the value 1 for the central subpixel S _op , and the filter is driven with the color value c from the (h, w, c) format. 19: Playback system according to one of Claims 1 to 18, characterized in that, with appropriate HR filtering, the resulting color subpixel values are limited to the permissible range and whole numbers as the color value.

Playback system according to one of Claims 1 to 19, characterized in that a special SP lens grid disc ( 22 ) is provided, which has a slightly smaller pitch distance than the width of two subpixels, so that HR color-filtered images autostereoscopically 2A can be displayed.

Playback system according to one of Claims 1 to 20, characterized in that a flat display is provided, the protective film of which does not additionally scatter the light passing through on the surface, and a fine, special SP lens grid screen ( 22 ) is provided, which ensures normal 2-dimensional use in a normal position in front of the screen surface and by turning into the position behind 2A allows 3D operation.