DE19812118A1

DE19812118A1 - Method for improving the resolution of an image

Info

Publication number: DE19812118A1
Application number: DE19812118A
Authority: DE
Inventors: Wilfried Jentsch
Original assignee: COIN INST fur COMPUTER INTEGR
Current assignee: JENTSCH, WINFRIED, DR., 10367 BERLIN, DE
Priority date: 1998-03-19
Filing date: 1998-03-19
Publication date: 1999-09-23
Also published as: AU3416099A; WO1999048297A1; EP0983690A1

Abstract

An original image (B1) has n1 image elements (b1), arranged as a matrix in lines (z1) and columns (s1). The image elements contain RGB coding to determine individual color proportions. The original image is subjected to data compression transformation (R) to produce a target image (B2) with n2 image elements (b2) arranged as a matrix in lines (z2) and columns (s2).

Description

Die Erfindung betrifft ein Verfahren zur Erhöhung der Auf lösung eines Bildes, insbesondere eines TV-Bildes, gemäß Patentanspruch 1.The invention relates to a method for increasing the on solution of an image, in particular a TV image, according to Claim 1.

Bei bekannten Bildwiedergabegeräten zur Darstellung von Bildern, deren Bildinformation zeilen- und spaltenweise in Matrixform angeordnet ist, ist eine Vielzahl verschiedener Bildformate üblich geworden.In known image display devices for displaying Images whose image information is displayed in rows and columns Matrix form is a variety of different Image formats have become common.

Demgemäß existieren auch ganz unterschiedliche Formen der Codierung und Übertragung der Bildinformationen z. B. von einer Einheit, welche die Bilder erzeugt und bereitstellt, zu den Bildwiedergabegeräten hin.Accordingly, there are very different forms of Coding and transmission of the image information z. B. from a unit that creates and provides the images, towards the image display devices.

In der Fernsehtechnik sind z. B. das PAL-, SECAM-, NTSC- und das HDTV-Verfahren zur Bilddatencodierung und/oder -übertragung als Standards gängig geworden.In television technology, for. B. the PAL, SECAM, NTSC and the HDTV method for image data coding and / or transmission has become standard.

Auf der anderen Seite ist auf dem Gebiet der Computertech nologie eine Vielzahl von Anzeigestandards bei Datenend geräten, z. B. in Form von Grafikterminals, bekannt. In diesem Bereich der Computergrafik und -animation wurde ge genüber der herkömmlichen Fernsehtechnik ein erheblicher Qualitätsvorsprung dadurch erreicht, daß eine viel höhere Auflösung bei gesteigerter Bildwiederholfrequenz im Voll bildverfahren Verwendung findet. So sind z. B. beim SVGA-Standard, insbesondere bei Multimedia-Anwendungen, 1280 × 1024 oder 1600 × 1200 Bildelemente oder Bildpixel bei Bild wiederholfrequenzen der Vollbilder von mindestens 60 Hz üblich, wogegen beim normalen Fernsehen im Halbbildmodus mit 50 oder 60 Hz gearbeitet wird.On the other hand is in the field of computer technology a variety of display standards for data end devices, e.g. B. in the form of graphic terminals known. In this area of computer graphics and animation was developed a considerable one compared to conventional television technology Quality advantage achieved in that a much higher Resolution with increased refresh rate in full imaging process is used. So z. B. at SVGA standard, especially for multimedia applications, 1280 × 1024 or 1600 × 1200 picture elements or picture pixels with picture Repetition frequencies of the full images of at least 60 Hz usual, whereas with normal television in the field mode working with 50 or 60 Hz.

Eine Brücke zwischen den Standards auf dem Computersektor und dem Medienbereich Fernsehen versucht das HDTV (High Definition Television) zu schlagen.A bridge between standards in the computer sector and the media area television tries HDTV (High Definition Television).

Die Konvergenz der beiden technischen Richtungen Fernsehen auf der einen Seite und Computeranwendungen im Mulitmedia- und Grafikbereich auf der anderen Seite hat dazu geführt, daß effektive Verfahren zur digitalen Verarbeitung von Bildinformation geschaffen wurden. Ein Anliegen eines Teils dieser Verfahren ist es, die Redundanz in der Bildinforma tion auszunutzen um die Menge der Bilddaten, welche enorme Ausmaße annehmen kann, auf einen handhabbaren Umfang zu komprimieren, wobei Verluste an Information möglichst ver mieden werden sollen.The convergence of the two technical directions television on the one hand and computer applications in multimedia and graphics area on the other hand has resulted in that effective methods for digital processing of Image information was created. A concern of a part this procedure is the redundancy in the image informa tion to exploit the amount of image data, which is enormous Can assume dimensions to a manageable extent compress, with loss of information ver ver should be avoided.

Andererseits ist es wünschenswert, daß auch gängige und niedrig aufgelöste TV-Bilder im Rahmen der Konvergenz von TV- und Computergrafik zu einer multimedialen Einheit (WEB-TV) auf hochauflösenden Bildausgabegeräten, z. B. einem SVGA-Monitor, unter voller Ausnutzung der Auflösung des Ausgabegerätes darstellbar sind.On the other hand, it is desirable that common and low resolution TV pictures in the context of the convergence of TV and computer graphics into a multimedia unit (WEB-TV) on high-resolution image output devices, e.g. B. a SVGA monitor, taking full advantage of the resolution of the output device can be displayed.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zu schaffen, mit welchem aus einem gegebenen Bild mit einer bestimmten Bildauflösung ein Bild mit verbesser ter Bildauflösung, insbesondere mit verdoppelter Bildauf lösung, besonders einfach und schnell erzeugt werden kann. The invention is based on the object To create procedures with which from a given picture with a certain image resolution to improve an image ter image resolution, especially with doubled image solution that can be generated particularly easily and quickly.

Die Aufgabe wird erfindungsgemäß mit einem Verfahren zur Erhöhung der Auflösung eines Bildes, insbesondere eines TV-Bildes, gemäß Anspruch 1 gelöst. Vorteilhafte Weiterbil dungen des erfindungsgemäßen Verfahrens sind Gegenstand der Unteransprüche.The object is achieved with a method for Increasing the resolution of an image, especially one TV picture, solved according to claim 1. Advantageous training The method of the invention is the subject of Subclaims.

Die erfindungsgemäße Lösung der Aufgabe besteht im wesent lichen darin, daß zunächst die Bildinformation zu einem Urbild, welches eine gegebene Anzahl von Bildelementen enthält, welche in Spalten und Zeilen in Matrixform ange ordnet sind, bereitgestellt, digitalisiert und gespeichert wird. Das Bereitstellen kann z. B. über eine übliche TV-Empfangsstufe oder über einen üblichen Video-Eingang reali siert sein.The achievement of the task consists essentially lichen in that first the image information on a Archetype, which is a given number of picture elements contains which is shown in columns and rows in matrix form are organized, provided, digitized and stored becomes. Providing z. B. a usual TV reception stage or via a normal video input reali be based.

Danach wird das Bild gemäß analoger und/oder digitaler Übertragungs- und Codierungsverfahren (PAL, PAL+, SECAM, NTSC, . . . und VHS, SVHS, . . . bzw. DVB, DVD, DVHS, . . .) de codiert und ggf. z. B. mittels eines A/D-Wandlers digitali siert und dann in einem üblichen digitalen Bildspeicher zur weiteren Bearbeitung abgelegt.Then the image becomes analog and / or digital Transmission and coding methods (PAL, PAL +, SECAM, NTSC,. . . and VHS, SVHS,. . . or DVB, DVD, DVHS,. . .) de encoded and possibly z. B. digitali by means of an A / D converter siert and then in a conventional digital image storage stored for further processing.

Das erfindungsgemäße Verfahren sieht weiterhin vor, daß eine Datenkompressions-Rücktransformation bereitgestellt und gespeichert wird. Dies kann z. B. hardwaremäßig durch einen entsprechenden Bildverarbeitungsprozessor oder auch ganz allgemein durch einen Mikrocomputer realisiert sein, in welchem ein auch adaptierbarer Bildverarbeitungsalgo rithmus abgelegt ist.The inventive method further provides that a data compression inverse transformation is provided and saved. This can e.g. B. by hardware a corresponding image processing processor or generally be realized by a microcomputer, in which an also adaptable image processing algo rhythm is stored.

Danach wird ein sogenanntes Ziel-Bild mit einer bestimmten Anzahl von Bildelementen, die ebenfalls in Spalten und Zei len in Matrixform angeordnet sind, dadurch erzeugt, daß die bereitgestellte und gespeicherte Datenkompressions-Rück transformation auf das Urbild oder auf die Bildinformation zum Urbild angewandt wird. Die Datenkompressions-Rücktrans formation kann hier auch als Datendekompressions-Operation zu einer gegebenen Datenkompressions-Operation aufgefaßt werden. Generell kann die Dekompression der Urbilddaten auf jeglichem Datenkompressionsstandard, wie JPEG, MPEG, MPEG 2 oder Filtern wie Wavelets, Fractals oder dergleichen, ba sieren.Then a so-called target picture with a certain one Number of picture elements, also in columns and time len are arranged in matrix form, produced in that the provided and stored data compression return transformation to the archetype or to the image information is used for the archetype. The data compression reverse trans formation can also be used here as a data decompression operation regarding a given data compression operation become. In general, the decompression of the original image data can any data compression standard such as JPEG, MPEG, MPEG 2 or filters such as wavelets, fractals or the like, ba sieren.

Abschließend wird die aus der Dekompression des Urbildes erhaltene Bildinformation gespeichert und gegebenenfalls zur Anzeige gebracht.Finally, the decompression of the archetype image information obtained is stored and, if necessary brought to the display.

Ein Kerngedanke der vorliegenden Erfindung ist also, ein gegebenes Urbild, dessen Auflösung erhöht werden soll, fik tiv als komprimiertes Bild aufzufassen und an diesem fiktiv komprimierten Bild eine Datendekompression oder -expansion über die anzuwendende Datenkompressions-Rücktransformation oder die Dekompressions-Operation auszuführen, wodurch ein Bild mit vergrößerter Auflösung erzeugt wird, d. h. mit mehr Bildelementen als das Urbild.A key concept of the present invention is therefore a given archetype, the resolution of which is to be increased, fik tiv as a compressed image and fictitious on it compressed image a data decompression or expansion about the data compression reverse transformation to be used or to perform the decompression operation, which causes a Image is generated with an increased resolution, d. H. With more picture elements than the archetype.

Bei der hier in Rede stehenden Datenkompressions-Rücktrans formation kann es sich im Prinzip um jedes gängige Verfah ren handeln, mit dem ein digital komprimierter Datensatz dekomprimiert oder expandiert werden kann, mit dem also eine vorab stattgefundene Datenkompression im wesentlichen rückgängig gemacht werden kann.In the case of the data compression reverse trans In principle, formation can be any common procedure act with which a digitally compressed data record can be decompressed or expanded, with the a pre-existing data compression essentially can be undone.

Vorteilhafterweise wird hierbei aber auf Datenkompressions- Transformationen zurückgegriffen, welche verlustfrei oder fast oder im wesentlichen verlustfrei arbeiten. Dann näm lich kann aus der gegebenen Datenkompressions-Transforma tion eine zu dieser Transformation inverse, d. h. rück gängig machende Datenkompressions-Rücktransformation er stellt werden. Diese ist dann auf das Urbild anwendbar, um ein Ziel-Bild mit höherer Auflösung, d. h. mit gegenüber dem Urbild mehr Bildelementen zu generieren.Advantageously, however, data compression Made use of transformations which are lossless or work almost or essentially lossless. Then nam Lich from the given data compression transforma tion one inverse to this transformation, d. H. return commonly used data compression reverse transformation be put. This is then applicable to the archetype a higher resolution target image, i. H. with opposite to generate more image elements from the archetype.

Besonders einfach und flexibel gestaltet sich das erfin dungsgemäße Verfahren dann, wenn der Datenkompressions- Rücktransformation eine sogenannte Wavelet-Transformation und/oder eine fraktale Zerlegung zugrunde gelegt wird.This is particularly simple and flexible method according to the invention if the data compression Reverse transformation a so-called wavelet transformation and / or a fractal decomposition is used.

Bei Wavelet-Transformationen sind die Bildinformationsver luste beim Komprimieren von Bilddaten besonders gering, oder sie verschwinden ganz. Ferner hat sich gezeigt, daß die Rücktransformation zu einer Wavelet-Transformation selbst dann gute Ergebnisse liefert, falls die Differenzdaten, die den Unterschied zwischen Urbild und komprimiertem Bild be schreiben, verlorengehen oder bei der Rücktransformation nicht verwendet werden. Darüber hinaus läßt sich die Wave let-Transformation und mithin auch die einer Wavelet-Trans formation entspringende Datenkompressions-Rücktransforma tion besonders flexibel an die zu verarbeitende Datenmenge anpassen, so daß ein besonders schnelles und in Echtzeit ausführbares Verfahren zum Erhöhen der Auflösung eines Bil des bereitgestellt werden kann.With wavelet transformations, the image information ver is particularly low when compressing image data, or they disappear entirely. It has also been shown that the Back transformation to a wavelet transformation itself then gives good results if the difference data that be the difference between archetype and compressed image write, get lost or during the back transformation Not used. In addition, the Wave let transform and therefore also a wavelet trans formation-originating data compression reverse transformation tion particularly flexible to the amount of data to be processed adjust so that a particularly fast and in real time executable method for increasing the resolution of a bil which can be provided.

Dabei kann bei der inversen Wavelet-Transformation, wie oben bereits erwähnt wurde, auch auf die Differenzbildda ten verzichtet werden.In the case of the inverse wavelet transformation, how already mentioned above, also on the difference image ten can be dispensed with.

Andererseits kann aus der zugrundegelegten Wavelet-Trans formation der Datensatz für die Differenzbilder nachträg lich aus einer Folge komprimierter Bilder zum Urbild durch iteratives Anwenden der Wavelet-Transformation auf das Ur bild erzeugt werden. Dabei ist eine weitere Kernidee, daß die zugrundegelegte Wavelet-Transformation in ihrer Wirkung als Datenkompressions-Transformation auch schon Informatio nen darüber enthält, wie sich das Anwenden der inversen Wa velet-Transformation auf das Urbild auswirken würde. Dieser Aspekt wird weiter unten noch im Detail erläutert.On the other hand, the underlying wavelet trans Subsequent formation of the data record for the difference images Lich from a sequence of compressed images to the archetype iteratively applying the wavelet transform to the original image can be generated. Another key idea is that the effect of the underlying wavelet transformation Informatio as a data compression transformation contains how the application of the inverse wa velet transformation would affect the archetype. This aspect is explained in more detail below.

Jeder Wavelet-Transformation ist zumindest ein Filterpaar aus einem Blurr- oder Tiefpaßfilter auf der einen Seite und einem Sharpen- oder Hochpaßfilter auf der anderen Seite zugrundegelegt.Every wavelet transformation is at least one filter pair from a blurr or low pass filter on one side and a Sharpen or high pass filter on the other side based on.

Besonders vorteilhaft ist es bei dem erfindungsgemäßen Ver fahren, daß der Datenkompressions-Rücktransformation je weils mindestens ein Blurr- oder Tiefpaßfilter und minde stens ein Sharpen- oder Hochpaßfilter zugrundegelegt wer den, welche spiegelbar oder invertierbar sind oder diese Eigenschaften zumindest im wesentlichen erfüllen. Dabei ist dann den zugrundegelegten Filtern jeweils ein invertiertes oder gespiegeltes Blurr- oder Tiefpaßfilter und ein inver tiertes oder gespiegeltes Sharpen- oder Hochpaßfilter zuge ordnet.It is particularly advantageous in the case of the Ver drive that the data compression reverse transformation ever because at least one blurr or low pass filter and mind at least a Sharpen or high pass filter the ones that are mirrorable or invertible or these At least essentially meet properties. It is then an inverted filter or mirrored blurr or low pass filter and an inv tied or mirrored Sharpen or high pass filter arranges.

Diese Filter oder Filterpaare ergeben sich im wesentlichen aus der zugrundegelegten Wavelet-Transformation, welche in bezug auf die speziellen Umstände über ihre Wavelet-Basis funktionen angepaßt ist und ausgewählt wird.These filters or filter pairs essentially result from the underlying wavelet transformation, which in related to the special circumstances about their wavelet base functions is adjusted and selected.

Bei einem bevorzugten Ausführungsbeispiel des erfindungsge mäßen Verfahrens weist das Anwenden der Datenkompressions- Rücktransformation auf das Urbild einen Verfahrensschritt auf, bei welchem jeweils eine Spalte von Bildelementen hin ter jede Spalte des gespeicherten Bildes oder Urbildes ein gefügt wird. Nach Einfügung der Spalten ergibt sich ein Zwischenbild mit verdoppelter Spaltenzahl, welches eben falls zwischengespeichert wird. Danach ist es vorgesehen, daß das gespiegelte oder invertierte Tiefpaßfilter oder Blurr-Filter und das gespiegelte oder invertierte Hoch paß- oder Sharpenfilter unter Einsatz bekannter Verfahren der Bildverarbeitung modifiziert und auf die Spalten dieses zwischengespeicherten Zwischenbildes angewandt wird. Ferner wird die dann erhaltene Bildinformation ebenfalls gespei chert und/oder gegebenenfalls zur Anzeige gebracht.In a preferred embodiment of the fiction According to the method, the application of the data compression Back-transformation to the archetype a process step on, each with a column of picture elements ter each column of the stored image or archetype is added. After the columns have been inserted, there is a Intermediate picture with doubled number of columns, which one if cached. After that it is intended that the mirrored or inverted low-pass filter or Blurr filter and the mirrored or inverted high pass or Sharpen filter using known methods the image processing modified and on the columns this cached intermediate image is applied. Further the image information then obtained is also saved chert and / or possibly displayed.

Bei dieser Vorgehensweise können die einzufügenden Bildele mente entweder zunächst keine Bildinformation enthalten. Ihnen wird dann durch das Anwenden der invertierten und/oder modifizierten Filter unter Berücksichtigung der Bild information der benachbarten Spalten des Urbildes Bildin formation zugewiesen. Oder aber die Bildinformation ergibt sich aus dem oben beschriebenen interativen Anwenden der Wavelet-Transformation auf das Urbild zur Erzeugung einer Folge komprimierter Zwischenbilder.With this procedure, the images to be inserted can elements either initially contain no image information. You will then be inverted by applying and / or modified filter taking into account the image information of the neighboring columns of the archetype Bildin formation assigned. Or else the picture information results derive from the interactive application of the Wavelet transformation to the archetype to generate a Sequence of compressed intermediate images.

Durch dieses Ausführungsbeispiel des erfindungsgemäßen Ver fahrens wird erreicht, daß aus dem eingelesenen, digitali sierten und gespeicherten Ursprungs- oder Urbild ein Ziel- Bild erzeugt wird, welches die doppelte Spaltenzahl wie das Urbild aufweist.Through this embodiment of the Ver driving is achieved that from the read, digital based and stored original or archetype a target Image is generated which is twice the column number as that Has archetype.

Auf sinnesphysiologischer Ebene wird bei diesem Ausführ ungsbeispiel unter anderem ausgenutzt, daß das horizontale Auflösungsvermögen des menschlichen visuellen Wahrnehmungs systems größer ist als in vertikaler Richtung. Diese sin nesphysiologische Eigenart wird z. B. bereits beim PAL+ für das 16 : 9-Format praktisch eingesetzt. At the level of sensory physiology, this version Example used, among other things, that the horizontal Resolving power of human visual perception systems is larger than in the vertical direction. These are nesphysiological peculiarity is z. B. already with the PAL + for the 16: 9 format is practically used.

Durch eine objektive Erhöhung oder Verbesserung der hori zontalen Auflösung und Textur eines Bildes um einen be stimmten Wert Θ wird auf subjektiver Ebene für den Be trachter eine scheinbare Verbesserung erreicht, welche so gar größer ist als der Betrag Θ.By objectively increasing or improving hori zonal resolution and texture of an image around a be agreed value Θ is on a subjective level for the Be trachten achieved an apparent improvement, which so is even greater than the amount Θ.

In einem weiteren Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist es bevorzugt vorgesehen, daß jeweils eine Zeile mit Bildelementen hinter jede Zeile eines zwischenge speicherten Bildes eingefügt wird und die so erhaltene Bildinformation des Zwischenbildes ebenfalls zwischenge speichert wird. Danach wird ebenfalls das gespiegelte oder invertierte Tiefpaßfilter oder Blurr-Filter und/oder das gespiegelte und/oder invertierte Hochpaß- oder Sharpenfilter unter Einsatz bekannter Verfahren der Bildverarbeitung mo difiziert und auf die Zeilen dieses zwischengespeicherten Bildes angewandt, und die erhaltene Bildinformation wird ge speichert und/oder gegebenenfalls zur Anzeige gebracht.In a further embodiment of the invention The method preferably provides that one Line with picture elements behind each line of an intermediate stored image is inserted and the so obtained Image information of the intermediate image also intermediate is saved. Then the mirrored or inverted low pass filter or blurr filter and / or that mirrored and / or inverted high-pass or Sharpen filters using known methods of image processing mo differentiated and cached on the lines of this Image is applied, and the image information obtained is ge saves and / or if necessary displayed.

Auch hier kann die zunächst eingefügte Information in Form zusätzlicher Bildzeilen zu Null gesetzt werden, also keine Information enthalten. Sie wird dann durch das Anwenden der invertierten und/oder modifizierten Filter unter Berück sichtigung der Bildinformation der benachbarten Zeilen des Urbildes erzeugt und zugewiesen. Die Bildinformation kann aber auch aus der oben bereits beschriebenen Prozedur des iterativen Anwendens des Wavelet-Transformationsverfahrens auf das Urbild zur Erzeugung einer Abfolge komprimierter Bilder erzeugt werden.Here, too, the information inserted at first can be in the form additional image lines are set to zero, i.e. none Contain information. It is then applied by applying the inverted and / or modified filter under consideration viewing the image information of the neighboring lines of the Original image created and assigned. The image information can but also from the procedure of iterative application of the wavelet transformation method on the archetype to generate a sequence of compressed Images are generated.

Bei diesem Ausführungsbeispiel werden ebenfalls wieder die sinnesphysiologischen Eigenarten des menschlichen visuellen Wahrnehmungssystems ausgenutzt. In this embodiment, the Physiological characteristics of the human visual Perception system exploited.

Denn objektiv wird hier eine Auflösungsverdoppelung auch dann erreicht, wenn die neuen Zwischenzeilen mit der glei chen Auflösung (spaltenmäßig) generiert werden, wie die Halbbildzeilen des Urbildes. Diese objektiv gegebene Auflösungsverbesserung wird aber subjektiv vom Betrachter nicht als solche empfunden, weil die Halbbilder (A und B) der Momentaufnahmen (A und B) vom menschlichen visuellen Wahrnehmungsapparat verlustfrei zur Gesamtauflösung super poniert oder überlagert werden und in den vom Auge fixier ten bewegten Anteilen bei Erhaltung der Texturschärfe der Halbbilder interpoliert werden. Andererseits führt eine Ge nerierung von Zwischenzeilen mit geringerer Auflösung (spaltenmäßig) als die der Zeilen des Ur-Halbbildes zu ei ner beim Vollbild als subjektiv empfundenen Auflösungsver schlechterung, obwohl objektiv durchaus eine Auflösungsver besserung des Vollbildes gegenüber dem Ur-Halbbild erreicht sein kann.Because doubling the resolution becomes objective here too then reached when the new intermediate lines with the same Chen resolution (columnar) are generated like the Field lines of the archetype. This objectively given However, resolution improvement becomes subjective by the viewer not perceived as such because the fields (A and B) the snapshots (A and B) of the human visual Perception apparatus loss-free to the total resolution super be positioned or overlaid and fixed in the eye moving parts while maintaining the texture sharpness of the Fields are interpolated. On the other hand, a Ge generation of intermediate lines with lower resolution (columnar) than that of the lines of the original field ner when viewing the full screen as a subjective resolution deterioration, although objectively quite a dissolution ver improvement of the full image compared to the original field achieved can be.

Auf der Grundlage dieses bevorzugten Ausführungsbeispiels kann z. B. erreicht werden, daß ein einlaufendes TV-Halb bild, das z. B. ursprünglich im PAL-Verfahren codiert ist, durch subjektiv auslösungserhaltende Zeilenverdopplung in ein Vollbild umgewandelt wird.Based on this preferred embodiment can e.g. B. can be achieved that an incoming TV half picture that z. B. is originally coded in the PAL method, by subjectively triggering line doubling in a full screen is converted.

Wenn die beiden zuletzt beschriebenen bevorzugten Ausfüh rungsbeispiele des erfindungsgemäßen Verfahrens nacheinan der durchgeführt werden, nämlich zunächst eine Zeilenver doppelung und dann anschließend eine Spalten- und Zeilen verdoppelung, kann erreicht werden, daß z. B. ein einlau fendes Ur- oder Halbbild zunächst in ein Vollbild oder TV-Vollbild und anschließend dann in ein HDTV-Bild mit doppel ter Spalten- und Zeilenzahl, d. h. mit der vierfachen Bild auflösung gegenüber dem Vollbild erzeugt wird. If the last two preferred executions described Examples of the method according to the invention in succession which are carried out, namely first a line ver duplication and then a column and row doubling, can be achieved that z. B. a einlau original or field first into a full frame or TV full screen and then into an HDTV picture with double ter number of columns and rows, d. H. with the quadruple picture resolution compared to the full image is generated.

Auf diese Weise ist es möglich, bekannte Computermonitor anordnungen mit hoher Auflösung im Vollbild- oder non-in terlaced-Verfahren zu betreiben und dabei übliche Fern sehbilder über eine Empfangseingangsstufe zu erhalten und eben auf diesem Monitor mit hoher Qualität in Auflösung und Bildruhe darzustellen.In this way it is possible to use well-known computer monitor High resolution arrays in full screen or non-in to operate terlaced process while doing usual remote to obtain visual images via a reception input stage and on this monitor with high quality in resolution and To represent image calm.

Auf diese Weise wird ein Verfahren geschaffen, mit dem so wohl übliche Computergrafik-Anwendungen oder -Animationen möglich sind, und darüber hinaus eben auch ein Ausgabegerät mit hoher Qualität für übliche TV-Sendungen bereitgestellt wird.In this way, a method is created with which probably common computer graphics applications or animations are possible, and also an output device provided with high quality for common TV programs becomes.

Wie oben bereits erwähnt wurde, ist es von Vorteil, daß zu einem Urbild durch Anwenden der Datenkompressions-Transfor mation ein komprimiertes Bild erzeugt wird, welches insbe sondere im wesentlichen in das Urbild rücktransformierbar ist. Ferner ist es dabei vorgesehen, daß aus dem Urbild, dem komprimierten Bild, der Datenkompressions-Transforma tion und/oder einer Transformation durch Anwendung geeigne ter Bildverarbeitungsoperatoren in Echtzeit die Datenkom pressions-Rücktransformation erzeugt wird, welche bei An wendung auf das Urbild zu einem auflösungsverbesserten Ziel-Bild führt.As mentioned above, it is advantageous that an archetype by applying the data compression transform mation a compressed image is generated, which in particular especially essentially transformable back into the archetype is. It is also provided that from the archetype, the compressed image, the data compression transform tion and / or a transformation by application ter image processing operators in real time the data com backward transformation is generated, which at An turning to the archetype to an improved resolution Lead image leads.

Eine Kernidee dieser Vorgehensweise besteht darin, zusätz lich zu der Bildinformation aus dem Urbild und der Infor mation der Datenkompressions-Transformation Rückschlüsse auf das Verhalten der Datenkompressions-Rücktransformation zu gewinnen. Daraus läßt sich die Datentransformations- Rücktransformation in Echtzeit konstruieren. Dabei kann die Information in Form der Wavelet-Koeffizienten und/oder Bildverarbeitungsoperatoren-Koefffizienten durch Anwenden der Datenkompressions-Transformation auf das Urbild sowie der Bildverarbeitungsoperatoren auf das Ergebnis der Da tenkompressions-Transformation des Urbildes und der daraus erhaltenen Bildinformationen aus dem komprimierten Bild verwendet werden. Die Rückschlüsse geben Aufschluß über die Anwendung dieser Rücktransformation auf das Urbild.A key idea of this approach is to add Lich to the image information from the archetype and the information mation of the data compression transformation on the behavior of the data compression reverse transformation to win. From this, the data transformation Design reverse transformation in real time. The Information in the form of the wavelet coefficients and / or Machine vision operators coefficients by applying the data compression transformation to the archetype as well of the image processing operators on the result of the Da compression compression of the archetype and the resulting one image information obtained from the compressed image be used. The conclusions provide information about the Application of this reverse transformation to the archetype.

Von Vorteil ist es dabei, daß aus der Datenkompressions- Rücktransformation, insbesondere in Echtzeit, auch eine texturverbessernde Datenkompressions-Rücktransformation er zeugt wird, welche bei Anwendung auf das Urbild nicht nur zu einer Auflösungsverbesserung beim Ziel-Bild führt, son dern auch zu einer entsprechenden Texturverbesserung.It is advantageous that the data compression Reverse transformation, especially in real time, also a texture-enhancing data compression reverse transformation is witnessed, which not only when applied to the archetype leads to an improvement in the resolution of the target image, son also to a corresponding texture improvement.

Durch diese Vorgehensweise können also insbesondere beim Anpassen des Urbildes an ein hochauflösendes Ausgabegerät auch weitere Bildeigenschaften verändert werden. Dabei ist es auch vorgesehen, daß bestimmte Datenbearbeitungsverfah ren wie Grauwertskalierung, Kantenverdünnung oder derglei chen Anwendung finden.Through this procedure, therefore, in particular when Adapting the original image to a high-resolution output device other image properties can also be changed. It is it also provided that certain data processing procedures such as gray scale scaling, edge thinning or the like Chen application.

All diese Verfahrens- und Vorgehensweisen bieten sich auch bei der Bearbeitung von z. B. Videoaufzeichnungen an, wo keine Echtzeitverarbeitung notwendig ist.All of these procedures and approaches are also available when editing z. B. video recordings where no real-time processing is necessary.

Wurde bei der eben beschriebenen Verfahrensweise die Daten kompressions-Transformation nur ein einziges Mal auf das Urbild angewandt, so wird bevorzugt eine Vielzahl von Ein zelinformationen dadurch gewonnen, daß die Datenkompres sions-Transformation iterativ auf das Urbild und die daraus entstehenden komprimierten Folgebilder angewandt wird. Aus den Einzelinformationen aufeinanderfolgender Iterations schritte werden durch Differenzminimierungsverfahren Koef fizienten von Bildverarbeitungsoperatoren für die Transfor mation der Filter identifiziert (Transformationskoeffizien ten). Ferner ist es dabei vorgesehen, daß zum Generieren und Bereitstellen der Datenkompressions-Rücktransformation die Information aus dem Urbild, der Datenkompressions- Transformation, insbesondere aus den Transformations-Koef fizienten und der Folge komprimierter Bilder verwendet wird.With the procedure just described, the data compression transformation only once on that Archetype applied, so a variety of A is preferred Cell information obtained in that the data compresses sions transformation iteratively to and from the archetype resulting compressed subsequent images is applied. Out the individual information of successive iterations steps are taken using the Koef efficiency of image processing operators for the Transfor mation of the filters identified (transformation coefficients ten). It is also provided that for generating and providing the data compression inverse transform the information from the archetype, the data compression Transformation, especially from the transformation Koef efficient and the sequence of compressed images used becomes.

In einem weiteren bevorzugten Ausführungsbeispiel des er findungsgemäßen Verfahrens wird beim Generieren und Bereit stellen der Datenkompressions-Rücktransformation aus der iterierten Anwendung der Datenkompressions-Transformation auf das Urbild ein Extrapolations-Verfahren verwendet, bei welchem gerade die eben erwähnten Daten als Eingabedaten dienen.In a further preferred embodiment of the The method according to the invention is generated and ready set the data compression inverse transformation from the iterated application of data compression transformation used an extrapolation method on the archetype which just the data just mentioned as input data to serve.

In allen diesen Verfahrens- und Vorgehensweisen bietet sich zur Generierung eines auflösungsverbesserten Bildes B0 aus dem Urbild B1 in Echtzeit die Arbeit mit apriori bereitge stellten Wavelet-Koeffizienten und parametrisierten Bild verarbeitungsoperatoren an. Die Parametrisierung der auf der Datenkompressions-Transformation angewandten Bildverar beitungsoperatoren wird anhand einer repräsentativen Stich probe HDTV-aufgelöster Videosequenzen durch die Anwendung bekannter Polyoptimierungsverfahren zur Differenzminimie rung zwischen der aus den HDTV-Bildern B0 errechneten Da tenkompressions-Rücktransformationen IW-errechnet und den nach den erfindungsgemäßen Verfahren und Vorgehensweisen generierten Datenkompressions-Rücktransformationen IW-gene riert ermittelt, wobei der TT-Tiefpaßanteil von IW-errech net dem bereitgestellten Urbild B1 entspricht.All of these procedures and procedures are available to generate a resolution-enhanced image B0 work with apriori in real time for the prototype B1 presented wavelet coefficients and parameterized image processing operators. The parameterization of the image processing used for data compression transformation processing operators is based on a representative stitch sample HDTV-resolved video sequences through the application known polyoptimization method for differential minimization tion between the data calculated from the HDTV images B0 back compression is calculated by IW and the according to the methods and procedures according to the invention generated data compression reverse transformations IW genes riert determined, with the TT low-pass component of IW computed net corresponds to the archetype B1 provided.

Nachfolgend wird die Erfindung anhand einer schematischen Zeichnung auf der Grundlage bevorzugter Ausführungsbeispie le näher erläutert. In dieser zeigt The invention is based on a schematic Drawing based on preferred execution examples le explained in more detail. In this shows

Fig. 1 ein Blockdiagramm, in welchem ein Datenkompres sionsverfahren allgemein dargestellt ist, Fig. 1 is a block diagram in which a Datenkompres immersion method is shown generally,

Fig. 2 ein Blockdiagramm, welches die prinzipielle Vor gehensweise beim erfindungsgemäßen Verfahren zur Erhöhung der Auflösung eines Bildes darstellt, Fig. 2 is a block diagram showing the principle proceed as before representing the inventive method for increasing the resolution of an image,

Fig. 3 ein Blockdiagramm, welches eine erste Stufe der Anwendung einer Wavelet-Transformation zur Da ten-Kompression darstellt, Fig. 3 is a block diagram of a wavelet transform to the da ta compression illustrating a first stage of the application,

Fig. 4 ein Blockdiagramm, welches die iterierten Anwen dung der Wavelet-Transformation darstellt,Represents Fig. 4 is a block diagram illustrating the iterated dung appli of the wavelet transform,

Fig. 5 ein Blockdiagramm, welches ein Ausführungsbei spiel des erfindungsgemäßen Verfahrens dar stellt, Fig. 5 is a block diagram which illustrates a game Ausführungsbei represents the inventive method,

Fig. 6 ein Blockdiagramm, welches ein weiteres Ausfüh rungsbeispiel des erfindungsgemäßen Verfahrens darstellt, Fig. 6 is a block diagram for approximately another exporting illustrating the method according to the invention,

Fig. 7 ein Blockdiagramm, welches eine Vorrichtung zur Ausführung des erfindungsgemäßen Verfahrens dar stellt, Fig. 7 is a block diagram that illustrates an apparatus for performing the method according to the invention is,

Fig. 8 ein Blockdiagramm, welches eines Vorrichtung zur Ausführung des erfindungsgemäßen Verfahrens ge mäß eines weiteren Ausführungsbeispiels dar stellt, und Fig. 8 is a block diagram which illustrates a device for performing the method according to the invention accelerator as a further embodiment is, and

Fig. 9 ein Blockdiagramm, welches eine Ausführungsform des erfindungsgemäßen Verfahrens darstellt. Fig. 9 is a block diagram illustrating an embodiment of the inventive method.

Fig. 1 zeigt ein Blockdiagramm, welches ein Datenkompres sionsverfahren grundsätzlich darstellt. In diesem Verfahren wird von einem ursprünglichen Bild oder Urbild B1 ausgegan gen. Dieses Urbild B1 besitzt n1 Bildelemente b1, welche in Matrixform in z1 Zeilen und s1 Spalten angeordnet sind. Die Bildelemente b1 selbst beinhalten die eigentliche Bild information, z. B. in Form einer RGB-Codierung, bei welcher die einzelnen Anteile der Farben rot, grün und blau be schrieben werden. Fig. 1 shows a block diagram which basically represents a data compression method. In this method, an original image or original image B1 is used. This original image B1 has n1 image elements b1, which are arranged in matrix form in z1 rows and s1 columns. The picture elements b1 themselves contain the actual picture information, e.g. B. in the form of an RGB coding, in which the individual portions of the colors red, green and blue be written.

Auf dieses Urbild B1 wird ein Kompressionsverfahren oder eine Datenkompressions-Transformation R angewandt. Nach An wendung dieser Transformation R erhält man ein Zielbild B2, welches n2 Bildelemente b2 aufweist, die ihrerseits eben falls in Matrixform in s2 Spalten und z2 Zeilen angeordnet sind.A compression method or a data compression transformation R is applied. According to Applying this transformation R you get a target image B2, which has n2 picture elements b2, which in turn are flat if arranged in matrix form in s2 columns and z2 rows are.

Bei der Anwendung der Datenkompressions-Transformation R auf das Urbild B1 zur Erzielung des komprimierten Bildes B2 können unter Umständen Bildinformationen A verlorenge hen. In diesem Fall spricht man von einer sogenannten ver lustbehafteten Datenkompression R mit einer Bilddifferenz A. Ist die Bilddifferenz von Urbild B1 zu komprimierten Bild B2 Null, so wird von einer verlustfreien Datenkompres sions-Transformation R gesprochen.When using the data compression transformation R on the original image B1 to achieve the compressed image B2 Under certain circumstances, image information A can be lost hen. In this case one speaks of a so-called ver lusty data compression R with an image difference A. Is the image difference from original image B1 to be compressed Image B2 is zero, so there is a lossless data compression sions transformation R spoken.

Die Fig. 2 zeigt ein Blockdiagramm, welches das Prinzip des erfindungsgemäßen Verfahrens schematisch darstellt. Bei diesem Verfahren wird das empfangene und/oder aus einem Da tenträger bereitgestellte und digitalisierte Urbild B1, welches n1 Bildelemente b1 in Matrixform in z1 Zeilen und s1 Spalten aufweist, so behandelt, als wäre es bereits das Ergebnis der Anwendung einer Datenkompressions-Transforma tion R auf ein fiktives Ursprungsbild B0. FIG. 2 shows a block diagram which schematically represents the principle of the method according to the invention. In this method, the received and / or digitized original image B1, which is provided and digitized from a data carrier and has n1 image elements b1 in matrix form in z1 lines and s1 columns, is treated as if it were already the result of the application of a data compression transformation R on a fictitious original picture B0.

Unter dieser Voraussetzung wird nun die inverse oder ge spiegelte Transformation IR, nämlich die Datenkompressions- Rücktransformation oder Datendekompressions-Transformation, erzeugt und bereitgestellt und auf das Urbild B1 angewandt. Als Ergebnis ergibt sich als Ziel-Bild B0 ein Bild mit n0 Bildelementen b0, welche in z0 Zeilen und s0 Spalten ange ordnet sind.Under this condition, the inverse or ge mirrored transformation IR, namely the data compression Reverse transformation or data decompression transformation, generated and provided and applied to the archetype B1. The result is a picture with n0 as the target picture B0 Picture elements b0, which are in z0 rows and s0 columns are arranged.

Bei der Anwendung der Datenkompressions-Rücktransformation IR auf das Urbild B1 kann die sogenannte Bilddifferenz A entweder zu Null angenommen werden, oder sie wird künstlich entweder beim Aufbau des Zielbildes B0 oder direkt bei der Konstruktion der Datenkompressions-Rücktransformation IR berücksichtigt.When using data compression reverse transformation IR on the original image B1 can be the so-called image difference A either be assumed to be zero, or it becomes artificial either when building the target image B0 or directly at the Construction of the data compression reverse transformation IR considered.

Im Ergebnis ergibt sich nach Anwendung der Datenkompres sions-Rücktransformation IR auf das Urbild B1 ein Ziel-Bild B0, welches eine höhere Auflösung besitzt.The result is after using the data compresses back transformation IR to the original image B1 a target image B0, which has a higher resolution.

Fig. 3 zeigt ein Blockdiagramm, in welchem die einfache An wendung einer Wavelet-Transformation W auf ein Urbild B1 mit n1 Bildelementen in z1 Zeilen und s1 Spalten in Matrix form dargestellt ist. Die Wavelet-Transformation hat als Grundlage ein Filterpaar mit einem Hochpaßfilter H und einem Tiefpaßfilter T. Fig. 3 shows a block diagram in which the simple application of a wavelet transformation W to an original image B1 with n1 picture elements in z1 lines and s1 columns is shown in matrix form. The basis of the wavelet transformation is a filter pair with a high-pass filter H and a low-pass filter T.

Ausgehend vom Urbild B1, werden zunächst das Tiefpaßfilter T und das Hochpaßfilter H jeweils auf die Zeilen des Urbil des B1 angewandt. Als Ergebnis erhält man zwei zeilenmäßig tiefpaß- bzw. hochpaßgefilterte Zwischenbilder 11 und 12. Aus diesen Zwischenbildern wird jeweils zunächst mittels eines Verfahrens Z zum Zeilenentfernen jede zweite Zeile aus den Zwischenbildern 11 und 12 entfernt. Als Ergebnis werden Zwischenbilder 21 und 22 erhalten. Starting from the archetype B1, the low-pass filter T and the high-pass filter H are first applied to the lines of the urban area of the B1. As a result, two low-pass or high-pass filtered intermediate images 11 and 12 are obtained . From these intermediate images, every second line is first removed from the intermediate images 11 and 12 using a method Z for removing lines. As a result, intermediate images 21 and 22 are obtained.

Auf diese Zwischenbilder 21 und 22 werden jetzt spaltenmäßig das Tiefpaßfilter und das Hochpaßfilter erneut ange wandt. Als Ergebnis erhält man nun vier Zwischenbilder 31, 32, 33 und 34, die zusätzlich spaltenmäßig tiefpaß- bzw. hochpaßgefiltert sind. Von diesen Zwischenbildern 31, 32, 33 und 34 wird jetzt mittels eines Operators S zum Spalten- Entfernen jede zweite Spalte dieser Zwischenbilder ent fernt. Als Ergebnis erhält man vier Zwischenbilder TT, HT, TH und HH.On these intermediate images 21 and 22 , the low-pass filter and the high-pass filter are now applied again in columns. As a result, four intermediate images 31 , 32 , 33 and 34 are obtained , which are additionally low-pass and high-pass filtered in columns. From these intermediate images 31 , 32 , 33 and 34 every second column of these intermediate images is now removed using an operator S for column removal. The result is four intermediate images TT, HT, TH and HH.

Nach einmaliger Anwendung der Wavelet-Transformation W er hält man also vier Einzelbilder TT, HT, TH und HH.After applying the Wavelet transform W er So you keep four frames TT, HT, TH and HH.

Der Anteil TT ist ein Tiefpaß-Zeilen-Tiefpaß-Spalten-Bild, bei welchem gegenüber dem Urbild B1 jede zweite Spalte und jede zweite Zeile gestrichen ist. Es ist somit eine ver kleinerte und geglättete Version des Original- oder Urbilds B1 und wird mit B2 bezeichnet.The portion TT is a low-pass row, low-pass column image, in which every second column and every other line is deleted. It is therefore a ver smaller and smoothed version of the original or original image B1 and is referred to as B2.

Der Anteil TH ist ein Tiefpaß-Zeilen-Hochpaß-Spalten-Bild und enthält Differenzinformationen zwischen Urbild B1 und dem Anteil TT in horizontaler Richtung der Bildinformation.The TH portion is a low pass row high pass column image and contains difference information between archetype B1 and the portion TT in the horizontal direction of the image information.

Der Anteil HT ist ein Hochpaß-Zeilen-Tiefpaß-Spalten-Bild und enthält die Bilddifferenz-Information zum Urbild B1 in vertikaler Richtung.The HT portion is a high-pass row, low-pass column image and contains the image difference information for the original image B1 in vertical direction.

Schließlich ist der Anteil HM ein Hochpaß-Zeilen-Hochpaß- Spalten-Bild und enthält die Differenzinformation in bezug auf das Urbild B1 in diagonaler Richtung.Finally, the HM portion is a high pass line high pass Column image and contains the difference information related to the archetype B1 in a diagonal direction.

Beim Rekonstruieren des Urbildes B1 aus den Anteilen TT, HT, TH und HH werden die Einzeloperationen des Entfernens von Spalten und Zeilen durch Einfügen von Spalten bzw. Zei len, welche nur aus Nullen bestehen, rückgängig gemacht, und die Filteroperationen werden mit gespiegelten oder in vertierten Filtern wieder aufgehoben. Durch Superposition oder Überlagerung der Anteile TT, HT, TH und HH erhält man dabei dann die Bildinformationen des Urbildes B1 zurück. Wahlweise können auch sämtliche Hochpaß- oder H-Anteile, d. h. HT, TH und HH vernachlässigt oder zu Null gesetzt wer den.When reconstructing the archetype B1 from the parts TT, HT, TH and HH become the single operations of removal of columns and rows by inserting columns or times len, which consist only of zeros, undone, and the filtering operations are mirrored with or in vertical filters removed. Through superposition or superposition of the parts TT, HT, TH and HH is obtained then the image information of the archetype B1 is returned. Optionally, all high-pass or H components, i.e. H. HT, TH and HH neglected or set to zero the.

Fig. 4 zeigt ein Blockdiagramm, in welchem die iterierte Anwendung der Wavelet-Transformation W dargestellt ist. FIG. 4 shows a block diagram in which the iterated application of the wavelet transformation W is shown.

Ausgehend von einem Urbild B1 wird die Wavelet-Transforma tion W zunächst auf das Urbild B1 selbst angewandt. Als Er gebnis erhält man ein komprimiertes Bild B2, welches dem Anteil TT entspricht, und Hochpaß-Anteile (HT, TH, HH), die die Differenzinformationen zum Urbild B1 tragen.Starting from an archetype B1, the wavelet transforma tion W first applied to the archetype B1 itself. As he result you get a compressed image B2, which the Proportion corresponds to TT, and high-pass proportions (HT, TH, HH) that carry the difference information to the archetype B1.

Danach wird die Wavelet-Transformation W auf das kompri mierte Bild B2 der ersten Kompressionsstufe aus dem TT-Anteil der ersten Anwendung der Wavelet-Transformation W angewandt. Als Ergebnis erhält man ein weiter komprimiertes Bild B3, nämlich als TT-Anteil der zweiten Iterationsstufe der Wavelet-Transformation W. Die Differenzinformationen von dem Bild B3 gegenüber dem Bild B2 ist in neuen Hoch paßanteilen der zweiten Stufe enthalten (HT, TH, HH).Then the wavelet transformation W is applied to the kompri mated image B2 of the first compression stage from the TT component of the first application of the wavelet transform W applied. The result is a more compressed one Figure B3, namely as a TT component of the second iteration level the wavelet transform W. The difference information of image B3 versus image B2 is in new highs passages of the second stage included (HT, TH, HH).

Durch weitere iterierte Anwendungen der Wavelet-Transforma tion W auf die jeweiligen TT-Anteile erhält man weitere Folgeglieder, d. h. weitere komprimierte Teilbilder, B4, B5, mit entsprechenden Hochpaßanteilen.Through further iterated applications of the wavelet transform tion W on the respective TT shares you get more Followers, d. H. further compressed drawing files, B4, B5, with corresponding high-pass components.

Bei der iterierten Anwendung der Wavelet-Transformation W sind die einzelnen Iterationen umkehrbar und die Umkehrun gen IW führen zum jeweiligen Vorgängerbild und schließlich auch zum Urbild B1 zurück, wenn man, wie oben beschrieben wurde, sämtliche Operationen umkehrt und die Differenzin formationen aus den Hochpaßanteilen einsetzt.In the iterated application of the wavelet transformation W the individual iterations are reversible and the reversal against IW lead to the respective predecessor picture and finally also back to archetype B1 if, as described above all operations are reversed and the difference formations from the high-pass components.

Die Fig. 5 zeigt in einem Blockdiagramm schematisch den Ab lauf eines Ausführungsbeispiels des erfindungsgemäßen Ver fahrens, bei welchem aus einem PAL-Eingangssignal zu einem Urbild B1, nämlich einem TV-Halbbild, durch Anwendung der Datenkompressions-Rücktransformation im Sinne einer inver tierten Wavelet-Transformation IW ein Vollbild B0 mit ver doppelter Zeilenzahl gegenüber dem Urbild B1 erzeugt wird.The Fig. 5 is a block diagram schematically showing the Ab running an embodiment of the Ver invention proceedings, wherein from a PAL input signal to a prototype B1, namely a TV field, by applying the data compression inverse transform in the sense of inver oriented wavelet Transformation IW a frame B0 with double the number of lines compared to the original image B1 is generated.

Dabei kann die invertierte Wavelet-Transformation IW, die sich aus der Wavelet-Transformation w ergibt, bereits ge geben und bereitgestellt sein. Es kann aber auch, wie das in diesem Ausführungsbeispiel der Fig. 5 gezeigt ist, die invertierte Wavelet-Transformation IW durch Erzeugen eines gegenüber dem Urbild B1 komprimierten Bildes B2 abgeleitet werden. Dabei wird das komprimierte Bild B2 dadurch erhal ten, daß die gegebene Wavelet-Transformation W auf das Ur bild B1 so angewendet wird, wie das oben allgemein be schrieben wurde. Unter der Prämisse, daß das komprimierte Bild B2 mittels der inversen Wavelet-Transformation IW in das Urbild B1 zurücktransformierbar sein muß, läßt sich dann die invertierte Wavelet-Transformation IW in Echtzeit bestimmen und auf das Urbild B1 zur Rekonstruktion des Vollbildes B0 anwenden.The inverted wavelet transformation IW, which results from the wavelet transformation w, can already be provided and provided. However, as is shown in this exemplary embodiment in FIG. 5, the inverted wavelet transformation IW can also be derived by generating an image B2 that is compressed with respect to the original image B1. The compressed image B2 is obtained by applying the given wavelet transformation W to the original image B1 as described above in general. Under the premise that the compressed image B2 must be able to be transformed back into the original image B1 by means of the inverse wavelet transformation IW, the inverted wavelet transformation IW can then be determined in real time and applied to the original image B1 for the reconstruction of the full image B0.

Dabei gehen die Bildinformationen des Urbildes B1, des er sten komprimierten Bildes B2 und die Informationen der Wa velet-Transformation W, insbesondere die Ergebnisse der Bildverarbeitung der Wavelet-Transformation W, also z. B. die Wavelet-Koeffizienten, direkt in die Konstruktion und Generierung der inversen Wavelet-Transformation IW ein. The image information of the archetype B1, the he most compressed image B2 and the information of the wa velet transformation W, especially the results of the Image processing of the wavelet transformation W, that is, e.g. B. the wavelet coefficients, straight into the construction and Generation of the inverse wavelet transform IW.

Die Fig. 6 zeigt ein weiteres Ausführungsbeispiel des er findungsgemäßen Verfahrens, wobei wiederum von einem Urbild B1 ausgegangen wird. Dieses Urbild B1 wird ebenfalls mit tels der inversen Wavelet-Transformation IW, die aus einer Wavelet-Transformation W stammt, in ein Zielbild B0 mit verbesserter Auflösung überführt, wobei auch noch bestimmte Bildparameter, z. B. die Textur des Bildes, geändert, ange paßt und verbessert werden können. Fig. 6 shows a further embodiment of the inventive method, which in turn is based on an original image B1. This original image B1 is also converted into a target image B0 with improved resolution using the inverse wavelet transformation IW, which originates from a wavelet transformation W, with certain image parameters, e.g. B. the texture of the image can be changed, adjusted and improved.

Wie bei dem Ausführungsbeispiel der Fig. 5, so wird auch hier die gegebene Wavelet-Transformation W auf das Urbild B1 angewandt, um ein komprimiertes Bild B2 zu erhalten. Dieses komprimierte Bild B2 stellt den TT-Anteil der er sten Iterationsstufe der Wavelet-Transformation W auf das Urbild B1 dar. Die Differenzinformationen sind in den An teilen HT, TH und HH der ersten Iterationsstufe enthalten.As in the exemplary embodiment in FIG. 5, the given wavelet transformation W is also applied to the original image B1 in order to obtain a compressed image B2. This compressed image B2 represents the TT component of the first iteration stage of the wavelet transformation W on the original image B1. The difference information is contained in the parts HT, TH and HH of the first iteration stage.

Im Gegensatz zum Ausführungsbeispiel der Fig. 5 wird nun aber in der Iteration, d. h. in der Anwendung der Wavelet- Transformation W, fortgefahren. Das heißt, daß die Wave let-Transformation W nun auf den TT-Anteil der ersten Ite rationsstufe, d. h. auf das komprimierte Bild B2, angewandt wird. Als Ergebnis wird das nächste Folgeglied, also ein weiteres komprimiertes Bild B3 erhalten, nebst den die Bilddifferenz beschreibenden Anteilen HT, TH und HH der zweiten Iterationsstufe der Anwendung der Wavelet-Trans formation W. Wie in dem Ausführungsbeispiel der Fig. 5, so wird auch hier die Bedingung gestellt, daß aus dem kompri mierten Bild B3, also dem TT-Anteil der zweiten Iterations stufe, das Vorgängerbild B2 durch Anwendung der inversen Wavelet-Transformation IW auf das Bild B3 rekonstruierbar sein muß.In contrast to the exemplary embodiment in FIG. 5, the iteration, ie the application of the wavelet transformation W, is now continued. This means that the wave let transformation W is now applied to the TT component of the first iteration level, ie to the compressed image B2. As a result, the next following element, that is to say a further compressed image B3, is obtained, along with the portions HT, TH and HH describing the image difference of the second iteration stage of the application of the wavelet transformation W. As in the exemplary embodiment in FIG here the condition is met that from the compressed image B3, ie the TT component of the second iteration stage, the previous image B2 must be reconstructable by using the inverse wavelet transformation IW on the image B3.

Nach einer gegebenen Anzahl von aufeinanderfolgenden Anwen dungen der Wavelet-Transformation auf die Folge komprimier ter Bilder B2, B3, . . . werden sämtliche Informationen, nämlich des Urbildes B1, der komprimierten Bilder B2, B3, . . . und der Differenzbildanteile (HT, TH, HH) der einzelnen Iterationsstufen, insbesondere durch parametrisierte Bild verarbeitungsoperatoren in einem Extrapolationsverfahren E zusammengeführt und/oder ausgewertet, und es wird eine in verse Wavelet-Transformation daraus gewonnen, die aus dem Urbild B1 in der angezeigten Weise gerade ein entsprechen des Zielbild B0 mit verbesserter Auflösung und gegebenen falls angepaßten grafischen Parameter, wie Textur und der gleichen, erzeugt.After a given number of consecutive users compression of the wavelet transform ter pictures B2, B3,. . . all information, namely the archetype B1, the compressed images B2, B3, . . . and the difference image components (HT, TH, HH) of the individual Iteration levels, especially through parameterized image processing operators in an extrapolation process E merged and / or evaluated, and it becomes an in verse wavelet transformation obtained from that from the Archetype B1 in the displayed manner just correspond the target image B0 with improved resolution and given if adjusted graphical parameters such as texture and the same, generated.

Zur Beschleunigung der Durchführung der vorgestellten Aus führungsbeispiele des erfindungsgemäßen Verfahrens können sämtliche Verfahrensschritte auch auf jeweils eine lokale Punktumgebung jedes Punktes des Urbilds B0 angewandt wer den. Durch diese Vorgehensweise ergibt sich die Möglich keit, das Ziel-Bild B0 aus dem Eingangs- oder Urbild B1 lokal und in Echtzeit zu erzeugen. Durch die Eigenschaft der Lokalität der Verarbeitungsverfahren kann eine beson ders effektive, weil vereinfachte und beschleunigte Verar beitungsweise, erreicht werden, so daß sich z. B. auch die Echtzeitverarbeitung eines in einen Empfänger einlaufenden Stroms von TV-Signalen anbietet.To speed up the implementation of the presented off examples of the method according to the invention can all process steps also to a local one Point environment of each point of the archetype B0 the. This procedure creates the possibility speed, the target image B0 from the input or original image B1 generate locally and in real time. By the property The location of the processing methods can be a particular effective, because simplified and accelerated processing beitweise be achieved so that z. B. also the Real time processing of an incoming incoming Offers streams of TV signals.

Demzufolge ist es möglich, ohne oder mit vernachlässigbarer zeitliche Verzögerung auf einem Bildwiedergabegerät, auf welchem man in Computerbildqualität darstellen kann, TV-Programme, insbesondere also Bewegtbildersequenzen, einzu lesen, zu digitalisieren und auf einen Standard mit höherer grafischer Auflösung und verbesserten Bildparametern zu transformieren.As a result, it is possible without or with negligible time delay on an image display device, on which can be displayed in computer image quality TV programs, especially moving picture sequences read, digitize and to a standard with higher graphic resolution and improved image parameters transform.

Die lokale Bildverarbeitung eines Punktes des Urbildes B0 muß natürlich auch die Punktumgebung des jeweiligen Punktes mit einbeziehen. Diese Punktumgebung kann aus den nächsten Nachbarn bestehen. Es können aber auch weitere erweiterte Punktumgebungen, z. B. mit übernächsten Nachbarn, vorgese hen sein.The local image processing of a point of the original image B0 must of course also the point environment of the respective point to include. This point environment can come from the next Neighbors exist. But there can also be more advanced ones Point environments, e.g. B. with neighbors after next, vorese hen.

Im Extremfall wird das gesamte Urbild B0 analysiert, um die Punktumgebung eines Punktes des Urbildes B0 in seiner Auf lösung zu verbessern.In an extreme case, the entire archetype B0 is analyzed to determine the Point environment of a point of the original image B0 in its up to improve the solution.

Fig. 7 zeigt das Blockschaltbild für den grundlegenden Auf bau einer Vorrichtung zur Durchführung des erfindungsge mäßen Verfahrens. Fig. 7 shows the block diagram for the basic construction of a device for performing the method according to the invention.

Über eine Bildempfangs-/-bereitstellungseinrichtung BE wird ein zu verarbeitendes Urbild B1 empfangen oder bereitge stellt. Es kann sich dabei um eine TV-Eingangsstufe, um ei ne Empfangseinrichtung für Video-Bilder oder dergleichen handeln. Es ist auch daran gedacht, daß bereits digital vorhandene Bilddaten in der Bildempfangs-/-Bereitstellungs einrichtung aufgenommen werden können.Via an image receiving / providing device BE received or prepared a prototype B1 to be processed poses. It can be a TV input stage to ei ne receiving device for video images or the like act. It is also thought to be already digital existing image data in the image receiving / providing facility can be included.

Die empfangenen und bereitgestellten Bilddaten zum Urbild B1 werden dann an einen Urbildspeicher US weitergegeben und dort digital gespeichert. Dabei ist es vorgesehen, falls die Bilddaten zum Urbild B1 nicht bereits digital vorlie gen, diese Daten durch einen Analog/Digital-Wandler AD zu digitalisieren.The image data received and provided for the original image B1 are then forwarded to an archival image storage US and stored there digitally. It is provided if the image data for the archetype B1 is not already available digitally conditions, this data through an analog / digital converter AD digitize.

Der Urbildspeicher US ist mit einer Bildverarbeitungsein richtung BV verbunden. Die Bildverarbeitungseinrichtung weist einen Analyseabschnitt AN auf, welcher mit mehreren Bildspeichern S1 bis SN versehen ist. Ferner ist eine Transformationseinheit T vorgesehen, welche die Bildin formationen des Urbildes B1 vom Urbildspeicher US auf nimmt, zu einem Ziel-Bild B0 weiterverarbeitet und diese Bildinformationen des Ziel-Bildes in digitaler Form und gegebenenfalls nach entsprechender Bildmanipulation an ei nen Ausgabespeicher AS weitergibt.The original image memory US is an image processing unit direction BV connected. The image processing device has an analysis section AN, which with several Image storage S1 to SN is provided. Furthermore, one Transformation unit T is provided, which the image in Formations of the original image B1 from the original image storage US takes, processed into a target image B0 and this Image information of the target image in digital form and if necessary after appropriate image manipulation on egg passes on output memory AS.

Bei dem Ausgabespeicher AS kann es sich um einen schnellen Videobild-Wechselspeicher handeln, der seinerseits Daten an eine Bildausgabeeinrichtung BA abgibt. Die Bildausgabeein richtung BA kann in Form einer TV- oder Videoendstufe aus gebildet sein.The output memory AS can be a fast one Video image removable storage act, which in turn data outputs an image output device BA. Enter the image output direction BA can take the form of a TV or video amplifier be educated.

In der Bildverarbeitungseinrichtung BV wird das Urbild B1 aus dem Urbildspeicher US aufgenommen, und es werden z. B. in der Analyseeinheit AN die iterativen Anwendungen einer Wavelet-Transformation W durchgeführt, wobei die einzelnen Ergebnisse der Abfolge komprimierter Bilder B1 bis BN in den Speichereinrichtungen S1 bis SN abgelegt werden. Ferner wird in der Analyseeinheit AN die zur Wavelet-Transforma tion W invertierte Wavelet-Transformation IW erzeugt, indem z. B. durch Bildverarbeitungsoperatoren eine extrapolations fähige inverse Wavelet-Transformation IW erzeugt wird. Da nach wird die inverse Wavelet-Transformation IW an die Transformationseinheit T übertragen.In the image processing device BV, the original image B1 recorded from the original image storage US, and z. B. in the analysis unit AN the iterative applications of a Wavelet transformation W performed, the individual Results of the sequence of compressed images B1 to BN in the storage devices S1 to SN are stored. Further in the analysis unit AN becomes the wavelet transform tion W inverted wavelet transformation IW generated by e.g. B. by image processing operators an extrapolations capable inverse wavelet transformation IW is generated. There after the inverse wavelet transformation IW is passed to the Transfer transformation unit T.

Nach Erhalten der inversen Transformation IW wird von der Transformationseinheit T das Urbild B1 aus dem Urbildspei cher US ausgelesen und zu einem auflösungsverbesserten Ziel-Bild B0 weiterverarbeitet.After receiving the inverse transformation IW, the Transformation unit T the archetype B1 from the archetype US read out and a resolution improved Target image B0 processed further.

Zur lokalen Generierung von auflösungs- und/oder textur verbesserten Bildern in Echtzeit und insbesondere zur Kon struktion der inversen Wavelet-Transformation IW wird das Wavelet-Verfahren wie folgt angewendet:
Zunächst wird z. B. die gesendete Abfolge von TV-Halbbil dern oder TV-Vollbildern wie üblich empfangen und in Echt zeit digitalisiert. Jedes empfangene TV-Bild wird nach dem Digitalisieren als TT-Anteil in einem Zwischenspeicher ge schrieben. Auf das zwischengespeicherte Bild werden dann die Hochpaß- und Tiefpaßfilter angewendet, und die erhal tenen Bilder werden wiederum als Anteile TH, HT und HH ab gespeichert.For the local generation of resolution and / or texture-improved images in real time and in particular for the construction of the inverse wavelet transformation IW, the wavelet method is used as follows:
First, e.g. B. received the transmitted sequence of TV Halbbil or TV frames as usual and digitized in real time. After being digitized, each received TV picture is written as a TT component in a buffer. The high-pass and low-pass filters are then applied to the buffered image, and the images obtained are in turn stored as portions TH, HT and HH.

Danach gibt es mehrere Möglichkeiten der weiteren Vorge hensweise. Zur lokalen Generierung von Vollbildern aus Halbbildern in Echtzeit werden dann aus den zwischenge speicherten Anteilen TH, HT und HH jeweils jede zweite Spalte entfernt. Die Ergebnisse werden wieder als TH-, HT und HH-Anteile in Zwischenspeichern abgelegt.After that, there are several options for the next steps notably. For the local generation of full images Fields in real time are then from the intermediate saved shares TH, HT and HH every second Column removed. The results are again as TH, HT and HH shares are stored in buffers.

Danach werden die Inhalte der Zwischenspeicher mit Bildver arbeitungsoperatoren, z. B. Operatoren zur Kantenverschär fung, der Linienverdünnung, des Bildzoomings und/oder zur Grauwertskalierung - insbesondere nach vorangegangenem Zoom, Farbzerlegen und/oder Grauwertesklaieren der Pixel in yuv- und/oder RGB-Codierung - bearbeitet, auch um z. B. sur realistische, naturalistische oder individuell angepaßte oder optimierte Kontraste, Farben und/ oder Texturen im Zielbild zu erreichen. Aus den Informationen der Zwischen wertspeicher zu den Anteilen TT, HT, TH und HH werden in Rücktransformation dann die Zwischenzeilen zur Erzeugung des Vollbildes aus dem Halbbild erzeugt, wobei zur Verein fachung und zur Beschleunigung des Verfahrens die Hoch paßanteile TH, HT und HH auch zu Null gesetzt werden können.Then the contents of the buffer with image ver labor operators, e.g. B. operators for edge sharpening tion, line thinning, image zooming and / or Grayscale scaling - especially after the previous one Zoom, color decomposition and / or gray value scaling of the pixels in yuv and / or RGB coding - edited, also to z. B. sur realistic, naturalistic or customized or optimized contrasts, colors and / or textures in the To achieve the target image. From the information of the intermediate value storage for the shares TT, HT, TH and HH are in Back transformation then the intermediate lines for generation of the full image generated from the field, with the club fold and to accelerate the process the high Fit parts TH, HT and HH can also be set to zero can.

Statt des Entfernens von Spalten oder Zeilen kann bei der lokalen Generierungsauflösung und/oder texturverbesserten Bildern in Echtzeit auch auf ein derartiges Entfernen ver zichtet werden. Instead of removing columns or rows, the local generation resolution and / or texture-improved Ver images in real time also on such a removal to be waived.

Danach werden dann z. B. aus den Informationen der Anteile TT, HT, TH und HH Zwischenzeilen und Zwischenspalten für ein hochaufgelöstes Vollbild im HDTV-Standard erzeugt, nachdem auf die Anteile die entsprechenden Bildverarbei tungsoperatoren angewendet wurden.Then z. B. from the information of the shares TT, HT, TH and HH intermediate lines and intermediate columns for generates a high-resolution full screen in the HDTV standard, after the corresponding image processing on the parts tion operators were applied.

Andererseits können auf den Anteilen HT, TH und HH auch weitere Iterationen der Wavelet-Kompression durchgeführt werden. Die jeweiligen Anteile HT, TH und HH werden dann standardmäßig mit der Wavelet-Transformation W iteriert und dann nach der Anwendung von Bildverarbeitungsoperatoren zum Zooming, zur Kantenverdünnung oder dergleichen geeignet superponiert. Das Ergebnis der Superposition wird mit ge eigneten Bildverarbeitungsverfahren, z. B. der Generierung einer dreidimensionalen Splinefläche und mit einer Fitting- Funktion F über Rasterebenen beschrieben. Abschließend wird dann in einem Extrapolationsverfahren auf der Grundlage der Fitting-Funktion und der Anteile TH, HT und HH die Rück transformation auf das HDTV-Vollbild als Ziel-Bild mit ver vierfachter Auflösung und verbesserter Textur erreicht.On the other hand, HT, TH and HH can also be used further iterations of wavelet compression were carried out become. The respective proportions HT, TH and HH are then iterates with the Wavelet transformation as standard and then after using image processing operators to Zooming, suitable for edge thinning or the like superposed. The result of the superposition is ge suitable image processing methods, e.g. B. generation a three-dimensional spline surface and with a fitting Function F described via raster levels. In conclusion then in an extrapolation process based on the Fitting function and the proportions TH, HT and HH the back transformation to full HDTV as target image with ver quadruple resolution and improved texture achieved.

Im Sinne der Erfindung soll mit dem Begriff Textur insbe sondere auch der Grauwerte- und/oder Farbkontrast gemeint sein. Demgemäß wird der Begriff Texturverbesserung auch als eine Verbesserung des Grauwerte- und/oder Farbkontrastes in der Wiedergabe der im Originalbild enthaltenen Grauwerte- und/oder Kontrastgüteausdrücke verstanden.For the purposes of the invention, the term texture is intended in particular especially the gray value and / or color contrast is meant be. Accordingly, the term texture enhancement is also called an improvement in the gray value and / or color contrast in the reproduction of the gray values contained in the original image and / or terms of contrast quality understood.

Die Fig. 8 zeigt in Form eines Blockschaltbildes schema tisch eine Vorrichtung 1, mit welcher das erfindungsgemäße Verfahren zur Erhöhung der Auflösung eines Rasterbildes durchgeführt werden kann. Fig. 8 shows schematically in the form of a block diagram a device 1 with which the inventive method for increasing the resolution of a raster image can be carried out.

Über eine analoge Eingangsstufe 80, welche z. B. aus einem üblichen TV-Tuner besteht und welche verschiedenartige TV-Bilder im PAL-, NTSC-, SECAM-, DVB-, SVHS- oder DVD-Verfah ren über eine Eingabe- und/oder Empfangseinrichtung empfan gen und auswerten kann, werden entsprechende Bilddaten ströme in die Vorrichtung 1 eingespeist. Über einen Farb- oder Colordecoder 81 wird den empfangenen Bildern die ent sprechende Farbcodierung zugewiesen.Via an analog input stage 80 , which, for. B. consists of a conventional TV tuner and which different types of TV pictures in PAL, NTSC, SECAM, DVB, SVHS or DVD process ren via an input and / or receiving device conditions can be received and evaluated Corresponding image data streams are fed into the device 1 . The corresponding color coding is assigned to the received images via a color or color decoder 81 .

Im allgemeinen findet nach Empfang und Farbdecodierung ein Digitalisierungsschritt über einen oder mehrere A/D-Wand ler-Einrichtungen 84 statt, welche entfallen können, wenn die Eingangsstufe 80 für digitale Signale ausgelegt ist. Das Ergebnis der Analog/Digital-Wandlung und insbesondere die digitalen Farbsignale werden in einem oder mehreren Bildzwischenspeichern 85 abgelegt. Es kann sich dabei um einen Speicherbereich 85 handeln, der dazu ausgelegt ist, ein oder mehrere digitale Rasterbilder aufzunehmen und/oder im schnellen Wechsel wieder abzugeben.Generally, after reception and color decoding, a digitization step takes place via one or more A / D converter devices 84 , which can be omitted if the input stage 80 is designed for digital signals. The result of the analog / digital conversion, and in particular the digital color signals, are stored in one or more intermediate buffers 85 . This can be a memory area 85 , which is designed to record one or more digital raster images and / or to release them in rapid alternation.

In einem inversen Wavelet-Codierer 82 wird über den Zugriff auf den Bildzwischenspeicher 85 das Datenkompressions-Rück transformationsverfahren bestimmt und/oder auf den zwi schengespeicherten digitalen Bildern ausgeführt. Danach werden die erzeugten, d. h. in ihrer Auflösung und in ihrer Textur verbesserten Bilder in einer Display-Prozessorein richtung 83 aufbereitet und dann entweder direkt oder über eine nachgeschaltete Digital/Analog-Wandlungseinrichtung 87 an eine Display-Einrichtung 88 zur visuellen Darstellung ausgegeben.In an inverse wavelet encoder 82 , the data compression re-transformation method is determined via the access to the image buffer memory 85 and / or is carried out on the intermediately stored digital images. Thereafter, the images generated, that is to say in terms of their resolution and texture improved images are processed in a display processor device 83 and then output either directly or via a downstream digital / analog conversion device 87 to a display device 88 for visual display.

Sämtliche Operationen aller Komponenten werden über einen übergeordneten Steuerprozessor 86 geregelt und gesteuert. All operations of all components are regulated and controlled by a higher-level control processor 86 .

Unter Bezugnahme auf die Fig. 9 ist in Form eines Block schaltbildes eine Ausführungsform des erfindungsgemäßen Verfahrens, insbesondere im Hinblick auf die Erzeugung oder Generierung einer Datenkompressions-Rücktransformation, ge zeigt.With reference to FIG. 9, an embodiment of the method according to the invention is shown in the form of a block diagram, in particular with regard to the generation or generation of a data compression reverse transformation.

Generation from the archetype

Im folgenden Abschnitt geht es um die Beschreibung der Off line-Bestimmung von Parametern der Bildverarbeitungsopera tionen für die Generierung der Datenkompressions-Rücktrans formation aus dem Urbild.The following section deals with the description of the Off Line determination of parameters of the image processing opera tions for the generation of the data compression reverse trans formation from the archetype.

Eine Kernidee der Vorgehensweise bei dem Einsatz von Bild verarbeitungsoperationen zur Erzeugung einer auflösungs- und texturverbessernden Datenkompressions-Rücktransforma tion besteht in der Anwendung eines Parameteridentifika tionsverfahrens zur Bestimmung einer Parametrisierung Pi einer Bildverarbeitungsoperation B0i durch Differenzmini mierung zwischen einer aus dem Urbild durch Anwendung eines Wavelet-Verfahrens WV erzeugten Datenkompressions-Transfor mation DT1 der ersten Stufe, wobei DT1 = (TT1, TH1, HT1, HH1), und einer aus der wiederholten Anwendung des Wavelet-Ver fahrens WV auf das TT1-Bild erzeugten Datenkompressions- Transformation DT2 zweiter Stufe, wobei DT2 = (TT2, TH2, HT2, HH2).A core idea of how to use image processing operations to generate a resolution and texture-enhancing data compression reverse transforms tion consists in the application of a parameter identifier tion method for determining a parameterization Pi an image processing operation B0i by difference mini mation between one from the archetype by using a Wavelet method WV generated data compression transform mation DT1 of the first stage, where DT1 = (TT1, TH1, HT1, HH1), and one from repeated application of the wavelet ver driving WV data compression generated on the TT1 image Transformation DT2 second stage, where DT2 = (TT2, TH2, HT2, HH2).

Dabei werden die Parameter der Parametrisierung Pi der Bildverarbeitungsoperationen B0i und die Wavelet-Transfor mationen WV so bestimmt, daß bei einer Anwendung oder ggf. einer Sequenz von Anwendungen von B0i (Pi, 2) auf DT2 eine Datenkompressions-Rücktransformation DRT1 entsteht, wobei DRT1=(TT1*, TH1*, HT1*, HH1*), die mit DT1 insofern im wesent lichen oder weitgehend übereinstimmt, als daß das Urbild durch Anwendung von DRT1 auf TT1 von DT1 im wesentlichen oder fast verlustfrei wiederhergestellt wird. Die Parame trisierung Pi der Bildverarbeitungsoperation B0i ist im we sentlichen oder weitgehend unabhängig von der sie erzeugen den Verfahrensstufe n. D.h., es gilt mit Einschränkung:
B0i (Pi, 1) = B0i (Pi, 2).The parameters of the parameterization Pi of the image processing operations B0i and the wavelet transformations WV are determined in such a way that a data compression back-transformation DRT1 arises in an application or possibly a sequence of applications from B0i (Pi, 2) to DT2, DRT1 = (TT1 *, TH1 *, HT1 *, HH1 *), which essentially or largely agrees with DT1 insofar as that the original image is restored by applying DRT1 to TT1 from DT1 essentially or almost without loss. The parameterization Pi of the image processing operation B0i is essentially or largely independent of the process step n generated. That is, with some restrictions:
B0i (Pi, 1) = B0i (Pi, 2).

Bei einer Anwendung oder ggf. einer Sequenz von Anwendungen von B0i (Pi, 1) auf DT1 entsteht dann eine Datenkompressions- Rücktransformation DRT0, wobei DRT0=(TT0*, TH0*, HT0*, HH0*) ist, die mit einer fiktiven DT0 insofern im wesentlichen oder weitgehend übereinstimmt, als daß durch Anwendung von DRT1 auf das Urbild-bzw. auf TT0* ein im wesentlichen oder fast vierfach besser aufgelöstes Bild in HDTV-Qualität ge neriert wird.For an application or possibly a sequence of applications B0i (Pi, 1) on DT1 then creates a data compression Reverse transformation DRT0, where DRT0 = (TT0 *, TH0 *, HT0 *, HH0 *) is that with a fictional DT0 essentially or largely agrees that by using DRT1 on the archetype or. on TT0 * an essentially or almost four times better resolution picture in HDTV quality is generated.

Eine weitere Kernidee der Erfindung besteht darin, daß die Parametrisierung der Bildverarbeitungsoperationen B0i (Pi, n) in einem offline ausgeführten Optimierungsverfahren zwecks permanenten Einsatzes in der Echtzeitgenerierung von Auf lösungs- und Texturverbesserung der Urbild-Sequenz erzeugt wird. Für die Ermittlung der Parametrisierung Pi ist zu be vorzugen, mit einer repräsentativen Stichprobe von HDTV-aufgelösten Bildern B0j und den durch Anwendung eines Wave let-Verfahrens WV erzeugten Datenkompressions-Transforma tionen DT0j mit DT0j=(TT0j, TH0j, HT0j, HH0j) der null-ten Stufe zu arbeiten. In den TT0j-Anteilen entsprechen die Da tenkompressions-Transformationen der HDTV-Bilder B0j den Urbildern B1j, die standardgemäß als TV-aufgelöste Bilder zur Verfügung stehen. Die Ermittlung geeigneter Bildverar beitungsoperationen (a), der Reihenfolge deren Anwendung (b) und der Extrapolation optimierter Parameterisierungen (c) erfolgt offline unter Einsatz von Paramteridentifika tionstechniken im Vorfeld einer effektiven technischen Rea lisierung des Onlineverfahrens. Another key idea of the invention is that the Parameterization of the image processing operations B0i (Pi, n) in an offline optimization process permanent use in the real-time generation of Auf Solution and texture improvement of the archetype sequence generated becomes. Pi must be used to determine the parameterization prefer, with a representative sample of HDTV-resolved pictures B0j and the by applying a wave let's method WV generated data compression transforma DT0j with DT0j = (TT0j, TH0j, HT0j, HH0j) the zeroth Level to work. In the TT0j shares, the Da correspond compression compression of the HDTV images B0j den Archetypes B1j, the standard as TV-resolved images be available. The determination of suitable image processing processing operations (a), the order of their application (b) and the extrapolation of optimized parameterizations (c) is done offline using parameter identifiers tion techniques in advance of an effective technical reaction Online procedure.

Unter den bekannten Bildverarbeitungs-Operationen sind für die Generierung der Datenkompressions-Rücktransformation DRT0 aus der Datenkompressions-Transformation DT1 bzw. ite rativ ausgeführter Datenkompressions-Transformationen DT1, DT2, DT3, . . . die folgenden Typen besonders geeignet, welche nun im einzelnen aufgeführt und dargestellt werden:Among the well-known image processing operations are for the generation of the data compression reverse transformation DRT0 from the data compression transformation DT1 or ite Data compression transformations DT1 executed in a rative manner, DT2, DT3,. . . the following types are particularly suitable, which are now listed and shown in detail:

(a) Image processing operations Zooming

Die Pixelmuster der H-Anteile von DTn, mit DTn=(TTn, THn, HTn, HHn), der n-ten Anwendung der Datenkompressions-Opera tion oder -Transformation über dem Urbild werden durch nacheinander an den DTn-Rastern ausgeführten Verdoppelungen der Zeilen und Spalten auf die vierfache Rasterflächen im DRTn-1 gebracht.The pixel pattern of the H components of DTn, with DTn = (TTn, THn, HTn, HHn), the nth application of data compression opera tion or transformation above the archetype are Duplications performed successively on the DTn grids of the rows and columns to four times the grid areas in the Brought DRTn-1.

Die Pixelmuster der H-Anteile von DTn, mit DTn=(TTn, THn, HTn, HHn), der n-ten Anwendung der Datenkompressions-Opera tion über dem Urbild werden durch in die DTn-Raster ein gefügte Leerzeilen und Leerspalten auf die vierfache Ra sterflächen in DRTn-1 auseinandergezogen.The pixel pattern of the H components of DTn, with DTn = (TTn, THn, HTn, HHn), the nth application of data compression opera tion above the archetype are incorporated into the DTn grid added empty lines and empty columns to four times Ra stereotyped surfaces in DRTn-1.

Antialiasing

Die bei Anwendung des obigen Zoom-Operators auf die Pixel muster der H-Anteile von DTn, mit DTn=(TTn, THn, HTn, HHn), entstehenden Sägezähne in den Rasterflächen zu DRTn-1 wer den durch interpolative Reduktion der Grauwerte an den Kan ten eliminiert.The one when the above zoom operator is applied to the pixels pattern of the H components of DTn, with DTn = (TTn, THn, HTn, HHn), resulting saw teeth in the grid areas to DRTn-1 who the by interpolative reduction of the gray values at the Kan eliminated.

Die bei Anwendung des obigen Zoom-Operators auf die Pixel muster der H-Anteile von DTn, mit DTn=(TTn, THn, HTn, HHn), in den Rasterflächen zu DRTn-1 entstehenden Lücken werden durch Ergänzung zwischen über Leerzeilen oder Leerspalten benachbarten Pixeln interpolierter Grauwerte geglättet.The one when the above zoom operator is applied to the pixels pattern of the H components of DTn, with DTn = (TTn, THn, HTn, HHn), in gaps in the grid areas to DRTn-1 by adding between empty lines or empty columns neighboring pixels of interpolated gray values are smoothed.

Spline adjustment / fitting

Gegeben seien die Rasterbilder TTn-1, THn-1 und HHn-1 der Datenkompressions-Transformation DTn sowie die Rasterbilder TTn, THn, HTn und HHn der Datenkompressions-Transformation DTn. Die Intensitätswerteverteilung für die einzelnen Far ben des RGB-Signales (bzw. der y-Wert eines yuv-codierten Rasterbildes oder anderer Farbcodierungen) lassen sich über der Rasterebene durch eine dreidimensionale Fläche be schreiben, die eine Anpassung oder einen Fit der Grauwerte- Intensitätsverteilung durch eine Fläche im Raum darstellt. Für das Anpassen oder Fitting der Grauwerteverteilung durch n-dimensionale Flächen über der Bildrasterfläche können Spline-Techniken eingesetzt werden, die gleichzeitig eine Bildglättung durch Reduktion des Pixelrauschens realisieren lassen. Bei integraler Behandlung der drei Farben des RGB-Signals ist n=5, bei separater Behandlung von rot, grün und blau ist jeweils n=3. Im Falle der Arbeit mit yuv-codierten Signalen kann effizient mit dem y-Wert allein gearbeitet werden.Given the raster images TTn-1, THn-1 and HHn-1 Data compression transformation DTn as well as the raster images TTn, THn, HTn and HHn of data compression transformation DTn. The intensity value distribution for the individual far ben of the RGB signal (or the y value of a yuv-coded Raster image or other color codes) can be the raster plane through a three-dimensional surface write an adjustment or a fit of the grayscale Represents intensity distribution through a surface in space. For adjusting or fitting the gray value distribution through n-dimensional areas over the screen area can Spline techniques are used that are simultaneously a Realize image smoothing by reducing pixel noise to let. When the three colors of the RGB signal is n = 5, with separate treatment of red, green and blue is n = 3 in each case. In the case of working with yuv-coded Signals can be worked efficiently with the y value alone become.

Es werden sowohl für die Rasterbilder TTn-1, THn-1, HTn-1 und HHn-1 aus DTn-1 als auch für die Rasterbilder TT*n-1, TH*n-1, HT*n-1 und HH*n-1 aus DRTn-1 - erzeugt durch Aus führung von Bildverarbeitungsoperationen B0i über den Ra sterbildern TTn, THn, HTn, HHn aus DTn, wie z. B. Zoom auf das Bildformat von DTn-1 - die Fittingflächen F(XYn-1) bzw. F*(XYn-1) als 2D-Splines bestimmt, wobei X und Y ein Tiefpaß bzw. ein Hochpaß seien. Durch Anwendung eines Verfahren zur Differenzminimierung über einzelnen oder allen Flächenpaar en F(XYn-1) und F*(XYn-1) zu DTn-1 und DRTn-1 wird eine op timale Parametrisierung Pi für die Bildverarbeitungsopera tion B0i (Pi, n) identifiziert, die bei Anwendung auf DTn ei ne Datentkompressions-Rücktransformation DRTn-1 erzeugt, die mit DTn-1 insofern im wesentlichen übereinstimmt, daß das Bild Bn-2 durch Anwendung von DTn-1 wie auch von DRTn-1 auf das Bild Bn-1 gleichermaßen gut wiederhergestellt wird.There are used for the raster images TTn-1, THn-1, HTn-1 and HHn-1 from DTn-1 as well as for the raster images TT * n-1, TH * n-1, HT * n-1 and HH * n-1 from DRTn-1 - generated by Aus Management of image processing operations B0i over the Ra form TTn, THn, HTn, HHn from DTn, such as B. Zoom in the picture format of DTn-1 - the fitting surfaces F (XYn-1) or F * (XYn-1) determined as 2D splines, with X and Y a low pass or a high pass. By using a method for Difference minimization across individual or all area pairs en F (XYn-1) and F * (XYn-1) to DTn-1 and DRTn-1 will be an op maximum parameterization Pi for the image processing opera tion B0i (Pi, n) identified that when applied to DTn ei ne data compression reverse transformation DRTn-1 generated, which essentially agrees with DTn-1 in that the image Bn-2 by using DTn-1 as well as DRTn-1 restored to the image Bn-1 equally well becomes.

Die Nebenbedingungen einer Invarianz der Grauwerteskalie rung bezüglich der Fittingflächen F(XYn-1) bzw. F*(XYn-1), die der Differentoptimierung zur Identifikation der Parame trisierung Pi zugrundeliegt, sorgt dafür, daß die absoluten Beträge der von der Intensitäts-Fittingflächen über der Ra sterebene beschriebenen Grauwerte gegenüber der Bildverar beitungsoperation B0i invariant bleiben, jedoch die Orte der Grauwerte linien- und kantenverdünnend und -glättend in der Rastebene verschieben.The constraints of an invariance of the gray scale tion with regard to the fitting surfaces F (XYn-1) or F * (XYn-1), that of different optimization to identify the parameters underlying Pi, ensures that the absolute Amounts of from the intensity fitting areas over the Ra gray levels compared to image processing processing operation B0i remain invariant, but the locations the gray scale values line and edge thinning and smoothing in shift the locking level.

Die Parameteridentifikation durch Differenzminimierung zwi schen F(XYn-1) und F*(XYn-1) unter der Nebenbedingung der Erhaltung des Volumenintegrales und der Skalierung der Grauwerteverteilung ist als der wesentliche Grund einer Texturverbesserung bei der Generierung einer Auflösungs erhöhung des Urbildes durch inverse Datenkompression anzu sehen.The parameter identification through difference minimization between between F (XYn-1) and F * (XYn-1) under the constraint of Preservation of the volume integral and the scaling of the Gray scale distribution is one of the main reasons Texture improvement when generating a resolution increase of the original image by inverse data compression see.

Edge thinning / thickening

Die bei Anwendung des Zoom-Operators auf DTn in den DRTn-1-Rasterflächen entstehenden Pixelmuster sind so zu ver dünnen, daß für die Pixel-Gesamtzahl S (Summe aller nicht nullwertigen Pixel) der zwischen Datentransformations-Ope ration DTn und der daraus generierten Datenrücktransforma tions-Operation DRTn-1 gilt: S(DRTn-1) = 4*S(DTn), mit DTn=(TTn, THn, HTn, HHn).The when using the zoom operator on DTn in the Pixel patterns resulting from DRTn-1 raster areas are to be ver thin that for the total pixel number S (sum of all not zero-valued pixels) of the data transformation ope ration DTn and the data back-transformation generated from it tion operation DRTn-1 applies: S (DRTn-1) = 4 * S (DTn), with DTn = (TTn, THn, HTn, HHn).

Die bei Anwendung des Zoom-Operators auf DTn in den DRTn-1-Rasterflächen entstehenden Pixelmuster sind so zu verdic ken, daß für die Pixel-Gesamtzahl S (Summe aller nicht nullwertigen Pixel) zwischen der Datentransformations-Ope ration DTn und der daraus generierten Datenrücktransforma tions-Operation DRTn-1 gilt: S(DRTn-1) = 4*S(DTn), mit DTn=(TTn, THn, HTn, HHn).The when using the zoom operator on DTn in the Pixel patterns resulting from DRTn-1 raster areas are to be thickened in this way ken that for the total pixel number S (sum of all not zero-valued pixels) between the data transformation ope ration DTn and the data back-transformation generated from it tion operation DRTn-1 applies: S (DRTn-1) = 4 * S (DTn), with DTn = (TTn, THn, HTn, HHn).

Anti-aliasing

Die bei Anwendung des Zoom-Operators auf die Pixelmuster der H-Anteile von DTn, mit DTn=(TTn, THn, HTn, HHn), in den DRTn-1-Rasterflächen entstehenden Kantenverlaufslücken sind so zu schließen, daß für die Pixel-Gesamtzahl S (Summe aller nicht nullwertigen Pixel) zwischen der Datentransfor mations-Operation DTn und der daraus generierten Da tenrücktransformations-Operation DRTn-1 gilt: S(DRTn-1) = 4*S(DTn), mit DTn=(TTn, THn, HTn, HHn).The when the zoom operator is applied to the pixel pattern of the H components of DTn, with DTn = (TTn, THn, HTn, HHn), in the DRTn-1 grid areas are resulting gaps in the course of the edges to conclude that for the total pixel number S (sum of all non-zero-valued pixels) between the data transfor mation operation DTn and the Da generated from it Back transformation operation DRTn-1 applies: S (DRTn-1) = 4 * S (DTn), with DTn = (TTn, THn, HTn, HHn).

Die bei Anwendung des obigen Antialiasing-Operators auf die Pixelmuster der H-Anteile von DTn, mit DTn=(TTn, THn, HTn, HHn) entstehenden Kantenverlaufslücken in den DRTn-1-Ra sterflächen werden durch über Leerzeilen oder Leerspalten benachbarte Kantenverlaufspixel so ergänzt, daß für die Pi xel-Gesamtzahl S (Summe aller nicht nullwertigen Pixel) zwischen der Datentransformations-Operation DTn und der daraus generierten Datenrücktransformations-Operation DRTn-1 gilt: S(DRTn-1) = 4*S(DTn), mit DTn=(TTn, THn, HTn, HHn). The when the above anti-aliasing operator is applied to the Pixel pattern of the H components of DTn, with DTn = (TTn, THn, HTn, HHn) resulting gaps in the DRTn-1-Ra Asterisks are marked with empty lines or columns Adjacent edge course pixels are added so that for the Pi total xel number S (sum of all non-zero-valued pixels) between the data transformation operation DTn and the data reverse transformation operation generated therefrom DRTn-1 applies: S (DRTn-1) = 4 * S (DTn), with DTn = (TTn, THn, HTn, HHn).

Grayscale scaling

Die Grauwertesummen S(TTn), S(THn), S(HTn), S(HHn) seien über der Intensitätsverteilung der Grauwerte der Datenkom pressions-Transformation DTn, DTn=(TTn, THn, HTn, HHn), z. B. der y-Wert des yuv-Signals bzw. der einzelnen Farbinten sitätswerte des RGB-Signals, ermittelt. Der Quotient aus S(XYn) der n-ten Wavelet-Transformation geteilt durch S(XYn-1) der n-1-ten Wavelet-Transformation sei QXY, QXY=S(XYn)/S(XYn-1), wobei X und Y ein Tiefpaß bzw. ein Hochpaß seien. Die Grauwertesummen S*(TT*n), S*(TH*n), S*(HT*n), S*(HH*n) seien über der Intensitätsverteilung der Grauwerte der Datenkompressions-Rücktransformation DRTn nach der Anwendung einer Bildverarbeitungsoperation B0i auf das Ergebnis DTn einer Wavelet-Transformation n-ter Stufe ermittelt.The gray value sums S (TTn), S (THn), S (HTn), S (HHn) are over the intensity distribution of the gray values of the data comm compression transformation DTn, DTn = (TTn, THn, HTn, HHn), e.g. B. the y value of the yuv signal or the individual color inks sity values of the RGB signal. The quotient from S (XYn) of the nth wavelet transform divided by S (XYn-1) of the n-1 th wavelet transform is QXY, QXY = S (XYn) / S (XYn-1), where X and Y are low-pass and one, respectively Be high fun. The gray value sums S * (TT * n), S * (TH * n), S * (HT * n), S * (HH * n) are over the intensity distribution of the Gray values of the data compression reverse transformation DRTn after applying an image processing operation B0i the result DTn of a wavelet transformation of the nth stage determined.

Die Grauwertesummen können z. B. für die y-Werte yuv-co dierter Pixelraster im dreidimensionalen Intensitätsraum oder für die Rot-, Grün- und Blauwerte im fünfdimensionalen Farbintensitätsraum ermittelt werden.The gray value sums can e.g. B. for the y values yuv-co dated pixel grid in the three-dimensional intensity space or for the red, green and blue values in the five-dimensional Color intensity space can be determined.

Die bei Anwendung der Bildverarbeitungs-Operatoren auf die Pixelmuster der H-Anteile von DTn, mit DTn=(TTn, THn, HTn, HHn), in den DRTn-1-Rasterflächen entstehenden Grauwerte sind so zu skalieren, daß für den integralen Grauwert (Sum me über alle Pixel) zwischen der Datentransformations-Ope ration DTn und der daraus generierten Datenrücktransforma tions-Operation DRTn-1 erreicht wird, daß gilt: S*(Xyn-1)= QXY*S(XYn). Die Invarianz der Grauwerte-Summen und der Ska lierung der Grauwerteverteilungen bzgl. S*(XYn-1) 1) und A(XYn-1) über der Rasterebene XYn, ist dabei als Nebenbe dingung einzuhalten. The when using the image processing operators on the Pixel pattern of the H components of DTn, with DTn = (TTn, THn, HTn, HHn), gray values arising in the DRTn-1 grid areas are to be scaled so that for the integral gray value (Sum me over all pixels) between the data transformation ope ration DTn and the data back-transformation generated from it tion operation DRTn-1 is achieved that: S * (Xyn-1) = QXY * S (XYn). The invariance of the gray value sums and the ska gray value distribution with respect to S * (XYn-1) 1) and A (XYn-1) above the raster plane XYn, is a secondary feature to comply with the condition.

Generation of 3D spline approximations

Die bei Anwendung der Bildverarbeitungs-Operatoren auf die Pixelmuster von DTn, mit DTn=(TTn, THn, HTn, HHn), entstehenden Grauwertemuster in DRTn-1 sind durch 3D-Splineflächen F(DRTn-1) anzupassen oder zu fitten. Ebenso sind die Pixel muster von DTn-1, mit DTn-1=(TTn-1, THn-1.HTn-1, HHn-1), durch 3D-Splineflächen F(DTn-1) anzupassen. Die Parametri sierung der Spline-Funktionen F(DRTn-1) sind durch Diffe renzminimierung zwischen F(DRTn1) und F(DTn-1) zu identi fizieren. Als Nebenbedingung geht in die Parameteridentifi kation ein, daß für die Volumenintegrale V über die Spli neflächen gilt: V(F(DRTn-1)) = V(F(DTn-1)). Die Spline-Funk tionen und über diesen gebildete Volumenintegrale können z. B. für die y-Werte yuv-codierter Pixelraster im dreidi mensionalen Intensitätsraum oder für die Rot-, Grün- und Blauwerte im fünfdimensionalen Farbintensitätsraum ermit telt werden.The when using the image processing operators on the Pixel patterns of DTn, with DTn = (TTn, THn, HTn, HHn), arise Grayscale patterns in DRTn-1 are due to 3D spline surfaces F (DRTn-1) to adapt or fit. The same applies to the pixels pattern of DTn-1, with DTn-1 = (TTn-1, THn-1.HTn-1, HHn-1), with 3D spline surfaces F (DTn-1). The Parametri The spline functions F (DRTn-1) are differentiated by differences limit minimization between F (DRTn1) and F (DTn-1) fection. As a secondary condition goes into the parameter identification cation that for the volume integrals V over the Spli The following applies to the following areas: V (F (DRTn-1)) = V (F (DTn-1)). The spline radio ions and volume integrals formed over them e.g. B. for the y values of yuv-coded pixel grid in three dimensional intensity space or for the red, green and Blue values in the five-dimensional color intensity range be communicated.

Die Invarianz der Volumenintegrale und der Skalierung der Grauwerteverteilungen bzgl. V(F(DRTn-1)) und V(F(DTn-1)) über den jeweiligen Rasterebenen XYn-1, ist dabei als Nebenbedingung einzuhalten.The invariance of the volume integrals and the scaling of the Gray value distributions with respect to V (F (DRTn-1)) and V (F (DTn-1)) above the respective raster levels XYn-1, is as Supplementary condition to be met.

(b) Sequence of image processing operations

Es werden nacheinander, parallel, lokal und/oder global folgende parametrisierte Bildverarbeitungsoperationen B0i (Pi, 1) aus dem obigen Abschnitt (a) ausgeführt:
The following parameterized image processing operations B0i (Pi, 1) from section (a) above are carried out in succession, in parallel, locally and / or globally:

1. The (PAL) archetype is transformed into a wavelet process the data compression DT1 with DT1 = (TT1, TH1, HT1, HH1) generated.
2. By zooming DT1 becomes a pre-stage DRT0 # of DRT0 generated.
3. DRT0 # becomes through antialiasing and / or edges dilution / thickening / smoothing compared to DRT0 # improved preliminary stage DRT0 ## generated by DRT0
4. DRT0 ## becomes gray value scaling and / or Spline adjustment DRT0 generated.
5. By applying the data back-transformation DRT0 generated by steps 1 to 4 to the original image or to the TT0 * portion of DRT0, a target image that is four times higher resolution and better textured is generated, which corresponds to an HDTV original

(c) Extrapolation of the parameterization of the image processing operation

Datenkompressionsverfahren lassen sich iterativ anwenden. Bei iterativer Anwendung liefert die Rücktransformation um so schlechtere Bilder, je verlustbehafteter die Datenkom pressions-Operation arbeitet. Das Wavelet-Verfahren kann verlustfrei ausgeführt werden, wenn von den TTn-, HTn-, THn-, HHn-Anteilen der Datenkompressions-Operationen DTn nichts vergessen wird.Data compression methods can be applied iteratively. In the case of iterative application, the inverse transformation delivers worse pictures, the more lossy the data comm pressions operation works. The wavelet method can be carried out without loss if the TTn, HTn, THn, HHn portions of the data compression operations DTn nothing is forgotten.

Das Verfahren zur Generierung von Rasterflächen DRTn-1 aus den DTn-Rastern kann sinngemäß über mehr als zwei Datenkom pressionsstufen ausgeführt werden, so daß eine Sequenz von Parmetersätzen Pi, n mit n=1, 2, . . . für Verfahren zur extra polativen Generierung der Datenrücktransformations-Opera tion DRT0 zur Verfügung steht. The process for generating grid areas from DRTn-1 the DTn grids can be used for more than two data comm pressure levels are performed so that a sequence of Parmeter sets Pi, n with n = 1, 2,. . . for procedures for extra political generation of data re-transformation Opera tion DRT0 is available.

Durch separate Anwendung der Differenzminimierung jeweils zwischen der für die Stufe n vorliegenden Datenkompres sions-Operation DTn und den Rastern DTn+1 der nachfolgenden Datenkompressions-Operation wird eine Parameterisierung Pi, n+1 für eine Bildverarbeitungs-Operation B0i (Pi, n+1) über DTn+1 ermittelt, die eine Datenrücktransformations- Operation DRTn so generiert, daß zumindest annähernd DTn=DRTn für DRTn aus der Anwendung von B0i (Pi, n+1) auf DTn+1 gilt. Die jeweiligen Parametrisierungen Pi,n+1 werden über eine geeignet gewählten Schar repräsentativer Urbilder ermittelt.By using differential minimization separately between the data compress available for level n sions operation DTn and the grids DTn + 1 of the following Data compression operation becomes parameterization Pi, n + 1 for an image processing operation B0i (Pi, n + 1) determined via DTn + 1, which Operation DRTn is generated so that at least approximately DTn = DRTn for DRTn from the application of B0i (Pi, n + 1) DTn + 1 applies. The respective parameterizations Pi, n + 1 become more representative through a suitably chosen group Archetypes determined.

Eine Verbesserung der Parametrisierung Pi zur Generierung von DRT0 aus DT1 erhält man durch gewichtete Mittelung der Parametrisierungen Pi, 1, Pi, 2, Pi, 3, . . .An improvement of the parameterization Pi for generation of DRT0 from DT1 is obtained by weighted averaging Parameterizations Pi, 1, Pi, 2, Pi, 3,. . .

Eine weitere Verbesserung der Parameteridentifikation ist durch Anwendung des Differenzminimierungsverfahrens über die ganze Sequenz DRT0=(B0i (Pi, 1(DT1)), B0i (Pi, 1(B0i (Pi, 2 (DT2)))), B0i (Pi, 1 (B0i (Pi, 2(B0i(Pi, 3(DT3)))))), . . .) von ge nerierten Datenrücktransformations-Operationen DRTn= B0i (Pi, n+1(DTn+1)) mit n=1, 2, 3, . . . erreichbar.Another improvement in parameter identification is by using the differential minimization method the whole sequence DRT0 = (B0i (Pi, 1 (DT1)), B0i (Pi, 1 (B0i (Pi, 2 (DT2)))), B0i (Pi, 1 (B0i (Pi, 2 (B0i (Pi, 3 (DT3)))))),. . .) by ge generated data reverse transformation operations DRTn = B0i (Pi, n + 1 (DTn + 1)) with n = 1, 2, 3,. . . reachable.

Die Datenkompressions-Rücktransformation DRT0 wird dabei rekursiv, beginnend mit dem Ergebnis der letzten iterativen Anwendung der Wavelet-Operation, ermittelt, wobei die Para metrisierungen der Bildverarbeitungsoperationen jeweils so bestimmt werden, daß das Ergebnis der Datenkompressions- Rücktransformation DRTn mit der vorhergehenden Datenkom pressions-Transformation DTn eine besonders gute Anpassung oder einen besten Fit ergibt. Damit wird erreicht, daß bei der Anwendung der aus DTn+1 generierten Datenkompressions- Rücktransformation DRTn annähernd die gleiche Dekompres sionsgüte vorliegt, wie bei der Anwendung der errechneten Datenkompressions-Transformation DTn. Durch Extrapolation der aus den DTn-1 erzeugten DRTn wird letztlich eine Daten kompressions-Rücktransformation generiert, die, angewendet auf das Urbild B1, ein auflösungs- und texturverbessertes Bild B0 erzeugt.The data compression reverse transformation DRT0 is thereby recursively, starting with the result of the last iterative Application of the wavelet operation, determined, the Para metrizations of the image processing operations each way be determined that the result of the data compression Reverse transformation DRTn with the previous data comm pressions transformation DTn a particularly good fit or gives you the best fit. This ensures that at the application of the data compression generated from DTn + 1 Reverse transformation DRTn approximately the same decompress quality is present, as when using the calculated Data compression transformation DTn. By extrapolation the DRTn generated from the DTn-1 ultimately becomes data compression back transformation generated, which, applied to the prototype B1, a resolution and texture improved Image B0 generated.

Die Online-Generierung der Datenkompressions-Rücktransfor mation DRT0 aus dem Ergebnis der Datenkompressions-Opera tion DT1 erfolgt unter Anwendung von B0i (Pi, 1) nach dem im Abschnitt (b) angebenen Ablauf.The online generation of the data compression reverse transfer mation DRT0 from the result of the data compression opera tion DT1 is carried out using B0i (Pi, 1) according to the im Section (b) specified procedure.

Generation from apriori information

Im folgenden wird die Online-Verbesserung der Parametrisie rung der Bildverarbeitung-Operationen für die Generierung der Datenkompressions-Rücktransformation aus aprioni-Infor mationen erläutert.The following is the online improvement of the parametrisie Image processing operations for generation the data compression reverse transformation from aprioni-Infor mations explained.

Eine weitere Kernidee der Erfindung besteht in der sende seitigen Kodierung von Elementen einer Datenkompressions- Operation, die in solchen Bildzeilen verpackt gesendet wer den, die bei der Visualisierung von PAL auf herkömmlichen TV-Geräten nicht dekodiert werden. Ähnlich wie beim Verfah ren nach PAL+ ist empfangsseitig ein spezieller Decoder er forderlich, der diese Information in Echtzeit auspackt und in die Kodierung des Bildes geeignet hineinrechnet.Another key idea of the invention is the transmission side coding of elements of a data compression Operation that is sent packaged in such picture lines the one used in the visualization of PAL on conventional TV sets cannot be decoded. Similar to the procedure ren to PAL + is a special decoder on the receiving end required to unpack this information in real time and appropriately included in the coding of the image.

Wird die oben beschriebene Vorgehensweise zur Erzeugung ei ner Datenkompressions-Rücktransformation DRT0 statt aus dem PAL-Urbild aus dem sendeseitig verfügbaren HDTV-Urbild als Datenkompressions-Operation der ersten Stufe DT1, mit DT1=(TT1, TH1, HT1, HH1), DRT1=DT1 und TT1= PAL sendeseitig eingesetzt und außerdem aus der zweiten Anwendung der Wave let-Datenkompressions-Operation auf das PAL-Bild (TT1-Fil ter aus DT1) die Datenkompression DT2 berechnet, so ergibt sich die Parametrisierung B0i (Pi, 2) für die empfangsseitige Online-Generierung von DRT1 aus DT2 statt nur extrapolativ nun in exakter Form. Wird diese Parametrisierung B0i (Pi, 2) nun zusätzlich zum PAL-Signal mitgesendet, kann ein emp fangsseitiger Dekoder dem lokalen HDTV-Generator dies als Parametrisierung B0i (Pi, 1) zur Berechnung von DRT0 aus dem empfangsseitig auf das aus dem PAL-Bild berechnete DT1 be reitstellen. DRT0 angewendet auf das PAL-Bild ergibt dann ein HDTV-Bild.If the procedure described above for generating egg ner data compression reverse transformation DRT0 instead of from PAL original image from the HDTV original image available on the broadcast side as First stage data compression operation DT1, with DT1 = (TT1, TH1, HT1, HH1), DRT1 = DT1 and TT1 = PAL on the transmission side used and also from the second application of the Wave let data compression operation on the PAL image (TT1 fil ter from DT1) calculates the data compression DT2 the parameterization B0i (Pi, 2) for the receiving end Online generation of DRT1 from DT2 instead of just extrapolative now in exact form. If this parameterization B0i (Pi, 2) now sent in addition to the PAL signal, an emp the decoder on the input side to the local HDTV generator Parameterization B0i (Pi, 1) for the calculation of DRT0 from the on the receiving side to the DT1 calculated from the PAL image riding. DRT0 applied to the PAL picture then results an HDTV picture.

Eine weitere Kernidee der Erfindung besteht darin, von der sendeseitig aus dem HDTV-Urbild erzeugten Datenrücktrans formations-Operation DRT0=DT0 mit DT0=( TT0, TH0, HT0, HH0), Anteile von HH0 als HH0*, ggf. auch von TH0 und/oder HT0 als TH0- und/oder HT0-Elemente in unsichtbare PAL- bzw. PAL+-Zeilen zu kodieren. Ein empfangsseitiger Dekoder stellt dem lokalen HDTV-Generator diese HH0-, TH0 und/oder HT0-Elemente als DRT0 zur Berechnung von HDTV aus dem PAL-Bild zur Verfügung.Another key idea of the invention is that of Data return trans generated on the transmission side from the original HDTV image formation operation DRT0 = DT0 with DT0 = (TT0, TH0, HT0, HH0), Shares of HH0 as HH0 *, possibly also of TH0 and / or HT0 as TH0 and / or HT0 elements in invisible PAL or Encode PAL + lines. A decoder on the receiving side provides the local HDTV generator with these HH0, TH0 and / or HT0 elements as DRT0 for the calculation of HDTV from the PAL image available.

Die Fig. 9 beschreibt ein Ausführungsbeispiel für das er findungsgemäße Verfahren zur Erhöhung der Auflösung eines Rasterbildes. Fig. 9 describes an embodiment for the inventive method for increasing the resolution of a raster image.

Dieses Ausführungsbeispiel für das Verfahren 2 geht zu nächst von einem TV-Bild 90 aus, welches von einem Sender übertragen wird und z. B. als PAL-TV-Bild mit z. B. 720 × 576 Bildelementen ausgestattet ist. Dieses Bild 90 wird dann zum einen in einem Bildzwischenspeicher 93 abgelegt. Ande rerseits wird das Bild mittels einen Wavelet-Transforma tors 91 in einer ersten Datenkompressionsstufe bearbeitet. Das Ergebnis dieser Bearbeitungsstufe wird wiederum in ei nem Bildzwischenspeicher 94 abgelegt. This embodiment of the method 2 is based on a TV picture 90 , which is transmitted by a transmitter and z. B. as a PAL TV picture with z. B. 720 × 576 picture elements. This image 90 is then stored in an image buffer 93 on the one hand. On the other hand, the image is processed by means of a wavelet transformer 91 in a first data compression stage. The result of this processing stage is in turn stored in a frame buffer 94 .

Durch die im obigen Abschnitt beschriebenen Randbedingungen im Hinblick auf die Konstruktion einer Datenkompressions- Rücktransformation wird mittels eines Skaliermoduls 92 und eines Bildkonverters 95 die inverse Wavelet-Transformation über die Hochpaßanteile TH2, HT2 und HH2 bzw. TH2*, HT2*, HH2* für eine Bildverarbeitungsoperation B0i mit einer Pa rameterisierung Pi, 2 erzeugt und dem sogenannten inversen Wavelet-Transformator 96 zur Verfügung gestellt, welcher dann seinerseits auf den Bildzwischenspeicher 93 mit dem dort enthaltenen PAL-TV-Bild 90 zurückgreift, um nach Aus führung der inversen Wavelet-Transformation zu einem HDTV-Bild mit z. B. 1440 × 1052 Bildelementen zu gelangen.Due to the boundary conditions described in the section above with regard to the construction of a data compression reverse transformation, the inverse wavelet transformation via the high-pass components TH2, HT2 and HH2 or TH2 *, HT2 *, HH2 * is carried out by means of a scaling module 92 and an image converter 95 Image processing operation B0i with a parameterization Pi, 2 is generated and made available to the so-called inverse wavelet transformer 96 , which in turn then uses the frame buffer 93 with the PAL-TV image 90 contained therein to carry out the inverse wavelet transformation to an HDTV picture with z. B. 1440 × 1052 picture elements.

Dieses dann erzeugte HDTV-Bild wird dann über eine soge nannte RAMDAC-Einheit 97 gespeichert und gegebenenfalls analog transformiert, um danach auf einer Display-Einheit 98 dargestellt zu werden.This then generated HDTV image is then stored via a so-called RAMDAC unit 97 and, if appropriate, is transformed analogously, in order then to be shown on a display unit 98 .

Claims

1. A method for increasing the resolution of a raster image (B1), which consists of individual picture elements, which are arranged in columns and rows, in particular a TV picture, for output on an image display device, with the steps:

Provision, digitization and storage of image information as an original image (B1) with a given number n1 of image elements in s1 columns and z1 lines,
- Provision and storage of a data compression reverse transformation (IR),
Generating a target image (B0) with a number n0 picture elements in s0 columns and z0 lines by applying the data compression reverse transformation (IR) to the original image (B1),
- Saving and displaying the image information obtained as a target image (B0).

2. The method according to claim 1, characterized, that the data compression inverse transform (IR) too an essentially invertible data compression Transformation (R) is provided.

3. The method according to any one of the preceding claims, characterized, that the data compression inverse transform (IR) is a Wavelet transformation (W) is used as a basis.

4. The method according to any one of the preceding claims, characterized, that the data compression reverse transformation (IR) min at least a low-pass filter (T) and at least one high pass filter (H) are used, which in the we are essentially mirrorable or invertible and wel an inverted or mirrored low pass filter (IT) or high pass filter (IH) is assigned.

5. The method according to claim 4, characterized in that the application of the data compression reverse transformation (IR) comprises the steps:

Inserting a column with picture elements behind each column of a stored picture,
Temporarily storing the image information obtained,
- Apply the mirrored or inverted low-pass filter (IT) on the columns of the temporarily stored image and
- Save the image information.

6. The method according to any one of claims 4 or 5, characterized in that the application of the data compression reverse transformation (IR1) comprises the steps:

Inserting a line with picture elements behind each line of a stored picture,
Temporarily storing the image information obtained,
- Apply the mirrored or inverted low pass filter (IT) on the lines of the temporarily stored image and
- Save the image information.

7. The method according to any one of the preceding claims, characterized in
that a compressed image (B2) is generated for an archetype (B1) by applying the data compression transformation (R), which can be transformed back into the archetype (B1), and
that from the information of the archetype (B1), the compressed image (B2) and the data compression transformation (R) in real time the data compression reverse transformation (IR) is generated to a resolution-improved target image (B0).

8. The method according to any one of the preceding claims, characterized, that from data compression reverse transformation (IR) a texture-enhancing data compression back-transform mation (TIR), in particular in real time, is generated, which when applied to the archetype (B1) to a target Image (B0) with improved resolution and improved Texture leads.

9. The method according to any one of the preceding claims, characterized, that on the archetype (B1) the data compression trans formation (R) is applied iteratively to a sequence to get compressed images (B2, B3 ...) and that to generate and provide the data compression Reverse transformation (IR) the information of the archetype (B1), the data compression transformation and the fol compressed images (B2, B3...) is used.

10. The method according to claim 9, characterized, that when generating and providing the data compresses reverse transformation (IR) an extrapolation process ren is used.