DE69620984T2

DE69620984T2 - Geräuschschätzungs- und Geräuschreduzierungsgerät zur Videosignalverarbeitung

Info

Publication number: DE69620984T2
Application number: DE69620984T
Authority: DE
Inventors: Hurst, Jr.; Jungwoo Lee
Original assignee: RCA Licensing Corp
Current assignee: RCA Licensing Corp
Priority date: 1995-12-12
Filing date: 1996-12-11
Publication date: 2002-10-31
Anticipated expiration: 2016-12-12
Also published as: US6285710B1; CN1155814A; JPH09205652A; TW363327B; EP0779742B1; EP0779742A2; DE69620984D1; KR970056936A; EP0779742A3; CN1098597C; RU2189700C2; KR100425640B1; ES2176417T3

Description

Die vorliegende Anmeldung betrifft eine Vorrichtung zur Rauschreduktion für eine Videosignal-Verarbeitung und -Komprimierung und insbesondere eine Vorrichtung zur Rauschreduktion zur Anwendung in einer Videosignal-Kodierschleife.
Eine Voraussagekodierung für die Komprimierung eines Videosignals arbeitet am besten, wenn laufende Bilder leicht aus zeitlich angrenzenden Bildern vorausgesagt werden. Jedoch wird, wenn die Quellenbilder Rauschen enthalten, die Voraussage schwierig, und die Effizienz der Komprimierung nimmt ab, oder die Wiedergabequalität der Bilder wird verschlechtert oder beides. Es ist daher erwünscht, das Rauschen in dem zu komprimierenden Videosignal vor dem Komprimiervorgang zu minimieren.
Fig. 1 zeigt ein bekanntes Voraussage-Bildkodiersystem. Die Bauteile 12-22 bilden den eigentlichen Voraussagekoder, der im folgenden beschrieben wird. Die Rauschreduktion enthält in derartigen bekannten Systemen im allgemeinen ein rekursives Rauschreduktionsfilter 10 zur Verarbeitung des Videosignals vor der Komprimierung. Halbbild- oder Vollbild-Rekursivfilter wurden bevorzugt, weil sie Rauschkomponenten innerhalb der Bandbreite des aktiven Signals effektiv verringern können. Jedoch sind derartige Filter auch sehr speicheraufwendig und erfordern eine relativ verfeinerte und komplizierte Verarbeitungsschaltung zur Bewirkung einer nennenswerten Rauschreduktion, ohne unerwünschte Artefakte um sich bewegende Bildeinzelheiten einzuführen.
Die Patentanmeldung EP-A-0 649 262 beschreibt ein Gerät mit einem nichtlinearen Bauteil zur Datenkomprimierung, dessen Übertragungsfunktion von den verschiedenen Typen der Voraussagekodierung abhängig ist. Das Patent US 5 258 928 beschreibt ein adaptives System zur Verarbeitung eines Signals gemäß einer ausgewählten Funktion von mehreren Übertragungsfunktionen. Derartige Lösungen ermöglichen keine optimale Anpassung des Komprimiervorgangs eines Koders an verschiedene Rauscheigenschaften, die unter verschiedenen Betriebsbedingungen des Koders auftreten.
Es ist eine Aufgabe der vorliegenden Erfindung, eine hochwirksame Vorrichtung und ein Verfahren eines Rauschfilters für Voraussagekoder mit einer minimalen zusätzlichen Hardware zu schaffen.
Die vorliegende Erfindung, die in ihrem breitesten Aspekt im Anspruch 1 angegeben ist, verringert das Rauschen bei der Verarbeitung und der Komprimierung eines Videosignals. Die Videosignal-Komprimiervorrichtung enthält eine Schaltung zum Erzeugen von Residuen oder Rückständen, die Pixelwertdifferenzen zwischen vorausgesagten und tatsächlichen Pixelwerten eines laufenden Vollbildes eines Videosignals darstellen. Ein nichtlinearer Prozessor dämpft Rückstände mit niedriger Amplitude mehr als Rückstände mit hoher Amplitude und ist von einer Rauschschätzung abhängig. Die verarbeiteten Rückstände werden zur Bildung eines Ausgangs mit komprimierten Videodaten transformiert.
Bei einem Merkmal der Erfindung werden nichtlineare Verarbeitungsfunktionen für eine Rauschschätzung und für eine Rauschdämpfung und eine Verringerung einer Bildverzerrung beschrieben.
Bei einem anderen Merkmal der Erfindung werden Rauschschätzungsfunktionen beschrieben.

KURZBESCHREIBUNG DER ZEICHNUNG

Fig. 1 ist ein Blockschaltbild einer bekannten DPCM-Komprimiervorrichtung.
Fig. 2 und 4 sind Blockschaltbilder von alternativen Komprimiervorrichtungen mit einer Rauschreduktions-Vorrichtung gemäß der vorliegenden Erfindung.
Fig. 3 und 5 sind Bilddiagramme von beispielhaften nichtlinearen Übertragungsfunktionen für die Rauschreduktions-Vorrichtungen gemäß den Fig. 2 und 4.
Fig. 6 und 7 sind Bilddiagramme von beispielhaften nichtlinearen Übertragungsfunktionen gemäß der Erfindung für die Rauschreduktions-Vorrichtungen der Fig. 2 und 4.
Die vorliegende Erfindung wird im Zusammenhang mit einer Videokomprimierung beschrieben, die ähnlich zu der durch die Moving Picture Experts Group (MPEG) of the International Standardisation Organisation beschriebenen Norm ist. Eine bewegungskompensierte Voraussagekodierung von dem in dem MPEG-Protokoll beschriebenen Typ erfordert eine Intraframe-Kodierung und eine Interframe-Kodierung. Das heißt, jedes N-te Vollbild wird intraframe-kodiert, um eine zeitlich gleichmäßige Regenerierung zu gewährleisten. Dazwischen liegende Vollbilder werden mit komprimierten Daten in aufeinanderfolgenden Vollbildern abhängig von früheren Vollbildern interframe- oder DPCM-voraussagekodiert. Intraframe-kodierte Vollbilder werden mit Vollbildern I bezeichnet, und Interframe-kodierte Vollbilder werden mit Vollbildern P oder B bezeichnet, abhängig davon, ob sie nur vorwärts-vorausgesagt bzw. sowohl vorwärts- als auch rückwärts-vorausgesagt wurden.
Der Vorgang der Voraussagekodierung enthält die Aufteilung jeweiliger Bilder in kleine Bereiche und Suchvorgänge nach benachbarten Bildern, um identische oder nahezu identische Bereiche in einem benachbarten Bild zu orten oder ausfindig zu machen. Die Ortung des Bereiches in dem benachbarten Bild und die Differenzen zwischen dem Bereich des laufenden Bildes und dem entsprechenden identischen oder nahezu identischen Bereich des benachbarten Bildes werden für die Übertragung kodiert. Es sei bemerkt, daß dann, wenn die entsprechenden Bereiche tatsächlich identisch sind, alle Differenzen null werden und ein Bereich einfach mit einem Vektor kodiert werden kann, der die Lage des entsprechenden Bereichs und einen Code identifiziert, der anzeigt, daß alle Differenzen null sind. Somit können komprimierte, identische oder nahezu identische Bilder mit relativ wenigen Codewörtern gebildet werden. Alternativ wird, wenn das Bild nennenswertes Rauschen enthält, damit zu rechnen sein, daß die Korrelation von Bildbereichen von Vollbild zu Vollbild mit einer begleitenden Zunahme in den übrigen Daten und einer entsprechende Zunahme in komprimierten Codewörtern verschlechtert wird.
In Fig. 1 werden zum Beispiel durch eine Kamera erzeugte Videosignale einem rekursiven Rauschreduzierer 10 zugeführt, der die Videosignale für eine Komprimierung aufbereitet. Die übrige Vorrichtung hat einen im wesentlichen bekannten Aufbau, so daß nur eine allgemeine Beschreibung erfolgt. Pixeldaten für ein Vollbild I von dem Rauschreduzierer 10 werden unverändert über die Subtrahierstufe 12 zu dem Koder 15 übertragen. Der Koder 15 bewirkt eine diskrete Cosinustransformation DCT für die Pixeldaten (in Blöcken von 8 · 8 Pixeln), um DCT-Koeffizienten zu erzeugen. Die Koeffizienten werden zur Steuerung der Datenrate quantisiert und in einer vorbestimmten Folge geordnet, die sich mit der Mehrheit der mit null bewerteten Koeffizienten für eine effiziente run-lengfh-Kodierung vereinigt. Der Koder bewirkt dann eine run-length- und statische Kodierung der Koeffizienten. Die kodierten, die Pixel darstellenden Daten werden einem Formatierer 19 zugeführt, der Informationen zufügt, um die Quellenlage der jeweiligen Blöcke innerhalb eines Vollbildes, den Kodiertyp (I, P, B), die Vollbildzahl, Zeitmarkierungen usw. entsprechend dem gewählten Komprimierprotokoll, zum Beispiel MPEG 2, anzuzeigen. Die Daten von dem Formatierer werden einem Transportprozessor 20 zugeführt, der die formatierten Daten in Nutzdatenpakete mit einer bestimmten Anzahl von Bit formatiert, Identifzierer zur Auffindung der jeweiligen Nutzdaten erzeugt, Synchronisierinformationen erzeugt und Fehlerkorrektur/Detektier-Codes bildet und alle diese den jeweiligen Nutzdatenpaketen hinzufügt, um dadurch Transportpakete zu bilden. Die Transportpakete werden einem geeigneten Modem 22 für die Übertragung zugeführt.
Die komprimierten Vollbilder I von dem Koder 15 werden einem Dekoder 16 zugeführt, der die inverse Funktion des Koders 15 durchführt. Für komprimierte Vollbilder I ist der Ausgang des Dekoders 16 ein wiedergegebenes Vollbild I. Das dekomprimierte Vollbild I wird unverändert über die Addierstufe 18 dem Pufferspeicher 17 zugeführt, in dem es für eine Voraussage-Komprimierung von darauffolgenden Vollbildern P und B gespeichert wird. Die Voraussage-Kodierung der Vollbilder P und B ist ähnlich, und die Komprimierung der Vollbilder P wird im folgenden beschrieben. Das derzeit komprimierte Vollbild P wird einem Bewegungsschätzer 14 zugeführt, der das Vollbild in Blöcke von zum Beispiel 16 · 16 Pixeln aufteilt. Der Schätzer 14 sucht dann die vorangehenden Vollbilder I oder P für einen ähnlichen Block mit 16 · 16 Pixeln und berechnet einen Satz von Vektoren, die die relative Differenz in den räumlichen Koordinaten des Blocks in dem laufenden Vollbild und dem am meisten identischen Block in dem gesuchten Vollbild anzeigen.
Unter Anwendung dieses Vektors wird der entsprechende Block von dem entsprechenden dekomprimierten Vollbild in dem Pufferspeicher 17 der Subtrahierstufe 12 zugeführt, der den vorausgesagten Block von dem Speicher 17, auf einer Basis Pixel für Pixel, von dem entsprechendem Block des laufenden, derzeit dekomprimiert werdenden Vollbildes subtrahiert. Die durch die Subtrahierstufe gelieferten Differenzen oder Rückstände werden dem Koder 15 zugeführt, in dem sie ähnlich wie die Pixeldaten der Vollbilder I verarbeitet werden. Die durch den Schätzer 14 erzeugten Vektoren werden dem Formatierer 19 zugeführt, wo sie als ein Teil der zu den jeweiligen Blöcken gehörenden kodierten Daten aufgenommen werden.
Die komprimierten Vollbilder P werden in dem Dekoder 16 dekodiert und der Addierstufe 18 zugeführt. Gleichzeitig erfolgt für die jeweiligen Blöcke des Vollbildes, auf dem das Vollbild vorausgesagt wurde, ein Zugriff von dem Pufferspeicher über die Voraussageeinheit 13 und wird einem zweiten Eingang der Addierstufe 18 zugeführt, in der die dekodierten Rückstände oder Differenzen auf einer Basis Pixel für Pixel zur Wiederherstellung des tatsächlichen Bildes addiert werden. Die wiederhergestellten Daten für die Pixel der Vollbilder P von der Addierstufe 18 werden für eine Voraussage-Kodierung/Dekodierung nach den Vollbildern P und B in dem Pufferspeicher 17 gespeichert.
Wichtig ist, zu bemerken, daß dann, wenn die Vollbilder verarbeitet werden, die Voraussageeinheit 13 sowohl der Subtrahierstufe 12 als auch der Addierstufe 18 Nullwerte zuführt. Eingegebene Vollbilder I werden daher unverändert durch die Subtrahierstufe 12 übertragen, und dekodierte Vollbilder I von dem Dekoder 16 werden unverändert durch die Addierstufe 18 übertragen.
Fig. 2 zeigt eine erste Ausführungsform der Erfindung. (n Fig. 2 ist die Komprimiervorrichtung ähnlich zu der Vorrichtung von Fig. 1, und Bauteile mit denselben Bezugszeichen wie denjenigen von Fig. 1 erfüllen gleiche Funktionen. Es gibt zwei Hauptunterschiede, das sind die Hinzufügung des nichtlinearen Bauteils 500 und eine leicht zusätzliche Funktion für das Bauteil 1333, das die Funktion des Bauteils 13 in Fig. 1 durchführt.
Das nichtlineare Bauteil 500 liegt zwischen der Subtrahierstufe 12 und dem Koder 15. Dieses Bauteil läßt nur Signalwerte oberhalb eines vorbestimmten Wertes durch. Das Bauteil 500 kann eine einfache sogenannte Entkernungsschaltung (coring circuit) sein, die einen Nullwert für alle Werte unterhalb eines vorbestimmten Wertes überträgt und den Signalwert minus des vorbestimmten Wertes für alle den vorbestimmten Wert übersteigenden Werte überträgt, wie es durch die stückweise lineare Funktion (Kurve B) in Fig. 3 dargestellt ist. Alternativ kann sie die Form einer typischeren Entkernungsschaltung annehmen, die einen Nullwert für alle Werte kleiner als ein vorbestimmter Wert durchläßt und einen Signalwert für alle Signalwerte, die einen vorbestimmten Wert übersteigen, durchläßt. Eine weitere alternative Funktion für das Bauteil 500 kann eine weichere Kurvenfunktion sein, wie sie durch die mit A bezeichnete Kurve in Fig. 3 dargestellt ist.
Eine zusätzliche, beispielhafte, alternative nichtlineare Übertragungsfunktion gemäß der Erfindung, die einen Vorteil in der Rauschfilterung bietet, ist in den Fig. 6 und 7 dargestellt. Es ist erwünscht, daß ein Bauteil mit einer nichtlinearen Übertragungsfunktion eine Identitätsfunktion liefern sollte (en der der Ausgang gleich dem Eingang ist) außerhalb des Entkernungs-"Fenster"-Bereichs (W bis -W in den Fig. 6 und 7). Es ist außerdem erwünscht, daß ein Bauteil mit einer nichtlinearen Übertragungsfunktion einen weichen Übergang zwischen dem Entkernungs- und dem Nicht- Entkernungsbereich bildet. Andernfalls könnten Bildverzerrungen aus dem Fehlen dieser beiden Entkernungsmerkmale entstehen. Eine nichtlineare Übertragungsfunktion gemäß der Erfindung, die diese Merkmale bietet, ist die Klasse der Funktionen, die folgendes liefern: (a) eine Identitätsfunktion außerhalb des Entkernungs-Fensters und (b) eine nach unten konvexe und ansteigende Funktion innerhalb des Entkernungs-Fensters. Die Klasse der Funktionen, die die gewünschten nichtlinearen Übertragungsfunktionen liefern, sind gegeben durch
f(x) = x wenn x > W
f(x) = g(x) wenn x ≤ W
wobei g(x) eine zunehmende und nach unten konvexe Funktion von x (e.g.x²) und g(W) = W ist.
Die Kurve von Fig. 6 ist bestimmt als
f(x) = x wenn x > W, Kurve A von Fig. 6
f(x) = W(x/W)n wenn x < W, Kurve B von Fig. 6
wobei n eine ganze Zahl ist und die Konvexität der Entkernungsfunktion innerhalb des Entkernungsfensters ( x < W) steuert. Ein größerer Wert von n bewirkt, daß die Entkernungsfunktionskurve B konvexer und näher zu null innerhalb des Bereichs x < W wird. Wenn n = 1, wird die Entkernungsfunktion eine Identitätsfunktion.
Die Kurve von Fig. 7 ist eine stückweise Lineare und konvexe beispielhafte Ausführung der beschriebenen Funktionsklasse. Die Kurve von Fig. 7 ist definiert als
f(x) = x wenn x > W, Kurve C von Fig. 7
f(x) = ax wenn x < T, Kurve E von Fig. 7
f(x) = bx wenn T < x < W, Kurve D von Fig. 7
wobei a < b und 0 < T < W ist. Der Parameter T ist ein Schwellwert, der die Konvexität oder Wölbung der Entkernungsfunktion steuert.
Alle beschriebenen Funktionen können durch Programmierung der Funktionen in entsprechenden Addressierplätzen in dem Speicher in der Einheit 500 erfolgen, die durch das zu verarbeitende Signal adressiert wird. Der Speicher des nichtlinearen Bauteils 500 kann mit einer Anzahl von verschiedenen Übertragungsfunktionen programmiert werden, und die Übertragungsfunktion kann in Abhängigkeit von einem Steuersignal von der Voraussageeinheit 1333 gewählt werden, wie später beschrieben wird. Weitere Verfahren zur Wahl einer Übertragungsfunktion sind zum Beispiel beschrieben in der US-5 258 928 von Zdepski et al. Außerdem ist die beschriebene Klasse der nichtlinearen Funktionen gemäß der Erfindung zur Filterung und Rauschreduktion in einer weiten Vielfalt von Anwendungen geeignet. Nicht nur das beschriebene Videokoder-Entkernungssystem. Denkbare Anwendungen sind Satellit, terrestrische und Kabelsysteme für die Kommunikation oder Sendung und enthalten auch Telefone. Zum Beispiel können die Funktionen zur Komprimierung von Standbildern, Modems oder Sprachkomprimierung angewendet werden.
In Fig. 2 bewirkt der Komprimierer zwei Typen einer Komprimierung, Infraframe und Interframe. Bei dem letzteren Typ wird das dem Bauteil 500 zugeführte Signal durch Rückstände gebildet, die aus der Entnahme von Pixeldifferenzen von zwei unabhängigen Vollbildern resultieren. In dem vorherigen bleibt das dem Bauteil 500 zugeführte Signal das unveränderte Videosignal. Die Rauschleistung des letzteren ist um die Quadratwurzel von zwei größer als die erstere, und der Signalwert der letzteren ist nennenswert geringer. Daher ist das Signal/Rausch-Verhältnis des Intraframe- Videosignals nennenswert größer als das Signal/Rausch-Verhältnis der Interframe Rückstände, unabhängig von dem Betrag des das Signal verschlechternden Rauschens.
In Anbetracht des Unterschiedes in den Signal/Rausch-Verhältnissen sollte die während der Intraframe-Komprimierung angewandte nichtlineare Funktion anders sein als die für die Interframe-Komprimierung. Wenn zum Beispiel die nichtlineare Funktion stückweise linear entkernend ist, kann der vorbestimmte Wert, unterhalb dessen Intraframe-Werte entkernt werden, nennenswert größer sein als für die Interframe- Rückstände. Wenn alternativ das Signal/Rausch-Verhältnis der Intraframe-Signale relativ groß wird, verglichen mit den Rückständen, kann das nichtlineare Bauteil Intraframe-Signale unverändert übertragen. Die relativen Signal/Rausch-Verhältnisse des Vollbildes B und des Vollbildes P der vorausgesagten kodierten Vollbilder kann ebenfalls nennenswert unterschiedlich sein, abhängig von der Anzahl von Vollbildern B zwischen Vollbildern P. Daher kann es günstig sein, für die verschiedenen Typen der Voraussagekodierung in dem Bauteil 500 verschiedene nichtlineare Funktionen anzuwenden. Eine adaptive Steuerung des nichtlinearen Bauteils erfolgt durch die Voraussageeinheit 1333, die jeweilige Steuersignale für kodiert werdende Vollbilder I, P und B liefert.
Zusätzlich haben die Erfinder erkannt, daß sich Rauschen in einem ankommenden Videosignal von einer Quelle wie einer Kamera sich mit der Zeit (z. Bsp. von Vollbild zu Vollbild) aufgrund verschiedener Faktoren ändern kann, einschließlich einer Verarbeitungsänderung wie zum Beispiel ein Schwenkvorgang. Außerdem kann sich das Rauschen in dem ankommenden Signal innerhalb von Teilen eines Vollbildes zum Beispiel aufgrund einer Szenenänderung ändern. Daher haben die Erfinder erkannt, daß es vorteilhaft ist, die Funktion des nichtlinearen Bauteils auf der Basis einer Schätzung des Bildrauschens zu ändern. Dieses wird später im Detail beschrieben.
Fig. 4 zeigt eine Ausführungsform, die für die Anwendung einer ähnlichen nichtlinearen Übertragungsfunktion für alle Typen einer Interframe- und Intraframe- Komprimierung nützlich ist.
In Fig. 4 sind Bauteile, die mit denselben Bezugszeichen versehen sind wie in Fig. 1, ähnlich und erfüllen ähnliche Funktionen. Die Schaltung von Fig. 4 enthält ein nichtlineares Bauteil 50 zwischen der Subtrahierstufe 12 und dem Koder 15. Die Funktion des nichtlinearen Bauteils kann ähnlich zu der in Fig. 5 gezeigten Funktion sein (Standard-Entkernungsfunktion) oder eine Funktion sein, wie sie für das Bauteil 500 beschrieben wurde.
Während der Komprimierung der Interframe-Vollbilder befinden sich die Schalter SW1 und SW2 in der anderen Lage als die dargestellte Lage. Wenn sich die Schalter in dieser Lage befinden, ist das System so aufgebaut und arbeitet genauso wie das System von Fig. 2 für die Interframe-Kodierung. Somit wird die nichtlineare Funktion des Bauteils 50 gemäß den Leistungserwartungen für die Interframe- Kodierung gewählt.
Für die Intraframe-Kodierung ist es erforderlich, daß das dekodierte Intraframe- Signal von dem Dekoder 16 unverändert über die Addierstufe 18 läuft. Das wird durch die Anwendung des Schalters SW1 erreicht, der durch das Voraussagebauteil 133 derart beeinflußt wird, daß Nullwerte während der Kodierung von Vollbildern I durchgelassen werden. Gleichzeitig wird der Schalter SW2 in die in Fig. 4 dargestellte Lage umgeschaltet.
Damit das nichtlineare Bauteil eine günstige Wirkung auf die Signale der Vollbilder I hat, im Hinblick auf ihr relativ hohes Signal/Rausch-Verhältnis, werden die Signale der Vollbilder I für eine Rauschverarbeitung künstlich reduziert und dann nach der Rauschverarbeitung wiederhergestellt. Die Verringerung des Signals der Vollbilder I erfolgt durch Erzeugung eines vorausgesagten Vollbildes 1 und durch Zuführung des vorausgesagten Vollbildes I zu der Subtrahierstufe 12. Die durch die Subtrahierstufe erzeugten Differenzen haben dieselbe Größenordnung wie die Interframe- Rückstände, und daher arbeitet das nichtlineare Bauteile dafür ähnlich. Das von der Voraussageeinheit 133 gelieferte vorausgesagte Signal wird dann zu dem von dem nichtlinearen Bauteil gelieferten Signal zurückaddiert, um das Eingangssignal des Vollbildes I etwa auf seinen Originalwert zurückzubringen.
Es sind mehrere Verfahren verfügbar, um die vorausgesagten Vollbilder I zu erzeugen. Ein Verfahren besteht einfach darin, daß die Voraussageeinheit 133 Pixelblöcke ausgibt, die dem laufenden Vollbild I zugeordnet sind, von dem zuletzt dekodierten Vollbild in dem Puffer 17 (das kein Vollbild sein kann). Jedoch besteht ein bevorzugtes Verfahren, das eine wesentlich genauere Voraussage des Vollbildes I bietet, darin, das Vollbild I in einer zu der Voraussage der Vollbilder P oder B ähnlichen Weise vorauszusagen. Es sei bemerkt, daß die Voraussage Bewegungsvektoren benötigt, die eine räumliche Übereinstimmung zwischen ähnlichen Pixelblöcken in zeitlich beabstandeten Vollbildern bilden. Kodierte Vollbilder I enthalten im allgemeinen keine Bewegungsvektoren. Da jedoch der Koder die Bewegungsvektor- Erzeugungs-Vorrichtung zum Erzeugen der Vektoren für die Vollbilder P und B enthält, ist es eine einfache Sache, eine derartige Vorrichtung so zu programmieren, daß sie Bewegungsvektoren auch für Vollbilder I erzeugt. Diese Bewegungsvektoren können beim Koder dazu benutzt werden, ein vorausgesagtes Vollbild I für Zwecke der Rauschreduktion zu erzeugen und dann unterdrückt oder verworfen werden, d. h. in dem kodierten Bitstrom nicht enthalten sind. Alternativ können die Bewegungsvektoren des Vollbildes I in dem kodierten Bitstrom für Zwecke einer Fehlerverdeckung enthalten sein, wie es in dem MPEG-Protokoll angenommen wird.
Es wird angenommen, daß das nichtlineare Bauteil 50 so programmiert ist, daß es alle Signalabtastwerte mit Größen oberhalb eines Wertes von T durchläßt, der nominell ziemlich klein ist. Es wird außerdem angenommen, daß das von der Voraussageeinheit gelieferte Signal S(n) und das Eingangssignal des Vollbildes II(n) ist. Wenn man das Bauteil 50 ignoriert, ist das zu dem oberen Kontrakt des Schalters SW2 gelieferte Signal I(n) - S(n). Dieses Signal wird einem Eingang einer Addierstufe 52 zugeführt, und das Signal S(n) wird einem zweiten Eingang der Addierstufe 52 zugeführt. Die Addierstufe 52 liefert das Signal I(n) - S(n) + S(n) = 1(n). Diese Werte werden dem Koder 15 zugeführt und sind gegenüber den Eingangswerten unverändert. Nur die Ausgangswerte I(n), für die die durch die Subtrahierstufe 12 gelieferten Differenzen innerhalb ±T liegen, werden durch das nichtlineare Bauteil 12 beeinflußt. Somit ist es vorteilhaft, wenn die durch die Voraussageeinheit 133 gelieferten Voraussagen der Vollbilder I sehr genau sind, d. h. innerhalb einer Abweichung von ±T. In diesem Fall beeinflußt das nichtlineare Bauteil im wesentlichen nur Rauschkomponenten.
Die obige Beschreibung geht davon aus, daß die Vollbilder in ihrer Gesamtheit als Intraframe-kodierte Vollbilder oder als Interframe-kodierte Vollbilder kodiert werden. Zum Beispiel wird in der MPEG-Norm das Videosignal auf einer Basis Block für Block kodiert, und es sind Mittel vorgesehen, um bestimmte Blöcke von Vollbildern P oder B in dem Intraframe-Kodiermodus zu kodieren, wenn eine enge Übereinstimmung für den Block in dem untersuchten Vollbild nicht gefunden werden kann. In diesen Fällen werden die Voraussageeinheiten 13, 133 und 1333 so programmiert, daß sie die nichtlinearen Verarbeitungsbauteile 15, 50 bzw. 500 auf einer Basis Block für Blockgemäß dem laufenden Verarbeitungstyp einschalten. Wenn somit in den beigefügten Ansprüchen eine Komprimierung von Vollbildern gemäß einem Interframe-Verarbeitungsmodus erwähnt wird, so sollte bemerkt werden, daß einige der Pixelblöcke innerhalb derartiger Vollbilder intraframe verarbeitet werden können, und die Ansprüche sollen auch derartige, in einem gemischten Modus verarbeitete Vollbilder erfassen.
Wie oben erwähnt, haben die Erfinder erkannt, daß es vorteilhaft ist, die Übertragungsfunktion des nichtlinearen Bauteils aufgrund einer Schätzung des Bildrauschens zu ändern. Ferner, daß die Übertragungsfunktion des nichtlinearen Bauteils in vorteilhafter Weise geändert wird, um den Koder an Änderungen in dem Signal/Rausch-Verhältnis anzupassen, die von Vollbild zu Vollbild und innerhalb eines Vollbildes erfolgen. Derartige Änderungen in dem Signal/Rausch-Verhältnis können zum Beispiel aus einem Schwenkvorgang einer Kamera oder aus einem Szenenwechsel resultieren. Außerdem wurde gemäß der Erfindung ein inverser Zusammenhang erkannt zwischen dem Bildrauschen und dem Maß an Bewegung innerhalb eines Bildbereiches. Ein ähnlicher inverser Zusammenhang wurde gemäß der Erfindung zwischen dem Bildrauschen und der Komplexität der Bewegung innerhalb eines Bildbereiches erkannt. Es gibt außerdem zum Beispiel einen inversen Zusammenhang zwischen der gewünschten Entkernungsbreite und dem Maß sowie der Komplexität der Bildbewegung.
Bei der Ausführungsform des Koders von Fig. 2 schätzt die Voraussageeinheit 1333 das Rauschen bei einem kodiert werdenden laufenden Pixelblock. Aufgrund dieser Rauschschätzung adaptiert die Einheit 1333 die Entkernungsbreite in der Einheit 500 an eine Kernungsfunktion (wie in Fig. 6 dargestellt) über ein Steuersignal, um die Rückstände von der Subtrahierstufe 12 zu filtern. Die Einheit 1333 adaptiert die Entkernungsbreite für kodiert werdende Pixelblöcke in Vollbildern P oder B bei wählbaren Intervallen. Die Einheit 500 läßt jedoch Pixelblöcke des Vollbildes I unverändert passieren. Die Rauschschätzung und die Aktualisierungsvorgänge für das nichtlineare Bauteil erfolgen durch die Einheit 1333, wie später beschrieben wird. Der übrige Koderbetrieb ist so, wie er vorher in Verbindung mit Fig. 2 beschrieben wurde.
Die Einheit 1333 prüft den durch den Bewegungsschätzer 14 gelieferten Bewegungsvektor auf den derzeit kodierten Pixelblock (laufender Block). Wenn dieser Bewegungsvektor im wesentlichen null ist und der Voraussagefehler des laufenden Blocks unterhalb eines vorbestimmten Schwellwertes liegt, wird die Rauschschätzung berechnet. Die Übertragungsfunktion des nichtlinearen Bauteils der Einheit 500 wird aufgrund dieser Rauschschätzung geändert. Durch Berechnung der Rauschschätzung nur bei dem Auftreten eines Bewegungsvektors mit im wesentlichen dem Wert null und einem niedrigen Voraussagefehler wird die Genauigkeit der Rauschschätzung verbessert. Das ist der Fall, weil der Fehler bei großen Szenenwechseln, die mit Bewegungsvektoren mit dem Wert null zusammenfallen, verringert wird. Der Voraussagefehler wird berechnet als der mittlere Quadratfehler (MSE = Mean Squared Error) für den laufenden Block. Zum Beispiel wäre in einem Makroblock mit N Pixeln, wobei jedes Pixel einen Luminanzwert aufweist, der die Pixelhelligkeit bestimmt (Grauskala bei einem Schwarz/Weiß-Bild) der MSE-Wert gegeben durch:
wobei ui die Luminanzwerte des laufenden Pixelblocks und i Pixel-Luminanzwerte sind, die einem vorausgesagten Block für den laufenden Block entsprechen. N ist gleich der Anzahl von Pixel-Luminanzwerten in dem laufenden Block, zum Beispiel N = 256 in der MPEG-Norm, unter der Annahme eines Makroblocks mit 16 · 16 Pixeln. Ein niedrigerer MSE-Wert zeigt eine bessere Voraussage an, da er weniger Flüchtigkeit oder Selbstlöschung und weniger Schätzarbeit in den vorausgesagten Werten zeigt. Die Rauschschätzung σ wird ermittelt unter der Annahme, daß der MSE-Wert repräsentativ für das Rauschen des Bildblocks ist, wenn ein Bewegungsvektor mit im wesentlichen dem Wert null und ein geringer Voraussagefehler gleichzeitig auftreten. Die Rauschschätzung σ wird folgendermaßen abgeleitet:
s =(MSE/2)1/&sub2;
Die in einem Vollbild berechneten Werte der Rauschschätzung σ werden gemittelt; um einen Schätzwert e für das Bildrauschen zu erzeugen. Die Werte σ können auch gefiltert werden, um einen gefilterten und gemittelten Schätzwert für das Vollbildrauschen für e zu bilden. Eine endgültige Rauschschätzung, die zur Aktualisierung der Übertragungsfunktion der nichtlinearen Einheit 500 dient, wird dann berechnet als ein gewichteter Mittelwert der laufenden und vorangehenden Vollbildwerte e. Die Einheit 500 mit dem Bauteil mit einer nichtlinearen Funktion wird in der bevorzugten Ausführungsform bei Intervallen von 10 Vollbildern aktualisiert. Jedoch kann das Bauteil mit der nichtlinearen Übertragungsfunktion bei wählbaren Intervallen geändert werden, beginnend von mehreren Vollbildern (größer als 10) bis zu Intervallen, die einzelnen Perioden der Pixelblock-Kodierung entsprechen. Das gewählte Intervall kann ebenso automatisch aufgrund einer in einem vorbestimmten Bereich liegenden Änderung der Rauschschätzung bestimmt werden.
Die Mittelwertbildung der Schätzwerte für das Bildrauschen erfolgt unter Anwendung der folgenden sogenannten Finite Impulse Response (FIR = endliches Impulsansprechverhalten), um den Gesamtrausch-Schätzungswert ê zu liefern, der zur Aktualisierung der Einheit 500 mit dem Bauteil mit einer nichtlinearen Übertragungsfunktion benötigt wird,
ên = hjen-1
= o
Die Summierung en erfolgt von 0 bis N. Die Werte en-j stellen vorangehende Schätzungen des Bildrauschens dar, j = N und entsprechend en-N ist der Rausch-Schätzwert des Vollbildes, das N Vollbilder vor einem laufenden Vollbild auftritt, j = 0 und entsprechenden ist der Rausch-Schätzwert des laufenden Vollbildes. insbesondere wenn nur eine einzige vorangehende Rauschschätzung erfolgt, wie in der bevorzugten Ausführungsform, ist ên gegeben durch:
ên = αen + (1-a)en-1
wobei in der beispielhaften bevorzugten Ausführungsform α ein empirisch ermittelter konstanter Wert von ungefähr 0,8 ist.
Die Wichtuingsfaktor-Werte hj können auch dynamisch ermittelt und unter Anwendung einer statistischen oder zufallsbedingten Messung der laufenden Rauschschätzung aktualisiert werden. Zum Beispiel kann der Faktor "h" als eine Funktion eines Bereiches mit einem Bewegungsvektor mit dem Wert null relativ zu dem gesamten Bildbereich oder als eine Funktion von Bewegungsvektorwerten bestimmt werden.
Die Entkernungs-Fensterbreite w der Entkernungsfunktion des nichtlinearen Bauteils der Einheit 500 wird entsprechend der folgenden Gleichung ermittelt:
w = cên + k
wobei c eine empirisch ermittelte feste Wichtungskonstante mit einem Wert zwischen 0 und 1 ist. Die Konstante k ist vom Szeneninhalt abhängig und wird empirisch aufgrund von Messungen von Koderstatistiken wie Bewegungsvektoren, Korrelationsfaktoren und Komplexitätsfaktoren ermittelt. Der Wert von k kann zum Beispiel dadurch ermittelt werdlen, indem iterativ Test-Videodaten unter Anwendung von abwechselnden Werten von k kodiert werden. Der Wert k, der die beste Korrelation zwischen den ursprünglichen und den dekodierten Test-Bildblöcken bezüglich des Signal/Rausch-Verhältnisses ergibt, wird für die Anwendung durch den Koder gewählt. Die Entkernungsbreite w wird so berechnet, daß das Signal/Rausch-Verhältnis optimiert und die Signalverschlechterung minimiert wird.
Es sollte bemerkt werden, daß eine weite Vielfalt von anderen Verfahren zur Durchführung einer Rauschschätzung angewendet werden kann. Diese Verfahren können in einer Änderung des Verfahrens für die Rauschschätzung und die Filterung dieser Schätzung bestehen. Zum Beispiel kann die Rauschschätzung durch Rauschschätzungen Pixel für Pixel oder Rauschschätzungen der Vollbilder erfolgen. Die Rauschschätzung ist nicht auf eine Berechnung aufgrund von Pixelblöcken mit fester Größe beschränkt. Es gibt verschiedene Möglichkeiten zur Anwendung der Rauschschätzung für die Änderung des Bauteiles mit der nichtlinearen Übertragungsfunktion. Diese Rauschschätzung kann zum Beispiel zur Wahl zwischen verschiedenen parallelen Übertragungsfunktionen dienen, anstatt zu einer Änderung einer einzelnen Funktion.
Ein alternatives Verfahren zur Durchführung einer Rauschschätzung besteht darin, die niedrigsten MSE-Werte, die von dem Bewegungsschätzer 14 geliefert werden, als eine Rausch-Indikation anzuwenden. In dieser Lösung wird der niedrigste MSE- Wert für Pixelblöcke in einem Vollbild als Rauschschätzung genommen. Im Idealfall ist der M'SE-Wert für Pixelblöcke, in denen keine Bewegung vorliegt, gleich null, und daher zeigt der minimale MSE-Wert eine Fehlanpassung von Rückständen zwischen aus Rauschen resultierenden Pixelblöcken an. Daher kann dieser minimale MSE- Wert als eine Rauschschätzung genommen werden. Dieses Verfahren ist gleichermaßen auf andere Anzeigen eines Voraussagefehlers und nicht nur auf MSE anwendbar. Zum Beispiel kann das Verfahren zur Rauschschätzung alternativ andere Typen von Fehlerindikations-Messungen anwenden, einschließlich MAE (Mean Absolute Error = mittlerer Absolutfehler) und SAE (Sum of Absolute Error = Summe der Absolutfehler). Ferner kann zur Verringerung von Fehlern, die aus schwachen Bewegungsschätzungen innerhalb eines Vollbildes resultieren, der minimale MSE-Wert über eine Anzahl von Vollbildern gefiltert werden. Das kann durch Anwendung eines nichtlinearen, rekursives Filters erfolgen, das folgendermaßen definiert ist:
Ln = aLn-1 + (1-α)Mn
Dabei ist
Ln der Ausgang der gefilterten Rauschschätzung zur Aktualisierung des Bauteils mit der nichtlinearen Übertragungsfunktion,
Ln-1 der Ausgang der vorher gefilterten Rauschschätzung,
Mn der kleinste MSE-Wert aus dem laufenden Vollbild,
α liegt zwischen 0 und 1 und steuert die Zeitkonstante des Filters,
α = A für(Ln-1 - Mn) < 0
α = B anderenfalls.
Die Zuverlässigkeit in der Berechnung eines Wertes einer verringerten Rauschschätzung relativ zu den vorangehenden Werten ist größer als die Zuverlässigkeit in der Berechnung eines erhöhten Rauschschätzungs-Wertes. Das ist der Fall, weil zum Beispiel ein erhöhter Rauschschätzungs-Wert wahrscheinlicher aus einer falschen Fehlermessung wie Effekten eines Szenenwechsels resultiert. Daher ist der Wert von α einstellbar. Der Wert von α erhält den Wert A zur Bildung einer längeren (langsameren) Filterzeitkonstante für die Erhöhung der Rauschschätzungs-Werte. Der Wert von α erhält den Wert B zur Bildung einer kürzeren (schnelleren) Filterzeitkonstante zur Verringerung der Rauschschätzungs-Werte. Ein beispielhafter Wert für A ist 0,5, und ein beispielhafter Wert für B ist 0,1. Es können mehr als zwei einstellbare Filterzeitkonstanten sowie andere Filterfunktionen benutzt werden, um die Rauschschätzung für andere Bildbedingungen zu optimieren.
Die Prinzipien der Erfindung sind ebenfalls anwendbar auf Kodersysteme, die Vorprozessoren zur Rauschreduktion anwenden. In derartigen Vorprozessoren werden im allgemeinen vereinfachte Bewegungsdetektoren angewendet, die nennenswerte Bewegungsschätzungs-Fehler erzeugen können. Derartige Systeme nutzen insbesondere die Rauschschätzungs-Filterung, wie vorangehend beschrieben.

Claims

1. Vorrichtung zum Komprimieren eines ein Bild darstellendes, Pixeldaten enthaltenden Videosignals mit

Mitteln (12, 14, 16, 17, 18) zum Erzeugen von Rückständen, die Differenzen von Pixelwerten zwischen den vorausgesagten Pixelwerten und den tatsächlichen Pixelwerten eines laufenden Vollbildes des komprimiert werdenden Videosignals darstellen, wobei die Rückstände niedrigere und höhere Amplituden aufweisen,

nichtlinearen Verarbeitungsmitteln (500), die mit den Erzeugungsmitteln verbunden sind, um die Rückstände niedrigerer Amplitude stärker zu dämpfen als die Rückstände mit höherer Amplitude und um die verarbeiteten Rückstände an einen Ausgang zu liefern, wobei die Übertragungsfunktion der nichtlinearen Verarbeitungsmittel veränderbar ist, und

Umsetzmitteln (15) zum Umsetzen der verarbeiteten Rückstände und zum Liefern eines Ausgangs mit komprimierten Videodaten,

gekennzeichnet durch folgende Merkmale:

Mittel (1333) zur Schätzung des Rauschens in dem Videosignal, wobei die Übertragungsfunktion der nichtlinearen Verarbeitungsmittel in Abhängigkeit von der Rauschschätzung geändert wird.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Rauschschätzung in Abhängigkeit von dem Pixel-Voraussagefehler erfolgt.

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die Rauschschätzung erfolgt, wenn die Bewegung in einem Bildbereich im wesentlichen null ist.

4. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Übertragungsfunktion von der Rauschschätzung bei veränderbaren Zeitintervallen abhängig ist.

5. Vorrichtung nach Anspruch 1, gekennzeichnet durch ein Filter mit einer veränderbaren Zeitkonstante zur vorübergehenden Filterung der Rauschschätzung, wobei die Übertragungsfunktion der nichtlinearen Verarbeitungsmittel von der vorübergehend gefilterten Rauschschätzung abhängig ist.

6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß das Filter mit der veränderbaren Zeitkonstante eine längere (langsamere) Filterzeitkonstante für zunehmende Rauschschätzungswerte und eine kürzere (schnellere) Filterzeitkonstante für abnehmende Rauschschätzungswerte bildet.

7. Vorrichtung nach Anspruch 1, gekennzeichnet durch ein Filter zur räumlichen Filterung der Rauschschätzung, wobei die Übertragungsfunktion der nichtlinearen Verarbeitungsmittel von der räumlich gefilterten Rauschschätzung abhängig ist.

8. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Übertragungsfunktion eine Entkernungsfunktion mit einem Entkernungsfenster mit einer Fensterbreite w ist und w von der Rauschschätzung abhängig ist.

9. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Übertragungsfunktion eine Entkernungsfunktion und die Entkernungsfunktion von der Bewegung in einem Bereich eines Bildes abhängig ist.

10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Vorrichtung die Pixeldaten auf einer Basis Block für Block verarbeitet und das Maß der Entkernung innerhalb der Entkernungsfunktion von der Bewegung in einem Pixelblock abhängig ist.

11. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Vorrichtung die Pixeldaten auf einer Basis Block für Block verarbeitet und die Entkernungsfunktion nur auf die Rückstände angewendet wird, die Pixelblöcken entsprechen, die eine Bildbewegung unterhalb eines vorbestimmten Schwellwertes aufweisen.

12. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Rauschschätzung invers zu dem Maß der Bewegung in einem Bereich eines Bildes ist.

13. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die nichtlinearen Verarbeitungsmittel mehrere wählbare Übertragungsfunktionen einschließlich einer linearen Übertragungsfunktion liefern.

14. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Übertragungsfunktion eine Entkernungsfunktion mit einem Entkernungsfenster und die Entkernungsfunktion von einer Änderung in dem Bildinhalt des laufenden Vollbildes abhängig ist.

15. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Übertragungsfunktion eine Entkernungsfunktion mit einem Entkernungsfenster ist und die Entkernungsfunktion im wesentlichen eine Identitätsfunktion außerhalb des Entkernungsfenster enthält.

16. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Übertragungsfunktion eine Entkernungsfunktion mit einem Entkernungsfenster und die Entkernungsfunktion im wesentlichen eine nach unten konvexe und innerhalb des Fensters kontinuierlich zunehmende Funktion ist.