-
Die
vorliegende Erfindung betrifft die Bereitstellung geglätteter Digitalbilder
mit reduziertem Rauschen.
-
Eine
Art von Rauschen, die in Bildern von Digitalkameras zu finden ist,
tritt in Form von farbigen Flecken niedriger Frequenz in Bereichen
mit tiefer Ortsfrequenz auf, beispielsweise im Gesicht einer Person.
Diese Flecken, eine Art von Chromarauschen, erzeugt ein marmoriertes
Aussehen in einem ansonsten räumlich flachen
Bereich. Diese farbigen Flecken sind unregelmäßig geformt und sind in einer
gegebenen Richtung typischerweise 5 bis 25 oder mehr Pixel breit.
-
Die
PCT Patentanmeldung WO 99/30547 betrifft ein System zur Beseitigung
von Rauschen, das mit Kantenerkennung arbeitet. In dieser Anordnung
wird ermittelt, ob ein Pixel auf einer Kante liegt, wobei die nachfolgende
Rauschbeseitigung davon abhängt,
ob ein Pixel auf einer Kante liegt. Wenn es auf einer Kante liegt,
wird es einer bestimmten Art von Rauschbeseitigung unterzogen, wenn
es nicht darauf liegt, wird es einer bestimmten anderen Art von
Rauschbeseitigung unterzogen.
-
Nach
dem Stand der Technik gibt es zahlreiche Möglichkeiten, um Chromarauschen
in Digitalbildern zu verringern. Darunter gibt es zahlreiche Patente,
die Verfahren zur Verringerung des Chromarauschens unter Verwendung
von optischen Unschärfefiltern
in Digitalkameras beschreiben, um vor allem durch Treppeneffekt
induziertes Chromarauschen zu vermeiden. Diese Unschärfefilter
betreffen im Allgemeinen jedoch nur hochfrequentes Chromarauschen
und sind im Allgemeinen gegenüber
niederfrequentem Chromarauschen unwirksam.
-
Ein
anderer sehr gängiger
Ansatz zur Reduzierung von Chromarauschen besteht darin, Standardtechniken
zur Verringerung des Graustufenbildrauschens in jedem Farbkanal
des Bildes zu verwenden, wodurch die einzelnen Farbkanäle als separates
Graustufenbild behandelt werden. Indem ein Vollfarbenbild wie drei
unabhängige
Graustufenbilder behandelt wird, werden jegliche Interaktionen oder
Korrelationen zwischen den Farbkanälen ignoriert. Wie zuvor besprochen,
sind die inhärenten
Beziehungen zwischen den Farbebenen eines Digitalbildes verwendbar,
um eine wirksamere Beseitigung des Chromarauschens vorzunehmen,
beispielsweise durch Umsetzung des Bildes in einen anderen Farbraum,
der eine einfachere Abtrennung des Bildrauschens von dem eigentlichen
Szeneninhalt ermöglicht.
-
Einige
Ansätze
betreffen konkret Digitalbild-Verarbeitungsverfahren zur Reduzierung
oder Beseitigung von Chromarauschartefakten. Eine Klasse von Patenten
für Digitalkameras
beschreibt Verbesserungen der CFA-Interpolation (Color Filter Array/Farbfilteranordnung)
zur Reduzierung oder Beseitigung hochfrequenter Chromarauschartefakte.
Eine weitere Klasse von Patenten beschreibt die Verwendung unterschiedlicher
Pixelformen (d.h. Rechtecke statt Quadrate) und Anordnungen (beispielsweise
ist jede Reihe um eine halbe Pixelbreite zur vorausgehenden Reihe
versetzt) mit begleitenden CFA-Interpolationsoperationen zur Reduzierung
oder Beseitigung von Chromarauschartefakten. Aber auch diese Techniken
betreffen nur hochfrequentes Chromarauschen und sind im Allgemeinen
gegenüber
niederfrequentem Chromarauschen unwirksam.
-
In
der offenen Literatur wird die bekannte Technik beschrieben, bei
der ein Digitalbild mit Chromarauschartefakten in einen Luminanz-/Chrominanzraum
umgewandelt wird, beispielsweise CIELAB, um dann die Chrominanzkanäle unscharf
zu machen und das Bild zurück
in den Originalfarbraum umzusetzen. Diese Operation gilt als Standardtechnik
zur Bekämpfung
von Chromarauschen. Ein Nachteil dieses Ansatzes besteht darin,
dass während
des Unschärfeschritts
nicht zwischen Chromarauschartefakten und eigentlichen chromatischen
Szenendetails unterschieden wird. Mit zunehmender Unschärfebildung
beginnt daher ein Farbbluten der eigentlich scharfen, farbigen Kanten
des Bildes. Normalerweise wird das Farbbluten inakzeptabel, bevor der
Großteil
der niederfrequenten Farbflecken aus dem Bild beseitigt ist. Wenn
das Bild einer nachfolgenden Bildverarbeitung unterzogen wird, besteht
die Möglichkeit,
dass das Farbbluten noch deutlicher erkennbar ist. Ein zweiter Nachteil
dieses Ansatzes besteht darin, dass nahezu immer ein kleiner, fester
Unschärfekern
erforderlich ist, um das Problem des Farbblutens in den Griff zu
bekommen. Um allerdings die niederfrequenten chromatischen Flecken
zu verarbeiten, wären
große
Unschärfekerne
zur gewünschten
Rauschbeseitigung erforderlich.
-
Der
vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren
zur Reduzierung von Chromarauschen bereitzustellen, das die Verwendung
von großen
Unschärfekernen
zulässt,
ohne dass an scharfen, farbigen Kanten Farbbluten auftritt.
-
Der
vorliegenden Erfindung liegt zudem die Aufgabe zugrunde, ein verbessertes,
vom Chromarauschen bereinigtes Digitalbild unter Verwendung eines
veränderlich
geformten Pixelnachbarschaftsbereichs von Unschärfekernen bereitzustellen.
-
Eine
weitere Aufgabe der vorliegenden Erfindung besteht darin, niederfrequente,
chromatische Flecken bereitzustellen, die aus einem Digitalbild
unter Verwendung veränderlich
geformter Pixelnachbarschaftsbereiche von Unschärfekernen entfernbar sind.
-
Diese
Aufgaben werden mit einem Verfahren zur pixelweisen Beseitigung
von Rauschen aus Pixeln eines Digitalbilds mit folgenden Schritten
gelöst:
Erzeugen
einer Darstellung von Merkmalen in dem Digitalbild;
Speichern
eines Ursprungswerts des betreffenden Pixels aus der Merkmalsdarstellung;
Verwenden
von Merkmalswerten aus der Darstellung zur Bestimmung eines veränderlich
geformten Nachbarschaftsbereichs von Reinigungspixeln in Bezug auf
den Ursprungswert des betreffenden Pixels;
Verwenden des Nachbarschaftsbereichs
von Reinigungspixel und des Wertes des betreffenden Pixels zu Änderung
des Ursprungswerts des betreffenden Pixels in dem Digitalbild, so
dass dieses rauschbereinigt ist; und
Wiederholen dieser Schritte
für weitere
betreffende Pixel.
-
Die
vorliegende Erfindung löst
die Beschränkung
des "chromatischen
Unschärfetricks", indem zunächst alle
Kanten und Grenzen in dem Bild ermittelt werden, worauf zugelassen
wird, dass jeder Nachbarschaftsbereich adaptiv wächst, bis dieser an eine Kante
oder Grenze stößt. Dadurch
wird Farbbluten vermieden, während
die Verwendung großflächiger Unschärfeoperationen
zur Beseitigung von Chromarauschartefakten weiterhin möglich ist.
-
Die
vorliegende Erfindung weist u.a. folgende Merkmale auf:
- 1) automatischer Betrieb (kein Benutzereingriff erforderlich,
obwohl der Benutzer Zugriff auf einige Algorithmenparameter haben
könnte,
um das Ausmaß der
Bildmodifikation zu steuern); und
- 2) lokal adaptive, größenveränderliche
Nachbarschaftsbereichsberechnungen (Artefakte mit sehr tiefen Ortsfrequenzen
können
in flachen Bereichen beseitigt werden, ohne dieselben großen Nachbarschaftsbereichsberechnungen
in räumlich
intensiven Bereichen zu forcieren).
-
Ein
Aspekt der vorliegenden Erfindung betrifft die Verwendung lokal
adaptiver, größenveränderlicher Berechnungsnachbarschaftsbereiche,
die von einer Merkmalsdarstellung per "Key off" gewonnen werden, um ein Maximum an
Chromarauschen zu beseitigen, ohne dass sich eigentliche Szenendetails
wesentlich verschlechtern.
-
Die
Erfindung wird im folgenden anhand in der Zeichnung dargestellter
Ausführungsbeispiele
näher erläutert.
-
Es
zeigen
-
1 ein
Blockdiagramm des Verarbeitungsablaufs zur praktischen Verwertung
der vorliegenden Erfindung zur Herstellung verbesserter Digitalbilder;
und
-
2 ein
von der vorliegenden Erfindung verwendeter typischer, veränderlich
geformter Pixelnachbarschaftsbereich.
-
Da
Rauschbeseitigungsalgorithmen für
Digitalbilder bekannt sind, bezieht sich die vorliegende Beschreibung
insbesondere auf Elemente, die Teil der erfindungsgemäßen Vorrichtung
und des Verfahrens sind oder direkt damit zusammenwirken. Hier nicht
gezeigte oder beschriebene Elemente sind aus den nach dem Stand
der Technik bekannten Elementen wählbar. Obwohl die vorliegende
Erfindung in Bezug auf ein Digitalbild beschrieben wird, das von
einer elektronischen Kamera erzeugt wird, wird Fachleuten klar sein,
dass die vorliegende Erfindung nicht auf derartige Bilderzeugungsvorrichtungen
beschränkt
ist und auch originale Digitalbilder aus anderen Quellen verwenden
kann.
-
In
1 ist
Block
10 das Originalbild. Block
12 ist das in
einen Luminanz-/Chrominanzraum, beispielsweise CIELAB, umgewandelte
Bild. Obwohl CIELAB der bevorzugte Farbraum ist, sind selbstverständlich auch
andere Farbräume
erfindungsgemäß verwendbar.
Die Blöcke
14,
16 und
18 erzeugen
eine Darstellung von Merkmalen oder eine Kantendarstellung der Luminanz-/Chrominanzdaten.
Um diese Darstellung zu erzeugen, werden vier Kantendetektorfilter
mit jedem Kanal gefaltet, worauf die Ergebnisse zur Erzeugung der Kantendarstellung
summiert werden. Die vier Filter sind "h" für horizontal, "v" für
vertikal, "s" für Slash
und "b" für Backslash.
Wenn f(x) für
das Kanalbild und g(x) für
den resultierenden Kantendarstellungskanal steht, lässt sich
folgende Gleichung formulieren:
g(x) = |h**f(x)|
+ |v**f(x)| + |s**f(x)| + |b**f(x)|wobei "x" entweder
für den
Luminanzkanal L* oder für
die Chrominanzkanäle
a* oder b* steht, "*
*" steht für die zweidimensionale
Faltungsoperation, und die Absolutwerte der Komponenten werden addiert.
Die vier Kantendetektorkerne sind 5 × 5 abgeschnittene Pyramidenfilter,
die in Verbindung mit der Verwendung von verrauschten Daten eine
gewisse Robustheit gewährleisten.
Für eine
stärkere
Rauschunterdrückung
wären sogar
größere Kerne
verwendbar. Die hier verwendeten Kerne sind:
-
In
Block 20 wird die endgültige,
zusammengesetzte Kantendarstellung "g" durch
Summieren der drei Kanalkantendarstellungen erzeugt. g
= g(L*) + g(a*) + g(b*)
-
Da
alle einzelnen Komponenten bereits positive Werte sind, braucht
man keine zusätzlichen
Absolutwertoperationen in Verbindung mit dieser Summenbildung zu
benutzen.
-
Aus
der Merkmalskantendarstellung wird ein Schwellenwert ermittelt.
Für eine
Erstbestimmung wählt man
einen flachen Bereich des Bildes und berechnet die Standardabweichung
(stdv) der Kantendarstellungswerte in diesem Bereich. Das Dreifache
der Standardabweichung (3 stdv) wird der Schwellenwert. Wenn dieser
Algorithmus interaktiv ausgeführt
wird, könnte
dieser Schwellenwert eine der Schaltflächen sein, die dem Benutzer
zur Steuerung bereitgestellt werden. Wenn für eine gegebene Anwendung festgestellt
wird, dass sich der Schwellenwert von Bild zu Bild nicht wesentlich ändert, kann
der Schwellenwert einmal offline bestimmt werden und dann als fester
Wert für
die zukünftige
Verwendung dienen.
-
Die
Chrominanzkanäle
a* und b* werden jetzt geglättet.
Mit anderen Worte, sie werden rauschbereinigt. In Block 22 wird
für jedes
Pixel in dem Bild der entsprechende Kantendarstellungswert als Referenzwert genommen.
Dann verfährt
der Algorithmus pixelweise in jede der acht Kompass-Himmelsrichtungen,
N, NO, O, SO, S, SW, W, NW, wobei die Kantendarstellungswerte untersucht
werden. Wenn die Differenz zwischen einem Kantendarstellungswert
und den Referenzwerten kleiner als der Schwellenwert ist, wird das
Pixel zu dem rauschbereinigten (geglätteten) Nachbarschaftsbereich
hinzugefügt,
und der Algorithmus wird fortgesetzt. Sobald ein Kantendarstellungswert
erreicht ist, der sich von dem Referenzwert um mehr als den Schwellenwert
unterscheidet, wird das Wachstum des rauschbereinigten Nachbarschaftsbereichs
in dieser Kompassrichtung gestoppt. 2 zeigt
einen typischen, rauschbereinigten Nachbarschaftsbereich, nachdem
alle Kompassrichtungen geprüft
worden sind. In dieser Anordnung werden acht Richtungen gezeigt,
da es acht benachbarte Pixel um das jeweils betreffende Pixel gibt.
Ein zusammenhängender
Nachbarschaftsbereich ist jedoch nicht Bedingung. Es sei darauf
hingewiesen, dass dieser Nachbarschaftsbereich in Form und Größe veränderlich
ist. Wie in 1 gezeigt, werden in dem rauschbereinigten
Nachbarschaftsbereich in Block 24 die Kanalwerte a* und
b* gemittelt, und diese Mittelwerte ersetzen die Werte von Kanal
a* und b* für
Pixel A in 2. Jedes Pixel in dem Bild wird
auf diese Weise verarbeitet. In Block 26 wird das endgültige Bild
zurück
in den Originalfarbraum umgewandelt.
-
Die
maximal mögliche
Richtung der Erweiterung des Nachbarschaftsbereichs in einer gegebenen Kompassrichtung
lässt sich
beschränken,
um zu verhindern, dass sehr große
Nachbarschaftsbereiche in großen
flachen Bereichen verwendet werden. Ein derartiger maximaler Radienwert
könnte
im Bereich von 50 bis 100 Pixel liegen.
-
Die
vorliegende Erfindung ist durch ein Verfahren nach Nebenanspruch
1 und durch ein Computerprogrammprodukt nach Nebenanspruch 2 gekennzeichnet.
-
Das
computerlesbare Speichermedium in Anspruch 2 kann beispielsweise
magnetische Speichermedien, wie Magnetplatten (auch Disketten) oder
Magnetband, optische Speichermedien, wie eine optische Platte, optisches
Band, oder maschinenlesbaren Speicher (RAM), Lesespeicher (ROM)
oder eine andere physische Einrichtung oder ein anderes physisches
Medium umfassen.