DE69620302T2

DE69620302T2 - Verfahren und Vorrichtung zur Verbesserung eines digitalen Bildes

Info

Publication number: DE69620302T2
Application number: DE69620302T
Authority: DE
Inventors: Reiner Eschbach; William A. Fuss
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1995-06-05
Filing date: 1996-05-31
Publication date: 2002-08-14
Anticipated expiration: 2016-06-01
Also published as: EP0747855A3; JP3902265B2; US5581370A; JPH08329241A; EP0747855A2; DE69620302D1; EP0747855B1

Description

Die vorliegende Erfindung richtet sich auf ein Verfahren und eine Vorrichtung zum Verbessern des Aussehens eines digitalen Bildes einer Naturszene und insbesondere auf ein Verfahren zum Verbessern des Kontrastes innerhalb eines solchen Bildes.
Eine spezielle Verbesserung, die an einem Bild vorgenommen werden kann, ist die Verbesserung seines Kontrastes. Der Kontrast bezieht sich auf die Wahrnehmung des Dynamikbereiches des Bildes oder den Bereich von Dichten innerhalb der möglichen Dichten, von denen das Bild bestimmt wird. Erfahrungsgemäß sind bevorzugte Bilder relativ kontraststark, d. h. das Bild macht von dem gesamten möglichen Dynamikbereich Gebrauch. Der Dynamikbereich eines Bildes kann empirisch durch Ausführung eines Histogramms an dem Bild gemessen werden, das ermittelt, wie viele Pixel innerhalb des Bildes eine spezielle Intensität innerhalb des Bereiches möglicher Intensitäten haben. Bevorzugte Bilder neigen dazu, durch Histogramme charakterisiert zu werden, die angeben, daß der gesamte Dynamikbereich des Bildes benutzt ist. Es gibt Algorithmen, die ein Bild in einer Weise verändern, daß ein Histogramm erzeugt wird, das den gesamten Dynamikbereich abdeckt. Der allgemeinste Algorithmus ist der Histogrammverflachungs-/Histogrammausgleichsalgorithmus, der in R.C. Gonzales und B.A. Fittes, "Gray level transformation for interactive image enhancement", Proc, Second Conference on Remotely Manned Systems 1997; E.L. Hall, "Almost uniform distributions for computer image enhancement", IEEE Trans. Comput. C-23, 207-208, 1974; W.K. Pratt, Digital Image Processing, Wiley, New York, 1978; M.P. Ekstrom, Digital Image Processing Techniques, Academic Press, Orlando, 1984; und J.C. Russ, The Image Processing Handbook, CRC Press, Boca Raton, 1992 beschrieben ist. Wenn ein Histogramm rundweg flach ist, werden jedoch unerwünschte Bilddefekte in einer großen Zahl von Fällen festgestellt, wo die Aufgabe bestand, ein visuell befriedigendes Bild zu erzeugen. Die Histogrammvergleichmäßigungstechniken arbeiten gut in Fällen, in denen die Anwendung die Ermittlung von Merkmalen in einem Bild verlangt, wie beispielsweise in medizinischen oder Fernerfassungsanwendungen. Modifikationen an den Histogrammvergleichmäßigungstechniken sind als adaptive Histogrammvergleichmäßigung (AHE) bekannt, wie in S.M. Pizer et al., "Adaptive histogram equalization and its variations", Comput. Vision graphics and Image Proc. 39, 355-368, 1987 und den dortigen Zitaten. AHE wiederum neigt zu guter Arbeitsweise, wenn das ästhetische Aussehen des Bildes nicht kritisch ist, aber der Informationsinhalt des Bildes (d. h. z. B. wie gut Details sichtbar sind) kritisch ist. Wenn diese Ziele und Annahmen nicht gefragt sind, arbeiten Histogrammverflachung und ihre bekannten Modifikationen wenig.
Es sei auch R.C. Conzales and P. Wintz, "Image Enhancement by Histogram Modification Techniques", Digital Image Processing, Addison-Wesley Publishing, 1977, Seite 118 ff erwähnt, wo bekannte Histogrammverflachungsfunktionen beschrieben sind.
US-A-5 450 502 beschreibt ein Verfahren zum Verbessern des Kontrastes im Bild einer natürlichen Szene, bei dem das Bild von einem ursprünglichen Satz Farbkoordinaten in einen Ausdruck umgewandelt wird, wo ein Term ein Verhältnis zur Gesamtbildintensität oder -dichte hat. Ein Gesamthistogramm des Bildes wird für jenen Term abgeleitet, was die Populationen von Pixeln bei jedem möglichen Dichtepegel im Bild aufträgt. Jenes Histogramm wird mit einem Filter verarbeitet, das die Eigenschaft hat, starke Spitzen und Täler in der Funktion zu schwächen, die flachen Abschnitte des Histogramms aber nicht zu beeinflussen. Das gefilterte Histogrammsignal wird zur Steuerung der TRC-Abbildung in einer Vorrichtung verwendet, an der das Bild auszugeben ist. Der Kontrast wird in Bereichen abgeschätzt, die wahrscheinlich die meiste Bildinformation enthalten, wobei das obige Verfahren verwendet wird, und weiterhin das Bild in eine Anzahl von Segmenten unterteilt wird, die jeweils durch ein örtliches Histogrammsignal für jenes Bildsegment beschreibbar sind. Jedes örtliche Histogrammsignal wird mit dem Gesamthistogramm verglichen, um örtliche Bildänderungen zu ermitteln. Aus dem Vergleich der örtlichen Histogramme mit dem Gesamthistogramm wird ein relevantes Histogrammsignal abgeleitet und zum Histogrammfilter an seiner Stelle geleitet. Das aus dem relevanten Bildhistogramm abgeleitete TRC wird den Farbkanälen des Bildes zugeführt.
Ein Problem erwächst dann, wenn der so bestimmte interessierende Bereich keine ausreichende Information liefert, die notwendig ist, um das Aussehen des Bildes zu verbessern.
Es ist ein Ziel der vorliegenden Erfindung, das obige Problem zu lösen.
EP-A-0 383 269 beschreibt ein Verfahren zum Verbessern des Kontrastes eines digitalen Bildes, bei dem ein Histogramm, dem ein Kontextbereich des Bildes zugeordnet ist, durch ein Tiefpaßfilter geleitet wird, bevor eine Umwandlungsfunktion der ursprünglichen Pixelintensität entwickelt wird, um die Pixelintensität vom Histogramm einzustellen.
In Übereinstimmung mit der vorliegenden Erfindung werden ein Verfahren und eine Vorrichtung zum Verbessern des Kontrastes im Bild einer natürlichen Szene gemäß den anhängenden Ansprüchen angegeben.
In einem Aspekt der Erfindung wird ein Verfahren zum Verbessern des Kontrastes im Bild einer natürlichen Szene, das als Satz elektronischer Signale aufgezeichnet ist, angegeben, das die folgenden Schritt umfaßt:
Versichern, daß wenigstens eine Komponente des ursprünglichen elektronischen Signals, das das Naturszenenbild bildet, mit einem Signal definiert wird, das die Intensität des Bildes beschreibt;
Ableiten eines Satzes örtlicher Histogrammsignale, die jeweils die Population von Signalen an möglichen Intensitätspegeln innerhalb des Bildes für einen Bereich des Bildes beschreiben, aus der Intensitätskomponente der elektronischen Signale;
Auswählen eines Teilsatzes der örtlichen Histogrammsignale als einen Maximumdynamikbereich des Naturszenenbildes darstellend;
Bereichsweises Bestimmen von Steilen des schwarzen Punktes und des weißen Punktes innerhalb der elektronischen Signale des Bilds, wobei der schwarze Punkt und der weiße Punkt jeweils die dunkelsten und hellsten Punkte innerhalb des Bildes Sind;
Versichern, daß die Histogramme, die Bereiche darstellen, in denen der schwarze Punkt und der weiße Punkt erscheinen, Glieder des Teilsatzes örtlicher Histogrammsignale sind, und falls nicht, Hinzufügen derselben dazu;
Kombinieren des Teilsatzes örtlicher Histogramme mit einer ausgewählten Wichtungsfunktion, um ein relevantes Histogramm zu erzeugen;
Verarbeiten des relevanten Histogrammsignals mit einem Filter, das die Eigenschaft hat, starke Spitzen und Tiefen im Signal zu verringern;
Verwenden des gefilterten Histogrammsignals, Ableiten einer tonalen Abbildung von Eingangssignalen, um Treibersignale abzugeben; und
für jedes elektronische Signal, das das Naturszenenbild bildet, Abbilden des elektronsichen Signals in ein Ausgangstreibersignal unter Verwendung der abgeleiteten tonalen Abbildung.
Unter gewissen Umständen liefert der interessierende Bereich nicht ausreichend Information zur Verbesserung des Bildkontrastes, wenn er nur durch Bezugnahme auf den Dynamikbereich bezeichnet wird. Dementsprechend ist entdeckt worden, daß in Systemen, in denen der schwarze Punkt und der weiße Punkt eines Bildes bestimmt werden, solche Werte dazu verwendet werden können, den Kontrast zu verbessern.
In einem automatisierten Bildverbesserungssystem existieren Daten als ein gemeinsamer Kontext zwischen mehreren Bildanalysatoren. Jeder Analysator führt notwendige Schritte durch und speichert analytische Daten, zu denen durch den gemeinsamen Kontext dynamisch zugegriffen werden kann. Im Falle einer Ausführung automatischer Verarbeitung unter Verwendung ausgewählter interessierender Bereiche (ROI), wird ein einzelnes Histogramm der relevanten Bildteile als die gewichtete Summe der ausgewählten Histogramme geschaffen, wie in der US- Patentanmeldung mit dem Aktenzeichen Nr. 081133,231 und dem Titel "Image-Dependent Luminance Enhancement", eingereicht am 07. Oktober 1993 von R. Eschbach et al. beschrieben. Die in diesen Beispielen verwendeten Wichtungskoeffizienten waren für alle ausgewählten örtlichen Histogramme identisch. Das sich ergebene Histogramm wird dann dazu benutzt, ein TRC für die Bildverbesserung zu bestimmen, wobei ein modifizierter Histogrammverflachungsalgorithmus verwendet wird, der an dem gesamten Bild angewendet wird.
Die vorliegende Erfindung wird weiter beispielhaft unter Bezugnahme auf die begleitenden Zeichnungen erläutert.
Fig. 1 zeigt ein Blockschaltbild eines Systems, das eine Ausführungsform der vorliegenden Erfindung verwendet;
Fig. 2 zeigt ein beispielhaftes Bild, das für Wiedergabezwecke auf ein Zeilenbild reduziert worden ist;
Fig. 3 zeigt das für Fig. 2 abgeleitete Histogramm;
Fig. 4 zeigt das Beispielsbild von Fig. 2 in mehrere Teilbilder unterteilt;
Fig. 5A, B, C und D bis 8A, B, C und D zeigen die Histogramme für jedes Teilbild von Fig. 2:
Fig. 9 zeigt die ursprüngliche Wahl örtlicher Bereiche deren Histogramme das relevante Histogramm des Bildes bilden;
Fig. 10 zeigt das relevante Histogramm für Fig. 9;
Fig. 11 zeigt die geänderte Wahl örtlicher Bereiche, deren Histogramme das geänderte relevante Histogramm für das Bild bilden;
Fig. 12 zeigt das relevante Histogramm von Fig. 11;
Fig. 13 zeigt die TRC-Kurve, die für die Wiedergabe des Bildes abgeleitet ist;
Fig. 14 zeigt das Bildhistogramm nach der Verarbeitung des Bildes unter Verwendung der örtlichen Bereiche in Fig. 9;
Fig. 15 zeigt das Bildhistogramm nach Verarbeitung unter Verwendung der örtlichen Bereiche von Fig. 11;
Fig. 16 und 17 zeigen zusammen ein Flußdiagramm des erfindungsgemäßen Verfahren.
Es wird nun auf die Zeichnungen Bezug genommen, in denen die Darstellungen nur dazu dienen, die Ausführungsform der Erfindung zu beschreiben, und nicht, um diese einzuschränken, wobei in Fig. 1 ein Abtast-zum-Drucken-System dargestellt ist, bei dem die Erfindung vorteilhaft Einsatz finden kann.
Fig. 1 zeigt einen Scanner 10, der ein üblicher Schwarz/Weiß- oder Farb-Scanner sein kann, der Bildsignale erzeugt, die entweder im RGB-Raum für Farbbilder oder im Dichteraum für Schwarz/Weiß-Bilder definiert sind. Diese betreffenden Bilder sind Naturbilder, d. h. sie stellen Naturszenen dar. Während manche mit dem Rechner erzeugte Bilder sich als Naturszenen darstellend qualifizieren können, sind die in Betracht gezogenen Bilder vorherrschend abgetastete Fotografien. Die Bilder selbst sind in Form von Pixeln definiert, wobei jedes Pixel einen Grauwert hat, der zwischen einem Weißpegel und einem Schwarzpegel liegt. In einem gegenwärtig wünschenswerten System, in denen Berechnungen an acht Informationsbits ausgeführt werden können, sind für den Einsatz 256 Graupegel verfügbar. Pixel werden auch durch ihre Position identifiziert, d. h. ein Pixel bezeichnet einen einzigartigen Bereich innerhalb des Bildes, der durch seine Position in einer Abtastlinie und die Position der Abtastlinie in einer Seite identifiziert ist. Farbe wird daher durch Tripel aus grauen Pixeln für jedes Farbpixel im Bild dargestellt, wobei jedes Graupixeltripel die Farbe in jeder Trennung definiert, die zusammen das Farbpixel bilden.
Das Ausgangssignal des Scanners 10 kann einem automatisierten Bildverbesserungssystem zugeführt werden, das hier weiter beschrieben werden wird. Für unsere Zwecke kann das automatisierte Bildverbesserungssystem ein Segmentierungssystem enthalten, das innerhalb eines Dokuments einen Bildtyp identifizieren kann, einschließlich Bildbereichen und Nicht-Bildbereichen. Es wird angenommen, daß der Ausgang des automatisierten Bildverbesserungssystems, das hier beschrieben wird, einem Drucker, einer Kathodenstrahlröhre oder dgl. Vorrichtung zugeführt wird. Diese Vorrichtungen können viele Eigenschaften haben und können Laserdrucker, Tintenstrahldrucker oder LED-Anzeigen oder Kathodenstrahlröhrenschirme sein. Sie haben jedoch als ein gemeinsames Erfordernis die Darstellung von Graubildern. Dieses kann durch Graudrucken oder Pseudograudrucken ausgeführt werden.
Zur Ableitung von Daten für den Betrieb des vorliegenden Bildverbesserungssystems kann eine Vorabtastung eines Dokuments durchgeführt werden, das auf einer Kopierplatte liegt und durch das elektrooptische System des Scanners abgetastet wird, um ein Signal zu erzeugen, das das Dokumentenbild repräsentiert. Alternativ kann das Bild zu einem automatisierten Bildverbesserungssystem von einem Speicher zugeführt werden, wobei es zuvor abgetastet oder von irgendeinem anderen System abgeleitet worden ist, in welchem Falle das empfangene Bild nach Bedarf abgetastet wird. Ohne Zweifel erkennt man, daß das automatisierte Bildverbesserungssystem an einem PC oder einer Workstation ausgeführt werden könnte, die in geeigneter Weise programmiert ist, um in Übereinstimmung mit dem zu beschreibenden Verfahren zu arbeiten.
Die Vorabtastung wird unterabgetastet, d. h. das Bild muß nicht mit der endgültigen Auflösung des Systems für die Zwecke der Kontrastverbesserung abgetastet werden. In der Praxis ist ermittelt worden, daß eine relativ kleine Anzahl Pixel, die für das Bild repräsentativ sind und über das gesamte Bild verteilt sind, das Bild für diesen Zweck richtig repräsentieren. In unserer speziellen Ausführungsform benutzen wir einen Block Pixel, die aus dem Bild in etwa 512 Pixel man 512 Pixel abgeleitet sind. Der Primärzweck dieser Wahl ist es, die Geschwindigkeit zu verbessern, mit der ein Software-Bildverbesserungssystem die Bilder verarbeiten kann. Abtastung mit üblichen Bildauflösungen verbessert die Ergebnisse, die in dem hier beschriebenen erfindungsgemäßen Verfahren festgestellt werden, nicht bemerkenswert, vergrößert aber dramatisch die erforderliche Softwareverarbeitungszeit. Hardwareausführungen des beschriebenen erfindungsgemäßen Verfahrens können entscheiden, das Bild nicht unterabzutasten.
Allgemein kann das System, in dem die vorliegende Erfindung Verwendung findet, wie in fig. 1dargestellt werden, wobei Bilder natürlicher Szenen, ausgedrückt im RGB-Raum, zu Anfang einem Farbraumwandler 12 zugeleitet werden, der die RGB-Werte in einen ausgewählten Farbraum zur Verbesserungsverarbeitung umwandelt, wie man erkennen wird. Der Ausgang des Farbraumwandlers 12 wird durch die automatisierte Bildverbesserungsvorrichtung 14 verarbeitet, wie detaillierter beschrieben werden wird, der ein Signal erzeugt, das den TRC-Steuerer 16 einer Ausgabevorrichtung, wie beispielsweise einen Drucker 18, ansteuert. Der TRC-Steuerer 16 überträgt die verarbeiteten Daten zu einem wahlweise vorhandenen Ausgabepuffer 20 für die nachfolgende Übertragung zu einem Drucker 18 oder einer anderen Ausgabevorrichtung. Die Umsetzung der vorliegenden Erfindung verändert das TRC an einem Bild nach Bildbasis, wie vollständiger später beschrieben wird. Es ist klar, daß der TRC-Steuerer 16 getrennt oder integral mit dem TRC-Steuerer arbeiten kann, der üblicherweise dazu verwendet wird, den vorrichtungsunabhängigen Datenstrom auf die vorrichtungsabhängigen Daten einzustellen, die zum Drucken oder Anzeigen verwendet werden.
Betrachtet man sich nun bei jedem Prozeßschritt der umgesetzten automatischen Bildverbesserungsvorrichtung für den ersten Schritt die anfänglichen Farbbilddaten, die anfänglich vom Scanner 10 oder dgl. empfangen wurden, wird angenommen, daß sie zu Anfang im RGB-Raum liegen, d. g. im rot-grün-blauen Raum, und für den erfindungsgemäßen Prozeß zu Anfang in einem Farbraumwandler 12 in Luminanzraum (YC&sub1;C&sub2;) umgewandelt werden müssen. Es ist möglich, daß sich das Bild bereits im Luminanzraum befindet, weil es üblich ist, RGB-Werte in den Luminanz/Chrominanz-Raum für andere Bildverarbeitung umzuwandeln. Der YCiC&sub2;-Raum ist ein nützlicher Raum, in dem das erfindungsgemäße Verfahren ausgeführt werden kann, und der Xerox-YES-Raum ist eine mögliche Ausführungsform eines solchen Raumes. Welcher Raum auch immer benutzt wird, er muß eine Komponente haben, die sich auf die menschliche sichtbare Wahrnehmung von hell oder dunkel bezieht, wie beispielsweise Y von Xerox YES des "Xerox Color Encoding Standard", XNSS 289005, 1989. Nachfolgend wird die Erfindung unter Verwendung des Xerox-YES-Farbraums beschrieben.
Für die Beschreibung des Restes des erfindungsgemäßen Verfahrens wird auf das Bild von Fig. 2 Bezug genommen. Fig. 2 ist eine schwarz/weiße Strichzeichnunswiedergabe eines wirklichen Farbbildes mit acht Bit Graupixeln. Während Wiedergabeschwierigkeiten verlangen, daß das Originalbild durch eine Strichzeichnung für Zwecke dieser Anwendung dargestellt wird, sind die in den folgenden Zeichnungen gezeigten Daten für das wirkliche Bild.
Der nächste Schritt, der nun mit der automatisierten Bildverbesserungsvorrichtung 14 ausgeführt wird, besteht darin, das Bild in Form einiger Systemparameter zu messen. Bei der vorliegenden Ausführungsform wird ein Gesamthistogramm der Luminanz- oder Y-Komponente des Bildes abgeleitet. Das Histogramm in Fig. 3 ist eine Abbildung von Pixelpopulationen an jedem Luminanzwert, die im Bild möglich sind. Das Gesamthistogramm bezieht sich auf das gesamte Bild von Fig. 2. Wenn man in einem Multi-Bit-Raum arbeitet, wie beispielsweise in einem 8-Bit- Raum, findet man, daß die Luminanzwerte zwischen 0 und 255 verteilt sind.
Als nächstes wird zusätzlich zum Gesamthistogramm des gesamten Bildes und mit Bezugnahme auf Fig. 4 das Bild in einen Satz örtlicher Bereiche unterteilt, die nicht notwendigerweise gleiche Größe haben, oder in irgendeiner Weise geordnet, und von jedem örtlichen Bereich werden Histogramme abgeleitet. Es ist ermittelt worden, daß viele örtliche Histogramme für die Verarbeitung wünschenswert sind. Die Histogramme örtlicher Bereiche werden abgeleitet, weil der visuelle Kontrast kein Gesamtphänomen ist und daher örtliche Maßnahmen sowie Gesamtmaßnahmen ergriffen werden müssen. D. h., sowohl örtliche als auch Gesamtparameter eines Bildes beeinflussen die allgemeine Kontrastwahrnehmung. Außerdem gibt in einer großen Anzahl von Bildern die Örtlichkeit einen gewissen Hinweis auf die relative Bedeutung von Bildteilen. Zusätzlich ist bemerkt worden, daß große Hintergrundbereiche, die für die Kontrasteinstellung irrelevant sind, zu einer Abschrägung des Gesamthistogramms in einer Weise neigen, daß die Kontrasteinstellung schwierig wird. Der Einfluß dieser großen Hintergrundbereiche kann durch Verwendung örtlicher Histogramme zusätzlich zum Gesamthistogramm vermindert werdenn.
Der nächste Schritt im Verbesserungsverfahren vergleicht das Gesamthistogramm mit einem Bezugswert, im Beispiel mit einem flachen Histogramm. Ein flaches Histogramm, wie hier definiert, ist ein Bezugssignal, das eine gleichmäßige Anzahl von Pixelzählungen für jede Dichte oder Luminanz liefert, die innerhalb des Bildes möglich ist. Das Gesamthistogramm wird mit diesem flachen Histogramm verglichen, um ein Gesamtmaß des Kontrastes in Form einer Varianz zu ergeben. Die Varianz V wird durch die Gleichung ausgedrückt:
wobei "c" eine Umnormalisierungskonstante ist,
wobei H(i) die Histogrammfunktion des betreffenden Bildes repräsentiert;
R(i) das flache Histogramm oder den Bezugswert repräsentiert; und
i die spezielle 2-dimensionale Pixelposition im Bild mit n Pixeln repräsentiert.
Allgemein gesamt, in Bezug auf die Varianz ist das Histogramm um so flacher, je kleiner der Wert ist. Man wird zweifelsohne erkennen, daß das flache Histogrammsignal so aufgebaut sein kann, daß es nicht "flach" ist, sondern vielmehr einen erwünschten Bezugswert repräsentiert.
Die Fig. 5A, B, C, D bis 8A, B, C, D zeigen die örtlichen Histogramme., wobei das örtliche Histogrammlayout von Fig. 4 verwendet wird, wobei die Fig. 5A, B, C, D die erste Reihe Histogramme zeigen, die Fig. 6A, B, C, D die zweite, Fig. 7A, B, C, D die dritte und Fig. 8A, B, C, D die vierte Reihe zeigen. Ein Varianzwert in AU (wahlfreie Einheiten, wo nur die Beziehung zu den anderen Zahlen von Bedeutung ist) wird ebenfalls für jedes der örtlichen Histogramme ermittelt, die den Bildsegmenten entsprechen:
Der Varianzwert für das Gesamthistogramm hat einen Wert von 20,0 AU. Wie man aus dem Vergleich der Bildsegmente 2,1 und 1,3 ersehen kann, variieren die Varianzen der örtlichen Histogramme breit, sie liegen der Zahl nach zwischen 29 (örtliches Histogramm) und 447.
Als nächstes werden die Varianzwerte von Gesamthinstogramm und örtlichem Histogramm miteinander verglichen, wobei nach den gleichmäßigsten Histogrammen gesucht wird, was durch die kleinsten Varianzwerte bestimmt wird. Um dieses auszuführen, wird der Gesamtvarianzwert multipliziert mit einer Konstante α mit den örtlichen Histogrammwerten verglichen. Die Konstante α ist so gewählt, daß die zwei Varianzwerte gleich werden. Wenn der Gesamthistogrammwert über das gesamte Bild flacher als der örtliche Histrogrammwert ist, dann wird das Gesamthistogramm als das "relevante Histogramm" bezeichnet und wird bei der weiteren Verarbeitung verwendet. Wenn alternativ einer oder mehrere örtliche Varianzwerte kleiner sind als:
VL ≤ VG · TV
wobei VL die örtliche Varianz ist;
VG die Gesamtvarianz ist;
Tu der Varianzschwellenwert ist
dann werden die örtlichen Histogarmme verwendet, um das relevante Histogramm zu bilden, und in der nachfolgenden Verarbeitung benutzt. In dem in Fig. 10 gegebenen Beispiel war konstante Multiplikator zum Varianzschwellenwert als "2" gewählt, von dem sich erwiesen hat, daß er gute Ergebnisse für allgemeine Bilder liefert, was zu einer Gesamtvarianzzahl für den Vergleich von etwa 42 AU (2 · 20,9) führt. In Fig. 9 sind alle örtlichen Histogramme mit einer örtlichen Varianzzahl ≤ 42AU als relevante örtliche Histogramme markiert. Wie man durch Vergleichen der Fig. 10 und 4 sehen kann, werden große Teile des Hintergrunds (örtliche Histogramme (0,0), (0,1), usw.) als für das Bild nicht relevant betrachtet. Eine gewichtete Summe der relevanten örtlichen Histogramme wird dazu verwendet, das relevante Gesamthistogramm von Fig. 10 abzuleiten. In diesem Falle wurde der Einfachheit halber eine gleichförmige Gewichtung aller relevanter örtlicher Histogramme verwendet.
Es ist anzumerken, daß der Multiplikator'2' gerade eine Form zur Umsetzung der Unterscheidung zwischen relevanten und nicht-relevanten örtlichen Histogrammen war. Ein weiteres Verfahren besteht darin, eine feste Anzahl örtlicher Histogramme, die die geringsten Varianzen haben, auszuwählen. Ein noch anderes Verfahren besteht darin, eine gewichtete Summe aller örtlichen Histogramme zu verwenden, wo der Wichtungsfaktor mit zunehmender Varianz abnimmt. Bei einem noch anderen Verfahren werden örtliche Histogramme nur dann als relevant · betrachtet, wenn wenigstens eine vorbestimmte Anzahl T örtlicher Histogramme als relevante örtliche Histogramme bezeichnet sind, oder irgendeine Kombination der Verfahren.
Man kann aus dieser Tabelle entnehmen, daß die Information, wie sie durch das vorgeschriebene Verfahren ausgewählt wird, im Himmel liegt. Obgleich dieses für das spezielle Bild nicht richtig ist, spiegelt die Kombination relevanter Histogramme für die in Fig. 10 ausgewählten Bereiche den Dynamikbereich des Bildes als ganzen nicht genau wieder. Dieses Verfahren arbeitet gut in Bildbereichen, wo der Dynamikbereich klein ist.
In Übereinstimmung mit der Erfindung können die ausgewählten Bereiche bewertet werden, um sicherzustellen, daß sie den vollen Dynamikbereich des Bildes repräsentieren, indem andere Information aus dem gemeinsamen Kontext verwendet wird. Es ist notwendig, daß neu geschaffene Histogramm mit den Meßwerten zu vergleichen, die im Belichtungsanalysator genommen wurden (siehe beispielsweise US-A-5 414 538 an Eschbach). Zusätzliche örtliche Histogrammbereiche müssen zur Kontrastanalyse hinzugefügt werden, wenn ermittelt wird, daß die ausgewählten örtlichen Histogramme nicht den vollen Dynamikbereich des Bildes repräsentieren.
Ein geeigneteres Verfahren zum Auswählen des relevanten Histogramms wäre daher, örtliche Histogramme einzuschließen, die Bereiche wiedergeben, wo die schwarzen und weißen Punkte des Bildes liegen. Mit einem schwarzen Punkt und einem weißen Punkt sind die aktuell dunkelsten und/oder hellsten gemessenen Punkten innerhalb des Bildes gemeint, oder Werte, die als die dunkelsten/hellsten Punkte definiert werden können. Obgleich die erstgenannte Definition verwendet wird, ermöglicht die letztgenannte Definition die Einstellung dieser Parameter, wenn entweder über das spezielle Bild oder über die Art, wie das Bild digitalisiert wurde, mehr bekannt ist.
In dem beispielhaften Bild liegen der schwarze Punkt und der weiße Punkt in den Bereichen (0,3) und (3,0) mit örtlichen Varianzwertmessungen von 90 bzw. 380. Es sei angemerkt, daß die Wahl örtlicher Histogramme anfänglich diese Bereiche nicht einschloß. Fig. 12 zeigt die Histogrammwerte, die die modifizierte Bereichswahl verwenden, wo die hervorgehobenen Bereiche von Fig. 11 das relevante Histogramm werden. Um mit den vorgewählten Bereichen kompatibel zu sein, muß das Histogramm der neuen Bereiche ebenfalls gewichtet werden.
Die Verarbeitung des Bildes mit Einschluß des schwarzen Punktes und des weißen Punktes innerhalb der örtlichen Bereiche bietet eine bessere Darstellung des Dynamikbereiches des Bildes. Das verbesserte relevante Histogramm kann auch in dem gemeinsamen Kontext für weitere Verträglichkeitsprüfungen verwendet werden.
Das Verfahren setzt sich durch Filtern des relevanten Histogramms fort, um ein endgültiges modifiziertes Histogramm zu erhalten, das dann als der Eingang einer Standard-Histogrammausgleichsroutine verwendet wird. Auf diese Weise ist es möglich, die gewünschte Wirkung der Aufrechterhaltung der Histogrammeigenschaften zu erzielen, wobei gleichzeitig die Einfachheit der Standard-Histogrammausgleichsverarbeitung aufrechterhalten bleibt.
Dementsprechend kann die Histogrammkurve durch Verarbeitung derselben mit einer Funktion
H(i)β
verflacht werden, wobei β kleiner als 1 ist. In empirischen Versuchen ist ermittelt worden, daß β gleich 1/5 sein kann und wünschenswerte Ergebnisse liefert. Alternativ kann β vom Benutzer beeinflußt werden, d. h. der Benutzer betrachtet das Bild und variiert β so lange, bis ein zufriedenstellendes Ergebnis erzielt ist. Alternativ kann es möglich sein, β aus dem Bild oder durch eine vorbestimmte Funktion zu bestimmen.
Im allgemeinen könnten die am meisten abnehmenden, nicht linearen Funktionen des ursprünglichen Histogramms als Filteroperationen am relevanten Histogramm dienen. Das Hauptattribut der Filterfunktion ist es, die Variation des Histogramms zu vermindern, was zu einem endgültigen modifizierten Histogramm führt, das eine flachere oder ebenere Verteilung als die ursprünglichen Bilddaten hat. Dies kann man aus einem Vergleich des ursprünglichen Histogramms von Fig. 3 mit dem endgültigen modifizierten Histogramm von Fig. 5 erkennen. Es ist klar, daß das in Fig. 12 gezeigte Histogramm geringere Variationen als das in Fig. 3 gezeigte hat. Die Verflachung dieses modifizierten Histogramms von Fig. 12 kann unter Verwendung einer Standard-Histogrammausgleichsroutine erreicht werden, um die Tonwiedergabekurve oder das TRC für die Bildverbesserung zu berechnen. Das TRC, das aus dem Histogramm von Fig. 12 abgeleitet ist, wird von Fig. 13 angegeben. Die TRC-Kurve ist eine Funktion, die das Verhältnis des Eingangs zum Ausgang innerhalb eines Systems für Zwecke der Bildverbesserung zeigt. Die Funktion wird dann an dem vollen eingegeben Bild angewendet. Das in Fig. 13 gezeigte TRC würde ein Bild mit dem Histogramm von Fig. 12 in ein Bild transformieren, das ein flaches oder ausgeglichenes Histogramm hat. Bei der vorliegenden Erfindung wird TRC jedoch nicht verwendet, um das Bild nach Fig. 12 zu verarbeiten, sondern es wird dazu verwendet, das Bild entsprechend Fig. 3 zu verarbeiten. Fig. 15 zeigt das Histogramm des Ergebnisses der Modifikation der ursprünglich eingegebenen Bildes unter Verwendung des TRC von Fig. 13. Ein Vergleich von Fig. 15 (mit Schwarzpunkt-Weißpunkt-Analyse) mit dem Histogramm von Fig. 14 (ohne Schwarzpunk-Weißspunkt-Analyse) zeigt, daß Details in dunkleren Bereichen des Bildes aufrechterhalten werden können. In diesem speziellen Fall hatte die Verwendung des Weißpunktes wenig Einfluß.
Die Verwendung von Wurzelfunktionen wie der dritten, β = 0,33, vierten, β = 0,25 und fünften, β = 0,2 hat gute Leistung bei der Bildkontrastverbesserung gezeigt. Im allgemeinen kann gesagt werden, daß die zur Filterung des Histogramm verwendete Funktion einfach als Wurzelfunktion umgesetzt werden kann, wo β = 0 das endgültige modifizierte Histogramm verflacht und das resultierende TRC daher keine Verarbeitung an den Daten ausführt, d. h. keine Kontrastverbesserung und β = 0 keine Verarbeitung am endgültigen Histogramm ausführt, so daß das resultierende TRC das Bildhistogramm ausgleicht, d. h. eine starke Kontrastverbesserung.
Die ermittelte TRC-Funktion kann dann am Luminanzwert der Bilder angewendet werden, die im Luminanz-/Luminanzraum definiert sind, was akzeptable Ergebnisse liefert. Außerdem kann die gleiche TRC-Kurve jedoch auch an jedem der roten, grünen und blauen Bildbestandteile des Bildes, wie ursprünglich definiert, angewendet werden. Dieses scheint etwas bessere Ergebnisse zu liefern.
Betrachtet man den Prozeß nun anhand des in Fig. 16 gezeigten Flußdiagramms, werden im Schritt 400 r-, g-, b-Daten (rote, grüne und blaue Daten) von einer Quelle von Eingabedaten empfangen. Im Schritt 402 werden die Daten optional mit niedriger Auslösung abgetastet; im Schritt 404 werden die RGB-Daten in YC&sub2;C&sub2;-Daten umgewandelt. Im Schritt 404 beginnt eine Verzweigung zur Parallelverarbeitung des Gesamthistogramms und mehrerer örtlicher Histogramme. Im Schritt 406 wird das Gesamthistogramm für das Bild abgeleitet, und im Schritt 407 wird die Varianz VG für das Gesamthistogramm berechnet, während in den Schritten 410, 412 und 414 das Bild in N-Bereiche unterteilt wird, ein örtliches Histogramm wird für jeden Bereich abgeleitet, und die Varianz Vn wird für jedes örtliche Histogramm berechnet. Im Schritt 420, 422, 424 wird jede örtliche Varianz mit der Gesamtvarianz verglichen, die durch den Multiplikator α eingestellt ist, und wenn sie kleiner als die eingestellte Gesamtvarianz ist, dann wird das Histogramm n markiert. Das Verfahren fährt fort, bis jeder der N-Bereiche verarbeitet ist. Im Schritt 426 werden die markierten Histogramme überprüft, um sicherzustellen, daß wenigstens t örtliche Histogramme markiert sind. Falls nicht, wird im Schritt 428 das Gesamthistogramm für die weitere Verarbeitung aufgerufen. Sodann wird im Schritt 429 eine Subroutine begonnen, um die örtlichen Histogramme gegenüber dem Kontext anderer Verarbeitung zu prüfen.
In Übereinstimmung mit der Erfindung und wie in Fig. 17 gezeigt, wird im Schritt 500 Information erhalten, die sich auf den schwarzen Punkt und den weißen Punkt des Bildes bezieht. Während hier angenommen wird, daß man diese aus einem Belichtungssteuerabschnitt der Bildverarbeitung erhält, könnte sie auch unabhängig ausschließlich für diesen Prozeß abgeleitet werden. Im Schritt SO&sub2; werden die örtlichen Histogramme erhalten, die die Bereiche widerspiegeln, in denen jeweils der schwarze Punkt und der weiße Punkt liegen. Dann wird jedes geprüft, um zu ermitteln, ob es für die Kontrasteinstellung bereits ausgewählt worden ist, was in den Schritten 504 bzw. 508 stattfindet. Wenn nicht, werden die örtlichen Histogramme zwangsweise in den Schritten 506 ausgewählt, und die ausgewählten Größen werden zur Liste der ausgewählten örtlichen Histogramme für die weitere Verarbeitung am Schritt 512 rückgeführt.
Wenn wenigstens T Histogramme markiert sind, dann wird im Schritt 430 eine gewichtete Summe der markierten örtlichen Histogramme gebildet, um eine relevantes Histogramm zu erzeugen. Die Histogrammschwächungsfunktion wird am Histogramm im Schritt 432 angewendet, und aus der resultierenden endgültigen Histogrammfunktion wird eine neue TRC-Abbildung im Schritt 434 berechnet, von der das im Kontrast korrigierte Bild ausgedruckt oder angezeigt werden kann, wobei die korrigierte TRC-Absetzung im Schritt 436 verwendet wird.
Bei einer weiteren Ausführungsform wird der Varianzmultiplikator α von Schritt 420 in Fig. 15 zu einer Funktion der Gesamtvarianz Vg gemacht. Für niedrige Gesamtvarianzen wird der einfache Multiplikator, wie im Schritt 420 angegeben, verwendet. Hier hat sich ein Wert Vg < 50 = Vlow als eine gute Angabe einer niedrigen Gesamtvarianz erwiesen. Für moderate Gesamtvarianzen wird die Anzahl örtlicher Histogramme, die eine Varianz von weniger als αVlow, haben, bestimmt, und wenn diese Anzahl größer als wenigstens eine vorbestimmte Anzahl T örtlicher Histogramme ist, dann werden jene Histogramme als relevante Histogramme bezeichnet. Wenn die ermittelte Anzahl kleiner als T örtliche Histogramme ist, dann werden alle örtlichen Histogramme mit einer Varianz von weniger als αVmoderat als relevant angesehen. In diesem Falle wird die Histogrammschwächungsfunktion im Schritt 432 erhöht, d. h. es wird eine stärkere Schwächung durchgeführt. Hier hat sich ein Wert von 50 ≤ Vg ≤ 100 = Vmoderat als gute Angabe einer moderaten Gesamtvarianz erwiesen. Für hohe Gesamtvarianzen wird Vg > Vmoderat und die relevante örtliche Histogrammentscheidung erhöht, um den Fall abzudecken, bei dem weniger T örtliche Histogramme eine Varianz haben, die kleiner als αVmoderat ist. In diesem Falle wird die Histogrammschwächung weiter gesteigert. Es hat sich erwiesen, daß ein Histogrammschwächungsparameter von β = 0,2 bei Bildern gut arbeitet, die eine ausreichende Anzahl relevanter örtlicher Histogramme von weniger als αVlow haben; daß ein Parameter von β = 0,1 gut bei Bildern arbeiten, die eine ausreichende Anzahl relevanter örtlicher Histogramme haben, die kleiner als αVmoderat aber nicht Vlow sind; und daß β = 0,0 gut bei den übrigen Bildern arbeitet. Die Variation der Werte von β zeigt ein abnehmendes Vertrauen in die Wirksamkeit der Histogrammabflachung und dementsprechend eine Schwächung der Histogrammabflachungsfunktion bei steigender Varianz. An einem bestimmten Punkt mit ungewöhnlich großen Varianzen wird die Verflachung ausgeschaltet (β = 0,0).
Man wird zweifellos erkennen, daß die vorliegende Erfindung durch Anwendung von Software ausgeführt werden kann, die die beschriebenen Funktionen durchführt, um einen Digitalrechner oder Mikroprozessor durch eine Hardwareschaltung zu betreiben, die möglicherweise optimale Geschwindigkeit einrichtet oder durch eine Kombination aus Software und Hardware.
Man wird weiter zweifellos erkennen, daß der Fall β = 0,0 vermehrt werden kann, indem man für diese Fälle eine einfache Dehnung des Bilddynamikbereichs zuläßt.

Claims

1. Verfahren zum Verbessern des Kontrastes im Bild einer Naturszene (Fig. 2), das als ein Satz elektronischer Signale aufgezeichnet ist, enthaltend:

Versichern (400, 402, 404), daß wenigstens eine Komponente des ursprünglichen elektronischen Signals, das das Naturszenenbild bildet, mit einem Signal definiert wird, das die Intensität des Bildes beschreibt;

Ableiten (410, 412, 414) eines Satzes örtlicher Histogrammsignale, die jeweils die Population von Signalen an möglichen Intensitätspegeln innerhalb des Bildes für einen Bereich des Bildes beschreiben, aus der Intensitätskomponente der elektronischen Signale;

Auswählen eines Teilsatzes der örtlichen Histogrammsignale als einen Maximumdynamikbereich des Naturszenenbildes darstellend;

bereichsweises Bestimmen von Stellen des schwarzen Punktes (3,0) und des weißen Punktes (0,3) innerhalb der elektronischen Signale des Bildes, wobei der schwarze Punkt und der weiße Punkt jeweils die dunkelsten und hellsten Punkte innerhalb des Bildes sind;

Versichern, daß die Histogramme, die Bereiche darstellen, in denen der schwarze Punkt und der weiße Punkt erscheinen, Glieder des Teilsatzes örtlicher Histogrammsignale sind, und falls nicht, hinzufügen derselben dazu;

Kombinieren (430) des Teilsatzes örtlicher Histogramme mit einer ausgewählten Wichtungsfunktion, um ein relevantes Histogramm zu erzeugen;

Verarbeiten (432) des relevanten Histogrammsignals mit einem Filter, das die Eigenschaft hat, starke Spitzen und Tiefen im Signal zu verringern;

Verwenden des gefilterten Histogrammsignals, Ableiten (434) einer tonalen Abbildung (436) von Eingangssignalen, um Treibersignale abzugeben; und

für jedes elektronische Signal, das das Naturszenenbild bildet, Abbilden des elektronischen Signals in ein Ausgangstreibersignal unter Verwendung der abgeleiteten tonalen Abbildung.

2. Verfahren nach Anspruch 1, bei dem jedes ursprüngliche elektronische Signal in Form von Rot-Grün-Blau-Raum definiert ist und vorzugsweise in Luminanz-Chrominanz-Raum umgewandelt wird und das Signal, das die Intensität des Bildes beschreibt, das Luminanzsignal ist.

3. Verfahren nach Anspruch 1 oder 2, bei dem der Schritt des Ableitens einer tonalen Abbildung von Eingangssignalen zur Ausgabe von Treibersignalen den Schritt der Verwendung eines Standard-Histogramm-Ausgleichsalgorithmus an dem gefilterten Histogramm enthält.

4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der schwarze Punkt und der weiße Punkt jeweils die dunkelsten und hellsten Punkte sind, die in dem Bild gemessen werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, weiterhin enthaltend die Schritte:

Erzeugen eines globalen Histogrammsignals, das die Population von Intensitätssignalen als mögliche Intensitätspegel beschreibet, aus dem Intensitätssignal;

Vergleichen des globalen Histogrammsignals mit einem Bezugsflachstellensignal und Ableiten einer Globalabweichung aus dem Vergleich, das die Flachheit des Histogrammsignals darstellt;

Vergleichen jedes örtlichen Histogramms mit einem Bezugsflachstellensignal und Ableiten einer örtlichen Abweichung aus dem Vergleich, die die Flachheit des örtlichen Histogramms darstellt;

Vergleichen jeder örtlichen Abweichung mit der Globalabweichung;

Auswählen des Teilsatzes der örtlichen Histogrammsignale, die eine Abweichung von weniger als der Globalabweichungswert haben, und Erhalten eines relevanten Histogrammsignals; und

Verarbeiten des relevanten Hiostogrammsignals oder des globalen Histogrammsignals, wenn keine örtliche Abweichung geringer als die Globalabweichung war, mit dem Filter.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem der Schritt der Verarbeitung des Histogrammsignals mit dem Filter, das die Eigenschaft der Verminderung starker Spitzen und Täler in der Funktion hat, die die Funktion

H'(i) = {H(i)}1/N

gekennzeichnet ist, wobei H(i) die Histogrammfunktion für jedes Bildsignal i ist und N ein Wert größer als 2 ist.

7. Verfahren nach Anspruch 5, enthaltend den Schritt der Abtastung der elektronischen Rot-, Grün- und Blau-Bildsignale mit einer Auflösung, die geringer als die Auflösung der elektronischen Bildsignale vor dem Umwandeln der empfangenen, das Bild beschreibenden roten, grünen und blauen Signale in die Gesamtintensität des Bildes darstellenden Signale ist.

8. Verfahren nach einem der Ansprüche 5 bis 7, bei dem das globale Histogramm als das relevante Histogramm verwendet wird, wenn nicht wenigstens eine vorgegebene Anzahl örtlicher Histogramme einen Abweichungswert hat, der kleiner als der Globalabweichungswert ist.

9. Verfahren nach einem der Ansprüche 5 bis 8, bei dem die Globalabweichung unter Verwendung eines multiplikativen Einstellwertes eingestellt wird, was eine neue Globalabweichung ergibt, die bei dem Vergleich mit den örtlichen Abweichungen zu verwenden ist und wobei ggf. der multiplikative Einstellwertin Abhängigkeit von der Globalabweichung verändert wird.

10. Vorrichtung zum Verbessern des Kontrastes in einem Naturszenenbild, das als ein satz elektronischer Signale aufgezeichnet ist, enthaltend:

eine Einrichtung zum Versichern (400, 402, 404), daß wenigstens eine Komponente des ursprünglichen elektronischen Signals, das das Naturszenenbild bildet, mit einem Signal definiert wird, das die Intensität des Bildes beschreibt;

eine Einrichtung zum Ableiten (410, 412, 414) eines Satzes örtlicher Histogrammsignale, die jeweils die Population von Signalen an möglichen Intensitätspegeln innerhalb des Bildes für einen Bereich des Bildes beschreiben, aus der Intensitätskomponente der elektronischen Signale;

eine Einrichtung zum Auswählen eines Teilsatzes der örtlichen Histogrammsignale als einen Maximumdynamikbereich des Naturszenenbildes darstellend;

eine Einrichtung zum bereichsweisen Bestimmen von Stellen des schwarzen Punktes (3,0) und des weißen Punktes (0,3) innerhalb der elektronischen Signale des Bildes, wobei der schwarze Punkt und der weiße Punkt jeweils die dunkelsten und hellsten Punkte innerhalb des Bildes sind;

eine Einrichtung zum Versichern, daß die Histogramme, die Bereiche darstellen, in denen der schwarze Punkt und der weiße Punkt erscheinen, Glieder des Teilsatzes örtlicher Histogrammsignale sind, und falls nicht, hinzufügen derselben dazu;

eine Einrichtung zum Kombinieren (430) des Teilsatzes örtlicher Histogramme mit einer ausgewählten Wichtungsfunktion, um ein relevantes Histogramm zu erzeugen;

eine Filtereinrichtung (432), die die Eigenschaft hat, starke Spitzen und Tiefen im Signal zu verringern; zum Verarbeiten des relevanten Histogrammsignals;

eine Einrichtung zum Ableiten (434) einer tonalen Abbildung (436) von Eingangssignalen, um Treibersignale abzugeben, aus dem gefilterten Histgrammsignal; und

für jedes elektronische Signal, das das Naturszenenbild bildet, eine Einrichtung zum Abbilden des elektronischen Signals in ein Ausgangstreibersignal unter Verwendung der abgeleiteten tonalen Abbildung.