DE19502640C1 - Verfahren zur Erzeugung eines Fusionsbildes aus mehreren Eingangsbildern - Google Patents

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff des Anspruchs 1. Ein solches Verfahren ist durch die DE 29 42 181 A1 bekannt.

Die Fähigkeit, in Dunkelheit und Nebel zu sehen, ist wichtig für viele zivile und militärische Anwendungen, zum Beispiel für Nachteinsätze von Hubschraubern in Bodennähe. Das Nacht-Sehen ist allerdings eine Schwäche des auf Tageslicht-Sehen spezialisierten menschlichen Sehapparats. Entsprechend dem Spektrum des Tageslichts ist die Empfindlichkeit des menschlichen Auges auf den schmalen Bereich zwischen 380-780 nm im elektromagnetischen Spektrum konzentriert. Zur Abdeckung weiterer Bereiche im elektromagnetischen Spektrum müssen geeignete technische Sensoren verwendet werden. Die wichtigsten sind als das lichtverstärkende "Low Light Level TV" (LLLTV) und als das wärmebilderzeugende "Forward Looking Infrared" (FLIR) bekannt. Zukünftig wird auch die Bedeutung bildgebender Laser- und Millimeterwellenradare zunehmen.

Zur Unterstützung des menschlichen Sehapparats werden die Signale der Sensoren auf Bildschirmen oder speziellen Brillen als sichtbare Bilder dargestellt.

Situationsbedingte Nachteile einzelner Sensoren lassen sich durch den gleichzeitigen Einsatz mehrerer komplementärer Sensoren kompensieren. Der Mensch ist allerdings nicht in der Lage, zuverlässig die wichtigsten Informationen aus einer Anzahl gleichzeitig präsentierter Bilder verschiedener Sensoren zu integrieren. Besser ist es daher, lediglich ein einziges Bild zu erzeugen, das die Nutzinformation aller Einzelsensoren vereinigt, d. h. aus mehreren Eingangsbildern muß ein Fusionsbild geschaffen werden.

In Fig. 3 ist ein mit bildgebenden Sensoren in einem ersten Spektralbereich gewonnenes Eingangsbild X¹ gezeigt, in dem bestimmte Details einer Szenerie besonders deutlich dargestellt sind. Ein weiteres Eingangsbild X² der selben Szenerie auf der Grundlage bildgebender Sensoren aus einem zweiten Spektralbereich gibt dagegen andere Einzelheiten deutlich wieder. Erst das aus den beiden Eingangsbildern X¹ und X² geschaffene Fusionsbild Y läßt sämtliche Details zufriedenstellend erkennen.

Ziel der Bildfusion ist ein Bild, das mehr Nutzinformation enthält als jedes Einzelbild. Dabei darf an keiner Stelle des Fusionsbildes ein Nutzinformationsverlust gegenüber einem Einzelbild auftreten. Einfache Methoden zur Fusion verschiedener Sensorbilder, wie die additive Mischung, haben sich in der Praxis als ungeeignet erwiesen, da aufgrund unterschiedlicher Kontrastpolaritäten partielle Bildauslöschungen auftreten können.

Sowohl die von M Sensoren gelieferten Eingangssignale als auch die erzeugten Ausgangssignale sind beliebige zweidimensionale Pixel-Bilder der gleichen Szenerie (zum Beispiel Intensitäts-, Entfernungs-, Multi-Spektralbilder). Vor der eigentlichen Fusion müssen die zu fusionierenden Bilder durch Rotation, Translation und Skalierung in einer ersten Stufe aneinander angeglichen werden (Bild- Registration), um die unterschiedlichen Geometrien der Sensoren zu kompensieren. Die M deckungsgleichen Bilder X₁¹ . . . X_M ^M, bestehend aus den Pixeln X^m = [x₁^m, x₂^m, . . . x_N ^m] werden in einer weiteren Verarbeitungsstufe zu einem gemeinsamen Bild Y = [y₁, y₂, . . . y_N] fusioniert. Die Bildfusion auf der Pixelebene für jedes Pixel i (i Position des Pixels) läßt sich beschreiben als:

y_i = a_i¹ x_i¹ + a_i² x_i² + . . . a_i ^M x_i ^M.

Die Fusionskoeffizienten a_i ^m können im einfachsten Fall konstant sein oder aber abhängig sein vom jeweiligen Bildinhalt:

a_i ^m = f (X¹, X², . . . X^M, i)

Entsprechend lassen sich die Fusionsverfahren einteilen in solche, die global konstante Abbildungen realisieren und solche, bei denen die Abbildung bildinhaltsabhängig also variabel vorgenommen wird. Letztere Verfahren sind vorteilhafter, da hier die Fusionsabbildung aus der jeweiligen lokalen Situation heraus so angepaßt werden kann, daß der Kontrast optimiert wird und dabei keine Auslöschung einzelner Details stattfindet.

Durch Gonzales, Wintz "Digital Image Processing", Addison Wesley, 1977, Seiten 306÷317 wird ein Bildfusionsverfahren beschrieben, das auf der Hauptachsentransformation beruht. Die Pixel der M zu fusionierenden Sensorbilder werden zu Vektoren zusammengefaßt. Die Komponenten jedes Vektors repräsentieren die unterschiedlichen Darstellungen der verschiedenen Sensoren. Da die einzelnen Komponenten mit jeweils der gleichen Stelle in der abzubildenden Szene korrespondieren, bestehen mehr oder weniger starke Korrelationen. Durch Eigenanalyse der aus allen Bildvektoren gebildeten M × M Kovarianzmatrix wird die wichtigste Hauptachse identifiziert. Die Hauptachse zeigt die Richtung der größten Varianz an. In anderen Worten ausgedrückt: wenn man den Vektorraum auf eine Dimension reduziert, ist die Hauptachse die Achse, bei der die meiste Varianz bzw. Information erhalten bleibt. Projiziert man die multidimensionalen Pixel auf diese Hauptachse, erhält man das Fusionsbild, bei dem im Mittel am meisten Information aus den Eingangsbildern erhalten bleibt.

Die Projektion stellt allerdings nichts anderes als eine lineare Abbildung der Form y_i = a_i¹ x_i¹ + . . . a_i ^M x_i ^M dar. Die Fusionskoeffizienten a_i ^m (m = 1 . . . M) sind unabhängig von der lokalen Pixelumgebung konstant für das ganze Bild. Pixel unterschiedlicher Intensität, die auf der gleichen Achse senkrecht zur Hauptachse liegen, werden dabei auf den gleichen Punkt der Hauptachse und damit auf die gleiche Ausgangsintensität abgebildet. Damit lassen sich diese Pixel nicht mehr voneinander trennen - es kommt zu Kontrastverlusten und zu partiellen Auslöschungen.

Um unterschiedlichen Detailauflösungen in den Bildern gerecht zu werden, wird gemäß P.J. Burt, R.J. Kolczynski "Enhanced Image Capture Through Fusion" Proceedings IEEE Conference Computer Vision Berlin 1993, Seiten 173 bis 182 ein Bildfusionsverfahren in verschiedenen Bildauflösungen durchgeführt. Dazu werden die einzelnen Sensorbilder mittels Tiefpaßfilterung in Hierarchien von immer gröber werdenden Auflösungen zerlegt (fein → grob). Durch Subtraktion aufeinanderfolgender Auflösungsstufen entsteht für jeden Sensor eine sogenannte Differenzbildpyramide. Auf jeder Ebene dieser Differenzbildpyramide wird die Fusion separat durchgeführt, so daß eine vereinigte Differenzbildpyramide entsteht. Das Fusionsbild wird durch sukzessive Addition aufeinanderfolgender Stufen der fusionierten Differenzbildpyramide gebildet. Zur Auswahl der Fusionsoperation wird dazu beim bekannten Verfahren ein spezielles Kontrastkriterium definiert. Wird an der betrachteten Stelle in den Teilbildern der gleiche Kontrast festgestellt, so werden die Pixel der beteiligten Sensoren addiert. Im Falle unterschiedlicher Kontrastpolaritäten wird dagegen das Pixel des Sensors mit dem größeren Kontrast selektiert.

Durch die Überlagerung mehrerer Bilder gleichen Inhalts, aber verschiedener Auflösungen entsteht bei der Pyramidenrekonstruktion ein leichter Unschärfe-Effekt, der als nachteilig empfunden werden kann, da scharfe Konturen weich gezeichnet werden und Bildpunkte verblassen und mit einem Halo-Effekt versehen werden. Außerdem läßt sich im fusionierten Bild die Herkunft des Bildpixels nicht mehr rekonstruieren, was weitere Interpretationen ausschließt (z. B. warm/kalt - hell/dunkel).

Gleiches gilt für das Verfahren gemäß A. Toet "Hierarchical Image Fusion", Machine Vision and Applications, 1990, Springer Verlag New York, 3 : 1-11.

Ohne auf Details einzugehen, wird in R. Tinkler "Enhanced Night Operation Effectiveness Utilizing Image Fusion", Report Defense Systems & Electronics Group, Texas Instruments über ein Verfahren zur Bildfusion berichtet, bei dem die Fusion auf der Basis des lokalen Kontrasts im Frequenzbereich durchgeführt wird.

Auch in einem in der DE 39 41 391 A1 angegebenen Verfahren werden mehrere bildgebende Sensoren eingesetzt. Vorgesehen ist dort eine globale additive bzw. subtraktive Überlagerung mit einer Darstellung in Fehlfarben. Einfache Bildfusionsoperationen wie die verwendeten globalen Summations- oder Subtraktionsoperationen können jedoch nicht befriedigend zwei hochaufgelöste Bilder derselben Szene zu einem Bild höherer Qualität fusionieren.

Die eingangs genannte DE 29 42 181 A1 beschreibt ein Verfahren zur Überlagerung von IR-Bildern in den Wellenlängenbereichen 4 µm und 10 µm. Schwerpunkt ist die Kombination des gering auflösenden 4 µm- Kanals mit dem hochauflösenden 10 µm-Kanal. Dabei werden die Signale der verschiedenen Kanäle separat mit speziellen Filtern aufbereitet werden. Mit der Filterung wird hier das Ziel verfolgt, jeden Kanal auf eine besondere Aufgabe zu trimmen. So dient der 4 µm-Kanal für die Beobachtung von Hotspots, und der 10 µm-Kanal wird zur Darstellung des detaillierten Bildes der Umgebung verwendet. Durch allgemeine Summen- bzw. Differenzenbildung werden die gefilterten Bilder überlagert. Die Bildfusion ergibt sich hier als die Darstellung der Ergebnisse zweier verschiedener Verfahren mit voneinander unabhängigen Ergebnisbildern in einem gemeinsamen Bild.

Der Erfindung liegt die Aufgabe zugrunde, ein Bildfusionsverfahren entsprechend dem Oberbegriff des Anspruchs 1 anzugeben, durch das die Bilder verschiedener Bildsensoren so zu einem einzigen Bild zusammengefaßt werden, daß das Fusionsbild gegenüber den Eingangsbildern einen höheren Nutzinformationsgehalt und weniger Störungen aufweist.

Diese Aufgabe wird gemäß der Erfindung durch die im Anspruch 1 gekennzeichneten Merkmale gelöst.

Im Unterschied zu den bekannten Verfahren wird hier ein trainierbarer Klassifikator eingesetzt, wodurch der Charakter des Fusionsbildes gezielt gesteuert werden kann und somit nicht dem Fusionsverfahren selbst überlassen bleibt. So kann z. B. das dem Menschen am natürlichsten erscheinende Eingangsbild als Basisbild gewählt werden, in das lediglich lokal interessante Details aus den anderen Eingangsbildern eingeblendet werden.

Vorteilhafte Ausbildungen des Verfahrens nach der Erfindung sind in den Ansprüchen 2 bis 5 gekennzeichnet.

Die Erfindung soll im folgenden anhand der Zeichnungen mit Ausführungsbeispielen erläutert werden. Es zeigen

Fig. 1 ein Prinzipblockbild entsprechend der Durchführung des Verfahrens nach der Erfindung und

Fig. 2 ein weiteres Blockbild für den Verfahrensablauf bei einer Kaskadierung mehrerer Fusionsblöcke zur Fusion dreier Eingangsbilder.

Fig. 3 ist bereits im Zusammenhang mit der Darlegung des Standes der Technik erläutert worden.

Gemäß Fig. 1 werden ausgehend von zwei durch Sensoren unterschiedlicher Spektralbereiche gewonnenen Eingangsbildern X¹ und X², von denen das Eingangsbild X¹ als Basisbild ausgewählt ist, zunächst auf Pixel-Ebene in einer Selektionsstufe BM spezifische Bildmerkmale ermittelt. Im Prinzip können alle denkbaren Bildmerkmale verwendet werden. Solche Bildmerkmale sind in P. Zamperoni "Methoden der digitalen Bildverarbeitung", F. Vieweg & Sohn Verlagsgesellschaft mbH Braunschweig, 1991, Seiten 83 bis 85, Seiten 88 bis 91 und Seiten 106 bis 110 definiert.

Ausgehend von diesen Bildmerkmalen, die aus den Eingangsbildern X¹, X² gewonnen werden, generiert ein Klassifikator NFF eine Fusionsmaske FM, die optimal die Art der Fusionsoperation bestimmt. Der Klassifikator NFF ist implementiert als ein lernfähiges Neuronales Netz, das die Transformation der Merkmale in die Fusionsmaske FM realisiert. Neben lokalen Kontrast- Merkmalen ist die Erkennung von Objekten und die Assoziation mit bereits bekannten Objekten zur Vervollständigung gestörter Bildobjekte für die Auswahl der optimalen Fusionsoperation von Bedeutung. Der Lernvorgang des Neuronalen Netzes erfolgt deshalb nach Fusionsmasken, die von einem Experten ausgewählt worden sind. Die Fusionsmaske ist im einfachsten Fall binär ausgelegt und kennzeichnet Bildteile, auf die die Fusion angewendet werden soll; sie kann aber auch in kodierter Form die Art der Fusionsoperation enthalten, falls mehrere Operationen zur Auswahl stehen. Ausgangspunkt des Trainings des Neuronalen Netzes, das in seinem Wirkvorgang gestrichelt in Fig. 1 angedeutet ist, ist eine von dem menschlichen Experten bearbeitete Bildfusionsmaske T, in der regionenweise auf der Ebene der Bildpixel die gewählte Fusionsoperation angegeben ist. Dem Neuronalen Netz werden somit eine Anzahl von Basis-Merkmalen zur Verfügung gestellt, die es dem Neuronalen Netz gestatten, eine optimale Fusionsmaske FM zu erzeugen. Dazu zählen Kontrastmerkmale in verschiedenem Umgebungskontext von global bis zu lokal. Außerdem werden lokale statistische Größen wie Mittelwert, Varianz, Skewness und Histogramme für verschieden große Bereiche gebildet. (Vgl. die vorher erwähnten Bildmerkmale, z. B.

Pixel-Intensität:

x_i ^m

Lokaler Mittelwert:

Lokale Varianz:

Histogramm-Merkmale:

m: Sensor
V: lokale Umgebung im Volumen V um Pixel x_i
N: Anzahl der Pixel im Volumen V

Lokaler Kontrast:

Ferner sind auch Detail-Merkmale wie "Busyness" und "Coarsness" sowie Kanten-Merkmale wie "Laplace-Operator" und "Gradient" zur Bildbeschreibung geeignet (siehe Zamperoni, a.a.O.)).

Formal läßt sich der Trainingsvorgang wie folgt beschreiben:
Die für jedes Bild-Pixel x₁^mc aller Sensoren extrahierten Merkmale bilden den Merkmalsvektor p_i für das Neuronale Netzwerk. Das durch die Abbildungsfunktion h (w, p) mit dem Parametervektor w beschriebene Neuronale Netz transformiert Pixel für Pixel die angelegten Merkmalsvektoren in Entscheidungsvektoren o. Die Komponenten o₁ . . . o_N des Entscheidungsvektors repräsentieren die Wahrscheinlichkeit für die anzuwendende Fusionsoperation y₁ . . . y_N. Ausgewählt wird die Funktionsoperation mit der maximalen Wahrscheinlichkeit.

Während des Trainings wird die vom Neuronalen Netz generierte Fusionsmaske FM verglichen mit der vom Experten vorgegebenen Fusionsmaske T. Ergeben sich Abweichungen, wird ein Fehlersignal gebildet, das zur Adaption der Netzwerkparameter w herangezogen wird. Für diese Anwendung sind speziell alle vorwärtsgerichteten Neuronalen Netze mit nichtlinearem Übertragungsverhalten geeignet, z. B. also Multi-Layer Perceptron, Radial-Basis Function Netzwerke oder Functional Link Netzwerke.

Die vom trainierten Neuronalen Netz als Klassifikator NFF automatisch gelieferte Fusionsmaske FM wird dann in einer Additionsstufe K mit dem Basis-Eingangsbild X¹ kombiniert. Die kombinierten Merkmale ergeben das gewünschte Fusionsbild Y.

Fig. 2 zeigt die Kaskadierung mehrerer Fusionsblöcke zur Fusion beliebig vieler, hier zum Beispiel dreier Eingangsbilder X¹ bis X³. Dabei wird zunächst eine erste Bildfusion BF1 gemäß dem Verfahren nach der Erfindung zwischen dem Basis-Eingangsbild X¹ und den aus dem zweiten Eingangsbild X² extrahierten Bildmerkmalen vorgenommen. Dem Ergebnis dieser ersten Bildfusion BF1 werden dann weitere, aus dem Eingangsbild X³ gewonnene Bildmerkmale mit einer zweiten, in gleicher Weise nach dem Verfahren nach der Erfindung arbeitenden Bildfusion BF2 überlagert. Das Ergebnis ist das gewünschte Fusionsbild Y.

Das Verfahren nach der Erfindung ist selbstverständlich auch für Farbbilder einsetzbar.

Claims (5)

1. Verfahren zur Erzeugung eines Fusionsbildes aus mehreren durch unterschiedliche bildgebende Sensoren aus der gleichen Ansicht gewonnenen und geometrisch angeglichenen Eingangsbildern durch elektronische Verknüpfung, dadurch gekennzeichnet, daß durch gemeinsame Auswertung lokal korrespondierender Pixelmerkmale der verschiedenen Eingangsbilder mittels eines trainierbaren Klassifikators pixelweise eine jeweils optimale Fusionsoperation gewählt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Klassifikator durch ein trainiertes Neuronales Netzwerk gebildet wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß das Training der Abbildungsfunktion des Neuronalen Netzwerks anhand von durch menschliche Experten ausgewählten Bildfusionsmasken nach Pixel spezifischen Bildmerkmalen erfolgt.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die Bildmerkmale als regionale Kontrastmerkmale bzw. Kantenmerkmale und/oder als lokale statistische Größen für verschieden große Bild-Bereiche zur Bildung der Abbildungsfunktion zur Verfügung gestellt werden.

5. Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, daß vorwärts gerichtete Neuronale Netzwerke mit nichtlinearem Übertragungsverhalten verwendet werden.