DE102014008686A1

DE102014008686A1 - Verfahren und Vorrichtung zur Farbinterpolation

Info

Publication number: DE102014008686A1
Application number: DE102014008686.0A
Authority: DE
Inventors: Jörg Kunze
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2014-06-13
Filing date: 2014-06-13
Publication date: 2015-12-31
Anticipated expiration: 2034-06-14
Also published as: DE102014008686B4; US20170186133A1; US9836818B2; WO2015189042A1

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Verarbeiten einer Bildinformation aus einem Bildsensor mit Mosaikfilter mit einer sich zweidimensional periodisch wiederholenden zweidimensionalen Filterbasis aus mehreren verschiedenen Farbkomponenten. Eine zweidimensionale lokale Umgebung mit vorbestimmter Bildpunktzahl wird aus zwischengespeicherten, durch das Mosaikfilter gefilterten Farbbilddaten aufgebaut, und es erfolgt eine Tiefpassfilterung (FC), wobei für jede der Farbkomponenten eine eigene, von der aktuellen Phasenlage der lokalen Umgebung bezüglich der periodischen Filterbasis abhängige Tiefpassfiltermaske auf die lokale Umgebung angewendet wird. Ferner werden alle Farbbilddaten der lokalen Umgebung mit einem Hochpassfilter (FH) mit vorbestimmter Filtermaske gefiltert und die erhaltenen hochpassgefilterten Farbbilddaten werden zu entsprechenden tiefpassgefilterten Farbbilddaten addiert.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Verarbeiten einer Bildinformation aus einem Bildsensor mit zweidimensionaler Bildpunktanordnung, insbesondere aus einer digitalen Industriekamera mit dem Bildsensor und einem Mosaikfilter.
Im industriellen Umfeld werden vielfach digitale Kameras eingesetzt, um z. B. Produktionsprozesse, Maschinen oder Objekte zu überwachen. Solche Industriekameras werden für einfache Überwachungsaufgaben und für messtechnische Aufgabenstellungen wie bspw. Qualitätskontrolle mittels Bildverarbeitung eingesetzt. Sie zeichnen sich durch ihre Integrierbarkeit in Anlagen und hohe Bildqualität aus.
1 zeigt eine beispielhafte Anwendung einer digitalen Industriekamera. Digitale Industriekameras 10 sind für den Einbau in eine industrielle Vorrichtung 23 bestimmt, als deren Bestandteil sie Bilder von Objekten 14, 15 oder bspw. Personen erfassen. Diese Bilder werden als Bilddaten 16 übermittelt, damit sie bewertet werden und/oder archiviert werden können. Die Bewertung erfolgt häufig automatisiert durch eine Bildverarbeitungseinrichtung 18. Im Ansprechen auf die Bewertungsergebnisse werden häufig automatisierte Aktionen ausgeführt, die im Kontext der Vorrichtung 23 stehen. So werden bspw. in ihrer Farbe unterscheidbare helle Objekte 14 und dunkle Objekte 15 automatisch anhand optischer Kriterien sortiert. Solche Sortierungen sind in verschiedensten Branchen gebräuchlich. Bspw. werden Lebensmittel, z. B. Getreidekörner nach dem Kriterium der Fleckenfreiheit sortiert, Erz- und Gesteinsbrocken anhand ihrer Farbe oder ihrer Helligkeit, Postsendungen anhand der auf ihnen angebrachten Adresse, Bremsscheiben und Dichtungsringe anhand der Einhaltung einer korrekten Form und dem Einhalten bestimmter Sollmaße oder leere Pfandflaschen anhand einer korrekten Form und des darauf aufgebrachten Barcodes. Solche Sortierungen dienen häufig der Qualitätsprüfung und -sicherung.
Solche industrielle Vorrichtungen 23 besitzen häufig Antriebskomponenten, die die Objekte 14, 15 zuführen, z. B. ein Förderband 11 mit einem Antriebsmotor 12 und einer Transportgeschwindigkeit 13. Die Kamera 10 nimmt an einer geeigneten Stelle mittels einer Optik 22, z. B. ein Objektiv, das Bild auf. Dabei kann die Kamera 10 als Flächenkamera, als Zeilenkamera oder als mehrzeilige Kamera ausgebildet sein, wie dies z. B. in EP 1 919 197 A2 beschrieben ist. Die Kamera übermittelt Bildsignale 16 des aufgenommenen Bilds an die Bildverarbeitungseinrichtung 18 (z. B. einen Computer (C)). Weiterhin kann der Bildverarbeitungseinrichtung 18 ggf. eine Information 17 über eine Transportgeschwindigkeit 13 des Förderbands 11 zugeführt werden, die z. B. mittels eines Drehgebers ermittelt werden kann. Dadurch kann die Bildverarbeitungseinrichtung einen geeigneten Zeitpunkt bestimmen, in dem ein Objekt einen Aktuator 19 passiert, bspw. ein Element mit zahlreichen steuerbaren Luftdüsen vorbei fällt, und kann diesem ein Steuersignal 24 zuführen, anhand dessen eine Aktion ausgeführt wird, die geeignet ist, das entsprechende Objekt einer Sortierung zuzuführen. Bspw. kann über das Steuern der Luftdüsen vorgegeben werden, ob das Objekt bei abgeschaltetem Luftstrom in einen ersten Behälter 20 fällt oder bei eingeschaltetem Luftstrom in einen zweiten Behälter 21 abgelenkt wird.
In einer solchen Anwendung ist es vorteilhaft, wenn die Kamera 10 das Bild möglichst schnell übermitteln kann, damit die Bildverarbeitungseinrichtung 18 möglichst schnell das Steuersignal 24 für den Aktuator 19 erzeugen kann und damit möglichst frühzeitig die gewünschte Steueraktion einleiten kann. Dadurch kann die Vorrichtung 23 schneller betrieben werden. In bestimmten Anwendungsfällen, insbesondere wenn sich die Objekte 14 und 15 auf dem Förderband 11 bewegen, z. B. rollen, kann eine höhere Genauigkeit oder Präzision erreicht werden oder andere Parameter können optimiert werden.
In anderen Anwendungsfällen kann auch das Aufnehmen und/oder die Dokumentation eines Sachverhalts von Interesse sein. So werden bspw. Bilder von Fahrzeugen aufgenommen, die sich im Straßenverkehr ordnungswidrig bewegen, z. B. beim Übertreten der Geschwindigkeit oder beim Überfahren roter Ampeln – wie bspw. in der DE 10 2010 003 039 A1 beschrieben ist. Bspw. werden auch beim Be- und Entladen von Fähren Bilder von Fahrzeugen aufgenommen, um bei Schadensersatzforderungen feststellen zu können, ob sich der Schaden auf der Fähre ereignet hat. Bei solchen Anwendungen ist es erforderlich, dass die Farbe der Objekte und bestimmter Sachverhalte, z. B. roter Ampeln, korrekt wiedergegeben wird. Weiterhin ist es wichtig, dass das Bild eine gute Qualität hat. Dies ist unter anderem der Fall, wenn die Objekte auf dem Bild gut erkannt werden können und bspw. Schrift, insbesondere solche mit schwarzen und weißen Kontrasten, scharf und gut lesbar wiedergegeben wird.
2 zeigt eine schematische Darstellung eines Aufbaus einer digitalen Kamera 10 mit einem Objektiv 22. Eine Bildszene 30 wird über das Objektiv 22 auf einen Bildsensor 31 abgebildet, welcher eine regelmäßige Anordnung lichtempfindlicher Elemente (Bildpunkte, Pixel) aufweist. Der Bildsensor 31 übermittelt elektronische Daten an eine zumeist in der Kamera 10 befindliche Recheneinheit 32, die bspw. einen Prozessor, einen digitalen Signalprozessor (DSP) oder ein sogenanntes Field Programmable Gate Array (FPGA) beinhaltet. Es kann dabei erforderlich sein, analoge Bilddaten in digitale Bilddaten z. B. mittels eines Analog-Digital-Konverters (AD-Wandler) zu konvertieren. In der Recheneinheit werden die Bilddaten in eine vom Nutzer verwendbare Form umgewandelt und anschließend über eine Schnittstelle (Interface) 33 als elektronisches Signal 34 ausgegeben.
Für die Leistungsfähigkeit einer digitalen (Industrie-)Kamera sind insbesondere die Geschwindigkeit und die Bildqualität von entscheidender Bedeutung. Letztere wird gemäß der Norm EMVA 1288 (www.emva.org) in der aktuellen Version 3.0 ermittelt. Weiterhin wird vom Anwender als wichtiges Kriterium für die Beurteilung der Bildqualität die subjektive menschliche Wahrnehmung des Bildes herangezogen.
Digitale Industriekameras werden in verschiedenen Branchen eingesetzt, z. B. Lebensmittelindustrie, Logistik, Transport, Automobilindustrie, Robotik und andere. Innerhalb dieser Branchen gibt es weiterhin viele verschiedene Anwendungen mit verschiedenen Anforderungen bspw. hinsichtlich der Größe des Bildsensors, der optischen Auflösung, die durch die Anzahl der Pixel gegeben ist, hinsichtlich der Wiederholungsgeschwindigkeit, die in Bildern pro Sekunde (fps) gemessen wird und hinsichtlich des Datenübertragungsformats, z. B. gemäß der Normen CameraLink, IEEE 1394, GigE Vision oder USB. Es gibt digitale Industriekameras, die hohe Datenraten erzielen, wie z. B. bei CameraLink bis zu 800 MByte pro Sekunde oder bei GigE Vision bis 100 MByte pro Sekunde. Um bei einer solchen Anforderungsvielfalt eine effiziente Produktion zu gewährleisten, werden solche Kameras oft modular aufgebaut, bspw. mit einem Sensormodul mit einem Bildsensor, einem Rechenmodul und einem Schnittstellenmodul mit einer Schnittstelle. Da das Rechenmodul viele verschiedene Sensormodule und Schnittstellenmodule adaptieren soll, ist es hilfreich, wenn es durch Software konfigurierbar ist, wodurch die Typenvielfalt der Rechenmodule und der damit verbundenen Entwicklungs- Fertigungs- und Logistikaufwand reduziert werden kann. Weiterhin ist es notwendig, zur Erzielung der hohen geforderten Datenraten einen hohen Datendurchsatz zu erreichen. Dabei wird das Rechenmodul häufig durch ein FPGA als zentrales Bauteil realisiert.
Die in einem mathematischen Bildverarbeitungsverfahren enthaltene Anzahl an Operationen sollte möglichst gering sein. Im Falle eines FPGAs führt dies zu einem geringen Verbrauch an Logikzellen, der vorteilhaft ist, um ein kostengünstiges FPGA einsetzen zu können oder mehr freie Logikzellen des FPGAs für andere Funktionen verfügbar zu machen. Im Falle eines DSPs oder eines anderen Prozessors bedeutet eine geringe Anzahl an Operationen, dass diese innerhalb einer gegebenen Zeitspanne auf eine größere Zahl von Pixeln angewandt werden können, wodurch eine Bildausgabe mit größerer Datenrate möglich ist. Durch eine geringere Anzahl an Bildverarbeitungsoperationen kann auch ein leistungsarmer und damit preiswerterer Prozessor eingesetzt werden und somit die Schaltungskomplexität verringert werden.
Als digitale Industriekameras werden sowohl einfarbige Monochromkameras als auch mehrfarbige Farbkameras eingesetzt. Die häufigste Methode zur Aufnahme von Farbbildern ist die Verwendung eines einzigen Bildsensors, auf den ein Mosaikfilter aufgebracht ist. Ein Mosaikfilter besteht aus einer zweidimensionalen Anordnung von Farbfiltern, welche den verschiedenen Pixeln verschiedene Empfindlichkeiten für verschiedene Farben verleihen. Die Anordnung wird meist so gewählt, dass eine Filterbasis zweidimensional periodisch wiederholt wird.
3a–d zeigen verschiedene Farbfilteranordnungen für Mosaikfilter mit einer sich zweidimensional wiederholdenden Filterbasen 40–43 der Größe 2×2 Bildpunkte.
Ein besonders häufig verwendete Anordnung für Mosaikfilter ist das sogenannte Bayer Pattern, welches aus der US 3971065 bekannt und in 3a gezeigt ist. Es besitzt eine Filterbasis 40 der Größe 2×2, welche periodisch wiederholt wird. Die Filter weisen die Farben Rot (R), Grün (G) und Blau (B) auf. Die Farbe Grün kommt doppelt so häufig vor, wie die Farbe Blau.
Für bestimmte Anwendungen kann es erforderlich sein, dass eine digitale Kamera neben den sichtbaren Farben, bspw. R, G und B auch die Farbe Infrarot (Ir) aufnimmt. Die Farbe Infrarot ist zwar für den Menschen nicht sichtbar, kann jedoch von Digitalkameras erfasst werden. Dies ist von großem Nutzen bspw. in der Lebensmittelindustrie, wo aufgrund der vierdimensionalen Rot-, Grün-, Blau- und Infrarot (RGBIr) Farbinformation schlechtes altes Obst sehr viel besser von frischem Obst unterschieden werden kann, als dies auf der Grundlage eines Rot-, Grün- und Blau-(RGB)Bildes der Fall wäre. In der Holzindustrie lassen sich mit RGBIr-Bildern Faulstellen von harzigen Stellen gleicher RGB-Farbe unterscheiden, von denen nur erstere die Tragfähigkeit eines Bretts oder eines Balkens beeinträchtigen.
3b zeigt einen Mosaikfilter mit den Farben R, G, B und Ir, welcher eine Filterbasis (41) der Größe 2×2 aufweist.
Ferner zeigt 3c einen Mosaikfilter mit den Farben Cyan (C), Magenta (M), Gelb (Y) und Infrarot (Ir), welcher ebenfalls eine Filterbasis (42) der Größe 2×2 besitzt.
Es sind auch weitere Mosaikfilter mit vier verschiedenen Farben und einer Filterbasis der Größe 2×2 möglich. So zeigt 3d bspw. einen Mosaikfilter mit den Farben R, G, B und Weiß (W). Die Farbe Weis wird manchmal auch als „Clear” bezeichnet.
Bei der Verwendung eines Mosaikfilters besteht in vielen Anwendungen die Notwendigkeit, aus den Rohdaten des Bildsensors, welche jeweils nur einen Farbwert pro Pixel aufweisen, ein Farbbild mit mehreren Farbwerten pro Pixel zu generieren. Diesen Vorgang bezeichnet man je nach der Art des Mosaikfilters als Demosaicing, Debayring oder Farbinterpolation. Dabei werden besonders häufig Bilder mit drei Farbwerten pro Pixel errechnet, z. B. RGB, welche sich als Farbbild auf Bildschirmen darstellen oder mit Druckern auf Papier ausdrucken lassen. Es kann jedoch auch zur Erfüllung technischer Aufgabenstellungen, bspw. zur Qualitätskontrolle, gewünscht sein, Farbbilder mit mehr als drei Farben, zu erstellen, bspw. mit den vier Farben R, G, B und Ir.
Hierbei können optional einzelnen Pixeln oder Bildbereichen andere Informationen als Farbinformationen zugeordnet werden. Bspw. kann ein dreifarbiges RGB-Bild mit einem vierfarbigen Mosaikfilter erzeugt wird, wobei den einzelnen Bildbereichen noch eine zusätzliche Tiefeninformation zugeordnet ist.
Eine qualitativ hochwertige Farbinterpolation zeichnet sich vor allem durch eine gute Farbwiedergabe im Ergebnisbild aus. Dafür ist vor allem wichtig, dass die Farben des abgebildeten Originals möglichst unverfälscht wiedergegeben werden. Bekannte Probleme treten hierbei vor allem bei hohen Raumfrequenzen vor, bspw. an Helligkeits- oder Farbkanten. Hierbei erweisen sich insbesondere Farbsäume und das Farbaliasing als problematisch.
Weiterhin sind Farbfehler mit einer Periode von jeweils zwei Pixeln bekannt, die als Reißverschlussartefakt (engl. zipper artifact, zippering effect) bezeichnet und vom Betrachter als störend empfunden werden.
Des Weiteren zeichnet sich eine hochwertige Farbinterpolation durch eine gute Strukturwiedergabe aus. Die Strukturwiedergabe ist für bestimmte Anwendungen dann gut, wenn sie originalgetreu ist, das heißt, wenn tiefe und vor allem auch hohe Raumfrequenzen originalgetreu wiedergegeben werden, bspw. beim automatisierten räumlichen Vermessen mit Subpixelgenauigkeit. In anderen Anwendungen wird die Strukturwiedergabe dann als besonders gut empfunden, wenn hohe Frequenzanteile betont wiedergegeben werden, wodurch das Bild besonders scharf erscheint, bspw. zum Auffinden kontrastschwacher Kanten. Bekannte Probleme hierbei sind eine mögliche Unschärfe sowie eine Blöckchenbildung (engl. blocking artefact), die bei minderwertigen Farbinterpolationsverfahren häufig mit der Größe 2×2 auftritt. Auch in der Struktur wird Rauschen als sehr negativ empfunden. Daneben gibt es einerseits bestimmte Anwendungen, in denen ein hohes Signal-Rausch-Verhältnis (SNR) vorliegt, so dass kein störendes Rauschen empfunden wird, während es gleichzeitig wichtig ist, dass auch feine Details sichtbar werden, bspw. bei der Kontrolle von Dünnfilmtransistorbildschirmen (TFT-Displays). Andererseits gibt es auch bestimmte Anwendungen, in denen feine Details von untergeordneter Bedeutung störend sind, während es sehr wichtig ist, dass das Rauschen des Bildes gering ist, bspw. zum Erzielen sparsamer Übertragungsbandbreiten komprimierter Bilder.
Weiterhin kann festgestellt werden, dass ein Bild einer guten Digitalkamera vor allem dann als qualitativ hochwertig empfunden wird, wenn es eine gute Signalqualität, insbesondere ein geringes Rauschen und damit ein hohes Signal-Rausch-Verhältnis (SNR) aufweist, und frei von Artefakten ist, die der menschliche Betrachter als störend empfindet oder die Computeralgorithmen in ihrer Funktion beeinträchtigen.
Typischer Weise werden Rohbilder progressiv aus Bildsensoren ausgelesen und ebenso progressiv übertragen. Aus Kostengründen ist es jedoch wünschenswert, den Speicherbedarf, die Bandbreite für den Speicherzugriff und den Rechenaufwand so klein wie möglich zu halten. Weiterhin ist es für die Anwendungen erforderlich, hohe Bildwiederholungsraten und damit verbundenen hohe Datenraten zu erzielen. In industriellen Anwendungen ist es häufig erforderlich, aufgenommene Bilder mit einer geringen zeitlichen Latenz auszugeben, damit schnelle Maschinen durch Bildverarbeitung gesteuert werden können.
Der Erfindung liegt die Aufgabe zugrunde, eine Kamera mit einem Bildsensor mit Mosaikfilter bereitzustellen, wobei durch Farbinterpolation ein qualitativ hochwertiges Farbbild mit geringer Latenz und hoher Bildschärfe unter Vermeidung von Rauschen und störenden Artefakten erzeugbar ist.
Diese Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung nach Anspruch 1, eine Digitalkamera nach Anspruch 10, ein Verfahren nach Anspruch 14 und ein Computerprogramm nach Anspruch 15.
Dementsprechend kann durch die erfindungsgemäße Lösung eine Bildverarbeitung auf Grundlage einer vorgegebenen lokalen Umgebung durchgeführt werden, wobei mittels binomial aufgebauten Tiefpassfiltern rauscharme Farbwerte gewonnen werden, die nur auf Bilddaten jeweils einer einzigen Farbkomponente aus der lokalen Umgebung angewendet werden. Dabei erfolgt die Zuordnung der Ergebnisse der Tiefpassfilter zu den Farbkomponenten in Abhängigkeit der örtlichen Phasenlage der lokalen Umgebung in Bezug auf die Farbverteilung des Mosaikfilters. Weiterhin wird aus der vorgegebenen lokalen Umgebung durch Hochpassfilterung der Farbbilddaten ein Strukturwert gewonnen. Das besondere an diesem Strukturwert ist, dass er nicht auf einer einzelnen Farbkomponente beruht, sondern unabhängig von der räumlichen Phase und ohne Rücksicht auf die Farbzuordnung der entsprechenden Rohbildweite angewendet wird. Die Addition einer gemeinsamen Hochfrequenzkomponente hat den Vorteil, dass hierdurch das als störend empfundene Buntrauschen nicht weiter ansteigt. Dadurch kann mit einfacher und kompakter Bildverarbeitung eine deutlich bessere Bildqualität erzielt werden.
Gemäß einer ersten vorteilhaften Weiterbildung weist die Vorrichtung eine Pipeline-Architektur auf, bei der die durch das Mosaikfilter gefilterten Bilddaten bildpunktweise basierend auf einem Taktsignal in einen Speicher eingelesen werden und die Verarbeitung der Bilddaten in der Tiefpasseinrichtung, der Hochpasseinrichtung und der Additionseinrichtung von einem Prozessor durchgeführt wird, der basierend auf dem Taktsignal regelmäßig Bilddaten für einen farbinterpolierten Ergebnisbildpunkt in Abhängigkeit des Taktsignals ausgibt. Da zur Implementierung häufig Field Programmable Gate Arrays (FPGAs) verwendet werden, ist eine Realisierung mit hoher Datenverarbeitungsgeschwindigkeit möglich.
Gemäß einer zweiten vorteilhaften Weiterbildung ist der Prozessor ausgestaltet, die Verarbeitung der Farbbilddaten so durchzuführen, dass Berechnungen in Bezug auf die lokale Umgebung horizontal und vertikal spiegelsymmetrisch und um 90° drehsymmetrisch sind. Die führt zu einer Vermeidung oder zumindest Verringerung störender Anisotropieeffekte.
Gemäß einer dritten vorteilhaften Weiterbildung ist die Rauschminderungseinrichtung so ausgestaltet, dass zur Erzielung der Rauschminderung eine nichtlinearen Funktion eingesetzt ist, die durch den Ursprung des zugehörigen Koordinatensystems verläuft und deren Steigung im Ursprung geringer ist, als an mindestens einer vom Ursprung entfernten Stelle. Als Beispiel kann die Funktion auch eine stückweise lineare Funktion sein.
Gemäß einer vierten vorteilhaften Weiterbildung sind die Filtermasken jeweils aus einer Matrix gebildet, wobei die Tiefpassfiltereinrichtung und die Hochpassfiltereinrichtung ausgestaltet sind, Datenwerte der Bildpunkte mit in der Matrix an entsprechender Stelle angegebenen Filterwerten zu multiplizieren, die erhaltenen Produkte aller Bildpunkte der lokalen Umgebung zu addieren und das Ergebnis mit einem der Matrix zugeordneten gemeinsamen Faktor zu multiplizieren. Dies ermöglicht eine einfache Anpassung der Bildverarbeitung an veränderte Umgebungsbedingungen oder sonstige Einflussparameter.
Gemäß einer fünften vorteilhaften Weiterbildung umfassen die Filterwerte der Matrizen der Filtermasken nur positive oder negative Zweierpotenzen und das Produkt aus der Summe aller Filterwerte und dem gemeinsamem Faktor ergibt den Wert Eins. Dadurch kann erreicht werden, dass die absolute Farbintensität auf Farbflächen durch die Filterwirkung nicht verändert wird.
Gemäß einer sechsten vorteilhaften Weiterbildung umfasst die Hochpassfiltereinrichtung eine Rauschminderungseinrichtung oder eine Bildschärfungseinrichtung oder beides, die jeweils mittels eines Einstellparameters steuerbar sind. Dadurch kann die Bildqualität weiter verbessert werden.
Gemäß einer siebten vorteilhaften Weiterbildung umfassen die Filterwerte der Matrix der Hochpassfiltereinrichtung nur positive und negative Zweierpotenzen und die Summe aller Filterwerte ist Null. Dies führt dazu, dass das gefilterte Bildsignal gleichanteilsfrei ist und die Hochpassfiltereinrichtung somit für sehr tiefe Frequenzen vollständig sperrt, wodurch Fehlfarben und Reisverschlussartefakte vermieden werden können. Die positiven und negativen Zweierpotenzen lassen sich bspw. in einem FPGA besonders ressourcensparend implementieren.
Nachfolgend wird die vorliegende Erfindung anhand_bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Zeichnungsfiguren näher erläutert. Es zeigen:
1 eine schematische Prinzipdarstellung einer beispielhaften Anwendung einer Industriekamera;
2 einen beispielhaften Aufbau einer digitalen Industriekamera;
3a bis 3d schematische Darstellungen verschiedener Mosaikfilter;
4 eine schematische Pipeline-Architektur für eine lokale Bildumgebung gemäß einem ersten Ausführungsbeispiel;
5 phasenabhängige Filtermasken zur Ermittlung einer niederfrequenter Buntinformation in verschiedenen Ausführungsbeispielen;
6 verschiedene Phasenlagen der Bilddaten in der lokalen Umgebung;
7 ein schematisches Blockschaltbild einer Tiefpassfiltereinrichtung zur Auswahl der Buntinformation gemäß einem zweiten Ausführungsbeispiel;
8 ein schematisches Blockschaltbild eines Bearbeitungsteils zur Addition des Hochfrequenzanteils in dem zweiten Ausführungsbeispiel;
9 ein schematisches Blockschaltbild eines Aufbaus einer Hochpassfilterstufe gemäß dem zweiten Ausführungsbeispiel;
10 verschiedene Filtermasken zur Herleitung des Aufbaus einer Hochpassfilterstufe;
11 eine Filtermaske zur Ermittlung eines Hochfrequenzanteils der Helligkeitsinformation in dem zweiten Ausführungsbeispiel; und
12a und 12b schematische Diagramme mit einer nichtlinearen Funktion bzw. einer stückweise linearen Funktion zur Rauschminderung.
Gemäß den nachfolgenden Ausführungsbeispielen wird eine mehrfarbige digitale Industriekamera mit modifizierter und dadurch effektiverer Bildverarbeitung beschrieben. Die Aufnahme von Farbbildern erfolgt unter Verwendung eines Mosaikfilters mit vorbestimmtem Muster.
4 zeigt eine schematische Pipeline-Architektur für eine lokale Bildumgebung gemäß einem ersten Ausführungsbeispiel. Hier wird im einzelnen vorgeschlagen, die Farbinterpolation mittels einer Pipeline-Architektur vorzunehmen. Diese Pipelinearchitektur lässt sich gut in FPGAs mit geringem Ressourcenaufwand implementieren. Da zahlreiche digitale Industriekameras über FPGAs verfügen, lässt sich somit das Verfahren ohne zusätzliche Bauteile und die damit verbundenen Kosten in bestehende und neue Modelle implementieren. Weiterhin lässt sich mit dieser Art der Implementierung eine hohe Datenrate und eine geringe Latenz erzielen.
Gemäß dieser Pipeline-Architektur werden basierend auf einem Takt regelmäßig Rohdatenpixel 50 aus einem Bildsensor (in 4 nicht gezeigt) als progressives Eingangssignal übergeben. Diese werden in einem kostengünstigen und kleinen Speicher (S) 51 vorübergehend gespeichert, bis Rohdatenpixel mehrerer aufeinanderfolgender Zeilen des Bildsensors vorliegen. Aus diesen Rohdatenpixeln wird eine lokale Umgebung 52 mit mittlerem Datenpixel 55 aufgebaut, die als Grundlage für eine rechnergestützte Bildverarbeitung in einem Bildverarbeitungsprozessor (bspw. eine mathematische Maschine, M) 53 dient. Der Bildverarbeitungsprozessor 53 gibt dann regelmäßig und taktabhängig ein farbinterpoliertes Ergebnisdatenpixel 54 aus.
Insbesondere bedeutet eine solche Implementierung einen bewussten Verzicht darauf, komplette Teilbilder, bspw. Bilder verschiedener Farben oder Helligkeits-, Struktur-, Kontrast- oder Rauschinformationen nacheinander zu berechnen. Denn dies würde zu einem erhöhten Speicherbedarf zur Zwischenspeicherung dieser Bilder und auch zu einer sehr viel höheren Latenz führen, so dass das Ergebnisdatenpixel 54 in diesem Fall sehr viel später vorliegt.
Des Weiteren wird vorgeschlagen, die Berechnung in dem Bildverarbeitungsprozessor 53 so durchzuführen, dass sie horizontal und vertikal spiegelsymmetrisch sowie drehsymmetrisch um 90° ist. Dadurch lassen sich störende Anisotropieeffekte vermeiden. Da die von dem Bildverarbeitungsprozessor 53 ausgeführte mathematische Berechnung als Eingangsdaten die entsprechende Umgebung 52 benötigt, sollte die Umgebung 52 vorzugsweise quadratisch gewählt werden.
Weiterhin wird vorgeschlagen, die Größe der Umgebung 52 vorzugsweise als ungerade Zahl, gemessen in Zeilen und Spalten, zu wählen. Bei dieser Wahl ergibt sich immer das mittlere Datenpixel 55 und somit liegt für die mittlere Bildpunktstelle der Umgebung 52 immer zumindest ein Helligkeitswert vor, für den das Ergebnisdatenpixel 54 berechnet wird. Dies vereinfacht das Auffinden eines geeigneten Berechnungsverfahrens für den Bildverarbeitungsprozessor 53.
Die Umgebung 52 kann vorzugsweise in einer Größe von 5×5 Pixel gewählt werden. Um nämlich in der Lage zu sein, das Buntrauschen jeweils für alle Farben zu reduzieren, ist es erforderlich, dass für jede Farbe jeweils mehr als ein Rohdatenpixel in der Umgebung 52 vorhanden ist. Unter Berücksichtigung des in 3b gezeigten Mosaikfilters ist eine Umgebung der Größe 5×5 die kleinste, diese Vorgabe erfüllende Umgebung mit einer ungeraden Zahl an Zeilen und Spalten. Jede größere Umgebung hingegen, z. B. 7×7 oder 9×9, benötigt eine größere Speicherkapazität und eine größere Band breite für den Speicherzugriff, was zu höherem Ressourcenbedarf führt.
Ferner wird gemäß dem ersten Ausführungsbeispiel vorgeschlagen, für die Farbinterpolation bspw. die Farbwerte der Farbkomponenten R, G, B und Ir zu verwenden. Dabei können diese Farbwerte vorzugsweise so ermittelt werden, dass hohe Frequenzen der Buntinformation unterrepräsentiert sind und somit die Buntinformation nur mit niedrigerer Frequenz vorliegt. Diese Vorgehensweise ist an die Physiologie des menschlichen Sehens angelehnt. Und zwar ist bekannt, dass in der Netzhaut des menschlichen Auges helligkeitsempfindliche Stäbchen mit sehr viel höherer Dichte auftreten, als die farbempfindlichen Zapfen. Somit ist die Abtastungsfrequenz des menschlichen Auges für Buntinformationen niedriger als für Helligkeitsinformationen.
Experimente mit verschiedenen Testpersonen haben gezeigt, dass die Testpersonen nicht in der Lage waren das Fehlen hoher bunter Raumfrequenzen zu bemerken, wohingegen die Testpersonen sehr sensibel auf das Fehlen hochfrequenten Helligkeitsinformationen reagiert haben. In anderen Experimenten wurde bereits ein gering erhöhtes Buntrauschen vom menschlichen Betrachter als deutlich störend empfunden. Andererseits konnte auch festgestellt werden, dass für das Bildqualitätsempfinden der Testpersonen die hohen Frequenzen der Helligkeitsinformation sehr wichtig waren. Dagegen wird das Entfernen hochfrequenter Buntinformation aus dem Bild von vielen Betrachtern als Steigerung der Bildqualität empfunden. Dies rührt daher, dass damit auch der hochfrequente Anteil des Buntrauschens aus dem Bild entfernt wird.
5 zeigt phasenabhängige Filtermasken (oder Filterkernels) zur Ermittlung einer niederfrequenten Buntformation in verschiedenen Ausführungsbeispielen.
Die Filtermasken werden bspw. als Faltungsoperatoren angewandt. Dabei wird der jeweilige Rohdatenwert der in der Filtermatrix gezeigten Stelle mit dem in der Filtermatrix angegebenen Wert multipliziert, die daraus erhaltenen Produkte werden addiert und mit dem in 5 vor der Filtermatrix angegebenen Wert (1/16, 1/8, bzw. 1/4) multipliziert. Die dafür erforderlichen mathematischen Operationen können natürlich auch in anderer Reihenfolge ausgeführt werden.
Die in 5 dargestellten Filtermatrizen F1, F2, F3 und F4 sind nur an vorbestimmten Pixelstellen der lokalen Umgebung besetzt und bieten damit den Vorteil, dass sie jeweils nur eine der vier Farbkomponenten des vorgeschalteten Mosaikfilters beeinflussen. Somit können Fehlfarben vermieden werden. Auch erfüllen die Filtermatrizen F1 bis F4 die oben genannten Symmetrieeigenschaften. Die Summe Ihrer Filterwerte beträgt unter Berücksichtigung der Multiplikation mit dem jeweiligen gemeinsamen Faktor jeweils Eins, sodass durch ihre Anwendung die absolute Farbintensität bei Farbflächen nicht verändert wird. Ferner weisen sie eine aufeinander abgestimmte Filtercharakteristik auf. Die enthaltenen ausschließlich positiven und negativen Zweierpotenzen lassen sich besonders ressourcenschonend in einem FPGA implementieren. Schließlich ist es möglich, die Rauschpropagation mittels der Gesetze der Fehlerfortpflanzung zu ermitteln und es zeigt sich, dass alle Filtermatrizen F1 bis F4 zu einer Verringerung des Rauschens führen. Dies ist auch dadurch zu erklären, dass durch die Filterwirkung das Rauschen hoher Frequenzkomponenten entfernt wird.
6 zeigt verschiedene Phasenlagen der Bilddaten in der lokalen Umgebung (z. B. Umgebung 52 in 4). Bei der fortlaufenden Anwendung der vorgeschlagenen Filtermatrizen auf die Rohdaten des Bildes liegen die Bilddaten jeweils in einer der vier in 6 gezeigten Phasenlagen 60, 61, 62 oder 63 vor. Dies führt dazu, dass die positiven Filterwerte oder Filterfaktoren der verschiedenen Filtermatrizen F1 bis F4 jeweils anderen Farbkomponenten zugordnet sind. In den vorliegenden Beispielen wird in der Phasenlage 60 das Ergebnis der Anwendung der Filtermatrix F1 der Farbkomponente G zugeordnet, das Ergebnis der Anwendung der Filtermatrix F2 der Farbkomponente B, das Ergebnis der Anwendung der Filtermatrix F3 der Farbkomponente R, und das Ergebnis der Anwendung der Filtermatrix F4 der Farbkomponente Ir. In der Phasenlage 61 wird dagegen das Ergebnis der Anwendung der Filtermatrix F1 der Farbkomponente R zugeordnet, das Ergebnis der Anwendung der Filtermatrix F2 der Farbkomponente Ir, das Ergebnis der Anwendung der Filtermatrix F3 der Farbkomponente G, und das Ergebnis der Anwendung der Filtermatrix F4 der Farbkomponente B. In der Phasenlage 62 wird nunmehr das Ergebnis der Anwendung der Filtermatrix F1 der Farbkomponente B zugeordnet, das Ergebnis der Anwendung der Filtermatrix F2 der Farbkomponente G, das Ergebnis der Anwendung der Filtermatrix F3 der Farbkomponente Ir, und das Ergebnis der Anwendung der Filtermatrix F4 der Farbkomponente R. Schließlich wird in der Phasenlage 63 das Ergebnis der Anwendung der Filtermatrix F1 der Farbkomponente Ir zugeordnet, das Ergebnis der Anwendung der Filtermatrix F2 der Farbkomponente R, das Ergebnis der Anwendung der Filtermatrix F3 der Farbkomponente B, und das Ergebnis der Anwendung der Filtermatrix F4 der Farbkomponente G.
7 zeigt ein schematisches Blockschaltbild einer Tiefpassfiltereinrichtung (FC) 71 zur Auswahl der Buntinformation gemäß einem zweiten Ausführungsbeispiel. Die in 7 gezeigte Tiefpassfiltereinrichtung 71 kann als diskrete Hardwareschaltung oder als Softwareprogramm zur Steuerung eins Bildverarbeitungsprozessors realisiert werden.
Aufgrund der in 6 gezeigten Phasenlagen wird in der Tiefpassfiltereinrichtung 71 gemäß dem zweiten Ausführungsbeispiel ein die Phasenlage angebendes Steuersignal P generiert, das zur Steuerung einer Auswahleinrichtung 70 dient, die das Ergebnis der Faltungsoperation mit den Filtermatrizen F1 bis F4 der jeweiligen Farbe R, G, B oder Ir nach Art eines Multiplexers oder selektiven Schalters zuordnet. Die Gewinnung des Steuersignals P kann durch Feststellung der aktuellen Phasenlage (bspw. durch Vergleich mit den verfügbaren Phasenlagen 60 bis 63 und deren charakteristischen Merkmalen) erfolgen, wobei diese Phasenlage dann als eine Zahl, eine Bitfolge oder ein Symbol kodiert werden kann. Abhängig von dem Steuersignal P kann dann bspw. mittels digitaler Operationen in der Auswahleinrichtung 70 eine Auswahl erfolgen. Es ist anzumerken, dass alternativ selbstverständlich auch eine der jeweiligen Farbkomponente entsprechende Filtermatrix in Abhängigkeit des Steuersignals P ausgewählt und unter Erhalt des Wertes für die entsprechende Farbe auf die Umgebung 52 angewendet werden kann. Durch diese Auswahleinrichtung 70 werden Werte für die vier Farben R, G, B und Ir erhalten. Entsprechend der niederfrequenten Gestaltung der Filtermatrizen F1, F2, F3 und F4 sind in den nach der Filteroperation erhaltenden Farbwerten vor allem niederfrequente Anteile gut repräsentiert, während die hochfrequenten Anteile bewusst weitgehend entfernt wurden. Der Vorgang dieser Auswahl und der Zuordnung kann auch als Farbauswahl bezeichnet werden.
8 zeigt ein schematisches Blockschaltbild einer Hochfrequenzfiltereinrichtung FH zur Addition eines Hochfrequenzanteils in dem zweiten Ausführungsbeispiel. In dem Blockschaltbild gemäß 8 entspricht der Block FC zumindest hinsichtlich seiner Wirkungsweise der in 7 gezeigten Tiefpassfiltereinrichtung 71.
Wie in 8 gezeigt, wird in der vorliegenden Ergänzung des zweiten Ausführungsbeispiels vorgeschlagen, den in den Ergebnisfarbdaten 80 bis 83 (z. B. R, G, B und Ir) am Ausgang der Tiefpassfiltereinrichtung FC fehlenden Hochfrequenzanteil 93 mit einer zusätzlichen Filtereinrichtung, nämlich einer Hochpassfiltereinrichtung FH, aus den Rohfarbbilddaten 92 der lokalen Umgebung zu ermitteln und mittels entsprechenden Addieren 84 bis 87 zur Buntinformation der Ergebnisfarbdaten 80 bis 83 hinzu zu addieren, um dadurch verbesserte Ausgangsfarbdaten 84 bis 87 zu erhalten. Dadurch wird ein Bild aus Farbdaten 88 bis 91 (z. B. R, G, B und Ir) erhalten, welches eine deutlich bessere Bildschärfe vermittelt.
Der Grund für die vorherige Unschärfe liegt darin, dass die Farbkomponenten der Farbkanäle aufgrund der geringeren Farbdichte im Mosaikfilter mit niedrigfrequenten Filtermatrizen ermittelt werden konnten, deren Tiefpasscharakter genutzt wurde, das Buntrauschen zu senken. Damit wirkt das Bild aus den von der Tiefpassfiltereinrichtung FC ermittelten Ergebnisfarbdaten 80 bis 83 tendenziell etwas unscharf aber eben auch rauscharm. Die Addition einer gemeinsamen Hochfrequenzkomponente 93 ist darin begründet, dass in Bildern die Farbinformationen auf kleinen Skalen, also mit hohen Raumfrequenzen gut korreliert sind. Die Addition der gemeinsamen Hochfrequenzkomponente 93 hat gegenüber der Verwendung individueller Hochfrequenzkomponenten für die jeweiligen Farbkomponenten den Vorteil, dass hierdurch das als störend empfundene Buntrauschen nicht weiter ansteigt, sondern allenfalls ein Graurauschen hinzu gefügt wird, das vom Betrachter als weniger störend empfunden wird.
9 zeigt ein schematisches Blockschaltbild eines Aufbaus einer Hochpassfilterstufe gemäß dem zweiten Ausführungsbeispiel.
In 9 wird eine beispielhafte Ausgestaltung der Hochpassfilterstufe FH aus 8 gezeigt. Dabei wird auf die Rohfarbbilddaten 92 der Umgebung zunächst ein Hochpassfilter H angewandt, dann eine Rauschminderung N und schließlich eine Schärfung S. Mittels des Hochpassfilters wird eine Hochfrequenzkomponente herausgefiltert, durch die Rauschminderung N wird deren Rauschen verringert und durch die Schärfung S wird die Bildschärfe erhöht.
Zur Realisierung der Rauschminderung N kann beispielsweise ein nicht-lokal arbeitender Algorithmus eingesetzt werden, z. B. der sogenannte Non-Local Means Algorithmus. Auch kann ein bilinearer Filteralgorithmus eingesetzt werden, bei dem das zu filternde Signal als Ausgang des Hochpassfilters H für jeden Pixel einer Umgebung vorliegen sollte. Weiterhin kann für eine bilineare Filterung für jede zu einem zentralen Pixel 55 gehörende Umgebung 52 eine nichtlineare Operation für jedes Signal des Hochpassfilters H für jeden Pixel der Umgebung ausgeführt werden. Soll beispielsweise eine Medianfilterung eingesetzt werden, so sollte wiederum das zu filternde Signal als Ausgang des Hochpassfilters H für jeden Pixel der Umgebung vorliegen, was ebenfalls eine zusätzliche Zwischenspeicherung erfordert.
Im Einzelnen kann zur Einstellung der Rauschminderung N ein Einstellparameter NV vorgesehen sein, und zur Einstellung der Schärfung S ein Einstellparameter SV. Dadurch kann der Qualitätseindruck des Ergebnisbildes durch Veränderung der Einstellparameter NV und SV individuell gesteuert und damit verbessert werden.
Durch den Einstellparameter NV kann bspw. die Rauschminderung N an den tatsächlich im Bild vorhandenen Rauschpegel angepasst werden, sodass einerseits eine zu geringe Rauschminderung vermieden werden kann, bei der nur Teile des Rauschens entfernt werden. Andererseits kann eine zu hohe Rauschminderung vermieden werden, bei der nicht nur Rauschen, sondern auch Texturinformation aus dem Bild entfernt und damit der Schärfeeindruck gemindert wird.
Der Wert für den Einstellparameter NV kann vom Anwender so eingestellt werden, dass das Bild für ihn besonders angenehm oder hochwertig erscheint. Weiterhin kann der Wert für den Einstellparameter NV auch auf Grundlage der Kenntnis der Stärke des Rauschens im Bild automatisiert gewählt werden. Dazu kann die Stärke des Rauschens aus dem Bild selbst oder aus aufeinander folgenden Bildern ermittelt werden. Weiterhin kann die Stärke des Rauschens aus den Eigenschaften der Kamera, z. B. Dunkelrauschen und Verstärkung, errechnet werden, bspw. unter Anwendung der Formeln aus der Norm EMVA 1288. Dabei ist sowohl das räumliche als auch das zeitliche Rauschen zu berücksichtigen. Da die Norm EMVA 1288 nur das Rauschen für jeweils einzelne Pixel angibt, ist die Fortpflanzung des Rauschens in der Hochfrequenzfiltereinrichtung FH mit zu berücksichtigen. Diese ergibt sich beispielsweise durch Anwendung der Gauß'schen Fehlerfortpflanzungsgesetzes auf das räumliche und das zeitliche Rauschen.
Da das Rauschen eines Pixels auch von dessen Helligkeit abhängt, kann es vorteilhaft sein, die Helligkeit des zentralen Pixels 55 oder eine mittlere Helligkeit seiner Umgebung in die Berechnung des Einstellparameters mit einbezogen werden. Hierzu können beispielsweise einzelne Farbwerte oder auch ein Mittelwert oder eine andere Kombination der durch FC ermittelten Farbwerte heran gezogen werden.
Durch den Einstellparameter SV kann die Schärfung S dem gewünschten Maße angepasst werden, so dass eine zu geringe Schärfung vermieden wird, bei der das Bild oder Teile des Bildes unscharf wirken. Andererseits kann eine zu hohe Schärfung vermieden werden, die zu einem unnatürlichen Bildeindruck führen kann.
Da es für die Anwendung bestimmter Bildverarbeitungsalgorithmen nachteilig ist, wenn eine Schärfung erfolgt, kann für solche Anwendungen der Einstellparameter SV auf einen neutralen Wert gesetzt werden, beispielsweise auf 1. Für Anwendungen, bei denen Bilder üblicherweise durch Menschen beurteilt werden, die zumeist stärkere Kontraste bevorzugen, kann der Einstellparameter SV auf einen festen höheren Wert gesetzt werden, beispielsweise 1,5 oder 2. Weiterhin kann der Einstellparameter in solchen Bildern, die generell einen hohen Anteil lokaler Kontraste aufweisen, niedriger gewählt werden, da ein weiteres Schärfen sehr kontrastreicher Bilder vom Betrachter oft als unangenehm empfunden wird, beispielweise in Bildern mit einem hohen Texturanteil. Andererseits kann der Einstellparameter für solche Bilder, die grundsätzlich geringe Kontraste oder eine geringe Schärfe aufweisen, höher gewählt werden, weil dies häufig vom Betrachter als angenehmer, brillianter oder qualitativ hochwertiger empfunden wird. Auch kann der Einstellparameter lokal angepasst werden, so dass solche Teile des Bildes, die eher unscharf sind, stärker geschärft werden, als solche Teile des Bildes, die eher scharf sind. Da insbesondere solche Bilder, die mit einem Objektiv mit kleiner Blendenzahl aufgenommen werden, eine geringe Schärfentiefe aufweisen, kann damit die wahrgenommene Schärfentiefe erhöht werden.
Selbstverständlich kann auf die Rauschminderung N auch verzichtet werden, wenn bspw. aufgrund des im Bild vorhandenen Rauschens keine Rauschminderung gewünscht ist. Ebenso kann auf die Schärfung verzichtet werden, wenn bspw. zur Erfüllung der Eingangsbedingungen nachgeschalteter Bildverarbeitungen keine Schärfung erwünscht ist.
Auch können Rauschminderung und Schärfung in ihrer Reihenfolge getauscht werden, wobei die vorgeschlagene Anordnung den Vorteil bietet, dass der Wert des Einstellparameters NV unabhängig vom Wert des Einstellparameters SV eingestellt werden kann.
10 zeigt verschiedene Filtermasken zur Herleitung des Aufbaus der Hochpassfilterstufe gemäß 8. Anzunehmende Randbedingungen bestehen aus den oben genannten Symmetriebedingungen, der Gleichanteilsfreiheit, da sonst Farbverfälschungen zu befürchten wären, Anpassung der Filterfrequenz an die Filtermatrizen F1, F2, F3 und F4 und Vermeidung von Reißverschlussartefakten.
Angenommen sind die Farbkomponenten C1, C2 und C3 der Pixel für die Phasenlage P, auf denen die Koeffizienten der Filtermatrizen F1, F2 und F3 jeweils ungleich null sind. Dann lässt sich durch Anwendung der Filtermasken Z1, Z2 und Z3 auf die Umgebung 52 gemäß 4 ein Farbwert für den mittleren Pixel 55 für die Farbkomponenten C1, C2 und C3 berechnen bzw. schätzen. Im Falle der Filtermaske Z1 erfolgt dies durch direktes Ablesen und bei den Filtermasken Z2 bzw. Z3 durch Berechnung des arithmetischen Mittels der vertikalen bzw. horizontalen Nachbarpixel mit entsprechender Farbkomponente. Durch Subtraktion der Filtermatrizen F1, F2 und F3 von den Filtermatrizen Z1, Z2 und Z3 können Hochpassfiltermatrizen H1, H2 und H3 errechnet werden, die jeweils gleichanteilsfrei sind und in ihrem Frequenzselektionsverhalten auf die Tiefpassfiltermasken F1, F2 und F3 abgestimmt sind. Werden nun die Hochpassfiltermasken H1, H2 und H3 addiert, so erhält man die Ausgestaltung der Hochpassfilterstufe FH gemäß 8.
Somit ergibt sich zur Ermittlung des Hochfrequenzanteiles der Helligkeitsinformation durch die Hochpassfilterstufe FH die in 11 gezeigte Filtermatrix. Sie erfüllt die oben genannten Symmetrieeigenschaften und weist eine auf die Filtermatrizen F1 bis F4 abgestimmte Frequenzcharakteristik auf. Insbesondere ergibt die Summe aller ihrer Filterwerte den Wert Null, sodass sie gleichanteilsfrei ist und somit für sehr tiefe Frequenzen vollständig sperrt, wodurch wiederum Fehlfarben vermieden werden. Sie enthält als Faktoren oder Filterwerte nur positive und negative Zweierpotenzen, die sich in einem FPGA besonders ressourcensparend implementieren lassen. Weiterhin können durch die Filtermatrix gemäß 11 Reißverschlussartefakte vermieden werden. Im Ergebnis führt die Verwendung der in 11 gezeigten Filtermatrix zu einer weiteren Verbesserung der Bildqualität.
12a und 12b zeigen schematische Diagramme mit einer allgemeinen nichtlinearen Funktion f (12a), die die in der Nähe des Ursprungs ein Minimum der Steigung aufweist, und einer stückweise linearen Funktion f (12b) zur Rauschminderung. Eine solche Funktion kann zur Realisierung der Rauschminderung N in 8 herangezogen werden, wobei das Eingangssignal In an der horizontalen Koordinatenachse und das Ausgangssignal Out an der vertikalen Koordinatenachse aufgetragen ist.
Dem Einsatz solcher nichtlinearen Funktion f liegt die Erkenntnis zugrunde, dass die Strukturwerte einem Rauschen mit einer gewissen Rauschamplitude unterliegen. Es ist daher vorteilhaft, innerhalb der Rauschamplitude liegende Werte auf solche Weise der Funktion f zu unterwerfen, dass sich das Rauschen verringert. Gemäß der Lehre der Fehlerfortpflanzung wird Rauschen, welches als Messfehler eines Pixels aufgefasst werden kann, durch eine Funktion f dann verringert, wenn die erste Ableitung dieser auf die rauschbehaftete Größe angewandten Funktion f betragsmäßig klein ist. Daher ist es vorteilhaft, die Steigung der Funktion f nahe am Ursprung, also betragsmäßig innerhalb der Rauschamplitude, betragsmäßig klein zu halten. Insbesondere ist es besonders vorteilhaft, wenn die Steigung der Funktion f nahe dem Ursprung und betragsmäßig innerhalb der Rauschamplitude Null und die Funktion f dort selbst auch Null ist, weil dann innerhalb der Rauschamplitude nach der Lehre der Fehlerfortpflanzung nach Anwendung der Funktion f kein Rauschen mehr übrig ist, weil dieses durch Anwendung der Funktion f aus dem Bild entfernt wird. Dabei wird billigend in Kauf genommen, dass Strukturen, die betragsmäßig unterhalb der Rauschamplitude liegen, ebenfalls aus dem Bild entfernt werden. Dies wird jedoch nicht als Nachteil gesehen, da solche Strukturen ohnehin eine geringe Sichtbarkeit aufweisen, denn sie gehen sozusagen im betragsmäßig größeren Rauschen unter. Solche Funktionen f werden auch Expansions- oder Expanderfunktionen bezeichnet.
Die nichtlineare Funktion f hat somit die Eigenschaften, dass sie stetig ist, durch den Ursprung des zugehörigen Koordinatensystems verläuft, überall konstant oder monoton steigend ist und dass die Steigung im Ursprung geringer ist, als an mindestens einer vom Ursprung entfernten Stelle. 11a zeigt beispielhaft eine solche Funktion. Eine Skalierung mit einem Parameter Th kann hier bspw. dadurch vorgenommen werden, dass die Funktion auf das Produkt der Eingangsgröße mit dem Parameter Th angewandt wird und der erhaltene Funktionswert mit 1/Th multipliziert wird.
12b zeigt eine stückweise lineare Funktion f, die innerhalb eines Intervalls von –Th bis Th den Wert Null annimmt und oberhalb und unterhalb die Steigung 1 aufweist. Dabei ist Th ein Schwellwert und es wird vorgeschlagen, diesen auf Grundlage des Wertes des Rauschminderungs-Einstellparameters NV einzustellen, z. B. durch Gleichsetzung. Diese stückweise lineare Funktion f hat den Vorteil, dass sie sich sehr ressourcensparend in einem FPGA implementieren lässt.
Eine mögliche Ausführung dieser Funktion f mit den vorgenannten Vorteilen lässt sich formulieren als f_thr(x) = x – thr, falls x > thr x + thr, falls x <- thr 0 sonst
Weiterhin wird vorgeschlagen, die Schärfung S dadurch vorzunehmen, dass der Eingangswert mit einem Wert multipliziert wird, der aufgrund des Wertes des Einstellparameters SV gewählt wird, bspw. durch Gleichsetzung.
Dadurch wird ermöglicht, eine Farbinterpolation von Rohbilddaten eines Mosaikfilters mit vier verschiedenen Farben und einer Filterbasis der Größe 2×2 qualitativ hochwertig mit geringem Ressourcenbedarf und geringer Latenz durchzuführen.
Die hier für die Werte R, G, B und Ir dargestellte Lehre kann auf andere Mosaikfilter, bei denen eine Filterbasis der Größe 2×2 zweidimensional periodisch wiederholt wird, direkt durch Substitution der Farben übertragen werden. Bspw. kann sie auch auf Filter mit den Farben R, G, B und W, mit den Farben R, G, B und E oder mit den Farben C, M, Y, Ir angewandt werden.
Es ist möglich, die vier erhaltenen Farbwerte gemeinsam auszugeben. Weiterhin ist es auch möglich, nur einen Teil der Farbwerte auszugeben, bspw. zum Erhalt eines RGB Farbbildes. Weiterhin ist es möglich, die erhaltenen Farbwerte in einen anderen Farbraum zu übertragen, bspw. in den YUV- oder YCrCb-Farbraum.
Grundsätzlich können die Überlegungen und technische Lösungen, die für ein FPGA entworfen sind, auch auf einen digitalen Signalprozessor (DSP) oder einen anderen Prozessor übertragen werden. Die Operationen können in einer Kamera, in einer Videobox, auf einem Frame-Grabber, oder einem Computer ausgeführt werden.
Vorzugsweise können auch Bedienelemente zur Einstellung der Werte der Parameter Th, NV, SV vorgesehen sein. Es ist weiterhin möglich, ein Computerprogramm vorzusehen, durch welches ein Benutzer den Wert von Th, NV, SV eingeben oder einstellen kann, z. B. mit Hilfe eines Eingabefeldes oder eines in Software ausgeführten Schiebe- oder eines Drehreglers.
Zahlreiche der in den Ausführungsbeispielen vorgeschlagenen Filter- oder Faltungsmatrizen weisen systematische Ähnlichkeiten auf. Da es im Allgemeinen ressourcensparender ist, einen Mittelwert aus zwei vorher ermittelten Werten zu berechnen, als eine Faltungsmatrix auf eine Umgebung anzuwenden, können solche systematischen Ähnlichkeiten ausgenützt werden, um den Rechen- und damit den Ressourcenaufwand weiter zu verringern.
Weiterhin lässt sich der Speicher- und Rechenaufwand beim progressiven Auslesen durch geschicktes Ausnutzen der zeitlichen und räumlichen Zusammenhänge verringern, so dass weitere Ressourceneinsparungen möglich sind. Werden die horizontalen Pixel von rechts nach links so übertragen, dass innerhalb der Übermittlung einer Zeile und unter Vernachlässigung der Probleme am Randbereich mit jedem Takt ein Pixel übermittelt wird, so rücken innerhalb der Umgebung die Werte mit jedem Takt eine Position nach links. Durch diese und zahlreiche andere Zusammenfassungen reduziert sich die Anzahl der durchzuführenden Rechenoperationen deutlich, wodurch zur Berechnung weniger Ressourcen eingesetzt werden müssen.
Die vorgeschlagenen Bildverarbeitungsprozesse sind auch in Kameras einsetzbar, in deren Recheneinheit als zentrales Bauteil kein FPGA sondern ein DSP verwendet wird. Die in den Ausführungsbeispielen für die Recheneinheit einer Kamera geschilderten mathematischen Bildverarbeitungsprozesse können für den Fall, dass aus der Kamera Rohdaten direkt übertragen werden, auch in einem Frame-Grabber oder in einem Prozessor eines Computers eingesetzt werden, insbesondere unter Verwendung einer die entsprechenden Prozessschritte steuernden Software, z. B. eines Treibers.
Ferner ist es dem Fachmann möglich, die hier dargelegte Lehre auf Kameras zu übertragen, deren Bildsensoren mit anderen Farbmustern ausgestattet sind, welche die Farbkomponenten R, G, B und Ir in einer anderen Anordnung oder mehr oder weniger oder andere Farbkomponenten als R, G, B und Ir aufweisen. Werden bspw. fünf oder mehr Farbkomponenten verwendet, so ist die hier dargelegte Lehre für R, G, B und Ir auf die verwendeten vier Farbkomponenten zu übertragen und dabei um eine weitere Farbkomponente zu erweitern.
Bei der Anwendung der hier genannten Lehre auf Mosaikfilter mit weißer Farbkomponente (W) wird empfohlen, die hochfrequenzgefilterte Bildinformation aus den Weißpixeln zu gewinnen, da die Farbe Weiss ein besonders günstiges Signal-Rausch-Verhältnis aufweist.
Bei der Anwendung der hier genannten Lehre auf Mosaikfilter, deren räumliche Periode einen Wert von zwei Pixel übersteigt, kann es erforderlich sein, eine größere lokale Umgebung als eine 5×5-Umgebung zu verwenden, damit sichergestellt sind, dass für jede Farbkomponente jeweils mehrere Pixel in der Umgebung vorhanden sind und auch die notwendigen Symmetrieeigenschaften eingehalten werden.
Die vorgestellten Lösungsalternativen gemäß den Ausführungsbeispielen können im Zusammenhang mit verschiedensten Bildaufnahmegeräten und Kameras mit Mosaikfiltern oder ähnlichen Filterstrukturen eingesetzt werden.
Zusammenfassend wurden eine Vorrichtung und ein Verfahren beschrieben zum Verarbeiten einer Bildinformation aus einem Bildsensor mit Mosaikfilter mit einer sich zweidimensional periodisch wiederholenden zweidimensionalen Filterbasis aus mehreren verschiedenen Farbkomponenten. Eine zweidimensionale lokale Umgebung mit vorbestimmter Bildpunktzahl wird aus zwischengespeicherten, durch das Mosaikfilter gefilterten Bilddaten aufgebaut, und es erfolgt eine Tiefpassfilterung (FC), wobei für jede der Farbkomponenten eine eigene, von der aktuellen Phasenlage der lokalen Umgebung bezüglich der periodischen Filterbasis abhängige Tiefpassfiltermaske auf die lokale Umgebung angewendet wird. Ferner werden alle Bilddaten der lokalen Umgebung mit einem Hochpassfilter (FH) mit vorbestimmter Filtermaske gefiltert und die erhaltenen hochpassgefilterten Bilddaten werden zu entsprechenden tiefpassgefilterten Bilddaten addiert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1919197 A2 [0004]
DE 102010003039 A1 [0006]
US 3971065 [0013]

Zitierte Nicht-Patentliteratur

Norm EMVA 1288 [0008]
Normen CameraLink, IEEE 1394 [0009]
Norm EMVA 1288 [0071]
Norm EMVA 1288 [0071]

Claims

Vorrichtung zum Verarbeiten einer Bildinformation aus einem Bildsensor (31) mit zweidimensionaler Bildpunktanordnung, wobei die Vorrichtung umfasst – ein dem Bildsensor (31) zugeordnetes Mosaikfilter, das eine sich zweidimensional periodisch wiederholende zweidimensionale Filterbasis (40) aus mehreren verschiedenen Farbkomponenten aufweist; – eine Speichereinrichtung (51) zum Speichern von durch das Mosaikfilter gefilterten Farbbilddaten und zum Aufbau einer zweidimensionalen lokalen Umgebung (52) mit vorbestimmter Bildpunktzahl; – eine Tiefpassfiltereinrichtung (FC) zum Tiefpassfiltern der Farbbilddaten der lokalen Umgebung (52), wobei für jede der Farbkomponenten eine eigene, von der aktuellen Phasenlage (60–63) der lokalen Umgebung (52) bezüglich der periodischen Filterbasis (40) abhängige Tiefpassfiltermaske (F1–F4) auf die lokale Umgebung (52) angewendet wird; – eine Hochpassfiltereinrichtung (FH) zum Hochpassfiltern der Farbbilddaten der lokalen Umgebung (52) mit einer vorbestimmten Hochpassfiltermaske; und – eine Additionseinrichtung (84–87) zum bildpunktweisen Addieren von Ausgangsbilddaten (93) der Hochpassfiltereinrichtung (FH) zu entsprechenden Ausgangsbilddaten (80–83) der Tiefpassfiltereinrichtung (FC).
Vorrichtung nach Anspruch 1, wobei die Vorrichtung eine Pipeline-Architektur aufweist, bei der die durch das Mosaikfilter gefilterten Farbbilddaten bildpunktweise basierend auf einem Taktsignal in den Speicher (51) eingelesen werden und die Verarbeitung der Farbbilddaten in der Tiefpasseinrichtung (FC), der Hochpasseinrichtung (FH) und der Additionseinrichtung (84–87) von einem Prozessor (53) durchgeführt wird, der basierend auf dem Taktsignal regelmäßig Farbbilddaten für einen farbinterpolierten Ergebnisbildpunkt in Abhängigkeit des Taktsignals ausgibt.
Vorrichtung nach Anspruch 2, wobei der Prozessor (53) ausgestaltet ist, die Verarbeitung der Farbbilddaten so durchzuführen, dass Berechnungen in Bezug auf die lokale Umgebung (52) horizontal und vertikal spiegelsymmetrisch und um 90° drehsymmetrisch sind.
Vorrichtung nach einem der vorgenannten Ansprüche, wobei die Hochpassfiltereinrichtung (FH) eine Rauschminderungseinrichtung (N) umfasst, die mittels eines Einstellparameters (NV) steuerbar ist.
Vorrichtung nach einem der vorgenannten Ansprüche, wobei die Farbkomponenten die Farben Rot, Grün, Blau und Infrarot umfassen.
Vorrichtung nach einem der vorgenannten Ansprüche, wobei die Filtermasken jeweils aus einer Matrix (F1–F4) gebildet sind, und wobei die Tiefpassfiltereinrichtung (FC) und die Hochpassfiltereinrichtung (FH) ausgestaltet sind, Datenwerte der Bildpunkte mit in der Matrix (F1–F4) an entsprechender Stelle angegebenen Filterwerten zu multiplizieren, die erhaltenen Produkte aller Bildpunkte der lokalen Umgebung (52) zu addieren und das Ergebnis mit einem der Matrix zugeordneten gemeinsamen Faktor zu multiplizieren.
Vorrichtung nach Anspruch 6, wobei die Filterwerte der Matrizen (F1–F4) der Filtermasken nur positive oder negative Zweierpotenzen umfassen und das Produkt aus der Summe aller Filterwerte und dem gemeinsamem Faktor den Wert Eins ergibt.
Vorrichtung nach einem der vorgenannten Ansprüche, wobei die Hochpassfiltereinrichtung (FH) eine Bildschärfungseinrichtung (S) umfasst, die mittels eines Einstellparameters (SV) steuerbar ist.
Vorrichtung nach Anspruch 6, wobei die Filterwerte der Matrix der Hochpassfiltereinrichtung (FH) nur positive und negative Zweierpotenzen umfassen und die Summe aller Filterwerte Null ist.
Vorrichtung nach Anspruch 4, wobei die Rauschminderungseinrichtung (N) ausgestaltet ist, zur Erzielung der Rauschminderung eine nichtlinearen Funktion einzusetzen, die durch den Ursprung des zugehörigen Koordinatensystems verläuft und deren Steigung im Ursprung geringer ist, als an mindestens einer vom Ursprung entfernten Stelle.
Vorrichtung nach Anspruch 10, wobei die Funktion eine stückweise lineare Funktion ist.
Digitalkamera mit einer Vorrichtung nach einem der Ansprüche 1 bis 11.
Vorrichtung nach einem der Ansprüche 1 bis 11, ausgestaltet zum Anschießen an eine den Bildsensor (31) aufweisende digitale Kamera.
Verfahren zum Verarbeiten einer Bildinformation aus einem Bildsensor (31) mit zweidimensionaler Bildpunktanordnung, wobei das Verfahren umfasst – Filtern der aus dem Bildsensor gewonnenen Bildinformation mittels eines Mosaikfilters, das eine sich zweidimensional periodisch wiederholende zweidimensionale Filterbasis (40) aus mehreren verschiedenen Farbkomponenten aufweist; – Aufbauen einer zweidimensionalen lokalen Umgebung (52) mit vorbestimmter Bildpunktzahl aus gespeicherten, durch das Mosaikfilter gefilterten Farbbilddaten; – Tiefpassfiltern der Farbbilddaten der lokalen Umgebung (52), wobei für jede der Farbkomponenten eine eigene, von der aktuellen Phasenlage (60–63) der lokalen Umgebung (52) bezüglich der periodischen Filterbasis (40) abhängige Tiefpassfiltermaske (F1–F4) auf die lokale Umgebung (52) angewendet wird; – Hochpassfiltern aller Farbbilddaten der lokalen Umgebung (52) mit einer vorbestimmten Hochpassfiltermaske; und – Addieren der hochpassgefilterten Farbbilddaten (93) zu entsprechenden tiefpassgefilterten Farbbilddaten (80–83).
Computerprogramm zum Speichern auf einem Datenträger und zum Veranlassen einer Computervorrichtung zum Ausführen des Bildverarbeitungsverfahrens nach Anspruch 14, wenn das Computerprogramm auf der Computervorrichtung ausgeführt wird.