DE102015114009A1 - Method and device for processing interference pixels on a detector surface of an image detector - Google Patents
Method and device for processing interference pixels on a detector surface of an image detector Download PDFInfo
- Publication number
- DE102015114009A1 DE102015114009A1 DE102015114009.8A DE102015114009A DE102015114009A1 DE 102015114009 A1 DE102015114009 A1 DE 102015114009A1 DE 102015114009 A DE102015114009 A DE 102015114009A DE 102015114009 A1 DE102015114009 A1 DE 102015114009A1
- Authority
- DE
- Germany
- Prior art keywords
- detector
- pixels
- image
- pixel
- particular pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
- H04N25/21—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Es wird ein Verfahren zur Verarbeitung von Störpixeln (S) auf einer Detektorfläche (11) eines Bilddetektors (10) vorgeschlagen, welches folgende Schritte umfasst: Verschieben (101) eines mittels des Bilddetektors (10) aufgenommenen Bildes (B1) in Bezug auf die Detektorfläche (11) zum Detektieren von Störpixeln (S) auf der Detektorfläche (11), und Kompensieren (102) der Verschiebung bei einer Anzeige (21) des aufgenommenen Bildes (B2, B3) durch ein Anzeigegerät (20).A method is proposed for processing interference pixels (S) on a detector surface (11) of an image detector (10) comprising the following steps: shifting (101) an image (B1) recorded by the image detector (10) with respect to the detector surface (11) for detecting perturbation pixels (S) on the detector surface (11), and compensating (102) the shift in a display (21) of the picked-up image (B2, B3) by a display device (20).
Description
Die vorliegende Erfindung betrifft ein Verfahren und ein Computerprogrammprodukt zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors. Des Weiteren betrifft die vorliegende Erfindung eine Vorrichtung zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors sowie einen Flugkörper mit einer solchen Vorrichtung.The present invention relates to a method and a computer program product for processing interference pixels on a detector surface of an image detector. Furthermore, the present invention relates to a device for processing interference pixels on a detector surface of an image detector and a missile with such a device.
Das technische Gebiet der vorliegenden Erfindung betrifft die Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors. Ein solcher Bilddetektor ist insbesondere Teil einer Kamera, z.B. Teil einer Wärmebildkamera.The technical field of the present invention relates to the processing of interference pixels on a detector surface of an image detector. Such an image detector is in particular part of a camera, e.g. Part of a thermal imaging camera.
Moderne Wärmebildkameras nutzen häufig CMT (Cadmium-Mercury-Telluride, Cadmium-Quecksilber-Tellurid). CMT als solches ist giftig. Außerdem kann es sich als schwierig gestalten, die Kristallwachstumsrichtung einzuhalten, da sie im Wachstumsprozess spontan wechseln kann. Aufgrund eines sich daraus ergebenen aufwändigen Herstellungsverfahrens ist die Verwendung des Materials CMT teuer.Modern thermal imaging cameras often use CMT (Cadmium Mercury Telluride, Cadmium Mercury Telluride). CMT as such is poisonous. In addition, it may be difficult to maintain the crystal growth direction because it can change spontaneously in the growth process. Due to a resulting complex manufacturing process, the use of CMT material is expensive.
Des Weiteren neigt das Material CMT in Wärmebildkameras dazu, spontan Störpixel zu zeigen. Solche Störpixel weichen spontan von einer vorher in einem Abgleichvorgang, zum Beispiel in einem Non-Uniformity-Correction-Prozess, ermittelten Kennlinie ab und erscheinen im aufgenommenen Bild als helle oder dunkle Bildelemente, die keinen Bezug zum Bildinhalt des aufgenommenen Bildes haben. Ferner ist die Persistenz solcher Störpixel stark erratisch, sie kann einige Sekunden mit fester Frequenz betragen oder auch zufällig auftreten. Furthermore, the material CMT in thermal imaging cameras tends to show spontaneous noise. Such perturbing pixels deviate spontaneously from a characteristic previously determined in a trimming operation, for example in a non-uniformity correction process, and appear in the recorded image as light or dark picture elements which have no relation to the image content of the recorded image. Furthermore, the persistence of such perturbation pixels is highly erratic, it can be a few seconds at a fixed frequency or occur at random.
Beispielsweise bei der Verwendung von solchen Wärmebildkameras in Aufklärungsplattformen kann dies zu erheblichen Fehlinterpretationen führen, insbesondere dann, wenn die gesuchten Objekte klein und weit entfernt sind und damit als sogenannte Punktziele in einer sehr frühen Phase wahrgenommen werden. Es ist weiterhin überaus problematisch, wenn der Tracker der Aufklärungsplattform diesem Störpixel oder Fehlpixel folgt und auf dieses aufschaltet, so dass ein echtes Ziel dann nicht mehr verfolgt werden kann. For example, when using such thermal imaging cameras in reconnaissance platforms, this can lead to significant misinterpretations, especially when the searched objects are small and far away and are thus perceived as so-called point targets at a very early stage. It is also extremely problematic if the tracker of the reconnaissance platform follows this Störpixel or Fehlpixel and switches on this, so that a real goal can then no longer be tracked.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, die Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors zu verbessern.Against this background, an object of the present invention is to improve the processing of interference pixels on a detector surface of an image detector.
Gemäß einem ersten Aspekt wird ein Verfahren zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors vorgeschlagen. Das Verfahren umfasst folgende Schritte a) und b):
- a) Verschieben eines mittels des Bilddetektors aufgenommenen Bildes in Bezug auf die Detektorfläche zum Detektieren von Störpixeln auf der Detektorfläche, und
- b) Kompensieren der Verschiebung bei einer Anzeige des aufgenommenen Bildes durch ein Anzeigegerät.
- a) shifting an image recorded by means of the image detector with respect to the detector surface for detecting interference pixels on the detector surface, and
- b) compensating the shift in a display of the captured image by a display device.
Mittels Verschieben des aufgenommenen Bildes um einen definierten Weg und in eine definierte Richtung ist es möglich, Störpixel auf der Detektorfläche zu detektieren. Ein Störpixel behält vor und nach der Verschiebung ein Signal-Missverhältnis zu seiner direkten Umgebung, das heißt zu seinen benachbarten Pixeln, und wird dadurch von intakten Pixeln unterscheidbar. Ein detektiertes Störpixel kann vorteilhafterweise als solches deklariert und elektronisch bearbeitet werden. Insbesondere wird die Verschiebung gemäß Schritt a) wieder rückgängig gemacht, insbesondere durch ein Zurückverschieben.By moving the recorded image by a defined path and in a defined direction, it is possible to detect interference pixels on the detector surface. An interfering pixel, before and after the shift, maintains a signal mismatch with its immediate surroundings, that is, its neighboring pixels, and thereby becomes distinguishable from intact pixels. A detected interference pixel can advantageously be declared as such and processed electronically. In particular, the shift according to step a) is reversed again, in particular by a shift back.
Ferner ist es möglich, nach Verschwinden der Störung bei einem bestimmten Pixel, dieses als Störpixel wieder abzumelden und als funktionsbereites intaktes Pixel für das Gesamtbild wiederzuverwenden. Furthermore, it is possible, after the disappearance of the disturbance at a certain pixel, to deregister it as a disturbing pixel and to reuse it as a functioning intact pixel for the overall picture.
Vorzugsweise wird ein Signalwert eines bestimmten, als Störpixel detektierten Pixels durch einen Mittelwert oder durch einen Median von Signalwerten der zu dem bestimmten Pixel benachbarten Pixel ersetzt.Preferably, a signal value of a particular pixel detected as a clutter pixel is replaced by an average or by a median of signal values of the pixels adjacent to the particular pixel.
Detektierte Störpixel werden beispielsweise bei der Verwendung von Trackern farblich gekennzeichnet, zum Beispiel durch eine Signalfarbe, wie rot. Detected interference pixels are for example color-coded when using trackers, for example by a signal color, such as red.
Wird das gesamte Bild relativ zu der Detektorfläche beispielsweise mittels Piezoelementen oder Piezoeinrichtungen verschoben, so kann diese Verschiebung durch einen Betrachter, insbesondere durch einen menschlichen Betrachter, oder durch eine nachgelagerte technische Einrichtung, wie beispielsweise ein Anzeigegerät, erkennbar sein. Dies könnte insbesondere der menschliche Betrachter als verwirrend wahrnehmen. Daher wird diese Verschiebung für den Betrachter kompensiert und folglich unsichtbar gestaltet. Dazu wird in Schritt b) die im Bild sichtbare Verschiebung beispielsweise elektronisch kompensiert, etwa dadurch, dass die beiden äußersten Spalten rechts und links am Bildrand des Anzeigegeräts schwarz bleiben, um einen Puffer für die Verschiebung um ein Pixel in horizontaler Richtung zu schaffen. Es ist aber auch möglich, eine schwarze Zeile jeweils oben und unten am Bildrand des Anzeigegeräts vorzusehen, so dass auch in der Höhe verschoben werden kann. If the entire image is displaced relative to the detector surface, for example by means of piezoelectric elements or piezoelectric devices, this displacement can be recognized by a viewer, in particular by a human observer, or by a downstream technical device, such as a display device. This could be perceived by the human observer as confusing. Therefore, this shift is compensated for the viewer and thus made invisible. For this purpose, in step b) the visible shift in the image, for example, electronically compensated, such as the fact that the two outermost columns left and right of the screen edge of the display device remain black to provide a buffer for the shift by one pixel in the horizontal direction. But it is also possible to provide a black line each top and bottom of the screen of the display device, so that can be moved in height.
Es ist weiterhin möglich, mehr als eine Zeile oder Spalte zu schwärzen, um einen größeren Verschiebeweg bei einem potentiellen Vorhandensein einer Vielzahl von Störpixeln zu ermöglichen. Dabei ist es möglich, sowohl periodische Verschiebewege als auch zufällige oder quasi-zufällige Verschiebewege vorzusehen. Aufgrund des Vorsehens dieser schwarzen Zonen, gebildet durch schwarze Spalten und/oder Zeilen an der Anzeige des Anzeigegeräts, ist die Verschiebung kompensiert und der Betrachter, insbesondere der menschliche Betrachter, nimmt kein Zittern mehr wahr. It is also possible to blacken more than one row or column for a larger one To enable displacement in the event of a potential presence of a plurality of interference pixels. It is possible to provide both periodic displacement paths as well as random or quasi-random displacement paths. Due to the provision of these black zones, formed by black columns and / or lines on the display of the display device, the displacement is compensated and the viewer, in particular the human observer, no longer perceives shaking.
Der Bilddetektor ist insbesondere Teil einer Kamera, beispielsweise einer Wärmebildkamera, einer CCD-Kamera, einer LCD-Kamera, einer CMOS-Kamera oder dergleichen. Die den Bilddetektor aufweisende Kamera ist beispielsweise von außen stabilisiert. Alternativ oder zusätzlich weist die Kamera vorzugsweise eine Bildstabilisierung auf. Für das Beispiel der Wärmebildkamera ist der Bilddetektor ein Wärmebilddetektor, der beispielsweise als sogenanntes Focal-Plane-Array (FPA) realisiert ist. The image detector is in particular part of a camera, for example a thermal imaging camera, a CCD camera, an LCD camera, a CMOS camera or the like. The camera having the image detector is stabilized from the outside, for example. Alternatively or additionally, the camera preferably has an image stabilization. For the example of the thermal imaging camera, the image detector is a thermal image detector, which is realized for example as a so-called Focal Plane Array (FPA).
Das Anzeigegerät umfasst insbesondere einen Bildschirm. Der Bildschirm ist beispielsweise von der den Bilddetektor ausweisenden Kamera entkoppelt. Alternativ kann das Anzeigegerät auch Teil der Kamera sein. Des Weiteren ist das Anzeigegerät vorzugsweise mit einem Tracker zur Nachverfolgung von Zielen gekoppelt. The display device comprises in particular a screen. The screen is decoupled, for example, from the camera that identifies the image detector. Alternatively, the display device may also be part of the camera. Furthermore, the display device is preferably coupled to a tracker for tracking targets.
Das Bild kann auch als Pixel-Bild bezeichnet werden. Das Pixel kann auch als Bild, Bildzelle oder Bildelement bezeichnet werden. Das Störpixel kann auch als Fehlerpixel oder defektes Pixel bezeichnet werden.The image can also be referred to as a pixel image. The pixel may also be referred to as an image, picture cell or picture element. The interfering pixel may also be referred to as an error pixel or defective pixel.
Gemäß einer Ausführungsform weist der Bilddetektor einen auf der Detektorfläche angeordneten Detektor-Array mit einer Vielzahl von Detektorelementen zur Bereitstellung von Pixeln auf.According to one embodiment, the image detector has a detector array arranged on the detector surface with a multiplicity of detector elements for providing pixels.
Bei der Verschiebung des aufgenommenen Bildes in Bezug auf die Detektorfläche kann entweder das Bild verschoben werden oder die Detektorfläche kann verschoben werden oder beide, das Bild und die Detektorfläche, können relativ zueinander verschoben werden. Upon displacement of the picked-up image relative to the detector surface, either the image may be shifted or the detector surface may be shifted, or both, the image and the detector surface, may be displaced relative to one another.
Gemäß einer weiteren Ausführungsform umfasst der Schritt a):
Verschieben des Detektor-Arrays um einen vorbestimmten Verschiebeweg in eine vorbestimmte Richtung.According to another embodiment, step a) comprises:
Moving the detector array by a predetermined displacement in a predetermined direction.
Insbesondere wird der Detektor-Array anschließend um den vorbestimmten Verschiebeweg in die entgegengesetzte Richtung zu der vorbestimmten Richtung zurückverschoben. In particular, the detector array is then shifted back by the predetermined displacement in the opposite direction to the predetermined direction.
Gemäß einer weiteren Ausführungsform entspricht der vorbestimmte Verschiebeweg einer bestimmten Pixel-Anzahl von Pixeln. According to another embodiment, the predetermined displacement corresponds to a certain pixel number of pixels.
Gemäß einer weiteren Ausführungsform wird der Detektor-Array mittels Piezoelementen verschoben. Die Piezoelemente können die Verschiebung vorteilhafterweise innerhalb von Millisekunden bewirken. Die Piezoelemente sind vorzugsweise dazu eingerichtet, zur Bewerkstelligung der Relativverschiebung zwischen dem Bild und der Detektorfläche zumindest einen Spiegel der Kamera, zumindest eine Linse der Kamera und/oder die Detektorfläche zu verschieben.According to a further embodiment, the detector array is moved by means of piezo elements. The piezoelectric elements can advantageously effect the displacement within milliseconds. The piezoelectric elements are preferably configured to displace at least one mirror of the camera, at least one lens of the camera and / or the detector surface in order to effect the relative displacement between the image and the detector surface.
Die Piezoelemente können beispielsweise Teil einer Bildstabilisierung der Kamera sein, welche den Bilddetektor umfasst. Die Bildstabilisierung mittels Piezoelementen kann das gesamte Detektor-Array beispielsweise um ein oder zwei Pixel in der Höhe und/oder in der Breite verschieben. By way of example, the piezoelements can be part of an image stabilization of the camera, which comprises the image detector. The image stabilization by means of piezoelectric elements can shift the entire detector array, for example, by one or two pixels in height and / or width.
Gemäß einer weiteren Ausführungsform wird der Detektor-Array mittels elektromagnetischer Elemente verschoben.According to a further embodiment, the detector array is displaced by means of electromagnetic elements.
Gemäß einer weiteren Ausführungsform wird zum Verschieben des Detektor-Arrays jedem Detektorelement des Detektor-Arrays genau ein Piezoelement zugeordnet.According to a further embodiment, exactly one piezoelement is assigned to each detector element of the detector array for moving the detector array.
Gemäß einer weiteren Ausführungsform wird ein bestimmtes Pixel als Störpixel detektiert, wenn das bestimmte Pixel sowohl vor dem Verschieben als auch nach dem Verschieben ein Signal-Missverhältnis zu seinen benachbarten Pixeln aufweist. Ein Pixel wird demnach als Störpixel detektiert und deklariert, wenn das Pixel vor dem Verschieben und nach dem Verschieben zumindest ein bestimmtes Signal-Missverhältnis zu den benachbarten Pixeln aufweist. Folglich ist das Signal-Missverhältnis des Pixels vor und nach dem Verschieben größer als ein vorbestimmter Schwellwert, um das Pixel als Störpixel zu detektieren. In accordance with another embodiment, a particular pixel is detected as a clutter pixel if the particular pixel has a signal mismatch with its neighboring pixels both prior to shifting and after shifting. Accordingly, a pixel is detected and declared as an interference pixel if the pixel has at least a certain signal mismatch with the neighboring pixels before being shifted and after being shifted. Thus, the signal mismatch of the pixel before and after the shift is greater than a predetermined threshold to detect the pixel as a jamming pixel.
Beispielsweise ist das bestimmte Pixel vor dem Verschieben schwarz und dessen Nachbarpixel sind weiß und das bestimmte Pixel ist auch nach dem Verschieben nach wie vor schwarz und die benachbarten Pixel bleiben weiß.For example, the particular pixel before being moved is black and its neighbor pixels are white, and the particular pixel is still black after being moved and the adjacent pixels remain white.
Gemäß einer weiteren Ausführungsform umfasst das Bestimmen des Signal-Missverhältnisses des bestimmten Pixels:
- – Berechnen eines Mittelwerts von Signalwerten der zu dem bestimmten Pixel benachbarten Pixeln,
- – Ermitteln eines aktuellen Signalwerts des bestimmten Pixels,
- – Festlegen des bestimmten Pixels als Störpixel, wenn der ermittelte aktuelle Signalwert des bestimmten Pixels größer als eine Summe aus dem berechneten Mittelwert und einem Schwellwert ist.
- Calculating an average of signal values of the pixels adjacent to the particular pixel,
- Determining a current signal value of the particular pixel,
- - determining the determined pixel as a noise if the determined current signal value of the particular pixel is greater than a sum of the calculated mean value and a threshold value.
Der Mittelwert von Signalwerten der zum bestimmten Pixel und damit zum Störpixel benachbarten Pixeln ist ein geeigneter Wert für die Ersetzung des Signalwerts des Störpixels.The mean value of signal values of the pixels adjacent to the particular pixel and thus to the interfering pixel is a suitable value for the replacement of the signal value of the interfering pixel.
Gemäß einer weiteren Ausführungsform umfasst das Bestimmen des Signal-Missverhältnisses des bestimmten Pixels:
- – Berechnen eines Median von Signalwerten der zu dem bestimmten Pixel benachbarten Pixeln,
- – Ermitteln eines aktuellen Signalwerts des bestimmten Pixels,
- – Festlegen des bestimmten Pixels als Störpixel, wenn der ermittelte aktuelle Signalwert des bestimmten Pixels größer als eine Summe aus dem berechneten Median und einem Schwellwert ist.
- Calculating a median of signal values of the pixels adjacent to the particular pixel,
- Determining a current signal value of the particular pixel,
- - determining the particular pixel as a clutter pixel if the determined current signal value of the particular pixel is greater than a sum of the calculated median and a threshold value.
Der Median von Signalwerten der zum bestimmten Pixel und damit zum Störpixel benachbarten Pixeln ist ferner ein geeigneter Wert für die Ersetzung des Signalwerts des Störpixels. Alternativ kann ein Störpixel auf der Anzeige auch ausgeblendet werden.The median of signal values of the pixels adjacent to the particular pixel and thus to the interfering pixel is also a suitable value for the replacement of the signal value of the interfering pixel. Alternatively, an interfering pixel on the display can also be hidden.
Gemäß einer weiteren Ausführungsform wird der Schwellwert an eine aktuelle Rauschumgebung des Bilddetektors angepasst. Hierdurch wird die aktuelle Rauschumgebung des Bilddetektors vorteilhafterweise kompensiert.According to a further embodiment, the threshold value is adapted to a current noise environment of the image detector. As a result, the current noise environment of the image detector is advantageously compensated.
Die Störpixel werden vorzugsweise unter Verwendung einer Blacklist verwaltet. Nach Verschwinden einer Störung eines als Störpixel gekennzeichneten bestimmten Pixels wird dieses bestimmte Pixel von der Blacklist wieder abgemeldet und kann als funktionsbereites Pixel für das Gesamtbild wiederverwendet werden. The interfering pixels are preferably managed using a blacklist. After the disappearance of a perturbation of a particular pixel identified as a perturbation pixel, that particular pixel is again deregistered from the blacklist and can be reused as a working pixel for the overall image.
Gemäß einer weiteren Ausführungsform wird die Verschiebung gemäß Schritt a) durch das Anzeigegerät elektronisch kompensiert. According to a further embodiment, the shift according to step a) is electronically compensated by the display device.
Gemäß einer weiteren Ausführungsform wird das Verschieben gemäß Schritt a) in vorbestimmten Zeitintervallen durchgeführt. Die Zeitintervalle sind insbesondere kleiner als eine Sekunde.According to a further embodiment, the shifting according to step a) is carried out at predetermined time intervals. The time intervals are in particular less than one second.
Somit sind Störpixel nie länger als dieses bestimmte Zeitintervall von beispielsweise weniger als einer Sekunde für den Benutzer sichtbar. Thus, jamming pixels are never visible to the user for more than that particular time interval of, for example, less than one second.
Gemäß einer weiteren Ausführungsform werden der Schritt a) und der Schritt b) aufeinander synchronisiert. Hierdurch werden das Verschieben des aufgenommenen Bildes in Bezug auf die Detektorfläche und die Kompensation der Verschiebung synchronisiert, so dass für den Benutzer kein Wackeln oder Zittern wahrnehmbar ist. According to another embodiment, step a) and step b) are synchronized with each other. This synchronizes the movement of the picked-up image with respect to the detector surface and the offset of the displacement, so that no wobbling or jitter is perceptible to the user.
Gemäß einer weiteren Ausführungsform wird bei der Anzeige des aufgenommenen Bildes durch das Anzeigegerät jeweils eine Anzahl von äußeren Spalten auf beiden Seiten der Anzeige schwarz dargestellt, um einen Puffer für einen horizontalen Verschiebeweg einer der Anzahl entsprechenden Pixelanzahl von Pixeln zu schaffen.According to another embodiment, when the captured image is displayed by the display device, a number of outer columns on both sides of the display are blackened respectively to provide a buffer for a horizontal displacement of a number of pixels corresponding to the number of pixels.
Gemäß einer weiteren Ausführungsform wird bei der Anzeige des aufgenommenen Bildes durch das Anzeigegerät jeweils eine Anzahl von äußeren Zeilen auf beiden Seiten der Anzeige schwarz dargestellt, um einen Puffer für einen vertikalen Verschiebeweg einer der Anzahl entsprechenden Pixelanzahl von Pixeln zu schaffen.According to another embodiment, in the display of the captured image by the display device, a number of outer lines on both sides of the display are blackened respectively to provide a buffer for a vertical displacement of a number of pixels corresponding to the number of pixels.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren die folgenden Schritte:
Aufnehmen des Bildes mittels des Bilddetektors mit einer ersten Frequenz,
Anzeigen des aufgenommenen Bildes mit einer zweiten Frequenz, wobei die erste Frequenz größer oder gleich einem Doppelten der zweiten Frequenz ist.According to another embodiment, the method comprises the following steps:
Taking the image by means of the image detector at a first frequency,
Displaying the captured image at a second frequency, wherein the first frequency is greater than or equal to twice the second frequency.
Beispielsweise ist die erste Frequenz 50 Hertz oder 100 Hertz. For example, the first frequency is 50 hertz or 100 hertz.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren die folgenden Schritte:
Ermitteln einer Frequenz einer äußeren Schwingungsanregung, und
Anpassen einer Korrekturfrequenz, mittels welcher die Schritte a) und b) durchgeführt werden, in Abhängigkeit der ermittelten Frequenz der äußeren Schwingungsanregung.According to another embodiment, the method comprises the following steps:
Determining a frequency of external vibration excitation, and
Adjusting a correction frequency, by means of which the steps a) and b) are performed, depending on the determined frequency of the external vibration excitation.
Für das Beispiel, dass der Bilddetektor auf einem Fahrzeug montiert ist, ist die Frequenz der äußeren Schwingungsanregung beispielsweise durch Diesel-Vibrationen, Fahrteinflüsse oder dergleichen beeinflusst. Die Frequenz der äußeren Schwingungsanregung kann mittels eines Sensors gemessen werden und die Korrekturfrequenz kann in Abhängigkeit von dem Ausgangssignal dieses Sensors angepasst werden.For the example that the image detector is mounted on a vehicle, the frequency of the external vibration excitation is influenced by, for example, diesel vibration, drift or the like. The frequency of the external vibration excitation can be measured by means of a sensor and the correction frequency can be adjusted in dependence on the output signal of this sensor.
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches auf einer programmgesteuerten Einrichtung die Durchführung des Verfahrens gemäß dem ersten Aspekt oder gemäß einer der Ausführungsformen des ersten Aspekts veranlasst.According to a second aspect, a computer program product is proposed, which causes the execution of the method according to the first aspect or according to one of the embodiments of the first aspect on a program-controlled device.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.A computer program product, such as a computer program means, for example, as a storage medium, such as memory card, USB stick, CD-ROM, DVD, or even in the form of a downloadable file provided by a server in a network or delivered. This can be done, for example, in a wireless communication network by transmitting a corresponding file with the computer program product or the computer program means.
Gemäß einem dritten Aspekt wird eine Vorrichtung zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors vorgeschlagen. Die Vorrichtung umfasst eine erste Einheit und eine zweite Einheit. Die erste Einheit ist zum Verschieben eines mittels des Bilddetektors aufgenommenen Bildes in Bezug auf die Detektorfläche zum Detektieren von Störpixeln auf der Detektorfläche eingerichtet. Die zweite Einheit ist zum Kompensieren der Verschiebung bei einer Anzeige des aufgenommenen Bildes durch ein Anzeigegerät eingerichtet.According to a third aspect, an apparatus for processing interference pixels on a detector surface of an image detector is proposed. The device comprises a first unit and a second unit. The first unit is arranged to move an image captured by the image detector with respect to the detector surface to detect glitches on the detector surface. The second unit is arranged to compensate for the shift in a display of the captured image by a display device.
Die jeweilige Einheit, zum Beispiel die erste Einheit, kann hardwaretechnisch und/oder auch softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die Einheit als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.The respective unit, for example the first unit, can be implemented in terms of hardware and / or software. In a hardware implementation, the unit may be implemented as a device or as part of a device, for example as a computer or as a microprocessor. In a software implementation, the unit may be embodied as a computer program product, as a function, as a routine, as part of a program code, or as an executable object.
Die Vorrichtung kann beispielsweise als Computerprogrammprodukt ausgebildet sein. Ferner ist die Vorrichtung beispielsweise Teil einer Kamera, z.B. Teil einer Wärmebildkamera.The device can be designed, for example, as a computer program product. Furthermore, the device is for example part of a camera, e.g. Part of a thermal imaging camera.
Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale gelten für die vorgeschlagene Vorrichtung entsprechend.The embodiments and features described for the proposed method apply accordingly to the proposed device.
Gemäß einem vierten Aspekt wird eine Anordnung vorgeschlagen, welche eine Vorrichtung zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors gemäß dem dritten Aspekt umfasst. Die Anordnung ist insbesondere ein Tracker einer Aufklärungsplattform, ein Flugkörper, beispielsweise ein Lenkflugkörper, oder ein Luftfahrzeug, beispielsweise ein Flugzeug oder eine Drohne. Durch die Verwendung der Vorrichtung wird die Reichweite der Anordnung erhöht. Insbesondere werden auch die Berechnungen von Rendezvous-Punkten zwischen getrackten Zielobjekten und Angriffsmitteln, wie Raketen, verbessert.According to a fourth aspect, an arrangement is proposed, which comprises a device for processing interference pixels on a detector surface of an image detector according to the third aspect. The arrangement is in particular a tracker of a reconnaissance platform, a missile, for example a guided missile, or an aircraft, for example an aircraft or a drone. By using the device, the range of the arrangement is increased. In particular, the calculations of rendezvous points between tracked targets and offenses such as missiles are also improved.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.Further possible implementations of the invention also include not explicitly mentioned combinations of features or embodiments described above or below with regard to the exemplary embodiments. The skilled person will also add individual aspects as improvements or additions to the respective basic form of the invention.
Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.Furthermore, the invention will be explained in more detail by means of preferred embodiments with reference to the attached figures.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen, sofern nichts anderes angegeben ist. In the figures, identical or functionally identical elements are provided with the same reference numerals, unless stated otherwise.
In
Ein schematisches Blockschaltbild eines Ausführungsbeispiels eines solchen Bilddetektors
Das Verfahren gemäß
In Schritt
In
Das Verschieben gemäß Schritt
In Schritt
Insbesondere werden die Schritte
Hierzu zeigt
Die
Bei dem Bild B2 der
Demgegenüber ist bei dem Bild B3 der
Die
In
In Schritt
In Schritt
Im Gegensatz hierzu zeigt der Vergleich der
In Schritt
Der Schritt
In
In Schritt
In Schritt
In Schritt
In Schritt
In Schritt
In Schritt
Vorzugsweise wird ein Signalwert eines bestimmten als Störpixel S detektierten Pixels P durch den Mittelwert oder durch den Median der zu dem bestimmten Pixel P benachbarten Pixel ersetzt.Preferably, a signal value of a specific pixel P detected as a noise pixel S is replaced by the mean value or by the median of the pixels adjacent to the particular pixel P.
Der Schwellwert gemäß
Die Vorrichtung
Die erste Einheit
Die zweite Einheit
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.Although the present invention has been described with reference to embodiments, it is variously modifiable.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 1010
- Bilddetektor image detector
- 1111
- Detektorfläche detector surface
- 1212
- Detektor-Array Detector array
- 1313
- Detektorelement detector element
- 2020
- Anzeigegerät display
- 2121
- Anzeige display
- 3030
- Vorrichtung contraption
- 3131
- erste Einheit first unit
- 3232
- zweite Einheit second unit
- 4040
- Flugkörper missile
- 4141
- Wärmebildkamera Thermal camera
- WW
- Verschiebeweg displacement
- RR
- Richtung direction
- PP
- Pixel pixel
- SS
- Störpixel Störpixel
- CBCB
- schwarze äußere Spalten black outer columns
- RBRB
- schwarze äußere Zeilen black outer lines
- 101101
- Verfahrensschritt step
- 102102
- Verfahrensschritt step
- 103103
- Verfahrensschritt step
- 301301
- Verfahrensschritt step
- 302302
- Verfahrensschritt step
- 303303
- Verfahrensschritt step
- 801801
- Verfahrensschritt step
- 802802
- Verfahrensschritt step
- 803803
- Verfahrensschritt step
- 901901
- Verfahrensschritt step
- 902902
- Verfahrensschritt step
- 903903
- Verfahrensschritt step
Claims (15)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102015114009.8A DE102015114009A1 (en) | 2015-08-24 | 2015-08-24 | Method and device for processing interference pixels on a detector surface of an image detector |
| PCT/EP2016/061540 WO2017032469A1 (en) | 2015-08-24 | 2016-05-23 | Method and device for processing noise pixels on a detector surface of an image detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102015114009.8A DE102015114009A1 (en) | 2015-08-24 | 2015-08-24 | Method and device for processing interference pixels on a detector surface of an image detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102015114009A1 true DE102015114009A1 (en) | 2017-03-02 |
Family
ID=56098221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102015114009.8A Withdrawn DE102015114009A1 (en) | 2015-08-24 | 2015-08-24 | Method and device for processing interference pixels on a detector surface of an image detector |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102015114009A1 (en) |
| WO (1) | WO2017032469A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018003670A1 (en) * | 2018-05-05 | 2019-11-07 | Diehl Defence Gmbh & Co. Kg | Method for evaluating image data of a matrix detector |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3418394C2 (en) * | 1984-05-17 | 1986-07-17 | Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn | Image recording and image processing methods and devices for video cameras carried in aircraft |
| DE19525153A1 (en) * | 1995-07-11 | 1996-01-04 | Michael Dr Arnold | Opto-electronic micro-scanning method |
| DE19816003A1 (en) * | 1998-04-09 | 1999-11-04 | Aeg Infrarot Module Gmbh | Gray value correction method for image from digital infrared camera |
| DE10043961A1 (en) * | 2000-09-06 | 2002-04-04 | Fraunhofer Ges Forschung | Combined standard video and high-speed camera |
| DE10209552A1 (en) * | 2002-03-04 | 2003-10-02 | Plettac Ag | Method and device for compensating defective pixels of a CCD sensor |
| DE102004061978A1 (en) * | 2004-12-23 | 2006-07-13 | Lfk-Lenkflugkörpersysteme Gmbh | Method and apparatus for replacing defective pixels in Focal Plane Array cameras |
| DE102009008770A1 (en) * | 2009-02-13 | 2010-08-19 | Hella Kgaa Hueck & Co. | Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data |
| DE102014214750B3 (en) * | 2014-07-28 | 2015-06-11 | Reimar Lenz | Image acquisition system with fast-vibrating global shutter CMOS sensor |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4748507A (en) * | 1986-10-17 | 1988-05-31 | Kenneth Gural | Solid state imaging device having means to shift the image between scans and associated circuitry to improve the scanned image |
| US5323334A (en) * | 1992-12-04 | 1994-06-21 | Hughes Aircraft Company | Sensor system having nonuniformity suppression with image preservation |
| JP4548128B2 (en) * | 2005-01-26 | 2010-09-22 | ソニー株式会社 | Defect detection apparatus, defect detection method, and imaging apparatus |
| US7684634B2 (en) * | 2006-08-29 | 2010-03-23 | Raytheon Company | System and method for adaptive non-uniformity compensation for a focal plane array |
| JP4900283B2 (en) * | 2008-02-29 | 2012-03-21 | 日本電気株式会社 | Infrared imaging device and fixed pattern noise correction method |
-
2015
- 2015-08-24 DE DE102015114009.8A patent/DE102015114009A1/en not_active Withdrawn
-
2016
- 2016-05-23 WO PCT/EP2016/061540 patent/WO2017032469A1/en not_active Ceased
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3418394C2 (en) * | 1984-05-17 | 1986-07-17 | Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn | Image recording and image processing methods and devices for video cameras carried in aircraft |
| DE19525153A1 (en) * | 1995-07-11 | 1996-01-04 | Michael Dr Arnold | Opto-electronic micro-scanning method |
| DE19816003A1 (en) * | 1998-04-09 | 1999-11-04 | Aeg Infrarot Module Gmbh | Gray value correction method for image from digital infrared camera |
| DE10043961A1 (en) * | 2000-09-06 | 2002-04-04 | Fraunhofer Ges Forschung | Combined standard video and high-speed camera |
| DE10209552A1 (en) * | 2002-03-04 | 2003-10-02 | Plettac Ag | Method and device for compensating defective pixels of a CCD sensor |
| DE102004061978A1 (en) * | 2004-12-23 | 2006-07-13 | Lfk-Lenkflugkörpersysteme Gmbh | Method and apparatus for replacing defective pixels in Focal Plane Array cameras |
| DE102009008770A1 (en) * | 2009-02-13 | 2010-08-19 | Hella Kgaa Hueck & Co. | Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data |
| DE102014214750B3 (en) * | 2014-07-28 | 2015-06-11 | Reimar Lenz | Image acquisition system with fast-vibrating global shutter CMOS sensor |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018003670A1 (en) * | 2018-05-05 | 2019-11-07 | Diehl Defence Gmbh & Co. Kg | Method for evaluating image data of a matrix detector |
| DE102018003670B4 (en) * | 2018-05-05 | 2020-02-27 | Diehl Defence Gmbh & Co. Kg | Method for evaluating image data from a matrix detector |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017032469A1 (en) | 2017-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE69328154T2 (en) | Sensor device and method with suppression of non-uniformities and simultaneous preservation of image content | |
| DE2938130C3 (en) | System for reducing interference or noise in an image signal | |
| DE60215726T2 (en) | Detection and correction of bad pixels in an image capture device | |
| DE3708683C2 (en) | Method for determining changes in position of a moving image sensor platform | |
| DE4411179A1 (en) | Image capture device | |
| DE102012213189B4 (en) | Imaging array with photodiodes of different light sensitivities and associated image restoration processes | |
| DE102019122667A1 (en) | Method for suppressing image noise in a video image stream, as well as the associated medical image recording system and computer program product | |
| DE4124985C1 (en) | Image tracking system | |
| DE69225264T2 (en) | Minimum difference processor | |
| DE102015103785A1 (en) | Method and device for calibrating a camera | |
| DE202016007867U1 (en) | Control the line of sight angle of an image processing platform | |
| DE102006001904B4 (en) | Method and device for automatically adjusting surveillance image fields based on image change | |
| EP3635677B1 (en) | Method and device for image correction | |
| EP2567539B1 (en) | Imaging device and method | |
| DE102015105161A1 (en) | An apparatus and method for detecting movement of an object in a target space | |
| DE102018124401A1 (en) | Method for taking an image with a particle microscope | |
| EP3634003A1 (en) | Method and device for time synchronization of the optical transmission of data in the free space | |
| DE112008000263B4 (en) | Method and apparatus for calculating a focus metric | |
| DE102015114009A1 (en) | Method and device for processing interference pixels on a detector surface of an image detector | |
| EP4049445B1 (en) | Method for generating an output signal of a pdaf pixel | |
| DE102019133515B3 (en) | Method and device for parallax determination of recordings of a multi-lens camera system | |
| EP1594086B1 (en) | Method of capturing and displaying a x-ray image stored in a phosphor sheet. | |
| DE102004016585B4 (en) | Method for noise correction in a flat panel detector | |
| WO2017093227A1 (en) | Method and device for image correction | |
| DE10392156T5 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R016 | Response to examination communication | ||
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0005367000 Ipc: H04N0025680000 |
|
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |