[go: up one dir, main page]

DE102015114009A1 - Method and device for processing interference pixels on a detector surface of an image detector - Google Patents

Method and device for processing interference pixels on a detector surface of an image detector Download PDF

Info

Publication number
DE102015114009A1
DE102015114009A1 DE102015114009.8A DE102015114009A DE102015114009A1 DE 102015114009 A1 DE102015114009 A1 DE 102015114009A1 DE 102015114009 A DE102015114009 A DE 102015114009A DE 102015114009 A1 DE102015114009 A1 DE 102015114009A1
Authority
DE
Germany
Prior art keywords
detector
pixels
image
pixel
particular pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015114009.8A
Other languages
German (de)
Inventor
Norbert Börsken
Bernhard Fangmann
Lars Klinger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rheinmetall Electronics GmbH
Original Assignee
Rheinmetall Defence Electronics GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rheinmetall Defence Electronics GmbH filed Critical Rheinmetall Defence Electronics GmbH
Priority to DE102015114009.8A priority Critical patent/DE102015114009A1/en
Priority to PCT/EP2016/061540 priority patent/WO2017032469A1/en
Publication of DE102015114009A1 publication Critical patent/DE102015114009A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H04N25/21Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Es wird ein Verfahren zur Verarbeitung von Störpixeln (S) auf einer Detektorfläche (11) eines Bilddetektors (10) vorgeschlagen, welches folgende Schritte umfasst: Verschieben (101) eines mittels des Bilddetektors (10) aufgenommenen Bildes (B1) in Bezug auf die Detektorfläche (11) zum Detektieren von Störpixeln (S) auf der Detektorfläche (11), und Kompensieren (102) der Verschiebung bei einer Anzeige (21) des aufgenommenen Bildes (B2, B3) durch ein Anzeigegerät (20).A method is proposed for processing interference pixels (S) on a detector surface (11) of an image detector (10) comprising the following steps: shifting (101) an image (B1) recorded by the image detector (10) with respect to the detector surface (11) for detecting perturbation pixels (S) on the detector surface (11), and compensating (102) the shift in a display (21) of the picked-up image (B2, B3) by a display device (20).

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein Computerprogrammprodukt zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors. Des Weiteren betrifft die vorliegende Erfindung eine Vorrichtung zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors sowie einen Flugkörper mit einer solchen Vorrichtung.The present invention relates to a method and a computer program product for processing interference pixels on a detector surface of an image detector. Furthermore, the present invention relates to a device for processing interference pixels on a detector surface of an image detector and a missile with such a device.

Das technische Gebiet der vorliegenden Erfindung betrifft die Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors. Ein solcher Bilddetektor ist insbesondere Teil einer Kamera, z.B. Teil einer Wärmebildkamera.The technical field of the present invention relates to the processing of interference pixels on a detector surface of an image detector. Such an image detector is in particular part of a camera, e.g. Part of a thermal imaging camera.

Moderne Wärmebildkameras nutzen häufig CMT (Cadmium-Mercury-Telluride, Cadmium-Quecksilber-Tellurid). CMT als solches ist giftig. Außerdem kann es sich als schwierig gestalten, die Kristallwachstumsrichtung einzuhalten, da sie im Wachstumsprozess spontan wechseln kann. Aufgrund eines sich daraus ergebenen aufwändigen Herstellungsverfahrens ist die Verwendung des Materials CMT teuer.Modern thermal imaging cameras often use CMT (Cadmium Mercury Telluride, Cadmium Mercury Telluride). CMT as such is poisonous. In addition, it may be difficult to maintain the crystal growth direction because it can change spontaneously in the growth process. Due to a resulting complex manufacturing process, the use of CMT material is expensive.

Des Weiteren neigt das Material CMT in Wärmebildkameras dazu, spontan Störpixel zu zeigen. Solche Störpixel weichen spontan von einer vorher in einem Abgleichvorgang, zum Beispiel in einem Non-Uniformity-Correction-Prozess, ermittelten Kennlinie ab und erscheinen im aufgenommenen Bild als helle oder dunkle Bildelemente, die keinen Bezug zum Bildinhalt des aufgenommenen Bildes haben. Ferner ist die Persistenz solcher Störpixel stark erratisch, sie kann einige Sekunden mit fester Frequenz betragen oder auch zufällig auftreten. Furthermore, the material CMT in thermal imaging cameras tends to show spontaneous noise. Such perturbing pixels deviate spontaneously from a characteristic previously determined in a trimming operation, for example in a non-uniformity correction process, and appear in the recorded image as light or dark picture elements which have no relation to the image content of the recorded image. Furthermore, the persistence of such perturbation pixels is highly erratic, it can be a few seconds at a fixed frequency or occur at random.

Beispielsweise bei der Verwendung von solchen Wärmebildkameras in Aufklärungsplattformen kann dies zu erheblichen Fehlinterpretationen führen, insbesondere dann, wenn die gesuchten Objekte klein und weit entfernt sind und damit als sogenannte Punktziele in einer sehr frühen Phase wahrgenommen werden. Es ist weiterhin überaus problematisch, wenn der Tracker der Aufklärungsplattform diesem Störpixel oder Fehlpixel folgt und auf dieses aufschaltet, so dass ein echtes Ziel dann nicht mehr verfolgt werden kann. For example, when using such thermal imaging cameras in reconnaissance platforms, this can lead to significant misinterpretations, especially when the searched objects are small and far away and are thus perceived as so-called point targets at a very early stage. It is also extremely problematic if the tracker of the reconnaissance platform follows this Störpixel or Fehlpixel and switches on this, so that a real goal can then no longer be tracked.

Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, die Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors zu verbessern.Against this background, an object of the present invention is to improve the processing of interference pixels on a detector surface of an image detector.

Gemäß einem ersten Aspekt wird ein Verfahren zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors vorgeschlagen. Das Verfahren umfasst folgende Schritte a) und b):

  • a) Verschieben eines mittels des Bilddetektors aufgenommenen Bildes in Bezug auf die Detektorfläche zum Detektieren von Störpixeln auf der Detektorfläche, und
  • b) Kompensieren der Verschiebung bei einer Anzeige des aufgenommenen Bildes durch ein Anzeigegerät.
According to a first aspect, a method is proposed for processing interference pixels on a detector surface of an image detector. The method comprises the following steps a) and b):
  • a) shifting an image recorded by means of the image detector with respect to the detector surface for detecting interference pixels on the detector surface, and
  • b) compensating the shift in a display of the captured image by a display device.

Mittels Verschieben des aufgenommenen Bildes um einen definierten Weg und in eine definierte Richtung ist es möglich, Störpixel auf der Detektorfläche zu detektieren. Ein Störpixel behält vor und nach der Verschiebung ein Signal-Missverhältnis zu seiner direkten Umgebung, das heißt zu seinen benachbarten Pixeln, und wird dadurch von intakten Pixeln unterscheidbar. Ein detektiertes Störpixel kann vorteilhafterweise als solches deklariert und elektronisch bearbeitet werden. Insbesondere wird die Verschiebung gemäß Schritt a) wieder rückgängig gemacht, insbesondere durch ein Zurückverschieben.By moving the recorded image by a defined path and in a defined direction, it is possible to detect interference pixels on the detector surface. An interfering pixel, before and after the shift, maintains a signal mismatch with its immediate surroundings, that is, its neighboring pixels, and thereby becomes distinguishable from intact pixels. A detected interference pixel can advantageously be declared as such and processed electronically. In particular, the shift according to step a) is reversed again, in particular by a shift back.

Ferner ist es möglich, nach Verschwinden der Störung bei einem bestimmten Pixel, dieses als Störpixel wieder abzumelden und als funktionsbereites intaktes Pixel für das Gesamtbild wiederzuverwenden. Furthermore, it is possible, after the disappearance of the disturbance at a certain pixel, to deregister it as a disturbing pixel and to reuse it as a functioning intact pixel for the overall picture.

Vorzugsweise wird ein Signalwert eines bestimmten, als Störpixel detektierten Pixels durch einen Mittelwert oder durch einen Median von Signalwerten der zu dem bestimmten Pixel benachbarten Pixel ersetzt.Preferably, a signal value of a particular pixel detected as a clutter pixel is replaced by an average or by a median of signal values of the pixels adjacent to the particular pixel.

Detektierte Störpixel werden beispielsweise bei der Verwendung von Trackern farblich gekennzeichnet, zum Beispiel durch eine Signalfarbe, wie rot. Detected interference pixels are for example color-coded when using trackers, for example by a signal color, such as red.

Wird das gesamte Bild relativ zu der Detektorfläche beispielsweise mittels Piezoelementen oder Piezoeinrichtungen verschoben, so kann diese Verschiebung durch einen Betrachter, insbesondere durch einen menschlichen Betrachter, oder durch eine nachgelagerte technische Einrichtung, wie beispielsweise ein Anzeigegerät, erkennbar sein. Dies könnte insbesondere der menschliche Betrachter als verwirrend wahrnehmen. Daher wird diese Verschiebung für den Betrachter kompensiert und folglich unsichtbar gestaltet. Dazu wird in Schritt b) die im Bild sichtbare Verschiebung beispielsweise elektronisch kompensiert, etwa dadurch, dass die beiden äußersten Spalten rechts und links am Bildrand des Anzeigegeräts schwarz bleiben, um einen Puffer für die Verschiebung um ein Pixel in horizontaler Richtung zu schaffen. Es ist aber auch möglich, eine schwarze Zeile jeweils oben und unten am Bildrand des Anzeigegeräts vorzusehen, so dass auch in der Höhe verschoben werden kann. If the entire image is displaced relative to the detector surface, for example by means of piezoelectric elements or piezoelectric devices, this displacement can be recognized by a viewer, in particular by a human observer, or by a downstream technical device, such as a display device. This could be perceived by the human observer as confusing. Therefore, this shift is compensated for the viewer and thus made invisible. For this purpose, in step b) the visible shift in the image, for example, electronically compensated, such as the fact that the two outermost columns left and right of the screen edge of the display device remain black to provide a buffer for the shift by one pixel in the horizontal direction. But it is also possible to provide a black line each top and bottom of the screen of the display device, so that can be moved in height.

Es ist weiterhin möglich, mehr als eine Zeile oder Spalte zu schwärzen, um einen größeren Verschiebeweg bei einem potentiellen Vorhandensein einer Vielzahl von Störpixeln zu ermöglichen. Dabei ist es möglich, sowohl periodische Verschiebewege als auch zufällige oder quasi-zufällige Verschiebewege vorzusehen. Aufgrund des Vorsehens dieser schwarzen Zonen, gebildet durch schwarze Spalten und/oder Zeilen an der Anzeige des Anzeigegeräts, ist die Verschiebung kompensiert und der Betrachter, insbesondere der menschliche Betrachter, nimmt kein Zittern mehr wahr. It is also possible to blacken more than one row or column for a larger one To enable displacement in the event of a potential presence of a plurality of interference pixels. It is possible to provide both periodic displacement paths as well as random or quasi-random displacement paths. Due to the provision of these black zones, formed by black columns and / or lines on the display of the display device, the displacement is compensated and the viewer, in particular the human observer, no longer perceives shaking.

Der Bilddetektor ist insbesondere Teil einer Kamera, beispielsweise einer Wärmebildkamera, einer CCD-Kamera, einer LCD-Kamera, einer CMOS-Kamera oder dergleichen. Die den Bilddetektor aufweisende Kamera ist beispielsweise von außen stabilisiert. Alternativ oder zusätzlich weist die Kamera vorzugsweise eine Bildstabilisierung auf. Für das Beispiel der Wärmebildkamera ist der Bilddetektor ein Wärmebilddetektor, der beispielsweise als sogenanntes Focal-Plane-Array (FPA) realisiert ist. The image detector is in particular part of a camera, for example a thermal imaging camera, a CCD camera, an LCD camera, a CMOS camera or the like. The camera having the image detector is stabilized from the outside, for example. Alternatively or additionally, the camera preferably has an image stabilization. For the example of the thermal imaging camera, the image detector is a thermal image detector, which is realized for example as a so-called Focal Plane Array (FPA).

Das Anzeigegerät umfasst insbesondere einen Bildschirm. Der Bildschirm ist beispielsweise von der den Bilddetektor ausweisenden Kamera entkoppelt. Alternativ kann das Anzeigegerät auch Teil der Kamera sein. Des Weiteren ist das Anzeigegerät vorzugsweise mit einem Tracker zur Nachverfolgung von Zielen gekoppelt. The display device comprises in particular a screen. The screen is decoupled, for example, from the camera that identifies the image detector. Alternatively, the display device may also be part of the camera. Furthermore, the display device is preferably coupled to a tracker for tracking targets.

Das Bild kann auch als Pixel-Bild bezeichnet werden. Das Pixel kann auch als Bild, Bildzelle oder Bildelement bezeichnet werden. Das Störpixel kann auch als Fehlerpixel oder defektes Pixel bezeichnet werden.The image can also be referred to as a pixel image. The pixel may also be referred to as an image, picture cell or picture element. The interfering pixel may also be referred to as an error pixel or defective pixel.

Gemäß einer Ausführungsform weist der Bilddetektor einen auf der Detektorfläche angeordneten Detektor-Array mit einer Vielzahl von Detektorelementen zur Bereitstellung von Pixeln auf.According to one embodiment, the image detector has a detector array arranged on the detector surface with a multiplicity of detector elements for providing pixels.

Bei der Verschiebung des aufgenommenen Bildes in Bezug auf die Detektorfläche kann entweder das Bild verschoben werden oder die Detektorfläche kann verschoben werden oder beide, das Bild und die Detektorfläche, können relativ zueinander verschoben werden. Upon displacement of the picked-up image relative to the detector surface, either the image may be shifted or the detector surface may be shifted, or both, the image and the detector surface, may be displaced relative to one another.

Gemäß einer weiteren Ausführungsform umfasst der Schritt a):
Verschieben des Detektor-Arrays um einen vorbestimmten Verschiebeweg in eine vorbestimmte Richtung.
According to another embodiment, step a) comprises:
Moving the detector array by a predetermined displacement in a predetermined direction.

Insbesondere wird der Detektor-Array anschließend um den vorbestimmten Verschiebeweg in die entgegengesetzte Richtung zu der vorbestimmten Richtung zurückverschoben. In particular, the detector array is then shifted back by the predetermined displacement in the opposite direction to the predetermined direction.

Gemäß einer weiteren Ausführungsform entspricht der vorbestimmte Verschiebeweg einer bestimmten Pixel-Anzahl von Pixeln. According to another embodiment, the predetermined displacement corresponds to a certain pixel number of pixels.

Gemäß einer weiteren Ausführungsform wird der Detektor-Array mittels Piezoelementen verschoben. Die Piezoelemente können die Verschiebung vorteilhafterweise innerhalb von Millisekunden bewirken. Die Piezoelemente sind vorzugsweise dazu eingerichtet, zur Bewerkstelligung der Relativverschiebung zwischen dem Bild und der Detektorfläche zumindest einen Spiegel der Kamera, zumindest eine Linse der Kamera und/oder die Detektorfläche zu verschieben.According to a further embodiment, the detector array is moved by means of piezo elements. The piezoelectric elements can advantageously effect the displacement within milliseconds. The piezoelectric elements are preferably configured to displace at least one mirror of the camera, at least one lens of the camera and / or the detector surface in order to effect the relative displacement between the image and the detector surface.

Die Piezoelemente können beispielsweise Teil einer Bildstabilisierung der Kamera sein, welche den Bilddetektor umfasst. Die Bildstabilisierung mittels Piezoelementen kann das gesamte Detektor-Array beispielsweise um ein oder zwei Pixel in der Höhe und/oder in der Breite verschieben. By way of example, the piezoelements can be part of an image stabilization of the camera, which comprises the image detector. The image stabilization by means of piezoelectric elements can shift the entire detector array, for example, by one or two pixels in height and / or width.

Gemäß einer weiteren Ausführungsform wird der Detektor-Array mittels elektromagnetischer Elemente verschoben.According to a further embodiment, the detector array is displaced by means of electromagnetic elements.

Gemäß einer weiteren Ausführungsform wird zum Verschieben des Detektor-Arrays jedem Detektorelement des Detektor-Arrays genau ein Piezoelement zugeordnet.According to a further embodiment, exactly one piezoelement is assigned to each detector element of the detector array for moving the detector array.

Gemäß einer weiteren Ausführungsform wird ein bestimmtes Pixel als Störpixel detektiert, wenn das bestimmte Pixel sowohl vor dem Verschieben als auch nach dem Verschieben ein Signal-Missverhältnis zu seinen benachbarten Pixeln aufweist. Ein Pixel wird demnach als Störpixel detektiert und deklariert, wenn das Pixel vor dem Verschieben und nach dem Verschieben zumindest ein bestimmtes Signal-Missverhältnis zu den benachbarten Pixeln aufweist. Folglich ist das Signal-Missverhältnis des Pixels vor und nach dem Verschieben größer als ein vorbestimmter Schwellwert, um das Pixel als Störpixel zu detektieren. In accordance with another embodiment, a particular pixel is detected as a clutter pixel if the particular pixel has a signal mismatch with its neighboring pixels both prior to shifting and after shifting. Accordingly, a pixel is detected and declared as an interference pixel if the pixel has at least a certain signal mismatch with the neighboring pixels before being shifted and after being shifted. Thus, the signal mismatch of the pixel before and after the shift is greater than a predetermined threshold to detect the pixel as a jamming pixel.

Beispielsweise ist das bestimmte Pixel vor dem Verschieben schwarz und dessen Nachbarpixel sind weiß und das bestimmte Pixel ist auch nach dem Verschieben nach wie vor schwarz und die benachbarten Pixel bleiben weiß.For example, the particular pixel before being moved is black and its neighbor pixels are white, and the particular pixel is still black after being moved and the adjacent pixels remain white.

Gemäß einer weiteren Ausführungsform umfasst das Bestimmen des Signal-Missverhältnisses des bestimmten Pixels:

  • – Berechnen eines Mittelwerts von Signalwerten der zu dem bestimmten Pixel benachbarten Pixeln,
  • – Ermitteln eines aktuellen Signalwerts des bestimmten Pixels,
  • – Festlegen des bestimmten Pixels als Störpixel, wenn der ermittelte aktuelle Signalwert des bestimmten Pixels größer als eine Summe aus dem berechneten Mittelwert und einem Schwellwert ist.
According to another embodiment, determining the signal mismatch of the particular pixel comprises:
  • Calculating an average of signal values of the pixels adjacent to the particular pixel,
  • Determining a current signal value of the particular pixel,
  • - determining the determined pixel as a noise if the determined current signal value of the particular pixel is greater than a sum of the calculated mean value and a threshold value.

Der Mittelwert von Signalwerten der zum bestimmten Pixel und damit zum Störpixel benachbarten Pixeln ist ein geeigneter Wert für die Ersetzung des Signalwerts des Störpixels.The mean value of signal values of the pixels adjacent to the particular pixel and thus to the interfering pixel is a suitable value for the replacement of the signal value of the interfering pixel.

Gemäß einer weiteren Ausführungsform umfasst das Bestimmen des Signal-Missverhältnisses des bestimmten Pixels:

  • – Berechnen eines Median von Signalwerten der zu dem bestimmten Pixel benachbarten Pixeln,
  • – Ermitteln eines aktuellen Signalwerts des bestimmten Pixels,
  • – Festlegen des bestimmten Pixels als Störpixel, wenn der ermittelte aktuelle Signalwert des bestimmten Pixels größer als eine Summe aus dem berechneten Median und einem Schwellwert ist.
According to another embodiment, determining the signal mismatch of the particular pixel comprises:
  • Calculating a median of signal values of the pixels adjacent to the particular pixel,
  • Determining a current signal value of the particular pixel,
  • - determining the particular pixel as a clutter pixel if the determined current signal value of the particular pixel is greater than a sum of the calculated median and a threshold value.

Der Median von Signalwerten der zum bestimmten Pixel und damit zum Störpixel benachbarten Pixeln ist ferner ein geeigneter Wert für die Ersetzung des Signalwerts des Störpixels. Alternativ kann ein Störpixel auf der Anzeige auch ausgeblendet werden.The median of signal values of the pixels adjacent to the particular pixel and thus to the interfering pixel is also a suitable value for the replacement of the signal value of the interfering pixel. Alternatively, an interfering pixel on the display can also be hidden.

Gemäß einer weiteren Ausführungsform wird der Schwellwert an eine aktuelle Rauschumgebung des Bilddetektors angepasst. Hierdurch wird die aktuelle Rauschumgebung des Bilddetektors vorteilhafterweise kompensiert.According to a further embodiment, the threshold value is adapted to a current noise environment of the image detector. As a result, the current noise environment of the image detector is advantageously compensated.

Die Störpixel werden vorzugsweise unter Verwendung einer Blacklist verwaltet. Nach Verschwinden einer Störung eines als Störpixel gekennzeichneten bestimmten Pixels wird dieses bestimmte Pixel von der Blacklist wieder abgemeldet und kann als funktionsbereites Pixel für das Gesamtbild wiederverwendet werden. The interfering pixels are preferably managed using a blacklist. After the disappearance of a perturbation of a particular pixel identified as a perturbation pixel, that particular pixel is again deregistered from the blacklist and can be reused as a working pixel for the overall image.

Gemäß einer weiteren Ausführungsform wird die Verschiebung gemäß Schritt a) durch das Anzeigegerät elektronisch kompensiert. According to a further embodiment, the shift according to step a) is electronically compensated by the display device.

Gemäß einer weiteren Ausführungsform wird das Verschieben gemäß Schritt a) in vorbestimmten Zeitintervallen durchgeführt. Die Zeitintervalle sind insbesondere kleiner als eine Sekunde.According to a further embodiment, the shifting according to step a) is carried out at predetermined time intervals. The time intervals are in particular less than one second.

Somit sind Störpixel nie länger als dieses bestimmte Zeitintervall von beispielsweise weniger als einer Sekunde für den Benutzer sichtbar. Thus, jamming pixels are never visible to the user for more than that particular time interval of, for example, less than one second.

Gemäß einer weiteren Ausführungsform werden der Schritt a) und der Schritt b) aufeinander synchronisiert. Hierdurch werden das Verschieben des aufgenommenen Bildes in Bezug auf die Detektorfläche und die Kompensation der Verschiebung synchronisiert, so dass für den Benutzer kein Wackeln oder Zittern wahrnehmbar ist. According to another embodiment, step a) and step b) are synchronized with each other. This synchronizes the movement of the picked-up image with respect to the detector surface and the offset of the displacement, so that no wobbling or jitter is perceptible to the user.

Gemäß einer weiteren Ausführungsform wird bei der Anzeige des aufgenommenen Bildes durch das Anzeigegerät jeweils eine Anzahl von äußeren Spalten auf beiden Seiten der Anzeige schwarz dargestellt, um einen Puffer für einen horizontalen Verschiebeweg einer der Anzahl entsprechenden Pixelanzahl von Pixeln zu schaffen.According to another embodiment, when the captured image is displayed by the display device, a number of outer columns on both sides of the display are blackened respectively to provide a buffer for a horizontal displacement of a number of pixels corresponding to the number of pixels.

Gemäß einer weiteren Ausführungsform wird bei der Anzeige des aufgenommenen Bildes durch das Anzeigegerät jeweils eine Anzahl von äußeren Zeilen auf beiden Seiten der Anzeige schwarz dargestellt, um einen Puffer für einen vertikalen Verschiebeweg einer der Anzahl entsprechenden Pixelanzahl von Pixeln zu schaffen.According to another embodiment, in the display of the captured image by the display device, a number of outer lines on both sides of the display are blackened respectively to provide a buffer for a vertical displacement of a number of pixels corresponding to the number of pixels.

Gemäß einer weiteren Ausführungsform umfasst das Verfahren die folgenden Schritte:
Aufnehmen des Bildes mittels des Bilddetektors mit einer ersten Frequenz,
Anzeigen des aufgenommenen Bildes mit einer zweiten Frequenz, wobei die erste Frequenz größer oder gleich einem Doppelten der zweiten Frequenz ist.
According to another embodiment, the method comprises the following steps:
Taking the image by means of the image detector at a first frequency,
Displaying the captured image at a second frequency, wherein the first frequency is greater than or equal to twice the second frequency.

Beispielsweise ist die erste Frequenz 50 Hertz oder 100 Hertz. For example, the first frequency is 50 hertz or 100 hertz.

Gemäß einer weiteren Ausführungsform umfasst das Verfahren die folgenden Schritte:
Ermitteln einer Frequenz einer äußeren Schwingungsanregung, und
Anpassen einer Korrekturfrequenz, mittels welcher die Schritte a) und b) durchgeführt werden, in Abhängigkeit der ermittelten Frequenz der äußeren Schwingungsanregung.
According to another embodiment, the method comprises the following steps:
Determining a frequency of external vibration excitation, and
Adjusting a correction frequency, by means of which the steps a) and b) are performed, depending on the determined frequency of the external vibration excitation.

Für das Beispiel, dass der Bilddetektor auf einem Fahrzeug montiert ist, ist die Frequenz der äußeren Schwingungsanregung beispielsweise durch Diesel-Vibrationen, Fahrteinflüsse oder dergleichen beeinflusst. Die Frequenz der äußeren Schwingungsanregung kann mittels eines Sensors gemessen werden und die Korrekturfrequenz kann in Abhängigkeit von dem Ausgangssignal dieses Sensors angepasst werden.For the example that the image detector is mounted on a vehicle, the frequency of the external vibration excitation is influenced by, for example, diesel vibration, drift or the like. The frequency of the external vibration excitation can be measured by means of a sensor and the correction frequency can be adjusted in dependence on the output signal of this sensor.

Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches auf einer programmgesteuerten Einrichtung die Durchführung des Verfahrens gemäß dem ersten Aspekt oder gemäß einer der Ausführungsformen des ersten Aspekts veranlasst.According to a second aspect, a computer program product is proposed, which causes the execution of the method according to the first aspect or according to one of the embodiments of the first aspect on a program-controlled device.

Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.A computer program product, such as a computer program means, for example, as a storage medium, such as memory card, USB stick, CD-ROM, DVD, or even in the form of a downloadable file provided by a server in a network or delivered. This can be done, for example, in a wireless communication network by transmitting a corresponding file with the computer program product or the computer program means.

Gemäß einem dritten Aspekt wird eine Vorrichtung zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors vorgeschlagen. Die Vorrichtung umfasst eine erste Einheit und eine zweite Einheit. Die erste Einheit ist zum Verschieben eines mittels des Bilddetektors aufgenommenen Bildes in Bezug auf die Detektorfläche zum Detektieren von Störpixeln auf der Detektorfläche eingerichtet. Die zweite Einheit ist zum Kompensieren der Verschiebung bei einer Anzeige des aufgenommenen Bildes durch ein Anzeigegerät eingerichtet.According to a third aspect, an apparatus for processing interference pixels on a detector surface of an image detector is proposed. The device comprises a first unit and a second unit. The first unit is arranged to move an image captured by the image detector with respect to the detector surface to detect glitches on the detector surface. The second unit is arranged to compensate for the shift in a display of the captured image by a display device.

Die jeweilige Einheit, zum Beispiel die erste Einheit, kann hardwaretechnisch und/oder auch softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die Einheit als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.The respective unit, for example the first unit, can be implemented in terms of hardware and / or software. In a hardware implementation, the unit may be implemented as a device or as part of a device, for example as a computer or as a microprocessor. In a software implementation, the unit may be embodied as a computer program product, as a function, as a routine, as part of a program code, or as an executable object.

Die Vorrichtung kann beispielsweise als Computerprogrammprodukt ausgebildet sein. Ferner ist die Vorrichtung beispielsweise Teil einer Kamera, z.B. Teil einer Wärmebildkamera.The device can be designed, for example, as a computer program product. Furthermore, the device is for example part of a camera, e.g. Part of a thermal imaging camera.

Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale gelten für die vorgeschlagene Vorrichtung entsprechend.The embodiments and features described for the proposed method apply accordingly to the proposed device.

Gemäß einem vierten Aspekt wird eine Anordnung vorgeschlagen, welche eine Vorrichtung zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors gemäß dem dritten Aspekt umfasst. Die Anordnung ist insbesondere ein Tracker einer Aufklärungsplattform, ein Flugkörper, beispielsweise ein Lenkflugkörper, oder ein Luftfahrzeug, beispielsweise ein Flugzeug oder eine Drohne. Durch die Verwendung der Vorrichtung wird die Reichweite der Anordnung erhöht. Insbesondere werden auch die Berechnungen von Rendezvous-Punkten zwischen getrackten Zielobjekten und Angriffsmitteln, wie Raketen, verbessert.According to a fourth aspect, an arrangement is proposed, which comprises a device for processing interference pixels on a detector surface of an image detector according to the third aspect. The arrangement is in particular a tracker of a reconnaissance platform, a missile, for example a guided missile, or an aircraft, for example an aircraft or a drone. By using the device, the range of the arrangement is increased. In particular, the calculations of rendezvous points between tracked targets and offenses such as missiles are also improved.

Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.Further possible implementations of the invention also include not explicitly mentioned combinations of features or embodiments described above or below with regard to the exemplary embodiments. The skilled person will also add individual aspects as improvements or additions to the respective basic form of the invention.

Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.Furthermore, the invention will be explained in more detail by means of preferred embodiments with reference to the attached figures.

1 zeigt ein schematisches Ablaufdiagramm eines ersten Ausführungsbeispiels eines Verfahrens zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors; 1 shows a schematic flow diagram of a first embodiment of a method for processing interference pixels on a detector surface of an image detector;

2 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels eines Bilddetektors; 2 shows a schematic block diagram of an embodiment of an image detector;

3 zeigt ein schematisches Ablaufdiagramm eines zweiten Ausführungsbeispiels eines Verfahrens zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors; 3 shows a schematic flow diagram of a second embodiment of a method for processing interference pixels on a detector surface of an image detector;

4 zeigt eine schematische Ansicht eines Ausführungsbeispiels eines mittels des Bilddetektors der 1 aufgenommenen Bildes; 4 shows a schematic view of an embodiment of a means of the image detector of 1 recorded image;

5 zeigt eine schematische Ansicht eines Ausführungsbeispiels eines mittels des Bilddetektors der 1 aufgenommenen und verschobenen Bildes mit einem Störpixel; 5 shows a schematic view of an embodiment of a means of the image detector of 1 taken and shifted image with a noise pixel;

6 zeigt eine schematische Ansicht eines Ausführungsbeispiels eines mittels des Bilddetektors der 1 aufgenommenen und verschobenen Bildes ohne Störpixel; 6 shows a schematic view of an embodiment of a means of the image detector of 1 recorded and shifted image without interfering pixels;

7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels eines Anzeigegeräts; 7 shows a schematic block diagram of an embodiment of a display device;

8 zeigt ein schematisches Ablaufdiagramm eines ersten Ausführungsbeispiels für das Bestimmen eines Signal-Missverhältnisses eines Pixels; 8th shows a schematic flow diagram of a first embodiment for determining a signal mismatch of a pixel;

9 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbeispiels für das Bestimmen eines Signal-Missverhältnisses eines Pixels; 9 Fig. 12 is a schematic block diagram of a second embodiment for determining a signal mismatch of a pixel;

10 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels einer Vorrichtung zur Verarbeitung von Störpixeln auf einer Detektorfläche eines Bilddetektors; und 10 shows a schematic block diagram of an embodiment of a device for processing interference pixels on a detector surface of an image detector; and

11 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels eines Flugkörper mit einer Vorrichtung gemäß 10. 11 shows a schematic block diagram of an embodiment of a missile with a device according to 10 ,

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen, sofern nichts anderes angegeben ist. In the figures, identical or functionally identical elements are provided with the same reference numerals, unless stated otherwise.

In 1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Verarbeitung von Störpixeln S (siehe 5) auf einer Detektorfläche 11 eines Bilddetektors 10 dargestellt. In 1 is a schematic flow diagram of an embodiment of a method for processing interference pixels S (see 5 ) on a detector surface 11 of an image detector 10 shown.

Ein schematisches Blockschaltbild eines Ausführungsbeispiels eines solchen Bilddetektors 10 ist in 2 gezeigt. Der Bilddetektor 10 der 2 umfasst einen auf der Detektorfläche 11 angeordneten Detektor-Array 12. Der Detektor-Array 12 hat eine Vielzahl von Detektorelementen 13 zur Bereitstellung von Pixeln P. Die Detektorelemente 13 sind in einer Matrix auf dem Detektor-Array 12 angeordnet. Aus Gründen der Übersichtlichkeit ist der Detektor-Array 12 auf der Detektorfläche 11 der 2 nur in der linken oberen Ecke angedeutet. Tatsächlich ist der Detektor-Array 12 auf der gesamten Detektorfläche 11 angeordnet. Ferner ist aus Gründen der Veranschaulichung nur ein Pixel der Vielzahl der Pixel mit einem P bezeichnet. Das jeweilige Detektorelement 13 stellt für das jeweilige Pixel P ausgangsseitig einen Signalwert bereit. Das Pixel P kann auch als Bild, Bildzelle oder Bildelement bezeichnet werden. Der Detektor-Array 12 stellt insbesondere eine digitale Rastergraphik dar, wobei die Pixel P die einzelnen Farbwerte der digitalen Rastergraphik sind.A schematic block diagram of an embodiment of such an image detector 10 is in 2 shown. The image detector 10 of the 2 includes one on the detector surface 11 arranged detector array 12 , The detector array 12 has a variety of detector elements 13 for providing pixels P. The detector elements 13 are in a matrix on the detector array 12 arranged. For clarity, the detector array 12 on the detector surface 11 of the 2 indicated only in the upper left corner. Actually, the detector array 12 on the entire detector surface 11 arranged. Further, for illustrative purposes, only one pixel of the plurality of pixels is designated by a P. The respective detector element 13 provides a signal value for the respective pixel P on the output side. The pixel P may also be referred to as an image, picture cell or picture element. The detector array 12 represents in particular a digital raster graphics, wherein the pixels P are the individual color values of the digital raster graphics.

Das Verfahren gemäß 1 umfasst die folgenden Schritte 101 und 102:
In Schritt 101 wird ein mittels des Bilddetektors 10 aufgenommenes Bild B1 (siehe 4) in Bezug auf die Detektorfläche 11 zum Detektieren von Störpixeln S auf der Detektorfläche 11 verschoben (siehe 5, 6). Dabei wird der Detektor-Array 12 insbesondere um einen vorbestimmten Verschiebeweg W in eine vorbestimmte Richtung R verschoben. Der Verschiebeweg W entspricht insbesondere einer bestimmten Pixelanzahl. Beispielsweise kann ein Verschiebeweg einem Pixel oder zwei Pixeln entsprechen. Der Detektor-Array 12 wird insbesondere mit Piezoelementen verschoben. Dabei kann jedem Detektorelement 13 des Detektor-Arrays 12 genau ein Piezoelement zugeordnet sein.
The method according to 1 includes the following steps 101 and 102 :
In step 101 becomes one by means of the image detector 10 taken picture B1 (see 4 ) with respect to the detector surface 11 for detecting interference pixels S on the detector surface 11 moved (see 5 . 6 ). Thereby the detector array becomes 12 in particular shifted by a predetermined displacement W in a predetermined direction R. The displacement path W corresponds in particular to a specific number of pixels. For example, a displacement may correspond to one pixel or two pixels. The detector array 12 is moved in particular with piezo elements. In this case, each detector element 13 of the detector array 12 be associated with exactly one piezoelectric element.

Das Verschieben gemäß Schritt 101 wird insbesondere in vorbestimmten Zeitinterwallen durchgeführt. Die Zeitintervalle sind insbesondere kleiner als eine Sekunde.Moving according to step 101 is carried out in particular at predetermined time intervals. The time intervals are in particular less than one second.

In Schritt 102 wird die Verschiebung des Schrittes 101 bei einer Anzeige 21 des aufgenommenen Bildes B2 (siehe 5), B3 (siehe 6) durch ein Anzeigegerät 20 (siehe 7) kompensiert. Insbesondere wird die Verschiebung gemäß Schritt 101 durch das Anzeigegerät 20 elektronisch kompensiert. Dabei wird vorzugsweise das Bild B1 mittels des Bilddetektors 10 mit einer ersten Frequenz f1 aufgenommen. Das aufgenommene Bild B2, B3 wird mit einer zweiten Frequenz f2 angezeigt, wobei die erste Frequenz f1 größer oder gleich einem Doppelten der zweiten Frequenz f2 ist (f1 ≥ 2·f2).In step 102 will be the shift of the step 101 at a display 21 of the captured image B2 (see 5 ), B3 (see 6 ) through a display device 20 (please refer 7 ) compensated. In particular, the shift according to step 101 through the display device 20 electronically compensated. In this case, the image B1 is preferably by means of the image detector 10 recorded at a first frequency f1. The captured image B2, B3 is displayed at a second frequency f2, where the first frequency f1 is greater than or equal to twice the second frequency f2 (f1 ≥ 2 · f2).

Insbesondere werden die Schritte 101 und 102 aufeinander synchronisiert. Ferner ist es möglich, dass eine Frequenz einer äußeren Schwingungsanregung ermittelt wird und eine Korrekturfrequenz, mittels welcher die Schritte 101 und 102 durchgeführt werden, in Abhängigkeit der ermittelten Frequenz der äußeren Schwingungsanregung angepasst wird. Wenn beispielsweise der Bilddetektor 10 auf einem Fahrzeug montiert ist, so kann die Frequenz der äußeren Schwingungsanregung des Fahrzeuges ermittelt werden und die Korrekturfrequenz für die Schritte 101 und 102 in Abhängigkeit dieser angepasst werden.In particular, the steps become 101 and 102 synchronized with each other. Furthermore, it is possible that a frequency of an external vibration excitation is determined and a correction frequency, by means of which the steps 101 and 102 are performed, is adjusted depending on the determined frequency of the external vibration excitation. For example, if the image detector 10 is mounted on a vehicle, so the frequency of the external vibration excitation of the vehicle can be determined and the correction frequency for the steps 101 and 102 be adjusted depending on this.

Hierzu zeigt 4 eine schematische Ansicht eines Ausführungsbeispiels eines ausgenommenen Bildes B1. Aus Gründen der Veranschaulichung hat das Bild B1 nur ein einziges Pixel P, welches schwarz ist. Alle anderen Pixel sind weiß.This shows 4 a schematic view of an embodiment of a recessed image B1. For the sake of illustration, image B1 has only a single pixel P, which is black. All other pixels are white.

Die 5 und 6 zeigen das aufgenommene Bild B1 der 4 nach einer Verschiebung um ein Pixel nach rechts. Damit entspricht der Verschiebeweg W einem Pixel und die Verschieberichtung R ist von links nach rechts.The 5 and 6 show the taken picture B1 of the 4 after a shift to the right by one pixel. Thus, the displacement path W corresponds to a pixel and the shift direction R is from left to right.

Bei dem Bild B2 der 5 ist das Pixel P unverändert gegenüber dem nichtverschobenen Bild B1 der 4. Obgleich die 5 ein verschobenes Bild B2 zeigt, ist der Ort des schwarzen Flecks unverändert bei dem Pixel P. Folglich ist das Pixel P in der 5 ein Störpixel S.In the picture B2 the 5 For example, the pixel P is unchanged from the unblurred image B1 of FIG 4 , Although the 5 shows a shifted image B2, the location of the black spot is unchanged at the pixel P. Thus, the pixel P is in the 5 an interfering pixel S.

Demgegenüber ist bei dem Bild B3 der 6 das Pixel P verändert gegenüber dem nicht-verschobenen Bild B1 der 4. In dem Bild B3 der 5 ist der schwarze Fleck um ein Pixel nach rechts gewandert. Das Pixel P ist in dem Bild B3 der 6 weiß. Folglich ist das Pixel P in der 6 kein Störpixel. On the other hand, in the picture B3, the 6 the pixel P changes from the non-shifted image B1 4 , In the picture B3 of the 5 the black spot has moved one pixel to the right. The pixel P is in the image B3 of FIG 6 White. Consequently, the pixel P is in the 6 no noise.

Die 4 bis 6 zeigen damit, dass ein jeweiliges bestimmtes Pixel P durch eine Verschiebung des aufgenommenen Bildes in Bezug auf die Detektorfläche 11 als Störpixel S detektiert werden kann. The 4 to 6 show that a respective particular pixel P by a shift of the captured image with respect to the detector surface 11 can be detected as interference pixels S.

In 3 ist ein schematisches Ablaufdiagramm eines zweiten Ausführungsbeispiels eines Verfahrens zur Verarbeitung von Störpixeln S auf einer Detektorfläche 11 eines Bilddetektors 10 dargestellt. Das zweite Ausführungsbeispiel der 3 basiert auf dem ersten Ausführungsbeispiel der 1 und umfasst die folgenden Verfahrensschritte 301303.In 3 is a schematic flow diagram of a second embodiment of a method for processing of interference pixels S on a detector surface 11 of an image detector 10 shown. The second embodiment of the 3 is based on the first embodiment of 1 and includes the following process steps 301 - 303 ,

In Schritt 301 wird ein mittels des Bilddetektors 10 aufgenommenes Bild B1 in Bezug auf die Detektorfläche 11 (siehe 2) zum Detektieren von Störpixeln S auf der Detektorfläche 11 verschoben. Insbesondere entspricht der Schritt 301 der 3 dem Schritt 101 der 1. Aus diesen Gründen wird zur Vermeidung von Wiederholungen auf die Beschreibung des Schrittes 101 der 1 Bezug genommen. In step 301 becomes one by means of the image detector 10 taken image B1 with respect to the detector surface 11 (please refer 2 ) for detecting interference pixels S on the detector surface 11 postponed. In particular, the step corresponds 301 of the 3 the step 101 of the 1 , For these reasons, to avoid repetition on the description of the step 101 of the 1 Referenced.

In Schritt 302 wird ein bestimmtes Pixel P (siehe beispielsweise 5) als Störpixel S detektiert und als solches deklariert, wenn das bestimmte Pixel P sowohl vor dem Verschieben als auch nach dem Verschieben ein Signal-Missverhältnis zu seinen benachbarten Pixeln aufweist. Wie der Vergleich der 4 und 5 zeigt, hat das bestimmte Pixel P in der 5 sowohl vor dem Verschieben (4) als auch nach dem Verschieben (5) ein gleichbleibendes Signal-Missverhältnis zu seinen benachbarten Pixeln. Das Pixel P hat insbesondere acht benachbarte Pixel. In step 302 becomes a particular pixel P (see, for example 5 ) are detected as noise pixels S and declared as such if the particular pixel P has a signal mismatch with its neighboring pixels both before shifting and after shifting. How the comparison of 4 and 5 has the particular pixel P in the 5 both before moving ( 4 ) as well as after the move ( 5 ) a consistent signal mismatch with its neighboring pixels. In particular, the pixel P has eight adjacent pixels.

Im Gegensatz hierzu zeigt der Vergleich der 4 und 6, dass das bestimmte Pixel P vor dem Verschieben (siehe 4) und nach dem Verschieben (siehe 6) nicht ein gleiches Signal-Missverhältnis zu seinen benachbarten Pixeln aufweist. Mit anderen Worten, in der 4 ist das Pixel P schwarz und in der 6 ist das Pixel P weiß. Der schwarze Fleck wanderte in 6 aufgrund der Verschiebung um ein Pixel nach rechts.In contrast, the comparison shows the 4 and 6 that the particular pixel P before moving (see 4 ) and after moving (see 6 ) does not have an equal signal mismatch with its neighboring pixels. In other words, in the 4 is the pixel P black and in the 6 is the pixel P white. The black spot wandered in 6 due to the shift by one pixel to the right.

In Schritt 303 wird die Verschiebung des Schrittes 301 bei einer Anzeige 21 des aufgenommenen Bildes B2, B3 durch ein Anzeigegerät 20 (siehe 7) kompensiert.In step 303 will be the shift of the step 301 at a display 21 of the captured image B2, B3 by a display device 20 (please refer 7 ) compensated.

Der Schritt 303 kann insbesondere umfassen, dass bei der Anzeige 21 des aufgenommenen Bildes B2, B3 durch das Anzeigegerät 20 (siehe 7) jeweils eine Anzahl von äußeren Spalten CB (Column Black) schwarz dargestellt wird, um einen Puffer für einen horizontalen Verschiebeweg W einer der Anzahl entsprechenden Pixelanzahl von Pixeln zu schaffen. Entsprechend kann bei der Anzeige 21 auch jeweils eine Anzahl von äußeren Zeilen RB (Row Black) auf beiden Seiten der Anzeige 21 schwarz dargestellt werden, um einen Puffer für einen vertikalen Verschiebeweg W einer der Anzahl entsprechenden Pixelanzahl von Pixeln zu schaffen. Bei dem Beispiel der 7 entspricht sowohl der vertikale Puffer als auch der horizontale Puffer zwei Pixeln. Folglich sind in den Beispielen der 7 jeweils die beiden äußeren Spalten CB und die beiden äußeren Zeilen RB schwarz dargestellt.The step 303 may in particular include that when viewing 21 of the captured image B2, B3 by the display device 20 (please refer 7 ), a number of outer columns CB (Column Black) are respectively displayed in black to provide a buffer for a horizontal displacement path W of a number of pixels corresponding to the number of pixels. Accordingly, when viewing 21 also each a number of outer rows RB (Row Black) on both sides of the display 21 are displayed in black to provide a buffer for a vertical displacement path W of a number of pixels corresponding to the number of pixels. In the example of 7 Both the vertical buffer and the horizontal buffer correspond to two pixels. Consequently, in the examples of 7 in each case the two outer columns CB and the two outer rows RB are shown in black.

In 8 ist ein schematisches Ablaufdiagramm eines ersten Ausführungsbeispiels für das Bestimmen eines Signal-Missverhältnisses eines bestimmten Pixels P dargestellt.In 8th FIG. 3 is a schematic flow diagram of a first embodiment for determining a signal mismatch of a particular pixel P.

In Schritt 801 wird ein Mittelwert von Signalwerten der zu dem bestimmten Pixel P benachbarten Pixeln berechnet. In step 801 An average of signal values of the pixels adjacent to the particular pixel P is calculated.

In Schritt 802 wird ein aktueller Signalwert des bestimmten Pixels P berechnet. In step 802 a current signal value of the particular pixel P is calculated.

In Schritt 803 wird das bestimmte Pixel P als Störpixel deklariert, wenn der ermittelte aktuelle Signalwert des bestimmten Pixels P größer ist als eine Summe aus dem berechneten Mittelwert und einem Schwellwert.In step 803 If the determined current signal value of the particular pixel P is greater than a sum of the calculated mean value and a threshold value, the particular pixel P is declared as interfering pixel.

9 zeigt ein zweites Ausführungsbeispiel für das Bestimmen des Signal-Missverhältnisses des bestimmten Pixels P. 9 shows a second embodiment for determining the signal mismatch of the particular pixel P.

In Schritt 901 wird ein Median von Signalwerten der zu dem bestimmten Pixel P benachbarten Pixeln berechnet.In step 901 a median of signal values of the pixels adjacent to the particular pixel P is calculated.

In Schritt 902 wird ein aktueller Signalwert des bestimmten Pixels P ermittelt.In step 902 a current signal value of the particular pixel P is determined.

In Schritt 903 wird das bestimmte Pixel P als ein Störpixel deklariert, wenn der ermittelte aktuelle Signalwert des bestimmten Pixels P größer ist als eine Summe aus dem berechneten Median und einem Schwellwert. In step 903 For example, if the determined current signal value of the particular pixel P is greater than a sum of the calculated median and a threshold value, the particular pixel P is declared as an interfering pixel.

Vorzugsweise wird ein Signalwert eines bestimmten als Störpixel S detektierten Pixels P durch den Mittelwert oder durch den Median der zu dem bestimmten Pixel P benachbarten Pixel ersetzt.Preferably, a signal value of a specific pixel P detected as a noise pixel S is replaced by the mean value or by the median of the pixels adjacent to the particular pixel P.

Der Schwellwert gemäß 9 wie auch gemäß 8 kann insbesondere an eine aktuelle Rauschumgebung des Bilddetektors 10 angepasst werden. Die Störpixel S werden vorzugsweise unter Verwendung einer Blacklist verwaltet. Nach Verschwinden einer Störung eines als Störpixel S deklarierten bestimmten Pixels P wird dieses bestimmte Pixel P von der Blacklist wieder abgemeldet und kann als funktionsbereites Pixel P für das Gesamtbild wiederverwendet werden. The threshold according to 9 as well as according to 8th in particular to a current noise environment of the image detector 10 be adjusted. The interfering pixels S are preferably managed using a blacklist. After the disappearance of a disturbance of a certain pixel P declared as a disturbance pixel S, this particular pixel P is again deregistered from the blacklist and can be reused as a ready-to-use pixel P for the overall image.

10 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels einer Vorrichtung 30 zur Verarbeitung von Störpixeln S auf einer Detektorfläche 11 eines Bilddetektors 10. Ein Beispiel eines solchen Bilddetektors 10 ist in 2 dargestellt. 10 shows a schematic block diagram of an embodiment of a device 30 for processing interference pixels S on a detector surface 11 of an image detector 10 , An example of such an image detector 10 is in 2 shown.

Die Vorrichtung 30 der 10 umfasst eine erste Einheit 31 und eine zweite Einheit 32.The device 30 of the 10 includes a first unit 31 and a second unit 32 ,

Die erste Einheit 31 ist dazu eingerichtet, ein mittels des Bilddetektors 10 aufgenommenes Bild B1 in Bezug auf die Detektorfläche 11 zum Detektieren von Störpixeln S auf der Detektorfläche 11 zu verschieben. Beispiele für das Verschieben sind in den 5 und 6 erläutert.The first unit 31 is set up by means of the image detector 10 taken image B1 with respect to the detector surface 11 for detecting interference pixels S on the detector surface 11 to move. Examples of the move are in the 5 and 6 explained.

Die zweite Einheit 32 ist dazu eingerichtet, die Verschiebung bei einer Anzeige 21 des aufgenommenen Bildes B2, B3 durch ein Anzeigegerät 20 zu kompensieren.The second unit 32 is set up to shift in an ad 21 of the captured image B2, B3 by a display device 20 to compensate.

11 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels eines Flugkörpers 40. Der Flugkörper 40 ist beispielsweise ein Lenkflugkörper. Der Lenkflugkörper 40 umfasst eine Wärmebildkamera 41. Die Wärmebildkamera 41 integriert eine Vorrichtung 30 zur Verarbeitung von Störpixeln S, wie sie in Bezug zu 10 erläutert ist. 11 shows a schematic block diagram of an embodiment of a missile 40 , The missile 40 is for example a guided missile. The guided missile 40 includes a thermal imaging camera 41 , The thermal imager 41 integrated a device 30 for processing interference pixels S, as related to 10 is explained.

Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.Although the present invention has been described with reference to embodiments, it is variously modifiable.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010
Bilddetektor image detector
1111
Detektorfläche detector surface
1212
Detektor-Array Detector array
1313
Detektorelement detector element
2020
Anzeigegerät display
2121
Anzeige display
3030
Vorrichtung contraption
3131
erste Einheit first unit
3232
zweite Einheit second unit
4040
Flugkörper missile
4141
Wärmebildkamera Thermal camera
WW
Verschiebeweg displacement
RR
Richtung direction
PP
Pixel pixel
SS
Störpixel Störpixel
CBCB
schwarze äußere Spalten black outer columns
RBRB
schwarze äußere Zeilen black outer lines
101101
Verfahrensschritt step
102102
Verfahrensschritt step
103103
Verfahrensschritt step
301301
Verfahrensschritt step
302302
Verfahrensschritt step
303303
Verfahrensschritt step
801801
Verfahrensschritt step
802802
Verfahrensschritt step
803803
Verfahrensschritt step
901901
Verfahrensschritt step
902902
Verfahrensschritt step
903903
Verfahrensschritt step

Claims (15)

Verfahren zur Verarbeitung von Störpixeln (S) auf einer Detektorfläche (11) eines Bilddetektors (10), mit den Schritten: a) Verschieben (101) eines mittels des Bilddetektors (10) aufgenommenen Bildes (B1) in Bezug auf die Detektorfläche (11) zum Detektieren von Störpixeln (S) auf der Detektorfläche (11), und b) Kompensieren (102) der Verschiebung bei einer Anzeige (21) des aufgenommenen Bildes (B2, B3) durch ein Anzeigegerät (20). Method for processing interference pixels (S) on a detector surface ( 11 ) of an image detector ( 10 ), with the steps: a) shifting ( 101 ) one by means of the image detector ( 10 ) recorded image (B1) with respect to the detector surface ( 11 ) for detecting interference pixels (S) on the detector surface ( 11 ), and b) Compensating ( 102 ) the shift in a display ( 21 ) of the captured image (B2, B3) by a display device ( 20 ). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Bilddetektor (10) einen auf der Detektorfläche (11) angeordneten Detektor-Array (12) mit einer Vielzahl von Detektorelementen (13) zur Bereitstellung von Pixeln (P) umfasst.Method according to claim 1, characterized in that the image detector ( 10 ) one on the detector surface ( 11 ) arranged detector array ( 12 ) with a plurality of detector elements ( 13 ) for providing pixels (P). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schritt a) umfasst: Verschieben des Detektor-Arrays (12) um einen vorbestimmten Verschiebeweg (W) in eine vorbestimmte Richtung (R).Method according to Claim 2, characterized in that the step a) comprises: moving the detector array ( 12 ) by a predetermined displacement (W) in a predetermined direction (R). Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Detektor-Array (12) mittels Piezoelementen verschoben wird. Method according to claim 3, characterized in that the detector array ( 12 ) is moved by means of piezo elements. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zum Verschieben des Detektor-Arrays (12) jedem Detektorelement (13) des Detektor-Arrays (12) genau ein Piezoelement zugeordnet wird.A method according to claim 4, characterized in that for moving the detector array ( 12 ) each detector element ( 13 ) of the detector array ( 12 ) is assigned exactly one piezoelectric element. Verfahren nach einem der Ansprüche 2 bis 5, gekennzeichnet durch Detektieren (302) eines bestimmten Pixels (P) als Störpixel (S), wenn das bestimmte Pixel (P) sowohl vor dem Verschieben als auch nach dem Verschieben ein Signal-Missverhältnis zu seinen benachbarten Pixeln aufweist.Method according to one of claims 2 to 5, characterized by detecting ( 302 ) of a particular pixel (P) as a clutter pixel (S) if the particular pixel (P) has a signal mismatch with its neighboring pixels both before being shifted and after being shifted. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Bestimmen des Signal-Missverhältnisses des bestimmten Pixels (P) umfasst: – Berechnen (801) eines Mittelwerts von Signalwerten der zu dem bestimmten Pixel (P) benachbarten Pixeln, – Ermitteln (802) eines aktuellen Signalwerts des bestimmten Pixels (P), und – Festlegen (803) des bestimmten Pixels (P) als Störpixel (S), wenn der ermittelte aktuelle Signalwert des bestimmten Pixels (P) größer als eine Summe aus dem berechneten Mittelwert und einem Schwellwert ist. A method according to claim 6, characterized in that determining the signal mismatch of the particular pixel (P) comprises: - calculating ( 801 ) an average of signal values of the pixels adjacent to the particular pixel (P), - determining ( 802 ) of a current signal value of the particular pixel (P), and - setting ( 803 ) of the particular pixel (P) as a clutter pixel (S) when the detected current signal value of the particular pixel (P) is greater than a sum of the calculated average value and a threshold value. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Bestimmen des Signal-Missverhältnisses des bestimmten Pixels (P) umfasst: – Berechnen (901) eines Median von Signalwerten der zu dem bestimmten Pixel (P) benachbarten Pixeln, – Ermitteln (902) eines aktuellen Signalwerts des bestimmten Pixels (P), und – Festlegen (903) des bestimmten Pixels (P) als Störpixel (S), wenn der ermittelte aktuelle Signalwert des bestimmten Pixels (P) größer als eine Summe aus dem berechneten Median und einem Schwellwert ist. A method according to claim 6, characterized in that determining the signal mismatch of the particular pixel (P) comprises: - calculating ( 901 ) a median of signal values of the pixels adjacent to the particular pixel (P), - Determine ( 902 ) of a current signal value of the particular pixel (P), and - setting ( 903 ) of the particular pixel (P) as a clutter pixel (S) when the detected current signal value of the particular pixel (P) is greater than a sum of the calculated median and a threshold value. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Schritt a) und der Schritt b) aufeinander synchronisiert werden.Method according to one of claims 1 to 8, characterized in that the step a) and the step b) are synchronized with each other. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass bei der Anzeige (21) des aufgenommenen Bildes (B2, B3) durch das Anzeigegerät (20) jeweils eine Anzahl von äußeren Spalten (CB) auf beiden Seiten der Anzeige (21) schwarz dargestellt wird, um einen Puffer für einen horizontalen Verschiebeweg (W) einer der Anzahl entsprechenden Pixelanzahl von Pixeln zu schaffen.Method according to one of claims 1 to 9, characterized in that in the display ( 21 ) of the captured image (B2, B3) by the display device ( 20 ) each have a number of outer columns (CB) on both sides of the display ( 21 ) is displayed in black to provide a buffer for a horizontal displacement (W) of a number of pixels corresponding to the number of pixels. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass bei der Anzeige (21) des aufgenommenen Bildes (B2, B3) durch das Anzeigegerät (20) jeweils eine Anzahl von äußeren Zeilen (RB) auf beiden Seiten der Anzeige (21) schwarz dargestellt wird, um einen Puffer für einen vertikalen Verschiebeweg (W) einer der Anzahl entsprechenden Pixelanzahl von Pixeln zu schaffen.Method according to one of claims 1 to 10, characterized in that in the display ( 21 ) of the captured image (B2, B3) by the display device ( 20 ) each have a number of outer rows (RB) on both sides of the display ( 21 ) is displayed in black to provide a buffer for a vertical displacement path (W) of a number of pixels corresponding to the number of pixels. Verfahren nach einem der Ansprüche 1 bis 11, gekennzeichnet durch Aufnehmen des Bildes (B1) mittels des Bilddetektors (10) mit einer ersten Frequenz, und Anzeigen des aufgenommenen Bildes (B2, B3) mit einer zweiten Frequenz, wobei die erste Frequenz größer oder gleich einem Doppelten der zweiten Frequenz ist.Method according to one of Claims 1 to 11, characterized by taking the image (B1) by means of the image detector ( 10 ) at a first frequency, and displaying the captured image (B2, B3) at a second frequency, the first frequency being greater than or equal to twice the second frequency. Computerprogrammprodukt, welches auf einer programmgesteuerten Einrichtung die Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 12 veranlasst.Computer program product, which causes the execution of a method according to one of claims 1 to 12 on a program-controlled device. Vorrichtung (30) zur Verarbeitung von Störpixeln (S) auf einer Detektorfläche (11) eines Bilddetektors (10), mit: – einer ersten Einheit (31) zum Verschieben eines mittels des Bilddetektors (10) aufgenommenen Bildes (B1) in Bezug auf die Detektorfläche (11) zum Detektieren von Störpixeln (S) auf der Detektorfläche (11), und – einer zweiten Einheit (32) zum Kompensieren der Verschiebung bei einer Anzeige (21) des aufgenommenen Bildes (B2, B3) durch ein Anzeigegerät (20). Contraption ( 30 ) for processing interference pixels (S) on a detector surface ( 11 ) of an image detector ( 10 ), with: - a first unit ( 31 ) for moving a by means of the image detector ( 10 ) recorded image (B1) with respect to the detector surface ( 11 ) for detecting interference pixels (S) on the detector surface ( 11 ), and - a second unit ( 32 ) for compensating the shift in a display ( 21 ) of the captured image (B2, B3) by a display device ( 20 ). Flugkörper, insbesondere Lenkflugkörper, mit einer Vorrichtung (30) zur Verarbeitung von Störpixeln (S) auf einer Detektorfläche (11) eines Bilddetektors (10) nach Anspruch 14.Missile, in particular guided missile, with a device ( 30 ) for processing interference pixels (S) on a detector surface ( 11 ) of an image detector ( 10 ) according to claim 14.
DE102015114009.8A 2015-08-24 2015-08-24 Method and device for processing interference pixels on a detector surface of an image detector Withdrawn DE102015114009A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102015114009.8A DE102015114009A1 (en) 2015-08-24 2015-08-24 Method and device for processing interference pixels on a detector surface of an image detector
PCT/EP2016/061540 WO2017032469A1 (en) 2015-08-24 2016-05-23 Method and device for processing noise pixels on a detector surface of an image detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015114009.8A DE102015114009A1 (en) 2015-08-24 2015-08-24 Method and device for processing interference pixels on a detector surface of an image detector

Publications (1)

Publication Number Publication Date
DE102015114009A1 true DE102015114009A1 (en) 2017-03-02

Family

ID=56098221

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015114009.8A Withdrawn DE102015114009A1 (en) 2015-08-24 2015-08-24 Method and device for processing interference pixels on a detector surface of an image detector

Country Status (2)

Country Link
DE (1) DE102015114009A1 (en)
WO (1) WO2017032469A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018003670A1 (en) * 2018-05-05 2019-11-07 Diehl Defence Gmbh & Co. Kg Method for evaluating image data of a matrix detector

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3418394C2 (en) * 1984-05-17 1986-07-17 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Image recording and image processing methods and devices for video cameras carried in aircraft
DE19525153A1 (en) * 1995-07-11 1996-01-04 Michael Dr Arnold Opto-electronic micro-scanning method
DE19816003A1 (en) * 1998-04-09 1999-11-04 Aeg Infrarot Module Gmbh Gray value correction method for image from digital infrared camera
DE10043961A1 (en) * 2000-09-06 2002-04-04 Fraunhofer Ges Forschung Combined standard video and high-speed camera
DE10209552A1 (en) * 2002-03-04 2003-10-02 Plettac Ag Method and device for compensating defective pixels of a CCD sensor
DE102004061978A1 (en) * 2004-12-23 2006-07-13 Lfk-Lenkflugkörpersysteme Gmbh Method and apparatus for replacing defective pixels in Focal Plane Array cameras
DE102009008770A1 (en) * 2009-02-13 2010-08-19 Hella Kgaa Hueck & Co. Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data
DE102014214750B3 (en) * 2014-07-28 2015-06-11 Reimar Lenz Image acquisition system with fast-vibrating global shutter CMOS sensor

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4748507A (en) * 1986-10-17 1988-05-31 Kenneth Gural Solid state imaging device having means to shift the image between scans and associated circuitry to improve the scanned image
US5323334A (en) * 1992-12-04 1994-06-21 Hughes Aircraft Company Sensor system having nonuniformity suppression with image preservation
JP4548128B2 (en) * 2005-01-26 2010-09-22 ソニー株式会社 Defect detection apparatus, defect detection method, and imaging apparatus
US7684634B2 (en) * 2006-08-29 2010-03-23 Raytheon Company System and method for adaptive non-uniformity compensation for a focal plane array
JP4900283B2 (en) * 2008-02-29 2012-03-21 日本電気株式会社 Infrared imaging device and fixed pattern noise correction method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3418394C2 (en) * 1984-05-17 1986-07-17 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Image recording and image processing methods and devices for video cameras carried in aircraft
DE19525153A1 (en) * 1995-07-11 1996-01-04 Michael Dr Arnold Opto-electronic micro-scanning method
DE19816003A1 (en) * 1998-04-09 1999-11-04 Aeg Infrarot Module Gmbh Gray value correction method for image from digital infrared camera
DE10043961A1 (en) * 2000-09-06 2002-04-04 Fraunhofer Ges Forschung Combined standard video and high-speed camera
DE10209552A1 (en) * 2002-03-04 2003-10-02 Plettac Ag Method and device for compensating defective pixels of a CCD sensor
DE102004061978A1 (en) * 2004-12-23 2006-07-13 Lfk-Lenkflugkörpersysteme Gmbh Method and apparatus for replacing defective pixels in Focal Plane Array cameras
DE102009008770A1 (en) * 2009-02-13 2010-08-19 Hella Kgaa Hueck & Co. Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data
DE102014214750B3 (en) * 2014-07-28 2015-06-11 Reimar Lenz Image acquisition system with fast-vibrating global shutter CMOS sensor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018003670A1 (en) * 2018-05-05 2019-11-07 Diehl Defence Gmbh & Co. Kg Method for evaluating image data of a matrix detector
DE102018003670B4 (en) * 2018-05-05 2020-02-27 Diehl Defence Gmbh & Co. Kg Method for evaluating image data from a matrix detector

Also Published As

Publication number Publication date
WO2017032469A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
DE69328154T2 (en) Sensor device and method with suppression of non-uniformities and simultaneous preservation of image content
DE2938130C3 (en) System for reducing interference or noise in an image signal
DE60215726T2 (en) Detection and correction of bad pixels in an image capture device
DE3708683C2 (en) Method for determining changes in position of a moving image sensor platform
DE4411179A1 (en) Image capture device
DE102012213189B4 (en) Imaging array with photodiodes of different light sensitivities and associated image restoration processes
DE102019122667A1 (en) Method for suppressing image noise in a video image stream, as well as the associated medical image recording system and computer program product
DE4124985C1 (en) Image tracking system
DE69225264T2 (en) Minimum difference processor
DE102015103785A1 (en) Method and device for calibrating a camera
DE202016007867U1 (en) Control the line of sight angle of an image processing platform
DE102006001904B4 (en) Method and device for automatically adjusting surveillance image fields based on image change
EP3635677B1 (en) Method and device for image correction
EP2567539B1 (en) Imaging device and method
DE102015105161A1 (en) An apparatus and method for detecting movement of an object in a target space
DE102018124401A1 (en) Method for taking an image with a particle microscope
EP3634003A1 (en) Method and device for time synchronization of the optical transmission of data in the free space
DE112008000263B4 (en) Method and apparatus for calculating a focus metric
DE102015114009A1 (en) Method and device for processing interference pixels on a detector surface of an image detector
EP4049445B1 (en) Method for generating an output signal of a pdaf pixel
DE102019133515B3 (en) Method and device for parallax determination of recordings of a multi-lens camera system
EP1594086B1 (en) Method of capturing and displaying a x-ray image stored in a phosphor sheet.
DE102004016585B4 (en) Method for noise correction in a flat panel detector
WO2017093227A1 (en) Method and device for image correction
DE10392156T5 (en) Imaging device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005367000

Ipc: H04N0025680000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee