DE102011106814A1

DE102011106814A1 - Method of image analysis and/or image processing of infrared image, involves performing segmentation of selected objects in infrared image and performing object-oriented image analysis and image processing step for segmented object

Info

Publication number: DE102011106814A1
Application number: DE102011106814A
Authority: DE
Inventors: Matthias Schmieder; Martin Stratmann; Markus Appenzeller
Original assignee: Testo SE and Co KGaA
Current assignee: Testo SE and Co KGaA
Priority date: 2011-07-07
Filing date: 2011-07-07
Publication date: 2013-01-10
Anticipated expiration: 2031-07-08
Also published as: DE102011106814B4

Abstract

The method involves performing segmentation of selected objects in infrared image by selecting pixels in infrared image. The object-oriented computer aided image analysis and image processing step is performed for the segmented object. The segmented object is displayed on display unit. The learning mode for segmented object is extracted and/or object-oriented information is stored during learning mode. An independent claim is included for thermal image camera.

Description

Die Erfindung betrifft ein Verfahren zur Bildanalyse und/oder Bildbearbeitung eines IR-Bildes.The invention relates to a method for image analysis and / or image processing of an IR image.

Die Erfindung betrifft weiter ein Wärmebildkamera-Set mit einer Wärmebildkamera und Bildverarbeitungsmitteln.The invention further relates to a thermal imaging camera set with a thermal imaging camera and image processing means.

Es ist bekannt, mit Wärmebildkameras IR-Bilder aufzunehmen. Dabei wird das IR-Bild erstellt, indem das Ausgangssignal eines IR-Strahlungsdetektors ausgewertet und verarbeitet wird. Ein IR-Bild kann somit aus Rohdaten des Detektors, aus offset-korrigierten Daten des Detektors oder aus radiometrischen Daten bestehen. Das IR-Bild kann als Einzelbild oder als Teil einer IR-Videosequenz aufgenommen worden sein.It is known to take IR images with thermal imaging cameras. The IR image is created by evaluating and processing the output signal of an IR radiation detector. An IR image can thus consist of raw data from the detector, offset-corrected data from the detector or radiometric data. The IR image may have been taken as a frame or as part of an IR video sequence.

Zur Visualisierung von IR-Bildern ist es üblich, das aufbereitete Messergebnis in Falschfarben-Darstellungen darzustellen.For the visualization of IR images, it is customary to display the processed measurement result in false color representations.

Dazu wird eine Farbpalette verwendet, welche die Umsetzung von Temperaturmesswerten in einfach visuell zu erfassende Farbwerte vorgibt.For this purpose, a color palette is used, which specifies the conversion of temperature measured values into easily visually to be detected color values.

Es hat sich herausgestellt, dass bei großen Kontrasten in den IR-Bildern unbefriedigende Ergebnisse in der Darstellung erreicht werden. Beispielsweise kann dies auftreten, wenn sogenannte hot spots vor oder hinter wesentlich kühleren Umgebungen betrachtet werden.It has been found that at large contrasts in the IR images unsatisfactory results are achieved in the presentation. For example, this can occur when so-called hot spots are viewed in front of or behind much cooler environments.

Die Farbpalette, die oft eine mehr oder weniger lineare Umsetzung der Temperaturwerte in Farbwerte erlaubt, bedarf dann einer Anpassung auf den individuell dargestellten Fall.The color palette, which often allows a more or less linear conversion of the temperature values into color values, then needs to be adapted to the individually presented case.

Um aussagekräftige Messwerte zu erhalten, ist es zudem erforderlich, möglichst genau den Emissionsgrad und den Reflexionsgrad der betrachteten Szene zu kennen. Die Aufnahme von IR-Bildern erfordert daher in der Regel die langjährige Erfahrung eines Spezialisten, ohne welche sich leicht Mess- oder Verarbeitungsfehler einschleichen können.In order to obtain meaningful measurements, it is also necessary to know as accurately as possible the emissivity and the reflectance of the observed scene. Therefore, the acquisition of IR images usually requires many years of experience of a specialist, without which easily errors in measurement or processing can creep.

Der Erfindung liegt die Aufgabe zugrunde, die Erstellung von aussagekräftigen IR-Bildern zu vereinfachen.The invention has for its object to simplify the creation of meaningful IR images.

Erfindungsgemäß ist zur Lösung der Aufgabe bei einem Verfahren der eingangs genannten Art vorgesehen, dass in dem IR-Bild mittels Segmentierung wenigstens ein Objekt ausgezeichnet und zur Weiterverarbeitung bereitgestellt wird und dass für das segmentierte Objekt wenigstens ein weiterer Bildanalyse- oder Bildbearbeitungsschritt ausgeführt wird.According to the invention, in order to achieve the object in a method of the aforementioned type, at least one object is selected in the IR image by segmentation and provided for further processing, and at least one further image analysis or image processing step is carried out for the segmented object.

Die Erfindung bietet so den Vorteil, dass die Bildanalyse- oder Bildbearbeitungsschritte zur Aufbereitung der aufgenommenen Messdaten, des IR-Rohbildes, in intelligenter Weise an den dargestellten Inhalt des IR-Bildes angepasst werden können. Es ist mit der Erfindung nicht mehr erforderlich, den gewünschten Bildanalyse- oder Bildbearbeitungsschritt für das gesamte IR-Bild gleichermaßen durchzuführen, sondern es ist eine maßgeschneiderte und zielgerichtete Aufbereitung möglich. Die segmentierten Objekte sind somit voneinander und vom Hintergrund separierbar und anschließend einzeln mit Bildanalyse- oder Bildverarbeitungsschritten manipulierbar.The invention thus offers the advantage that the image analysis or image processing steps for processing the recorded measurement data, the IR raw image, can be adapted in an intelligent manner to the displayed content of the IR image. It is no longer necessary with the invention to carry out the desired image analysis or image processing step equally for the entire IR image, but tailor-made and targeted processing is possible. The segmented objects are thus separable from each other and from the background and then manipulated individually with image analysis or image processing steps.

Beispielsweise kann vorgesehen sein, dass die Segmentierung die Auswahl wenigstens eines Bildpunktes in dem IR-Bild umfasst. Von Vorteil ist dabei, dass das Objekt für den Bildanalyse- oder Bildbearbeitungsschritt dadurch ausgezeichnet werden kann, dass zunächst ein dem Objekt zugeordneter Bildpunkt ausgewählt wird und dass für diesen Bildpunkt in einem an sich aus der Verarbeitung von Fotografien im sichtbaren Spektralbereich bekannten Segmentierungsalgorithmus das Objekt ausgewählt wird.For example, it can be provided that the segmentation comprises the selection of at least one pixel in the IR image. The advantage here is that the object for the image analysis or image processing step can be characterized in that first a pixel assigned to the object is selected and that selected for this pixel in a known from the processing of photographs in the visible spectral segmentation algorithm, the object becomes.

Hierbei kann vorgesehen sein, dass parallel zu dem IR-Bild ein VIS-Bild im sichtbaren Spektralbereich aufgenommen wird und dass für das VIS-Bild die Segmentierung durchgeführt wird und dass anschließend das segmentierte Objekt anhand einer Korrespondenz zwischen IR-Bild und VIS-Bild im IR-Bild ausgezeichnet wird. Bevorzugt erfolgt jedoch die Segmentierung direkt im IR-Bild.In this case, provision may be made for a VIS image to be recorded in the visible spectral range parallel to the IR image, and for the VIS image to be segmented, and then for the segmented object to be based on a correspondence between the IR image and the VIS image IR image is awarded. Preferably, however, the segmentation takes place directly in the IR image.

Günstig ist es, wenn die Segmentierung automatisiert durchgeführt wird. Dies kann beispielsweise dadurch erfolgen, dass zunächst ein Bildpunkt als Seed point oder Startpunkt und ein Startmodell als Bereich des IR-Bildes (oder VIS-Bildes) festgelegt werden und dass in dem Startmodell ein Strukturelement, ein sogenanntes Texon, als derjenige Baustein des Bildes bestimmt wird, für welchen die Intensitätsverteilung oder ein anderes strukturelles Merkmal bei Variation über das Startmodell der gesamten Intensitätsverteilung oder dem gesamten strukturellen Merkmal des Startmodells am ähnlichsten ist. Hierbei kann anschließend die Region außerhalb des Startmodells im bearbeiteten Bild ermittelt werden, die eine hohe Ähnlichkeit mit dem Texon aufweist, und es kann die so ermittelte Region mit Hilfe einer Entwicklungsgleichung propagiert werden. Das durch die Propagierung entstandene Modell kann nun erneut als Startmodell verwendet werden, bis eine Konvergenz des Verfahrens feststellbar ist.It is favorable if the segmentation is carried out automatically. This can be done, for example, by first defining a pixel as a seed point or starting point and a starting model as a region of the IR image (or VIS image), and in the starting model determining a structural element, a so-called Texon, as the building block of the image for which the intensity distribution or other structural feature is most similar in variation over the start model of the overall intensity distribution or the overall structural feature of the start model. In this case, subsequently the region outside the start model in the processed image can be determined, which has a high similarity to the Texon, and the region determined in this way can be propagated using an evolution equation. The model resulting from the propagation can now be used again as a starting model until a convergence of the method can be established.

Bei einer Ausgestaltung der Erfindung kann vorgesehen sein, dass wenigstens zwei segmentierbare Objekte in dem IR-Bild zur Auswahl bereitgestellt werden. Beispielsweise können im IR-Bild die sinnvoll möglichen Segmentierungen zunächst automatisch rechnergestützt erkannt und anschließend zur Auswahl angeboten werden.In one embodiment of the invention, it can be provided that at least two segmentable objects in the IR image are made available for selection. For example, in the IR image the meaningful possible segmentation first automatically detected computer-aided and then offered for selection.

Von Vorteil ist dabei, dass der Benutzer auf einfache Weise kritische Aufnahmesituationen, in denen mehrere Objekte jeweils Kandidaten für Messfehler darstellen und/oder eine individuelle Nachbearbeitung erfordern, individuell bearbeiten kann.The advantage here is that the user can easily edit critical recording situations in which multiple objects each represent candidates for measurement errors and / or require individual post-processing, individually.

Zur Automatisierung der Segmentierung ist es günstig, wenn die Segmentierung wenigstens eine Merkmalsdetektion umfasst. Von Vorteil ist dabei, dass während der Segmentierung bereits Informationen über eine Objektklasse, zu welcher das segmentierte Objekt gehört, gewinnbar sind. Zu diesen Informationen kann in einer Zuordnungstabelle wenigstens ein objektbezogener Parameter ausgelesen werden, mit welchem der Bildanalyse- oder Bildbearbeitungsschritt parametrierbar ist oder parametriert wird, beispielsweise gemäß einer Voreinstellung.To automate the segmentation, it is favorable if the segmentation comprises at least one feature detection. It is advantageous in this context that information about an object class to which the segmented object belongs can already be obtained during the segmentation. For this information, at least one object-related parameter with which the image analysis or image processing step can be parameterized or parameterized, for example according to a presetting, can be read out in an assignment table.

Besonders günstig ist es, wenn die Merkmalsdetektion wenigstens eine Kanten- und/oder Eckendetektion umfasst.It is particularly advantageous if the feature detection comprises at least one edge and / or corner detection.

Zur automatisierten Erkennung von Objekten kann vorgesehen sein, dass die Segmentierung wenigstens eine Detektion geschlossener Linien oder Konturen umfasst. Von Vorteil ist dabei, dass vollständig abgebildete Objekte einfach anhand von geschlossenen Linien identifizierbar sind. Besonders günstig ist es, wenn die Detektion nach der Polar-Log-Methode erfolgt, welche aus der Objekterkennung in der sichtbaren Fotografie- und Bildbearbeitung bekannt ist. Bei dieser wird die sogenannte Edge-map in einen Polar-Raum transformiert, um die Ränder eines Objekts schneller auffinden zu können. Besonders günstig ist es, wenn das Zentrum der Polar-Log-Darstellung in den oder einen anfangs ausgewählten Bildpunkt gelegt wird.For automated recognition of objects, it may be provided that the segmentation comprises at least one detection of closed lines or contours. The advantage here is that completely imaged objects are easily identifiable by closed lines. It is particularly advantageous if the detection takes place according to the polar-log method, which is known from object recognition in visible photography and image processing. In this case, the so-called edge map is transformed into a polar space in order to find the edges of an object faster. It is particularly favorable if the center of the polar log representation is placed in the or an initially selected pixel.

Bei einer Ausgestaltung der Erfindung kann vorgesehen sein, dass das IR-Bild mit einer Wärmebildkamera aufgenommen wird.In one embodiment of the invention can be provided that the IR image is taken with a thermal imaging camera.

Hierbei kann die Wärmebildkamera mit einem Sensorfeld (FPA) von Bolometern oder in Scannertechnik ausgerüstet sein.The thermal imager can be equipped with a sensor field (FPA) of bolometers or in scanner technology.

Eine besonders einfache Weiterverarbeitung des IR-Bildes wird ermöglicht, wenn das segmentierte Objekt über eine Ausgabeeinheit ausgegeben wird.A particularly simple further processing of the IR image is made possible when the segmented object is output via an output unit.

Beispielsweise kann vorgesehen sein, dass das segmentierte Objekt an einer Anzeigeeinheit angezeigt wird, sodass ein Nutzer das Ergebnis eines erfindungsgemäß für das segmentierte Objekt ausgeführten, objektbezogenen Bildanalyse- oder Bildbearbeitungsschritt direkt wahrnehmen oder begutachten kann.For example, it can be provided that the segmented object is displayed on a display unit, so that a user can directly perceive or assess the result of an object-related image analysis or image processing step executed according to the invention for the segmented object.

Beispielsweise kann vorgesehen sein, dass der Bildanalyse- oder Bildbearbeitungsschritt ein Mitführen eines Cursors umfasst. Von Vorteil ist dabei, dass über eine Sequenz von IR-Bildern die Bewegung eines aus dem IR-Bild segmentierten Objektes verfolgt werden kann.For example, it can be provided that the image analysis or image processing step comprises carrying a cursor. The advantage here is that the movement of a segmented from the IR image object can be tracked over a sequence of IR images.

Beispielsweise kann vorgesehen sein, dass der Bildanalyse- oder Bildbearbeitungsschritt eine Berechnung einer exakten Temperatur einer auf das segmentierte Objekt bezogenen Relativposition umfasst. Von Vorteil ist dabei, dass die Auswahl derjenigen Bildpunkte, für welche die Temperaturen nicht nur näherungsweise, sondern mit einem aufwendigen Rechenverfahren exakt bestimmt werden, in intelligenter Weise auf den konkreten Bildinhalt abgestimmt werden kann.For example, it can be provided that the image analysis or image processing step comprises a calculation of an exact temperature of a relative position related to the segmented object. The advantage here is that the selection of those pixels for which the temperatures are determined not only approximately, but exactly with a complex calculation method, can be tuned in an intelligent manner to the concrete image content.

Es kann vorgesehen sein, dass der Bildanalyse- oder Bildbearbeitungsschritt eine Auswahl einer Farb- und/oder Grauwertpalette einer Falschfarbendarstellung umfasst. Von Vorteil ist dabei, dass große Kontraste in den Bildern dadurch aufbereitet werden können, dass für besonders heiße oder besonders kalte Objekte eine andere Farbpalette genutzt wird, als für den Bildhintergrund. Alternativ oder zusätzlich kann dies genutzt werden, um uninteressante Bildbereiche des IR-Bildes auszublenden oder mit reduzierter Intensität darzustellen.It can be provided that the image analysis or image processing step comprises a selection of a color and / or gray scale palette of a false color representation. The advantage here is that large contrasts in the images can be prepared by using a different color palette for particularly hot or especially cold objects than for the image background. Alternatively or additionally, this can be used to hide uninteresting image areas of the IR image or to represent them with reduced intensity.

Es kann auch vorgesehen sein, dass der Bildanalyse- oder Bildbearbeitungsschritt eine Eingabe oder Auswahl von wenigstens einem Emissions- und/oder Reflexionsgradwert umfasst. Von Vorteil ist dabei, dass die unterschiedlichen IR-optischen oder strahlungsphysikalischen Eigenschaften der dargestellten Objekte in dem verarbeiteten IR-Bild individuell eingestellt werden können.It may also be provided that the image analysis or image processing step comprises an input or selection of at least one emission and / or reflectance value. The advantage here is that the different IR-optical or radiation-physical properties of the objects shown in the processed IR image can be set individually.

In einer Speichereinheit können die auszeichenbaren Objekte zu Objektklassen, zusammengefasst sein, wobei zu jeder Objektklasse objektbezogene Informationen wie Emissions-, Reflexions- und/oder Transmissionsgrade hinterlegt sind.In a memory unit, the markable objects can be grouped into object classes, object-related information such as emission, reflection, and / or transmission grades being stored for each object class.

Beispielsweise kann vorgesehen sein, dass in einem Lernmodus für das segmentierte Objekt wenigstens ein Merkmal extrahiert wird. Auf diese Weise können Objektklassen geschaffen werden, die jeweils ein eigenes Set von Parametern besitzen, sodass ein später segmentiertes Objekt anhand von extrahierten Merkmalen automatisch dieser Objektklasse zugeordnet werden kann.For example, it can be provided that at least one feature is extracted in a learning mode for the segmented object. In this way, object classes can be created, each having its own set of parameters, so that a later segmented object can be automatically assigned to this object class on the basis of extracted features.

Der Bildanalyse- oder Bildbearbeitungsschritt kann auch ein Ein- oder Ausblenden des segmentierten Objekts oder des Komplements zu dem segmentierten Objekt in dem aufgenommenen IR-Bild umfassen.The image analysis or image processing step may also include fading in or out of the segmented object or complement to the segmented object in the captured IR image.

Es können auch weitere Arten von Bildanalyse- oder Bildbearbeitungsschritten vorgesehen sein.Other types of image analysis or image processing steps may also be provided.

Es kann vorgesehen sein, dass in einem oder dem Lernmodus in einem Merkmalsraum wenigstens eine objektbezogene Information zu einem segmentierten Objekt hinterlegt wird. Von Vorteil ist dabei, dass objektbezogene Informationen, wie Emissions-, Reflexions- und/oder Transmissionsgrad, den einzelnen Objektklassen zugeordnet werden können, sodass für die segmentierten Objekte, welche in die jeweiligen Objektklassen fallen, bestimmte Einstellungen für die Bildaufbereitung automatisch vorgenommen werden können.It can be provided that at least object-related information about a segmented object is stored in one or the learning mode in a feature space. The advantage here is that object-related information, such as emission, reflection and / or transmittance, the individual object classes can be assigned, so that certain settings for the image processing can be made automatically for the segmented objects that fall into the respective object classes.

Es kann auch vorgesehen sein, dass die Bildanalyse- oder Bildbearbeitungsschritte individuelle Analysefunktionen definieren, beispielsweise die Ermittlung eines minimalen Temperaturwerts, eines maximalen Temperaturwerts, eines Mittelwerts und dergleichen, für das segmentierte Objekt.It can also be provided that the image analysis or image processing steps define individual analysis functions, for example the determination of a minimum temperature value, a maximum temperature value, an average value and the like, for the segmented object.

Beispielsweise kann ein im Lernmodus extrahiertes Merkmal die geometrische Form des Objektes sein.For example, a feature extracted in the learning mode may be the geometric shape of the object.

Der Lernmodus kann bei einer Wärmebildkamera oder in der Software zur Aufbereitung von aufgenommenen IR-Bildern bereits werkseitig durchgeführt worden sein, oder es kann auch dem Nutzer die Möglichkeit eingeräumt sein, in einem Lernmodus individuelle Anwendungsfälle zu bearbeiten.The learning mode may have already been carried out at the factory in the case of a thermal imaging camera or in the software for reprocessing recorded IR images, or the user may also be given the opportunity to work on individual use cases in a learning mode.

Zur Anwendung der gelernten Regeln kann vorgesehen sein, dass in einem Anwendungsmodus zu wenigstens einem aus dem IR-Bild extrahierten Merkmal wenigstens eine objektbezogene Information in dem zugehörigen Punkt oder Bereich eines Merkmalsraums ausgelesen wird. Beispielsweise kann dies mit Hilfe einer Support Vector Machine eingerichtet sein. Von Vorteil ist dabei, dass nicht nur entschieden werden kann, welcher Objektklasse ein sogeben segmentiertes Objekt zugehört, sondern dass für das segmentierte Objekt die Einstellungen und Prozeduren, welche für die zugehörige Objektklasse angewendet werden sollen, automatisiert ausgewählt werden können.In order to apply the learned rules, provision may be made for at least one item of object-related information to be read in the associated point or area of a feature space in an application mode for at least one feature extracted from the IR picture. For example, this can be set up with the aid of a support vector machine. The advantage here is that not only can it be decided which object class belongs to a given segmented object, but that for the segmented object, the settings and procedures that are to be used for the associated object class can be selected automatically.

Besonders günstig ist es dabei, wenn die Dimension des Merkmalsraums derart eingerichtet ist oder erweitert wird, dass die Objektklassen durch Hyperebenen voneinander trennbar sind.It is particularly advantageous if the dimension of the feature space is set up or extended in such a way that the object classes can be separated from one another by hyperplanes.

Zur Lösung der Aufgabe ist bei einem Wärmebildkamera-Set der eingangs genannten Art vorgesehen, dass Bildverarbeitungsmittel zur Segmentierung wenigstens eines Objekts in einem mit der Wärmebildkamera aufgenommenen IR-Bild eingerichtet sind. Von Vorteil ist dabei, dass Objekte mittels Segmentierung ausgezeichnet werden können, für welche mit den Bildverarbeitungsmitteln ein individueller Bildanalyse- oder Bildbearbeitungsschritt ausführbar ist.In order to achieve the object, it is provided in a thermal imaging camera set of the type mentioned above that image processing means are arranged for segmentation of at least one object in an IR image recorded with the thermal imaging camera. The advantage here is that objects can be distinguished by means of segmentation, for which an individual image analysis or image processing step can be carried out with the image processing means.

Bei einer Ausgestaltung der Erfindung kann vorgesehen sein, dass die Bildverarbeitungsmittel in einem an die Wärmebildkamera angeschlossenen oder anschließbaren PC ausgebildet und eingerichtet sind und im online-Modus oder (nach der Datenübertragung der IR-Bilder) im offline-Modus betätigt werden.In one embodiment of the invention can be provided that the image processing means are formed and set up in a connected or connectable to the thermal imager PC and in online mode or (after the data transmission of the IR images) are operated in offline mode.

Eine besonders kompakte Ausgestaltung der Erfindung kann jedoch vorsehen, dass die Bildverarbeitungsmittel in die Wärmebildkamera integriert sind. Von Vorteil ist dabei, dass die Aufbereitung des aufgenommenen IR-Bildes bereits in der Wärmebildkamera erfolgen kann.However, a particularly compact embodiment of the invention can provide that the image processing means are integrated in the thermal imaging camera. The advantage here is that the processing of the recorded IR image can already be done in the thermal imaging camera.

Es kann vorgesehen sein, dass eine Ausgabeeinheit ein berührempfindliches Display aufweist, welches zur Auswahl eines segmentierten und/oder segmentierbaren Objektes und/oder eines Bildpunktes eingerichtet ist. Von Vorteil ist dabei, dass der Nutzer auf einfache Weise direkt festlegen kann, welches Objekt segmentiert werden soll. Besonders günstig ist es dabei, wenn die Ausgabeeinheit an der Wärmebildkamera ausgebildet ist. Ein weiterer Vorteil ist, dass bei Auswahl eines Bildpunktes die Bildverarbeitungsmittel das zugehörige Objekt automatisch durch Segmentierung ermitteln können, indem automatisch, also rechnergestützt, diejenigen Punkte ermittelt werden, die inhaltlich mit dem ausgewählten Bildpunkt zusammenhängen. Durch die Möglichkeit der Auswahl eines segmentierten und/oder segmentierbaren Objektes aus mehreren Objekten kann der Nutzer in die Lage versetzt werden, zwischen zwei oder mehreren segmentierten Objekten im IR-Bild auszuwählen. Der vorgesehene Bildanalyse- oder Bildbearbeitungsschritt kann dann für das ausgewählte Objekt durchgeführt werden, während der Rest des IR-Bildes unbearbeitet bleibt oder mit einem anderen Bildanalyse- oder Bildbearbeitungsschritt aufbereitet wird.It can be provided that an output unit has a touch-sensitive display, which is set up to select a segmented and / or segmentable object and / or a pixel. The advantage here is that the user can easily specify directly which object should be segmented. It is particularly advantageous if the output unit is formed on the thermal imaging camera. A further advantage is that, when a pixel is selected, the image processing means can automatically determine the associated object by segmentation by automatically, ie computer-aided, determining those points which are related in content to the selected pixel. The ability to select a segmented and / or segmentable object from multiple objects allows the user to select between two or more segmented objects in the IR image. The intended image analysis or image processing step may then be performed for the selected object while the remainder of the IR image remains unprocessed or rendered with another image analysis or image processing step.

Zur automatischen, inhaltsgerechten Auswahl des Bildanalyse- oder Bildbearbeitungsschrittes kann vorgesehen sein, dass in einer Speichereinheit ein Merkmalsraum eingerichtet ist, dessen Punkte und/oder Bereiche mit Einträgen für objektbezogene Informationen belegbar sind. Von Vorteil ist dabei, dass die objektbezogenen Informationen direkt zur Festlegung des objektbezogenen Bildanalyse- oder Bildbearbeitungsschrittes, beispielsweise zur Auswahl einer Farbpalette und/oder zur Festlegung eines Analyseprogramms, bereitgestellt und verwendbar sind. Vorzugsweise ist eine Speichereinheit in die Wärmebildkamera integriert.For automatic, content-appropriate selection of the image analysis or image processing step, it can be provided that a feature space is set up in a storage unit whose points and / or areas can be assigned entries for object-related information. It is advantageous in this context that the object-related information is provided directly for determining the object-related image analysis or image processing step, for example for selecting a color palette and / or for determining an analysis program are usable. Preferably, a storage unit is integrated in the thermal imaging camera.

Besonders günstig ist es, wenn bei dem erfindungsgemäßen Wärmebildkamera-Set Mittel zur Ausführung eines erfindungsgemäßen Verfahrens ausgebildet und eingerichtet sind. Dies kann beispielsweise durch geeignete Programmierung der Bildverarbeitungsmittel in einer Datenverarbeitungseinheit erreicht sein.It is particularly advantageous if, in the thermal imaging camera set according to the invention, means for carrying out a method according to the invention are designed and set up. This can be achieved, for example, by suitable programming of the image processing means in a data processing unit.

Die Erfindung wird nun anhand eines Ausführungsbeispiels näher beschrieben, ist aber nicht auf dieses Ausführungsbeispiel beschränkt. Weitere Ausführungsbeispiele ergeben sich durch Kombination einzelner oder mehrerer Merkmale der Schutzansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des Ausführungsbeispiels.The invention will now be described in detail with reference to an embodiment, but is not limited to this embodiment. Further exemplary embodiments result from the combination of one or more features of the protection claims with one another and / or with one or more features of the exemplary embodiment.

Es zeigt:It shows:

1: eine Wärmebildkamera eines erfindungsgemäßen Wärmebildkamera-Sets in einer Schrägansicht von vorn, 1 : a thermal imaging camera of a thermal imaging camera set according to the invention in an oblique view from the front,

2: die Wärmebildkamera gemäß 1 in einer Schrägansicht von hinten und 2 : the thermal imaging camera according to 1 in an oblique view from behind and

3: eine Prinzipdarstellung zur Erläuterung des erfindungsgemäßen Verfahrens. 3 : a schematic diagram for explaining the method according to the invention.

1 und 2 zeigen in dreidimensionalen Schrägdarstellungen jeweils unterschiedliche Ansichten eines im Ganzen mit 1 bezeichneten erfindungsgemäßen Wärmebildkamera-Sets, welches eine Wärmebildkamera 2 umfasst. 1 and 2 show in three-dimensional oblique representations each with different views of the whole 1 designated thermal imaging camera sets according to the invention, which is a thermal imaging camera 2 includes.

Die Wärmebildkamera weist in an sich bekannter Weise eine IR-Optik 3 mit einem hinter der IR-Optik 3 im Inneren der Wärmebildkamera 2 angeordneten IR-Strahlungsdetektor 4 auf.The thermal imaging camera has an IR optic in a manner known per se 3 with a behind the IR optics 3 inside the thermal imager 2 arranged IR radiation detector 4 on.

Die Wärmebildkamera 2 ist somit mit entsprechender Auswertelektronik zur Aufnahme von IR-Bildern 5 (vgl. 3) eingerichtet.The thermal imager 2 is thus with appropriate evaluation electronics for recording IR images 5 (see. 3 ) set up.

Im Inneren der Wärmebildkamera 2 ist in einer Datenverarbeitungseinheit ein Bildverarbeitungsmittel 6 ausgebildet und eingerichtet.Inside the thermal imager 2 is an image processing means in a data processing unit 6 trained and furnished.

Das Bildverarbeitungsmittel 6 ist so durch Programmierung eingerichtet, dass Objekte in einem aufgenommenen IR-Bild 5 segmentiert werden können.The image processing means 6 is set up by programming that objects in a captured IR image 5 can be segmented.

Zur Ausführung des erfindungsgemäßen Verfahrens wird daher zunächst mit der Wärmebildkamera 2 ein IR-Bild 5 aufgenommen, welches in 3 beispielhaft dargestellt ist.For carrying out the method according to the invention is therefore first with the thermal imaging camera 2 an IR image 5 recorded in which 3 is shown by way of example.

Das IR-Bild 5 stellt eine Szene 6 mit mehreren Objekten 7, 8 in einer Falschfarbendarstellung dar, wobei zur Berechnung der Falschfarbenwerte eine Farb- und/oder Grauwertpalette 9 verwendet wurde.The IR image 5 represents a scene 6 with several objects 7 . 8th in a false color representation, wherein for the calculation of the false color values a color and / or gray scale palette 9 has been used.

Die dargestellten Objekte 7, 8 im IR-Bild 5 machen aufgrund der gewählten Farb- und/oder Grauwertpalette 9 im IR-Bild 5 eine Aufbereitung des Objekts 7 erforderlich, während die Objekte 8 beispielsweise keine weitere Nachbearbeitung erfordern oder für einen Weiterverarbeitung nicht relevant sind.The presented objects 7 . 8th in the IR picture 5 make due to the selected color and / or gray scale range 9 in the IR picture 5 a preparation of the object 7 required while the objects 8th For example, require no further post-processing or are not relevant for further processing.

Daher wird in einem Segmentierungsschritt 10 das Objekt 7 automatisch segmentiert.Therefore, in a segmentation step 10 the object 7 automatically segmented.

Dies geschieht dadurch, dass das IR-Bild 5 zunächst an einer Anzeigeeinheit 11 dargestellt wird und dass ein Nutzer einen Bildpunkt 12, den der Nutzer inhaltlich dem gewünschten Objekt 7 zuordnen kann, auswählt.This happens because of the IR image 5 first on a display unit 11 is shown and that a user a pixel 12 content of the desired object 7 can assign.

Die Auswahl kann beispielsweise dadurch erfolgen, dass die Anzeigeeinheit 11 (vgl. 2) als berührempfindliches Display ausgebildet ist, und der Nutzer den Bildpunkt 12 durch entsprechende Berührung der Anzeigeeinheit 11 an der entsprechenden Position auswählt.The selection can be made, for example, by the fact that the display unit 11 (see. 2 ) is designed as a touch-sensitive display, and the user the pixel 12 by appropriate contact of the display unit 11 at the appropriate position.

Alternativ oder zusätzlich kann ein Cursor 13 mit Bedienelementen 14 (vgl. 2) auf die Position des Bildpunktes 12 verfahren werden, und es kann der unter dem Cursor 13 liegende Bildpunkt 12 ausgewählt werden.Alternatively or additionally, a cursor 13 with controls 14 (see. 2 ) to the position of the pixel 12 be moved, and it can be under the cursor 13 lying pixel 12 to be selected.

Das Bildverarbeitungsmittel 6 in der Wärmebildkamera 2 segmentiert nun rechnergestützt das zu dem Bildpunkt 12 gehörende Objekt 7, indem es eine geschlossene Kontur 16 automatisch, also rechnergestützt ermittelt, welche das Objekt 7 im IR-Bild 5 umgibt.The image processing means 6 in the thermal imager 2 now computer-aided segmented to the pixel 12 belonging object 7 by making a closed contour 16 automatically, ie computer-aided determines which object 7 in the IR picture 5 surrounds.

Dies kann beispielsweise dadurch geschehen, dass Kanten 17 in dem IR-Bild 5 mit einer Kantendetektion gesucht werden, und dass die detektierten Kanten 17 zu geschlossenen Konturen 16 zusammengesetzt werden.This can be done, for example, by using edges 17 in the IR image 5 be searched with an edge detection, and that the detected edges 17 to closed contours 16 be assembled.

Das zu segmentierende Objekt 7 ergibt sich in diesem Fall aus derjenigen Kontur 16, in deren Innerem der zuvor ausgewählte Bildpunkt 12 liegt.The object to be segmented 7 results in this case from that contour 16 , in the interior of which the previously selected pixel 12 lies.

Für das segmentierte Objekt 7 wird nun wenigstens ein Bildanalyse- oder Bildbearbeitungsschritt 18 ausgeführt, während die weiteren Objekte 8, welche nicht zur Weiterverarbeitung bereitgestellt wurden, unverändert belassen oder sogar in der Darstellungsintensität reduziert werden.For the segmented object 7 Now at least one image analysis or image processing step 18 executed while the other objects 8th , which were not provided for further processing, left unchanged or even reduced in the display intensity.

Im dargestellten Ausführungsbeispiel gemäß 3 besteht der Bildanalyse- oder Bildbearbeitungsschritt 18 in der Auswahl einer geänderten Farb- und/oder Grauwertpalette 19, welche für das Objekt 7 geeigneter ist als die Farb- und/oder Grauwertpalette 9.In the illustrated embodiment according to 3 is the image analysis or image processing step 18 in the selection of a changed color and / or gray scale palette 19 which for the object 7 more suitable than the color and / or gray scale palette 9 ,

Für viele Anwendungen ist es nützlich, dass die nicht dem Bildanalyse- oder Bildbearbeitungsschritt 18 unterworfenen Teile des IR-Bildes, insbesondere die Objekte 8, gemeinsam mit dem aufbereiteten segmentierten Objekt 7 angezeigt oder ausgegeben werden.For many applications it is useful that they are not the image analysis or image processing step 18 subject parts of the IR image, especially the objects 8th , together with the processed segmented object 7 be displayed or output.

Statt oder zusätzlich zu der Auswahl einer Farb- und/oder Grauwertpalette 19 kann für das Objekt 7 auch ein geänderter Emissionsgradwert und/oder ein geänderter Reflexionsgradwert angewendet werden, mit dem oder mit denen für das Objekt 7 sich ein geänderter Temperaturwert gegenüber dem Ausgangswert ergibt.Instead of or in addition to the selection of a color and / or gray scale palette 19 can for the object 7 also a modified emissivity value and / or a changed reflectance value can be applied with or with those for the object 7 there is a change in the temperature value from the initial value.

Es kann auch vorgesehen sein, dass für das Objekt 7 ein anderer Vergrößerungsfaktor und/oder ein anderer Helligkeitswert als für den nichtsegmentierten Bildanteil des IR-Bildes 5 angewendet wird.It can also be provided that for the object 7 another magnification factor and / or a different brightness value than for the non-segmented image portion of the IR image 5 is applied.

Das so aufbereitete IR-Bild 5 wird anschließend erneut an der Anzeigeeinheit 11 ausgegeben.The processed IR image 5 is then again on the display unit 11 output.

In der Wärmebildkamera 2 (oder in weiteren Ausführungsbeispielen in einem angeschlossenen PC) befindet sich ferner eine Speichereinheit 20, in welcher ein Merkmalsraum eingerichtet ist, dessen Punkte und/oder Bereiche mit Einträgen für objektbezogene Informationen belegt sind.In the thermal imager 2 (or in other embodiments in a connected PC) is also a memory unit 20 in which a feature space is set up, whose points and / or areas are occupied by entries for object-related information.

Das Bildverarbeitungsmittel 6 extrahiert für das segmentierte Objekt 7 eine vorgegebene Anzahl und Art von Merkmalen und ermittelt, welche Objektklassen in einem festgelegten Merkmalsraum zu dem Satz von extrahierten Merkmalen gehört.The image processing means 6 extracted for the segmented object 7 a predetermined number and type of features and determines which object classes in a specified feature space belong to the set of extracted features.

Anschließend wird die zu der Objektklasse hinterlegte objektbezogene Information, beispielsweise eine objektspezifische Farb- und/oder Grauwertpalette, ein Vergrößerungsfaktor, ein Helligkeits- oder Transparenzwert oder ein auszuführendes Analyseprogramm, automatisch aus einer Zuordnungstabelle ausgelesen, und das Bildverarbeitungsmittel wendet diese Information in einem Bildanalyse- oder Bildbearbeitungsschritt 18 automatisch auf das segmentierte Objekt 7 an.Subsequently, the object-related information stored for the object class, for example an object-specific color and / or gray value palette, a magnification factor, a brightness or transparency value or an analysis program to be executed, is automatically read from an allocation table, and the image processing means uses this information in an image analysis or image processing step 18 automatically to the segmented object 7 at.

Wird die Wärmebildkamera 2 zur Aufnahme neuerer Bilder bewegt, so wandert das Objekt 7 über das IR-Bild 5.Will the thermal imaging camera 2 moves to record newer images, so the object moves 7 over the IR image 5 ,

Das Bildverarbeitungsmittel 6 erkennt diese Bewegung und führt den Cursor 13 so nach, dass dessen Relativposition in Bezug auf das jeweils dargestellte Objekt 7 immer einen festen Wert einnimmt.The image processing means 6 recognizes this movement and guides the cursor 13 so that its relative position with respect to the respective object 7 always takes a fixed value.

Somit kann beispielsweise an der Bildposition 12 des Cursors 13 die Temperatur des segmentierten Objekts 7 über mehrere IR-Bilder 5 einer Video-Sequenz verfolgt werden, auch wenn sich das Objekt 7 zwischen den einzelnen IR-Bildern 5 bewegt oder verändertThus, for example, at the image position 12 of the cursor 13 the temperature of the segmented object 7 over several IR images 5 a video sequence will be tracked even if the object is 7 between each IR image 5 moved or changed

Bei dem Wärmebildkamera-Set 1, welches wenigstens eine Wärmebildkamera 2 und ein Bildverarbeitungsmittel 6 umfasst, ist ein Verfahren zur Bildanalyse- und/oder Bildbearbeitung eines mit der Wärmebildkamera 2 aufgenommenen IR-Bildes 5 eingerichtet, bei welchem ein angewähltes Objekt 7 in dem IR-Bild 5 automatisch rechnergestützt segmentiert und einem objektbezogenen Bildanalyse- oder Bildbearbeitungsschritt 18 unterworfen wird.In the thermal imaging camera set 1 which is at least a thermal imaging camera 2 and an image processing means 6 is a method for image analysis and / or image processing with the thermal imaging camera 2 recorded IR image 5 set up, in which a selected object 7 in the IR image 5 automatically computer-aided segmented and an object-related image analysis or image processing step 18 is subjected.

Claims

Method for image analysis and / or image processing of an IR image ( 5 ), characterized in that in the IR image ( 5 ) by segmentation ( 10 ) at least one object ( 7 . 8th ) and provided for further processing and that for the segmented object ( 7 ) at least one further image analysis or image processing step ( 18 ) is performed.

Method according to claim 1, characterized in that the segmentation ( 10 ) the selection of at least one pixel ( 12 ) in the IR image ( 5 ).

Method according to claim 1 or 2, characterized in that the segmentation ( 10 ) is carried out automatically and / or that at least two segmentable objects ( 7 . 8th ) in the IR image ( 5 ) are provided for selection.

Method according to one of claims 1 to 3, characterized in that the segmentation ( 10 ) comprises at least one feature detection, in particular at least one edge and / or corner detection, and / or that the segmentation ( 10 ) at least one detection of closed lines or contours ( 16 ), in particular according to the polar-log method.

Method according to one of claims 1 to 4, characterized in that the IR image ( 5 ) with a thermal imaging camera ( 2 ) and / or that the segmented object ( 7 ) via an output unit, in particular on a display unit ( 11 ) is shown.

Method according to one of claims 1 to 5, characterized in that the image analysis or image processing step ( 18 ) carrying a cursor ( 13 ) and / or that the image analysis or image processing step ( 18 ) a calculation an exact temperature at least one on the segmented object ( 7 ) relative position comprises.

Method according to one of claims 1 to 6, characterized in that the image analysis or image processing step ( 18 ) a selection of a color and / or gray scale palette ( 9 . 19 ) comprises a false color representation and / or that the image analysis or image processing step ( 18 ) comprises an input or selection of at least one emission and / or reflectance value.

Method according to one of claims 1 to 7, characterized in that in a learning mode for the segmented object ( 7 ) at least one feature is extracted and / or that in a learning mode in a feature space at least object-related information about a segmented object ( 7 ) is deposited.

Method according to one of claims 1 to 8, characterized in that in an application mode to at least one of the IR image ( 5 ) extracted feature at least object-related information in the associated point or area of a feature space is read out.

Thermal Camera Set ( 1 ), with a thermal imaging camera ( 2 ) and image processing means ( 6 ), characterized in that the image processing means ( 6 ) for segmentation ( 10 ) at least one object ( 7 ) in one with the thermal imager ( 2 ) recorded IR image ( 5 ) are set up.

Thermal Camera Set ( 1 ) according to claim 10, characterized in that the image processing means ( 6 ) in the thermal imager ( 2 ) are integrated and / or that an output unit ( 11 ) has a touch-sensitive display, which is used to select a segmented and / or segmentable object ( 7 ) and / or a pixel ( 12 ) is set up.

Thermal Camera Set ( 1 ) according to claim 10 or 11, characterized in that in a preferably in the thermal imaging camera ( 2 ) integrated memory unit ( 20 ) a feature space is set up, whose points and / or areas can be assigned entries for object-related information.

Thermal Camera Set ( 1 ) according to any one of claims 10 to 12, characterized in that means for carrying out a method according to one of claims 1 to 9 are formed and arranged.