[go: up one dir, main page]

WO2013072231A1 - Verfahren zur nebeldetektion - Google Patents

Verfahren zur nebeldetektion Download PDF

Info

Publication number
WO2013072231A1
WO2013072231A1 PCT/EP2012/072024 EP2012072024W WO2013072231A1 WO 2013072231 A1 WO2013072231 A1 WO 2013072231A1 EP 2012072024 W EP2012072024 W EP 2012072024W WO 2013072231 A1 WO2013072231 A1 WO 2013072231A1
Authority
WO
WIPO (PCT)
Prior art keywords
fog
image
dimensional
reduced
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2012/072024
Other languages
English (en)
French (fr)
Inventor
Mario Pavlic
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to CN201280062789.2A priority Critical patent/CN104011737B/zh
Publication of WO2013072231A1 publication Critical patent/WO2013072231A1/de
Priority to US14/278,792 priority patent/US9384401B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for detecting fog by means of a camera image or a video image.
  • Visibility estimation in the vehicle described by day which is also the subject of the document FR 2835911 B.
  • An image taken with a front camera is processed.
  • a region-growing approach extracts an image area that contains both parts of the road and parts of the sky.
  • a measuring range is defined which contains the median of the intensity values for each image line.
  • the (intensity) profile from the lowest to the highest image line of this measuring range is called the intensity function.
  • the inflection point of the intensity function defines a field of view, i. the image above which no more objects are perceptible to the driver.
  • Intensity function is defined by the image row above which the driver can no longer recognize objects. About the perspective projection and assuming a flat topography can be closed for this image line on a corresponding visibility in meters. If the image line having the inflection point is located above the center of the image, the result is a range of infinity, whereby the presence of fog can also be detected by this method.
  • the method according to the invention comprises the following steps:
  • a recording of a two-dimensional image with at least one color channel or multiple color channels is created and a gray value image is created for the at least one color channel or for each of the plurality of color channels, the value of the gray level being dependent on two independent spatial coordinates as a two-dimensional gray scale function.
  • the grayscale function is then Fourier-transformed two-dimensionally, with the
  • Points with increasingly dense fog are smaller than when taking a gray-scale image of the same scene without fog.
  • image without fog clearly sharper edges and higher contrasts are recognizable than with the setting with fog.
  • a white pavement marking blurs on an asphalt surface in fog, while it is clearly visible in sunshine contoured.
  • a Fourier transformation for example of a one-dimensional step function, delivers non-zero contributions in the frequency domain, even at high frequencies, which vanish, for example, in the Fourier analysis of a one-dimensional Gaussian bell curve.
  • the Fourier transformation thus offers the advantage that the "degree" of the occurrence of fog is scaled in the frequency domain: In the case of fog, the amount of Fourier transform is concentrated around the zero point of the frequency coordinates;
  • the inventive method is particularly advantageous to detect fog based on camera or video stills.
  • An image in black and white is based on a single color channel.
  • a picture in color is usually based on three color channels - a red channel, a green channel and a blue channel.
  • Each channel of the image has an intensity distribution that is called
  • the two-dimensional gray scale image is normalized.
  • a standardization of the gray scale image offers the advantage that local image regions are equalized as much as possible, for example by illumination and exposure effects.
  • the normalization can be through suitable filters such as isotropic high-pass and low-pass filters can be achieved.
  • the standardization prevents the dominance of some image regions in the range of services. For example, shadows on a surface which is homogeneous in itself may be mentioned, the influence of which can be reduced by normalization.
  • Power spectrum is called.
  • the power spectrum is in two-dimensional
  • Frequency space performed a digital image processing.
  • the power spectrum is analyzed with a bevy of Gabor filters.
  • the power spectrum is filtered with each Gabor filter of the flock of Gabor filters over the two-dimensional frequency space and the result of the filtering is referred to as Gaborkerkmal.
  • the performance spectrum is with a punksymmetric crowd of Gabor filters in the
  • the image set of the power spectrum also serves as the image set for the Gabor filter family.
  • Each individual Gabor filter whose image area and its value range in the frequency domain is determined by its scaling and orientation, is folded with the power spectrum Convolution value is called a gabor feature, which assigns a Gabon feature to each Gabor filter and the contribution of the power spectrum to various Gabor filters
  • Frequency ranges of the frequency space made quantitatively measurable.
  • gage characteristics are multiplied by a predetermined weighting function to calculate a nebula indicator.
  • the fog indicator is compared to a predetermined threshold. By the comparison, a predetermined value for "fog” or another predetermined value for "no fog” is assigned to a binary variable with a confidence measure.
  • the predetermined weight function and the predetermined threshold value are determined on the basis of empirical learning data. It follows that the process in development, ie before the
  • an objectified fog classification of the images can be made on the basis of test images with visibility estimation in order to evaluate the process on the basis of this data.
  • a feature reduction with a principal component analysis can be carried out on the basis of the Gabormerkmale.
  • the reduced features are referred to as master port features.
  • a principal component analysis offers the advantage that the gabor features can be statistically examined for their relevance on the basis of training data. This allows a resource-saving management of computing power in the intended use of the method.
  • a feature reduction with principal component analysis can be subjected to the power spectrum, a feature reduction with principal component analysis.
  • the reduced features are referred to as main features.
  • each pixel value of the power spectrum in frequency space is considered as a single feature.
  • a feature reduction is performed by the principal component analysis.
  • a support vector method in frequency space may be used.
  • the gate features, the
  • Main gantries or gantry features classified are classified.
  • the classification is performed with a linear classifier or a nonlinear classifier.
  • the classification variable which correlates with the occurrence and optionally additionally the density of fog, is assigned a value and a confidence measure.
  • Classification method a class affiliation such as "fog” or "no fog” as
  • This class membership can also be provided with a confidence measure.
  • a vehicle comprising a control unit, a camera or video system and at least one driver assistance system
  • the method for detecting fog from the camera or video system and the control unit is executed in real time and the class affiliation to the at least one driver assistance system is transmitted.
  • the driver assistance system of the vehicle may issue a warning to the driver in "fog.”
  • the driver assistance system may be operated in a configuration specified for "fog.” This can make a direct contribution to active road safety.
  • Real time in this context means that the information of the class membership can be determined by the method within a time window which is shorter in time than the inverse recording frequency of the gray scale images of the camera or video system.
  • Fig. 1 method steps for the detection of fog
  • Fig. 2a gray scale image with a clear view
  • FIG. 1 shows individual method steps of a method for detecting fog in a vehicle.
  • the vehicle has a camera and / or video system, which is mounted in the direction of travel of the vehicle, for example in the area of the driver's rearview mirror.
  • a camera- or video-based approach seems very promising, as it allows the human perception in the vehicle to be imitated very well.
  • cameras are often found in the vehicle, which are located in the area of the vehicle
  • Rearview mirror are mounted in the direction of travel in order to capture a driving situation as possible, as experienced by the driver.
  • the camera and / or video system has a data interface to a control unit of the vehicle.
  • the vehicle includes several
  • Driver assistance systems such as a warning system that alerts the driver to an existing speed limit, or a shift assistant for automatically switching the fog light or the rear fog light on / off.
  • the driver assistance systems also have a data interface to the control unit.
  • an image of the external environment of the vehicle is created for the detection of fog with the camera or video system. Ideally, the image captures the traffic situation on the vehicle while driving. The picture is called
  • Grayscale image can additionally be a square section of the recorded
  • a grayscale image is taken from Fig. 2a in a clear view, i. in fog-free
  • Fig. 2a and Fig. 3a are given by way of example graphically.
  • the method processes the image as a data set that does not necessarily have to be graphically displayed.
  • the grayscale image is subjected to a further step, referred to as prefiltering or normalization.
  • the prefiltered grayscale image is referred to as i '(x, y).
  • the prefiltering consists of a local normalization of the variance of the intensity values:
  • g (x, y) describes an isotropic Gaussian low-pass filter
  • h (x, y) ⁇ - g (x, y) a corresponding high-pass filter.
  • the operator * denotes the convolution operator.
  • the counter is a high-pass filter which averages the image.
  • the denominator behaves similarly to a local estimator of the variance in the input image.
  • the parameter ⁇ is a constant which enhances the noise in constant image regions, such as the roadway or weakens the sky.
  • the pre-filtering serves to reduce
  • the effect of prefiltering is e.g. effective in direct sunlight. at
  • Sunlight causes different lighting effects due to inhomogeneous lighting such as shadows and a different grayscale gradient on originally homo surfaces. Prefiltering compensates for such lighting effects.
  • the gray scale image is Fourier Four-dimensionally transformed (FFT in FIG. 1).
  • the Fourier-transformed image also referred to below as Fourier transform, is referred to as I (f x , f y ).
  • the two-dimensional frequency space is given by f x and f.
  • the image may optionally have a two-dimensional
  • Window function can be multiplied to broadband signal components along the
  • the absolute value square r (f x , f) of the Fourier transform is formed according to (f x , f y ). T ⁇ f x , f y ) is called power spectrum.
  • Fig. 2b shows a power spectrum in graphical output.
  • the power spectrum in FIG. 2b was formed according to the described method from FIG. 2a.
  • Fig. 3b which was formed from Fig. 3a.
  • Both representations are selected such that the zero point of the two frequency axes f x and f lies in the center of the image and the individual values are represented in logarithmic representation. This type of presentation is only for visualization and a catchy understanding of the process. It is clear recognizable that the spectrum in fog (Fig. 3b) is concentrated in the frequency space predominantly punksymmetric about the center. By contrast, the spectrum in the absence of fog (Fig. 2b) provides significantly more contributions in the entire frequency space, the
  • Brightness impressions are also visible in the edge area of the image.
  • the power spectrum contains information about the occurrence of fog and the density of the fog.
  • the two-stage feature reduction of the Fourier transforms is carried out by a "sampling" of the power spectrum in the frequency domain with the aid of a Gabor filter bank (Gabor filter bank in FIG. 1) according to:
  • the Gabor filter bank consists of K Gabor filters, whereby a Gabor filter as
  • K 60 Gabor filters
  • the second level of feature reduction is based on the principal component analysis.
  • M images are used as training data (see "Training Data” in Fig. 1), which are known as scenes with fog or as scenes without fog and for which the gabor features are calculated Mist and M 12 images selected from scenes without fog.
  • the covariance matrix C is calculated from the mean-freed gabacter feature vectors ⁇ :
  • the eigenvectors of the covariance matrix are the main components.
  • V are sortable such that the eigenvalues on the main diagonal of the diagonal matrix are in descending order.
  • Training data can therefore be used to train a classifier (see classifier in FIG. 1).
  • the power spectrum of the image of a scene can be categorized into a scene with fog or a scene without fog or a scene with intermediate levels between fog and fog.
  • a classifier is exemplified as a linear classifier based on the linear
  • the linear classifier uses the scalar product of feature vector ⁇ and
  • Confidence measure in the form of a decision variable. As the confidence measure increases, the accuracy of the output of the classifier classifier increases. Also the
  • Weight vector as well as the threshold value are based on training data (see
  • the "training data” step in FIG. 1 should be understood as a special step in that the "training" of the classifier does not take place during the course of the method (dashed representation in FIG).
  • the training of the classifier serves to configure the classifier and takes place before the application of the method, eg in the development and implementation of the method.
  • the training of the weight vector and the threshold value can be done by means of linear discriminant analysis. In linear discriminant analysis, the
  • the method according to FIG. 1 can be carried out in real time. For example, if the camera system used for image acquisition supplies 15 images per second, a maximum processing time of approximately 66 ms is available per image.
  • the data processing steps of the method can be implemented with a common programming language, eg C ++, on a vehicle control unit. Real time of the process is given when a sequence of steps according to FIG. 1 from the recording of the image to the output within the maximum processing time.
  • the information output by the method can be transmitted to a driver assistance system.
  • the driver can be issued an audible, visual or haptic warning when detected fog.
  • a fog detection according to the method described can be advantageous.
  • Examples of state-of-the-art applications using a front camera are the Lane Departure Warning (LDW, the Speed Limit Information, SLI, or the High-Beam Assistant, FLA). It is possible to alert the driver to a speed limit.
  • LDW Lane Departure Warning
  • SLI Speed Limit Information
  • FLA High-Beam Assistant
  • SLI Speed Limit Information
  • Speed limit also the usual sign in Germany for the indication of obstruction, for example, be displayed in the instrument cluster.
  • an automatic switching on / off of the fog light or the rear fog light can be made dependent on the output of the method for fog detection.
  • StVO StVO
  • ⁇ 17, Abs. 3 may only be obstructed by fog, snow or rain
  • Fog lights may be used, the rear fog lamp may also be switched on only if the visibility is less than 50 m. Frequently, however, road users forget to turn off the rear fog lamp again, whereupon e.g. The German automobile association ADAC points out. This allows subsequent road users to be blinded. If the vehicle is able to automatically detect dense fog, remedy can be provided by an automatic switching on and off of the fog lights and the rear fog lamp.
  • An automatic light circuit is known in the art e.g. at the low beam in current vehicles.
  • the automatic cruise control is a driver assistance system that is a distance-dependent
  • Speed control is performed.
  • the driver can set a desired speed and a distance to a target object.
  • a radar which is not limited by fog is subject, it may be useful to increase in dense fog the minimum adjustable distance.
  • the High-Beam Assistant is a camera-based driver assistance system that assists the driver when the high beam is switched on and off at night. If the system detects that the vehicle is in an insufficiently lit environment (e.g., outside a built-up area) and no preceding or
  • the high beam is turned on.
  • the driver is dazzled by the reflection of the light rays at the aerosols when switching on the high beam.
  • the strategy of the FLA is adaptable in that only low beam is adjustable in fog.
  • the output of the fog detection method can be used for weather-related traffic situation recording via xFCD (Extended Floating Car Data).
  • xFCD Extended Floating Car Data
  • Nebeldelessness can contribute to the improvement of the coverage of the

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zur Detektion von Nebel mittels eines Kamerabildes oder eines Videobildes umfassend die Schritte: - Aufnahme eines zweidimensionalen Bildes mit zumindest. einem Farbkanal oder mit mehreren Farbkanälen in Abhängigkeit von zwei unabhängigen Ortskoordinaten, - Bestimmung einer zweidimensionalen Graustufenfunktion für den zumindest einen Farbkanal oder für jeden der mehreren Farbkanäle, die den Wert der Graustufe in Abhängigkeit der zwei unabhängigen Ortskoordinaten des zweidimensionalen Bildes festlegt, - Zweidimensionale Fouriertransformation der zweidimensionalen Graustufenfunktion in Abhängigkeit von zwei unabhängigen Frequenzkoordinaten.

Description

Verfahren zur Nebeldetektion
Die Erfindung betrifft ein Verfahren zur Detektion von Nebel mittels eines Kamerabilds oder eines Videobilds.
Das Auftreten von Nebel stellt eine wesentliche Beeinträchtigung des Personen- und
Güterverkehrs am Boden, in der Luft und zur See dar. Moderne Fahrzeuge können deshalb mit automatisierten videobasierten Nebeldetektionssystemen ausgestattet werden, die mit verschiedenen Fahrerassistenzsystemen gekoppelt sein können.
Beispielsweise ist bei N. Hautiere et al. in "Automatic fog detection and estimation of visibility distance through use of an onboard camera", Machine Vision and Applications, Vol. 17, No. 1 , pp. 8-20, January 2006, ein Ansatz zur videobasierten Nebeldetektion und
Sichtweitenschätzung im Fahrzeug bei Tag beschrieben, der auch Gegenstand der Schrift FR 2835911 B ist. Dabei wird ein mit einer Frontkamera aufgenommenes Bild verarbeitet. Mit einem Region-Growing Ansatz wird ein Bildbereich extrahiert, der sowohl Teile der Fahrbahn als auch Teile des Himmels enthält. Innerhalb dieses Bereichs wird ein Messbereich definiert, welcher für jede Bildzeile den Median der Intensitätswerte enthält. Der (Intensitäts-) Verlauf von der untersten zur obersten Bildzeile dieses Messbereichs wird Intensitätsfunktion genannt. Der Wendepunkt der Intensitätsfunktion definiert eine Sichtweite, d.h. diejenige Bildzeile, oberhalb derer für den Fahrer keine Objekte mehr wahrnehmbar sind. Der Wendepunkt der
Intensitätsfunktion ist durch diejenige Bildzeile definiert, oberhalb derer der Fahrer keine Objekte mehr erkennen kann. Über die perspektivische Projektion und unter der Annahme einer flachen Topographie kann für diese Bildzeile auf eine korrespondierende Sichtweite in Metern geschlossen werden. Befindet sich die den Wendepunkt aufweisende Bildzeile oberhalb des Bildmittelpunkts, so ergibt sich eine Sichtweite von unendlich, wodurch über dieses Verfahren auch das Vorhandensein von Nebel erkannt werden kann.
Allerdings wurde durch Hautiere et al. in„Perception through Scattering Media for Autonomous Vehicles", Autonomous Robots Research Advances, Nova Science Publishers, pp. 223-267, April 2008, selbst festgestellt, dass der ursprünglich verwendete Region-Growing Ansatz zur Extraktion der zu untersuchenden Bildregion, welche sowohl Teile der Straße als auch Teile des Himmels enthält, in vielen Verkehrssituationen unzureichende Ergebnisse liefert. Es ist nicht immer gewährleistbar, dass der Horizont in Form eines Übergangs von Fahrbahn zu Himmel vorhanden ist wie z.B. bei vorausfahrendem Verkehr oder bei bestimmten landschaftlichen Gegebenheiten.
Ein alternativer Ansatz wird von Bronte et al. in„Fog Detection System Based on Computer Vision Techniques", IEEE Intelligent Transportation Systems, pp. 1-6, October 2009, mit einem System zur Detektion von Nebel und zur Sichtweitenschätzung thematisiert. Hierbei werden in einem Kamerabild zwei angrenzende Regionen, ein Fahrbahnbereich und ein Himmelbereich, über einen Region-Growing Algorithmus extrahiert. Ferner wird der aktuelle Fluchtpunkt über Bildmerkmale berechnet. Im Fall einer Nebel-Szene ist der Himmelbereich, gemessen von der obersten Bildzeile, höher als der Fluchtpunkt. Über die Bildzeile, in welcher sich die beiden Regionen berühren, lässt sich die Sichtweite über die perspektivische Projektion und der Annahme einer flachen Topographie ermitteln. Um Fehldetektionen zu vermeiden ist dem Algorithmus zudem ein schwellwertbasierter„Nicht-Nebel Detektor" vorangestellt. Dieser erkennt anhand der Summe der auftretenden Gradientenbeträge innerhalb der oberen
Bildhälfte, ob eine ausreichende Verunschärfung im Bild vorhanden ist, um eine
Sichtweitenschätzung durchzuführen. Da die Sichtweitenschätzung basierend auf einem einzelnen Bild sehr unzuverlässig ist, d.h. zeitlich betrachtet über mehrere aufeinanderfolgende Bilder starken Schwankungen unterworfen ist, wird eine Median-Bildung über eine feste Zeitperiode durchgeführt. Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Detektion von Nebel mittels eines Kamerabilds oder eines Videobilds zu beschreiben.
Gelöst wird diese Aufgabe durch ein Verfahren gemäß Anspruch 1. Vorteilhafte
Ausführungsformen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Das erfindungsgemäße Verfahren umfasst die folgenden Schritte:
Zunächst wird eine Aufnahme eines zweidimensionalen Bildes mit zumindest einem Farbkanal oder mehreren Farbkanälen erstellt und für den zumindest einen Farbkanal oder für jeden der mehreren Farbkanäle ein Grauwertbild erstellt, wobei der Wert der Graustufe von zwei unabhängigen Ortskoordinaten als zweidimensionale Graustufenfunktion abhängig ist. Die Graustufenfunktion wird anschließend zweidimensional fouriertransformiert, wobei die
Fouriertransformierte im Frequenzraum von zwei unabhängigen Frequenzkoordinaten abhängig ist.
Bei diesem Verfahren wird der Umstand genutzt, dass bei Aufnahme eines Grauwertbildes einer Szene bei Nebel die Intensitätsunterschiede bzw. Grauwertgradienten benachbarter
Punkte mit zunehmend dichterem Nebel kleiner sind als bei Aufnahme eines Grauwertbildes der gleichen Szenerie ohne Nebel. Bei dem Bild ohne Nebel sind deutlich schärfere Kanten und höhere Kontraste erkennbar als bei der Einstellung mit Nebel. Beispielsweise verschwimmt eine weiße Fahrbahnmarkierung auf einer Asphaltdecke bei Nebel, während diese bei Sonnenschein scharf konturiert zu erkennen ist.
Eine Fouriertransformation beispielsweise einer eindimensionalen Stufenfunktion liefert im Frequenzraum auch bei hohen Frequenzen von Null verschiedene Beiträge, die beispielsweise bei der Fourieranalyse einer eindimensionalen Gauss'schen Glockenkurve verschwinden.
Die Fouriertransformation bietet also den Vorteil, dass im Frequenzraum der„Grad" des Auftretens von Nebel skaliert ist: Bei Nebel ist der Betrag der Fouriertransformierten um den Nullpunkt der Frequenzkoordinaten konzentriert, bei Sonnenschein liefert die
Fouriertransformation vermehrt Beiträge bei betragsmäßig hohen Werten der beiden
Frequenzkoordinaten. Somit ist das erfindungsgemäße Verfahren besonders vorteilhaft, um Nebel anhand von Kamera- oder Videostandbildern zu detektieren.
Ein Bild in schwarz-weißer Darstellung basiert auf einem einzigen Farbkanal. Hingegen liegen einem Bild in Farbe üblicherweise drei Farbkanäle zugrunde - ein Rotkanal, ein Grünkanal und ein Blaukanal. Jedem Kanal des Bildes kommt eine Intensitätsverteilung zu, die als
Grauwertbild darstellbar ist.
Nach einer bevorzugten Variante des Verfahrens wird das zweidimensionale Graustufenbild normiert.
Eine Normierung des Graustufenbildes bietet den Vorteil, dass lokale Bildregionen z.B. durch Beleuchtungs- und Belichtungseffekte möglichst egalisiert werden. Die Normierung kann durch geeignete Filter wie isotrope Hochpass- und Tiefpassfilter erreicht werden. Die Normierung beugt der Dominanz einiger Bildregionen im Leistungsspektrum vor. Als Beispiel ist etwa Schattenwurf auf einer an sich homogenen Fläche zu nennen, dessen Einfluss durch die Normierung reduzierbar ist.
Weiterhin wird das Betragsquadrat der Fouriertransformierten berechnet, das als
Leistungsspektrum bezeichnet wird. Am Leistungsspektrum wird im zweidimensionalen
Frequenzraum eine digitale Bildverarbeitung durchgeführt.
Nach einer bevorzugten Ausführungsform der Erfindung wird das Leistungsspektrum mit einer Schar von Gaborfiltern analysiert. Dabei wird das Leistungsspektrum mit jedem einzelnen Gaborfilter der Schar von Gaborfiltern über dem zweidimensionalen Frequenzraum gefiltert und das Ergebnis der Filterung wird als Gabormerkmal bezeichnet.
Das Leistungsspektrum wird mit einer punksymmetrischen Schar von Gaborfiltern im
zweidimensionalen Frequenzraum„abgetastet". Dies bedeutet, dass die Bildmenge des Leistungsspektrum auch als Bildmenge für die Schar der Gaborfilter dient. Jeder einzelne Gaborfilter, dessen Bildbereich und dessen Wertebereich im Frequenzraum durch seine Skalierung und Orientierung festgelegt ist, wird mit dem Leistungsspektrum gefaltet. Der Faltungswert wird als Gabormerkmal bezeichnet. Auf diese Weise wird jedem Gaborfilter ein Gabormerkmal zugeordnet und der Beitrag des Leistungsspektrums in verschiedenen
Frequenzbereichen des Frequenzraumes quantitativ messbar gemacht.
Zusätzlich werden die Gabormerkmale mit einer vorbestimmten Gewichtungsfunktion multipliziert, um einen Nebelindikator zu berechnen. Der Nebelindikator wird mit einem vorbestimmten Schwellwert verglichen. Durch den Vergleich wird einer Binärvariable ein vorbestimmter Wert für„Nebel" oder ein anderer vorbestimmter Wert für„Kein Nebel" mit einem Konfidenzmaß zugeordnet.
Dies bedeutet, dass das Verfahren mit einem Vertrauensmaß die Information„Nebel" oder„Kein Nebel" bereitstellt.
Außerdem ist es vorteilhaft, wenn die vorbestimmte Gewichtsfunktion und der vorbestimmte Schwellwert anhand von empirischen Lerndaten ermittelt werden. Daraus geht hervor, dass das Verfahren in der Entwicklung, d.h. bevor es der
bestimmungsgemäßen Verwendung zugeführt ist, mit Lern- und Trainingsdaten empirisch validiert wird. Hierzu kann anhand von Testaufnahmen mit Sichtweitenschätzung eine objektivierte Nebelklassifikation der Aufnahmen vorgenommen werden, um das Verfahren anhand dieser Daten zu evaluieren.
Nach einer alternativen Variante der vorliegenden Erfindung kann anhand der Gabormerkmale eine Merkmalsreduktion mit einer Hauptkomponentenanalyse durchgeführt werden. Die reduzierten Merkmale werden als Hauptgabormerkmale bezeichnet.
Eine Hauptkomponentenanalyse bietet den Vorteil, dass die Gabormerkmale anhand von Trainingsdaten statistisch auf deren Relevanz untersuchbar sind. Dies ermöglicht ein ressourcenschonendes Management von Rechenleistung bei der bestimmungsgemäßen Verwendung des Verfahrens.
Nach einer weiteren Variante der vorliegenden Erfindung kann auf das Leistungsspektrum eine Merkmalsreduktion mit Hauptkomponentenanalyse unterzogen werden. Die reduzierten Merkmale werden als Hauptmerkmale bezeichnet.
Bei der digitalen Bildverarbeitungsmethode der Hauptkomponentenanalyse wird jeder Pixelwert des Leistungsspektrums im Frequenzraum als ein einzelnes Merkmal betrachtet. Auf Basis dieser Merkmale wird durch die Hauptkomponentenanalyse eine Merkmalsreduktion vorgenommen. Alternativ kann eine Stützvektorenmethode im Frequenzraum verwendet werden.
Nach einer weiteren Ausführungsform der Erfindung werden die Gabormerkmale, die
Hauptgabormerkmale oder die Gabormerkmale klassifiziert. Die Klassifikation wird mit einem linearen Klassifikator oder einem nichtlinearen Klassifikator durchgeführt. Bei der Klassifikation werden der Klassifikationsvariablen, die mit dem Auftreten und optional zusätzlich der Dichte von Nebel korreliert, ein Wert und ein Konfidenzmaß zugeordnet.
Hier können beispielsweise die dem Fachmann für digitale Bildverarbeitung bekannte lineare Diskriminantenanalyse oder die Stützvektorenmethode eingesetzt werden. Letztlich gibt das Klassifikationsverfahren eine Klassenzugehörigkeit wie„Nebel" oder„Kein Nebel" als
Information aus. Diese Klassenzugehörigkeit kann auch mit einem Konfidenzmaß versehen sein. Besonders vorteilhaft ist es, wenn in einem Fahrzeug, das ein Steuergerät, ein Kamera- oder Videosystem und zumindest ein Fahrerassistenzsystem umfasst, das Verfahren zur Detektion von Nebel von dem Kamera- oder Videosystem und von dem Steuergerät in Echtzeit ausgeführt wird und die Klassenzugehörigkeit an das zumindest eine Fahrerassistenzsystem übermittelt wird. Das Fahrerassistenzsystem des Fahrzeugs kann dem Fahrer bei„Nebel" eine Warnung ausgeben. Alternativ oder zusätzlich ist das Fahrerassistenzsystem in einer für„Nebel" spezifizierten Konfiguration betreibbar. Dadurch kann ein direkter Beitrag zur aktiven Sicherheit im Straßenverkehr geleistet werden.
Echtzeit bedeutet in diesem Zusammenhang, dass die Information der Klassenzugehehörigkeit von dem Verfahren innerhalb eines Zeitfensters ermittelbar ist, das zeitlich kürzer ist als die inverse Aufnahmefrequenz der Grauwertbilder des Kamera- oder Videosystems.
Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte
Ausführungsformen und Weiterbildungen der Erfindung. Im Einzelnen zeigen schematisch
Fig. 1 Verfahrensschritte zur Detektion von Nebel
Fig. 2a Grauwertbild bei freier Sicht
Fig. 2b Leistungsspektrum bei freier Sicht
Fig. 3a Grauwertbild bei Nebel
Fig. 3b Leistungsspektrum bei Nebel
Aus Fig. 1 sind einzelne Verfahrensschritte eines Verfahrens zur Detektion von Nebel in einem Fahrzeug dargestellt. Das Fahrzeug verfügt über ein Kamera- und/oder Videosystem, welches beispielsweise im Bereich des Fahrerrückspiegels in Fahrtrichtung des Fahrzeugs montiert ist. Zur Detektion von Nebel scheint ein kamera- bzw. videobasierte Ansatz sehr vielversprechend, da damit die menschliche Wahrnehmung im Fahrzeug sehr gut nachbildbar ist. So finden sich nach dem Stand der Technik häufig Kameras im Fahrzeug, welche im Bereich des
Rückspiegels in Fahrtrichtung angebracht sind, um eine Fahrsituation möglichst so zu erfassen, wie sie der Fahrer erlebt. Das Kamera- und/oder Videosystem weist eine Datenschnittstelle zu einem Steuergerät des Fahrzeugs auf. Ferner umfasst das Fahrzeug mehrere
Fahrerassistenzsysteme wie etwa ein Warnsystem, das den Fahrer auf eine bestehende Geschwindigkeitsbegrenzung hinweist, oder ein Schaltassistent zum automatischen Ein-/ Ausschalten des Nebellichts oder der Nebelschlussleuchte. Die Fahrerassistenzsysteme verfügen ebenfalls über eine Datenschnittstelle zu dem Steuergerät.
In einem ersten Schritt wird zur Detektion von Nebel mit dem Kamera- oder Videosystem ein Bild von der äußeren Umgebung des Fahrzeugs erstellt. Idealerweise erfasst das Bild die auf das Fahrzeug zukommende Verkehrssituation während der Fahrt. Das Bild wird als
zweidimensionales Graustufenbild in Abhängigkeit von zwei unabhängigen Ortskoordinaten x und y erfasst. Ohne Beschränkung der Allgemeinheit wird von einem schwarz-weiß Bild mit einem Farbkanal ausgegangen. Der Graustufenwert wird dabei als i(x,y) angegeben. Das
Graustufenbild kann zusätzlich ein quadratischer Ausschnitt des aufgenommenen
Kamerabildes sein, so dass die Anzahl der Pixel bezüglich der Bildbreite und der Bildhöhe des Graustufenbildes jeweils gleich sind.
Ein Graustufenbild geht beispielsweise aus Fig. 2a bei freier Sicht, d.h. bei nebelfreier
Witterung, und aus Fig. 3a bei Nebel hervor. Die Bilder in Fig. 2a und Fig. 3a sind exemplarisch graphisch angegeben. Das Verfahren verarbeitet das Bild als einen Datensatz, der nicht notwendigerweise graphisch angezeigt werden muss.
Das Graustufenbild wird in einem weiteren Schritt, der als Vorfilterung oder Normierung bezeichnet wird, unterzogen. Das vorgefilterte Graustufenbild wird als i'(x,y) bezeichnet. Die Vorfilterung besteht aus einer lokalen Normierung der Varianz der Intensitätswerte:
Figure imgf000009_0001
Dabei beschreibt g(x, y) einen isotropen Gauss'schen Tiefpassfilter und h(x, y)=\ - g(x, y) einen entsprechenden Hochpassfilter. Der Operator * kennzeichnet den Faltungsoperator. Der Zähler ist ein Hochpassfilter, welcher das Bild mittelwertbefreit. Der Nenner verhält sich ähnlich einem lokalen Schätzer der Varianz im Eingangsbild. Der Parameter ε ist eine Konstante, welche eine Verstärkung des Rauschens in konstanten Bildregionen, wie z.B. der Fahrbahn oder dem Himmel abschwächt. Die Vorfilterung dient der Reduzierung von
Beleuchtungseffekten und beugt der Dominanz mancher Bildregionen im Betragsspektrum vor. Der Effekt der Vorfilterung ist z.B. bei Sonneneinstrahlung wirkungsvoll. Bei
Sonneneinstrahlung entstehen unterschiedliche Beleuchtungseffekte durch inhomogene Beleuchtung wie Schattenwurf und ein unterschiedlicher Grauwertverlauf auf ursprünglich homogegen Flächen. Durch die Vorfilterung werden solche Beleuchtungseffekte ausgeglichen.
In einem weiteren Schritt in Fig. 1 wird das Graustufenbild zweidimensional fouriertransformiert (FFT in Fig. 1 ). Das fouriertransformierte Bild, folgend auch Fouriertransformierte genannt, wird als I(fx, fy) bezeichnet. Der zweidimensionale Frequenzraum ist durch fx und f gegeben. Die Fouriertransformation ist als I(fx,fy) = ^JKx, y)e~j2'cU"x+f>' ) gegeben.
x,y=0
Vor der Fouriertransformation kann das Bild optional mit einer zweidimensionalen
Fensterfunktion multipliziert werden, um breitbandige Signalanteile entlang der
Koordinatenachsen zu unterdrücken. Diese entstehen durch die implizite Annahme eines periodisch fortgesetzten Signals bei der folgenden Fouriertransformation nichtperiodischer
Signale (sogenannter Leck-Effekt). Als Fensterfunktion kann z.B. das bekannte Hanning Fester verwendet werden.
Bei mehreren Farbkänalen wird in analoger Weise für jeden Farbkanal eine
Fouriertransformierte erhalten.
In einem weiteren Schritt wird das Betragsquadrat r(fx,f ) der Fouriertransformierten nach (fx,fy) gebildet. T{fx,fy) wird als Leistungsspektrum bezeichnet.
Figure imgf000010_0001
Fig. 2b zeigt ein Leistungsspektrum in graphischer Ausgabe. Das Leistungsspektrum in Fig. 2b wurde nach dem geschilderten Verfahren aus Fig. 2a gebildet. Entsprechendes gilt für Fig. 3b, das aus Fig. 3a gebildet wurde. Beide Darstellungen sind derart gewählt, dass im Mittelpunkt des Bildes der Nullpunkt der beiden Frequenzachsen fx und f liegt und die einzelnen Werte in logarithmischer Darstellung abgebildet sind. Diese Art der Darstellung dient ausschließlich der Visualisierung und einem eingängigen Verständnis des Verfahrens. Es ist deutlich erkennbar, dass das Spektrum bei Nebel (Fig. 3b) im Frequenzraum überwiegend punksymmetrisch um den Mittelpunkt konzentriert ist. Dagegen liefert das Spektrum bei Nebelfreiheit (Fig. 2b) deutlich mehr Beiträge im gesamten Frequenzraum, die durch
Helligkeitseindrücke auch im Randbereich der Abbildung erkennbar sind.
Das Leistungsspektrum enthält eine Information über das Auftreten von Nebel und über die Dichte des Nebels. Dabei wird der Umstand zunutze gemacht, dass die Aufnahme eines Grauwertbildes einer Szene bei Nebel die Intensitätsunterschiede bzw. Grauwertgradienten benachbarter Punkte mit zunehmend dichterem Nebel kleiner sind als bei Aufnahme eines Grauwertbildes der gleichen Szenerie ohne Nebel. Bei dem Bild ohne Nebel sind deutlich schärfere Kanten und höhere Kontraste erkennbar als bei der Einstellung mit Nebel.
Beispielsweise verschwimmt eine weiße Fahrbahnmarkierung auf einer Asphaltdecke bei Nebel, während diese bei Nebelfreiheit scharf konturiert zu erkennen ist. Eine Fourieranalyse beispielsweise einer eindimensionalen Stufenfunktion liefert im
Frequenzraum auch bei hohen Frequenzen von Null verschiedene Beiträge, die aber beispielsweise bei der Fourieranalyse einer eindimensionalen Gauss'schen Glockenkurve verschwinden. Dementsprechend ist das Graustufenbild bei Nebel im zweidimensionalen Frequenzraum auf niedrigere Werte der Frequenzparameter fx und f beschränkt.
Die weiteren Schritte des Verfahrens nach Fig. 1 sind mit der Aufgabe verbunden, ein
Leistungsspektrum mittels digitaler Bilderverarbeitungsmethoden zu modellieren, um anhand der unterschiedlichen Form bei Bildern aus Szenen mit und ohne Nebel eine Klassifizierung durchführen zu können. Zum Beispiel ist es möglich, einen linearen Klassifikator basierend auf der Linearen Diskriminantenanalyse zu verwenden. Die Bildmerkmale des Leistungsspektrums werden dabei einer zweistufigen Merkmalsreduktion mit einer„Abtastung" über eine Gabor- Filterbank und anschließender Hauptkomponentenanalyse unterzogen.
Die zweistufige Merkmalsreduktion der Fouriertransformierten wird durch eine„Abtastung" des Leistungsspektrums im Frequenzbereich mit Hilfe eine Gabor-Filterbank vorgenommen (Gabor- Filterbank in Fig. 1) nach:
=ΣΣΓ( , /,)σ,(/, ) Die Gabor Filterbank besteht dabei aus K Gabor-Filtern, wobei ein Gabor-Filter als
Gi (fx . fy)=Ke~2"{a'Af' '~f')1+"y2 fy ) mit fXJ'=fs cos(^) + fy sin(0() , sin(0() + fy cos(^) , einer spezifischen Skalierung (ax i,ayj) und spezifischen Orientierung 6i ausgeführt ist. Bei einer Anzahl von beispielsweise K=60 Gabor-Filtern gehen aus der Merkmalsreduktion 60 Merkmale g, hervor, die folgend als Gabormerkmale bezeichnet werden. Bei mehreren
Farbkanälen gilt dies für jeden Farbkanal analog. Bei z.B. drei Farbkanälen würden somit 180 Gabormerkmale erzielt.
Die zweite Stufe der Merkmalsreduktion erfolgt anhand der Hauptkomponentenanalyse. Hierzu wird eine Auswahl von M Bildern als Trainingsdaten (siehe„Trainingsdaten" in Fig. 1) benutzt, welche als Szenen mit Nebel oder als Szenen ohne Nebel bekannt sind und für welche die Gabormerkmale berechnet sind. Idealerweise werden dabei M I 2 Bilder aus Szenen mit Nebel und M 12 Bilder aus Szenen ohne Nebel gewählt.
Zunächst wird anhand der Gabormerkmale aller dieser M Bilder der mittlere
Gabormerkmalsvektor berechnet:
Figure imgf000012_0001
Ferner wird die Kovarianzmatrix C aus den mittelwertbefreiten Gabormerkmalsvektoren Φ berechnet:
1 M i ,
C= 7Z°Ä = -;AAT mit ^Φ, Φ2 ... ΦΜ \ und Φ„ =g m - Ψ .
Die Eigenvektoren der Kovarianzmatrix sind die Hauptkomponenten. Durch die
Eigenwertanalyse V'XCV = D enthält die Diagonalmatrix ^ die Eigenwerte und in den Spalten der Matrix F = [v, ν2 ...ν^] die korrespondierenden Eigenvektoren. Somit sind und V derart sortierbar, dass die Eigenwerte auf der Hauptdiagonalen der Diagonalmatrix in absteigender Reihenfolge vorliegen. Zur Merkmalsreduktion werden die ersten N,N < K Eigenvektoren gewählt und in der Matrix W ={ν, v2...v^ Jzusammengefasst. N kann dabei etwa so gewählt werden, dass z.B. Zw
> 0,95
*=' gilt. Der reduzierte Merkmalsvektor bestimmt sich schließlich über ώ =JF T(g - ψ) aus dem ursprünglichen, z.B. Gabor-Merkmalsvektor g und dem mittleren Merkmalsvektor Ψ . Die reduzierten Merkmalsvektoren der Leistungsspektren der
Trainingsdaten sind also dazu nutzbar, einen Klassifikator zu trainieren (siehe Klassifikator in Fig. 1 ). Mittels des trainierten Klassifikators ist das Leistungsspektrum des Bildes einer Szene in eine Szene mit Nebel oder eine Szene ohne Nebel oder eine Szene mit Zwischenstufen zwischen Nebel und ohne Nebel kategorisierbar.
Ein Klassifikator wird beispielhaft als linearer Klassifikator, basierend auf der Linearen
Diskriminantenanalyse, beschrieben:
Beim linearen Klassifikator ist über das Skalarprodukt aus Merkmalsvektor ώ und
Gewichtsvektor d die Entscheidungsvariable u bestimmbar u =dTco =Σ rt eist somit eine Klassenzugehörigkeit bestimmbar (siehe„Ausgabe" in wobei 1 =„Nebel" und 0 =„Kein Nebel".
Figure imgf000013_0001
Hierbei steht z.B.„1" für ein Bild aus einer Szene mit Nebel und„0" für ein Bild aus einer Szene ohne Nebel. Neben der binären Klassifizierung liefert dieses Verfahren zudem ein
Konfidenzmaß in Form einer Entscheidungsvariable. Mit steigendem Konfidenzmaß steigt die Genauigkeit der Ausgabe des Klassifikators über die Klassenzugehörigkeit. Auch der
Gewichtsvektor als auch den Schwellwert sind anhand von Trainingsdaten (siehe
„Trainingsdaten" in Fig. 1 ) zu lernen. Der Schritt„Trainingsdaten" in Fig. 1 ist als besonderer Schritt dahingehend zu verstehen, dass das„Trainieren" des Klassifikators zeitlich nicht während des Ablaufs des Verfahrens erfolgt (gestrichelte Darstellung in Fig. 1). Das Trainieren des Klassifikators dient der Konfiguration des Klassifikators und erfolgt zeitlich vor der Anwendung des Verfahrens, z.B. in der Entwicklung und Implementierung des Verfahrens. Das Trainieren des Gewichtsvektors und des Schwellwerts kann mittels Linearer Diskriminantenanalyse erfolgen. Bei der Linearen Diskriminantenanalyse wird der
Gewichtsvektor über die Kovarianzmatrix T der Merkmalsvektoren und die mittleren
Merkmalsvektoren von Bildern aus Szenen mit Nebel und Bildern aus nebelfreien Szenen m{ und m2 gelernt mit d =7'"l(m1 - ro2) und T=E{(3 - m)( - m)T }
Dabei steht E{ } für den Erwartungswert-Operator und m =— \ m für den mittleren
Merkmalsvektor aller Trainingsdaten. Dabei wird vorausgesetzt, dass eine ausreichende Menge an Trainingsdaten M , d.h. Bildern mit Nebelszenen und Bildern mit nebelfreien Szenen, vorhanden sind. Idealerweise liegt für beide Klassen die gleiche Anzahl an Bildern vor. Anhand des so ermittelten Gewichtsvektors ist für jede Klasse die mittlere Entscheidungsvariable üvü2) sowie deren Standardabweichung (σ,,σ2) ermittelbar und somit die Normalverteilung
Ν(ΰ,σ) der Entscheidungsvariablen einer Klasse aufstellbar. Der Schwellwert ist somit über den Schnittpunkt der Normalverteilungen bestimmbar c =Ν(ΰ σ ) n Ν( 2,σ2) . Das Verfahren nach Fig. 1 ist in Realzeit durchführbar. Liefert das zur Bildaufnahme verwendete Kamerasystem beispielsweise 15 Bilder pro Sekunde, steht pro Bild eine maximale Bearbeitungszeit von etwa 66 ms zur Verfügung. Die eine Verarbeitung von Daten betreffenden Schritte des Verfahrens sind mit einer gängigen Programmiersprache z.B. C++ auf einem Fahrzeugsteuergerät implementierbar. Realzeit des Verfahrens ist dann gegeben, wenn eine Abfolge der Schritte nach Fig. 1 von der Aufnahme des Bildes bis zur Ausgabe innerhalb der maximalen Bearbeitungszeit erfolgt.
Die von dem Verfahren ausgegebene Information kann ein Fahrerassistenzsystem übermittelt werden. Optional kann dem Fahrer bei erkanntem Nebel eine akustische, optische oder haptische Warnung ausgegeben werden.
Für verschiedene Anwendungen bei Fahrerassistenzsystemen kann eine Nebeldetektion nach dem beschriebenen Verfahren vorteilhaft sein. Anwendungen nach dem Stand der Technik, welche eine Frontkamera nutzen sind z.B. der Spurhalteassistent (Lane Departure Warning, LDW, die Speedlimit Information, SLI, oder der Fernlicht Assistent, FLA). Es besteht die Möglichkeit, den Fahrer auf eine Geschwindigkeitsbegrenzung aufmerksam zu machen. Laut deutscher Straßen-Verkehrsordnung (StVO), §3, Abs. 1 , hat der Fahrer seine Geschwindigkeit den Sichtverhältnissen anzupassen. Beträgt die Sichtweite durch Nebel, Schneefall oder Regen weniger als 50 m, so darf nach Straßenverkehrsordnung der BRD nicht schneller als 50 km/h gefahren werden. Diese Geschwindigkeitsbegrenzung ist aufgrund des zeitlich begrenzten und lokalen Charakters sowie aufgrund von infrastrukturellen
Gegebenheiten nicht immer explizit in Form von Beschilderungen ausgewiesen. Aufgrund dieser gesetzlichen Regelung und der Tatsache, dass laut statistischem Bundesamt viele Verkehrsunfälle auf überhöhte Geschwindigkeit zurückzuführen sind, ist es vorteilhaft, den
Fahrer auf die geltenden Geschwindigkeitsregelungen hinzuweisen. Dies könnte z.B. in Form einer Speedlimit Information (SLI) umgesetzt werden, wie es bei expliziten
Geschwindigkeitsbegrenzungen heute bereits verfügbar ist. Damit der Fahrer den impliziten Charakter der Geschwindigkeitsbegrenzung erkennt, könnte zusätzlich zur
Geschwindigkeitsbegrenzung auch das in Deutschland übliche Schild für den Hinweis auf Sichtbehinderung beispielsweise im Kombiinstrument eingeblendet werden.
Ferner kann ein automatisches Ein-/Ausschalten des Nebellichts bzw. der Nebelschlussleuchte von der Ausgabe des Verfahrens zur Nebeldetektion abhängig gemacht werden. Laut StVO, §17, Abs. 3 dürfen nur bei Sichtbehinderung durch Nebel, Schneefall oder Regen
Nebelscheinwerfer verwendet werden, die Nebelschlussleuchte darf zudem nur eingeschaltet werden, wenn die Sichtweite weniger als 50 m beträgt. Häufig vergessen Verkehrsteilnehmer jedoch die Nebelschlussleuchte wieder auszuschalten, worauf z.B. der deutsche Automobil- Verein ADAC hinweist. Dadurch können nachfolgende Verkehrsteilnehmer geblendet werden. Ist das Fahrzeug in der Lage, automatisiert dichten Nebel zu detektieren, so kann Abhilfe durch ein automatisches Ein- bzw. Ausschalten der Nebelscheinwerfer und der Nebelschlussleuchte geschaffen werden. Eine automatische Lichtschaltung ist nach dem Stand der Technik z.B. beim Abblendlicht in aktuellen Fahrzeugen vorzufinden.
Ein weiterer vorteilhafter Effekt ergibt sich bei Übermittlung der Ausgabe an einen
automatischen Abstandstempomaten. Der automatische Abstandstempomat (ACC, Active Cruise Control) ist ein Fahrerassistenzsystem, das eine abstandsabhängige
Geschwindigkeitsregelung durchführt. Bei Verwendung dieses Systems ist durch den Fahrer eine Wunschgeschwindigkeit und ein Abstand zu einem Zielobjekt einstellbar. Obwohl als Sensorsystem meist ein Radar eingesetzt wird, welches durch Nebel keinen Einschränkungen unterworfen ist, kann es sinnvoll sein, bei dichtem Nebel den minimal einstellbaren Abstand zu erhöhen.
Weiterhin kann die Ausgabe des Verfahrens zur Strategieanpassung des Fernlichtassistenten genutzt werden. Der Fernlichtassistent (FLA) ist ein kamerabasiertes Fahrerassistenzsystem, welches den Fahrer beim Ein- und Ausschalten des Fernlichts bei Nacht unterstützt. Erkennt das System, dass das Fahrzeug in einer nicht ausreichend beleuchteten Umgebung befindlich ist (z.B. außerhalb einer geschlossenen Ortschaft) und kein vorausfahrendes oder
entgegenkommendes Fahrzeug vorhanden ist, so wird das Fernlicht eingeschaltet. Im Fall von dichtem Nebel wird der Fahrer jedoch beim Einschalten des Fernlichts durch die Reflektion der Lichtstrahlen an den Aerosolen geblendet. Mit der Information über das Vorhandensein von dichtem Nebel ist die Strategie des FLA insofern anpassbar, dass bei Nebel ausschließlich Abblendlicht einstellbar ist.
Die Ausgabe des Nebeldetektionsverfahrens ist für eine wetterbedingte Verkehrslageerfassung via xFCD (Extended Floating Car Data) nutzbar. Der abrupte Übergang von guten
Sichtverhältnissen zu einer stark eingeschränkten Sichtweite durch Nebel stellt eine lokale Gefahr für den Fahrer dar. Zur Erhöhung der Verkehrssicherheit ist es wünschenswert, solche Ereignisse zu Erfassen und betroffene Verkehrsteilnehmer gezielt zu warnen. Dies ist jedoch aufgrund des dynamischen Charakters solcher Ereignisse, bezogen auf deren Ausprägung und Lokalität, mit stationären Messsystemen kaum zuverlässig möglich. Zur Lösung dieses Problems wird der Ansatz von xFCD zur Informationsgewinnung verfolgt. Dabei werden Fahrzeuge als mobile Messstationen eingesetzt. Eine Verkehrslageerfassung, welche neben infrastrukturellen Daten xFCDs als weitere Informationsquelle verwendet, liefert eine präzisere Darstellung des aktuellen Wettergeschehens. Dabei werden xFCD Meldungen zentral gesammelt, mit infrastrukturellen Informationen fusioniert und gegebenenfalls an betroffene Verkehrsteilnehmer, z.B. in Form von TPEG Meldungen, ausgegeben. Fahrzeuge mit
Nebeldetektion können hier einen Beitrag zur Verbesserung der Erfassung des
Wettergeschehens bezüglich des Auftretens von Nebel leisten. Außerdem ist es vorteilhaft, die Ausgabe des Nebeldetektionsverfahrens mit weiteren videobasierten Systemen des Fahrzeugs, etwa ein Rückfahrkamerasystem, funktional zu verbinden. Durch das Auftreten von Nebel werden vor allem in videobasierten Systemen Degradationen der erfassten Datenqualität und des erfassten Informationsgehalts bedingt. Bei detektiertem Nebel sind an Nebel angepasste Bildverarbeitungsalgorithmen anwendbar, die Bildinformationen durch Bildrestaurierung oder Kontrasterhöhung vorverarbeiten, um dem Fahrer ein klareres Bild anzuzeigen.

Claims

Patentansprüche
1. Verfahren zur Detektion von Nebel mittels eines Kamerabildes oder eines Videobildes, umfassend die Schritte:
- Aufnahme eines zweidimensionalen Bildes mit zumindest einem Farbkanal oder mit mehreren Farbkanälen in Abhängigkeit von zwei unabhängigen Ortskoordinaten, Bestimmung einer zweidimensionalen Graustufenfunktion für den zumindest einen Farbkanal oder für jeden der mehreren Farbkanäle, die den Wert der Graustufe in Abhängigkeit der zwei unabhängigen Ortskoordinaten des zweidimensionalen Bildes festlegt,
- Zweidimensionale Fouriertransformation der zweidimensionalen Graustufenfunktion in Abhängigkeit von zwei unabhängigen Frequenzkoordinaten.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
- das zweidimensionale Graustufenbild normiert wird,
- die Normierung Intensitätsgradienten der Graustufen mittels eines Tiefpassfilters und mittels eines Hochpassfilters ausgleicht.
3. Verfahren nach Anspruch 2,
dadurch gekennzeichnet, dass
- das Betragsquadrat der Fouriertransformierten, welches als Leistungsspektrum
bezeichnet wird, berechnet wird,
- das Leistungsspektrum mittels digitaler Bildverarbeitung ausgewertet wird. Verfahren nach Anspruch 3,
dadurch gekennzeichnet, dass
- das Leistungsspektrum mit einer Schar von Gaborfiltern analysiert wird,
- das Leistungsspektrum mit jedem Gaborfilter der Schar von Gaborfiltern über dem zweidimensionalen Frequenzraum gefiltert wird und das Filterergebnis als
Gabormerkmal für diesen Gaborfilter bezeichnet wird.
Verfahren nach Anspruch 4,
dadurch gekennzeichnet, dass
- die Gabormerkmale merkmalsreduziert werden,
- die Merkmalsreduzierung mittels einer Hauptkomponentenanalyse auf reduzierte Gabormerkmale durchgeführt wird.
Verfahren nach Anspruch 4 oder 5,
dadurch gekennzeichnet, dass
die Gabormerkmale oder die merkmalsreduzierten Gabormerkmale mit einer vorbestimmten Gewichtungsfunktion multipliziert werden, um einen Nebelindikator zu berechnen,
- der Nebelindikator mit einem vorbestimmten Schwellwert verglichen wird,
das Verfahren einer Klassifikationsvariablen einen Wert für„Nebel" oder den anderen Wert für„Kein Nebel" mit einem Konfidenzmaß zuordnet.
Verfahren nach Anspruch 5,
dadurch gekennzeichnet, dass
- die Gewichtsfunktion und der Schwellwert durch eine Evaluierung des Verfahrens anhand von Trainingsdaten vorbestimmt sind. Verfahren nach Anspruch 3,
dadurch gekennzeichnet, dass
- das Leistungsspektrum merkmalsreduziert wird,
- die Merkmalsreduzierung mittels einer Hauptkomponentenanalyse im Frequenzraum auf reduzierte Merkmale durchgeführt wird.
Verfahren nach Anspruch 3,
dadurch gekennzeichnet, dass
- das Leistungsspektrum merkmalsreduziert wird,
die Merkmalsreduzierung mittels einer Stützvektorenmethode im Frequenzraum auf reduzierte Merkmale durchgeführt wird.
Verfahren nach Anspruch 8 oder 9,
dadurch gekennzeichnet, dass
- die reduzierten Merkmale klassifiziert werden,
die Klassifikation mit einem linearen Klassifikator oder einem nichtlinearen Klassifikator durchgeführt wird,
- das Verfahren einer Klassifikationsvariablen einen Wert zuordnet,
der Klassifikationsvanablen ein Konfidenzmaß zugeordnet ist,
der Wert der Klassifikationsvariablen mit dem Auftreten von Nebel oder der Dichte von Nebel mit dem Konfidenzmaß skaliert.
1. Fahrzeug mit einem Steuergerät, einem Kamera- oder Videosystem und zumindest einem Fahrerassistenzsystem,
dadurch gekennzeichnet, dass
- das Verfahren zur Detektion von Nebel nach einem der Ansprüche 6 oder 10 von dem Steuergerät und von dem Kamera- oder Videosystem in Echtzeit ausgeführt wird,
- der Wert der Klassifikationsvariablen an das zumindest eine Fahrerassistenzsystem übermittelbar ist, und
- das zumindest eine Fahrerassistenzsystem dem Fahrer bei auftretendem Nebel eine Warnung ausgibt und/oder das Fahrerassistenzsystem in einer für auftretendem Nebel spezifizierten Konfiguration betreibbar ist.
PCT/EP2012/072024 2011-11-16 2012-11-07 Verfahren zur nebeldetektion Ceased WO2013072231A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280062789.2A CN104011737B (zh) 2011-11-16 2012-11-07 用于探测雾的方法
US14/278,792 US9384401B2 (en) 2011-11-16 2014-05-15 Method for fog detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011086512.8 2011-11-16
DE102011086512.8A DE102011086512B4 (de) 2011-11-16 2011-11-16 Nebeldetektion

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/278,792 Continuation US9384401B2 (en) 2011-11-16 2014-05-15 Method for fog detection

Publications (1)

Publication Number Publication Date
WO2013072231A1 true WO2013072231A1 (de) 2013-05-23

Family

ID=47226125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/072024 Ceased WO2013072231A1 (de) 2011-11-16 2012-11-07 Verfahren zur nebeldetektion

Country Status (4)

Country Link
US (1) US9384401B2 (de)
CN (1) CN104011737B (de)
DE (1) DE102011086512B4 (de)
WO (1) WO2013072231A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462737A (zh) * 2014-05-20 2017-02-22 高通股份有限公司 用于浑浊性检测的系统和方法
US9696609B2 (en) 2014-01-10 2017-07-04 Avigilon Corporation Camera housing for reducing internal reflections and camera comprising same

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445577B1 (ko) * 2013-03-11 2014-11-04 주식회사 브이아이티시스템 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템
KR102089106B1 (ko) * 2013-06-19 2020-03-16 현대모비스 주식회사 안개 발생 여부 판단 방법 및 이를 위한 장치
US9514373B2 (en) 2013-08-28 2016-12-06 Gentex Corporation Imaging system and method for fog detection
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
DE102015003960A1 (de) 2015-03-26 2015-08-20 Daimler Ag Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel
US9870511B2 (en) 2015-10-14 2018-01-16 Here Global B.V. Method and apparatus for providing image classification based on opacity
DE102015220666B4 (de) * 2015-10-22 2021-01-14 Volkswagen Aktiengesellschaft Verfahren und System zum Betreiben eines Lichtassistenten
CN106952310A (zh) * 2016-01-29 2017-07-14 法拉第未来公司 用于确定能见度状态的系统及方法
DE102016116346A1 (de) * 2016-09-01 2018-03-01 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur quantitativen Bestimmung von einer zeitlichen und räumlichen Verteilung von Lichtstrahlen in einem streuenden Medium
US10269098B2 (en) * 2016-11-01 2019-04-23 Chun Ming Tsang Systems and methods for removing haze in digital photos
CN107220605B (zh) * 2017-05-19 2019-08-30 华中科技大学 一种基于图像结构相似度的烟雾浓度测量方法和系统
CN108045370A (zh) * 2017-11-23 2018-05-18 李党 车道偏离预警系统
US11194043B2 (en) 2018-01-18 2021-12-07 Analog Devices International Unlimited Company Radar for weather detection and dynamic control and actuation of vehicle systems
US11054502B2 (en) * 2018-07-26 2021-07-06 Mercury Systems, Inc. Method and system for intra-pulse frequency estimation against agile emitters
CN109598256B (zh) * 2018-12-25 2021-03-30 斑马网络技术有限公司 进出坡道判断方法、装置、车辆、存储介质及电子设备
CN110031823B (zh) * 2019-04-22 2020-03-24 上海禾赛光电科技有限公司 可用于激光雷达的噪点识别方法以及激光雷达系统
CN110321855A (zh) * 2019-07-07 2019-10-11 徐梓恒 一种雾天检测预警装置
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기
CN112329623A (zh) * 2020-11-05 2021-02-05 山东交通学院 雾天能见度检测与能见度安全等级划分预警方法
CN113076997B (zh) * 2021-03-31 2023-01-03 南昌欧菲光电技术有限公司 镜头带雾识别方法、摄像模组及终端设备
CN113706889B (zh) * 2021-08-02 2022-09-13 浪潮通信信息系统有限公司 基于目标检测分析的高速公路团雾测量系统及方法
DE102021125844A1 (de) 2021-10-05 2023-04-06 Ford Global Technologies, Llc Verfahren und System zur Steuerung einer Fahrzeugbeleuchtung eines Kraftfahrzeugs bei eingeschränkten Sichtverhältnissen
CN113962773B (zh) * 2021-10-22 2024-12-20 广州华多网络科技有限公司 同款商品聚合方法及其装置、设备、介质、产品
CN114750725B (zh) * 2022-05-18 2025-08-19 东风汽车集团股份有限公司 一种去除后视镜水雾的方法、装置、设备和介质
JP2024017208A (ja) * 2022-07-27 2024-02-08 株式会社日立製作所 演算装置、情報提示システム、移動体
TWI832568B (zh) * 2022-11-18 2024-02-11 廣達電腦股份有限公司 霧氣判別方法、及光學設備
DE102024100937A1 (de) * 2024-01-12 2025-07-17 Bayerische Motoren Werke Aktiengesellschaft Steuervorrichtung und verfahren zum steuern eines betriebs eines kraftfahrzeugs
DE102024002110B3 (de) 2024-06-27 2025-07-10 Mercedes-Benz Group AG Verfahren zum Steuern einer Scheinwerfereinrichtung und Kraftfahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2835911B1 (fr) 2002-02-14 2004-05-07 France Etat Ponts Chaussees Procede de determination de la distance de visisbilite et procede de determination de la presence d'un brouillard
JP2006221467A (ja) * 2005-02-10 2006-08-24 Hokkaido Univ 視界不良評価方法および視界不良評価装置
DE102008003948A1 (de) * 2007-01-11 2008-07-17 Denso Corp., Kariya Vorrichtung zum Bestimmen des Vorhandenseins von Nebel unter Verwendung einer Abbildung, die durch eine in ein Fahrzeug eingebaute Abbildungsvorrichtung erzielt wird

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505604B2 (en) 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
ITTO20030770A1 (it) * 2003-10-02 2005-04-03 Fiat Ricerche Dispositivo di rilevamento installabile lungo una
CN101382497B (zh) * 2008-10-06 2012-03-07 南京大学 基于路况监控视频的能见度检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2835911B1 (fr) 2002-02-14 2004-05-07 France Etat Ponts Chaussees Procede de determination de la distance de visisbilite et procede de determination de la presence d'un brouillard
JP2006221467A (ja) * 2005-02-10 2006-08-24 Hokkaido Univ 視界不良評価方法および視界不良評価装置
DE102008003948A1 (de) * 2007-01-11 2008-07-17 Denso Corp., Kariya Vorrichtung zum Bestimmen des Vorhandenseins von Nebel unter Verwendung einer Abbildung, die durch eine in ein Fahrzeug eingebaute Abbildungsvorrichtung erzielt wird

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRONTE ET AL.: "Fog Detection System Based on Computer Vision Techniques", IEEE INTELLIGENT TRANSPORTATION SYSTEMS, October 2009 (2009-10-01), pages 1 - 6, XP031560106
HAUTIERE ET AL.: "Autonomous Robots Research Advances", April 2008, NOVA SCIENCE PUBLISHERS, article "Perception through Scattering Media for Autonomous Vehicles", pages: 223 - 267
N.HAUTIERE ET AL.: "Automatic fog detection and estimation of visibility distance through use of an onboard camera", MACHINE VISION AND APPLICATIONS, vol. 17, no. 1, pages 8 - 20, XP019323919, DOI: doi:10.1007/s00138-005-0011-1

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696609B2 (en) 2014-01-10 2017-07-04 Avigilon Corporation Camera housing for reducing internal reflections and camera comprising same
US10197889B2 (en) 2014-01-10 2019-02-05 Avigilon Corporation Camera housing for reducing internal reflections and camera comprising same
CN106462737A (zh) * 2014-05-20 2017-02-22 高通股份有限公司 用于浑浊性检测的系统和方法

Also Published As

Publication number Publication date
US20140247968A1 (en) 2014-09-04
DE102011086512B4 (de) 2022-12-01
DE102011086512A1 (de) 2013-05-16
US9384401B2 (en) 2016-07-05
CN104011737B (zh) 2018-03-30
CN104011737A (zh) 2014-08-27

Similar Documents

Publication Publication Date Title
DE102011086512B4 (de) Nebeldetektion
DE112012002885B4 (de) Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102015109270B4 (de) Verfahren zum Ermitteln eines Straßenbelagszustands für ein Fahrzeug
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE102007043164B4 (de) Nebelerkennungsvorrichtung für Kraftfahrzeuge
DE102006057552B4 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE102016122481B4 (de) Verfahren zur Feststellung eines schneebedeckten Oberflächenzustands einer Fahrbahn
DE112018007287T5 (de) Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
DE102017127346A1 (de) Bremslichterkennung
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
DE102017100198A1 (de) Fixierungserzeugung für maschinenlernen
DE102011055458A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mittels verlässlicher lokaler Modellkalibrierung
WO2016026568A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102014117102B4 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE112013003276T5 (de) Objekterkennungseinrichtung
DE102011055459A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mit zusätzlichen Klassifikatoren
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
EP3655299A1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102006005512B4 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung
DE102019200849A1 (de) Verfahren zum Erfassen einer Bewegung eines Objekts
DE102016120066A1 (de) Computer-implementiertes Verfahren zum Kontrollieren bzw. Testen eines Objekterkennungssystems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12791127

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12791127

Country of ref document: EP

Kind code of ref document: A1