[go: up one dir, main page]

WO2019174682A1 - Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen - Google Patents

Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen Download PDF

Info

Publication number
WO2019174682A1
WO2019174682A1 PCT/DE2019/200016 DE2019200016W WO2019174682A1 WO 2019174682 A1 WO2019174682 A1 WO 2019174682A1 DE 2019200016 W DE2019200016 W DE 2019200016W WO 2019174682 A1 WO2019174682 A1 WO 2019174682A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
reflection type
camera
image
roadway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2019/200016
Other languages
English (en)
French (fr)
Inventor
Bernd Hartmann
Manuel AMTHOR
Joachim Denzler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Original Assignee
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves AG and Co OHG filed Critical Continental Teves AG and Co OHG
Priority to DE112019000092.6T priority Critical patent/DE112019000092A5/de
Priority to JP2020519331A priority patent/JP7291129B2/ja
Priority to CN201980005798.XA priority patent/CN111357012B/zh
Publication of WO2019174682A1 publication Critical patent/WO2019174682A1/de
Anticipated expiration legal-status Critical
Priority to US17/019,824 priority patent/US12249153B2/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Definitions

  • the invention relates to a method for classifying a road condition on the basis of image data of a vehicle camera system and a corresponding vehicle camera system.
  • the interpretation of the warning and intervention times is basically based on a dry roadway with high traction potential between the tire and the road.
  • the coefficient of friction also coefficient of friction, coefficient of adhesion, (static) friction coefficient or coefficient of friction indicates which force relative to the wheel load between a road surface and a vehicle tire (eg in Tangencardi tialcardi) can be transmitted maximum and is therefore an essential measure for driving safety.
  • tire properties are required for a complete determination of the coefficient of friction.
  • An image based determination of a road condition by means of a vehicle camera shows e.g. WO 2014/127777 A2.
  • an image area comprising an image of the road surface is fed to a classifier.
  • One starting point of the present solution is the recognition that a distinction between diffuse and specular reflections on the road surface in camera image data is characteristic of certain road conditions. Such a method is described in WO 2016/177371 A1.
  • a second essential characteristic for the condition of a road surface provides the determination of disturbances in images or in partial areas of the images or in a sequence of images caused by the swirling of a road surface (eg water or snow) when driving over or Vehicle wheels of their own vehicle or the wheels of other vehicles arise.
  • the road pads can be rated according to their impact in the picture. Particles of the roadway support whirled up by vehicle wheels cause disturbances in the image or in the subregions of images or in the sequence of images with different embossments. Such a method is described in WO 2015/070861 A1.
  • Dry track diffuse reflection where no disturbance is caused by the vehicle wheels
  • Ice Rink Reflecting reflection without disturbance.
  • a disturbance on wet roads which is caused by splashing, is preferably recognizable by the fact that brightness and / or contrast and / or color as well as structural differences in comparison with an undisturbed image or undisturbed parts of the image or in the sequence of undisturbed pictures.
  • a dry roadway is characterized in particular by a diffuse reflection without interference.
  • the ice track (black ice) typically shows a specular reflection without disturbance.
  • the method can be applied to individual cameras, provided that they are capable of detecting whirling from the wheels of one's own vehicle or other vehicles.
  • the camera system may consist of a single camera, provided that it has a suitable detection range in which disturbances are detected (if they occur) and in which the type of reflection can be determined.
  • a laterally arranged camera e.g. a camera directed onto a wheel of the own vehicle, a driving side of the own vehicle or at least a surrounding area of the wheel, the image data.
  • a laterally arranged camera e.g. a camera directed onto a wheel of the own vehicle, a driving side of the own vehicle or at least a surrounding area of the wheel, the image data.
  • FOV field of view
  • the region of interest (ROI) to be evaluated preferably relates to the space around the front wheel on that side where the effect of splashing or whirling snow is greatest.
  • the (second) ROI can be the space around the rear wheel.
  • image disturbances are detected in at least one region of particular interest (ROI) caused by the wheel-tracked vehicle wheel disturbing the pavement by its rollover, resulting in disturbances in the at least one region of particular interest (ROI) ,
  • a second laterally arranged camera generates second image data on the opposite driving side in a comparable manner.
  • both front wheels and / or both rear wheels can be "monitored”.
  • the vehicle camera system comprises a rear-view camera which captures a rear area of the vehicle.
  • image data from different individual cameras of a vehicle camera system are provided with different viewing directions and / or angles.
  • the reflection type of the roadway can be distinguished more robustly.
  • the disturbance intensity can also be determined more robustly.
  • An all-round vision camera system with at least or exactly four wide-angle (up to 180 ° field of view) cameras capturing the front, left, right, and rear areas of the vehicle and its surroundings would advantageously provide ideal opportunities for robust detection of reflection type and interference.
  • camera images are subdivided into multiple different regions of particular interest (ROIs), which are selectively used differently depending on the content for the evaluation of reflection type and disorder.
  • ROIs regions of particular interest
  • individual cameras are selectively used differently for the evaluation of reflection type and interference.
  • a side camera can be used to evaluate the disturbance in the area of the wheel and a front or a rear camera to determine the type of reflection.
  • a particular advantage of a preferred combination of different cameras and image regions is that it is possible to search in the various images and / or regions for the disturbances caused by the turbulences of the road surface caused by the vehicle wheels.
  • Another advantageous embodiment is to combine one or more front camera (s) with the cameras of a surround view system.
  • the front camera offers better resolution (and lower distortion) for the front (distant) surrounding areas than a forward-looking satellite camera of a panoramic camera system.
  • driving dynamics and / or other sensor data and / or surroundings information of other non-camera-based environment sensors of a vehicle and / or weather information can be used as an additional basis for the assessment or classification of the road condition and the weather-related environmental influences.
  • a first machine learning method is preferably trained on the basis of a first training sample.
  • the first machine learning procedure comprises the steps:
  • an image of reflection type and interference intensity on one of the road condition classes is learned by means of a second machine learning method based on a second training sample.
  • image features are extracted from the at least one region from the at least one camera image, optionally converted into an intermediate representation, and imaged by means of a corrector on a disturbance intensity or by means of a classifier on a reflection type and / or a driving track state.
  • a neural network is trained, which learns a mapping of one or more image sections from one or more camera images to road conditions based on a third training sample. This end-to-end classification can be done, in particular, as a deep learning method; the neural network can be a convolutional neural network (CNN).
  • CNN convolutional neural network
  • driving dynamics and / or sensor data are used as additional input for a machine learning method or training of a neural network.
  • the invention also relates to a vehicle camera system comprising at least one camera and an image data evaluation unit.
  • the camera is configured (in particular arranged and is driven) to image at least a section of an environment outside the vehicle, wherein the cutout at least partially contains the roadway on which the vehicle is traveling and to provide the image data of the image data evaluation unit.
  • the image data evaluation unit is configured to discriminate between diffuse reflection and specular reflection of the roadway by evaluating differences in the appearances of at least one point of the road in at least two images of the camera system taken from different recording perspectives.
  • the image data evaluation unit is further configured to determine whether at least one image of the camera system has interferences that have been caused by a wheel of a vehicle having swiveled up a road surface when rolling over.
  • the image data evaluation unit is further configured to classify the road condition into one of the following five road condition classes taking into account the results of reflection type and disturbance intensity: a) Dry road: reflection type diffuse with no disturbance b) Normal wet pavement: Reflection type specular with disturbance c) Very wet pavement with aquaplaning risk: Reflection type specular with much disturbance
  • the vehicle camera system is adapted to robustly detect road conditions such as dry, wet, snowy, icy and dangerous situations such as aquaplaning using digital image processing and machine learning algorithms and to distinguish robustly by cross-comparison of road reflection type and disturbance intensity ,
  • the image data evaluation unit may in particular comprise a microcontroller or processor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array) and the like, as well as software for carrying out the corresponding procedural steps.
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the present invention may thus be implemented in digital electronic circuits, computer hardware, firmware or software.
  • the vehicle camera system may further comprise an output unit for informing the driver or for controlling a (partially or completely) automated vehicle.
  • a computing unit for evaluating the coefficient of friction can be integrated in the vehicle camera system or in the image data evaluation unit.
  • Another object of the invention relates to a vehicle with a vehicle camera system according to the invention.
  • the vehicle preferably includes actuators for engaging in the driving dynamics of the vehicle, which are controlled by the vehicle camera system according to the determined road condition.
  • Figure 1 different detection ranges of a driving camera system with several individual cameras.
  • FIG. 3 a schematic representation of a vehicle tire in heavy wet conditions
  • FIG. 5 shows three exemplary image sections of a right-hand driving side camera for one class of interference intensity in a different wet roadway
  • Fig. 6 a schematic representation of affyka meravorraum
  • the camera system of the first vehicle (E) comprises three different camera user systems (1, 2 and 3): a panoramic system (1) comprising four individual camera sensors with wide-angle detection areas (la-ld) which together allow a 360 ° detection of the vehicle Front camera with a forward detection area (2) and a rear camera with a rearward detection area (3).
  • the image processing for determining a roadway surface can advantageously be limited to one or more areas of the camera image in which a tire contact zone of the roadway is located.
  • disturbances in the image can be determined by a road surface when driving over the road through the tires of the own vehicle (E).
  • the advantage of this is that one does not rely on vehicles traveling ahead or on the wrong track (F), but on the basis of the detection and determination of the effects caused by the own vehicle (E) on the basis of a laterally directed sensor independently of other vehicles (F). can determine a currently relevant road surface.
  • vehicles are already being equipped increasingly with a 360 ° camera sensor system, which detects a surround view, which the driver for example. can be displayed as a "top view" in a bird's eye view, as the reliable determination of a driving track support is advantageous ge Congressrleitstbar.
  • FIG. 2 shows, by way of example, four individual images of a round view camera system with four cameras with fisheye optics.
  • the images above (20a), left (20b), right (20c) and bottom (20d) correspond to the detection areas shown in Fig. 1 front (la), left (lb), right (lc) and back (ld).
  • the respective front and rear wheels are included in the images of the left (20b) and right (20c) side camera.
  • the corresponding image areas or ROIs should be selected and fed to a classification that has an intensity of Image interference in these areas due to road surface conditions determined.
  • Fig. 3 shows a schematic representation of a situation with aquaplaning hazard.
  • Decisive is the contact between a tire 30 and a road 35.
  • the be on the road surface 35 be sensitive water 37, so the road surface, is shown hatched.
  • the contact surface of the tire 30 with the roadway 35 can be divided into three areas 31-33. If the vehicle, and thus also the tire 30, moves in the direction of travel indicated by the arrow direction, an approximation zone 31 initially forms on the tire, in which water is located between the tire 30 and the roadway 35 in a wedge shape. At this approach zone 31, a transition zone 32 connects. In the region of the contact zone 33, which adjoins the transition zone 32, the tire 30 is in direct contact with the roadway 35, whereby a corresponding
  • Adhesion effect can be achieved. With increasing water level and / or increasing travel speed, the contact zone 33 and thus the contact surface between the tire 30 and the road 35 decreases. If this extent of the contact zone 33 approaches zero, the danger of aquaplanings is imminent. This condition is therefore called micro-aquaplaning. If there is no longer a contact zone 33, that is, there is water in the entire area between the tire 30 and the roadway 35, aquaplaning occurs and a vehicle can no longer be controlled or braked during this condition.
  • FIG. 4 shows a black-and-white (inverted) image of a camera image of a vehicle tire 30 when driving over a rain-soaked roadway.
  • the vehicle tire 30 is on a rim (white, circular) and the vehicle is moving to the left.
  • Water droplets and water threads 40 (white dots and threads), which are displaced and accelerated when passing over the water-covered road surface through the tire, can be recognized.
  • the spray is mainly seen in the direction of travel behind and to the side of the vehicle tire. There it can be detected by a vehicle camera and recognized by an image processing as spray, from which it can be concluded that a rainwater layer as a road surface.
  • FIG. 5 shows three exemplary image sections of a (right-hand) vehicle side camera in a different wet roadway.
  • Fig. 5a shows a dry road, in the im to the
  • Vehicle side (bottom) adjacent area 51 Vehicle side (bottom) adjacent area 51, the road surface imaged and their structure in the image undisturbed and thus recognizable.
  • Fig. 5b shows a normal wet roadway, in which the image of the road surface by individual recognizable Spritzwas sertropfen 52 is disturbed.
  • Fig. 5c shows a very wet roadway (see Fig. 3), in which acute aquaplaning danger exists.
  • the road surface is barely recognizable here, since strong spray water spray 53 causes serious disturbances in this image area.
  • Fig. 6 shows a schematic representation of affyka meravorraum comprising at least one camera 10 and an image data evaluation unit 60.
  • the Jardin choiraustechnischsein unit 60 determines the reflection type and the interference intensity and can classify the road condition.
  • the driving track state class can be output to affyaktuatorik 66, a driver warning device or a driver assistance function control unit.
  • Fig. 7 shows a schematic diagram of steps of a method for recognizing and evaluating road conditions.
  • image data is provided by a vehicle camera system.
  • step S14 based on the image data, a distinction is made as to whether a diffuse or a specular reflection is present through the road surface or a road surface.
  • step S16 the intensity of disturbances in an image area is determined.
  • step S18 the road condition is classified based on the results of steps S14 and S16.
  • step S20 the road condition class is output.
  • One advantageous embodiment uses digital image processing and machine learning algorithms to robustly enhance roadway reflections associated with potential road surface turbulence such as water or snow to detect road conditions such as dry, wet, snow covered, icy, and hazardous situations such as aquaplaning detect.
  • the method is suitable in excerpts for both mono, stereo and surround view cameras and / or their combination.
  • the basis is one or more regions in one or more camera images, which can be determined statically or automatically determined by, for example, machine learning.
  • it is important that the image regions provide information on the reflection type as well as the presence or absence of whirling up of the road surface.
  • the combination of several image regions and / or multiple cameras with multiple image regions provide the information on the type of reflection as well as the presence or absence of suspensions, which lead to disturbances in the image regions.
  • one or more regions in one or more camera images representing the road surface is used.
  • this may be a segmented section or, in a particularly advantageous embodiment, a trapezoid which is transformed by means of an estimated homography into a rectangular bird's-eye view, as described in WO 2016/177371 A1
  • Different types of roadway reflections can now be determined from the temporal context, for example.
  • regions are defined in one or more camera images.
  • these are the image sections in a SurroundView camera system in the vicinity of the vehicle wheels and / or the vehicle body from the side.
  • Aufwirbelungen can be determined specifically in a limited range free of interference from the driving convincing environment.
  • Another possibility is the detection of vehicle wheels and / or wheel cutouts in the scene (own and also foreign vehicles) by means of machine learning.
  • a detector can be trained, which provides the desired image detail.
  • the classification into one of the given road condition classes is a central aspect.
  • the basis is the detected image detail for potentially occurring swirls of the road surface and the information about the current reflection type on the road.
  • Table 1 Classification of the road condition by cross comparison of reflection type and degree of disturbance
  • classification can be supported by contextual knowledge / additional information.
  • Particularly suitable here are the integration of vehicle dynamics data of the vehicle and the use of available sensor data (temperature, humidity, rain sensor, windshield wiper activity etc).
  • Fisher Vector Encoding with Front and Surrondview Camera System The proposed methodology requires as input one or more camera images, which includes the decision-making area in the image and at the same time excludes unnecessary background. This is important because of disturbances from surrounding Infrastructure and other road users the procedure can be affected.
  • a particularly advantageous form is the use of two image regions from the front camera and the use of image sections of the Surroundviewimes.
  • a first image area of the front camera is used to typify reflections on the lane.
  • Another larger image section also provides global picture context on weather conditions as well as road condition-relevant effects, which are caused by infrastructure (for example, snow-covered walkways or just green margins).
  • the image sections of the surround-view camera provide information on whirling up the road surface.
  • the combination of these image sections from different cameras can then serve as input for the fish vector encoding.
  • characteristic structures for the whirling up as well as the relationship of these reflection information and additional information can be mapped.
  • the classification result can be stabilized by a post-processing by temporally smoothing the estimates from the individual images.
  • a hysteresis threshold method may also filter insecure decision.
  • Classical machine learning like the method for the road condition estimation by means of Fis-Vector-Encoding (see above), consists of several steps, which are executed independently of each other. First, features are extracted from the image which are either used directly or translated into an intermediate representation. At closing, a classifier is learned on the basis of the features or the intermediate representation, which makes a class decision.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Klassifikation eines Fahrbahnzustands auf der Basis von Bilddaten eines Fahrzeugkamerasystems und ein entsprechendes Fahrzeugkamerasystem. Das Verfahren weist die folgenden Schritte auf: - Bereitstellen (S12) von Bilddaten durch ein Fahrzeugkamerasystem, welches dazu konfiguriert ist mindestens einen Ausschnitt einer Umgebung außerhalb des Fahrzeugs abzubilden, wobei der Ausschnitt zumindest teilweise die Fahrbahn, auf der das Fahrzeug fährt, enthält - Unterscheiden (S14) von diffuser Reflexion und spiegelnder Reflexion der Fahrbahn durch Bewerten von Unterschieden der Erscheinungsbilder wenigstens eines Punktes der Fahrbahn in mindestens zwei Bildern des Kamerasystems, wobei die Bilder aus unterschiedlichen Aufnahmeperspektiven aufgenommen wurden; - Ermitteln (S16), ob in mindestens einem Bild des Kamerasystems Störungen vorliegen, die dadurch hervorgerufen worden sind, dass mindestens ein Rad eines Fahrzeugs eine Fahrbahnauflage beim Überrollen aufgewirbelt hat, - Klassifizieren (S18) des Fahrbahnzustands unter Berücksichtigung der Ergebnisse bezüglich des Reflexionstyps und der Störungsintensität in eine der folgenden fünf Fahrbahnzustandsklassen: a) Trockene Fahrbahn: Reflexionstyp diffus ohne Störung b) Normal nasse Fahrbahn: Reflexionstyp spiegelnd mit Störung c) Sehr nasse Fahrbahn mit Aquaplaningrisiko: Reflexionstyp spiegelnd mit viel Störung d) Schneefahrbahn: Reflexionstyp diffus mit Störung e) Eisfahrbahn (Glatteis): Reflexionstyp spiegelnd ohne Störung.

Description

Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
Die Erfindung betrifft ein Verfahren zur Klassifikation eines Fahrbahnzustands auf der Basis von Bilddaten eines Fahrzeug kamerasystems und ein entsprechendes Fahrzeugkamerasystem.
Der technologische Fortschritt im Bereich der optischen Bil derfassung erlaubt den Einsatz von kamerabasierten Fahreras sistenzsystemen, die an unterschiedlichen Positionen am Fahrzeug platziert der visuellen Wahrnehmung des Fahrers entsprechend das Umfeld des Fahrzeugs erfassen. Die funktionalen Umfänge dieser Systeme erstrecken sich dabei von der Fernlichtautomatik über Erkennung und Anzeige von Geschwindigkeitsbegrenzungen bis hin zur Warnung bei Spurhaltefehlern oder drohender Kollision. Ausgehend von der reinen Vorfelderfassung bis hin zum voll ständigen 360° Rundumblick bei sogenannten Surround View Systemen sind heute Kameras in vielfältigen Applikationen und unterschiedlichen Funktionen für Fahrerassistenzsysteme in modernen Fahrzeugen zu finden. Aufgabe der digitalen Bild verarbeitung als Stand-alone Funktion oder in Fusion mit Radar oder Lidarsensoren ist es dabei primär, Objekte zu erkennen, zu klassifizieren und im Bildausschnitt zu verfolgen. Klassische Objekte sind in der Regel verschiedenste Fahrzeuge wie PKW, LKW, Zweiräder oder Fußgänger. Darüber hinaus übernehmen Kameras die Erfassung von Schildern, Fahrspurmarkierungen, Leitplanken, Freiräumen oder sonstigen generischen Objekten.
Das automatische Erlernen und Erkennen von Obj ektkategorien und deren Instanzen gehört zu den wichtigsten Aufgaben der digitalen Bildverarbeitung. Viele Methoden sind hierzu bekannt. Aufgrund der aktuell sehr weit fortgeschrittenen Verfahren, die diese Aufgaben beinahe so gut wie ein Mensch erfüllen können, hat sich inzwischen der Schwerpunkt von einer groben auf eine genaue Lokalisierung der Objekte verlagert.
Im Bereich moderner Fahrerassistenz werden unterschiedliche Sensoren u.a. auch Videokameras eingesetzt um das gesamte Fahrzeugumfeld möglichst genau und robust zu erfassen. Diese Umfeldinformationen zusammen mit den fahrdynamischen Infor mationen des Fahrzeugs über z.B. die Inertialsensorik ver schaffen einen guten Eindruck über den aktuellen Fahrzustand des Fahrzeugs und die gesamte Fahrsituation. Daraus lässt sich die Kritikalität von Fahrsituationen ableiten und die entsprechenden Fahrerinformationen/-warnungen bis hin zu fahrdynamischen Eingriffen über Bremse und Lenkung initiieren.
Da der zur Verfügung stehende Reibbeiwert oder Fahrbahnzustand für Fahrerassistenzsysteme jedoch bislang nicht zur Verfügung steht bzw. nicht benannt werden kann, erfolgt die Auslegung der Warn- und Eingriffszeitpunkte grundsätzlich auf Basis einer trockenen Fahrbahn mit hohem Kraftschlusspotential zwischen Reifen und Fahrbahn. Der Reibbeiwert, auch Reibwert, Kraft- schlussbeiwert , (Haft-) Reibungs-zahl oder Reibungskoeffizient gibt an, welche Kraft bezogen auf die Radlast zwischen einer Fahrbahnoberfläche und einem Fahrzeugreifen (z.B. in Tangen tialrichtung) maximal übertragen werden kann und ist somit ein wesentliches Maß für die Fahrsicherheit. Neben dem Fahr- bahn-zustand sind Eigenschaften des Reifens zu einer voll ständigen Bestim-mung des Reibwerts erforderlich.
Daraus leitet sich die eigentliche Herausforderung für Fah rerassistenzsysteme aber auch für das Automatisierte Fahren ab. Die Fahrerwarnung bzw. der systemseitige Eingriff bei un fallvermeidenden oder -abschwächenden Systemen erfolgt so spät, dass es bei tatsächlich trockener Fahrbahn gerade noch zur Unfallvermeidung oder zur akzeptablen Unfallfolgenminderung reicht. Ist die Fahrbahn bei Nässe, Schnee oder gar Eis weniger griffig, kann der Unfall nicht mehr verhindert werden und auch die Minderung der Unfallfolgen erzielt nicht den gewünschten Effekt .
Wäre man also systemseitig in der Lage, den Fahrbahnzustand oder gar den zur Verfügung stehenden Reibbeiwert zu bestimmen, könnten Fahrerwarnungen und auch Systemeingriffe entsprechend ziel gerichteter erfolgen. Die Wirksamkeit von unfallvermeidenden Fahrerassistenzsystemen würde sich damit deutlich erhöhen. Die Fahrbahnzustandsüberwachung bzw. die Reibwertschätzung ist eine elementare Voraussetzung für Systeme des Automatisierten Fahrens .
Eine Bildbasierte Bestimmung eines Fahrbahnzustands mittels einer Fahrzeugkamera zeigt z.B. WO 2014/127777 A2. Hier wird ein Bildbereich, der eine Abbildung der Fahrbahnoberfläche umfasst einem Klassifikator zugeführt.
Es ist eine Aufgabe der Erfindung, eine verbesserte kamera basierte Klassifikation des Fahrbahnzustands und ggfs, auf tretender witterungsbedingter Umwelteinflüsse anzugeben.
Ein Ausgangspunkt der vorliegenden Lösung ist die Erkenntnis, dass eine Unterscheidung nach diffusen und spiegelnden Re flexionen auf der Fahrbahnoberfläche in Kamerabilddaten cha rakteristisch für bestimmte Fahrbahnzustände ist. Ein solches Verfahren ist in WO 2016/177371 Al beschrieben.
Insbesondere in einer Kombination aus verschiedenen Kameras und Kamerasystemen am Fahrzeug mit unterschiedlichen Blickwinkeln und Blickrichtungen mit Mitteln der Digitalen Bildverarbeitung und des maschinellen Lernens kann zunächst nach diffusen und spiegelnden Reflexionen auf der Fahrbahnoberfläche in Bildern oder in Teilbereichen der Bilder oder in einer Abfolge von Bildern unterschieden werden. Unterschiedliche Blickwinkel bietet beispielsweise eine einzelne Kamera, die infolge der Bewegung des Fahrzeugs zu unterschiedlichen Zeitpunkten unterschiedliche Blickwinkel auf einen Raumpunkt einnimmt. Zwei Kameras mit teilweise überlappendem Erfassungsbereich bieten als weiteres Beispiel bereits zu einem Zeitpunkt unterschiedliche Blickwinkel auf einen Raumpunkt im Überlappungsbereich.
Eine zweite wesentliche Charakteristik für den Zustand einer Fahrbahnoberfläche liefert die Ermittlung von Störungen in Bildern oder in Teilbereichen der Bilder oder in einer Abfolge von Bildern, die durch das Aufwirbeln von einer Fahrbahnauflage (z.B. Wasser oder Schnee) beim Überfahren bzw. infolge des Überrollens mit den Fahrzeugrädern des eigenen Fahrzeugs oder den Rädern anderer Fahrzeuge entstehen. Die Fahrbahnauflagen können nach ihrer Auswirkung im Bild bewertet werden. Durch Fahr zeugräder aufgewirbelte Partikel der Fahrbahnauflage verur sachen Störungen im Bild bzw. in den Teilbereichen von Bildern bzw. in der Abfolge von Bildern mit unterschiedlichen Aus prägungen. Ein solches Verfahren ist in WO 2015/070861 Al beschrieben .
Beide Charakteristika können nun miteinander verknüpft und gemeinsam einem präzise definierten Fahrbahnzustand zugeordnet werden. Dadurch kann alleine auf Basis von Kamerabildern eine Unterscheidung von folgenden fünf relevanten Fahrbahnzuständen, gewährleistet werden:
- Trockene Fahrbahn
- Nasse Fahrbahn mit wenig Wasser
- Nasse Fahrbahn mit viel Wasser (Aquaplaninggefahr)
- Schneefahrbahn
- Eisfahrbahn. Die Unterscheidung erfolgt anhand der folgenden einfachen Kriterien :
Trockene Fahrbahn: diffuse Reflexion, bei der durch die Fahrzeugräder keine Störung erfolgt;
Nasse Fahrbahn mit wenig Wasser: Spiegelnde Reflexion mit wenigen Störungen;
Nasse Fahrbahn mit viel Wasser (Aquaplaning-Risiko) : Spiegelnde Reflexion mit viel Störung;
Schneefahrbahn: Diffuse Reflexion mit Störung; und
Eisfahrbahn: Spiegelnde Reflexion ohne Störung.
Eine Störung auf nasser Fahrbahn, die durch Spritzwasser verursacht wird, wird bevorzugt dadurch erkennbar, dass sich Helligkeits- und/oder Kontrast- und/oder Färb- als auch strukturelle Unterschiede im Vergleich mit einem ungestörten Bild bzw. mit ungestörten Teilbereichen des Bildes oder in der Abfolge von ungestörten Bildern ergeben.
Auf Schnee ergeben sich hingegen vorteilhaft keine Helligkeits und/oder Kontrast und/oder Farbunterschiede . Der aufgewirbelte Schnee erzeugt lediglich strukturelle Unterschiede.
Eine trockene Fahrbahn zeichnet sich insbesondere durch eine diffuse Reflexion ohne Störungen aus.
Die Eisfahrbahn (Glatteis/"Black Ice") zeigt typischerweise eine spiegelnde Reflexion ohne Störung.
Grundsätzlich lässt sich das Verfahren auf einzelne Kameras anwenden, sofern sie geeignet sind, Aufwirbelungen von den Rädern des eigenen Fahrzeugs oder anderer Fahrzeuge zu erfassen. Das Kamerasystem kann also aus einer einzelnen Kamera bestehen, sofern diese einen geeigneten Erfassungsbereich aufweist, in dem Störungen detektiert werden (falls diese auftreten) und in dem die Art der Reflexion bestimmt werden kann. Dies gilt z.B. bevorzugt für eine (monokulare) Fahrzeug frontkamera, die die vorausliegende Fahrbahn zumindest teilweise erfasst und eine Fahrbahnauflage dann erkennen kann, wenn ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug beim Überfahren der Fahrbahnauflage mit den Reifen diese z.B. in Form von Spritzwasser oder Schneewolken aufwirbelt.
Besonders bevorzugt erzeugt eine seitlich angeordnete Kamera, also z.B. eine auf ein Rad des eigenen Fahrzeugs, eine Fahr zeugseite des eigenen Fahrzeugs oder zumindest einen das Rad umgebenden Bereich gerichtete Kamera die Bilddaten. Mit anderen Worten befindet sich mindestens ein Rad oder das Radhaus, welches dieses eine Rad umgibt, oder eine Seite des Fahrzeugs im Sichtbereich (Englisch: field of view - FOV) der Seitenkamera. Dies gilt z.B. für eine erste Seitenkamera eines Rund umsichtkamerasystems (Surround View Systems) . Die auszuwertende Bildregion (Region of interest, ROI) betrifft vorzugsweise den Raum um das Vorderrad auf dieser Seite, wo der Effekt von auftretendem Spritzwasser oder aufgewirbeltem Schnee am größten ist. Alternativ bzw. zusätzlich kann als (zweite) ROI der Raum um das Hinterrad dienen.
Mit anderen Worten werden Bildstörungen in der wenigsten einen Region von besonderem Interesse (ROI) ermittelt, die dadurch hervorgerufen werden, dass das radnah beobachtete Fahrzeugrad die Fahrbahnauflage durch sein Überrollen aufwirbelt, was zu Störungen in der wenigstens einen Region von besonderem Interesse (ROI) führt.
Gemäß einer bevorzugten Weiterbildung erzeugt eine zweite seitlich angeordnete Kamera auf der gegenüberliegenden Fahr zeugseite in vergleichbarer Weise zweite Bilddaten. So können z.B. beide Vorderräder und/oder beide Hinterräder „überwacht" werden . In vorteilhafter Weise umfasst das Fahrzeugkamerasystem eine Heckkamera, die einen rückwärtigen Bereich des Fahrzeugs er fasst .
Vorzugsweise werden Bilddaten aus unterschiedlichen einzelnen Kameras eines Fahrzeugkamerasystems mit unterschiedlichen Blickrichtungen und/oder -winkeln bereitgestellt. Dadurch kann der Reflexionstyp der Fahrbahn robuster unterschieden werden. Auch die Störungsintensität kann robuster bestimmt werden.
Ein Rundumsichtkamerasystem mit mindestens oder genau vier weitwinklingen (bis zu 180° Bildwinkel) Kameras, die die Bereiche vorne, links, rechts und hinten bezüglich des Fahrzeugs und seiner Umgebung erfassen, würde vorteilhaft ideale Möglichkeiten zur robusten Detektion von Reflexionstyp und Störung bieten.
Bevorzugt werden Kamerabilder in multiple unterschiedliche Regionen von besonderem Interesse (ROIs) unterteilt, die je nach Inhalt gezielt unterschiedlich zur Bewertung von Reflexionstyp und Störung genutzt werden.
Vorzugsweise werden einzelne Kameras gezielt unterschiedlich zur Bewertung von Reflexionstyp und Störung genutzt. Beispielsweise kann eine Seitenkamera zur Bewertung der Störung im Bereich des Rads genutzt werden und eine Front- oder eine Heckkamera zur Bestimmung des Reflexionstyps .
Ein besonderer Vorteil einer bevorzugten Kombination ver schiedener Kameras und Bildregionen liegt darin, dass in den verschiedenen Bildern und/oder Regionen ganz gezielt nach den Störungen durch die fahrzeugräderbedingten Verwirbelungen von Fahrbahnauflage gesucht werden kann.
Eine solche Kombination macht das Gesamtergebnis deutlich robuster und erhöht die Verfügbarkeit von Informationen. Eine weitere vorteilhafte Ausprägung liegt darin, eine oder mehrere Frontkamera ( s ) mit den Kameras eines Surround View Systems zu kombinieren. Die Frontkamera biete für vorausliegende (entferntere) Umgebungsbereiche eine bessere Auflösung (und geringere Verzerrung) als eine vorwärtsgerichtete Satelit- tenkamera eines Rundumsichtkamerasystems .
Vorzugsweise können Fahrdynamik- und/oder andere Sensordaten und/oder Umfeldinformationen anderer nicht-kamerabasierter Umfeldsensoren eines Fahrzeugs und/oder Wetterinformationen als zusätzliche Entscheidungsgrundlage für die Bewertung bzw. Klassifikation des Fahrbahnzustands und der witterungsbedingten Umwelteinflüsse herangezogen werden.
Bevorzugt wird zur Unterscheidung der Fahrbahnzustände ein erstes maschinelles Lernverfahren anhand einer ersten Trai ningsstichprobe trainiert. Das erste maschinelle Lernverfahren umfasst die Schritte:
- Detektion und/oder Klassifikation des Reflexionstyps ; und
- Detektion und/oder Regression der Störungsintensität.
Gemäß einer bevorzugten Ausführungsform wird eine Abbildung von Reflexionstyp und Störungsintensität auf eine der Fahrbahn zustandsklassen mit Hilfe eines zweiten maschinellen Lern verfahrens anhand einer zweiten Trainingsstichprobe gelernt.
Bevorzugt werden Bildmerkmale aus der mindestens einen Region aus dem mindestens einen Kamerabild extrahiert werden, optional in eine Zwischenrepräsentation überführt, und mittels eines Re- gressors auf eine Störungsintensität oder mittels eines Klassifikators auf einen Reflexionstyp und/oder einen Fahr bahnzustand abgebildet. Alternativ bevorzugt wird ein Neuronales Netz trainiert, welches anhand einer dritten Trainingsstichprobe eine Abbildung von einem oder mehreren Bildausschnitten aus einem oder mehreren Kamerabildern auf Fahrbahnzustände lernt. Dieses Ende-zu-Ende Klassifizieren kann insbesondere als Deep Learning Verfahren erfolgen, das Neuronale Netz kann ein Convolutional Neuronales Netz (CNN) sein.
Vorzugsweise werden Fahrdynamik- und/oder Sensordaten als zusätzliche Eingabe für ein maschinelles Lernverfahren bzw. Trainieren eines neuronalen Netzes verwendet.
Die Erfindung betrifft zudem ein Fahrzeugkamerasystem umfassend mindestens eine Kamera und eine Bilddatenauswertungseinheit. Die Kamera ist dazu konfiguriert (insbesondere angeordnet und wird angesteuert) , mindestens einen Ausschnitt einer Umgebung außerhalb des Fahrzeugs abzubilden, wobei der Ausschnitt zu mindest teilweise die Fahrbahn enthält, auf der das Fahrzeug fährt, und die Bilddaten der Bilddatenauswertungseinheit be reitzustellen. Die Bilddatenauswertungseinheit ist dazu kon figuriert, zwischen diffuser Reflexion und spiegelnder Reflexion der Fahrbahn zu unterscheiden durch Bewerten von Unterschieden der Erscheinungsbilder wenigstens eines Punktes der Fahrbahn in mindestens zwei Bildern des Kamerasystems, die aus unter schiedlichen Aufnahmeperspektiven aufgenommen wurden.
Die Bilddatenauswertungseinheit ist ferner dazu konfiguriert, zu ermitteln, ob in mindestens einem Bild des Kamerasystems Störungen vorliegen, die dadurch hervorgerufen worden sind, dass ein Rad eines Fahrzeugs eine Fahrbahnauflage beim Überrollen aufgewirbelt hat. Die Bilddatenauswertungseinheit ist ferner dazu konfiguriert, den Fahrbahnzustand unter Berücksichtigung der Ergebnisse aus Reflexionstyp und Störungsintensität in eine der folgenden fünf Fahrbahnzustandsklassen zu klassifizieren: a) Trockene Fahrbahn: Reflexionstyp diffus ohne Störung b) Normal nasse Fahrbahn: Reflexionstyp spiegelnd mit Störung c) Sehr nasse Fahrbahn mit Aquaplaningrisiko: Reflexionstyp spiegelnd mit viel Störung
d) Schneefahrbahn: Reflexionstyp diffus mit Störung
e) Eisfahrbahn (Glatteis) : Reflexionstyp spiegelnd ohne Störung .
Insbesondere ist das Fahrzeugkamerasystem dazu eingerichtet, unter Verwendung von Algorithmen der digitalen Bildverarbeitung und des maschinellen Lernens, Fahrbahnzustände wie trocken, nass, schneebedeckt, vereist als auch Gefahrensituationen wie beispielsweise Aquaplaning robust zu detektieren und robust durch Kreuzvergleich von Reflexionstyp der Fahrbahn und Stö rungsintensität zu unterscheiden.
Die Bilddatenauswertungseinheit kann insbesondere einen Mik rocontroller oder -prozessor, einen Digital Signal Processor (DSP) , einen ASIC (Application Specific Integrated Circuit) , einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfah rensschritte umfassen.
Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software im plementiert sein.
Das Fahrzeugkamerasystem kann ferner eine Ausgabeeinheit zur Information des Fahrers oder zur Steuerung eines (teilweise oder vollständig) automatisiert fahrenden Fahrzeugs umfassen.
Eine Recheneinheit zur Bewertung des Reibbeiwerts kann in das Fahrzeugkamerasystem bzw. in die Bilddatenauswertungseinheit integriert sein.
Ein weiterer Gegenstand der Erfindung betrifft ein Fahrzeug mit einem erfindungsgemäßen Fahrzeugkamerasystem. Das Fahrzeug umfasst bevorzugt Aktuatoren zum Eingriff in die Fahrdynamik des Fahrzeugs, die von dem Fahrzeugkamerasystem entsprechend dem ermittelten Fahrbahnzustand angesteuert werden.
Im Folgenden werden Ausführungsbeispiele und Fig. näher be schrieben. Dabei zeigen
Fig. 1: unterschiedliche Erfassungsbereiche eines Fahr zeugkamerasystems mit mehreren einzelnen Kameras;
Fig. 2: vier einzelne Bilder eines Rundumsichtkamerasystems mit vier Kameras mit Fischaugenoptiken Fig. 3: eine schematische Darstellung eines Fahrzeugreifens bei starker Nässe;
Fig. 4: schematisch ein binarisiertes Kamerabild von einem
Fahrzeugreifen beim Überfahren einer regennassen Fahrbahn;
Fig. 5: drei Beispielbildausschnitte einer rechten Fahr zeugseitenkamera für jeweils eine Klasse einer Störungsintensität bei unterschiedlich nasser Fahrbahn;
Fig. 6: eine schematische Darstellung einer Fahrzeugka meravorrichtung; und
Fig. 7: ein schematisches Diagramm von Schritten eines
Verfahrens zur Erkennung und Bewertung von Fahr bahnzuständen .
Fig. 1 zeigt die Erfassungsbereiche (la-ld, 2, 3) eines in bzw. an einem ersten Fahrzeug (E) angeordneten Kamerasystems. In Fahrtrichtung vor dem ersten Fahrzeug (E) befindet sich seitlich versetzt ein zweites Fahrzeug (F) . Das Kamerasystem des ersten Fahrzeugs (E) umfasst drei unterschiedliche Kamerauntersysteme (1, 2 und 3) : ein Rundumsichtsystem (1) umfassend vier einzelne Kamerasensoren mit weitwinkligen Erfassungsbereichen (la-ld), die zusammen eine 360 ° -Erfassung des Fahrzeugs ermöglichen, eine Frontkamera mit einem nach vorne gerichteten Erfassungsbereich (2) und eine Heckkamera mit einem nach hinten gerichteten Erfassungsbereich (3) . Mit Kamerasensoren, die einen in Fahrtrichtung nach vorne gerichteten Erfassungsbereich (la, 2) aufweisen, können Stö rungen im Bild bzw. in einem Bildausschnitt detektiert werden, die auftreten bei Vorliegen einer Fahrbahnauflage beim Über fahren der Fahrbahn durch vorausfahrende Fahrzeugen (F) oder durch entgegenkommende Fahrzeuge (nicht dargestellt) ermittelt werden .
Die Bildverarbeitung zur Ermittlung einer Fahrbahnauflage kann sich vorteilhaft auf einen oder mehrere Bereiche des Kamerabilds beschränken, in dem sich eine Reifenkontaktzone der Fahrbahn befindet .
Mit Kamerasensoren, die einen zur Seite gerichteten Erfas sungsbereich (lb, lc) aufweisen, können Störungen im Bild durch eine Fahrbahnauflage beim Überfahren der Fahrbahn durch die Reifen des eigenen Fahrzeugs (E) ermittelt werden.
Der Vorteil hierbei ist, dass man nicht auf voraus- oder spurversetzt fahrende Fremdfahrzeuge (F) angewiesen ist, sondern anhand der Detektion und Ermittlung der durch das eigene Fahrzeug (E) hervorgerufenen Auswirkungen anhand einer seitlich aus gerichteten Sensorik unabhängig von anderen Fahrzeugen (F) eine aktuell relevante Fahrbahnauflage ermitteln kann. Da Fahrzeuge bereits heute zunehmend mit einer 360° Kamerasensorik ausge stattet werden, die einen Surround View erfasst, welcher dem Fahrer z.B. als „Top View" in einer Vogelperspektive angezeigt werden kann, ist so die zuverlässige Ermittlung einer Fahr bahnauflage vorteilhaft gewährleitstbar .
Fig. 2 zeigt beispielhaft vier einzelne Bilder eines Rund umsichtkamerasystems mit vier Kameras mit Fischaugenoptiken. Die Bilder oben (20a) , links (20b) , rechts (20c) und unten (20d) entsprechen den in Fig. 1 dargestellten Erfassungsbereichen vorne (la), links (lb), rechts (lc) und hinten (ld) . Insbesondere in den Bildern der linken (20b) und rechten (20c) Seitenkamera sind die jeweiligen Vorder- und Hinterräder enthalten. Die entsprechenden Bildbereiche bzw. ROIs sollten ausgewählt und einer Klassifikation zugeführt werden, die eine Intensität von Bildstörungen in diesen Bereichen aufgrund von Fahrbahnauflagen ermittelt .
Fig. 3 zeigt eine schematische Darstellung einer Situation mit Aquaplaning-Gefahr. Entscheidend ist der Kontakt zwischen einem Reifen 30 und einer Fahrbahn 35. Das auf der Fahrbahn 35 be findliche Wasser 37, also die Fahrbahnauflage, ist schraffiert dargestellt. Dabei kann die Kontaktflache des Reifens 30 mit der Fahrbahn 35 in drei Bereiche 31-33 unterteilt werden. Bewegt sich das Fahrzeug und somit auch der Reifen 30 in die durch die Pfeilrichtung gekennzeichnete Fahrtrichtung, so bildet sich an dem Reifen zunächst eine Annäherungszone 31, in welcher sich etwa keilförmig Wasser zwischen dem Reifen 30 und der Fahrbahn 35 befindet. An diese Annäherungszone 31 schließt sich eine Übergangszone 32 an. Im Bereich der Kontaktzone 33, welche sich der Übergangszone 32 anschließt, steht der Reifen 30 in direktem Kontakt mit der Fahrbahn 35, wodurch eine entsprechende
Haftwirkung erreicht werden kann. Mit zunehmendem Wasserstand und/oder zunehmender Fahrgeschwindigkeit verringert sich die Kontaktzone 33 und damit die Kontaktfläche zwischen Reifen 30 und Fahrbahn 35. Geht diese Ausdehnung der Kontaktzone 33 gegen Null, so steht die Gefahr von Aquaplanings unmittelbar bevor. Dieser Zustand wird daher als Mikroaquaplaning bezeichnet. Existiert keine Kontaktzone 33 mehr, das heißt es befindet sich zwischen dem Reifen 30 und der Fahrbahn 35 im gesamten Bereich Wasser, so tritt Aquaplaning auf, und ein Fahrzeug kann während dieses Zustandes nicht mehr kontrolliert gesteuert oder abgebremst werden .
In Fig. 4 ist eine schwarz-weiße (invertierte) Abbildung eines Kamerabilds von einem Fahrzeugreifen 30 beim Überfahren einer regennassen Fahrbahn dargestellt. Der Fahrzeugreifen 30 befindet sich auf einer Felge (weiß, kreisförmig) und das Fahrzeug bewegt sich nach links. Zu erkennen sind Wassertropfen und Wasserfäden 40 (weiße Punkte und Fäden) , die beim Überfahren der mit Wasser bedeckten Fahrbahnoberfläche durch den Reifen verdrängt und beschleunigt werden. Beim Überfahren von nassen Straßen bildet sich nämlich Spritzwasser, ausgehend von den Fahrzeugreifen. Durch die hohe Flächenpressung verdrängt der Reifen das auf der Fahrbahn stehende Wasser zu allen Seiten. Besonders ausgeprägt ist die Erscheinung bei LKW, deren Reifen entsprechend höhere Flächenpressung haben mehr Wasser als PKW verdrängen müssen. Das Spritzwasser befindet sich hauptsächlich in Fahrtrichtung gesehen hinter und seitlich neben dem Fahrzeugreifen. Dort kann es von einer Fahrzeugkamera detektiert werden und von einer Bildverarbeitung als Spritzwasser erkannt werden, woraus auf eine Regenwasserschicht als Fahrbahnauflage geschlossen werden kann .
Beim Vorliegen von Schneematsch auf der Fahrbahn entsteht in vergleichbarer Weise Spritzschneematsch, der als solcher de tektiert und erkannt werden kann.
Je nach Fahrbahnauflage, z.B. bei feuchter statt nasser Fahrbahn, und der Struktur des Fahrbahnbelags tritt beim Überfahren kein Spritzwasser sondern nur Sprühnebel oder Gischt oder beides auf. Beim Überfahren von mit Neuschnee oder Pulverschnee bedeckten Straßen treten typische Schneeverwirbelungen auf, die sich an den Fahrzeugseiten und als Schneefahne am Fahrzeugheck ausbreiten. Jede aufgewirbelte Fahrbahnauflage sorgt somit für Störungen im einem radnahen Bildbereich und kann anhand der Intensität dieser Störungen identifiziert werden.
Fig. 5 zeigt drei Beispielbildausschnitte einer (rechten) Fahrzeugseitenkamera bei unterschiedlich nasser Fahrbahn.
Fig. 5a zeigt eine trockene Fahrbahn, bei der im an die
Fahrzeugseite (unten) angrenzenden Bereich 51 die Fahrbahn oberfläche abgebildet und deren Struktur im Bild ungestört und somit erkennbar ist.
Fig. 5b zeigt eine normal nasse Fahrbahn, bei der die Abbildung der Fahrbahnoberfläche durch einzelne erkennbare Spritzwas sertropfen 52 gestört ist.
Fig. 5c zeigt eine sehr nasse Fahrbahn (vgl. Fig. 3) , bei der akute Aquaplaning-Gefahr vorliegt. Die Fahrbahnoberfläche ist hier kaum noch zu erkennen, da starke Spritzwassergischt 53 für gravierende Störungen in diesem Bildbereich sorgt. Fig. 6 zeigt eine schematische Darstellung einer Fahrzeugka meravorrichtung umfassend mindestens eine Kamera 10 und eine Bilddatenauswertungseinheit 60. Die Bilddatenauswertungsein heit 60 ermittelt den Reflexionstyp und die Störungsintensität und kann so den Fahrbahnzustand klassifizieren. Die Fahr bahnzustandsklasse kann an eine Fahrzeugaktuatorik 66, eine Fahrerwarneinrichtung oder eine Fahrerassistenzfunktions steuereinheit ausgegeben werden.
Fig. 7 zeigt ein schematisches Diagramm von Schritten eines Verfahrens zur Erkennung und Bewertung von Fahrbahnzuständen. In Schritt S12 werden Bilddaten durch ein Fahrzeugkamerasystem bereitgestellt. In Schritt S14 wird anhand der Bilddaten un terschieden, ob eine diffuse oder eine spiegelnde Reflexion durch die Fahrbahnoberfläche bzw. eine Fahrbahnauflage vorliegt.
In Schritt S16 wird die Intensität von Störungen in einem Bildbereich ermittelt. In Schritt S18 wird anhand der Ergebnisse der Schritte S14 und S16 der Fahrbahnzustand klassifiziert.
In einem optionalen Schritt S20 wird die Fahrbahnzustandsklasse ausgegeben .
Verfahren der Digitalen Bildverarbeitung und des maschinellen Lernen :
Eine vorteilhafte Ausführungsform verwendet Algorithmen der digitalen Bildverarbeitung und des maschinellen Lernens, mit dem Ziel Fahrbahnreflexionen in Verbindung mit potentiellen Auf wirbelungen von Fahrbahnauflage wie Wasser oder Schnee zur Erkennung von Fahrbahnzuständen wie trocken, nass, schneebe deckt, vereist als auch Gefahrensituationen wie beispielsweise Aquaplaning robust zu detektieren. Das Verfahren eignet sich in Auszügen sowohl für Mono-, Stereo- als auch Surround-View-Kameras und/oder deren Kombination. Grundlage sind eine oder mehrere Regionen in einem oder mehreren Kamerabildern, welche statisch festgelegt oder automatisiert durch z.B. maschinelles Lernen bestimmt werden können. Hierbei ist wichtig, dass die Bildregionen Informationen zum Refle xionstyp als auch zum Vorhandensein oder Nichtvorhandensein von Aufwirbelungen der Fahrbahnauflage liefern. Oder, dass die Kombination aus mehreren Bildregionen und/oder mehreren Kameras mit mehreren Bildregionen die Informationen zum Refexionstyp als auch zum Vorhandensein oder Nichtvorhandensein von Aufwirbe lungen, die zu Störungen in den Bildregionen führen, liefern.
Zur Detektion von Fahrbahnreflexionen wird eine oder mehrere Regionen in einem oder mehreren Kamerabildern verwendet, die die Fahrbahnoberfläche repräsentiert. Je nach Anforderung an Laufzeit und Genauigkeit kann dies ein segmentierter Ausschnitt sein oder in einer besonders vorteilhaften Ausführungsform ein Trapez, welches mit Hilfe einer geschätzten Homographie in eine rechtwinklige Draufsicht („Bird's-eye view") transformiert wird. Wie in WO 2016/177371 Al vorgestellt, können nun ver schiedene Fahrbahnreflexionstypen (diffuse und spiegelnde Reflexionen) z.B. aus dem zeitlichen Kontext bestimmt werden.
Zur Detektion von Aufwirbelungen der Fahrbahnauflage werden in einem oder mehreren Kamerabildern Regionen festgelegt, In einer besonders vorteilhaften Form sind dies die Bildausschnitte in einem SurroundView-Kamerasystem in der Nähe der Fahrzeugräder und/oder der Fahrzeugkarosserie aus seitlicher Sicht. Somit können auftretende Aufwirbelungen gezielt in einem einge schränkten Bereich frei von Störeinflüssen aus dem Fahr zeugumfeld bestimmt werden. Eine weitere Möglichkeit bietet die Detektion von Fahrzeugrädern und/oder Radausschnitten in der Szene (eigenes und auch fremde Fahrzeuge) mittels maschinellen Lernens. Hierbei kann ein Detektor trainiert werden, welcher den gewünschten Bildausschnitt liefert. Die Klassifikation in eine der gegebenen Fahrbahnzustandsklassen stellt einen zentralen Aspekt dar. Als Basis dienen die de- tektierten Bildausschnitte für potentiell auftretende Auf wirbelungen der Fahrbahnauflage und die Information über den aktuellen Reflexionstyp auf der Fahrbahn. Diese Daten werden nun einem maschinellen Lernsystem zugeführt, welches anhand einer Trainingsstichprobe eine Abbildung von Bildausschnitten, Re flexionstyp und Zusatzinformationen auf eine der definierten Fahrbahnzustände lernt. Es wird also ein Modell gebildet, welches zum einen strukturbasierte Merkmale zum Beschreiben von Auf wirbelungen der Fahrbahnauflage extrahiert/lernt und zum anderen eine geeignete Kombination aus diesen und dem Reflexionstyp und/oder Zusatzinformationen schätzt.
Figure imgf000019_0001
Tabelle 1: Klassifikation des Fahrbahnzustands durch Kreuz vergleich von Reflexionstyp und Störungsgrad
Darüberhinaus kann die Klassifikation durch Kontextwis- sen/Zusatzinformation gestützt werden. Besonders geeignet sind hierbei die Integration von Fahrdynamikdaten des Fahrzeugs sowie die Verwendung von verfügbaren Sensordaten (Temperatur, Luftfeuchtigkeit, Regensensor, Scheibenwischeraktivität etc) .
Fisher-Vector-Encoding mit Front- und Surrondviewkamerasystem: Die vorgeschlagene Methodik verlangt als Eingabe ein oder mehrere Kamerabilder, welche den für die Entscheidung wichtigen Bereich im Bild beinhaltet und zugleich unnötigen Hintergrund aus schließt. Dies ist wichtig, da durch Störungen von umgebender Infrastruktur und anderen Verkehrsteilnehmern das Verfahren beeinträchtigt werden kann.
Durch einen zu groß gewählten Bildausschnitt ist es sogar bei einer sehr kleinen Datenbasis möglich, dass die Entscheidung nicht anhand der gewünschten Aufwirbelungsstrukturen von Fahrbahnauflage getroffen wird, sondern basierend auf Hin tergrunderscheinungen, welche zufällig in den individuellen Situationen auftreten.
Es werden nun aus den Eingabebildbereichen aller Trainingsbilder lokale Merkmale auf einem dichten Gitter extrahiert, welche Teile des Bildes durch ein Kantenhistogramm (u.a. HOG „Histogram of oriented gradients", LBP „Local binary patterns") beschreiben. Anschließend wird aus der gesamten Menge an Merkmalen ein Gauß ' sches Mischverteilungsmodell geschätzt. Ein Einzelbild wird nun anhand von Statistiken höherer Ordnung aus dessen Merkmalsvektoren und dem Mischverteilungsmodell beschrieben, dem sogenannten Fisher-Vector-Encoding . Mit Hilfe der erhaltenen Bildrepräsentationen der gesamten Trainingsmenge wird ab schließend ein linearer Klassifikator gelernt welcher zur Laufzeit probabilistische Klassenzugehörigkeiten für ein ge gebenes Bilder liefert.
Eine besonders vorteilhafte Form ist die Verwendung von zwei Bildregionen aus der Frontkamera und die Verwendung von Bildausschnitten der Surroundviewkameras . Ein erster Bildbe reich der Frontkamera dient dazu, auf der Fahrspur vorhandene Reflexionen zu typisieren. Ein weiterer größerer Bildausschnitt liefert darüber hinaus globalen Bildkontext zu Wetterbedingungen und als auch fahrbahnzustandsrelevante Effekte, welche durch Infrastruktur hervorgerufen werden (beispielsweise schneebe deckte Gehwege oder eben begrünter Randstreifen) . Die Bild ausschnitte der Surroundviewkamera liefern hingegen Informa tionen zu Aufwirbelungen der Fahrbahnauflage. Die Kombination dieser Bildausschnitte aus unterschiedlichen Kameras kann dann als Eingabe für das Fish-Vector-Encoding dienen. Durch das Encoding können zum einen charakteristische Strukturen für das Aufwirbeln als auch das Verhältnis dieser zu Refle xionsinformationen und Zusatzinformationen abgebildet werden. Zusätzlich können auch strukturelle Merkmale vor und neben dem Fahrzeug erfasst werden, welche ebenfalls hilfreich bei der Unterscheidung der Fahrbahnzustände sein können (Fahrspuren bei schneebedeckter Fahrbahn) .
Das Klassifikationsergebnis kann bei Bedarf durch eine Nach bearbeitung stabilisiert werden, indem die Schätzungen aus den Einzelbildern zeitlich geglättet werden. Alternativ kann auch ein Hysterese-Schwellwert-Verfahren unsichere Entscheidung filtern .
Deep Learning mit Front- und Surrondviewkamerasystem:
Klassisches maschinelles Lernen besteht, wie auch das Verfahren für die Fahrbahnzustandsschätzung mittels Fis- her-Vector-Encoding (s.o.), aus mehreren Schritten, welche unabhängig voneinander ausgeführt werden. Als erstes werden Merkmale aus dem Bild extrahiert, welche entweder direkt genutzt oder in eine Zwischenrepräsentation überführt werden. An schließend wird anhand der Merkmale oder der Zwischenreprä sentation ein Klassifikator gelernt, welcher eine Klas senentscheidung trifft.
Im Gegensatz dazu werden beim Deep Learning die Einzelschritte nicht explizit ausgeführt, sondern finden eher implizit mit wachsender Tiefe in einem neuronalen Netz statt. Dies wird als sogenanntes End-to-End-Learning bezeichnet, was eine gemeinsame Optimierung aller in einem System vorhandenen Parameter zur Folge hat. Dies bedeutet für die vorliegende Erfindung, dass Bild ausschnitte oder ganze Bilder aus Front- und Surroundviewkameras als Eingabe für das neuronale Netz dienen. Zusätzlich können Reflexionstyp und Zusatzinformationen, wie Sensor- und Fahr- dynamikdaten als Eingabe integriert werden. Anhand einer Trainingsstichprobe wird nun das Netz trainiert, ohne eine Merkmalsextraktion oder Zwischenrepräsentation explizit zu modellieren. Es wird lediglich eine Abbildung von Eingabedaten auf den dazugehörigen Fahrbahnzustand gelernt.

Claims

Patentansprüche
1. Verfahren zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen, umfassend die Ver fahrensschritte :
Bereitstellen (S12) von Bilddaten durch ein Fahr zeugkamerasystem, welches dazu konfiguriert ist mindestens einen Ausschnitt einer Umgebung außerhalb des Fahrzeugs abzubilden, wobei der Ausschnitt zumindest teilweise die Fahrbahn, auf der das Fahrzeug fährt, enthält
Unterscheiden (S14) von diffuser Reflexion und spiegelnder Reflexion der Fahrbahn durch Bewerten von Unter schieden der Erscheinungsbilder wenigstens eines Punktes der Fahrbahn in mindestens zwei Bildern des Kamerasystems, wobei die Bilder aus unterschiedlichen Aufnahmeperspektiven aufgenommen wurden ;
Ermitteln (S16), ob in mindestens einem Bild des Kamerasystems Störungen vorliegen, die dadurch hervorgerufen worden sind, dass mindestens ein Rad eines Fahrzeugs eine Fahrbahnauflage beim Überrollen aufgewirbelt hat,
Klassifizieren (S18) des Fahrbahnzustands unter Berücksichtigung der Ergebnisse bezüglich des Reflexionstyps und der Störungsintensität in eine der folgenden fünf Fahrbahn zustandsklassen :
a) Trockene Fahrbahn: Reflexionstyp diffus ohne Störung b) Normal nasse Fahrbahn: Reflexionstyp spiegelnd mit
Störung
c) Sehr nasse Fahrbahn mit Aquaplaningrisiko: Refle xionstyp spiegelnd mit viel Störung
d) Schneefahrbahn: Reflexionstyp diffus mit Störung e) Eisfahrbahn (Glatteis) : Reflexionstyp spiegelnd ohne
Störung .
2. Verfahren nach Anspruch 1, wobei das Fahrzeugkamerasystem dazu konfiguriert ist, mindestens einen Teil eines Raums um ein Rad des Fahrzeugs zu erfassen und ermittelt wird, ob Störungen in mindestens einem Bereich mindestens eines Bildes vorliegen, die dadurch hervorgerufen worden sind, dass das Rad des Fahrzeugs die Fahrbahnauflage beim Überrollen aufgewirbelt hat.
3. Verfahren nach Anspruch 2 , wobei das Fahrzeugkamerasystem eine erste Seitenkamera umfasst.
4. Verfahren nach Anspruch 3, wobei das Fahrzeugkamerasystem eine zweite Seitenkamera umfasst, die auf der gegenüberliegenden Seite der ersten Seitenkamera des Fahrzeugs angeordnet ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeugkamerasystem eine Fahrzeugheckkamera umfasst.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeugkamerasystem eine Fahrzeugfrontkamera umfasst.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei Bilddaten aus unterschiedlichen einzelnen Kameras eines
Fahrzeugkamerasystems mit unterschiedlichen Blickrichtungen und/oder -winkeln bereitgestellt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei Kamerabilder in multiple unterschiedliche Regionen von be sonderem Interesse unterteilt werden, die je nach Inhalt gezielt unterschiedlich zur Bewertung von Reflexionstyp und Störung genutzt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei einzelne Kameras gezielt unterschiedlich zur Bewertung von Reflexionstyp und Störung genutzt werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeugkamerasystem einen vor dem eigenen Fahrzeug (E) liegenden Erfassungsbereich (2, la) aufweist, und Bildstörungen ermittelt werden, die dadurch hervorgerufen sind, dass die Fahrbahnauflage beim Überfahren der Fahrbahn durch ein vo rausfahrendes, querendes oder ein entgegenkommendes Fahrzeug aufgewirbelt wird.
11. Verfahren nach einem der Ansprüche 1 bis 10, wobei
Fahrdynamik- und/oder andere Sensordaten und/oder Umfeldin formationen anderer nicht-kamerabasierter Umfeldsensoren eines Fahrzeugs und/oder Wetterinformationen als zusätzliche Ent scheidungsgrundlage für die Bewertung von Fahrbahnzuständen und die witterungsbedingten Umwelteinflüsse herangezogen werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, wobei zur Unterscheidung der Fahrbahnzustände ein maschinelles Lernsystem anhand einer Trainingsstichprobe trainiert wird, umfassend folgende Schritte:
- Detektion und/oder Klassifikation des Reflexionstyps ;
- Detektion und/oder Regression der Störungsintensität.
13. Verfahren nach Anspruch 12, wobei eine Abbildung von Reflexionstyp und Störungsintensität auf eine der Fahrbahn zustandsklassen mit Hilfe eines maschinellen Lernsystems anhand einer Trainingsstichprobe gelernt wird.
14. Verfahren nach Anspruch 10 oder 11, wobei Bildmerkmale aus der mindestens einen Region aus dem mindestens einen Kamerabild extrahiert werden und mittels eines Regressors auf eine Stö rungsintensität oder mittels eines Klassifikators auf einen Reflexionstyp und/oder einen Fahrbahnzustand abgebildet werden.
15. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet dass, ein Neuronales Netz trainiert wird, welches anhand einer Trainingsstichprobe eine Abbildung von einem oder mehreren Bildausschnitten aus einem oder mehreren Kamerabildern auf Fahrbahnzustände lernt.
16. Fahrzeugkamerasystem umfassend mindestens eine Kamera und eine Bilddatenauswertungseinheit, wobei
die Kamera dazu konfiguriert ist, mindestens einen Aus schnitt einer Umgebung außerhalb des Fahrzeugs abzubilden, wobei der Ausschnitt zumindest teilweise die Fahrbahn enthält, auf der das Fahrzeug fährt, und die Bilddaten der Bilddatenauswer tungseinheit bereitzustellen; und
die Bilddatenauswertungseinheit dazu konfiguriert ist, zwischen diffuser Reflexion und spiegelnder Reflexion der Fahrbahn zu unterscheiden durch Bewerten von Unter schieden der Erscheinungsbilder wenigstens eines Punktes der Fahrbahn in der Abfolge von mindestens zwei Bildern des Kamerasystems ;
zu ermitteln, ob in mindestens einem Bild des Ka merasystems Störungen vorliegen, die dadurch hervorgerufen worden sind, dass ein Rad eines Fahrzeugs eine Fahr bahnauflage beim Überrollen aufgewirbelt hat; und
den Fahrbahnzustand unter Berücksichtigung der Er gebnisse aus Reflexionstyp und Störungsintensität in eine der folgenden fünf Fahrbahnzustandsklassen zu klassifi zieren :
a) Trockene Fahrbahn: Reflexionstyp diffus ohne Störung
b) Normal nasse Fahrbahn: Reflexionstyp spiegelnd mit Störung
c) Sehr nasse Fahrbahn mit Aquaplaningrisiko:
Reflexionstyp spiegelnd mit viel Störung d) Schneefahrbahn: Reflexionstyp diffus mit Störung e) Eisfahrbahn (Glatteis) : Reflexionstyp spiegelnd ohne Störung.
PCT/DE2019/200016 2018-03-13 2019-02-26 Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen Ceased WO2019174682A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112019000092.6T DE112019000092A5 (de) 2018-03-13 2019-02-26 Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
JP2020519331A JP7291129B2 (ja) 2018-03-13 2019-02-26 路面状態と天候に基づく環境影響を認識し評価する方法及び装置
CN201980005798.XA CN111357012B (zh) 2018-03-13 2019-02-26 用于识别与评估车道状况和与天气相关的环境影响的方法和装置
US17/019,824 US12249153B2 (en) 2018-03-13 2020-09-14 Method and device for recognizing and evaluating roadway conditions and weather-related environmental influences

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018203807.4 2018-03-13
DE102018203807.4A DE102018203807A1 (de) 2018-03-13 2018-03-13 Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/019,824 Continuation US12249153B2 (en) 2018-03-13 2020-09-14 Method and device for recognizing and evaluating roadway conditions and weather-related environmental influences

Publications (1)

Publication Number Publication Date
WO2019174682A1 true WO2019174682A1 (de) 2019-09-19

Family

ID=66175116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2019/200016 Ceased WO2019174682A1 (de) 2018-03-13 2019-02-26 Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen

Country Status (5)

Country Link
US (1) US12249153B2 (de)
JP (1) JP7291129B2 (de)
CN (1) CN111357012B (de)
DE (2) DE102018203807A1 (de)
WO (1) WO2019174682A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131963A (zh) * 2020-08-31 2020-12-25 青岛秀山移动测量有限公司 一种基于行驶方向结构特征约束的道路标识线提取方法
AT524256A1 (de) * 2020-10-08 2022-04-15 Thomas Genitheim Ing Dipl Ing Fh Verfahren zur Ermittlung eines Reibbeiwertes
DE102021101788A1 (de) 2021-01-27 2022-07-28 Zf Cv Systems Global Gmbh Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft eines Untergrundes, Verarbeitungseinheit und Fahrzeug
JP2023082783A (ja) * 2021-12-03 2023-06-15 トヨタ自動車株式会社 車載通知装置
DE102022206625A1 (de) 2022-06-29 2024-01-04 Continental Autonomous Mobility Germany GmbH Verfahren und System zur Straßenzustandsüberwachung durch ein maschinelles Lernsystem sowie Verfahren zum Trainieren des maschinellen Lernsystems
IT202200015960A1 (it) * 2022-07-28 2024-01-28 Fca Italy Spa Assistenza alla guida di un autoveicolo in presenza di aquaplaning

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214030A1 (de) * 2017-08-11 2019-02-14 Robert Bosch Gmbh Verfahren zum Bestimmen eines Reibwerts für einen Kontakt zwischen einem Reifen eines Fahrzeugs und einer Fahrbahn und Verfahren zum Steuern einer Fahrzeugfunktion eines Fahrzeugs
DE102019209268B4 (de) * 2019-06-26 2023-03-02 Continental Automotive Technologies GmbH Verfahren zur Bewertung eines Fahrbahnzustandes einer Fahrbahn, auf der sich ein Kraftfahrzeug bewegt, sowie Verfahren zum Reduzieren eines Gefährdungsgrades für ein sich auf einer Fahrbahn bewegendes Kraftfahrzeug in Bezug auf eine Gefahrenstelle
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
DE102019210935A1 (de) * 2019-07-24 2021-01-28 Zf Friedrichshafen Ag Erkennen und Bewerten einer Wasseransammlung auf einer Fahrbahn
DE102019218461A1 (de) * 2019-11-28 2021-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer Aquaplaninggefahr für ein Fortbewegungsmittel
DE102019135751B4 (de) * 2019-12-23 2024-11-14 Nira Dynamics Ab Verfahren, Vorrichtungen, Systeme und Computerprogrammprodukte zum Schätzen einer Fahrbahnoberflächentemperatur
US11521127B2 (en) 2020-06-05 2022-12-06 Waymo Llc Road condition deep learning model
KR20220027327A (ko) * 2020-08-26 2022-03-08 현대모비스 주식회사 딥러닝 기반 노면판단 모델을 이용한 터레인모드 제어 방법 및 장치
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム
DE102021110184A1 (de) 2021-04-22 2022-10-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Computerimplementiertes Verfahren zur Abschätzung von Fahrbahneigenschaften
US12066571B2 (en) 2021-05-03 2024-08-20 Waymo Llc Methods and systems for detecting adverse road conditions using radar
KR102414233B1 (ko) * 2022-01-18 2022-06-29 (주)에스알디코리아 주행차량의 노면인지에 의한 제어 시스템 및 그 방법
US11878717B2 (en) 2022-01-24 2024-01-23 International Business Machines Corporation Mirage detection by autonomous vehicles
KR102449392B1 (ko) * 2022-07-05 2022-10-07 전해석 노면 상태에 기반한 주행 안전 확보를 위한 차량용 ecu의 최적화 및 제어 시스템 및 이를 이용한 차량용 ecu의 최적화 및 제어 방법
US12462447B2 (en) 2022-10-04 2025-11-04 Nvidia Corporation Image stitching with color harmonization of de-processed images for surround view systems and applications
US12327413B2 (en) * 2022-10-04 2025-06-10 Nvidia Corporation Image stitching with color harmonization for surround view systems and applications
DE102022211241A1 (de) * 2022-10-24 2024-04-25 Continental Autonomous Mobility Germany GmbH Erkennen von Fahrbahnauflage auf einer Fahrbahn
CN116229765B (zh) * 2023-05-06 2023-07-21 贵州鹰驾交通科技有限公司 一种基于数字数据处理的车路协同方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014127777A2 (de) 2013-02-19 2014-08-28 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
WO2015070861A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems
WO2016177372A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
WO2016177371A1 (de) 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102016009928A1 (de) * 2016-08-16 2017-02-02 Daimler Ag Verfahren zum Erfassen von Nässe auf einer Fahrbahn

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA008399B1 (ru) * 2003-03-14 2007-04-27 Ливас Апс Устройство детектирования данных о состоянии поверхности
DE10346510B4 (de) * 2003-10-02 2007-11-15 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE102005044486B4 (de) * 2005-09-16 2009-02-05 Daimler Ag Verfahren zur Detektion des Oberflächenzustands einer Fahrbahn, sowie Detektionssystem und Fahrerassistenzsystem zur Umsetzung des Verfahrens
EP2181415A2 (de) * 2007-08-28 2010-05-05 Valeo Schalter und Sensoren GmbH Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen, insbesondere hinsichtlich einer tag-/nachtunterscheidung
US8781170B2 (en) * 2011-12-06 2014-07-15 GM Global Technology Operations LLC Vehicle ghosting on full windshield display
JP6036421B2 (ja) * 2013-03-14 2016-11-30 富士通株式会社 道路管理支援方法、道路管理支援装置、及び道路管理支援プログラム
US9286520B1 (en) * 2013-07-16 2016-03-15 Google Inc. Real-time road flare detection using templates and appropriate color spaces
US10832426B2 (en) * 2015-09-24 2020-11-10 Apple Inc. Systems and methods for surface monitoring
JP2017078972A (ja) * 2015-10-20 2017-04-27 トヨタ自動車株式会社 運転支援装置
US10562412B1 (en) * 2016-03-24 2020-02-18 Xsensor Technology Corporation Intelligent seat systems
US10082795B2 (en) * 2016-08-24 2018-09-25 GM Global Technology Operations LLC Vision-based on-board real-time estimation of water film thickness

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014127777A2 (de) 2013-02-19 2014-08-28 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
WO2015070861A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems
WO2016177372A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
WO2016177371A1 (de) 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102016009928A1 (de) * 2016-08-16 2017-02-02 Daimler Ag Verfahren zum Erfassen von Nässe auf einer Fahrbahn

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131963A (zh) * 2020-08-31 2020-12-25 青岛秀山移动测量有限公司 一种基于行驶方向结构特征约束的道路标识线提取方法
CN112131963B (zh) * 2020-08-31 2023-09-01 青岛秀山移动测量有限公司 一种基于行驶方向结构特征约束的道路标识线提取方法
AT524256A1 (de) * 2020-10-08 2022-04-15 Thomas Genitheim Ing Dipl Ing Fh Verfahren zur Ermittlung eines Reibbeiwertes
AT524256B1 (de) * 2020-10-08 2023-06-15 Thomas Genitheim Ing Dipl Ing Fh Verfahren zur Ermittlung eines Reibbeiwertes
DE102021101788A1 (de) 2021-01-27 2022-07-28 Zf Cv Systems Global Gmbh Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft eines Untergrundes, Verarbeitungseinheit und Fahrzeug
WO2022161750A1 (de) * 2021-01-27 2022-08-04 Zf Cv Systems Global Gmbh Verfahren zum ortsaufgelösten ermitteln einer oberflächeneigenschaft eines untergrundes, verarbeitungseinheit und fahrzeug
JP2023082783A (ja) * 2021-12-03 2023-06-15 トヨタ自動車株式会社 車載通知装置
JP7600971B2 (ja) 2021-12-03 2024-12-17 トヨタ自動車株式会社 車載通知装置
DE102022206625A1 (de) 2022-06-29 2024-01-04 Continental Autonomous Mobility Germany GmbH Verfahren und System zur Straßenzustandsüberwachung durch ein maschinelles Lernsystem sowie Verfahren zum Trainieren des maschinellen Lernsystems
WO2024002437A1 (de) 2022-06-29 2024-01-04 Continental Autonomous Mobility Germany GmbH Verfahren und system zur strassenzustandsüberwachung durch ein maschinelles lernsystem sowie verfahren zum trainieren des maschinellen lernsystems
IT202200015960A1 (it) * 2022-07-28 2024-01-28 Fca Italy Spa Assistenza alla guida di un autoveicolo in presenza di aquaplaning

Also Published As

Publication number Publication date
JP2021517675A (ja) 2021-07-26
CN111357012B (zh) 2025-02-18
US12249153B2 (en) 2025-03-11
DE102018203807A1 (de) 2019-09-19
JP7291129B2 (ja) 2023-06-14
CN111357012A (zh) 2020-06-30
US20200406897A1 (en) 2020-12-31
DE112019000092A5 (de) 2020-06-10

Similar Documents

Publication Publication Date Title
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE102011086512B4 (de) Nebeldetektion
DE102007043164B4 (de) Nebelerkennungsvorrichtung für Kraftfahrzeuge
DE112013006110B4 (de) Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102011088130B4 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
WO2014127777A2 (de) Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
DE112012002885B4 (de) Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102012112724A1 (de) Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102013223367A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
WO2016177372A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
WO2016026568A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102016122489A1 (de) Sichtgestützte erfassung von nassen fahrbahnzuständen mittels reifenspuren
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102017217072B4 (de) Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102008020007A1 (de) Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102012221652B4 (de) Verfahren und Vorrichtung zum Bestimmen, ob in einer Verkehrssituation Linksverkehr oder Rechtsverkehr besteht
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
EP2748759A1 (de) Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19717428

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020519331

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112019000092

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19717428

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 201980005798.X

Country of ref document: CN