DE102008020007A1

DE102008020007A1 - Driver assisting method for vehicle, involves performing edge detection by horizontal and vertical sobel-edge operator, determining gray value gradient, generating binary signal by evaluation of gray value gradients

Info

Publication number: DE102008020007A1
Application number: DE102008020007A
Authority: DE
Inventors: Samir Attayebi
Original assignee: Continental Teves AG and Co OHG
Current assignee: Aumovio Autonomous Mobility Germany GmbH
Priority date: 2007-04-20
Filing date: 2008-04-21
Publication date: 2008-10-23

Abstract

The method involves detecting a traffic lane change when a difference between spatial areas of front and rear right vehicle edges and/or front and rear left vehicle edges is determined. The spatial areas are sensed by infrared sensors. An edge detection is performed by a horizontal and vertical sobel-edge operator, and a gray value gradient is determined. A binary signal is generated by evaluation of the gray value gradients, and is compared with a threshold.

Description

Die Erfindung betrifft Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung nach dem Oberbegriff von Anspruch 1.The The invention relates to methods for assisting a driver when driving with a vehicle with lane detection the preamble of claim 1.

1. Stand der Technik1. State of the art

Aus dem Stand der Technik sind verschiedene Systeme bekannt, die den Fahrer eines Fahrzeuges darin unterstützen, das Fahrzeug in seiner Fahrspur zu halten. Diese Systeme werden auch als LKS-Systeme (LKS: Lane Keeping Support) bezeichnet. Bekannte LKS-Systeme umfassen ein Fahrspurerkennungssystem, wie z. B. einem Videosystem, mit der die Krümmung der Fahrspur und die relative Position des Fahrzeugs in der Fahrspur, die sogenannte Ablage und Orientierung, bestimmt werden können. Wenn der vom Fahrer gewählte Lenkwinkel von dem durch den Fahrspurverlauf vorgegebenen Soll-Lenkwinkel zu stark abweicht, werden mit Hilfe eines Lenkstellers, wie z. B. eines Servomotors, künstliche Lenkkräfte auf die Lenkung des Fahrzeugs ausgeübt. Diese Lenkkräfte sind so stark, dass sie vom Fahrer haptisch erfasst werden können und den Fahrer darauf hinweisen, wie er die Lenkung betätigen müsste, um das Fahrzeug in seiner Fahrspur zu halten.Out In the prior art, various systems are known which the Driver of a vehicle in assist the vehicle to keep in his lane. These systems are also called LKS systems (LKS: Lane Keeping Support). Known LKS systems include a lane detection system, such. B. a video system, with the the curvature of the lane and the relative position of the lane Vehicle in the lane, the so-called filing and orientation, can be determined. If the one chosen by the driver Steering angle of the predetermined by the lane course target steering angle Too strong, with the help of a steering actuator, such. B. a servomotor, artificial steering forces on the Steering of the vehicle exercised. These steering forces are so strong that they can be touched by the driver and tell the driver how to operate the steering would need to keep the vehicle in its lane.

Das Fahrspurerkennungssystem kann beispielsweise als Videosystem realisiert sein, dessen Videosignale von einer Signalverarbeitungssoftware verarbeitet werden, die die gewünschten geometrischen Daten (Ablage, Orientierung, Fahrspurkrümmung) liefert. Andere Fahrspurerkennungssysteme umfassen z. B. einen Magnetsensor, der die Fahrzeugposition in Verbindung mit in der Fahrbahn integrierten Magneten bestimmt, oder wahlweise auch Radarsensoren. Aus den geometrischen Ablagedaten und einer Information über die Fahrspurkrümmung wird dann mittels eines mathematischen Referenzmodells (Algorithmus) ein Referenz-Lenkwinkel berechnet, der an der Lenkung eingeschlagen werden müsste, um das Fahrzeug optimal in seiner Fahrspur zu halten. Bei einer Abweichung des Fahrer-Lenkwinkels vom Referenzlenkwinkel wird dann mit Hilfe eines Lenkstellers ein Unterstützungsmoment auf die Lenkung aufgebracht. Das Unterstützungsmoment wird dabei anhand einer vorgegebenen Kennlinie berechnet.The Lane detection system can be realized as a video system, for example be whose video signals from a signal processing software processing the desired geometrical data (storage, Orientation, lane curvature). Other lane detection systems include, for. B. a magnetic sensor, the vehicle position in conjunction with magnets integrated in the roadway, or optional also radar sensors. From the geometrical filing data and a Information about the lane curvature then becomes by means of a mathematical reference model (algorithm) a reference steering angle calculated, which would have to be taken at the steering, to keep the vehicle optimally in its lane. At a Deviation of the driver steering angle from the reference steering angle is then with Help of a steering actuator a support torque on the Steering applied. The support moment becomes thereby calculated on the basis of a given characteristic curve.

Es sind Abstandssensoren bekannt, die dem Fahrer ein vor oder hinter dem Fahrzeug befindliches Objekt melden. Solche Sensoren könnten auch seitlich am Fahrzeug verwendet werden. Allerdings würden solche Sensoren ständig ansprechen, wenn sich Objekte, insbesondere Bordsteine, seitlich am Fahrzeug befinden, obwohl bei Geradeausfahrt keinerlei Gefahr besteht, diese zu überrollen. Würde bei solchen Hindernissen eine Anzeige oder Warnung an den Fahrer ausgegeben, würde er die Aufmerksamkeit verlieren und den Verkehr zusätzlich gefährden.It Distance sensors are known to give the driver a front or back Report the object to the vehicle. Such sensors could also be used on the side of the vehicle. However such sensors constantly respond when objects, especially curbs, located on the side of the vehicle, although at Driving straight ahead there is no danger of rolling over them. Would with such obstacles an ad or warning issued to the driver, he would lose the attention and additionally endanger traffic.

Aus der DE 101 25 966 A1 ist ein Kurvenwarnsystem für Kraftfahrzeuge, insbesondere für Kraftfahrzeuge mit großer Länge, bekannt. Eine Sensoreinrichtung erfasst den Lenkwinkel der Vorderachse des Kraftfahrzeugs und – bei mehreren lenkbaren Achsen – auch deren Lenkwinkel. Eine Erkennungseinrichtung erkennt Hindernisse in der seitlichen Umgebung des Kraftfahrzeuges. Wenn die Erkennungseinrichtung ein Hindernis erkennt, berechnet eine Berechnungseinrichtung anhand des Lenkwinkels sowie der Fahrgeschwindigkeit des Fahrzeuges voraus, ob eine Kollision mit dem Hindernis droht, und erzeugt bei Kollisionsgefahr ein Warnsignal für den Fahrer.From the DE 101 25 966 A1 is a curve warning system for motor vehicles, especially for motor vehicles of great length known. A sensor device detects the steering angle of the front axle of the motor vehicle and - with several steerable axles - and their steering angle. A recognition device detects obstacles in the lateral environment of the motor vehicle. If the detection device detects an obstacle, calculates a calculation means based on the steering angle and the vehicle speed of the vehicle ahead of whether a collision with the obstacle threatens, and generates a warning signal for the driver in case of collision.

Aus der DE 30 28 077 C2 ist ein Verfahren zur Warnung des Führers eines Fahrzeuges vor einem auf dessen Momentanspur fahrenden Fahrzeug bekannt. Hierbei wird das Verkehrsumfeld vor dem Fahrzeug mittels eines Radargerätes nach dem Vorhandensein eines vorausfahrenden Fahrzuges überwacht und der Abstand des eigenen Fahrzeuges zu einem detektierten vorausfahrenden Fahrzeug, sowie dessen Relativgeschwindigkeit bestimmt. Abhängig von diesen Parametern und der eigenen Fahrzeuggeschwindigkeit, sowie gegebenenfalls weiteren Parametern, wie Fahrbahn und Bremszustand, wird ein Sicherheitsabstand zwischen den beiden Fahrzeugen berechnet, der dann mit dem gemessenen Abstand verglichen wird. Wenn der gemessene Abstand geringer als der Sicherheitsabstand ist, wird ein Warnsignal erzeugt und das Risiko eines Zusammenstosses auf einem optischen Anzeigefeld dar gestellt. In einer Variante des bekannten Verfahrens wird die Umfelderfassung auch auf den jeweiligen Rückraum benachbarter Fahrbahnen ausgedehnt, so dass auch im Vorfeld eines geplanten Fahrspurwechsels das zu erwartende Unfallrisiko bestimmt werden kann.From the DE 30 28 077 C2 A method is known for warning the driver of a vehicle in front of a vehicle driving on its current lane. Here, the traffic environment is monitored in front of the vehicle by means of a radar device for the presence of a preceding vehicle and the distance of the own vehicle to a detected vehicle ahead, and determines its relative speed. Depending on these parameters and the vehicle's own speed, and possibly other parameters such as road surface and braking condition, a safety distance between the two vehicles is calculated, which is then compared with the measured distance. If the measured distance is less than the safety distance, a warning signal is generated and the risk of a collision on a visual display field is set. In a variant of the known method, the surroundings detection is also extended to the respective rear space of adjacent lanes, so that even in the run-up to a planned lane change the expected accident risk can be determined.

Aus der Druckschrift DE 195 07 957 C1 geht ein Fahrzeug hervor, das mit einem System zur Einschlafwarnung ausgestattet ist. Das Fahrzeug weist eine seitlich angebrachte optische Abtasteinrichtung zur berührungslosen Erfassung von Fahrspurmarkierungen auf, die die Fahrspur des Fahrzeugs zur Seite hin begrenzen. Die von der Abtasteinrichtung bereitgestellten Sensordaten werden einer Auswerteeinheit zur Ermittlung eines zwischen dem Fahrzeug und den erfassten Fahrspurmarkierungen vorliegenden Abstands zugeführt. Zusätzlich ermittelt die Auswerteeinheit die Fahrzeugquergeschwindigkeit relativ zu den erfassten Fahrspurmarkierungen, wobei eine Einschlafwarnung in Form eines akustischen Signals ausgelöst wird, wenn sich aufgrund des vorliegenden Abstands und der Fahrzeugquergeschwindigkeit ergibt, dass ein Verlassen der Fahrspur droht.From the publication DE 195 07 957 C1 A vehicle comes out that is equipped with a sleep alert system. The vehicle has a side-mounted optical scanning device for non-contact detection of lane markings, which limit the lane of the vehicle to the side. The sensor data provided by the scanning device are supplied to an evaluation unit for determining a distance present between the vehicle and the detected lane markings. In addition, the evaluation unit determines the vehicle lateral velocity relative to the detected lane markings, wherein a fall alert in the form of an acoustic signal is triggered when, due to the present distance and the vehicle lateral velocity, it appears that a departure from the traffic lane is imminent.

Um Unfällen vorzubeugen, die entstehen, wenn man während der Fahrt von der eigentlichen Fahrspur abweicht, sind heutzutage Systeme im Einsatz, die die von der Fahrspur abweichenden Fahrer warnen (ASIL – Spurassistent bei Citroen). Diese Systeme erkennen die Linien auf der Straßenoberfläche, seien es unterbrochene oder gezogene Linien und deren Farben und Breiten.Around Prevent accidents that occur when you are during The drive away from the actual lane are nowadays Systems in use, which deviate from the lane driver warn (ASIL - lane assistant at Citroen). These systems recognize the lines on the road surface, be it broken or drawn lines and their colors and Wide.

Dabei ist es erforderlich, dass die Straßen mit Linien versehen sind, wie es auch der Gesetzgeber vorschreibt, da sonst solche Spurassistenten nicht eingesetzt werden können. Überquert das Fahrzeug eine solche Linie z. B. ohne die Betätigung eines Blinkersignal, wird ein Warnsignal durch ein Vibrieren des Sitzes ausgegeben.there It is necessary that the roads are lined are, as required by the law, otherwise such lane assistants can not be used. Cross that Vehicle such a line z. B. without the operation of a Turn signal, which is a warning signal by a vibration of the seat output.

Da die Voraussetzung, dass die Straßen mit gut sichtbaren Linien markiert sind, nicht immer gegeben ist, zum Beispiel bei schmalen Landstraßen, neuen Straßen noch ohne Markierung, abgenutzten Markierungen und dergleichen, liegt der Erfindung die Aufgabe zugrunde, ein Verfahren für einen verbesserten Spurassistenten anzugeben.There the requirement that the roads with well visible Lines are marked, not always given, for example at narrow country roads, new roads still without Mark, worn marks and the like, is the Invention, the object of a method for a to specify improved Lane Assistant.

Bekannt sind Verfahren zur Erkennung von Fahrbahnränder mittels Sensoren, wie Infrarotsensoren, optischer Einrichtungen, wie einer Kamera oder bildgebender Abstandsmessung mit zum Beispiel Radar- oder Laserscannern, durchgeführt wird und eine Erkennung eines Fahrspurwechsels anhand der Auswertung der Sensorsignale nach Merkmalen, die die oberflächliche Beschaffenheit der Straße und des Straßenrandes repräsentieren, erfolgt.Known are methods for detecting road edges by means of Sensors, such as infrared sensors, optical devices, such as a Camera or imaging distance measurement with, for example, radar or laser scanners, is performed and a detection a lane change based on the evaluation of the sensor signals after Characteristics that the superficial nature of the road and the roadside, takes place.

Aufgabe der Erfindung ist es ein Verfahren anzugeben, dass die bisherigen Verfahren zur Erkennung eines Fahrspurwechsels verbessern.task The invention is to provide a method that the previous Improve lane change detection process.

Die Aufgabe wird gelöst durch die Merkmale des unabhängigen Anspruchs 1. Vorteilhafte Ausgestaltungen werden in den abhängigen Ansprüchen angegeben.The Task is solved by the characteristics of the independent Claim 1. Advantageous embodiments are in the dependent Claims specified.

2. Beschreibung und Vorteile der Erfindung2. Description and advantages the invention

Vorteilhaft wird mit der Erfindung ein Verfahren geschaffen, wodurch eine Erkennung der Fahrbahnoberfläche, die Fahrbahnmarkierung und des Straßenrandes erfolgt. Hierbei wird ebenfalls erkannt, wenn ein Fahrer von der Fahrspur abweicht, wobei die Fahrbahnoberfläche permanent die Fahrbahnoberfläche durch die Sensoren abgetastet wird.Advantageous the invention provides a method whereby a recognition the road surface, the road marking and the Roadside done. This is also recognized when a driver deviates from the lane, with the road surface permanently scanned the road surface through the sensors becomes.

Vorteilhaft wird mit dem Verfahren auch die Fahrbahnoberfläche erkannt und somit auch der Straßenzustand. Dies wird dann vorteilhaft von den im Fahrzeug befindlichen Fahrzeugsicherheitssystem wie z. B. von einem ESP-System genutzt, um den Fahrer frühzeitig vor potentiellen Gefahren zu warnen.Advantageous The process also recognizes the road surface and therefore also the road condition. This will be advantageous from the in-vehicle safety system such. B. used by an ESP system to the driver early to warn of potential dangers.

Es wird auch durch das erfindungsgemäße Verfahren eine Geschwindigkeitsschwelle vorteilhaft bestimmt, mittels dieser der eine automatische Deaktivierung von im Fahrzeug befindlichen Fahrerassistenzsystemen ermöglicht wird.It is also by the inventive method a speed threshold advantageously determined by means of this the automatic deactivation of in-vehicle Driver assistance systems is enabled.

3. Zeichnungen3. Drawings

Weitere Vorteile und Zweckmäßige Ausführungen sind den weiteren Ansprüchen, der Figurenbeschreibung und den Zeichnungen zu entnehmen.Further Advantages and expedient designs are the other claims, the description of the figures and to take the drawings.

Das erfindungsgemäße Verfahren wird anhand der Zeichnungen erläutert und im Folgenden näher beschrieben.The inventive method is based on the drawings explained and described in more detail below.

Es zeigenIt demonstrate

1: Abtastung der Fahrbahnoberfläche und des Straßenrandes zur Erkennung Fahrspurabweichung 1 : Scanning the road surface and roadside to detect lane departure

2: Erkennung der Abweichung eines von der Fahrspur 2 : Detecting the deviation of one of the lane

3: Grundgelegte Koordinatensystem 3 : Basic coordinate system

4 Fahrzeug auf Fahrbahn mit Linienmarkierung 4 Vehicle on lane with line marker

5 Fahrzeug auf Fahrbahn ohne Linienmarkierung 5 Vehicle on lane without line marking

6 Abtastungen eines relevanten Bereiches der Fahrbahnoberfläche und des Straßenrandes 6 Scans a relevant area of the road surface and the roadside

7a, b Digitale Bilder der Sensorelemente auf einer Fahrbahn mit a) und ohne b) Linienmarkierung 7a , b Digital images of sensor elements on a lane with a) and without b) Line marking

8 Kantendetektion mit dem Sobel Operator 8th Edge detection with the Sobel operator

9a, b Digitale Eingangsbilder der äußeren Sensorelemente auf einer Fahrbahn mit a) und b) Ausgangsbilder mit horizontalem, vertikalem Sobel gefaltet und kombiniert Linienmarkierung und einem Schwellwert verglichen 9a , b Digital input images of the external sensor elements on a roadway with a) and b) Output images with horizontal, vertical Sobel folded and combined line marking and a threshold value compared

4. Beschreibung von Ausführungsbeispielen4. Description of exemplary embodiments

Die Erfindung stellt ein Verfahren dar, mittels dessen eine Erkennung der Fahrbahnoberfläche, der Fahrbahnmarkierung und des Straßenrandes ermöglicht werden kann.The Invention is a method by which a recognition the road surface, the road marking and the Roadside can be made possible.

Gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens werden die Straßenerkennungssensorelemente 10a und 10b, 12a und 12b, zum Beispiel als Infrarotsensorelemente am vorderen und/oder hinteren Stoßfänger 14 installiert, die sowohl die Fahrbahnoberfläche 22 als auch den Straßenrand 20 an allen vier Fahrzeugecken (VL, VR, HL und HR) permanent abtasten. Die ermittelten Signale werden in Bezug gesetzt. Die Straßenerkennungssensoren 10 und 12 besitzen jede für sich zwei verschiedene Abstrahlcharakteristika mit unterschiedlichem Öffungswinkel. Die erste Abstrahlrichtung 16a/16b liegt beidseitig quer zur Fahrzeuglängsrichtung, somit in Fahrzeugquerrichtung und die zweite 18a/18b in Fahrzeuglängsrichtung. Somit wird der Raum bzw. die Fläche vor und seitlich vom Fahrzeug von den Straßenerkennungssensoren erfasst. Der Strahl mit kleinerem Öffnungswinkel zur Abtastung der Fahrbahnoberfläche 22 wird mit 18a bzw. 18b, und der Strahl mit größerem Öffnungswinkel zur Abtastung des Straßenrandes ist in 1 mit 16a bzw. 16b bezeichnet.According to one embodiment of the method according to the invention, the road recognition sensor elements 10a and 10b . 12a and 12b For example, as infrared sensor elements on the front and / or rear bumper 14 installed, which both the road surface 22 as well as the roadside 20 permanently on all four vehicle corners (VL, VR, HL and HR). The detected signals are related. The road detection sensors 10 and 12 each have two different radiation characteristics with different opening angle. The first emission direction 16a / 16b lies on both sides transversely to the vehicle longitudinal direction, thus in the vehicle transverse direction and the second 18a / 18b in the vehicle longitudinal direction. Thus, the space or area in front of and to the side of the vehicle is detected by the road detection sensors. The beam with smaller opening angle for scanning the road surface 22 will with 18a respectively. 18b , and the beam with a larger opening angle for scanning the roadside is in 1 With 16a respectively. 16b designated.

Generell erkennen Infrarotsensoren licht-reflektierende Objekte in ihrer unmittelbaren Umgebung. Sie besitzen in einfachster Ausführungsform mindestens eine Sendediode, die Licht im infraroten Spektrum aussendet, und mindestens eine Empfängerdiode, welche die Intensität des reflektierten Lichts misst.As a general rule Infrared sensors detect light-reflecting objects in theirs immediate surroundings. You own in the simplest embodiment at least one emitting diode that emits light in the infrared spectrum, and at least one receiver diode which determines the intensity of the reflected light.

Die beiden Elemente 10a/10b bzw. 12a/12b bilden erfindungsgemäß einen Infrarotsensor 10 bzw. 12. Erfindungsgemäß werden die Signalausgänge der Elemente 10a und 12a, 10b und 12b sowie 10a und 10b und 12a und 12b zu einer Rechnereinheit herausgeführt, um die Signale entsprechend auszuwerten. Es ist es vorgesehen, dass die einzelnen Elemente zu kompensierten Elementgruppe zusammengeschaltet werden. Für die genannte Fahrzeugumfeldüberwachung werden Sensoren eingesetzt, die Bereiche des Umfelds von 0,5 m bis 150 m abtasten bzw. abscannen.The two elements 10a / 10b respectively. 12a / 12b form according to the invention an infrared sensor 10 respectively. 12 , According to the invention, the signal outputs of the elements 10a and 12a . 10b and 12b such as 10a and 10b and 12a and 12b led out to a computer unit to evaluate the signals accordingly. It is envisaged that the individual elements are interconnected to compensated element group. For the mentioned vehicle environment monitoring sensors are used which scan or scan areas of the environment from 0.5 m to 150 m.

Die abzutastenden Regionen werden zum einen durch den jeweiligen Öffnungswinkel der jeweiligen Sendediode des Infrarotsensorelementes und zum anderen durch die geometrische Positionierung der Infrarotsensorelemente zueinander am jeweiligen Stoßfänger bestimmt. Fallen auf die beiden Infrarotsensorelemente, die an der vorderen rechten Ecke angebracht sind, Strahlung gleicher Intensität, ist das resultierende Ausgangssignal der Elementgruppe gleich Null. Unterschiedliche Strahlungsintensitäten auf beiden empfindlichen Infrarotsensorelementen führen dagegen zu einem Ausgangssignal der jeweiligen Elementgruppe, das der Differenz der Ausgangssignale der einzelnen Sensorelemente entspricht.The be scanned regions on the one hand by the respective opening angle the respective transmitting diode of the infrared sensor element and the other by the geometric positioning of the infrared sensor elements determined to each other on each bumper. Falling on the two infrared sensor elements, which at the front right corner are attached, radiation of equal intensity, the resulting output of the element group is zero. Different radiation intensities on both sensitive In contrast, infrared sensor elements lead to an output signal the respective element group, the difference of the output signals corresponds to the individual sensor elements.

Verlässt das Fahrzeug die Fahrspur bei einer nicht markierten Fahrbahnen bzw. beginnt das Fahrzeug auf den Straßenrand zuzusteuern, besitzen die Ausgangssignale der Infrarotsensoren, die zur Fahrzeugquerseite ausgerichtet unterschiedliche Eigenschaften, wie zum in 2B angegeben. Hier liegt der Fall vor, dass ein Spurwechsel in linker Richtung erfolgt, wobei vorhergehend die Sollfahrspur eine Geradeausfahrt war.When the vehicle leaves the lane in an unlabelled lane or begins to steer the vehicle to the side of the road, the output signals of the infrared sensors, which are aligned to the vehicle transverse side have different characteristics, such as in 2 B specified. Here, it is the case that a lane change takes place in the left direction, whereby previously the target lane was a straight ahead.

Vorne rechts 23 „liegt" der Straßenrand-Sensorstrahl 18 auf der Fahrbahn ab, während hinten rechts 24 der Straßenrand-Sensorstrahl 18 noch den Straßenrand erfasst und es liegt somit ein Fahrspurwechsel vor. Hingegen blieben bei einer Kurvenfahrt beide Straßenrand-Sensorstrahlen 18 auf dem Straßenrand. Für ein Fall einer Geradeausfahrt erfassen die Sensorstrahlen die Bereiche, die mit 25 gekennzeichnet sind und der vorderer abgetastete vordere Bereich erzeugt ein ähnliches Ausgangssignal wie der hintere Bereich. Zur Unterscheidung zwischen Fahrbahnoberfläche 22 und Straßenrand 20, werden diese getrennt abgetastet. Wird nun erkannt, dass das Fahrzeug die Fahrspur verlässt ohne dass der Blinker betätigt wurde, dann folgt ein Warnsignal. Die Warnung wird erfindungsgemäß geschwindigkeitsabhängig ab einer Fahrgeschwindigkeit von zum Beispiel 70 km/h abgegeben.Front right 23 "Lies" the roadside sensor beam 18 on the road, while the back right 24 the roadside sensor beam 18 still detects the roadside and there is thus a lane change. By contrast, when cornering both roadside sensor beams remained 18 on the roadside. For a case of straight-ahead driving, the sensor beams detect the areas covered with 25 and the front scanned front area produces a similar output as the rear area. To distinguish between road surface 22 and roadside 20 , these are scanned separately. If it is now recognized that the vehicle is leaving the lane without the turn signal being actuated, then a warning signal follows. According to the invention, the warning is given as a function of the speed from a driving speed of, for example, 70 km / h.

Nach einem weiteren Ausführungsbeispiel ist vorgesehen, dass das Fahrzeug mit einem Radarscanner ausgerüstet, der die Randbebauung oder Randbepflanzung bildgebend abscannt und entsprechend der Abstandsmessung den Fahrer beim Verlassen der Fahrspur warnt. Dabei können die Informationen der bildgebenden Abstandsmessung über den Radarscanner zum Beispiel mit Fahrsituationsdaten des Fahrzeugs, die in Fahrzeugsicherheits- und/oder Fahrerassistenzsystemen vorhanden sind, kombiniert und plausibilisiert werden.To Another embodiment provides that the vehicle is equipped with a radar scanner, which the Peripheral development or marginal planting image-scanned and accordingly the distance measurement warns the driver when leaving the lane. In this case, the information of the imaging distance measurement via the radar scanner, for example, with driving situation data of the vehicle, the present in vehicle safety and / or driver assistance systems be combined, and made plausible.

Fahrzeugsicherheitssysteme können als Electronic Break System (EBS), Engine Management System (EMS), Antiblockiersystem (ABS), Antriebs-Schlupf-Regelung (ASR), Elektronisches Stabilitätsprogramm (ESP), Elektronische Differentialsperre (EDS), Traction Control System (TCS), Elektronische Bremskraftverteilung (EBV) und/oder Motor-Schleppmomenten-Regelung (MSR) ausgeführt werden.Vehicle Safety Systems can be called Electronic Break System (EBS), Engine Management System (EMS), Antilock Braking System (ABS), Traction Control (ASR), Electronic Stability Program (ESP), Electronic Differential lock (EDS), Traction Control System (TCS), Electronic Brake force distribution (EBV) and / or engine drag torque control (MSR) are executed.

Fahrerassistenzsysteme sind als elektronische Zusatzeinrichtungen in Fahrzeugen zur Unterstützung des Fahrers in bestimmten Fahrsituationen implementiert. Hierbei stehen oft Sicherheitsaspekte, aber vornämlich die Steigerung des Fahrkomforts im Vordergrund. Diese Systeme greifen teilautonom oder autonom in Antrieb, Steuerung (z. B. Gas, Bremse) oder Signalisierungseinrichtungen des Fahrzeuges ein oder warnen durch geeignete Mensch-Maschine-Schnittstellen den Fahrer kurz vor oder während kritischer Situationen. Solche Fahrassistenzsysteme sind beispielsweise Einparkhilfe (Sensorarrays zur Hinderniss- und Abstandserkennung), Bremsassistent (BAS), Tempomat, Adaptive Cruise Control oder Abstandsregeltempomat (ACC), Abstandswarner, Abbiegeassistent, Stauassistent, Spurerkennungssystem, Spurhalteassistent/Spurassistent (Querführungsunterstützung, lane departure warning (LDW)), Spurhalteunterstützung (lane keeping support)), Spurwechselassistent (lane change assistance), Spurwechselunterstützung (lane change support), Intelligent Speed Adaption (ISA), Adaptives Kurvenlicht, Reifendruckkontrollsystem, Fahrerzustandserkennung, Verkehrszeichenerkennung, Platooning, Automatische Notbremsung (ANB), Auf- und Abblendassistent für das Fahrlicht, Nachtsichtsystem (Night Vision).Driver assistance systems are used as auxiliary electronic devices in vehicles in support of the Driver implemented in certain driving situations. Stand here often safety aspects, but especially the increase the ride comfort in the foreground. These systems are partially autonomous or autonomous in drive, control (eg gas, brake) or signaling devices of the vehicle or warn by means of suitable man-machine interfaces the driver just before or during critical situations. Such Driver assistance systems are, for example, parking aid (sensor arrays obstacle and distance detection), Brake Assist (BAS), cruise control, Adaptive Cruise Control or Adaptive Cruise Control (ACC), distance warning, Turn Assistant, Traffic Jam Assistant, Lane Detection System, Lane Keeping Assist / Lane Assistant (Transverse Guidance Assist, lane departure warning (LDW)), lane keeping assistance (lane keeping support)), lane change assistant, Lane change support, Intelligent Speed Adaptation (ISA), adaptive headlights, tire pressure monitoring system, Driver status detection, traffic sign recognition, platooning, automatic Emergency braking (ANB), up and dimming assistant for the driving light, Night vision system.

Als eine weitere bevorzugte Ausführungsform werden die in einem ESP-Regelgerät vorhandenen Signale für die Giergeschwindigkeitsdifferenz oder die Lenkwinkelsignale mit den bildgebenden Abstandssignalen des Radarscanners zusammen ausgewertet und bei über oder unterschreiten von bestimmtem vorgegeben Sollwerten durch die zusätzliche Auswertung der aus der Bilderkennung gewonnen Abstandssignalen und den hieraus ermittelte n Point of Interest (POI) eine Überprüfung und Plausibilisierung zwischen der Sollfahrspur und der Istfahrspur des Fahrzeugs durchgeführt werden.When Another preferred embodiment is that in a ESP controller existing signals for the yaw rate difference or the steering angle signals with the imaging distance signals of the radar scanner evaluated together and over or fall below certain given setpoints by the additional Evaluation of the distance signals obtained from the image recognition and the From this point of interest (POI) determined a review and plausibility between the desired lane and the actual lane of the vehicle.

Die bildgebenden Sensoren liefern Bilder in digitaler Form und mit bestimmter Frequenz. Nach Lieferung der Bilder in digitaler Form dient die Bildverarbeitung zu einer weitergehenden maschinellen Bearbeitung (Bildverstehen).The Imaging sensors provide images in digital form and with specific Frequency. After delivery of the pictures in digital form, the Image processing for further machine processing (image comprehension).

Ein digitales Bild besteht aus vielen einzelnen Bildpunkten (Pixel) und wird in ein zweidimensionales Feld mit x- und y-Koordinaten dargestellt 3. Die Anzahl an Pixelreihen in vertikaler Richtung wird mit H (Höhe des Bildes) und die Anzahl an Pixel in horizontaler Richtung mit B (Breite des Bildes) bezeichnet. Die Auflösung eines digitalen Bildes wird durch B × H bestimmt.A digital image consists of many individual pixels and is displayed in a two-dimensional field with x and y coordinates 3 , The number of pixel rows in the vertical direction is indicated by H (height of the image) and the number of pixels in the horizontal direction by B (width of the image). The resolution of a digital image is determined by B × H.

Ein digitales Bild liegt in Form von Zahlenwerten (ein oder mehrere Farbwerte pro Pixel) vor. Jedes Pixel repräsentiert einen bestimmten Helligkeitswert als Funktion g(x, y). Dabei stellt der Grauwert eines Pixels sein reiner Helligkeitswert dar. Bei einem üblichen 8-Bit-Graustufenbild können Werte zwischen 0 (Schwarz) und 255 (weiß) angenommen werden.One digital image is in the form of numerical values (one or more Color values per pixel). Each pixel represents one determined brightness value as function g (x, y). It represents the Gray value of a pixel is its pure brightness value. In a conventional 8-bit grayscale image can have values between 0 (black) and 255 (white).

Es sollen z. B. Infrarotsensoren unter mindestens einem vorderen und mindestens einem hinteren Stoßfänger angebracht werden, wobei an jedem einzelnen Stoßfänger mindestens zwei Infrarotsensoren mit mindestens zwei unterschiedlichen Abstrahlöffnungswinkel zur Abtastung eines relevanten Bereichs der Fahrbahnoberfläche (22) und des Straßenrands (20) aufweisen und von allen Infrarotsensoren eine permanente Abtastung des relevanten Bereichs der Fahrbahnoberfläche (22) und des Straßenrands (20) durchgeführt wird (1, 4, 5 und 6).It should be z. B. Infrared sensors are mounted under at least one front and at least one rear bumper, wherein at each individual bumper at least two infrared sensors having at least two different Abstrahlöffnungswinkel for scanning a relevant area of the road surface ( 22 ) and the roadside ( 20 ) and of all infrared sensors a permanent Scanning the relevant area of the road surface ( 22 ) and the roadside ( 20 ) is carried out ( 1 . 4 . 5 and 6 ).

Es wird als erstes die Signale z. B. der Infrarotsensoren zur Abtastung des Straßenrandes (äußere Sensorelemente) verarbeitet und danach die von den einzelnen Infrarotsensoren (innere und äußere Sensorelemente) ermittelten Signale werden miteinander in Bezug gesetzt.It is the first signals z. B. the infrared sensors for scanning the roadside (outer sensor elements) processed and then by the individual infrared sensors (inner and outer sensor elements) detected signals are related to each other.

Die inneren Sensorelemente tasten die Fahrbahnoberfläche ab und liefern meistens homogene Bilder (meist eine einheitliche Fläche). Die von den äußeren Sensorelementen gelieferten digitalen Bilder können aus mehreren Flächen bestehen wie in 7 dargestellt.The inner sensor elements scan the road surface and usually provide homogeneous images (usually a uniform area). The digital images provided by the outer sensor elements may consist of multiple areas as in FIG 7 shown.

Da die Bilder aus den äußeren Sensorelementen meistens aus mehreren Flächen bestehen, soll ein Verfahren zur Kantendetektion zum Einsatz kommen (Teil einer Segmentierung), wobei es versucht wird, flächige Bereiche in dem digitalen Bild von einander zu trennen.There the pictures from the outer sensor elements mostly consist of several surfaces, a method for edge detection to be used (part of a segmentation) while trying becomes, areal areas in the digital image of each other to separate.

Mit einem Kantenoperator werden die Übergänge zwischen den flächigen Bereichen erkannt und als Kanten markiert Der Kantenoperator berechnet aus dem digitalen Bild sein entsprechendes Kantenbild, in dem alle auf dem Bild befindlichen Kanten zu erkennen sind, Hierfür wird jedes Pixel (Bildpunkt aus dem Eingangsbild) mit Hilfe einer Faltungsmatrix berechnet und neu gesetzt (der Bildpunkt im Ausgangsbild).With An edge operator becomes the transitions between recognized the areal areas and marked as edges The edge operator calculates its corresponding one from the digital image Edge image in which to detect all the edges on the image are, for each pixel (pixel from the input image) calculated and reset using a convolution matrix (the pixel in the output picture).

Es kann als Kantendetektionsfilter (Kantenoperator) der Bildverarbeitung z. B. der Sobel-Operator eingesetzt werden. Hier wird der Grauwertgradient jedes Bildpunktes in horizontaler und vertikaler Richtung bestimmt. Für die Erzeugung eines Gradienten-Bildes nutzt der Sobel-Operator zur Faltung eine 3×3-Matrix (Faltungsmatrix).It can as image detection filter (edge operator) of image processing z. B. the Sobel operator can be used. Here is the gray scale gradient each pixel in the horizontal and vertical directions. For the generation of a gradient image, the Sobel operator uses for convolution, a 3 × 3 matrix (convolution matrix).

Der Grauwertgradient ist dort groß, wo die Helligkeit sich am stärksten ändert (Übergang von hell nach dunkel oder umgekehrt), was für die Kantenübergänge typisch ist. Es wird nach der Faltung eine Schwellwert-Funktion angewandt.Of the Gray gradient is great where the brightness is strongest changes (transition from bright to dark or vice versa), what the edge transitions typical. It becomes a threshold function after convolution applied.

Für die Bestimmung der Kanten im Bild werden die zwei Faltungsmatrizen Sx und Sy benutzt, um den Grauwertgradient in horizontaler und vertikaler Richtung zu berechnen, wie in 8 dargestellt.For determining the edges in the image, the two convolution matrices Sx and Sy are used to calculate the gray scale gradient in the horizontal and vertical directions, as in 8th shown.

Die Maske wird auf jedes Pixel des Eingangsbildes angewendet. Als Beispiel wird das Pixel E22 (Bildpunkt mit den Koordinaten (2, 2) aus dem Eingangsbild) betrachtet, das im Bild 8 im Zentrum der Maske liegt. Das zugehörige Pixel im Ausgangsbild A22 (Bildpunkt mit den Koordinaten (2, 2) aus dem Ausgangsbild) lässt sich in horizontaler und vertikaler Richtung wie folgt berechnen:The Mask is applied to each pixel of the input image. As an an example becomes the pixel E22 (pixel with the coordinates (2, 2) from the Input image), which is shown in Figure 8 in the center of the mask. The associated pixels in the output image A22 (pixel with the Coordinates (2, 2) from the source image) can be in calculate the horizontal and vertical directions as follows:

A22-Bildpunkt im Ausgangsbild in horizontaler Richtung:A22 pixel in the output image in horizontal Direction:

Der horizontale Sobel-Operator Tautet:

A22 = S11·E11 + S12·E12 + S13·E13 + S21·E21 + S22·E22 + S23·E23 + S31·E31 + S32·E32 + S33·E33 = Gx(2, 2) The horizontal Sobel operator Tautet:

A22 = S11 * E11 + S12 * E12 + S13 * E13 + S21 * E21 + S22 * E22 + S23 * E23 + S31 * E31 + S32 * E32 + S33 * E33 = Gx (2, 2)

Wobei Gx(x, y) der Grauwertgradient in horizontaler Richtung ist. Das Eingangsbild wird auf dieser Weise mit horizontalem Sobel-Operator gefaltet. Da auch negative Werte entstehen, wird der Nullpunkt als mittleres Grau dargestelltIn which Gx (x, y) is the gray scale gradient in the horizontal direction. The Input image becomes in this way with horizontal Sobel operator folded. Since negative values also arise, the zero point is used as a mean Shown in gray

A22-Bildpunkt im Ausgangsbild in vertikaler Richtung:A22 pixel in the output image in vertical Direction:

Der vertikale Sobel-Operator lautet

A22 = S11·E11 + S12·E12 + S13·E13 + S21·E21 + S22·E2 + S23·E23 + S31·E31+ S32·E32 + S33·E33 = Gy(2, 2) The vertical Sobel operator is

A22 = S11 * E11 + S12 * E12 + S13 * E13 + S21 * E21 + S22 * E2 + S23 * E23 + S31 * E31 + S32 * E32 + S33 * E33 = Gy (2, 2)

Wobei Gy(x, y) der Grauwertgradient in vertikaler Richtung ist. Das Eingangsbild wird auf dieser Weise mit vertikalem Sobel-Operator gefaltet. Da auch negative Werte entstehen, wird der Nullpunkt als mittleres Grau dargestelltIn which Gy (x, y) is the gray scale gradient in the vertical direction. The input image is folded in this way with a vertical Sobel operator. There even if negative values emerge, the zero point is considered medium gray shown

Die Starke der Kante ist der Betrag von der horizontalen und vertikalen Grauwertgradienten:The Strong of the edge is the amount of horizontal and vertical gray value gradients:

Wobei G(x, y) der Grauwertgradient in horizontaler und vertikaler Richtung ist.In which G (x, y) the gray scale gradient in the horizontal and vertical directions is.

Die Richtung eines Gradienten erhält man wie folgt:

The direction of a gradient is obtained as follows:

Der Wert Θ = 0 beschreibt eine vertikale Kante und positive Werte beschreiben eine Drehung gegen den Uhrzeigersinn.Of the Value Θ = 0 describes a vertical edge and positive Values describe a counterclockwise rotation.

Nach der Faltung wird der Betrag der einzelnen Bildpunkte des Ausgangsbildes (Ausgangsbild mit horizontalern und vertikalem Sobel gefaltet und kombiniert) mit einem Schwellwert verglichen. Bei Warten größer als der Schwellwert wird eine Kante angenommen und die Bildpunkte können z. B. als weiße Bildpunkte in einem Kantenbild kodiert werden. Bei Werten kleiner als der Schwellwert werden die Bildpunkte z. B. als schwarze Bildpunkte kodiert. Dadurch entsteht ein Binärbild in dem sich Kanten durch weiße Pixel vom schwarzen Hintergrund abheben wie in 9 dargestellt.After folding, the amount of the individual pixels of the output image (output image with horizontal and vertical Sobel folded and combined) is compared with a threshold value. When waiting larger than the threshold value, an edge is assumed and the pixels can, for. B. are coded as white pixels in an edge image. For values smaller than the threshold value, the pixels z. B. encoded as black pixels. This creates a binary image in which edges stand out from the black background by white pixels as in 9 shown.

Mittels der Kantendetektion sind die flächigen Bereiche aus den binären Bildern erkennbar. Ein Kantenübergang besteht in der Regel aus mehreren Pixeln, daher kann eine Kante im kodierten Bild mehrere Bildpunkte umfassen. An einem Beispiel einer Geradeausfahrt mit einem Fahrzeug auf einer Fahrbahn mit Linienmarkierung sind mit Hilfe des Kantendetektionsverfahrens vier rechteckige Bereiche erkennbar wie in 9 dargestellt.By means of edge detection, the two-dimensional areas can be recognized from the binary images. An edge transition usually consists of several pixels, therefore, an edge in the encoded image may include multiple pixels. An example of a straight ahead driving with a vehicle on a lane with a line marking, four rectangular areas can be seen using the edge detection method as in 9 shown.

Zu den einzelnen Bereichen gehören die Bildpunkte p(x, y) mit den Koordinaten x und y wie folgt:
Es wird hier senkrechte Kanten angenommen, was auch hoch wahrscheinlich ist
Bereich 1: p₁(x, y) mit 0 ≤ x ≤ i₁ – 1 und 0 ≤ y ≤ m, Breite = i₁ – 1, Höhe = m
Bereich 2: p₂(x, y) mit i₂ + 1 ≤ x ≤ i₃ – 1 und 0 ≤ y ≤ m, Breite = i₃ – i₂ – 2, Höhe = m
Bereich 3: p₃(x, y) mit i₄ + 1 ≤ x ≤ i₅ – 1 und 0 ≤ y ≤ m, Breite = i₅ – i₄ – 2, Höhe = m
Bereich 3: p₄(x, y) mit i₆ + 1 ≤ x ≤ n und 0 ≤ y ≤ m, Breite = n – i₆ – 1, Höhe = mThe individual areas include the pixels p (x, y) with the coordinates x and y as follows:
It is assumed here vertical edges, which is also highly likely
Range 1: p ₁ (x, y) with 0 ≤ x ≤ i ₁ - 1 and 0 ≤ y ≤ m, width = i ₁ - 1, height = m
Range 2: p ₂ (x, y) with i ₂ + 1 ≤ x ≤ i ₃ - 1 and 0 ≤ y ≤ m, width = i ₃ - i ₂ - 2, height = m
Range 3: p ₃ (x, y) with i ₄ + 1 ≤ x ≤ i ₅ - 1 and 0 ≤ y ≤ m, width = i ₅ - i ₄ - 2, height = m
Range 3: p ₄ (x, y) with i ₆ + 1 ≤ x ≤ n and 0 ≤ y ≤ m, width = n - i ₆ - 1, height = m

Die Bildpunkte der Kanten sind wie folgt:
p_Kante1(x, y) mit i₁ ≤ x ≤ i₂ und 0 ≤ y ≤ m, Breite = i₂ – i₁, Höhe = m
p_Kante2(x, y) mit i₃ ≤ x ≤ i₄ und 0 ≤ y ≤ m, Breite = i₄ –i₃, Höhe = m
p_Kante3(x, y) mit i₅ ≤ x ≤ i₈ und 0 ≤ y ≤ m, Breite = i₆ – i₅, Höhe = mThe pixels of the edges are as follows:
p _edge1 (x, y) with i ₁ ≤ x ≤ i ₂ and 0 ≤ y ≤ m, width = i ₂ - i ₁ , height = m
p _edge2 (x, y) with i ₃ ≤ x ≤ i ₄ and 0 ≤ y ≤ m, width = i ₄ -i ₃ , height = m
p _edge3 (x, y) with i ₅ ≤ x ≤ i ₈ and 0 ≤ y ≤ m, width = i ₆ - i ₅ , height = m

Mit Hilfe einer Klassifizierung kann aufgrund des breiten Informationsspektrums des digitalen Bildes durch Einteilung von Grau- bzw. Farbwerten in Klassen vereinfacht werden. Damit werden die Flächen mit gleichen bzw. ähnlichen Eigenschaften ermittelt und in verschiedenen Klassen zugeordnet.With Help of a classification can be due to the wide information spectrum of the digital image by division of gray or color values be simplified in classes. This will be the surfaces determined with the same or similar properties and assigned in different classes.

Also nach der Segmentierung folgt ein Klassifikationsverfahren, dass die flächigen Bereiche in den binären Kantenbildern aus den digitalen Bildern der äußeren Sensorelemente zu den Hauptklassen „Fahrbahnoberfläche", „Fahrbahnmarkierung" und „Fahrbahnrand" zuordnet. Das Verfahren nutzt dazu die digitalen Bilder der inneren Sensorelemente, in der z. B. die Histogramme der Bilder der inneren Sensorelemente mit den Histogrammen der einzelnen Bereiche der Bilder der äußeren Sensorelemente miteinander verglichen werden.So after the segmentation follows a classification method that the area areas in the binary edge images from the digital images of the outer sensor elements to the main classes "lane For this, the method uses the digital images of the inner sensor elements, in which, for example, the histograms of the images of the inner sensor elements are compared with the histograms of the individual regions of the images of the outer sensor elements ,

Nachdem die Bereiche nun erkannt sind, sollen die Histogramme der Eingangsbilder und nicht der Ausgangsbilder (Kantenbilder) aller Bereiche erstellt werden. An diesem Beispiel werden Histogramme, von den vier Bereichen des digitalen Bildes eines rechten äußeren Sensorelementes. Diese Histogramme werden mit dem Histogramm von dem digitalen Bildes des rechten inneren Sensorelementes.After this the areas are now recognized, should the histograms of the input images and not the source images (edge images) of all areas created become. Here are histograms of the four areas the digital image of a right outer sensor element. These histograms are combined with the histogram of the digital image of the right inner sensor element.

Ist das Histogramm eines Bildbereiches dem Histogramm des Bildes des rechten inneren Sensorelementes vergleichbar, dann wird dieser Bereich der Klasse „Fahrbahnoberfläche" zugeordnet. Der Bereich 2 hat z. B. die Breite einer realen Linienmarkierungsbreite und häuft im Bereich2-Histogramm die weiße Farbe, dann wird dieser Bereich als Fahrbahnlinie angenommen und der Klasse Fahrbahnmarkierung" zugeordnet. Ist der Bereich4-Histogramm mit dem Histogramm des Bildes des rechten inneren Sensorelementes nicht vergleichbar, dann wird der Bereich als Fahrbahnrand angenommen und der Klasse „Fahrbahnrand" zugeordnet.is the histogram of an image area matches the histogram of the image of the image right inner sensor element comparable, then this area assigned to the class "road surface" Area 2 has z. B. the width of a real line marking width and accumulates the white color in the area2 histogram, then this area is assumed to be the lane line and the class Lane marking. "Is the area 4-histogram with the histogram of the image of the right inner sensor element not comparable, then the area is assumed as the roadside and the class "lane edge" assigned.

Ein Histogramm H(g) ist die statistische Häufigkeit der Grauwerte bzw. der Farbwerte in einem digitalen Bild und visualisiert die Verteilung der Helligkeitswerte eines Bildes. Zur Berechnung des Histogrammes eines Bildes werden die einzelnen Bildpunkte einer bestimmten Graustufe in ihrer Häufigkeit H abgezählt und über der Grauwertskala g aufgetragen.One Histogram H (g) is the statistical frequency of gray values or the color values in a digital image and visualizes the Distribution of the brightness values of an image. To calculate the Histogram of an image, the individual pixels of a certain gray levels are counted in their frequency H and plotted over the gray scale g.

Für den Vergleich der Histogramme miteinander soll z. B. die Häufigkeit der einzelnen Grauwerte oder die Grauwerthäufigkeit bestimmter hochwahrscheinlich vorkommenden Grauwerte herangezogen werden. Es kann hier verschiedene Verfahren eingesetzt werden z. B. die Bestimmung des Mittelwerts der Grauwerthäufigkeit mit Berücksichtigung der Standardabweichung oder die Summe der Grauwerthäufigkeit und das bezogen entweder auf die ganze oder nur auf bestimmte Bereiche der Grauwertskala.For the comparison of the histograms with each other z. For example, the frequency the individual gray values or the gray scale frequency of certain highly likely gray values are used. It can Various methods are used here z. Eg the determination the mean value of the gray scale frequency with consideration the standard deviation or the sum of the gray scale frequency and that either in the whole or only in certain areas the gray scale.

Für einen besseren Vergleich der Histogramme sollen die segmentierten Bildbereiche auf eine Einheitsgröße skaliert werden oder sollen die Histogramme relativ und nicht absolut berechnet werden, d. h. die relative Grauwerthäufigkeit eines Grauwertes ist die absolute Grauwerthäufigkeit des Jeweiligen Grauwertes bezogen auf die Grauwerthäufigkeit der gesamten Grauwerte (bei 8 Bit-Grauwertbildern sind 255 Grauwerte) und damit wird die Summe der einzelnen relativen Grauwerthäufigkeit 100%.For a better comparison of the histograms should be the segmented Image areas are scaled to a single size or should the histograms be calculated relative and not absolute be, d. H. the relative gray scale frequency of a gray value the absolute gray scale frequency of the respective gray value is related on the gray scale frequency of the total gray values (at 8-bit gray value images are 255 gray values) and thus the sum the individual relative gray scale frequency 100%.

Für die Klassifikation sollen neben den momentanen Histogrammen der digitalen Bilder der inneren Sensorelemente noch die während der Fahrt gelernten Histogramme und Histogramme aus einer Datenbasis verwendet werden.For the classification should be next to the current histograms of the digital images of the inner sensor elements still during the the ride learned histograms and histograms from a database used become.

Die gelernten Histogramme werden bei der Anfahrt und während der Fahrt gelernt, z. B. bei einer Anfahrt wird der Bereich 1 als Fahrbahnoberfläche angenommen. Zur Erstellung der Datenbasis sollen möglichst viele digitale Bilder aufgezeichnet werden, die die unterschiedlichen Fahrbahnoberflächen, Fahrbahnränder, Fahrbahnmarkierungen mit Berücksichtigung vieler Einflüsse wie Belichtung, Witterungsbedingungen etc darstellen. Damit wird auch die Straßenzustände erkannt, ob die Fahrbahn glatt, mit Schnee bedeckt, etc.The learned histograms will be at the start and during learned the ride, z. B. when approaching the area 1 as Road surface assumed. To create the database as many digital images as possible should be recorded the different road surfaces, road edges, road markings considering many influences such as exposure, Weather conditions etc represent. This is also the road conditions Detects if the road surface is smooth, covered with snow, etc.

Es sollen auch Navigationssystem-Daten wie z. B. Fahrzeugposition, Autobahnausfahrt, Straßenerweiterung etc. berücksichtigt werden.It should also navigation system data such. B. vehicle position, Highway exit, road extension, etc. taken into account become.

Erfindungsgemäß werden unterschiedliche Vergleiche der Histogramme durchgeführt.According to the invention performed different comparisons of the histograms.

Als eine erste erfindungsgemäßer Vergleiche der Histogramme wird das ?H(g_i)-Verfahren durchgeführt.As a first comparison of the histograms according to the invention, the H (g _i ) method is carried out.

ΔH(g_i)-Verfahren: das ist ein Verfahren zum Vergleich der Histogramme, z. B. die Histogramme der Bilder der inneren Sensorelemente und der Bereiche der Bilder der äußeren Sensorelemente einer rechten Seite, das die relative Abweichung der Grauwerthäufigkeit einzelner Grauwerte ΔH(g_i) berücksichtigt.ΔH (g _i ) method: that is a method of comparing the histograms, e.g. Example, the histograms of the images of the inner sensor elements and the areas of the images of the outer sensor elements of a right side, which takes into account the relative deviation of the gray value frequency of individual gray values ΔH (g _i ).

Nach der Erstellung der Histogramme steht dann für Jeden Grauwert g_i die Grauwerthäufigkeit H(g_i).After the histograms have been created, the gray value frequency H _i (g _i ) is then available for each gray value g _i .

Es wird die relative Abweichung der Grauwerthäufigkeit jedes Grauwertes ΔH(g_i) berechnet, in dem erst die Grauwerthäufigketen H(g_i) des Jeweiligen Grauwertes miteinander verglichen werden. Die Abweichung wird wie folgt berechnet:
z. B. H(g_i) eines Grauwertes aus dem Histogramm des Bildes des inneren Sensorelementes ist größer als H(g_i) aus dem Histogramm des Bereiches 1 des Bildes des äußeren Sensorelementes und damit wird H(g_i), dann wird die Grauwerthäufigkeit dieses Grauwertes mit H(g_i)_max bezeichnet

Wobei 0 ≤ ΔH(g_i) ≤ 100%The relative deviation of the gray value frequency of each gray value ΔH (g _i ) is calculated by first comparing the gray value frequencies H (g _i ) of the respective gray value. The deviation is calculated as follows:
z. B. H (g _i ) of a gray value from the histogram of the image of the inner sensor element is greater than H (g _i ) from the histogram of the region 1 of the image of the outer sensor element and thus H (g _i ), then the gray scale frequency this Gray value denoted H (g _i ) _max

Where 0 ≦ ΔH (g _i ) ≦ 100%

Bei Grauwerten, die in beiden Histogrammen nicht vorkommen, dann H(gi)max = H(gi)min = 0, und ΔH(gi) = 0% For gray values that do not occur in both histograms, then H (g i ) Max = H (g i ) min = 0, and ΔH (g i ) = 0%

Aus dieser Formel kann die Abweichung der Grauwerthäufigkeit der einzelnen Grauwerte aus zwei Histogrammen über die Grauwerte in einem Diagramm dargestellt werden. Aus diesen Diagrammen wird festgestellt, wie und in welchen Grauwertbereichen sich die Histogramme ähneln und es wird festgestellt, ob sich der Verlauf der Histogramme ähnelt. Es ist erfindungsgemäß angedacht, da das erzeugt Diagramm für eine Klassifizierung weiter ausgewertet wird. Hierzu kann das Diagramm auch in verschieden Grauwertbereiche unterteilt werden.Out This formula can be the deviation of the gray scale frequency the individual gray values from two histograms over the Gray values are displayed in a diagram. From these diagrams it is determined how and in which gray value ranges the Histograms are similar and it is determined if the History of the histograms is similar. It is inventively contemplated as the generated graph continues for a classification is evaluated. For this, the diagram can also be in different gray scale ranges be divided.

Es ist auch abgedacht, einen Vergleich einzelner Grauwertbereiche zweier Histogramme durchzuführen. Dafür wird die relative Abweichung der Grauwerthäufigkeit einzelner Grauwerte ?H(g_i) herangezogen.It is also forbidden to perform a comparison of individual gray value ranges of two histograms. For this, the relative deviation of the gray value frequency of individual gray values H (g _i ) is used.

Bei einem 8-Bit Graustufenbild können die 255 Grauwerte z. B. gleichmäßig in 5 Grauwertbereichen (Bereich 1 bis 5) unterteilt werden und damit enthält jeder Bereich 51 Grauwerte. In jedem Bereich (z. B. Bereich 1, Grauwerte von 0 bis 51) werden alle dazu gehörigen Grauwerten in ihrer relativen Abweichung zwischen den zwei Histogrammen zum einem Vergleich in Bezug genommen, in dem eine Aussage über die Bildähnlichkeit in dem jeweiligen Bereich getroffen wird. Hier können unterschiedliche Ähnlichkeitsschwellen (z. B. 5%, 10%, ... 90%, 100%) gesetzt werden und in jeder Schwelle wird die Häufigkeit der Grauwerte ausgedrückt, z. B. Bereich 1, Grauwerte von 0 bis 51, 90% dieser Grauwerte liegen bei einer relativen Abweichung der Grauwerthäufigkeit unter 5% (95% Ähnlichkeit) etc. Auf dieser Weise kann die Ähnlichkeit einzelner Grauwertbereiche festgestellt werden. Um unterscheiden zu können, ob ein Grauwertbereich zweier Bilder bzw. Bilderbereiche ähnlich ist, müssen Ähnlichkeitsbedingungen gesetzt werden, z. B. 90% der Grauwerte eines Grauwertbereiches liegen unter 5% relative Abweichung: j(Bereich1, ΔH(gi) ≤ 5%) ≥ 90% For an 8-bit grayscale image, the 255 gray values can be z. B. evenly divided into 5 gray scale ranges (range 1 to 5) and thus each area contains 51 gray levels. In each area (eg area 1, gray values from 0 to 51), all associated gray values are referred to in their relative deviation between the two histograms for a comparison in which a statement about the image similarity in the respective area is made , Here, different similarity thresholds (eg 5%, 10%, ... 90%, 100%) can be set and in each threshold the frequency of the gray values is expressed, eg. For example, area 1, gray values from 0 to 51, 90% of these gray values lie with a relative deviation of the gray value frequency below 5% (95% similarity), etc. In this way, the similarity of individual gray scale ranges can be determined. In order to be able to distinguish whether a grayscale range of two images or image areas is similar, similarity conditions must be set, for example. B. 90% of the gray values of a gray scale range are below 5% relative deviation: j (range 1, ΔH (g i ) ≤ 5%) ≥ 90%

Mittelwert-Verfahren:Average method:

Man kann ein zweites Verfahren zum Vergleich der Histogramme und damit die Klassifizierung der digitalen Bilder.you may be a second method for comparing the histograms and thus the classification of digital images.

Hier wird der Mittelwert der Grauwerthäufigkeit mit der Standardabweichung eines Histogramms berechnet. Es kann entweder ein Mittelwert für alle Grauwerte oder ein Mittelwert für jeden definierbaren Grauwertbereich berechnet werden. Der Mittelwert und die Standardabweichung der Grauwerthäufigkeit werden wie folgt berechnetHere becomes the mean of the gray scale frequency with the standard deviation of a histogram. It can either be an average for all gray values or a mean value for each definable Gray value range are calculated. The mean and standard deviation the gray scale frequency is calculated as follows

Mittelwert der Grauwerthäufigkeit

bei 8 Bit-Grauwertbildern sind 255 Grauwerte und damit ist N = 255, und damit:

Mean value of gray scale frequency

with 8-bit greyscale images, there are 255 gray values and thus N = 255, and thus:

Die Standardabweichung

bei 8 Bit-Grauwertbildern sind 255 Grauwerte und damit ist N = 255, und damit:

The standard deviation

Nach der Berechnung der Mittelwert mit der Standardabweichung zweier Histogramme, können diese miteinander verglichen werden.To calculating the mean with the standard deviation of two Histograms, these can be compared with each other.

Vor der Klassifizierung der Bereiche der Bilder der äußeren Sensorelemente werden zunächst mit Hilfe eines Kantenoperators die Übergänge zwischen den flächigen Bereichen erkannt und als Kanten markiert. Als nächstes werden die Histogramme dieser erkannten Bereiche mit den Histogrammen der Bilder der inneren Sensorelemente mit unterschiedlichen Verfahren wie ΔH(g_i)-Verfahren oder Mittelwert-Verfahren verglichen werden. Aufgrund dieser Vergleiche werden die flächigen Bereiche der digitalen Bildern der äußeren Sensorelemente zu den Hauptklassen „Fahrbahnoberfläche", „Fahrbahnmarkierung" und „Fahrbahnrand" zuordnet. Bei diesem Klassifikationsverfahren werden neben den momentanen Histogrammen der digitalen Bilder der inneren Sensorelemente noch die während der Fahrt gelernten Histogramme und Histogramme aus einer Datendasis verwendet werden.Before classifying the regions of the images of the outer sensor elements, the transitions between the two-dimensional regions are first recognized with the aid of an edge operator and marked as edges. Next, the histograms of these detected regions will be compared with the histograms of the images of the inner sensor elements using different methods such as ΔH (g _i ) method or mean method. Based on these comparisons, the areal areas of the digital images of the external sensor elements are assigned to the main classes "road surface", "lane marking" and "lane edge." In this classification method, in addition to the current histograms of the digital images of the inner sensor elements, the histograms learned during the journey are also used and histograms are used from a data base.

Nach dem die Bereiche der Bilder der äußeren Sensorelemente klassifiziert sind, werden nun die Fläche oder die Anzahl der Bildpunkte einzelner Klassen berechnet. Die Flächen einzelner Klassen eines äußeren Sensorelementes werden je Fahrzeugseite (vorne linke mit hinten links und vorne rechts mit hinten rechts), und vor allem die Fahrzeugseite mit dem Fahrbahnrand, mit einander permanent verglichen.To the areas of the images of the outer sensor elements are now classified the area or number calculated the pixels of individual classes. The surfaces individual classes of an external sensor element are per vehicle side (front left with rear left and front right with rear right), and especially the vehicle side with the Roadside, permanently compared with each other.

Die Spurassistenzfunktion wird ab einer bestimmten Geschwindigkeit z. B. 70 km/h aktiviert und deaktiviert. Es kommt aber vor, dass Fahrer nach langer Fahrt auf Landstraßen auch bei einer niedrigeren Geschwindigkeit z. B. 40 km/h einen Sekundenschlaf bekommen und vor allem in frühen Morgenstunden. In diesem Fall verzögert sich das Fahrzeug von sich selbst, also ohne dass der Fahrer z. B. das Brems- oder Kupplungspedal betätigt. Damit das System auch hier helfen kann, soll die Spurassistenzfunktion bei einer Fahrzeugverzögerung von einer bestimmten Geschwindigkeit bis unter z. B. 70 km/h ohne Betätigung z. B. der Bremse oder des Kupplungspedals weiter hin bis z. B. 40 km/h verfügbar sein. Man kann dabei auch die Fahrzeit berücksichtigen.The Lane assistance function is z. B. 70 km / h activated and deactivated. It happens, though, that drivers after a long drive on country roads even at a lower Speed z. B. 40 km / h get a microsleep and especially in the early morning. In this case, delayed the vehicle of itself, so without the driver z. B. the brake or clutch pedal is pressed. So that the system can help here too, should the lane assist function in a Vehicle deceleration from a certain speed until under z. B. 70 km / h without operation z. B. the brake or the clutch pedal continues to z. B. 40 km / h available be. You can also take into account the travel time.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

- DE 10125966 A1 [0005]
DE 3028077 C2 [0006]
- DE 19507957 C1 [0007]

Claims

A method for assisting a driver when driving with a vehicle, with a lane recognition, wherein a lane edge detection by means of sensors, such as infrared sensors, optical devices, such as a camera or imaging distance measurement with, for example, radar or laser scanners is performed and a recognition of a lane change based on the Evaluation of the sensor signals according to characteristics which represent the superficial nature of the road and the roadside, and at least one infrared sensors are mounted on at least one bumper, each mounted infrared sensor on each individual bumper at least two different Abstrahlöffnungswinkeln for scanning a relevant area of the road surface ( 22 ) and the roadside ( 20 ) and by means of the infrared sensor, a permanent scanning of the relevant area of the road surface ( 22 ) and the roadside ( 20 ), and recognizing a lane change occurs when a difference between the space area of the front right vehicle corner and the rear right vehicle corner and / or the front left vehicle corner and the rear left vehicle corner is detected by the infrared sensors, characterized in that the reference the detected signals of the scanned relevant areas of the road surface ( 22 ) and the roadside ( 20 ) is performed in a digital image by means of edge detection applied to the digital image, the edge detection is performed by means of a horizontal and vertical Sobel edge operator and a gray scale gradient is determined and a binary signal is generated by the evaluation of the gray scale gradient and compared with threshold values.

A method according to claim 1, characterized in that the relevant areas of the road surface ( 22 ) and the roadside ( 20 ) are classified in main classes.

Method according to one of the preceding claims 1 to 2, characterized in that the evaluation of the gray scale gradients of the relevant n areas of the road surface ( 22 ) and the roadside ( 20 ) is done by a histogram.

Method according to one of the preceding claims 1 to 3 characterized in that an evaluation of the histograms by comparison by means of the? H (g _i ) method is carried out.

Method according to one of the preceding claims 1 to 4 characterized, an evaluation of the histograms by Comparison by means of an average method takes place

Method according to one of the preceding claims 1 to 5 characterized in that the histograms during to be learned.