[go: up one dir, main page]

DE60102195T3 - Fahrspur-Erkennungsvorrichtung für Fahrzeuge - Google Patents

Fahrspur-Erkennungsvorrichtung für Fahrzeuge Download PDF

Info

Publication number
DE60102195T3
DE60102195T3 DE60102195T DE60102195T DE60102195T3 DE 60102195 T3 DE60102195 T3 DE 60102195T3 DE 60102195 T DE60102195 T DE 60102195T DE 60102195 T DE60102195 T DE 60102195T DE 60102195 T3 DE60102195 T3 DE 60102195T3
Authority
DE
Germany
Prior art keywords
vehicle
lane
road
state
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60102195T
Other languages
English (en)
Other versions
DE60102195T2 (de
DE60102195D1 (de
Inventor
Ryota Yokohama-shi Shirato
Hiroshi Yokohama-shi Mouri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=18784018&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE60102195(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Application granted granted Critical
Publication of DE60102195D1 publication Critical patent/DE60102195D1/de
Publication of DE60102195T2 publication Critical patent/DE60102195T2/de
Publication of DE60102195T3 publication Critical patent/DE60102195T3/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • B60T2201/089Lane monitoring; Lane Keeping Systems using optical detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

  • Die vorliegende Erfindung betrifft eine Vorrichtung zum Erkennen einer Fahrspur, auf der ein Fahrzeug fährt.
  • Verschiedene Fahrspur-Erkennungsvorrichtungen sind vorgeschlagen worden, um einen Fahrer beim Fahren eines Fahrzeugs entlang einer Fahrspur oder beim automatischen Fahren eines Fahrzeugs zu unterstützen. Die vorläufige Japanische Patentanmeldung Nr. 8-5388 offenbart ein Verfahren zum Abschätzen einer Straßenform unter Verwendung eines Verfahrens der kleinsten Fehlerquadrate.
  • Die EP-A-0810569 offenbart eine Fahrspur-Erkennungsvorrichtung und ein Verfahren in Übereinstimmung mit den jeweiligen Oberbegriffen der abhängigen Ansprüche.
  • Jedoch umfasst der Stand der Technik dennoch mehrere Probleme, die verbessert werden müssen, um weiter genau und stabil eine Straßenform abzuschätzen.
  • Es ist deshalb eine Aufgabe der vorliegenden Erfindung, eine verbesserte Fahrspur-Erkennungsvorrichtung bereitzustellen, die in der Lage ist, eine Straßenform (eine Fahrspur) genau abzuschätzen, während die Abschätzung gegenüber Störungen stabil ausgeführt wird.
  • Der Hauptaspekt der vorliegenden Erfindung liegt in einer Fahrspur-Erkennungsvorrichtung, wie im Anspruch 1 aufgeführt.
  • Ein weiterer Aspekt der vorliegenden Erfindung liegt in einem Verfahren zum Erkennen einer Fahrspur vor einem Fahrzeug. Das Verfahren ist im Anspruch 6 aufgeführt.
  • Optionale und bevorzugte Merkmale dieser Erfindung lassen sich aus der folgenden Beschreibung unter Bezugnahme auf die beiliegenden Zeichnungen verstehen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • In der Zeichnung zeigt:
  • 1 ein Blockdiagramm, das eine erste Ausführungsform einer Fahrspur-Erkennungsvorrichtung für ein Fahrzeug, nicht in Übereinstimmung mit der vorliegenden Erfindung, zeigt;
  • 2 ein Flussdiagramm, das eine Informationsverarbeitungsprozedur der Fahrspur-Erkennungsvorrichtung der 1 zeigt;
  • 3A und 3B eine Draufsicht und eine Seitenansicht, die ein Straßenmodell zeigen, das in der ersten Ausführungsform verwendet wird;
  • 4 eine Ansicht, die das Abbild-Bild zeigt, auf dem das Straßenmodell entwickelt wird;
  • 5 eine Erklärungsansicht zum Erklären von Fahrspur-Erfassungsgebieten;
  • 6 ein Blockdiagramm, das eine zweite Ausführungsform der Fahrspur-Erkennungsvorrichtung eines Fahrzeugs, in Übereinstimmung mit der vorliegenden Erfindung, zeigt;
  • 7 eine Ansicht, die Koordinaten des Straßenmodells in Übereinstimmung mit der vorliegenden Erfindung zeigt;
  • 8A und 8B Erklärungsansichten, die zum Erklären einer Erfassung einer geraden Linie, die von dem Fahrspur-Erkennungsprozess ausgeführt wird, verwendet werden;
  • 9 eine andere Erklärungsansicht, die zum Erklären der Erfassung einer geraden Linie verwendet wird;
  • 10A und 10B Zeitdiagramme, die den Fahrspurmarkierungs-Kandidatenpunkt zeigen, der von einem Lenkwinkel beeinflusst wird;
  • 11 Zeitdiagramme, die den Fahrspurmarkierungs-Kandidatenpunkt, der von Geräuschen auf einer Straßenoberfläche beeinflusst wird, zeigt;
  • 12 ein Zeitdiagramm, das den Fahrspurmarkierungs-Kandidatenpunkt, der von Geräuschen auf einer Straßenoberfläche beeinflusst wird, zeigt;
  • 13A und 13B Zeitdiagramme, die den Fahrspurmarkierungs-Kandidatenpunkt, der von dem Lenkwinkel beeinflusst wird, zeigen;
  • 14A und 14B Zeitdiagramme, die den Fahrspurmarkierungs-Kandidatenpunkt, der von dem Lenkwinkel beeinflusst wird, zeigen;
  • 15A und 15B Zeitdiagramme, die den Fahrspurmarkierungs-Kandidatenpunkt zeigen, der von dem Lenkwinkel beeinflusst wird;
  • 16 Zeitdiagramme, die zum Erläutern eines Vorteils einer Verzögerung erster Ordnung eines kontinuierlichen Systems einer Zustandsgleichung des Kalman Filters in Übereinstimmung mit der vorliegenden Erfindung verwendet werden;
  • 17 eine Draufsicht, die das Straßenmodell zeigt, das in der zweiten Ausführungsform der Fahrspur-Erkennungsvorrichtung, in Übereinstimmung mit der vorliegenden Erfindung verwendet wird;
  • 18 eine Ansicht, die ein Simulationsergebnis der zweiten Ausführungsform, in Übereinstimmung mit der vorliegenden Erfindung, zeigt; und
  • 19 Graphen, die das Simulationsergebnis der zweiten Ausführungsform zeigen.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Ausführungsformen einer Fahrspur-Erkennungsvorrichtung werden nun auf Grundlage der Zeichnungen beschrieben.
  • ERSTE AUSFÜHRUNGSFORM
  • 1 ist ein Blockdiagramm, das eine Ausführungsform einer Fahrspur-Erkennungsvorrichtung 1 für ein Fahrzeug, nicht in Übereinstimmung mit der Erfindung, zeigt. Die Fahrspur-Erkennungsvorrichtung 1 für ein Fahrzeug in Übereinstimmung mit der vorliegenden Ausführungsform umfasst eine CCD-Kamera 101 zum Aufnehmen eines Bilds einer Szene einer Straße vor dem Fahrzeug (Bildaufnahmeabschnitt), einen Vorprozess-Abschnitt 102 zum gleichförmigen Verarbeiten eines vollständigen Schirms eines Videosignals von der CCD-Kamera 101, einen Fahrspurerfassungs-Einstellabschnitt 103 mit kleinen Flächen zum Einstellen einer Vielzahl von kleinen Flächen zum Erfassen einer Fahrspurmarkierung auf einem Eingabeschirm, einen Erfassungsabschnitt 104 für eine gerade Linie zum Erfassen von Teilen der Fahrspurmarkierung in der Vielzahl von kleinen Flächen bzw. Bereichen, einen Fahrspurmarkierungs-Kandidatenpunkt-Verifizierungsabschnitt 105 zum Verifizieren, dass Ergebnisse der Erfassung einer geraden Linie Teile der Fahrspurmarkierungen sind, und einen Straßenparameter-Berechnungsabschnitt 106 zum Berechnen von Straßenmodellparametern (Straßenparametern) zum Darstellen der Form der Straße vor dem Fahrzeug und des Zustands des Fahrzeugs relativ zu der Straße auf Grundlage des Ergebnisses der Fahrspurmarkierungs-Erfassung.
  • Die Fahrspur-Erkennungsvorrichtung 1 umfasst einen Prozessor 100, der durch einen Mikroprozessor gebildet ist und der mit der CCD-Kamera 101 gekoppelt ist. Der Mikrocomputer ist angeordnet, um die Abschnitte 101 bis 106 der Fahrspur-Erkennungsvorrichtung in der Form von Software zu speichern und die Prozesse der Abschnitte 101 bis 106 durch Ausführen eines Steuerprogramms in dem Prozessor 100 auszuführen.
  • Nun werden Schritte zum Erkennen einer Fahrspur beschrieben, die durch die Fahrspur-Erkennungsvorrichtung 1 unter Bezugnahme auf 2 ausgeführt werden.
  • Zunächst wird eine Fahrspur-Erkennungsvorrichtung 1 gestartet, wenn ein Schalter von dem Fahrer betätigt wird oder das Fahrzeug gestartet wird, im Schritt 201, und Straßenparameter zum Erkennen der Form einer Straße vor dem Fahrzeug und des Zustands des Fahrzeugs relativ zu der Straße werden im Schritt 202 initialisiert.
  • Die Straßenparameter werden in Übereinstimmung mit der folgenden Prozedur definiert. Wie in den 3A und 3B gezeigt, wird ein Straßenkoordinatensystem als ein XYZ-System definiert, bei dem die Mitte einer Bildaufnahmelinse der CCD-Kamera 101 der Ursprung ist. Die X-Achse erstreckt sich von rechts nach links gesehen in der Fahrtrichtung des Fahrzeugs. Die Y-Achse erstreckt sich in der Richtung der Höhe des Fahrzeugs nach oben. Die Z-Achse ist die optische Achse der Linse in der Fahrtrichtung des Fahrzeugs. Wie in 4 gezeigt, wird ein ebenes Koordinatensystem eines Bildverarbeitungsschirms definiert, bei dem der Ursprung an der oberen linken Ecke des Bildschirms ist. Die x-Achse erstreckt sich horizontal von links nach rechts, und die y-Achse erstreckt sich von oben nach unten vertikal. Diese Definitionen sind in Übereinstimmung mit der Richtung, in der ein Bildschirm in Fernsehkommunikationssystemen, wie dem NTSC, gescannt wird.
  • Die Beziehung zwischen diesen zwei Koordinatensystemen ist wie in 7 gezeigt und zur Vereinfachung wird eine Koordinatentransformation von dem Straßenkoordinatensystem auf das Ebenenkoordinatensystem mit den Gleichungen (1) und (2) ausgedrückt, die nachstehend gezeigt sind und bei denen der Ursprung des Ebenenkoordinatensystems auf der Z-Achse des Straßenkoordinatensystems angeordnet ist, wie in 7 gezeigt. x = –fX/Z (1) y = –fY/Z (2)wobei f einen Parameter darstellt, der die Brennweite der Linse darstellt.
  • Während eine planare Struktur einer Straße durch gerade Linien, Kurven mit konstanten Krümmungen und Klothoid-Kurven, die konstante Krümmungsänderungsraten zum Verbinden von diesen aufweisen, definiert wird, kann ein Abschnitt der Straße von mehreren zehn Meter vor dem Fahrzeug als eine gekrümmte Straße mit einer konstanten Krümmung oder eine gerade Straße angesehen werden. Dann wird die Form einer Fahrspurmarkierung formuliert, wie in 3A gezeigt. In ähnlicher Weise wird eine Longitudinalstruktur der gleichen wie in 3B gezeigt formuliert, weil sie so angesehen werden kann, dass sie einen konstanten Gradienten aufweist. Die Formeln sind jeweils mit den Gleichungen (3) und (4) nachstehend angegeben. x = ρ2 Z2 + ϕZ + yC – iW (3) y = ηZ – h (4)wobei ρ die Krümmung der Straße darstellt; ϕ einen Gierwinkel des Fahrzeugs zu einer Fahrspurmarkierung darstellt; yC eine laterale Verschiebung des Fahrzeugs von einer linken Fahrspurmarkierung darstellt; W die Fahrspurbreite darstellt; i die linke Linienmarkierung darstellt, wenn sie 0 ist, und die rechte Fahrspurmarkierung darstellt, wenn sie 1 ist; η einen Nickwinkel der optischen Achse der Linse zu der Straßenoberfläche darstellt; und h die Höhe der Kamera über dem Boden darstellt.
  • Die Form einer Fahrspurmarkierung, die auf das Ebenenkoordinatensystem des Bildverarbeitungsschirms projiziert wird, kann aus den Gleichungen (1) bis (4) formuliert werden. Die Gleichungen (1) bis (4) können umgeordnet werden, indem X, Y und Z eliminiert werden, um die folgenden Gleichungen (5) bis (10) zu erhalten.
    Figure 00040001
    wobei gilt: a = –yC/h (6) b = –f2hρ/h, (7) c = –fϕ + c0, (8) d = –fη + d0, (9)und e = W/h. (10)
  • Die Terme c0 und d0 sind Korrekturwerte, die benötigt werden, weil der tatsächliche Ursprung an der oberen linken Ecke des Bildverarbeitungsschirms angeordnet ist, trotz der Tatsache, dass der Ursprung des Ebenenkoordinatensystems auf der Z-Achse in dem Straßenkoordinatensystem in 7 ist.
  • Aus den obigen Ausführungen ist ersichtlich, dass die Krümmung der Straße, der Nickwinkel und der Gierwinkel des Fahrzeugs, und die laterale Verschiebung des Fahrzeugs innerhalb der Fahrspur durch Identifizieren von Werten von Parameter a bis e in Gleichung (5) abgeschätzt werden können, die durch einen Fahrspurmarkierungs-Kandidatenpmikt erfüllt werden, der über eine Bildverarbeitung erfasst wird. 4 zeigt eine Zuordnung zwischen einem Beispiel eines zweidimensionalen Straßenmodells und von Parameter e bis a auf einem Bildschirm.
  • Zurückkehrend zur 2, im Schritt 203, wird ein Bildsignal eines Bilds, wie in 4 gezeigt, das von der CCD-Kamera 101 aufgenommen wird, dem Vorverarbeitungsabschnitt 102 eingegeben, der einen Vorprozess für dieses ausführt. Als ein Vorprozess zum Erfassen einer Fahrspurmarkierung wird z.B. eine Primärraum-Differenziation mit einem Sobel Filter ausgeführt, um eine Grenze zwischen der Fahrspurmarkierung und einer Straßenoberfläche hervorzuheben. Die Aufgabe der Fahrspurmarkierungserfassung ist eine derartige Grenze. Da eine Fahrspurmarkierung Bereiche aufweist, die fast horizontal sind, und Bereiche, die fast vertikal sind, in Abhängigkeit von der Krümmung der Straße aufweist, werden zwei Kantenbilder unter Verwendung einer horizontalen Differenziation und einer vertikalen Differenziation erzeugt. Andere Kantenhervorhebungsfilter können verwendet werden, um eine Grenze bzw. einen Übergang zwischen der Fahrspurmarkierung und der Straßenoberfläche hervorzuheben.
  • Im nachfolgenden Schritt 204 werden eine Vielzahl von kleinen Bereichen eingestellt, um eine Fahrspurmarkierung zu erfassen, die die Fahrspur anzeigt, in der das Fahrzeug auf dem Bildschirm fährt. Wie in 5 gezeigt, werden die Erfassungsbereiche als vorgegebene Abschnitte eingestellt, die entlang der Form der Straße definiert sind, die aus den Ergebnissen der vorangehenden Bildverarbeitung oder Straßenparametern, die anfänglich eingestellt worden sind, identifiziert wird. Zu dieser Zeit werden die Abschnitte 1 bis 5 so eingestellt, dass sie gleiche Abstände werden, wenn der Bildschirm in ein tatsächliches dreidimensionales Straßenkoordinatensystem transformiert wird.
  • Im Schritt 205 werden gerade Linien in den kleinen Bereichen erfasst, die im Schritt 204 eingestellt werden. Wenn eine Grenze bzw. ein Übergang zwischen der Fahrspurmarkierung in einem bestimmten kleinen Bereich und der Straßenoberfläche identifiziert wird, wie mit den schwarzen ausgezogenen Linien in 5 aus den Ergebnissen der vorangehenden Bildverarbeitung oder der anfänglichen Einstellung angezeigt, kann die Position der Grenze an dieser Zeit Änderungen in der Form einer parallelen Bewegung, wie in 8A gezeigt, und Änderungen der Neigung, wie in 8B gezeigt, durchlaufen. Dann werden diese Änderungen kombiniert, um einen trapezförmigen kleinen Bereich, wie in 9 gezeigt, als einen Erfassungsbereich (eine Erfassungsfläche) einzustellen, und Liniensegmente, die sich quer zu den oberen und unteren Seiten erstrecken, sollen erfasst werden. Die Größe des Erfassungsbereichs wird durch den Bereich p des lateralen Verhaltens und den Bereich q des Neigungsverhaltens bestimmt, und p × q Liniensegmente sollen erfasst werden. Die Summe von Kantenstärken von Pixeln, die jedes der Liniensegmente auf einem Kantenbild bilden, wird für jedes der Liniensegmente berechnet, und die Koordinaten der Start- und Endpunkte des Liniensegments mit der größten Summe werden als ein Ergebnis der Erfassung ausgegeben.
  • Im nachfolgenden Schritt 206 wird verifiziert, ob das Ergebnis der Erfassung im Schritt 205 eine Beurteilung unterstützen kann, dass ein Teil einer Fahrspurmarkierung erfasst worden ist. Eine Straße weist viele andere Rauschkomponenten als Fahrspurmarkierungen auf, einschließlich Verbindungen von Gehwegen, Schatten, und Fahrzeuge, die vorausfahren. Um eine fehlerhafte Erfassung von geraden Liniensegmenten zu verhindern, die von derartigen Rauschkomponenten stammen, werden Bedingungen wie nachstehend beschrieben berücksichtigt, wenn ein Ergebnis der Erfassung einer geraden Linie als ein Kandidatenpunkt einer Fahrspurmarkierung verwendet wird.
  • Insbesondere wird zunächst der Bereich von Änderungen in der Position des Fahrspurmarkierungs-Kandidatenpunkts durch die Zeit, die zum Verarbeiten des Bilds benötigt wird, die Fahrzeuggeschwindigkeit, und die Form der Straße begrenzt. Da eine Fahrspurmarkierung eine weiße oder gelbe Linie ist, weist sie ein Paar von Zeilen mit positiven und negativen Kantenpunkten auf. Ferner wird die Bewegung eines bestimmten Fahrspurmarkierungs-Kandidatenpunkts mit der Bewegung von anderen Kandidatenpunkten korreliert.
  • Ein Ergebnis der Erfassung einer geraden Linie, die derartige Bedingungen erfüllt, wird als ein Fahrspurmarkierungs-Kandidatenpunkt zum Abschätzen von Parameter eines Straßenmodells verwendet.
  • Im nachfolgenden Schritt 207 werden Parameter für das Straßenmodell aus der Position des Fahrspurmarkierungs-Kandidatenpunkts auf dem Bildschirm, der im Schritt 206 erhalten wird, berechnet. In der vorliegenden Ausführungsform wird ein erweitertes Kalman Filter als Mittel zum Abschätzen einer Gleichung für ein zweidimensionales Straßenmodell auf Grundlage eines Ergebnisses einer Erfassung eines Fahrspurmarkierungs-Kandidatenpunkts durch eine Bildverarbeitung verwendet.
  • Die folgende Gleichung (11) wird aus den voranstehend beschriebenen Gleichungen (1) bis (4) abgeleitet. Diese Gleichung wird als eine Ausgangsgleichung beim Konfigurieren eines erweiterten Kalman Filters verwendet, und der Wert einer x-Koordinate an einem y-Koordinatenwert, der auf einer Ebene unter einer Bildverarbeitung definiert ist, wird aus der Straßenkrümmung und der Fahrzeugzustandsgröße berechnet.
  • Figure 00060001
  • Die abgeschätzte Zustandsgröße in dem erweiterten Kalman Filter umfasst eine laterale Verschiebung yC des Fahrzeugs, eine Straßenkrümmung ρ, einen Fahrzeuggierwinkel ϕ, einen Nickwinkel η, und eine Höhe h der CCD-Kamera 101. Ferner werden die Brennweite f der Linse und die Fahrspurbreite W als konstante Werte behandelt. Eine Zustandsgleichung, die als Gleichung (12) ausgedrückt wird und nachstehend gezeigt ist, wird erhalten, wenn sie als ein Zufalls-Fortschritts-Modell (Random Walk Model) in einem diskreten System definiert wird, das von weißem Gauß'schen Rauschen ν unter der Annahme angesteuert wird, dass sich eine Änderung von jeder abgeschätzten Zustandsgröße stochastisch verhält.
  • Figure 00060002
  • Wenn die Zustandsgleichung (12) und die Ausgangsgleichung (11) in die Gleichungen (13) und (14) vereinfacht werden, die nachstehend gezeigt sind, wird das erweiterte Kalman Filter durch die Gleichungen (15) bis (18) konfiguriert. xS(k + 1) = ASxS(k) + GSv(k) (13) x = g(xS,y) (14) x S(k + 1 | k) = AS x S(k | k – 1) + K(k){(x(k) – g(x S(k | k – 1), y(k))} (15) K(k) = ASP(k)CT(CP(k)CT + R)–1 (16) P(k + 1) = ASM(k)AS T + GSQGS T (17) M(k) = P(k){I – CT(CP(k)CT + R)–1CP(k)} (18)wobei M(k) die Kovarianz von Zuständen darstellt, die durch den Prozess bestimmt wird; P(k) die Kovarianz von späteren Zuständen darstellt, die aus beobachteten Werten erhalten werden; K(k) die Verstärkung (den Gewinn) des Kalman Filters darstellt; Q die Kovarianz von Beobachtungs-Rauschkomponenten darstellt; R die Kovarianz von Prozess-Rauschkomponenten darstellt; I eine Einheitsmatrix darstellt; k eine Verzögerung (ein Hinterherhinken) darstellt; und
    Figure 00070001
  • Während die Zustandsgleichung als ein Random Walk Model in einem diskreten System in der obigen Beschreibung konfiguriert worden ist, kann es als eine Verzögerung erster Ordnung in einem kontinuierlichen System dargestellt werden. Eine Zustandsgleichung in diesem Fall wird mit der nachstehend angegebenen Gleichung (19) gegeben:
    Figure 00070002
  • In der Gleichung (19) ist λ ein Parameter zum Einstellen eines Frequenzbands, in dem Störungen eingeführt werden können, und w stellt weiße Rauschkomponenten mit einem Durchschnittswert von 0 dar. In diesem Fall wird jede abgeschätzte Zustandsgröße X durch die folgende Gleichung (20) ausgedrückt. Ẋ = –λx + Wx (20)
  • Eine spektrale Leistungsdichte Φ(ω) wird erhalten, die zu einer Poisson'schen Quadratwelle mit einer 0-Durchgangsfrequenz von N pro Sekunde und einer Amplitude X0 äquivalent ist, wobei λX = 2N und die Varianz von w gleich zu 2λXX0 2 ist.
  • Figure 00080001
  • Selbst wenn tatsächliche Änderungen in den abgeschätzten Zustandsgrößen anders als diejenigen in einer Poisson Quadratwelle sind, können deshalb λx und w aus tatsächlichen Fahrbedingungen definiert werden, da ein Durchschnittswert der Änderungen und das Verhalten von diesen in Bezug auf die Varianz mit denjenigen in einer Poisson Quadratwelle übereinstimmen. Obwohl eine Poisson Quadratwelle hier verwendet wird, kann irgendein anderes Modell verwendet werden, das ein Verständnis der tatsächlichen Fahrbedingungen eines Fahrzeugs erlaubt.
  • Da eine gerade Linie und eine Kurve durch eine Klothoid-Kurve in einer tatsächlichen Straßenstruktur verbunden sind, kann ein Abschätzungsergebnis, das nahe zu der tatsächlichen Straßenform ist, durch Abschätzen der Änderung in der Krümmung mit einer Verzögerung erster Ordnung erhalten werden, wie in 16 gezeigt.
  • Bezug nehmend auf 2 wird im Schritt 208 beurteilt, ob die Straßenform aus Straßenmodellparametern a bis e, die im Schritt 207 ermittelt werden, richtig abgeschätzt worden ist. Unter Bezugnahme auf z.B. einen Parameter a wird beurteilt, dass die Abschätzung der Straßenform aus Straßenmodellparametern a bis e nicht richtig ist, wenn die laterale Position des Fahrzeugs, berechnet aus dem Parameter a, einen vorgegebenen Bereich übersteigt oder wenn eine Änderung (in der Geschwindigkeit in der lateralen Richtung) von dem Ergebnis der voranstehenden Bildverarbeitung einen vorgegebenen Wert übersteigt. Dies trifft in ähnlicher Weise auf die Parameter b bis e zu, und die Abschätzung der Straßenform aus Straßenmodellparametern a bis e wird als unrichtig beurteilt, wenn eine physikalische Größe, berechnet aus jedem der Parameter, einen vorgegebenen Bereich übersteigt oder wenn Änderungsgrößen von ihnen vorgegebene Werte übersteigen. Wenn die Abschätzung der Straßenform als richtig beurteilt wird, dann geht der Prozess zum nachfolgenden Schritt 209, und der Prozess kehrt zu dem erneut auszuführenden Schritt 202 von dem Initialisierungsprozess zurück, wenn die Abschätzung der Straßenform als unrichtig beurteilt wird.
  • Im Schritt 209 werden die Straßenparameter, die im Schritt 207 berechnet werden, in einem Datenspeichergebiet gespeichert. Danach kehrt der Prozess zum Schritt 203 zurück, um ein Bild zu ermitteln, um eine Verarbeitung des nächsten Schirms auszuführen.
  • Die Prozesse der vorliegenden Ausführungsform werden in Übereinstimmung mit der obigen Prozedur ausgeführt.
  • Während Änderungen in den Parameter so beschrieben worden sind, dass sie durch unabhängige weiße Gauß'sche Rauschkomponenten in der ersten Ausführungsform getrieben werden, kann eine Zustandsgleichung in Anbetracht von diesen Faktoren konfiguriert werden, da derartige Änderungen eine gewisse Korrelation mit Änderungen in dem Gierwinkel und der lateralen Position, Änderungen in dem Nickwinkel und der Kamerahöhe, und Änderungen in der Krümmung und dem Gierwinkel aufweisen.
  • ZWEITE AUSFÜHRUNGSFORM
  • Die 10A und 10B zeigen Zeitdiagramme (Zeitserien-Änderungen) eines Koordinatensystems eines Fahrspurmarkierungs-Kandidatenpunkts, der auf die Oberfläche des CCDs projiziert ist. Wenn das Fahrzeug allmählich entlang der Fahrspur gelenkt wird, wie für den Fall eines automatischen Fahrvorgangs, bewegt sich ein Fahrspurmarkierungs-Kandidatenpunkt sanft, wie in 10A gezeigt. Wenn im Gegensatz dazu das Lenkrad plötzlich bewegt wird, wie in 10B gezeigt, dann bewegt sich der Fahrspurmarkierungs-Kandidatenpunkt bei einer hohen Geschwindigkeit, die während eines automatischen Fahrvorgangs nicht auftritt. Sogar wenn das Lenkrad allmählich betätigt wird, kann eine fehlerhafte Erkennung der Fahrspurmarkierung durch ein Geräusch bzw. eine Rauschkomponente auf der Straßenoberfläche verursacht werden, um eine abrupte Änderung in der Koordinate eines Fahrspurmarkierungs-Kandidatenpunkts zu verursachen. 11 zeigt eine fehlerhafte Erkennung eines Fahrspurmarkierungs-Kandidatenpunkts, die durch eine Straßenoberfläche verursacht wird, die mit Regen benetzt ist.
  • Wenn, wie voranstehend beschrieben, ein Zustandsabschätzer auf Grundlage einer Annahme konfiguriert wird, das sämtliche Bewegungen eines Fahrspurmarkierungs-Kandidatenpunkts stochastische Änderungen sind, tritt eine fehlerhafte Erkennung bei schlechtem Wetter häufig auf, wenn hohe dynamische Charakteristiken von Kandidatenpunkten in dem Abschätzer eingestellt sind, obwohl ein abgeschätzter Wert einem echten Wert mit einem hohen Betriebsverhalten folgen wird, wenn das Lenkrad betätigt wird. Wenn im Gegensatz dazu niedrige dynamische Charakteristiken in dem Abschätzer eingestellt sind, ergibt sich ein Problem dahingehend, dass ein abgeschätzter Wert von einem echten Wert verzögert sein wird, wenn das Lenkrad betätigt wird.
  • Ein Gierwinkel oder eine laterale Verschiebung, verursacht durch Störungen, beispielsweise einen transversalen Gradienten einer Straße oder Seitenwind, weist ein niedriges Frequenzband auf, während ein Gierwinkel oder eine laterale Verschiebung, verursacht durch einen Lenkwinkel, ein ausreichend hohes Frequenzband aufweist. Deshalb kann das voranstehend beschriebene Problem dadurch gelöst werden, dass identifiziert wird, ob ein Gierwinkel oder eine laterale Verschiebung als Folge eines Eingangs eines Lenkwinkels verursacht wird.
  • In der vorliegenden Ausführungsform werden Nickvorgänge und Sprungvorgänge, verursacht durch eine Krümmung einer Straße oder einer unregelmäßigen Straßenoberfläche, als stationäre stochastische Prozesse angesehen, und Bewegungen eines Fahrzeugs, verursacht durch den Eingang eines Lenkwinkels, werden als deterministische Zustände auf Grundlage eines Fahrzeugmodells behandelt. Somit wird eine Bewegung eines Fahrspurmarkierungs-Kandidatenpunkts, der auf die Oberfläche der CCD projiziert ist, als eine Kombination eines stochastischen Verhaltens, verursacht durch eine Störung, die auf das Fahrzeug wirkt, und eines deterministischen Verhaltens in Übereinstimmung mit einem Lenkwinkel dargestellt. Durch Konfigurieren eines erweiterten Kalman Filters in einer derartigen Weise ist es möglich, eine fehlerhafte Erkennung einer Fahrspurmarkierung, die Rauschkomponenten bzw. Störungen auf einer Straßenoberfläche zugerechnet werden kann, zu verringern, während bevorzugte Eigenschaften, einem schnellen Verhalten des Fahrzeugs bei der Eingabe eines Lenkwinkels nachzufolgen, aufrechterhalten werden.
  • Wie in 6 gezeigt, umfasst die Fahrspur-Erkennungsvorrichtung 1 für ein Fahrzeug der zweiten Ausführungsform, in Übereinstimmung mit der vorliegenden Erfindung, eine CCD-Kamera 101 zum Aufnehmen eines Bilds einer Szene einer Straße vor dem Fahrzeug (was einem Bildaufnahmeabschnitt entspricht), einen Vorprozessabschnitt 102 zum gleichförmigen Verarbeiten eines vollständigen Bildschirms eines Videosignals von der CCD-Kamera 101, einen Einstellabschnitt 103 zum Erfassen von kleinen Bereichen der Fahrspurmarkierung, um eine Vielzahl von kleinen Bereichen zum Erfassen einer Fahrspurmarkierung auf einem Eingabebildschirm einzustellen, einen Erfassungsabschnitt 104 für gerade Linien, um Teile der Fahrspurmarkierung in der Vielzahl von kleinen Bereichen zu erfassen, einen Fahrspurmarkierungs-Kandidatenpunkt-Verifizierungsabschnitt 105 zum Verifizieren, dass Ergebnisse der Erfassung für gerade Linien Teile der Fahrspurmarkierung sind, einen Straßenparameter-Berechnungsabschnitt 106 zum Berechnen von Straßenmodellparametern (Straßenparametern) zum Darstellen der Form der Straße vor dem Fahrzeug und des Zustands des Fahrzeugs relativ zu der Straße auf Grundlage des Ergebnisses der Fahrspurmarkierungserfassung, einen Lenkwinkel-Erfassungsabschnitt 108 zum Erfassen eines Lenkwinkels des Fahrzeugs und zum Übertragen von diesem an den Straßenparameter-Berechnungsabschnitt 106, und einen Fahrzeuggeschwindigkeits-Erfassungsabschnitt 107 zum Erfassen einer Fahrgeschwindigkeit des Fahrzeugs und zum Übertragen von dieser an den Straßenparameter-Berechnungsabschnitt 106.
  • Schritte zum Erkennen einer Fahrspur werden nun beschrieben.
  • Da einige der Schritte zum Erkennen einer Fahrspur in der zweiten Ausführungsform die gleichen wie diejenigen in dem in 2 gezeigten Flussdiagramm sind, wird sich die folgende Beschreibung auf die Unterschiede zu der ersten Ausführungsform unter Bezugnahme auf 2 fokussieren.
  • In der zweiten Ausführungsform wird ein Straßenmodell definiert, wie mit der Draufsicht in 17 angedeutet. Es unterscheidet sich von 3A dahingehend, dass die in 17 gezeigte zweite Ausführungsform eine laterale Verschiebung yCr eines Fahrzeugs relativ zu einer Mittellinie einer Straße verwendet, im Gegensatz zur 3A, in der eine laterale Verschiebung yC eines Fahrzeugs relativ zu einer Markierung auf der linken Linie als laterale Verschiebung des Fahrzeugs verwendet wird. Es sei darauf hingewiesen, dass yC = W/2 – yCr ist.
  • Während die Prozesse in den Schritten 201 und 202, die in 2 gezeigt sind, die gleichen wie diejenigen in der voranstehend beschriebenen ersten Ausführungsform sind, wird die Form der in 17 gezeigten Fahrspurmarkierung mit der Gleichung (22), die nachstehend angegeben ist, aus der Beziehung ausgedrückt, die mit yC = W/2 – yCr ausgedrückt wird. Eine longitudinale Struktur der gleichen wird mit Gleichung (23), ähnlich zu der voranstehend beschriebenen ersten Ausführungsform, ausgedrückt. x = ρ2 Z2 – ϕrZ – yCr + W2 – iW (22) Y = ηZ – h (23)wobei ρ die Krümmung der Straße darstellt; ϕr einen Gierwinkel des Fahrzeugs zu der Mittellinie der Straße darstellt; yCr eine laterale Verschiebung des Mittelschwerpunkts des Fahrzeugs von der Mittellinie der Straße darstellt; i die Nummer der Fahrspurmarkierung ist, die eine Markierung der linken Fahrspur darstellt, wenn sie 0 ist, und eine Fahrspurmarkierung einer rechten Fahrspur darstellt, wenn sie 1 ist; W stellt die Fahrspurbreite dar; Z stellt einen Abstand vor dem Fahrzeug von der Mitte der Linse dar; X stellt einen Abstand des Fahrzeugs von der Mitte der Linse nach links dar; η stellt einen Nickwinkel des Fahrzeugs dar; und h stellt die Höhe der Mitte der Linse über der Straßenoberfläche dar.
  • Die Form einer Fahrspurmarkierung, die auf ein Ebenenkoordinatensystem eines Bildverarbeitungsschirms projiziert wird, kann mit den Gleichungen (1), (2), (22), und (23) formuliert werden. Die Gleichungen (1), (2), (22) und (23) können umgeordnet werden, um die folgende Gleichung (24) zu ermitteln:
    Figure 00110001
  • Die vorliegende Ausführungsform zielt darauf ab, die Form einer Straße und den Zustand des Fahrzeugs relativ zu der Straße aus einer Kombination von (x, y) und einem Lenkwinkel abzuschätzen und die folgende Zustandsgleichung (25) basiert auf einem gewöhnlichen Zweirad-Modell. ϕ .. = a11ϕ . + a12ϕ + a13C + b11θ y .. = a31ϕ . + a32ϕ + a33C + b31θ (25)
  • Die Konstanten a11, a12, a13, a31, a32, a33, b11 und b31 in der Gleichung (25) sind Konstanten, die durch die Spezifikationen bestimmt werden, die nachstehend angegeben sind.
    Figure 00110002
    wobei lf(lr) den Abstand zwischen dem Mittelschwerpunkt und dem vorderen (oder hinteren) Rad darstellt; Cf(Cr) die volle Eckleistung der vorderen (hinteren) Räder für die zwei Räder darstellt; m das Fahrzeuggewicht darstellt; I ein Giermoment der Trägheit des Fahrzeugs darstellt; O einen Lenkwinkel darstellt, N ein Lenkgangverhältnis darstellt; V die Fahrzeuggeschwindigkeit darstellt; und ϕ eine Gierrate darstellt.
  • Die gleichen Prozesse wie diejenigen in der voranstehend beschriebenen ersten Ausführungsform werden in den Schritten 203 bis 206 ausgeführt.
  • Im nachfolgenden Schritt 207 werden Parameter eines Straßenmodells aus der Position eines Fahrspurmarkierungs-Kandidatenpunkts auf einem Bildschirm, die im Schritt 206 ermittelt wird, berechnet. Ein erweitertes Kalman Filter wird auch in der zweiten Ausführungsform als Mittel zum Abschätzen einer Gleichung für ein zweidimensionales Straßenmodell auf Grundlage des Ergebnisses einer Erfassung eines Fahrspurmarkierungs-Kandidatenpunkts über eine Bildverarbeitung verwendet.
  • Ein Verhalten einer stochastischen Zustandsvariablen ξ für die Krümmung ρ, einem Nickwinkel η, der Größe eines Springens h, und von verschiedenen Störungen wird als ein System erster Ordnung, angesteuert durch weißes Rauschen, approximiert, wie mit der folgenden Gleichung (26) angedeutet: ξ . = –λξ + qλν (26). wobei λ zum Einstellen eines Frequenzbands verwendet wird, in dem Störungen eingeführt werden können; q einer Standardabweichung von Prozess-Rauschkomponenten entspricht; und ν ein normalisiertes weißes Gauß'sches Rauschen darstellt. Eine Zustandsgleichung des Fahrzeugs wird mit der folgenden Gleichung (27) ausgedrückt, in der M und F ein Giermoment und eine laterale Kraft, die von Störungen herrührt, die auf das Fahrzeug wirken, darstellen; und [νρ νη νh νM νF]T auf einer Annahme des Vorliegens von weißen Gauß'schen Rauschkomponenten angesetzt sind. xρ, qη, qh, qM und qF stellen Standardabweichungen von Störungen dar, die die jeweiligen Zustandsvariablen treiben. Das Giermoment und die laterale Kraft von Störungen werden hier als Zustandsvariablen behandelt, um Fahrspur-Nachfolgeeigenschaften durch Bereitstellung einer Rückkopplung von diesen Zustandsgrößen zu verbessern und irgendeine Verschiebung des Lenkrads von einer Neutralposition während eines geraden Fahrvorgangs als Folge eines stationären transversalen Gradienten einer Straße oder eines Seitenwinds oder irgendeine Verschiebung des Lenkrads von der Neutralposition zu der Zeit einer Versendung zu absorbieren.
  • Figure 00120001
  • Die Gleichung (27) wird in die folgende Gleichung (28) in einer diskreten Form vereinfacht, wobei die Zustandsvariablen beibehalten werden. XS(k + 1) = ASxS(k) + GSv(k) XS(k) = [ϕT(k) ϕ .r(k) ẏC T(k) yC T(k) ρT(k) ηT(k) hT(k) MT(k) FT(k)] (28)
  • Ein Zustandsvariablen-Vektor wird von einem Suffix "S", wie mit "XS" dargestellt, begleitet, um zu verhindern, dass er mit dem x der Koordinaten der CCD-Oberfläche verwechselt wird. Ein Ausgang x ist der x-Koordinatenwert eines Pixels der CCD-Oberfläche. Die Ausgangsgleichung ist eine nicht-lineare Funktion der Zustandsvariablen, wie mit der Gleichung (24) angedeutet. Insbesondere sind (x, y) Koordinatenwerte die Koordinaten von Fahrspurmarkierungs-Kandidatenpunkten, wobei zehn Punkte insgesamt für die Markierungen der linken und rechten Linie gewählt sind, wobei das y-Koordinatensystem ein fester Wert ist. Die Ausgangsgleichung für eine j-ten (j liegt im Bereich von 1 bis 10) x-Koordinate wird mit der folgenden Gleichung (29) ausgedrückt:
    Figure 00130001
  • Die Gleichung (29) wird in die folgende Gleichung (30) vereinfacht. g(XS, y) stellt eine nicht-lineare Funktion von XS und y dar. x = g(xS, y) (30)
  • Das erweiterte Kalman Filter wird mit den folgenden Gleichungen (31) bis (34) ausgedrückt. x S(k + 1 | k) = AS x S(k | k – 1) + K(k){x(k) – g(x S(k | k – 1), y(k))} (31) K(k) = ASP(k)CT(CP(k)CT + R)–1 (32) P(k + 1) = ASM(k)AS T + GQGT (33) M(k) = P(k){I – CT(CP(k)CT + R)–1CP(k)} (34)wobei M(k) die Kovarianz von Zuständen darstellt, die durch den Prozess bestimmt wird; P(k) die Kovarianz von Zuständen darstellt, nachdem ein Beobachtungswert ermittelt ist; und K(k) die Verstärkung (den Gewinn) des Kalman Filters darstellt; und
    Figure 00140001
    ist. Die Parameter für das Straßenmodell werden unter Verwendung des erweiterten Kalman Filters ermittelt, und in dem nachfolgenden Schritt 208 wird beurteilt, ob die Straßenform richtig aus Straßenmodellparametern a bis e, die im Schritt 207 ermittelt werden, bestimmt worden ist, genauso wie in der voranstehend beschriebenen ersten Ausführungsform. Wenn die Abschätzung der Straßenform als richtig beurteilt wird, geht der Prozess zum nachfolgenden Schritt 209 und der Prozess kehrt zu dem erneut auszuführenden Schritt 202 von dem Initialisierungsprozess zurück, wenn die Abschätzung der Straßenform als unrichtig beurteilt wird.
  • Im Schritt 209 werden die Straßenparameter, die im Schritt 207 berechnet werden, in einem Datenspeichergebiet gespeichert. Danach kehrt der Prozess zum Schritt 203 zurück, um ein Bild zu sammeln, um eine Verarbeitung des nächsten Bildschirms auszuführen.
  • Eine Auswertung und ein Vergleich des Betriebsverhaltens wurde zwischen einem erweiterten Kalman Filter unter Verwendung einer Ursache-Wirkung-Beziehung zwischen Zustandsgrößen eines Fahrzeugs, verursacht durch einen Lenkwinkel, und einem erweiterten Kalman Filter, für das keine Lenkwinkel-Information berücksichtigt wurde, unter Bezugnahme auf eine Gierrate, die tatsächlich mit einem Gyroskop gemessen wurde, welches an dem Fahrzeug angebracht war, ausgeführt. Unter Bezugnahme auf Bedingungen für die Auswertung wurden sie unter zwei Bedingungen ausgewertet, d.h. (1) ein Lenkwinkel wurde abrupt eingegeben, und (2) eine fehlerhafte Erkennung einer Fahrspurmarkierung wurde durch Rauschkomponenten (Störungen) auf einer Straßenoberfläche verursacht. Da ein Fahrspurmarkierungs-Kandidatenpunkt durch eine Kantenverarbeitung als ein grundlegender Prozess erfasst wird, wird ein Kontrast, verursacht durch Störungen wie Regen auf der Straße, fehlerhaft unter der Bedingung (2) erkannt. Dies führt zu einem diskontinuierlichen Verhalten, wie in 12 gezeigt.
  • Zunächst zeigen die 13A und 13B Ergebnisse einer Abschätzung durch das erweiterte Kalman Filter, für das keine Lenkwinkel-Information berücksichtigt wurde und bei dem hohe dynamische Charakteristiken eingestellt waren. 13A zeigt ein Ergebnis einer Abschätzung unter der Bedingung (1) und 13B zeigt ein Ergebnis einer Abschätzung unter der Bedingung (2). Wie in 13A gezeigt folgt der abgeschätzte Wert dem echten Wert mit einem hohen Ansprechverhalten, wenn ein Lenkwinkel schnell bei der voranstehend beschriebenen Bedingung (1) eingegeben wird. Wie sich jedoch aus 13B entnehmen lässt, treten Abschätzungsfehler, die große Amplituden aufweisen, in diesem Zustand auf, wenn viele Störkomponenten auf der Straßenoberfläche vorhanden sind, wie unter der Bedingung (2) wahrgenommen.
  • Die 14A und 14B zeigen Ergebnisse einer Abschätzung durch das erweiterte Kalman Filter, für das keine Lenkwinkel-Information berücksichtigt wurde und bei der geringe dynamische Charakteristiken eingestellt waren. 14A zeigt ein Ergebnis einer Abschätzung unter der Bedingung (1) und 14B zeigt ein Ergebnis einer Abschätzung unter der Bedingung (2). Während in diesem Fall Abschätzungsfehler zu der Zeit einer fehlerhaften Erkennung Amplituden kleiner als diejenigen in dem in den 13A und 13B gezeigten Beispiel aufweisen, ist ersichtlich, dass die dynamischen Charakteristiken des Abschätzers zu gering sind, um richtige Abschätzungswerte zu ermitteln.
  • Somit weist das erweiterte Kalman Filter, für das keine Lenkwinkel-Information berücksichtigt wird, einen Kompromiss zwischen der Eigenschaft, einem echten Wert nachzufolgen (der Abschätzungsgeschwindigkeit), und Abschätzungsfehlern zu der Zeit einer fehlerhaften Erkennung (Anti-Rauschverhalten) auf.
  • Im Gegensatz dazu zeigen die 15A und 15B Ergebnisse einer Abschätzung in Übereinstimmung mit der vorliegenden Erfindung. Die Ergebnisse der Abschätzung wurden unter Verwendung des erweiterten Kalman Filters erhalten, für das eine Lenkwinkel-Information berücksichtigt wurde. Die 15A zeigt ein Ergebnis einer Abschätzung unter der Bedingung (1) und die 15B zeigt ein Ergebnis einer Abschätzung unter Bedingung (2). Die dynamischen Charakteristiken des erweiterten Kalman Filters von diesem Beispiel wurden unabhängig von den Bedingungen konstant gehalten. Die Ergebnisse zeigen, dass das erweiterte Kalman Filter, für das eine Lenkwinkel-Information berücksichtigt wird, den Kompromiss beseitigen kann, der ein Problem in den erweiterten Kalman Filtern ist, die in den 13A, 13B, 14A und 14B gezeigt sind, weil das Fahrzeugverhalten, verursacht durch einen Lenkwinkel, modelliert wird.
  • Im Allgemeinen werden herkömmliche Fahrspur-Nachverfolgungssysteme durch ein Bildverarbeitungssystem zum Abschätzen einer lateralen Verschiebung eines Punkts für eine Vorwärtsbeobachtung durch Erfassen einer Fahrspurmarkierung und ein Lenksteuersystem, welches auf Grundlage von Information von diesem arbeitet, gebildet. Jedoch wird ein Steuersystem, welches abgeschätzte Werte von Zwischenvariablen verwendet, beispielsweise einer lateralen Verschiebung eines Punkts für eine Vorwärtsbeobachtung, für eine optimale Steuerung eines Lenksystems nutzlos. Es ist rationeller und effizienter, Zustandsvariablen eines Fahrzeugs, die für ein optisches Lenksteuersystem benötigt werden, direkt mit einem Bildverarbeitungssystem zu schätzen und zu verwenden. D.h., in der vorliegenden Ausführungsform werden Zustandsgrößen eines Fahrzeugs direkt aus Koordinatenwerten auf der Bildaufnahmeoberfläche einer CCD abgeschätzt, um eine optimale Steuerung auszuführen.
  • Eine H2-Steuerung kann durch Erweitern der voranstehend beschriebenen Gleichung (27), so wie sie ist, in eine verallgemeinerte Anlage leicht konfiguriert werden. Da die Ausgangsgleichung, wie aus der Gleichung (24) ersichtlich, nicht-linear ist, wird jedoch das erweiterte Kalman Filter, welches durch die Gleichung (31) bis (34) dargestellt wird, zum Abschätzen von Zustandsgrößen verwendet, und eine Rückkopplungsverstärkung, die erhalten wird, um eine Beobachtung von sämtlichen Zuständen zu ermöglichen, wird für einen Regler (Zustandsrückkopplungsabschnitt) verwendet. Dies macht es möglich, eine H2-Norm aus einer Störung w zu minimieren, um eine Größe z auf einer approximierten Basis zu steuern, während es ein nicht-lineares System ist.
  • Figure 00160001
  • In den Gleichungen (35) wird eine verallgemeinerte Anlage äquivalent zu einem optimalen Regler konfiguriert, und Q ist eine Gewichtung für eine laterale Verschiebung. Eine Frequenzformung kann anstelle einer derartigen skalaren Gewichtung angewendet werden. Die Rückkopplungs-Verstärkung wird mit K = –B2 TH gegeben, wobei H eine positive definierte Lösung der Riccati Gleichung (36) ist. ATH + HA – HB2B2HT + CT1 C1 = 0 (36)
  • 18 zeigt Beispiele von Fahrspurmarkierungen, die bei einer Simulation (einer Fahrt um eine Ecke, die nach links gebogen ist) verwendet werden. Die Formen und Positionen von Fahrspurmarkierungen, die auf einen Bildschirm projiziert werden, ändern sich mit dem Fahrzeug in Abhängigkeit von der Krümmung und einer Zustandsgröße des Fahrzeugs. Beispielsweise zeigt 19 einen Vergleich zwischen Werten, die mit einem Kalman Filter abgeschätzt werden, und echten Zustandsgrößen während der Simulation, wenn das Fahrzeug in einen gekrümmten Abschnitt mit keiner Übergangskurve auf Grundlage einer automatischen Lenkung eintritt. 19 zeigt, dass ein tatsächlicher Zustand und ein abgeschätzter Wert vorzugsweise sogar dann übereinstimmen, wenn ein Lenkwinkel schnell eingegeben wird.

Claims (6)

  1. Fahrspur-Erkennungsvorrichtung für ein Fahrzeug, umfassend: einen Bildaufnahmeabschnitt (101), der ein Straßenbild vor dem Fahrzeug aufnimmt; einen Fahrspurmarkierungs-Kandidatenpunkt-Erfassungsabschnitt (103, 104, 105), der Koordinatenwerte einer Vielzahl von Fahrspurmarkierungs-Kandidatenpunkten von dem Straßenbild erfasst; und einen Straßenmodell-Parameter-Berechnungsabschnitt (106), der Straßenmodell-Parameter, die die Form der Straße vor dem Fahrzeug und den Zustand des Fahrzeugs relativ zu der Straße darstellen, unter Verwendung eines Filters, auf Grundlage der Koordinatenwerte der Fahrspurmarkierungs-Kandidatenpunkte abschätzt; dadurch gekennzeichnet, dass: das besagte Filter ein erweitertes Kalman-Filter ist; die Vorrichtung einen Fahrzeuggeschwindigkeits-Erfassungsabschnitt (107) und einen Lenkwinkel-Erfassungsabschnitt (108) einschließt; eine Zustandsgleichung des erweiterten Kalman-Filters eine Änderung des Zustands des Fahrzeugs verursacht durch den Lenkwinkel und die Fahrzeuggeschwindigkeit, der/die durch den Lenkwinkel-Erfassungsabschnitt bzw. den Fahrzeuggeschwindigkeits-Erfassungsabschnitt erfasst wird, verwendet; und wobei das stochastische Verhalten verursacht durch einen Giermoment und eine Querkraft von Störungen, die sich auf das Fahrzeug auswirken, in entsprechenden Zustandsvariablen der Zustandsgleichung des erweiterten Kalman-Filters verwendet wird.
  2. Fahrspur-Erkennungsvorrichtung nach Anspruch 1, wobei die Straßenmodell-Parameter eine laterale Versetzung des Fahrzeugs in Bezug auf eine Fahrspurmarkierung, eine zu durchfahrende Kurve der Straße, einen Gierwinkel des Fahrzeugs in Bezug auf die Fahrspurmarkierung, einen Nickwinkel des Fahrzeugs, und eine Höhe des Bildaufnahmeabschnitts über dem Boden, wobei diese Höhe unter der Annahme abgeschätzt wird, dass die Fahrspurbreite konstant ist, umfassen.
  3. Fahrspur-Erkennungsvorrichtung nach Anspruch 1, wobei die Straßenmodell-Parameter eine laterale Versetzung des Fahrzeugs in Bezug auf eine Fahrspurmarkierung, eine zu durchfahrende Kurve der Straße, einen Gierwinkel des Fahrzeugs in Bezug auf die Fahrspurmarkierung, einen Nickwinkel des Fahrzeugs, und eine Fahrspurbreite der Straße umfassen.
  4. Fahrspur-Erkennungsvorrichtung nach Anspruch 1, wobei die Zustandsgleichung des erweiterten Kalman-Filters als ein Monte-Carlo-Modell in einem diskreten System definiert ist.
  5. Fahrspur-Erkennungsvorrichtung nach Anspruch 1, wobei die Zustandsgleichung des erweiterten Kalman-Filters als eine Verzögerung erster Ordnung in einem kontinuierlichen System dargestellt wird.
  6. Verfahren zum Erkennen einer Fahrspur vor einem Fahrzeug, umfassend die folgenden Schritte: Aufnehmen eines Straßenbilds vor dem Fahrzeug; Berechnen von Koordinatenwerten einer Vielzahl von Kandidatenpunkten einer Fahrspurmarkierung aus dem Straßenbild; und Abschätzen von Straßenmodell-Parametern, die eine Straßenform vor dem Fahrzeug und den Zustand des Fahrzeugs relativ zu der Straße darstellen, unter Verwendung eines Filters, auf Grundlage der Koordinatenwerte der Fahrspurmarkierungs-Kandidatenpunkte; dadurch gekennzeichnet, dass: das besagte Filter ein erweitertes Kalman-Filter ist; eine Fahrzeuggeschwindigkeit und ein Lenkwinkel erfasst werden; eine Zustandsgleichung des erweiterten Kalman-Filters eine Änderung des Zustands des Fahrzeugs verursacht durch den erfassten Lenkwinkel und die erfasste Fahrzeuggeschwindigkeit verwendet; wobei das stochastische Verhalten verursacht durch einen Giermoment und eine Querkraft von Störungen, die sich auf das Fahrzeug auswirken, in entsprechenden Zustandsvariablen der Zustandsgleichung des erweiterten Kalman-Filters verwendet wird.
DE60102195T 2000-10-02 2001-09-10 Fahrspur-Erkennungsvorrichtung für Fahrzeuge Expired - Lifetime DE60102195T3 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000302709A JP3521860B2 (ja) 2000-10-02 2000-10-02 車両の走行路認識装置
JP2000302709 2000-10-02

Publications (3)

Publication Number Publication Date
DE60102195D1 DE60102195D1 (de) 2004-04-08
DE60102195T2 DE60102195T2 (de) 2005-02-03
DE60102195T3 true DE60102195T3 (de) 2008-05-08

Family

ID=18784018

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60102195T Expired - Lifetime DE60102195T3 (de) 2000-10-02 2001-09-10 Fahrspur-Erkennungsvorrichtung für Fahrzeuge

Country Status (4)

Country Link
US (1) US6823241B2 (de)
EP (1) EP1193661B2 (de)
JP (1) JP3521860B2 (de)
DE (1) DE60102195T3 (de)

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
JP3780848B2 (ja) * 2000-12-27 2006-05-31 日産自動車株式会社 車両の走行路認識装置
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US6751547B2 (en) * 2001-11-26 2004-06-15 Hrl Laboratories, Llc Method and apparatus for estimation of forward path geometry of a vehicle based on a two-clothoid road model
DE10319277A1 (de) * 2002-05-02 2003-11-13 I2 Technologies Inc Anzeige von in einer Anzahl von Angeboten spezifizierten Werten für eine Anzahl von Angebotsvariablen im Hinblick auf den Preis
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
AU2003295318A1 (en) * 2002-06-14 2004-04-19 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
US7522091B2 (en) * 2002-07-15 2009-04-21 Automotive Systems Laboratory, Inc. Road curvature estimation system
US6718259B1 (en) * 2002-10-02 2004-04-06 Hrl Laboratories, Llc Adaptive Kalman filter method for accurate estimation of forward path geometry of an automobile
JP3661684B2 (ja) * 2002-11-28 2005-06-15 日産自動車株式会社 車線逸脱防止装置
JP4612635B2 (ja) * 2003-10-09 2011-01-12 本田技研工業株式会社 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US7197388B2 (en) * 2003-11-06 2007-03-27 Ford Global Technologies, Llc Roll stability control system for an automotive vehicle using an external environmental sensing system
JP2005149023A (ja) * 2003-11-13 2005-06-09 Mitsubishi Electric Corp 走行支援装置
US7482916B2 (en) 2004-03-15 2009-01-27 Anita Au Automatic signaling systems for vehicles
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
DE102004028404A1 (de) * 2004-06-14 2006-01-19 Daimlerchrysler Ag Verfahren zur Schätzung des Verlaufs einer Fahrspur eines Kraftfahrzeuges
JP4069912B2 (ja) * 2004-08-19 2008-04-02 日産自動車株式会社 車両運動制御装置
KR100497781B1 (ko) * 2004-09-24 2005-06-28 주식회사 삼안 에스형, 복합형 및 난형 도로설계에서 크로소이드파라메타 계산방법
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP2006285493A (ja) * 2005-03-31 2006-10-19 Daihatsu Motor Co Ltd 道路モデル推定装置及び道路モデル推定方法
JP4616068B2 (ja) * 2005-04-28 2011-01-19 本田技研工業株式会社 車両、画像処理システム、画像処理方法及び画像処理プログラム
EP1862988B1 (de) * 2006-05-30 2009-11-04 Mazda Motor Corporation Fahrassistent für ein Fahrzeug
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
EP2122599B1 (de) 2007-01-25 2019-11-13 Magna Electronics Inc. Radarerfassungssystem für ein fahrzeug
JP2008217720A (ja) * 2007-03-07 2008-09-18 Ricoh Co Ltd 通信システム、通信方法、及び、通信装置
JP5309582B2 (ja) 2007-05-11 2013-10-09 日産自動車株式会社 車両の走行制御方法及び走行制御装置
US7914187B2 (en) 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
JP4341705B2 (ja) 2007-07-17 2009-10-07 トヨタ自動車株式会社 車載画像処理装置
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US8451107B2 (en) 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
KR101071732B1 (ko) * 2007-12-17 2011-10-11 현대자동차주식회사 차량 주행속도 제어 장치 및 그 방법
US20090284361A1 (en) * 2008-05-19 2009-11-19 John Boddie Driver scoring system with lane changing detection and warning system
DE102008042538A1 (de) * 2008-10-01 2010-04-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Fahrspurverlaufs
EP2179892A1 (de) 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US8989913B2 (en) * 2008-12-26 2015-03-24 Toyota Jidosha Kabushiki Kaisha Travel route estimation device and travel route estimation method used in the same device
DE102009033219A1 (de) * 2009-01-23 2010-07-29 Daimler Ag Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur
US8964032B2 (en) 2009-01-30 2015-02-24 Magna Electronics Inc. Rear illumination system
WO2010099416A1 (en) 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
JP5075152B2 (ja) * 2009-03-24 2012-11-14 日立オートモティブシステムズ株式会社 車両制御装置
US8376595B2 (en) 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
JP4927908B2 (ja) * 2009-05-29 2012-05-09 クラリオン株式会社 車線位置検知システム
US8874317B2 (en) 2009-07-27 2014-10-28 Magna Electronics Inc. Parking assist system
WO2011014497A1 (en) 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
WO2011028686A1 (en) 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
WO2011085489A1 (en) 2010-01-13 2011-07-21 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
US8890955B2 (en) 2010-02-10 2014-11-18 Magna Mirrors Of America, Inc. Adaptable wireless vehicle vision system based on wireless communication error
DE102010020984A1 (de) 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
US9117123B2 (en) 2010-07-05 2015-08-25 Magna Electronics Inc. Vehicular rear view camera display system with lifecheck function
JP5258859B2 (ja) 2010-09-24 2013-08-07 株式会社豊田中央研究所 走路推定装置及びプログラム
WO2012068331A1 (en) 2010-11-19 2012-05-24 Magna Electronics Inc. Lane keeping system and lane centering system
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
JP2012212282A (ja) * 2011-03-31 2012-11-01 Honda Elesys Co Ltd 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
US9194943B2 (en) 2011-04-12 2015-11-24 Magna Electronics Inc. Step filter for estimating distance in a time-of-flight ranging system
US8996195B2 (en) * 2011-04-12 2015-03-31 Georgia Tech Research Corporation Systems and methods for derivative-free adaptive control
US9357208B2 (en) 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145819A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
US9058028B2 (en) * 2011-04-29 2015-06-16 Georgia Tech Research Corporation Systems and methods for parameter dependent riccati equation approaches to adaptive control
CN103582907B (zh) * 2011-06-13 2016-07-20 日产自动车株式会社 车载用图像识别装置及车道识别方法
CN102360499B (zh) * 2011-06-30 2014-01-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
WO2013019707A1 (en) 2011-08-01 2013-02-07 Magna Electronics Inc. Vehicle camera alignment system
US20140218535A1 (en) 2011-09-21 2014-08-07 Magna Electronics Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
US9681062B2 (en) 2011-09-26 2017-06-13 Magna Electronics Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
US9146898B2 (en) 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
JP5543501B2 (ja) * 2012-01-27 2014-07-09 株式会社日本自動車部品総合研究所 車両制御装置
US8948449B2 (en) * 2012-02-06 2015-02-03 GM Global Technology Operations LLC Selecting visible regions in nighttime images for performing clear path detection
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
US10493916B2 (en) 2012-02-22 2019-12-03 Magna Electronics Inc. Vehicle camera system with image manipulation
US8694224B2 (en) 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
JP5926080B2 (ja) 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
US9319637B2 (en) 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
WO2013158592A2 (en) 2012-04-16 2013-10-24 Magna Electronics, Inc. Vehicle vision system with reduced image color data processing by use of dithering
US10089537B2 (en) 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9340227B2 (en) 2012-08-14 2016-05-17 Magna Electronics Inc. Vehicle lane keep assist system
DE102013217430A1 (de) 2012-09-04 2014-03-06 Magna Electronics, Inc. Fahrerassistenzsystem für ein Kraftfahrzeug
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US9707896B2 (en) 2012-10-15 2017-07-18 Magna Electronics Inc. Vehicle camera lens dirt protection via air flow
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
US9090234B2 (en) 2012-11-19 2015-07-28 Magna Electronics Inc. Braking control system for vehicle
US10025994B2 (en) 2012-12-04 2018-07-17 Magna Electronics Inc. Vehicle vision system utilizing corner detection
US9481301B2 (en) 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
US20140168415A1 (en) 2012-12-07 2014-06-19 Magna Electronics Inc. Vehicle vision system with micro lens array
US20140218529A1 (en) 2013-02-04 2014-08-07 Magna Electronics Inc. Vehicle data recording system
US9092986B2 (en) 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
US9445057B2 (en) 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
US10027930B2 (en) 2013-03-29 2018-07-17 Magna Electronics Inc. Spectral filtering for vehicular driver assistance systems
US9327693B2 (en) 2013-04-10 2016-05-03 Magna Electronics Inc. Rear collision avoidance system for vehicle
US10232797B2 (en) 2013-04-29 2019-03-19 Magna Electronics Inc. Rear vision system for vehicle with dual purpose signal lines
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US10567705B2 (en) 2013-06-10 2020-02-18 Magna Electronics Inc. Coaxial cable with bidirectional data transmission
US9260095B2 (en) 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
US20140375476A1 (en) 2013-06-24 2014-12-25 Magna Electronics Inc. Vehicle alert system
US10755110B2 (en) 2013-06-28 2020-08-25 Magna Electronics Inc. Trailering assist system for vehicle
EP2826687B1 (de) 2013-07-16 2019-03-06 Honda Research Institute Europe GmbH Technik für Fahrspurzuweisung in einem Fahrzeug
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
US9619716B2 (en) 2013-08-12 2017-04-11 Magna Electronics Inc. Vehicle vision system with image classification
US9499139B2 (en) 2013-12-05 2016-11-22 Magna Electronics Inc. Vehicle monitoring system
US9988047B2 (en) 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US10160382B2 (en) 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
JP6299289B2 (ja) * 2014-03-06 2018-03-28 株式会社豊田中央研究所 パラメータ学習装置、運転支援装置、及びプログラム
JP6048438B2 (ja) 2014-03-28 2016-12-21 株式会社デンソー 情報送信装置
US9623878B2 (en) 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
EP3084681B1 (de) * 2014-04-04 2023-08-30 Aptiv Technologies Limited Verfahren zur fahrspurerkennung
US9487235B2 (en) 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
US9460624B2 (en) 2014-05-06 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for determining lane identification in a roadway
US10328932B2 (en) 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
JP6285321B2 (ja) * 2014-08-25 2018-02-28 株式会社Soken 道路形状認識装置
US9925980B2 (en) 2014-09-17 2018-03-27 Magna Electronics Inc. Vehicle collision avoidance system with enhanced pedestrian avoidance
CN104181926B (zh) * 2014-09-17 2017-06-13 上海畔慧信息技术有限公司 机器人的导航控制方法
US9227635B1 (en) * 2014-09-25 2016-01-05 Nissan North America, Inc. Method and system of assisting a driver of a vehicle
CN104318258B (zh) * 2014-09-29 2017-05-24 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
JP6132359B2 (ja) * 2014-10-20 2017-05-24 株式会社Soken 走行区画線認識装置
US9946940B2 (en) 2014-12-18 2018-04-17 Magna Electronics Inc. Vehicle vision system with adaptive lane marker detection
US10713506B2 (en) 2014-12-18 2020-07-14 Magna Electronics Inc. Vehicle vision system with 3D registration for distance estimation
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9764744B2 (en) 2015-02-25 2017-09-19 Magna Electronics Inc. Vehicle yaw rate estimation system
US10286855B2 (en) 2015-03-23 2019-05-14 Magna Electronics Inc. Vehicle vision system with video compression
JP6412460B2 (ja) * 2015-04-14 2018-10-24 株式会社Soken 走行路推定装置
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
US10819943B2 (en) 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
US10449899B2 (en) 2015-05-08 2019-10-22 Magna Electronics Inc. Vehicle vision system with road line sensing algorithm and lane departure warning
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US10214206B2 (en) 2015-07-13 2019-02-26 Magna Electronics Inc. Parking assist system for vehicle
US10078789B2 (en) 2015-07-17 2018-09-18 Magna Electronics Inc. Vehicle parking assist system with vision-based parking space detection
US10086870B2 (en) 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US11228700B2 (en) 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
US10144419B2 (en) 2015-11-23 2018-12-04 Magna Electronics Inc. Vehicle dynamic control system for emergency handling
JP6488226B2 (ja) * 2015-12-07 2019-03-20 株式会社豊田中央研究所 走路パラメータ推定装置及びプログラム
JP6341191B2 (ja) 2015-12-16 2018-06-13 トヨタ自動車株式会社 情報演算装置
US11285878B2 (en) 2015-12-17 2022-03-29 Magna Electronics Inc. Vehicle vision system with camera line power filter
US10102434B2 (en) 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
JP6323473B2 (ja) * 2016-02-25 2018-05-16 トヨタ自動車株式会社 走行制御装置
US10160437B2 (en) 2016-02-29 2018-12-25 Magna Electronics Inc. Vehicle control system with reverse assist
US20170253237A1 (en) 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
US10055651B2 (en) 2016-03-08 2018-08-21 Magna Electronics Inc. Vehicle vision system with enhanced lane tracking
US10300859B2 (en) 2016-06-10 2019-05-28 Magna Electronics Inc. Multi-sensor interior mirror device with image adjustment
US10102435B2 (en) * 2016-08-10 2018-10-16 Omnivision Technologies, Inc. Lane departure warning system and associated methods
CN106407893B (zh) * 2016-08-29 2019-11-22 东软集团股份有限公司 一种检测车道线的方法、装置和设备
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
CN106885523B (zh) * 2017-03-21 2019-03-08 浙江零跑科技有限公司 一种车辆路径跟随误差视觉测量优化方法
JP6889005B2 (ja) * 2017-04-05 2021-06-18 株式会社Soken 道路パラメータ推定装置
JP6992452B2 (ja) * 2017-11-30 2022-01-13 いすゞ自動車株式会社 情報処理装置及び情報処理システム
JP6845124B2 (ja) * 2017-12-04 2021-03-17 株式会社豊田中央研究所 走路推定装置及びプログラム
CN108090456B (zh) * 2017-12-27 2020-06-19 北京初速度科技有限公司 识别车道线模型的训练方法、车道线识别方法及装置
US10404909B1 (en) * 2018-04-18 2019-09-03 Ford Global Technologies, Llc Measurements via vehicle sensors
JP6697522B2 (ja) * 2018-09-28 2020-05-20 株式会社Subaru 区画線認識装置
JP7144271B2 (ja) * 2018-10-10 2022-09-29 株式会社Soken 道路形状認識装置
US11120277B2 (en) 2018-10-10 2021-09-14 Denso Corporation Apparatus and method for recognizing road shapes
CN109559334A (zh) * 2018-11-23 2019-04-02 广州路派电子科技有限公司 基于卡尔曼滤波器的车道线追踪方法
JP7180536B2 (ja) * 2019-05-24 2022-11-30 トヨタ自動車株式会社 車両
JP7323493B2 (ja) 2020-06-22 2023-08-08 株式会社Soken 道路形状認識装置
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
DE102020131130A1 (de) * 2020-11-25 2022-05-25 Valeo Schalter Und Sensoren Gmbh Fahrbahnmarkierungsdetektion
EP4053662B1 (de) * 2021-03-01 2023-06-07 Volvo Truck Corporation Manövrierassistent mit niedriger geschwindigkeit für ein fahrzeug
JP2023027471A (ja) * 2021-08-17 2023-03-02 トヨタ自動車株式会社 歩行支援システム
JP7604338B2 (ja) * 2021-08-27 2024-12-23 本田技研工業株式会社 走行制御装置
CN113911122B (zh) * 2021-11-09 2023-12-22 河南交投通汇高速公路有限责任公司 道路预警方法、装置、设备和车辆
CN114170275B (zh) * 2021-11-30 2024-11-22 重庆长安汽车股份有限公司 一种基于卡尔曼滤波的车道线处理方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4828061A (en) * 1988-06-27 1989-05-09 General Motors Corporation Closed-loop four wheel steering system having dual response rate rear steering
FR2679357B1 (fr) * 1991-07-19 1997-01-31 Matra Sep Imagerie Inf Dispositif embarque et procede de reperage et de suivi de la position d'un vehicule sur la route et dispositif d'aide a la conduite en comportant application.
US5351044A (en) * 1992-08-12 1994-09-27 Rockwell International Corporation Vehicle lane position detection system
JP3424334B2 (ja) 1994-06-21 2003-07-07 日産自動車株式会社 走行路検出装置
DE19507956C2 (de) * 1995-03-07 2002-11-07 Daimler Chrysler Ag Einrichtung zur Bestimmung des Fahrzeugabstandes von einer seitlichen Fahrbahnmarkierung
US6092018A (en) * 1996-02-05 2000-07-18 Ford Global Technologies, Inc. Trained neural network engine idle speed control system
JP3556766B2 (ja) * 1996-05-28 2004-08-25 松下電器産業株式会社 道路白線検出装置
US6091833A (en) * 1996-08-28 2000-07-18 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and a method therefor
JP3740785B2 (ja) 1997-04-28 2006-02-01 日産自動車株式会社 自動操舵装置
JP3882304B2 (ja) 1997-07-04 2007-02-14 日産自動車株式会社 自動走行用自車位置検出装置
JPH1123291A (ja) 1997-07-04 1999-01-29 Nissan Motor Co Ltd 車両用画像処理装置
JP3358709B2 (ja) * 1997-08-11 2002-12-24 富士重工業株式会社 車両用運転支援装置
JP3644211B2 (ja) 1997-09-24 2005-04-27 日産自動車株式会社 車両の自動操舵装置
DE19749086C1 (de) * 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
JP3319383B2 (ja) 1998-03-11 2002-08-26 株式会社豊田中央研究所 走行路認識装置
JP3319399B2 (ja) 1998-07-16 2002-08-26 株式会社豊田中央研究所 走行路認識装置

Also Published As

Publication number Publication date
JP2002109695A (ja) 2002-04-12
EP1193661A1 (de) 2002-04-03
DE60102195T2 (de) 2005-02-03
US6823241B2 (en) 2004-11-23
US20020042668A1 (en) 2002-04-11
EP1193661B2 (de) 2007-11-07
JP3521860B2 (ja) 2004-04-26
EP1193661B1 (de) 2004-03-03
DE60102195D1 (de) 2004-04-08

Similar Documents

Publication Publication Date Title
DE60102195T3 (de) Fahrspur-Erkennungsvorrichtung für Fahrzeuge
DE10164346B4 (de) Straßenüberwachungsverfahren für ein Fahrzeug und System dafür
DE102018111778B4 (de) Verfahren, Vorrichtung und System zur Steuerung eines Fahrzeugs, das eine Kreuzung passiert.
DE102011101990B3 (de) Verfahren und Vorrichtung zur Bestimmung eines relativen Deichselwinkels
EP3094530B1 (de) Verfahren und system zum schätzen eines fahrspurverlaufs
DE102009016568B4 (de) Trajektorien-Abschätzvorrichtung für ein bewegliches Objekt
DE60030640T2 (de) Bildverarbeitungsvorrichtung
DE102011117554B4 (de) Fahrumgebungserfassungsvorrichtung
DE60213235T2 (de) Überwachungsvorrichtung für fahrzeuge
DE69635569T2 (de) Vorrichtung zum Bestimmen der lokalen Position eines Autos auf einer Strasse
DE102019106375B4 (de) Fahrzeugsteuervorrichtung
DE112015004817B4 (de) Hinderniswarnvorrichtung
DE112017003974B4 (de) Geschwindigkeitsregelungsvorrichtung
DE19710234A1 (de) Automatische Fahrvorrichtung für Fahrzeuge
DE112017002651T5 (de) Zielerfassungsvorrichtung
DE112018007484T5 (de) Hindernis-Detektionsvorrichtung, automatische Bremsvorrichtung unter Verwendung einer Hindernis-Detektionsvorrichtung, Hindernis-Detektionsverfahren und automatisches Bremsverfahren unter Verwendung eines Hindernis-Detektionsverfahrens
DE10354209A1 (de) System und Verfahren zum Verbessern der Fahrzeugfahrer-Fahrunterstützung eines Kraftfahrzeugs
DE102007032544A1 (de) Bewegungszustandsermittlungsvorrichtung
DE102005015837A1 (de) Fahrspurerfassungsvorrichtung
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102016102003A1 (de) Kompensation für Fahrzeugsensoren
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
DE112015002764B4 (de) Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera
DE102018123861A1 (de) Zielobjektschätzvorrichtung
DE60023339T2 (de) System zur detektion von hindernissen bei einer fahrzeugbewegung

Legal Events

Date Code Title Description
8332 No legal effect for de
8370 Indication related to discontinuation of the patent is to be deleted
8363 Opposition against the patent
8366 Restricted maintained after opposition proceedings