DE102010035813A1

DE102010035813A1 - Strassenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge

Info

Publication number: DE102010035813A1
Application number: DE102010035813A
Authority: DE
Inventors: Yuichiro Tamura
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2009-08-31
Filing date: 2010-08-30
Publication date: 2011-03-03
Also published as: US20110052079A1; US8363896B2; JP2011053809A; JP5363921B2

Abstract

Eine Stereobild-Erkennungsvorrichtung (4) erfaßt einen ersten Straßenmarkierungslinien-Anfangspunkt (Pj) auf der Basis einer Helligkeitsänderung an Abfragelinien (Lx) in einem in einem Bild vorgegebenen ersten Straßenmarkierungslinien-Erfassungsbereich (A1), berechnet eine Approximationslinie (ap). für eine Punktgruppe der ersten Straßenmarkierungslinien-Anfangspunkte (Pj), gibt Straßenmarkierungslinien-Suchlinien (Ly) innerhalb der Approximationslinie (AP) in der Fahrzeugbreitenrichtung vor und sucht eine Straßenmarkierungslinie innenseitig davon in der Fahrzeugbreitenrichtung auf der Basis von Helligkeitsinformation an den Straßenmarkierungslinien-Suchlinien (Ly). Wenn eine Straßenmarkierungslinie vorhanden ist, gibt die Stereobild-Erkennungsvorrichtung (4) einen zweiten Straßenmarkierungslinien-Erfassungsbereich (A2) unter Erweiterung des ersten Straßenmarkierungslinien-Erfassungsbereichs (A1) nach innen in Fahrzeugbreitenrichtung vor, und sie erfaßt einen zweiten Straßenmarkierungslinien-Anfangspunkt (Pk), der den ersten Straßenmarkierungslinien-Anfangspunkt (Pj) nicht überlappt, berechnet eine Straßenmarkierungslinie auf der Basis einer Punktgruppe der ersten Straßenmarkierungslinien-Anfangspunkte oder der zweiten Straßenmarkierungslinien-Anfangspunkte (Pk), die unter einer vorbestimmten Bedingung ausgewählt werden, und gibt den ersten Straßenmarkierungslinien-Erfassungsbereich A1 auf der Basis der berechneten Straßenmarkierungslinie vor.

Description

Die vorliegende Erfindung bezieht sich auf eine Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge, die weiße Straßenlinien bzw. Straßenmarkierungslinien auf der Basis von Bildern erkennt, die mittels einer an Bord des Fahrzeugs vorgesehenen Kamera aufgenommen werden.
Für die Verbesserung der Fahrzeugsicherheit sind in letzter Zeit Fahrunterstützungsvorrichtungen entwickelt worden, welche die von einem Fahrer ausgeführten Betätigungen aktiv unterstützen. Zum Erzielen einer solchen Funktion, wie etwa dem Verhindern des Abkommens von einer Fahrspur, erkennt eine Fahrunterstützungsvorrichtung im allgemeinen eine Straßenmarkierungslinie auf der Basis eines aufgenommenen Bildes von dem vor dem eigenen Fahrzeug liegenden Bereich und dergleichen, wobei die Fahrunterstützungsvorrichtung eine Schätzung hinsichtlich einer eigenen Fahrspur auf der Basis der aufgenommenen Straßenmarkierungslinie vornimmt.
Es gibt viele Arten von echten Straßenmarkierungslinien neben einer Straßenmarkierungslinie, die aus einer einzigen Fahrspurbegrenzungslinie bzw. Mittellinie gebildet ist, wie zum Beispiel eine doppelte weiße Straßenmarkierungslinie mit einer gestrichelten Linie für eine visuelle Führung oder dergleichen innerhalb der Fahrspurbegrenzungslinie.
Bei der Erkennung der Straßenmarkierungslinie dieser Art ist es somit notwendig, die visuelle Führungslinie oder dergleichen zusätzlich zu der Fahrspurbegrenzungslinie in angemessener Weise zu berücksichtigen. Die ungeprüfte japanische Patentanmeldungsveröffentlichung JP-A-2007-264 955 (die im folgenden als Patentdokument 1 bezeichnet wird) offenbart eine Technologie, die eine solche Straßenmarkierungslinie erkennt. Diese Technologie erkennt zuerst eine Straßenoberfläche auf der Basis von Distanzinformation, die man durch Verarbeiten eines Paares von Bildern erhält.
Unter den Pixeln auf der erkannten Straßenoberfläche erkennt diese Technologie dann ein Pixel, dessen Helligkeit und Differenzwert gleich dem oder größer als ein vorgegebener Schwellenwert sind, als Straßenmarkierungslinienpunkt-Kandidaten. Die Technologie gruppiert dann die Straßenmarkierungslinienpunkt-Kandidaten innerhalb einer bestimmten Distanz zusammen. Wenn mehr als eine vorbestimmte Anzahl von Gruppen erfaßt werden und eine Länge in der Distanzrichtung im realen Raum jeder erfaßten Gruppe und dergleichen innerhalb eines vorbestimmten Werts liegt, erfaßt diese Technologie diese Gruppen als auf der Straßenoberfläche vorhandene gestrichelte Linie.
Die in dem Patentdokument 1 offenbarte Technologie benötigt jedoch einen exakten Wert der Länge der inneren visuellen Führungslinie, des Intervalls von dieser, der Straßenbreite und dergleichen und erfordert somit einen komplizierten Berechnungsvorgang.
Die vorliegende Erfindung ist in Anbetracht der vorstehend geschilderten Situation erfolgt, und eine Aufgabe der vorliegenden Erfindung besteht in der Angabe einer Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge, die eine exakte und stabile Straßenmarkierungslinienerkennung auch für doppelte Straßenmarkierungslinien und dergleichen unter Verwendung eines einfachen und schnellen Rechenvorgangs ausführt.
Gelöst wird diese Aufgabe durch eine Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge, wie sie im Anspruch 1 angegeben ist.
Eine Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge weist gemäß einem Aspekt der vorliegenden Erfindung folgendes auf:
eine erste Kantenerfassungseinrichtung, die einen ersten Kantenpunkt in einem ersten Straßenmarkierungslinien-Erfassungsbereich, der in einem aufgenommenen Bild von einer Fahrumgebung eines eigenen Fahrzeugs vorgegeben ist, auf der Basis einer Helligkeitsänderung in der horizontalen Richtung erfaßt;
eine Approximationslinien-Berechnungseinrichtung, die eine Approximationslinie einer die ersten Kantenpunkte enthaltenden Punktgruppe berechnet;
eine Straßenmarkierungslinien-Sucheinrichtung, die eine Straßenmarkierungslinien-Suchlinie entlang der Approximationslinie innenseitig von der Approximationslinie in Fahrzeugbreitenrichtung vorgibt und eine Straßenmarkierungslinie innenseitig von der Approximationslinie in der Fahrzeugbreitenrichtung auf der Basis von Helligkeitsinformation an der Straßenmarkierungslinien-Suchlinie sucht;
eine zweite Erfassungsbereich-Vorgabeeinrichtung, die einen zweiten Straßenmarkierungslinien-Erfassungsbereich unter Erweiterung des ersten Straßenmarkierungslinien-Erfassungsbereichs zur Innenseite in der Fahrzeugbreitenrichtung vorgibt, wenn festgestellt wird, daß eine weitere Straßenmarkierungslinie innenseitig von der Approximationslinie in der Fahrzeugbreitenrichtung vorhanden ist;
eine zweite Kantenpunkt-Erfassungseinrichtung, die einen den ersten Kantenpunkt nicht überlappenden Punkt aus den in dem zweiten Straßenmarkierungslinien-Erfassungsbereich erfaßten Straßenmarkierungslinien-Kantenpunkten auf der Basis einer Helligkeitsänderung in der horizontalen Richtung erfaßt;
eine Straßenmarkierungslinien-Berechnungseinrichtung, die entweder eine Punktgruppe, die die ersten Straßenmarkierungslinien-Kantenpunkte enthält, oder eine Punktgruppe, die die zweiten Straßenmarkierungslinien-Kantenpunkte enthält, auf der Basis einer vorbestimmten Bedingung auswählt und eine Straßenmarkierungslinie auf der Basis der ausgewählten Punktgruppe berechnet; und
eine erste Erfassungsbereich-Vorgabeeinrichtung, die den ersten Straßenmarkierungslinien-Erfassungsbereich auf der Basis der berechneten Straßenmarkierungslinie vorgibt.
Gemäß einem Aspekt der vorliegenden Erfindung kann die Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge eine exakte und stabile Straßenmarkierungslinien-Erkennung auch für doppelte Straßenmarkierungslinien und dergleichen unter Verwendung eines einfachen und raschen Rechenvorgangs ausführen.
Bevorzugte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
Die Erfindung und Weiterbildungen der Erfindung werden im folgenden anhand der zeichnerischen Darstellungen eines Ausführungsbeispiels noch näher erläutert. In den Zeichnungen zeigen:
1 eine allgemeine schematische Darstellung zur Erläuterung einer Fahrunterstützungsvorrichtung für Fahrzeuge gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Flußdiagramm zur Erläuterung einer Routine einer Straßenmarkungslinienerkennung;
3A eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes einer äußeren Umgebung eines Fahrzeugs;
3B eine Ansicht zur Erläuterung einer ersten Punktgruppe, die Straßenmarkierungslinien-Anfangspunkte enthält, die aus dem Bild gemäß 3A erfaßt werden;
3C eine Ansicht zur Erläuterung von Straßenmarkierungslinien-Suchlinien zum Erfassen einer doppelten Straßenmarkierungslinie;
4A eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes einer äußeren Umgebung eines Fahrzeugs;
4B eine Ansicht zur Erläuterung einer ersten Punktgruppe, die Straßenmarkierungslinien-Anfangspunkte enthält, die aus dem Bild gemäß 4A erfaßt werden;
4C eine Ansicht zur Erläuterung von Straßenmarkierungslinien-Suchlinien zum Erfassen einer doppelten Straßenmarkierungslinie;
4D eine Ansicht zur Erläuterung einer zweiten Punktgruppe, die Straßenmarkierungslinien-Anfangspunkte enthält, die aus dem Bild gemäß 4A erfaßt werden;
5A eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes einer äußeren Umgebung eines Fahrzeugs;
5B eine Ansicht zur Erläuterung einer ersten Punktgruppe, die Straßenmarkierungslinien-Anfangspunkte enthält, die aus dem Bild gemäß 5A erfaßt werden;
5C eine Ansicht zur Erläuterung von Straßenmarkierungslinien-Suchlinien zum Erfassen einer doppelten Straßenmarkierungslinie;
6 ein Diagramm zur Erläuterung eines Übergangs in der Helligkeit und dem Differenzwert davon bei einem Straßenmarkierungslinien-Anfangspunkt und einem Straßenmarkierungslinien-Endpunkt;
7 eine Ansicht zur Erläuterung eines Berechnungsverfahrens einer Hough-Transformation;
8 eine Ansicht zur Erläuterung eines Hough-Raums;
9A bis 9C Ansichten zur Erläuterung der Helligkeit an den Straßenmarkierungslinien-Suchlinien zum Erfassen einer doppelten Straßenmarkierungslinie in dem jeweiligen aufgenommenen Bild;
10A und 10B Ansichten zur Erläuterung der Beziehung zwischen einer erkannten Straßenmarkierungslinie und dem ersten Straßenmarkierungslinien Erfassungsbereich; und
11 eine Ansicht zur Erläuterung einer Modifizierung eines Punktgruppen-Auswahlverfahrens.
Im folgenden wird ein Ausführungsbeispiel der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
Dabei zeigt 1 eine allgemeine schematische Darstellung zur Erläuterung einer Fahrunterstützungsvorrichtung für Fahrzeuge gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 2 zeigt ein Flußdiagramm zur Erläuterung einer Routine einer Straßenmarkierungslinien-Erkennung; 3A zeigt eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes einer äußeren Umgebung eines Fahrzeugs, 3B zeigt eine Ansicht zur Erläuterung einer ersten Punktgruppe, die Straßenmarkierungslinien-Anfangspunkte enthält, die aus dem Bild der 3A erfaßt werden; und 3C zeigt eine Ansicht zur Erläuterung einer Straßenmarkierungslinien-Suchlinie zum Erfassen einer doppelten Straßenmarkierungslinie.
4A zeigt eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes von der äußeren Umgebung eines Fahrzeugs, 4B zeigt eine Ansicht zur Erläuterung einer ersten Punktgruppe, die Straßenmarkierungslinien-Anfangspunkte enthält, die aus dem Bild der 4A erfaßt werden, 4C zeigt eine Ansicht zur Erläuterung von Straßenmarkierungslinien-Suchlinien zum Erfassen einer doppelten Straßenmarkierungslinie, und 4D zeigt eine Ansicht zur Erläuterung einer zweiten Punktgruppe, die Straßenmarkierungslinien-Anfangspunkte enthält, die aus dem Bild der 4A erfaßt werden.
5A zeigt eine Ansicht zur Erläuterung eines Rahmenformats eines aufgenommenen Bildes von einer äußeren Umgebung eines Fahrzeugs, 5B zeigt eine Ansicht zur Erläuterung einer ersten Punktgruppe, die Straßenmarkierungslinien-Anfangspunkte enthält, die aus dem Bild der 5A erfaßt werden, und 5C zeigt eine Ansicht zur Erläuterung von Straßenmarkierungslinien-Suchlinien zum Erfassen einer doppelten Straßenmarkierungslinie.
6 zeigt eine schematische Darstellung zur Erläuterung eines Übergangs hinsichtlich der Helligkeit und des Differenzwerts von dieser bei einem Straßenmarkierungslinien-Anfangspunkt und einem Straßenmarkierungslinien-Endpunkt; 7 zeigt eine Ansicht zur Erläuterung eines Berechnungsverfahrens einer Hough-Transformation; 8 zeigt eine Ansicht zur Erläuterung eines Hough-Raums.
9A bis 9C zeigen Ansichten zur Erläuterung der Helligkeit an den Straßenmarkierungslinien-Suchlinien in jedem aufgenommenen Bild; 10A und 10B zeigen Ansichten zur Erläuterung der Beziehung zwischen einer erkannten Straßenmarkierungslinie und dem ersten Straßenmarkierungslinien-Erfassungsbereich; und 11 zeigt eine Ansicht zur Erläuterung einer Modifizierung eines Punktgruppen-Auswählverfahrens.
In 1 bezeichnet das Bezugszeichen 1 ein Fahrzeug (eigenes Fahrzeug), in dem eine Fahrunterstützungsvorrichtung 2 angebracht ist. Die Fahrunterstützungsvorrichtung 2 ist in erster Linie zum Beispiel aus einer Stereokamera 3, einer Stereobild-Erkennungsvorrichtung 4 und einer Steuereinheit 5 gebildet.
Das eigene Fahrzeug 1 ist ausgestattet mit einem Fahrzeuggeschwindigkeitssensor 11 zum Erfassen einer Geschwindigkeit V des eigenen Fahrzeugs, einem Gierratensensor 12 zum Erfassen einer Gierrate γ, einem Hauptschalter 13 zum Einschalten und Ausschalten einer Fahrsteuerfunktion, einem Lenkwinkelsensor 14, der gepaart mit einer mit einem Lenkrad verbundenen Lenkwelle angebracht ist und einen Lenkwinkel θst erfaßt, sowie mit einem Gaspedal-Öffnungssensor 15 zum Erfassen eines Niederdruckausmaßes eines Gaspedals durch einen Fahrer bzw. eines Gaspedal-Öffnungsausmaßes θacc.
Die Stereokamera 3 ist gebildet aus einem Paar CCD-Kameras, die eine Festkörper-Abbildungsvorrichtung, wie zum Beispiel eine ladungsgekoppelte Vorrichtung (CCD) für ein stereooptisches System, verwenden. Die rechte und die linke CCD-Kamera sind in einem vorderen Deckenbereich des Innenraums des eigenen Fahrzeugs mit einer bestimmten Beabstandung voneinander angebracht, nehmen ein Stereobild eines Objekts außerhalb des eigenen Fahrzeugs von verschiedenen Blickpunkten auf und geben Bilddaten an eine Stereobild-Erkennungsvorrichtung 4 aus. In der nachfolgenden Beschreibung wird das eine Bild eines Paares von aufgenommenen Stereobildern (beispielsweise das rechte Bild) als Referenzbild bezeichnet, während das andere Bild (beispielsweise das linke Bild) als Vergleichsbild bezeichnet wird.
Die Stereobild-Erkennungsvorrichtung 4 unterteilt als erstes das Referenzbild in kleine Bereiche von beispielsweise 4×4 Pixeln und vergleicht das Referenzbild und das Vergleichsbild hinsichtlich der Helligkeit oder des Farbmusters von jedem kleinen Bereich, um einen entsprechenden Bereich aufzufinden, und schafft eine Distanzverteilung über das gesamte Referenzbild.
Außerdem stellt die Stereobild-Erkennungsvorrichtung 4 eine Helligkeitsdifferenz zwischen jedem Pixel des Referenzbildes und benachbarten Pixeln von diesem fest, extrahiert eine Helligkeitsdifferenz, die einen Schwellenwert übersteigt, als Kante, und versieht die extrahierten Pixel (Kanten) mit Distanzinformation, um ein Verteilungsbild der Kanten mit Distanzinformation (Distanzbild) zu generieren.
Auf der Basis des generierten Distanzbildes ordnet die Stereobild-Erkennungsvorrichtung 4 dann einer Straßenmarkierungslinie, einer Seitenwand bzw. Seitenbegrenzung und einem dreidimensionalen Objekt und dergleichen vor dem eigenen Fahrzeug unterschiedliche Identifikationen zu und überwacht diese dann in Abhängigkeit von der betreffenden Identifikation in kontinuierlicher Weise innerhalb von Rahmen.
Bei dem vorliegenden Ausführungsbeispiel handelt es sich bei dem Begriff weiße Straßenlinie oder Straßenmarkierungslinie um eine allgemeine Bezeichnung für Linien, die sich entlang einer Straße erstrecken, um eine eigene Fahrspur abzugrenzen, wie zum Beispiel eine einzelne Fahrspurbegrenzungslinie bzw. Mittellinie, und eine Mehrfachlinie, die eine visuelle Führungslinie innenseitig von der Fahrspurbegrenzungslinie (Doppellinie usw.) aufweist. Bei der Form jeder Linie kann es sich um eine durchgehende Linie oder um eine gestrichelte bzw. unterbrochene Linie handeln, wobei jede Linie auch als gelbe Linie, Bott-Punkte oder dergleichen vorhanden sein kann.
Bei der Straßenmarkierungslinienerkennung gemäß dem vorliegenden Ausführungsbeispiel werden ferner, selbst wenn es sich bei einer tatsächlichen Straßenmarkierungslinie um eine Doppellinie handelt, sowohl die rechte als auch die linke Linie jeweils unter Annäherung an eine einzige gerade Linie, eine einzige gekrümmte Linie usw. erkannt.
Bei der Straßenmarkierungslinienerkennung dieses Typs gibt die Stereobild-Erkennungsvorrichtung 4 eine Vielzahl von Abfragelinien Lx in der horizontalen Richtung (Fahrzeugbreitenrichtung) in einem ersten Straßenmarkierungslinien-Erfassungsbereich A1 vor, der in einem Bild auf der Basis eines vorhergehenden Rahmenvorgangs vorgegeben ist, und auf der Basis der Änderung in der Helligkeit an den Abfragelinien Lx erfaßt die Stereobild-Erkennungsvorrichtung 4 einen ersten Straßenmarkierungslinien-Anfangspunkt Pj für jede Abfragelinie Lx.
Insbesondere wird zum Beispiel in jedem von dem rechten und linken ersten Straßenmarkierungslinien-Erfassungsbereich A1, die in dem Referenzbild vorgegeben sind, von der Stereobild-Erkennungsvorrichtung 4 ein Straßenmarkierungslinien-Anfangspunkt als erster Straßenmarkierungslinien-Kantenpunkt (erster Straßenmarkierungslinien-Anfangspunkt Pj) durch Überprüfen der Helligkeitsänderung jedes Pixels auf jeder Abfragelinie Lx von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung erfaßt.
Ferner berechnet in jedem von dem rechten und linken ersten Straßenmarkierungslinien-Erfassungsbereich A1 die Stereobild-Erkennungsvorrichtung 4 eine Approximationslinie ap für die Punktgruppe, die die erkannten ersten Straßenmarkierungslinien-Anfangspunkte Pj enthält.
Ferner gibt die Stereobild-Erkennungsvorrichtung 4 Straßenmarkierungslinien-Suchlinien Ly vor, die sich in Fahrzeugbreitenrichtung an der Innenseite entlang der berechneten Approximätionslinie erstrecken.
Auf der Basis der Helligkeitsinformation der Straßenmarkierungslinien-Suchlinien Ly nimmt die Stereobild-Erkennungsvorrichtung 4 dann eine Suche dahingehend vor, ob eine weitere Straßenmarkierungslinie an der Innenseite der Approximationslinie ap in der Fahrzeugbreitenrichtung vorhanden ist oder nicht.
Bei Feststellung, daß eine weitere Straßenmarkierungslinie in der Fahrzeugbreitenrichtung an der Innenseite von der Approximationslinie ap vorhanden ist, gibt die Stereobild-Erkennungsvorrichtung 4 einen zweiten Markierungslinien-Erfassungsbereich A2 vor, dessen Erstreckungsbereich auf der Innenseite in Fahrzeugbreitenrichtung im Vergleich zu dem ersten Straßenmarkierungslinien-Erfassungsbereich A1 erweitert ist.
Auf der Basis der Helligkeitsänderung an den Abfragelinien Lx erfaßt die Stereobild-Erkennungsvorrichtung 4 dann einen Straßenmarkierungslinien-Anfangspunkt als zweiten Straßenmarkierungslinien-Kantenpunkt (zweiten Straßenmarkierungslinien-Anfangspunkt Pk) für jede Abfragelinie Lx.
Insbesondere wird zum Beispiel in dem zweiten Straßenmarkierungslinien-Erfassungsbereich A2 von der Stereobild-Erkennungsvorrichtung 4 jeweils ein Straßenmarkierungslinien-Anfangspunkt an jeder Abfragelinie Lx erfaßt, und aus den erfaßten Punkten wird ein Punkt, der den ersten Straßenmarkierungslinien-Anfangspunkt nicht überlappt, als zweiter Straßenmarkierungslinien-Anfangspunkt Pk extrahiert.
Anschließend wählt die Stereobild-Erkennungsvorrichtung 4 eine für die Straßenmarkierungslinienberechnung geeignete Punktgruppe aus einer Punktgruppe, die die ersten Straßenmarkierungslinien-Anfangspunkte Pj enthält, oder aus einer Punktgruppe, die die zweiten Straßenmarkierungslinien-Anfangspunkte Pk enthält, auf der Basis einer vorbestimmten Bedingung aus und berechnet eine Straßenmarkierungslinie (eine Approximationslinie der Straßenmarkierungslinie) auf der Basis der ausgewählten Punktgruppe.
Es ist darauf hinzuweisen, daß dann, wenn keine Punktgruppe vorhanden ist, die die zweiten Straßenmarkierungslinien-Anfangspunkte Pk enthält, automatisch die die ersten Straßenmarkierungslinien-Anfangspunkte Pj enthaltende Punktgruppe für die Straßenmarkierungslinienberechnung ausgewählt wird.
Auf der Basis der berechneten Straßenmarkierungslinie gibt die Stereobild-Erkennungsvorrichtung 4 ferner einen ersten Straßenmarkierungslinien-Erfassungsbereich A1 neu vor, der für die Straßenmarkierungslinienerkennung in einem nachfolgenden Rahmen verwendet wird.
Wie vorstehend beschrieben, besitzt die Stereobild-Erkennungsvorrichtung 4 bei dem vorliegenden Ausführungsbeispiel die Funktion einer Straßenmarkierungslinien-Erkennungsvorrichtung, wobei sie ferner die Funktionen einer ersten Kantenerfassungseinrichtung, einer Approximationslinien-Berechnungseinrichtung, einer Straßenmarkierungslinien-Sucheinrichtung, einer zweiten Erfassungsbereich-Vorgabeeinrichtung, einer ersten Kantenerfassungseinrichtung, einer Straßenmarkierungslinien-Berechnungseinrichtung sowie einer ersten Erfassungsbereich-Vorgabeeinrichtung ausführt.
Information über die Fahrumgebung vor dem eigenen Fahrzeug 1, die von der Stereobild-Erkennungsvorrichtung 4 erkannt worden ist, wird in die Steuereinheit 5 eingegeben. Ferner werden die eigene Fahrzeuggeschwindigkeit V von dem Fahrzeuggeschwindigkeitssensor 11, die Gierrate γ von dem Gierratensensor 12 und dergleichen als Fahrinformation des eigenen Fahrzeugs 1 in die Steuereinheit 5 eingegeben, und ein Betriebssignal von dem Hauptschalter 13, der Lenkwinkel Ost von dem Lenkwinkelsensor 14 und das Gaspedalöffnungsausmaß θacc von dem Gaspedalöffnungssensor 15 und dergleichen werden als Information hinsichtlich einer von dem Fahrer ausgeführten Betätigung in die Steuereinheit 5 eingegeben.
Wenn zum Beispiel die Ausführung einer adaptiven Cruise-Control-Funktion (ACC) bzw. einer adaptiven Geschwindigkeitsregelungsfunktion, bei der es sich um eine der Fahrunterstützungs-Steuerfunktionen handelt, durch die Betätigung des Hauptschalters 13 von dem Fahrer angewiesen wird, liest die Steuereinheit 15 eine Richtung eines vorausfahrenden Fahrzeugs, das von der Stereokamera-Erkennungsvorrichtung 4 erkannt worden ist, um dadurch festzustellen, ob ein vorausfahrendes Fahrzeug, dem auf einer Fahrroute des eigenen Fahrzeugs nachgefolgt werden kann, vorhanden ist oder nicht.
Wenn infolgedessen kein zu verfolgendes vorausfahrendes Fahrzeug erfaßt wird, so wird eine Fahrsteuerung mit konstanter Geschwindigkeit durch eine Öffnungs- und Schließsteuerung einer Drosselklappe 16 (Motorausgangssteuerung) ausgeführt, um dadurch die Geschwindigkeit V des eigenen Fahrzeugs 1 auf einer von dem Fahrer vorgegebenen Fahrzeuggeschwindigkeit beizubehalten.
Wenn dagegen ein zu verfolgendes vorausfahrendes Fahrzeug erfaßt wird und die Geschwindigkeit des vorausfahrenden Fahrzeugs gleich der oder höher als die vorgegebene Fahrzeuggeschwindigkeit ist, so wird eine Fahrzeugnachfolgesteuerung ausgeführt, bei der das eigene Fahrzeug dem vorausfahrenden Fahrzeug mit einem Fahrzeugabstand von dem vorausfahrenden Fahrzeug folgt, der auf einen Ziel-Fahrzeugabstand konvergiert wird.
Während dieser Fahrzeugnachfolgesteuerung konvergiert die Steuereinheit 5 den Fahrzeugabstand von dem vorausfahrenden Fahrzeug auf den Zielfahrzeugabstand im Großen und Ganzen durch eine Öffnungs- und Schließsteuerung der Drosselklappe 16 (Motorausgangssteuerung).
Wenn die Steuereinheit 5 feststellt, daß durch die Steuerung der Drosselklappe 16 allein keine ausreichende Geschwindigkeitsreduzierung erzielt wird, verwendet die Steuereinheit 5 ferner in Kombination eine Steuerung eines Ausgangsfluiddrucks von einem aktiven Bremskraftverstärker 17 (automatische Bremsintervention) zum Konvergieren des Abstands zwischen den Fahrzeugen auf den Zielabstand zwischen den Fahrzeugen.
Wenn die Ausführung einer Funktion zum Verhindern des Abkommens von einer Fahrspur, bei der es sich um eine der Fahrunterstützungs-Steuerfunktionen handelt, durch den von dem Fahrer betätigten Hauptschalter 13 angewiesen wird, gibt die Steuereinheit 5 zum Beispiel eine Warnungsbestimmungslinie auf der Basis der rechten und der linken Straßenmarkierungslinie vor, die die eigene Fahrspur definieren, und schätzt eine Fahrtroute des eigenen Fahrzeugs auf der Basis der Geschwindigkeit V und der Gierrate γ des eigenen Fahrzeugs 1.
Wenn die Steuereinheit 5 dann zum Beispiel feststellt, daß die Fahrtroute des eigenen Fahrzeugs eine von der rechten und der linken Warnungsbestimmungslinie innerhalb einer vorgegebenen Distanz des eigenen Fahrzeugs nach vorne (zum Beispiel von 10–16 m) kreuzt, trifft die Steuereinheit 5 die Feststellung, daß bei dem eigenen Fahrzeug 1 eine hohe Wahrscheinlichkeit zu einem Abkommen von der aktuellen eigenen Fahrspur besteht, und die Steuereinheit 5 veranlaßt eine Warnung hinsichtlich des Verlassens der Fahrspur.
Als nächstes wird eine von der vorstehend beschriebenen Stereobild-Erkennungsvorrichtung 4 ausgeführte Straßenmarkierungslinienerkennung unter Bezugnahme auf das in 2 gezeigte Flußdiagramm einer Routine der Straßenmarkierungslinienerkennung beschrieben.
Wenn diese Routine beginnt, führt die Stereobild-Erkennungsvorrichtung 4 in einem Schritt S101 zuerst die Erfassung des ersten Straßenmarkierungslinien-Anfangspunkts Pj aus. Insbesondere liest die Stereobild-Erkennungsvorrichtung 4 den ersten Straßenmarkierungslinien-Erfassungsbereich A1, der in einem vorangehenden Rahmen vorgegeben ist, und erfaßt den ersten Straßenmarkierungslinien-Anfangspunkt Pj in dem ersten Straßenmarkierungslinien-Erfassungsbereich A1 zum Beispiel durch Kantenerfassung an jeder Abfragelinie Lx von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung, die auf einer Mittellinie des Bildes basiert (oder einer Bewegungsrichtung des eigenen Fahrzeugs, die in Abhängigkeit von dem Lenkwinkel θst oder dergleichen geschätzt wird).
Wie in 6 gezeigt ist, wird insbesondere beispielsweise bei der Suche von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung von der Stereobild-Erkennungsvorrichtung 4 ein Kantenpunkt an jeder Abfragelinie Lx erfaßt, bei dem es sich um den Punkt handelt, an dem die Helligkeit eines Pixels an der Außenseite in Fahrzeugbreitenrichtung erstmals relativ höher wird als die Helligkeit eines Pixels an der Innenseite, und ein Helligkeits-Differenzwert, der einen Änderungsbetrag der Helligkeit anzeigt, ist gleich einem vorgegebenen Schwellenwert oder übersteigt diesen in positiver Weise, und die Stereobild-Erkennungsvorrichtung 4 erkennt den erfaßten Punkt als ersten Straßenmarkierungslinien-Anfangspunkt Pj.
Wenn es sich bei dieser Suche bei einer zu erkennenden Straßenmarkierungslinie zum Beispiel um eine einzelne Straßenmarkierungslinie handelt, die aus einer Fahrspurbegrenzungslinie besteht (siehe 3A) und die gesamte Fahrspurbegrenzungslinie innerhalb des ersten Straßenmarkierungslinien-Erfassungsbereichs A1 vorhanden ist (siehe 3B), sind die meisten der ersten Straßenmarkierungslinien-Anfangspunkte Pj, die rechts und links von dem eigenen Fahrzeug erkannt werden, in der Erstreckungsrichtung der Fahrspurbegrenzungslinien kontinuierlich angeordnet (siehe 3B).
Wenn bei einem anderen Beispiel eine Fahrspurbegrenzungslinie zu erkennen ist und ferner in einer großen Distanz von dem eigenen Fahrzeug visuelle Führungslinien in bestimmten Intervallen vorhanden sind (siehe 4A) und die gesamte Fahrspurbegrenzungslinie in erster Linie in dem ersten Straßenmarkierungslinien-Erfassungsbereich A1 vorhanden ist (siehe 4B), dann sind nahezu alle ersten Straßenmarkierungslinien-Anfangspunkte Pj, die rechts und links von dem eigenen Fahrzeug erkannt werden, in kontinuierlicher Weise entlang der Fahrspurbegrenzungslinien angeordnet.
Wenn bei einem weiteren Beispiel eine zu erkennende Straßenmarkierungslinie in Form einer doppelten Straßenmarkierungslinie vorliegt, die aus einer Fahrspurbegrenzungslinie sowie innenseitig von der Fahrspurbegrenzungslinie vorgesehene visuelle Führungslinien gebildet ist (siehe 5A) und die gesamte Fahrspurbegrenzungslinie sowie die visuellen Führungslinien innerhalb des ersten Straßenmarkierungslinien-Erfassungsbereichs A1 vorhanden sind (siehe 5B), dann sind nahezu alle ersten Straßenmarkierungslinien-Anfangspunkte Pj, die rechts und links von dem eigenen Fahrzeug erkannt werden, in kontinuierlicher Weise entlang der Fahrspurbegrenzungslinien angeordnet (siehe 5B).
Anschließend verwendet die Stereobild-Erkennungsvorrichtung 4 in einem Schritt S102 beispielsweise eine Hough-Transformation und berechnet eine Approximationslinie ap einer Punktgruppe, die die erfaßten ersten Straßenmarkierungslinien-Anfangspunkte Pj enthält. Genauer gesagt, es wird zum Beispiel in der in 7 gezeigten Weise für jeden die Punktgruppe bildenden Punkt Pj von der Stereobild-Erkennungsvorrichtung 4 die Neigung θ einer geraden Linie h, die durch den Punkt Pj von 0° bis 180° hindurchgeht, um einen vorbestimmten Winkel Δθ geändert und eine Distanz ρ von dem Nullpunkt O zu der geraden Linie h (Länge einer Senkrechten) für jeden Wert θ gemäß dem nachfolgenden Ausdruck (1) ermittelt. ρ = x·cosθ + y·sinθ (1).
Anschließend votiert bzw. projiziert die Stereobild-Erkennungsvorrichtung 4 die ermittelte Beziehung zwischen θ und ρ jedes Punktes Pj auf einen entsprechenden Punkt einer in 8 gezeigten Hough-Ebene (θ, ρ) beispielsweise als Häufigkeit.
Weiterhin extrahiert die Stereobild-Erkennungsvorrichtung 4 eine Kombination von θ und ρ, die die größte Häufigkeit in der Hough-Ebene (θ, ρ) aufweist, und gibt die gerade Linie, die durch den Ausdruck (1) mit dem extrahierten Wert θ und ρ (gerade Hough-Linie) definiert ist, als Approximationsformel für die Punktgruppe vor (siehe 3C, 4C und 5C). Es ist darauf hinzuweisen, daß als Werte θ und ρ zum Bestimmen der Hough-Linie ein Filterresultat von vorherigen Werten θ und ρ verwendet werden kann.
In einem Schritt S103 gibt die Stereobild-Erkennungsvorrichtung 4 dann Straßenmarkierungslinien-Suchlinien Ly auf der Basis der berechneten Approximationslinie ap vor. An der Innenseite von der Approximationslinie in Fahrzeugbreitenrichtung gibt die Stereobild-Erkennungsvorrichtung 4 genauer gesagt eine Vielzahl von Straßenmarkierungslinien-Suchlinien Ly (beispielsweise drei Linien), die parallel zu der Approximationslinie ap sind, im realen Raum in einem vorbestimmten Intervall th vor (siehe 3C, 4C und 5).
Es ist darauf hinzuweisen, daß das Intervall th enger vorgegeben ist als eine typische Straßenmarkierungslinienbreite. Ferner ist die Summe der Intervalle th beispielsweise breiter vorgegeben als eine Distanz zwischen den inneren Begrenzungen der inneren und der äußeren Linie einer typischen doppelten Straßenmarkierungslinie, wie diese auf Straßen vorzufinden ist.
Wenn die Routine von dem Schritt S103 mit dem Schritt S104 fortfährt, sucht die Stereobild-Erkennungsvorrichtung 4 eine Straßenmarkierungslinie durch Auswerten der Helligkeit an den Straßenmarkierungslinien-Suchlinien Ly. Wenn eine weitere Linie innenseitig von der Approximationslinie ap in der Fahrzeugbreitenrichtung vorhanden ist, ändert sich genauer gesagt die Helligkeit im wesentlichen an mindestens einer der Straßenmarkierungslinien-Suchlinien Ly oder innerhalb der Straßenmarkierungslinien-Suchlinien Ly.
Daher führt die Stereobild-Erkennungsvorrichtung 4 eine Auswertung der Helligkeit an den Straßenmarkierungslinien-Suchlinien Ly (Erfassung eines Kantenpunkts und dergleichen) vor, um eine Suche dahingehend auszuführen, ob eine weitere Linie innenseitig von der Approximationslinie ap in der Fahrzeugbreitenrichtung vorhanden ist oder nicht (eine Suche dahingehend, ob eine visuelle Führungslinie innenseitig von einer Fahrspurbegrenzungslinie in der Fahrzeugbreitenrichtung vorhanden ist oder nicht).
Bei dem vorliegenden Ausführungsbeispiel wird auch die Helligkeit in der Mitte vor dem eigenen Fahrzeug (auf der Y-Achse) ausgewertet, um eine fehlerhafte Entscheidung aufgrund einer Helligkeitsveränderung einer anderen Markierung als einer Straßenmarkierungslinie (beispielsweise eines Geschwindigkeitsbegrenzungszeichens) zu vermeiden.
Zum Beispiel ist die Helligkeit an den Straßenmarkierungslinien-Suchlinien Ly, die auf der rechten Seite vorgegeben sind, und die Helligkeit in der Mitte vor dem eigenen Fahrzeug (Y-Achse) in 3C insgesamt gering (dunkel), wie dies in 9A gezeigt ist. In diesem Fall stellt die Stereobild-Erkennungsvorrichtung 4 fest, daß keine weitere Straßenmarkierungslinie innenseitig von der Approximationslinie ap in Fahrzeugbreitenrichtung vorhanden ist.
Bei einem weiteren Beispiel ist hinsichtlich der Helligkeit an den Straßenmarkierungslinien-Suchlinien Ly, die auf der rechten Seite vorgegeben sind, und der Helligkeit in der Mitte vor dem eigenen Fahrzeug (Y-Achse) in 4C ein Bereich mit hoher Helligkeit bei zwei Straßenmarkierungslinien-Suchlinien Ly vorhanden, wie dies in 9B gezeigt ist. In diesem Fall stellt die Stereobild-Erkennungsvorrichtung 4 fest, daß eine weitere Straßenmarkierungslinie innenseitig von der Approximationslinie ap in der Fahrzeugbreitenrichtung vorhanden ist und die Breite von dieser etwa 2 × th bis 3 × th beträgt.
Bei einem weiteren Beispiel ist ferner die Helligkeit an den Straßenmarkierungslinien-Suchlinien Ly, die auf der rechten Seite vorgegeben sind, und die Helligkeit in der Mitte vor dem eigenen Fahrzeug (Y-Achse) in 5C insgesamt gering (dunkel), wie dies in 9C gezeigt ist. In diesem Fall trifft die Stereobild-Erkennungsvorrichtung 4 die Feststellung, daß keine weitere Straßenmarkierungslinie innenseitig von der Approximationslinie ap in der Fahrzeugbreitenrichtung vorhanden ist.
Wenn die Routine dann mit einem Schritt S105 fortfährt, prüft die Stereobild-Erkennungsvorrichtung 4, ob eine Straßenmarkierungslinie innenseitig von der Approximationslinie ap in der Fahrzeugbreitenrichtung in dem Schritt S104 erfaßt worden ist. Wenn die Stereobild-Erkennungsvorrichtung 4 feststellt, daß keine Straßenmarkierungslinie erfaßt worden ist, nimmt die Stereobild-Erkennungsvorrichtung 4 eine Vorgabe bzw. Auswahl der Punktgruppe, die die ersten Straßenmarkierungslinien-Anfangspunkte Pj. enthält, als Punktgruppe für die Straßenmarkierungslinienberechnung vor, und fährt mit einem Schritt S106 fort.
Wenn die Routine mit dem Schritt S106 fortfährt, gibt die Stereobild-Erkennungsvorrichtung 4 den zweiten Straßenmarkierungslinien-Erfassungsbereich A2 vor. Insbesondere gibt die Stereobild-Erkennungsvorrichtung 4 den zweiten Straßenmarkierungslinien-Erfassungsbereich A2 vor, indem der erste Straßenmarkierungslinien-Erfassungsbereich A1 in Fahrzeugbreitenrichtung weiter nach innen erweitert wird als ein Bereich, von dem davon ausgegangen wird, daß in diesem die in dem Schritt S104 erfaßte Straßenmarkierungslinie liegt.
In einem Schritt S107 führt die Stereobild-Erkennungsvorrichtung 4 dann die Erfassung eines zweiten Straßenmarkierungslinien-Anfangspunkts Pk aus. Insbesondere führt die Stereobild-Erkennungsvorrichtung 4 die Erfassung des zweiten Straßenmarkierungslinien-Anfangspunkts Pk in dem zweiten Straßenmarkierungslinien-Erfassungsbereich A2 beispielsweise durch Kantendetektion an den Abfragelinien Lx von der Innenseite zur Außenseite in Fahrzeugbreitenrichtung aus.
Wie in 6 gezeigt ist, wird bei der Suche von der Innenseite zur Außenseite in der Fahrzeugbreitenrichtung von der Stereobild-Erkennungsvorrichtung 4 beispielsweise ein Kantenpunkt an jeder Abfragelinie Lx erfaßt, wobei es sich um den Punkt handelt, an dem die Helligkeit eines Pixels an der Außenseite in Fahrzeugbreitenrichtung erstmals relativ höher wird als die Helligkeit eines Pixels auf der Innenseite und ein Helligkeits-Differenzwert, der einen Änderungsbetrag der Helligkeit anzeigt, gleich einem vorbestimmten Schwellenwert ist oder diesen in positiver Weise übersteigt.
Unter den erfaßten Punkten erkennt die Stereobild-Erkennungsvorrichtung 4 dann einen Punkt, der den ersten Straßenmarkierungslinien-Anfangspunkt Pj nicht überlappt, als zweiten Straßenmarkierungslinien-Anfangspunkt Pk.
Bei dieser Vorgehensweise sind bei einem in 4D gezeigten Beispiel, wie es durch Doppelkreise dargestellt ist, nahezu alle der zweiten Straßenmarkierungslinien-Anfangspunkte Pk in kontinuierlicher Weise entlang einer visuellen Führungsspur angeordnet. Es ist darauf hinzuweisen, daß schwarze Kreise Kantenpunkte darstellen, die an den Abfragelinien Lx erfaßt worden sind und die ersten Straßenmarkierungslinien-Anfangspunkte Pj überlappen.
Wenn die Routine von dem Schritt S107 mit einem Schritt S108 fortfährt, nimmt die Stereobild-Erkennungsvorrichtung 4 eine Einschätzung der Glaubwürdigkeit der Punktgruppen vor, die die in dem Schritt S101 erfaßten ersten Straßenmarkierungslinien-Anfangspunkte Pj bzw. zweiten Straßenmarkierungslinien-Anfangspunkte Pk enthalten, und wählt die Punktgruppe aus, von der festgestellt wird, daß sie eine höhere Glaubwürdigkeit für die Straßenmarkierungslinienberechnung aufweist.
Zwischen den Punktgruppen, die die ersten Straßenmarkierungslinien-Anfangspunkte Pj und die zweiten Straßenmarkierungslinien-Anfangspunkte Pk enthalten, kann dabei beispielsweise die Punktgruppe mit einer größeren Anzahl von Straßenmarkierungslinienpunkten als Gruppe mit höherer Glaubwürdigkeit festgestellt werden und für die Straßenmarkierungslinienberechnung ausgewählt werden.
Alternativ hierzu ist auch die Ausführung einer Approximationslinien-Berechnung unter Verwendung einer Hough-Transformation, die in dem Schritt S102 ausgeführt wird, auch für die Punktgruppe möglich, die die zweiten Straßenmarkierungslinien-Anfangspunkte Pk enthält, wobei ein Durchschnitt von Fehlern der Punkte zu der ermittelten Approximationslinie für jede Punktgruppe berechnet wird, die Punktgruppe mit einem geringeren Fehlerdurchschnitt als Punktgruppe mit höherer Glaubwürdigkeit festgestellt wird und die Punktgruppe für die Straßenmarkierungslinienberechnung ausgewählt wird.
Ferner kann die Punktgruppe, die den höheren Spitzenwert der Häufigkeiten in der Hough-Ebene ausweist, als Punktgruppe mit einer höheren Glaubwürdigkeit festgestellt werden und für die Straßenmarkierungslinienberechnung ausgewählt werden.
Wenn die Routine von dem Schritt S105 oder dem Schritt S108 mit einem Schritt S109 fortfährt, führt die Stereobild-Erkennungsvorrichtung 4 eine Straßenmarkierungslinienberechnung auf der Basis der ausgewählten Punktgruppe aus. In diesem Fall kann die Stereobild-Erkennungsvorrichtung 4 beispielsweise automatisch die Approximationslinie, die durch die Hough-Transformation gebildet worden ist, als Approximationslinie AP erkennen, die die Straßenmarkierungslinie zum Ausdruck bringt.
Die Routine fährt dann von dem Schritt S109 mit einem Schritt S110 fort, und die Stereobild-Erkennungsvorrichtung 4 gibt einen Straßenmarkierungslinien-Erfassungsbereich A1, der in einem nachfolgenden Rahmen zu verwenden ist, auf der Basis der in dem Schritt S109 berechneten Straßenmarkierungslinie (Approximationslinie AP) vor, wonach die Routine endet.
Insbesondere gibt die Stereobild-Erkennungsvorrichtung 4 einen neuen ersten Straßenmarkierungslinien-Erfassungsbereich A1 durch variables Vorgeben eines Bereichs in erster Linie innenseitig in der Fahrzeugbreitenrichtung für einen aktuell vorgegebenen ersten Straßenmarkierungslinien-Erfassungsbereich A1 vor. Beispielsweise handelt es sich in den 10A und 10B bei Bereichen, die von kurzen und langen gestrichelten Linien umgeben sind, um neu vorzugebende erste Straßenmarkierungslinien-Erfassungsbereiche A1, wobei die Grenzen von diesen an Stellen vorgegeben sind, die um eine vorbestimmte Breite weiter nach innen versetzt sind als die Approximationslinie AP der aktuell erkannten Straßenmarkierungslinie.
In diesem Fall ist der Versetzungsbetrag geeigneterweise in etwa auf die Hälfte der Breite einer typischen Straßenmarkierungslinie (Einzellinie) vorgegeben. Insbesondere wenn die Breite der Straßenmarkungslinie auf der Basis der Straßenmarkungslinien-Suchlinien Ly in dem Schritt S104 geschätzt wird, wird geeigneterweise in etwa der halbe Wert der geschätzten Breite vorgegeben.
Gemäß dem vorliegenden Ausführungsbeispiel kann selbst im Fall einer doppelten Straßenmarkierungslinie und dergleichen ein äußerst exaktes und stabiles Erkennungsresultat in einem schnellen Rechenvorgang durch folgende Vorgehensweise erzielt werden: erste Straßenmarkierungslinien-Anfangspunkte Pj werden auf der Basis der Helligkeitsänderung von Abfragelinien Lx erfaßt, die in einem ersten Straßenmarkierungslinien-Erfassungsbereich A1 eines Bildes horizontal vorgegeben sind, es wird eine Approximationslinie ap der Punktgruppe berechnet, die die ersten Straßenmarkierungslinien-Anfangspunkte Pj enthält, und es werden Straßenmarkierungslinien-Suchlinien Ly vorgegeben, die sich in der Fahrzeugbreitenrichtung innenseitig von der Approximationslinie ap diese entlang erstrecken, und eine Straßenmarkierungslinie wird innenseitig von der Approximationslinie ap in Fahrzeugbreitenrichtung auf der Basis der Helligkeitsinformation an den Straßenmarkierungslinien-Suchlinien Ly gesucht.
Wenn die Feststellung getroffen wird, daß eine Straßenmarkierungslinie vorhanden ist, wird ein zweiter Straßenmarkierungslinien-Erfassungsbereich A2 vorgegeben, indem der erste Straßenmarkungslinien-Erfassungsbereich A1 in der Fahrzeugbreitenrichtung nach innen erweitert wird.
Von den Straßenmarkierungslinien-Anfangspunkten, die auf der Basis der Helligkeitsänderung bei den Abfragelinien Lx erfaßt werden, die in dem zweiten Straßenmarkierungslinien-Erfassungsbereich A2 vorgegeben sind, wird dann ein Punkt, der den ersten Straßenmarkierungslinien-Anfangspunkt Pj nicht überlappt, als zweiter Straßenmarkierungslinien-Anfangspunkt Pk vorgegeben.
Anschließend wird die Straßenmarkierungslinie (Approximationslinie AP) auf der Basis einer Punktgruppe berechnet, die auf der Basis einer vorbestimmten Bedingung zwischen der Punktgruppe, die die ersten Straßenmarkierungslinien-Anfangspunkte Pj enthält, und der Punktgruppe, die die zweiten Straßenmarkierungslinien-Anfangspunkte Pk enthält, ausgewählt wird, und es wird ein Straßenmarkierungslinien-Erfassungsbereich A1 auf der Basis der berechneten Straßenmarkierungslinie vorgegeben.
Insbesondere kann ein Straßenmarkierungslinien-Anfangspunkt in effizienter Weise innerhalb eines begrenzten Bereichs folgendermaßen erfaßt werden: Nur ein Anfangspunkt Pj wird an jeder Abfragelinie Lx auf der Basis der Kantenerfassung von der Innenseite zur Außenseite in einem ersten Straßenmarkierungslinien-Erfassungsbereich A1 erfaßt, der auf der Basis einer zuvor (in einem vorherigen Rahmen) erkannten Straßenmarkierungslinie (Approximationslinie AP) vorgegeben ist.
Ferner kann selbst in einem Fall, in dem eine Straßenmarkierungslinie zum Beispiel ihre Konfiguration von einer Einzellinie in eine doppelte Straßenmarkierungslinie oder dergleichen in einer fernen Distanz von dem eigenen Fahrzeug ändert, ein neuer Straßenmarkierungslinien-Anfangspunkt, der die doppelte Straßenmarkierungslinie darstellt, in folgender Weise exakt erfaßt werden:
Es wird eine Approximationslinie ap berechnet, die der Punktgruppe angenähert ist, die die ersten Straßenmarkierungslinien-Anfangspunkte enthält, und es werden Straßenmarkierungslinien-Suchlinien Ly vorgegeben, die sich in der Fahrzeugbreitenrichtung innenseitig entlang der Approximationslinie ap erstrecken. Das Vorhandensein einer Straßenmarkierungslinie innenseitig von der Approximationslinie ap in der Fahrzeugbreitenrichtung wird auf der Basis der Helligkeitsinformation an den Straßenmarkierungslinien-Suchlinien Ly festgestellt.
Wenn festgestellt wird, daß eine Straßenmarkierungslinie vorhanden ist, wird ein zweiter Straßenmarkierungslinien-Anfangspunkt Pk, der den ersten Straßenmarkierungslinien-Anfangspunkt Pj nicht überlappt, innerhalb eines zweiten Straßenmarkierungslinien-Erfassungsbereichs A2 erfaßt, der unter Erweiterung des ersten Straßenmarkierungslinien-Erfassungsbereichs A1 auf die Innenseite in Fahrzeugbreitenrichtung vorgegeben ist.
Ferner kann eine geeignete Straßenmarkierungslinienerkennung auch für einen Fall ausgeführt werden, in dem sich die Anzahl der Linien, die eine Straßenmarkierungslinie bilden, ändert (zum Beispiel ändert sich eine einzelne Straßenmarkierungslinie in eine doppelte Straßenmarkierungslinie, und eine doppelte Straßenmarkierungslinie ändert sich in eine dreifache Straßenmarkierungslinie), und zwar folgendermaßen:
Es wird eine geeignete Punktgruppe zwischen einer Punktgruppe, die die ersten Straßenmarkierungslinien-Anfangspunkte Pj enthält, und einer Punktgruppe, die die zweiten Straßenmarkierungslinien-Anfangspunkte enthält, auf der Basis einer vorbestimmten Bedingung für die Straßenmarkierungslinienberechnung ausgewählt, und die Straßenmarkierungslinienberechnung wird auf der Basis der ausgewählten Punktgruppe ausgeführt.
Bei der Straßenmarkierungslinienberechnung in einem nachfolgenden Rahmen kann dann die Erfassung eines ersten Straßenmarkierungslinien-Anfangspunkts Pj auf der Basis einer in der geeignetsten Weise erkannten Straßenmarkierungslinie auf der Innenseite in Fahrzeugbreitenrichtung durch Vorgeben eines neuen ersten Straßenmarkierungslinien-Erfassungsbereichs A1 auf der Basis der erkannten Straßenmarkierungslinie ausgeführt werden.
Selbstverständlich wird in einem Fall, in dem die Anzahl der die Straßenmarkierungslinie bildenden Linien geringer wird, wenn zum Beispiel eine doppelte Straßenmarkierungslinie sich in eine einzelne Straßenmarkierungslinie ändert, die Erfassung der Straßenmarkierungslinien-Anfangspunkte Pj und dergleichen in effizienter Weise erzielt, da der erste Straßenmarkierungslinien-Erfassungsbereich A1 aus einem Grund begrenzt wird, daß die Positionen der ersten Straßenmarkierungslinien-Anfangspunkte Pj, die in dem ersten Straßenmarkierungslinien-Erfassungsbereich A1 erfaßt werden, insgesamt in der Fahrzeugbreitenrichtung nach außen verlagert werden.
Die Berechnungsverfahren in den Schritten S102, S108 und S109 sind hierbei nicht auf die Hough-Transformation beschränkt, sondern es kann auch eine Methode der kleinsten Quadrate verwendet werden. In diesem Fall werden zum Beispiel Punktgruppen mittels eines quadratischen Ausdrucks (y = a·x² + b·x + c) approximiert, und es kann eine Berechnung unter Verwendung der Approximationslinien (Approximationskurven) ausgeführt werden.
Dabei kann zum Beispiel im Verlauf des Schrittes S108 eine Punktgruppe ausgewählt werden, die eine geringere Schwankung oder einen größeren Korrelationskoeffizienten hinsichtlich ihrer Approximationskurve in dem Bild oder im realen Raum aufweist. Diese Technik sorgt für eine dramatische Reduzierung der Rechenlast für die Punktgruppenauswahl und dergleichen im Vergleich zu der Vorgehensweise, bei der die Hough-Transformation verwendet wird.
Ferner kann anstatt einer Punktgruppenauswahl unter Verwendung der Hough-Transformation eine Verteilung einer Punktgruppe auf der Basis einer Verlagerung der die Punktgruppe bildenden Punkte vor und zurück in Fahrzeugbreitenrichtung ausgewertet werden. Wie in 11 gezeigt ist, werden in diesem Fall zum Beispiel ein Punkt P(n), ein Punkt P(n – 2) auf einer Abfragelinie Lx, die sich zwei Linien vor der Linie befindet, auf der der Punkt P(n) liegt (um zwei Linien näher bei dem eigenen Fahrzeug), sowie ein Punkt P(n – 1) auf einer Abfragelinie Lx, die sich eine Linie vor der Linie befindet, auf der der Punkt P(n) liegt (um eine Linie näher bei dem eigenen Fahrzeug) betrachtet.
Ein Änderungsbetrag entlang der X-Achse zwischen dem Punkt P(n – 2) und dem Punkt P(n – 1) in dem Bild, E(n – 1), wird mit einem Änderungsbetrag E(n) entlang der X-Achse zwischen dem Punkt P(n – 1) und dem Punkt P(n) verglichen. Wenn die Vorzeichen der Änderungsbeträge E(n – 1) und E(n) verschieden sind, wird der entsprechende Änderungsbetrag E(n) extrahiert, als Abweichung der Punktgruppe integriert und anschließend durch die Anzahl der Punkte in der Punktgruppe dividiert, um den Mittelwert der Abweichung zu erhalten.
Die Mittelwerte der Abweichung der Punktgruppen, die durch die vorstehende Berechnung erzielt werden, werden verglichen, und die Punktgruppe mit einem geringeren Mittelwert der Abweichung kann als Punktgruppe mit einer geringeren Streuung ausgewählt werden.
In dem vorstehend beschriebenen Ausführungsbeispiel ist ein Fall beschrieben worden, in dem der Straßenmarkierungslinien-Anfangspunkt als Straßenmarkierungslinien-Kantenpunkt verwendet wird, jedoch ist die vorliegende Erfindung nicht darauf beschränkt; beispielsweise kann der Straßenmarkierungslinien-Endpunkt, an dem sich die Helligkeit von hell nach dunkel ändert, anstelle des Straßenmarkierungslinien-Anfangspunkts verwendet werden.
Weiterhin ist bei dem vorliegenden Ausführungsbeispiel ein Fall beschrieben worden, in dem die Straßenmarkierungslinienerkennung auf der Basis eines Paares von aufgenommenen Stereobildern ausgeführt wird, jedoch ist die vorliegende Erfindung nicht darauf beschränkt, und selbstverständlich kann die Straßenmarkierungslinienerkennung auch auf der Basis eines mittels einer einäugigen Kamera aufgenommenen Bildes ausgeführt werden.
Bezugszeichenliste

1: Fahrzeug
2: Fahrunterstützungsvorrichtung
3: Stereokamera
4: Stereobild-Erkennungsvorrichtung
5: Steuereinheit
11: Fahrzeuggeschwindigkeitssensor
12: Gierratensensor
13: Hauptschalter
14: Lenkwinkelsensor
15: Gaspedalöffnungssensor
16: Drosselklappe
A1: erster Straßenmarkierungslinien-Erfassungsbereich
A2: zweiter Straßenmarkierungslinien-Erfassungsbereich
AP: Approximationslinie (Straßenmarkierungslinie)
Lx: Abfragelinie
Ly: Straßenmarkierungslinien-Suchlinien
h: gerade Linie
Pj: erste Straßenmarkierungslinien-Anfangspunkte
Pk: zweite Straßenmarkierungslinien-Anfangspunkte
θst: Lenkwinkel Distanz
γ: Gierrate
θ: Neigung
V: eigene Fahrzeuggeschwindigkeit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007-264955 A [0004]

Claims

Straßenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge, die folgendes aufweist: – eine erste Kantenerfassungseinrichtung (4), die einen ersten Kantenpunkt in einem ersten Straßenmarkierungslinien-Erfassungsbereich (A1), der in einem aufgenommenen Bild von einer Fahrumgebung eines eigenen Fahrzeugs vorgegeben ist, auf der Basis einer Helligkeitsänderung in der horizontalen Richtung erfaßt; – eine Approximationslinien-Berechnungseinrichtung (4), die eine Approximationslinie einer die ersten Kantenpunkte enthaltenden Punktgruppe berechnet; – eine Straßenmarkierungslinien-Sucheinrichtung (4), die eine Straßenmarkierungslinien-Suchlinie entlang der Approximationslinie innenseitig von der Approximationslinie in Fahrzeugbreitenrichtung vorgibt und eine Straßenmarkierungslinie innenseitig von der Approximationslinie in der Fahrzeugbreitenrichtung auf der Basis von Helligkeitsinformation an der Straßenmarkierungslinien-Suchlinie (Ly) sucht; – eine zweite Erfassungsbereich-Vorgabeeinrichtung (4), die einen zweiten Straßenmarkierungslinien-Erfassungsbereich (A2) unter Erweiterung des ersten Straßenmarkierungslinien-Erfassungsbereichs (A1) zur Innenseite in der Fahrzeugbreitenrichtung vorgibt, wenn festgestellt wird, daß eine weitere Straßenmarkierungslinie innenseitig von der Approximationslinie in der Fahrzeugbreitenrichtung vorhanden ist; – eine zweite Kantenpunkt-Erfassungseinrichtung (4), die einen den ersten Kantenpunkt nicht überlappenden Punkt aus den in dem zweiten Straßenmarkierungslinien-Erfassungsbereich (A2) erfaßten Straßenmarkierungslinien-Kantenpunkten auf der Basis einer Helligkeitsänderung in der horizontalen Richtung erfaßt; – eine Straßenmarkierungslinien-Berechnungseinrichtung (4), die entweder eine Punktgruppe, die die ersten Straßenmarkierungslinien-Kantenpunkte enthält, oder eine Punktgruppe, die die zweiten Straßenmarkierungslinien-Kantenpunkte enthält, auf der Basis einer vorbestimmten Bedingung auswählt und eine Straßenmarkierungslinie auf der Basis der ausgewählten Punktgruppe berechnet; und – eine erste Erfassungsbereich-Vorgabeeinrichtung, die den ersten Straßenmarkierungslinien-Erfassungsbereich (A1) auf der Basis der berechneten Straßenmarkierungslinie vorgibt.
Vorrichtung für Fahrzeuge nach Anspruch 1, dadurch gekennzeichnet, daß eine geradlinige Approximation unter Verwendung einer Hough-Transformation an die Punktgruppe, die die ersten Kantenpunkte enthält, sowie die Punktgruppe, die die zweiten Kantenpunkte enthält, ausgeführt wird und die Punktgruppe ausgewählt wird, die einen größeren Spitzenwert der Häufigkeiten in einer Hough-Ebene aufweist.
Vorrichtung für Fahrzeuge nach Anspruch 1, dadurch gekennzeichnet, daß eine geradlinige Approximation unter Verwendung einer Hough-Transformation an die Punktgruppe, die die ersten Kantenpunkte enthält, sowie die Punktgruppe, die die zweiten Kantenpunkte enthält, ausgeführt wird und die Punktgruppe mit einem geringeren Durchschnitt der Fehler bei den Punkten zu der ermittelten Approximationslinie ausgewählt wird.
Vorrichtung für Fahrzeuge nach Anspruch 1, dadurch gekennzeichnet, daß die Punktgruppen-Auswähleinrichtung die Punktgruppe mit einer geringeren Streuung auf der Basis einer Verlagerung der die Punktgruppe bildenden Punkte hin und her in Fahrzeugbreitenrichtung ausführt.
Vorrichtung für Fahrzeuge nach Anspruch 1, dadurch gekennzeichnet, daß die Punktgruppen-Auswähleinrichtung eine Approximationsformel, die die Punktgruppen zum Ausdruck bringt, unter Verwendung einer Methode der kleinsten Quadrate ausführt und die Punktgruppe mit einer geringeren Schwankung oder die Punktgruppe mit einem größeren Korrelationskoeffizienten auswählt.