DE19934925B4

DE19934925B4 - Fahrzeugbereich-Erkennungsvorrichtung und Fahrzeugbereich-Bestimmungsverfahren

Info

Publication number: DE19934925B4
Application number: DE19934925A
Authority: DE
Inventors: Kazuyoshi Ohtsuka; Sholin Kyo
Original assignee: Honda Elesys Co Ltd; Nidec Elesys Corp
Current assignee: Nidec Elesys Corp
Priority date: 1998-07-22
Filing date: 1999-07-21
Publication date: 2005-01-05
Anticipated expiration: 2019-07-22
Also published as: JP2000039306A; US6842531B2; US6570998B1; JP3307335B2; US20030156737A1; DE19934925A1

Abstract

Fahrzeugbereich-Erkennungsvorrichtung, die an einem Fahrzeug angebracht ist und folgendes umfaßt:
– ein Bilderzeugungsmittel (1) zum Erzeugen eines Bildes; und
– ein Fahrzeugbereich-Erkennungsmittel zum Erkennen eines Fahrzeugbereiches, wobei der Fahrzeugbereich ein Bildbereich in dem erzeugten Bild ist, der ein Fahrzeug enthält, und das Fahrzeugbereich-Erkennungsmittel derart ausgestaltet ist, daß es das erzeugte Bild in eine Vielzahl an Kandidaten-Bildbereiche aufteilt, deren Bildinformation in Form von Abstufungsgraden dargestellt ist;
– wobei das Fahrzeugbereich-Erkennungsmittel folgendes umfaßt:
– ein Symmetrieauswertungsmittel (3), das für jeden Kandidaten-Bildbereich anhand der Abstufungsgrade einen ersten Wert für den horizontalen Symmetriegrad des Kandidaten-Bildbereiches ermittelt,
– ein Bereichbestimmungsmittel (6) zum Bestimmen eines Kandidaten-Bereiches als Fahrzeugbereich auf der Basis des ersten Wertes des Symmetrieauswertungsmittels,
dadurch gekennzeichnet, daß das Fahrzeugbereich-Erkennungsmittel ferner folgendes umfaßt:
– ein Varianzauswertungsmittel (4), das für jeden Kandidaten-Bildbereich einen zweiten Wert für die Varianz der Abstufungsgrade ermittelt; und
– ein Differenzauswertungsmittel (5), das einen...

Description

Die vorliegende Erfindung betrifft eine Fahrzeugbereich-Erkennungsvorrichtung, die an einem Fahrzeug angebracht ist, und ein Verfahren zum Erkennen eines Fahrzeugbereiches.

Es wurden verschiedene Methoden vorgeschlagen, um einen Bereich eines Fahrzeuges in Übereinstimmung mit einem Bild des Fahrzeuges zu erkennen, welches von einer Bilderzeugungsvorrichtung, z.B. einer CCD-Kamera, erhalten wird, welche an einem Fahrzeug, z.B. einem Auto, montiert ist.

Im allgemeinen wurde der Bereich eines Fahrzeuges beispielsweise wie folgt bestimmt:

(1) Bei differenzierten Bildern, d.h. Kantenbildern eines Bildes vor einem Fahrzeug, werden solche Operationen durchgeführt, wie Binärisierung, Markierung (Labeling), Merkmalsextraktion und Strukturmusterübereinstimmung.
(2) Eine bestimmte Zone der gesamten Vorderaufnahme wird als eine Straßenoberfläche angenommen. Ein Abstufungsgrad der Straßenoberfläche wird mit demjenigen eines Bildes einer Zone verglichen, in welcher das Fahrzeug die Straßenoberfläche kontaktiert.

Bei der ersten Methode (1) ist jedoch die Musterübereinstimmung mit einem Problem behaftet. Die Zielgegenstände haben nämlich verschiedene Konturen und die erhaltenen Bilder variieren je nach den Wetterbedingungen sowie Umgebungsbedingungen. Beispielsweise ist ein Bild, welches tagsüber erzeugt wird, unterschiedlich von demjenigen, welches in der Nacht erhalten wird. Dies macht es schwierig, ein Muster zu erzeugen, welches allgemein für verschiedene Fälle anwendbar ist. Mit den existierenden Mustern (Templates) ist es folglich schwierig, einen Fahrzeugbereich durch Musterübereinstimmung in geeigneter Weise zu ermitteln. Die letztgenannte Methode (2), welche den Vergleich des Abstufungsgrades der Straßenoberfläche verwendet, ist ebenfalls mit einem Problem behaftet. Aufgrund der verschiedenen Schatten auf der Straßenoberfläche ist die gesamte Straßenoberfläche nicht gleichmäßig und daher kann der Abstufungsgrad nicht auf einfache Weise für die gesamte Straßenoberfläche bestimmt werden. Selbst wenn man eine Zone der Straßenoberfläche verwendet, um einen mittleren Wert des Abstufungsgrades für den Abstufungsgrad der gesamten Straßenoberfläche zu erhalten, ist verständlicherweise der erhaltene Abstufungsgrad unterschiedlich von demjenigen der Straßenoberfläche in der Nähe eines in Frage kommenden Zielfahrzeugbereiches. Folglich ist es schwierig, den Fahrzeugbereich in geeigneter Weise zu bestimmen.

Aus M. SCHWARZINGER et al. "Vision-Based Car-Following: Detection, Tracking and Identification" IEEE Symposium on Intelligent Vehicles, Detroit, 1992, ist ein Verfahren zum Erkennen eines Fahrzeugbereiches bekannt, bei dem Kandidaten-Bildbereiche auf ihren horizontalen Symmetriegrad hin untersucht werden. Übersteigt der ermittelte horizontale Symmetriegrad eines Kandidaten-Bildbereiches einen vorgegebenen Schwellwert, so wird dieser Kandidaten-Bildbereich als Fahrzeugbereich erkannt.

F. Thomanek et al. "Multiple Object Recognition and Scene Interpretation for Autonomous Road Vehicle Guidance" IEEE Symposium on Intelligent Vehicles, Paris, 1994, beschäftigt sich ebenfalls mit einem Verfahren zum Erkennen von Fahrzeugbereichen, bei welchem – allgemein gesprochen – ein adaptives Erkennungsmodell verwendet wird. Hierzu wird das zweidimensionale, aufgenommene Bild nach Merkmalen unter sucht, welche der Erkennungsalgorithmus mit der Zeit lernt. Solche Merkmale werden dazu verwendet, in dem zweidimensionalen Bild Objekte zu erzeugen. Diese Objekte werden analog einer mentalen Betrachtungsweise als Modellobjekte bestimmt, welche beispielsweise eine bestimmte Bewegung, etc. durchführen können. Aufgrund dieser Betrachtungsweise kann eine Vorhersage für den zeitlichen Verlauf der Objektbewegung gemacht werden und es kann ein vorhergesagtes, zeitlich darauffolgendes zweidimensionales Bild berechnet werden. Das vorhergesagte Bild wir anschließend mit dem als nächstes aufgenommenen Bild verglichen und aus den ermitteln Bildfehler werden Korrekturparameter für die Vorhersage abgeleitet. Eine mögliche Merkmalsextraktion dieses komplizierten Verfahrens liegt darin, symmetrische Konturen zu finden, welche die linken und rechten Objektgrenzen darstellen.

Bernasch J.; Koutny R. "Stabile Objektverfolgung und Detektion von nicht-vorhersagbarem Verhalten in komplexen Bildfolgen" Mustererkennung 1993, 15. DAGM-Symposium, Lübeck, Springer-Verlag, Seiten 19–26, offenbart eine Symmetrieerkennungsmethode.

Es ist ein Ziel der vorliegenden Erfindung, eine Fahrzeugbereich-Erkennungsvorrichtung und ein Verfahren zur Verfügung zu stellen, welche in der Lage sind, einen Fahrzeugbereich in einer einfachen Prozedur genau zu identifizieren.

Die vorliegende Erfindung erreicht dieses Ziel durch die Gegenstände der unabhängigen Ansprüche 1 und 3. Weitere Aspekte der Erfindung ergeben sich aus den abhängigen Ansprüchen, der nachfolgenden Beschreibung sowie der Zeichnung.

Nach einem Aspekt der Erfindung wird eine Fahrzeugbereich-Erkennungsvorrichtung bereitgestellt, die an einem Fahrzeug angebracht ist und folgendes umfaßt: ein Bilderzeugungsmittel zum Erzeugen eines Bildes; und ein Fahrzeugbereich- Erkennungsmittel zum Erkennen eines Fahrzeugbereiches, wobei der Fahrzeugbereich ein Bildbereich in dem erzeugten Bild ist, der ein Fahrzeug enthält, und das Fahrzeugbereich-Erkennungsmittel derart ausgestaltet ist, daß es das erzeugte Bild in eine Vielzahl an Kandidaten-Bildbereiche aufteilt, deren Bildinformation in Form von Abstufungsgraden dargestellt ist. Das Fahrzeugbereich-Erkennungsmittel umfaßt ein Symmetrieauswertungsmittel, das für jeden Kandidaten-Bildbereich anhand der Abstufungsgrade einen ersten Wert für den horizontalen Symmetriegrad des Kandidaten-Bildbereiches ermittelt, ein Bereichbestimmungsmittel zum Bestimmen eines Kandidaten-Bereiches als Fahrzeugbereich auf der Basis des ersten Wertes des Symmetrieauswertungsmittels. Das Fahrzeugbereich-Erkennungsmittel umfaßt ferner: ein Varianzauswertungsmittel, das für jeden Kandidaten-Bildbereich einen zweiten Wert für die Varianz der Abstufungsgrade ermittelt; und ein Differenzauswertungsmittel, das einen dritten Wert für die Differenz der gemittelten Abstufungsgrade eines unteren Bildabschnittes des Kandidaten-Bildbereiches und eines Bereiches in der Nähe eines unteren Randes des Kandidaten-Bildbereiches ermittelt. Das Bereichbestimmungsmittel ist derart ausgestaltet ist, daß es einen Kandidaten-Bildbereich als Fahrzeugbereich zusätzlich auf der Basis des zweiten Wertes des Varianzauswertungsmittels und des dritten Wertes des Differenzauswertungsmittels bestimmt, indem es einen Kandidaten-Bildbereich als Fahrzeugbereich erkennt, wenn alternativ mindestens einer der drei Werte, oder mindestens zwei der drei Werte oder aber alle drei Werte des Kandidaten-Bildbereiches jeweilige Schwellwertbedingungen erfüllen. Nach einem weiteren Aspekt der Erfindung wird ein Verfahren zum Erkennen eines Fahrzeugbereiches bereitgestellt, welches folgende Schritte umfaßt:

– Erzeugen eines Bildes eines Objektes;
– Aufteilen des erzeugten Bildes in eine Vielzahl an Kandidaten-Bildbereiche, deren Bildinformation in Form von Abstufungsgraden dargestellt ist;
– für jeden Kandidaten-Bildbereich, Ermitteln eines ersten Wertes für den horizontalen Symmetriegrad anhand der Abstufungsgrade des Kandidaten-Bildbereiches; und
– Erkennen eines Kandidaten-Bildbereiches als Fahrzeugbereich auf der Basis des ersten ermittelten Wertes;
– für jeden Kandidaten-Bildbereich, Ermitteln eines zweiten Wertes für die Varianz der Abstufungsgrade des Kandidaten-Bildbereiches;
– für jeden Kandidaten-Bildbereich, Ermitteln eines dritten Wertes für die Differenz der gemittelten Abstufungsgrade eines unteren Bildabschnittes des Kandidaten-Bildbereiches und eines Bereiches in der Nähe eines unteren Randes des Kandidaten-Bildbereiches;
– wobei ein Kandidaten-Bildbereich als Fahrzeugbereich zusätzlich auf der Basis des zweiten und des dritten ermittelten Wertes bestimmt wird, indem ein Kandidaten-Bildbereich als Fahrzeugbereich erkannt wird, wenn alternativ mindestens einer der drei Werte, oder mindestens zwei der drei Werte oder aber alle drei Werte des Kandidaten-Bildbereiches jeweilige Schwellwertbedingungen erfüllen.

Vorteile und weitere Merkmale der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung bevorzugter Ausführungsbeispiele in Verbindung mit der beigefügten Zeichnung. Dabei sind:
1 ein schematisches Blockdiagramm, welches eine Konfiguration eines ersten Ausführungsbeispiels zum Erläutern einer Fahrzeugbereich-Erkennungsvorrichtung und eines Fahrzeugbereich-Erkennungsverfahrens nach der vorliegenden Erfindung zeigt;
2 ein Diagramm zum Erläutern von Merkmalen eines Fahrzeugbereich-Bildes;
3 eine graphische Darstellung zum Erläutern eines Auswertungsverfahrens eines Abschnittes zum Ermitteln eines horizontalen Symmetriegrades eines Bildes;
4 eine graphische Darstellung zum Erläutern eines Auswertungsverfahrens eines Abschnittes zum Ermitteln von Mittelwerten des Abstufungsgrades in einer unteren Region;
5A bis 5E Diagramme zum Erläutern eines Auswertungsverfahrens des Abschnittes zum Ermitteln von Mittelwerten des Abstufungsgrades in einer unteren Region;
6 ein Flußdiagramm, welches die Betriebsweise des ersten Ausführungsbeispiels zeigt;
7 ein Blockdiagramm, welches eine Struktur eines zweiten Ausführungsbeispiels zum Erläutern einer Fahrzeugbereich-Erkennungsvorrichtung und eines Fahrzeugbereich-Erkennungsverfahrens nach der vorliegenden Erfindung zeigt; und
8 ein Flußdiagramm, welches die Betriebsweise des zweiten Ausführungsbeispiels veranschaulicht.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Unter nunmehriger Bezugnahme auf die beigefügte Zeichnung werden Ausführungsbeispiele einer Fahrzeugbereich-Erkennungsvorrichtung und eines Fahrzeugbereich-Erkennungsverfahrens entsprechend der vorliegenden Erfindung beschrieben. Die 1 bis 4, 5A bis 5E und 6 bis 8 zeigen die jeweiligen Ausführungsbeispiele.
1 zeigt ein erstes Ausführungsbeispiel, welches aufweist: ein Bilderzeugungsgerät 1 zum Erzeugen eines Bildes, z.B. eine CCD-Kamera, welches an einem Fahrzeug installiert ist; einen Vorverarbeitungsabschnitt 2 zum Ausführen einer Vorverarbeitung, z.B. Kantenerkennung, an dem Bild, das von dem Bilderzeugungsgerät 1 erzeugt wird, um Kandidaten-Bildbereiche bzw. in Frage kommende Bildbereiche zu bestimmen; einen Symmetrieauswertungsabschnitt 3 zum Ermitteln eines horizontalen Symmetriegrades eines Kandidaten-Bildbereiches, der durch den Vorverarbeitungsabschnitt 2 bestimmt wurde; einen Varianzauswertungsabschnitt 4 zum Ermitteln eines Varianzgrades eines Kandidaten-Bildbereiches, der durch den Vorverarbeitungsabschnitt 2 bestimmt wurde; einen Differenzauswertungsabschnitt 5 zum Ermitteln von Bemittelten Abstufungswerten an vorgegebenen Positionen des Kandidaten-Bildbereiches, der durch den Vorverarbeitungsabschnitt 2 bestimmt wurde; und einen Bereichbestimmungsabschnitt 6 zum Bestimmen, ob der Kandidaten-Bildbereich ein Fahrzeugbereich ist, oder nicht, auf der Basis der Ergebnisse aus den vorstehend beschriebenen Auswertungsabschnitten 3 bis 5.
Nach der vorliegenden Erfindung wird ein Fahrzeug in einem Bild, welches durch ein in einem Fahrzeug angeordnetes Bilderzeugungsgerät erzeugt wird, als ein Fahrzeugbereich korrekt erkannt. Üblicherweise ist es notwendig, für jeden der Kandidaten-Bildbereiche, welcher aus aufgeteilten Bildern erhalten wird, d.h. Kantenerkennunngsbilder aus einem Vorverarbeitungsschritt der Bildverarbeitung, eine Prüfung durchzuführen, ob in dem Bereich tatsächlich ein Fahrzeug existiert, um daraus Kandidaten-Bereiche zu ermitteln, welche eine höhere Wahrscheinlichkeit der Existenz eines Fahrzeuges haben. Kandidaten-Bereiche, die im Zusammenhang mit einem Rauschen, z.B. in Fernsicht, oder ähnlichem erfaßt werden, müssen ebenfalls herausgenommen werden. Dabei ist ein (tatsächlicher) Fahrzeugbereich ein rechteckiger Bereich, in welchem ein Fahrzeug im Bild vorhanden ist, wel ches durch eine CCD-Kamera erzeugt wird, und ein Kandidaten- bzw. in Frage kommender Bildbereich ist ein Bereich des Bildes, der vor einer Identifizierung als Fahrzeugbereich eine vorläufige Auswertung durchläuft.
Um einen Fahrzeugbereich aus den Kandidaten-Bildbereichen in geeigneter Weise zu ermitteln, wird nach der vorliegenden Erfindung ein Augenmerk auf Merkmale gerichtet, die für ein Fahrzeugbereich-Bild charakteristisch sind, wie nachfolgend dargelegt:
Ein Bild eines Fahrzeuges, welches durch ein Bilderzeugungsgerät erzeugt wird, das in einem Fahrzeug hinter dem Zielfahrzeug installiert ist, enthält in jedem Falle, wie es in 2 ersichtlich ist, solche Gegenstände oder Teile, welche symmetrisch entlang einer horizontalen Linie angeordnet sind, wie die Bremslichter des Fahrzeuges. Das Bild enthält auch eine Struktur oder Textur, z.B. ein Nummernschild, und ferner eine dunkle Zone von dem Schattens des Fahrzeuges.
Unter Beachtung dieser Merkmale der Fahrzeugbereich-Bilder nimmt die vorliegende Erfindung als Kriterium zur Bestimmung der Fahrzeugbereicherkennung einen horizontaler Symmetriegrad (enantiometrische Symmetrie) in Bezug auf den Abstufungsgrad eines Kandidaten-Bildbereiches, einen Varianzgrad in dem Abstufungsgrad eines Kandidaten-Bildbereiches und eine Differenz des Abstufungsgrades zwischen einem unteren Abschnitt oder Bereich eines Kandidaten-Bildbereiches und einem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches.
Im näheren Detail wird nach der vorliegenden Erfindung der horizontale Symmetriegrad bezüglich des Abstufungsgrades des Kandidaten-Bildbereiches durch den Symmetrieauswertungsabschnitt 2 ermittelt. Der Varianzgrad im Abstufungsgrad des Kandidaten-Bildbereiches wird durch den Varianzauswertungsabschnitt 4 ermittelt; und die Differenz in dem Bemittelten Abstufungsgrad zwischen einem unteren Abschnitt oder Bereich des Kandidaten-Bildbereiches und einem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches wird durch den Differenzauswertungsabschnitt 5 ermittelt. Schließlich werden die ermittelten Resultate mit jeweiligen Schwellenwerten durch einen Bereichbestimmungsabschnitt 6 verglichen, um zu bestimmen, ob der vorliegende Kandidaten-Bildbereich ein Fahrzeugbereich ist, oder nicht.
Es werden nunmehr die Auswertungsmethoden beschrieben, welche durch die Auswertungsabschnitte 3 bis 5 verwendet werden.
Unter Bezugnahme auf 3 wird das Symmetrieauswertungsverfahren des Symmetrieauswertungsabschnitts 3 beschrieben. Ein horizontaler Symmetriegrad eines Bereichsbildes, welcher durch den Vorverarbeitungsabschnitt 2 als Kandidaten-Bildbereich gesetzt wird, wird wie folgt ermittelt: horizontaler Symmetriegrad = (Σ|P(–x + x0 + XL/2,y + y0) – P(x + x0 + XL/2,y + y0)|)/(XL/2 × YL)wobei P(x, y) einen Abstufungswert von jedem Pixel in dem Kandidaten-Bildbereich bezeichnet und 0 ≤ x ≤ XL/2 und 0 ≤ y ≤ YL angenommen wird. Zusätzlich bezeichnen (x0, y0) ein Paar von oberen linken Koordinaten eines Kandidaten-Bildbereiches, wenn ein oberer linker Punkt als der Ursprung des Koordinatensystems des gesamten Bildes angenommen wird.
Der Auswertungsausdruck liefert einen absoluten Wert der Differenz der Abstufung zwischen den symmetrischen Pixel, welche an den symmetrischen Positionen im Zentrum an einer Mittellinie in dem Kandidaten-Bildbereich angeordnet sind, wie es in 3 gezeigt ist. Diese Operation wird für alle Pixel in dem Bereich durchgeführt, und die erhaltenen Werte werden gemittelt, um einen horizontalen Symmetriegrad des Kandidaten-Bildbereiches zu erzeugen. Entsprechend diesem Ausdruck ist die Symmetrie höher, wenn der Wert des Symmetriegrades kleiner wird (sich gegen null nähert).
Alternativ dazu kann die Auswertung wie folgt durchgeführt werden. horizontaler Symmetriegrad = {Σ|P(–x + x0 + XL/2,y + y0) – PLav) × P(x + x0 + XL/2,y + y0) – PRav)}/{(XL × YL) × PSL × PSR}}wobei P(x, y) einen Wert der Abstufung von jedem Pixel in dem Kandidaten-Bildbereich bezeichnet, PLav ein Mittelwert der Dichte einer linken Hälfte des Kandidaten-Bildbereiches ist, PRav ein Mittelwert der Dichte einer rechten Hälfte des Kandidaten-Bildbereiches ist, PSL einen Abweichungswert der Abstufung einer linken Hälfte des Kandidaten-Bildbereiches bezeichnet, PSR einen Abweichungswert der Abstufung der rechten Hälfte des Kandidaten-Bildbereiches bezeichnet, und es angenommen wird, daß 0 ≤ x ≤ XL/2 und 0 ≤ y ≤ YL ist. Entsprechend diesem Ausdruck ist die Symmetrie stärker, wenn der ermittelte Wert größer wird.
Als nächstes wird die Varianzauswertungsmethode des Auswertungsabschnitts 4 beschrieben. Der Abschnitt 4 berechnet einen Wert der Varianz für die Mittelwerte der Abstufung in dem Kandidaten-Bildbereich, um eine Varianz der Abstufungswerte in dem Bereich-Bild zu ermitteln, welches durch den Vorverarbeitungsabschnitt 2 als Kandidaten-Bildbereich gesetzt wurde. Der Varianzwert wird wie folgt berechnet: Varianz = Σ(|P(x, y) – Pav|/(XL × YL)oder Varianz = Σ((P(x, y) – Pav)2/(XL × YL)wobei P(x, y) einen Wert der Abstufung von jedem Pixel in dem Kandidaten-Bildbereich bezeichnet, Pav einen Mittelwert der Abstufung des gesamten Kandidaten-Bildbereiches angibt. Es wird angenommen, daß 0 ≤ x ≤ XL/2 und 0 ≤ y ≤ YL ist. Entsprechend dem Ausdruck ist die Varianz größer, wenn der ermittelte Wert zunimmt.
Es wird nun die Auswertungsmethode des Auswertungsabschnitts 5 beschrieben, um einen Abstufungsvergleich zwischen einem Bild eines unteren Bereiches des Kandidaten-Bildbereiches und einem Bild eines Bereiches in der Nähe einer unteren Kante des Kandidaten-Bildbereiches zu erzielen. Der Abschnitt 5 berechnet Mittelwerte der Abstufung jeweils für das Bild des unteren Bereiches und desjenigen eines besonderen Bereiches in der Nähe der unteren Kante des Kandidaten-Bildbereiches, um eine Differenz zwischen den Abstufungsmittelwerten zu erhalten. Wie aus 4 ersichtlich ist, enthält der untere Bereich rechte und linke Eckenbereiche, welche die Reifen des Fahrzeuges betreffen, in dem unteren Abschnitt des Kandidaten-Bildbereiches und einen zentralen unteren Bereich, welcher einem Schatten des Fahrzeuges zwischen den Reifen in dem Kandidaten-Bildbereich entspricht. Der die Reifen betreffende Bereich weist eine Höhe von ungefähr YL/4 in der y-Achsenrichtung in Bezug auf das untere Ende des Kandidaten-Bildbereiches auf, und der dem Fahrzeugschatten zugehörige Bereich hat eine Höhe von ungefähr YL/8 in der y-Achsenrichtug bezüglich des unteren Endes des Kandidaten-Bildbereiches. Der besondere Bereich, benachbart zum unteren Ende des Kandidaten-Bildbereiches, ist ein rechteckiger Bereich in der Nähe des zentralen Teils der unteren Kante des Kandidaten-Bildbereiches, wobei der besondere Bereich eine Länge von ungefähr XL/2 in der x-Achsenrichtung und eine Breite von ungefähr YL/4 in der y-Achsenrichtung aufweist.
Es versteht sich, daß der untere Bereich und der Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches nicht auf das vorstehend beschriebene Beispiel beschränkt sind. Beispielsweise kann der untere Bereich, wie es in 5A gezeigt ist, ein Bereich sein mit einer Höhe von ungefähr YL/4 in der y-Achsenrichtung bezüglich des unteren Endes des Kandidaten-Bildbereiches und einer festen Breite, welche fast gleich der Breite des Kandidaten-Bildbereiches in der x-Achsenrichtung ist; oder es können, wie in 5B gezeigt, Bereiche sein, welche jeweils eine Breite von ungefähr XL/4 in der x-Achsenrichtung haben und jeweils den Reifenschattenbereichen zugeordnet sind, derart, daß ein Mittelwert der Abstufung für beide Bereiche an der linken und rechten Seite des unteren Bereiches verwendet wird. Der Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches kann, wie es in 5C gezeigt ist, ein Bereich sein mit einer Breite, die im wesentlichen gleich derjenigen des Kandidaten-Bildbereich in der x-Achsenrichtung ist, und einer Länge von ungefähr YL/4 in der y-Achsenrichtung; er kann Bereiche enthalten, welche jeweils den Reifen zugeordnet sind, wie es in 5D gezeigt ist; oder es können Bereiche sein, bei welchen Bereiche mit einer Höhe, welche fast gleich derjenigen der Reifen in der Nähe der jeweiligen Kanten des unteren Kantenbereiches sind, zu den zugehörigen Bereichen von 5D addiert werden. Für die separaten Bereiche muß nur ein Mittelwert der Abstufung berechnet werden.
Obwohl der Auswertungsabschnitt 5 die gemittelten Abstufungswerte jeweils für die Bildabschnitte des unteren Bereiches und des Bereiches in der Nähe der unteren Kante des Kandidaten-Bildbereiches berechnet werden, um die berechneten Werte miteinander zu vergleichen, ist es auch möglich, nach der Berechnung der Mittelwerte ein Maximum, ein Minimum oder einen Zwischenwert von jedem der Bilder in dem jeweiligen Bereich herauszunehmen, um sodann die herausgenommenen Werte miteinander zu vergleichen.
Unter nunmehriger Bezugnahme auf das Flußdiagramm von 6 wird eine Abfolge von Verfahrensschritten des ersten Ausführungsbeispiels beschrieben. Im Schritt S1 wird ein Bild vom Bereich vor dem Fahrzeug mit einem Bilderzeugungsgerät 1 erzeugt, und das Bild wird durch den Vorverarbeitungsab schnitt 2 verarbeitet, um Kandidaten-Bilbereiche zu erzeugen, d.h. Kantenerkennungsbilder, um hierdurch Bereiche festzulegen, die mehrere horizontale und vertikale Kanten aufweisen. Jeder Bereich wird als ein Kandidaten-Bildbereich von dem Vorverarbeitungsabschnitt 2 zu den Auswertungsabschnitten 3 bis 5 übertragen.
Im Schritt S2 wird der Bereich aus dem Abschnitt 2 im Hinblick auf einen horizontalen Symmetriegrad durch den Auswertungsabschnitt 3 ausgewertet. Speziell wird ein absoluter Wert der Differenz in der Abstufung für jedes Paar von Pixel erhalten, welche an symmetrischen Positionen im Zentrum auf einer Mittellinie in einer vertikalen Richtung des Kandidaten-Bildbereiches angeordnet sind. Dieser Vorgang wird für alle Pixel in dem Kandidaten-Bildbereich durchgeführt, um hiervon einen Mittelwert als horizontaler Symmetriegrad des Bereiches zu erhalten. Der resultierende Wert wird dem Bereichbestimmungsabschnitt 6 zugeführt.
Im Schritt S3 wird ein Varianzwert durch den Varianzauswertungsabschnitt 4 für die Abstufungswerte des Kandidaten-Bildbereiches aus dem Vorverarbeitungsabschnitt 2 ermittelt. Dabei wird der Varianzwert für Mittelwerte der Abstufung des Bildes in dem Kandidaten-Bildbereich berechnet. Die erhaltene Varianz wird an den Bereichbestimmungsabschnitt 6 übermittelt.
Im Schritt S4 wird eine Differenz durch den Abstufungsauswertungsabschnitt 5 für den Mittelwert der Abstufung des unteren Bereiches des Kandidaten-Bildbereiches und des besonderen Bereiches in der Nähe der unteren Kante des Kandidaten-Bildbereiches berechnet, um hierdurch die Abstufungsdifferenzen zu erhalten. Die berechnete Differenz wird an den Bereichbestimmungsabschnitt 6 übermittelt.
Im Schritt S5 werden der Symmetriewert, die Varianz und die Differenz jeweils aus den Auswertungsabschnitten 3 bis 5 durch den Bereichbestimmungsabschnitt 6 mit jeweiligen vor gegebenen Schwellenwerten verglichen. Falls der Symmetriegrad geringer als der Schwellenwert, die Varianz größer als der Schwellenwert und die Differenz größer als null ist (im Schritt S5 "ja"), wird der Kandidaten-Bildbereich, der durch den Vorverarbeitungsabschnitt 2 bestimmt wurde, als Fahrzeugbereich identifiziert (Schritt S6). Falls eine der obigen Bedingungen nicht erfüllt ist, wird der Kandidaten-Bildbereich nicht als Fahrzeugbereich durch den Bereichbestimmungsabschnitt 6 identifiziert.
Bei diesem Ausführungsbeispiel kann ein Fahrzeugbereich in geeigneter Weise aus den Kandidaten-Bildbereichen mit hoher Wahrscheinlichkeit der Existenz eines Fahrzeuges erkannt werden, und zwar basierend auf dem Grad der horizontalen Symmetrie in Bezug auf den Abstufungsgrad in dem Kandidaten-Bildbereich, der durch den Symmetrieauswertungsabschnitt 3 ermittelt wird, dem Varianzgrad im Abstufungsgrad in dem Kandidaten-Bildbereich, der durch den Varianzauswertungsabschnitt 4 bestimmt wird, und der Differenz des Abstufungsgrades zwischen einem unteren Bereich des Kandidaten-Bildbereiches und einem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches, der durch den Auswertungsabschnitt 5 ermittelt wird.
Diese Ausführungsform ist unabhängig von Mustern (Templates), welche üblicherweise verwendet werden, um einen Fahrzeugbereich zu erkennen, und ist daher unabhängig von der Kontur der zu erfassenden Gegenstände. Selbst wenn sich das erfaßte Bild je nach dem Wetter und/oder aufgrund Umgebungsunterschieden zwischen Tag und Nacht verändert, kann der Fahrzeugbereich relativ genau erfaßt werden.
Weil die Abstufung des Bildabschnittes in einem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches mit derjenigen des Bildabschnittes in dem unteren Bereich des Kandidaten-Bildbereiches verglichen wird, verändert sich die Bezugs- bzw. Referenzabstufung geringfügig und der Fahrzeugbereich kann daher korrekt identifiziert werden.
Der Betrieb durch den Symmetrieauswertungsabschnitt 2, um den horizontalen Symmetriegrad bezüglich des Abstufungsgrades in dem Bild des Kandidaten-Bildbereiches zu ermitteln, die Auswertung durch den Varianzauswertungsabschnitt 4 zur Ermittlung des Varianzgrades in dem Abstufungsgrad des Kandidaten-Bildbereiches und der Betrieb durch den Auswertungsabschnitt 5, um die Differenz in dem Abstufungsgrad eines Bildabstandes zwischen einem unteren Bereich des Kandidaten-Bildbereiches und einem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches zu ermitteln, können durch einen relativ einfachen Verarbeitungsvorgang mit einer geringen Anzahl von Berechnungsschritten ausgeführt werden. Dies führt in der Konsequenz zu einer Verringerung der Zeit, die benötigt wird, um den Fahrzeugbereich zu erkennen.
Unter Bezugnahme auf 7 wird eine Struktur eines zweiten Ausführungsbeispiels entsprechend der vorliegenden Erfindung beschrieben. Das zweite Ausführungsbeispiel der 7 umfaßt einen Bereichauswertungsabschnitt 7 zusätzlich zu den einzelnen Komponenten des ersten Ausführungsbeispiels. Der Bereichbestimmungsabschnitt 6 vergleicht den Symmetriegrad, die Varianz und die Differenz mit den jeweiligen vorgegebenen Werten, welche jeweils von den Auswertungsabschnitten 3 bis 5 übertragen werden; und wenn die vorgegebenen Bedingungen als ein Ergebnis des Vergleichs erfüllt sind, überträgt er eine Positionsinformation des ausgewerteten Kandidaten-Bildbereiches an den Bereichauswertungsabschnitt 7. Der Abschnitt 7 addiert einen Wert eines Bereichszählers um eins für einen Bereich im wesentlichen an der selben Position wie diejenige des Kandidaten-Bildbereiches, der von dem Bereichbestimmungsabschnitt 6 angegeben wird. Wenn bei dem zweiten Ausführungsbeispiel eine neue Information von einem Kandidaten-Bildbereich über den Vorverarbeitungsabschnitt 2 aus dem Bilderzeugungsgerät 1 empfangen wird, führt der Auswertungsabschnitt 7 eine Überprüfung durch, um zu bestimmen, ob der Wert des Be reichszählers für die Position, welche fast derjenigen des Kandidaten-Bildbereiches entspricht, einen vorgegebenen Schwellenwert übersteigt, oder nicht. Falls der Zählerwert größer ist, erkennt der Abschnitt 7 den relevanten Kandidaten-Bildbereich als einen Fahrzeugbereich.
Nach dem zweiten Ausführungsbeispiel wird ein Kandidaten-Bildbereich, für welchen die Auswertungsergebnisse der Auswertungsabschnitte 3 bis 5 immer wieder die jeweiligen Bedingungen erfüllen, als Fahrzeugbereich bestimmt. In der Folge kann der Fahrzeugbereich mit einer höheren Wahrscheinlichkeit erkannt werden.
Es wird als nächstes auf das Flußdiagramm von 8 Bezug genommen und eine Sequenz von Verarbeitungsschritten des zweiten Ausführungsbeispiels beschrieben. Im Schritt S10 ist jeder Bereichszähler, der in einem Bereichauswertungsabschnitt 7 angeordnet ist und nicht für eine vorgegebene Zeitperiode betrieben wird, auf null zurück gesetzt.
Im Schritt S11 wird ein Bild des Bereiches vor dem Fahrzeug, welches von dem Bilderzeugungsgerät 1 erzeugt wird, durch den Vorverarbeitungsabschnitt 2 verarbeitet, um Kandidaten-Bildbereichen oder Kantenerkennungsbilder festzulegen, um Bereiche zu ermitteln, die mehrere horizontale und vertikale Kanten enthalten. Jeder Bereich wird als ein Kandidaten-Bildbereich an den Bereichauswertungsabschnitt 7 übermittelt.
Der Abschnitt 7 umfaßt einen Bereichszähler für jeden Bereich, derart, daß ein Wert eines Zählers um eins erhöht wird für einen Bereich an einer Position, die im wesentlichen identisch ist mit derjenigen eines Bereiches, der durch den Bereichbestimmungsabschnitt 6 als ein Kandidaten-Bildbereich erkannt wird. Wenn eine neue Information eines Kandidaten-Bildbereiches von dem Vorverarbeitungsabschnitt 2 empfangen wird, wird eine Überprüfung durchgeführt, um zu bestimmen, ob der Wert des Bereichszählers für einen Be reich an einer Position, welche im wesentlichen gleich ist derjenigen des Kandidaten-Bildbereiches, einen vorgegebenen Schwellenwert übersteigt. Falls der Zählerwert größer ist (im Schritt S12 "ja"), wird der relevante Kandidaten-Bildbereich als ein Fahrzeugbereich erkannt, und es wird ein Ergebnis der Bereichsbestimmung erzeugt. Falls der Zählerwert gleich oder geringer als der Schwellenwert ist (im Schritt S12 "nein"), wird eine Information des Kandidaten-Bildbereiches an die Auswertungsabschnitte 3 bis 5 übermittelt.
Im Schritt S13 wird das Bild des Kandidaten-Bildbereiches aus dem Abschnitt 7 bezüglich eines horizontalen Symmetriegrades durch den Symmetrieauswertungsabschnitt 3 ausgewertet. Es wird ein absoluter Wert der Differenz der Abstufung für jedes Paar von Pixel erhalten, welche an symmetrischen Positionen im Zentrum auf einer Mittellinie in einer vertikalen Richtung des Kandidaten-Bildbereiches angeordnet sind. Dieser Vorgang wird für alle Pixel in dem Kandidaten-Bildbereich durchgeführt, um einen mittleren Wert des horizontalen Symmetriegrades des Bereiches zu erhalten. Der resultierende Wert wird an den Bereichbestimmungsabschnitt 6 übermittelt.
Im Schritt S14 wird ein Wert einer Varianz durch den Varianzermittlungsabschnitt 4 für die Abstufungswerte des Kandidaten-Bildbereiches aus dem Abschnitt 7 ermittelt. Der Varianzwert wird unter Verwendung der Mittelwerte der Abstufung von dem Bildabschnitts in dem Kandidaten-Bildbereich berechnet. Die erhaltene Varianz wird an den Bereichbestimmungsabschnitt 6 übersendet.
Im Schritt S15 wird eine Differenz durch den Abstufungsauswertungsabschnitt 5 für den Bemittelten Abstufungswert von dem unteren Bereich des Kandidaten-Bildbereiches aus dem Abschnitt 7 und dem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches berechnet, um hierdurch den Abstufungsvergleich durchzuführen. Die resultierende Differenz wird dem Bereichbestimmungsabschnitt 6 zugeführt.
Im Schritt S16 werden der Symmetriegrad, die Varianz und die Differenz, welche jeweils aus den jeweiligen Auswertungsabschnitten 3 bis 5 stammen, durch den Bereichbestimmungsabschnitt 6 mit jeweiligen vorgegebenen Schwellenwerten verglichen. Falls der Symmetriegrad geringer als der Schwellenwert, die Varianz größer als der Schwellenwert und die Differenz größer als null ist (im Schritt S16 "ja"), wird eine Bereichsinformation des Kandidaten-Bildbereiches an den Bereichauswertungsabschnitt 7 übermittelt, und ein Wert des Bereichszählers im Abschnitt 7 wird um eins erhöht. Falls eine der obigen Bedingungen nicht erfüllt ist (im Schritt S16 "nein"), wird der Kandidaten-Bildbereich nicht als ein Fahrzeugbereich identifiziert.
Das Ausführungsbeispiel ist als ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Die vorliegende Erfindung ist jedoch nicht auf das Ausführungsbeispiel beschränkt. Das heißt, das Ausführungsbeispiel kann verändert oder innerhalb des Schutzbereiches der vorliegenden Erfindung modifiziert werden. In dem Ausführungsbeispiel wird der Kandidaten-Bildbereich als ein Fahrzeugbereich erkannt, wenn alle Bedingungen für den horizontalen Symmetriegrad bezüglich des Abstufungsgrades des Kandidaten-Bildbereiches, den Varianzgrad im Abstufungsgrad in dem Bild des Kandidaten-Bildbereiches und die Differenz in dem Abstufungsgrad zwischen einem unteren Bereich des Kandidaten-Bildbereiches und einem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches erfüllt sind. Es ist jedoch auch möglich, daß der Kandidaten-Bildbereich als Fahrzeugbereich erkannt wird, wenn eine oder zwei dieser Bedingungen erfüllt ist/sind.
Wie vorstehend beschrieben, kann nach der vorliegenden Erfindung ein Fahrzeugbereich aus den Kandidaten-Bildbereichen mit einer hohen Wahrscheinlichkeit der Exi stenz eines Fahrzeuges korrekt bestimmt werden, und zwar basierend auf dem horizontalen Symmetriegrad bezüglich des Abstufungsgrades des Kandidaten-Bildbereiches, dem Grad der Varianz in dem Abstufungsgrad des Kandidaten-Bildbereiches und der Differenz in dem Abstufungsgrad zwischen einem unteren Bereich des Kandidaten-Bildbereiches und einem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches. Da der Fahrzeugbereich allein durch Auswertung des Abstufungsgrades in dem Kandidaten-Bildbereich erkannt wird, kann die Anzahl der Berechnungsschritte verringert werden, und der Fahrzeugbereich kann in einer kürzeren Zeitdauer erkannt werden, im Vergleich zu den konventionellen Techniken.
Nach der vorliegenden Erfindung kann ein Fahrzeugbereich in geeigneter Weise aus den Kandidaten-Bildbereichen mit hoher Wahrscheinlichkeit der Existenz eines Fahrzeuges wie folgt bestimmt werden: Wenn ein Bereich an einer Position, welche im wesentlichen gleich derjenigen Position des Fahrzeugbereiches ist, bis zu diesem Punkt eine bestimmte Anzahl mal eine der Bedingungen des horizontalen Symmetriegrades bezüglich des Abstufungsgrades des Kandidaten-Bildbereiches, des Varianzgrades in dem Abstufungsgrad des Kandidaten-Bildbereiches und der Differenz im Abstufungsgrad zwischen einem unteren Bereich des Kandidaten-Bildbereiches und einem Bereich in der Nähe der unteren Kante des Kandidaten-Bildbereiches erfüllt, wird der Bereich als der Fahrzeugbereich erkannt. Weil die Erkennung des Fahrzeugbereiches durch eine Auswertung lediglich des Abstufungsgrades in dem Kandidaten-Bildbereich erreicht wird, kann die Anzahl von Berechnungen verringert werden, und die Zeit für die Erkennung des Fahrzeugbereiches kann minimiert werden, im Vergleich zu den konventionellen Verfahren.
Die vorliegende Erfindung ist unabhängig von Mustern (Templates), welche bei der konventionellen Fahrzeugbereichserkennung verwendet werden, und ist daher unabhängig von der Kontur der zu erkennenden Gegenstände. Selbst wenn die erfaßten Gegenstände aufgrund der Wetterbedingungen sowie der Umgebungsbedingungen, z.B. Umgebungsunterschiede zwischen Tag und Nacht, variieren, kann der Fahrzeugbereich relativ genau erkannt werden.
Da der Abstufungsgrad eines Bildes eines Bereiches in der Nähe der unteren Kante des Kandidaten-Bildbereiches mit demjenigen eines Bildes in einem unteren Bereich des Kandidaten-Bildbereiches verglichen wird, verändert sich der Referenzgrad der Abstufung geringfügig und daher kann der Fahrzeugbereich korrekt identifiziert werden.
Während die vorliegende Erfindung mit Bezugnahme auf die speziellen illustrativen Ausführungsbeispiele beschrieben wurde, ist sie nicht auf diese Ausführungsbeispiele beschränkt, sondern lediglich durch die beigefügten Ansprüche. Es versteht sich, daß der Fachmann die Ausführungsbeispiele verändern oder modifizieren kann, ohne den Schutzbereich und Gedanken der vorliegenden Erfindung zu verlassen.

Claims

Fahrzeugbereich-Erkennungsvorrichtung, die an einem Fahrzeug angebracht ist und folgendes umfaßt: – ein Bilderzeugungsmittel (1) zum Erzeugen eines Bildes; und – ein Fahrzeugbereich-Erkennungsmittel zum Erkennen eines Fahrzeugbereiches, wobei der Fahrzeugbereich ein Bildbereich in dem erzeugten Bild ist, der ein Fahrzeug enthält, und das Fahrzeugbereich-Erkennungsmittel derart ausgestaltet ist, daß es das erzeugte Bild in eine Vielzahl an Kandidaten-Bildbereiche aufteilt, deren Bildinformation in Form von Abstufungsgraden dargestellt ist; – wobei das Fahrzeugbereich-Erkennungsmittel folgendes umfaßt: – ein Symmetrieauswertungsmittel (3), das für jeden Kandidaten-Bildbereich anhand der Abstufungsgrade einen ersten Wert für den horizontalen Symmetriegrad des Kandidaten-Bildbereiches ermittelt, – ein Bereichbestimmungsmittel (6) zum Bestimmen eines Kandidaten-Bereiches als Fahrzeugbereich auf der Basis des ersten Wertes des Symmetrieauswertungsmittels, dadurch gekennzeichnet, daß das Fahrzeugbereich-Erkennungsmittel ferner folgendes umfaßt: – ein Varianzauswertungsmittel (4), das für jeden Kandidaten-Bildbereich einen zweiten Wert für die Varianz der Abstufungsgrade ermittelt; und – ein Differenzauswertungsmittel (5), das einen dritten Wert für die Differenz der Bemittelten Abstufungsgrade eines unteren Bildabschnittes des Kandidaten-Bildbereiches und eines Bereiches in der Nähe eines unteren Randes des Kandidaten-Bildbereiches ermittelt; wobei das Bereichbestimmungsmittel (6) derart ausgestaltet ist, daß es einen Kandidaten-Bildbereich als Fahrzeugbereich zusätzlich auf der Basis des zweiten Wertes des Varianzauswertungsmittels (4) und des dritten Wertes des Differenzauswertungsmittels (5) bestimmt, indem es einen Kandidaten-Bildbereich als Fahrzeugbereich erkennt, wenn alternativ mindestens einer der drei Werte, oder mindestens zwei der drei Werte oder aber alle drei Werte des Kandidaten-Bildbereiches jeweilige Schwellwertbedingungen erfüllen.
Fahrzeugbereich-Erkennungsvorrichtung nach Anspruch 1, welche ferner ein Bereichauswertungsmittel (7) aufweist, das einen Kandidaten-Bildbereich als Fahrzeugbereich an einer Position erkennt, die im wesentlichen der Position eines Kandidaten-Bildbereiches entspricht, wenn das Bereichsbestimmungsmittel (6) für den Kandidaten-Bildbereich eine vorbestimmte Anzahl mal einen Fahrzeugbereich ermittelt hat.
Verfahren zum Erkennen eines Fahrzeugbereiches, welches folgende Schritte umfaßt: – Erzeugen eines Bildes eines Objektes; – Aufteilen des erzeugten Bildes in eine Vielzahl an Kandidaten-Bildbereiche, deren Bildinformation in Form von Abstufungsgraden dargestellt ist, – für jeden Kandidaten-Bildbereich, Ermitteln eines ersten Wertes für den horizontalen Symmetriegrad anhand der Abstufungsgrade des Kandidaten-Bildbereiches; und – Erkennen eines Kandidaten-Bildbereiches als Fahrzeugbereich auf der Basis des ersten ermittelten Wertes; dadurch gekennzeichnet, daß das Verfahren ferner folgende Schritte umfaßt: – für jeden Kandidaten-Bildbereich, Ermitteln eines zweiten Wertes für die Varianz der Abstufungsgrade des Kandidaten-Bildbereiches; – für jeden Kandidaten-Bildbereich, Ermitteln eines dritten Wertes für die Differenz der Bemittelten Abstufungsgrade eines unteren Bildabschnittes des Kandidaten-Bildbereiches und eines Bereiches in der Nähe eines unteren Randes des Kandidaten-Bildbereiches; – wobei ein Kandidaten-Bildbereich als Fahrzeugbereich zusätzlich auf der Basis des zweiten und des dritten ermittelten Wertes bestimmt wird, indem ein Kandidaten-Bildbereich als Fahrzeugbereich erkannt wird, wenn alternativ mindestens einer der drei Werte, oder mindestens zwei der drei Werte oder aber alle drei Werte des Kandidaten-Bildbereiches jeweilige Schwellwertbedingungen erfüllen.
Verfahren nach Anspruch 3, bei welchem ein Kandidaten-Bildbereich als Fahrzeugbereich an einer Position erkannt wird, die im wesentlichen der Position eines Kandidaten-Bildbereiches entspricht, wenn der Kandidaten-Bildbereich eine vorbestimmte Anzahl mal als Fahrzeugbereich ermittelt worden ist.