-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die
Erfindung bezieht sich auf ein Objekterfassungssystem, das ein Objekt
unter Verwendung eines Radars und von Bildern erfasst.
-
2. Beschreibung des Stands
der Technik
-
In
letzter Zeit sind Betriebsunterstützungssysteme wie z.B. ein
Kollisionsvermeidungs-Steuersystem, eine adaptive Geschwindigkeitsregelung,
ein Fahrspurverfolgungssystem und dgl. in verstärktem Maße entwickelt worden. Die Erfassung
eines Objekts (eines Hindernisses) wie etwa eines vorausfahrenden
Fahrzeugs ist für
das Betriebsunterstützungssystem
ein wesentlicher Punkt. Ein in den Veröffentlichungen JP-A-2003-84064
und JP-A-7-125567 und wie nachstehend offenbartes Objekterfassungssystem
umfasst zwei Erfassungseinheiten, z.B. ein Radar wie etwa ein Laserradar,
und eine Stereokamera, die ein Bild aufnimmt. Das Objekterfassungssystem führt einen
Vergleich zwischen Erfassungsergebnissen des Radars und des erfassten
Bildes durch. Auf der Basis der vorstehend erwähnten Vergleichsergebnisse
wird das vorausfahrende Objekt erfasst.
DE 101 33 945 offenbart ein Objekterfassungssystem gemäß dem Oberbegriff
der Ansprüche
1 und 6.
-
Bei
dem allgemein verwendeten Objekterfassungssystem, das sich zweier
Arten von Erfassungseinheiten bedient, werden die von diesen Erfassungseinheiten
jeweils erhaltenen, jeweiligen Erfassungsergebnisse unmittelbar
verglichen. Ein Rückgang
der Genauigkeit von mindestens einer dieser Erfassurngseinheiten
kann sich störend
auf einen genauen Vergleichsvorgang auswirken. Selbst wenn zwei
verschiedene Erfassungseinheiten verwendet werden, wird die Erfassungsgenauigkeit
des vorstehend erwähnten
Objekterfassungssystems wahrscheinlich schon schlechter. Dementsprechend
kann ein solches System ein Objekt irrtümlicherweise erfassen oder
bei der Erfassung des Objekts versagen.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Es
ist eine Aufgabe der Erfindung, ein Objekterfassungssystem bereitzustellen,
das dazu in der Lage ist, ein Objekt mit hoher Genauigkeit zu erfassen.
-
Ein
Objekterfassungssystem gemäß einem Aspekt
der Erfindung umfasst eine Radarerfassungseinrichtung, welche ein
Objekt unter Verwendung eines Radars erfasst, eine Bilderfassungseinrichtung, welche
ein Objekt unter Verwendung eines Bildes erfasst, und eine Vergleichseinrichtung,
welche einen Vergleich zwischen einem Erfassungsergebnis der Radarerfassungseinrichtung
und einem Erfassungsergebnis der Bilderfassungseinrichtung durchführt, um
zu bestimmen, ob durch die Radarerfassungseinrichtung und die Bilderfassungseinrichtung
ein identisches Objekt erfasst wird. Die Vergleichseinrichtung führt einen
ersten Vergleich zwischen einem Objekt, das in einem momentanen
Vergleich durch die Radarerfassungseinrichtung erfasst wird, und
einem Objekt, das in einem früheren
Vergleich als durch die Radarerfassungseinrichtung und die Bilderfassungseinrichtung
erfasst bestimmt worden ist, durch, und führt darüber hinaus einen Vergleich
zwischen einem Objekt, das in einem momentanen Vergleich durch die
Bilderfassungseinrichtung erfasst wird, und einem Objekt, das in
dem früheren
Vergleich als durch die Radarerfassungseinrichtung und die Bilderfassungseinrichtung
erfasst bestimmt worden ist, durch, wenn in dem früheren Vergleich
bestimmt worden ist, dass durch die Radarerfassungseinrichtung und
die Bilderfassungseinrichtung das identische Objekt erfasst wird.
Dann bestimmt die Vergleichseinrichtung auf der Basis des ersten
und zweiten Vergleichs, ob die Radarerfassungseinrichtung und die
Bilderfassungseinrichtung das identische Objekt erfassen.
-
Gemäß einem
weiteren Aspekt der Erfindung wird in einem Verfahren zum Erfassen
eines Objekts in einem Objekterfassungssystem mit einer Radarerfassungseinrichtung,
welche ein Objekt unter Verwendung eines Radars erfasst, einer Bilderfassungseinrichtung,
welche ein Objekt unter Verwendung eines Bildes erfasst, und einer
Vergleichseinrichtung, welche einen Vergleich zwischen einem Erfassungsergebnis
der Radarerfassungseinrichtung und einem Erfassungsergebnis der
Bilderfassungseinrichtung durchführt,
um zu bestimmen, ob durch die Radarerfassungseinrichtung und die
Bilderfassungseinrichtung ein identisches Objekt erfasst wird, ein
erster Vergleich zwischen einem Objekt, das in einem momentanen
Vergleich durch die Radarerfassungseinrichtung erfasst wird, und
einem Objekt durchgeführt,
das in einem früheren
Vergleich als durch die Radarerfassungseinrichtung und die Bilderfassungseinrichtung
erfasst bestimmt worden ist, und ein zweiter Vergleich zwischen
einem Objekt, welches in einem momentanen Vergleich durch die Bilderfassungseinrichtung
erfasst wird, und einem Objekt durchgeführt, das in dem früheren Vergleich als
durch die Radarerfassungseinrichtung und die Bilderfassungsein richtung
erfasst bestimmt worden ist, wenn bestimmt worden ist, dass in dem
früheren Vergleich
durch die Radarerfassungseinrichtung und die Bilderfassungseinrichtung
das identische Objekt erfasst worden ist. Dann wird auf der Basis
des ersten und zweiten Vergleichs bestimmt, ob die Radarerfassungseinrichtung
und die Bilderfassungseinrichtung das identische Objekt erfassen.
-
Bei
dem Objekterfassungssystem und dem Objekterfassungsverfahren wird
das Objekt durch die Radarerfassungseinrichtung und die Bilderfassungseinrichtung
erfasst. Die Vergleichseinrichtung des Objekterfassungssystems und
des Objekterfassungsverfahrens führt
einen Vergleich zwischen Erfassungsergebnissen der Radarerfassungseinrichtung
und Erfassungsergebnissen der Bilderfassungseinrichtung mit einem
vorab bestimmten Zeitintervall durch. Wenn auf der Basis der Ergebnisse
des früheren
Vergleichs bestimmt wird, dass von den vorstehend erwähnten zwei
Erfassungseinheiten dasselbe Objekt erfasst wird, wird der momentane
Vergleich unter Verwendung der früheren Vergleichsergebnisse
durchgeführt.
Genauer gesagt führt
die Vergleichseinrichtung einen Vergleich zwischen dem von den zwei
Erfassungseinheiten im früheren
Vergleich erfassten Objekt und den von der Radarerfassungseinrichtung
momentan erfassten Objekten durch, und zwischen dem von den zwei
Erfassungseinheiten im früheren
Vergleich erfassten Objekt und den von der Bilderfassungseinrichtung
momentan erfassten Objekten durch. Dann wird bestimmt, ob von diesen
beiden Erfassungseinheiten das identische bzw. dasselbe Objekt erfasst
wird, und zwar auf der Basis von Ergebnissen des Vergleichs der
früheren
Vergleichsergebnisse mit denjenigen des von der Radarerfassungseinrichtung
und der Bilderfassungseinrichtung momentan erfassten Objekts. Die
Erfassungsergebnisse der zwei Erfassungseinheiten werden nicht direkt
miteinander verglichen, sondern jedes Erfassungsergebnis der zwei
Erfassungseinheiten wird unter Verwendung der früheren Vergleichsergebnisse
zeitlich aufeinanderfolgend verglichen. Im Gegensatz zu dem allgemein
verwendeten Objekterfassungssystem, bei dem aktuelle Erfassungsergebnisse
verglichen werden, kann dies die Erfassungsgenauigkeit verbessern
und die Erfassung stabilisieren. Sogar wenn die Genauigkeit von
zumindest einer dieser zwei Erfassungseinheiten momentan verschlechtert
ist, kann der Vergleich unter Verwendung der früheren Vergleichsergebnisse
durchgeführt
werden. Dementsprechend können
die Erfassungsergebnisse der zwei Erfassungseinheiten leicht verglichen
werden.
-
Als
Radarerfassungseinrichtung kann ein Millimeterwellenradar, ein Laserradar
und dgl. verwendet werden. Als Bilderfassungseinrichtung kann eine
Stereokamera verwendet werden.
-
Bei
dem Objekterfassungssystem und dem Objekterfassungsverfahren gemäß dem Aspekt
der Erfindung führt
die Vergleichseinrichtung einen Vergleich zwischen Objekten durch,
die in der momentanen Erfassung durch die Radarerfassungseinrichtung
erfasst werden, welche erhalten werden, indem die Objekte ausgeschlossen
werden, welche als durch die Radarerfassungseinrichtung und die
Bilderfassungseinrichtung erfasst bestimmt worden sind, und den
Objekten, die in der momentanen Erfassung durch die Bilderfassungseinrichtung
erfasst werden, welche erhalten werden, indem die Objekte ausgeschlossen
werden, die als durch die Radarerfassungseinrichtung und die Bilderfassungseinrichtung
erfasst bestimmt worden sind, so dass bestimmt wird, ob das identische
Objekt durch die Radarerfassungseinrichtung und die Bilderfassungseinrichtung erfasst
wird.
-
In
dem Fall, wo bestimmt wird, dass von den zwei Erfassungseinheiten
im momentanen Vergleich unter Verwendung der früheren Vergleichsergebnisse
das identische Objekt erfasst wird, wird das bestimmte Objekt aus
den momentan von der Radarerfassungseinrichtung und der Bilderfassungseinrichtung
jeweils erfassten Objekten ausgeschlossen, um verglichen zu werden.
Es wird bestimmt, ob sich das identische Objekt unter denen befindet,
die momentan von den zwei Erfassungseinheiten erfasst werden. Bei
dem Objekterfassungssystem und dem Objekterfassungsverfahren wird
zwischen den zwei Erfassungsergebnissen, die von den zwei Erfassungseinheiten
unter Berücksichtigung
der Zeitverlaufs-Vergleichsergebnisse erhalten wurden, ein aktueller
Vergleich durchgeführt.
Dementsprechend ermöglicht
das Objekterfassungssystem einen zuverlässigen Vergleich von Objekten,
die momentan erfasst wurden.
-
Das
Objekterfassungssystem und das Objekterfassungsverfahren gemäß der Erfindung
führt den
Zeitverlaufsvergleich unter Verwendung der früheren Vergleichsergebnisse
durch, um so das Objekt mit hoher Genauigkeit zu erfassen.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
Die
vorstehend genannten und weitere Aufgaben, Merkmale und Vorteile
der Erfindung ergeben sich aus der nun folgenden Beschreibung von
bevorzugten Aus führungsformen
mit Bezugnahme auf die begleitenden Zeichnungen, in denen gleiche
Bezugszahlen verwendet werden, um gleiche Elemente darzustellen.
-
1 ist
eine Ansicht, die einen Aufbau eines Hinderniserfassungssystems
als eine Ausführungsform
gemäß der Erfindung
zeigt;
-
2 ist
eine erläuternde
Ansicht, die den Zeitverlaufsvergleich zwischen den früheren Vereinigungsobjekten
und den momentanen Millimeterwellenobjekten und zwischen den früheren Vereinigungsobjekten
und den momentanen Bildobjekten im wie in 1 gezeigten
Hinderniserfassungssystem zeigt;
-
3 ist
eine erläuternde
Ansicht, die den aktuellen Vergleich zwischen den Millimeterwellenobjekten
und den Bildobjekten darstellt, die im wie in 1 gezeigten
Hinderniserfassungssystem jeweils erhalten werden, indem die Zeitverlaufs-Vereinigungsobjekte
von diesen ausgeschlossen werden;
-
4 ist
ein Flussdiagramm, das einen Vergleichsvorgang darstellt, der in
dem wie in 1 gezeigten Hinderniserfassungssystem
ausgeführt
wird;
-
5 ist
ein Flussdiagramm, das einen Zeitverlaufs-Vergleichsvorgang darstellt,
der in dem wie in 1 gezeigten Hinderniserfassungssystem
ausgeführt
wird; und
-
6 ist
ein Flussdiagramm, das einen aktuellen Vergleichsvorgang darstellt,
der in dem wie in 1 gezeigten Hinderniserfassungssystem
ausgeführt
wird.
-
AUSFÜHRLICHE
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
-
Eine
Ausführungsform
des Objekterfassungssystems gemäß der Erfindung
wird nun mit Bezug auf die Zeichnungen beschrieben.
-
In
dieser Ausführungsform
wird das erfindungsgemäße Objekterfassungssystem
auf ein in einem Fahrzeug vorgesehenen Hinderniserfassungssystem
angewendet, um ein Hindernis zu erfassen, das sich vor dem Fahrzeug
befindet bzw. diesem vorausfährt.
In dieser Ausführungsform
ist das Hinderniserfassungssystem mit zwei Erfassungseinheiten versehen,
d.h. mit einem Millimeterwellenradar und einer Stereokamera.
-
Mit
Bezug auf 1 wird ein Hinderniserfassungssystem 1 beschrieben. 1 zeigt
einen Aufbau des Hinderniserfassungssystems gemäß dieser Ausführungsform.
-
Das
Hinderniserfassungssystem 1 ist in einem Fahrzeug vorgesehen,
um ein Hindernis zu erfassen, d.h. ein fahrendes Fahrzeug oder dergleichen,
das dem Fahrzeug vorausfährt.
Das Hinderniserfassungssystem 1 funktioniert dahingehend,
dass es dem Betriebsunterstützungssystem,
z.B. einem Kollisionsvermeidungs-Steuersystem,
einer adaptiven Geschwindigkeitsregelung, einem Fahrspurverfolgungssystem
und dgl., das die Information in Bezug auf das voraus befindliche
Hindernis benötigt, hindernisbezogene
Information bereitstellt. In dem Hinderniserfassungssystem 1 wird
jedes Erfassungsergebnis der zwei Erfassungseinheiten zeitlich aufeinanderfolgend
mit den früheren
Erfassungsergebnissen verglichen. Dann wird unter Verwendung der
momentanen Erfassungsergebnisse, die erhalten werden, indem die
Zeitverlaufs-Vergleichsergebnisse von diesen ausgeschlossen werden,
ein aktueller Vergleich durchgeführt,
so dass das vor dem Fahrzeug fahrende Hindernis mit hoher Genauigkeit
bestimmt wird. Das Hinderniserfassungssystem 1 ist mit einem
Millimeterwellenradar 2, einer Stereokamera 3 und
einer ECU 4 (elektronische Steuereinheit) versehen. Das
Hinderniserfassungssystem 1 kann unabhängig vom Betriebsunterstützungssystem
vorgesehen sein. Das heißt,
es kann so aufgebaut sein, dass es die erfasste, hindernisbezogene
Information auf das Betriebsunterstützungssystem überträgt. Alternativ
kann das Hinderniserfassungssystem 1 mit dem Betriebsunterstützungssystem
eine Einheit bilden.
-
In
dieser Ausführungsform
entspricht das Millimeterwellenradar 2 der Radarerfassungseinrichtung,
die Stereokamera 3 entspricht der Bilderfassungseinheit,
und die ECU 4 entspricht der Vergleichseinheit.
-
In
dieser Ausführungsform
bezieht sich ein Millimeterwellenobjekt auf ein Objekt, das vom
Millimeterwellenradar 2 erfasst wird, und ein Bildobjekt bezieht
sich auf ein Objekt, das von der Stereokamera 3 erfasst
wird. Ein Vereinigungsobjekt bezieht sich auf das Objekt, welches
als dasjenige identifiziert bzw. erkannt wird, das vom Millimeterwellenradar 2 und
der Stereokamera 3 durch Vergleich zwischen den Millimeterwellenobjekten
und den Bildobjekten erfasst wurde, und dient als die hindernisbezogene Information,
die vom Hinderniserfassungssystem 1 bereitgestellt wird.
Ein unabhängiges
Millimeterwellenobjekt stellt das Objekt dar, das nur vom Millimeterwellenradar 2 erfasst
wird. Anders ausgedrückt wird
das unabhängige
Millimeter wellenobjekt erhalten, indem das Vereinigungsobjekt aus
den Millimeterwellenobjekten ausgeschlossen wird. Ein unabhängiges Bildobjekt
stellt das Objekt dar, das nur von der Stereokamera 3 erfasst
wird. Anders ausgedrückt
wird das unabhängige
Bildobjekt erhalten, indem das Vereinigungsobjekt aus den Bildobjekten ausgeschlossen
wird. Die jeweiligen Objekte tragen die Information in Bezug auf
den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Hindernis in
sich, die relative Geschwindigkeit des Hindernisses bezüglich der
Fahrzeuggeschwindigkeit, und den durch das Hindernis und die Fahrtrichtung
des Fahrzeugs definierten Winkel (Information bezogen auf die seitliche
Position) zur Bestimmung der Position des Hindernisses in Bezug
auf das Fahrzeug.
-
Das
Millimeterwellenradar 2, ein Radar zum Erfassen eines Objekts
unter Verwendung von Millimeterwellen, ist in der Mitte einer Vorderfläche des Fahrzeugs
angebracht. Das Millimeterwellenradar 2 lässt die
Millimeterwelle in der Horizontalebene so abtasten, dass sie vom
Fahrzeug nach vorne ausgesendet wird, und empfängt die reflektierte Millimeterwelle.
Das Millimeterwellenradar 2 misst die Zeitspanne, die von
der Aussendung bis zum Empfang der Millimeterwelle verstreicht,
so dass der Abstand vom vorderen Ende des Fahrzeugs bis zum vorausfahrenden
Objekt berechnet wird. Mittels des Dopplereffekts berechnet das
Millimeterwellenradar 2 darüber hinaus eine relative Geschwindigkeit
des Fahrzeugs hinsichtlich der des vorausfahrenden Objekts. Das
Millimeterwellenradar 2 erfasst die Richtung der Millimeterwelle,
in der die stärkste
Reflexion besteht, und auf der Basis dessen wird ein Winkel berechnet, der
durch die Fahrtrichtung des Fahrzeugs und die des vorausfahrenden
Objekts definiert ist. Das Millimeterwellenradar 2 ist
dazu in der Lage, bei Empfang der reflektierenden Millimeterwelle
das Objekt zu erfassen. Deshalb wird bei jedem Empfang der reflektierenden
Millimeterwelle ein Millimeterwellenobjekt erhalten. Das Millimeterwellenradar 2 dient
dazu, den Abstand, die relative Geschwindigkeit und den Winkel zu
berechnen. Die ECU 4 kann aber auch so aufgebaut sein,
dass sie diese Werte auf der Basis der Erfassungsergebnisse des
Millimeterwellenradars 2 berechnet.
-
Das
Millimeterwellenradar 2 ist dazu in der Lage, den Abstand
und die relative Geschwindigkeit mit einer verhältnismäßig hohen Genauigkeit zu erfassen,
wobei aber der Winkel mit einer ziemlich niedrigen Genauigkeit erfasst
wird. Da das Millimeterwellenradar 2 den Abstand auf der
Basis der Zeit berechnet, die vom Aussenden der Millimeterwelle bis
zu deren Reflexion verstreicht, ist die Genauigkeit beim berechneten
Abstand relativ gesehen größer. Da
die relative Geschwindigkeit mittels des Dopplereffekts berechnet
wird, hat der sich ergebende Wert der relativen Geschwindigkeit
eine hohe Genauigkeit. Das Millimeterwellenradar 2 versagt
bei der Festlegung des Punkts, an dem in der Breitenrichtung des
Objekts bei der Millimeterwelle die stärkste Reflexion besteht. Von
daher wird die Position in der Breitenrichtung (seitliche Position)
wahrscheinlich schwanken, was die Genauigkeit bezüglich des
Winkels herabsetzt.
-
Die
Stereokamera 3 umfasst zwei Gerätesätze von CCD-Kameras (nicht
gezeigt), die in der Horizontalrichtung mit einer Entfernung von
in etwa einigen 10 cm voneinander beabstandet sind. Auch die Stereokamera 3 ist
in der Mitte der Vorderfläche
des Fahrzeugs angebracht. Die Stereokamera 3 überträgt die jeweiligen,
von diesen zwei CCD-Kameras aufgenommenen Bilddaten auf einen Bildverarbeitungsabschnitt
(nicht gezeigt). Der Bildverarbeitungsabschnitt kann mit der Stereokamera 3 eine
Einheit bilden oder innerhalb der ECU 4 ausgebildet sein.
-
Der
Bildverarbeitungsabschnitt erkennt bzw. bestimmt das Objekt basierend
auf den jeweiligen Bilddaten und erhält die Positionsinformation
in Bezug auf das Objekt. Die Stereokamera 3 kann das Objekt
erfassen, wenn das Objekt auf der Basis von zwei Bilddaten erkannt
wurde. Jedes Mal, wenn ein Objekt bestimmt wird, wird ein Bildobjekt
erhalten. Der Bildverarbeitungsabschnitt berechnet den Abstand vom
vorderen Ende des Fahrzeugs zum vorausfahrenden Objekt durch Triangulation
unter Verwendung des Unterschieds der Ansichten des Objekts zwischen
zwei Bilddaten. Der Bildverarbeitungsabschnitt berechnet die relative
Geschwindigkeit auf der Basis der Veränderung des berechneten Abstands
mit dem Verstreichen der Zeit. Der Bildverarbeitungsabschnitt erfasst
beide Enden des erfassten Objekts in der Breitenrichtung, so dass
jeweils ein Winkel berechnet wird, der durch die Fahrtrichtung des
Fahrzeugs und die jeweiligen Enden des Objekts festgelegt ist. Dementsprechend
umfasst mit Bezug auf die beiden Enden des Objekts in der Breitenrichtung
die Information über
die seitliche Position des Bildobjekts zwei Arten von auf den Winkel
bezogenen Informationen.
-
Jedes
Erfassungsergebnis der Stereokamera 3 in Bezug auf den
Abstand und die relative Geschwindigkeit hat eine verhältnismäßig geringe
Genauigkeit, aber das Erfassungsergebnis mit Bezug auf den Winkel
hat eine relativ hohe Genauigkeit. Da auf der Basis der linken und
rechten Bilddaten beide Enden des Objekts in der Breitenrichtung
mit hoher Genauigkeit erfasst werden können, kann das Erfassungser gebnis
in Bezug auf den Winkel eine hohe Genauigkeit bieten. Weil jedoch
die Bilddaten von der linken und rechten CCD-Kamera geliefert werden, die
um einige 10 cm voneinander beabstandet sind, wird die Triangulation
zur Berechnung des Abstands mit einem reichlich spitzen Winkel ausgeführt. Dementsprechend
kann jeweils die Genauigkeit bezüglich des
Abstands und der relativen Geschwindigkeit herabgesetzt sein.
-
Die
ECU 4, d.h. die elektronische Steuereinheit, umfasst eine
CPU (zentrale Prozessoreinheit), einen ROM (Festwertspeicher), einen
RAM (Direktzugriffsspeicher) und dergleichen. Die ECU 4 ist
mit dem Millimeterwellenradar 2 und der Stereokamera 3 verbunden.
Die ECU 4 empfängt
Daten des Millimeterwellenobjekts vom Millimeterwellenradar 2,
und das Bildobjekt von der Stereokamera 3. Dann führt die
ECU 4 einen Vergleich zwischen den früheren Vergleichsergebnissen
(frühere
Vereinigungsobjekte) und den momentanen Millimeterwellenobjekten und
den im momentanen Vergleich erhaltenen Bildobjekten durch, und zwar
jeweils mit einem vorab bestimmten Zeitintervall, das auf dem Haupttaktsignal der
CPU beruht, um so die momentanen Vereinigungsobjekte zu erhalten.
Wenn der Bildverarbeitungsabschnitt in der ECU 4 vorgesehen
ist, werden die Bilddaten von der Stereokamera 3 kommend
von der ECU 4 empfangen, so dass das Bildobjekt aus den
Bilddaten abgeleitet wird.
-
Die
ECU 4 führt
den Zeitverlaufsvergleich zwischen den früheren Vereinigungsobjekten (n3_pre)
und den momentanen Millimeterwellenobjekten (n_m) und den momentanen
Bildobjekten (n_i) durch, die beide aus dem momentanen Vergleich
abgeleitet werden, um so im jeweiligen Fall Zeitverlaufs-Vereinigungsobjekte
(n3') zu erfassen.
Dann führt
die ECU 4 den aktuellen Vergleich zwischen den Millimeterwellenobjekten
(n_m – n3'), die erhalten werden,
indem die Zeitverlaufs-Vereinigungsobjekte ausgeschlossen werden,
und den Bildobjekten (n_i – n3') durch, die erhalten
werden, indem die Zeitverlaufs-Vereinigungsobjekte ausgeschlossen
werden, um so aktuelle Vereinigungsobjekte (n3'')
zu erfassen. Die Zeitverlaufs-Vereinigungsobjekte
(n3') werden zu
den aktuellen Vereinigungsobjekten (n3'')
hinzuaddiert, um die momentanen Vereinigungsobjekte (n3 = n3' + n3'') in den momentanen Vergleich einzusetzen.
Die ECU 4 macht darüber
hinaus die momentanen Millimeterwellenobjekte, die nicht als Vereinigungsobjekt
ausgewählt
worden sind, zu unabhängigen
Millimeterwellenobjekten (n1 = n_m – n3), und die momentanen Bildobjekte,
die nicht als Vereinigungsobjekt ausgewählt worden sind, zu unabhängigen Bildobjekten
(n2 = n_i – n3).
-
Mit
Rückbezug
auf 2 wird der in der ECU 4 ausgeführte Zeitverlaufsvergleich
beschrieben. 2 stellt den Zeitverlaufsvergleich
zwischen den früheren
Vereinigungsobjekten und den momentanen Millimeterwellenobjekten
bzw. den momentanen Bildobjekten in einem Hinderniserfassungssystem dar.
In dem in 2 gezeigten Beispiel werden
im früheren
Vergleich drei frühere
Vereinigungsobjekte FF1 bis FF3 erhalten, in der momentanen, vom
Millimeterwellenradar 2 durchgeführten Erfassung werden vier
momentane Millimeterwellenobjekte NM1 bis NM4 erhalten, und in der
von der Stereokamera 3 durchgeführten momentanen Erfassung
werden fünf momentane
Bildobjekte NI1 bis NI5 erhalten.
-
In
dem Fall, bei dem n3_pre frühere
Vereinigungsobjekte im früheren
Vergleich erhalten werden, führt
die ECU 4 den Vergleich zwischen den früheren Vereinigungsobjekten,
wobei eine hohe Wahrscheinlichkeit dafür besteht, dass sie im momentanen
Vergleich als Vereinigungsobjekt erfasst werden, und den n_m Millimeterwellenobjekten,
die in der momentanen Erfassung vom Millimeterwellenradar 2 erfasst
werden, bzw. den n_i Bildobjekten durch, die in der momentanen Erfassung
von der Stereokamera 3 erfasst werden.
-
Die
ECU 4 ruft jeweils diese n3_pre früheren Vereinigungsobjekte ab,
um sie sequenziell mit diesen n_m momentanen Millimeterwellenobjekten
zu vergleichen, derart, dass bestimmt wird, ob das momentane Millimeterwellenobjekt
vorkommt, das eine hohe Ähnlichkeit
zum abgerufenen, früheren
Vereinigungsobjekt hat. Im Verlauf des momentanen Vergleichs wird
die Ähnlichkeit
zwischen jedem der n_m momentanen Millimeterwellenobjekte und jedem
der früheren
Vereinigungsobjekte mittels der Formel zum Erhalt der Ähnlichkeit
der Millimeterwellenobjekte berechnet. Dann wird das momentane Millimeterwellenobjekt
mit der größten Ähnlichkeit
ausgewählt.
Die Formel bezüglich
der Ähnlichkeit
der Millimeterwellenobjekte wird verwendet, um die Ähnlichkeit
zu berechnen, indem die Werte bezüglich des Abstands, der relativen
Geschwindigkeit und des Winkels der jeweiligen momentanen Millimeterwellenobjekte
gewichtet werden. In der Formel werden der Abstand und die relative
Geschwindigkeit, die vom Millimeterwellenradar 2 jeweils
mit höherer
Genauigkeit erfasst wurden, mit einem großen Gewichtungsfaktor versehen,
und der Winkel mit geringerer Genauigkeit wird mit einem kleinen
Gewichtungsfaktor versehen. Wenn der Ähnlichkeitswert des ausgewählten momentanen
Millimeterwellenobjekts größer oder
gleich einem Schwellenwert ist (zur Bestimmung der Ähnlichkeit
verwendet, auf der Basis dessen die Übereinstimmung eines Objekts
bestimmt wird), wird bestimmt, dass das momentane Millimeterwellenobjekt identisch
mit dem abgerufenen früheren
Vereinigungsobjekt ist. Als Ergebnis des Vergleichs bezüglich des
Millimeterwellenobjekts wird das frühere Vereinigungsobjekt markiert.
Die ECU 4 führt
den Vergleich der momentanen Millimeterwellenobjekte mit Bezug auf
die früheren
Vereinigungsobjekte wiederholt aus, und zwar n3_pre mal.
-
In
dem in 2 gezeigten Beispiel existiert ein momentanes
Millimeterwellenobjekt mit einer größeren Ähnlichkeit zum früheren Vereinigungsobjekt
FF1. Als Ergebnis des Millimeterwellenobjektvergleichs wird das
frühere
Vereinigungsobjekt FF1 markiert. Auch gibt es ein momentanes Millimeterwellenobjekt
mit einer größeren Ähnlichkeit
zum früheren
Vereinigungsobjekt FF2. Als Ergebnis des Millimeterwellenobjektvergleichs
wird das frühere
Vereinigungsobjekt FF2 markiert. Es gibt kein momentanes Millimeterwellenobjekt
mit einer größeren Ähnlichkeit
zum früheren
Vereinigungsobjekt FF3. Als Ergebnis des Millimeterwellenobjektvergleichs
wird das frühere
Vereinigungsobjekt FF3 nicht markiert.
-
Jedes
der n3_pre früheren
Vereinigungsobjekte wird abgerufen, um in der ECU 4 sequenziell
mit den n_i momentanen Bildobjekten verglichen zu werden, und es
wird bestimmt, ob es ein momentanes Bildobjekt gibt, das eine größere Ähnlichkeit
zum abgerufenen früheren
Vereinigungsobjekt hat. Bei dem vorstehend erwähnten Vergleich wird jede Ähnlichkeit
der n_i momentanen Bildobjekte zu den früheren Vereinigungsobjekten
unter Verwendung der Bildähnlichkeitsformel
berechnet, um so das momentane Bildobjekt mit der größten Ähnlichkeit
auszuwählen.
Die Bildähnlichkeitsformel
wird verwendet, um die Ähnlichkeit
zu berechnen, indem die Werte bezüglich des Abstands, der relativen
Geschwindigkeit und des Winkels der jeweils momentanen Bildobjekte
gewichtet werden. In der Formel wird der mit der Stereokamera 3 erfasste
Winkel mit einer größeren Genauigkeit
mit einem hohen Gewichtungsfaktor versehen, und der Abstand und
die relative Geschwindigkeit mit geringerer Genauigkeit werden mit
einem kleinen Gewichtungsfaktor versehen. Wenn der Ähnlichkeitswert
des ausgewählten
momentanen Bildobjekts größer oder
gleich dem Schwellenwert ist, wird bestimmt, dass das momentane
Bildobjekt identisch mit dem abgerufenen früheren Vereinigungsobjekt ist.
Als Ergebnis des Bildobjektvergleichs wird das frühere Vereinigungsobjekt
markiert. Die ECU 4 führt den Vergleich
der momentanen Bildobjekte in Bezug auf die früheren Vereinigungsobjekte wiederholt n3_pre
mal aus.
-
Mit
Bezug auf das in 2 gezeigte Beispiel existiert
ein momentanes Bildobjekt mit einer größeren Ähnlichkeit zum früheren Vereinigungsobjekt FF1,
und letzteres wird als Ergebnis des Bildobjektvergleichs markiert.
Es gibt kein momentanes Bildobjekt mit einer größeren Ähnlichkeit zum früheren Vereinigungsobjekt
FF2, und letzteres wird nicht markiert. Es gibt ein momentanes Bildobjekt
mit einer größeren Ähnlichkeit
zum früheren
Vereinigungsobjekt FF3, und letzteres wird markiert.
-
Die
ECU 4 führt
dann einen Vergleich der Ergebnisse zwischen dem Millimeterwellenobjektvergleich
und dem Bildobjektvergleich durch, um das frühere Vereinigungsobjekt auszuwählen, das
in beiden Ergebnissen markiert wurde. Das ausgewählte frühere Vereinigungsobjekt wird
als Zeitverlaufs-Vereinigungsobjekt eingesetzt, bei dem die Information bezüglich des
Abstands und der relativen Geschwindigkeit auf der Basis der Daten
vom momentanen Millimeterwellenobjekt festgesetzt wird und die Information
bezüglich
des Winkels auf der Basis der Daten vom momentanen Bildobjekt festgesetzt
wird. Die Anzahl der Zeitverlaufs-Vereinigungsobjekte ist gleich
oder kleiner als die der früheren
Vereinigungsobjekte.
-
Mit
Bezug auf das in 2 gezeigte Beispiel werden in
den Ergebnissen des Millimeterwellenobjektvergleichs die früheren Vereinigungsobjekte
FF1 und FF2 mit einem Kreis markiert. Bei den Ergebnissen des Bildobjektvergleichs
werden die früheren Vereinigungsobjekte
FF1 und FF3 mit einem Quadrat markiert. Im Ergebnis wird nur das
frühere
Vereinigungsobjekt FF1 als Zeitverlaufs-Vereinigungsobjekt ausgewählt.
-
Nun
wird mit Bezug auf 3 der aktuelle, in der ECU 4 ausgeführte Vergleich
beschrieben. 3 stellt den aktuellen Vergleich
zwischen den Millimeterwellenobjekten mit Ausnahme der Zeitverlaufs-Vereinigungsobjekte
und den Bildobjekten mit Ausnahme der Zeitverlaufs-Vereinigungsobjekte
im Hinderniserfassungssystem dar. Mit Bezug auf das Beispiel von 3 werden
abgesehen von den Zeitverlaufs-Vereinigungsobjekten fünf Millimeterwellenobjekte
M1 bis M5 vom Millimeterwellenradar 2 erfasst, und von
der Stereokamera 3 werden abgesehen von den Zeitverlaufs-Vereinigungsobjekten sechs
Bildobjekte I1 bis I6 erfasst.
-
In
der ECU 4 werden n3' Zeitverlaufs-Vereinigungsobjekte
aus n_m momentanen Millimeterwellenobjekten ausgeschlossen, die
aus den Erfassungsergebnissen des Millimeterwellenradars 2 abgeleitet
werden. Jedes einzelne der momentanen Millimeterwellenobjekte (n_m – n3') wird als Referenz zum
Zwecke der Durchführung
des Vergleichs in Bezug auf das Millimeterwellenobjekt abgerufen.
Es werden dann n_i – n3' Bildobjekte sequenziell
in Bezug auf das abgerufene Millimeterwellenobjekt verglichen, und
es wird nur ein Bildobjekt ausgewählt, nämlich dasjenige, das dem Millimeterwellenobjekt am
nächsten
kommt. In diesem Fall wird der Vergleich mit Bezug auf den Abstand
zwischen dem Objekt und dem Fahrzeug ausgeführt, und ggf. auch mit Bezug
auf den durch das Objekt und die Fahrtrichtung des Fahrzeugs definierten
Winkel sowie die relative Geschwindigkeit des Objekts mit Bezug
auf das Fahrzeug. Im Falle des Abstandsvergleichs wird der Abstandsunterschied
(zum Beispiel ein paar Meter) als Schwellenwert in Entsprechung
mit der Genauigkeit des Millimeterwellenradars 2 eingesetzt.
Wenn der Unterschied zwischen dem Abstand vom Millimeterwellenobjekt
zum Fahrzeug und dem Abstand vom nächstkommenden Bildobjekt zum
Fahrzeug größer oder
gleich dem Schwellenwert ist, kann das nächstkommende Bildobjekt nicht
ausgewählt
werden. Im Falle des Winkelvergleichs wird die Winkeldifferenz (zum
Beispiel ein paar Grad) als Schwellenwert in Entsprechung mit der
Genauigkeit des Millimeterwellenradars 2 eingesetzt. Wenn
der Unterschied zwischen dem durch das Millimeterwellenobjekt und
die Fahrtrichtung des Fahrzeugs definierten Winkel und dem durch
das nächstkommende
Bildobjekt und die Fahrtrichtung des Fahrzeugs definierten Winkel
größer oder
gleich dem Schwellenwert ist, kann das nächstkommende Bildobjekt nicht
ausgewählt
werden. Wenn das nächstkommende
Bildobjekt ausgewählt
ist, werden das Millimeterwellenobjekt und das diesem am nächsten kommende,
ausgewählte
Bildobjekt als Millimeterwellen-Basispaar in der ECU 4 abgespeichert.
Die ECU 4 führt
den vorstehend erwähnten
Vergleich in Bezug auf die Millimeterwellenobjekte wiederholt n_m – n3' mal aus.
-
In
dem in 3 gezeigten Beispiel wird, wenn das Millimeterwellenobjekt
M1 als Referenz abgerufen wird, ein Bildobjekt I1 ausgewählt, so
dass ein Millimeterwellen-Basispaar MP1 bestimmt wird. Wenn das
Millimeterwellenobjekt M2 als Referenz abgerufen wird, wird ein
Bildobjekt I2 ausgewählt,
so dass ein Millimeterwellen-Basispaar MP2 bestimmt wird. Wenn ein
Millimeterwellenobjekt M3 als Referenz abgerufen wird, wird ein
Bildobjekt I2 ausgewählt,
so dass ein Millimeterwellen-Basispaar
MP3 bestimmt wird. Wenn das Millimeterwellenobjekt M4 als Referenz abgerufen
wird, kann zur Bildung eines Millimeterwellen-Basispaars keines
der Bildobjekte I1 bis I6 ausgewählt
werden, weil der Abstand zwischen den jeweiligen Bildobjekten I1
bis I6 und dem Millimeterwellenobjekt M4 den Schwellenwert überschreitet.
Wenn das Millimeterwellenobjekt M5 als Referenz abgerufen wird,
wird ein Bildobjekt I3 ausgewählt,
so dass ein Millimeterwellen-Basispaar MP4 bestimmt wird.
-
In
der ECU 4 leiten sich die n_i momentanen Bildobjekte aus
Erfassungsergebnissen der Stereokamera 3 ab. Die n3' Zeitverlaufs-Vereinigungsobjekte
werden aus diesen momentanen Bildobjekten (n_i – n3') ausgeschlossen, von denen jedes abgerufen wird,
so dass der Vergleich in Bezug auf das Bildobjekt ausgeführt wird.
Jedes der Millimeterwellenobjekte (n_m – n3') wird sequenziell mit dem abgerufenen
Bildobjekt als Referenz verglichen, um nur ein Millimeterwellenobjekt
auszuwählen,
das dem Referenzbildobjekt am nächsten
kommt. In diesem Fall wird der Vergleich, genau wie der Vergleich
in Bezug auf die Millimeterwellenobjekte, in Bezug auf den Abstand
zwischen dem Objekt und das Fahrzeug, sowie den durch das Objekt
und die Fahrtrichtung des Fahrzeugs definierten Winkel durchgeführt. Jeder
Unterschied bezüglich
des vorstehend erwähnten
Abstands und Winkels wird als Schwellenwert in Entsprechung mit
der Genauigkeit der Stereokamera 3 eingesetzt. In der ECU 4 kann
in dem Fall, wo der Unterschied bezüglich des Abstands zwischen
dem Referenzbildobjekt und dem diesem am nächsten kommenden Millimeterwellenobjekt
größer oder
gleich dem Schwellenwert ist, oder der Unterschied bezüglich des
Winkels größer oder
gleich dem Schwellenwert ist, das Millimeterwellenobjekt, das als
dem Referenzbildobjekt am nächsten
kommend angesehen wird, nicht ausgewählt werden. Wenn das nächstkommende
Millimeterwellenobjekt ausgewählt
ist, werden das Referenzbildobjekt und das diesem am nächsten kommende
Millimeterwellenobjekt in der ECU 4 als Bildobjekt-Basispaar
abgespeichert. Der vorstehend erwähnte Vergleich in Bezug auf
die Bildobjekte wird wiederholt n_i – n3' mal ausgeführt.
-
In
dem in 3 gezeigten Beispiel wird, wenn das Bildobjekt
I1 als Referenz abgerufen wird, das Millimeterwellenobjekt M1 ausgewählt, so
dass ein Bildbasispaar IP1 bestimmt wird. Wenn das Bildobjekt I2
als Referenz abgerufen wird, wird das Millimeterwellenobjekt M2
ausgewählt,
so dass ein Bildbasispaar IP2 bestimmt wird. Wenn das Bildobjekt
I3 als Referenz abgerufen wird, wird das Millimeterwellenobjekt
M5 ausgewählt,
so dass ein Bildbasispaar IP4 bestimmt wird. Wenn das Bildzielobjekt
I4 als Referenz abgerufen wird, wird das Millimeterwellenobjekt
M5 ausgewählt,
so dass ein Bildbasispaar IP4 bestimmt wird. Wenn das Bildobjekt
I5 als Referenz abgerufen wird, kann zur Bildung eines Bildbasispaars
keines der Millimeterwellenzielobjekte M1 bis M5 ausgewählt werden,
weil der Unterschied bezüglich
des Abstands zwischen den jeweiligen Millimeterwellenobjekten M1
bis M5 und dem Bildobjekt I5 jeweils den Schwellenwert überschreitet.
Wenn das Bildobjekt I6 als Referenz abgerufen wird, kann zur Bildung
eines Bildbasispaars keines der Millimeterwellenzielobjekte M1 bis
M5 ausgewählt
werden, weil der Unterschied bezüglich
des Abstands zwischen den jeweiligen Millimeterwellenobjekten M1
bis M5 und dem Bildobjekt I6 jeweils den Schwellenwert überschreitet.
-
Die
ECU 4 führt
einen Vergleich zwischen den Millimeterwellen-Basispaaren und den
Bildbasispaaren sequenziell durch, um so das Millimeterwellen-Basispaar
und das Bildbasispaar auszuwählen, die
jeweils das identische bzw. dasselbe Millimeterwellenobjekt und
Bildobjekt umfassen. Die ECU 4 setzt darüber hinaus
die ausgewählte
Kombination des Millimeterwellen-Basispaars und Bildbasispaars, die
jeweils dasselbe Millimeterwellenobjekt und Bildobjekt umfassen,
als Vereinigungspaar ein (aktuelles Vereinigungsobjekt). Als Information über das
Vereinigungsobjekt werden dann die Information mit Bezug auf den
Abstand und die relative Geschwindigkeit, die sich aus den Millimeterwellenobjektdaten
ableiten, und die Information mit Bezug auf den Winkel, die sich
aus den Bildobjektdaten ableiten, eingesetzt.
-
In
dem in 3 gezeigten Beispiel umfassen das Millimeterwellen-Basispaar
MP1 und das Bildbasispaar IP1 jeweils dasselbe Millimeterwellenobjekt M1
und Bildobjekt I1, und bilden somit das Vereinigungspaar FP1. Das
Millimeterwellen-Basispaar MP2
und das Bildbasispaar IP2 umfassen jeweils dasselbe Millimeterwellenobjekt
M2 und Bildobjekt I2, und bilden somit das Vereinigungspaar FP2.
Das Millimeterwellen-Basispaar MP4 und das Bildbasispaar IP3 umfassen
jeweils dasselbe Millimeterwellenobjekt M5 und Bildobjekt I3, und
bilden somit das Vereinigungspaar FP3. Das Millimeterwellen-Basispaar
MP3 verfügt über kein
Bildbasispaar, welches dasselbe Millimeterwellenobjekt und Bildobjekt
umfasst. Das Bildbasispaar IP4 verfügt über kein Millimeterwellen-Basispaar,
das dasselbe Millimeterwellenobjekt und Bildobjekt umfasst.
-
Mit
Bezug auf 1 wird nun der im Hinderniserfassungssystem 1 durchgeführte Vergleichsvorgang
beschrieben. Der Vergleichsvorgang wird allgemein mit Bezug auf
das Flussdiagramm von 4 beschrieben. Der Zeitverlaufs-Vergleichsvorgang wird
mit Bezug auf das Flussdiagramm von 5 beschrieben,
und der aktuelle Vergleichsvorgang wird mit Bezug auf das Flussdiagramm
von 6 beschrieben. 4 zeigt
das Flussdiagramm, das den im Hinderniserfassungssystem durchgeführten Vergleichsvorgang
darstellt. 5 zeigt das Flussdiagramm, das
den im Hinderniserfassungssystem durchgeführten Zeitverlaufs-Vergleichsvorgang
darstellt. 6 zeigt das Flussdiagramm, das
den im Hinderniserfassungssystem durchgeführten aktuellen Vergleichsvorgang
darstellt.
-
Der
Vergleichsvorgang allgemein wird mit Bezug auf das Flussdiagramm
von 4 beschrieben. Im Hinderniserfassungssystem 1 werden
in Schritt S1 Millimeterwellenobjekte (n_m) intermittierend vom
Millimeterwellenradar 2 erfasst, und Bildobjekte (n_i)
werden auch intermittierend von der Stereokamera 3 erfasst.
Im Hinderniserfassungssystem 1 wird der Vergleich mit einem
vorab bestimmten Zeitintervall ausgeführt. Wenn das Ergebnis des
früheren
Vergleichs die Erfassung der früheren
Vereinigungsobjekte (n3_pre) zeigt, werden die früheren Vereinigungsobjekte
zeitlich aufeinanderfolgend mit Bezug auf die momentanen Millimeterwellenobjekte (n_m)
und die momentanen Bildobjekte (n_i) verglichen, um jeweils die
Zeitverlaufs-Vereinigungsobjekte
(n3') zu bestimmen.
Da die Anzahl der früheren Vereinigungsobjekte
im ersten Vergleich Null ist, wird der Zeitverlaufsvergleich nicht
ausgeführt.
Wenn in irgendwelchen anderen Vergleichen außer dem ersten Vergleich die
Anzahl der früheren
Vereinigungsobjekte Null ist, wird der Zeitverlaufsvergleich nicht
ausgeführt.
-
In
Schritt S2 wird der aktuelle Vergleich zwischen den Millimeterwellenobjekten,
die sich durch einen Ausschluss der Zeitverlaufs-Vereinigungsobjekte
von den momentanen Millimeterwellenobjekten (n_m – n3') ableiten, und den
Bildobjekten ausgeführt,
die sich durch einen Ausschluss der Zeitverlaufs-Vereinigungsobjekte
von den momentanen Bildobjekten (n_i – n3') ableiten, um so die aktuellen Vereinigungsobjekte
(n3'') zu bestimmen. Ist
die Anzahl der Zeitverlaufs-Vereinigungsobjekte gleich Null, wird
zwischen den momentanen Millimeterwellenobjekten (n_m) und den momentanen
Bildobjekten (n_i) der aktuelle Vergleich durchgeführt. Wenn
bestimmt wird, dass das momentane Millimeterwellenobjekt und das
momentane Bildobjekt jeweils mit dem früheren Vereinigungsobjekt identisch
sind, wird der aktuelle Vergleich nicht ausgeführt.
-
Im
Hinderniserfassungssystem 1 wird in Schritt S3 die Anzahl
der Zeitverlaufs-Vereinigungsobjekte
zur Anzahl der aktuellen Vereinigungsobjekte hinzuaddiert, um die
Vereinigungsobjekte im momentanen Vergleich zu bestimmen (n3 = n3' + n3''). Darüber hinaus werden die unabhängigen Millimeterwellenobjekte
(n1 = n_m – n3)
und die unabhängigen
Bildobjekte (n2 = n_i – n3)
bestimmt. Im Hinderniserfassungssystem 1 werden bei jedem
Vergleichsvorgang die Vereinigungsobjekte, unabhängigen Millimeterwellenobjekte
und Bildobjekte bestimmt. Die bestimmten Vereinigungsobjekte dienen
im nachfolgenden Vergleichsvorgang als frühere Vereinigungsobjekte.
-
Mit
Bezug auf das Flussdiagramm von 5 wird der
Zeitverlaufs-Vergleichsvorgang beschrieben. Im Hinderniserfassungssystem 1 wird
bestimmt, ob im früheren
Vergleich das Vereinigungsobjekt erfasst wurde. Wenn bestimmt wird,
dass im früheren Vergleich
das Vereinigungsobjekt erfasst worden ist, geht die Steuerung zu
folgendem Vorgang über.
-
In
Schritt S10 wird im Hinderniserfassungssystem 1 jede Ähnlichkeit
der n_m momentanen Millimeterwellenobjekte zu den früheren Vereinigungsobjekten
(n3_pre) berechnet, die bezüglich
des Abstands und der relativen Geschwindigkeit gewichtet sind. Es
wird bestimmt, ob ein Millimeterwellenobjekt mit einer größeren Ähnlichkeit
(gleich oder größer als der
Schwellenwert) zum früheren
Vereinigungsobjekt existiert. Wenn bestimmt wird, dass ein Millimeterwellenobjekt
mit einer größeren Ähnlichkeit
zum früheren
Vereinigungsobjekt existiert, wird das frühere Vereinigungsobjekt in
Bezug auf die Millimeterwellenvergleichsergebnisse markiert.
-
Dann
wird in Schritt S11 bestimmt, ob die Bestimmungen mit Bezug auf
die n3_pre früheren
Vereinigungsobjekte abgeschlossen sind. Dieser Schritt wird bis
zum Abschluss der Bestimmung wiederholt ausgeführt. Im Hinderniserfassungssystem 1 wird das
frühere
Vereinigungsobjekt, das im früheren
Vergleich erfasst worden ist, unter den Erfassungsergebnissen des
Millimeterwellenradars 2 gesucht. Wenn ein solches früheres Vereinigungsobjekt
aufgefunden wird, wird davon ausgegangen, dass es mit hoher Wahrscheinlichkeit
das momentane Vereinigungsobjekt ist. Dementsprechend wird das aufgefundene
frühere
Vereinigungsobjekt markiert.
-
In
Schritt S12 wird eine bezüglich
des Winkels gewichtete Berechnung ausgeführt, und zwar in Bezug auf
die Ähnlichkeit
jedes der n_i momentanen Bildobjekte zu den früheren Vereinigungsobjekten (n3_pre).
Dann wird bestimmt, ob ein Bildobjekt mit hoher Ähnlichkeit zum momentanen Vereinigungsobjekt
existiert, d.h. es wird bestimmt, ob der Ähnlichkeitswert gleich oder
größer als
der Schwellenwert ist. Wenn ein Bildobjekt mit hoher Ähnlichkeit
bestimmt wird, wird das frühere
Vereinigungsobjekt markiert.
-
Der
Vorgang schreitet weiter zu Schritt S13, wo bestimmt wird, ob die
Bestimmung mit Bezug auf alle n3_pre früheren Vereinigungsobjekte abgeschlossen
ist. Der Vorgang in Schritt S12 wird wiederholt ausgeführt, und
zwar bis zum Abschluss der Bestimmung in Bezug auf alle früheren Vereinigungsobjekte.
Im Hinderniserfassungssystem 1 wird die Existenz eines
früheren
Vereinigungsobjekts, das im früheren
Vergleich erfasst worden ist, unter den Erfassungsergebnissen der
Stereokamera 3 gesucht. Wenn die Existenz eines früheren Vereinigungsobjekts
bestätigt
ist, wird das aufgefundene frühere
Vereinigungsobjekt markiert, weil es eine hohe Wahrscheinlichkeit
dahingehend aufweist, dass es das momentane Vereinigungsobjekt ist.
-
In
Schritt S14 wird ein Vergleich zwischen den Millimeterwellenobjekt-Vergleichsergebnissen und
den Bildobjekt-Vergleichsergebnissen durchgeführt, um die früheren Vereinigungsobjekte
(n3') zu bestimmen,
die sowohl beim Millimeterwellenobjekt-Vergleichsergebnis als auch
beim Bildobjekt-Vergleichsergebnis als Zeitverlaufs-Vereinigungsobjekte
(n3') markiert wurden.
Dann wird die Information der Zeitverlaufs-Vereinigungsobjekte (Abstand,
relative Geschwindigkeit, Winkel) festgesetzt. Im Hinderniserfassungssystem 1 werden
die Ergebnisse des Vergleichs zwischen den früheren Vereinigungsobjekten
und den momentanen Millimeterwellenobjekten, und zwischen den früheren Vereinigungsobjekten
und den momentanen Bildobjekten, d.h. (Millimeterwellenobjekt-Vergleichsergebnisse und
Bildobjekt-Vergleichsergebnisse), bilateral verglichen. Das frühere Vereinigungsobjekt,
das in beiden dieser zwei Vergleichsergebnisse markiert ist, wird
im Hinderniserfassungssystem 1 als das zu erfassende Objekt
bestimmt.
-
Der
Vorgang zum Ausführen
des aktuellen Vergleichs wird mit Bezug auf das Flussdiagramm von 6 beschrieben.
In dem Fall, wo das Zeitverlaufs-Vereinigungsobjekt durch den Zeitverlaufsvergleich
erfasst wird, werden die Zeitverlaufs-Vereinigungsobjekte von den momentanen
Millimeterwellenobjekten ausgeschlossen, d.h. dem aktuellen Vergleich
werden n_m – n3' Millimeterwellenobjekte
unterzogen, und die Zeitverlaufs-Vereinigungsobjekte werden von
den momentanen Bildobjekten ausgeschlossen, d.h. dem aktuellen Vergleich
werden n_i – n3' Bildobjekte unterzogen.
In dem Fall, wo kein Zeitverlaufs-Vereinigungsobjekt erfasst wird,
werden die momentanen Millimeterwellenobjekte und die momentanen
Bildobjekte dem aktuellen Vergleich unterzogen.
-
In
Schritt S20 werden im Hinderniserfassungssystem 1 die (n_i – n3') Bildobjekte jeweils
mit Bezug auf die einzelnen Millimeterwellenobjekte als Referenz
verglichen. Dann wird das Bildobjekt ausgewählt, das dem Referenzmillimeterwellenobjekt am
nächsten
kommt. Wenn der Unterschied bezüglich
des Abstands und des Winkels zwischen dem Referenzmillimeterwellenobjekt
und dem ausgewählten
Bildobjekt jeweils kleiner oder gleich dem jeweiligen Schwellenwert
ist, wird ein Millimeterwellen-Basispaar bestimmt, welches das Referenzmillimeterwellenobjekt
und das diesem am nächsten
kommende Bildobjekt umfasst.
-
Dann
wird in Schritt S21 bestimmt, ob im Hinderniserfassungssystem 1 die
Bestimmung im Hinblick auf alle (n_m – n3') Millimeterwellenobjekte abgeschlossen
ist. Dieser Vorgang wird in Schritt S20 bis zum Abschluss der vorstehend
erwähnten
Bestimmung wiederholt ausgeführt.
Im Hinderniserfassungssystem 1 werden die Erfassungsergebnisse der
Stereokamera 3 jeweils mit Bezug auf das Millimeterwellenradar 2 verglichen,
um ein Bildobjekt zu ermitteln, welches die größte Wahrscheinlichkeit in sich
trägt,
dass es dem jeweiligen Millimeterwellenobjekt am nächsten kommt.
-
In
Schritt S22 werden im Hinderniserfassungssystem 1 die (n_m – n3') Millimeterwellenobjekte
jeweils mit Bezug auf die einzelnen Bildobjekte als Referenz verglichen.
Dann wird das Millimeterwellenobjekt ausgewählt, das dem Referenzbildobjekt
am nächsten
kommt. Wenn der Unterschiede bezüglich des
Abstands und des Winkels zwischen dem Referenzbildobjekt und dem
ausgewählten
Millimeterwellenobjekt jeweils kleiner oder gleich dem jeweiligen Schwellenwert
ist, wird das Bildbasispaar bestimmt, welches das Referenzbildobjekt
und das diesem am nächsten
kommende Millimeterwellenobjekt umfasst.
-
In
Schritt S23 wird bestimmt, ob im Hinderniserfassungssystem 1 der
Vergleich in Bezug auf alle (n_i – n3') Bildobjekte abgeschlossen ist. Der Vorgang
wird in Schritt S22 bis zum Abschluss des Vergleichs in Bezug auf
alle Bildobjekte wiederholt ausgeführt. Im Hinderniserfassungssystem 1 werden die
Erfassungsergebnisse des Millimeterwellenradars 2 in Bezug
auf die Erfassungsergebnisse der Stereo kamera 3 durchsucht,
um so nur ein Millimeterwellenobjekt zu bestimmen, das die größte Wahrscheinlichkeit
hat, dass es dem Bildobjekt am nächsten
kommt.
-
In
Schritt S24 wird ein Vergleich zwischen allen Millimeterwellen-Basispaaren
und allen Bildbasispaaren, die bestimmt wurden, durchgeführt, um
so das Millimeterwellen-Basispaar und das Bildbasispaar aufzufinden,
die jeweils dasselbe Millimeterwellenobjekt und dasselbe Bildobjekt
umfassen. Im Hinderniserfassungssystem 1 werden, wenn das
Millimeterwellen-Basispaar und das Bildbasispaar, die jeweils dasselbe
Millimeterwellenobjekt und dasselbe Bildobjekt haben, aufgefunden
sind, das identische Millimeterwellenobjekt und das identische Bildobjekt als
Vereinigungspaar bestimmt.
-
In
Schritt S25 werden von diesen Vereinigungspaaren die aktuellen Vereinigungsobjekte
(n3'') bestimmt, und die
Information bezüglich
des aktuellen Vereinigungsobjekts (Abstand, relative Geschwindigkeit,
Winkel) wird festgesetzt. Im Hinderniserfassungssystem 1 erfolgt
ein Vergleich zwischen den bilateralen Vergleichsergebnissen in
Bezug auf die Millimeterwellenobjekte und die Bildobjekte, d.h. das
Millimeterwellen-Basispaar und das Bildbasispaar. Nur dann, wenn
dieses Millimeterwellen-Basispaar und Bildbasispaar dasselbe Millimeterwellenobjekt
und Bildobjekt haben, werden diese Objekte als Vereinigungsobjekte
bestimmt.
-
Im
Hinderniserfassungssystem 1 wird für den Zeitverlaufsvergleich
das frühere
Vergleichsergebnis verwendet. Gegenüber einem Vergleich zwischen
solchen Objekten, die sich jeweils mit der Zeit verändern, macht
dies die Realisierung eines stabilen Vergleichs möglich. Selbst
in dem Fall, wo durch Vergleichen der Erfassungsergebnisse das vom
Hinderniserfassungssystem 1 zu erfassende Objekt nicht
erkannt werden kann, kann mit dem vorstehend erwähnten Vorgang das Objekt identifiziert
bzw. erkannt werden. Ist die Erfassungsgenauigkeit des Millimeterwellenradars 2 oder
der Stereokamera 3 vorübergehend
aufgrund eines Rauschens oder eines Hindernisses für die elektrische
Welle herabgesetzt, kann der Vergleich mit einer geringeren Wahrscheinlichkeit
dahingehend durchgeführt
werden, dass er bei der Identifizierung des zu erfassenden Objekts versagt.
Die Ähnlichkeit
wird so bestimmt, dass jeder Parameter mit höherer Genauigkeit des Millimeterwellenradars 2 und
der Stereokamera 3 gewichtet wird. Somit ist die sich ergebende
Erfassungsgenauigkeit relativ gesehen höher.
-
Bei
dem im Hinderniserfassungssystem 1 ausgeführten aktuellen
Vergleich werden Millimeterwellenobjekte und Bildobjekte bilateral
verglichen. Nur im Falle der Übereinstimmung
in den Vergleichsergebnissen wird bestimmt, dass ein Vereinigungsobjekt
existiert. Die Genauigkeit (Vereinigungsgenauigkeit) zur Bestimmung
im Hinblick auf die Übereinstimmung
zwischen durch das Bild erfassten Objekten und durch die Millimeterwelle
erfassten Objekten ist beachtlich hoch. Im Hinderniserfassungssystem 1 wird
nur ein Objekt erfasst, und zwar entweder das Millimeterwellenobjekt
oder das Bildobjekt, das dem jeweils anderen Objekt am nächsten kommt.
Der Vergleich wird durchgeführt,
indem nach einer Übereinstimmung
zwischen solchen Paaren des Millimeterwellen-Basispaars und Bildbasispaars gesucht
wird. Die sich ergebende Bearbeitungsauslastung ist relativ gering.
Im Hinderniserfassungssystem 1 kann das Objekt, das durch
den früheren
Vergleich nicht erfasst wurde, in Übereinstimmung mit den momentanen
Erfassungsergebnissen als Vereinigungsobjekt identifiziert werden.
-
Im
Hinderniserfassungssystem 1 können die Erfassungsergebnisse
des Bilds des vorausfahrenden Fahrzeugs und die Millimeterwellen-Erfassungsergebnisse
verglichen werden, um eine mit einer hohen Wahrscheinlichkeit behaftete,
hindernisbezogene Information an verschiedene Arten von Betriebsunterstützungssystemen
zu liefern. Dies macht es möglich,
den Fahrzeugbediener mit einem entsprechenden Programmablauf zu
unterstützen.
-
Wie
mit Bezug auf die Ausführungsform
der Erfindung beschrieben wurde, sollte klar sein, dass die Erfindung
nicht auf die vorstehend erwähnte
Ausführungsform
beschränkt
ist, sondern in verschiedenen Formen verkörpert sein kann.
-
Die
Ausführungsform
der Erfindung wird auf das Hinderniserfassungssystem angewendet,
mit dem das Fahrzeug ausgestattet ist. Es kann auch auf andere Arten
der Objekterfassung, zum Beispiel auf eine kontaktfreie Erfassung
anwendbar sein.
-
Die
Ausführungsform
der Erfindung umfasst zwei Arten von Erfassungseinheiten, d.h. das
Millimeterwellenradar und die Stereokamera. Es kann aber auch irgendeine
andere Erfassungseinheit wie ein Laserradar verwendet werden. Darüber hinaus können auch
drei oder mehr Erfassungseinheiten eingesetzt werden.
-
In
der Ausführungsform
der Erfindung wird die Position jedes Objekts auf der Basis des
Abstands, der relativen Geschwindigkeit und des Winkels identifiziert.
Zur Bestimmung der Position der jeweiligen Objekte kann aber auch
eine andere Information wie etwa ein zweidimensionales Koordinatensystem
verwendet werden.
-
Bei
dem Zeitverlaufsvergleich gemäß der Ausführungsform
kann als Zeitverlaufs-Vereinigungsobjekt das Objekt eingesetzt werden,
das in den Vergleichen zwischen den früheren Vereinigungsobjekten
und den momentanen Millimeterwellenobjekten und zwischen den früheren Vereinigungsobjekten
und den momentanen Bildobjekten überstimmt.
Das Objekt, das bei einem dieser Vergleiche mit dem früheren Vereinigungsobjekt übereinstimmt,
kann als Zeitverlaufs-Vereinigungsobjekt eingesetzt werden.
-
Während die
Erfindung mit Bezug auf beispielhafte Ausführungsformen davon beschrieben wurde,
sollte klar sein, dass sie nicht auf die beispielhaften Ausführungsformen
oder Konstruktionen beschränkt
ist. Die Erfindung soll vielmehr verschiedene Modifikationen und äquivalente
Anordnungen abdecken.