DE102005009814B4

DE102005009814B4 - Fahrzeugzustands-Erfassungssystem und -verfahren

Info

Publication number: DE102005009814B4
Application number: DE102005009814.2A
Authority: DE
Inventors: Mamoru Sawada; Toshiki Matsumoto
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2004-03-09
Filing date: 2005-03-03
Publication date: 2018-07-05
Anticipated expiration: 2025-03-04
Also published as: DE102005009814A1; FR2867567A1; FR2867567B1; US20050201593A1; JP2005254861A; US7477760B2; JP4319928B2

Abstract

Fahrzeugzustands-Erfassungssystem, mit:einer Bilderkennungsvorrichtung (1), welche in ein Fahrzeug eingebaut ist, wobei die Bilderkennungsvorrichtung (1) zur Aufnahme eines Bilds einer außerhalb liegenden visuellen Szenerie dient, welche außerhalb des Fahrzeugs liegt, und zur Ausgabe von Bilddaten des aufgenommenen Bilds dient;einer Fahrzeuggeschwindigkeits-Erfassungsvorrichtung (2) zur Ausgabe eines Messsignals entsprechend einer Bewegungsgeschwindigkeit des Fahrzeugs; undeiner Fahrzeugzustands-Bestimmungsvorrichtung (3) zur Bestimmung eines Fahrzeugzustands basierend auf dem Messsignal der Fahrzeuggeschwindigkeits-Erfassungsvorrichtung (2) und einem optischen Fluss eines bestimmten Punkts in dem aufgenommenen Bild, welches während der Fahrt des Fahrzeugs aufgenommen wird, wobei der optische Fluss des bestimmten Punkts basierend auf den Bilddaten des aufgenommenen Bilds erhalten wird und die Querbewegungsgeschwindigkeit des Fahrzeugs angibt;wobeidie Fahrzeugzustands-Bestimmungsvorrichtung (3) einen Rutschwinkel des Fahrzeugs, welcher eine translatorische Bewegung des Fahrzeugs in Querrichtung des Fahrzeugs angibt, und eine Gierrate des Fahrzeugs, welche eine Rotationsbewegung des Fahrzeugs um einen Massenmittelpunkt des Fahrzeugs angibt, als den Fahrzeugzustand bestimmt;die Fahrzeugzustands-Bestimmungsvorrichtung (3) den Rutschwinkel des Fahrzeuges unter Verwendung der folgenden Gleichung bestimmt:wobei:"β" den Rutschwinkel des Fahrzeugs angibt;„V“ die Bewegungsgeschwindigkeit des Fahrzeugs angibt;„Vy_flow“ den optischen Fluss des bestimmten Punkts angibt;„d“ eine Distanz zwischen dem Fahrzeug und einem Richtpunkt der außerhalb liegenden visuellen Szenerie entsprechend dem bestimmten Punkt im aufgenommenen Bild bezeichnet;„M“ eine Masse des Fahrzeugs bezeichnet;„L“ einen Achsabstand des Fahrzeugs bezeichnet;„Lf“ einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und der Vorderachse des Fahrzeugs bezeichnet;„Lr“ einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und einer Hinterachse des Fahrzeugs bezeichnet; und„Kcr“ eine Reifenkurvenfahrtleistung eines Hinterrads des Fahrzeugs bezeichnet; unddie Fahrzeugzustands-Bestimmungsvorrichtung (3) die Gierrate des Fahrzeugs unter Verwendung folgender Gleichung bestimmt:wobei:„γ“ die Gierrate des Fahrzeugs angibt;„V“ die Bewegungsgeschwindigkeit des Fahrzeugs angibt;„Vy_flow“ den optischen Fluss des bestimmten Punkts angibt;„d“ eine Distanz zwischen dem Fahrzeug und einem Richtpunkt der außerhalb liegenden visuellen Szenerie entsprechend dem bestimmten Punkt im aufgenommenen Bild bezeichnet;„M“ eine Masse des Fahrzeugs bezeichnet;„L“ einen Achsabstand des Fahrzeugs bezeichnet;„Lf” einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und der Vorderachse des Fahrzeugs bezeichnet;„Lr“ einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und einer Hinterachse des Fahrzeugs bezeichnet; und„Kcr“ eine Reifenkurvenfahrtleistung eines Hinterrads des Fahrzeugs bezeichnet.

Description

Die vorliegende Erfindung betrifft ein Fahrzeugszustands-Erfassungssystem und ein Fahrzeugzustands-Erfassungsverfahren zum Erfassen oder Sensieren eines Bewegungszustandes eines Fahrzeuges auf der Grundlage von Bilddaten eines Bilds, welches über eine fahrzeugseitige Kamera aufgenommen wird.
Ein bereits früher vorgeschlagenes System erkennt einen physikalischen Zustand (z. B. eine Kurvenkrümmung, eine Breite) einer Fahrbahn oder Fahrspur, entlang der sich das Fahrzeug bewegt auf der Grundlage von Bilddaten eines Bildes, welches beispielsweise. von einer fahrzeugseitigen Kamera aufgenommen wird (vgl. beispielsweise die JP H09-263200 A). Wenn sich das Fahrzeug einer Kurve auf der Fahrbahn mit einer zu hohen Geschwindigkeit nähert, bestimmt das System auf der Grundlage des Erkennungsergebnisses die Möglichkeit eines Abkommens von der Fahrbahn.
Bei dem obigen System wird die Oberfläche der Fahrbahn oder Fahrbahn-Fahrspur, d. h. der Zustand der Umgebung um das sich bewegende Fahrzeug herum auf der Grundlage von Bilddaten des Bildes erfaßt, welches von der fahrzeugseitigen Kamera aufgenommen wird. Es wurden bislang auch Systeme vorgeschlagen, welche den Bewegungszustand des Fahrzeugs (z. B. den Impuls oder die Bewegungsenergie bei einer translatorischen Bewegung des Fahrzeugs) auf der Grundlage von Bilddaten des Bildes bestimmen, das von der fahrzeugseitigen Kamera aufgenommen wird, vgl. hierzu die WO 2001 / 039 120 A2 und die US 6 535 114 B1 .
Die vorliegende Erfindung wurde im Hinblick auf diesen Punkt gemacht. Aufgabe der vorliegenden Erfindung ist es somit, ein Fahrzeugzustands-Erfassungssystem und ein Fahrzeugzustands-Erfassungsverfahren zum besseren Erfassen oder Sensieren eines Bewegungszustandes eines Fahrzeugs auf der Grundlage von Bilddaten eines Bildes zu schaffen, welches von einer Bilderkennungsvorrichtung aufgenommen wird, beispielsweise. einer fahrzeugseitigen Kamera oder einer in das Fahrzeug eingebauten Kamera.
Die Lösung der Aufgabe erfolgt durch die Merkmale der Ansprüche 1 oder 4.
Zur Lösung der der Erfindung zugrundeliegenden Aufgabe wird ein Fahrzeugzustands-Erfassungssystem geschaffen, welches im Wesentlichen eine Bilderkennungsvorrichtung, eine Fahrzeuggeschwindigkeitserfassungsvorrichtung und eine Fahrzeugzustandsbestimmungsvorrichtung aufweist. Die Bilderkennungsvorrichtung ist in das Fahrzeug eingebaut. Die Bilderkennungsvorrichtung dient zur Aufnahme eines Bildes einer äußeren, d. h. sich um das Fahrzeug herum befindlichen visuellen Szenerie, also allgemein gesagt der sich darstellenden Fahrzeugumgebung zumindest in einer (Blick)Richtung und dient zur Ausgabe von Bilddaten des aufgenommenen Bildes. Die Fahrzeuggeschwindigkeitserfassungsvorrichtung dient zur Ausgabe eines Meßsignals, welches der Bewegungsgeschwindigkeit (Fahrgeschwindigkeit) des Fahrzeugs entspricht. Die Fahrzeugzustandsbestimmungsvorrichtung dient zur Bestimmung eines Zustands des Fahrzeugs auf der Grundlage des Meßsignals von der Fahrzeuggeschwindigkeitserfassungsvorrichtung und einem optischen Fluß von einem bestimmten Punkt des aufgenommenen Bildes, welches während der Fahrt der Fahrzeugs aufgenommen wird. Der optische Fluß von dem bestimmten Punkt wird auf der Grundlage der Bilddaten des aufgenommenen Bildes erhalten.
Zur Lösung der der Erfindung zugrundeliegenden Aufgabe wird gemäß einem weiteren Aspekt auch ein Fahrzeugzustands-Erfassungsverfahren geschaffen. Gemäß dem Verfahren wird eine Bewegungsgeschwindigkeit des Fahrzeugs erhalten. Weiterhin werden Bilddaten eines Bildes einer außerhalb um das Fahrzeug herum liegenden visuellen Szenerie erhalten. Die Bilddaten des Bildes der äußeren visuellen Szenerie außerhalb des Fahrzeugs werden von einer Bilderkennungsvorrichtung während der Fahrt der Fahrzeugs aufgenommen. Ein optischer Fluß von einem bestimmten Punkt des aufgenommenen Bildes aus wird auf der Grundlage der Bilddaten erhalten. Ein Zustand des Fahrzeugs wird auf der Grundlage der Bewegungsgeschwindigkeit des Fahrzeugs und des optischen Flusses von dem bestimmten Punkt auf bestimmt.
Als „optischer Fluß“ („optical flow“) sei im weitesten Sinn die Releativbewegung des bestimmten Punktes in dem erfaßten Bild zwischen zwei unterschiedlichen Zeitpunkten verstanden.
Weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der nachfolgenden Beschreibung unter Bezugnahme auf die Zeichnung.
Es zeigt:

1 ein Blockdiagramm eines Fahrzeugzustands-Erfassungssystem gemäß einer Ausführungsform der vorliegenden Erfindung;
2A eine schematische Darstellung eines optischen Flusses in einem Fall, in dem ein Fahrzeug eine translatorische Bewegung in Querrichtung des Fahrzeugs durchführt;
2B eine schematische Darstellung eines optischen Flusses in einem Fall, in dem das Fahrzeug eine Drehbewegung durchführt;
3 eine schematische Darstellung, die zeigt, wie sich ein Richtpunkt, der vorderhalb des Fahrzeugs liegt und von dem Fahrzeug um eine bestimmte Strecke beabstandet ist, sich im Zusammenhang mit der Bewegung des Fahrzeugs bei Verstreichen einer bestimmten Zeitdauer bewegt;
4 eine schematische Darstellung von Größen entsprechend der Teile des Fahrzeugs; und
5 ein Flußdiagramm, welches einen Ablauf darstellt, der von einer ECU in dem Fahrzeugzustands-Erfassungssystem von 1 durchgeführt wird.

1 ein Blockdiagramm, welches ein Fahrzeugzustands-Erfassungssystem gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Wie in 1 gezeigt, weist das Fahrzeugzustands-Erfassungssystem eine in das Fahrzeug eingebaute oder fahrzeugseitige Kamera 1, einen Radgeschwindigkeitssensor (Raddrehzahlsensor) 2 und eine ECU 3 zur Bestimmung des Fahrzeugzustands auf.
Die fahrzeugseitige Kamera nimmt ein Bild einer vorderen visuellen Szenerie vorderhalb des Fahrzeugs auf. Die fahrzeugseitige Kamera 1 nimmt fortlaufend das Bild der vorderen visuellen Szenerie während der Fahrt des Fahrzeugs auf und überträgt Bilddaten des aufgenommenen Bildes an die ECU 3.
Der Radgeschwindigkeitssensor 2 gibt ein Meßsignal aus, welches einer Radgeschwindigkeit des Fahrzeugs entspricht. Eine Fahrzeuggeschwindigkeit V (d. h. eine Bewegungsgeschwindigkeit des Fahrzeugs) wird auf der Grundlage des Meßsignals vom Radgeschwindigkeitssensor 2 bestimmt. Ein Verfahren zur Berechnung einer derartigen Fahrzeuggeschwindigkeit V ist auf dem Gebiet von Bremssystemen allgemein bekannt, so dass Details des Verfahrens zur Berechnung der Fahrzeuggeschwindigkeit V nicht näher erläutert werden.
Die ECU 3 erfaßt, d. h. bestimmt, den Bewegungszustand (Fahrzustand) des Fahrzeugs auf der Grundlage des Bilddaten von der fahrzeugseitigen Kamera 1 und dem Meßsignal vom Radgeschwindigkeitssensor 2. Insbesondere ermittelt die ECU 3 eine Gierrate γ und einen Rutschwinkel β als Parameter, welche den Bewegungszustand des Fahrzeugs angeben. Genauer gesagt, die Gierrate γ gibt eine Rotationswinkelgeschwindigkeit des Fahrzeugs, d. h. eine Rotationswinkelgeschwindigkeit des Fahrzeugs um eine vertikale Mittelachse an und der Rutschwinkel β gibt eine Querbewegungsgeschwindigkeit des Fahrzeugs an, welche bei einer translatorischen Bewegung vorliegt.
Die Gierrate γ und der Rutschwinkel β werden auf der Grundlage der Bilddaten des aufgenommenen Bildes ermittelt, welches von der fahrzeugseitigen Kamera 1 aufgenommen wird. Der Erhalt der Gierrate γ und des Rutschwinkel β wird unter Bezugnahme auf die 2A und 2B beschrieben.
2A zeigt einen optischen Fluß für den Fall, dass das Fahrzeug in Querrichtung, d. h. in Seitenrichtung des Fahrzeugs, eine translatorische Bewegung erfährt. 2B zeigt den optischen Fluß in einem Fall, in dem das Fahrzeug nur eine Rotations- oder Drehbewegung erfährt. In diesen Figuren wird eine Vorwärts/Rückwärts-Richtung (eine Längsrichtung) des Fahrzeugs durch eine X-Achse angegeben. Die Richtung von links nach rechts ist als Y-Achse angegeben. Eine Richtung von oben nach unten (vertikale Richtung) ist als Z-Achse angegeben. Wenn somit das Fahrzeug die translatorische Bewegung in Querrichtung durchführt, bewegt sich das Fahrzeug in der Zeichnung auf der Y-Achse. Wenn das Fahrzeug eine Rotationsbewegung durchführt, dreht sich das Fahrzeug um die Z-Achse.
Der optische Fluß gibt die Querbewegungsgeschwindigkeit des Fahrzeugs an, welche in einem Richtpunkt (einem bestimmten Punkt) in der vorderen visuellen Szenerie gemessen wird, die über die fahrzeugseitige Kamera 1 betrachtet wird. Der optische Fluß entspricht einem Vektor, der die beiden Punkte verbindet, d. h. den vorherigen Richtpunkt und den letzteren Richtpunkt in einer Bildkoordinate. Hierbei hat sich der letztere Richtpunkt von dem vorherigen Richtpunkt aus bewegt und wird bei Verstreichen einer bestimmten Zeitdauer von dem vorherigen Richtpunkt aus erhalten. Die Erfinder der vorliegenden Erfindung haben herausgefunden, dass der optische Fluß die physikalischen Größen enthält, welche den Bewegungszustand des Fahrzeugs angeben. Auf der Grundlage hiervon schlagen die Erfinder der vorliegenden Anmeldung vor, die Gierrate γ und den Rutschwinkel β auf der Grundlage des optischen Flusses zu ermitteln.
Die physikalische Signifikanz des optischen Flusses wird nachfolgend beschrieben.
Wenn gemäß 2A das Fahrzeug die translatorische Bewegung in Querrichtung durchführt, ist der optische Fluß eines weit vorderhalb liegenden Punktes, der an der Vorderseite des Fahrzeugs und entfernt von dem Fahrzeug ist, in den Bilddaten relativ klein. Im Gegensatz hierzu ist der optische Fluß jeweils von linken und rechten Punkten, welche an linken bzw. rechten Seiten des Fahrzeugs liegen, in den Bilddaten relativ groß. Wenn weiterhin gemäß 2B das Fahrzeug die Rotationsbewegung durchführt, wird der optische Fluß in jedem der vorderen, linken und rechten Punkte in den Bilddaten relativ groß.
Auf der Grundlage dieser Ergebnisse erkennt man, dass der optische Fluß zwischen der translatorischen Bewegung des Fahrzeugs und der Rotationsbewegung des Fahrzeugs unterschiedlich ist. Dies bedeutet, dass der optische Fluß angeben kann, ob die betreffende Bewegung des Fahrzeugs eine translatorische Bewegung oder eine Rotations-Drehbewegung ist. Somit können die translatorische Bewegung und die Rotationsbewegung des Fahrzeugs durch eine Analyse des optisches Flusses in den Bilddaten des aufgenommenen Bildes erfaßt werden, wobei dieses Bild von der fahrzeugseitigen Kamera 1 aufgenommen wird.
3 zeigt, wie ein Richtpunkt P, der vorderhalb des Fahrzeugs liegt und von dem Fahrzeug um eine Distanz d beabstandet ist, sich in Zusammenhang mit der Bewegung des Fahrzeugs bei Verstreichen einer bestimmten Zeitdauer bewegt.
Unter Bezugnahme auf 3 sei angenommen, dass sich das Fahrzeug bewegt, wobei es den Rutschwinkel β und die Gierrate γ einnimmt. In so einem Fall wird der Richtpunkt P in Querrichtung mit der Geschwindigkeit d·γ + Vβ bewegt. Wenn somit die Querbewegungsgeschwindigkeit des optischen Flusses, der aus den Bilddaten des aufgenommenen Bildes erhalten wird, als Vy_flow bezeichnet wird, läßt sich diese Bewegungsgeschwindigkeit durch die folgende Gleichung (1) ausdrücken: $d • γ + V β= Vy_flow$
Die obige Gleichung (1) gibt den folgenden Sachverhalt an. Die Querkomponente des optischen Flusses des Richtpunkts P wird ausgedrückt durch die Summe der Querbewegungsgeschwindigkeit Vβ, welche durch den seitlichen Rutsch des Fahrzeugs bewirkt wird und der Querbewegungsgeschwindigkeit d·γ des Richtpunkts P, die durch die Drehbewegung des Fahrzeugs um den Massenschwerpunkt des Fahrzeugs erzeugt wird. Mit anderen Worten, die Querbewegungsgeschwindigkeitskomponente des optischen Flusses gibt die Beziehung zwischen dem seitlichen Rutsch des Fahrzeugs und der Drehbewegung des Fahrzeugs an.
Im Fall einer stabilen Kreisfahrt des Fahrzeugs werden der Rutschwinkel β und die Gierrate γ auf eine nachfolgend beschriebene Weise definiert.
4 zeigt schematisch die Größen entsprechend der Teile des Fahrzeugs. Bezugnehmend auf 4, so ist die Masse des Fahrzeugs (in der Einheit kg) mit „M“ bezeichnet, der Achsabstand oder Radstand des Fahrzeugs (in der Einheit m) ist mit „L“ bezeichnet, der Abstand (in der Einheit m) zwischen dem Massenschwerpunkt des Fahrzeugs und der Vorderachse des Fahrzeugs wird mit „Lf“ bezeichnet und der Abstand (in der Einheit m) zwischen dem Massenschwerpunkt des Fahrzeugs und der Hinterachse des Fahrzeugs wird mit „Lr“ bezeichnet. Weiterhin wird die Fahrzeuggeschwindigkeit (die Bewegungsgeschwindigkeit des Fahrzeugs) mit „V“ bezeichnet (in m/sek) und der Lenkwinkel des Lenkrads wird mit „δ“ bezeichnet (in der Einheit rad). Zusätzlich wird die Reifenkurvenfahrtleistung („tire cornering power“) des Vorderrades mit „Kcf“ bezeichnet (in der Einheit N/rad) und die Reifenkurvenfahrtleistung des Hinterrades wird mit „Kcr“ (in der Einheit N/rad) bezeichnet. Auf der Grundlage dieser Messungen ist es bekannt, den Kurvenradius ρ mit der folgenden Gleichung (2) auszudrücken: $ρ = (1 - \frac{M}{2 L^{2}} \frac{LfKcf - LrKcr}{KcfKcr} V^{2} \frac{L}{δ} = (1 + {AV}^{2}) \frac{L}{δ}$
In der obigen Gleichung (2), bezeichnet „A“ den Stabilitätsfaktor, der durch die folgende Gleichung (3) ausgedrückt wird und fahrzeugspezifisch ist: $A = - \frac{M}{2 L^{2}} \frac{LfKcf - LrKcr}{KcfKcr}$
Der Kurvenfahrtradius ρ kann durch die folgende Gleichung (4) basierend auf der Fahrzeuggeschwindigkeit V und der Gierrate γ ausgedrückt werden: $ρ = V/ γ$
Weiterhin kann auf der Grundlage der Gleichungen (2) und (3) die Gierrate γ durch die folgende Gleichung (5) ausgedrückt werden: $γ= \frac{1}{1 + {AV}^{2}} \frac{V}{L} δ$
Auf ähnliche Weise kann der Rutschwinkel β zum Zeitpunkt der stabilen Kreiskurvenfahrt des Fahrzeugs durch die folgende Gleichung (6) ausgedrückt werden: $β = \frac{1 - {KV}^{2}}{1 + {AV}^{2}} \frac{Lr}{L} δ$
In der obigen Gleichung (6) wird „K“ durch die folgende Gleichung (7) definiert: $K = \frac{M}{2 L} \frac{Lf}{LrKcr}$
Somit wird auf der Grundlage der Gleichungen (5) und (6) die folgende Gleichung (8) erhalten: $V β= (1 - {KV}^{2}) Lr γ = α \cdot d \cdot γ$
In der obigen Gleichung (8) ist α = (1 - KV²) Lr/d. Die Querbewegungsgeschwindigkeit d·γ des Richtpunkts, welche durch die Drehwinkelgeschwindigkeit bewirkt wird, ist proportional zur Querbewegungsgeschwindigkeit Vß, welche durch den seitlichen Rutsch verursacht wird. Es wurde bestätigt, dass die Querbewegungsgeschwindigkeit Vβ relativ zu der Querbewegungsgeschwindigkeit d·γ mit einem bestimmten Gradienten α anwächst. Somit kann die obige Gleichung (8) auch so ausgedrückt werden, dass sie angibt, dass die Querbewegungsgeschwindigkeit Vβ relativ zur Querbewegungsgeschwindigkeit d·γ mit dem Gradienten α ansteigt.
Aufgrund der obigen Beziehung kann die Querbewegungsgeschwindigkeit d·γ durch die folgende Gleichung (9) ausgedrückt werden: $d \cdot γ= [\frac{1}{1 + α}] Vy_flow$
Weiterhin kann die Querbewegungsgeschwindigkeit Vβ durch die folgende Gleichung (10) ausgedrückt werden: $V β= [\frac{α}{1 + α}] Vy_flow$
Daher kann die Gierrate γ durch die folgende Gleichung (11) ausgedrückt werden: $γ= \frac{1}{d} [\frac{1}{1 + α}] Vy_flow$
Weiterhin kann der Rutschwinkel β durch die folgende Gleichung (12) ausgedrückt werden: $β= \frac{1}{V} [\frac{α}{1 + α}] Vy_flow$
Auf oben beschriebene Weise können die Gierrate γ und der Rutschwinkel β basierend auf dem optischen Fluß erhalten werden.
Wenn somit in der obigen Ausführungsform die ECU 3 das Signal vom Radgeschwindigkeitssensor 2 und die Bilddaten von der fahrzeugseitigen Kamera 1 empfängt, bestimmt die ECU 3 die Fahrzeuggeschwindigkeit V und ermittelt auch den optischen Fluß. Sodann wendet die ECU 3 die Fahrzeuggeschwindigkeit und den optischen Fluß als „V“ und „Vy_flow“ der obigen Gleichung (11) und (12) an, um die Gierrate γ und den Rutschwinkel β zu bestimmen.
Die Faktoren der Gleichungen (11) und (12), welche nicht „V“ und „Vy_flow“ sind, sollten auf der Grundlage des betreffenden Fahrzeugtyps und des betreffenden Reifentyps bestimmt werden. Somit können die Gierrate γ und der Rutschwinkel β basierend auf „V“ und „Vy_flow“ erhalten werden.
Nachfolgend wird das Fahrzeugzustands-Erfassungssystem der vorliegenden Erfindung unter Bezugnahme auf 5 erläutert.
5 ist ein Flußdiagramm, welches einen von der ECU 3 durchgeführten Fahrzeugzustands-Erfassungsprozeß darstellt. Der Prozeß dieses Flußdiagramms wird beispielsweise dann durchgeführt, wenn der Zündschalter des Fahrzeuges eingeschaltet wird.
Zunächst werden, wenn das Bild mit der Szenerie außerhalb des Fahrzeuges durch die fahrzeugseitige Kamera 1 aufgenommen wird, die Bilddaten des aufgenommenen Bildes der ECU 3 übertragen. Wenn der Radgeschwindigkeitssensor 2 das Meßsignal ausgibt, welches die Drehung des entsprechenden Rades angibt, wird das Meßsignal von dem Radgeschwindigkeitssensor 2 der ECU 3 übertragen.
Auf diese Weise führt die ECU 3 den in 5 gezeigten Fahrzeugzustands-Erfassungsprozeß durch. Zunächst wird im Schritt 100 der optische Fluß von den Bilddaten zu bestimmten Zeitintervallen entnommen (z.B. der Bilddatenaufnahme-Zeitintervalle, welche aufgrund der Auflösung der fahrzeugseitigen Kamera 1 bestimmt werden). Die Entnahme wird durchgeführt, indem die Querbewegungsdistanz basierend auf Bildkoordinaten des Richtpunkts in den Bilddaten erhalten wird.
Nachfolgend wird im Schritt 110 die Fahrzeuggeschwindigkeit zum Zeitpunkt der Entnahme des optischen Flusses auf der Grundlage des Meßsignals vom Radgeschwindigkeitssensor 2 bestimmt.
Im Schritt 120 werden die Gierrate γ und der Rutschwinkel β unter Verwendung des entnommenen optischen Flusses und der Fahrzeuggeschwindigkeit als „Vy_flow“ und „V“ in den obigen Gleichungen (11) und (12) berechnet. Auf diese Weise werden die Gierrate γ und der Rutschwinkel β erhalten. Durch Wiederholung des obigen Vorganges können während der Fahrt des Fahrzeuges die Gierrate γ und der Rutschwinkel β stets erhalten werden.
Wie oben beschrieben wird bei dem Fahrzeugzustands-Erfassungssystem der vorliegenden Ausführungsform das Bild der vorderhalb des Fahrzeug liegenden visuellen oder sichtbaren Szenerie von der fahrzeugseitigen Kamera 1 aufgenommen. Sodann wird der optische Fluß oder eine Bewegung in dem Bild von den Bilddaten des aufgenommenen Bildes entnommen, um die Gierrate γ und den Rutschwinkel β zu erhalten. Auf diese Weise kann der Zustand des Fahrzeugs, beispielsweise eine translatorische Bewegung des Fahrzeugs oder eine Rotationsbewegung des Fahrzeugs um den Massenmittelpunkt basierend auf den Bilddaten des Bildes erfaßt werden, welches durch die fahrzeugseitige Kamera 1 aufgenommen worden ist.
Üblicherweise übertreffen Menschen einen Computer hinsichtlich der Erkennungsfähigkeit bei der Erkennung eines bestimmten Gegenstandes, beispielsweise einer weißen Linie, eines Fahrzeugs, eines Fußgängers oder eines Hindernisses aus der Hintergrundszenerie in einem aufgenommenen Bild, das durch eine fahrzeugseitige Kamera 1 aufgenommen wird. Computer jedoch übertreffen den Menschen hinsichtlich der Erkennungsfähigkeit beim exakten Überwachen der Bewegung des Fahrzeugs relativ zu der Umgebung. Somit kann wie oben beschrieben, wenn der Bewegungszustand des Fahrzeugs basierend auf dem optischen Fluß unter Verwendung der ECU 3 erfaßt oder sensiert wird, der Bewegungszustand des Fahrzeugs genauer erfaßt werden. Basierend auf dem Erfassungsergebnis des Bewegungszustandes des Fahrzeugs können dann verschiedene Fahrzeugfahrtsteuervorgänge durchgeführt werden.
In der obigen Ausführungsform wird das Meßsignal des Radgeschwindigkeitssensors 2 zur Ermittlung der Fahrzeuggeschwindigkeit verwendet. Die Fahrzeuggeschwindigkeit kann jedoch auch basierend auf einem Meßsignal bestimmt werden, welches von einem Fahrzeuggeschwindigkeitssensor ausgegeben wird. Weiterhin wird das Bild der vorderen visuellen Szenerie vorderhalb des Fahrzeugs durch die fahrzeugseitige Kamera 1 aufgenommen. Die vorliegende Erfindung ist jedoch nicht auf ein Bild der vorderen visuellen Szenerie vorderhalb des Fahrzeuges beschränkt und kann gleichermaßen bei einem Bild einer anderen geeigneten außerhalb des Fahrzeugs liegenden visuellen Szenerie angewendet werden, welches aus einer anderen Richtung aufgenommen worden ist und die translatorische Bewegung des Fahrzeuges in Querrichtung und die Rotationsbewegung des Fahrzeugs um seinen Massenmittelpunkt enthält.

Claims

Fahrzeugzustands-Erfassungssystem, mit: einer Bilderkennungsvorrichtung (1), welche in ein Fahrzeug eingebaut ist, wobei die Bilderkennungsvorrichtung (1) zur Aufnahme eines Bilds einer außerhalb liegenden visuellen Szenerie dient, welche außerhalb des Fahrzeugs liegt, und zur Ausgabe von Bilddaten des aufgenommenen Bilds dient; einer Fahrzeuggeschwindigkeits-Erfassungsvorrichtung (2) zur Ausgabe eines Messsignals entsprechend einer Bewegungsgeschwindigkeit des Fahrzeugs; und einer Fahrzeugzustands-Bestimmungsvorrichtung (3) zur Bestimmung eines Fahrzeugzustands basierend auf dem Messsignal der Fahrzeuggeschwindigkeits-Erfassungsvorrichtung (2) und einem optischen Fluss eines bestimmten Punkts in dem aufgenommenen Bild, welches während der Fahrt des Fahrzeugs aufgenommen wird, wobei der optische Fluss des bestimmten Punkts basierend auf den Bilddaten des aufgenommenen Bilds erhalten wird und die Querbewegungsgeschwindigkeit des Fahrzeugs angibt; wobei die Fahrzeugzustands-Bestimmungsvorrichtung (3) einen Rutschwinkel des Fahrzeugs, welcher eine translatorische Bewegung des Fahrzeugs in Querrichtung des Fahrzeugs angibt, und eine Gierrate des Fahrzeugs, welche eine Rotationsbewegung des Fahrzeugs um einen Massenmittelpunkt des Fahrzeugs angibt, als den Fahrzeugzustand bestimmt; die Fahrzeugzustands-Bestimmungsvorrichtung (3) den Rutschwinkel des Fahrzeuges unter Verwendung der folgenden Gleichung bestimmt: $β= \frac{1}{V} [\frac{α}{1 + α}] Vy_flow$
wobei: $α= (1 - {KV}^{2}) Lr/d;$
$K = \frac{M}{2 L} \frac{Lf}{LrKcr};$
"β" den Rutschwinkel des Fahrzeugs angibt; „V“ die Bewegungsgeschwindigkeit des Fahrzeugs angibt; „Vy_flow“ den optischen Fluss des bestimmten Punkts angibt; „d“ eine Distanz zwischen dem Fahrzeug und einem Richtpunkt der außerhalb liegenden visuellen Szenerie entsprechend dem bestimmten Punkt im aufgenommenen Bild bezeichnet; „M“ eine Masse des Fahrzeugs bezeichnet; „L“ einen Achsabstand des Fahrzeugs bezeichnet; „Lf“ einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und der Vorderachse des Fahrzeugs bezeichnet; „Lr“ einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und einer Hinterachse des Fahrzeugs bezeichnet; und „Kcr“ eine Reifenkurvenfahrtleistung eines Hinterrads des Fahrzeugs bezeichnet; und die Fahrzeugzustands-Bestimmungsvorrichtung (3) die Gierrate des Fahrzeugs unter Verwendung folgender Gleichung bestimmt: $γ= \frac{1}{d} [\frac{1}{1 + α}] Vy_flow$
wobei: $α= (1 - {KV}^{2}) Lr/d;$
$K = \frac{M}{2 L} \frac{Lf}{LrKcr};$
„γ“ die Gierrate des Fahrzeugs angibt; „V“ die Bewegungsgeschwindigkeit des Fahrzeugs angibt; „Vy_flow“ den optischen Fluss des bestimmten Punkts angibt; „d“ eine Distanz zwischen dem Fahrzeug und einem Richtpunkt der außerhalb liegenden visuellen Szenerie entsprechend dem bestimmten Punkt im aufgenommenen Bild bezeichnet; „M“ eine Masse des Fahrzeugs bezeichnet; „L“ einen Achsabstand des Fahrzeugs bezeichnet; „Lf” einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und der Vorderachse des Fahrzeugs bezeichnet; „Lr“ einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und einer Hinterachse des Fahrzeugs bezeichnet; und „Kcr“ eine Reifenkurvenfahrtleistung eines Hinterrads des Fahrzeugs bezeichnet.
Fahrzeugzustands-Erfassungssystem nach Anspruch 1, bei dem die Fahrzeugzustands-Bestimmungsvorrichtung (3) den optischen Fluss des bestimmten Punkts durch die Summe der Querbewegungsgeschwindigkeit (Vβ), welche durch den seitlichen Rutsch des Fahrzeugs bewirkt wird, und der Querbewegungsgeschwindigkeit (d·γ), die durch die Rotationsbewegung des Fahrzeugs erzeugt wird, bestimmt.
Fahrzeugzustands-Erfassungssystem nach Anspruch 1, bei dem die Fahrzeugzustands-Bestimmungsvorrichtung (3) den Fahrzeugzustand als translatorische Bewegung bestimmt, wenn der optische Fluss eines weit vorderhalb des Fahrzeugs liegenden Punkts in den Bilddaten relativ klein ist und der optische Fluss von an linken und rechten Seiten des Fahrzeugs liegenden Punkten in den Bilddaten relativ groß ist, und den Fahrzeugzustand als Rotationsbewegung bestimmt, wenn der optische Fluss in jedem der vorderen, linken und rechten Punkte in den Bilddaten relativ groß ist.
Fahrzeugzustands-Erfassungsverfahren, mit den Schritten: Ermitteln einer Bewegungsgeschwindigkeit eines Fahrzeugs; Ermitteln von Bilddaten eines Bilds einer außerhalb liegenden visuellen Szenerie außerhalb des Fahrzeugs, aufgenommen durch eine Bilderkennungsvorrichtung (1) während der Fahrt des Fahrzeugs, Ermitteln eines optischen Flusses eines bestimmten Punkts des aufgenommenen Bilds auf der Grundlage der ermittelten Bilddaten; Bestimmen eines Fahrzeugzustands basierend auf der Fahrzeugbewegungsgeschwindigkeit und dem optischen Fluss des bestimmten Punkts, wobei der optische Fluss des bestimmten Punkts die Querbewegungsgeschwindigkeit des Fahrzeugs angibt; wobei: das Bestimmen des Fahrzeugzustands ein Bestimmen eines Rutschwinkels des Fahrzeugs, welcher eine translatorische Bewegung des Fahrzeugs in Querrichtung des Fahrzeugs angibt, und einer Gierrate des Fahrzeugs, welche eine Rotationsbewegung des Fahrzeugs um einen Massenmittelpunkt des Fahrzeugs angibt, als den Fahrzeugzustand beinhaltet; das Bestimmen des Fahrzeugzustands das Bestimmen des Rutschwinkels des Fahrzeugs unter Verwendung der folgenden Gleichung beinhaltet: $β= \frac{1}{V} [\frac{α}{1 + α}] Vy_flow$
wobei: $α= (1 - {KV}^{2}) Lr/d;$
$K = \frac{M}{2 L} \frac{Lf}{LrKcr};$
„β“ den Rutschwinkel des Fahrzeugs angibt; „V“ die Bewegungsgeschwindigkeit des Fahrzeugs angibt; „Vy_flow“ den optischen Fluss des bestimmten Punkts angibt; „d“ eine Distanz zwischen dem Fahrzeug und einem Richtpunkt der außerhalb liegenden visuellen Szenerie entsprechend dem bestimmten Punkt im aufgenommenen Bild bezeichnet; „M“ eine Masse des Fahrzeugs bezeichnet; „L“ einen Achsabstand des Fahrzeugs bezeichnet; „Lf” einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und der Vorderachse des Fahrzeugs bezeichnet; „Lr“ einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und einer Hinterachse des Fahrzeugs bezeichnet; und „Kcr“ eine Reifenkurvenfahrtleistung eines Hinterrads des Fahrzeugs bezeichnet; und das Bestimmen des Fahrzeugzustands das Bestimmen der Gierrate des Fahrzeugs unter Verwendung folgender Gleichung beinhaltet: $γ= \frac{1}{d} [\frac{1}{1 + α}] Vy_flow$
wobei: $α= (1 - {KV}^{2}) Lr/d;$
$K = \frac{M}{2 L} \frac{Lf}{LrKcr};$
„γ“ die Gierrate des Fahrzeugs angibt; „V“ die Bewegungsgeschwindigkeit des Fahrzeugs angibt; „Vy_flow“ den optischen Fluss des bestimmten Punkts angibt; „d“ eine Distanz zwischen dem Fahrzeug und einem Richtpunkt der außerhalb liegenden visuellen Szenerie entsprechend dem bestimmten Punkt im aufgenommenen Bild bezeichnet; „M“ eine Masse des Fahrzeugs bezeichnet; „L“ einen Achsabstand des Fahrzeugs bezeichnet; „Lf” einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und der Vorderachse des Fahrzeugs bezeichnet; „Lr“ einen Abstand zwischen dem Massenmittelpunkt des Fahrzeugs und einer Hinterachse des Fahrzeugs bezeichnet; und „Kcr“ eine Reifenkurvenfahrtleistung eines Hinterrads des Fahrzeugs bezeichnet.
Fahrzeugzustands- Erfassungsverfahren nach Anspruch 4, bei dem der optische Fluss des bestimmten Punkts durch die Summe der Querbewegungsgeschwindigkeit (Vβ), welche durch den seitlichen Rutsch des Fahrzeugs bewirkt wird, und der Querbewegungsgeschwindigkeit (d·γ), die durch die Rotationsbewegung des Fahrzeugs erzeugt wird, bestimmt wird.
Fahrzeugzustands- Erfassungsverfahren nach Anspruch 4, bei dem der Fahrzeugzustand als translatorische Bewegung bestimmt wird, wenn der optische Fluss eines weit vorderhalb des Fahrzeugs liegenden Punkts in den Bilddaten relativ klein ist und der optische Fluss von an linken und rechten Seiten des Fahrzeugs liegenden Punkten in den Bilddaten relativ groß ist, und der Fahrzeugzustand als Rotationsbewegung bestimmt wird, wenn der optische Fluss in jedem der vorderen, linken und rechten Punkte in den Bilddaten relativ groß ist.