-
Die vorliegende Erfindung bezieht sich auf einen Fahrzeugperimetermonitor zum Überwachen eines bewegten Objekts auf einem Perimeter des Fahrzeugs.
-
Ein Fahrzeugperimetermonitor zeigt ein Bild an, das durch eine Kamera aufgenommen wird, um ein Sehvermögen eines Fahrers des Fahrzeugs zu verbessern. In der
JP 2005-110202 A , die der
US 2005/0083405 A1 entspricht, beinhaltet der Fahrzeugperimetermonitor eine Kameraeinrichtung mit einer weiten Linse bzw. Weitwinkellinse, deren Feldwinkel gleich oder größer als 180 Grad ist. Obwohl die Kameraeinrichtung ein Bild in einem weiten Sichtbereich aufnehmen kann, wie in
3 dargestellt ist, weist ein Objekt in einer Umgebung des Bildes ein verdrehtes Bild auf, das vergleichsweise klein ist. Konkret, wenn der Fahrer das Fahrzeug zurücksetzt, muss der Fahrer auf eine Lücke zwischen dem Fahrzeug und einem angrenzenden Fahrzeug achten, das neben beziehungsweise in der Nähe des Fahrzeugs geparkt ist. Somit besteht die Möglichkeit, dass der Fahrer das Objekt, das klein auf dem Anzeigebildschirm angezeigt wird, nicht erkennt.
-
Demzufolge lehrt beispielsweise die
JP 2005-123968 A einen derartigen Monitor, der ein Bild eines bewegten Objekts von einem aufgenommenen Bild erlangt, und das Bild des bewegten Objekts hervorhebt und anzeigt. Der Monitor berechnet einen optischen Fluss eines charakteristischen Punkts des aufgenommenen Bildes, so dass ein Bewegungsvektor jedes charakteristischen Punkts erlangt wird. Somit kann der Monitor das Bild des bewegten Objekts erlangen. Wird das erlangte Bild des bewegten Objekts hervorgehoben und angezeigt, kann der Fahrer auf einfache Weise erkennen, dass das bewegte Objekt in einem blinden Bereich beziehungsweise in einem toten Winkel vor dem Fahrzeug existiert.
-
Jedoch benötigt eine Bildverarbeitung zum Erlangen des Bewegungsvektors unter Verwendung des optischen Flusses einen großen Rechenaufwand. Demzufolge ist es notwendig, einen dedizierten Prozessor zum Reduzieren einer Verarbeitungszeit hinzuzufügen, wenn das Bild des bewegten Objekts mit hoher Genauigkeit beim Folgen der Bewegung des bewegten Objekts folgend erlangt wird.
-
Ferner wird auf die
JP 2007 -
280 132 A verwiesen, die ebenso Stand der Technik darstellt. Aus der
JP 2007 -
280 132 A ist bekannt, unbewegte Objekte anhand von Helligkeitsänderungen in Bildzeilen von einem aufgenommenen Bild einer Außenseite eines Fahrzeugs zu erfassen.
-
In Hinblick auf vorstehendes Problem ist es eine Aufgabe der vorliegenden Offenbarung einen Fahrzeugperimetermonitor zum Überwachen eines bewegten Objekts auf einem Perimeter des Fahrzeugs bereitzustellen. Der Fahrzeugperimetermonitor erfasst ein Bild eines bewegten Objekts in einem aufgenommenen Bild und informiert einen Fahrer eines Fahrzeugs über die Existenz des bewegten Objekts.
Gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet ein Fahrzeugperimetermonitor: eine Aufnahmeeinrichtung die an einem Fahrzeug zum Aufnehmen eines Bildes einer Außenseite des Fahrzeugs angebracht ist; eine Steuereinrichtung, die eine Erfassungseinrichtung und eine Erzeugungseinrichtung beinhaltet, wobei die Erfassungseinrichtung eine Erfassungslinie in einem aufgenommenen Bild festlegt und einen Änderungsbetrag der Helligkeit einer Bildzelle auf der Erfassungslinie erfasst, so dass die Erfassungseinrichtung die Bewegung eines bewegten Objekts entlang der Erfassungslinie erfasst, und wobei die Erzeugungseinrichtung eine Informationsanzeige gemäß einem Erfassungsergebnis des bewegten Objekts erzeugt; und eine Anzeigeeinrichtung zum Anzeigen des aufgenommenen Bildes und der Informationsanzeige.
-
In dem vorstehendem Monitor, wenn der Änderungsbetrag der Helligkeit der Bildzelle auf der Erfassungslinie, der durch die Bewegung des bewegten Objekts verursacht wird, erfasst wird, wird das bewegte Objekt mit einen vergleichsweise geringem Rechenaufwand erfasst. Da die Anzeige das aufgenommene Bild und die Informationsanzeige anzeigt, die durch den Generator erzeugt wird, erkennt ein Fahrer des Fahrzeugs auf einfache Weise das bewegte Objekt.
-
Die vorstehenden und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden weiter aus der nachfolgenden detaillierten Beschreibung in Zusammenschau mit den Zeichnungen ersichtlich.
-
In den Zeichnungen:
- 1 ist ein Diagramm, das einen Fahrzeugperimetermonitor gemäß einer ersten Ausführungsform darstellt;
- 2 ist ein Diagramm, das eine Situation darstellt, in der ein Fahrzeug in eine Parklücke zurücksetzt;
- 3 ist ein Diagramm, das ein Rückblickbild einer Anzeigeeinrichtung darstellt;
- 4 ist ein Diagramm, das eine Region eines aufgenommenen Bildes darstellt, in dem ein bewegtes Objekt erfasst wird;
- 5A bis 5C sind Diagramme, die ein Rückblickbild des bewegten Objekts bei Tage und einen Helligkeitsgraphen einer Bildzelle auf einer Erfassungslinie darstellen;
- 6A bis 6C sind Diagramme, die ein Rückblickbild des bewegten Objekts in der Nacht und einen Helligkeitsgraphen einer Bildzelle auf einer Erfassungslinie darstellen;
- 7 ist ein Diagramm, das ein synthetisches Bild darstellt, bei dem sich ein bewegtes Objekt von einer rechten Seite nähert;
- 8A und 8B sind Diagramme, die ein synthetisches Bild darstellen, bei dem sich ein bewegtes Objekt von einer linken Seite nähert;
- 9 ist ein Ablaufdiagramm, das eine Verarbeitung in dem Fahrzeugperimetermonitor gemäß der ersten Ausführungsform darstellt;
- 10 ist ein Ablaufdiagramm, das eine Verarbeitung in dem Fahrzeugperimetermonitor gemäß einer ersten Modifikation der ersten Ausführungsform darstellt; und
- 11 ist ein Ablaufdiagramm, das eine Verarbeitung in dem Fahrzeugperimetermonitor gemäß einer dritten Modifikation der ersten Ausführungsform darstellt.
-
(Erste Ausführungsform)
-
1 zeigt einen Fahrzeugperimetermonitor 100 gemäß einer ersten Ausführungsform. Eine Kamera 110 in dem Monitor 100 beinhaltet eine weite Linse bzw. eine Weitwinkellinse mit einer gekrümmten Linsenoberfläche. Wie in 2 dargestellt ist, ist die Kamera 110 an einem hinteren Ende bzw. am Heck des Fahrzeugs angeordnet. Die Kamera 110 nimmt ein Rückblickbild in einem Winkelbereich von 180 Grad auf. 2 zeigt eine Situation, bei der ein Fahrzeug, dass den Monitor 100 aufweist in eine Parklücke beziehungsweise einen Parkplatz zurücksetzt. Konkret fährt in 2 das Fahrzeug 1 vorwärts und wird zwischen einem rechtsseitig benachbarten Fahrzeug 4 und einem linksseitig benachbarten Fahrzeug 3 geparkt. Dann beginnt das Fahrzeug 1 zurückzusetzen. Ein fahrendes Fahrzeug 2 nähert sich dem Fahrzeug 1 von einer rechten Seite und einer Heckseite beziehungsweise Rückseite des Fahrers des Fahrzeugs 1. Die Kamera in dem Fahrzeug nimmt ein Bild in einem Winkelbereich von 180 Grad auf, der durch eine gepunktete Linie L dargestellt ist und sich auf einer Rückseite des Fahrzeugs befindet.
-
Eine Steuereinrichtung 120 in dem Monitor 100 beinhaltet eine nicht dargestellte CPU, einen ROM als ein Speichermedium zum Speichern eines Programms und dergleichen, das unterschiedliche Funktionen bereitstellt, einen RAM um Daten temporär als ein Arbeitsbereich zu speichern, und einen Bus der zwischen der CPU, dem ROM und dem RAM koppelt. Wenn die CPU ein Programm auf dem ROM ausführt, sind unterschiedliche Funktionen realisiert.
-
Eine Steuereinrichtung 120 in dem Monitor 100 beinhaltet eine Fahrzeugzustandsinformationserlangungseinheit 121 entsprechend einem Geschwindigkeitsinformationserlangungselement und einem Gangpositionsinformationserlanungselement, eine Erfassungseinrichtung 122 für ein bewegtes Objekt entsprechend einem Erfassungselement und eine Einrichtung 123 zum Erzeugen eines synthetischen Bilds, die einem Erzeugungselement entspricht. Die Fahrzeugzustandsinformationseinheit 121 erlangt Fahrzeugzustandsinformationen wie eine Position eines Gangs und eine Fahrzeuggeschwindigkeit von unterschiedlichen Sensoren in dem Fahrzeug. Dann gibt die Einheit 121 die Information zu der Erfassungseinrichtung 122 für ein bewegtes Objekt aus. Die Erfassungseinrichtung 122 erfasst das bewegte Objekt basierend auf dem aufgenommenen Bild, das von der Kamera 110 ausgegeben wird. Die Erfassungseinrichtung 122 gibt ein Erfassungsergebnis und das aufgenommene Bild an die Einrichtung 123 zum Erzeugen eines synthetischen Bilds aus. Ferner beginnt die Erfassungseinrichtung 122 das bewegte Objekt zu erfassen und stoppt die Erfassung gemäß der Information der Gangposition und der Fahrzeuggeschwindigkeit. Die Einrichtung 123 zum Erzeugen eines synthetischen Bilds synthetisiert das aufgenommene Bild basierend auf dem Erfassungsergebnis des bewegten Objekts, um so Informationen zum Informieren des Fahrers bezüglich des bewegten Objekts anzuzeigen. Dann gibt die Einrichtung 123 zum Erzeugen eines synthetischen Bilds das synthetisierte aufgenommene Bild mit der Information an die Anzeigeeinrichtung 130 aus. Alternativ kann Erzeugungseinrichtung 123 eine Sprachausgabeeinrichtung 140 zum Ausgeben eines Warngeräusches steuern.
-
Die Anzeigeeinrichtung 130 ist beispielsweise eine Flüssigkristallanzeige, eine organische Elektro-Lumineszenzanzeige, eine Plasmaanzeige oder dergleichen. Die Anzeigeeinrichtung 130 ist an einer Position des Fahrzeuginnenraums angeordnet, so dass der Fahrer auf einfache Weise auf die Anzeigeeinrichtung 130 sieht. Die Anzeigeeinrichtung 130 zeigt das Bild an, das von der Steuereinrichtung 120 ausgegeben wird. 3 zeigt ein Rückblickbild, das auf der Anzeigeeinrichtung 130 angezeigt wird. In Hinblick auf eine Eigenschaft der Weitwinkellinse wird das Objekt das sich auf der Peripherie des Bilds befindet, so aufgenommen, dass es kleiner ist. Beispielsweise ist das Bild des fahrenden Fahrzeugs 2 kleiner als ein tatsächliches Bild. Hierbei wird das Rückblickbild, das durch die Kamera 110 aufgenommen wird in einer Links-Rechts-Richtung gespiegelt beziehungsweise herumgedreht und dann wird das spiegelverkehrte Rückblickbild auf der Anzeigeeinrichtung 130 angezeigt.
-
Die Sprachausgabeeinrichtung 140 ist beispielsweise ein Lautsprecher und dergleichen. Basierend auf der Anweisung von der Steuereinrichtung 120 gibt die Sprachausgabeeinrichtung 140 ein Warngeräusch und eine Sprachnachricht aus.
-
Als nächstes wird die Erfassungsverarbeitung des bewegten Objekts, die in der Erfassungseinrichtung 122 für ein bewegtes Objekt ausgeführt wird, mit Bezug auf 4 bis 6 erläutert.
-
Die Erfassungseinrichtung 122 für ein bewegtes Objekt bestimmt eine Region des aufgenommenen Bildes, in dem das bewegte Objekt erfasst werden soll. 4 zeigt die Region in dem das bewegte Objekt erfasst werden soll. Eine Erfassungslinie, die zwischen zwei Punkten Pl und Pr verbindet, stellt die Region bereit, in der das bewegte Objekt erfasst wird. Die Erfassungslinie L1 ist eine gepunktete Linie. Hierbei können die zwei Punkte Pl und Pr an jedem Punkt gemäß der Region, die zum Erfassen erforderlich ist, bestimmt werden. In der vorliegenden Ausführungsform wird der rechtsseitige Punkt Pr bestimmt, um ein Punkt in der Unendlichkeit (das heißt, ein Fluchtpunkt) auf der rechten Seite des Bildes zu sein. Der linksseitige Punkt Pl wird bestimmt, um ein Punkt in der Unendlichkeit auf der linken Seite des Bildes zu sein. Die Punkte Pl und Pr in der Unendlichkeit können gemäß der Höhe und einem Winkel der Kamera 110, die auf einer Karosserie des Fahrzeugs angeordnet ist, einem Feldwinkel der Linse der Kamera 110 und einem Verzeichnungsfaktor der Linse der Kamera 110 berechnet werden. Konkret können die Punke Pl und Pr in der Unendlichkeit eine Entwicklungsangelegenheit sein. Im Allgemeinen kann ein Punkt in der Unendlichkeit durch einen optischen Fluss erfasst werden. In der vorliegenden Ausführungsform werden die Punkte Pl und Pr in der Unendlichkeit vorab festgelegt. Alternativ können die Punkte Pr und Pl in der Unendlichkeit in einer vertikalen Richtung um einen vorbestimmten Abstand versetzt werden. Ferner, wenn der Linsenfeldwinkel kleiner als 180 Grad ist, können virtuelle Punkte Pr, Pl in der Unendlichkeit außerhalb des aufgenommenen Bilds bestimmt beziehungsweise festgelegt werden.
-
Somit werden zwei Punkte Pr und Pl in der Unendlichkeit miteinander mit einer Linie gemäß dem Verzeichnungsfaktor der Linse verbunden, so dass die Erfassungslinie L1 bestimmt wird. Konkret, wie in 4 dargestellt ist, wird die Erfassungslinie L1 bestimmt, um den Verzeichnungsfaktor der Linse so einzustellen, dass, wenn der Erfassungslinie auf eine tatsächliche Straße projiziert wird, die projizierte Linie eine gerade Linie bereitstellt. Die Erfassungslinie L1 ist in 4 eine Linie. Alternativ kann die Erfassungslinie L1 eine vorbestimmte Breite aufweisen, so dass das Gebiet, in dem das bewegte Objekt erfasst wird, die vorbestimmte Breite aufweist. Nachdem die Erfassungslinie bestimmt ist, kann das Bild korrigiert werden, um so die Störung des aufgenommenen Bildes zu reduzieren.
-
Die Erfassungseinrichtung 122 für ein bewegtes Objekt überwacht die Helligkeit einer Bildzelle auf der Erfassungslinie L1 in dem aufgenommenen Bild. 5A bis 5C zeigen Rückblickbilder, wenn sich das laufende Fahrzeug 2 dem Fahrzeug 1, das ein Eigenfahrzeug ist, nähert, und einen Helligkeitsgraphen der Bildzelle auf der Erfassungslinie L1. Das Rückblickbild wird in der Links-Rechts-Richtung herumgedreht, um es so auf der Anzeigeeinrichtung 130 anzuzeigen. Ferner wird, um die Störung des aufgenommenen Bildes zu reduzieren, die Verzeichnung des Bildes einschließlich der Erfassungslinie L1 korrigiert. Hierbei wird das Bild des Fahrzeugs 1 an das aufgenommene Rückblickbild angehängt, um eine Beziehung zwischen dem Rückblickbild und dem Fahrzeug 1 darzustellen.
-
Eine horizontale Achse des Graphen bildet einen Abstand auf der Erfassungslinie L1 ausgehend vom Fahrzeug 1 ab. Eine Einheit des Abstands ist Meter. Konkret ist die Mitte des Bildes, das heißt, eine Position des Fahrzeugs 1 als ein Ursprungspunkt O definiert. Der Abstand auf der rechten Richtung ist als positiv definiert und der Abstand in der linken Richtung ist als negativ definiert. Der maximale Abstand in der rechten Richtung is 50 Meter und der maximale Abstand in der linken Richtung ist 50 Meter. Der Abstand entspricht einem tatsächlichen Abstand auf der Erfassungslinie. Der Abstand wird basierend auf dem Linsenfeldwinkel und dem Linsenverzeichnungsfaktor der Kamera 110 berechnet. Wird die Störung des Bildes korrigiert, wird der Abstand ebenso gemäß der Verzeichnungskorrektur korrigiert. Somit ist die Position der Bildzelle auf der Erfassungslinie L1 mit einem linearen Abstand in einem Fall verknüpft, in dem die Erfassungslinie auf die tatsächliche Straße projiziert wird. Hier kann alternativ ein spezifischer Punkt auf der Erfassungslinie L1 ausgehend vom Ursprungspunkt O in den linearen Abstand im realen Raum ohne Verknüpfung zwischen der Position der Bildzelle auf der Erfassungslinie L1 und dem linearen Abstand im realen Raum gewandelt werden.
-
Die vertikale Achse des Graphen repräsentiert die Helligkeit der Bildzelle. Konkret ist die Helligkeit als Helligkeitspegel in einem Bereich zwischen 0 und 255 dargestellt, was durch einen 8-Bit-Farbton (8-bit tone) bereitgestellt wird.
-
5A zeigt die Helligkeit in einem Fall, in dem sich kein fahrendes Fahrzeug um das Fahrzeug 1 herum befindet. 5B und 5C zeigen die Helligkeit in einem Fall, in dem sich das fahrende Fahrzeug 2 dem Eigenfahrzeug 1 nähert. 5C zeigt ein Bild, das eine Sekunde nachdem das Bild in 5B aufgenommen wurde, aufgenommen wurde. Somit wird die Helligkeit gemäß der Position des fahrenden Fahrzeugs in hohem Maß geändert. Konkret wird in 5B die Helligkeit beim Abstand von sieben Meter in hohem Maß reduziert, was als eine Ellipse D1 dargestellt ist. Der Helligkeitspegel wird bei der Ellipse D1 um 100 Punkte reduziert. In 5C wird die Helligkeit beim Abstand von minus zwei Meter in hohem Maß reduziert, was als eine Ellipse D2 dargestellt ist. Der Helligkeitspegel wird bei der Ellipse D2 um 100 Punkte reduziert. In einem Beispielfall bei Tage, der in 5A bis 5C dargestellt ist, wird, wenn ein Reifen des fahrenden Fahrzeugs 2 die Erfassungslinie L1 kreuzt, die Helligkeit in hohem Maß reduziert. Jedoch kann die Helligkeit in manchen Fällen, in denen das Bild einen bestimmten Hintergrund auf der Erfassungslinie beinhaltet und/oder ein bestimmter Abschnitt des fahrenden Fahrzeugs 2 die Erfassungslinie kreuzt, ansteigen. Demzufolge, sogar wenn das aufgenommene Bild bei Tage aufgenommen wurde, wird nicht nur die Verringerung der Helligkeit sondern ebenso der Anstieg der Helligkeit überwacht.
-
6A bis 6C zeigen Rückblickbilder, die in der Nacht aufgenommen wurden, und Graphen, die eine Helligkeitsänderung der Bildzelle auf der Erfassungslinie L1 darstellen. 6A zeigt die Helligkeit in einem Fall, in dem sich kein fahrendes Fahrzeug 2 um das Fahrzeug 1 herum befindet. 6B und 6C zeigen die Helligkeit in einem Fall, in dem sich das fahrende Fahrzeug 2 dem Eigenfahrzeug 1 nähert. 6C zeigt ein Bild, das eine Sekunde nachdem das Bild von 6B aufgenommen wurde, aufgenommen wurde. In dem Fall, in dem es Nacht ist, ändert sich die Helligkeit an der Position des fahrenden Fahrzeugs in hohem Maß aufgrund eines Scheinwerfers des fahrenden Fahrzeugs. Konkret wird in 6B die Helligkeit im Abstand von minus zehn Metern in hohem Maß erhöht, was als eine Ellipse D3 dargestellt wird. Der Helligkeitspegel wird bei der Ellipse D3 um 200 Punkte erhöht. In 6C wird die Helligkeit in hohem Maß beim Abstand von minus fünf Metern erhöht, was als eine Ellipse D4 dargestellt ist. Der Helligkeitspegel wird bei der Ellipse D4 um 200 Punkte erhöht.
-
Die Erfassungseinrichtung 122 für ein bewegtes Objekt bestimmt, dass des bewegte Objekt sich an einer Position befindet, wenn die Änderung der Helligkeit an der Position gleich oder größer als ein vorbestimmter Grenzwert ist. Hier bedeutet die Helligkeitsänderung Erhöhen oder Verringern der Helligkeit. Der Grenzwert kann vorab basierend auf einem Experiment oder dergleichen bestimmt werden. Es ist bevorzugt, dass der Grenzwert gemäß der Helligkeit der Bildzelle auf der Erfassungslinie L1 in dem Bild geändert werden kann, in dem sich kein bewegtes Objekt befindet. Beispielsweise, wie in 5A bis 5C dargestellt ist, wenn die Helligkeit der Bildzelle auf der Erfassungslinie L1, auf der kein bewegtes Objekt existiert, einen mittleren Pegel unter 256 Tönen aufweist, beispielsweise, wenn der Helligkeitspegel in einem Bereich zwischen 100 Punkten und 150 Punkten ist, wird der Grenzwert auf 100 festgelegt. Beispielsweise wie in 6A und bis 6C dargestellt ist, wenn die Helligkeit der Bildzelle auf der Erfassungslinie L1 , auf der kein bewegtes Objekt existiert, das heißt, wenn die Helligkeit sehr dunkel ist (das heißt, wenn der Helligkeitspegel in einem Bereich zwischen 0 Punkten und 50 Punkten ist), wird der Grenzwert auf 150 festgelegt. Ist die Helligkeit der Bildzelle auf der Erfassungslinie L1, auf der kein bewegtes Objekt existiert, hoch, das heißt, wenn die Helligkeit sehr hell ist (das heißt, wenn der Helligkeitspegel in einem Bereich zwischen 200 Punkten und 255 Punkten ist) wird der Grenzwert auf 150 festgelegt.
-
Die Erfassungseinrichtung 122 für ein bewegtes Objekt berechnet die Bewegungsrichtung und die Bewegungsgeschwindigkeit des bewegten Objekts durch temporäres Überwachen der Position des bewegten Objekts. In 5A bis 5C befindet sich das fahrende Fahrzeug 2 beim Abstand von minus sieben Meter in 5B und das fahrende Fahrzeug 2 bewegt sich eine Sekunde später zum Abstand von minus zwei Metern. Somit bewegt sich das fahrende Fahrzeug 2 mit der Geschwindigkeit von 18 km/h von der linken Seite zur rechten Seite. Ähnlich befindet sich in 6A bis 6C das fahrenden Fahrzeug beim Abstand von minus zehn Meter in 6B und das fahrende Fahrzeug 2 bewegt sich eine Sekunde später zum Abstand von minus fünf Meter. Somit bewegt sich das fahrende Fahrzeug 2 mit der Geschwindigkeit von 18 km/h von der linken Seite zur rechten Seite. Ist hierbei die Änderung der Helligkeit an mehreren Positionen gleich oder größer als der Grenzwert, ist es möglich, dass die Erfassungseinrichtung 122 nur das Objekt als das bewegte Objekt erfasst, das sich dem Fahrzeug 1 entlang der Bewegungsrichtung nähert und sich am Nächsten zum Fahrzeug 1 befindet.
-
Der Detektor 122 gibt Informationen über die Position, die Bewegungsrichtung und die Bewegungsgeschwindigkeit des bewegten Objekts zusätzlich zum aufgenommenen Bild als das Erfassungsergebnis des bewegten Objekts an die Einrichtung 123 zum Erzeugen eines synthetischen Bildes aus.
-
Dann wird die Syntheseverarbeitung der Informationsanzeige, die durch die Einrichtung 123 zum Erzeugen eines synthetischen Bilds durchgeführt wird, mit Bezug auf 7 bis 8 erläutert. Die Erzeugungseinrichtung 123 erzeugt das synthetisierte Bild einschließlich der Informationsanzeige basierend auf dem aufgenommenen Bild und dem Erfassungsergebnis von der Erfassungseinrichtung 122. 7 und 8 sind Beispiele synthetisierter Bilder.
-
Die Erzeugungseinrichtung 123 synthetisiert einen Marker M1 zusammen mit einer linken Seite oder einer rechten Seite des aufgenommenen Bildes gemäß der Bewegungsrichtung des bewegten Objekts. 7 zeigt ein synthetisiertes Bild in einem Fall, in das fahrende Fahrzeug 2 sich von der rechten Richtung zur linken Richtung bewegt. Um den Fahrer auf die rechte Seite aufmerksam zu machen wird der Marker M1 mit der roten Farbe zusammen mit einem rechtsseitigen Rahmen des Bildschirms synthetisiert. Hierbei kann die Farbe des Markers M1 jede Farbe wie beispielsweise gelb oder orange sein, solange der Marker M1 den Fahrer bezüglich des fahrenden Fahrzeugs 2 auf der rechten Seite alarmiert.
-
Die Erzeugungseinrichtung 123 synthetisiert den Marker M2 zusammen mit einer Oberseite oder einer Unterseite des aufgenommenen Bildes gemäß der Position des bewegten Objekts. 8A und 8B zeigen synthetisierte Bilder in einem Fall in dem das fahrende Fahrzeug 2 sich von der linken Seite zur rechten Seite bewegt. Der rote Marker wird zusammen mit der Oberseite und der Unterseite des aufgenommenen Bilds von der linken Seite des aufgenommenen Bildes zu einer Position die dem fahrenden Fahrzeug gegenüberliegt, synthetisiert. Konkret ist der rote Marker M2 zwischen der linken Kante des Bildschirms (oder einer Position, die zur linken Kante angrenzt) und der oberen oder unteren Position entsprechend dem fahrenden Fahrzeug angeordnet (oder einer Position, die an die obere oder untere Position angrenzt). Der Marker M2 hat eine Länge der Oberseite und die Länge der Unterseite, die länger als der Abstand zwischen dem fahrenden Fahrzeug 2 und betreffenden Fahrzeug 1 ist, ist klein, wie in 8A und 8B dargestellt ist. Werden der Marker M2 und der Marker M1 gleichzeitig angezeigt und bewegt sich das fahrende Fahrzeug von der linken Seite zur rechten Seite, hat der Marker M, der durch den Marker M1 und den Marker M2 bereitgestellt wird, eine C-Form. Andererseits, wenn das fahrende Fahrzeug sich von der rechten Seite zur linken Seite bewegt, hat der Marker M eine umgedrehte C-Form. Hierbei kann der Marker M2 nur auf entweder der Oberseite oder der Unterseite angeordnet sein.
-
Bevor die Position des fahrenden Fahrzeugs 2, das sich von der linken Seite zur rechten Seite bewegt, null überschreitet, das heißt, bevor die Position des fahrenden Fahrzeugs 2 in der Nähe der Position des Eigenfahrzeugs 1 passiert, bestimmt der Monitor 100, dass das fahrende Fahrzeug 2 das bewegte Objekt ist, das sich dem Fahrzeug 1 nähert, und daher ist es notwendig den Fahrer bezüglich des bewegten Objekts zu alarmieren. Somit fährt der Monitor 100 fort den Marker M zu synthetisieren, bis das fahrende Fahrzeug 2 in der nähe des Eigenfahrzeugs 1 passiert. Nachdem die Position des fahrenden Fahrzeugs 2, das sich von linken Seite zur rechten Seite bewegt, null überschreitet, das heißt, nachdem die Position des fahrenden Fahrzeugs 2 in der Nähe der Position des Eigenfahrzeugs 1 passiert, bestimmt der Monitor 100, dass das fahrende Fahrzeug 2 das bewegte Objekt ist, das sich vom Eigenfahrzeug 1 entfernt, und somit ist es nicht notwendig, den Fahrer bezüglich des bewegten Objekts zu alarmieren. Somit stoppt der Monitor 100 das Synthetisieren des Markers M nachdem das fahrende Fahrzeug in der Nähe des betreffenden Fahrzeugs 1 passiert.
-
Hierbei kann die Eigenschaft des Markers M gemäß dem Abstand zwischen dem Fahrzeug 1 und dem fahrenden Fahrzeug 2 geändert werden, das heißt, gemäß der Position des fahrenden Fahrzeugs 2. Beispielsweise, wenn das fahrende Fahrzeug 2 sich an einer Position entfernt vom Fahrzeug 1 befindet, ist die Farbe des Markers M gelb. Nähert sich das fahrende Fahrzeug 2 dem Fahrzeug 1, wird die Farbe des Markers M von gelb über orange zu rot geändert. Hierbei weisen orange und rot verglichen mit gelb den Eindruck eines hohen Warngrads auf. Alternativ, wenn das bewegte Objekt vom Fahrzeug 1 entfernt ist, ist die Breite des Markers M dünn. Nähert sich das bewegte Objekt dem Fahrzeug 1, wird die Breite des Markers dick. Alternativ, wenn das bewegte Objekt vom Fahrzeug 1 entfernt ist, fährt die Anzeigeeinrichtung 130 fort den Marker M ohne Blinken darzustellen oder die Anzeigeeinrichtung 130 zeigt den Marker M mit einer langen Blinkperiode an. Nähert sich das bewegte Objekt dem Fahrzeug 1 wird die Blinkperiode des Markers M kürzer.
-
Ähnlich kann die Eigenschaft des Markers M gemäß der Bewegungsgeschwindigkeit des fahrenden Fahrzeugs 2 geändert werden. Beispielsweise, wenn die Bewegungsgeschwindigkeit des fahrenden Fahrzeugs 2 hoch ist, wird die Farbe des Markers M von gelb zu rot durch orange geändert, das heißt, die Farbe des Markers M wird geändert, um den Eindruck des Warngrads zu erhöhen. Alternativ, wenn die Bewegungsgeschwindigkeit des fahrenden Fahrzeugs 2 hoch ist, wird die Breite des Markers M dick. Alternativ, wenn die Bewegungsgeschwindigkeit des fahrenden Fahrzeugs 2 hoch ist, wird die Blinkperiode des Markers M kürzer. Hierbei kann die Eigenschaft des Markers M1 die gleiche wie die Eigenschaft des Markers M2 sein. Alternativ kann sich die Eigenschaft des Markers M1 von der Eigenschaft des Markers M2 unterscheiden. Anstatt des Markers M oder zusätzlich zum Marker M kann das Warngeräusch oder die Sprachnachricht erzeugt werden, um den Warneindruck bezüglich des bewegten Objekts zu erhöhen.
-
Das synthetisierte Bild in der Erzeugungseinrichtung 123 wird auf der Anzeigeeinrichtung 130 angezeigt. Das Warngeräusch und die Sprachnachricht werden von der Sprachausgabeeinrichtung 140 ausgegeben. Hierbei, wenn es kein bewegtes Objekt um das Fahrzeug 1 herum gibt, synthetisiert die Erzeugungseinrichtung die Informationsanzeige bezüglich des aufgenommenen Bildes nicht. Die Anzeigeeinrichtung 130 zeigt nur das aufgenommene Bild an.
-
Als nächstes wird die Verarbeitung des Monitors 100 mit Bezug auf 9 erläutert. 9 zeigt das Ablaufdiagramm der Verarbeitung in dem Monitor 100.
-
Bei Schritt S101, wenn der Zündungsschalter einschaltet, wird der Monitor 100 aktiviert. Dann überwacht die Fahrzeugzustandsinformationserlangungseinheit 121 in der Steuereinrichtung 120 die Position des Gangs.
-
Dann bei Schritt S102, wenn der Monitor 100 erfasst, dass die Position des Gangs zu einer Rückwärtsgangposition geändert wird (das heißt, die Position des Gangs wird in eine Rückwärtsposition geändert), das heißt, wenn die Entscheidung in Schritt S102 „JA“ ist, fährt der Monitor 100 mit Schritt S103 fort. In Schritt S103 wird das aufgenommene Bild von der Kamera in die Steuereinrichtung 120 eingegeben.
-
Bei Schritt S104 wird die Erfassungsverarbeitung für das bewegte Objekt ausgeführt. Wird das bewegte Objekt erfasst, das heißt, wenn die Entscheidung bei Schritt S104 „JA“ ist, wird mit Schritt S105 fortgefahren. Bei Schritt S105 werden die Synthetisierungsverarbeitung der Informationsanzeige und die Erzeugungsverarbeitung des Warngeräuschs und der Sprachnachricht ausgeführt. Andererseits, wenn das bewegte Objekt nicht erfasst wird, das heißt, wenn die Entscheidung von Schritt S104 „NEIN“ ist, wird die Synthetisierungsverarbeitung der Informationsanzeige nicht ausgeführt. Dann wird das aufgenommene Bild an die Anzeigeeinrichtung 130 ausgegeben.
-
Bei Schritt S106 wird das Bild, das von der Erzeugungseinrichtung 123 für ein synthetisches Bild ausgegeben wird, angezeigt. Ferner gibt die Sprachausgabeeinrichtung 140 das Warngeräusch und/oder die Sprachnachricht aus. Die Schritte S103 bis S106 werden wiederholt, während de Position des Gangs in der Rückwärtsgangposition ist. Wird die Position des Gangs in eine andere Position außer der Rückwärtsgangposition geändert, das heißt, wenn die Entscheidung von Schritt S102 „NEIN“ ist, wird mit Schritt S107 fortgefahren. Bei Schritt S107 wird die Verarbeitung unterbrochen.
-
Stellt der der Fahrer die Anforderung, dass die Erfassungsverarbeitung des bewegten Objekts nur zu einer Zeit ausgeführt wird, wenn das Fahrzeug beginnt, rückwärts zu fahren, nach dem das Fahrzeug geparkt ist, erfasst die Steuereinrichtung 120, dass die Position des Gangs von der Parkposition zur Rückwärtsgangposition geändert wird, nach dem der Zündungsschalter einschaltet. Alternativ kann die Steuereinrichtung 120 erfassen, dass die Position des Gangs zur Rückwärtsgangposition geändert wird, während die Fahrzeuggeschwindigkeit nachdem der Zündungsschalter einschaltet null ist.
-
Somit wird die Erfassungslinie L1 zwischen zwei Punkten Pr und Pl definiert und die Helligkeit der Bildzelle auf der Erfassungslinie L1 wird überwacht. Somit kann ohne Verwendung des optischen Flusses das bewegte Objekt mit einem vergleichsweise kleinen Rechenaufwand erfasst werden. Ferner werden die Marker M1 und M2 als die Informationsanzeige angezeigt. Somit alarmiert der Monitor 100 den Fahrer bezüglich des bewegten Objekts auf der Peripherie des Bildschirmbildes, das aufgenommen und angezeigt wird, um kleiner als ein tatsächliches Bild zu sein. Konkret ist es, wenn das Fahrzeug beginnt sich rückwärts zu bewegen und der Fahrer auf die Lücke zwischen dem Eigenfahrzeug und einem angrenzendem Fahrzeug aufpassen muss, schwierig für den Fahrer das Rückblickbild auf der Anzeigeeinrichtung 130 immer zu sehen. Somit ist es möglich, dass das Bild des bewegten Objekts, das sich auf der Peripherie des Bildschirmbilds befindet und klein angezeigt wird, nicht durch den Fahrer gefunden bzw. bemerkt wird. Da jedoch die Marker M1 und M2 angezeigt werden, erkennt der Fahrer auf einfache Weise die Existenz des bewegten Objekts sogar wenn der Fahrer nicht immer auf das Rückblickbild schaut. Somit alarmiert der Monitor 100 den Fahrer bezüglich des bewegten Objekts und daher ist die Sicherheit des Fahrens verbessert.
-
Ferner, da der Fahrer die Existenz des bewegten Objekts zusammen mit jeder Richtung basierend auf der anzeige des Markers M erkennen kann, widmet der Fahrer der Richtung unmittelbar seine Aufmerksamkeit. Darüber hinaus kann der Fahrer die Position des bewegten Objekts basierend auf der Anzeige des Markers M2 erkennen. Da der Marker M2 angezeigt wird um länger zu sein als das bewegte Objekt, das sich dem Fahrzeug 1 nähert, alarmiert der Monitor 100 den Fahrer bezüglich des Näherungsgrads des bewegten Objekts. Nähert sich das bewegte Objekt dem Fahrzeug 1, wird der Marker synthetisiert. Bewegt sich das bewegte Objekt weg vom Fahrzeug 1, wird der Marker nicht synthetisiert. Somit wird die Information, die für den Fahrer vergleichsweise nicht signifikant ist, nicht angezeigt. Ferner wird der Anzeigemodus, das heißt, Anzeigeeigenschaft der Marker M1 und M2 gemäß der Position der Bewegungsgeschwindigkeit des bewegten Objekts geändert. Somit stellt der Monitor 100 den Warngrad bezüglich des bewegten Objekts so dar, dass der Monitor den Fahrer visuell alarmiert. Alternativ gibt der Monitor 100 das Warngeräusch und die Sprachnachricht so aus, dass der Monitor 100 den Fahrer akustisch alarmiert.
-
In der vorliegenden Ausführungsform wird die Synthetisierungsverarbeitung des Markers als die Informationsanzeige ausgeführt. Beispielsweise kann die Farbe der Bildzelle in dem aufgenommenen Bild geändert werden. Alternativ kann die Farbe der Bildzelle, die in der Flüssigkristallanzeige erzeugt wird, geändert werden. Somit wird die Informationsanzeige durchgeführt.
-
(Erste Modifikation)
-
Wie in dem Ablaufdiagramm in 9 dargestellt ist, wird die Position des Gangs überwacht und dann startet oder unterbricht der Monitor 100 die Ausführung der Erfassung des bewegten Objekts basierend auf der Information der Gangposition. In der ersten Modifikation wird die Fahrzeuggeschwindigkeit des betreffenden Fahrzeugs 1 zusätzlich zur Position des Gangs überwacht. Der Monitor 100 unterbricht die Ausführung der Erfassung des bewegten Objekts basierend auf der Information der Position des Gangs zusätzlich zur Fahrzeuggeschwindigkeit. Diese Verarbeitung ist in 10 dargestellt.
-
10 zeigt das Ablaufdiagramm der Verarbeitung in dem Monitor 100 gemäß der ersten Modifikation der ersten Ausführungsform.
-
Bei Schritt S101, wenn der Zündungsschalter einschaltet, wird der Monitor 100 aktiviert, so dass der Monitor die Position des Gangs und der Fahrzeuggeschwindigkeit des Fahrzeugs 1 überwacht. Bei Schritt S108, wenn die Fahrzeuggeschwindigkeit kleiner als eine vorbestimmte Geschwindigkeit α ist, das heißt, wenn die Entscheidung bei S108 „JA“ ist, wird die vorstehend beschriebene Verarbeitung ausgeführt. Ist die Fahrzeuggeschwindigkeit gleich oder größer als die vorbestimmte Geschwindigkeit α, das heißt, wenn die Entscheidung bei Schritt S108 „NEIN“ ist, wird die Erfassungsverarbeitung des bewegten Objekts unterbrochen und dann wird mit Schritt S109 fortgefahren.
-
Bei Schritt S109 wird eine synthetisierte Nachricht erzeugt. Die synthetisierte Nachricht repräsentiert, dass das die Erfassungsverarbeitung für ein bewegtes Objekt unterbrochen wird. Beispielsweise wird die Nachricht „Die Erfassung stoppt, da die Fahrzeuggeschwindigkeit hoch ist“ über das aufgenommene Bild synthetisiert. Dann wird das synthetisierte aufgenommene Bild auf dem Anzeigebildschirm der Anzeigeeinrichtung 130 bei Schritt S106 für ein vorbestimmtes Zeitintervall angezeigt.
-
Bei der Erfassungsverarbeitung für einen bewegten Körper, wenn der Änderungsbetrag der Helligkeit der Bildzelle auf der Erfassungslinie L1 gleich oder größer als der vorbestimmte Grenzwert ist, bestimmt die Steuereinrichtung 120 dass das bewegte Objekt existiert. Wenn jedoch die Geschwindigkeit des Eigenfahrzeugs 1 hoch ist, ist der Änderungsbetrag des Hintergrundbilds in dem aufgenommenen Bild ebenso groß. Somit kann der Änderungsbetrag des Hintergrundbilds auf der Erfassungslinie L1 fehlerhaft erfasst werden, so dass der Monitor 100 eine falsche Erfassung der Existenz des bewegten Objekts bereitstellt. Obwohl die falsche Erfassung vom Muster des Hintergrunds abhängt, steigt, da die Fahrzeuggeschwindigkeit des Fahrzeugs 1 ansteigt, der Anteil der falschen Erfassung. Demzufolge unterbricht der Monitor 100, in der ersten Modifikation, wenn die Fahrzeuggeschwindigkeit des Fahrzeugs gleich oder größer als die vorbestimmte Grenzwertgeschwindigkeit α ist, die Erfassungsverarbeitung des bewegten Objekts. Die vorbestimmte Grenzwertgeschwindigkeit α wird vorab basierend auf dem Experiment oder dergleichen bestimmt.
-
Somit wird die falsche Unterrichtung des Fahrers eingeschränkt. Hierbei, wenn die Fahrzeuggeschwindigkeit des Fahrzeugs 1 gleich oder größer als die vorbestimmte Grenzwertgeschwindigkeit α ist, unterbricht der Monitor 100 die Erfassungsverarbeitung des bewegten Objekts. Alternativ, wenn die Fahrzeuggeschwindigkeit des Fahrzeugs1 gleich oder größer als die vorbestimmte Grenzwertgeschwindigkeit α ist, kann die Erzeugungseinrichtung 123 die Ausführung der Synthetisierungsverarbeitung der Informationsanzeige unterbrechen.
-
(Zweite Modifikation)
-
In einer zweiten Modifikation wird der Bewegungsabstand des Eigenfahrzeugs 1 berechnet und der Monitor 100 unterbricht die Erfassung des bewegten Objekts basierend auf dem Bewegungsabstand des Eigenfahrzeugs 1.
-
Die Erfassungseinrichtung 122 für ein bewegtes Objekt unterbricht die Erfassungsverarbeitung des bewegten Objekts, wenn der Bewegungsabstand des Eigenfahrzeugs 1 gleich oder größer als ein vorbestimmter Grenzwertabstand β ist. Die synthetisierte Nachricht mit Bezug auf die Unterbrechung wird nicht erzeugt. Hierbei kann der vorbestimmte Grenzwertabstand β festgelegt werden, gleich der Länge des Fahrzeugs 1 zu sein. Konkret kann der Fahrer, wenn das Fahrzeug in der Parklücke in 2 geparkt wird und das Fahrzeug um den Abstand gleich der Länge des Fahrzeugs zurückfährt, das bewegte Objekt durch seine Augen erkennen. Somit wird in einem derartigen Fall die Erfassungsverarbeitung des bewegten Objekts unterbrochen und wenn die Information für den Fahrer nicht vergleichsweise signifikant ist, wird die Information nicht angezeigt. Hier in der zweiten Modifikation, wenn der Bewegungsabstand des Eigenfahrzeugs 1 gleich oder größer als der vorbestimmte Grenzwertabstand β ist, unterbricht die Erfassungseinrichtung 122 für ein bewegtes Objekts die Erfassungsverarbeitung für das bewegte Objekt. Alternativ, wenn der Bewegungsabstand des Eigenfahrzeugs 1 gleich oder größer als der vorbestimmte Grenzwertabstand β ist, kann die Erzeugungseinrichtung 123 die Ausführung der Synthetisierungsverarbeitung für die Informationsanzeige unterbrechen.
-
(Dritte Modifikation)
-
In der ersten Ausführungsform wird, wenn des Fahrzeug 1 vorwärts fährt und in der Parklücke geparkt, das Rückblickbild angezeigt. In der dritten Modifikation der ersten Ausführungsform, wenn das Fahrzeug 1 vorwärts fährt und in eine unübersichtliche Kreuzung einfährt, zeigt der Monitor 100 das Frontansichtsbild an.
-
Die Verarbeitung in der dritten Modifikation wird mit Bezug auf 11 erläutert.
-
11 ist ein Ablaufdiagramm der Verarbeitung in dem Monitor 100 gemäß der vorliegenden Modifikation.
-
Bei Schritt S101, wenn der Zündungsschalter einschaltet, wird der Monitor 100 aktiviert, so dass der Monitor 100 die Position des Gangs und die Fahrzeuggeschwindigkeit des Fahrzeugs 1 überwacht.
-
Bei den Schritten S110 und S111, wenn die Position des Gangs eine Gangposition zum Fahren ist (das heißt, eine Vorwärtsgangposition) und das Fahrzeug in die Kreuzung eindringt, das heißt, wenn die Bestimmungen von Schritt S110 und Schritt S111 „JA“ sind, werden Schritte S103 bis S106 ausgeführt. Der Monitor 100 kann basierend auf den Fakten, wie dass die Geschwindigkeit des Fahrzeugs reduziert wird und dann das Fahrzeug temporär stoppt, bestimmen, ob das Fahrzeug 1 in die Kreuzung eindringt. Alternativ kann der Monitor 100 basierend auf der Information, die von der Navigationseinrichtung (nicht dargestellt) erlangt wird, bestimmen, ob das Fahrzeug 1 in die unübersichtliche Kreuzung einfährt. Alternativ kann das Fahrzeug eine drahtlose Kommunikationseinrichtung (nicht dargestellt) aufweisen und der Monitor 100 kann basierend auf der Information von einer straßenseitigen Einrichtung mittels einen Straße-zu-Fahrzeug-Kommunikationsverfahren erfassen, dass das Fahrzeug in die Kreuzung einfährt. Hierbei ist in der dritten Modifkation die Kamera 110 an einer Frontseite des Fahrzeugs 1 angeordnet und die Kamera 110 nimmt das Vorderansichtsbild in einem Winkelbereich von 180 Grad auf. Die Schritte S103 bis S106 in der dritten Modifikation sind dieselben wie die Schritte S103 bis S106 in der ersten Ausführungsform außer dem Unterschied zwischen dem Vorderansichtsbild und dem Rückblickbild.
-
Wird die Position des Gangs zu einer anderen Position außer der Vorwärtsfahrposition geändert, das heißt, wenn die Bestimmung von Schritt S110 „NEIN“ ist oder wenn sich das Fahrzeug nicht an der Kreuzung befindet, das heißt, wenn die Entscheidung von Schritt S111 „NEIN“ ist, unterbricht in schritt S107 der Monitor 100 die Schritte S103 bis S106.
-
Wenn sich somit das Fahrzeug vorwärts bewegt und in eine unübersichtliche Kreuzung einfährt, zeigt der Monitor 100 das Vorderansichtsbild an. Ohne Verwendung des optischen Flusses kann das bewegte Objekt mit vergleichsweise kleinem Rechenaufwand erfasst werden. Ferner werden die Marker M1 und M2 als die Informationsanzeige auf dem Bildschirm angezeigt. Somit alarmiert der Monitor 100 den Fahrer bezüglich des bewegten Objekts, so dass Sicherheit verbessert wird.
-
In der vorstehenden Ausführungsform wird Verarbeitung zum Erfassen eines bewegten Objekts in dem aufgenommenen Bild durchgeführt, das den linksseitigen Punkt Pl in der Unendlichkeit und den rechtsseitigen Punkt Pr in der Unendlichkeit aufweist. Alternativ kann die Verarbeitung zum Erfassen eines bewegten Objekts in dem aufgenommenen Bild durchgeführt werden, das den oberen Punkt in der Unendlichkeit und den unteren Punkt in der Unendlichkeit aufweist. Ferner kann das bewegte Objekt ein Motorrad, ein Fahrrad oder ein Fußgänger sein.