DE102016201673B4

DE102016201673B4 - Vorrichtung zur erfassung der oberfläche einer befahrenen strasse und verfahren zur erfassung der oberfläche einer befahrenen strasse

Info

Publication number: DE102016201673B4
Application number: DE102016201673.3A
Authority: DE
Inventors: Masakazu Nishijima
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2015-02-09
Filing date: 2016-02-03
Publication date: 2024-01-25
Anticipated expiration: 2036-02-04
Also published as: CN105868687A; JP2016146113A; DE102016201673A1; CN105868687B; JP6160634B2; US10102433B2; US20160232412A1

Abstract

Vorrichtung (1) zur Erfassung einer Oberfläche einer befahrenen Straße, die eine Oberfläche einer befahrenen Straße auf der Grundlage eines durch eine Kamera (3) im Fahrzeug aufgenommenen Parallaxbilds (G1) um ein Fahrzeug erfasst, wobei die Vorrichtung (1) zur Erfassung der Oberfläche der befahrenen Straße Folgendes umfasst:
eine Bereichsbestimmungseinheit (11), die auf der Grundlage von Parallaxinformation des Parallaxbilds (G1) für jeden Einheitsbereich des Parallaxbilds (G1) bestimmt, ob ein Einheitsbereich ein Bereich einer befahrenen Straßenoberfläche (R) oder ein Nicht-Straßenoberflächenbereich (K1, K2, K3, K4, H1, H2) ist, wobei jeder Einheitsbereich einen oder mehrere Pixel umfasst;
eine Koordinatentransformationseinheit (13), die jeden Einheitsbereich mit einem Raster in einer Karte auf der Grundlage der Parallaxinformation und Koordinatenpositionen des einen oder der mehreren Pixel des Einheitsbereichs verknüpft, wobei ein Blickpunkt der Karte so eingestellt wird, dass er höher als ein Blickpunkt des Parallaxbilds (G1) ist, wobei die Karte durch Aufteilen eines Bereichs um das Fahrzeug in ein Raster erhalten wird; und
eine Erfassungseinheit (14), die Straßenoberflächenraster und jedes Raster, das zwischen den Straßenoberflächenrastern auf der Karte angeordnet ist, als die befahrene Straßenoberfläche (R) auf der Karte erfasst, wobei die Straßenoberflächenraster die Raster sind, die den Einheitsbereichen entsprechen, die die Bereichsbestimmungseinheit (11) als die Bereiche der befahrenen Straßenoberfläche (R) bestimmt hat, gekennzeichnet durch
eine Bereichsidentifizierungseinheit (12), die auf der Grundlage einer Koordinatenposition oder einer Pixelinformation jedes Einheitsbereichs, der als der Bereich der befahrenen Straßenoberfläche (R) von der Bereichsbestimmungseinheit (11) bestimmt wird, Identifizierungsinformation, die den zugehörigen Bereich der befahrenen Straßenoberfläche (R) identifiziert, mit jedem Einheitsbereich verknüpft, der von der Bereichsbestimmungseinheit (11) als der Bereich der befahrenen Straßenoberfläche (R) bestimmt wird, wobei
wenn die Teile der Identifizierungsinformation, die jeweils mit den Einheitsbereichen verknüpft sind, die einem Paar der Straßenoberflächenraster entsprechen, die das Raster zwischen sich aufnehmen, voneinander unterschiedlich sind, die Erfassungseinheit (14) das Raster, das zwischen dem Paar der Straßenoberflächenraster liegt, nicht als die befahrene Straßenoberfläche (R) erfasst.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die Erfindung bezieht sich auf eine Vorrichtung zur Erfassung der Oberfläche einer befahrenen Straße und ein Verfahren zur Erfassung der Oberfläche einer befahrenen Straße.
2. Erläuterung des Stands der Technik
Die US 2014 / 0 071 240 A1 beschreibt eine Vorrichtung, die eine befahrene Straßenoberfläche erfasst. Diese Vorrichtung nimmt unter Nutzung von Bildern, die jeweils von rechten und linken Kameras erhalten werden, ein Parallaxbild auf, in dem Parallaxeninformation mit jedem Pixel verknüpft ist, identifiziert einen Straßenoberflächenbereich auf der Grundlage der Teile der Parallaxeninformation des Parallaxbilds und führt eine Koordinatentransformation des Parallaxbilds auf einer Gitter- bzw. Rasterplankarte durch, wodurch sie eine befahrene Straßenoberfläche erfasst.
Zur Zeit der Koordinatentransformation vom Parallaxbild auf die ebene Karte kann jedoch ein durchgehender Straßenoberflächenbereich im Parallaxbild unterbrochenen Bereiche auf der Rasterplankarte entsprechen, weil beispielsweise ein Unterschied zwischen dem Augen- bzw. Blickpunkt des Parallaxbilds und dem Augenpunkt der ebenen Karte existiert. In diesem Fall erfasst die in der US 2014 / 0 071 240 A1 beschriebene Vorrichtung irrtümlicherweise die kontinuierliche Oberfläche der befahrenen Straße als eine Oberfläche der befahrenen Straße, die mehrere Lücken aufweist, oder als mehrere unterteilte Oberflächen der befahrenen Straße. In diesem technischen Gebiet wünscht man eine Vorrichtung zur Erfassung einer Oberfläche einer befahrenen Straße und ein Verfahren zur Erfassung einer Oberfläche einer befahrenen Straße, die dazu fähig sind, eine Abnahme der Genauigkeit der Erfassung einer Oberfläche der befahrenen Straße zu verbessern. Weiterer relevanter Stand der Technik findet sich in der DE 60 2004 011 164 T2 , der US 2013/0 079 990 A1 und der US 2011 / 0 234 761 A1 . Als Grundlage für den Oberbegriff der unabhängigen Ansprüche dient der Artikel von Oniga, F. et al.: „Road Surface and Obstacle Detection Based on Elevation Maps from Dense Stereo.", aus: „Proceedings of the 2007 IEEE intelligent Transportation Systems Conference", Seattle, USA, 2007, S. 859 - 865. - ISSN: 2153 - 0009.
KURZE ERLÄUTERUNG DER ERFINDUNG
Ein Aspekt der Erfindung schafft eine Vorrichtung zur Erfassung einer Oberfläche einer befahrenen Straße mit den in Anspruch 1 aufgeführten Merkmalen.
Mit dieser Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße wird jedes Raster, das kein Straßenoberflächenraster ist, sondern zwischen den Stra-ßenoberflächenrastern auf der Karte angeordnet ist, durch die Erfassungseinheit als die Oberfläche der befahrenen Straße auf der Karte erfasst, nachdem die Koordinatentransformationseinheit die Koordinatentransformation des Parallaxbilds auf die Karte durchgeführt hat. Daher ist es mit dieser Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße beispielsweise selbst dann möglich, die Oberfläche der befahrenen Straße durch Interpolieren der diskontinuierlichen Bereiche zu erfassen, wenn Bereiche auf der Karte entsprechend der Straßenoberflächenbereiche zu der Zeit diskontinuierlich sind, zu der das Parallaxbild, das die Straßenoberflächenbereiche umfasst, einer Koordinatentransformation unterzogen und auf die Karte projiziert wird. Daher ist diese Vorrichtung dazu fähig, eine Abnahme der Genauigkeit zur Erfassung einer befahrenen Straßenoberfläche zu verbessern bzw. zu vermindern.
In einer Ausführungsform kann die Erfassungseinheit die Oberfläche der befahrenen Straße auf der Karte erfassen, indem sie jedes Raster festlegt, das zwischen den Straßenoberflächenrastern liegt, die in einer von sich radial erstreckenden Richtungen ausgehend von einer Position der Kamera im Fahrzeug auf der Karte für das Raster angeordnet sind, das zwischen den Straßenoberflächenrastern auf der Karte angeordnet ist. Beispielsweise gibt es, falls die Vorrichtung dazu aufgebaut ist, jedes Raster, das zwischen den Straßenoberflächengittern angeordnet ist, die in einer Querrichtung (der Fahrzeugbreitenrichtung) gegenüber der Position der Kamera im Fahrzeug auf der Karte angeordnet sind, als der Oberfläche der befahrenen Straße anzusehen, Bedenken, dass das Raster hinter einem Hindernis, das von der Kamera im Fahrzeug nicht erkannt werden kann, die ein Beobachtungspunkt ist, als die Oberfläche der befahrenen Straße erfasst wird. Dagegen legt die Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße jedes Raster, das zwischen den Straßenoberflächengittern untergebracht ist, die in der sich radial erstreckenden Richtung bezüglich der Position der Kamera im Fahrzeug angeordnet sind, als das Raster fest, das zwischen den Straßenoberflächengittern auf der Karte angeordnet ist. Daher ist es beispielsweise möglich, eine fehlerhafte Erfassung des Rasters hinter einem Hindernis als die Oberfläche der befahrenen Straße zu vermeiden.
Erfindungsgemäß weist die Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße weiterhin eine Bereichsidentifizierungseinheit auf, die auf der Grundlage einer Koordinatenposition oder Pixelinformation jedes Einheitsbereichs, der von der Bereichsbestimmungseinheit als der Straßenoberflächenbereich bestimmt wurde, Identifizierungsinformation, die die zugehörige Straßenoberflächenbereiche identifiziert, mit jedem Einheitsbereich verknüpft, der von der Bereichsbestimmungseinheit als der Straßenoberflächenbereich bestimmt ist. Wenn sich die Teile der Identifizierungsinformation voneinander unterscheiden, die jeweils mit den Einheitsbereichen verknüpft sind, die einem Paar der Straßenoberflächenraster entsprechen, die das Raster zwischen sich aufnehmen, kann es sein, dass die Erfassungseinheit das Raster, das zwischen dem Paar von Straßenoberflächengittern liegt, nicht als die Oberfläche der befahrenen Straße erfasst. In diesem Fall ist es möglich, eine irrtümliche Erfassung des zu jedem Einheitsbereich zwischen den Straßenoberflächenbereichen gehörenden Rasters als die Oberfläche der befahrenen Straße mit der Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße beispielsweise dann zu vermeiden, wenn eine Vielzahl von Straßenoberflächenbereichen in dem Parallaxbild enthalten sind.
Ein anderer Aspekt der Erfindung schafft ein Verfahren mit den in Anspruch 3 aufgeführten Merkmalen. Mit diesem Verfahren ist es möglich, eine Verringerung der Genauigkeit der Erfassung einer Oberfläche einer befahrenen Straße zusätzlich zu den vorteilhaften Effekten zu verbessern, die man durch die Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße nach dem vorstehend beschriebenen Aspekt der Erfindung erhält.
Nach verschiedenen Aspekten und Ausführungsformen der Erfindung ist es möglich, eine Verschlechterung der Genauigkeit der Erfassung einer Oberfläche einer befahrenen Straße zu verbessern bzw. umzukehren.
KURZE ERLÄUTERUNG DER FIGUREN
Merkmale, Vorteile und technische und industrielle Bedeutungen beispielhafter Ausführungsformen der Erfindung werden nachstehend mit Bezug auf die beigefügten Figuren beschrieben, in denen ähnliche Bezugszeichen ähnliche Elemente bezeichnen, und in denen:

1 ein Blockschaltbild ist, das eine Vorrichtung zur Erfassung einer Oberfläche einer befahrenen Straße nach einer Ausführungsform veranschaulicht;
2 eine Ansicht ist, die ein Beispiel eines Parallaxbilds zeigt, das eine Stereokamera aufgenommen hat;
3A eine Tabelle ist, die ein Beispiel von Daten veranschaulicht, die von der Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße nach der Ausführungsform verarbeitet werden;
3B eine Tabelle ist, die ein Beispiel von Daten veranschaulicht, die von der Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße nach der Ausführungsform verarbeitet werden,
3C eine Tabelle ist, die ein Beispiel von Daten veranschaulicht, die von der Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße nach der Ausführungsform verarbeitet werden;
3D eine Tabelle ist, die ein Beispiel von Daten veranschaulicht, die von der Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße nach der Ausführungsform verarbeitet werden;
4 ein Beispiel von Straßenoberflächenbereichen in dem Parallaxbild ist;
5A eine Ansicht ist, die ein Beispiel eines vorab festgelegten Bereichs im Parallaxbild in einem Beispiel einer Koordinatentransformation vom Parallaxbild zu einer Rasterkarte zeigt;
5B eine Ansicht ist, die ein Beispiel einer Rasterkarte veranschaulicht, die dem vorab festgelegten Bereich des Parallaxbilds als einem Beispiel einer Koordinatentransformation vom Parallaxbild zur Rasterkarte entspricht;
6A eine Ansicht ist, die ein Beispiel in dem Fall veranschaulicht, in dem die Rasterkarte in sich radial erstreckenden Richtungen mit Bezug auf die Position der Stereo-Kamera als ein Beispiel eines Vorgangs zur Erfassung der Oberfläche der befahrenen Straße auf der Rasterkarte abgetastet wird;
6B eine Ansicht ist, die den Vorgang zur Erfassung der Oberfläche der befahrenen Straße auf der Rasterkarte wie in 6A gezeigt veranschaulicht;
7 ein Ablaufplan ist, der ein Beispiel eines Verfahrens zur Erfassung einer Oberfläche einer befahrenen Straße zeigt, das von der Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße nach der Ausführungsform verwendet wird; und
8 ein Ablaufplan ist, der ein Beispiel des Vorgangs zum Ausgeben einer Information über die Oberfläche der befahrenen Straße durch die Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße nach der Ausführungsform zeigt.

GENAUE ERLÄUTERUNG VON AUSFÜHRUNGSFORMEN
Nachstehend wird eine Ausführungsform der Erfindung mit Bezug auf die beigefügten Figuren beschrieben.
1 ist ein Blockschaltbild, das eine Vorrichtung zur Erfassung der Oberfläche einer befahrenen Straße nach der vorliegenden Ausführungsform veranschaulicht. Die Vorrichtung 1 zur Erfassung der Oberfläche einer befahrenen Straße wie in 1 gezeigt erfasst eine Oberfläche einer befahrenen Straße auf der Grundlage eines Parallaxbilds um ein Fahrzeug. Die Oberfläche der befahrenen Straße ist beispielsweise eine Straßenoberfläche, auf der das Fahrzeug fahren darf. Die Oberfläche der befahrenen Straße kann nicht nur die Straßenoberfläche einer Straße umfassen, auf der das Fahrzeug fährt, sondern auch die Straßenoberfläche einer Durchfahrt und eine Parkfläche auf einem Parkplatz. Die vorliegende Ausführungsform wird unter der Annahme beschrieben, dass die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße in einem Fahrzeug wie einem Personenkraftwagen montiert ist.
Die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße erfasst eine Oberfläche einer befahrenen Straße auf der Grundlage eines Parallaxbilds, das durch eine Kamera im Fahrzeug aufgenommen ist, die Bilder um das Fahrzeug aufnimmt. Das Parallaxbild ist ein Bild (Daten), das Parallaxeninformationen oder Tiefeninformationen umfasst. Beispielsweise ist Parallaxeninformation oder Tiefeninformation mit jedem von Pixeln verknüpft, die das Parallaxbild bilden. Genauer gesagt ist das Parallaxbild ein Bild, in dem beispielsweise Koordinatenpositionen im Bild mit den Teilen der Parallaxeninformation oder Tiefeninformation verknüpft sind.
Aufbau der Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße
Wie in 1 gezeigt umfasst die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße eine elektronische Steuereinheit (ECU) 2 und eine Stereo-Kamera 3 (ein Beispiel einer Kamera im Fahrzeug) zum Zweck der Erfassung einer Oberfläche einer befahrenen Straße. Die ECU 2 ist eine elektronische Steuereinheit, die eine Zentralprozessoreinheit (CPU), einen Nur-Lese-Speicher (ROM), einen Speicher mit wahlfreiem Zugriff (RAM), ein Controller Area Netzwerk (CAN), Kommunikationsschaltkreise und dergleichen umfasst. Die ECU 2 ist beispielsweise mit einem Netzwerk verbunden, durch das eine Kommunikation unter Verwendung der CAN-Kommunikationsschaltung ausgeführt wird, und ist kommunizierfähig mit der Stereo-Kamera 3 verbunden. Die ECU 2 gibt beispielsweise Daten, die von der CPU ausgegeben werden, durch Betreiben der CAN-Kommunikationsschaltung basierend auf Signalen aus oder liest sie ein, speichert Eingabedaten im RAM, lädt in dem ROM gespeicherte Programme in das RAM und führt die in das RAM geladenen Programme aus, wodurch die Funktionen von (nachstehend beschrieben) Komponenten implementiert werden. Die ECU 2 kann aus einer Vielzahl von elektronischen Steuereinheiten gebildet sein.
Die Stereo-Kamera 3 ist eine Bildaufnahmevorrichtung, die ein Parallaxbild durch Aufnehmen von Bildern um das Fahrzeug aufnimmt. Die Stereo-Kamera 3 umfasst beispielsweise zwei Kameras. In 1 umfasst die Stereo-Kamera 3 eine erste Kamera 4 und eine zweite Kamera 5, die so angeordnet sind, dass sie eine binokulare Parallaxe wiedergeben. Die erste Kamera 4 und die zweite Kamera 5 sind beispielsweise auf der Rückseite der Windschutzscheibe eines Fahrzeugs angeordnet und nehmen Bilder vor dem Fahrzeug auf.
Die Stereo-Kamera 3 erzeugt ein Parallaxbild durch Verwenden eines ersten Bildes und eines zweiten Bildes, die jeweils von der ersten Kamera 4 und der zweiten Kamera 5 aufgenommen wurden. Die Stereo-Kamera 3 führt beispielsweise den Vorgang des Suchens des zweiten Bilds für entsprechende Punkte passend zu Pixeln des ersten Bilds mit Bezug auf das erste Bild für jedes Pixel des ersten Bilds aus, und berechnet Parallaxeninformation für jedes Pixel. Die Parallaxeninformation ist beispielsweise ein Abstand zwischen einer Pixelposition des ersten Bildes und einer Pixelposition eines entsprechenden Punkts des zweiten Bilds (ein Pixel-Pixel-Abstand in dem Bild). Die Stereo-Kamera 3 erzeugt beispielsweise ein Bild, das eine Abzissenposition x und eine Ordinatenposition y in dem Bild mit einem Pixel-Pixel-Abstand als Parallaxbild verknüpft. Der Pixel-Pixel-Abstand ist eine Parallaxeninformation. Die Stereo-Kamera 3 kann eine Tiefeninformation (eine Information über den Abstand von der Stereo-Kamera 3) für jeden Pixel durch Einsetzen der Parallaxeninformation dieses Pixels in eine allgemeine Transformationsformel erhalten, und kann ein Bild als ein Parallaxbild erzeugen, in dem eine Abszissenposition x und eine Ordinatenposition y in dem Bild mit einer Tiefeinformation verknüpft sind. Die allgemeine Formel für die Transformation ist eine Formel, in der Basisinformation (beispielsweise ein Abstand zwischen Kameras und dergleichen) der Stereo-Kamera 3 als ein Koeffizient festgelegt und die Parallaxeninformation und Tiefeninformation umgekehrt proportional zueinander sind. Die Stereo-Kamera 3 überträgt das aufgenommene Parallaxbild an die ECU 2.
Als Nächstes wird der funktionelle Aufbau der ECU 2 beschrieben. Wie in 1 gezeigt, umfasst die ECU 2 eine Bildaufnahmeeinheit 10, eine Bereichsbestimmungseinheit 11, eine Bereichsidentifizierungseinheit 12, eine Koordinatentransformationseinheit 13 und eine Ausgabeeinheit (Erfassungseinheit) 14 für die Information über die Oberfläche der befahrenen Straße.
Die Bildaufnahmeeinheit 10 nimmt ein Parallaxbild aus der Stereo-Kamera 3 auf. Die Bildaufnahmeeinheit 10 ist implementiert, wenn die CAN-Verbindungsschaltung auf der Grundlage eines Signals arbeitet, das von der CPU ausgegeben wird. 2 ist eine Ansicht, die ein Beispiel eines Parallaxbilds zeigt, das die Stereo-Kamera 3 aufgenommen hat. Das in 2 gezeigte Parallaxbild G1 ist ein Bild, das aus vor dem Fahrzeug aufgenommenen Bildern erzeugt wird. Wie in 2 gezeigt liegt eine befahrene Straßenoberfläche R, auf der das Fahrzeug fährt, zwischen einer Straßenbegrenzung bzw. einem Bordstein K1 und einer Leitplanke K2. Ein Gehweg H1 liegt zwischen der Begrenzung K1 und Räumen K3, die außerhalb der Begrenzung K1 liegen. Ein Gehweg H2 liegt zwischen der Leitplanke K2 und Gebäuden K4, die außerhalb der Leitplanke K2 liegen. 3A ist ein Beispiel einer Datentabelle eines Parallaxbilds. In der in 3A gezeigten Tabelle sind eine Pixel-ID, die jedes der Pixel identifiziert, eine x-Koordinatenposition im Parallaxbild G1, eine y-Koordinatenposition im Parallaxbild G1 und Tiefeninformation z miteinander verknüpft. Beispielsweise sind (1,1) als die Koordinaten (x, y) und „100“ als Tiefeninformation z mit der Pixel-ID „1“ verknüpft. In ähnlicher Weise sind (1,2) als die Koordinaten (x, y) und „200“ als die Tiefeninformation mit der Pixel-ID „2“ verknüpft. Eine Verknüpfung jeder Pixel-ID mit einem Pixelwert wird hier weggelassen. Die Bildaufnahmeeinheit 10 speichert das aufgenommene Parallaxbild in einem Speicherbereich wie dem RAM.
Die Bereichsbestimmungseinheit 11 bestimmt auf der Grundlage der Teile der Parallaxeninformation des Parallaxbilds G1 für jeden Einheitsbereich des Parallaxbilds G1, ob ein Einheitsbereich ein Straßenoberflächenbereich oder einen Nicht-Stra-ßenoberflächenbereich ist. Jeder Einheitsbereich des Parallaxbilds G1 umfasst ein oder mehrere Pixel. Die Bereichsbestimmungseinheit 11 ist implementiert, wenn die CPU ein Programm, das in dem ROM gespeichert ist, in das RAM lädt und das Programm, das in das RAM geladen ist, ausführt. Der Einheitsbereich ist ein Bereich im Parallaxbild G1, und der Bereich umfasst ein oder mehrere Pixel. Das heißt, dass der minimale Einheitsbereich ein Bereich ist, der ein Pixel umfasst. Nachstehend wird ein Beispiel beschrieben, in dem der Einheitsbereich ein Pixel (pro Pixel) ist.
Die Bereichsbestimmungseinheit 11 führt beispielsweise wiederholt den Vorgang des Festlegens eines Pixels, für das die Bestimmung durchgeführt wird, und den Vorgang des Ausführens der Bestimmung für das Pixel durch Abtasten des Parallaxbilds G1 vom oberen linken Pixel bis zum unteren rechten Pixel durch. Der Straßenoberflächenbereich ist ein Bereich, in dem eine Straßenoberfläche im Parallaxbild G1 gezeichnet ist. Der Nicht-Straßenoberflächenbereich ist ein Bereich außer dem Stra-ßenoberflächenbereich und ist beispielsweise ein Bereich, aus dem ein Objekt aus der Straßenoberfläche in dem Parallaxbild G1 gezeichnet ist. Das Objekt außer der Straßenoberfläche ist beispielsweise ein Gebäude, ein Baum, eine Leitplanke, eines Straßenbegrenzung oder dergleichen.
Nun wird ein Beispiel einer Bestimmung durch die Bereichsbestimmungseinheit 11, ob der Pixel ein Straßenoberflächenbereich ist, beschrieben. Die Bereichsbestimmungseinheit 11 schätzt einen Straßenoberflächengradienten für jeden Pixel unter Verwendung statistischer Daten ab, die vorab aufgenommen wurden. Die statistischen Daten zeigen die Beziehung zwischen der Tiefeninformation und einem Straßenoberflächengradienten an. Anschließend nimmt die Bereichsbestimmungseinheit 11 Höheninformation Hy (entsprechend einer y-Koordinate im Parallaxbild) des abgeschätzten Straßenoberflächengradienten auf, indem sie die Tiefeninformation jedes Pixel (x-Koordinate, y-Koordinate) und den abgeschätzten zugehörigen Straßenoberflächengradienten verwendet. Die Bereichsbestimmungseinheit 11 vergleicht die y-Koordinate mit der Höheninformation Hy. Wenn der Unterschied kleiner als ein vorab festgelegter Wert ist, bestimmt die Bereichsbestimmungseinheit 11, dass der Pixel ein Straßenoberflächenbereich ist; wogegen die Bereichsbestimmungseinheit 11 bestimmt, dass der Pixel ein Nicht-Straßenoberflächenbereich bzw. kein Straßenoberflächenbereich ist, wenn der Unterschied größer als der oder gleich dem vorab festgelegten Wert ist. 3B ist ein Beispiel einer Datentabelle, die durch die Bereichsbestimmungseinheit 11 verwaltet wird. In der in 3B gezeigten Tabelle sind eine Pixel-ID, ein Straßenoberflächenflag bzw. ein Straßenoberflächenmerker, das bzw. der bestimmt, ob das Pixel ein Straßenoberflächenbereich oder ein Nicht-Straßenoberflächenbereich ist, und eine (nachstehend beschriebene) Bezeichnung miteinander verknüpft. Das Straßenoberflächenflag entspricht Daten, die anzeigen, dass das Pixel ein Straßenoberflächenbereich ist, wenn das Straßenoberflächenflag auf „1“ gesetzt ist, und das anzeigt, dass das Pixel ein Nicht-Straßenoberflächenbereich ist, wenn das Straßenoberflächenflag „0“ gesetzt ist. Das Straßenoberflächenflag ist ein Ergebnis, das die Bereichsbestimmungseinheit 11 festlegt. Beispielsweise verknüpft die Bereichsbestimmungseinheit 11 „1“ als das Straßenoberflächenflag mit der Pixel-ID „1“, wenn das Pixel mit der Pixel-ID „1“ ein Stra-ßenoberflächenbereich ist. In ähnlicher Weise verknüpft die Bereichsbestimmungseinheit 11 „0“ als das Straßenoberflächenflag mit der Pixel-ID „2“, wenn das Pixel mit der Pixel-ID „2“ ein Nicht-Straßenoberflächenbereich ist.
Auf der Grundlage der Koordinatenposition jedes Pixels, das von der Bereichsbestimmungseinheit 11 als der Straßenoberflächenbereich bestimmt wird, verknüpft die Bereichsidentifizierungseinheit 12 Identifizierungsinformation, die den zugehörigen Straßenoberflächenbereich identifiziert, mit jedem Pixel, das als der Straßenoberflächenbereich von der Bereichsbestimmungseinheit 11 bestimmt wird. Die Bereichsidentifizierungseinheit 12 wird implementiert, wenn die CPU ein in dem ROM gespeichertes Programm in das RAM lädt, und das in das RAM geladene Programm ausführt. Die Identifizierungsinformation ist beispielsweise Information, die dazu fähig ist, eindeutig eine Gruppe eines Straßenoberflächenbereichs zu identifizieren. Ein spezifisches Beispiel der Identifizierungsinformation ist ein Label bzw. eine Kennzeichnung, das bzw. die eine Straßenoberflächenbereichsgruppe bezeichnet.
Zunächst bestimmt die Bereichsidentifizierungseinheit 12 eine Verbindung mit anderen Pixeln unter Verwendung der Koordinatenposition jedes Pixels, der von der Bereichsbestimmungseinheit 11 als der Straßenoberflächenbereich bestimmt wurde. Beispielsweise bestimmt die Bereichsidentifizierungseinheit 12, dass es eine Verbindung zwischen dem zu verarbeitenden Pixel und den benachbarten Pixeln gibt, wenn benachbarte Pixel in den Richtungen nach oben, unten, rechts, links und schräg um einen zu verarbeitenden Pixel als Straßenoberflächenbereiche bestimmte Pixel sind. Anschließend verknüpft die Bereichsidentifizierungseinheit 12 dieselbe Bezeichnung mit dem Pixel, der zu verarbeiten ist, und benachbarten Pixeln, zwischen denen eine Verbindung bestimmt wurde. Das heißt, wenn Pixel mit derselben Kennzeichnung verknüpft sind, sind die Pixel in demselben Straßenoberflächenbereich enthalten. Die vorstehend beschriebene Tabelle wie in 3B gezeigt wird ebenfalls von der Bereichsidentifizierungseinheit 12 verwaltet. Wenn die Bereichsidentifizierungseinheit 12 bestimmt, dass es eine Verbindung zwischen dem zu verarbeitenden Pixel und den benachbarten Pixeln gibt, aktualisiert die Bereichsidentifizierungseinheit 12 die Bezeichnungen der in 3B gezeigten Tabelle. Beispielsweise aktualisiert die Bereichsidentifizierungseinheit 12 die Bezeichnungen dieser Pixel-IDs mit derselben Bezeichnung „2“, wenn die Bereichsidentifizierungseinheit 12 bestimmt, dass es eine Verbindung zwischen dem Pixel der Pixel-ID „1“ und dem Pixel der Pixel-ID „4096“ gibt. 4 ist ein Beispiel von Straßenoberflächenbereichen in einem Parallaxbild. 4 zeigt drei Straßenoberflächenbereiche R1, R2, R3 im Parallaxbild G1. Beispielsweise besteht der Straßenoberflächenbereich R1 aus einer Gruppe von Pixeln, die mit der Bezeichnung „1“ verknüpft sind, der Straßenoberflächenbereich R2 besteht aus einer Gruppe von Pixeln, die mit der Bezeichnung „2“ verknüpft sind und der Straßenoberflächenbereich R3 besteht aus einer Gruppe von Pixeln, die mit der Bezeichnung „3“ verknüpft sind. Das heißt, dass Pixel mit den Pixel-IDs, die mit der Bezeichnung „1“ wie in der in 3B gezeigten Tabelle verknüpft sind, Pixel sind, die den Straßenoberflächenbereich R1 im Parallaxbild G1 wie in 4 gezeigt bilden. In ähnlicher Weise sind Pixel mit den Pixel-IDs, die mit der Bezeichnung „2“ in der in 3B gezeigten Tabelle verknüpft sind, Pixel, die den Straßenoberflächenbereich R2 in dem Parallaxbild G1 wie in 4 gezeigt bilden. In ähnlicher Weise sind Pixel der Pixel-IDs, die mit der Bezeichnung „3“ in der in 3B gezeigten Tabelle verknüpft sind, Pixel, die den Straßenoberflächenbereich R3 in dem Parallaxbild G1 wie in 4 gezeigt bilden.
Die Bereichsidentifizierungseinheit 12 kann bestimmen, ob es eine Verbindung gibt, indem sie Stücke von Pixelinformation anstelle der Positionsbeziehung zwischen Pixeln (der Positionskoordinaten) verwendet, die als Straßenoberflächenbereiche bestimmt sind. Die Pixelinformation ist ein Pixelwert wie eine Luminanz bzw. ein Leuchtwert, ein Farbwert oder ein Kontrast. Beispielsweise kann die Bereichsidentifizierungseinheit 12 dieselbe Kennzeichnung mit einer Gruppe von Pixeln verknüpfen, unter denen ein Helligkeitsunterschied kleiner als ein oder gleich einem vorab festgelegten Wert ist. Auf diese Weise ist die Bereichsidentifizierungseinheit 12 dazu fähig, Pixel unter Verwendung von Pixelwerten zu kennzeichnen, wenn die Teile von Parallaxeninformation der Pixel nicht genau aufgenommen werden. Die Bereichsidentifizierungseinheit 12 kann bestimmen, ob es eine Verbindung gibt, indem sie die Positionsbeziehung zwischen Pixeln verwendet, die als Straßenoberflächenbereiche bestimmt sind, und die Pixelinformationsteile der Pixel.
Die Koordinatentransformationseinheit 13 verknüpft jeden Pixel mit einem Raster in einer Rasterkarte (einem Beispiel einer Karte) auf der Grundlage der Parallaxeninformation und Koordinatenposition des Pixels. Der Blickpunkt der Rasterkarte bzw. des Rasterkennfelds ist so festgelegt, dass er höher als der Blickpunkt des Parallaxbilds G1 ist. Die Rasterkarte wird erhalten, indem ein Bereich unterteilt wird, der sich vor dem Fahrzeug in einem Raster erstreckt (ein Beispiel eines Bereichs um ein Fahrzeug). Die Koordinatentransformationseinheit 13 wird implementiert, wenn die CPU ein in dem ROM gespeichertes Programm in das RAM lädt und das in das RAM geladene Programm ausführt.
Die Rasterkarte wird beispielsweise so vorgesehen, dass eine zweidimensionale Ebene, die durch einen Abstand vom Fahrzeug und eine Querposition wiedergegeben wird, in festgelegten Intervallen in Zellen unterteilt wird. Die einzelnen Zellen der Rasterkarte werden als Raster bezeichnet. Jede Zelle kann eine quadratische Form oder eine rechteckige Form aufweisen. Die Rasterkarte weist eine Datenstruktur beispielsweise von Datentabellen wie in 3C und 3D gezeigt aus. Wie in 3C gezeigt, sind die Abszisse X (die der Abszisse x des Parallaxbilds entspricht) der Karte und die Ordinate Z (die der Tiefeninformation z des Parallaxbilds entspricht) der Karte mit jeder Raster-ID verknüpft, die eindeutig ein zugehöriges aus den Rastern identifiziert. Die Koordinatentransformationseinheit 13 identifiziert beispielsweise eine Position auf der Rasterkarte, die jeder Pixel-ID entspricht, durch Ersetzen der zugehörigen Parallaxeninformation und Koordinatenposition, die mit der Pixel-ID verknüpft ist, in eine allgemeine Koordinatentransformationsformel, wodurch sie die Raster-ID passend zu jeder Pixel-ID ableitet. Das heißt, dass die Koordinatentransformationseinheit 13 die in 3A und 3B gezeigten Datentabellen berücksichtigt, und die Pixelposition für das Raster (X, Z) auf der Rasterkarte unter Verwendung der Positionsinformation (x-Koordinatenposition) und der Tiefeninformation z, die mit der Pixel-ID verknüpft sind, an Hand der Koordinatentransformationsformel so transformiert, dass sie jede Pixel-ID mit einer zugehörigen der Raster-IDs verknüpft.
Die Koordinatentransformationseinheit 13 ordnet das Straßenoberflächenflag und die Kennzeichen, die mit jeder Pixel-ID verknüpft sind, der Raster-ID zu, die der Pixel-ID entspricht. Beispielsweise sind wie in 3D gezeigt das Straßenoberflächenflag, die Kennzeichnung und eine (später beschriebene) Such-ID mit jeder Raster-ID verknüpft. Die Koordinatentransformationseinheit 13 ordnet das Straßenoberflächenflag und die Kennzeichnung, die mit jeder Pixel-ID verknüpft sind, einer zugehörigen der Raster-IDs zu. Wenn eine Raster-ID einer Vielzahl von Pixel-IDs entspricht, kann die Koordinatentransformationseinheit ein Straßenoberflächenflag und eine Kennzeichnung auf der Grundlage einer vorab festgelegten Bedingung aus den Straßenoberflächenflags und Kennzeichnungen bestimmen, die mit der Vielzahl von Pixel-IDs verknüpft sind, und kann das bestimmte Straßenoberflächenflag und die Kennzeichnung mit der Raster-ID veknüpfen. Nachstehend wird eine Beschreibung unter der Annahme gegeben, dass ein Raster, das zu einem Pixel passt, das als Straßenoberflächenbereich von der Bereichsbestimmungseinheit 11 bestimmt wird, das heißt, ein Raster, dessen Straßenoberflächenflag „1“ ist, als „Straßenoberflächenraster“ bezeichnet wird und ein Raster, dessen Straßenoberflächenflag als „0“ bezeichnet wird, als „Nicht-Straßenoberflächenraster“ bezeichnet wird. Wie später beschrieben wird, zeigt 3D ein Beispiel, in dem das Straßenoberflächenflag eines Rasters auf einem NULL-Wert „-“ festgelegt (siehe Raster-ID „2“), wenn es ein Raster gibt, für das weder ein Straßenoberflächenraster noch ein Nicht-Straßenoberflächenraster festgelegt wird.
5A und 5B sind Ansichten, die ein Beispiel einer Koordinatentransformation von Parallaxbild G1 zu einer Rasterkarte G2 veranschaulichen. 5A ist ein Beispiel des Parallaxbilds G1. 5B ist ein Beispiel der einem vorab festgelegten Bereich A1 im Parallaxbild G1 entsprechenden Rasterkarte G2. Die Rasterkarte G2 wie in 5B gezeigt ist eine Karte, in der ein Bereich vor dem Fahrzeug in der Draufsicht in ein Raster unterteilt ist, und in 3C und 3D gezeigte Daten werden visualisiert. Die Rasterkarte G2 umfasst Straßenoberflächenraster RG. In der Figur sind schraffierte Raster die Straßenoberflächenraster RG. In der Figur ändert sich die Art der Schraffur abhängig von der Kennzeichnung. Beispielsweise ist die Kennzeichnung „1“ mit dem Straßenoberflächenraster RG entsprechend dem Straßenoberflächenbereich R1 verknüpft, die Kennzeichnung „2“ ist mit dem Straßenoberflächenraster RG entsprechend dem Straßenoberflächenbereich R2 verknüpft, und die Kennzeichnung „3“ ist mit dem Straßenoberflächenraster RG entsprechend dem Straßenoberflächenbereich R3 verknüpft. Das heißt, dass für die Kennzeichnung „1“, die Kennzeichnung „2“ und die Kennzeichnung „3“ jeweils unterschiedliche Arten einer Diagonallinienschraffur in der Figur verwendet werden. In der Rasterkarte G2 entsprechen Nicht-Straßenoberflächenraster NG Pixeln, die zu den Nicht-Straßenoberflächenbereichen gehören. In der Figur sind mit Punkten gefüllte Raster die Nicht-Straßenoberflächenraster NG.
Beispielsweise tastet die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße die Rasterkarte G2 ab (durchsucht sie), verbindet die Straßenoberflächenraster RG in der Reihenfolge der Abtastrichtung und erkennt eine Zusammenfassung der verbundenen Straßenoberflächenraster RG als eine Oberfläche der befahrenen Straße. Die Einheit 14 zur Ausgabe von Information über die Straßenoberfläche wird implementiert, wenn die CPU ein in dem ROM gespeichertes Programm in das RAM lädt und das in das RAM geladene Programm ausführt. Wie in 5B gezeigt erscheinen Spalten in Bereichen entsprechend den Straßenoberflächenbereichen R1, R2, R3 der Rasterkarte G2, wenn die Straßenoberflächenbereiche R1, R2, R3 des Parallaxbilds G1 auf die Rasterkarte G2 projiziert werden. Außerdem erscheinen Spalten in Bereichen, die den Nicht-Straßenoberflächenbereichen auf der Rasterkarte G2 entsprechen. In 5B sind Raster, die durch dick umrandete Boxen umgeben sind, Spalten. Nachstehend wird eine Beschreibung unter der Annahme gegeben, dass Raster, die nicht zu Pixeln passen, die mit Straßenoberflächenbereichen oder Nicht-Straßenoberflächen verknüpft sind, Spaltenraster sind. Die Spaltenraster erscheinen wegen eines Unterschieds zwischen dem Blickpunkt des Parallaxbilds G1 und dem Blickpunkt der Rasterkarte G2, des Unterschieds in der Größe zwischen den Pixeln, die die grundlegende Einheit des Parallaxbilds G1 und des Rasters bilden, der Tatsache, dass die abgebildete Größe der Rasterkarte G2 ist, der Tatsache, dass die Aufnahmegenauigkeit der Stereo-Kamera 3 sinkt, wenn eine Aufnahmedistanz steigt, und ein Fehler der Parallaxeninformation steigt, wenn eine Aufnahmedistanz steigt, und aus ähnlichen Gründen. Wenn eine Oberfläche der befahrenen Straße unter Verwendung der Rasterkarte G2 erfasst wurde, die Spaltraster umfasst, besteht die Befürchtung, dass die ursprünglich durchgehende Oberfläche der befahrenen Straße irrtümlicherweise als unterteilte Oberflächen der befahrenen Straße erfasst wird.
Daher erfasst die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße nach der vorliegenden Ausführungsform beispielsweise eine Oberfläche der befahrenen Straße unter der Annahme, dass eine Zusammenballung bzw. eine Aggregation von Straßenoberflächenrastern RG, die Spalten umfassen, eine Zusammenfassung von Straßenoberflächenrastern RG ist, die keine Spalten aufweist. Genauer gesagt erfasst die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße nicht nur die Straßenoberflächenraster RG, sondern auch Spaltenraster EG, die zwischen den Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet sind, als eine Oberfläche der befahrenen Straße auf der Rasterkarte G2. Jedes Spaltenraster EG zwischen den Rastern der Straßenoberfläche RG auf der Rasterkarte G2 bedeutet das Spaltenraster EG, das zwischen den Straßenoberflächenrastern RG in der Abtastrichtung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße auf der Rasterkarte G2 liegt. Wenn beispielsweise die Abtastrichtung (Suchrichtung) auf der Rasterkarte G2 die X-Richtung (Fahrzeugbreitenrichtung, Querrichtung) ist, ist jedes Spaltenraster EG, das zwischen den Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet ist, das Spaltenraster EG, das zwischen einem Paar der Straßenoberflächenraster RG in der x-Achsenrichtung auf der Rasterkarte G2 liegt. Wenn die Abtastrichtung (Suchrichtung) auf der Rasterkarte G2 beispielsweise die Y-Richtung (Tiefenrichtung, Längsrichtung) ist, ist jedes Spaltenraster EG, das zwischen den Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet ist, das Spaltenraster EG, das zwischen einem Paar der Straßenoberflächenraster RG in der Z-Achsenrichtung auf der Rasterkarte G2 liegt.
Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße kann Straßenoberflächenraster nicht nur in der Querrichtung oder der Längsrichtung, sondern auch in der schrägen Richtung abtasten (durchsuchen) und verbinden, und eine Oberfläche der befahrenen Straße erfassen. Beispielsweise kann die Einheit 14 zur Ausgabe der Information über die Oberfläche der befahrenen Straße in den radial verlaufenden Richtungen bezüglich der Position der Stereo-Kamera 3 auf der Rasterkarte G2 abtasten. In diesem Fall bedeutet das Spaltenraster EG, das zwischen den Straßenoberflächenrastern RG liegt, das Spaltenraster EG, das zwischen einem Paar der Straßenoberflächenraster RG liegt, die in einer der sich radial erstreckenden Richtungen bezüglich der Position der Stereo-Kamera 3 angeordnet sind.
Das zwischen Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnete Spaltenraster EG kann nur dann als Spaltenraster EG betrachtet werden, wenn das Spaltenraster EG zwischen einem Paar von benachbarten Straßenoberflächenrastern RG liegt. Als ein spezifisches Beispiel wird das Spaltenraster EG nur dann als das Spaltenraster EG betrachtet, das zwischen den Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet ist, wenn ein Straßenoberflächenraster RG, ein Spaltenraster EG und ein Straßenoberflächenraster RG aufeinanderfolgend in der Abtastrichtung angeordnet sind. Durch Beschränken des Spaltenrasters EG auf den Fall, in dem das Spaltenraster EG zwischen benachbarten Straßenoberflächenrastern RG liegt, ist es beispielsweise selbst dann, wenn ein Straßenoberflächenraster RG fälschlich an einem entfernten Ort erfasst wurde, möglich, eine irrtümliche Erfassung eines Bereichs als Straßenoberflächenraster RG zu unterdrücken, der ursprünglich nicht als eine Oberfläche der befahrenen Straße erfasst werden sollte. Dagegen ist das Spaltenraster EG, das zwischen den Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet ist, nicht auf das Spaltenraster EG nur für den Fall beschränkt, in dem das Spaltenraster EG zwischen einem Paar von benachbarten Straßenoberflächenrastern RG liegt, sondern das Spaltenraster EG, das zwischen Straßenoberflächenrastern RG angeordnet ist, kann eine Vielzahl von Spaltenrastern EG bedeuten, die zwischen einem Paar von Straßenoberflächenrastern RG liegen. In dem Fall sind beispielsweise selbst dann, wenn ein Straßenoberflächenraster RG, ein Spaltenraster EG1, ein Spaltenraster EG2 und ein Straßenoberflächenraster RG aufeinanderfolgend in der Abtastrichtung angeordnet sind, die dazwischen liegenden zwei Spaltenraster EG1, EG2, jeweils das Spaltenraster EG, das zwischen den Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet sind. Indem die Anzahl von dazwischen liegenden Spaltenrastern EG nicht beschränkt wird, steigt die Möglichkeit zur Erfassung eines Spaltenrasters EG als einer Oberfläche einer befahrenen Straße, so dass es möglich ist, eine schlechte Genauigkeit der Erfassung einer Oberfläche einer befahrenen Straße weiter zu verbessern. Alternativ kann das Spaltenraster EG, das zwischen Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet ist, auf den Fall beschränkt sein, in dem der Abstand zwischen einem Paar von Straßenoberflächenrastern RG, die das Spaltenraster EG zwischen sich aufnehmen, größer als ein oder gleich einem vorab festgelegten Wert ist. In diesem Fall ist es beispielsweise dann, wenn es ein Hindernis mit geringer Höhe wie einen Bordstein gibt, und ein Straßenoberflächenbereich hinter dem Hindernis im Parallaxbild G1 erkannt wird, möglich, die Erfassung eines Bereichs zu unterdrücken, der ursprünglich nicht als Oberfläche einer befahrenen Straße erfasst werden sollte. Die Einheit 14 zur Ausgabe der Information über die Oberfläche der befahrenen Straße kann das zwischen den Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnete Spaltenraster EG auf die vorstehend beschriebenen verschiedenen Bedeutungen beschränken, indem der Bereich der Suche für ein Straßenoberflächenraster RG bis zum nächsten Straßenoberflächenraster RG z.B. auf einen vorab festgelegten Wert oder kleiner oder einen vorab festgelegten Wert oder größer festgelegt wird.
6A und 6B sind Ansichten, die ein Beispiel eines Vorgangs zur Erfassung einer Oberfläche einer befahrenen Straße auf der Rasterkarte G2 veranschaulichen. 6A ist ein Beispiel des Falls, in dem die Rasterkarte G2 in den sich radial erstreckenden Richtungen mit Bezug auf die Position der Stereo-Kamera 3 abgetastet wird, und jeder der Pfeile Y zeigt eine der Abtastrichtungen an. Eine Such-ID, die einen Pfeil eindeutig identifiziert, ist jedem Pfeil zugeordnet. Wie in 3D gezeigt ordnet die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße eine Such-ID passend zu einem zugehörigen der Pfeile Y jeder der Raster-IDs von Rastern zu, die entlang des zugehörigen aus den Pfeilen Y wie in 6A gezeigt angeordnet sind. Wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße in jeder Pfeilrichtung in der Figur auf der Rasterkarte G2 sucht, extrahiert die Einheit 14 zur Ausgabe der Information über die Oberfläche der befahrenen Straße Raster-IDs, mit denen dieselbe Such-ID wie die Such-ID verknüpft ist, die zum entsprechenden Pfeil gehört. Die Einheit 14 zur Ausgabe der Information über die Oberfläche der befahrenen Straße ordnet virtuell die extrahierten Raster-IDs eindimensional in einer Reihenfolge des Abstands vom Fahrzeug unter Verwendung der Positionsinformation jeder Raster-ID der 3C an und tastet die Raster, die eindimensional angeordnet sind, von der Seite des Fahrzeugs hin zur entfernten Seite ab, wodurch sie in der schrägen Richtung abtastet.
Ein Beispiel des Vorgangs zur Erfassung der Oberfläche der befahrenen Straße auf der Rasterkarte G2 wird unter Verwendung des Pfeils Y wie in 6A und 6B gezeigt beschrieben. Die Such-ID des Pfeils Y ist „1". Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße extrahiert Raster-IDs „1“, „3“, ..., „240“, die mit der Such-ID „1“ verknüpft sind, aus der in 3D gezeigten Datentabelle und tastet die Raster der extrahierten Raster-IDs in der Reihenfolge des Abstands vom Fahrzeug ab. 6B ist eine Ansicht, die den Vorgang zur Erfassung der Oberfläche der befahrenen Straße auf der Rasterkarte G2 wie in 6A gezeigt veranschaulicht. Wie in 6B gezeigt wird hauptsächlich ein Abschnitt beschrieben, in dem ein Straßenoberflächenraster RG1, ein Spaltenraster EG1, ein Straßenoberflächenraster RG2, ein Nicht-Straßenoberflächenraster NG1, ein Spaltenraster EG2 und ein Straßenoberflächenraster RG3 in dieser Reihenfolge angeordnet sind. Die Kennzeichnungen des Straßenoberflächenrasters RG1 und des Straßenoberflächenrasters RG2 sind „1“ und das Kennzeichen des Straßenoberflächenrasters RG3 ist „3“.
Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße tastet entlang des Pfeils Y ab und bestimmt, dass Straßenoberflächenraster vom Fahrzeug bis zu dem Straßenoberflächenraster RG1 durchgängig sind. Wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße das Spaltenraster EG1 erfasst hat, bestimmt die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße, ob es ein Straßenoberflächenraster RG auf einer weiter entfernt liegenden Seite gibt. Es gibt das Straßenoberflächenraster RG2 auf der entfernt liegenden Seite des Spaltenrasters EG1. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, ob die Kennzeichnung des Straßenoberflächenrasters RG1 und die Kennzeichnung des Stra-ßenoberflächenrasters RG2 gleich sind. Weil die Kennzeichnung des Straßenoberflächenrasters RG1 und des Straßenoberflächenrasters RG2 „1“ sind, bestimmt die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße, dass das Straßenoberflächenraster RG1 und das Straßenoberflächenraster RG2 das Paar von Straßenoberflächenrastern RG sind, die in einer der sich radial erstreckenden Richtungen angeordnet sind, und bestimmt, dass das Spaltenraster EG1 ein Spaltenraster EG ist, das zwischen dem Paar von Straßenoberflächenrastern RG liegt. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße wandelt das Spaltenraster EG in ein Straßenoberflächenraster RG um. Genauer gesagt ändert die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße in den in 3A bis 3G gezeigten Datentabellen das Straßenoberflächenflag des Spaltenrasters EG von „-“ auf „1“. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße kann dasselbe Kennzeichen wie die Kennzeichen des Paars von Straßenoberflächenrastern RG als das Kennzeichen des Spaltenrasters EG1 zuordnen. Daher wird eine Zusammenballung bzw. Aggregation der Straßenoberflächenraster RG mit einem Spalt interpoliert.
Andererseits tastet die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße weiterhin entlang des Pfeils Y ab, nachdem die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass die Straßenoberflächenraster RG vom Fahrzeug zum Straßenoberflächenraster RG2 fortlaufend sind. Wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße das Nicht-Straßenoberflächenraster NG1 erfasst hat, bestimmt die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße, ob es ein Straßenoberflächenraster RG auf der weiter entfernt liegenden Seite gibt. Es gibt das Spaltenraster EG2 und das Straßenoberflächenraster RG3 auf der entfernt liegenden Seite des Nicht-Straßenoberflächenrasters NG1. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, ob die Kennzeichnung des Straßenoberflächenrasters RG2 gleich wie die Kennzeichnung des Straßenoberflächenrasters RG3 ist. Die Kennzeichnung des Straßenoberflächenrasters RG2 ist „1“, und die Kennzeichnung des Straßenoberflächenrasters RG3 ist „3“. Auf diese Weise erfasst die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße das Spaltenraster EG, das zwischen dem Paar von Straßenoberflächenrastern RG liegt, nicht als eine Oberfläche der befahrenen Straße, wenn die Kennzeichen, die jeweils mit Pixeln verknüpft sind, die zu einem Paar von Straßenoberflächenrastern RG gehören, die ein Spaltenraster EG umschließen, voneinander unterschiedlich sind. Das heißt, dass die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße das Spaltenraster EG2 nicht in ein Straßenoberflächenraster RG umwandelt. Genauer gesagt hält die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße das Straßenoberflächenflag des Spaltenrasters EG in den in 3A bis 3G gezeigten Datentabellen auf „-“. Auf diese Weise ist die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße dazu fähig, eine irrtümliche Erfassung eines Spaltenrasters EG als eine Fahroberfläche der befahrenen Straße zu vermeiden, das einem Pixel zwischen den Straßenoberflächenbereichen R1, R3 entspricht, wenn die Vielzahl von Straßenoberflächenbereichen R1, R2, R3 in dem Parallaxbild enthalten sind.
Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße führt den vorstehend erläuterten Vorgang für alle Such-IDs aus. Wie in 6B gezeigt wird eine Zusammenballung von Straßenoberflächenrastern RG interpoliert. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße wählt eine Zusammenballung, die am nächsten beim Fahrzeug liegt, aus einer Vielzahl von Zusammenballungen von Straßenoberflächenrastern RG aus. Beispielsweise wählt in der in 6B gezeigten Situation die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße eine Zusammenballung RX von Straßenoberflächenrastern RG aus. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße erfasst den Bereich der Zusammenballung RX der Straßenoberflächenraster RG als eine Oberfläche der befahrenen Straße auf der Rasterkarte G2. Auf diese Weise erfasst die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße eine Oberfläche der befahrenen Straße unter der Annahme, dass die Zusammenballung von Straßenoberflächenrastern RG keinen Spalt aufweist, wenn eine Zusammenballung von Straßenoberflächenrastern RG einen Spalt aufweist.
Verfahren zur Erfassung einer Oberfläche der befahrenen Straße für die Vorrichtung zur Erfassung der Oberfläche der befahrenen Straße
Als Nächstes wird ein Verfahren zur Erfassung der Oberfläche der befahrenen Straße für die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße mit Bezug auf die beigefügten Figuren beschrieben. 7 ist ein Ablaufplan, der ein Beispiel des Verfahrens zur Erfassung der Oberfläche der befahrenen Straße zeigt, das von der Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße verwendet wird. Der in 7 gezeigte Ablaufplan wird beispielsweise in vorab festgelegten Zeitintervallen ausgeführt, während das Fahrzeug durch eine Maschine bzw. Brennkraftmaschine angetrieben wird.
Wie in 7 gezeigt nimmt die ECU 2 ein Bild unter Verwendung der Bildaufnahmeeinheit 10 im Schritt S101 auf. Die Bildaufnahmeeinheit 10 nimmt ein Parallaxbild um das Fahrzeug aus der Stereo-Kamera 3 auf.
Anschließend führt die ECU 2 im Schritt S102 durch die Bereichsbestimmungseinheit 11 für jedes Pixel (jeden Einheitsbereich) den Vorgang der Bestimmung durch, ob ein Pixel ein Straßenoberflächenbereich ist (Bereichsbestimmungsschritt). Die Bereichsbestimmungseinheit 11 schätzt einen Straßenoberflächengradienten für jeden Pixel unter Verwendung statistischer Daten ab, die vorab aufgenommen wurden und die Beziehung zwischen der Tiefeninformation und einem Straßenoberflächengradienten anzeigen. Anschließend nimmt die Bereichsbestimmungseinheit 11 die Höheninformation Hy entsprechend der y-Koordinate im Parallaxbild jedes abgeschätzten Straßenoberflächengradienten unter Verwendung der Tiefeninformation des zugehörigen Pixels (x-Koordinate, y-Koordinate) und des abgeschätzten Straßenoberflächengradienten auf. Die Bereichsbestimmungseinheit 11 vergleicht die y-Koordinate mit der Höheninformation Hy. Wenn der Unterschied kleiner als ein vorab festgelegter Wert ist, bestimmt die Bereichsbestimmungseinheit 11, dass der abgeschätzte Pixel ein Straßenoberflächenbereich ist, während die Bereichsbestimmungseinheit 11 bestimmt, dass der beabsichtigte Pixel kein Straßenoberflächenbereich ist, wenn der Unterschied größer als der oder gleich dem vorab festgelegten Wert ist.
Anschließend führt die ECU 2 im Schritt S103 den Vorgang der Kennzeichnung jedes Pixels (jedes Einheitsbereichs) unter Verwendung der Bereichsidentifizierungseinheit 12 durch. Die Bereichsidentifizierungseinheit 12 verknüpft eine Kennzeichnung, die den zugehörigen Straßenoberflächenbereich identifiziert, mit jedem Pixel, das von der Bereichsbestimmungseinheit 11 als der Straßenoberflächenbereich bestimmt wurde, auf der Grundlage der Koordinatenposition des Pixels, das von der Bereichsbestimmungseinheit 11 als der Straßenoberflächenbereich bestimmt wurde.
Anschließend führt die ECU 2 im Schritt S104 einen Projektionsvorgang (Koordinatentransformationsvorgang) auf die Rasterkarte unter Verwendung der Koordinatentransformationseinheit 13 durch. Die Koordinatentransformationseinheit 13 verknüpft jeden Pixel mit einem Raster in der Rasterkarte (einem Beispiel einer Karte) auf der Grundlage der Parallaxeninformation und der Koordinatenposition des Pixels (des Einheitsbereichs). Der Blickpunkt der Rasterkarte wird so festgelegt, dass er höher als der Blickpunkt des Parallaxbilds G1 ist. Die Rasterkarte wird erhalten, indem eine Fläche, die sich vor dem Fahrzeug verteilt (ein Beispiel eines Bereichs um das Fahrzeug), in einem Raster aufgeteilt wird.
Anschließend führt die ECU 2 im Schritt S105 den Vorgang der Ausgabe von Informationen über die Oberfläche der befahrenen Straße (Erfassungsschritt) unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße durch. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße gibt beispielsweise die Information über die Oberfläche der befahrenen Straße aus, dass eine Zusammenballung von Straßenoberflächenrastern RG, die am Nächsten bei dem Fahrzeug liegen, eine Oberfläche einer befahrenen Straße ist. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße gibt beispielsweise die Information über die Oberfläche der befahrenen Straße an eine ECU aus, die das Fahrzeug automatisch steuert, oder eine ECU, die das Fahren des Fahrzeugs unterstützt. Wenn der Schritt S105 endet, beendet die ECU 2 den in 7 gezeigten Ablaufplan.
Die Einzelheiten des Ablaufs des in 7 gezeigten Schritts S105 werden in 8 gezeigt. 8 ist ein Ablaufplan, der ein Beispiel des Vorgangs der Ausgabe von Information über die Oberfläche der befahrenen Straße durch die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße zeigt.
Wie in 8 gezeigt führt die ECU 2 den Vorgang des Festlegens einer zu verarbeitenden Such-ID unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße im Schritt S200 aus. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße wählt eine zu verarbeitende Such-ID aus einer Vielzahl von Such-IDs aus und legt sie fest.
Anschließend führt die ECU 2 im Schritt S201 den Vorgang des Extrahierens von Rastern unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße durch. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße extrahiert alle beabsichtigten Raster auf die Rasterkarte G2 auf der Grundlage der Such-ID, die im Schritt S200 festgelegt ist.
Anschließend führt die ECU 2 im Schritt S202 den Vorgang des Festlegens von zu verarbeitenden Rastern unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße durch. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße legt zu verarbeitende Raster auf der Grundlage der in Schritt S200 festgelegten Such-ID fest. Beispielsweise ordnet die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße alle beabsichtigten bzw. vorab festgelegten Raster auf der Rasterkarte G2 in der Reihenfolge des Abstands zum Fahrzeug an und wählt ein zu verarbeitendes Raster. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße wählt ein Raster so aus, dass ein Raster vorzugsweise verarbeitet wird, wenn sich der Abstand zum Raster verringert.
Anschließend führt die ECU 2 im Schritt S204 einen Vorgang zur Bestimmung eines Straßenoberflächenrasters unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße durch. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, ob das im Schritt S202 festgelegte Raster ein Straßenoberflächenraster RG oder ein Nicht-Straßenoberflächenraster NG ist. Das heißt, dass die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, ob das im Schritt S202 festgelegte Raster ein Spaltenraster EG ist. Wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass das in Schritt S202 festgelegte Raster ein Straßenoberflächenraster RG oder ein Nicht-Straßenoberflächenraster NG ist (JA in S204), geht die ECU 2 im Ablauf zum Schritt S207 weiter. Das heißt, dass die ECU 2 im Ablauf zum Schritt S207 weitergeht, wenn das im Schritt S202 festgelegte Raster kein Spaltenraster ist. Andererseits geht die ECU 2 im Vorgang zum Schritt S205 weiter, wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass das im Schritt S202 festgelegte Raster weder ein Straßenoberflächenraster RG noch ein Nicht-Straßenoberflächenraster NG ist (NEIN im S204). Das heißt, wenn das im Schritt S202 festgelegte Raster ein Spaltenraster ist, geht die ECU 2 im Vorgang zum Schritt S205 weiter.
Die ECU 2 führt den Vorgang zur Bestimmung des gleichen Kennzeichens unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße im Schritt S205 durch. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, ob das Spaltenraster EG, das das im Schritt S202 festgelegte Raster ist, zwischen Straßenoberflächenrastern RG mit dem gleichen Kennzeichen angeordnet ist. Wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass das Spaltenraster EG zwischen Straßenoberflächenrastern RG mit demselben Kennzeichen angeordnet ist (JA in S205), geht die ECU 2 im Vorgang zum Schritt S206 weiter. Andererseits geht die ECU 2 im Vorgang zum Schritt S207 weiter, wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass das Spaltenraster EG nicht zwischen Straßenoberflächenrastern RG mit demselben Kennzeichen angeordnet ist (NEIN in S205).
Die ECU 2 führt im Schritt S206 einen Interpolationsvorgang unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße durch. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße ändert das Spaltenraster EG, das das im Schritt S202 festgelegte Raster ist, in ein Straßenoberflächenraster RG. Danach geht die ECU 2 im Ablauf zum Schritt S207 weiter.
Die ECU 2 führt im Schritt S207 den Vorgang des Bestimmens durch, ob der Ablauf für alle Raster abgeschlossen wurde, die im Schritt S201 unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße extrahiert wurden. Wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass der Vorgang nicht für alle Raster abgeschlossen wurde (NEIN in S207), kehrt die ECU 2 zum Schritt S202 zurück und führt den Vorgang des Festlegens des nächsten Rasters aus, das zu verarbeiten ist. Das heißt, bis die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass der Vorgang für alle Raster abgeschlossen wurde, die im Schritt S201 extrahiert wurden (JA in S207), führt die ECU 2 wiederholt Schritt S202 bis Schritt S207 durch. Daher wird ein Suchen für einen der in 6A gezeigten Pfeile abgeschlossen, und das Spaltenraster EG, das eine Bedingung erfüllt, wird in ein Straßenoberflächenraster RG umgewandelt.
Wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass der Vorgang für alle Raster abgeschlossen wurde (JA in S207), führt die ECU 2 unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße den Vorgang durch, um zu bestimmen, ob der Vorgang für alle Such-IDs abgeschlossen wurde. Wenn die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass der Vorgang nicht für alle Such-IDs abgeschlossen wurde (NEIN in S208), kehrt die ECU 2 zum Schritt S200 zurück und führt den Vorgang zum Bestimmen der nächsten zu verarbeitenden Such-ID aus. Das heißt, bis die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße bestimmt, dass der Vorgang für alle Such-IDs abgeschlossen wurde (JA in S208), führt die ECU 2 wiederholt Schritt S200 bis S208 aus. So wird die Suche für alle in 6A gezeigten Pfeile abgeschlossen.
Anschließend führt die ECU 2 im Schritt S209 den Vorgang der Ausgabe von Information über die Oberfläche der befahrenen Straße unter Verwendung der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße aus. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße erfasst eine Zusammenballung, die durch Verbinden kontinuierlicher Straßenoberflächenraster RG erhalten wird, die in jeder Suchrichtung bestimmt werden, als eine Oberfläche der befahrenen Straße auf der Rasterkarte G2. Die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße gibt Information über die erfasste Oberfläche der befahrenen Straße (Information über die Oberfläche der befahrenen Straße) beispielsweise an eine andere ECU oder dergleichen aus. Mit Ende des Ablaufs des Schritts S209 endet der in 8 gezeigte Ablaufplan.
Betrieb und vorteilhafte Effekte einer Vorrichtung zur Erfassung einer Oberfläche einer befahrenen Straße und eines Verfahrens zur Erfassung der Oberfläche der befahrenen Straße
Mit der vorstehend beschriebenen Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße (dem Verfahren zur Erfassung der Oberfläche der befahrenen Straße) wird jedes Spaltenraster EG, das zwischen Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet ist, von der Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße als eine Oberfläche der befahrenen Straße auf der Rasterkarte G2 erfasst, nachdem die Koordinatentransformationseinheit 13 eine Koordinatentransformation aus dem Parallaxbild G1 in die Rasterkarte G2 durchführt. Daher ist es mit der Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße beispielsweise selbst dann, wenn Bereiche auf der Rasterkarte G2, die den Straßenoberflächenbereichen R1, R2, R3 entsprechen, zu der Zeit unterbrochen sind, zu der das Parallaxbild G1, das die Straßenoberflächenbereiche R1, R2, R3 umfasst, einer Koordinatentransformation überzogen und auf die Rasterkarte G2 projiziert wird, möglich, eine Oberfläche der befahrenen Straße durch Interpolieren von unterbrochenen Bereichen zu erfassen. Daher ist diese Vorrichtung dazu fähig, eine schlechtere Genauigkeit der Erfassung einer Oberfläche der befahrenen Straße zu verbessern.
Mit der Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße (dem Verfahren zur Erfassung der Oberfläche der befahrenen Straße) ist die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße dazu fähig, jedes Spaltenraster EG, das zwischen Straßenoberflächenrastern RG liegt, die in einer von sich radial erstreckenden Richtungen mit Bezug auf die Positionen der Stereo-Kamera 3 angeordnet sind, auf der Rasterkarte G2 für das Spaltenraster EG festzulegen, das zwischen Straßenoberflächenrastern RG auf der Rasterkarte G2 liegt. Beispielsweise gibt es eine Befürchtung, dass ein Spaltenraster EG hinter einem Hindernis, das von der Stereo-Kamera 3, die ein Überwachungspunkt ist, nicht erkannt werden kann, als eine Oberfläche einer befahrenen Straße erfasst wird, wenn die Vorrichtung beispielsweise dazu aufgebaut ist, jedes Spaltenraster EG, das zwischen Straßenoberflächenrastern RG liegt, die in der Querrichtung (Fahrzeugbreitenrichtung) mit Bezug auf die Position der Stereo-Kamera 3 auf der Rasterkarte G2 angeordnet sind, als eine Oberfläche der befahrenen Straße zu erfassen. Dagegen tastet die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße in sich radial erstreckenden Richtungen mit Bezug auf die Position der Stereo-Kamera 3 auf der Rasterkarte G2 ab. Daher legt die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße jedes Spaltenraster EG, das zwischen Straßenoberflächenrastern RG liegt, die in einer der sich radial erstreckenden Richtungen mit Bezug auf die Position der Stereo-Kamera 3 angeordnet sind, als das Spaltenraster EG fest, das zwischen Straßenoberflächenrastern RG auf der Rasterkarte G2 angeordnet ist. Daher ist die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße beispielsweise dazu fähig, eine irrtümliche Erfassung eines Spaltenrasters EG hinter einem Hindernis als eine Oberfläche einer befahrenen Straße zu vermeiden.
Mit der Vorrichtung 1 zur Erfassung der Oberfläche einer befahrenen Straße (dem Verfahren zur Erfassung der Oberfläche einer befahrenen Straße) kann die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße dazu aufgebaut sein, das zwischen dem Paar von Straßenoberflächenrastern RG liegende Spaltenraster EG nicht als eine Oberfläche der befahrenen Straße zu erfassen, wenn Kennzeichen, die jeweils mit Pixeln verknüpft sind, die zu einem Paar der Straßenoberflächenraster RG passen, zwischen denen das Spaltenraster EG liegt, voneinander verschieden sind. In diesem Fall ist die Vorrichtung 1 zur Erfassung der Oberflächen der befahrenen Straße beispielsweise dann, wenn die Vielzahl von Straßenoberflächenbereichen R1, R2, R3 in dem Parallaxbild G1 enthalten sind, dazu fähig, eine irrtümliche Erfassung eines Spaltenrasters EG, das zu einem Pixel zwischen Straßenoberflächenbereichen gehört, als eine Oberfläche der befahrenen Straße zu vermeiden.
Die Ausführungsform der Erfindung wird vorstehend beschrieben, die Erfindung ist jedoch nicht auf die vorstehend beschriebene Ausführungsform beschränkt. Beispielsweise wird in der vorstehend beschriebenen Ausführungsform das Beispiel beschrieben, in dem die ECU 2 die Bildaufnahmeeinheit 10, die Bereichsbestimmungseinheit 11, die Bereichsidentifizierungseinheit 12, die Koordinatentransformationseinheit 13 und die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße (Erfassungseinheit) umfasst. Die ECU 2 muss jedoch nicht notwendig die Bereichsidentifizierungseinheit 12 umfassen.
In der vorstehend beschriebenen Ausführungsform wird die Vorrichtung 1 zur Erfassung der Oberflächen der befahrenen Straße als eine Vorrichtung beschrieben, die an dem Fahrzeug montiert ist; die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße ist jedoch nicht auf eine Vorrichtung im Fahrzeug beschränkt. Beispielsweise kann die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Stra-ße ein Server oder dergleichen sein, der außerhalb des Fahrzeugs aufgebaut ist und der dazu fähig ist, über Kommunikation ein Parallaxbild aufzunehmen.
In der vorstehend beschriebenen Ausführungsform sind beispielhaft die erste Kamera 4 und die zweite Kamera 5 auf der Rückseite der Windschutzscheibe des Fahrzeugs vorgesehen, die Bilder vor dem Fahrzeug aufnehmen; die Einbauposition der ersten Kamera 4 und der zweiten Kamera 5 ist jedoch nicht auf diese Position beschränkt. Beispielsweise können die erste Kamera 4 und die zweite Kamera 5 an der Seite des Fahrzeugs oder auf der Rückseite (beispielsweise der Rückseite eines Heckfensters) des Fahrzeugs vorgesehen sein, und können Bilder von der Seite oder hinter dem Fahrzeug aufnehmen. In diesem Fall muss die Koordinatentransformationseinheit 13 nur eine Rasterkarte so vorbereiten, dass der Blickpunkt der Rasterkarte so eingestellt ist, dass er höher als der Blickpunkt eines Parallaxbilds ist, und ein Bereich auf der Seite oder hinter dem Fahrzeug in ein Raster unterteilt wird, und dann den Koordinatentransformationsvorgang ausführen. Das heißt, dass die Koordinatentransformationseinheit 13 lediglich eine Rasterkarte vorbereiten muss, in der ein Bereich um das Fahrzeug in ein Raster passend zu einer Richtung unterteilt ist, in der ein Parallaxbild aufgenommen wird. Mit diesem Aufbau ist die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Straße beispielsweise selbst dann, wenn das Fahrzeug rückwärts fährt, dazu fähig, eine schlechte Genauigkeit der Erfassung einer Oberfläche einer befahrenen Straße zu verbessern.
In der vorstehend beschriebenen Ausführungsform wird die Rasterkarte G2 in der Draufsicht beschrieben; die Rasterkarte ist jedoch nicht auf eine Karte in der Draufsicht beschränkt. Die Rasterkarte kann eine Vogelperspektive sein, bei der der Blickpunkt so eingestellt ist, dass er höher als der Blickpunkt des Parallaxbilds G1 ist. 5B zeigt ein Beispiel der Rasterkarte G2 entsprechend dem vorab festgelegten Bereich A1 im Parallaxbild G1. Die Größe des vorab festgelegten Bereichs A1 kann beliebig eingestellt werden. Beispielsweise kann das Gesamtparallaxbild G1 für die vorab festgelegte Fläche A1 eingestellt sein.
In der vorstehend beschriebenen Ausführungsform wird das Beispiel beschrieben, in dem die Vorrichtung 1 zur Erfassung der Oberfläche der befahrenen Stra-ße mit der Stereo-Kamera 3 verbunden ist. Statt der Stereo-Kamera 3 kann eine monokulare Kamera vorgesehen sein. Mit einer monokularen Kamera ist es möglich, ein Parallaxbild unter Verwendung einer bekannten Technik (beispielsweise einer Technik, die einen Zeitunterschied bei der Aufnahme eines Bilds im fahrenden Fahrzeug verwendet) zu erhalten.
In der vorstehend beschriebenen Ausführungsform wird das Beispiel beschrieben, in dem die Einheit 14 zur Ausgabe von Information über die Oberfläche der befahrenen Straße jedes Spaltenraster EG, das zwischen Straßenoberflächenrastern RG angeordnet ist, in ein Straßenoberflächenraster RG umwandelt. Es ist jedoch nicht stets nötig, den Vorgang des Umwandelns des Spaltenrasters EG in ein Straßenoberflächenraster RG auszuführen. Eine Oberfläche der befahrenen Straße kann unter der Annahme erfasst werden, dass zu der Zeit, zu der schließlich eine Verbindung der Straßenoberflächenraster RG bestimmt ist, jedes Spaltenraster EG ein Straßenoberflächenraster RG ist. Ein solcher Vorgang kann beispielsweise durch Verwenden eines Flags zur Annahme eines Straßenoberflächenrasters oder dergleichen implementiert sein.
Zusammenfassend leistet die Erfindung Folgendes:
Es wird eine Vorrichtung bereitgestellt, die eine Oberfläche einer befahrenen Stra-ße auf der Grundlage eines Parallaxbilds um ein Fahrzeug erfasst. Das Parallaxbild wird durch eine Kamera im Fahrzeug aufgenommen. Die Vorrichtung umfasst Folgendes: eine Bereichsbestimmungseinheit, die auf der Grundlage von Parallaxinformationen des Parallaxbilds für jeden Einheitsbereich des Parallaxbilds bestimmt, ob ein Einheitsbereich ein Straßenoberflächenbereich oder ein Nicht-Straßenoberflächenbereich ist; eine Koordinatentransformationseinheit, die jeden Einheitsbereich mit einem Raster in einer Karte auf der Grundlage von Parallaxinformationen und Koordinatenpositionen des Einheitsbereichs verknüpft, wobei ein Blickpunkt der Karte so eingestellt ist, dass er höher als ein Blickpunkt des Parallaxbilds ist, wobei die Karte durch Unterteilen eines Bereichs um das Fahrzeug in einem Raster erhalten wird; und eine Erfassungseinheit, die Straßenoberflächenraster erfasst und jedes Raster, das zwischen den Straßenoberflächenrastern angeordnet ist, als die Fläche der befahrenen Straße auf der Karte erfasst, wobei die Raster der Straßenoberfläche die Raster sind, die zu den Einheitsbereichen passen, die als die Straßenoberflächenbereiche bestimmt sind.

Claims

Vorrichtung (1) zur Erfassung einer Oberfläche einer befahrenen Straße, die eine Oberfläche einer befahrenen Straße auf der Grundlage eines durch eine Kamera (3) im Fahrzeug aufgenommenen Parallaxbilds (G1) um ein Fahrzeug erfasst, wobei die Vorrichtung (1) zur Erfassung der Oberfläche der befahrenen Straße Folgendes umfasst: eine Bereichsbestimmungseinheit (11), die auf der Grundlage von Parallaxinformation des Parallaxbilds (G1) für jeden Einheitsbereich des Parallaxbilds (G1) bestimmt, ob ein Einheitsbereich ein Bereich einer befahrenen Straßenoberfläche (R) oder ein Nicht-Straßenoberflächenbereich (K1, K2, K3, K4, H1, H2) ist, wobei jeder Einheitsbereich einen oder mehrere Pixel umfasst; eine Koordinatentransformationseinheit (13), die jeden Einheitsbereich mit einem Raster in einer Karte auf der Grundlage der Parallaxinformation und Koordinatenpositionen des einen oder der mehreren Pixel des Einheitsbereichs verknüpft, wobei ein Blickpunkt der Karte so eingestellt wird, dass er höher als ein Blickpunkt des Parallaxbilds (G1) ist, wobei die Karte durch Aufteilen eines Bereichs um das Fahrzeug in ein Raster erhalten wird; und eine Erfassungseinheit (14), die Straßenoberflächenraster und jedes Raster, das zwischen den Straßenoberflächenrastern auf der Karte angeordnet ist, als die befahrene Straßenoberfläche (R) auf der Karte erfasst, wobei die Straßenoberflächenraster die Raster sind, die den Einheitsbereichen entsprechen, die die Bereichsbestimmungseinheit (11) als die Bereiche der befahrenen Straßenoberfläche (R) bestimmt hat, gekennzeichnet durch eine Bereichsidentifizierungseinheit (12), die auf der Grundlage einer Koordinatenposition oder einer Pixelinformation jedes Einheitsbereichs, der als der Bereich der befahrenen Straßenoberfläche (R) von der Bereichsbestimmungseinheit (11) bestimmt wird, Identifizierungsinformation, die den zugehörigen Bereich der befahrenen Straßenoberfläche (R) identifiziert, mit jedem Einheitsbereich verknüpft, der von der Bereichsbestimmungseinheit (11) als der Bereich der befahrenen Straßenoberfläche (R) bestimmt wird, wobei wenn die Teile der Identifizierungsinformation, die jeweils mit den Einheitsbereichen verknüpft sind, die einem Paar der Straßenoberflächenraster entsprechen, die das Raster zwischen sich aufnehmen, voneinander unterschiedlich sind, die Erfassungseinheit (14) das Raster, das zwischen dem Paar der Straßenoberflächenraster liegt, nicht als die befahrene Straßenoberfläche (R) erfasst.
Vorrichtung (1) zur Erfassung einer Oberfläche der befahrenen Straße nach Anspruch 1, wobei die Erfassungseinheit (14) die befahrene Straßenoberfläche (R) auf der Karte erfasst, indem sie jedes Raster festlegt, das zwischen den Straßenoberflächenrastern liegt, die in einer von sich radial erstreckenden Richtungen ausgehend von einer Position der Kamera (3) im Fahrzeug auf der Karte für das Raster angeordnet sind, das zwischen den Straßenoberflächenrastern auf der Karte angeordnet ist.
Verfahren zur Erfassung der Oberfläche der befahrenen Straße, das eine befahrene Straßenoberfläche (R) auf der Grundlage eines Parallaxbilds (G1) um ein Fahrzeug erfasst, wobei das Parallaxbild (G1) durch eine Kamera (3) in dem Fahrzeug aufgenommen wird, wobei das Verfahren zur Erfassung der befahrenen Straßenoberfläche (R) Folgendes umfasst: Bestimmen (S102), ob ein Einheitsbereich ein Straßenoberflächenbereich oder ein Nicht-Straßenoberflächenbereich ist, für jeden Einheitsbereich des Parallaxbilds (G1) auf der Grundlage der Parallaxinformation des Parallaxbilds (G1), wobei jeder Einheitsbereich einen oder mehrere Pixel umfasst; Verknüpfen (S104) jedes Einheitsbereichs mit einem Raster in einer Karte auf der Grundlage von Parallaxinformation und Koordinatenpositionen des Einheitsbereichs, wobei ein Blickpunkt auf die Karte so eingestellt ist, dass er höher als ein Blickpunkt des Parallaxbilds (G1) ist, wobei die Karte durch Aufteilen eines Bereichs um das Fahrzeug in ein Raster erhalten wird; und Erfassen (S105) von Straßenoberflächenrastern und jedes Rasters, das zwischen den Straßenoberflächenrastern angeordnet ist, auf der Karte als die Oberfläche der befahrenen Straße auf der Karte, wobei die Straßenoberflächenraster die Raster sind, die den Einheitsbereichen entsprechen, die als die Bereiche der befahrenen Straßenoberfläche (R) bestimmt wurden, gekennzeichnet durch Identifizieren eines Bereichs auf der Grundlage einer Koordinatenposition oder einer Pixelinformation jedes Einheitsbereichs, der als der Bereich der befahrenen Straßenoberfläche (R) von der Bereichsbestimmungseinheit (11) bestimmt wird, durch Verknüpfen von Identifizierungsinformation, die den zugehörigen Bereich der befahrenen Straßenoberfläche (R) identifiziert, mit jedem von der Bereichsbestimmungseinheit (11) als der Bereich der befahrenen Straßenoberfläche (R) bestimmten Einheitsbereich, wobei wenn die Teile der Identifizierungsinformation, die jeweils mit den Einheitsbereichen verknüpft sind, die einem Paar der Straßenoberflächenraster entsprechen, die das Raster zwischen sich aufnehmen, voneinander unterschiedlich sind, das Raster, das zwischen dem Paar der Straßenoberflächenraster liegt, nicht als die befahrene Straßenoberfläche (R) erfasst wird.