-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Detektieren eines kritischen Bereiches und eine Fußgängerdetektionsvorrichtung unter Verwendung derselben. Genauer gesagt betrifft die vorliegende Erfindung eine Vorrichtung zum Schützen von Fußgängern durch Lokalisieren von Hindernissen in der Umgebung eines betreffenden Fahrzeugs und danach Suchen nach Fußgängern unter den Hindernissen und ein Verfahren dafür.
-
HINTERGRUND DER ERFINDUNG
-
Herkömmliche Fußgängerdetektionssysteme basieren auf Suchen nach allen Fußgängern, die vor einem Fahrzeug auftauchen. Bei genannten Fußgängerdetektionssystemen werden potentielle Fußgänger unter Verwendung von menschlichen Eigenschaften, wie zum Beispiel Beinbewegungsmuster, Symmetrie, Gestalt, Bewegung und Periodizität, lokalisiert. Wenn eine Fusion von unterschiedlichen Messtechnologien verwendet wird, spüren die jeweiligen Sensoren fußgängerspezifische Merkmale auf, während sie einen hohen oder einen niedrigen Pegel erreichen.
-
Diese Lösungsansätze der herkömmlichen Fußgängerdetektionssysteme schaffen es nicht, ein optimales Ergebnis zu erzeugen, weil sie geeignet sind, gewisse allgemeine städtische Umgebungen zu erkennen und Fußgänger in einem großen Bereich vor dem Fahrzeug zu detektieren.
-
DE 102 20 837 A1 beschreibt eine Vorrichtung zur Erkennung von Parklücken für Fahrzeuge, welche über eine entfernungsmessende Strahlsensorik verfügt, um freie Bereiche im Verkehrsraum, welche potentiell eine Parklücke darstellen könnten, zu detektieren, und welcher eine Einheit zur Signalverarbeitung zugeordnet ist, um im Anschluss an die Detektion des freien Verkehrsraumes diesen auf seine Abmaße und seine Eignung bezüglich einer Möglichkeit zum Einparken hin zu untersuchen.
-
US 2004 / 0 252 862 A1 beschreibt ein Bildverarbeitungssystem für ein Fahrzeug, das Objekte identifiziert und klassifiziert, die sich in der Nähe eines Fahrzeugs befinden. Das System umfasst ein Sensorarray, das Bilder erzeugt, die verarbeitet werden, um Tiefenkarten der Szene in der Nähe eines Fahrzeugs zu erzeugen. Die Tiefenkarten werden verarbeitet und mit vorgerenderten Vorlagen von Zielobjekten verglichen, die in der Nähe des Fahrzeugs erscheinen könnten.
-
DE 103 41 753 A1 beschreibt eine Vorrichtung zur Detektion einer Annäherung an einen Fußgängerüberweg in einem Fahrzeug, wobei die Vorrichtung ein die Annäherung kennzeichnendes Signal erzeugt und in Abhängigkeit von dem erzeugten Signal eine Umfeldsensorik aktiviert, so dass die Umfeldsensorik einen Verdeckungsgrad des Fußgängerüberwegs bestimmt.
-
DE 103 19 700 A1 beschreibt ein Verfahren zur Ermittlung einer Wahrscheinlichkeit für eine Kollision zwischen einem Fahrzeug und einem Gegenstand auf der Basis von tiefenaufgelösten Bildern eines Überwachungsbereichs in wenigstens einer Ebene, in dem sich der Gegenstand befindet, und einer aktuellen Relativgeschwindigkeit des Gegenstands gegenüber dem Fahrzeug wenigstens in der Ebene, bei dem für den Gegenstand und für das Fahrzeug in einer geschätzten Kollisionslage, die der Gegenstand und das Fahrzeug relativ zueinander bei einer Kollision einnehmen, jeweils eine auf eine Projektionsgerade, die im Wesentlichen orthogonal zu einer geschätzten Relativgeschwindigkeit bei Erreichen der Kollisionslage orientiert ist, projizierte Kontur und deren Lage zueinander ermittelt werden, eine Überdeckung der projizierten Konturen ermittelt wird, und in Abhängigkeit von der Überdeckung der beiden projizierten Konturen die Kollisionswahrscheinlichkeit bestimmt wird.
-
Zur Lösung der oben genannten Probleme ist die vorliegende Erfindung gestaltet, um in einem besonders anspruchsvollen Stadtszenario zu arbeiten, so dass auf eine Suche nach stillstehenden Fahrzeugen vorrangiges Suchen nach Fußgängern in unmittelbarer Nähe der abgesuchten Fahrzeuge oder in unsichtbaren Bereichen hinter den Fahrzeugen folgt.
-
In Übereinstimmung mit der vorliegenden Erfindung werden eine Fußgängerdetektionsvorrichtung zum Detektieren von Fußgängern um ein Fahrzeug mit den im Anspruch 1 definierten Merkmalen, eine Detektionseinrichtung zum Detektieren eines kritischen Bereichs mit den im Anspruch 4 definierten Merkmalen und ein Verfahren zum Detektieren eines kritischen Bereichs mit den im Anspruch 11 definierten Merkmalen bereitgestellt.
-
Vorteilhafte Weiterbildungen ergeben sich aus den abhängigen Unteransprüchen.
-
Wie oben beschrieben, wird gemäß der vorliegenden Erfindung bei Detektion von jeder speziellen Umgebungsstruktur, das heißt angehaltenen Fahrzeugen, die die Fußgänger verdecken können, deren mögliches Vorhandensein in speziellen Bereichen überprüft, wodurch eine neuartige Fußgängerdetektionsvorrichtung implementiert wird, um Verkehrssicherheit zu fördern und irgendwelche möglichen Kollisionen mit schwachen Straßenbenutzern zu vermeiden.
-
Diese Lösung konzentriert sich auch auf eine besonders kritische Umgebung, typisch für städtische Unfälle.
-
Neben der direkten Detektion von gefährlichen Situationen erhöht die vorliegende Erfindung auch die Zeitsteuerleistung, da der rechenintensive Teil - die bildgestützte Fußgängererkennung - nur auf begrenzten Abschnitten des Bildes durchgeführt wird.
-
Nachfolgend werden bevorzugte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben werden. In der folgenden Beschreibung werden dieselben Elemente mit denselben Bezugszahlen gekennzeichnet werden, obwohl sie in unterschiedlichen Zeichnungen gezeigt sind. Außerdem wird in der folgenden Beschreibung der vorliegenden Erfindung eine ausführliche Beschreibung von bekannten Funktionen und Konfigurationen, die hierin enthalten sind, weggelassen werden, wenn dadurch der Gegenstand der vorliegenden Erfindung eher unklar würde.
-
Figurenliste
-
Die obigen und weiteren Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden anhand der folgenden ausführlichen Beschreibung in Verbindung mit den beigefügten Zeichnungen ersichtlicher werden, in denen:
- 1A bis 1C darstellen, wie ein Fußgänger vor einem Fahrzeug in Abhängigkeit von der Umgebung gemäß einer Ausführungsform der vorliegenden Erfindung als gefährlich oder nicht angesehen werden kann;
- 2A bis 2D unterschiedliche betrachtete Situationen und hinsichtlich möglicher Fußgänger zu detektierende Bereiche gemäß einer Ausführungsform der vorliegenden Erfindung darstellen;
- 3 ein Testfahrzeug gemäß einer Ausfuhrungsform der vorliegenden Erfindung darstellt;
- 4A und 4B Rohlaserdaten und korrigierte Daten bezüglich sich nicht bewegender Hindernisse darstellen;
- 5 ein sich bewegendes Fahrzeug darstellt, wobei eine einzige Linie einer Fahrzeugseite entspricht und vier parallele Linien seiner Stoßstange entsprechen;
- 6A bis 6C Schritte des Linienzusammenfügealgorithmus zum Lokalisieren und Klassifizieren von statischen und sich bewegenden Hindernissen darstellen;
- 7 eine Hindernisklassifikation darstellt;
- 8 eine Hindernisklassifikation und einen Gefahrenbereich darstellt;
- 9 korrekt identifizierte Fußgänger darstellt;
- 10 korrekt identifizierte Hindernisse darstellt;
- 11 ein zum Zusammenfügen von Bild- und Laserscannerdaten verwendetes Schema darstellt;
- 12 ein Blockdiagramm einer elektronischen Konstruktion einer Fußgängerdetektionsvorrichtung unter Verwendung von Detektion von kritischen Bereichen gemäß einer Ausführungsform der vorliegenden Erfindung zeigt; und
- 13 ein Ablaufdiagramm zur Darstellung eines Verfahrens zum Detektieren eines kritischen Bereiches gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
-
AUSFÜHRLICHE BESCHREIBUNG VON BEISPIELHAFTEN AUSFÜHRUNGSFORMEN
-
Einleitung
-
Die vorliegende Erfindung schlägt ein Fußgängerdetektionssystem auf der Grundlage eines neuen Lösungsansatzes vor. Insbesondere ist die vorliegende Erfindung entwickelt worden, um in einem besonders anspruchsvollen Stadtszenario zu bearbeiten, in dem traditionelle Fußgängerdetektionslösungsansätze keine optimalen Ergebnisse liefern konnten. Anstelle einer Suche nach Fußgängern in einem großen Bereich vor dem Fahrzeug mit dem System und in einer allgemeinen städtischen Situation, konzentriert sich außerdem das System gemäß der vorliegenden Erfindung auf ein spezielles Szenario, in dem nicht nur die Detektion von einem Fußgänger von grundlegender Bedeutung ist, sondern die Gefahr der Situation auch klar beurteilt werden kann.
-
In der Tat stellt eine korrekte Detektion in einem Fahrzeugsystem gerade die erste Phase eines erfolgreichen Produkts dar: Die Lokalisierung eines Verkehrsschildes/einer Verkehrsampel/eines Hindernisses oder eines Fußgänger ohne korrespondierende Anzeige seiner bzw. ihrer Position in Bezug auf das Fahrzeug und die Umgebung bringt nur sehr wenig Information, was das Detektionssystem unvollständig macht. Beispielsweise ein Fußgängerdetektionssystem, das alle in der Szene vorhandenen Fußgänger korrekt lokalisieren kann, liefert ein großes Maß an Information, die unverändert gefiltert werden muss, um entweder für den Fahrer oder den on-Board-Computer für automatische Manöver nützlich zu sein. Ein möglicher Filter kann durch Zusammenfügen von Informationen, die von anderen Systemen, wie zum Beispiel Spurdetektions- oder andere Maschinen zur Analyse von Situationen, eintreffen, und CAN (Controller Area Network)-Daten implementiert werden: ein Fußgänger genau vor dem Fahrzeug kann in Abhängigkeit von der Umgebung, wie in den 1A bis 1C gezeigt, als gefährlich angesehen werden oder nicht.
-
1A bis 1C stellen dar, wie ein Fußgänger vor dem Fahrzeug in Abhängigkeit von der Umgebung gemäß einer Ausführungsform der vorliegenden Erfindung als gefährlich angesehen werden kann oder nicht.
-
Wie in 1A gezeigt, kann die Detektionseinrichtung den Gefahrengrad nicht beurteilen, wenn zwar ein Fußgänger lokalisiert worden ist, aber kein Bezug zur Umgebung bereitgestellt wird. Wenn Umgebungsinformation hinzugefügt wird, kann genau derselbe Fußgänger zu einer Gefahr werden, wie in 1B dargestellt, oder als in Ordnung in einer sicheren Position angesehen werden, wie in 1C dargestellt.
-
Die vorliegende Erfindung nähert sich dem Problem auf entgegengesetzte Weise: Statt der Detektion aller möglichen Kandidaten und Herausfiltern derselben nach der Analyse der Umgebung beurteilt das System gemäß der vorliegenden Erfindung zunächst das Szenario und sucht dann nach möglichen Fußgängern an speziellen Positionen in dem speziellen Szenario.
-
Auf diese Weise sind alle Fußgänger, die detektiert werden, mögliche Gefahren und ist kein weiteres Filtern erforderlich (abgesehen von einer Validierung und einem möglichen finalen Verfolgungsschritt). Die Szenarien, die in dieser Offenbarung betrachtet werden, beziehen sich auf die sehr üblichen städtischen Situationen, in denen das Vorhandensein eines Fußgängers ein ernstes Problem darstellt, das durch eine frühe Detektion entschärft werden könnte. Insbesondere wenn sich Fahrzeuge auf einer städtischen Straße bewegen bzw. darauf fahren, ist die einzige Gefahr, die ein Fußgänger darstellen kann - was somit eine erfolgreiche Detektion erfordert - die Überquerung einer Straße. Umgekehrt schaffen angehaltene Fahrzeuge auf der Straße oder an den Straßenseiten eine vollständig neue Gruppe von Szenarien, in denen das Vorhandensein eines Fußgängers absolut gefährlich sein könnte. Die zugrunde liegende Idee der vorliegenden Erfindung besteht darin, angehaltene Fahrzeuge zu lokalisieren und danach nach Fußgängern in der unmittelbaren Nähe der Fahrzeuge oder in den durch diese verdeckten Bereichen zu suchen. Diese angehaltenen Fahrzeuge, deren bekannte Kanten die Suche nach Fußgängern auslösen werden, können geparkte Autos am Straßenrand, temporär angehaltene Fahrzeuge auf der Straße oder Fahrzeuge, die in einer Reihe vor einer Verkehrsampel, einem Zebrastreifen oder sich einfach in einem Stau befinden, Schlangestehen, sein.
-
2A bis 2D stellen unterschiedliche betrachtete Situationen und interessierende zu detektierende Bereiche mit möglichen Fußgängern gemäß einer Ausführungsform der vorliegenden Erfindung dar.
-
2A bis 2D stellen allgemein Situationen dar, die in dieser Erfindung betrachtet werden, wobei durch gestrichelte Kreise gekennzeichnete interessierende Bereiche zur Detektion eines möglichen Fußgängers betrachtet werden. In 2A wird ein überquerender Fußgänger durch ein geparktes Fahrzeug verdeckt. In 2B überquert ein Fußgänger die Straße hinter einem angehaltenen Bus. In 2C springt ein Fußgänger zwischen zwei geparkten Fahrzeugen hervor. 2D zeigt einen Fußgänger, der die Straße zwischen zwei angehaltenen Fahrzeugen auf der anderen Seite der Straße überquert. Es ist wichtig zu beachten, dass sich Situationen in 2A und 2B auf spezielle und lokalisierte Stadtbereiche (Zebrastreifen und Bushaltestellen) beziehen, während die Situationen in den 2C und 2D in jedem Abschnitt des Straßennetzes auftreten können.
-
Die 2A bis 2D zeigen einige Beispiele für Situationen, in denen die Sichtbarkeit eines überquerenden Fußgängers durch angehaltene Fahrzeuge beeinträchtigt ist. Die durch gestrichelte Kreise in den 2A bis 2D für die jeweilige Situation hervorgehobenen Bereiche sind die Bereiche, in denen das System eine Überprüfung des Vorhandenseins eines möglichen Fußgängers durchführen wird. Eine direkte Erweiterung, die in dieser Offenbarung gegenwärtig nicht untersucht wird, kann zum Lokalisieren von großen statischen Strukturen (wie zum Beispiel Gebäuden oder Leitplanken) und Behandlung derselben wie angehaltene Fahrzeuge in der obigen Beschreibung verwendet werden.
-
Mit anderen Worten konzentriert sich diese Erfindung auf die Detektion von Fußgängern, die hinter angehaltenen Fahrzeugen hervorlaufen bzw. -springen; Fußgänger, die in dem Frontbereich des Fahrzeugs deutlich sichtbar sind, können auch detektiert werden, aber diese Funktion, die mit von der Erfindung verschiedenen Systemen gemein ist, wird hierin nicht detailliert dargelegt.
-
Die Idee des Konzentrierens bzw. Fokussierens auf eine spezielle Szene ist auf dem Gebiet von Fußgängerdetektionssystemen nicht neu. Auf diesem Gebiet ist ein Modul zum Detektieren von Kugeln entwickelt worden, die gewöhnlich ein starkes Zeichen für das Vorhandensein eines Kindes sind.
-
Es ist bekannt, dass geparkte Fahrzeuge, die die Sichtbarkeit von Fußgängern verhindern, einer der Hauptgründe für Unfälle sind: In der Tat sollten in Wohnbereichen Parkplätze bzw. -lücken diagonal angeordnet werden. Wie jedoch in den 2A - 2D gezeigt ist, gibt es Situationen, in denen Fahrzeuge temporär auf der Straße anhalten und deren Position anders als im Falle von Parkplätzen nicht strategisch organisiert und sorgfältig verwaltet werden kann. Obwohl sich einige dieser Situationen auf spezielle Stadtbereiche, z. B. Zebrastreifen und Bushaltestellen beziehen, könnten sie durch intelligente Infrastrukturen, die auf Warnen von ankommenden Fahrzeugen gerichtet sind, speziell verbessert werden. Andere Situationen können an jedem Fleck des Straßennetzes eintreten, wodurch die Installation von intelligenten Infrastrukturen unpraktisch wird.
-
Die Haupteigenschaft, die von einem derartigen System gefordert wird, besteht in der Fähigkeit zum:
- 1. schnellen Detektieren von Fußgängern, angesichts des kurzen Arbeitsbereiches und der besonderen Gefahr einer unmittelbar bevorstehenden Kollision;
- 2. Detektieren von Fußgängern, sobald sie in Erscheinung treten, somit sogar, wenn sie teilweise verdeckt sind; und
- 3. Begrenzen der Suche auf bestimmte Bereiche, die durch eine schnelle Vorverarbeitung bestimmt sind.
-
Das mit der vorliegenden Erfindung präsentierte System widmet sich einer speziellen Anwendung eines Fußgängerdetektionssystems, die in einem Feldversuch an einem PKW-Modell, das in 3 dargestellt ist, besteht.
-
In dem nächsten Abschnitt wird der Aufbau des Testfahrzeugs präsentiert und danach erfolgt in Abschnitt III eine Beschreibung der Gefahrenbereichsdetektion. In Abschnitt IV werden Aspekte hinsichtlich einer Bildfusion diskutiert und in Abschnitt V werden einige Abschlussbemerkungen gemacht.
-
Das Testfahrzeug
-
Messtechnologien
-
Da einem Stadtszenario Rechnung getragen werden soll, in dem das Prototypfahrzeug nahe von angehaltenen Fahrzeugen fährt, ist eine Begrenzung der Fahrzeuggeschwindigkeit und des Detektionsbereiches einfach. Als eine sichere Wahl können niedrige bis mittlere Fahrzeuggeschwindigkeiten von bis zu 50 km/h und ein Detektionsbereich von circa 40 m angesehen werden.
-
Das Erkennen der Umgebung erfordert, dass angehaltene Fahrzeuge detektiert werden; eine lasergestützte Lösung ist ausreichend stark, um große Hindernisse, wie Fahrzeuge, zu lokalisieren und sie aufgrund von deren Gestalt zu klassifizieren. Zur Überwindung des Mangels von Geschwindigkeitsinformation, der mit Laserscans verbunden ist, wurde ein spezieller Laserscanner ausgewählt, der ineinander verschachtelte (interlaced) Daten liefert. Er gruppiert eine Anzahl von interlaced-Scans zur Bildung eines einzigen Scans mit höherer Auflösung.
-
Die Analyse dieser interlaced-Daten, die mit Fahrzeug-CAN-Daten gekoppelt sind, ermöglicht die Abschätzung von Hindernisgeschwindigkeit und somit die Lokalisierung von Fahrzeugen mit Nullgeschwindigkeit.
-
Die beste Technologie zum Überprüfen des Vorhandenseins eines Fußgängers in einer bestimmten Gruppe von speziellen Flecken bzw. Stellen stellt das Sehen dar. Einäugiges (monokulares) Sehen reicht aus, da keine 3D-Rekonstruktion notwendig ist und eine Abschätzung der Distanz leicht erhältlich ist. Obwohl das System unter Tageslichtbedingungen getestet wurde, ermöglicht die Verwendung einer NIR (Near Infrared)-Kamera und eine geeignete Beleuchtung Erweiterung seines Arbeitsbereiches auf die Nacht.
-
Sensorauswahl
-
Die Kamera kann Empfindlichkeit sowohl im sichtbaren als auch im NIR-Spektrum aufweisen. Zusätzliche Scheinwerfer sind vor dem Fahrzeug montiert. Ein NIR-LED-Scheinwerfer mit einer Apertur von circa 25 ° ist vor dem Strahler montiert und die hohen Strahlen sind durch SL (Super Light) individuell gefertigt, um das sichtbare Licht zu blockieren und nur im NIR-Spektrum zu beleuchten.
-
Der Laserscanner kann ein SICK LMS 211-30206 sein. Geeignete Detektionsfähigkeiten schließen Scanwinkel von 100 °, minimale Winkelauflösung von 0,25 °, Bereich bis zu 80 Meter und Nebelkorrektur ein. Der Laserscanner kann eine Auflösung von 1 ° aufweisen, aber durch Durchführung von 4 aufeinanderfolgenden Drehungen, unter Verwendung eines interlacing-Systems, und eine Phasenlücke von 0,25 Grad ist es möglich, um die endgültige Granularität auf 0,25 ° zu verringern. Jede Drehung kann 13,32 ms benötigen, so dass in 53,28 ms vier Drehungen durchgeführt werden.
-
Die Messung der Zeitdifferenz zwischen Pulsen ist vernachlässigbar; außerdem ist bei Bewegung des Fahrzeugs die Verschiebung zwischen der Position des Laserscanners, wenn der erste Puls gemessen wird, und der Position, wenn der letzte Puls gemessen wird, merklich: das Interlacing-System des Laserscanners macht dieses Problem noch offensichtlicher.
-
Fahrzeugaufbau
-
Ein kompakter PC kann im Kofferraum oder Gepäckraum montiert werden, während ein Laserscanner und zwei unterschiedliche NIR-Scheinwerfer vor der vorderen Stoßstange angeordnet werden können. Die NIR-Kamera kann in der Kabine in der Nähe des Rückspiegels des Fahrzeugs platziert sein, wie dies in 3 gezeigt ist.
-
Hauptaugenmerk
-
Zwei verschiedene Laserdatenklassifikationen wurden entwickelt, um den Algorithmus robust zu gestalten. Beide Verfahren basieren auf Pulse-Clustering (Gruppieren) in geraden Linien, aber, während das erste nur den letzten Scan zum Klassifizieren von Hindernissen berücksichtigt, verwendet das zweite eine feste Anzahl von vorangehenden Scans zum Verifizieren der vorangehenden Position von Hindernissen und somit zum Schätzen von deren Geschwindigkeit.
-
Datenkorrektur
-
Wie bereits im Abschnitt II erläutert, können Verschiebungen zwischen aufeinanderfolgenden Laserscannermessungen merklich sein: Dieses Merkmal kann Clustering- oder Klassifikationsprobleme verursachen, weil die Hindernisgestalt verzerrt erscheinen kann. Unter Verwendung von ego-motion-Daten, die auf dem CAN bereitgestellt werden, ist es möglich, die Roto-Translation des Fahrzeugs zu berechnen und die für jeden Puls gemessene Position zu korrigieren.
-
4A und 4B zeigen Rohlaserdaten bzw. korrigierte Daten, die sich auf sich nicht bewegende Hindernisse beziehen. Die vier Drehungen, die einen Scan erzeugen, sind vor der Korrektur deutlich sichtbar, während das Hindernis als eine einzige Linie nach der Korrektur erscheint. Echo-Pulse durch sich bewegende Hindernisse können nicht auf eine einzige Linie reduziert werden, da sich die Position des Hindernisses während des Scans ändert: sich bewegende Hindernisse werden durch vier parallele Linien nach der Datenkorrektur identifiziert. Diese Information kann für die Hindernisklassifikation sehr nützlich werden.
-
Daten-Clustering
-
Mit Ausnahme von sich bewegenden Hindernissen funktioniert das Verbinden von aufeinanderfolgenden Pulsen, während Information über die Drehung, zu der der Puls gehört, verworfen wird, in allen Situationen. Bessere Ergebnisse können durch Verbinden nur der Pulse erreicht werden, die zur selben Drehung gehören: sich bewegende Hindernisse werden dann durch vier verschiedene und parallele Cluster identifiziert. Die Pulse sind als Segmentketten geclustert bzw. zusammengefügt. Die Punkte, die zu keiner Kette derselben Drehung verbunden werden können, werden dann hinsichtlich des Zusammenfügens mit Punkten von anderen Drehungen bei Berücksichtigung von lediglich der Nähe getestet. Die Punkte, die mit keinem anderen Punkt verbunden werden können oder sich auf der Grenze des Laserscannerbereiches (cirka 80 Meter) befinden, werden dauerhaft verworfen.
-
Segmentzusammenfügung
-
Bis jetzt sind Pulse in einer Kette von Segmenten ohne irgendwelche andere Information verbunden. Benachbarte Segmente mit näherungsweise derselben Orientierung können zu einem längeren Segment zusammengefügt werden, was die Hindernisgestalt bewahrt, aber die Komplexität der Datenstruktur und die Details der Darstellung reduziert. Jede Kette wird dann zu einem Linienzug segmentiert.
-
5 stellt ein sich bewegendes Fahrzeug dar, wobei die vier parallelen Linien seiner Stoßstange entsprechen, während die einzelne Linie seiner Seite entspricht. Gestrichelte Punkte sind Linienzugstartpunkte, leere Punkte sind Punkte in der Mitte der Linienzüge, karierte Punkte sind Linienzugendpunkte, volle Punkte sind Punkte, die zu einer Linie gehören. 5 zeigt ein sich bewegendes Fahrzeug, wobei die hintere Stoßstange als vier parallele Linien eingerahmt ist, während seine Seite, die parallel zur Fahrzeugbewegungsrichtung ist, durch eine einzige Linie markiert ist.
-
Linienzusammenfügung
-
Jedes Hindernis in dem Sichtfeld des Laserscanners wird durch vier Linien identifiziert, eine für jede Drehung, die den gesamten Scan mit hoher Auflösung bildet. Im Fall von statischen Hindernissen überlappen sich die vier Linien recht perfekt aufgrund der vorangehenden Datenkorrektur und können sie zusammengefügt werden. Im umgekehrten Fall von sich bewegenden Hindernissen sind die Linien parallel, aber überlappen sich nicht. Somit können statische und sich bewegende Hindernisse lokalisiert und korrekt klassifiziert werden. 6A - 6C zeigen die Schritte des Algorithmus, wobei 6A Daten-Clustering zeigt und 6B eine Approximation unter Verwendung von Linienzügen zeigt.
-
6C zeigt das Endergebnis, bei dem alle Punkte zu einer einzigen Linie zusammengefügt bzw. verschmolzen sind: zur Vereinfachung der folgenden Schritte werden geringe Abdriftungen vernachlässigt. Dieser schnelle und einfache, dennoch sehr effektive, Prozess zum Identifizieren von statischen Objekten kann falsche negative Befunde erzeugen, wenn die Neigung des Fahrzeugs nicht vernachlässigbar ist. Abschnitt V wird den Punkt diskutieren.
-
Erste Hindernisklassifikation
-
Die erhaltenen Linienzüge können gemäß nur deren Größe und Gestalt klassifiziert werden. Es ist möglich, Hindernisse in fünf Kategorien zu unterteilen:
- Mögliche Fußgänger; Straßenrand; L-förmiges Hindernis; sich bewegendes Hindernis und allgemeines (generisches) Hindernis.
-
Es wird angenommen, dass Hindernisse, die eventuell als Fußgänger klassifiziert werden können, eine geringere Größe aufweisen, während Hindernisse, die eine große Größe aufweisen und nahezu parallel zum Fahrzeug verlaufen, als Straßenränder (Leitplanken, Straßeninfrastrukturen ...) angenommen werden. Ein einfaches und schnelles Verfahren, das auf Linienorientierung basiert, kann zum Detektieren von L-förmigen Hindernissen verwendet werden. Sich bewegende Hindernisse können bereits in dem vorangehenden Schritt des Algorithmus individualisiert werden. Alle Hindernisse, die noch nicht klassifiziert sind, können als allgemeine Hindernisse markiert werden. Die erhaltenen Ergebnisse sind bisher zufriedenstellend, wie in 7 gezeigt ist.
-
Hindernisklassifikation ist in 7 dargestellt, wo sich Linien 710 auf L-förmige Hindernisse, Linien 720 auf mögliche Fußgänger und Linien 730 auf allgemeine Hindernisse beziehen.
-
Zeitliche und gestaltgestützte Korrelation
-
Die in dem vorangehenden Unterabschnitt erläuterte Klassifikation klassifiziert alle winzigen Hindernisse als möglichen Fußgänger. Selbst wenn es möglich ist, dass alle Fußgänger korrekt klassifiziert sind, ist eine Anzahl von falschen positiven Befunden vorhanden. Feste Hindernisse entlang der Straße (zum Beispiel geparkte Fahrzeuge) werden hier zum Lokalisieren von kritischen Bereichen vor dem Fahrzeug verwendet, um die Aufmerksamkeit auf die Zwischennähe der Kanten dieses Gefahrenbereiches zu fokussieren, wo Fußgänger hervorlaufen bzw. -springen und gefährlich werden können.
-
Durch die vorangehenden Scan bereitgestellte Linienzüge können gemäß ego-motion (Selbstbewegung) bewegt werden; dann wird die Überlappung zwischen den momentanen Linienzügen und den vorangehenden überprüft, um eine neue Klassifikation in den folgenden 4 Klassen zu liefern: sich bewegendes Hindernis, statisches Hindernis, Hindernis mit sich ändernder Gestalt und neues Hindernis.
-
Scandaten bezüglich sich bewegender Hindernisse sollten geringe oder gar keine räumliche Überlappung aufweisen, wenn das Zeitfenster groß ist, aber leider erscheint die Seite eines sich bewegenden Fahrzeugs statisch (hohe räumliche Überlappung). Aufgrund der vorangehenden Markierung von L-förmigen Hindernissen gehören trotzdem die Stoßstange und die Seiten desselben Fahrzeugs zum selben Objekt, das somit die Kennung „sich bewegend“ übernimmt.
-
Hindernisse, die durch gut überlappende Scans in dem bestimmten Zeitfenster repräsentiert sind, werden als statisch markiert, selbst wenn die neueren Scanlinien länger und genauer als die alten (aufgrund dessen, dass das Fahrzeug sich dem Hindernis nähert) sind.
-
Jedesmal wenn Scanlinien detektiert werden, die nur in einigen Regionen überlappen und sich in anderen unterscheiden, wird das Objekt als ein Hindernis mit sich ändernder Gestalt klassifiziert. Dies kann der Fall sein, wenn einige neue Akteure der Straße (wie zum Beispiel ein Fußgänger oder ein Fahrzeug, der bzw. das vorangehend verdeckt war) in die Szene gerät: nahe einem anderen Objekt erscheint dies in den Laserdaten so, als ob seine Gestalt mit der Gestalt seines benachbarten Hindernisses verbunden wäre. Es kann auch eintreten, wenn ein Fahrer eines angehaltenen Fahrzeugs die Tür öffnet und das Fahrzeug verlässt.
-
Wenn es keine Übereinstimmung zwischen dem aktuellen Linienzug und älteren gibt, wird das Objekt als ein neues Hindernis klassifiziert.
-
Sich bewegende Hindernisse werden verworfen; statische Hindernisse sind wichtig, um die interessierenden Bereiche zu lokalisieren, in denen Sehen (Vision) nach Fußgängern suchen wird; Hindernisse mit sich ändernder Gestalt sind von grundlegender Bedeutung, da sie einen Fußgänger in einer sehr genauen Region von deren Gestalt enthalten können; und neue Hindernisse lokalisieren schließlich andere interessierende Bereiche, in denen Sehen vonstatten gehen wird.
-
Gefahrenbereichidentifikation
-
Die gesamte in den vorangehenden Schritten erhaltene Information kann zum Identifizieren der Umgebung (statische Hindernisse und Fahrzeuge) und der sich bewegenden Hindernisse (Fußgänger und Fahrzeuge) verwendet werden. Hindernisse, die durch die zweite Klassifikation als statisch und nicht als sich bewegend durch erstere klassifiziert worden sind, werden zum Definieren der Struktur der Umgebung verwendet. Ferner werden Hindernisse mit sich ändernder Gestalt verwendet, um die Umgebung aufzubauen, wobei nur Punkte berücksichtigt werden, die sich nicht ändern. Sich nicht bewegende Hindernisse in dem rechten und linken Teil der Straße vor dem Fahrzeug werden zum Aufbauen der rechten und linken Ränder bzw. Grenzen des Gefahrenbereiches, nämlich des Bereiches, der durch das Fahrzeug in naher Zukunft erreicht werden kann, wie in 8 gezeigt, verwendet.
-
8 zeigt die Hindernissklassifikation und den Gefahrenbereich. Die Linien 810 stellen Positionen von Hindernissen dar, die durch vorangehende Scans geliefert wurden, die Linie 820 stellt ein sich bewegendes Hindernis dar, die Linien 830 stellen statische Hindernisse dar, die Linie 840 stellt ein Hindernis mit sich ändernder Gestalt dar, während die Linien 850 linke und rechte Ränder eines kritischen oder Gefahrenbereiches repräsentieren.
-
Hindernisse, die sich in dem Gefahrenbereich bewegen, können als gefährliche Hindernisse markiert werden. Die Aufmerksamkeit ist speziell auf Bereiche zwischen statischen Hindernissen zu fokussieren. Gefährliche Fußgänger, die detektiert werden müssen, werden hinter einem statischen Hindernis erscheinen oder die Gestalt eines statischen Hindernisses modifizieren.
-
Ergebnisse des Aufpassprozesses
-
9 und 10 stellen Fußgänger bzw. Hindernisse dar, die korrekt identifiziert wurden.
-
Aufgrund der Projektion von Laserdaten auf Bilder zeigt 9 einen Fall, in dem ein Fußgänger hinter einem geparkten Fahrzeug hervorläuft und ein anderer Fußgänger in dem Gefahrenbereich geht. Beide Fußgänger sind korrekt detektiert. 10 zeigt einen Van, der aus einer Parklücke hervorfährt, und einen Radfahrer, der in der Nähe der geparkten Fahrzeuge fährt: Beide gefährlichen Hindernisse sind korrekt detektiert. Die Ausführungszeit beträgt weniger als 5 Millisekunden mit einem Pentium 4-PC mit 2,8 GHz; cirka 48 Millisekunden verbleiben für die Bildfusion bzw. -zusammenfügung, um Echtzeitbedingungen einzuhalten.
-
Bildfusion
-
Interessierende Gebiete sind 2D-Bereiche in Weltkoordinaten; deren korrespondierenden Bereiche im Bild werden dann mit Hilfe von Kamerakalibrierung und perspektivischer Abbildung (mapping) lokalisiert. In der Tat spielt Kamerakalibrierung und allgemeiner Systemkalibrierung eine grundlegende Rolle in einem Fusionssystem und muss in Angriff genommen werden.
-
Fahrzeugneigung während der Bewegung bzw. Fahrt kann Kameraorientierung in Bezug auf die Welt ändern, aber - was am wichtigsten ist - sie verursacht auch, dass der Laserscanner die Szene unter Verwendung einer anderen Orientierung scannt. Für Straßenanwendungen wird dies allgemein als bedingtes Problem für Kurzdistanzmessungen angesehen, und ist es sogar noch weniger wichtig, wenn Hindernisse vertikal angeordnet sind. Umgekehrt im Fall von erheblichen Fahrzeugneigungswinkeln - speziell negativen Winkeln, die den Laserscanner in Richtung zum Boden lenken - kann die Scanebene des Laserscanners den Boden schneiden und somit keine signifikanten Ergebnisse liefern.
-
Aufgrund der Tatsache, dass die beiden Sensoren an dem Fahrzeugchassis befestigt sind, bewegen sie sich entsprechend und kann eine einzige Kompensation ausreichend sein. Neben der Verwendung zum Lokalisieren von Merkmalen von Fußgängern in den interessierenden Regionen kann Sehen (Vision) auch zum Abschätzen der Fahrzeugneigung verwendet werden. Ein zusätzlicher Beschleunigungsmesser wird nun zum Überprüfen von Neigungsmessergebnissen, die durch Sehen bereitgestellt werden, verwendet. Die momentane Fahrzeugneigung wird in die Laserscannerverarbeitung gegeben (um die Erzeugung von falschen Ergebnissen während einer Fahrzeugneigung zu verhindern) und sie wird auch zum Stabilisieren des Bildstroms verwendet, wie in 11 gezeigt, die ein zum Zusammenfügen (Fusionieren) von Bild- und Laserscannerdaten verwendetes Schema darstellt.
-
Wenn die interessierenden Bereiche lokalisiert sind, wird die Suche nach Fußgängern unter Verwendung von AdaBoost-Klassifikator ausgelöst. Die identifizierten Bereiche können auf eine feste Größe (50 x 20) resampled werden und alle Pixel können als Eingabe verwendet werden. AdaBoost kann unter Verwendung der durch die vorangehenden Schritte des Algorithmus individualisierten und als Fußgänger oder nicht von Hand markierten Bereiche trainiert werden.
-
Schlussbemerkungen
-
Diese Erfindung hat ein neues Schema zur Erhöhung von Sicherheit und zum möglichen Vermeiden von Kollisionen mit verletzbaren Straßenbenutzern präsentiert. Anstelle einer Implementierung eines allgemeinen (generischen) Fußgängerdetektorsystems, der sich sowohl ein Validierungsschritt als auch die Beurteilung des Gefährdungsniveaus anschließt, schlägt diese Arbeit einen neuartigen Lösungsansatz vor.
-
Jedesmal wenn eine spezielle Umgebungsstruktur detektiert wird (d. h. angehaltene Fahrzeuge, die Fußgänger verbergen können), wird das mögliche Vorhandensein von Fußgängern in speziellen Bereichen überprüft. Diese Lösung nähert sich nicht nur dem Problem aus einer anderen Perspektive in Bezug auf traditionelle Implementierungen, sondern fokussiert bzw. konzentriert sich auch auf eine besonders kritische Umgebung, typisch für Unfälle in einer Stadt. Neben einer direkten Detektion von gefährlichen Situationen verbessert sie auch die Steuerleistung, da der rechenintensive Teil - die bildgestützte Fußgängererkennung - nur auf begrenzten Abschnitten des Bild durchgeführt wird. Die Beschleunigung aufgrund des Schrittes der Lokalisierung eines kritischen Bereiches kann als die Differenz zwischen der Anzahl von möglichen Fußgängern, die durch ein klassisches System erzeugt wird (das nur Größe zum Lokalisieren von Fußgängern betrachtet) und derjenigen, die durch dieses Verfahren erzeugt wird, gemessen werden: mehrere Tests in Stadtszenarien zeigen, dass das vorgeschlagene Verfahren im Durchschnitt weniger als ein Viertel von möglichen Fußgängern als das klassische System liefert.
-
12 zeigt ein Blockdiagramm einer elektronischen Konstruktion einer Fußgängerdetektionsvorrichtung mit Detektion von kritischen Bereichen gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Die Fußgängerdetektionsvorrichtung ist gestaltet, um Fußgänger zu detektieren, die um Fahrzeuge irren, und kann eine Kamera 1210 zur Abbildung einer Umgebung der Fahrzeuge und Erzeugen und Liefern von Bildausgaben, einen Sensor 1220 zum Erkennen von Hindernissen um die Fahrzeuge und Liefern von Distanzdaten, eine Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches unter Verwendung der Distanzdaten zum Identifizieren der Fahrzeugumgebung und sich bewegender Hindernisse und Detektieren einer vorgegebenen Umgebung und der die sich bewegenden Hindernisse umgebenden Bereiche als kritische Bereiche und eine Fußgängerdetektionseinrichtung 1240 zum Detektieren von Fußgänger vorzugsweise anhand der Bilder, die den kritischen Bereichen entsprechen, aufweisen. Hier kann der Abbildungsabschnitt 1210 eine Nahinfrarot (NIR)-Kamera und eine Vielzahl von NIR-LED-Scheinwerfern aufweisen. Zusätzlich kann die Fußgängerdetektionseinrichtung 1240 nur bei Auftreten von sich bewegenden Hindernissen beim Detektieren von Fußgängern anhand der Bilder oder ausgewählter potentieller Bilder vorzugsweise Fußgänger anhand der Bereichsbilder detektieren, die mit den kritischen Bereichen übereinstimmen.
-
Die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches der Fußgängerdetektionsvorrichtung detektiert kritische Bereiche und identifiziert bei Empfang der anhand von Detektieren der Umgebungshindernisse des Fahrzeuges erzeugten Distanzdaten die Umgebung der Fahrzeuge und sich bewegenden Hindernisse unter Verwendung der Distanzdaten, um eine vorgegebene Umgebung und die die sich bewegenden Hindernisse umgebenden Bereiche als kritische Bereiche zu detektieren.
-
Zusätzlich kann die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches ein Fahrzeug mit Nullgeschwindigkeit durch Auswerten von Hindernissgeschwindigkeiten durch Empfangen der Distanzdaten von dem Sensor 1220 auffinden, der mit einem Laserscanner für Interlaced-Scanning ausgestattet ist. Ferner kann die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches einen Datenkorrekturabschnitt zum Empfangen der Distanzdaten von dem Sensor 1220 und Korrigieren derselben im Anschluss an die Positionsänderungen der Fahrzeuge, einen Datengruppier(cluster)-Abschnitt zum Verbinden zwischen den korrigierten Distanzdaten in unmittelbarer Nähe und Gruppieren (clustern) derselben als Ketten von Segmenten, einen Segmentzusammenfügeabschnitt zum Verbinden der gruppierten Distanzdatensegmente und Zusammenfügen der benachbarten Segmente mit näherungsweise derselben Orientierung zu einem Linienzug, einen Linienzusammenfügeabschnitt zum Integrieren der Linienzüge in unmittelbarer Nähe zu einer einzigen zusammengefügten Linie, einen ersten Hindernisklassifikationsabschnitt zum Klassifizieren der erhaltenen Linienzüge gemäß lediglich deren Größe und Gestalt in mehreren Kategorien und Detektieren von mehreren Kategorien von Hindernissen, einen zweiten Hindernisklassifikationsabschnitt zum Korrigieren der Linienzüge gemäß den Fahrzeugpositionsänderungen und Klassifizieren der Linienzüge in mehreren Kategorien gemäß der Überlappung zwischen den Linienzügen vor Korrektur und den Linienzügen nach Korrektur und Detektieren von mehreren Kategorien von Hindernissen und einen Gefahrenbereichidentifikationsabschnitt zum Identifizieren der Umgebung und der sich bewegenden Hindernisse durch Verwendung der mehrfachen Kategorien von Hindernissen, die in den ersten und zweiten Hindernisklassifikationsabschnitten detektiert sind, aufweisen.
-
Außerdem kann der Datenkorrekturabschnitt die Distanzdaten durch Berechnen der Fahrzeug-Roto-Translation unter Verwendung der Ego-Motion-Daten, die von dem Fahrzeug-CAN empfangen werden, korrigieren. Der Datengruppierabschnitt kann die Distanzdaten durch Verbinden von kontinuierlichen Pulsen der Distanzdaten von lediglich denjenigen, die zur selben Drehung gehören, gruppieren. Der erste Hindernisklassifikationsabschnitt kann eine oder mehrere von mehreren Kategorien von Hindernissen, die einen möglichen Fußgänger, Straßenrand, L-förmiges Hindernis, sich bewegendes Hindernis und allgemeines Hindernis einschließen, detektieren. Der zweite Hindernisklassifikationsabschnitt ist ein Modul, das die zeitliche und gestaltgestützte Korrelation zum Erzeugen von korrigierten Linienzügen durch Bewegen der Linienzüge gemäß der Ego-Motion durchführt. Der zweite Hindernisklassifikationsabschnitt kann auch eine oder mehrere von mehreren Kategorien von Hindernissen detektieren, die ein sich bewegendes Hindernis, ein statisches Hindernis, ein Hindernis mit sich ändernder Gestalt und ein neues Hindernis enthalten.
-
13 zeigt ein Ablaufdiagramm zur Darstellung eines Verfahrens zum Detektieren eines kritischen Bereiches gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Wenn der Fahrzeug-on-Board-Sensor 1220 durch einen Laserscan, die Hindernisse im Umfeld des Fahrzeugs erkennt und die Distanzdaten erzeugt, kann die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches die Distanzdaten von den Sensor 1220 empfangen und die empfangenen Distanzdaten gemäß der Positionsänderung des Fahrzeugs in Schritt S1310 korrigieren.
-
Die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches kann nach Korrektur der Distanzdaten diese in unmittelbarer Nähe verbinden und sie als Ketten von Segmenten in einem Schritt S1320 gruppieren. Sie verbindet die gruppierten Distanzdatensegmente so, dass die benachbarten Segmente mit näherungsweise derselben Orientierung zu einem Linienzug in einem Schritt S1330 zusammengefügt werden. Danach werden die Linienzüge in unmittelbarer Nähe zu einer einzigen zusammengefügten Linie in Schritt S1340 integriert.
-
Zusätzlich detektiert die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches mehrere Kategorien von Hindernissen durch Klassifizieren der erhaltenen Linienzüge gemäß nur deren Größe und Gestalt in mehreren Kategorien in Schritt S1350 und durch Korrigieren der Linienzüge gemäß den Fahrzeugpositionsänderungen und danach Klassifizieren der Linienzüge in mehreren Kategorien gemäß der Überlappung zwischen den Linienzügen vor Korrektur und den Linienzügen nach Korrektur in Schritt S1360.
-
Ferner identifiziert die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches die Atmosphäre und sich bewegende Hindernisse durch Verwendung von gesammelter Information anhand der Schritte S1310 bis S1350 und speziell der mehreren Kategorien von Hindernissen, die in den Schritten S1350 bis S1360 detektiert worden sind, um die kritischen Bereiche in Schritt S1370 vor Beendigung des Verfahrens zum Detektieren eines kritischen Bereiches gemäß der Erfindung zu identifizieren.
-
Obwohl beispielhafte Ausführungsformen der vorliegenden Erfindung zu Darstellungszwecken beschrieben worden sind, werden Fachleute auf dem Gebiet erkennen, dass zahlreiche Modifikationen, Hinzufügungen und Substitutionen möglich sind, ohne aus dem Schutzbereich und Geist der Erfindung zu gelangen. Somit sind beispielhafte Ausführungsformen der vorliegenden Erfindung nicht zum Zwecke der Beschränkung beschrieben worden. Zudem ist der technische Bereich der vorliegenden Erfindung nicht durch die aktuellen Ausführungsformen beschränkt. Dementsprechend wird der Schutzbereich der Erfindung durch die Ansprüche und deren Äquivalente begrenzt.