[go: up one dir, main page]

WO2012152268A2 - Redudante objektdetektion für fahrerassistenzsysteme - Google Patents

Redudante objektdetektion für fahrerassistenzsysteme Download PDF

Info

Publication number
WO2012152268A2
WO2012152268A2 PCT/DE2012/100127 DE2012100127W WO2012152268A2 WO 2012152268 A2 WO2012152268 A2 WO 2012152268A2 DE 2012100127 W DE2012100127 W DE 2012100127W WO 2012152268 A2 WO2012152268 A2 WO 2012152268A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
stereo
image data
image sensors
processing means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2012/100127
Other languages
English (en)
French (fr)
Other versions
WO2012152268A3 (de
Inventor
Martin Randler
Gregory Baratoff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE112012001318.2T priority Critical patent/DE112012001318B4/de
Priority to US14/116,478 priority patent/US9592764B2/en
Publication of WO2012152268A2 publication Critical patent/WO2012152268A2/de
Publication of WO2012152268A3 publication Critical patent/WO2012152268A3/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the invention relates to a redundant object detection for driver assistance systems, in particular a device and a method for redundant object detection with a stereo camera according to claim 1 or 6.
  • a combination of a radar sensor for object detection and object measurement and a camera sensor for object detection and object classification is used.
  • a redundant object detection is implemented, by means of which the error rate in object detection and classification can be significantly reduced.
  • the object of the present invention is now to enable improved redundant object detection for driver assistance systems.
  • a device for redundant object detection with a stereo camera having the features of claim 1 and a corresponding method having the features of claim 6. Further embodiments of the invention will become apparent from the dependent claims.
  • An essential idea of the invention is to implement a redundant object detection for driver assistance systems with the aid of a stereo camera.
  • a stereo camera is considered to be practically only a sensor, it can provide redundancy in object detection by implementing a further evaluation path adjacent to the stereo path, that is, the processing path for evaluating the stereo images of the camera.
  • a mono-path may be implemented in which objects detected in the stereo-path are classified using the image data of at least one image sensor of the stereo camera, so that redundant object detection is obtained.
  • the inventive concept of implementing a redundant object detection using a stereo camera has the advantage that instead of two or more sensors, such as the above-mentioned combination of radar and camera sensor only one sensor, namely, a stereo camera must be installed in a vehicle at one point. As a result, the assembly and especially wiring in the vehicle can be substantially facilitated.
  • An essential advantage of the invention is, above all, that a pixel-precise localization of an object is present through the detection in the stereo image. The classification in a second (mono) path can then be restricted almost exactly to the object pixels detected or identified in the stereo wheel.
  • An embodiment of the invention now relates to a device for redundant object detection with a stereo camera having two image sensors, first processing means for detecting objects by stereo image evaluation of image data of the two image sensors, and second Processing means for classifying objects detected by the stereo path processing means by evaluating image data from at least one of the two image sensors.
  • the second processing means implements another processing path which causes redundancy in object detection by classifying the objects already detected in the first stereo processing path.
  • This further processing path can perform the classification by evaluating the image data of one or even both image sensors of the stereo camera.
  • the first processing means may be configured to generate in the stereo image analysis from disparities and / or optical flow an object list with obstacles that protrude from a street and to supply the generated object list to the second processing means for object classification.
  • Such a generated object list typically contains position, expansion speed of the obstacles in the own lane or in neighboring lanes.
  • the second processing means may be configured to execute a classification of the obstructions of the supplied object list based on the image data of at least one of the two image sensors and to generate a second object list with classified obstacles. For example, the second processing means may first verify and then classify all detected obstacles contained in the supplied object list based on the image data from at least one of the two image sensors.
  • the classification may be for determining an object type of an obstacle, such as an obstacle. Pedestrian, vehicle, closed railway barrier serve.
  • the second processing means may be further configured to additionally use image data from the second of the two image sensors in the classification.
  • a second stereo path is implemented in which stereo information such as disparities can also be used for the classification of detected objects.
  • the two image sensors of the stereo camera and the first and second processing means may be mounted on a common board. In this way, a compact module for installation in a driver assistance system of a vehicle can be created, which can be integrated into the safety system of a vehicle with relatively little wiring effort.
  • a further embodiment of the invention relates to a method for redundant object detection with a stereo camera having two image sensors, the method comprising the following steps:
  • Classifying detected objects by evaluating image data from at least one of the two image sensors.
  • the algorithm defined by this method may be executed, for example, in a processor provided for processing the image data of the image sensors of the stereo camera.
  • the step of detecting objects by stereo image evaluation may include generating an object list with obstacles that protrude from a street, stereo image analysis of disparities and flow, and outputting the generated object list for object classification.
  • the step of classifying detected objects may include classifying the obstacles of the supplied object list based on the image data from at least one of the two image sensors and generating a second object list with classified obstacles. In classifying the obstacles of the supplied object list based on the image data from at least one of the two image sensors, image data from the second of the two image sensors may additionally be used.
  • an embodiment of the invention relates to a program code program for carrying out a method according to the invention and as described above, when the program is executed by a processor.
  • the program can be stored, for example, in a memory of a stereo camera and executed by an image processing processor of the stereo camera.
  • Fig. 1 is a block diagram of an embodiment of a
  • Stereo camera module with redundant object detection according to the invention.
  • the module 10 can be designed, for example, in the form of a board of an ECU (Electronic Control Unit) which is installed in a camera housing with optics in a vehicle, for example in the area of the rearview mirror on the vehicle windshield.
  • the illustrated module 10 differs from conventional stereo camera modules in that, in addition to the stereo wheel for processing and evaluating stereo images, a mono-path is provided which corresponds to the Stereopfad in the image data detected objects classified by evaluation of monaural images of an image sensor of the module, creating a redundant object detection is created.
  • the mono-path can also evaluate stereo images for classification, as will be explained later.
  • the term "monofilament" as used herein is not to be understood as limiting to an object classification based on the evaluation of monaural images.
  • the module 10 For detecting the area in front of a vehicle, the module 10 has a first and a second image sensor 12 or 14, which are implemented in particular by CCD or CMOS image sensors. With the two image sensors 12 and 14, stereo images of the area in front of the vehicle are detected by the two sensors 12 and 14 detecting a mono image at the same time. Each mono-image captured by the sensors 12 and 14 is supplied in the form of electronic image data for further processing to a stereo-path object detection processor 16 which detects obstacles in front of the vehicle by means of algorithms known per se on the basis of the stereo images generated by the image data of the monaural images.
  • the processor 16 evaluates the stereo images by detecting from disparities and (or flow as objects obstacles that protrude from a road detected, in particular preceding vehicles whose distance from their own vehicle, speed and size of the processor 16 by evaluating the stereo images From the detected obstacles, the processor 16 generates an object list 20 in which the obstacles and other relevant data such as distance, speed and size are contained.
  • Object classification processor 1 8 supplied.
  • the mono-path object classification processor 1 8 additionally receives image data from the first image sensor 1 2, ie monaural images. With the received monaural images, the processor 1 8 performs an image-based classification of those contained in the obstacle object list 20 and in Stereo wheel detected obstacles. As a result, a redundant object detection is created because the image-based classification in the mono-path re-object detection of the already detected in the stereo wheel objects is performed.
  • image data can be supplied to the monopath object classification processor 18 by the second image sensor 14 (shown in FIG. 1 by the dashed line from the sensor 14 to the processor 18).
  • the processor 1 8 can also use stereo information such as disparities for the classification, whereby a more accurate classification of the obstacles can be achieved.
  • the two output from the module 1 0 lists 20 and 22 can be further processed in a driver assistance system, in particular by a control algorithm for the decision on a (partially) autonomous intervention in braking, steering, powertrain control are evaluated.
  • the algorithm can base its decision on the data of both lists 20 and 22, or even only on the data of the list 22.
  • Fig. 1 and 1 8 can be implemented as separate hardware units, for example as special image processing ASICs (Application Specific Integrated Circuits).
  • ASICs Application Specific Integrated Circuits
  • step S10 Objects are detected by evaluating the captured by the stereo camera stereo images.
  • step S12 disparities and flow as objects are detected as obstacles protruding from a road, such as preceding vehicles, their distance from their own vehicle, speed and size.
  • the obstruction-generated object list 20 is outputted and further processed in the subsequent step S14 by classifying the obstacles by mono-image evaluation of the image data of an image sensor of the stereo camera. With the classified obstacles another object list 22 is generated, which is output for further processing by a driver assistance systems, for example the decision on a (partially) autonomous intervention in the vehicle dynamics.
  • the present invention enables the redundant detection of objects for driver assistance systems with a stereo camera, with which the technical implementation effort compared to conventional approaches with two or more different sensors can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (10) zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren (12, 14) aufweist, ersten Verarbeitungsmitteln (16) zur Detektion von Objekten durch Stereobildauswertung von Bilddaten der zwei Bildsensoren, und zweiten Verarbeitungsmitteln (18) zur Klassifikation von durch die Stereopfad-Verarbeitungsmittel detektierten Objekten durch Auswertung von Bilddaten von mindestens einem der zwei Bildsensoren.

Description

REDUDANTE OBJEKTDETEKTION FÜR FAHRERASSISTENZSYSTEME
Die Erfindung betrifft eine redundante Objektdetektion für Fahrerassistenzsysteme, insbesondere eine Vorrichtung und ein Verfahren zur redundanten Objektdetektion mit einer Stereokamera gemäß Anspruch 1 bzw. 6.
Insbesondere bei auf Objektdetektion basierenden Fahrerassistenzsystemen, die teilautonom oder autonom in Antrieb und/oder Steuerung eines Fahrzeugs wie beispielsweise Gas oder Bremse eingreifen, werden aus Sicherheitsgründen häufig zwei oder mehrere Sensoren zur redundanten Objektdetektion eingesetzt. Durch die redundante Objektdetektion sollen die Fehlerrate bei der Objektdetektion und damit Fehlauslösungen durch ein Fahrerassistenzsystem vermieden werden, insbesondere wenn der Bremseingriff bis hin zur Vollverzögerung geht.
In den derzeit bekannten und eingesetzten Systemen wird beispielsweise eine Kombination von einem Radarsensor zur Objektdetektion und Objektvermessung und einem Kamerasensor zur Objektdetektion und Objektklassifikation eingesetzt. Durch die Kombination von Detektion und Klassifikation wird eine redundante Objektdetektion implementiert, durch welche die Fehlerrate bei der Objektdetektion und -klassifikation deutlich reduziert werden kann.
Aufgabe der vorliegenden Erfindung ist es nun, eine verbesserte redundante Objektdetektion für Fahrerassistenzsysteme zu ermöglichen.
Diese Aufgabe wird durch eine Vorrichtung zur redundanten Objektdetektion mit einer Stereokamera mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 6 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. Ein wesentlicher Gedanke der Erfindung besteht darin, eine redundante Objektdetektion für Fahrerassistenzsysteme mit Hilfe einer Stereokamera zu implementieren. Obwohl eine Stereokamera praktisch nur als ein Sensor betrachtet wird, kann damit Redundanz bei der Objektdetektion durch Implementierung eines weiteren Auswertungspfades neben dem Stereopfad, also dem Verarbeitungspfad zur Auswertung der Stereobilder der Kamera, geschaffen werden. Beispielsweise kann neben dem Stereopfad ein Monopfad implementiert werden, in dem im Stereopfad detektierte Objekte unter Verwendung der Bilddaten mindestens eines Bildsensors der Stereokamera klassifiziert werden, so dass eine redundante Objektdetektion erhalten wird. Im Vergleich zu den bisher bekannten und in der Praxis eingesetzten Redundanzkonzepten besitzt das erfindungsgemäße Konzept der Implementierung einer redundanten Objektdetektion mit Hilfe einer Stereokamera den Vorteil, dass anstelle von zwei oder mehreren Sensoren, wie die eingangs erwähnte Kombination aus Radar- und Kamerasensor nur ein Sensor, nämlich eine Stereokamera in einem Fahrzeug an einer Stelle verbaut werden muss. Hierdurch kann die Montage und vor allem Verkabelung im Fahrzeug wesentlich erleichtert werden. Ein wesentlicher Vorteil der Erfindung besteht vor allem darin, dass durch die Detektion im Stereobild eine pixelgenaue Lokalisierung eines Objekts vorliegt. Die Klassifikation in einem zweiten (Mono-)Pfad kann dann nahezu exakt auf die im Stereopfad detektierten bzw. identifizierten Objektpixel beschränkt werden, Im Vergleich dazu ist bei einer Kombination aus Radar- Kamerasensor eine wesentlich ungenauere Referenzierung eines mit dem Radarsensor erkannten Objekts mit dem im Kamerabild erkannten Objekt vorhanden, wodurch nur eine im Vergleich zur vorliegenden Erfindung geringere Fehlersicherheit erreicht werden kann. Eine Ausführungsform der Erfindung betrifft nun eine Vorrichtung zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, ersten Verarbeitungsmitteln zur Detektion von Objekten durch Stereobildauswertung von Bilddaten der zwei Bildsensoren, und zweiten Verarbeitungsmitteln zur Klassifikation von durch die Stereopfad- Verarbeitungsmittel detektierten Objekten durch Auswertung von Bilddaten von mindestens einem der zwei Bildsensoren. Durch die zweiten Verarbeitungsmittel wird ein weiterer Verarbeitungspfad implementiert, der bei der Objektdetektion Redundanz bewirkt, indem er die bereits im ersten Stereo-Verarbeitungspfad detektierten Objekte klassifiziert. Dieser weitere Verarbeitungspfad kann die Klassifikation durch Auswertung der Bilddaten eines oder sogar beider Bildsensoren der Stereokamera durchführen. Die ersten Verarbeitungsmittel können ausgebildet sein, bei der Stereobildauswertung aus Disparitäten und/oder optischem Fluss eine Objektliste mit Hindernissen, die aus einer Straße herausragen, zu generieren und die generierte Objektliste den zweiten Verarbeitungsmitteln zur Objekt- Klassifikation zuzuführen. Eine derartig generierte Objektliste enthält typischerweise Position, Ausdehnung Geschwindigkeit der Hindernisse in der eigenen Fahrspur oder in Nachbar-Fahrspuren.
Die zweiten Verarbeitungsmittel können ausgebildet sein, eine auf den Bilddaten von mindestens einem der zwei Bildsensoren basierte Klassifikation der Hindernisse der zugeführten Objektliste auszuführen und eine zweite Objektliste mit klassifizierten Hindernissen zu generieren. Beispielsweise können die zweiten Verarbeitungsmittel alle in der zugeführten Objektliste enthaltenen detektierten Hindernisse zunächst anhand der Bilddaten von mindestens einem der zwei Bildsensoren zu verifizieren und anschließend zu klassifizieren. Die Klassifikation kann insbesondere der Bestimmung eines Objekttyps eines Hindernisses wie z.B. Fußgänger, Fahrzeug, geschlossene Bahnschranke dienen.
Die zweiten Verarbeitungsmittel können ferner ausgebildet sein, bei der Klassifikation zusätzlich Bilddaten vom zweiten der zwei Bildsensoren zu verwenden. Hierdurch wird im Prinzip ein zweiter Stereopfad implementiert, in dem für die Klassifikation von detektierten Objekten auch noch Stereoinformationen wie Disparitäten verwendet werden können. Die zwei Bildsensoren der Stereokamera und die ersten und zweiten Verarbeitungsmittel können auf einer gemeinsamen Platine montiert sein. Hierdurch kann ein kompaktes Modul zum Einbau in ein Fahrerassistenzsystem eines Fahrzeugs geschaffen werden, das mit relativ geringem Verdrahtungsaufwand in das Sicherheitssystem eines Fahrzeugs eingebunden werden kann.
Eine weitere Ausführungsform der Erfindung betrifft ein Verfahren zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, wobei das Verfahren die folgenden Schritte aufweist:
Detektieren von Objekten durch Stereobildauswertung von Bilddaten der zwei Bildsensoren, und
Klassifizieren von detektierten Objekten durch Auswertung von Bilddaten von mindestens einem der zwei Bildsensoren.
Der durch dieses Verfahren definierte Algorithmus kann beispielsweise in einem Prozessor ausgeführt werden, der für die Verarbeitung der Bilddaten der Bildsensoren der Stereokamera vorgesehen ist. Der Schritt des Detektierens von Objekten durch Stereobildauswertung kann das Generieren einer Objektliste mit Hindernissen, die aus einer Straße herausragen, durch Stereobildauswertung aus Disparitäten und Fluss und das Ausgeben der generierten Objektliste zur Objekt-Klassifikation aufweisen. Der Schritt des Klassifizierens von detektierten Objekten kann das Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren und das Generieren einer zweite Objektliste mit klassifizierten Hindernisse aufweisen. Beim Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren können zusätzlich Bilddaten vom zweiten der zwei Bildsensoren verwendet werden. Schließlich betrifft eine Ausführungsform der Erfindung ein Progrannnn mit Programmcode zur Durchführung eines Verfahrens gemäß der Erfindung und wie vorstehend beschrieben, wenn das Programm von einem Prozessor ausgeführt wird. Das Programm kann beispielsweise in einem Speicher einer Stereokamera abgelegt sein und von einem Bilddatenverarbeitungs- Prozessor der Stereokamera ausgeführt werden.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
Die Zeichnung(en) zeigt/zeigen in
Fig. 1 ein Blockschaltbild eines Ausführungsbeispiels eines
Stereokamera-Modul mit redundanter Objektdetektion gemäß der Erfindung; und
Fig. 2 ein Flussdiagramm eines Ausführungsbeispiels eines
Programms zur redundanten Objektdetektion mit einer Stereokamera gemäß der Erfindung.
Fig. 1 zeigt ein Blockschaltbild eines Stereokamera-Moduls 10 für Fahrerassistenzsysteme. Das Modul 10 kann beispielsweise in Form einer Platine einer ECU (Electronic Control Unit) ausgebildet sein, die in einem Kameragehäuse mit einer Optik in einem Fahrzeug beispielsweise im Bereich des Rückspiegels an der Fahrzeug-Windschutzscheibe verbaut wird. Das dargestellte Modul 10 unterscheidet sich von herkömmlichen Stereokamera- Modulen darin, dass zusätzlich zum Stereopfad zur Verarbeitung und Auswertung von Stereobildern ein Monopfad vorgesehen ist, der die im Stereopfad in den Bilddaten detektierten Objekte durch Auswertung von Monobildern eines Bildsensors des Moduls klassifiziert, wodurch eine redundante Objektdetektion geschaffen wird. Der Monopfad kann jedoch auch Stereobilder zur Klassifizierung auswerten, wie später noch erläutert wird. Insofern ist der hierin verwendete Begriff „Monopfad" nicht als einschränkend auf eine auf der Auswertung von Monobildern basierende Objekt- Klassifikation zu verstehen.
Zum Erfassen des Bereichs vor einem Fahrzeug weist das Modul 10 einen ersten und einen zweiten Bildsensor 12 bzw. 14 auf, die insbesondere durch CCD- oder CMOS-Bildsensoren implementiert sind. Mit den beiden Bildsensoren 12 und 14 werden Stereobilder des Bereichs vor dem Fahrzeug erfasst, indem die beiden Sensoren 12 und 14 jeweils zur gleichen Zeit ein Monobild erfassen. Jedes von den Sensoren 12 und 14 erfasste Monobild wird in Form elektronischer Bilddaten bzw. Bildsignale zur weiteren Verarbeitung einem Stereopfad-Objektdetektionsprozessor 16 zugeführt, der mittels an sich bekannter Algorithmen Hindernisse vor dem Fahrzeug anhand der durch die Bilddaten der Monobilder erzeugten Stereobilder detektiert. Insbesondere wertet der Prozessor 16 die Stereobilder aus, indem er aus Disparitäten und(oder Fluss als Objekte Hindernisse, die aus einer Straße herausragen, detektiert, insbesondere vorausfahrende Fahrzeuge, deren Abstand zum eigenen Fahrzeug, Geschwindigkeit und Größe vom Prozessor 16 durch Auswertung der Stereobilder ermittelt werden. Aus den detektierten Hindernisse erzeugt der Prozessor 16 eine Objektliste 20, in der die Hindernisse und weitere relevante Daten wie Abstand, Geschwindigkeit und Größe enthalten sind. Diese Hindernis-Objektliste 20 wird in digitaler Form ausgegeben und außerdem einem Monopfad-
Objektklassifikationsprozessor 1 8 zugeführt.
Der Monopfad-Objektklassifikationsprozessor 1 8 empfängt zudem Bilddaten vom ersten Bildsensor 1 2, also Monobilder. Mit den empfangenen Monobildern führt der Prozessor 1 8 eine bildbasierte Klassifikation der in der Hindernis-Objektliste 20 enthaltenen und im Stereopfad detektierten Hindernisse aus. Hierdurch wird eine redundante Objektdetektion geschaffen, da durch die bildbasierte Klassifikation im Monopfad eine erneute Objektdetektion der bereits im Stereopfad detektierten Objekte durchgeführt wird .
Dem Monopfad-Objektklassifikationsprozessor 1 8 können zusätzlich Bilddaten vom zweiten Bildsensor 14 zugeführt werden (in Fig . 1 durch die gestrichelte Linie vom Sensor 14 zum Prozessor 1 8 dargestellt). Damit kann der Prozessor 1 8 auch noch Stereoinformationen wie beispielsweise Disparitäten für die Klassifikation verwenden, wodurch eine noch genauere Klassifikation der Hindernisse erzielt werden kann .
Die beiden vom Modul 1 0 ausgegebenen Listen 20 und 22 können in einem Fahrerassistenzsystem weiter verarbeitet werden, insbesondere durch einen Steueralgorithmus für die Entscheidung über einen (teil-) autonomen Eingriff in Bremsen, Lenkung, Antriebsstrangsteuerung ausgewertet werden . Der Algorithmus kann hierbei seine Entscheidung auf die Daten beider Listen 20 und 22 stützen, oder auch nur auf die Daten der Liste 22.
Die in Fig . 1 dargestellten Prozessoren 1 6 und 1 8 können als getrennte Hardwareeinheiten implementiert werden, beispielsweise als spezielle Bildverarbeitungs-ASICs (Application Specific Integrated Circuits). Alternativ kann auch ein leistungsfähiger Prozessor zur Bildverarbeitung im Modul 1 0 vorgesehen sein, der durch ein entsprechendes Programm konfiguriert die beiden Einheiten 1 6 und 1 8 implementiert.
Ein Flussdiagramm eines solchen Programms, das ein Verfahren redundanten Objektdetektion mit einer Stereokamera gemäß der Erfindung implementiert, ist in Fig. 2 gezeigt. Die gezeigten Schritte S10-S16 entsprechen den durch die Prozessoren 16 und 18 ausgeführten und oben beschriebenen Schritten. Der Vollständigkeit halber werden die Verfahrensschritte im Folgenden nochmal kurz beschrieben. Im Schritt S10 werden Objekte durch Auswertung der durch die Stereokamera erfassten Stereobilder detektiert. Hierzu werden im Schritt S12 aus Disparitäten und Fluss als Objekte Hindernisse, die aus einer Straße herausragen, detektiert, wie vorausfahrende Fahrzeuge, deren Abstand zum eigenen Fahrzeug, Geschwindigkeit und Größe. Die so erzeugte Objektliste 20 mit Hindernissen wird ausgegeben und im darauffolgenden Schritt S14 weiter verarbeitet, indem die Hindernisse durch Monobildauswertung der Bilddaten eines Bildsensors der Stereokamera klassifiziert werden. Mit den klassifizierten Hindernissen wird eine weitere Objektliste 22 erzeugt, die zur weiteren Verarbeitung durch ein Fahrerassistenzsysteme, beispielsweise die Entscheidung über einen (teil-)autonomen Eingriff in die Fahrzeugdynamik ausgegeben wird.
Die vorliegende Erfindung ermöglicht die redundante Detektion von Objekten für Fahrerassistenzsysteme mit einer Stereokamera, mit welcher der technische Implementierungsaufwand gegenüber herkömmlichen Ansätzen mit zwei oder mehr unterschiedlichen Sensoren verringert werden kann.
Bezugszeichen Stereokamera-Modul
erster Bildsensor der Stereokamera zweiter Bildsensor der Stereokamera Stereopfad-Objektdetektionsprozessor Monopfad-Objektklassifikationsprozessor Hindernis-Objektliste
Klassifizierte-Hindernis-Objektliste

Claims

Patentansprüche
Vorrichtung (10) zur redundanten Objektdetektion mit
einer Stereokamera, die zwei Bildsensoren (12, 14) aufweist, ersten Verarbeitungsmitteln (16) zur Detektion von Objekten durch Stereobildauswertung von Bilddaten der zwei Bildsensoren, und zweiten Verarbeitungsmitteln (18) zur Klassifikation von durch die Stereopfad-Verarbeitungsmittel detektierten Objekten durch
Auswertung von Bilddaten von mindestens einem der zwei
Bildsensoren.
Vorrichtung nach Anspruch 1 ,
dadurch gekennzeichnet, dass
die ersten Verarbeitungsmittel (16) ausgebildet sind, bei der
Stereobildauswertung aus Disparitäten und/oder Fluss eine Objektliste (20) mit Hindernissen, die aus einer Straße herausragen, zu generieren und die generierte Objektliste den zweiten Verarbeitungsmitteln zur Objekt-Klassifikation zuzuführen.
Vorrichtung nach Anspruch 2,
dadurch gekennzeichnet, dass
die zweiten Verarbeitungsmittel (18) ausgebildet sind, eine auf den Bilddaten von mindestens einem der zwei Bildsensoren (12) basierte Klassifikation der Hindernisse der zugeführten Objektliste (20) auszuführen und eine zweite Objektliste (22) mit klassifizierten
Hindernissen zu generieren.
Vorrichtung nach Anspruch 3,
dadurch gekennzeichnet, dass
die zweiten Verarbeitungsmittel (18) ferner ausgebildet sind, bei der Klassifikation zusätzlich Bilddaten vom zweiten (14) der zwei
Bildsensoren zu verwenden. Vorrichtung nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die zwei Bildsensoren der Stereokamera und die ersten und zweiten Verarbeitungsmittel auf einer gemeinsamen Platine montiert sind.
Verfahren zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, wobei das Verfahren die folgenden Schritte aufweist:
Detektieren von Objekten durch Stereobildauswertung von Bilddaten der zwei Bildsensoren (S10, S12), und
Klassifizieren von detektierten Objekten durch Auswertung von Bilddaten von mindestens einem der zwei Bildsensoren (S14, S16).
Verfahren nach Anspruch 6,
dadurch gekennzeichnet, dass
der Schritt des Detektierens von Objekten durch Stereobildauswertung (S10) das Generieren einer Objektliste mit Hindernissen, die aus einer Straße herausragen, durch Stereobildauswertung aus Disparitäten und Fluss und das Ausgeben der generierten Objektliste zur Objekt- Klassifikation (S12) aufweist.
Verfahren nach Anspruch 7,
dadurch gekennzeichnet, dass
der Schritt des Klassifizierens von detektierten Objekten (S14) das Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren und das Generieren einer zweite Objektliste mit klassifizierten Hindernisse (S16) aufweist.
Verfahren nach Anspruch 8,
dadurch gekennzeichnet, dass
beim Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei
Bildsensoren zusätzlich Bilddaten vom zweiten der zwei Bildsensoren verwendet werden. 10. Programm mit Programmcode zur Durchführung eines Verfahrens gemäß einem der Ansprüche 6 bis 9, wenn das Programm von einem Prozessor ausgeführt wird.
PCT/DE2012/100127 2011-05-11 2012-05-07 Redudante objektdetektion für fahrerassistenzsysteme Ceased WO2012152268A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112012001318.2T DE112012001318B4 (de) 2011-05-11 2012-05-07 Redundante Objektdetektion für Fahrerassistenzsysteme
US14/116,478 US9592764B2 (en) 2011-05-11 2012-05-07 Redundant object detection for driver assistance systems

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011101246.3 2011-05-11
DE102011101246A DE102011101246A1 (de) 2011-05-11 2011-05-11 Redudante objektdetektion für fahrerassistenzsysteme

Publications (2)

Publication Number Publication Date
WO2012152268A2 true WO2012152268A2 (de) 2012-11-15
WO2012152268A3 WO2012152268A3 (de) 2013-01-03

Family

ID=46245758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2012/100127 Ceased WO2012152268A2 (de) 2011-05-11 2012-05-07 Redudante objektdetektion für fahrerassistenzsysteme

Country Status (3)

Country Link
US (1) US9592764B2 (de)
DE (2) DE102011101246A1 (de)
WO (1) WO2012152268A2 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013104335A1 (de) 2013-03-26 2014-10-16 Continental Automotive Gmbh Verfahren zur Auslösung einer Fahrerassistenzfunktion bei einer Detektion eines Bremslichtes mittels einer Kamera
DE102013217577A1 (de) * 2013-09-04 2015-03-05 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
DE102013217915A1 (de) 2013-09-09 2015-03-12 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten
US9096199B2 (en) * 2013-10-09 2015-08-04 Ford Global Technologies, Llc Monitoring autonomous vehicle braking
WO2015056105A1 (en) 2013-10-14 2015-04-23 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
DE102014205734A1 (de) * 2014-03-27 2015-10-01 Continental Teves Ag & Co. Ohg Verfahren zur Eigenschaftsklassifikation von Objekten für ein Fahrzeugsicherheitssystem eines Fahrzeugs
DE102014206227A1 (de) * 2014-04-02 2015-10-08 Conti Temic Microelectronic Gmbh Stereokamerasystem
DE102014008578B4 (de) * 2014-06-12 2016-02-18 Audi Ag Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
US9576185B1 (en) 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems
US9829884B1 (en) 2016-05-10 2017-11-28 Dura Operating, Llc Scalable driver assistance system
US10409286B2 (en) * 2017-07-21 2019-09-10 Ford Global Technologies, Llc Highway detection systems and methods
US10467486B2 (en) * 2017-12-29 2019-11-05 Automotive Research & Testing Center Method for evaluating credibility of obstacle detection
DE102018211268A1 (de) * 2018-07-09 2020-01-09 Conti Temic Microelectronic Gmbh Stereokameravorrichtung sowie Verfahren zum Betrieb der Stereokameravorrichtung
DE102018216417A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Ortsvorhersage für dynamische Objekte
US11580687B2 (en) 2018-12-04 2023-02-14 Ottopia Technologies Ltd. Transferring data from autonomous vehicles
JP7293648B2 (ja) * 2018-12-21 2023-06-20 トヨタ自動車株式会社 運転支援装置、車両、運転支援システム、及び運転支援方法
US12175860B2 (en) * 2020-05-15 2024-12-24 Toyota Jidosha Kabushiki Kaisha Road safety warning system for pedestrian

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19926559A1 (de) 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US7729511B2 (en) 2002-09-24 2010-06-01 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous area
DE10245720A1 (de) * 2002-09-24 2004-04-01 Pilz Gmbh & Co. Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs
US7558762B2 (en) * 2004-08-14 2009-07-07 Hrl Laboratories, Llc Multi-view cognitive swarm for object recognition and 3D tracking
JP4304517B2 (ja) * 2005-11-09 2009-07-29 トヨタ自動車株式会社 物体検出装置
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
WO2007124502A2 (en) 2006-04-21 2007-11-01 Sarnoff Corporation Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4853160B2 (ja) 2006-08-02 2012-01-11 株式会社デンソー 車両検出装置及びヘッドランプ制御装置
JP4544233B2 (ja) 2006-10-11 2010-09-15 株式会社デンソー 車両検出装置及びヘッドランプ制御装置
US7961906B2 (en) * 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
KR100918480B1 (ko) * 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
US8174562B2 (en) * 2007-11-09 2012-05-08 Honeywell International Inc. Stereo camera having 360 degree field of view
JP5172314B2 (ja) * 2007-12-14 2013-03-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
DE102008058279A1 (de) 2008-11-20 2010-05-27 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
DE102012000459A1 (de) 2012-01-13 2012-07-12 Daimler Ag Verfahren zur Objektdetektion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
DE102011101246A1 (de) 2012-11-15
DE112012001318B4 (de) 2023-09-21
US9592764B2 (en) 2017-03-14
WO2012152268A3 (de) 2013-01-03
DE112012001318A5 (de) 2014-01-02
US20140160252A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
DE112012001318B4 (de) Redundante Objektdetektion für Fahrerassistenzsysteme
EP2043045B1 (de) Verfahren zur Objektverfolgung
EP3381185B1 (de) Verfahren und vorrichtung zur ermittlung von verdeckungsbereichen in der fahrzeugumgebung eines fahrzeuges
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE102014009059B4 (de) Seiten-Rückwärts-Alarmsystem für Fahrzeuge und Alarmsteuerverfahren für dieses
DE102017205093A1 (de) Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
DE102016212326A1 (de) Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs
EP3622709B1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102015116542A1 (de) Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014201158A1 (de) Verfahren und Vorrichtung zum Überprüfen eines von einer Objekterkennung erkannten relevanten Objekts
DE102019216805A1 (de) Verfahren zum Verfolgen eines entfernten Zielfahrzeugs in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kollisionserkennungsvorrichtung
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102015010535A1 (de) Kamerabasierte Umgebungserfassung für Nutzfahrzeuge
EP3520020B1 (de) Verkehrszeichenklassifikation in einem umgebungsbereich eines kraftfahrzeugs
DE102022002325A1 (de) Verfahren zur Aktivierung einer Parkfunktion eines Fahrzeugs und zum Auffinden potenzieller Parklücken
DE102019001610A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102023005203A1 (de) Verfahren zur Sensorfusion
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
DE102005024052B4 (de) Verfahren und Vorrichtung zum gesteuerten Auswählen von vorausschauenden Sensoren für ein Fußgängerschutzsystem eines Kraftfahrzeugs
DE102014206227A1 (de) Stereokamerasystem
DE102021005731A1 (de) Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs
DE102021206316A1 (de) Verfahren und Vorrichtung zum Erkennen eines Objekts für ein eine Monokamera umfassendes Fahrzeug und Kamerasystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12726731

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 1120120013182

Country of ref document: DE

Ref document number: 112012001318

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 14116478

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112012001318

Country of ref document: DE

Effective date: 20140102

122 Ep: pct application non-entry in european phase

Ref document number: 12726731

Country of ref document: EP

Kind code of ref document: A2