DE102017204836B4 - Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges - Google Patents
Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges Download PDFInfo
- Publication number
- DE102017204836B4 DE102017204836B4 DE102017204836.0A DE102017204836A DE102017204836B4 DE 102017204836 B4 DE102017204836 B4 DE 102017204836B4 DE 102017204836 A DE102017204836 A DE 102017204836A DE 102017204836 B4 DE102017204836 B4 DE 102017204836B4
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- images
- image
- headlights
- headlight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
- Aufnehmen (S1) von Bildern einer Umgebung des Fahrzeuges (1) mittels wenigstens einer an dem Fahrzeug (1) angeordneten Frontkamera (12),
- Auswerten (S2) von Bildinformation (BI) der aufgenommenen Bilder zur Bestimmung der Position wenigstens eines Objekts (2) relativ zu dem Fahrzeug (1),
wobei bei dem Aufnehmen (S1) der Bilder mittels einer Ansteuerung von zwei an dem Fahrzeug (1) voneinander beabstandet angeordneten Frontscheinwerfern (18-1, 18-2), einem ersten Frontscheinwerfer (18-1) und einem zweiten Frontscheinwerfer (18-2), nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und wobei bei dem Auswerten (S2) der Bildinformation (BI) die für jedes Bild realisierte Beleuchtungssituation berücksichtigt wird,
dadurch gekennzeichnet, dass die zwei Frontscheinwerfer (18-1, 18-2) gemäß eines Zeitmultiplex-Verfahrens in zeitlicher Koordination mit dem Aufnehmen der Bilder betrieben werden, wobei nacheinander wenigstens vier verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens vier Bilder unter den vier verschiedenen Beleuchtungssituationen aufgenommen werden, und zwar
- ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer (18-1, 18-2) ausgeschaltet sind,
- ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer (18-1) eingeschaltet ist und der zweite Frontscheinwerfer (18-2) ausgeschaltet ist,
- ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer (18-1) ausgeschaltet ist und der zweite Frontscheinwerfer (18-2) eingeschaltet ist,
- ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer (18-1, 18-2) eingeschaltet sind.
Description
- Die vorliegende Erfindung betrifft ein Erfassen von Objekten in einer Umgebung eines Fahrzeuges, insbesondere ein Verfahren nach dem Oberbegriff des Anspruchs 1 sowie eine Vorrichtung nach dem Oberbegriff des Anspruchs 6. Ferner betrifft die Erfindung ein mit einer derartigen Vorrichtung ausgestattetes Fahrzeug und ein Computerprogrammprodukt zur Durchführung eines derartigen Verfahrens.
- Bei derartigen bekannten Verfahren und Vorrichtungen zum Erfassen von Objekten in einer Umgebung eines Fahrzeuges werden mittels einer an einem Fahrzeug angeordneten Kamera während der Bewegung des Fahrzeuges Bilder der Umgebung des Fahrzeuges aufgenommen und eine Bildinformation der aufgenommenen Bilder ausgewertet, um Objekte in der Umgebung des Fahrzeuges zu erkennen bzw. zu identifizieren und um die jeweiligen Positionen der Objekte relativ zum Fahrzeug zu bestimmen. Bei Straßenfahrzeugen können als zu erfassende Objekte z. B. andere Fahrzeuge, Fußgänger, Fahrbahnbegrenzungen (z. B. Leitplanken), Verkehrszeichen etc. von Interesse sein.
- Eine hinreichend zuverlässige und genaue Bestimmung der Position von Objekten in einer Umgebung eines Fahrzeuges spielt beispielsweise eine besonders große Rolle bei Systemen, die eine vollautonome oder zumindest teilautonome Bewegung des betreffenden Fahrzeuges bewerkstelligen sollen.
- In diesem Zusammenhang werden z. B. für Kraftfahrzeuge wie PKW oder LKW derzeit größere Anstrengungen unternommen, um in dieser kameragestützten Weise während der Fahrt des Fahrzeuges die Fahrzeugumgebung insbesondere vor dem Fahrzeug mit hoher Genauigkeit dreidimensional zu erfassen, d. h. möglichst viele Objekte zu identifizieren und deren Position relativ zum Fahrzeug zu bestimmen, um damit einen voll- oder teilautonomen Fahrzeugbetrieb und/oder andere Komfort- und/oder Sicherheitsfunktionalitäten zu realisieren.
- Für eine Verbesserung der Qualität der Objekterfassung basierend auf der Auswertung von kameragestützt gewonnener Bildinformation ist es von Vorteil, qualitativ hochwertige Kameras und/oder mehrere Kameras (z. B. eine Stereokamera) einzusetzen, oder auch z. B. zu versuchen, zur Erfassung von Objekten und Bestimmung der jeweiligen Positionen verwendete Softwarealgorithmen zu verbessern.
- Die
DE 10 2010 051 602 A1 betrifft Verfahren, durch welche Merkmale deutlich hervorgehoben werden sollen. Durch Vergleich von mind. zwei Aufnahmen mit unterschiedlichen Kamerastandorten und/oder unterschiedlicher Beleuchtung werden Merkmale deutlich vom Hintergrund getrennt und in der Entfernung bestimmt. Genutzt werden auch Stereotechnik und Blitzlicht. Das Verfahren ermöglicht es, Merkmale in einem Überwachungsbereich zuverlässig zu erkennen und in der Position zu bestimmen. Z. B. Personen vor einer Maschine oder im Nahbereich vor einem Fahrzeug. - Die
DE 10 2015 210 934 A1 betrifft eine Vorrichtung zum verbesserten visuellen Lokalisieren eines Kraftfahrzeugs in einem Umfeld, umfassend: eine Bildererfassungseinrichtung zum Erfassen von Abbildungen des Umfeldes, eine Beleuchtungseinrichtung zur Beleuchtung des Umfeldes und eine Steuerung, wobei die Steuerung eine Merkmalserkennungseinrichtung, eine Speichereinrichtung und eine Lokalisierungseinrichtung umfasst, und wobei die Steuerung ausgebildet ist, über die Bilderfassungseinrichtung mindestens eine Abbildung des Umfeldes zu erfassen, und die Merkmalserkennungseinrichtung ausgebildet ist, Merkmale in der mindestens einen erfassten Abbildung des Umfeldes zu erkennen, und wobei die Lokalisierungseinrichtung ausgebildet ist, das Kraftfahrzeug durch Vergleichen von erkannten Merkmalen mit den in einer in der Speichereinrichtung hinterlegten Karte vorhandenen Merkmalen und deren Positionen in der Karte zu lokalisieren, und wobei die Steuerung eine Beleuchtungseinflussbeseitigungseinrichtung zum Minimieren der Beleuchtungseinflüsse beim Lokalisieren des Kraftfahrzeugs umfasst. Ferner betrifft die Erfindung das zugehörige Verfahren. - Die
betrifft ein System zum Bestimmen einer dreidimensionalen (3D) Darstellung eines Objekts oder einer Szene umfasst eine oder mehrere Lichtquellen und ein oder mehrere zweidimensionale (2D) Bildaufnahmegeräte, die so angeordnet sind, dass mehrere Bilder aufgenommen werden, von denen jedes die Szene unterschiedlich beleuchtet zeigt. Es werden verschiedene Mittel zum Koppeln der Beleuchtung und der Bilderfassung beschrieben, um Bilder einer bestimmten Lichtquelle und/oder dem Aufnahmeort zuzuordnen und sie anhand einer Analyse wie bei photometrischen Stereosystemen zur Bestimmung einer ungefähr dreidimensionalen Oberfläche der Szene zu verwenden. Die Lichtquellen können polarisiert sein und die Beleuchtungslichtintensität kann sich mit der Zeit allmählich ändern. Eine der Beleuchtungsquellen kann natürliches Licht sein. Standortsensoren können die Positionen der Lichtquellen und/oder Bilderfassungskameras bestimmen. Einige Lichtquellen liegen möglicherweise außerhalb des sichtbaren Spektrums, z. B. Infrarot, und die Mittel zur Bilderfassung und 3D-Verarbeitung können in einem gemeinsamen, integrierten Gerät kombiniert sein. Die Beleuchtung kann durch mechanische Mittel wie beispielsweise Blenden oder elektronisch variiert werden.GB 2 453 163 A - Es ist eine Aufgabe der vorliegenden Erfindung, einen neuartigen Weg aufzuzeigen, um die Qualität einer Erfassung von Objekten in einer Umgebung eines Fahrzeuges der eingangs genannten Art zu verbessern.
- Gemäß eines ersten Aspekts der Erfindung wird diese Aufgabe bei einem Verfahren der eingangs genannten Art dadurch gelöst, dass bei dem Aufnehmen der Bilder mittels einer Ansteuerung von zwei an dem Fahrzeug voneinander beabstandet angeordneten Frontscheinwerfern, einem ersten Frontscheinwerfer und einem zweiten Frontscheinwerfer, nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und wobei bei dem Auswerten der Bildinformation die für jedes Bild realisierte Beleuchtungssituation berücksichtigt wird. Die zwei Frontscheinwerfer werden gemäß eines Zeitmultiplex-Verfahrens in zeitlicher Koordination mit dem Aufnehmen der Bilder betrieben, wobei nacheinander wenigstens vier verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens vier Bilder unter den vier verschiedenen Beleuchtungssituationen aufgenommen werden, und zwar
- - ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer ausgeschaltet sind,
- - ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer eingeschaltet ist und der zweite Frontscheinwerfer ausgeschaltet ist,
- - ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer ausgeschaltet ist und der zweite Frontscheinwerfer eingeschaltet ist,
- - ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer eingeschaltet sind.
- Die Grundidee der Erfindung besteht somit darin, für ein und dieselbe Fahrzeugumgebung zeitlich nacheinander (bevorzugt mit sehr kurzem zeitlichen Abstand) aktiv für wenigstens zwei (oder mehr) voneinander verschiedene Beleuchtungssituationen zu sorgen und damit wenigstens zwei Bilder der Fahrzeugumgebung mit voneinander verschiedener „Objektausleuchtung“ aufzunehmen, um damit die Aussagekraft der Bildinformation zu vergrößern. Der erfindungsgemäß erzielbare Informationsgewinn ist insofern besonders groß, als beim Auswerten der Bildinformation die jeweilige Bildausleuchtung bzw. Beleuchtungssituation berücksichtigt wird.
- Hierzu ein Beispiel: Angenommen ein mittels einer am Fahrzeug angeordneten und nach vorne gerichteten Kamera (Frontkamera des Fahrzeuges) unter diffuser Tageslichtbeleuchtung aufgenommenes erstes Bild zeigt einen vor dem Fahrzeug befindlichen Fußgänger, der z. B. beim Auswerten der Bildinformation dieses Bildes mittels eines auf Mustererkennung basierenden Softwarealgorithmus oder dergleichen als solcher erkannt wurde. Da die reale Größe des Fußgängers unbekannt ist, ist eine Bestimmung der Position des Fußgängers relativ zum Fahrzeug, insbesondere des Abstands zum Fahrzeug mit Unsicherheit behaftet. Wenn jedoch ein zweites Bild bei zusätzlich eingeschalteter Beleuchtungseinrichtung des Fahrzeuges, z. B. eines Frontscheinwerfers, aufgenommen wird, so erzeugt oder verändert dies z. B. einen Schatten des betreffenden Objekts, hier also des Fußgängers, im Vergleich zum ersten Bild.
- Bei Bekanntheit der Eigenschaften der verwendeten Kamera(s) und der verwendeten Beleuchtungseinrichtung(en), insbesondere Bekanntheit von deren Anordnungsstellen am Fahrzeug und deren Orientierungen bezüglich des Fahrzeuges, ermöglicht ein Auswerten der Bildinformation unter Berücksichtigung des (beleuchtungsabhängigen) Schattenwurfs des Objekts vorteilhaft eine genauere Bestimmung der Position des Objekts.
- Erfindungsgemäß werden nacheinander verschiedene Beleuchtungssituationen realisiert und damit nacheinander Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen. Hierbei kann vorgesehen sein, dass die Beleuchtung von Bild zu Bild verändert wird. Dies ist jedoch keineswegs zwingend. Vielmehr ist es z. B. auch möglich, in einer bestimmten Beleuchtungssituation mehr als ein Bild aufzunehmen und erst dann die Beleuchtung zu verändern.
- Selbst wenn zur Veränderung der Beleuchtung einzelne Beleuchtungseinrichtungen einfach eingeschaltet und ausgeschaltet werden, so müssen diese Schaltvorgänge keineswegs zwingend abrupt erfolgen. Vielmehr sind auch sanfte Übergänge oder insbesondere im Wesentlichen sinusförmige Variationen der einzelnen Lichtintensitäten denkbar.
- In einer Ausführungsform erfolgen Schaltvorgänge zum Einschalten und Ausschalten der einzelnen Frontscheinwerfer nicht abrupt, sondern es sind sanfte Übergänge vorgesehen, insbesondere mit einer im Wesentlichen sinusförmigen Variation der betreffenden Lichtintensität.
- Die Frontkamera kann z. B. im Wesentlichen auf einer Längsmittelinie des Fahrzeuges liegend angeordnet und z. B. exakt in Fahrzeuglängsrichtung (Fahrtrichtung) nach vorne orientiert sein.
- In einer Ausführungsform sind die wenigstens zwei Frontkamerasim Wesentlichen symmetrisch zu einer vertikalen Längsmittelebene des Fahrzeuges (also links und rechts von einer Fahrzeuglängsmittellinie) angeordnet.
- Auch bei einer derartigen Mehrzahl von Frontkameras können die einzelnen Kameras z. B. in Fahrzeuglängsrichtung orientiert sein. Alternativ können andere Orientierungen und insbesondere zueinander nicht parallele Orientierungen der Kameras vorgesehen sein.
- Alternativ oder zusätzlich zu einer oder mehreren Frontkameras kommen auch eine oder mehrere nach hinten gerichtete Kameras, also Heckkameras und/oder eine oder mehrere schräg oder seitwärts orientierte Kameras in Betracht.
- Bei jeder Kamera kann das Aufnehmen von Bildern in einem sichtbaren Spektralbereich vorgesehen sein. Alternativ oder zusätzlich kann das Aufnehmen von Bildern in einem unsichtbaren Spektralbereich, insbesondere z. B. im Infrarotbereich vorgesehen sein, sei es mittels derselben Kamera(s) oder mittels einer oder mehrerer hierfür zusätzlich am Fahrzeug angeordneter Kameras.
- Bei jeder Kamera ist bevorzugt deren Anordnung mit fest vorgegebener Orientierung bezüglich des Fahrzeuges vorgesehen. Es soll jedoch nicht ausgeschlossen sein, dass wenigstens eine Kamera für eine Veränderung von deren Orientierung ansteuerbar ist, um mit dieser Kamera Bilder unter verschiedenen Orientierungen der Kamera aufzunehmen. Damit kann die aus den Bildern hervorgehende Bildinformation weiter vergrößert werden.
- Alternativ oder zusätzlich werden wenigstens zwei an voneinander verschiedenen Stellen des Fahrzeuges angeordnete Kameras eingesetzt, wie z. B. die bereits erwähnten außermittig am Fahrzeug angeordneten Frontkameras.
- Ein naheliegender Vorteil der Verwendung mehrerer Kameras zum Aufnehmen von Bildern einer dreidimensionalen Szenerie besteht darin, dass aus den Unterschieden der aus verschiedenen Perspektiven aufgenommenen Bilder mittels der Auswertung der Bildinformation eine verbesserte Bestimmung der Position einzelner Objekte ermöglicht wird.
- Im Rahmen der Erfindung ergibt sich jedoch der zusätzliche Vorteil, dass die Unterschiede in den aus verschiedenen Perspektiven aufgenommenen Bildern auch hinsichtlich bzw. unter Berücksichtigung der jeweils realisierten besonderen Beleuchtungssituation ausgewertet werden können.
- Hierzu ein Beispiel, das an das weiter oben bereits erläuterte Beispiel anknüpft:
- Angenommen ein vor dem Fahrzeug befindlicher Fußgänger wird zum einen unter diffusem Tageslicht und zum anderen mit zusätzlicher Beleuchtung durch einen Fahrzeugscheinwerfer mittels einer einzigen Frontkamera aufgenommen. In diesem Fall kann es passieren, dass der aus der zusätzlichen Beleuchtung resultierende bzw. veränderte Schattenwurf des Fußgängers durch den Fußgänger selbst verdeckt wird. Wenn jedoch in gleicher Situation zusätzlich ein weiteres Bild mittels einer an anderer Stelle angeordneter Kamera aufgenommen wird, so wird der Schattenwurf bzw. die Schattenwurfveränderung in der Regel in diesem weiteren Bild erkennbar und somit vorteilhaft zur Positionsbestimmung auswertbar sein.
- In gewisser Weise analog zu einer Vermehrung von Bildinformation durch Verwendung einer Mehrzahl von Kameras kann bei der Erfindung eine (weitere) Vermehrung der Bildinformation durch Verwendung einer Mehrzahl von (an voneinander verschiedenen Stellen des Fahrzeuges angeordneten) Beleuchtungseinrichtungen erzielt werden.
- Dementsprechend ist in einer vorteilhaften Ausführungsform vorgesehen, dass wenigstens zwei an verschiedenen Stellen des Fahrzeuges angeordnete Beleuchtungseinrichtungen in erfindungsgemäßer Weise verwendet werden.
- Alternativ oder zusätzlich werden zur Erfassung von Objekten in einem bestimmten Bereich der Umgebung des Fahrzeuges, insbesondere einem Bereich vor dem Fahrzeug, wenigstens zwei diesen Bereich erfassende Kameras in Verbindung mit wenigstens zwei an verschiedenen Stellen des Fahrzeuges angeordneten und in Richtung dieses Bereichs abstrahlende Beleuchtungseinrichtungen eingesetzt.
- Der Begriff „Scheinwerfer“ bezeichnet im Sinne der Erfindung eine Beleuchtungseinrichtung des Fahrzeuges, deren erzeugtes Licht mehr oder weniger in eine vorbestimmte Richtung (Orientierung des Scheinwerfers) gebündelt vom Fahrzeug weg abgestrahlt wird. Bei fast allen zum Gebrauch im öffentlichen Verkehr vorgesehenen Fahrzeugen sind beispielsweise in Fahrtrichtung abstrahlende Scheinwerfer ohnehin gesetzlich vorgeschrieben.
- Fahrzeugscheinwerfer, deren primärer Zweck es ist, für einen Fahrzeugführer einen bestimmten Bereich der Fahrzeugumgebung, insbesondere z. B. den unmittelbar vor dem Fahrzeug liegenden Bereich auszuleuchten, können im Rahmen der Erfindung sehr vorteilhaft zusätzlich zur Realisierung der verschiedenen Beleuchtungssituationen genutzt werden.
- Für den Einsatz der Erfindung bei mehrspurigen Kraftfahrzeugen für den Straßenverkehr (z. B. PKW, LKW etc.) ergibt sich der noch weitere Vorteil, dass diese Fahrzeuge in der Regel ohnehin mit zwei voneinander beabstandeten Frontscheinwerfern ausgestattet sind, so dass diese beiden Scheinwerfer bei der Erfindung besonders vorteilhaft genutzt werden können.
- Alternativ oder ergänzend erfolgt die Ansteuerung der wenigstens einen Beleuchtungseinrichtung zur Einstellung einer bestimmten Lichtintensität (z. B. abgestrahlte Lichtleistung) der jeweiligen Beleuchtungseinrichtung.
- Beleuchtungseinrichtungen der im Rahmen der Erfindung interessierenden Art und insbesondere z. B. Fahrzeugscheinwerfer werden in der Regel elektrisch betrieben (z. B. Halogen- oder LED-Scheinwerfer), so dass durch entsprechende Variation eines Betriebsstromes eine bestimmte Lichtintensität eingestellt werden kann.
- In einer Ausführungsform wobei die beiden Frontscheinwerfer (18-1, 18-2) jeweils als LED-Scheinwerfer ausgebildet sind und deren je-weilige Lichtintensität durch entsprechende Variation eines jeweiligen Betriebsstromes eingestellt wird.
- Falls zur Realisierung der verschiedenen Beleuchtungssituationen bei einer Beleuchtungseinrichtung deren Lichtintensität eingestellt wird, so ist gemäß einer Ausführungsform vorgesehen, dass die Beleuchtungssituationen wenigstens die beiden Fälle umfassen, in denen die Beleuchtungseinrichtung ausgeschaltet (Lichtintensität = 0) und mit einer im Wesentlichen maximalen Lichtintensität eingeschaltet ist (z. B. mit Lichtintensität entsprechend dem Betrieb mit einer Nennleistung der Beleuchtungseinrichtung).
- Alternativ oder zusätzlich ist jedoch auch die Verwendung wenigstens einer Einstellung denkbar, bei der die Lichtintensität in einem mittleren Bereich, also zwischen Null und einer Maximalintensität der betreffenden Beleuchtungseinrichtung liegt (z. B. Betrieb im Bereich von 40% bis 60% einer Nennleistung).
- Um eine bestimmte Lichtintensität einzustellen, kommt alternativ oder zusätzlich zu einer Variation eines elektrischen Betriebsstromes auch in Betracht, eine Shutter-Einrichtung oder ähnliches (z. B. elektrooptische Modulatoren etc.) an der betreffenden Beleuchtungseinrichtung vorzusehen und anzusteuern, um damit einen von einer Lichtquelle (z. B. einem Leuchtmittel) der Beleuchtungseinrichtung ausgehenden Lichtstrom vor dem Verlassen der Beleuchtungseinrichtung zeitweilig abschwächen zu können.
- Alternativ oder zusätzlich zur Einstellung einer bestimmten Lichtintensität kann im Rahmen der Realisierung verschiedener Beleuchtungssituationen eine betreffende Beleuchtungseinrichtung z. B. auch derart angesteuert werden, dass damit eine Beleuchtungsrichtung (Abstrahlrichtung) eingestellt wird. Beispielsweise bei modernen Kraftfahrzeugen ist oftmals ohnehin eine Verstellbarkeit der Abstrahlrichtung der Frontscheinwerfer vorgesehen, sei es z. B. als Kurvenlicht oder z. B. beim Auf- und Abblenden.
- Zusammenfassend können bei der Erfindung vorgesehene verschiedene Beleuchtungssituationen somit insbesondere durch Variation einer abgestrahlten Lichtintensität, einer Lichtabstrahlungsrichtung (oder allgemeiner: Lichtabstrahlungscharakteristik), oder einer Kombination davon realisiert werden.
- Gemäß eines weiteren Aspekts der Erfindung wird die eingangs gestellte Aufgabe bei einer Vorrichtung der eingangs genannten Art dadurch gelöst, dass die Vorrichtung ferner eine Steuereinrichtung aufweist, die dazu ausgebildet ist, dass bei dem Aufnehmen der Bilder durch wenigstens eine Frontkamera mittels einer Ansteuerung von zwei an dem Fahrzeug voneinander beabstandet angeordneten Frontscheinwerfern, einem ersten Frontscheinwerfer und einem zweiten Frontscheinwerfer, nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und dass die Auswerteeinrichtung ferner dazu ausgebildet ist, bei dem Auswerten der Bildinformation die für jedes Bild realisierte Beleuchtungssituation zu berücksichtigen. Die Steuereinrichtung ferner dazu ausgebildet ist, die zwei Frontscheinwerfer gemäß eines Zeitmultiplex-Verfahrens in zeitlicher Koordination mit dem Aufnehmen der Bilder zu betreiben, wobei nacheinander wenigstens vier verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens vier Bilder unter den vier verschiedenen Beleuchtungssituationen aufgenommen werden, und zwar
- - ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer ausgeschaltet sind,
- - ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer eingeschaltet ist und der zweite Frontscheinwerfer ausgeschaltet ist,
- - ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer ausgeschaltet ist und der zweite Frontscheinwerfer eingeschaltet ist,
- - ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer eingeschaltet sind.
- Die für das erfindungsgemäße Verfahren beschriebenen Ausführungsformen und besonderen Ausgestaltungen können in analoger Weise, einzeln oder in beliebiger Kombination, auch als Ausführungsformen bzw. besondere Ausgestaltungen der erfindungsgemäßen Vorrichtung vorgesehen werden (vgl. hierzu insbesondere die Ansprüche 7 bis 10).
- Die bei der Vorrichtung vorgesehene Steuereinrichtung kann eine eigens für den erfindungsgemäßen Zweck vorgesehene Einrichtung darstellen, mittels welcher die Beleuchtungseinrichtung(en) in zeitlicher Koordination mit dem Aufnehmen der Bilder angesteuert wird/werden. Alternativ kann die Steuereinrichtung als Teilfunktionalität einer auch anderen Zwecken dienenden Steuereinrichtung des Fahrzeuges ausgebildet sein.
- Analoges gilt für die erfindungsgemäß vorgesehene Auswerteeinrichtung, die darüber hinaus in der Praxis auch baulich zusammengefasst mit oder als eine Teilfunktionalität einer auch die Steuereinrichtung realisierenden Einrichtung vorgesehen sein kann.
- Sowohl die Steuereinrichtung als auch die Auswerteeinrichtung, bzw. eine die Funktionalitäten der Steuerung und Auswertung bereitstellende Einrichtung (z. B. zentrales Steuergerät des Fahrzeuges) ist bevorzugt als eine programmgesteuerte Einrichtung ausgebildet, in welcher die Funktionalitäten der Steuerung und der Auswertung durch Software implementiert sind.
- Zur Realisierung der erwähnten zeitlichen Koordination ist die Steuereinrichtung bei der Durchführung des Verfahrens zweckmäßigerweise mit der oder den verwendeten Kameras verbunden, um z. B. den Kameras eine Zeitbasis für das Aufnehmen der Bilder vorzugeben.
- Gemäß eines weiteren Aspekts der Erfindung wird ein Computerprogrammprodukt umfassend einen Programmcode vorgeschlagen, der auf einer Datenverarbeitungseinrichtung (z. B. zentrales Steuergerät des Fahrzeuges) ausgeführt ein Verfahren der hier beschriebenen Art durchführt.
- Gemäß eines weiteren Aspekts wird ein Fahrzeug vorgeschlagen, welches Mittel zur Durchführung eines Verfahrens der hier beschriebenen Art bzw. eine Vorrichtung der hier beschriebenen Art aufweist.
- Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen mit Bezug auf die beigefügten Zeichnungen weiter beschrieben. Es stellen dar:
-
1 ein Ablaufdiagramm eines Verfahrens zum Erfassen von Objekten in einer Umgebung eines Fahrzeuges, -
2 eine Situation, in der mittels einer Fahrzeugkamera ein erstes Bild eines vor dem Fahrzeug befindlichen Fußgängers aufgenommen wird, -
3 eine Situation, in der ein zweites Bild des Fußgängers von2 aufgenommen wird, bei eingeschaltetem rechten Scheinwerfer des Fahrzeuges, -
4 eine Situation, in der ein drittes Bild des Fußgängers von2 aufgenommen wird, bei eingeschaltetem linken Scheinwerfer des Fahrzeuges, -
5 eine Situation, in der ein viertes Bild des Fußgängers von2 aufgenommen wird, wobei beide Scheinwerfer des Fahrzeuges eingeschaltet sind, und -
6 ein Fahrzeug, das mit einer Vorrichtung zum Erfassen von Objekten in einer Umgebung des Fahrzeuges ausgestattet ist. - Die
1 bis5 veranschaulichen ein Ausführungsbeispiel eines Verfahrens zum Erfassen von Objekten in einer Umgebung eines Fahrzeuges 1, wobei hier beispielhaft die Erfassung eines vor dem Fahrzeug 1 befindlichen Fußgängers 2 (als Beispiel für ein Objekt) erläutert wird. -
1 zeigt ein schematisches Ablaufdiagramm des Verfahrens, und die2 bis5 zeigen einzelnen Schritten des Verfahrens zugehörige Situationen anhand einer Darstellung des Fahrzeuges 1 und des Fußgängers 2. - Mit Bezug auf
1 werden in einem Schritt S1 in kurzer zeitlicher Aufeinanderfolge Bilder der Umgebung des Fahrzeuges 1 vor dem Fahrzeug 1 mittels einer an dem Fahrzeug 1 (2 bis 5 ) angeordneten Kamera 12 (2 bis 5 ) aufgenommen, um eine entsprechende Bildinformation BI bereitzustellen. - Die Bildinformation BI beinhaltet im dargestellten Beispiel insbesondere von der Kamera 12 erzeugte digitale Bilddaten (digitale Repräsentationen der Bildinhalte der einzelnen Bilder).
- In einem Schritt S2 wird die Bildinformation BI der aufgenommenen Bilder ausgewertet, um Objekte wie den beispielhaft dargestellten Fußgänger 2 zu erkennen und in diesem Beispiel die Position des Fußgängers 2 relativ zum Fahrzeug 1 zu bestimmen.
- Für diese Auswertung der Bildinformation BI kann grundsätzlich auf diesbezüglichen Stand der Technik zurückgegriffen werden, bei dem z. B. geeignete Softwarealgorithmen (z. B. eine Mustererkennung oder dergleichen) zum Einsatz kommen können.
- Eine erste Besonderheit des dargestellten Verfahrens besteht darin, dass beim Aufnehmen der Bilder (Schritt S1) mittels einer Ansteuerung von Beleuchtungseinrichtungen, bei denen es sich im dargestellten Beispiel um einen rechten Frontscheinwerfer 18-1 und einen linken Frontscheinwerfer 18-2 des Fahrzeuges 1 handelt, nacheinander vier verschiedene Beleuchtungssituationen realisiert und damit nacheinander vier Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden (vgl.
2 bis 5 ) . - Die Scheinwerfer 18-1, 18-2 werden somit gemäß eines Zeitmultiplex-Verfahrens in zeitlicher Koordination mit dem Aufnehmen der Bilder betrieben.
- Das Aufnehmen der Bilder gemäß Schritt S1 umfasst im dargestellten Beispiel entsprechend der mehreren verschiedenen Beleuchtungssituationen mehrere nachfolgend erläuterte Schritte S11 bis S18.
- Zur Realisierung einer „ersten Beleuchtungssituation“ gemäß
2 werden in einem Schritt S11 beide Scheinwerfer 18-1, 18-2 ausgeschaltet (bzw. nicht eingeschaltet), woraufhin in einem Schritt S12 mittels der Kamera 12 ein erstes Bild aufgenommen wird. - Zur Realisierung einer „zweiten Beleuchtungssituation“ gemäß
3 wird in einem Schritt S13 der rechte Scheinwerfer 18-1 eingeschaltet, woraufhin in einem Schritt S14 mittels der Kamera 12 ein zweites Bild aufgenommen wird. - Zur Realisierung einer „dritten Beleuchtungssituation“ gemäß
4 wird in einem Schritt S15 der rechte Scheinwerfer 18-1 wieder ausgeschaltet und der linke Scheinwerfer 18-2 eingeschaltet, woraufhin in einem Schritt S16 mittels der Kamera 12 ein drittes Bild aufgenommen wird. - Zur Realisierung einer „vierten Beleuchtungssituation“ gemäß
5 wird in einem Schritt S17 der rechte Scheinwerfer 18-1 wieder eingeschaltet, so dass beide Scheinwerfer 18-1 und 18-2 eingeschaltet sind, und in einem Schritt S18 mittels der Kamera 12 ein viertes Bild aufgenommen. - Ganz allgemein ist es von Vorteil, wenn die mehreren Bilder (hier z. B. vier Bilder) in einer insgesamt möglichst kurzen Zeit aufgenommen werden, z. B. weniger als 0,1 s, insbesondere weniger als 0,05 s, um auf Bewegungen des Fahrzeuges und/oder der erfassten Objekte beruhende Unterschiede zwischen den Bildern klein zu halten.
- Wie in
1 symbolisiert, werden die Schritte S11 bis S18 bzw. somit der Schritt S1 im weiteren Verlauf des Verfahrens fortwährend wiederholt um eine nächste „Bildserie“ bestehend aus mehreren (hier: vier) Bildern unter den erläuterten vier verschiedenen Beleuchtungssituationen aufzunehmen. - Das nach jeder Durchführung des Schrittes S1 bereitgestellte Ergebnis, also die Bildinformation BI der entsprechenden Bildserie, wird in einer jeweiligen Durchführung des Schrittes S2 ausgewertet, um die Position des Fußgängers 2 relativ zum Fahrzeug 1 zu bestimmen, was in
1 durch die Ausgabe von Positionsdaten PD symbolisiert ist. - In analoger Weise können im Schritt S2 auch Positionsdaten von noch weiteren Objekten erzeugt und ausgegeben werden, falls bei der Auswertung solche weiteren Objekte identifiziert werden.
- Im Hinblick darauf, dass für jedes erfasste Objekt zeitlich aufeinanderfolgend (nach jeder Durchführung des Schrittes S2) Positionsdaten PD anfallen, kann beispielsweise eine Objektverfolgung realisiert werden, beispielsweise um damit jeweilige relativ Bewegungen der erfassten Objekte bezüglich des Fahrzeuges 1 zu erfassen und z. B. als eine wertvolle Vorinformation bei nachfolgenden Auswertungen im Schritt S2 zu nutzen.
- Eine weitere Besonderheit des dargestellten Verfahrens besteht darin, dass die der Auswertung (Schritt S2) zugeführte Bildinformation BI neben den digitalen Bilddaten zusätzlich eine Information (Daten) über die jedem der aufgenommenen Bilder zugehörige Beleuchtungssituation enthält, also beispielsweise die Information über die Betriebszustände der beiden Scheinwerfer 18-1 und 18-2 für die Zeitpunkte, zu denen die Bilder aufgenommen wurden.
- Schließlich besteht eine weitere Besonderheit des dargestellten Verfahrens darin, dass beim Auswerten (Schritt S2) der Bildinformation BI die für jedes Bild realisierte Beleuchtungssituation (entsprechend der Angaben hierzu in der Bildinformation BI) berücksichtigt wird.
- Damit lassen sich vorteilhaft die Zuverlässigkeit und Genauigkeit bei der Bestimmung der Position des Fußgängers 2 (Positionsdaten PD) verbessern.
- Anzumerken ist, dass das Aufnehmen der Bilder (Schritt S1) und das Auswerten der Bildinformation (Schritt S2) auch insofern zeitlich verschachtelt durchgeführt werden können, als z. B. in der von der Kamera 12 bereitgestellten Bildsequenz jeweils ein gleitendes Fenster bestehend aus mehreren (im Beispiel z. B. vier) unmittelbar aufeinanderfolgend aufgenommenen Bildern ausgewertet werden können.
- Für die konkrete Realisierung der erfindungsgemäß erzielbaren Verbesserung der Positionsbestimmung gibt es vielfältige Möglichkeiten. Die Grundlage hierfür denkbarer Konzepte (bzw. Softwarealgorithmen) ist der Umstand, dass jedes von einer Kamera (hier z. B. Kamera 12) aufgenommene Bild und somit die entsprechenden digitalen Bilddaten nicht lediglich von Existenz, Eigenschaften und Positionen von Objekten des von der Kamera erfassten Bereichs abhängen, sondern ganz wesentlich auch von allen Details der Ausleuchtung des von der Kamera erfassten Bereichs.
- Eine konkrete Möglichkeit zur Nutzung dieses Umstands besteht beispielsweise darin, bei der Auswertung im Schritt S2 Helligkeitsunterschiede in den verschiedenen Bildern bzw. in bestimmten Bildbereichen der verschiedenen Bilder zu analysieren, um Rückschlüsse auf die Position des wenigstens einen Objekts zu ziehen.
- Hierzu ein Beispiel: Bei der Aufnahme gemäß
2 besitzt z. B. der den Fußgänger 2 zeigende Bereich des Bildes eine bestimmte Helligkeit. Im entsprechenden Bereich des bei eingeschaltetem rechten Scheinwerfer 18-1 gemäß3 aufgenommenen Bildes wird die Helligkeit in diesem Bereich (Fußgänger 2) etwas größer sein. Das Ausmaß des Helligkeitsunterschiedes ist abhängig von der Position des Fußgängers 2 relativ zum Scheinwerfer 18-1. Tendenziell gilt: Je näher der Fußgänger 2 am Scheinwerfer 18-1 ist, desto größer wird die Helligkeit des Fußgängers 2 im gemäß3 aufgenommenen Bild sein. Außerdem wird, abhängig von der Abstrahlcharakteristik des Scheinwerfers 18-1, die Helligkeit des Fußgängers 2 tendenziell umso größer sein, je näher der Fußgänger 2 sich am Zentrum des abgestrahlten Lichtkegels befindet. Daher kann durch eine Analyse der Helligkeit des Fußgängers 2 in den aufgenommenen Bildern unter weiterer Berücksichtigung der Position des Fußgängers 2 innerhalb der jeweiligen Bilder eine Schlussfolgerung betreffend die Position des Fußgängers 2 relativ zum Fahrzeug 1 erfolgen. - Eine weitere konkrete Möglichkeit zur Nutzung des vorstehend genannten Umstandes besteht darin, bei der Auswertung gemäß Schritt S2 für das wenigstens eine Objekt, im Beispiel den Fußgänger 2, Schattenunterschiede in den verschiedenen Bildern zu analysieren, um Rückschlüsse auf die Position des jeweiligen Objekts zu ziehen.
- In den
2 bis 5 sind schematisch auch für die verschiedenen Beleuchtungssituationen sich ergebende Schatten des Fußgängers 2 eingezeichnet. Durch die verschiedenen Winkel des auf den Fußgänger 2 auftreffenden Lichts ergeben sich hierbei voneinander verschiedene Schatten und insbesondere voneinander verschiedene Schattenrichtungen. Auch diese Schattenunterschiede (wieder in Verbindung mit der Kenntnis der Positionen, Orientierungen und Eigenschaften bzw. Betriebszuständen der Scheinwerfer 18-1 und 18-2 sowie der Kamera 12) ermöglichen beim Auswerten der Bildinformation BI Rückschlüsse auf die Position des Fußgängers 2 zu ziehen. -
6 zeigt ein Fahrzeug 1 (z. B. das mit Bezug auf die1 bis 5 bereits beschriebene Fahrzeug), bei dem eine Kamera 12 in Verbindung mit einem zentralen elektronischen Steuergerät 20 eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens bildet. - Das Steuergerät 20 weist eine Steuereinrichtung 14 auf, die dazu ausgebildet ist, beim Aufnehmen von Bildern mittels der Kamera 12 durch eine geeignete Ansteuerung von Scheinwerfern 18-1, 18-2 nacheinander verschiedene Beleuchtungssituationen zu realisieren, so dass die Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden.
- Des Weiteren weist das Steuergerät 20 eine Auswerteeinrichtung 16 zum Auswerten von Bildinformation der aufgenommenen Bilder auf.
- Damit kann z. B. das oben mit Bezug auf die
1 bis 5 beschriebene Verfahren durchgeführt werden. - Abweichend von diesem Ausführungsbeispiel könnten wie in
6 gestrichelt eingezeichnet anstatt der Kamera 12 (oder zusätzlich zur Kamera 12) auch z. B. zwei jeweils außermittig am Fahrzeug 1 angeordnete Frontkameras 12' und 12'' eingesetzt werden, um im erfindungsgemäßen Verfahren eine noch aussagekräftigere Bildinformation BI bereitzustellen. - Während gemäß der
2 bis 5 mit einer einzigen Kamera (12) und vier verschiedenen Beleuchtungssituationen vier verschiedene Bilder aufgenommen werden, so können z. B. beim Einsatz derselben vier Beleuchtungssituationen im Falle der Verwendung der zwei Kameras 12' und 12'' insgesamt acht verschiedene Bilder aufgenommen werden. - Zusammenfassend wird bei den oben beschriebenen Ausführungsbeispielen das Licht von zwei Frontscheinwerfern eines Fahrzeuges zu gewissen Zeiten für eine Zeit deaktiviert, damit so mittels wenigstens einer Kamera ein Bild aufgenommen werden kann, welches die Bildinformation ohne Zusatzbeleuchtung durch die Scheinwerfer aufnehmen kann, und andererseits zu gewissen Zeiten für eine jeweilige Zeit aktiviert, so dass die Kamera weitere Bilder unter jeweiligen weiteren Beleuchtungssituationen aufnehmen kann. Durch geeignete Softwarealgorithmen kann dann aus den Einzelbildern insbesondere unter Berücksichtigung der verschiedenen Winkel des auftreffenden Lichtes und/oder der Richtung, in welcher von der Kamera betrachtet Objekte sich befinden, eine Tiefeninformation (Positionsdaten) für die Objekte bestimmt (errechnet) werden. Insbesondere kann beim Auswerten der Bildinformation der Schatten oder eine Veränderung des Schattens des wenigstens einen Objekts analysiert werden.
- Insbesondere durch Verwendung von bereits im Fahrzeug verfügbaren Lichtquellen wie z. B. wenigstens einem Frontscheinwerfer eines Kraftfahrzeuges (Einsatz von Abblendlicht und/oder Fernlicht) ergibt sich eine kostengünstige Integrationsmöglichkeit in bestehende Fahrzeugkonzepte.
- Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Fußgänger (Objekt)
- 10
- Vorrichtung
- 12
- Kamera
- 14
- Steuereinrichtung
- 16
- Auswerteeinrichtung
- 18-1
- rechter Scheinwerfer (Beleuchtungseinrichtung)
- 18-2
- linker Scheinwerfer (Beleuchtungseinrichtung)
- 20
- elektronisches Steuergerät
- S1
- Aufnehmen von Bildern
- BI
- Bildinformation
- S2
- Auswerten von Bildinformation
- PD
- Positionsdaten
Claims (12)
- Verfahren zum Erfassen von Objekten (2) in einer Umgebung eines Fahrzeuges (1), aufweisend die Schritte: - Aufnehmen (S1) von Bildern einer Umgebung des Fahrzeuges (1) mittels wenigstens einer an dem Fahrzeug (1) angeordneten Frontkamera (12), - Auswerten (S2) von Bildinformation (BI) der aufgenommenen Bilder zur Bestimmung der Position wenigstens eines Objekts (2) relativ zu dem Fahrzeug (1), wobei bei dem Aufnehmen (S1) der Bilder mittels einer Ansteuerung von zwei an dem Fahrzeug (1) voneinander beabstandet angeordneten Frontscheinwerfern (18-1, 18-2), einem ersten Frontscheinwerfer (18-1) und einem zweiten Frontscheinwerfer (18-2), nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und wobei bei dem Auswerten (S2) der Bildinformation (BI) die für jedes Bild realisierte Beleuchtungssituation berücksichtigt wird, dadurch gekennzeichnet, dass die zwei Frontscheinwerfer (18-1, 18-2) gemäß eines Zeitmultiplex-Verfahrens in zeitlicher Koordination mit dem Aufnehmen der Bilder betrieben werden, wobei nacheinander wenigstens vier verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens vier Bilder unter den vier verschiedenen Beleuchtungssituationen aufgenommen werden, und zwar - ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer (18-1, 18-2) ausgeschaltet sind, - ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer (18-1) eingeschaltet ist und der zweite Frontscheinwerfer (18-2) ausgeschaltet ist, - ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer (18-1) ausgeschaltet ist und der zweite Frontscheinwerfer (18-2) eingeschaltet ist, - ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer (18-1, 18-2) eingeschaltet sind.
- Verfahren nach
Anspruch 1 , wobei das Aufnehmen (S1) der Bilder unter Verwendung von zwei Frontkameras (12', 12'') erfolgt und somit gemäß des Zeitmultiplex-Verfahrens wenigstens acht verschiedene Bilder aufgenommen werden. - Verfahren nach
Anspruch 2 , wobei die zwei Frontkameras (12', 12'') im Wesentlichen symmetrisch zu einer vertikalen Längsmittelebene des Fahrzeuges (1) angeordnet sind. - Verfahren nach einem der vorangehenden Ansprüche, wobei Schaltvorgänge zum Einschalten und Ausschalten der einzelnen Frontscheinwerfer (18-1, 18-2) nicht abrupt erfolgen, sondern sanfte Übergänge vorgesehen sind, insbesondere mit einer im Wesentlichen sinusförmigen Variation der betreffenden Lichtintensität.
- Verfahren nach einem der vorangehenden Ansprüche, wobei die beiden Frontscheinwerfer (18-1, 18-2) jeweils als LED-Scheinwerfer ausgebildet sind und deren jeweilige Lichtintensität durch entsprechende Variation eines jeweiligen Betriebsstromes eingestellt wird.
- Vorrichtung zum Erfassen von Objekten in einer Umgebung eines Fahrzeuges (1), aufweisend: - wenigstens eine Frontkamera (12), ausgebildet zum Aufnehmen von Bildern einer Umgebung des Fahrzeuges (1), - wenigstens eine Auswerteeinrichtung (16), ausgebildet zum Auswerten von Bildinformation (BI) der aufgenommenen Bilder zur Bestimmung der Position wenigstens eines Objekts (2) relativ zu dem Fahrzeug (1), wobei die Vorrichtung ferner eine Steuereinrichtung (14) aufweist, die dazu ausgebildet ist, dass bei dem Aufnehmen der Bilder mittels einer Ansteuerung von zwei an dem Fahrzeug (1) voneinander beabstandet angeordneten Frontscheinwerfern (18-1, 18-2), einem ersten Frontscheinwerfer (18-1) und einem zweiten Frontscheinwerfer (18-2), nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und wobei die Auswerteeinrichtung (16) ferner dazu ausgebildet ist, bei dem Auswerten der Bildinformation (BI) die für jedes Bild realisierte Beleuchtungssituation zu berücksichtigen, dadurch gekennzeichnet, dass die Steuereinrichtung (14) ferner dazu ausgebildet ist, die zwei Frontscheinwerfer (18-1, 18-2) gemäß eines Zeitmultiplex-Verfahrens in zeitlicher Koordination mit dem Aufnehmen der Bilder zu betreiben, wobei nacheinander wenigstens vier verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens vier Bilder unter den vier verschiedenen Beleuchtungssituationen aufgenommen werden, und zwar - ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer (18-1, 18-2) ausgeschaltet sind, - ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer (18-1) eingeschaltet ist und der zweite Frontscheinwerfer (18-2) ausgeschaltet ist, - ein Bild in einer Beleuchtungssituation, in welcher der erste Frontscheinwerfer (18-1) ausgeschaltet ist und der zweite Frontscheinwerfer (18-2) eingeschaltet ist, - ein Bild in einer Beleuchtungssituation, in welcher beide Frontscheinwerfer (18-1, 18-2) eingeschaltet sind.
- Vorrichtung nach
Anspruch 6 , wobei zum Aufnehmen (S1) der Bilder zwei Frontkameras (12', 12'') vorgesehen sind und die Steuereinrichtung (14) dazu ausgebildet ist, gemäß des Zeitmultiplex-Verfahrens somit wenigstens acht verschiedene Bilder aufzunehmen. - Vorrichtung nach
Anspruch 7 , wobei die zwei Frontkameras (12', 12'') im Wesentlichen symmetrisch zu einer vertikalen Längsmittelebene des Fahrzeuges (1) angeordnet sind. - Vorrichtung nach einem der
Ansprüche 6 bis8 , wobei die Steuereinrichtung (14) dazu ausgebildet ist, Schaltvorgänge zum Einschalten und Ausschalten der einzelnen Frontscheinwerfer (18-1, 18-2) nicht abrupt erfolgen zu lassen, sondern mit sanften Übergängen, insbesondere mit einer im Wesentlichen sinusförmigen Variation der betreffenden Lichtintensität. - Vorrichtung nach einem der
Ansprüche 6 bis9 , wobei die beiden Frontscheinwerfer (18-1, 18-2) jeweils als LED-Scheinwerfer ausgebildet sind, deren jeweilige Lichtintensität durch entsprechende Variation eines jeweiligen Betriebsstromes einstellbar ist. - Fahrzeug (1), aufweisend eine Vorrichtung (10) nach einem der
Ansprüche 6 bis10 . - Computerprogrammprodukt umfassend einen Programmcode, der auf einer Datenverarbeitungseinrichtung ausgeführt ein Verfahren nach einem der
Ansprüche 1 bis5 durchführt.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017204836.0A DE102017204836B4 (de) | 2017-03-22 | 2017-03-22 | Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017204836.0A DE102017204836B4 (de) | 2017-03-22 | 2017-03-22 | Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102017204836A1 DE102017204836A1 (de) | 2018-09-27 |
| DE102017204836B4 true DE102017204836B4 (de) | 2025-05-28 |
Family
ID=63450221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102017204836.0A Active DE102017204836B4 (de) | 2017-03-22 | 2017-03-22 | Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102017204836B4 (de) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020004690A1 (de) * | 2020-08-03 | 2021-05-27 | Daimler Ag | Verfahren zur Erkennung von Objekten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung |
| DE102020007061B4 (de) | 2020-11-19 | 2022-08-11 | Daimler Truck AG | Verfahren zum Betreiben einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung |
| EP4191999B1 (de) * | 2021-12-03 | 2025-05-07 | Volkswagen Ag | Verfahren zum betrieb einer betriebseinrichtung eines kraftfahrzeugs |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2453163A (en) * | 2007-09-26 | 2009-04-01 | Christopher Douglas Blair | Three dimensional imaging by multiple image capture under different illumination conditions |
| DE102010051602A1 (de) * | 2010-11-16 | 2012-05-16 | Hans-Heinrich Götting jun. | Verfahren zur Erfassung von Merkmalen in der Umgebung |
| DE102015210934A1 (de) * | 2015-06-15 | 2016-12-29 | Volkswagen Aktiengesellschaft | Vorrichtung und Verfahren zum verbesserten visuellen Lokalisieren eines Kraftfahrzeugs in einem Umfeld |
-
2017
- 2017-03-22 DE DE102017204836.0A patent/DE102017204836B4/de active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2453163A (en) * | 2007-09-26 | 2009-04-01 | Christopher Douglas Blair | Three dimensional imaging by multiple image capture under different illumination conditions |
| DE102010051602A1 (de) * | 2010-11-16 | 2012-05-16 | Hans-Heinrich Götting jun. | Verfahren zur Erfassung von Merkmalen in der Umgebung |
| DE102015210934A1 (de) * | 2015-06-15 | 2016-12-29 | Volkswagen Aktiengesellschaft | Vorrichtung und Verfahren zum verbesserten visuellen Lokalisieren eines Kraftfahrzeugs in einem Umfeld |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102017204836A1 (de) | 2018-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102011077038A1 (de) | Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs | |
| DE102011081428A1 (de) | Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird | |
| DE112017006833B4 (de) | Fahrzeugbeleuchtungssystem | |
| EP1506893A2 (de) | Kraftfahrzeug mit Erfassung und Analyse der Objekten in dem Umfeld des Fahrzeugs | |
| DE102021000724B3 (de) | Mikrolinsenarray-Projektionsvorrichtung, Beleuchtungsvorrichtung und Fahrzeug | |
| WO2015022240A1 (de) | Sensoranordnung zur erfassung von bediengesten an fahrzeugen | |
| DE102009025545A1 (de) | Verfahren und Vorrichtung zum Erkennen von Bremslichtsystemen | |
| DE102006020192A1 (de) | Vorrichtung und Verfahren zum Vorhersagen von Kollision | |
| EP1707438A1 (de) | Kraftfahrzeug mit einer Beleuchtungseinrichtung mit veränderbarem Ausleuchtvolumen | |
| DE102013200427A1 (de) | Verfahren und Vorrichtung zum Erzeugen eines Rundumsichtbildes einer Fahrzeugumgebung eines Fahrzeugs, Verfahren zum Bereitstellen zumindest einer Fahrerassistenzfunktion für ein Fahrzeug, Rundumsichtsystem für ein Fahrzeug, Rundumsichtsystem für ein Fahrzeug | |
| DE102014002134A1 (de) | Vorrichtung zur Erkennung einer Beleuchtungsumgebung eines Fahrzeugs und Steuerungsverfahren davon | |
| DE102008008868A1 (de) | Fahrzeug-Fahrzeug-Informationsübertragungssystem | |
| DE102020117060B4 (de) | Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs | |
| DE102013019210A1 (de) | Beleuchtungsvorrichtung für den Fahrgastraum eines Kraftfahrzeugs und Verfahren zum Steuern der Beleuchtungsvorrichtung | |
| DE102009012758B4 (de) | Vorrichtung und Verfahren zur Detektion mindestens eines Objektes | |
| EP3164735B1 (de) | Time-of-flight-kamera, kraftfahrzeug und verfahren zum betrieb einer time-of-flight-kamera in einem kraftfahrzeug | |
| EP2748032A1 (de) | Verfahren und vorrichtung zur ansteuerung eines scheinwerfers eines fahrzeugs | |
| DE102017204836B4 (de) | Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges | |
| EP3465533B1 (de) | Linear polarisierte lichtabstrahlung durch einen fahrzeugscheinwerfer zum einsatz in einem kamerabasierten fahrerassistenzsystem | |
| DE102012000949A1 (de) | Verfahren zum Warnen eines Fahrers eines Kraftfahrzeugs vor einer Kollisionsgefahr, Kollisionswarnsystem und Kraftfahrzeug | |
| DE10053315A1 (de) | Verfahren zum Detektieren von Verkehrszeichen und Vorrichtung zu dessen Ausführung | |
| DE102012018118A1 (de) | Verfahren zum Betreiben einer Frontkamera eines Kraftfahrzeugs unter Berücksichtigung des Lichts des Scheinwerfers, entsprechende Vorrichtung und Kraftfahrzeug | |
| DE102012214637A1 (de) | Verfahren und Vorrichtung zur Einstellung einer Leuchtcharakteristik eines Scheinwerfers und Scheinwerfersystem | |
| DE102015218500A1 (de) | Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe | |
| DE102021132472A1 (de) | Verfahren zum Betreiben einer Beleuchtungsvorrichtung für ein Fahrzeug und Beleuchtungsvorrichtung |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE Owner name: AUMOVIO GERMANY GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE |
|
| R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE Owner name: AUMOVIO GERMANY GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE |
|
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R081 | Change of applicant/patentee |
Owner name: AUMOVIO GERMANY GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30175 HANNOVER, DE |