-
Die vorliegende Erfindung betrifft ein Verfahren zur Tiefenwahrnehmung basierend auf beidseitig angeordneten Scheinwerfern eines Fahrzeugs, insbesondere ein Verfahren zum Einstellen einer ausreichenden Überdeckung zwischen charakteristischen Lichtmustern, die von Schweinwerfern eines Fahrzeugs auf eine Projektionsfläche projiziert werden. Mittels des hier beschriebenen Verfahrens kann besonders bevorzugt eine optimale Überlagerung der Lichtmuster eingestellt werden, die für eine auf Triangulation basierende Abstandsmessung (Tiefenmessung) zwischen dem Fahrzeug und der Projektionsfläche der Lichtmuster verwendet werden kann.
-
Aus der
DE 10 2015 122 172 A1 ist ein Verfahren zur Umfeldmodulierung mittels eines Scheinwerfers und einer Kamera bekannt, wobei der Scheinwerfer ein definiertes Außenlicht, welches von der Kamera erfasst und nachfolgend mit dem ausgesandten Muster verglichen wird.
-
Aus der
DE 10 2017 117 211 B3 ist ein Verfahren zur trajektorienbasierten Zuordnung charakteristischer Merkmale bekannt, welche in einem von einer Bilderfassungseinheit erfassten Bild eines charakteristischen Musters zu den Einheiten eines Scheinwerfers zugeordnet werden.
-
Heutzutage verfügen viele Kraftfahrzeuge über eine fest eingebaute Fahrerassistenzkamera (nachfolgend als Fahrzeugkamera bezeichnet), welche meistens im oberen Bereich der Frontscheibe eingebaut ist. Die Fahrzeugkamera wird bei der Implementierung diverser Fahrerassistenzsysteme verwendet, z.B. eines Nachtlichtassistenten oder eines Fahrspurhalteassistenten, die den Fahrer in bestimmten Fahrsituationen unterstützen sollen. Unter anderem kann die Fahrzeugkamera verwendet werden, um eine Abstandsmessung zu implementieren. Bei diesem Vorgang, welcher als aktive Triangulation bezeichnet wird, wird zunächst ein vom Scheinwerfer des Fahrzeugs projiziertes charakteristisches Lichtmuster von der Fahrzeugkamera erfasst. Das projizierte Lichtmuster wird aus der durch die Fahrzeugkamera erfassten Abbildung der Umgebung (nachfolgend als Kamerabild bezeichnet) mit Mitteln der Bildverarbeitung extrahiert und drin enthaltene charakteristische Strukturen werden den diese erzeugenden Einheiten des Scheinwerfers zugeordnet. Das Ermitteln der Korrelation zwischen charakteristischen Strukturen des Lichtmusters und den sie erzeugenden Einheiten des Scheinwerfers entspricht dem Lösen des Korrespondenzproblems. Erst wenn diese Korrelation bekannt ist, kann auf ihrer Grundlage mittels spezifischer Triangulationsalgorithmen der Abstand zwischen Fahrzeug und dem projizierten charakteristischen Lichtmuster ermittelt werden. Der aktiven Triangulation, welche mit der Projektion des charakteristischen Lichtmusters auf das Fahrzeugvorfeld initiiert wird, geht eine Kalibrierung des Stereo-Systems aus Scheinwerfer und Fahrzeugkamera voraus. Nur wenn die Position und Ausrichtung des Scheinwerfers und der Fahrzeugkamera bekannt sind, kann dieses System zur Abstandsermittlung verwendet werden.
-
Um die aktive Triangulation im Fahrzeug umzusetzen, ist eine entsprechende Modulkette notwendig, welche die oben beschriebenen Prozesse abbildet, angefangen bei der Lichtprojektion über Bildverarbeitung bis hin zur finalen Triangulation. Bei der Implementierung der erforderlichen Bildverarbeitung kann auf zahlreiche aus dem Stand der Technik bekannte Triangulationsalgorithmen zurückgegriffen werden. Einer der am häufigsten verwendeten Triangulationsalgorithmen basiert auf der sogenannten Midpoint-Methode. Bei dieser Methode werden der Strahlenverlauf des vom Scheinwerfer ausgehenden Lichts (bzw. Strahlenverläufe des von Einheiten des Scheinwerfers ausgehenden Lichts) zu einer Projektionsfläche und der Strahlenverlauf von der Projektionsfläche zur Fahrzeugkamera bestimmt, wobei letzterer der Erfassung der Lichtinformation durch die Fahrzeugkamera entspricht. Aus der Bestimmung des Schnittpunkts der beiden Strahlen kann auf den Abstand der Projektionsfläche zum Fahrzeug geschlossen werden. Aufgrund von Bildverarbeitungs- und Kalibierfehlern existiert der Schnittpunkt dieser Strahlen jedoch häufig nicht. Um die Methode in solchen Fällen dennoch ausführbar zu implementieren, wird dann der Abstand (d.h. die kürzeste Verbindung) zwischen den Strahlen berechnet und als vermeintlicher Schnittpunkt deklariert.
-
Da die Bereitstellung von Abstandsdaten einen höchst sicherheitsrelevanten Vorgang darstellt (nicht nur, aber insbesondere im Bereich des autonomen Fahrens), sollten die Abstandsdaten mit möglichst großer Genauigkeit bereitgestellt werden. Die Genauigkeit der auf Triangulation basierenden Abstandsmessung hängt wesentlich von der Basislänge (Baseline) ab, dem Abstand zwischen den Triangulationskomponenten, wobei eine große Basislänge üblicherweise eine genauere Triangulation ermöglicht. Im Falle eines Fahrzeugs beträgt dieser Abstand zwischen Scheinwerfer und Fahrzeugkamera etwa 80 cm und kann aufgrund der festen Fahrzeuggeometrie nicht angepasst werden. Folglich ist die Auflösung der Abstandsbestimmung mittels aktiver Triangulation maßgeblich durch diesen Parameter maßgeblich beschränkt.
-
Vor diesem Hintergrund kann eine Aufgabe der Erfindung darin gesehen werden, das bekannte Triangulationsverfahren so zu implementieren, dass eine genauere Abstandsermittlung ermöglicht wird, insbesondere in einem Kraftfahrzeug.
-
Die Aufgabe der vorliegenden Erfindung wird gelöst durch ein Verfahren zum Einstellen der Lichtabstrahlung von Scheinwerfern eines Fahrzeugs gemäß dem unabhängigen Anspruch 1. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens finden sich in den abhängigen Ansprüchen.
-
Dem erfindungsgemäßen Verfahren liegt die Erkenntnis zugrunde, dass durch eine andere Wahl der Triangulationskomponenten die im Rahmen des Triangulationsverfahrens verwendete Basislänge vergrößert werden kann. Üblicherweise wird dem Triangulationsverfahren eine Schweinwerfer-Fahrzeugkamera-Geometrie zugrunde gelegt, bei der die Basislänge dem Abstand zwischen Scheinwerfer und Fahrzeugkamera entspricht. Wie bereits erläutert, ist dieser Abstand relativ klein und wegen der festen Fahrzeuggeometrie nicht veränderbar. Wird jedoch die aktive Triangulation auf Basis der Lichtverteilung beider Fahrzeugscheinwerfer durchgeführt, kann die Basislänge auf den Abstand zwischen den Fahrzeugscheinwerfern vergrößert werden. Anders ausgedrückt können die beiden Fahrzeugscheinwerfer als Triangulationskomponenten fungieren, wobei die Fahrzeugkamera unterstützend zur Strahlenrekonstruktion verwendet wird. Durch Anwenden der aktiven Triangulation auf diese Schweinwerfer-Scheinwerfer-Geometrie kann wegen der vergrößerten Basislänge eine höhere Auflösung des so ermittelten Abstands erreicht werden. Gleichzeitig kann diese abgewandelte Triangulationsgeometrie verwendet werden, um die Güte bzw. Genauigkeit des mittels Triangulation in der Kamera-Scheinwerfer-Geometrie ermittelten Abstands zu bestimmen.
-
Im Lichte dieser Erkenntnis kann mittels des erfindungsgemäßen Verfahrens die Lichtabstrahlung der Scheinwerfer des Fahrzeugs für die Durchführung der Triangulation angepasst bzw. vorbereitet werden. Insbesondere kann mittels des erfindungsgemäßen Verfahrens eine optimale Überdeckung zwischen charakteristischen Lichtmustern erreicht werden, die von den Schweinwerfern eines Fahrzeugs auf eine Projektionsfläche projiziert werden.
-
In einem ersten Schritt weist das erfindungsgemäße Verfahren Projizieren jeweils eines charakteristischen Lichtmusters auf eine Projektionsfläche mittels des ersten und mittels des zweiten Scheinwerfers des Fahrzeugs bevorzugt derart, dass sich die charakteristischen Lichtmuster zumindest teilweise überlappen. Unter einer teilweisen Überlappung der charakteristischen Lichtmuster ist hierbei gemeint, dass mindestens ein Bereich der Projektionsfläche sowohl vom Licht des ersten wie auch vom Licht des zweiten Scheinwerfers ausgeleuchtet wird.
-
In einem nächsten Schritt, welcher beispielsweise kontinuierlich parallel zum ersten Schritt erfolgen kann, wird ein Abbild der Projektionsfläche mittels einer Bilderfassungseinheit des Fahrzeugs, beispielsweise der Fahrzeugkamera, erfasst. Auf dem Abbild sind die sich bevorzugt zumindest teilweise überlagernden charakteristischen Lichtmuster der beiden Schweinwerfer abgebildet, die nachfolgend mittels einer Bildverarbeitungskaskade verarbeitet werden. Um in weiteren Berechnungsschritten den Einfluss des Hintergrunds zu berücksichtigen, kann vor Projektion der charakteristischen Lichtmuster die umgebende Szene bzw. Projektionsfläche ohne die charakteristischen Lichtmuster abgebildet werden. Die charakteristischen Lichtmuster können auch pulsierend erzeugt werden, um dazwischen die lichtmusterfreie Umgebung aufzuzeichnen.
-
In einem nächsten Schritt wird eine Frequenzdarstellung der charakteristischen Lichtmuster in dem erfassten Bild berechnet. Hierzu kann das von der Fahrzeugkamera erfasste Bild einer Fourier-Transformation unterzogen werden. Gegebenenfalls kann der Hintergrund abgezogen werden, um ein Frequenzspektrum zu erhalten; welches im Wesentlichen nur die charakteristischen Lichtmuster repräsentiert.
-
In einem nächsten Schritt wird ein Überdeckungskoeffizient berechnet, welcher mit dem Überdeckungsgrad der beiden charakteristischen Lichtmuster korreliert ist, durch Auswerten der Frequenzkomponenten in der Frequenzdarstellung der charakteristischen Lichtmuster, beispielsweise mittels einer vorbestimmten Überdeckungsmetrik. Der Überdeckungskoeffizient gibt den Grad der deckungsgleichen bzw. kongruenten Überlagerung der beiden charakteristischen Lichtmuster an hinsichtlich der darin enthaltenen charakteristischen Strukturen wie etwa Hell-Dunkel-Übergängen oder Eckpunkten von Lichtmustern. Wenn das charakteristische Lichtmuster beispielsweise ein Schachbrettmuster ist, so bleibt bei einer exakten Überdeckung, bei der dunkle Flächen des einen charakteristischen Lichtmusters dunkle Flächen des anderen charakteristischen Lichtmusters überlagern und helle Flächen des einen charakteristischen Lichtmusters helle Flächen des anderen charakteristischen Lichtmusters überlabern, die Grundstruktur des charakteristischen Musters erhalten. Folglich wird dann die Überlagerung der beiden charakteristischen Muster durch die gleichen Ortsfrequenzen charakterisiert wie das einzelne charakteristische Lichtmuster. Ist die Überdeckung jedoch nicht vollständig bzw. ungenügend (z.B. lateraler und/oder vertikaler Versatz zwischen jeweiligen hellen und/oder dunklen Flächen der charakteristischen Muster), so wird das durch die Überlagerung zustande kommende Lichtmuster durch weitere Ortsfrequenzen beschrieben. Die Analyse der Amplituden der Ortsfrequenzen einer Überlagerung der charakteristischen Lichtmuster gibt also Aufschluss über die Deckungsgleichheit. Grundsätzlich kann zu jeder Überlagerung der beiden charakteristischen Lichtmuster ein Überdeckungskoeffizient bestimmt werden.
-
In einem nächsten Schritt wird der Überdeckungskoeffizient mit einem Überdeckungs-Schwellenwert verglichen. Der Überdeckungsschwellenwert kann aus einer beispielsweise per Simulation berechneten optimalen (z.B. im Wesentlichen hundertprozentigen) Überdeckung der charakteristischen Lichtmuster abgeleitet werden, ggfs. unter Berücksichtigung einer Toleranz. Der Vergleich des Überdeckungskoeffizienten mit dem Überdeckungs-Schwellenwert entspricht im Wesentlichen dem Quantifizieren des Abstands des Frequenzspektrums der Überlagerung der charakteristischen Lichtmusters vom Frequenzspektrum des einzelnen charakteristischen Lichtmusters quantifiziert.
-
In einem abschließenden Schritt werden die beiden charakteristischen Lichtmuster relativ zueinander verschoben, falls der Vergleich ergibt, dass eine unzureichende Überdeckung zwischen den beiden charakteristischen Lichtmustern vorliegt. Die Verschiebung kann iterativ in kleinen Schritten erfolgen, wobei die vorhergehenden Schritte mit ausgeführt werden, bis ein Vergleich des Überdeckungskoeffizienten mit dem Überdeckungs-Schwellenwert anzeigt, dass ein ausreichender Überdeckungsgrad vorliegt. Um eine zielführende Verschiebung der charakteristischen Lichtmuster zu ermöglichen (durch entsprechende Ansteuerung der Scheinwerfer), können beispielsweise in der entsprechenden Steuerungselektronik Überdeckungskoeffizienten zu verschiedenen simulierten Szenarien einer unvollständigen/ungenügenden Überdeckung der charakteristischen Lichtmuster berechnet werden oder hinterlegt sein, beispielsweise in Form einer Koeffizientenkarte.
-
Gemäß weiteren Ausführungsbeispielen des Verfahrens können die mittels des ersten und mittels des zweiten Scheinwerfers erzeugten charakteristischen Lichtmuster gleich sein. Bei jedem der charakteristischen Lichtmuster kann es sich bevorzugt um eine Schachbrettlichtverteilung handeln, bei welcher helle/lichtgefüllte Flächen von einzelnen Segmenten des Scheinwerfers erzeugt werden, beispielsweise LEDs eines LED-Matrix-Scheinwerfers. Die charakteristischen Lichtmuster der beiden Scheinwerfer können im Wesentlichen gleich sein und beispielsweise einem Abbild der inneren Struktur der LED-Matrix entsprechen. Alternativ kann jedes der charakteristischen Lichtmuster eine Lichtverteilung aufweisen, welche ein durch eine Schwebung verursachtes zeitlich variierendes Muster aufweist. Die Schwebung kann erreicht werden durch eine PWMgepulste (PWM: pulse wave modulation, Pulsweitenmodulation) Ansteuerung der Scheinwerfer in Zusammenhang mit der üblichen von Rolling Shutter („rollender Verschluss“) Technik in Kamerasystemen wie z.B. der Fahrzeugkamera. Der so entstehende Flicker (Flimmereffekt) kann der Lichtverteilung ein charakteristisches Muster aufprägen und in der Abblend- und Fernlichtverteilung beobachtet werden. Das charakteristische Lichtmuster kann mindestens eine charakteristische Struktur aufweisen. Die charakteristischen Strukturen können beispielsweise hellen (lichtgefüllten) polygonalen Flächen, z.B. Rechtecken, innerhalb des charakteristischen Lichtmusters entsprechen, z.B. des Schachbrettmusters. Jede charakteristische Struktur kann ihrerseits charakteristische Merkmale aufweisen, z.B. hell-dunkel Übergänge (Kanten) oder Eckpunkte.
-
In einer bevorzugten Ausführungsform des Verfahrens kann das charakteristische Lichtmuster ein Schachbrettmuster aufweisen, in dem jedes lichtgefüllte Segment einer charakteristischen Struktur entspricht. Anders ausgedrückt kann jede charakteristische Struktur von einer lichterzeugenden Einheit des Scheinwerfers erzeugt werden. Folglich können charakteristische Merkmale wie Eckpunkte oder Kanten von lichtgefüllten Flächen des charakteristischen Lichtmusters zu je einem Segment, etwa einer LED des LED-Matrix-Scheinwerfers, zugeordnet werden.
-
Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das Berechnen eines Überdeckungsgrades der beiden charakteristischen Lichtmuster Berechnen der Summe der Amplituden der Frequenzkomponenten in der Frequenzdarstellung des erfassten Bildes aufweisen. Die Anzahl und Größe der Amplituden der Ortskomponenten geben Aufschluss über die Verteilung und/oder Struktur von Kanten bzw. Ecken des charakteristischen Lichtmusters. Durch Aufsummieren der Amplituden der Frequenzkomponenten des durch Überlagerung zustande gekommenen charakteristischen Lichtmusters kann seine Energie bestimmt werden. Das Aufsummieren kann gewichtet erfolgen, entsprechend einer vordefinierten Überdeckungsmetrik. Sind die beiden charakteristischen Lichtmuster nicht deckungsgleich überlagert, so ergeben sich Frequenzen, die nicht im Frequenzspektrum des einzelnen charakteristischen Lichtmusters vorkommen. Ist die Überlagerung deckungsgleich, so ist ein Minimum an Ortsfrequenzen präsent. Im Idealfall entspricht das Frequenzspektrum der Überlagerung der charakteristischen Lichtmuster dem Frequenzspektrum des einzelnen charakteristischen Lichtmusters (bis auf mögliche helligkeitsbedingte Schwankungen der Amplitudengrößen der Ortsfrequenzen).
-
Gemäß weiteren Ausführungsbeispielen des Verfahrens kann der Überdeckungs-Schwellenwert einen Überlapp der beiden charakteristischen Lichtmuster repräsentieren, bei dem sich charakteristische Strukturen der charakteristischen Lichtmuster im Wesentlichen überdecken. Anders ausgedrückt liegen dann die charakteristischen Strukturen der charakteristischen Lichtmuster exakt übereinander. Im Falle, dass der Überdeckungskoeffizient der Summe aller Amplituden (Fourier-Koeffizienten) der Ortsfrequenzen entspricht, kann der Überdeckungs-Schwellenwert einem (lokalen) Minimum in der Verteilung der Überdeckungskoeffizienten aller möglichen Überlagerungen der charakteristischen Lichtmuster entsprechen. Folglich kann eine unzureichende Überdeckung zwischen den beiden charakteristischen Lichtmustern vorliegen, wenn der Überdeckungskoeffizient größer ist als der Überdeckungs-Schwellenwert.
-
Nachdem ein optimaler Überlapp, d.h. eine deckungsgleiche Überlagerung, zwischen den beiden charakteristischen Lichtmustern mittels des erfindungsgemäßen Verfahrens eingestellt worden ist, kann eine Bildverarbeitungskaskade ausgeführt werden, um die aktive Triangulation zu implementieren. Hierzu kann in einer erweiterten Ausführungsform des erfindungsgemäßen Verfahrens mindestens eine charakteristische Struktur des charakteristischen Lichtmusters detektiert werden, welche im Überlappbereich der beiden charakteristsichen Lichtmuster angeordnet ist. Es sind nur charakteristische Strukturen im Überlappbereich relevant, da die vorteilhafte abgewandelte Triangulation mit verlängerter Basislänge nur bezüglich solcher charakteristischer Strukturen/Merkmale durchgeführt werden kann. Nach erfolgter Detektion der mindestens einen Struktur kann diese und/oder ihre charakteristischen Merkmale zu dem diese erzeugenden Segment des ersten und zweiten Scheinwerfers zugeordnet werden (beispielsweise zu einer entsprechenden LED in der LED-Matrix des Scheinwerfers). Der Schritt des Zuordnens von charakteristischen Strukturen des charakteristischen Lichtmusters zu den diese erzeugenden Segmenten der Scheinwerfer ist als klassisches Korrespondenzproblem bekannt und kann mit aus dem Stand der Technik bekannten Verfahren gelöst werden. Die Zuordnung kann beispielsweise mittels einer trajektoriebasierten Merkmalszuordnung erfolgen, welche im Detail in der deutschen Patentanmeldung
DE 10 2018 101 023.0 beschrieben ist.
-
In einer erweiterten Ausführungsform des erfindungsgemäßen Verfahrens kann ferner mindestens jeweils ein Triangulationsstrahl zu jedem der Schweinwerfer berechnet werden. Jeder Triangulationsstrahl ist durch zwei Punkte festgelegt: einen ersten Punkt, welcher der Position der detektierten charakteristischen Struktur entspricht, und einen zweiten Punkt, welcher der Position des diese charakteristische Struktur erzeugenden Segments des Scheinwerfers im Raum entspricht. Da die Triangulationsstrahlen bezüglich charakteristischer Strukturen im Überlappbereich der charakteristischen Lichtmuster berechnet werden, weisen sie einen Schnittpunkt in der Projektionsebene auf. Abschließend kann dann ein Abstand zwischen dem Fahrzeug und der Projektionsfläche durch Triangulation unter Verwendung der beiden berechneten Triangulationsstrahlen und einer Basislänge berechnet werden, die dem Abstand der beiden Scheinwerfer des Fahrzeugs entspricht. Die Triangulation erfolgt also auf Basis von Lichtstrahlen, die von den beiden Scheinwerfern ausgehen und charakteristische Strukturen/Merkmale im Überlapp-Lichtmuster erzeugen, d.h. sich also in der Projektionsfläche schneiden. Als Basislänge fungiert dabei der Abstand zwischen den Scheinwerfern (bzw. zwischen den Positionen der entsprechenden Segmente, von denen die betrachteten Triangulationsstrahlen ausgehen). Diese Basislänge im Triangulationssystem Scheinwerfer-Scheinwerfer ist deutlich größer als der Abstand zwischen Fahrzeugkamera und Scheinwerfer, welcher im üblicherweise verwendeten Triangulationssystem Fahrzeugkamera-Scheinwerfer der Basislänge entspricht. Dadurch lässt sich der Abstand zwischen dem Fahrzeug und der Projektionsfläche mit einer höheren Genauigkeit bestimmen.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Kraftfahrzeug mit einer Fahrzeugkamera und einer Lichtmusterauswerteeinheit bereitgestellt, welche eingerichtet ist das hier beschriebene Verfahren auszuführen. Die Lichtmusterauswerteeinheit kann ein separates elektronisches Modul darstellen und mit der internen Fahrzeugelektronik gekoppelt sein oder sie kann durch ein Programmmodul in der internen Fahrzeugelektronik implementiert sein.
-
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von bevorzugten Ausführungsformen anhand der Zeichnungen. Die Zeichnungen illustrieren dabei lediglich beispielhafte Ausführungsformen der Erfindung, welche den wesentlichen Erfindungsgedanken nicht einschränken. Insbesondere sind die Dimensionen und geometrische Relationen der in den Figuren dargestellten Elemente nicht als limitierend zu werten.
- 1 zeigt ein Diagramm, welches den Zusammenhang zwischen bei der Triangulation verwendeten Basislänge und der Genauigkeit des ermittelbaren Abstandes veranschaulicht.
- 2A zeigt ein Abbild eines charakteristischen Lichtmusters eines Scheinwerfers (oberer Teil) sowie die dazugehörige (Orts-)Frequenzdarstellung.
- 2B zeigt ein Abbild einer Überlagerung von zwei charakteristischen Lichtmustern (oberer Teil) sowie die dazugehörige (Orts-)Frequenzdarstellung.
- 3A-3E zeigen unterschiedliche Überlagerungsgrade von zwei charakteristischen Lichtmustern.
- 4 zeigt eine schematische Ansicht des Systems zur Durchführung der aktiven Triangulation gemäß der vorliegenden Erfindung.
- 5 veranschaulicht ein Verfahren zum Auffinden einer Zuordnung zwischen charakteristischen Merkmalen des charakteristischen Lichtmusters und den diese erzeugenden Segmenten des Scheinwerfers.
-
Das in 1 gezeigte Diagramm 10 veranschaulicht den Zusammenhang zwischen der erreichbaren Genauigkeit eines ermittelten Abstandswertes und den Abstandswerten selbst in Abhängigkeit von der Basislänge b. Auf der x-Achse 11 ist der Abstand zwischen dem Fahrzeug und einer Projektionsfläche des charakteristischen Lichtmusters aufgetragen. Auf der y-Achse 12 ist der dazugehörige Fehler aufgetragen, mit welchem die Abstandsermittlung behaftet ist. Die Kurvenschaar 13 gibt an, für verschiedene Basislängen b, mit welchem Fehler der ermittelte Abstand ermittelbar ist, welcher letztendlich die erreichbare Auflösung der Abstandsermittlung begrenzt. Die übliche Implementierung der aktiven Triangulation fußt auf der Scheinwerfer-Kamera-Geometrie, um daraus Abstandswerte zu rekonstruieren. Dem Diagramm 10 kann entnommen werden, dass eine Vergrößerung der Basislänge b stets von Vorteil ist und sich umso positiver auf den ermittelten Abstand auswirkt, je größer dieser ist. Beispielsweise kann dem Diagramm 10 entnommen werden, dass bei einem Abstand von 15 Metern der bei einer Basislänge b=0,7 m bestimmte Abstand mit einem Fehler von etwa 3,4 Metern ermittelt werden kann. Vergrößert man hingegen die Basislänge b beispielsweise auf etwa das Doppelte, b=1,5 m, was ungefähr als Abstand der Scheinwerfer in einem Pkw angenommen werden kann, so verringert sich der Fehler um über 50% auf etwa 1,8 Meter. Man erkennt also, dass die mit dem Wechsel der Geometrie von Scheinwerfer-Kamera zu Scheinwerfer-Scheinwerfer einhergehende Vergrößerung der Basislänge b deutlich genauere Abstandsermittlung ermöglicht.
-
Die aktive Triangulation auf Basis der charakteristischen Lichtmuster beider Scheinwerfer setzt voraus, dass sich die beiden charakteristischen Muster auf der Projektionsfläche bzw. in der von der Fahrzeugkamera erfassten Szene zumindest in Teilbereichen . „formtreu“ überdecken. Das vorliegende Verfahren ermöglicht, eine vorliegende Überlagerung der beiden charakteristischen Lichtmuster zu quantifizieren und eine optimale Überlagerung (d.h. vollständige Überdeckung in mindestens einem Teilbereich) einzustellen. Die Quantifizierung des Überdeckungsgrades basiert dabei auf einer Korrelation zwischen charakteristischen Strukturen der charakteristischen Lichtmuster, etwa auf der Korrelation von Flicker-Bereichen im Frequenzbereich oder von Kanten oder Eckpunkten von Lichtfeldern des Lichtmusters.
-
Im Folgenden wird der Vorgang der Bestimmung des Überdeckungsgrades erläutert. Im oberen Teil von 2A ist ein Abbild 20 eines charakteristischen Lichtmusters 22 eines Scheinwerfers dargestellt. Das Abbild 20 (wie auch alle weiteren Darstellung des charakteristischen Lichtmusters in dieser Patentanmeldung) entspricht zur besseren Darstellbarkeit einem Negativ einer tatsächlichen Aufnahme einer Szene mittels der Fahrzeugkamera. Das heißt, weiße Bereiche entsprechen dunklen Bereichen und dunkle/graue Bereiche entsprechen hellen/lichtgefüllten Bereichen des charakteristischen Lichtmusters 22. Das charakteristische Lichtmuster 22 hat im Wesentlichen die Form eines Schachbrettmusters, welches drei Reihen von hellen Feldern aufweist, die übereinander, paarweise versetzt zueinander, angeordnet sind. Im unteren Teil der 2A ist die dazugehörige (Orts-)Frequenzdarstellung des charakteristischen Lichtmusters 22 gezeigt, welche durch eine Fourier-Transformation FT erhalten wird. Man sieht, dass sich das periodische Schachbrettmuster des charakteristischen Lichtmusters 22 in einer geordneten Verteilung der Ortsfrequenzen in der Frequenzdarstellung äußert, die zudem eine ausgeprägte Symmetrie aufweist. Die Amplitude bzw. der Koeffizient einer Frequenzkomponente gibt im Wesentlichen die Präsenz der entsprechend frequenten Helligkeitsvariation im Realbild des charakteristischen Lichtmusters an.
-
In 2B ist im oberen Teil ein Abbild 24 einer Überlagerung eines ersten charakteristischen Lichtmusters 22 und eines zweiten charakteristischen Lichtmusters 23 dargestellt, wobei jedes der charakteristischen Lichtmuster 22, 23 von jeweils einem der Fahrzeugscheinwerfer erzeugt wird. Man sieht, dass die Überlagerung nicht deckungsgleich ist, da die beiden Lichtmuster 22, 23 erkennbar einen vertikalen Versatz aufweisen. Auch lateral sind die beiden Lichtmuster 22, 23 derart gegeneinander versetzt, dass die lichtgefüllten Felder der beiden Lichtmuster 22, 23 nicht exakt übereinander liegen und somit im Überlappbereich der beiden Lichtmuster 22, 23 eine Lichtstruktur entsteht, die von der Grundstruktur der beiden Lichtmuster 22, 23 abweicht. Diese nicht formtreue Überlagerung äußert sich in der Frequenzdarstellung 25, die im unteren Teil von 2B dargestellt ist. Im Vergleich zur Frequenzdarstellung 21 in 2A sieht man, dass in der Frequenzdarstellung 25 zahlreiche weitere Frequenzkomponenten enthalten sind. Man kann sagen, dass das in der Frequenzdarstellung 25 gezeigte Frequenzspektrum eine höhere Energie aufweist als das in der Frequenzdarstellung 21 gezeigte Frequenzspektrum (d.h. deutlich mehr Frequenzbeiträge). Ein Versatz bei der Überlagerung der charakteristischen Lichtmuster 22, 23, welcher nicht im Bereich der Periode des charakteristischen Lichtmusters entspricht, erzeugt ein neues Lichtmuster mit einer anderen Grundstruktur, die eine andere Verteilung von Kanten (Hell-Dunkel-Übergängen) aufweist. Diese geänderte Grundstruktur bedingt weitere Ortsfrequenzen, welche wiederum die Energie erhöhen. Bei einer deckungsgleichen Überlagerung der beiden Lichtmuster 22, 23, bei der die Grundstruktur im Wesentlichen unverändert bleibt (unter Vernachlässigung einer durch erhöhte Helligkeit bedingten Verbreiterung der hellen Flächen), entspricht das Frequenzspektrum im Wesentlichen der in 2A gezeigten Frequenzdarstellung 25. Es sei drauf hingewiesen, dass eine deckungsgleiche Überlagerung bedeutet, dass Teilbereiche der Lichtmuster 22, 23 kongruent übereinander liegen (einander überdecken), wie es etwa im Schnittbereich der beiden gestrichelten Rechtecke der Fall ist, welche in 2B oben die charakteristischen Lichtmuster 22, 23 andeuten. Es ist keinesfalls erforderlich und auch praktisch oft nicht machbar, dass das eine charakteristischen Lichtmusters das andere charakteristische Lichtmuster komplett überdeckt.
-
Zu jeder Überlagerung von charakteristischen Lichtmustern 22, 23 kann ein Überdeckungskoeffizient ermittelt werden, welcher den Überdeckungsgrad quantifiziert. Wie bereits erläutert, kann der Überdeckungskoeffizient durch (gewichtetes) Aufsummieren der Koeffizienten (Amplituden) der Ortsfrequenzen in der Frequenzdarstellung der Überlagerung der charakteristischen Lichtmuster 22, 23 gebildet werden. Im Prinzip entspricht das Auffinden einer deckungsgleichen Überlagerung von Lichtmustern 22, 23 dem Auffinden derjenigen Überlagerung, welche eine Frequenzdarstellung mit minimaler Energie bzw. einem minimalen Überdeckungskoeffizient aufweist. Bei periodischen charakteristischen Lichtmustern 22, 23 ist zu berücksichtigen, dass es mehr als eine deckungsgleiche Überlagerung gibt und die entsprechenden Überdeckungskoeffizienten lokalen Minima entsprechen. Der Überdeckungs-Schwellenwert kann einem um einen Toleranzwert erhöhten Überdeckungskoeffizient einer optimalen Überdeckung entsprechen.
-
In den 3A-3E ist die iterative Anpassung der Überlagerung eines idealisierten ersten charakteristischen Lichtmusters 30 und eines idealisierten zweiten charakteristischen Lichtmusters 31 gezeigt. Beide Lichtmuster 30, 31 haben die Form eines Schachbrettmusters mit weißen Flächen 33, welche lichtleere Flächen repräsentieren sollen, und gräulichen Flächen 32, welche lichtgefüllte/beleuchtete Flächen repräsentieren sollen (Negativdarstellung analog zu 2A und 2B). Im Zuge des erfindungsgemäßen Verfahrens wird jeder in den 3A-3E gezeigte Überlagerungszustand in den Frequenzraum transformiert, woraufhin der dazugehörige Überdeckungskoeffizient bestimmt wird (mittels einer vordefinierten Überdeckungsmetrik). In den 3A-3E sind zu jeder Überlagerung die Überdeckungskoeffizienten aufgeführt, die beispielhaft durch Aufsummieren der Fourier-Koeffizienten ermittelt worden sind. Es ist erkennbar, dass der Überdeckungskoeffizient mit steigendem Überdeckungsgrad abnimmt, da immer weniger Frequenzbeiträge zur Beschreibung des Lichtmusters erforderlich werden und folglich über weniger Amplituden summiert wird. Eine deckungsgleiche Überlagerung ist erreicht, wenn der Überdeckungskoeffizient minimal ist. Wie schon erwähnt ist es entgegen der Darstellung in 3E nicht erforderlich, dass sich beide Lichtmuster 30, 31 über ihre gesamte Abmessung hin vollständig überdecken. Beispielsweise kann es genügen, dass eine deckungsgleiche bzw. formtreue Überlagerung im Bereich von jeweils einer Hälfte jedes der charakteristischen Lichtmuster 30, 31 vorliegt.
-
Die in 4 gezeigte schematische Darstellung veranschaulicht den Grundaufbau des zur Durchführung der aktiven Triangulation verwendeten Systems. Darin ist ein Lichtmuster 40 zu sehen, welches durch Überlagerung von zwei charakteristischen Lichtmustern der beiden Scheinwerfer S1, S2 zustande kommt. Es sind beispielhaft einige Eckpunkte P1, P2 der Lichtfelder 32 dargestellt, welche zusammen mit den Kanten (Hell-Dunkel-Übergänge) charakteristischen Merkmalen entsprechen, die, wiederum zu Lichtfeldern 32 zugeordnet werden können, welche charakteristischen Strukturen des Lichtmusters 40 entsprechen. Ferner ist die Fahrzeugkamera K dargestellt, mittels welcher die Projektionsfläche/Szene erfasst wird. Im Triangulationssystem Scheinwerfer-Scheinwerfer entspricht der Abstand zwischen den beiden Scheinwerfern S1, S2 der Basislänge B.
-
Durch Lösen des Korrespondenzproblems werden Segmenten der beiden Scheinwerfer S1, S2 charakteristische Strukturen bzw. charakteristische Merkmale zugeordnet, die von diesen erzeugt werden. Dadurch lassen sich Sichtstrahlen S11, S12, S13, S21, S22, S23 rekonstruieren, welche die charakteristischen Strukturen bzw. charakteristischen Merkmale mit den dazugehörigen Segmenten der Scheinwerfer S1, S2 verbinden. Die Basispunkte für die Berechnung dieser Sichtstrahlen sind bekannt, da das System aus Fahrzeugkamera K und Schweinwerfers S1, S2 kalibriert ist, also die Lagen der Komponenten in Bezug zueinander bekannt sind. Die Sichtstrahlen können bevorzugt bezüglich Eckpunkten P1, P2 definiert werden, wie es bei den Sichtstrahlen S11, S12 und S21, S22 der Fall ist, welche Segmente des ersten bzw. zweiten Scheinwerfers S1, S2 mit den Eckpunkten P1 bzw. P2 des charakteristischen Licht verbinden. Die Sichtstrahlen können ebenso bezüglich einem Mittelpunkt P3 einer charakteristischen Struktur definiert werden, wie es bei den Sichtstrahlen S13 und S23 der Fall ist. Für die abgewandelte Triangulation unter Zugrundelegung der Scheinwerfer-Scheinwerfer-Geometrie sind jedenfalls Sichtstrahlen erforderlich, die gemeinsame Schnittpunkte in der Projektionsfläche aufweisen - in 4 ist dieses paarweise bei den korrespondierenden Sichtstrahlen S11 und S21, S12 und S22 sowie S13 und S23 der Fall. Die Sichtstrahlen S11, S12, S13, S21, S22, S23 können in die Szene, d.h. in das von der Fahrzeugkamera K aufgezeichnete Abbild der Szene, projiziert werden, wobei sie dann als Triangulationsstrahlen bezeichnet werden. Aus der Berechnung des Schnittpunktes von jeweils zwei korrespondierenden Triangulationsstrahlen wird abschließend der Abstandswert zwischen Fahrzeug und Projektionsfläche als finale Zielgröße ermittelt.
-
Durch die Verwendung einer Basislänge B, welche dem Abstand der beiden Scheinwerfer S1, S2 entspricht, kann gegenüber der Triangulation mit einer Basislänge, welche dem Abstand Fahrzeugkamera K und Scheinwerfer S1, S2 entspricht, die Ortsauflösung der Abstandsmessung verbessert werden.
-
Ausgehend von
5 soll abschließend ein Verfahren umrissen werden, welches verwendet werden kann, um eine Zuordnung zwischen charakteristischen Merkmalen des charakteristischen Lichtmusters
40 und den diese erzeugenden Segmenten des Scheinwerfers festzustellen. Als Merkmale sollen hier beispielhaft Eckpunkte E von hellen Flächen
32 des charakteristischen Lichtmusters
40 dienen. Das Verfahren ist im Detail in der deutschen Patentanmeldung
DE 10 2018 101 023.0 beschrieben.
-
Zunächst kann eine Kantendetektion auf das von der Fahrzeugkamera erfasste Abbild des charakteristischen Lichtmusters 40 angewendet werden. Endpunkte der detektierten Kanten können als Eckpunkte E der Lichtfelder CS deklariert werden. In 5 ist ferner eine Trajektorie TR dargestellt. Diese entspricht einem in das Bezugssystem der Fahrzeugkamera und damit in das Kamerabild projizierte Strahlenpfad, welcher den Pfad eines dazugehörigen Lichtfeldes CS in der Bildebene der Fahrzeugkamera K beschreibt, der sich ergibt, wenn der mit Abstand zwischen Fahrzeug und Projektionsfläche variiert wird. Dieser Strahlenpfad kann in dem kalibrierten Stereo-System aus Scheinwerfer und Kamera und damit auf Grundlage der Kalibrierdaten der Kamera und des Scheinwerfers berechnet werden.
-
Es wird dann eine Detektionsmaske DM bestimmt, welche entlang der Trajektorie TR verschoben wird (in 2 durch gestrichelte nach oben wandernde Kreise veranschaulicht), um die zur Trajektorie TR zugehörige charakteristische Struktur aufzufinden, in diesem Fall das dazugehörige Lichtfeld CS. Anders ausgedrückt soll die von der mit der Trajektorie TR assoziierten Einheit des Scheinwerfers erzeugte charakteristische Struktur ermittelt werden. Bei jeder Position der Detektionsmaske DM werden zunächst Eckpunkte E des Schachbrettmusters als charakteristische Merkmale detektiert. Es ist zu beachten, dass in dem in 2 veranschaulichten Stadium des Verfahrens nicht klar ist, welche Eckpunkte E zu welcher charakteristischen Struktur CS gehören. Nach erfolgter Detektion der Eckpunkte E entlang der Trajektorie TR werden darunter diejenigen ermittelt, die gemeinsam eine charakteristische Struktur CS definieren. Dieser Ermittlung liegt die Prämisse zugrunde, dass in dem von der Kamera erfassten Bild genau eine charakteristische Struktur CS existiert, die zu einer jeweiligen Trajektorie TR eines Scheinwerfersegments passt. Alle anderen charakteristischen Strukturen weisen leicht versetzte Trajektorien auf. Anders ausgedrückt wird bestimmt, welche der in der lokalen Umgebung der Trajektorie TR detektierten Eckpunkte E eine dazugehörige charakteristische Struktur CS definieren.
-
Durch passende Randbedingungen bei der Definition der Detektionsmaske DM kann erreicht werden, dass in dem veranschaulichten Beispielszenario vier passende charakteristische Merkmale, also vier passende Eckpunkte E einer charakteristischen Struktur CS detektiert werden: einer rechte obere, eine linke obere, eine rechte untere und eine linke untere Ecke E einer charakteristischen Struktur CS. Es kann so insbesondere gewährleistet werden, dass der Suchalgorithmus charakteristische Strukturen CS detektiert und nicht die dazwischenliegenden dunklen Felder. In 5 sieht man, dass die das linke obere Lichtfeld des charakteristischen Lichtmusters 40 als die zur eingezeichneten Trajektorie TR zugehörige charakteristische Struktur detektiert wird, da nur bei dieser Position der Detektionsmaske DM vier passende Eckpunkte E innerhalb der Detektionsmaske liegen. Es sollte verstanden werden, dass die beschriebene Zuordnung mittels entsprechender Trajektorien auch bezüglich der anderen charakteristischen Strukturen erfolgen kann. Generell können auch weitere Zuordnungsansätze verwendet werden, beispielsweise auf Basis von euklidischen Minimierungsverfahren.
-
Am Ende des in 5 veranschaulichten Verfahrens sind die Lichtfelder als charakteristische Strukturen mit den sie erzeugenden Segmenten des Scheinwerfers korreliert. Folglich können auf dieser Basis die in 4 angesprochenen Sichtstrahlen berechnet werden.